海量电子身份数据处理技术

您当前位置：首页 > 中为资讯 > IT通讯 > 　正文

来源：中为咨询www.zwzyzx.com 【日期：2016-08-19 09:33:44】【打印】【关闭】

相关报告

数据更新中...

基于目前公安人口信息总量的分析，不包括个人照片等非结构化数据的网络身份/属性数据规模在TB级，预计随着网络应用的快速发展，未来网络身份服务的年日志数据规模将达到百TB级，因此，网络身份数据管理是典型的海量数据管理系统。同时，由于其作为网络基础服务，网络身份数据管理服务需要极高的可用性和快速的请求响应时间，一旦运行，就不允许宕机。另外中国有13亿人口，网民人数接近7亿，网络电子身份服务需要支持极高的并发访问请求。

海量电子身份数据管理与服务请求集群处理体系结构如下图所示，包含以下几个子系统：

系统底层架构部署在传统的分布式计算环境或云计算平台上，通过分布式文件系统实现对分布式计算环境中各节点上文件数据的透明访问。

海量电子身份数据的组织与管理子系统采用分布式文件系统、结合新型索引等辅助数据结构，实现身份信息以及访问日志的网络化、高可扩展、高性能和高可用存储管理。

海量电子身份服务请求处理子系统面向高度并发的网络身份服务请求，在海量身份信息与访问日志的有效组织和管理基础上，采用网络化的并行处理和优化技术，实现高度并发的网络身份服务请求的高性能和高可用处理。

服务发布、定制与编程接口子系统是系统的对外接口，以面向服务的方式对数据处理进行程序设计接口定义，在标准的SQL和NOSQL数据处理接口基础上，以plug-in的方式，支持用户自定义的数据检索和数据处理。

数据采集和集成子系统基于半监督的方式感知网络身份信息资源及其更新变化，进行动态的个人信息数据采集与个人数据融合。采用网络并行化日志处理技术实现海量分布式日志数据的采集、分析和检索。

海量电子身份数据管理与服务请求集群处理体系结