大数据发展驱动人工智能进步

您当前位置：首页 > 行业分析 > IT通讯 > 　正文

来源：中为咨询www.zwzyzx.com 【日期：2016-11-22 15:45:59】【打印】【关闭】

相关报告

近期以深度学习为代表的人工智能技术取得突飞猛进的进展得益于良好的大数据基础。移动互联网、物联网等技术的发展让我们拥有了以往难以想象的海量数据，尤其是在某一细分领域更深度的、逻辑化的数据，而这些都是训练某一领域‚智能‛的前提。从软件时代到互联网，再到如今的大数据时代，数据的量和复杂性都经历了从量到质的改变。

大数据的五大特征

大数据发展历程

互联网、物联网提供深厚的数据基础。据WeAreSocial公司统计，独立移动设备用户渗透率于2014年9月超过了总人口的50%；活跃互联网用户在2014年11月突破了30亿人；接入互联网的活跃移动设备于2014年12月超过了36亿台。研究报告据德勤统计，2015年全球有10亿部物联网设备出货，比2014年增加六成，全球的物联网设备总量高达28亿部。在此背景下，全球数据总量在快速膨胀。根据IDC监测，全球在2010年正式进入ZB时代，总数据量大约每两年翻一番，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量，预计到2020年，全球将总共拥有35ZB的数据量。而根据HIS的估计，2015年全球产生的数据总量已达到十年前的20多倍。如此海量的数据给机器学习带来了充足的训练素材，打造了坚实的数据基础。

互联网、物联网带来海量数据

大数据技术的发展打造坚实的素材基础。大数据具有体量大、多样性、价值密度低、速度快等特点。大数据技术能够通过数据采集、预处理、存储及管理、分析及挖掘等方式，从各种各样类型的海量数据中，快速获得有价值信息，为深度学习等人工智能算法提供坚实的素材基础。

大数据主要技术

（1）大数据采集技术大数据采集是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化及非结构化的海量数据。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术。

（2）大数据预处理技术主要完成对已接收数据的辨析、抽取、清洗等操作。抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤‚去噪‛从而提取出有效数据。

（3）大数据存储及管理技术大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。

（4）大数据分析及挖掘技术数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘涉及的技术方法很多，有多种分类法。行业研究根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等；根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库等。通常数据挖掘有数据清理、数据变换、数据挖掘实施过程、模式评估和知识表示等8个步骤。

大数据挖掘步骤