加工数据环节具备很强的技术壁垒

您当前位置：首页 > 行业分析 > IT通讯 > 　正文

来源：中为咨询www.zwzyzx.com 【日期：2016-08-01 16:19:16】【打印】【关闭】

相关报告

数据更新中...

数据源产生的数据在还未经过加工之前是无法发挥其价值的，需要专业的人才和技术对其进行加工处理，以提供大数据应用服务。可以从数据准备、存储管理、计算处理和数据分析四个方面理解加工数据。

（1）数据准备

该阶段主要是进行数据清洗，据统计数据清洗在大数据开发过程占用的时间比例高达60%以上。数据源产生的数据是分散、异构的，无法直接使用。数据清洗按照预先设计好的规则对空数据、缺失数据、无效数据、冗余数据、歧义数据等进行处理和转换，使本来异构的数据格式统一起来。

（2）存储管理

存储管理方面，需要对上层应用提供高效的数据访问接口。由于大数据时代的到来，给存储系统带来了三大挑战：第一，存储规模大，通常达到PB甚至是EB量级；第二，存储管理复杂，需要兼顾结构化、非结构化和半结构化的数据；第三，数据服务的种类和水平随着数据的大规模和高复杂度要求大大提高，技术难度成倍增加。

（3）计算处理

计算处理方面，主流的MapReduce主要适用于进行大数据线下批量处理，在面向低延迟且具有复杂数据关系和复杂计算的大数据问题具有很大的不适应性。而很多行业的大数据应用，如电信、电力、道路监控以及互联网行业的访问日志处理，都同时具有高流量的流式数据和大量积累的数据，这就要求系统在提供批处理数据模式的同时还需要具备高实时性的流式计算能力。

（4）数据分析

在数据分析方面，与传统的小样本统计分析相比，大数据环境下面临着诸多挑战：第一，数据量的急剧膨胀；第二，数据深度分析需求的增长；第三，实时分析及自动化、可视化分析需求的出现。

我国数据加工产业的竞争格局