中国加工数据环节具备很强的技术壁垒

您当前位置：首页 > 中为资讯 > IT通讯 > 　正文

来源：中为咨询www.zwzyzx.com 【日期：2016-03-28 13:57:53】【打印】【关闭】

相关报告

2016-2022年中国智能交通行业市场深度调查研究及投资咨询报告(2015-12-11)
2015-2020年中国智能交通射频识别行业市场重点层面调查研究报告(2015-09-16)
2015-2020年中国智能交通行业深度调研及市场投资发展研究报告(2015-08-04)
2014-2018年中国智能交通设备行业调查报告(2014-05-02)
2016-2022年中国智能交通区域行业市场调查研究及发展分析报告(2015-11-16)
2015-2019年中国智能交通企业拟IPO上市细分市场研究报告(2014-11-18)
2016-2022年中国智能交通射频识别区域行业市场调查研究及发展分析报告(2015-11-16)
2016-2022年中国智能交通射频识别行业市场深度调查研究及投资咨询报告(2015-12-11)
2015-2019版智能交通行业企业建设项目可行性研究报告(2014-11-17)
2015-2019年智能交通项目商业计划书(2014-11-17)

数据源产生的数据在还未经过加工之前是无法发挥其价值的，需要专业的人才和技术对其进行加工处理，以提供大数据应用服务。可以从数据准备、存储管理、计算处理和数据分析四个方面理解加工数据。

（1）数据准备

该阶段主要是进行数据清洗，据统计数据清洗在大数据开发过程占用的时间比例高达60%以上。数据源产生的数据是分散、异构的，无法直接使用。数据清洗按照预先设计好的规则对空数据、缺失数据、无效数据、冗余数据、歧义数据等进行处理和转换，使本来异构的数据格式统一起来。

（2）存储管理

存储管理方面，需要对上层应用提供高效的数据访问接口。由于大数据时代的到来，给存储系统带来了三大挑战：第一，存储规模大，通常达到PB甚至是EB量级；第二，存储管理复杂，需要兼顾结构化、非结构化和半结构化的数据；第三，数据服务的种类和水平随着数据的大规模和高复杂度要求大大提高，技术难度成倍增加。

（3）计算处理

计算处理方面，主流的MapReduce主要适用于进行大数据线下批量处理，在面向低延迟且具有复杂数据关系和复杂计算的大数据问题具有很大的不适应性。而很多行业的大数据应用，如电信、电力、道路监控以及互联网行业的访问日志处理，都同时具有高流量的流式数据和大量积累的数据，这就要求系统在提供批处理数据模式的同时还需要具备高实时性的流式计算能力。

（4）数据分析

在数据分析方面，与传统的小样本统计分析相比，大数据环境下面临着诸多挑战：第一，数据量的急剧膨胀；第二，数据深度分析需求的增长；第三，实时分析及自动化、可视化分析需求的出现。我国数据加工产业的竞争格局