大数据技术及其应用前景

龙源期刊网 https://www.wendangku.net/doc/4216552295.html,

大数据技术及其应用前景

作者：李晓田

来源：《数字技术与应用》2016年第07期

摘要：大数据是继物联网、云计算技术之后的又一新型信息技术，是计算机数据数字化和互联网数据网络化相结合的产物，现在正被广泛地应用到生活中的多个领域。大数据不仅是一种技术创新，它更是一种基础性资源，潜藏着巨大的应用价值，政治、经济、管理等领域应用它来分析预测判断，以作出正确的决策。本文分析了大数据的相关技术及特点，并指出了大数据技术的应用前景及面临的挑战。

关键词：大数据技术应用

中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2016）07-0245-01

1 大数据相关技术分析

1.1 大数据处理通用技术架构

大数据基本处理流程不同于传统的数据处理流程，大数据所处理的数据具有大量化、非结构化特点，在每个环节都可以采用并行处理方式，目前，大数据对各环节的处理所采用的是以Wapreduce为代表的分布式处理方法，MapReduce分布式方法包括有分布式文件系统GFS、分布式编程环节和分布式大规模数据库管理系统Bigrable，是一套软件框架，由Map和Reduce

两阶段组成，可以对海量的数据进行分割、任务分解和结果汇总等处理，其工作原理是“先分后合”，将数据分解成多个部分并分配给多台处理器处理，也即是“Map”的含义；“Reduce”意即“合并”，就是将各处理器的处理结果汇总后得出最终结果。用户只须用自己的Map函数和Reduce函数就可以在集群上进行大规模的分布式数据处理。

1.2 大数据采集

大数据的采集就是利用数据库接收来自Web、App或传感器的数据，能够接受庞大的访问户来并行访问和操作。比如淘宝平台，每天都有庞大的访问量，如果采用传统的数据采集工具则很容易就会导致整个淘宝网站瘫痪。大数据的采集方法主要有系统日志采集、网络数据采集、数据库采集及其他数据采集。

1.3 大数据分享

大数据的数据分享是通过数据集市和开放数据平台的方式来实现的，开放数据平台可以提供涵盖本地服务、娱乐、餐饮、教育、交通等方面的数据集合，用户既可以通过API访问，也可以通过SDK集成到移动应用中。在线集成数据除了可以为用户提供下载功能，也可以为用