大数据理论与应用

龙源期刊网 https://www.wendangku.net/doc/091844780.html,

大数据理论与应用

作者：陈宇

来源：《中国信息化》2013年第24期

摘要：搜索2013年全球热议词汇，大数据必然名列其中，不论是作为当今世界最发达国家的美国，还是最大发展中国家的中国都将“大数据”上升到国家发展的战略，并视之为决战未来国家竞争力的不二选择利器，数据作为最有价值的资产，掌握了数据便可站在信息不对称的高点赢得先机。当今时代正处在一个数据爆炸式增长的“大数据”时代，各行各业都离不开数据，所以大数据也必将在社会经济、政治、文化，人们生活等各个方面对整个社会产生了深远影响，同时我们对数据的驾驭能力也迎来了新的挑战和机遇。

一、大数据时代产生的背景

随着互联网信息化时代的发展深化，电子数据存储量呈现爆炸式的增长，全球每秒钟发送2.9百万封电子邮件，每天会有2.88万个小时的视频上传到Youtube，亚马逊每天产生6.3百万笔订单，Google每天需要处理24PB的数据，IDC数据显示在2011年这个数字已经到180万PB，2015年将会达到800万PB，并且还将呈数量级增长，正是这种天文级别的数据的出现，以及如何在如此海量，且结构复杂的数据中发现数据价值，宣告着大数据时代的到来。

大数据一般指所涉及到的资料量规模巨大到无法通过目前主流软件工具，在合理时间内提取、管理、处理并形成价值信息的咨询。这类数据一般有4V特征，一是体量性，就是数据量巨大，传统数据只考虑结构化数据，大数据时代非结构化数据这种比结构化数据大的多的数据带来了存储量大，计算量大的新问题。二是多样性，数据的来源不仅仅局限于数字数据，文本数据，图片，语音，视频等都是数据。三是快速性，数据量增长数据快，处理速度要求快。四是价值稀缺性，数据量如此复杂海量，真正有价值的数据却如浪里陶沙般稀少却又尼足珍贵。

二、大数据时代的商业变革

大数据如此诱人的原因在于，利用大数据技术可以通过对影响实体的全部数据的实时采集、处理、分析及时把控实体的运行，从而以最快的市场反应改善实体自身经营水平、提升自身经营效率，优化自身结构。这将根本改变企业因未能“更加了解他的客户”以及“市场反应过慢”而引起的衰落。索尼公司的创始人出井伸之解释索尼衰落的根本原因时，说了一段发人深省的话：“新一代基于互联网DNA企业的核心能力在于利用新模式和新技术更加贴近消费者、深刻理解需求、高效分析信息并做出预判，所有传统的产品公司都只能沦为这种新型用户平台级公司的附庸，其衰落不是管理能扭转的。”由此看来，大数据欣起之火热不难理解。也因此可以看到，第一，对大数据不关心，不了解，必步索尼的后尘；第二，拥有大量的数据，并善加运用的公司，必将赢得未来。