浅谈大数据及展望未来
浅谈大数据及展望未来
XXX
（班级:2班，学号:**********）
引言
早在2007年，人类制造的信息量有史以来第一次在理论上超过可用存储空间总量，近几年两者的剪刀差越来越大。2010年，全球数字规模首次达到了“ZB”（1ZB＝1024TB）级别。2012年，淘宝网每天在线商品数超过8亿件。2013年底，中国手机网民超过6亿户。随着互联网、移动互联网、传感器、物联网、社交网站、云计算等的兴起，我们这个社会的几乎所有方面都已数字化，产生了大量新型、实时的数据。无疑，我们已身处在大数据的海洋。
有两个重要的趋势使得目前的这个时代（大数据时代）与之前有显著的差别：其一，社会生活的广泛数字化，其产生数据的规模、复杂性及速度都已远远超过此前的任何时代；其二，人类的数据分析技术和工艺使得各机构、组织和企业能够以从前无法达到的复杂度、速度和精准度从庞杂的数据中获得史无前例的洞察力和预见性。
大数据是技术进步的产物，而其中的关键是云技术的进步。在云技术中，虚拟化技术乃最基本、最核心的组成部份。计算虚拟化、存储虚拟化和网络虚拟化技术，使得大数据在数据存储、挖掘、分析和应用分享等方面不仅在技术上可行，在经济上也可接受。
在人类文明史上，人类一直执着探索我们处的世界以及人类自身，一直试图测量、计量这个世界以及人类自身，试图找到隐藏其中的深刻关联、运行规律及终极答案。大数据以其人类史上从未有过的庞大容量、极大的复杂性、快速的生产及经济可得性，使人类第一次试图从总体而非样本，从混杂性而非精确性，从相关关系而非因果关系来测量、计量我们这个世界。人类的思维方式、行为方式及社会生活的诸多形态（当然包括商业活动）正在开始发生新的变化。或许是一场革命性、颠覆性的变化。从这个意义上讲，大数据不仅是一场技术运动，更是一次哲学创新。
1 大数据的概述
1.1 大数据的概念
大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模
和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。
数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。
对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息，例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook，它们都是大数据时代的创新者。
1.2 大数据的三层关系
2014移动互联发展大会暨第五届中国手机应用开发者大会移动大数据论坛在北京国际饭店举行。英特尔公司中国研究院吴甘沙出席论坛并做了题目为“大数据的探索历程——回归初心”的主题演讲。吴甘沙谈了做大数据研究一路走来着重处理的三个关系。
第一层关系：数据与机器的关系。大数据纪元刚开始，产业界碰到的第一个核心问题就是“大”的问题。做了几十年的数据仓库甚至海量并行处理的数据库都不能处理那么大的数据，怎么办？需要范式切换。主要有三个方面，新型的数据与机器关系当中的第一条就是重新考虑架构与算法，重新考虑舍得，有舍才能得，天下没有免费的午餐，所以必须要舍弃一些，得到一些新的。必须舍弃贵族化的高端小型机和UNIX服务器，得到平民化的更大量的X86服务器。通过这样一种可横向、可水平扩展服务器处理每两年翻番的数据量的挑战。第二个舍得是舍弃硬件的可靠性和可用性，得到软件的可靠性和可用性。这也就是谷歌三大论文以及Hadoop的核心重点。第三个舍得是舍弃传统数据库的强一致性，获得更放松一致性、可扩展架构，如NoSQL。第四个舍得是传统算法强调非常严格的精确性，现在要放弃一些精确性，通过近似、采样这种方式来获得更好的扩展性。
最早大数据的处理范式是Mapreduce的批量处理，英特尔慢慢有其他的需求，实时的流处理、多迭代的处理、图计算、即时查询等等新的范式百花齐放，最后万法归宗。刚才王斌老师将讲的SAP的HANA本身就是数据管理和分析的融合，现在非常流行的Hadoop之后的SPARK，就是把前面的各种范式进行了融合。
存储与内存的消长，大数据第一个要解决把数据存储下来，后来发现要把它放到大的内存里进行处理，获得实时性，接着在存储和内存之间现在又出现了闪存，有闪存化甚至全闪存的存储，也有闪存化的内存，把所有的计算在闪存里面处理，已经被微软、Facebook等等大量使用。大家可以预期，两年以后出现新的非易失性的闪存，它的速度可能要比闪存快几百倍，和内存相似，这又会极大地颠覆数据与机器的关系。
第二层关系：数据与人的关系。主要是价值的觉醒，如果数据不能产生价值它可能是负面资产。数据怎么能够给人带来价值？我们介绍一下它的价值维度，把它映射到二维的时空象限里，用六个关键词来描述它。第一是“Volume”，两个关键词，小数据见微对个人进行刻划，大数据知著能够了解宏观规律，它是空间概念，同时也是时间概念，数据刚刚产生的时候，它的个性化价值、见微的价值最大，而随着时间的推移，它渐渐退化到只有集合价值。第二是Velocity，时间轴的原点是当下实时价值，副轴是过往，正轴是预测未来，如果知道知前后就能够做到万物的皆明。第三是Variety，多源异质的数据，能够过滤噪声、查漏补缺、去伪存真，就是辩讹。还有晓意，能够从大量的非结构化数据中获得语意，从而能够使机器窥探人的思维境界，这六个价值维度怎么去实现？主要是两部分人，一是数据科学家要洞察数据，另外一个是终端用户和领域专家要去解读数据并利用数据。首先看洞察数据，数据科学，人和机器作用发生了消长，讲个例子，机器学习大家觉得是机器的问题，其实人在里面起到很重要的作用，尤其是机器学习是模型加特征，而特征工程是一个人力工程，你要有经验非常丰富的特征团队去死磕特征，找出更好、更多的特征，才能够使机器学习的效果更好。但是现在深度学习这些新技术出来，能够用机器学习特征，能够在大量非结构化数据中找到丰富的信息维度用特征表达出来，这远远超出了人的能力。大家知道黑客帝国描述了一个场景，人脑袋后面插一个插头，给机器提供营养，我可能不会那么悲观，但是像这样的互动关系以一种更良性的方式出现了，现在人的一言一行、社交行为、金融行为都已经成为机器的养料、机器的数据，使得机器获得更好的洞察。
终端用户需要更好地、更傻瓜化的分析工具和可视化工具，两年前我去参加大数据的会，基本上都是Hadoop和NoSQL现在大家参加大数据会可以看到清一色的分析工具和可视化工具。大数据跟各行各业的化学作用正在发生。如果马化腾说“互联网+”是互联网与各行各业的加法效应，那么大数据将与各行各业产生乘法效应。
第三个关系，数据与数据的关系。现在只有海面平的数据是搜索引擎可以检索到，深海的数据可能是黑暗的数据，在政府、在企业里大家看不到。我们怎么办呢？必须让数据发现数据。只有让数据能够发现数据、遇到数据，才能产生金风玉露一相逢、便胜却人间无数的效果。这里有三个重要的观念，需要法律、技术、经济理论和实践上配合。法律上要明确数据的权利，数据所有权，数据的隐私权，什么数据不能给你看；数据的许可权，什么数据是可以给你看的；数据的审计权，我给你看了以后，你是不是按照许
可的范围去看；数据的分红权。数据像原油又不同于原油，原油用完了就没有了，数据可以反复地产生价值，因此数据的拥有者应该得到分红。我们要保证数据的开放、共享、交易。
公共数据和部分科研数据要开放，开放过程中注意保护隐私。企业之间可以进行数据的点对点共享，最高境界是不丢失数据的所有权和隐私权的前提下共享，这里有多方安全计算的概念。1982年姚期智老先生提出了百万富翁的窘境的问题，两个百万富翁他们想要比谁更富，但是谁都不愿意说出来自己都多少钱，在我们的数据共享当中要通过各种各样的技术达到这样的效果。还有数据交易，建立多边多边平台来支持数据交易。
互联网能发展起来经济学理论和实践是很重要的支撑，梅特卡夫定律决定了一个互联网公司的价值，跟它用户数的平方成正比，又比如说谷歌请最好的经济学家，它的一个广告业务的核心就是建立在一个非常先进的拍卖经济学的模型基础上。数据经济也需要这样一些基础的理论，比如数据定价和信息定价不一样，信息做一个咨询报告5000美金卖给你，可以卖给所有人。但数据对不同的单位价值不一样，可能我之毒药是彼之蜜糖。另外估值，一个企业拥有大量的数据，是无形资产的一部分，对于企业的市场价值带来了多大的增长。
1.3 大数据的四个特性
大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。这也是一个描述性的定义，在对数据描述的基础上加入了处理此类数据的一些特征，用这些特征来描述大数据。当前，较为统一的认识是大数据有四个基本特征: 数据规模大( V olume) ，数据种类多( Variety) ，数据要求处理速度快( Velocity) ，数据价值密度低( Value) ，即所谓的四V 特性。
数据规模大( V olume)：企业面临着数据量的大规模增长。例如，IDC最近的报告预测称，到2020年，全球数据量将扩大50倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。
数据种类多( Variety)：一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。
处理速度快( Velocity)：高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据IMS Research关于数据创建速度的调查，据预测，到
2020年全球将拥有220亿部互联网连接设备。
数据价值密度低( Value)：大数据具有多层结构，这意味着大数据会呈现出多变的形式和类型。相较传统的业务数据，大数据存在不规则和模糊不清的特性，造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式，能够被标准的商务智能软件识别。目前，企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。
1.4 大数据的三个特征
除了有四个特性之外，大数据时代的数据还呈现出其他三个特征。
第一个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求.
第二个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。
第三个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
2 大数据的技术与处理
2.1 大数据的技术
1.数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
2.数据存取：关系数据库、NOSQL、SQL等。
3.基础架构：云存储、分布式文件存储等。
4.数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。
5.统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分
析（最优尺度分析）、bootstrap技术等等。
6.数据挖掘：分类（Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)。
7.模型预测：预测模型、机器学习、建模仿真。
8.结果呈现：云计算、标签云、关系图等。
2.2 大数据的处理
1.采集
大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis 和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
2.导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
3.统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
4.挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实
现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。
整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。
3 大数据的应用
3.1 大数据在金融方面的应用
正如诸多文献所谈到的，大数据对许多行业的影响和冲击已经呈现。例如，商业零售、物流、医药、文化产业等。金融，作为现代经济中枢，其实也已透出了大数据金融的曙光。
过去的2013年，中国金融界热议最多的或许是互联网金融，更有人指出2013年是中国互联网金融元年。确实，第三方支付、P2P、网贷、众筹融资、余额宝、微信支付等发展迅速。众多传统金融业者也或推出自己的电商平台，或与互联网企业联手提供相应的金融产品和服务。
互联网金融，无论是业界、监管者或理论界，都在试图给出自己的理解和定义。但到目前为止，尚未有一个统一的、规范的概念。在我看来，互联网金融本来就是一个不确切的概念，也不可能有一个明确的定义。严格说来，所谓互联网金融只是大数据金融的一种展现或形态。换言之，前者是表，后者是里。
这是因为，无论是互联网还是金融业，其实质都是大数据（信息）。首先，对互联网企业而言，流量、客户等数据（信息）是其涉足金融业的基石。对金融企业而言，提供中介服务，撮合金融交易也是以数据（信息）为基础。其次，没有大数据技术的支撑，所谓互联网金融也难以快速、持续成长。20世纪90年代互联网浪潮的蓬勃兴起，至今已近二十年。但从世界范围看，所谓互联网金融却发展缓慢。当然，其中原因很多，但其主要原因则是大数据技术是近几年才快速发展起来的。最后，从金融企业来看，在数据中心建设，软硬件系统建设，数据（信息）挖掘、分析等方面也是做得有声有色，其庞大的客户数据、海量交易记录及众多信息源，使其在大数据应用方面也做了许多积极探索。因此，要准确反映近年新金融趋势，“大数据金融”比“互联网金融”更为贴切。
3.2 大数据金融有以下七大特征
网络化的呈现。在大数据金融时代，大量的金融产品和服务通过网络来展现，包括固定网络和移动网络。其中，移动网络将会逐渐成为大数据金融服务的一个主要通道。
随着法律、监管政策的完善，随着大数据技术的不断发展，将会有更多、更加丰富的金融产品和服务通过网络呈现。支付结算、网贷、P2P、众筹融资、资产管理、现金管理、产品销售、金融咨询等都将主要通过网络实现，金融实体店将大量减少，其功能也将逐渐转型。
基于大数据的风险管理理念和工具。在大数据金融时代，风险管理理念和工具也将调整。例如，在风险管理理念上，财务分析（第一还款来源）、可抵押财产或其他保证（第二还款来源）重要性将有所降低。交易行为的真实性、信用的可信度通过数据的呈现方式将会更加重要，风险定价方式将会出现革命性变化。对客户的评价将是全方位、立体的、活生生的，而不再是一个抽象的、模糊的客户构图。基于数据挖掘的客户识别和分类将成为风险管理的主要手段，动态、实时的监测而非事后的回顾式评价将成为风险管理的常态性内容。
信息不对称性大大降低。在大数据金融时代，金融产品和服务的消费者和提供者之间信息不对称程度大大降低。对某项金融产品（服务）的支持和评价，消费者可实时获知该信息。
高效率性。大数据金融无疑是高效率的。许多流程和动作都是在线上发起和完成，有些动作是自动实现。在合适的时间，合适的地点，把合适的产品以合适的方式提供给合适的消费者。同时，强大的数据分析能力可以将金融业务做到极高的效率，交易成本也会大幅降低。
金融企业服务边界扩大。首先，就单个金融企业而言，其最合适经营规模扩大了。由于效率提升，其经营成本必随之降低。金融企业的成本曲线形态也会发生变化。长期平均成本曲线，其底部会更快来临，也会更平坦更宽。其次，基于大数据技术，金融从业人员个体服务对象会更多。换言之，单个金融企业从业人员会有减少的趋势，或至少其市场人员有降低的趋势。
产品的可控性、可受性。通过网络化呈现的金融产品，对消费者而言，是可控、可受的。可控，是指在消费者看来，其风险是可控的。可受，是指在消费者看来，首先其收益（或成本）是可接受的；其次产品的流动性也是可接受的；最后消费者基于金融市场的数据信息，其产品也是可接受的。
普惠金融。大数据金融的高效率性及扩展的服务边界，使金融服务的对象和范围也大大扩展，金融服务也更接地气。例如，极小金额的理财服务、存款服务。支付结算服务等普通老百姓都可享受到。甚至极小金额的融资服务也会普遍发展起来。传统金融想也不敢想的金融深化在大数据金融时代完全实现。
3.3 大数据金融图景
尽管大数据技术还处于早期发展阶段，但大数据金融已透出了一片曙光。我们结合多方面的文献和事实，试图勾勒出大数据金融图景。
泛金融化。金融供给也许不再是传统金融业者的专属领地，许多具备大数据技术应用能力的企业都会或多或少涉足、介入金融行业。在未来的某一天，也许银行与非银行间，证券公司与非证券公司间，保险（放心保）公司与非保险公司间的界限会非常模糊。金融企业与非金融企业间的跨界融合成为常态。同时，金融企业在提供传统金融服务的同时，其服务范围、内容也会泛金融化，会提供综合的、社会化的服务。
多层次的行业格局。大数据金融时代，金融服务层次将空前丰富，既有行业寡头，也有区域金融服务企业。同时，也存在大量的地方、社区金融企业，也会出现无实体店的金融企业。行业市场更加细分。不同层次的消费者都能享受到特定的金融服务。在此过程中，会催生许多与大数据金融相关的行业和企业。
网络化加新型实体店。大数据金融将网络化呈现和线下消费者体验相互融合，以满足金融消费者不同需求。网络化尤其是移动网络的迅速发展，金融服务场景会发生很大变化，所谓“3A”（Anywhere、Anytime、Anyhow）金融将在许多金融产品领域实现。线下实体店既是网络化的节点，也会以高度智能化的形态呈现。也许传统柜台不复存在。综合金融服务方案定制、体验式服务、更多社会化服务会成为金融实体店的主要内容。
高度个性化金融。大数据金融时代，客户已被高度数据化。大数据技术的进步，使成千上万的客户都能被精准细分与定位，真正实现以客户为中心。金融企业的服务将是高度个性化的，能充分满足客户的个性需求。
4 大数据应用中的三大未解难题
近年来，大数据这个词成为互联网领域关注度最高的词汇，时至今日，大数据已经不再是IT圈的“专利”了，从去年的春晚，到刚刚过去的两会，都能见到它的身影，但实际上春晚与两会的数据都只能叫做小数据，它与真正的大数据还相差甚远。即便如此，数据所产生的价值已经被人们所认知。
就大数据来说，它的发展可以分成三个阶段，第一个阶段是组织内部的数据，这些数据通常都是结构化的数据，我们一般将这些数据进行分类、排序等操作，将相同类型的数据进行对比、分析、挖掘，总而言之基本上都是统计工作。到了第二阶段，数据的范围扩大到行业内，各种各样的应用数据出现，数据量大规模增长，尤其是非结构化数据的出现。典型的像视频、图片这一类的数据，在这一阶段的特点就是非结构化和结构化数据并存，且数据量巨大，要对这些数据进行分析是我们目前现阶段所处在的状态。
第三阶段则是未来大数据发展的理想化状态，首先它一定是跨行业的，且数据的范围是整个社会。通过对这些数据进行分析加以使用，将直接改变我们的生活方式，这也是现在很多企业所设想的未来交通、医疗、教育等领域的发展方向。
1.大数据太大不敢用
第三个阶段是我们所憧憬的，但在我们所处的第二阶段面对的更多是问题。其中的一个问题就是“大”。大数据给人最直观的感受就是大，它所带来的问题不仅仅是存储，更多的是庞大的数据没办法使用，以交通为例，从2001年开始在北京的主干道上都增设了一些卡口设备，到了今天基本上大街小巷都能看到。
这些设备每天所拍摄的视频及照片产生的数据量是惊人的，仅照片每天就能产生2千万张，而解决这些数据的存储只是最基本的任务，我们更需要的是使用这些数据。例如对套牌车辆的检查，对嫌疑车辆的监控，当你想要使用这些数据的时候，传统的数据库以及系统架构，放进这么庞大的数据，是根本跑不动的。这一问题导致很多企业对大数据望而却步。
2.大数据太难不会用
说到大数据的使用，自然离不开Hadoop，Hadoop本身提供了分布式系统中两个最重要的东西：分布式存储（HDFS）和分布式计算（Mapreduce）。这两者解决了处理大数据面临的计算和存储问题，但更为重要的是，为开发大数据应用开辟了道路。
Hadoop是目前解决大数据问题最流行的一种方式，但其仍然有不成熟的地方，曾作为雅虎云计算以及Facebook软件工程师的Jonathan Gray就表示：“Hadoop实施难度大，且复杂，如果不解决技术复杂性问题，Hadoop将被自己终结。”正是由于这样的原因，Gray创办了自己的公司——Continuuity，这家公司的目标就是在Hadoop和Hbase 基础上创建一个抽象层，屏蔽掉Hadoop底层技术的复杂性。由此可见想要用好大数据又是一大考验。
3.大数据太贵用不起
Hadoop的特点就是让你可以使用廉价的x86设备来完成大数据的业务，但事实上如果你真想要用它来完成某些商业任务你还得是个“土豪”。在国外那些使用大数据的成功案例里，亚马逊曾给出过这样一组数字，NASA需要为45天的数据存储服务支付超过100万美元。像Quant___cast这样的数字广告公司，同样也是花费了巨额的资金用在Hadoop技术上，来根据自己的需求定制系统。从上面两个案例来看用于商业用途的大数据现阶段还是很费钱的，随着大数据软件环境逐渐成熟，开发工具增多，价格在未来会逐渐降低。
从上面罗列的这三点困难，其实并不是要给大数据泼冷水，而是想说大数据想要淘金并不简单，首先在做大数据之前，好好盘点一下自己拥有的资源，不仅仅是数据资源，还包括知识与技能。确定了自己的能力之后，选择一个能够发挥你现有资源最大价值的项目。如果你需要帮手，应先考虑商业顾问，再考虑技术人才。为了解答一个生意上的困惑花下的钱，叫作投资，而把钱投到一个拥有特殊技能的IT人才身上，那就叫沉没
成本。当你有了这些之后，选择更灵活且可扩展的工具，为以后的扩充打好基础。更重要的是——从小规模做起。
5 大数据创新的驱动力
计算机科学与技术的发展使得大规模信息处理基础设施产生重要改变。在过去的30年中，经典的数据库管理系统（DBMS）在处理大规模数据方面与时俱进，在企业数据处理等方面得到广泛应用。数据库研究和技术进展主要集中在数据建模、描述性查询语言、事务处理和数据库可靠性等。在这个过程中，相关的数据仓库和数据挖掘分析技术也成为一个热点研究方向；人们认识到数据处理过程中的信息可以被有效整理和分析来支持以数据为中心的决策支持。
数据库管理系统在目前的互联网时代继续占据了重要地位。在一个典型的互联网服务系统架构中，数据库管理系统和Web服务器及应用服务共同作用，为互联网用户提供各类信息和服务。在这个系统架构中，人们期望系统能支持无限次和高速的互联网用户访问，这个时候数据库层由于在硬件可扩展性上面的不足可能成为系统性能瓶颈。这个挑战我们称为大数据问题（big data problem）。大数据系统期望能对大规模异构复杂数据建模，进行实时分析；传统的商用数据库系统很难提供良好的解决方案。另一个大数据相关的挑战是服务器端数据中心的数据维护及安全隐私问题。近年来云计算技术已经成为大数据中心的一种可靠解决方案，Google, Yahoo and Microsoft等公司也纷纷开发自己的云计算系统。尽管云计算在互联网应用中已经体现出很多优越性，其在系统成熟性、可用性等方面还有很大提高空间。
显而易见，大数据领域的大规模数据管理和复杂数据分析已经成为新的研究前沿。目前的各类大数据应用正是大数据研究的驱动力，比如社会网络、移动计算、科学应用等等。这些应用产生的大数据往往具有海量、时序动态性、多样等特性，给数据库领域的各项技术带来巨大挑战，涵盖包括数据获取、组织管理、分析处理和应用呈现等整个数据管理生命周期。针对数据管理和分析不同系统应用，各类大数据处理技术在也不断发展。MapReduce作为一种分布式的数据处理框架由于其灵活性、可扩展性、高效和容错等特性其近年来得到了广泛应用。此外，也有多类其他分布式数据处理系统用来解决MapReduce不擅长的问题，比如交互式分析、图计算和分析、实时和流处理、通用数据处理等等。大数据不但给数据库研究领域，同时也给体系结构、存储系统、系统软件和软件工程等计算机多个学科带来了很多机会和挑战。大数据正是目前很多计算机科学问题的根本，并驱动众多新科技的发展。
6 大数据的发展前景
大数据的概念来源于、发展于美国，并向全球扩展，必将给我国未来的科技与经
济发展带来深远影响。根据IDC 统计，目前数据量在全球比例为: 美国32%、西欧19%、中国13%，预计到2020 年中国将产生全球21% 的数据，我国是仅次于美国的数据大国，而我国大数据方面的研究尚处在起步阶段，如何开发、利用保护好大数据这一重要的战略资源，是我国当前亟待解决的问题。表1为我国互联网行业与电信行业大数据应用场景的统计信息。
表（1）
而大数据未来的发展趋势则从以下几个方面进行：
（1）开放源代码
大数据获得动力，关键在于开放源代码，帮助分解和分析数据。Hadoop 和NoSQL 数据库便是其中的赢家，他们让其他技术商望而却步、处境很被动。毕竟，我们需要清楚怎样创建一个平台，既能解开所有的数据，克服数据相互独立的障碍，又能将数据重新上锁。
（2）市场细分
当今，许多通用的大数据分析平台已投入市场，人们同时期望更多平台的出现，可以运用在特殊领域，如药物创新、客户关系管理、应用性能的监控和使用。若市场逐步成熟，在通用分析平台之上，开发特定的垂直应用将会实现。但现在的技术有限，除非考虑利用潜在的数据库技术作为通用平台( 如Hadoop、NoSQL)。人们期望更多特定的垂直应用出现，把目标定为特定领域的数据分析，这些特定领域包括航运业、销售业、网上购物、社交媒体用户的情绪分析等。同时，其他公司正在研发小规模分析引擎的软件套件。比如，社交媒体管理工具，这些工具以数据分析做为基础。
（3）预测分析
建模、机器学习、统计分析和大数据经常被联系起来，用以预测即将发生的事情和行为。有些事情是很容易被预测的，比如坏天气可以影响选民的投票率，但是有些却很难被准确预测。例如，中间选民改变投票决定的决定性因素。但是，当数据累加时，我们基本上有能力可以大规模尝试一个连续的基础。网上零售商重新设计购物车，来探索何种设计方式能使销售利润最大化。根据病人的饮食、家族史和每天的运动量，医生有能力预测未来疾病的风险。当然，在人类历史的开端，我们就已经有各种预测。但是，
在过去，许多预测都是基于直觉，没有依靠完整的数据集，或者单单靠的是常识。当然，即便有大量数据支撑你的预测，也不表明那些预测都是准确的。2007 年和2008 年，许多对冲基金经理和华尔街买卖商分析市场数据，认为房地产泡沫将不会破灭。根据历史的数据，可以预测出房地产泡沫即将破裂，但是许多分析家坚持原有的观点。另一方面，预测分析在许多领域流行起来，例如欺诈发现( 比如在外省使用信用卡时会接到的诈骗电话)，保险公司和顾客维系的风险管理。
7 参考文献
[1]孟小峰，慈祥: 大数据管理：概念、技术与挑战。计算机研究与发展[146-169,2013].
[2]阿尔温托夫勒．第三次浪潮［M］．北京: 三联书店出版社，1984．
[3] Science.Special online collection: Dealing with data［EB/OL］．http: //www．sciencemag．org/site/special/data/，2011．
[4]李国杰，程学旗．大数据研究: 未来科技及经济社会发展的重大战略领域大数据的研究现状与科学思考［J］．战略与决策研究，2012，27( 6) :648，649．
[5]Big Data: The next frontier for innovation，competition and productivity，Mckinsey Global Institute，2011．
[6]涂子沛．大数据: 正在到来的数据革命［M］．桂林:广西师范大学出版社，2012:5755．
[7]覃雄派，王会举，杜小勇，等。大数据分析—RDBMS与Mapreduse的竞争共性【J】。软件学报，2012,23（1）,32-45.
[8]郭秦川：官方统计与大数据对比分析。1004—7794(2013)08—0050-6
[9]Hadoop[EB/()I。]．[2012—10—02]．http：//hadoop．apache．Org/index．html
[10]陈明：大数据问题。计算机教育，第5 期[2013 年3 月10 日]
[11]魏斐翡：ECLHadoop：基于Hadoop的有效电子商务物流大数据处理策略. 计算机工程与科学。第35卷第10期[2013年10月]。
浅谈大数据时代的机遇与挑战
湖南农业大学课程论文学院：信息科学技术学院班级：计算机1班姓名：XXX 学号：2015XXXX 课程论文题目：浅谈大数据时代的机遇与挑战 课程名称： 评阅成绩： 评阅意见： 成绩评定教师签名： 日期：年月日
课程论文题目 ——浅谈大数据时代的机遇与挑战 学生：XXX (信息科学技术学院计算机1班) 摘要：随着时代的发展，大数据这个词慢慢进入了人们的视野的当中，而大数据也与我们的生活关联越来越紧密，对我们的影响也越来越大。怎么样才能把握住机遇，在大数据时代中脱颖而出，怎么样才能在大数据时代到来的挑战中稳步前行。 关键词：大数据;机遇与挑战；大数据时代分析 Abstract:with the development of The Times, the word big data slo wly into the people's horizons, and big data is linked to our life more and more closely, to our influence is growing. How to seize the opportunity, in the era of big data, how can ability in the er a of big data move steadily in the coming challenges. Key Words: Big data; Opportunities and challenges; The era of big da ta analysis
一、绪论 （一）什么是大数据？ “大数据”作为时下最火热的IT行业的词汇在互联网时代显得越来越重要。大数据究竟有多大？大数据能做些什么？在新互联网时代，这些词汇让我们应接不暇。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据还有四个特性分别是数据量大，种类多，速度快，价值大。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”（二）大数据能做些什么？ 大数据的应用示例包括了大科学、传感设备网络、天文学、大气学、基因组学、生物学、大社会数据分析、互联网文件处理、制作互联网搜索引擎索引、通信记录明细、军事侦察、社交网络、通勤时间预测、医疗记录、照片图像和图像封存、大规模的电子商务等。仅仅十余年，现在越来越多的政府、企业等组织机构意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。大数据不仅是一种海量的数据状态及其相应的数据处理技术，更是一种思维方式，一项重要的基础设施。这或是明天我们治理交通拥堵、雾霾天气、看病难、食品安全等“城市病”的利器，也会为政府打开了解社情民意的更大窗口。众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。二、本论 (一)大数据的重要性 1.大数据的处理分析正成为新一代信息技术融合应用的结点 有专家指出，大数据及其分析，会在未来10年改变几乎每一个行业的业务功能，从科学研究到保险，从银行业到互联网，各个不同的领域都在遭遇爆发式增长的数据量。在美国的17个行业中，已经有15个行业大公司拥有大量的数据，其平均拥有的数据量已经远远超过了美国国会图书馆所拥有的数据量。在医疗与健康行业，根据数据预测，如果具备相关的IT设施，数据投资和分析能力等条
大数据对统计学的冲击与机遇
本科毕业论文(设计) 论文题目：大数据对统计学的冲击与机遇 学生姓名：黄耀真 学号： 1004100311 专业：统计学 班级：统计1003班 指导教师：朱钰 完成日期：2014年 4月 10日
大数据对统计学的冲击与机遇 内容摘要 2010年，全球数据跨入了ZB时代，据IDC预测，至2020年全球将拥有35ZB的数据量，大量数据实时地影响我们工作、生活，甚至国家经济、社会发展，大数据时代已经到来。基于数据关系的内在本质决定了大数据与统计学之间的必然关系，大数据对统计学产生了冲击又提供了机遇。本论文首先对现代统计学体系作了简要介绍。根据统计方法将统计学分为描述统计学和推断统计学，首先从大数据对描述统计学的冲击进行分析，体现在：对搜集数据方法的冲击、对搜集数据类型的冲击、对数据存储方法的冲击。再者对推断统计学的冲击进行总结。大数据对统计学的机遇体现在：抽样平均误差的降低、统计学作用范围的扩大及统计学家地位的提升。 关键词：大数据统计学冲击机遇
The impact and opportunities of big data on statistics Abstract:In 2010,the quantity of data rcached ZB level.According to IDC,there will be at least 35zettabytes of stored data in 2020.Massive data are affecting our life,even the economy and the development of society.The Big data era alredy come.From the perspective of subject, big data can be regarded as a new dataanalysis method due to its function in storage, integration, processing and analysis formass data. The intrinsic nature of big data based on data relationships determines thecertain connection with statistics, thus big data brings both challenges andopportunities to the development of statistics. The statistical was divided into descriptive statistics and inferencial statistics. The challenges of descriptive statistics embodied in the impact on method of data collection, the impact on data type and the impact on data storage.The summary of inferencial statistics.Besides, strengthen convincingness of statistical result,extended statistics system, wilder functionfield as well as higher status of statistician. Key words：Big data statistics impact opportunity
浅谈大数据时代聊聊小数据
浅谈大数据时代聊聊小数据 现在好像人人都爱说大数据，就像平时我去开会，不是用大数据分析这个，就是用大数据建构那个。可是我最近看《美国计算机学会通讯》（CACM）上面提到了几次小数据，我觉得大家也有必要了解一下这个有趣的概念。 大数据其实就是一个特别大的数据库，大到用现有的技术无法处理，因此计算机行业的人谈大数据，指的是大数据技术。而生命科学领域的人谈大数据是指该领域的大数据分析，搞大数据设备和管理的人不见得会分析，因为这需要专业。 还有一股力量也将改变我们关于健康的想法和实践，那就是由个人数字跟踪驱动的小数据。基于某种云应用，随时间连续地、安全地、私人地分析你工作、购物、睡觉、吃饭、锻炼和通讯的数字追踪，而得到关于你的健康的画面。这里需要私人的装置和网络服务，特别是自跟踪。譬如昨天我有点胃痛，于是想：前天和大前天有何不同呢？啊！明白了，我每天喝一两酒，前天喝的酒不同，换了一个牌子，可能就是这个新牌子的酒引起我胃痛。这个小数据提供了分析我健康情况的依据。 大数据开启了一个时代的转型，给人们带来一场生活、工作与思维的大变革。时代的变革需要以大数据为视角理解数据与信息。 什么是小数据？小数据就是个体化的数据，是我们每个个体的数字化信息。比如我天天都喝一两酒，突然有天喝完酒了胃疼，我就想了，这天和之前有何不同？原来，这天喝的酒是个新牌子，可能就是喝了这个新牌子的酒让我胃疼。这就是我生活中的小数据，它不比大数据那样浩瀚繁杂，却对我自己至关重要。 第一个意识到小数据重要性的是美国康奈尔大学教授德波哈尔艾斯汀。艾斯汀的父亲去年去世了，而早在父亲去世之前几个月，这位计算机科学教授就注意到老人在数字社会脉动中的些许不同他不再发送电子邮件，不去超级市场买菜，到附近散步的距离也越来越短。然而，这种逐渐衰弱的状态，真到医院去检查心电图，却不一定能看出来。到急诊室检查的时候，不管是测脉搏还是查病历，这个90岁的老人都没有表现出特别明显的异常。可
大数据技术进展与发展趋势
大数据技术进展与发展趋势 在大数据时代，人们迫切希望在由普通机器组成的大规模集群上实现高性能的以机器学习算法为核心的数据分析，为实际业务提供服务和指导，进而实现数据的最终变现。与传统的在线联机分析处理OLAP不同，对大数据的深度分析主要基于大规模的机器学习技术，一般而言，机器学习模型的训练过程可以归结为最优化定义于大规模训练数据上的目标函数并且通过一个循环迭代的算法实现，如图4所示。因而与传统的OLAP相比较，基于机器学习的大数据分析具有自己独特的特点[24]。图4 基于机器学习的大数据分析算法目标函数和迭代优化过程（1）迭代性：由于用于优化问题通常没有闭式解，因而对模型参数确定并非一次能够完成，需要循环迭代多次逐步逼近最优值点。（2）容错性：机器学习的算法设计和模型评价容忍非最优值点的存在，同时多次迭代的特性也允许在循环的过程中产生一些错误，模型的最终收敛不受影响。（3）参数收敛的非均匀性：模型中一些参数经过少数几轮迭代后便不再改变，而有些参数则需要很长时间才能达到收敛。这些特点决定了理想的大数据分析系统的设计和其他计算系统的设计有很大不同，直接应用传统的分布式计算系统应用于大数据分析，很大比例的资源都浪费在通信、等待、协调等非有效的计算上。传统的分布式
计算框架MPI（message passing interface，信息传递接口）[25]虽然编程接口灵活功能强大，但由于编程接口复杂且对容错性支持不高，无法支撑在大规模数据上的复杂操作，研究人员转而开发了一系列接口简单容错性强的分布式计算框架服务于大数据分析算法，以MapReduce[7]、Spark[8]和参数服务器ParameterServer[26]等为代表。分布式计算框架MapReduce[7]将对数据的处理归结为Map和Reduce两大类操作，从而简化了编程接口并且提高了系统的容错性。但是MapReduce受制于过于简化的数据操作抽象，而且不支持循环迭代，因而对复杂的机器学习算法支持较差，基于MapReduce的分布式机器学习库Mahout需要将迭代运算分解为多个连续的Map 和Reduce 操作，通过读写HDFS文件方式将上一轮次循环的运算结果传入下一轮完成数据交换。在此过程中，大量的训练时间被用于磁盘的读写操作，训练效率非常低效。为了解决MapReduce上述问题，Spark[8] 基于RDD 定义了包括Map 和Reduce在内的更加丰富的数据操作接口。不同于MapReduce 的是Job 中间输出和结果可以保存在内存中，从而不再需要读写HDFS，这些特性使得Spark能更好地适用于数据挖掘与机器学习等需要迭代的大数据分析算法。基于Spark实现的机器学习算法库MLLIB 已经显示出了其相对于Mahout 的优势，在实际应用系统中得到了广泛的使用。近年来，随着待分析数据规模的迅速扩
统计学是(大数据)数据分析的灵魂
及早发现流感 谷歌有一个名为“谷歌流感趋势”的工具，它通过跟踪搜索词相关数据来判断全美地区的流感情况（比如患者会搜索流感两个字）。近日，这个工具发出警告，全美的流感已经进入“紧张”级别。它对于健康服务产业和流行病专家来说是非常有用的，因为它的时效性极强，能 够很好地帮助到疾病暴发的跟踪和处理。事实也证明，通过海量搜索词的跟踪获得的趋势报告是很有说服力的，仅波士顿地区，就有700例流感得到确认，该地区目前已宣布进入公 共健康紧急状态。 这个工具工作的原理大致是这样的：设计人员置入了一些关键词（比如温度计、流感症状、肌肉疼痛、胸闷等），只要用户输入这些关键词，系统就会展开跟踪分析，创建地区流感图表和流感地图。谷歌多次把测试结果（蓝线）与美国疾病控制和预防中心的报告（黄线）做比对，从下图可知，两者结论存在很大相关性： 但它比线下收集的报告强在“时效性”上，因为患者只要一旦自觉有流感症状，在搜索和去医院就诊这两件事上，前者通常是他首先会去做的。就医很麻烦而且价格不菲，如果能自己通过搜索来寻找到一些自我救助的方案，人们就会第一时间使用搜索引擎。故而，还存在一种可能是，医院或官方收集到的病例只能说明一小部分重病患者，轻度患者是不会去医院而成为它们的样本的。 这就是一个典型的“大数据”的应用例子，舍恩伯格的这本《大数据时代》受到了广泛的赞誉，他本人也因此书被视为大数据领域中的领军人物。 大数据的起源 大数据起源于数据的充裕，舍恩伯格在他的另外一本书《删除》中，提到了这些源头。 1、信息的数字化，使得所有信息都可以得到一个完美的副本； 2、存储器越来越廉价，大规模存储这些数字信息成本极低；
大数据时代的Excel统计与分析定制
大数据时代的Excel统计与分析 第1章大数据分析概述 1.1 大数据概述 1.1.1 什么是大数据 1.1.2 数据、信息与认知 1.1.3 数据管理与数据库 1.1.4 数据仓库 1.1.5 数据挖掘的内涵和基本特征 1.2 制造行业需要分析哪些数据？ 1.2.1 产品的良率监控 1.2.2 产品的BOM设计 1.2.3 市场数据监控 1.2.4 财务数据 1.2.5 产品生产数据 1.2.6 设备预防性维护数据 1.2.7 产品需求数据 1.2.8 其他日常数据等 第2章数据挖掘流程 2.1 数据挖掘流程概述 2.1.1 问题识别 2.1.2 数据理解 2.1.3 数据准备 2.1.4 建立模型 2.1.5 模型评价 2.1.6 部署应用 第3章大数据的Excel统计分析 3.1 研究程序与抽样 3.2 频率分布 3.2.1 传统的建表方式 3.2.2 离散变量—单选题频率布 3.2.3 如何用Word编辑频率分布表 3.2.4 绘制频率分布统计图表 3.2.5 离散变量—复选题频率分布 3.2.6 利用RANK（）函数处理 3.3 集中趋势 3.3.1 平均值\平均值的优点 3.3.2中位数\ 众数\ 内部平均值\ 最大值\最小值 3.3.3 第几最大值第几最小值
3.3.4 描述统计 3.4 离散程度 3.5 假设检验 3.6 单因子方差分析 3.7 相关分析 3.8 回归分析 3.9 聚类分析 3.10预测分析 第4章大数据的图表分析案例 前言：常见图表分析的三大错误 4.1 用实例说明九大类型图表：饼图、柱状图、条形图、折线图、散点图、雷达图、气泡图、面积图、圆环图的应用场合 4.2 几种专业的图表分析法 4.3九大类型图表的生成实例演练 4.4介绍几种专业的图表分析工具，您需要展示与众不同的专业度 -利用双曲线组合图表显示预计销量和实际销量对比 -利用柱形层叠图显示计划完成度 -利用双侧比较图显示市场调查结果 -利用复合饼图深入分析主要销售组成 -使用断层图分析企业数据 第5章数据分析应用实践 5.1 合理的数据呈现与EXCEL/PPT图表制作 图表制作的关键要素 合适的图表展示合适的数据 正确表达需要的主题 图表与文字的协调 图表的结论 5.2科学的数据分析结果解读 注意因果关系 不要以偏概全 考虑环境影响 兼顾定性研究 第6章数据分析报告与汇报 6.1如何撰写一份优秀的数据分析报告 6.2现场实操演练：分析报告撰写 6.3 汇报的技巧 第7章商业预测技术 预测是企业重要的决策依据，企业通过预测技术可以估计下一季度、年度的市场规模、市场占有率、销售量等。 1. 预测责任者与支持者 2. 预测的组织流程
浅谈大数据发展现状及未来展望
浅谈大数据发展现状及未来展望 中国特色社会主义进入新时代，实现中华民族伟大复兴的中国梦开启新征程。党中央决定实施国家大数据战略，吹响了加快发展数字经济、建设数字中国的号角。国家领导人在十九届中共中央政治局第二次集体学习时的重要讲话中指出：“大数据是信息化发展的新阶段”，并做出了“推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全”的战略部署，为我国构筑大数据时代国家综合竞争新优势指明了方向！ 今天，我拟回顾大数据的发端、发展和现状，研判大数据的未来趋势，简述我国大数据发展的态势，并汇报我对信息化新阶段和数字经济的认识，以及对我国发展大数据的若干思考和建议。 一、大数据的发端与发展 从文明之初的“结绳记事”，到文字发明后的“文以载道”，再到近现代科学的“数据建模”，数据一直伴随着人类社会的发展变迁，承载了人类基于数据和信息认识世界的努力和取得的巨大进步。然而，直到以电子计算机为代表的现代信息技术出现后，为数据处理提供了自动的方法和手段，人类掌握数据、处理数据的能力才实现了质的跃升。信息技术及其在经济社会发展方方面面的应用（即信息化），推动数据（信息）成为继物质、能源之后的又一种重要战略资源。 “大数据”作为一种概念和思潮由计算领域发端，之后逐渐延伸到科学和商业领域。大多数学者认为，“大数据”这一概念最早公开出现于1998年，美国高性能计算公司SGI的首席科学家约翰·马西（John Mashey）在一个国际会议报告中指出：随着数据量的快速增长，必将出现数据难理解、难获取、难处理和难组织等四个难题，并用“Big Data（大数据）”来描述这一挑战，在计算领域引发思考。2007年，数据库领域的先驱人物吉姆·格
浅谈大数据时代的数据分析与挖掘
龙源期刊网 https://www.wendangku.net/doc/0117463459.html, 浅谈大数据时代的数据分析与挖掘 作者：单海波 来源：《科技创新与应用》2016年第24期 摘要：随着改革开放的进一步深化，以及经济全球化的快速发展，我国各行各业都有了 质的飞跃，发展方向更加全面。特别是近年来科学技术的发展和普及，更是促进了各领域的不断发展，各学科均出现了科技交融。在这种社会背景下，数据形式和规模不断向着更加快速、精准的方向发展，促使经济社会发生了翻天覆地的变化，同时也意味着大数据时代即将来临。就目前而言，数据已经改变传统的结构模式，在时代的发展推动下积极向着结构化、半结构化，以及非结构化的数据模式方向转换，改变了以往的只是单一地作为简单的工具的现象，逐渐发展成为具有基础性质的资源。文章主要针对大数据时代下的数据分析与挖掘进行了分析和讨论，并论述了建设数据分析与挖掘体系的原则，希望可以为从事数据挖掘技术的分析人员提供一定的帮助和理论启示，仅供参考。 关键词：大数据；数据分析；数据挖掘；体系建设 引言 进入21世纪以来，随着高新科技的迅猛发展和经济全球化发展的趋势，我国国民经济迅速增长，各行业、领域的发展也颇为迅猛，人们生活水平与日俱增，在物质生活得到极大满足的前提下，更加追求精神层面以及视觉上的享受，这就涉及到数据信息方面的内容。在经济全球化、科技一体化、文化多元化的时代，数据信息的作用和地位是不可小觑的，处理和归类数据信息是达到信息传递的基础条件，是发展各学科科技交融的前提。 然而，世界上的一切事物都包含着两个方面，这两个方面既相互对立，又相互统一。矛盾即对立统一。矛盾具有斗争性和同一性两种基本属性，我们必须用一分为二的观点、全面的观点看问题。同时要积极创造条件，促进矛盾双方的相互转变。数据信息在带给人们生产生活极大便利的同时，还会被诸多社会数据信息所困扰。为了使广大人民群众的日常生活更加便捷，需要其客观、正确地使用、处理数据信息，完善和健全数据分析技术和数据挖掘手段，通过各种切实可行的数据分析方法科学合理地分析大数据时代下的数据，做好数据挖掘技术工作。 1 实施数据分析的方法 在经济社会快速发展的背景下，我国在科学信息技术领域取得长足进步。科技信息的发展在极大程度上促进了各行各业的繁荣发展和长久进步，使其发展更加全面化、科学化、专业化，切实提升了我国经济的迅猛发展，从而形成了一个最佳的良性循环，我国也由此进入了大数据时代。对于大数据时代而言，数据分析环节是必不可少的组成部分，只有科学准确地对信息量极大的数据进行处理、筛选，才能使其更好地服务于社会，服务于广大人民群众。正确处理数据进行分析过程是大数据时代下数据分析的至关重要的环节。众所周知，大数据具有明显
大数据时代统计调查工作的挑战与思考_季晓晶
2013．5 一、问题的提出 大数据（ｂｉｇｄａｔａ）泛指伴随社会化数据出现的大量在线文本、图片、流媒体数据。这里的“大”有两方面含义。一是数据量巨大。指在科学技术、计算机仿真、互联网应用、电子商务等诸多应用领域产生的海量数据集。二是以数据为“大”的价值论。即大数据之 “大”更多地反映在其重要性上，而不完全指数量上的庞大。因为可以从这些数据中挖掘出有价值的信息，目前大数据被世界经济论坛的相关报告认定为其价值堪比石油的新财富。随着互联网和移动互联网的发展，无处不在的信息感知和采集终端，将行政管理、生产经营、商务活动等众多领域源源不断产生的海量即时电子化数据，通过“云计算”技术构建了一个与物质世界相平行的数字世界，所以很多专家认为人类已经跨入了大数据时代。作为数据生产的权威机关，这样一个时代的到来给统计调查工作带来了什么样的挑战与启示？统计调查部门和统计调查工作者应该怎样应对才能满足时代提出的需求？对此，笔者拟结合多年基层工作经历进行初步探讨，意在抛砖引玉，以期更多的同仁共同关注、思考大数据时代对统计工作带来的变化和影响。 二、大数据时代的来临及意义 有资料显示，１９９８年全球网民平均每月使用流量是１ＭＢ，２００８年是１ＧＢ，２０１４年将是１０ＧＢ。全网流量累计达到１ＥＢ的时间在２００１年是一年，在２００４年是一个月，在２００７年是一周，而２０１３年仅需一天，即一天产生的信息量可刻满１．８８亿张ＤＶＤ光盘。淘宝网站单日数据产生量超过５０ＴＢ，存储量４０ＰＢ。百度公司每天要处理６０亿次搜索请求，几十ＰＢ数据。一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十ＰＢ。数据的规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。根据中国互联网络信息中心统计，２０１２年底我国网民数为５．６４亿，手机网民为４．２亿。这些网民每天在网上将产生海量的数据，这些数据记载着他们的思想、行为乃至情感，蕴含着丰富的内涵和很多规律性信息，通过分析相关数据，可以了解大众需求、诉求和意见， 反映舆情民意。大数据的重要价值还在于对其有效的开发和使 用能对社会的发展起到巨大的推动作用。企业和政府的信息系统每天源源不断产生大量数据。根据全球第四大独立软件公司，美国赛门铁克公司的调研报告，全球企业的信息存储总量已达２．２ＺＢ，年增６７％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元， 收集环境和社会管理所需的信息。２０１１年，英国《自然》杂志曾出版专刊指出，倘若能够有效地组织和使用大数据，人类将得到更多的机会发挥科学技术 对社会发展的巨大推动作用。 （备注：1024B=1KB 1024KB=1MB 1024MB=1GB 1024GB=1TB 1024TB=1PB 1024PB=1EB 1024EB=1ZB 1024ZB=1YB 1024YB=1BB ） 三、大数据时代统计工作面临的挑战 可以预见，大数据时代的到来，对统计调查部门生产出更高质量的统计产品提供了难得的机遇和更大的可能性，但与此同时，带来更多的则是挑战。这种挑战集中体现在随着大数据时代的到来，统计调查部门应该能够使用更少的投入生产出时效性更强、质量更高的产品。社会各界对统计调查部门新的服务需求和更高的工作要求也将随之形成。基于此，笔者认为在大数据背景下，统计调查工作正面临六大挑战。 一是统计工作方式的挑战。在大数据科技大浪潮的背景下，数字化的行政商业记录、网络在线文本、流媒体数据大大拓宽了统计机构收集数据信息的渠道，统计调查部门的业务工作方式也势必发生改变。在数据收集方面， 会更多的需要从互联网、物联网的数据中进行挖掘收集。如物联网的发展将使工业生产、运输物流、最终消费、服务等各种交易生成直接可用的数据。又如，现行的居民家庭日记帐是通过统一的报表和计量方式将调查对象的收入消费行为转化为可用的数据，在大数据时代将有可能实现通过对超市商场收银系统、ＥＴＣ电子收费系统、ＧＰＳ定位测量、银行转账、微信等数据进行挖掘从而收集到需要的数据，不再需要调查对象长期认真的配合。这种数据收集方式可以有效避免人为误差，篡改数据的可能性越来越小，数据质量将更有保 大数据时代统计调查工作的挑战与思考 季晓晶 摘要：大数据(bi g d ata )泛指伴随社会化数据出现的大量在线文本、图片、流媒体数据。因其数据量巨大又可以从中挖掘出有价值的信息， 目前被世界经济论坛的相关报告认定为其价值堪比石油的新财富。随着互联网和移动互联网的发展，无处不在的信息感知和采集终端,将行政管理、生产经营、商务活动等众多领域源源不断产生的海量即时电子化数据，通过“云计算”技术构建了一个与物质世界相平行的数字世界，所以很多专家认为人类已经跨入了大数据时代。作为数据生产的权威机关，这样一个时代的到来给统计调查工作带来了什么样的挑战与启示？ 统计调查部门和统计调查工作者应该怎样应对才能满足时代提出的需求？对此，笔者结合多年基层工作经历进行了初步探讨。 关键词：大数据；统计调查工作；思考 问题研究 １７
浅谈基于大数据时代的机遇与挑战
浅谈基于大数据时代的机遇与挑战 本文从网络收集而来，上传到平台为了帮到更多的人，如果您需要使用本文档，请点击下载按钮下载本文档（有偿下载），另外祝您生活愉快，工作顺利，万事如意！ 随着信息时代的到来，大数据(Big Data)一词逐渐被人们认知和熟悉，其常被用于定义和描述“信息爆炸时代产生的海量数”。随着“大数据”时代的来临，在商业、经济及其他领域中，人们做出决策不仅仅依靠经验和直觉，常以数据分析作为决策依据，这种方式大大提高了决策的科学性，最大限度避免决策失误。用好大数据，必将对商业发展、科学研究和政府决策产生积极的影响。 1 大数据的基本概况 大数据(Big Data)是指那些超过传统数据库系统处理能力的数据，其具有以下四个基本特性，即海量性、多样性、易变性、高速性。同时数据类型繁多、数据价值密度相对较低、处理速度快、时效性要求高等也是其主要特征。 2 大数据的时代影响 大数据，对经济、政治、文化等方面都具有较为深远的影响，其可帮助人们进行量化管理，更具科学性和针对性，得数据者得天下。大数据对于时代的影
响主要包括以下几个方面： (1)“大数据决策”更加科学有效。如果人们以大数据分析作为基础进行决策，可全面获取相关决策信息，让数据主导决策，这种方法必将促进决策方式的创新和改变，彻底改变传统的决策方式，提高决策的科学性，并推动信息管理准则的重新定位。2009 年爆发的甲型H1N1 流感就是利用大数据的一个成功范例，谷歌公司通过分析网上搜索的大量记录，判断流感的传播源地，公共卫生机构官员通过这些有价值的数据信息采取了有针对性的行动决策。 (2)“大数据应用”促进行业融合。虽然大数据源于通信产业，但其影响绝不局限于通信产业，势必也将对其他产生较为深远的影响。目前，大数据正逐渐广泛应用于各个行业和领域，越来越多的企业开始以数据分析为辅助手段加强公司的日常管理和运营管理，如麦当劳、肯德基、苹果公司等旗舰专卖店的位置都是基于大数据分析完成选址的，另外数据分析技术在零售业也应用越来越广泛。 (3)“大数据开发”推动技术变革。大数据的应用需求，是大数据新技术开发的源泉。相信随着时代的不断发展，计算机系统的数据分析和数据挖掘功能将逐渐取代以往单纯依靠人们自身判断力的领域应用。借
2017年公需课试卷及答案(大数据技术与发展前景)
考试：大数据技术与发展前景 ?题量：10题 ?答题时间：分钟 ?总分：100分 ?合格线：60分1 【单选】（）是一种高实时性的计算模式。 ? A. 批处理计算 ? B. 流式计算 ? C. 查询分析计算 ? D. 数据挖掘计算 ? A ? B ? C ? D ?正确答案：B 2 【单选】批处理和复杂数据挖掘计算通常属于（） ? A. 分析计算 ? B. 实时计算 ? C. 查询计算 ? D. 非实时计算 ? A ? B ? C ? D ?正确答案：D 3
【单选】作为老牌商业中心，吸引着短期来京者的重要地点是（）。 ? A. 北京西单 ? B. 北京王府井 ? C. 北京南锣鼓巷 ? D. 北京天安门 ? A ? B ? C ? D ?正确答案：A 4 【多选】目前大数据计算模式重要发展趋势和方向有（） ? A. 主流的Hadoop 平台改进后将与其他计算模式和平台共存 ? B. 混合计算模式将成为满足多样性大数据处理和应用需求的有效手段? C. 内存计算将成为高实时性大数据处理的重要技术手段和发展方向 ? A ? B ? C ?正确答案：A B C 5 【多选】实时流式大数据的处理的需求是（） ? A. 大数据系统实现低延迟处理 ? B. 强大而又灵活的复杂事件处理引擎 ? C. 具有容错和去重能力 ? D. 对流量进行控制和动态节点增加和删除的能力 ? A ? B ? C
? D ?正确答案：A B C D 6 【多选】大数据环境下的分析和挖掘方法具有的挑战是（） ? A. 数据量的膨胀 ? B. 数据深度分析需求的增长 ? C. 自动化、可视化分析需求的出现 ? A ? B ? C ?正确答案：A B C 7 【判断】对于特大城市的政府而言，在对外来人口限制的同时，对所谓“外来高端人才”通常持欢迎态度（） ? A. 正确 ? B. 错误 ?正确 ?错误 ?正确答案：正确 8 【判断】如今大概三分二的用户已经在使用企业级数据仓库，未来这一比例将会更高（） ? A. 正确 ? B. 错误 ?正确 ?错误 ?正确答案：正确 9 【判断】通常大数据描述了一个对象(物理的或逻辑的)或一个过程的全景式的和全周期的状态，因此，其来源必然是多源的，其形式是多模态的（）
(完整版)大数据时代对统计学的影响分析
大数据时代对统计学的影响分析 大数据和统计学两者在本质上是相互联系、相互促进，没有数据也不可能完成统计，所以二者缺一不可。在大数据时代，统计学必须与时俱进，跟上时代发展的脚步，勇敢地接受大数据带来的的挑战和变革，才会走得更长远。而大数据也要珍惜统计学，两者是无法离开的，只有在共同学习进步下，才能够实现双赢，成为主宰。 关键词：大数据时代；统计学；影响分析 引言 对于大数据(Big data)，可以理解为新模式中具备决策性、洞察力、发现力的一门技术。它主要概括数据的自然增长力和多样化的信息资产。 统计学是大数据里面的一门重要的学科。因为它和大数据有着千丝万缕的关系，所以它被人们广泛使用和学习。它是通过整理分析得出来的科学的数据。具有精准性、客观性即概括性。完成统计学的方法有很多种，如调查法、立案法、实验法等主要广泛应用于社会、科学等方面。 一、大数据和统计学的关系 (一)两者的关系 在当今信息时代，用数字代表的信息越来越多，科技迅速发展，互联网时代高速运转，在许多公司用来统计数据的时候，都用的电子表格，进行整理分析。在把它们汇总起来，就成了统计。数据是统计的本质，统计是数据的概括及意义。数据就像零零碎碎的字母，统计就是英语单词，通过整理分析，把字母拼成一个具有意义的单词，这就是数据和统计的意义。只有相互依存，你中有我我中有你。 （二）大数据和统计学的区别 信息功能不同。大数据的意义是某种事物的代表，有些东西要是用它原本的名称代替可能不太放便，这样一个简便的代号即简便又容易记忆。在工作中，工作人员根据超市销售的数据进行整理分析，在汇总起来就是统计，最终他们看得都是统计整理得出的数，分析的也是统计后的数据。因此，统计学是用样本单位来分析和推断数据总体的特征。由数据控制，我们只能根据获得的数据来推断总体数量。在信息时代，越来越多的东西可以用数据表示，几乎全部的信息资料都
浅谈大数据时代下数据质量的重要性及提高数据质量的方法
数据即未来 ——浅谈大数据时代下数据质量的重要性及提高数据质量的方法
数据即未来——浅谈大数据时代下数据质量的重要性及提高数据质量的方法 摘要：数据是联系现实世界和虚拟模型重要的桥梁，也是我们探索和预测世界的重要指标。几十年以来，人们都在强调数据质量中正确性的重要性，但是当我们身处大数据时代，数据由仓库变成了海洋，数据质量的含义发生了什么变化？相对应的提高数据质量的方法或手段又有了哪些改变？本文首先解释了传统数据质量的定义，然后给出了大数据时代下数据质量的新定义。同时简要的介绍了传统数据质量提高手段和大数据时代下新的数据质量的提高手段。 1.数据质量的定义 数据质量在不同的时期有着不同的定义。在几十年前，数据质量就是意味着数据的准确性。确切的说是数据的一致性、正确性、完整性和最小性这4个指标在信息系统中得到的满足程度[1]。国内学者陈远等认为[2]数据质量可以用正确性、准确性、不矛盾性、一致性、完整性和集成性来描述。但是随着信息系统的发展，数据的来源越来越多样化，数据体量越来越大，数据涵盖的面也越来越广，对于数据质量的定义也从狭义走向了广义。准确性不再是衡量数据质量的唯一标准，当数据量增大，数据格式多样，数据适合使用的程度成为了数据质量中更加关键的因素[3]。虽然众多的学者对于数据质量的定义不同，但是在大体上都涵盖了以上的指标。笔者认为在大数据时代下，衡量数据质量的指标中，数据的可读性应该放在首位。 在大数据时代背景下，我们不缺少分析大数据的方法，也不缺少分布式计算的硬件，准确性对于大数据而言，单个或少部分不准确的数据在庞大的数据量面前的影响也微乎其微。现今的目标更多追求的是数据分析的效率，所以数据质量中数据的可读性便成为了影响数据质量极其重要的一环。对于格式化和非格式化数据，其不仅仅在存储空间占用大小上，相差甚远，更多消耗的是对于非格式化数据的读取、分析的时间。数据的可读性差，不仅仅造成数据分析时间长，更重要的是在当今庞大的信息系统下，难以满足各个子系统海量数据交互的需求。所以在当今大数据时代的背景下，我们在注重传统的数据质量的指标的同时，更加
浅析大数据的特点及未来发展趋势
浅析大数据的特点及未来发展趋势 摘要：随着二十一世纪的到来，人们已经进入了信息化的时代。计算机技术水平越来越先进，给人们的生活带来了极大的便利。在信息化的时代，人们每天接触的信息量成千上万。获取有用的数据，不仅可以有效缩短时间，而且可以满足具体需求。大数据技术正是适应现代社会的发展，从数据量巨大、结构复杂、类型众多的数据中，快速获取有价值的信息。因此本篇文章主要分析了大数据的特点，通过进一步探讨，并对其未来的发展趋势进行展望。 关键词：大数据；特点；发展趋势 大数据是继互联网、云计算技术后世界又一热议的信息技术，近几年来发展十分迅速。大数据技术的出现，给人们的生活带来了极大的便利。我们将生活中的东西数据化之后，就可以采用数据的格式对其进行存储、分析，从而获得更大的价值。 一、大数据技术的特点分析 1）开源软件得到广泛的应用 近几年来，大数据技术的应用范围越来越广泛。在信息化的时代，各个领域都趋向于智能化、科技化。大数据技术研发出来的分布式处理的软件框架Hadoop、用来进行挖掘和可视化的软件环境、非关系型数据库Hbase、MongoDb 和CounchDB等开源软件，在各行各业具有十分重要的意义。这些软件的研发，与大数据技术的发展是分不开的。 2）不断引进人工智能技术 大数据技术主要是从巨大的数据中获取有用的数据，进而进行数据的分析和处理。尤其是在信息化爆炸的时代，人们被无数的信息覆盖。大数据技术的发展显得十分迫切。实现对大数据的智能处理，提高数据处理水平，需要不断引进人工智能技术，大数据的管理、分析、可视化等等都是与人密切相关的。现如今，机器学习、数据挖掘、自然语言理解、模式识别等人工智能技术，已经完全渗透到了大数据的各个程序中，成为了其中的重要组成部分。 3）非结构化的数据处理技术越来越受重视 大数据技术包含多种多样的数据处理技术。非结构化的处理数据与传统的文本信息存在很大的不同，主要是指图片、文档、视频等数据形式。随着云计算技
大数据,统计学
大数据时代需要重视统计学 我们现在要开始重视大数据，要重视统计学，因为在数据足够大了之后，我们突然发现一切社会现象到最后都有统计规律，它不像物理学那样可以准确的去描述因果的关系，它从本质上来说就是一个统计的规律。统计学学好了，你再去学别的都战无不胜，因为一切社会现象到最后都是一个统计规律。 为什么要强调统计学呢，因为我们的认知能力中最差的是统计思维。人的大脑有一些功能优良得超过我们的想象，比如我们的语言能力。著名的语言学家乔姆斯基曾说，其实语言不是你学来的，语言是你天生就会的，因为语言太复杂了，要是从出生再学语言根本学不会，等你出生的时候，你的大脑里头已经预装了一套操作系统，语言的操作系统。所以语言我们是天生就会的。 还有，比如我们察言观色的能力，也是天生就会的。但有，一些是我们不会的。一位得诺贝尔经济学的心理学家写过一本书，《思考快与慢》。里面就讲到，我们有很多思维是靠直觉的快思维，这是我们几万年、几十万年、几百万年的自然演化，然后给我们留下来的，就是第六感觉。当你觉得可能有危险的时候，你就会跑掉。但是呢，我们另外一套操作系统是用来做逻辑推理以及进行统计分析的，装得很烂，所以我们天生缺的是逻辑推理能力和统计思维能力。 所以，在大数据的时代，我们最需要补的，其实是我们认知能力中最差的统计思维。如果有在学校的学生，我建议统计学这门课要好好地上。 “大数据”何以成为热门词汇？ 为什么突然之间，大数据变成了一个最热门的词汇？
首先是由于IT革命。IT革命之后，我们有了很多处理数据的能力，对计算机数据的处理能力、存储的能力和计算的能力不断的提高。人类储存信息量的增长速度比世界经济增长的速度要快4倍，而且这还是在金融危机爆发之前的世界经济增长的速度。而计算机数据处理能力的增长速度，比世界经济增长的速度要快9倍。 其次，能够被数据化的东西越来越多。最早的时候是数字可以被数据化，所以我们有了阿拉伯的计数，后来又出现了二进位，再后来我们发现文字也可以处理成数据，然后我们发现又图像也可以处理成数据。我不知道欧美同学会《时代大讲堂》位置在哪里，我就赶紧上网查一查地图，方位也可以被数据化；你用微信、微博，跟朋友在网上交流，说明你的社会关系也会被数据化。 所以这就是为什么现在要谈大数据，因为可处理的东西太多了。而当你能够被数据化的东西越来越多。当你能够拿到的数据越来越多时，就跟原来不一样了。原来的统计学得有一个抽样，因为你不可能拿到整体，因为整体太多了，而且无法去计算。而现在，当存储能力无限扩大，处理数据的计算能力不断的进步，致使现在我们所处理的往往不是一个样本数据，而是一个整体的数据。所以这个时候，有很多原来想都不能想的事情，现在你可以去做。 大数据时代的三个规律 规律一：知其然而不必知其所以然外行打败内行 我先讲一个案例就是葡萄酒。葡萄酒怎么品酒？过去是靠品酒方面的专家。他会先闻一闻，什么味道、什么香味，然后看看是不是挂杯，最后告诉你，这个酒大
大数据研究综述
大数据研究综述
————————————————————————————————作者：————————————————————————————————日期： ?
大数据研究综述 摘要：从大数据基本理论，大数据存储与分析处理技术和大数据应用研究三个角度说明当前研究热点，重点比较当前大数据处理工具的优缺点,并深入归纳总结了基于数据存储大数据处理技术,对未来研究进行展望。 关键词：大数据,综述，数据处理,数据挖掘 引言 现代社会提到大数据大家都知道这是近几年才形成的对于数据相关的新名词，在1９80年，，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。在２0 世纪 8０年代我国已经有一些专家学者谈到了海量数据的加工和管理，但是由于计算机技术和网络技术的限制大数据未能引起足够的重视，它蕴藏的巨大信息资源也暂时隐藏了起来。随着云计算技术的发展，互联网的应用越来越广泛,以微博和博客为代表的新型社交网络的出现和快速发展，以及以智能手机、平板电脑为代表的新型移动设备的出现，计算机应用产生的数据量呈现了爆炸性增长的趋势。２01２年末出版的《大数据时代》的作者英国牛津大学网络学院互联网研究所治理与监管专业教授维克托·尔耶·舍恩伯格在书的引言中说,大数据正在改变人们的生活以及理解世界的方式, 而更多的改变正蓄势待发。美国总统奥巴马的成功竞选及连任的背后都有大数据挖掘的支撑,美国政府认为，大数据是“未来的新石油”,并将对大数据的研究上升为国家意志，这对未来的科技与经济发展必将带来深远影响［1］。如今，大数据已成为一项业务上优先考虑的工作任务，因为它能够对全球整合经济时代的商务产生深远的影响。大数据的应用范围如此广泛，与大数据相关的很多问题都引起了专家和学者的重视。大数据最基本的问题－大数据的定义目前还没有一个统一的定论,但大数据作为一种基础性资源需要被处理才能显现其潜在的价值，那么如何更好地处理大数据这种基础性资源就显得特别重要，因为这些问题都关系到大数据核心价值的体现。为此,本文从大数据若干个版本的概念出发,调查分析了大数据的研究和应用现状，重点分析了当前主流的大数据处理工具和技术,最后预测了大数据未来
浅谈大数据时代的客户数据安全与隐私保护
浅谈大数据时代的客户数据安全与隐私保护如何运用好“大数据”这把双刃剑 数据如同一把双刃剑，在带来便利的同时也带来了很多安全隐患。数据对于互联网服务提供者而言具备了更多的商业价值，但数据的分析与应用将愈加复杂，也更难以管理，个人隐私无处遁形。回顾2014年，全球各地用户信息安全事件频出: 2014年3月22日“携程网”出现安全支付日志漏洞，导致大规模用户信息如姓名、身份证号、银行卡类别、银行卡卡号、银行卡CVV等信息泄露。 2014年5月13日，小米论坛用户数据库泄露，涉及约800万使用小米手机、MIUI系统等小米产品的用户，泄露的数据中带有大量用户资料，可被用来访问“小米云服务”并获取更多的私密信息，甚至可通过同步获得通信录、短信、照片、定位、锁定手机及删除信息等。 2014年12月2日乌云漏洞平台公开了一个导致“智联招聘网”86万用户简历信息泄露的漏洞。黑客可通过该漏洞获取包含用户姓名、婚姻状况、出生日期、出生日期、户籍地址、身份证号、手机号等各种详细的信息。 2014年12月25日，12306网站用户数据信息发生大规模泄露。 2014年8月苹果“iCloud服务”被黑客攻破，造成数百家喻户晓的名人私密照片被盗。 …… 这些信息安全事件让人们开始感受到“数据”原来与我们的生活接触如此紧密，数据泄露可以对个人的生活质量造成极大的威胁。大数据时代，如何构建信
息安全体系，保护用户隐私，是企业未来发展过程中必须面对的问题。安全技术水平的提高、法律法规的完善、以及企业和个人用户正视数据的运用的意识缺一不可。 数据安全技术是保护数据安全的主要措施 在大数据的存储，传输环节对数据进行各种加密技术的处理，是解决信息泄露的主要措施。对关键数据进行加密后，即使数据被泄漏，数据的盗取者也无法从中获得任何有价值的信息。尽管对于大数据的加密动作可能会牺牲一部分系统性能，但是与不加密所面临的风险相比，运算性能的损失是值得的。这实际上是企业管理和风险管理间的协调，重要的是企业要有将信息安全放在第一位的理念。 目前数据加密保护技术主要包括：数据发布匿名保护、社交网络匿名保护、数据水印等几种。此外，除了对数据进行加密处理以外，也有许多可以运用在数据的使用过程，以及发生数据泄露之后的相关保护技术。这些技术可以有效地降低数据安全事故带来的损失。 1、数据发布匿名保护技术 数据发布匿名保护技术是对大数据中结构化数据实现隐私保护的核心关键与基本技术手段。能够很好地解决静态、一次发布的数据隐私保护问题。 2、社交网络匿名保护技术 社交网络匿名保护技术包括两部分：一是用户标识与属性的匿名，在数据发布时隐藏用户的标志与属性信息;二是用户间关系的匿名，在数据发布时隐藏用户之间的关系。 3、数据水印技术