大数据认识

想要系统的认知大数据，必须要全面而细致的分解它，我着手从三个层面来展开：

第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；从对大数据的现在和未来去洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术，技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践，实践是大数据的最终价值体现。我将分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

现在和未来

我们先看看大数据在当下有怎样的杰出表现：

大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督；

大数据帮助城市预防犯罪，实现智慧交通，提升紧急应急能力；

大数据帮助医疗机构建立患者的疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物；

大数据帮助航空公司节省运营成本，帮助电信企业实现售后服务质量提升，帮助保险企业识别欺诈骗保行为，帮助快递公司监测分析运输车辆的故障险情以提前预警维修，帮助电力公司有效识别预警即将发生故障的设备；

大数据帮助电商公司向用户推荐商品和服务，帮助旅游网站为旅游者提供心仪的旅游路线，帮助二手市场的买卖双方找到最合适的交易目标，帮助用户找到最合适的商品购买时期、商家和最优惠价格；

大数据帮助企业提升营销的针对性，降低物流和库存的成本，减少投资的风险，以及帮助企业提升广告投放精准度；

大数据帮助娱乐行业预测歌手，歌曲，电影，电视剧的受欢迎程度，并为投资者分析评估拍一部电影需要投入多少钱才最合适，否则就有可能收不回成本；

大数据帮助社交网站提供更准确的好友推荐，为用户提供更精准的企业招聘信息，向用户推荐可能喜欢的游戏以及适合购买的商品。

其实，这些还远远不够，未来大数据的身影应该无处不在，就算无法准确预测大数据终会将人类社会带往到哪种最终形态，但我相信只要发展脚步在继续，因大数据而产生的变革浪潮将很快淹没地球的每一个角落。

比如，Amazon的最终期望是：“最成功的书籍推荐应该只有一本书，就是用户要买的下一本书。”

Google也希望当用户在搜索时，最好的体验是搜索结果只包含用户所需要的内容，而这并不需要用户给予Google太多的提示。

而当物联网发展到达一定规模时，借助条形码、二维码、RFID等能够唯一标识产品，传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析，这些数据能够支撑智慧城市，智慧交通，智慧能源，智慧医疗，智慧环保的理念需要，这些都所谓的智慧将是大数据的采集数据来源和服务范围。

未来的大数据除了将更好的解决社会问题，商业营销问题，科学技术问题，还有一个可预见的趋势是以人为本的大数据方针。人才是地球的主宰，大部分的数据都与人类有关，要通过大数据解决人的问题。

比如，建立个人的数据中心，将每个人的日常生活习惯，身体体征，社会网络，知识能力，爱好性情，疾病嗜好，情绪波动……换言之就是记录人从出生那一刻起的每一分每一秒，将除了思维外的一切都储存下来，这些数据可以被充分的利用：

医疗机构将实时的监测用户的身体健康状况；

教育机构更有针对的制定用户喜欢的教育培训计划；

服务行业为用户提供即时健康的符合用户生活习惯的食物和其它服务；

社交网络能为你提供合适的交友对象，并为志同道合的人群组织各种聚会活动；

政府能在用户的心理健康出现问题时有效的干预，防范自杀，刑事案件的发生；

金融机构能帮助用户进行有效的理财管理，为用户的资金提供更有效的使用建议和规划；

道路交通、汽车租赁及运输行业可以为用户提供更合适的出行线路和路途服务安排；

……

当然，上面的一切看起来都很美好，但是否是以牺牲了用户的自由为前提呢？只能说当新鲜事物带来了革新的同时也同样带来了“病菌”。比如，在手机未普及前，大家喜欢聚在一起聊天，自从手机普及后特别是有了互联网，大家不用聚在一起也可以随时随地的聊天，只是“病菌”滋生了另外一种情形，大家慢慢习惯了和手机共渡时光，人与人之间情感交流仿佛永远隔着一张“网”。

云技术

大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机的角色，而大数据则是电。

云计算思想的起源是麦卡锡在上世纪60年代提出的：把计算能力作为一种像水和电一样的公用事业提供给用户。

如今，在Google、Amazon、Facebook等一批互联网企业引领下，一种行之有效的模式出现了：云计算提供基础架构平台，大数据应用运行在这个平台上。

业内是这么形容两者的关系：没有大数据的信息积淀，则云计算的计算能力再强大，也难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富，也终究只是镜花水月。

那么大数据到底需要哪些云计算技术呢？

这里暂且列举一些，比如虚拟化技术，分布式处理技术，海量数据的存储和管理技术，NoSQL、实时流数据处理、智能分析技术（类似模式识别以及自然语言理解）等。

云计算和大数据之间的关系可以用下面的一张图来说明，两者之间结合后会产生如下效应：可以提供更多基于海量业务数据的创新型服务；通过云计算技术的不断发展降低大数据业务的创新成本。

如果将云计算与大数据进行一些比较，最明显的区分在两个方面：

第一，在概念上两者有所不同，云计算改变了IT，而大数据则改变了业务。然而大数据必须有云作为基础架构，才能得以顺畅运营。

第二，大数据和云计算的目标受众不同，云计算是CIO等关心的技术层，是一个进阶的IT解决方案。而大数据是CEO关注的、是业务层的产品，而大数据的决策者是业务层。

分布式处理技术

分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，在控制系统的统一管理控制下，协调地完成信息处理任务—这就是分布式处理系统的定义。

以Hadoop（Yahoo）为例进行说明，Hadoop是一个实现了MapReduce模式的能够对大量数据进行分布式处理的软件框架，是以一种可靠、高效、可伸缩的方式进行处理的。

而MapReduce是Google提出的一种云计算的核心计算模式，是一种分布式运算技术，也是简化的分布式编程模式，MapReduce模式的主要思想是将自动分割要执行的问题（例如程序）拆解成map（映射）和reduce（化简）的方式，在数据被分割后通过Map 函数的程序将数据映射成不同的区块，分配给计算机机群处理达到分布式运算的效果，在通过Reduce 函数的程序将结果汇整，从而输出开发者需要的结果。

再来看看Hadoop的特性，第一，它是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。其次，Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

你也可以这么理解Hadoop的构成，Hadoop=HDFS（文件系统，数据存储技术相关）+HBase （数据库）+MapReduce（数据处理）+……Others

Hadoop用到的一些技术有：

HDFS: Hadoop分布式文件系统(Distributed File System) － HDFS (HadoopDistributed File System)

MapReduce：并行计算框架

HBase: 类似Google BigTable的分布式NoSQL列数据库。

Hive：数据仓库工具，由Facebook贡献。

Zookeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。

Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。

Pig:大数据分析平台，为用户提供多种接口。

Ambari：Hadoop管理工具，可以快捷的监控、部署、管理集群。

Sqoop：用于在Hadoop与传统的数据库间进行数据的传递。

说了这么多，举个实际的例子，虽然这个例子有些陈旧，但是淘宝的海量数据技术架构还是有助于我们理解对于大数据的运作处理机制

淘宝大数据

如上图所示，淘宝的海量数据产品技术架构分为五个层次，从上至下来看它们分别是：数据源，计算层，存储层，查询层和产品层。

数据来源层。存放着淘宝各店的交易数据。在数据源层产生的数据，通过DataX，DbSync 和Timetunel准实时的传输到下面第2点所述的“云梯”。

计算层。在这个计算层内，淘宝采用的是Hadoop集群，这个集群，我们暂且称之为云梯，是计算层的主要组成部分。在云梯上，系统每天会对数据产品进行不同的MapReduce

计算。

存储层。在这一层，淘宝采用了两个东西，一个使MyFox，一个是Prom。MyFox是基于MySQL的分布式关系型数据库的集群，Prom是基于Hadoop Hbase技术的一个NoSQL的存储集群。

查询层。在这一层中，Glider是以HTTP协议对外提供restful方式的接口。数据产品通过一个唯一的URL来获取到它想要的数据。同时，数据查询即是通过MyFox来查询的。

最后一层是产品层，这个就不用解释了。

存储技术

大数据可以抽象的分为大数据存储和大数据分析，这两者的关系是：大数据存储的目的是支撑大数据分析。到目前为止，还是两种截然不同的计算机技术领域：大数据存储致力于研发可以扩展至PB甚至EB级别的数据存储平台；大数据分析关注在最短时间内处理大量不同类型的数据集。

提到存储，有一个着名的摩尔定律相信大家都听过：18个月集成电路的复杂性就增加一倍。所以，存储器的成本大约每18-24个月就下降一半。成本的不断下降也造就了大数据的可存储性。

比如，Google大约管理着超过50万台服务器和100万块硬盘，而且Google还在不断的扩大计算能力和存储能力，其中很多的扩展都是基于在廉价服务器和普通存储硬盘的基础上进行的，这大大降低了其服务成本，因此可以将更多的资金投入到技术的研发当中。

以Amazon举例，Amazon S3 是一种面向 Internet 的存储服务。该服务旨在让开发人员能更轻松的进行网络规模计算。Amazon S3 提供一个简明的 Web 服务界面，用户可通过它随时在 Web 上的任何位置存储和检索的任意大小的数据。此服务让所有开发人员都能访问同一个具备高扩展性、可靠性、安全性和快速价廉的基础设施，Amazon 用它来运行其全球的网站网络。再看看S3的设计指标：在特定年度内为数据元提供 99.999999999% 的耐久性和 99.99% 的可用性，并能够承受两个设施中的数据同时丢失。

S3很成功也确实卓有成效，S3云的存储对象已达到万亿级别，而且性能表现相当良好。S3云已经拥万亿跨地域存储对象，同时AWS的对象执行请求也达到百万的峰值数量。目前全球范围内已经有数以十万计的企业在通过AWS运行自己的全部或者部分日常业务。这些企业用户遍布190多个国家，几乎世界上的每个角落都有Amazon用户的身影。

感知技术

大数据的采集和感知技术的发展是紧密联系的。以传感器技术，指纹识别技术，RFID 技术，坐标定位技术等为基础的感知能力提升同样是物联网发展的基石。全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，都会产生海量的数据信息。

而随着智能手机的普及，感知技术可谓迎来了发展的高峰期，除了地理位置信息被广泛的应用外，一些新的感知手段也开始登上舞台，比如，最新的”iPhone 5S”在home键内嵌指纹传感器，新型手机可通过呼气直接检测燃烧脂肪量，用于手机的嗅觉传感器面世可以监测从空气污染到危险的化学药品，微软正在研发可感知用户当前心情智能手机技术，谷歌眼镜InSight新技术可通过衣着进行人物识别。

除此之外，还有很多与感知相关的技术革新让我们耳目一新：比如，牙齿传感器实时监控口腔活动及饮食状况，婴儿穿戴设备可用大数据去养育宝宝，Intel正研发3D笔记本摄像头可追踪眼球读懂情绪，日本公司开发新型可监控用户心率的纺织材料，业界正在尝试将生物测定技术引入支付领域等。

其实，这些感知被逐渐捕获的过程就是就世界被数据化的过程，一旦世界被完全数据化了，那么世界的本质也就是信息了。

就像一句名言所说，“人类以前延续的是文明，现在传承的是信息。”

大数据的实践

互联网的大数据

互联网上的数据每年增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。据IDC预测，到2020年全球将总共拥有35ZB的数据量。互联网是大数据发展的前哨阵地，随着WEB2.0时代的发展，人们似乎都习惯了将自己的生活通过网络进行数据化，方便分享以及记录并回忆。

互联网上的大数据很难清晰的界定分类界限，我们先看看BAT的大数据：

百度拥有两种类型的大数据：用户搜索表征的需求数据；爬虫和阿拉丁获取的公共web 数据。搜索巨头百度围绕数据而生。它对网页数据的爬取、网页内容的组织和解析，通过语义分析对搜索需求的精准理解进而从海量数据中找准结果，以及精准的搜索引擎关键字广告，实质上就是一个数据的获取、组织、分析和挖掘的过程。搜索引擎在大数据时代面临的挑战有：更多的暗网数据；更多的WEB化但是没有结构化的数据；更多的WEB化、结构化但是封闭的数据。

阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现，挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。

腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息，甚至预测未来。

在信息技术更为发达的美国，除了行业知名的类似Google，Facebook外，已经涌现了很多大数据类型的公司，它们专门经营数据产品，比如：

Metamarkets：这家公司对Twitter、支付、签到和一些与互联网相关的问题进行了分析，为客户提供了很好的数据分析支持。

Tableau：他们的精力主要集中于将海量数据以可视化的方式展现出来。Tableau为数字媒体提供了一个新的展示数据的方式。他们提供了一个免费工具，任何人在没有编程知识背景的情况下都能制造出数据专用图表。这个软件还能对数据进行分析，并提供有价值的建议。

ParAccel：他们向美国执法机构提供了数据分析，比如对15000个有犯罪前科的人进行跟踪，从而向执法机构提供了参考性较高的犯罪预测。他们是犯罪的预言者。

QlikTech：QlikTech旗下的Qlikview是一个商业智能领域的自主服务工具，能够应用于科学研究和艺术等领域。为了帮助开发者对这些数据进行分析，QlikTech提供了对原始数据进行可视化处理等功能的工具。

GoodData：GoodData希望帮助客户从数据中挖掘财富。这家创业公司主要面向商业用户和IT企业高管，提供数据存储、性能报告、数据分析等工具。

TellApart：TellApart和电商公司进行合作，他们会根据用户的浏览行为等数据进行分析，通过锁定潜在买家方式提高电商企业的收入。

DataSift：DataSift主要收集并分析社交网络媒体上的数据，并帮助品牌公司掌握突发新闻的舆论点，并制定有针对性的营销方案。这家公司还和Twitter有合作协议，使得自己变成了行业中为数不多可以分析早期tweet的创业公司。

Datahero：公司的目标是将复杂的数据变得更加简单明了，方便普通人去理解和想象。

举了很多例子，这里简要归纳一下，在互联网大数据的典型代表性包括：

1-用户行为数据（精准广告投放、内容推荐、行为习惯和喜好分析、产品优化等）

2-用户消费数据（精准营销、信用记录分析、活动促销、理财等）

3-用户地理位置数据（O2O推广，商家推荐，交友推荐等）

4-互联网金融数据（P2P，小额贷款，支付，信用，供应链金融等）

5-用户社交等UGC数据（趋势分析、流行元素分析、受欢迎程度分析、舆论监控分析、社会问题分析等）

政府的大数据

近期，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。

在国内，政府各个部门都握有构成社会基础的原始数据，比如，气象数据，金融数据，信用数据，电力数据，煤气数据，自来水数据，道路交通数据，客运数据，安全刑事案件数据，住房数据，海关数据，出入境数据，旅游数据，医疗数据，教育数据，环保数据等等。这些数据在每个政府部门里面看起来是单一的，静态的。但是，如果政府可以将这些数据关联起来，并对这些数据进行有效的关联分析和统一管理，这些数据必定将获得新生，其价值是无法估量的。

具体来说，现在城市都在走向智能和智慧，比如，智能电网、智慧交通、智慧医疗、智慧环保、智慧城市，这些都依托于大数据，可以说大数据是智慧的核心能源。从国内整体投资规模来看，到2012年底全国开建智慧城市的城市数超过180个，通信网络和数据平台等基础设施建设投资规模接近5000亿元。“十二五”期间智慧城市建设拉动的设备投资规模将达1万亿元人民币。大数据为智慧城市的各个领域提供决策支持。在城市规划方面，通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘，可以为城市规划提供决策，强化城市管理服务的科学性和前瞻性。在交通管理方面，通过对道路交通信息的实时挖掘，能有效缓解交通拥堵，并快速响应突发状况，为城市交通的良性运转提供科学的决策依据。在舆情监控方面，通过网络关键词搜索及语义智能分析，能提高舆情分析的及时性、全面性，全面掌握社情民意，提高公共服务能力，应对网络突发的公共事件，打击违法犯罪。在安防与防灾领域，通过大数据的挖掘，可以及时发现人为或自然灾害、恐怖事件，提高应急处理能力和安全防范能力。

另外，作为国家的管理者，政府应该有勇气将手中的数据逐步开放，供给更多有能力的机构组织或个人来分析并加以利用，以加速造福人类。比如，美国政府就筹建了一个https://www.wendangku.net/doc/af2300022.html,网站，这是奥巴马任期内的一个重要举措：要求政府公开透明，而核心就是实现政府机构的数据公开。截止目前，已经开放了有91054 个datasets；349citizen-developed apps；137 mobile apps；175 agencies and subagencies；87 galleries；295 Government APIs。

企业的大数据

企业的CXO们最关注的还是报表曲线的背后能有怎样的信息，他该做怎样的决策，其实这一切都需要通过数据来传递和支撑。在理想的世界中，大数据是巨大的杠杆，可以改变公司的影响力，带来竞争差异、节省金钱、增加利润、愉悦买家、奖赏忠诚用户、将潜在客户转化为客户、增加吸引力、打败竞争对手、开拓用户群并创造市场。

那么，哪些传统企业最需要大数据服务呢？抛砖引玉，先举几个例子：1) 对大量消费者提供产品或服务的企业（精准营销）；2) 做小而美模式的中长尾企业（服务转型）；3) 面临互联网压力之下必须转型的传统企业（生死存亡）。

对于企业的大数据，还有一种预测：随着数据逐渐成为企业的一种资产，数据产业会向传统企业的供应链模式发展，最终形成“数据供应链”。这里尤其有两个明显的现象：1) 外部数据的重要性日益超过内部数据。在互联互通的互联网时代，单一企业的内部数据与整个互联网数据比较起来只是沧海一粟；2) 能提供包括数据供应、数据整合与加工、数据应用等多环节服务的公司会有明显的综合竞争优势。

对于提供大数据服务的企业来说，他们等待的是合作机会，就像微软史密斯说的：“给我提供一些数据，我就能做一些改变。如果给我提供所有数据，我就能拯救世界。”

然而，一直做企业服务的巨头将优势不在，不得不眼看新兴互联网企业加入战局，开启残酷竞争模式。为何会出现这种局面？从 IT 产业的发展来看，第一代 IT 巨头大多是 ToB 的，比如 IBM、Microsoft、Oracle、SAP、HP这类传统 IT 企业；第二代 IT 巨头大多是ToC 的，比如 Yahoo、Google、Amazon、Facebook 这类互联网企业。大数据到来前，这两类公司彼此之间基本是井水不犯河水；但在当前这个大数据时代，这两类公司已经开始直接竞争。比如 Amazon 已经开始提供云模式的数据仓库服务，直接抢占 IBM、Oracle 的市场。这个现象出现的本质原因是：在互联网巨头的带动下，传统 IT 巨头的客户普遍开始从事电子商务业务，正是由于客户进入了互联网，所以传统 IT 巨头们不情愿地被拖入了互联网领域。如果他们不进入互联网，他们业务必将萎缩。在进入互联网后，他们又必须将云技术，大数据等互联网最具有优势的技术通过封装打造成自己的产品再提供给企业。

以IBM举例，上一个十年，他们抛弃了PC，成功转向了软件和服务，而这次将远离服务与咨询，更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为，“数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源。”IBM积极的提出了“大数据平台”架构。该平台的四大核心能力包括Hadoop系统、流计算（StreamComputing）、数据仓库（Data Warehouse）和信息整合与治理（Information Integration and Governance）

IBM大数据

另外一家亟待通过云和大数据战略而复苏的巨头公司HP也推出了自己的产品：HAVEn，一个可以自由扩展伸缩的大数据解决方案。这个解决方案由HP Autonomy、HP Vertica、HP ArcSight 和惠普运营管理(HP OperationsManagement)四大技术组成。还支持Hadoop这样通用的技术。HAVEn不是一个软件平台，而是一个生态环境。四大组成部分满足不同的应用场景需要，Autonomy解决音视频识别的重要解决方案；Vertica解决数据处理的速度和效率的方案；ArcSight解决机器的记录信息处理，帮助企业获得更高安全级别的管理；运营管理解决的不仅仅是外部数据的处理，而是包括了IT基础设施产生的数据。

个人的大数据

个人的大数据这个概念很少有人提及，简单来说，就是与个人相关联的各种有价值数据信息被有效采集后，可由本人授权提供第三方进行处理和使用，并获得第三方提供的数据服务。

举个例子来说明会更清晰一些：

未来，每个用户可以在互联网上注册个人的数据中心，以存储个人的大数据信息。用户可确定哪些个人数据可被采集，并通过可穿戴设备或植入芯片等感知技术来采集捕获个人的大数据，比如，牙齿监控数据，心率数据，体温数据，视力数据，记忆能力，地理位置信息，社会关系数据，运动数据，饮食数据，购物数据等等。用户可以将其中的牙齿监测数据授权给XX牙科诊所使用，由他们监控和使用这些数据，进而为用户制定有效的牙齿防治和维护计划；也可以将个人的运动数据授权提供给某运动健身机构，由他们监测自己的身体运动机能，并有针对的制定和调整个人的运动计划；还可以将个人的消费数据授权给金融理财机构，由他们帮你制定合理的理财计划并对收益进行预测。当然，其中有一部分个人数据是无需个人授权即可提供给国家相关部门进行实时监控的，比如罪案预防监控中心可以实时的监控本地区每个人的情绪和心理状态，以预防自杀和犯罪的发生。

以个人为中心的大数据有这么一些特性：

1- 数据仅留存在个人中心，其它第三方机构只被授权使用（数据有一定的使用期限），且必须接受用后即焚的监管。

2- 采集个人数据应该明确分类，除了国家立法明确要求接受监控的数据外，其它类型数据都由用户自己决定是否被采集。

3- 数据的使用将只能由用户进行授权，数据中心可帮助监控个人数据的整个生命周期。

展望过于美好，也许实现个人数据中心将遥遥无期，也许这还不是解决个人数据隐私的最好方法，也许业界对大数据的无限渴求会阻止数据个人中心的实现，但是随着数据越来越多，在缺乏监管之后，必然会有一场激烈的博弈：到底是数据重要还是隐私重要；是以商业为中心还是以个人为中心。

对于大数据的认识和理解

对于大数据的认识和理解 这学期选修了网络工程这门课程，当时是抱着扫盲的态度选的这门课程，给自己定的目标不高，只需要对一些基础的概念和网络结构有些认识就可以，以免 以后在人前谈论的时候不至丁成为IT文盲，被一些专业性的技术人员所吓倒。事实证明，态度决定一切，由丁自己刚开始设定的目标就比较低，所以注定能够上升到的水平■也就不局0 经过这几周的学习，对计算机网络的基础知识和大致结构有了一个粗浅的认识。由丁学生本身这方面的基础不扎实，知识结构在这方面比较薄弱，所以不能在技术方面进行深入的研究，只能对一些理论性的知识做一些了解和认识，建立 起大概的知识框架。在学习过程中，魏忠老师所提及的知识中有一点印象最为深刻，关丁大数据Big Data方面的提及引起了我很大的兴趣，越是自己私下里做了一些阅读和查询（主要是维克托迈尔-舍恩伯格的《大数据时代》和网络上查看的一些资料）。最后提交的这篇课程总结就着重报告一下自己在阅读了他人关丁大数据的一些理论后自身的认识。 在这之前，我发现身边很多人都提起过大数据，其中包括老师和同学。可是对丁这些热门的新技术、新趋势人们往往趋之若鸯却乂很难说的透彻，如果你问他大数据和你有什么关系？估计很少同学能说出一二三来。究其原因，一是因为 大家对新技术有着相同的原始渴求，至少知其然在聊天时不会显得很无知”，因为现在人们普遍都有以一种信息焦虑感，别人知道的东西我不知道，就会感到焦虑，无论这些信息对你有没有用；二是在工作和生活环境中真正能参与实践大数据的案例实在太少了，所以大家没有必要花时间去知其所以然。当然我也一样，虽然我希望能有些不一样，但是自己实在欠缺IT这方面的知识，所以也只能查 阅一些资料，翻阅了最新的专业书籍，在自己局限的认识下把这些些零散的资料碎片或不同理解论述综合起来做一个类似丁文献综述的报告，其实我很真诚的希 望进入事物探寻本质。下面就从理论、技术、实践这三个层面写一下大数据的认识大数据的一些相关理论： 最早提出大数据时代到来的是麦肯锡：数据，已经渗透到当今每一个行业 和业务职能领域，成为重要的生产因素。人们对丁海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” 业界（IBM最早定义）将大数据的特征归纳为4个“V（量Volume,多样Variety,价值Value,速Velocity）,或者说特点有四个层面：第一，数据体量巨大。大数据的起始计量单位至少是P （1000个T＞、E （100万个T）或Z （10亿个第二，数据类型繁多。比如，网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。第四，处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。 很早就流传着一句话：三分技术，七分数据，得数据者得天下。先不论这句话是谁说得，但是这句话的正确性已经不用去论证了。维克托迈尔-舍恩伯格在《大数据时代》一书中举了很多例证，都是为了说明一个道理：在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。书中，作者提及最多的

对大数据的认识

对大数据的认识 很多时候，我们潜移默化的进行着某种行为或按照我们的经验来辨别某件事物，那些微不足道的东西构建了我们的生活和生命，大数据，是将我们及我们所在世界的人和物的习性和经验进行数字化整合，从而指导我们更加便捷地生活、生产。 社会文明的进步在于经验的传承，在以往传承的过程中会因为时间、空间的因素导致许多优秀的经验流失，那么，大数据时代来了，大数据可以将物种起源的过程记录下来并总结出来，然后形成一个甚至比一加一等于二还要简单的公式，然后大家通过这个公式谁都知道接下来会发生什么。 以前我们要了解市场，可能会去做市场调查，然后进行数据整合，接着数据分析，最后得出指导性意见。现在或许我们只需要发个帖，然后就有一大堆指导性意见可供参考，这就是数据整合的成果，这就是大数据的力量：大量、高速、多样、价值、真实性。一个人的力量终究有限，一群人的力量就蔚为可观了，而大数据是以整个社会的力量来做事。善于利用大数据，就相当于随手握着一根杠杆，即使不能撬动地球也能顶起自己的“帽子”。 大数据对于企业的应用例子已不胜枚举，在建筑行业里，上海已率先使用IBM，而且规定超过2万平的建筑必须使用IBM；在电商行业里，各大网站后台对于每件商品都有浏览量、销售量甚至评价统计；在金融行业里，更要实时掌握社会平均利润率以控制各项利率；在财会行业里，我们要掌握实时数据变化来更好地做出决断。 对于目前的我们来讲，建立企业大数据部门是一项挑战，挑战我们的以下几个方面：一、我们要通过大数据达到什么样的目的；二、如何收集数据；三、如何分析数据；四、数据成果的使用范围等。这是对我们的考验，更是我们的机遇，做成并维护好大数据系统，将令我们受益终身。 这是一次超越时空的伟大变革，这是一次破茧而出的奋发新生。这是社会发展的必然结果，也必然因此而改变世界。

大数据认识报告

浅谈大数据认识 —王小丽 从入学的第一天就一直在好奇大数据[1]是什么？是新兴的技术？还是跟风的乌托邦？ 最开始我只是浅层次认为大数据就是很大的数据，只要满足：数据量大、速度快、数据多样性、数据密度低等特征的数据[2]。 在经过这一年的书本学习，老师讲解，参加各种大数据峰会、座谈交流，大数据论文调研，公司大数据部门的实习后，我发现大数据不只是一个单一的名词，它更是一种技术、应用、挖掘潜在价值趋势的表象或特征而已。 为了更全面地认识大数据，我认为应该从理论、技术、实际应用这三方面来学习。 一. 理论认识 理论是认识的必经途径，也是快速认识的基础。 1. 名人的见解： 最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”。其实也可以看出。大数据的诞生是信息技术发展的必然结果，是不可避免的。 IBM 最早将大数据的特征归纳为4个“V”（量V olume，多样Variety，价值Value，速Velocity）。但这并不能说明大数据的真实特征，它还应该包括：分析、存储、技术、复杂等特征。 维克托·迈尔-舍恩伯格在《大数据时代》[3]一书中坚持认为大数据的思维应转变：1-需要全部数据样本而不是抽样；2-关注效率而不是精确度；3-关注相关性而不是因果关系。 我很认同阿里巴巴的王坚也曾说过的一句话：“你千万不要想着拿数据去改进一个业务，这不是大数据。你一定是去做了一件以前做不了的事情。”因为大数据的正真价值在于创造。

2. 大数据的价值： 大数据的核心价值就是充分地挖掘出有用的信息，通过这些信息可以获取更大的利润，实现数据增值[4]。因此，得数据者得天下这句话是很有道理的。譬如，春节期间在智能交通实验室做的油耗模型建立的项目中，如果没有数据，我们能从数据中发现汽车的速度、机动车比功率和油耗之间存在着某种微妙的关系，进一步说，没有发现这层关系，我们又怎么对车辆的耗油建立预估模型。如果没有模型，又怎么把这项发现加以推广应用，创造价值。 因此，未来在大数据领域最有价值的两种事物：：1-拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海[5]。 3. 大数据当下的应用 ●大数据可以帮助智慧城市的建设[6]。 ●帮助电商公司向用户推荐商品和服务，提高公司受益 ●在社交网络上更精准的推荐好友，用户所需信息。 ●使医疗行业更加便捷、智能 虽然这些应用会提高用户的满意度和生活的价值。但是，数据是把双刃剑， 有利有弊。在数据共享的同时也无形中也泄露了个人的隐私，容易遭受攻击。因此，数据安全问题也是大数据面临的一大难题[7]。 二. 大数据技术 可以说，大数据之所以如此快速发展，源于技术的支持。 具体有什么技术和大数据密切相关？毫无置疑，就是我们经常说的云计算。在云计算中分布式处理技术，海量数据的存储和管理技术，NoSQL、实时流数据处理、智能分析技术等都极大支持了大数据，也促使了它的发展。但是云计算和大数据也存在区别：云计算改变了大数据，而大数据改变了业务层，两者的目标受众不同。

大数据认识

大数据认识 班级：B200216电商本科2 姓名：陈家玮学号：20021624 一 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 层面 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。 第二层面是技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 第三层面是实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。 价值 1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销 2) 做小而美模式的中小微企业可以利用大数据做服务转型 3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值 趋势 趋势一：数据的资源化 何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。 趋势二：与云计算的深度结合 大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。

认识大数据(一)

也谈大数据（一）记录中的世界 2015年9月24日孙波 今天去听了个讲座，关于大数据和云计算，主讲老师主要围绕大数据的一些基础和应用示例以及数据安全方面，有一点收获，有一点想法，很多老师没有提到的东西，还有些自己对大数据理解已经沉淀很久了，特此写下来。主要是关于大数据的认识。 一、大数据的概念 讲座上，老师讲的大数据概念，几乎和百度百科上的一样：大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。然而这样的“大数据”对我们又有什么价值呢？我觉得，我们所提到的大数据，必须是以能从中挖掘出一定价值的，能指导我们现实生活作为前提条件的。 我理解的大数据有两个层面： 1、广义的大数据概念。 广义的大数据，就是“人类通过信息化手段将现实世界记录为数据的集合”。或者说，其本质是在人类世界目前的所有信息化系统下，产生的数据集合，这些数据汇集成一个映射现实世界的虚拟信息世界。这个虚拟信息世界的所有数据，即广义大数据，也就是说，广义的大数据有且只有一个。 2、狭义的大数据概念 狭义的大数据概念，是指围绕某一对象，以及某一时间范围进行考察，该对象在该段时间内通过各种信息化途径产生的数据的集合，称之为“大数据”。这里引入“对象”的概念，是建立在我前面提出的“大数据必须是有价值的”这一基础上的，要让大数据产生价值，就要有目的性的去挖掘、分析、统计，并为某些对象提供服务，就好像肉对狗有价值，草对羊有价值，考察对象至关重要。 二、三个世界 为了进一步阐述我的大数据观点，这里我提出“三个世界”的观点，所谓三个世界，是指“客观世界”、“记录世界”、“认知世界” 1、客观世界 “客观世界”指的是唯物主义理论中的世界，它不以人类的认知为界限，不为人类的意识所改变。是一个客观现实，不管人类是否探索到，或者是否了解，是否理解。 2、记录世界 “记录世界”可以说是数字化的“客观世界”，是人类在生产、生活过程中对“客观世界”的发现和有意或者无意的信息记录。一定程度上是对“客观世界”的信息化映射。 3、认知世界 “认知世界”是指人类对客观世界的认知，从而产生了一个在人类文明中的“世界”，

对大数据的心得体会

对大数据的心得体会 早在XX年，人类制造的信息量有史以来第一次在理论上超过可用存储空间总量，近几年两者的剪刀差越来越大。XX年，全球数字规模首次达到了“ZB”级别。XX年，淘宝网每天在线商品数超过8亿件。XX年底，中国手机网民超过 6亿户。随着互联网、移动互联网、传感器、物联网、社交网站、云计算等的兴起，我们这个社会的几乎所有方面都已数字化，产生了大量新型、实时的数据。无疑，我们已身处在大数据的海洋。有两个重要的趋势使得目前的这个时代与之前有显著的差别：其一，社会生活的广泛数字化，其产生数据的规模、复杂性及速度都已远远超过此前的任何时代；其二，人类的数据分析技术和工艺使得各机构、组织和企业能够以从前无法达到的复杂度、速度和精准度从庞杂的数据中获得史无前例的洞察力和预见性。 大数据是技术进步的产物，而其中的关键是云技术的进步。在云技术中，虚拟化技术乃最基本、最核心的组成部份。计算虚拟化、存储虚拟化和网络虚拟化技术，使得大数据在数据存储、挖掘、分析和应用分享等方面不仅在技术上可行，在经济上也可接受。 在人类文明史上，人类一直执着探索我们处的世界以及人类自身，一直试图测量、计量这个世界以及人类自身，试图找到隐藏其中的深刻关联、运行规律及终极答案。大数据

以其人类史上从未有过的庞大容量、极大的复杂性、快速的生产及经济可得性，使人类第一次试图从总体而非样本，从混杂性而非精确性，从相关关系而非因果关系来测量、计量我们这个世界。人类的思维方式、行为方式及社会生活的诸多形态正在开始发生新的变化。或许是一场革命性、颠覆性的变化。从这个意义上讲，大数据不仅是一场技术运动，更是一次哲学创新。 1 大数据的概述 大数据的概念 大数据是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。 数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。 对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息，例如零售业中对门店销售、地理和社会信息的分析能提

认识大数据(一)

认识大数据(一)

也谈大数据（一）记录中的世界 2015年9月24日孙波 今天去听了个讲座，关于大数据和云计算，主讲老师主要围绕大数据的一些基础和应用示例以及数据安全方面，有一点收获，有一点想法，很多老师没有提到的东西，还有些自己对大数据理解已经沉淀很久了，特此写下来。主要是关于大数据的认识。 一、大数据的概念 讲座上，老师讲的大数据概念，几乎和百度百科上的一样：大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。然而这样的“大数据”对我们又有什么价值呢？我觉得，我们所提到的大数据，必须是以能从中挖掘出一定价值的，能指导我们现实生活作为前提条件的。 我理解的大数据有两个层面：

为了进一步阐述我的大数据观点，这里我提出“三个世界”的观点，所谓三个世界，是指“客观世界”、“记录世界”、“认知世界” 1、客观世界 “客观世界”指的是唯物主义理论中的世界，它不以人类的认知为界限，不为人类的意识所改变。是一个客观现实，不管人类是否探索到，或者是否了解，是否理解。 2、记录世界 “记录世界”可以说是数字化的“客观世界”，是人类在生产、生活过程中对“客观世界”的发现和有意或者无意的信息记录。一定程度上是对“客观世界”的信息化映射。 3、认知世界 “认知世界”是指人类对客观世界的认知，从而产生了一个在人类文明中的“世界”，这个世界里包含了人类各个历史阶段各个层次的文明，从地心说到日心说，牛顿定律到相对论等等，也是指人类科学和社会意识形态中所理解的“世

界”。“认知世界”是人类试图去探索“客观世界”，去理解“客观世界”的成果。通常“认知世界”是一部分人类专注于对“记录世界”的分析研究和归纳总结后产生的。 为了更好的说明这三个世界，我举一个例子。 描述1：孙波生活在地球上，地球上经常有火山喷发。 描述2：孙波每次打喷嚏都会写进日记。地球上每次火山喷发也都有人类记录。 描述3：若干年后，通过这些记录，人们有一个惊人的发现：孙波每打100个喷嚏，就正好会有一座火山喷发，于是科学家推导出这个理论：每当孙波打喷嚏的次数能被100整除，就会发生火山喷发。从此，每当孙波打90个喷嚏的时候，火山周围的村民就会搬迁或者躲到地下。 上面三个描述，描述1就是客观世界，描述2就是记录世界，描述3就是认知世界。虽然例

浅谈对大数据的看法

浅谈对大数据的看法 大数据与大脑有相关性。大数据在日常生活中已经开始应用广泛，它的本质不是传统的数据统计带来的简单的因果关系，而是数据的相关关系。在相关关系分析法基础上的预测才是大数据的核心。这让人自然会想到大脑的功能，每个人的思维就是一个大数据处理体系，如果有的人擅长去寻找不同事件之间发生的因果关系，那么这个叫做因果错觉，因果错觉容易发生在女性身上，因为女性因性格敏感等特点，会不自觉的将事情发生的结果，采用自己主观判断来归因，但事实上，事情之间的相关关系才是真正的关系。人的思维体系中，相关关系更加重要，相关关系代表调取大脑中的既往相关经验，来处理眼前的事情，更加客观。 大数据将开启一次重大的时代转型。信息广速度快，是很好，可是这不是最重要的，最重要的是不要让数据无处不在。大脑就像数据仓库，在数据充满我们的大脑、生活、生命中时，如果不去清理，不去遗忘，很容易一脑子浆糊，身心不舒畅。任何环境下我们都需要在纷繁的情况里简化问题。 这时自然会产生疑问：怎么删除？在这个信息碎片化的时代，如何做一个自我的搜索和过滤器，最好做成一个芯片，安放在我的手腕处皮肤下，这样，我就可以快速的找到我想看到的东西，忽视噪音，更加直接的去感受和了解自己。因为路径缩短，我便可以将时间放长，慢慢的去体会和感受。 当然芯片是个玩笑，出色的信息提取能力能够促进一个人的决策，一个人的一念一息及多年慢慢形成的价值观才是做选择的依据。你是不是有和我一样的经历，上千张照片中，删还是不删是个问题。怎么确定保留哪张，根据什么原则，每个人都有不同的原则，有的人认为，人最全的一定要留，有的人认为背景全的一定要留，有的人认为留表情最好的，有人认为留姿势最美的，甚至有的认为没对好焦距的朦胧的才是最有意境的。而我应该最清楚我怎么筛选，艺术家罗丹说，“雕像就在那块石料里，我只是将那些不要的东西去掉了。但是要知道雕像到底是什么，只有我自己才明白我自己到底要雕什么。”看书也是一样，书籍能使一个人瞥见这个世界的一角。是你自己选择去瞥见哪一角。 从心理学的角度，做出选择，同时意味着舍弃其他的可能性，这是一件异常困难的事情。造成这个困难的无非是“利”、“弊”两个字，但因利弊两个字背后掺杂了太多的心理变量，因此难倒了古往今来多少英雄好汉。为了有能力更好的进行抽象的思考和决策，挑战自我，不妨尝试一下删删删删的效果。 日本可能因为资源集中而紧缺，一直很倡导简生活，最近很流行的一位日本女士所著的一本书《断舍离》，将人身边的外物采用各种方式进行清理，代表对内心的一种扫除力，从而保持一种简约清爽的生活态度。还有很多其他方式对生活进行删减，看网上写过一个训练，基本要求为整天不语，不带手机，不带手表，

对大数据的理解与看法(结课论文)—王继锋15321050

对大数据的理解与看法 知行1501 15321050 王继锋首先我们要明白大数据是什么？大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：V olume（大量）、Velocity （高速）、Variety（多样）、Value（价值）。对于“大数据”（Big data）研究机构给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 由此可见，大数据在现实生活中有着很大的用处，他能带动产业的发展，优化市场营销模式，创造出前所未有的价值，发现人们很难察觉到的机遇。那么，大数据有什么具体的应用呢？ 据显示，17%-18% 的妇女都曾因受孕困难寻求过医学帮助。

PayPal 联合创始人兼CTO Max Levchin 认为：“受孕困难说到底是一个信息问题。大多数妇女如果能更好地掌握自己排卵周期，更好地读懂自己身体发出的各种信号。她们怀孕的几率会大很多。”于是Levchin 想借助大数据和移动互联网来解决这个困扰夫妇的实际问题。 在近日的D11 大会上，Levchin 展示了其打造的助孕应用Glow。通过Glow，妇女们能够记录和跟踪与怀孕有关的各种重要身体信号，包括月经周期、晨温、上一次性行为时间、体重、心理压力，当然还有最重要的宫颈粘液稠度。具体Glow 是如何助孕的，女生们可以参考其官网的FAQ页面。这里就不多解释了，还是有些害羞哈。Glow 目前正在等待App Store 的审核。 怀孕是两个人的事，不孕自然男人也脱不了干系。Levchin 表示，未来还会推出记录和跟踪男性身体信号的应用。而目前，丈夫也是可以使用Glow 来记录自己对妻子的观察数据。 录入数据之后，Glow 内置的算法能够推算出可能的受孕时间。想造人的夫妻就可以赶紧利用这个时间，而不想要拖油瓶的夫妻则最好尽量避免这个时间。另外，在预测准确率方面，Levchin 表示，随着用户的增多，Glow 的大数据技术能够提高准确率。 不只想做受孕预测，Glow 还想做一款金融工具。Levchin 表示，美国很多夫妻当遇到不孕不育问题都会寻求医疗帮助，但这笔数目不小的费用却没有纳入美国的医保体系，很多夫妻表示压力山大。对此，Glow 推出了一个“不孕不育公积金”的概念。每对有受孕困难的

带您认识大数据

带您认识大数据 本刊编辑部 “大数据”的由来 2008年9月4日，英国《自然》杂志刊登了一个名为“Big Data”的专辑，首次提出大数据概念，该专辑对如何研究PB 级容量的大数据流，以及目前正在制订的、用以最为充分地利用海量数据的最新策略进行了探讨。2011、2012年达沃斯世界经济论坛将大数据作为专题讨论的主题之一，发布了《大数据、大影响：国际发展新的可能性》等系列报告。 2011年以来，中国成立了大数据委员会，研究大数据中的科学与工程问题，科技部《中国云科技发展“十二五”专项规划》和工信部《物联网“十二五”发展规划》等都把大数据技术作为一项重点予以支持。业界普遍认为，2013年是中国“大数据元年”。 “大数据”的涵 【定义】 继物联网、云计算之后，“大数据”已迅速成为大家争相传诵的热门科技概念。“大数据”作为信息社会发展的一个新生事物，目前尚处在逐渐被认识、被应用的初始阶段，无论是学术界还是IT行业对大数据的理解各有侧重，尚未形成一套完整的理论体系。全球最具权威的IT研究与顾问咨询公司Gartner将“大数据”定义为“需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力围的数据集合。《互联网周

刊》则认为，“大数据是通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力”。国家信息中心有关专家将“大数据”广义地界定为，“我国现代信息化进程中产生的和可被利用的海量数据集合，是当代信息社会的数据资源总和，是信息时代的全数据，既包括互联网数据，也包括政府数据和行业数据。” 【属性】 随着大数据的发展，大数据的涵已不仅仅局限于技术维度，而是在演变过程中不断扩展，形成了一个语义更加丰富、维度更加多元的综合性的概念。 大数据是一类海量信息的数据集，是一项对海量数据进行快速处理并获取有价值信息的技术，更是一种新的认知世界和改造世界的思维方式和能力。大数据开启了一个以数据为基本元素的、以数据为战略资产的时代，在大数据时代掌握了数据就意味着拥有了核心竞争力。大数据时代让社会朝着更加个性化、化、自由化、开放化的方向发展。 1．“4V”特征 大数据在诞生之初仅仅是一个IT 行业的技术术语，业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的容特征。 一是数据体量巨大(Volume)。国际数据公司(IDC)的研究结果表明，截至2012年，人类生产的所有印刷材料的数据量是200PB。IBM研究称,整个人类文明所获得的全部数据中,有90%是过去两年产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。当前，典型个人计算机硬

大数据概念

大数据究竟是什么？一篇文章让你认识并读懂大数据 在写这篇文章之前，我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻，如果你问他大数据和你有什么关系？估计很少能说出一二三来。究其原因，一是因为大家对新技术有着相同的原始渴求，至少知其然在聊天时不会显得很“土鳖”；二是在工作和生活环境中真正能参与实践大数据的案例实在太少了，所以大家没有必要花时间去知其所以然。 我希望有些不一样，所以对该如何去认识大数据进行了一番思索，包括查阅了资料，翻阅了最新的专业书籍，但我并不想把那些零散的资料碎片或不同理解论述简单规整并堆积起来形成毫无价值的转述或评论，我很真诚的希望进入事物探寻本质。 如果你说大数据就是数据大，或者侃侃而谈4个V，也许很有深度的谈到BI或预测的价值，又或者拿Google和Amazon举例，技术流可能会聊起Hadoop和Cloud Computing，不管对错，只是无法勾勒对大数据的整体认识，不说是片面，但至少有些管窥蠡测、隔衣瘙痒了。……也许，“解构”是最好的方法。 怎样结构大数据？ 首先，我认为大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。 其次，想要系统的认知大数据，必须要全面而细致的分解它，我着手从三个层面来展开： 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；从对大数据的现在和未来去洞悉大数据的发展趋势；从大数据隐私这个特别

浅谈对大数据时代和人工智能时代的认识 光环大数据

https://www.wendangku.net/doc/af2300022.html, 浅谈对大数据时代和人工智能时代的认识光环大数据 浅谈对大数据时代和人工智能时代的认识_光环大数据。最近大数据和人工智能的发展非常的迅速，大数据时代和人工智能时代的到来，为我们的生活提供了诸多的便利。 大数据时代和人工智能时代 在人工智能路上有很多关键人物不能忘记，图灵不能忘记。计算机领域特别重要的一个奖图灵奖，其他学科有诺贝尔奖；诺贝尔时代没有计算机，后来有了计算机以后，大家就想计算机界也应该设一个和诺贝尔奖相当的奖，这个奖就是图灵奖，现在全世界一共65个人得过图奖，姚期智教授，是华人当中唯一得到图灵奖的。 人工智能涉及的领域非常广泛，工业、航天、商业都有应用，并且已经深入人们的生活，打开手机中的Cortana或者Siri，这就是AI的产物。要知道，在几十年前，这种超前的技术是不受认可的，教授相关课程的学校也是寥寥无几。究其原因，主要就是数据的积累和应用。高容量存储设备丰富了数据量的留存，随着数据的不断增加，人们开始在其中发现某种规律，引发了分析的需求。 分析让大量的数据有了价值，机器开始懂得用户想要什么，可以预测未来的天气和球赛的比分，这种人工智能与场景的结合，要实现的就是改变生活方式和解放生产力。具体来说，很多过去只有人能做的事情，现在更多的情况下能够通过机器实现，典型的例子包括语音助手、无人驾驶汽车。更重要的是，当硬件性能逐渐提升、计算资源越来越强大时，成本却越来越低廉。 大数据时代和人工智能时代 大数据时代和人工智能时代的到来，既给我们带来了便利，同时我们也面对一些挑战，有一部分职业岗位要被淘汰，同时对大数据人才和人工智能人才的需求也进一步加大。

对大数据的初步认识

对大数据的初步认识 大数据也许就是当今的互联网发展至今的一种现象，“大”字体现了海量的数据，但是真正理解大数据，就是挖掘数据潜藏的信息价值，洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。 大数据的4个“V”，让我对它进行了初步的认识，第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。如网络日志、视频、图片、地理位置信息等等。第三，数据的来源，直接导致分析结果的准确性和真实性。若数据来源是完整的并且真实，最终的分析结果以及决定将更加准确。第四，处理速度快，1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。也就是Volume（大量）、Velocity（高速）、Variety（多样）、Veracity（真实性）。 物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。 大数据最核心的价值就是在于对于海量数据进行存储和分析。相比起现有的其他技术而言，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。 大数据的应用可以看出它的威力，如洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生；PredPol Inc.。

PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作，基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率，可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区，盗窃罪和暴力犯罪分布下降了33%和21%；Express Scripts Holding Co.的产品制造。该公司发现那些需要服药的人常常也是最可能忘记服药的人。因此，他们开发了一个新产品：会响铃的药品盖和自动的电话呼叫，以此提醒患者按时服药； 大数据”的影响，增加了对信息管理专家的需求，甲骨文，IBM，微软和SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司。这个行业自身价值超过1000亿美元，增长近10%，每年两次，这大概是作为一个整体的软件业务的快速。 众所周知，企业数据本身就蕴藏着价值，但是将有用的数据与没有价值的数据进行区分看起来可能是一个棘手的问题。例如，通过学生对老师反应的教学质量，来对老师的教学质量做一个评估。还有，超市购物，对客户喜欢买什么，将他放在超市的里面，这样客户想要买就要走到里面，途中看到商品想要的，可以拉动其他商品的销售。所以，数据应该随时为决策提供依据。看看在政府公开道路和公共交通的使用信息这样看起来甚至有点晦涩的数据时会发生什么：这些数据来源为一些私营公司提供了巨大的价值，这些公司能

大数据时代下对数据的新认知

龙源期刊网 https://www.wendangku.net/doc/af2300022.html, 大数据时代下对数据的新认知 作者：殷悦 来源：《电子技术与软件工程》2017年第04期 摘要“这是最好的时代，这是最坏的时代，”随着信息时代的进步，近年来信息数据资源已经成为最宝贵的财富。我们正处在一个信息爆炸性增长的“大数据”时代的同时，数据的传播速度也远远超出我们的控制范围。大数据在政治、经济、文化都产生着深远影响，大数据时代也对我们提出了新的机遇和挑战。 【关键词】时代大数据影响机遇挑战 二十一世纪是信息的时代，是数据的时代也是各种新兴技术快速发展的时代。我们有幸生于这个伟大的时代，在享受着各种高新技术的同时，你是否有注意到其背后成千上万的数据带给我们的便利呢？自人类诞生之初数据就已经存在，而在几千年以后的今天数据已经越来越广泛的在生活中被运用和提及。清晨你被闹钟叫醒，每天闹钟都会根据你的睡眠质量切换不同的铃声，吃早饭时电视里智能推送的是你最喜爱的频道，上班的路上常常拥堵而你也不用担心因为导航通过分析路况为你制定了最佳路线，到达公司后电脑桌面上已经筛选好了一天需要完成的工作，下班后你去了超市为了了解货物的信息，你扫了二维码得知了食品的安全检验记录和消费者对它的评价……有这些听起来是不是很熟悉？因为这些场景都是我们今天生活中正在发生的。你无法回避也不得不接受的现实，我们每个人都已经不知不觉地卷入了这个“大数据”时代。 1 什么是大数据下的数据认知 “大数据”就是一种流量、存储量超级大（以TB计算）数据。谷歌地图街景（图片）是大数据，每一个微博用户在微博上产生的全部内容合起来作为一个整体是一种大数据，淘宝店主和每一位淘宝用户在淘宝这个平台上产生的所有信息作为一个整体是一种大数据，国内最大的搜索引擎百度里面所有的无数条的类目信息合起来也是一种大数据，这些都是互联网企业普遍存在的大数据。根据来源的不同大数据大致可分为如下几类： 1.1 来自于人 人们在互联网活动以及使用移动互联网过程中所产生的各类数据，包括文字、图片、视频等信息。 1.2 来自机 各类计算机信息系统产生的数据，以文件、数据库、多媒体等形式存在，也包括审计、日志等自动生成的信息。

对大数据的初步认识

一、大数据定义 大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 二、大数据特点 1、5V：大量、高速、多样、真实、价值 2、数据量大、属性丰富、关联性强、实时动态 三、大数据的常见类型 移动通信数据、电子商务数据、服务行业数据、社交媒体数据、智能刷卡数据、物联传感数据 四、大数据应用领域 1、领域：政府、商业、医疗、交通、教育、经济、人文以及社会的其他各个领域等。 2、城市交通研究 大数据主要应用于公共交通服务、交通引导、物流调度优化等方面。

（1）针对公共交通服务方面，通过统计地铁系统中流动性的刷卡数据来判断地铁里面人群在不同站点的通行时间，从而指导乘客选择出行时间、购票方式，最小化乘客的花在公共交通上的时间和精力。根据出行数据估计了单个地铁站里面的拥挤状况，从而优化乘客的出行。 （2）对于智慧出行系统，利用出租车的轨迹数据来分析交通流量，并且为驾驶者设计最快行驶路线。 （3）关于货运交通，学术界也利用物联网大数据对货物运输进行实时监控、路线优化。例如，基于物联网采集到的运输车辆的数据，提出了一种远程智能监控系统，实时控制危险物品和车辆；基于物联网实现快速采集数据、实时传输，并对配送路线进行优化。 3、城乡规划应用 （1）利用公交卡、出租车、地铁刷卡的移动人流数据，来识别城市功能区和热点地区。 （2）出租车流分析，试图识别各项城市功能的比例。 （3）基于个人位置信息的人口流动联系，可以进行城镇化宏观研究，分析未来人口及城市人口的分布情况。 （4）利用微博信息的联系，反映城市之间的信息联系。 （5）利用人的活动地点信息、活动内容和路径，来分析居民的出行行为。

对于大数据的认识和理解-谈谈对数据的理解

对于大数据的认识与理解 这学期选修了网络工程这门课程,当时就是抱着扫盲的态度选的这门课程,给自己定的目标不高,只需要对一些基础的概念与网络结构有些认识就可以,以免以后在人前谈论的时候不至于成为IT文盲,被一些专业性的技术人员所吓倒。事实证明,态度决定一切,由于自己刚开始设定的目标就比较低,所以注定能够上升到的水平也就不高。 经过这几周的学习,对计算机网络的基础知识与大致结构有了一个粗浅的认识。由于学生本身这方面的基础不扎实,知识结构在这方面比较薄弱,所以不能在技术方面进行深入的研究,只能对一些理论性的知识做一些了解与认识,建立起大概的知识框架。在学习过程中,魏忠老师所提及的知识中有一点印象最为深刻,关于大数据Big Data方面的提及引起了我很大的兴趣,越就是自己私下里做了一些阅读与查询(主要就是维克托·迈尔-舍恩伯格的《大数据时代》与网络上查瞧的一些资料)。最后提交的这篇课程总结就着重报告一下自己在阅读了她人关于大数据的一些理论后自身的认识。 在这之前,我发现身边很多人都提起过大数据,其中包括老师与同学。可就是对于这些热门的新技术、新趋势人们往往趋之若鹜却又很难说的透彻,如果您问她大数据与您有什么关系？估计很少同学能说出一二三来。究其原因,一就是因为大家对新技术有着相同的原始渴求,至少知其然在聊天时不会显得很“无知”,因为现在人们普遍都有以一种信息焦虑感,别人知道的东西我不知道,就会感到焦虑,无论这些信息对您有没有用;二就是在工作与生活环境中真正能参与实践大数据的案例实在太少了,所以大家没有必要花时间去知其所以然。当然我也一样,虽然我希望能有些不一样,但就是自己实在欠缺IT这方面的知识,所以也只能查阅一些资料,翻阅了最新的专业书籍,在自己局限的认识下把这些些零散的资料碎片或不同理解论述综合起来做一个类似于文献综述的报告,其实我很真诚的希望进入事物探寻本质。下面就从理论、技术、实践这三个层面写一下大数据的认识大数据的一些相关理论: 最早提出大数据时代到来的就是麦肯锡:“数据,已经渗透到当今每一个行业与业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘与运用,预示着新一波生产率增长与消费者盈余浪潮的到来。” 业界(IBM 最早定义)将大数据的特征归纳为4个“V”(量Volume,多样Variety,价值Value,速Velocity),或者说特点有四个层面:第一,数据体量巨大。大数据的起始计量单位至少就是P(1000个T)、E(100万个T)或Z(10亿个T);第二,数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等。第三,价值密度低,商业价值高。第四,处理速度快。最后这一点也就是与传统的数据挖掘技术有着本质的不同。 很早就流传着一句话:三分技术,七分数据,得数据者得天下。先不论这句话就是谁说得,但就是这句话的正确性已经不用去论证了。维克托·迈尔-舍恩伯格在《大数据时代》一书中举了很多例证,都就是为了说明一个道理:在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。书中,作者提及最多的就是Google如何利用人们的搜索记录挖掘数据二次利用价值,比如预测某地流感

大数据认识

想要系统的认知大数据，必须要全面而细致的分解它，我着手从三个层面来展开： 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；从对大数据的现在和未来去洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。 第二层面是技术，技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 第三层面是实践，实践是大数据的最终价值体现。我将分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

现在和未来 我们先看看大数据在当下有怎样的杰出表现： 大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督； 大数据帮助城市预防犯罪，实现智慧交通，提升紧急应急能力； 大数据帮助医疗机构建立患者的疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物； 大数据帮助航空公司节省运营成本，帮助电信企业实现售后服务质量提升，帮助保险企业识别欺诈骗保行为，帮助快递公司监测分析运输车辆的故障险情以提前预警维修，帮助电力公司有效识别预警即将发生故障的设备； 大数据帮助电商公司向用户推荐商品和服务，帮助旅游网站为旅游者提供心仪的旅游路线，帮助二手市场的买卖双方找到最合适的交易目标，帮助用户找到最合适的商品购买时期、商家和最优惠价格； 大数据帮助企业提升营销的针对性，降低物流和库存的成本，减少投资的风险，以及帮助企业提升广告投放精准度； 大数据帮助娱乐行业预测歌手，歌曲，电影，电视剧的受欢迎程度，并为投资者分析评估拍一部电影需要投入多少钱才最合适，否则就有可能收不回成本； 大数据帮助社交网站提供更准确的好友推荐，为用户提供更精准的企业招聘信息，向用户推荐可能喜欢的游戏以及适合购买的商品。 其实，这些还远远不够，未来大数据的身影应该无处不在，就算无法准确预测大数据终会将人类社会带往到哪种最终形态，但我相信只要发展脚步在继续，因大数据而产生的变革浪潮将很快淹没地球的每一个角落。 比如，Amazon的最终期望是：“最成功的书籍推荐应该只有一本书，就是用户要买的下一本书。” Google也希望当用户在搜索时，最好的体验是搜索结果只包含用户所需要的内容，而这并不需要用户给予Google太多的提示。 而当物联网发展到达一定规模时，借助条形码、二维码、RFID等能够唯一标识产品，传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析，这些数据能够支撑智慧城市，智慧交通，智慧能源，智慧医疗，智慧环保的理念需要，这些都所谓的智慧将是大数据的采集数据来源和服务范围。

如何理解大数据word版本

如何理解大数据 大数据（big data），或称巨量数据、海量数据；是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的集成共享，交叉复用形成的智力资源和知识服务能力。在商业领域指的是所涉及的资料规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。对于组织和个人职业生涯而言,成功的大数据项目应该都是一场成果显著的胜利。但如果优先顺序出错，那么大数据项目在实行伊始便注定将以失败告终。区分数据真实度（veracity）、可视化（visualization）以及价值（value）的优先顺序是成功的关键。 大数据项目中首要的挑战，基本上都会听到类似的回答：数据量（volume）、速度（velocity）以及多样性（variety）。这三个V俨然已经成为大数据的同义词。然而，面对合理的挑战时，大数据的长期性、战略性价值将不会通过这三个V来体现。前面提及的另外三个V才是成功与失败的分水岭。任何大数据战略如果未能包括或纳入上述的三个新V，那么大数据将无法引起企业的兴趣、列入企业优先考虑事项并成为真正的推动力量（无论是何种用例）： 真实度（veracity）。如果您的组织与大多数组织一样，已在保证数据可信度方面耗费了大量心血，引入大数据并不会将您过去在可信度方面的努力全盘废弃。大数据分析中的洞察见解必须是可信的，并且可依据这些洞见制定业务决策或发起活动。 可视化（visualization）。访问大数据是一回事，为企业整体资源消耗提供大数据服务则是另一回事。多样性固然重要，尤其是考虑如何向需要数据的各种人员提供数据访问和使用的时候。确保您不仅能向需要数据的人员提供大数据，而且重点关注如何确保通过高度灵活、可配置以及用户友好的可视化能力充分发挥大数据的潜能。 价值（value）。当您清楚表明并证实了投资对企业造成的影响之后，技术投资的理论便拥有了实践支持。专注于大数据方案将为您的企业带来的最终价值。创建一个令人信服的业务案例，说明大数据投资如何能够增加收入、改善效率、降低业务和IT运营成本、减小风险、提高客户满意度和忠诚度，或在战略上让您的企业从众多其他竞争对手中脱颖而出。这就是大数据从沙盒试行项目广泛应用到整个组织中的方式。 这其中不乏卓越者，湖南蚁坊软件搭建的大数据平台：蚂蚁工厂（Antfact ）完美的为3V:数据真实度（veracity）、可视化（visualization）以及价值（value）做了最好诠释。 大数据分析与处理方法介绍 众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？ 一、大数据分析的五个基本方面