关于大数据的应用前景和技术实

关于大数据的应用前景和技术实现

摘要：大数据时代的到来影响着社会的各个层面，从物联网、云计算到微博等影响着人们生活的方方面面。毫无疑问，“大数据”将成为我们进入信息时代又一具有里程碑式意义的繁荣和发展。人们的生活、工作、学习，企业的运营管理，公共事业的发展都建在大数据的背景下发生深刻变革。可以说大数据的应用前景是广阔的，值得我们去遥想。同时，大数据的时代并没有真正的走向成熟，所以就其发展状况来看，还处于初级阶段。所以它也面临着种种技术难题需要去解决。

关键字：大数据应用前景技术实现

“大数据”这个话题热了，但是要讨论大数据的起源，实际上是一个比较复杂的问题。

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学以及军事、金融、通讯等行业领域存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

“大数据”这个术语最早期的引用可追溯到2004年Oregon State University开始的apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和Google File System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。

早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2009年开始，“163大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。

其实早在2001年，Gartner公司的一份研究报告也出现“大数据（Big Data）”概念的提法。

对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

这些关系错综复杂，但是有一点是可以说明的，那就是我们不必要说明“大数据”到底是谁提出来的。在人类文明发展的进程中，信息的积累，数据的运用也在不断地进行，毫无疑问，这些信息在互联网的环境中又迸发出深切的内涵。互联、共享的世界给了信息充分的自由，在这里每一个小小的动作都可以演化成数据。而数据的功能实际上是便于人们理解，为人们服务的，于是数据就被保留了下来，互联网下的一切似乎都有了意义。于是，“大数据”来了！

1、大数据和云计算的关系

在“大数据”这个名词热起来之前，“云计算”早早的闯入了人们的视野。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。[2]

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

2、大数据未来的发展前景和应用

在未来大数据的环境背景下，我们的生活会随着各行各业的发展而产生巨大的改变。我们的企业会根据大数据的信息处理提高企业管理的管理精度，提高只能部门的工作效率，从而降低公司的开支成本，是企业更加具有竞争力。在教育领域，根据大数据的数据处理能力可以获知学生的兴趣爱好，个人所长，从而因材施教，帮助孩子获得更好的教育发展。在商业竞争中，可以利用“大数据”的信息处理能力获得消费者的喜好、需求和商品的卖点，可以及时的推出那些消费者需要而且能让消费者满意的商品。其实，大数据能影响的远远不止这些。在未来的前景里，无论是医疗，交通，还是其他公共生活服务领域都有值得畅想的地方。

“大数据”会推动人类社会走向智能。互联网将造就更大的物联网。未来的城市将是智能化的城市。那么“大数据”、物联网以及智慧城市的关系会是怎样的呢？

首先，物联网技术的发展是“大数据”形成的动因，“大数据”的数据来源依赖于物联网技术创新和应用。其次，智慧城市需要依赖于“大数据”的支撑，“大数据”的应用程度也会是智慧城市发达程度的重要指标。然而智慧城市的建设是以物联网技术为基础，但是其概念外延要比物联网大很多。智慧城市不仅仅是高新技术的智能化应用，它同时也要求人与人的交互和人与城市的和谐关系的融合。

在智慧城市里，我们的生活会是越来越智能，越来越个性化的。我们的家具了解我们的习惯，我们的汽车知道它自己该驶向何处，我们的厨房可以学会为我们提供健康的饮食，我们的运动器材清楚我们该做什么样的运动，我们的电视电脑可以识别我们的手势或是一句口令。智慧城市，是人的思维和物的完美结合。

3、大数据在技术上的支持和面临的难题

从大数据比较有影响力的概念和大数据的研究现状来看，推动大数据发展的核心力量之一就是大数据的分析处理工具和技术。传统的数据分析处理技术已经无法满足大数据的需求，大数据的出现也必然伴随着新的处理工具和新技术的出现。

3.1大数据处理平台支持：在大数据的处理平台中，最广为人知的就应该是Apache的Hadoop的块处理平台，Hadoop主要是基于MapReduce编程框架和HDFS。HPCC（high performance computing cluster）系统也是一种开源的分布式密集数据处理平。Hadapt是一种高性能的自适应分析平台。

3.2大数据数据处理技术支持：

从大数据的处理过程来看，大数据处理的关键技术包括：大数据采集、大数据预处理、大数据储存及管理、大数据分析及挖掘、大数据展现和应用等。

3.2.1基于数据处理技术方面:Google起步比较早，自行开发了GFS，随着发展的需要有不断出现了第二代GFS——Colossus、BigTable和Megastore。在BigTable和Megastore的基础上诞生了Spanner,其功能主要是源于一个用GPS和原子钟实现的时间API，这个API能将数据中心之间的时间同步精确到10ms以内。像微软也自行开发了分布式计算平台Cosmos，能够存储和分析大规模数据集，其宗旨是能够在成千上万台服务器集群上运行。另外，社交网络的代表Facebook推出了海量小文件的文件处理系统Haystack,同时Facebook还结合自己的应用场景提出了实时的Hadoop系统。

3.2.2基于数据挖掘的大数据处理技术：数据分析离不开数据挖掘，大数据更是如此。利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等，它们分别从不同的角度对数据进行挖掘。

3.2.3基于查询的大数据处理技术：在大数据的处理过程中，数据分析是关键，数据分析主要是依赖于数据分析工具。

危险理论是一种比较新的数据分析方法，危险理论是来源于生物免疫系统，但又不同于传统的人工免疫系统。在关键特征和属性的选择上引入危险理论，主要是被用做数据过滤策略，可提高数据分析的效率。在危险理论中关注的是潜在危险，捕捉危险信号，用数值微分法判断危险信号。这个处理模式与之前的编程处理模型相比具有自学习能力和智能性，它在数据的预处理阶段有明显的效果，更适合于快速的数据过滤。

4、面临的技术难题

面对领域大数据，在全生命周期的一体化协同环境下的大数据采集、存储。管理及分析处理都将面临着前所未有的挑战。

4.1大数据采集问题：如何将大数据变小，在尽量不损失价值的情况下减少数据的冗余，。如何有效地处理大数据类似物理的作用，把大数据的规模变小但不损失价值：如何从一个平面的大数据提炼出高附加值的概念、知识和智慧。

4.2大数据存储问题：对于结构化数据，海量数据的查询、统计、更新效率低，对于非

结构化数据，如图片、视频等文件的存储、检索困难：对于半结构化数据，进行存储。

分析需要转化为结构化数据、，或者按照非结构化数据进行存储，难度较大。

4.3大数据管理问题，如何对分布、多态、异构的大数据进行管理，当前还缺乏有效手

段。

参考文献：

1、《大数据研究综述》········································华南师范大学涂新莉，刘波，林伟伟2014.06.03

2、《大数据流式计算：关键技术及系统实例》··················清华大学张大为，张广艳2014.02.05

3、《“大数据”时代背景下计算机信息处理技术分析》············北京理工大学耿东旭2014.01.19

4、《大数据时代下数据分析理念的辨析》·····················朱建平，张军贵，刘晓薇2014.10.28

5、《大数据时代下的数据挖掘》···························何玺2012.11.28

6、《试析大数据、物联网、智慧城市三者间的关系和相互作用》·············郑鑫，程磊2014.06.15

大数据的实际应用及未来展望

大数据的实际应用及未来展望 计172（10170828）程慧艳 摘要：近年来，“大数据”已然成为IT界如火如荼的词，与“云计算”并驾齐驱，成为带领IT行业发展的两列火车。尤其在当今这个物联网快速发展的时代，数据已经成为新的资源，是支撑物联网发展的基石。本文通过对大数据的简要诠释以及一些大数据在国内外的应用实例来对大数据产业的发展、社会定位以及价值实现途径进行探索，最后分析未来大数据产业的发展。 关键词：大数据，大数据技术，数据挖掘，数据变现，应用 1.大数据时代 大数据？多么时髦的词！就连农民看新闻的时候，都会听到它。只要是能涉及到大数据的，各个行业都不会放过，比如汽车、医疗、教育、金融、饮食、传媒、零售业、农业等。如你所见，大数据已经不是IT行业的专有名词了，而是与我们生活息息相关的事物，我们已经进入了大数据时代。 相信对于大多数人来说，大数据也就只是一个经常听到的似乎很高端大气的词罢了，其实不然，要认识大数据，首先就要知道它是什么。那么，什么是大数据呢？我们来看看官方的定义：大数据（Bigdata）,或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工在合理时间内截取、管理、处理并整理成人类所能解读的信息。 IBM提出了大数据的5个特点：大量、高速、多样、价值、真实性。

维克托·迈尔·舍恩伯格教授在《大数据时代》一书中指出，大数据不用随机分析法（抽样调查）这样的捷径，而是采用所有数据进行分析处理。简言之，从各种类型数据中快速获得有价值信息的能力就是大数据技术，也正是这一特点促使该技术具备了走向实际应用的潜力。 2. 数据资源（数据就是“金库”） 从数据类型来看，大数据可分为三类。 ·传统企业数据：包括CRM Systems的消费者数据、传统的ERP数据、库存数据及账目数据等。 ·机器和传感器数据：包括呼叫记录、智能仪表、工业设备传感器、设备日志、交易数据等。越来越多的机器配备了连续测量和报告运行情况的装置。几年前，跟踪遥测发动机运行仅限于价值数百万美元的航天飞机。现在，汽车生产商在汽车中加入了监视器，连续提供车辆机械系统的整体运行情况。 ·社交数据：包括用户行为记录、反馈数据等。计算机产生的数据可能包含着关于因特网和其他使用者行动与行为的有趣信息，从而提供了对他们的愿望和需求潜在的有用认知。还有人们通过短信、QQ、微博、微信、电子邮件等产生的文本及图像信息。 这三种数据都价值连城，甚至有说法称，谁掌握数据资源，谁就掌握了“金库”。当然，要将数据变成正真的“金库”，还需要一个过程，一个分析的过程，一个总结的过程，一个预测的过程。最终，数据能帮人们提高预测的能力。通过大数据的处理工具，提取精华，总结规律，预测行为。

大数据发展的几大方向

大数据发展的几大方向 大数据是目前最火热的一个词了，想必所有人，只要你接触网络，那你就应该听说过这个词。然而更多的人也只是听说过而已，对大数据并没有过多的了解，前几天我好多朋友就问我，大数据这么火，那它到底是做什么呢，这么火热的大数据前景究竟怎么样?今天我们就来探讨一下。 一、大数据的前景中国拥有世界上五分之一的人口，很多行业内专业人士断定中国在未来将成为大数据最重要的市场。中国的发展正在处于快速的上升期，中国产生的数据将是巨大的，而巨大的数据对大数据的发展将起到促进的作用，而大数据在中国市场的发展也将领先。如今，大数据作为中国官方重点扶持的战略性新兴产业，已逐步从概念走向落地“大数据”和“虚拟化”两大热门领域得到了广泛关注和重视，90%企业都在实用大数据。大数据将给中国的企业带来更广泛的发展机会，是值得大家重视的一个市场。 二、大数据发展的几大方向 方向一：大数据分析领域快速发展数据蕴藏价值，但是数据的价值需要用IT技术去发现、去探索，数据的积累并不能够代表其价值的多少。方向二：分布式存储有了用武之地大数据的特点就是数量多且大，这就使得存储的管理面临着挑战，这个问题就需要新的技术来解决，分布式存储技术将作为未来解决大数据存储的重要技术。方向三：大数据与云技术的结合如果再找一个可以跟大数据并驾齐驱的IT热词，云计算无疑是跟大数据关系非常大的一个词语。方向四：大数据将成为企业IT核心随着大数据价值逐渐被发展，大数据将成为企业IT的核心，毕竟在这个以盈利为主导的行业环境中，谁能够为企业带来更多的价值就将会更重要。了解详情 三、大数据就业前景好，工资高。大数据技术人才在中国市场目前非常紧缺，因此

大数据的应用领域和发展前景怎么样

大数据的应用领域和发展前景怎么样 随着大数据进军社会的各个领域，千锋教育培训机构在疯狂的输出大数据人才，力争打造大数据全才，就今年的综合情况来看，未来几年大数据在商业智能、政府服务和市场营销三个领域的应用非常值得看好，大多数大数据案例和预算将发生在这三个领域。 （1）商业智能 商业智能（Business Intelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。 过去几十年，分析师们都依赖来自Hyperion、Microstrategy和Cognos 的BI产品分析海量数据并生成报告。数据仓库和BI工具能够很好地回答类似这样的问题：“某某人本季度的销售业绩是多少？”（基于结构化数据），但如果涉及决策和规划方面的问题，由于不能快速处理非结构化数据，传统的BI会非常吃力和昂贵。大多数传统BI工具都受到以下两个方面的局限： 首先，它们都是“预设-抓取”工具，由分析师预先确定收集什么数据用于分析。 其次，它们都专注于报告“已知的未知”（Known unknowns），也就是我

们知道问题是什么，然后去找答案。（而大数据会给出一些未知的未知，也就是你没有想到的一些问题的结果）传统BI工具主要用于企业运营，侧重于成本控制和计划执行报告。 而大数据技术最主要的功能/应用是ETL（Extract、Transform、Load）。将近80%的Hadoop应用都与ETL有关，例如在导入Vertica这样的分析数据库之前对日志文件或传感器数据的处理。 今天计算和存储硬件变得非常便宜，配合大量的开源大数据工具，人们可以非常“奢侈”地先抓取大量数据再考虑分析命题。可以说，低廉的计算资源正在改变我们使用数据的方式。此外，处理性能的大幅提高（例如内存计算）使得实时互动分析更加容易实现，而“实时”和“预测”将BI带到了一个新的境界——未知的未知。这也是大数据分析与传统BI之间最大的区别。未来几年，随着企业间的兼并和新产品的不断推出，传统的BI工具将与大数据分析并存。 （2）公共服务 大数据另外一个重大的应用领域是社会和政府。如今，数据挖掘已经能够预测疾病暴发、理解交通模型并改善教育。

大数据的发展应用前景介绍

大数据的发展应用前景介绍 越来越多的人投身于大数据行业，这几年，大数据的火爆也产生了很多疑问，大数据是不是过于被热捧了，产生的价值是不是与实际并不相符。无忧考网今天为大家来简单的描述下大数据的一个意义，也让参加大数据培训的同学有个很好的认识。 大数据与事务 因为许多数据流入企业，企业的大数据剖析人员搜集并剖析这些数据，从而为企业发展供给所需的洞察力。小数据事务范畴的这一新改动也意味着企业现在将寻找知道怎么处理当今许多信息流入中最为重要的问题的职业专家。 大数据带给企业运营方法的洞察力也使得之前的小数据事务发生了巨大的改动。当人们不得不人工监控公司的库存，发货地址以及怎么完结时，现在大数据的改动将使所有这些变得更有效率。主动软件能够完结核算作业，在出售方面供给更好的报答。 增加的潜力 人们现在也能够找到许多就业机会，就像现在大数据怎么改动竞赛环境一样。这种状况的一个比如是一位28岁的斯坦福大学教授研讨政治学和数学的状况。在他的一项研讨中，他能够创建一个算法，这个算法能够剖析博客文章，新闻文章和新闻稿。这样做的意图是为了更好地猜测政治观念将怎么改动。在推举剖析和猜测方面这个算法

有着巨大的潜力。现在标明有许多需求添补的空白，以取得更准确的成果。 大数据年代 现在，各个范畴的大数据爆破式增加。人们在网上的所有社交活动和行为都将对刻画社会风气带来影响，这是企业应该更多地了解大数据以及怎么供给协助的众多原因之一。现在，供货商，客户和货运方能够经过产品系列中的立异进行监控。企业有必要了解大数据对其环境的影响和优点，而这些数据曾经是小数据。 消费主义 “大数据”一词描绘了人们改动对世界运作方法的了解的方法。如果不满足消费者的需求，所有这些改动和立异将是不完整的。现在，它能够在从洗衣机到电表不同的消费产品中布置传感器。这些来自这些产品的数据将使制造商，政府和民间社会了解更多状况，他们将看到消费者怎么消费他们的产品，以及怎么改进，并发明更好的版别。 大数据现在变得更简单被消费者所了解。毫无疑问，大数据为企业和个人日子带来了许多增加的机遇。有了这些改动就有危险，但大数据的危险不应该超越供给的优点。职业专家和政府部门的作业就是管理好收益并抵消危险。这样做将保证人们能够从大数据的发展中受益。 科技的发展往往伴随着淘汰一批，产生一批，历史的车轮浩浩荡荡，碾压没有上车的，上车的自然享受历史前进的红利。

2017公需课课后作业 大数据前沿技术及应用(六)：大数据技术与发展前景

大数据前沿技术及应用（六）：大数据技术与发展前景（仅适用于2017年公需课）课后作业成绩:100分已通过重新测试 正确20 题错误0 题使用时间10分23秒 试卷说明： ◇本卷共20题，作答时间为30分钟，总分100分，60分及格。 ◇试卷年份：2017年 一、单项选择题（每题分。每题的备选项中，只有1个最符合题意） 1. 下列选项中不属于大数据环境下的分析和挖掘方法具有的挑战是（）。 A. 数据量的膨胀 B. 数据深度分析需求的增长 C. 自动化、可视化分析需求的出现 正确答案为：D 4. 据管理数据的模式分类，NoSQL 系统可以分为不包括（）。 A. 键值系统 B. 文档存储系统 C. 图数据库 D. 语音管理系统 正确答案为：D 7. 大数据营销是基于（）的基础上，描绘、预测、分析、指引消费者行为，从而帮助企业制定有针对性的商业策略。 A. 用户行为分析 B. 大数据分析 C. 用户数量分析 D. 云计算分析 正确答案为：B 5. 下列选项中不属于目前大数据计算模式重要发展趋势和方向有（）。 A. 主流的Hadoop 平台改进后将与其他计算模式和平台共存 B. 混合计算模式将成为满足多样性大数据处理和应用需求的有效手段 C. 内存计算将成为高实时性大数据处理的重要技术手段和发展方向 正确答案为：D 3. （）是指通过互联网采集大量的行为数据。 A. 大数据营销 B. 互联网营销 C. 大数据分析 D. 互联网分析 正确答案为：A 6. 大数据给存储系统带来的挑战中不包括（）。

A. 存储规模大 B. 存储管理复杂 C. 数据服务的种类和水平要求高 D. 安全要求高 正确答案为：D 2. 下列选项中不属于目前大数据分析与挖掘重要发展趋势和方向的是（）。 A. 更加复杂、更大规模的分析和挖掘 B. 大数据的实时分析和挖掘 C. 大数据分析和挖掘的基准测试 正确答案为：D 二、多项选择题（每题分。每题的备选项中，有2个或2个以上符合题意，至少1个错项.错选，本题不得分；少选，所选每个选项得0.5分） 9. 在科学大规模数据的并行可视化工作中，主要涉及基本技术有（）。 A. 数据流线化 B. 任务并行化 C. 管道并行化 D. 数据并行化 正确答案为：A,B,C,D 8. 实时流式大数据的处理的需求是（）。 A. 大数据系统实现低延迟处理 B. 强大而又灵活的复杂事件处理引擎 C. 具有容错和去重能力 D. 对流量进行控制和动态节点增加和删除的能力 正确答案为：A,B,C,D 11. 在大数据环境下，目前最适用的存储与管理软件技术是（）。 A. 分布式文件系统 B. 分布式数据库 C. 访问接口 D. 查询语言 正确答案为：A,B,C,D 12. 对大数据的使用者、研究者、开发者以及上级主管部门，提出如下建议有（） A. 提高用户对大数据可用性的重要性的认识 B. 加强对大数据可用性评估和保证的关键技术的研究和开发。 C. 注重大数据可用性的评估，加强数据质量保证软件的开发和推广。 D. 尽快建立关于大数据可用性的标准，保证大数据的统一质量。 正确答案为：A,B,C,D 10. 大数据时代企业对数据的管理、查询及分析的需求变化主要集中在（）。

大数据技术进展与发展趋势

大数据技术进展与发展趋势 在大数据时代，人们迫切希望在由普通机器组成的大规模集群上实现高性能的以机器学习算法为核心的数据分析，为实际业务提供服务和指导，进而实现数据的最终变现。与传统的在线联机分析处理OLAP不同，对大数据的深度分析主要基于大规模的机器学习技术，一般而言，机器学习模型的训练过程可以归结为最优化定义于大规模训练数据上的目标函数并且通过一个循环迭代的算法实现，如图4所示。因而与传统的OLAP相比较，基于机器学习的大数据分析具有自己独特的特点[24]。图4 基于机器学习的大数据分析算法目标函数和迭代优化过程（1）迭代性：由于用于优化问题通常没有闭式解，因而对模型参数确定并非一次能够完成，需要循环迭代多次逐步逼近最优值点。（2）容错性：机器学习的算法设计和模型评价容忍非最优值点的存在，同时多次迭代的特性也允许在循环的过程中产生一些错误，模型的最终收敛不受影响。（3）参数收敛的非均匀性：模型中一些参数经过少数几轮迭代后便不再改变，而有些参数则需要很长时间才能达到收敛。这些特点决定了理想的大数据分析系统的设计和其他计算系统的设计有很大不同，直接应用传统的分布式计算系统应用于大数据分析，很大比例的资源都浪费在通信、等待、协调等非有效的计算上。传统的分布式

计算框架MPI（message passing interface，信息传递接口）[25]虽然编程接口灵活功能强大，但由于编程接口复杂且对容错性支持不高，无法支撑在大规模数据上的复杂操作，研究人员转而开发了一系列接口简单容错性强的分布式计算框架服务于大数据分析算法，以MapReduce[7]、Spark[8]和参数服务器ParameterServer[26]等为代表。分布式计算框架MapReduce[7]将对数据的处理归结为Map和Reduce两大类操作，从而简化了编程接口并且提高了系统的容错性。但是MapReduce受制于过于简化的数据操作抽象，而且不支持循环迭代，因而对复杂的机器学习算法支持较差，基于MapReduce的分布式机器学习库Mahout需要将迭代运算分解为多个连续的Map 和Reduce 操作，通过读写HDFS文件方式将上一轮次循环的运算结果传入下一轮完成数据交换。在此过程中，大量的训练时间被用于磁盘的读写操作，训练效率非常低效。为了解决MapReduce上述问题，Spark[8] 基于RDD 定义了包括Map 和Reduce在内的更加丰富的数据操作接口。不同于MapReduce 的是Job 中间输出和结果可以保存在内存中，从而不再需要读写HDFS，这些特性使得Spark能更好地适用于数据挖掘与机器学习等需要迭代的大数据分析算法。基于Spark实现的机器学习算法库MLLIB 已经显示出了其相对于Mahout 的优势，在实际应用系统中得到了广泛的使用。近年来，随着待分析数据规模的迅速扩

关于大数据的应用前景和技术实

关于大数据的应用前景和技术实现 摘要：大数据时代的到来影响着社会的各个层面，从物联网、云计算到微博等影响着人们生活的方方面面。毫无疑问，“大数据”将成为我们进入信息时代又一具有里程碑式意义的繁荣和发展。人们的生活、工作、学习，企业的运营管理，公共事业的发展都建在大数据的背景下发生深刻变革。可以说大数据的应用前景是广阔的，值得我们去遥想。同时，大数据的时代并没有真正的走向成熟，所以就其发展状况来看，还处于初级阶段。所以它也面临着种种技术难题需要去解决。 关键字：大数据应用前景技术实现 “大数据”这个话题热了，但是要讨论大数据的起源，实际上是一个比较复杂的问题。 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学以及军事、金融、通讯等行业领域存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。 “大数据”这个术语最早期的引用可追溯到2004年Oregon State University开始的apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和Google File System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。 早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过，大约从2009年开始，“163大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。 其实早在2001年，Gartner公司的一份研究报告也出现“大数据（Big Data）”概念的提法。 对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 这些关系错综复杂，但是有一点是可以说明的，那就是我们不必要说明“大数据”到底是谁提出来的。在人类文明发展的进程中，信息的积累，数据的运用也在不断地进行，毫无疑问，这些信息在互联网的环境中又迸发出深切的内涵。互联、共享的世界给了信息充分的自由，在这里每一个小小的动作都可以演化成数据。而数据的功能实际上是便于人们理解，为人们服务的，于是数据就被保留了下来，互联网下的一切似乎都有了意义。于是，“大数据”来了！ 1、大数据和云计算的关系 在“大数据”这个名词热起来之前，“云计算”早早的闯入了人们的视野。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。[2]

大数据和人工智能在国内就业前景分析

伴随着大数据时代的到来，人工智能技术的火热，很多人开始了对大数据、人工智能技术的研究。 2018 年1 月教育部印发的《普通gao中课程方案和语文等学科课程标准》新加入了数据结构、人工智能、开源硬件设计等AI 相关的课程。这意味着职场新人和准备找工作的同学们，为了在今后十年内不被淘汰，你们要补课了，从初中开始。 但时光一去不复返，对于已经升入大学，但还没有接触到大数据、人工智能技术的小伙伴又该怎么办呢？面对诱人的就业前景，正在向你招手的大好机遇，怎么能不心动？怎么能不想踏入这两大行业？ 据数据统计分析，大数据人工智能尖端人才远远不能满足需求。行业风口的人工智能，在中国人才缺口将超过500 万人，而中国人工智能人才数量目前只 有5 万（数据来自工信部教育考试中心）。 并且目前岗位溢价相当严重，2017 年人工智能在互联网岗位薪酬中位列第三，月薪20.1k，如果按照普遍的16 月薪酬计算，那么人工智能在2017 年一年的薪酬就是2.01*16=32.16 万。那么再来看一组2018 的薪酬数据：

所以如果你对自己的专业/工作不满意，现在正是进入人工智能ling域学习就业/转业的绝佳时机。 在面对众多的数学知识和编程知识里，自学会让大家耗费大量的时间金钱。因此，课工场成都基地大数据培训教育学院2018 重磅推出大数据人工智能课程，采用“T”字形的思维，以大数据的深度为主，以机器学习、云计算等作为宽度，相辅相成。成就无数大学生进入大数据人工智能ling域的梦想。 此外课工场成都基地大数据课程定期组织与一线名企的工程师进行面对面的就企业当下的项目讨论与研发，进而验证所学技术的正确方向。从宏观上讲述了大数据的特点，商业应用，发展和职业前景。然后对主流数据技术和生态圈进行了介绍，了解其他和大数据技术之间关系，然后对不同类型的大数据的分析和处理系统，解决方案和行业案例进行剖析和讲解。 以北京的中关村、西二旗等IT 公司密集的公司为技术背景，数据来源于一 线互联网公司的源数据，有一定的商业价值，并严格把控实际项目的前瞻性，如：Spark 的版本迭代，机器学习中的算法革新。学员实战项目贯穿整个教学环节，潜移默化的培养学生放眼全局，排查技术难点，既能独立思考，又能组织团队开发。 希望能帮到大家。

国内外大数据发展现状和趋势(2018)

行业现状 当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。 在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。2016年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将到12亿美元，是当前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站https://www.wendangku.net/doc/508121489.html,.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。 我国大数据行业仍处于快速发展期，未来市场规模将不断扩大 ?目前大数据企业所获融资数量不断上涨，二级市场表现优于大盘，我国大数据行业的市

Google大数据发展与应用总结归纳

精心整理 Google IT 2019年9月11日

目录 一、简述 (4) 二、Google经典三篇大数据论文介绍 (5) 2.1、GFS (5)

一、大数据时代的来临 1.大数据的概念： 按照维基百科上的定义，所谓“大数据”（big data）在当今的互联网业指的是这样一种现象：一个网络公司日常运营所生成和积累用户网络行为的数据“增长如此之快，以至于难以使用现有的数据库管理工具来驾驭”。这些数据量是如此之大，已经不是以我们所熟知的多少G和多少T为单位来衡量，而是以P （1000个T），E（一百万个T）或Z（ 据。 大数据泛指巨量的数据集， 尔街日报》将大数据时代、 竞争、生产力提高的前沿。 加快了信息化向社会经济各方面、大众 1MB（兆字 ，2008年是1GB（1GB等于1024MB）， （即10亿GB或1000PB）的时间在2001 年是一周，而2013年仅需一天，即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB（1PB等于1000TB）。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生3.6GB 数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十

PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。

大数据发展趋势答案

大数据发展趋势势 2011年，IBM的“沃森”超级计算机在美国著名智力竞赛节目《危险边缘》上击败两名人类选手而夺冠。（3分） ? A. 是 ? B. 否 北京航空航天大学创办了国内第一个“大数据科学与应用”软件工程硕士专业。（3分） ? A. 是 ? B. 否 人工智能够和人一样进行感知、认知、决策、执行的人工程序或系统。（3分） ? A. 是 ? B. 否

大数据开发的根本目的是以数据分析为基础，帮助人们做出更明确的决策，优化企业和社会运转。（3分） ? A. 是 ? B. 否 机器学习就是通过算法，使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。（3分） ? A. 是 ? B. 否 目前，我国政府、企业和行业信息化系统建设往往缺少统一规划和科学论证，系统之间缺乏统一的标准，形成了众多“信息孤岛”。（3分） ? A. 是 ? B. 否 当前，企业提供的大数据解决方案大多基因Hadoop开源项目。（3分）

A. 是 ? B. 否 由于大数据处理多样性的需求，目前出现了多种典型的计算模式，包括大数据查询分析计算、批处理计算、流式计算、图计算等。（3分） ? A. 是 ? B. 否 大数据分为“结构化数据“与”非结构化数据”。（3分） ? A. 是 ? B. 否 大数据成熟催化了人工智能的进步，深度学习带来算法上的突破则带来了人工智能浪潮。（3分）

A. 是 ? B. 否 知识图谱是一种基于图的数据结构，由节点和边组成。（3分） ? A. 是 ? B. 否 大数据的发展趋势中的智能化关键技术包括感知技术、自然语言技术、交互技术以及决策等。（3分） ? A. 是 ? B. 否 2012年7月国务院发布的《“十二五”国家战略性新兴产业发展规划》中明确提出支持海量数据存储、处理技术的研发和产业化。（3分） ?

2017年公需课考题大数据技术与发展前景

2017年公需课考题大数据技术与发展前景1 【单选】（）是一种高实时性的计算模式。 ? A. 批处理计算 ? B. 流式计算 ? C. 查询分析计算 ? D. 数据挖掘计算 ? A ? B ? C ? D ?正确答案：B 2 【单选】数据的可用性取决于（） ? A. 数据分析 ? B. 数据集采 ? C. 数据质量 ? D. 数据需求 ? A ? B ? C

? D ?正确答案：C 3 【单选】批处理和复杂数据挖掘计算通常属于（） ? A. 分析计算 ? B. 实时计算 ? C. 查询计算 ? D. 非实时计算 ? A ? B ? C ? D ?正确答案：D 4 【多选】目前大数据分析与挖掘重要发展趋势和方向有（）? A. 更加复杂、更大规模的分析和挖掘 ? B. 大数据的实时分析和挖掘 ? C. 大数据分析和挖掘的基准测试 ? B

? C ?正确答案：A B C 5 【多选】从数据处理类型来看，大数据处理可分为（）? A. 传统的查询分析计算 ? B. 复杂的数据挖掘分析计算 ? C. 数据纵向挖掘分析计算 ? D. 数据横向挖掘分析计算 ? A ? B ? C ? D ?正确答案：A B 6 【多选】大数据查询分析计算的典型系统包括（） ? A. Hadoop36下的HBase 和Hive ? B. Facebook开发的Cassandra ? C. Google 公司的Dremel ? D. Cloudera 公司的实时查询引擎Impala ? A

? B ? C ? D ?正确答案：A B C D 7 【判断】云计算IT资源庞大、分布较为广泛，是异构系统较多的企业及时准确处理数据的有力方式（）? A. 正确 ? B. 错误 ?正确 ?错误 ?正确答案：正确 8 【判断】最适合于完成大数据批处理的计算模式是Spark（） ? A. 正确 ? B. 错误 ?正确 ?错误 ?正确答案：错误 9 【判断】大数据时代的安全与传统安全相比，变得更加复杂（）

大数据应用前景分析

论文分类号： 密级： 大数据应用前景分析 Big data application prospect analysisis 学院、专业：数学学院统计学 学生姓名：熊润 年级、班、学号： 2014级 5班 指导教师及职称：陶袁（副教授） 2018年4月24日

大数据应用前景分析 熊润 (吉林师范大学数学学院2014级 5班吉林四平 136000) 指导教师: 陶袁（副教授） 摘要：大数据是当今信息技术领域的热点之一，近年以来，以移动互联网、云计算、数据挖掘等技术为基础的大数据技术迅猛发展，通过利用一定的手段对互联网信息系统特定数据的分析计算，能够反应在不同的领域,不同行业的一般性规律,为更加精确化的决策和管理提供参考,为各行各业的人们提供数据支撑。本文从大数据发展现状中探索其发展趋势,为人们的生产生活提供更好的数据参考，最后给出结论。 关键词:大数据；发展现状；发展前景 中图分类号： Analysis of the application foreground of large data Xiong Run (Class5 Grade2014，School of Mathematics, Jilin Normal University, Siping Jilin 136000) Instructor: Tao Yuan(Associate Professor) abstract: Large data is one of the hotspots in the field of information technology today. In recent years, with mobile interconnection, cloud computing, data mining and other technologies based on the rapid

Google大数据发展与应用

IT新技术课题报告Google大数据技术 专业名称：软件工程 姓名：王六平 2019年12月19日

目录 一、简述 (4) 二、Google经典三篇大数据论文介绍 (5) 2.1、GFS (5) 2.2、MapReduce (6) 2.3、BigTable一个分布式的结构化数据存储系统 (7) 三、Google新大数据论文介绍 (8) 3.1、Caffeine：处理个体修改 (8) 3.2、Pregel：可扩展的图计算 (9) 3.3、Dremel：在线可视化 (11) 四、Google大数据的应用 (14)

一、大数据时代的来临 1.大数据的概念： 按照维基百科上的定义，所谓“大数据”（big data）在当今的互联网业指的是这样一种现象：一个网络公司日常运营所生成和积累用户网络行为的数据“增长如此之快，以至于难以使用现有的数据库管理工具来驾驭”。这些数据量是如此之大，已经不是以我们所熟知的多少G和多少T为单位来衡量，而是以P（1000个T），E（一百万个T）或Z（10亿个T）为计量单位，所以称之为大数据。 大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪比石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。 2.大数据的发展 互联网特别是移动2互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB（1PB等于1000TB）。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生3.6GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量

浅析大数据的特点及未来发展趋势

浅析大数据的特点及未来发展趋势 摘要：随着二十一世纪的到来，人们已经进入了信息化的时代。计算机技术水平越来越先进，给人们的生活带来了极大的便利。在信息化的时代，人们每天接触的信息量成千上万。获取有用的数据，不仅可以有效缩短时间，而且可以满足具体需求。大数据技术正是适应现代社会的发展，从数据量巨大、结构复杂、类型众多的数据中，快速获取有价值的信息。因此本篇文章主要分析了大数据的特点，通过进一步探讨，并对其未来的发展趋势进行展望。 关键词：大数据；特点；发展趋势 大数据是继互联网、云计算技术后世界又一热议的信息技术，近几年来发展十分迅速。大数据技术的出现，给人们的生活带来了极大的便利。我们将生活中的东西数据化之后，就可以采用数据的格式对其进行存储、分析，从而获得更大的价值。 一、大数据技术的特点分析 1）开源软件得到广泛的应用 近几年来，大数据技术的应用范围越来越广泛。在信息化的时代，各个领域都趋向于智能化、科技化。大数据技术研发出来的分布式处理的软件框架Hadoop、用来进行挖掘和可视化的软件环境、非关系型数据库Hbase、MongoDb 和CounchDB等开源软件，在各行各业具有十分重要的意义。这些软件的研发，与大数据技术的发展是分不开的。 2）不断引进人工智能技术 大数据技术主要是从巨大的数据中获取有用的数据，进而进行数据的分析和处理。尤其是在信息化爆炸的时代，人们被无数的信息覆盖。大数据技术的发展显得十分迫切。实现对大数据的智能处理，提高数据处理水平，需要不断引进人工智能技术，大数据的管理、分析、可视化等等都是与人密切相关的。现如今，机器学习、数据挖掘、自然语言理解、模式识别等人工智能技术，已经完全渗透到了大数据的各个程序中，成为了其中的重要组成部分。 3）非结构化的数据处理技术越来越受重视 大数据技术包含多种多样的数据处理技术。非结构化的处理数据与传统的文本信息存在很大的不同，主要是指图片、文档、视频等数据形式。随着云计算技

电力大数据应用前景分析

电力大数据应用前景分析 2015-04-21能源管理小分队能源观察 点击上方蓝字就能关注！ 【第170期】电力大数据应用前景分析 以物联网和云计算为代表的新一代IT技术在电力行业中的广泛应用为基础，电力数据资源开始急剧增长并形成了一定的规模。作为经济社会发展的“晴雨表”，电力大数据将会在服务政府与社会、服务电力企业、服务电力用户等方面发挥积极作用。 一、宏观经济形势评价与预测 1.克强指数 如何用电力大数据评价、预测宏观经济形势？一个典型的应用——“克强指数”，小编相信读者都不陌生。2010年英国《经济学人》综合了耗电量、铁路货运量和银行贷款发放量三种经济指标，回归得到了一个崭新的“克强指数”，并认为该指数比官方GDP数字更能反映中国经济的现实状况。 2.产业关联分析 依据产业之间的关联关系、产业用电量、分析产业发展潜能。例如：根据电力大数据分析房地产泡沫（小编的猜想：利用智能电表采集用户用电信息，统计分析房产空置率；利用房地产联网统一登记信息，统计多套房信息）；依据钢铁、水泥、装饰等行业的用电量走势、分析房地产的发展走势。挖掘其他行业之间关联度。

3.产业结构分析 分析用电与行业分布、地区产业结构的关系。根据各地区各行业用电信息，利用大数据分析技术，分析和研究行业用电量地区结构变化、地区用电量行业结构变化。通过分析各行业、各地区的产业结构变化，为了解地区各行业发展趋势和行业发展前景提供数据支撑。 结合企业经济情况和企业用电量关系分析企业是否有产业转型或升级，例如：用电量提高了，销售额提高了，可能是拓展了新的产业，用电量持平或增长不高，销售额大幅提高，可能是产业转型。优化资源配置，增加核心竞争力。 二、服务电力企业 服务电力企业方面，小编学习了2013年中国电力大数据发展白皮书，看看电力大数据在发电、输电、变电、配电、用电、调度等环节都有哪些应用前景： 三、服务电力用户

浅谈大数据应用现状及发展前景

科技论坛1大数据的定义及意义 “大数据”是需要新处理模式才能具有更强的决策力、洞察发现 力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。 从技术上看，大数据必然无法用单台的计算机进行处理，必须 采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 随着云时代的来临，大数据也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要MapReduce 一样的框架来向数 十、数百或甚至数千的电脑分配工作。2大数据应用现状 大数据在企业商业智能、公共服务和市场营销三个领域拥有巨大的应用潜力和商机。 商业智能：过去几十年，分析师们都依赖来自Hyperion、Micros-trategy 和Cognos 的BI 产品分析海量数据并生成报告。数据仓库和 BI 工具能够很好地回答类似这样的问题：“某某人本季度的销售业 绩是多少？”（基于结构化数据），但如果涉及决策和规划方面的问题，由于不能快速处理非结构化数据，传统的BI 会非常吃力和昂贵。 公共服务：大数据另外一个重大的应用领域是社会和政府。目 前，城市正面临预算超支、基础设施难题以及从农村和郊区涌入的大量人口。这些都是非常紧迫的问题，而城市，也正是大数据计划的绝佳实验室。以纽约这样的大都市为例，政府公共数据公开化、以及 市民生活的高度数字化（购物、交通、医疗等）等都是大数据分析的理想对象。客观的市政数据，是消除争端，维系公民社会的最佳纽带。当然，前提是让公民能够访问这些数据。苹果的Siri 和谷歌的GoogleNow 都具备成为个人化助理的潜力。智能手机（以及Twitter 等社交网络）的普及让人类社会首次实现了公民的联网。应用程序商店实时上已经打通了政府和公民之间的应用层面的通道。伴随着各国政务的数字化进程，以及政务数据的透明化，公民将能准确了解政府的运作效率。这是不可逆转的历史潮流，同时也是大数据最具潜力的应用领域之一。市场营销：大数据的第三大应用领域是市场营销。具体来说，是提升消费者与企业之间的关系。（卖得更多、更快、更有效率）。今天，最大的数据系统是web 分析、广告优化等。今天的数字化营销与传统营销最大的区别就是个性化和精准定位。大数据已经与在线营销交织在一起，其应用可以分为两大类：首先，从线上到线下。配备了NFC 近场通讯技术的智能手机和基于位置的签到正在成为营销人员的最新利器。他们将能跟踪商场人流，把在线零售的分析优化应用于线下。其次，数据分析工具将更加容易使用（面向中小企业应用的大数据创业非常火爆），中小企业也许没有BI 平台，但他们都有平板电脑和智能手机，移动版客户智能分析将会改变企业使用营销工具的方式。3大数据的发展前景 大数据的意义是由人类日益普及的网络行为所伴生的，受到相关部门、企业采集的，蕴含数据生产者真实意图、喜好的，非传统结构和意义的数据。2013年5月10日，阿里巴巴集团董事局主席马云在淘宝十周年晚会上， 将卸任阿里集团CEO 的职位，并在晚会上做卸任前的演讲， 马云说，大家还没搞清PC 时代的时候，移动互联网来了，还没搞清移动互联网的时候，大数据时代来了。借着大数据时代的热潮，微软公司生产了一款数据驱动的软件，主要是为工程建设节约资源提高效率。在这个过程里可以为世 界节约40%的能源。抛开这个软件的前景不看， 从微软团队致力于研究开始，可以看他们的目标不仅是为了节约了能源，更加关注智能化运营。 通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据， 捕捉如何杜绝能源浪费。“给我提供一些数据，我就能做一些改变。如果给我提供所有数据， 我就能拯救世界。”微软史密斯这样说。而智能建筑正是他的团队专注的事情。 从海量数据中“提纯”出有用的信息，这对网络架构和数据处理能力而言也是巨大的挑战。在经历了几年的批判、质疑、讨论、炒作 之后，大数据终于迎来了属于它的时代。2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展， 将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油” 。4推进大数据建设应做好的工作大数据有巨大的社会和商业价值，就看会不会挖掘，是否善于运用数据分析的结果。同时，它又是一个应用驱动性很强的服务，要做好大数据产业，为经济发展提供更大的动力，需要从以下几人方 面入手。4.1建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。 4.2规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。 4.3搭建一个共享平台。数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。 4.4培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。 5结论 随着大数据应用的爆发性增长，它已经衍生出了自己独特的架 构，而且也直接推动了存储、网络以及计算技术的发展。大数据的出现，开启了一次重大的时代转型。在IT 时代，以前技术才是大家关注的重点，是技术推动了数据的发展；如今数据的价值凸显，信息的重要性日益提高，今后将是数据推动技术的进步．大数据不仅改变 了社会经济生活，也在影响了每个人的生活和思维方式，而这样的改变才刚刚开始。 参考文献 [1]高明，金澈清，王晓玲等.数据世系管理技术研究综述[J].计算机学 报，2010，33. [2]盛杨燕，周涛译.大数据时代[M].杭州：浙江人民出版社，2013.[3]宋国杰，唐世渭，杨冬青等.数据流中异常模式的提取与趋势监测[J].计算机研究与发展，2004，41. [4]梅宏，王千祥，张路等.软件分析技术进展[J].计算机学报，2009，32[5]孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发 展， 2013，50.浅谈大数据应用现状及发展前景 胡茹 （黑龙江省计算中心，黑龙江哈尔滨150028） 摘要：大数据具有规模大、种类多、生成速度快、价值巨大但密度低的特点。大数据应用就是利用数据分析的方法,从大数据中挖掘有效信息,为用户提供辅助决策,实现大数据价值的过程。本文主要介绍了大数据定义、大数据应用领域及对大数据的展望。 关键词：大数据；大数据展望；大数据典型应用 19··