大数据生态系统科学图谱综述
河南工程学院《工程数据分析与应用》考查课课程作业
大数据生态系统科学图谱综述
学生姓名：
学院：管理工程学院
专业班级：
专业课程：工程数据分析与应用
任课教师：
2016年5月15日
目录
一、大数据生态系统概念、组成 (1)
（一）大数据生态系统的提出 (1)
（二）大数据生态系统的组成结构 (2)
（三）大数据生态系统的构建措施 (2)
（四）大数据处理生态系统构建 (3)
（五）大数据生态分析技术 (4)
1.5.1 大数据生态分析技术的机遇与挑战 (4)
1.5.2 如何对异构数据的处理 (5)
1.5.3 大数据分析和处理技术的发展 (6)
1.5.4 大数据处理生态系统构建 (6)
二、大数据处理及分析理论、方法、技术 (9)
（一）大数据处理及分析建设的过程 (9)
（二）大数据处理分析的基本理论 (10)
（三）大数据处理及分析的方向 (10)
（四）大数据处理及分析的方法 (12)
（五）大数据处理的过程 (12)
（六）大数据处理的技术 (13)
（七）大数据处理及分析的意义 (14)
（八）大数据处理及分析的发展趋势 (14)
三、大数据处理系统架构及技术 (16)
（一）从分类大数据到选择大数据解决方案 (17)
（二）依据大数据类型对业务问题进行分类 (17)
（三）数据分析平台架构 (20)
（四）面对大数据OLAP分析的一些问题 (21)
四、大数据可视化理论及技术 (24)
（一）大数据可视分析综述 (24)
（二）大数据分析工具 (24)
4.2.1Hadoop (25)
4.2.2HPCC (25)
4.2.3Storm (26)
4.2.4ApacheDrill (27)
4.2.5RapidMiner (27)
4.2.6PentahoBI (28)
（三）数据化可视化分析综述 (28)
4.3.1信息可视化、人机交互、可视分析的基本概念 (28)
4.3.2支持可视分析的基础理论 (29)
4.3.3面向大数据主流应用的信息可视化技术 (29)
4.3.4支持可视分析的人机交互技术 (30)
（四）数据可视化的问题与挑战 (31)
五、大数据应用及职业定位 (33)
（一）大数据应用 (33)
5.1 面向在线社交网络大数据的应用 (34)
5.2 医疗健康大数据应用 (35)
5.3 群智感知大数据的应用 (36)
5.4 智能电网大数据的应用 (37)
5.5 大数据在能源行业的应用 (38)
5.6 大数据在通信行业的应用 (38)
5.7大数据在零售业的应用 (38)
5.8大数据在生态环境应用 (39)
5.9大数据在工业污染监控中的应用 (40)
（二）大数据下的职业定位 (41)
六、大数据生态系统科学图谱组成及 (42)
（一）大数据的生态发展 (42)
（二）大数据生态系统的组建 (44)
（三）大数据生态系统的内涵 (46)
（四）大数据生态系统的重新审视 (47)
6.4.1产业环境：行业融合与细分协同演化 (47)
6.4.2运营模式：基于“大数据”的协同运作 (48)
（五）大数据生态系统资源的多元化 (49)
（六）大数据生态系统的个性化精准细分 (50)
（七）大数据生态系统的演化 (51)
（八）大数据生态系统的构建策略 (53)
6.8.1构筑以“大数据”为核心资源的企业生态系统商业模式 (53)
6.8.2畅通企业生态系统的数据交流渠道 (54)
6.8.3创新以“大数据”为基础的关键业务和活动流程 (54)
6.8.4构建精确的客户关系管理系统 (55)
6.8.5培育以“大数据”处理和应用为中心的企业生态系统文化.55
（九）大数据分析系统架构之探讨 (56)
6.9.1 Hadoop生态圈 (56)
6.9.2 Spark生态圈 (58)
七、结论 (61)
参考文献 (63)
大数据生态系统科学图谱综述
摘要：大树据时代已经到来，人们对于大数据对整个社会所起到的推动作用已经逐步认识到，但大数据的应用需要整个系统的运作，需要数据的获取渠道，数据的分析工具，数据分享的平台，数据分析人员等。因此，大数据要得以应用发展，必须建立大数据生态系统。随着大数据相关企业的迅速崛起以及社会对大数据信息的需求推动，大数据产业正在逐步形成一个完整的体系，从数据产生到数据输出的全过程，各个环节环环相扣，这一过程称之为大数据生态系统。本文系统地描述了在大数据的系统建设中的各种理论概念及系统的介绍。
关键字：大数据生态系统综述
Abstract:Tree era has arrived, and for big data is contribute to society as a whole has been recognized, but big data applications require operation of the entire system, requires data access, data analysis tools, data-sharing platform, data analysts, and so on. Therefore, large data to application development, we must build big data ecosystem. With the data related to the rapid rise and society's demand for data, big data industry is gradually formed a complete system, from the data to the data output of the whole process, all aspects of itself, this process is called data ecosystem. Paper describes data systems in the construction of a number of theoretical concepts and systems are introduced.
Keywords: big dataecosystemsummarize
一、大数据生态系统概念、组成
（一）大数据生态系统的提出
大树据时代已经到来，人们对于大数据对整个社会所起到的推动作用已经逐步认识到，但大数据的应用需要整个系统的运作，需要数据的获取渠道，数据的
分析工具，数据分享的平台，数据分析人员等。因此，大数据要得以应用发展，必须建立大数据生态系统。随着大数据相关企业的迅速崛起以及社会对大数据信息的需求推动，大数据产业正在逐步形成一个完整的体系，从数据产生到数据输出的全过程，各个环节环环相扣，这一过程称之为大数据生态系统。IBM架构师对大数据生态系统进行了简单描述，提出大数据生态系统就是数据的生命周期，即数据采集、存储、查找、分析和可视化的过程。
（二）大数据生态系统的组成结构
CTOCTO发布的大数据生态图谱"将数百家大数据公司和IT企业从产品和商业模式划分为2种，从中我们可以看到大数据的生态结构，以及其中各个环节的发展状况和市场热点)从图谱上来看，大数据产业可以划分为*大类：大数据基础设施&大数据分析类&大数据应用类&大数据数据源类&跨基础设施分析&开源软。大数据的概念目前被炒得非常火暴，但大数据应用还不甚成熟，大数据市场仍处于初级阶段，但大量的创业者已经涌入其中，不少企业经历了失败，但也有不少企业取得了可观的成果。在竞争过程中，市场在逐步走向整合，IT巨头在现阶段已经开始了收购大战，市场在竞争中，逐步走向成熟，大数据的价值即将接受实践的检验。
（三）大数据生态系统的构建措施
大数据生态系统的构建对于企业的未来发展具有决定性的作用，未来市场竞争将更趋于信息化科学化，企业决策将依靠大量的量化信息。当然要建立大数据生态系统需要耗费企业大量的资源，由于目前技术还不是很稳定，整个社会的数据环境还不甚好，企业构建大数据生态系统存在较大的风险)但提前做好准备，为未来搭建一个坚实的基础是很有必要的。首先，要培养企业的数据文化，建立数据思维模式，充分理解数据作为一种资源对企业的重要性。从发现问题，查找数据，解决问题的思维，逐步转向使用数据进行预测，找出最优实现方案的思维模式。
其次，开拓企业数据获取渠道，随着大数据时代到来，企业需要收集的数据类型将不再局限于关系型数据，更多的是非结构化的数据，例如电子商务网站、
网上银行和外部社交媒体网站等。将各种渠道的数据进行整合，突破传统数据壁垒，构建企业全面的数据信息视图)最后，加强对数据资源的管理，数据作为企业的资产，应对其进行维护，管理大师汤姆彼得斯曾说过：一个组织如果没有认识到管理数据和信息如同管理有形资产一样重要，那么它在新经济时代将无法生存。因此，对于数据的管理，应与资产管理一样，能够做到确认、计量、记录、归档、销毁。对于数据资源的确认首先要对数据资产作出明确的定义及其确认标准，符合确认条件的数据资源是能够引起经济利益流入的资产，在满足资产的一般定义的情况下，同时要结合数据资源自身的特征。其次，数据资源的确认要进一步细化，对其进行归类，分类的标准多种多样，比如依据数据描述的对象进行初步分类，之后再按照关系密切程度进一步分类等等。总之，按照企业的业务需要，对数据资源在确认的基础上，进一步分类，既有利于企业的数据资源的管理和核算，而且可以提高使用效率。数据资源的计量是数据作为资产所必不可少的一步，对此企业可建立自身的价值评估体系，对数据的价值加以衡量。另外，信息技术的发展为大数据生态系统的建设带来了广阔的前景。大数据生态系统构建过程中，一大难题是基础设施的高投资额，这使得企业不得不考虑大数据生态能够为企业带来多大的收益，然而目前大数据的应用还在初级阶段，前景还不是很明朗的情况下，企业只能驻足观望。然而云计算的发展，以及与此相关的云服务产业为这一难题的解决带来了极大的可能性。云服务包括三个层级的服务，基础设施服务、软件研发平台服务、租用基于web的软件服务，云服务为未来大数据技术的应用提供了一种渠道，通过云服务可以节省大量的资金，降低企业风险，提高使用效率。对于小型企业，通过云服务可以在大数据时代获取更大的利益。
（四）大数据处理生态系统构建
随着大数据和分析在企业应用的深入，面临的问题和挑战也越来越多，主要有如下方面：第一，对大数据和分析平台的企业级应用的可靠性、稳定性、安全性要求会越来越高；第二，大多数企业级用户都面对着极为复杂的行业应用场景，不同类型和来源的数据需要统一地被利用，在系统较多的企业中，如何对数据进行集成管理是很大的问题，特别是新的大数据方案如何与传统的数据仓库无缝集成；第三，大多数企业级客户还处于对大数据和分析的探索初期，对于新问题的
初判和解决经验不足。
对于企业来说，随着系统的复杂性上升，最为迫切也是最为重要的问题是，如何将不同来源、不同结构的数据通过系统整合到一个平台。在这个平台上，全面涵盖大数据和分析的各个应用，采用统一架构，集成到一个系统。在这个系统上，建立全面覆盖各种复杂行业应用场景的企业级大数据和分析应用解决方案，如静态批量大数据处理、实时大数据业务处理、数据仓库整合和数据集市构建等，对于这些大量异构数据系统，整合的标准是一个非常关键的问题。同时企业又在不断发展，未来要部署包括电商、移动商务、社交网络等新的应用，都需要在这个统一的平台上展开。以上所有的应用，构成了一个大数据的生态系统。
（五）大数据生态分析技术
1.5.1大数据生态分析技术的机遇与挑战
快速捕获即时数据，创造高速价值大数据最大的特点是数据的产生速度非常快，每时每秒可以产生很多的数据。例如，每分钟facebook上的视频就可以多产生390万部，大数据的产生速度是不可想象的。据调查，53%的高管表示大部分关键信息无法及时获得，获取信息的速度越快，采取行动的速度也就越快，快速行动创造的价值越高，数据的使用和分析效率真高，企业为实现卓越的运营，需要快速捕获高速运转。行中的大数据，更加迅速地计算分析数据，将数据转为信息，信息转为洞察，实时推进业务措施，立即采取行动，从而提升企业竞争力。在这里还有一点，当企业捕获的数据越来越多，需要分析的数据量越多，需要对数据进行评判，这个数据的重要性是怎样的，有的时候需要评判这个数据的价值是多少。通过更智能的方法，对数据加以筛选，对数据进行实时的判断，提炼出有价值的数据，最终将高速数据转化为高速价值，体验即时数据以及数据处理给我们带来的便捷，进而实现实时大数据的美好前景，如图1所示：
图1.1: 大数据业务价值与响应时间关系
1.5.2如何对异构数据的处理 当今企业在发展中积累的新信息来源越来越广泛，企业应用不再是唯一的信息来源，数据来源还可以来自传感器，有的是来自网络线上交易，有的是来自消费者行为，有的是来自智能手机或者是移动设备，这些设备变得日益智能化和互联，智能设备将从2013年的13亿部增长至2020年的125亿部，非结构化数据将超出传统数据多个数量级。总体来说数据来源可以分为人为生成、互联网/云生成、机器生成这几种类型，这些不同源头的数据的格式也不一样，我们必须用有效的方式高速捕获、组织和分析。对于那些已经规模较大，系统环境高度异构的企业而言，数据越来越发挥其重要资产的作用，如何在架构整合方面有所举措，从全局的角度促进数据整合，将不同来源、不同类型的数据整合到一起同，对数据搜集、管理、分析与挖掘等领域都对技术与系统提出了更高的要求，使得数据能够为企业所用。以前，数据都是分散在各个业务系统，在大数据时代，企业需要考虑如何打破系统的边界，把不同来源的数据整合在一起，企业不仅关注外部数据源对企业的价值，也需要关注消费者的情绪如何、对企业的评价如何，互联网、微博等就是很好的信息获取渠道，怎样把结构化、半结构化、非结构化数据整合，怎样把微信、微博等非结构化数据植入商务分析，将虚拟数据和业务数据结合起来，这些外部数据源对企业也具有十分重要的意义。如何整合架构，将异构数据整合到一个系统，并在此基础上，实现业务系统和分析系统的一体化，加
业
务价
值
速并分析大数据，满足企业的实时业务需求和分析需求，是目前亟待解决的技术难题。
1.5.3 大数据分析和处理技术的发展
正因为大数据所呈现的新的特点（4V），大数据的意义并不仅仅在于“容量之大”，其更大的意义在于通过对海量数据进行整合和分析，发现新知识，创造新价值。传统的数据分析方法和工具已不适应大数据的管理，大数据不同于普通的数据仓库、数据挖掘和商业智能分析，如没有恰当的大数据分析工具，大数据将无法发挥其价值。大数据多样、高速、海量的特点从各个领域推动着行业的技术创新，给数据的抓取、存储和分析带来了新的挑战，工具、开源以及框架设施对于大数据行业来说非常重要，开源包括软件和硬件的开源。当前，较为成熟的技术是通过采用分布式计算模式实现，如当前IT业的巨头(如谷歌等)MapReduce 的云计算模型以及Hadoop的开源方案。Hadoop已经成为新的主流范式，而十几年前用的软件开发范式已经不适用了。之前几年的软件开发范式只适合处理结构化的数据，面对非结构化的数据，Hadoop是主流。Hadoop有一个有效的框架，可以处理非结构的数据，尤其是处理分布式数据。其中，Hadoop是一种分布式系统的平台，通过它可以很轻松地搭建一个高效、高质量的分布系统，有着高容错性的特点，并且设计用来部署在低廉的硬件上。Hadoop在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，事实上已成为当前互联网企业主流的大数据分析平台。MapReduce是Hadoop的核心组件之一，可以通过MapReduce很容易在Hadoop平台上进行分布式的计算编程。
1.5.4 大数据处理生态系统构建
随着大数据和分析在企业应用的深入，面临的问题和挑战也越来越多，主要有如下方面：
第一，对大数据和分析平台的企业级应用的可靠性、稳定性、安全性要求会越来越高
第二，大多数企业级用户都面对着极为复杂的行业应用场景，不同类型和来源的数据需要统一地被利用，在系统较多的企业中，如何对数据进行集成管理是
很大的问题，特别是新的大数据方案如何与传统的数据仓库无缝集成；
第三，大多数企业级客户还处于对大数据和分析的探索初期，对于新问题的初判和解决经验不足。
对于企业来说，随着系统的复杂性上升，最为迫切也是最为重要的问题是，如何将不同来源、不同结构的数据通过系统整合到一个平台。在这个平台上，全面涵盖大数据和分析的各个应用，采用统一架构，集成到一个系统。在这个系统上，建立全面覆盖各种复杂行业应用场景的企业级大数据和分析应用解决方案，如静态批量大数据处理、实时大数据业务处理、数据仓库整合和数据集市构建等，对于这些大量异构数据系统，整合的标准是一个非常关键的问题。同时企业又在不断发展，未来要部署包括电商、移动商务、社交网络等新的应用，都需要在这个统一的平台上展开。以上所有的应用，构成了一个大数据的生态系统。这个生态系统应具备以下特点，如图2所示：
图1.2:大数据生态系统特点
(1) 高度整合的实时数据平台
对于现代企业来说，随着业务应用范围的广泛深入、企业积累的数据类型越来越多，包括结构化和非结构化数据，交易数据与非交易数据，
数据量呈几何级
无需准备数据，无需预先聚合，无需调优
最新
数据，实时
捕获
次激增，甚至达到Z、Y级，如何高效地捕获和分析这些大数据，是企业广泛关注的事情，企业亟需一个平台，可以捕获和管理大数据的所有维度，整合数据孤岛，将不同来源、不同类型的数据库，通过整合的开发环境，在技术架构基础上，通过单一系统实现大数据并行计算列式平台管理把ERP的业务数据、半结构化、非结构化的数据整合到一个系统，直接在整个数据平台建模、计算、分析、预测，再借助BI进行图形化展示。所有可使用数据的人，实时获得分析结果，如财务数据，你只需用自然语言输入查询条件，系统提供实时解决方案，像花瓣一样呈现。在这样的平台，能够快速、高效地捕获并整合海量多元化的任意数据，实现快速分析处理海量信息，实时进行商业决策，实现业务系统和分析系统的一体化，能够同时满足企业的实时业务需求和分析需求，不但降低了企业对服务器等硬件的需求，还减少了数据从业务系统到分析系统过程中所需的数据抽取、清洗等操作，大大提高了效率。
（2）基于云的生态系统构建
2012年是中国的大数据元年，云计算概念的争论渐渐平息，而大数据的热潮随之到来。随着大数据的到来，大家对云计算的“中国梦”开始有了更清晰的认识，云计算如何落地为雨，成为2013年中国云计算的主旋律。对于大部分企业而言，“云计算之旅”都将是一场速度与耐力的较量，关键是部署的灵活性。如何在整个价值链中获得出色竞争优势，快速分析数据，发现并响应业务网络中的各种变化，借助广泛的托管功能选择，从高度安全的环境和云技术的经济优势中获益，是每个企业所要达到的理想效果。
大数据时代，云计算所发挥的主要作用是为大数据提供按需服务，主要体现在云存储、云计算、私用云、公有云的服务方面，将云共享的思想应用于企业，主要有有几种主要方式，其中一种就是嵌入式企业原有平台的OEM方式，包括移动平台、商务分析平台和数据库平台等。另一种方式是托管私有云服务的方式，那就是构建一个充满活力的生态系统，为企业提供选择上的自由，既可以选择在企业本地来搭建这个平台，也可以享受在云端来实现这个服务，实现从本地向云端的迁移。充分利用与企业原有的ERP核心系统的无缝集成，又能够与企业其他来源、其他类型的数据、其他系统如BI、ETL和备份工具的集成，实现更广泛的用户支持、数据寻源以及对现有投资的再利用，以达到协同、共同参与、分享的
目的，有效实现数据分析处理中“温数据”到“热数据”的瞬间响应，从而帮助其客户获取实时、精准的数据分析，把握瞬息万变的市场动态，获取商机。所构建的生态系统不仅仅是数据库，而是创新的基于云框架的计算平台，具有出色的云灵活性，支持自动配置计算资源，简化日常管理，将突破传统的游戏规则，它从数据到决策覆盖了整个企业的业务流程。这样一个生态系统，应基于开放式标准，提供安全可靠、易于使用的开发和运行环境。它所具备的能力主要有：加速在线交易处理，同时可以作为数据仓库进行海量数据分析；既能够加速传统的关系型数据，又能连接外部的Hadoop做非结构化数据处理，它将是一个“全能”平台，将企业日常的数据需求全部集中在一个生态系统中，企业可以根据自己的需求，个性化地选择，比如，可以任意选择各种类型的业务应用和数据处理，做交易用传统的关系型数据库，运行报表应用企业的数据仓库（EDW），处理大数据用NoSQL或者Hadoop，在这样一个大而全的生态平台，可以实现简化的IT架构，即想即得，企业将高效地应用诸多大数据技术手段，诸如分布式计算、并行处理、实时计算、高级分析与决策、数据可视化，进而实时获取答案，帮助企业快速获取洞察力，助力企业转型与发展，重塑无限可能。
二、大数据处理及分析理论、方法、技术
（一）大数据处理及分析建设的过程
随着数据的越来越多，如何在这些海量的数据中找出我们需要的信息变得尤其重要，而这也是大数据的产生和发展原因，那么究竟什么是大数据呢？当下我国大数据研发建设又有哪些方面着力呢？
一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。
二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。
三是搭建一个共享平台。数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。
四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。
（二）大数据处理分析的基本理论
图2.1：大数据特征概括为5个V
（三）大数据处理及分析的方向
众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。
那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？
表2.1：数据分析的五个方面
可视化分析数据挖掘耍法预测
性分析能
力
语义
引擎
数据质量
与数据管理
大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。
大数据分析的
理论核心就是数据挖
掘算法，各种数据挖
掘的算法基于不同的
数据类型和格式才能
更加科学的呈现出数
据本身具备的特点，
也正是因为这些被全
世界统计学家所公认
的各种统计方法（可
以称之为真理）才能
深入数据内部，挖掘
出公认的价值。另外
一个方面也是因为有
这些数据挖掘的算法
才能更快速的处理大
数据，如果一个算法
得花上好几年才能得
出结论，那大数据的
价值也就无从说起
了。
大数
据分析最
终要的应
用领域之
一就是预
测性分
析，从大
数据中挖
掘出特
点，通过
科学的建
立模型，
之后便可
以通过模
型带入新
的数据，
从而预测
未来的数
据。
大
数据分析
广泛应用
于网络数
据挖掘，可
从用户的
搜索关键
词、标签关
键词、或其
他输入语
义，分析，
判断用户
需求，从而
实现更好
的用户体
验和广告
匹配。
大数据分
析离不开数据
质量和数据管
理，高质量的数
据和有效的数
据管理，无论是
在学术研究还
是在商业应用
领域，都能够保
证分析结果的
真实和有价值。
大数据分析的
基础就是以上
五个方面，当然
更加深入大数
据分析的话，还
有很多很多更
加有特点的、更
加深入的、更加
专业的大数据
分析方法。
（四）大数据处理及分析的方法
越来越多的应用涉及到大数据，这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以，大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。
（五）大数据处理的过程
大数据处理数据时代理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。具体的大数据处理方法其实有很多，但是根据长时间的实践，笔者总结了一个基本的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入和预处理、统计和分析，以及挖掘。
1.采集
大数据的采集是指利用多个数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB 这样的NoSQL数据库也常用于数据的采集。
2.统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL 的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
3.导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足
部分业务的实时计算需求。导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
4.挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的K-Means、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，还有，常用数据挖掘算法都以单线程为主。
（六）大数据处理的技术
数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
数据存取：关系数据库、NOSQL、SQL等。
基础架构：云存储、分布式文件存储等。
数据处理：自然语言处理是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解，也称为计算语言学。一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。
统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
数据挖掘：分类、估计、预测、相关性分组或关联规则、聚类、描述和可视化、、复杂数据类型挖掘(Text,Web,图形图像，视频，音频等)
模型预测：预测模型、机器学习、建模仿真。
结果呈现：云计算、标签云、关系图等。
（七）大数据处理及分析的意义
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据（Bigdata）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
（八）大数据处理及分析的发展趋势
随着数据的增多，人民对大数据的信息需求也在不断地增加，而大数据的未来发展趋势更人人民所关心，故未来的数据发展正在朝着以下的几个趋势发展。
图2.2：大数据的发展趋势图
何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。
大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。
随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。
未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。
未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们是否已经做好安全防范。而所有企业，无论规模大小，都需要重新审视今天的安全定义。在财富500强企业中，超过50%将会设置首席信息安全官这一职位。企业需要从新的角度来确保自身以及客户数据，所有数据在创建之初便需要获得安全保障，而并非在数据保存的最后一个环节，仅仅加强后者的安全措施已被证明于事无补。
数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。数据资产管理效率与主营业务收入增长率、销售收入增长率显著正相关;此外，对于具有互联网思维的企业而言，数据资产竞争力所占比重为36.8%，数据资产的管理效果将直接影响企业的财务表现。
采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。想要成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得更佳决策。
三、大数据处理系统架构及技术
大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑非常多的因素。
这个“大数据架构和模式”系列提供了一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。因为评估一个业务场景是否存在大数据问题很重要，所以我们包含了一些线索来帮助确定哪些业务问题适合采用大数据解决方案。
大数据文献综述
信息资源管理文献综述 题目：大数据背景下的信息资源管理 系别：信息与工程学院 班级：2015级信本1班 姓名： 学号：1506101015 任课教师： 2017年6月 大数据背景下的信息资源管理 摘要：随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说，我们在享受它带来的便利的同时，无偿的贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。
关键词：大数据信息资源管理与利用 目录 大数据概念.......................................................... 大数据定义...................................................... 大数据来源...................................................... 传统数据库和大数据的比较........................................ 大数据技术.......................................................... 大数据的存储与管理.............................................. 大数据隐私与安全................................................ 大数据在信息管理层面的应用.......................................... 大数据在宏观信息管理层面的应用.................................. 大数据在中观信息管理层面的应用.................................. 大数据在微观信息管理层面的应用.................................. 大数据背景下我国信息资源管理现状分析................................ 前言：大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值 的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日
科学知识图谱在学科评价中的应用研究[开题报告]
（2011届） 本科毕业论文（设计） 开题报告 题目：科学知识图谱在学科评价中的应用研究学院：商学院 专业：信息管理与信息系统 班级： 学号： 姓名： 指导教师： 开题日期：
一、选题的背景、意义 1.该选题的历史背景及国内外现状 科学知识图谱，是将传统的文献计量方法与现代的文本挖掘和复杂网络、数学、统计学、计算机科学方法以及可视化技术等有机地整合在一起的一种综合分析科学发展的知识发现方法。从20世纪 50年代至今，科学知识图谱的研究已经有几十年的历史。 (1)引文分析理论的发展促进了科学知识图谱的兴起。20世纪60年代，加菲尔德(Eugene Garfield)创办科学引文索引 (SCI)。1965年，普赖斯以SCI为数据来源，发表了一篇科学计量学的杰作《科学论文的网络》。在这篇论文中，普赖斯第一次提出并界定了“研究前沿”的概念。到了20世纪70、80年代，匈牙利的三位学者T.布劳温 (Tibur Braun)、W．格伦采尔 (Wolfgang Glanze1)和A．舒伯特 (Andres Schubert)以SCI数据库为基础，出版了《科学计量学指标》，这实际上是世界科学地图和科学知识图谱的雏形。 (2)复杂网络系统和社会网络分析的兴起丰富了引文分析理论与方法。美国社会心理学家斯坦利·米尔格兰姆(Stanley Milligram)于1967年通过社会网络人际关系的“六度分隔”试验发现了著名的“小世界”现象。90年代中期，比利时情报计量学专家埃格赫 (Leo Egghe)和鲁索 (Ronald Rousseau)合作出版了《情报计量学引论》，促进了科学知识图谱的产生。进入21世纪，社会网络分析的探索与应用向纵深发展，风靡全球。 (3)信息可视化为科学知识图谱提供了强大的技术支持。1999年陈超美出版了该领域的第一部学术专著《信息可视化与虚拟环境》，R．斯宾塞 (Robert Spence)2000年出版了《信息可视化》之后相关研究如雨后春笋般涌现。 总体来讲，无论是企业还是科研领域，我国对知识图谱的关注滞后于国外。相比国外知识图谱的研究状况，我国起步稍晚，但是也取得了一些成绩。国内在知识图谱的应用方面缺少理论上的实证分析，主要是将知识图谱作为一个工具，应用于各个领域，而且相对于国外，应用研究还比较薄弱。目前而言，国内知识图谱研究中存在主要困难和问题如下： (1)研究手段和方法的严重滞后 国内近几年有关知识图谱的研究也有一些，如大连理工大学的刘则渊教授带领的团队进行了科学计量学、管理学人机工程学学科以及国内所有工程领域研究前沿的知识图谱构建；武汉大学的马费成、刘青林、社科院的蒋颖等也对国内外知识管理、数字资源管理、战略管理、文献计量学等领域进行了共词图谱的绘制；南京大学的邓三鸿、浙江大学的潘有能等初步建立了图书情报学科的学科知识地图；金莹以CSSCI 数据粗略构建了我国社会科学的学
科学知识图谱研究综述
?新技术应用? 科学知识图谱研究综述 梁秀娟 (湘潭大学公共管理学院 湖南湘潭411105) 文 摘 随着可视化技术的发展,将其与引文分析技术相结合,可以直观、形象地向人们揭示学科以及学科之间的联系。本文结合国内外在引文分析和可视化方面的最新研究,从起源、概念、绘制方法、应用及研究展望等方面对科学知识图谱进行了较为详细的分析。 关键词 引文分析 可视化 科学知识图谱 Rev i ew of M app i n g Knowledge D o ma i n s L i a ng X i ujuan (Public Manage ment School of Xiang Tan University,XiangTan HuNan,411105) Abstract:W ith the devel opment of visual technol ogy which co mbined with citati on analysis technol2 ogy,it can reveal the link bet w een subjects intuitively and vividly.I n this paper,combined with the latest research on citati on analysis and visualizati on,we make a detailed intr oducti on in the areas of mapp ing knowledge domains fr om the origin,concep ts,techniques,app licati ons and the latest p r o2 gress. Key words:Citati on analysis,V isualizati on,Mapp ing knowledge domains 随着信息技术、可视化技术和科学计量学、文献计量学理论的发展,以图形的方式来揭示学科间的联系已不再是一件难事。而近年来科学计量学、文献计量学研究领域兴起的热点之一,就是如何在准确、翔实地传达知识的基础上以可视化的图像直观、形象地向人们揭示学科以及学科之间的联系。科学知识图谱(Mapp ing Knowledge Domains)正是在这一研究领域中出现的一个新的热点。 1 科学知识图谱的起源 科学知识图谱是引文分析与数据、信息可视化相结合的产物。引文分析是指利用各种数学及统计学的方法和比较、归纳、抽象、概括等逻辑方法,对科学期刊、论文、著者等各种分析对象的引证与被引证现象进行分析,以揭示其数量特征和内在规律的一种文献计量分析方法[1]。正式的引文分析始于上个世纪50年代初,1964年美国的尤金?加菲尔德(Eugene Garfield)创立引文数据库S C I(Science Citati on I ndex,科学引文索引),为学者们利用引文分析法分析学科领域知识结构提供了强有力的工具。S C I不仅为引文分析奠定了数据平台,而且使得规范化、高质量的引文分析成为可能。60年代早期,加菲尔德等人开始了基于引文数据的开拓性研究,他们在《应用引文数据撰写科学历史》(The use of citati on data in writing the hist ory of science)中绘制了DNA研究领域的历史发展图谱;不久之后,普赖斯用相同的数据在其一系列经典著作———《巴比伦以来的科学》《小科学,大科学》《科学文献的网络》中,进行了知识图谱绘制的开创性工作。尽管当时并没有使用“知识图谱”这一概念,但是,实际上以引文分析为基础的“知识图谱”理论与方法己经应运而生了[2]。国内自上个世纪80年代引入S C I,很快引起了广大学者的极大兴趣,被越来越多的科学研究者所认同和使用,主要用于揭示科学结构、研究科学史的发展规律、评价科研绩效、预测研究领域热点等方面。 与此同时,计算机技术的快速发展及其在科学计算领域的应用,为数据和信息处理提供了有力的
大数据文献综述
信息资源管理文献综述题目：大数据背景下的信息资源管理 系别：信息与工程学院 班级：2015级信本1班 姓名： 学号：1506101015 任课教师： 2017年6月
大数据背景下的信息资源管理 摘要：随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说，我们在享受它带来的便利的同时，无偿的贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。 关键词：大数据信息资源管理与利用 目录 大数据概念 (3) 大数据定义 (3) 大数据来源 (3) 传统数据库和大数据的比较 (3) 大数据技术 (4) 大数据的存储与管理 (4)
大数据隐私与安全 (5) 大数据在信息管理层面的应用 (6) 大数据在宏观信息管理层面的应用 (6) 大数据在中观信息管理层面的应用 (7) 大数据在微观信息管理层面的应用 (8) 大数据背景下我国信息资源管理现状分析 (9) 前言：大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值 的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日 报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的大技术变革.“世界经济论坛”报告指出大数据为新财富，价值堪比石油.因此，目前世界各国纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要举措. 当前大数据分析者面临的主要问题有:数据日趋庞大，无论是入库和查询，都出现性能瓶颈;用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高;使用的模型越来越复杂，计算量指数级上升;传统技能和处理方法无法应对大数据挑战. 正文：
生态系统服务、功能与价值
生态系统服务、功能与价值 班级：09生物教育姓名：李虎学号：09124097 摘要：生态系统服务（Ecosystem Services）术语逐渐为人们所公认和普遍使用!生态系统服务是指人类直接或间接从生态系统得到的利益，主要包括向经济社会系统输入有用物质和能量、接受和转化来自经济社会系统的废弃物，以及直接向人类社会成员提供服务（如人们普遍享用洁净空气、水等舒适性资源）。与传统经济学意义上的服务（它实际上是一种购买和消费同时进行的商品）不同，生态系统服务只有一小部分能够进入市场被买卖，大多数生态系统服务是公共品或准公共品，无法进入市场。生态系统服务以长期服务流的形式出现，能够带来这些服务流的生态系统是自然资本。 前言：Holdern和Ehrlich于1974年首次提出了生态系统服务的概念生态学界就给予很大的重视尤其是Daliy主编的《生态系统服务：人类社会对自然生态系统的依赖性》一书为标志，一个研究生态系统服务的热潮正在兴起，各国领导人、科学家和公众对保护生物多样性的重要性认识和支持积极性都明显提高。 随着生态经济学、环境和自然资源经济学的发展，生态学家和经济学家在评价自然资本和生态系统服务的变动方面做了大量研究工作，将评价对象的价值分为直接和间接使用价值、选择价值、内在价值等，并针对评价对象的不同发展了直接市场法、替代市场法、假想市场法等评价方法。生态环境评价已经成为今天的生态经济学和环境经济学教科书中的一个标准组成部分。Costanza等人（1997）关于全球生态系统服务与自然资本价值估算的研究工作，进一步有力地推动和促进了关于生态系统服务的深入、系统和广泛研究。 讨论：生态系统服务这些年的研究对人类生活的影响，给人类生活带来的生活质量、能源、生态产品、休闲娱乐、气候调节、生物防治等等改变。生态系统服务，生态系统服务的功能、生态系统服务的价值都是值得我们一起探讨的。 在初中我们就学习了什么是生态系统，知道生态系统的功能，生态系统为人类提供畜牧、木材。水产、粮食等等，地球上的生态系统各种多样化，不同的生态系统给人类不同的服务，那么生态系统服务就是是指生态系统与生态过程所形成的及所维持的人类赖以生存的自然环境与效用。对于人类生存而言，生态系统的许多功能是无法在市场上买卖而又具有重要价值的各种服务。生态系统服务一般是指生命支持功能（如净化、循环、再生等），而不包括生态系统功能和生态系统提供的产品，例如：植物利用太阳能，将二氧化碳转化为有机物，用做食品、燃料、原料及建筑材料等，是生态系统服务的一个最基本的例子。另一项对人类至关重要的生态系统服务是有机废物的生物降解，如垃圾、废水。有些生态系统服务以间接的方式影响着人类。新的食品、纤维和药品都是由现存的、可用的品种和基因开发而来。人类能够从一个生物体向另一个生物体转移基因，却仍难以制造新的基因来满足新的要求。等等一些都是生态系统服务的项目。这些仅仅是生态系统服务项目的一部分，还有大多数的服务项目为人类的生活、生存提供了不少有利条件。具体的服务项目是随着人类经济的发展而有所改变的。 生态系统又有那些功能呢，下面简单的介绍其生态系统服务为人类做出贡献的一些方面。一、有机质的生产与生态系统产品，生物生产是生态系统服务的最基本功能，生态系统通过第一级生产与次级生产，合成与生产了人类生存所必需的有机质及其产品。二、生物多样性的产生与维护，生物多样性，不仅使生态系统服务的提供成为可能，而且也是人类开发新的食品、药品和品种的基因库。生物多样性还提供了一种缓冲和保险，可使生态系统受灾后的损失减小或限制在一定的范围内。生物多样性是维持生态系统稳定性的基本条件。由生物多样性产生的人类文化多样性，具有巨大的社会价值，是人类文明中重要的组成部分。 三、调节气候，植物每年大约向大气释放的氧气有27×1021t。生态系统中的绿色植物通过固定大气中的二氧化碳而减缓地球的温室效应。森林能够防风，植物蒸腾可保持空气的湿度，从而改善局部地区的小气候。森林对有林地区的气温具有良好的调节作用，使昼夜温度不致骤升骤降，夏季减轻干热，秋冬减轻霜冻。绿色植物尤其是高大林木所具有的防风、增湿，调温等改善气候的功能，对农业生产也是有利的。四、减缓灾害，生态系统复杂的组成与结构能涵养水分，减缓旱涝灾害。每年地球上总降水量约1.19×1012t，在降雨过程中覆盖于植被树冠与地表的枯枝落叶能减缓地表径流。植物生长有深广多层的根系，这些根系和死亡的植物组织维系和固着土壤，并且吸收和保持一部分水。雨季过后，植被与土壤中保持的
科学知识图谱研究综述
#新技术应用# 科学知识图谱研究综述 梁秀娟 (湘潭大学公共管理学院湖南湘潭411105) 文摘随着可视化技术的发展,将其与引文分析技术相结合,可以直观、形象地向人们揭示学科以及学科之间的联系。本文结合国内外在引文分析和可视化方面的最新研究,从起源、概念、绘制方法、应用及研究展望等方面对科学知识图谱进行了较为详细的分析。 关键词引文分析可视化科学知识图谱 R evie w of M apping Know ledge Dom ains L iang X i u j uan (Pub lic M anage m en t School of X iang Tan Un iversity,X iangTan H uN an,411105) Abst ract:W it h the develop m ent o f v isual techno logy w hich co mb i n ed w ith citation analysi s techno-l ogy,it can reveal the link bet w een subjects int u iti v e l y and v ividly.I n t h is paper,co mb i n ed w it h the latest research on citation ana l y sis and v isua lizati o n,w e m ake a de tailed introducti o n i n t h e areas o f m apping kno w ledge do m a i n s fro m the or i g i n,concepts,techniques,applications and the latest pr o-gress. K ey w ords:C itati o n analysis,V isualization,M app i n g kno w ledge do m ains 随着信息技术、可视化技术和科学计量学、文献计量学理论的发展,以图形的方式来揭示学科间的联系已不再是一件难事。而近年来科学计量学、文献计量学研究领域兴起的热点之一,就是如何在准确、翔实地传达知识的基础上以可视化的图像直观、形象地向人们揭示学科以及学科之间的联系。科学知识图谱(M app i ng K now l edge Dom ains)正是在这一研究领域中出现的一个新的热点。 1科学知识图谱的起源 科学知识图谱是引文分析与数据、信息可视化相结合的产物。引文分析是指利用各种数学及统计学的方法和比较、归纳、抽象、概括等逻辑方法,对科学期刊、论文、著者等各种分析对象的引证与被引证现象进行分析,以揭示其数量特征和内在规律的一种文献计量分析方法[1]。正式的引文分析始于上个世纪50年代初,1964年美国的尤金#加菲尔德(Eugene G arfield)创立引文数据库SCI(Science C itati on Index,科学引文索引),为学者们利用引文分析法分析学科领域知识结构提供了强有力的工具。SCI不仅为引文分析奠定了数据平台,而且使得规范化、高质量的引文分析成为可能。60年代早期,加菲尔德等人开始了基于引文数据的开拓性研究,他们在5应用引文数据撰写科学历史6(T he use of c itati on data i n w riti ng the hist o ry o f sc i ence)中绘制了DNA研究领域的历史发展图谱;不久之后,普赖斯用相同的数据在其一系列经典著作)))5巴比伦以来的科学65小科学,大科学65科学文献的网络6中,进行了知识图谱绘制的开创性工作。尽管当时并没有使用/知识图谱0这一概念,但是,实际上以引文分析为基础的/知识图谱0理论与方法己经应运而生了[2]。国内自上个世纪80年代引入SCI,很快引起了广大学者的极大兴趣,被越来越多的科学研究者所认同和使用,主要用于揭示科学结构、研究科学史的发展规律、评价科研绩效、预测研究领域热点等方面。 与此同时,计算机技术的快速发展及其在科学计算领域的应用,为数据和信息处理提供了有力的
大数据文献综述
信息资源管理文献综述题目：大数据背景下的信息资源管理系别：信息与工程学院 班级：2015级信本1班 姓名： 学号：1506101015 任课教师： 2017年6月
大数据背景下的信息资源管理 摘要：随着网络信息化时代的日益普遍，我们正处在一个数据爆炸性增长的“大数据”时代，在我们的各个方面都产生了深远的影响。大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力就是大数据技术，这也是一个企业所需要必备的技术。“大数据”一词越来越地别提及与使用，我们用它来描述和定义信息爆炸时代产生的海量数据。就拿百度地图来说，我们在享受它带来的便利的同时，无偿的贡献了我们的“行踪”，比如说我们的上班地点，我们的家庭住址，甚至是我们的出行方式他们也可以知道，但我们不得不接受这个现实，我们每个人在互联网进入大数据时代，都将是透明性的存在。各种数据都在迅速膨胀并变大，所以我们需要对这些数据进行有效的管理并加以合理的运用。 关键词：大数据信息资源管理与利用 目录 大数据概念 (2) 大数据定义 (2) 大数据来源 (2) 传统数据库和大数据的比较 (3) 大数据技术 (3) 大数据的存储与管理 (4) 大数据隐私与安全 (4) 大数据在信息管理层面的应用 (5) 大数据在宏观信息管理层面的应用 (5) 大数据在中观信息管理层面的应用 (6) 大数据在微观信息管理层面的应用 (7) 大数据背景下我国信息资源管理现状分析 (8)
前言：大数据泛指大规模、超大规模的数据集，因可从中挖掘出有价值 的信息而倍受关注，但传统方法无法进行有效分析和处理.《华尔街日 报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的 大技术变革.“世界经济论坛”报告指出大数据为新财富，价值堪比 石油.因此，目前世界各国纷纷将开发利用大数据作为夺取新一轮竞 争制高点的重要举措. 当前大数据分析者面临的主要问题有:数据日趋庞大，无论是入 库和查询，都出现性能瓶颈;用户的应用和分析结果呈整合趋势，对 实时性和响应时间要求越来越高;使用的模型越来越复杂，计算量指 数级上升;传统技能和处理方法无法应对大数据挑战. 正文： 大数据概念 大数据定义 维基百科对大数据的定义则简单明了:大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。也就是说大数据是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理 大数据来源 1)来自人类活动:人们通过社会网络、互联网、健康、金融、经济、交通等活动过程所产生的各类数据，包括微博、病人医疗记录、文字、图形、视频等
关于生态系统服务(功能)价值
关于生态系统服务（功能）价值 普遍定义： 生态系统服务功能是指生态系统与生态过程所形成及所维持的人类赖以生存的自然环境条件与效用，包括对人类生存及生活质量有贡献的生态系统产品和生态系统功能。生态系统服务功能及其价值评估研究对于促进生态系统可持续管理具有重要作用。 生态系统服务功能及价值评估研究的最终目的是为生态系统管理决策者提供信息，避免对生态系统服务功能产生不经济行为，有利于生态系统的保护并最终有利于人类自身的可持续发展。 著名的权威定义： 1 Robert Costanza，＂The value of the world's ecosystem services and natural capital＂ （Nature 387, 253-260 Article）一文中的定义： 其中其所指的17项内容如下：
展，2000，22 (5)
关于生态系统服务功能价值的评价方法 生态系统服务功能的价值可以分为直接利用价值，间接利用价值，选择价值与存在价值。生态系统服务功能价值评估方法，因其功能类型不同而异。 生态系统服务功能的价值分类 1 直接利用价值：主要是指生态系统产品所产生的价值，它包括食品、医药及其它工农业生产原料，景观娱乐等带来的直接价值。直接使用价值可用产品的市场价格来估计。 2 间接利用价值：主要是指无法商品化的生态系统服务功能，如，维持生命物质的生物地化循环与水文循环，维持生物物种与遗传多样性，保护土壤肥力，净化环境，维持大气化学的平衡与稳定等支撑与维持地球生命支持系统的功能。间接利用价值的评估常常需要根据生态系统功能的类型来确定，通常有防护费用法，恢复费用法，替代市场法等。 3 选择价值：选择价值是人们为了将来能直接利用与间接利用某种生态系统服务功能的支付惫愿。例如，人们为将来能利用生态系统的涵养水源、净化大气以及游憩娱乐等功能的支付意愿。人们常把选择价值喻为保险公司，即人们为自己确保将来能利用某种资源或效益而愿意支付的一笔保险金。选择价值又可分为3 类：即自己将来利用：子孙后代将来利用，又称之为遗产价值；及别人将来利用，也称之为替代消费。 4 存在价值：存在价值亦称内在价值，是人们为确保生态系统服务功能能继续存在的支付惫愿。存在价值是生态系统本身具有的价值，是一种与人类利用无关的经济价值。换句话说，即使人类不存在，存在价值仍然有，如生态系统中的物种多样性与涵养水源能力等。存在价值是介于经济价值与生态价值之间的一种过渡性价值，它可为经济学家和生态学家提供了共同的价值观。 生态系统服务功能价值评估方法 根据生态经济学、环境经济学和资源经济学的研究成果，生态系统服务功能的经济价值评估的方法可分为两类：一是替代市场技术，它以“影子价格”和消费者剩余来表达生态服务功能的经济价值，评价方法多种多样．其中有费用支出法、市场价值法、机会成本法、旅行费用法和享乐价格法；二是模拟市场技术（又称假设市场技术），它以支付意愿和净支付意愿来表达生态服务功能的经济价值，其评价方法只有一种，即条件价值法。本文主要介绍目前常用的条件价值法、费用支出法与市场价值法。 1 条件价值法：也称调查法和假设评价法，它是生态系统服务功能价值评估中应用最广泛的主估方法之一。条件价值法适用于缺乏实际市场和替代市场交换的商品的价值评估，是“公共商品”价值评估的一种特有的重要方法，它能评价各种生态系统服务功能的经济价值，包括直接利用价值、间接利用价值、存在价值和选择价值。 支付意愿可以表示一切商品价值，也是商品价值的唯一合理表达方法。西方经济学认为：价值反映了人们对事物的态度、观念、信仰和偏好，是人的主观思想对客观事物认识的结果；支付意愿是“人们一切行为价值表达的自动指示器”, 因此商品的价值可表示为：商品的价值二人们对该商品的支付惫愿支付意愿又由实际支出和消费者剩余两个部分组成，, 对于商品，由于商品有市场交换和市场价格，其支付意愿的两个部分都可以求出。实际支出的本质是商品的价格，消费者剩余可以根据商品的价格资料用公式求出。因此，商品的价值可以根据其市场价格资料来计算。理论和实践都证明：对于有类似替代品的商品，其消费者剩余很小，可以直接以其价格表示商品的价值。 对于公共商品而言，由于公共商品没有市场交换和市场价格。因此，支付意原的两个部分（实际支出和消费者剩余）都不能求出，公共商品的价值也因此无法通过市场交换和市场价格估计。目前，西方经济学发展了假设市场方法，即直接询问人们对某种公共商品的支付惫愿，以获得公共商品的价值，这就是条件价值法。
大数据时代企业生态系统的演化与建构
“大数据”时代企业生态系统的演化与建构 2014年07月03日15:13 来源：《社会科学》(沪)2013年12期作者：资武成字号 打印纠错分享推荐浏览量 373 【作者简介】资武成，湖南师范大学商学院副教授、博士 随着网络技术、通信技术、移动设备技术的融合与发展，信息数据呈现出前所未有的爆发式增长，“大数据”已经引起了学术界的高度关注。《Nature》杂志出版的专刊“Big Data”指出，“大数据”时代的到来将引起一次社会革命，必将对政府治理、企业决策、个人生活产生巨大而深远的影响。2011年《Science》出版的关于数据处理的专刊“Dealing with data”，深入讨论了大数据所带来的机遇和挑战，并指出如果能够有效地组织和使用这些数据，将会发挥科学技术对社会发展的巨大推动作用。全球知名咨询公司麦肯锡提出“大数据”时代已经到来，并认为“大数据”将逐渐成为重要的生产要素，人们对“大数据”的运用将预示着新一轮生产率的增长和消费者盈余浪潮的到来。Bughin et al.认为“大数据”时代会产生新的管理模式和规则，“大数据”的挖掘和应用能驱动企业获取竞争优势。 在实践中，大量的企业也已经关注并应用“大数据”为企业决策服务，苹果、微软、IBM、三星、阿里、华为、腾讯等知名企业均已开始建构基于“大数据”的企业生态系统。因此，在“大数据”时代，企业生态系统的运行环境和运营模式会发生哪些变化？企业生态系统如何演化？如何基于“大数据”构建完善的企业生态系统都是迫切需要研究的现实问题。 一、“大数据”及企业生态系统的内涵 “大数据”(Big data)目前还没有一个明确的定义，Manish et al.认为，“大数据”是指多种来源、多形式的、实时的“大数据”集合，需要专业化软件工具和分析专家去收集、处理和管理的数据集合。Archak 等提出，“大数据”是需要新的处理方式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。李国杰等学者认为“大数据”是指无法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知、获取、管理和服务的数据集合，并表示“大数据”具有“4V”特征：①海量数据(Volume)，数据集合的规模已从GB到TB再到PB级，甚至已经开始以EB和ZB来计算；②类型复杂(Variety)，“大数据”类型包括结构化数据、半结构化数据和非结构化数据；③实时处理(Velocity)，“大数据”通常以数据流的形式动态、快速地产生，具有很强的时效性，数据的状态与价值也随时空变化而发生改变；④价值巨大(Value)，通过对浩瀚的毫无关联的“大数据”进行挖掘和分析，能找出商业活动的本质规律和趋势，发现“大数据”背后隐藏着的经济价值。 企业生态系统(Business Ecosystem)最早是由美国学者James Moore提出的，他借用生态学的概念来解释企业组织及其与环境之间的关系。Moore，J.认为企业生态系统是指由相互作用的企业组织与个人所形成的经济群体，包括生产商、销售商、消费者、供应商、投资商、竞争者、互补者、企业所有者以及有关的政府。该概念表示企业生态系统是一个相对开放的系统，这个系统中所有的组成要素相互影响、相互促进；同时，企业生态系统也会受到外部环境的制约和影响，企业生态系统在各种内外部力量的作用下得到演化和发展。 “大数据”背景下，企业生态系统和外部环境之间的边界日趋模糊，信息共享和知识溢出已成为企业生态系统中各成员合作竞争与协同演化的主要方式之一。在这种竞争环境下，信息和知识成了企业经营管
大数据外文翻译参考文献综述
大数据外文翻译参考文献综述 (文档含中英文对照即英文原文和中文翻译) 原文： Data Mining and Data Publishing Data mining is the extraction of vast interesting patterns or knowledge from huge amount of data. The initial idea of privacy-preserving data mining PPDM was to extend traditional data mining techniques to work with the data modified to mask sensitive information. The key issues were how to modify the data and how to recover the data mining result from the modified data. Privacy-preserving data mining considers the problem of running data mining algorithms on confidential data that is not supposed to be revealed even to the party
running the algorithm. In contrast, privacy-preserving data publishing (PPDP) may not necessarily be tied to a specific data mining task, and the data mining task may be unknown at the time of data publishing. PPDP studies how to transform raw data into a version that is immunized against privacy attacks but that still supports effective data mining tasks. Privacy-preserving for both data mining (PPDM) and data publishing (PPDP) has become increasingly popular because it allows sharing of privacy sensitive data for analysis purposes. One well studied approach is the k-anonymity model [1] which in turn led to other models such as confidence bounding, l-diversity, t-closeness, (α,k)-anonymity, etc. In particular, all known mechanisms try to minimize information loss and such an attempt provides a loophole for attacks. The aim of this paper is to present a survey for most of the common attacks techniques for anonymization-based PPDM & PPDP and explain their effects on Data Privacy. Although data mining is potentially useful, many data holders are reluctant to provide their data for data mining for the fear of violating individual privacy. In recent years, study has been made to ensure that the sensitive information of individuals cannot be identified easily. Anonymity Models, k-anonymization techniques have been the focus of intense research in the last few years. In order to ensure anonymization of data while at the same time minimizing the information
生态系统服务功能
◆生态系统服务功能及其分类 生态系统服务（Ecosystem Services）是指生态系统与生态过程所形成及所维持的人类赖以生存的自然环境条件与效用，它不仅给人类提供生存必需的食物、医药及工农业生产的原料，而且维持了人类赖以生存和发展的生命支持系统（Daily,1997；欧阳志云等，1999）。目前，得到国际广泛承认的生态系统服务功能分类系统是由MA工作组提出的分类方法（MAG，2002）。MA的生态服务功能分类系统将主要服务功能类型归纳为提供产品、调节、文化和支持四个大的功能组（图1）。产品提供功能是指生态系统生产或提供的产品；调节功能是指调节人类生态环境的生态系统服务功能；文化功能是指人们通过精神感受、知识获取、主观映象、消遣娱乐和美学体验从生态系统中获得的非物质利益；支持功能：保证其它所有生态系统服务功能提供所必需的基础功能。区别于产品提供功能、调节功能和文化服务功能，支持功能对人类的影响是间接的或者通过较长时间才能发生，而其它类型的服务则是相对直接的和短期影响于人类。一些服务，如侵蚀控制，根据其时间尺度和影响的直接程度，可以分别归类于支持功能和调节功能。由此可见，生态系统服务功能是人类文明和可持续发展地基础。 ◆生态系统服务功能价值评估 随着生态经济学、环境和自然资源经济学的发展，生态学家和经济学家在评价生态系统服务的变动方面做了大量研究工作，生态环境评价已经成为今天的生态经济学和环境经济学教科书中的一个标准组成部分。Costanza等人（1997）关于全球生态系统服务与自然资本价值估算的研究工作（全球生态系统服务每年的总价值为16～54万亿美元，平均为33万亿美元。33万亿美元是1997年全球GNP的1.8倍。），进一步有力地推动和促进了关于生态系统服务的深入、系统和广泛研究。目前生态系统服务功能价值评价地主要方法有（表2）： 生态系统服务功能主要价值评价方法
大数据云计算文献综述
大数据云计算文献综述 一个大数据的调查 摘要：在这篇论文中，我们将回顾大数据的背景以及当前发展状况。我们首先介绍大数据的一般应用背景以及回顾涉及到的技术，例如：云计算、物联网、数据中心，以及Hadoop。接下来我们着重大数据价值链的四个阶段，也就是：数据生成，数据采集，数据存储和数据分析。对于每个阶段，我们介绍应用背景，讨论技术难题以及回顾最新技术。最后，我们介绍几个大数据的代表性应用，包括企业管理，物联网，在线社交网络，媒体应用，集成智慧，以及智能电网。这些讨论旨在提供一个全面的概述以及对读者感兴趣的领域的蓝图。这个调查包括了对开放问题和未来方向的讨论。 关键字大数据云计算物联网数据中心Hadoop 智能电网大数据分析 1、背景 1.1大数据时代的曙光 在过去的二十年，数据在各种各样的领域内爆炸式增长。按照2011年来自国际数据公司（IDC）的报告，世界上总共的创建及复制的数据量达到1.8zb,在五年内增长了大约九倍[1]。在未来这个数字至少每两年增加一倍。在全球数据的爆炸增长下，大数据这个词主要来描述巨大的数据集。与传统的数据集相比，大数据通常包括非结构化数据，这需要更实时的分析。 另外，大数据也能在发现新价值上带来新优势，帮助我们帮助我们获得一个深入隐藏价值的认识，也导致新挑战，例如，如何有效地组织和管理这样的数据集。
近日，行业产生兴趣的大数据的高潜力，许多政府机构公布主要计划加快大数据的研究和应用[2]。此外，大数据问题往往覆盖在公共媒体，如经济学[3，4]，纽约时报[5]，和全国公共广播电台[6,7]。这两个主要的科学期刊，Nature和Science，还开通了专栏讨论大数据的挑战和影响[8,9]。大数据的时代已经到来超越一切质疑[10]。 目前，与互联网公司的业务相关联的大数据快速增长。例如，谷歌处理的数据达数百拍字节（PB），Facebook的生成日志数据每月有超过10 PB，百度一家中国公司百度，业务流程有数十PB的数据，而阿里巴巴的子公司淘宝每天的网上交易产生几十太字节（TB）的数据。图1示出的全球数据量的热潮。当大型数据集的数量急剧上升，它也带来了许多具有挑战性的问题，解决方案如下： 图一、持续增长的数据 信息技术的最新发展（IT）使其更容易以产生数据。例如，每分钟有平均72个小时的视频上传到YouTube[11]。因此，我们面临的主要挑战是从广泛分布的数据源中收集和整合大量的数据。 云计算和物联网（IOT）的快速发展进一步促进数据的大幅增长。云计算提供了安全措施，访问网站以及数据资产的渠道。在物联网的典范，遍布世界各地的传感器正在收集和传送数据到云端进行存储和处理。这样的数据在数量和相互关系将远远超过对IT架构和现有企业的基础设施的能力，以及它的实时要求也将极大地强调可用的计算能力。日益增长的数据造成怎样在当前硬件和软件的基础上存储和管理如此庞大的异构数据集的问题。
生态系统服务功能文摘
生态系统服务研究是近几年才发展起来的生态学研究领域,目前被普遍认可的概念是1997年Ｄaliy等人[1]提出的。 他指出:生态系统服务是指自然生态系统及其物种所提供的能够满足和维持人类生活需要的条件和过程。（[1]ＧｒｅｔｃｈｅｎＣＤａｉｌｙ.Ｎａｔｕｒｅｓｅｒｖｉｃｅｓ.Ｗａｓｈｉｎｇｔｏｎ:ＤＣＩｓｌａｎｄｐｒｅｓｓ.1997） 生态系统服务功能是指生态系统与生态过程所形成及所维持的人类赖以生存的自然环境条件与效用[6].（6Ｄａｉｌｙ,Ｇ.Ｃ.1997.ＮａｔｕｒｅｓＳｅｒｖｉｃｅｓ:ＳｏｃｉｅｔａｌＤｅｐｅｎｄｅｎｃｅｏｎＮａｔｕｒａｌＥｃｏｓｙｓｔｅｍｓ.ＷａｓｈｉｎｇｔｏｎＤＣ:ＩｓｌａｎｄＰｒｅｓｓ.） 主要包括如下内容: 净化空气和水缓解干旱和洪水废物的分解和解毒产生、更新土壤和土壤肥力植物受粉; 农业害虫的控制稳定局部气候缓解气温聚变、风和海浪支持不同的人类文化传统提供美学和文化、娱乐 1995年,ＣｏｓｔａｎｚａＲ等人将全球生态系统服务划分为17,包括:大气调节;气候调节;干扰调节;水调节;水供给;侵蚀制和沉积物保持;土壤发育;营养循环;废物处理;受粉;生物控制;庇护所;食物生产;原材料;基因资源;娱乐;文化等。 ＣｏｓｔａｎｚａＲ等人1995年开始对生态系统服务价值进行研究[4]。他们对全球主要类型的生态系统服务功能价值进行了评估,得出全球陆地生态系统服务功能价值为每年33万亿美元,这一研究的发表拉开了生态系统服务功能价值研究的序幕。 1997年,由ＧｒｅｔｃｈＤａｉｌｙ等人编著的《生态系统服务功能》一书,不仅系统的阐述了生态系统服务功能的内容与评价方法,同时还分析了不同地区森林、湿地、海岸等生态系统服务功能价值评价的近20例实例。价的近20例实例。 我国著名植物学家张新时根据Ｃｏｓｔａｎｚ等人的研究,按照面积比例对我国生态系统的服务功能经济价值进行了评估,得出我国生态系统服务功能的经济价值大约为20万亿元人民币。1999年欧阳志云等人对我国陆地生态系统的服务功能价值进行了研究,得出我国陆地生态系统服务功能经济价值每年为1.48×1014元人民币。 3 主要的研究方法 生态经济学、环境经济学、资源经济学对生态系统服务进行评价时主要可以采用如下几种方法: 3.1市场价值法 市场价值法是指对有市场价格的生态系统产品和功能进行估价的一种方法。通过市场来体现生态系统服务的价值。这种方法是在估算中最常使用的,也是最简单的方法。但是这种方法只适用于有市场价格的生态系统产品或服务,对于没有市场价格的服务只能通过其他方法进行转化,才能适用。另外还要结合考虑一系列经济指标。因此使用时常常受资料限制。 3.2边际机会成本法 边际机会成本[12]是由边际生产成本、边际使用成本和边际外部成本组成的。机会成本是指在