大数据平台技术综述_宫夏屹

第 26 卷第 3 期 2014 年 3 月
系统仿真学报? Journal of System Simulation
Vol. 26 No. 3 Mar., 2014
大数据平台技术综述?
宫夏屹 1,2，李伯虎 1,2，柴旭东 2，谷牧 2
（1.北京航空航天大学自动化科学与电气工程学院，北京 100191；2.北京仿真中心，北京 100854） 摘要：随着新一代信息技术的飞速发展，大数据平台技术已成为现代建模仿真领域的重要支撑技
术之一。结合大数据研究和应用现状，提出了大数据平台的体系架构，并对平台应用模式、大数 据应用标准、大数据存储、大数据分析处理以及大数据平台相关技术进行了研究和综述，最后，
对大数据平台的研究和应用发展方向进行了展望。 关键词：大数据；平台；体系架构；应用模式 中图分类号：TP391.9 文献标识码：B 文章编号：1004-731X (2014) 03-0489-08
Survey on Big Data Platform Technology
GONG Xia-yi1,2, LI Bo-hu1,2, CHAI Xu-dong1, GU Mu2 (1. School of Automation Science and Electrical Engineering, Beijing University of Aeronautics and Astronautics, Beijing 100191, China; 2. Beijing Simulation Center, Beijing 100854, China)
Abstract: With the rapid development of new Information Technology (IT), big data platform technology has been one of the important supporting technologies of modern modeling simulation field. On the basis of the current situation and research of big data applications, the architecture of big data supporting platform was proposed, and its application mode, big data application standard, big data storage, big data analysis, and some related technologies were researched and summarized. The applications and development of big data platform were discussed. Key words: big data; platform; architecture of platform; application mode
引言?
随着新一代信息技术的飞速发展，大数据平台技术已 成为现代建模仿真领域的重要支撑技术之一。尤其是社会 各行业当前对基于数据的应用愈加重视，大数据的兴起引 发了各行业研究大数据、 应用大数据的热潮。 进入 2012 年， 大数据(big data)一词越来越多地被提及，人们用它来描述 和定义信息爆炸时代产生的海量数据，并命名与之相关的 技 术 发 展 与 创 新 。 截 止 到 2012 年 ， 数 据 量 已 经 从 TB(1024GB=1TB) 级 别 跃 升 到 PB(1024TB=1PB) 、
EB(1024PB=1EB）)乃至 ZB(1024EB=1ZB)级别。国际数据 公司(IDC)的研究结果表明，2008 年全球产生的数据量为 0.49ZB，2009 年的数据量为 0.8ZB，2010 年增长为 1.2ZB， 2011 年的数量更是高达 1.82ZB ，相当于全球每人产生 200GB 以上的数据。 而到 2012 年为止， 人类生产的所有印 刷材料的数据量是 200PB，全人类历史上说过的所有话的 数据量大约是 5EB。IBM 的研究称，整个人类文明所获得 的全部数据中，有 90%是过去两年内产生的。而到了 2020 年 ， 全 世 界 所 产 生 的 数 据 规 模 将 达 到 今 天 的 44 倍
[1][7][8][15][17][18]
。 近期， 各行业对大数据定义众多。 Informatica
中国区首席产品顾问但彬认为：“大数据”包含了“海量数据”
收稿日期：2013-10-28 修回日期：2014-02-14 基金项目：国 家 8 6 3 项 目 (2011AA040502) 作者简介：宫夏屹(1983-)，男，陕西咸阳人，博士生，研究方向为云 制造、大数据、系统建模与仿真技术、人工智能等；李伯虎(1938-)， 男，上海市人，中国工程院院士，博导，研究方向为系统建模与仿真 技术、先进分布仿真技术、虚拟样机工程、仿真网格、CIMS 总体、云 仿真/云制造等。
的含义，而且在内容上超越了海量数据，简而言之，“大数 据”是“海量数据”+复杂类型的数据。大数据包括交易和交互 数据集在内的所有数据集， 其规模或复杂程度超出了常用技 术按照合理的成本和时限捕捉、 管理及处理这些数据集的能 力[2]。
https://www.wendangku.net/doc/7814696773.html, ? 489 ?

第 26 卷第 3 期 2014 年 3 月
系统仿真学报 Journal of System Simulation
Vol. 26 No. 3 Mar., 2014
此外，基于客户获取的工作负载的要求，NetApp 定 义的大数据包括 A、B、C 三个要素：分析(Analytic)+带宽 (Bandwidth)+内容(Content)。 分析已有的各种定义以及实际应用中对大数据技术 的要求，本文认为大数据是无法在一定时间内用传统数据 库软件工具对其进行快速获取、分析和处理的多类别体量 数据集[8]。业界将其归纳为 4 个“V”――Volume, Variety, Value, Velocity, 即具有 4 个典型特征：第一，数据体量巨 大，从 TB 级别跃升到 PB 级别；第二，数据类型繁多，涵 盖工程数据、网络日志、视频、图片、位置信息等等；第 三，数据蕴含的价值巨大，目前已经远远不局限于商业创 新，实现精准营销价值；第四，速度快，俗称“秒级定律”， 即速度要求很高，一般要在秒级时间给出分析结果，时间 太长就失去价值 。目前，大数据的研究和应用已成为各 行业数据研究的重点。 科学研究领域新积累的大量计算结果及过程数据我 们称之为工程应用数据，是一类典型的大数据。复杂系统 研制中往往要进行大量的试验和仿真，从而能够积累大量 的工程应用数据，这些海量研制数据以图表、数据、模型 等多种形式进行存储，并需要进行快速处理以支持复杂系 统研制的快速性要求， 同时用于复杂系统研制全生命周期。 具体而言，这些数据包括系统模型、知识(流程、设计和文 本等)、 算法和传统的结构化数据类数据(比如， 仿真试验类 数据，多学科优化类数据等)。工程应用数据如知识、海量 结构化数据、算法、模型等具有典型的 4V 特点。 工程研制中，工程应用数据会随着试验、仿真、迭代 设计的不断增加而迅速膨胀，这些数据的不断累积会达到 PB 级，具有大体量的特点；工程应用数据以图表、模型、 word 等多种形式进行存储，具有多样性的特点；一个模型 代表了一种研究思路，一次试验代表了成功或者失败的经 验，这些数据都对工程研制具有重要的价值和意义，具有 价值大的特点，此外，面向工程应用数据的挖掘分析，其 主要研究如何从大量设计、试验、制造数据以及综合保障 数据中挖掘出能够支持产品全生命周期应用的各类有巨大 意义的信息，更好支持产品价值的实现；当前的工程研制 更加注重快速化、绿色化，如何快速的呈现试验结果，开 展仿真分析，如何快速确定设计参数等等，这都需要对工 程应用数据进行快速分析， 同时， 从大数据全生命周期应用 而言，从数据采集、获取上速度要快，存储、管理上要实现 快速化，分析、处理上更要迅速完成，具备速度快的特点。 大数据的发展已上升到国家战略发展层面，数据正在 成为组织的财富和创新的基础。大数据的出现促使对数据
[2]
的分析向机器学习方向发展， 通过大量数据的激励， “机器” 能够随着计算、运行次数的增多，通过学习逐步自我提高 改善，使挖掘和预测的功能更为准确。这也标志着我们人 类社会在从信息时代经由知识时代快速向智能时代迈进。 从 2009 年开始，“大数据”逐渐成为互联网信息技术 行业的热门词汇。美国互联网数据中心指出，互联网上的 数据每年将增长 50%，每两年便将翻一番，而目前世界上 90%以上的数据是最近几年才产生的。“大数据”作为一个 较新的概念，目前尚未直接以专有名词被我国政府提出来 给予政策支持。不过，在工信部发布的物联网“十二五”规 划上，把信息处理技术作为 4 项关键技术创新工程之一被 提出来，其中包括了海量数据存储、数据挖掘、图像视频 智能分析，这都是大数据的重要组成部分。而另外 3 项关 键技术创新工程，包括信息感知技术、信息传输技术、信 息安全技术，也都与“大数据”密切相关。大数据技术的战 略意义不在于掌握庞大的数据信息，而在于对这些含有意 义的数据进行专业化处理[4][5]。 通过对国内外在大数据方面的研究工作进行分析
[1][6][9][14][20]
，可以发现目前大数据平台的研究还比较零散，
在大数据平台架构上大多基于 Hadoop 技术， 大量的研究集 中在大数据的挖掘分析方法上，还没有形成支撑大数据平 台开发的相关技术体系。而数据挖掘技术在大数据应用中 的研究与应用尚处于发展阶段，许多公共安全、电子政务 等业务信息系统还停留在初级处理水平，缺乏综合性的开 发应用，智能化的分析研判，科学性的决策预警。 鉴于此，大数据的研究应用已逐步成为一项数据工 程，急需一个新的平台来支撑全生命周期内跨领域、异构 大数据的管理、分析和处理等需求。
1
大数据平台面临的挑战
面对领域大数据，在全生命周期的一体化协同环境下
的大数据采集、存储、管理及分析处理都将面临着前所未 有的挑战，具体而言，面临以下难题： 1) 大数据采集问题。 如何将大数据变小， 在尽量不损 失价值的情况下减少数据的规模，像数据的清洗、去除等 等，即如何有效地处理大数据类似物理的作用，把大数据 的规模变小但不损失价值；如何从一个平面的大数据提炼 出高附加值的概念、知识和智慧。 2) 大数据存储问题。 对于结构化数据， 海量数据的查 询、统计、更新效率低；对于非结构化数据，如图片、视 频等文件的存储、检索困难；对于半结构化数据，进行存
https://www.wendangku.net/doc/7814696773.html, ? 490 ?

第 26 卷第 3 期 2014 年 3 月
Vol. 26 No. 3
宫夏屹, 等: 大数据平台技术综述
Mar., 2014
储、分析需要转化为结构化数据，或者按照非结构化数据 进行存储，难度较大。 3) 大数据管理问题。如何对分布、多态、异构的大数 据进行管理，当前还缺乏有效手段。 4) 大数据分析处理问题。 分布式计算、 并行计算能够 提供有效支持，而如何有效利用现有分布式、并行技术开 展大数据的分析处理有待研究。 5) 大数据领域应用问题。 如何应用大数据辅助具体的 领域应用， 如： 快速开展治安防控、 警情研判及指挥决策？ 同时，如何发掘行业信息资源价值，提高领域大数据的利 用率亟待研究。
目前，大数据尚未具有一个全面的、整合的平台，通 过对以上需求进行分析，针对领域应用中数据规模大、数 据关联性强等特点， 亟需面向大数据平台进行系统性研究， 从而解决大数据的服务、共享、整合和分析的集成性问题。 大数据的作用日益凸显，越来越多的商业用户倾向于 将大数据分析结果作为其商业决策的重要依据。面向复杂 系统研制过程，必须找到一种集成的、全面的大数据解决 方案，不仅要解决图形、模型等非结构化数据的处理问题， 还要将功能扩展到海量研制数据(试验数据、仿真数据、故 障诊断数据等 ) 的存储、多专业大数据的分布式采集和交 换、海量研制数据的实时快速访问、统计分析与挖掘和商 务智能分析等，这就需要有新的架构，新的技术途径来给予 支撑。 针对领域应用数据所具有的容量大、多样性、非结构 化、冗余度大等特点，以及实际业务中快速开展大数据分 析处理的应用需求，研究提出支持横向扩展，具有分布、 并行、高效等特点，且面向服务的支持大数据工程全生命 周期活动的平台体系架构。如图 1 所示。
2
大数据平台涉及的关键技术
构建一个能够有效支撑大数据应用的平台，需要着重
考虑大数据平台体系架构、大数据建模与存储管理、大数 据分析处理以及大数据应用等几项关键技术。
2.1 大数据平台体系架构
图 1 大数据平台体系架构
https://www.wendangku.net/doc/7814696773.html, ? 491 ?

第 26 卷第 3 期 2014 年 3 月
系统仿真学报 Journal of System Simulation
Vol. 26 No. 3 Mar., 2014
大数据平台在逻辑上表现为一种层次架构，自上而下 包括应用层、门户层、服务层、感知/接入层和资源层。而 相关的标准、规范和安全机制贯穿所有层次。 应用层：面向工程、公共安全等领域大规模数据的业 务应用，支撑智能监控、事态预测、统计分析、分析模拟、 指挥决策等核心应用。 门户层： 为应用层提供“云模式”和“云+端模式”两种使 用方式。无论是行业应用人员还是行业平台管理人员，只 需通过本地即可登录平台门户，访问平台层中各系统，有 效检索管理平台中各系统的结构化以及非结构化数据，从 而有效支撑完成各行业应用。 服务层包含业务服务层和支撑服务层。 业务服务层：面向大数据的采集、建模、管理、分析、 挖掘和融合等全生命周期， 为上层业务应用提供相关服务。 支撑服务层：涵盖物联化中间件、虚拟化中间件、服 务化中间件、资源调度中间件以及分布式存储中间件 ( 如 Hadoop 等)，其中，资源调度中间件提供负载均衡、容错 调度在等支撑服务，对底层资源全面整合和全生命周期集 中管理，从而为各类行业应用提供资源支持。 感知/接入层：通过各类感知设备获取各类大数据信 息， 同时通过无线传感网络、 4G-LTE 等多种途径传递大数 据信息，并对这些大数据进行初步融合。 资源层：为大数据平台的运行基础支撑提供包括存储 服务器、计算服务器等高性能硬件资源，结构化和非结构 化的数据资源，以及平台资源和模型/服务资源等软件资源。
而从应用出发，着重抽取关联关系，进而将大数据进行抽 象，实现对大数据的建模。依据对大数据的分析，提出基 于大数据的统一描述框架的建模方法。 通过对大数据的分析，国内外研究表明，首先定义大 数据的三类关键信息：大数据基本信息、功能信息，以及 协同联动信息，以建立大数据体的元描述。而后在顶层大 数据中定义结构化数据基体、非结构化数据基体和大数据 体， 其中依据大数据的不同特征进行聚合形成大数据基体， 当前结构化数据和非结构化数据在存储、处理等方面存在 较大差异，故而本文在研究过程中将大数据基体分为结构 化数据基体和非结构化数据基体进行研究，对数据的研究 一般会按照一定条件如时间、特征等对数据进行划分，而 后进行分析应用。结构化数据基体和非结构化数据基体就 是本文中设定的最小粒度的具有分析和应用价值的数据集 合。大数据体由较小粒度的大数据体或大数据基体构成， 其通过协同联动信息组织起来，这里的协同联动信息可认 为是一类约束性信息。大数据体、结构化数据基体及非结 构化数据基体的实例化就成为大数据实例，大数据实例由 于粒度的大小又可成为功能模块大数据，专业领域大数据 等。 而后，利用大数据统一描述框架，对每一类异构大数 据利用统一描述框架进行抽取和处理就可以得到表达一致 的大数据，进而有效支持大数的统一存储、并行挖掘等。
2.2 大数据建模与存储管理技术
多源、分布和异构数据的整合和统一管理问题目前主 要有两方面：第一，通过大数据统一建模，支持异构多源 数据的管理问题；第二，应用一种新的同构存储机制支持 大数据的管理问题。 2.2.1 大数据建模技术 大数据是纷繁复杂的，要解决大数据的统一存储、管 理及高效分析处理就需要进行大数据的统一的组织和一致 性表达，解决多源、分布和异构数据整合和统一管理问题， 这样，研究大数据的统一建模就十分必要。当前对数据建 模的主要来源于计算机系统的观点，主要包括层次模型、 关系模型、网状模型和面向对象模型等。而在这些方法中， 利用基于本体的大数据描述方法进行数据建模，更适合用 于解决当前大数据管理中的困境。 要进行大数据统一建模，就需要对纷繁的大数据化繁 为简，从大数据特性出发，归纳总结其最小信息结构，进
图 2 大数据索引描述示意图
此外，例如面向多源整合的大数据可以应用索引和描 述技术来解决大数据的描述管理问题。首先，需要建立多 源数据的索引和描述，常规索引建立主要分为三个方面： 大数据分类索引构建，空间数据 R 树索引构建，层次索引 树建立。大数据具有多类别的特点，针对这一特征，建立 以类别为内容的分类索引，通过分类索引的综合查询到所
https://www.wendangku.net/doc/7814696773.html, ? 492 ?

第 26 卷第 3 期 2014 年 3 月
Vol. 26 No. 3
宫夏屹, 等: 大数据平台技术综述
Mar., 2014
需的专题数据。具体而言，如图 2，我们将采用存储索引 模型—层次索引树访问数据、R 树索引和分类索引共同构 成一个统一的接口，即构造了一个统一的访问接口与用户 交互，用户通过该接口对大数据进行访问，这样就能针对 多源大数据建立管理和关联。 2.2.2 大数据海量存储管理技术 “大数据”来袭时，传统的数据存储方式已不能满足要 求，需要开展分布式存储的研究，大数据分布式存储主要 考虑以下几个问题： 1) 存储资源管理方法 为了解决集群存储环境下的存储资源管理问题，采用 存储资源映射方法通过在物理存储资源和虚拟存储资源请 求之间建立合理的映射关系， 来进行有效的存储资源管理。 国内外相关研究提出合理的集群存储资源映射方法，将虚 拟存储资源请求均匀地分配到节点上，然后进行节点内部 设备级别的资源映射。 2) 支持多用户的资源使用和存储环境隔离机制 当用户数量增多，有限的存储资源已经不能满足用户 对该类资源的需求时，用户与资源的矛盾就会突显出来。 解决这种矛盾的最有效办法就是采取有效资源共享机制
[3][4]
储系统。通过隔离主机层与物理存储资源，存储虚拟化技 术可以将来自于不同存储设备(即使是不同厂商的设备)的 存储容量汇集到一个共享的逻辑资源池中，这样存储的管 理就更容易了。任何单体存储阵列所创建的物理卷的容量 都是有限制的，而多个异构的存储系统联合在一起就可以 创建出一个更大的逻辑卷。 3) 基于 Hadoop 的大数据存储机制 大数据的各类描述方式的多样性，存在着结构化数 据、半结构化数据和非结构化数据需要进行处理。对于结 构化数据，虽然现在出现了各种各样的数据库类型，但通 常的处理方式仍是采用关系型数据知识库进行处理；对于 半结构化和非结构化的知识， Hadoop 框架提供了很好的解 决方案。 Hadoop 分布式文件系统 HDFS 是建立在大型集群上 可靠存储大数据的文件系统[7]，是分布式计算的存储基石。 基于 HFDS 的 Hive 和 HBase 能够很好地支持大数据的存 储。具体来说，使用 Hive 可以通过类 SQL 语句快速实现 MapReduce 统计，十分适合数据仓库的统计分析。HBase 是分布式的基于列存储的非关系型数据库，它的查询效率 很高，主要用于查询和展示结果；Hive 是分布式的关系型 数据仓库，主要用来并行处理大量数据。将 Hive 与 HBase 进行整合，共同用于大数据的处理，可以减少开发过程， 提高开发效率。 使用 HBase 存储大数据， 使用 Hive 提供的 SQL 查询语言， 可以十分方便地实现大数据的存储和分析。 其原理如图 3 所示。
，将有限数量的资源按需动态共享给多个用户使用。此
外，在存储资源共享的同时，从用户角度看每个应用系统 是独立的，不依赖于其他应用系统运行而运行，也不受其 他应用系统和资源的运行结果影响，因此需要存储环境隔 离技术来屏蔽各个应用系统对存储资源运行的互相影响。 研究表明，利用存储虚拟化技术来整合不同厂商的存
图 3 基于 Hadoop 的大数据存储机制
https://www.wendangku.net/doc/7814696773.html, ? 493 ?

第 26 卷第 3 期 2014 年 3 月
系统仿真学报 Journal of System Simulation
Vol. 26 No. 3 Mar., 2014
2.3 大数据分析处理技术
大数据分析处理技术已在各行业数据分析处理方面 得到成功应用，针对大数据的特征，需要对现有数据挖掘 技术进一步改进和完善，国内外在大数据分析处理技术主 要包含以下两方面技术研究。 1) 大数据分布并行技术 目前，国内外在领域应用中基于分布并行的特征提 取、视频摘要加速技术效率较低，非常耗费时间。例如， 要进行特征提取、视频摘要的高效快速处理，采用并行处 理进行加速可以提高效率。 采用 CUDA 架构实现特征提取、 视频摘要的高速处理。CUDA 提供了一个非常强大方便的 GPU 处理平台，被广泛应用于科学计算、图形图像等众多 领域，并且在很多应用中获得了最低几倍、最高上百倍的 加速比。 2) 云计算环境下的并行数据挖掘算法与策略 针对大规模海量数据，需研究采用云计算环境下的并 行数据挖掘算法与策略。 算法和策略模型为并行数据挖掘的核心环节，将对现 有应用较多的聚类算法、分类算法、关联规则算法等方法 基于 MapReduce 计算模型进行改进，主要从数据集的扫描 及分解和归约等方面开展并行性的改进研究，并结合具体 应 用 比 较 不 同 方 法 的 性 能 及 适 用 的 数 据 类 型 [10][12][13]
[14][16]
MapReduce 可将并行编程中复杂的业务逻辑中进行 抽象化，将简单的计算作为接口展现在前面，而对复杂的 并行化处理、容错、数据分布和负载平衡均进行了隐藏。 MapReduce 主要是 Map 和 Reduce 两个操作上的概念。 Map 操作主要是对一组输入记录进行处理，处理的方式是根据 典型的 key/value 键值的方式。Reduce 操作是针对上述键 值进行简单的汇总处理。通过这种简洁的方式，将现实生 活中的很多任务都能够描述出来。用这种方式编写的程序 能够自动分布到一个由普通机器组成的超大机群上并发执 行。系统会解决输入数据的分布细节，跨越机器集群的程 序执行调度，处理机器的失效，并且管理机器之间的通信 请求。这样的模式允许程序员可以不需要有什么并发处理 或者分布式系统的经验，就可以处理超大的分布式系统的 资源。如图 4，研究发现，例如，针对公安大数据的一个 并发程序模型可以清晰地看到整个算法的执行流程：
2.4 大数据应用技术
为了更好地应用大数据平台来支撑基于大数据的领 域应用，就需要解决好大数据平台应用模式的问题，以实 现如何“用好”大数据，需要解决好大数据处理应用标准规 范的问题，让大数据的应用有规可循，全面体现“数据即服 务”。
。
图 4 基于 MapReduce 的并行挖掘策略
https://www.wendangku.net/doc/7814696773.html, ? 494 ?

第 26 卷第 3 期 2014 年 3 月
Vol. 26 No. 3
宫夏屹, 等: 大数据平台技术综述 2.4.2 大数据处理应用标准规范
Mar., 2014
2.4.1 大数据平台应用模式 如何对领域大数据进行分析处理，就需要解决大数据 平台的应用模式问题。 初步考虑将各种多源、分布和异构的数据资源接入大 数据平台，通过分布式存储和并行数据挖掘，提供在线实 时监控模式和离线统计分析模式两种应用模式，对各类领 域大数据全方位地进行实时和离线分析处理。 如图 5 所示。
“标准先行”已成为当前各行业数据应用的共识，有了 标准数据才能共享， 才能支撑大数据处理平台应用的开展。 本文从技术标准体系及应用标准体系两个方面研究 大数据的相关标准规范， 包含各类大数据资源的接入标准， 大数据处理平台的各类接口标准，各类大数据处理服务的 标准等，此外还包括大数据的应用标准，如对接相关行业 标准，各类平台应用的安全标准等。大数据处理应用标准 体系如图 6 所示。
3
结论与展望
3.1 结论
1) 大数据的研究应用已逐步成为一项数据工程， 研究 跨领域、跨平台的大数据的应用急需一个新的平台来支撑 全生命周期内大数据采集、存储、管理和分析处理等活动。 另外，需要在支撑大数据平台的分析工具和开发环境上进 行创新，面向行业的大数据平台才具有生命力。 2) 当前跨领域、跨行业的数据共享仍存在大量壁垒
[8][19][21][22][23]
，是后续大数据平台的一个重要发展方向之
图 5 大数据平台应用模式
一。
图 6 大数据处理标准体系
3) 如何优化大数据平台的分析处理过程， 更快、 更绿 色地实现大数据的分析应用，支持各种先进处理分析方法 和理念的智能化和快速融入， 是需要着重发展的方向之一。 4) 大数据平台具有很强的开放性和包容性，支持“数 据即服务”的应用模式。
以“大情报”应用为牵引，提出面向海量信息资源、空间 信息、图像资源以及广泛采集的数据进行深度整合和应用的 手段。围绕专项业务领域，构建有层次全方位的视频信息化 应用平台，实现公安内部跨警种的匹配信息、检索信息、预 测信息共享及协同应用。能够与 PGIS 结合，形成视频的 VGIS，提供海量视频实时快速检索、视频智能关联检索、视 频时空分析研判、目标运动轨迹的动态标绘和预测等功能[3]。 初步实现基于公安大数据的事前防范、事后处理为一 体的综合应用体系，结合智能视频分析处理功能提高公安 机关的业务智能，包括：特征提取、人车分离、特征比对、 内容检索等功能，提高业务人员的工作效率；为案件流程
3.2 应用展望
本文提出的大数据平台能够面向多领域应用，能够在 电子商务、公共安全、电信、仿真等领域发挥巨大作用， 具体而言，面向公安、智能交通领域构建领域大数据平台， 将承载以下应用： 1) 视频数据智能分析
https://www.wendangku.net/doc/7814696773.html, ? 495 ?

第 26 卷第 3 期 2014 年 3 月
系统仿真学报 Journal of System Simulation
江苏大学, 2010. [6] [7] [8] [9] [10]
Vol. 26 No. 3 Mar., 2014
管理、物证分析等提供有效手段，从日常事件管理到立案、 侦查取证、分析案件、确定侦查方向、制定侦查方案、认 定犯罪嫌疑人、破案，对这一系列业务流程及业务中所产 生的相关物证、信息进行管理。 2) 智能交通应用 通过对智能交通系统中产生的海量视频数据、图像数 据进行分析处理，监控分析重点车辆轨迹和现场态势，当 出现异常活动时，能够及时做出异常行为判断，做到对重 要厂所的重点监控。此外通过对视频、图像等大数据的深 度挖掘分析，能够给智能交通诱导及智能交通控制提供更 为精确的数据分析支持，从而有效减少路面拥堵，使人们 的出行更加便利快捷[4]。 3) 公安大数据仿真应用 大数据的出现提供了更为高效的研究模式和手段，将 革新现有仿真的思维方式和科研模式，要建立从公安大数 据获取知识的理念；革新现有的建模方法学，从传统的建 模方法拓展到基于公安大数据的建模方法；革新现有的公 安仿真支撑技术系统、仿真系统和仿真应用工程技术等。 此外，公安大数据的智能化应用是公安业务体系仿真的根 本，包括大数据的采集、整理、分析、评估和应用。最后， 推进仿真工程研究，应主要加强公安数据的存储和认知分 析等技术的协同应用，重点加强公安业务数据挖掘和预测 分析应用。 此外，为进一步拓展大数据平台应用宽度和广度，未 来还将从以下方面拓展领域大数据处理平台应用： 1) 加强大数据异构信息融合技术的研究， 通过对平台 管理的大数据信息资源进行补充、完善与整合，为领域业 务应用提供更为全面的信息支撑。 2) 随着 web 数据、PGIS 等数据逐步纳入大数据处理 中，将进一步扩展大数据平台的应用范围。
[19] [18] [16] [17] [14] [15] [12] [13] [11]
朱珠. 基于 Hadoop 的海量数据处理模型研究与应用[D]. 北京: 北京邮电大学, 2008. 李国杰 . 大数据的研究现状与科学思考 [J]. 中国科学院院刊 , 2013, 4(04): 李国杰. 大数据研究的科学价值 [J]. 2012, (09). Chris Anderson. The End of Theory: The Data Deluge Makes the Scientific Method Obsolete[J], 2008, (07) Panda B, Herbach J S, Basu S, Bayardo R J. PLANET: Massively parallel learning of tree ensembles with MapReduce, （S0087-459X） ,2009, 3(02) Wang HJ, Qin XP, Zhang YS, Wang S, Wang ZW. LinearDB: A relational approach to make data warehouse scale like MapReduce [J]. TOG (S0730-0301), 2012, 31(6) Bu Y Y, Howe B, Balazinska M. Ernst MD HaLoop: Efficient iterative data processing on large clusters [J]. (S0926-5807), 2010, (1-2) Chatziantoniou D, Tzortzakakis E. ASSET queries: A declarative alternative to MapReduce 2009(02) [J]. (S1539-3755), 2010, (1-2). James Manyika, Michael Chui. Big data: The next frontier for innovation [J]. Competition, and productivity(S1077-2626), 2011, 18(8): 王珊, 王会举, 覃雄派, 等. 架构大数据：挑战、现状和展望[J]. 计算机学报, 2011, 34(10): 1741-1752. 覃 雄 派 , 王 会 举 , 杜 小 勇 , 等 . 大 数 据 分 析 —RDBMS 与 MapReduce 的竞争与共生[J]. 软件学报, 2012, 23(1): 32-45. 樊伟红, 李晨晖, 张兴旺. 图书馆需要怎样的大数据？[J]. 图书 馆杂志, 2012, 5(11): 63-68, 77. Hsinchun Chen, Roger H L Chiang, Veda C Storey. Business intelligence and analytics: From big data to big impact [J]. MIS Quarterly (S0167-8655), 2012, 36(11): 1-24. Benjamin H Brinkmann, Mark R Bower, Keith A Stengel, et al. Large-scale electrophysiology: Acquisition, compression, encryption, and storage of big data [J]. Journal of Neuroscience Methods (S0734-189X), 2009, 180(1): 185-192. Ann Cavoukian, Jeff Jonas. Privacy by design in the age of bigdata [EB/OL]. (2011-11-06) [2012-11-15]. http://privacybydesign.ca/content/uploads/2012/06/pbd-big-data.pdf
参考文献:
[1] 维克托·迈尔-舍恩伯格, 肯尼思·库克耶. 大数据时代: 生活、工 作与思维的大变革[M]. 盛杨燕, 周涛. 译. 杭州: 浙江人民出版 社, 2012, 12. [2] [3] [4] [5] 万至臻. 基于 MapReduce 模型的并行计算平台的设计与实现[D]. 杭州: 浙江大学, 2008. 戴炳荣 , 宋俊典 . 云计算环境下海量分布式数据处理协调机制 的研究[M]. 上海: 上海计算机软件技术开发中心, 2013, (01). 李存华, 孙志辉. GridOF: 面向大规模数据集的高效离群点检测 算法[J]. 计算机研究与发展, 2013, 09(11) 周亮 . 基于粗糙集的大数据集挖掘算法研究与实现 [D]. 镇江 :
[20] [21]
张兴旺, 李晨晖, 麦范金, 等. 挑战与创新: 重新审视云图书馆 构建的技术走向[J]. 情报资料工作, 2012, 8(4): 37-41. The White House. Obama administration unveils "bigdata" initiative: Announces 200 million new R & D investments [EB/OL]. (2011-07-23) ta-press-release.pdf. [2012-11-04]. https://www.wendangku.net/doc/7814696773.html,/sites/default/files/microsites/ostp/big-da
[22]
The White House. Big data across the federal government [R/OL]. (2011-09-15) ta-fact-sheet-final.pdf. [2012-11-05]. https://www.wendangku.net/doc/7814696773.html,/sites/default/files/microsites/ostp/big-da
https://www.wendangku.net/doc/7814696773.html, ? 496 ?