大数据治理系列精选文档

大数据治理系列精选文

档

TTMS system office room 【TTMS16H-TTMS2A-TTMS8Q8-

大数据治理——为业务提供持续的、可度量的价值目录

概述

面对我们身边每时每刻迅速增长的庞大数据，因为其数量大、速度快、种类多和准确性的特征，如何更好地利用大数据创造出有意义的价值，一直是我们探索的重要话题。而在这之前，就需要用科学正确的方法策略对大数据进行治理。大数据治理是指制定与大数据有关的数据优化、隐私保护与数据变现的政策，是传统信息治理的延续和扩展，也是大数据分析的基础，还是连接大数据科学和应用的桥梁，因此大数据治理是大数据再创高峰的“必修课”。下面我们将与您分享新鲜出炉的大数据治理方案。

大数据治理系列

本系列共分为七个部分，围绕大数据治理统一流程参考模型，并结合实际业务问题和IBM相应的产品解决方案展开叙述。

为了更好地帮助企业进行大数据治理，笔者在IBM数据治理统一流程模型基础上结合在电信、金融、政府等行业进行大数据治理的经验，整理出了大数据治理统一流程参考模型。本文主要介绍了大数据治理的基本概念，以及结合图文并茂的方式讲解了大数据治理统一流程参考模型的前两步：“明确元数据管理策略”和“元数据集成体系结构”内容。

大数据治理概述

（狭义）大数据是指无法使用传统流程或工具在合理的时间和成本内处理或分析的信息，这些信息将用来帮助企业更智慧地经营和决策。而广义的大数据更是指企业需要处理的海量数据，包括传统数据以及狭义的大数据。（广义）大数据可以分为五个类型：Web和社交媒体数据、机器对机器（M2M）数据、海量交易数据、生物计量学数据和人工生成的数据。

●Web和社交媒体数据：比如各种微博、博客、社交网站、购物网站中的数

据和内容。

●M2M数据：也就是机器对机器的数据，比如RFID数据、GPS数据、智能仪

表、监控记录数据以及其他各种传感器、监控器的数据。

●海量交易数据：是各种海量的交易记录以及交易相关的半结构化和非结构

化数据，比如电信行业的CDR、3G上网记录等，金融行业的网上交易记

录、corebanking记录、理财记录等，保险行业的各种理赔等。

●生物计量学数据：是指和人体识别相关的生物识别信息，如指纹、DNA、虹

膜、视网膜、人脸、声音模式、笔迹等。

●人工生成的数据：比如各种调查问卷、电子邮件、纸质文件、扫描件、录

音和电子病历等。

在各行各业中，随处可见因数量、速度、种类和准确性结合带来的大数据问题，为了更好地利用大数据，大数据治理逐渐提上日程。在传统系统中，数据需要先存储到关系型数据库/数据仓库后再进行各种查询和分析，这些数据我们称之为静态数据。而在大数据时代，除了静态数据以外，还有很多数据对实时性要求非常高，需要在采集数据时就进行相应的处理，处理结果存入到关系型数据库/数据仓库、MPP数据库、Hadoop平台、各种NoSQL数据库等，这些数据我们称之为动态数据。比如高铁机车的关键零部件上装有成百上千的传感器，每时每刻都在生成设备状态信息，企业需要实时收集这些数据并进行分析，当发现设备可能出现问题时及时告警。再比如在电信行业，基于用户通信行为的精准营销、位置营销等，都会实时的采集用户数据并根据业务模型进行相应的营销活动。

大数据治理的核心是为业务提供持续的、可度量的价值。大数据治理人员需要定期与企业高层管理人员进行沟通，保证大数据治理计划可以持续获得支持和帮助。相信随着时间的推移，大数据将成为主流，企业可以从海量的数据中获得更多的价值，而大数据治理的范围和严格程度也将逐步上升。为了更好地帮助企业进行大数据治理，笔者在IBM数据治理统一流程模型基础上结合在电信、金融、政府等行业进行大数据治理的经验，整理了大数据治理统一流程参考模型，整个参考模型分为必选步骤和可选步骤两部分。

大数据治理统一流程参考模型

如图1所示，大数据治理统一流程参考模型必要步骤分为两个方向：一条子线是在制定元数据管理策略和确立体系结构的基础上实施全面的元数据管理，另一条子线是在定义业务问题、执行成熟度评估的基础上定义数据治理路线图以及定义数值治理相关的度量值。在11个必要步骤的基础上，企业可以在7个可选步骤中选择一个或多个途径进行特定领域的数据治理，可选步骤为：主数据监管、（狭义）大数据监管、信息单一视图监管、运营分析监管、预测分析监管、管理安全与隐私以及监管信息生命周期。企业需要定期对大数据治理统一流程进行度量并将结果发送给主管级发起人。

图1大数据治理统一流程参考模型

第一步：明确元数据管理策略

在最开始的时候，元数据（MetaData）是指描述数据的数据，通常由信息结构的描述组成，随着技术的发展元数据内涵有了非常大的扩展，比如UML 模型、数据交易规则、用Java，.NET，C++等编写的APIs、业务流程和工作流模型、产品配置描述和调优参数以及各种业务规则、术语和定义等[1]。在大数据时代，元数据还应该包括对各种新数据类型的描述，如对位置、名字、用户点击次数、音频、视频、图片、各种无线感知设备数据和各种监控设备数据等的描述等。元数据通常分为业务元数据、技术元数据和操作元数据等。业务元数据主要包括业务规则、定义、术语、术语表、运算法则和系统使用业务语言等，主要使用者是业务用户。技术元数据主要用来定义信息供应链（Information Supply Chain，ISC）各类组成部分元数据结构，具体包括各个系统表和字段结构、属性、出处、依赖性等，以及存储过程、函数、序列等各种对象。操作元数据是指应用程序运行信息，比如其频率、记录数以及各个组件的分析和其它统计信息等。

从整个企业层面来说，各种工具软件和应用程序越来越复杂，相互依存度逐年增加，相应的追踪整个信息供应链各组件之间数据流动、了解数据元素含义和上下文的需求越来越强烈。在从应用议程往信息议程的转变过程中，元数据管理也逐渐从局部存储和管理转向共享。从总量上来看，整个企业的元数据

越来越多，光现有的数据模型中就包含了成千上万的表，同时还有更多的模型等着上线，同时随着大数据时代的来临，企业需要处理的数据类型越来越多。为了企业更高效地运转，企业需要明确元数据管理策略和元数据集成体系结构，依托成熟的方法论和工具实现元数据管理，并有步骤的提升其元数据管理成熟度。

为了实现大数据治理，构建智慧的分析洞察，企业需要实现贯穿整个企业的元数据集成，建立完整且一致的元数据管理策略，该策略不仅仅针对某个数据仓库项目、业务分析项目、某个大数据项目或某个应用单独制定一个管理策略，而是针对整个企业构建完整的管理策略。元数据管理策略也不是技术标准或某个软件工具可以取代的，无论软件工具功能多强大都不能完全替代一个完整一致的元数据管理策略，反而在定义元数据集成体系结构以及选购元数据管理工具之前需要定义元数据管理策略。

元数据管理策略需要明确企业元数据管理的愿景、目标、需求、约束和策略等，依据企业自身当前以及未来的需要确定要实现的元数据管理成熟度以及实现目标成熟度的路线图，完成基础本体、领域本体、任务本体和应用本体的构建，确定元数据管理的安全策略、版本控制、元数据订阅推送等。企业需要对业务术语、技术术语中的敏感数据进行标记和分类，制定相应的数据隐私保护政策，确保企业在隐私保护方面符合当地隐私方面的法律法规，如果企业有跨国数据交换、元数据交换的需求，也要遵循涉及国家的法律法规要求。企业需要保证每个元数据元素在信息供应链中每个组件中语义上保持一致，也就是语义等效（semantic equivalence）。语义等效可以强也可以弱，在一个元数据集成方案中，语义等效（平均）越强则整个方案的效率越高。语义等效的强弱程度直接影响元数据的共享和重用。

本体（人工智能和计算机科学）

本体（Ontology）源自哲学本体论，而哲学本体论则是源自哲学中“形而上学”分支。本体有时也被翻译成本体论，在人工智能和计算机科学领域本体最早源于上世纪70年代中期，随着人工智能的发展人们发现知识的获取是构建强大人工智能系统的关键，于是开始将新的本体创建为计算机模型从而实现特定类型的自动化推理。之后到了上世纪80年代，人工智能领域开始使用本体表示模型化时间的一种理论以及知识系统的一种组件，认为本体（人工智能）是一种应用哲学。

最早的本体（人工智能和计算机科学）定义是Neches等人在1991给出的：“一个本体定义了组成主题领域的词汇的基本术语和关系，以及用于组合术语和关系以及定义词汇外延的规则”。而第一次被业界广泛接受的本体定义出自Tom Gruber，其在1993年提出：“本体是概念化的显式的表示（规格说明）”。Borst 在1997年对Tom Gruber的本体定义做了进一步的扩展，认为：“本体是共享的、概念化的一个形式的规范说明”。在前人的基础上，Stude在1998年进一步扩展了本体的定义，这也是今天被广泛接受的一个定义：“本体是共享概念模型的明确形式化规范说明”。本体提供一个共享词汇表，可以用来对一个领域建模，具体包括那些存在的对象或概念的类型、以及他们的属性和关系[2]。一个简单的本体示例发票概念及其相互关系所构成的语义网络如图2所示：

图2简单本体（发票）示例

随着时间的推移和技术的发展，本体从最开始的人工智能领域逐渐扩展到图书馆学、情报学、软件工程、信息架构、生物医学和信息学等越来越多的学科。与哲学本体论类似，本体（人工智能和计算机科学）依赖某种类别体系来表达实体、概念、事件及其属性和关系。本体的核心是知识共享和重用，通过减少特定领域内概念或术语上的分歧，使不同的用户之间可以顺畅的沟通和交流并保持语义等效性，同时让不同的工具软件和应用系统之间实现互操作。

根据研究层次可以将本体的种类划分为“顶级本体”（top-level ontology）、应用本体（application ontology）、领域本体（domain ontology）和任务本体（task ontology），各个种类之间的层次关系如图3所示。

图3本体层次关系

顶级本体，也被称为上层本体（upper ontology）或基础本体（foundation ontology），是指独立于具体的问题或领域，在所有领域都适用的共同对

象或概念所构成的模型，主要用来描述高级别且通用的概念以及概念之

间的关系。

●领域本体是指对某个特定的领域建模，显式的实现对领域的定义，确定

该领域内共同认可的词汇、词汇业务含义和对应的信息资产等，提供对

该领域知识的共同理解。领域本体所表达的是适合自己领域的术语的特

定含义，缺乏兼容性，因而在其他领域往往不适用。在同一领域内，由

于文化背景、语言差异、受教育程度或意识形态的差异，也可能会出现

不同的本体。很多时候，随着依赖领域本体系统的扩展，需要将不同的

领域本体合并为更通用的规范说明，对并非基于同一顶级本体所构建的

本体进行合并是一项非常具有挑战的任务，很多时候需要靠手工来完

成，相反，对那些基于同一顶级本体构建的领域本体可以实现自动化的

合并。

●任务本体是针对任务元素及其之间关系的规范说明或详细说明，用来解

释任务存在的条件以及可以被用在哪些领域或环境中。是一个通用术语

的集合用来描述关于任务的定义和概念等。

●应用本体：描述依赖于特定领域和任务的概念及概念之间的关系，是用

于特定应用或用途的本体，其范畴可以通过可测试的用例来指定。

从详细程度上来分，本体又可以分为参考本体（reference ontologies）和共享本体（share ontologies），参考本体的详细程度高，而共享本体的详细程度低。

本体（哲学）

哲学中的本体（ontology）也被称为存在论，源自哲学中“形而上学”分支，主要探讨存在的本质，也就是存在的存在。英文ontology实际上就是来源于希

腊文“ον”（存在）和“λ?γο?”（学科）的组合。本体是由早期希腊哲学在公元前6世纪到公元前4世纪提出的“始基”延伸出来的。始基（Principle，又称本原）最早由泰勒斯（米利都学派）最早提出来，认为万物由水而生，其学生阿那克西曼德认为万物由一种简单的原质组成，该原质不是水[3]。而毕达哥拉斯（学派）认为“万物都是数”，数不仅被看作万物的本原，而且被看作万物的原型、世界的本体。后来巴门尼德（爱利亚学派）提出了“存在”的概念，认为存在才是唯一真正存在的真理，其创造了一种形而上学论证方式，之后的哲学一直到近时期为止，都从巴门尼德处接受了其“实体的不可毁灭性”。苏格拉底继承了巴门尼德的存在概念，主张“真正的善”并完善了巴门尼德弟子芝诺的辩证法，其学生柏拉图提出了“理念论”，认为只要若干个个体拥有一个共同的名字，它们就有一个共同的理念或形式。亚里士多德（柏拉图学生）总结了先哲们的思想，完成了《形而上学》，并将本体总结为：对世界上客观存在事物的系统的描述，即存在论，也就是最形而上学的知识。形而上学不是指孤立、静止之类的意思，而是指超越具体形态的抽象意思，是关于物质世界最普遍的、最一般的、最不具体的规律的学问。

第二步：元数据集成体系结构

在明确了元数据管理策略后需要确定实现该管理策略所需的技术体系结构，即元数据集成体系结构。各个企业的元数据管理策略和元数据管理成熟度差别较大，因此元数据集成体系结构也多种多样。大体上元数据集成体系结构可以分为点对点的元数据集成体系结构、中央辐射式元数据体系结构、基于CWM（Common Warehouse Meta Model，公共仓库元模型）模型驱动的点对点元数据集成体系结构、基于CWM模型驱动的中央存储库元数据集成体系结构、分布式（联邦式）元数据集成体系结构和层次/星型元数据集成体系结构等。

针对信息供应链中不同的组件，为了实现跨组件的元数据交换和集成，最开始人们采用点对点的方式进行，也就是每一对组件之间通过一个独立的元数据桥（metadata bridge）进行元数据交换，桥一般是双向的能够理解两个方向的元数据映射[4]。点对点的元数据集成体系结构帮助用户实现了跨企业的元数据集成和元数据交换，对提升信息化水平提供了巨大帮助。这种体系结构在应用过程中，也暴露了很多问题，比如元数据桥的构建工作量和耗时都非常大，对中间件厂商、应用厂商、集成商和用户来说都是一个巨大的挑战，而且构建元数据桥还必须具有所有者的元数据模型和接口的详细信息。构建完成的桥很多时候无法在构建其他元数据桥时进行重用，因此开发和维护费用大幅度增加，用户投资回报率（ROI）不高。以动态数据仓库为例，其点对点的元数据集成体系结构具体如图4所示，信息供应链各组件之间的空心箭头表示全部的数据流，实心箭头表示不同的元数据桥和与之关联的元数据流。

图4点对点的元数据集成体系结构

通过使用中央元数据存储库（central metadata repository）取代各个工具软件和应用程序之间的点对点连接方式，改成中央元数据存储库与各个工具软件和应用程序实现元数据交换的访问层（也是一种桥），可以有效降低总成本，减少建立点对点元数据桥的工作，提高投资回报率。信息供应链各组件可以从存储库访问元数据，不必与其他产品进行点对点交互。这种使用中央元数据存储库方式进行元数据集成的方式就是中央辐射式元数据体系结构（hub-and-spoke metadata architecture），具体如图5所示。由于特定的元数据存储库是围

绕其自身的元模型、接口和交付服务建立的，所以仍需要建立元数据桥实现与ISC各组件的互相访问。

图5中央辐射式元数据体系结构

采用模型驱动的元数据集成方法（比如使用CWM）可以有效降低元数据集成的成本和复杂度，无论点对点元数据集成体系结构还是中央辐射式元数据集成体系结构都可以因此受益。在点对点体系结构中，通过使用基于模型的方法可以不必在每一对需要集成的产品之间构建元数据桥，每个产品只需要提供一个适配器（adapter）即可实现各个产品之间的元数据交换，适配器既了解公共的元模型也了解本产品元模型的内部实现。如图6所示，基于CWM模型驱动点对点元数据集成体系结构使用通用元模型，不再需要在各个产品间建立元数据桥，在各个产品之间通过适配器实现了语义等价性。

图6基于CWM模型驱动的点对点元数据集成体系结构

如图7所示，在基于模型驱动（比如CWM）的中央辐射式元数据体系结构中，中央存储库包含公共元模型和整个领域（domain）用到的该元模型的各个实例（模型）、存储库自身元模型及其实例、理解元模型（公共元模型和自身元模型）的适配器层，当然存储库也可以直接实现公共元模型的某些内部表示。

图7基于CWM模型驱动的中央存储库元数据集成体系结构如图8所示，这种体系架构是基于CWM模型驱动的中央存储库元数据集成体系结构的一个变种，两个中央辐射式的拓扑结构通过各自的元数据存储库连接起来，也被称为分布式（Distributed）或联邦（Federated）体系结构。两个元数据存储库之间通过元数据桥连接，两个存储库使用相同的元模型和接口，也可以使用不同的元模型和接口。建立分布式元数据集成体系结构的原因有很多种，比如企业基于多个区域单独部署自己的应用，每个区域有自己的数据中心。

图8分布式（联邦式）元数据集成体系结构如图9所示，这种体系结构是分布式体系结构的变体，根存储库实现了元模型的公共部分（横跨整个企业），叶子存储库实现了一个或多个特定的公共元模型子集，并只保存这些自己所对应的元数据实例。特定客户可以主要访问其感兴趣的元数据所在的叶子存储库，也可以访问其它叶子存储库和根存储库。这种体系结构被称为层次或星型拓扑结构。

图9层次或星型元数据集成体系结构

结束语

本文详细介绍了大数据治理的基本概念和统一流程参考模型，并阐述了该模型的第一步“明确元数据管理策略”和第二步“元数据集成体系结构”等内容。在第一步“明确元数据管理策略”中讲述了元数据的基本概念以及本体在人工智能/计算机科学和哲学中的含义。在第二步“元数据集成体系结构”讲述了元数据集成体系结构的六种示例，分别为：点对点的元数据集成体系结构、中央辐射式元数据体系结构、基于CWM模型驱动的点对点元数据集成体系结构、基于CWM模型驱动的中央存储库元数据集成体系结构、分布式（联邦式）元数据集成体系结构和层次/星型元数据集成体系结构。在本系列文章的将继续介绍大数据治理统一流程参考模型第二步“元数据集成体系结构”，具体包括元模型、元-元模型、公共仓库元模型（CWM）、CWM发展史、OMG的模型驱动体系结构（ModelDrivenArchitecture，MDA）。

参考文献

[1]David Frankel Consulting,”Using Mode lDriven Architecture?to Manage

Metadata”,P3;

[2]Fredrik Arvidssonand Annika Flycht-Eriksson,2008,OntologiesI,”Anontology

provide a share dvocabulary,which can be used to modela domain,that is,the type of objects and/or concepts that exist,and their properties and relations”;

[3]更多内容请参考:[专着]/(英)伯特兰.罗素/着孙绍武/主编<<西方哲学史>>;

[4]John Poole,Dan Chang,Douglas Tolbertand David Mellor,2002,Common

Warehouse Metamodel,p18-32,p180-202;

[5]本系列文章参考了Sunil Soares编写的《The IBM Data Governance Unified

Process》和《Big data Governance》书中内容?

在明确了元数据管理策略后需要确定实现该管理策略所需的技术体系结构，即元数据集成体系结构。元数据集成体系结构涉及到多个概念，如元模型、元-元模型、公共仓库元模型（CWM）等，本部分将继续介绍大数据治理统一流程参考模型第二步“元数据集成体系结构”的相关内容。

在本系列的第一篇文章中，我们主要介绍了大数据治理的基本概念和统一流程参考模型，并阐述了该模型的第一步“明确元数据管理策略”和第二步“元数据集成体系结构”的六种示例等内容。大数据治理统一流程参考模型的第二步是“元数据集成体系结构”，具体包括元模型、元-元模型、公共仓库元模型（CWM）、CWM发展史、OMG的模型驱动体系结构（Model Driven Architecture，MDA）本文将对元数据集成体系结构包含的各种模型展开叙述。

大数据治理统一流程参考模型，第二步：元数据集成体系结构

元模型（Meta mod el）

模型（Model）是用来描述特定的系统、过程、事物或概念的准确而抽象的表示。例如软件架构师可以用概要设计的形式建立一个应用系统的模型。本质上来说，元数据是数据的形式化模型，是数据的抽象描述，该描述准确地描述了数据。元模型（Meta model）也就是模型的模型（或者元-元数据），是用来描述元数据的模型。

下面基于关系型表实体-关系（ER）模型举例说明什么是元模型。如图1所示，一个简单的关系型表元模型描述了如何定义一个关系型表，规定了每个表必须有一个名字（字符串），一个表可以有1到多个列，每个列必须有一个名字（字符串）和数据类型（字符串）：

图1简单关系型表元模型

如果要创建一个关系型表模型，基于该表元模型创建一个实例即可，比如创建一个常见的雇员表Employees表模型，具体如图2所示，Employees表包含6个列，分别是编号、姓、名字、部门编号、经理编号和职位编号。

图2Employees表实例

比如在DB2中创建employees表，可以很容易的从employees表模型中得到相应的DDL语句，执行DDL语句时DB2会生成描述employees表的内部元数据并存储在目录（DB2内部的元数据存储库）中。

清单1 在DB2中创建employees表示例

Create table employees (

Id integer not null，

First_name String not null，

Last_name String not null，

Depart_ID Integer not null，

Manager_ID Integer not null，

Job_ID Integer not null

)

同样基于图1简单关系型表元模型创建另一个实例department表模型。department表包含2个列，分别是编号和部门名称，具体如图3所示。由于department表模型和employees表模型都是基于相同的公共元模型，其它工具和应用程序软件（了解关系型表的公共元模型）可以很容易理解department表和employees表，因为它们都是同一个元模型的实例。其它工具或应用程序通过调用导入映射（import mapping）将该department表模型或employees表模型翻译成自己内部的元数据实例。同样，也可以将该软件内部元数据翻译成一个与平台无关的形式化模型，也就是导出映射（export mapping），以便其他软件使用其专有的元数据。这种基于公共元模型的集成方法就是模型驱动的元数据集成体系结构[1]。

图3 department表实例

元-元模型（Meta-meta mod el）

元-元模型就是元模型的模型，有时也被称为本体（ontology），是模型驱动的元数据集成体系结构的基础，其定义了描述元模型的语言，规定元模型必须依照一定的形式化规则来建立，以便所有的软件工具都能够对其进行理解。

元-元模型比元模型具有更高的抽象级别，一个元模型是一个元-元模型的实例，元模型比元-元模型更加精细，而元-元模型比元模型更加抽象。元数据（模型）则是一个元模型的实例，遵守元模型的规定和约束。用户对象（或用户数据）则是元数据（或者称为模型）的实例。元数据层次结构具体如表1所示，共分为4层，最高层L3是元-元模型，之下是L2元模型和L1模型/元数据，最底层是L0用户对象/用户数据：

公共仓库元模型（CWM）概述

公共仓库元模型（Common Warehouse MetaModel，CWM）是被对象管理组织OMG（Object Management Group）采纳的数据仓库和业务分析领域元数据交换开放式行业标准，在数据仓库和业务分析领域为元数据定义公共的元模型和基于XML的元数据交换（XMI）。CWM作为一个标准的接口，可以帮助分

布式、异构环境中的数据仓库工具，数据仓库平台和数据仓库元数据存储库之间轻松实现数据仓库和业务分析元数据交换。CWM提供一个框架为数据源、数据目标、转换、分析、流程和操作等创建和管理元数据，并提供元数据使用的世系信息[2]。

CWM是一个基于模型驱动方法的完整地描述数据仓库和业务分析领域的元模型，提供构建元数据所需的语法和语义，由若干个不相同又紧密相关的子元模型组成。CWM模型的目的是最大限度的重用对象模型（Object Model，UML的一个子集），并在可能的地方共享通用模型结构。如图4所示，CWM 元模型使用包（package）和层次来简化管理的复杂度并便于理解，共包含21个单独的包，这些包被分为5个层次。对象模型层包含定义基本元模型的概念、关系和约束的包，其它CWM包都需要用到这些定义，对象模型层的包构成了其它CWM包所需要的基本元模型服务的全部集合。对象模型层主要包括核心包（Core package）、行为包（Behavioral package）、关系包（Relationships package）和实例包（Instance package）。

●数据源层（Data Resources）：主要描述CWM元数据交换中既可作为源又

可以作为目标的数据源的结构，本层含有的元模型主要描述面向对象的数据库和应用、关系型数据库、面向记录的数据源（如文件、记录数据库管理系统等）、多维数据库和XML数据源等。对于面向对象数据源，CWM一般情况下重用基本的对象模型（位于对象模型层），如果该数据源具有对象模型层无法处理的一些特征和功能时，可以通过定义一个扩展包来解决。

●数据分析层（Data Analysis）：本层含有的元模型主要描述数据转换、在线

分析处理OLAP、数据挖掘、信息可视化和业务术语等。

●仓库管理层（Warehouse Management）：本层含有的元模型主要描述数据

仓库处理和数据仓库操作。

图4 元模型

是在2003年3月发布的，与之相关的OMG组织规范还有、和。CWM使用统一建模语言（UML）定义公共元数据的模型（CWM元模型），使用可扩展标记语言（XML）生成CWM元数据交换规范（也就是XML元数据交换，XMI），使用CORBA接口定义语言（IDL）为访问CWM元数据生成编程语言API的规范（依赖MOF到IDL的映射）。

UML是一种规范化、可视化、描述明确、结构化和文档化的定义分布式对象系统的图形化语言。1996年，业内三种最杰出的面向对象建模语言：Grady Booch的Booch方法、Ivar Jacobson的面向对象软件工程（OOSE）和Jim

Rumbaugh的对象建模技术（OMT）被统一起来发布，也就是。2011年，发布。CWM依赖于UML规范的前三个部分，即UML语义、UML符号向导和对象约束语言规范。UML语义定义UML元模型的语义，UML元模型是层次结构并以包为单位进行组织，每个包按照抽象语言（使用类图）、结构良好规则（采用OCL）和语义（采用英语）来定义。UML符号指定表达UML元模型语义的图形语法（例如类图）。对象约束语言规范定义对象约束语言（OCL）的句法、语义和语法，OCL是一种表述约束的形式化语言[3]。

●构造块和结构良好规则：UML提供了组成构造块和结构良好规则的面向对象建

模语言，基本的构造块包括模型元素（如类、对象、接口、组件、用例等）、关系（如关联、泛化、依赖等）和图（如类图、对象图、用例图等）等。

●UML可以为一个系统进行不同方面的建模，比如结构建模（又包括使用类图和

对象图的静态结构建模、使用组件图和部署图实现建模）、用例建模和行为建模等。元数据建模只需要静态结构建模，静态结构的核心元素是类、对象、属性和操作。

●UML用包来将模型元素组织成语义上相关联的分组，每个包拥有其自己的模型

元素，每个模型元素不能同时被多个包拥有。

UML在CWM中主要作为三种角色出现[4]：

1、UML作为和MOF等价的元-元模型。UML，或者部分对应MOF模

型、UML符号和OCL的UML分别被用作建模语言、图形符号和约束语言，用来定义和表示CWM。

2、UML作为基础元模型。对象模型层（ObjectModel）与UML关系密

切，是UML的一个子集。

3、UML用来作为面向对象元模型。

元对象框架（Meta Object Framework，MOF，本文以版本为例）是一个以独立于平台的方式定义、操作、集成元数据和数据的、可扩展、模型驱动的分布式对象集成框架。此框架支持各种类型的元数据，还可以根据需求添加新类型的元数据。MOF包括MOF模型（定义建立元模型的建模元素和使用规

则）、MOF反射接口（允许程序在不使用元模型指定接口时对元数据进行各种操作）和MOF到IDL的映射（定义MOF模型定义的元模型到CORBAIDL之间的标准映射）。MOF模型是以UML的概念和结构为基础，尤其是以UML 的静态结构模型和模型管理为基础。MOF模型没有定义自己的图形符号和约束

大数据平台建设方案

大数据平台建设方案 项目需求与技术方案） 、项目背景 十三五”期间，随着我国现代信息技术的蓬勃发展，信息 化建设模式发生根本性转变，一场以云计算、大数据、物联网、移动应用等技术为核心的“新IT ”浪潮风起云涌，信息化应用进入一个“新常态”。*** （某政府部门）为积极应对“互联网+” 和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到 “用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合 业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录， 建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、

预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。 1、统筹规划、分步实施。结合我省经济发展与改革领域实际需求，明确总体目标和阶段性任务，科学规划建设项目。先期完成大数据平台的整体架构建设，后期分步完成业务系统的整合及相互间数据共享问题。 2、整合资源、协同共享。对信息资源统一梳理，建立经济发展与改革信息标准资源库和数据规范，逐步消灭“信息孤岛”，加快推进数据资源整合，建设共享共用的大数据中心，实现业务协同。 3 、突出重点、注重实效。以用户为中心，以需求为导向， 以服务为目的，突岀重点，注重实效，加强平台可用性和易用性。 4、深化应用、创新驱动。深入了解用户需求，密切跟踪信息技术发展趋势，不断深化应用、拓展新技术在应用中的广度和深度，促进跨界融合，丰富管理和服务手段。 四、建设方案 为了保证项目的顺利进行和建设目标的可行性，我们采取如下几种建设方案。 1、数据采集方案。 我们统一信息资源标准规范，建立多维度数据库，拓宽 数据来源，通过不同的方式汇聚数据，增强分析力度，提高 监测预警的准确性和时效性。 1、预留接口，支持其它系统各种数据的上传导入处理。 将现存有关经济运行业务系统中的历史数据和时效数据，过上传数据文件至服务器、分析提取有效数据导入服务器数

企业数据标准化

1.1 企业级数据标准化 1.1.1 建立企业级数据标准化原则 企业数据标准化的建立是企业信息化的基础工作，提高了数据的共享性，为广东电网公司提供了统一的信息视图、数据规范及符合电力行业标准的编码标准。建立广东电网公司数据信息资源的统一标准化管理的原则可以包括： ?统一标准的数据定义：减少数据定义的二义性； ?统一标准的企业数据模型：该企业数据模型必须是一个全企业范围的定义库，能适跨应用、跨业务地完整表述企业数据的统一的完整数据视图； ?统一标准的存储管理：统一规划使用存储资源，提高存储资源使用效率； ?统一标准的性能管理：根据实际业务需求，合理分配资源，确保对数据的访问性能能够满足业务的需要； ?统一标准的数据质量管理：数据管理需要通过应用标准方法论和原则，实现对有价值的商业信息和数据进行完整的生命周期的管理，从而支持广东电网公司的业 务。 ?其它管理：提供对数据的其他统一标准化管理，包括统一编码标准； 企业级数据标准的制定是一个系统工程，涉及到多方面的原因，成功的因素主要包括如下几点： ?高层领导参与：为了实施跨部门、跨功能的企业数据标准，驱动企业高层领导的支持是势在必行的； ?清晰的范围界定：大规模的企业数据标准化工作往往因为人为因素和组织冲突而宣告失败。而范围界定清晰的、分步走的、具有可测量结果的企业数据标准化实 现方案能在短期内提供业务价值； ?企业数据模型设计的稳定性：稳定性并不意味着企业数据模型的一成不变；相反，大多数的变化应该不需要任何人去重写应用系统； ?数据小组的能力：跨业务的数据整合体现了企业数据模型的主要价值，需要有小规模的、训练良好的、灵活的建模小组和事务专家。

视频结构化大数据平台解决方案

视频结构化大数据平台 解 决 方 案 千视通

目录 1. 建设背景 (4) 2. 建设目标 (5) 3. 建设原则 (6) 3.1. 标准化原则 (6) 3.2. 统一设计原则 (6) 3.3. 大数据处理原则 (6) 3.4. 高可靠/高安全性原则 (6) 3.5. 适用性原则 (7) 3.6. 可扩展性原则 (7) 4. 系统总体设计 (7) 4.1. 设计依据 (7) 4.2. 总体架构设计 (10) 4.3. 业务架构设计 (11) 4.4. 网络架构设计 (12) 5. 数据结构化 (13) 5.1. 概述 (13) 5.2. 数据采集 (14) 5.3. 控制调度单元 (15) 5.4. 目标结构化单元 (15) 5.5. 车辆结构化单元 (21) 5.6. 前端要求 (26) 6. 数据存储 (29) 6.1. 概述 (29) 6.2. 功能设计 (29) 6.2.1. 数据存储 (29) 6.2.2. 数据服务 (30) 6.2.3. 系统管理 (31) 6.3. 存储设计 (32) 7. 数据应用 (32) 7.1 以图搜车 (33) 7.2人物大数据 (34) 7.2.1人物综合查询 (34) 7.2.2人物检索 (34) 7.2.3人骑车检索 (36) 7.2.4视频框选嫌疑目标 (37) 7.3以图搜图 (38) 7.3.1智能建库引擎 (38) 7.3.2以图搜图应用 (38) 7.4GIS应用 (39) 7.4.1基本操作 (39) 7.4.2地图查询 (39) 7.4.3轨迹展示 (40)

7.4.4摄像头操作............................................................................ 错误！未定义书签。 7.4.5系统管理 (41) 8. 平台特点 (44) 8.1. 提高海量视频倒查的效能 (44) 8.2. 提供视频关键特征的视频检索 (45) 8.3. 永久保存结构化的视频信息 (45) 8.4. 基于虚拟化服务的云计算架构 (46) 9. 配置清单.................................................................................................... 错误！未定义书签。

如何在大数据时代构建数据治理体系

如何在大数据时代构建数据治理体系 随着云计算、物联网、移动互联网等新一代信息技术的快速发展，人类产生的数据量呈指数级增长。据资料显示，2012年，全球数据量达到2.8ZB，预计到2020年，全球数据量将达到40ZB。大数据蕴含着巨大的价值，如今众多企业已将数据视作企业的宝贵资产。然而，数据价值密度与数据总量成反比。面对巨大的数据规模，如何管理和利用数据，使其发挥价值是企业必须考虑的重要问题。大数据的价值所在使其面临着隐私和安全方面的威胁。大数据治理将组织的部门、流程、人等元素与数据的整个生命周期联系在了一起，对企业数据管理和数据资产价值有着至关重要的作用。 《DGI数据治理框架》一文将数据治理定义为“数据相关事务的决策和授权的执行”，并进一步解释为信息处理过程决策权和职责的策略，约定了由谁负责处理哪些信息，并在什么情况下采用哪种方法，以及何时来执行。首先，大数据治理是信息治理计划的一部分，这是其定位。这就要求组织在制订信息治理框架时，必须将大数据纳入其中，比如在信息治理委员会中增加数据科学家，在信息治理目标中增加大数据治理目标等。其次，大数据治理主要是数据处理的一系列相关政策的制订，这是其内涵。再次，必须优化大数据，这是大数据治理的重点。最后，大数据必须变现，这是大数据治理的目的所在。

大数据体量大、种类繁多，且价值密度低，组织必须对其进行优化，比如定义元数据、净化大数据、实施数据生命周期管理等。看似没有任何价值的单一数据集合在一起时，会发现新的价值，这是大数据价值体现的重要途径之一。而大数据价值的体现往往会涉及数据的隐私，这就要求组织在进行大数据价值体现时，必须注重大数据的隐私处理。组织将数据视作其资产的一种，要将其转化成组织可以使用的现金，而变现的方式可以是单纯地出售数据本身，也可以是利用数据开发新业务。 一、企业实施大数据治理的必要性 1、企业实现数据资源在组织内部的共享和交换的需要 目前，大部分工业企业已经完成了ERP、CRM、供应链、协同办公等企业信息化系统的建设，但是由于数据分散在众多系统中，缺乏统一的数据定义和数据分类，因此在数据使用上存在数据不标准、数据不一致、数据完整性差等问题。 数据不标准主要表现在不同系统之间描述同一业务实体的数据定义标准不同；数据不一致主要表现在相关联业务系统的数据不同步、各应用系统间存在数据编码规则不一致的问题，还有重复编码的问题；数据完整性差表现为缺少数据实体的关键信息。企业必须对各个系统的数据源以及输出的数据资产进行统一的数据治理，实现数据在不同组织和系统内的交换与共享。只有解决了数据问题，才能实现IT价值。 2、提升海量数据资源质量的需要

文本分析平台TextMiner_光环大数据培训

https://www.wendangku.net/doc/231097075.html, 文本分析平台TextMiner_光环大数据培训 互联网上充斥着大规模、多样化、非结构化的自然语言描述的文本，如何较好的理解这些文本，服务于实际业务系统，如搜索引擎、在线广告、推荐系统、问答系统等，给我们提出了挑战。例如在效果广告系统中，需要将Query(User or Page) 和广告 Ad 投影到相同的特征语义空间做精准匹配，如果Query 是用户，需要基于用户历史数据离线做用户行为分析，如果 Query 是网页，则需要离线或实时做网页语义分析。 文本语义分析（又称文本理解、文本挖掘）技术研究基于词法、语法、语义等信息分析文本，挖掘有价值的信息，帮助人们更好的理解文本的意思，是典型的自然语言处理工作，关键子任务主要有分词、词性标注、命名实体识别、Collection 挖掘、Chunking、句法分析、语义角色标注、文本分类、文本聚类、自动文摘、情感分析、信息抽取等。 （摘自https://https://www.wendangku.net/doc/231097075.html,/nlp/，稍作修改） 在解决文本处理需求过程中，我们发现保证文本分析相关的概念、数据和代码的一致性，避免重复开发是非常关键的，所以设计并搭建一套灵活、可扩展、通用的文本分析底层处理平台，供上层应用模块使用，是非常必要的。 既然是文本分析，我们很自然的想到是否可以使用已有的自然语言处理开源代码呢？为此，我们不妨一起了解下常见的相关开源项目：

https://www.wendangku.net/doc/231097075.html, Natural Language Toolkit（NLTK），https://www.wendangku.net/doc/231097075.html,/，In Python，主要支持英文 Stanford CoreNLP，https://www.wendangku.net/doc/231097075.html,/software/index.shtml，In Java，主要支持英文，阿拉伯语，中文，法语，德语 哈工大-语言技术平台（Language Technolgy Platform，LTP），https://www.wendangku.net/doc/231097075.html,/，In C/C++，支持中文 ICTLAS 汉语分词系统，https://www.wendangku.net/doc/231097075.html,/，In C/C++，支持中文 遗憾的是，我们发现尽管这些项目都极具学习和参考价值，和学术界研究结合紧密，但并不容易直接用于实际系统。也许这正源于学术界和工业界面临的问题不同，定位不同。对比如下： 根据我们的实践经验，尝试给出一套文本分析平台设计框架 TextMiner，供大家参考、交流。 设计之初，我们想 TextMiner 应该支持以下主要功能点： 提供细粒度的中文分词、词性标注和命名实体识别； 抽取与文本内容语义相关的词或短语； 获取能够表达文本语义的主题语义； 获取能够表达文本语义的行业信息； 提供统一的数据资源管理功能，尤其，要支持同时加载多份不同版本的数据资源，便于进行更新及效果对比。 参考斯坦福大学自然语言处理组开源项目： Stanford CoreNLP 和哈尔滨工业大学社会计算与信息检索研究中心开源项目：语言技术平台 (Language

大数据平台建设方案

大数据平台建设方案 （项目需求与技术方案） 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发

展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。

浅谈信息数据标准化工作

浅谈信息数据标准化工作 随着信息系统在行业推广实施规模的不断扩大，应用系统之间需要上传下达、信息共享、集成整合、协同工作，信息数据就越来越需要标准化、规范化的管理。现就如何做好信息数据标准化工作做如下探讨。 整合规范业务流程，在各工作岗位制定工作标准，建立完善的标准化体系。 企业的运作需要各个部门的协调来完成，这种协调应该有标准，这就是业务标准化流程。标准化流程的严格执行，必须建立在一个统一的信息化软件中，这个软件就是人们常说的一体化协同办公软件。软件必须把企业的一整套管理思想与管理标准融入其中，能够确保工作不会偏离标准化轨道。任何人在实际工作中，都不能脱离这个软件进行工作，确保了各项工作按设定的流程与标准实施。所以，标准化与信息化是管理思想与实际操作的关系。只有在信息化的平台基础上，标准化才能得到充分与完全的落实。 业务流程的整合只是第一步，第二步就是在各个岗位制定并贯彻工作标准，建立一整套完善的标准化体系，使每一个岗位、每一个部门都有可对照的工作标准，确保工作质量。需要重点说明的是，在岗位职责指定与管理过程中，应清晰描述岗位和岗位之间的关系、业务和业务之间的协作关系、流程和流程之间的互动关系，清晰展现物流、资金流、信息流，为信息系统软件开发提供全面准确的业务支持。 数据编码是建立企业信息系统的基础，应不断完善数据标准化体系 数据编码是建立企业信息系统的基础，也是关系到信息系统整体效果和成败的关键因素。在数据标准化体系建设中，一方面要自上而下分析企业数据类别，另一方面要借助系统规划和业务流程优化思想，梳理各部分的业务流程，自下而上提取基础数据。一般情况下，数据标准化体系建设应采取渐进式的策略，数据标准化进程与信息化项目建设进程同步，在保证速度的同时坚持标准化原则，以支持企业信息资源的充分共享与各子系统的整合，实现速度与标准并重，同时确保数据标准的实用性，防止数据标准化流于形式。 在信息系统项目开发、管理过程中严格落实标准化工作 信息系统集成是一项具有知识密集、资料密集、工作量大等特点的系统工程，信息系统项目中的需求调研、立项、招标、实施、验收、维护等工作必须严格按照国家有关法律法规和烟草行业相关的政策制度进行。此外，企业应在推进信息系统项目时做好以下几方面的标准化工作。 信息指标体系标准化。信息指标体系是指一定范围内所有信息的标准，按其内在联系组成的、科学的有机整体。在管理层次和管理部门众多的情况下，只有统一和规范指标体系，才能使各系统和各个层次开发和实施的信息系统能够实现数据和信息的兼容与共享。 信息系统开发标准化。信息系统开发标准化主要指在系统开发中遵守统一的系统设计规范、程序开发规范和项目管理规范。系统设计规范规定字段、数据库、程序和文档的命名规则及编制方法，以及应用程序界面的标准和风格等。程序开发规范要对应用程序的模块划分、标准程序流程的编写、对象或变量命名、数据校验及出错处理等作出规定。项目管理规范规

非结构化数据管理系统

非结构化数据管理系统 1 范围 本标准规定了非结构化数据管理系统的功能性要求和质量要求。 本标准适用于非结构化数据管理系统产品的研制、开发和测试。 2 符合性 对于非结构化数据管理系统是否符合本标准的规定如下： a)非结构化数据管理系统若满足本标准基本要求中的所有要求，则称其满足本标准的基本要求； b)非结构化数据管理系统在满足所有基本要求的前提下，若满足某部分扩展要求，则称其满足本 标准的基本要求和该部分扩展要求； c)非结构化数据管理系统若满足本标准基本要求和扩展要求中的所有要求，则称其满足本标准的 所有要求。 3 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB 18030—2005 信息技术中文编码字符集 GB/T AAAAA-AAAA 非结构化数据访问接口规范 4 术语和定义 下列术语和定义适用于本文件。 4.1 非结构化数据unstructured data 没有明确结构约束的数据，如文本、图像、音频、视频等。 4.2 非结构化数据管理系统unstructured data management system 对非结构化数据进行管理、操作的大型基础软件，提供非结构化数据存储、特征抽取、索引、查询等管理功能。 5 缩略语 下列缩略语适用于本文件。 IDF：逆向文件频率 (Inverse Document Frequency) MFCC：梅尔频率倒谱系数（Mel Frequency Cepstrum Coefficient）

PB：千万亿字节（Peta Byte） SIFT：尺度不变特征转换（Scale-invariant Feature Transform） TF：词频 (Term Frequency) 6 功能性要求 6.1 总体要求 非结构化数据管理系统的总体要求如下： a)应包括存储与计算设施、存储管理、特征抽取、索引管理、查询处理、访问接口、管理工具七 个基本组成部分； b)宜包括转换加载、分析挖掘、可视展现三个扩展组成部分。 6.2 存储与计算设施 6.2.1 基本要求 存储与计算设施基本要求如下： a)应支持磁盘、磁盘阵列、内存存储、键值存储、关系型存储、分布式文件系统等一种或多种存 储设施； b)应支持单机、并行计算集群、分布式计算集群等一种或多种计算设施。 6.2.2 扩展要求 无。 6.3 存储管理 6.3.1 基本要求 存储管理基本要求如下： a)应提供涵盖原始数据、基本属性、底层特征、语义特征的概念层存储建模功能； b)应提供逻辑层的存储建模功能； c)支持整型、浮点型、布尔型、字符串、日期、日期时间、二进制块等基本数据类型； d)支持向量、矩阵、关联等数据类型； e)应支持根据建好的逻辑层存储模型创建存储实例； f)应支持在创建好的存储实例上插入、修改、删除非结构化数据； g)应支持删除存储实例； h)应支持非结构化数据操作的原子性。 6.3.2 扩展要求 存储管理扩展要求如下： a)应支持全局事务的定义并保证事务的原子性、一致性、隔离性和持久性； b)应支持数据类型的多值结构和层次结构； c)应支持在不同的存储设施上创建存储实例并实现自动映射； d)应支持PB级数据存储。 6.4 特征抽取

大数据标准体系

附件1 大数据标准体系 序号一级分类二级分类国家标准编号标准名称状态 1 基础标准总则信息技术大数据标准化指南暂时空缺 2 术语信息技术大数据术语已申报 3 参考模型信息技术大数据参考模型已申报 4 数据处理数据整理GB/T 18142-2000 信息技术数据元素值格式记法已发布 5 GB/T 18391.1-2009 信息技术元数据注册系统(MDR)第1部分：框架已发布 6 GB/T 18391.2-2009 信息技术元数据注册系统(MDR)第2部分：分类已发布 7 GB/T 18391.3-2009 信息技术元数据注册系统(MDR)第3部分：注册系统元模型与基本属性已发布 8 GB/T 18391.4-2009 信息技术元数据注册系统(MDR)第4部分：数据定义的形成已发布 9 GB/T 18391.5-2009 信息技术元数据注册系统(MDR)第5部分：命名和标识原则已发布 10 GB/T 18391.6-2009 信息技术元数据注册系统(MDR)第6部分：注册已发布 11 GB/T 21025-2007 XML使用指南已发布 12 GB/T 23824.1-2009 信息技术实现元数据注册系统内容一致性的规程第1 部分：数据元已发布 13 GB/T 23824.3-2009 信息技术实现元数据注册系统内容一致性的规程第3 部分：值域已发布 14 20051294-T-339 信息技术元模型互操作性框架第1部分：参考模型已报批 15 20051295-T-339 信息技术元模型互操作性框架第2部分：核心模型已报批 16 20051296-T-339 信息技术元模型互操作性框架第3部分：本体注册的元模型已报批 17 20051297-T-339 信息技术元模型互操作性框架第4部分：模型映射的元模型已报批 18 20080046-T-469 信息技术元数据模块(MM) 第1 部分:框架已报批

一体化数据管理平台DATRIX产品介绍120515

一体化数据管理平台DATRIX 产品介绍 因“虚”而实，数据管理创新

需求篇 IDC数字宇宙研究《从混沌中提取价值》指出，全球的数据量每18个月就要翻一番，目前每年产生的数据量已经高达40EB（1EB=10000PB），未来十年全球的大数据将增加50倍。数据飞速的甚至是爆炸式的增长方式，每个信息用户都深有体会，从上世纪早期数据容量大多以MB为单位，到上世纪末过渡到以GB为单位，再到当前TB已是标准单位，甚至PB级别的数据量在很多系统中也不再是一个偶然现象，种种迹象表明，大数据的时代已真正到来。 大数据这个词汇越来越多地被提及，从大数据的定义来说，大数据具备三个V的显著特性： 1、Volume：数据量巨大，起码是TB级别以上的数据量才称之为大数据，对于大数据来说，数据量的巨大导致访问、处理、传输各个方面开销显著增加，也就有必要使用更好的处理方式来应对。 2、Variety：数据类型繁多，结构化数据、非结构化数据和半结构化数据各自均包含多种数据类型。结构化数据中主要为数据库数据（ORACLE、DB2、SQL等）；非结构化数据类型更为丰富（办公文档、文本、图片、XML、HTML、各类报表、视频、音频等）；半结构化数据是一种新型的定义方式，相对于结构化数据的先有结构再有数据，半结构化数据则是先有数据再有结构。多种数据类型并存导致整个数据处理难度加大，无法用统一的手段来解决全数据问题。 3、Velocity：数据增长非常快速，这种增长速度之前是难以想象的，随着更多的业务发展（社交媒体、云计算、物联网等），各种先进数据格式的出现（高清、3D、富媒体等），导致了数据是爆炸式的增长速度。这种爆炸式的数据增长主要是由数据的属性所多样化带来的，数据首先具备时间属性，历史数据、当前数据和未来数据均需要保持和考虑，需要保留多个历史副本；其次数据具备多格式的特性，一份数据会因应用系统的不同而带来不同格式的访问需求；最后数据还要有多位置的属性，在个人、家庭、单位及云环境下会有多个副本，用于多个场景。 非结构化数据管理难题 非结构化数据在大数据中时代的地位无疑是最为重要的，根据Gartner统计，在当前的环境中，企业有20%的数据是结构化数据，80%的数据是非结构

大数据平台建设方案

大数据平台建设方案 (项目需求与技术方案) 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌,信息化应用进入一个“新常态”。***（某政府部门)为积极应对“互联网＋”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督,建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。 1、制定统一信息资源管理规范,拓宽数据获取渠道，整合业务信

息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性,编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。

大数据标准体系

附件 1 大数据标准体系 序号一级分类二级分类国家标准编号标准名称状态 1总则信息技术大数据标准化指南暂时空缺2基础标准术语信息技术大数据术语已申报3参考模型信息技术大数据参考模型已申报4GB/T 18142-2000信息技术数据元素值格式记法已发布5GB/T 18391.1-2009信息技术元数据注册系统(MDR) 第 1 部分：框架已发布6GB/T 18391.2-2009信息技术元数据注册系统(MDR) 第 2 部分：分类已发布7数据处理数据整理GB/T 18391.3-2009信息技术元数据注册系统(MDR) 第 3 部分：注册系统元模型与基本属性已发布8GB/T 18391.4-2009信息技术元数据注册系统(MDR) 第 4 部分：数据定义的形成已发布9GB/T 18391.5-2009信息技术元数据注册系统(MDR) 第 5 部分：命名和标识原则已发布10GB/T 18391.6-2009信息技术元数据注册系统(MDR) 第 6 部分：注册已发布

11GB/T 21025-2007XML 使用指南已发布12GB/T 23824.1-2009信息技术实现元数据注册系统内容一致性的规程第 1 部分：数据元已发布13GB/T 23824.3-2009信息技术实现元数据注册系统内容一致性的规程第 3 部分：值域已发布1420051294-T-339信息技术元模型互操作性框架第1部分：参考模型已报批1520051295-T-339信息技术元模型互操作性框架第2部分：核心模型已报批1620051296-T-339信息技术元模型互操作性框架第3部分：本体注册的元模型已报批1720051297-T-339信息技术元模型互操作性框架第4部分：模型映射的元模型已报批1820080046-T-469信息技术元数据模块 (MM) 第 1部分 :框架已报批1920080044-T-469信息技术技术标准及规范文件的元数据已报批2020080045-T-469信息技术通用逻辑基于逻辑的语系的框架已报批2120080485-T-469跨平台的元数据检索、提取与汇交协议已报批22信息技术异构媒体数据统一语义描述已申报23数据分析信息技术大数据分析总体技术要求暂时空缺

XXXXX201X年大数据治理工作方案

XXXXXX 201X年度大数据治理工作方案 随着信息技术的飞速发展，XXX行业信息化建设在经过了单一应用、综合应用和深度应用等阶段后，正高速向智慧应用转型。自信息化工作开展以来，我单位陆续建设和部署了多种信息系统，这些系统的建设和使用，一方面实现了本单位的日常工作信息化，另一方面也产生和储存了大量的数据，这些数据不但体量庞大，而且文档、图像、音视频等半结构化和非结构化数据所占比重也大幅度增加。为管理好这些数据，进一步处理、分析和利用好这些数据，为XXX行业的预测预警预防预控和科学决策提供有力的依据，提高工作效率和快速反应能力，切实提升领导获得感、工作人员获得感和群众获得感，特制定此工作方案。 一、工作目标 数据治理是指将数据作为组织资产而展开的一系列的具体化工作,是对数据的全生命周期管理。开展数据治理工作的目标是提高数据的质量（准确性和完整性），保证数据的安全性（保密性、完整性及可用性），实现数据资源在各部门间有效共享；推进信息资源的整合、对接和共享，充分发挥信息化作用，提升整体信息化建设和应用水平。 二、现存问题 —1—

我单位各业务部门因自身业务开展均有自己的信息系统，且信息系统的信息数据以其纵向的行政管理而相互独立。由于信息系统开发的历史原因，系统之间的相互联系较少，数据格式相对独立，数据共享以及相互利用的程度较低。目前XXX行业已经在部、省、市建立了大量的应用系统，网络以及软硬件设施也有了一定的规模，更为重要的是，经过多年的建设已经积累的大量业务数据。虽然国家部委三令五申要求通过信息资源服务平台统一开展数据资源归集和共享事宜，但现阶段我单位数据管理方面仍存在以下的不足： （一）业务系统分散建设。各业务部门按照要求或为应对迅猛变化的信息化需求，逐步建立了各自的信息系统，各部门站在各自的立场生产、使用和管理数据，使得数据分散在不同的部门和信息系统中，缺乏统一的数据规划、可信的数据来源和数据标准，导致数据不规范、不一致、冗余、无法共享等问题出现，各部门对数据的理解难以应用一致的语言来描述，导致理解不一致。 （二）缺少统一的主数据。我单位几大核心基础信息系统之间的主要信息分散存储在不同的独立系统中，系统间没有通过统一的业务管理流程进行维护，无法保障主数据在整个业务范围内保持一致、完整和可控，导致业务数据正确性无法得到保障。 （三）数据资源多头管理。信息系统的建设和管理职能分散在各部门，致使数据管理的职责分散，权责不明确。各部门关注数据的角度不一样，缺少一个组织从全局的视角对数据进行管理， —2—

Oracle非结构化数据解决方案

Oracle数据库11g管理非结构化数据 (2) 一、引言 (2) 二、在ORACLE 中管理非结构化数据的优势 (3) 三、打破了原来处理非结构化数据的“性能障碍” (4) 3.1 Oracle SecureFiles (4) 3.2 SecureFiles 中的存储优化 (5) 四、专用数据类型和数据结构 (6) 4.1 Oracle XML DB (6) 4.2 Oracle Text (7) 4.3 Oracle Spatial (8) 4.4 RDF、OWL 和语义数据库管理 (9) 4.5 Oracle Multimedia (9) 4.6 Oracle DICOM 医学内容管理 (9) 五结论 (10)

Oracle数据库11g管理非结构化数据 一、引言 公司、企业以及其他机构使用的绝大部分信息都可归类为非结构化数据。 非结构化数据是计算机或人生成的信息，其中的数据并不一定遵循标准的数据结构（如模式定义规范的行和列），若没有人或计算机的翻译，则很难理解这些数据。常见的非结构化数据有文档、多媒体内容、地图和地理信息、人造卫星和医学影像，还有Web 内容，如HTML。 根据数据的创建方式和使用方式的不同，非结构化数据的管理方法大不相同。 1.大量数据分布于桌面办公系统（如文档、电子表格和演示文稿）、专门的工作站和设备 （如地理空间分析系统和医学捕获和分析系统）上。 2.政府、学术界和企业中数TB 的文档存档和数字库。 3.生命科学和制药研究中使用的影像数据银行和库。 4.公共部门、国防、电信、公用事业和能源地理空间数据仓库应用程序。 5.集成的运营系统，包括零售、保险、卫生保健、政府和公共安全系统中的业务或健康记 录、位置和项目数据以及相关音频、视频和图像信息。 6.学术、制药以及智能研究和发现等应用领域中使用的语义 数据（三元组）。 自数据库管理系统引入后，数据库技术就一直用于解决管理大量非结构化数据时所遇到的特有问题。通常通过“基于指针的”方法使用数据库对存储在文件中的文档、影像和媒体内容进行编目和引用。为了在数据库表内存储非结构化数据，二进制大对象（或简称为BLOB）作为容器使用已经数十年了。除了简单的BLOB 外，多年以来，Oracle 数据库一直通过运算符合并智能数据类型和优化数据结构，以分析和操作XML 文档、多媒体内容、文本和地理空间信息。由于有了Oracle 数据库11g，Oracle 再次在非结构化数据管理领域开辟出一片新天地：大幅提升了通过数据库管理系统原生支持的非结构化数据的性能、安全性以及类型。

什么是“项目e”结构化数据

什么是“项目e”结构化数据 在工程项目管理中，无时无刻不在产生大量的数据，如技术图纸、工程日志、往来函信件、材料采购入场使用、测试数据、验收记录、财务数据等等不同方面的资料众多，这些海量的信息和数据本身都具有巨大的价值。但是很多企业面对这些信息数据，最大的利用价值就是存档备查、项目反馈汇报或回溯项目问题。显然，绝大部分的资料和数据被认为无价值或者价值不大，而被忽略了。 项目的资料和数据不仅仅只为了存档和记录，还可以将记录的资料数据转化为经验和知识，指导和决策目前的项目管理以及未来其他的项目工作。施工企业在项目管理过程中，该如何采集和分析数据，然后应用并最终产生最大价值呢？ 目前人工智能技术还不能将施工过程中离散的资料数据进行自动分析和归类，因此也无法根据资料数据进行决策。而结构化数据有效辅助项目管理决策，结构化数据是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。只有在资料数据采集或者输入时采用机构化的数据形式，才可以形成结构化数据。比如“项目e”工程项目管理工具就是采用结构化数据记录模式，系统采用结构化数据采集和录入，形成项目管理的结构化数据，实时分析总结项目管理问题。 项目e采用结构化数据

“项目e”采用结构化数据采集、录入，系统通过数据分析总结辅助项目管理科学决策。尤其是清单模式和模板功能，结构化数据实时分析总结项目管理问题，并辅助项目管理决策。 在清单模式中，项目的成本、进度、采购、材料等基础数据都源于预算清单。项目的消耗数据既是成本计算的基础数据，也是进度计算的基础数据。由于是结构化数据，进度数据和成本数据是关联一致的，在记录人材机费用成本消耗的同时系统自动形成进度数据，可分析得出项目存在的成本管控风险。让项目管理者和经手人都可以实时分析项目成本、进度等结果，有效规避各项风险，极大地提高管理效率。 模板功能将工程项目管理中规律性管理模式予以标准化的结构形成模板，将项目管理模式、流程和表单总结编制成模板使用，或者在【模板市场】（已申请发明专利）下载使用他人分享的项目模板。结构化数据将数据分类，“项目e”中按照模板记录不同的信息数据形成结构化的形式，系统通过科学的算法实现数据统计分析总结，形成项目管理决策的依据。 结构化数据便于数据采集和输入 “项目e”清单模式中，项目的成本、进度、采购、材料等基础数据都源于预算清单。由于每个数据都是结构化数据，有规定的输入格式规范，系统可以自动识别，记录填报方便。项目基层人员根据当日的工作事项，在预算清单中直接勾选和填数系统自动生成了实际消耗量。 “项目e”模板功能把项目管理标准化，即将项目管理过程中信息数据采集标准规范化，同样有数据格式与长度规范，系统自动识别记录，形成模板，让经验和能力可简单复制。 而且，通过“项目e”进行项目管理生成结构化数据，便于扩展对接智能硬件（物联网），将可为用户提供更多的服务支撑。

主数据管理系统建设的必要性

主数据管理系统建设的必要性 1数据管理与应用现状 所内信息化建设工作的不断推进，信息化系统不断增加，应用与推广程度不断加深，大量重要数据以多种形式分布于不同的信息系统之中，主要现象如下： ?数据各自表述、管理口径、统计口径不一致，数据标准缺失 形成信息应用孤岛，影响企业管理者经营决策。 ?数据定义不正确、编码各异、大量冗余，给信息化系统的建 设与应用带来及大挑战，制约IT辅助经营决策的目标。 ?管理需求与信息系统的不断变化，使数据生产内容缺失、信 息失真，影响数据的价值、无法为企业精细化管理提供支撑。 ?数据责任不明，数据的产生、使用、管理缺乏信息化工具与 手段，出现问题不明原因、不知道找谁、不清楚如何处理、 不知如何改善，影响IT提升企业经济运行与管理效率的诉求。 各信息系统间信息互通共享需求日益迫切，数据标准的建立、主数据管理需求已经迫在眉睫。 2系统建设必要性 2.1推动标准化进程 主数据管理系统是企业内部各类公用业务数据信息的载体,是企业信息系统间实现信息互通、功能联动的重要数据根基，并为业务管理标准化工作提供规范性信息支持服务。 主数据管理系统在企业信息化体系中占据非常重要的地位，一方

面能够保证企业内各单位系统信息编码标准的高度唯一性，另一方面为企业未来数据仓库建设奠定基础保障，为各系统数据标准化导入、多维统计分析工作创造先决条件。 2.2消除信息孤岛 随着所内信息系统建设步伐的不断加快，公司及部门信息系统应用数量正在不断增多，系统间数据横向共享、纵向交互需求也在逐渐增加，迫切需要加强主数据及标准化建设工作，通过数据集成接口，对各系统间公用数据进行统一、集中管理，实现标准化应用，达到“数据同源、规范共享、应用统一、服务集中”的目的。 我所业务规模和范围亦在不断扩充，及时准确的反映企业发展的各种指标是促进企业健康发展的重要保障。由于缺乏公司统一的数据标准及收集途径，导致数据重复提交、重复计算、偏差漏报等现象时有发生。迫切需要建立一套标准的数据标准体系来规范集团下属各单位的操作，从而提升效率，同时提高数据分析的及时性和准确性。2.3助力数据应用与管理革新 （1）数据管理模式变革 实现数据“源头”集中管理，改变原有基础数据分散管理现状，为主营业务系统集中化部署与集约化运营管理奠定数据基础，为未来信息代码管理系统建设提供蓝图指引。 （2）数据共享模式变革 建立基础数据共享“桥梁”，打破各系统信息交互壁垒，使得物资、项目、人员、组织等重要基础信息能够在多个系统内充分共享、

标准化管理制度最终版

版本号：A0 -可编辑修改- 生效日期：

1 范围 本标准规定了企业标准化工作的基本要求与任务，标准化人员的职责、企业标准化计划的管理、标准的制修订管理、标准体系总要求; 本标准适用于本企业标准化工作管理。 2 规范性引用文件 下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单或修订版均不适用于本标准，凡是不注日期的引用文件，其最新版本适用于本标准。 GB/T 1.1 标准化工作导则第1 部分：标准的结构和编写规则 GB/T 15496-2003 企业标准体系要求 GB/T 15497-2003 企业标准体系技术标准体系的构成和要求 GB/T 15498-2003 企业标准体系管理标准工作标准体系的构成和要求 GB/T 19273-2003 企业标准体系评价与改进 3 企业标准化工作的基本要求与任务 3.1 企业标准化工作的基本要求 企业标准化是企业科学管理的基础，每个企业的生产都与外部环境有着密切的联系，并存在许多影响企业生产经营管理的约束条件，而在企业内部各部门、各环节之间又是一个相互依存、相互制约有机整体。所有这些外部约束和内部依存制约关系，只有通过制定和实施一整套标准（包括国家、行业、企业的技术标准，企业管理标准及企业工作标准）才能实现企业与外部环境的协调和企业内部的协调，从而建立起最佳生产经营秩序。 3.2 企业标准化工作的基本任务 3.2.1 贯彻执行国家和地方有关标准化的法律、法规、方针政策。 3.2.2 建立并实施企业标准体系 -可编辑修改- 3.2.3 实施技术法规、国家标准、行业标准和地方标准，强制性标准坚决贯彻实施，推荐性标准一经采用应严格贯彻执行。

非结构化数据管理：ERP力不从心 ECM接力

对于国内相当多的企业来说，ECM这个概念还比较陌生，但提起ERP，很多人都耳熟能详。 事实上，ERP是以数据库管理为核心的，而ECM是以非结构化数据管理为核心。凯德云M-Files是由美国M-Files公司开发的软件产品，主要用于企业内容管理(ECM)、文档管理(EDM)、质量管理、知识管理、项目协同。 调查显示，企业中80%的数据是以非结构化的形式存在的，例如电子邮件、报表、办公文档、扫描文件、网页等，而这些非结构化数据往往散落在企业的各种应用系统中，无法得到统一的管理，更惶谈从中挖掘出价值。 ERP与ECM的关联 在廖强(EMC中国区副总裁、内容管理及归档事业部大中华区总经理)看来，现在非结构化数据的管理需求产生了，实际上就是一个很自然的过程，跟以前ERP比较的话，内容管理与ERP同等重要，内容管理是管着80%的非结构化信息，ERP管理着20%的结构化信息。其次从复杂性来讲，因为ERP牵涉了管理的方方面面，内容管理却没有那么复杂。从投资来讲，大家都在讲收益率，企业现在实际上逐渐地认识到内容管理的重要性。这几年内容管理逐渐地跟ERP、CRM，包括银行的核心系统，包括电信的计费系统等成为企业信息化的新重点。也就是说，随着内容管理逐渐地深入客户的核心业务，对企业的工作效率、收益、信息安全等都将得到提高。 ECM已进入第三代 IDC在2008年上半年针对中国企业所做的一项调查显示，在受调查的434个最终用户中，接近60%的用户表示有计划投资内容管理软件。而在2007年的类似调查中，这一比例还只有30%多。这一结果表示，内容管理在组织中的优先级大大提高。IDC分析认为，用户渴望投资内容管理解决方案，主要有两方面的原因：一是日益增长的法规要求;二是通过内容管理功能更好地优化、自动化纸质业务流程。 廖强分析说，综合当今内容管理市场，内容管理解决方案可以分为三代。 第一代是小型供应商提供单点解决方案，主要用于解决零碎的业务问题，例如光盘系统管理、记录管理、Web内容管理、数字资产管理、工作流/BPM管理等。第一代内容管理的特点是有众多小型技术公司，每个公司都使用专门构建的应用程序解决一些零碎的业务问题。 第二代是中型供应商在单点解决方案的基础上，提供较为全面的内容管理功能套件。第二代内容管理是由整合驱动的，在这一阶段，中型公司纷纷展开收购，并开始构建成套的内容管理应用程序。这是一个从单点产品到内容管理套件的变化过程，许多公司都是从点入手，而逐渐架构起较为完善的内容管理解决方案。但在这个过程中，内容管理底层平台的健壮性和面向应用的灵活性及可扩展性往往被忽视。 前两代内容管理带来的问题是：各个系统之间往往会形成信息孤岛的现象。而且，当应用出现变化时，需要对各个单点产品逐一修改，不能快速满足应用变化速度。 在第三代内容管理中，内容管理正逐渐成为企业信息基础架构的一部分;企业对内容管理的需求，已并不满足于应用某些点的产品去实现特定业务的管理，而是需要一个高性能、高可扩展性、能支持企业业务快速发展并能满足企业业务变化需求的内容管理平台。 开放性成长 任何一个软件公司的理想是要做到能够尽量满足客户的最终需要，但这很难实现，主要原因是需求的复杂度，很难有一个企业所提供的软件产品能够适应各式各样的不同需求。 廖强介绍说，Documentum平台一直以来就不是自行运转，Documentum平台一定跟结构化结合在一起。比如在国内某银行的应用，像有一套贷款审批，因为它要审核你的原始的资质，你的房产证等，这些都需要EPR系统与Documentum。从我们整个的发展方向来看，ECM是关注着技术性、扩展性、高性能，可对接性，希望把自己的开发能力提供给整个社