大数据平台系统项目安全保障

大数据平台系统项目

安全保障

安全是系统正常运行的保证。根据本项目的业务特点和需要，以及现有的网络安全状况，建立一个合理、实用、先进、可靠、综合、统一的安全保障体系，确保信息安全和业务系统的正常运行。

规章制度建设

机房管理制度

为保证系统每天24小时，全年365天不间断运行，加强防火、防盗、防病毒等安全意识，应该制定严格的机房管理制度，以下列出常见的机房管理方面的十条规定：

（1）路由器、交换机和服务器以及通信设备是网络的关键设备，须放置计算机机房内，不得自行配置或更换，更不能挪作它用。

（2）要求上机工作人员严格执行机房的有关规定，严格遵守操作规程，严禁违章作业。

（3）要求上机工作人员，都必须严格遵守机房的安全、防火制度，严禁烟火。不准在机房内吸烟。严禁将照相机、摄像机和易燃、易爆物品带入机房。

机房工作人员要掌握防火技能，定期检查消防设施是否正常。出现异常情况应立即报警，切断电源，用灭火设备扑救。

（4）要求外来人员必须经有关部门批准，才能进入放置服务器的机房，一般人员无故不得在机房长时间逗留。

（5）要求机房值班人坚守工作岗位，不得擅离职守；下班时，值班人员要对所有计算机的电源进行细致的检查，该关的要切断电源，并检查门窗是否关好。

（6）双休日、节假日，要有专人检查网络运行情况，如发现问题及时解决，并做好记录处理，解决不了的及时报告。

（7）机房内所有设备、仪器、仪表等物品和软件、资料要妥善保管，向外移（带）设备及物品，需有主管领导的批示或经机房工作负责人批准。

制定数据管理制度。对数据实施严格的安全与保密管理，防止系统数据的非法生成、变更、泄露、丢失及破坏。当班人员应在数据库的系统认证、系统授权、系统完整性、补丁和修正程序方面实时修改。

（8）网管人员应做好网络安全工作，服务器的各种帐号严格保密。监控网络上的数据流，从中检测出攻击的行为并给予响应和处理。统一管理计算机及其相关设备，完整保存计算机及其相关设备的驱动程序、保修卡及重要随机文件，做好操作系统的补丁修正工作。

（9）保持机房卫生，值班人员应及时组织清扫。

（10）保护机房肃静，严禁在机房内游艺或进行非业务活动。

计算机病毒防范制度

（1）网络管理人员应有较强的病毒防范意识，定期进行病毒检测（特别是邮件服务器），发现病毒立即处理并通知管理部门或专职人员；

（2）采用国家许可的正版防病毒软件并及时更新软件版本；

（3）未经系统或网络管理人员许可，一般操作人员不得在服务器上安装新软件，若确为需要安装，安装前应进行病毒例行检测；

（4）经远程通信传送的程序或数据，必须经过检测确认无病毒后方可使用。系统安全保障机制

系统安全保障机制涉及到计算机硬件的物理安全、网络安全和信息安全，信息的保密涉及到信息的访问控制、密级控制及加密处理等。作为一个企业级计算环境，从技术上说，所有的安全性问题可以形象地归结为“四把锁”：

?第一把锁是计算机硬件系统和环境的可靠性；

?第二把锁是通信网络的安全屏障；

?第三把锁是数据库系统的保密性和安全性；

?第四把锁是软件的安全性，包括系统软件和应用软件的安全可靠性。

系统安全建设是信息系统建设的重要考虑因素，所以要遵照“预防为主，主动防范”的原则，从各个层面考虑，建立起完备可靠的安全防范与保密体系。

计算机硬件系统主要涉及到各类设备的稳定可靠性，网络级的安全主要是对各类用户访问的控制方法，不使非法用户入侵系统资源，信息安全包括存贮媒体的安全存放和应急恢复，以及信息的分级管理。

通过对信息内容进行分级管理，对不同级别的信息采取相应有效的加密措施，确保非法用户在截取了数据的情况下，也无法读取和识别出真正的信息。

通讯网络的安全屏障

通讯网络的安全屏障一般指：

?用户鉴别：收发双方均要确认已识别对方的真实身份；

?存取控制：设置网络用户的存取权限；

?数据安全：防止数据被非法签收、替换、删除；

?信息保密：防止数据被截取后造成信息泄漏；

?防否认：收发双方都要承认收到或发过的数据；

?审计：收集登录用户的网上活动，以便事后追踪审计；

?容错：采用多路由选择、断点重发、节点双工等。

在计算机网络中，最主要的安全机制就是数据安全、信息保密和存取控制。

（1）局域网的安全

作为内部网，其用户群是相对稳定和已知的，对每类用户根据其在系统中的操作级别，可以授予不同的访问权限。网络用户的操作级别可以划分为：系统管理员、数据库管理员、超级用户、一般用户等，一般用户中又根据其工作性质划分为不同的用户组。

对网络中的文件、设备等系统资源，可以按照不同的操作级别规定其相应的访问权限，例如规定某共享文件夹对系统管理员是完全控制的，对超级用户具有只读权限，而对于一般用户没有任何权限，那么一般用户根本无法进入该共享文件夹。对网络上的共享设备，例如打印机和绘图仪，也可作相似的规定，例如只有数据库管理员能够使用打印机或绘图仪输出报表或图纸，其他用户则没有此项权限。

考虑到80%以上的信息泄漏是由于内部因素引起的，在为用户提供的解决方案中集成了网络数据传输加密措施，对所有经由网络传送的业务数据和GIS空间数据，无论在局域网还是在广域网，都先进行三重DES加密后再发送。

（2）防火墙技术

Intranet和Internet的常用安全措施就是防火墙（Firewall）。防火墙由滤波器和网关（gateway）组成。滤波器的作用是阻止某些类型的通讯传输，而网关的作用是提供中继服务，以补偿滤波器的效应。典型防火墙的配置是用两个网关，外部滤波器保护网关免受来自外部的攻击。内部滤波器对一系列中间网关进行防卫，这些滤波器都是为了防止外界的攻击。滤波可分为三类：分组滤波、应用级滤波和线路滤波。

一般情况下，滤波器设置在本组织与外界之间，对于一些大的组织需要设置内部滤波器，将一些安全域和一般用户域隔离，也可对不同级别的安全域设置多个防火墙。

数据库系统的保密性和安全性

在网络化的信息系统中，数据可以分布在不同机器上，也可以集中到文件服务器或数据服务器中。在本系统中，主要采用大型关系数据库管理系统（RDBMS，如Oracle）管理空间和属性数据。

关系数据库管理系统（RDBMS）的特点是使得数据具有独立性，并且提供对完整性支持的并发控制、访问权限控制、数据的安全恢复等。

（1）并发控制

数据的集中导致并行事务处理的出现，相同的数据有可能被两个或两个以上的事务同时存取。为防止并发存取对数据完整性的危害，应采取措施保证无误无冲突地工作。基于隔离控制原理，这些措施使得每个用户在进行事务处理时，都觉得整个数据库为其独占。

具体地说：当某个数据项被某项事务修改时，它只能被其他事务读取，而不能修改，以免发生冲突。

对于GIS空间数据库，采用锁的机制可保护数据完整性。锁的粒度取决于数据库的实现方法。基于图幅的组织方式时，整个图幅可为一个锁单元，无缝组织时，单个要素作为锁单元。采用文件系统组织GIS数据时，整个文件只能有一项事务进行修改，其他事务可读取。最理想的锁粒度应该是数据库中的单个要素，但这要求空间数据库有非常强的功能才行。

由于GIS空间数据的修改需要较长的操作时间，因此ArcGIS提供基于版本的长事务处理机制。当对同一个区域内的GIS空间数据进行修改时，可产生不同的版本，在版本合并时，通过版本检测手段找出发生冲突的地方，由人工来进行仲裁，这就避免了空间数据不一致情况的产生。

当图形数据和属性数据分开存储时，并发存取还要保证两边的一致性，所以要同时锁住图形数据和属性数据。

（2）数据存取控制和权限设置

A.存取控制

存取控制实为授权机制，它规定某个范围内的数据，在何种条件下，准许何种操作。

数据库用户分为系统管理员、数据库管理员、数据图形维护人员、数据库属性维护人员、数据分发服务人员、系统开发人员、特别授权用户和一般用户等。

对每种数据都要定义用户权限表，只有指定的用户才能进行相应的操作。用户权限是由数据库管理员来设定的。即：每一个用户的职责与数据库管理制度相一致。

用户分级采用三级访问权限：操作系统级、数据库级、数据级。用户权限采用动态设置，经审批后由数据库管理员设定；由数据库管理员承担起用户权限设置的严格职责。一个数据库用户可以拥有多于一个的访问权限。使用数据库时按规定使用不同的账号。对于数据库的操作可分为：拥有、只读、只写、读写、删除等。

B.空间数据权限控制

空间数据在存取控制上又有其专门特点。数据控制可以是基于空间范围的，也可以是要素类的。有些区域对某些用户是开放的，对其他用户关闭；而有些要素只对某些用户是开放的，因此其存取控制可用一个三元组的来表示，即（范围、要素、权限）。

空间要素（或称地物类）是空间数据库管理的最小单位，系统对图形数据的安全可以通过权限的设置，对数据进行保护。

空间数据库的图形数据权限设置：

?数据库中的图形权限设置按照数据库中的图层划分；

?数据库管理员和数据库维护员对所有的图层享有相应的控制权；

?数据库的使用人员一般对图形数据只有简单操作，如显示、查询。

空间数据库的属性数据权限设置：

?数据库中的属性权限设置按照数据库中的属性表进行划分；

?数据库管理员和数据库维护员对所有的属性表享有相应的控制权；

?数据库的使用人员一般对属性表只有简单操作，如显示、查询。

由于范围表现出地理空间特性，可表达为权限控制图层。地理信息应用平台（DGP）可通过增加权限控制图层，实现对其他空间图层要素的权限控制的。

（3）信息保密

对需要保护的数据首先进行加密，这个工作可以在数据管理软件的内部完成，即对客户端需要读取的数据在服务端先加密再发往客户端，也可在数据管理软件和通信软件之间加入一个加密软件来完成，即对数据管理软件与通信信道之间流通的信息进行加密。客户端则对授权用户采用相应的解密措施，在客户端软件中实施解密或在通信软件和客户端软件之间加入解密软件。

对网上传送的所有数据都提供三重DES加密再传送的机制，以保证数据传输的安全性。

（4）口令保护

对授权用户分配各自的口令，在系统登录模块中加入了一个用户口令识别模块，该模块通过对用户口令的识别来确定用户对数据的访问权限，用户一旦进入系统，系统先进行口令识别，对不同权限的用户，确定对数据存取的权限。口令法的优点在于软件比较简单，缺点是口令本身保密性不强。为了克服口令本身的保密性问题，对口令本身经过DES加密后再传送。

（5）数据库安全策略

在数据库管理方面，应制定完整的安全策略。例如在操作系统级，要规定详细的文件访问权限，并要求管理人员对其一一检查，以确保正确的数据文件访问限制。在数据库，对每个表空间、用户角色等，都要规定适当的访问权限。对数据库系统的主要安全隐患及其对策如下表所示。

软件安全

无论是系统软件还是应用软件，都要求可靠和强壮，从信息安全和保密角度考虑，软件安全主要有存取控制、信息流向控制、用户隔离及病毒预防等。

计算机系统最根本的安全措施为存取控制，即对程序执行期间使用资源合法性的检查。存取控制能制止因技术事故和蓄谋作案构成对信息的威胁，以保护信息机密性、完整性和可用性。在操作系统控制下的存取控制机构，可以授予和撤消用户对各种系统资源的占有权。

软件安全体系是对系统各层次的安全风险充分分析的基础上，结合成熟、先进的安全技术所构建的。由于客户端应用软件、中间件存在信息资源、服务对象、数据操作方式等方面的差异，其面临的安全性问题也有所不同，因而采用不同的安全对策。

数据平台系统项目-技术方案

数据平台系统项目-技术方案

数据平台项目

目录 第1章方案总述 (1) 1.1 前言 (1) 1.2 项目背景 (1) 1.3 项目目标 (2) 1.4 项目建设原则 (2) 第2章系统建设规划 (3) 2.1 项目建设目标的理解 (3) 2.1.1 项目建设范围 (3) 2.1.2 项目建设内容 (3) 2.2 分行数据平台的建设目标 (4) 2.2.1 分行数据平台一期建设目标 (5) 2.2.2 分行数据平台二期建设目标 (5) 第3章整体设计方案 (5) 3.1 系统设计方法论 (5) 3.1.1 方法论 (5) 3.1.2 设计原则 (6) 3.2 数据平台技术体系 (11) 3.2.1 数据平台逻辑架构 (11) 3.2.2 数据采集设计 (14) 3.3 数据平台数据体系 (19)

3.3.1 数据架构设计 (19) 3.3.2 数据模型设计 (21) 3.3.3 灵活查询功能架构 (29) 3.3.4 数据备份与恢复 (29) 3.4 数据平台应用体系 (32) 3.4.1 统一报表平台 (32) 3.4.2 数据图表化展示 (82) 3.5 数据平台设计关键点 (90) 3.5.1 数据平台性能保障 (90) 3.5.2 时间窗口 (98) 3.5.3 备份策略 (99) 3.5.4 数据模型的历史数据存储 (99) 3.5.5 源系统变更影响分析 (101) 第4章软件及推荐硬件设备配置方案 (102) 4.1 系统软件方案 (102) 4.1.1 统一报表平台 (103)

第1章方案总述 1.1前言 我们衷心感谢贵行给予我们这样一个很好的机会，可以为贵行的数据平台建设提供技术解决方案和项目实施方案的建议书，并通过我们的方案建议书为及其应用系统的建设提供帮助。 我们期盼与贵行共同努力，以我们在兄弟分行和其他银行实施同类项目的经验以及我们使您的愿景变成现实的能力，为贵行IT建设增添一个新的里程碑，也为我们与贵行的真诚合作启动一个良好的开端。 该项目除了可以用宇信易诚所具有的经验和技术为贵行提供帮助外，我们认为这也是一个与贵行建立长期战略合作关系的宝贵机会。我们为这个目标所做出的努力正反映了这一点，我们愿意建立一个灵活的商务策略，和服务质量有竞争力的专家团队来满足贵行的需要。 1.2项目背景 随着贵行业务的快速发展，信息系统不断增多，业务数据量的规模也在急速膨胀。分行数据整合平台作为贵行的数据整合中心，需紧密衔接

大数据分析平台技术要求

大数据平台技术要求 1.技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： ?采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 ?实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 ?采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，

支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一的 数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE）的 结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。

大数据平台建设方案

大数据平台建设方案 （项目需求与技术方案） 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发

展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。

数据管理系统项目技术方案书

生产计划调度及质量管理和化验室数据管理系统（MES） 技术方案书

文档履历

目录 一、项目背景和涵盖范围 (1) 1.1项目背景 (1) 1.2涵盖范围 (2) 1.3系统功能定位 (2) 1.4系统设计原则 (3) 1.5系统实施原则 (4) 1.5.1 采用先进管理模式 (4) 1.5.2 建立实用的信息系统 (4) 1.5.3 系统的综合考虑 (4) 二、前提条件及项目需求 (6) 2.1主要业务需求 (6) 2.1.1 生产作业计划 (6) 2.1.2 生产调度 (7) 2.1.3 质量管理 (7) 2.1.4 实绩收集 (8) 2.1.5 库存管理 (8) 2.1.6 物流跟踪 (8) 2.1.7 化验室管理 (9) 2.1.8 统计分析 (9) 2.2详细业务需求 (9) 三、系统解决方案和目标 (10)

四、软件系统设计方案 (12) 4.1系统软件功能列表 (13) 4.2质量管理系统 (16) 4.2.1 系统目标 (16) 4.2.2 标准管理 (17) 4.2.3 质量设计 (18) 4.2.4 质量跟踪 (21) 4.2.5 质量判定 (24) 4.2.6 质量分析 (27) 4.2.7 质量管理界面例图 (28) 4.3生产计划管理 (30) 4.3.1 系统目标 (30) 4.3.2 功能结构图 (31) 4.3.3 概要说明 (31) 4.3.4 功能说明 (32) 4.3.5 生产作业流程说明 (35) 4.4炼钢调度 (41) 4.4.1 系统目标 (41) 4.4.2 涵盖范围 (41) 4.4.3 主要业务 (42) 4.4.4 炼钢调度功能 (42) 4.4.5 炼钢异常处理 (43)

基于大数据的能力开放平台解决实施方案

基于大数据的能力开放平台解决方案

————————————————————————————————作者：————————————————————————————————日期：

基于大数据的能力开放平台解决方案 1 摘要 关键字：大数据经分统一调度能力开放 运营商经过多年的系统建设和演进，内部系统间存在一些壁垒，通过在运营商的各个内部系统,如经分、VGOP、大数据平台、集团集市等中构建基于ESB 的能力开放平台,解决了系统间调度、封闭式开发、数据孤岛等系统问题，使得运营商营销能力和效率大大提高。 2 问题分析 2.1 背景分析 随着市场发展，传统的开发模式已经无法满足业务开发敏捷性的要求。2014 年以来，某省运营商经营分析需求量激增，开发时限要求缩短，业务迭代优化需求频繁，原有的“工单-开发”模式平均开发周期为4.5 天，支撑负荷已达到极限。能力开放使业务人员可以更便捷的接触和使用到数据，释放业务部门的开发能力。 由于历史原因，业务支撑系统存在经分、VGOP、大数据平台、集团集市等多套独立的运维系统，缺乏统一的运维管理，造成系统与系统之间的数据交付复杂，无法最大化 的利用系统资源。统一调度的出现能够充分整合现有调度系统，减少运维工作量，提升维护质量。 驱动力一：程序调度管理混乱，系统资源使用不充分

经分、大数据平台、VGOP、集团集市平台各自拥有独立的调度管理，平台内程序基本是串行执行，以经分日处理为例，每日运行时间为20 个小时，已经严重影响到了指标的汇总展示。 驱动力二：传统开发模式响应慢，不能满足敏捷开发需求 大数据平台已成为一个数据宝库，已有趋势表明，只依赖集成商与业务支撑人员的传统开发模式已经无法快速响应业务部门需求，提升数据价值。 驱动力三：大数据平台丰富了经分的数据源，业务部门急待数据开放 某省运营商建立了面向企业内部所有部门的大数据平台，大数据平台整合了接入B域、O 域、互联网域数据，近100 余个数据接口，共计820T 的数据逐步投入生产。大数据平台增强了传统经分的数据处理的能力，成为公司重要的资产，但是传统经分数据仓库的用户主要面向业支内部人员，限制了数据的使用人员范围和数据的使用频度，已经无法满足公司日益发展的业务需求，数据的开放迫在眉睫。 2.2 问题详解 基于背景情况分析，我们认为主要问题有三个： 1、缺乏统一的调度管理，维护效率低下 目前经分系统的日处理一般是使用SHELL 脚本开发的，按照串行调度的思路执行。进行能力开放后，目前的系统架构无法满足开发者提交的大量程序执行调度的运维需求。如果采用统一调度的设计思路则基于任务的数据表依赖进行任务解耦及调度，将大大简化调度配置工作和提高系统的

大数据分析平台的需求报告模板

大数据分析平台的需求报告 提供统一的数据导入工具，数据可视化工具、数据校验工具、数据导出工具和公共的数据查询接口服务管理工具是建立大数据分析平台的方向。 一、项目范围的界定 没有明确项目边界的项目是一个不可控的项目。基于大数据分析平台的需求，需要考虑的问题主要包括下面几个方面： （1）业务边界：有哪些业务系统的数据需要接入到大数据分析平台。 （2）数据边界：有哪些业务数据需要接入大数据分析平台，具体的包括哪些表，表结构如何，表间关系如何（区别于传统模式）。 （3）功能边界：提供哪些功能，不提供哪些功能，必须明确界定，该部分详见需求分析； 二、关键业务流程分析 业务流程主要考虑包括系统间数据交互的流程、传输模式和针对大数据平台本身涉及相关数据处理的流程两大部分。系统间的数据交互流程和模式，决定了大数据平台的架构和设计，因此必须进行专项分析。大数据平台本身需要考虑的问题包括以下几个方面： 2.1 历史数据导入流程 2.2 增量数据导入流程 2.3 数据完整性校验流程

2.4 数据批量导出流程 2.5 数据批量查询流程 三、功能性需求分析 3.1.历史数据导入3.1.1 XX系统数据3.1.1.1 数据清单 (3) 3.1.1.2 关联规则 (3) 3.1.1.3 界面 (3) 3.1.1.4 输入输出 (3) 3.1.1.5 处理逻辑 (3) 3.1.1.6 异常处理 (3) 3.2 增量数据导入3.3 数据校验 3.4 数据导出 3.5 数据查询 四、非功能性需求 4.1 性能

4.2 安全性 4.3 可用性 … 五、接口需求 5.1 数据查询接口 5.2 批量任务管理接口 5.3 数据导出接口 六、集群需求 大数据平台的技术特点，决定项目的实施必须考虑单独的开发环境和生产环境，否则在后续的项目实施过程中，必将面临测试不充分和性能无法测试的窘境，因此前期需求分析阶段，必须根据数据规模和性能需求，构建单独的开发环境和生产环境。 6.1开发环境 6.1.1 查询服务器 6.1.2 命名服务器 6.1.3 数据服务器 6.2 生产环境 6.2.1 查询服务器

大数据平台建设方案

大数据平台建设方案 (项目需求与技术方案) 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌,信息化应用进入一个“新常态”。***（某政府部门)为积极应对“互联网＋”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督,建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。 1、制定统一信息资源管理规范,拓宽数据获取渠道，整合业务信

息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性,编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。

广州科技网网络平台数据备份系统项目说明书

广州科技网网络平台数据备份系统项目说明书集团标准化小组：[VVOPPT-JOPP28-JPPTL98-LOPPNN]

广州科技网网络平台数据备份系统项目说明书 广州科技网是由广州市科技局主办、广州生产力促进中心承办的面向政府管理部门、科研事业单位和企业的科技信息网络系统，是国家和广州地区信息基础设施建设的组成部分，是广州市国民经济与社会信息化的重点工程之一。 广州科技网以促进科技交流、推动科技发展为宗旨，以宣传推广广州地区科技发展、科技创新、科技开发、科技成果应用为主要内容，为社会各界提供内容广泛的世界各地科技发展和应用的最新动态信息，为各机关企事业单位提供比较全面的科技信息资源服务，是科技局对外信息发布的一个重要窗口，也是科技局电子政务应用的主要网站。广州科技网已具备信息发布、信息检索、信息处理、网上政务、企业信箱、视频点播等服务功能。 广州科技网建成于2000年，随着网站服务功能的不断增加，对外服务的要求越来越高，原有的备份方式在可靠性、扩展性和服务性能方面已经逐渐不能满足未来广州科技网发展需要。因此，广州科技信息网络中心拟对广州科技网的数据备份系统进行更换和数据迁移，并以这次工程作为契机，征集国内具备相应技术服务与支撑能力的单位，作为广州科技网数据备份系统服务的长期技术支持合作单位。 以下将针对本项目提出详细的服务和功能要求。 1.项目名称 广州科技网网络平台数据备份系统 2.项目目的 在广州科技网网络平台现有IT环境基础上建设系统成熟稳定、技术先进、功能完善、性能优良、安全性高、易于管理及维护的集中数据备份系统，实现广州科技网网络平台上所有主要服务器数据的统一备份管理。 3.项目背景和需求 广州科技网网络平台上目前的IT基础网络结构环境如下图所示： 广州科技网网络结构图 整个广州科技网网络平台被分为对外服务网、中心内部网、虚拟主机子网和培训子网四个部分，各子网主要功能以及服务器环境如下： 对外服务网

工程大数据分析平台

工程大数据分析平台 随着大数据时代来临、无人驾驶和车联网的快速发展，汽车研发部门需要处理的数据量激增、数据类型不断扩展。相关数据涵盖车内高频CAN 数据和车外ADAS 视频非结构化数据、位置地理空间数据、车辆运营数据、用户CRM 数据、WEB 数据、APP 数据、和MES 数据等。 在此背景下，整车厂研发部门关心的是：如何将企业内部的研发、实验、测试、生产数据，社会用户的用车数据，互联网第三方数据等结合起来，将异构数据和同构数据整合到一起，并在此基础上，实现业务系统、分析系统和服务系统的一体化；怎样利用深度的驾驶员行为感知、智能的车辆预防性维护、与实时的环境状态交互，通过大数据与机器学习技术，建立面向业务服务与产品持续优化的车联网智能分析；最终利用数据来为产品研发、生产、销售、售后提供精准的智能决策支撑。这些都是整车厂在大数据时代下亟待解决的问题。 针对这一需求，恒润科技探索出以EXCEEDDATA 大数据分析平台为核心的汽车工程大数据整体解决方案。借助EXCEEDDATA 大数据分析平台，企业可以集成、处理、分析、以及可视化海量级别的数据，可实现对原始数据的高效利用，并将原始数据转化成产品所需的智能，从而改进业务流程、实现智慧决策的产业升级。 产品介绍: ●先进的技术架构 EXCEEDDATA 采用分布式架构、包含集成处理（ETL）与分析挖掘两大产品功能体系，共支持超过20 多个企业常见传统数据库和大数据源系统，超过50 多个分析处理算法、以及超过丰富的可视化智能展现库。用户可以自主的、灵活的将各种来源的原始数据与分析处

理串联应用，建立科学的数据模型，得出预测结果并配以互动的可视化智能，快速高效的将大数据智能实现至业务应用中。 平台包括分布式大数据分析引擎、智能终端展示、以及API。大数据分析引擎为MPP 架构，建立在开源的Apache Hadoop 与Apache Spark 之上，可简易的scale-out 扩展。在分析引擎的基础上包含数据源库、数据转换匹配器、数据处理操作库、机器学习算法库、可视化图形库等子模块。智能终端展示为行业通用的B/S 架构，用户通过支持跨操作系统和浏览器的HTML5/JS 界面与API 来与平台互动。

大数据平台的软件有哪些

大数据平台的软件有哪些？ 查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC 结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix最值得关注的一些特性有：?嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API?可以通过多部行键或是键/值单元对列进行建模?完善的查询支持，可以使用多个谓词以及优化的扫描键?DDL支持：通过CREATE TABLE、DROP TABLE及ALTER TABLE来添加/删除列?版本化的模式仓库：当写入数据时，快照查询会使用恰当的模式?DML支持：用于逐行插入的UPSERT V ALUES、用于相同或不同表之间大量数据传输的UPSERT ?SELECT、用于删除行的DELETE?通过客户端的批处理实现的有限的事务支持?单表——还没有连接，同时二级索引也在开发当中?紧跟ANSI SQL标准二、Stinger 简介：原叫Tez，下一代Hive,Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL，其主要

优点包括：?让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能，支持WHERE查询，让Hive 的样式系统更符合SQL模型。?优化了Hive请求执行计划，优化后请求时间减少90%。改动了Hive执行引擎，增加单Hive任务的被秒处理记录数。?在Hive社区中引入了新的列式文件格式（如ORC文件），提供一种更现代、高效和高性能的方式来储存Hive数据。?引入了新的运行时框架——Tez，旨在消除Hive的延时和吞吐量限制。Tez通过消除不必要的task、障碍同步和对HDFS的读写作业来优化Hive job。这将优化Hadoop内部的执行链，彻底加速Hive负载处理。三、Presto简介：Facebook开源的数据查询引擎Presto ，可对250PB以上的数据进行快速地交互式分析。该项目始于2012 年秋季开始开发，目前该项目已经在超过1000 名Facebook 雇员中使用，运行超过30000 个查询，每日数据在1PB 级别。Facebook 称Presto 的性能比诸如Hive 和Map*Reduce 要好上10 倍有多。Presto 当前支持ANSI SQL 的大多数特效，包括联合查询、左右联接、子查询以及一些聚合和计算函数；支持近似截然不同的计数(DISTINCT COUNT)等。四、Shark简介：Shark即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD 操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark

数据管理平台建设方案

数据管理平台建设方案 Document number：NOCG-YUNOO-BUYTT-UU986-1986UT

数据管理平台建设方案 目录 一、数据管理平台项目概述 建立韶关市中小科技企业数据库。韶关市中小科技企业数据库主要收录韶关市科技中小企业的财务数据、治理数据等涉及企业经营和管理的相关的数据，以便为政府决策提供参考。 韶关市中小科技企业数据库的项目建设包括硬件部分和软件部分建设。软件部分建设方面，韶关市科技金融综合服务中心希望能建设成一套综合性的数据管理平台。该数据管理平台的建设以搭建中心与企业桥梁为目标，以提供专业化服务平台为导向，应具备高性能、高安全性、高可靠性、可扩展性、高可用性，便于将来拓展和进一步改造。 二、总体设计 需求概述 1、功能性需求 数据管理平台采用B/S模式，业务操作简单、扩展方便。平台用户群体主要是企业用户与管理员。平台分为前端、后端，具备展示、操作、分析等功能，可以满足服务中心一整套的数据采集、管理、展示及分析需求，具体包含以下模块： ?录入系统

录入系统是录入数据的源头，本着方便录入人员界面录入操作的原则设计，更有效提高数据录入效率。录入系统的数据除了人工录入外，还有一部分通过自动化配置导入的方式，配合人工录入，提高效率。 ?内容发布系统 用户根据需要查询、发布、修改、删除科技金融服务中心的新闻、公告。 并在前端展示。 ?信息检索系统 点击“表”进入检索界面，会员可进行“企业筛选”、“时间筛选”、“字段选 择”、“条件筛选”，快速定位需要数据。 ?元数据管理系统 是韶关市中心企业库的信息目录，用户可很快捷地查询出相关库的信息及与该库相关的流入流出。元数据管理主要是针对韶关市科技金融服务中心的各种元数据进行管理，主要包括元数据的查询，新增，修改，删除。通过建设元数据系统，拥有统一、标准、规范化的库信息，并在所有数据流程中实现有效管理，降低维护成本与资源内耗。 ?数据质检系统 财务数据质检与自动化质检配置结合，用户提交数据同时根据已配置的质检关系将通过质检数据入库，展现用户。为通过质检数据显示在质检不通过列表中根据已配置的质检关系显示对应的错误信息，用户根据错误信息修改数据再次提交质检。 ?配置管理系统

智慧社区大数据分析平台项目建设方案

智慧社区大数据平台建设方案

目录 1.智慧城市介绍 (8) 1.1智慧城市建设背景 (8) 1.2建设目标 (8) 1.3参考资料 (9) 2.项目需求分析 (11) 第2章 (11) 2.1智慧城市服务信息化业务需求分析 (11) 2.2智慧城市建设要求分析 (13) 2.2.1功能需求分析 (14) 2.2.2性能需求分析 (20) 2.2.3项目建设难点和对策分析 (21) 3.项目总体架构设计 (22) 第3章 (22) 3.1总体设计思路 (22) 3.1.1开放平台及应用整合 (22) 3.1.2安全与隐私 (23) 3.1.3可控的技术体系 (23) 3.1.4整合资源提供便民服务 (23) 3.1.5面向运营的推广思路 (24) 3.2建设原则 (24) 3.3总体架构 (26) 3.3.1软硬件基础设施 (26) 3.3.2数据资源 (27) 3.3.3应用支撑 (27) 3.3.4社区业务开发运行平台 (28) 3.3.5业务应用 (29) 3.3.6系统门户（访问渠道） (30) 3.3.7支撑体系（信息安全与标准规范体系） (30) 3.4技术架构 (30) 3.4.1基础服务 (31) 3.4.2平台服务 (31) 3.4.3数据服务 (32) 3.4.4访问服务 (32) 3.4.5应用开发框架 (32) 3.4.6安全体系 (33) 3.5信息资源架构 (35) 3.5.1建设原则 (35) 3.5.2架构体系 (35) 3.6集成架构 (64) 3.6.1应用集成平台 (65) 3.6.2系统集成整合 (69) 3.7网络拓扑结构 (73) 3.8运维体系 (73) 4.社区人房关系验证和接口系统 (75) 第4章 (75) 4.1系统概述 (75) 4.2系统架构 (75)

兖矿集团大数据平台建设

兖矿集团大数据平台建设 完成单位：兖矿集团有限公司 兖州煤业股份有限公司 兖矿集团信息化中心 西安兖矿科技研发设计有限公司 一、项目承担单位基本情况 兖矿集团是以煤炭、煤化工、电解铝及机电成套装备制造、金融投资等为主业的省属国有企业。兖州矿区开发建设始于1966年，1976年7月成立兖州矿务局，1996年3月整体改制为国有独资公司，1999年5月成立兖矿集团。 二、大数据平台建设背景 近年来，兖矿集团作为传统能源企业必须对企业管理方式、运营方式、发展方式、业务流程进行颠覆性创新。企业的战略转型，信息化是重要支撑，加强企业管控必须有可靠的内、外部数据支持，因此在集团层面进行数据整合、统一数据标准成为迫切的需求。 三、大数据平台建设基本情况 (一)项目建设思路及目标 兖矿集团大数据平台建设，以兖矿集团改建国有投资公司

战略发展规划为指导，首先对兖矿集团信息化进行高阶诊断及业务流程优化，针对集团公司在计划、财务、投资等业务管理领域的信息化建设现状进行诊断分析。 然后根据信息化建设高阶诊断结果,列出兖矿集团信息化建设与业务流程优化问题清单。依据问题清单对集团各业务部门流程进行优化，在此基础上，建设大数据软件平台，利用大数据技术对重点流程进行分析，为兖矿集团公司改革提供支持。 (二)项目建设主要内容 矿集团信息化经过多年的发展，各业务应用系统已经基本建设完成，具备了良好的数据基础。针对数据没有整合，业务流程没有优化这些需求，兖矿集团大数据平台的实施主要按照信息化高阶诊断与业务流程优化、大数据软件平台实施两大部分内容开展。 1、信息化高阶诊断与业务流程优化 通过信息化高阶诊断旨在发现现有信息化管控模式、业务能力是否能够支撑集团公司战略转型，存在哪些问题，并提出整改方案。 诊断过程主要按照现状调研、问题诊断、领先实践对比分析、提出改进方案、对改进方案进行优先级排序五个步骤进行。 现状调研以现场访谈与问卷调查为主，对18个集团总部部

大数据平台系统项目安全保障

大数据平台系统项目 安全保障 安全是系统正常运行的保证。根据本项目的业务特点和需要，以及现有的网络安全状况，建立一个合理、实用、先进、可靠、综合、统一的安全保障体系，确保信息安全和业务系统的正常运行。 一、规章制度建设 1.1机房管理制度 为保证系统每天24小时，全年365天不间断运行，加强防火、防盗、防病毒等安全意识，应该制定严格的机房管理制度，以下列出常见的机房管理方面的十条规定： （1）路由器、交换机和服务器以及通信设备是网络的关键设备，须放置计算机机房内，不得自行配置或更换，更不能挪作它用。 （2）要求上机工作人员严格执行机房的有关规定，严格遵守操作规程，严禁违章作业。 （3）要求上机工作人员，都必须严格遵守机房的安全、防火制度，严禁烟火。不准在机房内吸烟。严禁将照相机、摄像机和易燃、易爆物品带入机房。 机房工作人员要掌握防火技能，定期检查消防设施是否正常。出现异常情况应立即报警，切断电源，用灭火设备扑救。

（4）要求外来人员必须经有关部门批准，才能进入放置服务器的机房，一般人员无故不得在机房长时间逗留。 （5）要求机房值班人坚守工作岗位，不得擅离职守；下班时，值班人员要对所有计算机的电源进行细致的检查，该关的要切断电源，并检查门窗是否关好。 （6）双休日、节假日，要有专人检查网络运行情况，如发现问题及时解决，并做好记录处理，解决不了的及时报告。 （7）机房内所有设备、仪器、仪表等物品和软件、资料要妥善保管，向外移（带）设备及物品，需有主管领导的批示或经机房工作负责人批准。 制定数据管理制度。对数据实施严格的安全与保密管理，防止系统数据的非法生成、变更、泄露、丢失及破坏。当班人员应在数据库的系统认证、系统授权、系统完整性、补丁和修正程序方面实时修改。 （8）网管人员应做好网络安全工作，服务器的各种帐号严格保密。监控网络上的数据流，从中检测出攻击的行为并给予响应和处理。统一管理计算机及其相关设备，完整保存计算机及其相关设备的驱动程序、保修卡及重要随机文件，做好操作系统的补丁修正工作。 （9）保持机房卫生，值班人员应及时组织清扫。 （10）保护机房肃静，严禁在机房内游艺或进行非业务活动。

智慧城市运行大数据平台项目概述

智慧城市运行大数据平台项目概述 1.1项目名称 项目名称：西安市城市运行大数据平台。 1.2项目建设单位及负责人、项目责任人 项目建设单位：西安城市一卡通有限责任公司 负责人：马敏 项目责任人：陈凌霞 1.3可研报告编制单位 可研报告编制单位：陕西省信息化工程研究院 1.4可研报告编写依据 （1）《关于加强信息资源开发利用工作的若干意见》（中办发〔2004〕34号）； （2）《国家信息化领导小组关于推进国家电子政务网络建设的意见》（中办发〔2006〕18号）； （3）《关于<印发国家电子政务总体框架>的通知》（国信〔2006〕2号）； （5）《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》；

（8）《关于信息安全等级保护工作的实施意见》（公通字〔2004〕66号文）； （9）《GBT17859计算机信息系统安全等级保护标准》； （10）《信息系统安全等级保护实施指南（征求意见稿）》。 （11）《陕西省工业和信息化厅专题会议纪要》（第7次，2012年7月24日）； （12）《陕西省工业和信息化厅关于成立西咸大数据处理与服务产业园区筹建工作组的通知》（陕工信发〔2012〕339号） （13）《促进大数据发展行动纲要》（国发〔2015〕50号）（14）《关于促进云计算创新发展培育信息产业新业态的意见》（国发〔2015〕5号） （15）《陕西大数据产业发展战略》 （16）《沣西新城大数据处理与服务产业园发展规划》 （17）《大数据与云计算产业发展五年行动计划》 （18）《大数据与云计算产业示范工程实施方案》 1.5项目建设目标、规模、内容、建设期 1.5.1建设目标 依托西安城投集团及下辖一卡通、燃气、供水等18个企业的信息化建设成果，先期以西安城市一卡通为基础面向集团18个子公司的现有各类业务系统数据进行整合归集，

生产企业大数据平台建设项目建议书

大数据平台建设项目建议书

目录 第一章、项目背景..................... 错误!未定义书签。第二章、项目思路..................... 错误!未定义书签。第三章、建设内容与方案............... 错误!未定义书签。第四章、时间进度..................... 错误!未定义书签。第五章、项目预算..................... 错误!未定义书签。第六章、企业效益及社会效益........... 错误!未定义书签。第七章、结论......................... 错误!未定义书签。

第一章、项目背景 企业对信息化工作历来较为重视，也是省内较早开始实施信息化的大型企业。目前已经建成财务系统、生产调度系统、农务系统、供应链系统等:调度系统，2015年公司共投资了175万元，按集团分步建设、逐步投入的规划，完成了系统基本硬件与亚控平台软件的结合，构建了一个以明阳糖厂生产调度指挥中心为核心，生产信息能够上至集团，下至车间的生产调度网络系统。 农务系统，2005年开始实施，经过多次升级，现涵盖了计划、报蔗、派车、质检、过磅、结算、短信管理、移动应用等一系列模块，覆盖公司4家直属糖厂和大桥制糖公司，实现了农务统一的信息化管理。 供应链系统，利用用友NC供应链系统，以公司存货管理为核心的采、供、销、存供应链管理平台，实现物资、仓储、供应、销售、物流一体化业务协同处理平台，建立了公司对各直属厂工作的监督平台，总部可以实时对下属各公司的工作进行监督，实时对各公司的具体业务执行情况进行查看，及时的对下属公司进行指导和监督。 尽管在两化融合及企业信息化方面已取得了相当的成效，但在实际应用过程中仍然存在一些较为显著的问题。 （一）总部与下属糖厂未实现完全的集约管理 a)企业在原先六家糖厂的基础上，又收购了三博公司五家糖厂。三博五厂 由上海迁回南宁，在宜州设立管理下属五厂的二级管理总部。 b)从系统部署上分析，企业总部与原先六厂为一套架构，而三博总部与下 属五厂为一套架构，各自独立，暂未整合为一体。 c)为了保证各糖厂生产的稳定，企业总部与下属六厂之间仅在NC供应链、 OA、财务、人力等系统方面实现了集约管理，农务管理系统、生产调度 系统以及化验系统均由各厂自建，因此出现各厂建设系统的厂家不同， 使用的系统版本不同等现象。三博总部与下属五厂的关系亦如此。（二）总部及各厂之间的数据共享有限 a)由于大多数生产相关的系统均为各厂自建，因此不管是企业总部，或者

国土资源局“一张图”数据管理及服务平台建设项目技术要求

**市国土资源局“一张图”数据管理及服务 平台建设项目技术要求 1.主要技术参数要求 1.1.采购内容 类别项目 1.1.1数据库国土资源“一张图”数据库建设 1.1.2应用系统“一张图”数据管理系统 国土资源监管指标综合分析系统“一张图”数据应用服务系统“一张图”数据共享服务系统 1.1.3软件平台FME Server 2009 TerraExplorer Pro + TerraGate + Internet License (25 users ) GeoMedia SDI Pro GeoMedia WebMap（Small升级到Medium） 1.2.平台建设目标与任务 **市国土资源“一张图”是指基于统一的地理空间框架，面向国土资源监管和服务目标，集成管理土地资源、矿产资源和地质环境等各类数据的多源数据集。 1.2.1.建设目标 基于统一的地理空间框架，涵盖土地资源、矿产资源、地质环境等国土资源基础数据和专题数据，建立并更新全市国土资源“一张图”数据库；全面、及时、准确地掌握国土资源的真实现状，为国土资源业务应用系统提供统一的数据应用服务，对国土资源规划、保护和开发利用情况进行全程监管，同时为

各级政府部门、企事业单位和个人提供多用途、多功能的数据共享和信息服务。 1.2.2.建设任务 1、制定全市国土资源“一张图”数据库标准和建库规范，包括“一张图”数据分类、数据内容、数据来源和数据用途； 2、全面收集和整理全市国土资源各类业务数据，按照掌握国土资源“总量、结构、布局和时序”的要求，建立各类业务数据的关联关系，形成国土资源“一张图”数据库； 3、构建国土资源监管指标体系，通过数据分析工具提取和展示各类指标数据，实现对国土资源规划、保护和开发利用的全程监管； 4、开发国土资源“一张图”数据管理系统，实现各类国土资源业务数据的存储、管理、应用和动态更新； 5、开发国土资源“一张图”数据服务系统，对内实现国土资源“一张图”的数据共享，对外为其他政府部门、企事业单位和个人提供方便、快捷的信息服务。 1.3.平台建设内容 “一张图”数据管理及服务平台分为“一库四系统”，即“一张图”数据库、“一张图”数据管理系统、国土资源监管指标综合分析系统、“一张图”数据应用服务系统和“一张图”数据共享服务系统。 1.4.“一张图”数据库介绍 按照**市国土资源局“一张图”数据库建设应用和管理需求，制定“一张图”数据采集和建库技术标准。对不同种类、内容、来源和用途的各类数据进

企业大数据案例分析(公司大数据、集团大数据)

企业大数据案例分析

目录 1中国联通大数据平台 (4) 1.1项目概述 (4) 1.2项目实施情况 (5) 1.3项目成果 (10) 1.4项目意义 (11) 2恒丰银行大数据平台 (12) 2.1项目概述 (12) 2.2项目实施情况 (15) 2.3项目成果 (21) 2.4项目意义 (21) 3华通CDN运营商海量日志采集分析系统 (24) 3.1项目概述 (24) 3.2项目实施情况 (24) 3.3项目成果 (28) 3.4项目意义 (28) 4案例总结 (30)

1中国联通大数据平台 联通XX公司公司按照工信部的的要求（见《工业和信息化部、国务院国有资产监督管理委员会关于开展基础电信企业网络与信息安全责任考核有关工作的指导意见》和《工业和信息化部办公厅关于印发<2013年省级基础电信企业网络与信息安全工作考核要点与评分标准>的通知》），于2013年启动IDC/ISP日志留存系统的建设，其中XX 公司侧的集中留存系统软件由联通研究院负责开发。为了满足海量数据条件下的处理效率的要求，XX公司侧集中留存系统软件除研究院自主开发外，基于Hadoop的数据存储部分计划进行外包，通过软件技术服务，来进行系统优化和维护支撑。 1.1项目概述 目前，联通XX公司公司全国IDC出口的访问日志预计两个月产生的数据量约20 PB至30PB，每秒写入大概6千万至7千万条数据，在如此巨大的数据量下，原有Ter adata和Oracle已经不能满足快速读写的性能要求了。同时为了实现快速检索以及分析处理的性能要求，需要引入分布式大数据平台，利用分布式文件存储系统，提高数据的存储入库能力，利用Hadoop/HBase架构克服磁盘I/O瓶颈导致的数据读写延迟；基于联通IDC出口流量详单数据进行快速存储和检索以及分析处理，同样要求数据处理平台具备快速读写的高性能。 中国联通公司全国IDC日至留存项目对分布式集群的要求非常高： (1)日志数据量非常大，存储的总日志数据量将达到20PB-30PB。 (2)要求集群的数据吞吐量非常高，每秒的日志写入量将达到6千万至七千万条，

大数据分析平台技术要求

大数据平台技术要求 1. 技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： 采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，

支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一 的数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE） 的结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。