基于数据湖架构的时空大数据与云平台解决方案-陈雯雯

基于数据湖架构的时空大数据平台解决方案北京捷泰天域信息技术有限公司陈雯雯

地市级平台

区县级平台

省级平台

陕西、辽宁、云南安徽、上海、重庆贵州、湖北、吉林

广西、青海、新疆

乌鲁木齐、厦门、哈尔滨、抚顺、葫芦岛、济南、讷河、庆阳、长春、保定、崇左、大连

、丹东、抚州、阜新、三亚、衡阳、吉安、嘉峪关、镇江、金昌、锦州、景德镇、酒泉、龙岩、满洲里、宁德、石嘴山、泉州、上饶、梧州、五指山、银川、鹰潭、遵义

福鼎、德化、上杭、永定、古田、广州市花都区、哈密市伊州区、井冈山

、平罗、铅山、寿宁、泰和、万安、万年、武夷山、新源、盐池

?地理信息公共服务平台

?时空信息云平台

?云南省时空信息云平台

?浙江省时空大数据云平台?智慧宁波时空大数据与云平台

?智慧新余时空大数据与云平台

?智慧南平时空大数据与云平台

?智慧南昌时空大数据与云平台?智慧济南时空大数据与云平台?智慧东莞时空大数据与云平台?浦东新区时空大数据与云平台?……

智慧城市时空大数据平台建设进展

2012 2015 2017

《关于开展智慧城市时空信息云平台建设试点工作的通知》

《智慧城市时空信息云平台建设试点技术指南》

《智慧城市时空信息云平台建设技术大纲》

《智慧城市时空信息云平台评价指标体系》

《智慧城市时空大数据与云平台建设技术大纲》（2017版）

《关于加快推进智慧城市时空大数据与云平台建设试点工作的通知》启动

2013指南

大纲

体系

更新

推进

更新

2019《智慧城市时空大数据平台建设技术大纲（2019版）》

智慧城市时空大数据平台建设技术大纲（2019版）

?智慧城市时空大数据平台是基础时空数据、公共管理与公共服务涉及专题信息的“最大公约数”（简称公共专题数据）、物联网实时感知数据、互联网在线抓取数据、根据本地特色扩展数据，及其获取、感知、存储、处理、共享、集成、挖掘分析、泛在服务的技术系统。连同云计算环境、政策、标准、机制等支撑环境，以及时空基准共同组成时空基础设施。

业务模式

GIS云架构设计与落地多源异构时空大数据资源的整合汇聚与一体化管理

时空信息云服务平台

的搭建

应用集成与智能决策

解决方案

应用服务层

领导决策

服务资源池

服务平台层

数据层（数据湖）

基础设施层

统一云计算中心

安全保障体系?标准规范体系

虚拟化/容器

软件定义存储

软件定义网络

多源异构数据汇聚引擎

数据区

矢量数据资源池栅格数据资源池

实时数据资源池归档数据资源池

分析处理区

矢量大数据分析引擎栅格大数据分析引擎实时大数据分析引擎

业务流引擎

模型算法库

地表形变监测影像变化监测城市体检……

数据管理系统

云平台运维管理系统

时空信息基础服务

定制化业务专题服务影像在线处理分析服务云GIS 应用环境租用服务应用系统快速搭建服务

数据共享交换服务

大数据分析挖掘服务

大数据可视化服务

开发接口服务

时空信息云平台门户

城市治理

行业应用

公众生活

一云

一湖

一平台

N 应用

一云：统一的云计算中心

依托统一云计算环境建设的集约模式

?建立全市统一的云计算中心，面向全市各部门

提供统一的云服务

?全市所有新建应用系统及非涉密时空大数据平

台，都应部署于统一云计算环境

在IaaS之上建立云GIS PaaS平台

?依托统一的云计算环境向业务部门用户开放私有的时空数据处理、存储、分析、服务器集群等GIS软硬件资源服务。

异构IaaS平台适配

?资源池化机制：不同的应用场景分配不同的云GIS资源池规划；不同的组织账户分配不同的云GIS资源。

?多租户隔离机制：GIS计算资源、存储资源安全隔离。

?云平台监控策略：不同角色均可以实时监控各类云GIS资源。

?云GIS资源交付能力：分钟级交付云GIS资源

，弹性动态地调整计算资源。

多租户：广东省地理信息公共服务云平台建设

?

面向用户：01-诚脉地理咨询；02-珠海市源莱宝网路科技有限公司；03-广州畅优科技有限公司；04-广州畅宝网科技有限公司；05-广东省应急研究中心；06-广州地理研究所

?服务方式：广州地理所统一建设，对各公司部门以租用的方式提供云服务。

?云底层：VMware vSphere6.0虚拟化+OpenStack （亿讯）?

现行规模：37个云桌面，5个云集群，7个租户，80个用户数以上。

业主单位：广州地理研究所

?硬件规模：3500vCPU ，10TB 内存，10TB 存储；?服务规模：1000个；站点数10个以上?用户规模：测试1000并发

?云底层：华为FusionCompute 虚拟化+ManageOne3.0；共享存储：华为NAS5500V3

业主单位：贵州省自然资源厅

大规模GIS 服务支撑：贵州省国土云一体化云思想：衡阳市县一体化云平台建设

?服务方式：市级统一建设的一体化云GIS 平台，面向各县级提供云服务。?

服务类型：01-县级公共平台服务；02-云服务器服务；03-云存储服务；04-云GIS 集群服务；05-云GIS 数据库服务；06-云GIS 桌面服务。?

云底层：VMware vSphere6.0虚拟化+VMware vCloud Director5.5

业主单位：衡阳市自然资源和规划局

?开放性定制服务：第三方站点接入，实现第三方站点在GIStack 中的交付。?时空大数据云平台：地理大数据可视化展示?云底层：阿里公有云

业主单位：浙江省测绘科学技术研究院

多类型云GIS 资源交付：浙江省时空大数据云平台

一湖：时空信息数据湖

数据湖的起源

“三驾马车”论文催生

Hadoop 和HBase

传统的Hadoop(HDFS+MapReduce)的计算存储一体化的方式面临收益上的瓶颈，大数据框架走向存储和计算分离

的架构

2011年，“数据湖”概念的提出，核心：支持异构数据的汇聚、异构数据分析框架的融合

典型数据湖架构的逻辑组成

数据湖数据汇集

处理&分析

数据分类、编目数据管理

数据可视化

数据湖架构可以在一个集中式存储位置安全地存储、分类和

分析所有数据，且数据可以按照原始格式存储而无需转换为预定义结构。

时空大数据的构成

?

数据体系：从静态走向动态，从测绘为主到多专题汇集，打造涵盖地上、地表、地下，呈现过去、现在、未来的时空大数据体系。

3

2

1

4

来自设备

?遥感卫星数据?大小飞机数据?视频监控数据?气象台站数据?空气质量数据?传感器类数据?车辆GPS 数据

?手机信令数据

来自人

?基础测绘数据?社会统计数据?问卷调查数据?规划设计数据?行为记录数据?社交网站数据来自系统

?业务系统数据?办公文档资料?网页资料数据?交易往来数据?系统日志数据

数据入湖：多源异构数据汇聚

矢量数据时空信息数据湖

数据库IoT 实时采集

网络爬虫接口文件

原始影像成果影像

三维模型

实景数据激光点云实时数据文档资料

……

RDBMS 应用系统多类型文件系统GPS

官网/论坛/自媒体IoT

WebService

离线数据采集

数据池设计

混合多态存储与统一存储管理

统一存储管理

成果数据区

基础类

专题类

管理类

生

产

与

管

理

数

据

区

规划

……

审批

档

案

证

照

数

据

区

档案

证照

办事

材料

栅

格

数

据

区

影像

栅格

切片

数

据

挖

掘

分

析

区

指标

数据

模型

数据

索

引

区

元

数

据

索

引块存储

（关系型数据库+SDE）

对象存储分布式存储

（HDFS）

索引存储

（ES）

配

置

文

件

区

站

点

配

置

文

件

共享文件

存储(NAS)