某某银行数据仓库建设项目方案说明
XX 银行
EDW/ 数据仓库项目方案
目录
第一章系统总体架构 (5)
1.1总体架构设计概述 (5)
1.1.1 总体架构的设计框架 (5)
1.1.2总体架构的设计原则 (6)
1.1.3总体架构的设计特点 (7)
1.2 EDW执行架构 (7)
1.2.1执行架构概述 (8)
1.2.2执行架构设计原则 (8)
1.2.3执行架构框架 (9)
1.3 EDW逻辑架构............................................ 1 8
1.3.1逻辑架构框架.......................................... 1 8
1.3.2数据处理流程......................................... 2 7
1.4 EDW运维架构............................................ 2 7
1.4.1 运维架构概述 (27)
1.4.2 运维架构的逻辑框架 (29)
1.5 EDW数据架构............................................ 3 6
1.5.1数据架构设计原则...................................... 3 6
1.5.2数据架构分层设计....................................... 3 8
1.6 EDW应用架构............................................. 4 1
1.6.1应用架构设计原则....................................... 4 1
1.6.2数据服务............................................... 4 2
1.6.3 应用服务 (43)
第二章ETL体系建设 ........................................... 4 4
2.1 ETL架构概述.............................................. 4 4
2.2 ETL设计方案.............................................. 4 6
2.3 ETL关键设计环节......................................... 4 6
2.3.1 接口层设计策略 (46)
2.3.2 Staging Area 设计策略................................. 4 7 2.3.3 数据加载策略 . (48)
2.3.4增量ETL设计策略..................................... 4 8 2.3.5异常处理............................................... 5 1 2.3.6作业调度和监控......................................... 5 1 2.3.7 元数据管理 (52)
2.3.8 ETL模块设计......................................... 5 2 2.3.9 ETL流程设计......................................... 5 5
2.3.10动态资源分配 ........................................... 5 8 2.3.11数据接口设计 ............................................ 6 0
第一章系统总体架构
1.1 总体架构设计概述
1.1.1 总体架构的设计框架
XX银行EDW项目的总体架构分为基础技术架构、应用架构和数据架构三个核心部分。
这三个部分共同组成了XX 银行EDW 系统。
在基础技术架构中，包括执行架构、逻辑架构、功能组件架构和运维架构四个部分。
执行架构描述系统大的框架和模块区域，以及之间的逻辑关系；是确定生产环境的
建设要求及指导原则。
逻辑架构描述EDW 各个模块之间的数据的接口、数据流向、工具使用和采用具体
的技术实现手段或方式情况，用于规范本项目最终生产环境的建立。逻辑架构是建
立应用架构、执行架构、运维架构的基础，也是建立执行架构、应用架构以及运维
架构的原型系统。
功能组件架构描述确定系统各个大的组件组件区域的功能模块框架，以及提供的某
种服务类型。
运维架构是描述EDW 项目的运维架构标准，包括运维架构设计的内容、设计原
则、各构成组件的设计考虑因素、约束、要求等。运维架构通过相应的流程和工具
实现对逻辑架构、功能组件架构、执行架构、数据架构以及应用架构的运维和管
理。
而数据架构和应用架构的主要描述：
应用架构是EDW为满足业务需求所提供的系统应用功能及其蓝图设计，其中业务
需求是应用架构设计的基础，最终的应用架构将以应用系统的形式体现在执行架构
中，主要包括：应用服务和数据服务。
数据架构描述于EDW系统相关的数据流动策略，即数据在EDW系统的执行架构
下的抽取、转换、储存策略以及应采用的流程，包括数据层次和总分行之间的数据
分部情况等。数据架构是建立执行架构标准的需求定义。
下图是EDW项目总体架构的框架：
- 基础摂术架构.
数据架构
4----------------------------------------------- k
1.1.2总体架构的设计原则
总体架构在着重考虑实施要求的同时，需要为后续阶段进行规划，以保
证项目最终能够达到目标架构的设计；
总体架构的设计要基于包括XX 银行数据现状分析、实施阶段数据源情况分析、第
一阶段实施EDW 设计建议做为参考；总体架构设计架构时充分考虑与现有系统兼
容，充分利用已有成果，避免重复开发和建设。
总体架构设计过程中应遵守XX银行的IT管理规程，保证最终的系统可以顺利的部
署并移交给XX 银行的运行维护部门。
1.1.3 总体架构的设计特点
权衡功能、性能、可扩展性、易用性、可管理性和性价比。
根据XX 银行的数据情况和分析需求，采用多层次的企业EDW 系统架构来保证
在存在复杂的数据种类和关系的海量数据上进行业务分析和查询在业务支持能力和
性能等方面的要求。
多级/自动的增量ETL加载机制，有效提高ETL并发度、加载效率，降低错误处理
的复杂性。
通过用户入口支持用户采用Web 浏览器使用查询和分析工具，统一的信息服务界
面，提高系统易用性，减少技术支持工作量。利用企业信息集成和Web 数据服务，提高系统的数据支持能力和接口的一致性。统一的数据增强平台也减少数据增
强的复杂度。
1.2 EDW 执行架构
执行架构的主要内容是描述EDW 项目执行架构的建设要求及指导原则，用于规范本项目最终生产环境的建设。EDW 项目的生产环境的建立需要参考并
遵循执行架构部分提出的要求。
某某银行数据仓库建设项目方案说明
XX 银行 EDW/ 数据仓库项目方案 目录 第一章系统总体架构 (5) 1.1总体架构设计概述 (5) 1.1.1 总体架构的设计框架 (5) 1.1.2总体架构的设计原则 (6) 1.1.3总体架构的设计特点 (7) 1.2 EDW执行架构 (7) 1.2.1执行架构概述 (8) 1.2.2执行架构设计原则 (8) 1.2.3执行架构框架 (9) 1.3 EDW逻辑架构............................................ 1 8
1.3.1逻辑架构框架.......................................... 1 8 1.3.2数据处理流程......................................... 2 7 1.4 EDW运维架构............................................ 2 7 1.4.1 运维架构概述 (27) 1.4.2 运维架构的逻辑框架 (29) 1.5 EDW数据架构............................................ 3 6 1.5.1数据架构设计原则...................................... 3 6 1.5.2数据架构分层设计....................................... 3 8 1.6 EDW应用架构............................................. 4 1 1.6.1应用架构设计原则....................................... 4 1 1.6.2数据服务............................................... 4 2 1.6.3 应用服务 (43) 第二章ETL体系建设 ........................................... 4 4 2.1 ETL架构概述.............................................. 4 4 2.2 ETL设计方案.............................................. 4 6 2.3 ETL关键设计环节......................................... 4 6 2.3.1 接口层设计策略 (46)
商业银行数据仓库报表设计分析
**商业银行数据仓库 报表设计 版本：1.0 4/18/2020
目录 1.报表系统 (3) 1.1. 业务分析 (3) 1.2. 财务分析报表系统 (3) 1.2.1.资产业务分析（月） (3) 1.2.1.1. 资产规模增长情况分析 (4) 1.2.1.2. 资产增量变化情况分析 (4) 1.2.1.3. 资产结构变化情况分析 (4) 1.2.1.4. 贷款资产专项统计 (5) 1.2.2.负债业务分析 (5) 1.2.2.1. 负债规模增长情况分析表 (5) 1.2.2.2. 负债增量变动情况分析表 (5) 1.2.2.3. 负债结构变化情况分析表 (6) 1.2.2.4. 存款负债专项统计 (6) 1.2.3.所有者权益分析 (6) 1.2.3.1. 所有者权益增长情况分析 (6) 1.2.3.2. 所有者权益增量变动情况分析 (7) 1.2.3.3. 所有者权益结构变化情况分析 (7) 1.2.4.财务收支分析 (7) 1.2.4.1. 收支规模增长情况分析 (7) 1.2.4.2. 收支增量变动情况分析 (8) 1.2.4.3. 当期收支情况分析 (8) 1.2.4.4. 财务收支结构变动情况分析 (8) 1.2.4.5. 财务收支计划完成情况分析 (8) 1.2.5.财务比率分析 (9) 1.2.5.1. 各项财务比率分析表 (9) 1.3. 资金计划业务需求 (10) 1.3.1.资金头寸统计 (10) 1.3.2.资金负债管理指标 (10) 1.3.3.现金管理 (10) 1.3.3.1. 结算备付金统计 (10) 1.3.3.2. 库存现金统计 (11) 1.3.3.2.1. 即时余额统计 (11) 1.3.3.2.2. 日均余额统计 (11) 1.3.3.3. 业务量统计 (11) 1.3.4.票据贴现业务统计 (12) 1.4. 综合统计分析 (12) 1.4.1.存款统计 (12) 1.4.1.1. 存款结构统计 (12) 1.4.1.1.1. 日均存款统计 (12) 1.4.1.1.2. 存款即时余额统计 (12)
银行数据仓库构建分析
如何构建银行数据仓库 数据仓库技术作为一项数据管理领域的新技术，其精髓在于针对联机分析处理(OLAP)提出了一种综合的解决方案，与以往很多技术不同的是，它主要是一种概念，在此概念指导下完成系统的构造。既没有可以直接购买到的现成产品，也没有具体的分析规和实现方法，也就是说没有成熟、可靠且被广泛接受的数据仓库标准。在以往关系数据库的设计和实现中，不仅有详细的理论推导，还有无数的设计实例，无论你使用的是什么公司的数据库产品、开发工具，只要按照规做，那么实现同一业务需求的方案都会很相似。而现有数据仓库的实现中，出现了MOLAP方案和ROLAP方案的区别，出现了形形色色的数据仓库建模工具、表现工具，而设计人员的个人经验和素质也会在其中扮演很重要的角色。 数据仓库技术的实现方式 目前在数据仓库技术的实际应用中主要包括如下几种具体实现方式。 1、在关系数据库上建立数据仓库(ROLAP) 2、在多维数据库上建立数据仓库(MOLAP)
MOLAP方案是以多维方式来组织数据，以多维方式来存储数据；ROLAP 方案则以二维关系表为核心表达多维概念，通过将多维结构划分为两类表:维表和事实表，使关系型结构能较好地适应多维数据的表示和存储。在多维数据模型的表达方面，多维矩阵比关系表更清晰且占用的存储更少，而通过关系表间的连接来查询数据的ROLAP系统，系统性能成为最大问题。MOLAP方案比ROLAP方案要简明，索引及数据聚合可以自动进行并自动管理，但同时丧失了一定的灵活性。ROLAP方案的实现较为复杂，但灵活性较好，用户可以动态定义统计和计算方式，另外能保护在已有关系数据库上的投资。 由于两种方案各有优劣，因此在实际应用中，往往将MOLAP和ROLAP 结合使用，即所谓的混合模型。利用关系数据库存储历史数据、细节数据或非数值型数据，发挥关系数据库技术成熟的优势，减少花费，而在多维数据库中存储当前数据和常用统计数据，以提高操作性能。 3、在原有关系库上建立逻辑上的数据仓库 由于目前正在运行的OLTP系统中已经积累了海量数据，如何从中提取出决策所需的有用信息就成为用户最迫切的需要。新建数据仓库固然能从功能、性能各方面给出一个完整的解决方案，但需要投入大量的人力、物力，并且数据仓库的建设和分析数据的积累需要一段时间，无法及时满足用户对信息分析的迫切需要。因此在筹建数据仓库的前期，可以采用一些合适的表现工具，在原有OLTP系统上建立起一个逻辑的数
(完整版)XX银行数据仓库建设项目方案
XX银行 EDW/数据仓库项目方案
目录 第一章系统总体架构............................................................................. ４1.1总体架构设计概述 ........................................................................ ４ 1.1.1总体架构的设计框架.............................................................. ４ 1.1.2总体架构的设计原则.............................................................. ５ 1.1.3总体架构的设计特点.............................................................. ５1.2EDW执行架构................................................................................. ６ 1.2.1执行架构概述 ........................................................................ ６ 1.2.2执行架构设计原则 ................................................................. ６ 1.2.3执行架构框架 ........................................................................ ７1.3EDW逻辑架构.............................................................................. １４ 1.3.1逻辑架构框架 ..................................................................... １４ 1.3.2数据处理流程 ..................................................................... ２０1.4EDW运维架构.............................................................................. ２１ 1.4.1运维架构概述 ..................................................................... ２１ 1.4.2运维架构的逻辑框架........................................................... ２２1.5EDW数据架构.............................................................................. ２７ 1.5.1数据架构设计原则 .............................................................. ２７ 1.5.2数据架构分层设计 .............................................................. ２９1.6EDW应用架构.............................................................................. ３１ 1.6.1应用架构设计原则 .............................................................. ３１ 1.6.2数据服务 ............................................................................ ３２ 1.6.3应用服务 ............................................................................ ３３第二章 ETL体系建设 ........................................................................... ３４ 2.1ETL架构概述.............................................................................. ３４
银行信用卡数据仓库建设
银行信用卡数据仓库建设 一、需求分析 银行建立数据仓库的必要性。中国的银行业在发展过程中，已逐步实现了绝大多数核心业务的计算机处理，积累了大量的客户数据和经营数据，这些数据是银行的宝贵财富，如何利用这些数据，发掘有价值的信息，解决问题的关键是建立银行企业级的数据仓库，实现对银行所有经营信息和客户信息的有效存储，并针对银行不同部门的管理决策需要，进行多层次的数据加工处理，以多种方式呈现真正有价值的信息（例如，维度，商业需求用户数量等），满足银行管理决策和客户分析的需要。 由此可以看出，整合数据建立一个全银行统一的数据中心，对于银行来说是非常重要的。通过数据仓库技术，将x银行全国各地的数据整合，并对数据进行一系列的抽取、加工、清洗、加载，使得数据能够有很高的利用价值。通过智能化的报表加工工具Cognos来快速的生成多种多样的报表，从不同的维度来展现数据。这些报表对于管理层来说数据更准确、更有价值，而且还可以根据上级的不同需求来随时生成想要看到的报表。这些对于银行发展新的客户、改善与老客户的关系、提高市场竞争力和占有率是非常重要和迫切的。 二．维度分析 1）卡量分析 2）客户量分析
3）账户分析 通过对卡量、客户量和账户量分析指标的业务定义的分析，卡信息汇总表选取的入仓字段有卡号、开卡日期、激活日期、销卡日期、销卡日期、到期日、发卡机构。 通过对卡量、客户量和账户量分析指标的业务定义的分析，选取的入仓字段有机构代码、性别代码、客户号。 通过对卡量、客户量和账户量分析指标的业务定义的分析，选取的账号信息汇总表的入仓字段有账号、销户日期、账户状态、开户日期、销户日期、账户余额、逾期状态。 三、所用到的技术简单概述 1）ETL概述 E是Extraction的简写，表示数据的抽取；T是Transformation的简写，表示数据的转换；L是Loading的简写，表示数据的加载。ETL是数据抽取(Extraction)、转换(Transformation)、加载(Loading)的过程。 抽取(Extraction)，在数据仓库系统的建设中是对数据的操作，就是将数据从 各种原始的业务系统中读取出来，这是要建立数据仓库系统的所有工作的前提。