文档库 最新最全的文档下载
当前位置:文档库 › 数据仓库实例

数据仓库实例

计算机
王莹

本例采用的是SQl Server2005所提供的商业智能服务和工 具,主要包括Analysis Services(分析服务), Integration Services(集成服务),Reporting Services(集成服务)和Bussiness Intelligence Developer Studio(BIDS)。

分析服务(Analysis Services) SQL Server 分析服务(SSAS)是一个用于分析数据仓库中数据的工 具,它包括了OLAP和数据挖掘工具。在SQL Server 2005数据库系统 中,Analysis Services工具以服务器的方式为用户提供管理多维数 据立方体的服务。Analysis Services可以把数据仓库中的数据组织 起来,经过预先的聚集运算,加入到多维立方体中(即建立立方 体),然后对复杂的分析型访问做出迅速的回答。

集成服务(Integration Services) SQL Server 集成服务(SSIS)被定位成一个能生成高性能数据集成解决 方案(包括数据仓库中数据的提取、转换和加载(ETL))的平台。其集 成的含义主要就是指把ETL集成在一起。SSIS通过一个统一的环境向用户 提供了数据转换服务(DTS)所能提供的所有功能,并且大大减少了用户 花在编写程序和脚本上的精力和时间。 SSIS的基本功能包括:
? ? ? ? ? ? 合并来自异类数据源中的数据 填充数据仓库和数据集市 整理数据和将数据标准化 精确和模糊的查找功能 将商业智能置入数据转换过程 使管理功能和数据加载自动化

报表服务(Reporting Services) SQL Server报表服务(SSRS)是一个完整的、基于服务器的平台,它可以 建立、管理、发布传统的、基于纸张的报表或者交互的基于Web的报表。 SSRS提供的主要功能有: ? ? ? ? ? 为各类客户,跨企业提供并发访问功能 为各类提供数据源支持 针对个人和企业提供提供不同的数据报表分发机制 生成各类形式的报表 可生成多维数据报表,在此基础上可以进一步完成数据分析 工作, 是真正的企业级报表生成工具。

Bussiness Intelligence Developer Studio BIDS是SQL Server 2005新增加的一个开发环境,主要用于商 业智能解决方案的开发。BIDS将开发商业智能所涉及的各个方 面(例如数据转换和抽取、基于多维数据集的联机分析、数据 挖掘和生成数据报表等)都集成在了一个开发平台上,也就是 说商业智能开发人员可以使用BIDS开发出完整的商业智能解决 方案。 BIDS是一个基于Visual Studio 2005的开发平台,与Visual Studio 2005具有相同的设计界面。

1.数据源概述 本例以SQL Server 2005提供的AdventureWorks数据库作为商业智能 解决方案的数据源。 AdventureWorks数据库是SQl Server 2005的范例数据库,它是一个 大型的跨国自行车制造企业应用的业务数据库,其用途是帮助企业对 自行车的生产和销售进行管理。 AdventureWorks数据库主要的应用方面有人力资源、产品管理、市场 销售、采购和供应商管理、生产管理。 AdventureWorks数据库是一个比较复杂的数据库,可以使用 Microsoft SQL Server Management Studio打开这个数据库,并查 看其中的表格和字段。

2.需求分析
? AdventureWorks数据库设计的方面很多,但是我们的目标 很简单,只有以下三个:
需要分析不同类别的产品通过直销在不同地区、不同时间段 内销售的业绩。 生成分析结果的报表。 分析影响客户所有车的数量的因素。

? 通过目标可以发现分析销售业绩基于的维度有三个:产品、客户和 时间,事实数据则为反映销售业绩的订单。 ? 对于产品我们关心的是产品的名称和分类,由于产品和产品类别之 间有一对多的关系,因此可以将这个维度设计为雪花模型。 ? 对于客户,我们主要需要关心客户的姓名、年龄、性别、婚姻状态、 孩子的状况、是否拥有房产、拥有汽车的数量,所在的地区、国家、 省和城市等信息。

? 对于时间,我们只关心年、季度和月份,这些在数据库中不是显式 存在的,但是可以从订单上的OrderDate字段中计算出来。 ? 对于事实数据,我们只会关心订单中产品的价格、折扣、数量和总 价的情况。 ? 可以得到如下需求分析模型:

? 分析模型的事实表、维度表关系

3.数据转换和抽取(建立数据仓库) ? (1)首先使用Microsoft SQL Server Management Studio新建一个 数据库Sales_DW作为数据抽取的目标数据库,AdventureWorks作为 源数据库。 ? (2)新建Integration Services 项目Integration Sales,并在此 项目中新建一个SSIS包Integration Sales.dtsx,在此包中进行数 据的抽取,整合等操作。

? (3)创建数据源。
在Integration Sales项目下的数据源文件夹中添加两个新的数据源 连接,一个连接源数据库AdventureWorks,一个连接目标数据库 Sales_DW,数据源名称分别为Adventure Works和 Sales_DW 。
? (4)设计SSIS包Integration Sales.dtsx。
设计包的方法是从工具箱中将需要使用的容器、任务、可执行体等 工具拖拽到包的SSIS设计器窗口中,再对这些对象进行设计。 由于主要执行的是数据抽取工作,因此数据流任务是我们主要设置 的任务。

数据抽取中所涉及的表主要有事实表FactSales,产品信息表 DimProduct,产品类别信息表DimCategory,订购时间表 DimTime以及客户信息表DimCustmer。 抽取事实表FactSales的数据流任务的过程
1)选中SSIS设计器的【控制流】标签,将工具箱中的【数据流任 务】对象拖拽到SSIS设计器中,并重命名为FactSales。 2)双击【数据流任务】FactSales打开【数据流】标签,将【OLE DB源】拖至SSIS设计器上。

打开【OLE DB源编辑器】,进行【OLE DB源】对象的设置。

在上述设计中需选中数据源Adventure Works,并选择数据访 问模式为【SQL 命令】,在【SQL 命令文本】中输入进行数 据抽取的SQL语句。 4)完成【OLE DB源】对象设置后,从工具箱中将【SQL Server目标】对象拖至SSIS设计器上,并选中【OLE DB源】 对象,将其绿色连线拖拽至新添的【SQL Server目标】对象 上。打开【SQL目标编辑器】,选中数据源Sales_DW,并新建 表FactSales。

【SQL目标编辑器】对话框

? 完成后的数据流任务视图如下所示:
? 数据仓库中其他表的数据抽取设计步骤与FactSales相 同,只是输入的SQl命令不同。

Integration Sales 包的完整设计视图:

(5)建立OLAP和挖掘模型。 ? 1)创建OLAP多维数据集数据源和数据源视图。 新建项目Sales Analysis,并添加到已有解决方案中。在此 项目中新建数据源选中已在Integration Sales项目中创建好 的数据源Sales_DW。 新建数据源视图,选中数据源Sales_DW,并将FactSales、 DimCategory、DimCustomer、DimTime以及DimProduct选为视 图【包含的对象】,命名此数据源视图为 Sales DW View。

数据仓库实例

计算机
王莹

本例采用的是SQl Server2005所提供的商业智能服务和工 具,主要包括Analysis Services(分析服务), Integration Services(集成服务),Reporting Services(集成服务)和Bussiness Intelligence Developer Studio(BIDS)。

分析服务(Analysis Services) SQL Server 分析服务(SSAS)是一个用于分析数据仓库中数据的工 具,它包括了OLAP和数据挖掘工具。在SQL Server 2005数据库系统 中,Analysis Services工具以服务器的方式为用户提供管理多维数 据立方体的服务。Analysis Services可以把数据仓库中的数据组织 起来,经过预先的聚集运算,加入到多维立方体中(即建立立方 体),然后对复杂的分析型访问做出迅速的回答。

集成服务(Integration Services) SQL Server 集成服务(SSIS)被定位成一个能生成高性能数据集成解决 方案(包括数据仓库中数据的提取、转换和加载(ETL))的平台。其集 成的含义主要就是指把ETL集成在一起。SSIS通过一个统一的环境向用户 提供了数据转换服务(DTS)所能提供的所有功能,并且大大减少了用户 花在编写程序和脚本上的精力和时间。 SSIS的基本功能包括:
? ? ? ? ? ? 合并来自异类数据源中的数据 填充数据仓库和数据集市 整理数据和将数据标准化 精确和模糊的查找功能 将商业智能置入数据转换过程 使管理功能和数据加载自动化

(完整word版)建设数据仓库的八个步骤

大数据技术部 建设数据仓库的八个步骤2017年04月25日编制

建设数据仓库的八个步骤 摘要: 建立数据仓库是一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题。 关键词:数据仓库元数据 建设数据仓库 建立数据仓库是一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题,从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成,双方需要相互沟通,协作开发数据仓库。 开发数据仓库的过程包括以下几个步骤。 1.系统分析,确定主题 建立数据仓库的第一个步骤就是通过与业务部门的充分交流,了解建立数据仓库所要解决的问题的真正含义,确定各个主题下的查询分析要求。 业务人员往往会罗列出很多想解决的问题,信息部门的人员应该对这些问题进行分类汇总,确定数据仓库所实现的业务功能。一旦确定问题以后,信息部门的人员还需要确定一下几个因素: ·操作出现的频率,即业务部门每隔多长时间做一次查询分析。 ·在系统中需要保存多久的数据,是一年、两年还是五年、十年。 ·用户查询数据的主要方式,如在时间维度上是按照自然年,还是财政年。 ·用户所能接受的响应时间是多长、是几秒钟,还是几小时。

由于双方在理解上的差异,确定问题和了解问题可能是一个需要多次往复的过程,信息部门的人员可能需要做一些原型演示给业务部门的人员看,以最终确定系统将要实现的功能确实是业务部门所需要的。 2.选择满足数据仓库系统要求的软件平台 在数据仓库所要解决的问题确定后,第二个步骤就是选择合适的软件平台,包括数据库、建模工具、分析工具等。这里有许多因素要考虑,如系统对数据量、响应时间、分析功能的要求等,以下是一些公认的选择标准: ·厂商的背景和支持能力,能否提供全方位的技术支持和咨询服务。 ·数据库对大数据量(TB级)的支持能力。 ·数据库是否支持并行操作。 ·能否提供数据仓库的建模工具,是否支持对元数据的管理。 ·能否提供支持大数据量的数据加载、转换、传输工具(ETT)。 ·能否提供完整的决策支持工具集,满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下: (1)确定建立数据仓库逻辑模型的基本方法。 (2)基于主题视图,把主题视图中的数据定义转到逻辑数据模型中。 (3)识别主题之间的关系。

数据库与数据仓库的区别是什么

数据库与数据仓库的区别是什么 简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的。 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计。 数据库是为捕获数据而设计,数据仓库是为分析数据而设计,它的两个基本的元素是维表和事实表。维是看问题的角度,比如时间,部门,维表放的就是这些东西的定义,事实表里放着要查询的数据,同时有维的ID。 单从概念上讲,有些晦涩。任何技术都是为应用服务的,结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台,客户在银行做的每笔交易都会写入数据库,被记录下来,这里,可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台,它从事务系统获取数据,并做汇总、加工,为决策者提供决策的依据。比如,某银行某分行一个月发生多少交易,该分行当前存款余额是多少。如果存款又多,消费交易又多,那么该地区就有必要设立ATM了。 显然,银行的交易量是巨大的,通常以百万甚至千万次来计算。事务系统是实时的,这就要求时效性,客户存一笔钱需要几十秒是无法忍受的,这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的,它要提供关注时间段内所有的有效数据。这些数据是海量的,汇总计算起来也要慢一些,但是,只要能够提供有效的分析数据就达到目的了。 数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它决不是所谓的“大型数据库”。那么,数据仓库与传统数据库比较,有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。 “面向主题的”:传统数据库主要是为应用程序进行数据处理,未必按照同一主题存储数据;数据仓库侧重于数据分析工作,是按照主题存储的。这一点,类似于传统农贸市场与超市的区别—市场里面,白菜、萝卜、香菜会在一个摊位上,如果它们是一个小贩卖的;而超市里,白菜、萝卜、香菜则各自一块。也就是说,市场里的菜(数据)是按照小贩(应用程序)归堆(存储)的,超市里面则是按照菜的类型(同主题)归堆的。 “与时间相关”:数据库保存信息的时候,并不强调一定有时间信息。数据仓库则不同,出于决策的需要,数据仓库中的数据都要标明时间属性。决策中,时间属性很重要。同样都是累计购买过九车产品的顾客,一位是最近三个月购买九车,一位是最近一年从未买过,这对于决策者意义是不同的。 “不可修改”:数据仓库中的数据并不是最新的,而是来源于其它数据源。数据仓库反映的是历史信息,并不是很多数据库处理的那种日常事务数据(有的数据库例如电信计费数据库

数据库和数据仓库的区别

简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的。数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计。 数据库是为捕获数据而设计,数据仓库是为分析数据而设计,它的两个基本的元素是维表和事实表。维是看问题的角度,比如时间,部门,维表放的就是这些东西的定义,事实表里放着要查询的数据,同时有维的ID。 单从概念上讲,有些晦涩。任何技术都是为应用服务的,结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台,客户在银行做的每笔交易都会写入数据库,被记录下来,这里,可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台,它从事务系统获取数据,并做汇总、加工,为决策者提供决策的依据。比如,某银行某分行一个月发生多少交易,该分行当前存款余额是多少。如果存款又多,消费交易又多,那么该地区就有必要设立ATM了。 显然,银行的交易量是巨大的,通常以百万甚至千万次来计算。事务系统是实时的,这就要求时效性,客户存一笔钱需要几十秒是无法忍受的,这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的,它要提供关注时间段内所有的有效数据。这些数据是海量的,汇总计算起来也要慢一些,但是,只要能够提供有效的分析数据就达到目的了。 数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它决不是所谓的“大型数据库”。那么,数据仓库与传统数据库比较,有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。 “面向主题的”:传统数据库主要是为应用程序进行数据处理,未必按照同一主题存储数据;数据仓库侧重于数据分析工作,是按照主题存储的。这一点,类似于传统农贸市场与超市的区别—市场里面,白菜、萝卜、

数据仓库成功应用案例讨论

中国银行广东分行数据仓库成功应用案例 信用卡业务是商业银行业务中非常重要的一部分,中国的商业银行开展信用卡业务已多年,相关数据积累相对完备且真实,信用卡业务的经营运作也已从简单的扩大规模、以量取胜阶段进入到成熟竞争、以质取胜阶段,各商业银行不断推出新的服务品种和花样繁多的增值服务,提高市场占有率并强化品牌意识以获得利润。 中国加入WTO后,银行卡业务将在3至5年内对外资银行开放,而银行卡业务不依赖于分支机构的特点将使中国的商业银行信用卡业务面临更加严酷的竞争。信用卡业务竞争本质上就是客户的竞争,而且是优质客户的竞争。针对客户发现、客户提升、客户保持、市场细分、忠诚度、贡献度、个性化服务乃至个人信用风险等等一系列围绕客户关系的新问题,支持日常运作的信用卡生产系统是面向柜员和交易的日常营运和客户服务基础设施,无法提供众多分析、决策型用户对大量历史数据同时进行突发的、复杂的决策分析,而建立一套以客户为中心的信用卡业务分析系统则是实现上述命题的必要可行手段。 在这种情况下,中国银行广东分行引入了海波龙的Hyperion Intelligence,希望通过利用Hyperion Intelligence应用实现这样的目标:建立一套以客户为中心的信用卡业务分析系统,方便企业各级工作人员获取各类信息,实现对成本收益、风险控制、绩效评估、客户管理、营销战役等决策目标的支持,并达到风险管理和控制、客户关系管理与个性化服务、商户分析与市场策略、费用控制与利润分析四大应用目标。 成功典范 中国银行广东省分行是国内金融界最早成功实施数据仓库应用解决方案的单位,其在1996年投产的省市两级金融管理信息系统(FMIS)因首次采用并成功实施先进的数据仓库/OLAP技术而荣获“八五”国家科技攻关重大成果奖,并成为目前业界反复引用的典型成功案例。 在随后的数年中,中国银行广东省分行在决策支持/数据仓库应用研发方面的投入一直保持相当大的力度,陆续推出数项新的应用,应用领域也从最初的财务管理、资产负债指标监控等分析主题逐步延伸至目前的客户及消费行为分析、个人信用评估、授信风险监控、客户关系管理以及一对一个性化营销等分析主题。 广东华际友天信息科技有限公司和中国银行广东省分行共同实施的信用卡分析系统采用了Hyperion和IBM在业界领先的数据仓库技术和工具,专门针对信用卡业务的商业智能应用。此系统的研制目的是为与信用卡业务有关各级管理人员、统计分析人员、风险监控人员,特别是业务发展人员提供灵活有效的实时数据分析/决策支持环境,使他们能够便捷地获得并分析客户特征信息、各交易要素信息以及市场统计信息,从而支持成本收益、风险控制、绩效评估、客户管理、营销战役等决策目标的实现。

BI_数据仓库基础

1 BI Business Intelligence,即商业智能,商务智能综合企业所有沉淀下来的信息,用科学的分析方法,为企业领导提供科学决策信息的过程。 BOSS业务运营支撑系 BPM企业绩效管理 BPR业务流程重整 CRM客户关系管理 CUBE立方体 DM(Datamart)数据集市数据仓库的子集,它含有较少的主题域且历史时间更短数据量更少,一般只能为某个局部范围内的管理人员服务,因此也称之为部门级数据仓库。 DM(DataMine)数据挖掘 DSS决策支持系统 EDM企业数据模型 3 ERP Enterprise Resourse Planning企业资源规划。它是一个以管理会计为核心的信息系统,识别和规划企业资源,从而获取客户订单,完成加工和交付,最后得到客户付款。换言之,ERP将企业内部所有资源整合在一起,对八个采购、生产、成本、库存、分销、运输、财务、人力资源进行规划,从而达到最佳资源组合,取得最佳效益。 4 ETL 数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程。构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终 按照预先定义好的数据仓库模型,将数据加载到数据仓库中去。 KDD数据库中知识发现 5 KPI 企业关键业绩指标(KPI:KeyProcessIndication)是通过对组织内部流程的输入端、输出端的关键参数进行设臵、取样、计算、分析,衡量流程绩效的一种目标式量化管理指标,是把企业的战略目标分解为可操作的工作目标的工具,是企业绩效管理的基础。 LDM逻辑数据模型 6 MDD 多维数据库(Multi Dimesional Database,MDD)可以简单地理解为:将数据存放在一个n维数组中,而不是像关系数据库那样以记录的形式存放。因此它存在大量稀疏矩阵,人们可以通过多维视图来观察数据。多维数据库增加了一个时间维,与关系数据库相比,它的优势在于可以提高数据处理速度,加快反应时间,提高查询效率。 Metadata(元数据),它是“关于数据的数据,其内容主要包括数据仓库的数据字典、数据的定义、数据的抽取规则、数据的转换规则、数据加载频率等信息。 MOLAP自行建立了多维数据库,来存放联机分析系统数据 7 ODS(四个特点) (Oprational Data Store)操作型数据存储,是建立在数据准备区和数据仓库之间的一个部件。用来满足企业集成的、综合的操作型处理需要,操作数据存储是个可选的部件。对于一些准实时的业务数据库当中的数据的暂时存储,支持一些同时关连到历史数据与实时数据分

数据仓库与数据库

数据仓库与数据库的区别 简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的。 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计。 数据库是为捕获数据而设计,数据仓库是为分析数据而设计,它的两个基本的元素是维表和事实表。维是看问题的角度,比如时间,部门,维表放的就是这些东西的定义,事实表里放着要查询的数据,同时有维的ID。 单从概念上讲,有些晦涩。任何技术都是为应用服务的,结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台,客户在银行做的每笔交易都会写入数据库,被记录下来,这里,可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台,它从事务系统获取数据,并做汇总、加工,为决策者提供决策的依据。比如,某银行某分行一个月发生多少交易,该分行当前存款余额是多少。如果存款又多,消费交易又多,那么该地区就有必要设立ATM 了。 显然,银行的交易量是巨大的,通常以百万甚至千万次来计算。事务系统是实时的,这就要求时效性,客户存一笔钱需要几十秒是无法忍受的,这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的,它要提供关注时间段内所有的有效数据。这些数据是海量的,汇总计算起来也要慢一些,但是,只要能够提供有效的分析数据就达到目的了。 数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它决不是所谓的“大型数据库”。那么,数据仓库与传统数据库比较,有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。 “面向主题的”:传统数据库主要是为应用程序进行数据处理,未必按照同一主题存储数据;数据仓库侧重于数据分析工作,是按照主题存储的。这一点,类似于传统农贸市场与超市的区别—市场里面,白菜、萝卜、香菜会在一个摊位上,

从数据库到数据仓库_陈前林

第19卷第3期湖 北 工 学 院 学 报2004年6月Vol.19No.3 Journal of Hubei Polytechnic University Jun.2004 [收稿日期]2004-03-01 [基金项目]国家863项目(2003AA414011)和武汉市重大科技计划项目(20023005133-04). [作者简介]陈前林(1980-),男,湖北大冶人,武汉理工大学硕士研究生,研究方向:数据挖掘. [文章编号]1003-4684(2004)06-0113-03 从数据库到数据仓库 陈前林,陈定方,李和平 (武汉理工大学智能制造与控制研究所,湖北武汉430063) [摘 要]通过对数据库技术发展的追溯,介绍了数据仓库的概念、产生、来源及其与数据库的区别,最后探讨了数据仓库的应用前景. [关键词]数据处理;数据库;数据仓库;数据挖掘;OL AP [中图分类号]T P311.132 [文献标识码]:A 1 数据库技术发展概述 数据处理主要就是对数据的管理[1].它主要完成对数据的分类、组织、编码、存储、检索和维护等功能.这也是数据处理的中心问题.近半个世纪以来,数据管理经历了三个发展阶段,分别是人工管理阶段,文件系统阶段和数据库系统阶段,数据仓库是数据库技术的进一步发展. 20世纪中期以前,计算机主要用于科学计算,计算机本身都不带有存储设备,也没有操作系统的概念,数据处理只有批处理方式.所有数据都不在计算机上保存,由应用程序员管理.应用程序员不仅要规定数据的逻辑结构,而且还要在应用程序中设计物理结构,包括规定数据的存储结构,存取方式等.20世纪50年代后期到60年代中期,数据处理处于文件系统阶段.计算机上出现了磁盘、磁鼓等随机存取设备,文件系统成为了专门的数据管理软件.这样,数据可以长期保存.并且,用文件系统来管理数据,使程序和数据之间有了一定的独立性,尽管这种独立性不是很强.此时的应用程序设计者必须对所用文件的逻辑结构及物理结构有清楚的了解,并且,由于文件系统仅提供了读、写等几个低级的文件操作命令,因而对文件的查询、修改、插入和删除等操作必须在应用程序内编写相应的程序代码来解决.这使得文件也是专门为某一特定的应用程序服务的,且编写应用程序的生产率不高,数据冗余度大. 20世纪60代后期以来,数据管理进入了数据库系统阶段.这一时期,计算机具有了庞大容量的存储设备和高速的信息处理能力.计算机软件、硬件都飞速发展,信息急剧膨胀;数据库技术也不断发展.数据库按照某种数据模型组织数据,不仅文件内部数据彼此相关,而且文件之间在结构上也有机地联系在一起.描述数据时,不仅描述数据本身,也描述数据之间的联系.在数据库中,数据也不再分属于各个应用程序,而是集中存放在数据库中,实行统一控制.这一时期,也出现了专门的数据库系统. 1969年,美国的IBM 公司开发了第一个数据库系统IMS (Information M anagement System ).这是一个层次数据库系统,在数据库系统发展史上有着重要的地位.同年,美国的数据系统语言委员会下属的数据库任务组提出了著名的DBT G 报告,并在1970年提出了该报告的修订版.这分报告定义了数据库操纵语言、模式定义语言和子模式定义语言的概念.数据库操纵语言用于编写操纵概念视图的应用程序,模式定义语言用来编写概念视图和内部视图相结合的模式程序.在20世纪70年代,开发了许多遵循DBTG 报告的网状数据库系统,如IDMS,IDS,DMSIIOO 等.20世纪70年代初,IBM 公司下属的San Jose 研究所的E.F.Codd 发表了题为 大型共享数据库数据的关系模型 的论文.他在论文中提出了关系数据模型的概念.他提出的关系代数和关系演算,使关系数据库从理论到实践都取得了辉煌的成果.在理论上,确立了完整的关系理论,数据

数据仓库成功案例

数据仓库成功案例3 兴业证券数据仓库系统 编者按:兴业证券选择了Sybase的数据仓库解决方案,以帮助其成功地实现交易数据的集中处理和分析。该系统的应用采用三层式数据仓库结构,使系统具有优越的处理性能、高度可扩展性、开放性、灵活性和可管理性。 用户背景 兴业证券作为一家综合类专业证券公司、中国证券业协会理事单位,在福建省乃至全国的证券界都具有一定的影响力。公司总部设在福州,在上海也设立了区域管理总部,已经初步构建了辐射全国的业务经营机构网络。在中国加入WTO之后,兴业证券也面临着新的挑战和机遇。如何将现有的优势充分发挥并创造新的竞争优势,从而加强其在证券行业的领先地位,是兴业证券面临的重要课题。 从2001年7月开始,Sybase公司与兴业证券合作,共同开发兴业证券数据仓库和决策支持系统,帮助兴业证券总部实现对营业部集中管理和数据集中基础上的决策支持。 系统目标 兴业证券对现有信息系统的要求: * 对各个营业部交易数据汇总整合信息来源,从而提高决策信息的及时性、准确性、全局性、一致性; * 建立全面、统一、科学的日常决策分析报表/查询系统; * 深层次的信息加工,分析客户、市场、风险等主题项目,充分利用兴业证券的丰富数据; * 系统必须保证系统中每一条信息的安全性,对信息的访问进行安全性控制,这样才能充分保证信息不会泄漏,以维护证券市场的秩序; * 建立具有高处理能力和高扩展能力的数据仓库平台,以适应管理和处理日益庞大的市场数据的要求。 数据仓库系统将帮助兴业证券充分利用信息资源,为兴业证券提供坚实的信息基础以迎接上述的业务挑战和机遇。 建立数据仓库系统的目标: * 为各业务部门、兴业证券的领导层提供有效的决策管理信息支持,提高业务效率、

成功实施数据仓库项目的7个步骤

成功实施数据仓库项目的7个步骤 建立一个数据仓库并不是一个简单的任务,不应该由一个人单独完成。由于数据仓库最佳结合了业务惯例和信息系统技术,因此,一个成功的数据仓库实施需要这两方面的不断协调,以均衡其所有的需要,要求,任务和成果。我很乐意与大家分享我在规划和管理任何数据库项目时采用的方法,这些数据库包括交易数据库,数据仓库,和混合型数据库。由于我生活在关系数据库和数据仓库以及用以支撑它们的数据提取,转换和加载(ETL )过程中,所以我会集中在这些领域讨论我的方法。然而,您可以将这些方法扩展到整个栈--OLAP立方体和如报告,特征分析(ad-hoc analysis),记分卡和仪表盘展示之类的信息传递应用。 我不是吃撑了要告诉一个真正的项目经理( PM )如何做他或她的工作,相反,我写的这些是为那些数据库管理员和开发者,他们没有好运气能与有经验的项目经理一起工作;同样也适合这样的IT专业人员,他们被突然要求:“建立一个数据仓库“,并且需要自己扮演项目经理的角色。我的讨论不会是完整的,但我希望这会给您足够的信息来让您的项目球滚起来。

如图1所示,数据仓库项目有3个轨道(tracks):数据轨道,技术轨道和应用层轨道。当您在整理任何数据库项目计划时,我建议您以这三个轨道为模板来管理和同步您的活动。当您向技术决策者( TDMs ) ,商业决策者( BDMs ) ,和所有其他该数据仓库项目参与者讲解您的计划时,您也可以把图1当作一个高级的概要图来使用。 使用一种生命周期管理方法 我鼓励您利用您的组织可以提供的资源,比如设计,开发和部署系统和软件的技术和方法。如果贵公司对于这些工作没有采用任何正式的方法,继续前进吧,您可采用我为我自己的数据库项目开发的7D数据库生命周期管理方法(Discover, Design, Develop, Deploy, Day to Day , Defend, Decommission), 昵称“7D法”。 我的“7D”数据库生命周期管理方法讲的是数据库的生命周期管理,而不是相关的软件(应用程序)和硬件的生命周期。图1包括了软硬件轨道,但我不会进一步阐述它们的管理。为了成功实施数据库生命周期的方法,有必要调整和同步数据库生命周期的里程碑、硬件和应用软件。

数据库与数据仓库的区别

数据库与数据仓库的区别: 简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的。 数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。 数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计。 数据库是为捕获数据而设计,数据仓库是为分析数据而设计,它的两个基本的元素是维表和事实表。维是看问题的角度,比如时间,部门,维表放的就是这些东西的定义,事实表里放着要查询的数据,同时有维的ID。 单从概念上讲,有些晦涩。任何技术都是为应用服务的,结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台,客户在银行做的每笔交易都会写入数据库,被记录下来,这里,可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台,它从事务系统获取数据,并做汇总、加工,为决策者提供决策的依据。比如,某银行某分行一个月发生多少交易,该分行当前存款余额是多少。如果存款又多,消费交易又多,那么该地区就有必要设立ATM 了。 显然,银行的交易量是巨大的,通常以百万甚至千万次来计算。事务系统是实时的,这就要求时效性,客户存一笔钱需要几十秒是无法忍受的,这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的,它要提供关注时间段内所有的有效数据。这些数据是海量的,汇总计算起来也要慢一些,但是,只要能够提供有效的分析数据就达到目的了。 数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它决不是所谓的“大型数据库”。那么,数据仓库与传统数据库比较,有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。 “面向主题的”:传统数据库主要是为应用程序进行数据处理,未必按照同一主题存储数据;数据仓库侧重于数据分析工作,是按照主题存储的。这一点,类似于传统农贸市场与超市的区别—市场里面,白菜、萝卜、香菜会在一个摊位上,如果它们是一个小贩卖的;而超市里,白菜、萝卜、香菜则各自一块。也就是说,市场里的菜(数据)是按照小贩(应用程序)归堆(存储)的,超市里面则是按照菜的类型(同主题)归堆的。 “与时间相关”:数据库保存信息的时候,并不强调一定有时间信息。数据仓库则不同,出于决策的需要,数据仓库中的数据都要标明时间属性。决策中,时间属性很重要。同样都是累计购买过九车产品的顾客,一位是最近三个月购买九车,一位是最近一年从未买过,这对于决策者意义是不同的。

搭建数据仓库

数据仓库项目搭建 在进行数据仓库搭建介绍之前,先来简单分析一下数据项目和应用项目的区别。 ● 前期调研阶段 应用项目聚焦业务本身,需要梳理具体的业务流程;数据项目聚焦于数据流向,需要梳理数据全景图。 ● 数据存储 对于建模阶段,应用项目多遵循三范式,多有物理主外键,常使用数据库自身事务保证数据一致性;数据项目建模多采用维度建模,基本不使用物理主外键,数据一致性由ETL 保证。 ● 开发过程 应用项目的模型相对简单,可以实现快速迭代;数据项目模型复杂,需要构建底层模型后,再进行快速迭代,见效时间会长于应用项目,通常数据项目需要对底层建模完成,并且对应的数据清洗处理后,才可以进行需求的快速迭代响应。 通常搭建一个健康的数据仓库项目,有业务确认、数据收集、数据建模、数据处理、数据可视化/分析五部分。 数据治理 一、业务确认 在数据仓库领域,通常采用的建模方法是维度建模,按照事实表(fact 数据),维度表(dim 数据)来构建数据仓库。因此,业务确认需要确认以下几点:哪些数据为维度数据,哪些数据为事实数据,数据的生产者、使用者以及数据的管理者,业务边界。 二、数据收集 在了解大体的业务背景后,就需要对每个数据进行数据收集,主要从以下几方面考虑: 1、据的定义,要确定主数据以及事实数据的具体业务含义,以及对于事实数据的统计口径进行确认。 2、数据的更新频率,实时更新还是每日更新或是按需更新等。 3、数据的更新方式,增量更新还是半全量更新或是全量更新等。 梳理业务需求,稳定数据源。 确定数据管理者 确定数据生产者 确定数据使用者 确定数据范围 划分主题域 确定业务边界 确认目标 更新频率:实时/准实时/ 小时/天/月 更新粒度:增量/全量 保存时长:原始事实数据 保存时长。 指标梳理:指标定义/计算逻辑/事实数据粒度 主数据定义:统一口径 评估数量质量:维度/规 则 收集数据 概念建模:定义实体/实体关系 逻辑建模:定义实体属性/实体数据来源/定义维度表和事实表关联 物理建模:数据分层/反范试设计/维度代理键/维度渐变。 数据建模 数据抽取:ETL 幂等性 数据清洗:错误/重复/关联/缺失 数据整合:类型转换/指 标计算 日志分级:调度级别 /ETL 级别/数据级别 日志处理:错误/标记/警告 日志分析:报表/邮件 数据处理 数据测试:关联测试/ 逻辑测试 数据可视化/数据分 析:固定报表/多维分 析/数据挖掘分析。 执行反馈 数据分析 持续优化 不断调整

数据仓库成功案例(2)

数据仓库成功案例1 数据挖掘在宝钢的实践 1. 宝钢简介 2. 宝钢数据挖掘基础 2.1 冶金工业数据挖掘背景 2.2 其DW流程和具体步骤 2.3 其DW工具和主要功能 3. 宝钢股份信息化的三层数据架构 4. 宝钢数据仓库的体系结构及应用 4.1 系统环境 4.2 宝钢数据仓库开发 4.3 宝钢数据仓库应用 4.3.1 专业技术报表 4.3.2 数据分析与数据挖掘 4.3.3 决策信息支持 5. 宝钢数据仓库和数据挖掘应用及成果 6. 参考文献 1.宝钢简介 宝钢是中国最大的钢铁生产企业,目前的规模达到年产1100万吨钢,2002年的销售收入达到330亿元,税前利润接近60亿元。宝钢的产品系列包括板材、线材、管材等,主要的用户分布在汽车、家电等制造业。自1985年投产至今,积累了大量的生产实绩数据。 2.宝钢数据挖掘基础 2.1 冶金工业数据挖掘背景 在冶金工业中年复一年的积累着各种数据,从每一炉钢到每一块板坯到每一个钢卷,各级计算机系统可以把这些数据完整地收集起来。但是收集数据本身并不是目的,从“信息化带动工业化”的角度来看,更重要的是把这些数据利用起来,利用数据中蕴藏的知识来指导生产,形成企业的核心竞争力。 另一方面,在冶金工业的运营过程中还有许多问题需要解决,例如全流程的质量控制和供应链管理等。由于它们固有的多变量和非线性特点,用传统的局部优化的方法很难达到企业级的最优。现在通过把分散在各个生产过程的实际生产数据按主题组织成数据仓库,在此基础上展开数据挖掘工作和获取知识,利用获取的知识可以比过去更好地解决这些问题。 2.2 其DW流程和具体步骤 通用数据挖掘流程:

数据仓库课后习题答案

第一章作业 1.数据库与数据仓库的本质差别是什么?书P2 (1)数据库用于事务处理,数据仓库用于决策分析。(2)数据库保持事物处理的当前状态,数据仓库即保存过去的数据又保存当前的数据。(3)数据仓库的数据是大量数据库的集成。(4)对数据库的操作比较明确,操作数量较小。对数据仓库操作不明确,操作数据量大。 6. OLTP OLAP 细节性数据综合性数据 当前数据历史数据 经常更新不更新,但周期性刷新 一次性处理的数据量小一次处理的数据量大 对响应时间要求高响应时间合理 面向应用,事务驱动面向分析,分析驱动 8.定义为关于数据的数据,描述数据仓库中数据及其环境的数据。 9.元数据不仅仅是数据仓库的字典,而且还是数据仓库本身功能的说明数据,是整个数据仓库的核心。数据字典是关于数据库中数据的描述,而不是数据本身,数据字典是数据库的元数据。 18、统计学与数据挖掘的不同。 统计学主要是对数量数据或连续值数据进行数值计算的定量分析,得到数量信息。数据挖掘主要对离散数据进行定性分析,得到规则知识。在统计学中有聚类分析和判别分析,它们与数据挖掘中的聚类和分类相似。但是,采用的标准不一样,统计学的聚类采用的“距离”是欧式距离,即两点间的坐标(数值)距离。而数据挖掘的聚类采用的“距离”是海明距离,即属性取值是否相同,相同者距离为0,不相同者距离为1。 总之,统计学与数据挖掘是有区别的,但是,它们之间是相互补充的。不少数据挖掘的著作中均把统计学的不少方法引入到数据挖掘中,与将机器学习中不少方法引入到数据挖掘中一样,作为从数据获取知识的一大类方法。 19、说明数据仓库与数据挖掘的不同。 数据仓库是在数据库的基础上发展起来的。它将大量的数据库的数据按决策需求进行重新组织,以数据仓库的形式进行存储,将为用户提供辅助决策的随机查询、综合信息以及随时间变化的趋势分析信息等。 数据仓库是一种存储技术,其数据存储量是一般数据库的100倍,包含大量的历史数据、当前的详细数据以及综合数据。它能适应不同用户对不同决策需要提供所需的数据和信息。 数据挖掘是从人工智能机器学习中发展起来的。它研究各种方法和技术,从大量的数据中挖掘出有用的信息和知识。最常用的数据挖掘方法是统计分析方法、神经网络方法和机器学习中研究的方法。数据挖掘中采用机器学习的方法有归纳学习方法(如覆盖正例排斥反例方法,如AQ系列算法、决策树方法等)、遗传算法、发现学习算法(如公式发现系统BACON)等。 利用数据挖掘的方法和技术从数据仓库中挖掘的信息和知识,反映了数据仓库中数据的规律性。用户利用这些信息和知识来指导和

(整理)数据仓库技术简介

数据仓库技术简介 数据仓库是近年来兴起的一种新的数据库应用。在各大数据库厂商纷纷宣布产品支持数据仓库并提出一整套用以建立和使用数据仓库的产品是,业界掀起了数据库热。比如INFORMIXGONGSIDE公司的数据仓库解决方案;ORACLE公司的数据仓库解决方案;Sybase公司的交互式数据仓库解决方案等等。这同时也引起了学术界的极大兴趣,国际上许多重要的学术会议,如超大型数据库国际会议(VLDB),数据工程国际会议(Data Engineering)等,都出现了专门研究数据仓库(Data Warehousing,简记为DW)、联机分析处理(On-Line Analytical Processing,简记为OLAP)、数据挖掘(Data Mining, 简记为DM)的论文。对我国许多企业而言,在建立或发展自己的信息系统常常困扰于这样的问题:为什么要在原有的数据库上建立数据仓库?数据仓库能否代替传统的数据库?怎样建立数据仓库?等等。本章将简要介绍一下用到的数据仓库技术背景,并在下一章结合数据清理系统设计实例,更深一步阐述数据仓库技术在现实中的重大意义 一.从数据库到数据仓库 传统的数据库技术是以单一的数据资源,即数据库为中心,进行事务处理、批处理、决策分析等各种数据处理工作,主要的划分为两大类:操作型处理和分析型处理(或信息型处理)。操作型处理也叫事务处理,是指对数据库联机的日常操作,通常是对一个或一组纪录的查询和修改,主要为企业的特定应用服务的,注重响应时间,数据的安全性和完整性;分析型处理则用于管理人员的决策分析,经常要访问大量的历史数据。而传统数据库系统优于企业的日常事务处理工作,而难于实现对数据分析处理要求,已经无法满足数据处理多样化的要求。操作型处理和分析型处理的分离成为必然。 近年来,随着数据库技术的应用和发展,人们尝试对DB中的数据进行再加工,形成一个综合的,面向分析的环境,以更好支持决策分析,从而形成了数据仓库技术(Data Warehousing,简称DW)。作为决策支持系统(Decision-making Support System,简称DSS),数据仓库系统包括: 数据仓库技术; 联机分析处理技术(On-Line Analytical Processing,简称OLAP); 数据挖掘技术(Data Mining,简称DM); 数据仓库弥补了原有的数据库的缺点,将原来的以单一数据库为中心的数据环境发展为一种新环境:体系化环境。 1.什么是数据仓库 业界公认的数据仓库概念创始人W.H.Inmon在《建立数据仓库》一书中对数据仓库的定义是:数据仓库就是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集合,用以支持经营管理中的决策制定过程 数据仓库中的数据面向主题,与传统数据库面向应用相对应。主题是一个在较高层次上将数据归类的标准,每一个主题对应一个宏观的分析领域:数据仓库的集成特性是指在数据进入数据仓库之前,必须经过数据加工和集成,这是建立数据仓库的关键步骤,首先要统一原始数据中的矛盾之处,还要将原始数据结构做一个从面向应用向面向主题的转变;数据仓

建设数据仓库的八个步骤

建设数据仓库的八个步骤 摘要:建立数据仓库是一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题。 关键词:数据仓库元数据 建设数据仓库 建立数据仓库是一个解决企业问题的过程,业务人员往往不懂如何建立和使用数据仓库,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题,从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成,双方需要相互沟通,协作开发数据仓库。 开发数据仓库的过程包括以下几个步骤。 1.系统分析,确定主题 建立数据仓库的第一个步骤就是通过与业务部门的充分交流,了解建立数据仓库所要解决的问题的真正含义,确定各个主题下的查询分析要求。 业务人员往往会罗列出很多想解决的问题,信息部门的人员应该对这些问题进行分类汇总,确定数据仓库所实现的业务功能。一旦确定问题以后,信息部门的人员还需要确定一下几个因素: ·操作出现的频率,即业务部门每隔多长时间做一次查询分析。 ·在系统中需要保存多久的数据,是一年、两年还是五年、十年。 ·用户查询数据的主要方式,如在时间维度上是按照自然年,还是财政年。 ·用户所能接受的响应时间是多长、是几秒钟,还是几小时。 由于双方在理解上的差异,确定问题和了解问题可能是一个需要多次往复的过程,信息部门的人员可能需要做一些原型演示给业务部门的人员看,以最终确定系统将要实现的功能确实是业务部门所需要的。 2.选择满足数据仓库系统要求的软件平台 在数据仓库所要解决的问题确定后,第二个步骤就是选择合适的软件平台,包括数据库、建模工具、分析工具等。这里有许多因素要考虑,如系统对数据量、响应时间、分析功能的要求等,以下是一些公认的选择标准: ·厂商的背景和支持能力,能否提供全方位的技术支持和咨询服务。 ·数据库对大数据量(TB级)的支持能力。 ·数据库是否支持并行操作。 ·能否提供数据仓库的建模工具,是否支持对元数据的管理。 ·能否提供支持大数据量的数据加载、转换、传输工具(ETT)。 ·能否提供完整的决策支持工具集,满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下:

数据仓库构建实施方法及步骤

数据仓库构建实施方法及步骤 数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的,这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。 数据仓库系统的原始需求不明确,且不断变化与增加,开发者最初不能确切了解到用户的明确而详细的需求,用户所能提供的无非是需求的大的方向以及部分需求,更不能较准确地预见到以后的需求。因此,采用原型法来进行数据仓库的开发是比较合适的,因为原型法的思想是从构建系统的简单的基本框架着手,不断丰富与完善整个系统。但是,数据仓库的设计开发又不同于一般意义上的原型法,数据仓库的设计是数据驱动的。这是因为数据仓库是在现存数据库系统基础上进行开发,它着眼于有效地抽取、综合、集成和挖掘已有数据库的数据资源,服务于企业高层领导管理决策分析的需要。但需要说明的是,数据仓库系统开发是一个经过不断循环、反馈而使系统不断增长与完善的过程,这也是原型法区别于系统生命周期法的主要特点。因此,在数据仓库的开发的整个过程中,自始至终要求决策人员和开发者的共同参与和密切协作,要求保持灵活的头脑,不做或尽量少做无效工作或重复工作。 数据仓库的设计大体上可以分为以下几个步骤: 概念模型设计; 技术准备工作; 逻辑模型设计; 物理模型设计; 数据仓库生成; 数据仓库运行与维护。 下面我们六个主要设计步骤为主线,介绍在各个设计步骤中设计的基本内容。 第一节概念模型设计 进行概念模型设计所要完成的工作是: <1>界定系统边界 <2>确定主要的主题域及其内容 概念模型设计的成果是,在原有的数据库的基础上建立了一个较为稳固的概念模型。因为数据仓库是对原有数据库系统中的数据进行集成和重组而形成的数据集合,所以数据仓库的概念模型设计,首先要对原有数据库系统加以分析理解,看在原有的数据库系统中“有什么”、“怎样组织的”和“如何分布的”等,然后再来考虑应当如何建立数据仓库系统的概念模型。一方面,通过原有的数据库的设计文档以及在数据字典中的数据库关系模式,可以对企业现有的数据库中的内容有一个完整而清晰的认识;另一方面,数据仓库的概念模型是面向企业全局建立的,它为集成来自各个面向应用的数据库的数据提供了统一的概念视图。 概念模型的设计是在较高的抽象层次上的设计,因此建立概念模型时不用考虑具体技术条件的限制。 1 界定系统的边界 数据仓库是面向决策分析的数据库,我们无法在数据仓库设计的最初就得到详细而明确的需求,但是一些基本的方向性的需求还是摆在了设计人员的面前:

创建OLAP实例(大数据仓库与大数据挖掘)

实验报告 课程名称数据仓库与数据挖掘 实验项目创建OLAP实例 专业班级蔡国庆吧姓名猜测学号 指导教师实验成绩 2012年10月8日

一、实验目的 1、熟悉SQL Server 2005 Management Studio和Business Intelligence Development Studio基本操作 2、掌握数据仓库的基本构建方法 3、理解数据浏览和分析的基本方法 二、实验环境 sql server 2005、Visual Studio 2005、Windows XP 三、实验过程 对华兴商业银行(一个虚拟的银行)在2000年至2005年之间的贷款数据进行的多维分析(原数据:华兴商业银行贷款数据_Data),具体完成以下实验内容: 1、将“华兴商业银行贷款数据_Data”数据库按要求转换成新的数据库“华兴商业银行贷款”,并装载到Manager Studio中。 在附加完“华兴商业银行贷款数据”数据库后,右击“导出数据”功能。

创建“华兴商业银行贷款分析”数据库,并选择为目标数据库:

但由于软件问题,导出失败,无法建立数据流连接:

最终操作停止: 改用Transact-SQL语言执行: select*into华兴商业银行贷款分析.dbo.贷款类别代码表from华兴商业银行贷款数据.dbo.贷款类别代码表 select*into华兴商业银行贷款分析.dbo.贷款期限代码表from华兴商业银行贷款数据.dbo.贷款期限代码表 select*into华兴商业银行贷款分析.dbo.法人基本信息表from华兴商业银行贷款数据.dbo.法人基本信息表 select*into华兴商业银行贷款分析.dbo.信贷机构代码表from华兴商业银行贷款数据.dbo.信贷机构代码表 select*into华兴商业银行贷款分析.dbo.贷款分析视图from华兴商业银行贷款数据.dbo.贷款分析视图

相关文档