建设数据仓库7个步骤

成功实施数据仓库项目的七个步骤

建立一个数据仓库并不是一个简单的任务，不应该由一个人单独完成。由于数据仓库最佳结合了业务惯例和信息系统技术，因此，一个成功的数据仓库实施需要这两方面的不断协调，以均衡其所有的需要，要求，任务和成果。我很乐意与大家分享我在规划和管理任何数据库项目时采用的方法，这些数据库包括交易数据库，数据仓库，和混合型数据库。由于我生活在关系数据库和数据仓库以及用以支撑它们的数据提取，转换和加载(ETL )过程中，所以我会集中在这些领域讨论我的方法。然而，您可以将这些方法扩展到整个栈--OLAP立方体和如报告，特征分析(ad-hoc analysis)，记分卡和仪表盘展示之类的信息传递应用。

我不是吃撑了要告诉一个真正的项目经理( PM )如何做他或她的工作，相反，我写的这些是为那些数据库管理员和开发者，他们没有好运气能与有经验的项目经理一起工作;同样也适合这样的IT专业人员，他们被突然要求：“建立一个数据仓库“，并且需要自己扮演项目经理的角色。我的讨论不会是完整的，但我希望这会给您足够的信息来让您的项目球滚起来。

如图1所示，数据仓库项目有3个轨道(tracks)：数据轨道，技术轨道和应用层轨道。当您在整理任何数据库项目计划时，我建议您以这三个轨道为模板来管理和同步您的活动。当您向技术决策者( TDMs ) ，商业决策者( BDMs ) ，和所有其他该数据仓库项目参与者讲解您的计划时，您也可以把图1当作一个高级的概要图来使用。

使用一种生命周期管理方法

我鼓励您利用您的组织可以提供的资源，比如设计，开发和部署系统和软件的技术和方法。如果贵公司对于这些工作没有采用任何正式的方法，继续前进吧，您可采用我为我自己的数据库项目开发的7D数据库生

命周期管理方法(Discover, Design, Develop, Deploy, Day to Day , Defend, Decommission), 昵称“7D 法”。

我的“7D”数据库生命周期管理方法讲的是数据库的生命周期管理，而不是相关的软件(应用程序)和硬件的生命周期。图1包括了软硬件轨道，但我不会进一步阐述它们的管理。为了成功实施数据库生命周期的方法，有必要调整和同步数据库生命周期的里程碑、硬件和应用软件。

数据仓库的构建从来不会真正结束。不像传统的数据库在部署后的一段时间里保持相对的不变，数据仓库始终处于不断的变化之中，以应对它所服务的业务环境的变化。当今的业务环境更加复杂，并涉及比以往任何时候都要快的变化。处理这种几乎是不断的变化是企业的最大挑战之一。这就是为什么数据仓库团队中的每一个人，包括技术决策者( TDMs ) 和业务决策者( BDMs )，都必须处在同一阵线上，使用同一种生命周期管理方法，以使他们的认识完全得到统一。只有这样，才有可能对已实施的数据仓库、企业的构想和宗旨进行调整。在图1中，我已经展示了我的“7D法”的7个步骤，本文将带领您完成每一步。

第一步：发掘

我保证任何规模和领域的数据库项目离开了开始的发掘阶段都将失败。这个阶段也被称为“需求分析和定义”，发掘阶段需要以业务为中心，特别是数据仓库项目，因为数据仓库的输出需要支持组织的目标。发掘这一步实质上就是调查，您应该不断地问六个基本问题(什么，如何，在何处，谁，何时和为什么)，记录好答案，并把这些答案包含在您起草的解决方案中。

在“7步”的前3步(发掘，设计，开发)中，必须对业务主和技术专家进行集中的协调，项目经理(PM)应该促成这一进程。项目经理作为一个独立的专业人员，主要关心项目的及时上线、预算在控制范围内，有预期的运行效果;项目经理在得到各方的反馈意见后，负责制定严格的路线，里程碑和成功指标。如果项目里没有PM,这些将成为您的工作。

在发掘阶段，PM必须收集图1所示的三个轨道的信息，即技术轨道，数据轨道和应用层轨道。在其他任务中，PM必须确定利益相关者和用户，必须理解他们各自的角色和相应的数据/视图需求。PM必须知道本组织的绩效管理策略：目标是什么，倡议什么以及跟踪业务和项目健康状况的支撑度量标准/关键绩效指标。如果上述策略的任何部分遗漏了，该项目很有可能失去最终用户的评分，这可能会导致低的采用通过率和未来资金的丢失。换句话说，该项目将失败，而不管项目任务执行得有多么完美。

第二步：设计

设计这一步的主要活动是定义描述数据仓库的语义和概要模型。这些模型必须解决企业用户的管理信息系统(MISs)和商务智能( BI )分析需要。对于数据仓库项目，您可以为关系型数据仓库创建概念和逻辑数据模型，为表示多维立方体创建三维模型。您可以使用决策矩阵，以帮助确定每个三维模型需要包含些什么;沿Y轴方向列出被数据仓库支持的关键业务流程，沿X轴方向列出建议的维。这个矩阵将作为当前开发、未来扩展和跨组织集成的向导。在设计阶段建立的模型必须反映第一阶段您收集的六个问题的答案。标识数据仓库相关的所有数据源(内部和外部的)，业务/交易数据库和展平文件是个好注意。您也应该明确说明哪些数据将被导入数据仓库，哪些只会简单地作为外部数据源引用。

通常，技术轨道有自己的PM，但您仍然可能需要填补那个角色。数据仓库可以增长为非常大的内容和十分广泛的范围，因此有必要在数据仓库部署之前恰当地规划其大小。首先在纸上估计其大小，这样您就可以大致把握当数据仓库投入产品应用时所需的处理器速度和磁盘容量。您需要估算一天的业务终端用户数量以及他们使用的应用(例如，对立方体做一个特别分析，或者从关系数据仓库中取出缓存的报告)，也要估算数据仓库一年中将会存储的数据量。只是因为数据仓库是一个进展中的工作，您需要两年和五年预测，同样，其处理能力和数据存储需求将随着时间的推移不断增加。数据仓库设施包括各种硬件，通信和软件解决方案，所有这一切都必须协同工作，为终端用户提供一个工作的数据仓库。您需要足够的时间来计划和测试您将如何整合所有这些不同的组成部分。

跟技术轨道一样，应用轨道可能有自己的PM或由一个主导的软件开发人员充当这一角色。如果你是幸运的，你的工作将是与此人协调以同步任务。如果不是，那你的工作描述会扩大。应用层包括获取从数据仓库收集到的输出，通常是MIS报告和BI分析结果。MIS报告常是屏幕显示，仪表板，和打印副本的形式，它们帮助企业管理者做出运行日常业务所需的战术决策。这些输出相对比较容易界定、编码和被一系列标准化的进程抓取，这些进程运行在可预定环境中。应用层的BI部分是一组查询和响应，以帮助执行管理作出战略决策，推动商务运营。BI解决方案往往是非结构化的，很难预定义，因为他们倾向于用一种特别的方式探索数据。记分牌，图形和数据透视表是BI的应用例子，它们能刺激更多的数据探索，而这可能导致公司内部战略方向的改变。

在这个阶段许多方法要求原型或试点项目。“7D法”不需要。至多，作为应用层的设计活动中的一部分，你可以做一个“点击模式”--一种输入/输出屏幕的快速呈现模型，不涉及或只有极少的代码但却能给利益攸关方可视化的概念，同时又不会吃掉宝贵的时间和资源。如果试点或原型是必要的，那么选择其中的一个切片(slice)作为试点，完成“7D法”的每一步。“7D法”不区分试点，原型和产品系统--它们都被视为项目。

如果按照“7D法”设计了一个原型，并且最终进入了产品(大多数原型都是这样)，然后您必须比第一个切片更仔细地选择第二个切片。如果这些切片不能成功地集成在一起，如果他们不支持您在发掘步骤发现的

企业宗旨和意图，那么您在创建“烟囱”，这是信息的群岛，整合彼此只会遇到困难，在某些情况下，甚至根本不可能.

第三步：开发

数据轨道开发步骤主要有两个部分：第一个涉及将数据模型映射到其对应的物理设计(实质是关系数据仓库和OLAP立方体的蓝图)，规划数据库的大小，必要时对表进行分块，为数据仓库对象设定命名约定以便业务用户和技术用户都能适应，并制定索引和识别索引候选名单的策略。第二部分涉及数据从外部数据源到数据仓库的提取转换加载(ETL)。包含在第二部分但不局限于这一部分的是数据转换服务( DTS )/SQL Server整合服务( SSIS)补丁的开发与测试，导入/导出和T-SQL脚本开发和测试，以及对外部数据源组件的数据整合测试，这些数据不会导入到数据仓库。

技术轨道的开发步骤包括审查，测试和选择产品，并提供其作品的体系结构设计。为了组成通信链路的各个层--物理层、数据链路层、网络层以及传输层，会话和表现层，这样做是必需的。虽然许多产品把多层无缝打包到一个解决方案，但有必要认识到这些层中的每一个在未来的负载要求和性能要求，并提前为这些需求作好准备。为了从新的数据仓库交付数据，您应该选定数据仓库的服务器和存储解决方案，以及新的，最终用户面临的硬件。这样做是为了产品数据仓库和分期数据库--DTS/SSIS软件包和T-SQL脚本在这里执行，从外部数据源导入数据，以及把可操作和精心料理的数据导入到关系数据仓库和OLAP立方体中。根据发掘阶段收集到的需求，您的数据仓库环境可能还要支持数据集市，快照，和报告数据库，因此，也要准备为这些方面考虑环境。

应用轨道开发步骤听起来很简单：只要开发终端用户应用程序。然而，这可能是整个过程中最复杂和费时的任务，并且可能是代价最高的--如果没有认真制定和考虑成功的度量标准。正是在这一阶段，范围蠕变(不断增加特性和功能，而不考虑对其他两个轨道的设计和开发的影响)可能像鱼雷一样破坏项目。除了开发终端用户应用程序，您也不得不制定测试这些应用程序的计划，您需要制定终端用户培训计划以便用户能学会如何使用这些应用软件。在每一个里程碑，你必须确保获得相关各方的签字或验收。

这可能听起来很明显，但多少令人惊讶的是不知道有多少开发项目是在产品环境中阶段化和测试的!别这样做，只是不要这样做!为开发，测试，和组件划分搭建一个单独的物理环境。对业务系统要这样做--同样，对BI/数据仓库也要这样做。

第四步：部署

部署数据仓库和部署交易数据库是不一样的，通常，您以一种快速、包罗万象的风格部署一个交易数据库-周五晚上终端用户在使用旧式系统，而周一上午他们登录到新的数据库。数据仓库通常是递增式地部署到整个企业的各类用户中。这种递增的速度和各个组使用数据仓库的次序是包含在部署阶段中部署计划的一部分。

理想的情况下，数据仓库的部署以一种迅速级联的层次进行，首先是技术就位--服务器，存储设备，通信链接等，系统软件的安装，测试并准备投入产品。然后是数据轨道各组件的展开--数据仓库数据库(关系型和OLAP )的建立，以及ETL进程的联机。在最终的应用层添加之前往往会打住一下，当您通过ETL进程让数据流从外部来源进入各种不同的数据仓库数据库和立方体时，进行必要的测试和调整。然后应用层被部署。您可能想要逐渐地部署应用层，因为企业内部的不同人员有不同的等级。

作为一个PM，你发挥着非常重要的作用。在你的指导和引导下，三个轨道将按预定计划到达部署阶段，避免数周数月的“误点”忧虑。一旦技术和数据轨道就绪并测试，并准备继续，那么开始展开应用层。没有用户界面( UI)的数据仓库对任何人都是没用的，而一个尺寸不足，弱工程系统架构的数据仓库会因性能太差而不会被企业用户采用。

第五步：每一天

日常业务运营的管理是非常重要的;而这常常在规划和开发过程中被忽视。你不仅必须确保定期(每日，每周等)进行维护，包括硬件和软件，还必须要不断监视所有系统的性能和增长。正如我一开始所说，数据仓库永远不会结束;随着越来越多的用户发现数据的内在价值，并创造新的，有时甚至是具有挑战性的方式来查询数据仓库，它会继续增长和扩大。有些PM的任务有时你必须准备承担，包括确保所有的系统(硬件，通信链路，系统软件)的全面运作，打最新的补丁和升级。当业务瓶颈出现时尽可能快地诊断和解决问题; 确保所有需要做备份的系统及时备份，实际上，有备份工作定义和计划，并要求所有的备份恢复测试，后续测试，开发，或报告数据库。

业务不是静止的，它们必须不断地改造自己，以保持竞争力。数据仓库数据管理员的职责就是跟踪数据的使用，评估数据的重要性，并检测业务什么时候开始需要转变。随着业务模式的变化，将会需要更新，更好，更灵活，可能更复杂的用户应用程序，数据管理员应该能感知到这些要求。有时，当业务方向和重点变化到了一定的程度，就需要重新进入发掘阶段，生命周期将回到原点。洗涤，漂洗，重复下去。

第六步：防护

捍卫你的数据仓库涉及的不仅仅是采取定期备份或确保没有任何应用程序包括SQL查询可能会开放给SQL 注入式攻击。你必须计划整个范围和宽度的捍卫，因为数据仓库包含了企业最宝贵的资产--它的数据，以一种经过编译的，清理过的，以及(在某些情况下)信息化了的格式存在。

数据仓库的威胁通常分为两类，物理的和逻辑的。物理方面的威胁可以是外部的(龙卷风，洪水，火灾，地震)或内部(有意的，偶然的)。您可以防止来自物理方面威胁的做法既可以是采用简单的限制访问计算机和通信室，也可以如位于地理上相距甚远的容错站点上的镜像服务器般复杂(且昂贵)。物理防御取决于您的恢复时间和恢复点目标，也就是多少时间你的数据仓库离线你可以忍受和多少数据丢失你可以承担。

逻辑威胁要复杂得多，仅仅因为数据仓库环境的自然特性。操作系统可能会失败，数据库管理系统可能会崩溃，一个或多个应用程序可能有意无意损坏、销毁、误解数据(尤其出现在承担数据仓库给养任务的ETL 过程中)。浏览器的用户界面已经把嵌入式SQL调用暴露给了SQL注入式攻击。每一个潜在的威胁都必须查明和处理; 在威胁发生之前制定补救措施要比它们发生之后好得多。PM的工作是为您的整个数据仓库安装制定一个全面的防御。如果你足够幸运有一个安全管理员，利用此人的专长和经验。

第七步：退役

可能有一天当数据仓库，或一个组件部分(分期数据库，数据集市，报告数据库，立方体)不再符合要求，解除它的时间就到了。并非每一个数据库都可以不断重构或升级，以满足新的要求。有时候，你仅仅是需要丢弃和重建，特别是如果数据库实例是“规范建立的”，即没有适当的架构充分反映企业的目标和意图。在这种情况下，作为PM，你必须同步进程。

一般来说，退役步骤以如下三种方式之一发生：没有更换的退役;移交式退役;和逐步到位/逐步淘汰的退役。“没有更换的退役”是指数据库用来执行的功能不再需要。不仅是数据库退休了，在它之上的执行功能也退休了。“移交式退役”表明另一个数据库将取代退役的数据库，并且其对应的执行功能也将从旧的数据库迅速转移到新的。某一天，用户可能访问旧的数据库，而第二天他们将访问新的。“逐步到位/逐步淘汰的退役”表明旧的和新的数据库将并存运行一段时间，而功能和用户逐步从旧的转移到新的，直到最后再也没有用户或功能运行旧的数据库时，它就可以退役了。每个方案都有其风险和回报;作为PM你必须确定何时风险大于收益，确定哪种计划最适合您的情况。然后你必须与技术轨道和应用轨道的其他人员协同工作，计划和执行，以确保无缝转换。

良性循环

在您与这些数据仓库的各个组件打交道的过程中，随后将会有新一轮的发现，这期间你会评估随着时间而发展的新需求。发生这种情况可能来自从存储在数据仓库中的数据收集到的信息。这些新的要求可能会导

致扩大增强一个或多个轨道的设计和解决方案。您需要将这些变化反映到现有的数据仓库中，这样您就可以部署更新、更好的、用户渴望利用的解决方案。为保持数据仓库像不可思议的机器一样运行，一些新的要求可能会导致日常运作的变化。

随着时间的推移，生命周期的多次迭代过程会导致数据仓库紧密联系于企业结构，直到数据仓库和业务成为无缝的整体。对于这一难题，PM的职责是确保所有活动和任务都是按照规范进行，被既定的成功指标接受，并被同步部署。即使您的数据仓库项目没有正式的PM，即使你是人力资源唯一列在这个项目上的人员，你仍然应该做一些PM会做的计划，并及时更新。然后，当管理层问：“数据仓库项目进展如何了?”你可以告诉他们项目目前处在什么阶段和已经干了些什么工作。

数据仓库与数据挖掘课后习题答案

数据仓库与数据挖掘 第一章课后习题 一：填空题 1）数据库中存储的都是数据，而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2）数据仓库中的数据分为四个级别：早起细节级、当前细节级、轻度综合级、高度综合级。3）数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括业务数据和历史数据。4）元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5）数据处理通常分为两大类：联机事务处理和联机事务分析 6）Fayyad过程模型主要有数据准备，数据挖掘和结果分析三个主要部分组成。 7）如果从整体上看数据挖掘技术，可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8）那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9）按照挖掘对象的不同，将Web数据挖掘分为三类：web内容挖掘、web结构挖掘和web 使用挖掘。 10）查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层，它们各自的侧重点不同，因此适用范围和针对的用户也不相同。 二：简答题 1）什么是数据仓库？数据仓库的特点主要有哪些？ 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支

持管理决策。 主要特点：面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 2）简述数据挖掘的技术定义。 从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 3）什么是业务元数据？ 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 4）简述数据挖掘与传统分析方法的区别。 本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 5）简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构 c.单独的数据集市体系结构 d.分布式数据仓库结构

数据仓库建设的几点建议.doc

北京甲骨文软件有限公司咨询经理鲁百年博士 一、国内信息化的现状 1、信息化建设的发展历史：在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，例如：在一个企业中，财务部门为了减少工资发放的差错，提高发放的效率，先建设一个工资发放和管理程序；为了报账和核对的需求，建设一个财务管理程序；在银行首先为了业务处理的方便，将最基本的手工记帐和处理的业务建成一个系统，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。 2、为何要建立数据仓库：前面我们讲过，业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，Bell Inman提出了数据仓库的概念，其目的是为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。 3、国内企业对数据仓库建设认识的误区： 大家对数据仓库的认识是将业务系统的数据进行数据抽取、迁移和加载（ETL），将这些数据进行整合存放在一起，统一管理，需要什么样的分析就可提供什么样的分析，这就是数据仓库。这样做的结果是花了一年到两年的时间都无法将整个企业业务系统的数据整合在一起，花钱多、见效慢、风险大。一年后领导问起数据仓库项目时，回答往往是资金不足，人力不够，再投入一些资源、或者再延长半年的时间就会见到效果，但是往往半年过后还是仅仅可以看到十几张或者几十张报表。领导不满意，项目负责人压力也很大，无法交待。这时，项目经理或者项目负责人才意识到，项目有问题，但是谁也不敢说项目有问题，因为这样显然是自己当时的决策失误。怎么办？寻找咨询公司或者一些大的厂商，答案往往是数据仓库缺乏数据模型，应该考虑数据模型。如果建设时考虑到整个企业的数据模型，就可以建设成企业级的数据仓库（EDW。什么是数据模型，就是满足整 个企业分析要求的所有数据源。结果会如何，我个人认为：这样做企业级数据仓

大数据仓库与大数据挖掘技术复习资料

数据仓库与数据挖掘技术复习资料 一、单项选择题 1.数据挖掘技术包括三个主要的部分（ C ） A．数据、模型、技术 B．算法、技术、领域知识 C．数据、建模能力、算法与技术 D．建模能力、算法与技术、领域知识 2.关于基本数据的元数据是指: ( D ) A.基本元数据与数据源,数据仓库,数据集市和应用程序等结构相关的信息； B.基本元数据包括与企业相关的管理方面的数据和信息； C.基本元数据包括日志文件和简历执行处理的时序调度信息； D.基本元数据包括关于装载和更新处理,分析处理以及管理方面的信息。 3.关于OLAP和OLTP的说法,下列不正确的是: ( A) A．OLAP事务量大,但事务内容比较简单且重复率高 B．OLAP的最终数据来源与OLTP不一样 C．OLTP面对的是决策人员和高层管理人员 D．OLTP以应用为核心，是应用驱动的 4．将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？( C ) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘5．下面哪种不属于数据预处理的方法？ ( D ) A.变量代换 B.离散化 C. 聚集 D. 估计遗漏值 6.在ID3 算法中信息增益是指（ D ） A.信息的溢出程度 B.信息的增加效益 C.熵增加的程度最大 D.熵减少的程度最大 7.以下哪个算法是基于规则的分类器 ( A ) A. C4.5 B. KNN C. Bayes D. ANN 8.以下哪项关于决策树的说法是错误的（ C ） A．冗余属性不会对决策树的准确率造成不利的影响 B．子树可能在决策树中重复多次 C．决策树算法对于噪声的干扰非常敏感 D．寻找最佳决策树是NP完全问题 9.假设收入属性的最小与最大分别是10000和90000，现在想把当前值30000映射到区间[0,1],若采用最大－最小数据规范方法，计算结果是（ A ）

建设数据仓库7个步骤

成功实施数据仓库项目的七个步骤 建立一个数据仓库并不是一个简单的任务，不应该由一个人单独完成。由于数据仓库最佳结合了业务惯例和信息系统技术，因此，一个成功的数据仓库实施需要这两方面的不断协调，以均衡其所有的需要，要求，任务和成果。我很乐意与大家分享我在规划和管理任何数据库项目时采用的方法，这些数据库包括交易数据库，数据仓库，和混合型数据库。由于我生活在关系数据库和数据仓库以及用以支撑它们的数据提取，转换和加载(ETL )过程中，所以我会集中在这些领域讨论我的方法。然而，您可以将这些方法扩展到整个栈--OLAP立方体和如报告，特征分析(ad-hoc analysis)，记分卡和仪表盘展示之类的信息传递应用。 我不是吃撑了要告诉一个真正的项目经理( PM )如何做他或她的工作，相反，我写的这些是为那些数据库管理员和开发者，他们没有好运气能与有经验的项目经理一起工作;同样也适合这样的IT专业人员，他们被突然要求：“建立一个数据仓库“，并且需要自己扮演项目经理的角色。我的讨论不会是完整的，但我希望这会给您足够的信息来让您的项目球滚起来。 如图1所示，数据仓库项目有3个轨道(tracks)：数据轨道，技术轨道和应用层轨道。当您在整理任何数据库项目计划时，我建议您以这三个轨道为模板来管理和同步您的活动。当您向技术决策者( TDMs ) ，商业决策者( BDMs ) ，和所有其他该数据仓库项目参与者讲解您的计划时，您也可以把图1当作一个高级的概要图来使用。 使用一种生命周期管理方法 我鼓励您利用您的组织可以提供的资源，比如设计，开发和部署系统和软件的技术和方法。如果贵公司对于这些工作没有采用任何正式的方法，继续前进吧，您可采用我为我自己的数据库项目开发的7D数据库生

数据仓库建设方案详细

第1章数据仓库建设 1.1数据仓库总体架构 专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。 根据专家系统数据仓库建设目标，结合系统数据业务规，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下： 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的容： 数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume

及传统的ETL采集工具。 数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。 数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。 数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。 1.2数据采集 专家系统数据仓库数据采集包括两个部分容：外部数据汇集、部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。 1.2.1外部数据汇集 专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。 根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。 本方案在数据采集架构采用Flume+Kafka+Storm的组合架构，采用Flume和ETL 工具作为Kafka的Producer，采用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。具体采集系统技术结构图如下:

数据仓库与数据挖掘试题

武汉大学计算机学院 20XX级研究生“数据仓库和数据挖掘”课程期末考试试题 要求：所有的题目的解答均写在答题纸上，需写清楚题目的序号。每张答题纸都要写上姓名和学号。 一、单项选择题（每小题2分，共20分） 1. 下面列出的条目中，（）不是数据仓库的基本特征。B A.数据仓库是面向主题的 B.数据仓库是面向事务的 C.数据仓库的数据是相对稳定的 D.数据仓库的数据是反映历史变化的 2. 数据仓库是随着时间变化的，下面的描述不正确的是（）。 A.数据仓库随时间的变化不断增加新的数据内容 B.捕捉到的新数据会覆盖原来的快照 C.数据仓库随事件变化不断删去旧的数据内容C D.数据仓库中包含大量的综合数据，这些综合数据会随着时间的变化不断地进行重新综合 3. 以下关于数据仓库设计的说法中（）是错误的。A A.数据仓库项目的需求很难把握，所以不可能从用户的需求出发来进行数据仓库的设计，只能从数据出发进行设计 B.在进行数据仓库主题数据模型设计时，应该按面向部门业务应用的方式来设计数据模型 C.在进行数据仓库主题数据模型设计时要强调数据的集成性 D.在进行数据仓库概念模型设计时，需要设计实体关系图，给出数据表的划分，并给出每个属性的定义域 4. 以下关于OLAP的描述中（）是错误的。A A.一个多维数组可以表示为（维1，维2，…，维n） B.维的一个取值称为该维的一个维成员 C.OLAP是联机分析处理 D.OLAP是数据仓库进行分析决策的基础 5. 多维数据模型中，下列（）模式不属于多维模式。D A.星型模式 B.雪花模式 C.星座模式 D.网型模式 6. 通常频繁项集、频繁闭项集和最大频繁项集之间的关系是（）。C A.频繁项集?频繁闭项集?最大频繁项集 B.频繁项集?最大频繁项集?频繁闭项集 C.最大频繁项集?频繁闭项集?频繁项集 D.频繁闭项集?频繁项集?最大频繁项集

数据仓库与数据挖掘-教学大纲

《数据仓库与数据挖掘》教学大纲 一、课程概况 课程名称：数据仓库与数据挖掘 英文名称：Data warehousing and data mining 课程性质：选修 课程学时：32 课程学分：2 授课对象：信息类的大学本科高年级学生 开课时间：三年级下学期 讲课方式：课堂+实验 主讲老师： 二、教学目的 本课程把数据视为基础资源，根据软件工程的思想，总结了数据利用的历程，讲述了数据仓库的基础知识和工具，研究了数据挖掘的任务及其挑战，给出了经典的数据挖掘算法，介绍了数据挖掘的产品，剖析了税务数据挖掘的案例，探索了大数据的管理和应用问题。 三、教学任务 完成《数据仓库与数据挖掘》教材内容，及教学计划中的互动实践内容，另有学生自主选题的大作业、选作的论文报告。32学时：课堂24、实验2、课外2、研讨4学时。 四、教学内容的结构 课程由9个教学单元组成，对应于《数据仓库与数据挖掘》的内容。 第1章数据仓库和数据挖掘概述 1.1概述1 1.2数据中心4 1.2.1关系型数据中心 1.2.2非关系型数据中心

1.2.3混合型数据中心（大数据平台）1.3混合型数据中心参考架构 第2章数据 2.1数据的概念 2.2数据的内容 2.2.1实时数据与历史数据 2.2.2时态数据与事务数据 2.2.3图形数据与图像数据 2.2.4主题数据与全部数据 2.2.5空间数据 2.2.6序列数据和数据流 2.2.7元数据与数据字典 2.3数据属性及数据集 2.4数据特征的统计描述22 2.4.1集中趋势22 2.4.2离散程度23 2.4.3数据的分布形状25 2.5数据的可视化26 2.6数据相似与相异性的度量29 2.7数据质量32 2.8数据预处理32 2.8.1被污染的数据33 2.8.2数据清理35 2.8.3数据集成36 2.8.4数据变换37 2.8.5数据规约38 第3章数据仓库与数据ETL基础39 3.1从数据库到数据仓库39 3.2数据仓库的结构39 3.2.1两层体系结构41 3.2.2三层体系结构41 3.2.3组成元素42 3.3数据仓库的数据模型43 3.3.1概念模型43 3.3.2逻辑模型43 3.3.3物理模型46 3.4 ETL46 3.4.1数据抽取47 3.4.2数据转换48 3.4.3数据加载49 3.5 OLAP49 3.5.1维49 3.5.2 OLAP与OLTP49 3.5.3 OLAP的基本操作50

数据仓库与数据挖掘习题

数据仓库与数据挖掘习题 1.1什么是数据挖掘？在你的回答中，强调以下问题： (a) 它是又一个骗局吗？ (b) 它是一种从数据库，统计学和机器学习发展的技术的简单转换吗？ (c) 解释数据库技术发展如何导致数据挖掘 (d) 当把数据挖掘看作知识发现过程时，描述数据挖掘所涉及的步骤。 1.2 给出一个例子，其中数据挖掘对于一种商务的成功至关重要的。这种商务需要什么数据挖掘功能？他们能够由数据查询处理或简单的统计分析来实现吗？ 1.3 假定你是Big-University的软件工程师，任务是设计一个数据挖掘系统，分析学校课程数据库。该数据库包括如下信息：每个学生的姓名，地址和状态（例如，本科生或研究生），所修课程，以及他们累积的GPA（学分平均）。描述你要选取的结构。该结构的每个成分的作用是什么？ 1.4 数据仓库和数据库有何不同？它们有那些相似之处？ 1．5简述以下高级数据库系统和应用：面向对象数据库，空间数据库，文本数据库，多媒体数据库和WWW。 1．6 定义以下数据挖掘功能：特征化，区分，关联，分类，预测，聚类和演变分析。使用你熟悉的现实生活中的数据库，给出每种数据挖掘的例子。 1．7 区分和分类的差别是什么？特征化和聚类的差别是什么？分类和预测呢？对于每一对任务，它们有何相似之处？ 1．8 根据你的观察，描述一种可能的知识类型，它需要由数据挖掘方法发现，但未在本章中列出。它需要一种不同于本章列举的数据挖掘技术吗？ 1. 9 描述关于数据挖掘方法和用户交互问题的三个数据挖掘的挑战。 1. 10 描述关于性能问题的两个数据挖掘的挑战。 2.1 试述对于多个异种信息源的集成，为什么许多公司宁愿使用更新驱动的方法（构造使用数据仓库），而不愿使用查询驱动的方法（使用包装程序和集成程序）。描述一些情况，其中查询驱动方法比更新驱动方法更受欢迎。 2.2 简略比较以下概念，可以用例子解释你的观点 （a）雪花模式、事实星座、星型网查询模型 （b）数据清理、数据变换、刷新 （c）发现驱动数据立方体、多特征方、虚拟仓库 2.3 假定数据仓库包含三个维time，doctor和patient，两个度量count 和charge，其中charge 是医生对一位病人的一次诊治的收费。 （a）列举三种流行的数据仓库建模模式。 （b）使用（a）列举的模式之一，画出上面数据仓库的模式图。 （c）由基本方体[day，doctor，patient]开始，为列出2000年每位医生的收费总数，应当执行哪些OLAP操作？ （d）为得到同样的结果，写一个SQL查询。假定数据存放在关系数据库中，其模式如下：fee（day，month，year，doctor，hospital，patient，count，charge） 2.4 假定Big_University的数据仓库包含如下4个维student, course, semester和instructor，2个度量count和avg_grade。在最低的概念层（例如对于给定的学生、课程、学期和教师的组合），度量avg_grade存放学生的实际成绩。在较高的概念层，avg_grade存放给定组合的

数据仓库与数据挖掘学习心得

数据仓库与数据挖掘学习心得 通过数据仓库与数据挖掘的这门课的学习，掌握了数据仓库与数据挖掘的一些基础知识和基本概念，了解了数据仓库与数据库的区别。下面谈谈我对数据仓库与数据挖掘学习心得以及阅读相关方面的论文的学习体会。 《浅谈数据仓库与数据挖掘》这篇论文主要是介绍数据仓库与数据挖掘的的一些基本概念。数据仓库是支持管理决策过程的、面向主题的、集成的、稳定的、不同时间的数据集合。主题是数据数据归类的标准，每个主题对应一个客观分析的领域，他可为辅助决策集成多个部门不同系统的大量数据。数据仓库包含了大量的历史数据，经集成后进入数据仓库的数据极少更新的。数据仓库内的数据时间一般为5年至10年，主要用于进行时间趋势分析。数据仓库的数据量很大。 数据仓库的特点如下： 1、数据仓库是面向主题的； 2、数据仓库是集成的，数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出来，进行加工与集成，统一与综合之后才能进入数据仓库； 3、数据仓库是不可更新的，数据仓库主要是为决策分析提供数据，所涉及的操作主要是数据的查询； 4、数据仓库是随时间而变化的，传统的关系数据库系统比较适合处理格式化的数据，能够较好的满足商业商务处理的需求，它在商业领域取得了巨大的成功。

作为一个系统，数据仓库至少包括3个基本的功能部分：数据获取：数据存储和管理；信息访问。 数据挖掘的定义：数据挖掘从技术上来说是从大量的、不完全的、有噪音的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。 数据开采技术的目标是从大量数据中，发现隐藏于其后的规律或数据间的的关系，从而服务于决策。数据挖掘的主要任务有广义知识；分类和预测；关联分析；聚类。 《数据仓库与数据挖掘技术在金融信息化中的应用》论文主要通过介绍数据额仓库与数据挖掘的起源、定义以及特征的等方面的介绍引出其在金融信息化中的应用。在金融信息化的应用方面，金融机构利用信息技术从过去积累的、海量的、以不同形式存储的数据资料里提取隐藏着的许多重要信息，并对它们进行高层次的分析，发现和挖掘出这些数据间的整体特征描述及发展趋势预测，找出对决策有价值的信息，以防范银行的经营风险、实现银行科技管理及银行科学决策。 现在银行信息化正在以业务为中心向客户为中心转变6银行信息化不仅是数据的集中整合，而且要在数据集中和整合的基础上向以客为中心的方向转变。银行信息化要适应竞争环境客户需求的变化，创造性地用信息技术对传统过程进行集成和优化，实现信息共享、资源整合综合利用，把银行的各项作用统一起来，优势互补统一调配各种资源，为银行的客户开发、服务、综理财、管理、风险防范创立坚实的基础，从而适应日益发展的数据技术需要，全面提高银行竞争力，为金融创新和提高市场反映能力

数据仓库建设方案84099

1.数据仓库概述 经过多年IT的建设，信息对于XXX 的日常管理已经日益重要，并逐渐成为重要的信息资产，信息资产的管理已经成为日常管理中一个非常重要的环节。如何管理和利用好XXX 内部纷繁的数据也越来越成为信息管理的一项重要工作。 在过去相当一段时间内，XXX 业务系统的构建主要围绕着业务的数据展开，应用的构建多是自下而上构建，主要以满足某个部门的业务功能为主，我们称之为业务处理的时代。这样的构建方式造成了一个个分立的应用，分立的应用导致了一个个的静态竖井。由于数据从属于应用，缺乏XXX 全局的单一视图，形成了一个个信息孤岛，分立的系统之间缺乏沟通，同样数据的孤岛导致只能获得片面的信息，而不是全局的单一视图。存储这些信息的载体可能是各种异构或同构的关系型数据库，也有可能是XML 、EXCEL 等文件。因此，构建新一代的一体化平台提上了日程并最终促成全域数据的管理方式，目的是覆盖XXX 各个环节的关键业务数据，完善元数据管理，形成全局的数据字典、业务数据规范和统一的业务指标含义，能够灵活的获取XXX 业务数据的单一视图（需要保证数据的一致性、完整性、准确性和及时性）。数据的交换和共享主要发生在上下级组织机构之间或同级的不同部门之间。最终，这些数据可以为部队分析、决策支持（多维分析、即席查询、数据挖掘）等应用提供更及时、准确、有效的支持。 数据仓库的目标是实现跨系统数据共享，解决信息孤岛，提升数据质量，辅助决策分析，提供统一的数据服务。同时，数据仓库的构建也面临着各种挑战，比如信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实施周期以及整合项目的风险等。

数据仓库与数据挖掘课后习题答案

数据仓库与数据挖掘课后习 题答案 -标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII

数据仓库与数据挖掘 第一章课后习题 一：填空题 1）数据库中存储的都是数据，而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2）数据仓库中的数据分为四个级别：早起细节级、当前细节级、轻度综合级、高度综合级。 3）数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括业务数据和历史数据。 4）元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5）数据处理通常分为两大类：联机事务处理和联机事务分析 6）Fayyad过程模型主要有数据准备，数据挖掘和结果分析三个主要部分组成。 7）如果从整体上看数据挖掘技术，可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8）那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9）按照挖掘对象的不同，将Web数据挖掘分为三类：web内容挖掘、web结构挖掘和web使用挖掘。 10）查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层，它们各自的侧重点不同，因此适用范围和针对的用户也不相同。 二：简答题 1）什么是数据仓库数据仓库的特点主要有哪些 2） 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 主要特点：面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 3）简述数据挖掘的技术定义。 从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 4）什么是业务元数据？ 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 5）简述数据挖掘与传统分析方法的区别。 本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 6）简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构

(数据仓)数据仓库与数据挖掘分析

Adventure Works分销商销售数据分析 ---Women’s Tights 一、概述 Women’s Tights型号共三种产品，分别为“Women’s Tights,L”、“omen’s Tights,M”和“omen’s Tights,S”。这三种商品在拿大、法国和英国均有销售。 在Adventure WorksDW数据库中查询得知三种产品的总销售额如下： 表 1 三种商品销量对比 English Product Name Sales Amount Women's Tights, L$93,554.46 Women's Tights, M$17,727.64 Women's Tights, S$90,550.91 总计$201,833.01 查询命令为： SELECT DimProduct.EnglishProductName AS产品, SUM(FactResellerSales.SalesAmount)AS销售额 FROM DimProduct INNER JOIN FactResellerSales ON DimProduct.ProductKey = FactResellerSales.ProductKey GROUP BY DimProduct.EnglishProductName, DimProduct.ModelName HAVING(DimProduct.ModelName ='Women''s Tights') 从上表可以看出，[Women's Tights, L]与[Women's Tights, S]的销量相当，而[Women's Tights, M]的销量明显低于另两种，其销量只占总销量的9%。会有如此大的差距呢？下面运用OLAP技术进行分析。 为叙述方便，下文用“M”简称[Women's Tights, M]，用“L”表示[Women's Tights, L]，用“S”表示[Women's Tights, S]。 二、多维数据集的设计

EDW数据仓库项目方案

XX银行 EDW/数据仓库项目方案

目录 第一章系统总体架构................................................................. ５1.1总体架构设计概述............................................................... ５ 1.1.1总体架构的设计框架 ..................................................... ５ 1.1.2总体架构的设计原则 ..................................................... ６ 1.1.3总体架构的设计特点 ..................................................... ７1.2EDW执行架构.................................................................... ７ 1.2.1执行架构概述............................................................... ８ 1.2.2执行架构设计原则 ........................................................ ８ 1.2.3执行架构框架............................................................... ９1.3EDW逻辑架构................................................................. １８ 1.3.1逻辑架构框架............................................................ １８ 1.3.2数据处理流程............................................................ ２７1.4EDW运维架构................................................................. ２８ 1.4.1运维架构概述............................................................ ２８ 1.4.2运维架构的逻辑框架 .................................................. ３０1.5EDW数据架构................................................................. ３６ 1.5.1数据架构设计原则 ..................................................... ３６

数据仓库与数据挖掘

数据仓库与数据挖掘 摘要 数据挖掘是一新兴的技术，近年对其研究正在蓬勃开展。本文阐述了数据仓库及数据挖掘的相关概念．做了相应的分析，同时共同探讨了两者共同发展的关系，并对数据仓库与挖掘技术结合应用的发展做了展望。用Data Miner作为对数据挖掘的工具，给出了应用于医院的数据仓库实例。指出了数据挖掘技术在医疗费用管理、医疗诊断管理、医院资源管理中具有的广泛应用性，为支持医院管理者的分析决策作出了积极探索。 Abstract The Data Mine is a burgeoning technology，the research about it is developing flourishing．In this paper，it expatiates and analyses the concepts of Data Warehouse and Data Mine Together，discussing the connections of how to expand the two technologies，and combining the two technologies with prospect．The data warehouse supports the mass data on the further handling and recycling．The paper points out the use of data mining in patient charge control，medical quality control， hospital resources allocation management． It helps the hospital to make decisions positively 关键字：数据仓库；数据挖掘；医院信息系统 Key words：Data Warehouse；Data Mine；Hospital information system

数据仓库建设步骤

数据仓库建设步骤 1.系统分析，确定主题 确定一下几个因素： 操作出现的频率，即业务部门每隔多长时间做一次查询分析。 在系统中需要保存多久的数据，是一年、两年还是五年、十年 用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。 用户所能接受的响应时间是多长、是几秒钟，还是几小时。 2.选择满足数据仓库系统要求的软件平台 选择合适的软件平台，包括数据库、建模工具、分析工具等。有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准： 厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。 数据库对大数据量（TB级）的支持能力。 数据库是否支持并行操作。 能否提供数据仓库的建模工具，是否支持对元数据的管理。 能否提供支持大数据量的数据加载、转换、传输工具（ETT）。 能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下： 1)确定建立数据仓库逻辑模型的基本方法。 2)基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。 3)识别主题之间的关系。 4)分解多对多的关系。 5)用范式理论检验逻辑数据模型。 6)由用户审核逻辑数据模型。 4.逻辑数据模型转化为数据仓库数据模型 具体步骤如下： 1)删除非战略性数据：数据仓库模型中不需要包含逻辑数据模型中的全部数据项，某些用于操作 处理的数据项要删除。 2)增加时间主键：数据仓库中的数据一定是时间的快照，因此必须增加时间主键。 3)增加派生数据：对于用户经常需要分析的数据，或者为了提高性能，可以增加派生数据。

4)加入不同级别粒度的汇总数据：数据粒度代表数据细化程度，粒度越大，数据的汇总程度越高。 粒度是数据仓库设计的一个重要因素，它直接影响到驻留在数据仓库中的数据量和可以执行的 查询类型。显然，粒度级别越低，则支持的查询越多；反之，能支持的查询就有限。 5.数据仓库数据模型优化 数据仓库设计时，性能是一项主要考虑因素。在数据仓库建成后，也需要经常对其性能进行监控，并随着需求和数据量的变更进行调整。 优化数据仓库设计的主要方法是： 合并不同的数据表。 通过增加汇总表避免数据的动态汇总。 通过冗余字段减少表连接的数量，不要超过3~5个。 用ID代码而不是描述信息作为键值。 对数据表做分区。 6.数据清洗转换和传输 由于业务系统所使用的软硬件平台不同，编码方法不同，业务系统中的数据在加载到数据仓库之前，必须进行数据的清洗和转换，保证数据仓库中数据的一致性。 在设计数据仓库的数据加载方案时，必须考虑以下几项要求： 加载方案必须能够支持访问不同的数据库和文件系统。 数据的清洗、转换和传输必须满足时间要求，能够在规定的时间范围内完成。 支持各种转换方法，各种转换方法可以构成一个工作流。 支持增量加载，只把自上一次加载以来变化的数据加载到数据仓库。 7.开发数据仓库的分析应用 建立数据仓库的最终目的是为业务部门提供决策支持能力，必须为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。 信息部门所选择的开发工具必须能够： 满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门，他们的业务不同，要求的分析功能也不同。如有的用户只是简单的分析报表，有些用户则要求做预 测和趋势分析。 提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现，支持复杂的图表。 使用方式上，可以是客户机/服务器方式，也可以是浏览器方式。 事实上，没有一种工具能够满足数据仓库的全部分析功能需求，一个完整的数据仓库系统的功能可能是由多种工具来实现，因此必须考虑多个工具之间的接口和集成性问题，对于用户来说，希望看到的是一致的界面。 8.数据仓库的管理

《数据仓库与数据挖掘》复习题

2014-2015-1《数据仓库与数据挖掘》 期末考试题型 一、单项选择题（每小题2分，共20分） 二、填空题（每空1分，共20分） 三、简答题(每题6分，共30分) 四、析题与计算题(共30分) 请同学们在考试时不要将复习资料带入考场！！！ 单选题 1. 某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 2. 以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision, Recall B. Recall, Precision A. Precision, ROC D. Recall, ROC 3. 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘

当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他4. 标签的数据相分离？(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 5. 什么是KDD？ (A) A. 数据挖掘与知识发现 B. 领域知识发现 C. 文档知识发现 D. 动态知识发现 6. 使用交互式的和可视化的技术，对数据进行探索属于数据挖掘的哪一类任务？（A） A. 探索性数据分析 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7. 为数据的总体分布建模；把多维空间划分成组等问题属于数据挖掘的哪一类任务？(B) A. 探索性数据分析 B. 建模描述 C. 预测建模 D. 寻找模式和规则 8. 建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的哪一类任务？(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 9. 用户有一种感兴趣的模式并且希望在数据集中找到相似的模式，属于数据挖掘哪一类任务？(A) A. 根据内容检索 B. 建模描述

数据仓库与数据挖掘

衡水学院经济学与管理学系实验报告

二、定义和部署多维数据集 1.定义维度 可以使用多维数据集向导，通过单个步骤定义一个多维数据集及其维度。也可以先定义一个或多个维度，然后使用多维数据集向导定义一个使用这些维度的多维数据集。如果要设计一个复杂的解决方案，通常是先定义维度。 （定义【时间维度】）在“解决方案资源管理器”中，用鼠标右键单击“维度”文件夹，然后单击【新建维度】，将显示维度向导。 点击【下一步】，在随后的“指定源信息”页上，选择Adventure Works DW 2012OLAP 数据源视图；在“主表”列表中，选择“日期”表，勾选属性，并修改属性类型

2生成多维数据集 这一步在上面创建的数据源视图的基础上生成多维数据集，方法如下： (a)在“解决方案资源管理器”中用鼠标右键单击“多维数据集”文件夹对象，在弹出的快捷菜单中选择【新建多维数据集】命令。 (b)在弹出的“多维数据集向导”欢迎界面中单击【下一步】按钮进入“选择创建方法”窗口，选择“使用现有表”，继续点击【下一步】，按图5选择度量值组的表

单击【下一步】按钮，在选择【现有维度】页上，选择已有的维度--时间维度，然后单击【下一步】，在【选择新维度】页上，选择要创建的新维度。为此，请确认已选中“客户”、和“产品”复选框，再单击【下一步】完成。 (c)完成向导后，可以查看建立的多维数据集结构，如图7所示，为多维数据集的数据源视图，与前面的数据源视图相比较，这里的视图表达的是多维数据集的表间关系，而且用黄色标记了事实表，蓝色标记了维度表。 3.向维度添加属性 前面已经定义了维度，维度中的属性可以通过下面方法添加。 (a)向“客户”维度中添加属性 在解决方案资源管理器的“维度”节点中双击“客户”维度，此时就打开了“客户”维度的维度设计器。如图8。 在“数据源视图”窗格中，将 Customer 表的以下各列拖到“属性”窗格中：BirthDate，MaritalStatus，Gender，EmailAddress，YearlyIncome，TotalChildren，NumberChildrenAtHome，EnglishEducation，EnglishOccupation，HouseOwnerFlag，NumberCarsOwned，Phone，DateFirstPurchase，CommuteDistance。 将“数据源视图”窗格内 Geography 表中的以下各列拖到“属性”窗格中：City，StateProvinceName，EnglishCountryRegionName，PostalCode。 (b)向“产品”维度中添加属性 将“数据源视图”窗格内 Product 表中的以下各列拖到“属性”窗格中：StandardCost，Color，SafetyStockLevel，ReorderPoint，ListPrice，Size，SizeRange，Weight，DaysToManufacture，ProductLine，DealerPrice，Class，Style，ModelName，StartDate， 4、部署多维数据集

建设数据仓库的八个步骤

大数据技术部 建设数据仓库的八个步骤2017年04月25日编制

建设数据仓库的八个步骤 摘要：建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题。 关键词：数据仓库元数据 建设数据仓库 建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用；信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库。 开发数据仓库的过程包括以下几个步骤。 1.系统分析，确定主题 建立数据仓库的第一个步骤就是通过与业务部门的充分交流，了解建立数据仓库所要解决的问题的真正含义，确定各个主题下的查询分析要求。 业务人员往往会罗列出很多想解决的问题，信息部门的人员应该对这些问题进行分类汇总，确定数据仓库所实现的业务功能。一旦确定问题以后，信息部门的人员还需要确定一下几个因素： ·操作出现的频率，即业务部门每隔多长时间做一次查询分析。 ·在系统中需要保存多久的数据，是一年、两年还是五年、十年。 ·用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。 ·用户所能接受的响应时间是多长、是几秒钟，还是几小时。 由于双方在理解上的差异，确定问题和了解问题可能是一个需要多次往复的过程，信息部门

的人员可能需要做一些原型演示给业务部门的人员看，以最终确定系统将要实现的功能确实是业务部门所需要的。 2.选择满足数据仓库系统要求的软件平台 在数据仓库所要解决的问题确定后，第二个步骤就是选择合适的软件平台，包括数据库、建模工具、分析工具等。这里有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准： ·厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。 ·数据库对大数据量（TB级）的支持能力。 ·数据库是否支持并行操作。 ·能否提供数据仓库的建模工具，是否支持对元数据的管理。 ·能否提供支持大数据量的数据加载、转换、传输工具（ETT）。 ·能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下： （1）确定建立数据仓库逻辑模型的基本方法。 （2）基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。 （3）识别主题之间的关系。 （4）分解多对多的关系。