数据挖掘过程中的预处理阶段
数据挖掘过程中的预处理阶段
整个数据挖掘过程中，数据预处理要花费60％左右的时间，而后的挖掘工作仅占总工作量的10％左右[1]。经过预处理的数据，不但可以节约大量的空间和时间，而且得到的挖掘结果能更好地起到决策和预测作用。
一般的，数据预处理分为4个步骤，本文把对初始数据源的选择作为数据预处理过程中的一个步骤，即共分为5个步骤。因为，如果在数据获得初期就有一定的指导，则可以减少数据获取的盲目性以及不必要噪声的引入且对后期的工作也可节约大量的时间和空间。整个预处理过程见下图：
1 初始源数据的获取
研究发现，通过对挖掘的错误结果去寻找原因,多半是由数据源的质量引起的。因此，原始数据的获取，从源头尽量减少错误和误差，尤其是减少人为误差，尤为重要。首先应了解任务所涉及到的原始数据的属性和数据结构及所代表的意义，确定所需要的数据项和数据提取原则，使用合适的手段和严格的操作规范来完成相关数据的获取，由于这一步骤涉及较多相关专业知识，可以结合专家和用户论证的方式尽量获取有较高含金量（预测能力）的变量因子。获取过程中若涉及到多源数据的抽取，由于运行的软硬件平台不同，对这些异质异构数据库要注意数据源的连接和数据格式的转换。若涉及到数据的保密，则在处理时应多注意此类相关数据的操作且对相关数据作备注说明以备查用。
2 数据清理
数据清理
数据清理是数据准备过程中最花费时间、最乏味，但也是最重要的步骤。该步骤可以有效减少学习过程中可能出现相互矛盾情况的问题。初始获得的数据主要有以下几种情况需要处理：
1）含噪声数据。处理此类数据，目前最广泛的是应用数据平滑技术。1999年，Pyle系统归纳了利用数据平滑技术处理噪声数据的方法，主要有：①分箱技术，检测周围相应属性值进行局部数据平滑。②利用聚类技术，根据要求选择包括模糊聚类分析或灰色聚类分析技术检测孤立点数据，并进行修正，还可结合使用灰色数学或粗糙集等数学方法进行相应检测。③利用回归函数或时间序列分析的方法进行修正。④计算机和人工相结合的方式等。
对此类数据，尤其对于孤立点或异常数据，是不可以随便以删除方式进行处理的。很可能孤立点的数据正是实验要找出的异常数据。因此，对于孤立点应先进入数据库，而不进行任何处理。当然，如果结合专业知识分析，确信无用则可进行删除处理。
2）错误数据。对有些带有错误的数据元组，结合数据所反映的实际问题进行分析进行更改或删除或忽略。同时也可以结合模糊数学的隶属函数寻找约束函数，根据前一段历史趋势数据对当前数据进行修正。
3）缺失数据。①若数据属于时间局部性的缺失，则可采用近阶段数据的线性插值法进行补缺；若时间段较长，则应该采用该时间段的历史数据恢复丢失数据。若属于数据的空间缺损则用其周围数据点的信息来代替，且对相关数据作备注说明，以备查用。②使用一个全局常量或属性的平均值填充空缺值。③使用回归的方法或使用基于推导的贝叶斯方法或判定树等来对数据的部分属性进行修复④忽略元组。
4）冗余数据。包括属性冗余和属性数据的冗余。若通过因子分析或经验等方法确信部分属性的相关数据足以对信息进行挖掘和决策，可通过用相关数学方法找出具有最大影响属性因子的属性数据即可，其余属性则可删除。若某属性的部分数据足以反映该问题的信息，则其余的可删除。若经过分析，这部分冗余数据可能还有他用则先保留并作备注说明。
3 数据集成和数据融合
3.1数据集成
数据集成是一种将多个数据源中的数据（数据库、数据立方体或一般文件）结合起来存放到一个一致的数据存储(如数据仓库)中的一种技术和过程。
由于不同学科方面的数据集成涉及到不同的理论依据和规则，因此，数据集成可以说是数据预处理中比较困难的一个步骤。每个数据源的命名规则和要求都可能不一致，将多个数据源的数据抽取到一个数据仓库中为了保证实验结果的准确性必须要求所有数据的格式统一。实现格式统一的方法大致分为两类，一类是在各数据源中先进行修改，后统一抽取至数据仓库中；二是先抽取到数据仓库中，再进行统一修改。
3.2数据融合
本文所讲的融合仅限于数据层的数据融合，即把数据融合的思想引入到数据预处理的过程中，加入数据的智能化合成，产生比单一信息源更准确、更完全、更可靠的数据进行估计和判断，然后存入到数据仓库或数据挖掘模块中。如：用主成分分析法将多个指标数据融合成一个新的指标，实验时只拿融合后的新指标进行计算即可，一个新指标包含了原始多个指标的信息，既节省了存储空间，又提升了计算速度。
4 数据变换
数据变换是采用线性或非线性的数学变换方法将多维数据压缩成较少维数
的数据，消除它们在空间、属性、时间及精度等特征表现的差异。这类方法虽然对原始数据通常都是有损的，但其结果往往具有更大的实用性。
常用的规范化方法有最小—最大规范化、Z—score规范化（零—均值规范化）、小数定标规范化等。吴新玲等提出了一个通用的数据变换维数消减模型,给出了
应用主成分分析方法计算模型中的数据变换矩阵的方法,应用实例表明,通过数
据变换可用相当少的变量来捕获原始数据的最大变化 [7]。具体采用哪种变换方法应根据涉及的相关数据的属性特点，根据研究目的可把定性问题定量化，也可把定量问题定性化进行数据的操作变换。
5 数据归约
数据经过去噪处理后，需根据相关要求对数据的属性进行相应处理。数据规
约就是在减少数据存储空间的同时尽可能保证数据的完整性，获得比原始数据小得多的数据，并将数据以合乎要求的方式表示。如：利用数据仓库的降维技术将小颗粒数据整合成大颗粒数据，方便数据的使用，节省存储空间。
6 结语
在数据预处理的实际应用过程中，上述步骤有时并不是完全分开的。另外，应该针对具体所要研究的问题通过详细分析后再进行预处理方法的选择，整个预处理过程要尽量人机结合，尤其要注重和客户以及专家多多交流。预处理后，若挖掘结果显示和实际差异较大，在排除源数据的问题后则有必要需要考虑数据的二次预处理，以修正初次数据预处理中引入的误差或方法的不当，若二次挖掘结果仍然异常则需要另行斟酌。
数据挖掘数据预处理
XI`AN TECHNOLOGICAL UNIVERSITY 实验报告 实验课程名称数据集成、变换、归约和离散化 专业：数学与应用数学 班级： 姓名： 学号： 实验学时： 指导教师：刘建伟 成绩： 2016年5月5 日
西安工业大学实验报告 专业数学与应用数学班级131003 姓名学号实验课程数据挖掘指导教师刘建伟实验日期2016-5-5 同实验者实验项目数据集成、变换、归约和离散化 实验设备 计算机一台 及器材 一实验目的 掌握数据集成、变换、归约和离散化 二实验分析 从初始数据源出发,总结了目前数据预处理的常规流程方法,提出应把源数据的获取作为数据预处理的一个步骤,并且创新性地把数据融合的方法引入到数据预处理的过程中,提出了数据的循环预处理模式,为提高数据质量提供了更好的分析方法,保证了预测结果的质量,为进一步研究挖掘提供了较好的参考模式。三实验步骤 1数据分析任务多半涉及数据集成。数据集成是指将多个数据源中的数据合并并存放到一个一致的数据存储（如数据仓库）中。这些数据源可能包括多个数据库、数据立方体或一般文件。在数据集成时，有许多问题需要考虑。模式集成和对象匹配可能需要技巧。 2数据变换是指将数据转换或统一成适合于挖掘的形式。 （1）数据泛化：使用概念分层，用高层概念替换低层或“原始”数据。例如，分类的属性，如街道，可以泛化为较高层的概念，如城市或国家。类似地，数值属性如年龄，可以映射到较高层概念如青年、中年和老年。 （2）规范化：将属性数据按比例缩放，使之落入一个小的特定区间。大致可分三种：最小最大规范化、z-score规范化和按小数定标规范化。 （3）属性构造：可以构造新的属性并添加到属性集中，以帮助挖掘过程。例如，可能希望根据属性height和width添加属性area。通过属性构造可以发现关于数据属性间联系的丢失信息，这对知识发现是有用的。 3数据经过去噪处理后,需根据相关要求对数据的属性进行相应处理.数据规约就是在减少数据存储空间的同时尽可能保证数据的完整性,获得比原始数据小得
大数据时代下的数据挖掘试题和答案及解析
《海量数据挖掘技术及工程实践》题目 一、单选题（共80题） 1)( D )的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到 和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖 掘的哪类问题(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3)以下两种描述分别对应哪两种对分类算法的评价标准 (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 5)当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数 据相分离(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6)建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 哪一类任务(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7)下面哪种不属于数据预处理的方法 (D) A.变量代换 B.离散化
C.聚集 D.估计遗漏值 8)假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内 (B) A.第一个 B.第二个 C.第三个 D.第四个 9)下面哪个不属于数据的属性类型：(D) A.标称 B.序数 C.区间 D.相异 10)只有非零值才重要的二元属性被称作：( C ) A.计数属性 B.离散属性 C.非对称的二元属性 D.对称属性 11)以下哪种方法不属于特征选择的标准方法： (D) A.嵌入 B.过滤 C.包装 D.抽样 12)下面不属于创建新属性的相关方法的是： (B) A.特征提取 B.特征修改 C.映射数据到新的空间 D.特征构造 13)下面哪个属于映射数据到新的空间的方法 (A) A.傅立叶变换 B.特征加权 C.渐进抽样 D.维归约 14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方 法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为：(D) 15)一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130人，四年 级110人。则年级属性的众数是： (A) A.一年级 B.二年级 C.三年级 D.四年级
(完整版)数据挖掘概念课后习题答案
第 1 章 1.6 定义下列数据挖掘功能：特征化、区分、关联和相关分析、预测聚类和演变分析。 使用你熟悉的现实生活的数据库，给出每种数据挖掘功能的例子。 ?特征化是一个目标类数据的一般特性或特性的汇总。例如，学生的特征可被提出，形成所 有大学的计算机科学专业一年级学生的轮廓，这些特征包括作为一种高的年级平均成绩 (GPA：Grade point a ve r s ge) 的信息，还有所修的课程的最大数量。 ?区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比 较。例如，具有高GPA 的学生的一般特性可被用来与具有低GPA 的一般特性比较。最 终的描述可能是学生的一个一般可比较的轮廓，就像具有高GPA 的学生的75%是四年级 计算机科学专业的学生，而具有低GPA 的学生的65%不是。 ?关联是指发现关联规则，这些规则表示一起频繁发生在给定数据集的特征值的条件。 例如，一个数据挖掘系统可能发现的关联规则为： m a j or(X,“c omput i ng s c i e nc e”) ?owns(X, “pe r s ona l c omput e r”) [s uppor t=12%,c on f i d e nc e=98%] 其中，X 是一个表示学生的变量。这个规则指出正在学习的学生，12%（支持度）主修计算机科学并且拥有一台 。 个人计算机。这个组一个学生拥有一台个人电脑的概率是98%（置信度，或确定度） ?分类与预测不同，因为前者的作用是构造一系列能描述和区分数据类型或概念的模型（或，而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。它们的 功能） 相似性是他们都是预测的工具：分类被用作预测目标数据的类的标签，而预测典型的应用是 预测缺失的数字型数据的值。 ?聚类分析的数据对象不考虑已知的类标号。对象根据最大花蕾内部的相似性、最小化类之间的相似性的原则进行聚类或分组。形成的每一簇可以被看作一个对象类。聚类也便于分类法组织形式，将观测组织成类分层结构，把类似的事件组织在一起。 ?数据延边分析描述和模型化随时间变化的对象的规律或趋势，尽管这可能包括时间相关数 据的特征化、区分、关联和相关分析、分类、或预测，这种分析的明确特征包括时间序列数据分 析、序列或周期模式匹配、和基于相似性的数据分析 1.9 列举并描述说明数据挖掘任务的五种原语。 五种原语是： ?任务相关数据：这种原语指明给定挖掘所处理的数据。它包括指明数据库、数据库表、或 数据仓库，其中包括包含关系数据、选择关系数据的条件、用于探索的关系数据的属性或 维、关于修复的数据排序和分组。 ?挖掘的数据类型：这种原语指明了所要执行的特定数据挖掘功能，如特征化、区分、关 联、分类、聚类、或演化分析。同样，用户的要求可能更特殊，并可能提供所发现的模式必 须匹配的模版。这些模版或超模式（也被称为超规则）能被用来指导发现过程。 ?背景知识：这种原语允许用户指定已有的关于挖掘领域的知识。这样的知识能被用来指导 知识发现过程，并且评估发现的模式。关于数据中关系的概念分层和用户信念是背景知识的 形式。 ?模式兴趣度度量：这种原语允许用户指定功能，用于从知识中分割不感兴趣的模式，并且 被用来指导挖掘过程，也可评估发现的模式。这样就允许用户限制在挖掘过程返回的不感兴 趣的模式的数量，因为一种数据挖掘系统可能产生大量的模式。兴趣度测量能被指定为简易 性、确定性、适用性、和新颖性的特征。 ?发现模式的可视化：这种原语述及发现的模式应该被显示出来。为了使数据挖掘能有效地
数据挖掘试卷一
数据挖掘整理（熊熊整理-----献给梦中的天涯） 单选题 1．下面哪种分类方法是属于神经网络学习算法？（） A. 判定树归纳 B. 贝叶斯分类 C. 后向传播分类 D. 基于案例的推理 2．置信度(confidence)是衡量兴趣度度量（ A ）的指标。 A、简洁性 B、确定性 C.、实用性 D、新颖性 3．用户有一种感兴趣的模式并且希望在数据集中找到相似的模式，属于数据挖掘哪一类任务？(A) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 4．数据归约的目的是（） A、填补数据种的空缺值 B、集成多个数据源的数据 C、得到数据集的压缩表示 D、规范化数据 5．下面哪种数据预处理技术可以用来平滑数据，消除数据噪声？ A.数据清理 B.数据集成 C.数据变换 D.数据归约 6．假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？(B) A 第一个 B 第二个 C 第三个 D 第四个 7．下面的数据操作中，（）操作不是多维数据模型上的OLAP操作。 A、上卷(roll-up) B、选择(select) C、切片(slice) D、转轴(pivot) 8．关于OLAP和OLTP的区别描述,不正确的是: (C) A. OLAP主要是关于如何理解聚集的大量不同的数据.它与OTAP应用程序不同. B. 与OLAP应用程序不同,OLTP应用程序包含大量相对简单的事务. C. OLAP的特点在于事务量大,但事务内容比较简单且重复率高. D. OLAP是以数据仓库为基础的,但其最终数据来源与OLTP一样均来自底层的数据库系统,两者面对的用户是相同的 9．下列哪个描述是正确的？（） A、分类和聚类都是有指导的学习 B、分类和聚类都是无指导的学习
数据挖掘实验报告-数据预处理
数据挖掘实验报告（一） 数据预处理 姓名：李圣杰 班级：计算机1304 学号：1311610602
一、实验目的 1.学习均值平滑，中值平滑，边界值平滑的基本原理 2.掌握链表的使用方法 3.掌握文件读取的方法 二、实验设备 PC一台，dev-c++5.11 三、实验内容 数据平滑 假定用于分析的数据包含属性age。数据元组中age的值如下（按递增序）：13, 15, 16, 16, 19, 20, 20, 21, 22, 22, 25, 25, 25, 25, 30, 33, 33, 35, 35, 35, 35, 36, 40, 45, 46, 52, 70。使用你所熟悉的程序设计语言进行编程，实现如下功能（要求程序具有通用性）： (a) 使用按箱平均值平滑法对以上数据进行平滑，箱的深度为3。 (b) 使用按箱中值平滑法对以上数据进行平滑，箱的深度为3。 (c) 使用按箱边界值平滑法对以上数据进行平滑，箱的深度为3。 四、实验原理 使用c语言，对数据文件进行读取，存入带头节点的指针链表中，同时计数，均值求三个数的平均值，中值求中间的一个数的值，边界值将中间的数转换为离边界较近的边界值 五、实验步骤 代码 #include
浅谈大数据时代的数据分析与挖掘
龙源期刊网 https://www.wendangku.net/doc/354438570.html, 浅谈大数据时代的数据分析与挖掘 作者：单海波 来源：《科技创新与应用》2016年第24期 摘要：随着改革开放的进一步深化，以及经济全球化的快速发展，我国各行各业都有了 质的飞跃，发展方向更加全面。特别是近年来科学技术的发展和普及，更是促进了各领域的不断发展，各学科均出现了科技交融。在这种社会背景下，数据形式和规模不断向着更加快速、精准的方向发展，促使经济社会发生了翻天覆地的变化，同时也意味着大数据时代即将来临。就目前而言，数据已经改变传统的结构模式，在时代的发展推动下积极向着结构化、半结构化，以及非结构化的数据模式方向转换，改变了以往的只是单一地作为简单的工具的现象，逐渐发展成为具有基础性质的资源。文章主要针对大数据时代下的数据分析与挖掘进行了分析和讨论，并论述了建设数据分析与挖掘体系的原则，希望可以为从事数据挖掘技术的分析人员提供一定的帮助和理论启示，仅供参考。 关键词：大数据；数据分析；数据挖掘；体系建设 引言 进入21世纪以来，随着高新科技的迅猛发展和经济全球化发展的趋势，我国国民经济迅速增长，各行业、领域的发展也颇为迅猛，人们生活水平与日俱增，在物质生活得到极大满足的前提下，更加追求精神层面以及视觉上的享受，这就涉及到数据信息方面的内容。在经济全球化、科技一体化、文化多元化的时代，数据信息的作用和地位是不可小觑的，处理和归类数据信息是达到信息传递的基础条件，是发展各学科科技交融的前提。 然而，世界上的一切事物都包含着两个方面，这两个方面既相互对立，又相互统一。矛盾即对立统一。矛盾具有斗争性和同一性两种基本属性，我们必须用一分为二的观点、全面的观点看问题。同时要积极创造条件，促进矛盾双方的相互转变。数据信息在带给人们生产生活极大便利的同时，还会被诸多社会数据信息所困扰。为了使广大人民群众的日常生活更加便捷，需要其客观、正确地使用、处理数据信息，完善和健全数据分析技术和数据挖掘手段，通过各种切实可行的数据分析方法科学合理地分析大数据时代下的数据，做好数据挖掘技术工作。 1 实施数据分析的方法 在经济社会快速发展的背景下，我国在科学信息技术领域取得长足进步。科技信息的发展在极大程度上促进了各行各业的繁荣发展和长久进步，使其发展更加全面化、科学化、专业化，切实提升了我国经济的迅猛发展，从而形成了一个最佳的良性循环，我国也由此进入了大数据时代。对于大数据时代而言，数据分析环节是必不可少的组成部分，只有科学准确地对信息量极大的数据进行处理、筛选，才能使其更好地服务于社会，服务于广大人民群众。正确处理数据进行分析过程是大数据时代下数据分析的至关重要的环节。众所周知，大数据具有明显
大数据、数据分析和数据挖掘的区别
大数据、数据分析和数据挖掘的区别 大数据、数据分析、数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断。具体分析如下： 1、大数据(big data)： 指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产; 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)Veracity(真实性) 。 2、数据分析：
是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。 数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。 3、数据挖掘(英语：Data mining)： 又译为资料探勘、数据采矿。它是数据库知识发现(英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。 简而言之： 大数据是范围比较广的数据分析和数据挖掘。 按照数据分析的流程来说，数据挖掘工作较数据分析工作靠前些，二者又有重合的地方，数据挖掘侧重数据的清洗和梳理。 数据分析处于数据处理的末端，是最后阶段。 数据分析和数据挖掘的分界、概念比较模糊，模糊的意思是二者很难区分。 大数据概念更为广泛，是把创新的思维、信息技术、统计学等等技术的综合体，每个人限于学术背景、技术背景，概述的都不一样。
数据挖掘 主题：第五章作业
本科生实验报告 实验课程数据挖掘 学院名称信息科学与技术学院 专业名称计算机科学与技术 学生姓名代星 学生学号201413030317 指导教师 实验地点 实验成绩 二〇一六年11月二〇一六年11月
第五章作业题一 第1章实验内容 在UCI上下载一个用于分类的数据集，使用C4.5算法，设置不同的参数建立两个有指导的学习，记录检验集错误率。使用式（5,9）确定两个模型的检验集错误率是否存在显著差异。 第2章实验目的 对于一个用于分类的数据集，使用C4.5算法，设置不同的参数建立两个有指导的学习，记录检验集错误率。使用式（5,9）确定两个模型的检验集错误率是否存在显著差异，从而学会评估有指导的学习模型。 第3章算法思想 选择具有最大增益率的属性作为分支节点来分类实例数据。 第4章实验过程 4.1数据准备 数据集名为IRIS.xls，选择所有150个实例和5个属性，其中4个属性作为输入属性，第5个属性Iris_type作为输出属性，生成.csv文件，加载到Weka。 4.2 建立模型 使用Weka进行有指导的学习训练，选择C4.5数据挖掘算法，在Weka中名为J48，将test options 设置为 Percentage split ，使用百分比72%，选择Iris_type 作为输出属性。单击Moreoptions按钮，打开Classifier evaluation options 对话框，在Output predictions点击choose选中PlainText。表示将在输入结果中显示作为检验集实力的计算输出。单击Start按钮，执行程序。查看混淆矩
阵，计算错误率为9.5%。 通过分析混淆矩阵，重新设置参数使用百分比66%，重复上述步骤，执行程序，计算错误率为3.9%，较之前有了些许提升。 接下来通过假设检验来比较两个用同样训练集创建的有指导的学习模型。公式如上图所示。其中E1为模型M1的检验集分类错误率；E2为模型M2的检验集分类错误率；q为两个模型分类错误率的平均值，即q=（E1+E2）/2；n1和n2分别是检验集A和B的实例个数；q（1-q）是用E1和E2计算出来的方差值。代入数据可得最后的Z=0.057，如果Z值大于等于1.96，就有95%的把握认为M1和M2的检验集性能差别是显著的。此时算出来的是0.057，就说明两个聚类算法的性能差别不是显著的。 第5章实验结果 1、修改参数前：C4.5数据挖掘算法：
数据挖掘过程中的预处理阶段
数据挖掘过程中的预处理阶段 整个数据挖掘过程中，数据预处理要花费60％左右的时间，而后的挖掘工作仅占总工作量的10％左右[1]。经过预处理的数据，不但可以节约大量的空间和时间，而且得到的挖掘结果能更好地起到决策和预测作用。 一般的，数据预处理分为4个步骤，本文把对初始数据源的选择作为数据预处理过程中的一个步骤，即共分为5个步骤。因为，如果在数据获得初期就有一定的指导，则可以减少数据获取的盲目性以及不必要噪声的引入且对后期的工作也可节约大量的时间和空间。整个预处理过程见下图： 1 初始源数据的获取 研究发现，通过对挖掘的错误结果去寻找原因,多半是由数据源的质量引起的。因此，原始数据的获取，从源头尽量减少错误和误差，尤其是减少人为误差，尤为重要。首先应了解任务所涉及到的原始数据的属性和数据结构及所代表的意义，确定所需要的数据项和数据提取原则，使用合适的手段和严格的操作规范来完成相关数据的获取，由于这一步骤涉及较多相关专业知识，可以结合专家和用户论证的方式尽量获取有较高含金量（预测能力）的变量因子。获取过程中若涉及到多源数据的抽取，由于运行的软硬件平台不同，对这些异质异构数据库要注意数据源的连接和数据格式的转换。若涉及到数据的保密，则在处理时应多注意此类相关数据的操作且对相关数据作备注说明以备查用。
2 数据清理 数据清理 数据清理是数据准备过程中最花费时间、最乏味，但也是最重要的步骤。该步骤可以有效减少学习过程中可能出现相互矛盾情况的问题。初始获得的数据主要有以下几种情况需要处理： 1）含噪声数据。处理此类数据，目前最广泛的是应用数据平滑技术。1999年，Pyle系统归纳了利用数据平滑技术处理噪声数据的方法，主要有：①分箱技术，检测周围相应属性值进行局部数据平滑。②利用聚类技术，根据要求选择包括模糊聚类分析或灰色聚类分析技术检测孤立点数据，并进行修正，还可结合使用灰色数学或粗糙集等数学方法进行相应检测。③利用回归函数或时间序列分析的方法进行修正。④计算机和人工相结合的方式等。 对此类数据，尤其对于孤立点或异常数据，是不可以随便以删除方式进行处理的。很可能孤立点的数据正是实验要找出的异常数据。因此，对于孤立点应先进入数据库，而不进行任何处理。当然，如果结合专业知识分析，确信无用则可进行删除处理。 2）错误数据。对有些带有错误的数据元组，结合数据所反映的实际问题进行分析进行更改或删除或忽略。同时也可以结合模糊数学的隶属函数寻找约束函数，根据前一段历史趋势数据对当前数据进行修正。 3）缺失数据。①若数据属于时间局部性的缺失，则可采用近阶段数据的线性插值法进行补缺；若时间段较长，则应该采用该时间段的历史数据恢复丢失数据。若属于数据的空间缺损则用其周围数据点的信息来代替，且对相关数据作备注说明，以备查用。②使用一个全局常量或属性的平均值填充空缺值。③使用回归的方法或使用基于推导的贝叶斯方法或判定树等来对数据的部分属性进行修复④忽略元组。 4）冗余数据。包括属性冗余和属性数据的冗余。若通过因子分析或经验等方法确信部分属性的相关数据足以对信息进行挖掘和决策，可通过用相关数学方法找出具有最大影响属性因子的属性数据即可，其余属性则可删除。若某属性的部分数据足以反映该问题的信息，则其余的可删除。若经过分析，这部分冗余数据可能还有他用则先保留并作备注说明。
数据挖掘实验报告一
数据预处理 一、实验原理 预处理方法基本方法 1、数据清洗 去掉噪声和无关数据 2、数据集成 将多个数据源中的数据结合起来存放在一个一致的数据存储中 3、数据变换 把原始数据转换成为适合数据挖掘的形式 4、数据归约 主要方法包括:数据立方体聚集，维归约，数据压缩，数值归约，离散化和概念分层等二、实验目的 掌握数据预处理的基本方法。 三、实验内容 1、R语言初步认识（掌握R程序运行环境） 2、实验数据预处理。（掌握R语言中数据预处理的使用） 对给定的测试用例数据集，进行以下操作。 1）、加载程序，熟悉各按钮的功能。 2）、熟悉各函数的功能，运行程序，并对程序进行分析。 对餐饮销量数据进统计量分析，求销量数据均值、中位数、极差、标准差，变异系数和四分位数间距。 对餐饮企业菜品的盈利贡献度（即菜品盈利帕累托分析），画出帕累托图。 3）数据预处理 缺省值的处理：用均值替换、回归查补和多重查补对缺省值进行处理 对连续属性离散化：用等频、等宽等方法对数据进行离散化处理 四、实验步骤 1、R语言运行环境的安装配置和简单使用 （1）安装R语言 R语言下载安装包，然后进行默认安装，然后安装RStudio 工具（2）R语言控制台的使用 1.2.1查看帮助文档
1.2.2 安装软件包 1.2.3 进行简单的数据操作 （3）RStudio 简单使用 1.3.1 RStudio 中进行简单的数据处理 1.3.2 RStudio 中进行简单的数据处理
2、R语言中数据预处理 （1）加载程序，熟悉各按钮的功能。 （2）熟悉各函数的功能，运行程序，并对程序进行分析 2.2.1 销量中位数、极差、标准差，变异系数和四分位数间距。 , 2.2.2对餐饮企业菜品的盈利贡献度（即菜品盈利帕累托分析），画出帕累托图。
数据挖掘课后答案
第一章 1．6 （1）数据特征化是目标类数据的一般特性或特征的汇总。 例如，在某商店花费1000元以上的顾客特征的汇总描述是：年龄在40—50岁、有工作和很好的信誉等级。 （2）数据区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。 例如，高平均分数的学生的一般特点，可与低平均分数的学生的一般特点进行比较。由此产生的可能是一个相当普遍的描述，如平均分高达75％的学生是大四的计算机科学专业的学生，而平均分低于65%的学生则不是。 （3）关联和相关分析是指在给定的频繁项集中寻找相关联的规则。 例如，一个数据挖掘系统可能会发现这样的规则：专业（X，“计算机科学”）=>拥有（X，”个人电脑“）[support= 12％，confidence = 98％]，其中X是一个变量，代表一个学生，该规则表明，98%的置信度或可信性表示，如果一个学生是属于计算机科学专业的，则拥有个人电脑的可能性是98%。12%的支持度意味着所研究的所有事务的12%显示属于计算机科学专业的学生都会拥有个人电脑。 （4）分类和预测的不同之处在于前者是构建了一个模型（或函数），描述和区分数据类或概念，而后者则建立了一个模型来预测一些丢失或不可用的数据，而且往往是数值，数据集的预测。它们的相似之处是它们都是为预测工具：分类是用于预测的数据和预测对象的类标签，预测通常用于预测缺失值的数值数据。 例如：某银行需要根据顾客的基本特征将顾客的信誉度区分为优良中差几个类别，此时用到的则是分类；当研究某只股票的价格走势时，会根据股票的历史价格来预测股票的未来价格，此时用到的则是预测。 （5）聚类分析数据对象是根据最大化类内部的相似性、最小化类之间的相似性的原则进行聚类和分组。聚类还便于分类法组织形式，将观测组织成类分层结构，把类似的事件组织在一起。 例如：世界上有很多种鸟，我们可以根据鸟之间的相似性，聚集成n类，其中n可以认为规定。 （6）数据演变分析描述行为随时间变化的对象的规律或趋势，并对其建模。这可能包括时间相关数据的特征化、区分、关联和相关分、分类、预测和聚类，这类分析的不同特点包括时间序列数据分析、序列或周期模式匹配和基于相似性的数据分析。 例如：假设你有纽约股票交易所过去几年的主要股票市场（时间序列）数据，并希望投资高科技产业公司的股票。股票交易数据挖掘研究可以识别整个股票市场和特定的公司的股票的演变规律。这种规律可以帮助预测股票市场价格的未来走向，帮助你对股票投资做决策。 1．11 一种是聚类的方法，另一种是预测或回归的方法。 （1）聚类方法：聚类后，不同的聚类代表着不同的集群数据。这些数据的离群点，是不属于任何集群。在各种各样的聚类方法当中，基于密度的聚类可能是最有效的。 （2）使用预测或回归技术：构建一个基于所有数据的概率（回归）模型，如果一个数据点的预测值有很大的不同给定值，然后给定值可考虑是异常的。 用聚类的方法来检查离群点更为可靠，因为聚类后，不同的聚类代表着不同的集群数据，离群点是不属于任何集群的，这是根据原来的真实数据所检查出来的离群点。而用预测或回归方法，是通过构建一个基于所有数据的（回归）模型，然后根据预测值与原始数据的值比较，当二者相差很大时，就将改点作为离群点处理，这对所建立的模型有很大的依赖性，另
数据挖掘过程说明文档
生产再生钢的过程如下：组合后的废钢通过炉门送入炉子，电流通过悬浮在炉内的电极输送到熔化的废钢中。提供给这些电极的高电流通过电弧传输到内部的金属废料，对其加热并产生超过3000°C的温度。 通过添加各种活性气体和惰性气体以及固体物质来维持和优化炉内条件。然后，钢水从熔炉中流出，进入移动坩埚，并浇铸到钢坯中。 你将得到一个数据集，代表从各种金属废料lypes生产回收钢坯的过程。Hie数据集包含大 ?这是一个基于团队的项目。你需要组成一个小组，由三名（或两名）组员来完成这项练习。?您可以使用Weka或任何其他可用的数据挖掘资源和软件包来帮助您制定问题、计算、评
估等。 ?您的团队绩效将完全根据团队的结果和您的报告进行评估。 ?作为一个团队，您需要决定给定问题的性质；什么类型的数据挖掘问题公式适合解决此类问题；您的团队可以遵循什么样的基本数据挖掘过程；您的团队希望尝试什么类型的算法；以何种方式，您可以进一步利用或最大化您的性能，等等。 ?您的团队应致力于涵盖讲座、教程中包含的领域，考虑预处理、特征选择、各种算法、验证、测试和性能评估方法。 ?对于性能基准，建议您使用准确度和/或错误率作为评估指标。 ?表现最好的球队将被宣布为本次迷你KDD杯冠军，并将获得10%的加分，最高100%满分。 数据挖掘流程： 一、数据建模 1. 数据获取 2. 数据分析 3. 数据预处理 二、算法建模 1. 模型构建 2. 模型检验 三、评估 一、数据建模 1.数据获取及分析 数据集：EAF_process_dataqqq.csv 根据《assignment 2》中，数据集的说明，可知：
数据挖掘实验一数据预处理
实验一、数据预处理 学院计算机科学与软件学院 ?实验目的： （1）熟悉 VC++编程工具和完全数据立方体构建、联机分析处理算法。 （2）浏览拟被处理的的数据，发现各维属性可能的噪声、缺失值、不一致 性等，针对存在的问题拟出采用的数据清理、数据变换、数据集成的具体算法。（3）用 VC++编程工具编写程序，实现数据清理、数据变换、数据集成等功 能。 （4）调试整个程序获得清洁的、一致的、集成的数据，选择适于全局优化 的参数。 ?实验原理： 1 、数据预处理 现实世界中的数据库极易受噪音数据、遗漏数据和不一致性数据的侵扰，为 提高数据质量进而提高挖掘结果的质量，产生了大量数据预处理技术。数据预处理有多种方法：数据清理，数据集成，数据变换，数据归约等。这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低实际挖掘所需要的时间。 2 、数据清理 数据清理例程通过填写遗漏的值，平滑噪音数据，识别、删除离群点，并解 决不一致来“清理”数据。 3 、数据集成数据集成 数据集成将数据由多个源合并成一致的数据存储，如数据仓库或数据立方 体。 4 、数据变换 通过平滑聚集，数据概化，规范化等方式将数据转换成适用于数据挖掘的形式。 5 、数据归约 使用数据归约可以得到数据集的压缩表示，它小得多，但能产生同样（或几 乎同样的）分析结果。常用的数据归约策略有数据聚集、维归约、数据压缩和数字归约等。 三、实验内容： 1 、主要代码及注释 头文件 #include
数据挖掘复习
1、简单描述一下数据挖掘的过程（P9-P10） （1）数据清洗：清除数据噪声和与挖掘主题明显无关的数据 （2）数据集成：将来自多个数据源中的相关数据组合到一起 （3）数据选择：根据数据挖掘的目标选取待处理的数据 （4）数据转换：将数据转换为易于进行数据挖掘的数据存储形式 （5）数据挖掘：其作用是利用智能方法挖掘数据模式或规律知识 （6）模式评估：其作用是根据一定评估标数据准，从数据挖掘结果中筛选出有意义的相关知识 （7）知识表示：利用可视化和知识表达技术，向用户展示所挖掘的相关知识 从商业应用的角度可以把整个数据挖掘过程描述为三个步骤：首先是数据收集，然后利用数据挖掘相关方法提取出有用的知识，最后以提取出来的知识来辅助相应决策者进行决策。 2、计算均值、中位数、截断均值，并简单说明它们在反应数据中心方面的特点（P24-P25） （1）均值：是描述数据集的最常用的单个度量方法。但通常不是度量数据中心的最好方法。（2）中位数：对于倾斜的（非对称的）数据，中位数是数据中心的一个较好度量 （3）截断均值：均值对极端值很敏感，截断均值可以避免少量极端值影响均值 3、噪声的概念？在数据预处理的时候可以发现并清除噪音数据吗？噪音数据一般有哪些处理方法（P27） 1)噪声是测量变量的随机错误或偏差。噪声是测量误差的随机部分，包含错误或孤立点 值。导致噪声产生的原因有多种，可能是数据收集的设备故障，也可能是数据录入过程中人的疏忽或者数据传输过程中的错误等。 2)可以。数据清理的目的就是试图填充缺失值、去除噪声并识别利群点、纠正数据中的 不一致值。 3)1、分箱：通过考察周围的值来平滑有序数据的值 2、聚类：聚类将类似的值组织成群或簇。落在簇集合之外的值被视为异常值 3、回归：通过回归（线性回归、非线性回归）让数据适合一个函数来平滑数据 4、规范化,MIN-MAX规范化（P29-P30），公式比较难打，举例子吧 最小-最大规范化保持原有数据之间的联系，如果今后的输入落在原始数据值之外，该方法面临“越界错误”。例如，假定电信客户的年龄属性（year）的最小值和最大值分别为10岁和83岁。用最小-最大规范化将年龄属性映射到区间[0,1],那么year值52岁将变换为(52-10)/(83-10) = 0.583 5、举例说明什么是分类挖掘任务（第三章） 分类是数据挖掘的中的主要分析手段，其任务是对数据集进行学习并构造一个拥有预测功能的分类模型，用于预测未知样本的类标号，把类标号未知的样本映射到某个预先给定的类标号中。例如，预测某个病人的病情为“癌症”或“非癌症”，这里的“癌症”和“非癌症”是预先给定的类标号。 6、举例说明什么是聚类挖掘任务。（第四章） 聚类是将数据划分为相似对象组的过程，使得同一组中对象相似度最大而不同组中对象相似度最小。如电子商务网站中的客户群划分。根据客户的个人信息、消费习惯、浏览行为等
数据挖掘教程
摘要： 顾名思义, 数据挖掘就是从大量的数据中挖掘出有用的信息。它是根据人们的特定要求，从浩如烟海的数据中找出所需的信息来，供人们的特定需求使用。2000年7 月，IDC发布了有关信息存取工具市场的报告。1999年，数据挖掘市场大概约为7.5亿美元，估计在下个5年内市场的年增长率为32.4%，其中亚太地 区为26.6%。到2002年，该市场会发展到22亿美元。据国外专家预测，随着数据量的日益积累和计算机的广泛应用，在今后的5—10年内，数据挖掘将 在中国形成一个新型的产业。 为了帮助大家了解数据挖掘的基本理论和方法，我们从“数据挖掘讨论组”网站上整理加工了一组有关该概念的基本知识，省却了纷繁的技术方法，供读者学习参考。 第一课 数据挖掘技术的由来第二课 数据挖掘的定义 第三课 数据挖掘的研究历史和现状第四课 数据挖掘研究内容和本质 第五课 数据挖掘的功能第六课 数据挖掘常用技术 第七课 数据挖掘的流程第八课 数据挖掘未来研究方向及热点第九课 数据挖掘应用第十课 实施数据挖掘项目考虑的问题 URL：h ttp://https://www.wendangku.net/doc/354438570.html,/learning/lesson/xinxi/20021125/lesson.asp
第一课数据挖掘技术的由来 1.1 网络之后的下一个技术热点 1.2 数据爆炸但知识贫乏 1.3 支持数据挖掘技术的基础 1.4 从商业数据到商业信息的进化 1.5 数据挖掘逐渐演变的过程 1.1网络之后的下一个技术热点 我们现在已经生活在一个网络化的时代，通信、计算机和网络技术正改变着整个人类和社会。如果用芯片集成度来衡量微电子技术，用CPU处理速度来衡量计 算机技术，用信道传输速率来衡量通信技术，那么摩尔定律告诉我们，它们都是以每18个月翻一番的速度在增长，这一势头已经维持了十多年。在美国，广播达到 5000万户用了38年；电视用了13年；Internet拨号上网达到5000万户仅用了4年。全球IP网发展速度达到每6个月翻一番，国内情况亦然。 1999年初，中国上网用户为210万，现在已经达到600万。网络的发展导致经济全球化，在1998年全球产值排序前100名中，跨国企业占了51个， 国家只占49个。有人提出，对待一个跨国企业也许比对待一个国家还要重要。在新世纪钟声刚刚敲响的时候，回顾往昔，人们不仅要问：就推动人类社会进步而 言，历史上能与网络技术相比拟的是什么技术呢?有人甚至提出要把网络技术与火的发明相比拟。火的发明区别了动物和人，种种科学技术的重大发现扩展了自然人 的体能、技能和智能，而网络技术则大大提高了人的生存质量和人的素质，使人成为社会人、全球人。 现在的问题是：网络之后的下一个技术热点是什么？让我们来看一些身边俯拾即是的现象：《纽约时报》由60年代的10～20版扩张至现在的 100～200版，最高曾达1572版；《北京青年报》也已是16～40版；市场营销报已达100版。然而在现实社会中，人均日阅读时间通常为30～45 分钟，只能浏览一份24版的报纸。大量信息在给人们带来方便的同时也带来了一大堆问题：第一是信息过量，难以消化；第二是信息真假难以辨识；第三是信息安 全难以保证；第四是信息形式不一致，难以统一处理。人们开始提出一个新的口号：“要学会抛弃信息”。人们开始考虑：“如何才能不被信息淹没，而是从中及时 发现有用的知识、提高信息利用率？” 面对这一挑战，数据开采和知识发现（DMKD）技术应运而生，并显示出强大的生命力。 1.2 数据爆炸但知识贫乏 另一方面，随着数据库技术的迅速发展以及数据库管理系统的广泛应用，人们积累的数据越来越多。激增的数据背后隐藏着许多重要的信息，人们希望能够对其 进行更高层次的分析，以便更好地利用这些数据。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系和规则，无法根 据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象。 1.3 支持数据挖掘技术的基础
数据挖掘考试题库
1.数据仓库：是一种新的数据处理体系结构，是面向主题的、集成的、不可更新的(稳定性)、随时间不断 变化(不同时间)的数据集合，为企业决策支持系统提供所需的集成信息。 2.孤立点：指数据库中包含的一些与数据的一般行为或模型不一致的异常数据。 3.OLAP：OLAP是在OLTP的基础上发展起来的，以数据仓库为基础的数据分析处理，是共享多维信息的快速 分析，是被专门设计用于支持复杂的分析操作，侧重对分析人员和高层管理人员的决策支持。 4.粒度：指数据仓库的数据单位中保存数据细化或综合程度的级别。粒度影响存放在数据仓库中的数据量 的大小，同时影响数据仓库所能回答查询问题的细节程度。 5.数据规范化：指将数据按比例缩放(如更换大单位)，使之落入一个特定的区域（如0－1）以提高数据挖 掘效率的方法。规范化的常用方法有：最大－最小规范化、零－均值规范化、小数定标规范化。 6.关联知识：是反映一个事件和其他事件之间依赖或相互关联的知识。如果两项或多项属性之间存在关联， 那么其中一项的属性值就可以依据其他属性值进行预测。 7.数据挖掘：从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不 知道的、但又是潜在有用的信息和知识的过程。 8.OLTP：OLTP为联机事务处理的缩写，OLAP是联机分析处理的缩写。前者是以数据库为基础的，面对的是 操作人员和低层管理人员，对基本数据进行查询和增、删、改等处理。 9.ROLAP：是基于关系数据库存储方式的，在这种结构中，多维数据被映像成二维关系表，通常采用星型或 雪花型架构，由一个事实表和多个维度表构成。 10.MOLAP：是基于类似于“超立方”块的OLAP存储结构，由许多经压缩的、类似于多维数组的对象构成， 并带有高度压缩的索引及指针结构，通过直接偏移计算进行存取。 11.数据归约：缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到和原始数据相同的 分析结果。 12.广义知识：通过对大量数据的归纳、概括和抽象，提炼出带有普遍性的、概括性的描述统计的知识。 13.预测型知识：是根据时间序列型数据，由历史的和当前的数据去推测未来的数据，也可以认为是以时间 为关键属性的关联知识。 14.偏差型知识：是对差异和极端特例的描述，用于揭示事物偏离常规的异常现象，如标准类外的特例，数 据聚类外的离群值等。 15.遗传算法：是一种优化搜索算法，它首先产生一个初始可行解群体，然后对这个群体通过模拟生物进化 的选择、交叉、变异等遗传操作遗传到下一代群体，并最终达到全局最优。 16.聚类：是将物理或抽象对象的集合分组成为多个类或簇(cluster)的过程，使得在同一个簇中的对象之间 具有较高的相似度，而不同簇中的对象差别较大。 17.决策树：是用样本的属性作为结点，用属性的取值作为分支的树结构。它是分类规则挖掘的典型方法， 可用于对新样本进行分类。 18.相异度矩阵：是聚类分析中用于表示各对象之间相异度的一种矩阵，n个对象的相异度矩阵是一个nn维 的单模矩阵，其对角线元素均为0，对角线两侧元素的值相同。 19.频繁项集：指满足最小支持度的项集，是挖掘关联规则的基本条件之一。 20.支持度：规则A→B的支持度指的是所有事件中A与B同地发生的的概率，即P(A∪B)，是AB同时发生的 次数与事件总次数之比。支持度是对关联规则重要性的衡量。 21.可信度：规则A→B的可信度指的是包含A项集的同时也包含B项集的条件概率P(B|A)，是AB同时发生 的次数与A发生的所有次数之比。可信度是对关联规则的准确度的衡量。 22.关联规则：同时满足最小支持度阈值和最小可信度阈值的规则称之为关联规则。 1.何谓数据挖掘？它有哪些方面的功能？ 从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程称为数据挖掘。相关的名称有知识发现、数据分析、数据融合、决策支持等。数据挖掘的功能包括：概念描述、关联分析、分类与预测、聚类分析、趋势分析、孤立点分析以及偏差分析等。 2.何谓数据仓库？为什么要建立数据仓库？ 数据仓库是一种新的数据处理体系结构，是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化(不同时间)的数据集合，为企业决策支持系统提供所需的集成信息。 建立数据仓库的目的有3个：