数据挖掘研究现状综述
数据挖掘
引言
数据挖掘是一门交叉学科，涉及到了机器学习、模式识别、归纳推理、统计学、数据库、高性能计算等多个领域。
所谓的数据挖掘（Data Mining）指的就是从大量的、模糊的、不完全的、随机的数据集合中提取人们感兴趣的知识和信息，提取的对象一般都是人们无法直观的从数据中得出但又有潜在作用的信息。从本质上来说，数据挖掘是在对数据全面了解认识的基础之上进行的一次升华，是对数据的抽象和概括。如果把数据比作矿产资源，那么数据挖掘就是从矿产中提取矿石的过程。与经过数据挖掘之后的数据信息相比，原始的数据信息可以是结构化的，数据库中的数据，也可以是半结构化的，如文本、图像数据。从原始数据中发现知识的方法可以是数学方法也可以是演绎、归纳法。被发现的知识可以用来进行信息管理、查询优化、决策支持等。而数据挖掘是对这一过程的一个综合性应用。
目录
引言 (1)
第一章绪论 (3)
1.1 数据挖掘技术的任务 (3)
1.2 数据挖掘技术的研究现状及发展方向 (3)
第二章数据挖掘理论与相关技术 (5)
2.1数据挖掘的基本流程 (5)
2.2.1 关联规则挖掘 (6)
2.2.2 .Apriori算法：使用候选项集找频繁项集 (7)
2.2.3 .FP-树频集算法 (7)
2.2.4.基于划分的算法 (7)
2.3 聚类分析 (7)
2.3.1 聚类算法的任务 (7)
2.3.3 COBWEB算法 (9)
2.3.4模糊聚类算法 (9)
2.3.5 聚类分析的应用 (10)
第三章数据分析 (11)
第四章结论与心得 (14)
4.1 结果分析 (14)
4.2 问题分析 (14)
4.2.1数据挖掘面临的问题 (14)
4.2.2 实验心得及实验过程中遇到的问题分析 (14)
参考文献 (14)
第一章绪论
1.1 数据挖掘技术的任务
数据挖掘技术并不是仅仅面向特定数据库的简单检索查询，而是对大量的数据从宏观、微观的角度进行统计、分析、综合和推理，进而来指导现实生活中实际问题的解决，有时还要根据已有的数据展开推理预测。数据挖掘的主要任务是分类、聚类、关联、序列等。
分类就是在数据中找出一个类别的概念描述，这个概念代表了这类数据的基本信息，即该类概念的内涵描述，然后根据这种描述建立模型。常用的分类构造方法主要有统计方法、机器学习方法、神经网络方法等。其中统计方法包括贝叶斯法和非参数法，机器学习方法包括决策树法和规则归纳法，神经网络法主要是以BP算法为主。
聚类就是把具有相似性的数据归纳成若干类别，同一类别的数据相似，不同类别的数据相异，聚类分析可以在分类的基础上进一步建立宏观的概念，进而发现数据的分布模式。
当两个或者两个以上变量的取值直接存在某种规律性时，我们就可以称之为关联。
序列和关联类似，只是把关联中一起发生的项目间关系扩展成一段时间的项目集间的关系，因此，序列常常被看作由时间变量连起来的关联。序列的主要作用是分析长时间的相关记录，进而发现经常发生的模式。
1.2 数据挖掘技术的研究现状及发展方向
近年来，随着计算机科学领域的快速发展，数据挖掘技术作为一种新兴的学科，其研究热度正在逐渐升温，研究的水平也在逐步提高，同时由于国家政府的政策支持与资金支持，越来越多的数据专业研究者被吸引加入其中。在数据挖掘技术未来的研究过程中，其主要方向应包括以下几点：（1）参照于SQL 语言的标准化的研究成果，对数据挖掘技术进行形式化的描述，即发现数据语言。（2）为实现关于数据额挖掘技术人机交互工作的顺利开展，应满足用户对知识发现过程的可视化进程。（3）研究在计算机领域的数据挖掘技术的发展，可以通过数据
挖掘服务器的有效配合的方式实现。
数据挖掘技术是面向应用的。数据挖掘的研究有利地促进了数据挖掘技术应用的发展与推广。在当今，数据的信息量是非常的庞大的，因为我们所获得的大量的实验数据的观测如果仅仅是去依靠一些比较传统的分析数据的工具，是非常的不靠谱的。所以，对一些具有强大功能且具有自动化的工具的需要就越来越迫切了，这很显然的推动了数据挖掘技术的发展，并还在一定的程度之上取得了重要的成果。随着研究的深入，数据挖掘技术的应用越来越广泛。主要集中在以下几方面：
（1）医学领域，随着医院信息系统和健康网站的发展，医疗活动、医学研究和健康信息行为中的数据被存储下来，形成了海量的健康医疗大数据。这类数据的数据量大，存储形式多样，难以用传统数据处理方法进行处理数据挖掘由于能够分析海量异构数据，越来越多地被应用于健康医疗领域。针对相关的生物医学与DNA的数据所分析的数据进行挖掘。数据挖掘技术在基因工程中的染色体、基因序列的识别分析、基因表达路径分析、基因表达相似性分析、以及制药、生物信息和科学研究等方面都有广泛应用。
（2）金融领域，针对其金融的分析因为一些金融的投资一般都存在着很大的风险，所以我们在进行投资和决策的时候，就需要去对各种各样的投资方向相关的数据进行分析，我们现在不但可以对所获取的一些信息进行加工和处理，还可以对市场进行预测。此外，数据挖掘技术广泛应用于银行的存款贷款趋势预测，优化存款贷款策略和投资组合。
（3）零售业，在零售业当中，运用数据挖掘技术不但可以在一定的程度之上了解相关消费者的消费倾向，从而迎合消费者的口味，制定出更加接地气的市场政策，以提高销售额。当然，还可以适当的预测行业状况。例如，数据挖掘技术被用来进行分析购物篮来协助货架设置，安排促销商品组合和促销时间商业活动。（4）保险业，当中数据挖掘的应用我们知道，保险业是一种风险性十分巨大的业务。相关的研究表明，数据挖掘技术的运用不但可以预测相关风险性，还可以在一定的程度之上为保险业务工作者提供正确的方向。很明显，这是非常的有利于保险业的持续性发展的。
（5）商务管理，数据挖掘技术被用于分析客户的行为，分类客户，以此进一
步针对客户流失、客户利润、客户响应等方面进行分析，最终改善客户关系管理。
第二章数据挖掘理论与相关技术
2.1数据挖掘的基本流程
在数据挖掘领域中使用率较高的是跨行业标准数据挖掘流程CRISP-DM(Cross-Industry Standard Process for Data Mining)，它是欧盟机构于1999 年联合起草的。CRISP-DM 流程可以简单分为如图2-2 所示的围绕被挖掘数据展开的六个步骤：
1.商业理解
理解数据来源业务的目标，也就是说通过数据想要挖掘到什么信息，想要达到或者实现什么样的结果。这一步骤是通过CRISP-DM 基本流程进行数据知识获取的“目标和方向”。
2.数据理解
了解可以进行数据挖掘的数据概况，包括数据源、数据内容、数据类型、数据完整性等等。这一步骤与上一步骤是一个迭代关系，在进行数据理解的时候要结合商业理解来判断和检查数据，筛选出与商业理解有关联的可用数据，剔除掉无关和无用的数据。同时在进行数据理解的时候也是对商业理解的融会贯通和横纵扩展，能进一步明确和丰富挖掘目标。
3.数据准备
这一步骤是将通过第一二步骤初步确定出的源数据进行萃取(Extract)—转制(Transform)—加载(Load)后的提炼过程，简称ETL过程。当数据源的数据数量越庞大、数据的转换规则越复杂时，ETL的过程就越困难。但这一过程完成的好坏也直接决定进行分析的数据质量，从而影响分析和挖掘结果的准确性和可靠性。
4.建立模型
当数据准备完成后，当然就是根据数据情况和业务目标特征，选择合适的算法模型，对数据进行建模。运行合适的模型能够有效的达到挖掘目标，提炼出有意义的知识模式。
5.评估模型
挖掘出什么样的结果才是真正有趣的知识模式？对模型进行评估就是通过检测结果的可信度、精确度等，从而判定结果是否达到了挖掘目标。如果评估后发现建模结果并不理想，那就需要再返回第三步或第四步，认真检查数据是否符合需求，以及模型是否需要进行修正或变更等。
6.发布模型
当确认分析和挖掘结果达到要求了，需要将结果进行发布。，通过简洁的文字描述，或者转化为多维表格、时间序列折线图、散列图、饼状图等这些直观、形象的可视化图表，展示最终结果。
2.2关联规则挖掘主要算法
2.2.1 关联规则挖掘
从数据库中发现关联规则近几年研究最多。目前，已经从单一概念层次关联规则的发现发展到多个概念层次的关联规则的发现。关联分析包括数据属性间关联关系的分析和数据属性间关联规则的发现两部分。关联关系主要有简单关系、时序关系、因果关系等多种类型，关联分析的目的在于发现数据之间是否存在相互关联相互影响的情况，从而组建数据属性之间的关系网。关联关系的确定和强弱可以通过协方差来衡量，协方差在数学统计和概率学中是标识两个随机变量相互关系的一种统计测度。
关联规则数据挖掘中最经典的案例就是沃尔玛的啤酒和尿布的故事。在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘。一个意外的发现是：“跟尿布一起购买最多的商品竟是啤酒！”
2.2.2 .Apriori算法：使用候选项集找频繁项集
该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。使用了递推的方法, 生成所有频繁项目集。
2.2.3 .FP-树频集算法
FP-树频集算法针对Apriori算法的固有缺陷。采用分而治之的策略，不产生候选挖掘频繁项集，在经过第一遍扫描之后，把数据库中的频集压缩进一棵频繁模式树(FP-tree)，同时依然保留其中的关联信息，随后再将FP-tree分化成一些条件库，每个库和一个长度为1的频集相关，然后再对这些条件库分别进行挖掘。当原始数据量很大的时候，也可以结合划分的方法,使得一个FP-tree可以放入主存中。实验表明，FP-growth对不同长度的规则都有很好的适应性，同时在效率上较之Apriori算法有巨大的提高。
2.2.4.基于划分的算法
算法先把数据库从逻辑上分成几个互不相交的块，每次单独考虑一个分块并对它生成所有的频集，然后把产生的频集合并，用来生成所有可能的频集，最后计算这些项集的支持度。这里分块的大小选择要使得每个分块可以被放入主存，每个阶段只需被扫描一次。而算法的正确性是由每一个可能的频集至少在某一个分块中是频集保证的。该算法是可以高度并行的，可以把每一分块分别分配给某一个处理器生成频集。产生频集的每一个循环结束后，处理器之间进行通信来产生全局的候选k-项集。通常这里的通信过程是算法执行时间的主要瓶颈；而另一方面，每个独立的处理器生成频集的时间也是一个瓶颈。
2.3 聚类分析
2.3.1 聚类算法的任务
数据挖掘的重要任务之一就是发现大型数据中的积聚现象，并加以定量化描述。聚类分析就是基于“物以类聚”的朴素思想，根据事物的特征对其进行聚类
或分类即按照某种相似性度量，具有相似特征的样本归为一类，使得类内差异相似度较小，而类间差异较大。这里给出Everitt 在1974 年关于聚类所下的定义：一个类簇内的实体是相似的，不同类簇的实体是不相似的；一个类簇是测试空间中点的会聚，同一类簇的任意两个点间的距离小于不同类簇的任意两个点间的距离；类簇可以描述为一个包含密度相对较高的点集的多维空间中的连通区域，它们借助包含密度相对较低的点集的区域与其他区域（类簇）相分离。
聚类算法的目的是寻找数据中潜在的自然分组结构和感兴趣的关系。聚类分析则是用数学方法研究和处理所给对象的分类以及各类之间的亲疏程度，是在对数据不作任何假设的条件下进行分析的工具。
2.3.2 BIRCH 算法
BIRCH 是一个综合的层次聚类方法。它用聚类特征和聚类特征树（CF ）来概括聚类描述。描述如下：
对于一具有N 个d 维数据点的簇{i x
}(i=1,2,3,…,N)，它的聚类特征向量定义为：
CF = (N , S L , SS)
其中N 为簇中点的个数；S L 表示N 个点的线性和( i N i o 1)，反映了簇的重
心，SS 是数据点的平方和( N i i o 12 )，反映了类直径的大小。 此外，对于聚类特征有如下定理：
定理１ 假设),,(1111SS S L N CF 与),,(2222SS S L N CF 分别为两个类的聚类
特征，合并后的新类特征为
),,(21212121SS SS S L S L N N CF CF
该算法通过聚类特征可以方便地进行中心、半径、直径及类内、类间距离的运算。CF 树是一个具有两个参数分支因子B 和阈值T 的高度平衡树，它存储了层次聚类的聚类特征。 分支因子定义了每个非叶节点孩子的最大数目，而阈值给出了存储在树的叶子节点中的子聚类的最大直径。CF 树可以动态的构造，因此不要求所有的数据读入内存，而可在外存上逐个读入数据项。一个数据项总是被插入到最近的叶子条目（子聚类）。如果插入后使得该叶子节点中的子聚类的直径大于阈值，则该叶子节点及可能有其他节点被分裂。新数据插入后，关于该
数据的信息向树根传递。可以通过改变阈值来修改CF 树的大小来控制其占内存容量。BIRCH 算法通过一次扫描就可以进行较好的聚类，故该算法的计算复杂度是O(n),n 是对象的数目。
2.3.3 COBWEB 算法
概念聚类是机器学习中的一种聚类方法，大多数概念聚类方法采用了统计学的途径，在决定概念或聚类时使用概率度量。COBWEB 以一个分类树的形式创建层次聚类，它的输入对象用分类属性—值对来描述。
分类树和判定树不同。分类树中的每个节点对应一个概念，包含该概念的一个概率描述，概述被分在该节点下的对象。概率描述包括概念的概率和形如P(Ai=Vij|Ck)的条件概率，这里Ai=Vij 是属性-值对，Ck 是概念类。在分类树某层次上的兄弟节点形成了一个划分。COBWEB 采用了一个启发式估算度量——分类效用来指导树的构建。分类效用定义如下：
n V A P C V A P C P n k i j i j
ij i k ij i k 122])()|()[(
n 是在树的某个层次上形成一个划分{n C C C ,,,21 }的节点、概念或“种类”的数
目。分类效用回报类内相似性和类间相异性：
概率P(Ai=Vij|Ck)表示类内相似性。该值越大，共享该属性-值对的类成员比例就越大，更能预见该属性-值对是类成员；概率P(Ck|Ai=Vij)表示类间相异性。该值越大，在对照类中的对象的共享该属性-值对就越少，更能预见该属性-值对是类成员。给定一个新的对象，COBWEB 沿一条适当的路径向下，修改计数，寻找可以分类该对象的最好节点。该判定基于将对象临时置于每个节点，并计算结果划分的分类效用。产生最高分类效用的位置应当是对象节点的一个好的选择。
2.3.4模糊聚类算法FCM
聚类可以引入模糊逻辑概念。对于模糊集来说，一个数据点都是以一定程度属于某个类，也可以同时以不同的程度属于几个类。常用的模糊聚类算法是模糊C 平均值FCM （Fuzzy C -Means ）算法。该算法是在传统C 均值算法中应用了模糊技术。FCM 算法中，用隶属度函数定义的聚类损失函数可以写为：
2
11||||)]([j i c j n i b i j f m x x J
其中，b>1是一个可以控制聚类结果的模糊程度的常数。要求一个样本对于各个聚类的隶属度之和为1，即
c j i j x 11)(
在条件式（6-2）下求式（6-1）的极小值，令f J 对i m 和)(i j x 的偏导数为0，可得必要条件：
n
i b
i j n i i b i j j x x x m 11)]([)]([ ， ,,,2,1c j
c k b k i b j i i j m x m x x 1)1/(12)1/(12)||||/1()||||/1()( ， n i ,,2,1 c j ,,2,1 。 用迭代法求解式（6-3）和式（6-4），就是FCM 算法。
当算法收敛时，就得到了各类的聚类中心和各个样本对于各类的隶属度值勤，从而完成了模糊聚类划分。
2.3.5 聚类分析的应用
（1）聚类分析可以作为其他算法的预处理步骤，这些算法再在生成的簇上进行处理。可作为特征和分类算法的预处理步骤，也可将聚类结果用于进一步关联分析。
（2）可以作为一个独立的工具来获得数据分布的情况，观察每个簇的特点，集中对特定的某些簇做进一步分析。
第三章数据分析
3.1数据挖掘软件平台RapidMiner介绍
RapidMinder提供的实验由大量的算子组成，使用图形化的用户接口可以将这些算子以积木块的方式搭建成系统。有着先进技术，提供世界领先的数据挖掘解决方案。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
RapidMinder是一款开源的软件平台，专为机器学习、数据挖掘、文本分析、预测和业务分析等提供一个综合的、统一的研究环境。这款软件不仅可以在商业、工业领域使用，还可以应用在科研、教育、培训、快速成型、应用开发等方向，并且支持 CRISP-DM 的主要步骤，对于不了解挖掘算法但是又希望通过挖掘算法发现数据中知识的用户来说是一款非常实用的数据挖掘软件。它有超过三千个操作符（Operatiors），每个操作符封装了不同的功能或者算法。
例如RapidMiner中对聚类算法提供了包括“K-Means ，K-Means(Kernel) ，
K-Medoids”在内的 4 种算法模型，用户可以通过RapidMiner 导入或直接读取多种类型的数据文件，自由组合各种操作符进行简单的或者复杂的数据挖掘处理。
图3-1 RapidMiner软件界面
3.2 K-近邻算法（KNN）分析
KNN是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
图3-7 KNN算法流程图
在KNN中，通过计算对象间距离来作为各个对象之间的非相似性指标，避免了对象之间的匹配问题，在这里距离一般使用欧氏距离或曼哈顿距离。
图3-8 KNN算法分析结果
其算法的描述为：
(1）计算测试数据与各个训练数据之间的距离；
(2）按照距离的递增关系进行排序；
(3）选取距离最小的K个点；
(4）确定前K个点所在类别的出现频率；
(5）返回前K个点中出现频率最高的类别作为测试数据的预测分类。
如图3-8所示，经过算法的分析，最终预测2012年的开河时间为44天。3.3.4决策树分析
决策树分类算法相对简单，只要训练样本集合能够使用特征向量和类别进行表示，就可以考虑构造决策树分类算法。预测分类算法的复杂度只与决策树的层数有关，是线性的，数据处理效率很高，适合于实时分类的场合。
决策树算法包括训练和测试两个阶段：在训练阶段，需要采用一定的标准和规则分割训练样本集为几个子集，然后再以相同的规则去分割每个子集，递归这个过程，直到每个子集只含有属于同一类的样本时停止。训练过程中，每个分割节点需要保存好分类的属性号。在测试阶段中，将测试样本从根节点开始进行判别，看该样本属于哪个子节点，同样递归地执行下去，直到该样本被分到叶节点中为止，而此时该样本就属于当前叶节点的类别。
3.3.4神经网络分类结果
使用神经网络的方法对开河天数进行预测，与KNN算法和决策树算法预测出的最终结果进行对比。
三层神经网络的组成主要分为三个部分：输入层、隐含层、输出层。其中层与层之间的连接是全连接。其数学原理主要分为三个部分：(1)正向传播过程；
(2)误差反向传递过程；(3)权重更新。训练过程中需要为模型指定一个“学习率”。学习率是更新参数时乘上的系数。它决定参数的变动有多快。如果学习率很低，训练将花更多时间；然而，如果学习率太高，就可能错过极小值。
第四章结论与心得
4.1 结果分析
4.2 问题分析
4.2.1数据挖掘面临的问题
(1)挖掘方法与人机交互问题。我国数据挖掘技术的发展受限制于挖掘方法，不管是知识类型的限制，还是维度上的限制，都是影响其发展的重要因素。(2)性能问题。能够有效的解决数据挖掘技术算法中的问题是解决其性能问题的关键，应对其有效性、可伸缩性等问题进行研究，保证其算法能够满足用户的性能要求。
(3)数据类型多样性问题。对于算法内容复杂的，多维度的数据类型，现有的研究水平很难去解决此类问题，同时对于多跨度的全球化信息技术的挖掘水平仍然落后。
4.2.2 实验心得及实验过程中遇到的问题分析
刚开始写实验报告时，对法不够了解，总是写着写着不知道要实现什么，同时对K最近邻算法(KNN)的伪代码不了解，不知道用什么结构什么方法。之后去看书，熟悉KNN算法的流程图，通过理解伪代码，找思路，自己推结果，去网上找例子，找博客，手写代码，一点一点学习，直到可以运行。然后去用Rapidminer 软件进行分析和处理数据，对软件的整体了解和掌握程度还有待提高。
通过这次课程作业的撰写，我对数据挖掘技术有了一个整体的认识既复习了以前的旧知识，又学到了一些新的知识。当然我们也遇到了各种问题，这些问题，又都是课本上很少提到的、更深一层的实践与知识相结合的问题，这并不是我们平时只靠课本，就可以轻易解决的。所以，锻炼了我们面对难题，学会用已掌握的知识去解决具体问题的能力，进一步培养了独立思考问题和解决问题的能力。参考文献
[1]Shamila Nasreen，Muhammad Awais Azam，Khurram Shehazad，etal． Frequent pattern mining algorithms for finding associated frequent patterns for data streams: a survey［C］． Proceedings of the5th International Conference on Emerging Ubiquitious Systems and Pervasive Networks(EUSPN-2014),Procedia Computer Science，Canada，2014: 109-116．
[2]Gan Min,Dai Hong-hua.Detecting and monitoring abrupt emer-gences of episodes over data streams[J].Infor-mation Systems，2014，39( ) : 277-289．
[3]Zhang Peng,Zhou Chuan.E-tree: efficient in-dexing structure for ensemble models on data streams［J］.IEEE Transactions on Knowledge and Data Engineering，2015，27(2)461-474．
[4]Adel Ghazikhani，Ｒeza Monsefi，Hadi Sadoghi Yazdi. Ensemble ofonline neural netw orks for non-stationary and imbalanced datastreams［J］.Neurocomputing，2013，122( 5) : 535-544．
[5]Wang Chang-dong,Huang Dong.SVStream:a support vector based algorithm for data streams[J].IEEE Transactions on Knowledge and Data Engineering,2013,25(6): 1410-1424．
[6]Su Qiang，Chen Lu.A method for discovering clusters of ecommerce interest patterns using click-stream data [J]．Neurocomputing，2014，122( 5) : 535-544．
[7]厉颖.计算机网络数据安全策略探究[J].网络安全技术与应用,2014(2)：82.
[8]刘莹.基于数据挖掘的商品销售预测分析[J].科技通报.2014(07)
[9]姜晓娟,郭一娜.基于改进聚类的电信客户流失预测分析[J].太原理工大学学报.2014(04)
[10]李欣海.随机森林模型在分类与回归分析中的应用[J].应用昆虫学报.2013(04)
[11]高丽,王丽伟. 数据挖掘技术在国内图书馆应用领域的研究[J]. 数字技术与应用. 2015(12)
[12]梁雪霆. 数据挖掘技术的计算机网络病毒防御技术研究[J]. 科技经济市场. 2016(01)
[13]阳馨. 高校管理中应用数据挖掘技术的途径研究[J]. 数字技术与应用. 2016(01)
[14] 曹军. 数据挖掘技术在银行客户关系管理中的应用研究[D].湖南大学,2013
[15] 陶惠．数据挖掘技术在医保中的研究与应用[D].合肥：中国科学技术大学,2015
空间数据挖掘工具浅谈_汤海鹏
第28卷第3期2005年6月 测绘与空间地理信息 G E O M A T I C S ＆S P A T I A LI N F O R M A T I O NT E C H N O L O G Y V o l .28,N o .3 J u n .,2005 收稿日期:2004-09-14 基金项目:国家重点基础研究发展规划(973)资助项目(2001C B 309404) 作者简介:汤海鹏(1979-),男,湖南沅江人,本科,主要从事信息化管理和信息化建设等方面的研究。 空间数据挖掘工具浅谈 汤海鹏1 ,毛克彪 2,3 ,覃志豪2,吴 毅 4 (1.公安部出入境管理局技术处,北京100741;2.中国农业科学院自然资源与农业区划研究所农业遥感实验室, 北京100081;3.中国科学院遥感所,北京100101;4.黑龙江乌苏里江制药有限公司,黑龙江哈尔滨150060) 摘要:数据挖掘是一个利用各种分析工具在海量数据中发现模型和数据间关系的过程,这些模型和关系可以 用来做出预测。空间数据挖掘有十分广阔的应用范围和市场前景,目前已出现大量的数据挖掘工具用于企业决策、科学分析等各个领域。文中对2个数据挖掘工具进行讨论,介绍它们的功能、所使用的技术以及如何使用它们来进行数据挖掘。 关键词:数据挖掘;空间数据挖掘;数据立方体;知识库引擎 中图分类号:P 208 文献标识码:A 文章编号:1672-5867(2005)03-0004-02 AS u r v e y o f D a t a Mi n i n g T o o l s T A N GH a i -p e n g 1 ,M A OK e -b i a o 2,3 ,Q I NZ h i -h a o 2 ,W UY i 4 (1.B u r e a uo f E x i t a n dE n t r y A d m i n i s t r a t i o n ,M i n i s t r y o f P u b l i c S e c u r i t y ,B e i j i n g 100741,C h i n a ;2.T h e K e y L a b o r a t o r y o f R e m o t e S e n s i n g a n d D i g i t a l A g r i c u l t u r e ,C h i n a A c a d e m y o f A g r i c u l t u r e R e m o t e S e n s i n g L a b o r a t o r y ,B e i j i n g 100081,C h i n a ; 3.I n s t i t u t eo f R e m o t e S e n s i n g A p p l i c a t i o n s ,C h i n e s e A c a d e m y o f S c i e n c e s ,B e i j i n g 100101,C h i n a ; 4.H e i l o n g j i a n g Wu s u l i j i a n g P h a r m a c e u t i c a l C o .L t d .,H a r b i n 150060,C h i n a ) A b s t r a c t : B e c a u s e o f c o m m e r c i a l d e m a n d s a n dr e s e a r c hi n t e r e s t ,a l l k i n d s o f s p a t i a l d a t a m i n i n g s o f t w a r e t o o l s e m e r g e .I n o r d e r t o g e t u s e o f t h e d a t a m i n i n g t o o l s ,t w o o f t h e ma r e i n t r o d u c e d i n t h i s p a p e r a n d m a k e p r o s p e c t o f i n t e g r a t i o n o f G I S ,R S ,G P S a n d d a t a m i n -i n g .K e yw o r d s :d a t a m i n i n g ;s p a t i a l d a t a m i n i n g ;d a t a c u b e ;d a t a b a s e e n g i n e 0 引 言 随着数据获取手段(特别是对地观测技术)及数据库 技术的快速发展,科研机构、政府部门在过去的若干年里都积累了大量的数据,而且,目前这些数据仍保持迅猛的增长势头。如此大量的数据已远远超过传统的人工处理能力,怎样从大量数据中自动、快速、有效地提取模式和发现知识显得越来越重要。数据挖掘与知识发现作为一个新的研究领域和新的技术正方兴未艾,用于从巨量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式[1～2],很好地满足了海量数据处理的需要。 具体应用中,数据挖掘工具很多。它们在功能和方法等方面差别很大。如何选择适合具体挖掘需求的工具,是进行挖掘工作必须考察的前提。选择某一工具时,应考虑数据类型,主要是考察工具能处理的数据:①关系 数据库的数据。包括数据仓库数据、文本文档、空间数据、 多媒体数据、W e b 数据等;②功能和方法。数据挖掘功能是数据挖掘工具(或系统)的核心,一些数据挖掘工具仅提供一种功能(如分类),另一些工具可能支持另外的挖掘功能(如描述、关联、分类、预测和聚类等);③其他考虑的方面如:系统问题、数据源、可伸缩性、可视化、数据挖掘查询语言和图形用户接口、工具和数据库或数据仓库系统等。 在众多的数据中,有近80%的数据可以通过空间关系表达。现在,通过卫星扫描地球,每天都能获得大量的关于地表的遥感图像。要从大量的数据中判读出每一个图片所潜藏的信息,就必然要用到数据挖掘技术。本文将通过介绍专业的航空遥感图像处理系统E r d a s 和D B -M i n e r 来阐述处理空间数据和关系数据的这一过程及这2种软件的特点。
数据挖掘研究现状综述
数据挖掘 引言 数据挖掘是一门交叉学科，涉及到了机器学习、模式识别、归纳推理、统计学、数据库、高性能计算等多个领域。 所谓的数据挖掘（Data Mining）指的就是从大量的、模糊的、不完全的、随机的数据集合中提取人们感兴趣的知识和信息，提取的对象一般都是人们无法直观的从数据中得出但又有潜在作用的信息。从本质上来说，数据挖掘是在对数据全面了解认识的基础之上进行的一次升华，是对数据的抽象和概括。如果把数据比作矿产资源，那么数据挖掘就是从矿产中提取矿石的过程。与经过数据挖掘之后的数据信息相比，原始的数据信息可以是结构化的，数据库中的数据，也可以是半结构化的，如文本、图像数据。从原始数据中发现知识的方法可以是数学方法也可以是演绎、归纳法。被发现的知识可以用来进行信息管理、查询优化、决策支持等。而数据挖掘是对这一过程的一个综合性应用。
目录 引言 (1) 第一章绪论 (3) 1.1 数据挖掘技术的任务 (3) 1.2 数据挖掘技术的研究现状及发展方向 (3) 第二章数据挖掘理论与相关技术 (5) 2.1数据挖掘的基本流程 (5) 2.2.1 关联规则挖掘 (6) 2.2.2 .Apriori算法：使用候选项集找频繁项集 (7) 2.2.3 .FP-树频集算法 (7) 2.2.4.基于划分的算法 (7) 2.3 聚类分析 (7) 2.3.1 聚类算法的任务 (7) 2.3.3 COBWEB算法 (9) 2.3.4模糊聚类算法 (9) 2.3.5 聚类分析的应用 (10) 第三章数据分析 (11) 第四章结论与心得 (14) 4.1 结果分析 (14) 4.2 问题分析 (14) 4.2.1数据挖掘面临的问题 (14) 4.2.2 实验心得及实验过程中遇到的问题分析 (14) 参考文献 (14)
GIS技术的研究现状及未来发展趋势.
GIS 技术的研究现状及未来发展趋势 摘要:GIS 是随着计算机技术发展而形成的一门新兴技术,其应用程度和范围也随之渗透、延伸,得到了人们的广泛关注。该文综述了地理信.息的发展现状,从多个角度分析当前 GIS 技术发展存在的不足,并在此基础上研究分析了 GIS 技术的未来发展趋势。 关键词:GIS 研究现状发展趋势 0 引言 随着计算机技术的飞速发展、空间技术的日新月异及计算机图形学理论的日渐完善, GIS(Geographic Information System技术也日趋成熟,并且逐渐被人们所认识和接受。近年来, GIS 被世界各国普遍重视,尤其是“数字地球”概念的提出,使其核心技术 GIS 更为各国政府所关注。目前,以管理空间数据见长的 GIS 已经在全球变化与监测、军事、资源管理、城市规划、土地管理、环境研究、农作物估产、灾害预测、交通管理、矿产资源评价、文物保护、湿地制图以及政府部门等许多领域发挥着越来越重要的作用。当前 GIS 正处于急剧发展和变化之中,研究和总结 GIS 技术发展,对进一步开展 GIS 研究工作具有重要的指导意义。因此,本文就目前 GIS 技术的研究现状及未来发展趋势进行总结和分析。 1 GIS 研究现状及其分析 1.1 GIS研究现状 世纪 90年代以来,由于计算机技术的不断突破以及其它相关理论和技术的完善, GIS 在全球得到了迅速的发展。在海量数据存储、处理、表达、显示及数据共享技术等方面都取得了显著的成效,其概括起来有以下几个方面 [1]:①硬件系统采用服务器 /客户机结构,初步形成了网络化、分布式、多媒体 GIS ; ②在 GIS 的设计中, 提出了采用“开放的 CIS 环境” 的概念, 最终以实现资源共享、数据共享为目标; ③高度重视数据标准化与数据质量的问题, 并已形成一些较为可行的数据标准; ④ 面向对象的数据库管理系统已经问世, 正在发展称之为“对象 --关系 DBMS (数据库
数据挖掘研究现状及发展趋势
数据挖掘研究现状及发展趋势摘要：从数据挖掘的定义出发，介绍了数据挖掘的神经网络法、决策树法、遗传算法、粗糙集法、模糊集法和关联规则法等概念及其各自的优缺点；详细总结了国内外数据挖掘的研究现状及研究热点，指出了数据挖掘的发展趋势。 关键词：数据挖掘；挖掘算法；神经网络；决策树；粗糙集；模糊集；研究现状；发展趋势 Abstract：From the definition of data mining，the paper introduced concepts and advantages and disadvantages of neural network algorithm，decision tree algorithm，genetic algorithm，rough set method，fuzzy set method and association rule method of data mining，summarized domestic and international research situation and focus of data mining in details，and pointed out the development trend of data mining. Key words：data mining，algorithm of data mining，neural network，decision tree，rough set，fuzzy set，research situation，development tendency 1引言 随着信息技术的迅猛发展，许多行业如商业、企业、科研机构和政府部门等都积累了海量的、不同形式存储的数据资料[1]。这些海量数据中往往隐含着各种各样有用的信息，仅仅依靠数据库的查询检索机制和统计学方法很难获得这些信息，迫切需要能自动地、智能地将待处理的数据转化为有价值的信息，从而达到为决策服务的目的。在这种情况下，一个新的技术———数据挖掘(Data Mining，DM)技术应运而生[2]。 数据挖掘是一个多学科领域，它融合了数据库技术、人工智能、机器学习、统计学、知识工程、信息检索等最新技术的研究成果，其应用非常广泛。只要是有分析价值的数据库，都可以利用数据挖掘工具来挖掘有用的信息。数据挖掘典型的应用领域包括市场、工业生产、金融、医学、科学研究、工程诊断等。本文主要介绍数据挖掘的主要算法及其各自的优缺点，并对国内外的研究现状及研究热点进行了详细的总结，最后指出其发展趋势及问题所在。 江西理工大学
模糊数学在数据挖掘领域综述
模糊数学在数据挖掘研究综述 一、模糊数学 关于数学的分类，根据所研究对象的确定性可以分为经典数学、随机数学以及模糊数学。三者的关系如图1所示。经典数学建立在集合论的基础上，一个对象对于一个集合要么属于，要么不属于，两者必居其一，且仅居其一，绝不可模棱两可，由于这个要求，大大限制了数学的应用范围，使它无法处理日常生活中大量的不明确的模糊现象与概念。随着发展,过去那些与数学毫无关系或关系不大的学科如生物学，心理学，等都迫切要求定量化和数学化。 图1依照研究对象是否确定的数学分类 在日常生活中，我们经常会遇到一些模糊不清的概念。例如，“高个子”、“矮个子”等。如果把1.80米的人算高个子，那么，身高1.76米的人算不算高个子呢？这就很难说，因为“高个子”，“矮个子”并没有二者明确的标准，因而这些概念就显得模糊不清。为了适应这些学科自身的特点，只有通过改造数学，使它应用的面更为广泛。模糊数学就是研究事物这种模糊性质的一门数学学科。 模糊数学诞生于1965年，创始人是美国自动控制专家查德，他最早提出了模糊集合的概念，引入了隶属函数。自诞生之日起，就与电子计算机息息相关。今天精确的数学计算当然是不可少的，然而，当我们要求脑功能的时候，精确这个长处反而成了短处。例如，我们在判别走过的人是谁时，总是将来人的高矮，胖瘦、走路姿势与大脑存储的样子进行比较，从而作出判断。一般说来，这不是件难事，即使是分别多年的老友，也会很快地认出他来，但是若让计算机做这件事，使用精确数学就太复杂了。得测量来人的身高、体重、手臂摆的角度以及鞋底对地面的正压力、磨擦力、速度、加速度等数据，而且非要精确到后几十位才肯罢休。如果有位熟人最近稍为瘦了或胖了一些，计算机就“翻脸不认了”。显然，这样的“精确”容易使人糊涂。由此可见，要使计算机能模拟人功能，一定程度的模糊是必要的。模糊数学就是在这样的背景下诞生的。 随机数学与模糊数学都是对不确定性量的研究，但与模糊数学不同的是，随机数学是研究随机现象统计规律性的一个数学分支，涉及四个主要部分：概率论、随机过程、数理统计、随机运筹。随机数学更强调对数据的统计规律；而模糊数学强调的是变量的定义的模糊性。 模糊数学是一门新兴学科，过去那些与数学毫不相关或关系不大的学科（如生物学、心理学、语言学、社会科学等）都有可能用定量化和数学化加以描述和处理，从而使数学的应用范围大大扩展。它已初步应用于模糊控制、模糊识别、模糊聚类分析、模糊决策、模糊评判、系统理论、信息检索、医学、生物学等各个方面，并且在气象、结构力学、控制、心理学等方面已有具体的研究成果。模糊数学最重要的应用领域是计算机职能，它与新一代计算机的研制有密切的联系。 二、模糊计算
空间聚类的研究现状及其应用_戴晓燕
空间聚类的研究现状及其应用＊ 戴晓燕1 过仲阳1 李勤奋2 吴健平1 (1华东师范大学教育部地球信息科学实验室 上海 200062) (2上海市地质调查研究院 上海 200072) 摘 要 作为空间数据挖掘的一种重要手段,空间聚类目前已在许多领域得到了应用。文章在对已有空间聚类分析方法概括和总结的基础上,结合国家卫星气象中心高分辨率有限区域分析预报系统产品中的数值格点预报(HLAFS)值,运用K-均值法对影响青藏高原上中尺度对流系统(MCS)移动的散度场进行了研究,得到了一些有意义的结论。 关键词 空间聚类 K-均值法 散度 1 前言 随着GPS、GI S和遥感技术的应用和发展,大量的与空间有关的数据正在快速增长。然而,尽管数据库技术可以实现对空间数据的输入、编辑、统计分析以及查询处理,但是无法发现隐藏在这些大型数据库中有价值的模式和模型。而空间数据挖掘可以提取空间数据库中隐含的知识、空间关系或其他有意义的模式等[1]。这些模式的挖掘主要包括特征规则、差异规则、关联规则、分类规则及聚类规则等,特别是聚类规则,在空间数据的特征提取中起到了极其重要的作用。 空间聚类是指将数据对象集分组成为由类似的对象组成的簇,这样在同一簇中的对象之间具有较高的相似度,而不同簇中的对象差别较大,即相异度较大。作为一种非监督学习方法,空间聚类不依赖于预先定义的类和带类标号的训练实例。由于空间数据库中包含了大量与空间有关的数据,这些数据来自不同的应用领域。例如,土地利用、居住类型的空间分布、商业区位分布等。因此,根据数据库中的数据,运用空间聚类来提取不同领域的分布特征,是空间数据挖掘的一个重要部分。 空间聚类方法通常可以分为四大类:划分法、层次法、基于密度的方法和基于网格的方法。算法的选择取决于应用目的,例如商业区位分析要求距离总和最小,通常用K-均值法或K-中心点法;而对于栅格数据分析和图像识别,基于密度的算法更合适。此外,算法的速度、聚类质量以及数据的特征,包括数据的维数、噪声的数量等因素都影响到算法的选择[2]。 本文在对已有空间聚类分析方法概括和总结的基础上,结合国家卫星气象中心高分辨率有限区域分析预报系统产品中的数值格点预报(HLAFS)值,运用K-均值法对影响青藏高原上中尺度对流系统(MCS)移动的散度场进行了研究,得到了一些有意义的结论。 2 划分法 设在d维空间中,给定n个数据对象的集合D 和参数K,运用划分法进行聚类时,首先将数据对象分成K个簇,使得每个对象对于簇中心或簇分布的偏离总和最小[2]。聚类过程中,通常用相似度函数来计算某个点的偏离。常用的划分方法有K-均值(K-means)法和K-中心(K-medoids)法,但它们仅适合中、小型数据库的情形。为了获取大型数据库中数据的聚类体,人们对上述方法进行了改进,提出了K-原型法(K-prototypes method)、期望最大法EM(Expectation Maximization)、基于随机搜索的方法(ClAR ANS)等。 K-均值法[3]根据簇中数据对象的平均值来计算 ——————————————— ＊基金项目:国家自然科学基金资助。(资助号: 40371080) 收稿日期:2003-7-11 第一作者简介:戴晓燕,女,1979年生,华东师范大学 地理系硕士研究生,主要从事空间数 据挖掘的研究。 · 41 · 2003年第4期 上海地质 Shanghai Geology
数据挖掘研究的现状与发展趋势_郑继刚
数据挖掘研究的现状与发展趋势 郑继刚,王边疆 (保山学院数学系,云南保山678000) 影响其空间分布的因素之间的关系;预测型的模 型用来根据给定的一些属性预测某些属性,如分类模 型和回归模型等. 目前,主要在空间数据挖掘的体系结构和挖掘过 程做了大量研究,包括面向对象的空间数据库的数据 挖掘、模糊空间关联规则的挖掘、不确定性挖掘、聚类 挖掘、挖掘空间数据的偏离和演变规则、基于多专题 地图的挖掘、交叉概化、基于时空数据的概化、并行数 据挖掘、统计分析与数据挖掘的协同和遥感影像的挖 掘等,主要采用了基于统计学和概率论、集合论、机器 学习、仿生物学、地球信息学的研究方法. 4.2多媒体数据挖掘 多媒体数据,包括图形、图像、文本、文档、超文 本、声音、视频和音频数据等,数据类型复杂.随着信 息技术的进步,人们所接触的数据形式越来越丰富, 多媒体数据的大量涌现,形成了很多海量的多媒体数 据库[8].这些数据大多是非结构化数据、异构数据, 特征向量通常是数十维甚至数百维,转化为结构数据 和降维成了多媒体数据挖掘的关键技术. 有研究者提出了多媒体数据挖掘的系统原型 ＭＤＭＰ,将多媒体数据的建模表示、存储和检索等多 媒体数据库技术与数据挖掘技术有机地结合在一起, 采用多媒体图像数据的相似性搜索、多维分析、关联 规则挖掘、分类与聚类分析等挖掘方法,广泛地应用 于医学影像诊断分析、卫星图片分析、地下矿藏预测 等各种领域. 4.3时序数据挖掘 时序数据挖掘通过研究信息的时间特性,深入洞 悉事物进化的机制,揭示其内在规律(如波动的周期、 振幅、趋势的种类等),成为获得知识的有效途径.关 键问题是要是寻找一种合适的序列表示方式,基于点 距离和关键点是常用的算法,但都不能完整表示出序 列的动态属性.时序数据挖掘的主要技术有趋势分析 和相似搜索,在宏观的经济预测、市场营销、客流量分 析、太阳黑子数、月降水量、河流流量、股票价格波动 等众多领域得到了应用.
大数据时代的空间数据挖掘综述
第37卷第7期测绘与空间地理信息 GEOMATICS ＆SPATIAL INFOＲMATION TECHNOLOGY Vol．37，No．7收稿日期：2014－01－22 作者简介：马宏斌（1982－），男，甘肃天水人，作战环境学专业博士研究生，主要研究方向为地理空间信息服务。 大数据时代的空间数据挖掘综述 马宏斌1 ，王 柯1，马团学 2（1．信息工程大学地理空间信息学院，河南郑州450000；2．空降兵研究所，湖北孝感432000） 摘 要：随着大数据时代的到来，数据挖掘技术再度受到人们关注。本文回顾了传统空间数据挖掘面临的问题， 介绍了国内外研究中利用大数据处理工具和云计算技术，在空间数据的存储、管理和挖掘算法等方面的做法，并指出了该类研究存在的不足。最后，探讨了空间数据挖掘的发展趋势。关键词：大数据；空间数据挖掘；云计算中图分类号：P208 文献标识码：B 文章编号：1672－5867（2014）07－0019－04 Spatial Data Mining Big Data Era Ｒeview MA Hong －bin 1，WANG Ke 1，MA Tuan －xue 2 （1．Geospatial Information Institute ，Information Engineering University ，Zhengzhou 450000，China ； 2．Airborne Institute ，Xiaogan 432000，China ） Abstract ：In the era of Big Data ，more and more researchers begin to show interest in data mining techniques again．The paper review most unresolved problems left by traditional spatial data mining at first．And ，some progress made by researches using Big Data and Cloud Computing technology is introduced．Also ，their drawbacks are mentioned．Finally ，future trend of spatial data mining is dis-cussed． Key words ：big data ；spatial data mining ；cloud computing 0引言 随着地理空间信息技术的飞速发展，获取数据的手 段和途径都得到极大丰富，传感器的精度得到提高和时空覆盖范围得以扩大，数据量也随之激增。用于采集空间数据的可能是雷达、红外、光电、卫星、多光谱仪、数码相机、成像光谱仪、全站仪、天文望远镜、电视摄像、电子 显微镜、CT 成像等各种宏观与微观传感器或设备，也可能是常规的野外测量、人口普查、土地资源调查、地图扫描、 地图数字化、统计图表等空间数据获取手段，还可能是来自计算机、 网络、GPS ，ＲS 和GIS 等技术应用和分析空间数据。特别是近些年来，个人使用的、携带的各种传感器（重力感应器、电子罗盘、三轴陀螺仪、光线距离感应器、温度传感器、红外线传感器等），具备定位功能电子设备的普及，如智能手机、平板电脑、可穿戴设备（GOOGLE GLASS 和智能手表等），使人们在日常生活中产生了大量具有位置信息的数据。随着志愿者地理信息（Volunteer Geographic Information ）的出现，使这些普通民众也加入到了提供数据者的行列。 以上各种获取手段和途径的汇集，就使每天获取的 数据增长量达到GB 级、 TB 级乃至PB 级。如中国遥感卫星地面站现在保存的对地观测卫星数据资料达260TB ，并以每年15TB 的数据量增长。比如2011年退役的Landsat5卫星在其29年的在轨工作期间，平均每年获取8．6万景影像，每天获取67GB 的观测数据。而2012年发射的资源三号（ZY3）卫星，每天的观测数据获取量可以达到10TB 以上。类似的传感器现在已经大量部署在卫 星、 飞机等飞行平台上，未来10年，全球天空、地空间部署的百万计传感器每天获取的观测数据将超过10PB 。这预示着一个时代的到来，那就是大数据时代。大数据具有 “4V ”特性，即数据体量大（Volume ）、数据来源和类型繁多（Variety ）、数据的真实性难以保证（Veracity ）、数据增加和变化的速度快（Velocity ）。对地观测的系统如图1所示。 在这些数据中，与空间位置相关的数据占了绝大多数。传统的空间知识发现的科研模式在大数据情境下已经不再适用，原因是传统的科研模型不具有普适性且支持的数据量受限， 受到数据传输、存储及时效性需求的制约等。为了从存储在分布方式、虚拟化的数据中心获取信息或知识，这就需要利用强有力的数据分析工具来将
数据挖掘现状与前景
数据挖掘，这是个听起来既神秘，又具有诱惑性的词。就好像要去一片热带沙漠搜寻宝藏，宝藏的诱惑性很强，但是黄沙远处却看不透彻，不知此行是对是错，看到的光亮又是否只是虚幻的海市蜃楼。 所以很多学习数据挖掘的，或是想选择数据挖掘方向的人会在是否踏出第一脚时犹豫不决。 以下，我们就来分析看看数据挖掘的现状及前景。 首先看看百科中数据挖掘的定义：数据挖掘（Data Mining，DM）是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。 基于数据挖掘可能产生的巨大价值，我国的各大重点院校都针对数据挖掘开了专业课程以及研究课题，不仅如此，政府以及大型企业也开始重视这一领域，投资人力物力支持数据挖掘项目。 或许这样说还不够直观，那就就数字佐证。 据IDC对欧洲和北美62家采用了商务智能技术的企业的调查分析发现，这些企业的3年平均投资回报率为401%，其中25%的企业的投资回报率超过600%。调查结果还显示，一个企业要想在复杂的环境中获得成功，高层管理者必须能够控制极其复杂的商业结构，若没有详实的事实和数据支持，是很难办到的。因此，随着数据挖掘技术的不断改进和日益成熟，它必将被更多的用户采用，使更多的管理者得到更多的商务智能。 国外如此，那中国呢？ 随着我国信息化的发展，数据的积累及计算机的广泛应用，加上来自外资企业商业智能数据挖掘应用带来的竞争压力，商业智能及数据挖掘也逐渐在中国也形成了一个产业。随着成功案例的增多，不仅仅是金融保险电信等行业或是政府机构，中小企业也逐渐将商业智能应用于业务之中。 信息化时代数据的潜力不容小觑，IT部门一直是企业的核心，而数据挖掘技术更是得到了前所未有的重视和期待。目前我国数据挖掘、商业智能技术的人才培养体系还未健全，而企业对这方面的需求却一直在增长。数据知识发展为核心竞争力是现在及未来必然的形势。因此数据挖掘、商业智能行业的前景还是非常可观的。 所以，请坚定勇敢地踏出迈向数据挖掘的那一步吧，然后扎实地学好所需的知识理论及实践技巧，最后所收获到的，或许比你所期待的还多。
可视化空间数据挖掘研究综述
可视化空间数据挖掘研究综述 贾泽露1，2 刘耀林2 （1. 河南理工大学测绘与国土信息工程学院，焦作，454000；2. 武汉大学资源与环境科学学院，武汉，430079）摘要：空间数据挖掘针对的是更具有可视化要求的地理空间数据的知识发现过程，可视化能提供同用户对空间目标心理认知过程相适应的信息表现和分析环境，可视化与空间数据挖掘的结合是该领域研究发展的必然，并已成为一个研究热点。论文综述了空间数据挖掘和可视化的研究现状，重点阐述了空间数据挖掘中的可视化化技术及其应用，并对可视化空间数据挖掘的发展趋势进行了阐述。 关键词：数据挖掘；空间数据挖掘；数据可视化；信息可视化；GIS； 空间信息获取技术的飞速发展和各种应用的广泛深入，多分辨率、多时态空间信息大量涌现，以及与之紧密相关的非空间数据的日益丰富，对海量空间信息的综合应用和处理技术提出了新的挑战，要求越来越高。空间数据挖掘技术作为一种高效处理海量地学空间数据、提高地学分析自动化和智能化水平、解决地学领域“数据爆炸、知识贫乏”问题的有效手段，已发展成为空间信息处理的关键技术。然而，传统数据挖掘“黑箱”作业过程使得用户只能被动地接受挖掘结果。可视化技术能为数据挖掘提供直观的数据输入、输出和挖掘过程的交互探索分析手段，提供在人的感知力、洞察力、判断力参与下的数据挖掘手段，从而大大地弥补了传统数据挖掘过程“黑箱”作业的缺点，同时也大大弥补了GIS重“显示数据对象”轻“刻画信息结构”的弱点，有力地提高空间数据挖掘进程的效率和结果的可信度[1]。空间数据挖掘中可视化技术已由数据的空间展现逐步发展成为表现数据内在复杂结构、关系和规律的技术，由静态空间关系的可视化发展到表示系统演变过程的可视化。可视化方法不仅用于数据的理解，而且用于空间知识的呈现。可视化与空间数据挖掘的结合己成为必然，并已形成了当前空间数据挖掘1与知识发现的一个新的研究热点——可视化空间数据挖掘(Visual Spatial Data Mining，VSDM)。VSDM技术将打破传统数据挖掘算法的“封闭性”，充分利用各式各样的数据可视化技术，以一种完全开放、互动的方式支持用户结合自身专业背景参与到数据挖掘的全过程中，从而提高数据挖掘的有效性和可靠性。本文将对空间数据挖掘、可视化的研究概况，以及可视化在空间数据挖掘中的应用进行概括性回顾总结，并对未来发展趋势进行探讨。 一、空间数据挖掘研究概述 1.1 空间数据挖掘的诞生及发展 1989年8月，在美国底特律市召开的第一届国际联合人工智能学术会议上，从事数据库、人工智能、数理统计和可视化等技术的学者们，首次出现了从数据库中发现知识(knowledge discovery in database，KDD)的概念，标志着数据挖掘技术的诞生[1]。此时的数据挖掘针对的 作者1简介：贾泽露（1977,6－），男，土家族，湖北巴东人，讲师，博士，主要从事空间数据挖掘、可视化、土地信息系统智能化及GIS理论、方法与应用的研究和教学工作。 作者2简介：刘耀林(1960,9- ),男，汉族，湖北黄冈人，教授，博士，博士生导师，武汉大学资源与环境科学学院院长，现从事地理信息系统的理论、方法和应用研究和教学工作。
数据挖掘研究及发展现状
数据挖掘技术的研究现状及发展方向 摘要：数据挖掘技术是当前数据库和人工智能领域研究的热点。从数据挖掘的定义出发，介绍了数据挖掘的神经网络法、决策树法、遗传算法、粗糙集法、模糊集法和关联规则法等概念及其各自的优缺点；详细总结了国内外数据挖掘的研究现状及研究热点，指出了数据挖掘的发展方向。 关键词：数据挖掘；神经网络；决策树；粗糙集；模糊集；研究现状；发展方向 The present situation and future direction of the data mining technology research Abstract: Data mining technology is hot spot in the field of current database and artificial intelligence. From the definition of data mining, the paper introduced concepts and advantages and disadvantages of neural network algorithm, decision tree algorithm, genetic algorithm, rough set method, fuzzy set method and association rule method of data mining, summarized domestic and international research situation and focus of data mining in details, and pointed out the development trend of data mining. Key words: data mining, neural network, decision tree, rough set, fuzzy set, research situation, development direction 0 引言 随着信息技术的迅猛发展，许多行业如商业、企业、科研机构和政府部门等都积累了海量的、不同形式存储的数据资料[1]。这些海量数据中往往隐含着各种各样有用的信息，仅仅依靠数据库的查询检索机制和统计学方法很难获得这些信息，数据和信息之间的鸿沟要求系统地开发数据挖掘工具，将数据坟墓转换成知识金砖，从而达到为决策服务的目的。在这种情况下，一个新的技术——数据挖掘(Data Mining，DM)技术应运而生[2]。数据挖掘正是为了迎合这种需要而产生并迅速发展起来的、用于开发信息资源的、一种新的数据处理技术。 数据挖掘通常又称数据库中的知识发现（Knowledge Discovery in Databases），是一个多学科领域，它融合了数据库技术、人工智能、机器学习、统计学、知识工程、信息检索等最新技术的研究成果，其应用非常广泛。只要是有分析价值的数据库，都可以利用数据挖掘工具来挖掘有用的信息。数据挖掘典型的应用领域包括市场、工业生产、金融、医学、科学研究、工程诊断等。本文主要介绍数据挖掘的主要算法及其各自的优缺点，并对国内外的研究现状及研究热点进行了详细的总结，最后指出其发展趋势及问题所在。 1 数据挖掘算法 数据挖掘就是从大量的、有噪声的、不完全的、模糊的、随机的实际应用数据中提取有效的、新颖的、潜在有用的知识的非平凡过程[3]。所得到的信息应具有先前未知、有效和实用三个特征。数据挖掘过程如图1所示。这些数据的类型可以是结构化的、半结构化的、甚至是异构型的。发现知识的方法可以是数学的、非数学的、也可以是归纳的。最终被发现了的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等[4]。 数据选择：确定发现任务的操作对象,即目标对象； 预处理：包括消除噪声、推导计算缺值数据、消除重复记录、完成数据类型转换等； 转换：消减数据维数或降维； 数据开采：确定开采的任务，如数据总结、分类、聚类、关联规则发现或序列模式发现等，并确定使用什么样的开采算法； 解释和评价：数据挖掘阶段发现的模式，经过用户和机器的评价，可能存在冗余或无关的模式，这时需要剔除，使用户更容易理解和应用。十大经典算法如图2： 目前，数据挖掘的算法主要包括神经网络法、决策树法、遗传算法、粗糙集法、模糊集法、关联规则法等。
数据挖掘中的软计算方法及应用综述
摘要文章对数据挖掘中软计算方法及应用作了综述。对模糊逻辑、遗传算法、神经网络、粗集等软计算方法，以及它们的混合算法的特点进行了分析，并对它们在数据挖掘中的应用进行了分类。 关键词数据挖掘；软计算；模糊逻辑；遗传算法；神经网络；粗集 1 引言 在过去的数十年中，随着计算机软件和硬件的发展，我们产生和收集数据的能力已经迅速提高。许多领域的大量数据集中或分布的存储在数据库中[1][2]，这些领域包括商业、金融投资业、生产制造业、医疗卫生、科学研究，以及全球信息系统的万维网。数据存储量的增长速度是惊人的。大量的、未加工的数据很难直接产生效益。这些数据的真正价值在于从中找出有用的信息以供决策支持。在许多领域，数据分析都采用传统的手工处理方法。一些分析软件在统计技术的帮助下可将数据汇总，并生成报表。随着数据量和多维数据的进一步增加，高达109的数据库和103的多维数据库已越来越普遍。没有强有力的工具，理解它们已经远远超出了人的能力。所有这些显示我们需要智能的数据分析工具，从大量的数据中发现有用的知识。数据挖掘技术应运而生。 数据挖掘就是指从数据库中发现知识的过程。包括存储和处理数据，选择处理大量数据集的算法、解释结果、使结果可视化。整个过程中支持人机交互的模式[3]。数据挖掘从许多交叉学科中得到发展，并有很好的前景。这些学科包括数据库技术、机器学习、人工智能、模式识别、统计学、模糊推理、专家系统、数据可视化、空间数据分析和高性能计算等。数据挖掘综合以上领域的理论、算法和方法，已成功应用在超市、金融、银行[4]、生产企业 [5]和电信，并有很好的表现。 软计算是能够处理现实环境中一种或多种复杂信息的方法集合。软计算的指导原则是开发利用那些不精确性、不确定性和部分真实数据的容忍技术，以获得易处理、鲁棒性好、低求解成本和更好地与实际融合的性能。通常，软计算试图寻找对精确的或不精确表述问题的近似解[6]。它是创建计算智能系统的有效工具。软计算包括模糊集、神经网络、遗传算法和粗集理论。 2 数据挖掘中的软计算方法 目前，已有多种软计算方法被应用于数据挖掘系统中，来处理一些具有挑战性的问题。软计算方法主要包括模糊逻辑、神经网络、遗传算法和粗糙集等。这些方法各具优势，它们是互补的而非竞争的，与传统的数据分析技术相比，它能使系统更加智能化，有更好的可理解性，且成本更低。下面主要对各种软计算方法及其混合算法做系统性的阐述，并着重强调它们在数据挖掘中的应用情况。 2.1 模糊逻辑 模糊逻辑是1965年由泽德引入的，它为处理不确定和不精确的问题提供了一种数学工具。模糊逻辑是最早、应用最广泛的软计算方法，模糊集技术在数据挖掘领域也占有重要地位。从数据库中挖掘知识主要考虑的是发现有兴趣的模式并以简洁、可理解的方式描述出来。模糊集可以对系统中的数据进行约简和过滤，提供了在高抽象层处理的便利。同时，数据挖掘中的数据分析经常面对多种类型的数据，即符号数据和数字数据。nauck[7]研究了新的算法，可以从同时包含符号数据和数字数据中生成混合模糊规则。数据挖掘中模糊逻辑主要应用于以下几个方面： （1）聚类。将物理或抽象对象的集合分组成为由类似的对象组成的多个类的过程被称为聚类。聚类分析是一种重要的人类行为，通过聚类，人能够识别密集的和稀疏的区域，因而发现全局的分布模式，以及数据属性之间有趣的关系。模糊集有很强的搜索能力，它对发现的结构感兴趣，这会帮助发现定性或半定性数据的依赖度。在数据挖掘中，这种能力可以帮助
数据挖掘在中国的现状和发展研究
数据挖掘在中国的现状和发展研究 导读：本文以科学引文索引数据库(SCI)、工程索引数据库(EI)以及清华全文数据库(CNKI)中有关“数据挖掘”研究文章的统计数据为研究基础，对数据挖掘在我国研究的总体趋势、研究热点、研究分支三个方面进行分析和研究。本文分析了数据挖掘在我国的发展，并对进一步发展我国数据挖掘的理论研究和实际应用提出了建议。 关键字：数据挖掘 0 引言 近年来，随着计算机对数据的生成、收集、存贮和处理能力的大大提高，数据量与日俱增，传统的数据分析工具对海量数据的处理力不从心，数据挖掘技术应运而生。 中国科研工作者近几年来积极开展了对数据挖掘的研究，并在理论研究和实际应用上取得了一定的成绩，但是有关数据挖掘的成功应用还比较少。本文通过对中国有关数据挖掘研究文章数量的统计，对数据挖掘在中国发展的现状及发展趋势进行分析和研究，通过分析有关论文的发表，对数据挖掘在中国的理论研究和实际应用提出建议。 1 数据挖掘的应用与研究发展 数据挖掘是指从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘有用知识的过程。数据挖掘是一门新兴的边缘学科，近年来引起了中国学术界和产业界的广泛关注。 数据挖掘出现于20世纪80年代后期，90年代有了突飞猛进的发展。2001年，Gartner Group的一次高级技术调查将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关健技术”之首，并且还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位。美国麻省理工学院在2001年1月份的《科技评论》(Technology Review)提出将在未来5年对人类产生重大影响的10大新兴技术，其中第3项就是数据挖掘。 数据挖掘技术已被广泛的应用于各个领域，其中一些典型应用如加州理工学院喷气推进实验室与天文科学家合作开发的SKICAT系统，能够帮助天文学家发现遥远的类星体，是人工智能技术在天文学和空间科学上的第一批成功应用之一；生物学研究中用数据挖掘技术对DNA进行分析利用数据挖掘技术识别顾客的购买行为模式，对客户进行了分析；对银行或商业上经常发生的诈骗行为进行预测IBM公司
数据挖掘文献综述
湘潭大学 本科生专业文献综述 题目: 数据挖掘文献综述 姓名: 林勇 学院: 信心工程学院学院 专业: 自动化 班级: 一班 学号: 2010550113 指导教师: 张莹
0前言 随着计算机技术的迅猛发展，人类正在步入信息社会。面对今天浩如烟海的信息，如何帮助人们有效地收集和选择所感兴趣的信息，更关键的是如何帮助用户在日益增多的信息中自动发现新的概念并自动分析它们之间的关系，使之能够真正地做到信息处理的自动化，这已成为信息技术领域的热点问题。数据挖掘就是为满足这种要求而产生并迅速发展起来的，可用于开发信息资源的一种新的数据处理技术。 1什么是数据挖掘 数据挖掘(Data Mining)，也叫数据开采，数据采掘等，是按照既定的业务目标从海量数据中提取出潜在、有效并能被人理解的模式的高级处理过程。在较浅的层次上，它利用现有数据库管理系统的查询、检索及报表功能，与多维分析、统计分析方法相结合，进行联机分析处理，从而得出可供决策参考的统计分析数据。在深层次上，则从数据库中发现前所未有的、隐含的知识。OLAF'的出现早于数据挖掘，它们都是从数据库中抽取有用信息的方法，就决策支持的需要而言两者是相辅相成的。OLAP可以看作一种广义的数据挖掘方法，它旨在简化和支持联机分析，而数据挖掘的目的是便这一过程尽可能自动化。数据挖掘基于的数据库类型主要有：关系型数据库、面向对象数据库、事务数据库、演绎数据库、时态数据库、多媒体数据库、主动数据库、空间数据库、遗留数据库、异质数据库、文本型、Internet信息库以及新兴的数据仓库(Data Warehouse)等。而挖掘后获得的知识包括关联规则、特征规则、区分规则、分类规则、总结规则、偏差规则、聚类规则、模式分析及趋势分析等。 1.1 数据挖掘的任务 数据挖掘的两个高层目标是预测和描述。前者指用一些变量或数据库的若干已知字段预测其它感兴趣的变量或字段的未知的或未来的值；后者指找到描述数据的可理解模式。根据发现知识的不同，我们可以将数据挖掘任务归纳为以下几类： (1)特征规则。从与学习任务相关的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征．例如可以从某种疾病的症状中提取