数据挖掘工具的选择、分析、比较与展望
数据挖掘工具的选择、分析、比较与展望
高春华
（南京大学计算机科学与技术系，南京，210093）
Choice, A nalysis, Comparison and Future Studies of Data Mining Tools
GAO Chun-Hua
(Department of Computer Science and Technology, Nanjing University,Nanjing, 210093)
Abstract: As a new technology of deriving knowledge from massive data, data mining has become increasingly popular in research and industry fields. Its success in commercial area makes software engineers develop new data mining tools and improve current tools. Now we can see data mining tools have become a feast of eye, so it is hard for us to choose proper data mining tools. In order to offer some help, the paper discusses some ways of choosing data mining tools. At the same time, it makes introduction of several famous data mining tools and discusses the strength and weakness of each tool. It then chooses SPSS Clementine as a tool to do some data mining work and compare it with WEKA and SAS EM. Finally, it talks about the features and new functions of future data mining tools.
Key W ords: Data Mining; SPSS Clementine, Use of tools, Comparative studies, Future work
摘要：数据挖掘作为一项从海量数据中提取知识的信息技术引起了国内外学术界和产业界的广泛关注，它在商业方面的成功应用使得软件开发商不断开发新的数据挖掘工具，改进现有的数据挖掘工具，一时之间数据挖掘工具可谓琳琅满目，于是出现了如何合理选择挖掘工具的问题。鉴此，本文提出并讨论了几点关于理选择数据挖掘工具的技巧。同时，就现有的几个著名挖掘工具，介绍各自的特点，以及相互的优缺点。然后，选用SPSS Clementine这种挖掘工具进行实际操作，并且具体介绍它与Weka、SAS EM之间的优缺点。最后，展望一下，未来数据挖掘工具的特点与新功能。
关键词：数据挖掘、SPSS Clementine、工具使用、工具比较、展望
前言：
随着信息时代的到来，信息利用的重要性日渐突出，因此数据库和计算机网络随之应运而生。如今数据库和计算机网络被广泛应用，加上先进的数据自动生成和采集工具的使用，人们拥有的数据量急剧增大。然而数据的极速增长与数据分析方法的改进并不成正比，一方面人们希望在已有的大量数据的基础上进行科学研究、商业决策、企业管理，另一方面传统的数据分析工具很难令人满意的对数据进行深层次的处理，这样二者之间的矛盾日益突出，正是在这种状况下，数据挖掘应运而生。数据挖掘作为一项从海量数据中提取知识的信息技术是一个"以发现为驱动"的过程，已经引起了学术界和产业界的极大重视。特别是从1989年8月在美国底特律召开的第11届国际人工智能联合会议上首次出现数据库中的知识发现概念以来，数据挖掘在国际国内都受到了前所未有的重视，目前数据挖掘广泛应用于各个领域，如地理学、地质学、生物医学等等，总之数据挖掘的出现
____________
作者简介：高春华(1988-),男，江苏海门人，大学本科生，主要研究领域为软件工程，MFC
使数据库技术进入了一个更高级的阶段，不仅能对过去的数据进行查询和遍历，还能够找出以往数据间潜在的联系，促进信息的传播。
1.数据挖掘定义
数据挖掘是一个从数据中提取模式的过程，是一个受多个学科影响的交叉领域,包括数据库系统、统计学、机器学习、可视化和信息科学等；数据挖掘反复使用多种数据挖掘算法从观测数据中确定模式或合理模型，是一种决策支持过程。通过预测客户的行为，帮助企业的决策者调整市场策略，减少风险，做出正确的决策。由于传统的事物型工具（如查询工具、报表工具）无法回答事先未定义的综合性问题或跨部门/机构的问题，因此其用户必须清楚地了解问题的目的。数据挖掘就可以回答事先未加定义的综合性问题或跨部门/机构的问题，挖掘潜在的模式并预测未来的趋势，用户不必提出确切的问题，而且模糊问题更有利于发现未知的事实。
2.工具简介
2.1数据挖掘工具的重要性：
数据挖掘工具利用各种已知数据分析方法，使分析员和决策者脱离浩如烟海的繁杂的数据，使其更快更有效的得到其所需要的结果。
2.2数据挖掘工具的分类：
数据挖掘工具根据其适用的范围分为两类：专用挖掘工具和通用挖掘工具。
专用数据挖掘工具是针对某个特定领域的问题提供解决方案，在涉及算法的时候充分考虑了数据、需求的特殊性，并作了优化。对任何领域，都可以开发特定的数据挖掘工具。特定领域的数据挖掘工具针对性比较强，只能用于一种应用；也正因为针对性强，往往采用特殊的算法，可以处理特殊的数据，实现特殊的目的，发现的知识可靠度也比较高。
通用数据挖掘工具不区分具体数据的含义，采用通用的挖掘算法，处理常见的数据类型。通用的数据挖掘工具不区分具体数据的含义，采用通用的挖掘算法，处理常见的数据类型。通用的数据挖掘工具可以做多种模式的挖掘，挖掘什么、用什么来挖掘都由用户根据自己的应用来选择。一般我们见到的数据挖掘工具都是通用型的。
2.3 工具简介：
随着数据信息量的不断增大，数据利用的重要性日益突出，数据挖掘工具也随之不断推陈出行，各式各样的工具可谓是琳琅满目。但最常见也最常用的还属那几种，如：IBM公司Almaden研究中心开发的QUEST系统，SGI公司开发的
MineSet系统，加拿大SimonFraser大学开发的DBMiner系统，美国IBM公司开发的数据挖掘软件Intelligent Miner，美国NORTH CAROLINA州立大学开发的统计分析软件SAS，开放源码的数据挖掘软件Weka，美国斯坦福大学研制的SPSS以及各类数据库厂商集成的挖掘工具。
这里主要介绍Weka，SAS，SPSS Clementine。
Weka（Waikato Environment for Knowledge Analysis）是一款免费的，非商业化的，基于JAVA环境下开源的机器学习（machine learning）以及数据挖掘（data minining）软件。 WEKA作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及在新的交互式界面上的可视化。而开发者则可使用Java语言，利用Weka的架构上开发出更多的数据挖掘算法。
SAS (Statistical Analysis System)是一个模块化、集成化的大型应用软件系统。它由数十个专用模块构成，功能包括数据访问、数据储存及管理、应用开发、图形处理、数据分析、报告编制、运筹学方法、计量经济学与预测等等。SAS系统基本上可以分为四大部分：SAS数据库部分；SAS分析核心；SAS开发呈现工具；SAS对分布处理模式的支持极其数据仓库设计。 SAS系统主要完成以数据为中心的四大任务：数据访问；数式的支持极其数据仓库设计。是一种在我国的企业中得到采用的数据挖掘工具，比较典型的包括上海宝钢配矿系统应用和铁路部门在春运客运研究中的应用。SAS Enterprise Miner是一种通用的数据挖掘工具，按照"抽样--探索--转换--建模--评估"的方法进行数据挖掘。可以与SAS数据仓库和OLAP集成，实现从提出数据、抓住数据到得到解答的"端到端"知识发现。
SPSS Clementine是一个开放式数据挖掘工具，曾两次获得英国SMART 创新奖，它不但支持整个数据挖掘流程，从数据获取、转化、建模、评估到最终部署的全部过程，还支持数据挖掘的行业标准--CRISP-DM。Clementine的可视化数据挖掘使得"思路"分析成为可能，即将集中精力在要解决的问题本身，而不是局限于完成一些技术性工作（比如编写代码）。提供了多种图形化技术，有助理解数据间的关键性联系，指导用户以最便捷的途径找到问题的最终解决办法。而且SPSS的视图革新是最高的，获得最高的completeness of vision。
注意，这里说的是Clementine 并不等同于SPSS，SPSS突出在于统计或数字计算分析功能，而Clementine专注于数据挖掘，可以做神经网络、决策树之类的分析，制图功能更完整。所以，Clementine更适用于数据挖掘。前者，只是简单统计分析。
3.工具使用
这里选用版本为11.1的 SPSS Clementine作为数据挖掘工具进行使用介绍。
3.1 Clementine 11.1主界面：
3.1.1 区域1
数据流设计区：主要的工作区域，如下图即知。有向的箭头指明了数据的流向。Clementine项目中可以有多个数据流设计区，如下图的流1和流2。通过在管理区的‘流’栏中点击切换不同的数量流。
流1：
流2：
3.1.2 区域2
管理区：包括流、输出、模型三栏。
流：上面已经说过了，是管理数据流的。
输出：不要跟工具栏中的输出搞混（将在下面介绍），这里的输出是图形、输出这类工具产生的分析结果。
模型：经过训练的模型会出现在这一栏中，这就像是真表（Truth Table）的概念那样，训练过的模型可以加入的数据流中用于预测和打分。
3.1.3 区域3
项目区：顾名思义，是对项目的管理，提供了两种视图。其中CRISP-DM （Cross Industry Standard Process for Data Mining，数据挖掘跨行业标准流程）是由SPSS、DaimlerChrysler（戴姆勒克莱斯勒，汽车公司）、NCR（就是那个拥有Teradata的公司）共同提出的。Clementine里通过组织CRISP-DM的六个步骤完成项目。在项目中可以加入流、节点、输出、模型等。
3.1.4 区域4
工具栏：工具栏总包括了ETL、数据分析、挖掘模型工具，工具可以加入到数据流设计区中， Clementine中有7类工具：数据源、记录选项、字段选项、图形、建模、输出、导出。
3.2工具栏使用介绍
每一个项目（tab）包含了一系列相关的节点用于一个数据流（stream）操作的不同阶段，例如：
●数据源（Sources）：用来将资料读进系统的节点。
●记录选项（Record Ops）：用来在资料记录上进行操作的节点，例如选择、合并和增加。
●字段选项（Field ops）：用来在数据域位上进行操作的节点，例如过滤、导出新字段和确定给出字段的数据类型。
●图：在建模之前和之后用来可视化资料的节点。图包括点图、直方图、Web 节点和评估图表。
●建模：在Clementine 系统中可用的代表有效建模算法的节点，例如类神经网络、决策树、聚类算法和资料排序。
收藏夹：在工具栏上的收藏夹项目能够被定义成包含使用者对Clementine 系统的习惯用法。例如，如果使用者经常分析一个数据库中的时间序列资料，就可能想确保数据库来源节点和序列建模节点这两个都可以从收藏夹项目中获得。
3.2.1 数据源：
数据源节点包括：
●数据库——用于通过ODBC 导入资料。
●变量文件——用于无限制字段的ASCⅡ资料。
●固定文件——用于固定字段的ASCⅡ资料。
●SPSS 文件——用于导入SPSS ‘.sav’文件。
●Dimensions文件――用于导入SPSS的DSC文件
●Excel文件――用于导入Excel ’.xls’文件
●SAS 文件——用于导入SAS 格式的檔。
●使用者输入——用于替代已存在的来源节点，也可通过在已存在节点
点击鼠标右键的方式使用该节点。用户可根据不同格式的数据文件选择相对应的数据源节点。
3.2.2记录选项
记录操作节点用于在记录层次修改资料集。这些操作在资料采矿的资料理解和资料准备阶段很重要。
记录操作选项板包括以下节点：
●选择（select）●抽样（sample）●平衡（balance）●汇总（aggregate）
●排序（sort）●合并（merge）●附加（append）●区分（distinct）
●选择节点：
使用者可以使用选择节点根据具体条件从资料流程中选择或排除某一记录
子集，如符合Class＝”Age”条件的记录子集。
选择节点也用于选择一定比例的记录，使用者可以使用选择节点来创建自己的条件。例如，使用者可以创建如下条件：
Class="Age"and random(10)<=4 这一条件将从Class 为“Age”的记录中，选择大约
40％，并向流程的下游下传（downstream）这些记录以用于进一步分析。
●抽样节点：
使用者可以使用抽样节点来明确限制通过流的记录数或排除一定比例的记录。由于各种原因，使用者需要对原资料进行抽样，如：提高资料采矿工具的性能。
大量削减（Paring down）一个大型的资料集，比如拥有上百万记录的资料集。使用抽样节点，使用者可以通过随机抽样来生成模型，该模型通常和从整个资料集中导出的模型一样精确。
●平衡节点：
使用者可以使用平衡节点来修正资料集中的不均匀性，以便能够符合特定的测试原则。
均衡是根据指定的条件复制记录后丢弃记录。不受任何条件限制的记录会一直通过流程。由于这一过程通过复制并且/或者丢弃记录，因而资料的原始顺序将在资料下传（downstream过程中流失。所以，一定要在将均衡节点加到流程之前导出一个和顺序有关的值。
注：均衡节点可以从资料分布图和直方图中自动生成。
●汇总节点：
可以使用汇合节点，把一系列输入记录变换成总括性的、汇合的输出记录。
●排序节点：
可以使用排序节点根据一个或多个字段值对记录进行升序或降序排列。
排序节点经常用于浏览和选择带有最常见资料值的记录，有助于探索分析资料并作出决策，比如选择前十名最好的顾客的记录。
●合并节点:
合并节点的功能是接受多重输入记录，并生成包含部分或全部输入字段元的单一输出记录，这一操作在合并来自不同资料来源的资料时很有用。
●附加节点：
使用附加节点将记录集串联起来。与合并节点中将不同资料来源中的记录连接起来不同，附加节点读取并下传（downstream）来自同一资料来源的所有记录直至该资料来源不再有记录为止，然后使用与读取首个输入资料来源记录相同的数据结构（记录和字段数目等）读取下一个资料来源的记录。如果最初的资料来源的字段比另一个输入资料来源多，系统将对任意不完整值使用字符串（$null$）补充。
附加节点用于合并有相似结构而资料不同的资料集，假定它们具有同样的数据结构（同样的字段，同样的顺序），附加节点将会它们合并成一个大的档，随后使用者可以对这个档进行分析。
●区分节点：
可以使用区分节点来清除重复性记录，可以将首个区分记录传递到数据流中或者舍弃首个记录，而将任意的副本传递到数据流。如果想在资料集中每一项对应一个单一记录，如客户、帐号、产品等，则这项操作将很有用的。
3.2.3 字段选项
在资料准备阶段，使用者通常需要选择、清理和建构资料。
字段操作节点能够帮助使用者为建模和其它下游流程的操作准备数据。
字段操作选项板包含下列节点：
●类型（Type）●过滤（Filter）●导出（Derive）
●填充（Filler）●设为标志（Set to Flag）●历史（History）
以及其他一些节点。
●类型节点：
指定字段的一系列重要属性。
(1)连续型(Range)：用于描述数值。
(2)离散型(Discrete)：用于当一个具体值的精确数量未知时描述字符串。
(3)标记型(Flag)：用于只取两个具体值的资料。
(4)集(Set)：用于描述带有多个具体值的资料，每个值作为集中的一个元素。
注意:将一种类型设置为集并不会自动把值转换为字符串。
(5)无类型(Typeless)：用于不符合上述任一种类型的资料或者含有太多元素的集类型资料。
●过滤节点：
三个功能：
(1)从通过的记录中过滤或剔除字段
(2)重命名字段
(3)把字段从一个来源节点映像到另一个
●导出节点：
Clementine 最强大的特点就是其修改资料值和从已存资料中导出新字段的能力。
六种导出节点及其产生的新字段如下所示：
公式：其新字段是任一个CLEM 表达式的结果。
标志：其新字段是一个标记，显示了指定的条件。
集合：其新字段是一个集，即它的元素是一组指定值。
状态：其新字段是两种状态的一种。在两种状态之间的转换是根据指定的条件来决定的。
计数：其新字段是基于条件正确的次数。
条件：其新字段是两种表达式之一的值，取决于条件的值。
●填充节点：
填充节点用来替换字段值以及改变存储。使用者可以用一个指定的CLEM 条件，比如@BLANK（@FIELD)，来替换字段值。使用者也可以用一个指定的值替换所有的空缺和无效值。填充节点通常与类型节点结合起来替换遗漏值。
注意：当用使用者定义的值来替换已选中的多个字段时，字段类型必须相似（都为数值型或者字符型）。
●设为标志节点：
使用者必须先有一个从一个设置标记节点开始，在其上游的并且指定了一个或多个字段类型为资料集类型的类型节点。
●历史节点：
偏差：指定目前记录之前最近的记录，从其中提取历史字段值。例如，如果偏差设为3，历史节点在处理每条记录时，就会将目前记录之前的第三条记录的字段值加进该记录。用间隔设置可以指定向后抽取与目前记录相隔多远的记录。用箭头可以调整偏差值。
间隔：定义需要抽取向前资料的字段个数。例如，如果偏差设为3，间隔设为5，历史节点在处理每条记录时，就会将选择域列表中指定的五个字段加进该记录。这意味着当节点处理第10 条记录时，第7 条记录到第3 条记录的字段会被加入。
当无历史记录时：以下三个选项用于处理无历史值的记录。这通常指数据集开始的几条
记录，因为它们之前没有可以作为历史的记录了。
1）丢弃记录：当字段没有历史值可以利用时，选择舍弃记录。
2）使历史字段未定义：当没有历史值可以利用时，选择保留记录。历史字段将取值为未定
义值$null$。
3）用...填充：当没有历史值可以利用时，给记录定义一个数值或者一个字符串。预设替换值为系统无效值undef。无效值在Clementine 中用字符串$null$显示出来。当选择替换值时，牢记以下规则以使操作正确:
(1)被选中的存储类型必须相同。
(2)如果所有被选中的字段是数值储存，替换值必须解析成整数。
(3)如果所有被选中的字段是实数储存，替换值必须解析成实数。
(4)如果所有被选中的字段是字符储存，替换值必须解析成字符串。
(5)如果所有被选中的字段是日期储存，替换值必须解析成日期/时间。
3.2.4 CLEM 表达式
CLEM 全名为Clementine Language for Expression Manipulation，也就是在Clementine 中执行函数运算时的专用语法，它是一个功能强大的语言，用来分析操作Clementine 流程的资料。功能有：
●比较和评估各记录字段的条件
●为新的字段导出值
●为已有字段导出值
●推导记录序列
●将记录中的资料插入报告中
1)数据与数据类型
CLEM 表达式与一般由数值、字段名、操作符和函数等构成的公式相似。
字符串--例如：“c1”,”Type 2”,”a piece of free text”
整数--例如：12，0，-189
实数--例如：12.34，0.0，-0.0045
日期型字段--例如：05/12/2002，12/05/2002
字符型代码--例如：’a’
项列表--例如：[1 2 3]，[‘type1’‘type2’]
2）表达式及条件
CLEM 能传回一个结果，例如在Derive 节点中：
Weight*2.2
Age+1
Sqrt(Signal-echo)
也能用来做为选择条件，例如在Select 节点中：
Drug=”drugA”
Age<16
Not(PowfulFlux) and Power>2000
在CLEM 表达式中，可以将多个函数合并起来：
Sqrt(abs(Signal))*max(T1,T2)+Baseline
执行顺序分别为：
函数参数、函数调用、××、× / mod div rem、+ -、<> >= <=。
3）使用表达式建构器
E-Builder 的设置使得使用者可以在Clementine 的节点上迅速建立CLEM表达式，不必记住确切的字段名称和CLEM语言，操作上更为轻松简易。
不论选择(select)、平衡(balance)、导出(derive)、填充(filler)、制图(plot)、分析(analysis)、报告(report)或是表 (table)节点，都可使用。
注意：在脚本编程或参数的设立中不支持。
4）CLEM函数类型
资料采矿过程的某些阶段使用图来对资料作探索性分析。例如，使用者可以将一个制图或分布节点连接到一个资料来源上，从而对数据类型和分布有更深刻的认识。然后使用者可以对记录和字段进行处理以准备下游模型操作所需资料。
图表的另一个常见用途是检查新导出字段的分布和关联。
图表的操作:
1)建立图：一旦被加入一个流程中，每个图节点都可以通过双击来打开一个标记过的对话框以指定选项如下：
（1）为图表设定输出选项(Setting Output Options for Graphs)。
（2）设置图外观选项(Setting Appearance Options for Graphs) 。
2）使用图表：
●使用鼠标来选择一个图表区域以便进行更深入的操作。
●使用菜单栏中可用的选项：不同的图表可能有不同类型的可用菜单和选项。
●在一个选定区域上右击，给这个区域提供一个可用选项的上下文菜单。使用这些方法，使用者可以依据已创建图表的不同类型来执行下述操作：使用鼠标高亮度表示划定的矩形资料区域。
通过点击图像区域，高亮度表示直方图和堆积图上的资料带。
识别并标注使用者的资料子集。
基于图表上选定的区域来生成操作节点。
图表选项板(graphs platte)包括以下节点：
●散点图（plot）●多重散点图(multiplot)●分布图(distribution)
●直方图(histogram)●集合图（collection）●网络图(web)●评估图(evaluation)
●散点图：散点图节点显示出了数值型字段之间的关系.。
使用者可以使用点(也被称做散点)或线来创建一个散点图，可以通过在对话框中设定一个 X Mode 来生成三种类型的折线（LINE PLOT）图。
第一种折线：将X Mode 设置为排序，使得资料能够按绘制在X 轴上的字段值分类。这就产生了一条图像左端延伸到右端的单曲线。
第二种折线：将X Mode 设置为交叠字段可以在同一个图像中创建多条折线。第三种折线：将X Mode 设置为如所读取，当它们从资料源中读出的时候，绘制X 和Y 值。如果使用者对基于资料顺序所产生的趋势和模式很有兴趣，那么这个选项对于带有时间序列成分的资料是十分有用的。
●多重散点图
多重散点图是一种特殊类型的散点图，它显示的是一个单独的X 字段对应多个Y 字段的情况。散点图和多重散点图是Y 对X 的二维显示，一个区域就是由X 和Y 的最大和最小值描述的图像范围。由于多重散点图主要是属于散点图的一种，因此图像窗口显示的选项与点图节点中的选项相同。
●分布图
一个分布图像表现的是，在一个资料集中，符号型（非数值型）变量值的发生情况，比如抵押类型或者性别。分布节点的一个典型用途是展示出资料中的不平衡注：为了显示出数值型变量值的出现，使用者应该使用直方图节点
●直方图
直方图节点显示的是数值型字段变量值。在操作和建立模型之前经常用它探索资料。与分布节点相似，直方图被频繁地用来揭示资料中的不均衡性。
注意：为了展示出符号型字段变量值的发生情况，使用者应该使用分布节点。
字段（Field）：选择一个数值型字段
层叠（Overlay）：选择一个符号型字段来为以上选定的字段显示变量值的类别。选择一个覆盖字段，使用不同的颜色代表不同类别的覆盖字段。
●集合图
除了集合图显示的是一个数值型字段变量值与另一个字段变量值相对比结果的
分布，而不是显示一个单独字段变量值的发生率以外，堆积图与直方图是很相似的。一个集合图对于阐明变量值随时间变化的变量或字段来说是十分有用的。使用3－D 图像，使用者还可以将一个按类别显示分布的符号型坐标轴包含在内。聚集（Collect）：选择一个字段，其变量值将在Over 中被聚集，并显示在下面给定字段的变量值范围中。只有尚未被定义为符号型的字段才能被列出。在……上（Over）：选择一个字段，其变量值将被用来显示上面指定的堆积图字
段。
按照（By）：在创建一个3－D 图像时被激活，这个选项允许使用者选择一个用来按类别显示堆积图字段的设定或标记字段
操作（Operation）：选择堆积图中的每个条柱都分别代表什么。选项包括Sum, Mean, Max, Min 以及Standard Deviation
●网络图
网络图节点显示的是两个或两个以上符号型字段之间关系的强弱程度。这种图像通过使用各种不同类型的线条指示联系的强度来显示关系。例如，使用者可以使用一个网络图节点，来探究各种项目在商务网站上购买、或通过传统零售通路购买两种不同情况之间的关系。
●评估图
评估图表节点为我们提供了一种能够很轻松地评估和比较预想的模型、并从中选择最有利于应用的模型的方法。多个模型在图中被表示为多条相互独立的线。结果是通过将一个特定的变量值或者一变量值范围定义为“命中”来处理的。“命中”通常指的是某个种类（比如对顾客的销售情况）或一个感兴趣的事件（比如一种特定的医学诊断）的成功出现。
一共有五种评估图表，其中每一个都强调了一个不同的评估准则。
累积图表：通常可以使模型的整体执行状态变得更佳，而相反的，非累积图表则一般比较擅长为模型指示出特殊问题的所在位置。
功效图表：将在每个分位点中成功数占记录数的百分比与在训练资料中成功数所占百分比做比较。它是用公式（分位点中成功数\分位点中记录数）\（总成功数\总记录数）来计算的。
响应图表：响应就是简单的分位点中的成功数占记录数的百分比。它是用公式（分位点中的成功数\分位点中的记录数）*100％来计算的。
利润图表：用（分位点中所有记录收入总和－分位点中所有记录成本总和）来计算的。
投资报酬率图表：它是用公式（分位点中的利润/分位点中成本）*100％来计算的。
3.2.6 建模节点
建模是资料采矿进程的核心部分。建模节点中的建模方法使使用者能够从资料中获得新的信息并形成预测模型。
Clementine 提供了一系列的建模方法，这些方法来自机器学习、人工智能和统计学。每种方法都有自己的长处，适合特定类型的问题。
建模选项选项板包括以下节点：
●类神经网络●决策树●聚类●线性回归●GRI（广义规则归纳）
●Apriori（演绎）●K－Means（聚类）●Logistic Regression（逻辑斯回归）●Factor Analysis/PCA （因子分析/主成分分析）●TwoStep Cluster（两步聚类）
●Classification and Regression（C&R）Trees（分类回归树）●序列检测等这里介绍几个常见建模节点：
●类神经网络节点
类神经网络节点用于创建并训练类神经网络。类神经网络，有时也称作多层感知器，本质上是人脑处理信息方式的简化模型。它通过模拟大量相互连接的简单处理单元工作，这些处理单元好象神经元的抽象化版本。这些处理单元是按层排列的。在类神经网络中通常有三部分：一个输入层（input layer），其单元代表输入字段；一个或者更多的隐藏层（hidden layers）；以及一个输出层（output layer），其单元代表输出字段。这些单元通过不断变化的连接强度（connection strengths）或权值连接。
类神经网络学习包括：检查单个记录、为每个记录生成预测、一旦发现生成错误的预测便对权值进行调整。这一进程多次重复，类神经网络不断提高预测效果，直到满足一个或者多个终止准则。
要求：对字段类型没有限制。类神经网络可以处理数值型、字符型以及卷标型输入输出字段。类神经网络节点要求一个或更多字段有“In”方向，以及一个或更多字段有“Out”方向。设置为Both 或者None 的字段将被忽略。在执行节点时，字段类型必须被充分实例化。
优点：类神经网络在执行一般估计功能时非常强大。他们一般能够和其它方法一样执行预测任务，有时甚至执行得更好。同时，训练和应用类神经网络需要使用者掌握的统计和数学知识很少。Clementine 中包含几项特有的功能，用以避免运用类神经网络时的一些常见问题，包括：敏感度分析（sensitivity analysis）以辅助解释类神经网络结果，修剪（pruning）和验证（validation）以避免过度训练，动态网络（dynamic networks）以自动找出合适的网络
结构设计。
●Kohenen（聚类）节点
Kohenen 节点用于创建和训练一类被称作Kohenen 网络、knet、或者自组织映像的特殊类神经网络。当刚开始并不知道资料集包括哪些群体时，可采用这种网络将资料聚合成差别明显的不同群体。与Clementine 中的绝大多数算法不
同，Kohenen 网络并不使用目标字段。这种没有目标字段的学习被称作无监督的学习。Kohenen 网络并不尝试去预测某一结果，而是试图揭示输入字段中的特征。记录被分成群体，这样同一群体或者类别中的记录彼此相似，而不同群体中的记录截然不同。一个Kohenen 网络由一个输入单元层和一个处理单元的二维输出网组成。在训练过程中，每个单元都与其它单元竞争获得每个记录。当一个单元获得了一个记录，其权值（同样包含那些邻近的单元）调整为更加匹配该记录的预测所属类别。随着训练的进行，网格上单元的权值不断调整以形成一张聚类的二维映像（自组织映像由此而得）。通常，Kohenen 网络形成时会有少部分单元包括许多观察值（强单元），以及几个不对应于任何观察值的单元（弱单元）。强单元（有时是在网格中与他们相邻的单元）代表可能的聚类中心。
Kohenen 网络的另一个用法是进行维度归约。二维网的广阔性特征使得可以从最初的k 个变量衍生出两个保持初始预测值相似性关系的特征。在某些情况下，这可以给使用者带来和因素分析或主成分分析一样的便利。
注意计算输出网格预设大小的方法已经与Clementine 以前的版本不同。一般而言，新的计算方法能生成更小的输出层，训练速度更快，综合性更强。如果发现使用预设大小得到较差的结果，尝试通过高级设置提高输出网的大小。
要求：要训练Kohenen 网络，需要至少一个In 字段。设置为Out，Both，或者None 的字段会被忽略。
优点：建立Kohenen 网络模型无须一组一组的资料。使用者甚至不需要知道要找出多少组。Kohenen 网络从一大堆单元开始，随着训练的进展，各单元能够反映资料的自然分类结构。可以通过生成模型中每个单元捕获的观察值数来识别强单元，这可以使使用者感觉到资料分多少类。
●（C&R）Trees（分类回归树）
分类回归树节点(C&R Tree Node)是基于树的分类预测方法。与C5.0 相似，该方法采用递归分割方法把输入字段值相似的训练集根据输出字段拆分成不同的类。分类回归树首先检查输入字段以找出最佳分割，分割好坏用分割引起的杂质减少指数度量。一次拆分定义两个子群，每个子群随后又再被分割成两个的子群，如此下去，直到达到触发某一终止准则。
注意：分类回归树节点取代了Clementine 早期版本的Build Rule 节点。如果加载一个包括Build Rule 节点的档，则由于Clementine 不再支持Build Rule 节点，该节点将被分类回归树节点取代。但是由Build Rule 创建的生成模型将继续以常规方式执行，不会被替换。
要求：要训练分类回归树模型，需要至少一个In 字段元，恰好需要一个字符型Out 字段。输出字段既可以是数值型，也可以是字符型。设置为Both 或者None 的字段将被忽略。模型中使用的字段元类型必须被充分实例化。
优点：分类回归树模型在遇到诸如遗失值和字段数量很多等问题时非常稳健。分类回归树模型通常不需要用很长的训练时间估计模型。此外，分类回归树模型比其它一些类型的模型易于理解——从模型中导出的规则有直观的解释。与C5.0 不同，分类回归树模型既可以提供字符型输出字段，也可以提供数值型输出字段。
3.2.7 输出节点
输出节点提供一种方式来获得关于使用者的资料和模型的信息。当然，在资料采矿的每一阶段这是非常重要的，从“商业理解”到“发布”。输出节点也提供一个机制，它能以各种形式把资料输出到其它工具软件的接口。
这儿有十四种输出节点：
●表格（table）●矩阵（Matrix）●分析（Analysis）●统计（statistics）●质量（Quality）
●报告（Report）●设置全局值（Set Globals）●发布（Publisher）●数据库输出
●平面文件（Flat File）●SPSS 输出（SPSS Export）●SAS 输出（SAS Export）●Excel 输出
●SPSS 过程（SPSS Procedure）
3.3 实例
下面使用Clementine中自带的bankloan_score作例子，通过建立分类决策树和神经网络模型，用来预测一个人的收入。
3.3.1定义数据源
将一个SPSS文件节点加入到数据流设计区，双击组件，设置数据源。
在类型栏中点“读取值”，会自动读取数据个字段的类型、值等信息。
值是字段包含的值，比如在数据集中ed字段的值是从0到5的数。类型是依据值判断字段的类型。集合是指包含有限个值，连续是连续性数值。通过了解字段的类型和值，我们可以确定哪些字段能用来作为预测因子。
“方向”表明字段的用法，“输入”用作预测的依据，”输出”用作预测值，”双向”代表两者均可。
3.3.2 理解数据
在建模之前，我们需要了解数据集中都有哪些字段，这些字段如何分布，它们之间是否隐含着相关性等信息。只有了解这些信息后才能决定使用哪些字段，应用何种挖掘算法和算法参数。
在除了在建立数据源时Clementine能告诉我们值类型外，还能使用输出和图形组件对数据进行探索，而且更形象具体。
例如先将输出组件中的表格和图形组建中的直方图拖入数据流设计区，跟数据源组件连在一起，配置好这些组件后，点上方绿色的箭头。也可在每个节点内，点按钮，这样只运行单个节点。
运行之后，就两个节点就输出直方图和表格。同时，这些输出会保存在管理区中，
以后只要在管理区双击输出就可以看打开报告。如直方图（这里选用age作字段）：
表格：
3.3.3 准备数据
将之前的输出和图形工具从数据流涉及区中删除。
将字段选项中的过滤节点加入数据流区，删去一些不需要的字段。（这里要求一个人的收入，与各种欠款无关，所以虑去debtinc、creddebt、othdebt、default 字段。
加入记录选项的抽样节点做随机抽样，从源数据中抽取70%的数据作为训练集，
剩下30%作为检验集。
注意为种子指定一个值，只要种子不变，计算机产生的伪随机序列是不变的。因为模型的输入和预测字段是不同的，所以需要加入个类型节点。
有时候用于预测的输入字段太多，会耗费大量训练时间，可以使用特征选择组件筛选对预测字段影响较大的字段。
大数据分析的六大工具介绍
大数据分析的六大工具介绍 2016年12月 一、概述 来自传感器、购买交易记录、网络日志等的大量数据，通常是万亿或EB的大小，如此庞大的数据，寻找一个合适处理工具非常必要，今天我们为大家分学在大数据处理分析过程中六大最好用的工具。 我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设il?的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器、气候信息、公开的信息、如杂志、报纸、文章。大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。大数据分析是在研究大量的数据的过程中寻找模式, 相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。 二.第一种工具:Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是 以一种可黑、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地 在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下儿个优点: ,高可黑性。Hadoop按位存储和处理数据的能力值得人们信赖。，高扩展性。Hadoop是 在可用的计?算机集簇间分配数据并完成讣算任务 的，这些集簇可以方便地扩展到数以千计的节点中。 ，高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动 态平衡，因此处理速度非常快。 ，高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败 的任务重新分配。 ,Hadoop带有用Java语言编写的框架，因此运行在Linux生产平台上是非 常理想的。Hadoop上的应用程序也可以使用其他语言编写，比如C++。 第二种工具:HPCC HPCC, High Performance Computing and Communications（高性能计?算与通信）的缩写° 1993年，山美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项 U：高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项U ,其U的是通过加强研究与开发解决一批重要的科学与技术挑战 问题。HPCC是美国实施信息高速公路而上实施的计?划，该计划的实施将耗资百亿 美元，其主要U标要达到:开发可扩展的计算系统及相关软件，以支持太位级网络 传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。
空间数据挖掘工具浅谈_汤海鹏
第28卷第3期2005年6月 测绘与空间地理信息 G E O M A T I C S ＆S P A T I A LI N F O R M A T I O NT E C H N O L O G Y V o l .28,N o .3 J u n .,2005 收稿日期:2004-09-14 基金项目:国家重点基础研究发展规划(973)资助项目(2001C B 309404) 作者简介:汤海鹏(1979-),男,湖南沅江人,本科,主要从事信息化管理和信息化建设等方面的研究。 空间数据挖掘工具浅谈 汤海鹏1 ,毛克彪 2,3 ,覃志豪2,吴 毅 4 (1.公安部出入境管理局技术处,北京100741;2.中国农业科学院自然资源与农业区划研究所农业遥感实验室, 北京100081;3.中国科学院遥感所,北京100101;4.黑龙江乌苏里江制药有限公司,黑龙江哈尔滨150060) 摘要:数据挖掘是一个利用各种分析工具在海量数据中发现模型和数据间关系的过程,这些模型和关系可以 用来做出预测。空间数据挖掘有十分广阔的应用范围和市场前景,目前已出现大量的数据挖掘工具用于企业决策、科学分析等各个领域。文中对2个数据挖掘工具进行讨论,介绍它们的功能、所使用的技术以及如何使用它们来进行数据挖掘。 关键词:数据挖掘;空间数据挖掘;数据立方体;知识库引擎 中图分类号:P 208 文献标识码:A 文章编号:1672-5867(2005)03-0004-02 AS u r v e y o f D a t a Mi n i n g T o o l s T A N GH a i -p e n g 1 ,M A OK e -b i a o 2,3 ,Q I NZ h i -h a o 2 ,W UY i 4 (1.B u r e a uo f E x i t a n dE n t r y A d m i n i s t r a t i o n ,M i n i s t r y o f P u b l i c S e c u r i t y ,B e i j i n g 100741,C h i n a ;2.T h e K e y L a b o r a t o r y o f R e m o t e S e n s i n g a n d D i g i t a l A g r i c u l t u r e ,C h i n a A c a d e m y o f A g r i c u l t u r e R e m o t e S e n s i n g L a b o r a t o r y ,B e i j i n g 100081,C h i n a ; 3.I n s t i t u t eo f R e m o t e S e n s i n g A p p l i c a t i o n s ,C h i n e s e A c a d e m y o f S c i e n c e s ,B e i j i n g 100101,C h i n a ; 4.H e i l o n g j i a n g Wu s u l i j i a n g P h a r m a c e u t i c a l C o .L t d .,H a r b i n 150060,C h i n a ) A b s t r a c t : B e c a u s e o f c o m m e r c i a l d e m a n d s a n dr e s e a r c hi n t e r e s t ,a l l k i n d s o f s p a t i a l d a t a m i n i n g s o f t w a r e t o o l s e m e r g e .I n o r d e r t o g e t u s e o f t h e d a t a m i n i n g t o o l s ,t w o o f t h e ma r e i n t r o d u c e d i n t h i s p a p e r a n d m a k e p r o s p e c t o f i n t e g r a t i o n o f G I S ,R S ,G P S a n d d a t a m i n -i n g .K e yw o r d s :d a t a m i n i n g ;s p a t i a l d a t a m i n i n g ;d a t a c u b e ;d a t a b a s e e n g i n e 0 引 言 随着数据获取手段(特别是对地观测技术)及数据库 技术的快速发展,科研机构、政府部门在过去的若干年里都积累了大量的数据,而且,目前这些数据仍保持迅猛的增长势头。如此大量的数据已远远超过传统的人工处理能力,怎样从大量数据中自动、快速、有效地提取模式和发现知识显得越来越重要。数据挖掘与知识发现作为一个新的研究领域和新的技术正方兴未艾,用于从巨量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式[1～2],很好地满足了海量数据处理的需要。 具体应用中,数据挖掘工具很多。它们在功能和方法等方面差别很大。如何选择适合具体挖掘需求的工具,是进行挖掘工作必须考察的前提。选择某一工具时,应考虑数据类型,主要是考察工具能处理的数据:①关系 数据库的数据。包括数据仓库数据、文本文档、空间数据、 多媒体数据、W e b 数据等;②功能和方法。数据挖掘功能是数据挖掘工具(或系统)的核心,一些数据挖掘工具仅提供一种功能(如分类),另一些工具可能支持另外的挖掘功能(如描述、关联、分类、预测和聚类等);③其他考虑的方面如:系统问题、数据源、可伸缩性、可视化、数据挖掘查询语言和图形用户接口、工具和数据库或数据仓库系统等。 在众多的数据中,有近80%的数据可以通过空间关系表达。现在,通过卫星扫描地球,每天都能获得大量的关于地表的遥感图像。要从大量的数据中判读出每一个图片所潜藏的信息,就必然要用到数据挖掘技术。本文将通过介绍专业的航空遥感图像处理系统E r d a s 和D B -M i n e r 来阐述处理空间数据和关系数据的这一过程及这2种软件的特点。
数据挖掘工具应用及前景分析
数据挖掘工具应用及前景
介绍以下数据挖掘工具分别为： 1、 Intelligent Miner 2、 SAS Enterpreise Miner 3、SPSS Clementine 4、马克威分析系统 5、GDM Intelligent Miner 一、综述：IBM的Exterprise Miner简单易用，是理解数据挖掘的好的开始。能处理大数据量的挖掘，功能一般，可能仅满足要求．没有数据探索功能。与其他软件接口差，只能用DB2，连接DB2以外的数据库时，如Oracle, SAS, SPSS需要安装DataJoiner作为中间软件。难以发布。结果美观，但同样不好理解。 二、基本内容：一个挖掘项目可有多个发掘库组成；每个发掘库包含多个对象和函数对象： 数据:由函数使用的输入数据的名称和位置。 离散化:将记录分至明显可识别的组中的分发操作。 名称映射:映射至类别字段名的值的规范。 结果:由函数创建的结果的名称和位置。 分类:在一个项目的不同类别之间的关联层次或点阵。 值映射:映射至其它值的规范。 函数： 发掘:单个发掘函数的参数。 预处理:单个预处理函数的参数。 序列:可以在指定序列中启动的几个函数的规范。 统计:单个统计函数的参数。 统计方法和挖掘算法：单变量曲线，双变量统计，线性回归，因子分析，主变量分析，分类，分群，关联，相似序列，序列模式，预测等。 处理的数据类型：结构化数据(如：数据库表，数据库视图，平面文件) 和半结构化或非结构化数据(如：顾客信件，在线服务，传真，电子邮件，网页等) 。 架构：它采取客户/服务器（C/S）架构，并且它的API提供了C++类和方法 Intelligent Miner通过其独有的世界领先技术，例如自动生成典型数据集、发现关联、发现序列规律、概念性分类和可视化呈现，可以自动实现数据选择、数据转换、数据挖掘和结果呈现这一整套数据挖掘操作。若有必要，对结果数据集还可以重复这一过程，直至得到满意结果为止。 三、现状：现在，IBM的Intelligent Miner已形成系列，它帮助用户从企业数据资产中 识别和提炼有价值的信息。它包括分析软件工具——Intelligent Miner for Data和IBM Intelligent Miner forText ，帮助企业选取以前未知的、有效的、可行的业务知识——
数据挖掘与分析心得体会
正如柏拉图所说：需要是发明之母。随着信息时代的步伐不断迈进，大量数据日积月累。我们迫切需要一种工具来满足从数据中发现知识的需求！而数据挖掘便应运而生了。正如书中所说：数据挖掘已经并且将继续在我们从数据时代大步跨入信息时代的历程中做出贡献。 1、数据挖掘 数据挖掘应当更正确的命名为：“从数据中挖掘知识”，不过后者显得过长了些。而“挖掘”一词确是生动形象的！人们把数据挖掘视为“数据中的知识发现（KDD）”的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤！ 由此而产生数据挖掘的定义：从大量数据中挖掘有趣模式和知识的过程！数据源包括数据库、数据仓库、Web、其他信息存储库或动态地流入系统的数据。作为知识发现过程，它通常包括数据清理、数据集成、数据变换、模式发现、模式评估和知识表示六个步骤。 数据挖掘处理数据之多，挖掘模式之有趣，使用技术之大量，应用范围之广泛都将会是前所未有的；而数据挖掘任务之重也一直并存。这些问题将继续激励数据挖掘的进一步研究与改进！ 2、数据分析 数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步： 1、探索性数据分析：当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。 2、模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。 3、推断分析：通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。 数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各
数据分析工具选择
数据存储 我们必须能够存储数据，对个人来讲至少应该掌握一种数据库技术，当然也不一定要熟练操作，但至少要能够理解数据的存储和数据的基本结构和数据类型，比如数据的安全性、唯一性、冗余性，表的关系，粒度，容量等，最好能够理解SQL查询语言的基本结构和读取等等！ · Access2003、Access07等：这是最基本的个人数据库，经常用于个人或部分基本的数据存储； · MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力； · SQL Server 2005或更高版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了； · DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台；· BI级，实际上这个不是数据库，而是建立在前面数据库基础上的，这个主要是数据库的企业应用级了，一般这个时候的数据库都叫数据仓库了，Data Warehouse，建立在DW级上的数据存储基本上都是商业智能平台，或许整合了各种数据分析，报表、分析和展现！ 数据处理 数据挖掘与数据分析 这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具； · Excel软件，首先版本越高越好用这是肯定的；当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作！但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件； · SPSS软件：当前版本是18，名字也改成了PASW Statistics；我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。 · Clementine软件：当前版本13.0，数据挖掘工具，我从6.0开始用，到了13版，已经越来越多的提高了更多有好的建模工具，现在改名叫PASW Modeler 13建模器了。而且与SPSS统计功能有了更多的整合，数据处理也更加灵活和好用。 · SAS软件：SAS相对SPSS其实功能更强大，SAS是平台化的，EM挖掘模块平台整合，相对来讲，SAS比较难学些，但如果掌握了SAS会更有价值，比如离散选择模型，抽样问题，正交实验设计等还是SAS比较好用，另外，SAS的学习材料比较多，也公开，会有收获的！
实验1 数据挖掘工具的使用
实验1 数据挖掘工具SPSS的使用实验目的 了解统计与数据挖掘工具SPSS的运行环境、窗体结构等，掌握SPSS的安装与运行、数据的输入与保存、数据表的编辑与修改。 实验内容 1、SPSS的安装与运行 2、查看SPSS窗体的主菜单有哪些主要功能 3、数据的输入与保存 4、数据表的编辑与修改 实验条件 1.操作系统：Windows XP SP2 2.SPSS13。1 实验要求 1、练习实验内容1。 2、练习实验内容2。 3、试录入以下数据文件，并按要求进行变量定义。
1）变量名同表格名，以“（）”内的内容作为变量标签。对性别（Sex）设值标签“男=0；女=1”。 2）正确设定变量类型。其中学号设为数值型；日期型统一用“mm/dd/yyyy“型号；生活费用货币型。 3）变量值宽统一为10，身高与体重、生活费的小数位2，其余为0。 4）在实验报告单上记录数据库中各个变量的属性，即将variable view下的表格内容记录到实验报告单上。 5）将数据保存为student.sav的数据表文件，以备在后续的实验中使用。 4、搜集数据，建立一个数据文件记录你所在宿舍学生下列情况，学号、姓名、姓别、年龄、籍贯、民族、家庭电话号码、出生年月、学期平均成绩、评定成绩等级（优、良、中、差）、兴趣爱好等，给出合理的变量名、变量类型、标签及值标签、测度水平，并在SPSS中设置变量类型和录入数据，将文件保存为roommember.sav，以备在后续的实验中使用。将操作步骤、变量视图下的变量设置情况、数据视图下的数据记录到实验报告中。 实验思考与练习 1、如何把外部的数据文件（如EXCEL，SQL SERVER数据库表等）导入SPSS中。 2、在定义变量时，数值[Value]变量值标签如何使用，试举例说明。 3、在定义变量时，标签[Label]变量标签有什么作用？ 4、数据和转换菜单中各子菜单有怎样的功能，试通过练习自行总结。 实验步骤及指导 1、SPSS的运行 1）单击Windows 的[开始]按钮（如图1-1所示），在[程序]菜单项[SPSS for Windows]中找到[SPSS 13.0 for Windows]并单击。 图1-1 SPSS启动 2）在弹出窗口中选择所需下一步完成功能对应的单选按钮（如图1-2所示），然后点击确定按钮进行相应的界面，或者单击关闭按钮或标题栏上的关闭按钮直接进行SPSS系统主窗口。 3）在弹出窗口中选择“输入数据”，然后点击“确定”按钮，进入系统数据输入窗口（系统主窗口）
数据清洗、数据分析、数据挖掘
数据清洗 1.基本概念 数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为"脏数据"。我们要按照一定的规则把"脏数据""洗掉"，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。 ?残缺数据 这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。 折叠错误数据
这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不可见字符的问题，只能通过写SQL语句的方式找出来，然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用SQL 的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。 折叠重复数据 对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出来，让客户确认并整理。 数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题， 解决问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，促使他们尽快地修正错误，同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉，对于每个过滤规则认真进行验证，并要用户确认。 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结 论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实 用中，数据分析可帮助人们作出判断，以便采取适当行动。 类型 在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析；其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于已有假设的
数据分析必备｜你不得不知道的11款数据分析工具
数据分析必备｜你不得不知道的11款数据分析工具 毋庸置疑，大数据市场是一座待挖掘的金矿。随着数据使用量的增长，将有更多的人通过数据来寻求专业问题的答案。可视化数据分析工具的出现让人们可以通过将数据可视化来探讨问题、揭示洞见，用数据分享故事。甚至于不懂挖掘算法的人员，也能够为用户进行画像。 BI（BusinessIntelligence）即商业智能，越来越多的智能软件供应商推出可视化数据分析工具，应对企业业务人员的大数据分析需求。然而如果你觉得不是数据分析专业、没有挖掘算法基础就无法使用BI工具？NO，自助式分析工具已经让数据产品链条变得大众化，。为了更好地帮助读者选择分析工具，本文将为介绍数说立方、数据观、魔镜等11款BI-商业智能产品，排名不分先后！ 功能列表
详细介绍 数说立方 数说立方是数说故事新推出的一款面向数据分析师的在线商业智能产品。最重要的特点是配备百亿级社交数据库，同时支持全网公开数据实时抓取，从数据源端解决分析师难点；另外数说立方搭载了分布式搜索、语义分析、数据可视化三大引擎系统的海量计算平台，实现数据处理“探索式 分析”和“秒级响应”的两个核心功能。同时数说立方是数说故事三大主打产品之一，并与其他两大产品数说聚合和数说雷达实现从数据源、数据分析、到数据展示完整的数据解决方案。 优点： 即便是个人免费版，体验和功能仍然非常好； 与自家产品“数说聚合”的无缝接入，支持定向抓取微信、微博等数据； 功能完善，集数据处理、特征工程、建模、文本挖掘为一体的机器学习平台； 可视化视图展现、友好的客户感知页面； 支持SAAS，私有化部署，有权限管理； 缺点： 产品新上市，操作指导页不太完善； 体验过程中有一些小bug；
19款最好用的免费数据挖掘工具大汇总
数据在当今世界意味着金钱。随着向基于app的世界的过渡，数据呈指数增长。然而，大多数数据是非结构化的，因此需要一个过程和方法从数据中提取有用的信息，并将其转换为可理解的和可用的形式。 数据挖掘或“数据库中的知识发现”是通过人工智能、机器学习、统计和数据库系统发现大数据集中的模式的过程。 免费的数据挖掘工具包括从完整的模型开发环境如Knime和Orange，到各种用Java、c++编写的库，最常见的是Python。数据挖掘中通常涉及到四种任务: 分类:将熟悉的结构概括为新数据的任务 聚类:在数据中以某种方式查找组和结构的任务，而不需要在数据中使用已注意的结构。 关联规则学习:查找变量之间的关系 回归:旨在找到一个函数，用最小的错误来模拟数据。 下面列出了用于数据挖掘的免费软件工具 数据挖掘工具 1.Rapid Miner
Rapid Miner，原名YALE又一个学习环境，是一个用于机器学习和数据挖掘实验的环境，用 于研究和实际的数据挖掘任务。毫无疑问，这是世界领先的数据挖掘开源系统。该工具以Java编程语言编写，通过基于模板的框架提供高级分析。 它使得实验可以由大量的可任意嵌套的操作符组成，这些操作符在xmxxxxl文件中是详细的，并且是由快速的Miner的图形用户界面完成的。最好的是用户不需要编写代码。它已经有许 多模板和其他工具，让我们可以轻松地分析数据。 2. IBM SPSS Modeler
IBM SPSS Modeler工具工作台最适合处理文本分析等大型项目，其可视化界面非常有价值。它允许您在不编程的情况下生成各种数据挖掘算法。它也可以用于异常检测、贝叶斯网络、CARMA、Cox回归以及使用多层感知器进行反向传播学习的基本神经网络。 3.Oracle Data Mining
分析报告、统计分析和数据挖掘的区别
分析报告、统计分析和数据挖掘的区别 关于数据挖掘的作用，Berry and Linoff的定义尽管有些言过其实，但清晰的描述了数据挖掘的作用。“分析报告给你后见之明 (hindsight)；统计分析给你先机 (foresight)；数据挖掘给你洞察力(insight)”。 举个例子说。 你看到孙悟空跟二郎神打仗，然后写了个分析报告，说孙悟空在柔韧性上优势明显，二郎神在力气上出类拔萃，所以刚开始不相上下；结果两个人跑到竹林里，在竹子上面打，孙悟空的优势发挥出来，所以孙悟空赢了。这叫分析报告。 孙悟空要跟二郎神打架了，有个赌徒找你预测。你做了个统计，发现两人斗争4567次，其中孙悟空赢3456次。另外，孙悟空斗牛魔王，胜率是89%，二郎神斗牛魔王胜率是71%。你得出趋势是孙悟空赢。因为你假设了这次胜利跟历史的关系，根据经验作了一个假设。这叫统计分析。 你什么都没做，让计算机自己做关联分析，自动找到了出身、教育、经验、单身四个因素。得出结论是孙悟空赢。计算机通过分析发现贫苦出身的孩子一般比皇亲国戚功夫练得刻苦；打架经验丰富的人因为擅长利用环境而机会更多；在都遇得到明师的情况下，贫苦出身的孩子功夫可能会高些；单身的人功夫总比同样环境非单身的高。孙悟空遇到的名师不亚于二郎神，而打架经验绝对丰富，并且单身，所以这次打头，孙悟空赢。这叫数据挖掘。 数据挖掘跟LOAP的区别在于它没有假设，让计算机找出这种背后的关系，而这种关系可能是你所想得到的，也可能是所想不到的。比如数据挖掘找出的结果发现在2亿条打斗记录中，姓孙的跟姓杨的打，总是姓孙的胜利，孙悟空姓孙，所以，悟空胜利。 用在现实中，我们举个例子来说，做OLAP分析，我们找找哪些人总是不及时向电信运营商缴钱，一般会分析收入低的人往往会缴费不及时。通过分析，发现不及时缴钱的穷人占71%。而数据挖掘则不同，它自己去分析原因。原因可能是，家住在五环以外的人，不及时缴钱。这些结论对推进工作有很深的价值，比如在五环外作市场调研，发现需要建立更多的合作渠道以方便缴费。这是数据挖掘的价值。
数据分析软件和工具
以下是我在近三年做各类计量和统计分析过程中感受最深的东西，或能对大家有所帮助。当然，它不是ABC的教程，也不是细致的数据分析方法介绍，它只是“总结”和“体会”。由于我所学所做均甚杂，我也不是学统计、数学出身的，故本文没有主线，只有碎片，且文中内容仅为个人观点，许多论断没有数学证明，望统计、计量大牛轻拍。 于我个人而言，所用的数据分析软件包括EXCEL、SPSS、STATA、EVIEWS。在分析前期可以使用EXCEL进行数据清洗、数据结构调整、复杂的新变量计算（包括逻辑计算）；在后期呈现美观的图表时，它的制图制表功能更是无可取代的利器；但需要说明的是，EXCEL毕竟只是办公软件，它的作用大多局限在对数据本身进行的操作，而非复杂的统计和计量分析，而且，当样本量达到“万”以上级别时，EXCEL的运行速度有时会让人抓狂。 SPSS是擅长于处理截面数据的傻瓜统计软件。首先，它是专业的统计软件，对“万”甚至“十万”样本量级别的数据集都能应付自如；其次，它是统计软件而非专业的计量软件，因此它的强项在于数据清洗、描述统计、假设检验（T、F、卡方、方差齐性、正态性、信效度等检验）、多元统计分析（因子、聚类、判别、偏相关等）和一些常用的计量分析（初、中级计量教科书里提到的计量分析基本都能实现），对于复杂的、前沿的计量分析无能为力；第三，SPSS主要用于分析截面数据，在时序和面板数据处理方面功能了了；最后，SPSS兼容菜单化和编程化操作，是名副其实的傻瓜软件。 STATA与EVIEWS都是我偏好的计量软件。前者完全编程化操作，后者兼容菜单化和编程化操作；虽然两款软件都能做简单的描述统计，但是较之 SPSS差了许多；STATA与EVIEWS都是计量软件，高级的计量分析能够在这两个软件里得到实现；STATA的扩展性较好，我们可以上网找自己需要的命令文件（.ado文件），不断扩展其应用，但EVIEWS 就只能等着软件升级了；另外，对于时序数据的处理，EVIEWS较强。 综上，各款软件有自己的强项和弱项，用什么软件取决于数据本身的属性及分析方法。EXCEL适用于处理小样本数据，SPSS、 STATA、EVIEWS可以处理较大的样本；EXCEL、SPSS适合做数据清洗、新变量计算等分析前准备性工作，而STATA、EVIEWS在这方面较差；制图制表用EXCEL；对截面数据进行统计分析用SPSS，简单的计量分析SPSS、STATA、EVIEWS可以实现，高级的计量分析用 STATA、EVIEWS，时序分析用EVIEWS。 关于因果性 做统计或计量，我认为最难也最头疼的就是进行因果性判断。假如你有A、B两个变量的数据，你怎么知道哪个变量是因（自变量），哪个变量是果（因变量）？ 早期，人们通过观察原因和结果之间的表面联系进行因果推论，比如恒常会合、时间顺序。但是，人们渐渐认识到多次的共同出现和共同缺失可能是因果关系，也可能是由共同的原因或其他因素造成的。从归纳法的角度来说，如果在有A的情形下出现B，没有A的情形下就没有B，那么A很可能是B的原因，但也可能是其他未能预料到的因素在起作用，所以，在进行因果判断时应对大量的事例进行比较，以便提高判断的可靠性。 有两种解决因果问题的方案：统计的解决方案和科学的解决方案。统计的解决方案主要指运用统计和计量回归的方法对微观数据进行分析，比较受干预样本与未接受干预样本在效果指标（因变量）上的差异。需要强调的是，利用截面数据进行统计分析，不论是进行均值比较、频数分析，还是方差分析、相关分析，其结果只是干预与影响效果之间因果关系成立的必要条件而非充分条件。类似的，利用截面数据进行计量回归，所能得到的最多也只是变量间的数量关系；计量模型中哪个变量为因变量哪个变量为自变量，完全出于分析者根据其他考虑进行的预设，与计量分析结果没有关系。总之，回归并不意味着因果关系的成立，因果关系的判定或推断必须依据经过实践检验的相关理论。虽然利用截面数据进行因果判断显得勉强，但如果研究者掌握了时间序列数据，因果判断仍有可为，其
5种数据挖掘工具分析比较
数据挖掘工具调查与研究 姓名：马蕾 学号：18082703
5种数据挖掘工具分别为： 1、 Intelligent Miner 2、 SAS Enterpreise Miner 3、SPSS Clementine 4、马克威分析系统 5、GDM Intelligent Miner 一、综述：IBM的Exterprise Miner简单易用，是理解数据挖掘的好的开始。能处理大数据量的挖掘，功能一般，可能仅满足要求．没有数据探索功能。与其他软件接口差，只能用DB2，连接DB2以外的数据库时，如Oracle, SAS, SPSS需要安装DataJoiner作为中间软件。难以发布。结果美观，但同样不好理解。 二、基本内容：一个挖掘项目可有多个发掘库组成；每个发掘库包含多个对象和函数对象： 数据:由函数使用的输入数据的名称和位置。 离散化:将记录分至明显可识别的组中的分发操作。 名称映射:映射至类别字段名的值的规范。 结果:由函数创建的结果的名称和位置。 分类:在一个项目的不同类别之间的关联层次或点阵。 值映射:映射至其它值的规范。 函数： 发掘:单个发掘函数的参数。 预处理:单个预处理函数的参数。 序列:可以在指定序列中启动的几个函数的规范。 统计:单个统计函数的参数。 统计方法和挖掘算法：单变量曲线，双变量统计，线性回归，因子分析，主变量分析，分类，分群，关联，相似序列，序列模式，预测等。 处理的数据类型：结构化数据(如：数据库表，数据库视图，平面文件) 和半结构化或非结构化数据(如：顾客信件，在线服务，传真，电子邮件，网页等) 。 架构：它采取客户/服务器（C/S）架构，并且它的API提供了C++类和方法 Intelligent Miner通过其独有的世界领先技术，例如自动生成典型数据集、发现关联、发现序列规律、概念性分类和可视化呈现，可以自动实现数据选择、数据转换、数据挖掘和结果呈现这一整套数据挖掘操作。若有必要，对结果数据集还可以重复这一过程，直至得到满意结果为止。 三、现状：现在，IBM的Intelligent Miner已形成系列，它帮助用户从企业数据资产中 识别和提炼有价值的信息。它包括分析软件工具——Intelligent Miner for Data和IBM Intelligent Miner forText ，帮助企业选取以前未知的、有效的、可行的业务知识——
数据分析与挖掘在金融方面的应用
数据挖掘在操作风险的量化和管理中的应用 根据《新巴塞尔资本协议》（）给出的定义，“操作风险是指由于不正确的内部操作流程、人员、系统或外部事件所导致的直接或间接损失的风险。”这一定义侧重于从操作风险的成因包括法律方面的风险，但将策略风险和声誉风险排除在外。随着世界经济和银行业的发展，多种可供分析的操作风险管理方法正在逐渐的形成，商业银行多年来一直试图对它进行一定程度的控制，定性并尝试测量这一风险，作为非金融机构的财务公司也不例外。在量化模型技术的推动下，操作风险量化测评和管理的技术获得了相当大的发展。操作风险管理能通过减少风险、改善服务质量和降低经营成本，从而形成一种竞争优势并在股东价值中得到相应体现。本文拟从数据分析与挖掘角度入手，对财务公司操作风险的量化测评和管理进行初步探讨和简要分析。 一、解决问题的整体思路 财务公司要实现科学且合理的对操作风险进行量化测评与管理，一般要进行以下几个步骤的工作：数据挖掘→数据分析→模型构建→模型检验。其具体思路如下图所示： 图：操作风险量化测评和管理的整体思路
分类梳理，明确其业务流程，找出关键节点，并在关键节点处科学设置风险监测指标，通过对风险监测指标的观测来纵向监控各业务模块的操作风险。需要注意的是，依据对操作风险模型构建的要求，财务公司在设置风险检测指标时，将这些指标划分为操作风险事件发生频率指标（以下简称为“频率指标”）和操作风险事件损失指标（以下简称为“损失指标”）。在完成风险指标设置的工作后，财务公司对上述指标进行横向分类，即按照人员、系统、流程和外部事件所引发的四类风险，将上述风险监测指标分别归类于七种表现形式：内部欺诈，外部欺诈，聘用员工做法和工作场所安全性，客户、产品及业务做法，实物资产损坏，业务中断和系统失灵，交割及流程管理。财务公司通
大数据处理分析的六大最好工具
大数据处理分析的六大最好工具 来自传感器、购买交易记录、网络日志等的大量数据，通常是万亿或EB的大小，如此庞大的数据，寻找一个合适处理工具非常必要，今天我们为大家分享在大数据处理分析过程中六大最好用的工具。 【编者按】我们的数据来自各个方面，在面对庞大而复杂的大数据，选择一个合适的处理工具显得很有必要，工欲善其事，必须利其器，一个好的工具不仅可以使我们的工作事半功倍，也可以让我们在竞争日益激烈的云计算时代，挖掘大数据价值，及时调整战略方向。本文转载自中国大数据网。 CSDN推荐：欢迎免费订阅《Hadoop与大数据周刊》获取更多Hadoop技术文献、大数据技术分析、企业实战经验，生态圈发展趋势。 以下为原文： 大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器、气候信息、公开的信息、如杂志、报纸、文章。大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。大数据分析是在研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。 Hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
50个大数据可视化分析工具
50个大数据可视化分析工具 在大数据时代，数据可视化工具必须具有以下特性： (1)实时性：数据可视化工具必须适应大数据时代数据量的爆炸式增长需求，必须快速的收集分析数据、并对数据信息进行实时更新; (2)简单操作：数据可视化工具满足快速开发、易于操作的特性，能满足互联网时代信息多变的特点; (3)更丰富的展现：数据可视化工具需具有更丰富的展现方式，能充分满足数据展现的多维度要求; (4)多种数据集成支持方式：数据的来源不仅仅局限于数据库，数据可视化工具将支持团队协作数据、数据仓库、文本等多种方式，并能够通过互联网进行展现。 Excel 是快速分析数据的理想工具，也能创建供内部使用的数据图，但在颜色、线条和样式上可选择的范围有限。 Google Charts 提供了大量现成的图表类型，从简单的线图表到复杂的分层树地图等，还内置了动画和用户交互控制。 D3 能够提供大量线性图和条形图之外的复杂图表样式，例如V oronoi图、树形图、圆形集群和单词云等。 R语言 是主要用于统计分析、绘图的语言和操作环境。 Visual.ly 如果你需要制作信息图而不仅仅是数据可视化，Visual.ly是最流行的一个选择。
Processing 是数据可视化的招牌工具，只需要编写一些简单的代码，然后编译成Java，可在几乎所有平台上运行。 Leaflet 用来开发移动友好地交互地图。 OpenLayers 对于一些特定的任务来说，能够提供一些其他地图库都没有的特殊工具。 Polymaps 是一个地图库，主要面向数据可视化用户。可以将符号字体与字体整合，创建出漂亮的矢量化图标。 Gephi 是一个可视化的网络探索平台，用于构建动态的、分层的数据图表。 可以用CartoDB很轻易就把表格数据和地图关联起来。 Weka是数据分析的强大工具，还能生成一些简单的图表。 NodeBox是OS X上创建二维图形和可视化的应用程序。 Kartograph不需要任何地图提供者像Google Maps，用来建立互动式地图。 Modest Maps在一些扩展库的配合下，例如Wax，Modest Maps立刻会变成一个强大的地图工具。 Tangle是个用来探索、Play和查看文档更新的交互式库。既是图表，又是互动图形用户界面的小程序。当你调整一个图表中的输入范围时，其他关联图表的数据也会随之改变。 Rapha憀与其他库最大的不同是输出格式仅限SVG和VML。 jsDraw2DX用来创建任意类型的SVG交互式图形，可生成包括线、举行、多边形、椭圆、弧线等等图形。 Pizza Pie Charts是个响应式饼图图表。 FusionCharts XT是一款跨平台、跨浏览器的JavaScript图表组件，可提供令人愉悦的JavaScript图表体验。 iCharts有交互元素，可以从Google Doc、Excel 表单和其他来源中获取数据。
款常用的数据挖掘工具推荐
12款常用的数据挖掘工具推荐 数据挖掘工具是使用数据挖掘技术从大型数据集中发现并识别模式的计算机软件。数据在当今世界中就意味着金钱，但是因为大多数数据都是非结构化的。因此，拥有数据挖掘工具将成为帮助您获得正确数据的一种方法。 常用的数据挖掘工具 1.R R是一套完整的数据处理、计算和制图软件系统。其功能包括：数据存储和处理系统；数组运算工具（其向量、矩阵运算方面功能尤其强大）；完整连贯的统计分析工具；优秀的统计制图功能；简便而强大的编程语言：可操纵数据的输入和输出，可实现分支、循环，用户可自定义功能。
2.Oracle数据挖掘（ODM） Oracle Data Mining是Oracle的一个数据挖掘软件。 Oracle数据挖掘是在Oracle 数据库内核中实现的，挖掘模型是第一类数据库对象。Oracle数据挖掘流程使用Oracle 数据库的内置功能来最大限度地提高可伸缩性并有效利用系统资源。 3.Tableau
Tableau提供了一系列专注于商业智能的交互式数据可视化产品。Tableau允许通过将数据转化为视觉上吸引人的交互式可视化（称为仪表板）来实现数据的洞察与分析。这个过程只需要几秒或几分钟，并且通过使用易于使用的拖放界面来实现。 5. Scrapy
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 6、Weka Weka作为一个公开的数据挖掘工作平台，集合了大量能承担数据挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及在新的交互式界面上的可视化。 Weka高级用户可以通过Java编程和命令行来调用其分析组件。同时，Weka也为普通用户提供了图形化界面，称为Weka KnowledgeFlow Environment和Weka Explorer。和R相比，Weka在统计分析方面较弱，但在机器学习方面要强得多。 7、RapidMiner
数据挖掘分类算法比较
数据挖掘分类算法比较 分类是数据挖掘、机器学习和模式识别中一个重要的研究领域。通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较，总结出了各种算法的特性，为使用者选择算法或研究者改进算法提供了依据。 一、决策树（Decision Trees） 决策树的优点： 1、决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。 2、对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。 3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。 4、决策树是一个白盒模型。如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。 5、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。 6、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。 7、可以对有许多属性的数据集构造决策树。 8、决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小。 决策树的缺点： 1、对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。 2、决策树处理缺失数据时的困难。 3、过度拟合问题的出现。 4、忽略数据集中属性之间的相关性。 二、人工神经网络 人工神经网络的优点：分类的准确度高,并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系，具备联想记忆的功能等。 人工神经网络的缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。