实验1 数据挖掘工具的使用
实验1 数据挖掘工具SPSS的使用实验目的
了解统计与数据挖掘工具SPSS的运行环境、窗体结构等，掌握SPSS的安装与运行、数据的输入与保存、数据表的编辑与修改。
实验内容
1、SPSS的安装与运行
2、查看SPSS窗体的主菜单有哪些主要功能
3、数据的输入与保存
4、数据表的编辑与修改
实验条件
1.操作系统：Windows XP SP2
2.SPSS13。1
实验要求
1、练习实验内容1。
2、练习实验内容2。
3、试录入以下数据文件，并按要求进行变量定义。
1）变量名同表格名，以“（）”内的内容作为变量标签。对性别（Sex）设值标签“男=0；女=1”。
2）正确设定变量类型。其中学号设为数值型；日期型统一用“mm/dd/yyyy“型号；生活费用货币型。
3）变量值宽统一为10，身高与体重、生活费的小数位2，其余为0。
4）在实验报告单上记录数据库中各个变量的属性，即将variable view下的表格内容记录到实验报告单上。
5）将数据保存为student.sav的数据表文件，以备在后续的实验中使用。
4、搜集数据，建立一个数据文件记录你所在宿舍学生下列情况，学号、姓名、姓别、年龄、籍贯、民族、家庭电话号码、出生年月、学期平均成绩、评定成绩等级（优、良、中、差）、兴趣爱好等，给出合理的变量名、变量类型、标签及值标签、测度水平，并在SPSS中设置变量类型和录入数据，将文件保存为roommember.sav，以备在后续的实验中使用。将操作步骤、变量视图下的变量设置情况、数据视图下的数据记录到实验报告中。
实验思考与练习
1、如何把外部的数据文件（如EXCEL，SQL SERVER数据库表等）导入SPSS中。
2、在定义变量时，数值[Value]变量值标签如何使用，试举例说明。
3、在定义变量时，标签[Label]变量标签有什么作用？
4、数据和转换菜单中各子菜单有怎样的功能，试通过练习自行总结。
实验步骤及指导
1、SPSS的运行
1）单击Windows 的[开始]按钮（如图1-1所示），在[程序]菜单项[SPSS for Windows]中找到[SPSS 13.0 for Windows]并单击。
图1-1 SPSS启动
2）在弹出窗口中选择所需下一步完成功能对应的单选按钮（如图1-2所示），然后点击确定按钮进行相应的界面，或者单击关闭按钮或标题栏上的关闭按钮直接进行SPSS系统主窗口。
3）在弹出窗口中选择“输入数据”，然后点击“确定”按钮，进入系统数据输入窗口（系统主窗口）
4）退出SPSS
选择主窗口文件(File)菜单中的退出(Exit)或单击标题栏上的关闭按钮退出SPSS。
2、SPSS的主窗口
SPSS13.0主菜单包括十个菜单（如图1-3所示）：
1）文件（File）：用于新建SPSS 各种类型文件，打开一个已存在的文件，从文本文件或其它数据源读入数据。
2）编辑（Edit）：用于撤消操作、剪切、复制、粘贴、查找、改变SPSS 默认设置等。
3）视图（View）：运用“视图”菜单显示或隐藏状态行、工具栏、网络线、值标签和改变字体。
4）数据（Data）：运用“”菜单对SPSS 数据文件进行全局变化，例如定义变量，合并文件，转置变量和记录，或产生分析的观测值子集等。
5）转换（Transform）：“转换”菜单在数据文件中对所选择的变量进行变换，并在已有变量值的基础上计算新的变量。
6）分析（Analyze）：“分析”菜单在以前版本中为“统计（Statistics）”，可进行各种统计分析，包括各种统计过程(Procedure)，如回归分析、相关分析、因子分析等等。
7）图表（Graphs）：“图表”菜单产生条形图、饼图、直方图、散点图和其它全颜色、高分辨率的图形，以及动态的交互式图形。有些统计过程也产生图形，所有的图形都可以编辑。
8）工具（Utilities）：“工具”菜单可以显示数据文件和变量的信息，定义子集，运行脚本程序，自定义SPSS 菜单等。
9）窗口（Window）：“窗口”菜单用于选择不同窗口和最小化所有窗口。
10）帮助（Help）：“帮助”菜单包含SPSS 帮助主题、SPSS 教程、SPSS 公司主页、统计教练等菜单项。
图1-2 SPSS 启动弹出窗口
图1-3 SPSS 主窗口
3、SPSS的数据管理（数据输入，编辑，保存）
启动SPSS 后，出现的界面是数据编辑器窗口（如图1-3所示），它的底部有两个标签：[Data View（数据视图）]和[Variable View（变量视图）]，它们提供了一种类似于电子表格的方法，用以产生和编辑SPSS 数据文件。[Data View]用于查看、录入和修改数据，[Variable View]定义和修改变量的定义。如果使用过电子表格，如Microsoft Excel 等，那么数据编辑窗口的许多功能应该已经熟悉。但是，还有一些明显区别：
1）列是变量，即每一列代表一个变量(Variable)或一个被观测量的特征。例如问卷上的每一项就是一个变量。
2）行是观测，即每一行代表一个个体、一个观测、一个样品，在SPSS 中称为事件(Case)。例如，问卷上的每一个人就是一个观测。
3）单元包含值，即每个单包括一个观测中的单个变量值。单元(Cell)是观测和变量的交叉。与电子表格不同，单元只包括数据值而不能含公式。
4）数据文件是一张长方形的二维表。数据文件的范围是由观测和变量的数目决定的。可以在任一单元中输入数据。如果在定义好的数据文件边界以外键入数据，SPSS 将数据长方形延长到包括那个单元和文件边界之间的任何行和列。如果要分析的数据还没有录入，可用数据编辑器来键入数据并保存为一个SPSS 数据文件（其默认扩展名为.sav）。
SPSS数据管理第一步，定义变量：
输入数据前首先要定义变量。定义变量即要定义变量名、变量类型、变量长度（小数位数）、变量标签（或值标签）和变量的格式，步骤如下：单击数据编辑窗口中的[Variable View] 标签或双击列的题头(Var)，显示（如图1-4所示）变量定义视图，在出现的变量视图中定义变量。每一行存放一个变量的定义信息，包括[名称（Name）]、[类型（Type）]、[宽度（Width）]、[小数位数（Decimal）]、[标签（Label）]、[数值（Value）]、[缺失（Missing）]、[列（Columns）]、[对齐（Align）]、[测量（Measure）]等②。
图1-4 定义变量
1）名称（Name）：定义变量名
变量名必须以字母或字符@开头，其他字符可以是任何字母、数字或_、@、#、$等符
号。变量名总长度不能超过8 个字符（即4 个汉字）。
2）类型（Type）：定义变量类型
SPSS 的主要变量类型有：Numeric（标准数值型）、Comma（带逗点的数值型）、Dot（逗点作小数点的数值型）、Scientific Notation（科学记数法）、Date（日期型）、Dollar（带美元符号的数值型）、Custom Currency（自定义型）、String（字符型）。单击[Type]相应单元中的按钮，显示如图1-5所示的对话框，选择合适的变量类型并单击[OK]。
图1-5 定义变量类型对话框
3）宽度[Width]：变量长度
设置数值值变量的长度，当变量为日期型时无效。
4）小数位数[Decimal]：变量小数点位数
设置数值值变量的小数点位数，当变量为日期型时无效。
5）标签[Label]：变量标签
变量标签是对变量名的进一步描述，变量只能由不超过8 个字符组成，8 个字符经常不
足以表示变量的含义。而变量标签可长达120 个字符，变量标签对大小写敏感，显示时与输入值完全一样，需要时可用变量标签对变量名的含义加以解释。
6）数值[Value]：变量值标签
值标签是对变量的每一个可能取值的进一步描述，当变量是定类或定序变量时，这是非
常有用的。单击数值[Value]相应单元，在如图1-6所示的对话框中进行设置。
图1-6 修改变量标签和值标签
7）缺失[Missing]：缺失值的定义方式
SPSS 有两类缺失值：系统缺失值和用户缺失值。在数据长方形中任何空的数字单元都被认为系统缺失值，用点号(·)表示。SPSS 可以指定那些由于特殊原因造成的信息缺失值，然后将它们标为用户缺失值，统计过程识别这种标识，带有缺失值的观测被特别处理。默认
值为没有缺失值[None]。单击缺失[Missing]相应单元中的按钮，可改变缺失值定义方式，如图1-7所示。
图1-7 改变缺失值的定义方式
8）列[Column]：变量的显示宽度
输入变量的显示宽度，默认为8。
9）对齐[Align]：变量显示的对齐方式
选择变量值显示时的对齐方式：[Left（左对齐）]、[Right（右对齐）]、[Center（居中对齐）]。
10）测量[Scale]：变量的测量尺度
正如前面所说的，变量按测量精度可以分为定类变量、定序变量、定距变量和定比变量，定距变量和定比变量经常不加以区别。如果变量为定距变量或定比变量，则在测量[Scale]
相应单元的下拉列表中选择尺度[Scale]；如果变量为定序变量，则选择序数[Ordinal]；如果变量为定类变量，则选择名称[Nominal]。
如果有许多个变量的类型相同，可以先定义一个变量，然后把该变量的定义信息复制给新变量。具体操作为：先定义一个变量，在该变量的行号上单击右钮，弹出如图1-8所示的快捷菜单，选择拷贝[Copy]；然后用鼠标右钮选择多行，弹出如图1-9所示的快捷菜单，选择粘贴[Paste]；再把自动产生的新变量名称（如Var0001、Var0002、Var0003、??）改为所要的变量名称。
图1-8 拷贝
图1-9 粘贴
定义了所有变量后，单击[Data View]即可在数据视图中输入数据。
SPSS数据管理第二步，数据的输入与编辑：
定义了变量后就可以输入数据了，数据窗口如图1-10所示。
图1-10 数据文件编辑窗口
在数据输入和编辑过程中，可用方向键或鼠标移动到要修改的单元，键入新值。如果数据文件较大且知道要修改的数据单元的行号，可通过选择数据[Data]=>观测量定位[Go to Case]打开如所图1-11示的对话框，在对话框中观测量编号[Case Number]的右框输入行号来查找特定观测（行）。如果要查找某变量中的特定值或值标签，选择该变量，再选择编辑[Edit]=>查找[Find]或者按Ctrl+F 打开如图1-12所示的对话框，在查找什么[Search for]右框中输入要查找的数值或标签。
图1-11 直接定位对话框
图1-12 数据查找对话框
在数据输入和编辑过程中，单击记录前面标有记录号的矩形，选中该行记录，然后单击右键，在弹出的快捷菜单选择删除子菜单删除选定记录。
在编辑过程中有时需要对观测（case）记录进行排序。在数据文件中，可根据一个或多个排序变量的值重排观测的顺序。选择数据[Data]=>观测量排序[SortCases]，打开观测量排
序[Sort Cases]对话框，如图1-13所示。
图1-13 观测量排序对话框
SPSS数据管理第二步，数据文件保存：
编辑好数据文件之后，选择文件[File]=>保存[Save]或按Ctrl+S 快捷键即可将文件保存。如果要把数据文件保存为一个新文件或将数据以不同格式保存，可选择文件[File]=>另存为[Save As]，选择文件类型保存文件。主要的保存类型有：SPSS(*.sav)，SPSS 13.0 默认格式；SPSS 7.0 格式；SPSS/PC+(*.sys)，SPSS/PC+格式；Excel(*.xls)等等。
数据挖掘实验报告
《数据挖掘》Weka实验报告 姓名＿学号＿ 指导教师 开课学期2015 至2016 学年 2 学期完成日期2015年6月12日
1.实验目的 基于https://www.wendangku.net/doc/0216693574.html,/ml/datasets/Breast+Cancer+WiscOnsin+%28Ori- ginal%29的数据，使用数据挖掘中的分类算法，运用Weka平台的基本功能对数据集进行分类，对算法结果进行性能比较，画出性能比较图，另外针对不同数量的训练集进行对比实验，并画出性能比较图训练并测试。 2.实验环境 实验采用Weka平台，数据使用来自https://www.wendangku.net/doc/0216693574.html,/ml/Datasets/Br- east+Cancer+WiscOnsin+%28Original%29，主要使用其中的Breast Cancer Wisc- onsin (Original) Data Set数据。Weka是怀卡托智能分析系统的缩写，该系统由新西兰怀卡托大学开发。Weka使用Java写成的，并且限制在GNU通用公共证书的条件下发布。它可以运行于几乎所有操作平台，是一款免费的，非商业化的机器学习以及数据挖掘软件。Weka提供了一个统一界面，可结合预处理以及后处理方法，将许多不同的学习算法应用于任何所给的数据集，并评估由不同的学习方案所得出的结果。 3.实验步骤 3.1数据预处理 本实验是针对威斯康辛州(原始)的乳腺癌数据集进行分类，该表含有Sample code number（样本代码)，Clump Thickness（丛厚度），Uniformity of Cell Size （均匀的细胞大小），Uniformity of Cell Shape （均匀的细胞形状），Marginal Adhesion（边际粘连），Single Epithelial Cell Size（单一的上皮细胞大小），Bare Nuclei（裸核），Bland Chromatin（平淡的染色质），Normal Nucleoli（正常的核仁），Mitoses（有丝分裂），Class（分类），其中第二项到第十项取值均为1-10，分类中2代表良性，4代表恶性。通过实验，希望能找出患乳腺癌客户各指标的分布情况。 该数据的数据属性如下： 1. Sample code number（numeric），样本代码； 2. Clump Thickness（numeric），丛厚度；
数据挖掘实验报告(一)
数据挖掘实验报告（一） 数据预处理 姓名：李圣杰 班级：计算机1304 学号：1311610602
一、实验目的 1.学习均值平滑，中值平滑，边界值平滑的基本原理 2.掌握链表的使用方法 3.掌握文件读取的方法 二、实验设备 PC一台，dev-c++5.11 三、实验内容 数据平滑 假定用于分析的数据包含属性age。数据元组中age的值如下（按递增序）：13, 15, 16, 16, 19, 20, 20, 21, 22, 22, 25, 25, 25, 25, 30, 33, 33, 35, 35, 35, 35, 36, 40, 45, 46, 52, 70。使用你所熟悉的程序设计语言进行编程，实现如下功能（要求程序具有通用性）： (a) 使用按箱平均值平滑法对以上数据进行平滑，箱的深度为3。 (b) 使用按箱中值平滑法对以上数据进行平滑，箱的深度为3。 (c) 使用按箱边界值平滑法对以上数据进行平滑，箱的深度为3。 四、实验原理 使用c语言，对数据文件进行读取，存入带头节点的指针链表中，同时计数，均值求三个数的平均值，中值求中间的一个数的值，边界值将中间的数转换为离边界较近的边界值 五、实验步骤 代码 #include
数据挖掘实验报告资料
大数据理论与技术读书报告 -----K最近邻分类算法 指导老师: 陈莉 学生姓名: 李阳帆 学号: 201531467 专业: 计算机技术 日期 :2016年8月31日
摘要 数据挖掘是机器学习领域内广泛研究的知识领域，是将人工智能技术和数据库技术紧密结合，让计算机帮助人们从庞大的数据中智能地、自动地提取出有价值的知识模式，以满足人们不同应用的需要。K 近邻算法（KNN）是基于统计的分类方法，是大数据理论与分析的分类算法中比较常用的一种方法。该算法具有直观、无需先验统计知识、无师学习等特点，目前已经成为数据挖掘技术的理论和应用研究方法之一。本文主要研究了K 近邻分类算法，首先简要地介绍了数据挖掘中的各种分类算法，详细地阐述了K 近邻算法的基本原理和应用领域，最后在matlab环境里仿真实现，并对实验结果进行分析，提出了改进的方法。 关键词：K 近邻，聚类算法，权重，复杂度，准确度
1.引言 (1) 2.研究目的与意义 (1) 3.算法思想 (2) 4.算法实现 (2) 4.1 参数设置 (2) 4.2数据集 (2) 4.3实验步骤 (3) 4.4实验结果与分析 (3) 5.总结与反思 (4) 附件1 (6)
1.引言 随着数据库技术的飞速发展，人工智能领域的一个分支—— 机器学习的研究自 20 世纪 50 年代开始以来也取得了很大进展。用数据库管理系统来存储数据，用机器学习的方法来分析数据，挖掘大量数据背后的知识，这两者的结合促成了数据库中的知识发现（Knowledge Discovery in Databases，简记 KDD）的产生，也称作数据挖掘（Data Ming，简记 DM）。 数据挖掘是信息技术自然演化的结果。信息技术的发展大致可以描述为如下的过程：初期的是简单的数据收集和数据库的构造；后来发展到对数据的管理，包括：数据存储、检索以及数据库事务处理；再后来发展到对数据的分析和理解， 这时候出现了数据仓库技术和数据挖掘技术。数据挖掘是涉及数据库和人工智能等学科的一门当前相当活跃的研究领域。 数据挖掘是机器学习领域内广泛研究的知识领域，是将人工智能技术和数据库技术紧密结合，让计算机帮助人们从庞大的数据中智能地、自动地抽取出有价值的知识模式，以满足人们不同应用的需要[1]。目前，数据挖掘已经成为一个具有迫切实现需要的很有前途的热点研究课题。 2.研究目的与意义 近邻方法是在一组历史数据记录中寻找一个或者若干个与当前记录最相似的历史纪录的已知特征值来预测当前记录的未知或遗失特征值[14]。近邻方法是数据挖掘分类算法中比较常用的一种方法。K 近邻算法（简称 KNN）是基于统计的分类方法[15]。KNN 分类算法根据待识样本在特征空间中 K 个最近邻样本中的多数样本的类别来进行分类，因此具有直观、无需先验统计知识、无师学习等特点，从而成为非参数分类的一种重要方法。 大多数分类方法是基于向量空间模型的。当前在分类方法中，对任意两个向量： x= ) ,..., , ( 2 1x x x n和) ,..., , (' ' 2 ' 1 'x x x x n 存在 3 种最通用的距离度量：欧氏距离、余弦距 离[16]和内积[17]。有两种常用的分类策略：一种是计算待分类向量到所有训练集中的向量间的距离：如 K 近邻选择K个距离最小的向量然后进行综合，以决定其类别。另一种是用训练集中的向量构成类别向量，仅计算待分类向量到所有类别向量的距离，选择一个距离最小的类别向量决定类别的归属。很明显，距离计算在分类中起关键作用。由于以上 3 种距离度量不涉及向量的特征之间的关系，这使得距离的计算不精确，从而影响分类的效果。
理工大学数据仓库与数据挖掘实验一
昆明理工大学信息工程与自动化学院学生实验报告 （2012 —2013 学年第 1 学期） 课程名称：数据库仓库与数据挖掘开课实验室： 2012 年10月 30日 一、上机目的 1．理解数据库与数据仓库之间的区别与联系； 2．掌握典型的关系型数据库及其数据仓库系统的工作原理以及应用方法； 3．掌握数据仓库建立的基本方法及其相关工具的使用。 二、上机内容 内容：以SQL Server为系统平台，设计、建立数据库，并以此为基础创建数据仓库。 要求：利用实验室和指导教师提供的实验软件，认真完成规定的实验项目，真实地记录实验中遇到的各种问题和解决的方法与过程，并绘出模拟实验案例的数据仓库模型。实验完成后，应根据实验情况写出实验报告。 三、所用仪器、材料（设备名称、型号、规格等或使用软件） 1台PC及SQL 2008软件 四、实验方法、步骤和截图（或：程序代码或操作过程） 采用SQL语句创建数据库，数据库命名为：DW。如图所示：
DW数据库中包含7张维表和一张事实表。7张维表分别为：订单方式维表、销售人员及销售地区维表、发货方式维表、订单日期维表、客户维表、订单状态维表、客户价值维表。建立7张维表语句和建立7张维表的ETL如下： 语句执行成功的结果如图所示：
DW数据库包含的事实表为FACT_SALEORDER。建立1张事实表语句和建立1张事实表的ETL如下： 三、建事实表 CREATE TABLE FACT_SALEORDER( SALEORDERID INT, TIME_CD V ARCHAR(8), STATUS INT, ONLINEORDERFLAG INT, CUSTOMERID INT, SALESPERSONID INT, SHIPMETHOD INT, ORDER_V ALUES INT, SUBTOTAL DECIMAL(10,2), TAXAMT DECIMAL(10,2), FREIGHT DECIMAL(10,2)) ----------------------------------- 四、事实表的ETL /* FACT_SALEORDER的ETL*/ TRUNCATE TABLE FACT_SALEORDER INSERT INTO FACT_SALEORDER SELECT SalesOrderID,CONVERT(CHAR(8),,112) , ,,ISNULL,0),ISNULL,0),,,,, FROM A, V_SUBTOTAL_V ALUES B WHERE >= AND <
数据挖掘实验报告三
实验三 一、实验原理 K-Means算法是一种 cluster analysis 的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。 在数据挖掘中，K-Means算法是一种cluster analysis的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。 算法原理： (1) 随机选取k个中心点； (2) 在第j次迭代中，对于每个样本点，选取最近的中心点，归为该类； (3) 更新中心点为每类的均值； (4) j<-j+1 ,重复(2)(3)迭代更新，直至误差小到某个值或者到达一定的迭代步 数，误差不变. 空间复杂度o(N) 时间复杂度o(I*K*N) 其中N为样本点个数，K为中心点个数，I为迭代次数 二、实验目的： 1、利用R实现数据标准化。 2、利用R实现K-Meams聚类过程。 3、了解K-Means聚类算法在客户价值分析实例中的应用。 三、实验内容 依据航空公司客户价值分析的LRFMC模型提取客户信息的LRFMC指标。对其进行标准差标准化并保存后，采用k-means算法完成客户的聚类，分析每类的客户特征，从而获得每类客户的价值。编写R程序，完成客户的k-means聚类，获得聚类中心与类标号，并统计每个类别的客户数
四、实验步骤 1、依据航空公司客户价值分析的LRFMC模型提取客户信息的LRFMC指标。
2、确定要探索分析的变量 3、利用R实现数据标准化。 4、采用k-means算法完成客户的聚类，分析每类的客户特征，从而获得每类客户的价值。
五、实验结果 客户的k-means聚类，获得聚类中心与类标号，并统计每个类别的客户数 六、思考与分析 使用不同的预处理对数据进行变化，在使用k-means算法进行聚类，对比聚类的结果。 kmenas算法首先选择K个初始质心，其中K是用户指定的参数，即所期望的簇的个数。 这样做的前提是我们已经知道数据集中包含多少个簇. 1.与层次聚类结合 经常会产生较好的聚类结果的一个有趣策略是，首先采用层次凝聚算法决定结果
数据挖掘报告
哈尔滨工业大学 数据挖掘理论与算法实验报告(2016年度秋季学期) 课程编码S1300019C 授课教师邹兆年 学生姓名汪瑞 学号 16S003011 学院计算机学院
一、实验内容 决策树算法是一种有监督学习的分类算法；kmeans是一种无监督的聚类算法。 本次实验实现了以上两种算法。在决策树算法中采用了不同的样本划分方式、不同的分支属性的选择标准。在kmeans算法中，比较了不同初始质心产生的差异。 本实验主要使用python语言实现，使用了sklearn包作为实验工具。 二、实验设计 1.决策树算法 1.1读取数据集 本次实验主要使用的数据集是汽车价值数据。有6个属性，命名和属性值分别如下： buying: vhigh, high, med, low. maint: vhigh, high, med, low. doors: 2, 3, 4, 5more. persons: 2, 4, more. lug_boot: small, med, big. safety: low, med, high. 分类属性是汽车价值，共4类，如下： class values：unacc, acc, good, vgood 该数据集不存在空缺值。
由于sklearn.tree只能使用数值数据，因此需要对数据进行预处理，将所有标签类属性值转换为整形。 1.2数据集划分 数据集预处理完毕后，对该数据进行数据集划分。数据集划分方法有hold-out法、k-fold交叉验证法以及有放回抽样法（boottrap）。 Hold—out法在pthon中的实现是使用如下语句： 其中，cv是sklearn中cross_validation包，train_test_split 方法的参数分别是数据集、数据集大小、测试集所占比、随机生成方法的可
数据挖掘分类实验详细报告概论
《数据挖掘分类实验报告》 信息安全科学与工程学院 1120362066 尹雪蓉数据挖掘分类过程 （1）数据分析介绍 本次实验为典型的分类实验，为了便于说明问题，弄清数据挖掘具体流程，我们小组选择了最经典的决策树算法进行具体挖掘实验。 （2）数据准备与预处理 在进行数据挖掘之前，我们首先要对需要挖掘的样本数据进行预处理，预处理包括以下步骤： 1、数据准备，格式统一。将样本转化为等维的数据特征（特征提取），让所有的样 本具有相同数量的特征，同时兼顾特征的全面性和独立性 2、选择与类别相关的特征（特征选择） 3、建立数据训练集和测试集 4、对数据集进行数据清理 在本次实验中，我们选择了ILPD (Indian Liver Patient Dataset) 这个数据集，该数据集已经具有等维的数据特征，主要包括Age、Gender、TB、DB、Alkphos、Sgpt、Sgot、TP、ALB、A/G、classical，一共11个维度的数据特征，其中与分类类别相关的特征为classical，它的类别有1,2两个值。 详见下表： 本实验的主要思路是将该数据集分成训练集和测试集，对训练集进行训练生成模型，然后再根据模型对测试集进行预测。 数据集处理实验详细过程：
●CSV数据源处理 由于下载的原始数据集文件Indian Liver Patient Dataset (ILPD).csv（见下图）中间并不包含属性项，这不利于之后分类的实验操作，所以要对该文件进行处理，使用Notepad文件，手动将属性行添加到文件首行即可。 ●平台数据集格式转换 在后面数据挖掘的实验过程中，我们需要借助开源数据挖掘平台工具软件weka，该平台使用的数据集格式为arff，因此为了便于实验，在这里我们要对csv文件进行格式转换，转换工具为weka自带工具。转换过程为： 1、打开weka平台，点击”Simple CLI“，进入weka命令行界面，如下图所示： 2、输入命令将csv文件导成arff文件，如下图所示: 3、得到arff文件如下图所示： 内容如下：
数据挖掘实验报告-关联规则挖掘
数据挖掘实验报告（二）关联规则挖掘 姓名：李圣杰 班级：计算机1304 学号：1311610602
一、实验目的 1. 1.掌握关联规则挖掘的Apriori算法； 2.将Apriori算法用具体的编程语言实现。 二、实验设备 PC一台，dev-c++5.11 三、实验内容 根据下列的Apriori算法进行编程：
四、实验步骤 1.编制程序。 2.调试程序。可采用下面的数据库D作为原始数据调试程序，得到的候选1项集、2项集、3项集分别为C1、C2、C3，得到的频繁1项集、2项集、3项集分别为L1、L2、L3。
代码 #include 实验三设计并构造AdventureWorks数据仓库实例 【实验要求】 在SQL Server 平台上，利用AdventureWorks数据库作为商业智能解决方案的数据源，设计并构造数据仓库，建立OLAP和数据挖掘模型，并以输出报表的形式满足决策支持的查询需求。 【实验内容】 步骤1：需求分析：以决策者的视角分析和设计数据仓库的需求； 步骤2：根据所设计的需求，确定本数据仓库的主题和主题与边界； 步骤3：设计并构造逻辑模型； 步骤4：进行数据转换和抽取，建立数据仓库：创建数据源，，建立OLAP和挖掘模型，使用多维数据集进行分析，建立数据挖掘结构和数据挖掘模型，创建报表。 【实验平台】 Win7操作系统，SQL Server 2005 【实验过程】 一、创建Analysis Services 项目 1.打开Business Intelligence Development Studio。 2.在“文件”菜单上，指向“新建”，然后选择“项目”。 3.确保已选中“模板”窗格中的“Analysis Services 项目”。 4.在“名称”框中，将新项目命名为AdventureWorks。 5. 单击“确定”。 二、创建数据库和数据源 1.运行AdventureWorks sql server 2005示例数据库.msi，然后用SQL Server Management Studio 附加数据库AdventureWorks_Data.mdf 。 (1)运行AdventureWorks sql server 2005示例数据库.msi (2)用SQL Server Management Studio附加数据库AdventureWorks_Data.mdf 一、实验目的 使用数据挖掘中的分类算法，对数据集进行分类训练并测试。应用不同的分类算法，比较他们之间的不同。与此同时了解Weka平台的基本功能与使用方法。 二、实验环境 实验采用Weka 平台，数据使用Weka安装目录下data文件夹下的默认数据集iris.arff。 Weka是怀卡托智能分析系统的缩写，该系统由新西兰怀卡托大学开发。Weka使用Java 写成的，并且限制在GNU通用公共证书的条件下发布。它可以运行于几乎所有操作平台，是一款免费的，非商业化的机器学习以及数据挖掘软件。Weka提供了一个统一界面，可结合预处理以及后处理方法，将许多不同的学习算法应用于任何所给的数据集，并评估由不同的学习方案所得出的结果。 三、数据预处理 Weka平台支持ARFF格式和CSV格式的数据。由于本次使用平台自带的ARFF格式数据，所以不存在格式转换的过程。实验所用的ARFF格式数据集如图1所示 图1 ARFF格式数据集(iris.arff) 对于iris数据集，它包含了150个实例（每个分类包含50个实例），共有sepal length、sepal width、petal length、petal width和class五种属性。期中前四种属性为数值类型，class属性为分类属性，表示实例所对应的的类别。该数据集中的全部实例共可分为三类：Iris Setosa、Iris Versicolour和Iris Virginica。 实验数据集中所有的数据都是实验所需的，因此不存在属性筛选的问题。若所采用的数据集中存在大量的与实验无关的属性，则需要使用weka平台的Filter(过滤器)实现属性的筛选。 实验所需的训练集和测试集均为iris.arff。 四、实验过程及结果 应用iris数据集，分别采用LibSVM、C4.5决策树分类器和朴素贝叶斯分类器进行测试和评价，分别在训练数据上训练出分类模型，找出各个模型最优的参数值，并对三个模型进行全面评价比较，得到一个最好的分类模型以及该模型所有设置的最优参数。最后使用这些参数以及训练集和校验集数据一起构造出一个最优分类器，并利用该分类器对测试数据进行预测。 1、LibSVM分类 Weka 平台内部没有集成libSVM分类器，要使用该分类器，需要下载libsvm.jar并导入到Weka中。 用“Explorer”打开数据集“iris.arff”，并在Explorer中将功能面板切换到“Classify”。点“Choose”按钮选择“functions(weka.classifiers.functions.LibSVM)”，选择LibSVM分类算法。 在Test Options 面板中选择Cross-Validatioin folds=10，即十折交叉验证。然后点击“start”按钮： 实验一 ID3算法实现 一、实验目的 通过编程实现决策树算法，信息增益的计算、数据子集划分、决策树的构建过程。加深对相关算法的理解过程。 实验类型：验证 计划课间：4学时 二、实验内容 1、分析决策树算法的实现流程； 2、分析信息增益的计算、数据子集划分、决策树的构建过程； 3、根据算法描述编程实现算法，调试运行； 4、对所给数据集进行验算，得到分析结果。 三、实验方法 算法描述： 以代表训练样本的单个结点开始建树； 若样本都在同一个类，则该结点成为树叶，并用该类标记； 否则，算法使用信息增益作为启发信息，选择能够最好地将样本分类的属性； 对测试属性的每个已知值，创建一个分支，并据此划分样本； 算法使用同样的过程，递归形成每个划分上的样本决策树 递归划分步骤，当下列条件之一成立时停止： 给定结点的所有样本属于同一类； 没有剩余属性可以进一步划分样本，在此情况下，采用多数表决进行 四、实验步骤 1、算法实现过程中需要使用的数据结构描述： Struct {int Attrib_Col; // 当前节点对应属性 int Value; // 对应边值 Tree_Node* Left_Node; // 子树 Tree_Node* Right_Node // 同层其他节点 Boolean IsLeaf; // 是否叶子节点 int ClassNo; // 对应分类标号 }Tree_Node; 2、整体算法流程 主程序： InputData(); T=Build_ID3(Data,Record_No, Num_Attrib); OutputRule(T); 释放内存; 3、相关子函数： 3.1、 InputData() { 输入属性集大小Num_Attrib; 输入样本数Num_Record; 分配内存Data[Num_Record][Num_Attrib]; 输入样本数据Data[Num_Record][Num_Attrib]； 获取类别数C(从最后一列中得到); } 3.2、Build_ID3(Data,Record_No, Num_Attrib) { Int Class_Distribute[C]; If (Record_No==0) { return Null } N=new tree_node(); 计算Data中各类的分布情况存入Class_Distribute Temp_Num_Attrib=0; For (i=0;i 数据分析与挖掘实验报告 《数据挖掘》实验报告 目录 1.关联规则的基本概念和方法 (1) 1.1数据挖掘 (1) 1.1.1数据挖掘的概念 (1) 1.1.2数据挖掘的方法与技术 (2) 1.2关联规则 (5) 1.2.1关联规则的概念 (5) 1.2.2关联规则的实现——Apriori算法 (7) 2.用Matlab实现关联规则 (12) 2.1Matlab概述 (12) 2.2基于Matlab的Apriori算法 (13) 3.用java实现关联规则 (19) 3.1java界面描述 (19) 3.2java关键代码描述 (23) 4、实验总结 (29) 4.1实验的不足和改进 (29) 4.2实验心得 (30) 1.关联规则的基本概念和方法 1.1数据挖掘 1.1.1数据挖掘的概念 计算机技术和通信技术的迅猛发展将人类社会带入到了信息时代。在最近十几年里，数据库中存储的数据急剧增大。数据挖掘就是信息技术自然进化的结果。数据挖掘可以从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先不知道的但又是潜在有用的信息和知识的过程。 许多人将数据挖掘视为另一个流行词汇数据中的知识发现（KDD）的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤。知识发现过程如下： ·数据清理（消除噪声和删除不一致的数据）·数据集成（多种数据源可以组合在一起）·数据转换（从数据库中提取和分析任务相关的数据） ·数据变换（从汇总或聚集操作，把数据变换和统一成适合挖掘的形式） ·数据挖掘（基本步骤，使用智能方法提取数 据模式） ·模式评估（根据某种兴趣度度量，识别代表知识的真正有趣的模式） ·知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）。 1.1.2数据挖掘的方法与技术 数据挖掘吸纳了诸如数据库和数据仓库技术、统计学、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像和信号处理以及空间数据分析技术的集成等许多应用领域的大量技术。数据挖掘主要包括以下方法。神经网络方法：神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类：以感知机、bp反向传播模型、函数型网络为代表的，用于分类、预测和模式识别的前馈式神经网络模型；以hopfield 的离散模型和连续模型为代表的，分别用于联想记忆和优化计算的反馈式神经网络模型；以art 模型、koholon模型为代表的，用于聚类的自组 通信与信息工程学院 课程设计说明书 课程名称: 数据仓库与数据挖掘课程设计题目: 超市商品销售分析及数据挖掘专业/班级: 电子商务（理） 组长: 学号: 组员/学号: 开始时间: 2011 年12 月29 日完成时间: 2012 年01 月 3 日 目录 1．绪论 (1) 1.1项目背景 (1) 1.2提出问题 (1) 2．数据仓库与数据集市的概念介绍 (1) 2.1数据仓库介绍 (1) 2.2数据集市介绍 (2) 3．数据仓库 (3) 3.1数据仓库的设计 (3) 3.1.1数据仓库的概念模型设计 (4) 3.1.2数据仓库的逻辑模型设计 (5) 3.2 数据仓库的建立 (5) 3.2.1数据仓库数据集成 (5) 3.2.2建立维表 (8) 4.OLAP操作 (10) 5.数据预处理 (12) 5.1描述性数据汇总 (12) 5.2数据清理与变换 (13) 6.数据挖掘操作 (13) 6.1关联规则挖掘 (13) 6.2 分类和预测 (17) 6.3决策树的建立 (18) 6.4聚类分析 (22) 7.总结 (25) 8.任务分配 (26) 数据挖掘实验报告 1.绪论 1.1项目背景 在商业领域中使用计算机科学与技术是当今商业的发展方向，而数据挖掘是商业领域与计算机领域的乔梁。在超市的经营中,应用数据挖掘技术分析顾客的购买习惯和不同商品之间的关联，并借由陈列的手法,和合适的促销手段将商品有魅力的展现在顾客的眼前, 可以起到方便购买、节约空间、美化购物环境、激发顾客的购买欲等各种重要作用。 1.2提出问题 那么超市应该对哪些销售信息进行挖掘？怎样挖掘？具体说，超市如何运用OLAP操作和关联规则了解顾客购买习惯和商品之间的关联，正确的摆放商品位置以及如何运用促销手段对商品进行销售呢？如何判断一个顾客的销售水平并进行推荐呢？本次实验为解决这一问题提出了解决方案。 2.数据仓库与数据集市的概念介绍 2.1数据仓库介绍 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”。........ 2.2数据集市介绍 数据集市，也叫数据市场，是一个从操作的数据和其他的为某个特殊的专业人员团体服务的数据源中收集数据的仓库。....... 3.数据仓库 3.1数据仓库的设计 3.1.1数据库的概念模型 3.1.2数据仓库的模型 数据仓库的模型主要包括数据仓库的星型模型图，我们创建了四个 实验二：决策树 要求：实现决策树分类算法,在两种不同的数据集上(iris.txt 和wine.txt)比较算法的性能。有趣的故事介绍一下决策树。[白话决策树模 型](https://www.wendangku.net/doc/0216693574.html,/shujuwajue/2441.html) 首先第一个数据集iris.txt。 iris数据集记录的是鸢尾植物。Scikit-learn自带了iris数据集。 其中iris.data记录的就是它的四个属性：萼片/花瓣的长和宽。一个150*4的矩阵。 Iris.target就是每一行对应的鸢尾植物的种类，一共有三种。 测试结果： 可以看到，本算法的性能大约是，准确率为0.673333333333。 附录-Python代码： import sys from math import log import operator from numpy import mean def get_labels(train_file): ''' 返回所有数据集labels(列表) ''' labels = [] for index,line in enumerate(open(train_file,'rU').readlines()): label = line.strip().split(',')[-1] labels.append(label) return labels def format_data(dataset_file): ''' 返回dataset(列表集合)和features(列表) ''' dataset = [] for index,line in enumerate(open(dataset_file,'rU').readlines()): line = line.strip() fea_and_label = line.split(',') dataset.append([float(fea_and_label[i]) for i in range(len(fea_and_label)-1)]+[fea_and_label[len(fea_and_label)-1]]) #features = [dataset[0][i] for i in range(len(dataset[0])-1)] #sepal length（花萼长度）、sepal width（花萼宽度）、petal length（花瓣长度）、petal width（花瓣宽度） features = ['sepal_length','sepal_width','petal_length','petal_width'] return dataset,features def split_dataset(dataset,feature_index,labels): ''' 按指定feature划分数据集，返回四个列表: @dataset_less:指定特征项的属性值＜=该特征项平均值的子数据集 @dataset_greater:指定特征项的属性值＞该特征项平均值的子数据集 @label_less:按指定特征项的属性值＜=该特征项平均值切割后子标签集 @label_greater:按指定特征项的属性值＞该特征项平均值切割后子标签集 ''' dataset_less = [] dataset_greater = [] label_less = [] label_greater = [] datasets = [] for data in dataset: datasets.append(data[0:4]) mean_value = mean(datasets,axis = 0)[feature_index] #数据集在该特征项的所有取值的平均值 for data in dataset: if data[feature_index] > mean_value: dataset_greater.append(data) label_greater.append(data[-1]) else: dataset_less.append(data) label_less.append(data[-1]) return dataset_less,dataset_greater,label_less,label_greater def cal_entropy(dataset): ''' 计算数据集的熵大小 ''' 数据挖掘实验报告-实验1-W e k a基础操作 学生实验报告 学院：信息管理学院 课程名称：数据挖掘 教学班级： B01 姓名： 学号： 实验报告 课程名称数据挖掘教学班级B01 指导老师 学号姓名行政班级 实验项目实验一： Weka的基本操作 组员名单独立完成 实验类型■操作性实验□验证性实验□综合性实验实验地点H535 实验日期2016.09.28 1. 实验目的和要求： （1）Explorer界面的各项功能； 注意不能与课件上的截图相同，可采用打开不同的数据文件以示区别。 （2）Weka的两种数据表格编辑文件方式下的功能介绍； ①Explorer-Preprocess-edit，弹出Viewer对话框； ②Weka GUI选择器窗口-Tools | ArffViewer，打开ARFF-Viewer窗口。（3）ARFF文件组成。 2．实验过程（记录实验步骤、分析实验结果） 2.1 Explorer界面的各项功能 2.1.1 初始界面示意 其中：explorer选项是数据挖掘梳理数据最常用界面，也是使用weka最简单的方法。 Experimenter：实验者选项，提供不同数值的比较，发现其中规律。 KnowledgeFlow：知识流，其中包含处理大型数据的方法，初学者应用较少。 Simple CLI ：命令行窗口，有点像cmd 格式，非图形界面。 2.1.2 进入Explorer 界面功能介绍 （1）任务面板 Preprocess（数据预处理）：选择和修改要处理的数据。 Classify（分类）：训练和测试分类或回归模型。 Cluster（聚类）：从数据中聚类。聚类分析时用的较多。 Associate（关联分析）：从数据中学习关联规则。 Select Attributes（选择属性）：选择数据中最相关的属性。 Visualize（可视化）：查看数据的二维散布图。 （2）常用按钮 实验报告说明 本课程一共需要写两个实验报告： 实验报告一：基于人工神经网络的曲线拟合 实验目的：首先，熟悉人工神经网络的产生背景、算法的思想和原理以及步骤；其次，熟悉人工神经网络的Matlab工具箱；最后，通过对曲线的拟合的实验，熟练掌握神经网络的程序设计。 实验时间：第11周周二9-10节、第12周周二9-10节；学时：4 参考程序： 实验数据集文件名：data.mat %% 清空环境变量 clc clear %% 训练数据预测数据提取及归一化 %下载输入输出数据 load data input output %input 是2000行2列，output是1行2000列 %从1到2000间随机排序 k=rand(1,2000); %随机生成一个1行2000列的矩阵 [m,n]=sort(k); %对矩阵K排序，其中m表示从小到大的排序结果，n表示m中各数据的排序前的索引（位置结果） %产生训练数据和预测数据 input_train=input(n(1:1900),:)'; %input_train为2行1900列的训练的输入矩阵 output_train=output(n(1:1900)); %output_train为1行1900列的训练的输出矩阵 input_test=input(n(1901:2000),:)'; output_test=output(n(1901:2000)); %选连样本输入输出数据归一化 [inputn,inputps]=mapminmax(input_train); % mapminmax是对矩阵的行进行归一化处理，其中inputn为归一化后的数据矩阵，inputps是归一化后的结构体，包含最大值、最小值、平均值等信息 [outputn,outputps]=mapminmax(output_train); %% BP网络训练 % %初始化网络结构 net=newff(inputn,outputn,5); 数据预处理 一、实验原理 预处理方法基本方法 1、数据清洗 去掉噪声和无关数据 2、数据集成 将多个数据源中的数据结合起来存放在一个一致的数据存储中 3、数据变换 把原始数据转换成为适合数据挖掘的形式 4、数据归约 主要方法包括:数据立方体聚集，维归约，数据压缩，数值归约，离散化和概念分层等二、实验目的 掌握数据预处理的基本方法。 三、实验内容 1、R语言初步认识（掌握R程序运行环境） 2、实验数据预处理。（掌握R语言中数据预处理的使用） 对给定的测试用例数据集，进行以下操作。 1）、加载程序，熟悉各按钮的功能。 2）、熟悉各函数的功能，运行程序，并对程序进行分析。 对餐饮销量数据进统计量分析，求销量数据均值、中位数、极差、标准差，变异系数和四分位数间距。 对餐饮企业菜品的盈利贡献度（即菜品盈利帕累托分析），画出帕累托图。 3）数据预处理 缺省值的处理：用均值替换、回归查补和多重查补对缺省值进行处理 对连续属性离散化：用等频、等宽等方法对数据进行离散化处理 四、实验步骤 1、R语言运行环境的安装配置和简单使用 （1）安装R语言 R语言下载安装包，然后进行默认安装，然后安装RStudio 工具（2）R语言控制台的使用 1.2.1查看帮助文档 1.2.2 安装软件包 1.2.3 进行简单的数据操作 （3）RStudio 简单使用 1.3.1 RStudio 中进行简单的数据处理 1.3.2 RStudio 中进行简单的数据处理 2、R语言中数据预处理 （1）加载程序，熟悉各按钮的功能。 （2）熟悉各函数的功能，运行程序，并对程序进行分析 2.2.1 销量中位数、极差、标准差，变异系数和四分位数间距。 , 2.2.2对餐饮企业菜品的盈利贡献度（即菜品盈利帕累托分析），画出帕累托图。数据挖掘实验三
大数据挖掘weka大数据分类实验报告材料
数据挖掘实验报告1
数据分析与挖掘实验报告
数据挖掘实验报告 超市商品销售分析及数据挖掘
数据挖掘实验2
数据挖掘实验报告-实验1-Weka基础操作
数据挖掘实验
数据挖掘实验报告一