基于非侵入式负荷检测与分解的电力数据挖掘
基于非侵入式负荷检测与分解的电力数据挖掘
摘要：能源的合理利用对缓解我国所面临的能源短缺以及减少碳排放具有十分重大的意义。智能用电是坚强智能电网的重要环节之一，是互动服务体系的核心。本文旨在研究构建非侵入式负荷分解与辨识的数学模型和计算方法为前提的适用优化模型，通过对数据的深入挖掘，得出准确高效的辨识决策方法，以及相应用电设备的实时用电量。
首先，根据非侵入式负荷监测系统的工作原理，提取电流稳态特征和稳态电流的谐波含有率，从宏观上分为两大类用电器来计算一系列指标参数，如峰值、均值、均方根等，对负荷类别进行区分。大功率设备在启停切换时功率差异较为明显，而低功率设备的功率变化较为接近，其设备启停在高频采样中较为直观。当多种设备发生功率混叠时，低功率设备的识别则具有一定难度，可以通过增加负荷特征提高识别准确度。即引入一个以正态分布形式的隶属度函数，从而赋值给解权重w，通过度量辨识算法得到的结果与当前用电设备投切状态的逼近程度，从而得到用电设备的投切状态。最后依次求出各用电设备每秒的实时用电量。
然后，本文根据用电器在启动时会产生一定特征的负荷信号，采用MATLAB自带的神经网络工具箱，通过专门的模式识别神经网络模型Patternnet,训练算法采用量化共轭梯度法trainscg实现了一种基于神经网络的模式识别方法。该算法可以实时监测家用电器的运行及用电情况。最终挂式空调的识别率为82.57%，九阳热水壶的识别率为87.69%，其余用电器的识别率均≤10%，故确认设备1为YD3九阳热水壶，设备2为YD9挂式空调。最后依次求出每个用电设备的实时用电量。
其次，本文将附件3中3个设备组中的4种有限多状态设备(YD1、YD2、YD7、YD8 )和3种启/停二状态设备(YD3、YD5、YD6)的稳态时的有功功率划分为若干个聚类点，实现将设备的负荷离散化处理得到有限个状态的目的，提高后续负荷分解计算的可操作度和结果精度。根据观察分析确定样本设备的功率区段代表值，据此得到样本设备到稳态的有功功率变化量。最后通过MATLAB在对样本设备功率情况聚类分区后，以各功率聚类中心作为该工作段功率特征，通过遗传优化求解负荷识别模型求出设备组4—6的用电设备操作记录以及每个用电设备的实时用电量。
最后，在负荷数据分析与特征提取的研究基础上，建立遗传算法多特征优化的目标函数模型，通过遗传迭代实现不同电器状态变化的精确分解与识别。首先要对种群个体进行基因编码。因为在实际生活中存在一定噪声的情况下，功率较为接近的低功率负荷更加难以识别。为解决该问题，引入活性电流谐波特征值，从而增加识别算法的准确性和抗干扰能力。故对单功率目标寻优函数模型进行优化，在进行多目标函数寻优之前，对不同特征值进行去量纲处理。综上所述，本文提出的多特征优化目标函数对功率、谐波采样值及其相应特征向量进行归一化处理：当λ=0时，目标函数表示使用功率特征的单目标寻优；λ=1时，表示使用谐波特征的单目标寻优。通过多特征遗传目标函数优化模型，识别出附件四中的用电设备以及每个用电设备的实时用电量。
关键词：非侵入式负荷监测 BP人工神经网络聚类分析遗传算法
Power Data Mining Based on Non-intrusive Load
Detection and Decomposition
Abstract: This paper aims to study the mathematical model and calculation method for non-invasive load decomposition and identification. The optimized model is based on the premise of data mining, and an accurate and efficient identification and decision method is derived the amount.
Firstly, according to the working principle of the non-intrusive load monitoring system, the steady-state characteristics of the current and the harmonic content of the steady-state current are extracted, and are divided into two major categories of electrical appliances to calculate a series of index parameters to distinguish the load category. The power difference of the high-power equipment during the start-stop switching is obvious, while the power change of the low-power equipment is relatively close. It is more intuitive to start and stop the equipment in high-frequency sampling. When multiple devices have power aliasing, the identification of low-power devices is difficult, and the identification accuracy can be improved by increasing the load characteristics. That is, introducing a membership function in the form of a normal distribution, which is assigned to the solution weight w, through the measurement of the results obtained by the algorithm and the approximation of the current state of the power equipment switching, so as to obtain the switching state of the electrical equipment.
Then, according to the load signal which will produce certain characteristics when starting the appliance, this paper uses the neural network toolbox which comes from MATLAB, through the special pattern recognition neural network model Patternnet, and the training algorithm uses the quantitative conjugate gradient method trainingscg to realize a kind of Neural network based pattern recognition method.
Secondly, this paper presents the steady-state real power of four limited multi-state devices and three kinds of start/stop two-state devices in the three device groups in Appendix 3. The power is divided into several clustering points to achieve the purpose of obtaining a finite number of states by discretizing the load of the equipment, thereby improving the operation degree and the result accuracy of the subsequent load decomposition calculation. According to the observation analysis, the power section representative value of the sample device is determined, and the active power change amount from the sample device to the steady state is obtained accordingly. Finally, after partitioning the power of the sample device by MATLAB.
Finally, based on the study of load data analysis and feature extraction, a multi-feature optimization objective function model of genetic algorithm is established. Through genetic iteration, the accurate decomposition and recognition of different electrical state changes are achieved. The first step is to genetically encode individual individuals. Because there is a certain amount of noise in real life, it is more difficult to identify low power loads with relatively close power. In order to solve this problem, active current harmonic characteristic values are introduced to increase the accuracy and anti-jamming capability of the recognition algorithm. Therefore, the single-power target optimization function model is optimized. Before the multi-objective function is optimized, the different eigenvalues are subjected to dimensioning. In summary, the multi-feature optimization objective function proposed in this paper normalizes the power and harmonic sampling values and their corresponding eigenvectors.
Key words: Non-intrusive load monitoring,BP artificial neural network,Cluster analysis,Genetic algorithm
目录
1. 挖掘目标 (4)
2. 分析方法与过程 (4)
2.1. 总体流程 (4)
2.2. 具体步骤 (5)
2.3. 结果分析 (35)
3. 结论 (35)
4. 参考文献 (36)
1.挖掘目标
1.1.挖掘背景
在能源消费比重中，电能是整个社会生产和生活中重要的能源消费形式。为此，倡导节能减排是当前开展节能工作的基础。有研究表明，在引入用电信息反馈的情况下，居民负荷侧会有较大的节能潜力。然而，传统用户家庭的负荷检测通常是基于侵入式的方式开展，这一方面增加了用户的投入成本，即购买大量的传感器；另一方面，面对新增电器，进一步限制了监测系统的拓展性，使得用户满意度较差。相比于侵入式电力负荷分解而言，非侵入式的电力负荷分解与辨识是直接提取用户电力入口处的电流、电压信息，采用辨识算法对用电设备的投切情况进行管理，从而可避免过多地安装在用电设备端的传感器，同时也有助于电力公司对用户负荷的了解，从而合理安排用电设备的使用时间或甩负荷的方式，调节峰谷差，降低网损，达到节能降耗并提升用户节电意识，无论是对电力公司、对用户，还是对全社会，都将具有重要的意义。可见研发经济有效的非侵入式负荷监测及识别系统是非常有必要的。
1.2.挖掘目标
本次建模目标是利用NILMD 装置量测得到的某家庭用电数据，采用数据挖掘技术，达到以下四个目标：
（1）根据附件1提供的单一态数据，分析并给出各用电设备的运行特征，并估计各用电设备的实时用电量。
（2）根据附件2中的单一态数据，设计自动识别单一设备的数学模型和计算方法，并估计这一用电设备的实时用电量。
（3）根据附件3提供的用电设备实测数据，设计方法确定各用电设备的状态、操作及操作时间，并估计每个用电设备的实时用电量。
（4）利用问题3设计的方法，根据附件4提供的用电设备实测数据，识别出各用电设备及其状态、操作及操作时间，并估计每个用电设备的实时用电量，无法识别的用电设备标记为 YD0。
1.3.研究现状
最初由Hart在20世纪80年代提出的时候，这一技术被称为非侵入式电器符合监测（HIALM），旨在研制一种不影响或者尽可能小地影响作用对象的监测工具，可以为电力公司提供用户各种电力设备电能消耗的具体数据。这一概念引起了全球范围内电力公司和科研机构的广泛关注，随着研究的深入和内容的拓展，被监测的负荷不再局限于一般家用电器，其含义进一步拓展，演化为现今的非侵入式负荷监测（HILM）系统
2.分析方法与过程
2.1.总体流程
本用例主要包括以下步骤：
步骤一：首先对缺失数据进行处理，用缺失数据前一秒数据的值填补当前状态所有缺失数据。然后根据非侵入式负荷监测系统的工作原理，提取电流稳态特征和稳态电流的谐波含有率，从宏观上分为两大类用电器，计算一系列指标参数，如峰值、均值、均方根等，对负荷类别进行区分。利用稳态特征进行非侵入式负荷分解具有较宽的适用范围。大功率设备在启停切换时功率差异较为明显，而低功率设备的功率变化较为接近，其设备启停在高频采样中较为直观。当多种设备发生功率混叠时，低功率设备的识别则具有一定难度，可以通过增加负荷特征提高识别准确度。引入一个以正态分布形式的隶属度函数，从而赋值给解权重w ，度量辨识算法得到的结果与当前用电设备投切状态的逼近程度。最后通过公式求出各用电设备每秒的实时用电量。
步骤二：采用MATLAB 自带的神经网络工具箱，运用专门的模式识别神经网络模型Patternnet,训练算法采用量化共轭梯度法trainscg 实现基于神经网络的模式识别方法，从而实时监测家用电器的运行及用电情况。最后通过识别率的大小识别出两种设备的用电器类型，然后通过公式求出各用电设备每秒的实时用电量
步骤三：将附件3中3个设备组中的4种有限多状态设备和3种启/停二状态设备的稳态时的有功功率划分为若干个聚类点，提高后续负荷分解计算的可操作度和结果精度。根据观察分析确定样本设备的功率区段代表值，据此得到样本设备到稳态的有功功率变化量。最后通过MATLAB 在对样本设备功率情况聚类分区后，以各功率聚类中心作为该工作段功率特征，通过遗传优化求解负荷识别模型分别求出设备组4—6的用电设备操作记录以及每个用电设备的实时用电量。
步骤四：在前文的负荷数据分析与特征提取的研究基础上，建立遗传算法多特征优化的目标函数模型，在对其目标函数进行改进和优化，实现优化识别准确性的目的。主要过程包括基因编码、目标函数优化、遗传迭代等几个步骤。遗传算法首先要对种群个体进行基因编码，每一次迭代中通过遗传交叉和变异后产生的子代个体也具有相同的基因编码。为得到更高的识别率，引入一个新的负荷特征——非活性电流谐波特征，以此增加识别算法的准确性和抗干扰能力。最后对单功率目标寻优函数模型进行优化，在进行多目标函数寻优之前，对不同特征值进行去量纲处理通过上面所建立的多特征遗传目
标函数优化模型，识别出附件四中的未知用电设备以及分别求出每个用电设备的实时用电量。
2.2．具体步骤
步骤一：用电设备负荷特征提取
①缺失数据处理
设备数据、周波数据和谐波数据的采样间隔1秒，为了节省存储空间和数据传输时间，变化很小的数据不予传输和存储。因为当数据变化量小于0.05时不予传输和存储，故可以认为缺失数据与缺失数据前一秒数据的差别可以忽略不计。故本文用缺失数据前一秒数据的值填补当前状态所有缺失数据。
②基于非侵入式负荷检测与分解
电器的过渡区段、稳态区段及整体运行模式中都蕴含着一定的统计规律——负荷特征。不同电器设备具有不同的电路结构和功能，因而具有不同的运行特性和负荷特征。负荷特征是确定负荷设备的依据，是负荷分解的关键，也是NILMD的实现原理。
非侵入式负荷监测的负荷特征可分为稳态特征和暂态特征，稳态特征的分析主要有有功功率和无功功率，稳态基波分量，谐波分量，特征值等；暂态特征的分析主要为开关暂态波形。而根据稳态特征的不同，负荷类型又可分为开/关二状态设备（ON/OFF）、有限多状态设备（Finite State Machine,FSM）、连续变状态设备（Continuously Variable Devices,CVD）三类。其中，前两种设备类型没有本质区别，都具有有限的工作状态，且工作状态对应的负荷特征相对稳定，易于描述，如图1所示。
单一态数据记录单个用电设备的用电数据，根据用电器类型主要分为2种情况：(1)回路中的用电设备仅有开关两种状态；(2)回路中的用电设备具有不同挡位或者不同工作状。
NILMD 装置量测获得的总负荷的电压、电流等电气量可视为承载电力信息的信号，包含了不同特性的负荷成分信息，通过提取这些电气量的特征信息，NILMD 系统就能实现负荷分解。而负荷印记（load signatures ，LS ）的概念在NILMD 中具有重要作用。在此LS 定义为一个用电设备在运行中所体现的独特的能反映用电状态的信息，如有功的波形等。
电流稳态特征提取，计算一系列指标参数，峰值、均值、均方根等，容易对负荷类别进行区分，但此类特征提取方法只适于开关类用电设备，不能处理多状态型负荷和特征重叠现象。开关类用电设备的一系列指标计算如下表所示：
表1 开关类用电设备指标参数
用电设备 状态 峰值 均值 均方根
九阳热水壶
关 0.009 0.009 0.009
开 7.924 7.8195 7.8196 白炽灯
关 0.009 0.009 0.009
开 0.184 0.1834 0.1835 节能灯
关 0.009 0.009
0.009
开 0.042 0.0418 0.0418 创维电视机
关 0.0531 0.054 0.0531
开 0.543 0.5378 0.5378
上述的电流稳态特征的提取局限于开关类。已经不能够满足各用电设备特征的识别。
基于LS 四个最高精度特征，Liang [1][2]
等，使用有功功率的稳态特征进行负荷分解识别。采用双层特征提取框架，首先用第一层功率波形图区分用电设备的种类，第二层用稳态功率的状态变化量来识别各用电设备。
第一类开关型用电设备有功功率变化量的运行特征分析如下：
图2 九阳热水壶暂态及稳态有功功率采样图
由有功功率波形图，并根据从操作记录分析出YD3（九阳热水壶）有功功率的稳态功率的转换状态的变化量如下表所示：
表2 YD3有功功率的稳态功率变化量
九阳热水壶工作状态转换过程(KW) 开 1.4987
关 1.4826
图3 白炽灯暂态及稳态有功功率采样图
由有功功率波形图，并根据从操作记录分析出YD5（白炽灯）有功功率的稳态功率的转换状态的变化量如下表所示：
表3 YD5有功功率的稳态功率变化量
白炽灯工作状态转换过程(KW) 开0.016
关0.0002
图4 节能灯暂态及稳态有功功率采样图
由有功功率波形图，并根据从操作记录分析出YD6（节能灯）有功功率的稳态功率的转换状态的变化量如下表所示：
表4 YD6有功功率的稳态功率变化量
节能灯工作状态转换过程(KW) 开0.0002
关0
图5 创维电视机暂态及稳态有功功率采样图
由有功功率波形图，并根据从操作记录分析出YD11（创维电视机）有功功率的稳态功率的转换状态的变化量如下表所示：
表5 YD11有功功率的稳态功率变化量
创维电视机工作状态转换过程(KW) 开0.09
关0.072
图6 奥克斯风扇暂态及稳态有功功率采样图
由有功功率波形图，并根据从操作记录分析出YD1（奥克斯风扇）有功功率的稳态功率的转换状态的变化量如下表所示：
表6 YD1有功功率的稳态功率变化量
奥克斯风扇工作状态转换过程(KW) 一档0.0129+0.0022 二档0.0048+0.0013 三档0+0.0051
图7 美的微波炉暂态及稳态有功功率采样图
功率的转换状态的变化量如下表所示：
表7 YD2有功功率的稳态功率变化量
美的微波炉工作状态
转换过程(KW)，
j=1,2,3,4.k=1,2,3（峰值）低火0.0281+j1.1427
中低火0.0003+j1.1260
中火0.0729+j1.1083
中高火0.1477+k1.0875
高火0.6312
图8 ThinkPad笔记本电脑暂态及稳态有功功率采样图
由有功功率波形图，并根据从操作记录分析出YD4（ThinkPad笔记本）电脑有功功率的稳态功率的转换状态的变化量为：0.0255KW。鉴于其他状态难以区分稳态区段，故
图9 FUJI激光打印机暂态及稳态有功功率采样图
稳态功率的转换状态的变化量如下表所示：
表8 YD7有功功率的稳态功率变化量
FUJI激光打印机工作状态转换过程(KW)，j=1，2 启动0.0012+j0.516
打印0.8299
复印0.478
扫描0.0033
图10 饮水机暂态及稳态有功功率采样图
由有功功率波形图，并根据从操作记录分析出YD8（饮水机）有功功率的稳态功率的转换状态的变化量如下表所示：
表9 YD8有功功率的稳态功率变化量
饮水机
工作状态转换过程(KW) 加热0.2335
制冷0.0515
加热、制冷0.3759 保温0.3998
图11 挂式空调暂态及稳态有功功率采样图
由有功功率波形图，并根据从操作记录分析出YD9（挂式空调）有功功率的稳态功率的转换状态的变化量如下表所示：
表10 YD9有功功率的稳态功率变化量
挂式空调工作状态转换过程(KW) 制冷0.0185
除湿0.0051
辅热0.0006
图12 奔腾吹风机暂态及稳态有功功率采样图
由有功功率波形图，并根据从操作记录分析出YD10（奔腾吹风机）有功功率的稳态功率的转换状态的变化量如下表所示：
表11 YD10有功功率的稳态功率变化量
奔腾吹风机
工作状态 转换过程(KW)
1挡热风
0.219 1挡冷风 0.0977 2挡热风 1.2992 2挡冷风 0.9817
提取稳态电流的谐波含有率，从宏观上，可以分为两大类用电器。第一类开关类的谐波含有率大小的比例波形图如下所示：
图13 YD3谐波含有率比例波形图
由图可以分析出YD3类型的用电设备，谐波电流含有率大部分都在33%，因此可以作为负荷识别的特征。
第二类多状态类的谐波含有率大小的比例波形图如下所示：
图14 YD7谐波含有率比例波形图
由图可以分析出YD7类型的用电设备，谐波电流含有率大部分都在139%以上，因此可以作为负荷识别的特征。
非侵入式负荷运行特征识别，通过对特征的提取、负荷特征识别、负荷的特征库运用。用电设备工作运行的负荷特征量主要包括有功功率、瞬时电流、电压和谐波电流的含有率。上述对稳态有功功率的变化量进行负荷分解，识别。
每种负荷特征都可以所得到的用电设备的投切状态但就是有可能存在差异。然而，正是因为这些差异，才形成了不同的辨识精度。用电设备，其辨识精度范围仍需要进一步商榷。因此，在设计这些权重过程中，需要进一步考虑用电设备特征。
基于用电设备的谐波电流特征为F ii，i=1,…,N,共 N 个设备特征。令当前捕获到的特征为X，处于工作状态的用电设备，其特征为Y:
YY=?aa ii FF ii NN ii=1
在本文中，引入一个以正态分布形式的隶属度函数，从而赋值给解权重w，度量辨识算法得到的结果与当前用电设备投切状态的逼近程度，其表达式为
ww(YY)=eeeeee???‖XX?YY‖2?2?,σσ>0
其中，σ为特征分布的标准差。由于本文中不同特征的标准差并不相同，谐波的标准差通常较小，而有功功率的标准差相对会大些，因此，为了避免这个问题，本文将权重设计为：
ww(YY)=eeeeee????‖X1?YY1‖21?2+?‖X2?YY2‖22?2??
方便起见，这里令谐波的标准差0.1；有功功率标准差10；通常，当X与Y相当逼近的时候，取值最大；而远离的时候，取值会瞬间减小。
根据公式W=U?I?PFC?t可求得YD1—YD11所有设备每秒钟的实时耗电量。因为求得的实时耗电量是每秒钟的耗电量，数据量过于庞大，难以通过表格直观地把每一个数据展示出来，故本文使用二维折线图把其展示出来，所有设备每秒钟的实时耗电量详情见附件。YD1—YD11所有设备每秒钟的实时耗电量如下图所示：
图15 YD1实时用电量图16 YD2实时用电量
图17 YD3实时用电量图18 YD4实时用电量
图19 YD5实时用电量图20 YD6实时用电量
图21 YD7实时用电量图22 YD8实时用电量
图23 YD9实时用电量图24 YD10实时用电量
图25 YD11实时用电量
步骤二：基于BP人工神经网络模式识别
①电器识别
如步骤一可知，每当用电器启动时，功率都会突然增高。功率值增高有两种情况：
第一种情况是确实有用电器开启，第二种情况是由于某些原因，如磁场等对电流产生的
干扰等。根据实际测量统计，第二种情况发生的概率比较小，功率的增加值相对于电器
开启时的增加值要小很多。所以在本文中为了识别是否有用电器开启，设定一个功率阀
值p oo，当ee[t+TT]?ee[tt]≥p oo时，视为有用电器开启。其中ee[tt]为瞬时功率,T表示每秒的时间变化，因为功率的阶跃变化需要一小段时间达到阈值，本文的监测方案中设定该
时间长度为1s。
②启动识别准备工作
(1)收集样本数据。对四种不同种类负载启动波形进行采样，本文用MATLAB中的
SIMULINK仿真[5]四种不同类型的用电器作为样本数据。记录下四种类型负载单独启动
时瞬时运行状态的电气波形，作为识别家用电器种类的重要依据，即模SS cc= {ss[0],ss[1],?,ss[NN?1]}，其中ss[ii]表示采样值即瞬时有功功率，NN表示采样个数，c标记家用电器类型列号。为了便于识别，先规定ss[0]为电器未启动时的采样功率，而ss[1]为电器启动时，功率的阶跃点。
(2)样本数据的预处理。为了避免由于不同电器的消耗功率相差很大，对判断产生
很大的干扰，需要将所测得的模板值归一化，即转化成[0,1]之间的值。转换公式如下：
ssaa cc[ii]=ss[ii]mmaaee[SS cc]
(3)建立神经网络。现将如上样本ssaa cc作为神经网络的样本训练集，利用BP神经网络的学习功能对建立的神经网络进行训练，以达到对输入数据进行分类识别的功能。具体训练过程将在下一小节描述。
③在线监测
(1)监测用电器启动时间。假设某一时刻监测的功率为ee[tt]，其中tt为监测时间。比
较时间轴上的瞬时功率差值，如果差值大于阀值p oo，则视为启动，公式如下。
ee[t+TT]?ee[tt]≥p oo
经过收集资料和多次实验，发现一般用电器稳定工作时功率都大于20W，功率过小
的用电器的用电量基本可以忽略不计，所以本文中设定阀值为20W。
(2)对启动数据进行采样记录。当ee[t+TT]?ee[tt]≥p oo时，以ee[tt]为启动数据记录起点，令ee[tt]=ee[0],具体换算公式如下：
XX={ee[0],ee[1],?,ee[NN?1]}
={ee[tt],ee[tt+1],?,ee[tt+NN?1]}
X表示监测端用电器启动记录，该记录方式与样本数据相对应。
(3)对监测端的启动数据预处理。为了能够使得监测端的数据与样本处理数据相对应，需要将用电器启动前原先的功率值减去，即：
XXXX={eeXX[0],eeXX[1],?,eeXX[NN?1]}
={eeXX[0]?eeXX[0],eeXX[1]?eeXX[0],?,eeXX[NN?1]?eeXX[0]}
为了消除电器间功率差别带来的干扰，将监测端的数据再做如下处理：
eeaaXX[ii]=eeXX[ii][]
(4)输入神经网络进行识别。将eeaaXX输入到训练好的BP神经网络进行分类识别，根据设定的神经网络阈值来判断是哪一类用电器开启。虽然许多文献都采用神经网络的识别方法，但是参数计算比较复杂，采用的是瞬时启动电流。本文所采用的识别参数是用电设备启动暂态阶段的有功功率。
④神经网络模式识别
BP神经网络在人工神经网络的应用中占据了很重要的位置，它已经被广泛应用于多个领域，如模式识别和分类，函数逼近，构成专家系统、制成机器人等。绝大部分的人工神经网络都是以BP网络或者它的变化形式为模型，同时BP神经网络也是前馈网络的核心部分，是人工神经网络的精华之一。
本文采用的MATLAB自带的神经网络工具箱[6]，它包含了多种神经网络和多种算法。工具箱应用起来也非常方便，只需要将输入数据和目标数据导入，然后选择算法，即可以生成神经网路，即使用户对算法不了解，也可以将神经网络作为一种工具来使用。
通过查阅资料得知，Matlab神经网络工具箱提供专门的模式识别神经网络模型Patternnet,训练算法采用量化共轭梯度法trainscg。
Patternnet网络的拓扑如下图所示：
图26 人工神经网络模式识别图
图27设备1有功功率波形图 图28设备2有功功率波形图
本文首先根据有功功率启动波形图将附件1的11种用电器划分为启/停二状态类用电器(YD3 YD5 YD6 YD11)和有限多状态类用电器(YD1 YD2 YD4 YD7 YD8 YD9 YD10)，其次，分别画出附件2种设备1和设备2的有功功率启动波形图，根据图()可判断出设备1为启/停二状态类用电器，图()判断出设备2为有限多状态类用电器。因此将设备1确定在九阳热水壶(YD3) 、白炽灯(YD5) 、节能灯(YD6) 、创维电视机(YD11)四种用电设备种的一种。设备2同理，因此对启/停二状态类的用电器在启动暂态阶段各取30个有功功率样本数据作为负荷特征建立BP 神经网络并进行网络训练.设备1模式识别结果如图所示。
w
归一化到[-1,1] 输入x1
输入x2
tansig tansig 归一化到[0,1]
输出y
图29 设备1混淆矩阵图
通过混淆矩阵图可以得到，选取的38个设备1启动阶段的瞬时有功功率中，有19(占39.6%)个样本数据被判为九阳热水壶启动阶段的瞬时有功功率，总体正确率有87.5%，通过混淆矩阵图可以说明选用瞬时有功功率单个负荷特征可以在启/停二状态设备类中有效识别设备类型。
由图可得，该网络经过20步训练，训练误差值小于10-1，已经达到了很高的精度。
图30 设备1BP网络训练结果图
数据挖掘与预测分析
数据挖掘是一个多学科交叉研究领域，它融合了数据库技术、人工智能、机器学习、统计学、知识工程、面向对象方法、信息检索、高性能计算以及数据可视化等最新技术的研究成果。数据挖掘是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。预测分析是一种统计或数据挖掘解决方案，包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。预测分析可帮助用户评审和权衡潜在决策的影响力。可用来分析历史模式和概率，预测未来业绩并采取预防措施。 数据挖掘的含义是广泛的，每个人有每个人不同的体会，每个人有每个人的见解。但这些体会、见解是有许多共通之处的，从而可以归纳出数据挖掘的技术定义以及商业定义：从技术角度，数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的但又是潜在有用的信息和知识的过程。它是涉及机器学习、模式识别、统计学、人工智能、数据库管理及数据可视化等学科的边缘学科。由于每个人的思维方式不同，这个定义可以被解读为以下几个层次：①数据源必须是真实的、大量的、含噪声的；②发现的是用户感兴趣的知识；③发现的知识要可接受、可理解、可运用；④这些知识是相对的，是有特定前提和约束条件的，在特定领域中具有实际应用价值。 预测是大数据的核心，数据挖掘之后的预测分析无疑成为开拓市场的重要环节。预测分析是一种统计或数据挖掘解决方案，包含可在结构化和非结构化数据中使用以确定未来结果的算法和技术。可为预测、优化、预报和模拟等许多其他用途而部署。预测分析和假设情况分析可帮助用户评审和权衡潜在决策的影响力。可用来分析历史模式和概率，以预测未来业绩并采取预防措施。这种级别的分析可以为规划流程提供各种信息，并对企业未来提供关键洞察。不仅可提供预测分析，使用户可以执行高级分析、发布并与更广泛的用户群交流。还可以提供
《数据挖掘》试题与答案
一、解答题（满分30分，每小题5分） 1. 怎样理解数据挖掘和知识发现的关系？请详细阐述之 首先从数据源中抽取感兴趣的数据，并把它组织成适合挖掘的数据组织形式；然后，调用相应的算法生成所需的知识；最后对生成的知识模式进行评估，并把有价值的知识集成到企业的智能系统中。 知识发现是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程，其最终目标是掌握数据的模式。流程步骤：先理解要应用的领域、熟悉相关知识，接着建立目标数据集，并专注所选择的数据子集；再作数据预处理，剔除错误或不一致的数据；然后进行数据简化与转换工作；再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型；最后经过解释和评价成为有用的信息。 2. 时间序列数据挖掘的方法有哪些，请详细阐述之 时间序列数据挖掘的方法有： 1）、确定性时间序列预测方法:对于平稳变化特征的时间序列来说，假设未来行为与现在的行为有关，利用属性现在的值预测将来的值是可行的。例如，要预测下周某种商品的销售额，可以用最近一段时间的实际销售量来建立预测模型。 2）、随机时间序列预测方法:通过建立随机模型，对随机时间序列进行分析，可以预测未来值。若时间序列是平稳的，可以用自回归(Auto Regressive，简称AR)模型、移动回归模型(Moving Average，简称MA)或自回归移动平均(Auto Regressive Moving Average，简称ARMA)模型进行分析预测。 3）、其他方法:可用于时间序列预测的方法很多，其中比较成功的是神经网络。由于大量的时间序列是非平稳的，因此特征参数和数据分布随着时间的推移而变化。假如通过对某段历史数据的训练，通过数学统计模型估计神经网络的各层权重参数初值，就可能建立神经网络预测模型，用于时间序列的预测。
数据挖掘与分析心得体会
正如柏拉图所说：需要是发明之母。随着信息时代的步伐不断迈进，大量数据日积月累。我们迫切需要一种工具来满足从数据中发现知识的需求！而数据挖掘便应运而生了。正如书中所说：数据挖掘已经并且将继续在我们从数据时代大步跨入信息时代的历程中做出贡献。 1、数据挖掘 数据挖掘应当更正确的命名为：“从数据中挖掘知识”，不过后者显得过长了些。而“挖掘”一词确是生动形象的！人们把数据挖掘视为“数据中的知识发现（KDD）”的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤！ 由此而产生数据挖掘的定义：从大量数据中挖掘有趣模式和知识的过程！数据源包括数据库、数据仓库、Web、其他信息存储库或动态地流入系统的数据。作为知识发现过程，它通常包括数据清理、数据集成、数据变换、模式发现、模式评估和知识表示六个步骤。 数据挖掘处理数据之多，挖掘模式之有趣，使用技术之大量，应用范围之广泛都将会是前所未有的；而数据挖掘任务之重也一直并存。这些问题将继续激励数据挖掘的进一步研究与改进！ 2、数据分析 数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步： 1、探索性数据分析：当数据刚取得时，可能杂乱无章，看不出规律，通过作图、造表、用各种形式的方程拟合，计算某些特征量等手段探索规律性的可能形式，即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。 2、模型选定分析，在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。 3、推断分析：通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。 数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。数据分析是组织有目的地收集数据、分析数据，使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期，包括从市场调研到售后服务和最终处置的各
学习18大经典数据挖掘算法
学习18大经典数据挖掘算法 本文所有涉及到的数据挖掘代码的都放在了github上了。 地址链接: https://https://www.wendangku.net/doc/d916384490.html,/linyiqun/DataMiningAlgorithm 大概花了将近2个月的时间，自己把18大数据挖掘的经典算法进行了学习并且进行了代码实现，涉及到了决策分类，聚类，链接挖掘，关联挖掘，模式挖掘等等方面。也算是对数据挖掘领域的小小入门了吧。下面就做个小小的总结，后面都是我自己相应算法的博文链接，希望能够帮助大家学习。 1.C4.5算法。C4.5算法与ID3算法一样，都是数学分类算法，C4.5算法是ID3算法的一个改进。ID3算法采用信息增益进行决策判断，而C4.5采用的是增益率。 详细介绍链接：https://www.wendangku.net/doc/d916384490.html,/androidlushangderen/article/details/42395865 2.CART算法。CART算法的全称是分类回归树算法，他是一个二元分类，采用的是类似于熵的基尼指数作为分类决策，形成决策树后之后还要进行剪枝，我自己在实现整个算法的时候采用的是代价复杂度算法， 详细介绍链接：https://www.wendangku.net/doc/d916384490.html,/androidlushangderen/article/details/42558235 3.KNN(K最近邻)算法。给定一些已经训练好的数据，输入一个新的测试数据点，计算包含于此测试数据点的最近的点的分类情况，哪个分类的类型占多数，则此测试点的分类与此相同，所以在这里,有的时候可以复制不同的分类点不同的权重。近的点的权重大点，远的点自然就小点。 详细介绍链接：https://www.wendangku.net/doc/d916384490.html,/androidlushangderen/article/details/42613011 4.Naive Bayes(朴素贝叶斯)算法。朴素贝叶斯算法是贝叶斯算法里面一种比较简单的分类算法，用到了一个比较重要的贝叶斯定理，用一句简单的话概括就是条件概率的相互转换推导。 详细介绍链接：https://www.wendangku.net/doc/d916384490.html,/androidlushangderen/article/details/42680161 5.SVM(支持向量机)算法。支持向量机算法是一种对线性和非线性数据进行分类的方法，非线性数据进行分类的时候可以通过核函数转为线性的情况再处理。其中的一个关键的步骤是搜索最大边缘超平面。 详细介绍链接：https://www.wendangku.net/doc/d916384490.html,/androidlushangderen/article/details/42780439 6.EM(期望最大化)算法。期望最大化算法，可以拆分为2个算法，1个E-Step期望化步骤,和1个M-Step最大化步骤。他是一种算法框架，在每次计算结果之后，逼近统计模型参数的最大似然或最大后验估计。
数据清洗、数据分析、数据挖掘
数据清洗 1.基本概念 数据清洗从名字上也看的出就是把"脏"的"洗掉",指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为"脏数据"。我们要按照一定的规则把"脏数据""洗掉"，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。 ?残缺数据 这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。 折叠错误数据
这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不可见字符的问题，只能通过写SQL语句的方式找出来，然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用SQL 的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。 折叠重复数据 对于这一类数据--特别是维表中会出现这种情况--将重复数据记录的所有字段导出来，让客户确认并整理。 数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题， 解决问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，促使他们尽快地修正错误，同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有用的数据过滤掉，对于每个过滤规则认真进行验证，并要用户确认。 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结 论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实 用中，数据分析可帮助人们作出判断，以便采取适当行动。 类型 在统计学领域，有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析；其中，探索性数据分析侧重于在数据之中发现新的特征，而验证性数据分析则侧重于已有假设的
基于联合数据挖掘的网络异常检测系统的研究
基于联合数据挖掘的网络异常检测系统的研究摘要：网络攻击日趋隐蔽和复杂化，传统的检测方法具有很大的局限性。该文提出将网络管理中故障管理和性能管理相结合，根据目前网络中可获得的丰富的数据进行联合挖掘，能够全面发现网络中存在的问题。 关键词：数据挖掘异常检测网络管理 Research on Network Anomaly Detection System Based on Alliance Data Mining Abstract：The network attacks become more and more unnoticeable and complex，which can deceive the traditional detection methods.In this paper，a method focusing on how to alliance mining according to the diverse network data is discussed，combining fault management with performance management，which can discover problems in network thoroughly. Keywords：Data Mining Anomaly Detection Network Management 随着目前网络环境越来越复杂，网络攻击形式越来越多样，如何维持网络性能的稳定成为网络管理的一个难题。现实中引起网络异常的原因有很多，典型的有：网络设备故障、网络过载、恶意的拒绝服
数据挖掘分类算法比较
数据挖掘分类算法比较 分类是数据挖掘、机器学习和模式识别中一个重要的研究领域。通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较，总结出了各种算法的特性，为使用者选择算法或研究者改进算法提供了依据。 一、决策树（Decision Trees） 决策树的优点： 1、决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。 2、对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。 3、能够同时处理数据型和常规型属性。其他的技术往往要求数据属性的单一。 4、决策树是一个白盒模型。如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。 5、易于通过静态测试来对模型进行评测。表示有可能测量该模型的可信度。 6、在相对短的时间内能够对大型数据源做出可行且效果良好的结果。 7、可以对有许多属性的数据集构造决策树。 8、决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小。 决策树的缺点： 1、对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。 2、决策树处理缺失数据时的困难。 3、过度拟合问题的出现。 4、忽略数据集中属性之间的相关性。 二、人工神经网络 人工神经网络的优点：分类的准确度高,并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系，具备联想记忆的功能等。 人工神经网络的缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。
数据挖掘十大算法
数据挖掘十大算法 数据挖掘十大算法—K 近邻算法 k -近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。 一、基于实例的学习。 1、已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，基于实例的学习方法只是简单地把训练样例存储起来。 从这些实例中泛化的工作被推迟到必须分类新的实例时。每当学习器遇到一个新的查询实例，它分析这个新实例与以前存储的实例的关系，并据此把一个目标函数值赋给新实例。 2、基于实例的方法可以为不同的待分类查询实例建立不同的目标函数逼近。事实上，很多技术只建立目标函数的局部逼近，将其应用于与新查询实例邻近的实例，而从不建立在整个实例空间上都表现良好的逼近。当目标函数很复杂，但它可用不太复杂的局部逼近描述时，这样做有显著的优势。 3、基于实例方法的不足： （1）分类新实例的开销可能很大。这是因为几乎所有的计算都发生在分类时，而不是在第一次遇到训练样例时。所以，如何有效地索引训练样例，以减少查询时所需计算是一个重要的实践问题。（2）当从存储器中检索相似的训练样例时，它们一般考虑实例的所有属性。如果目标概念仅依赖于很多属性中的几个时，那么真正最“相似”的实例之间很可能相距甚远。 二、k-近邻法基于实例的学习方法中最基本的是k -近邻算法。这个算法假定所有的实例对应于n 维欧氏空间?n 中的点。一个实例的最近邻是根据标准欧氏距离定义的。更精确地讲，把任意的实例x 表示为下面的特征向量：其中a r (x ) 表示实例x 的第r 个属性值。那么两个实例x i 和x j 间的距离定义为d (x i , x j ) ，其中： 说明： 1、在最近邻学习中，目标函数值可以为离散值也可以为实值。 2、我们先考虑学习以下形式的离散目标函数。其中V 是有限集合 {v 1，... v s }。下表给出了逼近离散目标函数的k-近邻算法。 3、正如下表中所指出的，这个算法的返回值f' (x q ) 为对f (x q ) 的估计，它就是距离x q 最近的k 个训练样例中最普遍的f 值。 4、如果我们选择k =1，那么“1-近邻算法”
分析报告、统计分析和数据挖掘的区别
分析报告、统计分析和数据挖掘的区别 关于数据挖掘的作用，Berry and Linoff的定义尽管有些言过其实，但清晰的描述了数据挖掘的作用。“分析报告给你后见之明 (hindsight)；统计分析给你先机 (foresight)；数据挖掘给你洞察力(insight)”。 举个例子说。 你看到孙悟空跟二郎神打仗，然后写了个分析报告，说孙悟空在柔韧性上优势明显，二郎神在力气上出类拔萃，所以刚开始不相上下；结果两个人跑到竹林里，在竹子上面打，孙悟空的优势发挥出来，所以孙悟空赢了。这叫分析报告。 孙悟空要跟二郎神打架了，有个赌徒找你预测。你做了个统计，发现两人斗争4567次，其中孙悟空赢3456次。另外，孙悟空斗牛魔王，胜率是89%，二郎神斗牛魔王胜率是71%。你得出趋势是孙悟空赢。因为你假设了这次胜利跟历史的关系，根据经验作了一个假设。这叫统计分析。 你什么都没做，让计算机自己做关联分析，自动找到了出身、教育、经验、单身四个因素。得出结论是孙悟空赢。计算机通过分析发现贫苦出身的孩子一般比皇亲国戚功夫练得刻苦；打架经验丰富的人因为擅长利用环境而机会更多；在都遇得到明师的情况下，贫苦出身的孩子功夫可能会高些；单身的人功夫总比同样环境非单身的高。孙悟空遇到的名师不亚于二郎神，而打架经验绝对丰富，并且单身，所以这次打头，孙悟空赢。这叫数据挖掘。 数据挖掘跟LOAP的区别在于它没有假设，让计算机找出这种背后的关系，而这种关系可能是你所想得到的，也可能是所想不到的。比如数据挖掘找出的结果发现在2亿条打斗记录中，姓孙的跟姓杨的打，总是姓孙的胜利，孙悟空姓孙，所以，悟空胜利。 用在现实中，我们举个例子来说，做OLAP分析，我们找找哪些人总是不及时向电信运营商缴钱，一般会分析收入低的人往往会缴费不及时。通过分析，发现不及时缴钱的穷人占71%。而数据挖掘则不同，它自己去分析原因。原因可能是，家住在五环以外的人，不及时缴钱。这些结论对推进工作有很深的价值，比如在五环外作市场调研，发现需要建立更多的合作渠道以方便缴费。这是数据挖掘的价值。
数据挖掘算法
数据挖掘的10大经典算法 国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在 构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他分类器进行了比较。 4. The Apriori algorithm
大数据、数据分析和数据挖掘的区别
大数据、数据分析和数据挖掘的区别 大数据、数据分析、数据挖掘的区别是，大数据是互联网的海量数据挖掘，而数据挖掘更多是针对内部企业行业小众化的数据挖掘，数据分析就是进行做出针对性的分析和诊断，大数据需要分析的是趋势和发展，数据挖掘主要发现的是问题和诊断。具体分析如下： 1、大数据(big data)： 指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产; 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)Veracity(真实性) 。 2、数据分析：
是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。 数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。 3、数据挖掘(英语：Data mining)： 又译为资料探勘、数据采矿。它是数据库知识发现(英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。 简而言之： 大数据是范围比较广的数据分析和数据挖掘。 按照数据分析的流程来说，数据挖掘工作较数据分析工作靠前些，二者又有重合的地方，数据挖掘侧重数据的清洗和梳理。 数据分析处于数据处理的末端，是最后阶段。 数据分析和数据挖掘的分界、概念比较模糊，模糊的意思是二者很难区分。 大数据概念更为广泛，是把创新的思维、信息技术、统计学等等技术的综合体，每个人限于学术背景、技术背景，概述的都不一样。
数据挖掘中十大经典算法
数据挖掘十大经典算法 国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和Barnard 将支持向量机和其他分类器进行了比较。 4. The Apriori algorithm Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。 5. 最大期望(EM)算法 在统计计算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（Data Clustering）领域。 6. PageRank PageRank是Google算法的重要内容。2001年9月被授予美国专利，专利人是Google创始人之一拉里?佩奇（Larry Page）。因此，PageRank里的page不是指网页，而是指佩奇，即这个
数据分析与挖掘实验报告
数据分析与挖掘实验报告
《数据挖掘》实验报告 目录 1.关联规则的基本概念和方法 (1) 1.1数据挖掘 (1) 1.1.1数据挖掘的概念 (1) 1.1.2数据挖掘的方法与技术 (2) 1.2关联规则 (5) 1.2.1关联规则的概念 (5) 1.2.2关联规则的实现——Apriori算法 (7) 2.用Matlab实现关联规则 (12) 2.1Matlab概述 (12) 2.2基于Matlab的Apriori算法 (13) 3.用java实现关联规则 (19) 3.1java界面描述 (19) 3.2java关键代码描述 (23) 4、实验总结 (29) 4.1实验的不足和改进 (29) 4.2实验心得 (30)
1.关联规则的基本概念和方法 1.1数据挖掘 1.1.1数据挖掘的概念 计算机技术和通信技术的迅猛发展将人类社会带入到了信息时代。在最近十几年里，数据库中存储的数据急剧增大。数据挖掘就是信息技术自然进化的结果。数据挖掘可以从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的，人们事先不知道的但又是潜在有用的信息和知识的过程。 许多人将数据挖掘视为另一个流行词汇数据中的知识发现（KDD）的同义词，而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤。知识发现过程如下： ·数据清理（消除噪声和删除不一致的数据）·数据集成（多种数据源可以组合在一起）·数据转换（从数据库中提取和分析任务相关的数据） ·数据变换（从汇总或聚集操作，把数据变换和统一成适合挖掘的形式） ·数据挖掘（基本步骤，使用智能方法提取数
据模式） ·模式评估（根据某种兴趣度度量，识别代表知识的真正有趣的模式） ·知识表示（使用可视化和知识表示技术，向用户提供挖掘的知识）。 1.1.2数据挖掘的方法与技术 数据挖掘吸纳了诸如数据库和数据仓库技术、统计学、机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像和信号处理以及空间数据分析技术的集成等许多应用领域的大量技术。数据挖掘主要包括以下方法。神经网络方法：神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类：以感知机、bp反向传播模型、函数型网络为代表的，用于分类、预测和模式识别的前馈式神经网络模型；以hopfield 的离散模型和连续模型为代表的，分别用于联想记忆和优化计算的反馈式神经网络模型；以art 模型、koholon模型为代表的，用于聚类的自组
数据挖掘主要算法
朴素贝叶斯： 有以下几个地方需要注意： 1. 如果给出的特征向量长度可能不同，这是需要归一化为通长度的向量（这里以文本分类为例），比如说是句子单词的话，则长度为整个词汇量的长度，对应位置是该单词出现的次数。 2. 计算公式如下： 其中一项条件概率可以通过朴素贝叶斯条件独立展开。要注意一点就是的计算方法，而由朴素贝叶斯的前提假设可知， = ，因此一般有两种，一种是在类别为ci的那些样本集中，找到wj出现次数的总和，然后除以该样本的总和；第二种方法是类别为ci的那些样本集中，找到wj出现次数的总和，然后除以该样本中所有特征出现次数的总和。 3. 如果中的某一项为0，则其联合概率的乘积也可能为0，即2中公式的分子为0，为了避免这种现象出现，一般情况下会将这一项初始化为1，当然为了保证概率相等，分母应对应初始化为2（这里因为是2类，所以加2，如果是k类就需要加k，术语上叫做laplace 光滑, 分母加k的原因是使之满足全概率公式）。 朴素贝叶斯的优点： 对小规模的数据表现很好，适合多分类任务，适合增量式训练。 缺点： 对输入数据的表达形式很敏感。 决策树： 决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。 信息熵的计算公式如下:
其中的n代表有n个分类类别（比如假设是2类问题，那么n=2）。分别计算这2类样本在总样本中出现的概率p1和p2，这样就可以计算出未选中属性分枝前的信息熵。 现在选中一个属性xi用来进行分枝，此时分枝规则是：如果xi=vx的话，将样本分到树的一个分支；如果不相等则进入另一个分支。很显然，分支中的样本很有可能包括2个类别，分别计算这2个分支的熵H1和H2,计算出分枝后的总信息熵H’=p1*H1+p2*H2.，则此时的信息增益ΔH=H-H’。以信息增益为原则，把所有的属性都测试一边，选择一个使增益最大的属性作为本次分枝属性。 决策树的优点： 计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征； 缺点： 容易过拟合（后续出现了随机森林，减小了过拟合现象）； Logistic回归： Logistic是用来分类的，是一种线性分类器，需要注意的地方有： 1. logistic函数表达式为： 其导数形式为： 2. logsitc回归方法主要是用最大似然估计来学习的，所以单个样本的后验概率为： 到整个样本的后验概率：
几种常用的异常数据挖掘方法
第24卷第4期2010年7月甘肃联合大学学报(自然科学版) Journal of G ansu Lianhe University (Natural Sciences )Vol.24No.4 J ul.2010 收稿日期:2010205211. 作者简介:王晓燕(19802),女,江苏泗洪人,宿迁市广播电视大学讲师,硕士,主要从事数据库研究. 文章编号:16722691X (2010)0420068204 几种常用的异常数据挖掘方法 王晓燕 (江苏省宿迁广播电视大学,江苏宿迁223800) 摘 要:主要讨论了常用的异常数据挖掘方法,简要地介绍了异常数据挖掘的定义、功能、方法等,详细的介绍了使用统计、距离、偏离技术、密度和高维持数据进行异常数据挖掘的方法并分析了其各自的特点.关键词:异常数据挖掘;异常点数据;方法中图分类号:TP311.13 文献标识码:A 引言 在数据挖掘的过程中,数据库中可能包含一些数据对象,它们与数据的一般行为或模型不一致,这些数据对象被称为异常点,对异常点的查找过程称为异常数据挖掘,它是数据挖掘技术中的一种.异常数据挖掘又称孤立点分析、异常检测、例外挖掘、小事件检测、挖掘极小类、偏差检测等.孤立点可能是“脏数据”,也可能是与实际对应的有意义的事件.从知识发现的角度看,在某些应用里,那些很少发生的事件往往比经常发生的事件更有趣、也更有研究价值,例外的检测能为我们提供比较重要的信息,使我们发现一些真实而又出乎预料的知识.因此,异常数据的检测和分析是一项重要且有意义的研究工作[1,2]. 异常数据挖掘的简介 异常数据挖掘有着广泛的应用,如欺诈检测,用异常点检测来探测不寻常的信用卡使用或者电信服务;预测市场动向;在市场分析中分析客户的极低或极高消费异常行为;或者在医疗分析中发现对多种治疗方式的不寻常的反应等等.通过对这些数据进行研究,发现不正常的行为和模式,有着非常重要的意义. 对异常点数据的挖掘可以描述如下:给定一个n 个数据点或对象的集合,以及预期的异常点的数目k ,目标是:发现与剩余的数据相比是显著相异的、异常的或者不一致的头k 个对象.异常点数据挖掘的任务可以分成两个子问题: (1)给出已知数据集的异常点数据的定义; (2)使用有效的方法挖掘异常点数据.对数 据模式的不同定义,以及数据集的构成不同,会导致不同类型的异常点数据挖掘,实际应用中根据具体情况选择异常数据的挖掘方法. 常用的异常数据挖掘方法及其特点 基于统计的方法 利用统计学方法处理异常数据挖掘的问题已经有很长的历史了,并有一套完整的理论和方法.统计学的方法对给定的数据集合假设了一个分布或者概率模型(例如正态分布),然后根据模型采用不一致性检验来确定异常点数据.不一致性检验要求事先知道数据集模型参数(如正态分布),分布参数(如均值、标准差等)和预期的异常点数目. “不一致性检验是如何进行的?”一个统计学的不一致性检验检查两个假设:一个工作假设(working hypot hesis )即零假设以及一个替代假设(alternative hypot hesis )即对立假设.工作假设是描述总体性质的一种想法,它认为数据由同一分布模型即H :O i ∈F ,i =1,2,…n;不一致性检验验证O i 与分布F 的数据相比是否显著地大(或者小).如果没有统计上的显著证据支持拒绝这个假设,它就被保留.根据可用的关于数据的知识,不同的统计量被提出来用作不一致性检验.假设某个统计量T 被选择用于不一致性检验,对象O i 的该统计量的值为V i ,则构建分布T ,估算显著性概率S P (V i )=Prob (T >V i ).如果某个S P (V i )足够的小,那么检验结果不是统计显著的,则O i 是不一致的,拒绝工作假设,反之,不能拒绝假设.
对数据挖掘的认识
对数据挖掘的认识 一、数据挖掘的理解 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的知识的非平凡过程。这个定义包括几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。数据挖掘，简单地可理解为通过对环境数据的操作，从数据中发现有用的知识。它是一门涉及面很广的交叉学科，包括机器学习、数理统计、神经网络、数据库、模式识别、粗糙集、模糊数学等相关技术。就具体应用而言，数据挖掘是一个利用各种分析工具在海量数据中发现模型和数据间关系的过程，这些模型和关系可以用来做出预测。 从商业角度上看，数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知，有效和可实用三个特征。先前未知的信息是指该信息是预先未曾预料到的，既数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。 二、数据挖掘的主要方法 数据挖掘技术主要来源于四个领域：统计分析、机器学习、神经网络和数据库。所以，数据挖掘的主要方法可以粗分为：统计方法、机器学习方法、神经网络方法和数据库方法。 统计方法主要包括：回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费歇尔判别、非参数判别等）、聚类分析（系
数据挖掘在金融欺诈检测中的应用
数据挖掘在金融欺诈检测中的应用 数据挖掘在金融欺诈检测中的应用 李晓妹 (中南财经政法大学信息与安全工程管理学院430073) 【摘要】金融欺诈行为近年来造成的损失是巨大的,如何能快速,有 效,准确的识别金融欺诈行为成为人们普遍关注的问题.本文从金融 欺诈的概念出发,分析了金融欺诈的行为特征,进而提出了应用数据挖 掘技术进行欺诈检测,并给出了金融欺诈检测的基本流程,为金融欺诈 检测工作提供了参考. 【关键词】金融欺诈;数据挖掘;欺诈检测 一 ,引言 随着经济的发展,在金融领域的欺诈行为已经越来越多,为防 止和检测金融欺诈所带来的费用也逐年增加.调查表明,美国金 融机构每年的欺诈损失占其年收入的6%,相当于美国每年的 GDP损失数千亿美元.英国欺诈损失总额每年也达到了140亿英 镑.欺诈行为不仅给金融机构带来巨大的经济损失,而且给金融 机构造成信誉和形象上的重大负面影响. 欺诈行为在金融服务领域非常普遍,大型数据库管理系统是 金融机构广泛使用的一种基本系统软件,在大型数据库系统中采 用数据挖掘的方法是检测金融欺诈的一种先进的技术手段.在大 量的处理业务数据中对数据进行挖掘分析并找出相应的规则,规 律,论断,再结合人工分析,是检测金融欺诈的一种有效的方法. 二,金融欺诈的基本概念及其分类 欺诈行为是当前社会中广泛关注的一个课题,在牛津词典中 欺诈被定义为:使用非正当的手段获得非正义的利益.而金融欺 诈行为的定义是多样的.一种说法是,金融欺诈就是利用金融产
品规则上的漏洞获取不正当利益的行为.也可以说,凡是在金融市场以谋取自身利益为目的,对他人或组织造成利益损失的不正当行为,都是金融欺诈行为. 金融欺诈行为可以以多种形式呈现,按照其涉及的金融产品 有:贷款欺诈,存款欺诈,票据欺诈,银行卡欺诈,证券欺诈和保险 欺诈等;从欺诈行为的来源分,可以分为外部欺诈和内部欺诈两类;按欺诈手段,可以分为以下三种类型. 一 是利用银行交易系统,进行非法侵入或违规操作,从而谋取 不正当利益.银行卡欺诈,身份窃取以及大量的银行内部违规操作等都属于这种类型.典型的有业务流程欺诈,即利用业务流程上的漏洞获来取利益的欺诈行为.这种欺诈行为一般都可以在金融机构的交易数据库找到信息.所以一旦发现异常,对交易者的定位是很迅速的.更进一步,通过数据挖掘技术我们能提前锁定那些潜在的欺诈行为. 二是提供虚假承诺或虚假信用保证资料进行欺诈.大多数投 融资欺诈都属于这种类型.欺诈者常以高利润投资为诱饵,不断获取投资者输人的一种金融欺诈手段.着名的"庞氏骗局"就是这种欺诈行为的典型代表.近年来比较有名的一个此类欺诈就是麦道夫的"庞氏骗局".其投资者即受害者包括奥地利银行,瑞士银行,汇丰银行,通用对冲基金Tremont公司等知名银行和基金.麦道夫的庞氏骗局其实早在上世纪90年代就已经开始,但是直到2008年金融危机才被识破. 三是隐瞒重要信息,人为制造信息不对称进行欺诈.在证券 市场中,大量的内幕交易,在衍生产品推销过程中故意隐藏其风险性以及运用各种手段操控证券市场以期套利等,都属于这种类型的欺诈行为.2007年,由美国次级抵押贷款市场所引发次贷危机, 并迅速向全世界扩散,最终导致全球金融危机爆发.这其中有大量利用信息不对称进行的欺诈行为.各国在合作对抗危机同时,
《大数据时代下的数据挖掘》试题和答案及解析
《海量数据挖掘技术及工程实践》题目 一、单选题（共80题） 1)( D )的目的缩小数据的取值范围，使其更适合于数据挖掘算法的需要，并且能够得到 和原始数据相同的分析结果。 A.数据清洗 B.数据集成 C.数据变换 D.数据归约 2)某超市研究销售纪录数据后发现，买啤酒的人很大概率也会购买尿布，这种属于数据挖 掘的哪类问题？(A) A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 3)以下两种描述分别对应哪两种对分类算法的评价标准？ (A) (a)警察抓小偷，描述警察抓的人中有多少个是小偷的标准。 (b)描述有多少比例的小偷给警察抓了的标准。 A. Precision,Recall B. Recall,Precision A. Precision,ROC D. Recall,ROC 4)将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？(C) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘 5)当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数 据相分离？(B) A. 分类 B. 聚类 C. 关联分析 D. 隐马尔可夫链 6)建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的 哪一类任务？(C) A. 根据内容检索 B. 建模描述 C. 预测建模 D. 寻找模式和规则 7)下面哪种不属于数据预处理的方法？ (D) A.变量代换 B.离散化
C.聚集 D.估计遗漏值 8)假设12个销售价格记录组已经排序如下：5, 10, 11, 13, 15, 35, 50, 55, 72, 92, 204, 215 使用如下每种方法将它们划分成四个箱。等频（等深）划分时，15在第几个箱子内？ (B) A.第一个 B.第二个 C.第三个 D.第四个 9)下面哪个不属于数据的属性类型：(D) A.标称 B.序数 C.区间 D.相异 10)只有非零值才重要的二元属性被称作：( C ) A.计数属性 B.离散属性 C.非对称的二元属性 D.对称属性 11)以下哪种方法不属于特征选择的标准方法： (D) A.嵌入 B.过滤 C.包装 D.抽样 12)下面不属于创建新属性的相关方法的是： (B) A.特征提取 B.特征修改 C.映射数据到新的空间 D.特征构造 13)下面哪个属于映射数据到新的空间的方法？ (A) A.傅立叶变换 B.特征加权 C.渐进抽样 D.维归约 14)假设属性income的最大最小值分别是12000元和98000元。利用最大最小规范化的方 法将属性的值映射到0至1的范围内。对属性income的73600元将被转化为：(D) A.0.821 B.1.224 C.1.458 D.0.716 15)一所大学内的各年纪人数分别为：一年级200人，二年级160人，三年级130人，四年 级110人。则年级属性的众数是： (A) A.一年级 B.二年级 C.三年级 D.四年级