支持向量机的战场直升机目标分类识别_李京华

　收稿日期:2006-06-10 修回日期:2006-10-15*基金项目:国防重点实验室预研基金资助项目

(51454070204HK 0320);西工大科技创新基金资助项目(2003CR 080001)

　作者简介:李京华(1964-　)女,山西稷山人,博士,研究方

向:声信号处理、战场声目标的被动探测、识别与定位技术等。

文章编号:1002-0640(2008)01-0031-04

支持向量机的战场直升机目标分类识别*

李京华1

,许家栋1

,李红娟

2

(1.西北工业大学电子信息学院,陕西　西安　710072,2.西北工业大学航空学院,陕西　西安　710072)

摘　要:对基于支持向量机的战场直升机目标分类识别技术进行了研究,分别将谐波集(HS)频率和不同尺度小波子空间能量作为特征矢量,设计出一种基于支持向量机的直升机目标分类器,并将该分类器与kN N 分类器和BP 神经网络分类器进行分类对比实验。结果表明两种特征提取方法,都能很好地体现不同声目标之间的差异,SVM 分类器相对于其他两种分类器具有更好的分类性能,目标识别率达到96%以上。

关键词:支持向量机,目标识别,特征提取,分类器中图分类号:T P 18;T N 957 文献标识码:A

Research on Helicopter Target Identification based

on Support Vector Machine

LI Jing -hua 1

,XU Jia-dong 1

,LI Hong -juan

2

(1.E lectr onic I nf or mation College ,N orthw estern Poly technical U niver sity ,X i 'an 710072,China ,

2.A er onautics College ,N or thw ester n P oly technical Univ er sity ,X i ’an 710072,China )

Abstract :T he helicopter targ et identification techniques are studied.Tw o feature extraction approaches employ ,respectively,the harm onic sets frequencies and the energ ies in different scales after the wav elet decomposition as the feature vectors .Support Vector M achine (SVM )classifier is desig ned in helicopter recog nition .Also three classifiers including K -nearest neighborhood classifier ,BP neural netw ork classifier and SVM classifier are used to do the com pariso n exper im ents of targ ets classification .Result show s that these tw o feature extractio n approaches can stand for the differ ence am ong different acoustic tar gets w ell and SVM classifier g et better classification perform ance than other two classifiers.The classification accuracies can reach as high as 96%.

Key words :support v ector m achine,targ et recog nition,featur e ex traction,classifier

引　言

战场目标声识别是被动声探测系统的主要任务

之一,即在复杂的战场环境中,多种目标并存的情况下,利用被动声信号处理技术识别出直升机、坦克、汽车或其他类型的战场目标,从而采用不同的攻击方式摧毁目标。本文中,目标识别的主要任务是判断声目标是否为直升机目标,而排除诸如汽车、坦克等战场目标的干扰。

以往的研究中,所采用的kNN 分类器、神经网络分类器等,取得了一定的研究成果

[1,2]

,但基于传

统统计模式识别方法的kNN 分类器是在样本数目足够多的前提下,即样本数趋于无穷大时其性能才

Vol.33,No.1

January,2008

火力与指挥控制

Fire Control and C om man d Con trol

第33卷　第1期2008年1月

有理论上的保证,而在实际应用中样本数通常是有限的,对于神经网络分类器存在有过学习和训练过程中的局部极小点的问题。在90年代中期Vapnik 等人在统计学习理论的基础上发展出了一种新的通用的学习方法——支持向量机(Support Vector M achine,SVM )[3,4],其在解决小样本、非线性及高维模式识别问题时表现出许多特有优势,且SVM 得出的结果是有限样本信息下的最佳结论,得到的是全局最优点,从而解决了神经网络等学习方法的学习、训练过程中的局部极小点问题。目前SVM 成为机器学习领域的研究热点,已在语音识别、人脸识别、文本分类等方面得到了成功应用[5]。

本文分别将谐波集频率特征和小波子空间能量作为直升机目标识别的特征向量,设计出一种基于支持向量机的直升机目标分类器用于目标识别,最后分析对比了k 近邻分类器、BP 神经网络分类器和支持向量机分类器的效果。

1　战场目标辐射噪声信号的特征提取

1.1

　声信号谐波集(HS )频率特征提取

图1　直升机声信号及其功率谱

直升机、坦克和汽车等战场目标都是较强的连续声源,由于它们在结构上都具有周期转动机制(螺旋桨,发动机等),故目标声信号的功率谱具有鲜明特征,是由一系列有谐波关系的图2　汽车声信号及其功率谱离散线谱叠加于宽带连续谱上而组成,呈谐波关系的频率分量构成一个谐波集HS (Harm onic Set ),且功率谱中包含不同基频的一个或多个谐波集[6]。不同目标的基频及其谐波显著不同,因此

可将谐波集中的频率作为识别不同目标的特征。

图1和图2所示为某型直升机和汽车的时域声信号和功率谱,功率谱中标示出慢变连续谱,以及各自的谐波集。从图1(b )、图2(b )中可以看出直升机通常有两个谐波集,一个是主桨谐波集,另一个是尾桨谐波集,而汽车、坦克等目标只有一个谐波集。利用HS 算法提取谐波集频率特征,其步骤为:

(1)对声信号进行功率谱分析。

(2)进行谐波集检测:谐波集检测算法遵循以下不等式:

?frequency (k )/f m -i mk ?≤E

(1)

其中frequency (k )表示各功率谱线谱对应的频率,f

m

是假定基频,i mk 对应谐波次数,E 是选定的阈值[7]

。若检测到一些频率与某一特定频率有明显的谐波关系,则认为检测到一个谐波集,特定频率就是谐波集的基频。

(3)特征向量的构建:检测到谐波后,特征向量选两个谐波集构成,且每个谐波集中的谐波次数取到4次,特征向量为:

feature=[f 11,f 12,f 13,f 14,f 21,f 22,f 23,f 24]。1.2　声信号小波子空间的能量特征提取

对于直升机等战场目标来说,其被动声信号包含的能量分布与目标的大小、结构等特性密切相关,因此小波分解后各尺度空间上的能量分布代表了目标的本质特征,可以将不同尺度上信号的能量计算出来,然后按照尺度顺序将能量值排列形成特征矢量以供识别。这就是被动声信号小波分解多尺度空间能量特征提取的基本原理。

本文采用Daubechies 小波对直升机、汽车、坦克的实测信号进行了10层小波分解,分解后各尺度

上的归一化能量直方图如图3所示。

图3　战场目标声信号小波分解各尺度能量分布图

选择10层分解后的所有尺度空间的能量来组成特征矢量,计算每一尺度的能量并归一化,设e j 为第j 级尺度细节信号的能量,则构成的特征矢量为:feature=[e 1,e 2,e 3,e 4,e 5,e 6,e 7,e 8,e 9,e 10]。

?32? (总第33-

0032)火力与指挥控制2008年　第1期

2　支持向量机分类器

2.1　支持向量机基本原理简介

支持向量机的基本思想可用图3的两维情况说

明[8]:

图4　最优分类面图中实心点和空心点代表两类样本,H 为分类线,H 1、H 2分别为过各类中离分类线最近的样本

(这些样本向量称为支持

向量)且平行于分类线的

直线,它们之间的距离叫做分类间隔(marg in )。所谓最优分类线就是要求分类线不但能将两类正确分开,而且使分类间隔最大。对线性不可分的情况,可通过内积核函数的非线性变换转化为某个高维空间中的线性问题,在高维空间求最优超平面。2.2　基于支持向量机的分类器设计

将用于训练的特征向量集(x 1,x 2,…,x N )分为两类,一类为直升机目标,一类为非直升机目标,并给每一个特征数据注上相应的标签,(y 1,y 2,…,y N ),y i ∈{-1,+1},+1表示为直升机目标,-1表示其为非直升机目标。用这两类数据训练支持向量机,训练的过程可用下述数学式表示:

求最优分类面,实际上是求下面的拉格朗日函数极小值:

L (w ,b ,A )=(w ?w )-

∑i

A i

{y i

[(w ?x i

)+b ]-1}(2)

把式(2)分别对w 和b 求偏微分并令其为0,就可以把求Lag rang e 函数的极小值问题转化为如下这种较简单的问题:在约束条件

∑N

i =1

y i A i

=0

(3a )A i ≥0,i =1,2,…,N

(3b)

之下对A i 求解下列函数的最大值:Q (A )=

∑N i =1

A i

-1

2

∑N

j =1

A i A j

y i y j

(x i

?x j

)(4)

若A *i 为最优解,则权系数向量

w *

=

∑N

i =1

A *

i

y i

x

i

(5)

b *

=-1

2

w *?[x r +x S ](6)

其中x r 和x S 是每一类满足A *r ,A *

S >0,y r =1,y S

=-1的任意一个支持向量,即最优分类面的权系数向量是训练样本向量的线性组合。这是一个不等式约束下的二次函数极值问题,存在唯一解。且根据

Kuhn -T ucker 条件[9]

,这个优化问题的解需满足A

i (y i (w ?x i +b )-1)=0,i =1,2,…,N (7)因此对多数样本A *i 将为零,取值不为零的A *i

对应于支持向量,它们通常只是全体样本中的很少一部分。求解上述优化方程,得到相应的支持向量和

对应的A

i ,则最终的判决函数可以表示为g (x )=sg n{w *

?x }+b *

=sgn{∑i

A *

i y i (x i ?x )+b *

}

(8)

其中sg n ()为符号函数。

根据SVM 理论对于非线性可分类别,如果用内积函数K (x i ,x )代替上式中的点积(x i ?x ),就可以实现某一非线性变换后的线性分类,而且能避免在高维的特征空间中进行复杂的运算,此时判决函数就变为

g (x )=sg n{∑i

A *

i y i K (x i ?x )+b *

}(9)

实际上K (x i ,x )就是前面所讲的用来对输入空间进行非线性变换的内积核函数。目前常见的核函数有多项式核函数、径向基函数、Sigm oid 函数等。在本文的分类实验中,采用的是二阶多项式核函数,即K (x i ,x )=[(x i ?x )+1]2。最后的分类决策规则为:若g (x )=1,则x ∈直升机类;若g (x )=-1,则x ∈非直升机类。

3　直升机目标识别实验及结果分析

实验分别采用kNN 分类器、BP 神经网络分类器和SVM 分类器对战场目标进行分类识别实验。由于本文主要是识别直升机声目标,故将此目标识别问题看成两类分类问题,一类为直升机目标,一类为非直升机目标(包括汽车和坦克)。

本文使用的数据样本共有99个,是在不同时间、不同测试环境条件下实测的目标数据,其中包含50个直升机样本,49个非直升机样本(包括汽车和坦克)。由于样本数量较少,故本实验采用了一种叫做“交叉有效性”(Cross Validatio n)的测试方法,这种方法能够充分利用样本提供的信息,弥补样本数量不够的缺陷。将所有样本分成三部分(F 1,F 2,F 3),划分情况如表1所示,并按以下步骤做三次测试:

A )训练集:F1+F2;测试集:F3

B )训练集:F 2+F 3;测试集:F 1C)训练集:F3+F1;测试集:F2

实验1:以谐波集(HS)频率作为特征矢量进行识别三种分类器识别结果如表2所示。

?

33?李京华,等:支持向量机的战场直升机目标分类识别

(总第33-0033)

表1　交叉有效性测试样本划分情况

F1F2F3总数直升机17171650非直升机16161749

表2　HS频率特征识别结果

分类器目标类

识别结果

识别为

直升机

识别为

非直升机

k近邻分类器(k=11)

直升机92%8%非直升机 6.1%93.9%

BP神经网络分类器(输入层8,隐层10,输出层1)

直升机90%10%非直升机 3.3%96.7%

支持向量机分类器(C=0.0001)

直升机96%4%非直升机 2.1%97.9%

实验2:以信号小波分解尺度能量作为特征矢量进行识别,三种分类器识别结果如表3所示。

表3　小波分解尺度能量特征识别结果

分类器目标类

识别结果

识别为

直升机

识别为

非直升机

k近邻分类器(k=11)

直升机94%6%非直升机10.2%89.8%

BP神经网络分类器(输入层10,隐层14,输出层1)

直升机92.3% 6.7%非直升机10.2%89.8%

支持向量机分类器

(C=I nf)

直升机96%4%非直升机 2.1%97.9%

在表2和表3中支持向量机分类器参数C表示对错分样本的容忍度,若C=Inf(正无穷大),则容忍度为e-5,若C为其他值,则容忍度为C×e-6。

在上述的实验中,当用HS频率作为特征时, A)、B)和C)测试中支持向量机所寻找到的支持向量个数分别为10、13、11,分别占每次测试训练样本的15.2%、19.7%和16.7%;当用小波分解尺度能量作为特征时,A)、B)和C)测试中支持向量机所寻找到的支持向量个数分别为9、11、8,分别占每次测试训练样本的13.6%、16.7%和12.1%。这可以说明,支持向量确实只是训练样本的很小一部分的理论,其次,说明对于不同的输入特征空间,所得到的支持向量个数不同;第三从表2、表3支持向量机分类器分类结果说明支持向量本身对不同特征提取方法具有一定的不敏感性。

对比表2、表3分类结果,可以得出:

第一,对于完全相同的样本,直升机目标的识别率都能达到90%以上,这说明所采用的特征提取方法和分类器对于直升机目标识别都是有效的。

第二,从特征提取技术的角度考虑,小波分解信号能量作为特征的识别效果比HS频率为特征的要好。在实验中还尝试将小波分解信号能量与HS频率特征结合起来作为特征矢量,对目标进行识别,识别的正识率反而下降。这说明结合起来的特征空间存在冗余。

第三,从分类器的角度考虑,SVM分类器的识别效果最好,目标和非目标正识率都最高,且误判率最低。

4　结　论

本文结合实测战场目标辐射噪声数据的特点,提出了一种基于支持向量机的直升机目标分类识别方法,并分析对比了谐波集(HS)频率和不同尺度小波子空间能量作为特征矢量时三种分类器k近邻分类器、BP神经网络分类器和支持向量机分类器的效果,实验结果表明:两种特征提取的方法从频率和能量的不同角度考虑问题,能够很好地体现不同战场目标之间的差异,提取的特征量较为稳健。从分类器的角度考虑,对于完全相同的特征向量,SVM分类器的识别效果最好,说明了SVM分类器相对于其他两种分类器具有更好的分类性能。

参考文献:

[1]李在庭,高行勇.直升机信号特征提取和识别技术

[J].兵工学报,1996,17(1):55-59.

[2]李京华.基于子波变换和神经网络的直升机目标识

别技术[J].现代引信,1998,19(1):39-44.

[3]V apnik V N.T he N ature of Statist ical L ear ning

T heor y[M].N ew Y o rk:Spr inger V erlag,1995. [4]张学工.关于统计学习理论与支持向量机[J].自动

化学报,2000,26(1):32-42.

[5]柳回春,马树元.支持向量机的研究现状[J].中国图

象图形学报,2002,7(6):618-623.

[6]唐狄毅.飞机噪声基础[M].西安:西北工业大学出

版社,1996.

[7]M ilios E E,N aw ab S H.Sig nal A bstraction in

Signal Pr ocessing So ftw are[J],I EEE T rans.A SSP,

1989,37(6):913-928.

[8]Hear st M,Dumais S T,O sman E,et al.Suppor t

V ecto r M achines[J].IEEE Intellig ent Sy stems,

1998,13(4):18-28.

[9]赵瑞安,吴　方,非线性最优化理论和方法[M].杭

州:浙江科学技术出版社,1992.

?

34

? (总第33-0034)火力与指挥控制2008年　第1期

支持向量机分类器

支持向量机分类器 1 支持向量机的提出与发展 支持向量机( SVM, support vector machine )是数据挖掘中的一项新技术，是借助于最优化方法来解决机器学习问题的新工具，最初由V.Vapnik 等人在1995年首先提出，近几年来在其理论研究和算法实现等方面都取得了很大的进展，开始成为克服“维数灾难”和过学习等困难的强有力的手段，它的理论基础和实现途径的基本框架都已形成。 根据Vapnik & Chervonenkis的统计学习理论 ,如果数据服从某个(固定但未知的)分布,要使机器的实际输出与理想输出之间的偏差尽可能小,则机器应当遵循结构风险最小化 ( SRM,structural risk minimization)原则,而不是经验风险最小化原则,通俗地说就是应当使错误概率的上界最小化。SVM正是这一理论的具体实现。与传统的人工神经网络相比, 它不仅结构简单,而且泛化( generalization)能力明显提高。 2 问题描述 2.1问题引入 假设有分布在Rd空间中的数据，我们希望能够在该空间上找出一个超平面(Hyper-pan),将这一数据分成两类。属于这一类的数据均在超平面的同侧，而属于另一类的数据均在超平面的另一侧。如下图。 比较上图，我们可以发现左图所找出的超平面（虚线），其两平行且与两类数据相切的超平面（实线）之间的距离较近，而右图则具有较大的间隔。而由于我们希望可以找出将两类数据分得较开的超平面，因此右图所找出的是比较好的超平面。 可以将问题简述如下： 设训练的样本输入为xi，i=1，…，l，对应的期望输出为yi∈{+1，-1}，其中+1和-1分别代表两类的类别标识，假定分类面方程为ω﹒x+b=0。为使分类面对所有样本正确分类并且具备分类间隔，就要求它满足以下约束条件： 它追求的不仅仅是得到一个能将两类样本分开的分类面，而是要得到一个最优的分类面。 2.2 问题的数学抽象 将上述问题抽象为： 根据给定的训练集

(完整word版)支持向量机(SVM)原理及应用概述分析

支持向量机（SVM ）原理及应用 一、SVM 的产生与发展 自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM 是一个通用的SVM 软件包，可以解决分类、回归以及分布估计等问题。 二、支持向量机原理 SVM 方法是20世纪90年代初Vapnik 等人根据统计学习理论提出的一种新的机器学习方法，它以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。 支持向量机的基本思想：首先，在线性可分情况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的情况下，加入了松弛变量进行分析，通过使用非线性映射将低维输

基于支持向量机的飞机图像识别算法

基于支持向量机的飞机图像识别算法 发布:2011-09-05 | 作者: | 来源: qihongchao | 查看:902次 | 用户关注： 计算机的模式识别技术是目前研究的热点，本文将探讨运用图像处理技术来进行飞机图像识别。通过神经网络的图像边缘检测方法得到飞机轮廓，再进行特征提取，运用模式识别技术将目标正确的分类。传统的分类方法，如人工神经网络在处理小样本问题时一方面容易出现过学习现像，导致算法的推广性差；另一方面学习的性能差，处理非线性问题算法复杂。而统计学习理论是一种专门的小样本统计理论，基于统计学习理论的支持向量机技术是一种新 计算机的模式识别技术是目前研究的热点，本文将探讨运用图像处理技术来进行飞机图像识别。 通过神经网络的图像边缘检测方法得到飞机轮廓，再进行特征提取，运用模式识别技术将目标正确的分类。传统的分类方法，如人工神经网络在处理小样本问题时一方面容易出现过学习现像，导致算法的推广性差；另一方面学习的性能差，处理非线性问题算法复杂。而统计学习理论是一种专门的小样本统计理论，基于统计学习理论的支持向量机技术是一种新的模式识别方法，能够较好地解决小样本学习问题。本文对基于支持向量机的飞机图像识别算法做了研究。 1 飞机图像识别算法 1.1 基于邻域灰度变化极值和神经网络的图像边缘检测方法 要提取物体的轮廓特征首先必须在图像上得到轮廓的位置，即得到边界象素在图像上的位置。传统的边缘检测算法，如sobel算子、robert算子等有一些缺点，一是提取的边缘很粗，无法精确得到边缘象素，而且边缘具有很强的方向性，使用某一方向性的算子造成的结果是与之垂直方向的边缘较为明显，而相同方向的边缘则检测不到。本文提出了基于邻域灰度变化极值和神经网络的图像边缘检测方法。 由于图像的数据量大，边缘检测网络的训练时间较长，而非边界候选象素对于图像边缘提取作用不大。因此，本文采用一种边界候选象素提取方法，使训练数据规模可观地减少。 图像中的边缘象素都是灰度变化较大的地方，边界候选象素提取算法就是找到这些点。为此，借鉴经典图像锐化的方法，引入一个3×3的检测窗口扫描图像，考察其中心象素与其邻域象素的灰度变化的最大值，通过设定适当的阈值将原始图像变换为二值边缘图像。假定点(x，y)与其邻域灰度变化的最大值为max，阈值为T，二值图像相应点处的值为g(x，y)，则其实现算法为： 此方法求取边界候选象素的优点是对每一象素都考虑了其邻域象素的灰度信息，更符合图像的边缘灰度变化的特点，因此对各类图像都具有广泛的适

支持向量机的实现

模式识别课程大作业报告——支持向量机（SVM）的实现 姓名： 学号： 专业： 任课教师： 研究生导师： 内容摘要

支持向量机是一种十分经典的分类方法，它不仅是模式识别学科中的重要内容，而且在图像处理领域中得到了广泛应用。现在，很多图像检索、图像分类算法的实现都以支持向量机为基础。本次大作业的内容以开源计算机视觉库OpenCV为基础，编程实现支持向量机分类器，并对标准数据集进行测试，分别计算出训练样本的识别率和测试样本的识别率。 本报告的组织结构主要分为3大部分。第一部分简述了支持向量机的原理；第二部分介绍了如何利用OpenCV来实现支持向量机分类器；第三部分给出在标准数据集上的测试结果。 一、支持向量机原理概述

在高维空间中的分类问题实际上是寻找一个超平面，将两类样本分开，这个超平面就叫做分类面。两类样本中离分类面最近的样本到分类面的距离称为分类间隔。最优超平面指的是分类间隔最大的超平面。支持向量机实质上提供了一种利用最优超平面进行分类的方法。由最优分类面可以确定两个与其平行的边界超平面。通过拉格朗日法求解最优分类面，最终可以得出结论：实际决定最优分类面位置的只是那些离分类面最近的样本。这些样本就被称为支持向量，它们可能只是训练样本中很少的一部分。支持向量如图1所示。 图1 图1中，H是最优分类面，H1和H2别是两个边界超平面。实心样本就是支持向量。由于最优超平面完全是由这些支持向量决定的，所以这种方法被称作支持向量机（SVM）。 以上是线性可分的情况，对于线性不可分问题，可以在错分样本上增加一个惩罚因子来干预最优分类面的确定。这样一来，最优分类面不仅由离分类面最近的样本决定，还要由错分的样本决定。这种情况下的支持向量就由两部分组成：一部分是边界支持向量；另一部分是错分支持向量。 对于非线性的分类问题，可以通过特征变换将非线性问题转化为新空间中的线性问题。但是这样做的代价是会造成样本维数增加，进而导致计算量急剧增加，这就是所谓的“维度灾难”。为了避免高维空间中的计算，可以引入核函数的概念。这样一来，无论变换后空间的维数有多高，这个新空间中的线性支持向量机求解都可以在原空间通过核函数来进行。常用的核函数有多项式核、高斯核（径向基核）、Sigmoid函数。 二、支持向量机的实现 OpenCV是开源计算机视觉库，它在图像处理领域得到了广泛应用。OpenCV 中包含许多计算机视觉领域的经典算法，其中的机器学习代码部分就包含支持向量机的相关内容。OpenCV中比较经典的机器学习示例是“手写字母分类”。OpenCV 中给出了用支持向量机实现该示例的代码。本次大作业的任务是研究OpenCV中的支持向量机代码，然后将其改写为适用于所有数据库的通用程序，并用标准数据集对算法进行测试。本实验中使用的OpenCV版本是，实验平台为Visual

支持向量机数据分类预测

支持向量机数据分类预测 一、题目——意大利葡萄酒种类识别 Wine数据来源为UCI数据库，记录同一区域三种品种葡萄酒的化学成分，数据有178个样本，每个样本含有13个特征分量。50%做为训练集，50%做为测试集。 二、模型建立 模型的建立首先需要从原始数据里把训练集和测试集提取出来，然后进行一定的预处理，必要时进行特征提取，之后用训练集对SVM进行训练，再用得到的模型来预测试集的分类。 三、Matlab实现 3.1 选定训练集和测试集 在178个样本集中，将每个类分成两组，重新组合数据，一部分作为训练集，一部分作为测试集。 % 载入测试数据wine,其中包含的数据为classnumber = 3,wine:178*13的矩阵,wine_labes:178*1的列向量 load chapter12_wine.mat; % 选定训练集和测试集 % 将第一类的1-30,第二类的60-95,第三类的131-153做为训练集 train_wine = [wine(1:30,:);wine(60:95,:);wine(131:153,:)]; % 相应的训练集的标签也要分离出来 train_wine_labels = [wine_labels(1:30);wine_labels(60:95);wine_labels(131:153)]; % 将第一类的31-59,第二类的96-130,第三类的154-178做为测试集 test_wine = [wine(31:59,:);wine(96:130,:);wine(154:178,:)]; % 相应的测试集的标签也要分离出来 test_wine_labels = [wine_labels(31:59);wine_labels(96:130);wine_labels(154:178)]; 3.2数据预处理 对数据进行归一化： %% 数据预处理 % 数据预处理,将训练集和测试集归一化到[0,1]区间 [mtrain,ntrain] = size(train_wine); [mtest,ntest] = size(test_wine); dataset = [train_wine;test_wine]; % mapminmax为MATLAB自带的归一化函数 [dataset_scale,ps] = mapminmax(dataset',0,1); dataset_scale = dataset_scale';

基于支持向量机的分类方法

基于支持向量机的分类方法 摘要：本文首先概述了支持向量机的相关理论，引出了支持向量机的基本模型。当训练集的两类样本点集重合区域很大时，线性支持向量分类机就不适用了，由此介绍了核函数相关概念。然后进行了核函数的实验仿真，并将支持向量机应用于实例肿瘤诊断，建立了相应的支持向量机模型，从而对测试集进行分类。最后提出了一种支持向量机的改进算法，即根据类向心度对复杂的训练样本进行预删减。 1、支持向量机 给定训练样本集1122{[,],[,], ,[,]}()l l l T a y a y a y Y =∈Ω?L ，其中n i a R ∈Ω=，Ω是输入空间，每一个点i a 由n 个属性特征组成，{1,1},1,,i y Y i l ∈=-=L 。分类 就是在基于训练集在样本空间中找到一个划分超平面，将不同的类别分开，划分超平面可通过线性方程来描述： 0T a b ω+= 其中12(;;;)d ωωωω=K 是法向量，决定了超平面的方向，b 是位移项，决定 了超平面与原点之间的距离。样本空间中任意点到超平面的距离为|| |||| T a b r ωω+=。 支持向量、间隔： 假设超平面能将训练样本正确分类，即对于[,]i i a y T ∈，若1i y =+，则有 0T i a b ω+>，若1i y =-，则有0T i a b ω+<。则有距离超平面最近的几个训练样本点使得 11 11 T i i T i i a b y a b y ωω?+≥+=+?+≤-=-? 中的等号成立，这几个训练样本点被称为支持向量；两个异类支持向量到超平面 的距离之和2 |||| r ω=被称为间隔。 支持向量机基本模型： 找到具有最大间隔的划分超平面，即 ,2max ||||..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这等价于 2 ,||||min 2..()1,1,2,...,b T i i s t y a b i m ωωω+≥= 这就是支持向量机（SVM ）的基本模型。 支持向量机问题的特点是目标函数2 ||||2 ω是ω的凸函数，并且约束条件都是 线性的。

用于分类的支持向量机

文章编号:100228743(2004)0320075204 用于分类的支持向量机 黄发良,钟　智Ξ (1.广西师范大学计算机系,广西桂林541000; 　2.广西师范学院数学与计算机科学系,广西南宁530001) 摘　要:支持向量机是20世纪90年代中期发展起来的机器学习技术,建立在结构风险最小化原理之上的支持向量机以其独有的优点吸引着广大研究者,该文着重于用于分类的支持向量机,对其基本原理与主要的训练算法进行介绍,并对其用途作了一定的探索. 关键词:支持向量机;机器学习;分类 中图分类号:TP181　文献标识码:A 支持向量机S VM (Support Vector Machine )是AT&T Bell 实验室的V.Vapnik 提出的针对分类和回归问题的统计学习理论.由于S VM 方法具有许多引人注目的优点和有前途的实验性能,越来越受重视,该技术已成为机器学习研究领域中的热点,并取得很理想的效果,如人脸识别、手写体数字识别和网页分类等. S VM 的主要思想可以概括为两点:(1)它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能;(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界. 1　基本原理 支持向量机理论最初来源于数据分类问题的处理,S VM 就是要寻找一个满足要求的分割平面,使训练集中的点距离该平面尽可能地远,即寻求一个分割平面使其两侧的margin 尽可能最大. 设输入模式集合{x i }∈R n 由两类点组成,如果x i 属于第1类,则y i =1,如果x i 属于第2类,则y i =-1,那么有训练样本集合{x i ,y i },i =1,2,3,…,n ,支持向量机的目标就是要根据结构风险最小化原理,构造一个目标函数将两类模式尽可能地区分开来,通常分为两类情况来讨论,(1)线性可分,(2)线性不可分. 1.1　线性可分情况 在线性可分的情况下,就会存在一个超平面使得训练样本完全分开,该超平面可描述为: w ?x +b =0(1) 其中,“?”是点积,w 是n 维向量,b 为偏移量. 最优超平面是使得每一类数据与超平面距离最近的向量与超平面之间的距离最大的这样的平面.最优超平面可以通过解下面的二次优化问题来获得: min <(w )= 12‖w ‖2(2) Ξ收稿日期:2004202206作者简介:黄发良(1975-),男,湖南永州人,硕士研究生;研究方向:数据挖掘、web 信息检索. 2004年9月 广西师范学院学报(自然科学版)Sep.2004 第21卷第3期 Journal of G u angxi T eachers Education U niversity(N atural Science Edition) V ol.21N o.3

基于SVM支持向量机的水质图像分析

龙源期刊网 https://www.wendangku.net/doc/0e12527615.html, 基于SVM支持向量机的水质图像分析 作者：李昂金晓军万权性 来源：《电脑知识与技术》2018年第08期 摘要：针对运用水色图像来判别水质状况的问题，设计了一种基于计算机视觉与机器学习的水质图像评价方法。利用颜色矩阵对水质图像进行特征提取，采用SVM支持向量机算法对水质图像的RGB三通道特征进行数据分析，使用Python语言进行编程，得到一个水质评价模型。实验表明，该方法能有效通过水体的颜色对不同水质进行识别，具有一定的实际应用价值。 关键词：计算机视觉；机器学习；Pvthon；水质图像 中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）08-0157-03 随着工业技术的日益提升，人类的生活变得越来越便利。但与此同时环境污染问题日趋严重，大气、土壤、水质污染是各个工业国家不得不面对的问题。污染需要治理，因此对于污染物的评价与监测十分重要。水产养殖业是我国国民经济的一个重要组成部分，在水产养殖过程中，选择没有污染的水域进行养殖十分重要。有经验的渔业生产从业者能够通过水体的颜色来判断水质的好坏，从而确定水体是否适合鱼类生长。在生产环境下，通常是以传统的肉眼观测法，以经验来观察判断，这种方式虽然有效，但观察结果不够稳定，主观性较强，容易引起观察性偏差。因此寻求一种定量分析有便于推广的方法十分必要。随着计算机视觉技术的快速发展，利用机器视觉代替人工视觉已经用于工业生产的诸多领域，同时也为水产养殖业提供了更好的技术支持。通过合理将计算机视觉技术与专家经验相结合，可以通过水体的颜色，对水质的优劣程度进行分级，对水质情况进行自动快速的识别。本文针对水质污染的评价方法进行研究，通过计算机科学技术对水质图像进行特征提取与数据分析，得到一个有效的水质自动评价模型。 1数据预处理 颜色直方图产生的特征维数一般大于颜色矩的特征维数，为了避免过多变量影响后续的分类效果，在本案例中选择采用颜色矩来提取水样图像的特征，即建立水样图像与反映该图像特征的数据信息关系，同时由有经验的专家对水样图像根据经验进行分类，建立水样数据信息与水质类别的专家样本库，进而构建分类模型，得到水样图像与水质类别的映射关系，并经过不断调整系数优化模型，最后利用训练好的分类模型，用户就能方便地通过水样图像判别出该水样的水质类别。水色分类如表1所示。 图1为基于图像处理的水质评价流程，主要包括以下步骤。

支持向量机SVM分类算法

支持向量机SVM分类算法 SVM的简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力[14]（或称泛化能力）。 以上是经常被有关SVM 的学术文献引用的介绍，我来逐一分解并解释一下。 Vapnik是统计机器学习的大牛，这想必都不用说，他出版的《Statistical Learning Theory》是一本完整阐述统计机器学习思想的名著。在该书中详细的论证了统计机器学习之所以区别于传统机器学习的本质，就在于统计机器学习能够精确的给出学习效果，能够解答需要的样本数等等一系列问题。与统计机器学习的精密思维相比，传统的机器学习基本上属于摸着石头过河，用传统的机器学习方法构造分类系统完全成了一种技巧，一个人做的结果可能很好，另一个人差不多的方法做出来却很差，缺乏指导和原则。所谓VC维是对函数类的一种度量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。 结构风险最小听上去文绉绉，其实说的也无非是下面这回事。 机器学习本质上就是一种对问题真实模型的逼近（我们选择一个我们认为比较好的近似模型，这个近似模型就叫做一个假设），但毫无疑问，真实模型一定是不知道的（如果知道了，我们干吗还要机器学习？直接用真实模型解决问题不就可以了？对吧，哈哈）既然真实模型不知道，那么我们选择的假设与问题真实解之间究竟有多大差距，我们就没法得知。比如说我们认为宇宙诞生于150亿年前的一场大爆炸，这个假设能够描述很多我们观察到的现象，但它与真实的宇宙模型之间还相差多少？谁也说不清，因为我们压根就不知道真实的宇宙模型到底是什么。 这个与问题真实解之间的误差，就叫做风险（更严格的说，误差的累积叫做风险）。我们选择了一个假设之后（更直观点说，我们得到了一个分类器以后），真实误差无从得知，但我们可以用某些可以掌握的量来逼近它。最直观的想法就是使用分类器在样本数据上的分类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值来表示。这个差值叫做经验风险Remp(w)。以前的机器学习方法都把经验风险最小化作为努力的目标，但后来发现很多分类函数能够在样本集上轻易达到100%的正确率，在真实分类时却一塌糊涂（即所谓的推广能力差，或泛化能力差）。此时的情况便是选择了一个足够复杂的分类函数（它的VC维很高），能够精确的记住每一个样本，但对样本之外的数据一律分类错误。回头看看经验风险最小化原则我们就会发现，此原则适用的大前提是经验风险要确实能够逼近真实风险才行（行话叫一致），但实际上能逼近么？答案是不能，因为样本数相对于现实世界要分类的文本数来说简直九牛

支持向量机(SVM)原理及

支持向量机(SVM)原理及应用概述

支持向量机（SVM ）原理及应用 一、SVM 的产生与发展 自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM 是一个通用的SVM 软件包，可以解决分类、回归以及分布估计等问题。 二、支持向量机原理 SVM 方法是20世纪90年代初Vapnik 等人根据统计学习理论提出的一种新的机器学习方 法，它以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。 支持向量机的基本思想：首先，在线性可分情况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的情况下，加入了松弛变量进行分析，通过使用非线性映射将低维输

20.ENVI4.3 支持向量机分类原理、操作及实例分析

ENVI4.3 支持向量机分类原理、操作及实例分析 一、支持向量机算法介绍 1.支持向量机算法的理论背景 支持向量机分类（Support Vector Machine或SVM）是一种建立在统计学习理论（Statistical Learning Theory或SLT）基础上的机器学习方法。 与传统统计学相比，统计学习理论（SLT）是一种专门研究小样本情况下及其学习规律的理论。该理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将许多现有方法纳入其中，有望帮助解决许多原来难以解决的问题，如神经网络结构选择问题、局部极小点问题等；同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机（SVM），已初步表现出很多优于已有方法的性能。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研究热点，并将推动机器学习理论和技术的重大发展。 支持向量机方法是建立在统计学习理论的VC维（VC Dimension）理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力。 支持向量机的几个主要优点有： （1）它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值； （2）算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题； （3）算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较 好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关； 2.支持向量机算法简介 通过学习算法，SVM可以自动寻找那些对分类有较大区分能力的支持向量，由此构造出分类器，可以将类与类之间的间隔最大化，因而有较好的推广性和较高的分类准确率。 最优分类面（超平面）和支持向量

支持向量机资料

支持向量机 1基本情况 Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则。 其原理也从线性可分说起，然后扩展到线性不可分的情况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机（Support Vector Machine，简称SVM）。支持向量机的提出有很深的理论背景 支持向量机方法是在近年来提出的一种新方法。 SVM的主要思想可以概括为两点： ⑴它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能； ⑵它基于结构风险最小化理论之上在特征空间中建构最优分割超平面， 使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上 界。 例子 如图： 将1维的“线性不可分”上升到2维后就成为线性可分了。 在学习这种方法时，首先要弄清楚这种方法考虑问题的特点，这就要从线性可分的最简单情况讨论起，在没有弄懂其原理之前，不要急于学习线性不可分等较复杂的情况，支持向量机在设计时，需要用到条件极值问题的求解，因此需用拉格朗日乘子理论。 2一般特征 ⑴SVM学习问题可以表示为凸优化问题，因此可以利用已知的有效算法发现目标函数

的全局最小值。而其他分类方法（如基于规则的分类器和人工神经网络）都采用一种基于贪心学习的策略来搜索假设空间，这种方法一般只能获得局部最优解。 ⑵SVM通过最大化决策边界的边缘来控制模型的能力。尽管如此，用户必须提供其他 参数，如使用核函数类型和引入松弛变量等。 ⑶通过对数据中每个分类属性引入一个哑变量，SVM可以应用于分类数据。 ⑷SVM一般只能用在二类问题，对于多类问题效果不好。 3原理简介 SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空 间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线 性可分的问题．简单地说，就是升维和线性化．升维，就是把样本向高维空间做映射，一般 情况下这会增加计算的复杂性，甚至会引起“维数灾难”，因而人们很少问津．但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现线性划分（或回归）．一般的升维都会带来计算的复杂化，SVM 方法巧妙地解决了这个难题：应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复杂性，而且在某种程度上避免了“维数灾难”．这一切要归功于核函数的展开和计算理论． 选择不同的核函数，可以生成不同的SVM，常用的核函数有以下4种： ⑴线性核函数K(x,y)=x·y； ⑵多项式核函数K(x,y)=[(x·y)+1]^d； ⑶径向基函数K(x,y)=exp(-|x-y|^2/d^2） ⑷二层神经网络核函数K(x,y)=tanh(a(x·y)+b）． 最优分类面：最优超平面 SVM是从线性可分情况下的最优分类面发展而来的，基本思想可用图2的两维情况说明。 如图：方形点和圆形点代表两类样本，H为分类线，H1，H2分别为过各类中离分类线最近的样本且平行于分类线的直线，他们之间的距离叫分类间隔。 最优分类线就是要求分类线不但能将两类正确分开（训练错误率为0），且使分类间隔最大。 推广到高维空间，最优分类线就变为最优分类面。

随机森林与支持向量机分类性能比较

随机森林与支持向量机分类性能比较 黄衍，查伟雄 （华东交通大学交通运输与经济研究所，南昌 330013） 摘要：随机森林是一种性能优越的分类器。为了使国内学者更深入地了解其性能，通过将其与已在国内得到广泛应用的支持向量机进行数据实验比较，客观地展示其分类性能。实验选取了20个UCI数据集，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行，得到的结论可为研究者选择和使用分类器提供有价值的参考。 关键词：随机森林；支持向量机；分类 中图分类号：O235 文献标识码： A Comparison on Classification Performance between Random Forests and Support Vector Machine HUANG Yan, ZHA Weixiong (Institute of Transportation and Economics, East China Jiaotong University, Nanchang 330013, China)【Abstract】Random Forests is an excellent classifier. In order to make Chinese scholars fully understand its performance, this paper compared it with Support Vector Machine widely used in China by means of data experiments to objectively show its classification performance. The experiments, using 20 UCI data sets, were carried out from three main aspects: generalization, noise robustness and imbalanced data classification. Experimental results can provide references for classifiers’ choice and use. 【Key words】Random Forests; Support Vector Machine; classification 0 引言 分类是数据挖掘领域研究的主要问题之一，分类器作为解决问题的工具一直是研究的热点。常用的分类器有决策树、逻辑回归、贝叶斯、神经网络等，这些分类器都有各自的性能特点。本文研究的随机森林[1]（Random Forests，RF）是由Breiman提出的一种基于CART 决策树的组合分类器。其优越的性能使其在国外的生物、医学、经济、管理等众多领域到了广泛的应用，而国内对其的研究和应用还比较少[2]。为了使国内学者对该方法有一个更深入的了解，本文将其与分类性能优越的支持向量机[3]（Support Vector Machine，SVM）进行数据实验比较，客观地展示其分类性能。本文选取了UCI机器学习数据库[4]的20个数据集作为实验数据，通过大量的数据实验，从泛化能力、噪声鲁棒性和不平衡分类三个主要方面进行比较，为研究者选择和使用分类器提供有价值的参考。 1 分类器介绍 1.1 随机森林 随机森林作为一种组合分类器，其算法由以下三步实现： 1. 采用bootstrap抽样技术从原始数据集中抽取n tree个训练集，每个训练集的大小约为原始数据集的三分之二。 2. 为每一个bootstrap训练集分别建立分类回归树（Classification and Regression Tree，CART），共产生n tree棵决策树构成一片“森林”，这些决策树均不进行剪枝（unpruned）。在作者简介：黄衍（1986-），男，硕士研究生，主要研究方向：数据挖掘与统计分析。 通信联系人：查伟雄，男，博士，教授，主要研究方向：交通运输与经济统计分析。 E-mail: huangyan189@https://www.wendangku.net/doc/0e12527615.html,.

支持向量机在模式分类中的应用

支持向量机在模式分类中的应用 谢骏胡均川笪良龙 （海军潜艇学院战术水声环境数据中心，山东青岛266071） 摘要：介绍了支持向量机的基本思想，依据是否引入核函数，是否具有惩罚因子，支 持向量分类算法被分为线性分界面硬间隔、线性分界面软间隔、非线性分界面硬间隔和 非线性分界面软间隔四类，并讨论了它们的数学模型。以RBF为核函数的非线性支持向 量机对2类2维样本进行的仿真分析，并与最近邻法分类结果进行了比较，结果表明支 持向量机分类能力受核函数参数影响较大，当选取适当参数时，其分类性能与最近邻法 相当。 关键词：特征提取；最近邻分类法；支持向量机；模式分类 中图分类号：TP391.4 文献标识码：A 文章编号： The Application of Support Vector Machines in Pattern Classification XIE Jun，HUN Junchuan，DA Lianglong (Naval Submarine Academy，QingDao266071, China) Abstract：The foundations of support vector machines are introduced. Four mathematics models of support vector classifications including linearly hard margin SVM, linearly soft margin SVM, non- linearly hard margin SVM and non-linearly soft margin SVM are discussed. Comparison between non-linearly SVM classification with RBF kernel and nearest neighbour classification for a 2-dimension feature data set which contains two types.The results show that the classification performance of SVM is affected by kernel function parameter. the classification performance of SVM is equivalent with nearest neighbour classification while kernel function parameter is selected appropriately. Key words：feature abstract; nearest neighbour classification ;support vector machines; pattern classification 1、引言 在模式识别领域如何设计一种具有较好泛化能力的优良分类器一直以来是个备受关注的问题。传统的模式识别或人工神经网络方法都都是以大样本统计理论为基础的，而许多实际问题中常常面对的是小样本。如何从小样本集出发，得到泛化能力较好的模型，是模式识别研究领域内的一个难点。Vapnik[1]等人早在20世纪60年代就开始研究有限样本情况下的机器学习问题，但这些研究长期没有得到充分的重视。近十年来，有限样本情况下的机器学习理论逐渐成熟起来，形成了一个较完善的统计学习理论（SLT）体系。而同时，神经网络等较新兴的机器学习方法的研究则遇到一些重要的困难，比如如何确定网络结构的问题、过拟合与欠拟合问题、局部极小点问题等。在这种情况下，试图从更本质上研究机器学习的SLT 体系逐步得到重视。1992－1995年，在SLT的基础上发展了支持向量机（SVM）算法[1]，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势。尤其是在非线性支持向量机中通过引入核函数，将原始空间的非线性问题转化为特征空间的线性问题来求解，而且核方法的引入从理论上较好的解决了经验风险最小化原则下统计学习的一致性条件，在这1 1基金项目：国防预研基金，51303060403-01；新世纪优秀人才支持计划NCET。 作者简介：谢骏(1976-), 男, 安徽颍上, 汉, 博士生, 讲师, 研究方向为声纳环境效应仿真、水下目标特性分析。

SVM分类器的原理及应用

SVM分类器的原理及应用 姓名：苏刚学号：1515063004学院：数学与计算机学院 一、SVM分类器的原理 SVM法即支持向量机(Support Vector Machine)法，由Vapnik等人于1995年提出，具 有相对优良的性能指标。该方法是建立在统计学习理论基础上的机器学习方法。通过学习算法，SVM可以自动寻找出那些对分类有较好区分能力的支持向量，由此构造出的分类器可以 最大化类与类的间隔，因而有较好的适应能力和较高的分准率。该方法只需要由各类域的边 界样本的类别来决定最后的分类结果。支持向量机算法的目的在于寻找一个超平面H(d),该 超平面可以将训练集中的数据分开，且与类域边界的沿垂直于该超平面方向的距离最大，故SVM法亦被称为最大边缘(maximum margin)算法。待分样本集中的大部分样本不是支持向量，移去或者减少这些样本对分类结果没有影响，SVM法对小样本情况下的自动分类有着较好的 分类结果. SVM方法是通过一个非线性映射p，把样本空间映射到一个高维乃至无穷维的特征空间中（Hilbert空间），使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性 可分的问题。简单地说，就是升维和线性化。升维，就是把样本向高维空间做映射，一般情 况下这会增加计算的复杂性，甚至会引起“维数灾难”，因而人们很少问津。但是作为分类、回归等问题来说，很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以 通过一个线性超平面实现线性划分（或回归）。一般的升维都会带来计算的复杂化，SVM方 法巧妙地解决了这个难题：应用核函数的展开定理，就不需要知道非线性映射的显式表达式；由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复 杂性，而且在某种程度上避免了“维数灾难”。这一切要归功于核函数的展开和计算理论。 选择不同的核函数，可以生成不同的SVM，常用的核函数有以下4种： ⑴线性核函数K(x,y)=x·y； ⑵多项式核函数K(x,y)=[(x·y)+1]^d； ⑶径向基函数K(x,y)=exp(-|x-y|^2/d^2）； ⑷二层神经网络核函数K(x,y)=tanh(a(x·y)+b）；

SVM分类原理

SVM 的分类原理 SVM 的主要思想可以概括为两点: (1) 它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能; (2) 它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。支持向量机的目标就是要根据结构风险最小化原理,构造一个目标函数将两类模式尽可能地区分开来,通常分为两类情况来讨论, (1) 线性可分,(2) 线性不可分。 1. 1 线性可分情况 在线性可分的情况下,就会存在一个超平面使得训练样本完全分开,该超平面可描述为: w ·x + b = 0 (1) 其中,“·”是点积, w 是n 维向量, b 为偏移量。 最优超平面是使得每一类数据与超平面距离最近的向量与超平面之间的距离最大的这样的平面. 最优超平面可以通过解下面的二次优化问题来获得： 满足约束条件： , i = 1 ,2 ,3 ,......, n. (3) 在特征数目特别大的情况,可以将此二次规划问题转化为其对偶问题： (4) (5) (6)

满足约束条件: (7) 这里是Lagrange 乘子, 是最优超平面的法向量, 是最优超 平面的偏移量,在这类优化问题的求解与分析中, KKT条件将起到很重要的作用,在(7) 式中,其解必须满足： (8) 从式(5) 可知,那些 = 0 的样本对分类没有任何作用,只有那些 > 0 的样本才对分类起作用,这些样本称为支持向量,故最终的分类函数为： (9) 根据f ( x) 的符号来确定X 的归属。 1. 2 线性不可分的情况 对于线性不可分的情况,可以把样本X 映射到一个高维特征空间H,并在此空间中运用原空间的函数来实现内积运算,这样将非线性问题转换成另一空间的线性问题来获得一个样本的归属. 根据泛函的有关理论,只要一种核函数满足Mercer 条件,它就对应某一空间中的内积,因此只要在最优分类面上采用适当的内积函数就可以实现这种线性不可分的分类问题. 此时的目标函数为： （10） 其相应的分类函数为: （11） 1. 3 内积核函数 目前有三类用的较多的内积核函数：第一类是 （12）