基于模糊支持向量机的网络入侵检测

基于模糊支持向量机的网络入侵检测

摘要 针对支持向量机如何克服对孤立点和噪音数据的敏感，以及如何将两类问题的解决办法推广至多类的问题，本文提出了一种基于模糊支持向量机的网络入侵检测方法。通过在样本中引入模糊隶属度，来减小噪声数据和孤立点的影响。根据网络入侵检测的特征，选择合适的核函数，构建了适合于网络入侵检测的模糊支持向量机分类器。通过对KDD99的测试结果，表明这种分类器应用于网络入侵检测是可行的，有效的。

关键字 统计学习理论；模糊支持向量机；多类分类；入侵检测

Based on Fuzzy Support Vector Machines Intrusion Detection

Abstract As a support vector machine is not yet perfect, how to reduce isolation points and noise-sensitive data, how to classify multi-class with the method of two-class classification. So A network intrusion detection system Based on Fuzzy support vector machines was proposed in the paper. By introduced the Fuzzy Membership, it reduces the noise and the impact of isolated point. According to the network intrusion detection features, choose the right kernel, and build a network intrusion detection system based Fuzzy Support Vector machines classifiers. Then we test it with DARPA has a standard Intrusion data aggregate and achieved good effect.

Keywords Statistical Learning Theory; FSVM; multi-class classification; Intrusion Detection 1、引言

大量的实际应用中，训练集中的元素不都是清晰的，并且每个训练点的作用是不同的。通常，有些训练点比另外一些训练点更重要，也就是说，有些训练点对我们来说更有意义，这样的训练样本必须正确分类。而另外一些对我们无意义的训练样本，我们并不关心它们(像噪声)是否正确分类。换句话说，这里存在一个模糊成员

[0,1]

i p ∈与每个训练点

i

x 有联系，这个模糊成员

i

p ，在分类问题中可以看作训练点属于这类样本的隶属度，而

(1)i p -看作为无意义程度。这样，我们就可以把SVM 理论概念推广到具有模糊成员训练集的SVM ，称之为FSVM 。其算法描述如下：

设训练集为

111{(,,),...,(,,)}

l l l S x y s x y s =

其中n j x R ∈，{1,1}

j

y ∈-，1j s σ

≤≤，σ

为大于零的实数。j

s

为训练点(,,)j j j x y s 的输出1j

y

= (正类)

或1- (负类)的模糊隶属度(1,...,)j l =。

由于模糊隶属度j s 是训练点(,,)j j j x y s 隶属于某一类的程度，而参数j ξ是测量错分程度的度量，因此j j s ξ就成了衡量对于重要性不同的变量错分程度的度量(1,...,)

j

l =。

对于线性问题，求最优分类超平面问题转化为求解如下二次规划问题：

2

,,1

12

m in

l

j j

w b j w

C

s ξ

ξ

=+∑

..s t (())1j j j

y w x b ξ

?++≥ (4.1)

j

ξ

≥，

1,2,...,j l

=

其中0C >是惩罚参数，1(,...,)T

j ξξξ=，j s 是训练点(,,)j j j x y s 隶属于某一类的程度。 为求解二次规划(4-1)对偶规划，构造L a g r a n g e 函数：

2

1

1

1

1(,,,,)((())1)2l

l

l

j j j

j j j j j

j j j L w b w

C

s y w x b ξαβξα

ξβξ

====

+-

?+-+-

∑

∑∑

(4.2)

其中1(,...,)

T

l α

αα=，1(,...,)

T

l β

ββ=，0

j

α

≥，0

j

β≥，1,...,j l =。

根据W o lfe 对偶定义，对L a g r a n g e 函数关于w ，b ，j ξ求极小，即

1

(,,,,)

l

j

j j j L w b w y x w

ξαβα

=?=-

=?∑ (4.3) 1

(,,,,)

l

j j j L w b y b

ξαβα=?=-=?∑ (4.4)

(,,,,)

j j

j

j

L w b s C ξαβα

β

ξ

?=--=? (4.5)

将(4.3)，(4.4)，(4.5)式代入(4.2)式，对α求极大得二次规划得对偶规划：

1

1

1

1()

2

m a x l

l l

j

i j i j i j j i j y y x x α

α

αα===-

?∑∑∑

..s t

1

0l

j j

j y α

==∑

(4.6)

0j

j s C

α

≤≤，1,...,j l

=

因此求最优超平面问题转化为求解二次规划(4.1)式的对偶规划(4.6)式问题。规划(4.6)式为一个凸二次规划，解得其最优解*

**1(,...,)

T

l α

αα=，所以得到模糊最优分类函数

*

*

()s g n {()}

f x w x b =?+，n

x R ∈ (4.7)

其中

*

*1

l

j

j j

j w y x α

==

∑，

*

1

()

l

i j j j i j b y y x x α==-

?∑

，*

{0}

i i i i

s C α∈<<。

2、模糊隶属度

定义 对于m

R

上的一类点上的一类点，记c x 为类中心点，r 为类半径，其中：

11m a x

i

n

c i

i c i

x x x n

r x x ===

-∑

结合一对一组合思想进行分类，即训练k 个两类分类器，且每次训练过程都是引入模糊性的，即事先为每个样本i x 生成一个模糊隶属度i s 。比如现在要把第l 类和剩余样本分开，由上定义易得第l 类的中心点，记为x +，类半径记为r +；剩余样本看作一类，其中心点记为x -，类半径记为r -。给定一个充分小的0δ>，模糊隶属度i

s

可定义如下：

11i i i i i x x y l

r s x x y l

r δδ

++--?--=?+?=?

-?-≠?+?

(4.16)

这里的δ的引入是为了避免0i s =。 3、基于模糊支持向量机的入侵检测模型

本文的入侵检测系统模型，是基于现实网络中的实际情况建立的。在现实的环境中，除去需要采集实验数据，大多数入侵检测系统都是放置在防火墙的后面，而当在防火墙上采用了大量的安全保护措施后，在其后方获取的数据大部分属于正常的TCP 连接。本文的入侵检测系统模型(如图4.1所示)就是针对这种情况设计的。

图4.1 基于FSVM 的入侵检测模型

Fig4.1 IDS Model Based on FSVM

该模型的处理流程为：首先由数据采集模块捕获网络中的数据流，从得到的网络数据流中分析出网络连接记录，并提取出每条网络连接的特征信息得到TCP/IP 数据包；将网络连接的特征信息由数据预处理模块进行数据预处理，得到模糊支持向量机需要的输入向量格式；如果模糊支持向量机分类器处于训练状态，则训练分类器；如果支持向量机分类器处于预测状态，则由分类器对输入向量进行预测。预测后将结果送决策响应单元，执行相应的响应操作。 FSVM 的分类过程

模糊支持向量机的分类过程与支持向量机的分类过程类似，唯一不同的是在模糊支持向量机的训练过程中引入了模糊隶属度，即事先为每个样本i x 生成一个模糊隶属度i s ，把第i 类和剩余样本分开。整个分类过程分成如下几步：

Step1: 根据给定的样本计算类中心点c x 和类半径r ； Step2: 计算每个样本的模糊隶属度；

Step3: 置Lagrange 乘子x 初值，得到Lagrange 乘子：12,,...n x x x ； Step4: 决策函数对输入样本进行分类；

5 实验与分析

数据集描述

在实验中，我们选用了1999年DARPA为KDD(知识发现与数据挖掘)竞赛提供的一个异常检测的标准数据集，它来源于1998年DARPA的入侵检测评估程序，由美国麻省理工学院的林肯实验室建立，目的是观察和评估入侵检测系统的研究工作，用一套标准格式的数据来评估各种入侵检测系统的性能。

原始数据的预处理

在实验中，本文分别采用30%和50%的训练数据进行实验。数据预处理阶段要做的工作主要是将41个特征中的字符特征转化为数量特征，将网络会话矢量转化为输入特征矢量，而后进行归一化处理。生成输入特征矢量之后，还要对输入特征矢量进行归一化处理，归一化处理的目的在于使得各个特征对检测做出同样的贡献。因为数据记录的特征值具有不同的度量，这使得我们在模式训练算法中计算向量(记录)之间距离的时候，可能使得某些特征占了主导地位，而掩盖了其它一些特征的贡献。经过处理后的数据如图5.1：

图5.1预处理后的数据

Fig 5.1 data after pretreatment

5.3 实验结果及分析

为了定量地描述入侵检测系统的检测性能，在入侵检测系统性能评估指标的基础上给出一些统计量：检测精度=分类正确的样本数/总样本数

根据上述实验步骤，在windows XP的环境下，用MA TLAB进行编程，对其进行仿真实验。通过选取不同比例的样本来训练，其余的数据用于测试。在实验中，分别选取不同数量训练样本实验，分别选取不同的核函数

5.3.1 实验一

选取不同核函数，观察不同核函数对分类结果的影响。为了节省实验时间，我们只选取10%的数据作为训练样本，这样有助于加快训练速度。RBF核函数实验结果(径向基核函数为例)如图5.2：

国家农业科技成果转化资金项目

2011国家农业科技成果转化资金项目 1、基于质量追溯系统的大豆生产加工全程安全技术体系示范2011GB2B200007 张东杰 2011-2013 食品学院 2、模拟移动床色谱高效纯化猪小肠肝素的中试与转化2011GB2B200010 张丽萍 2011-2013 省农产品工程技术研究中心2011年国家自然科学基金项目立项情况

2011年省科技厅科研计划项目 1、农产品加工产业综合技术创新服务平台（省农产品加工工程技术研究中心） 2、黑龙江小麦增产保优高光效群体结构与栽培技术研究 GZ11B101 （指导）于立河 3、基于区域布局的玉米机械化高效高产栽培技术创新集成与示范 GZ11B107 （指导）杨克军 4、以沼肥提高谷子产量和品质技术研究 GZ11B108 （指导）王彦杰 5、水稻钵盘精量排种装置投种机理及试验研究 GZ11B109 （指导）陶桂香 6、玉米芽种振动式定向排序装置机理及试验研究 GZ11B110 （指导）毛欣 7、甜叶菊机械化栽植技术研究 GZ11B111 （指导）郭占斌 8、寒区棚室蔬菜专用杀虫水乳剂的制备及药效研 GZ11B112 （指导）冯世德 9、肝片吸虫病新型诊断方法的建立GZ11B208 （指导）闻晓波 10、阻断剂法生物合成番茄红素技术及分离纯化工艺研究 GZ11B401 （指导）汤华成 11、高产海藻糖合成酶选育及生产工艺的研究GZ11B402 （指导）曹冬梅 12、稻草纤维素基全生物降解地膜的研究GZ11B502 （指导）鹿保鑫 2011年重点实验室开放基金课题 1、纳滤技术在油田采出水深度脱盐处理中的应用（天津市水质科学与技术重点实验室） 食品学院 2011-2012 金丽梅 2、基于scFv分子的TGEV细胞受体靶向阻断剂的筛选（兽医生物技术国家重点实验室） 动物科技学院2011-2012 孙东波3、柽柳THCAP基因启动子的克隆及表达特性分析（林木遗传育种国家重点实验室开放基金） 农学院郭晓红2012-2014 4、黑龙江省农垦系统农产品物流信息化的发展现状及技术需求(北京农业信息技术研究中心) 信息技术学院任守华2011-2012

机器学习与SVM支持向量机

机器学习与SVM支持向量机 内容摘要： 机器学习是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，它是人工智能的核心，是使计算机具有智能的根本途径。基于数据的机器学习是现代智能技术中的重要方面，研究从观测数据出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测，包括模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。支持向量机是从统计学发展而来的一种新型的机器学习方法，在解决小样本、非线性和高维的机器学习问题中表现出了许多特有的优势，但是，支持向量机方法中也存在着一些亟待解决的问题，主要包括：如何用支持向量机更有效的解决多类分类问题，如何解决支持向量机二次规划过程中存在的瓶颈问题、如何确定核函数以及最优的核参数以保证算法的有效性等。本文详细介绍机器学习的基本结构、发展过程及各种分类，系统的阐述了统计学习理论、支持向量机理论以及支持向量机的主要研究热点，包括求解支持向量机问题、多类分类问题、参数优化问题、核函数的选择问题等，并在此基础上介绍支持向量机在人脸识别中的应用，并通过仿真实验证明了算法的有效性。 关键词：机器学习、支持向量机

机器学习的研究背景 机器学习概念的出现学习是人类具有的一种重要智能行为，但究竟什么是学习，长期以来却众说纷纭。社会学家、逻辑学家和心理学家都各有其不同的看法。按照人工智能大师西蒙的观点，学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或相同类似的任务时，会比现在做得更好或效率更高。西蒙对学习给出的定义本身，就说明了学习的重要作用。在人类社会中，不管一个人有多深的学问，多大的本领，如果他不善于学习，我们都不必过于看重他。因为他的能力总是停留在一个固定的水平上，不会创造出新奇的东西。但一个人若具有很强的学习能力，则不可等闲视之了。机器具备了学习能力，其情形完全与人类似。什么是机器学习？迄今尚没有统一的定义，由其名字可理解为机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍微严格的提法是机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。这里所说的“机器”指的就是计算机，现在是电子计算机，以后还可能是种子计算机、光子计算机或神经计算机等等。机器能否像人类一样能具有学习能力呢？1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对弈中改善自己棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。机器的能力是否能超过人的，很多持否定意见的人的一个主要论据是：机器是人造的，其性能和动作完全是由设计者规定的，因此无论如何其能力也不会超过设计者本人。这种意见对不具备学习能力的机器来说的确是对的，可是对具备学习能力的机器就值得考虑了，因为这种机器的能力在应用中不断地提高，过一段时间之后，设计者本人也不知它的能力到了何种水平。 支持向量机的研究背景 支持向量机(Support Vector Machine，SVM)方法是在统计学习理论(Statistical LearningTheory,SLT)基础上发展而来的一种机器学习方法，SVM在使用结构风险最小化原则替代经验风险最小化原则的基础上，又结合了统计学习、机器学习和神经网络等方面的技术，在解决小样本、非线性和高维的机器学习问题中表现出了许多特有的优势。它一方面可以克服神经网络等方法所固有的过学习和欠学习问题，另一方面又有很强的非线性分类能力，通过引入核函数，将输入空间的样本映射到高维特征空间，输入空间的线性不可分问题就转化为特征空间的线性可分问题。支持向量机被看作是对传统分类器的一个好的发展，并被证明可在保证最小化结构风险的同时，有效地提高算法的推广能力。随着计算机技术的蓬勃发展以及人们在各个领域对模式识别技术的需求与应用，计算机模式识别技术也有了很大的发展。模式识别就是设计一个能够对未知数据进行自动分类的方法，常用模式识别方法有统计识别方法、句法结构识别方法、模糊理论识别方法、神经网络识别方法、模板匹配识别方法和支持向量机的识别方法等。其中基于支持向量机的模式识别方法是目前最为有效的模式识别方法之一。V．Vapnik等人早在20世纪60年代就开始研究小样本情况下的机器学习问题，当时这方面的研究尚不十分完善，且数学上比较艰涩，大多数人难以理解和接受，直到90年代以前还没能够提出将其理论付诸实现的方法，加之当时正处在其他学习方法飞速发展的时期，因此这方面的研究一直没有得到足够的重视。直到90年代中期，小样本情况下的机器学习理论研究逐渐成熟起来，形成了较完善的理论体系——统计学习理论(Statistical Learning Theory,SLT)[2]，而同时，神经网络等新兴

一种改进的支持向量数据描述故障诊断方法

第26卷第7期V ol.26No.7 控制与决策 Control and Decision 2011年7月 Jul.2011一种改进的支持向量数据描述故障诊断方法 文章编号:1001-0920(2011)07-0967-06 唐明珠1,王岳斌2,阳春华1 (1.中南大学信息科学与工程学院，长沙410083；2.湖南理工学院计算机学院，湖南岳阳414006) 摘要:针对故障诊断中故障类样本难于获取以及不均衡类问题,提出了基于粒子群和滑动窗口的支持向量数据描述(M-SVDD)故障诊断方法.该方法利用粒子群优化支持向量数据描述的核参数,同时引入滑动窗口技术,通过大窗口大小来控制故障诊断模型的训练样本数,根据小窗口的预测误差变化动态调整大窗口的大小.采用该方法对铜转炉吹炼过程进行故障诊断的实验结果表明,该方法能有效抑制过拟合现象,具有故障敏感性高、泛化能力强等特点.关键词:支持向量数据描述；粒子群；故障诊断；不均衡类；滑动窗口 中图分类号:TP18文献标识码:A Modi?ed support vector data description for fault diagnosis TANG Ming-zhu1,WANG Yue-bin2,YANG Chun-hua1 (1.School of Information Science and Engineering，Central South University，Changsha410083，China；2.School of Computer，Hu’nan Institute of Science and Technology，Yueyang414006，China．Correspondent：YANG Chun-hua, E-mail：ychh@https://www.wendangku.net/doc/f83126076.html,) Abstract：Aiming at the dif?culty of obtaining fault samples and class imbalanced problem,a modi?ed support vector data description for fault diagnosis based on both particle swarm optimization and sliding windows(M-SVDD)is proposed in this paper.The kernel parameters of support vector data description are optimized by the particle swarm optimization. At the same time,the sliding window technique is introduced.The number of training samples for fault diagnosis model is controlled by a dynamic adjusted large window.The size of the large window is adjusted dynamically according to the changes of predicting error of the small window.M-SVDD is applied to the fault diagnosis of copper-converting smelting process.The experimental results show that M-SVDD can prevent effectively the phenomenon of over-?tting and has good fault sensitivity and generalization. Key words：support vector data description；particle swarm optimization；fault diagnosis；class imbalanced；sliding window 1引言 判断复杂工业过程是否发生故障是安全生产的重要步骤之一,及时发现故障对于提高产品的产量和质量具有重要的意义.对该过程采样时,往往很难获取所有故障类别,甚至有些故障样本无法获得.因此,在不考虑或较少考虑故障类样本的前提下,研究如何利用比较容易获取的复杂工业过程正常类样本构造一个能准确判断复杂工业过程是否处于正常状态的诊断模型更具实用价值. 近年来,基于数据驱动的故障诊断方法得到了广泛应用,包括代价敏感支持向量机[1]、代价敏感概率神经网络[2]和K-最邻近(KNN)[3]等方法.代价敏感概率神经网络和代价敏感支持向量机在进行故障诊断时均假设样本集中至少有两类样本,而在实际应用中往往类别不均衡,甚至只能获取某一类样本,如正常类样本.因此,这两种方法利用有限的有色冶金过程故障类样本和正常类样本建立的故障诊断模型应用于实际有色冶金过程时受到限制.文献[3]提出的KNN算法用一类样本便可以进行故障诊断,但在预测时存在过拟合现象. Tax等人在SVM的基础上提出了支持向量数据描述(SVDD)[4],在机械故障诊断、图像检测等方面得 收稿日期:2010-03-25；修回日期:2010-06-11. 基金项目:国家杰出青年科学基金项目(61025015)；国家自然科学基金项目(60874069)；国家863计划项目(2009AA04Z137)；中南大学优秀博士学位论文扶植项目. 作者简介:唐明珠(1983?),男,博士生,从事数据挖掘、机器学习等研究；阳春华(1965?),女,教授,博士生导师,从事复杂工业过程建模与优化控制等研究.

支持向量机研究进展

第38卷　第2期2011年2月计算机科学Computer Science Vo l .38No .2Feb 2011 到稿日期:2010-03-14　返修日期:2010-06-21 本文受江苏省自然科学基金项目(BK2009093),国家自然科学基金项目(60975039)资助。顾亚祥(1987-),男,硕士生,主要研究方向为数据挖掘、支持向量机,E -mail :gu yaxiang @yah oo .com .cn ;丁世飞(1963-),男,教授,博士生导师,主要研究方向为机器学习与数据挖掘、人工智能与模式识别等。 支持向量机研究进展 顾亚祥1　丁世飞1,2 (中国矿业大学计算机科学与技术学院　徐州221116) 1 (中国科学院计算技术研究所智能信息处理重点实验室　北京100080) 2 　 摘　要　基于统计学习理论的支持向量机(Suppo rt v ec to r machines ,SV M )以其优秀的学习能力受到广泛的关注。但 传统支持向量机在处理大规模二次规划问题时会出现训练时间长、效率低下等问题。对SV M 训练算法的最新研究成果进行了综述,对主要算法进行了比较深入的分析和比较,指出了各自的优点及其存在的问题,并且着重介绍了目前研究的新进展———模糊SV M 和粒度SV M 。接着论述了SV M 主要的两方面应用———分类和回归。最后给出了今后SV M 研究方向的预见。 关键词　支持向量机,训练算法,模糊支持向量机,粒度支持向量机中图法分类号　T P181 文献标识码　A Advances of Support Vector Machines (SVM ) G U Y a -xiang 1　DING Shi -fei 1,2 (Sch ool of Com pu ter Science and Tech nology ,C hina University of M ining and Techn ology ,Xuzh ou 221116,China ) 1 (Key Lab oratory of Intelligent In formation Processing ,Institute of Computing T ech nology ,Chinese Academy of S ciences ,Beijin g 100080,China ) 2　 A bstract Suppo rt v ecto r machines (SV M )a re w idespread a ttended fo r its ex ce llent ability to learn ,tha t are based on statistical learning theo ry .But in dealing w ith lar ge -scale quadratic pr og ramming (Q P )problem ,traditio nal S VM will take to o long time of tr aining time ,and has lo w efficiency and so on .T his paper made a summa rize o f the new pro gr ess in the SV M training of alg o rithm ,and made analysis and compariso n o n main alg orithm ,pointed out the advantages and disadvantage s o f them ,focused on new pro g ress in the curre nt study ———F uzzy Suppo rt Vecto r M achine and G ranular Suppo r t Vecto r M achine .Then the two mainly applicatio ns ———cla ssifica tion and reg ression o f SV M wer e discussed .Fi -nally ,the article gav e the future r esear ch dir ec tions on S VM prediction . Keywords Suppo rt vecto r machine ,T r aining algo rithm ,Fuzzy SV M ,G r anula r SVM 支持向量机是Vapnik 等人于1995年首先提出的[1],它是基于VC 维理论和结构风险最小化原则的学习机器。它在解决小样本、非线性和高维模式识别问题中表现出许多特有的优势,并在一定程度上克服了“维数灾难”和“过学习”等传统困难,再加上它具有坚实的理论基础,简单明了的数学模型,使得支持向量机从提出以来受到广泛的关注,并取得了长足的发展。 支持向量机的训练算法归结为求解一个受约束的Q P 问题。对于小规模的Q P 问题,它体现出了十分优秀的学习能力,但当将其应用到大规模的QP 问题时,就会表现出训练速度慢、算法复杂、效率低下等问题。现在主要的训练算法都是将原有大规模的Q P 问题分解成一系列小的Q P 问题。但是如何进行分解以及选择合适的工作集是这些算法面临的主要问题,并且这也是各个算法优劣的表现所在。另外一些算法主要是增加函数项、变量或系数等方法使公式变形,使其具有某一方面的优势,或者有一定应用范围。 目前研究的大规模问题训练算法并不能够彻底解决所面 临的问题,因此在原有算法上进行合理的改进或者研究新的训练算法势在必行。本文对主要的训练算法以及SV M 扩展算法进行了综述,并在此基础上对未来研究的方向进行了展望。 1　SVM 基本理论 支持向量机最初是在模式识别中提出的。假定训练样本集合(x i ,y i ),i =1,…,l ,x i ∈R n ,y ∈{-1,+1},可以被超平面x ·w +b =0无错误地分开,并且离超平面最近的向量离超平面的距离是最大的,则这个超平面称为最优超平面[1]。而SVM 的主要思想是通过某种事先选择的非线性映射将输入向量x 映射到一个高维特征空间Z ,并在这个空间中构造最优超平面[2,3]。但是如何求解得到这个最优超平面以及如何处理高维空间中经常遇到的维数灾难问题?针对第一个问题,主要将训练SV M 算法归结成一个Q P 问题,并且该问题的解由下面的拉格朗日函数的鞍点给出: L (w ,b ,α)=1 2w 2-∑l i =1 αi {y i [(x i ·w )-b ]-1}