序贯最小优化的改进算法
０００—９８２５／２００３／１４（０５１０９１８＠２００３Ｊｏｕｍａｌｏｆｓｏｆｔｗａｒｃ软件学报ｖｏｌ１４，Ｎｏ５
序贯最小优化的改进算法＋
李建民＋，张钹，林福宗
（清华大学计算机科学与技术系，北京１０００８４）
（清华大学智能技术与系统国家重点实验室，北京１０００８４）
ＡｎＩｍｐｒｏＶｅｍｅｎｔＡｌｇｏｒｉｔｈｍｔｏＳｅｑｕｅｎｔｉａｌＭｉｎｉｍａＩｏｐｔｉｍｉｚａｔｉｏｎ
ＬＩｊｉａｎ?Ｍｉｎ＋，ＺＨＡＮＧＢＯ，ＬＩＮＦｕ－Ｚ０ｎｇ
（Ｄ。ｐａｎｍｅｎｔｏｆｃｏｍｐｕｔｅｒｓｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇ弘Ｔｓｉｎｇｈｕａｕｎｉｖｅｒｓｉ‘ｙ，ＢｅＵｌ“ｇ１０００８４，ｃｈｍａ）
（ｓ协ｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＩｎｔｅｌ垤ｅｎｔＴｅｃｈｎｏｌｏｇｙａｎｄｓｙｓｔｅｍｓ，Ｔｓｉｎｇｈｕａｕｎｉｖｅｒｓｉｔｙ，ＢｅＵｉ“ｇ１０００８４，ｃｈｉｎ辛
＋ｃｏ丌ｃｓｐ仰ｄｉ“ｇａｕｔｈｏｒＰｈｎ：８６—１０一６２７８２２６６ｅｘｔ８４２６，Ｅ?ｍａｉｌ：ｑｍ＠ｓ１０００ｅｃｓｔｓｉｎｇｈｕａｅｄｕｃｎ
ｈｔｔｐ：／脚ｗｗｃｓｔｓｉｎｇｈｕａｅｄｕｃｎ
Ｒｅｃｅｉｖｅｄ２００２－０ｌ?０７；Ａｃｃｅｐｔｅｄ２００２－０８?１３
ＬｉＪＭ，ｚｈａ昭Ｂ，ＬｌｎＦｚ．ＡｎｊｍｐｒｏｖｅｍｅｎｔａｌｇｏｒｉｔｈｍｔｏｓｅｑｕｅⅡⅡａｌｍｉｎｉｍａｌｏｐｔｉｍｉｚａｔｉｏｎ．Ｊ口Ⅳ埘４“，，＆ｌ厅Ｈ懈＂，２００３，１４（５）：９１８￣９２４．
垒！垃；型笪型型：ｊ鱼§：Ｑ￡ｇ：￡型！垒ＱＱ：里Ｓ２』［！璺盟！§：ｈ！迅
ｅｍｃｉｅｎｔｍｅｍｏｄｆｏｒｔｒａｉｎｉｎｇＡｂｓｔｒａｃｔ：Ａｔｐｒｅｓｅｎｔ
ｓｅｑｕｅｎｔｉａｌｍｉｎｌｍａｌｏｐｔｉ商ｚａｔｉｏｎ（ｓＭＯ）ａｌｇｏｎｔｌｌｍｉｓａｑｕｉｔｅ
ｌａｒｇｅ—ｓｃａｌｅｓｕｐｐｏｎｖｅｃｔｏｒｍａｃｈｉＩｌｅｓ（ＳＶＭ）ＨｏｗｅｖｅＬｔｌｌｅｆｃａｓｉｂｌｅｄｉｒｅｃｔｉｏｎｓ“叭ｅｇｙｆｏｒｓｅｌｅｃｔｉ“ｇｗｏｒｋｉ“ｇｓｅｔｓｍａｙｄｅｇｒａｄｅｔｈｅｐｅｒｆｏｍａｎｃｅｏｆｔｈｅｋｅｍｅｌｃａｃｈｅｍａｉｎｔａｉｎｅｄｉｎＳＭＯＡｆｔｃｒａｎｉｎｔｅｒｐｒｅｔａ“ｏｎｏｆＳＭ０ａｓｔｈｅｆｅａｓｌｂｌｅｄｉｒｅｃｔｉｏｎｍｅ廿ｌｏｄｉｎｔｈｅ打ａｄｉｔｉＯｎａｌ０ｐｔｉｍｉｚａｔｉＯｎｔｌｌｅｏｏ弘ａｎｏｖｅｌｓｔｒａｔｅｇｙｆｏｒｓｅｌｅｃｔｉｎｇｗＯｒｋｉｎｇｓｅｔｓａｐｐ｝ｉｅｄｉｎＳＭＯｉｓｐｒｅｓｅｎｔｅｄ．Ｂａｓｅｄｏｎ血ｅｏｄｇｉｎａｌｆｅａｓｉｂｌｅｄｉｒｅｃｔｉｏｎｓｅｌｅｃｔｉｏｎｓｔｒａｔｅｇｙ＇ｔｈｅｎｅｗｍｅｔｈｏｄｔａｋｅｓｂｏｔｈｒｅｄｕｃｔｉｏｎｏｆｔｈｅｏｂｊｅｃｔ如ｎｃｔｉｏｎ柚ｄｃｏｍｐｕｔａｔｉｏｎａｌｃｏｓｔｒｅｌａｔｅｄｔｏｔｈｅｓｅｌｅｃｔｅｄｗｏｒｋｉｎｇｓｅｔｉｎｔｏｃｏｎｓｉｄｅｒａｔｉｏｎｉｎｏｒｄｅｒｔｏｉｍｐｍｖｅｔｂｅｅ衔ｃｉｅｎｃｙｏｆｔｈｅｋｅｍｅｌｃａｃｂｅ．Ｉｔｉｓｓｈｏｗｎｉｎｔｈｅｅｘｐｅｄｍｅｎｔｓｏｎ廿ｌｅｗｅｌｌ－ｋｎｏｗｎｄａｔａｓｅｔｓｍａｔｃｏｍｐｕｔａｔｉｏｎｏｆｔｌｌｅｋｅｍｅｌ如ｎｃｔｉｏｎ锄ｄ廿ａｉｎｉｎｇｔｉｍｅｉｓｒｅｄｕｃｅｄｇｒｅａｔｌｙ＇ｅｓｐｅｃｉａｌｌｙｆｏｒｔｈｅｐｒｏｂｌｅｍｓｗｉｔｌｌｍ柚ｙｓａｍｐｌｅｓ，ｓｕｐｐｏｎＶｅｃｔｏｒｓａｎｄｎｏｎ－ｂＯｕｎｄｓｕｐｐＯｎｖｅｃｔｏｆｓ．
ｍａｃｈｍｅ；ｓｅｑｕｅｍｉａｌ幽ｉｍａｌｏｐｔｉｍｉｚａｔｉｏｎ；ｃａｃｈｅ
Ｋｔｙｗｏｒｄｓ：ｍａｃｈ抽ｅｌｅ姗ｉＩ】舀ｓｕｐｐｏｎｖｅｃｔｏｒ
摘要：序贯最小优化（ｓｅｑｕｅｎｔｉａｌｍｉｎｉｍａｌ０ｐｔｉｍｌｚａｔｉｏｎ，简称ｓＭＯ）算法是目前解决大量数据下支持向量机（ｓｕｐｐｏｎｖｅｃｔｏｒｍａｃｈｉｎｅ，简称ｓｖＭ）训练问题的一种十分有效的方法，但是确定工作集的可行方向策略会降低缓存的效率给出了ｓＭｏ的一种可行方向法的解释，进而提出了一种收益代价平衡的工作集选择方法，综合考虑与工作集相关的目标函数的下降量和计算代价，以提高缓存的效率实验结果表明，该方法可以提高ｓＭ０算法的性能，缩短ｓｖＭ分类器的训练时间，特别适用于样本较多、支持向量较多、非有界支持向量较多的情况．
关键词：机器学习；支持向量机；序贯最小优化；缓存
?ｓｕｐｐｏｎｅｄｂｙｔｈｅＮ乩ｌ∞ａｌＮ乱ｕｒａｌｓｃｌｅｎｃｅＦｏｕｎｄａｎｏｎｏｆｃｈｌｎａｕｎｄｅｒ０ｒａｎｔＮ０６０ｌ３５０１０（国家自然科学基金工出ｅＮａ“ｏｎ鲥ＧｒａｎｄＦｕｎｄａｍｅｎ诅ｌＲｅｓｅａｆｃｈ９７３ＰＴｏｇｒａｍｏｆｃｈｌｎａｕｎｄｅｒＧｒａｎｔＮｏＧｌ９９８０３０５０９（国家重点基础研究发展规划（９７３））第一作者简介：李建民（１９７１），男，山东微山人，博士生，主要研究领域为文语转换，机器学习
李建民等：序贯最小优化的改进算法９１９中图法分类号：ＴＰｌ８ｌ文献标识码：Ａ
支持向量机（ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓ，简称ｓｖＭ）…以统计学习理论为基础，具有简洁的数学形式、直观的几
何解释和良好的泛化能力，是一种解决分类、回归、概率密度估计等问题的有力工具，近年来在手写数字识别、目标识别、文本分类、时间序列预测等许多实际应用中取得了成功
给定输入空间中的，个训练样本Ｏ。∥Ｊ一。ＥＲ“∥，∈｛一ｌ，１），ｆ－１，，，，某个核函数（ｋｅｍｅｌ血ｎｃｔｉｏｎ）艇ｚ，，ｚ，）和正则化
参数ｃ，训练一个ｓＶＭ二分类器，实质上是求解二次规划（ｑｕａｄｒａｔｉｃｐｒｏｇｒａｍｍｉｎｇ，简称ＱＰ）问题，见式（１）
１，１
掣∥（“）２吉一伽１ｋ１．ｆｌ、
ｓ上，ｒ口：ｑｏ≤ｑ≤ｃ，Ｊ：ｋ，，Ｊ’一
其中，Ｈｅｓｓｉ扑矩阵Ｑ是一个半正定矩阵，Ｑ删ｄ隹０，卉）护如１∥２¨∥ｄ７；Ｐ＝（１，１…，１）２．
传统的优化方法，如内点算法、既约梯度法等，在每次迭代中需要利用整个ＨｅｓｓｉａＩｌ矩阵来更新口而Ｑ是一
个『×，的非稀疏阵受普通计算机内存容量的限制，经典的二次规划算法根本无法处理大量数据的问题．因此，口的存储和计算成为大规模ｓｖＭ训练问题的瓶颈席４约了ｓｖＭ的应用
分解算法是解决大量样本下ｓｖＭ训练问题的一类有效方法它将式（１）分解为一系列规模较小的ＱＰ问题
在每次迭代中利用传统优化算法求解一个子ＱＰ问题，更新球的一个分量子集（即工作集）．各种分解算法的区别在于工作集的大小和生成原则不同．其中，序贯最小优化（ｓｅｑｕｅｎｔｉａｌｍｉｎｉｍａｌｏｐｔｉｍｉｚａｔｉｏｎ，简称ｓＭＯ）算法经过不断的改进，成为目前较为有效的ｓｖＭ训练方法当前最流行的一些ｓｖＭ的训练软件都采用结合可行方向策略的ｓＭｏ算法，并实现ｒＫｅｍｅｌｃａｃｈｅ和ｓｈｒｉｎｋｉｎｇ两种加速方法，比如ＬｌＢｓｖＭ哆ｓｖＭＴ０ｒｃｈ吼利用可行方向策略的ｓＭｏ算法，每次迭代以对Ｋａｒｕｓｈ．Ｋｕｂｎ．Ｔｕｃｋｅ“ＫＫＴ）条件破坏最多的两个Ｌａｇｒａ∞ｇｅ乘子为工作集但是，这可能使缓存中元素频繁更新，命中率下降，进而导致核函数计算次数增加，训练时间增大
本文给出ｓＭＯ的一种可行方向法解释，根据这种解释，可直接求出任意工作集带来的目标函数下降值，而
不必求出工作集变量的新值．然后提出一种收益代价平衡的工作集选择方法，综合考虑与工作集相关的目标函
数下降量和计算代价，提高了缓存的利用效率，缩短了训练时问本文第ｌ节概述ｓＭＯ算法．第２节给出ｓＭＯ的
可行方向法解释第３节介绍收益代价平衡的工作集选择方法第４节给出实验和分析最后是结论
ｌｓＭｏ及其改进算法
Ｐｌａｎ首先提出ｓＭＯ算法【４ｌ，将工作集大小口限定为２，以得到子ＱＰ问题的解析解，避免通用优化软件的额
外开销．算法采用经验方法而不是文献『５伸的可行方向策略，通过内、外层循环分别确定工作集的两个乘子．同
时，利用数据的稀疏性优化核函数的计算，并对线性ｓｖＭ做特殊处理．随后引入Ｋｅｍｅｌｃａｃｈｅ和ｓｈｒｉｎｋｉｎ窖方法哆
其后，ｓＭＯ算法得到了各种改进Ｆｌａｋｅ等人【７】针对ｓｖＭ回归问题，改进了经验方法，以提高ｃａｃｈｅ的利用效
率Ｋｅｅｆ血ｌ等人晴ｌ修正了优化条件，并针对经验方法提出两个改进措施，以保证算法收敛，并减少迭代次数．随后，Ｋｅｅｎｈｌ等人吲提出了ｇｅｎｅｒａｌｉｚｅｄｓＭＯ（ＧｓＭ０）算法，利用ｖｉｏｌａｔｌｎｇｐａ打的概念确定工作集，并指出前面两种
改进都是ＧｓＭＯ的特例ｃｈａｎｇ等人｛刘继而指出文献［８］中的改进２是可行方向策略当叮＝２时的特例．
Ｋｅｅｎｈｉ等人【９Ｊ证明，ｖｒ＞０，以ｐｖｉｏｌａｔｉｎｇｐａ打为工作集，则ＧｓＭＯ算法有限终止，得到式（１）的产近似优化
解ＬｉｎＩＩ州证明，在一定条件下，采用可行方向策略的分解算法，其｛矿）的任意聚点是式（１）的全局最优解当口＝２时，Ｌｉｎ…】证明，无须该条件工ｉｎ还证明【”ｌ，在一定条件下，采用可行方向策略的分解算法具有线性收敛速度
虽然采用可行方向策略的ｓＭ０的收敛速度是线性的，但是各子ＯＰ问题的求解异常简单，所以相对于其他
一些算法，该算法还是比较快的，因为训练ｓｖＭ分类器的时间取决于迭代的次数和每次迭代所需要的时间．
而Ⅳ聊ｄ，Ｄ，蜘旭软件学报２００３，１４（５）２ｓＭｏ的可行方向法的解释
可行方向法是求解约束非线性规划问题的一类方法其基本策略是，从一个可行点出发，沿着某可行下降方向进行搜索，得到新的可行点不同的可行下降方向的生成原则和沿该方向的搜索方式，形成不同的可行方向法
分解算法与可行方向法具有相似的迭代结构，工作集也对应着一个可行下降方向．但在分解算法中并不沿着该方向进行线搜索，而是求解工作集上的子ＱＰ问题因此一般而言，二者是不同的．但当ｇ＝２时，分解算法等同于可行方向法．利用ｓＭＯ的这种解释，不仅可以简化子ＯＰ问题的求解，而且可以直接计算目标函数的下降值２．１可行方向法的解释
设采用文献【２】中的可行方向策略确定的工作集为（嘶。，锄），则容易证明，求解相应的二阶子ＱＰ问题并更新耐即更新口的ｆｌ和ｆ２分量），等价于在方向ｄ上做一维可行点精确搜索并更新耐即ａ｝矿“＋口西，即求解式（２）．
ｍｉｎｕ（Ⅱ）＝矿似）＝矿（口。１４＋ｄｄ）
ｓｔ口＞０
０≤ａｏ‘ｏ＋４ｄ≤Ｃ
，７（ｄ“。＋口ｄ）＝０
其中，口枷是当前可行点（即０ｓ口。‘４≤ｏ＿。１ｔ０）≯是由工作集构造的一个可行下降方向（即西１叫ｍ如＝＿ｙｎ，面＝０，ｆ＿ｌ…，，，ｆ≠ｆ１，ｆ≠垃）．容易得到式（２）的解为
ｎ＝ｍｉｎ（ｄ’，口一印），（３）
。。：』＿箐，恸加
其中，４＋是坝口）的驻点，ｔ印是口的上界，即
Ｉ＋∞，ｄ’Ｑｄ＝０
“一印２”ｉｎ（Ⅱ一印ｍ８一印－２）
一，＝协？劳描小丑ｒ：
因此，可以从可行方向法的角度来理解ｓＭｏ算法：选择工作集（嘶，，ａ钮），即寻找可行下降方向最求解工作集上的子ＯＰ问题，即沿４进行可行点的精确搜索，确定步长因子口＞ｏ，并更新盔
２．２目标函数的下降值
在第七次迭代中，经过可行点的精确搜索，式（１）的目标函数的下降值为
彳矿‘＝∥忙“１）一∥忙‘）＝∥以‘＋口０‘）一∥抽‘）＝Ⅳ‘）７ｖ∥取‘如‘＋÷口‘）７ｖ２∥国‘ｙ‘扣‘）２
＝ｃ一：一：，［；影ｌ｛：：；）。女＋；ｃ一：。ｉ，（赛：墨兰］（鬟］ｃａ‘，２
＝ｑ盅ｂ）７Ｖ吮ｂ口‘＋妄ｑ盅ｂ）７醮ｂｄ盅ｂ（口‘）２．
其中，矿是第七次迭代中可行点精确搜索得到的步长，即式（２）的最优解．为书写简洁，下面略去迭代记号上标七可以注意到，式（２）的目标函数与一矿０）＝矿似＋耐）一矿恤）只相差一个常数，因此对于给定的工作集（西１，嘶２），可以通过式（５）确定其带来的目标函数的晟大下降值：
李建民等：序贯最小优化的改进算法９２ｌ
呼４∥（萨（屯）７Ｖ眠。ａ＋；（氐。）乜ｎ氏ｎｎ２
ｓ．ｔ．口＞０
０≤ｎ。１６＋口ｄ≤Ｃ
ｙ７（ａ。”＋ｄｄ）＝０
在可行方向策略中，需要利用ｖ职神＝Ｑ口叫确定工作集，所以，在算法实现中保存Ｖ瞅曲，在每次迭代中加以更新．而Ｑ的对角元素ｏ。ｆ＿ｌ…，‘在子ＱＰ的求解中频繁出现，可以在算法实现中提前计算并保存元素Ｑ。因此，一旦确定了工作集，以ｕｂ，Ｖ暇ｕｂ均已知，只有当行Ｑ，ｔ和勘不在缓存中时，Ｑ㈨是未知的．所以，最多只需计算一次核函数，并求解式（５），即可得到式（１）的目标函数的下降值．式（５）为一元二次函数在区间上的极值问题，其解为
ｌ昙（ｄ。）ｒｖ岷。口‘，Ⅱ’如一印
４矿２１二；。）ｒｖ暇。。一印＋昙ｑ。）ｒＱｓ。ｄ。。。一印ｚ，。＋，。一印’‘６’
ｓＭＯ算法收敛较慢，迭代次数较多．在总的计算量中，核函数的计算通常占主要地位．Ｋｅｍｅｌｃａｃｈｅ方法通过缓存Ｑ中元素，减少了核函数的重复计算．但是多数ｓＭＯ中工作集的选择算法，包括Ｐｌａｎ的经验、Ｋｅｅｒ血ｉ的改进和可行方向策略，目的是使目标函数尽可能多地下降因而算法对缓存的访问很不规则，与常用的ＬｅａｓｔＲｅｃｅｎｔｕｓｅｄ（ＬＲｕｌ的缓存替换原则有冲突当缓存容量相对于训练问题的规模较小时，就会出现对缓存的频繁更新，命中率下降，重复计算的减少效果就会大打折扣．而且因为维护缓存的开销，训练时间反而有可能增加．ｓＭｏＲｃＨ【７】在特定情况下关闭缓存，防止过度不规则的访问对缓存的破坏同时，在经验方法的内层循环中，从对应的Ｑ中元素存于缓存中的乘子（以下简称为被缓存的乘子）中，选取使目标函数下降最多的作为工作集中的第２个元素．而在ｓｖＭ“枷嘲中，当采用非线性核函数且工作集的大小超过４时，要求工作集中至少有一半乘子被缓存．上述方法的基本思想是优先选取被缓存的乘子。以提高缓存的命中率．但是这可能会造成ｓＭＯ的效率低下，因为每次迭代中目标函数的下降可能很少，从而导致迭代次数很多
可行方向策略需要利用梯度甲瞅曲选择工作集．因此，在ｓＭ０算法的每次迭代中，（啦！，舶）上的子ＱＰ问题求解之后，必须利用Ｑ的第ｆ１和ｆ２行来更新．所Ｉ三【，如果在被缓存的乘子中选择工作集，可以减少Ｑ中两行元素的计算；而如果不加限制，则可能获得较大的目标函数下降量．这实际上是代价与收益的折衷问题．基于这种考虑，我们提出了收益代价平衡的工作集选择方法，力图使每次迭代中的收益和代价在一定程度上达到平衡，兼顾迭代次数与缓存效率．首先在所有的乘子中确定工作集，即求解式（７）”Ｊ．
ｎ＝ａｒｇｍａ）【忙Ｖ∥似），防＝ｌ，ｑ＜ｃ；妒∥扣），防＝一１，口，＞ｏ批ｌ…
ｆ２＝ａｒｇｍｉｎ【妒∥国）ｆ｜Ｍ＝一ｌ，ｑ＜ｃ｝｝＿Ｖ缈恤），∽＝ｉ，ｑ＞ｏＵｆ
然后在被缓存的乘子中确定工作集，就是求解式（８）．
ｎ＝ａｒｇｍ瓤【ｉ＿Ｖ矿国），∽＝ｌ，ｑ＜ｃ，Ｑｉｌｌｃａｃｈｅ；妒∥以）．防＝一ｌ，ａ，＞ｏ，２ｉｎｃａｃｈｅ批ｌ…
ｆ２＝ａｒｇｍｉｎｌ妒∥ｍ）ｒ∽＝一１，ａｆ＜ｃ，２ｉＩｌｃ∞ｈｅ；卜Ｖ矿０）ｆ防＝ｌ，口ｆ＞ｏ，２ｉｎｃａｃｈｅ珏Ｉ
其中凸是口的第ｆ行．然后根据两个工作集的收益和代价，确定最终的工作集．
因此，计算一个工作集所带来的目标函数的下降量，成为新算法的关键．幸运的是，ｓＭＯ算法的工作集仅包含两个Ｌａｇｒ粕ｇｅ乘子，使计算变得较为简单一种方法是，求解关于该丁作集的二阶子ＱＰ问题，进而得到新的目标函数值和目标函数的下降量但是，借助ｓＭＯ的可行方向法的解释，可以直接得到目标函数的下降量算法３．１．收益代价平衡的工作集选择算法
ｓｔｅｐ１求解式（７），在所有的Ｌａ矿ａｎｇｅ乘子中确定一个工作集厶¨＿
而“Ｍｄ，Ｄ，蛳耀软件学报２００３，１４（５）
ｓｔｅｐ２．如果‰已经满足优化条件，则工作集为空，即不存在可行下降方向，当前口为近似最优解；否则转ＳｔｅＤ３
ｓｔｅｐ３求解式（８），在被缓存的Ｌａｇｍｇｅ乘子中确定一个工作集Ｌ。。ｈｅ
ｓｔｅｐ４若厶。。ｈ。不存在，或者厶。。ｈ。已经满足优化条件，或者厶。ｈ。与厶ｌ相同，则选择工作集厶１１；否则转ｓｔｅｐ５ｓｔｅｐ５利用式（６）分别计算厶。。ｈ。引起的目标函数的下降值Ｒ咖＝一一矿，厶ｉｚ引起的目标函数的下降值Ｒ。¨＝一一∥比较Ｒ。ｌＩ和胄。。。ｈｅ，如果月。咖≥ｃｏ矿?Ｒ”则选择上作集厶讪。，否则选择工作集厶１１＿在上述算法中，参数ｃｏ∥用来平衡目标函数的下降值和为此付出的计算代价，可近似为每次迭代中以，ｃ虻ｈ。和，ａ１１为［作集的计算量之比再乘上一个系数可以看到，当ｃＤ旷＝ｏ时，算法即代价优先算法，尽量减少每次迭代中的计算代价；而当ｃＤｅ厂＝ｏ。时，收益优先算法希望获得较大的目标函数下降量，就是一般的可行方向镶略需要指出，算法３１得到的工作集都是由ｖｉｏｌａｔｉ“ｇｐａ计构成的，根据文献【９】，此算法应用于ｓＭＯ是收敛的．
４实验结果及分析
４．１实验内容
在ＬＩＢｓｖＭ的基础上，我们实现了收益代价平衡算法．作为对照，还实现了两个算法，一个是随机算法，即按照等概率随机选取厶船ｈ。和厶Ｊ，；另一个是代价优先算法，即优先选取厶。。ｋ．所有算法均采用ｃ＋＋实现，并利用ｃ＋＋Ｂｕｉｌｄｅｒ５Ｏ编译．在实现文中算法时，没有采取任何优化措施，以便突出算法本身的区别．
我们在两个公共测试数据库ｕｃＩＡｄｕｌｔ和ｗｃｂ数据集１４ｌ上对上述３个算法，ＬＩＢｓｖＭ２－３ｌ和ｓＶＭ“ｇｈ‘３．５０做了１２个实验，以比较在不同数量的训练样本、不同数量的支持向量、不同容量的缓存、是否采用ｓｈｎｎｋｉｎｇ、不同的参数ｃｏ盯等情况下的性能实验的硬件平台为ＰＩＩＩ６００笔记本，１２８ＭＲＡＭ，操作系统为ｗｉｎｄｏｗ９８ｓＥｓｖＭ的训练参数以及ＬＩＢｓｖＭ和ｓｖＭ“ｇ…的参数，都采用Ｐｌａｄ４啪Ｊｏａｃｈｌｍｓ㈣的建议值
４．２实验结果
受篇幅限制。这里仅给出部分实验结果，见表１～表４其中，随机方法的数据是两次训练所得数据的平均值ＴｈｂＩｅ１Ｒｕｎｔｉｍｅｃｏｍｐａｒｉｓｏｎａｍｏｎｇ血ｅｓｅｍｅｍｏｄｓｏｎｓｍａｌｌ虹ａｉｎｉｎｇｓｅｔｓ
表ｌ小训练样本集上各种方法的训练时间比较
Ａｄｕｌ“４０Ｍ１１５２２５３０３２５３０８４８２８４８５
Ａｄｕｌｐ４２０Ｍ１０４０８０３ｌ９７５３２３４６２９８ｌ５
Ａｄｕｌｔ－４，４０Ｍ，ｓｌｌｒｉｎｋｌｎｇ３０８５０３ｌ５２８２９８４０２６２６
Ａｄｕｌｔ－４，２０Ｍ，ｓｈｒｉｎｋｌｎｇ３ｌ叭Ｏ３ｌ２７０２９９１０３０２７Ｗｅｂ＿４４０Ｍ６ｌＯ６５６３９７４０３８７３８２６２３５
Ｗｅｂ＿４２０Ｍ４０６０５４０２７３２８３１５
Ｗｅｂ一４，４０Ｍ，ｓｈｒｉｎｋｉｎｇ２４３００２４３３６２ｌ３８０３９７０
！些：！：！！坚：！！：ｉ！！ｉ！ｇｊ：：！！！ｊ！：！：！！！：！翌！！：ｉ！
Ｔａｂｌｅ２Ｒｕｎｔｉｍｅｃｏｍｐａｄｓｏｎ啪ｏｎｇｔｌｌｅｓｅｍｅｍｏｄｓｏｎ１８ｒｇｅ仃ａｉｎｉ“ｇｓｅｔｓ
表２大训练样本集上备种方法的训练时间比较
Ａｄｕｌｔ．４０Ｍ８２０３８２５ｌ８５ｌ５３５２３４６３６５２５３２７１２
Ａｄｕｌｔ．２０Ｍ６３６３９２５１９３８７３０２６７４８０３３３２６３８９
Ａｄｕｌｔ，４０Ｍ，ｓｈｎｎ“ｎｇ１４５７０５０ｌ４６３４５２ｌ４２９４１９１６３６１９
Ａｄｕｌｔ，２０Ｍ，ｓｈｒｉｎｋｌｎｇｌ４６ｌ４７５ｌ４８３２７９１４６７２３５１６３５２０Ｗｅｂ．４０Ｍ２４１７３４７２２１５７１０５２７９００９８３０６４０８５
Ｗｅｂ．２０Ｍ２２７５ｌｌＯ２９６９７６０３４１８７８１
Ｗｅｂ，４０Ｍ，ｓｈｒｉＩｌｋｉｎｇｌ３５４４９０ｌ４１９５５５１４５７４９５１５０８３４
竖！：！！坚：！坠ｉ些ｉ坚！！！！：！！ｉ！！型：！塑！｛！！：！业！笪！：翌
Ⅲ盯依次取０２５，０２５，Ｏ５，ｌ，１，０５，０５，０５
“∞盯依次取０１，０１，０ｌ，０５，０５，０２５，０．５，Ｏ．５
李建民等：序贯最小优化的改进算法
Ｔ曲ｌｅ３ＲｌＩｌｌｔｉｍｅｃｏｍｐａｒｌｓｏｎａｍｏｎｇｔｈｅｓｅｍｅｔｈｏｄｓｏｎｍＯｄｅｍｔｅｔｒａｌｎｍｇｓｅｔ
ｗｉｔｈｄｌｆ话ｒｅｎｔｎｕｍｂｅｒｏｆｎｏｎｒｂｏｕｎｄｓｕＤＤｏｎｖｅｃｔｏｒｓ
表３较大训练样本集上不同非有界支持向量数目下各种方法的训练时间比较
ＥｘｐｅｄｍｅｎｔＡｌｇｏｎｍｍ３ｌ（ｓｒ”Ｒａｎｄｏｍ（ｓ）ＬＩＢｓｖＭ（ｓ）ＳｖＭ””“（ｓ）ＡｄｕＩｔ一７．Ｃ；１．４０Ｍ３７８４３５３８４７６６３４３，０００
Ａｄｕｌｔ．７．Ｃ＝ｌ，４０Ｍ，ｓｈｎｎｋｉｎＥ３３１６９５３３５５８２３２２．”５３８９４４
ＡｄｕＩｔ．７．Ｃ＝１０４０Ｍｌ３６２１００２５４６９０８３０１４４０５
Ａｄｕｌｌ－７，Ｃ‘１０．４０Ｍ．ｓｈｒｉｎｋｌｎＥ７ｌ７０００７７７４９８９５０８８４１４７２１５
Ａｄｕｌ■７Ｃ＝１００．４０Ｍ６４４０３６５１８５０１７１９２５２６１５５０
Ａｄｕｌｔ一７，Ｃ‘１００，４０Ｍ，ｓｌｌｒｌｎｋｉｎｇ２７８０１３４４５１４８４５５１９３２１０９６７１２７
Ｔｈｈｌｅ４Ｃｏ螂ａｒ趣ｏｎｏｆｍｎ“ｍｅ，ｎｕｍｂｅｒｏｆｉｔｅｒａｔｉｏｎｓａｎｄｎｕｍｂｅｒｏｆｋｅｍｅｌｅｖａＩｕａｔｉｏｎｓ
ａｍｏｎ２血ｅｓｅｍｅｔｈｏｄｓｏｎＡｄｕｌｔｄａｔａｓｅｔｗｉｔｈｃａｃｈｅｓｉｚｅｂｅｉｎｇ４０Ｍ
表４Ａ“ｌｔ数据集上各种方法（缓存容量为４０Ｍ）的训练时间、迭代次数和核函数计算次数比较乏攀冒。。萨。。，。旷。。…”鼍葛｝。”’。萨。，。。旷。，Ｒａ“ｏｍ（Ｌ＝＝；
ＲｕｎｔＩｍｅｒｓｌ８２０３８２５ｌ９６６２２１ｌ８５８９８５Ｉ８５ｌ５３５ｌ８６７１０５ｌ９０６６３０２３４６３６５２５３２７１２Ｎｕｔｎｂｅｒｏｆ
４０６７１６３６９５ｌ３３９０６３０６４０２６５９５２５２４７２４６２５２４６２ｌｉ忙ｒａｔｌｏｎｓ
Ｎｕｍｂｃｒｏｆ
ｋｅｎｌｅｌ４９１１６５２０８５０５７５２９８４５０４７４３５６２５１１３５３６４８５２７１７８７８０５７４２６３４３２７４７１３５０９０９０３７２５７４８ｅｖａｌｕａｔｌｏｎｓ
４．３结果分析
４３１参数叩盯对训练时间的调节作用
和预期的一样，在算法３．１中，参数∞∥对迭代次数和核函数的计算次数具有平衡作用，进而影响总的训练
时问．从表４中可以看出，随着∞ｅ，的增大，迭代次数呈减少趋势，核函数的计算次数呈增多趋势，而总的训练时间先是逐渐减少，然后又逐渐增大，即存在极小点．所以，通过选择适当的ｃＤ萌可以减少ｓｖＭ的训练时间．最佳ｃＤ盯与Ｋｅｍｅｌｃａｃｈｅ的容量、训练样本的数量和稀疏程度、核函数的复杂程度等因素有关
实验数据同时表明，在最佳ｃ皑ｒ附近，训练时间的变化并不显著．因此，即便不能找到最佳∞ｄ只要在其某
个邻域内，都能够有效地减少训练时间这个性质意味着收益代价平衡的工作集选择算法具有很大的可操作性，只要大致估计出较好的ｃＤ盯即可．
４３．２各种方法比较
同样采用收益优先算法，ｓＶＭ“Ｂ“（ｓｈｄｎｋｉｎｇ模式）的迭代次数和核函数计算次数与ＬＩＢｓｖＭ（ｓｈｍｋｉｎｇ模式）大致相当，但是由于通用优化软件带来一定的额外开销，训练时间比ＬＩＢｓｖＭ长代价优先方法虽然能减少核函数的计算次数，甚至１／２以上，但是由于候选可行下降方向被限制在较小范围内，迭代次数过多，训练时间远远超过其他方法，因而并不适用于ｓＭＯ算法随机方法在多数情况下不如收益优先方法（以下除非特别声明，收益优先算法是指ＬｌＢｓｖＭ），但当样本很多时，则优于收益优先算法，雨不如平衡算法取最佳的ｃｏｅｆ收益优先方法当样本较少时强于最佳ｃｏ斫但是当样本较多，特别是非有界支持向量较多时，最佳ｃｏ∥的训练时间则明显少于收益优先方法．
收益优先和平衡算法存在性能差异的原因在于：在ｓｖＭ的训练过程中，Ｌａｇｒａｎｇｅ乘子从初值。逐步更新成
最优解，至少访问一次支持向量对应的Ｑ中的行，而访问非有界支持向量对应的行的次数可能较多当训练样本
相对于缓存容量较少时，缓存可以存放较多Ｑ的行，命中率相对较高，所以收益优先和平衡算法中核函数计算次
数相差很少，但是平衡算法会对缓存中的工作集多做一些迭代，而且有其他一些计算，比如估计目标函数的下降
值，所以总的训练时间略多于收益优先算法．而当训练样本相对较多时，缓存存放的行就会变少，收益优先算法
可能会用当前丁．作集对应的Ｑ的行替换缓存中已有的行（如果缓存是满的），而不久又重新计算被舍弃的行这
种对缓存的频繁更新导致核函数的计算次数急剧变多，特别是当非有界支持向量较多时而对于平衡算法，只要…ｃｏ盯依次取０２５，０ｌ。Ｏｌ，Ｏ５，Ｏ２５，０５
如“埘ｄ，Ｄ，蜘坤软件学报２００３，１４（５）
缓存中的工作集能够使目标函数的下降值超过一定幅度，就会尽量利用被缓存的乘子，因而能够减少核函数的计算次数
实验数据证明了这一点对于数据子集Ａｄｕｌｔ，由于缓存容量不同，平衡算法（取∞￡户０１，下面均略去ｃｏ矿的最佳值）的核函数计算次数比收益优先算法分别下降约４３％和５４％，总的训练时间也分别下降约２７％和４２％．对于数据子集Ａ“ｌｔ．７，当ｃ生ｌｏ和ｃ叠１００时，由于非有界支持向量数目的不同，平衡算法中核函数计算次数比收益优先算法分别下降约７９％和９２％．总的训练时间也分别下降约５５％和７５％．
从实验数据中也可以看出，采用ｓｈｒｉｎｋｉｎｇ方法，逐步估计出有界支持向量和非支持向量，从而避免对其进行优化，以减少核函数的计算次数和训练时间，尤其适合有界支持向量较多的情况．对于数据子集Ａｄｕｌｔ，收益优先算法＋ｓｈｒｉｎｋｉｎｇ的训练时间与平衡算法＋ｓｈｄｎｋｉｎｇ基本相同，而对于数据子集ｗｃｂ，平衡算法＋ｓｈ血ｋｉｎｇ略好，减少约１０％，这是因为ｗ曲数据集中的非有界支持向量的数量比Ａｄｕｌｔ数据集中的多一些．但是对于Ａ“ｌｔ．７。当ｃ分别取ｌＯ和ｌｏｏ时，平衡算法＋ｓｈｒｉｎｋｉｎｇ的性能大大优于收益优先算法＋ｓｈｍｌｋｉ“ｇ，核函数的计算次数分别下降约３７％和７１％，训练时间分别下降约２５％和４６％，而相对于ｓｖＭ“ｇ“，训练时间更是分别下降约５１％和７１％因为此时非有界支持向量数目较大，比例较高，而ｓｈｎｎｋｉｎｇ方法并不能处理这种情况．
５结论
本文首先给出了ｓＭＯ算法的可行方向法的解释．并据此得到任意工作集造成的目标函数下降值的计算公式；然后介绍了一种应用于ＳＭＯ算法的工作集选择方法，在可行方向策略的基础上，考虑了Ｋｅｍｅｌｃａｃｈｅ的利用效率，在目标函数的下降幅度和所需要的计算量之间得到了平衡实验表明，这种方法可以提高ｓＭ０算法的性能，缩短ｓｖＭ分类器的训练时间，特别适用于样本较多、支持向量较多、非有界支持向量较多的情况．今后我们将把这种方法推广到ｓＶＭ回归．另外，使这种方法与ｓｈｄｎｋｉｎｇ方法更好地结合，也是值得研究的方向．
致谢台湾大学计算机科学与信息工程系ｃｈ蚰ｇｃｈｉｈ－ｃｈｕｎ和Ｌｉｎｃｈｉｈ?Ｊｅｎ的训练软件ＬＩＢｓＶＭ为我们的方法和实验提供了一个平台．在此向他们表示感谢
Ｒｅ“ｒｅｎｃｅｓ：
［１】ＢｕｒｇｅｓｃＡｔＩｌｔｏｒｉａｌｏｎｓｕｐｐｏｎｖｃｃｔｏｒｍａｃｈｌｎｅｓｆｏｒｐａｔ饽ｍｒｃｃｏｇｎｉｔｌｏｎＤａ协ＭｉｎｌｎｇａｎｄＫｍｏｗｌｅｄｇｅＤｌｓｃｏｖｅｒｙ，１９９８，２（２）１～４３
ｍａｃｈｌｎｅｓ（Ｖｅ舢ｎ２３）２００１ｈｔ中：／，Ｗｗｗｃｓｉｅｎｔｌｌｅ血ｔｗ卜ｑｌｌｎ，ｐａｐｅｒｓ／［２】ｃｈ卸ｇｃｃ，Ｌｌｎ，ｃＪＬＩＢｓＶＭ：Ａ１ｉｂｒａｒｙｆｏｒｓｕｐｐｏｎｖｅｃｔｏｒ
ｌｌｂｓｖｍＤｄｆ２００ｌ
［卅ｃｏｌｌｏｂｅｒｆＲ，ＢｃｎｇｉｏｓｓＶＭＴｏｒｃｈ：Ａｓ”Ｐｐｏｎｖｅｃｔｏｆｍａｃｈｌｎｅｆｏｆ１４ｒｇｅ—ｓｃａｌｅｒｃｇｒｅｓｓｌｏｎａｎｄｃｌａｓｓｉｎｃａｔｌｏｎｐｒｏｂｌｃｍｓＪｏｕｍａｌｏｆＭ∽ｈｍｅＬ∞衄ｇＲｅｓ朗ｒｃｈ，２００Ｉ，１：１４３～１６０
［４］ＰｌａｎＪＦａｓｔｔｍｉｎｉⅡｇｏｆｓｕｐｐｏｎｖｅｃｔｏｆｍａｃｈｉｎｅｓｕｓｉｎｇｓｅｑｕｅｎｔｌａｌｍｉｎｌｍａｌｏｐｔｉｍｉｚａｔｉｏｎＩｎｓｃｈ６址ｏｐｆＢ，Ｂｕｒｇｅｓｃ，ｓｍｏＩａＡ，ｅｄｓＡｄｖ蛐ｃｅｓｉｎＸ脚ｎｅｌＭｅｔｈＤｄｓ——ＳｕｐｐｏｎＶｅｃｔｏｒＬ啪ｉｎｇＣａｍｂｎｄｇｅ，ＭＡＭＩＴＰｒｅｓｓ，１９９９１８５～２０８
［５］ＪｏａｃｈｉｍｓＴＭａｋｉ“ｇｌ盯ｇｃ．ｏｃａｌｅｓｕｐｐｏ＾ｖｅｃｔ０㈣ｈｉｎｅＩｅａｍｉｎｇｐｒ∽ｔｉｃａｌ＿Ｉｎ：ｓｃ∞ｌｋｏｐｆＢ。Ｂ“ｒｇｅｓｃ，ｓｍｏｌ８Ａ，ｅｄｓＡｄｖ蚰ｃｅｓｌｎＫｅｍｅｌＭｅ出ｏｄｓ——ＳｕｐｐｏｎＶｅｃｔｏｒＬｅａｍｉ“ｇＣａｍｂｒｉｄｇｅ，ＭＡ：ＭＩＴＰｒｅｓｓ，１９９９１６９一１８４
Ｉｎ：Ｋｅ螂ｓＭ，ｓｏｌｌａｓ，ｃｏｈｎＤ，ｅｄｓｆ６】ＰｌａⅡＪ．ｕ面ｏｇ柚柏ｙｔｊｃＱＰ卸ｄ５ｐ盯ｓｅｎ骼ｓｔｏｓｐｅｅｄ”ａｉｎｉｎｇｏｆｓｌｌｐｐｏｎｖｅｃｔｏｆｍａｃｈｉｎｅｓ
Ａｄｖ柚ｃｅｓｉｎＮｅｕｆａＩＩｎｆ０珊ａｔｉｏｎＰｒｏｃｅｓｓ妯ｇＳｙｓｔ咖ｓｌｌＣａｍｂｒｉｄｇｅ，ＭＡ：ＭＩＴＰ他ｓｓ，１９９９５５７～５６３
［７】ＦｌａｋｅＧ，ＬａｗｒｅｎｃｅｓＥ塌ｃｉｅｎｔｓＶＭｒｅｇｒｅｓｓｌｏｎｔｒａｉｎｉｎｇｗｉｔｈｓＭ０ＭａｃｈｌｎｅＬｅ啪ｉ“ｇ，２００２，４６（１，３）：２７１～２９０
Ｎ㈣ｌ［８】Ｋｃｅｒ嘶ｓ，ＳｈｅｖａｄｅＳ，Ｂｈ蚍ｃｈａｒｙｙａｃ，ＭｕｎｈｙＫＩｍｐｒｏｖｅｍｅｎｂｔｏＰｌａｎ’ｓｓＭ０ａＩｇｏｎｍｍｆｏｒｓＶＭｃｌａｓｓｌｎｅｒｄｅｓｉｇｌｌｃｏｍｐｕｔ砒ｉｏｎ，２００１，１３（３）：６３７—６４９
【９］Ｋｅｅｎｈｉｓ，ＧｌｌｂｅｎＥｃｏｎｖｅｒｇｅｎｃｅｏｆａｇｅｎｅｍｌｉｚｅｄＳＭｏａｌｇｏｎｔｈｍｆｏｒｓＶＭｃｌ懿ｓｌ丘ｅｆｄｅｓｉｇｎＭａｃｈｉｎｅＬｅａｍｉｎ昏２００２，４６（１／３）：３５ｌ～３６０
１０］ＬｌｎｃＪ０ｎｔｈｅｃｏｎｖｅｒｇｅｎｃｅｏｆｔｈｅｄｅｃｏｍｐｏｓｌｔｉｏｎｍ酣ｈｏｄｆｏｒｓｕｐｐｏｎｖｅｃｔｏｒｍａｃｈｌｎｅｓＩＥＥＥＴｒ柚ｓａｃｎｏｎｓｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ，２００ｌ，１２（６）：１２８８～１２９８
ｌｌ】ＬｌｎｃＪＡｓｙｍｐｔｏｔｌｃｃｏｎｖｅｒｇｅｎｃｅｏｆａｎｓＭ０ａｌｇｏｒｉｍｍｗｉｎｌｏｕｔａｎｙａｓｓｕｍｐｔｉｏｎｓ２００ｌｈｔｔｐ：，，ｗｗｗｃｓｉｅｎｔＩｌｅｄｕ．ｎⅣ，￣ｑｌｌｎ，ｐａｐｅｒｓ／ｑ２ｃｏｎｖｐｄｆ
１２）Ｌ抽ｃＪ．Ｌｍｅ盯ｃｏｎｖｅｒｇｅ∞ｃｅｏｆａｄｅｃｏｍｐｏｓｌｎｏｎｍｅｔｌｌｏｄｆｏｒｓＩｌｐｐ。ｎｙｅｃｔｏｒｍａｃｈｉｎｅｓ２００１ｂｔ妒√，ｗｗｗｃｓｊｅｎｔＩｌｅｄｕｔ¨０１ｊｎ／ｐａｐｅｒ“ｌｌｎｅａｒｃｏｎｖｐｄｆ
序贯最小优化的改进算法
作者：李建民， 张钹， 林福宗
作者单位：清华大学,计算机科学与技术系,北京,100084;清华大学,智能技术与系统国家重点实验室,北京,100084
刊名：
软件学报
英文刊名：JOURNAL OF SOFTWARE
年，卷(期)：2003，14(5)
引用次数：45次
参考文献(12条)
1.Burges C A tutorial on support vector machines for pattern recognition 1998(2)
2.Chang CC.Lin CJ.LIBSVM:A library for support vector machines (Version 2.3) 2001
3.COLLOBERT R.Bengio S SVMTorch:A support vector machine for large-scale regression and classification problems 2001(1)
4.Platt J Fast training of support vector machines using sequential minimaloptimization 1999
5.Joachims T Making large-scale support vector machine learning practical 1999
6.Platt J Using analytic QP and sparseness to speed training of support vector machines 1999
7.Flake https://www.wendangku.net/doc/045492413.html,wrence S Efficient SVM regression training with SMO 2002(46)
8.Keerthi S.Shevade S.Bhattcharyya C.Murthy K Improvements to Platt's SMO algorithm for SVM classifier design 2001(3)
9.Keerthi S.Gilbert E Convergence of a generalized SMO algorithm for SVM classifier design 2002(46)
10.Lin CJ On the convergence of the decomposition method for support vectormachines 2001(6)
11.Lin CJ Asymptotic convergence of an SMO algorithm without any assumptions 2001
12.Lin CJ Linear convergence of a decomposition method for support vector machines 2001
相似文献(10条)
1.学位论文罗瑜支持向量机在机器学习中的应用研究2007
近十年来，基于统计学习理论的支持向量机方法逐渐成为机器学习的重要研究方向。与传统的基于经验风险最小化原则的学习方法不同，支持向量机基于结构风险最小化，能在训练误差和分类器容量之间达到一个较好的平衡，它具有全局最优、适应性强、推广能力强等优点。但是直到目前为止，支持向量机方法还存在一些问题，例如训练时间过长、核参数的选择等，成为限制支持向量机应用的瓶颈。本文的研究主要围绕以上两个问题展开，研究结果在多个国际通用的基准数据集上进行验证。主要成果如下： 1) 系统地研究了支持向量机的训练方法。目前支持向量机的训练算法是以序贯最小最优化(SMO)为代表的，其中工作集的选择是实现SMO算法的关键。本文对基于Zoutendijk最大下降方向法和函数逼近的工作集选择方式进行了总结和整理，并对这种选择策略重新进行了严格的数学推导。研究指出，当二次规划问题的Gram矩阵在非正定的情况下，目前存在的工作集选择算法存在某些不足。 2) 对于大规模训练集的缩减研究。支持向量机在小样本情况下具有优于别的机器学习算法的性能，但并不意味着支持向量机只限于应用在小样本情况。现实中的问题大多具有大规模的样本，虽然目前有了以SMO为代表的快速训练算法，但对于大规模训练集仍然存在训练时间过长的缺点，不能满足实时性的要求。本文根据支持向量的几何分布，提出了在原输入空间和高维映射空间中预选支持向量的两种方法。原输入空间预选支持向量方法是受启发于最近邻规则，通过与支持向量的几何分布结合，使用Delaunay三角网络寻求包含支持向量的边界集的原理。受聚类方法的启发，基于样本类别质心的方法实现了高维特征空间支持向量的预选。实验证明这两种支持向量预选策略是有效的，在大幅缩减训练时间的同时基本不损失SVM的推广能力和预测性能。 3) 对支持向量机模型选择的研究。支持向量机通过核函数将样本从输入空间映射到高维特征空间(Hilbert空间
)，从而实现在特征空间中寻求线性判别超平面。但是，不同的核对应着不同的特征空间，而支持向量机的训练结果在不同的核映射下往往有不同的效果。本文通过对像集线性可分程度和模型复杂程度的估计，寻找可以使学习机器具有良好推广能力的特征空间，并以此为标准实现核的选择。特征空间确定之后，分析惩罚因子与间隔宽度之间的关系，通过间隔宽度实现对惩罚因子的选择。本文的模型选择方法并不寻求核函数、惩罚因子与学习机器推广能力之间的解析表达式，而是以间接的方法估计参数对学习机器推广能力的影响，指导模型的选择。 4) 对机器学习的实际应用的研究。本文对机器学习的重要问题——人脸识别进行了研究，提出了一种基于关键部件的人脸识别方法。由于一对余多类分类算法缺乏理论上的依据，本文以后验概率作为支持向量机的输出，实现了以相似度为判别标准的多类分类算法。对ORL和YALE人脸图像数据库进行仿真实验，结果表明，该方法具有对表情、姿态以及角度的变化具有较好的鲁棒性。本文研究了SVM在金融领域的一个典型应用一一个人信用评估，主要探讨了基于SVM的特征选择和提取方法(遗传算法和主分量分析法)的实际应用效果。实证分析表明，小样本信用数据下SVM的准确度和推广性能显著好于BP神经网络；基于遗传算法的SVM能使银行检测出信用评级的关键决定因素。这对于我国银行进行个人信用评价具有重要的现实意义。
2.期刊论文赵丽.李天舒.刘玉蕾.Zhao Li.Li Tianshu.Liu Yulei基于支持向量机的机器学习的研究-哈尔滨师范大学自然科学学报
2008,24(6)
对机器学习、支持向量机的研究现状进行了综述,阐述了机器学习和支持向量机的基本概念以及支持向量机的训练算法.
3.学位论文刘华煜基于支持向量机的机器学习研究2005
学习是一切智能系统最根本的特征。机器学习是人工智能最具智能特征、最前沿的研究领域之一。机器学习研究的是如何使机器通过识别和利用现有知识来获取新知识和新技能。机器学习就是要使计算机能模拟人的学习行为，自动地通过学习获取知识和技能，不断改善性能，实现自我完善。 与传统统计学相比，统计学习理论是一种专门研究小样本情况下机器学习规律的理论。V.Vapnik等人从上世纪六七十年代开始致力于此方面研究，到90年代中期，其理论不断发展和成熟。统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架，它能将很多现有方法纳入其中，同时，在这一理论基础上发展了一种新的通用学习方法——支持向量机(SupportVectorMachine或SVM)，它已初步表现出很多优于已有方法的性能。 文章对机器学习、支持向量机的研究现状及应用领域进行了综述，阐述了机器学习和支持向量机的基本概念、基本模型和支持向量机的训练算法。针对机器学习系统的具体结构，提出了机器学习系统的模块化设计，划分出了输入处理、训练、执行与评价、评价表示4个模块
，设计了各个模块之间的通信方式，并具体实现了4个模块和模块集成系统。 根据基于支持向量机的机器学习的研究成果，研制开发出人脸检测系统，主要包括人脸图像处理和编码、基于支持向量机的机器学习、执行与评价、评价表示功能，实现了人脸的自动判定。
4.期刊论文宓云軿.王晓萍.金鑫.MI Yun-ping.WANG Xiao-ping.JIN Xin基于机器学习的水质COD预测方法-浙江大学学报（工学版）
2008,42(5)
运用紫外光谱进行水质有机污染物浓度(化学耗氧量(COD))的检测,必须建立紫外光谱数据与COD值之间的数学模型.运用机器学习方法中的LM-BP神经网络和支持向量机,建立了紫外多波段光谱数据与COD值的相关性模型,讨论了在LM-BP神经网络建模中网络结构选择、输入数据处理和训练程度控制,以及在支持向量机建模中核函数及其参数选择等问题.对某种水样的紫外多波段光谱,分别运用最小二乘法、LM-BP神经网络、支持向量机的相关性模型进行COD预测.结果表明,2种机器学习方法的预测能力明显优于最小二乘法,能够得到满意的预测精度,为运用物理方法解决化学量测量中普遍存在的相关性问题,提供了实际可行的解决方案.
5.学位论文原峰山基于支持向量机机器学习模型构建及研究2005
本文是基于支持向量机机器学习模型构建及研究，支持向量机理论是一种专门研究小样本情况下机器学习规律的基本理论和数学构架。在结构风险最小化原则下，支持向量机有效地解决了有限样本下机器学习的问题。 论文针对支持向量机研究的三个主要领域提出了新的理论和方法。主要包括三个方面的内容： 首先，论文通过认真研究沃尔什函数的性质，发现了在较小置信范围条件下，可以采用沃尔什函数来逼近机器学习的响应函数—指示函数，能够在结构风险最小化原则下使风险泛函最小，从而保证小样本环境下机
明了新定义的变元可分离核函数满足Mercer条件，从而实现在无穷维Hilbert空间映射的可能性，并依此提出了新的核函数选出方法。根据所提出的理论，对变元可分离应用于支持向量分类机时的特征，从较新的角度进行了理论上的分析，并根据研究结果提出了实际应用的算例。 最后，指出了现有支持向量机理论中样本数据“静态”不变的局限性，因为实际问题中，并不存在绝对稳定的数据，更多的情况是被处理的数据时间变化的，尤其是对实时系统更是如此。本文提出了离散时间系统的动态支持向量机的概念，并且构造了相应的模型，给出了满足一定条件的证明结果。此外还根据模型分析结果提出了相应的算法，并给出了基于这些算法的算例及其分析。
6.学位论文褚晓雷基于机器学习的专利分类研究2008
实现专利文本的自动分类有着重要的意义。专利以每年几十万条的速度递增，完全依靠人类专家进行分类需耗费大量人力物力。此外，专利分类是专利分析的基础，通过对专利进行分析，可以挖掘出许多有价值的信息，例如某个领域的技术发展趋势，竞争对手的市场策略和研发方向等。然而专利分类是大规模、层次结构、多标号和不均衡的文本分类问题，大多数传统的学习算法都是针对小规模的、单标号且平衡的问题设计的，无法很好地解决类似专利分类这样的复杂问题。 支持向量机是一种基于结构风险最小化原则的通用模式分类方法，由于其强大的学习能力和良好的泛化性能，支持向量机已经应用到许多模式分类领域。支持向量机的学习过程是一个求解二次规划问题的过程，其训练时间与训练样本个数接近平方级关系。因此，利用支持向量机解决大规模的实际问题是相当费时的。因此吕宝粮和他的合作者提出了一种并行的支持向量机，称为最小最大模块化支持向量机。它能够将复杂问题分解成一系列简单的容易解决的子问题。这些子问题彼此独立，因此可以利用计算集群实现并行计算。最后将子问题的解通过两条基本的规则进行合并，从而得到原问题的解。 本文提出使用最小最大模块化支持向量机来解决专利分类问题。在其基础上，我们提出了利用专利的先验知识的问题分解策略来提高最小最大模块化支持向量机的性能。该分解策略利用了专利的时间信息和分类体系结构的信息，可以实现对问题的有效分解，使得分解结果逼近原始数据的分布情况。传统的分类器如SVM对参数的依赖性较大
，为了达到该分类器的最佳性能，需要使用最优的训练参数。然而调参的过程对于大规模的学习问题需要耗费大量的时间。我们发现最小最大模块化支持向量机通过把复杂问题分解为简单子问题，从而降低了与训练参数的依赖性。此外最小最大模块化支持向量机还支持增量学习，这对于专利分类系统具有实际意义。专利分类系统可以学习新的专利知识而无需对已学习过的模块进行反复学习，从而实现快速的系统更新。我们在NTCIR专利数据库上进行的专利分类的仿真实验，比较了不同的数据划分方法的性能以及支持向量机与最小最大模块化支持向量机的各项性能。实验结果证明了基于先验知识的问题划分策略取得了最好的性能，最小最大模块化支持向量机无论是泛化能力还是训练速度都超过了传统的支持向量机。此外我们通过仿真实验，验证了最小最大模块化支持向量机的增量学习能力。
7.期刊论文王强.沈永平.陈英武.WANG Qiang.SHEN Yong-ping.CHEN Ying-wu支持向量机规则提取-国防科技大学学报2006,28(2)
支持向量机是一种黑箱模型,其学习到的知识蕴含在决策函数中,不仅影响了用户对利用支持向量机技术构建智能系统的信心,还阻碍了支持向量机技术在数据挖掘领域的应用.由于对支持向量机规则提取进行研究有助于解决上述问题,因此该领域正成为机器学习和智能计算界的研究热点.分析了具有代表性的支持向量机规则提取算法,并提出该领域未来的研究重点.
8.学位论文王国胜支持向量机的理论与算法研究2007
机器学习是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构，从而不断改善自身性能。 支持向量机是20世纪90年代中期出现的机器学习技术，是近年来机器学习领域的研究热点。这项技术从提出到现在不过十年时间，但其研究进展非常之快、之大。它有坚实的理论基础，应用上也是有口皆碑，在手写体数字识别、文本分类等具体问题上创造和保持着目前的最好记录。 支持向量机本质上是一种非线性数据处理方法。与传统的人工神经网络不同，后者基于“经验风险最小化原理”，前者基于“结构风险最小化原理”。“结构风险最小化原理”建立在严谨的数学理论基础之上，令人耳目一新，使人们对学习机的认识发生了深刻变化。 支持向量机具有以下显著特征。 (1)结构简单。 (2)凸优化问题。有关的优化问题无局部极小点。 (3)稀疏表示。最优分离超平面之法向量W是训练样本的线性组合，每个样本的系数在某种意义上反映了该样本的重要性。分类问题的有用信息全部包含在系数不为零的那些样本即支持向量中。如果从训练集中去掉非支持向量，或使其在原来位置附近有微小偏移，则重新训练后，所得最优超平面与原来相同。即问题的解仅与支持向量有关。 (4)模块化。它清楚地分成两个模块：一个通用的学习机和与具体问题有关的核函数。这使我们能够把设计一个好的学习算法和设计一个好的核函数分开来研究。这种模块化处理方法便于理论分析和工程实现。 (5)本质上是线性学习机。它是核函数诱导的(隐含的)特征空间上的线性函数，因而便于理论分析。 支持向量机体现了以下重要思想和方法。 (1)边缘最大化思想。通过最优超平面来构造判决函数，实现了“结构风险最小化原理”，避免了对训练集过度拟合，保证了支持向量机的泛化能力。 (2)对偶表示。在对偶表示中训练数据仅以内积形式出现，因此可以用核函数来代替内积。 (3)核方法。从线性分类器转变成非线性分类器，只需要以核函数替换原来的内积。除此之外，原来的线性算法保持不变，线性分类器的全部优点都被继承下来，如计算简单、无局部极小点等。通过核函数能够在输入空间间接地完成高维特征空间(具有更丰富的结构)中的操作，计算复杂度没有实质性增加，但解决了复杂函数的表示问题。引进核函数之后，特征空间的维数变得不再重要了，甚至不必知道特征映射的具体形式，避免了维数灾难。通过改变核函数，可以得到不同的分类器。 支持向量机最初是用来解决分类问题的，其思想和方法后来被拓展到其他领域，如回归分析、函数逼近、密度估计，还有主成分分析、K-近邻、费歇判决等。核方法也发展成了一种方法论，把许多重要的数据处理方法纳入统一的框架，开辟了更加宽广的研究天地。 本文仅研究用来分类的支持向量机。 支持向量机并非尽善尽美，作为发展中的机器学习技术，还有很多问题有待解决。例如，1．训练算法支持向量机的训练归结为求解二次规划问题，但该问题的Hessian矩阵通常是稠密的，处理大规模问题时存储代价很高。例如，当样本个数为50000时，Hessian矩阵元素个数达25亿之巨，普通计算机的内存根本不够用。所以，经典的优化方法不适用，开发耗时短且占用内存少的算法成为人们追求的目标。训练算法又可以分为线性SVM训练算法与非线性SVM训练算法、在线算法与离线算法、精确算法与近似算法等。训练算法一直是最活跃的研究课题。 2．模型选择 模型选择是指：对于具体问题，如何选择核函数，以及支持向量机中的一些参数。这些参数包括：惩罚系数C，它在训练误差与泛化能力之间进行平衡；核函数中的参数，如高斯核中的σ和多项式核中的P等，不同的参数对应着不同的特征空间和特征映射，它们与支持向量机的泛化能力密切相关。怎样自动地进行模型选择? 3．知识嵌入 所谓知识，是指除训练样本外的信息，如问题领域的专业知识，专家经验等。标准的支持向量机是基于训练样本的，隐含的特征映射使得嵌入知识很困难。但经验告诉我们，一个系统所含知识的多少，对知识的利用程度如何，反映了其能力的高低。这在解决具体问题时尤其重要，但SVM还没有从根本上解决嵌入领域知识的问题。 4．多类问题 最初，SVM是针对二分类问题的，但实际应用中常常是多类问题。如何把它推广到多类问题?多类问题训练集的规模通常很大，如何有效地训练? 我的论文就是围绕这些问题开展研究。论文的主要贡献是： (1)提出“有附加信息的统计学习理论框架”。经典统计学习理论的重要结论，都是假设训练样本服从某个固定分布，或者服从任意分布，这是两个极端情形。实际情况是，人们对所处理的问题不全了解，但又知道一部分信息，这个新框架能够描述这种情况(见第二章)。 (2)分六个专题，即支持向量机训练算法、支持向量机的各种表现形式、支持向量机的泛化能力、模型选择、多类问题和支持向量机的应用，系统地论述了(分类)支持向量机的研究进展(见第三章)。 (3)提高支持向量机性能的关键，是设计适合特定问题的核函数，这要求对核函数本身有深入了解。针对三类重要核函数，即平移不变核函数、旋转不变核函数和卷积核，提出了简单易用的判别准则，并给出数学证明(见第四章)。 (4)支持向量机的优势在于处理非线性问题，但设计大规模、非线性支持向量机训练算法比较困难。本文深入研究了NPA算法，分析了该算法存在的不足，对第一、第二类检验下的迭代过程做了实质性改进。实验结果表明，新版本性能稳定，在未增加计算代价的条件下，训练速度明显提高(见第五章)。 (5)利用本文设计的训练算法，开发了一个自动分类模拟系统(见第六章)。 论文共分七章，具体组织如下： 第一章，什么是支持向量机。本章由三部分构成。第一部分阐述什么是支持向量机，先从简单的线性分类器入手，然后推广到更复杂的情况。第二部分概括了支持向量机的特征和重要思想。第三部分简要分析支持向量机与传统神经网络的异同。 第二章，支持向量机的理论基础。本章用严谨、精炼的语言描述了统计学习理论的概貌，它与支持向量机的关系。在此基础上，提出一个“有附加信息的统计学习理论框架”。 第三章，支持向量机研究进展。本章分六个专题，即训练算法、支持向量机的各种表现形式、支持向量机的泛化能力、模型选择、多分类问题和支持向量机的应用，综述支持向量机的研究进展，涵盖了迄今为止主要的研究内容和成果，从中可以了解人们所研究的问题、所付出的努力、所取得的成就和所面临的困难。 第四章，核函数的性质及其构造方法。支持向量机由核函数与训练集完全刻画。提高支持向量机性能的关键之一，是设计适合特定问题的核函数，这就要求对核函数本身有深入了解。本章由四部分组成：第一部分论述核函数与正定矩阵的关系及核函数的基本性质。第二部分对三类重要核函数，即平移不变核、旋转不变核和卷积核，提出了简单实用的判别准则，并在此基础上构造了很多重要核函数。第三部分介绍了一种自适应核函数。第四部分指出把问题领域的知识与核函数设计联系起来，即通过设计特殊的核函数来嵌入领域知识，是今后努力的方向。 第五章，加速NPA算法的收敛。支持向量机的优势在于处理非线性问题，但设计大规模、非线性支持向量机训练算法比较困难。1998年Platt提出的SMO算法(Sequential Minimal Optimization)，和2001年Keerthi等人提出的NPA算法(Nearest Point Algorithm)是目前常用的。NPA算法有明确的几何背景,与SMO相比训练速度毫逊色，并且在惩罚系数较大时有显著优势。本章分析了NPA算法存在的不足，对其第一、第二类检验下的迭代过程做了实质性改进。实验结果表明，新版本性能稳定，在未增加计算代价的条件下，训练速度明显提高。 第六章，支持向量机自动分类模拟系统。本章根据第五章设计的算法，开发了一个自动分类模拟系统，它由三个主要模块构成，介绍了系统界面、系统功能，给出了关键代码。其核心模块很容易嵌入到实用系统中。 第七章，存在的问题与今后的研究方向。总结了支持向量机研究中有待解决的关键问题，对今后的研究重点提出建议。
9.期刊论文张爱.陆有忠.郑璐石迅速崛起的机器学习技术--支持向量机-宁夏工程技术2004,3(2)
支持向量机(support vector machine,简称SVM)是近年来在国外发展起来的一种新型机器学习技术,由于其出色的学习性能,该技术已成为当前国际机器学习界的研究热点.与传统的人工神经网络(artificialneural network,简称ANN)不同,SVM是基于结构风险最小化(structural risk minimization,简称SRM)原理,而ANN是基于经验风险最小化(empirical risk minimization,简称ERM)原理.理论和实验表明,SVM不但结构简单,而且具有较好的泛化能力,尤其是对于小样本问题,成功地克服了ANN学习过程中的"过学习"和可能会陷入局部极小问题.另外,SVM算法是一个凸二次优化问题,能够保证极值解是全局最优解.就SVM理论进行了详细综述,旨在引起广大研究者的重视.
10.学位论文于水基于机器学习的自动文本分类研究2004
该文重点研究了基于间隔最大化原理的自动文本分类技术,以最新的机器学习理论成果为基础,提出并解决了与自动文本分类相关的多个重要理论与实践问题,发展与丰富了多项信息检索的关键应用技术.本文的创新性研究工作主要有以下几个方面:1.该文提出了两个文本分类的理论模型,从文本集合"被分类能力"这个崭新的角度揭示了自动文本分类的机器学习本质,同时也从理论上进一步解释了支持向量机技术在自动文本分类中能够取得成功的根本原因.标准测试数据集上的实验结果充分验证了这些结论.2.在已经得到的文本分类理论模型的基础上,该文提出了实现启发式模型选择的HMSAD算法.最初的支持向量机用于两类分类问题,在组合多个原始支持向量机的基础上,已经提出了多种多类分类器架构.但是目前在大规模多类自动文本分类研究中,尚未提出有效的模型选择方法,使得支持向量机的应用受到一定限制.本文在DAGSVM多类分类器架构的基础上,利用DAGSVM泛化能力的一些相关理论成果,结合前面部分得到的基于间隔最大化的文本分类模型,以ADM-FSM模型为例,提出了在DDAG中进行启发式模型选择的指示函数,并给出了基于DAGSVM的HMSAD算法.并且就该算法的性能与常规的1-v-r支持向量机、1-v-1的DAGSVM进行了比较、分析,相关的理论分析结果表明,HMSAD算法相对于传统算法具有突出的性能优势.3.该文首次解决了支持向量机跨距界的计算问题,提出了支持向量机的Alpha-SV界,并给出了相关的信息检索性能估算子.目前提出的各种分类器性能估计方法中,精度高的方法普遍效率比较低下,而计算代价较小的方法又往往存在精度不够理想、估计的鲁棒性能不佳等一些缺点.针对这个问题,重点研究了支持向量机的LOO跨距界,首次给出计算支持向量跨距的实用方法,进而提出了一种新的支持向量机LOO界——Alpha-SV界,这个界源于跨距界,具有严密的理论基础,同时又避免了遍历支持向量集合进行多个二次规划求解,大大降低了计算代价,从而得到了一种全新的效率高、性能好的支持向量机分类性能估计方法.更进一步,从应用自动文本分类技术的角度出发,在Alpha-SV界的基础上提出了可操作性很强的、面向信息检索的支持向量机性能评估指标,即信息检索性能估算子.并且通过标准测试数据集上的实验对上述结论进行了充分的验证.
引证文献(45条)
1.文益民.王耀南.吕宝粮.陈义明支持向量机处理大规模问题算法综述[期刊论文]-计算机科学 2009(7)
2.何海斌.司建辉大规模文本分类中特征提取方法的比较研究[期刊论文]-电脑知识与技术 2009(21)
3.李靖宇.张裕.冯利民.穆伟斌分割技术在医学图像中处理的应用[期刊论文]-齐齐哈尔医学院学报 2009(14)
4.方辉.艾青支持向量机训练及分类算法研究[期刊论文]-大庆师范学院学报 2009(3)
5.文益民.王耀南.张莹基于分类面拼接的快速模块化支持向量机研究[期刊论文]-湖南大学学报（自然科学版） 2009(3)
6.王书舟.伞冶支持向量机的训练算法综述[期刊论文]-智能系统学报 2008(6)
7.张原.高向阳数据挖掘中分类算法分析与量化研究[期刊论文]-西北工业大学学报 2008(6)
8.杨汝月.潘星.曹飞龙约简数据集的支持向量分类机算法[期刊论文]-计算机应用与软件 2008(12)
9.郭振凯.宋召青.毛剑琴基于改进的SVMR的混沌时间序列预测[期刊论文]-控制工程 2008(04)
10.骆世广.骆昌日加快SMO算法训练速度的策略研究[期刊论文]-计算机工程与应用 2007(33)
11.方辉支持向量机的研究与发展[期刊论文]-大庆师范学院学报 2007(05)
12.陈卫民.宋晓峰.姜斌基于预备工作集的最小序列优化算法[期刊论文]-计算机应用研究 2007(10)
13.杨晓伟.杨祖元.余舒支持向量机在鼻咽癌患者5年生存状态预测中的应用[期刊论文]-计算机应用与软件 2007(06)
14.李向东.王进华支持向量机分解算法研究[期刊论文]-计算机与数字工程 2007(05)
15.方辉.王倩支持向量机的算法研究[期刊论文]-长春师范学院学报（自然科学版） 2007(03)
16.艾青.刘洋.秦玉平支持向量训练算法研究[期刊论文]-渤海大学学报（自然科学版） 2006(03)
17.业宁.孙瑞祥.董逸生多拉格朗日乘子协同优化的SVM快速学习算法研究[期刊论文]-计算机研究与发展 2006(03)
18.骆世广.杨晓伟.吴广潮.张新华一种改进的序贯最小优化算法[期刊论文]-计算机科学 2006(11)
19.杨晓伟.骆世广.余舒.吴春国.梁艳春基于支持向量机的大样本回归算法比较研究[期刊论文]-计算机工程与应用 2006(06)
20.张浩然.汪晓东.张长江.徐秀玲一种新型回归支持向量机的学习算法[期刊论文]-测试技术学报 2006(02)
21.杨晓伟.欧阳柏平.余舒.吴春国.梁艳春自适应迭代算法支持向量集的特性研究[期刊论文]-吉林大学学报（信息科学版） 2006(02)
22.邹汉斌支持向量机在文本分类中的应用[学位论文]硕士 2006
23.杨雪支持向量机多类分类方法的研究[学位论文]硕士 2006
24.李焕春基于支持向量机的数据挖掘模型研究[学位论文]硕士 2006
25.马忠宝基于支持向量机的中文文本分类系统研究[学位论文]硕士 2006
26.郭辉核函数学习方法的研究及其应用[学位论文]博士 2006
27.熊建秋水科学信息分析计算新方法及其应用[学位论文]博士 2006
28.杜晓东.李岐强支持向量机及其算法研究[期刊论文]-信息技术与信息化 2005(03)
29.纪华.郑璐石支持向量机及其在岩土工程中的应用[期刊论文]-宁夏工程技术 2005(02)
30.业宁.孙瑞祥.董逸生MLSVM4--一种多乘子协同优化的SVM快速学习算法[期刊论文]-计算机研究与发展 2005(09)
31.胡懋智.古红英各种不同类型的支持向量机及其性能比较分析[期刊论文]-计算机工程与应用 2005(12)
32.杜晓东基于支持向量机的数据挖掘方法[学位论文]硕士 2005
33.王婷支持向量机的序列最小优化学习算法研究[学位论文]硕士 2005
34.赵恒平混合智能系统及其在软测量建模中的应用[学位论文]博士 2005
35.沈龙基于支持向量机的银行贷款分类应用研究[学位论文]硕士 2005
36.赵晖支持向量机分类方法及其在文本分类中的应用研究[学位论文]博士 2005
37.周水生竞争学习向量量化和支持向量机的关键技术研究[学位论文]博士 2005
38.林勇刚大型风力机变桨距控制技术研究[学位论文]博士 2005
39.兰光华支持向量机训练算法实现及其改进[学位论文]硕士 2005
40.陈荣胜基于支撑矢量机的入侵检测[学位论文]硕士 2005
41.范玉刚.李平.宋执环基于样本取样的SMO算法[期刊论文]-信息与控制 2004(06)
42.丁淑懿网页分类技术的研究[学位论文]硕士 2004
43.张翔支持向量机及其在医学图像分割中的应用[学位论文]博士 2004
44.徐峰基于商空间的计算智能及在金融工程中的应用研究[学位论文]博士 2004
45.俞亭超城市供水系统优化调度研究[学位论文]博士 2004
本文链接：https://www.wendangku.net/doc/045492413.html,/Periodical_rjxb200305008.aspx
下载时间：2010年4月11日