多项式函数
1. randpoly生成随机多项式, 生成一个关于vars的随机多项式的格式如下：
randpoly(vars, opts);
其中, vars表示变量或者变量列表或集合, opts为可选项方程或者指定属性的名称.
用type命令可以测试多项式的类型：
type(p1, polynom(integer, x)); #测试p1是否是一个关于x的整系数多项式
type(p2, polynom(complex, {x, y, z})); #测试p2是否是一个关于{x, y, z}的复系数多
项式
提取多项式系数
2 提取多项式p中x^n的系数使用命令：coeff(p, x^n);或coeff(p, x, n);
3 提取多项式p中变量x的所有系数并将相应的x幂存于变量t中：coeffs(p, x, ’t’);
4 返回expr在x=a处的Taylor展式中(x-a)^k的系数: coeftayl(expr, x=a, k);
返回默认为降序排列的多元多项式的首项和末项系数分别使用命令lcoeff、tcoeff
5 gcd(p1, p2, 't', 's'); # 最大公约因式
6 lcm(p1, p2, 't', 's'); # 最小公倍因式
其中, 第3个参数t赋值为余因子p1/gcd(p1, p2), 第4个参数s赋值为余因子p2/gcd(p1,
p2).
7 求多项式p的平方根, 若不是完全平方, 则返回_NOSQRT：psqrt(p);
8 求多项式p的n次方根, 若不是完全n次方, 则返回_NOROOT：proot(p, n);
9 计算p1除以p2的余式, 将商式赋值给q的命令格式为：rem(p1, p2, x, 'q');
10 计算p1除以p2的商式, 将余式赋值给r的命令格式为：quo(p1, p2, x, 'r');
余式和商式满足：p1=p2*q+r, 其中degree(r, x) 11 转换函数 将多项式poly转换成关于变量var的Horner形式或者嵌套形式的命令格式如下： convert(poly, horner, var); 将级数(series)转换成多项式(polynom), 其命令格式为：convert(series, polynom); 12 将级数转换成有理多项式(有理函数) 将级数series(laurent级数或Chebyshev类型级数)转换成有理多项式(有理函数)ratpoly的命令格式为：convert(series, ratpoly); 13 合并多项式系数(合并同类项) 将多项式具有相同次幂的项的系数合并在一起(包括正的、负的或者分数次幂), 即合并同类项(称为多项式的典范形式), 用命令collect: collect(p, x); collect(p, x, form, func); collect(p, x, func); 其中的参数form取值分别为 recureive （递归式），distributed（分布式）。 14 将多项式(或者值的列表)排序 将多项式(或者值的列表)按升(或降)序次方排序时作命令sort. 命令格式： sort(L); sort(L, F); sort(A); sort(A, V); 其中, L—表示要排序的列表; F(可选项)—带两个参数的布尔函数; A—代数表达式; V(可选项)—变量 15一般情况下, 计算带有整数、有理数、复数或代数数系数的多项式的因式分解使用命令factor, 命令格式为： factor(expr, K); 其中, expr为多项式, K为因式分解所在的区域 但是factor不分解整数, 也不分解多项式中的整数系数, 整数或整数系数的分解使用函数ifactor： 16 多项式判别式在多项式求根中具有重要作用, 例如二次多项式的判别式. 求多项式p关于变量x的判别式的命令格式为：discrim(p, x); 17 计算关于变元v的多项式p的第n阶范数用命令norm, 格式如下：norm(p, n, v); 其中p是展开的多项式, n为实常数或无穷大. 对于n≥1, 范数norm定义为norm(p, n, v)=sum(abs(c)^n), c=[coeffs(p, v)]^(1/n). 18 获取多项式的最高/最低次方的Maple命令分别为degree和ldegree, 格式如下： degree(p, x); ldegree(p, x); 核函数理论 §1 多项式空间和多项式核函数 定义 1.1 (核或正定核) 设X 是n R 中的一个子集，称定义在X X ?上的函数),(z x K 是核函数，如果存在一个从X 到Hilbert 空间H 的映射Φ H x x ∈ΦΦ)(:α (1.1) 使得对任意的X z x ∈,， ))()((),(z x z x Φ?Φ=K (1.2) 都成立。其中)(?表示Hilbert 空间H 中的内积。 定义1.2 （d 阶多项式）设n T n R x x x x ∈=)][,,][,]([21Λ，则称乘积d j j j x x x ][][][21K 为x 的一个d 阶多项式，其中},,2,1{,,,21n j j j d K K ∈。 1. 有序齐次多项式空间 考虑2维空间中（n R x ∈）的模式T x x x )][,]([21=，其所有的2阶单项式为 21][x ，22][x ，21][][x x ，12][][x x (1.3) 注意，在表达式(1.3)中，我们把21][][x x 和12][][x x 看成两个不同的单项式，所以称式（1.3）中的单项式为有序单项式。这4个有序单项式张成的是一个4维特征空间，称为2阶有序齐次多项式空间，记为H 。相应地可建立从原空间2 R 到多项式空间H 的非线性映射 H x x x x x x x C x x x C T T ∈==)][][,][][,][,]([)()][,]([:122122212212α (1.4) 同理，从n R 到d 阶有序齐次多项式空间H 的映射可表示为 H n j j j x x x x C x x x x C T d j j j d T n d d ∈∈==}),,2,1{,,,|][][]([)()][,,][,]([:212121K K K αK (1.5) 这样的有序单项式d j j j x x x ][][][21K 的个数为d n ，即多项式空间H 的维数d H n n =。如果在H 中进行内积运算)()(z C x C d d ?，当n 和d 都不太小时，多项式空间H 的维数d H n n =会相当大。如当200=n ，5=d 时，维数可达到上亿维。显然，在多项式空间H 中直接进行内积运算将会引起“维数灾难”问题，那么，如何处理这个问题呢？ 我们先来考查2==d n 的情况，计算多项式空间H 中两个向量的内积 212122121222 2212122)(][][][][][][][][][][][][))()((z x z z x x z z x x z x z x z C x C ?=+++=? (1.6) clear all; clc; N=35; %样本个数 NN1=4; %预测样本数 %********************随机选择初始训练样本及确定预测样本******************************* x=[]; y=[]; index=randperm(N); %随机排序N个序列 index=sort(index); gama=23.411; %正则化参数 deita=0.0698; %核参数值 %thita=; %核参数值 %*********构造感知机核函数************************************* %for i=1:N % x1=x(:,index(i)); % for j=1:N % x2=x(:,index(j)); % K(i,j)=tanh(deita*(x1'*x2)+thita); % end %end %*********构造径向基核函数************************************** for i=1:N x1=x(:,index(i)); for j=1:N x2=x(:,index(j)); x12=x1-x2; K(i,j)=exp(-(x12'*x12)/2/(deita*deita)); End End %*********构造多项式核函数**************************************** %for i=1:N % x1=x(:,index(i)); % for j=1:N % x2=x(:,index(j)); % K(i,j)=(1+x1'*x2)^(deita); % end %end %*********构造核矩阵************************************ for i=1:N-NN1 for j=1:N-NN1 omeiga1(i,j)=K(i,j); end end 龙源期刊网 https://www.wendangku.net/doc/f718933404.html, 核函数选择方法研究 作者：王振武何关瑶 来源：《湖南大学学报·自然科学版》2018年第10期 摘要：核函数的选择对支持向量机的分类结果有着重要的影响，为了提高核函数选择的客观性，提出了一种以错分实例到支持向量所在界面的距离来表示错分程度，并基于此进行秩和检验的核函数选择方法.通过与K折交叉验证、配对t测试等参数检验的统计方法进行对比 分析，对9种常用核函数的分类能力在15个数据集进行了定量研究.与参数检验方法不同，秩和检验并未假定数据的分布情况（很多情况下数据并不满足假定的分布），而且数据实验证明，秩和检验不但能够对核函数的分类能力进行客观评估，而且在某些数据集上还能产生更好的核函数选择效果. 关键词：核函数；支持向量机；秩和检验； K折交叉验证；配对t测试 中图分类号：TP301.6 文献标志码：A Abstract：The selection of kernel functions has an important influence on the classification results of support vector machines. This paper proposed a kernel functions selection method based on rank sum test in order to enhance the selection objectivity， where the error degree adopted in the rank sum test was represented by the distance between the error instance and the interface of support vectors. By comparing with other statistical methods， such as Kfolding cross validation and paired t test， the classification abilities of nine common kernel functions were quantitatively studied based on 15 datasets. Different from parameter test methods， the rank sum test does not assume the data distribution（in some cases data cannot satisfy the assumed distribution）， the experimental data proves that the rank sum test not only can objectively evaluate the classification abilities of kernel functions， but also can produce better selection results on some data sets. Key words：kernel function； support vector machines； rank sum test； K folding cross validation； paired t test 支持向量機（Support Vector Machine，SVM）[1]的使用与核函数的正确选择是密不可分的，核函数技术巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，直接决定了SVM 的非线性处理能力[2].当前对核函数选择方法的研究主要集中在构造新的核函数[3-7]、核函数参数选择[8-13]以及核函数的评估[1，14-16]上.由于在使用SVM进行分类的过程中只定义了核函数（并不显式地定义映射函数），所以在同一分类问题上选择不同的核函数对分类效果影响较大，另外映射函数的类型是多变的，在没有先验知识的情况下人们更多地是凭借主观经验进行核函数的选择，具有较大的随意性. SVM 小结 理论基础： 机器学习有三类基本的问题，即模式识别、函数逼近和概率密度估计． SVM 有着严格的理论基础，建立了一套较好的有限训练样本下机器学习的理论框架和通用方法。他与机器学习是密切相关的，很多理论甚至解决了机器学习领域的其他的问题，所以学习SVM 和机器学习是相辅相成的，两者可以互相促进，有助于机器学习理论本质的理解。 VC 维理论：对一个指示函数集，如果存在h 个样本能够被函数集中的函数按所有可能的2h 种形式分开，则称函数集能够把h 个样本打散；函数集的VC 维就是它能打散的最大样本数目。VC 维反映了函数集的学习能力，VC 维越太则学习机器越复杂(容量越太)。 期望风险：其公式为[](,,(,))(,)y R f c y f y dP y χχχχ?=?，其中(,,(,))c y f y χχ为损失函数，(,)P y χ为概率分布，期望风险的大小可以直观的理解为，当我们用()f χ进行预测时，“平均”的损失程度，或“平均”犯错误的程度。 经验风险最小化（ERM 准则）归纳原则：但是，只有样本却无法计算期望风险，因此，传统的学习方法用样本定义经验风险[]emp R f 作为对期望风险的估计，并设计学习算法使之最小化。即所谓的经验风险最小化（ERM 准则）归纳原则。经验风险是用损失函数来计算的。对于模式识别问题的损失函数来说，经验风险就是训练样本错误率；对于函数逼近问题的损失函数来说，就是平方训练误差；而对于概率密度估计问题的损失函数来说，ERM 准则就等价于最大似然法。但是，经验风险最小不一定意味着期望风险最小。其实，只有样本数目趋近于无穷大时，经验风险才有可能趋近于期望风险。但是很多问题中样本数目离无穷大很远，那么在有限样本下ERM 准则就不一定能使真实风险较小。ERM 准则不成功的一个例子就是神经网络和决策树的过学习问题（某些情况下，训练误差过小反而导致推广能力下降，或者说是训练误差过小导致了预测错误率的增加，即真实风险的增加）。 结构风险最小化理论(SRM)：所以，在有限样本情况下，仅仅用ERM 来近似期望风险是行不通的。统计学习理论给出了期望风险[]R f 与经验风险[]emp R f 之间关系： [][]()emp h R f R f l φ≤+ 核函数方法简介 （1）核函数发展历史 早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域，但是直到1992年Vapnik等利用该技术成功地将线性SVMs推广到非线性SVMs时其潜力才得以充分挖掘。而核函数的理论则更为古老，Mercer定理可以追溯到1909年，再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS)研究是在20世纪40年代开始的。 （2）核函数方法原理 核函数方法原理 根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。 设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入空间X到特征空间F的映射,其中F 属于R（m）,n< 机器学习-核函数基本概念 §1 多项式空间和多项式核函数 定义 1.1 (核或正定核) 设X 是n R 中的一个子集，称定义在X X ?上的函数 ),(z x K 是核函数，如果存在一个从X 到Hilbert 空间H 的映射Φ H x x ∈ΦΦ)(:α (1.1) 使得对任意的X z x ∈,， ))()((),(z x z x Φ?Φ=K (1.2) 都成立。其中)(?表示Hilbert 空间H 中的内积。 定义1.2 （d 阶多项式）设n T n R x x x x ∈=)][,,][,]([21Λ，则称乘积d j j j x x x ][][][21K 为x 的一个d 阶多项式，其中},,2,1{,,,21n j j j d K K ∈。 1. 有序齐次多项式空间 考虑2维空间中（n R x ∈）的模式T x x x )][,]([21=，其所有的2阶单项式为 21][x ，2 2][x ，21][][x x ，12][][x x (1.3) 注意，在表达式(1.3)中，我们把21][][x x 和12][][x x 看成两个不同的单项式，所以称式（1.3）中的单项式为有序单项式。这4个有序单项式张成的是一个4维特征空间，称为2阶有序齐次多项式空间，记为H 。相应地可建立从原空间2 R 到多项式空间H 的非线性映射 H x x x x x x x C x x x C T T ∈==)][][,][][,][,]([)()][,]([:12212 22 12212α (1.4) 同理，从n R 到d 阶有序齐次多项式空间H 的映射可表示为 H n j j j x x x x C x x x x C T d j j j d T n d d ∈∈==}),,2,1{,,,|][][]([)()][,,][,]([:212121K K K αK (1. 5) 这样的有序单项式d j j j x x x ][][][21K 的个数为d n ，即多项式空间H 的维数d H n n =。如果 在H 中进行内积运算)()(z C x C d d ?，当n 和d 都不太小时，多项式空间H 的维数d H n n =会相当大。如当200=n ，5=d 时，维数可达到上亿维。显然，在多项式空间H 中直接进行内积运算将会引起“维数灾难”问题，那么，如何处理这个问题呢？ 我们先来考查2==d n 的情况，计算多项式空间H 中两个向量的内积 第一章 核函数 §1 多项式空间和多项式核函数 定义 1.1 (核或正定核) 设X 是n R 中的一个子集，称定义在X X ?上的函数 ),(z x K 是核函数，如果存在一个从X 到Hilbert 空间H 的映射Φ H x x ∈ΦΦ)(: (1.1) 使得对任意的X z x ∈,， ))()((),(z x z x Φ?Φ=K (1.2) 都成立。其中)(?表示Hilbert 空间H 中的内积。 定义1.2 （d 阶多项式）设n T n R x x x x ∈=)][,,][,]([21 ，则称乘积d j j j x x x ][][][21 为x 的一个d 阶多项式，其中},,2,1{,,,21n j j j d ∈。 1. 有序齐次多项式空间 考虑2维空间中（n R x ∈）的模式T x x x )][,]([21=，其所有的2阶单项式为 21][x ，2 2][x ，21][][x x ，12][][x x (1.3) 注意，在表达式(1.3)中，我们把21][][x x 和12][][x x 看成两个不同的单项式，所以称式（1.3）中的单项式为有序单项式。这4个有序单项式张成的是一个4维特征空间，称为2阶有序齐次多项式空间，记为H 。相应地可建立从原空间2 R 到多项式空间H 的非线性映射 H x x x x x x x C x x x C T T ∈==)][][,][][,][,]([)()][,]([:12212 22 12212 (1.4) 同理，从n R 到d 阶有序齐次多项式空间H 的映射可表示为 H n j j j x x x x C x x x x C T d j j j d T n d d ∈∈==}),,2,1{,,,|][][]([)()][,,][,]([:212121 (1.5) 这样的有序单项式d j j j x x x ][][][21 的个数为d n ，即多项式空间H 的维数d H n n =。如果 在H 中进行内积运算)()(z C x C d d ?，当n 和d 都不太小时，多项式空间H 的维数d H n n =会相当大。如当200=n ，5=d 时，维数可达到上亿维。显然，在多项式空间H 中直接进行内积运算将会引起“维数灾难”问题，那么，如何处理这个问题呢？ 我们先来考查2==d n 的情况，计算多项式空间H 中两个向量的内积 2 121221212222212122)(][][][][][][][][][][][][))()((z x z z x x z z x x z x z x z C x C ?=+++=? (1.6) 径向基核函数 (Radial Basis Function)–RBF 发表于297 天前?技术, 科研?评论数 8?被围观 3526 views+ 论文中又提到了RBF，虽然是个简单的核函数，但是也再总结一下。关于SVM中的核函数的选择，比较简单和应用比较广的是RBF。 所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 , 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小。 最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc为核函数中心,σ为函数的宽度参数 , 控制 了函数的径向作用范围。 建议首选RBF核函数，因为： 1.能够实现非线性映射；（线性核函数可以证明是他的一个特例；SIGMOID 核函数在某些参数上近似RBF的功能。） 2.参数的数量影响模型的复杂程度，多项式核函数参数较多。 3.the RBF kernel has less numerical difficulties. ———–那么，还记得为何要选用核函数么？———– 对于这个问题，在Jasper’s Java Jacal博客《SVM入门（七）为何需要核函数》中做了很详细的阐述，另外博主对于SVM德入门学习也是做了很详细的阐述，有兴趣的可以去学习，丕子觉得这个文章写得相当好，特意转载了过来，留念一下。 如果提供的样本线性不可分，结果很简单，线性分类器的求解程序会无限循环，永远也解不出来。这必然使得它的适用范围大大缩小，而它的很多优点我们实在不原意放弃，怎么办呢？是否有某种方法，让线性不可分的数据变得线性可分呢？ 例子是下面这张图：核函数理论
svm核函数matlab
核函数选择方法研究
核函数
核函数方法简介(亮亮修正版)
机器学习_核函数基本概念
机器学习核函数讲义
径向基核函数 (Radial Basis Function)–RBF