VB最小二乘法拟合直线
VB最小二乘法拟合直线
Private Sub Form_click()
Dim N As Integer, U() As Double, I As Integer
Dim A As Single, B As Single
Form1.Cls
Print "数据：";
N = Val(InputBox("原始数据个数", "输入", 7))
If N <= 1 Then Exit Sub
ReDimU(4, N)
Print "共"; N; "组："
For I = 1 To N
U(1, I) = Val(InputBox("自变量X 的值：", "第一组", I))
U(2, I) = Val(InputBox("因变量Y 的值：", "第一组", I * 5)) U(3, I) = U(1, I) * U(2, I)
U(4, I) = U(1, I) ^ 2
Print "x("; I; ") = "; U(1, I); " y("; I; ") = "; U(2, I)
U(1, 0) = U(1, 0) + U(1, I)
U(2, 0) = U(2, 0) + U(2, I)
U(3, 0) = U(3, 0) + U(3, I)
U(4, 0) = U(4, 0) + U(4, I)
Next I
U(1, 0) = U(1, 0) / N
U(2, 0) = U(2, 0) / N
B = (U(3, 0) - N * U(1, 0) * U(2, 0)) / (U(4, 0) - N * U(1, 0) ^ 2)
A = U(2, 0) -
B * U(1, 0)
Print "拟合公式为："
Print " y = "; A;
If B >= 0 Then Print " + ";
Print B; "x"
End Sub
Private Sub Form_Load()
Form1.AutoRedraw = True
Form1.Caption = "最小二乘法拟合程序"
Print "本程序执行的顺序为："
Print "1、输入数据数量；"
Print "3、逐个输入各组数据；"
Print "2、输出拟合公式。"
Print "特别说明：本程序不用任何控件！只要把窗口拉的足够大就行了。"
Form1.Print "单击窗体开始..."
End Sub
最小二乘法的基本原理和多项式拟合
最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 2 = 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线 )(x p y =（图6-1）。函数)(x p 称为拟合函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法 . 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) [ ] ∑ = = - m i i i y x p 0 2 min ) (
最小二乘法曲线拟合 原理及matlab实现
曲线拟合（curve-fitting ）：工程实践中，用测量到的一些离散的数据},...2,1,0),,{(m i y x i i =求一个近似的函数)(x ?来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势（即使)(x ?最好地逼近()x f ，而不必满足插值原则。因此没必要取)(i x ?=i y ，只要使i i i y x -=)(?δ尽可能地小）。 原理： 给定数据点},...2,1,0),,{(m i y x i i =。求近似曲线)(x ?。并且使得近似曲线与()x f 的偏差最小。近似曲线在该点处的偏差i i i y x -=)(?δ，i=1,2,...,m 。 常见的曲线拟合方法: 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小 3.使偏差平方和最小 最小二乘法： 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 2. 各点到这条曲线的距离之和，即偏差平方和如下： 3. 问题转化为求待定系数0a ...k a 对等式右边求i a 偏导数，因而我们得到 了： ....... 4、 把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵： 5. 将这个范德蒙得矩阵化简后可得到:
6. 也就是说X*A=Y，那么A = (X'*X)-1*X'*Y，便得到了系数矩阵A，同时，我们也就得到了拟合曲线。 MATLAB实现： MATLAB提供了polyfit（）函数命令进行最小二乘曲线拟合。 调用格式：p=polyfit(x,y,n) [p,s]= polyfit(x,y,n) [p,s,mu]=polyfit(x,y,n) x,y为数据点，n为多项式阶数，返回p为幂次从高到低的多项式系数向量p。x必须是单调的。矩阵s包括R（对x进行QR分解的三角元素）、df(自由度）、normr(残差）用于生成预测值的误差估计。 [p,s,mu]=polyfit(x,y,n)在拟合过程中，首先对x进行数据标准化处理，以在拟合中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。 polyval( )为多项式曲线求值函数，调用格式： y=polyval(p,x) [y,DELTA]=polyval(p,x,s) y=polyval(p,x)为返回对应自变量x在给定系数P的多项式的值。 [y,DELTA]=polyval(p,x,s) 使用polyfit函数的选项输出s得出误差估计Y DELTA。它假设polyfit函数数据输入的误差是独立正态的，并且方差为常数。则Y DELTA将至少包含50%的预测值。 如下给定数据的拟合曲线： x=[0.5,1.0,1.5,2.0,2.5,3.0]， y=[1.75,2.45,3.81,4.80,7.00,8.60]。 解：MATLAB程序如下： x=[0.5,1.0,1.5,2.0,2.5,3.0]; y=[1.75,2.45,3.81,4.80,7.00,8.60]; p=polyfit(x,y,2) x1=0.5:0.05:3.0; y1=polyval(p,x1); plot(x,y,'*r',x1,y1,'-b') 运行结果如图1 计算结果为： p =0.5614 0.8287 1.1560 即所得多项式为y=0.5614x^2+0.08287x+1.15560 图1 最小二乘法曲线拟合示例 对比检验拟合的有效性： 例：在[0,π]区间上对正弦函数进行拟合，然后在[0,2π]区间画出图形，比较拟合区间和非拟合区间的图形，考察拟合的有效性。 在MATLAB中输入如下代码： clear x=0:0.1:pi; y=sin(x); [p,mu]=polyfit(x,y,9)
曲线拟合最小二乘法c++程序
课题八曲线拟合的最小二乘法 实验目标： 在某冶炼过程中，通过实验检测得到含碳量与时间关系的数据如下，试求含碳量y与时间t #include 第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 0 2 =[]∑==-m i i i y x p 0 2 min )( 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线)(x p y =（图6-1）。函数)(x p 称为拟合 函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法. 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) 当拟合函数为多项式时，称为多项式拟合，满足式（1）的)(x p n 称为最小二乘 拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。 第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1） 其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 实验三 函数逼近与曲线拟合 一、问题的提出： 函数逼近是指“对函数类A 中给定的函数)(x f ,记作A x f ∈)(,要求在另一类简的便于计算的函数类B 中求函数A x p ∈)(,使 )(x p 与)(x f 的误差在某中度量意义下最小”。函数类A 通常是区间],[b a 上的连续函数，记作],[b a C ,称为连续函数空间，而函数类B 通常为n 次多项式，有理函数或分段低次多项式等，函数逼近是数值分析的基础。主要内容有： （1）最佳一致逼近多项式 （2）最佳平方逼近多项式 （3）曲线拟合的最小二乘法 二、实验要求： 1、构造正交多项式； 2、构造最佳一致逼近； 3、构造最佳平方逼近多项式； 4、构造最小二乘法进行曲线拟合； 5、求出近似解析表达式，打印出逼近曲线与拟合曲线，且打印出其在数据点上的偏差； 6、探讨新的方法比较结果。 三、实验目的和意义: 1、学习并掌握正交多项式的MATLAB 编程； 2、学习并掌握最佳一致逼近的MATLAB 实验及精度比较； 3、学习并掌握最佳平方逼近多项式的MATLAB 实验及精度比较； 4、掌握曲线拟合的最小二乘法； 5、最小二乘法也可用于求解超定线形代数方程组； 6、 探索拟合函数的选择与拟合精度之间的关系； 四、 算法步骤： 1、正交多项式序列的生成 {n ?（x ）}∞ 0：设n ?（x ）是],[b a 上首项系数a ≠n 0的n 次多项式，)(x ρ为],[b a 上权函数，如果多项式序列{n ?（x ）} ∞0 满足关系式???=>≠==?.,0,, 0)()()()(),(k j A k j x d x x x k k j b a k j ??ρ?? 则称多项式序列{n ?（x ）}∞ 0为在],[b a 上带权)(x ρ正交，称n ?（x ）为],[b a 上带权)(x ρ 的n 次正交多项式。 1）输入函数)(x ρ和数据b a ,; 2）分别求))(),(()),(,(x x x x j j j n ???的内积； 3）按公式①)()) (),(()) (,()(,1)(1 0x x x x x x x x j n j j j j n n n ??? ???∑-=- ==计算)(x n ?，生成正交多项式； 流程图： 开始 最小二乘拟合 在物理实验中经常要观测两个有函数关系的物理量。根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。这类问题通常有两种情况：一种是两个观测量x 与y 之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是x 与y 之间的函数形式还不知道，需要找出它们之间的经验公式。后一种情况常假设x 与y 之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。 一、最小二乘法原理 在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作x ，而把所有的误差只认为是y 的误差。设x 和y 的函数关系由理论公式 y ＝f （x ；c 1，c 2，……c m ） （0-0-1） 给出，其中c 1，c 2，……c m 是m 个要通过实验确定的参数。对于每组观测数据（x i ，y i ）i ＝1，2，……，N 。都对应于xy 平面上一个点。若不存在测量误差，则这些数据点都准确 落在理论曲线上。只要选取m 组测量值代入式（0-0-1），便得到方程组 y i ＝f （x ；c 1，c 2，……c m ） （0-0-2） 式中i ＝1，2，……，m.求m 个方程的联立解即得m 个参数的数值。显然N %最小二乘法线性拟合y=ax+b x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; p=polyfit(x,y,1); z=polyval(p,x); plot(x,y,'+'); title(‘V-X曲线’) grid on xlabel(‘X/mm’) ylabel(‘V/v’) hold on x=[0:0.2:-4.0]; y=[0.01 -0.385 -0.8 -1.22 -1.64 -2.055 -2.455 -2.825 -3.165 -3.64 -3.74 -3.915 -4.06 -4.155 -4.235 -4.295 -4.345 -4.385 -4.415 -4.445 -4.47]; p=polyfit(x,y,1); z=polyval(p,x); plot(x,y,'+'); x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; p=polyfit(x,y,1); x=[0:-0.2:-4.0]; y=[0.01 -0.385 -0.8 -1.22 -1.64 -2.055 -2.455 -2.825 -3.165 -3.64 -3.74 -3.915 -4.06 -4.155 -4.235 -4.295 -4.345 -4.385 -4.415 -4.445 -4.47]; p=polyfit(x,y,1); x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; xmean=mean(x);ymean=mean(y); sumx2=(x-xmean)*(x-xmean)'; sumxy=(y-ymean)*(x-xmean)'; a=sumxy/sumx2;%解出直线斜率a(即传感器灵敏度) b=ymean-a*xmean;%解出直线截距b z=((a*(x(1,11))+b-(y(1,11)))/(y(1,11))); a b z figure plot(x,y,'+'); hold on 4.最小二乘法线性拟合 我们知道，用作图法求出直线的斜率a 和截据b ，可以确定这条直线所对应的经验公式，但用作图法拟合直线时，由于作图连线有较大的随意性，尤其在测量数据比较分散时，对同一组测量数据，不同的人去处理，所得结果有差异，因此是一种粗略的数据处理方法，求出的a 和b 误差较大。用最小二乘法拟合直线处理数据时,任何人去处理同一组数据，只要处理过程没有错误，得到的斜率a 和截据b 是唯一的。 最小二乘法就是将一组符合Y=a+bX 关系的测量数据，用计算的方法求出最佳的a 和b 。显然，关键是如何求出最佳的a 和b 。 (1) 求回归直线 设直线方程的表达式为： bx a y += (2-6-1) 要根据测量数据求出最佳的a 和b 。对满足线性关系的一组等精度测量数据（x i ，y i ），假定自变量x i 的误差可以忽略，则在同一x i 下，测量点y i 和直线上的点a+bx i 的偏差d i 如下： 111bx a y d --= 222bx a y d --= n n n bx a y d --= 显然最好测量点都在直线上（即d 1=d 2=……=d n =0），求出的a 和b 是最理想的，但测量点不可能都在直线上，这样只有考虑d 1、d 2、……、d n 为最小，也就是考虑d 1+d 2+……+d n 为最小，但因d 1、d 2、……、d n 有正有负，加起来可能相互抵消，因此不可取；而|d 1|+ |d 2|+……+ |d n |又不好解方程，因而不可行。现在采取一种等效方法：当d 12+d 22+……+d n 2 对a 和b 为最小时，d 1、d 2、……、d n 也为最小。取（d 12+d 22+……+d n 2 ）为最小值，求a 和b 的方法叫最小二乘法。 令 ∑== n i i d D 1 2＝21 1 2][i i n i n i i b a y d D --== ∑∑== (2-6-2) D 对a 和b 分别求一阶偏导数为： ][211∑∑==---=??n i i n i i x b na y a D ][21 2 11∑∑∑===---=??n i i n i i n i i i x b x a y x b D 1 曲线拟合的线性最小二乘法及其MATLAB 程序 例7.2.1 给出一组数据点),(i i y x 列入表7–2中，试用线性最小二乘法求拟合曲线，并用（7.2），（7.3）和（7.4）式估计其误差，作出拟合曲线. 表7–2 例7.2.1的一组数据),(y x 解 （1）在MATLAB 工作窗口输入程序 >> x=[-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6]; y=[-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04]; plot(x,y,'r*'), legend('实验数据(xi,yi)') xlabel('x'), ylabel('y'), title('例7.2.1的数据点(xi,yi)的散点图') 运行后屏幕显示数据的散点图（略）. （3）编写下列MA TLAB 程序计算)(x f 在),(i i y x 处的函数值，即输入程序 >> syms a1 a2 a3 a4 x=[-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6]; fi=a1.*x.^3+ a2.*x.^2+ a3.*x+ a4 运行后屏幕显示关于a 1,a 2, a 3和a 4的线性方程组 fi =[ -125/8*a1+25/4*a2-5/2*a3+a4, -4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2-11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9/4*a2+3/2*a3+a4, 19683/1000*a1+729/100*a2+27/10*a3+a4, 5832/125*a1+324/25*a2+18/5*a3+a4] 编写构造误差平方和的MATLAB 程序 >> y=[-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04]; fi=[-125/8*a1+25/4*a2-5/2*a3+a4, -4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2-11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9/4*a2+3/2*a3+a4, 19683/1000*a1+729/100*a2+27/10*a3+a4, 5832/125*a1+324/25*a2+18/5*a3+a4]; fy=fi-y; fy2=fy.^2; J=sum(fy.^2) 运行后屏幕显示误差平方和如下 J= (-125/8*a1+25/4*a2-5/2*a3+a4+1929/10)^2+(-4913/1000*a1+2 89/100*a2-17/10*a3+a4+171/2)^2+(-1331/1000*a1+121/100*a2-11/10*a3+a4+723/20)^2+(-64/125*a1+16/25*a2-4/5*a3+a4+663/25)^2+(a4+91/10)^2+(1/1000*a1+1/100*a2+1/10*a3+a4+843/100)^2+(27/8*a1+9/4*a 2+3/2*a3+a4+328/25)^2+(19683/1000*a1+729/100*a2+27/10*a3+a4-13/ 2)^2+(5832/125*a1+324/25*a2+18/5*a3+a4-1701/25)^2 为求4321,,,a a a a 使J 达到最小，只需利用极值的必要条件0=??k a J )4,3,2,1(=k ， 最小二乘法 在我们研究两个变量（x,y ）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1、x2,y2……xm,ym ）；将这些数据描绘在x —y 直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如（式1—1）。 01=a y a x +?计 （式1—1） 其中，0a 、1a 位任意实数。 位建立直线方程就要确定0a 和1a ，应用最小二乘法原理，将实测值i y 与利用（式1—1）计算值y 计的离差的平方和[2()i y y ∑-计]最小为优化判据。 令2=()i y y ?∑-计 （式1—2） 将（式1—1）代入（式1—2）中得： 201=(a )i y a x ?∑--? （式1—3） 当2()i y y ∑-计最小时，可用函数?对0a 、1a 求偏导，令这两个偏导数等 于零。 0110 2()(1)0m i i i y a a x a ? =?=∑--??-=? （式1—4） 0111 2()()0m i i i i y a a x x a ? =?=∑--??-=? （式1—5） 亦即： 011 1 m m i i i i m a a x y ==?+?∑=∑ （式1—6） 2 011 1 1 ()m m m i i i i i i i a x a x x y ===?∑+?∑?=∑? （式1—7） 得到的两个关于0a 、1a 为未知数的两个方程组，解这两个方程组得出： 1 1 01m m i i i i y x a a m m === -? ∑∑ （式1—8） 2211 1 1 1 1 [()/]/[()/]m m m m m i i i i i i i i i i i a x y x y m x x m ======?-?-∑∑∑∑∑ （式1—9） 这时把0a 、1a 代入（式1—1）中，此时的（式1—1）就是我们回归的元线性方程，即数学模型。 在回归过程中，回归的关联式是不可能全部通过每个回归数据点 1122(,,,)m m x y x y x y 、，为了判断关联式的好坏，可借助相关系数 R ， 统计量F ，剩余标准偏差S 进行判断：R 越趋近于1越好；F 越的绝对值越大越好；S 越趋近于0越好。 1 1 1 [(/)(/)]/m m m i i i i i i i R x y m x m y m ====?-??∑∑∑ （式1—10） 在（式1—10）中，m 位样本容量，即实验次数；i i x y 、分别为任意一组试验x y 、的数值。 %后面的为注释,红色部分代码需要根据实际情况更改 %最小二乘法线性拟合y=ax+b x=[0.5,1,1.5,2,2.5,3,3.5,4,4.5,5];%自变量 y=[191,321,442,565,686,819,930,1032,1153,1252];%因变量 xmean=mean(x);ymean=mean(y); sumx2=(x-xmean)*(x-xmean)'; sumxy=(y-ymean)*(x-xmean)'; a=sumxy/sumx2;%解出直线斜率a(即传感器灵敏度) b=ymean-a*xmean;%解出直线截距b z=((a*(x(1,10))+b-(y(1,10)))/(y(1,10)));%“10”是自变量的个数，z为非线性误差(即线性度) a b z %作图,先把原始数据点用蓝色"十"字描出来 figure plot(x,y,'+'); hold on % 用红色绘制拟合出的直线 px=linspace(0,6,50);%(linspace语法(从横坐标负轴起点0画到横坐标正轴终点6，50等分精度)) py=a*px+b; plot(px,py,'r'); 运行结果： a =236.9818 b =87.4000 另一种简单一点的方法： %最小二乘法线性拟合y=ax+b x=[0.5,1,1.5,2,2.5,3,3.5,4,4.5,5];%自变量 y=[191,321,442,565,686,819,930,1032,1153,1252];%因变量p=polyfit(x,y,1); p 运行结果： p = 236.9818 87.4000 最小二乘法多项式拟合 对于给定的数据点N i y x i i ≤≤1),,(，可用下面的n 阶多项式进行拟合，即 为了使拟合出的近似曲线能尽量反映所给数据的变化趋势，要求在所有数据点上的残差 都较小。为达到上述目标，可以令上述偏差的平方和最小，即 称这种方法为最小二乘原则，利用这一原则确定拟合多项式)(x f 的方法即为最小二乘法多项式拟合。 确定上述多项式的过程也就是确定)(x f 中的系数n k a k ≤≤0,的过程，根据最小二乘原则，则偏差平方和应该是这些系数的函数，即 为使上式取值最小，则其关于n k a k ≤≤0,的一阶导数应该为零，即有 将上面各等式写成方程组的形式可有 写成矩阵形式有 上述方程组可以通过克莱姆法则来计算，从而解出各系数n k a k ≤≤0,得到拟合方程。 考虑到一般情况提高拟合多项式的阶数并不能提高拟合精度，所以常用的多项拟合阶数为一阶和二阶，即线性拟合和二次拟合。两者的计算公式如下： 关于线性拟合，除上面按克莱姆法则来计算外，还可以有另一思路，下面对此进行说明。由于是线性拟合，最后得到的是一条直线，因此，直线可以由斜率和截距两个参数来确定，因此，求出这两个参数即可。首先对克莱姆法的求解结果进行展开可以得到 下面考虑先计算斜率再计算截距的方法，从下图可见，斜率计算与坐标系的位置无关，所以可以将坐标原点平移到样本的i x 和i y 坐标的均值所在点上 图中 则在新的坐标系),(y x ''下斜率的计算公式与前面1a 的计算公式相同，将其中的坐标),(y x 换成),(y x ''即可得到下面的计算公式 由样本在新坐标系下的坐标i x '和i y '的均值为零，或者由下面推导可知 x ' C++最小二乘法拟合直线 有一堆的X, Y值需要拟合直线，如下 X: x1, x2, ...... x n Y: y1, y2, …… y n 如何得到拟合成y = kx + b的等式呢？用最小二乘法可以实现。经过计算的k和b的公式如下 k= ， b =-k C++ 代码实现如下 /* 最小二乘法y = kx + b X，Y数据分别存在数组中 */ #include double sumX = 0, sumY = 0, s_xy = 0, s_xx = 0; for(int i = 0; i < nX; i++) { sumX += srcX[i]; sumY += srcY[i]; s_xy += srcX[i] * srcY[i]; s_xx += srcX[i] * srcX[i]; } double _x = sumX / nX; double _y = sumY / nX; LKB.k = (s_xy - nX * _x * _y) / (s_xx - nX * _x * _x); LKB.b = _y - LKB.k * _x; return LKB; } int main() { //y = 3x + 5 double nXCrd[10] = {1.0, 2.0, 3.3, 4.0, 5.4, 6.0, 7.0, 8.0, 9.0, 10.0}; double nYValue[10] = {8.0, 11.0, 14.0, 17.3, 20.0, 23.7, 26.0, 29.0, 32.0, 35.0}; Linekb lkb = CalcLine(nXCrd, nYValue, 10); cout << "该直线是：" << "y = " << lkb.k << "X + " << lkb.b << endl; cout << endl; system("pause"); return 0; } 运行结果如下 与原直线y = 3x+5 相比误差很小。 最小二乘法线性拟合 函数masdap_meas_lsq_fit_data 的功能就是对采集到的三组样本传感器位置数据进行最小二乘法线性拟合。其计算公式如下： 设采集到一组N 个(,)i i x y 样本数据，对这组数据做y ax b =+线性拟合，求出拟合(,)a b 值。 由每个样本数据做误差求和计算：2 [()]i i err y ax b = -+∑，err 值由(,)a b 值 确定，因此，误差和分别做偏微分计算，当每个偏微分值为0时，误差和最小。故有： ()()2 2 2[()] 20 [()] 20 i i i i i i i i i i y ax b err x y a x b x a a y ax b err y a x N b b b ?-+?==---=???-+?= =---=??∑∑∑∑∑∑∑ 进而解出 ()() 22222i i i i i i i i i i i i i N x y x y a N x x y x x x y b N x x - = --= -∑∑∑∑∑∑∑∑∑∑∑ 函数masdap_meas_lsq_fit_data 最后返回(,)a b 值。 基于最小二乘法作圆回归拟合 在一维短触故障拟合计算中，需要对一组数据点作圆拟合，在此介绍基于最小二乘法的圆回归算法。 已知条件：平面上一组点坐标； 求解目标：回归圆的半径R 和圆心坐标(),c c x y 。 由圆曲线公式的两种形式： ()()2 2 2 2 2 i c i c i i i i x x y x R x y ax by c ?-+-=??++++=?? ，即知：22c c a x b y R ?=-??=-??= ?? 根据最小二乘法， “数值计算方法与算法”论文 题目：浅谈曲线拟合的最小二乘法 院系：化学与材料工程学院20系 姓名： 学号： 时间：2015年春季学期 浅谈曲线拟合的最小二乘法 【摘要】 数值计算方法，一种研究并解决数学问题的数值近似解的方法，主要解决那些理论上有解但是无法轻易且准确求解的数学问题。在当今计算机技术日渐成熟的背景下，数值计算方法的应用被大大的推广，并且极大的推动了自然科学的规律探索及理论验证。本文主要探讨了一种重要的数值计算方法——曲线拟合的最小二乘法的历史发展、理论核心以及应用价值。 关键词：数值计算方法最小二乘法应用 【正文】 数值计算方法，是一种研究并解决数学问题的数值近似解方法，现在通常在计算机上使用来求解数学问题。它主要的计算对象是那些在理论上有解而又无法直接手工计算的数学问题【1】。例如，用已知的数据点来构造合适的插值函数或拟合出合适的曲线来近似代替原函数，从而解决了因难以求得原函数表达式而无法计算相关函数值的难题；又如，对于一个一般的非线性方程，可能在计算方程的根时既无一定章程可循，也无理论解法可言，那么这时就可以构造合适的迭代格式如Newton迭代，通过对一个近似的初值进行有限次迭代，就可以得到较精准的根值，从而有效避免了冗长而又复杂的理论求解的过程。 在学习完计算方法与算法这门课程后，我收获了许多实用的计算方法、技巧和思想，而对书中的某些问题的解法的深入思考也让我加深了对这门课程的理解。由于专业的相关需要，我对曲线拟合的最小二乘法这部分知识点进行了重点的学习和深刻的反思，也收获了许多。 1.最小二乘法的发展历史 18世纪中期以后，欧拉（L. Euler, 1707-1783）、梅耶（T. Meiyer, 1723-1762）、拉普拉斯(P. S. Laplace, 1749—1827)等科学家在研究一些天体运动规律时，都得到了一些含有m个变量n个（）方程的线性方程组（也就是我们现在所说的线性矛盾方程组），并且各自运用了一些方法解出了方程组的较优解。虽然方法繁琐且奇特，但不失为数学史一次伟大的尝试。 有关于最小二乘法的首次应用于实际计算并成功的记载，是关于第一颗小行星位置的预测，十分之有趣。1801年，意大利天文学家朱塞普·皮亚齐（Giuseppe Piazzi,1746-1826）发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后，全世界的科学家利用皮亚齐的观测数据，开始了寻找谷神星之旅。但是，根据大多数人的计算结果来寻找谷神星，都以失败告终。时年24岁的伟大的数学家高斯（C.F.Gauss, 1777－1855）也随即参与了这次的计算。最终德国天文学家奥伯斯（Heinrich Olbers） 最小二乘法拟合直线 程序： function linear_fit %最小二乘法拟合直线clear; clc; prompt={'Name of data file'}; title='Linear_fit'; lineNo=2; def={'Linearfit.dat'}; outval=inputdlg(prompt,title,lineNo,def); if isempty(outval)==1,return,end filename=outval{1}; data=load(filename); x=data(:,1); y=data(:,2); [a,b]=linearfit(x,y); yy=a+b*x; func=['y=',num2str(a),'+',num2str(b),'*x']; plot(x,y,'bx','markersize',10); hold on plot(x,yy,'r-','linewidth',1.5) xlabel('T(^oC)'); ylabel('R(\Omega)'); text(x(2),yy(length(yy)-1),func) function [a,b]=linearfit(x,y) xy=x.*y; x2=x.^2; x_mean=mean(x); y_mean=mean(y); xy_mean=mean(xy); x2_mean=mean(x2); b=(xy_mean-x_mean*y_mean)/(x2_mean-x_mean^2); a=y_mean-b*x_mean; return 运行情况： 按“run”运行时，弹出窗口 注：在Linearfit.dat文件中数据为： 0 4.38 10 4.56 20 4.70 30 4.86 40 5.08 50 5.24 60 5.40 70 5.58 80 5.74 90 5.96 100 6.06 110 6.26 120 6.44 点击图框中的“OK”，在“command window”中输出结果为：130 6.58 140 6.74 150 6.94 160 7.12 170 7.28 180 7.42 190 7.60 200 7.78 2013届本科毕业论文(设计) 论文题目：关于曲线拟合与最小二乘法原理 的探讨 学院：数学科学学院 专业班级： 学生姓名： 指导老师： 答辩日期：年月日 新疆师范大学教务处 目录 引言 (2) 1 最小二乘法拟合 (5) 1.1 最小二乘法 (5) 1.2 最小二乘多项式曲线拟合的基本原理 (5) 1.2.1 线性拟合原理 (6) 1.2.2 多项式拟合原理 (8) 2 分段曲线拟合的原理 (10) 2.1 分段曲线拟合 (11) 2.2 分段三次曲线拟合 (11) 3 几种具体的拟合曲线类型 3.1指数函数拟合.......................................................................................... 3.2幂函数拟合............................................................................................. 3.3双曲型拟合............................................................................................... 4 总结 (20) 参考文献 (21) 引言 在物理实验中,经常要把离散的测量数据转化为直观的便于研究的曲线方程,即曲线拟合。正交基函数因涵盖了幂函数,切比雪夫多项式,拉盖尔函数,多元正交函数系列等而常被采用为拟合函数。如在曲线拟合中最常见的二次曲线,采用二元正交基函数系列:1,x,y,x2,y2,xy,…进行拟合。最小二乘法在确定各拟合函数的系数时,尽管拟合的次数不是很高,但它可使误差较大的测量点对拟合曲线的精度影响较小,而且实现简单,便于物理分析和研究,故成为最常用的方法之一。本文从最小二乘法的基本原理出发,给出了多元正交函数拟合的实现方法,并结合实例给出了最常用的二次曲线拟合的程序流程图。最小二乘法的本原理和多项式拟合
数值计算_第6章 曲线拟合的最小二乘法
曲线拟合的最小二乘法讲解
最小二乘法拟合原理
最小二乘法线性拟合y
最小二乘法拟合
曲线拟合_线性最小二乘法及其MATLAB程序
直线拟合计算最小二乘法
用Matlab进行最小二乘法线性拟合求传感器非线性误差灵敏度
最小二乘法多项式拟合
C++最小二乘法直线拟合原理与代码
最小二乘法线性拟合
曲线拟合的最小二乘法论文
MATLAB最小二乘法拟合直线的程序
关于曲线拟合与最小二乘法原理的探讨