风速分布的非参数核密度估计_李建平

核密度图详解

R语言与非参数统计（核密度估计） 背景 核密度估计是在概率论中用来估计未知的密度函数，属于非参数检验方法之一，由Rosenblatt (1955)和Emanuel Parzen(1962)提出，又名Parzen窗（Parzen window）。 原理 假设我们有n个数X1-Xn,我们要计算某一个数X的概率密度有多大。核密度估计的方法是这样的： 其中K为核密度函数,h为设定的窗宽。 核密度估计的原理其实是很简单的。在我们对某一事物的概率分布的情况下。如果某一个数在观察中出现了，我们可以认为这个数的概率密度很大，和这个数比较近的数的概率密度也会比较大，而那些离这个数远的数的概率密度会比较小。基于这种想法，针对观察中的第一个数，我们都可以f(x-xi)去拟合我们想象中的那个远小近大概率密度。当然其实也可以用其他对称的函数。针对每一个观察中出现的数拟合出多个概率密度分布函数之后，取平均。如果某些数是比较重要，某些数反之，则可以取加权平均。 但是核密度的估计并不是，也不能够找到真正的分布函数。 代码作图示例 我们可以举一个极端的例子：在R中输入： ●[plain]view plaincopyprint? 1.plot(density(rep(0, 1000))) 可以看到它得到了正态分布的曲线，但实际上呢？从数据上判断，它更有可能是一个退化的单点分布。 但是这并不意味着核密度估计是不可取的，至少他可以解决许多模拟中存在的异方差问题。比如说我们要估计一下下面的一组数据： ●[plain]view plaincopyprint? 1.set.seed(10) 2.dat<-c(rgamma(300,shape=2,scale=2),rgamma(100,shape=10,scale=2))

核密度估计是在概率论中用来估计未知的密度函数

核密度估计是在概率论中用来估计未知的密度函数，属于非参数检验方法之一，由Rosenblatt (1955)和Emanuel Parzen(1962)提出，又名Parzen窗（Parzen window）。 假设我们有n个数X1-Xn,我们要计算某一个数X的概率密度有多大。核密度估计的方法是这样的： 其中N(x,z)为正太分布的概率密度函数,z为设定的参数。 （1）基本原理: 核密度估计的原理其实是很简单的。在我们对某一事物的概率分布的情况下。如果某一个数在观察中出现了，我们可以认为这个数的概率密度很比大，和这个数比较近的数的概率密度也会比较大，而那些离这个数远的数的概率密度会比较小。基于这种想法，针对观察中的第一个数，我们都可以f(x-xi)去拟合我们想象中的那个远小近大概率密度。当然其实也可以用其他对称的函数。针对每一个观察中出现的数拟合出多个概率密度分布函数之后，取平均。如果某些数是比较重要，某些数反之，则可以取加权平均。 （2）存在的问题： 我感觉这种方法会存在一个问题。 边界问题。比如满足[0,1]之间的均匀分布的数有1000w个，人工大致已经可以看出概率分布。但用核密度估计估计出来的结果会非常奇怪。[-1,0]和[1,2]之间的数的概率密度不会被估计为0。主要原因是因为有边界的影响。具体怎么影响，我还没有想或者看明白。 我也是初看核密度估计，有不对的地方，欢迎大牛拍砖。 kernel density estimation是在概率论中用来估计未知的密度函数，属于非参数检验方法之一，由Rosenblatt (1955)和Emanuel Parzen(1962)提出，又名Parzen窗（Parzen window）。Ruppert和Cline基于数据集密度函数聚类算法提出修订的核密度估计方法。 核密度估计在估计边界区域的时候会出现边界效应。 在单变量核密度估计的基础上，可以建立风险价值的预测模型。通过对核密度估计变异系数的加权处理，可以建立不同的风险价值的预测模型。

核密度估计

核密度估计 对于一组关于X 和Y 观测数据 (){} 1 ,n i i i x y =，我们假设它们存在如下关系： ()i i i y m x ε=+，通常我们的目的在于估计()m x 的形式。在样本数量有限的情况下，我们 无法准确估计()m x 的形式。这时，可以采用非参数方法。在非参数方法中，并不假定也不固定()m x 的形式，仅假设()m x 满足一定的光滑性，函数在每一点的值都由数据决定。显然，由于随机扰动的影响数据有很大的波动，极不光滑。因此要去除干扰使图形光滑。 最简单最直接的方法就是取多点平均，也就是每一点()m x 的值都由离x 最近的多个数据点所对应的y 值的平均值得到。显然，如果用来平均的点越多，所得的曲线越光滑。当然，如果用n 个数据点来平均，则()m x 为常数，这时它最光滑，但失去了大量的信息，拟合的残差也很大。所以说，这就存在了一个平衡的问题，也就是说，要决定每个数据点在估计()m x 的值时要起到的作用问题。直观上，和x 点越近的数据对决定()m x 的值所应起越大的作用，这就需要加权平均。因此，如何选择权函数来光滑及光滑到何种程度即是我们这里所关心的核心问题。 一、核密度估计 对于数据12,,,n x x x K ，核密度估计的形式为： ()11?n i h i x x f x K nh h =-??= ??? ∑ 这是一个加权平均，而核函数（kernal function ）()K g 是一个权函数，核函数的形状和值域控制着用来估计()f x 在点x 的值时所用数据点的个数和利用的程度，直观来看，核密度估计的好坏依赖于核函数和带宽h 的选取。我们通常考虑的核函数为关于原点对称的且其积分为1，下面四个函数为最为常用的权函数： Uniform ： ()1 12 I t ≤ Epanechikov ： ()()23 114 t I t -< Quartic ： ()()215 1116 t I t -< Gaussian 21 2t -

核密度估计

kernel density estimation是在概率论中用来估计未知的密度函数，属于非参数检验方法之一，由Rosenblatt (1955)和Emanuel Parzen(1962)提出，又名Parzen窗（Parzen window）。Ruppert 和Cline基于数据集密度函数聚类算法提出修订的核密度估计方法。核密度估计在估计边界区域的时候会出现边界效应。在单变量核密度估计的基础上，可以建立风险价值的预测模型。通过对核密度估计变异系数的加权处理，可以建立不同的风险价值的预测模型。 [1] 由给定样本点集合求解随机变量的分布密度函数问题是概率统计学的基本问题之一。解决这一问题的方法包括参数估计和非参数估计。参数估计又可分为参数回归分析和参数判别分析。在参数回归分析中，人们假定数据分布符合某种特定的性态，如线性、可化线性或指数性态等，然后在目标函数族中寻找特定的解，即确定回归模型中的未知参数。在参数判别分析中，人们需要假定作为判别依据的、随机取值的数据样本在各个可能的类别中都服从特定的分布。经验和理论说明，参数模型的这种基本假定与实际的物理模型之间常常存在较大的差距，这些方法并非总能取得令人满意的结果。由于上述缺陷，Rosenblatt和Parzen提出了非参数估计方法，即核密度估计方法．由于核密度估计方法不利用有关数据分布的先验知识，对数据分布不附加任何假定，是一种从数据样本本身出发研究数据分布特征的方法，因而，在统计学理论和应用领域均受到高度的重视。一些比较常用的核函数是：均匀核函数k(x)=1/2,-1≤x≤1 加入带宽h后：kh(x)=1/(2h),-h≤x≤h 三角核函数k(x)=1-|x|,-1≤x≤1 加入带宽h后：kh(x)=(h-|x|)/h^2,-h≤x≤h 伽马核函数kxi(x)=[x^(α-1)exp{-xα/xi}]/[(xi/α)^α.Γ(α)] 1）基本原理: 核密度估计的原理其实是很简单的。在我们对某一事物的概率分布的情况下。如果某一个数在观察中出现了，我们可以认为这个数的概率密度很比大，和这个数比较近的数的概率密度也会比较大，而那些离这个数远的数的概率密度会比较小。基于这种想法，针对观察中的第一个数，我们都可以f(x-xi)去拟合我们想象中的那个远小近大概率密度。当然其实也可以用其他对称的函数。针对每一个观察中出现的数拟合出多个概率密度分布函数之后，取平均。如果某些数是比较重要，某些数反之，则可以取加权平均。

非参数密度估计

第十章非参数密度估计 密度估计的参数解是首先假设一个参数模型，X1,…,X n~i.i.d. f Xθ,其中θ为低维参数向量。然后通过一些估计方法得到θ，如极大似然估计，矩估计等等。然后到处密度函数。此方法的危险性在于初始假设模型的不正确可能导致严重的推断错误。 一种常见的非参数密度估计是直方图，他是一种分段常数的密度估计。另一种基本的密度估计可通过考虑密度函数如何将概率分配到各区间上受到启发，如果f 足够光滑，我们假设f将某概率不但赋予给x i点，而且赋予给x i周围的一个区域。因此，要从X1,…,X n~i.i.d.f估计f，将X i周围区域的概率密度累加起来时合理的。 10.1 绩效度量 绩效度量是为了评价密度估计量的性质。令f为整个支撑区域上f的估计量，引入积分平方误差 ISE h= f x?f x 2 dx ∞ ?∞ 如果我们想讨论估计量的一般性质，那么在所有可能的样本上对ISE h进行平均是比较合理的。积分平均误差为 MISE h=E{ISE h} 其中的期望是关于分布f。因此MISE h可以看成是误差（ISE h）关于抽样密度的整体度量的平均值。又由期望和积分的可交换性， MISE h=MSE f x dx 其中 MSE f x=E f x?f x 2 =var f x+ bias f x2 bias f x=E f x?f(x) MISE和ISE都可用来研究选择h值的准则。两者的好坏已知都有争论，详见Birgit Grunda; Peter Hallb; J. S. Marronc.Loss and risk in smoothing parameter selection

核密度估计的实现与简单应用

福州大学数学与计算机科学学院2008级数学与应用数学专业应用统计分析方向--应用数学实习 1．实习日记 2．实习作业 3．实习总结 4. 成绩评定 班级: 应数（2）班 姓名: 唐昌宏 学号: 030801218 指导老师: 吕书龙 实习地点: 福州大学 实习日期: 2011.6.27~2011.7.8

实习日记 2011.6.27 星期一确定实习内容 这个学期，我学习了许多关于统计计算与非参数统计的知识，以及假设检验、回归、正态性检验在R软件上的实现，还有R软件的一些其他的基本操作，如：作图、矩阵运算、数据导入、编程等。通过对自己弱点的分析，决定将实习目的定为：课堂上讲过的部分内容（非参数密度估计及其简单应用）在R软件中的实现，做到“理解理论知识、实现理论知识”。 2011.6.28 星期二复习巩固要用到的理论知识 针对要做的内容（核密度估计），对其理论知识做比较系统的复习，重点复习该方法的适用范围、计算方法、公式推导、实现过程，为之后的写算法、编程序打下理论基础。 2011.6.29 星期三复习巩固要用到的R软件命令 既然是自己编写程序，就避免不了对程序好坏的评价，因此就需要将自己编程计算的结果与R软件的计算结果进行比较；其次，在编程序时可以直接使用R 软件中已有的函数，以简化程序的篇幅。因此，复习巩固R软件命令是必要的。2011.6.30 星期四学习相关的数值计算方法 由于我想要用估计出的核密度函数来计算概率值，这就免不了要计算积分值，因此，我重点学习了数值计算中的快速、高精度算法。如：Gauss—Legendre 求积公式。 2011.7.1 星期五搜索非参数密度估计的图书 为了解决非参数密度估计的程序设计，我专门查找了图书馆的相关书籍，有许多介绍非参数统计的书籍，但每本书的侧重点有所不同。我就根据自己的需要，找到了一本对核回归有比较详细介绍的《非参数估计》作为我的参考书籍。 2011.7.4 星期一学习非参数密度估计的相关理论 今天主要任务是学习非参数密度估计的相关理论，包括：基本方法、应用方向以及具体的公式推导。在此基础上，写出相应的R程序，并在R软件中进行模拟，分析模拟的结果。

核密度估计

对于一组关于X 和Y 观测数据 (){} 1 ,n i i i x y =，我们假设它们存在如下关系： ()i i i y m x ε=+，通常我们的目的在于估计()m x 的形式。在样本数量有限的情况下，我们 无法准确估计()m x 的形式。这时，可以采用非参数方法。在非参数方法中，并不假定也不固定()m x 的形式，仅假设()m x 满足一定的光滑性，函数在每一点的值都由数据决定。显然，由于随机扰动的影响数据有很大的波动，极不光滑。因此要去除干扰使图形光滑。 最简单最直接的方法就是取多点平均，也就是每一点()m x 的值都由离x 最近的多个数据点所对应的y 值的平均值得到。显然，如果用来平均的点越多，所得的曲线越光滑。当然，如果用n 个数据点来平均，则()m x 为常数，这时它最光滑，但失去了大量的信息，拟合的残差也很大。所以说，这就存在了一个平衡的问题，也就是说，要决定每个数据点在估计()m x 的值时要起到的作用问题。直观上，和x 点越近的数据对决定()m x 的值所应起越大的作用，这就需要加权平均。因此，如何选择权函数来光滑及光滑到何种程度即是我们这里所关心的核心问题。 一、核密度估计 对于数据12,,,n x x x K ，核密度估计的形式为： ()11?n i h i x x f x K nh h =-?? = ??? ∑ 这是一个加权平均，而核函数（kernal function ）()K g 是一个权函数，核函数的形状和值域控制着用来估计()f x 在点x 的值时所用数据点的个数和利用的程度，直观来看，核密度估计的好坏依赖于核函数和带宽h 的选取。我们通常考虑的核函数为关于原点对称的且其积分为1，下面四个函数为最为常用的权函数： Uniform ： ()1 12 I t ≤ Epanechikov ： ()()23 114 t I t -<