基于神经网络的手写数字识别系统的设计与实现
中南大学
本科生毕业论文（设计）
题目基于神经网络的手写数字
识别系统的设计与实现
目录
摘要 (Ⅰ)
ABSTRACT (Ⅱ)
第一章绪论 (1)
1.1手写体数字识别研究的发展及研究现状 (1)
1.2神经网络在手写体数字识别中的应用 (2)
1.3 论文结构简介 (3)
第二章手写体数字识别 (4)
2.1手写体数字识别的一般方法及难点 (4)
2.2 图像预处理概述 (5)
2.3 图像预处理的处理步骤 (5)
2.3.1 图像的平滑去噪 (5)
2.3.2 二值话处理 (6)
2.3.3 归一化 (7)
2.3.4 细化 (8)
2.4 小结 (9)
第三章特征提取 (10)
3.1 特征提取的概述 (10)
3.2 统计特征 (10)
3.3 结构特征 (11)
3.3.1 结构特征提取 (11)
3.3.2 笔划特征的提取 (11)
3.3.3 数字的特征向量说明 (12)
3.3 知识库的建立 (12)
第四章神经网络在数字识别中的应用 (14)
4.1 神经网络简介及其工作原理 (14)
4.1.1神经网络概述[14] (14)
4.1.2神经网络的工作原理 (14)
4.2神经网络的学习与训练[15] (15)
4.3 BP神经网络 (16)
4.3.1 BP算法 (16)
4.3.2 BP网络的一般学习算法 (16)
4.3.3 BP网络的设计 (18)
4.4 BP学习算法的局限性与对策 (20)
4.5 对BP算法的改进 (21)
第五章系统的实现与结果分析 (23)
5.1 软件开发平台 (23)
5.1.1 MATLAB简介 (23)
5.1.2 MATLAB的特点 (23)
5.1.3 使用MATLAB的优势 (23)
5.2 系统设计思路 (24)
5.3 系统流程图 (24)
5.4 MATLAB程序设计 (24)
5.5 实验数据及结果分析 (26)
结论 (27)
参考文献 (28)
致谢 (30)
附录 (31)
摘要
手写体数字识别是模式识别中一个非常重要和活跃的研究领域，数字识别也不是一项孤立的技术，它所涉及的问题是模式识别的其他领域都无法回避的；应用上，作为一种信息处理手段，字符识别有广阔的应用背景和巨大的市场需求。因此，对数字识别的研究具有理论和应用的双重意义。
人工神经网络识别方法是近年该研究领域的一种新方法，该方法具有一些传统技术所没有的优点：良好的容错能力、分类能力强、并行处理和自学习能力，并且是离线训练和在线识别的。这些优点使它在手写体字符的识别中能对大量数据进行快速实时处理，并达到良好的识别效果。
由于手写体数字识别难于建立精确的数学模型,所以本文采用BP神经网络对这一问题进行处理。神经网络模式识别的一个关键步骤是预处理和特征提取，对于手写体数字识别，本文采用了一种基于结构特征和统计特征的提取方法，并用程序实现了这一特征提取过程。
通过测试，本识别系统对于较规范的手写体数字的识别达到了很好的识别效果。关键词：手写体数字识别，特征提取，人工神经网络，MATLAB
ABSTRACT
Handwritten character recognition is a very important and active research in pattern recognition. Theoretically, it is not an isolated technique. It concerns with the problem that all the other areas of pattern recognition must confronted; practically, being a kind of information processing measured, character recognition has a very broad application background and vast need of market. Thus, it is of both theoretical and practical significance.
Artificial neural network recognition method is a new method of the research field in recent years, and this method has some merit that traditional technique do not have; good tolerance for error, strong sorting ability, strong parallel handling ability and strong self-learning ability as well as its off-line training and on-line recognizing. All these merits contribute its perfect performance in handling vast data set and handling in timely manner.
It’s difficult to make accurate mathematics model for handwritten numeral recognition, so BP neural networks is used here. The key steps of neural networks pattern recognition are preprocessing and feature subset selection. In this paper, algorithm of feature subset selection basing on structural characteristics and statistical characteristics has been adopted in handwritten numeral recognition, and the process of feature subset selection had been realized in program.
Recognition system in this paper has achieved a good rate of recognition in random handwritten numeral by test.
Keyword: handwritten numeral recognition, feature extraction, artificial neural network, MATLAB
第一章绪论
1.1手写体数字识别研究的发展及研究现状
模式识别[2]是六十年代初迅速发展起来的一门学科。由于它研究的是如何用机器来实现人(及某些动物)对事物的学习、识别和判断能力，因而受到了很多科技领域研究人员的注意，成为人工智能研究的一个重要方面。一个模式识别系统的基本职能是对系统所要处理的模式归属于哪一类做出判别，从该系统的模式输入到系统做出判别之间，主要包括信息检测、预处理、特征提取和分类几大环节。
字符识别是模式识别领域中的一个非常活跃的分支。一方面是由于问题本身的难度使之成为一个极具挑战性的课题；另一方面，是因为字符识别不是一项孤立的应用技术，其中包含的模式识别领域中其他分支都会遇到的一些基本和共性的问题。从50年代开始，许多的研究者就在这一研究领域开展了广泛的探索并为模式识别的发展产生了积极的影响。
字符识别，从采用的输入设备来分，可分为脱机识别（又称为光学字符识别Optical Character Recognition ,OCR）和联机识别，脱机字符又分为印刷体和手写字符识别，从对书写者要求来分，手写字符又分为限制性和非限制性的手写字符识别。在联机手写字符识别中，计算机能够通过与计算机相连的手写输入设备获得输入字符笔划的顺序、笔划的方向以及字符的形状，所以相对OCR来说它更容易识别一些。但联机字符识别有一个重要的不足就是要求输入者必须在指定的设备上书写，然而人们在生活中大部分的书写情况是不满足这一要求的，比如人们填写各种表格资料，开具支票等。如果需要计算机去认识这些已经成为文字的东西，就需要OCR技术。比起联机字符识别来，OCR不要求书写者在特定输入设备上书写，它可以与平常一样书写，所以OCR的应用更为广泛。OCR所使用的输入设备可以是任何一种图像采集设备，如扫描仪、数字相机等。通过使用这类采集设备，OCR系统将书写者已经写好的文字作为图像输入到计算机中，然后由计算机去识别。由于OCR的输入只是简单的一副图像，它就不能像联机输入那样比较容易的从物理上获得字符笔划的顺序信息，因此OCR是一个更具挑战性的问题。
脱机字符识别（OCR）分为印刷体OCR和手写OCR。印刷体字符比手写体字符少了随机性，它的识别相对容易些，难点已经不在识别环节，而在于字符的分割上。印刷体识别的错误绝大多数都是错误的分割引起的[3]。对于手写体OCR，无论是联机还是脱机识别，手写体的识别都要经历由限制性手写体识别到非限制性手写体识别两个阶段。本文将以手写体数字为代表，讨论非限制性手写体字符的识别。脱机字符识别的研究最早始于上个世纪六十年代，是为了应付汉英翻译的需要。八十年代后的研究重心转移到脱机手写字符的识别上。对于小类别数的字符集如数字、
字母的识别，已经可以做到对书写不加任何的限制。非限制性手写OCR的研究始终以阿拉伯数字为主导。这事因为，第一，十个阿拉伯数字是全世界的一套通用字符。第二，在数字的许多应用场合，如报表、账单、支票等，手写体还难以被印刷体所替代，而且对识别的可靠性要求极高。三，由于类别数少，所以模式识别中的许多方法研究均可以以数字识别作为实验背景。对脱机手写体字符的研究，人们由简单集成笔画密度、笔画方向和背景特征方法过渡到特征匹配方法，进而过渡到结合神经网络方法，随着对识别可靠性要求的提高，九十年代以后，多分类器集成方法成为了一个研究重点。
1.2神经网络在手写体数字识别中的应用
目前，随着计算机的迅速发展，性能价格比的不断提高，模式识别技术已经从理论探讨为主发展到大量的实际应用，人们将更多的注意力开始转向那些用于语音、图像、机器人以及人工智能等的模式识别实际问题。解决这些问题的关键是需要进行复杂而庞大的实时数据处理，而现有计算机的存贮容量及计算复杂性的局限，使得真正实时化的应用受阻。这种面向实时应用的模式识别问题促使人们开始将并行处理的神经网络[4]应用到模式识别，而神经网络模式识别技术又将模式识别实时应用推进了一大步，手写体数字识别就是这种应用的一个很重要的领域。
手写体数字识别是一项极具研究价值的课题，随着神经网络[1]和模糊逻辑技术的发展，人们对这一问题的研究又采用了许多新的方法和手段，也使得这一古老的课题焕发出新的生命力[5]。目前国际上有相当多的学者在研究这一课题，它包括了模式识别领域中所有典型的问题:数据的采集、处理及选择、输入样本表达的选择、模式识别分类器的选择以及用样本集对识别器的有指导的训练。人工神经网络为手写体数字识别提供了新的手段。正是神经网络所具有的这种自组织自学习能力、推广能力、非线性和运算高度并行的能力使得模式识别成为目前神经网络最为成功的应用领域。
二十多年来，人们在数字识别领域做了大量的研究工作，所提出的各种方法在印刷体和手写印刷体数字识别方面已经取得了较好的成绩，识别率稳定在96%左右。但是自由手写体数字的识别工作目前并不成熟，仍旧是文字识别中最有挑战性的课题之一。
字符识别长期以来都是采用传统的识别方法，对印刷体字符的识别率一般只是稳定在96％左右，不能进一步提高；而对手写体字符的识别，其研究还处于探索阶段，其识别率还相当低，因此，为了提高识别率，就必须寻求新的方法和途径。
进入九十年代以来，人工神经网络（ANN）技术发展十分迅速，它具有模拟人类部分形象思维的能力，是一种模仿人脑学习、记忆、推理等认知功能的新方法。
特别是它的信息并行分布式处理能力和自学习功能等显著优点，更是激起了人们对它的极大的兴趣。人工神经网络是由一些类似人脑神经元的简单处理单元相互连接而成的复杂网络。已涌现出许多不同类型的ANN及相应的学习算法，其中BP（或EBP-Error Back Propagation）网络及学习算法得到了广泛关注和研究，并在数字识别方面取得了许多有意义的应用成果。
1.3 论文结构简介
本毕业设计主要解决以图像形式存在的手写体数字识别的问题。整体分为三个部分，第一部分是图像预处理，第二部分是对手写体数字的结构特征的提取，第三部分是设计神经网络并对前面得到的样本数据进行学习和训练。
本文通过图像预处理和数字特征提取以后基于神经网络的判别方法，然后结合使用了MATLAB工具箱中提供的人工神经网络函数设计了一种手写数字识别的新方法。实验表明，该方法可以获得较好的识别率。
第二章手写体数字识别
2.1手写体数字识别的一般方法及难点
字符识别问题的研究已有几十年的历史了，但时至今日，字符识别的研究成果远未达到人们所期望的，这其中有理论研究和技术实现等多方面因素. 在理论方面，我们对人类的视觉认知机理的研究还只是初步的，远未达到深入和透彻的水平。在技术方面，我们使用的计算机的运算水平和存储能力，比起人脑的信息存储和处理能力有很大差距. 因此，目前的文字识别只能建立在现有的理论基础上，使用现有的技术来研究和解决问题。手写体数字识别是字符识别的一个分支，问题虽然简单，但却有较大的实用价值。
数字的类别虽然只有十种，笔划又简单，其识别问题表面上是一个较简单的分类问题。但实际上，虽然各种新的识别算法不断的推出。其识别率和误识率仍距实用有相当距离。手写阿拉伯数字具有变形多差异大的特点，字形与书写人的职业、文化程度、书写习惯以及所使用笔墨纸张所处环境等都有关，所以手写体数字变形多、规律复杂。具体地说有两个：一是0～ 9 十个数字中，其中的一些数字字形相差不大，使得准确区分某些数字相当困难;二是数字虽然只有十种，但同一数字写法千差万别。不同的人写出的同一个数字都有差别，即使同一个人在不同的时候也会有不同的写法。笔划的书写顺序经常发生变化，因此极大地增加了匹配的难度。一般人写字时都不会一笔一划的书写，为了节省时间，连笔字是自然而然的事情，对于结构识别而言，连笔一方面使笔划种类大大增加，甚至达到难以归纳的程度；另一方面，连笔又使得笔段抽取难度大增，因为连笔会增加一些冗余笔段，连笔造成的畸变又会使笔段方向严重离散。总之，连笔不论对于基于哪种基元的结构识别都是严峻的挑战。这是造成手写数字识别过程复杂、达到较高识别率困难的根本原因。
如图2.1各种各样的手写体数字。
图2.1 各种各样的手写体数字
2.2 图像预处理概述
预处理[6]是字符识别重要的一环, 它把原始的图像转换成识别器所能接受的二进制形式。
要识别手写体数字首先要对其字符图像进行预处理。预处理的主要目的是去除字符图像中的噪声、压缩冗余信息, 得到规范化的点阵, 为识别做好准备。这就要求预处理在消除图像中与识别无关的因素时尽量保持原图像的字符特征。
手写体数字图像预处理的过程，就一般情况而言，主要经过如图2.2所示的几个步骤。不同的识别方法对预处理的项目和要求有所不同。如结构识别方法[7]，对字符规范化可以从简，甚至不需要。有的识别方法对细化要求很高，有的则不需要细化。本章中将分别对平滑去噪、二值化、归一化和细化分小节讨论。
图2.2 图像预处理的基本流程
2.3 图像预处理的处理步骤
2.3.1 图像的平滑去噪
手写体数字由于其随机性大，断笔，连笔、飞白状况时常发生，为了减少灰度图像的一些不该出现的黑白噪声，可以采用图像的平滑去噪技术。
进行图像平滑处理的是一种空域滤波器[8]，空域滤波器一般可分为线性滤波和非线性滤波两类。线性滤波器的设计常基于对傅立叶变换的分析，如均值滤波器；非
线性滤波器则一般直接对邻域进行操作，如中值滤波器。
以下为采用中值滤波对图像进行平滑处理的部分代码[9]：
for i=2:175;
for j=2:259
Xtemp=0;
for m=1:3
for n=1:3
Xtemp=Xtemp+X2(i+m.2,j+n.2);
end
end
Xtemp=Xtemp/9;
X3(i,j)=Xtemp;
end
end
2.3.2 二值化处理
图像的二值化就是把图像中的像素根据一定的标准划分成两种颜色。在这个系统中就是根据像素的灰度值处理成黑白两种颜色。对数字字符图像二值化后要能真实的再现原数字, 其基本要求为:笔画中不出现空白点, 二值化的笔画基本保持原来文字的结构特征。图像二值化的关键在于阈值的选择。图像的二值化有很多成熟的算法, 有整体阈值二值化法、局部阈值二值化法、动态阈值二值化法等。
二值化的关键在于阈值的选取，阈值选取主要分为整体阈值法、局部阈值法和动态阈值法。三类阈值的选择是一个比较复杂的问题，有的可以由计算机自动选择，有的需人工干预。基于字符识别扫描得到的图像目标与背景的灰度级有明显的差别，字符图像的二值化可采用整体阈值法中的双峰法，该方法简单易行，针对目标与背景的灰度级有明显差别的图像，其灰度直方图的分布呈双峰状，两个波峰分别与图像中的目标和背景相对应，波谷与图像边缘相对，应当在分割阈值位于谷底时，图像分割可取得最好的效果。
下面给出我在设计过程中二值化以后的效果图如图2.3。
图2.3 二值化处理
2.3.3 归一化
本文使用的数字图像都是在 Windows XP 画图板中手写输入的。由于10 ×14像素图像（10 是图像宽度，14 是图像高度）较小，书写时难度较大。我们希望书写时尽量不限制图像的大小，然后通过计算统一尺寸，使之具有同一高度，同一宽度，称之为归一化[10]。
在数字图像处理中有一些比较成熟的缩放图像的算法，例如 MATLAB 使用imresize函数来改变图像的大小。它的调用格式为 I2=imresize(I,rate),I 存储的是原始图像的数组，rate 是变化率，I2 存储的是改变后图像的数组。例如 rate=0.5 时，高度和宽度都将缩小一半，原始图像也就缩小了一半。这一算法的缺点是只能将原始图像的高度和宽度同时变化相同的比例，如果我们希望将原始图像变成10 ×1 4像素的图像，该算法就无法解决了。显然这种算法不适合解决我们面临的问题。
本文提出了一种新的归一化算法，可以将不同尺寸的二值图像统一为10×14 像素的图像。具体算法是：先得到原始图像的高度和宽度，分别与系统要求得到的高度和宽度作比较，得出要变换的系数，然后根据得到的系数计算每一个原始像素点归一化后在新图像中的位置，最后计算新图像中每个像素点的值，方法是：求出原始像素点及其周围三个点的像素值的平均值，最后用函数 floor.m 取整,调用格式
为 B=floor(A),B 取小于或者等于 A 的整数。
归一化算法程序代码如下：
ans=imread('0.bmp'); %读入图片0.bmp，28 × 28像素图像
imshow(ans)
[r,c]=size(ans); % r 是原图像的高度，c 是宽度
for i=2:(r-1)
for j=2:(c-1)
n=i/(r/14);
n=ceil(n);
m=j/(c/10);
m=ceil(m);
M(n,m)=(ans(i,j)+ans(i,j+1)+ans(i,j-1)+ans(i-1,j))/4;
N(n,m)=floor(M(n,m));
end
end
imshow(N)
例如，数字图像“0.bmp”经该归一化算法计算得到矩阵M，MATLAB 运行结果如图2.4所示。
图2.4 归一化处理
2.3.4 细化
许多字符识别方法在预处理中都很重视对二值化字符的细化处理。直观来说，细化就是将二值化字符点阵逐层剥去轮廓上的点，变成笔画宽度只有一个像素宽度的字符骨架图形。之所以需要细化处理，是因为二值化点阵图形中，对识别有价值
的文字特征信息主要集中在字符骨架上，细化后的字符骨架既保留了原字符的绝大部分的特征，又利于特征提取。细化后骨架的存储量比原来的二值化字符点阵要少得多，降低了处理工作量。
手写体数字细化的基本要求如下：
第一、保持原有字符笔画的连续性，不能由于细化造成笔画断裂。
第二、要细化为单线，即笔画宽度为一个像素。
第三、细化后的骨架应尽量是原来笔画的中心线。
2.4 小结
预处理是手写数字识别中不可缺少的组成部分,对图像预处理的好坏直接影响到识别的结果, 关系到识别算法的好坏。文中首先对待识别数字的预处理进行了介绍，包括平滑去噪、二值化、归一化、细化等图像处理方法，经过这些预处理步骤, 对图像中部分变形信息进行了修正, 消除图像中与识别无关的因素, 而且尽量保持原图像的字符特征, 在实验中提高了数字识别网络的性能。
第三章特征提取
3.1 特征提取的概述
模式识别使用特征来区分不同的种类。因此，特征提取是模式识别系统的关键部分。特征提取的目标是找到某种变换，将N维或N*N维的模式类别空间转换到维数小得多的M维特征空间，并同时保留模式识别所需要的大部分信息。通过特征提取，模式分类可以在维数低得多的空间上进行，从而降低了计算的复杂度。而且，对给定的训练样本进行特征提取可以获得更精确的分类函数的描述，以构造更可靠的分类规则。
同样对于手写体数字的识别，特征提取可以降低字符信息量、去除无用的冗余信息，提高识别系统效率，一直是字符识别领域中的关键点。
特征提取的目的是从原始数据中抽取出用于区分不同类型的本质特征。无论是识别过程还是学习过程，都要对研究对象固有的、本质的重要特征或属性进行量测并将结果数值化，形成特征矢量。
手写体数字的识别中，常用的特征有结构特征和统计特征。结构特征和统计特征各有其优点：结构特征能描述字符的结构，对于不同人书写的字符，形体不同，但结构都是一致的，所以结构特征能克服手写字体因人而引起的畸变；统计特征最大的优点是对环境噪音不敏感，如若字符的背景噪音通常都是呈高斯分布，用统计特征进行识别可对此影响忽略不计。本章将用两小节分别对结构特征和统计特征进行论述。
3.2 统计特征
对复杂图像信号作小波变换[11]，进行多分辨率分析，已经成为图像信号分析和处理的常用方法。由于小波变换的结果体现为大量的小波分解系数，这些系数包含了系统或信号本身大量和多样的特征信息。如果图像信号的主要信息能以一个或一组特征量来表征，我们就可以更加直观、有效和方便地对各种随机信号进行信息提取、信号检测、特征识别。
统计特征分为宏观特征信息和局部特征信息。宏观特征信息是需要在整幅图像上获取的特征信息。传统的全局特征主要包括：全局变换特征（对字符图像进行各种变换，利用变换系数作为特征向量，常用的变换有Fourier变换、K-L变换、小波变换等）、不变矩特征、全局笔划方向特征等；常用的局部统计特征有：局部笔划方向特征、Gabor特征等。统计特征对微小的畸变不敏感，但区分相似的能力较差。
以下为程序设计中对小波分析提取低频部分的统计特征的实例：
f=imread('sample.bmp');输入图像
[c,s]=wavedec2(h,3,'db2');对人脸图像进行3阶小波分解，并提取小波系数
wave2gray(c,s,8);显示小波分解后各子图
y=wavecopy('a',c,s)
figure,imshow(mat2gray(y));提取主要特征
3.3 结构特征
采用结构特征[12]对字符进行结构分析从而达到识别目的，是一种非常直观的方法。字符由各个子部件构成，逐级分析字符图像的结构，根据各元素的属性、数量及其相互关系，便可判定待识字符。与统计方法相比，结构分析不注重特征的绝对位置，只考虑特征的相对关系，因而对书写风格的变化不敏感，其缺点在于特征提取和模板的建立都十分困难，匹配算法也比较复杂，神经网络的应用弥补了这个缺点，只要提取出适当的结构向量作为神经网络的输入向量，会得到令人满意的识别输出结果。以下详细介绍。
3.3.1 结构特征提取
首先对经预处理后的图像进行分割，如图3.1所示。
图3.1 图像分割
对图像分割后，结构特征提取的算法如下：
(1)对细化后的数字图像取竖直的三条直线,分别取在5/12,1/2,7/12处,记下这三条竖直直线与数字笔段的交点数。
(2)再取水平三条直线,分别取在1/3,1/2,2/3处, 分别记下这三条水平直线与数字笔段的交点数。
(3)再取对角两条直线, 分别记下这两条对角直线与数字笔段的交点数。
3.3.2 笔划特征的提取
经细化后的数字图像其特征较为稳定,且笔划简单,因此对其抽取的基本结构组件能反映数字的本质特征,从而可快速有效地识别数字,并达到较好的分类效果。数字端点如图3.2所示。
图3.2数字端点
对图像分割后，结构特征提取的算法如下：
(1)按从上到下,从左到右的顺序扫描预处理后图像并选择黑像素点P；
(2)计算像素P的8－邻域之和N；
(3)若N=1,则像素P为端点,端点计数器加一；
(4)重复步骤(1)-(3),直到遍历整个图像。
3.3.3 数字的特征向量说明
依据上述特征提取方法,本系统中的特征矢量由9个分量组成,其排列如下所示: DATA=[ 竖直中线交点数，
竖直5/12处，
竖直7/12处，
水平中线交点数，
水平1/3处交点数，
水平2/3处交点数，
左对角线交点数，
右对角线交点数，
端点数 ];
3.3 知识库的建立
由于本文采用的是基于模式知识库的识别方法，所以对字符的结构特征的分析以及字符模型的构造是一个十分重要的环节，图3.3就是对识别数字的标准形态进行具体分析而构造的模板。
图3.3 规范手写体数字形态
以下为规范手写体数字形态的特征向量：
DATA01＝[2,2,2,2,2,2,2,2,0]；
DATA11＝[1,0,0,1,1,1,1,1,2]；
DATA21＝[3,3,3,1,1,1,1,1,3]；
DATA31＝[3,2,3,1,1,1,2,2,3]；
DATA41＝[1,1,1,2,2,1,3,2,4]；
DATA51＝[3,3,3,1,1,1,2,2,4]；
DATA61＝[3,3,2,1,1,2,3,2,1]；
DATA71＝[2,2,2,1,1,1,1,1,2]；
DATA81＝[4,4,4,2,2,2,2,2,0]；
DATA91＝[3,3,3,1,2,1,3,1,1]。
由于本系统是对自由手写体进行识别, 因而要考虑数字书写体的多变性。通过对图3.4所示的数字变体的分析来对知识库进行补充。
图3.4手写体数字变体
以下为手写体数字变体形态的特征向量：
DATA02＝[1,1,2,2,2,2,1,2,2]；
DATA22＝[3,2,2,1,1,1,1,3,2]；
DATA32＝[3,1,4,2,1,1,2,2,3]；
DATA42＝[1,2,2,3,3,1,2,2,2]；
DATA52＝[3,3,3,1,1,1,2,2,4]；
DATA62＝[3,1,3,1,1,2,2,2,2]；
DATA82＝[4,4,4,2,1,2,1,2,2]；
DATA92＝[3,2,3,2,1,1,3,1,3]。
最后得到的知识库由上述两套模板所组成。
第四章神经网络在数字识别的应用
4.1 神经网络简介及其工作原理
人的智能来自于大脑，大脑是由大量的神经细胞或神经元组成的。每个神经元可以看作为一个小的处理单元，这些神经元按照某种方式互相连接起来，构成了大脑内部的生理神经元网络。他们中各神经元之间连接的强弱，按照外部的激励信号作自适应变化，而每个神经元又随着接收到的多个激励信号的综合大小呈现兴奋或抑制状态。
4.1.1神经网络概述
人工神经元网络是生理学上的真实人脑神经网络的结构和功能，以及若干基本特性的某种理论抽象、简化和模拟而构成的一种信息处理系统。从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完善的联接而构成的自适应非线性动态系统。由于神经元之间有着不同的连接方式，所以组成不同结构形态的神经网络[14]系统是可能的。
据现在的了解，大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，大脑处理信息的结果确由神经元的状态表现出来。显然，神经元是信息处理系统的最小单元。虽然神经元的类型有很多种，但其基本结构相似。
4.1.2神经网络的工作原理
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。
所以网络学习的准则应该是：如果网络做出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图像模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能做出正确的判断。如果输出为“0”(即为结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。
如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够做出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。
4.2神经网络的学习与训练
人脑中一个典型神经元通过许多树突的精细结构，收集来自其它神经元的信息，神经元又通过轴突的一条长而细的轴突发出电活性脉冲。轴突分裂上千条分支，在每条分支末端，通过突触的结构把来自轴突的电活性变为电作用，从而使与之相连的各种神经元的活性受到抑制或兴奋。
当一个神经元收到兴奋输入，而兴奋输入又比神经元的抑制输入足够大时，神经元把电活性脉冲向下传到它的轴突，改变轴突的有效性，从而使一个神经元对另一个神经元的影响改变，便发生了学习行为。因此，可以认为神经网络学习的本质特征在于神经细胞特殊的突触结构所具有的可塑性连接，而如何调整连接权重就构成了不同的学习算法。
通过向环境学习获取知识并改进自身性能是NN的一个重要特点。在一般情况下，性能的改善是按某种预定的度量通过调节自身参数（如权值）随时间逐步达到的。学习方式[15](按照环境提供信息量的多少)有三种：
1．监督学习（有教师学习）
为了使神经网络在实际应用中解决各种问题，必须对它进行训练，就是从应用环境中选出一些样本数据，通过不断地调整权矩阵，直到得到合适的输入输出关系为止，这个过程就是对神经网络的训练过程，这种训练的过程需要有教师示教，提供训练数据，又称样本数据。在训练过程中又需教师的监督，故这种有教师的学习又称为监督式学习。
有教师学习方法虽然简单，但是要求教师对环境和网络的结构应该比较熟悉，当系统复杂，环境变化时，就变得困难。为了适应环境变化就要重新调整加权值，这样，当学习到新知识的同时，也容易忘掉已学过的旧知识，这一些是有教师学习方法的缺点。
2．非监督学习（无教师学习）
非监督学习时不存在外部教师，学习系统完全按照环境提供数据的某些统计规律来调节自身参数或结构（这是一种自组织过程），以表示出外部输入的某种固有特性（如聚类或某种统计上的分布特征）。无教师学习的训练数据集中，只有输入而没有目标输出，训练过程神经网络自动地将各输入数据的特征提取出来，并将其分成
基于知识库的手写体数字识别
HUNAN UNIVERSITY 课程模式识别 题目基于知识库的手写体数字识别学生姓名 学生学号
专业班级 学院名称 2016 年6 月25 日
基于知识库的手写体数字识别 1案例背景： 手写体数字识别是图像识别学科下的一个分支，是图像处理和模式识别研究领域的重要应用之一，并且具有很强的通用性。由于手写数字的随意性很大，如笔画粗细、字体大小、倾斜角度等因素都有可能直接影响到字符的识别准确率，所以手写体数字识别是一个很有挑战性的课题。在过去的数十年中，研究者们提出了许多识别方法，并取得了一定的成果。在大规模数据统计如例行年检、人口普查、财务、税务、邮件分拣等应用领域都有广阔的应用前景。 本案例实现了手写阿拉伯数字的识别过程，并对手写数字识别的基于统计的方法进行了简要介绍和分析。本文实现的手写字体识别程序具有手写数字图像读取、特征提取、数字模板特征库以及识别功能。 2 理论基础： 2-1手写字体识别方法： 手写体数字识别是一个跨学科的复杂问题，综合了图像处理、模式识别、机器学习等多个领域的知识，其识别过程一般包含图像预处理、特征提取、分类器的设定及其后处理等组成。处理流程如图2-1所示。
图2-1 手写体数子识别流程图 2-2 图像预处理 手写体数字识别的首要工作是图像预处理。在图像预处理过程中需要解决的主要问题有：定位、图像二值化、平滑化(去噪)H J、字符切分、规范化等。图像二值化是指将整个图像呈现出明显的黑白效果。待识别的手写体数字图像在扫描过程中，常会带来一些噪声，用不同的扫描分辨率得到的数字图像，其质量也各不相同，故而要先将这些干扰因素排除掉。另外，还需要正确分割整幅文档图像中的手写体数字，而分割后的数字大小、字体常各不相同，故还需进行归一化处理。 2-3 特征提取 特征提取的目的是从经过预处理后的数字图像中，提取出用以区分与其它数字类别的本质属性并数值化，形成特征矢量的过程。常见的手写体数字特征有：模板特征、统计特征、结构特征和变换特征。 2-4 分类器 不同的分类方式对应不同的分类器，可选的分类器有神经网络、支持向量机
神经网络控制
人工神经网络控制 摘要: 神经网络控制，即基于神经网络控制或简称神经控制，是指在控制系统中采用神经网络这一工具对难以精确描述的复杂的非线性对象进行建模，或充当控制器，或优化计算，或进行推理，或故障诊断等，亦即同时兼有上述某些功能的适应组合，将这样的系统统称为神经网络的控制系统。本文从人工神经网络，以及控制理论如何与神经网络相结合，详细的论述了神经网络控制的应用以及发展。 关键词: 神经网络控制；控制系统；人工神经网络 人工神经网络的发展过程 神经网络控制是20世纪80年代末期发展起来的自动控制领域的前沿学科之一。它是智能控制的一个新的分支，为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。是（人工）神经网络理论与控制理论相结合的产物，是发展中的学科。它汇集了包括数学、生物学、神经生理学、脑科学、遗传学、人工智能、计算机科学、自动控制等学科的理论、技术、方法及研究成果。 在控制领域，将具有学习能力的控制系统称为学习控制系统，属于智能控制系统。神经控制是有学习能力的，属于学习控制，是智能控制的一个分支。神经控制发展至今，虽仅有十余年的历史，已有了多种控制结构。如神经预测控制、神经逆系统控制等。 生物神经元模型 神经元是大脑处理信息的基本单元，人脑大约含1012个神经元，分成约1000种类型，每个神经元大约与102~104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式，同时，如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。 图1 生物神经元传递信息的过程为多输入、单输出，神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近，当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质，突触有两
毕业论文计算机手写数字识别技术完整版
毕业论文计算机手写数 字识别技术 HEN system office room 【HEN16H-HENS2AHENS8Q8-HENH1688】
合肥学院 2007届毕业设计（论文） 基于模板匹配算法的字符识别系 设计（论文）题 目 统研究与实现 院系名称计算机科学与技术系 专业（班级）计算机科学与技术 2003级1班 姓名（学号）宋飞（0） 指导教师赵大政 系负责人袁暋 二O O七年五月二十三日 摘要 自从计算机问世以来，让机器具有模式识别能力一直是计算机科学家们的努力方向。研究表明，对视觉和听觉信息的处理过程，不仅仅是一个感知过程，也是一个认知过程。因此，研究模式识别，是理解人类智能的本质的重要途径。字符识别是一个传统和典型的模式识别问题，脱机手写数字识别是一个典型的大类别的模式识别问题。手写体数字具有不同字符字型相差不大、相同字符有多种不同写法、数字没有上下文关系等等特点，使得脱机手写体数字识别成为识别领域最大的难题和最终的目标。在这种大类别识别的研究中，传统上大多采用模板匹配的方法来解决问题。而在模板匹配算法中，得计算其特征值。图像需要经过二值化，细化等预处理。 关键字模板匹配；特征值；细化；二值化 ABSTRACT Since computer appeared, it has been an effort direction for scientist to let the computer has the ability of pattern recognition. Researching indicates that the procedure to deal with seeing and hearing not only a procedure of perception but also cognition. Therefore, studying pattern recognition is an important way in understanding the mankind’s intelligence
离散Hopfield神经网络的联想记忆-数字识别
1.实现1,2在加噪声之后的识别 array_one=[-1 -1 -1 -1 1 1 -1 -1 -1 -1;-1 -1 -1 -1 1 1 -1 -1 -1 -1;... -1 -1 -1 -1 1 1 -1 -1 -1 -1;-1 -1 -1 -1 1 1 -1 -1 -1 -1;... -1 -1 -1 -1 1 1 -1 -1 -1 -1;-1 -1 -1 -1 1 1 -1 -1 -1 -1; ... -1 -1 -1 -1 1 1 -1 -1 -1 -1;-1 -1 -1 -1 1 1 -1 -1 -1 -1;... -1 -1 -1 -1 1 1 -1 -1 -1 -1;-1 -1 -1 -1 1 1 -1 -1 -1 -1]; array_two=[-1 1 1 1 1 1 1 1 1 -1;-1 1 1 1 1 1 1 1 1 -1;... -1 -1 -1 -1 -1 -1 -1 1 1 -1;-1 -1 -1 -1 -1 -1 -1 1 1 -1;... -1 1 1 1 1 1 1 1 1 -1;-1 1 1 1 1 1 1 1 1 -1;... -1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 -1 -1 -1 -1 -1 -1 -1;... -1 1 1 1 1 1 1 1 1 -1;-1 1 1 1 1 1 1 1 1 -1 ]; T=[array_one;array_two]'; net=newhop(T); noisy_array_one=array_one; noisy_array_two=array_two; for i=1:100 a=rand; if a<0.1 noisy_array_one(i)=-array_one(i); noisy_array_two(i)=-array_two(i); end end noisy_one={(noisy_array_one)'}; identify_one=sim(net,{10,10},{},noisy_one); identify_one{10}' noisy_two={(noisy_array_two)'}; identify_two=sim(net,{10,10},{},noisy_two); identify_two{10}' subplot(3,2,1) Array_one=imresize(array_one,20); imshow(Array_one) title('standard number 1') subplot(3,2,2) Array_two=imresize(array_two,20); imshow(Array_two) title('standard number 2') subplot(3,2,3) Noisy_array_one=imresize(noisy_array_one,20); imshow(Noisy_array_one) title('noisy number 1') subplot(3,2,4) Noisy_array_two=imresize(noisy_array_two,20); imshow(Noisy_array_two) title('noisy number 2')
手写数字识别的实现
燕山大学 课程设计说明书 题目：手写数字识别的实现 学院（系）：电气工程学院 年级专业： 08-自动化仪表 学号： 080103020179 学生姓名：付成超 指导教师：林洪彬程淑红 教师职称：讲师讲师 2010年 12 月 24 日
燕山大学课程设计（论文）任务书 院（系）：电气工程学院基层教学单位：自动化仪表系 学号080103020179 学生姓名付成超专业（班级）自动化仪表设计题目手写数字识别实现 设 计技术参数 通过由数字构成的图像，自动实现几个不同数字的识别，设计识别方法，有较高的识别率 设计要求 设计图像中不同数字的识别方法，可以先从两个数字的识别开始，尽量实现多个不同数字的识别。设计中应该有自己的思想、设计体会 工作量1．分析图像特征，查阅相关资料，根据图像的特征提出解决问题的思路。2．查阅相关资料，学会MATLAB的编程方法 3．根据解决思路，编辑程序，根据调试结果，修改相应思路，找出最佳解决方案 工作计划周一分析图像，查阅各种资料，提出可行的解决方案。周二熟悉MATLAB软件，学会软件的简单编程方法。 周三根据可行的方法，编写程序，调试并修改方案。周四根据调试结果，选取最佳方案并完成设计论文。周五进一步完善设计论文，准备论文答辩。 参考资料[] MICHAEL SIPSER著,张立昂等译,《计算理论导引》,机械工业出版社，2000。 [2] 王晓龙，关毅等编，《计算机自然语言处理》，清华大学出版社，2005。 [3] R.C.Gonzales等著，阮秋崎等译，《数字图像处理》，电子工业出版社，2002。 [4] 王文杰等编，《人工智能原理》，人民邮电出版社，2003。 指导教师签字基层教学单位主任签字 2010年 12 月 24 日
手写数字识别系统的设计与实现
] 手写数字识别系统的设计与实现 摘要本手写数字识别系统是一个以VISUAL STUDIO C++ 为编译环境，使用MFC进行图形图像界面开发的系统。主要功能是通过在点击手写数字识别菜单下的绘制数字标签弹出的绘制数字窗口中完成数字的手写，在此窗口中可以进行数字的保存及清屏，然后通过文件菜单中的打开标签打开所绘制的数字，从而进行数字的预处理，其中包括灰度化及二值化处理，然后进行特征提取，最后实现数字的识别。本系统的界面设计友好，流程正确，功能也较为完善。实验结果表明，本系统具有较高的识别率。 关键词：绘制数字;预处理;特征提取;特征库;数字识别 / ；
目录 前言 (1) 概述 (2) 1 需求分析 (4) 功能需求分析 (4) , 性能需求分析 (4) 数据需求分析 (5) 相关软件介绍 (5) 2 手写数字识别系统的设计与基本原理 (6) 系统整体功能模块设计 (6) 手写数字识别系统的基本原理 (6) 数字图像的绘制 (6) 图像的预处理 (6) ） 图像的特征提取 (7) 特征库的建立 (8) 图像数字的识别 (8) 3 手写数字识别系统程序设计 (8) 数字图像的绘制 (8) 数字的特征提取 (15) 模板特征库的建立 (18) 数字的识别 (20) （
总结 (23) 致谢 (24) 参考文献 (25)
前言 自上世纪六十年代以来，计算机视觉与图像处理越来越受到人们的关注，并逐渐成为一门重要的学科领域。而作为它们的研究对象的数字图像，也因为它含有研究目标的丰富信息而成为越来越重要的研究对象。图像识别的目标是用计算机自动完成某些信息的处理，用来替代人工去处理图像分类及识别的任务。 手写数字识别是图像识别学科下的一个分支，是图像处理和模式识别领域研究的课题之一，由于其具有很强的实用性一直是多年来的研究热点。由于手写体数字的随意性很大，例如，笔画的粗细，字体的大小，倾斜等等都直接影响到字符的正确识别，所以手写体数字识别是一个很有挑战性的课题。在过去的数十年中，研究者们提出了许多的识别方法，取得了较大的成果。手写体数字识别实用性很强，在大规模数据统计(如例行年检，人口普查)，财务，税务，邮件分拣等等应用领域中都有广阔的应用前景。本课题拟研究手写体数字识别的理论和方法，开发一个小型的手写体数字识别系统。 在研究手写体数字识别理论和方法的基础上，开发这样一个小型的手写体数字识别系统需要完成以下主要方面的研究与设计工作：手写数字绘制的问题、数字的预处理问题、特征提取问题、特征库的建立问题、数字识别问题。
神经网络模型预测控制器
神经网络模型预测控制器 摘要：本文将神经网络控制器应用于受限非线性系统的优化模型预测控制中，控制规则用一个神经网络函数逼近器来表示，该网络是通过最小化一个与控制相关的代价函数来训练的。本文提出的方法可以用于构造任意结构的控制器，如减速优化控制器和分散控制器。 关键字：模型预测控制、神经网络、非线性控制 1.介绍 由于非线性控制问题的复杂性，通常用逼近方法来获得近似解。在本文中，提出了一种广泛应用的方法即模型预测控制（MPC），这可用于解决在线优化问题，另一种方法是函数逼近器，如人工神经网络，这可用于离线的优化控制规则。 在模型预测控制中，控制信号取决于在每个采样时刻时的想要在线最小化的代价函数，它已经广泛地应用于受限的多变量系统和非线性过程等工业控制中[3,11,22]。MPC方法一个潜在的弱点是优化问题必须能严格地按要求推算，尤其是在非线性系统中。模型预测控制已经广泛地应用于线性MPC问题中[5]，但为了减小在线计算时的计算量，该部分的计算为离线。一个非常强大的函数逼近器为神经网络，它能很好地用于表示非线性模型或控制器，如文献[4,13,14]。基于模型跟踪控制的方法已经普遍地应用在神经网络控制，这种方法的一个局限性是它不适合于不稳定地逆系统，基此本文研究了基于优化控制技术的方法。 许多基于神经网络的方法已经提出了应用在优化控制问题方面，该优化控制的目标是最小化一个与控制相关的代价函数。一个方法是用一个神经网络来逼近与优化控制问题相关联的动态程式方程的解[6]。一个更直接地方法是模仿MPC方法，用通过最小化预测代价函数来训练神经网络控制器。为了达到精确的MPC技术，用神经网络来逼近模型预测控制策略，且通过离线计算[1,7.9,19]。用一个交替且更直接的方法即直接最小化代价函数训练网络控制器代替通过训练一个神经网络来逼近一个优化模型预测控制策略。这种方法目前已有许多版本，Parisini[20]和Zoppoli[24]等人研究了随机优化控制问题，其中控制器作为神经网络逼近器的输入输出的一个函数。Seong和Widrow[23]研究了一个初始状态为随机分配的优化控制问题，控制器为反馈状态，用一个神经网络来表示。在以上的研究中，应用了一个随机逼近器算法来训练网络。Al-dajani[2]和Nayeri等人[15]提出了一种相似的方法，即用最速下降法来训练神经网络控制器。 在许多应用中，设计一个控制器都涉及到一个特殊的结构。对于复杂的系统如减速控制器或分散控制系统，都需要许多输入与输出。在模型预测控制中，模型是用于预测系统未来的运动轨迹，优化控制信号是系统模型的系统的函数。因此，模型预测控制不能用于定结构控制问题。不同的是，基于神经网络函数逼近器的控制器可以应用于优化定结构控制问题。 在本文中，主要研究的是应用于非线性优化控制问题的结构受限的MPC类型[20,2,24,23,15]。控制规则用神经网络逼近器表示，最小化一个与控制相关的代价函数来离线训练神经网络。通过将神经网络控制的输入适当特殊化来完成优化低阶控制器的设计，分散和其它定结构神经网络控制器是通过对网络结构加入合适的限制构成的。通过一个数据例子来评价神经网络控制器的性能并与优化模型预测控制器进行比较。 2.问题表述 考虑一个离散非线性控制系统： 其中为控制器的输出，为输入，为状态矢量。控制
基于某某BP神经网络地手写数字识别实验报告材料
基于BP神经网络的手写体数字图像识别 PT1700105 宁崇宇 PT1700106 陈玉磊 PT1700104 安传旭 摘要 在信息化飞速发展的时代，光学字符识别是一个重要的信息录入与信息转化的手段，其中手写体数字的识别有着广泛地应用，如：邮政编码、统计报表、银行票据等等，因其广泛地应用范围，能带来巨大的经济与社会效益。 本文结合深度学习理论，利用BP神经网络对手写体数字数据集MNIST进行分析，作为机器学习课程的一次实践，熟悉了目前广泛使用的Matlab工具，深入理解了神经网络的训练过程，作为非计算机专业的学生，结合该课题掌握了用神经网络处理实际问题的方法，为今后将深度学习与自身领域相结合打下了基础。
1 引言 从计算机发明之初，人们就希望它能够帮助甚至代替人类完成重复性劳作。利用巨大的存储空间和超高的运算速度，计算机已经可以非常轻易地完成一些对于人类非常困难的工作，然而，一些人类通过直觉可以很快解决的问题，却很难通过计算机解决，这些问题包括自然语言处理、图像识别、语音识别等等，它们就是人工智能需要解决的问题。 计算机要想人类一样完成更多的智能工作，就需要掌握关于这个世界的海量知识，很多早期的人工智能系统只能成功应用于相对特定的环境，在这些特定环
境下，计算机需要了解的知识很容易被严格完整地定义。 为了使计算机更多地掌握开放环境下的知识，研究人员进行了很多的尝试。其中影响力很大的一个领域就是知识图库（Ontology），WordNet是在开放环境中建立的一个较大且有影响力的知识图库，也有不少研究人员尝试将Wikipedia中的知识整理成知识图库，但是建立知识图库一方面需要花费大量的人力和物力，另一方面知识图库方式明确定义的知识有限，不是所有的知识都可以明确地定义成计算机可以理解的固定格式。很大一部分无法明确定义的知识，就是人类的经验，如何让计算机跟人类一样从历史的经验中获取新的知识，这就是机器学习需要解决的问题。 卡内基梅隆大学的Tom Michael Mitchell教授在1997年出版的书籍中将机器学习定义为“如果一个程序可以在任务T上，随着经验E的增加，效果P 也可以随之增加，则称这个程序可以从经验中学习”。逻辑提取算法可以从训练数据中计算出每个特征和预测结果的相关度，在大部分情况下，在训练数据达到一定数量之前，越多的训练数据可以使逻辑回归算法的判断越精确，但是逻辑回归算法有可能无法从数据中学习到好的特征表达，这也是很多传统机器学习算法的共同问题。 对机器学习问题来说，特征提取不是一件简单的事情。在一些复杂问题上，要通过人工的方式设计有效的特征集合，需要很多的时间和精力，甚至需要整个领域数十年的研究投入。既然人工无法很好地抽取实体中的特征，那么是否有自动的方式呢？深度学习解决的核心问题就是自动地将简单的特征组合成更加复杂的特征，并使用这些特征解决问题。 因为深度学习的通用性，深度学习的研究者往往可以跨越多个研究方向，甚至同时活跃于数个研究方向。虽然深度学习受到了大脑工作原理的启发，但现代深度学习研究的发展并不拘泥于模拟人脑神经元和人脑的工作原理，各种广泛应用的机器学习框架也不是由神经网络启发而来的。 MATLAB是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括MATLAB和Simulink两大部分。 MNIST是一个非常有名的手写体数字识别数据集，被广泛用作机器学习的入门样例，它包含了60000张图片作为训练数据，10000张图片作为测试数据，每一张图片代表了0~9中的一个数字，图片的大小为28x28，且数字会出现在图片的正中间。本文以该数据集为例，基于Matlab来分析BP神经网络的性能。 2 运行环境 本设计在Windows 10 下进行设计、主要利用Matlab工具环境，进行模拟演示。
动态神经网络综述
动态神经网络综述 摘要 动态神经网络(DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用。本文系统介绍了该网络的几种常见模型，并在此基础之上介绍它的基本学习算法、功能、应用领域、实际推广。 关键词：动态神经网络，模型，功能，算法，应用 Abstract Dynamic Neural Network (DNN) has been widely applied by means of the strong ability of learning and the characteristic of approximating any nonlinear function. The paper mainly introduces several models of common dynamic neural network, and dynamic neural network's function, basic algorithm, application and promotion. Keywords: DNN, Models , Function , Algorithm , Application
1、绪论 人工神经网络（Artificial Neural Networks，简写为ANNs）是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达[1]。 神经网络按是否含有延迟或反馈环节，以及与时间是否相关分为静态神经网络和动态神经网络,其中含有延迟或反馈环节，与时间直接有关的神经网络称为动态神经网络[2]。动态神经网络具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来,将动态神经网络作为一种新的方法引入复杂非线性系统建模中引起了工程控制领域许多学者的关注[3]。动态神经网络现在已经广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面。 本文第二章主要介绍了动态神经网络的分类，基本模型和算法；第三章主要介绍了动态神经网络的应用；第四章简要介绍了神经网络的改进方法。 2、DNN网络的基本模型和算法 根据结构特点，可以将动态神经网络分为3类:全反馈网络结构,部分反馈网络结构以及无反馈的网络结构。 反馈网络(Recurrent Network),又称自联想记忆网络,如下图所示: 图2-1 反馈网络模型 反馈网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； 第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络根据信号的时间域的性质的分类为
基于神经网络的手写数字识别系统的设计与实现
中南大学 本科生毕业论文（设计） 题目基于神经网络的手写数字 识别系统的设计与实现
目录 摘要 (Ⅰ) ABSTRACT (Ⅱ) 第一章绪论 (1) 1.1手写体数字识别研究的发展及研究现状 (1) 1.2神经网络在手写体数字识别中的应用 (2) 1.3 论文结构简介 (3) 第二章手写体数字识别 (4) 2.1手写体数字识别的一般方法及难点 (4) 2.2 图像预处理概述 (5) 2.3 图像预处理的处理步骤 (5) 2.3.1 图像的平滑去噪 (5) 2.3.2 二值话处理 (6) 2.3.3 归一化 (7) 2.3.4 细化 (8) 2.4 小结 (9) 第三章特征提取 (10) 3.1 特征提取的概述 (10) 3.2 统计特征 (10) 3.3 结构特征 (11) 3.3.1 结构特征提取 (11) 3.3.2 笔划特征的提取 (11) 3.3.3 数字的特征向量说明 (12) 3.3 知识库的建立 (12) 第四章神经网络在数字识别中的应用 (14) 4.1 神经网络简介及其工作原理 (14) 4.1.1神经网络概述[14] (14) 4.1.2神经网络的工作原理 (14) 4.2神经网络的学习与训练[15] (15) 4.3 BP神经网络 (16) 4.3.1 BP算法 (16) 4.3.2 BP网络的一般学习算法 (16)
4.3.3 BP网络的设计 (18) 4.4 BP学习算法的局限性与对策 (20) 4.5 对BP算法的改进 (21) 第五章系统的实现与结果分析 (23) 5.1 软件开发平台 (23) 5.1.1 MATLAB简介 (23) 5.1.2 MATLAB的特点 (23) 5.1.3 使用MATLAB的优势 (23) 5.2 系统设计思路 (24) 5.3 系统流程图 (24) 5.4 MATLAB程序设计 (24) 5.5 实验数据及结果分析 (26) 结论 (27) 参考文献 (28) 致谢 (30) 附录 (31)
(完整版)手写体数字识别系统设计毕业设计
石河子大学 信息科学与技术学院毕业论文 课题名称：手写体数字识别系统设计 学生姓名： 学号： 学院：信息科学与技术学院
专业年级：电子信息工程2007级指导教师： 职称： 完成日期：二○一一年六月十一日
手写体数字识别系统设计 学生： 指导教师： [摘要] 随着科学技术的迅速发展，在邮政编码、统计报表、财务报表、银行票据等处理大量字符信息录入的场合，手写数字识别系统的应用需求越来越强烈，如何将数字方便、快速地输入到计算机中已成为关系到计算机技术普及的关键问题。本文设计实现了一个基于Matlab软件的手写体数字识别系统，采用模块化设计方法，编写了摄像头输入、直接读取图片、写字板输入三个模块，利用摄像头等工具，将以文本形式存在的手写体数字输入进计算机，完成对手写体数字图片的采集，并设计了一种手写数字识别方法，对手写体数字图像进行预处理、结构特征提取、分类识别，最终以文本形式输出数字，从而实现手写体数字的识别。 [关键词] 预处理，结构特征提取，分类识别，手写体数字识别
Handwritten Digit Recognition System Students： Teacher：
Abstract:With the rapid development of science and technology, in zip code, statistics, reports, financial statements, Bank bills dealing with a large number of characters, such as information recorded occasions, handwritten digit recognition system of requirement has become stronger and stronger, how easily and quickly the number entered in the computer has become a key issue relates to the popularization of computer technology. This article design implementation has a based on Matlab software of handwriting body digital recognition system, used module of design method, write has camera entered, and directly read pictures, and write Board entered three a module, using camera, tools, will to text form exists of handwriting body digital entered into computer, completed on handwriting body digital pictures of collection, and design has a handwriting digital recognition method, on handwriting body digital image for pretreatment, and structure features extraction, and classification recognition, eventually to text form output digital, to implementation handwriting body digital of recognition. Key words: Pretreatment, structure feature extraction, classification and recognition, handwritten digit recognition.
神经网络控制完整版
神经网络控制 HEN system office room 【HEN16H-HENS2AHENS8Q8-HENH1688】
人工神经网络控制 摘要: 神经网络控制，即基于神经网络控制或简称神经控制，是指在控制系统中采用神经网络这一工具对难以精确描述的复杂的非线性对象进行建模，或充当控制器，或优化计算，或进行推理，或故障诊断等，亦即同时兼有上述某些功能的适应组合，将这样的系统统称为神经网络的控制系统。本文从人工神经网络，以及控制理论如何与神经网络相结合，详细的论述了神经网络控制的应用以及发展。 关键词: 神经网络控制；控制系统；人工神经网络 人工神经网络的发展过程 神经网络控制是20世纪80年代末期发展起来的自动控制领域的前沿学科之一。它是智能控制的一个新的分支，为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。是（人工）神经网络理论与控制理论相结合的产物，是发展中的学科。它汇集了包括数学、生物学、神经生理学、脑科学、遗传学、人工智能、计算机科学、自动控制等学科的理论、技术、方法及研究成果。 在控制领域，将具有学习能力的控制系统称为学习控制系统，属于智能控制系统。神经控制是有学习能力的，属于学习控制，是智能控制的一个分支。神经控制发展至今，虽仅有十余年的历史，已有了多种控制结构。如神经预测控制、神经逆系统控制等。 生物神经元模型 神经元是大脑处理信息的基本单元，人脑大约含1012个神经元，分成约1000种类型，每个神经元大约与 102~104个其他神经元相连接，形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单，但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式，同时，如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。 图1 生物神经元传递信息的过程为多输入、单输出，神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近，当神经元细胞体通过轴突传到突触前膜的脉
手写数字识别技术研究【开题报告】
毕业设计开题报告 计算机科学与技术 手写数字识别技术研究 一、选题的背景、意义 字符识别处理的信息可分为两大类:一类是文字信息,处理的主要是用各国家,各民族的文字(如:汉字,英文等)书写或印刷的文本信息，目前在印刷体和联机手写方面技术已趋向成熟,并推出了很多应用系统;另一类是数据信息,主要是由阿拉伯数字及少量特殊符号组成的各种编号和统计数据,如:邮政编码,统计报表,财务报表,银行票据等等,处理这类信息的核心技术是手写数字识别。因此,手写数字的识别研究有着重大的现实意义,一旦研究成功并投入应用,将产生巨大的社会和经济效益。 在当前在手写体数字识别的研究中，对于已二值化的图像抽取特征的方法有许多种。常用的统计特征有Gabor变换特征、Legendre矩特征、Pseudo-Zernike矩特征与Zernike矩特征。统计特征通常反映图像点阵总体分布情况，这些特征的图像预处理简单，对噪声不敏感，但对字的一些精细结构部分反应不灵敏。由数字图像的骨架和轮廓可抽取出手写体数字的结构特征，它往往对字结构精细部分反映灵敏，但图像预处理复杂，对噪声较敏感，一个完善的基于结构特征的分类器往往十分庞杂。基于这种情况，研究一种特征提取基于根据图像象素的走向判断出某段数字的结构的手写体识别系统具有一定的现实意义。 二、研究的基本内容与拟解决的主要问题 手写字符识别技术作为光学字符识别的一个重要分支，其综合了数学图像处理、计算机图形学和人工智能等多方面的知识，已越来越成为计算机自动化和智能化的重要技术。 由于手写数字的不规范性和多样性，再加上为了识别精确而对数字图像进行高点阵扫描，从而使数字识别时所要处理的信息不仅量大，而且复杂。为了能更好地识别，就要求识别系统能从大量数据中抽取关键信息，加以准确识别。脱机识别将书写字符转化为点阵或二值图像再抽取特征进行识别, 该方法与书写顺序无关, 较易识别具有“补笔划”或有“自由始终点”的字符, 但不易抽取象笔划特征这样分类能力强的特征。 本毕业设计主要解决以图像形式存在的手写体数字的识别问题。主要分为三个部分，
用系统动力学、神经网络和特征值来分析供应链绩效-以实例论证讲解学习
用系统动力学、神经网络和特征值来分析供应链绩效 -以实例论证 L. RABELO*y, M. HELALy, C. LERTPATTARAPONGz, R. MORAGAx and A. SARMIENTOy 佛罗里达中央大学工程与管理系统部美国奥兰多佛罗里达中央大道4000号 摘要 由于内生变量和外生变量都影响改变供应链的行为，本文提出一种的新的方法来预测生产供应链。在用此方法进行预测识别时，由于方法允许的原因，可能导致负面的行为，为此建立供应链的动态模型，利用系统动力学进行仿真。用该模型对神经网络进行训练，使在早期，企业有能力作出反应并对相关行为进行预测。根据模型稳定性和可控性原则，特征值分析用于调查任何不可预见的行为，并消除或减少这些行为带来的影响。最后以一个电子制造公司案例来演示如何应用此方法给企业带来利益。 关键字：供应链模型系统动力学神经网络特征值分析 引言 供应链管理（SCM）目标是多方面的，包括成本最小化、提高服务质量、加强合作伙伴之间的沟通，并增加供货方面的灵活性和快速响应。而一个优秀的供应链管理则依赖于销售、需求和库存水平的数据，这需要假定供给是可预见的，这个市场过去是由供应商主导的而非消费者。目前在争夺全球市场时企业之间竞争十分激烈，因此做法上推行以顾客为中心的战略、以及拉式理念在制造业的运用和注重质量认证的策略越来越被企业看中，而这些革命性的变化迫使企业提高供应链管理，以达到预期的竞争优势。 与SCM相关的一个问题就是SC行为的变化，由于受内部和外部因素的影响，SC行为是动态的和非线性的相互作用。在客户需求层面一些小的变化都可以引起SC大幅波动（牛鞭效应）和振荡反应。例如在服务行业，当货款利率突然下降会导致对货款需求的突然增加，银行可能无法满足，因此制造业和服务业必须准备应付任何不良后果。在本文中，我们引入三个SC行分析方法：一是抓住SC 的动态；二是分析识别和分类不同情况下的系统参数；三是为SC设置自我修复能力，避免不良行为和后果。 为此我们利用系统动力学（SD）模拟该模型的性能及对SC的影响，用神经
手写体数字的识别
手写体数字识别 第一章绪论 (4) 1.1课题研究的意义 (4) 1.2国内外究动态目前水平 (4) 1.3手写体数字识别简介 (5) 1.4识别的技术难点 (5) 1.5主要研究工作 (6) 第二章手写体数字识别基本过程： (6) 2.1手写体数字识别系统结构 (6) 2.2分类器设计 (7) 2.2.1 特征空间优化设计问题 (7) 2.2.2分类器设计准则 (8) 2.2.3分类器设计基本方法 (9) 3.4 判别函数 (9) 3.5训练与学习 (10) 第三章贝叶斯方法应用于手写体数字识别 (11) 3.1贝叶斯由来 (11) 3.2贝叶斯公式 (11) 3.3贝叶斯公式Bayes决策理论： (12) 3.4贝叶斯应用于的手写体数字理论部分： (16) 3.4.1.特征描述： (16) 3.4.2最小错误分类器进行判别分类 (17) 第四章手写体数字识别的设计流程及功能的具体实现 (18) 4.1 手写体数字识别的流程图 (18) 4.2具体功能实现方法如下： (19) 结束语 (25) 致谢词 (25) 参考文献 (26) 附录 (27)
摘要 数字识别就是通过计算机用数学技术方法来研究模式的自动处理和识别。随着计算机技术的发展，人类对模式识别技术提出了更高的要求。特别是对于大量己有的印刷资料和手稿，计算机自动识别输入己成为必须研究的课题，所以数字识别在文献检索、办公自动化、邮政系统、银行票据处理等方面有着广阔的应用前景。 对手写数字进行识别，首先将汉字图像进行处理，抽取主要表达特征并将特征与数字的代码存储在计算机中，这一过程叫做“训练”。识别过程就是将输入的数字图像经处理后与计算机中的所有字进行比较，找出最相近的字就是识别结果。 本文主要介绍了数字识别的基本原理和手写的10个数字字符的识别系统的设计实现过程。第一章介绍了数字识别学科的发展状况。第二章手写体数字识别基本过程。第三章贝叶斯方法应用于手写体数字识别。第四章手写体数字识别的设计流程及功能的具体实现，并对实验结果做出简单的分析。 关键词：手写体数字识别分类器贝叶斯vc++6.0 错误！未找到引用源。
手写体数字识别系统的设计与实现
大学生研究计划项目 论文报告 项目名称：_手写体数字识别系统的设计与实现 负责人：_________ _______________ 学院/专业：_____ ______ 学号：____ ________ 申请经费：_____ _________________ 指导教师：______ _______ 项目起止时间：2011年6月-2012年3月
摘要 手写体数字识别系统依托计算机应用软件为载体，利用C++程序设计的相关知识，运用模块设计等相关技术，最终完成手写体设计系统的程序综合设计。 关键字：手写体数字处理模式识别程序设计 一、论题概述 模式识别是六十年代初迅速发展起来的一门学科。由于它研究的是如何用机器来实现人(及某些动物)对事物的学习、识别和判断能力，因而受到了很多科技领域研究人员的注意，成为人工智能研究的一个重要方面。 字符识别是模式识别的一个传统研究领域。从50年代开始，许多的研究者就在这一研究领域开展了广泛的探索，并为模式识别的发展产生了积极的影响。 字符识别一般可以分为两类:1.联机字符识别;2.光学字符识别(Optical Chara- cter Recognition，OCR)或称离线字符识别。在联机字符识别中，计算机能够通过与计算机相连的输入设备获得输入字符笔划的顺序、笔划的方向以及字符的形状，所以相对OCR来说它更容易识别一些。但联机字符识别有一个重要的不足就是要求输入者必须在指定的设备上书写，然而人们在生活中大部分的书写情况是不满足这一要求的，比如人们填写各种表格资料，开具支票等。如果需要计算机去认识这些己经成为文字的东西，就需要OCR技术。比起联机字符识别来，OCR不要求书写者在特定输入设备上书写，它可以与平常一样书写，所以OCR 的应用更为广泛。OCR所使用的输入设备可以是任何一种图像采集设备，如CCD、扫描仪、数字相机等。通过使用这类采集设备，OCR系统将书写者已写好的文字作为图像输入到计算机中，然后由计算机去识别。由于OCR的输入只是简单的一副图像，它就不能像联机输入那样比较容易的从物理特性上获得字符笔划的顺序信息，因此OCR是一个更具挑战性的问题。 数字识别是多年来的研究热点，也是字符识别中的一个特别问题，它是本文研究的重点。数字识别在特定的环境下应用特别广泛，如邮政编码自动识别系统，税表和银行支票自动处理系统等。一般情况下，当涉及到数字识别时，人们往往要求识别器有很高的识别可靠性，特别是有关金额的数字识别时，如支票中填写
手写数字识别实践指导手册
手写数字系统实践指导手册 1 问题描述 设计一个简单的手写数字识别系统，能够识别手写输入的数字1-9并且能够识别选中的文本文件中的数字，应具有简单方便的操作界面，输入输出等。 1.1功能需求分析 通过分析，以及从用户的角度考虑，系统应该具有以下功能: （1）数字的手写输入。作为一个手写数字识别系统，首先应该能够让用户过绘制窗口进行数字绘制，系统得到用户的手写输入进行处理。 （2）直接选择文件。用户还可以选择系统中的文本文件进行处理。 （3）数据预处理。包括计算数据大小、二值化、格式化处理等。 （4）数字提取。将经过二值化后的图像中的个数字区域进行提取，只有能够将数字进行准确的提取，才能将其一一识别。 （5）基准库的选择与建立。选择一个可供系统训练和测试的样本库非常重要，本系统的训练集和测试集选择的是《机器学习实战》中所给的数据。 （6）识别数字。经过训练集进行训练后，使用knn算法对需要识别的数字识别。 2 数据集获取 ●任务要求： 从网上爬取或者下载适合进行手写数字识别系统的训练集和测试集 ●实践指导： 方式一：自己从网上找适合的数据下载 方式二：推荐数据集：“手写数字数据集的光学识别”一文中的数据集合，该文登载与2010年10月3日的UCI机器学习资料库中https://www.wendangku.net/doc/2d1526011.html,/ml
3 功能设计与实现 3.1手写数字识别系统结构图： 图一：系统结构图 3.2识别用户选择手选文件功能设计与实现 ●任务要求： 用户可以自己从电脑中选择文本文件进行识别。 ●实践指导： KNN分类器的构造思路及原理如下： 1）选择训练集和测试集。系统所采用的数据集选用的是“手写数字数据集的光学识别”一文中的数据集合。0-9每个数字大约有200个训练数据20个测试数据。数字的文本格式如图所示。