神经网络在语音识别上的应用
H a r b i n I n s t i t u t e o f T e c h n o l o g y
神经网络与智能信号处理
实验报告
神经网络实验报告
1、实验名称：
神经网络在语音识别上的应用
2、实验目的：
进一步了解神经网络在语音识别上的应用，了解神经网络的基本原理，学习神经网络的算法，还可以进一步分析不同的隐节点数以及训练步数对误差性能的影响。
3、实验要求：
1、设计一个标准的BP学习算法网络来对语音信号26个字母进行识别。
2、在训练时采用不同的隐含层神经元个数，分析其对网络性能、语音识别系统的识别率的影响。
3、用所创建的BP神经网络进行26个字母的语音识别，观察并记录结果，并分析其误差。
4、实验步骤：
1、语音识别的基本原理
语音识别的总体流程如下：
语音输入时要先经过预处理，包括预加重、分帧加窗等。然后进行特征提取，该实验中的特征参数为MFCC 参数。语音特征参数的时间序列构成语音的模式，将其与获得的参考模式逐一比较，获得最佳匹配的参考模式便是识别结果。
由于语音信号的复杂性，所以在一开始在语音信号输入语音识别系统时需要进行预处理，预处理包括预加重，分帧加窗，端点检测等。预加重的目的是为了加强语音的高频部分，以便在特征提取阶段进行频谱分析。分帧加窗的目的是为了使帧与帧之间平滑过渡，保持连续性以及保持语音信号的短时平稳性，降低由于不连续而产生的Gibbs 效应。端点检测的目的就是从语音信号序列中截取实际有效的语音信号。
特征提取阶段，是从语音数据中提取能反映语音信号特征和变化规律的参数，以唯一表征语音，这儿选用的语音信号特征参数为MEL 频率倒谱系数，即MFCC 。MEL 频率倒谱的实现过程如下图所示：
（1）对语音信号进行预处理，加窗、分帧将其变为短时信号。
（2） 将短时时域信号转变为频域信号，并计算其短时能量，离散傅立叶变换。将时域信号
后补若干0形成长为N 的序列，再经过离散傅立叶变换得到线性频谱，变换公式：
0n,k N-1
（3）在频标内三角带通滤波器个加于坐标得到滤波器组，转化关系为
（4）求对数能量。为了使计算结果对噪声和谱估计噪声有更好的鲁棒性，一般将上述经过Mel频谱取对数能量。则由线性频谱得到对数频谱的总的传递函数为：
（5）离散余弦变换（DCT）
将上述的对数频谱经过离散余弦变换到倒谱域，即可得到MEL倒谱系数即MFCC系数
2、BP神经网络的建立
BP神经网络是一种多层前馈神经网络，采用的算法是误差反传法，误差反传法特点就是使输入输出层连接权值进行调整，而且隐含层连接权值可根据误差与上层输出进行修改，即有了学习能力。在BP神经网络中存在前向传播信息流和误差反传信息流。前向传播信息流就是输入信号从输入层进入到隐含层，再从输出层输出。它的输出是整个神经网络的计算结果。网络会计算最后输出与期望间的误差。如果误差超过一定的范围，就沿着神经网络反传，进行误差反传。误差反传就是误差从输出层经隐含层到输入层的过程。误差衡量的是输出信息与期望信息的距离。在误差反传的过程中，连接权值根据误差值等一些参数来进行调整，使得调整后的BP网络的实际输出更接近于理想输出。
本实验中的BP神经网络设计为3层，即其隐含层只有一层。在训练阶段和识别阶段BP网络的输入均是由输入语音的MFCC参数组成。这些特征参数构成一个矩阵，矩阵的每一列代表一个单独的语音，矩阵的行数为每个输入的维数，矩阵的列数为语音样本数。
要识别所有的字母，BP神经网络的输出层采用5维的来识别26个英文字母。00000～11010分别对应字母A~Z。但实际中我们只识别A~E，所以只需3维就够了，001～101分别对应A~E。
当神经网络的各节点采用S型传递函数时一个隐含层就可以实现任意判决分类问题。对于规模不大的神经网络的模式分类、边界判决问题，使用两层隐含层并不一定比一层隐含层更优越。同时考虑到语音识别系统的效率问题，所以本实验只采用一层隐含层，隐含层神经元的数目为15个。
BP神经网络的创建函数：net=newff(pr,sn,transf,trainf)
其中pr为输入的数值范围；sn为一维数组，数组的维数表示神经网络的层数，数组的大小表示该层的神经元个数。transf也是一维数组，表示神经网络各层的传递函数。trainf为神经网络的训练函数。
BP神经网络的训练函数：net=train(net,sample,target)
参数中的net是指未经训练的BP神经网络，sample为供训练的语音样本，target为相对应的sample的期望输出，该函数返回一个已经训练好的BP神经网络。
BP神经网络的仿真函数:Y=sim(net,sample)
Net为已经训练好的BP神经网络，sample为供测试使用的语音样本特征。该仿真函数返回每个样本特征对应的识别结果。
5、试验结果分析
由于识别26个字母的输入较大，本实验中只用A~E五个字母来训练识别，它们的基本原理是一样的。BP神经网络的网络参数设置为：BP网络共3层，输入神经元的个数为30，隐含层神经元的个数为20，输出层神经元的个数为3。如果训练步数为150。则输出为
每一列代表一个字母，则输出Y接近于[001，010，011，100，101…….]即输出为A,B,C,D,E,A,B,C,D,E,A,B,C,D,E
下图为其误差图:
当隐含层为15,训练步数为150时,则其输出为:
输出Y的误差就比较大，下图是其误差图：
当隐含层为30时，训练步数为150时，其输出：
其误差也比较大，误差图如下：
比较上面3幅误差图可以发现，当训练步数为150时，隐含层数目为20时，其误差最小，隐含层数目为15和30时，其误差都较大。得出结论，BP神经网络隐含层个数的选择对网络性能的影响很大。若隐含层神经元个数较少，神经网络就可能训练不出所期望的输出结果，因为个数较少时，网络容易陷入局部较小，鲁棒性能较弱，容错能力不强，结果造成识别率低。若隐含层神经元个数过多，网络的训练时间很长性能也不定能得到提高。
所以综上所述，隐含层神经元数目最终选取20个。
当神经元个数选取20个时，训练步数分别选取100，150，200，比较其误差。
训练步数=100
训练步数=150
训练步数=200
通过比较上面3幅图发现训练步数越多，其误差越小。但是训练步数越多带来的问题就是训练时间较长，在误差要求不是太高情况下，选取训练步数为150就能够满足误差要求了。
6、实验体会与收获
语音识别时BP神经网络研究的热点。由于水平和时间的有限，本实验内容难免有不足之处，本实验仍有很大的改进空间。本实验的语音库包含的字母元素少，实际应用中需要更大的语音库，不仅包含数字，字母，还包括单词，难度也要高得多。通过本实验对BP神经网络的工作原理有了进一步的了解。能够简单运用神经网络实现一些简单的识别，为以后神经网络的应用打下基础。本实验的语音识别仍未具有可连续性，神经网络的样本数据是在预处理从原始语音中提取实际语音段后再从该数据段提取出来的多个MFCC参数的总和，但是语音是连续变化的，所以未来可以让语音识别具有可连续性，即语音在时域上进行着语音识
别系统不断地对语音进行预处理，特征提取。
基于BP神经网络的语音识别技术
海事大学 神经网络与语音识别 院系: 物流工程学院 课程名称: 制造与物流决策支持系统学生姓名: 学号: 时间:
目录 一．绪论 (3) 1.1 研究背景及意义 (3) 1.2 语音识别的国外研究现状 (3) 1.3研究容 (4) 二．语音识别技术 (5) 2.1语音信号 (5) 2.2语音信号的数学模型 (5) 2.3 语音识别系统结构 (6) 2.4 语音信号预处理 (7) 2.4.1 语音信号的采样 (8) 2.4.2语音信号的分帧 (8) 2.4.3语音信号的预加重 (9) 2.4.4 基于短时能量和过零率的端点检测 (9) 2.5 特征参数提取 (12) 三．基于BP神经网络语音识别算法实现 (14) 3.1 BP神经网络原理 (14) 3.2 输入层神经元个数的确定 (14) 3.3网络隐含层数的确定 (15) 3.4隐含层神经元个数的确定 (15) 3.5 BP神经网络构造 (15) 3.6 BP神经网络的训练 (16) 3.6.1训练样本集合和目标值集合 (16) 3.6.2 网络训练 (16) 3.7网络训练 (17) 3.8 语音的识别结果 (18) 四．总结 (19) 参考文献 (20) 附录 (21)
一．绪论 计算机的飞速发展，使人们的生活方式发生了根本性的改变，鼠标、键盘，这些传统的人机接口使人们体会到了生活的便利。科学技术日新月异，假如让“机器”能够听懂人的语言，并根据其信息去执行人的意图，那么这无疑是最理想的人机智能接口方式，因此语音识别作为一门极具吸引力的学科应运而生，很多专家都指出语音识别技术将是未来十年信息技术领域十大重要的科技发展技术之一。 语音识别(Speech Recognition)是指，计算机从人类获取语音信息，对语音信息进行分析处理，准确地识别该语音信息的容、含义，并对语音信息响应的过程。语音信号具有非稳定随机特性，这使得语音识别的难度大。目前人类甚至仍没有完全理解自身听觉神经系统的构造与原理，那么要求计算机能像人类一样地识别语音信号很有挑战性。 1.1 研究背景及意义 语言在人类的智能组成中充当着很重要的角色，人与人之间的交流和沟通大部分是通过语言的方式有效的完成。作为人与人之问交流最方便、自然、快捷的手段，人们自然希望它成为人与计算机交流的媒介。随着数字信号处理及计算机科学的飞速发展，人们对实现人机对话产生越来越迫切的要求，使得语音识别技术近年来得到了迅速的发展，语音识别技术的研究进入了一个比较成熟的时期。语音识别是一门交叉科学，它综合了声学、语言学、语音学、生理科学、数字信号处理、通信理论、电子技术、计算机科学、模式识别和人工智能等众多学科。也是人机交互最重要的一步。 1.2 语音识别的国外研究现状 通过语音传递信息是人类最重要，最有效，和最方便的交换信息的形式，语音识别主要指让机器转达人说的话，即在各种情况下，准确的识别出语音的容，
语音识别发展现状与展望
中国中文信息学会第七次全国会员代表大会 暨学会成立30周年学术会议 语音识别发展现状与展望中科院自动化研究所徐波 2011年12月4日
报告提纲 ?语音识别技术现状及态势?语音识别技术的行业应用?语音识别技术研究方向?结论与展望
2010年始语音识别重新成为产业热点?移动互联网的兴起成为ASR最重要的应用环境。在Google引领下，互联网、通信公司纷纷把语音识别作为重要研究方向 –Android系统内嵌语音识别技术，Google语音 翻译等； –iPhone4S 上的Siri软件； –百度、腾讯、盛大、华为等都进军语音识别领 域； –我国语音技术领军企业讯飞2010年推出语音云识别、讯飞口讯 –已有的QQ2011版语音输入等等
成熟度分析-技术成熟度曲线 ?美国市场调查咨询公司Gartner于2011年7月发布《2011新兴技术成熟度曲线》报告：
成熟度分析-新兴技术优先矩阵?Gartner评出了2011年具有变革作用的技术，包括语音识别、语音翻译、自然语言问答等。其中语音翻译和自然语言问答有望在5-10年内获得大幅利用，而语音识别有望在2-5年内获得大幅利用；
三十年语音识别技术发展 ---特征提取与知识方面?MFCC，PLP，CMS，RASTA，VTLN；?HLDA, fMPE，neural net-based features ?前端优化 –融入更多特征信息(MLP、TrapNN、Bottle Neck Features等） ?特征很大特点有些是跟模型的训练算法相匹配?大规模FSN图表示，把各种知识源集中在一起–bigram vs. 4-gram, within word dependencies vs. cross-word
神经网络在语音识别上应用
Harbin Institute of Technology 神经网络与智能信号处理 实验报告 神经网络实验报告 1、实验名称： 神经网络在语音识别上的应用 2、实验目的： 进一步了解神经网络在语音识别上的应用，了解神经网络的基本原理，学习神经网络的算法，还可以进一步分析不同的隐节点数以及训练步数对误差性能的影响。 3、实验要求： 1、设计一个标准的BP学习算法网络来对语音信号26个字母进行识别。 2、在训练时采用不同的隐含层神经元个数，分析其对网络性能、语音识别系统的识别率的影响。 3、用所创建的BP神经网络进行26个字母的语音识别，观察并记录结果，并分析其误差。 4、实验步骤： 1、语音识别的基本原理
语音识别的总体流程如下： 语音输入时要先经过预处理，包括预加重、分帧加窗等。然后进行特征提取，该实验中的特征参数为MFCC 参数。语音特征参数的时间序列构成语音的模式，将其与获得的参考模式逐一比较，获得最佳匹配的参考模式便是识别结果。 由于语音信号的复杂性，所以在一开始在语音信号输入语音识别系统时需要进行预处理，预处理包括预加重，分帧加窗，端点检测等。预加重的目的是为了加强语音的高频部分，以便在特征提取阶段进行频谱分析。分帧加窗的目的是为了使帧与帧之间平滑过渡，保持连续性以及保持语音信号的短时平稳性，降低由于不连续而产生的Gibbs 效应。端点检测的目的就是从语音信号序列中截取实际有效的语音信号。 特征提取阶段，是从语音数据中提取能反映语音信号特征和变化规律的参数，以唯一表征语音，这儿选用的语音信号特征参数为MEL 频率倒谱系数，即MFCC 。MEL 频率倒谱的实现过程如下图所示： （1）对语音信号进行预处理，加窗、分帧将其变为短时信号。 （2） 将短时时域信号转变为频域信号，并计算其短时能量，离散傅立叶变换。将时域信号后补若干0形成长为N 的序列，再经过离散傅立叶变换得到线性x(n)频谱，变换公式： X （k ） 0n,k N-1 X （k ）=∑N ?1n =0x(n)e ?j2πk n ≤≤（3）在频标内三角带通滤波器个加于坐标得到滤波器组，转化关系为f mel =2595log (1+f hz 700) （4）求对数能量。为了使计算结果对噪声和谱估计噪声有更好的鲁棒性，一般将上述经过Mel 频谱取对数能量。则由线性频谱得到对数频谱的总的X(k)S(m)传递函数为：
语音识别技术文献综述
语音识别技术综述 The summarization of speech recognition 张永双 苏州大学 摘要 本文回顾了语音识别技术的发展历史，综述了语音识别系统的结构、分类及基本方法，分析了语音识别技术面临的问题及发展方向。 关键词：语音识别；特征；匹配 Abstact This article review the courses of speech recognition technology progress ,summarize the structure,classifications and basic methods of speech recognition system and analyze the direction and the issues which speech recognition technology development may confront with. Key words: speech recognition;character;matching 引言 语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别是一门交叉学科，所涉及的领域有信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等，甚至还涉及到人的体态语言（如人民在说话时的表情手势等行为动作可帮助对方理解）。其应用领域也非常广，例如相对于键盘输入方法的语音输入系统、可用于工业控制的语音控制系统及服务领域的智能对话查询系统，在信息高度化的今天，语音识别技术及其应用已成为信息社会不可或缺的重要组成部分。 1.语音识别技术的发展历史 语音识别技术的研究开始二十世纪50年代。1952年，AT&Tbell实验室的Davis等人成功研制出了世界上第一个能识别十个英文数字发音的实验系统：Audry系统。
语音识别技术
目前主流的语音识别技术是基于统计模式识别的基本理论。一个完整的语音识别系统可大致分为三部分： （1）语音特征提取： （2）声学模型与模式匹配（识别算法） （3）语义理解：计算机对识别结果进行语法、语义分析。 语音识别技术，也被称为自动语音识别Automatic Speech Recognition，(ASR)， 语音识别的发展简史 1952年AT& T Bell实验室实现了一个单一发音人孤立发音的十个英文数字的语音识别系统，到现在的人机语音交互。语音识别研究从二十世纪50年代开始到现在历半个多世纪的蓬勃发展，在这期间获得了巨大的进展。 现代语音识别技术研究重点包括即兴口语的识别和理解，自然口语对话，以及多语种的语音同声翻译。 语音识别应用的特点 1.语音识别系统必须覆盖的功能包括： （1）语音识别系统要对用户有益（希望它是能检测到的）。例如提高生产率，容易使用，更好的人机界面，或更自然的信息交流模式。 （2）语音识别系统要对用户“友好”。这种“友好”的含义是：用户在和系统进行语音对话时感到舒适；系统的语音提示既有帮助，又很亲近。 （3）语音识别系统必须有足够的精度 （4）语音识别系统要有实时处理能力；例如系统对用户询问的响应时间要很短。 2. 语音识别错误的处理 有以下四种方式可以处理这个问题。 （1）错误弱化法。这种处理仅仅花费用户很少一点时间，对用户几乎没什么其它不利影响。 （2）错误自检纠正法 系统利用已知任务的限制自动地检测并纠正错误。 （3）确认或多层次判定
（4）拒绝/转向人工座席。系统对其中通常较易导致系统识别错误的极少部分语音指令拒绝做出识别决定，而是将其转给人工座席。 在很多情况下，语音识别技术可以充分发挥出RFID的潜能： 1.积压产品、脱销产品 2.被废弃、被召回或已过期产品 3.回收的商品 4.促销产品 RFID系统在利用原有语音导向投资的情况下可以大大增加收益 语音识别技术在邮件分拣中的应用 现代化分拣设备在邮政上的应用大大提高了邮件处理的效率。但是，并不是所有的邮件都能上分拣机处理，那些需要人工处理的邮件成了邮政企业实现自动化的瓶颈。邮政使用人工标码技术以及先进的计算机软件 系统来处理不能上机的邮件，仍需要大量的劳动力。 由MailCode公司开发并准备申请专利的Spell-ItTM软件技术通过提高系统数据库能力的方式对语音识别自动化设备进行了革命性的变革。这种技术提供了无限的数据库能力，并且保证分拣速度不会因数据库的增大而减小。由各大语音引擎公司开发的系统还支持世界上的各种主要语言，这样，语音技术就成为世界性的产品。 以英语语音识别系统为例，系统建立了36个可识别字符26个字母加上0～9的10个数字，同时还建立了一套关键词。Spell-It软件使用这些字符来识别成千上万的口语词汇和无数的词语组合。 对于大公司的邮件收发中心来说，使用MailCode公司的Spell-It软件技术，分拣员实际上只需发出几个字符的音来找到和数据库中相对应的词。例如：碰到了寄给Joseph Schneider的邮件，操作员只需发出“J”、“S”、“C”和“H”几个音就可以得到准确的分拣信息。 姓名和邮箱编码：Jennifer Schroeder, 软件工程部；Joseph Schneider, 技术操作部；Josh Schriver, 技术操作部，因为这三个姓名全都符合（J,S,C,H）的发音标准。邮件中心的操作员知道邮件实际上是寄给Joseph Schneider的，就可以把邮件投入Joseph Schneide的信箱了。 邮局要把邮件按投递路线分发，分拣员必须熟悉长长的投递段列表以及各种各样的国际邮件投递信息。Spell-It技术把地址、投递路线等信息都存入了系统，这样就大大方便了分拣工作。 例如，有一件寄往Stonehollow 路2036号的邮件。使用语音识别技术，分拣员仅仅需要发出“2”、“0”、“S”、“T”和“O”几个音，如表2所示，数据库就会给出所有可能和这几
基于BP神经网络的语音识别技术
上海海事大学神经网络与语音识别 院系: 物流工程学院 课程名称: 制造与物流决策支持系统学生姓名: 学号: 时间: 目录
一．绪论 计算机的飞速发展，使人们的生活方式发生了根本性的改变，鼠标、键盘，这些传统的人机接口使人们体会到了生活的便利。科学技术日新月异，假如让“机器”能够听懂人的语言，并根据其信息去执行人的意图，那么这无疑是最理想的人机智能接口方式，因此语音识别作为一门极具吸引力的学科应运而生，很多专家都指出语音识别技术将是未来十年信息技术领域十大重要的科技发展技术之一。 语音识别(Speech Recognition)是指，计算机从人类获取语音信息，对语音信息进行分析处理，准确地识别该语音信息的内容、含义，并对语音信息响应的过程。语音信号具有非稳定随机特性，这使得语音识别的难度大。目前人类甚至仍没有完全理解自身听觉神经系统的构造与原理，那么要求计算机能像人类一样地识别语音信号很有挑战性。 研究背景及意义 语言在人类的智能组成中充当着很重要的角色，人与人之间的交流和沟通大部分是通过语言的方式有效的完成。作为人与人之问交流最方便、自然、快捷的手段，人们自然希望它成为人与计算机交流的媒介。随着数字信号处理及计算机科学的飞速发展，人们对实现人机对话产生越来越迫切的要求，使得语音识别技术近年来得到了迅速的发展，语音识别技术的研究进入了一个比较成熟的时期。语音识别是一门交叉科学，它综合了声学、语言学、语音学、生理科学、数字信号处理、通信理论、电子技术、计算机科学、模式识别和人工智能等众多学科。也是人机交互最重要的一步。 语音识别的国内外研究现状 通过语音传递信息是人类最重要，最有效，和最方便的交换信息的形式，语
语音识别基本知识及单元模块方案设计
语音识别是以语音为研究对象，通过语音信号处理和模式识别让机器自动识别和理解人类口述的语言。语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别是一门涉及面很广的交叉学科，它与声学、语音学、语言学、信息理论、模式识别理论以及神经生物学等学科都有非常密切的关系。语音识别技术正逐步成为计算机信息处理技术中的关键技术，语音技术的应用已经成为一个具有竞争性的新兴高技术产业。 1语音识别的基本原理 语音识别系统本质上是一种模式识别系统，包括特征提取、模式匹配、参考模式库等三个基本单元，它的基本结构如下图所示： 未知语音经过话筒变换成电信号后加在识别系统的输入端，首先经过预处理，再根据人的语音特点建立语音模型，对输入的语音信号进行分析，并抽取所需的特征，在此基础上建立语音识别所需的模板。而计算机在识别过程中要根据语音识别的模型，将计算机中存放的语音模板与输入的语音信号的特征进行比较，根据一定的搜索和匹配策略，找出一系列最优的与输入语音匹配的模板。然后根据此模板的定义，通过查表就可以给出计算机的识别结果。显然，这种最优的结果与特征的选择、语音模型的好坏、模板是否准确都有直接的关系。2语音识别的方法 目前具有代表性的语音识别方法主要有动态时间规整技术（DTW）、隐马尔可夫模型（HMM）、矢量量化（VQ）、人工神经网络（ANN）、支持向量机（SVM）等方法。 动态时间规整算法（Dynamic Time Warping，DTW）是在非特定人语音识别中一种简单有效的方法，该算法基于动态规划的思想，解决了发音长短不一的模板匹配问题，是语音识别技术中出现较早、较常用的一种算法。在应用DTW算法进行语音识别时，就是将已经预处理和分帧过的语音测试信号和参考语音模板进行比较以获取他们之间的相似度，按照某种距离测度得出两模板间的相似程度并选择最佳路径。 隐马尔可夫模型（HMM）是语音信号处理中的一种统计模型，是由Markov链演变来的，所以它是基于参数模型的统计识别方法。由于其模式库是通过反复训练形成的与训练输出信号吻合概率最大的最佳模型参数而不是预先储存好的模式样本，且其识别过程中运用待识别语音序列与HMM参数之间的似然概率达到最大值所对应的最佳状态序列作为识别输出，因此是较理想的语音识别模型。 矢量量化（Vector Quantization）是一种重要的信号压缩方法。与HMM相比，矢量量化主要适用于小词汇量、孤立词的语音识别中。其过程是将若干个语音信号波形或特征参数的标量数据组成一个矢量在多维空间进行整体量化。把矢量空间分成若干个小区域，每个小区域寻找一个代表矢量，量化时落入小区域的矢量就用这个代表矢量代替。矢量量化器的设计就是从大量信号样本中训练出好的码书，从实际效果出发寻找到好的失真测度定义公式，设计出最佳的矢量量化系统，用最少的搜索和计算失真的运算量实现最大可能的平均信噪比。在实际的应用过程中，人们还研究了多种降低复杂度的方法，包括无记忆的矢量量化、有记忆的矢量量化和模糊矢量量化方法。 人工神经网络（ANN）是20世纪80年代末期提出的一种新的语音识别方法。其本质上是一
神经网络在语音识别上的应用
H a r b i n I n s t i t u t e o f T e c h n o l o g y 神经网络与智能信号处理 实验报告 神经网络实验报告 1、实验名称： 神经网络在语音识别上的应用 2、实验目的： 进一步了解神经网络在语音识别上的应用，了解神经网络的基本原理，学习神经网络的算法，还可以进一步分析不同的隐节点数以及训练步数对误差性能的影响。 3、实验要求： 1、设计一个标准的BP学习算法网络来对语音信号26个字母进行识别。 2、在训练时采用不同的隐含层神经元个数，分析其对网络性能、语音识别系统的识别率的影响。 3、用所创建的BP神经网络进行26个字母的语音识别，观察并记录结果，并分析其误差。 4、实验步骤： 1、语音识别的基本原理
语音识别的总体流程如下： 语音输入时要先经过预处理，包括预加重、分帧加窗等。然后进行特征提取，该实验中的特征参数为MFCC 参数。语音特征参数的时间序列构成语音的模式，将其与获得的参考模式逐一比较，获得最佳匹配的参考模式便是识别结果。 由于语音信号的复杂性，所以在一开始在语音信号输入语音识别系统时需要进行预处理，预处理包括预加重，分帧加窗，端点检测等。预加重的目的是为了加强语音的高频部分，以便在特征提取阶段进行频谱分析。分帧加窗的目的是为了使帧与帧之间平滑过渡，保持连续性以及保持语音信号的短时平稳性，降低由于不连续而产生的Gibbs 效应。端点检测的目的就是从语音信号序列中截取实际有效的语音信号。 特征提取阶段，是从语音数据中提取能反映语音信号特征和变化规律的参数，以唯一表征语音，这儿选用的语音信号特征参数为MEL 频率倒谱系数，即MFCC 。MEL 频率倒谱的实现过程如下图所示： （1）对语音信号进行预处理，加窗、分帧将其变为短时信号。 （2） 将短时时域信号转变为频域信号，并计算其短时能量，离散傅立叶变换。将时域信号 后补若干0形成长为N 的序列，再经过离散傅立叶变换得到线性频谱，变换公式： 0n,k N-1 （3）在频标内三角带通滤波器个加于坐标得到滤波器组，转化关系为
基于BP神经网络的语音识别技术
上海海事大学 神经网络与语音识别 院系: 物流工程学院 课程名称: 制造与物流决策支持系统学生姓名: 学号: 时间:
目录 一．绪论 (3) 1.1 研究背景及意义 (3) 1.2 语音识别的国内外研究现状 (3) 1.3研究内容 (4) 二．语音识别技术 (5) 2.1语音信号 (5) 2.2语音信号的数学模型 (5) 2.3语音识别系统结构 (6) 2.4语音信号预处理 (7) 2.4.1 语音信号的采样 (8) 2.4.2语音信号的分帧 (8) 2.4.3语音信号的预加重 (9) 2.4.4 基于短时能量和过零率的端点检测 (9) 2.5 特征参数提取 (13) 三．基于BP神经网络语音识别算法实现 (16) 3.1 BP神经网络原理 (16) 3.2 输入层神经元个数的确定 (16) 3.3网络隐含层数的确定 (17) 3.4隐含层神经元个数的确定 (17) 3.5 BP神经网络构造 (17) 3.6 BP神经网络的训练 (18) 3.6.1训练样本集合和目标值集合 (18) 3.6.2 网络训练 (18) 3.7网络训练 (19) 3.8 语音的识别结果 (20) 四．总结 (21) 参考文献 (22) 附录 (23)
一．绪论 计算机的飞速发展，使人们的生活方式发生了根本性的改变，鼠标、键盘，这些传统的人机接口使人们体会到了生活的便利。科学技术日新月异，假如让“机器”能够听懂人的语言，并根据其信息去执行人的意图，那么这无疑是最理想的人机智能接口方式，因此语音识别作为一门极具吸引力的学科应运而生，很多专家都指出语音识别技术将是未来十年信息技术领域十大重要的科技发展技术之一。 语音识别(Speech Recognition)是指，计算机从人类获取语音信息，对语音信息进行分析处理，准确地识别该语音信息的内容、含义，并对语音信息响应的过程。语音信号具有非稳定随机特性，这使得语音识别的难度大。目前人类甚至仍没有完全理解自身听觉神经系统的构造与原理，那么要求计算机能像人类一样地识别语音信号很有挑战性。 1.1 研究背景及意义 语言在人类的智能组成中充当着很重要的角色，人与人之间的交流和沟通大部分是通过语言的方式有效的完成。作为人与人之问交流最方便、自然、快捷的手段，人们自然希望它成为人与计算机交流的媒介。随着数字信号处理及计算机科学的飞速发展，人们对实现人机对话产生越来越迫切的要求，使得语音识别技术近年来得到了迅速的发展，语音识别技术的研究进入了一个比较成熟的时期。语音识别是一门交叉科学，它综合了声学、语言学、语音学、生理科学、数字信号处理、通信理论、电子技术、计算机科学、模式识别和人工智能等众多学科。也是人机交互最重要的一步。 1.2 语音识别的国内外研究现状 通过语音传递信息是人类最重要，最有效，和最方便的交换信息的形式，语音识别主要指让机器转达人说的话，即在各种情况下，准确的识别出语音的内容，
神经网络在语音识别中的应用
Information Technology ? 信息技术Electronic Technology & Software Engineering 电子技术与软件工程? 249【关键词】智能终端 神经网络 语音识别 语音特征 现阶段智能终端与用户之间的人机交互方式仍然是触屏、键盘或鼠标，传统操作式的人机交互已经无法满足信息时代对信息快速交互的需求，创新式语音交互技术不仅提高了人机交互效率，而且属于人类所习惯的交互方式。语音交互的核心技术为语音识别技术，语音识别技术优劣直接决定了语音交互方式是否可用。截止目前，关于语音识别技术的研究已有数十载，基于英语的语音识别技术的准确率已接近98%，而基于汉语的语音识别技术的准确率却相对较低，主要是由于汉语的复杂度相对应用更广，同音字较多且发音较短致使语音识别精度降低。神经网络凭借其神经网络拓扑结构在识别方面具有更好的识别效果，基于此，本文对神经网络在语音识别的应用展开了研究。 1 语音识别系统研究 语音识别系统是通过对语音信号进行分析，与词汇语音进行匹配处理，使得计算机能理解语音信号所传递的信息。经典的语音识别系统结构主要包括信号预处理、特征提取、数据训练、匹配计算、识别判决。 通过对语音识别系统的结构进行分析可知，可将其划分为三个模块，信号预处理模块、语音特征提取模块、训练与识别模块。神经网络在语音识别中的应用 文/冀瑞国 （1）信号预处理处于系统的前端，语音 信号的预处理将便于语音的特征提取，主要包括采样滤波、预加权、信号分帧、端点检测。其中本文的采样滤波的频率为8KHz ，并选择预加权方式对高频阶段的语音进行加权处理，从而有效地提高其信噪比。在信号分帧方面，本文所采纳的时间段为20ms ，并通过端点检测方法实现词汇信号与噪声信号的分割，从而完成语音信号的预处理。（2）语音特征提取模块主要是为语音数据训练与识别提供分析数据，所以语音特征的合理选择不仅能提升识别模型的训练效率，而且能有效提高模型的识别精度。本文基于特征独立性、信号有效表征和精简计算的原则选择的语音特征主要包括线性预测系数（LPC ）、线性预测倒谱系数（LPCC ）、美儿频率倒谱系数（MFCC ）、改进的混合MFCC 。（3）训练与识别模块作为语音识别系统的核心，主要是对特征进行分析得到信号归属词汇。目前常用的识别模型主要有神经网络、支持向量机、深度学习和人工智能，支持向量机的识别精度相对较低，深度学习与人工智能需要大量的训练样本且实时性较差。由于语音识别对识别精度和实时性要求较高，因此本文选择神经网络作为语音识别模型。2 神经网络应用于语音识别神经网络由输入层、隐层和输出层构成，网络基本单元为神经元，输入层的神经元为所提取的语音信号特征，隐层的神经元通过样本训练构建，输出层的神经元为语音识别词汇。通过对神经网络的结构分析可知，神经网络具有很强的非线性映射能力、泛化能力和容错能力。神经网络进行语音识别之前需要对模型进行科学的训练，神经网络的训练流程如图1所示，首先需要准备大量词汇的语音特征，对词汇进行编号，然后将准备的语音特征作为模型训练的输入，将特征对应的词汇编号作为参考数据，最后检查模型训练的输出数据与参考数据之间的误差，当两者之间的数据误差低于所设置的阈值时停止训练，保存隐层神经元的阈值，以及各个神经元之间的链接权值，从而实现神经网络模型的建立。语音识别系统首先对语音信号的进行采样滤波、预加权、信号分帧、端点检测操作；其次提取预处理数据的LPC 、LPCC 、MFCC 、改进MFCC 值；最后训练构建的神经网络模型根据语音信号特征识别语音所对应的词汇，至此实现语音信号的识别。3 结论本文先对语音识别系统展开了研究，语音识别系统由信号预处理、语音特征提取、模型训练与识别三个模块构成，并分析了神经网络相对于支持向量机、深度学习和人工智能的优势，基于此设计了一套基于神经网络的语音识别系统。识别系统首先借助大量词汇的语音特征完成识别模型的训练，再利用训练合格的语音识别模型对从预处理数据中提取的LPC 、LPCC 、MFCC 、改进MFCC 的语音信号特征进行语音识别。参考文献[1]吴进,张青等.一种改进的孤立词语音识别系统设计[J].西安邮电大学学报,2016,21(01):76-80.[2]佘明洪.系统辨识中神经网络应用的初步研究与讨论 [J].科技展望,2016,26(34).[3]金超,龚铖,李辉.语音识别中神经网络声学模型的说话人自适应研究[J].计算机应用与软件,2018(02):200-205.作者简介冀瑞国(1991-)，男，山东省聊城市人。大学本科学历。工程师。研究方向为人工智能语音识别。作者单位北京智合大方科技有限公司 北京市 100070 图1：BP 神经网络训练流程
语音识别技术原理及应用
语音AgentNet 的整体实现张宇伟
摘要： 本文论述了一个人机对话应用的实现(我命名它为AgentNet)。其应用实例为一种新的整合了语音技术的智能代理网络服务。 服务器端开发使用了微软SQL SERVER 7.0技术,客户端使用了微软Agent ，微软Specch SDK5语音合成，和语音识别技术。网络连接使用了SOCKET 技术,并论述了高层网络协议的实现。 [关键词] 人机对话，MS-AGENT,语音合成，语音识别，网络编程 [Abstract] This paper discuss a new actualization of man-machine conversation application, which is based on a modal of network service. And I name this service with the name of AgentNet. The development of this service used Microsoft SQL SERVER 7.0. And the client used the technology of Microsoft Agent, TTS (Text To Speech),SR(Speech Recognition).Also the client and the server connect with SOCKET. On the SOCKET, the paper discuss the development of High-Level net protocol. [Key Words] Man-Machine Conversation, MS-AGENT, TTS , SR ,Net Work Programming
人工神经网络模式识别
人工神经网络模式识别 一、人工神经网络模式识别 1、人工神经网络的概述 人工神经网络从人脑的生理学和心理学角度出发，通过模拟人脑的工作机理，实现机器的部分智能行为，是从微观结构和功能上对人脑进行抽象和简化，是模拟人类智能的一条重要途径。具体的模式识别是多种多样的，如果从识别的基本方法上划分，传统的模式识别大体分为统计模式识别和句法模式识别，在识别系统中引入神经网络是一种近年来发展起来的新的模式识别方法。尽管引入神经网络的方法和引入网络的结构可以各不相同，但都可称为神经网络模式识别。而且这些识别方法在解决传统方法较难处理的某些问题上带来了新的进展和突破，因而得到了人们越来越多的重视和研究。 人工神经元网络(Artificial Neural Network)简称神经网络，是基于日前人们对自然神经系统的认识而提出的一些神经系统的模型，一般是由一系列被称为神经元的具有某种简单计算功能的节点经过广泛连接构成的一定网络结构，而其网络连接的权值根据某种学习规则在外界输入的作用下不断调节，最后使网络具有某种期望的输出特性。神经网络的这种可以根据输入样本学习的功能使得它非常适合于用来解决模式识别问题，这也是神经网络目前最成功的应用领域之一。 2、神经网络进行模式识别的方法和步骤 神经网络模式识别的基本方法是，首先用己知样本训练神经网络，使之对不同类别的己知样本给出所希望的不同输出，然后用该网络识别未知的样本，根据各样本所对应的网络输出情况来划分未知样本的类别。神经网络进行模式识别的一般步骤如图2-1所示，分为如下几个部分： 预处理 样本获取常规处理特征变换神经网络识别 图 2-1 神经网络模式识别基本构成 1、样本获取 这一步骤主要是为了得到一定数量的用于训练和识别的样本。
语音识别技术的发展与未来
语音识别技术的发展与未来-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
语音识别技术的发展与未来 与机器进行语音交流，让它听明白你在说什么。语音识别技术将人类这一曾经的梦想变成了现实。语音识别就好比“机器的听觉系统”，该技术让机器通过识别和理解，把语音信号转变为相应的文本或命令。 在1952年的贝尔研究所，Davis等人研制了世界上第一个能识别10个英文数字发音的实验系统。1960年英国的Denes等人研制了第一个计算机语音识别系统。 大规模的语音识别研究始于上世纪70年代以后，并在小词汇量、孤立词的识别方面取得了实质性的进展。上世纪80年代以后，语音识别研究的重点逐渐转向大词汇量、非特定人连续语音识别。 同时，语音识别在研究思路上也发生了重大变化，由传统的基于标准模板匹配的技术思路开始转向基于统计模型的技术思路。此外，业内有专家再次提出了将神经网络技术引入语音识别问题的技术思路。 上世纪90年代以后，在语音识别的系统框架方面并没有什么重大突破。但是，在语音识别技术的应用及产品化方面出现了很大的进展。比如，DARPA是在上世界70年代由美国国防部远景研究计划局资助的一项计划，旨在支持语言理解系统的研究开发工作。进入上世纪90年代，DARPA计划仍在持续进行中，其研究重点已转向识别装置中的自然语言处理部分，识别任务设定为“航空旅行信息检索”。 我国的语音识别研究起始于1958年，由中国科学院声学所利用电子管电路识别10个元音。由于当时条件的限制，中国的语音识别研究工作一直处于缓慢发展的阶段。直至1973年，中国科学院声学所开始了计算机语音识别。 进入上世纪80年代以来，随着计算机应用技术在我国逐渐普及和应用以及数字信号技术的进一步发展，国内许多单位具备了研究语音技术的基本条件。与此同时，国际上语音识别技术在经过了多年的沉寂之后重又成为研究的热点。在这种形式下，国内许多单位纷纷投入到这项研究工作中去。 1986年，语音识别作为智能计算机系统研究的一个重要组成部分而被专门列为研究课题。在“863”计划的支持下，中国开始组织语音识别技术的研究，并决定了每隔两年召开一次语音识别的专题会议。自此，我国语音识别技术进入了一个新的发展阶段。 自2009年以来，借助机器学习领域深度学习研究的发展以及大数据语料的积累，语音识别技术得到突飞猛进的发展。
基于BP神经网络语音识别方法研究
基于BP神经网络语音识别方法研究 摘要：神经网络是近年来信息科学、脑科学、神经心理学等诸多学科共同关注和研究的热点。由于其具有良好的抽象分类特性,现已应用于语音识别系统的研究和开发，并成为解决识别相关问题的有效工具。文章在讲述语音识别过程的基础上重点讨论利用BP神经网络对语音进行识别,用MATLAB完成对神经网络的训练和测试,并获得满意的结果。 关键词：语音识别；模式识别；BP神经网络， 1 绪论 计算机的飞速发展，使人们的生活方式发生了根本性的改变，鼠标、键盘，这些传统的人机接口使人们体会到了生活的便利。科学技术日新月异，假如让“机器”能够听懂人的语言，并根据其信息去执行人的意图，那么这无疑是最理想的人机智能接口方式，因此语音识别作为一门极具吸引力的学科应运而生，很多专家都指出语音识别技术将是未来十年信息技术领域十大重要的科技发展技术之一。 1.1 研究背景及意义 语言在人类的智能组成中充当着很重要的角色，人与人之间的交流和沟通大部分是通过语言的方式有效的完成。作为人与人之问交流最方便、自然、快捷的手段，人们自然希望它成为人与计算机交流的媒介。随着数字信号处理及计算机科学的飞速发展，人们对实现人机对话产生越来越迫切的要求，使得语音识别技术近年来得到了迅速的发展，语音识别技术的研究进入了一个比较成熟的时期。语音识别是一门交叉科学，它综合了声学、语言学、语音学、生理科学、数字信号处理、通信理论、电子技术、计算机科学、模式识别和人工智能等众多学科。也是人机交互最重要的一步。 1.2 语音识别的国内外研究现状 通过语音传递信息是人类最重要，最有效，和最方便的交换信息的形式，语音识别主要指让机器转达人说的话，即在各种情况下，准确的识别出语音的内容，从而根据其信息，执行人的各种意图。 广义的语音识别包括说话人的识别和内容的识别两部分。这里所说的语音识别，是指内容识别方面。采用计算机进行语音识别到现在已经发展了50年。 从特征参数上改进，采用各种办法进行语音增强是一个研究方向，但是到目前为止，还没有一种办法能把语音信号完美地从噪音环境提取出来。语音识别有广泛的商业化运用前景，主要可以分为通用场合和专用场合两个方面。 1.3研究内容 本文研究的主要内容是结合模式识别的基本理论，研究BP神经网络孤立词语音识别的问
人工智能 语音识别 论文
基于神经网络的语音信号识别 摘要 语言是人类之间交流信息的主要手段之一，自电脑发明以来，人们就一直致力于使电脑能够理解自然语言。语音识别技术是集声学、语音学、语言学、计算机、信息处理和人工智能等诸领域的一项综合技术，应用需求十分广阔，长期以来一直是人们研究的热点。神经网络是在现代科学研究成果的基础上提出来的模拟人脑结构机制的一门新兴科学，它模拟了人类神经元活动的原理，具有自学习、联想、对比、推理和概括能力，为很好地解决语音识别这样一个复杂的模式分类问题提供了新的途径。本文针时语音识别的特点．BP 神经网络在语音识别技术中的应用进行了探索性研究，对进而结合人工智能领域较为有效的方法——遗传(GA)算法。针对传统BP 算法识别准确率高但训练速度慢的缺点，对BP 网络进行改进，构建了一种基于遗传神经网络的语音识别算法(GABP)，并建立相应的语音识别系统。仿真实验表明，该算法有效地缩短了识别时问，提高了网络训练速度和语音的识别率。关键词：语音识别，神经网络，遗传算法，遗传神经网络,BP 网络RECOGNITIO THE RSREARCH OF SPEECH RECOGNITION BASED ON THE NEURAL NETWORK ABSTRACT Language is one of the most important means of exchanging information among the mankind．Since the computer was invented，many scientists have been devoted to enabling the computer to understand the natural language．Speech recognition is a comprehensive technology of such areas as acoustics，phonetics，linguistics，computer science，information processing and artificial intelligence，which can be used widely．The research of speech recognition technology has been focused by the world for a long time．The neural network is a new developing science，which simulates the mechanism of human brain and was putted forward by the developing of modern science．is not the overall description of human brain，the abstract，It but simulation and simplifying of the physical neural networks of human beings. The purpose of the research in this area is exploring the human brain mechanisms in information processing，storing and searching．If people can understand these mechanisms，a new way for the research of artificial intelligence，information processing and etc. can be opened up. Artificial neural network is a system which using a physically feasible system to imitate the structure and function of nerve cells in human brain，which has the ability of self—learning，contrasting，reasoning and summarizing .It have offered a new way in solving such complicated pattern classification problems as speech recognition．This paper mainly studies the application of the BP neural network in the research of speech recognition. BP neural network can get higher identification precision, but its training speed is very low, a new recognizing algorithm based on BP algorithm by combining with good effect method in ANN which named genetic algorithm (GA) was proposed and used to improve the BP neural network. Experiments results show that the training speed can be accelerated by the method and the recognition performance is also promoted．words: Key words speech recognition, neural network, genetic algorithm, genetic neural network, BP network 1．绪论1.1 1.1 课题背景1．1．1 语音识别概述随着计算机技术的发展，人与机器之间的交流也越来越广泛和深入，计算机己经渗透到人们生活的各个方面。在现代社会中，人们逐渐习惯借助计算机来完成各项事务。在这种情况下，如何让计算机智能化地与人进行通信，使人机交互更加自然方便成为现代计算机科学的重要研究课题之一。语音识别(Speech Recognition)主要是指让机器听懂人说的话，即在各种情况下，准确地识别出语音的内容，从而根据其信息，执行人的各种意图。语音识别是一门涉及面很广的交叉学科，它是目前发展最为迅速的信息研究诸领域中的一个。语音识别的最大优势在于使得人机用户界面更加自然和容易使用。随着计算机技术、模式识别和信号处理技