卷积神经网络在图像分类上的应用综述
Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2018, 7(1), 17-24
Published Online February 2018 in Hans. https://www.wendangku.net/doc/7f16362360.html,/journal/airr
https://https://www.wendangku.net/doc/7f16362360.html,/10.12677/airr.2018.71002
Summary of Application of Convolution
Neural Network on Image Classification
Zeming Yang, Jun Liu, Cheng Xue, Zihong Yu
Beijing Wuzi University, Beijing
Received: Feb. 2nd, 2018; accepted: Feb. 21st, 2018; published: Feb. 28th, 2018
Abstract
In recent years, image classification occupies an important position in pattern recognition. The rapid growth of image data for image information analysis and processing put forward new re-quirements. Convolution neural network came into being, with its powerful image recognition classification ability is widely used in a variety of image classification system, and achieved very significant results. Firstly, this paper reviews the development of image classification technology, and introduces the classification methods of feature space and feature space and the image fea-ture extraction methods. Secondly, the research of convolution neural network on image classifi-cation is introduced. Finally, the problems existing in the image classification of convolution neur-al networks are summarized, and the future development direction is summarized.
Keywords
Image Classification, Convolution Neural Network, Image Feature Extraction Method
卷积神经网络在图像分类上的应用综述
杨泽明，刘军，薛程，于子红
北京物资学院，北京
收稿日期：2018年2月2日；录用日期：2018年2月21日；发布日期：2018年2月28日
摘要
近些年来，图像分类在模式识别领域占据着重要的地位。迅速增长的图像数据对于图像信息的分析与处理提出了新的要求。卷积神经网络应运而生，以其强大的图像识别分类能力被广泛的应用于各种图像分
杨泽明等
类系统，并取得了十分显著的效果。本文首先，回顾了图像分类技术的发展历程，介绍了图样空间与特征空间的分类方法以及图像特征提取方法。其次，介绍了卷积神经网络在图像分类问题上的研究情况。
最后，总结卷积神经网络在图像分类问题上存在的问题，以及未来的发展方向。
关键词
图像分类，卷积神经网络(CNN)，图像特征提取方法
Copyright ? 2018 by authors and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY).
https://www.wendangku.net/doc/7f16362360.html,/licenses/by/4.0/
1. 引言
由于科技与社会的不断发展，人类传达信息的数量与方式发生了翻天覆地的变化。尤其是在近些年来，信息数据爆炸式增长，传统的文字已无法满足人们对于信息获取的需求，而图像以其包含信息量大，信息表达生动直接的优势逐渐成为主流信息传播方式之一。图像数据量也迅猛不断的增长。对于这些图像数据，人们需要一种可以快速高效且合理的手段对它们进行处理、分析、解读，从而在海量的图像数据中高效精确的提取到所需的信息。由于采用人工识别判断的方式不仅效率低下，而且带有很大的主观性，浪费大量的人力及时间资源。所以，亟需快速提升计算机对于图像数据的处理能力，开发出可以快速、高效、稳定的图像识别及分类算法。
图像分类[1]是指利用人工智能技术特别是机器学习方法，使得计算机能够对图像进行识别和分类的过程。其在模式识别领域扮演者重要的角色，涉及到手写字识别、人脸识别、车辆识别等方面。图像分类技术的深入研究对于计算机模式识别领域有着重要的意义。
2. 图像分类方法
图像分类[2]是近年来才发展起来的一门新兴科学技术，它的主要研究内容为图像的分类与描述。一个图像分类系统主要由图像信息的获取、信息加工和处理、特征抽取、判断或分类等部分组成。图像分类的方法目前主要可分为两大类；基于图像空间的分类方法和基于特征空间的分类方法。
基于图像空间的分类方法主要是利用图像的颜色、灰度、纹理、形状、位置等底层特征来对图像进行分类。基于颜色特征，由于物体表面的颜色分布不同，所以可以根据颜色特征将图像分类Swain [3]提出的颜色直方图法是最早将颜色特征应用于图像分类的方法，该方法通过每种颜色在图像空间中所占比例的不同来对图像进行分类，但这种方法无法识别区分图像所描述的信息。基于纹理特征，描述图像灰度空间的分布特征来对图像进行分类。纹理无处不在，每个物体的表面都存在着不同的纹理。图像的纹理经计算机处理、数字化之后便可以得到对图像进行分析和处理的信号。上世纪70年代，Haralick [4]提出了灰度共生矩阵表示方法,该方法利用两个位置的灰度像素的联合概率密度定义了灰度共生矩阵，反映出图像灰度的方向、相邻间隔、变化幅度等信息，从而得到纹理特征向量。然而，由于纹理图像的多样性和分析算法的复杂性，使得同一种纹理特征很难在不同的领域中应用。基于形状特征[5]，它描述的是封闭轮廓曲线所包围的区域，形状特征一般情况下与图像中所描绘的目标对象有关。目前，基于形状特征的分类方法基本上是通过轮廓特征、区域特征建立图像索引来对图像进行分类的。不过，通过基于图像空间的分类方法对图像进行分类，所需要计算数据量大，计算过程十分复杂、却分类效果一般。
杨泽明等
基于特征空间的分类方法[6]通过如K-L变换、小波变换等变换方法将原图像映射到高维空间，然后提取其高层特征来实现图像的分类。该方法在有效的降低计算数据的维度和计算过程的复杂程度。但是，分类的结果很大程度上取决于特征提取方法的适应性。
3. 图像特征提取方法
之前介绍的两类图像分类方法都是通过提取图像特征来进行图像分类的，不同的是一个提取底层特征，一个提取高层特征。从而我们可以看出图像特征的提取是图像分类的基础。目前，特征提取的主要方法分为两个大类方法：线性特征提取方法和非线性特征提取方法。
线性特征提取方法是通过线性映射方法来提取特征的，其中比较有代表性的方法有主成分分析法(Principle Component Analysis, PCA)、基于Fisher准则的线性鉴别分析法(Linear Discriminate Analysis, LDA)和投影寻踪(Projection Pursuit, PP)等。PCA [7]方法采用了K-L变换中的协方差变化矩阵，通过一系类的线性变换之后，找到一组最优单位投影轴，并利用该投影轴重建原样本。这种方法能够对多维数据进行降维，用尽可能少的数据重建原样本。不过，PCA方法在数据压缩时容易造成高阶统计特征的丢失，使得特征描述不充分。LDA方法[8]是通过找到一组最优线性变换，使得投影后的样本类内方差最小，类间方差最大，从而达到图像分类的目的。PP方法[9][10]通过将样本中的高维观测数据映射到相对维度较低的子空间上，从中找到可以反映其数据结构的投影，以此来研究高维数据。但是，该方法对于非线性问题的处理能力较弱以及需要庞大的计算量。以上线性特征方法都是通过一定的线性映射提取到样本的线性特征，这使得这些方法对于非线性分布结构问题并没有很好地效果。
非线性特征提取方法是利用非线性映射方法来得到持征，其中主要的方法有支持向量机(Support Vector Machine, SVM)、核主成分分析(Kernel Principal Component Analysis, KPCA)等。SVM [11]方法是通过一个非线性映射将样本空间映射到一个高维空间，使得在样本空间中的线性不可分问题转化为高维空间中的线性可分问题，以此来进行图像分类。KPCA [12][13]方法是将输出空间通过一个非线性映射映射到特征空间上并进行PCA。上述两种方法都是通过将原样本映射到高维空间中，再进行线性分割，这样容易引发“维度灾难”。
由于图像数据多种多类，而传统的图像分类方法大多是针对某一种具体的图像进行分类。当图像种类发生变化时，之前在某种图像的分类任务上取得不错效果的方法，在另一种图像的分类中效果并不令人满意。因此找到一种通用且高效的图像分类方法十分必要。1998年，由LeCun [14]提出的卷积神经网络(Convolution Neural Networks, CNN)经过多年以来人们不懈的努力，在这方面上有着十分突出的表现。
4. 卷积神经网络在图像分类问题上的研究
4.1. 卷积神经网络研究现状
20世纪60年代，Hubel和Wiesel [15]研究了猫的视网膜以及视觉皮层中枢神经细胞的信息处理机制，发现视网膜所接收的视觉信息传递到大脑的过程中是由多个层次的感受野(receptive field)激发完成的。1980年，Fukushima [16]提出基于感受野概念的神经认知机(neocognitron)，其模式识别不受位置变化，较小的形状变化以及图像尺寸大小的影响。
20世纪90年代，基于卷积神经网络的应用大量出现，其最初应用于语音识别及文档阅读。1995年，LeCun [14]提出了LeNet-5模型，该模型通过一系列交替相连的卷积层与池进行分类化层将输入图像转化为权值共享的特征图，再通过全连接的方式对图像的特征表达进行分类，并采用梯度BP算法对网络进行监督训练。其中，卷积层的卷积核完成了感受野功能，将底层局部区域信息激发到高层。其结构如图1所示。
杨泽明等
Figure 1.LeNet-5 model [14]
图1.LeNet-5模型[14]
由于模型深度不断加深，网络结构及训练参数变得复杂，使得计算量迅速增长，同时，网络得训练容易陷入局部最优，以及在高位数据的处理中出现过拟合现象。加之当时硬件条件的限制，使其仅应用于小尺度图形上。直到2006年，Hinton [17]教授提出两个重要观点：第一，在数据的特征表达上，具有多个隐含层的深度神经网络其学习能力明显优于浅层学习时，其所得特征更加接近于数据的本质；第二，可以通过逐层初始化的方法大幅降低深度神经网络的训练难度。至此，上述情况才得以改善。
4.2. 卷积神经网络在图像分类问题上的进展
2010年至今，每年举办的mageNet ILSVRC (Large Scale Visual Recognition Challenge)图像分类比赛是具有相当知名度的国际赛事，取得了很多优异的成果。该比赛选用ImageNet [18]数据集的子集，其中包含有上百万张图像，这些图像被划分为1000多个类别。2010年与2011年，在该项比赛中取得桂冠的团队使用的都是传统图像分类算法，他们主要使用SIFT, LBP [19]等算法提取图像特征，再使用SVM等分类器对其进行分类，取得的最好成绩为错误率28.2% [20]。ILSVRC2012比赛是图像分类研究领域的一个重要转折点。在此次比赛中，Alex Krizhevsk等提出的AlexNet [21]第一次在大规模图像分类任务中采用卷积神经网络模型，成功的将错误率降低至16.4%，相比第二名降低了约10%的错误率。如图2所示，AlexNet是一个前五层为卷积层、后三层为全连接层的八层卷积神经网络，其全连接层的最后一层采用softmax分类方法，并且采用ReLU (Rectified linear units)函数作为非线性激活函数。此外，该模型提出了Dropout方法来降低过拟合现象的发生。
ILSVRC2013的获胜队伍Clarifai [22]提出了一种将反卷积网络用于AlexNet的每一卷积层，借此可以对每一卷积层所学到的特征进行可视化的分析，该方法加深了人们对于卷积神经网络对于图像分类原理的理解，而且将错误率降低至11.7%。
ILSVRC2014比赛中图像分类结果取得了重大突破，Google团队提出的GoogleNet [23]以6.7%错误率的好成绩摘得桂冠，先比之前的最佳成绩将错误率价低至一半。该网络应用了赫布学习规则，同时使用多尺度处理方法对卷积神经网络进行优化。该团队受到Network in network [24]思想的启发提出了Inception模块。Inception模块的结构如图3所示，此模块是用稠密组件近似地替代图像中的最优局部系数结构，以实现有效的降维，从而达到拓宽网络的深度与宽度，减少训练参数的目的。同时，有效的降低了过拟合现象的发生。
ILSVRC2014，微软亚洲研究院团队提出了SPP-NET [25]模型，以8.3%的错误率取得了当年的季军。
该模型采用了一种名为空间金字塔池化的新池化方法，如图4所示。在此之前，由于在卷积神经网络中
全连接层的参数数量固定，所以要保障全连接层输入维数固定。全连接层的输入维数是卷基层的输出维
杨泽明 等
Figure 2. Simplified AlexNet model [21]
图2. 简化的AlexNet 模型[21]
Figure 3. Simplified inception module structure [24]
图3. 简化的Inception 模块结构[24]
Figure 4. Space pyramid pool model structure [25]
图4. 空间金字塔池化模型结构[25]
数决定的，而卷积层的输出维数由卷积层的输入维数决定，所以需要固定输入图像的大小。从而需要对
图像进行剪裁或者长宽调整，这样会导致原始图像信息丢失或者图像扭曲变形。空间金字塔池化方法将
杨泽明等
将输入图像划分为个数固定的局部空间块并进行最大池化，使得输出维数固定。同时，采用多层次空间块划分，保障提取到不同尺度的特征。这种方法使得该网络模型能够使用任意大小的图像作为输入。
微软亚洲研究院在2015年年初提出了PreLU-Nets [26]模型，该模型在ILSVRC图像分类数据集上以
4.9%的错误率成为首次超越人眼识别(错误率
5.1% [23])效果的模型。模型以参数化修正线性单元(PReLU)
作为激活函数，以微小的积算成本法大幅提高识别准确率。此外，在修正线性单元(ReLU/PReLU)的建模过程中，推导出了一种可以使层数较多的模型收敛的初始化方法。
不久之后，Google提出的新一代GoogleNet模型，该模型在ILSVRC2012数据集上取得了4.82%错误率的成绩[27]。该模型在将归一化方法用于网络内部的激活函数中，对层与层之间传输的数据进行归一化，由于采用随机梯度下降发训练，归一化只能在每个mini-batch内进行。此方法取得了很好的效果，例如高学习率、准确率、减少过拟合等。
卷积神经网络对于图像学习的能力日益增强，然而其对于图像空间不变性尤其是旋转不变性的学习能力还是不尽人意。为了解决这个问题Google DeepMind提出了Spatial transformer [28]模块，该模块可以在任意位置加入，对输入数据进行空间变换，使得提取到的特征易于学习与分类。此外，在训练过程中对于所需的空间变换参数，该模块有着自主学习的能力，无需额外的监督训练。
ILSVRC2015，微软亚洲研究院团队提出的深达152层的深层残差网络以3.57% [29]错误率的绝对优势取得图像分类冠军。随着网络深度的增加，训练难度不断提高，对于图像识别分类的准确率达到饱和甚至开始下降。该团队提出了残差学习思想，即由网络训练取得的效果无法在进一步的时候，让网络层学习值为0的残差函数相较于恒等函数更容易取得好的效果。如图5所示，将shortcut connection方法用于网络中部分层间的链接，以实现残差学习，从而适当准确率不会因网络层数的增加而下降。再此之后的ILSVRC2016与ILSVRC2017的比赛中ensemble models成为主流，在模型创新方面并没有较大的突破。
自从2012年卷积神经网络首次应用在ILSVRC图像分类比赛并取得令人瞩目的成绩以来，卷积神经网络被广泛应用于图像识别与分类领域。人们孜孜不倦的研究使得不断改进的网络模型一一涌现，刷新着ILSVRC比赛记录，也使得卷积神经网络对于图像特征的学习提取能力日新月异的发展。同时，借由ImageNet，MSCOCO等大规模数据集的出现，卷积神经网络的训练强度不断提升，使得模型有着更强的泛化能力，提升在实际图像分类问题中的应用效果。
5. 总结与展望
相较于传统的图像分类方法，卷积神经网络拥有特征自主提取、自主学习的能力，并通过权值共享
图5.残差学习模块[29]
杨泽明等
的方式大大减少了全连接层所需神经元的数量，简化了网络结构使其所需的计算量明显下降。此外，卷积神经网络有着学习迁移的能力，经过训练的网络可以将之前所学到的特征应用于一项新的图像分类任务中，从而有效改善传统图像分类方法通用性差的问题，并且能大大提高图像分类的准确率及效率。
随着基于深度卷积神经网络在各类图像分类系统中的应用越来越广泛，识别效果越来越好，其研究工作一直深受研究者的重视。但是，仍有一些问题还没有较好的解决方案，主要表现在以下几方面：卷积神经网络的理论研究相对落后，对于图像特征提取、分类的具体机理的理解尚不透彻，导致了网络结构与网络参数的设置需要一定的经验，且随着网络层次的不断加深容易出现网络退化、过拟合等问题。
对于图像分类问题来说，网络的训练需要大量的已标注的数据集来提高其泛化能力，而现有的数据集已经不能满足其发展需求。这是目前制约卷积神经网络发展推广的主要因素。
第三，卷积神经网络尚存在一些缺陷。其完备性的相关理论与证明研究相对匮乏，在图像分类上存在着“欺骗”[30]等现象。
卷积神经网络在图像分类领域中取得了巨大的成功，其研究仍有广阔的发展前景。目前，进一步理解其工作原理、优化网络结构、发展无监督式学习方法以及借鉴生物视觉系统的机理是其未来发展的主要方向。
基金项目
北京高校物流技术工程研究中心项目(BJLE2010)。
参考文献(References)
[1]许可. 卷积神经网络在图像识别上的应用的研究[D]: [硕士学位论文]. 杭州: 浙江大学, 2012.
[2]席晓聪. 图像分类方法研究[D]: [硕士学位论文]. 济南: 山东大学, 2013.
[3]Swain, M.J. and Ballard, D.H. (1991) Color Indexing. International Journal of Computer Vision, 7, 11-32.
https://https://www.wendangku.net/doc/7f16362360.html,/10.1007/BF00130487
[4]Haralick, R.M. (1973) Texture Features for Image Classification. IEEE Transactions on Systems Man & Cybernetics, 3,
610-621.
[5]章志勇, 潘志庚, 张明敏, 等. 基于多尺度通用傅里叶描述子的灰度图像检索[J]. 中国图象图形学报, 2005,
10(5): 611-615.
[6]刘三军. 基于图像特征空间学习的图像分类方法研究[D]: [硕士学位论文]. 西安: 西安电子科技大学, 2014.
[7]Kirby, M. and Sirovich, L. (1990) Application of the Karhunen-Loeve Procedure for the Characterization of Human
Faces. IEEE Computer Society.
[8]Swets, D.L. and Weng, J. (1996) Using Discriminant Eigenfeatures for Image Retrieval. IEEE Computer Society.
[9]Friedman, J.H. and Tukey, J.W. (2006) A Projection Pursuit Algorithm for Exploratory Data Analysis. IEEE Transac-
tions on Computers, C-23, 881-890. https://https://www.wendangku.net/doc/7f16362360.html,/10.1109/T-C.1974.224051
[10]Chiang, S.S., Chang, C.I. and Ginsberg, I.W. (2001) Unsupervised Target Detection in Hyperspectral Images Using
Projection Pursuit. IEEE Transactions on Geoscience & Remote Sensing, 39, 1380-1391.
https://https://www.wendangku.net/doc/7f16362360.html,/10.1109/36.934071
[11]Burges, C.J.C. (1998) A Tutorial on Support Vector Machines for Pattern Recognition. Kluwer Academic Publishers,
Dordrecht.
[12]Zhang, D., Chen, S. and Zhou, Z.H. (2006) Recognizing Face or Object from a Single Image: Linear vs. Kernel Me-
thods on 2D Patterns. Structural, Syntactic, and Statistical Pattern Recognition, Joint IAPR International Workshops, SSPR 2006 and SPR 2006, Hong Kong, 17-19 August 2006, 889-897.
[13]Mika, S., Smola, A. and Scholz, M. (1999) Kernel PCA and De-Noising in Feature Spaces. In: Conference on Ad-
vances in Neural Information Processing Systems II, MIT Press, Cambridge, 536-542.
[14]LeCun, Y.L., Bottou, L., Bengio, Y., et al. (1998) Gradient-Based Learning Applied to Document Recognition. Pro-
ceedings of the IEEE, 86, 2278-2324.https://https://www.wendangku.net/doc/7f16362360.html,/10.1109/5.726791
杨泽明等
[15]Hubel, D.H. and Wiesel, T.N. (1962) Receptive Fields, Binocular Interaction and Functional Architecture in the Cat’s
Visual Cortex. Journal of Physiology, 160, 106-154.https://https://www.wendangku.net/doc/7f16362360.html,/10.1113/jphysiol.1962.sp006837
[16]Fukushima, K. (1980) Neocognitron: A Self-Organizing Neural Network Model for a Mechanism of Pattern Recogni-
tion Unaffected by Shift in Position. Biological Cybernetics, 36, 193-202.https://https://www.wendangku.net/doc/7f16362360.html,/10.1007/BF00344251
[17]Hinton, G.E. and Salakhutdinov, R.R. (2006) Reducing the Dimensionality of Data with Neural Networks. Science,
313, 504-507.https://https://www.wendangku.net/doc/7f16362360.html,/10.1126/science.1127647
[18]Deng, J., Dong, W., Socher, R., et al. (2009) ImageNet: A Large-Scale Hierarchical Image Database. Computer Vision
and Pattern Recognition, Miami, 20-25 June 2009, 248-255.
[19]Ahonen, T., Hadid, A. and Pietikainen, M. (2006) Face Description with Local Binary Patterns: Application to Face
Recognition. IEEE Transactions on Pattern Analysis & Machine Intelligence, 28, 2037-2041.
https://https://www.wendangku.net/doc/7f16362360.html,/10.1109/TPAMI.2006.244
[20]Russakovsky, O., Deng, J., Su, H., et al. (2015) ImageNet Large Scale Visual Recognition Challenge. International
Journal of Computer Vision, 115, 211-252.https://https://www.wendangku.net/doc/7f16362360.html,/10.1007/s11263-015-0816-y
[21]Krizhevsky, A., Sutskever, I. and Hinton, G.E. (2017) ImageNet Classification with Deep Convolutional Neural Net-
works. Communications of the ACM, 60, 84-90.
[22]Zeiler, M.D. and Fergus, R. (2013) Visualizing and Understanding Convolutional Networks. Computer Vision, Zurich,
6-12 September 2014, 818-833.
[23]Szegedy, C., Liu, W., Jia, Y., et al. (2015) Going Deeper with Convolutions. Computer Vision and Pattern Recognition,
Boston, 7-12 June 2015, 1-9.
[24]Lin, M., Chen, Q. and Yan, S. (2013) Network in Network. International Conference on Learning Representations,
Scottsdale, 2-4 May 2013, 10.
[25]He, K., Zhang, X., Ren, S., et al. (2015) Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recogni-
tion. IEEE Transactions on Pattern Analysis & Machine Intelligence, 37, 1904-1916.
https://https://www.wendangku.net/doc/7f16362360.html,/10.1109/TPAMI.2015.2389824
[26]He, K., Zhang, X., Ren, S., et al. (2015) Delving Deep into Rectifiers: Surpassing Human-Level Performance on
ImageNet Classification. IEEE International Conference on Computer Vision, Santiago, 7-13 December 2015,
1026-1034.
[27]Ioffe, S. and Szegedy, C. (2015) Batch Normalization: Accelerating Deep Network Training by Reducing Internal Co-
variate Shift. International Conference on Machine Learning, Lille, 6-11 July 2015, 448-456.
[28]Jaderberg, M., Simonyan, K., Zisserman, A., et al. (2015) Spatial Transformer Networks. Neural Information
Processing Systems, Montreal, 7-12 December 2015, 2017-2025.
[29]He, K., Zhang, X., Ren, S., et al. (2015) Deep Residual Learning for Image Recognition. Computer Vision and Pattern
Recognition, Las Vegas, 26 June-1 July 2016, 770-778.
[30]Nguyen, A., Yosinski, J. and Clune, J. (2014) Deep Neural Networks Are Easily Fooled: High Confidence Predictions
for Unrecognizable Images. Computer Vision and Pattern Recognition, Boston, 7-12 June 2015, 427-436.
知网检索的两种方式：
1. 打开知网页面https://www.wendangku.net/doc/7f16362360.html,/kns/brief/result.aspx?dbPrefix=WWJD
下拉列表框选择：[ISSN]，输入期刊ISSN：2326-3415，即可查询
2. 打开知网首页https://www.wendangku.net/doc/7f16362360.html,/
左侧“国际文献总库”进入，输入文章标题，即可查询
投稿请点击：https://www.wendangku.net/doc/7f16362360.html,/Submission.aspx
期刊邮箱：airr@https://www.wendangku.net/doc/7f16362360.html,
神经网络最新发展综述
神经网络最新发展综述 学校：上海海事大学 专业：物流工程 姓名：周巧珍 学号：201530210155
神经网络最新发展综述 摘要：作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是人工智能发展中的重要方法，也是当前类脑智能研究中的有效工具。目前，模拟人脑复杂的层次化认知特点的深度学习成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高潮。本文分8个方面综述了其当前研究进展以及存在的问题，展望了未来神经网络的发展方向。 关键词: 类脑智能；神经网络；深度学习；大数据 Abstract: As a typical realization of connectionism intelligence, neural network, which tries to mimic the information processing patterns in the human brain by adopting broadly interconnected structures and effective learning mechanisms, is an important branch of artificial intelligence and also a useful tool in the research on brain-like intelligence at present. Currently, as a way to imitate the complex hierarchical cognition characteristic of human brain, deep learning brings an important trend for brain-like intelligence. With the increasing number of layers, deep neural network entitles machines the capability to capture “abstract concepts” and it has achieved great success in various fields, leading a new and advanced trend in neural network research. This paper summarizes the latest progress in eight applications and existing problems considering neural network and points out its possible future directions. Key words : artificial intelligence; neural network; deep learning; big data 1 引言 实现人工智能是人类长期以来一直追求的梦想。虽然计算机技术在过去几十年里取得了长足的发展，但是实现真正意义上的机器智能至今仍然困难重重。伴随着神经解剖学的发展，观测大脑微观结构的技术手段日益丰富，人类对大脑组织的形态、结构与活动的认识越来越深入，人脑信息处理的奥秘也正在被逐步揭示。如何借助神经科学、脑科学与认知科学的研究成果，研究大脑信息表征、转换机理和学习规则，建立模拟大脑信息处理过程的智能计算模型，最终使机器掌握人类的认知规律，是“类脑智能”的研究目标。 类脑智能是涉及计算科学、认知科学、神经科学与脑科学的交叉前沿方向。类脑智能的
基于深度卷积神经网络的图像分类
SHANGHAI JIAO TONG UNIVERSITY 论文题目：基于卷积神经网络的自然图像分类技术研究 姓名: 高小宁 专业：控制科学与工程
基于卷积神经网络的自然图像分类技术研究 摘要：卷积神经网络已在图像分类领域取得了很好的效果，但其网络结构及参数的选择对图像分类的效果和效率有较大的影响。为改善卷积网络的图像分类性能，本文对卷积神经网络模型进行了详细的理论分析，并通过大量的对比实验，得出了影响卷积网络性能的因素。结合理论分析及对比实验，本文设计了一个卷积层数为8层的深度卷积网络，并结合Batch Normalization、dropout等方法，在CIFAR-10数据集上取得了%的分类精度，有效地提高了卷积神经网络的分类效果。 关键词：卷积神经网络，图像分类，Batch Normalization，Dropout Research on Natural Image Classification Based on Convolution Neural Network Abstract: Convolution neural network has achieved very good results in image classification, but its network structure and the choice of parameters have a greater impact on image classification efficiency and efficiency. In order to improve the image classification performance of the convolution network, a convolutional neural network model is analyzed in detail, and a large number of contrastive experiments are conducted to get the factors that influence the performance of the convolution network. Combining the theory analysis and contrast experiment, a convolution layer depth convolution network with 8 layers is designed. Combined with Batch Normalization and dropout, % classification accuracy is achieved on CIFAR-10 dataset. Which improves the classification effect of convolution neural network. Key Words: Convolution neural network(CNN), image classification, Batch Normalization, Dropout
基于卷积神经网络的文本分类研究综述
第34卷第3期2019年5月 内蒙古民族大学学报（自然科学版） Journal of Inner Mongolia University for Nationalities Vol.34No.3 May2019 基于卷积神经网络的文本分类研究综述 裴志利1，阿茹娜2，姜明洋2，卢奕南3 （1.内蒙古民族大学计算机科学与技术学院，内蒙古通辽028043；2.内蒙古民族大学数学学院，内蒙古通辽028000；3.吉林大学计算机科学与技术学院，吉林长春130012） ［摘要］随着互联网及其相关技术的高速发展，网络数据呈现出井喷式的增长，其中主要以文本的形式大量 存在，数据在这种增长趋势下，文本分类已经成为越来越重要的研究课题.如今，采用深度学习技术对文本进 行表示受到研究者的极大关注.如采用卷积神经网络对文档进行表示和分类等自然语言处理.本文主要对基 于卷积神经网络的文本分类方法进行了研究，介绍了几个具有代表性的卷积神经网络模型结构.最后提出了 对基于该方法文本分类的展望. ［关键词］卷积神经网络；文本分类；深度学习 ［中图分类号］TP393［文献标识码］A［文章编号］1671-0815（2019）03-0206-05 Survey of Text Classification Research Based on Convolutional Neural Networks PEI Zhi-li1，Aruna2，JIANG Ming-yang2，LU Yi-nan3 （1.College of Computer Science and Technology，Inner Mongolia University for Nationalities，Tongliao028043，China; 2.College of Mathematics，Inner Mongolia University for Nationalities，Tongliao028000，China; 3.College of Computer Science and Technology，Jilin University，Changchun130012，China） Abstract：With the rapid development of the Internet and related technologies，network data has shown a spurt growth trend，which mainly exists in the form of text.Under this growth trend，text classification has become an increasingly important research topic.The use of deep learning technology to express the text has received great attention.For example， natural language processing such as convolutional neural network is used to represent and classify documents.The text classification method based on convolutional neural network is investigated.Several representative convolutional neural network model structures are introduced.Finally，the prospect of text classification based on this method is proposed. Key wrrds：Convolutional neural network;Text classification;Deep learning 0引言 随着网络媒体的出现，用户生成的内容以飞快的速度填充数据资源，这些数据的自动处理引起了研究者的巨大关注.文本分类是自然语言处理领域的重要任务，包括情感分析、对话分析、文献综述、机器翻译等［1］.文本分类具有多种方法，传统的机器学习分类算法有支持向量机算法（Support Vector Machine，SVM）［2］、朴素贝叶斯算法（Naive Bayesian Classifier，NBC）［3］、决策树算法（Decision Tree，DT）［4］、K-最近邻算法（K-Nearest Neighbor，KNN）［5］等，采用传统算法文本分类时需要人工进行特征提取，耗费时间和精 基金项目：国家自然科学基金项目（61672301）；内蒙古自治区“草原英才”工程产业创新人才团队（2017）；内蒙古自治区科技创新引导奖励资金项目（2016）；内蒙古民族大学特色交叉学科群建设项目（MDXK004）；2019年度内蒙古自治区高等学校“青年科技英才支持计划”（NJYT-19-B18） 作者简介：裴志利，内蒙古民族大学计算机科学与技术学院教授，博士. DOI：10.14045/https://www.wendangku.net/doc/7f16362360.html,ki.15-1220.2019.03.005
Hopfield神经网络综述
题目：Hopfield神经网络综述 一、概述： 1.什么是人工神经网络（Artificial Neural Network，ANN) 人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。 人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。 根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。 1）反馈神经网络(Recurrent Network) 反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：（1）.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； （2）.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。 2.Hopfiel d神经网络 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield 教授于1982年提出，是一种单层反馈神经网络。Hopfiel d神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。 Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。 反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个Hopfield 网络来说，关键是在于确定它在稳定条件下的权系数。 下图中，第0层是输入，不是神经元；第二层是神经元。
使用卷积神经网络的图像样式转换
《使用卷积神经网络的图像样式转换的研究》 院系信息工程学院 专业电子与通信工程 班级信研163 提交时间：2016年11月28日
使用卷积神经网络的图像样式转换的研究 湖北省武汉，430070 摘要：以不同的风格样式渲染图像的内容一直都是一个十分困难的图像处理任务。也可以说，以前主要限制因素是不知如何明确表示内容信息。在这里我们使用图像表示导出优化的能够识别对象的卷积神经网络，这使得高级图像信息显示。我们引入了一种可以分离和重组自然图像的图像内容和艺术风格的神经算法。这个算法允许我们生成高质量的新目标图像，它能将任意照片的内容与许多众所周知的艺术品的风格相结合。我们的结果提供了对卷积神经网络学习的深度图像表示的新理解，并且展示了他们的高水平图像合成和操纵的能力。 关键词：卷积神经网络；图像处理；神经算法 The Study of Image Style Transfer Using Convolutional Neural Networks LiWenxing School of Science,Wuhan University of Technology,Wuhan 430070,China Abstract: Rendering the content of an image in a different style has always been a difficult image processing task. It can also be said that the main limiting factor in the past is that I do not know how to clearly express the content information. Here we use an image representation to derive an optimized, object-aware convolutional neural network, which allows advanced image information to be displayed. We introduce a neural algorithm that can separate and reconstruct the image content and artistic style of natural images. This algorithm allows us to generate high-quality new target images that combine the content of any photo with the style of many well-known works of art. Our results provide a new understanding of the depth image representation of convolution neural network learning and demonstrate their ability to synthesize and manipulate high-level images. Keywords: Convolutional Neural Network;Image Processing;Neural algorithm
一种基于卷积神经网络的图像分类方法
F 福建电脑 UJIAN COMPUTER 福建电脑2018年第2期 基金项目：国家级大学生创新训练计划项目（201610719001）；陕西省大学生创新训练计划项目（1495）。 0引言 图像分类就是利用计算机模拟人类对图像的理解和认知,自动根据图像的内容将图片划分到合适的类别中,它在智能识别、目标检测和信息搜索等计算机视觉领域有着广泛的应用,图像分类问题也一直是计算机视觉的基本问题。目前,关于图像分类的研究大多集中在医学图像、遥感图像等专业领域,而对于自然图像分类的研究较少,虽然分类的算法如K 最近邻算法[1]、决策树算法[2]、神经网络算法[3]、支持向量机算法[4]和一些混合算法[5]能达到较可观的分类效果,但对大数据库的分类,存在训练时间长,准确度低、易出现过拟合等缺点。 由于卷积神经网络[6](Convolutional Neural Network,CNN )具有输入图像不需预处理;特征提取和模式分类同时在训练中产生;权重共享减少了网络训练参数;很强的抗干扰能力等优点。本文首先分析探讨了卷积神经网络结构、原理,提出了一种改进的卷积神经网络,设计了基于该模型的图像分类算法,实验结果表明该模型能提取出大数据库中图像明显特征,可精确地对图像集进行分类。 1卷积神经网络及其改进 CNN 是将卷积运算引入到深度学习模型,属于多层前馈神经网络模型,但与传统不同的是它的输入是二维模式,可以直接处理二维模式,其连接权是二维权矩阵,称为卷积核,基本操作是二维离散卷积和池化。简单地说,CNN 就是能够自动的对于一张图片学习出最好的卷积核以及这些卷积核的组合方式。 1.1CNN 结构 CNN 一般由卷积层、池化层、全连接层和一个输出层(或分类器)组成。每层由多个二维平面块组成,每个平面块由多个独立神经元组成,如图1所示。 卷积层通过卷积运算提取图像的不同特征,包含若干组CNN 训练的参数,即进行学习的卷积核,当前层的卷积核对输入的一组图片做卷积运算,再经过激活函数得到新的特征图像,通常采用卷积离散型将输入原始图像的像素输出为新的像素点,可由公式(1)计算得出: (1) 其中,M β表示输入特征图像的子集;W γαβ表示卷积核;γ表 示网络层数;b γβ表示输出特征映射的偏置,f 表示激活函数,最常用的是sigmoid 函数与双曲正切函数。 卷积层后一般接入池化层来减小数据量,通过池化把输入的特征图像分割为不重叠的矩形区域,而对相应的矩形区域做运算,常见的有最大池化和均值池化。经过交替的卷积层和池化层之后,已经获得了高度抽象的特征图像,全连接层把得到的多个特征映射转化为一个特征向量以完全连接的方式输出,最后对提取的特征进行分类。 1.2CNN 工作原理 在CNN 中,通过神经网络的梯度反向传播算法实现对参数的学习训练,属于有监督学习。在进行学习训练过程中,输入信号的训练输出和实际输出会有一定误差,误差在梯度下降算法中逐层传播,逐层更新网络参数。假设样例(x ,y )的损失函数为C (W ,b ;x ,y ),如式(2)。 (2)为防止过拟合,需增加,L 2范数,如式(3)。 (3) 其中,h W ,b (x )为输入样本x 经过CNN 后的输出,y 为样本的标签真值,λ为控制强度。为了使代价函数尽可能的小,因此需要不断更新每一层的权重W 和偏置项b ,任意一层(假设为γ层)的权重更新如式(4)。 (4) 1.3CNN 的改进 在处理大数据集方面,由于卷积层和池化层数较少,获得的特征图相对不足,因此达不到较好的分类效果。针对该缺点,依据CNN 的卷积层和池化层设置灵活性,不同的结构设置会得到不同结果的特点,对传统CNN 进行了两方面的改进,一方面将卷积层和池化层层数分别增至3层,提高了各层提取图像特征的能力,使分类效果得到改善;另一方面设置卷积核大小为5×5,扫描的步长为2,在提高训练效率的同时也保证了分类精确度。 2基于改进CNN 的图像分类 一种基于卷积神经网络的图像分类方法 张琳林，曹军梅 （延安大学计算机学院陕西延安716000） 【摘要】利用卷积神经网络是深度学习的一种高效识别模型的思想， 将卷积神经网络应用于图像分类中，避免对图像进行复杂的预处理的同时也提高了图像分类的准确度。在分析卷积神经网络结构、 原理及特点的基础上，提出了一种改进的卷积神经网络模型，设计了基于该模型的图像分类算法， 并在大数据库CIFA Ｒ-10下进行实验验证，表明图像分类的准确度高，总结了网络模型对图像分类结果的影响因素。 【关键词】卷积神经网络；图像分类；卷积；池化；特征图像图1CNN 的基本结 构 DOI:10.16707/https://www.wendangku.net/doc/7f16362360.html,ki.fjpc.2018.02.021 46··
Hopfield神经网络综述
题目： Hopfield神经网络综述 一、概述： 1.什么是人工神经网络（Artificial Neural Network，ANN) 人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。 人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。 根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。 1）反馈神经网络(Recurrent Network) 反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：（1）.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； （2）.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。 2.Hopfield神经网络 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield 教授于1982年提出，是一种单层反馈神经网络。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。 Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。 反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个Hopfield 网络来说，关键是在于确定它在稳定条件下的权系数。 下图中，第0层是输入，不是神经元；第二层是神经元。
综述卷积神经网络：从基础技术到
1 引言 1.1 动机 过去几年来，计算机视觉研究主要集中在卷积神经网络（常简称为ConvNet 或CNN）上。这些工作已经在广泛的分类和回归任务上实现了新的当前最佳表现。相对而言，尽管这些方法的历史可以追溯到多年前，但对这些系统得到出色结果的方式的理论理解还很滞后。事实上，当前计算机视觉领域的很多成果都是将CNN 当作黑箱使用，这种做法是有效的，但其有效的原因却非常模糊不清，这严重满足不了科学研究的要求。尤其是这两个可以互补的问题：（1）在被学习的方面（比如卷积核），究竟被学习的是什么？（2）在架构设计方面（比如层的数量、核的数量、池化策略、非线性的选择），为什么某些选择优于另一些选择？这些问题的答案不仅有利于提升我们对 CNN 的科学理解，而且还能提升它们的实用性。 此外，目前实现CNN 的方法需要大量训练数据，而且设计决策对结果表现有很大的影响。更深度的理论理解应该能减轻对数据驱动的设计的依赖。尽管已有实证研究调查了所实现的网络的运行方式，但到目前为止，这些结果很大程度上还局限在内部处理过程的可视化上，目的是为了理解 CNN 中不同层中发生的情况。 1.2 目标 针对上述情况，本报告将概述研究者提出的最突出的使用多层卷积架构的方法。要重点指出的是，本报告将通过概述不同的方法来讨论典型卷积网络的各种组件，并将介绍它们的设计决策所基于的生物学发现和/或合理的理论基础。此外，本报告还将概述通过可视化和实证研究来理解 CNN 的不同尝试。本报告的最终目标是阐释 CNN 架构中涉及的每一个处理层的作用，汇集我们当前对CNN 的理解以及说明仍待解决的问题。
1.3 报告提纲 本报告的结构如下：本章给出了回顾我们对卷积网络的理解的动机。第2 章将描述各种多层网络并给出计算机视觉应用中使用的最成功的架构。第3 章将更具体地关注典型卷积网络的每种构造模块，并将从生物学和理论两个角度讨论不同组件的设计。最后，第4 章将会讨论CNN 设计的当前趋势以及理解CNN 的工作，并且还将重点说明仍然存在的一些关键短板。 2 多层网络 总的来说，本章将简要概述计算机视觉领域中所用的最突出的多层架构。需要指出，尽管本章涵盖了文献中最重要的贡献，但却不会对这些架构进行全面概述，因为其它地方已经存在这样的概述了（比如 [17, 56, 90]）。相反，本章的目的是为本报告的剩余部分设定讨论基础，以便我们详细展示和讨论当前对用于视觉信息处理的卷积网络的理解。 2.1 多层架构 在近来基于深度学习的网络取得成功之前，最先进的用于识别的计算机视觉系统依赖于两个分离但又互补步骤。第一步是通过一组人工设计的操作（比如与基本集的卷积、局部或全局编码方法）将输入数据变换成合适的形式。对输入的变换通常需要找到输入数据的一种紧凑和/或抽象的表征，同时还要根据当前任务注入一些不变量。这种变换的目标是以一种更容易被分类器分离的方式改变数据。其次，被变换的数据通常用于训练某些类型的分类器（比如支持向量机）来识别输入信号的内容。通常而言，任何分类器的表现都会受到所使用的变换方法的严重影响。 多层学习架构为这一问题带来了不同的前景，这种架构提出不仅要学习分类器，而且要从数据中直接学习所需的变换操作。这种形式的学习通常被称为「表征学习」，当应用在深度多层架构中时即被称为「深度学习」。
基于人工神经网络预测探究文献综述
基于人工神经网络的预测研究文献综述专业：电子信息工程班级：08级2班作者：刘铭指导老师：熊朝松 引言 随着多媒体和网络技术的飞速发展及广泛应用，人工神经网络已被广泛运用于各种领域，而它的预测功能也在不断被人挖掘着。人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。现代计算机构成单元的速度是人脑中神经元速度的几百万倍，对于那些特征明确，推理或运算规则清楚地可编程问题，可以高速有效地求解，在数值运算和逻辑运算方面的精确与高速极大地拓展了人脑的能力，从而在信息处理和控制决策等方面为人们提供了实现智能化和自动化的先进手段。但由于现有计算机是按照冯·诺依曼原理，基于程序存取进行工作的，历经半个多世纪的发展，其结构模式与运行机制仍然没有跳出传统的逻辑运算规则，因而在很多方面的功能还远不能达到认得智能水平。随着现代信息科学与技术的飞速发展，这方面的问题日趋尖锐，促使科学和技术专家们寻找解决问题的新出路。当人们的思想转向研究大自然造就的精妙的人脑结构模式和信息处理机制时，推动了脑科学的深入发展以及人工神经网络和闹模型的研究。随着对生物闹的深入了解，人工神经网络获得长足发展。在经历了漫长的初创期和低潮期后，人工神经网络终于以其不容忽视的潜力与活力进入了发展高潮。这么多年来，它的结构与功能逐步改善，运行机制渐趋成熟，应用领域日益扩大，在解决各行各业的难题中显示出巨大的潜力，取得了丰硕的成果。通过运用人工神经网络建模，可以进行预测事物的发展，节省了实际要求证结果所需的研究时间。 正是由于人工神经网络是一门新兴的学科，它在理论、模型、算法、应用和时限等方面都还有很多空白点需要努力探索、研究、开拓和开发。因此，许多国家的政府和企业都投入了大量的资金，组织大量的科学和技术专家对人工神经网络的广泛问题立项研究。从人工神经网络的模拟程序和专用芯片的不断推出、论文的大量发表以及各种应用的报道可以看到，在这个领域里一个百家争鸣的局面已经形成。 为了能深入认识人工神经网络的预测功能，大量收集和阅读相关资料是非常必要的。搜集的资料范围主要是大量介绍人工神经网路，以及认识和熟悉了其中重要的BP网络。参考的著作有：马锐的《人工神经网络原理》，胡守仁、余少波的《神经网络导论》以及一些相关论文，董军和胡上序的《混沌神经网络研究进展和展望》，朱大奇的《人工神经网络研究现状及其展望》和宋桂荣的《改进BP算法在故障诊断中的应用》，这些
基于卷积神经网络的图像识别研究
第14期 2018年7月No.14July，2018 1 算法原理 卷积神经网络的卷积层最重要部分为卷积核[1-2]。卷积核不仅能够使各神经元间连接变少，还可以降低过拟合误 差[3]。 子采样过程就是池化过程。进行卷积过程是将卷积核与预测试图像进行卷积，子采样能够简化网络模型，降低网络模型复杂程度，从而缩减参数。 在图像识别时，首先需要对输入图像初始化，然后将初始化后图像进行卷积和采样，前向反馈到全连接层，通过变换、即可计算进入输出层面，最终通过特征增强效果和逻辑之间的线性回归判断是否符合图像识别期望效果，往复循环，每循环一次就迭代一次，进而对图像进行识别。流程如图1所示。 图1 卷积神经网络模型流程 2 卷积神经网络 卷积神经网络主要包括3个层次[4]，它由输入层、隐藏 层、输出层共同建立卷积神经网络模型结构。2.1 卷积层 卷积层的作用是提取特征[2]。卷积层的神经元之间进行 局部连接，为不完全连接[5]。 卷积层计算方法公式如下。()r array M a λ+ 其中λ为激活函数，array 是灰度图像矩阵， M 表示卷积核， 表示卷积， a 表示偏置值大小。G x 方向和G y 方向卷积核。 本文卷积神经网络模型中设定的卷积核分为水平方向和竖直方向。卷积层中卷积核通过卷积可降低图像边缘模糊程度，使其更为清晰，效果更好、更为显著。经过S 型函数激活处理之后，进行归一化后图像灰度值具有层次感，易于突出目标区域，便于进一步处理。2.2 全连接层 该层主要对信息进行整理与合并，全连接层的输入是卷积层和池化层的输出。在视觉特征中，距离最近点颜色等特征最为相似，像素同理。全连接如图2所示。 图2 全连接 3 实验结果与分析 本文采用数据集库是MSRA 数据集，该数据集共包含1 000张图片。实验环境为Matlab2015a 实验环境，Windows 7以上系统和无线局域网络。本文从MSRA 数据集中选取其中一张进行效果分析。卷积神经网络模型识别效果如图3所示。 作者简介：谢慧芳（1994— ），女，河南郑州人，本科生；研究方向：通信工程。 谢慧芳，刘艺航，王 梓，王迎港 （河南师范大学，河南 新乡 453007） 摘 要：为降低图像识别误识率，文章采用卷积神经网络结构对图像进行识别研究。首先，对输入图像进行初始化；然后，初 始化后的图像经卷积层与该层中卷积核进行卷积，对图像进行特征提取，提取的图像特征经过池化层进行特征压缩，得到图像最主要、最具代表性的点；最后，通过全连接层对特征进行综合，多次迭代，层层压缩，进而对图像进行识别，输出所识别图像。与原始算法相比，该网络构造可以提高图像识别准确性，大大降低误识率。实验结果表明，利用该网络模型识别图像误识率低至16.19%。关键词：卷积神经网络；卷积核；特征提取；特征压缩无线互联科技 Wireless Internet Technology 基于卷积神经网络的图像识别研究
人工神经网络综述
目录 1 人工神经网络算法的工作原理 (3) 2 人工神经网络研究内容 (4) 3 人工神经网络的特点 (5) 4 典型的神经网络结构 (6) 4.1 前馈神经网络模型 (6) 4.1.1 自适应线性神经网络(Adaline) (6) 4.1.1.1网络结构 (6) 4.1.1.2学习算法步骤 (7) 4.1.1.3优缺点 (7) 4.1.2单层感知器 (8) 4.1.2.1网络结构 (8) 4.1.2.2学习算法步骤 (9) 4.1.2.3优缺点 (9) 4.1.3多层感知器和BP算法 (10) 4.1.3.1网络结构： (10) 4.1.3.2 BP算法 (10) 4.1.3.3算法学习规则 (11) 4.1.3.4算法步骤 (11) 4.1.3.5优缺点 (12) 4.2反馈神经网络模型 (13) 4.2.1 Hopfield神经网络 (13) 4.2.1.1网络结构 (13) 4.2.1.2 学习算法 (15) 4.2.1.3 Hopfield网络工作方式 (15) 4.2.1.4 Hopfield网络运行步骤 (15) 4.2.1.5优缺点 (16) 4.2.2海明神经网络（Hamming） (16) 4.2.2.1网络结构 (16) 4.2.2.2学习算法 (17) 4.2.2.3特点 (18) 4.2.3双向联想存储器（BAM） (19) 4.2.3.1 网络结构 (19) 4.2.3.2学习算法 (19) 4.2.3.4优缺点 (21) 5.人工神经网络发展趋势以及待解决的关键问题 (22) 5.1 与小波分析的结合 (22) 5.1.1小波神经网络的应用 (23) 5.1.2待解决的关键技术问题 (23) 5.2混沌神经网络 (23) 5.2.1混沌神经网络的应用 (24) 5.2.2待解决的关键技术问题 (24)
深度神经网络全面概述
深度神经网络全面概述从基本概念到实际模型和硬件基础 深度神经网络(DNN)所代表的人工智能技术被认为是这一次技术变革的基石(之一)。近日，由IEEE Fellow Joel Emer 领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。 目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks，DNN)。DNN 在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。因此，那些能帮助DNN 高效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署DNN 的关键。 论文地址：https://https://www.wendangku.net/doc/7f16362360.html,/pdf/1703.09039.pdf 本文旨在提供一个关于实现DNN 的有效处理(efficient processing)的目标的最新进展的全面性教程和调查。特别地，本 文还给出了一个DNN 综述——讨论了支持DNN 的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低DNN 计算成本。本文也会对帮助研究者和从业者快速上手DNN 设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的DNN 硬件设计，还包括学界和产业界共同推荐的算法联合设计。 读者将从本文中了解到以下概念：理解DNN 的关键设计考量;通过基准和对比指标评估不同的DNN 硬件实现;理解不同架构和平台之间的权衡;评估不同DNN 有效处理技术的设计有效性;理解最新的实现趋势和机遇。 一、导语 深度神经网络(DNN)目前是许多人工智能应用的基础[1]。由于DNN 在语音识别[2] 和图像识别[3] 上的突破性应用，使用DNN 的应用量有了爆炸性的增长。这些DNN 被部署到了从自动驾驶汽车[4]、癌症检测[5] 到复杂游戏[6] 等各种应用中。在这许多领域中，DNN 能够超越人类的准确率。而DNN 的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设计规则的方法不同。 然而DNN 获得出众准确率的代价是高计算复杂性成本。虽然通用计算引擎(尤其是GPU)，已经成为许多DNN 处理的砥柱，但提供对DNN 计算更专门化的加速方法也越来越热门。本文的目标是提供对DNN、理解DNN 行为的各种工具、有效加速计算的各项技术的概述。 该论文的结构如下：
动态神经网络综述
动态神经网络综述 摘要 动态神经网络(DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用。本文系统介绍了该网络的几种常见模型，并在此基础之上介绍它的基本学习算法、功能、应用领域、实际推广。 关键词：动态神经网络，模型，功能，算法，应用 Abstract Dynamic Neural Network (DNN) has been widely applied by means of the strong ability of learning and the characteristic of approximating any nonlinear function. The paper mainly introduces several models of common dynamic neural network, and dynamic neural network's function, basic algorithm, application and promotion. Keywords: DNN, Models , Function , Algorithm , Application
1、绪论 人工神经网络（Artificial Neural Networks，简写为ANNs）是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达[1]。 神经网络按是否含有延迟或反馈环节，以及与时间是否相关分为静态神经网络和动态神经网络,其中含有延迟或反馈环节，与时间直接有关的神经网络称为动态神经网络[2]。动态神经网络具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来,将动态神经网络作为一种新的方法引入复杂非线性系统建模中引起了工程控制领域许多学者的关注[3]。动态神经网络现在已经广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面。 本文第二章主要介绍了动态神经网络的分类，基本模型和算法；第三章主要介绍了动态神经网络的应用；第四章简要介绍了神经网络的改进方法。 2、DNN网络的基本模型和算法 根据结构特点，可以将动态神经网络分为3类:全反馈网络结构,部分反馈网络结构以及无反馈的网络结构。 反馈网络(Recurrent Network),又称自联想记忆网络,如下图所示: 图2-1 反馈网络模型 反馈网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； 第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络根据信号的时间域的性质的分类为
BP神经网络及深度学习研究-综述(最新整理)
BP神经网络及深度学习研究 摘要：人工神经网络是一门交叉性学科，已广泛于医学、生物学、生理学、哲学、信息学、计算机科学、认知学等多学科交叉技术领域，并取得了重要成果。BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。本文将主要介绍神经网络结构，重点研究BP神经网络原理、BP神经网络算法分析及改进和深度学习的研究。 关键词：BP神经网络、算法分析、应用 1 引言 人工神经网络（Artificial Neural Network，即ANN ），作为对人脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是20世纪80 年代以来人工智能领域兴起的研究热点。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。 人工神经网络最有吸引力的特点就是它的学习能力。因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期，涌现出无数的相关研究理论及成果，包括理论研究及应用研究。最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用[1]人工神经网络模型对问题进行研究优化解决。 人工神经网络是由多个神经元连接构成，因此欲建立人工神经网络模型必先建立人工神经元模型，再根据神经元的连接方式及控制方式不同建立不同类型的人工神经网络模型。现在分别介绍人工神经元模型及人工神经网络模型。 1.1 人工神经元模型 仿生学在科技发展中起着重要作用，人工神经元模型的建立来源于生物神经元结构的仿生模拟，用来模拟人工神经网络[2]。人们提出的神经元模型有很多，其中最早提出并且影响较大的是1943年心理学家McCulloch和数学家W. Pitts 在分析总结神经元基本特性的基础上首先提出的MP模型。该模型经过不断改进后，形成现在广泛应用的BP神经元模型。人工神经元模型是由人量处理单元厂泛互连而成的网络，是人脑的抽象、简化、模拟，反映人脑的基本特性。一般来说，作为人工神经元模型应具备三个要素： (1)具有一组突触或连接，常用表示神经元i和神经元j之间的连接强度。 w ij (2)具有反映生物神经元时空整合功能的输入信号累加器。