关于卷积神经网络损失函数的改进算法

第39卷 第1期 高 师 理 科 学 刊 Vol. 39 No.1 2019年 1月 Journal of Science of Teachers′College and University Jan. 2019

文章编号：1007-9831（2019）01-0023-05

关于卷积神经网络损失函数的改进算法

徐振忠

（广东工业大学 应用数学学院，广东 广州 510520）

摘要：经典的卷积神经网络模型损失函数在设计时只考虑输出与标签之间的比较，没有涉及到图片之间的差异．为了提高卷积神经网络模型提取特征的差异，提出了基于Triplet network模型约束的卷积神经网络模型，这种方法提高了卷积神经网络提取有效特征的能力，减少数据集数量对于模型的影响. 在MNIST数据集和cifar-10数据集上进行实验，提出的新模型在这２个数据集上比经典的卷积神经网络模型识别效果更好.

关键词：卷积神经网络；Triplet network模型；反馈调节

中图分类号：TP391文献标识码：A doi：10.3969/j.issn.1007-9831.2019.01.007

An improved algorithm for the loss function of convolution neural networks

XU Zhen-zhong

（School of Applied Mathematics，Guangdong University of Technology，Guangzhou 510520，China）

Abstract：The loss function of classical convolution neural network model only considers the comparison between output and label，but does not involve the difference between pictures．In order to improve the difference of feature extraction from convolutional neural network model，proposes a convolution neural network model based on Triplet network model constraint．This method improves the ability of convolution neural network in extracting effective features and reduces the infection due to the dataset′ number．MINIST datasets and cifar-10 datasets will be tested for certifying the effectiveness of this methed，and the result shows that the new model is better than the classical convolutional neural network model in recognition of these two datasets．

Key words：convolution neural network；Triplet network model；back propagation

1980年，Fukushima根据Huble和Wiesel[1]的研究提出了多层感知机[2]．多层感知机为卷积神经网络的出现奠定了重要的基础．Lecun[3]等在Fukushima的研究基础上采用BP算法建立了卷积神经网络（CNN）模型并运用到手写字符的识别上，并取得了一定的效果，该模型被称为LeNet-5．LeNet-5是最基本的CNN 模型，该模型包括输入层、卷积层、池化层、全连接层和输出层．后面的研究者大多在这个模型的基础上进行相应的改进．目前，对于经典CNN模型的改进大体从5个方面进行：（1）CNN结构的层数，如增加卷积层和池化层的数目，改变它们的顺序[4-5]；（2）卷积核的大小和连接方式，如选择大小不同的卷积核进行组合[6-7]；（3）池化的方式，如最大值池化和均值池化[8-9]；（4）激活函数的选择，如sigmoid函数、tanh 函数和ReLU函数[10-11]；（5）损失函数的选择，如采用不同的损失函数或在损失函数上加上相应的正则约 束[12-13]．本文在经典CNN模型损失函数的基础上加了Triplet Network[14]的正则约束，得到基于Triplet network 模型约束的深度学习算法CNN模型（简称为TCNN）．在经典CNN模型的损失函数中加入同类和异类的2

收稿日期：2018-10-05

作者简介：徐振忠（1992-），男，广东雷州人，在读硕士研究生，从事深度学习和图像识别及处理研究．E-mail：745007440@https://www.wendangku.net/doc/e04181621.html,

卷积神经网络CNN从入门到精通

卷积神经网络CNN从入门到精通 卷积神经网络算法的一个实现 前言 从理解卷积神经到实现它，前后花了一个月时间，现在也还有一些地方没有理解透彻，CNN还是有一定难度的，不是看哪个的博客和一两篇论文就明白了，主要还是靠自己去专研，阅读推荐列表在末尾的参考文献。目前实现的CNN在MINIT数据集上效果还不错，但是还有一些bug，因为最近比较忙，先把之前做的总结一下，以后再继续优化。 卷积神经网络CNN是Deep Learning的一个重要算法，在很多应用上表现出卓越的效果，[1]中对比多重算法在文档字符识别的效果，结论是CNN优于其他所有的算法。CNN在手写体识别取得最好的效果，[2]将CNN应用在基于人脸的性别识别，效果也非常不错。前段时间我用BP神经网络对手机拍照图片的数字进行识别，效果还算不错，接近98%，但在汉字识别上表现不佳，于是想试试卷积神经网络。 1、CNN的整体网络结构 卷积神经网络是在BP神经网络的改进，与BP类似，都采用了前向传播计算输出值，反向传播调整权重和偏置；CNN与标准的BP最大的不同是：CNN中相邻层之间的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层的部分神经单元，而不是像BP那样与所有的神经单元相连接。CNN的有三个重要的思想架构： 局部区域感知 权重共享 空间或时间上的采样 局部区域感知能够发现数据的一些局部特征，比如图片上的一个角，一段弧，这些基本特征是构成动物视觉的基础[3]；而BP中，所有的像素点是一堆混乱的点，相互之间的关系没有被挖掘。 CNN中每一层的由多个map组成，每个map由多个神经单元组成，同一个map 的所有神经单元共用一个卷积核（即权重），卷积核往往代表一个特征，比如某个卷积和代表一段弧，那么把这个卷积核在整个图片上滚一下，卷积值较大的区域就很有可能是一段弧。注意卷积核其实就是权重，我们并不需要单独去计算一个卷积，而是一个固定大小的权重矩阵去图像上匹配时，这个操作与卷积类似，因此我们称为卷积神经网络，实际上，BP也可以看做一种特殊的卷积神经网络，只是这个卷积核就是某层的所有权重，即感知区域是整个图像。权重共享策略减少了需要训练的参数，使得训练出来的模型的泛华能力更强。 采样的目的主要是混淆特征的具体位置，因为某个特征找出来后，它的具体位置已经不重要了，我们只需要这个特征与其他的相对位置，比如一个“8”，当我们得到了上面一个"o"时，我们不需要知道它在图像的具体位置，只需要知道它下面又是一个“o”我们就可以知道是一个'8'了，因为图片中"8"在图片中偏左或者偏右都不影响我们认识它，这种混淆具体位置的策略能对变形和扭曲的图片进行识别。 CNN的这三个特点是其对输入数据在空间（主要针对图像数据）上和时间（主要针对时间序列数据，参考TDNN）上的扭曲有很强的鲁棒性。CNN一般采用卷积层与

(完整word版)深度学习-卷积神经网络算法简介

深度学习 卷积神经网络算法简介 李宗贤 北京信息科技大学智能科学与技术系 卷积神经网络是近年来广泛应用在模式识别、图像处理领域的一种高效识别算法，具有简单结构、训练参数少和适应性强的特点。它的权值共享网络结构使之更类似与生物神经网络，降低了网络的复杂度，减少了权值的数量。以二维图像直接作为网络的输入，避免了传统是被算法中复杂的特征提取和数据重建过程。卷积神经网络是为识别二维形状特殊设计的一个多层感知器，这种网络结构对于平移、比例缩放、倾斜和其他形式的变形有着高度的不变形。 ?卷积神经网络的结构 卷积神经网络是一种多层的感知器，每层由二维平面组成，而每个平面由多个独立的神经元组成，网络中包含一些简单元和复杂元，分别记为C元和S元。C元聚合在一起构成卷积层，S元聚合在一起构成下采样层。输入图像通过和滤波器和可加偏置进行卷积，在C层产生N个特征图（N值可人为设定），然后特征映射图经过求和、加权值和偏置，再通过一个激活函数（通常选用Sigmoid函数）得到S层的特征映射图。根据人为设定C层和S层的数量，以上工作依次循环进行。最终，对最尾部的下采样和输出层进行全连接，得到最后的输出。

卷积的过程：用一个可训练的滤波器fx去卷积一个输入的图像（在C1层是输入图像，之后的卷积层输入则是前一层的卷积特征图），通过一个激活函数(一般使用的是Sigmoid函数)，然后加一个偏置bx，得到卷积层Cx。具体运算如下式，式中Mj是输入特征图的值： X j l=f?(∑X i l?1?k ij l+b j l i∈Mj) 子采样的过程包括：每邻域的m个像素（m是人为设定）求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过激活函数Sigmoid产生特征映射图。从一个平面到下一个平面的映射可以看作是作卷积运算，S层可看作是模糊滤波器，起到了二次特征提取的作用。隐层与隐层之间的空间分辨率递减，而每层所含的平面数递增，这样可用于检测更多的特征信息。对于子采样层来说，有N 个输入特征图，就有N个输出特征图，只是每个特征图的的尺寸得到了相应的改变，具体运算如下式，式中down（）表示下采样函数。 X j l=f?(βj l down (X j l?1) +b j l)X j l) ?卷积神经网络的训练过程 卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入和输出之间的映射关系，而不需要任何输入和输出之间的精确数学表达式。用已知的模式对卷积网络加以训练，网络就具有了输

卷积神经网络全面解析之算法实现

卷积神经网络全面解析之算法实现 前言 从理解卷积神经到实现它，前后花了一个月时间，现在也还有一些地方没有理解透彻，CNN还是有一定难度的，不是看哪个的博客和一两篇论文就明白了，主要还是靠自己去专研，阅读推荐列表在末尾的参考文献。目前实现的CNN在MINIT数据集上效果还不错，但是还有一些bug，因为最近比较忙，先把之前做的总结一下，以后再继续优化。 卷积神经网络CNN是Deep Learning的一个重要算法，在很多应用上表现出卓越的效果，[1]中对比多重算法在文档字符识别的效果，结论是CNN优于其他所有的算法。CNN 在手写体识别取得最好的效果，[2]将CNN应用在基于人脸的性别识别，效果也非常不错。前段时间我用BP神经网络对手机拍照图片的数字进行识别，效果还算不错，接近98%，但在汉字识别上表现不佳，于是想试试卷积神经网络。 1、CNN的整体网络结构 卷积神经网络是在BP神经网络的改进，与BP类似，都采用了前向传播计算输出值，反向传播调整权重和偏置；CNN与标准的BP最大的不同是：CNN中相邻层之间的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层的部分神经单元，而不是像BP那样与所有的神经单元相连接。CNN的有三个重要的思想架构： ?局部区域感知 ?权重共享 ?空间或时间上的采样 局部区域感知能够发现数据的一些局部特征，比如图片上的一个角，一段弧，这些基本特征是构成动物视觉的基础[3]；而BP中，所有的像素点是一堆混乱的点，相互之间的关系没有被挖掘。 CNN中每一层的由多个map组成，每个map由多个神经单元组成，同一个map的所有神经单元共用一个卷积核（即权重），卷积核往往代表一个特征，比如某个卷积和代表一段弧，那么把这个卷积核在整个图片上滚一下，卷积值较大的区域就很有可能是一段弧。注意卷积核其实就是权重，我们并不需要单独去计算一个卷积，而是一个固定大小的权重矩阵去图像上匹配时，这个操作与卷积类似，因此我们称为卷积神经网络，实际上，BP也可以看做一种特殊的卷积神经网络，只是这个卷积核就是某层的所有权重，即感知区域是整个图像。权重共享策略减少了需要训练的参数，使得训练出来的模型的泛华能力更强。 采样的目的主要是混淆特征的具体位置，因为某个特征找出来后，它的具体位置已经不重要了，我们只需要这个特征与其他的相对位置，比如一个“8”，当我们得到了上面一个"o"时，我们不需要知道它在图像的具体位置，只需要知道它下面又是一个“o”我们就可以知道是一个'8'了，因为图片中"8"在图片中偏左或者偏右都不影响我们认识它，这种混淆具体位置的策略能对变形和扭曲的图片进行识别。 CNN的这三个特点是其对输入数据在空间（主要针对图像数据）上和时间（主要针对时间序列数据，参考TDNN）上的扭曲有很强的鲁棒性。CNN一般采用卷积层与采样层交

卷积神经网络

卷积神经网络 摘要：卷积神经网络是近年来广泛应用于模式识别、图像处理等领域的一种高效识别算法，它具有结构简单、训练参数少和适应性强等特点。本文从卷积神经网络的发展历史开始，详细阐述了卷积神经网络的网络结构、神经元模型和训练算法。在此基础上以卷积神经网络在人脸检测和形状识别方面的应用为例，简单介绍了卷积神经网络在工程上的应用，并给出了设计思路和网络结构。 关键字：模型；结构；训练算法；人脸检测；形状识别 0 引言 卷积神经网络是人工神经网络的一种已成为当前语音分析和图像识别领域的研究热点，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。 1 卷积神经网络的发展历史 1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptive field)的概念，1984年日本学者Fukushima基于感受野概念提出的神经认知机(neocognitron)可以看作是卷积神经网络的第一个实现网络，也是感受野概念在人工神经网络领域的首次应用。神经认知机将一个视觉模式分解成许多子模式(特征)，然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。神经认知机能够利用位移恒定能力从激励模式中学习，并且可识别这些模式的变化形，在其后的应用研究中，Fukushima将神经认知机主要用于手写数字的识别。随后，国内外的研究人员提出多种卷积神经网络形式，在邮政编码识别和人脸识别方面得到了大规模的应用。 通常神经认知机包含两类神经元，即承担特征抽取的S-元和抗变形的C-元。S-元中涉及两个重要参数，即感受野与阈值参数，前者确定输入连接的数目，后者则控制对特征子模式的反应程度。许多学者一直致力于提高神经认知机的性能的研究：在传统的神经认知机中，每个S-元的感光区中由C-元带来的视觉模糊量呈正态分布。如果感光区的边缘所产生的模糊效果要比中央来得大，S-元将会接受这种非正态模糊所导致的更大的变形容忍性。我们希望得到的是，训练模式与变形刺激模式在感受野的边缘与其中心所产生的效果之间的差异变得越来越大。为了有效地形成这种非正态模糊，Fukushima提出了带双C-元层的改进型神经认知机。 Trotin 等人提出了动态构造神经认知机并自动降低闭值的方法[1]，初始态的神经认知机各层的神经元数目设为零，然后会对于给定的应用找到合适的网络规模。在构造网络过程中，利用一个反馈信号来预测降低阈值的效果，再基于这种预测来调节阈值。他们指出这种自动阈值调节后的识别率与手工设置阈值的识别率相若，然而，上述反馈信号的具体机制并未给出，并且在他们后来的研究中承认这种自动阈值调节是很困难的【8】。 Hildebrandt将神经认知机看作是一种线性相关分类器，也通过修改阈值以使神经认知机成为最优的分类器。Lovell应用Hildebrandt的训练方法却没有成功。对此，Hildebrandt解释的是，该方法只能应用于输出层，而不能应用于网络的每一层。事实上，Hildebrandt没有考虑信息在网络传播中会逐层丢失。 Van Ooyen和Niehuis为提高神经认知机的区别能力引入了一个新的参数。事实上，该参数作为一种抑制信号，抑制了神经元对重复激励特征的激励。多数神经网络在权值中记忆训练信息。根据Hebb学习规则，某种特征训练的次数越多，在以后的识别过程中就越容易

关于卷积神经网络损失函数的改进算法

第39卷 第1期 高 师 理 科 学 刊 Vol. 39 No.1 2019年 1月 Journal of Science of Teachers′College and University Jan. 2019 文章编号：1007-9831（2019）01-0023-05 关于卷积神经网络损失函数的改进算法 徐振忠 （广东工业大学 应用数学学院，广东 广州 510520） 摘要：经典的卷积神经网络模型损失函数在设计时只考虑输出与标签之间的比较，没有涉及到图片之间的差异．为了提高卷积神经网络模型提取特征的差异，提出了基于Triplet network模型约束的卷积神经网络模型，这种方法提高了卷积神经网络提取有效特征的能力，减少数据集数量对于模型的影响. 在MNIST数据集和cifar-10数据集上进行实验，提出的新模型在这２个数据集上比经典的卷积神经网络模型识别效果更好. 关键词：卷积神经网络；Triplet network模型；反馈调节 中图分类号：TP391文献标识码：A doi：10.3969/j.issn.1007-9831.2019.01.007 An improved algorithm for the loss function of convolution neural networks XU Zhen-zhong （School of Applied Mathematics，Guangdong University of Technology，Guangzhou 510520，China） Abstract：The loss function of classical convolution neural network model only considers the comparison between output and label，but does not involve the difference between pictures．In order to improve the difference of feature extraction from convolutional neural network model，proposes a convolution neural network model based on Triplet network model constraint．This method improves the ability of convolution neural network in extracting effective features and reduces the infection due to the dataset′ number．MINIST datasets and cifar-10 datasets will be tested for certifying the effectiveness of this methed，and the result shows that the new model is better than the classical convolutional neural network model in recognition of these two datasets． Key words：convolution neural network；Triplet network model；back propagation 1980年，Fukushima根据Huble和Wiesel[1]的研究提出了多层感知机[2]．多层感知机为卷积神经网络的出现奠定了重要的基础．Lecun[3]等在Fukushima的研究基础上采用BP算法建立了卷积神经网络（CNN）模型并运用到手写字符的识别上，并取得了一定的效果，该模型被称为LeNet-5．LeNet-5是最基本的CNN 模型，该模型包括输入层、卷积层、池化层、全连接层和输出层．后面的研究者大多在这个模型的基础上进行相应的改进．目前，对于经典CNN模型的改进大体从5个方面进行：（1）CNN结构的层数，如增加卷积层和池化层的数目，改变它们的顺序[4-5]；（2）卷积核的大小和连接方式，如选择大小不同的卷积核进行组合[6-7]；（3）池化的方式，如最大值池化和均值池化[8-9]；（4）激活函数的选择，如sigmoid函数、tanh 函数和ReLU函数[10-11]；（5）损失函数的选择，如采用不同的损失函数或在损失函数上加上相应的正则约 束[12-13]．本文在经典CNN模型损失函数的基础上加了Triplet Network[14]的正则约束，得到基于Triplet network 模型约束的深度学习算法CNN模型（简称为TCNN）．在经典CNN模型的损失函数中加入同类和异类的2 收稿日期：2018-10-05 作者简介：徐振忠（1992-），男，广东雷州人，在读硕士研究生，从事深度学习和图像识别及处理研究．E-mail：745007440@https://www.wendangku.net/doc/e04181621.html,