iData_基于多层卷积神经网络学习的单帧图像超分辨率重建方法_刘娜
第１０卷 第２期２０１５年１月中国科技论文
ＣＨＩＮＡ ＳＣＩＥＮＣＥＰＡＰＥＲＶｏｌ．１０Ｎｏ．２
Ｊａｎ．２０１５
基于多层卷积神经网络学习的单帧图像
超分辨率重建方法
刘 娜，李翠华
（厦门大学信息科学与技术学院计算机科学系，福建厦门３６１００５
）摘 要：构建了一个应用于超分辨率重建的ＰＭＪ模型（ｐｅｒｃｅｐｔｉｏｎ，ｍｅｍｏｒｙ，ｊｕｄｇ
ｍｅｎｔ－ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ，ＰＭＪ－ＳＲ），在感知阶段对图像进行初步的特征提取；在记忆阶段使用深度卷积神经网络学习得到超分辨率重建的过完备字典；在决策阶段，将过完备字典作为超分辨率重建的依据，对单帧图像进行超分辨率重建。实验结果表明，该模型对单帧图像具有良好的重建能力，能够较好地重建低分辨率图像。
关键词：超分辨率重建；卷积神经网络；深度学习；计算认知模型；感知；记忆；决策
中图分类号：ＴＰ３９１．４ 文献标志码：Ａ文章编号：２０９５－２７８３（２０１５）０２－０２０１－
０６Ｓｉｎｇｌｅ ｉｍａｇｅ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｖｉａ ｄｅｅｐ
ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋＬｉｕ Ｎａ，Ｌｉ
Ｃｕｉｈｕａ（Ｓｃｈｏｏｌ ｏｆ
Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｘｉａｍｅｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉａｍｅｎ，Ｆｕｊｉａ３６１００５，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ａ ｃｏｍｐｕｔａｔｉｏｎａｌ ｃｏｇｎｉｔｉｏｎ ｍｏｄｅｌ，ｂａｓｅｄ ｏｎ ｐｅｒｃｅｐｔｉｏｎ，ｍｅｍｏｒｙ
，ａｎｄ ｊｕｄｇｍｅｎｔ（ＰＭＪ），ｉｓ ｐｒｏｐｏｓｅｄ ｆｏｒ ｉｍａｇｅ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ｎａｍｅｄ ａｓ ＰＭＪ－ＳＲ．Ｉｎ ｔｈｅ ｐｅｒｃｅｐｔｉｏｎ ｓｔａｇｅ，ｆｅａｔｕｒｅｓ ａｒｅ ｅｘｔｒａｃｔｅｄ ｆｒｏｍ ｈｉｇｈ－ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅｓ．Ｉｎ ｔｈｅｍｅｍｏｒｙ ｓｔａｇｅ，ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｉｓ ａｐｐｌｉｅｄ ｔｏ ｌｅａｒｎ ｏｖｅｒ－ｃｏｍｐｌｅｔｅ ｄｉｃｔｉｏｎａｒｙ．Ｉｎ ｔｈｅ ｊｕｄｇｍｅｎｔ ｓｔａｇｅ，ｓｉｎｇｌｅ ｉｍａｇｅｉｓ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｆｒｏｍ ｌｏｗ－ｒｅｓｏｌｕｔｉｏｎ ｔｏ ｈｉｇｈ－ｒｅｓｏｌｕｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｏｖｅｒ－ｃｏｍｐ
ｌｅｔｅ ｄｉｃｔｉｏｎａｒｙ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔＰＭＪ－ＳＲ ｍｏｄｅｌ ｐｒｅｓｅｎｔｓ ｇｏｏｄ ａｂｉｌｉｔｙ
ｆｏｒ ｌｏｗ－ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ．Ｋｅｙ ｗｏｒｄｓ：ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ；ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ｄｅｅｐ ｌｅａｒｎｉｎｇ；ｃｏｍｐｕｔａｔｉｏｎａｌ ｃｏｇｎｉｔｉｏｎ ｍｏｄｅｌ；ｐｅｒｃｅｐ－ｔｉｏｎ；ｍｅｍｏｒｙ；ｊｕｄｇ
ｍｅｎｔ收稿日期：２０１４－０９－
１９基金项目：国家自然科学基金资助项目（６１３７３０７７）；高等学校博士学科点专项科研基金资助项目（２０１１０１２１１１００２０）
；福建省教育厅Ａ类项目（ＪＡ１
４３００）；国防基础科研计划项目作者简介：刘娜（１９８
９—），女，硕士研究生，主要研究方向为计算机视觉与图像处理通信联系人：李翠华，男，教授，主要研究方向为计算机视觉与图像处理，ｃｈｌｉ＠ｘ
ｍｕ．ｅｄｕ．ｃｎ 机器学习虽然发展了几十年，
但还是存在很多未很好解决的问题，例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等。以视觉感知为例，目前通过机器学习解决这些问题的思路如图１所示。图中包括特征表达部分和机器学习部分。
图１ 机器学习基本过程
２０世纪８０年代末，反向传播算法（ｂａｃｋ ｐｒｏｐ
ａ－ｇ
ａｔｉｏｎ，ＢＰ）问世，激发了机器学习的热潮。结合ＢＰ算法的人工神经网络模型可以学习到训练样本中的统计规律，从而对未知的事件作出预测。尽管此时的人工神经网络被称作多层感知机（ｍｕｌｔｉ－ｌａｙｅｒ ｐ
ｅｒ－ｃｅｐ
ｔｉｏｎ，ＭＬＰ），但实际上是等价于含有一层隐含层的浅层网络。
文献［１
］在大数据处理需求的背景下提出了深度学习理论。深度学习可通过海量的训练数据学习
得到更多、更有用的特征，用以提升分类或预测的准确性，本质上是构建具有多个隐层的机器学习模型。
深度学习与传统的浅层学习的区别［２］
在于：１）
强调了网络的深度，通常含有５层、６层，甚至１０多层的隐层节点；２）突出了特征学习的重要性，更加容易实现分类或预测，通过逐层特征变换，可将样本在原空
间的特征表示变换到一个新的特征空间［
２］
。典型的深度学习模型有卷积神经网络（ｃｏｎｖｏｌｕｔｉｏｎａｌ
ｎｅｕｒａｌｎｅｔｗｏｒｋ，ＣＮＮ）模型、深度信任网络（ｄｅｅｐ
ｂｅｌｉｅｆ ｎｅｔ－ｗｏｒｋ，ＤＢＮ）模型和堆栈自编码网络（ｓｔａｃｋｅｄ
ａｕｔｏ－ｅｎｃｏｄｅｒ
ｎｅｔｗｏｒｋ，ＳＡＥ）模型。单帧图像的超分辨率（ｓｕｐ
ｅｒ－ｒｅｓｏｌｕｔｉｏｎ，ＳＲ）重建是指已知单幅低分辨率的图像，重构出具有高像
素密度并且包含更多细节的高分辨率图像［
３］
。单帧图像的超分辨率重建问题主要可以分为两类［４－
５］：１）
无训练样本的增强边缘的单帧超分辨率问题；２）有训练样本的基于学习的单帧超分辨率问题。
基于学习的单帧超分辨率重建问题通过机器学习方法从训练样本集中提取所需的高频信息，从而
中国科技论文第１０卷
对测试样本的所需信息进行预测，达到提高图像分
辨率的目的［６］
。文献［７］
最早提出采用分块策略的图像增强方法，通过在训练样本集中进行最近邻搜索以提高压缩图像的质量。
模型的建立和训练集合的选取是基于学习的超分辨率重建算法的核心问题。近年来，稀疏表示
（ｓｐ
ａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）的相关理论在信号处理领域已成为研究热点，基于稀疏表示的超分辨率重建算
法也得到了长足的发展［６］
。文献［８］
提出了假设输入的低分辨率图像块可以被训练样本集稀疏线性表达。文献［９］
基于学习的超分辨率重建研究引入了稀疏在线收缩函数，通过自适应地学习在线收缩函数的形式与系数，提高目标图像的分辨率。文献［１０］将基于学习的超分辨率重建问题看作一个回归问题，用稀疏回归技术进行快速的回归计算。在模型研究的同时，训练样本集的选择与处理也受到关注，
文献［１１－
１２］提出从训练样本集中学习得到一个更有效的过完备字典，具有分辨率无关性的图像表达（ｒｅｓ－
ｏｌｕｔｉｏｎ－ｉｎｖａｒｉａｎｔ ｉｍａｇｅ ｒｅｐ
ｒｅｓｅｎｔａｔｉｏｎ，ＲＩＩＲ）［１３
］，被应用于快速的多级超分辨率图像重建任务。
人类的认知机制和可计算性为可视媒体（例如
图像、视频）的智能计算提供了重要的理论基础［
１４］
。文献［１５
］在神经生理学、认知心理学和计算模型３个方面研究的基础上，提出了一种计算认知模型
ＰＭＪ（ｐｅｒｃｅｐｔｉｏｎ ｍｅｍｏｒｙ
ｊｕｄｇｍｅｎｔ）模型，主要由感知、记忆和决策３个阶段组成。
在深度学习理论、ＰＭＪ模型和基于学习的超分辨率图像重建背景下，本文构建一个应用于超分辨
率重建的ＰＭＪ模型（ＰＭＪ－
ＳＲ）。在感知阶段对图像进行预处理和预训练，得到一个初始化权值；在记忆阶段使用初始化权值与训练样本进行卷积和池化，经过一个５层的卷积神经网络学习得到超分辨率重建的过完备字典；在决策阶段，将过完备字典作为超分辨率重建的依据，对单帧图像进行超分辨率重建。
２ ＰＭＪ－
ＳＲ模型ＰＭＪ模型是根据人类识别的基本原则和认知的
可计算性提出来的［
１５］
。该模型的基本结构如图２所示
。
图２ ＰＭＪ模型的基本结构［１
５］
ＰＭＪ模型主要包括感知、
记忆和决策３个阶段，分别对应计算过程中的分析、建模和处理３个阶段。在每个阶段，认知系统需要完成某一信息处理任务，并将处理过的信息传递给其他阶段，或接收其他阶段传递的信息。所有阶段可以交叉进行信息传递并且相互影响。图２中，在感知阶段，认知系统通常需
要提取显著的视觉特征，如图中的“分析→①”。在记忆阶段，记忆系统通过编码和存储机制［
１６］
以及更新巩固策略［１７
］对信息进行动态存储，如图中的“建模
→②”
。在决策阶段，系统通过分类学习［１８－
１９］或者抽象编码［２０－
２１］做出相应的判断和决策。如图中的“处
理→③”
。本文在ＰＭＪ模型的基础上，与超分辨率（ｓｕｐ
ｅｒ－Ｒｅｓｏｌｕｔｉｏｎ
）图像重建研究相结合，提出一个新的应用模型，简称ＰＭＪ－ＳＲ模型。ＰＭＪ－ＳＲ模型的结构如图３所示。在感知阶段，对输入信息进行预处理和特征提取；在记忆阶段，使用预训练的权值与训练样本，经过多层卷积神经网络的学习，得到一对超分辨率字典；在决策阶段，将该字典应用于超分辨率重建。本文将针对每一个阶段详细阐述实现的具体功能和经过的路径
。
图３ ＰＭＪ－
ＳＲ模型２．１ 感知阶段—
——特征提取特征提取是计算机视觉中的一个预处理手段，指的是使用计算机提取图像的点是否属于一个图像特征。在ＰＭＪ－
ＳＲ模型的感知阶段，如图３的路径①所示，
系统首先对输入的训练样本进行白化预处理；然后使用线性解码器预训练得到权值。可见，路
２
０２
第２期刘 娜，等：基于多层卷积神经网络学习的单帧图像超分辨率重建方法
径①实现了对样本数据初步的特征提取和预训练
过程。
２．２ 稀疏自编码网络
自编码神经网络是一种无监督学习算法，它使
用了反向传播算法（ＢＰ算法）
。一个３层的自编码神经网络如图４所示。图中包含输入层、隐含层和输出层，网络的层与层之间使用全联接方式。自编码神经网络的目的是学习恒等函数ｈＷ，ｂ（ｘ）≈ｘ。此时，如果隐含层的单元个数少于输入数据的单元数，相当于获取了输入数据的稀疏表述；如果隐含层的单元数大于或等于输入层，也可以通过引入稀疏
性限制［
２２］
来获取输入信号的稀疏表述
。图４ ３层自编码器神经网络
稀疏自编码网络的惩罚函数为Ｊ（Ｗ，ｂ）＝１ｍ∑ｍ
ｉ＝１
Ｗ，ｂ（ｘ（ｉ））－ｙ（ｉ
））［
］
２
＋
λ２∑ｎｌ－１ｌ＝１∑ｓｌｉ＝１∑ｓｌ＋１ｊ＝１（Ｗ（ｌ）ｊｉ）２＋β∑ｓ２
ｉ＝１
ＫＬ（ρ∥＾ρｊ）。（１）式中：１ｍ∑ｍ
ｉ＝１１２
ｈＷ，ｂ（
ｘ（ｉ））－ｙ（ｉ
）（
）［
］２
为误差项，
用Ｌ２模构造；λ２∑ｎｌ－１ｌ＝１∑ｓｌｉ＝１∑ｓｌ
＋１ｊ＝１
（Ｗ（ｌ）ｊ
ｉ）２是正则项，用于防止过拟合；β
∑ｓ２
ｉ＝１
ＫＬ（
ρ∥＾
ρｊ
）为惩罚因子，β控制稀疏性惩罚因子的权重。ＫＬ（ρ∥＾ρｊ）可进一步展开为ＫＬ（ρ∥＾ρ
ｊ）＝∑ｓ２
ｊ＝１
ρｌｎρ＾ρ
ｊ
＋（１－ρ）ｌｎ１－
ρ１－＾ρｊ
。（２）式中：ρ为稀疏性参数，
是一个接近于０的值；ｓ２为隐含层中隐含神经元的个数；下标ｊ为隐含层中的每个
神经元；＾ρ
ｊ为隐含神经元ｊ的平均活跃度，且＾ρｊ＝１ｍ∑
ｍ
ｉ＝１［ａ（２）ｊ（ｘ（ｉ））］，（３
）式中，ａ（２）
ｊ（
ｘ（ｉ））表示输入为ｘ的自编码神经网络隐含神经元ｊ的激活度。
２．３ 线性解码网络
稀疏自编码网络包含输入层、隐含层和输出层，共３层，神经元都采用相同的激励函数。在３层稀疏
自编码神经网络中，输出层神经元的计算公式分
别为：
ｚ（３）＝Ｗ（２）ａ（２）＋ｂ（２）
；（４
）ａ（３）＝ｆ（ｚ（３）
）。（５
） 网络的输出是ａ（３）
，
等于激励函数ｆ的输出，在稀疏自编码网络中激励函数通常为Ｓｉｇ
ｍｏｉｄ函数，输出值范围为［０，１］，因此ａ（３）
的范围也是［０，１
］。线性解码网络是在输出层采用恒等函数为激励函数，而在隐含层仍然采用Ｓｉｇｍｏｉｄ函数为激励函数的自编码网络。此时输出层满足：
ａ（３）＝ｆ（ｚ（３））＝ｚ（３）＝Ｗ（２）ａ（２）＋ｂ（２）
。（６）２．４ 记忆阶段—多层卷积神经网络
在ＰＭＪ－
ＳＲ模型的记忆阶段，如图３的路径④＋②＋⑤所示，
感知阶段经过路径④将预训练得到的权值传递给记忆阶段；在路径②，
本文使用５层卷积神经网络对训练样本进行特征学习，实现特征的选择，最终得到了一个字典集合，并且由路径⑤传递给决策阶段。
２．５ 全联通网络和部分联通网络
稀疏自编码网络中的输入层和隐含层是全联接的。从图像的计算角度而言，对分辨率较小的图像进行特征计算是可行的。但对于分辨率较大的图像，利用全联通网络学习整幅图像的特征，将非常浪费时间。解决该问题的一个简单的方法来是限制隐含单元和输入单元之间的连接，并且每个隐含单元只能连接输入单元的一部分。例如，每个隐含单元只连接到输入图像的一个小块相邻区域。网络的部分联通，是受生物视觉系统结构的启发，视觉皮层的神经元只响应某些特定区域的刺激，也就是局部接受信息的。２．６ 卷积和池化
自然图像具有其固有的特性，图像的部分统计特性是相同的。也就是说，在该部分学习的特征也可以在其他部分中使用，所以在该图像的所有位置中，可以使用相同的学习特征。
例如，给定一个ｒ×ｃ的大尺寸图像，定义为ｘｌａｒｇ
ｅ。首先从大尺寸图像中选择ａ×ｂ小图像样本ｘｓｍａｌｌ训练稀疏自编码，
由式（７）计算得到ｋ个特征，Ｗ（１）和ｂ（１）
是可视层单元和隐含单元之间的权重和
偏差值。对于每一个ａ×ｂ大小的小图像ｘｚ，
由式（７）计算对应的值ｆ＝σ（Ｗ（１）ｘｚ＋
ｂ（１）
），对每个小图像的特征值ｆｃｏｎ
ｖｏｌｖｅｄ做卷积，就可得到ｋ×（ｒ－ａ＋１）×（ｃ－ｂ＋１
）个卷积后的特征矩阵，此时的卷积在移动中是有重叠的，即
ｆ＝σ（Ｗ（１）ｘｓｍａ
ｌｌ＋ｂ（１）
）。（７） 使用卷积提取特征的好处在于可以大量减少网络的训练参数，但是网络输出向量的维数将会大幅增加。使用池化的方法可以解决该问题。图像具有一种“静态性”的属性，表示在一个图像区域有用的
３
０２
中国科技论文第１０卷
特征很有可能同样适用于另一区域。因此，为了描述大尺寸图像，可以计算图像在一个区域上的某个特定特征的平均值或者最大值，对不同位置的特征进行聚类统计。这种聚类的操作就叫做池化，有时也称为平均池化或者最大池化（取决于计算池化的方法）。
在得到卷积特征后，还需要确定池化区域的大
小来获取池化后的卷积特征。假设池化区域的大小为ｍ×ｎ，就可以把卷积特征划分到数个大小为ｍ×ｎ的不相交区域上，然后用这些区域的平均（或最大）特征来获取池化后的卷积特征。
２．７ 多层卷积神经网络模型
本文使用了５层卷积神经网络模型，包括卷积层、池化层、卷积层、池化层、全联接层，如图５所示
。
图５ 本文的５层卷积神经网络模型
以１张输入图像为例，对每一层的功能进行详
细描述。输入图像大小。
１）Ｃ１层为卷积层。使用感知阶段预训练得到的
３６个８×８大小的卷积核对输入图像进行卷积，得到
３６张８９×８９大小的特征映射图。
２）Ｓ２层为池化层。使用３×３大小的窗口对Ｃ１
的３６张图像池化得到３６张２９×２９的特征映射图。
３）Ｃ３层为卷积层。首先对Ｓ２的３６张图像采样
得到若干６×６大小的图像块集合，然后使用稀疏自
编码网络对这个集合训练得到６４个６×６的权值，使
用该权值作为卷积核，与Ｓ２的３６张图像卷积得到
６４张２４×２４大小的特征映射图。本文采取的措施
是将３６张图像每３张做一次卷积，循环２次，第一次
选相邻的３张，第二次选相隔２个单位的３张，最终
得到特征映射图（３６－３＋１）＋（３６－３×２）＝６４张。
４）Ｓ４层为池化层。使用３×３大小的窗口池化
得到６４张８×８的特征映射图。
５）Ｆ５层为全联接层。本文使用的训练数据集合
共有１ ３００张图像，经过Ｓ４以后，整个网络的特征映
射图为１ ３００×６４×８×８，表示对于每一张９６×９６
大小的输入图像来说，可得到６４张８×８大小的映射
图。将１ ３００×６４×８×８的数据降维得到（１ ３００×
６４）×（８×８）＝８３ ２００×６４，然后通过输出为６４的
稀疏自编码网络训练出最终的字典。
２．８ 决策阶段—单帧图像的超分辨率重建
基于学习的超分辨率技术是给定低分辨率图
像，从大量的训练样本集中获取先验知识作为超分
辨率重建的依据。训练样本与给定的低分辨率图像
包含同类信息，在低分辨率图像的基础上，用学习获
得的先验知识对图像中的信息进行添加。基于学习
的超分辨率技术可充分利用图像本身的先验知识，
在不断增加输入样本数量的情况下，仍能够产生高
频细节，以获得比基于重建的算法更好的复原
效果［３］。
对于单帧图像的超分辨率重建，本文采用基于
稀疏表示的超分辨率图像重建模型［８，１１］，此时目标
函数为
ｍｉｎ
α
珦Ｄα－珘ｙ ２
２＋λα１
。（８）
式中：珘ｙ＝
Ｆｙ
β
［］
ω
，珦Ｄ＝
ＦＤｌ
ＰＤ
［］ｈ；Ｄｌ和Ｄｈ分别是低
分辨率图像块过完备字典和相应的高分辨率图像块
过完备字典，均由之前所述的字典训练方法得到。
当高低分辨率字典都训练完成后，对于每个低分辨
率的图像块，由式（９）求解其在低分辨率字典Ｄｌ上的
稀疏表示系数α，有
ｍｉｎα１ｓ．ｔ．ｘｉ＝Ｄｌαｉ。（９）
最后，高分辨率的图像块可重构为
ｙｉ＝Ｄｈαｉ。（１０）
ＰＭＪ－ＳＲ模型在决策阶段接收记忆阶段由路径
⑤传递的字典信息，将该字典信息作为依据，由路径
③做出决策判断，为超分辨率重建做准备。此时决
策阶段的输入为单帧低分辨率图像，系统接收路径
⑤传递的字典，使用前面的方法对低分辨率图像进
行超分辨率重建，并将重建后的高分辨率图像作为
决策阶段的结果输出。到此为止，ＰＭＪ－ＳＲ模型通过
一系列认知策略，实现了字典的学习功能以及应用
该字典对单帧图像进行超分辨率重建的功能。
３ 实验结果分析
本文使用了斯坦福大学机器学习实验室创建的
ＳＴＬ１０数据库。该数据库包含１０类自然图像数据
集合，分别是飞机、鸟、轿车、猫、鹿、狗、马、猴、船、卡
车，图像大小均为９６×９６。这里选择其中一类图像
（如飞机）的实验结果进行说明分析。将飞机类别的
１ ３００张图像作为多层卷积神经网络的输入样本，对
ＳＴＬ１０数据库分类进行特征提取，得到对应的过完４
０
２
第２期刘 娜，等：基于多层卷积神经网络学习的单帧图像超分辨率重建方法
备字典。然后选择４～８张图像作为测试图像，分别
进行超分辨率重建实验。本文既与传统算法进行了比较，也和国际上现有的优秀算法进行了比较。
图６中，图６（ａ
）为测试图像，大小为９６×９６，图６（ｂ）、（ｃ）、（ｄ
）分别为用不同方法放大９倍后的效果图。这组实验选择与双三次插值和ＰｈｏｔｏＺｏｏｍ
Ｐｒｏ５软件的结果进行比较。其中：
双三次插值是超分辨率领域中最为典型的传统算法，其效果优于其他传统的插值方法（如最近邻插值算法、双线性插值算
法）；ＰｈｏｔｏＺｏｏｍ Ｐｒｏ ５是国际上优秀的图像处理软件，能够对图像进行超分辨率重建，其超分辨率算法也是很优秀的。由图６可以看出，本文方法可以很好地对图像进行超分辨率重建，并且能够较好地保持图像细节，效果优于传统插值方法
。
图６ 不同方法超分辨率重建９倍的效果
不同放大倍数的图像的结构相似度度量（ＳＳＩ
Ｍ）和均方根误差（ＲＭＳＥ）对比结果分别如表１和表２所示。
表１ 不同超分辨率重建方法的ＳＳＩＭ对比
类别放大４倍
放大９倍放大１６倍双三次插值
本文方法
双三次插值
本文方法
双三次插值
本文方法
飞机
０．９２３ ０．９４０ ０．８５０ ０．８６５ ０．７９１ ０．
８１１表２ 不同超分辨率重建方法的ＲＭＳＥ对比
类别放大４倍
放大９倍放大１６倍双三次插值
本文方法
双三次插值
本文方法
双三次插值
本文方法
飞机
７．２８９ ６．２８６ ９．９５２ ９．４１０ １１．５４ １
０．９０ Ｓ
ＳＩＭ值体现了重建后图像与实际高分辨率图像的相似度，值越接近１表示相似度越高；ＲＭＳ
Ｅ值衡量重建后图像与实际高分辨率图像之间的偏差，值越小表示误差越小。本文将９６×９６大小的源图像作为实际高分辨率图像，将缩小相应倍数后的图像作为低分辨率测试图像。表１分别是放大４倍、９倍和１６倍的对比结果。从表１和表２的结果可以看出，本文方法相对于传统插值方法效果较好且误差较小，尤其在放大倍数为４倍和９倍时，重建效果显著。经过实验验证，１０类测试图像的ＳＳＩＭ平均值可以达到０．８和０．９以上；ＲＭＳＥ平均值维持在１０．
００左右。误差ＲＭＳＥ值的一部分可能来源于将９６×９
６大小的源图像缩小过程中产生，所以导致ＲＭＳ
Ｅ值整体偏大。另一组将源图放大９倍的对比实验如图７所示。
其中，图７（ａ
）为源图、图７（ｃ）为Ｇｌａｓｎｅｒ等在ＩＣＣＶ’２００９发表的文献中的实验结果。从这一组主观评价可以明显看出，本文方法优于双三次插值法，图像细节更为清晰
。
图７ 不同超分辨率重建方法的效果图（放大９倍）
对比实验的客观评价结果如表３所示。本文使
用ＳＳＩ
Ｍ和ＲＭＳＥ衡量相似度与偏差时，采用的高分辨率原图是由国际优秀软件ＰｈｏｔｏＺｏｏｍ Ｐｒｏ
５对源图７（ａ
）进行超分辨率重建效果图。由结果可以看出，斑马的ＳＳＩ
Ｍ值与Ｇｌａｓｎｅｒ方法（ＩＣＣＶ’２００９）的ＳＳＩＭ值接近，ＲＭＳＥ值略大于Ｇｌａ
ｓｎｅｒ方法（ＩＣＣＶ’２００９）。经过多次实验验证，本文方法的ＳＳＩ
Ｍ平均值为０．９
７５，Ｇｌａｓｎｅｒ（ＩＣＣＶ’２００９）的ＳＳＩＭ平均值为０．９
７６，说明本文方法与国际优秀方法效果相似，但误差平均值为５．９０７，稍大于Ｄａｎ
ｉｅｌ方法（ＩＣＣＶ’２００９
）方法，可见本文方法在纹理细节和缩小误差方面还存在改进空间。
表３ 图７的ＳＳＩ
Ｍ、ＲＭＳＥ对比源图ＳＳＩ
Ｍ ＲＭＳＥ
本文方法Ｄａｎ
ｉｅｌ方法（ＩＣＣＶ’２００９
）本文方法Ｄａｎ
ｉｅｌ方法（ＩＣＣＶ’２００９
）斑马
０．９７６
０．９７８
８．３５７
６．５２６
４ 结 论
本文在ＰＭＪ模型的基础上，
提出一种基于分层学习的超分辨率重建方法（简称ＰＭＪ－
ＳＲ方法）。在感知阶段，从输入样本中提取图像特征生成一个含有大量数据的图像块；在记忆阶段，将感知阶段生成的图像块作为探测器，与训练样本进行卷积特征提取，采用了５层卷积神经网络进行学习，得到一对超
完备字典（高分辨率字典和低分辨率字典）；在决策
阶段，使用该组字典获得测试图像的稀疏表示，并生成与之对应的高分辨率图像。实验结果表明，与双三次插值算法以及ＰｈｏｔｏＺｏｏｍ Ｐｒｏ ５、Ｄａｎｉｅｌ方法（ＩＣＣＶ’２００９）相比，ＰＭＪ－ＳＲ方法具有良好的重建能力，能够较好地放大低分辨率图像。
５
０２
中国科技论文第１０卷
［参考文献］（Ｒｅｆｅｒｅｎｃｅｓ）
［１］ Ｈｉｎｔｏｎ Ｇ Ｅ，Ｓａｌａｋｈｕｔｄｉｎｏｖ Ｒ Ｒ．Ｒｅｄｕｃｉｎｇ ｔｈｅ ｄｉｍｅｎ－ｓｉｏｎａｌｉｔｙ ｏｆ ｄａｔａ ｗｉｔｈ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｊ］．Ｓｃｉｅｎｃｅ，２００６，３１３（５７８６）：５０４－５０７．
［２］ 李海峰，李纯果．深度学习结构和算法比较分析［Ｊ］．河北大学学报：自然科学版，２０１２，３２（５）：５３８－５４４．
Ｌｉ Ｈａｉｆｅｎｇ，Ｌｉ Ｃｈｕｎｇｕｏ．Ｎｏｔｅ ｏｎ ｄｅｅｐ ａｒｃｈｉｔｅｃｔｕｒｅ ａｎｄｄｅｅｐ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｈｅｂｅｉ Ｕｎｉｖｅｒ－
ｓｉｔｙ：Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ，２０１２，３２（５）：５３８－５４４．（ｉｎ Ｃｈｉｎｅｓｅ）
［３］ 浦剑，张军平．基于词典学习和稀疏表示的超分辨率方法［Ｊ］．模式识别与人工智能，２０１０，２３（３）：３３５－３４０．
Ｐｕ Ｊｉａｎ，Ｚｈａｎｇ Ｊｕｎｐｉｎｇ．Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｔｈｒｏｕｇｈ ｄｉｃ－
ｔｉｏｎａｒｙ ｌｅａｒｎｉｎｇ ａｎｄ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ［Ｊ］．ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０１０，２３（３）：３３５－３４０．（ｉｎ Ｃｈｉｎｅｓｅ）
［４］ Ｓｕｎ Ｊｉａｎ，Ｚｈｕ Ｊｉｅｊｉｅ，Ｔａｐｐｅｎ Ｍ Ｆ．Ｃｏｎｔｅｘｔ－ｃｏｎｓｔｒａｉｎｅｄｈａｌｌｕｃｉｎａｔｉｏｎ ｆｏｒ ｉｍａｇｅ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ［Ｃ］／／２０１０ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃ－
ｏｇｎｉｔｉｏｎ．Ｘｉ′ａｎ，Ｃｈｉｎａ，２０１０：２３１－２３８．
［５］ Ｔａｉ Ｙｕ－Ｗｉｎｇ，Ｌｉｕ Ｓｈｕａｉｃｈｅｎｇ，Ｂｒｏｗｎ Ｍ Ｓ，ｅｔ ａｌ．Ｓｕ－ｐｅｒ ｒｅｓｏｌｕｔｉｏｎ ｕｓｉｎｇ ｅｄｇｅ ｐｒｉｏｒ ａｎｄ ｓｉｎｇｌｅ ｉｍａｇｅ ｄｅｔａｉｌｓｙｎｔｈｅｓｉｓ［Ｃ］／／２０１０ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉ－
ｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｄａｅｊｅｏｎ，Ｋｏｒｅａ，２０１０：２４００－２４０７．
［６］ 苏衡，周杰，张志浩．超分辨率图像重建方法综［Ｊ］．自动化学报，２０１３，３９（８）：１２０２－１２１３．
Ｓｕ Ｈｅｎｇ，Ｚｈｏｕ Ｊｉｅ，Ｚｈａｎｇ Ｚｈｉｈａｏ．Ｓｕｒｖｅｙ ｏｆ ｓｕｐｅｒ－
ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｅｔｈｏｄｓ［Ｊ］．Ａｃｔａ Ａｕ－
ｔｏｍａｔｉｃａ Ｓｉｎｉｃａ，２０１３，３９（８）：１２０２－１２１３．（ｉｎ Ｃｈｉｎｅｓｅ）［７］ Ｐｅｎｔｌａｎｄ Ａ，Ｈｏｒｏｗｉｔｚ Ｂ．Ａ ｐｒａｃｔｉｃａｌ ａｐｐｒｏａｃｈ ｔｏ ｆｒａｃ－ｔａｌ－ｂａｓｅｄ ｉｍａｇｅ ｃｏｍｐｒｅｓｓｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ１９９１Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ．Ｃａｍｂｒｉｄｇｅ，ＵＳＡ，１９９１：１７６－１８５．
［８］ Ｙａｎｇ Ｊｉａｎｃｈａｏ，Ｗｒｉｇｈｔ Ｊ，Ｍａ Ｙｉ，ｅｔ ａｌ．Ｉｍａｇｅ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ａｓ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｒａｗ ｉｍａｇｅ ｐａｔｃｈｅｓ
［Ｃ］／／２００８ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄＰａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ａｎｃｈｏｒａｇｅ，ＵＳＡ，２００８：１－８．［９］ Ａｄｌｅｒ Ａ，Ｈｅｌ－Ｏｒ Ｙ，Ｅｌａｄ Ｍ．Ａ Ｓｈｒｉｎｋａｇｅ ＬｅａｒｎｉｎｇＡｐｐｒｏａｃｈ ｆｏｒ Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ Ｏｖｅｒ－
ｃｏｍｐｌｅｔｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ［Ｍ］．Ｂｅｒｌｉｎ：ＢｅｒｌｉｎＨｅｉｄｅｌ－
ｂｅｒｇＳｐｒｉｎｇｅｒ，２０１０．
［１０］Ｋｉｍ Ｋ Ｉ，Ｋｗｏｎ Ｙ．Ｓｉｎｇｌｅ－ｉｍａｇｅ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｕｓｉｎｇｓｐａｒｓｅ ｒｅｇｒｅｓｓｉｏｎ ａｎｄ ｎａｔｕｒａｌ ｉｍａｇｅ ｐｒｉｏｒ［Ｊ］．ＩＥＥＥ
Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉ－
ｇｅｎｃｅ，２０１０，３２（６）：１１２７－１１３３．
［１１］Ｙａｎｇ Ｊｉａｎｃｈａｏ，Ｗｒｉｇｈｔ Ｊ，Ｈｕａｎｇ Ｔ Ｓ，ｅｔ ａｌ．Ｉｍａｇｅ ｓｕ－
ｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｖｉａ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ［Ｊ］．ＩＥＥＥ
Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１０，１９（１１）：２８６１－２８７３．
［１２］Ｗａｎｇ Ｊｉｎｊｕｎ，Ｚｈｕ Ｓｈｅｎｇｈｕｏ，Ｇｏｎｇ Ｙｉｈｏｎｇ．Ｒｅｓｏｌｕｔｉｏｎｅｎｈａｎｃｅｍｅｎｔ ｂａｓｅｄ ｏｎ ｌｅａｒｎｉｎｇ ｔｈｅ ｓｐａｒｓｅ ａｓｓｏｃｉａｔｉｏｎ ｏｆｉｍａｇｅ ｐａｔｃｈｅｓ［Ｊ］．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｔｔｅｒｓ，２０１０，３１（１）：１－１０．
［１３］Ｗａｎｇ Ｊｉｎｊｕｎ，Ｚｈｕ Ｓｈｅｎｇｈｕｏ，Ｇｏｎｇ Ｙｉｈｏｎｇ．Ｒｅｓｏｌｕ－ｔｉｏｎ－ｉｎｖａｒｉａｎｔ ｉｍａｇｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎｓ
［Ｃ］／／ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｍｉａｍｉ，ＵＳＡ，２００９：２５１２－２５１９．
［１４］Ｈｕ Ｓｈｉｍｉｎ，Ｃｈｅｎ Ｔａｏ，Ｘｕ Ｋｕｎ，ｅｔ ａｌ．Ｉｎｔｅｒｎｅｔ ｖｉｓｕａｌｍｅｄｉａ ｐｒｏｃｅｓｓｉｎｇ：ａ ｓｕｒｖｅｙ ｗｉｔｈ ｇｒａｐｈｉｃｓ ａｎｄ ｖｉｓｉｏｎ ａｐ－
ｐｌｉｃａｔｉｏｎｓ［Ｊ］．Ｔｈｅ Ｖｉｓｕａｌ Ｃｏｍｐｕｔｅｒ，２０１３，２９（５）：３９３－４０５．
［１５］Ｆｕ Ｘｉａｏｌａｎ，Ｃａｉ Ｌｉａｎｈｏｎｇ，Ｌｉｕ Ｙｅ，ｅｔ ａｌ．Ａ ｃｏｍｐｕｔａ－ｔｉｏｎａｌ ｃｏｇｎｉｔｉｏｎ ｍｏｄｅｌ ｏｆ ｐｅｒｃｅｐｔｉｏｎ，ｍｅｍｏｒｙ，ａｎｄｊｕｄｇｍｅｎｔ［Ｊ］．Ｓｃｉｅｎｃｅ Ｃｈｉｎａ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅｓ，２０１３，５７（３）：１－１５．
［１６］Ｃｈｅｎ Ｃｈｕｎｃｈａｏ，Ｗｕ Ｊｉｅｋａｉ，Ｌｉｎ Ｈｓｕａｎｗｅｎ，ｅｔ ａｌ．Ｖｉｓ－ｕａｌｉｚｉｎｇ ｌｏｎｇ－ｔｅｒｍ ｍｅｍｏｒｙ ｆｏｒｍａｔｉｏｎ ｉｎ ｔｗｏ ｎｅｕｒｏｎｓ ｏｆｔｈｅ Ｄｒｏｓｏｐｈｉｌａ ｂｒａｉｎ［Ｊ］．Ｓｃｉｅｎｃｅ，２０１２，３３５（６０６９）：６７８－６８５．
［１７］Ｅｄｅｌｓｏｎ Ｍ，Ｓｈａｒｏｔ Ｔ，Ｄｏｌａｎ Ｒ Ｊ，ｅｔ ａｌ．Ｆｏｌｌｏｗｉｎｇ ｔｈｅｃｒｏｗｄ：ｂｒａｉｎ ｓｕｂｓｔｒａｔｅｓ ｏｆ ｌｏｎｇ－ｔｅｒｍ ｍｅｍｏｒｙ ｃｏｎｆｏｒｍｉ－ｔｙ［Ｊ］．Ｓｃｉｅｎｃｅ，２０１１，３３３（６０３８）：１０８－１１１．
［１８］Ｇｏｎｚａｌｅｚ Ｃ，Ｄｕｔｔ Ｖ．Ｉｎｓｔａｎｃｅ－ｂａｓｅｄ ｌｅａｒｎｉｎｇ：Ｉｎｔｅｇｒａ－ｔｉｎｇ ｓａｍｐｌｉｎｇ ａｎｄ ｒｅｐｅａｔｅｄ ｄｅｃｉｓｉｏｎｓ ｆｒｏｍ ｅｘｐｅｒｉｅｎｃｅ
［Ｊ］．Ｐｓｙｃｈｏｌｏｇｉｃａｌ ｒｅｖｉｅｗ，２０１１，１１８（４）：５２３－５５１．［１９］Ｈｏｍａ Ｄ，Ｈｏｕｔ Ｍ Ｃ，Ｍｉｌｌｉｋｅｎ Ｌ，ｅｔ ａｌ．Ｂｏｇｕｓ ｃｏｎｃｅｒｎｓａｂｏｕｔ ｔｈｅ ｆａｌｓｅ ｐｒｏｔｏｔｙｐｅ ｅｎｈａｎｃｅｍｅｎｔ ｅｆｆｅｃｔ［Ｊ］．Ｊｏｕｒ－
ｎａｌ ｏｆ Ｅｘｐｅｒｉｍｅｎｔａｌ Ｐｓｙｃｈｏｌｏｇｙ：Ｌｅａｒｎｉｎｇ，Ｍｅｍｏｒｙ，ａｎｄ Ｃｏｇｎｉｔｉｏｎ，２０１１，３７（２）：３６８－３７７．
［２０］Ｌｅｗａｎｄｏｗｓｋｙ Ｓ，Ｐａｌｍｅｒｉ Ｔ Ｊ，Ｗａｌｄｍａｎｎ Ｍ Ｒ．Ｉｎｔｒｏ－ｄｕｃｔｉｏｎ ｔｏ ｔｈｅ Ｓｐｅｃｉａｌ Ｓｅｃｔｉｏｎ ｏｎ ｔｈｅｏｒｙ ａｎｄ ｄａｔａ ｉｎ ｃａｔｅ－
ｇｏｒｉｚａｔｉｏｎ：ｉｎｔｅｇｒａｔｉｎｇ ｃｏｍｐｕｔａｔｉｏｎａｌ，ｂｅｈａｖｉｏｒａｌ，ａｎｄｃｏｇｎｉｔｉｖｅ ｎｅｕｒｏｓｃｉｅｎｃｅ ａｐｐｒｏａｃｈｅｓ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ Ｅｘ－
ｐｅｒｉｍｅｎｔａｌ Ｐｓｙｃｈｏｌｏｇｙ：Ｌｅａｒｎｉｎｇ，Ｍｅｍｏｒｙ，ａｎｄ Ｃｏｇｎｉ－ｔｉｏｎ，２０１２，３８（４）：８０３－８０６．
［２１］Ｆｒｅｅｄｍａｎ Ｄ Ｊ，Ａｓｓａｄ Ｊ Ａ．Ａ ｐｒｏｐｏｓｅｄ ｃｏｍｍｏｎ ｎｅｕｒａｌｍｅｃｈａｎｉｓｍ ｆｏｒ ｃａｔｅｇｏｒｉｚａｔｉｏｎ ａｎｄ ｐｅｒｃｅｐｔｕａｌ ｄｅｃｉｓｉｏｎｓ
［Ｊ］．Ｎａｔｕｒｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ，２０１１，１４（２）：１４３－１４６．［２２］Ｎｇ Ａ．Ｓｐａｒｓｅ Ａｕｔｏｅｎｃｏｄｅｒ［Ｊ／ＯＬ］．［２０１４－０９－１７］．ｈｔ－ｔｐ：／／ｄｅｅｐｌｅａｒｎｉｎｇ．ｓｔａｎｆｏｒｄ．ｅｄｕ／ｗｉｋｉ／ｉｎｄｅｘ．ｐｈｐ／
ＵＦＬＤＬ＿Ｔｕｔｏｒｉａｌ．
［２３］Ｇｌａｓｎｅｒ Ｄ，Ｂａｇｏｎ Ｓ，Ｉｒａｎｉ Ｍ．Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ ｆｒｏｍ ａＳｉｎｇｌｅ Ｉｍａｇｅ［Ｃ］／／ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＣｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．Ｒｅｈｏｖｏｔ，Ｉｓｒａｅｌ，２００９：３４９－３５６．
６０２
基于深度卷积神经网络的图像分类
SHANGHAI JIAO TONG UNIVERSITY 论文题目：基于卷积神经网络的自然图像分类技术研究 姓名: 高小宁 专业：控制科学与工程
基于卷积神经网络的自然图像分类技术研究 摘要：卷积神经网络已在图像分类领域取得了很好的效果，但其网络结构及参数的选择对图像分类的效果和效率有较大的影响。为改善卷积网络的图像分类性能，本文对卷积神经网络模型进行了详细的理论分析，并通过大量的对比实验，得出了影响卷积网络性能的因素。结合理论分析及对比实验，本文设计了一个卷积层数为8层的深度卷积网络，并结合Batch Normalization、dropout等方法，在CIFAR-10数据集上取得了%的分类精度，有效地提高了卷积神经网络的分类效果。 关键词：卷积神经网络，图像分类，Batch Normalization，Dropout Research on Natural Image Classification Based on Convolution Neural Network Abstract: Convolution neural network has achieved very good results in image classification, but its network structure and the choice of parameters have a greater impact on image classification efficiency and efficiency. In order to improve the image classification performance of the convolution network, a convolutional neural network model is analyzed in detail, and a large number of contrastive experiments are conducted to get the factors that influence the performance of the convolution network. Combining the theory analysis and contrast experiment, a convolution layer depth convolution network with 8 layers is designed. Combined with Batch Normalization and dropout, % classification accuracy is achieved on CIFAR-10 dataset. Which improves the classification effect of convolution neural network. Key Words: Convolution neural network(CNN), image classification, Batch Normalization, Dropout
基于神经网络的图像分割
基于遗传神经网络的图像分割 摘要 针对图像分割的复杂性,利用遗传算法对BP神经网络的权值和阈值进行优化,设计出误差最小的神经网络,然后再对图像的像素进行分类识别,实现并提高了图像分割性能。仿真实验表明,与传统的图像分割方法相比,取得了比传统方法更好的图像分割效果。 关键词:图像分割;神经网络;遗传算法;遗传优化 A Study of Genetic Neural Network Used in Image Segmentation ABSTRACT Because of the complexity of image segmentation, the optimization of the weights and thresholds of BP neural network are realized by genetic algorithm, and a BP neural network with minimum error is designed. It classify the image pixels, implement and improve the performance of image segmentation. The results of simulation show that the algorithm neuralnetwork can better achieve the image segmentation, compared with the traditional method. Key word :Image segmentation;Neural Network;Genetic algorithm;Genetic optimization 一、遗传算法 1．1基本概念 遗传算法（Genetic Algorithm）是一类借鉴生物界的进化规律（适者生存，优胜劣汰遗传机制）演化而来的随机化搜索方法。它是由美国的J.Holland教授1975年首先提出，其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需要确定的规则。遗传算法的这些性质，已被人们广泛地应用于组合优化、机器学习、信号处理、自适应控制和人工生命等领域。它是现代有关智能计算中的关键技术。 对于一个求函数最大值的优化问题(求函数最小值也类同)，一般可以描述为下列数学规划模型:
【CN110020684A】一种基于残差卷积自编码网络的图像去噪方法【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910276255.3 (22)申请日 2019.04.08 (71)申请人 西南石油大学 地址 610500 四川省成都市新都区新都大 道8号 (72)发明人 罗仁泽 王瑞杰 张可 李阳阳 马磊 袁杉杉 吕沁 (51)Int.Cl. G06K 9/62(2006.01) G06N 3/04(2006.01) G06T 5/00(2006.01) (54)发明名称 一种基于残差卷积自编码网络的图像去噪 方法 (57)摘要 本发明公开了一种基于残差卷积自编码网 络的图像去噪方法，为了克服传统浅层线性结构 特征提取能力有限，现有基于深度学习的图像去 噪模型存在泛化能力弱等问题。以残差块、批归 一化层和自编码器组成的残差卷积自编码块为 基本去噪网络结构，提出了多功能去噪残差卷积 自编码神经网络。本发明公开的图像去噪方法， 在保持较高去噪质量和去噪精度的同时，不仅拥 有盲去噪能力，还能去除与训练集类型不相同的 噪声。权利要求书2页 说明书5页 附图2页CN 110020684 A 2019.07.16 C N 110020684 A
1.一种基于残差卷积自编码网络的图像去噪方法，其特征在于包括如下步骤： 步骤1、将预处理后的原图和对应含噪声的图像作为训练集和测试集，具体步骤如下： (1)将m*m像素的三通道原图预处理为单通道灰度图像，并对图像进行切割； (2)将预处理切割后的灰度图像加入相应噪声； (3)将原图的灰度图像及其对应的加噪图像作为一组数据，以原图像的灰度图像作为标签，制作训练集和测试集； 步骤2、构建残差卷积自编码块，主结构由n+2层卷积层组成，恒等映射部分由卷积自编码结构组成，残差卷积自编码块输出为： x n+2＝f(x)+x cae x cae 为输入x经过卷积自编码器提取的潜在特征，f(x)为输入x经过n+2层卷积层输出的结果，n为大于1的正整数，其中，主结构第1层卷积核大小为1*1，激活函数为Swish；第2到第n+1层结构相同，均添加批归一化层，卷积核大小为3*3，激活函数为Relu；第n+2层卷积核大小为1*1，激活函数为Swish； 其中Relu激活函数为： Swish激活函数为： 式中β为x的缩放参数，β>0； 步骤3、网络结构主要由步骤2提出的残差卷积自编码块组成，网络共(n+2)*a+8层，a为大于2的正整数，第一层是一个用来降维的卷积层，中间层由残差卷积自编码块和残差卷积块组成，最后一层为一个全连接层； 步骤4、将步骤1预处理后的训练集，通过列队输入到步骤3搭建的网络模型中，采用误差反向传播，并以均方误差损失函数来衡量真实值与预测值的距离，通过数据集的每次迭代，使用梯度下降来调整神经元之间的权重以降低代价函数，进而优化网络，并以定量的峰值信噪比和定性的视觉感受判断网络去噪效果，初次保存网络模型的各个参数； 均方误差损失函数为： 式中，y i 为通过列队读入的标签数据，z i 为输出去噪后的数据，均方误差越小代表去噪后的数据与标签数据越接近，网络准确率越高； 峰值信噪比公式为： 其中M MSE 是原图和处理图像之间的均方误差，PSNR数值越大表示失真越小； 步骤5、将步骤1预处理后的测试集，输入到步骤4优化训练好的网络模型中，并通过定 权 利 要 求 书1/2页2CN 110020684 A
图像超分辨率重建
收稿日期：２００８唱０８唱２１；修回日期：２００８唱１０唱２８ 作者简介：王培东（１９５３唱），男，黑龙江哈尔滨人，教授，硕导，ＣＣＦ会员，主要研究方向为计算机控制、计算机网络、嵌入式应用技术；吴显伟（１９８２唱），男（回族），河南南阳人，硕士，主要研究方向为计算机控制技术（ｗｕ＿ｘｉａｎｗｅｉ＠１２６．ｃｏｍ）． 一种自适应的嵌入式协议栈缓冲区管理机制 王培东，吴显伟 （哈尔滨理工大学计算机科学与技术学院，哈尔滨１５００８０） 摘 要：为避免创建缓冲区过程中必须指定大小和多次释放而导致可能的内存泄露和代码崩溃的弊端，提出一种自适应的嵌入式协议栈的缓冲区管理机制ＡｕｔｏＢｕｆ。它是基于抽象缓冲区接口而设计的，具有自适应性，支持动态内存的自动分配与回收，同时实现了嵌入式ＴＣＰ／ＩＰ协议栈各层之间的零拷贝通信。在基于研究平台Ｓ３Ｃ４４Ｂ０Ｘ的Ｗｅｂｓｅｒｖｅｒ网络数据监控系统上的测试结果表明，该缓冲区的设计满足嵌入式系统网络通信的应用需求，是一种高效、可靠的缓冲区管理机制。 关键词：嵌入式协议栈；抽象缓冲区；零拷贝；内存分配 中图分类号：ＴＰ３１６ 文献标志码：Ａ 文章编号：１００１唱３６９５（２００９）０６唱２２５４唱０３ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１唱３６９５．２００９．０６．０７７ Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆａｄａｐｔｉｖｅｂｕｆｆｅｒｆｏｒｅｍｂｅｄｄｅｄｐｒｏｔｏｃｏｌｓｔａｃｋ ＷＡＮＧＰｅｉ唱ｄｏｎｇ，ＷＵＸｉａｎ唱ｗｅｉ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＨａｒｂｉｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ１５００８０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏａｖｏｉｄｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｏｆｃｒｅａｔｉｎｇｂｕｆｆｅｒ，ｗｈｉｃｈｍｕｓｔｈａｖｅｔｈｅｓｉｚｅｏｆｂｕｆｆｅｒａｎｄｆｒｅｅｍｅｍｏｒｙｆｏｒｍａｎｙｔｉｍｅｓ，ｗｈｉｃｈｗｉｌｌｒｅｓｕｌｔｉｎｍｅｍｏｒｙｌｅａｋｓａｎｄｃｏｄｅｓｃｒａｓｈ．ＴｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｆｌｅｘｉｂｌｅｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍＡｕｔｏＢｕｆｆｏｒｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．Ｉｔｗａｓａｄａｐｔｉｖｅａｎｄｓｃａｌａｂｌｅａｎｄｂａｓｅｄｏｎａｎａｂｓｔｒａｃｔｂｕｆｆｅｒｉｎｔｅｒｆａｃｅ，ｓｕｐｐｏｒｔｅｄｄｙｎａｍｉｃｍｅ唱ｍｏｒｙａｌｌｏｃａｔｉｏｎａｎｄｂａｃｋｕｐ．ＢｙｕｓｉｎｇｔｈｅＡｕｔｏＢｕｆｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｗｉｔｈｄａｔａｚｅｒｏｃｏｐｙｔｅｃｈｎｏｌｏｇｙ，ｉｔｉｍｐｌｅｍｅｎｔｅｄｔｏｔｒａｎｓｆｅｒｄａｔａｔｈｒｏｕｇｈｔｈｅｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．ＴｈｅｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｈａｄｂｅｅｎａｐｐｌｉｅｄｔｏｔｈｅＷｅｂｓｅｒｖｅｒｓｙｓｔｅｍｂａｓｅｏｎＳ３Ｃ４４ｂ０Ｘｐｌａｔｆｏｒｍｓｕｃｃｅｓｓｆｕｌｌｙ．Ｔｈｅｒｅｓｕｌｔｓｉｎｒｅａｌｎｅｔｗｏｒｋｃｏｎｄｉｔｉｏｎｓｈｏｗｔｈａｔｔｈｅｓｙｓｔｅｍｐｒｏｖｉｄｅｓａｇｏｏｄｐｅｒ唱ｆｏｒｍａｎｃｅａｎｄｍｅｅｔｓｔｈｅｎｅｃｅｓｓａｒｙｏｆｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｓｙｓｔｅｍ．Ｋｅｙｗｏｒｄｓ：ｅｍｂｅｄｄｅｄｓｔａｃｋ；ａｂｓｔｒａｃｔｂｕｆｆｅｒ；ｚｅｒｏ唱ｃｏｐｙ；ｍｅｍｏｒｙａｌｌｏｃａｔｉｏｎ 随着网络技术的快速发展，主机间的通信速率已经提高到了千兆数量级，同时多媒体应用还要求网络协议支持实时业务。嵌入式设备网络化已经深入到日常生活中，而将嵌入式设备接入到互联网需要网络协议栈的支持。通过分析Ｌｉｎｕｘ系统中ＴＣＰ／ＩＰ协议栈的实现过程，可以看出在协议栈中要有大量数据不断输入输出，而管理这些即时数据的关键是协议栈中的缓冲区管理机制，因此对嵌入式协议栈的缓冲区管理将直接影响到数据的传输速率和安全。通用以太网的缓冲区管理机制，例如４．４ＢＳＤｍｂｕｆ ［１］ 和现行Ｌｉｎｕｘ系统中的ｓｋ＿ｂｕｆ ［２］ 多是在大内存、 高处理速率的基础上设计的，非常庞大复杂。由于嵌入式设备的硬件资源有限，特别是可用物理内存的限制，通用的协议栈必然不适用于嵌入式设备，在应用时要对标准的ＴＣＰ／ＩＰ协议进行裁剪 ［３］ 和重新设计缓冲区管理机制。 １ 缓冲区管理机制的性能需求分析 缓冲区管理 ［４］ 是对内存提供一种统一的管理手段，通过该 手段能够对可用内存提供分配、回收、数据操作等行为。内存的分配操作是根据一定的内存分配策略从缓冲区中获得相应大小的内存空间；缓冲区的数据操作主要是向缓冲区写数据，从缓冲区读数据，在缓冲区中删除数据，对空闲的内存块进行合并等行为；内存的回收就是将已空闲的内存重新变为可用内存，以供存 储其他新的数据。 为了满足长度不一的即时数据的需求，缓冲区对内存的操作主要集中在不断地分配、回收、合并空闲的内存块等操作。因为网络中的数据包小到几个字节大到几千个字节，不同长度的数据对内存的需求必然不同。现存嵌入式设备中的内存多是以物理内存，即实模式形式存在的，没有虚拟内存的形式，对内存的操作实际是操作真实的物理内存，所以对内存操作要特别谨慎。在传统使用动态分配的缓冲区（通过调用ｍａｌｌｏｃ（）／ｆｒｅｅ（））在函数之间传递数据。尽管该方法提供了灵活性，但它也带来了一些性能影响。首先考虑对缓冲区的管理（分配和释放内存块）。如果分配和释放不能在相同的代码位置进行，那么必须确保在某个内存块不再需要时，释放一次（且仅释放一次）该内存块是很重要的，否则就会导致内存泄露。其次是必须确定缓冲区的大小才能分配该内存块。然而，确定数据大小并非那么容易，传统做法是采用最大的数据尺寸的保守估计。而采用保守估计预分配的内存大小总是远超过实际需要的大小，而且没有一定的范围标准，这样难免会导致资源的严重浪费。 随着数据在协议栈中的不断流动，内存块的多次释放和多次分配是难以避免的，而保守估计对于有限的资源来说又是一种浪费的策略。因此为了能有效地利用资源，设计一种可自控的、不用预判断大小的数据缓冲区接口就势在必行。 第２６卷第６期２００９年６月 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｖｏｌ．２６Ｎｏ．６Ｊｕｎ．２００９
使用卷积神经网络的图像样式转换
《使用卷积神经网络的图像样式转换的研究》 院系信息工程学院 专业电子与通信工程 班级信研163 提交时间：2016年11月28日
使用卷积神经网络的图像样式转换的研究 湖北省武汉，430070 摘要：以不同的风格样式渲染图像的内容一直都是一个十分困难的图像处理任务。也可以说，以前主要限制因素是不知如何明确表示内容信息。在这里我们使用图像表示导出优化的能够识别对象的卷积神经网络，这使得高级图像信息显示。我们引入了一种可以分离和重组自然图像的图像内容和艺术风格的神经算法。这个算法允许我们生成高质量的新目标图像，它能将任意照片的内容与许多众所周知的艺术品的风格相结合。我们的结果提供了对卷积神经网络学习的深度图像表示的新理解，并且展示了他们的高水平图像合成和操纵的能力。 关键词：卷积神经网络；图像处理；神经算法 The Study of Image Style Transfer Using Convolutional Neural Networks LiWenxing School of Science,Wuhan University of Technology,Wuhan 430070,China Abstract: Rendering the content of an image in a different style has always been a difficult image processing task. It can also be said that the main limiting factor in the past is that I do not know how to clearly express the content information. Here we use an image representation to derive an optimized, object-aware convolutional neural network, which allows advanced image information to be displayed. We introduce a neural algorithm that can separate and reconstruct the image content and artistic style of natural images. This algorithm allows us to generate high-quality new target images that combine the content of any photo with the style of many well-known works of art. Our results provide a new understanding of the depth image representation of convolution neural network learning and demonstrate their ability to synthesize and manipulate high-level images. Keywords: Convolutional Neural Network;Image Processing;Neural algorithm
基于卷积神经网络的图像识别研究
第14期 2018年7月No.14July，2018 1 算法原理 卷积神经网络的卷积层最重要部分为卷积核[1-2]。卷积核不仅能够使各神经元间连接变少，还可以降低过拟合误 差[3]。 子采样过程就是池化过程。进行卷积过程是将卷积核与预测试图像进行卷积，子采样能够简化网络模型，降低网络模型复杂程度，从而缩减参数。 在图像识别时，首先需要对输入图像初始化，然后将初始化后图像进行卷积和采样，前向反馈到全连接层，通过变换、即可计算进入输出层面，最终通过特征增强效果和逻辑之间的线性回归判断是否符合图像识别期望效果，往复循环，每循环一次就迭代一次，进而对图像进行识别。流程如图1所示。 图1 卷积神经网络模型流程 2 卷积神经网络 卷积神经网络主要包括3个层次[4]，它由输入层、隐藏 层、输出层共同建立卷积神经网络模型结构。2.1 卷积层 卷积层的作用是提取特征[2]。卷积层的神经元之间进行 局部连接，为不完全连接[5]。 卷积层计算方法公式如下。()r array M a λ+ 其中λ为激活函数，array 是灰度图像矩阵， M 表示卷积核， 表示卷积， a 表示偏置值大小。G x 方向和G y 方向卷积核。 本文卷积神经网络模型中设定的卷积核分为水平方向和竖直方向。卷积层中卷积核通过卷积可降低图像边缘模糊程度，使其更为清晰，效果更好、更为显著。经过S 型函数激活处理之后，进行归一化后图像灰度值具有层次感，易于突出目标区域，便于进一步处理。2.2 全连接层 该层主要对信息进行整理与合并，全连接层的输入是卷积层和池化层的输出。在视觉特征中，距离最近点颜色等特征最为相似，像素同理。全连接如图2所示。 图2 全连接 3 实验结果与分析 本文采用数据集库是MSRA 数据集，该数据集共包含1 000张图片。实验环境为Matlab2015a 实验环境，Windows 7以上系统和无线局域网络。本文从MSRA 数据集中选取其中一张进行效果分析。卷积神经网络模型识别效果如图3所示。 作者简介：谢慧芳（1994— ），女，河南郑州人，本科生；研究方向：通信工程。 谢慧芳，刘艺航，王 梓，王迎港 （河南师范大学，河南 新乡 453007） 摘 要：为降低图像识别误识率，文章采用卷积神经网络结构对图像进行识别研究。首先，对输入图像进行初始化；然后，初 始化后的图像经卷积层与该层中卷积核进行卷积，对图像进行特征提取，提取的图像特征经过池化层进行特征压缩，得到图像最主要、最具代表性的点；最后，通过全连接层对特征进行综合，多次迭代，层层压缩，进而对图像进行识别，输出所识别图像。与原始算法相比，该网络构造可以提高图像识别准确性，大大降低误识率。实验结果表明，利用该网络模型识别图像误识率低至16.19%。关键词：卷积神经网络；卷积核；特征提取；特征压缩无线互联科技 Wireless Internet Technology 基于卷积神经网络的图像识别研究
图像超分辨率重建处理算法研究概要
第4l卷第ll期 2011年11月 激光与红外 LASER &INFRARED V01.41,No.11 November,2011 文章编号:1001-5078(201111-1278-04 图像超分辨率重建处理算法研究 ?图像与信号处理? 万雪芬1,杨义2,崔剑3 (1.华北科技学院,河北三河065201;2.东华大学,上海201620;3.北京航空航天大学,北京100191 摘要:超分辨算法为实现图像和视频分辨率提高的一种方法。其广泛应用于数字电视、医学图像处理、军事与遥感等领域。超分辨率图像通过融合多帧相似的低分辨率图像达到提高图像细节的目的。本文对使用较为普遍的频域方法、非均匀差值算法、凸集投影算法、迭代反投 影算法、最大后验概率方法及基于学习的方法进行了分析,并简要讨论了超分辨算法未来的发展方向。 关键词:图像处理;超分辨率;低分辨率重建 中图分类号:TP751文献标识码:A DOI:10.3969/j.issn.1001-5078.2011.11.023 Research on super-resolution image reconstruction WAN Xue—fenl,YANG Yi2,CUI Jian3
(I.Nordl China Institute of Science and Technology,Sanhe 065201,China;2.Donghua University,Shanghai 201620,China; 3.Beihang University,Beijing 100191,China Abstract:Super-resolution image reconstruction is a technique to reconstruct high resolution image or video from a 8e- quence of low resolution images.It has been widely used in digital TV,medicinal processing,military and remote剐m8一 ing.The super resolution method is summarized in this paper.Some super resolution image reconstructions ale dis— cussed for super-resolution image reconstruction.The tendency and development prospect a弛also discussed. Key words:image processing;super resolution;low resolution image reconstruction l 引言 近年来,数字图像采集技术已被广泛应用于工控、安监、军事与消费等领域。但由于价格成本因素限制,很多情况下通过低端图像采集设备获得的图片质量与分辨率较低,往往不能满足实际的要求。利用一系列相似的低分辨的图像,经过超分辨率技术的处理,可以得到一幅分辨率较高、包含信息较多的图像。这个处理过程就是超分辨率重建。采用超分辨率技术可以在不更换原有设备的前提下,提高图像的分辨率、改善图像的质量。 超分辨率技术用途较为广泛。在数字电视领域,可以利用超分辨率重建技术将数字电视信号转化为与高清晰度电视接收机相匹配的信号,提高观众的体验。在医疗领域,提高医学图像的分辨率,可以帮助医生做出正确的诊断。在军事、气象领域,通过侦查卫星与气象卫星获得图片的分辨率通常难以达到人们期望的分辨率级别,使用超分辨率技术,通过对观测结果做后期处理,可以更好地识别目标,更好地服务于军事安全和日常生活。
卷积神经网络
卷积神经网络 摘要：卷积神经网络是近年来广泛应用于模式识别、图像处理等领域的一种高效识别算法，它具有结构简单、训练参数少和适应性强等特点。本文从卷积神经网络的发展历史开始，详细阐述了卷积神经网络的网络结构、神经元模型和训练算法。在此基础上以卷积神经网络在人脸检测和形状识别方面的应用为例，简单介绍了卷积神经网络在工程上的应用，并给出了设计思路和网络结构。 关键字：模型；结构；训练算法；人脸检测；形状识别 0 引言 卷积神经网络是人工神经网络的一种已成为当前语音分析和图像识别领域的研究热点，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。 1 卷积神经网络的发展历史 1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptive field)的概念，1984年日本学者Fukushima基于感受野概念提出的神经认知机(neocognitron)可以看作是卷积神经网络的第一个实现网络，也是感受野概念在人工神经网络领域的首次应用。神经认知机将一个视觉模式分解成许多子模式(特征)，然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。神经认知机能够利用位移恒定能力从激励模式中学习，并且可识别这些模式的变化形，在其后的应用研究中，Fukushima将神经认知机主要用于手写数字的识别。随后，国内外的研究人员提出多种卷积神经网络形式，在邮政编码识别和人脸识别方面得到了大规模的应用。 通常神经认知机包含两类神经元，即承担特征抽取的S-元和抗变形的C-元。S-元中涉及两个重要参数，即感受野与阈值参数，前者确定输入连接的数目，后者则控制对特征子模式的反应程度。许多学者一直致力于提高神经认知机的性能的研究：在传统的神经认知机中，每个S-元的感光区中由C-元带来的视觉模糊量呈正态分布。如果感光区的边缘所产生的模糊效果要比中央来得大，S-元将会接受这种非正态模糊所导致的更大的变形容忍性。我们希望得到的是，训练模式与变形刺激模式在感受野的边缘与其中心所产生的效果之间的差异变得越来越大。为了有效地形成这种非正态模糊，Fukushima提出了带双C-元层的改进型神经认知机。 Trotin 等人提出了动态构造神经认知机并自动降低闭值的方法[1]，初始态的神经认知机各层的神经元数目设为零，然后会对于给定的应用找到合适的网络规模。在构造网络过程中，利用一个反馈信号来预测降低阈值的效果，再基于这种预测来调节阈值。他们指出这种自动阈值调节后的识别率与手工设置阈值的识别率相若，然而，上述反馈信号的具体机制并未给出，并且在他们后来的研究中承认这种自动阈值调节是很困难的【8】。 Hildebrandt将神经认知机看作是一种线性相关分类器，也通过修改阈值以使神经认知机成为最优的分类器。Lovell应用Hildebrandt的训练方法却没有成功。对此，Hildebrandt解释的是，该方法只能应用于输出层，而不能应用于网络的每一层。事实上，Hildebrandt没有考虑信息在网络传播中会逐层丢失。 Van Ooyen和Niehuis为提高神经认知机的区别能力引入了一个新的参数。事实上，该参数作为一种抑制信号，抑制了神经元对重复激励特征的激励。多数神经网络在权值中记忆训练信息。根据Hebb学习规则，某种特征训练的次数越多，在以后的识别过程中就越容易
图像超分辨率重建技术的研究背景意义及应用
图像超分辨率重建技术的研究背景意义及应用图像超分辨率重建技术的研究背景意义及应用 1 研究背景及研究意义 2 图像超分辨率重建的应用 1 研究背景及研究意义 伴随着计算机技术、信息处理技术和视觉通信技术的高速发展，人类进入了一个全新的信息化时代。人们所能能够获取的知识量呈爆炸式的增长，因此迫切的要求信息处理技术不断的完善和发展，以便能够为人们提供更加方便、快捷和多样化的服务。数字图像及其相关处理技术是信息处理技术的重要内容之一，在很多领域得到了越来越广泛的应用。对于数字图像在一些情况下一般要求是高分辨图像，如:医学图像要求能够显示出那些人眼不能辨别出的细微病灶;卫星地面要求卫星图像至少能够辨别出人的脸相甚至是证件;有些检测识别控制装置需要足够高分辨率的图像才能保证测量和控制的精度。因此提高图像分辨率是图像获取领域里追求的一个目标。 1970年以来，CCD和CMOS图像传感器广泛的被用来获取数字图像，在很多的 应用场合，需要获取高分辨图像，提高图像分辨率最直接的方法是提高成像装置的分辨力，但是受传感器阵列排列密度的限制，提高传感器的空间分辨率越来越难，通常采用的方法是减少单位像素的尺寸(即增加单位面积内的像素数量)，对于数字摄机，比如CCD，就是减少其传感单元的尺寸从而提高传感器的阵列密度，使其能够分辨出更多场景细节。但是这样将导致数字摄像机的价格大幅度提高。技术工艺的制约也限制了图像分辨率的进一步提高。事实上随着像素尺寸的减少，每个像素接收到的光照强度也随之降低，传感器自身的噪声将严重影响图像的质量，造成拍摄的影像信噪比不高，因此，像素尺寸不可能无限制的降低，而是有下限的，当CCD传感器阵列密度增加到一定程度时，图像的分辨率不但不会提高反而会下降，
图像超分辨率重建--图像处理课程设计
目录 1 课程设计目的 (1) 2图像处理系统设计内容及要求 (2) 2.1设计内容 (2) 2.2设计要求 (2) 3 设计方案 (3) 4 功能模块的具体实现 (5) 4.1 空域插值放大的方法 (5) 4.1.1 最邻近插值算法 (5) 4.1.2 双线性插值算法 (6) 4.1.3 双三次插值算法 (7) 4.2 频域重建的方法 (8) 4.2.1 DCT变换的介绍 (8) 4.2.2 DCT放大图像放大算法原理 (8) 4.3 频域分块重建的方法 (10) 4.4 同态滤波器滤波处理 (11) 4.4.1 同态滤波器原理 (11) 4.4.2 同态滤波函数的确定 (12) 5 总结与体会 (14) 参考文献 (15) 附录 (16)
1课程设计目的 MATLAB7.0软件。MATLAB是由美国mathworks公司发布的主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言的编辑模式，代表了当今国际科学计算软件的先进水平。通过用MATLAB 对图像进行处理，以实现以下目的。 1.培养严谨的科学态度，正确的设计思想，科学的设计方法和良好的工作作风。 2.培养独立思考的能力，独立检索资料、阅读文献、综合分析、计算机应用、数据及文字处理等能力。 3.培养综合运用基础理论、基本知识的能力。通过课程设计得到工程设计的初步锻炼。
图像超分辨率重建算法研究 文献综述
毕业设计（论文）题目：图像超分辨率重建算法研究 专业（方向）：电子信息工程 文献综述 1.引言 超分辨率概念最早出现在光学领域。在该领域中，超分辨率是指试图复原衍射极限以外数据的过程。Toraldo di Francia在1955年的雷达文献中关于光学成像第一次提出了超分辨率的概念。复原的概念最早是由J.L.Harris和J.w.Goodman分别于1964年和1965年提出一种称为Harris-Goodman频谱外推的方法。这些算法在某些假设条件下得到较好的仿真结果，但实际应用中效果并不理想。Tsai &Huang首先提出了基于序列或多帧图像的超分辨率重建问题。1982年D.C.C.Youla和H.Webb在总结前人的基础上，提出了凸集投影图像复原(Pocs)方法。1986年，S.E.Meinel提出了服从泊松分布的最大似然复原(泊松-ML)方法。1991年和1992年，B.R.Hunt和PJ.Sementilli在Bayes分析的基础上，提出了泊松最大后验概率复原(泊松-MAP)方法，并于1993年对超分辨率的定义和特性进行了分析，提出了图像超分辨率的能力取决于物体的空间限制、噪声和采样间隔。 伴随着计算机技术、信息处理技术和视觉通信技术的高速发展，人类进入了一个全新的信息化时代。人们所能够获取的知识量呈爆炸式的增长，因此迫切的要求信息处理技术不断的完善和发展，以便能够为人们提供更加方便、快捷和多样化的服务。数字图像及其相关处理技术是信息处理技术的重要内容之一，在很多领域得到了越来越广泛的应用。对于数字图像在一些情况下一般要求是高分辨图像，如：医学图像要求能够显示出那些人眼不能辨别出的细微病灶；卫星地面要求卫星图像至少能够辨别出人的脸相；有些检测识别控制装置需要足够高分辨率的图像才能保证测量和控制的精度。因此提高图像分辨率是图像获取领域里追求的一个目标。但是通过改善成像装置硬件的分辨力来提高图像的分辨能力是有限的也是不切实际的。因此，需要一种有效的方法来克服图像传感器的这些限制。 解决这一问题的一个实用而有效的方法就是图像的超分辨率重构技术，其不需要昂贵的图像获取设备，只需要通过计算机软件的处理就能获得更高分辨率的图像。因此，用该方法来提高图像分辨率所需要的代价很低。 2.超分辨率图像重构算法研究现状以及优缺点 目前,国内外对超分辨率的研究较突出的有:美国加州大学多维信号处理研究小组的PeymanMilanfar 等提出了大量的实用算法和集成各种算法的超分辨率图像恢复软件包；美国Dayton大学和Wright实验室对红外CCD相机进行了机载试验，利用20幅低分辨率的红外图像，取得了分辨率提高近5倍的实验结果。香港R. F. Chars等研究了超分辨率图像恢复的有效预处理共扼梯度迭代算法。以色列耶鲁撒冷大学M.Elad 等对存在任意运动的图像序列,以及动态的和彩色的多媒体等的超分辨率恢复进行了研究。以色列的