文档库 最新最全的文档下载
当前位置:文档库 › 纹理图像基及其应用

纹理图像基及其应用

第17卷第7期计算机辅助设计与图形学学报v01.17,No.72005年7月JOURNALOFCoMPUTER—AIDEDDESIGN&COMPUTERGRAPHICSJuly,2005

纹理图像基及其应用

向世明1’2’赵国英1’2’陈睿1’2’贾富仓1’2’李华1’

1’(中国科学院计算技术研究所智能信息处理重点实验室北京100080)

2’(中国科学院研究生院北京100039)

(smxiang@ict.ae.e11)

摘要纹理图像被视为基本微模式的线性组合.拓扑图格独立分量分析首先被用来学习图像基,然后根据生成模型,通过变换图像基获得基本微模式.最后给出了其两个应用例子:从微模式中提取基本视觉元素,并提出了相应的算法;将学习获得的分离基视为滤波器,实现其纹理分割.对比实验分析表明,该算法可取得满意的分割结果.

关键词拓扑图格独立分量分析(TICA);图像基;混合基;分离基;视觉元素;纹理分割

中围法分类号TP391.4

TextureImageBasesandTheirApplications

XiangShimin91,2)ZhaoGuoyin91,2)ChenRuil,2)JiaFucan91,2)LiHual)

1)(KeyLaboratoryofIntelligentInformationProcessing,InstituteofComputingTechnology,ChineseAcademyofSciences,BeOing100080)2)(GraduateSchooloftheChineseAcademyofSciences,Beijing100039)

AbstractThispapertreatstextureimageasalinearsuperpositionofagroupoffundamentalmicro—patterns.Thetopographicindependentcomponentanalysisisemployedfirsttolearntheimagebases,andthosemixingbasesarethentransformedintomicro—patterns,accordingtothegenerativemodel.Twoexamplesofapplicationsofimagebasesareillustratedfinally.Oneistoe,xtractthefundamentalvisualelementsfrommicro—patterns,andtheotheristexturesegmentationbyusingthelearnedunmixingbasesasfilters.Experimentsonmosaictextureimagesshowthatthesegmentingresultsaresatisfactory.

Keywordstopographicindependentcomponentanalysis;imagebases;mixingbase;unmixingbase;visualelement;texturesegmentation

引言

纹理是人类知觉系统认识世界的重要手段.纹理已经被研究了40年之久[1—2|.作为一个开放的研究对象,需要解决的中心问题是:如何有效地描述纹理的知觉元素[1,3-5].

Julesz指出,纹理感知中存在基本元素,即纹元…1.Zhu等将Julesz的工作推广至自然纹理,并通过统计方法学习纹元的构成HJ.本文从线性生成的角度出发,用统计方法学习纹理图像所包含的图像基.图像基是构成纹理图像的基本成分.

Julesz的工作主要是针对人造纹理模式….Zhu等的工作也主要适用于结构性纹理[4|.对于结构性纹理和随机性纹理,一个共同的事实是:微视觉模式在纹理图像中是大量重复出现的.这些微视觉模式

收祷日期:2004—02—09;修回日期:2004—07—26

基金项目:国家“八六三”高技术研究发展规划项目(2001AA231031);国家重点基础研究发展规划项目(G1998030608);国家科技攻关计划课题奥运科技专项(2001BA904808)

1530

计算机辅助设计与图形学学报2005正

是视觉敏感性特征,也是纹理所包含的基本元素.微视觉模式不需要采用结构性方法来描述,因而可以适用于各种不同类型的纹理图像.相反地,我们也可以认为纹理由微视觉模式组合而成.

另外,纹理分割是纹理研究中的难点问题.目前有多种纹理分割算法.其中,统计方法、基于模型的方法和信号处理方法是最常用的方法L2J.但是,很少有工作将纹理分割与纹理感知联系在一起.本文从统计学习的角度对纹理感知进行研究.首先将纹理视为基本微视觉模式的线性组合,并用拓扑图格独立分量分析(TopographicIndependentComponentAnalysis,TICA)【60方法进行学习.通过统计学习可以获得纹理图像混合基和纹理图像分离基.根据两类基的内在关系,本文将其统称为纹理图像基.可视化的混合基就是纹理图像所包含的微视觉模式,它们是重构原始纹理的基本线性构造成分.这样,原始纹理可以解释为这些基本视觉元素的线性组合.根据生成模型,分离基的作用相当于一组滤波器,这组滤波器是纹理感知分析的结果.最后实现了无监督的纹理分割.对比实验结果表明,本文算法优于其他几种方法.

2纹理图像生成模型

本文认为,纹理图像是由不同的微视觉模式组成的.通常基本模式是很少的.对于如图1所示的砖纹理,可以认为它只含有三个基本模式:一个是背景模式(即由砖的颜色组成的不变区域),另外两个就是“l”和“一”.很显然,仅仅由这三个基本模式的组合是不可能重建任一给定窗口区域的.为了重建原始图像,需要对这些基本模式进行扩展以形成一个完备的模式集合(如图1所示).图1中{a“}表示组合系数.形成完备的模式集合的最好方式就是统计学习.

图1纹理图像生成模型图解

设矩阵X为取自一个窗口内的灰度数据.为了计算和表示方便,可将x按列转化为一个向量.所有x构成一个观测样本集n.假定0为某个线性空间中的集合,从而x∈n可表示为基的线性组合.对于纹理数据,假定这些基是n的基本线性构造成分,可引入生成模型

x=∑口iq(1)

i=1

其中,ai∈贮为一个基向量,优=叫×h.叫和h分别为窗El的宽度和高度;Si为ai的组合系数.{al,…,a。}可以理解为相对于以的基本线性构造成分.根据纹理的平稳性,通常n<m.式(1)可进一步表示为矩阵形式

X=AS(2)或

S=WX(3)其中,A=(a1,…,a。)∈贮‰,S=(S1,…,5。)T,W为A的伪逆.A,w和s需要从观测向量x中进行估计.

根据线性理论,基与基应该是线性独立的.但是,从线性代数意义上严格求解式(1)、(2)或(3)是不现实的.对于纹理图像,可将x处理为一个随机变量,从而可用独立分量分析方法(IndependentComponentAnalysis,ICA)来求解上述问题[7I.此时,s可解释为潜在的独立分量,A和w分别为混合基矩阵和分离基矩阵.在本文中,混合基和分离基统称为基.

求解式(2)的方法有多种.最著名的方法之一就是Fastlca算法【8].但它不能对基进行组织,因为式(2)可写为X=(s?AP)f土?PTs1三五蚕,其deP

、3,

为置换矩阵,j为一个非零实数.TICA可在相同的尺度空间求解ICA问题;同时,由于TICA利用基之间残余的高阶相关性,可实现对基的组织,有利于对

图像数据的分解.

7期向世明等:纹理图像基及其应用1531

3纹理图像基

3.1学习纹理图像基

TICA假定观测样本具有零均值单位协方差,因此必须对纹理数据{Xi}扣1:N(Xi∈n)进行前处理.实现对X的零均值化和单位协方差化(即球化)步骤如下:

Stepl.零均值化:叉--=x一丙I∑xi,Vx∈o.

Step2.计算协方差矩阵C,并进行SVD分解:C=寺∑叉?叉T=EDET.

Step3.单位协方差化:童=EDo5E7Y;:--nx

其中,B为球化矩阵.此时式(2),(3)分别变为

i=ED_0?5ET贾;五雪(4)

雪=~WX~(5)Step4.用TICA对式(4),(5)进行求解,可得访和互.对原始观测数据x,根据球化过程,可求得式(2)和式(3)中的A和w,即

A:B一.谤’(6)

w:访.B(7)

a观测纹理

在式(6),(7)中,A∈R”‰和w∈R“”不必是方阵.这一点对于纹理数据是重要的,因为纹理中包含的微模式的数量远远小于D'/.另外,式(6)中A的一列相当于式(1)中的一个ai,即A=(a1,a:,…,口。).将ai按列生成的方式逆转,形成矩阵Mi∈融“”.按第2节的生成模型,Mi反映了纹理图像中基本的线性构造成分.但是,Mi是浮点数据,可将其变换为0~255之间的整数,这一过程称为可视化.可视化的Mi等价于一个图像基.实验所用图像取自MITVisTex库旧J、Brodatz库uoj以及自组织图像库,共320幅.实验中,样本的大小为16×16的块数据,它们从观测纹理中随机选择,Q中样本总数为4000.图2和图3所示为部分结果.图2给出了部分结构性纹理的TICA分析结果.图2a为原始纹理,图2b为可视化纹理图像混合基,图2C为重构结果,图2d为纹理图像混合基的直方图.基于尺寸和分辨率的考虑,本文只显示原始图像左上角的一个小块.图3给出了部分随机性纹理的TICA分析结果.原始纹理的重构是按分块的方式并通过式(2)实现的.

b可视化基C重构图像d可视化基的直方图

图2结构性纹理TICA实验

1532计算机辅助设计与图形学学报2005正

a观测纹理b可视化基c重构图像d可视化基的直方图

图3随机性纹理TICA实验

3.2对基的解释

第3.1节从统计学习的角度对纹理感知进行了量化分析.通过TICA学习获得的纹理图像基是一种高阶统计计算的结果.根据平稳性,纹理图像包含了许多相同的视觉模式,它们是引起视觉感知的基本元素,也是纹理的基本构造成分.

(1)TICA学习所得到的基并不是相互独立的,具有不同外观或不同模式的基比较少.这是由于纹理通常是由视觉效果相似的基本模式在空间重复排列的结果.在纹理图像的重复模式中,通常只有几个不同的基本模式;同时,由于一个基的中心对称向量(对称基)代表同一个基,因而可视化后的基在亮度上可能存在逆差关系(图像取反).

(2)与原始图像相比,可视化基具有较高的峰值.峰值越高,基的分量取同一值的概率加大,从而隐含的结构就越明显.图2和图3中第4列展示了可视化基的直方图.可见,结构性越强、模式越明显的纹理往往具有更高的峰值.从重构的结果看,维数较少的基可以很好地重构原始纹理.这就意味着,基集合空间中只有少数是处于激活状态的,因而编码是稀疏的.4应用

4.1提取基本视觉元素

大部分纹理图像混合基在视觉外观上是相似的,它们反映了原始纹理的基本视觉信息.事实上,只需知道几个代表即可描述观测纹理的模式信息.下面给出提取视觉元素的算法具体步骤:

Stepl.由图格关系将基分为9组,每组12个.图4所示为邻域大小为3×3时的分组情况,编号为同一种灰度值的基属于同一组.分组的原因是因为属于同一邻域的基是高阶相关的,从而可取其一作为代表.两个加号之间定义了一个8×5的图格,每个图格上存放一个基.由于采用缠绕

图4基分组

7期向世明等:纹理图像基及其应用1533

方式,所以{3l,26,29,32,15,10,13,16,39,34,37,40l被分为同一组.

Step2.用9组基对原始纹理进行重构.选择均方距离最小的一组基go=argmin[dist(‘,f)].其中,g为基组,‘为g-重构图像,J为所有基重构的图像,dist(?)为图像之间的均方距离.

Step3.从所有基重构的图像中构造一个样本集合&.选择一个尺度基io=argmin[min(dist(af,S。),dist(五f,S。)).其中,五i为基ai的对称基,dist(?)为距离度量,(rain)(?)为最小值函数.

Step4.对可视化基及其对称基作直方图统计,进行z2检测

21七(hio(1)一hi(1))2

zi一2鲁hio(z)+hf(z)‘

Step5.将Imin(z;,乏;),i∈go}归一化至[o,1].这里i;为对称基的z2检测.将[0,1]空间递归地分为C类,按Step3提取出最后模式,C是一个事先给定的数.

图5所示为图2和图3中的纹理对应的视觉元素.可见这些基本元素具有代表性,为感知纹理提供了直观的视觉线索,它们表现了观测纹理中所存在的显著性结构或相对平淡的背景模式.提取视觉元素的另一个目的是希望进行语义化工作,通过将它们定义为视觉词汇(视觉元),可用本体论方法对纹理进行研究.

图5基本视觉元素

4.2基于分离基的纹理分割

4.2.1纹理分割算法

根据x的构造方法,式(3)中w?x类似于卷积操作,从而w的行相当于一个滤波器.一个新特点是:w是直接从观测纹理数据中学习得到的.图6所示为藤条纹理的分离基,可见它们与Gabor滤波器[11]完全不同.

图6可视化的分离基

设有4种不同的纹理,从每种纹理图像可以学习出40个分离基,这样滤波器的总数为160.这就意味着,特征向量为160维.因而需要去除一部分基,以减小维数.下面给出从一幅观测图像选择基的算法.

Stepl.将基视为滤波器,并记为F={,1,…,^}.用F提取特征

R,(M)2(R;(。,y),…,尽;(。.,))1=

(wp(。,y)。,1,…,wp(。。,)*厶)1.

其中,w。(。川表示一个窗口内的灰度数据,窗口中心坐标为(z,Y).

Step2.通过像素到滤波器序号的映射构造滤波器通道Cf.C;为第i个滤波器所对应的通道,是一个离散的点集.对于Ci中的点,由F提取的特征向量的第i个分量总是最大的.Cf可以从{Rp(。,,)}中进行计算[12]

Cf={(z,y)Ii=a(gmax{郦(Ⅵ)},(z,Y)∈C},

i=1,…,竹.

其中,C为观测纹理图像像素空间坐标构成的集合.{C1,.“,C。}为集合C的一个划分UCi=C且CiNcj=⑦,Ⅵ≠j.Step3.计算集合的基数ICil,并根据基数大小对{C1,…,G}进行排序,记结果为{G,,…,G。};然后从中选择^个滤波器{五。,^。一。,…,^。一。+。}.

下面给出纹理分割的计算步骤:

Stepl.将从各观测纹理选择的滤波器组合成一个滤波器集.用该滤波器集对测试图像重复上面选择基算法的步骤获得滤波器通道图.定义像素P的纹理特征[12]

日P=(^},…,睇)T=(f砩I,…,f琊f)T.

其中,H;={(s,t)l(5,t)∈C;NNp},N≥为P的邻域.Step2.基于特征样本点集{日P,P∈C},采用k.均值聚类实现无监督纹理分割.

4.2.2实验结果

我们用第4.2.1节描述的方法进行了纹理分割实验,并用Gabor滤波器[9]和自然图像基提取的特征进行对比;用TICA学习Helsinki技术大学ICA课题组所提供的13幅自然图像[13],可获得本文需要的自然图像基.

图7给出了几个实例.图7a中前三幅图像取自Brodatz库,后三幅图像取自MITVisTex库;图7b列出了基于Gabor滤波器的分割结果;图7c列出了基于自然图像基的分割结果;图7d列出了本文的分割结果.从图7可见,基于自然图像基的结果优于基于Gabor滤波器的结果.但是,本文的分割

结果要优于基于自然图像基的结果.与Gabor滤波

1534

计算机辅助设计与图形学学报

2005薤

器不同的是,作为滤波器使用的纹理图像分离基不需要任何控制参数,它们是从图像学习来的,而不是采用数学理论设计得到的.

本文的所有程序都是借助于VC6.0实现的.对Gabor滤波器参数取值,尺度为4,方向为6,感兴趣的低频为0.05,高频为0.4.

a纹理图像b基于Gabor滤波器c基于自然图像基d基于本文的算法

图7纹理分割对比实验

-k

7期向世明等:纹理图像基及其应用1535

5结论及未来的工作

对于图像数据,人们往往采用ICA分析图像集合的整体特征,本文则将这种研究方法扩展至单个纹理图像.通过对单个纹理图像的TICA分析,我们发现,纹理图像混合基反映了纹理所包含的基本视觉元素.视觉元素是一种视觉敏感性特征.

作为应用,本文提出了通过引入基与基之间的约束和x2检测来提取视觉元素的算法,通过将纹理图像分离基视为滤波器以及将待分割的图像映射为滤波器通道,实现了有监督学习和无监督聚类相结合的纹理分割算法.实验结果表明,本文算法能够获得较好的分割结果.

未来的研究工作包括:(1)研究提取视觉元素的新方法和新应用;(2)对视觉元素赋予语义,建立一种层次语义描述的视觉词汇体系并用于自然图像理解和对象识别;(3)研究纹理图像基的新应用,比如纹理合成.

参考文献

[1]JuleszB.Textons.Theelementoftextureperception,andtheirinteraction[J].Nature,1981,290(5802):91~97

[2]TuceryanM,JainAK.Textureanalysis[A].In:The

handbookofpattern

recognition

andcomputervision[C].2nded.Singapore:WorldScientificPublishingCompany,1998.

207——248

[3]LandyMS,GrahamN.Visualperceptionoftexture[OL].http:www.cns.nyu.edu/--msl/texentry2.pdf,2003

[4]ZhuSC,GuoCE,WuYN,eta1.Whataretextons[A].InProceedingsofEuropeanConferenceonComputerVision.

CopenhagenDenmark,2002.793~807

[5]OlshausenBA,FieldDJ.Sparsecodingwithanovercompletebasisset:Astrategyemployedbyvl[J].VisionResearch,

1997,37(23):3311~3325

[6]HyvirinenA,HoyerPO,InkiM.Topographicindependentcomponentanalysis[J].NeuralComputation,2001,13(7):

1527~1558

[7]ComonP.Independentcomponentanalysis,anewconcept[J].SignalProcessing,1994,36(3):287~314

[8]Hyv址'inenA.Fastandrobustfixed—pointalgorithmsforindependentcomponentanalysis[J].IEEETransactionson

NeuralNetworks,1999,10(3):626~634

[9]MITvisionandmodelinggroup[OL].Htttp:∥WWW.media.mit.edu/vismod/.1998

[10]BrodatzP.Textures:APhotographicsAlbumforArtistsandDesignets[M].NewYork:Dover,1966

[11]ManjunathBS,MaWY.Texturefeaturesforbrowsingandretrievalofimagedata[J].IEEETransactionsonPattern

AnalysisandMachineIntelligence,1996,18(8):837~842[12]ZengXY,ChenYW,NakaoZ,eta1.Texturesegmentation

based

onpatternmapsobtainedbyindependentcomponentanalysis[OL].http:∥WWW.cse.cuhk.edu.hk/~apnnd

proceedings]iconip2001/paperd300a.pdf,2001

[13]ICAgroupofHelsinkiUniversityofTechnology.NaturalImageCollectionforICAexperiments[0L]。http://www.cis.hut.纠

projects/iea/datdima-ged,2001

向世明男,1970年生,博士。主要研

究方向为数字图像处理、计算机视觉、计算

机图形学.

赵国英女,1977年生,博士研究生,

主要研究方向为数字图像处理、计算机视

觉、计算机图形学.

陈睿男,1976年生,博士研究生,

主要研究方向为数字图像处理、计算机视

觉、计算机图形学.

贾富仓男,1976年生,博士,主要研

究方向为数字图像处理、计算机视觉、计算

机图形学.

李华男,1957年生,博士,研究

员,博士生导师,主要研究方向为计算机图

形学、计算机视觉、数字图像处理、虚拟现

实等.

纹理图像基及其应用

作者:向世明, 赵国英, 陈睿, 贾富仓, 李华, Xiang Shiming, Zhao Guoying, Chen Rui , JIA Fucang, Li Hua

作者单位:向世明,赵国英,陈睿,贾富仓,Xiang Shiming,Zhao Guoying,Chen Rui,JIA Fucang(中国科学院计算技术研究所智能信息处理重点实验室,北京,100080;中国科学院研究生院,北京

,100039), 李华,Li Hua(中国科学院计算技术研究所智能信息处理重点实验室,北京

,100080)

刊名:

计算机辅助设计与图形学学报

英文刊名:JOURNAL OF COMPUTER-AIDED DESIGN & COMPUTER GRAPHICS

年,卷(期):2005,17(7)

被引用次数:0次

参考文献(13条)

1.J ulesz B.Textons The element of texture perception, and their interaction 1981(5802)

2.Tuceryan M.Jain A K Texture analysis 1998

https://www.wendangku.net/doc/bb5531548.html,ndy M S.Graham N Visual perception of texture 2003

4.Zhu S C.Guo C E.Wu Y N What are textons 2002

5.Olshausen B A.Field D J Sparse coding with an overcomplete basis set:A strategy employed by v1 1997(23)

6.Hyvirinen A.Hoyer P O.Inki M Topographic independent component analysis 2001(07)

https://www.wendangku.net/doc/bb5531548.html,on P Independent component analysis,a new concept 1994(03)

8.Hyvarinen A Fast and robust fixed-point algorithms for independent component analysis 1999(03)

9.MIT vision and modeling group 1998

10.Brodatz P Textures:A Photographics Album for Artists and Designers 1966

11.ManjunathB S.Ma W Y Texture features for browsing and retrieval of image data 1996(08)

12.ZENG X Y.Chen Y W.Nakao Z Texture segmentation based on pattern maps obtained by independent component analysis 2001

13.ICA group of Helsinki University of Technology Natural Image Collection for ICA experiments 2001

本文链接:https://www.wendangku.net/doc/bb5531548.html,/Periodical_jsjfzsjytxxxb200507025.aspx

授权使用:中北大学图书馆(zbdxtsg),授权号:ad9f55f6-fa9d-48e8-a21b-9e0a00aa9234

下载时间:2010年10月9日

相关文档