多视点视频编码发展现状
多视点视频编码技术及其研究现状
上海市浦东科技信息中心孔佳薇摘编2010-07-22
关键字：多视点视频编码, 视频编码, MVC 浏览量：224
多视点视频是一种新型的具有立体感和交互操作功能的视频，通过在场景中放置多台摄像机，记录下多个视点数据，提供给用户以视点选择和场景漫游的交互能力。多视点视频将在自由视点视频、立体电视、立体视频会议、多视点视频点播等数字娱乐领域有着非常广泛的应用前景。随着相机数目的增加，多视点视频的数据量也成倍增
加。系统的一个挑战就是研究实现一种高效的多路编码传输机制，从而对数据进行高效地压缩以便存储和传输视频序列。国际标准化组织如MPEG已经充分意识到多视点视频这一新的数字媒体的重要性和应用前景，正在着手制定这方面的标准。
1、多视点视频概念
多视点视频指的是由不同视点的多个摄像机从不同视角拍摄同一景得到的一组视频信号，是一种有效的3D视频表示方法，能够更加生动地再现场景，提供立体感和交互功能。多视点视频可广泛应用于任意视点视频、三维电视、交融式会议电视、远程医学诊疗、虚拟现实以及视频监视系统等多种正在兴起的多媒体业务。
与单视点视频相比，多视点视频的数据量随着摄像机的数目增加而线性增加。巨大的数据量已成为制约其广泛应用的瓶颈，为此，ITU-T 和MPEG 的联合视频组（JVT，joint video team）提出了多视点视频编码（MVC，multiview video coding）的概念。MVC 主要致力于多视点视频的高效压缩编码，是未来视频通信领域中的一项关键技术，也是国际视频标准化组织正在研究的热点问题。
2、多视点视频编码发展过程
MPEG早于2001年专门成立3DAV（3D audio and 3D video) ad hoc组研究3DAV 的典型应用场景和可标准化的内容。该小组于2003年7月发布征求意见稿，详细给出了3DAV的需求分析和应用前景，希望引起工业界的关注。在2004年3月第68次MPEG 会议上，3DAV ad hoc组分析各研究机构的回应文档发现任意视点视频受到工业界的普遍关注，决定对任意视点视频的关键模块——多视点视频编码进行标准化。在本次会议
上，该小组发布MVC征求验证文档，旨在初步验证MVC编码效率的提升空间。
2005年1月召开的第71次MPEG会议共收到7项技术提案。比较结果表明MVC 的编码效率远高于基本编码方案，从而验证了MVC标准化的必要性和可行性。在此基础上，3DAV ad hoc组决定发布MVC 征求草案文档（call for proposals on multiview video coding）。该文档的发布标志着MVC标准化正式开始。第75次MPEG会议文档W7779给出了所提技术与基本编码方案的比较结果。结果表明提出的新技术能够显著提高MVC的编码效率。在本次会议上，3DAV Ad hoc组决定将MVC为H.264/AVC的第四个扩展标准。
考虑到H.264/AVC的标准化工作一直由JVT负责，在第77次MPEG会议上，MVC 的标准化工作正式移交给JVT，这标志着MVC的标准化工作进入实质性阶段。同时JVT 发布MVC的联合多视点视频编码模型JMVM（joint multiview video model），将该模型作为评价MVC性能的公共测试平台。在2006年10月召开的第78次MPEG会议上，JVT 向MPEG组织提交了MVC的工作草案文档。2008年7月JVT发布了最终补充草案文档，并对MVC进行一致性测试，以保证其完备性和准确性。2009年3月发布的H.264/AVC 标准添加了附录H，该附录给出了MVC的语法语义。
MVC的研究最初是由视频标准化组织启动的，由于多视点视频序列能够提供逼真的视觉感受，MVC成为近期视频编码领域的研究热点。近年来，学术界围绕MVC 举办了多次专题研讨，如IEEE Transactions on Circuits and Systems for Video Technology 的MVC专辑，Signal Processing:Image Communication的3D视频专辑，Picture Coding Symposium的专题讨论等。其中MVC专辑详细介绍了现阶段MVC的主要研究方向，包括MVC的预测结构研究、多视点视频的运动和视差补偿技术、多视点视频编码中的视点图像插值和颜色校正等。此外，国内研究机构也纷纷开展MVC的研究工作，主要从MVC编码方案设计、颜色校正、视差估计和速率控制等几个方面开展。
3、多视点视频编码的主要研究内容
3.1 预测结构
在单视点视频编码标准中，帧间预测是去除视频序列时间冗余的有效方式。为了提高帧间预测的准确性，H.264/AVC引入了多参考图像预测技术。该技术使用多个参考图像进行位移估值和帧间预测，从而获得相对精确的匹配块，降低预测差（residual）信号的能量，提高编码效率。在H.264/AVC编码框架下，去除视点间冗余最直接的方式是在编码当前图像时使用其他视点中的已解码图像作为参考图像进行位移估值和帧间预测，这种方法称为视点间预测。如何设计时间预测和视点间预测以有效利用时间和视点间相关性是MVC 预测结构需要解决的问题。
3.2 提高MVC编码效率的技术
预测结构一经确定后，如何有效进行视点间预测来提高编码效率是MVC 研究的一个主要内容。根据所使用方法的不同，视点间预测技术大致可分为两类：利用现有视点间相关性提高MVC 编码效率的技术和补偿视点间差异性提高MVC 编码效率的技术。
利用现有视点间相关性提高MVC编码效率的技术：视点间预测指的是采用邻近视点中已解码的图像作为参考图像对当前待编码图像进行预测。因此，如何有效利用视点间参考图像的信息提高MVC编码效率是视点间预测的核心内容。根据利用视点间相关性进行预测信息的不同，视点间预测技术可进一步分为视点间采样点预测和视点间运动信息预测两大类。
补偿视点间差异性提高MVC编码效率的技术：视点间差异减弱了视点间相关性，致使视点间预测不能有效地去除视点间冗余，降低了MVC的编码效率。因此，如何通过补偿视点间差异性进而更充分地利用视点间相关性提高MVC 编码效率也是MVC 的关键技术之一。该环节的主要研究内容包括了亮度补偿、颜色补偿、虚拟视图合成预测、自适应参考图像滤波等。
3.3 MVC 高层语法
MVC高层语法的研究主要集中在MVC语法和语义的设计。H.264/AVC的语法和语义是经过精心设计的，在对其增加新的补充时，往往需要对原H.264/AVC语法做适当的修改。具体而言，MVC需要根据多个视点联合编码的特点，扩展H.264/AVC语法和语义。
目前，关于MVC 扩展的高层语法主要有以下4方面：一是在序列参数集中添加语法元素，用来说明视点的数目以及定义各视点之间的预测关系；二是扩展网络抽象层单元（NALU，network abstract layer unit）的语法元素，添加当前NALU属于哪个视点，是否做视点间参考图像等信息；三是设计适合MVC 的参考图像管理机制，包括参考图像标记、参考图像列表初始化以及参考图像重排序等；四是扩展H.264/AVC附加增强信息（SEI，supplemental enhancement information），使其能够支持MVC中所定义的各项功能需求，如视点可分级性、支持观看部分视点、并行处理等。
参考文献：
[1] 多视点视频编码的研究现状及其展望霍俊彦; 常义林; 李明; 马彦卓通信学报2010（5）
[2] 多视点视频编码技术研究李淳; 马力妮计算机与现代化2009（1）
[3] 多视点视频编码的研究进展汤秀丽; 戴声奎; 蔡灿辉微计算机应用2009（7）
[4] 应用于多视点视频编码的基于深度特征的图像区域分割与区域视差估计杨海涛,常义林,霍俊彦,熊联欢,林四新光学学报2008（6）