Duanxx的HEVC学习(一)输入视频文件YUV文件的分析

Duanxx的HEVC学习（一）输入视频文件YUV文件的分析

——Duanxx

——2014-07-19

一什么是YUV文件

Y'UV的发明是由于彩色电视与黑白电视的过渡时期。黑白视讯只有Y（Luma，Luminance）视讯，也就是灰阶值。到了彩色电视规格的制定，是以YUV/YIQ的格式来处理彩色电视图像，把UV视作表示彩度的C（Chrominance或Chroma），如果忽略C信号，那么剩下的Y （Luma）信号就跟之前的黑白电视信号相同，这样一来便解决彩色电视机与黑白电视机的相容问。YYV文件实际上是将RGB文件拆解成了亮度和色度信息保存，Y'UV最大的优点在于只需占用极少的带宽。

RGB文件最大的问题是RGB的视频文件难以操作，如果我希望降低视频文件的亮度，RGB 文件必须同时处理RGB三色，并且在数据上会存在失真，为了解决这个问题，YCbCr形式的文件就诞生了，Y是亮度频道（luminance channel），Cb是蓝色色度频道（Blue channel），Cr是红色色度频道（Red channel）。

1.1 YUV文件的采样方式

YUV文件的色度频道的采样频率是可以比亮度频道的采样频率低的，但不会明显的降低视觉质量，于是乎就有一种用于描述YUV文件的采样频率比的方法A:B:C

●444代表没有亮度和色度都没有下采样

●422表示2:1的水平下采样，但是没有垂直下采样。每行扫描都含有4个Y采样点，2个U

采样点和两个V采样点。即，在水平方向的隔行采样，垂直方向全采样。

●420表示2:1的水平下采样和2:1的垂直下采样。每行扫描都好友4个Y采样点，1个U采

样点和一个V采样点。即，在水平方向隔行采样，垂直方向也隔行采样。

1.2YUV文件的存储方式

YUV文件的存储方式指的是YUV文件中YUV数据在其Byte System中的排布或者说位置。YUV文件的数据存储方式有两种Packed format和Planar format。

在Packed format中，YUV文件的Y/U/V数据打包在了一起，依次存放，如下图所示。

在Planar format中，YUV的文件存放是分开的，先存放一帧图片的Y数据，然后存放UV 数据。

IMC4，i420格式的文件存放方式:Y + U + V

IMC2、YV12的存放方式:Y + V + U

1.3 YUV和RGB之间的转换

从RGB到YUV：

从YUV到RGB：

以矩阵表示法（matrix representation），可得到公式：

二HEVC标准测试视频文件分析

HEVC标准测试文件有很多，此处对BasketballDrill_832x480_50.yuv分析其文件格式。

此文件的分辨率为832x480，文件数据深度为8bit，文件格式为420，总帧数为501帧。

在这里我用了两个软件：Elecard和Binary Viewer

首先用Binary Viewer打开该文件：

其文件大小为300119040字节

计算YUV数据量：（832*480 + 832*480/4 + 832*480/4）*501 = 300119040

由此可以看出，YUV文件全部是数据，此处就有一个疑惑，它的文件格式，文件名等等信息怎么存储的呢？有二进制查看器打开其他的文件，比如一个图片什么的，都会找到文件格式、文件名之类的东西，但是YUV文件却什么都没有，只有数据，真心不理解。

再用Elecard，以YV12显示的方式打开该文件，并查看其144*15那个点的数据。

由图中可以看到，红色框中的UV值都是一样的，因为是420采样，横向和纵向都下采样了，在从420转换成444时，直接填充。所以才会出现一个2*2的块中的UV值都是一样的。且下标都是从0开始，所以：

Y的位置为：832*15+145 = 12625

U的位置为：832*480 + 832/2*（15-1）/2 + 144/2 +1 =402345

V的位置为：832*480 + 832*480/4 + 832/2*（15-1）/2 + 144/2 +1 = 502185

从Binary Viewer定位到这些位置，便可以查看到相应的值。需要注意两点，Binary Viewer 中的下标是从0开始的，所以在定位时，需要减1；并且，上面是YV12打开的，所以UV的位置反了。

三Matlab读取一个YUV文件并查看

此处我读取了一帧的数据，然后将YUV420转为YUV44最后转为RGB显示出来：fid=fopen('BasketballDrill_832x480_50.yuv','rb');

width = 832

height = 480

%% Read a yuv file ,the file format is i420

Y = fread(fid,[width,height],'uint8');

U = fread(fid,[width/2,height/2],'uint8');

V = fread(fid,[width/2,height/2],'uint8');

%% inital memory for yuv444

YY=zeros(width,height,'uint8');

UU=zeros(width,height,'uint8');

VV=zeros(width,height,'uint8');

%% fill the empty of yuv444 in U and V

UU(1:2:width-1,1:2:height-1)=U(:,:);

UU(1:2:width-1,2:2:height)=U(:,:);

UU(2:2:width,1:2:height-1)=U(:,:);

UU(2:2:width,2:2:height)=U(:,:);

VV(1:2:width-1,1:2:height-1)=V(:,:);

VV(1:2:width-1,2:2:height)=V(:,:);

VV(2:2:width,1:2:height-1)=V(:,:);

VV(2:2:width,2:2:height)=V(:,:);

%% transform the yuv444 to RGB,and show the picture

YUV444=cat(3,Y',UU',VV');

RGB=ycbcr2rgb(YUV444);

imshow(RGB)

最后显示的图像如图所示：

在U/V都为0时的图像：

只有U为0时的图像：

只有V为0的图像：

国际主流视频编码标准优化代码的对比测试-文档资料

国际主流视频编码标准优化代码的对比测试 王中元（1972- ），男，湖北英山人，讲师，博士，主要研究方向为视频编/ 解码、多媒体通信； 朱福喜（1957- ），男，湖北新洲人，教授，博导，博士，主要研究方向为人工智能等. （武汉大学a. 计算机学院; b. 国家多媒体软件工程技术研究中心; c. 档案馆，武汉430072） 以H.263、MPEG-4、H.264 三种标准作为测试对象，在 Win/Intel 平台上测试了优化后编码器的计算效率、编码效率和码率控制精度，并对测试结果进行了比较和分析。测试数据为开发人员在一定硬件性价比的约束条件下实现视频编码器提供了参考。 Test?Band?Bcomparison?Bon?Boptimized?Bcode?Bof?Bmajor?B international?Bvideo?Bcoding?Bstandards LI Naa,c, WANG Zhong-yuanb, ZHU Fu-xia (a.School of Computer, b.National Multimedia Software Engineering Research Center, c.Archives, Wuhan University, Wuhan 430072, China) This paper selected H.263,MPEG-4 and H.264 video

coding standards as test object to measure such performance index as compression efficiency,calculation efficiency and rate control accuracy on Win/Intel platform. And illustrated the-analysis and comparison on experiment results too. These test datum could be served as a reference guide for designer who would develop video coding application with the constraint on hardware performance and price ratio. 几乎在每一种视频标准的制定过程中或者发布后，都有专家将该标准与它前期的同类标准作压缩效率和计算复杂度的客观比较测试[1] 。这些测试数据尽管有它一定的学术意义，但是对实际开发的指导价值非常有限。其原因有两点：a) 测试过程往往涵盖了编码工具的全集，而在实际应用中不太可能启用所有编码选项，因此，这样测试的压缩效率数据已经背离了实际应用条件； b) 在计算复杂度的对比测试中，一般均使用伴随标准发布的参考源码，而这些源码仅仅是用来验证算法的，它充其量也只是对算法的一种数学描述。在标准的实现过程中，免不了要对编/ 解码器(CODE)展开算法优化和代码 优化，这些优化往往又要结合

常见的几种高清视频编码格式

高清视频的编码格式有五种，即H.264、MPEG-4、MPEG-2、WMA-HD以及VC-1。事实上，现在网络上流传的高清视频主要以两类文件的方式存在：一类是经过MPEG-2标准压缩，以tp和ts为后缀的视频流文件；一类是经过WMV-HD(Windows Media Video High Definition)标准压缩过的wmv文件，还有少数文件后缀为avi或mpg，其性质与wmv是一样的。真正效果好的高清视频更多地以H.264与VC-1这两种主流的编码格式流传。 H.264编码 H.264编码高清视频 H.264是由国际电信联盟(iTU-T)所制定的新一代的视频压缩格式。H.264 最具价值的部分是更高的数据压缩比，在同等的图像质量，H.264的数据压缩比能比当前DVD系统中使用的 MPEG-2高2～3倍，比MPEG-4高1.5～2倍。正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。在 MPEG-2需要6Mbps的传输速率匹配时，H.264只需要1Mbps～2Mbps 的传输速率，目前H.264已经获得DVD Forum与Blu-ray Disc Association采纳，成为新一代HD DVD的标准，不过H.264解码算法更复杂，计算要求比WMA-HD 还要高。 从ATI的Radeon X1000系列显卡、NVIDIA的GeForce 6/7系列显卡开始，它们均加入对H.264硬解码的支持。与MPEG-4一样，经过H.264压缩的视频文件一般也是采用avi 作为其后缀名，同样不容易辨认，只能通过解码器来自己识别。 总的来说，常见的几种高清视频编码格式的特点是能够以更低的码率得到更高的画质，相同效果的MPEG2与H.264影片做比较，后者在容量上仅需前者的一半左右。这也就意味着，H.264不仅能够节省HDTV的存储空间，而且还可以

视频编码标准汇总及比较

视频编码标准汇总及比较 MPEG-1 类型：Audio&Video 制定者：MPEG(Moving Picture Expert Group) 所需频宽：2Mbps 特性：对动作不激烈的视频信号可获得较好的图像质量，但当动作激烈时，图像就会产生马赛克现象。它没有定义用于额外数据流进行编对码的格式，因此这种技术不能广泛推广。它主要用于家用VCD，它需要的存储空间比较大。 优点：对动作不激烈的视频信号可获得较好的图像质量。 缺点：当动作激烈时，图像就会产生马赛克现象。它没有定义用于额外数据流进行编对码的格式，因此这种技术不能广泛推广。 应用领域：Mixer 版权方式：Free 备注：MPEG-1即俗称的VCD。MPEG是ISO/IEC JTC1 1988年成立的运动图像专家组（Moving Picture Expert Group）的简称，负责数字视频、音频和其他媒体的压缩、解压缩、处理和表示等国际技术标准的制定工作。MPEG-1制定于1992年，它是将视频数据压缩成1~2Mb/s的标准数据流。对于清晰度为352×288的彩色画面，采用25帧/秒，压缩比为50：1时，实时录像一个小时，经计算可知需存储空间为600MB左右，若是8路图像以每天录像10小时，每月30天算，则要求硬盘存储容量为1440GB，则显然是不能被接受的。 --------------------------------------------------------------------------------------------- MPEG-2

类型：Audio&Video 制定者：MPEG(Moving Picture Expert Group) 所需频宽：视频上4.3Mbps，音频上最低的采样率为16kHz 特性：编码码率从每秒3兆比特～100兆比特，是广播级质量的图像压缩标准，并具有CD 级的音质。MPEG-2的音频编码可提供左、右、中及两个环绕声道，以及一个加重低音声道，和多达7个伴音声道。作为MPEG-1的兼容性扩展，MPEG-2支持隔行扫描视频格式和其它先进功能，可广泛应用在各种速率和各种分辨率的场合。但是MPEG-2标准数据量依然很大，不便存放和传输。 优点：MPEG-2的音频编码可提供左、右、中及两个环绕声道，以及一个加重低音声道，和多达7个伴音声道，具有CD级的音质。可提供一个较广的范围改变压缩比，以适应不同画面质量、存储容量以及带宽的要求。支持隔行扫描视频格式和其它先进功能，可广泛应用在各种速率和各种分辨率的场合。 缺点：压缩比较低，数据量依然很大，不便存放和传输，如用于网络方面则需要较高的网络带宽，因此不太适合用于Internet和VOD点播方面。 应用领域：Mixer 版税方式：按个收取(最初的收费对象为解码设备和编码设备，中国DVD制造商每生产一台DVD需要交纳专利费16.5美元。向解码设备和编码设备收取的专利授权费每台2.5美元) 备注：MPEG-2是其颁布的（活动图像及声音编码）国际标准之一，制定于1994年，是为高级工业标准的图像质量以及更高的传输率而设计，为了力争获得更高的分辨率 （720×486），提供广播级视频和CD级的音频，它是高质量视频音频编码标准。在常规电视的数字化、高清晰电视HDTV、视频点播VOD，交互式电视等各个领域中都是核心的技术之一。由于MPEG-2在设计时的巧妙处理，使得大多数MPEG-2解码器也可播放MPEG-1格式的数据，如VCD。MPEG-2的音频编码可提供左、右、中及两个环绕声道，以及一个加重低音声道，和多达7个伴音声道。我们平时所说的DVD就是采用MPEG-2编码压缩，所以可有8种语言的配音。除了作为DVD的指定标准外，MPEG-2的应用前景非常的广阔，

视频压缩编码标准H.264详解

视频压缩编码标准H.264详解 ——新疆大学2006级工硕郭新军 JVT（Joint Video Team，视频联合工作组）于2001年12月在泰国Pattaya 成立。它由ITU-T和ISO两个国际标准化组织的有关视频编码的专家联合组成。JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。目前JVT的工作已被ITU-T接纳，新的视频压缩编码标准称为H.264标准，该标准也被ISO接纳，称为AVC（Advanced Video Coding）标准，是MPEG-4的第10部分。 H.264标准可分为三档： 基本档次（其简单版本，应用面广）； 主要档次（采用了多项提高图像质量和增加压缩比的技术措施，可用于SDTV、HDTV和DVD等）； 扩展档次（可用于各种网络的视频流传输）。 H.264不仅比H.263和MPEG-4节约了50％的码率，而且对网络传输具有更好的支持功能。它引入了面向IP包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。H.264具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。H.264支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。H.264能适应于不同网络中的视频传输，网络亲和性好。 一、H.264视频压缩系统 H.264标准压缩系统由视频编码层（VCL）和网络提取层（Network Abstraction Layer，NAL）两部分组成。VCL中包括VCL编码器与VCL解码器，主要功能是视频数据压缩编码和解码，它包括运动补偿、变换编码、熵编码等压缩单元。NAL则用于为VCL提供一个与网络无关的统一接口，它负责对视频数据

音频、视频压缩有哪些技术标准

音频、视频压缩有哪些技术标准？ 视频压缩技术有：MPEG-4、H263、H263+、H264等 MPEG-4视频编码技术介绍 MPEG是“Moving Picture Experts Group”的简称，在它之前的标准叫做JPEG，即“Joint Photographic Experts Group”。当人们用到常见的“.jpg”格式时，实际上正在使用JPEG的标准。JPEG规范了现代视频压缩的基础，而MPEG把JPEG 标准扩展到了运动图象。 MPEG-4视频编码标准支持MPEG-1、MPEG-2中的大多数功能，它包含了H.263的核心设计，并增加了优先特性和各种各样创造性的新特性。它提供不同的视频标准源格式、码率、帧频下矩形图像的有效编码，同时也支持基于内容的图像编码。采纳了基于对象(Object-Based)的编码、基于模型(Model-based)的编码等第二代编码技术是MPEG-4标准的主要特征。 MPEG4与MPEG1、MPEG2的比较 从上表可以看出，MPEG1和MPEG2主要应用于固定媒体，比如 VCD 和 DVD ，而对于网络传输，MPEG4具有无可比拟的优势。 H.263/H.263+/H.264视频编码技术介绍 1.H.263视频编码标准 1.H.263是最早用于低码率视频编码的ITU-T标准，随后出现的第二 版(H.263+)及H.263++增加了许多选项，使其具有更广泛的适用性。 H.263是ITU-T为低于64kb/s的窄带通信信道制定的视频编码标准。 它是在H.261基础上发展起来的，其标准输入图像格式可以是

S-QCIF、QCIF、CIF、4CIF或者16CIF的彩色4∶2∶0亚取样图像。 H.263与H.261相比采用了半象素的运动补偿，并增加了4种有效的 压缩编码模式。 2.H.263+视频压缩标准 1.ITU-T在H.263发布后又修订发布了H.263标准的版本2，非正式 地命名为H.263+标准。它在保证原H.263标准核心句法和语义不变 的基础上，增加了若干选项以提高压缩效率或改善某方面的功能。原 H.263标准限制了其应用的图像输入格式，仅允许5种视频源格式。 H.263+标准允许更大范围的图像输入格式，自定义图像的尺寸，从而 拓宽了标准使用的范围，使之可以处理基于视窗的计算机图像、更高 帧频的图像序列及宽屏图像。为提高压缩效率，H.263+采用先进的帧 内编码模式；增强的PB-帧模式改进了H.263的不足，增强了帧间预 测的效果；去块效应滤波器不仅提高了压缩效率，而且提供重建图像 的主观质量。为适应网络传输，H.263+增加了时间分级、信噪比和空 间分级，对在噪声信道和存在大量包丢失的网络中传送视频信号很有 意义；另外，片结构模式、参考帧选择模式增强了视频传输的抗误码 能力。 3.H.264视频压缩标准 1.H.264是由ISO/IEC与ITU-T组成的联合视频组(JVT)制定的新一 代视频压缩编码标准。对信道时延的适应性较强，既可工作于低时延 模式以满足实时业务，如会议电视等；又可工作于无时延限制的场合， 如视频存储等。 2.提高网络适应性，采用“网络友好”的结构和语法，加强对误码和 丢包的处理，提高解码器的差错恢复能力。 3.在编/解码器中采用复杂度可分级设计，在图像质量和编码处理之 间可分级，以适应不同复杂度的应用。 4.相对于先期的视频压缩标准，H.264引入了很多先进的技术，包括 4×4整数变换、空域内的帧内预测、1/4象素精度的运动估计、多参 考帧与多种大小块的帧间预测技术等。新技术带来了较高的压缩比， 同时大大提高了算法的复杂度。 G.7xx系列典型语音压缩标准介绍 G.7xx 是一组 ITU-T 标准，用于视频压缩和解压过程。它主要用于电话方面。在电话学中，有两个主要的算法，分别定义在 mu-law 算法（美国使用）和 a-law 算法（欧洲及世界其他国家使用），两者都是对数关系，但对于计算机的处理来说，后者的设计更为简单。 国际电信联盟G系列典型语音压缩标准的参数比较：

H.264视频编码标准分析和算法优化

H.264编码标准的分析和算法优化 一、研究背景： 随着社会的不断进步和多媒体信息技术的发展，人们对信息的需求越来越丰富，方便、快捷、灵活地通过语音、数据、图像与视频等方式进行多媒体通信已成不可或缺的工具。其中视觉信息给人们直观、生动的形象，因此图像与视频的传输更受到广泛的关注。然而，视频数据具有庞大的数据量，以普通的25帧每秒，CIF格式（分辨率为352×288）的视频图像为例，一秒钟的原始视频数据速率高达3.8M字节。不对视频信号进行压缩根本无法实时传输如此庞大的数据量，因此，视频压缩技术成为研究热点。 随着近几年来视频图像传输领域的不断扩展，以往的标准己经难于适应不同信道的传输特征及新兴的应用环境。为此，ISO/IEC&ITU-T共同开发了最新视频编码标准H.264/AVC。相对以前的视频编码标准，H.264集成了许多新的视频压缩技术，具有更高的压缩效率和图像质量。在同等的图像质量条件下，H.264的数据压缩比是应用于当前DVD系统MPEG-2的2~3倍，比MPEG-4高1.5~2倍，并且具有更好的网络友好性。但是H.264高压缩比的代价是编码器计算复杂度大幅度地提高。因此在保持编码效率几乎不变的同时尽可能提高编码速度是H.264/AVC视频编码标准能否得到广泛应用的关键。 在上述研究背景下，本文深入探讨了H.264/AVC标准，分析了编码器主要耗时模块的工作原理，提出三种降低H.264/AVC高计算复杂度的优化算法――快速帧内预测模式选择算法、快速帧间预测模式选择算法以及快速运动估计算法。实验结果表明：本文所提快速算法都可大幅度地降低H.264编码器的计算复杂度，并且保持基本不变的编码效率。 二、新一代视频编码标准H.264简介： 编码标准演进过程：H.261 MPEG-1 MPEG-2 H.263 MPEG-4 从视频编码标准的发展历程来看，视频编码标准都有一个不断追求的目标：在尽可能低的码率（或存储容量）下获得尽可能好的图像质量。MPEG-2、MPEG-4、H.263等标准都取得了巨大的成功，但在应用中也发现一些问题。H.263众多的选项往往令使用者无所适从；MPEG-2压缩效率己显略低；引人注目的MPEG-4的“基于对象的编码”由于尚有技术障碍，目前还难以普遍应用。在此背景下，两大国际标准化组织ITU-T和ISO共同制定了新一代视频编码标准H.264。该编码标准在混合编码的框架下引入新的编码方式，解决了目前编码标 准存在的问题，进一步贴近实际应用，其应用前景是不言而喻的。 三、H.264视频编码标准概述 JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。JVT的工作已于2003年3月被ITU-T采纳，新的视频编码标准称为H.264标准。该标准也被ISO采纳，称为AVC（Advanced Video Coding）标准，是国际标准ISO14496-10（MPEG-4的第10部分），因此总称为H.264/AVC。 H.264着重于提高压缩效率和传输的可靠性，因而其应用面十分广泛。具体来说，H.264支持三个不同档次的应用： 1、基本档次：H.264简单版本，应用面广，主要用于视频会话，如会议电视、可视电话、远程医疗、远程教学等。 2、主要档次：采用了多项提高图像质量和增加压缩比的技术措施，主要用于消费电子应用，可用于SDTV、HDTV和DVD等。 3、扩展档次：主要用于各种网络的视频流传输，如视频点播等。

视频压缩格式的分析和对比(MJPEG、MPEG-4、H.264等)

视频压缩格式的分析和对比（MJPEG、MPEG-4、H.264等） 时间：2011-08-06 点击数：1977 视频压缩格式的分析和对比（MJPEG、MPEG-4、H.264等） 1．H.261 H.261又称为P*64，其中P为64kb/s的取值范围，是1到30的可变参数，它最初是针对在ISDN上实现电信会议应用特别是面对面的可视电话和视频会议而设计的。实际的编码算法类似于MPEG算法，但不能与后者兼容。H.261在实时编码时比MPEG所占用的CPU运算量少得多，此算法为了优化带宽占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运动的图像比相对静止的图像质量要差。因此这种方法是属于恒定码流可变质量编码而非恒定质量可变码流编码。 2．H.263 H.263是国际电联ITU-T的一个标准草案，是为低码流通信而设计的。但实际上这个标准可用在很宽的码流范围，而非只用于低码流应用，它在许多应用中可以认为被用于取代H.261。H.263的编码算法与H.261一样，但做了一些改善和改变，以提高性能和纠错能力。.263标准在低码率下能够提供比H.261更好的图像效果，两者的区别有：(1)H.263的运动补偿使用半象素精度，而H.261则用全象素精度和循环滤波；(2)数据流层次结构的某些部分在H.263中是可选的，使得编解码可以配置成更低的数据率或更好的纠错能力；(3)H.263包含四个可协商的选项以改善性能；(4)H.263采用无限制的运动向量以及基于语法的算术编码；(5)采用事先预测和与MPEG中的P-B帧一样的帧预测方法；(6)H.263支持5种分辨率，即除了支持H.261中所支持的QCIF和CIF外，还支持SQCIF、4CIF和16CIF，SQCIF相当于QCIF一半的分辨率，而4CIF和16CIF分别为CIF的4倍和16倍。 1998年IUT-T推出的H.263＋是H.263建议的第2版，它提供了12个新的可协商模式和其他特征，进一步提高了压缩编码性能。如H.263只有5种视频源格式，H.263＋允许使用更多的源格式，图像时钟频率也有多种选择，拓宽应用范围；另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率，增强了视频信息在易误码、易丢包异构网络环境下的传输。另外，H.263＋对H.263中的不受限运动矢量模式进行了改进，加上12个新增的可选模式，不仅提高了编码性能，而且增强了应用的灵活性。H.263已经基本上取代了H.261。 二、M-JPEG M-JPEG（Motion- Join Photographic Experts Group）技术即运动静止图像（或逐帧）压缩技术，广泛应用于非线性编辑领域可精确到帧编辑和多层图像

新一代视频编码技术---H.265HEVC高效视频编码技术

新一代视频编码技术--- H.265/HEVC高效视频编码技术 音视频信息包含图像、语音、文字等各种信息，是人与人之间沟通的重要媒介，因此以音视频为核心的视频会议、视频指挥、视频监控、可视电话等各种音视频系统成为现代各个行业和领域信息化建设领域的重点。然而，高清晰的实时图像数据量巨大，以图像分辨率为1920X1080，颜色取样深度为24bit，每秒帧数为60帧的实时高清视频为例，未经压缩处理的图像通过网络传输每秒的流量将达到355.957MB。 为了实现在有限带宽下传输如此高数据量的视频图像，音视频应用系统通过使用编码设备将图像进行压缩编码大幅降低数据量后再通过网络传输，目前这些编码设备主要采用H.264编码技术。H.264又称MPEG-4part10，由VCEG和MPEG联合组成的JVT （JointVideoTeam）于2003年3月正式发布，经过十余年的发展，H.264已被业内的厂商广泛的采纳和使用。 H.264采用帧内、帧间预测技术，高精度、多模式的位移估计，整数变换编码以及先进的量化处理和滤波处理，在同等保真条件下，大幅提高了编码效率。但是，H.264也存在一定的局限性，例如，由于图像分辨率的大大增加，单个宏块所表示的图像内容信息大大减少，H.264所采用的4×4或8×8宏块经过整数变换后，低频系数相似程度也大大提高，出现大量冗余，导致H.264编码对高清视频的压缩效率明显降低，而目前720P，1080P高清图像已经成为音视频应用系统的主流，未来图像分辨率将达到4K（4096 x 2160）、8K（8192×4320），H.264已经无法满足用户对高清视频图像传输的需求。 新一代视频编码技术---H.265/HEVC高效视频编码技术的出现为解决这问题提供了手段。 H.265/HEVC在现有的主流视频编码标准H.264上保留了一些较为成熟的技术和继承其现有的优势，同时采用了基于四叉树结构的编码分割、预测编码技术等先进的编码技术，视频压缩效率将比H.264提高大约一半，可以轻松实现在低带宽下实现1080P图像的传输，同时支持4K、8K高清图像的传输。业内厂商纷纷开展了H.265/HEVC编码产品的研发和应用，例如武汉兴图新科已率先实现H.265/HEVC编码器的规模化应用，推出支持HDSDI 、DVI、HDMI 等各种视频制式的H.265/HEVC高清编码器，该型号的编码器在同等图像质量下，图像数据量只有MPEG2的1/16，MPEG4的1/6，H.264的1/2，同时实现在高达25%丢包率的不稳定网络环境下稳定传输。随着用户对高清和超高清视频的需求，基于H.265/HEVC标准的编码器将得到广泛的应用。

高效视频编码标准中的关键技术概述

本栏目责任编辑：唐一东 多媒体技术及其应用高效视频编码标准中的关键技术概述 张玢 （渭南师范学院数学与信息科学学院网络工程技术中心，陕西渭南714000） 摘要：高效视频编码标准(High Efficiency Video Coding)是视频压缩领域继H.264/AVC 之后的又一重大突破，主要面向高 清电视（HDTV ）以及视频编解码系统，文章从HEVC 基本体系出发，较全面地介绍了HEVC 在编码结构、自适应样点补 偿、自适应环路滤波以及并行化设计方面采用的关键技术。 关键词：视频编码；H.265/HEVC ；变换结构 中图分类号：TP391文献标识码：A 文章编号：1009-3044(2013)18-4316-03 Research on Core Techniques in the High Efficiency Video Coding ZHANG Bin (Center of Network Engineering Technology,College of Mathematics and Information Science,Weinan Normal University, Weinan 714000,China ) Abstract:As the successor to H.264/AVC,the High Efficiency Video Coding standard targets at next-generation HDTV dis? plays and video compression systems.The encode architectures and some of the key technologies used in the new model are in? troduced in this paper.Those key technologies involve with code structure,sample adaptive offset,adaptive loop filter and paral? lel structure. Key words:video coding;H.265/HEVC;transforming structure 国际电联(ITU)已正式批准通过了高效视频编码标准H.265/HEVC(High Efficiency Video Coding)，性能比H.264压缩标准有了很大的改善。H.265/HEVC 标准对压缩技术进行了改进，旨在有限带宽下传输更高质量的网络视频，H.265标准也同时支持超高清视频：4K (4096×2160)和8K(8192×4320)。可以说，H.265标准让网络视频跟上了显示屏“高分辨率化”的脚步。1HEVC 编码架构 视频编码压缩的基本原理，是充分利用时间、空间的相关性，尽可能的去除冗余信息。目前通常采用混合视频编码框架，即按照相关原则将一帧数据划分为若干块，通过预测、变换、量化、熵编码等一系列算法来实现视频压缩。 与H.264/AVC 相似，H.265/HEVC 的编码架构主要包含：帧内预测、帧间预测、转换、量化、去区块滤波器、熵编码等模块，但与H.264基于宏块不同，HEVC 整体被分为了三个基本单位：编码单位(CU ，coding unit )、预测单位(PU ，predict unit)和转换单位(TU ，transform unit)。2HEVC 使用的优势技术 H.265/HEVC 标准在之前压缩标准的基础上进行了技术改进，有以下基本算法：图像与声音分解与合成、图像与声音前处理、小波子带熵速率控制、小波子带熵量化与反量化、小波子带邻域交叉降维等，这些算法虽然复杂，但将压缩效率提升了一倍以上，该标准具体有以下几个方面的优势技术。1）编码结构灵活与H.264的4×4和8×8变换块相比，H.265/HEVC 引入了更大的宏块类型，扩充到16×16、32×32甚至于64×64的变换和量化算法，目的在于减少高清数字视频的宏块个数，描述宏块内容的参数信息也相对减少，以便于高分辨率视频的压缩。 为了提高视频的编码压缩效率，H.265/HEVC 提出了超大尺寸四叉树编码结构，该编码结构更加灵活，并使用CU ，PU 和TU 3个概念来描述整个编码过程。 收稿日期：2013-06-03 基金项目：渭南师范学院研究生专项基金项目（12YKZ048） 作者简介：张玢（1986-），女，陕西渭南人，教师，硕士研究生，主要从事嵌入式开发研究。 4316

视频压缩编码标准H.264详解

视频压缩编码标准H.264详解

视频压缩编码标准H.264详解 ——新疆大学2006级工硕郭新军 JVT（Joint Video Team，视频联合工作组）于2001年12月在泰国Pattaya 成立。它由ITU-T和ISO两个国际标准化组织的有关视频编码的专家联合组成。JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。目前JVT的工作已被ITU-T接纳，新的视频压缩编码标准称为H.264标准，该标准也被ISO接纳，称为AVC（Advanced Video Coding）标准，是MPEG-4的第10部分。 H.264标准可分为三档： 基本档次（其简单版本，应用面广）； 主要档次（采用了多项提高图像质量和增加压缩比的技术措施，可用于SDTV、HDTV和DVD等）； 扩展档次（可用于各种网络的视频流传输）。 H.264不仅比H.263和MPEG-4节约了50％的码率，而且对网络传输具有更好的支持功能。它引入了面向IP包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。H.264具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。H.264支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。H.264能适应于不同网络中的视频传输，网络亲和性好。 一、H.264视频压缩系统 H.264标准压缩系统由视频编码层（VCL）和网络提取层（Network Abstraction Layer，NAL）两部分组成。VCL中包括VCL编码器与VCL解码器，主要功能是视频数据压缩编码和解码，它包括运动补偿、变换编码、熵编码等压缩单元。NAL则用于为VCL提供一个与网络无关的统一接口，它负责对视频数

视频编码全参数

视频编码参数 编码类型 编码类型为H264。 Adaptive DCT 允许使用8*8DCT。对画面质量和压缩效率都有好处。I4*4，P4*4，P8*8，B8*8：AVC标准允许使用多种DCT 块划分方式，这里就能选择允许使用的DCT块划分方式。前面的字母代表对于的帧类型，后面的数字代表块大小。本选项对画面质量和压缩效率都有好处，推荐都选上。I8*8需要ADaptive DCT打开才有效。 帧率 每秒的帧数(fps)或者说帧率表示图形处理器处理场时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的动画。一般来说30fps就是可以接受的，但是将性能提升至60fps则可以明显提升交互感和逼真感，但是一般来说超过75fps一般就不容易察觉到有明显的流畅度提升了。如果帧率超过屏幕刷新率只会浪费图形处理的能力，因为监视器不能以这么快的速度更新，这样超过刷新率的帧率就浪费掉了。 GOP（Group of picture） 关键帧的周期，也就是两个IDR帧之间的距离，一

个帧组的最大帧数，一般而言，每一秒视频至少需要使用 1 个关键帧。增加关键帧个数可改善质量，但是同时增加带宽和网络负载。 需要说明的是，通过提高GOP值来提高图像质量是有限度的，在遇到场景切换的情况时，H.264编码器会自动强制插入一个I帧，此时实际的GOP值被缩短了。另一方面，在一个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量比较差时，会影响到一个GOP中后续P、B帧的图像质量，直到下一个GOP开始才有可能得以恢复，所以GOP 值也不宜设置过大。 同时，由于P、B帧的复杂度大于I帧，所以过多的P、B帧会影响编码效率，使编码效率降低。另外，过长的GOP还会影响Seek操作的响应速度，由于P、B帧是由前面的I或P帧预测得到的，所以Seek操作需要直接定位，解码某一个P或B帧时，需要先解码得到本GOP内的I帧及之前的N个预测帧才可以，GOP值越长，需要解码的预测帧就越多，seek响应的时间也越长。 CABAC/CAVLC H.264/AVC标准中两种熵编码方法，CABAC叫自适应二进制算数编码，CAVLC叫前后自适应可变长度编码，这两个选项中，CAVLC是低质量的，易于解码的选项，CABAC是高质量的，难于解码的选项。

视频编码技术

视频编码技术 所谓视频编码方式就是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式。目前视频流传输中最为重要的编解码标准有国际电联的H.261、H.263，运动静止图像专家组的M-JPEG和国际标准化组织运动图像专家组的MPEG系列标准，此外在互联网上被广泛应用的还有Real-Networks的RealVideo、微软公司的WMV以及Apple公司的QuickTime等。 目前监控中主要采用MJPEG、MPEG1/2、MPEG4(SP/ASP）、H.264/A VC、VC-1、RealVideo等几种视频编码技术。对于最终用户来言他最为关心的主要有：清晰度、存储量（带宽）、稳定性还有价格。采用不同的压缩技术，将很大程度影响以上几大要素。 MJPEG MJPEG（Motion JPEG）压缩技术，主要是基于静态视频压缩发展起来的技术，它的主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩。 MJPEG压缩技术可以获取清晰度很高的视频图像，可以动态调整帧率、分辨率。但由于没有考虑到帧间变化，造成大量冗余信息被重复存储，因此单帧视频的占用空间较大，目前流行的MJPEG技术最好的也只能做到3K字节/帧，通常要8~20K！ MPEG-1/2 MPEG-1标准主要针对SIF标准分辨率(NTSC制为352X240；PAL制为352X288）的图像进行压缩. 压缩位率主要目标为 1.5Mb/s.较MJPEG技术，MPEG1在实时压缩、每帧数据量、处理速度上有显著的提高。但MPEG1也有较多不利地方：存储容量还是过大、清晰度不够高和网络传输困难。 MPEG-2 在MPEG-1基础上进行了扩充和提升，和MPEG-1向下兼容，主要针对存储媒体、数字电视、高清晰等应用领域，分辨率为：低（352x288），中（720x480），次高（1440x1080），高（1920x1080）。MPEG-2视频相对MPEG-1提升了分辨率，满足了用户高清晰的要求，但由于压缩性能没有多少提高，使得存储容量还是太大，也不适合网络传输。 MPEG-4 MPEG-4视频压缩算法相对于MPEG-1/2在低比特率压缩上有着显著提高，在CIF（352*288）或者更高清晰度（768*576）情况下的视频压缩，无论从清晰度还是从存储量上都比MPEG1具有更大的优势，也更适合网络传输。另外MPEG-4可以方便地动态调整帧率、比特率，以降低存储量。 MPEG-4由于系统设计过于复杂，使得MPEG-4难以完全实现并且兼容，很难在视频会议、可视电话等领域实现，这一点有点偏离原来地初衷。另外对于中国企业来说还要面临高昂的专利费问题，目前规定： －每台解码设备需要交给MPEG-LA 0.25美元。 －编码/解码设备还需要按时间交费（4美分/天=1.2美元/月=14.4美元/年）。 H.264/A VC 视频压缩国际标准主要有由ITU-T制定的H.261、H.262、H.263、H.264和由MPEG制定的MPEG-1、MPEG-2、MPEG-4，其中H.262/MPEG-2和

视频编码标准的发展和研究

收稿日期:2006-08-07 作者简介:郑君君(1981-),女,河南济源人,硕士研究生,研究方向为多媒体技术与应用;刘连芳,研究员,研究方向为多媒体技术、数据库技术。 视频编码标准的发展和研究 郑君君,刘连芳 (广西大学计算机与电子信息学院,广西南宁530004) 摘　要:数字视频编码技术是数字信息传输、存储、播放等环节的前提和基础,数字视频编码标准是信息领域的基础性标准,成为近20年来整个数字视频领域国际竞争的热点。概述了国际国内视频编码标准发展的过程,侧重介绍了中国制定的具有自主知识产权的视频标准AVS (Audio Video coding Standard )标准。关键词:MPEG -X;H.26X;AVS 中图分类号:TN919.81 文献标识码:A 文章编号:1673-629X (2007)05-0076-03 Overvie w of Video Coding Standard ZHEN G J un 2jun ,L IU Lian 2fang (Sch.of Computer and Electronics Info.,Guangxi Univ.,Nanning 530004,China ) Abstract :Digital video coding technology is the precondition and foundation of transmission ,storage and playing of digital information.Video coding standard is one of the most important parts in the communication field ,and it becomes the focus of international competi 2tion.The paper summarized the most of video coding technologies and standards ,furthermore ,have a detailed presentation of Chinese standard of our own :AVS (Audio Video coding Standard ).K ey w ords :MPEG -X ;H.26X ;AVS 0　引　言 20世纪90年代以来,强大而廉价的处理器、快速 的网络访问以及对视频的大量研究,推动了视频编码技术的发展。国际电信联盟(ITU )和国际标准化组织 (ISO )相应制定了一系列视 频编码标准。视频标准发展的过程如图1所示,其中, H.261[1],MPEG -1[2],MPEG -2[3],H.263[4]属于 第一代编码标准,压缩能力为50～75倍;MPEG -4[5]、 H.264[6]属于第二代编码标 准,压缩效率可达100～ 150倍。第二代编码技术将使国际数字视频产业格局重新“洗牌”,技术变革带给中国数字视频产业超越欧美框架的重要的历史机遇。在这种环境下,我们国家制定了具有自主知识产权的 AVS 标准。文中将分别对国际国内标准的技术特征 和性能进行分析,并详细介绍AVS 中采用的视频编码新技术。 图1　视频标准发展历程 1　视频编码的国际标准 国际上视频编码标准主要有两大系列:国际电联制定的H.26X 系列标准;国际标准化组织和国际电工委员会第一联合技术组(ISO/IEC J TC1)制定的 MPEG -X 系列标准。1.1　H.26X 系列标准1.1.1　H.261 H.261是ITU -T 第15研究组于1984～1989年 第17卷　第5期2007年5月 计算机技术与发展COMPU TER TECHNOLO GY AND DEV ELOPMEN T Vol.17　No.5May 2007

H.265视频编码标准简介

H.265 H.265是ITU-T VCEG正在规划中的视频编码标准，期望在2008-2010期间推出。其目标是给音视频服务提供更好的视频编码方法。音视频服务包括会话式和非会话式音视频服务。其中会话式音视频服务包括视频会议和可视电话，非会话式音视频服务包括流媒体、广播、文档下载、媒体存储/播放和数字摄像机。 H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置。视频编码标准的发展会更加适应各种类型的网络，比如，internet、LAN、Mobile、ISDN、GSTN、H.222.0、NGN等网络。具 体的研究内容包括：提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的时延、减少信道获取时间和随机接入时延、降低复杂度等。 传输码率要求和图像解析度 H.263可以1.3~1.8Mbps的传输速度实现标准清晰度广播级数字电视（符合CCIR601、CCIR656标准要求的720*576）；而H264由于算法优化，可以低于1Mbps 的速度实现标清数字图像传送；H265相比h264进步更为明显，可以实现利用 1~2Mbps的传输速度传送720P（分辨率1280*720）普通高清音视频传送。 H.265会有哪些进展？ 在运动预测方面，下一代算法可能不再沿袭“宏块”的画面分割方法，而可能采用面向对象的方法，直接辨别画面中的运动主体。在变换方面，下一代算法可能不再沿袭基于付立叶变换的算法族，有很多文章在讨论，其中提请大家注意所谓的“超完备变换”，主要特点是：其MxN的变换矩阵中，M大于N，甚至远大于N，变换后得到的向量虽然比较大，但其中的0元素很多，经过后面的熵编码压缩后，就能得到压缩率较高的信息流。 关于运算量，H.26?的压缩效率比MPEG-2提高了1倍多，其代价是计算量提高了至少4倍，导致高清编码需要100GOPS的峰值计算能力。尽管如此，仍有可能使用目前的主流IC工艺和普通设计技术，设计出达到上述能力的专用硬件电路，且使其批量生产成本维持在原有水平。5年（或许更久）以后，新的技术被接受为标准，其压缩效率应该比H.26?至少提高1倍，估计对于计算量的需求仍然会增加4倍以上。随着半导体技术的快速进步，相信届时实现新技术的专用芯片的批量生产成本应该不会有显著提高。因此，500GOPS，或许是新一代技术对于计算能力的需求上限。H.265具体简介 ZPAV (H.265) 是音视频压缩解压协议，非常不同于H264/MPEG4，ZPAV (H.265) 的基本算法是小波，多级树集合群，广义小波，数学形态小波，...... ZPAV