(完整)流媒体传输协议及音视频编解码技术
1.1音视频编解码技术
1.1.1 MPEG4
MPEG全称是Moving Pictures Experts Group，它是“动态图象专家组”的英文缩写，该专家组成立于1988年，致力于运动图像及其伴音的压缩编码标准化工作，原先他们打算开发MPEG1、MPEG2、MPEG3和MPEG4四个版本，以适用于不同带宽和数字影像质量的要求。
目前，MPEG1技术被广泛的应用于VCD，而MPEG2标准则用于广播电视和DVD等。MPEG3最初是为HDTV开发的编码和压缩标准，但由于MPEG2的出色性能表现，MPEG3只能是死于襁褓了。MPEG4于1999年初正式成为国际标准。它是一个适用于低传输速率应用的方案。与MPEG1和MPEG2相比，MPEG4更加注重多媒体系统的交互性和灵活性MPEG1、MPEG2技术当初制定时，它们定位的标准均为高层媒体表示与结构，但随着计算机软件及网络技术的快速发展，MPEG1、MPEG2技术的弊端就显示出来了：交互性及灵活性较低，压缩的多媒体文件体积过于庞大，难以实现网络的实时传播。而MPEG4技术的标准是对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频，术语称为“AV对象”，而连续的AV对象组合在一起又可以形成AV场景。因此，MPEG4标准就是围绕着AV对象的编码、存储、传输和组合而制定的，高效率地编码、组织、存储、传输AV 对象是MPEG4标准的基本内容。
在视频编码方面，MPEG4支持对自然和合成的视觉对象的编码。（合成的视觉对象包括2D、3D动画和人面部表情动画等）。在音频编码上，MPEG4可以在一组编码工具支持下，对语音、音乐等自然声音对象和具有回响、空间方位感的合成声音对象进行音频编码。
由于MPEG4只处理图像帧与帧之间有差异的元素，而舍弃相同的元素，因此大大减少了合成多媒体文件的体积。应用MPEG4技术的影音文件最显著特点就是压缩率高且成像清晰，一般来说，一小时的影像可以被压缩为350M左右的数据，而一部高清晰度的DVD电影, 可以压缩成两张甚至一张650M CD光碟来存储。对广大的“平民”计算机用户来说，这就意味着, 您不需要购置DVD-ROM就可以欣赏近似DVD质量的高品质影像。而且采用MPEG4编码技术的影片，对机器硬件配置的要求非常之低，300MHZ 以上CPU，64M的内存和一个8M显存的显卡就可以流畅的播放。在播放软件方面，它要求也非常宽松，你只需要安装一个500K左右的MPEG4 编码驱动后，用WINDOWS 自带的媒体播放器就可以流畅的播放了
AV对象（AVO，Audio Visual Object）是MPEG-4为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体，对象的划分可根据其独特的纹理、运动、形状、模型和高层语义为依据。在MPEG-4中所见的音视频已不再是过去MPEG-1、MPEG-2中图像帧的概念，而是一个个视听场景（AV场景），这些不同的AV场景由不同的AV对象组成。AV对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始AV对象，它可以是自然的或合成的声音、图像。原始AV对象具有高效编码、高效存储与传输以及可交互性的特性，它又可进一步组成复合AV对象。因此MPEG-4标准的基本内容就是对AV对象进行高效编码、组织、存储与传输。AV对象的提出，使多媒体通信具有高度交互及高效编码的能力，AV对象编码就是MPEG-4的核心编码技术。
MPEG-4不仅可提供高压缩率，同时也可实现更好的多媒体内容互动性及全方位的存取性，它采用开放的编码系统，可随时加入新的编码算法模块，同时也可根据不同应用需求现场配置解码器，以支持多种多媒体应用
1.1.2 H264
H.264是由ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）联合组建的联合视频组（JVT：joint video team）提出的一个新的数字视频编码标准，
它既是ITU-T的H.264，又是ISO/IEC的MPEG-4的第10 部分。而国内业界通常所说的MPEG-4是MPEG-4的第2部分。H.264标准从1998年1月份开始草案征集，到2003年7月，整套H.264 （ISO/IEC 14496-10）规范定稿。2005年1月，MPEG组织正式发布了H.264验证报告，从各个方面论证了H.264的可用性以及各种工具集的效果，从标准的角度，印证H.264的成熟性。
从标准制定到颁布，H.264一直是ITU、MPEG、DVD、DVB、3GPP等工业化组织共同推进的视频编码国际标准，可以想见，在众多行业巨擘的推动下，H.264技术的应用将迅速进入到视频服务、媒体制作发行、固定及移动运营网络、平台开发、设备终端制造、芯片开发等多个领域。
H.264使图像压缩技术上升到了一个更高的阶段，能够在较低带宽上提供高质量的图像传输，该优点非常适合国内运营商用户量大、接入网/骨干网带宽相对有限的状况。在同等的画质下，H.264比上一代编码标准MPEG2平均节约64％的传输码流，而比MPEG4 ASP 要平均节约39％的传输码流。全球很多IPTV业务运营商都将H.264作为编解码格式的标准，包括比利时电信，荷兰KPN，泰国ADC电信，中国电信等等。
根据中国电信上海研究院的实际测试结果表明：国内普遍采用的MPEG-4编码技术在3Mbps的带宽下尚达不到标清的图像质量，而H.264编码技术可以在2M带宽下提供要求的图像效果。因而运营商希望引入更先进的H.264编码技术，在有限的带宽资源下进一步提高图像质量。
1.2流媒体网络传输协议
流媒体技术采用一系列的网络协议，包括：
1.实时传输协议RTP(Real-time Transport protocol)
2.实时传输控制协议RTCP(Real-time Transport Control protocol)
3.实时流协议RTSP(Real Time Streaming protocol)
4.资源预留协议RSVP(Resource Reserve Protocol)。
1.2.1 RTP
RTP是一种提供端对端传输服务的实时传输协议，用来支持在单目标广播和多目标广播网络服务中传输实时数据，而实时数据的传输则由RTCP协议来监视和控制。
RTP定义在RFC 1889中。信息包的结构包含广泛用于多媒体的若干个域，包括声音点播(audio-on-demand)、影视点播(video on demand)、因特网电话(Internet telephony)和电视会议(videoconferencing)。RTP的规格没有对声音和电视的压缩格式制定标准，它可以被用来传输普通格式的文件。例如，W A V或者GSM(G lobal S ystem for M obile communications)格式的声音、MPEG-1和MPEG-2的电视，也可以用来传输专有格式存储的声音和电视文件。
使用RTP协议的应用程序运行在RTP之上，而执行RTP的程序运行在UDP的上层，目的是为了使用UDP的端口号和检查和。如下图所示，RTP可以看成是传输层的子层。由多媒体应用程序生成的声音和电视数据块被封装在RTP信息包中，每个RTP信息包被封装在UDP
RTP是传输层上的协议
从应用开发人员的角度来看，可把RTP执行程序看成是应用程序的一部分，因为开发人员必需把RTP集成到应用程序中。在发送端，开发人员必需把执行RTP协议的程序写入到创建RTP信息包的应用程序中，然后应用程序把RTP信息包发送到UDP的套接接口(socket interface)，如下图所示；同样，在接收端，RTP信息包通过UDP套接接口输入到应用程序，因此开发人员必需把执行RTP协议的程序写入到从RTP信息包中抽出媒体数据的应用程序。
RTP和UDP之间的接口
RTP本身不提供任何机制来确保把数据及时递送到接收端或者确保其他的服务质量，它也不担保在递送过程中不丢失信息包或者防止信息包的次序不被打乱。的确，RTP的封装只是在系统端才能看到，中间的路由器并不区分那个IP数据报是运载RTP信息包的。
RTP允许给每个媒体源分配一个单独的RTP信息包流，例如，摄像机或者麦克风。例如，有两个团体参与的电视会议，这就可能打开4个信息包流：两台摄像机传送电视流和两个麦克风传送声音流。然而，许多流行的编码技术，包括MPEG-1和MPEG-2在编码过程中都把声音和电视图像捆绑在一起以形成单一的数据流，一个方向就生成一个RTP信息包流。
RTP信息包没有被限制只可应用于单目标广播，它们也可以在一对多(one-to-many)的多目标广播树或者在多对多(many-to-many)的多目标广播树上传送。例如，多对多的多目标广播，在这种应用场合下，所有发送端通常都把他们的RTP信息包流发送到具有相同多目标广播地址的多目标广播树上。
RTP标题由4个信息包标题域和其他域组成：有效载荷类型(payload type)域，顺序号(sequence number)域，时间戳(timestamp)域和同步源标识符(Synchronization Source Identifier)
1. 有效载荷类型
RTP信息包中的有效载荷域(Payload Type Field)的长度为7位，因此RTP可支持128种不同的有效载荷类型。对于声音流，这个域用来指示声音使用的编码类型，例如PCM、自适应增量调制或线性预测编码等等。如果发送端在会话或者广播的中途决定改变编码方法，发送端可通过这个域来通知接收端。
2. 顺序号
顺序号(Sequence Number Field)域的长度为16位。每发送一个RTP信息包顺序号就加1，接收端可以用它来检查信息包是否有丢失以及按顺序号处理信息包。例如，接收端的应用程序接收到一个RTP信息包流，这个RTP信息包在顺序号86和89之间有一个间隔，接收端就知道信息包87和88已经丢失，并且采取措施来处理丢失的数据。（初始是随机的）
3. 时间戳
时间戳(Timestamp)域的长度为32字节。它反映RTP数据信息包中第一个字节的采样时刻(时间)。接收端可以利用这个时间戳来去除由网络引起的信息包的抖动，并且在接收端为播放提供同步功能。（由该时间恢复出原始时钟信息，要处理分布式终端的时钟漂移）
4. 同步源标识符
同步源标识符(S ynchronization S ou rc e Identifier，SSRC)域的长度为32位。它用来标识RTP信息包流的起源，在RTP会话或者期间的每个信息包流都有一个清楚的SSRC。SSRC 不是发送端的IP地址，而是在新的信息包流开始时源端随机分配的一个号码。（用于媒体间同步）
1.2.2 RTCP
实时传输控制协议(R eal-t ime C ontrol P rotocol，RTCP)也定义在1996年提出的RFC 1889中。多媒体网络应用把RTCP和RTP一起使用，尤其是在多目标广播中更具吸引力。当从一个或者多个发送端向多个接收端广播声音或者电视时，也就是在RTP会话期间，每个参与者周期性地向所有其他参与者发送RTCP控制信息包，如图所示。RTCP用来监视服务质量和传送有关与会者的信息。对于RTP会话或者广播，通常使用单个多目标广播地址，属于这个会话的所有RTP和RTCP信息包都使用这个多目标广播地址，通过使用不同的端口号可把RTP信息包和RTCP信息包区分开来。
每个参与者周期性地发送RTCP控制信息包
RTCP的主要功能是为应用程序提供会话质量或者广播性能质量的信息。每个RTCP信息包不封装声音数据或者电视数据，而是封装发送端和/或者接收端的统计报表。这些信息包括发送的信息包数目、丢失的信息包数目和信息包的抖动等情况，这些反馈信息对发送端、接收端或者网络管理员都是很有用的。RTCP规格没有指定应用程序应该使用这个反馈信息做什么，这完全取决于应用程序开发人员。例如，发送端可以根据反馈信息来修改传输速率，接收端可以根据反馈信息判断问题是本地的、区域性的还是全球性的，网络管理员也可以使用RTCP信息包中的信息来评估网络用于多目标广播的性能。
1.2.3 RTSP
实时流放协议(Real-Time Streaming Protocol，RTSP)是一个刚开始开发的协议，它的设想描述在RFC 2326文件中。RTSP是应用级的实时流放协议，它主要目标是为单目标广播和多目标广播上的流式多媒体应用提供牢靠的播放性能，以及支持不同厂家提供的客户机和
服务机之间的协同工作能力。
在RTSP中，每个演示（Presentation）及其所对应的媒体流都由一个RTSP URL标识。整个演示及媒体特性都在一个演示描述（Presentation description）文件中定义，该文件可能包括媒体编码方式、语言、RTSP URLs、目标地址、端口及其它参数。用户在向服务器请求某个连续媒体流的服务之前，必须首先从服务器获得该媒体流的演示描述（Presentation description）文件以得到必需的参数，演示描述文件的获取可采用HTTP、email或其他方法。
RTSP中的所有的操作都是通过服务器和客户方的消息应答来完成的，其消息包括请求（Request）和响应（Response）两种，RTSP正是通过服务器和客户端的消息应答来完成媒体流的创建、初始化（SETUP）、VCR(盒式录像机VideoCassetteRecorder)控制（PLAY、PAUSE）以及拆线（TEARDOWN）等操作的。在基于Client/Server结构的分布式视频点播系统中，RTSP协议的操作过程如图：
客户机在向视频服务器请求视频服务之前，首先通过HTTP协议从Web服务器获取所请求视频服务的演示描述（Presentation description）文件，利用该文件提供的信息定位视频服务地址（包括视频服务器地址和端口号）及视频服务的编码方式等信息。然后客户机根据上述信息向视频服务器请求视频服务(SETUP)。视频服务初始化完毕，视频服务器为该客户建立一个新的视频服务流，客户端与服务器运行实时流控制协议RTSP，以对该流进行各种VCR控制信号的交换，如播放（PLAY）、停止（PAUSE）、快进、快退等。当服务完毕，客户端提出拆线（TEARDOWN）请求，释放资源。
例子：
频道切换的RTSP信息
06/07/12 03:02:07:750 Debuger Connect Succeed, Port=10010, Connected!
06/07/12 03:02:08:390 RTSP: MEDIA_CLOSE cmd recv!
06/07/12 03:02:08:390 ******(Clinet => Server)******
COMMAND******TEARDOWN
rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814324870782148.sdp?userid =26770602&clientt。。。。。（断开视频服务器的相关信息）
。。。。。。。
06/07/12 03:02:09:484 The transpot type is
06/07/12 03:02:09:593 ******(Clinet =>
Server)************COMMAND******DESCRIBE
rtsp://172.16.102.100:1554/008/unicast/ch06070814315964857960.sdp?userid=26770602&cli
enttype=1&mediai。。。。。。（用户发出频道请求时，Agent的相关信息）
06/07/12 03:02:10:812 RTSP response isn't 200 but other 302! （重定向）
06/07/12 03:02:10:812 RTSP: MEDIA_CLOSE cmd recv!
06/07/12 03:02:10:812 ******(Clinet =>
Server)************COMMAND******TEARDOWN
rtsp://172.16.102.100:1554/008/unicast/ch06070814315964857960.sdp?userid=26770602&cli enttype=1&mediaid=ch06。。。。。。（与Agent断开的相关信息）
。。。。。
06/07/12 03:02:10:812 The transpot type is
06/07/12 03:02:10:812 ******(Clinet =>
Server)************COMMAND******DESCRIBE
rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814315964857960.sdp?userid =26770602&clientt。。。。。。（由Agent指定的流媒体服务器信息）
。。。。。。
06/07/12 03:02:10:812 ******(Server => Clinet)**********RESPONSE******RTSP/1.0 200 OK
Server: ZMSS/V1.20.033E (Build/2006.06.12; Platform/Linux; Release/ZMSS; )（流媒体的版本信息）
。。。。。
Content-Base:
rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814315964857960.sdp/ 。。。。
06/07/12 03:02:10:812 ******(Clinet => Server)***********COMMAND******SETUP rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814315964857960.sdp/trackI D=2 RTSP/1.0
。。。。。
06/07/12 03:02:10:812 ******(Server =>
Clinet)***********RESPONSE******RTSP/1.0 200 OK
。。。。。。。
06/07/12 03:02:10:812 ******(Clinet => Server)***********COMMAND******PLAY rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814315964857960.sdp?userid =26770602&clientt。。。。。
06/07/12 03:02:10:921 ******(Server => Clinet)**********RESPONSE******RTSP/1.0 200 OK
。。。。。
RTP-Info:
url=rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814315964857960.sdp/tra ckID=2
06/07/12 03:02:10:140 RTSP: ******
Client>*********COMMAND*****SET_PARAMETER
rtsp://172.16.58.101/008/unicast/device172016058101/ch06070814315964857960.sdp RTSP/1.0 CSeq: 1 x-SpeedupPlay: NO
点播节目播放的RTSP信息
06/07/12 04:58:12:921 Debuger Connect Succeed, Port=10010, Connected!
06/07/12 04:58:18:593 The transpot type is
06/07/12 04:58:18:593 ******(Clinet =>
Server)************COMMAND*****DESCRIBE
rtsp://172.16.102.100:1554/008/vod/00000000020000000415.mpg?userid=26770602&clientt ype=1&mediaid=0000000003020000000017&paytype=0&time=20060712125824+08&life= 3600&usersessionid=120695&vcdnid。。。。。。。。。
06/07/12 04:58:19:468 RTSP response isn't 200 but other 302! （重定向）
06/07/12 04:58:19:468 RTSP: MEDIA_CLOSE cmd recv!
06/07/12 04:58:19:468 ******(Clinet =>
Server)*******COMMAND******TEARDOWN
rtsp://172.16.102.100:1554/008/vod/00000000020000000415.mpg?userid=26770602&clientt ype=1&mediaid=0。。。。。。。。。。
06/07/12 04:58:19:468 ******(Clinet =>
Server)*********COMMAND******DESCRIBE
rtsp://172.16.58.101/008/vod/00000000020000000415.mpg?userid=26770602&clienttype=1 &mediaid=0000000。。。。。。。。。。。
06/07/12 04:58:20:796 ******(Server => Clinet)*********RESPONSE******RTSP/1.0 200 OK
Server: ZMSS/V1.20.033E (Build/2006.06.12; Platform/Linux; Release/ZMSS; )
Content-Base: rtsp://172.16.58.101/008/vod/00000000020000000415.mpg/
。。。。。。
06/07/12 04:58:20:796 ******(Clinet =>
Server)***********COMMAND******SETUP
rtsp://172.16.58.101/008/vod/00000000020000000415.mpg/trackID=1 RTSP/1.0
。。。。。
06/07/12 04:58:20:796 ******(Server => Clinet)*********RESPONSE******RTSP/1.0 200 OK
Server: ZMSS/V1.20.033E (Build/2006.06.12; Platform/Linux; Release/ZMSS; )
。。。。。。
06/07/12 04:58:20:796 ******(Clinet => Server)***********COMMAND******PLAY rtsp://172.16.58.101/008/vod/00000000020000000415.mpg?userid=26770602&clienttype=1 &mediaid=0000000。。。。。
06/07/12 04:58:20:796 ******(Server => Clinet)********RESPONSE******RTSP/1.0 200 OK
。。。。。。。。。
RTP-Info:
url=rtsp://172.16.58.101/008/vod/00000000020000000415.mpg/trackID=1;seq=0;rtptime=0 06/07/12 04:58:20:453 RTSP: ******
x-SpeedupPlay:NO
1.2.4RSVP
RSVP协议是一种可以提供音频、视频、数据等混合服务的互联网络综合服务（IIS
Internet Integrated service ) [RSVP97,RFC1633]。通过它，主机端可以向网络申请特定的QoS，为特定的应用程序提供有保障的数据流服务。同时RSVP在数据流经过的各个路由器节点上对资源进行预留，并维持该状态直到应用程序释放这些资源。
RSVP对资源的申请是单向的，所以RSVP在申请资源的过程中发送端和接受端是逻辑上完全不同的两个部分。（虽然发送端和接受端可以运行在同一个进程下）。RSVP工作在IPv4或IPv6上，处于 OSI七层协议中的传送层，但是，RSVP并不处理传送层的数据，从本质上看，RSVP更象是网络控制协议，如ICMP（Internet Control Message Protocol），IGMP （Internet Group Management Protocol）或是路由协议。和路由协议及管理协议的实现相同，RSVP的实现通常在后台执行，而不是出现在数据传送的路径上（图一）。
RSVP本身并不是路由协议，RSVP是和现在或是将来出现的点对点传播和多点组播协议一起工作的。RSVP进程通过本地的路由数据库来获取路由信息，如在多点组播过程中，主机端送出IGMP报文来加入一个多点组播的组群，然后送出RSVP报文在组群的传送路径上保留网络资源，路由协议决定报文的走向，而RSVP仅关心这些报文在它将走的路径上能否获得满意的服务质量。
为了适应可能出现的大规模组群、动态组群、异类接受端的可能，RSVP采取由接受端发起服务质量（QoS）申请的策略。QoS请求从接受端的应用程序出发交给本地的RSVP 驻留进程，再由该RSVP驻留进程将该请求递交给沿数据传送的反向路径（接受端至发送端）上的各个节点（路由器或是主机）进行资源的申请。所以，RSVP协议在资源保留上花费一般是呈对数而不是线形幅度增长。
1.3流媒体播放方式
1.3.1单播
在客户端与流媒体服务器之间建立一个单独的数据通道，从一台服务器送出的每个数据包只能传送给一个客户机，这种传送方式为单播。每个用户必须分别对媒体服务器发送单独的查询，而媒体服务器必须向每个用户发送所申请的数据包拷贝。这种巨大冗余首先造成服务器沉重的负担，响应需要很长时间，甚至停止播放，管理人员也被迫增加硬件和宽带来保证一定的服务质量。
1.3.2组播
组播技术构建一种具有组播能力的网络，允许路由器一次将数据包复制到多个通道上.采用组播方式，单台服务器能够对几十万台客户机同时发送连续数据而无延时。媒体服务器只需要发送一个信息包，而不是多个，所以发出请求的客户端共享同一信息包。信息可以发送到任意地址的客户机，以减少网络上传输的信息包的总量。网络利用率大大提高，成本大大降低。
1.3.3点播与广播
点播连接是客户端与服务器之间的主动连接。在点播连接中，用户通过选择内容项目来初始化客户端连接。用户可以开始、停止、后退、快进或暂停流。点播连续提供了对流的最大控制，但这种方式由于每个客户各自连接服务器，就会迅速用完网络带宽。
广播指的是用户被动接受流。在广播过程中，客户端接收流，但不能控制流，例如，用户不能暂停、快进或后退该流。在使用单播发送时，需要将数据包复制多个副本，以多个点对点的方式分别发送到需要它的那些用户，而使用广播方式发送，数据包的单独一个副本将发送给网络上的所有用户，而不管用户是否需要。上述两种传输方式非常浪费网络带宽。
组播吸收了上述两种发送方式的长处，克服了上述两种发送方式的弱点，将数据包的单独一个拷贝发送给需要的的那些用户。
1.4业界中流媒体系统的简介
目前有三大主流流媒体系统解决方案，包括RealNetWorks的RealServer、Mirosoft的
Windows Media Server、Apple的QuickTime Streaming Server（QTSS）。
RTSP(实时流媒体协议)
rtsp简介(ZT) Real Time Streaming Protocol或者RTSP（实时流媒体协议），是由Real network 和Netscape共同提出的如何有效地在IP网络上传输流媒体数据的应用层协议。RTSP提供一种可扩展的框架，使能够提供能控制的，按需传输实时数据，比如音频和视频文件。源数据可以包括现场数据的反馈和存贮的文件。rtsp对流媒体提供了诸如暂停，快进等控制，而它本身并不传输数据，rtsp作用相当于流媒体服务器的远程控制。传输数据可以通过传输层的tcp，udp协议，rtsp也提供了基于rtp传输机制的一些有效的方法。RTSP消息格式: RTSP的消息有两大类,一是请求消息(request),一是回应消息(response),两种 消息的格式不同. 请求消息: 方法URI RTSP版本CR LF 消息头CR LF CR LF 消息体CR LF 其中方法包括OPTION回应中所有的命令,URI是接受方的地址,例如 :rtsp://192.168.20.136 RTSP版本一般都是RTSP/1.0.每行后面的CR LF表示回车换行，需要接受端有相应的解析，最后一个消息头需要有两个CR LF 回应消息: RTSP版本状态码解释CR LF 消息头CR LF CR LF 消息体CR LF 其中RTSP版本一般都是RTSP/1.0,状态码是一个数值,200表示成功,解释是与状态码对应的文本解释. 简单的rtsp交互过程: C表示rtsp客户端,S表示rtsp服务端 1.C->S:OPTION request //询问S有哪些方法可用 1.S->C:OPTION response //S回应信息中包括提供的所有可用方法 2.C->S:DESCRIBE request //要求得到S提供的媒体初始化描述信息 2.S->C:DESCRIBE response //S回应媒体初始化描述信息，主要是sdp 3.C->S:SETUP request //设置会话的属性，以及传输模式，提醒S建立会 话 3.S->C:SETUP response //S建立会话，返回会话标识符，以及会话相关信息 4.C->S:PLAY request //C请求播放 4.S->C:PLAY response //S回应该请求的信息 S->C:发送流媒体数据 5.C->S:TEARDOWN request //C请求关闭会话 5.S->C:TEARDOWN response //S回应该请求
音视频技术基本知识一
https://www.wendangku.net/doc/3311669875.html, 音视频技术基本知识一 网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云总结网络上的知识，与大家分享一下音视频技术基本知识。 与画质、音质等有关的术语 这些术语术语包括帧大小、帧速率、比特率及采样率等。 1、帧 一般来说，帧是影像常用的最小单位，简单的说就是组成一段视频的一幅幅图片。电影的播放连续的帧播放所产生的，现在大多数视频也类似，下面说说帧速率和帧大小。 帧速率，有的转换器也叫帧率，或者是每秒帧数一类的，这可以理解为每一秒的播放中有多少张图片，一般来说，我们的眼睛在看到东西时，那些东西的影像会在眼睛中停留大约十六分之一秒，也就是视频中只要每秒超过15帧，人眼就会认为画面是连续不断的，事实上早期的手绘动画就是每秒播放15张以上的图片做出来的。但这只是一般情况，当视频中有较快的动作时，帧速率过小，动作的画面跳跃感就会很严重,有明显的失真感。因此帧速率最好在24帧及以上，这24帧是电影的帧速率。 帧大小，有的转换器也叫画面大小或屏幕大小等，是组成视频的每一帧的大小，直观表现为转换出来的视频的分辨率的大小。一般来说，软件都会预置几个分辨率，一般为320×240、480×320、640×360、800×480、960×540、1280×720及1920×1080等，当然很多转换器提供自定义选项，这里，不得改变视频长宽比例。一般根据所需要想要在什么设备上播放来选择分辨率，如果是转换到普通手机、PSP等设备上，视频分辨率选择与设备分辨率相同，否则某些设备可能会播放不流畅，设备分辨率的大小一般都可以在中关村在线上查到。 2、比特率 比特率，又叫码率或数据速率，是指每秒传输的视频数据量的大小，音视频中的比特率，是指由模拟信号转换为数字信号的采样率；采样率越高，还原后的音质和画质就越好；音视频文件的体积就越大，对系统配置的要求也越高。 在音频中，1M以上比特率的音乐一般只能在正版CD中找到，500K到1M的是以APE、FLAC等为扩展名的无损压缩的音频格式，一般的MP3是在96K到320K之间。目前，对大多数人而言，对一般人而言192K就足够了。 在视频中，蓝光高清的比特率一般在40M以上，DVD一般在5M以上，VCD一般是在1M 以上。（这些均是指正版原盘，即未经视频压缩的版本）。常见的视频文件中，1080P的码率一般在2到5M之间，720P的一般在1到3M，其他分辨率的多在一M一下。 视频文件的比特率与帧大小、帧速率直接相关，一般帧越大、速率越高，比特率也就越大。当然某些转换器也可以强制调低比特率，但这样一般都会导致画面失真，如产生色块、色位不正、出现锯齿等情况。
(完整)流媒体传输协议及音视频编解码技术
1.1音视频编解码技术 1.1.1 MPEG4 MPEG全称是Moving Pictures Experts Group，它是“动态图象专家组”的英文缩写，该专家组成立于1988年，致力于运动图像及其伴音的压缩编码标准化工作，原先他们打算开发MPEG1、MPEG2、MPEG3和MPEG4四个版本，以适用于不同带宽和数字影像质量的要求。 目前，MPEG1技术被广泛的应用于VCD，而MPEG2标准则用于广播电视和DVD等。MPEG3最初是为HDTV开发的编码和压缩标准，但由于MPEG2的出色性能表现，MPEG3只能是死于襁褓了。MPEG4于1999年初正式成为国际标准。它是一个适用于低传输速率应用的方案。与MPEG1和MPEG2相比，MPEG4更加注重多媒体系统的交互性和灵活性MPEG1、MPEG2技术当初制定时，它们定位的标准均为高层媒体表示与结构，但随着计算机软件及网络技术的快速发展，MPEG1、MPEG2技术的弊端就显示出来了：交互性及灵活性较低，压缩的多媒体文件体积过于庞大，难以实现网络的实时传播。而MPEG4技术的标准是对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频，术语称为“AV对象”，而连续的AV对象组合在一起又可以形成AV场景。因此，MPEG4标准就是围绕着AV对象的编码、存储、传输和组合而制定的，高效率地编码、组织、存储、传输AV 对象是MPEG4标准的基本内容。 在视频编码方面，MPEG4支持对自然和合成的视觉对象的编码。（合成的视觉对象包括2D、3D动画和人面部表情动画等）。在音频编码上，MPEG4可以在一组编码工具支持下，对语音、音乐等自然声音对象和具有回响、空间方位感的合成声音对象进行音频编码。 由于MPEG4只处理图像帧与帧之间有差异的元素，而舍弃相同的元素，因此大大减少了合成多媒体文件的体积。应用MPEG4技术的影音文件最显著特点就是压缩率高且成像清晰，一般来说，一小时的影像可以被压缩为350M左右的数据，而一部高清晰度的DVD电影, 可以压缩成两张甚至一张650M CD光碟来存储。对广大的“平民”计算机用户来说，这就意味着, 您不需要购置DVD-ROM就可以欣赏近似DVD质量的高品质影像。而且采用MPEG4编码技术的影片，对机器硬件配置的要求非常之低，300MHZ 以上CPU，64M的内存和一个8M显存的显卡就可以流畅的播放。在播放软件方面，它要求也非常宽松，你只需要安装一个500K左右的MPEG4 编码驱动后，用WINDOWS 自带的媒体播放器就可以流畅的播放了 AV对象（AVO，Audio Visual Object）是MPEG-4为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体，对象的划分可根据其独特的纹理、运动、形状、模型和高层语义为依据。在MPEG-4中所见的音视频已不再是过去MPEG-1、MPEG-2中图像帧的概念，而是一个个视听场景（AV场景），这些不同的AV场景由不同的AV对象组成。AV对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始AV对象，它可以是自然的或合成的声音、图像。原始AV对象具有高效编码、高效存储与传输以及可交互性的特性，它又可进一步组成复合AV对象。因此MPEG-4标准的基本内容就是对AV对象进行高效编码、组织、存储与传输。AV对象的提出，使多媒体通信具有高度交互及高效编码的能力，AV对象编码就是MPEG-4的核心编码技术。 MPEG-4不仅可提供高压缩率，同时也可实现更好的多媒体内容互动性及全方位的存取性，它采用开放的编码系统，可随时加入新的编码算法模块，同时也可根据不同应用需求现场配置解码器，以支持多种多媒体应用 1.1.2 H264 H.264是由ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）联合组建的联合视频组（JVT：joint video team）提出的一个新的数字视频编码标准，
视频处理技术
S3 视频处理 S1.1 视频基础知识 视频信息是连续变化的影像，通常是指实际场景的动态演示，例如电影、电视、摄像资料等。视频信息带有同期音频，画面信息量大，表现的场景复杂，通常采用专门的软件对其进行加工和处理。 S3.1.1 视频设备 常用的视频设备主要有采集卡（用于采集模拟信号）、1394卡（用于采集数字视频信号）、DVD/CD 刻录机（存储视频）。 S3.1.2 视频格式 1、AVI AVI的英文全称为Audio Video Interleaved，即音频视频交错格式。它于1992年被Microsoft 公司推出，随Windows3.1一起被人们所认识和熟知。所谓“音频视频交错”，就是可以将视频和音频交织在一起进行同步播放。这种视频格式的优点是图像质量好，可以跨多个平台使用，其缺点是体积过于庞大，而且更加糟糕的是压缩标准不统一，最普遍的现象就是高版本Windows媒体播放器播放不了采用早期编码编辑的AVI格式视频，而低版本Windows媒体播放器又播放不了采用最新编码编辑的AVI格式视频，所以我们在进行一些AVI格式的视频播放时常会出现由于视频编码问题而造成的视频不能播放或即使能够播放，但存在不能调节播放进度和播放时只有声音没有图像等一些莫名其妙的问题，如果用户在进行AVI格式的视频播放时遇到了这些问题，可以通过下载相应的解码器来解决。 DV-AVI格式：DV的英文全称是Digital Video Format，是由索尼、松下、JVC等多家厂商联合提出的一种家用数字视频格式。目前非常流行的数码摄像机就是使用这种格式记录视频数据的。它可以通过电脑的IEEE 1394端口传输视频数据到电脑，也可以将电脑中编辑好的的视频数据回录到数码摄像机中。这种视频格式的文件扩展名一般是.avi，所以也叫DV-AVI格式。 2、MPEG MPEG-1制定于1992年，为工业级标准而设计，可适用于不同带宽的设备，如CD-ROM、Video-CD、CD-i。它可针对SIF标准分辨率(对于NTSC制为352X240；对于PAL制为352X288)的图象进行压缩，传输速率为1.5Mbits/sec，每秒播放30帧，具有CD(指激光唱盘)音质，质量级别基本与VHS相当。MPEG的编码速率最高可达4-5Mbits/sec，但随着速率的提高，其解码后的图象质量有所降低。 MPEG-2制定于1994年，设计目标是高级工业标准的图象质量以及更高的传输率。MPEG-2所能提供的传输率在3-10Mbits/sec间,其在NTSC制式下的分辨率可达720X486，MPEG-2也可提供并能够提供广播级的视像和CD级的音质。MPEG-2的音频编码可提供左右中及两个环绕声道,以及一个加重低音声道，和多达7个伴音声道(DVD可有8种语言配音的原因)。由于MPEG-2在设计时的巧妙处理，使得大多数MPEG-2解码器也可播放MPEG-1格式的数据，如VCD。 MPEG-4标准主要应用于视像电话(videophone)，视像电子邮件(VideoEmail)和电子新闻(Electronicnews)等，其传输速率要求较低，在4800-64000bits/sec之间，分辨率176X144。 MPEG-4利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最佳的图象质量。与MPEG-1和MPEG-2相比，MPEG-4的特点是其更适于交互AV服务以及远程监控。
视频流媒体架构解决方案
视频流媒体平台解决方案 一、视频云服务于存储架构 本视频流媒体平台的建设过程中，需要重点关注的点分别是并行视频实时转播与分发、视频录像分布存储，视频服务器和视频录像服务器的分布存储与资源共享。这些架构的实现都得益于“视频云平台”的搭建，将视频直播、转发、存储分布并行处理，负载均衡监控视频负载的相关信息，达到动态的监控和自动调整视频播放路由方案与录像优化存储。从而在最大限度节省硬件服务器的同时，实现视频资源的共享。
二、视频流媒体多站点服务架构 在实际应用中，视频流媒体平台的建设方案，需在监控中心及下属网点(收费站)建设相应的硬件系统及软件平台，硬件系统主要包括服务器、网络设备及存储设备等，软件平台包括路段分中心监控系统及各收费站监控系统。 三、逻辑分层结构 视频流媒体平台系统逻辑架构划分为四个层次，如下图所示：
平台访问层 系统应用层 PC WEB 端手机移动端平板移动端电视墙 系统管理 子系统 设备资源管理子系统权限配置管理子系统监控调度管理子系统解码服务 子系统录像管理子系统运行监控子系统应用服务子系统 应用支撑层 用户管理设备管理接口管理流媒体服务 视频调阅解码上墙录像存储平台级联 基础支撑层 摄像机硬盘录像机解码器电视墙服务器 综合布线网络互连通信保障 图1 平台总体架构图 3.1基础支撑层 主要包括用于支持后台视频你管理服务运行的主机及服务器、用以采集前端视频源的摄像机摄像机、用于编码转换的编解码器和硬盘录像机、用于存储视频的磁盘阵列以及展示视频的监视器和电视墙等一系列支撑设备。 3.2应用支撑层 应用支撑平台，作为自主研发的视频平台，在整个框架中承担着承上启下的关键作用，处于应用系统层和基础支撑层之间，为实现视频调阅、流媒体服务、录像管理等应用提供技术支撑，是构建工程核心应用系统的基础。应用支撑层主要包括用户管理、设备管理、接口管理、流媒体服务、视频调阅、解码上墙、录像存储、平台级联等。
rtmp流媒体协议
H5视频直播扫盲 1 H5到底能不能做视频直播 当然可以， H5火了这么久，涵盖了各个方面的技术。 对于视频录制，可以使用强大的webRTC（Web Real-Time Communication）是一个支持网页浏览器进行实时语音对话或视频对话的技术，缺点是只在PC的chrome上支持较好，移动端支持不太理想。 对于视频播放，可以使用HLS(HTTP Live Streaming)协议播放直播流，ios和android都天然支持这种协议，配置简单，直接使用video标签即可。 webRTC兼容性： video标签播放hls协议视频：
1 2 3 4 2 到底什么是HLS协议 简单讲就是把整个流分成一个个小的，基于HTTP的文件来下载，每次只下载一些，前面提到了用于H5播放直播视频时引入的一个.m3u8的文件，这个文件就是基于HLS协议，存放视频流元数据的文件。 每一个.m3u8文件，分别对应若干个ts文件，这些ts文件才是真正存放视频的数据，m3u8文件只是存放了一些ts文件的配置信息和相关路径，当视频播放时，.m3u8是动态改变的，video标签会解析这个文件，并找到对应的ts文件来播放，所以一般为了加快速度，.m3u8放在web服务器上，ts文件放在cdn上。 .m3u8文件，其实就是以UTF-8编码的m3u文件，这个文件本身不能播放，只是存放了播放信息的文本文件： 1 2 3 4 5#EXTM3U m3u文件头 #EXT-X-MEDIA-SEQUENCE 第一个TS分片的序列号#EXT-X-TARGETDURATION 每个分片TS的最大的时长#EXT-X-ALLOW-CACHE是否允许cache #EXT-X-ENDLISTm3u8文件结束符
音视频技术方案
电影院音视频系统 技术方案 启拓电子（中国）有限公司全国热线电话：400 1818 026
一、概述 1、引言 数字电影指的是从电影制作工艺、制作方式、到发行及传播方式上均全面数字化。与传统电影相比，数字电影最大的区别是不再以胶片为载体，以拷贝为发行方式，而是以数字文件形式发行或通过网络、卫星直接传送到影院。数字化播映是由高亮度、高清晰度、高反差的电子放映机依托宽带数字存储、传输技术实现的。 2、发展状况 电影院是为观众放映电影的场所。电影在产生初期，是在咖啡厅、茶馆等场所放映的。随着电影的进步与发展，出现了专门为放映电影而建造的电影院。电影的发展——从无声到有声乃至立体声，从黑白片到彩色片，从普通银幕到宽银幕乃至穹幕、环幕，使电影院的形体、尺寸、比例和声学技术都发生了很大变化。电影院必须满足电影放映的工艺要求，得到应有的良好视觉和听觉效果。 电影的历史已有百年之久．它的每一次进步都缘于科技的推动，数字技术进入电影产业．是电影继无声变有声，黑白变彩色之后的第三次革命性改进，数字技术的介入，将使电影从制作到表现手法、运作方式、发行方式、播映方式都发生革命性的变化。 电影业在长期发展中形成了全球统一的标准，一部影片可以在全球任何影院放映。数字影院发展初期，由于没有标准，各系统不能兼容，阻碍了数字影院成规模发展。在建立统一的数字影院标准的呼声
下， 2002年4月，好莱坞七大电影制作公司宣布成立名为DCI （Digital Cinema Initiatives, LLC）的组织来共同制定数字电影技术的标准，并鼓励电影院采用数字式放映设备。 2005年7月DCI 《数字影院系统规范1.0》发布，全球数字影院标准取得了突破性的发展。之后，SMPTE DC28 (美国电影电视工程师协会、数字影院技术标准委员会) 以DCI规范为基础，研究和制定数字影院行业标准，迄今为止，超过50%的数字影院标准已经发布。 3、电影在中国的发展 在国家和政府的大力支持下，2002年2月中国开始了发展影院的进程。目前，我国已建成60多家2K数字影院，成为世界上数字电影发展最快的国家之一。并发行了《天上草原》、《星战前传Ⅰ》、《哈利波特》、《海底总动员》《太行山上》、《蜘蛛侠III》等十几部数字电影。2002年中国电影科学技术研究所起草、制定了《电影技术要求（暂行）》，由国家广电总局颁布，实施。目前，电影科研所还密切追踪国外标准制定组织的进展，参考各项国际规范并结合我国现状及市场需求对已颁布的《电影技术要求（暂行）》进行修改。在城市影院的发展中，将建立与国际接轨的电影标准。 二、需求分析 目前，越来越多的消费者希望着电影院能给观众带来的更直接逼真视觉传达和舒适身临其境的听觉冲击，从1996年以来，出现了利用双音箱音响系统来产生虚拟环绕声的虚拟环绕声技术。虚拟环绕声主要原理是基于人的“双耳效应”原理和“耳廓效应”原理。它是一种利
RTSP协议学习笔记(学习流媒体的时候自己总结的)
RTSP协议学习笔记 目录 RTSP协议学习笔记 (1) 第一部分:RTSP协议 (2) 一、RTSP协议概述 (2) 二、RTSP协议与HTTP协议区别 (2) 三、RTSP重要术语 (3) 1.集合控制(Aggregate control ): (3) 2.实体(Entity)： (3) 3.容器文件（Container file）： (3) 4.RTSP会话(RTSP session )： (3) 四、RTSP请求消息 (3) 1.消息格式： (3) 五、RTSP回应消息 (4) 1.消息格式： (4) 六、RTSP 重要方法 (4) 1. OPTIONS: (4) 2. DESCRIBE： (5) 3. SETUP： (6) 4. PLAY： (7) 5. PAUSE： (8) 6. TEARDOWN： (8) 七、RTSP重要头字段参数 (9) 1.Accept: (9) 2.Bandwidth: (9) 3. CSeq： (9) 4. Rang： (9) 5.Session: (9) 6.Transport: (9) 八、简单的RTSP消息交互过程 (10) 1.第一步：查询服务器端可用方法 (10) 2.第二步：得到媒体描述信息 (10) 3.第三步：建立RTSP会话 (10) 4.第四步：请求开始传送数据 (10) 5.第五步：数据传送播放中 (10) 6.第六步：关闭会话，退出 (10) 第二部分:SDP协议 (11) 一、SDP协议概述 (11) 二、SDP格式 (11) 三、SDP示例 (12) 第三部分:MMS协议 (13) 一、MMS协议概述 (13)
视频网络监控中的流媒体服务器
视频网络监控中的流媒 体服务器 Document serial number【LGGKGB-LGG98YT-LGGT8CB-LGUT-
视频网络监控中的流媒体服务器 讯辉数码研发部-姜涛目前流媒体技术已经相当成熟，成功地解决了在网络一边下载一边收听观看的问题，用户在观看生动清晰的媒体演示的同时，不再为等待传输文件而花费大量时间。但在监控局域网中，流媒体服务器面临着监控网络视频传输的特殊需求。 一、传统直连监控平台不足 传统的点对点的直连监控平台具有很多不足点，主要表现在处理能力有限、无存储能力、在跨网段及安全性上存在问题，容易遭受攻击，此外在主干网压力、接入带宽和出口带宽上容易形成瓶颈，在网络负载均衡处理上不理想。如下图所示。 二、流媒体服务器在监控平台上的功能需求 流媒体服务器需要提供视频转发、用户认证、权限认证，在此基础上提供优化负载均衡的功能，降低网络带宽需求，提高整个视频分发部分的可靠性。 (一) 视频转发实现复杂均衡 流媒体服务器需支持监控网内外的视频转发。当有多个局域网客户端、外网多个客户需要访问同一远程画面时，可通过流媒体服务器从前端DVR中抽取视频进行多路转发，从而在广域网上只占用一个通道的资源。转发服务可以有效地减轻广域网的带宽压力，节省网络资源，不影响视频预览实际效果。 系统通过流媒体服务器来分担网络的负载,提供百人数量级的用户同时直接对前端监控主机进行访问，提高了系统的整体可靠性，使整体网络的负载较为均衡，不会在局部产生传
输瓶颈。 (二) 安全认证 流媒体服务器因涉及到对外网的视频专访，尤其在政府和公安等涉及部分重点机密区域的监控上，需要从用户、权限等多个方面进行安全认证：1）对外网访问用户进行认证，只接受流媒体服务器授权的用户访问；2）可根据时间段对授权用户访问前端主机进行限制，拒绝非授权时间访问；3）通过访问通道限制，实现部分通道的开放。 通过多重访问限制能有效保证监控中心视频数据的安全性，达到不合权限、非法时间的、不在控制列表中的用户无法访问前端主机. 此外，流媒体服务器需根据访问用户的重要性给予不同的级别，实现高级用户占据优势带宽，实现优先访问；根据网络环境情况能对流媒体服务器出口总带宽、前端网络上传视频带宽、前端主机上传通道的路数等多个方面进行限制。 三、展望：流媒体服务器在高清监控中的应用 监控网络发展的趋势已经朝着全数字、全高清IP摄像机的存储，流媒体服务器开始担当高清视频的存储、转发的责任，逐步转化为视频服务器，并随着视频容量的加大，逐步和存储网络(SAN)协作发挥存储转发作用，以更好的满足视频存储转发的需求
流媒体传输协议及音视频编解码技术
1.1 音视频编解码技术 1.1.1 MPEG4 MPEG全称是Moving Pictures Experts Group，它是“动态图象专家组”的英文缩写，该专家组成立于1988年，致力于运动图像及其伴音的压缩编码标准化工作，原先他们打算开发MPEG1、MPEG2、MPEG3和MPEG4四个版本，以适用于不同带宽和数字影像质量的要求。 目前，MPEG1技术被广泛的应用于VCD，而MPEG2标准则用于广播电视和DVD 等。MPEG3最初是为HDTV开发的编码和压缩标准，但由于MPEG2的出色性能表现， MPEG3只能是死于襁褓了。MPEG4于1999年初正式成为国际标准。它是一个适用于低传输速率应用的方案。与MPEG1和MPEG2相比，MPEG4更加注重多媒体系统的交互性和灵活性 MPEG1、MPEG2技术当初制定时，它们定位的标准均为高层媒体表示与结构，但随着计算机软件及网络技术的快速发展，MPEG1、MPEG2技术的弊端就显示出来了：交互性及灵活性较低，压缩的多媒体文件体积过于庞大，难以实现网络的实时传播。而MPEG4技术的标准是对运动图像中的内容进行编码，其具体的编码对象就是图像中的音频和视频，术语称为“AV对象”，而连续的AV对象组合在一起又可以形成AV场景。因此，MPEG4标准就是围绕着AV对象的编码、存储、传输和组合而制定的，高效率地编码、组织、存储、传输AV对象是MPEG4标准的基本内容。 在视频编码方面，MPEG4支持对自然和合成的视觉对象的编码。（合成的视觉对象包括2D、3D动画和人面部表情动画等）。在音频编码上，MPEG4可以在一组编码工具支持下，对语音、音乐等自然声音对象和具有回响、空间方位感的合成声音对象进行音频编码。 由于MPEG4只处理图像帧与帧之间有差异的元素，而舍弃相同的元素，因此大大减少了合成多媒体文件的体积。应用MPEG4技术的影音文件最显著特点就是压缩率高且成像清晰，一般来说，一小时的影像可以被压缩为350M左右的数据，而一部高
视频编解码和流媒体协议.
RTP 参考文档 RFC3550/RFC3551 Real-time Transport Protocol)是用于Internet上针对多媒体数据流的一种传输层协议。RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式。RTP协议常用于流媒体系统（配合RTCP协议），视频会议和一键通（Push to Talk）系统（配合H.323或SIP），使它成为IP电话产业的技术基础。RTP协议和RTP控制协议RTCP一起使用，而且它是建立在UDP协议上的。 RTP 本身并没有提供按时发送机制或其它服务质量（QoS）保证，它依赖于低层服务去实现这一过程。 RTP 并不保证传送或防止无序传送，也不确定底层网络的可靠性。 RTP 实行有序传送， RTP 中的序列号允许接收方重组发送方的包序列，同时序列号也能用于决定适当的包位置，例如：在视频解码中，就不需要顺序解码。 RTP 由两个紧密链接部分组成： RTP ―传送具有实时属性的数据；RTP 控制协议（RTCP）―监控服务质量并传送正在进行的会话参与者的相关信息。 RTCP 实时传输控制协议（Real-time Transport Control Protocol或RTP Control Protocol或简写RTCP）是实时传输协议（RTP）的一个姐妹协议。RTCP为RTP媒体流提供信道外（out-of-band）控制。RTCP本身并不传输数据，但和RTP一起协作将多媒体数据打包和发送。RTCP定期在流多媒体会话参加者之间传输控制数据。RTCP的主要功能是为RTP 所提供的服务质量（Quality of Service）提供反馈。 RTCP收集相关媒体连接的统计信息，例如：传输字节数，传输分组数，丢失分组数，jitter，单向和双向网络延迟等等。网络应用程序可以利用RTCP所提供的信息试图提高服务质量，比如限制信息流量或改用压缩比较小的编解码器。RTCP本身不提供数据加密或身份认证。SRTCP可以用于此类用途。 SRTP & SRTCP 参考文档 RFC3711 安全实时传输协议（Secure Real-time Transport Protocol或SRTP）是在实时传输协议（Real-time Transport Protocol或RTP）基础上所定义的一个协议，旨在为单播和多播应用程序中的实时传输协议的数据提供加密、消息认证、完整性保证和重放保护。它是由David Oran（思科）和Rolf Blom（爱立信）开发的，并最早由IETF于2004年3 月作为RFC3711发布。
视频网络监控中的流媒体服务器
视频网络监控中的流媒体服务器 讯辉数码研发部-姜涛目前流媒体技术已经相当成熟，成功地解决了在网络一边下载一边收听观看的问题，用户在观看生动清晰的媒体演示的同时，不再为等待传输文件而花费大量时间。但在监控局域网中，流媒体服务器面临着监控网络视频传输的特殊需求。 一、传统直连监控平台不足 传统的点对点的直连监控平台具有很多不足点，主要表现在处理能力有限、无存储能力、在跨网段及安全性上存在问题，容易遭受攻击，此外在主干网压力、接入带宽和出口带宽上容易形成瓶颈，在网络负载均衡处理上不理想。如下图所示。 二、流媒体服务器在监控平台上的功能需求 流媒体服务器需要提供视频转发、用户认证、权限认证，在此基础上提供优化负载均衡的功能，降低网络带宽需求，提高整个视频分发部分的可靠性。 (一) 视频转发实现复杂均衡 流媒体服务器需支持监控网内外的视频转发。当有多个局域网客户端、外网多个客户需要访问同一远程画面时，可通过流媒体服务器从前端DVR中抽取视频进行多路转发，从而在广域网上只占用一个通道的资源。转发服务可以有效地减轻广域网的带宽压力，节省网络资源，不影响视频预览实际效果。
系统通过流媒体服务器来分担网络的负载,提供百人数量级的用户同时直接对前端监控主机进行访问，提高了系统的整体可靠性，使整体网络的负载较为均衡，不会在局部产生传输瓶颈。 (二) 安全认证 流媒体服务器因涉及到对外网的视频专访，尤其在政府和公安等涉及部分重点机密区域的监控上，需要从用户、权限等多个方面进行安全认证：1）对外网访问用户进行认证，只接受流媒体服务器授权的用户访问；2）可根据时间段对授权用户访问前端主机进行限制，拒绝非授权时间访问；3）通过访问通道限制，实现部分通道的开放。 通过多重访问限制能有效保证监控中心视频数据的安全性，达到不合权限、非法时间的、不在控制列表中的用户无法访问前端主机. 此外，流媒体服务器需根据访问用户的重要性给予不同的级别，实现高级用户占据优势带宽，实现优先访问；根据网络环境情况能对流媒体服务器出口总带宽、前端网络上传视频带宽、前端主机上传通道的路数等多个方面进行限制。 三、展望：流媒体服务器在高清监控中的应用 监控网络发展的趋势已经朝着全数字、全高清IP摄像机的存储，流媒体服务器开始担当高清视频的存储、转发的责任，逐步转化为视频服务器，并随着视频容量的加大，逐步和存储网络(SAN)协作发挥存储转发作用，以更好的满足视频存储转发的需求
RTSP中文版(实时流媒体协议)
E-mail：bryanj@https://www.wendangku.net/doc/3311669875.html, 译者：Bryan.Wong（王晶，宁夏固原） 译文版本：alpha 0.80 译文发布时间：2007-7-25 版权：本中文翻译文档之版权归王晶所有。可于非商业用途前提下自由转载，但必须保留此翻译及版权信息。 https://www.wendangku.net/doc/3311669875.html,/filedownload?user=bryanj&id=611206 网络工作组 H. Schulzrinne 请求注释: 2326 哥伦比亚大学. 类别: 标准跟踪 A. Rao Netscape R. Lanphier RealNetworks 1998年4月 实时流协议(RTSP) 本备忘录状态 本文为Internet社区描述了一种Internet标准跟踪协议，还需要讨论和建议以便进行改善。请查看最新版本的"Internet正式协议标准"（STD 1）了解本协议的标准化进程和状态。本备忘录的传播不受限制。 版权声明： 版权为The Internet Society 所有。所有权利保留。 摘要： 实时流协议（RTSP）是应用层协议，控制实时数据的传送。RTSP提供了一个可扩展框架，使受控、按需传输实时数据（如音频与视频）成为可能。数据源包括现场数据与存储在剪辑中的数据。本协议旨在于控制多个数据发送会话，提供了一种选择传送途径（如UDP、组播UDP与TCP）的方法，并提供了一种选择基于RTP (RFC1889)的传送机制的方法。
目录： 1 介绍 1.1 目的 1.2 要求 1.3 术语 1.4 协议特性 1.5 RTSP扩展 1.6 整体运作 1.7 RTSP状态 1.8 与其他协议的关系 2 符号协定 3 协议参数 3.1 RTSP版本 3.2 RTSP URL 3.3 会议标识 3.4 会话标识 3.5 SMPTE 相对时间戳 3.6正常播放时间 3.7 绝对时间 3.8 选项标签 3.8.1 用IANA注册新的选项标签*4 RTSP消息 4.1 消息类型 4.2 消息头
网络视频流媒体及其教育应用
龙源期刊网 https://www.wendangku.net/doc/3311669875.html, 网络视频流媒体及其教育应用 作者：曾祥鹏 来源：《科技探索》2014年第02期 摘要：流媒体技术在网络教学中应用，丰富了教学的内容和展现形式，给网络教育带来了强大的生机和活力。本文介绍了视频流媒体的概念、特点，并从视频流媒体在教育中的优势和在教育中的应用这几个方面对视频流媒体进行了简单的系统介绍。 关键词：视频流媒体技术教育应用 随着信息技术的发展，以计算机为核心的多媒体技术的应用己成为二十一世纪教育的主流，教学手段的现代化更是当前实施素质教育、提高课堂教学效率的一种有效途径。在现有互联网技术当中，视频流媒体技术作为一种新兴的技术，已进入远程教育领域，被认为是最有效的辅助教学手段之一。 一、视频流媒体相关简介 1.概念 视频流媒体技术是通过因特网展示图像的技术系统。它可以通过互联网实时和按需发送声音、图像和多媒体信息，解决了视频、音频网上下载时间过长、用户计算机需要有足够硬盘空间等问题。他使用边下载边播放的视频播放方式，同时可以实现资源共享。这种技术无需网络用户等待较长时间下载大的文件夹，信息的播放为在线进行，且不会占用本地计算机的资源。 2.特点 及时性。是指接到命令后立刻实现数据传输，可以为人们提供不受时空、速度、内容等限制的学习；便捷性。是指用户可以方便快捷地从流媒体站点提取或下载能够广泛方便教师制定课程计划、学生学习方案和各种研究的图像内容，能够显示与课程相关的文字、图片、动画等信息，还可以通过多种方式自主学习；实用性。形式多样化的流媒体技术可用于从娱乐到教学等各个方面，且费用在不断下降，质量在不断提高，实用性步伐在不断加快。 二、网络视频流媒体在教育应用中的优势 1.激发学习兴趣，提高学习效率 “兴趣是最好的老师”，学生在学习的过程中，只有对其所要学的内容产生了兴趣，学生就有了学习的动力，才会主动的积极的去学习。在教学中应用网络视频流媒体手段，激发学生的兴趣是一种有力的手段。网络视频流媒体形象、直观、生动、图文并茂、色彩艳丽鲜明的特征，调动学生的多种感官同时受到刺激，吸引学生的注意力，调动起他们的学习兴趣。除了授
VC+6+RTP流媒体传输协议编程实例(jrtplib)
资源下载： https://www.wendangku.net/doc/3311669875.html,/source/444512 实时流协议RTSP(RealTimeStreamingProtocol)是由RealNetworks和Netscape共同提出的，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP(实时传输）和RTCP（实时控制）之上，它使用TCP或RTP完成数据传输。HTTP与RTSP相比，HTTP传送HTML，而RTP传送的是多媒体数据。HTTP请求由客户机发出，服务器作出响应；使用RTSP时，客户机和服务器都可以发出请求，即RTSP可以是双向的。 实时流协议（RTSP）是应用级协议，控制实时数据的发送。RTSP提供了一个可扩展框架，使实时数据，如音频与视频，的受控、点播成为可能。 RTSP是应用级的协议，完成多媒体服务器的远程控制，控制信息的传输可以使用TCP，控制指令包括如：Setup、Play、Record、Pause、Teardwon等等。 对于流媒体应用，用户和服务器都可以发出请求，请求包括几种连接方法：持久、每个请求/响应传输一个连接、无连接。 常见的URL流媒体地址如： rtsp://https://www.wendangku.net/doc/3311669875.html,:554 RTP 数据报组成：Header + Payload RTCP：应用程序启动RTP会话时将同时占用两个端口，供RTP和RTCP使用。 如果有必要，RTP使用时可以有两个伴随文档：1）配置文档，定义负载的编码类型和格式。2）负载格式的规范文档。 在流传输过程中，有两类服务完成对流的转发处理： 1）译流服务器Translator，进入的流在流出时发生变化，作用之一是更好地穿越防火墙。 2）混流服务器Mixer，多个流进入，合并后变成一个流流出。 由于进入的流可能有多个源，比如视频会议，会有多个话筒和视频头等等情况，对于RTP来说，就有一个同步化源的问题，因此，RTP协议中用SSRC（Synchronization Source）字段来供Mixer实现同步功能。 Translator的一个作用是多播变成多个单播。 为了提供播放和回放功能，RTP提供时间标签+序列号，在流动的概念中，时间标签是最重要的信息。 RTP报文不提供长度和报文边界的描述。 RTP虽然是传输层协议，但没有在OSI体系中作为单独的层来使用。 RTP是目前解决流媒体实时传输问题的最好办法，如果要开发，可以选择JRTPLIB库。JRTPLIB是一个面向对象的RTP库，它完全遵循RFC 1889设计。JRTPLIB是一个用C++语言实现的RTP库，目前已经可以运行在Windows、Linux、FreeBSD、Solaris、Unix和VxWorks等多种操作系统上。 了解更多RTP参考： https://www.wendangku.net/doc/3311669875.html,/zouzheng/archive/2008/01/04/38449.html 下面的例子参考jrtplib的example1,加了解析负载的部分。 // RTPClient.cpp : Defines the entry point for the console application. // #include "stdafx.h" #include "rtpsession.h"
流媒体系统视频直播点播方案
流媒体系统视频直播点播 方案 Revised by BLUE on the afternoon of December 12,2020.
流媒体系统 ——视频直播点播方案南京德托电子科技有限公司 目录
1视频服务平台概述 流媒体指的是通过网络传输的、能够在本地终端实时回放的、具有实时特征的媒体内容编码数据流，流媒体实现的关键技术就是流式传输，即通过网络获得平滑的数据流。大体可分为在线直播、网上点播、网络广播和文件下载。流媒体的行业应用也很广泛，包括召开网上工作会议，重要活动直播，内部学习培训，IPTV网络电视等。 专业的视频服务厂商均提供了基于TCP/IP的视频系统。完整的视频服务平台应包含以下几种功能： 视频直播功能 将实时的视频信号（摄像机信号、电视信号）实时压缩成数字信号，通过直播形式传送到每一个请求的客户端。在一台服务器上可以实时直播多路实时数字电视信号。采用点对多点的多播功能，服务器每路视频只发送一次信号，该信号会被复制到所需的用户设备，不需要为每个用户单独发送一路信号。 视频点播功能 视频点播即交互式视频点播，是随着计算机技术和网络通讯技术的发展，综合了计算机、通讯技术、电视技术而迅速新兴的一门综合性技术。它利用了网络和视频技术的趋势，彻底改变了过去收看节目的被动方式，实现了节目的按需收看和任意播放，集动态影视图像、静态图像、声音、文字等信息为一体，为用户提供实时、交互、按需点播服务的系统。 文件直播功能 将存储的数字视频信号通过直播形式传送到每一个请求的客户端。采用点对多点的多播功能，服务器每路视频只发送一次信号，该信号会被复制到所需的用户设备，不需要为每个用户单独发送一路信号。 支持负载平衡 负载平衡服务器作为网络请求分配的控制者，要根据集群节点的当前处理能力，采用集中或分布策略对网络服务请求进行调配，并且在每个服务请求的
数字音视频编解码技术标准工作组知识产权政策
数字音视频编解码技术标准工作组知识产权政策
————————————————————————————————作者：————————————————————————————————日期：
数字音视频编解码技术标准工作组知识产权政策 （2004年9月12日第十次工作会议通过实施） (2008年3月29日第二十四次工作会议修订) 第一章、总则 第一条本知识产权政策文件（“知识产权政策”）规定了中国数字音视频编解码技术标准工作组（“工作组”）的与制订A VS技术标准的整个过程及其所产生的标准文 档相关的知识产权的管理规则。 第二条通过签署A VS会员协议，会员书面承诺该会员及其关联者及其工作组成员同意并遵守本知识产权政策的条款。 第三条本知识产权政策是A VS会员协议的必要组成部分，并通过引用纳入会员协议。 第二章、定义 第四条对于在本知识产权政策中使用并且在A VS章程、A VS会员协议和A VS章程细则中已有定义的词语，其含义应遵从有关文件中的定义。以下词语在本知识产 权政策中定义为以下含义： 1、“符合部分”仅指有关产品或服务中实施并符合最终A VS 标准的所有相关规范性要求的特定部分，这些规范性要求应当 在最终A VS标准中明确公开，并且其目的是为了使产品或服 务能够实现该最终AVS标准所定义的解码、编码、发送数字 媒体或识别和实施权利管理。 2、“必要权利要求”是指根据授权或公布专利的所在国法律， 被最终A VS标准的符合部分不可避免地侵权的该专利中的某 一权利要求，且仅限于该权利要求。 专利的某一权利要求被不可避免地侵权，是指该侵权不可能在 实施最终A VS标准时通过采用另一个技术上可行的不侵权的 实施方式予以避免。 必要权利要求不包括，并且许可也不适用于:（1）不符合上文 规定的其他权利要求，即使该权利要求包含在同一件专利中； （2）在最终的A VS标准文档中引用或以参考方式包括在内的 其他标准中涉及的权利要求；（3）制造或使用符合最终AVS 标准文档的任何产品、服务及其部分时可能必要，但没有明确 地在该标准文档中描述的实现技术。 3、“专利”是指许可方或其关联者拥有的或者在无需向非关联 第三方付费的情况下有权许可的，在任何国家授权的任何专 利、可执行的发明证书、授权的实用新型、或公布提请异议的 任何可执行的专利申请或实用新型申请，但不包括外观设计专 利和外观设计登记。 4、“规范性参考文件”是指并非由工作组制定而是通过引用包