Rtmp数据流转h264的详细转码过程
Rtmp数据流转h264的详细转码过程
一、目的：
这段时间，因为工作上的需要，在RTMP上做了flv流到标准h264、AAC的转换。二、RTMP介绍：
RTMP(Real Time Messaging Protocol)实时消息传送协议是A dobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输开发的私有协议。
RTMP协议就像一个用来装数据包的容器,这些数据可以是AMF格式的数据,也可以是FLV中的视/音频数据.
它有三种变种：
1)工作在TCP之上的明文协议，使用端口1935；
2)RTMPT封装在HTTP请求之中，可穿越防火墙；
3)RTMPS类似RTMPT，但使用的是HTTPS连接；
Rtmp详细介绍请参照网上文档（一搜一大把）
三、Rtmp流转h264
基于rtmp client端收取的数据包packet进行解码。
1、在rtmp传输数据流的时候，不论是在点播情况下或者直播
情况下，rtmpserver会在流开始的时候添加File Header和MedadataTag。这些不需要分析。
2、数据头解析
2-1、Tagtype，一字节
每个packet的第一个字节代表了当前packet的类型。0x04表示Ping包，0x08为audio，0x09为video。0x12为script data。0x16比较特殊，这个是为了实现H.264
数据的直播而增加了一个数据类型。这个之后特别讨论。
2-2、Datasize，24bit
这三个字节表述了tag中数据段的大小。
2-3、Timestamp，24bit
记录了每一个tag相对于第一个tag（File Header）的相对时间。以毫秒（milliseconds）为单位。而File Header的timestamp永远为0。
2-4、TimestampExtended，8bit
扩展时间字段，此字段与timestamp字段共同组成完整的时间戳字段，只不过Timestamp是这个字段的低24位，TimestampExtended为这个字段的高8位。
2-5、StreamID，24bit
永远都是0。
2-6、Data，大小是Datasize
Tag body。存储音视频信息等。
如果，
Tagtype==0x08，Data为audiodata。
Tagtype==0x09，Data为videodata。
Tagtype==0x12，Data为scriptdataobject。
Tagtype==0x16，Data为H264直播流数据包。
3、对rtmp音频数据的解析（audio tag）
不难看出rtmp中flv音频流就是一个接着一个的Audio tag。每次传输流的第一个audio tag标示了音频使用的adts header信息，即AAC header（audiodata），占据前3个字节。之后根据标志位的不同，分AAC sequence header和AAC raw信息。具体解析如下：
3-1、AAC header结构（2个字节）
3-1-1、SoundFormat，4bit
0 = Linear PCM, platform endian
1 = ADPCM
2 = MP3
3 = Linear PCM, little endian
4 = Nellymoser 16 kHz mono
5 = Nellymoser 8 kHz mono
6 = Nellymoser
7 = G.711 A-law logarithmic PCM
8 = G.711 mu-law logarithmic PCM
9 = reserved
10 = AAC
11 = Speex
14 = MP3 8 kHz
15 = Device-specific sound
3-1-2、SoundRate，2bit，抽样频率
0 = 5.5 kHz
1 = 11 kHz
2 = 22 kHz
3 = 4
4 kHz
对于aac音频来说，总是0x11，即44khz.
3-1-3、SoundSize，1bit，音频的位数。
0 = 8-bit samples
1 = 16-bit samples
AAC总是为0x01,16位。
3-1-4、SoundType，1bit，声道
0 = Mono sound
1 = Stereo sound
3-1-5、AACPacketType，8bit。
这个字段来表示AACAUDIODATA的类型：0 = AAC sequence header，1 = AAC raw。第一个音频包用0，后面的都用1
3-2、AAC sequence header，2字节：
3-2-1、audioObjectType,5bit。结构编码类型
0=AAC main
1=AAC lc
2=AAC ssr
3=AAC LTP
一般AAC使用2，即AAC lc
3-2-2、SamplingFrequencyIndex，4bit，音频采样率索引值
0: 96000 Hz
1: 88200 Hz
2: 64000 Hz
3: 48000 Hz
4: 44100 Hz
5: 32000 Hz
6: 24000 Hz
7: 22050 Hz
8: 16000 Hz
9: 12000 Hz
10: 11025 Hz
11: 8000 Hz
12: 7350 Hz
13: Reserved
14: Reserved
15: frequency is written explicitly
通常aac固定选中44100，即应该对应为4，但是试验结果表明，当音频采样率小于等于44100时，应该选择3，而当音频采样率为48000时，应该选择2.但是也有例外。
3-2-3、ChannelConfiguration，4bit，音频输出声道。
对应的是音频的频道数目。单声道对应1，双声道对应2，依次类推。
0: Defined in AOT Specifc Config
1: 1 channel: front-center
2: 2 channels: front-left, front-right
3: 3 channels: front-center, front-left, front-right
4: 4 channels: front-center, front-left, front-right, back-center
5: 5 channels: front-center, front-left, front-right, back-left, back-right
6: 6 channels: front-center, front-left, front-right, back-left, back-right, LFE-channel
7: 8 channels: front-center, front-left, front-right, side-left, side-right, back-left, back-right, LFE-channel
8-15: Reserved
3-2-4、frameLengthConfig，1bit，标志位，用于表明IMDCT窗口长度
始终为0。
3-2-5、dependsOnCoreCoder，1bit，标志位，表明是否依赖于corecoder
始终为0。
3-2-7、extensionFlag，1bit
如果是AAC-LC,这里必须为0.
3-3、AAC raw ,大小不定
3-3-7、AAC payload
大小由packet的大小减去头的大小，再减去AAC header的2个字节的大小。一般形式是，0xAF 0x01 +PAY LOAD.
4、对rtmp视频数据的解析（video tag）
如果packet头中的TagType==9时，就表示这个TAG是video。那么StreamID之后的数据就表示是VideoTagHeader。VideoTagHeader只有一个字节，也就是接跟着StreamID的1个字节包含着视频帧类型及视频CodecID最基本信息VideoTagHeader结构如下：
4-1、VideoTagHeader(8bit)结构：
4-1-1、FrameType，4bit，帧类型
1 = key frame (for A VC, a seekable frame)
2 = inter frame (for A VC, a non-seekable frame)
3 = disposable inter frame (H.263 only)
4 = generated key frame (reserved for server use only)
5 = video info/command frame
H264的一般为1或者2.
4-1-2、CodecID ，4bit，编码类型
1 = JPEG(currently unused)
2 = Sorenson H.263
3 = Screen video
4 = On2 VP6
5 = On2 VP
6 with alpha channel
6 = Screen video version 2
7 = A VC
4-3、VideoData (根据CodecID 判断之后videodata的类型)
If CodecID = 2, H263videopacket;
If CodecID = 3, SCREENvideopacket;
If CodecID = 4, VP6FLVvideopacket;
If CodecID = 5, VP6FLV ALPHAvideopacket;
If CodecID = 6, SCREENV2videopacket;
If CodecID = 7, A VCvideopacket;
一般用A VCvideopacket。
VideoTagHeader之后跟着的就是VIDEODATA数据了，也就是video payload.当然就像音频AAC一样，这里也有特例就是如果视频的格式是A VC（H.264）的话，VideoTagHeader会多出4个字节的信息。A VCPacketType 和CompositionTime。
A VCPacketType表示接下来VIDEODATA（A VCVIDEOPACKET）的内容：
IF AVCPacketType == 0 A VCDecoderConfigurationRecord（A VC sequence header）IF AVCPacketType == 1 One or more NALUs (Full frames are required)
A VCDecoderConfigurationRecord.包含着是H.264解码相关比较重要的sps和pps信息，再给A VC解码器送数据流之前一定要把sps和pps信息送出，否则的话解码器不能正常解码。而且在解码器stop之后再次start之前，如seek、快进快退状态切换等，都需要重新送一遍sps和pps的信息.A VCDecoderConfigurationRecord在FLV文件中一般情况也是出现1次，也就是第一个video tag.
4-4、VIDEODATA(CodecID = 7)
4-4-1、A VCPacketType,8bit
IF AVCPacketType == 0 A VCDecoderConfigurationRecord（A VC sequence header）(此时FrameType必为1)
IF A VCPacketType == 1 One or more NALUs (Full frames are required)
IF A VCPacketType == 2 A VC end of sequence (lower level NALU sequence ender is not required or supported)
4-4-2、CompositionTime，24bit
IF A VCPacketType == 1
Composition time offset,（没解析。）
ELSE
4-4-3、A VCDecoderConfigurationRecord（A VCPacketType == 0，FrameType==1）4-4-3-1、configurationVersion，8bit
4-4-3-2、A VCProfileIndication，8bit
4-4-3-3、profile_compatibility，8bit
4-4-3-4、A VCLevelIndication，8bit
4-4-3-5、lengthSizeMinusOne，8bit
H.264 视频中NALU 的长度，计算方法是1 + (lengthSizeMinusOne &
3),实际测试时发现总为ff，计算结果为4.
4-4-3-6、numOfSequenceParameterSets，8bit
SPS 的个数，计算方法是numOfSequenceParameterSets & 0x1F,实际测
试时发现总为E1，计算结果为1
4-4-3-7、sequenceParameterSetLength，16bit
SPS 的长度
4-4-3-8、sequenceParameterSetNALUnits ，sps。
长度为sequenceParameterSetLength。
4-4-3-9、numOfPictureParameterSets，8bit
PPS 的个数,计算方法是numOfPictureParameterSets & 0x1F,实际测试时发现总为E1，计算结果为1。
4-4-3-10、pictureParameterSetLength，16bit。
PPS的长度。
4-4-3-11、PPS
长度为pictureParameterSetLength。
4-4-4、NALUs（A VCPacketType == 1，FrameType==1或者2）
一个packet里面可能包含多个NALUs，每个NALUs前的4个字节都是标示这个NALU长度的4个字节，然后是这个NALU包。一个NALU包结束
之后，接着时下一个NALU包的长度4字节，然后是下一个NALU包。以此
类推，直到这个packet结束。
4-4-4-1、nal_length，32bit。每个nal包长度
每个NALU包前面都有（lengthSizeMinusOne & 3）+1个字节的NAL 包长度描述（前文提到的，还记得吗），前面计算结果为4个字节。
4-4-4-2、nal包
这里插入一点NALU的小知识，每个NALU第一个字节的前5位标明的是该NAL包的类型，即NAL nal_unit_type
#define NALU_TYPE_SLICE 1
#define NALU_TYPE_DPA 2
#define NALU_TYPE_DPB 3
#define NALU_TYPE_DPC 4
#define NALU_TYPE_IDR 5 //I帧
#define NALU_TYPE_SEI 6
#define NALU_TYPE_SPS 7
#define NALU_TYPE_PPS 8
#define NALU_TYPE_AUD 9//访问分隔符
#define NALU_TYPE_EOSEQ 10
#define NALU_TYPE_EOSTREAM 11
#define NALU_TYPE_FILL 12
四、参考文档：
1、https://www.wendangku.net/doc/ba6539710.html,/chef/archive/2012/07/18/2597279.html
2、https://www.wendangku.net/doc/ba6539710.html,/liuzh501448/article/details/7245685
3、https://www.wendangku.net/doc/ba6539710.html,/blog/718123
4、https://www.wendangku.net/doc/ba6539710.html,/peijiangping1989/article/details/6934312
rtmp流媒体协议
H5视频直播扫盲 1 H5到底能不能做视频直播 当然可以， H5火了这么久，涵盖了各个方面的技术。 对于视频录制，可以使用强大的webRTC（Web Real-Time Communication）是一个支持网页浏览器进行实时语音对话或视频对话的技术，缺点是只在PC的chrome上支持较好，移动端支持不太理想。 对于视频播放，可以使用HLS(HTTP Live Streaming)协议播放直播流，ios和android都天然支持这种协议，配置简单，直接使用video标签即可。 webRTC兼容性： video标签播放hls协议视频：
1 2 3 4 2 到底什么是HLS协议 简单讲就是把整个流分成一个个小的，基于HTTP的文件来下载，每次只下载一些，前面提到了用于H5播放直播视频时引入的一个.m3u8的文件，这个文件就是基于HLS协议，存放视频流元数据的文件。 每一个.m3u8文件，分别对应若干个ts文件，这些ts文件才是真正存放视频的数据，m3u8文件只是存放了一些ts文件的配置信息和相关路径，当视频播放时，.m3u8是动态改变的，video标签会解析这个文件，并找到对应的ts文件来播放，所以一般为了加快速度，.m3u8放在web服务器上，ts文件放在cdn上。 .m3u8文件，其实就是以UTF-8编码的m3u文件，这个文件本身不能播放，只是存放了播放信息的文本文件： 1 2 3 4 5#EXTM3U m3u文件头 #EXT-X-MEDIA-SEQUENCE 第一个TS分片的序列号#EXT-X-TARGETDURATION 每个分片TS的最大的时长#EXT-X-ALLOW-CACHE是否允许cache #EXT-X-ENDLISTm3u8文件结束符
IGMP及抓包分析
IGMP IGMP 是Internet Group Management Protocol（互联网组管理协议）的简称。它是TCP/IP 协议族中负责IP 组播成员管理的协议，用来在IP 主机和与其直接相邻的组播路由器之间建立、维护组播组成员关系。 到目前为止，IGMP 有三个版本： 1、IGMPv1（由RFC 1112 定义） 2、IGMPv2（由RFC 2236 定义） 3、IGMPv3（由RFC 3376定义） 一、IGMPv1 1.1报文格式 1、版本： 版本字段包含IGMP版本标识，因此设置为1。 2、类型： 成员关系查询（0x11） 成员关系报告（0x12） 3、校验和 4、组地址： 当一个成员关系报告正被发送时，组地址字段包含组播地址。 当用于成员关系查询时，本字段为0，并被主机忽略。 1.2组成员加入过程 当一个主机希望接收一个组播组的数据，则发送成员加入报告给组播组。
IGMPv1 join包如下： 1.3查询与响应过程 路由器RTA（IGMP查询器）周期性地（默认60秒）向子网内所有主机（224.0.0.1代表子网内所有主机）发送成员关系查询信息。
所有主机收到IGMPv1成员关系查询信息，一主机首先向组播组发送IGMPv1成员关系报告。 组的其他成员监听到报告后抑制自己的成员关系报告发送。 1.4 抑制机制 当主机收到IGMP成员关系查询时，对它已经加入的每个组播组启动一个倒计数报告计时器。各个报告计时器初始值为从0到最大响应之间一个随机数，默认值是10秒。 计时器到时的主机则主动发送成员关系报告，目的地为该主机所属的组地址。 其它主机收到该成员关系报告，则抑制成员关系报告的发送，并删除计时器。 1.5 组成员离开过程 主机“默不作声”地离开组（不发送报告了）。 路由器发送成员关系查询信息。 路由器没有收到该组的IGMP报告，则再发送成员关系信息（3次查询周期过后）。 组播组超时，剪枝。 二、IGMPv2 2.1报文格式 1、类型 成员关系查询（0x11） 常规查询：用于确定哪些组播组是有活跃的，即该组是否还有成员在使用，常规查询地址由全零表示； 特定组查询：用于查询某具体组播组是否还有组成员。 版本2成员关系报告（0x16） 版本1成员关系报告（0x12） 离开组消息（0x17）
rtmp协议
RTMP：Real Time Messaging Protocol 实时消息传送协议 字节序：大端 Message Format： Timestamp：4 bytes Length：3 bytes Type ID：1 bytes Message Stream ID：4 bytes 小端 Handshake three static_sized chunks client：C0 C1 C2 server：S0 S1 S2 simple handshake： handshake sequence 握手开始于客户端发送C0、C1块 客户端在发送C2块之前必须等待直到S1块被接收 客户端在发送任何其他数据之前必须等待直到S2块被接收 服务器在发送S0、S1之前必须等待直到C0被接收或是C1被接收服务器在发送S2之前必须等待直到C1被接收 服务器在发送任何其他数据之前必须等待直到C2被接收 C0和S0格式 一个字节（8bits） 本版本是3 C1和S1格式 1536个字节
C2和S2格式 1536个字节，是C1和S1的回复响应 time：必须包含对等段发送的时间戳（对C2来说是S1，对S2来说是C1）time2：必须包含先前发送的被对端读取的包（S1或C1）的时间戳 handshake diagram
Complete handshake Chunking Chunk format A header and data +--------------+----------------+--------------------+----------+ | Basic Header | Message Header | Extended Timestamp | Chunk Data| +--------------+----------------+--------------------+----------+ | | |<------------------- Chunk Header ----------------->| Chunk Format Basic header：1-3bytes，chunk stream ID and chunk type(fmt) 长度可变type depend on the format of the encoded message header the length depend on the chunk stream ID ID:3-65599,0\1\2 reserved 0:2bytes,ID range 64-319 (the second byte+64) 1:3bytes,ID range 64-65599(the third byte*256+the second byte+64) 2:low-level protocol 2-63: 64-319:
wireshark抓包教程
Wireshark图解教程（简介、抓包、过滤器）配置 Wireshark是世界上最流行的网络分析工具。这个强大的工具可以捕捉网络中的 数据，并为用户提供关于网络和上层协议的各种信息。与很多其他网络工具一样，Wireshark也使用pcap network library来进行封包捕捉。可破解局域网内QQ、 邮箱、msn、账号等的密码！！ Wireshark是世界上最流行的网络分析工具。这个强大的工具可以捕捉网络中的数据，并为用户提供关于网络和上层协议的各种信息。与很多其他网络工具一样，Wireshark也使用pcap network library来进行封包捕捉。可破解局域网内QQ、邮箱、msn、账号等的密码！！ wireshark的原名是Ethereal，新名字是2006年起用的。当时Ethereal的主要开发者决定离开他原来供职的公司，并继续开发这个软件。但由于Ethereal这个名称的使用权已经被原来那个公司注册，Wireshark这个新名字也就应运而生了。 在成功运行Wireshark之后，我们就可以进入下一步，更进一步了解这个强大的工具。下面是一张地址为192.168.1.2 的计算机正在访问“https://www.wendangku.net/doc/ba6539710.html,”网站时的截图。 1.MENUS（菜单） 2.SHORTCUTS（快捷方式） 3.DISPLAY FILTER（显示过滤器） 4.PACKET LIST PANE（封包列表) 5.PACKET DETAILS PANE（封包详细信息） 6.DISSECTOR PANE（16进制数据） 7.MISCELLANOUS（杂项）
1. MENUS（菜单） 程序上方的8个菜单项用于对Wireshark进行配置： -"File"（文件）-"Edit"（编辑）-"View"（查看）-"Go"（转到）-"Capture"（捕获）-"Analyze"（分析）-"Statistics"（统计） -"Help"（帮助）打开或保存捕获的信息。 查找或标记封包。进行全局设置。 设置Wireshark的视图。 跳转到捕获的数据。 设置捕捉过滤器并开始捕捉。 设置分析选项。 查看Wireshark的统计信息。 查看本地或者在线支持。 2. SHORTCUTS（快捷方式） 在菜单下面，是一些常用的快捷按钮。 您可以将鼠标指针移动到某个图标上以获得其功能说明。 3.DISPLAY FILTER（显示过滤器） 显示过滤器用于查找捕捉记录中的内容。 请不要将捕捉过滤器和显示过滤器的概念相混淆。请参考Wireshark过滤器中的详细内容。 返回页面顶部 4.PACKET LIST PANE（封包列表）
wireshark抓包分析实验报告
Wireshark抓包分析实验 若惜年 一、实验目的： 1.学习安装使用wireshark软件，能在电脑上抓包。 2.对抓出包进行分析，分析得到的报文，并与学习到的知识相互印证。 二、实验内容： 使用抓包软件抓取HTTP协议通信的网络数据和DNS通信的网络数据，分析对应的HTTP、TCP、IP协议和DNS、UDP、IP协议。 三、实验正文： IP报文分析： 从图中可以看出： IP报文版本号为:IPV4 首部长度为:20 bytes 数据包长度为:40 标识符：0xd74b 标志：0x02 比特偏移：0 寿命：48 上层协议：TCP 首部校验和：0x5c12 源IP地址为：119.75.222.18 目的IP为：192.168.1.108
从图中可以看出： 源端口号：1891 目的端口号：8000 udp报文长度为：28 检验和：0x58d7 数据长度：20 bytes UDP协议是一种无需建立连接的协议，它的报文格式很简单。当主机中的DNS 应用程序想要惊醒一次查询时，它构造一个DNS查询报文段并把它给UDP，不需要UDP之间握手，UDP为报文加上首部字段，将报文段交给网络层。
第一次握手： 从图中看出： 源端口号：56770 目的端口号：80 序列号为:0 首部长为: 32 bytes SYN为1表示建立连接成功当fin为1时表示删除连接。
第二次握手： 从图中看出： 源端口号是：80 目的端口号为：56770 序列号为：0 ack为：1 Acknowledgement为1表示包含确认的报文Syn为1表示建立连接。
第三次握手： 从图中看出： 源端口：56770 目的端口：80 序列号为：1 ACK为：1 首部长为：20bytes Acknowledgement为1表示包含确认的报文 所以，看出来这是TCP连接成功了 Tcp是因特网运输层的面向连接的可靠的运输协议，在一个应用进程可以开始向另一个应用进程发送数据前，这两个进程必须先握手，即它们必须相互发送预备文段，建立确保传输的参数。
RTMP协议
RTMP Protocol Connect NetConnect.connect() Flash Play 通过NetConnect.connect连接到RTMP Server时,首先进行握手,再发送connect的参数. 1) 握手过程有三步: Step 1, Flash Player 至RTMP Server : 1个byte(0x03)+1536个byte数据. Step 2, RTMP Server至Flash Player : 1个byte(0x03)+1536个byte数据(Server的握手数据) + 1536个byte数据(通过和随机数hash得出, 详见附录) Step 3, Flash Player 至RTMP Server : 1536个byte数据(RTMP Server计算出来的). 注意:这个数据块没有1个byte的0x03. 2) 接下是connect参数 RTMP Server <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< RTMP Server >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>Flash Player RTMP协议步骤 Step 1 发送一个0x05的包,即ServerBW, (channel 0x02) (0x00 26 25 a0) Step 2 发送一个0x06的包,即ClientBW, (channel 0x02) (0x00 26 25 a0) + (0x02) Step 3 发送一个0x14的包,即Invoke, (channel 0x03) (body超过128的长度就要分包, 用0xc3来) string (“_result”) + number (0x3F F0 00 00 00 00 00 00) + Object string (“capabilities”) ; number (31.0) string (“fmsV er”) ; string (随便填) (“RubyIZUMI/0,1,2,0”) End Of Object (0x00 00 09) //(connect status) + Object string (“code”) ; string (“NetConnection.Connect.Success”) string (“level”) ; string (“status”) string (“description”) ; string (“Connection Succeeded.”) End Of Object (0x00 00 09) RTMP Server <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<< Wireshark的抓包及过滤规则实验 Wireshark是世界上最流行的网络分析工具。这个强大的工具可以捕捉网络中的数据，并为用户提供关于网络和上层协议的各种信息。 与很多其他网络工具一样，Wireshark也使用pcap network library来进行封包捕捉。 Wireshark的优势： - 安装方便。 - 简单易用的界面。 - 提供丰富的功能。 Wireshark的原名是Ethereal，新名字是2006年起用的。当时Ethereal的主要开发者决定离开他原来供职的公司，并继续开发这个软件。但由于Ethereal这个名称的使用权已经被原来那个公司注册，Wireshark这个新名字也就应运而生了。 实验一抓ARP包 一：安装并运行wireshark开始捕获数据包，如图所示点击第二行的start开始捕获数据包。 二：几分钟后就捕获到许多的数据包了，主界面如图所示： 如上图所示，可看到很多捕获的数据。 第一列是捕获数据的编号； 第二列是捕获数据的相对时间，从开始捕获算为0.000秒； 第三列是源地址，第四列是目的地址； 第五列是数据包的信息。 选中第一个数据帧，然后从整体上看看Wireshark的窗口，主要被分成三部分。上面部分是所有数据帧的列表；中间部分是数据帧的描述信息；下面部分是帧里面的数据 三：开始分析数据 在下图中Filter后面的编辑框中输入：arp（注意是小写），然后回车或者点击“Apply”按钮 截图（替换掉该图） 现在只有ARP协议了，其他的协议数据包都被过滤掉了。注意到中间部分的三行前面都有一个“+”，点击它，这一行就会被展开。如下图所示： 截图（替换掉该图） 现在展开第一行。看到的结果如下： 截图（替换掉该图） TCP/IP原理与应用课程作业一对DNS域名系统的抓包分析 姓名：XXX 学号：XXXXXXXXXX 学院：计算机科学与工程 一、实验目的 通过网络抓包试验，深刻理解TCP/IP协议簇中DNS域名系统的使用方式与报文具体格式与含义，加强对课程的理解与应用。 二、相关原理 2.1 DNS的定义 DNS 是域名系统(Domain Name System) 的缩写，它是由解析器和域名服务器组成的。域名服务器是指保存有该网络中所有主机的域名和对应IP地址，并具有将域名转换为IP地址功能的服务器。其中域名必须对应一个IP地址，而IP地址不一定有域名。域名系统采用类似目录树的等级结构。域名服务器为客户机/服务器模式中的服务器方，它主要有两种形式：主服务器和转发服务器。将域名映射为IP地址的过程就称为“域名解析”。在Internet上域名与IP地址之间是一对一（或者多对一）的，域名虽然便于人们记忆，但机器之间只能互相认识IP地址，它们之间的转换工作称为域名解析，域名解析需要由专门的域名解析服务器来完成，DNS就是进行域名解析的服务器。DNS 命名用于Internet 等TCP/IP 网络中，通过用户友好的名称查找计算机和服务。当用户在应用程序中输入DNS 名称时，DNS 服务可以将此名称解析为与之相关的其他信息，如IP 地址。因为，你在上网时输入的网址，是通过域名解析系统解析找到了相对应的IP地址，这样才能上网。其实，域名的最终指向是IP。 2.2 DNS的构成 在IPV4中IP是由32位二进制数组成的，将这32位二进制数分成4组每组8个二进制数，将这8个二进制数转化成十进制数，就是我们看到的IP地址，其范围是在0～255之间。因为，8个二进制数转化为十进制数的最大范围就是0～255。现在已开始试运行、将来必将代替IPv4的IPV6中，将以128位二进制数表示一个IP地址。 2.3 DNS的查询 DNS查询可以有两种解释，一种是指客户端查询指定DNS服务器上的资源记录（如A记录），另一种是指查询FQDN名的解析过程。 一、查询DNS服务器上的资源记录 您可以在Windows平台下，使用命令行工具，输入nslookup，返回的结果包括域名对应的IP地址（A记录）、别名（CNAME记录）等。除了以上方法外，还可以通过一些DNS查询站点如国外的国内的查询域名的DNS信息。 二、FQDN名的解析过程查询 若想跟踪一个FQDN名的解析过程，在Linux Shell下输入dig www +trace，返回的结果包括从跟域开始的递归或迭代过程，一直到权威域名服务器。 2.4 DNS的报文格式 DNS报文的首部： nginx搭建rtmp协议流媒体服务器总结 最近在ubuntu12.04上搭建了一个rtmp服务器，感觉还挺麻烦的，所以记录下。 大部分都是参考网络上的资料。 前提： 在linux下某个目录中新建一个nginx目录。 然后进入该目录去下载搭建环境所需要的一些资源包。 此处在/root/ 目录下新建一个nginx目录即： /root/nginx/ ==================================== 1、安装依赖包: #yum -y install gcc glibc glibc-devel make nasm pkgconfig lib-devel openssl-devel expat-devel gettext-devel libtool mhash.x86_64 perl-Digest-SHA1.x86_64 2、安装相关工具包 1). git # mkdir soft-source # cd soft-source # wget ://https://www.wendangku.net/doc/ba6539710.html,/projects/git-snapshots/git/git-latest.tar.xz # xz -d git-latest.tar.xz # tar xzvf git-latest.tar # cd git-2014-06-27 # autoconf # ./configure # make && make install # git --version git version 2.0.0.GIT # cd .. 2). zlib # wget ://https://www.wendangku.net/doc/ba6539710.html,/zlib-1.2.8.tar.gz # tar -zxvf zlib-1.2.8.tar.gz cd zlib-1.2.8 # ./configure # make # make install # cd .. 3). pcre # wget ://exim.mirror.fr/pcre/pcre-8.12.tar.gz # tar zxvf pcre-8.12.tar.gz # cd pcre-8.12 # ./configure # make && make install # cd .. 4). yadmi yadmi的作用是为flv文件添加关键帧，才能实现拖动播放 # wget ://https://www.wendangku.net/doc/ba6539710.html,/projects/yamdi/files/yamdi/1.4/yamdi-1.4.tar.gz/download # tar xzvf download # cd yamdi-1.4 # make && make install # cd .. 使用方法： # yamdi -i input.flv -o out.flv 给input.flv文件添加关键帧，输出为out.flv文件 5). OpenSSL # wget ://https://www.wendangku.net/doc/ba6539710.html,/source/openssl-1.0.1c.tar.gz # tar -zxvf openssl-1.0.1c.tar.gz # ./config # make # make install 3、安装ffmpeg及其依赖包： 1). Yasm # wget ://https://www.wendangku.net/doc/ba6539710.html,/projects/yasm/releases/yasm-1.2.0.tar.gz # tar xzvf yasm-1.2.0.tar.gz 802.11抓包分析 1.实验目的 分析802.11协议，了解802.11的帧格式 2.实验环境及工具 操作系统：ubuntu 实验工具：WireShark 3.实验原理 （1）802.11MAC层数据帧格式： Bytes 2 2 6 6 6 2 0-2312 4 Bits 2 2 4 1 1 1 1 1 1 1 1 Version：表明版本类型，现在所有帧里面这个字段都是0 Type：指明数据帧类型，是管理帧，数据帧还是控制帧,00表示管理帧，01表示控制帧，10表示数据帧 Subtype：指明帧的子类型 ,Data=0000,Data+CF-ACK=0001，Data+CF-Poll=0010, Data+CF-ACK+CF-Poll=0011,Nulldata=0100,CF-ACK=0101, CF-Poll=0110,Data+CF-ACK+CF-Poll=0111,QoS Data=1000, Qos Data+CF-ACK=1001,QoS Data+CF-Poll=1010, QoS Data+CF-ACK+CF-Poll=1011,QoS Null =1100, QoS CF-ACK=1101,QoS CF-Poll=1110,QoS Data+CF-ACK+CF-Poll=1111 To DS/From DS：这两个数据帧表明数据包的发送方向，分四种情况： 若数据包To DS为0，From DS为0，表明该数据包在网络主机间传输 若数据包To DS为0，From DS为1，表明该数据帧来自AP 若数据包To DS为1，From DS为0，表明该数据帧发送往AP 若数据包To DS为1，From DS为1，表明该数据帧是从AP发送往AP 实时流煤体协议概述v1.0 实时流煤体协议概述 流媒体传输类型： 流媒体传输分两类：实时流媒体和顺序流媒体 一般来说，如果视频为现场直播，或使用专用的流媒体服务器，或应用如RTSP等专用实时协议，即为实时流媒体传输； 如果使用普通的HTTP服务器，将音视频数据以从头至尾方式发送，则为顺序流媒体传输。 实时流传输既可传输实况直播，也可传输完整的音视频文件（专用协议流式）。 顺序流媒体不可用于实况直播，仅能传输完整的音视频文件（HTTP渐进式）。 主流的流媒体协议 主流的流媒体协议主要有：RTMP，HLS，RTSP等。 附：流媒体播放实现流程 一，h ttp渐进式下载原理（仅支持文件播放）http边下载边播放，严格意义上讲，不是实况直播协议。他的原理是先下载文件的基本信息，音频视频的时间戳，再下载音视频数据，以播放mp4为例，先下载文件头，根据文件头指引下载文件尾，然后再下载文件的音视频数据。 播放方式：1. 浏览器调用系统播放器播放； 2. 使HTML5的Video标签，浏览器内部支持直接播放。 二，苹果支持的hls原理（支持文件播放和实况直播）HLS的文件点播 1.使用“文件分段器”将基于H264和AAC或MP３的MPEG4分段， 生成.ts和.m3u8文件，存储于普通服务器上。 2.苹果应用程序或苹果浏览器可以通过访问.m3u8文件获取到索引， 并下载所需要的数据片段来播放。 HLS的实况直播 1.使用“流分段器”将基于H264、AAC、MP3的MPEG2传输 流分段， 2.可使用其它工具将MPEG4音视频文件加载到MPEG2传输流当中。 3.生成.ts和.m3u8文件，存储于普通服务器上。 4.苹果应用程序或苹果浏览器可以通过访问.m3u8文件获取到索引， 并下载所需要的数据片段来播放。 三，A dobe Flash 支持的RTMP协议（支持文件播放和实况直播） 必须采用Flash服务器FMS(Flash Media Server) 或 RED5. FMS的文件点播 1. 服务器（FMS或RED5）将F4v 或 Flv文件转化为RTMP流或HTTP流 2. 客户端（Flash插件或应用程序）获取RTMP流，提取相应的Flv 或 F4v文件片段进行播放。 FMS的实况直播 1.设备端（摄像头）将数据转化为F4v片段，通过RTMP流上传到服务器 2. 服务器（FMS或RED5）转发RTMP流到客户端 3. 客户端（Flash插件或应用程序）获取RTMP流，提取数据片段播放。 四，R TSP协议 RTSP为纯粹的传输控制协议。 RTSP协议本身不与它负载的媒体数据相关。 RTSP协议需要自定义客户端向服务器发送RTSP命令。 【实用技巧】wireshark过滤抓包与过滤查看在分析网络数据和判断网络故障问题中，都离不开网络协议分析软件（或叫网络嗅探器、抓包软件等等）这个“利器”，通过网络协议分析软件我们可以捕获网络中正常传输哪些数据包，通过分析这些数据包，我们就可以准确地判断网络故障环节出在哪。网络协议分析软件众多，比如ethereal（wireshark的前身),wireshark,omnipeek,sniffer,科来网络分析仪（被誉为国产版sniffer，符合我们的使用习惯）等等，本人水平有限，都是初步玩玩而已，先谈谈个人对这几款软件使用感受，wireshark（ethereal）在对数据包的解码上，可以说是相当的专业，能够深入到协议的细节上，用它们来对数据包深入分析相当不错，更重要的是它们还是免费得，但是用wireshark（ethereal）来分析大量数据包并在大量数据包中快速判断问题所在，比较费时间，不能直观的反应出来，而且操作较为复杂。像omnipeek,sniffer,科来网络分析仪这些软件是专业级网络分析软件，不仅仅能解码（不过有些解码还是没有wireshark专业），还能直观形象的反应出数据情况，这些软件会对数据包进行统计，并生成各种各样的报表日志，便于我们查看和分析，能直观的看到问题所在，但这类软件是收费，如果想感受这类专业级的软件，我推荐玩科来网络分析仪技术交流版，免费注册激活，但是只能对50个点进行分析。废话不多说，下面介绍几个wireshark使用小技巧，说的不好，还请各位多指点批评。 目前wireshark最新版本是1.7的，先简单对比下wireshark的1.6和1.7版本。 下面是wireshark的1.6版本的界面图： Panabit V9.08（战国r3）专业版支持协议列表 (2009.10.16) 类别 应用协议 客户端 发布日期 版本号/注释 HTTP协议 WWW Web音乐 FLASH HTTP代理 HTTP下载 HTTP分块传输 伪IE下载 其他下载主要是“另存为” 土豆网https://www.wendangku.net/doc/ba6539710.html, Web视频 酷6 https://www.wendangku.net/doc/ba6539710.html, 6间房 https://www.wendangku.net/doc/ba6539710.html, 优酷https://www.wendangku.net/doc/ba6539710.html, Youtube https://www.wendangku.net/doc/ba6539710.html, HULU网https://www.wendangku.net/doc/ba6539710.html, 我乐网https://www.wendangku.net/doc/ba6539710.html, Sina视频https://www.wendangku.net/doc/ba6539710.html, Sohu视频 腾讯宽频 波波虎https://www.wendangku.net/doc/ba6539710.html, 其他Web视频 凤凰网https://www.wendangku.net/doc/ba6539710.html, CCTV点播https://www.wendangku.net/doc/ba6539710.html, Viewgood https://www.wendangku.net/doc/ba6539710.html, 常用协议 电子邮件 SMTP POP3 IMAP 终端类 VNC PCAnyWhere SSH Telnet 远程桌面 文件传输 FTP TFTP RSync 缺省端口873 NFS CVS MSDS Microsoft-DS DNS DHCP NNTP SNMP NTP UPNP NETBIOS DAYTIME 端口为13 SYSLOG 缺省端口514 DECRPC LDAP NAT端口映射 网络管理 ISA控制协议 HTTPS Socks4/5 L2TP PPTP IPSEC GRE 网络安全 OpenVPN 360更新 Nod32更新 Windows更新 软件更新 卡巴斯基更新 流媒体协议 RTSP MMS QuickTime QuickTime 7 Windows MediaPlayer Windows MediaPlayer 11 Real Player Real Player 11 BBSee 1.3 磊客https://www.wendangku.net/doc/ba6539710.html, 新浪奥运视频 网易奥运视频 QQ奥运视频 CCTV央视高清 RTMP P2P下载 BitComet 2009.06.22 1.13 BT BitSpirit 2009.07.27 V 3.6.0.135 RTSP协议转换RTMP直播协议 RTSP协议也是广泛使用的直播/点播流媒体协议，最近实现了一个RTSP协议转换RTMP直播协议的程序，为的是可以接收远端设备或服务器的多路RTSP直播数据，实时转换为RTMP直播协议，推送到FMS、Red5、wowza server等RTMP 服务器，以实现flash观看RTSP直播源的需求。程序同时也具备从FLV文件获取输入数据并转换RTMP直播。实现的思路分享如下。 要点分析 首先，程序的主要目的，是从多路RTSP输入源中提取AAC编码的音频和H.264编码视频数据，并生成RTMP数据包，然后组装RTMP推送协议，并发往RTMP 服务器。在发送的过程中，要求可以从RTSP数据源切换到具有相同h.264和aac 编码的FLV文件中，并不影响RTMP直播。因此，本程序的关键点有以下部分： 1.RTSP直播流的读取 2.H.264和AAC编码数据的分析、处理 3.FLV文件数据的提取及与RTSP直接的切换和衔接 4.RTMP数据包封装 5.RTMP推送协议 有了关键点，就可以一项一项的去分析。 设计思路 根据上面分析的要点，首先要选择RTSP直播协议的读取。我们不需要从零做起，网络上有很多和RTSP相关的开源项目可以使用或借鉴，我选择了Live555。 Live555是一个跨平台的流媒体解决方案，主要支持RTSP协议，好像也支持SIP（这个也是我马上研究的重点，之后会写文章研究SIP相关的技术实现）。Live555实现了RTSP包括服务器-客户端的整套结构，是很知名的一个开源项目。网上有很多关于Live555学习和使用的文章，我就不具体介绍了。 实验一wireshark抓包工具使用[实验目的] 学习wireshark抓包工具的使用 了解wireshark抓包工具的功能 通过学习，进一步理解协议及网络体系结构思想 [实验原理] Wireshark是网络包分析工具。网络包分析工具的主要作用是尝试捕获网络包，并尝试显示包的尽可能详细的情况。 主要应用： 网络管理员用来解决网络问题 网络安全工程师用来检测安全隐患 开发人员用来测试协议执行情况 用来学习网络协议 [实验内容] 下载WIRESHARK，学习工具的使用和功能。 Wireshark 是网络包分析工具。网络包分析工具的主要作用是尝试捕获网络包，并尝试显示包的尽可能详细的情况。 你可以把网络包分析工具当成是一种用来测量有什么东西从网线上进出的测量工具，就好像使电工用来测量进入电信的电量的电度表一样。（当然比那个更高级） 过去的此类工具要么是过于昂贵，要么是属于某人私有，或者是二者兼顾。 Wireshark出现以后，这种现状得以改变。 Wireshark可能算得上是今天能使用的最好的开元网络分析软件。 工作流程 （1）确定Wireshark的位置。如果没有一个正确的位置，启动Wireshark后会花费很长的时间捕获一些与自己无关的数据。 （2）选择捕获接口。一般都是选择连接到Internet网络的接口，这样才可以捕获到与网络相关的数据。否则，捕获到的其它数据对自己也没有任何帮助。 （3）使用捕获过滤器。通过设置捕获过滤器，可以避免产生过大的捕获文件。这样用户在分析数据时，也不会受其它数据干扰。而且，还可以为用户节约大量的时间。 （4）使用显示过滤器。通常使用捕获过滤器过滤后的数据，往往还是很复杂。为了使过滤的数据包再更细致，此时使用显示过滤器进行过滤。 （5）使用着色规则。通常使用显示过滤器过滤后的数据，都是有用的数据包。如果想更加突出的显示某个会话，可以使用着色规则高亮显示。 （6）构建图表。如果用户想要更明显的看出一个网络中数据的变化情况，使用图表的 形式可以很方便的展现数据分布情况。 数据链路层数据包抓包分析 实验内容 （1）安装Wireshark软件。 （2）掌握抓包软件的使用 （3）掌握通过抓包软件抓取帧并进行分析的办法 实验步骤 （1）常用的抓包软件包括Sniffer、NetXRay、Wireshark (又名EtheReal)。 我们采用免费的Wireshark，可以从https://www.wendangku.net/doc/ba6539710.html,或其他网站下载。安装完成后，Wireshark的主界面和各模块功能如下： 命令菜单（command menus）：最常用菜单命令有两个：File、Capture。File菜单允许你保存捕获的分组数据或打开一个已被保存的捕获分组数据文件。Capture菜单允许你开始捕获分组。 显示筛选规则（display filter specification）：在该字段中，可以填写协议的名称或其他信息，根据此内容可以对分组列表窗口中的分组进行过滤。 捕获分组列表（listing of captured packets）：按行显示已被捕获的分组内容，其中包括：Wireshark赋予的分组序号、捕获时间、分组的源地址和目的地址、协议类型、分组中所包含的协议说明信息。在该列表中，所显示的协议类型是发送或接收分组的最高层协议的类型。分组首部明细（details of selected packet header）：显示捕获分组列表窗口中被选中分组的头部详细信息。包括：与以太网帧有关的信息，与包含在该分组中的IP数据报有关的信息。如果利用TCP或UDP承载分组， Wireshark也会显示TCP或UDP协议头部信息。最后，分组最高层协议的头部字段也会被显示。 分组内容窗口（packet content）：以ASCII码和十六进制两种格式显示被捕获帧的完整内容。（2）下面我们进行抓包练习。 在capture菜单中选中options,可以设置抓包选项，如下图所示，这里我们需要选 Flex视频播放器(支持rtmp协议)开发代码 开发工具:flash builder4.5 + red5服务器 建议参考之前阶段代码: (1)flex视频播放器开发初级阶段代码:https://www.wendangku.net/doc/ba6539710.html,/detail/ll_jj_yy/ (2)支持rtmp协议,播放red5服务器上的flv视频文件. 直接来代码: wireshark是非常流行的网络封包分析软件，功能十分强大。可以截取各种网络封包，显示网络封包的详细信息。使用wireshark的人必须了解网络协议，否则就看不懂wireshark了。 为了安全考虑，wireshark只能查看封包，而不能修改封包的内容，或者发送封包。 wireshark能获取HTTP，也能获取HTT PS，但是不能解密HTTPS，所以wireshark 看不懂HTTPS中的内容，总结，如果是处理HTTP,HTTPS 还是用Fiddler,其他协议比如TCP,UDP 就用wireshark. Wireshark(网络嗅探抓包工具) v1.4.9 中文版(包含中文手册+主界面的操作菜单) 评分: 2.5 类别：远程监控大小：22M 语言：中文 查看详细信息>> wireshark 开始抓包 开始界面 wireshark是捕获机器上的某一块网卡的网络包，当你的机器上有多块网卡的时候，你需要选择一个网卡。 点击Caputre->Interfaces.. 出现下面对话框，选择正确的网卡。然后点击"Start"按钮, 开始抓包 Wireshark 窗口介绍 WireShark 主要分为这几个界面 1. Display Filter(显示过滤器)，用于过滤 2. Packet List Pane(封包列表)，显示捕获到的封包，有源地址和目标地址，端口号。颜色不同，代表 3. Packet Details Pane(封包详细信息), 显示封包中的字段 4. Dissector Pane(16进制数据) 5. Miscellanous(地址栏，杂项) 使用过滤是非常重要的，初学者使用wireshark时，将会得到大量的冗余信息，在几千甚至几万条记录中，以至于很难找到自己需要的部分。搞得晕头转向。 过滤器会帮助我们在大量的数据中迅速找到我们需要的信息。 过滤器有两种， 一种是显示过滤器，就是主界面上那个，用来在捕获的记录中找到所需要的记录 一种是捕获过滤器，用来过滤捕获的封包，以免捕获太多的记录。在Capture -> Capture Filters 中设置 保存过滤 在Filter栏上，填好Filter的表达式后，点击Save按钮，取个名字。比如"Filter 102", Filter栏上就多了个"Filter 102" 的按钮。 过滤表达式的规则 表达式规则 1. 协议过滤 比如TCP，只显示TCP协议。 2. IP 过滤 比如 ip.src ==192.168.1.102 显示源地址为192.168.1.102， ip.dst==192.168.1.102, 目标地址为192.168.1.102 3. 端口过滤 tcp.port ==80, 端口为80的 tcp.srcport == 80, 只显示TCP协议的愿端口为80的。 4. Http模式过滤 http.request.method=="GET", 只显示HTTP GET方法的。 5. 逻辑运算符为 AND/ ORWireshark的抓包及过滤规则实验
DNS抓包分析
课题_nginx搭建rtmp协议流媒体服务器总结
802.11抓包分析
实时流煤体协议概述v1.0
【小技巧】wireshark定位抓包与定位查看
PANABIT支持协议库
RTSP协议转换RTMP直播协议
实验一 wireshark抓包工具使用
数据包抓包分析
flex视频播放器(支持rtmp协议)开发代码
wireshark怎么抓包、wireshark抓包详细图文教程