汉明码编码译码实验报告(信息论与编码)及源程序
1、原理与步骤
在随机信道中，错码的出现是随机的，且错码之间是统计独立的。例如，由高斯白噪声引起的错码就具有这种性质。因此，当信道中加性干扰主要是这种噪声时，就称这种信道为随机信道。由于信息码元序列是一种随机序列，接收端是无法预知的，也无法识别其中有无错码。为了解决这个问题，可以由发送端的信道编码器在信息码元序列中增加一些监督码元。这些监督码元和信息码元之间有一定的关系，使接收端可以利用这种关系由信道译码器来发现或纠正可能存在的错码。在信息码元序列中加入监督码元就称为差错控制编码，有时也称为纠错编码。不同的编码方法有不同的检错或纠错能力。有的编码就只能检错不能纠错。
汉明码是一种能够纠正一位错码且编码效率较高的线性分组码。
汉明码是一种多重（复式）奇偶检错系统。它将信息用逻辑形式编码，以便能够检错和纠错。用在汉明码中的全部传输码字是由原来的信息和附加的奇偶监督位组成的。每一个这种奇偶位被编在传输码字的特定比特位置上。
推导并使用长度为m位的码字的汉明码，所需步骤如下：
1、确定最小的监督位数k，将它们记成D1、D
2、…、Dk，每个监督位符合不同的奇偶测试规定。
2、原有信息和k个监督位一起编成长为m+k位的新码字。选择k监督位（0或1）以满足必要的奇偶条件。
3、对所接收的信息作所需的k个奇偶检查。
4、如果所有的奇偶检查结果均为正确的，则认为信息无错误。
如果发现有一个或多个错了，则错误的位由这些检查的结果来唯一地确定。
2、算法描述
一个二元（7，4）汉明码的系统码形式的矩阵和校验矩阵分别为
1 0 0 0 1 0 1 1 1 1 0 1 0 0
G= 0 1 0 0 1 1 1 H= 0 1 1 1 0 1 0
0 0 1 0 1 1 0 1 1 0 1 0 0 1
0 0 0 1 0 1 1
等价的编码方程为
C i=m i , i=0,1,2,3
C4=m0+m1+m2
C5=m1+m2+m3
C6=m0+m1+m3
3、源程序及注释
void main()
{ int aa[10000];
int i;
int N;
int b[4][7]={{1,0,0,0,1,0,1},{0,1,0,0,1,1,1},{0,0,1,0,1,1,0},{0,0,0,1,0,1,1}};//定义生成矩阵int y=0,s=0;
int j,k,m;
int a[4],q[7],rr[10000/4*7];
int p,D=0;
int cc[2500],dd[2500];
int e[8][7]={{1,0,0,0,0,0,0},{0,1,0,0,0,0,0},{0,0,1,0,0,0,0},{0,0,0,1,0,0,0},{0,0,0,0,1,0,0}, {0,0,0,0,0,1,0},{0,0,0,0,0,0,1},{1,1,0,0,0,0,0}};//定义错误图样
int w[10000/4*7];
int H[7][3]={{1,0,1},{1,1,1},{1,1,0},{0,1,1},{1,0,0},{0,1,0},{0,0,1}};
int A=0,M=0,L=8;
int f[3];
int ww[10000/4*7];
printf("汉明(7，4)码的编码与译码程序:\n");
printf("请输入你想产生的二进制个数：");
scanf("%d",&N); //输入想产生的信源的个数while(N<4)
{
printf("输入无效，请重新输入");
printf("请输入你想产生的二进制个数：");
scanf("%d",&N);
}
printf("随机产生的二进制序列为：\n");
srand( (unsigned)time( NULL ) ); //产生一个随机序列，并把它放入a[]中for(i=0;i {aa[i]=rand()%2; printf("%d",aa[i]); } printf("\n"); printf("编码后变为：\n");//编码生成码字 for(m=0;m { for(i=y;i<(y+4);i++) {a[i-y]=aa[i]; } ////取出4位出来 for (j=0;j<7;j++) { q[j]=0; for(k=0;k<4;k++) q[j]+=a[k]*b[k][j];/////与生成矩阵相乘 } for(i=s;i<(s+7);i++) {rr[i]=0; rr[i]=q[i-s]%2; printf("%d",rr[i]);////将生成的放入rr[]中 } y=y+4;////向后移动4位 s=s+7;///向后移动7位 printf("\n"); } printf("经过信道后变为：\n"); srand( (unsigned)time( NULL ) ); for(j=0;j { cc[j]=rand()%100;////产生一个0~99的随机数 if(cc[j]<9)////当随机数小于9时，一个码字产生2个错误 {for(i=D;i<(D+7);i++) {w[i]=0; w[i]=(rr[i]+e[7][i-D])%2; printf("%d",w[i]);} } else if((cc[j]>=9)&&(cc[j]<=30))///当随机数在9~30时，一个码字产生一个错误 { dd[j]=rand()%7; p=dd[j]; ///随机产生一个0~6的数，以确定是码字一个错误的位置 for(i=D;i<(D+7);i++) {w[i]=0; w[i]=(rr[i]+e[p][i-D])%2; printf("%d",w[i]);} } else //////当随机数在30~99时，不发生错误 { for(i=D;i<(D+7);i++) {w[i]=0; w[i]=rr[i]; printf("%d",w[i]);} } D=D+7;////向后移动7位 printf("%6d",cc[j]);/////进行跟踪，以确定码字错几位 printf("\n"); } printf("经过译码后变为: \n"); for(i=0;i { for(j=0;j<3;j++) { f[j]=0; for(k=A;k f[j]+=w[k]*H[k-A][j];/////计算伴随式 } for(m=0;m<7;m++) { for(j=0;j<3;j++) if((f[j]%2)==H[m][j])M=M+1; if(M==3)L=m ; M=0;//清零 } ///根据伴随式找到出错的位置 for(m=0;m<7;m++) { if(m==L) {ww[A+m]=(w[A+m]+1)%2;//将出错的地方更正 printf("%d",ww[A+m]); } else {ww[A+m]=w[A+m]; printf("%d",ww[A+m]);//没有出错的地方 } } A=A+7;//向后移动7位 L=8;//复位 M=0;///清零，复位 printf("\n"); } } 4、运行输出结果实例 5、实验总结 这次的实验是实现汉明码的编码与译码，达到纠错功能。通过信息论的课程，我基本了解了汉明码编译的原理和方法，但在编程的过程中遇到了不小的困难。首先还是理解汉明码概念的问题，因为还存在纠错的功能，所以汉明码的编码方式和以前学的哈夫曼编码或Fano编码比起来要复杂不少，开 始的时候理解起来有些困难。不过通过仔细看PPT，很快就弄懂了汉明码的原理。但是最开始编出来的程序运行的结果总是不正确，和书上的码字不一样，后来发现是在校验矩阵上出了问题，自己对矩阵方面的知识一直把握得不是很好。经过调试，程序很快就能够正确运行了。 到现在为止，我已经学了C语言程序设计、数据结构等课程，这次的信息论与编码实验让我感觉到以前学习的东西有了用武之地，把知识和理论付诸实践才能有所提高。在编程的过程中，我发现自己的编程能力还非常有待提高，以前C语言课程里的很多知识掌握还不牢，时常需要翻书查阅。对信息论与编码这门课的学习还要加深，只有深刻理解了要做的事情，才能把事情做好。以后我要更加努力，逐步解决这些问题。 《信息论与编码》实验指导书 信息与通信工程学院信息工程系 2014年6月 目录 实验一绘制信源熵函数曲线 (3) 实验二哈夫曼编解码 (6) 实验三离散信道容量 (10) 1实验一绘制信源熵函数曲线 一、实验目的 1.掌握离散信源熵的原理和计算方法。 2.熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲 线的绘制。 3.理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意 义。 二、实验原理 1.离散信源相关的基本概念、原理和计算公式 产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。 假定X是一个离散随机变量，即它的取值范围R={x1，x2，x3，…}是有限或可数的。设第i个变量x i发生的概率为p i=P{X=x i}。则： 定义一个随机事件的自信息量I（x i）为其对应的随机变量x i出现概率对数的负值。即： I（x i）= -log2p(x i) 定义随机事件X的平均不确定度H（X）为离散随机变量x i出现概率的数学期望，即： ∑∑ - = = i i i i i i x p x p x I x p X H) ( log ) ( ) ( ) ( ) ( 2 单位为比特/符号或比特/符号序列。 平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H（X）称为信源X的信源熵。 必须注意一下几点： a)某一信源，不管它是否输出符号，只有这些符号具有某些概率特性， 必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定 值，一般写成H（X），X是指随机变量的整体（包括概率分布）。 b)信息量则只有当信源输出符号而被接收者收到后，才有意义，这就 是给与信息者的信息度量，这值本身也可以是随机量，也可以与接 重庆工程学院 电子信息学院 实验报告 课程名称：_ 数据通信原理开课学期：__ 2015-2016/02_ 院（部）: 电子信息学院开课实验室：实训楼512 学生姓名: 舒清清梁小凤专业班级: 1491003 学号: 149100308 149100305 重庆工程学院学生实验报告 课程名 称 数据通信原理实验项目名称汉明码编译实验 开课院系电子信息学院实验日期 2016年5月7 日 学生姓名舒清清 梁小凤 学号 149100308 149100305 专业班级网络工程三班 指导教 师 余方能实验成绩 教师评语： 教师签字：批改时间： 一、实验目的和要求 1、了解信道编码在通信系统中的重要性。 2、掌握汉明码编译码的原理。 3、掌握汉明码检错纠错原理。 4、理解编码码距的意义。 二、实验内容和原理 汉明码编码过程：数字终端的信号经过串并变换后，进行分组，分组后的数据再经过汉明码编码，数据由4bit变为7bit。 三、主要仪器设备 1、主控&信号源、6号、2号模块各一块 2、双踪示波器一台 3连接线若干 四、实验操作方法和步骤 1、关电，按表格所示进行连线 2、开电，设置主控菜单，选择【主菜单】→【通信原理】→【汉明码】。 （1）将2号模块的拨码开关S12#拨为10100000，拨码开关S22#、S32#、S42#均拨为00000000；（2）将6号模块的拨码开关S16#拨为0001，即编码方式为汉明码。开关S36#拨为0000，即无错模式。按下6号模块S2系统复位键。 3、此时系统初始状态为：2号模块提供32K编码输入数据，6号模块进行汉明编译码，无差错插入模式。 4、实验操作及波形观测。 （1）用示波器观测6号模块TH5处编码输出波形。 （2）设置2号模块拨码开关S1前四位，观测编码输出并填入下表中： 五、实验记录与处理（数据、图表、计算等） 校对输入0000，编码0000000 输入0001，编码0001011 输入0010，编码0010101 输入0011，编码0011110 输入0100，编码0100110 输入0101，编码0101101 输入0110，编码0110011输入0111，编码0111000 1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3 本科生实验报告 实验课程信息论与编码 学院名称信息科学与技术学院 专业名称通信工程 学生姓名 学生学号 指导教师谢振东 实验地点6C601 实验成绩 二〇一五年十一月二〇一五年十一月 实验一：香农（Shannon ）编码 一、实验目的 掌握通过计算机实现香农编码的方法。 二、实验要求 对于给定的信源的概率分布，按照香农编码的方法进行计算机实现。 三、实验基本原理 给定某个信源符号的概率分布，通过以下的步骤进行香农编码 1、将信源消息符号按其出现的概率大小排列 )()()(21n x p x p x p ≥≥≥ 2、确定满足下列不等式的整数码长K i ； 1)(l o g )(l o g 22+-<≤-i i i x p K x p 3、为了编成唯一可译码，计算第i 个消息的累加概率 ∑ -== 1 1 )(i k k i x p p 4、将累加概率P i 变换成二进制数。 5、取P i 二进制数的小数点后K i 位即为该消息符号的二进制码。 四、源程序： #include int i,j; for(i=0;i 《信息论与编码》教学大纲 一课程简介 课程编号：04254002 课程名称：信息论与编码Informatics & Coding 课程类型：基础课必修课 学时：32 学分：2 开课学期：第六学期 开课对象：通信、电子专业 先修课程：概率论与数理统计、信号与系统、随机信号原理。 参考教材：信息论与编码，陈运，周亮，陈新，电子工业出版社，2002年8月 二课程性质、目的与任务 信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则，它对通信体制和通信系统的研究具有指导意义。提高信息传输的可靠性和有效性始终是通信工作所追求的目标。因此，信息论与编码是从事通信、电子系统工程的有关工程技术人员都必须掌握的基本理论知识。 内容提要：本课程包括狭义相对论和提高通信可靠性的差错控制编码理论。信息论所研究的主要问题是在通信系统设计中如何实现有效性和可靠性。 三教学基本内容与基本要求 本课程总学时为32。其中理论教学为28，实验学时为4。 主要的理论教学内容包括：离散信源和连续信源的熵、条件熵、联合熵和平均互信息量的概念及性质；峰值功率受限和平均功率受限下的最大熵定理和连续信源熵的变换；变长码的霍夫曼编码方法，熟悉编码效率和平均码长的计算；最大后验概率准则和最大似然译码准则等。 实验内容主要包括：离散无记忆信道容量的迭代算法，循环码的编译码。 四教学内容与学时分配 第3章离散信源无失真编码 第6章网络信息论 （教学要求：A—熟练掌握；B—掌握；C—了解） 五实习、实验项目及学时分配 1．离散无记忆信道容量的迭代算法2学时 要求用Matlab编写计算离散信道容量的实用程序并调试成功，加深对信道容量的理解。 2．循环码的编译码2学时 要求用Matlab编写程序，用软件完成循环码的编译码算法。 六教学方法与手段 常规教学与多媒体教学相结合。 实验报告 课程名称：信息论与编码姓名： 系：专 业：年 级：学 号：指导教 师：职 称： 年月日 目录 实验一信源熵值的计算 (1) 实验二Huffman 信源编码. (5) 实验三Shannon 编码 (9) 实验四信道容量的迭代算法 (12) 实验五率失真函数 (15) 实验六差错控制方法 (20) 实验七汉明编码 (22) 实验一信源熵值的计算 、实验目的 1 进一步熟悉信源熵值的计算 2 熟悉Matlab 编程 、实验原理 熵(平均自信息)的计算公式 q q 1 H(x) p i log2 p i log2 p i i 1 p i i 1 MATLAB实现：HX sum( x.* log2( x))；或者h h x(i)* log 2 (x(i )) 流程：第一步：打开一个名为“ nan311”的TXT文档，读入一篇英文文章存入一个数组temp，为了程序准确性将所读内容转存到另一个数组S，计算该数组中每个字母与空格的出现次数( 遇到小写字母都将其转化为大写字母进行计数) ，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；最后，通过统计数据和信息熵公式计算出所求信源熵值(本程序中单位为奈特nat )。 程序流程图： 三、实验内容 1、写出计算自信息量的Matlab 程序 2、已知：信源符号为英文字母(不区分大小写)和空格输入：一篇英文的信源文档。输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。 四、实验环境 Microsoft Windows 7 五、编码程序 #include"stdio.h" #include 实验四汉明码系统 一、实验原理和电路说明 差错控制编码的基本作法是：在发送端被传输的信息序列上附加一些监督码元，这些多余的码元与信息之间以某种确定的规则建立校验关系。接收端按照既定的规则检验信息码元与监督码元之间的关系，一旦传输过程中发生差错，则信息码元与监督码元之间的校验关系将受到破坏，从而可以发现错误，乃至纠正错误。 通信原理综合实验系统中的纠错码系统采用汉明码（7，4）。所谓汉明码是能纠正单个错误的线性分组码。它有以下特点： 码长n=2m-1 最小码距d=3 信息码位k=2n-m-1 纠错能力t=1 监督码位r=n-k 这里m位≥2的正整数，给定m后，既可构造出具体的汉明码（n，k）。 汉明码的监督矩阵有n列m行，它的n列分别由除了全0之外的m位码组构成，每个码组只在某列中出现一次。系统中的监督矩阵如下图所示： 1110100 H=0111010 1101001 其相应的生成矩阵为： 1000101 0100111 G= 0010110 0001011 汉明译码的方法，可以采用计算校正子，然后确定错误图样并加以纠正的方法。 图2.4.1和图2.42给出汉明编码器和译码器电原理图。 a6 a5 a4 a3 a2 a1 a0 a a a a 图2.4.1汉明编码器电原理图 a a a a a a a3 图2.4.2汉明译码器电原理图 表2.4.1 （7，4）汉明编码输入数据与监督码元生成表 a6bit，其次是a5、a4……，最后输出a0位。 汉明编译码模块实验电路功能组成框图见图2.4.4和图2.3.5所示。 汉明编码模块实验电路工作原理描述如下： 1、输入数据：汉明编码输入数据可以来自ADPCM1模块的ADPCM码字，或来自同 信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以 比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得 《信息论与信源编码》实验报告 1、实验目的 (1) 理解信源编码的基本原理； (2) 熟练掌握Huffman编码的方法； (3) 理解无失真信源编码和限失真编码方法在实际图像信源编码应用中的差异。 2、实验设备与软件 (1) PC计算机系统 (2) VC++6.0语言编程环境 (3) 基于VC++6.0的图像处理实验基本程序框架imageprocessing_S (4) 常用图像浏览编辑软件Acdsee和数据压缩软件winrar。 (5) 实验所需要的bmp格式图像（灰度图象若干幅） 3、实验内容与步骤 (1) 针对“图像1.bmp”、“图像2.bmp”和“图像3.bmp”进行灰度频率统计（即计算图像灰度直方图），在此基础上添加函数代码构造Huffman码表，针对图像数据进行Huffman编码，观察和分析不同图像信源的编码效率和压缩比。 (2) 利用图像处理软件Acdsee将“图像1.bmp”、“图像2.bmp”和“图像 3.bmp”转换为质量因子为10、50、90的JPG格式图像（共生成9幅JPG图像），比较图像格式转换前后数据量的差异，比较不同品质因素对图像质量的影响； (3) 数据压缩软件winrar将“图像1.bmp”、“图像2.bmp”和“图像3.bmp”分别生成压缩包文件，观察和分析压缩前后数据量的差异； (4) 针对任意一幅图像，比较原始BMP图像数据量、Huffman编码后的数据量（不含码表）、品质因素分别为10、50、90时的JPG文件数据量和rar压缩包的数据量，分析不同编码方案下图像数据量变化的原因。 4、实验结果及分析 (1)在VC环境下，添加代码构造Huffman编码表，对比试验结果如下： a.图像1.bmp： 中南大学 《信息论与编码》实验报告 题目信源编码实验 指导教师 学院 专业班级 姓名 学号 日期 目录 一、香农编码 (3) 实验目的 (3) 实验要求 (3) 编码算法 (3) 调试过程 (3) 参考代码 (4) 调试验证 (7) 实验总结 (7) 二、哈夫曼编码 (8) 实验目的 (8) 实验原理 (8) 数据记录 (9) 实验心得 (10) 一、香农编码 1、实验目的 （1）进一步熟悉Shannon 编码算法； （2）掌握C 语言程序设计和调试过程中数值的进制转换、数值与字符串之间 的转换等技术。 2、实验要求 （1）输入：信源符号个数q 、信源的概率分布p ； （2）输出：每个信源符号对应的Shannon 编码的码字。 3、Shannon 编码算法 1：procedure SHANNON(q,｛Pi ｝) 2: 降序排列｛Pi ｝ 3: for i=1 q do 4: F(i s ) 5：i l 2 []log 1/()i p s 6：将累加概率F(i s )（十进制小数）变换成二进制小数。 7：取小数点后i l 个二进制数字作为第i 个消息的码字。 8：end for 9：end procedure ------------------------------------------------------------------------------------------------------------------ 4、调试过程 1、fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory fatal error C1083: Cannot open include file: 'values.h': No such file or directory 原因：unistd.h 和values.h 是Unix 操作系统下所使用的头文件 纠错：删去即可 2、error C2144: syntax error : missing ')' before type 'int' error C2064: term does not evaluate to a function 原因：l_i(int *)calloc(n,sizeof(int)); l_i 后缺少赋值符号使之不能通过编译 纠错：添加上赋值符号 1 1 ()i k k p s -=∑ 汉明码编译码实验 一、实验目的 1、掌握汉明码编译码原理 2、掌握汉明码纠错检错原理 二、实验内容 1、汉明码编码实验。 2、汉明码译码实验。 3、汉明码纠错检错能力验证实验。 三、实验器材 LTE-TX-02E通信原理综合实验系统----------------------------------------------模块8 四、实验原理 在随机信道中，错码的出现是随机的，且错码之间是统计独立的。例如，由高斯白噪声引起的错码就具有这种性质。因此，当信道中加性干扰主要是这种噪声时，就称这种信道为随机信道。由于信息码元序列是一种随机序列，接收端是无法预知的，也无法识别其中有无错码。为了解决这个问题，可以由发送端的信道编码器在信息码元序列中增加一些监督码元。这些监督码元和信码之间有一定的关系，使接收端可以利用这种关系由信道译码器来发现或纠正可能存在的错码。在信息码元序列中加入监督码元就称为差错控制编码，有时也称为纠错编码。不同的编码方法有不同的检错或纠错能力。有的编码就只能检错不能纠错。 那么，为了纠正一位错码，在分组码中最少要加入多少监督位才行呢？编码效率能否提高呢？从这种思想出发进行研究，便导致汉明码的诞生。汉明码是一种能够纠正一位错码且编码效率较高的线性分组码。下面我们介绍汉明码的构造原理。 一般说来，若码长为n，信息位数为k，则监督位数r＝n?k。如果希望用r个监督位构造出r个监督关系式来指示一位错码的n种可能位置，则要求 2r? 1 ≥n 或2r ≥k + r + 1 （14-1）下面我们通过一个例子来说明如何具体构造这些监督关系式。 设分组码(n，k)中k＝4，为了纠正一位错码，由式（14-1）可知，要求监督位数r≥3。若取r=3，则n= k + r =7。我们用α6α5…α0表示这7个码元，用S1、S2、S3表示三个监督关系式中的校正子，则S1 S2 S3的值与错码位置的对应关系可以规定如表14-1所列。 表14-1 一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 实验一 绘制二进熵函数曲线（2个学时） 一、实验目的： 1. 掌握Excel 的数据填充、公式运算和图表制作 2. 掌握Matlab 绘图函数 3. 掌握、理解熵函数表达式及其性质 二、实验要求： 1. 提前预习实验，认真阅读实验原理以及相应的参考书。 2. 在实验报告中给出二进制熵函数曲线图 三、实验原理： 1. Excel 的图表功能 2. 信源熵的概念及性质 ()()[] ()[]())(1)(1 .log )( .) ( 1log 1log ) (log )()(10 , 110)(21Q H P H Q P H b n X H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤? ?????-===??????∑ 单位为 比特/符号 或 比特/符号序列。 当某一符号xi 的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。当信源X 中只含有一个符号x 时，必有p(x)=1，此时信源熵H （X ）为零。 四、实验内容： 用Excel 和Matlab 软件制作二进熵函数曲线。根据曲线说明信源熵的物理意义。 （一） Excel 具体步骤如下： 1、启动Excel 应用程序。 2、准备一组数据p 。在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。 3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。选用c=2,则应用函数LOG(x,2)。 在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2) 双击B2的填充柄，即可完成H(p)的计算。 4、使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无数据点平滑散点图”，数据区域用计算出的H(p)数据所在列范围，即$B$1:$B$101。在“系列”中输入X值(即p值)范围，即$A$1:$A$101。在X轴输入标题概率，在Y轴输入标题信源熵。 （二）用matlab软件绘制二源信源熵函数曲线 p = 0.0001:0.0001:0.9999; h = -p.*log2(p)-(1-p).*log2(1-p); plot(p,h) 五、实验结果 苏州科技大学天平学院电子与信息工程学院 信道编码课程设计报告 课设名称卷积码编译及译码仿真 学生姓名圣鑫 学号 32 同组人周妍智 专业班级通信1422 指导教师潘欣欲 一、实验名称 基于MAATLAB的卷积码编码及译码仿真 二、实验目的 卷积码是一种性能优越的信道编码。它的编码器和译码器都比较容易实现，同时它具有较强的纠错能力。随着纠错编码理论研究的不断深入，卷积码的实际应用越来越广泛。本实验简明地介绍了卷积码的编码原理和Viterbi译码原理。并在SIMULINK模块设计中，完成了对卷积码的编码和译码以及误比特统计整个过程的模块仿真。最后，通过在仿真过程中分别改变卷积码的重要参数来加深理解卷积码的这些参数对卷积码的误码性能的影响。经过仿真和实测，并对测试结果作了分析。 三、实验原理 1、卷积码编码原理 卷积码是一种性能优越的信道编码，它的编码器和解码器都比较易于实现，同时还具有较强的纠错能力，这使得它的使用越来越广泛。卷积码一般表示为(n,k,K)的形式，即将 k个信息比特编码为 n 个比特的码组，K 为编码约束长度，说明编码过程中相互约束的码段个数。卷积码编码后的 n 各码元不经与当前组的 k 个信息比特有关，还与前 K-1 个输入组的信息比特有关。编码过程中相互关联的码元有 K*n 个。R=k/n 是编码效率。编码效率和约束长度是衡量卷积码的两个重要参数。典型的卷积码一般选 n,k 较小，K 值可取较大(>10)，但以获得简单而高性能的卷积码。 卷积码的编码描述方式有很多种：冲激响应描述法、生成矩阵描述法、多项式乘积描述法、状态图描述，树图描述，网格图描述等。 2、卷积码Viterbi译码原理 卷积码概率译码的基本思路是:以接收码流为基础，逐个计算它与其他所有可能出现的、连续的网格图路径的距离，选出其中可能性最大的一条作为译码估值输出。概率最大在大多数场合可解释为距离最小，这种最小距离译码体现的正是最大似然的准则。卷积码的最大似然译码与分组码的最大似然译码在原理上是一样的，但实现方法上略有不同。主要区别在于:分组码是孤立地求解单个码组的相似度，而卷积码是求码字序列之间的相似度。基于网格图搜索的译码是实现最大似然判决的重要方法和途径。用格图描述时，由于路径的汇聚消除了树状图中的多余度，译码过程中只需考虑整个路径集合中那些使似然函数最大的路径。如果在某一点上发现某条路径已不可能获得最大对数似然函数，就放弃这条路径，然后在剩下的“幸存”路径中重新选择路径。这样一直进行到最后第 L 级(L 为发送序列的长度)。由于这种方法较早地丢弃了那些不可能的路径，从而减轻了译码的工作量，Viterbi 译码正是基于这种想法。对于(n, k, K )卷积码，其网格图中共 2kL 种状态。由网格图的前 K-1 条连续支路构成的路径互不相交，即最初 2k_1 条路径各不相同，当接收到第 K 条支路时，每条路径都有 2 条支路延伸到第 K 级上，而第 K 级上的每两条支路又都汇聚在一个节点上。在Viterbi译码算法中，把汇聚在每个节点上的两条路径的对数似然函数累加值进行比较，然后把具有较大对数似然函数累加值的路径保存下来，而丢弃另一条路径，经挑选后第 K 级只留下2K条幸存路径。选出的路径同它们的对数似然函数的累加值将一起被存储起来。由于每个节点引出两条支路，因此以后各级中路径的延伸都增大一倍，但比较它们的似然函数累加值后，丢弃一半，结果留存下来的路径总数保持常数。由此可见，上述译码过程中的基本操作是，“加-比-选”，即每级求出对数似然函数的累加值，然后两两比较后作出选择。有时会出现两条路径的对数似然函数累加值相等的情形，在这种情况下可以任意选择其中一条作 海明编码实验报告 学科专业：计算机科学与技术 姓名： 学号： 指导教师： 天津工业大学计算机科学与技术学院 二零一零年十二月 一．海明编码原理 海明码是一种可以纠正一位差错发现两位差错的编码。它是利用在信息位为k 位，增加r位冗余位，构成一个n=k+r位的码字，然后用r个监督关系式产生的r个校正因子来区分无错和在码字中的n个不同位置的一位错。它必需满足以下关系式： ２r>=n+1 或 2r>=k+r+1 海明码的编码效率为： R=k/(k+r) 式中 k为信息位位数 r为增加冗余位位数 2.海明码的生成与接收 二．海明编码方法 1）海明码的生成（顺序生成法）。 例3.已知：信息码为：" 1 1 0 0 1 1 0 0 " (k=8) 求：海明码码字。 解：1)把冗余码A、B、C、…，顺序插入信息码中，得海明码 码字:" A B 1 C 1 0 0 D 1 1 0 0 " 码位: 1 2 3 4 5 6 7 8 9 10 11 12 其中A,B,C,D分别插于2k位(k=0,1,2,3)。码位分别为1,2,4,8。 2)冗余码A,B,C,D的线性码位是：(相当于监督关系式) A->1,3,5,7,9,11； B->2,3,6,7,10,11； C->4,5,6,7,12；(注 5=4+1；6=4+2；7=4+2+1；12=8+4) D->8,9,10,11,12。 3)把线性码位的值的偶校验作为冗余码的值(设冗余码初值为0)： A=∑(0,1,1,0,1,0)=1 B=∑(0,1,0,0,1,0)=0 C=∑(0,1,0,0,0)=1 D=∑(0,1,1,0,0)=0 信息论与编码理论习题答案全解 第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知， 信息论与编码实验报告-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII 实验一关于硬币称重问题的探讨 一、问题描述： 假设有N 个硬币，这N 个硬币中或许存在一个特殊的硬币，这个硬币或轻 或重，而且在外观上和其他的硬币没什么区别。现在有一个标准天平，但是无刻度。现在要找出这个硬币，并且知道它到底是比真的硬币重还是轻，或者所有硬币都是真的。请问： 1）至少要称多少次才能达到目的； 2）如果N=12，是否能在3 次之内将特殊的硬币找到；如果可以，要怎么称？ 二、问题分析： 对于这个命题，有几处需要注意的地方： 1）特殊的硬币可能存在，但也可能不存在，即使存在，其或轻或重未知； 2）在目的上，不光要找到这只硬币，还要确定它是重还是轻； 3）天平没有刻度，不能记录每次的读数，只能判断是左边重还是右边重，亦或者是两边平衡； 4）最多只能称3 次。 三、解决方案： 1.关于可行性的分析 在这里，我们把称量的过程看成一种信息的获取过程。对于N 个硬币，他们 可能的情况为2N+1 种，即重（N 种），轻（N 种）或者无假币（1 种）。由于 这2N+1 种情况是等概率的，这个事件的不确定度为： Y=Log(2N+1) 对于称量的过程，其实也是信息的获取过程，一是不确定度逐步消除的过程。 每一次称量只有3 种情况：左边重，右边重，平衡。这3 种情况也是等概率 的，所以他所提供的信息量为： y=Log3 在K 次测量中，要将事件的不确定度完全消除，所以 K= Log(2N+1)/ Log3 根据上式，当N=12 时，K= 2.92< 3 所以13 只硬币是可以在3 次称量中达到 无线通信基础课程设计报告 （信道编码） 小组成员： 指导老师： 完成时间： 无线通信系统课程设计报告 实验摘要：数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从 而使接收端产生图象跳跃、不连续等现象。信道编码通过对数码流进行相应的处理，使系统具有一定的检错和纠错能力，可极大地避免码流传送中误码的发生。提高数据传输可靠性，降低误码率是信道编码的任务。 实验名称：信道编码 实验目标：本实验的目标是领会信道编码的基本思想。并通过比较有无信道编码模块的 不同系统误码率性能，感受信道编码技术对于提高系统性能的重要意义。 实验原理：打开“Channel_Coding_74.vi”前面板如图1所示，打开程序框图并理解参与 信道编码的整个数据流。程序包含上下两个独立的部分如图2所示，下面部分是生成误码率曲线如图1(b)，其结构和上面部分类似，你只需要关注上面部分程序即可；上面部分代码大致可由做7个模块组成，每一模块完成一项功能。你负责的是这个实验的“编码和解码”功能。这些模块为： 1、读取图片 LabVIEW提供了一个能够读取JPEG格式的图像并输出图像数据的模块。提供的还原像素图.vi完成图像数据到一维二进制数据的转换（图像数据→十进制二维数组→二进制一维数组），输出信源比特流。 (a)实验操作部分(b)误码率曲线 图1 前面板 2、信道编码 我们的下一个目标是对信源比特流进行信道编码。信道编码方案很多，线性分组码、卷积码、LDPC码等等；这里我们采用简单的（7，4）线性分组码。 图2 程序框图 线性分组码是一类重要的纠错码。在（n ，k ）线性分组码中，常用到能纠正一位错误的汉明码。其主要参数如下： 码长： 21m n =-； 信息位：21m k m =--； 校验位：m n k =-； 最小距离： d = 3； 纠错能力： t = 1； 本次实验需要用到的是(7,4)分组码，属系统码，前四位为信息位，后三位为冗余位。 3、BPSK 调制 上一步得到的是二进制的信息比特流，需要采用一定的调制方案，将二进制的信息比特 映射成适合信道传输的符号。这里我们采用最简单的BPSK 调制：将信息0映射为幅值为1的信号，信息1映射为幅值为-1的信号，如图3所示。 (1,0)=0 图3 BPSK 映射图 I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解： 出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=信息论与编码实验指导书
汉明码编码实验报告
信息论与编码课后习题答案
信息论与编码实验报告.
《信息论与编码》教学大纲
信息论与编码实验报告材料
实验四 汉明码系统
信息论与编码理论课后习题答案高等教育出版社
《信息论与信源编码》实验报告
香农编码实验报告
汉明码编译码实验
信息论与编码课后答案
信息论与编码实验报告
卷积码实验报告
海明编码实验报告
信息论与编码理论习题答案全解
信息论与编码实验报告
信道编码实验报告
信息论与编码理论第二章习题答案