当前位置：文档库 › 信息与编码理论课后习题答案

信息与编码理论课后习题答案

2.1 莫尔斯电报系统中，若采用点长为0.2s ，1划长为0.4s ，且点和划出现的概率分别为2/3和1/3，试求它的信息速率(bits/s)。

解: 平均每个符号长为:

154

4.0312.032=?+?秒每个符号的熵为9183.03log 3

23log

32=?+?比特/符号所以，信息速率为444.34

9183.0=?比特/秒 2.2 一个8元编码系统，其码长为3，每个码字的第一个符号都相同(用于同步)，若每秒产生1000个码字，试求其信息速率(bits ／s)。解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；

所以，信息速率为600010006=?比特/秒

2.3 掷一对无偏的骰子，若告诉你得到的总的点数为：(a ) 7；(b ) 12。试问各得到了多少信息量?

解: (a)一对骰子总点数为7的概率是

6 所以，得到的信息量为 585.2)366

(log 2= 比特 (b) 一对骰子总点数为12的概率是36

1 所以，得到的信息量为 17.5361

log 2

= 比特 2.4

经过充分洗牌后的一付扑克(含52张牌)，试问：(a) 任何一种特定排列所给出的信息量是多少? (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量?

解: (a)任一特定排列的概率为

!521, 所以，给出的信息量为 58.225!

521

log 2=- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1313

1313

5252

13!44A C ?=

所以，得到的信息量为 21.134log 13

=C 比特. 2.5 设有一个非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求掷一次平均得到的信息量。

解:易证每次出现i 点的概率为21

,所以

比特比特比特比特比特比特

比特398.221

log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21

log )(26

12=-==============-==∑

i X H x I x I x I x I x I x I i i

i x I i

2.6 园丁植树一行，若有3棵白杨、4棵白桦和5棵梧桐。设这12棵树可随机地排列，且每一种排列都是等可能的。若告诉你没有两棵梧桐树相邻时，你得到了多少关于树的排列的信息?

解: 可能有的排列总数为

27720!

5!4!3!

12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y

X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???

??37种排法，Y 表示梧桐树可以栽种的位置，它

有????

??58种排法，所以共有???? ??58*???

? ??37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22

-=3.822 比特

2.7 某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10％来自本市，所有本市的考生都学过英语，而外地落榜考生中以及被录取的外地考生中都有40%学过英语。 (a) 当己知考生来自本市时，给出多少关于考生是否被录取的信息? (b) 当已知考生学过英语时，给出多少有关考生是否被录取的信息? (c) 以x 表示是否落榜，y 表示是否为本市学生，z 表示是否学过英语，x 、y 和z 取值为0或1。试求H (X )，H (Y |X )，H (Z |YZ )。

解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地；Z=0表示学过英语，Z=1表示未学过英语，由此得

31(0),(1),

(0)(0)(00)(1)(01)31111,41042514

(1)1,

(0)(0)(00)(1)(01)144013,55100251312

(1)1,

2525

p x p x p y p x p y x p x p y x p y p z p y p z y p y p z y p z =========+====?+?===-======+====

+?===-=

221313()(00)(00)(0)/(0)/104581115

(10)(01)(1)/(0)/2458

(00)(10)

(;0)(00)log (10)log (0)(1)

3535

log log 8

844

0.4512a p x y p y x p x p y p x y p y x p x p y p x y p x y I X y p x y p x y p x p x ========

?=========?=

========+=====+=比特

()(00)

((00,0)(00)(01,0)(10))(0)/(0)19431369()/101010425104(10)

((00,1)(01)(01,1)(11))(1)/(0)11211335()/225425104(;b p x z p z y x p y x p z y x p y x p x p z p x z p z y x p y x p z y x p y x p x p z I X ========+========+??=========+========+??=2

222222(00)

(10)0)(00)log (10)log (0)

(1)

6935

6935104104

log log 31104

10444

0.02698341

()()log log 40.8113434

()(0)(00)log (00)(0)(10)log (1p x z p x z z p x z p x z p x p x c H X H Y X p x p y x p y x p x p y x p y x ========+=====+==+=======+=====比特

比特

2222220)(1)(01)log (01)(1)(11)log (11)3139101111

log 10log log 2log 2410410942420.6017p x p y x p y x p x p y x p y x +

=====+======?+?+?+?=比特

2.8 在A 、B 两组人中进行民意测验，组A 中的人有50%讲真话(T )，30%讲假话(F )，20%拒绝回答(R )。而组B 中有30%讲真话，50%讲假话和20%拒绝回答。设选A 组进行测验的概率为p ，若以I (p )表示给定T 、F 或R 条件下得到的有关消息来自组A 或组B 的平均信息量，试求I (p )的最大值。解:令

{}{}R F T Y B A X ,,,,==，则

比特

得令同理03645.0)()(5

.0,02.03.0)

2.05.0(log 2.0)()2.05.0(log )2.05.0()2.0

3.0(log )2.03.0(5.0log 5.03.0log 3.0)

5log )1(2.02log )1(5.0log )1(3.05log 2.0log 3.02log 5.0(2.0log 2.0)2.05.0(log )2.05.0()2.03.0(log )2.03.0()

()();()(2.0)(,2.05.0)(2.03.0)1(3.05.0)

()()()()(5.0max 2

'22222210221022222==∴==+-=---++-+=-+-+-+++-----++-=-===-=+=-?+=+==p p I p I p p

p p I p p p p p p p p p p p p p p X Y H Y H Y X I p I R P p F P p

p p B P B T P A P A T P T P 2.9 随机掷三颗骰子，以X 表示第一颗骰子抛掷的结果，以Y 表示第一和第二颗骰子抛掷的点数之和，以Z 表示三颗骰子的点数之和。试求H (Z |Y )、H (X |Y )、H (Z |XY )，H (XZ |Y )和H (Z |X )。

解:令X=X 1,Y=X 1+X 2,Z=X 1+X 2+X 3, H(X 1)=H(X 2)=H(X 3)=6log 2 比特 H(X)= H(X 1) =6log 2=2.585 比特 H(Y)= H(X 2+X 3)

6log 6

1)536log 365436log 364336log 363236log 36236log 361(

2222222+++++ = 3.2744比特 H(Z)= H(X 1+X 2+X 3)

)27

216log 2162725216log 2162521216log 2162115216

log 2161510216log 216106216log 21663216log 2163216log 2161(

22222

2222++++++= = 3.5993 比特

所以

H(Z/Y)= H(X 3)= 2.585 比特 H(Z/X) = H(X 2+X 3)= 3.2744比特 H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特

H(Z/XY)=H(Z/Y)= 2.585比特 H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特 2.12

计算习题2.9中的I (Y ；Z )，I (X ；Z )，I (XY ；Z )，I (Y ；Z |X )和I (X ；Z |Y )。解:I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X 3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特

I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X 2+X 3)-H(X 3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y) =0

2.10

设有一个系统传送10个数字：0, 1, …, 9。奇数在传送时以0.5的概率错成另外的奇数，而其它数字总能正确接收。试求收到一个数字平均得到的信息量。

解:设系统输出10个数字X 等概,接收数字为Y ,

显然

101

)(101)()()(919

===∑∑==i j p i j p i Q j w i i ， H(Y)=log10

比特奇奇

奇

偶

18log 81

101452log 211015)

(log

)()()(log )()(0)(log ),()(log ),()/(22,2

222=????+???

-=--=∑∑∑∑∑∑∑≠====x y p x y p x p x x p x x p x p x y p y x p x y p y x p X Y H x y x i y x y x

所以 I(X;Y)=

3219.2110log 2=-比特

2.11 令{u l , u 2, …, u 8}为一等概消息集，各消息相应被编成下述二元码字:

u l =0000，u 2=0011，u 3=0101，u 4=0110 u 5=1001，u 6=1010，u 7=1100，u 8=1111 通过转移概率为p 的BSC 传送。试求：(a ) 接收的第一个数字0与u l 之间的互信息量。

(b ) 接收的前二个数字00与u l 之间的互信息量。(c ) 接收的前三个数字000与u l 之间酌互信息量。 (d ) 接收的前四个数字0000与u l 之间的互信息量。

解:（a ）接收前一个数字为0的概率

)0()()0(=

=∑=i i i u p u q w

bits p p

w u p u I )1(log 11log )0()0(log )0;(22

1212

1-+=-==

（b ）同理

)00()()00(=

=∑=i i i u p u q w bits p p w u p u I )1(log 22)1(log )00()00(log )00;(24

2121-+=-==

（c ）同理

)000()()000(=

=∑=i i i u p u q w

bits p p w u p u I )1(log 33)1(log )000()000(log )000;(21

2121-+=-==

（d ）同理

))1(6)1(()0000()()0000(42268

p p p p u p u q w i i i +-+-==∑=

bits

p p p p p p p p p p w u p u I 4

2264

242268

2121)1(6)1()

1(8

log ))1(6)1(()1(log )0000()0000(log )0000;(+-+--=+-+--==

2.13 令X 、Y 、Z 是概率空间，试证明下述关系式成立。(a ) H (YZ |X )≤H (Y |X )＋H (Z |X )，给出等号成立的条件。

解: (b)

)

/()/()/(1

log

)()/(1log

)()

/()/(1

log

)()/(1log

)()/(XY Z H X Y H xy z p xyz p x y p xyz p xy z p x y p xyz p x yz p xyz p X YZ H x y z

+=+===∑∑∑∑∑∑∑∑∑∑∑∑

(c)

)

/()

/(1log

)/()()/(1

log

)/()()/(X Z H x z p xy z p xy p xy z p xy z p xy p XY Z H x

=≤=∑∑∑∑∑∑（由第二基本不等式）

或

)

/()

/((

log )/()()

/()/(log

)/()()

/(1log

)/()()

/(1log

)/()()/()/(=-?≤=-=-∑∑∑∑∑∑∑∑∑∑∑∑xy z p x z p e xy z p xy p xy z p x z p xy z p xy p x z p xy z p xy p xy z p xy z p xy p X Z H XY Z H x

（由第一基本不等式）

所以

)/()/(X Z H XY Z H ≤，

等号成立的条件为)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。

(a)

)/()/()/()/()/(X YZ H XY Z H X Y H X Z H X Y H =+≥+

等号成立的条件为

)/()/(x z p xy z p =,对所有Z z Y y X x ∈∈∈,,,即在给定X 条件下Y 与Z 相互独立。

2.14 对于任意概率事件集X 、Y 、Z ，证明下述三角不等式成立。

H (X |Y )＋H (Y |Z )≥H (X |Z ) H (X |Y )/H (XY )＋H (Y |Z )/H (YZ )≥H (X |Z )/H (XZ )

解: (a)

)/()/()/()/()/()/(Z X H Z XY H Z Y H YZ X H Z Y H Y X H ≥=+≥+

(b)

)

()/()()/()/()

()/()/()/()/()()/()()/(0)(,0)/()/()/()

()/()/()/()/()

/()()/()/()/()/()()/()/()

/()/()()

/()/()/()()/()

/()()/()/()()/()()/()()/(XZ H Z X H Z H Z X H Z X H Z H Z Y H Y X H Z Y H Y X H YZ H Z Y H XY H Y X H Z H Z X H Z Y H Y X H Z H Z Y H Y X H Z Y H Y X H Y X H YZ H Z Y H Y X H Y Z H Y X H Y H Z Y H Y X H Y X H Y Z H Y H Z Y H Y Z H Y X H Y H Y X H Y Z H Y H Z Y H Y X H Y H Y X H YZ H Z Y H XY H Y X H =

+≥

+++=

+∴≥≥≥++++=

++=

+++=

+++

++≥++

+=+ 注：b

a a

b a a a a b a a a b a b a b a b a a +≥

+→

+≥+→≥→>>≥22

112122112121

0,0 2.15 令d (X ，Y )=H (X |Y )＋H (Y |X )为X 和Y 的信息距离，令ρ(X ，Y )=[H (X |Y )＋H (Y |X )]/H (XY )为X 和Y 的信息距离系数。试证明有关距离的三个公理： d (X ，X )=0 d (X ，Y )≥0 d (X ，Y )=d (Y ，X ) d (X ，Y )＋d (Y ，Z )≥d (X ，Z )

解: (a)

)/()/(),(0

)/()/(),(≥+==+=X Y H Y X H Y X d X X H X X H X X d

(b) ),()/()/()/()/(),(X Y d Y X H X Y H X Y H Y X H Y X d =+=+=

(c)

)

,()/()/(),(),()

/()/()/()/()/()/()/()/()/()

/()/()/()/(),(),(Z X d X Z H Z X H Z Y d Y X d X Z H X Y H Y Z H Z X H Z XY H Z Y H YZ X H Z Y H Y X H Y Z H Z Y H X Y H Y X H Z Y d Y X d =+≥+∴≥+≥=+≥++++=+同理

2.16 定义S (X ，Y )=1－ρ(X ，Y )=I (X ；Y )/H (XY )为X 和Y 之间的信息相似度，证明：

0≤S (X ，Y )≤1 S (X ，X )=1 S (X ，Y )=0，X 和Y 独立时。

解:(a)

)

()

,(),()

()/()/()()()()()()(),(≤=∴=++-+≤-+=XY H Y X I Y X S XY H X Y H Y X H XY H Y H X H XY H Y H X H Y X I 又由互信息的非负性，即0)

;(≥Y X I ，有0);(≥Y X S ，所以 1);(0≤≤Y X S

(b)

()

()()/()()(),(),(==-==

X H X H XX H X X H X H XX H X X I X X S

()

,()

,(==

XY H Y X I Y X S 。

2.17 令X →Y →Z 为马尔可夫链，证明：I (X ；Z |Y )=0 I (XY ；Z )=I (Y ；Z ) I (Y ；Z |X )=I (Y |Z )－I (X ；Z )

I (Y ；Z |X )≤I (Y ；Z )

解: X →Y →Z 为马尔可夫链，有p(z/xy)=p(z/y),对所有x,y,z 。

)

0);(()

;();();()/;()

;();()()

/(log

)()()/(log

)()

()/()()/(log

)()

/()/(log

)()/;()

;()

()/(log

)()

()/(log )()()/(log

)();(0

)

/()

/(log

)()/;(≥≤-=-=-=

==∑∑∑∑∑∑∑

∑∑∑

∑∑

∑∑∑∑∑∑

∑∑∑

Z X I Z Y I Z X I Z Y I X Z Y I Z X I Z Y I z p x z p xz p z p y z p yz p z p x z p z p y z p xyz p x z p xy z p xyz p X Z Y I Z Y I z p y z p yz p z p y z p xyz p z p xy z p xyz p Z XY I y z p xy z p xyz p Y Z X I x z

z y

2.18 若三个随机变量有如下关系：x ＋y =z ，其中x 和y 独立。试证明：H (X )≤H (Z ) H (Y )≤H (Z ) H (XY )≥H (Z )

I (X ；Z )=H (Z )－H (Y ) I (XY ；Z )=H (Z ) I (X ；YZ )=H (X ) I (Y ；Z |X )=H (Y ) I (X ；Y |Z )=H (X |Z )=H (Y |Z )

解: (a) H (X )≤H (Z )

)

()(0)()()/()();()

()(log )()(log )()()(log )()/()

(log )()/(log )()/()

/()();(//Z H X H X H Z H Y Z H Z H Z Y I X H x p x p y z p y p y z p y z p y p y z p y z p yz p y z p yz p Y Z H Y Z H Z H Z Y I x x

x z

x x z

x y z z

x z

y z ≤

≥-=-=∴=-=---=--=--=-=-=∑∑∑∑∑∑∑∑∑即

(b) H(Y)≤H(Z)

)

()(0)()()/()(),()()/()

/()();(Z H Y H Y H Z H X Z H Z H Z X I Y H X Z H X Z H Z H Z X I ≤

≥-=-=∴=-=即同理

(c)

H(XY)≥H(Z)

)

()()()/()();()()/()();(0

)/(Z H XY H XY H Z XY H XY H Z XY I Z H XY Z H Z H Z XY I XY Z H ≥∴≤-==-==

(d) I(X ；Z)=H(Z)－H(Y) I(X;Z)=H(Z)-H(Z/X)=H(Z)-H(Y) (e) I(XY ；Z)=H(Z)

)

()/()();(0

)/(Z H XY Z H Z H Z XY I XY Z H =-==

(f) I(X ；YZ)=H(X)

)

()/()();(0

)/(X H XY X H X H YZ X I YZ X H =-==

(g)

I(Y ；Z|X)=H(Y)

H(Y/XZ)=0

I(Y;Z/X)=H(Y/X)-H(Y/XZ)=H(Y/X)=H(Y)

(h) I(X ；Y|Z)=H(X|Z)=H(Y|Z)

I(X;Y/Z)=H(X/Z)-H(X/YZ)=H(Y/Z)-H(Y/XZ) 而 H(X/YZ)=0,H(Y/XZ)=0

所以 I （X ；Y/Z ）=H(X/Z ）=H(Y/Z) #

2.19 证明

)(P H K 是概率矢量),,,(21K p p p P =的上凸函数，即对θ

，0<

<1和矢量P 1和P 2有

)()1()())1((2121P H P H P P H θθθθ-+>-+

证明：

111121221222121121212212121212111221(,,...,),(,,...,),01

(1)((1),(1),...,(1))

((1))((1))log((1))

log((1))(1)k k k k k

i i i i i k i i i i i P p p p P p p p P P p p p p p p H P P p p p p p p p p θθθθθθθθθθθθθθθθθθθ====≤≤+-=+-+-+-+-=-+-+-=-+---∑∑设 121

11221

1212log((1))

log (1)log ()(1)()

i i i k

i i i i

i i p p p p p p H P H P P P θθθθθθ===+-≥---=+-=∑∑∑不等式中的等号当且仅当时成立. #

2.20 用拉格朗日乘因子法求解下述泛函的极值。 H n (p l , p 2, …, p n )，

∑=1i

。

解：

121

12121

(1)12212(,,...,)ln (,,...,,)(,,...,)ln 10,1,2,...,,1

1,.

0111

(,,...,)(,,...,)log #

n n i i

i n

n n n i

i i i i

i i i i i

n n n H p p p p p p p p H p p p p f

p i n p e p p p n f p p H p p p H n n n n

λλλλ==--==-=+?=--+===?==?=-

得由得又极大值为

2.22 令U 是非负整数集合，事件k ∈U 的概率为p (k )，且

∑∞

==0

)(k A k kp (常数)。试求使H (U )为最大的分布p (k )。

解：

121210

0112120

1120

0()ln ,,,...,,)ln ,

ln 10,1,1{k k k k k k k k k k k k k k k k k k

k k k k k k k H P p p p kp A p p p p kp p f

p k p e p p kp A e ke λλλ

λλ

λλλλλλ∞

=∞∞

==∞∞∞

===+-∞

∞

==∞

+-==-==-++?=--++==?===∑∑∑∑∑∑∑∑∑约束条件为

=1 和

设 f(由

得由约束条件和得

21211

1(),0,1,2,...

()()#k k

k A

e e e p k H P H P λλλλ∞

+-=-=∴==∑ A 1 解得 =

,=1-=1+A 1+A 1A 1+A 1+A

为P 的上凸函数,此时为极大值

2.23 设X 是在[－1，1]上为均匀分布的随机变量。试求H c (X)，H c (X 2)和H c (X 3)。解: (a)

≤≤-=其它

,01

1,)(2

1x x p X

比特1log )(2

21=-=?-dx X H C (b) 令

dy dx x y 21

???

??≤=其它

,01,21

)(y y

y p Y

比特

443.0log 121log

21)(log )()(21

2-=-=-=-=?

?+∞

∞-e dy

y p y p X H Y Y C

(c)

令

3-==z dz dx x z ?????≤==-其它

,01,61)

()(2

z z dz

dx x p z p X Z

比特

3.0log 26log )6log(61)6log(61)(log )()(221

013

323

3232-=-=+=-=???---+∞∞

-e dz z z dz z z dz

z p z p X H Z Z C

2.24．设连续随机变量X 和Y 的联合概率密度为

??>><+π=其它

,0,11

)(2

22b a b y a x ab

xy f 试求H c (X )，H c (Y )，H c (XY )及I (X ；Y )。解：

()()()()()()()()log ()ln

()()log ()()(x y c x x c y y c p x f xy dy f xy dy x a

p y f xy dx f xy dx y b

H X p x p x dx H Y p y p y dy H XY f xy +∞

-∞

+∞

-∞

+∞

-∞+∞

-∞=

==≤=

==≤=-==-==-????同理

)log ()ln()

(;)()()()ln

c c c f xy dxdy ab I X Y H X H X H XY e

ππ+∞+∞

-∞-∞

==+-=?

2.25 设X 和Y 为连续随机变量，且X 的概率密度为

4/21)(α-π

α=

e x q ，条件概率密度为

23/)2

()31(

)|(α--α

π=x y e

x y p 其中－∞

解：

2222

~(0,2),2,

1()()log ()log(4)

2x c X N H X q x q x dx e ασαπα+∞

==-=?

222222

2222

211()/3()/3/42221

()/3/4/42

(/)()(/)log (/)1

log(3)2

()()(/)c y x y x x y x x y H Y X q x p y x p y x dxdy

e e dxdy e w y q x p y x dx e dx ααααααπα+∞+∞

-∞-∞

+∞+∞

------∞+∞

+∞

-----∞

=-=-==

==?

???2221

()log(4)

(;)()(/)log(4/3)

(/)()(;)log(3)

c c c c c H Y e I X Y H Y H Y X H X Y H X I X Y e παπα==-==-=

2.27 设x 为[0，∞]上分布的连续随机变量，且满足

∞

)(dx x xq =S ，求实现最大微分熵的分布及相应的熵值。

解：

12120

12()()ln (),()()(),,)()ln ()()()()()(1)()

()

(),,)c x x H X q x q x dx q x dx xq x dx q x q x q x dx xq x dx q x dx

e e q x ln dx q x dx

q x q x q x λλλλλλλλλλ+∞

+∞

----=-=---=

≤

-???????

约束条件为

=1 和=s .

设 f(当f(为最大值时12

()()x c H X q x e λλ--=,在约束条件下取得最大值,此时

12120

max max 0

()(),1{ln ()(),0

()ln ln 1#

x x c c q x dx xq x dx e dx xe dx s

H X q x e x H X e e dx s λλλλλλ+∞+∞

+∞

--+∞

---+∞--===∴=>=-=+???

?12x s

x x

s s

由约束条件=1 和=s 得

解得 ,s

1实现的分布为s

11s s

2.28 令概率空间

???

? ??-=2/12/111X ，令Y 是连续随机变量。已知条件概率率密度为

?≤-<-=其它

224

/1)|(x y x y p

试求(a) Y 的概率密度ω(y ) (b) I (X ；Y ) (c) 若对Y 作如下的硬判决：

???-≤-≤<->=1

11y y y V 求I (X ；Y )，并对结果进行解释。

解:(a) 由已知，

???≤<-=-=其它,013,)(4

1y y p x ???≤<-==其它,

031,)(4

1y y p x ???????≤<≤<--≤<-===+-=-====∑∑其它,

031,11,13,)1()1()1()1()

()()()(814

1y y y x y p x p x y p x p x y p x p xy p y w x y x x y x x

x y x x

（b ）

bits

dy dy dy Y H 5.28log 4log 8log )(23

121

1=++=

???---

bits

dy X Y H 24log 4log )(23

2121

=+=??

bit X Y H Y H Y X I 5.0)/()();(=-=∴

(c)由

??-<-≤≤->=1,111,01,1y y y v

可求得V 的分布为

???

? ??-=412141101V

再由)/(x y p 及??

??-<-≤≤->=1,111,01,1y y y v 可求得V 的条件分布为

{}{}?

??-+-∈+++---∈=)1,1(),1,1(),(,0)1,1(),1,0(),1,0(),1,1(),(,)/(2

x v x v x v p .

),;();(5.0)/()();(1)

1/(log )1/()1()1/(log )1/()1()/(5.12log 4log 2)(2222

1241变换没有信息损失可见V Y V X I Y X I bit

X V H V H X V I bit

x v p x v p x p x v p x v p x p X V H bit V H v

→==-=====--=-=-=-==+?=∴∑∑

第三章离散信源无失真编码

3.1解:长为n 码字的数目为D n ,因此长为N 的D 元不等长码至多有：

1(1

--=∑=D D D D N N

k i

3.2 解:

????3

100991100100010012210011000100110755.7004.0996.0004.0996.0996.01,100)(13

3.125051log 5051

49501001100)(-?=??-??--=====++=++=C C C P a b N C C C M a a e 因此有

的序列出现的概率的事件序列中含有三个误组率为长为所需码长为因此在二元等长编码下的序列数目为

和更少个的事件序列中含有两个长为

3.4 解:

{}bit

a p a p a p U I B

bit a p a p a p U I A a a a a U c bit a p a p a p a p a I B bit

a p a p a p a I A

b B A B A a k

k k k k k k k 0)()

1(log )1()1;(32.1)

()

1(log )1()1;(,

,,,)(0)

()

(log )()1(log )1;(32.1)(1log )()1(log )1;()(.,.,,)(24

4321112112

1121121===========∑∑==对码对码对码对码均是唯一可译码和码但码不是异字头码码是异字头码的字头任一码字不是其它码字中码

3.5解:

（a ）二元Huffman 编码

2.9926

.3234.3log )()(26

.3)(234.3)(log )()(210

1210

=======-=∑∑==D U H R U H n a p bits

a p a p U H k k k k k k η编码效率

平均码长

（b ）三元Huffman 编码

注意：K=10为偶数，需要添一个概率为零的虚假符号

%6.963

log 11.2234

.3log )()(11

.2)(2210

1=?===

==∑=D n U H R U H n a p n k k k η编码效率

平均码长

3.6解:二元Huffman 编码（a ）二元Huffman 编码

995.1485.1log )()(5

.1)(485.1)(log )()(23

123

=======-=∑∑==D

U H R U H n a p bits

a p a p U H k k k k k k η编码效率平均码长

（b ）

990.397.2log )(2)(0

.3)(97.2)(2)()(229

121222=========∑=D

n U H R U H n a p n bits U H U U H U H k k k η编码效率

平均码长

（c ）

32.99487

.4455.4log )(3)(487

.4)(455.4)(3)()(2327

1321333=========∑=D n U H R U H n a p n bits U H U U U H U H k k k η编码效率

平均码长

3.13 解:

(a)根据唯一可译码的判断方法可知,输出二元码字为异字头码,所以它是唯一可译码。

469.01.0log 1.09.0log 9.0)(22=?-?-=U H 比特

(b)因为信源是二元无记忆信源，所以有

)()()()(21in i i i S P S P S P S P =

其中{}1,0,,,),,,(2121∈=in i i in i i i

S S S S S S S

43046721

.0)(,1,104782969.0)(,1,10531441.0)(,1,1059049.0)(,1,106561.0)(,1,1729.0)(,1,1081.0)(,1,109.0)(,1,11.0)(,1,188,1877,1766,1655,1544,1433,1322,1211,1100,10===========================S p l S S p l S S p l S S p l S S p l S S p l S S p l S S p l S S p l S

可计算每个中间数字相应的信源数字的平均长度

6953.5)(,18

1==∑=-

i i i l S P L 信源符号/中间数字

1,48,27,26,25,24,23,22,21,20,2=========l l l l l l l l l

可计算每个中间数字所对应的平均长度

7086.2)(,28

2==∑=-

i i i l S P L 二元码/中间数字

由4756.0_

2=L L 二元码/信源符号

编码效率为0.4756/0.469=98.6%

信道及其容量

4.1解： (a) 对称信道 (b) 对称信道

(a): 可先假设一种分布,利用信道其容量的充要条件来计算(课堂教学例题) (b): 准对称信道！ 4.5解：课堂教学例题

4.8解：该题概率有误，应把1/32改为1/64。每个符号的熵为

bits p p S H i i i 2log )(28

=-=∑=

采样频率Fs 为 Fs=2W=8000 Hz 所以信息速率R 为

bps 101.628000H(S ) Fs R 4?=?=?=

4.9解：每象点8电平量化认为各级出现的概率相等，即H(U)=3 bits 所以信息速率R 为

bps 7102.760050030R ?=???=

4.10解：

bits

s kb 62210382.560310009.293,/9.29)10001(log 3000)N

(1Wlog C s 603T 1000,dB 30N S

3KHz,

W ?=???=+?=+=?====为分钟可能传送话音信息所以

4.12解：31N

8KHz,

== 高斯信道的信道容量为

C 。

C R ，bps ，R 。，C R bps C ，C 。C bps bps R bps ≤=?>=?=+?=+

=高斯高斯

高斯因则一定可以实现如故无法判定是否能实现的大小关系与信道容量但无法判定即的信道容量大于高斯信道因此时信道容量如该信道不是高斯信道不可实现如该信道是高斯信道所以4445422103,104,,,10410104)311(log 8000)N

(1Wlog C 第五章离散信道编码定理

习题5.1 解：DMC 信道

???????

?????

????=2131616

12131

16121

信息论与编码课后习题答案

1．有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为用费诺编码方法代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为用霍夫曼编码方法代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

管理信息系统课后答案

《管理信息系统》习题练习（一）习题1（管理信息系统的定义、概念和结构） 1、管理信息系统是什么？它和一般的计算机应用有什么不同？答：管理信息系统是一个以人为主导，利用计算机硬件、软件、网络通信设备以及其他办公设备，进行信息的收集、传输、加工、储存、更新和维护，以企业战略竞优、提高效益和效率为目的，支持企业高层决策、中层控制、基层动作的集成化的人机系统。管理信息系统与计算机应用的不同是：计算机只是管理信息系统的一种工具。没有计算机也有管理信息系统，管理信息系统只有优劣之分，不存在有无的问题。 4、管理信息系统的结构有几个视图？你是否觉得还有另外的视图？是什么？答：总体结构、开环结构、闭环结构、金字塔结构、功能结构、功能-过程结构、软件结构、主机终端网结构、微机网（星形、母线、环形）结构等。还应该有人-机关系结构。 5、管理信息系统的开发特点是什么？有几种开发方式？各有哪些长处和缺点？答：（1）必须满足合理确定系统目标、组织系统性队伍和遵循系统工程开发步骤三大系统工程成功要素；（2）耗资巨大、历时相当长；（3）系统分析工作量比重很大；（4）不能较早买机器设备；（5）程序编写要在很晚才进行。一是按信息系统开发步骤进行：建立领导小组、组成系统、进行系统规划、系统分析、系统设计、系统实现、系统评价、返回系统分析；二是基于企业过程再工程BPR的管理系统变革步骤进行：基于BPR的管理系统变革准备、管理系统与信

息系统规划、住处系统开发和组织设计调整、新系统运行、系统评价、返回准备。前者是从新开始，可以以高起点做到领先，但耗资耗时；后者阻力大、难于达到最优，但见效快、节约时间与成本。 6、生命周期开发方式每分阶段的重点是什么？评述生命周期法开发的问题和困难。答：（1）系统分析阶段：呈交服务请求、评价服务请求、组织可行性研究队伍、识别约束、提供现有系统文件、调查技术转换、完成建议系统的初步设计、定义项目围、准备收益/成本分析、作出对可行性研究的决策、选定开发队伍、估计和作出人员委托、训练人员、建立详细进度计划、和用户人员交谈、确定数据库要求、建立控制和回转手续；（2）系统设计阶段：完成详细设计、进行用户和信息服务预排、选择硬件、准备草图、描述数据实体说明、准备程序说明、指定主要程序员、排优先和分配程序、调度程序准备、写、调试和文件化程序；（3）切换和实现阶段：完成切换计划、进行系统接收测试、开发用户手册、交用户培训计划、创造和转换文件/数据库、完成并且运行；（4）实现后的评价阶段：更新费用、进行实现后的评价、准备系统评价计划。问题是耗资耗时，不能早买机器，软件要很晚编写；困难是领导对花钱买设备感到看得见摸得着，而对投资搞规划搞软件却舍不得。习题2（管理知识基础、信息、系统） 4、什么是数据？什么是信息？试举几个实用例子加以描述。答：数据是一组表示数量、行动和目标的非随机的可鉴别的符号，数据项可以按使用的目的组织成数据结构；信息是经过加工后的数据，它对接收者的行为能产

《信息理论与编码》,答案,考试重点(1--3章)

《信息理论与编码》习题参考答案 1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。 2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。三者之间是内涵与外延的关系。第2章 1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为 120.80.2X x x P ????=???????? 其中： 1 x 表示摸出的球为红球事件， 2 x 表示摸出的球是白球事件。 a)如果摸出的是红球，则获得的信息量是 ()()11log log0.8 I x p x =-=-（比特） b)如果摸出的是白球，则获得的信息量是 ()()22log log0.2 I x p x =-=-（比特） c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n 次，红球出现的次数为 () 1np x 次，白球出现的次数为 () 2np x 次。随机摸取n 次后总共所获得信息量为 ()()()() 1122np x I x np x I x + d)则平均随机摸取一次所获得的信息量为 ()()()()()()()()()112211221 log log 0.72 H X np x I x np x I x n p x p x p x p x =+????=-+????=比特/次

(完整版)管理信息系统-课后习题答案

1、什么是信息？信息、数据有何区别？答：（1）信息是经过加工并对客观世界产生影响的数据。区别：数据是客观的，它来源于客观的现实世界，它只反映某一客观存在的事实，而不能说明这一事实与我们的行动是否有关系；信息是对数据加工后的结果，它取决于人们的主观需求，要对人们的决策行动产生影响。 2、试述信息流与物流、资金流、事物流的关系。信息流伴随物流、资金流、事物流的流动而流动，它既是其他各种流的表现和描述，又是用于掌握、指挥和控制其他流运动的软资源。是各种流控制的依据和基础。 5、为什么说管理信息系统并不能解决管理中的所有问题？答：管理是一种复杂的获得，它既涉及客观环境，又涉及人的主观因素。由于生产和社会环境的复杂性，也由于事物之间复杂的相互联系和事物的多变性，等等原因，人们在解决管理问题时不可能掌握所有的数据，更不可能把所有的，待选择的解决方案都考虑进去，而管理信息系统解决问题时运行的程序是由人来编写的。管理信息系统是一个人机结合的系统，人不能解决的问题，依靠计算机也无法解决，因此仅靠管理信息系统是无法解决管理中的所有问题的。管理不仅是一门科学更是一门艺术，人们在实施管理的时候，不仅要运用这种科学的方法，还要运用一套技术和处理方式，这些都是管理信息系统所不能及的。 7、试述信息系统对人类生活与工作方式的有利和不利的影响。答：有利：1、人与人之间的信息交流不再受时间与地域的限制，电子化书信的往来将人们更紧密地联系在一起。2、对文娱与新闻的获取将由被动接受变为主动选取，个性化风格得以增强。3、电子货币与自动购销系统大大方便了人们的消费，改变了人们的生活与消费习惯。4、信息系统的应用使团体工作不必面对面地坐在一起。人们可以在家里办公，并随时保持与同事之间的联系。不利：1、在全球范围内，随着文化交流的扩大、交流内容的增加与交流方式的便捷，会使某些民族文化受到冲击。2、人们由直接交流变为间接交流，将在某种程度上淡薄感情色彩等等。 8、信息的主要特点（性质）有哪些，试举例说明。事实性时效性不完全性等级性变换性价值性供应商、订单 16.1试述订单驱动原理及其在制定供应链计划的重要性原理供应链企业内部和企业间的一切活动都是围绕订单进行的重要性：使供应链能够准时响应用户需求，加快物流速度并降低成本 16.2供应链企业在管理上采用纵横一体化的企业集成思想，指的是什么？指纵向采用MRP II 等产生控制方法；横向采用订单驱动方法，确定完成日期和工作量指标，并进行跟踪监控。 16.3供应商管理库存的优点是什么？如何实现？它的难点是什么？优点：减少供应链层次，减少管理费用，提升销售额；更好了解需求，资源利用率更高，市场分析结果更准确；库存成本降低，缺货情况减少（经销商）难点：产品采购数量与采购价格问题利益分配问题实际工作的不断调整问题

信息论与编码试题集

1. 在无失真的信源中，信源输出由H (X )来度量；在有失真的信源中，信源输出由R (D )来度量。 2. 要使通信系统做到传输信息有效、可靠和XX ，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为-1.6dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. XX 系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。 5. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝0，R (D min )＝1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝0.5，R (D max )＝0，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ???? 。二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（√） 2. 线性码一定包含全零码。（√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。（×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。（×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具有最大熵。（√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。（√ ） 8. 信道容量是信道中能够传输的最小信息量。（×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方法叫做最佳译码。（√ ）三、计算题某系统（7，4）码 )()(01201230123456c c c m m m m c c c c c c c ==c 其三位校验位与信息位的关系为：

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解第二章-信息量和熵解: 平均每个符号长为:154 4.0312.032= ?+?秒每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号所以信息速率为444.34 15 9183.0=?比特/秒解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特；所以信息速率为600010006=?比特/秒解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得

管理信息系统课后习题答案

第一章管理信息系统概论 1、请阐述信息管理和管理信息系统的区别和联系 2、结合一个实例，说明管理信息系统是人机一体化的系统。 3、从管理层次分类看，不同层次的管理信息系统在目的和功能上有何不同？ 4、什么是？结合实例说明它有哪些应用。 5、什么是电子商务？它和管理信息系统有何联系？ 6、管理信息系统发展历经了哪些阶段？各个阶段的典型应用技术是什么？ 7、决策支持系统的基本特征是什么？四、简答题 1、答：区别：信息管理的对象是信息以及与之相关的信息活动，信息活动包括信息的收集、存储、加工、传递和运用等，信息管理是管理的一种；而管理信息则是指经过加工处理后对企业生产经营活动产生影响的数据，是信息的一种。联系：管理信息是信息的一种，因此管理信息时信息管理的对象，是信息管理重要的资源，是科学决策的基础以及实施信息管理控制的依据。 2、略

、答：管理信息系统按照管理任务的层次由高到低进行划分可3．分为战略管理层、战术管理层和作业管理层。战略层的目的是支持企业的战略性的决策，系统的功能表现为全局性、方向性，或关系到企业竞争能力的重要问题的分析与决策。战术层和作业层管理的主要目的则是提高工作效用和工作效率，管理信息系统为战术层提供资源配置、运作绩效等经营状态的分析评估和计划落实的控制优化等功能，为作业层提供准确便捷的数据收集处理功能。 4、答： ( )客户关系管理，客户关系管理包括企业识别、挑选、获取、发展和保持客户的整个商业过程。其核心是客户价值管理，它将客户价值分为既成价值、潜在价值和模型价值，通过一对一营销原则，满足不同价值客户的个性化需求，提高客户忠诚度和保有率，实现客户价值持续贡献，从而全面提升企业盈利能力。目前在银行、通信、商贸等大型服务企业中得到较为理想的应用。 5、答：电子商务就是企业利用现代信息技术，特别是互连网技术来改变商务活动中的信息流程，从而改变业务流程，提高企业竞争力的一切商务活动。它包括了企业内部的协调与沟通、企业之间的合作及网上交易等三方面的内容。电子商务也是一类管理信息系统，但管理信息系统不一定需要应用互联网技术，而电子

信息理论与编码参考答案

2、3 一副充分洗乱的牌(含52张),试问: (1)任一特定排列所给出的不确定性就是多少？ (2)随机抽取13张牌,13张牌的点数互不相同时的不确定性就是多少？解:(1)52张扑克牌可以按不同的顺序排列,所有可能的不同排列数就就是全排列种数,为 526752528.06610P =!≈? 因为扑克牌充分洗乱,任一特定排列出现的概率相等,设事件A 为任一特定排列,则其发生概率为 ()681 1.241052P A -=≈?! 可得,该排列发生所给出的信息量为 ()()22log log 52225.58I A P A =-=!≈ bit 67.91≈ dit (2)设事件B 为从中抽取13张牌,所给出的点数互不相同。扑克牌52张中抽取13张,不考虑排列顺序,共有13 52C 种可能的组合。13张牌点数互不相同意味着点数包括A,2,…,K,而每一种点数有4种不同的花色意味着每个点数可以取4中花色。所以13张牌中所有的点数都不相同的组合数为13 4。因为每种组合都就是等概率发生的,所以 ()131341352441339 1.05681052P B C -?!! ==≈?! 则发生事件B 所得到的信息量为 ()()13 21352 4log log 13.208I B P B C =-=-≈ bit 3.976≈ dit 2、5 设在一只布袋中装有100只对人手的感觉完全相同的木球,每只上涂有1种颜色。100只球的颜色有下列三种情况: (1) 红色球与白色球各50只; (2) 红色球99只,白色球1只; (3) 红,黄,蓝,白色各25只。求从布袋中随意取出一只球时,猜测其颜色所需要的信息量。解:猜测木球颜色所需要的信息量等于木球颜色的不确定性。令 R ——“取到的就是红球”,W ——“取到的就是白球”, Y ——“取到的就是黄球”,B ——“取到的就是蓝球”。 (1)若布袋中有红色球与白色球各50只,即 ()()501 1002P R P W == = 则 ()()221 log log 212 I R I W ==-== bit (2)若布袋中红色球99只,白色球1只,即

管理信息系统课后习题及参考答案

第1章 1.什么就是信息,什么就是数据？简述二者之间的联系与区别。 2.什么就是信息循环？ 3.简述信息的层次与信息的类型及主要特性。 4.简述管理信息的特点。 6.简述信息系统的定义。 7.什么就是管理信息系统,它有什么特点？第2章 1.建设管理信息系统方法应包含的内容主要有哪些？ 2.简述管理信息系统的生命周期。 3.结构化方法的基本思想就是什么？ 4.什么就是结构化生命周期法？ 5.什么就是快速原型法？ 6.简述在系统分析阶段使用原型法的开发过程。 7.试述本教材为什么选择结构化生命周期法作为重点讲述内容。 8.管理信息系统的开发方式有哪些？第3章 1.试述系统规划的主要目标与任务。 2.试述系统规划工作的主要特点与关键问题。 3.什么就是管理信息系统开发中的系统分析？其主要目标与活动内容有哪些？系统分析工作的主要特点就是什么？ 4.初步调查的内容主要有哪些？ 5.可行性研究的目的就是什么？

6.可行性研究主要从哪几个方面去考察？简述其内容。第4章 1.简述需求分析中现行系统调查、新系统逻辑方案的提出等活动的详细内容、关键问题、主要成果及其描述方法。 2.为什么数据流图要分层？ 3.简述分层数据流图的组成与基本符号以及绘制步骤。 4.简述数据词典在需求分析中的作用与编写数据词典的基本要求。 5.什么就是基本加工？描述表达基本加工逻辑功能的结构化工具有那些？特点就是什么？ 6.某银行发放贷款原则如下: (1)对于贷款未超过限额的客户,允许立即贷款; (2)对于贷款已超过限额的客户,若过去还款记录好且本次贷款额在2万元以下,可作出贷款安排,否则拒绝贷款。请用结构化语言、决策表来描述该原则。 7.依据如下决策表,画出决策树。信件收费决策表 8.下面就是对银行取款活动的描述: 储户携带存折前去银行,把存折与填好的取款单一并交给银行工作人员检验。工作人员需核对帐目,发现存折有效性问题、取款单填写问题或就是存折、

答案~信息论与编码练习

1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。下面计算该二元对称信道能传输的最大的信息传输速率：信道传递矩阵为：信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间：

bit x H 32.436log 36 16236log 36215)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率Θ bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知Θ

管理信息系统课后题答案

管理信息系统课后题答案（1-12章）第一章1.1什么是信息？信息和数据有何区别？答：（1）信息是关于客观事实的可通信的知识。首先，信息是客观世界各种事物的特征的反映，其次，信息是可以通信的最后，信息形成知识。（2）信息的概念不同于数据。数据是记录客观事物的，可鉴别的符号，这些符号不仅包括数字还包括字符，文字，图形等。数据经过处理仍然是数据。处理数据是为了更好地解释。只有经过解释，数据才有意义，才成为信息。可以说，信息是经过加工之后，对客观世界产生影响的数据。同一数据，每个人的解释可能不同，其对决策的影响也可能不同。决策者利用经过处理的数据作出决策，可能取得成功，也可能遭受失败，关键在于对数据的解释是否正确，因为不同的解释往往来自不同的背景和目的。1.2试述信息流与物流、资金流、事物流的关系。答：（1）组织中各项活动表现为物流、资金流、事物流和信息流的流动。①物流是实物的流动的过程。②资金流是伴随物流而发生的资金的流动的过程。③事物流是各项管理活动的工作流程。④信息流伴随以上各种流的流动而流动，它既是其他各种流的表现和描述，又是用于掌握、指挥和控制其他流运动的软资源。（2）信息流处于特殊地位：①伴随物流、资金流、事物流产生而产生。②是各种流控制的依据和基础。1.3如何理解人是信息的重要载体和信息意义的解释者？答：信息系统包括信息处理系统和信息传输系统两个方面。信息处理系统对数据进行处理，使它获得新的结构与形态或者产生新的数据。由于信息的作用只有在广泛交流中才能充分发挥出来，因此，通信技术的发展极大地促进了信息系统的发展。广义的信息系统概念已经延伸到与通信系统相等同。这里的通信不仅是通讯，而且意味着人际交流和人际沟通，其中包含思想的沟通，价值观的沟通和文化的沟通。广义的沟通系统强调“人”本身不仅是一个重要的沟通工具，还是资讯意义的阐述者，所有的沟通媒介均需要使资讯最终可为人类五官察觉与阐述，方算是资讯的沟通媒介。1.4什么是信息技术？信息技术在哪些方面能给管理提供支持？答：广义而言，信息技术是指能充分利用与扩展人类信息器官功能的各种方法、工具与技能的总和。该定义强调的是从哲学上阐述信息技术与人的本质关系。中义而言，信息技术是指对信息进行采集、传输、存储、加工、表达的各种技术之和。该定义强调的是人们对信息技术功能与过程的一般理解。狭义而言，信息技术是指利用计算机、网络、广播电视等各种硬件设备及软件工具与科学方法，对文图声像各种信息进行获取、加工、存储、传输与使用的技术之和。该定义强调的是信息技术的现代化与高科技含量。信息技术对计划职能的支持；对组织职能和领导职能的支持；对控制职能的支持。由此可见，信息系统对管理具有重要的辅助和支持作用，现代管理要依靠信息系统来实现其管理职能，管理思想和管理方法。1.5为什么说管理信息系统并不能解决管理中的所有问题? 答：管理是一种复杂的获得，它既涉及客观环境，又涉及人的主观因素。由于生产和社会环境的复杂性，也由于事物之间复杂的相互联系和事物的多变性，等等原因，人们在解决管理问题时不可能掌握所有的数据，更不可能把所有的，待选择的解决方案都考虑进去，而管理信息系统解决问题时运行的程序是由人来编写的。管理信息系统是一个人机结合的系统，人不能解决的问题，依靠计算机也无法决，因此仅靠管理信息系统是无法解决管理中的所有问题的。可以说，管理不仅是一门科学更是一门艺术，人们在实施管理的时候，不仅要运用这种科学的方法，还要运用一套技术和处理方式，这些都是管理信息系统所不能及的。1.6为什么说信息系统的建立、发展和开发与使用信息系统的人的行为有紧密的联系？答：管理信息系统能否开发好，使用好与人的行为有极为密切的联系。例如，如果管理人员不愿意用信息系统，或者单位的领导不重视，不积极领导系统的开发和应用，不认真宣传和组织职工学校和使用管理信息系统，或者开发人员和管理人员不能接纳和紧密配合共同进行开发，那么，即使该管理信息系统在技术上是很过硬的，也是很难运行好的。当管理人员很担心使用计算机后，自己的工作

信息理论与编码-期末试卷A及答案

一、填空题（每空1分，共35分） 1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。信息论的基础理论是，它属于狭义信息论。 2、信号是的载体，消息是的载体。 3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。 4、某离散无记忆信源X ，其概率空间和重量空间分别为1 234 0.50.250.1250.125X x x x x P ????=??? ?????和1234 0.5122X x x x x w ???? =??????? ? ，则其信源熵和加权熵分别为和。 5、信源的剩余度主要来自两个方面，一是，二是。 6、平均互信息量与信息熵、联合熵的关系是。 7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。 8、马尔可夫信源需要满足两个条件：一、；二、。 9、若某信道矩阵为????? ????? ??01000 1 000001 100，则该信道的信道容量C=__________。 10、根据是否允许失真，信源编码可分为和。 12、在现代通信系统中，信源编码主要用于解决信息传输中的性，信道编码主要用于解决信息传输中的性，保密密编码主要用于解决信息传输中的安全性。 13、差错控制的基本方式大致可以分为、和混合纠错。 14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。 15、码字101111101、011111101、100111001之间的最小汉明距离为。 16、对于密码系统安全性的评价，通常分为和两种标准。 17、单密钥体制是指。 18、现代数据加密体制主要分为和两种体制。 19、评价密码体制安全性有不同的途径，包括无条件安全性、和。 20、时间戳根据产生方式的不同分为两类：即和。二、选择题（每小题1分，共10分） 1、下列不属于消息的是（）。 A. 文字 B. 信号 C. 图像 D. 语言 2、设有一个无记忆信源发出符号A 和B ，已知43 41)(,)(==B p A p ，发出二重符号序列消息的信源，无记忆信源熵)(2 X H 为（）。 A. 0.81bit/二重符号 B. 1.62bit/二重符号 C. 0.93 bit/二重符号 D . 1.86 bit/二重符号信息论与编码

信息论与编码理论第二章习题答案

I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解：出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=

薛华成《管理信息系统》(第6版)习题解答

薛成华《管理信息系统》(第6版)习题解答第1章绪论教材Page 24 略第2章管理信息系统得定义与概念教材Page 46 1.管理信息系统就是什么？它与一般得计算机应用有什么不同？答:管理信息系统就是一个以人为主导,利用计算机硬件、软件、网络通信设备以及其她办公设备,进行信息得收集、传输、加工、储存、更新与维护,以企业战略竞优、提高效益与效率为目得,支持企业高层决策、中层控制、基层动作得集成化得人机系统。管理信息系统与计算机应用得不同就是:计算机只就是管理信息系统得一种工具。没有计算机也有管理信息系统,管理信息系统只有优劣之分,不存在有无得问题。 2.管理信息系统有几种分类方法？它就是根据什么原则进行分类得？您自己觉得有什么分类方法？答:(1)按概念结构分类:开环结构、闭环结构;(2)按功能—过程结构分类:市场系统、财会系统、人事系统、生产系统、供运系统等经过主计划、细计划、执行计划3个过程;(3)按软件结构分类:根据销售市场、生产、后勤、人事、财务会计、信息处理、高层管理等7种管理功能,按战略计划、管理控制、运行控制、业务处理等4个层次,形成软件模块结构;(4)按硬件结构分类:主机终端网结构、微机网结构(星形网络、母线网络、环形网络)。(5)按发展分类:统计系统、数据更新系统、状态报告系统、数据处理系统、知识工作与办公自动化系统、决策支持系统。 3.管理信息系统应包括什么子系统？子系统之间就是如何相互联系得？答:管理信息系统由四大部件组成:信息源就是信息产生地;信息处理器担负信息得传输、加工、保存等任务;信息用户就是信息得使用者,她应用信息进行决策;信息管理者负责信息系统得设计实现,在实现以后,她负责信息系统得运行与协调。从概念上,管理信息系统由业务信息系统(市场子系统、生产子系统、财务子系统、其她子系统)组成中央数据库(信息源),经知识工作子系统与职能人员处理(信息处理器)后,再同时一方面送到决策支持子系统与中级管理人员(信息用户)进行控制、决策,一方面送到经理支持子系统与高级管理人员进行计划、决策。 4.管理信息系统得结构有几个视图？您就是否觉得还有另外得视图？就是什么？答:总体结构、开环结构、闭环结构、金字塔结构、功能结构、功能—过程结构、软件结构、主机终端网结构、微机网(星形、母线、环形)结构等。还应该有人—机关系结构。 5.管理信息系统得开发特点就是什么？有几种开发方式？各有哪些长处与缺点？答:(1)必须满足合理确定系统目标、组织系统性队伍与遵循系统工程开发步骤三大系统工程成功要素;(2)耗资巨大、历时相当长;(3)系统分析工作量比重很大;(4)不能较早买机器设备;(5)程序编写要在很晚才进行。一就是按信息系统开发步骤进行:建立领导小组、组成系统、进行系统规划、系统分析、系统设计、系统实现、系统评价、返回系统分析;二就是基于企业过程再工程BPR得管理系统变革步骤进行:基于BPR得管理系统变革准备、管理系统与信息系统规划、住处系统开发与组织设计调整、新系统运行、系统评价、返回准备。前者就是从新开始,可以以高起点做到领先,但耗资耗时;后者阻力大、难于达到最优,但见效快、节约时

(完整版)信息论与编码概念总结

第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等第二章１.自信息量：一个随机事件发生某一结果所带的信息量。２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值信源冗余度： 0H H ∞=ηη ζ-=1

意义：针对最大熵而言，无用信息在其中所占的比例。３.极限熵：平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。４. ５.离散信源和连续信源的最大熵定理。离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大６.限平均功率的连续信源的最大熵功率：称为平均符号熵。定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤

若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理：离散信源无失真编码的基本原理原理图说明：（1）信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。（2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的）则最多可编成m k 个码序列，对应m k 条消息定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n

信息论与编码理论习题答案全解

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit