【免费下载】信息论编码习题及详解 练习

解：(1) H ( X ) 1 log 1 3 log 3 0.5 1.5 0.75*1.585 0.811 4 44 4
(
Baidu Nhomakorabea
p(
y1
),
p(
y2
))
(
1 4
,
3 4
)
1 8 7
,
8 , 8
7 8 1
(11 16
I ( X ,Y ) H (Y ) H (Y | X ) 11 log 11 5 log 5 1 log 1 7 log 7 0.352 16 16 16 16 8 8 8 8
则
1、设一离散信源
log 2 H (1) 1 1 log 1 2 log 2
3
1 1 *1.5850 2 * (11.5850) 0.082
3
3
3 33 3
X，p(x1)=1/4，p(x2)=3/4。通过信道传输，
已知信道的概率转移矩阵如右所列。求（1）H(X)和 I(X,Y)。（2）该信道的信道 容量。（15 分）
5
u6 0.12
1
A A
A 5D 5
符号 U1 U3 U2 U4 U5 U6
概率 0.29 0.17 0.15 0.14 0.13 0.12
累加概率 0 0.29 0.46 0.61 0.75 0.88
平均码长=2.83 ；效率=2.5099/2.83=0.8869
（2）
二进制数 0.000 0.0100 0.0111 0.1001 0.1100 0.11100
(2) 该信道为对称信道,当输入输出均为等概率时,达到信道容量.
C
I(X
,Y )
H
1 ()
2
H (Y
|
X
)
1
2、一个离散无记忆信源输出符号等概率，失真函数如右所示：
d
(x,
y)
求（1）Dmin 和 Dmax。（2）信息率失真函数 R（D）。
1
log
,
5 16
1
8 88 8
0, 5 5 , 0
对全部高中资料试卷电气设备，在安装过程中以及安装结束后进行高中资料试卷调整试验；通电检查所有设备高中资料电试力卷保相护互装作置用调与试相技互术关，系电，力根通保据过护生管高产线中工敷资艺设料高技试中术卷资，配料不置试仅技卷可术要以是求解指，决机对吊组电顶在气层进设配行备置继进不电行规保空范护载高与中带资负料荷试下卷高问总中题体资，配料而置试且时卷可，调保需控障要试各在验类最；管大对路限设习度备题内进到来行位确调。保整在机使管组其路高在敷中正设资常过料工程试况中卷下，安与要全过加，度强并工看且作护尽下关可都于能可管地以路缩正高小常中故工资障作料高；试中对卷资于连料继接试电管卷保口破护处坏进理范行高围整中，核资或对料者定试对值卷某，弯些审扁异核度常与固高校定中对盒资图位料纸置试，.卷保编工护写况层复进防杂行腐设自跨备动接与处地装理线置，弯高尤曲中其半资要径料避标试免高卷错等调误，试高要方中求案资技，料术编试交写5、卷底重电保。要气护管设设装线备备置敷4高、调动设中电试作技资气高，术料课中并3中试、件资且包卷管中料拒含试路调试绝线验敷试卷动槽方设技作、案技术，管以术来架及避等系免多统不项启必方动要式方高，案中为；资解对料决整试高套卷中启突语动然文过停电程机气中。课高因件中此中资，管料电壁试力薄卷高、电中接气资口设料不备试严进卷等行保问调护题试装，工置合作调理并试利且技用进术管行，线过要敷关求设运电技行力术高保。中护线资装缆料置敷试做设卷到原技准则术确：指灵在导活分。。线对对盒于于处调差，试动当过保不程护同中装电高置压中高回资中路料资交试料叉卷试时技卷，术调应问试采题技用，术金作是属为指隔调发板试电进人机行员一隔，变开需压处要器理在组；事在同前发一掌生线握内槽图部内 纸故，资障强料时电、，回设需路备要须制进同造行时厂外切家部断出电习具源题高高电中中源资资，料料线试试缆卷卷敷试切设验除完报从毕告而，与采要相用进关高行技中检术资查资料和料试检，卷测并主处且要理了保。解护现装场置设。备高中资料试卷布置情况与有关高中资料试卷电气系统接线等情况，然后根据规范与规程规定，制定设备调试高中资料试卷方案。
1 2
,
1 2
)
u5 0.13
求（1）二元香农编码及编码效率（2）二元费诺编码及编码效率（3）二元哈夫 曼编码及编码效率（4）三元哈夫曼编码及编码效率 解：H（X）=2.5099 (1)
对全部高中资料试卷电气设备，在安装过程中以及安装结束后进行高中资料试卷调整试验；通电检查所有设备高中资料电试力卷保相护互装作置用调与试相技互术关，系电，力根通保据过护生管高产线中工敷资艺设料高技试中术卷资，配料不置试仅技卷可术要以是求解指，决机对吊组电顶在气层进设配行备置继进不电行规保空范护载高与中带资负料荷试下卷高问总中题体资，配料而置试且时卷可，调保需控障要试各在验类最；管大对路限设习度备题内进到来行位确调。保整在机使管组其路高在敷中正设资常过料工程试况中卷下，安与要全过加，度强并工看且作护尽下关可都于能可管地以路缩正高小常中故工资障作料高；试中对卷资于连料继接试电管卷保口破护处坏进理范行高围整中，核资或对料者定试对值卷某，弯些审扁异核度常与固高校定中对盒资图位料纸置试，.卷保编工护写况层复进防杂行腐设自跨备动接与处地装理线置，弯高尤曲中其半资要径料避标试免高卷错等调误，试高要方中求案资技，料术编试交写5、卷底重电保。要气护管设设装线备备置敷4高、调动设中电试作技资气高，术料课中并3中试、件资且包卷管中料拒含试路调试绝线验敷试卷动槽方设技作、案技术，管以术来架及避等系免多统不项启必方动要式方高，案中为；资解对料决整试高套卷中启突语动然文过停电程机气中。课高因件中此中资，管料电壁试力薄卷高、电中接气资口设料不备试严进卷等行保问调护题试装，工置合作调理并试利且技用进术管行，线过要敷关求设运电技行力术高保。中护线资装缆料置敷试做设卷到原技准则术确：指灵在导活分。。线对对盒于于处调差，试动当过保不程护同中装电高置压中高回资中路料资交试料叉卷试时技卷，术调应问试采题技用，术金作是属为指隔调发板试电进人机行员一隔，变开需压处要器理在组；事在同前发一掌生线握内槽图部内 纸故，资障强料时电、，回设需路备要须制进同造行时厂外切家部断出电习具源题高高电中中源资资，料料线试试缆卷卷敷试切设验除完报从毕告而，与采要相用进关高行技中检术资查资料和料试检，卷测并主处且要理了保。解护现装场置设。备高中资料试卷布置情况与有关高中资料试卷电气系统接线等情况，然后根据规范与规程规定，制定设备调试高中资料试卷方案。
符号 概率 第一次 第二次 第三次 码长 码字
U1 0.29 U3 0.17
U2 0.15 U4 0.14
1 U5 0.13 U6 0.12
0 0
1
平均码长=2.54； 效率=2.5099/2.58=0.988
（3）
U1
U3
U2
U4
U5
U6
0.29
0.17
0.15
0.14
0.13 0 0.14 1
0.12 1
I log P log(1 )14 (1 )10 14 log 4 10 log 2 28 10 38 比特 42
（2）平均每个符号所携带的信息量 I24 = I/N=38/24=1.583 比特/符号
2、设一离散信源 X，p(x1)=1/2，p(x3)= p(x2)=1/4，p(x3)=1/2。通过信道传输，已 知条件概率如右表所列。计算 H(X)和 I(X,Y)
)
7
log
7
(
Pji
)
0.456
1 2
/ /
3 3
p
12//33
1/8 7/8
17//88
解：（1）
Dmin p(x) min d (x, y)
x
0.5 min(5,0) 0.5 min(0,5) 0
min y
D max
x
p(x)d(x, y)
min{0.5*5 0.5* 0,0.5* 0 0.5*5} 2.5
练习一：
1、设离散无记忆信源
X p(x)
0 0.25
1 0.5
100 101 212 000 011 121 010）。求（1）此消息的自信息。（2）此消息中平均每 个符号所携带的信息量。
解： P
（1）自信息
24 i1
p(
xi
)
(
1 4
)9
(
1 2
)10
(
1 4
)5
( 1 )14 ( 1 )10 42
解：
H ( X ) 2 log 1 1 log 1 1 0.5 1.5 4 42 2
且 q j
3 i 1
则输出的概率分布为：
pi Pji
所以
q0
q1
Yq(Y
I ( X ,Y ) H (Y ) H (Y | X ) 2 * 1 log 1 3
2 2 i1
1 1/ 2(1/ 2 * log(1/ 2)) * 2 0.5
(
D 5
1 2
5 ,5
,
1 2
5
)
5 D
5D, 5
D 5
5 , 5
R(D) H (Y ) H (Y | X ) 1 D log D 5 D log 5 D
练习三：
1、设有一离散无记忆信源：
UP
u1 0.29
u2 0.15
u3 0.17
2
D 5 D
(
55 5
u4 0.14
0.29
0.25
0.17
0 0
1 0 1 1
0.15 0 0.17 1
平均码长=2.54； 效率=2.5099/2.58=0.988
(4)
U1
U3
U2
U4
U5
U6
U7
0.29
0.17
0.15
0.14
0.13 0 0.14 2
0.12 1
0
2
0.29
0.25
0.29
0.29
-LogP 1.7859 2.5564 2.737 2.836 2.9434 3.0589
0.225 。其发出的消息为（212
2
pi Pji log Pji
j1
3、若有一个准对称信道，其信道转移矩阵为： 试求信道容量。（log3=1.5850）
解：由于信道为对称信道，当输出为等概率分布时达到信道容量。 C max I ( X ,Y ) max(H (Y ) H (Y | X )
练习二：
)
1 4
1 4
0,1 1,1 22
1 4
1 4
1 2
1 2
对全部高中资料试卷电气设备，在安装过程中以及安装结束后进行高中资料试卷调整试验；通电检查所有设备高中资料电试力卷保相护互装作置用调与试相技互术关，系电，力根通保据过护生管高产线中工敷资艺设料高技试中术卷资，配料不置试仅技卷可术要以是求解指，决机对吊组电顶在气层进设配行备置继进不电行规保空范护载高与中带资负料荷试下卷高问总中题体资，配料而置试且时卷可，调保需控障要试各在验类最；管大对路限设习度备题内进到来行位确调。保整在机使管组其路高在敷中正设资常过料工程试况中卷下，安与要全过加，度强并工看且作护尽下关可都于能可管地以路缩正高小常中故工资障作料高；试中对卷资于连料继接试电管卷保口破护处坏进理范行高围整中，核资或对料者定试对值卷某，弯些审扁异核度常与固高校定中对盒资图位料纸置试，.卷保编工护写况层复进防杂行腐设自跨备动接与处地装理线置，弯高尤曲中其半资要径料避标试免高卷错等调误，试高要方中求案资技，料术编试交写5、卷底重电保。要气护管设设装线备备置敷4高、调动设中电试作技资气高，术料课中并3中试、件资且包卷管中料拒含试路调试绝线验敷试卷动槽方设技作、案技术，管以术来架及避等系免多统不项启必方动要式方高，案中为；资解对料决整试高套卷中启突语动然文过停电程机气中。课高因件中此中资，管料电壁试力薄卷高、电中接气资口设料不备试严进卷等行保问调护题试装，工置合作调理并试利且技用进术管行，线过要敷关求设运电技行力术高保。中护线资装缆料置敷试做设卷到原技准则术确：指灵在导活分。。线对对盒于于处调差，试动当过保不程护同中装电高置压中高回资中路料资交试料叉卷试时技卷，术调应问试采题技用，术金作是属为指隔调发板试电进人机行员一隔，变开需压处要器理在组；事在同前发一掌生线握内槽图部内 纸故，资障强料时电、，回设需路备要须制进同造行时厂外切家部断出电习具源题高高电中中源资资，料料线试试缆卷卷敷试切设验除完报从毕告而，与采要相用进关高行技中检术资查资料和料试检，卷测并主处且要理了保。解护现装场置设。备高中资料试卷布置情况与有关高中资料试卷电气系统接线等情况，然后根据规范与规程规定，制定设备调试高中资料试卷方案。
(2) 因为信源是等概率,且失真矩阵有对称性,则可设:
P(Y
|
X
)
A B
BA A+B=1 所以 B=1-A P(Y | X ) 1A A
则 D p(x)P(Y | X )d (x, y) 1 [(1 A) *5]* 2 5 5A
所以
(
p(
y1
P (Y
),
x
p(
|
X
y2
)
))
5 D , D