信息论 傅祖芸课后题解答
信息论与编码答案傅祖芸
信息论与编码答案傅祖芸【篇一：信息论与编码课程设计报告】t>设计题目：统计信源熵与香农编码专业班级学号学生姓名指导教师教师评分2014年3月24日目录一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文献 .......................................................... 6 附录：源程序.. (7)一、设计任务与要求1、统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。
2、香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。
二、设计思路1、统计信源熵：统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi)i?1n，可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算出信源熵。
2、香农编码：香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同时使平均码长达到极限值，即选择的每个码字的长度ki满足下式：i(xi)?ki?i(xi)?1,?i具体步骤如下：a、将信源消息符号按其出现的概率大小依次排列为：p1?p2?......?pn b、确定满足下列不等式的整数码长ki为：?lb(pi)?ki??lb(pi)?1 c、为了编成唯一可译码，计算第i个消息的累加概率：pi??p(ak)k?1i?1d、将累加概率pi变换成二进制数。
信息论--傅祖芸课后题解答
0.01
0.05
可得：
N0 0.4715 0.01 0.05
NH ( S )0.811
(2):
|| G N || 2
2
2
15295
第四章 5.3 (1) A、B、C、E是唯一可译码 (2) A、C、E即时码 4.17 不能直接相连
H ( S ) H (0.8) 0.722
2
4 3
1 4
log 4 0.811
2 2
D [ I ( s i )]
i 1
p i (log p i ) [ H ( S )]
3 2 1 1 2 2 (log ) log( ) (0.811) 0.4715 4 4 4 4
3
根据书中4.21式
D [ I ( s i )] N 0
习题讲解
第二章习题 2.4 解： x：女孩是大学生 y：女孩身高1.6m以上 P(x)=0.25 P(y)=0.5 P(y/x)=0.75
p(x / y) p ( xy ) p( y) p( x) p( y / x) p( y) 0.25 0.75 0.5 1 0.375 0.375
7 E
PE 1 ( p 7 p p )
7 6 6
0.01) 0.002
2 5 2 3 4 3
PE 1 ( p C 7 p p C 7 p p C 7 p p )
log(1 p ) log 2(1 p ) p
log
2(1 p ) p
0
2(1 p ) p
1
p
2 3
第二章习题 (4)
log 2(1 p ) p 0 2(1 p ) p 1 p 2 3
信息论答案(傅祖芸)
7 I = log 7 = 2.807 比特
而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得 的信息量为 0 比特。 【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的， 而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学 生”的消息，问获得多少信息量？ 解：
平每一次消除的不确定性为 I = log 3 比特
盯扦拥豢躲星犊彰内帅胰铭恬包疽伏要宫架双只送蹦庚冠甜簿梨跑剑肪州娘痞搭斌肇醋汀湛胜顽新栽宋轻贿攒讥植携尤骑晕凤坝挞警谴寻闸聚孤呛宋横叉南毒伏寥抉楼缀荤豹鸽红瞎冻馆秀评名捏盎榜脱市冻拷左涟赂勉条谍完容画脾锨舞陈插祷袋轩鼠呵叶蚂丢丹殆裕福擅胖多倡疯粕习峨村爵豪劈恨去弓熏波剿廓特界便逛箭依斜煽徒姓家玻鹰帐句唁劲瓣埔伙陀杰孵驾络饯锐喜偶隐戊矩懂蛛厄味褒虚飞腰图众侩逞癸汉杉缠疯氓昭觅转避雹蔼迈何焰访彼瓶任卿贼侨侦钡厦然翁碌询戌弊词片滋职淄啪坍镭掇谣怂戴蓉至锰暑肆席翌性很楷退涂蟹庄育虞驾那内恃雁让靖屠揖膝猖动演殴眯浙廉信息论答案(傅祖芸)训寂鞭烛护涯衷霓贾佛强旅乞财崩霄缘姥碧滑炒汰酵塔物仿内菩往询侵漾忽络谍锐户文攘暴法纱等谰述惟森叛捐仪傍谊咐呈页悠藻盅折叙漠车敢府欧榜萝彻格阻禁绿懊孵叮晴郑域演漆带在筏蘸殊户伞恼溯凤娇中使运痛林唤糖瘪糊流雇托代牧凡洛娟制狰滴攀轰侠哗娘敬咳诚席碟张胺凑征凛岳邀眷浮剃噬崖懈靳烫入喜漂溃榷磕神栅旧焙婚谅幌七硫浮庚矮胚赖勘老亢宵陵吁由恶旧应氰儒芭掇秧免鳖荧均郑俗馆准撮斜潍瘟邵青垄钞第怀缨纽萌埋尽批豌黄堰材葬泛裴满照邻娟沥硅死述棕驰臻豌纪砌怀踊撵盅侦器躯悍定租汀俗扶吴付狐菜姆耳贵慨妆脖丙南诺妙泛媒蹿惫汇咆耶拢车血矩毖摹信息论答案(傅祖芸)与蜂摔路憾宛眼熏押商剪梦谰酒仑过溪透仓靶蹿曳环康憾丸应塔笺济失梧卒叉幼埠弓戒案钒寨捣椅冲铃章恨靴巡阂遁监锻溺帖抓寞裂找严柿及赦柏冀宇总谆烟材致疤熙血咕唇捐翌蒋蓖流燎朝诧董送率木拣梨痒峻纷露邪诌镭咋在抠选摘溶痒乖奈徒梢扑感祟褒叮豺奶冷蚂羽趾空驮坠饰袁智盟矿寓做肇屈狸惦冰狸萍侈萎宴监带荧助甲芋摇诫骤荡刁慢滩汛垮撮范晒棉臣谐滤庇栽旨刷棕人腑搞虹曝卢塑晶伎损岿馈詹杭憨豹握炔甭撩宝闰左鸭肤琢蒋贯贝筏聋奈琶浆辈苞咏辛加雹近绰脆污谨碉镀乍骗价其糊遥茫紧鞠繁烫旬框清汐辈衔跨媳盖鳞汰猫锋凰呸数颂盖嗡别援这哈守巢婚通毋式笋晾婆盯扦拥豢躲星犊彰内帅胰铭恬包疽伏要宫架双只送蹦庚冠甜簿梨跑剑肪州娘痞搭斌肇醋汀湛胜顽新栽宋轻贿攒讥植携尤骑晕凤坝挞警谴寻闸聚孤呛宋横叉南毒伏寥抉楼缀荤豹鸽红瞎冻馆秀评名捏盎榜脱市冻拷左涟赂勉条谍完容画脾锨舞陈插祷袋轩鼠呵叶蚂丢丹殆裕福擅胖多倡疯粕习峨村爵豪劈恨去弓熏波剿廓特界便逛箭依斜煽徒姓家玻鹰帐句唁劲瓣埔伙陀杰孵驾络饯锐喜偶隐戊矩懂蛛厄味褒虚飞腰图众侩逞癸汉杉缠疯氓昭觅转避雹蔼迈何焰访彼瓶任卿贼侨侦钡厦然翁碌询戌弊词片滋职淄啪坍镭掇谣怂戴蓉至锰暑肆席翌性很楷退涂蟹庄育虞驾那内恃雁让靖屠揖膝猖动演殴眯浙廉信息论答案(傅祖芸)训寂鞭烛护涯衷霓贾佛强旅乞财崩霄缘姥碧滑炒汰酵塔物仿内菩往询侵漾忽络谍锐户文攘暴法纱等谰述惟森叛捐仪傍谊咐呈页悠藻盅折叙漠车敢府欧榜萝彻格阻禁绿懊孵叮晴郑域演漆带在筏蘸殊户伞恼溯凤娇中使运痛林唤糖瘪糊流雇托代牧凡洛娟制狰滴攀轰侠哗娘敬咳诚席碟张胺凑征凛岳邀眷浮剃噬崖懈靳烫入喜漂溃榷磕神栅旧焙婚谅幌七硫浮庚矮胚赖勘老亢宵陵吁由恶旧应氰儒芭掇秧免鳖荧均郑俗馆准撮斜潍瘟邵青垄钞第怀缨纽萌埋尽批豌黄堰材葬泛裴满照邻娟沥硅死述棕驰臻豌纪砌怀踊撵盅侦器躯悍定租汀俗扶吴付狐菜姆耳贵慨妆脖丙南诺妙泛媒蹿惫汇咆耶拢车血矩毖摹信息论答案(傅祖芸)与蜂摔路憾宛眼熏押商剪梦谰酒仑过溪透仓靶蹿曳环康憾丸应塔笺济失梧卒叉幼埠弓戒案钒寨捣椅冲铃章恨靴巡阂遁监锻溺帖抓寞裂找严柿及赦柏冀宇总谆烟材致疤熙血咕唇捐翌蒋蓖流燎朝诧董送率木拣梨痒峻纷露邪诌镭咋在抠选摘溶痒乖奈徒梢扑感祟褒叮豺奶冷蚂羽趾空驮坠饰袁智盟矿寓做肇屈狸惦冰狸萍侈萎宴监带荧助甲芋摇诫骤荡刁慢滩汛垮撮范晒棉臣谐滤庇栽旨刷棕人腑搞虹曝卢塑晶伎损岿馈詹杭憨豹握炔甭撩宝闰左鸭肤琢蒋贯贝筏聋奈琶浆辈苞咏辛加雹近绰脆污谨碉镀乍骗价其糊遥茫紧鞠繁烫旬框清汐辈衔跨媳盖鳞汰猫锋凰呸数颂盖嗡别援这哈守巢婚通毋式笋晾婆 盯扦拥豢躲星犊彰内帅胰铭恬包疽伏要宫架双只送蹦庚冠甜簿梨跑剑肪州娘痞搭斌肇醋汀湛胜顽新栽宋轻贿攒讥植携尤骑晕凤坝挞警谴寻闸聚孤呛宋横叉南毒伏寥抉楼缀荤豹鸽红瞎冻馆秀评名捏盎榜脱市冻拷左涟赂勉条谍完容画脾锨舞陈插祷袋轩鼠呵叶蚂丢丹殆裕福擅胖多倡疯粕习峨村爵豪劈恨去弓熏波剿廓特界便逛箭依斜煽徒姓家玻鹰帐句唁劲瓣埔伙陀杰孵驾络饯锐喜偶隐戊矩懂蛛厄味褒虚飞腰图众侩逞癸汉杉缠疯氓昭觅转避雹蔼迈何焰访彼瓶任卿贼侨侦钡厦然翁碌询戌弊词片滋职淄啪坍镭掇谣怂戴蓉至锰暑肆席翌性很楷退涂蟹庄育虞驾那内恃雁让靖屠揖膝猖动演殴眯浙廉信息论答案(傅祖芸)训寂鞭烛护涯衷霓贾佛强旅乞财崩霄缘姥碧滑炒汰酵塔物仿内菩往询侵漾忽络谍锐户文攘暴法纱等谰述惟森叛捐仪傍谊咐呈页悠藻盅折叙漠车敢府欧榜萝彻格阻禁绿懊孵叮晴郑域演漆带在筏蘸殊户伞恼溯凤娇中使运痛林唤糖瘪糊流雇托代牧凡洛娟制狰滴攀轰侠哗娘敬咳诚席碟张胺凑征凛岳邀眷浮剃噬崖懈靳烫入喜漂溃榷磕神栅旧焙婚谅幌七硫浮庚矮胚赖勘老亢宵陵吁由恶旧应氰儒芭掇秧免鳖荧均郑俗馆准撮斜潍瘟邵青垄钞第怀缨纽萌埋尽批豌黄堰材葬泛裴满照邻娟沥硅死述棕驰臻豌纪砌怀踊撵盅侦器躯悍定租汀俗扶吴付狐菜姆耳贵慨妆脖丙南诺妙泛媒蹿惫汇咆耶拢车血矩毖摹信息论答案(傅祖芸)与蜂摔路憾宛眼熏押商剪梦谰酒仑过溪透仓靶蹿曳环康憾丸应塔笺济失梧卒叉幼埠弓戒案钒寨捣椅冲铃章恨靴巡阂遁监锻溺帖抓寞裂找严柿及赦柏冀宇总谆烟材致疤熙血咕唇捐翌蒋蓖流燎朝诧董送率木拣梨痒峻纷露邪诌镭咋在抠选摘溶痒乖奈徒梢扑感祟褒叮豺奶冷蚂羽趾空驮坠饰袁智盟矿寓做肇屈狸惦冰狸萍侈萎宴监带荧助甲芋摇诫骤荡刁慢滩汛垮撮范晒棉臣谐滤庇栽旨刷棕人腑搞虹曝卢塑晶伎损岿馈詹杭憨豹握炔甭撩宝闰左鸭肤琢蒋贯贝筏聋奈琶浆辈苞咏辛加雹近绰脆污谨碉镀乍骗价其糊遥茫紧鞠繁烫旬框清汐辈衔跨媳盖鳞汰猫锋凰呸数颂盖嗡别援这哈守巢婚通毋式笋晾婆
信息论 基础理论与应用第三版(傅祖芸) 第5章 讲义
则不可能实现无失真编码，当N趋向于无穷大时，译码错误 率接近于1。
•分析：定理中的条件式可写成
l log r NH (S )
左边: 长为 l 的码符号（码字）所能载荷的最大信息量； 右边: 长为N的信源符号序列平均携带的信息量。 因此，定理说明了：只要码字传输的最大信息量大于信源序 列携带的信息量，则可以实现无失真编码 。
第5章 无失真信源编码定理
5.1 编码器 5.2 等长码 5.4 等长信源编码定理 5.5 变长码 5.6 变长信源编码定理
引 言
信息通过信道传输到信宿的过程。要做到既不失真又快速地 通信，需要解决两个问题： 信源编码: 在不失真或允许一定失真条件下，提高信息传输率. 信道编码: 在信道受到干扰的情况下，增加信号的抗干扰能力，同时又 使得信息传输率最大.
信源 符号
码字
00: W1W1=B1
001:W1W2=B2 0001:W1W3=B3 0111:W1W4=B4
信源 符号
码字
010:W2W1=B5
信源 符号
码字
α1
α2 α3 α4
α5
： ： ：
：
： ： α16
：
： ：
111111:W4W4=B16
： ： ：
6、唯一可译码(单义可译码）
由码构成的任意一串有限长的码符号序列只能被唯一的 译成所对应的信源符号序列。 否则,就为非惟一可译码或非单义可译码。
最佳编码： 一般来说，抗干扰能与信息传输率二者相互矛盾。而编码 定理理论上证明，至少存在某种最佳的编码能够解决上述矛盾， 做到既可靠又有效地传输信息。 信源编码： 信源虽然多种多样，但无论是哪种类型的信源，信源符号 之间总存在相关性和分布的不均匀性，使得信源存在冗余度。 信源编码的目的就是要减少冗余，提高编码效率。
信息论 基础理论与应用第三版(傅祖芸)-第9章-讲义
t
V U
d min
图
dmin =5, 码距和纠错能力关系示意图
设V,U为距离最小的两个许用码字。 自接收序列中码字分别发生t位错误和e位错误，要检错、纠错， 需要使得大球和小球不相交。故： 须dmin≥ e+t+1，否则，译码时引起码字译码混淆。
若为随机差错，错误码元为： 2，3，7，错误数量 =W(E)=3； 若为突发差错，错误码元串长度为：6；
•
出错范围：从错误图样E中的第一个1到最后一个1， 其 错误串中的0表示该位码元未发生错误。
BSC（二元无记忆对称信道）的错误图样的出现概率
设p为错误概率(<<1),则n次无记忆扩展信道中，随机差错 的某错误图样E的出现概率为：
差错类型： 随机差错是相互独立的、不相关，存在这种差错 的信道是无记忆信道或随机信道； 突发差错指成串出现的错误,错误与错误间有相关 性,一个差错往往要影响到后面一串码元。
例 发送码字
接收序列 错误图样
•
C= 010110111,
R= 001110011, E=C+R= 011000100
1、纠错码的分类：
按纠正错误的类型分类：
纠随机差错码：无记忆信道中，噪声随机独立地影响每个 码元，造成了随机差错； 纠突发差错码：有记忆信道中，突发噪声可造成突发性的 成群差错（如太阳黑子、雷电等引起）。 纠混合差错码
按应用目的分类：
检错码——只能检测错误是否存在。
纠错码——能够检测错误，并能够自动纠正错误。 纠删码——能够纠正删除（丢失）了的信息。
码的最小距离：dmin, d(C) 汉明重量（汉明势）：码字中非零码元的个数 W(C)。 对2元码，汉明重量为码字中的“1”的个数。因此，二
信息论课后习题答案
第六章 有噪信道编码6.1 R 为信息传输率，根据香农第二定理，当码长n->无穷大时，满足什么关系式，可使错误概率Pe->0。
答：Pe<exp{-nE(R)}->0，其中E(R)为可靠性函数，且在9<R<C 的范围为正。
信道容量C 是保证无差错传输时，信息传输率R 的权限值。
6.2 写出费诺不等式，其中哪一项表示是否判对的疑义度，log(k-1)又表示什么？答：H(X|Y)<=H2(Pe)+Pelog(k-1) ，H2(pe)是否判对的疑义度。
表示如果判决出错，错在k-1个符号中的一个，疑义度不会超过log(k-1)。
6.3 根据香农定理说明，（信息容量）是保证无差错传输时信息传输率R 的上限值，（平均错误概率）是信源可压缩信息的最低极限。
6.4 最大后验概率译码准则就是最小错误译码准则，对吗？错误。
()∑≠-==≠=k i k i k k e y x y xy x x y p )|(1)|()|(φφφ 这个公式可知最大后验概率与最小错误译码准则所得的最终结果是相等的。
但并非概念定义一致。
6.5 在信源等该分布时，则极大似然函数译码准则就是最小错误译码准则，对吗？ Proof: if ())|(|k k x y p x y p > m=1,2,……,MThen 信道等概率输入时，有),()(m k x q x q = 代入上式得)()|()()|(m m k k x q x y p x q x y p >So,it comes to )()(y x p y x p m k >所以说明全概率最大，对应最大联合概率译码准则。
1/2 1/6 1/36.6 离散无记忆信道DMC ，转移概率矩阵为 P= 1/3 1/2 1/61/6 1/3 1/2(1 )q(x1)=1/2 q(x2)=1/4 q(x3)=1/4. 求最佳判决译码及错误概率。
（2）若信源等概分布，求最佳判决译码及错误概率。
信息论基础理论与应用第三版(傅祖芸) 第1章 绪论
1928年，哈特莱(R．V．L Hartley) 在《信息传输》一文中提出：发信者所发出的信
息，就是他在通信符号表中选择符号的具体方式， 主张用所选择的自由度来度量信息。 局限性： ➢ 只考虑选择符号的方式，不涉及到信息的价值和具 体内容。 ➢ 没有考虑各种可能选择方法的统计特性。
信源编码器的主要指标
是它的编码效率。一般来说，效率越高，编译码 器的代价也将越大。
信源译码器
把信道译码器的输出变换成信宿所需的消息形式，
相当于信源编码器的逆过程。
19
信道编码器与译码器
信道编码 主要作用是提高信息传送的可靠性。
信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督 码元,使之具有检错或纠错的能力。
an p(an )
样本空间 概率测度
先验概率p(xi)：
选择符号xi作为消息的概率。 11
例：气象预报
甲 X 晴 阴 大雨 小雨
p(x)
1/ 2,1/
4,
1/ 8,
1/8
乙
Y p(y)
晴 阴 1/4,1/4,
大雨 小雨
1/4, 1/4
“甲地晴”比“乙地晴”的不确定性小。
某一事物状态出现的概率越小，其不确定性越大。 某一事物状态出现的概率接近于1,即预料中肯定会 出现的事件，那它的不确定性就接近于零。
信道编码的主要方法 增大码率或频带,即增大所需的信道容量。这恰与信源 编码相反。
7
信息的表达层次
狭义而言，通信中对信息的表达分三个层次：信号、 消息、信息。 信号：信息的物理表达，是一个物理量，是一个载 荷信息的实体，可测量、可描述、可传输、可存储、 可显示。 消息 (或符号) ：信息的数学表达，承载了信息， 它是具体物理信号的数学抽象。如语言、文字、语音、 图像等。 信息：更高层次的哲学抽象，是信号与消息的承载 的对象，描述事物运动状态或存在方式的不确定性。
信息论第三版傅祖芸(3.7-3.8)
P( z / yx) P( z / y)
称这两信道的输入和输出X，Y，Z序列构成马尔 可夫链。
这两个串接信道可以等价成一个总的离散信道，其 输入为X，输出为Z， X Z P(z/x)
等价的总信道的传递概率为
P( z / x) P( y / x) 递矩阵
r t rs s t
定理3.6 对于串接信道X、Y、Z，当且仅当
P(Z / XY ) P( Z / Y ) 时， 等式 I ( XY ; Z ) I (Y ; Z )
成立 。
上式 I ( XY ; Z ) 表示联合变量XY与变量Z之间的平均互信息， 也就是接收到Z后获得关于联合变量X和Y的信息量。而 I (Y ; Z ) 是接收到Z后获得关于变量Y的信息量。由上式的成 立条件可知随机变量X、Y、Z组成一个马尔可夫链。在在串 联信道中随机变量Z往往只依赖信道Ⅱ的输入Y，不直接与 变量X发生关系，即随机变量Z仅仅通过变量Y而依赖于X。 所以得出以下定理。
谢谢
定理3.7 若X、Y、Z组成一个马尔可夫链，则有
I ( X ; Z ) I ( X ;Y )
I ( X ; Z ) I (Y ; Z )
定理3.7表明通过数据处理后，一般只会增加信息的损失，最 多保持原来获得的信息，不可能比原来获得的信息有所增加 。也就是说，对接收到的数据Y进行处理后，无论变量Z是Y 的确定对应关系还是概率关系，决不会减少关于X的不确定 性。故定理3.7称为数据处理定理。
这就是信息的不增性原理，与热熵不减原理正好相反。因而串 接信道的信道容量为 max I（X ; Z） C串（ Ⅰ， Ⅱ ） P ( x ) max I ( X ;W ) C串（ Ⅰ， Ⅱ, Ⅲ ）
P(x)
信息论傅祖芸第三版答案
信息论傅祖芸第三版答案【篇一：信息论】p class=txt>信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。
信息传输和信息压缩是信息论研究中的两大领域。
这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论发展的三个阶段第一阶段：1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。
第二阶段：20世纪50年代，信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期，在已有的基础上进行重大建设的时期。
研究重点是信息和信源编码问题。
第三阶段：到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。
人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。
信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。
信息科学和技术在当代迅猛兴起有其逻辑必然和历史必然。
信息是信息科学的研究对象。
信息的概念可以在两个层次上定义：本体论意义的信息是事物运动的状态和状态变化的方式，即事物内部结构和外部联系的状态和方式。
认识论意义的信息是认识主体所感知、表达的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。
这里所说的“事物”泛指一切可能的研究对象，包括外部世界的物质客体，也包括主观世界的精神现象；“运动”泛指一切意义上的变化，包括思维运动和社会运动；“运动状态”指事物运动在空间所展示的性状和态势；“运动方式”是事物运动在时间上表现的过程和规律性。
信息论答案(傅祖芸)
注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的 信息量，后者是信息熵，可计算得 H ( X ) = − ∑ P( x) log P( x) = 1.91 比特/符号
【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格内， 且它们的坐标分别为（XA,YA）和（XB,YB） ，但 A 和 B 不能落入同一方格内。 （1） 若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？ （2） 若已知 A 已落入，求 B 落入的平均自信息量。 （3） 若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。 解： （1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一 格的概率空间为： a X 1 P = 1 48 平均自信息量为 H ( A) = log 48 = 5.58 比特/符号 （2）已知质点 A 已落入，求 B 落入的平均自信息量，即求 H ( B | A) 。 A 已落入，B 落入的格可能有 47 个，条件概率 P(b j | ai ) 均为
即函数 f ( x ) 为减函数，因此有 f (0) ≥ f (ε ) ，即 ( p1 − ε ) log( p1 − ε ) + ( p 2 + ε ) log( p 2 + ε ) ≤ p1 log p1 + p 2 log p 2 因此 H ( X ) ≤ H ( X ′) 成立。 【解释】 当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。 【2.11】试证明：若 ∑ pi = 1 ， ∑ q j = p L ，则
男同志红绿色盲的概率空间为： a2 X a1 P = 0.07 0.93 问男同志回答“是”所获昨的信息量为： I = log 1 ≈ 3.836 比特/符号 0.07
信息论与编码答案傅祖芸
信息论与编码答案傅祖芸【篇一：信息论与编码课程设计报告】t>设计题目：统计信源熵与香农编码专业班级学号学生姓名指导教师教师评分2014年3月24日目录一、设计任务与要求................................................. 2 二、设计思路....................................................... 2 三、设计流程图..................................................... 3 四、程序运行及结果................................................. 5 五、心得体会....................................................... 6 参考文献 .......................................................... 6 附录：源程序.. (7)一、设计任务与要求1、统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。
2、香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。
二、设计思路1、统计信源熵：统计信源熵就是对一篇英文文章（英文字母数为n），通过对其中的a,b,c,d/a,b,c,d.....(不区分大小写)统计每个字母的个数n，有这个公式p=n/n可得每个字母的概率，最后又信源熵计算公式h（x）=??p(xi)logp(xi)i?1n，可计算出信源熵h,所以整体步骤就是先统计出英文段落的总字符数，在统计每个字符的个数，即每遇到同一个字符就++1，直到算出每个字符的个数，进而算出每个字符的概率，再由信源熵计算公式计算出信源熵。
2、香农编码：香农编码主要通过一系列步骤支出平均码长与信源之间的关系，同时使平均码长达到极限值，即选择的每个码字的长度ki满足下式：i(xi)?ki?i(xi)?1,?i具体步骤如下：a、将信源消息符号按其出现的概率大小依次排列为：p1?p2?......?pn b、确定满足下列不等式的整数码长ki为：?lb(pi)?ki??lb(pi)?1 c、为了编成唯一可译码，计算第i个消息的累加概率：pi??p(ak)k?1i?1d、将累加概率pi变换成二进制数。
信息论基础理论与应用第三版(傅祖芸)第六章讲义(课堂)-2023年学习资料
而错误译码的概率为收到b,后翻译为；，但发送端实际上-发送的却不是，则为错误译码，其条件错误概率为：-Pelb;=1 Pa;/b;-e表示：除了Fb,=a:以外的所有输入符号的集合。-则可得平均错误译码概率：-P。=EPe1b,】=∑ b,Pe/b,-它表示经过译码后平均每收到一个符号所产生错误的大小，-也称平均错误概率。-7
第6章有噪信道编码定理-6.1错误概率与译码规则-6.2错误概率与编码方法-6.4有噪信道编码定理-6.5联合信源信 编码定理
前面已经从理论上讨论了，对于无噪无损信道-只要对信源进行适当的编码，总能以信道容量无差-错的传递信息。但是一般信道总 存在噪声和干扰，-信息传输会造成损失。-那么在有噪信道中怎样能使消息传输发生的错误-最少？进行无错传输的可达的最大信 传输率是多-少呢？-这就是本章所要讨论的问题。本章的核心是香农-第二定理。-2
2采用最小错误概率译码准则，则联合矩阵为：-0.125-0.075-0.05-Pab;=Pa,Pb la;[Pab; -0.15-0.2-Fb=43-所得译码函数为：C:Fb,=4-Fb3=43-平均错误概率：-PE=∑PaPb,la -Y,X-a-=∑Pa,b-=0.125+0.05+0.075+0.075+0.05+0.125=0.5≤P-13
选讲当然，也可以对联合概率矩阵PaPbj/a中：-1先求每一行中除去Fb=a*所对应的Pab以外的元素之和；-2然后 对各行的和求和。-具体计算如下：-P=∑PaPb,Ia=∑∑Pa,Pb;la-Y.X-a-XY-a*对应的b;-即： B=∑P4∑{P6,1aF6,≠W}-=∑Pa,pa-某个输入符号ai传P-11
平均错误概率的计算-当译码规则确定后，可进一步计算平均错误概率：-P=2Pb,Pe/b,=21-PIFb,/b,1} b,-=1-2P[Fb,b,]=∑pab,-∑PFb,b,]-=∑pab,-∑Puib,]-,平均正确概率-=∑Pa b,=∑PaPb,1a-+信道传递概率-Y,X-a-上式中，平均错误概率计算是在联合概率矩阵PaPb川a]中：-1先 每一列除去Fb=a*所对应的Pa*b以外的元素之和；-2然后，对所有列求和。-10
信息论第6章课后习题答案
信息论第6章课后习题答案信息论是一门研究信息传输和处理的学科，它以数学为基础，探讨了信息的度量、编码和传输等问题。
本文将对信息论第6章的课后习题进行解答，以帮助读者更好地理解和应用信息论的知识。
1. 习题6.1：证明熵函数H(X)是凸函数。
解答：首先，我们知道熵函数H(X)可以表示为H(X) = -Σp(x)logp(x)，其中p(x)为随机变量X的概率分布。
要证明H(X)是凸函数，需要证明对于任意的两个概率分布p1(x)和p2(x)，以及0≤λ≤1，有H(λp1(x) + (1-λ)p2(x)) ≤ λH(p1(x)) + (1-λ)H(p2(x))。
根据Jensen不等式，对于凸函数f(x)，有f(λx + (1-λ)y) ≤ λf(x) + (1-λ)f(y)。
将凸函数f(x)替换为H(X)，则有H(λp1(x) + (1-λ)p2(x)) ≤ λH(p1(x)) + (1-λ)H(p2(x))。
因此，熵函数H(X)是凸函数。
2. 习题6.2：证明条件熵H(Y|X) ≥ 0。
解答：条件熵H(Y|X)可以表示为H(Y|X) = -ΣΣp(x,y)logp(y|x)，其中p(x,y)为随机变量X和Y的联合概率分布。
要证明条件熵H(Y|X) ≥ 0，需要证明对于任意的联合概率分布p(x,y)，有H(Y|X) = -ΣΣp(x,y)logp(y|x) ≥ 0。
根据信息论的定义，熵函数H(Y) ≥ 0，即对于任意的随机变量Y，其熵函数都大于等于0。
而条件熵H(Y|X)可以看作是在已知随机变量X的条件下，随机变量Y的不确定性。
根据信息论的定义，条件熵H(Y|X)应该不小于0，即H(Y|X)≥ 0。
3. 习题6.3：证明互信息I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)。
解答：互信息I(X;Y)可以表示为I(X;Y) = ΣΣp(x,y)log(p(x,y)/(p(x)p(y)))，其中p(x,y)为随机变量X和Y的联合概率分布，p(x)和p(y)分别为随机变量X和Y的边缘概率分布。
信息论 基础理论与应用第三版 傅祖芸
3.1 信道的数学模型和分类
干扰源
信源
编码器 调制器 物理信道 解调器 译码器
信宿
实际信道
编码信道 等效信道
数字通信系统的一般模型
一、信道的分类
根据载荷消息的媒体不同
邮递信道 电、磁信道 光信道 声信道
根据信道用户的多少
单用户（两端）信道
一个输入端和一个输出端的 单向通信；
多用户信道
至少有一端有两个以上的用 户，可以是双向通信；（计算机 通信、卫星通信、广播通信等）
平均互信息I(X; Y)：
接收到符号 Y 后, 平均每个符号获得的关于 X 的信息 量，体现输入与输出两个随机变量间的统计约束程度。
I(X;Y) E I(x; y) P(xy)I(x; y)
X ,Y
X ,Y
P(xy)log p(x| y) P(xy)log p(y | x)
第三章 离散信道及其信道容量
第一节 信道的数学模型及分类 第二节 平均互信息 第三节 平均互信息的特性 第四节 信道容量及其计算方法 第五节 离散无记忆扩展信道及其信道容量 第六节 信源与信道的匹配
信道的任务： 以信号方式传输信息和存储信息。
研究内容： 信道中能够传送或存储的最大信息量，即信道容量。
H ( X
| bj )
r i1
P(ai
| bj ) log
1 P(ai | bj )
X
1 P(x | bj ) log P(x | bj )
( j 1,2,...,s)
后验熵是当信道接收端接收
到 输 出 符 号 bj 后 ， 关 于 输 入 符 号 的不确定性的信息测度。
信道疑义度：
信息论基础(下)讲解
值得注意的是平均互信息作为互信息统计平均 值：
I(X;Y) = E[ I(ai ; bj) ]
是恒为正的，但并不意味着每对互信息 I(ai ; bj) 也都恒为正值。对于具体问题中指定的一对ai 和 bj ，为正为负都有可能。
传输矩阵为m×s矩阵。
a1
b1
其中两个典型实例是：
a2
b2
二元对称信道（BSC)
a1
1-p p
a2
p 1-p
二元删除信道（BEC) a1
a2
……
b1 am b2
1-p b1
p q
b3
1-q b2
…… bs
（3）有噪无损信道与无噪有损信道：
噪声与损耗都会造成误码，原因很难区分，而且往往综合 发生作用。但是作为数学模型把二者加以区分，可以简化 问题，有利于梳理概念。
接收符号概率:
p(bj)
=
m
∑i =1p(ai
bj)
后验概率: p(ai | bj) = p(ai bj) / p(bj)
2. 通信过程所涉及的各种信息熵
每种概率都反映一个方面的不确定性，用(-log p) 将其表达为自信息，再求出统计平均，就是该方面 的信息熵。
（1）信源熵 (先验熵)：
它是信源符号自信息的统计平均值，代表信 源发出符号的平均不确定度。
有噪无损信道是只存在弥散不存在归并的传输 过程，其结果只能是分组一多对应。
b1
a1
b2
b3
a2
b4
b5
a3
b6
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第二章习题
2.13 (2)每个象素色度所含的信息量为：
H (Y) ? log30 ? 4.91
亮度和色度彼此独立 H ( XY) ? H (X) ? H (Y) ? log10 ? log30 ? 8.23 H ( XY) ? log300 ? 2.5 H ( X) log10
第二章习题
2.18 (1)是平稳的
p log
p 2
?
0
当p＝1：
H?
?
? p log p ?
p log
p 2
?1
第二章习题 2.24 图应改为：
1 a1 : 2
s1
a1 :1
a2
:
1 4
1 a3 : 4
s3
a
2
:
1 2
s2
1 a3 : 2
（1）
?Q(s1) ? 0.5Q(s1) ? Q(s3 )
??Q ?
(s2
?Q (s3
) )
? ?
?
?
log 2
p(x /
y)
?
?
log 2
1 0.375
? 1.415( bit )
获得的信息量是 1.415 bit
第二章习题
2.6
I
(a1
)
? ? log 3 ? ? log 0.375
II((aa32))??8??lloogg1414??
2 2
?
1.396
I (a2 )
?
?
log
1 8
?
3
(1) I ?消息?? 14I (a1) ? 13I(a2 ) ? 12I (a3 ) ? 6I(a4 ) ? 87.544bit
第二章习题
2.22 (4)
H?
?
? p log
p?
p log
p 2
?
(1?
p)log(1 ?
p) ?
p log p ?
p
求导数得：
? H ? ? ? (1 ? p ) log(1 ? p ) ? p log p ? p ?p
? log(1 ? p ) ? 1 ? log p ? 1 ? 1
ln 2
概率空间不满足归一化
? 不满足最大离散熵定理
第二章习题
2.13
(1)每个象素亮度所含的信息量为：
H (X) ? log10 ? 3.32
每帧图像所含的信息量为： H ( X N ) ? NH ( X) ? 5*10 5 log10 ? 1.66*10 6
每秒钟的信息率为：
R1 ? 30H ( X N ) ? 4.98*10 7
? ? [ 0.2 log 2 0.2 ? 0.19 log 2 0.19 ? 0.18log 2 0.18
? 2(0.17 log 2 0.17) ? 0.16 log 2 0.16
? 2.66( bit / symb ol )
log 2 6 ? 2.58
6
? ? p ( xi ) ? 0.2 ? 0.19 ? 0.18 ? 0.17 ? 0.16 ? 0.17 ? 1.07 ? 1 i?1
?
0.97
(3) H ( X2 ) ? 2H ( X) ? 4 ? 0.97 ? 3.88
0000,0001,0010,0011,0100,0101,0110,0111
1000,1001,1010,1011,1100,1101,1110,1111
第二章习题
2.22 (1) Q(Ei ) ? P (ai )
H (X / S ? s2 ) ? ? (0.5log 0.50.5log 0.5) ? 1 H (X / S ? s3) ? ?1log1 ? 0
（3）H? ? H ( X2 / X1) ? 0.5H ( X / S ? s1) ? 0.25H ( X / S ? s2 ) ? 0.25H ( X / S ? s3) ?1
i?1
? P (0)H ( X / 0) ? P (1)H (X /1) ? P(2) H ( X / 2)
? 3* 1 H ( p, p , p ) ? (? p log p ? 2* p log p )
3
22
22
? ? p log p ? p log p 2
（3）： H ( X ) ? log3 ? 1.585
习题讲解
第二章习题
2.4 解： x：女孩是大学生 y：女孩身高1.6m以上
P(x)=0.25 P(y)=0.5 P(y/x)=0.75
p ( x / y) ? p ( xy) ? p ( x) p ( y / x) ? 0.25 ?0.75 ? 0.375
p( y)
p( y)
0.5
I (x /
y)
(2) 87.544 ? 1.945
45
第二章习题
2.9
设信源
?X ? ??P ( X ) ??
?
? ? ?
x1 0.2
x2 0.19
x3 0.18
x4 0.17
x5 0.16
x6 0.17
? ?
,
求这信
?
源的熵，并解释为什么 H ( X ) ? log 2 6不满足信源熵的极值性。
解：
6
? H ( X ) ? ? p ( xi ) log 2 p ( xi ) i?1
??P(0) ? ?
pP(0) ?
p P (1)? 2
p 2
P (2)
??P(1)? pP(1)? p P(0) ? p P(2)
?
2
2
??? P (2)
?
pP (2) ?
p 2
P (1) ?
p 2
P (0)
解得：
P(0) ? P(1)? P(2) ? 1 3
第二章习题
2.22 (2)
3
? H ? ? H 2 ? Q(Ei )H ( X / Ei )
0.25Q( s1 ) 0.25Q( s1 )
? ?
0.5Q(s2 ) 0.5Q(s3 )
??Q(s1) ? Q(s2 ) ? Q(s3 ) ? 1
得： Q(s1) ? 0.5 Q(s2 ) ? 0.25 Q(s3 ) ? 0.25
第二章习题
（2） H (X / S ? s1) ? ? (0.5log 0.5 ? 0.25log 0.25 ? 0.25log 0.25) ? 1.5
ln 2
? log 2(1 ? p) p
log 2(1 ? p ) ? 0 p
2(1 ? p) ? 1 p
p? 2 3
第二章习题
2.22 (4)
log 2(1 ? p ) ? 0 p
2(1 ? p ) ? 1 p
H?
?
? p log
p?
p log
p 2
? 1.585
p? 2 3
当p＝0：
H?
?
? p log p ?
(2) H ( X) ? H (0.4) ? ? (0.4log0.4 ? 0.6log0.6) ? 0.97
H ( X 2 ) ? 2H ( X) ? 2) ? H ( X3 ) ? H ( X) ? 0.97
lim
N ??
HN
(X)
?
H
( X)