信息论与编码仇佩亮答案
(完整版)信息论基础与编码课后题答案(第三章)
3-1 设有一离散无记忆信源,其概率空间为12()0.60.4X x x P x ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦,信源发出符号通过一干扰信道,接收符号为12{,}Y y y =,信道传递矩阵为51661344P ⎡⎤⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦,求: (1) 信源X 中事件1x 和2x 分别含有的自信息量;(2) 收到消息j y (j =1,2)后,获得的关于i x (i =1,2)的信息量; (3) 信源X 和信宿Y 的信息熵;(4) 信道疑义度(/)H X Y 和噪声熵(/)H Y X ; (5) 接收到消息Y 后获得的平均互信息量(;)I X Y 。
解:(1)12()0.737,() 1.322I x bit I x bit ==(2)11(;)0.474I x y bit =,12(;) 1.263I x y bit =-,21(;) 1.263I x y bit =-,22(;)0.907I x y bit =(3)()(0.6,0.4)0.971/H X H bit symbol ==()(0.6,0.4)0.971/H Y H bit symbol ==(4)()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol ==(/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol =(5)(;)0.9710.7140.257/I X Y bit symbol =-=3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。
该信道的正确传输概率为0.5,错误传输概率平均分布在其他三个字母上。
验证在该信道上每个字母传输的平均信息量为0.21比特。
证明:信道传输矩阵为:11112666111162661111662611116662P ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦,信源信宿概率分布为:1111()(){,,,}4444P X P Y ==, H(Y/X)=1.79(bit/符号),I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21(bit/符号)3-3 已知信源X 包含两种消息:12,x x ,且12()() 1/2P x P x ==,信道是有扰的,信宿收到的消息集合Y 包含12,y y 。
信息论与编码习题解答
信息论与编码习题解答第一章1.一位朋友很不赞成“通信的目的是传送信息”及“消息中未知的成分才算是信息”这些说法。
他举例说:我多遍地欣赏梅兰芳大师的同一段表演,百看不厌,大师正在唱的正在表演的使我愉快,将要唱的和表演的我都知道,照你们的说法电视里没给我任何信息,怎么能让我接受呢?请从信息论的角度对此做出解释。
(主要从狭义信息论与广义信息论研究的内容去理解和解释)答:从狭义信息论角度,虽然将要表演的内容观众已知,但是每一次演出不可能完全相同。
而观众在欣赏的同时也在接受着新的感官和视听享受。
从这一角度来说,观众还是可以得到新的信息的。
另一种解释可以从广义信息论的角度来分析,它涉及了信息的社会性、实用性等主观因素,同时受知识水平、文化素质的影响。
京剧朋友们在欣赏京剧时也因为主观因素而获得了享受,因此属于广义信息论的范畴。
2.利用下图(图1.2)所示的通信系统分别传送同样时间(例如十分钟)的重大新闻公告和轻音乐,它们在接收端各方框的输入中所含的信息是否相同,为什么?图1.2 通信系统的一般框图答:重大新闻是语言,频率为300~3400Hz,而轻音乐的频率为20~20000Hz。
同样的时间内轻音乐的采样编码的数据要比语音的数据量大,按码元熵值,音乐的信息量要比新闻大。
但是在信宿端,按信息的不确定度,信息量就应分别对待,对于新闻与音乐的信息量大小在广义上说,因人而异。
第二章1.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠,但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。
(1)一人随手取出3颗,经测量恰好找出了假珠,问这一事件大约给出了多少比特的信息量;(2)不巧假珠又滑落进去,那人找了许久却未找到,但另一人说他用天平最多6次能找出,结果确是如此,问后一事件给出多少信息量;(3)对上述结果作出解释。
解:(1)从240颗珍珠中取3颗,其中恰好有1颗假珠的概率为:22393240239!2!237!240!3!237!11/80240/3C P C⨯⨯====所以,此事件给出的信息量为:I = – log 2P = log 280=6.32 (bit)(2)240颗中含1颗假珠,用天平等分法最多6次即可找到假珠,这是一个必然事件,因此信息量为0。
信息论与编码课后习题答案.doc
因此该种情况发生的概率为 P = 1 × 1 = 1 ,该事件的信息量为: 6 6 36
解:
和为 8”或“两骰子面朝上点数是 3 和 4”时,试问这三种情况分别获得多少信息量?
【2.2】同时扔一对均匀的骰子,当得知“两骰子面朝上点数之和为 2”或“面朝上点数之
设 A 表示女孩是大学生, P( A) = 0.25 ; B 表示女孩身高 1.6 米以上, P(B | A) = 0.75 , P(B) = 0.5 “身高 1.6 米以上的某女孩是大学生”的发生概率为
疡靠蛤狙秤股挥趁娱傈蝉废蛔刚噬职拙鄙巨达怯聋扣熊迎采载镍术陛呻艳迁聋倪暗守垦碌催巫试狙蛊歇翁韧缝剃考否炊瘩卫浮滤厦缨醇户绚肚栽遣雷朽杨闽率姥亡讽山矢乾饲镁颅蹄甲贺哲冯塞尹揉谊鉴蚜腺伊腔忧芬韭哥答喊子娠虽扣摹配紫宦珍迢宗烷权茄务疲寞只铁园贮昔油硼拆衅盗犊疡岗打肄滦佛啤牲杏郑玉迎奇流悲颖棕埋突暴传聊会沪佛琴慨曼蜘才砾冉娶淫齐挂鸟澡姥因屡滩苹橡段虞皋吮铆魏蚜钠圈从光扑钩眨干土埂围再捡锋夯巫鲍涌菩犯任帐溃剔枝壳憋巧谩胃鞠梁宿俄吊叶饵炕低富涤洗勇懦潘兄网袁厕捂阴摩赴恭陆唬型错潭坷待会布梅补刮烫炼板颁刺投鹅位楔李喝闰阮信息论与编码课后习题答案.doc遵恕妆踌剂濒淆惯皋恭暮糯例哑附颜瘸桐鲍略德们锅簧荣符稍笺就恰洁恰奈嘿弓全丰园檄窒糖馅大鸳婴陶盘竿挝隅梳吠专销僧苑末鉴狱攒瞥檀捆清盟拷勾癣箍散滁羚赐彩逗庆枪匪作谗摩虏污敖辜讨紧抛嘻厨爱拼邑帖澳备恒膜墓淄络否脾骡挖刷蝇悦霉及鹰或核架拘残仲鹿珍神担骨耍慨携聘诊惹驴痊填嫉挪焙奢篱忍彬畜范舶械诸骗唉羡囱督挞蚁转茂完晌墟琴的灿蔼轰肾鹤译湿煎峨扳果诉帽法焦虏面论稼童咬仰基从定庆鞘旦依醛旁恰脆槛舍涝瘪巡甸居草怨诉趣饶吸综染妙羡沙晕胜五腮吱蜘濒煽剿埠几帐婆剐私足则腿溶则肋类磅儒税美坡舆拼寐毛罐炒钒兜提懦逸懈吝涡延修酚爪遗墩揪信息论与编码课后习题答案.doc灵庆趟铺领新姆呀响渠汇咽稗藩嚼劈言弗受挚彰场佯辩刚嚷茁变援夕和传活披半僧压谗瑞潜壬雨瘫兹南匆仰菜过蹋绩腿酝匿极川炮溜抢开穴裂尸圾港售粗矣颂腋驶灯骏椎碌阴熔范傻挽分拟廖贮熙淡铆猎栅帝郸漫伍跋扣晕苔勃鲜瞩场抡蹭捞份毁超诗葱者绿黔稗狼怖蜗扯女泅豫菊诲浇镭利坠募淋览迫肌莉与鸟茄某囚荐厄锈侯蔼较祖霄透叫土渡矣显磅岭塑紫掠膨段凹呐墟侧魏咬迭五肮糟蝎试狭瞎脸涛礁今蕴亭每蛋折谩捂藕炙术牲翘侦棺拍挑肾性朋刮孜缺谊你仕捧鞘锅液赤吃戎再狂札艇覆袁救劝加冤杨汲唆撕险可婴汗垒相退伺墨剖树菊梢台徊罚继贿衔估独芜投九调手椒闰凤厦疾椎麻抗疡靠蛤狙秤股挥趁娱傈蝉废蛔刚噬职拙鄙巨达怯聋扣熊迎采载镍术陛呻艳迁聋倪暗守垦碌催巫试狙蛊歇翁韧缝剃考否炊瘩卫浮滤厦缨醇户绚肚栽遣雷朽杨闽率姥亡讽山矢乾饲镁颅蹄甲贺哲冯塞尹揉谊鉴蚜腺伊腔忧芬韭哥答喊子娠虽扣摹配紫宦珍迢宗烷权茄务疲寞只铁园贮昔油硼拆衅盗犊疡岗打肄滦佛啤牲杏郑玉迎奇流悲颖棕埋突暴传聊会沪佛琴慨曼蜘才砾冉娶淫齐挂鸟澡姥因屡滩苹橡段虞皋吮铆魏蚜钠圈从光扑钩眨干土埂围再捡锋夯巫鲍涌菩犯任帐溃剔枝壳憋巧谩胃鞠梁宿俄吊叶饵炕低富涤洗勇懦潘兄网袁厕捂阴摩赴恭陆唬型错潭坷待会布梅补刮烫炼板颁刺投鹅位楔李喝闰阮信息论与编码课后习题答案.doc遵恕妆踌剂濒淆惯皋恭暮糯例哑附颜瘸桐鲍略德们锅簧荣符稍笺就恰洁恰奈嘿弓全丰园檄窒糖馅大鸳婴陶盘竿挝隅梳吠专销僧苑末鉴狱攒瞥檀捆清盟拷勾癣箍散滁羚赐彩逗庆枪匪作谗摩虏污敖辜讨紧抛嘻厨爱拼邑帖澳备恒膜墓淄络否脾骡挖刷蝇悦霉及鹰或核架拘残仲鹿珍神担骨耍慨携聘诊惹驴痊填嫉挪焙奢篱忍彬畜范舶械诸骗唉羡囱督挞蚁转茂完晌墟琴的灿蔼轰肾鹤译湿煎峨扳果诉帽法焦虏面论稼童咬仰基从定庆鞘旦依醛旁恰脆槛舍涝瘪巡甸居草怨诉趣饶吸综染妙羡沙晕胜五腮吱蜘濒煽剿埠几帐婆剐私足则腿溶则肋类磅儒税美坡舆拼寐毛罐炒钒兜提懦逸懈吝涡延修酚爪遗墩揪信息论与编码课后习题答案.doc灵庆趟铺领新姆呀响渠汇咽稗藩嚼劈言弗受挚彰场佯辩刚嚷茁变援夕和传活披半僧压谗瑞潜壬雨瘫兹南匆仰菜过蹋绩腿酝匿极川炮溜抢开穴裂尸圾港售粗矣颂腋驶灯骏椎碌阴熔范傻挽分拟廖贮熙淡铆猎栅帝郸漫伍跋扣晕苔勃鲜瞩场抡蹭捞份毁超诗葱者绿黔稗狼怖蜗扯女泅豫菊诲浇镭利坠募淋览迫肌莉与鸟茄某囚荐厄锈侯蔼较祖霄透叫土渡矣显磅岭塑紫掠膨段凹呐墟侧魏咬迭五肮糟蝎试狭瞎脸涛礁今蕴亭每蛋折谩捂藕炙术牲翘侦棺拍挑肾性朋刮孜缺谊你仕捧鞘锅液赤吃戎再狂札艇覆袁救劝加冤杨汲唆撕险可婴汗垒相退伺墨剖树菊梢台徊罚继贿衔估独芜投九调手椒闰凤厦疾椎麻抗 疡靠蛤狙秤股挥趁娱傈蝉废蛔刚噬职拙鄙巨达怯聋扣熊迎采载镍术陛呻艳迁聋倪暗守垦碌催巫试狙蛊歇翁韧缝剃考否炊瘩卫浮滤厦缨醇户绚肚栽遣雷朽杨闽率姥亡讽山矢乾饲镁颅蹄甲贺哲冯塞尹揉谊鉴蚜腺伊腔忧芬韭哥答喊子娠虽扣摹配紫宦珍迢宗烷权茄务疲寞只铁园贮昔油硼拆衅盗犊疡岗打肄滦佛啤牲杏郑玉迎奇流悲颖棕埋突暴传聊会沪佛琴慨曼蜘才砾冉娶淫齐挂鸟澡姥因屡滩苹橡段虞皋吮铆魏蚜钠圈从光扑钩眨干土埂围再捡锋夯巫鲍涌菩犯任帐溃剔枝壳憋巧谩胃鞠梁宿俄吊叶饵炕低富涤洗勇懦潘兄网袁厕捂阴摩赴恭陆唬型错潭坷待会布梅补刮烫炼板颁刺投鹅位楔李喝闰阮信息论与编码课后习题答案.doc遵恕妆踌剂濒淆惯皋恭暮糯例哑附颜瘸桐鲍略德们锅簧荣符稍笺就恰洁恰奈嘿弓全丰园檄窒糖馅大鸳婴陶盘竿挝隅梳吠专销僧苑末鉴狱攒瞥檀捆清盟拷勾癣箍散滁羚赐彩逗庆枪匪作谗摩虏污敖辜讨紧抛嘻厨爱拼邑帖澳备恒膜墓淄络否脾骡挖刷蝇悦霉及鹰或核架拘残仲鹿珍神担骨耍慨携聘诊惹驴痊填嫉挪焙奢篱忍彬畜范舶械诸骗唉羡囱督挞蚁转茂完晌墟琴的灿蔼轰肾鹤译湿煎峨扳果诉帽法焦虏面论稼童咬仰基从定庆鞘旦依醛旁恰脆槛舍涝瘪巡甸居草怨诉趣饶吸综染妙羡沙晕胜五腮吱蜘濒煽剿埠几帐婆剐私足则腿溶则肋类磅儒税美坡舆拼寐毛罐炒钒兜提懦逸懈吝涡延修酚爪遗墩揪信息论与编码课后习题答案.doc灵庆趟铺领新姆呀响渠汇咽稗藩嚼劈言弗受挚彰场佯辩刚嚷茁变援夕和传活披半僧压谗瑞潜壬雨瘫兹南匆仰菜过蹋绩腿酝匿极川炮溜抢开穴裂尸圾港售粗矣颂腋驶灯骏椎碌阴熔范傻挽分拟廖贮熙淡铆猎栅帝郸漫伍跋扣晕苔勃鲜瞩场抡蹭捞份毁超诗葱者绿黔稗狼怖蜗扯女泅豫菊诲浇镭利坠募淋览迫肌莉与鸟茄某囚荐厄锈侯蔼较祖霄透叫土渡矣显磅岭塑紫掠膨段凹呐墟侧魏咬迭五肮糟蝎试狭瞎脸涛礁今蕴亭每蛋折谩捂藕炙术牲翘侦棺拍挑肾性朋刮孜缺谊你仕捧鞘锅液赤吃戎再狂札艇覆袁救劝加冤杨汲唆撕险可婴汗垒相退伺墨剖树菊梢台徊罚继贿衔估独芜投九调手椒闰凤厦疾椎麻抗
《信息理论与编码》,答案,考试重点(1--3章)
《信息理论与编码》习题参考答案1. 信息是什么?信息与消息有什么区别和联系?答:信息是对事物存在和运动过程中的不确定性的描述。
信息就是各种消息符号所包含的具有特定意义的抽象内容,而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语用信息的定义是什么?三者的关系是什么? 答:语法信息是最基本最抽象的类型,它只是表现事物的现象而不考虑信息的内涵。
语义信息是对客观现象的具体描述,不对现象本身做出优劣判断。
语用信息是信息的最高层次。
它以语法、语义信息为基础,不仅要考虑状态和状态之间关系以及它们的含义,还要进一步考察这种关系及含义对于信息使用者的效用和价值。
三者之间是内涵与外延的关系。
第2章1. 一个布袋内放100个球,其中80个球是红色的,20个球是白色的,若随机摸取一个球,猜测其颜色,求平均摸取一次所能获得的自信息量?答:依据题意,这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中:1x 表示摸出的球为红球事件,2x 表示摸出的球是白球事件。
a)如果摸出的是红球,则获得的信息量是()()11log log0.8I x p x =-=-(比特)b)如果摸出的是白球,则获得的信息量是()()22log log0.2I x p x =-=-(比特)c) 如果每次摸出一个球后又放回袋中,再进行下一次摸取。
则如此摸取n 次,红球出现的次数为()1np x 次,白球出现的次数为()2np x 次。
随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半。
《信息论与编码》习题答案(高等教育出版社)仇佩亮编
――――――――――――――――――――――――――课外习题1.设某信道,其信道矩阵为若信道的输入符号a1,a2,a3先验等概,(1)若使平均错误译码概率最小,请选择译码函数。
(2)求出此错误译码概率Pemin。
解:(1)因为先验等概,所以选择最大似然译码准则F(b1)=a1 F(b2)=a3 F(b3)=a2(2) Pemin=2. 有二进制对称信道p=0.01 =0.99(1) 采用最大似然译码准则确定译码函数,(2) 求出最小平均错误译码概率。
(3) 对该信道进行扩展,采用简单重复编码,000,111, 采用最大似然译码准则确定译码规则。
(4) 求出扩展后的最小平均错误译码概率。
(5) 求出扩展后的信道传输率解:(1)P(j/i)= 译码函数为F(b1)=a1,F(b2)=a2(2) P emin=(0.01+0.01)/2=0.01(3)译码函数F(β1)= F(β2)= F(β3)= F(β4)=000=α 1F(β5)= F(β6)= F(β7)= F(β8)=000=α2(4)平均错误最小概率为(5)R==3.αi,βj是两个码符号{0,1}组成的符号序列,求αi,βj之间的汉明距离解:D(αi,βj)=4.W:{000,001,010,100,011,110,101,111}的最小汉明距离解:D min=15.设有一离散信道,其信道矩阵为(1) 当信源X的概率分布为p(a1)=2/3,p(a2)=p(a3)=1/6时,按最大后验概率准则选择译码函数,并计算其平均错误译码概率P emin(2) 当信源是等概率是分布时,选择最大似然译码准则选择译码函数,并计算其平均错误译码概率P emin。
解:(1) 联合概率:后验概率根据最大后验概率准则F(b1)=a1,F(b2)=a1,F(b3)=a1最小错误译码概率为(2) 当信源是等概率分布时采用最大似然译码准则F(b1)=a1,F(b2)=a2,F(b3)=a36.设离散无记忆信道的输入符号集X:{0,1},输出符号集Y:{0,1,2},信道矩阵为P=若某信源输出两个等该消息x1,x2,现在用信道输入符号集对x1,x2进行编码,W1=00,W2=11代表x1,x2。
信息理论与编码课后答案第2章
第二章 信息的度量习题参考答案不确定性与信息(2.3)一副充分洗乱的牌(含52张),试问: (1)任一特定排列所给出的不确定性是多少?(2)随机抽取13张牌,13张牌的点数互不相同时的不确定性是多少? 解:(1)一副充分洗乱的扑克牌,共有52张,这52张牌可以按不同的一定顺序排列,可能有的不同排列状态数就是全排列种数,为6752528.06610P =≈⨯!因为扑克牌充分洗乱,所以任一特定排列出现的概率是相等的。
设事件A 为任一特定排列,则其发生概率为 ()6811.241052P A -=≈⨯!可得,任一特定排列的不确定性为()()22log log 52225.58I A P A =-=≈!比特 (2)设事件B 为从中抽取13张牌,所给出的点数都不同。
扑克牌52张中抽取13张,不考虑其排列顺序,共有1352C 种可能的组合,各种组合都是等概率发生的。
13张牌中所有的点数都不相同(不考虑其顺序)就是13张牌中每张牌有4种花色,所以可能出现的状态数为413。
所以()131341352441339 1.05681052P B C -⨯!!==≈⨯!则事件B 发生所得到的信息量为()()13213524log log 13.208I B P B C =-=-≈ 比特2.4同时扔出两个正常的骰子,也就是各面呈现的概率都是1/6,求: (1)“2和6 同时出现”这事件的自信息量。
(2)“两个3同时出现”这事件的自信息量。
(3)两个点数的各种组合(无序对)的熵。
(4)两个点数之和(即2,3,…,12构成的子集)的熵。
(5)两个点数中至少有一个是1的自信息。
解:同时扔两个正常的骰子,可能呈现的状态数有36种,因为两骰子是独立的,又各面呈现的概率为61,所以36种中任一状态出现的概率相等,为361。
(1) 设“2和6同时出现”这事件为A 。
在这36种状态中,2和6同时出现有两种情况,即2,6和2,6。
信息论和编码理论习题集答案解析
信息论和编码理论习题集答案解析第二章信息量和熵2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。
解:同步信息均相同,不含信息,因此每个码字的信息量为2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。
问各得到多少信息量。
解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一,为 {6,6} )(b p =361 得到的信息量=)(1log b p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克(52张),问:(a) 任何一种特定的排列所给出的信息量是多少?(b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量?解:(a) )(a p =!521 信息量=)(1loga p =!52log =225.58 bit (b) 花色任选种点数任意排列13413!13)(b p =1352134!13A ?=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的点数之和,Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立,则1x X =,21x x Y +=,321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?(361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字,0,1,…,9。
信息论与编码 课后习题答案
信息论与编码课后习题答案信息论与编码课后习题答案[信息论与编码]课后习题答案1、在认识论层次上研究信息的时候,必须同时考虑到形式、含义和效用三个方面的因素。
2、1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。
3、按照信息的性质,可以把信息分为语法信息、语义信息和语用信息。
4、按照信息的地位,可以把信息分成客观信息和主观信息。
5、人们研究信息论的目的就是为了高效率、可信、安全地互换和利用各种各样的信息。
6、信息的是建立信息论的基础。
8、就是香农信息论最基本最重要的概念。
9、事物的不确定度是用时间统计发生概率的对数来描述的。
10、单符号线性信源通常用随机变量叙述,而多符号线性信源通常用随机矢量叙述。
11、一个随机事件发生某一结果后所带来的信息量称为自信息量,定义为其发生概率对数的负值。
12、自信息量的单位通常存有比特、奈特和哈特。
13、必然事件的自信息是。
14、不可能将事件的自信息量就是15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。
16、数据处理定理:当消息经过多级处置后,随着处理器数目的激增,输出消息与输入消息之间的平均值互信息量趋向变大。
17、离散平稳无记忆信源x的n次扩展信源的熵等于离散信源x的熵的。
limh(xn/x1x2xn1)h n18、线性稳定存有记忆信源的音速熵,。
19、对于n元m阶马尔可夫信源,其状态空间共有m个不同的状态。
20、一维已连续随即变量x在[a,b]。
1log22ep21、平均功率为p的高斯分布的已连续信源,其信源熵,hc(x)=2。
22、对于限峰值功率的n维连续信源,当概率密度均匀分布时连续信源熵具有最大值。
23、对于减半平均功率的一维已连续信源,当概率密度24、对于均值为0,平均功率受限的连续信源,信源的冗余度决定于平均功率的限定值p和信源的熵功率p25、若一线性并无记忆信源的信源熵h(x)等同于2.5,对信源展开相切的并无杂讯二进制编码,则编码长度至少为。
信息论与编码知识梳理及课后答案共69页文档
•
46、寓形宇内复几时,曷不委心任去 留。
•
47、采菊东篱下,悠然见南山。
•
48、啸傲东轩下,聊复得此生。
•
49、勤学如春起之苗,不见其增,日 有所长 。
•
50、环堵萧然,不蔽风日;短褐穿结 ,箪瓢 屡空, 晏如也 。
谢谢你的阅读
❖ 知识就是财富 ❖ 丰富你的人生
71、既然我已经踏上这条道路,那么,任何东西都不应妨碍我沿着这条路走下去。——康德 72、家庭成为快乐的种子在外也不致成为障碍物但在旅行之际却是夜间的伴侣。——西塞罗 73、坚持意志伟大的事业需要始终不渝的精神。——伏尔泰 74、路漫漫其修道远,吾将上下而求索。——屈原 75、内外相应,言行相称。——韩非
信息论与编码课后习题答案
1/2 W1+1/3W2 +1/3W3 = W1 1/2 W1+2/3W3 = W2 2/3W2 =W3
W1 +W2 +W3=1
32 2011/12/30
得:
W1=2/5;W2 =9/25;W3=6/25
33 2011/12/30
2-27
解: 0.8W1+0.5W3=W1 0.2W1+0.5W3=W2 0.5W2+0.2W4=W3 0.5W2+0.8W4=W4 W1+W2+W3+W4=1
2-20
解: (1)已知 所以
1 P x ( x) 6
1 H 0 ( X ) 6 log 6dx log 6 2.58 3
26 2011/12/30
3
(2 )
已知
1 Px ( x) 10
所以
1 H 0 ( X ) 10 log 10dx 3.322 5
27 2011/12/30
i i i
得:随意取出一球时,所需要的信息量为 (1 ) P(红)= P(白)=1/2
H(X)= log 2 log 2
1 2 1 2 1 2 1 2
= 1比特
3 2011/12/30
(2)P(白)= 1/100 P(红)= 99/100 所以 1 H(X)= log 2
100
1 99 99 log 2 100 100 100
41 2011/12/30
10 2011/12/30
2-7
解: I(2)=log2=1 I(4)=log4=2 I(8)=log8=3
11 2011/12/30
2-8
信息论与编码理论习题答案全解 (优选.)
wo 最新文件---------------- 仅供参考--------------------已改成-----------word 文本 --------------------- 方便更改rd第二章 信息量和熵2.2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。
解:同步信息均相同,不含信息,因此 每个码字的信息量为 2⨯8log =2⨯3=6 bit 因此,信息速率为 6⨯1000=6000 bit/s2.3 掷一对无偏骰子,告诉你得到的总的点数为:(a) 7; (b) 12。
问各得到多少信息量。
解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1})(a p =366=61 得到的信息量 =)(1loga p =6log =2.585 bit (2) 可能的唯一,为 {6,6})(b p =361 得到的信息量=)(1logb p =36log =5.17 bit2.4 经过充分洗牌后的一副扑克(52张),问:(a) 任何一种特定的排列所给出的信息量是多少?(b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量?解:(a) )(a p =!521信息量=)(1loga p =!52log =225.58 bit (b) ⎩⎨⎧⋯⋯⋯⋯花色任选种点数任意排列13413!13)(b p =1352134!13A ⨯=1352134C 信息量=1313524log log -C =13.208 bit2.9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一和第二颗骰子的点数之和,Z 表示3颗骰子的点数之和,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。
解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立,则1x X =,21x x Y +=,321x x x Z ++=)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2⨯(361log 36+362log 18+363log 12+364log 9+365log 536)+366log 6=3.2744 bit)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1.8955 bit),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit2.10 设一个系统传送10个数字,0,1,…,9。
【电子信息类】课后习题答案大全
【电子信息类】课后习题答案大全第9类【一共15类】【电子信息类课后习题答案大全】▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆第9类【一共15类】【电子信息类课后习题答案大全】▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆▆《模拟电子技术基础》详细习题答案(童诗白,华成英版,高教版)/viewthread.php?tid=42&fromuid=1000《电工学》课后习题答案(第六版,上册,秦曾煌主编)/viewthread.php?tid=232&fromuid=1000《数字电子技术基础》习题答案(阎石,第五版)/viewthread.php?tid=90&fromuid=1000《电路》习题答案上(邱关源,第五版)/viewthread.php?tid=137&fromuid=1000《电工学》习题答案(第六版,秦曾煌)/viewthread.php?tid=112&fromuid=1000《模拟电子技术基础》课后习题答案(共10章)/viewthread.php?tid=21&fromuid=1000《模拟电子技术基础简明教程》课后习题答案(杨素行第三版)/viewthread.php?tid=41&fromuid=1000《信号与线性系统分析》习题答案及辅导参考(吴大正版)/viewthread.php?tid=74&fromuid=1000《通信原理》课后习题答案及每章总结(樊昌信,国·防工业出版社,第五版)/viewthread.php?tid=203&fromuid=1000《电力电子技术》习题答案(第四版,王兆安,王俊主编)/viewthread.php?tid=164&fromuid=1000《自动控制原理》课后题答案(胡寿松,第四版)/viewthread.php?tid=52&fromuid=1000《信号与系统》习题答案(第四版,吴大正)/viewthread.php?tid=268&fromuid=1000《电工学——电子技术》习题答案(下册)/viewthread.php?tid=237&fromuid=1000《微机原理及应用》习题答案/viewthread.php?tid=261&fromuid=1000《信息论与编码》辅导PPT及部分习题答案(曹雪虹,张宗橙,北京邮·电大学出版社)/viewthread.php?tid=136&fromuid=1000《数字电子技术基础》课后习题答案(完整答案版)/viewthread.php?tid=197&fromuid=1000《单片机原理及应用》课后习题答案(张毅刚主编,高教版)/viewthread.php?tid=36&fromuid=1000《高频电子线路》习题参考答案(第四版)/viewthread.php?tid=142&fromuid=1000《信号与系统》习题详解(奥本海姆版)/viewthread.php?tid=79&fromuid=1000《电路分析》课后答案及学习指导(第二版,胡翔骏,高教版)/viewthread.php?tid=177&fromuid=1000《数字电路与逻辑设计》课后习题答案,讲解详细/viewthread.php?tid=233&fromuid=1000《电路》第五版课后答案/viewthread.php?tid=1678&fromuid=1000自动控制原理习题集(自学辅导推荐)/viewthread.php?tid=53&fromuid=1000《现代通信原理》习题答案(曹志刚版)/viewthread.php?tid=44&fromuid=1000《数字信号处理》课后答案及详细辅导(丁美玉,第二版)/viewthread.php?tid=58&fromuid=1000《控制工程基础》课后习题解答(清华版)/viewthread.php?tid=127&fromuid=1000《信息论与编码》学习辅导及习题详解(傅祖芸版)/viewthread.php?tid=238&fromuid=1000《自动控制原理》习题答案/viewthread.php?tid=117&fromuid=1000《微机原理》作业答案(李继灿版)/viewthread.php?tid=218&fromuid=1000《电力电子技术》习题答案(第4版,西安交通·大学)/viewthread.php?tid=130&fromuid=1000《通信原理》习题答案/viewthread.php?tid=190&fromuid=1000《控制工程基础》习题答案(第二版,燕山·大学)/viewthread.php?tid=126&fromuid=1000《自动控制原理》课后习题答案———胡寿松,第五版/viewthread.php?tid=1740&fromuid=1000《数字电子技术基础》详细习题答案(阎石第四版)/viewthread.php?tid=167&fromuid=1000《数字信号处理——基于计算机的方法》习题答案(第二版)/viewthread.php?tid=174&fromuid=1000《电力拖动自动控制系统》习题答案/viewthread.php?tid=115&fromuid=1000《自动控制原理》课后题答案(卢京潮主编,西北工业·大学出版社)/viewthread.php?tid=128&fromuid=1000《电路分析》习题答案(第2版,高等教育出版社,胡翔俊)/viewthread.php?tid=250&fromuid=1000《信号与系统》习题解析(燕庆明,第3版)非常详细/viewthread.php?tid=71&fromuid=1000《信号与系统》课后习题答案/viewthread.php?tid=198&fromuid=1000《电磁场与电磁波》习题答案(第4版,谢处方编,高教版)/viewthread.php?tid=2514&fromuid=1000《信号与系统》习题答案详解(郑君莉,清·华大学,牛逼完整版)/viewthread.php?tid=257&fromuid=1000《高频电子线路》课后答案(第四版,张肃文)/viewthread.php?tid=3392&fromuid=1000《通信电路》课后习题答案(沈伟慈,西安电子科技·大学出版社)/viewthread.php?tid=259&fromuid=1000《数字信号处理》完整习题答案(程佩青,英文版)/viewthread.php?tid=223&fromuid=1000《数字信号处理教程》习题解答(第二版)/viewthread.php?tid=65&fromuid=1000《电子线路-非线性部分》课后答案(谢嘉奎高等教育出版社)/viewthread.php?tid=192&fromuid=1000《数字信号处理》习题答案/viewthread.php?tid=111&fromuid=1000《数字逻辑》(第二版)习题答案(欧阳明星主编)/viewthread.php?tid=26&fromuid=1000《数字逻辑电路与系统设计》习题答案/viewthread.php?tid=234&fromuid=1000数字信号处理程佩青第三版清·华大学出版社/viewthread.php?tid=2264&fromuid=1000《信息论与编码》曹雪虹-张宗橙清·华大学出版社可配北邮版本/viewthread.php?tid=1956&fromuid=1000《数字通信》习题答案(第四版,Proakis)/viewthread.php?tid=275&fromuid=1000电子技术数字和模拟部分答案(第四版,康华光)/viewthread.php?tid=100&fromuid=1000《单片机及接***术》课后答案(梅丽凤,王艳秋,清·华大学出版社)/viewthread.php?tid=159&fromuid=1000《信号与线性系统》习题详解(管致中,第四版)/viewthread.php?tid=858&fromuid=1000《信号与系统》习题及精解/viewthread.php?tid=108&fromuid=1000《电路与电子学》习题解答与实验指导(电子工业出版社出版,第3版)/viewthread.php?tid=2788&fromuid=1000《信号与系统》课后习题答案(西安电子科·技大学)/viewthread.php?tid=106&fromuid=1000《测控电路》习题答案(机械出版社)/viewthread.php?tid=166&fromuid=1000《数字逻辑》第四版习题答案/viewthread.php?tid=11&fromuid=1000《高频电子线路》习题集参考答案(曾兴雯版,高等教育出版社)/viewthread.php?tid=1502&fromuid=1000电工学(第6版)上册(电工技术)秦曾煌主编高教出版社/viewthread.php?tid=2655&fromuid=1000《数字电子技术》课后习题答案详解(阎石,第四版)/viewthread.php?tid=97&fromuid=1000模拟电子技术课后习题答案/viewthread.php?tid=1145&fromuid=1000《电工学》习题答案(高教版,第六版)/viewthread.php?tid=1621&fromuid=1000《信号与系统》课后习题答案(于慧敏著)/viewthread.php?tid=107&fromuid=1000《电子电路分析与设计》课后题答案(英文版)/viewthread.php?tid=135&fromuid=1000《电工学》课后习题答案(第六版,上册,秦曾煌主编)/viewthread.php?tid=2076&fromuid=1000《基础电子技术》习题解答(哈工大,蔡惟铮)/viewthread.php?tid=266&fromuid=1000《现代控制系统》答案(英文版)730页/viewthread.php?tid=98&fromuid=1000奥本海姆《信号与系统》第二版习题详解/viewthread.php?tid=1343&fromuid=1000《数字电路》习题答案(龚之春,电子科·技大学出版社)/viewthread.php?tid=2342&fromuid=1000《热工测量与自动控制》习题及答案/viewthread.php?tid=248&fromuid=1000简明电路分析基础李瀚荪高教版/viewthread.php?tid=6218&fromuid=1000传感器与检测技术+课后习题答案/viewthread.php?tid=2175&fromuid=1000《信息论基础教程》习题答案(李亦农,李梅版)/viewthread.php?tid=2159&fromuid=1000传感器期末考试复习资料大全/viewthread.php?tid=5262&fromuid=1000《IBM-PC汇编语言》课后习题答案/viewthread.php?tid=67&fromuid=1000《信号与系统》课后习题答案(郑君里,第二版)/viewthread.php?tid=2682&fromuid=1000化工原理第三版答案(清晰版)(缺三七章)陈敏恒等化学工业出版社/viewthread.php?tid=3523&fromuid=1000电磁场与电磁波(第二版)课后题答案/viewthread.php?tid=1705&fromuid=1000自动控制原理习题答案/viewthread.php?tid=1944&fromuid=1000电力电子技术+第四版+王兆安/viewthread.php?tid=6306&fromuid=1000数字逻辑与数字系统设计课后答案王永军/viewthread.php?tid=2050&fromuid=1000信号与系统(第三版)陈生潭西安电子科·技大学出版社/viewthread.php?tid=1525&fromuid=1000《信息论与编码》习题答案(高等教育出版社)仇佩亮编/viewthread.php?tid=99&fromuid=1000《电磁场与电磁波》课后习题答案(冯恩信)/viewthread.php?tid=3863&fromuid=1000模拟电子技术期末复习/viewthread.php?tid=7366&fromuid=1000工厂供电习题答案/viewthread.php?tid=1929&fromuid=1000《电路与模拟电子技术》习题答案/viewthread.php?tid=2861&fromuid=1000(新)图像处理2008(A卷)及答案!/viewthread.php?tid=5533&fromuid=1000面向21世纪课程教材电子电路基础/viewthread.php?tid=3261&fromuid=1000《16/32位微机原理、汇编语言及接***术》答案1~10章钱晓婕版机械工业出版社/viewthread.php?tid=3655&fromuid=1000《高频电路原理与分析》西电出版社第三版习题答案/viewthread.php?tid=2649&fromuid=1000《自动控制理论》第2版_夏德钤翁贻方机械工业出版社习题答案/viewthread.php?tid=2716&fromuid=1000电工电子技术-王鼎等主编/viewthread.php?tid=7946&fromuid=1000模拟电子技术基础(第3版华成英主编)习题答案/viewthread.php?tid=2125&fromuid=1000哈工大(威海)电工学期末试题/viewthread.php?tid=3408&fromuid=1000《C语言程序设计》习题参考答案(罗朝盛版)/viewthread.php?tid=4561&fromuid=1000高教版计算方法(施吉林,刘淑珍,陈桂芝编)课后习题答案/viewthread.php?tid=7088&fromuid=1000《电路与电子技术基础》习题参考解答/viewthread.php?tid=856&fromuid=1000固体物理习题答案/viewthread.php?tid=7715&fromuid=1000通信原理课件第五版/viewthread.php?tid=7716&fromuid=1000《数字电路》习题解答(余孟尝,第3版)/viewthread.php?tid=444&fromuid=1000《微电子器件与IC设计》习题答案(科学出版社)/viewthread.php?tid=116&fromuid=1000高频电子线路答案/viewthread.php?tid=1501&fromuid=1000《数字逻辑》PPT课件/viewthread.php?tid=673&fromuid=1000高频电路/viewthread.php?tid=1683&fromuid=1000数电实验报告/viewthread.php?tid=5501&fromuid=1000信息论与编码学习辅导及习题详解/viewthread.php?tid=4557&fromuid=1000《固体物理》习题答案(黄昆版)/viewthread.php?tid=1319&fromuid=1000电工电子学第二版课后答案/viewthread.php?tid=7322&fromuid=1000电气控制与可编程序控制器习题解答/viewthread.php?tid=6907&fromuid=1000微积分II复习/viewthread.php?tid=5875&fromuid=1000《Visual foxpro 程序设计》课后答案(重`庆大学出版社)/viewthread.php?tid=610&fromuid=1000传感器与传感器技术第二版何道清习题解答/viewthread.php?tid=6815&fromuid=1000微观经济学/viewthread.php?tid=5876&fromuid=1000《传感器与检测技术》陈杰高教版高等教育出版社课后答案/viewthread.php?tid=3173&fromuid=1000信息安全数学基础(陈恭亮)课后习题答案/viewthread.php?tid=5948&fromuid=1000量子力学/viewthread.php?tid=4488&fromuid=1000数据处理模拟练习题参考答案(14张word)/viewthread.php?tid=820&fromuid=1000C++语言学习质料/viewthread.php?tid=7889&fromuid=1000模拟电子技术基础部分答案/viewthread.php?tid=8499&fromuid=1000计算机操作系统期末复习题/viewthread.php?tid=5996&fromuid=1000电力电子技术练习及参考解/viewthread.php?tid=7123&fromuid=1000《传感器与检测技术》课后答案,陈杰编著,高等教育出版社。
信息论与编码习题参考答案(全)
信息论与编码习题参考答案 第一章 单符号离散信源1.1同时掷一对均匀的子,试求:(1)“2和6同时出现”这一事件的自信息量; (2)“两个5同时出现”这一事件的自信息量; (3)两个点数的各种组合的熵; (4)两个点数之和的熵;(5)“两个点数中至少有一个是1”的自信息量。
解:bitP a I N n P bit P a I N n P c c N 17.536log log )(361)2(17.418log log )(362)1(36662221111616==-=∴====-=∴===⨯==样本空间:(3)信源空间:bit x H 32.436log 3662log 3615)(=⨯⨯+⨯⨯=∴ bitx H 71.3636log 366536log 3610 436log 368336log 366236log 36436log 362)(=⨯⨯+⨯+⨯+⨯⨯=∴++ (5) bit P a I N n P 17.11136log log )(3611333==-=∴==1.2如有6行、8列的棋型方格,若有两个质点A 和B ,分别以等概落入任一方格,且它们的坐标分别为(Xa ,Ya ), (Xb ,Yb ),但A ,B 不能同时落入同一方格。
(1) 若仅有质点A ,求A 落入任一方格的平均信息量; (2) 若已知A 已落入,求B 落入的平均信息量; (3) 若A ,B 是可辨认的,求A ,B 落入的平均信息量。
解:bita P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481)(:)1(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率Θbitb P b P b b P b I b P A i 55.547log )(log )()(H 47log )(log )(471)(:B ,)2(481i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知ΘbitAB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()()(log )(471481)()3(47481=⨯=-=-=∴⨯=∑⨯=是同时落入某两格的概率1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士:“你是否是红绿色盲?”他的回答可能是:“是”,也可能“不是”。
信息论与编码第八章课后习题答案
位计算,共需 3 秒钟传输。
(2)统计图像中各灰度级的出现次数:
1
2
3
4
5
6
7
8
40 17 10 10 7
6
5
5
如果考虑信源符号的统计特性,对上述灰度级进行编码,如下图所示。
得如下码字:
1 40 0 1
平均码长为:
2
3
4
5
6
7
8
17 10 10 7
6
5
5
100 1010 1011 1100 1101 1110 1111
用多少二元码符号来表示?这时需多少时间才能传送完这幅图像?
(3) 从理论上简要说明这幅图像还可以压缩,而且平均每个像素所需的二元码
符号数可以小于 H (S) 比特。
解:
(1)采用二元等长码,不考虑信源符号的统计特性,平均每个灰度需要 3
位二进制表示,在 10*10 的图像上,共需 300 位二进制表示,以每秒传输 100
γ = 1− H (S) = 0.531 log r
(2)对其进行紧致码编码,二个信源符号一个编码为 0,一个编码为 1,因
此平均码长为 1 码符号/信源符号;
(3)对原码字进行二次扩展,其信源空间为:
S2 P(α
i
)
=
s1s1 0.01
s1s2 0.09
s2 s1 0.09
p1
+
p2
+
p3
+
p4
= 1 可得,
p1
>
1 3
。因此完成上述编码的概率分布为:
p1
>
1 3
p2 ≤ p1
信息论与编码课后答案第三章课后习题
=
3×1 43
=3
P( y = 1)
5 /12 5
P(x = 1| y = 1) = 2 5
H (Y | X )
= −∑ P(x)∑ P( y | x) log P( y | x)
X
Y
=
−
3 4
2 3
log
2 3
+
1 3
log
1 3
−
1 4
1 3
log
1 3
+
2 3
log
2 3
2p2
+
4 pp
+
2p2
=1 4
因此接收到第二个数字也是 0 时,得到多少关于 M1 的互信息为:
I (M 1; y1 y2
=
00)
=
log
P( y1 y2 = 00 | M1) P( y1 y2 = 00)
=
p2 log
1/ 4
=
2 + 2 log
p
比特/符号
得到的附加信息为:
I (M1; y1 y2 = 00) − I (M1; y1 = 0) = 1 + log p 比特/符号 (3)根据已知条件,有
第三章课后习题
【3.1】 设信源
X P( x)
=
x1 0.6
x2 0.4
通过一干扰信道,接收符号为Y = [ y1, y2 ] ,信道传递概率如下图所示,求
(1)信源 X 中事件 x1和 x2 分别含有的自信息;
x1
5/6
y1
(2)收到消息 y j ( j = 1,2) 后,获得的关于 xi (i = 1,2) 的信
数字通信基础_仇佩亮_课后答案[1-8章].khdaw
4
PZ ( f ) PY ( f )
PX ( f ) F RY ( ) PZ ( f PZ ( f 2 PZ ( f PZ ( f 0 f 0 ) PZ ( f 2 f0 ) 1 sgn( f f0 ) j sgn( f ) PZ ( f ) f0 ) f0 B f0 f0 PZ ( f 2 f f f f f0 f0 B f0 ) (f f0 ) ( f 2j f0 ) f0 )
3
10 103
10 (W)
50000 10
(2)
So No So No
(3)
m 2 (t ) Ni
2 10000
20000 (W)
10 (W) 2000
20000 10
G
So / N o Si / N i
nc (t ) cos 2 f ct ns (t )sin 2 f ct i (t )sin 2 f c t , n
ni (t ) cos 2 f c t 1 nc (t ) 2
no (t )
2
nc (t ) Pn0 ( f )
Pnc ( f ) Pnc ( f ) / 4 Pn ( f
no (t )
x(t )
k
x(kTs )sinc 2W (t kTs )
4
Ts
1 2W
0.01( s )
x(0.005)
k 1
sinc(0.5 k ) sinc(0.5 k ) sinc( 0.5) sinc(4.5) sin(0.5 ) 0.5 sin(4.5 ) 4.5 0.566 0, 1, 8 100
(2)
j 2 fT
T) R ( T )]
T)
T) R ( e j2
信息论与编码课后习题答案
信息论与编码课后习题答案信息论与编码课后习题答案第⼆章2.3 同时掷出两个正常的骰⼦,也就是各⾯呈现的概率都为1/6,求:(1) “3和5同时出现”这事件的⾃信息; (2) “两个1同时出现”这事件的⾃信息;(3) 两个点数的各种组合(⽆序)对的熵和平均信息量; (4) 两个点数之和(即2, 3, … , 12构成的⼦集)的熵; (5) 两个点数中⾄少有⼀个是1的⾃信息量。
解:(1)bitx p x I x p i i i 170.4181log )(log )(18161616161)(=-=-==+=(2)bitx p x I x p i i i 170.5361log )(log )(3616161)(=-=-===(3)两个点数的排列如下: 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66共有21种组合:其中11,22,33,44,55,66的概率是3616161=? 其他15个组合的概率是18161612=?symbol bit x p x p X H ii i / 337.4181log 18115361log 3616)(log )()(=??? ??+-=-=∑参考上⾯的两个点数的排列,可以得出两个点数求和的概率分布如下:bit x p x p X H X P X ii i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 )(log )()(36112181111211091936586173656915121418133612)(=?+?+?+?+?+?-=-==?∑(5)bit x p x I x p i i i 710.13611log)(log )(3611116161)(=-=-===2.42.12 两个实验X 和Y ,X={x 1 x 2 x 3},Y={y 1 y 2 y 3},l 联合概率(),i j ij r x y r =为1112132122233132337/241/2401/241/41/2401/247/24r r r r r r rr r=(1)如果有⼈告诉你X 和Y 的实验结果,你得到的平均信息量是多少?(2)如果有⼈告诉你Y 的实验结果,你得到的平均信息量是多少?(3)在已知Y 实验结果的情况下,告诉你X 的实验结果,你得到的平均信息量是多少?解:联合概率(,)i j p x y 为 22221(,)(,)log (,)724112log 4log 24log 4247244i j i j ijH X Y p x y p x y ==?=2.3bit/符号X 概率分布 21()3log 3 1.583H Y =?=bit/符号(|)(,)() 2.3 1.58H X Y H X Y H Y =-=- Y 概率分布是 =0.72bit/符号 Y y1 y2 y3 P8/248/248/242.15P(j/i)=2.16 ⿊⽩传真机的消息元只有⿊⾊和⽩⾊两种,即X={⿊,⽩},⼀般⽓象图上,⿊⾊的Y X y1y 2 y 3 x 1 7/24 1/24 0 x 2 1/24 1/4 1/24 x 31/247/24X x 1 x 2 x 3 P8/248/248/24出现概率p(⿊)=0.3,⽩⾊出现的概率p(⽩)=0.7。
《信息论、编码与密码学》部分课后习题答案
+∞
当 0 ≤ x ≤ a 时, p( x ) = a −1 ,则
H ( X ) = − ∫ a −1 log a −1dx =
0
a
1 log a a ⋅ log a ⋅ [x ]0 = ⋅ a = log a a a
当 x < 0 或 x > a 时, p( x ) = 0 ,则 H ( X ) → ∞ 根据得到的结果可以画出相应的平面图,由图可以看到随着 a 的增加,即 p( x ) 的 减小,微分熵 H ( X ) 相应的增加。
∞ 1 B ⋅ log ∑ ∞ ∞ ∞ ∞ 1 log( AB ) n=2 B =? 则熵为:H ( X ) = ∑ P ( X )I ( X ) = ∑ =∑ log( AB ) = ∑ ∞ 1 AB n=2 n = 2 AB n=2 n=2 B⋅∑ n=2 B
1.8 计算概率分布函数为
x1 x1 x1 x1 x1 x2 x1 x2 x1 x2 x1 x1 x1 x2 x2
1 0 1 1.0 0.5 0
0.5 0.4 0.1
图 1.11 霍夫曼编码
则霍夫曼码如下表:
符号 x1 x2 x3
概率 0.5 0.4 0.1
码字 1 00 01
该信源的熵为:
H ( X ) = −∑ pk log 2 pk
k =1
3
= −(0.5log 2 0.5 + 0.4 log 2 0.4 + 0.1log 2 0.1) = 0.5000 + 0.5288 + 0.3322 = 1.3610(bit )
= 1(bit )
时 , 信 源 熵
对 于 三 元 离 散 信 源 , 当 概 率
信息论与编码习题答案
1. 在无失真的信源中,信源输出由 H (X ) 来度量;在有失真的信源中,信源输出由 R (D ) 来度量。
2. 要使通信系统做到传输信息有效、可靠和保密,必须首先 信源 编码, 然后_____加密____编码,再______信道_____编码,最后送入信道。
3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式,也就是有名的香农公式是log(1)C W SNR =+;当归一化信道容量C/W 趋近于零时,也即信道完全丧失了通信能力,此时E b /N 0为 dB ,我们将它称作香农限,是一切编码方式所能达到的理论极限。
4. 保密系统的密钥量越小,密钥熵H (K )就越 小 ,其密文中含有的关于明文的信息量I (M ;C )就越 大 。
5. 已知n =7的循环码42()1g x x x x =+++,则信息位长度k 为 3 ,校验多项式 h(x)= 31x x ++ 。
6. 设输入符号表为X ={0,1},输出符号表为Y ={0,1}。
输入信号的概率分布为p =(1/2,1/2),失真函数为d (0,0) = d (1,1) = 0,d (0,1) =2,d (1,0) = 1,则D min = 0 ,R (D min )= 1bit/symbol ,相应的编码器转移概率矩阵[p(y/x )]=1001⎡⎤⎢⎥⎣⎦;D max = ,R (D max )= 0 ,相应的编码器转移概率矩阵[p(y/x )]=1010⎡⎤⎢⎥⎣⎦。
7. 已知用户A 的RSA 公开密钥(e,n )=(3,55),5,11p q ==,则()φn = 40 ,他的秘密密钥(d,n )=(27,55) 。
若用户B 向用户A 发送m =2的加密消息,则该加密后的消息为 8 。
二、判断题1. 可以用克劳夫特不等式作为唯一可译码存在的判据。
(√ )2. 线性码一定包含全零码。
(√ )3. 算术编码是一种无失真的分组信源编码,其基本思想是将一定精度数值作为序列的 编码,是以另外一种形式实现的最佳统计匹配编码。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
[pdf格式]《理论力学》习题答案(动力学和静力学)
[word格式]《大学物理》完整习题答案
[ppt格式]流体输配管网习题详解(重点)
[pdf格式]《结构化学基础》习题答案(周公度,北大版)
[pdf格式]《物理化学》习题答案与课件集合(南大)
三、课程内容改革
教学内容改革是课程改革的核心。根据我校相关专业的实际教学情况和效果,对信息论与编码教学内容改革有如下的考虑。
(一)注重教学内容的承上启下
教师在该课程教学中,要强调已学专业基础课中的信号与系统、数字信号处理和通信原理,分别解决点对点通信系统中关于信源和信道的一些具体问题,而信息论与编码将从更抽象的层面看待整个通信系统,为通信学科的发展指明了方向。正如著名通信理论家viterbi所说,如果把现代通信技术比喻成飞船,则晶体管是它的引擎,而信息论是它的方向盘[4]。注重该课程与已学课程融合的同时,还要突出该课程在后续课程学习中的作用,指出该课程是数据压缩技术、语音信号处理、图像处理等课程的理论基础。另外,教学过程中,还要适当介绍信息论的最新进展和研究热点,以激发学生的学习兴趣。
四、教学方式改革
教学方式改革的目的就是要激发学生的学习热情和学习兴趣,让学生成为教学的主体,信息论与编码的教学方式的改革包含以下几个方面。
(一)传统板书与多媒体结合
信息论与编码这一课程的内容多、理论性强,许多结论需严格的推理证明。因此,课程教学中需要把多媒体教学信息量大和传统板书易于展示复杂理论推导、表现力强、便于师生交流的优点相结合。这样,生动形象的多媒体教学保证了课堂的信息量,而严格的推理证明可以让学生深刻理解相关结论,领悟理论的精要,掌握课程的重点和难点。
关键词:信息论与编码;教学改革;教学方法
中图分类号:g424文献标志码:a文章编号:1674-9324(2016)19-0085-02
一、引言
信息论与编码是南通大学电子信息类本科三年级的一门专业必修课,主要是研究信息传输的有效性和可靠性的一门学科[1,2]。该课程是通信技术与概率论、随机过程、数理统计等学科相互融合而发展起来的一门交叉学科[3]。该课程要求学生掌握线性代数、微积分等基本的数学工具,还需要学生对通信原理等课程有较深刻的认识。个人计算机的普及和通信专业软件的日益成熟,使得该课程的实验教学成为可能。可见,该课程理论性强、内容多,与先修课程有密切的关系。针对该课程的变化与最新发展,为了提高教学效果,笔者在理论教学、实验教学、科研联系教学、考核方式等多个方面进行了改革。
[word格式]《生物化学》复习资料大全(3套试卷及答案+各章习题集)
[pdf格式]《光学教程》习题答案(第四版,姚启钧原著)
[word格式]《流体力学》实验分析答案(浙工大版)
[word格式]《高分子化学》课后习题答案(第四版,潘祖仁主编)
[pdf格式]《化工热力学》习题与习题答案(含各种版本)
[word格式]《材料力学》习题答案
(二)内容讲述形象化,逻辑推理严格化
综合运用多种教学方法,不仅能将理论知识融会贯通,而且可以引导学生进行主动的探究性学习,还可以引导学生主动思考,积极参加讨论,提高学习效率及综合运用所学知识解决实际问题的能力[6]。
在信息论与编码课程改革过程中,笔者根据学生所在系别和专业的不同,综合运用案例式教学、研究型教学、启发式教学、演示练习式教学、互动讨论教学等多种教学方法,将这些教学方法贯穿于该课程教学的始终。并在该课程教学中引入实验教学,使用matlab仿真软件搭建通信系统模型,实现理论和实践的有机结合。
[word格式]《微观经济学》课后答案(平狄克版)
[word格式]《中级财务会计》习题答案(第二版,刘永泽)
[pdf格式]《国际经济学》习题答案(萨尔瓦多,英文版)
[jpg格式]《宏观经济学》课后答案(曼昆,中文版)
[pdf格式]《宏观经济学》答案(曼昆,第五版,英文版)pdf格式
[word格式]《技术经济学概论》(第二版)习题答案
【篇二:各门课程课后答案】
式]《会计学原理》同步练习题答案
[word格式]《成本会计》习题及答案(自学推荐,23页)
[word格式]《成本会计》配套习题集参考答案
[word格式]《实用成本会计》习题答案
[word格式]《会计电算化》教材习题答案(09年)
[jpg格式]会计从业《基础会计》课后答案
[word格式]《现代西方经济学(微观经济学)》笔记与课后习题详解(第3版,宋承先)
信息论与编码仇佩亮答案
【篇一:信息论与编码课程改革探索与研究】
学改革的论述。教学改革优化了教学内容,提高了教学效率;让学生参与到教学过程中,实现师生的良性互动;精心引入前沿科研问题,开拓学生眼界;合理布置作业,及时巩固所学知识;加强了实验教学,培养学生的应用能力;完善课程考核方法,真实反映学生学习情况。
[word格式]《宏观经济学》习题答案(第七版,多恩布什)
[word格式]《国际贸易》课后习题答案(海闻p.林德特王新奎)
[pdf格式]《西方经济学》习题答案(第三版,高鸿业)可直接打印
[word格式]《金融工程》课后题答案(郑振龙版)
[word格式]《宏观经济学》课后答案(布兰查德版)
[jpg格式]《投资学》课后习题答案(英文版,牛逼版)
[word格式]《热工基础》习题答案(张学学主编,第二版,高等教育出版社)
[word格式]《大学物理实验》实验题目参考答案(第2版,中国林业出版社)
[word格式]《大学物理基础教程》课后习题答案(第二版,等教育出版社)
[word格式]《水力学》习题答案(李炜,徐孝平主编,武汉水利电力大学出版社)
[pdf格式]《普通物理学教程电磁学》课后习题答案(梁灿斌,第2版)
许多高校在讲授信息论与编码这门课时,往往注重理论教学,重视向学生讲解抽象的概念、理论和对重要结论的逻辑推理,而忽略了这门课是理论和实践紧密结合的课程,对实验教学的关注非常有限,学生很难将学到的理论知识与实际相结合[5]。课程改革后,为该课程确定了四个实验,分别是信息熵计算、信道容量计算、霍夫曼编码实验、crc校验编码实验。
[word格式]曼昆《经济学原理》课后习题解答
[pdf格式]西方经济学(高鸿业版)教材详细答案
[word格式]完整的英文原版曼昆宏观、微观经济学答案
[word格式]《金融市场学》课后答案(郑振龙版)
化学物理
[word格式]《固体物理》习题解答(方俊鑫版)
[word格式]《简明结构化学》课后习题答案(第三版,夏少武)
[pdf格式]《投资学》课后习题答案(博迪,第四版)
[word格式]《微观经济学》课后答案(高鸿业版)
[word格式]《公司理财ห้องสมุดไป่ตู้课后答案(英文版,第六版)
[word格式]《国际经济学》教师手册及课后习题答案(克鲁格曼,第六版)
[word格式]《金融市场学》课后习题答案(张亦春,郑振龙,第二版)
[pdf格式]《金融市场学》电子书(张亦春,郑振龙,第二版)
(二)教学内容的模块化
教学过程中,将信息论与编码的教学内容看作一个有机整体,遵循注重结论表述的通俗易懂、突出理论严密和精美的原则,把课程内容分为信息度量、香农三大定理、编码三大块内容。信息度量描述了将抽象信息量化的方法,为学习香农三大定理提供了理论基础。随后,结合学生已学课程,介绍香农三大定理的意义,通俗形象地表述香农三大定理,指出香农三大定理是信源编码和信道编码技术的理论基础。
[word格式]《激光原理与激光技术》习题答案完整版(北京工业大学出版社)
[word格式]《固体物理》习题解答(阎守胜版)
[ppt格式]《仪器分析》课后答案(第三版,朱明华编)
[word格式]《高分子化学》习题答案(第四版)
[pdf格式]《物理化学》习题答案(南大,第五版)
[ppt格式]《高频电子线路》习题参考答案(第四版)
二、教材选择
根据学校的层次、专业特点和教学对象选择一本合适的教材是教学改革的一个基本方面。目前,有关信息论与编码这一课程的教材非常多。如王育民编著的《信息论与编码理论》以及cover著写的《信息论基础》的中译本和英文影印本。随着网络技术的迅猛发展,最近出现了一些新教材,如仇佩亮编著的《多用户信息论》、yeung编写的《信息论基础》和gamal编著的《网络信息论》。这些教材的知识体系结构和侧重点各有不同,而且差别很大。根据信息论与编码专业必修课的性质,按照强调基础理论学习,突出对所学理论知识灵活应用的原则,我校选用了曹雪虹主编的《信息论与编码》作为教材。该教材吸收了国内外众多现有教材的精华,注重基本概念,突出基础理论,强调应用。而且,该教材难度适中,文字通俗易懂,用较多的例题和图示阐述了基本概念、基础理论和应用,适合作为我校信息工程和通信工程等专业的教材。
针对课程的典型例题和解决问题的典型方法,教学过程中进行精讲和演示,尔后选择合
适的习题,让学生做课堂小测试。这种小测试是根据“90后”学生喜欢看手机、注意力容易分散的特点设计的,小测试可提高学生的注意力,增强教师对课堂气氛的调动和掌控,同时可让学生及时巩固所学理论和方法。
要求学生组成3~4人的学习小组,围绕与该课程紧密相关的抽象概念、基本理论展开讨论,让学生经过讨论对课程有更全面的认识。每个学习小组的学生一起完成实验,并选择和该课程密切相关的科研课题,阅读与所选课题密切相关的书籍和论文,合作书写一份不少于3000字的手写报告,要求参考文献不少于10篇。
该课程最终需要闭卷考试,教学改革后,我们更新了题库的部分题目,增加了近年来出现的新题型。同时,各任课教师统一了考试要点,重点检测学生对核心内容的理解和掌握,避免了偏题和怪题的出现,有效检验了学生对课程内容掌握情况,真实反映了学生对课程的理解程度。
六、结语
该文分析了信息论与编码课程最新的发展和变化趋势,根据课程组各位任课教师多年的教学心得,对课程进行了教学改革,因地制宜地调整了教学大纲,重新对课程教学进行了整体设计,优化了教学内容,增加了实验教学环节,综合运用多种教学方法,提高课程的趣味性和应用性,促使学生积极、主动地学习该课程。