朱雪龙《应用信息论基础》习题答案全
信息论基础理论与应用考试题及答案
信息论基础理论与应用考试题一﹑填空题（每题2分，共20分）1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑XX 性和认证性，使信息传输系统达到最优化。
（考点：信息论的研究目的）2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成531010⨯个不同的画面。
按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。
（考点：信息量的概念与计算）3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。
（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。
若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。
（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。
（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。
（考点：纠错码的分类）7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。
（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =⎡⎤==-⎢⎥⎣⎦∑）。
（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。
（考点：线性分组码的纠检错能力概念）10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。
某一高层建筑的桩型选择
－
４ ．４ ３６
＿ ．４ 蚰 １
—
８ － ０－
５．０ ７５ 姐 ４ ｏ
—
５．４ １８ ５．４ ３ ７
＠ 砾砂： 密实．砾石中一般粒径小于２帅 中密一
一
ｊｊ ＿ 可， 部可 ，强高低 缩 ，韧 ＠ ： 土 塑局 硬塑干 度 ，压性 高性 粤 蔓 ： 软
施 工工 艺 ， 成桩 方便 ， 承载 力 有 保 证 。所 以 管桩 的 桩
６ ０ ｍ不等 ， ０ ｍ 壁厚一般为 ８ ￣１０ ０ ０ ｍｍ不等 ， 设计时 可根 据不 同承载 力 要 求 使 用 。管 桩 的优 点 是 桩 身 质
量及 成桩 质 量容 易保 证 ， 沉桩 比较 直 观 ， 因此 桩 身 质
承载 力 。它 的缺点 是 由于 采 用 现场 混 凝 土 的地 下 浇
１ ０ Ｎ， ２０ ０ｋ 考虑 到每个 柱下 的桩 数不能 太多 ， 单桩 承 载 力 ２００ ４００ｋ 比较 合适 。分 别考 虑 管 桩 和 ０ ￣ ０ Ｎ
钻 孔 灌 注 桩 两 种 方 案 ； 桩 采 用 直 径 ６ ０ ｍｍ， 管 ０ 以
３ ３ 桩 型选 择 比较 ．
预应力 管 桩是 现在 大量使 用 的一种 桩 型 ， 它采用 预 应力 钢筋 和 高 强 混 凝 土 （ ６ ￣ Ｃ ０ ， 行 工 厂 预 Ｃ ０ ８ ）进 制 ， 而节 约 了混 凝 土用 量 ， 桩 直 径 一 般 为 ５０ 从 管 ０ ～
从成 桩工 艺及 经济性 看 ， 钻孔灌 注桩 需要 现场钻 孔 后水 下灌 注混 凝 土 ， 桩 比较 麻 烦 ， 桩侧 摩 阻力 成 且 难 以保 证 ， 桩底有 沉 淤现象 ， 桩端 承载 力 明显 下 降 ； 而 预制桩 采用 桩身 工厂 化制作 ， 力压人 或打 入 的制桩 静
信息论基础智慧树知到课后章节答案2023年下潍坊学院
信息论基础智慧树知到课后章节答案2023年下潍坊学院潍坊学院第一章测试1.信息论的奠基人是（）。
A:香农 B:阿姆斯特朗 C:哈特利 D:奈奎斯特答案:香农2.下列不属于信息论的研究内容的是（）。
A:纠错编码 B:信息的产生 C:信道传输能力 D:信源、信道模型答案:信息的产生3.下列不属于消息的是（）A:文字 B:图像 C:信号 D:语音答案:信号4.信息就是消息. （）A:错 B:对答案:错5.信息是不可以度量的，是一个主观的认识。
（）A:错 B:对答案:错6.任何已经确定的事物都不含有信息。
（）A:对 B:错答案:对7.1948年香农的文章《通信的数学理论》奠定了香农信息理论的基础。
（）A:错 B:对答案:对8.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（），使信息传输系统达到最优化。
A:有效性 B:认证性 C:可靠性 D:保密性答案:有效性;认证性;可靠性;保密性9.下列属于香农信息论的主要研究理论的是（）。
A:压缩理论 B:调制理论 C:保密理论 D:传输理论答案:压缩理论;保密理论;传输理论10.信源编码的作用包含（）。
A:检错纠错 B:对信源的输出进行符号变换 C:数据压缩 D:提升信息传输的安全性答案:对信源的输出进行符号变换;数据压缩第二章测试1.信息传输系统模型中，用来提升信息传输的有效性的部分为（）A:信源 B:信道编码器、信道译码器 C:信道 D:信源编码器、信源译码器答案:信源编码器、信源译码器2.对于自信息，以下描述正确的是（）A:以2为底时，单位是奈特。
B:以2为底时，单位是比特。
C:以10为底时，单位是奈特。
D:以e为底时，单位是比特答案:以2为底时，单位是比特。
3.信息熵的单位是（）A:比特 B:比特每符号 C:无法确定答案:比特每符号4.必然事件和不可能事件的自信息量都是0 。
（）A:错 B:对答案:错5.概率大的事件自信息量大。
Coding and Information theory-chapter1
“A Mathematical Theory of Communication” (1948).
"I just wondered how things were put together."
2
Shannon joined AT&T Bell Telephones in New Jersey in 1941 as a research mathematician and remained at the Bell Laboratories until 1972. Johnson writes in [4] that Shannon:... became known for keeping to himself by day and riding his unicycle down the halls at night. D Slepian, a colleague at the Bell Laboratories wrote:Many of us brought our lunches to work and played mathematical blackboard games but Claude rarely came. He worked with his door closed, mostly. But if you went in, he would be very patient and help you along. He could grasp a problem in zero time. He really was quite a genius. He's the only person I know whom I'd apply that word to. Marvin Minsky described Shannon as follows:Whatever came up, he engaged it with joy, and he attacked it with some surprising resource which might be some new kind of technical concept or a hammer and saw with some scraps of wood. For him, the harder a problem might seem, the better the chance to find something new.
软件资格考试多媒体应用设计师(基础知识、应用技术)合卷(中级)试卷与参考答案(2025年)
2025年软件资格考试多媒体应用设计师(基础知识、应用技术)合卷(中级)模拟试卷(答案在后面)一、基础知识（客观选择题，75题，每题1分，共75分）1、下列关于信息图表的说法，不正确的是（）A. 信息图表强调简洁、清晰地传达信息B. 信息图表可以有效利用视觉元素增强信息解释度C. 信息图表仅仅是文字的加大版, 视觉元素不可或缺D. 信息图表应用广泛, 包括说明文档、网站、印刷品等2、在网页设计中，关于“视觉层次”的说法，下列哪个选项正确？A. 视觉层次是指网页上信息的排列顺序B. 视觉层次是指网页上元素的使用数量C. 视觉层次是指网页上元素在大小、颜色、位置等方面的区别和对比D. 视觉层次是指网页上使用的字体风格和类型3、下列哪一项不是多媒体技术的主要特征？1.集成性-多媒体信息可以同时处理文本、图像、声音和视频等多种形式的媒体信息。
2.多样性 - 多媒体包含了多种媒体形式，提供给用户更为丰富的体验。
3.交互性 - 用户可以与多媒体内容进行交互。
4.表现性 - 媒体内容可以通过彩色显示、3D效果等方式提升感受。
5.分布性 - 多媒体可以跨越网络分发。
4、在HTML5中，以下哪一个是音频标签？1.2.3.5、与魂斗罗类游戏不同，下列哪款游戏强调合作与策略，而不是纯粹的竞争？A. 使命召唤系列B. 魔兽世界6、在Web应用中，以下哪一项技术可以自动发现网络上的设备，并通过Web界面进行控制？A. SSHB. UPnP7.多媒体信息的基本元素在多媒体信息中，以下哪些属于基本元素？A. 图像B. 音频C. 视频D. 文本8.色彩在多媒体中的应用色彩在多媒体中的应用非常广泛，以下哪些说法是正确的？A. 色彩可以用来区分不同的媒体元素B. 色彩可以用来传递情感和氛围C. 色彩可以用来增强图像的清晰度D. 色彩可以完全替代声音和文字的作用9.数字、是指将信息转换为二进制数的过程。
在计算机中，所有的数据都是以二进制形式存储和处理的。
概率及其转换规律””概率状态的初...
中国科学技术大学硕士学位论文第三章新一代视频编码标准——Ｈ２６４／ＡＶＣ得多，从而实现更高效的数据压缩。
量化是一种有损压缩过程，实际上就是将变换的系数除以相应的量化步长后四舍五入取整数。
ｔｔ．２６４／ＡＶＣ采用的一个重要变换方法是类似ＤＣＴ变换的４Ｘ４整数变换“”：”…，是一种只需加法和移位运算即可实现的低复杂度的精确变换。
同时，Ｈ．２６４／ＡＶＣ将变换过程的系数缩放运算并入量化过程，并将缩放系数与量化步长联合通过查表实现，既简化了核心变换运算，又避免了量化过程的除法运算。
３．３．１变换的类型Ｈ．２６４／Ａｖｃ采用各种优化技术提高了预测的效果，但同时对预测误差的编码提出更高的要求，希望预测误差编码无漂移（Ｄｒｉｆｔ—Ｆｒｅｅ）。
另外，为了适应更广泛的应用环境，Ｈ．２６４／ＡＶＣ希望变换只需１６一ｂｉｔ运算。
而４Ｘ４整数变换很好地满足了以上要求，是Ｈ．２６４／ＡＶＣ最重要、晟基本的一种变换。
一当宏块采用Ｉｎｔｒａ＿１６Ｘ１６预测方式时，由于图象相对平滑，交换后大部分能量集中在Ｄｃ系数上。
为了进一步减小Ｄｃ系数之间的相关性，将１６个（图３．３．１中编号Ｏ一１５）４Ｘ４块的Ｄｃ系数构成一个４Ｘ４的ＤＣ系数块（图３．３．１中编号一１），再进行Ｈａｄａｍａｒｄ变换处理，以进一步减，ｊ，ＤＣ系数之间的相关性。
对于色度分量也作类似处理，得Ｎ２个２×２５ｊＤＣ系数块（图３．３．１中编号１６—１７），然后再进行Ｈａｄａｍａｒｄ变换。
采用这种分级变换结构进一步提高了压缩效率。
图３．３．１４４块的扫描顺序以及Ｄｃ块的构成”１Ｈ．２６４／ＡＶＣ共支持３种变换方式，即针对４Ｘ４差值信号块的整数变换、针对４Ｘ４。
信息论基础教材习题答案.docx
第
9.6共有28=256个码字，不能由一个码字的循环产生所有的码字，因为码长为8位，由一个码字循环移位 最多能产生8个码字。
9.7根据伴随式定义:5(x)=j(x) [mod g(x)],由于码多项式都是g(x)的倍式，如果接受矢量y(x)是码多 项式，则它的的伴随式等于0,如果y(Q不是码多项式，则伴随式s(Q不等于0。
0
0
0
0
0
1
1
0
1
0
0
0
0
0
0
0
0
0
0
1
0
1
0
0
1
0
0
0
0
0
0
0
0
0
1
1
0
0
0
0
1
0
0
0
0
0
0
0
0
1
1
1
0
0
0
0
1
0
0
0
0
0
0
1
0
0
1
G =
0
0
0
0
0
1
0
0
0
0
0
1
1
1
0
0
0
0
0
0
0
1
0
0
0
0
1
0
1
1
0
0
0
0
0
0
0
1
0
0
0
1
1
0
0
0
0
0
0
0
0
0
0
朱雪龙《应用信息论基础》习题答案
第二章习题参考答案2.2证明:l(X;Y|Z) H(X|Z) H(X|YZ) H (XZ) H (Z) H (XYZ) H(YZ)H(X) H(Z |X) H(Z) H(XY) H (Z | XY) H (Y) H(Z|Y) [H(X) H(Y) H(XY)] H(Z|X) H(Z) H (Z | XY) H(Z |Y) I(X;Y) H(Z|X) H(Z) H (Z | XY) H(Z | Y)0 H(Z) H(Z) H (Z | XY) H(Z) H(Z) H (Z | XY)1 H (Z) H (Z | XY),即 H(Z) 1 H (Z | XY) 又 H(Z) 1,H(Z |XY) 0,故 H(Z) 1,H (Z | XY) 0 同理，可推出H(X) 1;H(Y) 1;H (XYZ) H(XY) H (Z | XY) H(X) H (Y) H (Z | XY) 1 1 0 22.3 1) H(X)= 0.918 bit , H(Y) = 0.918 bit2) H(X|Y)2= bit H(Y|X)=2-bit , H(X|Z)= 3 2 —bit33) I(X;Y): =0.251 bit , H(XYZ)= =1.585 bit2.4证明：（1）根据熵的可加性，可直接得到,a k 1), H(Y) log(k 1),故原式得证2.5考虑如下系统:又 l(X;Y|Z) = H(X|Z) — H(X|YZ) = H(X|Z) = 1 bit1不妨设 P(Z=0) = P(Z=1)=2设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1 — p1~[ Plogp + (1 — p)log (1 — p)]-[qlogq + (1 — q)log(1 — q)] =11满足上式的p 、q 可取：p =; q =2.1 In2 xnatIOg 2bi tP(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1 — q⑵ Y 的值取自（31,32,假设输入X 、Y 是相互独立 的，则满足 I(X;Y) = 0则 H(X|Z)=•满足条件的一个联合分布：11 P(X=0, Y=0, Z=0)=4 P(X=1, Y=1, Z=0)=411 P(X=1, Y=1, Z=0)= 4P(X=1, Y=0, Z=1)=42.6 解：1 给出均匀分布p(x)—a x b 其中b a1,则 h(X) 0b a2.7 证明：l(X;Y;Z) = l(X;Y) — l(X;Y|Z)=I(X;Z) — I(X;Z|Y)•/ A, B 处理器独立，l(X;Z|Y) = 0••• l(X;Z) = I(X;Y) — I(X;Y|Z) W I(X;Y) 等号于p(x/yz) = p(x)下成立11 2.8 N=2 时， P(0 0) =, P(1 1)=—，其它为 022l( X ! ;X 2) = 1 bit N 工2时，l(X k1;X k |X 1 …X k 2) (3 W k)=P(X 「・・X k 2中有奇数个1) l(X k1;X k |X 「・・X k 2中有奇数个1) 1) l(X k1;X k |X 1…X k2中有偶数个1)1P(X 1…X k 2中有奇数个1)=-2 1P(X 1…X k 2中有偶数个1)=-2P(X k 1=1|X 1 - X k 2中有奇数个1P(X k1=0|X 1…X k 2中有奇数个1)=-2 1P(X k =1|X 1 - X k 2 中有奇数个 1)=-2 1P(X k =0|X 1…X k 2中有奇数个1)=-2 1P(X k 1=1|X 1 - X k 2 中有偶数个 1)=-+ P(X 1 - X k 2中有偶数个 1)=1(注意，这里k W N — 1)1 P(X k 1=0|X1- X k 2中有偶数个1)=-2P（X k=1|X「・X k2中有偶数个1）= （注意，这里k w N-1P（X k=O|X i…X k 2中有偶数个1）=-21P（X k 1=0, X k=0|X1- X k 2中有奇数个1）=—41P（X k 1=0, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=1, X k=0|X1- X k 2中有奇数个1）=-41P（X k 1=1, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=0, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k1=O, X k=1|X1- X k 2中有偶数个1）=-41P（X k 1=1, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k 1=1, X k=1|X1- X k 2中有偶数个1）=-4综上：l（X k1；X k|X1 …X k 2 中有奇数个1）（3w k w N -1）奇数个1）=H（X k 1|X1…X k 2中有奇数个1） + H（X k |X1…X k 2中有-H（X k 1；XJX1…X k 2中有奇数个1）=0l（X k1；X k|X1…X k 2中有偶数个1） = 0当 3 w k w N- 1 时，l（X k1；X k|X1 …X k 2） = 0当k = N时即l（X N 1 ；X N | X1 X N 2）=H（X N 1 |X 1 X N 2 ）—H（X N 1 |X 1 X N 2 ,X N ） =1 bit2.91）实例如2.5题2）考虑随机变量X=Y=Z的情况1取P（X=0, Y=0, Z=0）=- P（X=1, Y=1, Z=1）= 则l（X;Y|Z） = 0I（X;Y） = 1 满足I（X;Y|Z）V I（X;Y）2.10 H(X Y) < H(X) + H(Y)等号在X 、Y 独立时取得满足H(X Y)取最大值2.11证明：p(xyz) p(x)p(y |x)p(z/y) l(X;Z|Y) 0,2.12证明:H (XYZ) H (XZ) H(Y | XZ) I (Y;Z |X) H(Y|X) H (Y | XZ) H (XYZ) H (XZ) H(Y|X) I(Y;Z|X)2.13证明：I(X;Y;Z) I(X;Y) I(X;Y|Z)H(X) H(X |Y) H(Y|Z) H (Y | XZ) H(X) H(X |Y) H(Y|Z) H(XYZ) H(XZ)H(XYZ) H(X |Y) H (Y|Z) H(Z|X) 而等式右边 H(XYZ)H(X) H (Y) H (Z)H (X) H (X |Y) H(Y) H(Y |Z) H(Z) H(Z | X) H (XYZ) H(X |Y) H (Y | Z) H (Z | X)故左式 右式，原式成立2.16证明:1卩心4)= 12 P( a2b2 )= 1 '24 P(a 3b 2)= 124P( a2b3)=P(a 3b 3)=1 24丄24I(X;Y) I(X;Y|Z) I(X;Y;Z) 故I (X ;Y ) I (X ;Y |Z )成立I(X;Z) I(X;Z|Y) I(X;Z) 02.15H(X)=1log(^)n=n (」)n = 2bitn 12 2222 121log(nat)1--P( a i b i )=3 - 1 P( a2b1)= 6 一 1 PGS)=- P(a 1b s )=2.14 P(X=n) = (2)n 1 1=(舟)"2 22 12 211E I(2PN (a k )尹N '(ak ),p(ak ))根据鉴别信息的凸性11 1 11(二 P N (aQ -P N '(a k ), p(a k )) -I (P N (a k ),P(aQ)二 1仇'何),p(aQ) 2 2 2 21 1 1 1又 E ：l(P N (a k ), p(aQ) ； I 仇'何)，p(aQ) 二 E l(P N (aQ, p(aQ) ； E I(P N '(aj p(aQ2 2 2 2而根据随机序列的平稳 性，有：1 1E -I (P N (a k ), p(a k )) T(P N ‘(a k ), p(aj)E I (P N (a k ), p(a k )) E I (P N '(a k ), p(a k )2 21 1E I (P 2N (a k ), p(a k )) E l(—P N (aQ - P N '(a k ), p(a k ))2 2R N (a k ) 1 2N 耐1^ a"二丄的概率为p k （丄），其中X 1X 2 2N 2NX N 中出现a k 的频 1 率为P N (a k )N N nW a k ) n 1 的概率为6中，X N 1X N 2X 2N 中出现a k 的 1 频率为P N '(a k)—N n2N l(X n N 1 n 2 N P N （a k ）的概率为P k （晋），则有 1 F2N (a k )P N (ak ) 1 尹血）所以E 1 ( P2N (a k ),P(ak ))1 1E -I(P N(a k), p(a k)) -I(P N'(a k), P(aQ)2 2E l(P N(aJ p(a k))2-- log e2.17 解:2.18 I(P 2,P i ；X) l(q 2,q i ；X |Y)q 2(X k |y j )h 2(y j )log q2(xk |Yj)qm |y j )g,P i ；XY) P 2(xy) log P 2(xy))P 1(xy)dxdy ;P i (xy) g(x)h(y);其中 g(x)2x2 exP(1h(y) ------ 2 exp(2 yI(P 2,P I ；XY) p 2 (xy) log p 2(xy)dxdyg(x)h(y)1 、• •「2 / ---- JP 2(xy)log( ---- 2 )dxdy 2 loge P 2(xy) 12~~2(1 ) 2x~2 xxy2y_ 2 y2 x~2 x2y_ 2 ydxdy|(P I ,P 2；XY )1log( ---- 2)1 22(11log (------ 2)1 2 log e2E(X ) 22-E(Y )yE(XY)x yp 1(xy)log鷲dxdylog (〒丄诗)log e 2(1 2) 22-E(X )x22-E(Y )y-—E(XY)x yJ(P 2,P I ；XY) I(P 2,P I ；XY) I(P I , P 2；XY) 2--- log e当XY 满足P 1(xy)分布时，I (X;Y) 0； 当XY 满足P 2(xy)分布时，I (X ;Y) 1I(P 2,P 1;XY) log('12) P 2(xjlog P2"xk)P i (xQq 2(X k ,y j ) P 2(xQ q i (X k ,y j ) P i (X k )jP 2(x)h 2(y)，且 q i (X k ,y j ) P i (xQh i (y j )时I(P 2,P i ；X) I(q 2,q i ；X |Y)q 2 (X k , y j ) log q i (X k ,y j ) P i (X k ) h i (y j )关系不定 2.19 解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为Iog3, 12个一 一 1 1球中的不等重球（可较轻，也可较重）的不确定性为： loglog 24 因为3log312 2> log24••• 3次测量可以找出该球具体称法略。
朱雪龙《应用信息论基础》习题答案
第二章 习题参考答案2.1 y x 2y 2x 2ln σσσσ+ nat 或 yx yx σσσσ2log 222+ bit2.2 证明：2011)|()()()|()()(;1)(;1)(0)|(,1)(,0)|(,1)()|(1)(),|()(1)|()()()|()()(0)|()|()()|();()|()|()()|()]()()([)|()()|()()()|()()()()()()|()|()|;(=++=++=+=====≥≤+≥-≤∴-=+--+≤+--+=+--+-+=++---+=+--=-=XY Z H Y H X H XY Z H XY H XYZ H Y H X H XY Z H Z H XY Z H Z H XY Z H Z H XY Z H Z H XY Z H Z H Z H XY Z H Z H Z H Y Z H XY Z H Z H X Z H Y X I Y Z H XY Z H Z H X Z H XY H Y H X H Y Z H Y H XY Z H XY H Z H X Z H X H YZ H XYZ H Z H XZ H YZ X H Z X H Z Y X I 同理，可推出故又即 2.3 1) H(X) = 0.918 bit , H(Y) = 0.918 bit2) H(X|Y) =32 bit , H(Y|X) = 32 bit , H(X|Z) = 32bit 3) I(X;Y) = 0.251 bit , H(XYZ) = 1.585 bit2.4 证明：(1)根据熵的可加性，可直接得到(2)故原式得证的值取自),1log()(),,,,(121-≤∴-k Y H a a a Y k2.5 考虑如下系统：X⊕ Z Y假设输入X 、Y 是相互独立的，则满足 I(X;Y) = 0 又 I(X;Y|Z) = H(X|Z) － H(X|YZ) = H(X|Z) = 1 bit不妨设 P(Z=0) = P(Z=1) =21 设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1－p P(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1－q则 H(X|Z) = 21-[ plogp + (1－p)log (1－p)]21-[ qlogq + (1－q)log(1－q)] =1 满足上式的p 、q 可取：p = 21 ; q = 21∴ 满足条件的一个联合分布：P(X=0, Y=0, Z=0) = 41P(X=1, Y=1, Z=0) = 41 P(X=1, Y=1, Z=0) = 41P(X=1, Y=0, Z=1) =412.6 解：给出均匀分布0)(,11)(<<-≤≤-=X h a b b x a ab x p 则其中2.7 证明： I(X;Y;Z) = I(X;Y)－I(X;Y|Z)= I(X;Z)－I(X;Z|Y)∵A, B 处理器独立， ∴I(X;Z|Y) = 0 ∴I(X;Z) = I(X;Y)－I(X;Y|Z) ≤ I(X;Y) 等号于 p(x/yz) = p(x)下成立2.8 N=2 时， P(0 0) =21, P(1 1) =21,其它为0 I(1X ;2X ) = 1 bit N ≠2时，I(1k X -;k X |1X …2k X -) (3≤k)= P(1X …2k X -中有奇数个1) I(1k X -;k X |1X …2k X -中有奇数个1) + P(1X …2k X -中有偶数个1) I(1k X -;k X |1X …2k X -中有偶数个1)P(1X …2k X -中有奇数个1) =21P(1X …2k X -中有偶数个1) = 21P(1k X -=1|1X …2k X -中有奇数个1) =21 P(1k X -=0|1X …2k X -中有奇数个1) = 21P(k X =1|1X …2k X -中有奇数个1) = 21P(k X =0|1X …2k X -中有奇数个1) = 21（注意，这里k ≤N －1）P(1k X -=1|1X …2k X -中有偶数个1) = 21P(1k X -=0|1X …2k X -中有偶数个1) = 21P(k X =1|1X …2k X -中有偶数个1) =21（注意，这里k ≤N －1） P(k X =0|1X …2k X -中有偶数个1) = 21P(1k X -=0，k X =0|1X …2k X -中有奇数个1) = 41P(1k X -=0，k X =1|1X …2k X -中有奇数个1) = 41P(1k X -=1，k X =0|1X …2k X -中有奇数个1) = 41P(1k X -=1，k X =1|1X …2k X -中有奇数个1) = 41P(1k X -=0，k X =0|1X …2k X -中有偶数个1) = 41P(1k X -=0，k X =1|1X …2k X -中有偶数个1) = 41P(1k X -=1，k X =0|1X …2k X -中有偶数个1) = 41P(1k X -=1，k X =1|1X …2k X -中有偶数个1) = 41综上：I(1k X -;k X |1X …2k X -中有奇数个1) (3≤k ≤N －1)= H(1k X -|1X …2k X -中有奇数个1) + H(k X |1X …2k X -中有奇数个1) －H(1k X -;k X |1X …2k X -中有奇数个1) = 0I(1k X -;k X |1X …2k X -中有偶数个1) = 0 ∴ 当 3≤k ≤N －1 时，I(1k X -;k X |1X …2k X -) = 0 当 k = N 时 即I(1N X -;N X |1X …2N X -)= H(1N X -|1X …2N X -) － H(1N X -|1X …2N X -, N X ) = 1 bit2.9 1) 实例如2.5题2）考虑随机变量 X=Y=Z 的情况 取 P(X=0, Y=0, Z=0) =21 P(X=1, Y=1, Z=1) = 21 则 I(X;Y|Z) = 0I(X;Y) = 1 满足 I(X;Y|Z)＜I(X;Y)2.10H(X Y) ≤ H(X) + H(Y) 等号在X 、Y 独立时取得∴P(11b a ) =31 P(21b a ) = 121 P(31b a ) = 121 P(12b a ) = 61 P(22b a ) = 241 P(32b a ) = 241P(13b a ) = 61 P(23b a ) = 241 P(33b a ) = 241满足 H(X Y) 取最大值2.11 证明：成立故)|;();(0);()|;();();;()|;();(,0)|;()/()|()()(Z Y X I Y X I Z X I Y Z X I Z X I Z Y X I Z Y X I Y X I Y Z X I y z p x y p x p xyz p ≥≥=-==-=∴=2.12 证明：)|;()|()()()|()|()|;()|()()(X Z Y I X Y H XZ H XYZ H XZ Y H X Y H X Z Y I XZ Y H XZ H XYZ H -+=∴-=+=2.13 证明：右式，原式成立故左式而等式右边=---=-+-+-+---=---=-+--=+--=-=)|()|()|()()|()()|()()|()()()()()()|()|()|()()()()|()|()()|()|()|()()|;();();;(X Z H Z Y H Y X H XYZ H X Z H Z H Z Y H Y H Y X H X H Z H Y H X H XYZ H X Z H Z Y H Y X H XYZ H XZ H XYZ H Z Y H Y X H X H XZ Y H Z Y H Y X H X H Z Y X I Y X I Z Y X I2.14P(X=n) = 21)21(1n ⋅- = n )21( H(X) = ∑∞=--1n n1n )21log()21(21 = ∑n)21(n = 2 bit2.152121212221221log 22(σσσσσσ+-+-）μμ (nat) 2.16 证明：记长为2N随机序列N N N X X X X X 2121 +中出现k a 的频率∑===Nm k m k N a X I Na P 212)(21)(=N n 2的概率为)2(N n p k ，其中N X X X 21中出现k a 的频率为N n a X I Na P Nn k n k N 11)(1)(===∑=的概率为)(1Nnp k ，N N N X X X 221 ++中出现k a 的频率为)()(1)('221k N NN n k n k N a P N n a X I Na P ====∑+=的概率为)(2Nnp k ，则有 )('21)(21)(2k N k N k N a P a P a P +=所以{}{}{}{}{}{}{}))(),(())(),('(21))(),((21))(),('21)(21())(),(()(),('())(),(())(),('(21))(),((21)(),('(21))(),((21))(),('(21))(),((21))(),('(21))(),((21))(),('21)(21())(),('21)(21())(),((22k k N k k N k k N k k N k N k k N k k N k k N k k N k k N k k N k k N k k N k k N k k N k k N k k N k N k k N k N k k N a p a P I E a p a P I a p a P I E a p a P a P I E a p a P I E a p a P I E a p a P I E a p a P I a p a P I E a p a P I E a p a P I E a p a P I a p a P I E a p a P I a p a P I a p a P a P I a p a P a P I E a p a P I E =⎭⎬⎫⎩⎨⎧+≤⎭⎬⎫⎩⎨⎧+=∴==⎭⎬⎫⎩⎨⎧++=⎭⎬⎫⎩⎨⎧++≤+⎭⎬⎫⎩⎨⎧+=性，有：而根据随机序列的平稳又根据鉴别信息的凸性2.17 解：2.18 )Y |X ;q ,q (I )X ;p ,p (I 1212-=∑∑∑-kk j j k 1j k 2j 2j k 2k 1k 2k 2)y |x (q )y |x (q log)y (h )y |x (q )x (p )x (p log)x (p )11log();,();()(;0);()(log 1);,();,();,(log 1)11log()(2)()()1(2log )11log()()(log)();,()11log()(2)()()1(2log )11log(212)1(21)(log )11log()()()()(log)();,(;)2exp(21)(;)2exp(21)(;)()()(;)()(log)();,(212212221121222222222222211212222222222222222222222212222222112212ρρρρρρσσρσρσρρρρσσρσρσρρρσσσσσρσρρσπσσπσ-===-=+=∴-+--=⎥⎥⎦⎤⎢⎢⎣⎡-+-+--==-=⎥⎥⎦⎤⎢⎢⎣⎡-+---=⎥⎥⎦⎤⎢⎢⎣⎡⎪⎪⎭⎫ ⎝⎛++⎪⎪⎭⎫ ⎝⎛+---⋅+-==∴-=-===⎰⎰⎰⎰⎰⎰⎰⎰⎰⎰XY p p I Y X I xy p XY Y X I xy p XY e XY p p I XY p p I XY p p J e XY E Y E X E e dxdy xy p xy p xy p XY p p I XY E Y E X E e dxdy y x y xy x xy p e dxdyxy p dxdyy h x g xy p xy p XY p p I y y h x x g y h x g xy p dxdy xy p xy p xy p XY p p I y x y x y x y x y x y y x x yy x x分布时，满足当分布时，满足当其中其中 )y (h )y ,x (qj 2j kk 2=∑)y (h )y ,x(q j 1j kk1=∑)x (p )y ,x (qk 2j jk 2=∑)x (p )y ,x(q k 1j jk1=∑于是 )Y |X ;q ,q (I )X ;p ,p (I 1212-=)y |x (q )x (p )y |x (q )x (p log)y ,x (q j k 2k 1j k 1k 2j k kj2⋅⋅∑∑=)y ,x (q )x (p )y (h )y (h )x (p )y ,x (q log)y ,x (q j k 222j 1k 1j k 1j k kj2⋅⋅∑∑当 )y (h )x (p )y ,x (q 22j k 2=，且 )y (h )x (p )y ,x (q j 1k 1j k 1= 时 )Y |X ;q ,q (I )X ;p ,p (I 1212-=0当 )y (h )x (p )y ,x (q 22j k 2=，且 )y (h )x (p )y ,x (q j 1k 1j k 1≠ 时)Y |X ;q ,q (I )X ;p ,p (I 1212- =)()(),(log),(1112j k j k j k kjy h x p y x q y x q ⋅∑∑ 0 ∴ 关系不定2.19 解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3，12个球中的不等重球（可较轻，也可较重）的不确定性为：24log 21121log =⋅- 因为 3log3＞log24∴3次测量可以找出该球 具体称法略。
高中《信息技术基础》各章习题(答案)
纳维人基奠的论制控�B
信义钟家专论息信国我�D
�页 1 第�
农香人基奠的论息信�A
பைடு நூலகம்
曼依诺·冯家学科�C
次四第 D 次三第 C 次 二第 B 次一第 A ) (命革术技息信次几第的上史历展发会社类人着志标 它 �证保的靠可为更了供提播传和累积的识知为术刷印和术纸造的中明发大四代古国中 .7 性对相值价 � 性伪真 � 性效时 � 性递传 � 。 � �的息信了映反”行灯绿�停灯红“ 、6 性对相值价 � 性伪真 � 性效时 � 性递传 � 。� �的息信了映反”特雷姆哈‘个千一有就�者读个千一“、5 性对相值价 � 性伪真 � 性效时 � 性享共 �
。 �
evaWdloG�D pohsotohP�C tidElooC�B 机音录�A �� �是具工的工加和集采息信频音于属不列下、2 集采息信、� 工加息信、� 存储息信、� 理处息信、� �是程过个这�报情和息信据数的量大了到得�天上射发星卫造人把们人、1 题择选项单 、一
�上�达表与工加的息信
)
(是的确正 �中述叙的 ”息信达表表图为换转据数格表将 �中 LECXE 在“ 于关列下 .11 题择选项多、二 、01 、9
� �是式方图视的果效面版片灯幻张多看查于用 tnioPrewoP tfosorciM 在、8 pmb. D fig. C gpj. B fdp. A � �式格储存的像图形图是不个哪式格件文的面下 、7 ④②①⑤③�D ④⑤①②③�C ④⑤②③①�B ④⑤②①③�A � �是序顺程流的理合较�下况情般一�品作作制⑤ �改修价评④�题主定确③�材素择选与集收②�面版计设①�有骤步的刊报子电作制、6 图形饼、D 图线折、C 图形条、B 图形柱、A � �表图种哪用使好最他�果结示显地观直了为。略战售销的年 80 整调便以�重比的 年全占量销度季各年 70 解了表图 LECXE 过通解了想监总售销的司公某�后过旦元年 80、5
朱雪龙《应用信息论基础》习题第四章答案
朱雪龙《应⽤信息论基础》习题第四章答案习题答案 B4-1第4章习题答案4.1 设有离散⽆记忆信道，输⼊X ：aa a p a p a p a K K 1212 ()()()，输出Y ：b b b p b p b p b J J 1212 ()()()，当输⼊/出x 和y 的互信息I x y (;)也为⼀随机变量，试证：当{}Var I x y (;)=0时，平均互信息I X Y (;)达到信道容量C 。
证明：由{}Var I x y (;)=0可知，);(y x I 以概率1取常数) )];([ ( y x I E C =，所以有∑====C b y a x I a b P Y x I j k k j );()();(满⾜定理4.3关于离散⽆记忆信道达到信道容量的充要条件。
且此时平均互信息∑===Kk k k C Y a I a p Y X I 1);()();(所以当{}Var I x y (;)=0时，平均互信息达到信道容量C 。
<证毕>4.2 设某信道的输⼊X 取值{,}+-11，⼜信道有加性噪声n ，其分布密度为p n n n (),||,||=≤>14202，求信道容量。
答：C = 0.5bit, 当输⼊的概率分布为1)1()1(=-===X P X P 时达到信道容量。
4.3 设在图 4.10 的⼀般⾼斯信道中200)(11)(,2)(f f f H N f N +==，试求信道的容量费⽤函数)(s P C解：根据{--=-λλλλλF F dff H f N F H f N )2())()(21()1(0)()(2122 可推得λF 的⼀个⽅程，如下：4052035434N P f F f F s =+λλ (3) 解出(3)式,即可求得λF应⽤信息论基础B4-2 ⽽e f F tg f F df f f N df df f N f H P C F F F F F f s log )]([412log 2121log 21)(2)(log 21)(01022002λλλλλλλλλ---∈-=????+-==??故)(s P C 可求。
信息理论基础课后题答案
· 1 ·2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X 代表女孩子学历X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75设随机变量Y 代表女孩子身高Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=⎪⎭⎫⎝⎛⨯-=⎥⎦⎤⎢⎣⎡-=-=2.3 一副充分洗乱了的牌（含52张牌），试问(1) 任一特定排列所给出的信息量是多少？(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：bit x p x I i i 581.225!52log )(log )(2==-=(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：bit C x p x I C x p i i i 208.134log )(log )(4)(13521322135213=-=-==· 2 ·2.4 设离散无记忆信源⎭⎬⎫⎩⎨⎧=====⎥⎦⎤⎢⎣⎡8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？(2) 此消息中平均每符号携带的信息量是多少？解：(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：62514814183⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛⨯⎪⎭⎫ ⎝⎛=p此消息的信息量是：bit p I 811.87log 2=-=(2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解： 男士：symbolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%93)( 837.307.0log )(log )(%7)(22222222=+-=-==-=-===-=-==∑女士：symbol bit x p x p X H ii i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2222=+-=-=∑2.6 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。
信息论基础ppt89285
香农 信息论
一般 信息论
广义 信息论
统计信息论：也称狭义信息论/香农信息论。
主要研究信息测度、信道容量、信息率失真函数，与这三 个概念相对应的香农三定理，信源编码，信道编码。
学习方法
本课程以概率论为基础，数学推导较多，学 习时主要把注意力集中到概念的理解上，不要 过分追求数学细节的推导。学习时一定要从始 至终注意基本概念的理解，不断加深概念的把 握。学习时注意理解各个概念的“用处”，结 合其他课程理解它的意义，而不要把它当作数 学课来学习，提倡独立思考，注重思考在学习 中的重要性。
殊的方式融合起来的产物。
1928年，美国数学家哈特莱 (Hartley)在《贝尔系统电话杂志》上 发表了一篇题为《信息传输》的论文。
他认为“信息是选择的自由度”。
美国数学家、控制论的主要奠基人维 纳(Wiener）在1950年出版的《控制
论与社会》一书中写到：“信息既不 是物质又不是能量，信息就是信息”。
可压缩性
可替代性 可扩散性 可共享性
信息的 独有性质
时效性
信息在信息化程度越来越高的社会 中将起到越来越重要的作用，是比物质 和能量更为宝贵的资源，全面掌握信息 的概念，正确、及时、有效地利用信息， 能够为人类创造更多的财富。
信息的分类
事物运动状态 事物运动状态
1 按照信息的和状性态质改变的 和方式的具体
2 信息来源于精神世界，但又不局 限于精神领域。
3 信息与能量息息相关，但又与 能量有本质的区别。
高一信息技术基础模块练习题-答案
高一信息技术基础模块练习题-答案《信息技术基础》模块练习题一、认识信息世界单选题:1( 是事物运动的状态和方式，它的基本功能是消除对客观事物认识上的不确定性。
A(物质 B(信息 C(信号 D(消息 2( 具有普遍性、共享性、通过载体而存在、具有价值的主要特征。
A(信息技术 B(信息 C(信息素养 D(电脑 3(关于信息，下列说法错误的是:________A(信息必须依附于载体而存在 B(信息是可以共享的C(信息是可以处理的 D(信息的价值不会改变 4(下列不属于信息的是_________。
A(上课的铃声 B(开会的通知C(存有照片的数码相机 D(电视里播放的汽车降价消息 5(人类在发展中，经历了五次信息革命，其中错误的说法是: 。
A(语言的形成B(文字的产生C(指南针的发明D(造纸与印刷术的发明E(电报、电话、无线广播、电视的发明F(计算机与现代通信技术6(信息技术是指与信息有关的技术。
A(输入、输出 B(获取、加工、存储、传输、表示和应用C(加工和输出 D(分类和加工7(信息技术的英文全称是________，简称IT。
A(Information Technology B(Information TechniqueC(Communication Transmit D(Information Transmit 多选题:1(信息技术可能带来的消极影响有:A(信息泛滥 B(信息污染 C(信息犯罪2(信息技术的发展趋势有:A(多元化 B(网络化 C(智能化二、计算机是信息处理的工具单选题:1(世界上第一台电子计算机于________年在美国研制成功，被命名为ENIAC(ElectronicNumerical Integrator and Calculator)。
当时主要被用于________ 。
A(1946、科学研究 B(1946、军事C(1964、科学研究 D(1964、军事2(下列有关计算机的描述中，不正确的是________ 。
朱雪龙《应用信息论基础》习题答案
第二章习题参考答案2.2证明:l(X;Y|Z) H(X|Z) H(X|YZ) H (XZ) H (Z) H (XYZ) H(YZ)H(X) H(Z |X) H(Z) H(XY) H (Z | XY) H (Y) H(Z|Y) [H(X) H(Y) H(XY)] H(Z|X) H(Z) H (Z | XY) H(Z |Y) I(X;Y) H(Z|X) H(Z) H (Z | XY) H(Z | Y)0 H(Z) H(Z) H (Z | XY) H(Z) H(Z) H (Z | XY)1 H (Z) H (Z | XY),即 H(Z) 1 H (Z | XY) 又 H(Z) 1,H(Z |XY) 0,故 H(Z) 1,H (Z | XY) 0 同理，可推出H(X) 1;H(Y) 1;H (XYZ) H(XY) H (Z | XY) H(X) H (Y) H (Z | XY) 1 1 0 22.3 1) H(X)= 0.918 bit , H(Y) = 0.918 bit2) H(X|Y)2= bit H(Y|X)=2-bit , H(X|Z)= 3 2 —bit33) I(X;Y): =0.251 bit , H(XYZ)= =1.585 bit2.4证明：（1）根据熵的可加性，可直接得到,a k 1), H(Y) log(k 1),故原式得证2.5考虑如下系统:又 l(X;Y|Z) = H(X|Z) — H(X|YZ) = H(X|Z) = 1 bit1不妨设 P(Z=0) = P(Z=1)=2设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1 — p1~[ Plogp + (1 — p)log (1 — p)]-[qlogq + (1 — q)log(1 — q)] =11满足上式的p 、q 可取：p =; q =2.1 In2 xnatIOg 2bi tP(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1 — q⑵ Y 的值取自（31,32,假设输入X 、Y 是相互独立 的，则满足 I(X;Y) = 0则 H(X|Z)=•满足条件的一个联合分布：11 P(X=0, Y=0, Z=0)=4 P(X=1, Y=1, Z=0)=411 P(X=1, Y=1, Z=0)= 4P(X=1, Y=0, Z=1)=42.6 解：1 给出均匀分布p(x)—a x b 其中b a1,则 h(X) 0b a2.7 证明：l(X;Y;Z) = l(X;Y) — l(X;Y|Z)=I(X;Z) — I(X;Z|Y)•/ A, B 处理器独立，l(X;Z|Y) = 0••• l(X;Z) = I(X;Y) — I(X;Y|Z) W I(X;Y) 等号于p(x/yz) = p(x)下成立11 2.8 N=2 时， P(0 0) =, P(1 1)=—，其它为 022l( X ! ;X 2) = 1 bit N 工2时，l(X k1;X k |X 1 …X k 2) (3 W k)=P(X 「・・X k 2中有奇数个1) l(X k1;X k |X 「・・X k 2中有奇数个1) 1) l(X k1;X k |X 1…X k2中有偶数个1)1P(X 1…X k 2中有奇数个1)=-2 1P(X 1…X k 2中有偶数个1)=-2P(X k 1=1|X 1 - X k 2中有奇数个1P(X k1=0|X 1…X k 2中有奇数个1)=-2 1P(X k =1|X 1 - X k 2 中有奇数个 1)=-2 1P(X k =0|X 1…X k 2中有奇数个1)=-2 1P(X k 1=1|X 1 - X k 2 中有偶数个 1)=-+ P(X 1 - X k 2中有偶数个 1)=1(注意，这里k W N — 1)1 P(X k 1=0|X1- X k 2中有偶数个1)=-2P（X k=1|X「・X k2中有偶数个1）= （注意，这里k w N-1P（X k=O|X i…X k 2中有偶数个1）=-21P（X k 1=0, X k=0|X1- X k 2中有奇数个1）=—41P（X k 1=0, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=1, X k=0|X1- X k 2中有奇数个1）=-41P（X k 1=1, X k=1|X1 …X k 2 中有奇数个1）=-41P（X k 1=0, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k1=O, X k=1|X1- X k 2中有偶数个1）=-41P（X k 1=1, X k=0|X1 …X k 2 中有偶数个1）=-41P（X k 1=1, X k=1|X1- X k 2中有偶数个1）=-4综上：l（X k1；X k|X1 …X k 2 中有奇数个1）（3w k w N -1）奇数个1）=H（X k 1|X1…X k 2中有奇数个1） + H（X k |X1…X k 2中有-H（X k 1；XJX1…X k 2中有奇数个1）=0l（X k1；X k|X1…X k 2中有偶数个1） = 0当 3 w k w N- 1 时，l（X k1；X k|X1 …X k 2） = 0当k = N时即l（X N 1 ；X N | X1 X N 2）=H（X N 1 |X 1 X N 2 ）—H（X N 1 |X 1 X N 2 ,X N ） =1 bit2.91）实例如2.5题2）考虑随机变量X=Y=Z的情况1取P（X=0, Y=0, Z=0）=- P（X=1, Y=1, Z=1）= 则l（X;Y|Z） = 0I（X;Y） = 1 满足I（X;Y|Z）V I（X;Y）2.10 H(X Y) < H(X) + H(Y)等号在X 、Y 独立时取得满足H(X Y)取最大值2.11证明：p(xyz) p(x)p(y |x)p(z/y) l(X;Z|Y) 0,2.12证明:H (XYZ) H (XZ) H(Y | XZ) I (Y;Z |X) H(Y|X) H (Y | XZ) H (XYZ) H (XZ) H(Y|X) I(Y;Z|X)2.13证明：I(X;Y;Z) I(X;Y) I(X;Y|Z)H(X) H(X |Y) H(Y|Z) H (Y | XZ) H(X) H(X |Y) H(Y|Z) H(XYZ) H(XZ)H(XYZ) H(X |Y) H (Y|Z) H(Z|X) 而等式右边 H(XYZ)H(X) H (Y) H (Z)H (X) H (X |Y) H(Y) H(Y |Z) H(Z) H(Z | X) H (XYZ) H(X |Y) H (Y | Z) H (Z | X)故左式 右式，原式成立2.16证明:1卩心4)= 12 P( a2b2 )= 1 '24 P(a 3b 2)= 124P( a2b3)=P(a 3b 3)=1 24丄24I(X;Y) I(X;Y|Z) I(X;Y;Z) 故I (X ;Y ) I (X ;Y |Z )成立I(X;Z) I(X;Z|Y) I(X;Z) 02.15H(X)=1log(^)n=n (」)n = 2bitn 12 2222 121log(nat)1--P( a i b i )=3 - 1 P( a2b1)= 6 一 1 PGS)=- P(a 1b s )=2.14 P(X=n) = (2)n 1 1=(舟)"2 22 12 211E I(2PN (a k )尹N '(ak ),p(ak ))根据鉴别信息的凸性11 1 11(二 P N (aQ -P N '(a k ), p(a k )) -I (P N (a k ),P(aQ)二 1仇'何),p(aQ) 2 2 2 21 1 1 1又 E ：l(P N (a k ), p(aQ) ； I 仇'何)，p(aQ) 二 E l(P N (aQ, p(aQ) ； E I(P N '(aj p(aQ2 2 2 2而根据随机序列的平稳 性，有：1 1E -I (P N (a k ), p(a k )) T(P N ‘(a k ), p(aj)E I (P N (a k ), p(a k )) E I (P N '(a k ), p(a k )2 21 1E I (P 2N (a k ), p(a k )) E l(—P N (aQ - P N '(a k ), p(a k ))2 2R N (a k ) 1 2N 耐1^ a"二丄的概率为p k （丄），其中X 1X 2 2N 2NX N 中出现a k 的频 1 率为P N (a k )N N nW a k ) n 1 的概率为6中，X N 1X N 2X 2N 中出现a k 的 1 频率为P N '(a k)—N n2N l(X n N 1 n 2 N P N （a k ）的概率为P k （晋），则有 1 F2N (a k )P N (ak ) 1 尹血）所以E 1 ( P2N (a k ),P(ak ))1 1E -I(P N(a k), p(a k)) -I(P N'(a k), P(aQ)2 2E l(P N(aJ p(a k))2-- log e2.17 解:2.18 I(P 2,P i ；X) l(q 2,q i ；X |Y)q 2(X k |y j )h 2(y j )log q2(xk |Yj)qm |y j )g,P i ；XY) P 2(xy) log P 2(xy))P 1(xy)dxdy ;P i (xy) g(x)h(y);其中 g(x)2x2 exP(1h(y) ------ 2 exp(2 yI(P 2,P I ；XY) p 2 (xy) log p 2(xy)dxdyg(x)h(y)1 、• •「2 / ---- JP 2(xy)log( ---- 2 )dxdy 2 loge P 2(xy) 12~~2(1 ) 2x~2 xxy2y_ 2 y2 x~2 x2y_ 2 ydxdy|(P I ,P 2；XY )1log( ---- 2)1 22(11log (------ 2)1 2 log e2E(X ) 22-E(Y )yE(XY)x yp 1(xy)log鷲dxdylog (〒丄诗)log e 2(1 2) 22-E(X )x22-E(Y )y-—E(XY)x yJ(P 2,P I ；XY) I(P 2,P I ；XY) I(P I , P 2；XY) 2--- log e当XY 满足P 1(xy)分布时，I (X;Y) 0； 当XY 满足P 2(xy)分布时，I (X ;Y) 1I(P 2,P 1;XY) log('12) P 2(xjlog P2"xk)P i (xQq 2(X k ,y j ) P 2(xQ q i (X k ,y j ) P i (X k )jP 2(x)h 2(y)，且 q i (X k ,y j ) P i (xQh i (y j )时I(P 2,P i ；X) I(q 2,q i ；X |Y)q 2 (X k , y j ) log q i (X k ,y j ) P i (X k ) h i (y j )关系不定 2.19 解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为Iog3, 12个一 一 1 1球中的不等重球（可较轻，也可较重）的不确定性为： loglog 24 因为3log312 2> log24••• 3次测量可以找出该球具体称法略。
1-第一讲 信息熵
信号、 信号、消息与信息的区别
信号是消息的载体，是物理的； 信号是消息的载体，是物理的； 消息利用信号承载，是非物质的； 消息利用信号承载，是非物质的； 消息和符号可以视为一回事 消息用符号表示。 消息和符号可以视为一回事，消息用符号表示。 符号可以视为一回事， 香农信息论中的信息是消息中的不确定成份。 香农信息论中的信息是消息中的不确定成份。 消息中的不确定成份 信息不能单独存在，必须依附一定的物理形式。 信息不能单独存在，必须依附一定的物理形式。 物质、能量和信息构成自然界三大要素。 物质、能量和信息构成自然界三大要素。 等混为一谈了。 消息实际是全信息的概念， 消息实际是全信息的概念，与 “ 数据 ” 等混为一谈了。
( Shannon, 1916－2001)
“ A Mathematical Theory of Communication ” “ Communication Theory of Secrecy System ”
About Claude Elwood Shannon: 1916年生于 Gaylord, MI 的一个小镇。母亲是一个语 年生于 的一个小镇。 言教师和中学校长，父亲是一个商人。 言教师和中学校长，父亲是一个商人。 16岁高中毕业，进入密西根大学。1936年获得电子工 岁高中毕业，进入密西根大学。 岁高中毕业 年获得电子工 程和数学双学士学位。 程和数学双学士学位。随后进入 MIT，作为研究生和研 ， 究人员。一年后， 究人员。一年后，完成布尔代数用于开关电路的硕士论 年完成“ 文。1940年完成“关于遗传学的代数”的博士论文。 年完成 关于遗传学的代数”的博士论文。 1941年以后进入 Bell 实验室。(新理论和技术的摇篮 年以后进入 实验室。 新理论和技术的摇篮 新理论和技术的摇篮) 1945年写出“密码学的数学理论”，1949年正式出 年写出“密码学的数学理论” 年写出 年正式出 名为“保密系统的通信理论” 年发表“ 版，名为“保密系统的通信理论”。1948年发表“通信 年发表 系统的数学理论” 其后又取得通信、 系统的数学理论”。其后又取得通信、人工智能等多方 面的成果。 面的成果。
朱雪龙《应用信息论基础》习题答案全
2.3 1) H(X) = 0.918 bit , H(Y) = 0.918 bit
2) H(X|Y) =
2 2 2 bit , H(Y|X) = bit , H(X|Z) = bit 3 3 3
3) I(X;Y) = 0.251 bit , H(XYZ) = 1.585 bit
(2) Y的值取自 (a1 , a 2 , , a k 1 ), H (Y ) log(k 1), 故原式得证 X
2.14
1 1 1 P(X=n) = ( ) n 1 = ( )n 2 2 2
Q
bi t.
5d
6d
.co
m
2.15
Q bi t.
5d
2.16 证明：
P2 N ( a k )
6d .
2 2 12 2 (μ 1 μ 2） log 1 (nat) 2 2 2 2 1 2 1
I(X;Y) = 1 满足 I(X;Y|Z)＜I(X;Y) 1 3 1 6 1 6 1 12 1 24 1 24 1 12 1 24 1 24
H(X Y) ≤ H(X) + H(Y) 等号在 X、Y 独立时取得 P( a 1 b 2 ) = P( a 2 b 2 ) = P( a 3 b 2 ) = P( a 1 b 3 ) = P( a 2 b 3 ) = P( a 3 b 3 ) =
∴P( a 1 b1 ) =
P( a 2 b1 ) = P( a 3 b1 ) =
满足 H(X Y) 取最大值
2.11 证明：
p( xyz ) p ( x) p ( y | x) p( z / y ) I ( X ; Z | Y ) 0, I ( X ;Y ) I ( X ;Y | Z ) I ( X ;Y ; Z ) I ( X ; Z ) I ( X ; Z | Y ) I ( X ; Z ) 0 故 I ( X ; Y ) I ( X ; Y | Z ) 成立
(完整版)信息技术基础习题集
信息技术基础习题集第一卷（转载）(题中涉及多媒体技术的习题不做)一、选择题选择一个正确答案代码，填写在答题卡上（每题3分，共30分）1 “红灯停，绿灯行”反映的是信息的（）。
Ａ传递性Ｂ时效性Ｃ真伪性Ｄ价值相对性2、“一千个读者，就有一千个‘哈姆雷特’”反映的是信息的（）。
Ａ传递性Ｂ时效性Ｃ真伪性Ｄ价值相对性3 在文字处理软件WORD中，所书写的文件不能保存为下面哪种文件格式（）。
ＡTXT ＢDOC ＣRTF ＤWPS4 在POWER POINT中，在幻灯片中不能利用“插入”命令添加的素材是（）。
A 文本、动画B 视频(数字电影)、MP3音乐C 戏曲、相片D POWER POINT幻灯片文件5 因特网为我们提供了大量的信息资源，你认为在检索信息的时候，下列哪一种方法是最经常使用的方法（），哪一种方法检索的速度最快（）。
Ａ利用搜索引擎进行查找、直接访问相关信息的网站。
Ｂ直接访问相关信息的网站、使用论坛BBS。
Ｃ使用论坛BBS、QQ等在线即时通讯工具。
Ｄ使用论坛BBS、利用搜索引擎进行查找。
5 下列叙述正确的是（）。
Ａ因特网给我们带来了大量的信息，这些信息都是可信的，可以直接使用。
Ｂ在因特网上，可以利用搜索引擎查找到我们所需要的一切信息。
Ｃ有效获取信息后，要对其进行分类、整理并保存。
Ｄ保存在计算机中的信息是永远不会丢失和损坏的。
6 下列叙述不正确的是（）。
Ａ微电子技术是现代信息技术的基石。
Ｂ信息是一成不变的东西。
如: 春天的草地是绿色的。
Ｃ信息是一种资源，具有一定的使用价值。
Ｄ信息的传递不受时间和空间限制。
7 下列叙述正确的是（）。
Ａ信息技术就是现代通信技术。
Ｂ信息技术是有关信息的获取、传递、存储、处理、交流和表达的技术。
Ｃ微电子技术与信息技术是互不关联的两个技术领域。
Ｄ信息技术是处理信息的技术。
8 《三国演义》中有关“蒋干盗书”的故事说：在赤壁之战时，蒋干从周瑜处偷走了人家事前伪造好的蔡瑁、张允的投降书，交给曹操，结果曹操将二人斩首示众，致使曹操失去了仅有的水军将领；最后落得“火烧三军命丧尽”的下场。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 1 [ plogp + (1－p)log (1－p)] [ qlogq + (1－q)log(1－q)] =1 2 2
Q
2.5 考虑如下系统：
bi t.
2.4 证明：(1)根据熵的可加性，可直接得到
5d
6d
.co
m
m
1 4
6d .
∴ 满足条件的一个联合分布：
co
满足上式的 p、q 可取：p =
Z
Y
假设输入 X、Y 是相互独立的，则满足 I(X;Y) = 0 又 I(X;Y|Z) = H(X|Z) － H(X|YZ) = H(X|Z) = 1 bit 不妨设 P(Z=0) = P(Z=1) = 设 P(X=0,Y=0|Z=0) = p
1 2
P(X=1,Y=1|Z=0) = 1－p
P(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1－q
∴ 当 3≤k≤N－1 时，I( X k 1 ; X k | X 1 … X k 2 ) = 0 当 k=N时 即
I( X N 1 ; X N | X 1 … X N 2 ) = H( X N 1 | X 1 … X N 2 ) － H( X N 1 | X 1 … X N 2 , X N ) = 1 bit
综上：I( X k 1 ; X k | X 1 … X k 2 中有奇数个 1) －H( X k 1 ; X k | X 1 … X k 2 中有奇数个 1)
= H( X k 1 | X 1 … X k 2 中有奇数个 1) + H( X k | X 1 … X k 2 中有奇数个 1) =0 I( X k 1 ; X k | X 1 … X k 2 中有偶数个 1) = 0
+ P( X 1 … X k 2 中有偶数个 1) I( X k 1 ; X k | X 1 … X k 2 中有偶数个 1)
bi t.
5d
6d
2.8 N=2 时， P(0 0) = , P(1 1) =
1 2
1 ,其它为 0 2
.co
m
m
co
P( X k 1 =1| X 1 … X k 2 中有偶数个 1) =
= P( X 1 … X k 2 中有奇数个 1) I( X k 1 ; X k | X 1 … X k 2 中有奇数个 1) 1 2 1 2 1 2 1 2 1 2 1 2
（注意，这里 k≤N－1）
P( X 1 … X k 2 中有奇数个 1) = P( X 1 … X k 2 中有偶数个 1) =
∴P( a 1 b1 ) =
P( a 2 b1 ) = P( a 3 b1 ) =
满足 H(X Y) 取最大值
2.11 证明：
p( xyz ) p ( x) p ( y | x) p( z / y ) I ( X ; Z | Y ) 0, I ( X ;Y ) I ( X ;Y | Z ) I ( X ;Y ; Z ) I ( X ; Z ) I ( X ; Z | Y ) I ( X ; Z ) 0 故 I ( X ; Y ) I ( X ; Y | Z ) 成立
1 2 1 2 1 2 1 2 1 4 1 4 1 4
（注意，这里 k≤N－1）
Q bi t.
5d
6d .
P( X k 1 =0| X 1 … X k 2 中有偶数个 1) = P( X k =1| X 1 … X k 2 中有偶数个 1) = P( X k =0| X 1 … X k 2 中有偶数个 1) =
P( X k 1 =1| X 1 … X k 2 中有奇数个 1) = P( X k 1 =0| X 1 … X k 2 中有奇数个 1) = P( X k =1| X 1 … X k 2 中有奇数个 1) = P( X k =0| X 1 … X k 2 中有奇数个 1) =
Q
2.3 1) H(X) = 0.918 bit , H(Y) = 0.918 bit
2) H(X|Y) =
2 2 2 bit , H(Y|X) = bit , H(X|251 bit , H(XYZ) = 1.585 bit
(2) Y的值取自 (a1 , a 2 , , a k 1 ), H (Y ) log(k 1), 故原式得证 X
Q
(3≤k≤N－1)
bi t.
1 4
1 4
5d
1 4
6d
1 4
.co
1 4
m
2.9 1) 实例如 2.5 题
2）考虑随机变量 X=Y=Z 的情况
co
m
1 2
6d .
取 P(X=0, Y=0, Z=0) = 则 I(X;Y|Z) = 0
P(X=1, Y=1, Z=1) =
1 2
Q bi t.
5d
2.10
2.14
1 1 1 P(X=n) = ( ) n 1 = ( )n 2 2 2
Q
bi t.
5d
6d
.co
m
2.15
Q bi t.
5d
2.16 证明：
P2 N ( a k )
6d .
2 2 12 2 (μ 1 μ 2） log 1 (nat) 2 2 2 2 1 2 1
n n 的概率为 pk ( ) ，其中 X 1 X 2 X N 中出现 a k 2N 2N ak ) n1 n 的概率为 pk ( 1 ) ， X N 1 X N 2 X 2 N 中出 N N
的频率为 PN ( a k )
1 N
I(X
n 1
n
现 ak 的频率为 PN ' (a k )
记 长 为 2N 随 机 序 列 X 1 X 2 X N X N 1 X 2 N 中 出 现 ak 的 频 率
1 2N
co
I(X
m 1 2N m
1 1 1 H(X) = ( ) n 1 log( ) n = 2 n 1 2 2
m
ak ) =
N
n( 2 )
1
n
= 2 bit
I(X;Y) = 1 满足 I(X;Y|Z)＜I(X;Y) 1 3 1 6 1 6 1 12 1 24 1 24 1 12 1 24 1 24
H(X Y) ≤ H(X) + H(Y) 等号在 X、Y 独立时取得 P( a 1 b 2 ) = P( a 2 b 2 ) = P( a 3 b 2 ) = P( a 1 b 3 ) = P( a 2 b 3 ) = P( a 3 b 3 ) =
2.12 证明：
H ( XYZ ) H ( XZ ) H (Y | XZ ) I (Y ; Z | X ) H (Y | X ) H (Y | XZ ) H ( XYZ ) H ( XZ ) H (Y | X ) I (Y ; Z | X )
2.13 证明：
I ( X ;Y ; Z ) I ( X ;Y ) I ( X ;Y | Z ) H ( X ) H ( X | Y ) H (Y | Z ) H (Y | XZ ) H ( X ) H ( X | Y ) H (Y | Z ) H ( XYZ ) H ( XZ ) H ( XYZ ) H ( X | Y ) H (Y | Z ) H ( Z | X ) 而等式右边 H ( XYZ ) H ( X ) H (Y ) H ( Z ) H ( X ) H ( X | Y ) H (Y ) H (Y | Z ) H ( Z ) H ( Z | X ) H ( XYZ ) H ( X | Y ) H (Y | Z ) H ( Z | X ) 故左式 右式，原式成立
2.7 证明： I(X;Y;Z) = I(X;Y)－I(X;Y|Z)
= I(X;Z)－I(X;Z|Y)
∵A, B 处理器独立， ∴I(X;Z|Y) = 0 ∴I(X;Z) = I(X;Y)－I(X;Y|Z) ≤ I(X;Y) 等号于 p(x/yz) = p(x)下成立
I( X 1 ; X 2 ) = 1 bit N≠2 时， I( X k 1 ; X k | X 1 … X k 2 ) (3≤k)
1 1 ;q= 2 2
P(X=0, Y=0, Z=0) =
P(X=1, Y=1, Z=0) =
5d
1 4
P(X=1, Y=1, Z=0) =
Q bi t.
1 4
P(X=1, Y=0, Z=1) =
1 4
2.6 解：
给出均匀分布 p( x)
1 ba
a x b 其中 b a 1 , 则h( X ) 0
P( X k 1 =0， X k =0| X 1 … X k 2 中有奇数个 1) =
P( X k 1 =0， X k =1| X 1 … X k 2 中有奇数个 1) = P( X k 1 =1， X k =0| X 1 … X k 2 中有奇数个 1) = P( X k 1 =1， X k =1| X 1 … X k 2 中有奇数个 1) = P( X k 1 =0， X k =0| X 1 … X k 2 中有偶数个 1) = P( X k 1 =0， X k =1| X 1 … X k 2 中有偶数个 1) = P( X k 1 =1， X k =0| X 1 … X k 2 中有偶数个 1) = P( X k 1 =1， X k =1| X 1 … X k 2 中有偶数个 1) =
1 N
n N 1
I(X
2N
n
ak )