信息论基础简介

信源编译码
• 压缩编码：信源发出的消息（如普通文字）是有冗 余的，为了有效地进行通信，要对有冗余的消息先 进性无冗余或少冗余编码，即压缩编码。
• 信源编码理论：无失真信源编码、允许失真的率失 真理论。
• 实用压缩编码技术：Huffman码、算术码、 Shannon-Fano-Elias码、LZ/LZW压缩算法，等等。
看，结果出来了 wklv lv fdhvdu frgh
this is caesar code
我们建立起字母和数字之间的对应，如下表： abcdef ghi j kl m 0 1 2 3 4 5 6 7 8 9 10 11 12 n o p q r s t u v wx y z 13 14 15 16 17 18 19 20 21 22 23 24 25
Yes 信道编码: Yes=000 No=111
000
噪声
信道
接受者
0110
信道译码: YNeos if(0多于1) then “Yes”
else “No”
信息论体系结构
Shannon信息论
压缩理论
传输理论
无失真编码
有失真编码
等长编码 定理
Shannon 1948
McMillan 1953
变长编码 定理
信源 译码器
信道 译码器
信源
• 信源（Information Source）是信息的产生和发送者。 • 信源发出的信息为消息（Message），不考虑其语
意，而考虑它的统计特性。
• 消息包括无失真的文本消息、数据等以及允许失真 的语音、图像、影视信息等。
• 消息要经过发送器的变换，转换成适合于信道传输 的信号（Signal）。信号是随机的，不确定的，服 从一定的统计规律。
信道
我们可以看到此时传输这23个字只需要： (4+3+3)×1+(5×2)×2+3×3=39
个字符。这样就利用信息出现的频率减小了文字的冗 余度，使得传输更有效。
A ·— B — ··· C — ·— · D — ·· E· F ··— · G ——· H ···· I ··
J ·— — — K — ·— L ·— ·· M —— N —· O ——— P ·— — · Q — — ·— R ·— ·
则Caesar体制可用以下算法描述:(c为密文，m为明文) 加密算法： c=m+3 (mod 26) 解密算法： m=c-3 (mod 26)
将3换成不同的数，如5、11就得到不同的密码算法。
保密通讯模型
（干扰型）
非法入侵者
c’
搭线信道
（窃听型）
密码分析者
明文信源 m
加密器 c c=Ek(m) 信道
其他参考书： 1．《信息论基础与应用》，高等教育出版社，沈世镒、 吴忠华 . 2．《Coding and Information Theory》 Steven Roman.
信息论之父：Shannon
（Claude Shannon 克劳德·申农）
1916年4月30日，生于美国密西根州 的贝多斯克，2001年2月24日去世， 享年85岁
1936年获密西根大学数学和电机工程学学士学位
1938年获麻省理工学院（MIT）电机工程硕士学位
1940年获麻省理工学院（MIT）数学博士学位
解密器 m m=Dk(c)
ke 密钥源
kd
秘密信道
接受者
信息科学的发展与展望
• 信息论与智能计算问题 • 生物信息学
序列比对问题 蛋白质的空间结构预测问题 基因组编码区域与调控因子的识别问题
• 网络信息论与量子信息论
信息论基础 （第二版）
作者：叶中行 出版社：高等教育出版社 ISBN：9787040217957
信息论基础
——通讯中的问题
信息论简介
什么是信息？无线电波是信息么？
电波是信息么？
通信系统中形式上传输的是消息， 实质上传输的是信息，消息中包含 信息，消息是信息的载体。
信息是抽象的概念。
• 人类需要随时获取、传递、加工、利用信息。 • 语言（手势）—文字—印刷—现代通讯技术。
信息论是研究信息的基本性质及度量方法，研究
它的原理很简单，其实就是单字母的替换。让 我们看一个简单的例子：
wklv lv fdhvdu frgh
看上去这是一段没有意义的信息，似乎很“安全”。
现在尝试一下，把这段很难懂的东西每一个字 母换为字母表中前移3位的字母凯撒密码的字母对 应关系： abcdef ghi j kl m D E F GH I J K L MN OP n o p q r s t u v wx y z Q R S T U V WX Y Z A B C
Shannon 1948
McMillan 1956
率失真理论 Shannon Gallager Berger
Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978)
压缩编码 JPEG MPEG
信道编码定理
纠错码 编码调制理论
网络信息理论 网络最佳码
密码学
• 密码学研究信息在通信过程中的安全问题。 • 应用：政治、军事、经济、金融、商业、计算机
网络等。 • 安全服务：机密性、鉴别、完整性、不可抵赖、
访问控制，可用性等。 • 加密技术：DES，IDEA，AES，RSA，ElGamal，
椭圆曲线密码，流密码等。
凯撒密码的传说
在人类历史上，保护信息的需求与信息本身一 样历史久远。第一个用于加密和解密消息的文档化 数学“密码”是凯撒密码，是由凯撒本人创造的。 这是一个古老的加密方法，当年凯撒大帝行军打仗 时用这种方法进行通信，因此得名。
美国则是由一批数学修养很高的工程技术人员 致力于信息有效处理和可靠传输的可实现性
我国数学家和信息科学专家在20世纪 50年代将信息论引进中国。如胡国定、王 寿仁、万哲先、江泽培、蔡长年、章Байду номын сангаас止、 沈世镒等，为信息论的发展作出了自己的 贡献。
信源 接受者
通讯基本模型
信源 编码器
信道 编码器
噪声
信道 （存储介质）
刻舟求剑（有失真）
舟剑其水之不契求人江吾
00 01 02 03 04 05 06 07 08 09 10
信道
这些字出现的次数为：舟（4次），剑、其（各3 次），水、之、不、契、求（各2次），人、江、 吾（各1次）。则传输这23个字需要23×2=46个字 符。
舟剑其水之不契求人江吾
0 1 2 30 31 32 33 34 400 401 402
信息的有效处理和可靠传输的一般规律的科学。
• 狭义信息论，即通信的数学理论，主要研究狭义 信息的度量方法，研究各种信源、信道的描述和信 源、信道的编码定理。研究信息传输和处理问题。 • 广义信息论，包括信息论在自然和社会中的新的 应用，如模式识别、机器翻译、自学习自组织系统、 心理学、生物学、经济学、社会学等一切与信息问 题有关的领域。
只能用低于信道容量的速率来可靠的传输信息， 否则就会出现错误。
• 利用增加的冗信息进行纠错，形成了纠错技术， 如：Hamming码、Golay码、循环码、BCH码等。
消息=
Yes 信道编码: Yes=0
Yes 或 No
No=1
0
噪声
信道
接受者
10
YNeos
信道译码: 0=Yes
1=No
消息= Yes 或 No
1948年发表《通信的数学理论》，奠定了信息论的基础。
IEEE在1950年成立了信息论学会，于1973年设立申农讲 座，是国际信息论届的最高荣誉。
前苏联的辛钦(Shiqin)、柯尔莫哥洛夫 (Kolmogorov)、宾斯基(Pinsker)和达布鲁新 (Dabrushin)等一批著名数学家致力于信息论的 公理化体系和更一般的数学模型
• 严格意义上的信息编码起源于人们对概率的认识。
楚国有个人乘船渡江。剑从船上掉进水里了。 这个人便急忙在船边刻下一个记号，说："这 是我的剑掉下去的地方。"然后就悠闲地等着 船靠岸。船靠岸停下来以后，他就从刻记号的 地方跳进水里去找剑，可是再也没有找到剑。
楚人有涉江者，其剑自舟中坠 于水。遽契其舟，曰：“是吾 剑之所从坠。”舟止，从其所 契者入水求之。舟已行矣，而 剑不行。求剑若此，不亦惑乎！
S ··· T— U ··— V ···— W ·— — X — ··— Y — ·— — Z — — ··
莫尔斯电报码
信道编译码
• 信道：信息（信号）传输的通道。实际信道包括 电缆、光纤、微波、无线通讯等。存储介质包括 磁带、光盘等。
• 信道中通常会有噪声干扰，使传输的消息失真。 • 信道容量：信道的最大理论信息传输速率。信道