信息论chapt1,2

信息传递是否准确可 靠→与干扰有关。
信宿 （含译码、解密）
Chapter 1 Introduction
3）研究信息传输的保密性与认证性
信源 （含编码） 信道 (含信道编、译码)
信息是否只为授权者接收、 接收者能否正确判断所接受 消息→与干扰无关。
信宿 （含信源译码）
1.3.3 本课程主要讨论内容
本课程主要介绍信息论的基础内容，可概括为： 香农信息论梗概 （1）信息的度量:这是信息论建立的基础，给出了各种信息量和各种熵 的概念。 （2）无失真信源编码:最主要的结论是Shannon 第一定理以及各种信源 编码的方法。 （3）信道编码:给出了信息传输速率、信道容量等概念，最主要的结论 是Shannon 第二定理，以及基于该定理的各种信道编码，如分组码、卷 积码等
1.3 信息论研究的主要对象、目的与内容 1.3.1 主要研究对象——通信系统(communication systems)
通信系统的模型(modeling)如下图:
Chapter 1 Introduction
Noise Source Encoder Channel
Decoder
Sink
图1.1 通信系统模型
• 经济学中财富的增长率与股票市场 的熵率有对偶关系。 • 计算受制通信速度，而通信又受制 与计算速度。二者互相影响。以信 息论为基础通信理论会对计算理论 有影响。
教材
傅祖芸，信息论基础理论与应用；
Robert gallager ‘information theory and reliable communication’ 大家以后学会习惯外文教材和文献
信息论基础 Information theory
用数学方法研究信息的传输（存储）及转换处理的理论 又名： mathematic theory of Communication （关于通信的数学理论）
满蔚仕 教5-712
Why this book? authority ,better than most of domestic ones. No good translation
江南大雪纷飞、拉登在美国头上“动土” „ 类似事件之所以新奇， 听到后颇感“收获” → 大小，与该事件发生概率的大小有关。发生 概率越小的随机事件，所含信息量越大。发生概率越大的随机事件，所 含信息量越小。
Chapter 1 Introduction
shannon’s 定义— more scientific，because: 揭示了信息的本质(essences)。 事物发生的不确定性是信息的本质体现(at least part of)。 体会下面的三句话，描述一个人在正常情况下就餐情况: “他每天都吃饭”（certain，uninformative）； “他每天都吃米饭”（ what he like , uncertain）； “他每天都吃八大碗米饭”（like and how many , uncertain ）。 指出了人们通常概念上的消息(Message)与信息(Information) 的差别。 消息: 事物运动状态或存在方式 一条消息中可能 消息不等于信息; 的描述; 消息中包含有信息; 会含有大量、也 信息: 事物运动状态或存在方式 可能很少信息(如 消息载荷信息 。 的不确定性的描述; 上例) 信息也不等于知识(Knowledge)。 知识—人们对事物所获得的认识与经验总结（known）。 信息—事物存在或运动状态不确定性描述（unknown, unpredictable)。
信息论与编码的关系
• • • • • • • 信息论与编码的关系 • 信息论为编码提供了理论基础，编码是信息论的应用 • 编码历史上的几次大突破 • 1. 1950 Hamming的分组码 • 2. 1967 Viterbi的卷积码译码算法 • 3. 1993 Turbo码的发现和Turbo译码算法
信源(Source ): 产生消息或消息序列的源。消息（如图像、文字等）携 带着信息。 信源可以是人、机器或其他事物，其状态（输出的消息）是随机、不 确定的，但具有一定的统计规律。 编码器(Encoder)：将信源输出的消息变换为方便传输的信号代码，含 调制、发送等变换处理。 编码可分为信源编码与信道编码： 信源编码 — 为提高信息传输效率。 信道编码 — 为提高信息传输可靠性。 为保证信息传输的安全性(防止伪造、窜改) — 保密编码。
信息论的奠基人(Shannon)
主要创始人是Shannon(1916-2001)
• • • • • • • • •
– 1940年 Doctor of MIT 美国科学家香农（C. E. Shannon）在1948年和1949年先后 发表的两篇文章“The mathematical theory of communication”和“Communication in the presence of noise”，奠定了信息论的基础。 香农在这两篇论文中，讨论了信息的度量、信息特征、信 息传输速率、信道容量、干扰对信息传输的影响等问题， 全部理论建立在信息是可以度量的基础上，但他没有给出 信息的定义，只是提出问题，分析问题，得出结论。
Chapter 2 Information measure
本章主要讨论信息的度量问题（量化描述），主要内容：
2.1 信息量：自信息、互信息、条件互信息量 2.2 熵（离散集）：熵、条件熵、共熵 2.3 平均互信息量：平均条件互信息量、平均互信息量 平均互信息量与各类熵关系(维拉图)
Chapter 2 Information measure
1.3.2 主要研究目的
保证信息传输的“四性” →有效性、可靠性、保密性、认证性。
Chapter 1 Introduction
有效性(validity): 以尽可能短的时间、尽可能少的设备，传输尽可能多的 信息。 可靠性(reliability): 排除干扰，尽可能准确、不失真传输并再现信源发出 的消息。 保密性(secrecy): 传送的消息原意只能为授权者接收或理解，不会被篡改。 认证性(authentication): 接收者能正确判断所接受消息的正确性与完整性。 根据不同研究目的，信息传输模型可作以下简化处理： 信息传递速度 1）研究信息传输的有效性： 快慢→与有无 干扰无关。 信源 信道 信宿 （含编码） （无干扰） （含译码） 2）研究信息传输的可靠性： 噪声 信源 （含编码、加密） 信道
1.2 关于信息的五大特点 (attributes or features) 1) 信息是无形的(bodiless)—只是事物的表征描述，与物质或能量不同。
2) 信息可以通过传递交流被共享(can be communized, but can’t be lost)。 3) 信息是无限的(infinite, never-ending)。它会不断更新、演化，产生新 信息→因为: 事物不断运动、变化,如,天体星座、人的状况…。 4）信息可独立于原来的事物或物质之外，却必须依存于物质载体而存 在(depend on substance for existence) →纸张、光盘、化石… 。 5）信息只有通过交流传递才能体现其价值。
Ieee information theory
这本教材的特点 Einstein quotation Everything should be made as simple as possible ,but no simple 凡事能减则简，但不要太简 Don’t make thing more complicated than they need to be ,but on The other hand if you take away two much then you lose Information. Thus everything has a minima form.
信息论与其他学科的关系
• 计算机科学 • 一组数据串的复杂度可以定义为计 算该数据所需要的最短二进制程序 的长度。 • 一般认为Kolmogorov复杂度比香农 熵更基础
信息论与其他学科的关系
• 物理学 • 孤立系统，熵永远增加。
• 通信中的熵和热力学中的熵的关系仍有科学家 关注
信息论与其他学科的关系
信息论回答了通信中的二个问 题
• 临界数据压缩的值（熵） • 临界通信传输速率（信道容量）
信息论回答了通信中的二个问 题
• 通信方面 • 纠正了通信理论认识误区，以前人们认 为：信息传输速率越高，出错的概率越 大，香农证明了只要通信的速率低于信 道容量，这个观点是不对的。 • 音乐等随机信号有一个不可再降低的复 杂度，低于这个复杂度，信号不可再压 缩，这个最低复杂度就是熵（香农熵）
Chapter 1 Introduction
Noise
Source
Encoder
Channel
Decoder
Sink
信道(Channel)：传输消息信号的媒介通道→电缆电线、光纤波导、无线 电波等。广义甚至有飞鸽传书、快马飞报、烽火示警等。 信道也可具有存储功能 →光盘、磁带等。 信号传输一般会受到随机干扰(Noise) 影响。将系统各部分受到的随机 干扰，等效折合到信道上 →分析方便。则，信道输出→ 叠加有随机干扰 的信号，可用随机过程、概率统计理论数学处理。 译码器(Decoder) ：将信道输出的叠加有随机干扰的编码信号进行反变 换，含接收处理、解调等。 译码也可分为信源译码、信道译码。 信宿(Sink): 消息传送的对象 →接受消息的人、机器等。
2.1 信息量(Information quantity)
人们日常谈话，对信息会有“量”的区分: “某报告信息量大”、“某 堂课信息量小”… 如何度量信息量大小？以一些日常话题为例：
设袋中装有99个红球、1个白球，若你听到如下消息： “他随意从袋中取出一个球就是红球” → 你会不以为然。 “他随意从袋中取一个球都能取到白球”→你会有些惊讶。