信息论与编码基础绪论

1946年柯切尔尼柯夫 的学位论文“起伏噪声下的 潜在抗干扰理论”，根据最小错误概率准则和最小 均方误差准则研究了离散和连续信道的最佳接收问 题 1948年香农的权威性长文“通信的数学理论”，讨 论了信源和信道特性，1949年香农“噪声中的通 信”，上述两篇文章奠定了现代信息论的理论基础 此后，在基本理论和实际应用方面，信息论都得到 了巨大的发展
信息论
通信技术 概率论 随机过程 数理统计
相结合逐步发展而形成
的一门新兴科学
奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”
对信息论的研究内容一般有以下三种理解。
狭义信息论（经典信息论）：主要研究信息的测度、
信道容量以及信源和信道编码理论等问题。这部分内 容是信息论的基础理论，又称为香农信息论。
信源编码器：将信源的输出进行适当的变换，以提高信
息传输的有效性。 信道编码器：对信源编码器的输出进行变换，用增加多 余度的方法提高信道的抗干扰能力，以提高信息传输的 可靠性。
调制器：将信道编码器输出的数字序列变换为振幅、
频率或相位受到调制控制的形式，以适合在信道中 进行较长距离的传输。
信道：信号由发送端传输到接收端的媒介。
局限性：
把信息与物质、能量混同起来。所以，维纳关
于信息的定义是不确切的。
1948年，香农（C.E.Shannon）
发表了一篇著名的论文，“通信的数学理 论”。 他从研究通信系统传输的实质出发， 对信息作了科学的定义，并进行了定性和定 量的描述。
信息是事物运动状态或存在方式的不
确定性的描述。
就狭义而言，在通信中对信息的表达分为三个层次：信 号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的 层次。它是一个物理量，是一个载荷信息的实体，可测 量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是 一个物理量，但是可以定量地加以描述，它是具体物理 信号的进一步数学抽象，可将具体物理信号抽象为两大 类型： 离散(数字)消息，一组未知量，可用随机序列来描述： X=(X1…Xi…Xn) 连续(模拟)消息，未知量，它可用随机过程来描述： X( t, ω) 信息：它是更高层次哲学上的抽象，是信号与消息的 更高表达层次。
课程要求及评分标准
一 要求： • 认真听课
• 做好笔记
• 独立完成并按时交作业 二 教材及参考书: 1.电子教案 2.戴善荣,信息论与编码基础,机械工业出版业, 2005 3.沈振元, 通信系统原理(第10,11章) ,西安电子科技大学出版社
4.Rajan Bose, Information Theory, coding and Cryptography
选择的方式。 即使考虑选择的方法，但没有考虑各种可能选 择方法的统计特性。
1948年，维纳(N．Wiener)
在《控制论Baidu Nhomakorabea-动物和机器中通信与控制问题》 一书中，指出：“信息是信息，不是物质，也 不是能量”。将“信息”上升到“最基本概念” 的位置。 后来，维纳在《人有人的用处》一书中提出： “信息是人们适应外部世界并且使这种适应反 作用于外部世界的过程中，同外部世界进行互 相交换的内容的名称。”

信源(source)
信宿(sink)
信道(channel) 编码器(encoder))
译码器(decoder) 调制器(modulator) 解调器(demodulator) 加密（Encrypt） 解密（Decrypt）
信源编码(source)-提高有效性(提高传信率,或节省存储空间)
信道编码(channel coding)-提高抗干扰能力,减低误码率(也可以 用于减少发射功率,或增大传输距离) 保密编码-提高保密度, 防止被窃听或恶意修改 • 编码所面临的问题
消息：用文字等能够被人们感觉器官所感知的形式， 把客观物质运动和主观思维活动的状态表达出来。 知识：一种具有普遍和概括性质的高层次的信息 ， 以实践为基础，通过抽象思维，对客观事物规律性的 概括。 情报：是人们对于某个特定对象所见、所闻、所理解 而产生的知识 。
它们之间有着密切联系但不等同 ，信息的含义更深刻、广泛
• 信息论与编码之间的关系
编码导致了信息论，而信息论又为编码提供了理论的指导 （指出编码所能达到的理论极限）。
可靠性 使信源发出的消息经过信道传输以后，尽
可能准确地、不失真地再现于接收端。 有效性 经济性好，即用尽可能短的时间和尽可能 少的设备来传送—定数量的信息。 保密性 隐蔽和保护通信系统中传送的消息，使它 只能被授权接收者获取，而不能被未授权者接收和 理解。 认证性 接收者能正确判断所接收的消息的正确性， 验证消息的完整性，而不是伪造的和被窜改的。 有效性、可靠性、保密性和认证性四者构成现代通 信系统对信息传输的全面要求。
§3 信息论与编码技术的发展及应用
1 理论的建立： 2 发展： 狭义信息论→广义信息论， 单用户信息论→多用户 信息论
数据压缩、文本压缩、语音压缩、图象压缩
汉明码→线性分组码（CRC码、BCH码、RS码等）
→卷积码→TCM→Turbo码
古典密码→现代密码（分组密码、序列密码、公开密 钥密码）
3 应用：
信息论发展简史与现状
信息论是在长期的通信工程实践和理论研究的基础上 发展起来的。 一、简史 现代信息论实际上是从20世纪20年代奈奎斯特和哈特 莱的工作开始的。 1924年奈奎斯特(H．Nyquist)的 “影响电报速率因素 的确定” 一文，1928年哈特莱(R．V．Hartley) 的 “信息传输” 一文研究了通信系统传输信息的能力， 并给出了信息度量的方法
一般信息论（通信理论）：主要是研究信息传输和处
理问题，除了香农理论外，还包括噪声理论、信号滤 波和预测、统计检测和估计理论、调制理论以及信息 处理理论等。
广义信息论：广义信息论不仅包括上述两方面的内容，
而且包括所有与信息有关的领域，如模式识别、计算 机翻译、心理学、遗传学、语言学等等。
信息论是一门应用概率论、随机过程、数理统计
§2 编码的分类与作用
通信系统模型
信源
干扰 源 信宿
信源编码器
信源译码器
信道编码器
调 制 器
信道 编码信道
解 调 器
信道译码器
信源：产生消息和消息序列的来源。
消息可以是离散的，也可以是连续的（数据、 文字、语言、图像），通常信源的消息序列是随 机发生的，因此要用随机变量来描述。
编码器：把消息变换成适合于信道传输的信号。
信息论与编码基础
绪论
•信息与编码
•编码的分类与作用 •信息论与编码技术的发展及应用
•授课内容
•要求及评分标准
§1 信息与编码
1 什么是信息？
信息是消息中有意义的那一部分内容
2 消息、信息与信号的关系
信息蕴涵于消息之中，信号是消息的表现形式
3 编码：是为了提高通信或计算机存储系统的 有 效性、可靠性或安全性（或其他目的）对 消息进行的某种变换。 4 信息论：研究信息及其度量、信道容量、编 码所能达到的理论极限等内容的学科，又称 为通信的数学理论，对通信具有重大的指导 作用。
和近代代数的方法，来研究广义的信息传输、提 取和处理系统中一般规律的学科。
它的主要目的是提高信息系统的可靠性、有效性、
保密性和认证性，以便达到系统最优化；
它的主要内容(或分支)包括香农理论、编码理论、
维纳理论、检测和估计理论、信号设计和处理理 论、调制理论、随机噪声理论和密码学理论等。
本课程讨论香农信息理论及编码理论
典型的传输信道有明线、电缆、高频无线信道、 微波通道和光纤通道等；典型的存储媒介有磁芯、 磁鼓、磁盘、磁带等。
干扰源：对传输信道或存储媒介构成干扰的来源的总称。
干扰和噪声往往具有随机性，所以信道的特征也可以用概 率空间来描述；而噪声源的统计特性又是划分信道的依据。
干扰可以分为两类：1）加性干扰，它是由外界原因产 生的随机干扰，它与信道中传送的信号的统计特性无关， 因而信道的输出是输入和干扰的叠加；2）乘性干扰：信道 的输出信号可看成输入信号和一个时变参量相乘的结果。
授课内容
一、绪论(课本第1章)
二、信息论基础（课本第2,4章,通信原理第11章） • 信息及其度量 •平均信息量-熵 •互信息量 •信道容量 • 各种信息量之间的关系 三、信道编码（课本第5,6,7章,通信原理第10章）
四、信源编码（课本第3,8章）
• 基本定理 • 即时码（非续长码） •两种最优编码方法 （Shannon-Fano法，Huffman法） 五、伪随机序列及保密编码简介（课本第12章部分内容,通信 原理第11章第5节）
信息的概念
信息是信息论中最基本、最重要的概念，既抽象又
复杂 信息在日常生活中被认为是“消息”、“知识”、 “情报”等
“信息”不同于消息（在现代信息论形成之前，信息一直 被看作是通信中消息的同义词，没有严格的数学含义）， 消息是表现形式，信息是实质； “信息”不同于情报，情报的含义比“信息”窄的多， 一般只限于特殊的领域，是一类特殊的信息； 信息不同于信号，信号是承载消息的物理量； 信息不同于知识，知识是人们根据某种目的,从自然界收 集得来的数据中整理、概括、提取得到的有价值的信息， 是一种高层次的信息。
•纠错码-广泛用于通信（移动通信、卫星通信、深空 通信、数据通信、光纤通信等）、数字电视、数字广 播，计算机网络（INTERNET）、计算机存储系统以 及CD、DVD等。 •压缩编码-广泛用于通信（特别是多媒体通信、图象 通信）、数字电视、计算机存储系统以及CD、DVD 等。
•保密编码- 通信保密、计算机网络安全、电子商务、 银行业务以及IC卡等。
信息论研究现状



在香农理论基础上给出的最佳噪声通信系统模型近 年来正在成为现实； 在噪声中信号过滤与检测基础上发展起来的信号检 测理论和抗干扰编码基础上发展起来的编码理论已 成为现代信息论的两个重要分支； 此外，模糊信息处理、相对信息处理、主观信息处 理、智能信息处理、自动化信息控制等大量崭新课 题的研究也相继展开，使信息理论的面貌一新，并 将大大促进信息科学的发展。
解调器：从载波中提取信号，是调制的逆过程
信道译码器：利用信道编码时所提供的多余度，检查或纠
正数字序列中的错误。
信源译码器：把经过信道译码器核对过的信息序列转换成
适合接收者接收的信息形式。
信宿：消息传送的对象 （人或机器 ）。
在通信系统中形式上传输的是消息，但实质上传 输的是信息。消息只是表达信息的工具、载荷信息 的客体。显然，在通信中被利用的(亦即携带信息的) 实际客体是不重要的，而重要的是信息。 通信的结果是消除或部分消除不确定性从而获得 信息。
三 评分标准： 平时（作业+听课）：30% 考试：70%
什么是信息
关于信息的科学定义，到目前为止，国内外已
有不下百余种流行的说法，它们都是从不同的 侧面和不同的层次来揭示信息的本质的。
1928年，哈特莱(R．V．L Hartley)
在《信息传输》一文中提出：发信者所发出的 信息，就是他在通信符号表中选择符号的具体 方式
局限性：
定义不涉及到信息的价值和具体内容，只考虑
信息、消息和信号是既有区别又有联系的三个
不同的概念。 消息中包含信息，是信息的载体。 信号携带着消息，它是消息的运载工具。
信息可认为是由具体的物理信号、数学描述的消息的内
涵，即信号具体载荷的内容、消息描述的含义。 而信号则是抽象信息在物理层表达的外延； 消息则是抽象信息在数学层表达的外延。 同一信息，可以采用不同的信号形式(比如文字、语言、 图象等)来载荷；同一信息，也可以采用不同的数学表 达形式(比如离散或连续)来定量描述。 同一信号形式，比如“0”与“1”可以表达不同形式的 信息，比如无与有、断与通、低与高(电平)等等。