信息论与编码
信息论与编码课程设计
信息论与编码课程设计
一、课程背景
信息和通信技术的快速发展，使得我们的生活变得越来越依赖于数字信息处理。在现代通信系统中，信息的传输、存储、处理和安全性等方面的问题得到了广泛的关注和研究。而信息论和编码技术作为数字通信系统的基础知识和技能之一，对于了解数字通信和信息处理领域具有重要的意义。
二、课程目标
本门课程旨在使学生掌握以下内容：
1.熟悉信息论的基本概念和理论框架；
2.理解信源编码和信道编码的基本原理和实际应用；
3.掌握一些典型的编码技术，如香农编码、哈夫曼编码、CRC 等；
4.能够分析和评估不同的编码方案，并设计实际的编码系统；
5.熟练掌握 MATLAB 编程，通过编程实现和模拟不同的编码方案。
三、课程教学方式
本门课程采用讲授理论基础、案例分析、编码设计实践、编程实现等多种教学
方式相结合，注重理论与实践的结合，充分激发学生的学习兴趣和创新思维。
四、课程内容
1. 信息论基础
信息的概念和量化，信息的熵和条件熵，信息的熵编码和香农编码，信道容量
和误差概率等内容。
2. 信源编码
离散无记忆信源的编码，霍夫曼编码，自适应霍夫曼编码，算术编码等内容。
3. 信道编码
编码和译码的基本概念，线性块编码，循环冗余校验码CRC，卷积码，卷积码译码等内容。
4. 码量与码率控制
码率控制的概念，码率控制的基本方法，码率控制的实现等内容。
5. 信道编码的应用
无线通信系统中信道编码的应用，如GSM和CDMA系统等，数字电视的信道编码等内容。
五、课程设计
1. 课程设计目标
本门课程设计的目标是让学生通过实际的编码设计和仿真实现对课程所学理论知识的理解和掌握，提高学生的创新能力和实际应用能力。
信息论与编码
信息论与编码
信息论是一门研究信息传输、存储和处理的学科。它的基本概念是由克劳德·香农于20世纪40年代提出的。信息论涉及了许多重要的概念和原理，其中之一是编码。
编码是将信息从一种形式转换为另一种形式的过程。在信息论中，主要有两种编码方式：源编码和信道编码。
1. 源编码(Source Coding)：源编码是将信息源中的符号序列转换为较为紧凑的编码序列的过程。它的目标是减少信息的冗余度，实现信息的高效表示和传输。著名的源编码算法有霍夫曼编码和算术编码等。
2. 信道编码(Channel Coding)：信道编码是为了提高信息在信道传输过程中的可靠性而进行的编码处理。信道编码可以通过添加冗余信息来使原始信息转换为冗余编码序列，以增加错误检测和纠正的能力。常见的信道编码算法有海明码、卷积码和LDPC码等。
编码在通信中起着重要的作用，它可以实现对信息的压缩、保护和传输的控制。通过合理地选择编码方式和算法，可以在信息传输过程中提高传输效率和可靠性。信息论和编码理论为信息传输和存储领域的发展提供了理论基础和数学工具，广泛应用于通信系统、数据压缩、加密解密等领域。
信息论与编码第三版 第4章
【定理二】 离散对称信道，若信源（信道输入 集合）等概率分布，则信宿（信道输出集合）也 是等概率分布的；反之亦然。
【定理三】 实现DMC准对称信道的信道容量的信源分布为等概率分布。
信息论与编码
【例】信道输入符号集X = {x1, x2}，输出符号集Y = {y1, y2, y3, y4}，给定信 道转移概率矩阵为P，求该信道的信道容量C。
1 2 1 6
log
1/ 2ቤተ መጻሕፍቲ ባይዱ1/ 6 1/ 6
1 2 2 6
log
1/ 2 1/ 6 2/6 1/ 9
log 3
I ( x3 ; Y ) p ( y j / x3 ) log
j 1
6
log
log
3 6
log
3/ 6 1/ 6
log 3
1/18
上面三式均满足平均互信息量达到信道容量C的充要条件，故C = log3。
p( x) p( x)
信息论与编码
三．几类特殊信道的信道容量
1. 准对称信道 定义1：如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的 不同排列，则称该信道关于行（输入）对称。
0.1 P 0.2 0.2 0.7 0.7 0.1
定义2：如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的 不同排列，则称该信道关于列（输出）对称。
信息论与编码考研专业课资料
信息论与编码考研专业课资料信息论与编码是计算机科学与技术、通信工程等专业中的一门重要课程，它研究了信息传输和存储中的编码理论和方法。在信息时代的背景下，信息论与编码的知识对于数据的传输和存储具有重要意义。本文将介绍信息论与编码的基本概念、原理和应用，以及相关的考研专业课资料。
一、信息论与编码的基本概念
信息论是以量化信息的度量为基础，研究信息的传输、存储和处理等问题的科学。信息论的核心思想是信息的度量和编码理论。而编码是将信息从一种形式转换为另一种形式的过程。信息论与编码通过对信息传输和存储的分析和优化，提高了信息的传输效率和存储效率。
信息论的基本概念包括信息熵、信源编码、信道编码和误差控制编码等。信息熵是评价信息源中信息量的度量，代表了信息的平均不确定性。信源编码则是通过对信息源输出进行编码，从而减少信息的冗余度。信道编码是为了提高信道传输的可靠性，通过引入冗余信息来进行差错检测和纠正。误差控制编码则是为了在数据传输中检测和纠正错误。
二、信息论与编码的原理
信息论与编码的原理主要包括熵编码、区块编码和线性编码等。
1. 熵编码是一种无损数据压缩技术，它通过将出现频率高的符号用
较少的比特表示，将出现频率低的符号用较多的比特表示，从而达到
压缩数据的目的。常见的熵编码算法包括霍夫曼编码、算术编码等。
2. 区块编码是将一组数据同时进行编码的方法。这种编码的特点是
能够利用区块内数据的关联性，从而进一步提高编码的效率。常见的
区块编码方法包括字典编码、预测编码等。
3. 线性编码是一种常见的信道编码方法，它通过引入冗余信息来检
《信息论与编码》第5章哈夫曼编码
什么是哈夫曼编码方法
1952年由美国计算机科学家戴维· 哈夫曼先生提出 是一种数据压缩技术 该方法依据字符出现的概率进行编码 ，其基本思想为： 出现概率高的字符使用较短的编码 出现概率低的则使用较长的编码 使编码之后的码字的平均长度最短
哈夫曼编码方法
哈夫曼编码方法包含两个过程
OC
输出OC 到哈夫曼译码系统之外 返回开头
W
简易哈夫曼编码/译码系统
哈 夫 代码报文CC和字符频度表W 曼 构建哈夫曼树 编 根据字符频度表W 码 进行哈夫曼译码形成原码报文OC 系 统 根据代码报文CC 功 哈夫曼树HT 能 流 字符频度表W 程 输出 输入
原码报文OC
构建哈夫曼树
HT
W
CC
进行哈夫曼译码
形成原码报文
W=（（a，2），（d，7），（i，5），（n，4））
哈夫曼算法
构建哈夫曼树例一
4个字母{ a,d,i,n } 在电文中出现的概率分别为{ 2,7,5,4}
a d i n
2
7
5
4
2
6
4 5
11
6 2 d 7 4 i
18
11 5 6
2
a
4
n
哈夫曼算法
《信息论与编码》课件
目录
contents
信息论基础信源编码信道编码加密编码信息论的应用
信息论基础
01
信息定义
信息是消除不确定性的东西。
信息性质
信息具有可传递性、可共享性、可重复利用性等性质。
互信息表示两个随机变量之间的相关性，即一个随机变量的不确定性减少时，另一个随机变量的不确定性也随之减少的程度。
定义
RSA（Rivest-Shamir-Adleman）、ECC（椭圆曲线加密）等。
常见的非对称加密算法
密钥管理相对简单，安全性较高。
优点
加密速度较慢，通常比对称加密算法慢几个数量级。
缺点
定义
哈希函数是一种将任意长度的数据映射为固定长度哈希值的函数。
常见的哈希函数
MD5（Message Digest Algorithm 5）、SHA（Secure Hash Algorithm）等。
预测编码是一种基于数据预测的编码方式，它通过消除数据中的冗余信息来减少存储空间或传输时间。
信道编码
03
总结词
线性分组码是一种将信息序列分组后，用线性方程组表示每个分组码字的编码方式。
详细描述
线性分组码通过将信息序列分组，并利用线性代数知识对每个分组进行编码，生成相应的码字。这种编码方式具有简单、易于实现和错误纠正能力强的优点。常见的线性分组码包括汉明码、格雷码等。
信息论与编码(伴随式译码)
互信息用于度量两个随机变量之间的相关性，其值越大，两个随机变量的相关性越强。条件互信息是在给定第三 个随机变量条件下度量两个随机变量之间的相关性，其值越大，在给定条件下两个随机变量的相关性越强。互信 息和条件互信息在信息论中广泛应用于信号处理、数据压缩等领域。
02 信源编码
无损编码
总结词
非线性编码
非线性编码是一种更复杂的编码方式，它将输入信息映射到一个非线性空间中的 码字。非线性编码具有更好的抗干扰性能和更低的误码率，但编码和解码的复杂 度较高。
线性分组码
定义
线性分组码是一种将输入信息分成若 干组，然后对每组进行线性编码的信 道编码方式。线性分组码具有较低的 编码复杂度和较好的解码性能，但可 能存在较高的误码率。
信息论与编码(伴随式译码)
目录
• 信息论基础 • 信源编码 • 信道编码 • 伴随式译码 • 编码在实际通信系统中的应用
01 信息论基础
信息量的定义与性质
总结词
信息量是衡量信息不确定性的量，具有非负性、对称性、可加性等性质。
详细描述
信息量用于度量信息的不确定性，其值越大，信息的不确定性越小。信息量具 有非负性，即信息量永远为非负值；对称性，即两个等概率事件的信息量相同； 可加性，即两个独立事件的信息量可以相加。
伴随式译码算法的性能和复杂 度取决于所选用的信道编码方 案、检测算法以及参数设置等 因素。
《信息论与编码》课程教学大纲
《信息论与编码》课程教学大纲
一、课程基本信息
课程代码：16052603
课程名称：信息论与编码
英文名称：Information Theory and Coding
课程类别：专业课
学时：48
学分：3
适用对象:信息与计算科学
考核方式：考试
先修课程：数学分析、高等代数、概率论
二、课程简介
《信息论与编码》是信息科学类专业本科生必修的专业理论课程。通过本课程的学习，学生将了解和掌握信息度量和信道容量的基本概念、信源和信道特性、编码理论等，为以后深入学习信息与通信类课程、为将来从事信息处理方面的实际工作打下基础。
本课程的主要内容包括：信息的度量、信源和信源熵、信道及信道容量、无失真信源编码、有噪信道编码等。
Information Theory and Coding is a compulsory professional theory course for undergraduates in information science. Through this course, students will understand and master the basic concepts of information measurement and channel capacity, source and channel characteristics, coding theory, etc., lay the foundation for the future in-depth study of information and communication courses, for the future to engage in information processing in the actual work.
信息论与编码
信息论与编码
第⼀章
1、信息,信号,消息的区别
信息：是事物运动状态或存在⽅式的不确定性的描述消息是信息的载体，信号是消息的运载⼯具。
2、1948年以“通信的数学理论”（A mathematical theory of communication ）为题公开发表，标志着信息论的正式诞⽣。信息论创始⼈：C.E.Shannon(⾹农)
第⼆章
1、⾃信息量：⼀个随机事件发⽣某⼀结果后所带来的信息量称为⾃信息量，简称⾃信息。
单位：⽐特(2为底)、奈特、笛特（哈特）
2、⾃信息量的性质（1）是⾮负值
（2） =1时， =0， =1说明该事件是必然事件。（3） =0时， = ， =0说明该事件是不可能事件。（4）是的单调递减函数。
3、信源熵：各离散消息⾃信息量的数学期望，即信源的平均信息量。
)(log )(])(1
[log )]([)( 21
2i n
i i i i a p a p a p E a I E X H ∑=-===
单位：⽐特/符号。（底数不同，单位不同）信源的信息熵；⾹农熵；⽆条件熵；熵函数；熵。 4、信源熵与信息量的⽐较
（书14页例2.2.2）
()log () 2.1.3 i i I a p a =-（）
5、信源熵的意义（含义）:
（1）信源熵H(X)表⽰信源输出后，离散消息所提供的平均信息量。（2）信源熵H(X)表⽰信源输出前，信源的平均不确定度。（3）信源熵H(X)反映了变量X 的随机性。 6、条件熵：
（书15页例2.2.3） 7、联合熵：
8、信源熵,条件熵,联合熵三者之间的关系:
H(XY)= H(X)＋H(Y/X) H(XY)= H(Y)＋H(X/Y)
信息论与编码原理
信息论与编码原理
信息论与编码原理是现代通信领域中的重要理论基础，它涉及到信息的传输、
存储和处理等方面，对于信息技术的发展和应用具有重要的指导意义。信息论是由美国数学家克劳德·香农于1948年提出的，它主要研究信息的量化、传输和保密
等问题。而编码原理则是指对信息进行编码和解码的方法和原理，它是信息论的重要应用领域之一。
信息论的基本概念包括信息的度量、信息的传输和存储、信道容量等。首先，
信息的度量是指用来衡量信息量的大小，通常使用的是香农提出的信息熵来度量信息的不确定性。信息熵越大，表示信息的不确定性越高，反之则表示信息的不确定性越低。其次，信息的传输和存储是指如何在通信系统中传输和存储信息，这涉及到信道编码、调制解调、多路复用等技术。最后，信道容量是指在给定的信道条件下，最大的传输速率，它是通信系统设计的重要参考指标。
在信息论的基础上，编码原理主要研究如何将信息进行编码和解码，以便在传
输和存储过程中提高信息的可靠性和效率。编码原理主要包括信源编码、信道编码和误差控制编码等内容。首先，信源编码是指对来自信源的信息进行编码，以便在传输和存储过程中减少信息的冗余度，提高信息的压缩率。其次，信道编码是指在信道传输过程中对信息进行编码，以提高信息的可靠性和抗干扰能力。最后，误差控制编码是指在传输过程中对信息进行编码，以便在接收端对传输过程中产生的误差进行检测和纠正。
信息论与编码原理在现代通信系统中有着广泛的应用，它为通信系统的设计和
优化提供了重要的理论基础。在数字通信系统中，信息论和编码原理被广泛应用于调制解调、信道编码、多路复用、分组交换等方面，以提高通信系统的性能和可靠性。在无线通信系统中，信息论和编码原理被应用于多天线技术、自适应调制调试、功率控制等方面，以提高无线通信系统的容量和覆盖范围。在互联网和移动通信领
信息论与编码基础绪论
1946年柯切尔尼柯夫 的学位论文“起伏噪声下的 潜在抗干扰理论”，根据最小错误概率准则和最小 均方误差准则研究了离散和连续信道的最佳接收问 题 1948年香农的权威性长文“通信的数学理论”，讨 论了信源和信道特性，1949年香农“噪声中的通 信”，上述两篇文章奠定了现代信息论的理论基础 此后，在基本理论和实际应用方面，信息论都得到 了巨大的发展
信息论
通信技术 概率论 随机过程 数理统计
相结合逐步发展而形成
的一门新兴科学
奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”
对信息论的研究内容一般有以下三种理解。
狭义信息论（经典信息论）：主要研究信息的测度、
信道容量以及信源和信道编码理论等问题。这部分内 容是信息论的基础理论，又称为香农信息论。
信源编码器：将信源的输出进行适当的变换，以提高信
息传输的有效性。 信道编码器：对信源编码器的输出进行变换，用增加多 余度的方法提高信道的抗干扰能力，以提高信息传输的 可靠性。
调制器：将信道编码器输出的数字序列变换为振幅、
频率或相位受到调制控制的形式，以适合在信道中 进行较长距离的传输。
信道：信号由发送端传输到接收端的媒介。
局限性：
把信息与物质、能量混同起来。所以，维纳关
于信息的定义是不确切的。
信息论与编码在生活中的应用
信息论与编码在生活中的应用
1. 数据压缩：通过使用编码技术，可以将大量的数据压缩成较小的文件，使得数据更加容易传输和存储。现实中的应用包括压缩软件、视频、音频、图像等。
2. 通信系统：信息论也被广泛应用于现代通信系统中，例如数据传输、无线通信等。通过编码技术，可以使得数据传输更加可靠、安全和高效。
3. 错误校验和纠错码：信息论的原理也用于错误校验和纠错码中。例如，Reed-Solomon纠错码可以通过添加冗余信息以纠正数据传输中的错误。
4. 网络安全：信息论技术可以用于加密和解密数据，从而保护个人隐私和商业机密。例如，AES加密算法和RSA公钥加密算法。
5. 生物信息学：在生物信息学中，信息论被广泛应用于基因序列分析和DNA编码等方面。
6. 图像处理：信息论和编码技术也被广泛应用于数字图像处理和压缩。例如，JPEG和PNG图像压缩算法。
7. 智能手机：现代智能手机中广泛运用信息论和编码技术，例如移动通信、GPS跟踪和即时通讯等。
8. 人工智能：信息论和编码技术也被广泛应用于人工智能中，例如机器学习、深度学习和数据挖掘等。
信息论与编码(伴随式译码) (1)概述
2022年3月23日
16
举例说明信道编译码在实际应用中的实现方法
1. 汉明码概念——汉明码是能纠正单个错误的线性分组 码。如(n,k)码，它有以下特点：
码长
n=2m-1
信息码位 k=2m-m-1
监督码位 r=m=n-k
最小码距 d=3
纠错能力 t=1
这里m是正整数，m≥2。如(3,1)码、(7,4)码、(15,11)码等。
1 0 1 1 0 0 0 H 1 1 1 0 1 0 0
1 1 0 0 0 1 0 0 1 1 0 0 0 1
伴随式
Si=（s1 s2 s3 s4 ）
错误图案
Ei=（ e1 e2 e3 e4 e5 e6 e7 ）
2022年3月23日
8
5.4.3 线性分组码的生成矩阵、校验矩阵、伴随式译码
1 0 0 1 1 1 0
例1 若线性分组码生成矩阵为：G 0 1 0 0 1 1 1
0 0 1 1 1 0 1
4. 伴随式有 2r=16个，由 S E H T 得到8个伴随式的译码表为：
伴随式
错误图案
1 0 1 1 0 0 0 Si=（s1 s2 s3 s4 ）
H 1 1 1 0 1 0 0 1 1 0 0 0 1 0 0 1 1 0 0 0 1
1 G 0
0 1
0 0
信息论与编码第1章
第一章绪论（第一讲）
（2课时）
主要内容：（1）教学目标（2）教学计划（3）参考书（4）考试问题（5）信息论的基本概念（6）信息论发展简史和现状（7）通信系统的基本模型
重点：通信系统的基本模型
难点：通信系统的基本模型
特别提示：运用
说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。
信息论与编码(Informatic s & Coding)
开场白
教学目标：本课程主要讲解香农信息论的基本理论、基本概念和基本方法，以及编码的理论和实现原理。介绍信息的统计度量，离散信源，离散信道和信道容量；然后介绍无失真信源编码、有噪信道编码，以及限失真信源编码等，然后介绍信道编码理论，最后也简单介绍了密码学的一些知识。
教学重点：信息度量、无失真信源编码、限失真信源编码、信道编码的基本理论及实现原理。
教学计划：信息论：约20学时
信道编码：约19学时
*密码学：约8学时
参考书：
1．信息论与编码，曹雪虹张宗橙编，北京邮电大学出版社，2001
2．信息论—基础理论与应用，傅祖芸编著，电子工业出版社，2001
3．信息理论与编码，姜丹钱玉美编著
4．信息论与编码，吴伯修归绍升祝宗泰俞槐铨编著，1987
考试问题：
第一章绪论
信息论的基本概念
信息论发展简史和现状
通信系统的基本模型
§1.1 信息论的基本概念
信息论是一门应用近代数理统计方法来研究信息的传输和处理的科学。
在涉及这门课程的具体内容之前，很有必要在引言中，首先放宽视野，从一般意义上描述、阐明信息的基本含意。然后，再把眼光收缩到信息论的特定的研究范围中，指明信息论的假设前提，和解决问题的基本思路。这样，就有可能帮助读者，在学习、研究这门课程之前，建立起一个正确的思维方式，有一个正确的思路，以便深刻理解、准确把握以下各章节的具体内容。
信息论与编码
信息论与编码
《信息论与编码》复习提纲第1章绪论
1、信息的概念，通俗、⼴义、狭义的概念
2、信息、消息、信号
3、通信系统模型
4、通信系统的技术指标，有效性、可靠性
第2章信源与信息熵
1、信源的分类
2、信源的数学模型
3、马尔克夫信源
4、离散信源的⾃信息、信息熵
5、条件熵和联合熵
6、互信息及其性质
7、条件熵之间的关系，维拉图
8、信息熵的性质
9、信息熵的计算，各种概率的计算、各种熵的计算（例2-9, p.21）
10、连续信源的熵，绝对熵和相对熵
11、最⼤熵定理，峰值功率受限、平均功率受限
12、离散序列信源的熵，平均符号熵、条件熵、极限熵
13、信源冗余度及产⽣的原因
第3章信道与信道容量
1、信道模型，转移矩阵、
2、信道种类：BSC、DMC、离散时间⽆记忆信道、波形信道
3、信道容量的定义
4、⼏种特殊信道的信道容量、BSC信道C~ε曲线
5、离散序列信道及其容量（BSC⼆次扩展信道）
6、连续信道及其容量，Shannon公式
7、信源与信道的匹配，信道冗余度
第4章信息率失真函数
1、失真函数、失真矩阵、平均失真
2、信息率失真函数，定义、物理意义，保真度准则
3、信息率失真函数的性质，信息率失真函数曲线
4、信息率失真函数与信道容量的⽐较
5、某些特殊情况下R(D) 的表⽰式
第5章信源编码
1、信源编码的基本概念（主要任务、基本途径）
2、码的基本概念、分类
3、唯⼀可译码的含义，充要条件
4、码树图及即时码的判别
5、定长编码定理，编码信息率，编码效率
6、变长编码定理（Shannon第⼀定理），编码剩余度，紧致码
7、Shannon编码，⾃信息与码长的联系
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第2章离散信息的度量
本章主要内容
（1）自信息的概念
（2）平均自信息的概念（信源熵的概念）
（3）互信息的概念
（4）平均互信息的概念
（5）相对熵的概念
在通信系统中，信源发出的不同消息携带不同的信息量，不同的信源输出信息的能力也不同；同一消息通过载体信号在不同的信道中传输后，接收端获得的信息量不同，不同的信道传递信息的能力也不同。为了衡量一个通信系统质量好坏，必须有一些评价标准。例如误码率、接收信噪比、传信率等。而系统的传信率就是指单位时间内信道所传递的信息量。为了评价系统的传信率，必须对消息或信源所含有的信息有一个数量上的度量方法。这就是我们要研究信息度量的目的。
本章将介绍信息度量的一些基础概念。
2.1自信息
信源发出的消息的形式可以是语言、文字、公式、数据、声音、图像等等。信源发出信息，通过信道传送信息。假如学生上课时，教师在全部时间内仅反复说一句同样的话。显然，从后面教师（信源）发出的同一句话（消息）中，学生（信宿）得不到任何信息。同样的，把“2008年在北京召开了奥运会”这样一则消息告诉大家，那么大家也不会从中获得任何信息。从这些例子我们可以看出，学生要想再课堂上获得信息，必须要从教师那里学到事先不知道的知识。也就是说，对于信宿来说，使其获得解惑的是消息中的未知部分，借助通信，信宿明确了原来不明确的一些事情，获得了一些信息。一则消息包含有多少信息量，通过理想信道传输后信宿就可以获得多少信息量（或说消除了多少不确定性）。
2.1.1 自信息的定义
绪论中我们给出了香农对于信息的定义：信息是客观事物存在方式或运动状态的不确定性的描述。一般地说，信源要发出的消息的状态应该存在着某种程度的不确定性，通过通信，将信息传给了收信者，收信者得到信息之后，消除了不确定性。这里所说的不确定性，也就是随机性，不确定性程度可以直观地看成是猜测某些随机事件是否会发生的难易程度。我们可以用概率统计方法来描述随机事件发生后提供信息的大小。即概率大的事件，出现的可能性大，不确定性小，事件发生后带给我们的信息量就少。反之，小概率事件出现的可能性小，不确定性大，事件发生后带给我们的信息量就多。
定义2.1 随机事件i x 的自信息量定义为
()log ()=-i r i I x p x
（2.1）
由定义可以看出，随机事件所含信息量的多少用消息出现概率的对数的负值来表示。 下面我们借助通信过程的研究来分析自信息量的含义。对应在通信系统中，信源发出消息（符号）i x 的概率为()i p x ，则i x 含有的自信息量即为)(i x I ，正确传输，收信者就可以获得)(i x I 这么多的信息量。而通信过程发生前，信源发出的消息存在某种不确定性，借助通信，信宿明确了原来不明确的一些事情，获得了一些信息。通信过程消除掉的不确定性越多，信宿获得信息量就越大。所以通信系统中，自信息量)(i x I 的含义可以由两方面来理解：
（1） 表示信源发出符号i x 前，发出符号i x 的不确定性的大小；
（2） 表示信源发出符号i x 后，符号i x 提供的信息量的多少。
由定义我们可以绘制出自信息量的函数曲线如图2.1所示。
图2.1 自信息量
由图中我们可以看出
（1） 自信息量非负，即()0i I x ≥。
（2） 消息i x 的自信息量是消息i x 出现概率()i p x 的单调递减函数，即若
12()()p x p x <，则有12()()I x I x >。
（3） 当()0i p x =，()i I x →∞；当()1i p x =，()0i I x =。
自信息量的单位与所用对数的底有关，常用的底数有2、e （自然对数）和10，相应的单位分别为比特(bit ，binary unit)、奈特（nat ，natural unit ）和哈特莱（Hart ，Hartley ）。三个信息单位之间的转换关系如下：
1nat=2log e ≈1.433 bit
1Hart 2log 10=≈3.322 bit
同理有
1 r 进制单位2=log r bit
如果使用底为r 的对数，自信息量的单位就是r 进制单位。本书如无特殊说明，一般选用对数底为2，因而自信息的量纲一般用比特表示。若取底数为2时，对数的底常省略。
【例2.1】一副充分洗乱了的扑克牌（52张），问：
（1） 任一特定排列所给出的信息量是多少？
（2） 若从中抽出4张牌，花色各不相同时得到的信息量是多少？
解 （1） 设任一特定排列为事件i x ，则有
221()log ()log 52!
=-=-=i i I x p x 225.6 bit 加入底数2 （2） 设抽出4张花色各不相同的牌为事件b ，则有 4
22452
13()log ()log =-=-=j j I y p y C 3.5 bit 加入底数2 2.1.2 条件自信息的定义
通信系统中，人们关心的是发送符号i x 经传输输出符号j y 的概率多大？或反之，在接
收端收到符号j y 后，能以多大概率判断发送的符号为i x ？也就是说我们还要关心条件概率问题以及相应的条件自信息问题。
定义2.2 事件j y 在事件i x 给定的条件下的条件自信息量为
(/)log (/)j i j i I y x p y x =- （2.2）
通信系统中，设信源发出符号i x 后，信宿收到符号j y 的概率为(/)j i p y x ，则已知发端发送符号i x 的条件下，收端收到符号j y 的条件事件的信息量即为条件自信息量(/)j i I y x 。
通信系统中，条件自信息量(/)j i I y x 的含义可以由两方面来理解：
（1） 表示在信源发出符号i x 条件下，信宿收到符号j y 的不确定性的大小；
（2） 表示在信源发出符号i x 条件下，信宿收到符号j y 后获得的信息量的多少。
【例2.2】一副充分洗乱了的扑克牌（52张），问：
（1） 第一次取出一张牌为红桃，求第二次取出一张牌仍为红桃的事件所给出的信息量
是多少？
（2） 第一次取出一张牌为红桃，求第二次取出一张牌仍为梅花的事件所给出的信息量
是多少？
解 （1） 设第一次取出一张红桃的事件为a ，第二次取出一张红桃的事件为b ，则有
2212(/)log (/)log 2.0951
I b a p b a bit =-=-= （2） 设第一次取出一张红桃的事件为a ，第二次取出一张梅花的事件为c ，则有
2213(/)log (/)log 1.9751
I c a p c a bit =-=-= 2.1.3 联合自信息的定义
定义2.3 事件i x 和事件j y 的联合概率为()i j p x y ，则定义i x 和j y 的联合自信息量为
()log ()i j i j I x y p x y =- （2.3）
通信系统中，若信源发出符号i x 后，信宿收到符号j y 的联合概率为()i j p x y ，则发端