ch3-信息论与编码技术(MATLAB实现)-朱春华-清华大学出版社
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
平均互信息量定义
推论：
3.1.2 平均互信息量与平均条件互信息量
平均互信息量其它定义
从接收端看
从发送端看
从收发两端看
3.1.2 平均互信息量与平均条件互信息量
信道疑义度
条件熵H(X/Y)—信道上的干扰和噪声所造成的对信源符号 的平均不确定度．
噪声熵或散布度
条件熵H(Y/X)—可看作唯一地确定信道噪声所需要的平均 信息量．
第3章 信道与信道容量
3.1互信息 3.2 离散信道的数学模型与分类 3.3信道容量及其一般计算方法 3.4连续信道和波形信道的信道容量 3.5 信源与信道的匹配
3.1 互信息
3.1.1互信息量 3.1.2平均互信息量与平均条件互信息量 3.1.3平均互信息的特性 3.1.4平均互信息凸性的MATLAB分析
图3.2.2 信道数学模型
信道输入随机变量X 输出随机变量Y 输入已知的情况下，
输出的条件概率分布
P(Y/X)
3.2.2 信道的数学模型
二进制离散信道 二进制对称信道（BSC信道):对称的二进制输入、 二进制输出信道。
条件概率对称 p(Y 0 / X 1) p(Y 1/ X 0) p
后验概率
3.1.1 互信息量
收信者收到消息（符号） yj后，已经消除的不确定 性为：先验的不确定性减去尚存在的不确定性。 这就是收信者获得的信息量，定义为互信息量：
由此得互信息量：以上为香农关于信息的定义度量。
互信息的引出，使信息得到 了定量的表示，是信息论发 展的一个重要的里程碑。
3.1.1互信息量
3.2.1 信道的分类 3.2.2 信道的数学模型
3.2 离散信道的数学模型与分类
通信系统简化模型
信源
信道
信宿
噪声或干扰
图3.2.1 通信系统简化模型
3.2 离散信道的数学模型与分类
关于信道的主要问题有：
信道的建模（信道的统计特性的描述） 信道容量的计算 在有噪信道中能不能实现可靠传输？怎样实现可
靠传输？
实际通信中所利用 的各种物理通道
3.2.1 信道的分类
信道是指信息传输的通道，
包括空间传输和时间传输。
空间传输信道
将信息保存，在以后读取，如 磁带、光盘等在时间上将信息
进行传输的信道。
时间传输信道 信息经过的通道
特征：一个输入以及一个与输 入有关的输出。
广义信道
3.2.1 信道的分类
p(Y 1/ X 1) p(Y 0 / X 0) 1 p
3.1.2 平均互信息量与平均条件互信息量
全损离散信道
X与Y是相互独立的，无法从Y中去提取关于X的信息，即
3.1.2 平均互信息量与平均条件互信息量
无扰离散信道
Y是X的确定的一一对应函数，
——已知Y就完全解除了关于X的不确定度，所获得的信息就 是X的不确定度或熵。
疑义度: H(X/Y)=0 噪声熵: H(Y/X)=0 在一般情况下，X和Y既非相互独立，也Fra Baidu bibliotek是一一对应，那 么从Y获得X的信息必在零与H(X)之间，即常小于X的熵。
按其输入/输出信号在幅度和时间上的取值是离散或 连续来划分
幅度
离散 连续 连续 离散
时间
信道名称
离散 离散 连续 连续
离散信道（数字信道） 连续信道
模拟信道（波形信道） （理论和实用价值均很小）
3.2.1 信道的分类
按其输入/输出信号在幅度和时间上的取值是离散或 连续分为离散信道、连续信道和波形信道。
间相互通信的情况。
根据信道的统计特性是否随时间变化分为： 恒参信道（平稳信道）：信道的统计特性不随时间变化。
如卫星通信信道 随参信道（非平稳信道）：信道的统计特性随时间变化。
如短波通信信道。
3.2.2 信道的数学模型
信息论不研究信号在信道中传输的物理过程，
它假定信道的传输特性是已知的，这样信道就可 以用图3.2.2所示的抽象的数学模型来描述。
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.2
0.4
0.6
0.8
1
p
0.09
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
0
0
0.2
0.4
0.6
0.8
1
q
(a)互信息随信道转移概率的变化 (b) 互信息随信源输入概率的变化 图3.1.3二进制信道的平均互信息
3.2 离散信道的数学模型与分类
3.1.1 互信息量
互信息(量)定义
收信者所获取的信息量，在数量上等于通信前后 不确定性的消除(减少)的量。
3.1.1 互信息量
信源发某一符号xi，在接收端，对是否选择这个消 息（符号）的不确定性大小等于该消息（符号）的
自信息量：
先验概率
收端收到消息（符号） yj后，发送端发送的符号是 否是xi尚存在的不确定性应是后验概率的函数，即
3.1.3 平均互信息的特性
1.非负性
平均互信息是非负的，说明给定随机变量Y后，一般来说 总能消除一部分关于X的不确定性。
2.极值性
极值性说明从一个事件提取关于另一个事件的信息量， 至多只能是另一个事件的平均自信息量那么多，不会超过另 一事件本身所含的信息量。
3.1.3 平均互信息的特性
3.交互性（对称性） 对称性表示Y从X中获得关于的信息量等于X从Y中获得关于 的信息量。
4. 凸性
定理1 当条件概率分布
给定时，平均互信息
是输入分布
的上凸函数。
定理2 对于固定的输入分布
，平均互信息量
是条件概率分布
的下凸函数。
3.1.4 平均互信息凸性的MATLAB分析
二元信道的平均互信息随信源概率和信道转移概 率的变化如图3.1.3.
I(X;Y) I(X;Y)
1
0.9
0.8
0.7
按其输入/输出信号之间关系的记忆特性分为有记忆 信道和无记忆信道。
按输入/输出信号之间的关系是否确定分为有噪声信 道和无噪声信道。
3.2.1 信道的分类
根据信道输入和输出的个数可分为 两端信道（单用户信道）：一个输入端,一个输出端,单向通信。 多端信道（多用户信道）：双向通信或三个或更多个用户之
互信息量的其它定义
从接收端看 从发送端看 从收发两端看
3.1.2 平均互信息量与平均条件互信息量
为了从整体上表示从一个随机变量Y所给出关于 另一个随机变量X的信息量，我们定义互信息 在 的联合概率空间中的统计平均值为随机变量X和 Y间的平均互信息： 平均互信息量定义
3.1.2 平均互信息量与平均条件互信息量
推论：
3.1.2 平均互信息量与平均条件互信息量
平均互信息量其它定义
从接收端看
从发送端看
从收发两端看
3.1.2 平均互信息量与平均条件互信息量
信道疑义度
条件熵H(X/Y)—信道上的干扰和噪声所造成的对信源符号 的平均不确定度．
噪声熵或散布度
条件熵H(Y/X)—可看作唯一地确定信道噪声所需要的平均 信息量．
第3章 信道与信道容量
3.1互信息 3.2 离散信道的数学模型与分类 3.3信道容量及其一般计算方法 3.4连续信道和波形信道的信道容量 3.5 信源与信道的匹配
3.1 互信息
3.1.1互信息量 3.1.2平均互信息量与平均条件互信息量 3.1.3平均互信息的特性 3.1.4平均互信息凸性的MATLAB分析
图3.2.2 信道数学模型
信道输入随机变量X 输出随机变量Y 输入已知的情况下，
输出的条件概率分布
P(Y/X)
3.2.2 信道的数学模型
二进制离散信道 二进制对称信道（BSC信道):对称的二进制输入、 二进制输出信道。
条件概率对称 p(Y 0 / X 1) p(Y 1/ X 0) p
后验概率
3.1.1 互信息量
收信者收到消息（符号） yj后，已经消除的不确定 性为：先验的不确定性减去尚存在的不确定性。 这就是收信者获得的信息量，定义为互信息量：
由此得互信息量：以上为香农关于信息的定义度量。
互信息的引出，使信息得到 了定量的表示，是信息论发 展的一个重要的里程碑。
3.1.1互信息量
3.2.1 信道的分类 3.2.2 信道的数学模型
3.2 离散信道的数学模型与分类
通信系统简化模型
信源
信道
信宿
噪声或干扰
图3.2.1 通信系统简化模型
3.2 离散信道的数学模型与分类
关于信道的主要问题有：
信道的建模（信道的统计特性的描述） 信道容量的计算 在有噪信道中能不能实现可靠传输？怎样实现可
靠传输？
实际通信中所利用 的各种物理通道
3.2.1 信道的分类
信道是指信息传输的通道，
包括空间传输和时间传输。
空间传输信道
将信息保存，在以后读取，如 磁带、光盘等在时间上将信息
进行传输的信道。
时间传输信道 信息经过的通道
特征：一个输入以及一个与输 入有关的输出。
广义信道
3.2.1 信道的分类
p(Y 1/ X 1) p(Y 0 / X 0) 1 p
3.1.2 平均互信息量与平均条件互信息量
全损离散信道
X与Y是相互独立的，无法从Y中去提取关于X的信息，即
3.1.2 平均互信息量与平均条件互信息量
无扰离散信道
Y是X的确定的一一对应函数，
——已知Y就完全解除了关于X的不确定度，所获得的信息就 是X的不确定度或熵。
疑义度: H(X/Y)=0 噪声熵: H(Y/X)=0 在一般情况下，X和Y既非相互独立，也Fra Baidu bibliotek是一一对应，那 么从Y获得X的信息必在零与H(X)之间，即常小于X的熵。
按其输入/输出信号在幅度和时间上的取值是离散或 连续来划分
幅度
离散 连续 连续 离散
时间
信道名称
离散 离散 连续 连续
离散信道（数字信道） 连续信道
模拟信道（波形信道） （理论和实用价值均很小）
3.2.1 信道的分类
按其输入/输出信号在幅度和时间上的取值是离散或 连续分为离散信道、连续信道和波形信道。
间相互通信的情况。
根据信道的统计特性是否随时间变化分为： 恒参信道（平稳信道）：信道的统计特性不随时间变化。
如卫星通信信道 随参信道（非平稳信道）：信道的统计特性随时间变化。
如短波通信信道。
3.2.2 信道的数学模型
信息论不研究信号在信道中传输的物理过程，
它假定信道的传输特性是已知的，这样信道就可 以用图3.2.2所示的抽象的数学模型来描述。
0.6
0.5
0.4
0.3
0.2
0.1
0
0
0.2
0.4
0.6
0.8
1
p
0.09
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
0
0
0.2
0.4
0.6
0.8
1
q
(a)互信息随信道转移概率的变化 (b) 互信息随信源输入概率的变化 图3.1.3二进制信道的平均互信息
3.2 离散信道的数学模型与分类
3.1.1 互信息量
互信息(量)定义
收信者所获取的信息量，在数量上等于通信前后 不确定性的消除(减少)的量。
3.1.1 互信息量
信源发某一符号xi，在接收端，对是否选择这个消 息（符号）的不确定性大小等于该消息（符号）的
自信息量：
先验概率
收端收到消息（符号） yj后，发送端发送的符号是 否是xi尚存在的不确定性应是后验概率的函数，即
3.1.3 平均互信息的特性
1.非负性
平均互信息是非负的，说明给定随机变量Y后，一般来说 总能消除一部分关于X的不确定性。
2.极值性
极值性说明从一个事件提取关于另一个事件的信息量， 至多只能是另一个事件的平均自信息量那么多，不会超过另 一事件本身所含的信息量。
3.1.3 平均互信息的特性
3.交互性（对称性） 对称性表示Y从X中获得关于的信息量等于X从Y中获得关于 的信息量。
4. 凸性
定理1 当条件概率分布
给定时，平均互信息
是输入分布
的上凸函数。
定理2 对于固定的输入分布
，平均互信息量
是条件概率分布
的下凸函数。
3.1.4 平均互信息凸性的MATLAB分析
二元信道的平均互信息随信源概率和信道转移概 率的变化如图3.1.3.
I(X;Y) I(X;Y)
1
0.9
0.8
0.7
按其输入/输出信号之间关系的记忆特性分为有记忆 信道和无记忆信道。
按输入/输出信号之间的关系是否确定分为有噪声信 道和无噪声信道。
3.2.1 信道的分类
根据信道输入和输出的个数可分为 两端信道（单用户信道）：一个输入端,一个输出端,单向通信。 多端信道（多用户信道）：双向通信或三个或更多个用户之
互信息量的其它定义
从接收端看 从发送端看 从收发两端看
3.1.2 平均互信息量与平均条件互信息量
为了从整体上表示从一个随机变量Y所给出关于 另一个随机变量X的信息量，我们定义互信息 在 的联合概率空间中的统计平均值为随机变量X和 Y间的平均互信息： 平均互信息量定义
3.1.2 平均互信息量与平均条件互信息量