第7讲——信道与信道容量(21)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
p( x) p( y | x) log K 1
x 0 y 0 z 0 K 1 J 1
p( y | x)
q( z ) p( y | z )
达到C的充要条件
输入概率矢量 Q Q0 , Q1,, QK 达到转移概率为 p( j k )
的DMC的容量C的充要条件为
K 1 J 1
关于输入对称，则P的任一行是第一行的置换，即
J 1 1 1 p ( j | i ) log p ( j | k ) log p ( j | i ) p( j | k ) j 0 j 0 J 1
k
于是 H (Y | X ) p( j | k ) log
j 0
可以通过更经常采用这个输入k（即加大Qk）来增大。但这样做 会改变每个输入与所有输出之间的平均互信息量（由概率归一 性约束）。通过足够多次的调整输入概率分布，就可使每个概 率不为零的输入与所有输出之间的平均互信息量任意接近。
信道容量计算
• 对于一般信道,信道容量计算相当复杂,我们只讨论 某些特殊类型的信道 • 几种特殊类型的信道 －无噪无损信道 －有噪无损信道 －无噪有损信道 －对称、准对称信道
若列子集只有一个，则为对称信道。
准对称信道特点
定理1 若DMC关于输入为对称的，则对任意k∈{0, 1, …, K-1}
1 H (Y | X ) p( j | k ) log H (Y | X k ) p( j | k ) j 0
J 1
证明
K 1 J 1 1 1 H (Y | X ) p(i) p( j | i) log p(i) p( j | i) log p( j | i ) i 0 p( j | i ) i 0 j 0 j 0
0 0 1 0 1 0 1 0 0 0 0 0
噪声熵H(Y|X) = 0，损失熵H(X|Y) = 0 因此
I ( X , Y ) H ( X ) H (Y )
p ( ai )
C max I ( X ; Y ) log 2 n
无噪有损信道容量
p( j | k )
k 0
K 1
p (0 | k )
k 0
K 1
1 ，即输出等概分布 wj 根据概率归一性， J K 1 此时 p( j | k ) K J k 0
C log J p( j k ) log p( j k )
j 0
J 1
准对称信道容量计算公式
b1 Y b2 b3 b4
b5
I ( X , Y ) H ( X ) H (Y )
C max I ( X ; Y )
p ( ai )
max H ( X ) log n
1 3 P 0
1 3 0
1 3 0
0 1 4
0 3 4
对称信道
对称性: – 若P的任一行是第一行的置换，则称信道是关于输 入为对称的。 – 若P的任一列是第一列的置换，则称信道是关于输 出为对称的。 – 若信道是关于输入为对称的，又是关于输出为对称 的，则称信道为对称信道。 1 1 1 2 3 6 1 1 1 1 3 3 6 6 1 1 1 P P 6 2 3 1 1 1 1 1 1 1 6 6 3 3 3 6 2
1
p ( ai )
Y
C max I ( X ; Y ) max H (Y ) log m
有噪无损信道容量
• 有噪无损信道 – 一个输入对应多个输出(n＜m) X 接收到符号Y后,对发送的X符号 完全确定的。 噪声熵H(Y|X) ≠ 0， 损失熵H(X|Y) = 0
a1
a2
1/3 1/3 1/3 1/4 3/4
k , Qk 0 I ( x k ; Y ) C k , Qk 0 p( j k ) 其中， I ( x k ; Y ) p( j k ) log j Qi p( j i)
i
I ( x k; Y ) C
定理与直观 在给定输入分布下，若某个输入k与所有输出事件之间的平均互 信息大于其它任一输入与所有输出之间的平均互信息，我们就 概念一致
准对称信道
1 1 1 1 3 3 6 6 0.7 0.2 0.1 不具有对称性 P P 0.2 0.1 0.7 1 1 1 1 6 3 6 3 若信道输出集Y可以划分成几个子集，而每个子集所对 应的信道转移矩阵P中的列组成的子阵具有如下性质： （1）任一行是第一行的置换， （2）任一列是第一列的置换。 则称信道为准对称信道。
J 1
1来自百度文库p( j | k )
准对称信道特点
定理2 若DMC关于输出为对称的，则当输入分布等概时， 输出分布等概。 证明 关于输出对称，即任何一列是第一列的置换 设q(x)=1/K，x∈{0, 1, …, K-1}，则
1 w j Qk p( j | k ) K k 0 1 K
K 1
无噪无损信道容量
• 无噪无损信道 – 输入和输出符号之间有确定的一一对应关系
X a1 a2 1 1 b1 Y b2
1 0 0 P 0 1 0 0 0 1
a3
1
b3
无噪无损信道容量
X a1 a2 1 Y b1 b2
an-1 an 1 bn-1 bn
0 0 P 0 1
第 3章 信道与信道容量
信道容量
• 我们研究信道的目的是要讨论信道中平均每个符号所能 传送的信息量，即信道的信息传输率 • 平均互信息I (X;Y) – 接收到符号Y后平均每个符号获得的关于X的信息量。 – 每传递一个符号流经信道的信息量，即信息传输率 K 1 J 1 p( x | y ) K 1 J 1 p( y | x) I ( X ; Y ) P( xy) log P( xy) log p ( x) p( y ) x 0 y 0 x 0 y 0
• 无噪有损信道 – 多个输入变成一个输出(n＞m)
a1 a2 a3 a4 a5
X
1 0 b1 1 0 1 1 P 1 0 噪声熵H(Y|X) ＝ 0 损失熵H(X|Y) ≠ 0 1 b2 0 1 1 0 1 输出Y是输入X的确定函数, I ( X , Y ) H (Y ) H ( X ) 但不是一对一,而是多对一
对称DMC信道
C log J p( j k ) log p( j k )
j 0 J 1
x 0 y 0 z 0 K 1 J 1
p( y | x)
q( z ) p( y | z )
达到C的充要条件
输入概率矢量 Q Q0 , Q1,, QK 达到转移概率为 p( j k )
的DMC的容量C的充要条件为
K 1 J 1
关于输入对称，则P的任一行是第一行的置换，即
J 1 1 1 p ( j | i ) log p ( j | k ) log p ( j | i ) p( j | k ) j 0 j 0 J 1
k
于是 H (Y | X ) p( j | k ) log
j 0
可以通过更经常采用这个输入k（即加大Qk）来增大。但这样做 会改变每个输入与所有输出之间的平均互信息量（由概率归一 性约束）。通过足够多次的调整输入概率分布，就可使每个概 率不为零的输入与所有输出之间的平均互信息量任意接近。
信道容量计算
• 对于一般信道,信道容量计算相当复杂,我们只讨论 某些特殊类型的信道 • 几种特殊类型的信道 －无噪无损信道 －有噪无损信道 －无噪有损信道 －对称、准对称信道
若列子集只有一个，则为对称信道。
准对称信道特点
定理1 若DMC关于输入为对称的，则对任意k∈{0, 1, …, K-1}
1 H (Y | X ) p( j | k ) log H (Y | X k ) p( j | k ) j 0
J 1
证明
K 1 J 1 1 1 H (Y | X ) p(i) p( j | i) log p(i) p( j | i) log p( j | i ) i 0 p( j | i ) i 0 j 0 j 0
0 0 1 0 1 0 1 0 0 0 0 0
噪声熵H(Y|X) = 0，损失熵H(X|Y) = 0 因此
I ( X , Y ) H ( X ) H (Y )
p ( ai )
C max I ( X ; Y ) log 2 n
无噪有损信道容量
p( j | k )
k 0
K 1
p (0 | k )
k 0
K 1
1 ，即输出等概分布 wj 根据概率归一性， J K 1 此时 p( j | k ) K J k 0
C log J p( j k ) log p( j k )
j 0
J 1
准对称信道容量计算公式
b1 Y b2 b3 b4
b5
I ( X , Y ) H ( X ) H (Y )
C max I ( X ; Y )
p ( ai )
max H ( X ) log n
1 3 P 0
1 3 0
1 3 0
0 1 4
0 3 4
对称信道
对称性: – 若P的任一行是第一行的置换，则称信道是关于输 入为对称的。 – 若P的任一列是第一列的置换，则称信道是关于输 出为对称的。 – 若信道是关于输入为对称的，又是关于输出为对称 的，则称信道为对称信道。 1 1 1 2 3 6 1 1 1 1 3 3 6 6 1 1 1 P P 6 2 3 1 1 1 1 1 1 1 6 6 3 3 3 6 2
1
p ( ai )
Y
C max I ( X ; Y ) max H (Y ) log m
有噪无损信道容量
• 有噪无损信道 – 一个输入对应多个输出(n＜m) X 接收到符号Y后,对发送的X符号 完全确定的。 噪声熵H(Y|X) ≠ 0， 损失熵H(X|Y) = 0
a1
a2
1/3 1/3 1/3 1/4 3/4
k , Qk 0 I ( x k ; Y ) C k , Qk 0 p( j k ) 其中， I ( x k ; Y ) p( j k ) log j Qi p( j i)
i
I ( x k; Y ) C
定理与直观 在给定输入分布下，若某个输入k与所有输出事件之间的平均互 信息大于其它任一输入与所有输出之间的平均互信息，我们就 概念一致
准对称信道
1 1 1 1 3 3 6 6 0.7 0.2 0.1 不具有对称性 P P 0.2 0.1 0.7 1 1 1 1 6 3 6 3 若信道输出集Y可以划分成几个子集，而每个子集所对 应的信道转移矩阵P中的列组成的子阵具有如下性质： （1）任一行是第一行的置换， （2）任一列是第一列的置换。 则称信道为准对称信道。
J 1
1来自百度文库p( j | k )
准对称信道特点
定理2 若DMC关于输出为对称的，则当输入分布等概时， 输出分布等概。 证明 关于输出对称，即任何一列是第一列的置换 设q(x)=1/K，x∈{0, 1, …, K-1}，则
1 w j Qk p( j | k ) K k 0 1 K
K 1
无噪无损信道容量
• 无噪无损信道 – 输入和输出符号之间有确定的一一对应关系
X a1 a2 1 1 b1 Y b2
1 0 0 P 0 1 0 0 0 1
a3
1
b3
无噪无损信道容量
X a1 a2 1 Y b1 b2
an-1 an 1 bn-1 bn
0 0 P 0 1
第 3章 信道与信道容量
信道容量
• 我们研究信道的目的是要讨论信道中平均每个符号所能 传送的信息量，即信道的信息传输率 • 平均互信息I (X;Y) – 接收到符号Y后平均每个符号获得的关于X的信息量。 – 每传递一个符号流经信道的信息量，即信息传输率 K 1 J 1 p( x | y ) K 1 J 1 p( y | x) I ( X ; Y ) P( xy) log P( xy) log p ( x) p( y ) x 0 y 0 x 0 y 0
• 无噪有损信道 – 多个输入变成一个输出(n＞m)
a1 a2 a3 a4 a5
X
1 0 b1 1 0 1 1 P 1 0 噪声熵H(Y|X) ＝ 0 损失熵H(X|Y) ≠ 0 1 b2 0 1 1 0 1 输出Y是输入X的确定函数, I ( X , Y ) H (Y ) H ( X ) 但不是一对一,而是多对一
对称DMC信道
C log J p( j k ) log p( j k )
j 0 J 1