信息论 信道容量 (2)

这就是传送PCM信号需要的信道容量
2006-10-18 62
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
一般地，若每个信道基本符号的长度为b秒，每秒钟 内信道上可传送的信道基本符号数为n，则n =1/b；T 秒钟内信道上可构成的不同消息数为N(T)=DnT，其中 nT为T 秒钟内信道上可传送的信道基本符号数。于是 Ct = nlog D bps (5.6)
3 4 12 12
ba =ba ，ba =ba ，ba =3，ba =6
1 11 1 21 2 11 2 21 3 12 4 12
2006-10-18
70
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
在T时间里构成的消息总数N(T)为 N (T) = N1 (T) + N2 (T) (5.14) 上式又是一个线性差分方程，由这个差分方程， 可得
表5.1 Morse电码的构成表
2006-10-18 67
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
解 通过点、划可构成无穷多种组合，形成明码或密码。 设四种基本符号分别为a1, a2, a3, a4，点、划为状态1，字 母及单词间隔作为状态2，t >6的间隔均看作单词间隔。 由于发报期间，不允许出现2个及2个以上的字母间隔 或单词间隔，即“间隔”不能连用，因此Morse信道存在有 固定约束，其状态转移图为图5.2。
p(b1 ) p(a1 ) p(a2 ) p(b2 ) (1 ) p(a2 )
p(a1 ) p (a 2 ) 1
1 1
1 (1 )
1


1

1 (1 )
1

0 1
p(a1 ), p(a2 ) 0
log N ( T ) C lim logWmax T T
(5.15)
式中Wmax 为差分方程的特征方程的最大正实根。因 此，求出这个最大正实根，也就求出了C。采用迭代 法，略去中间过程，可解得，Wmax=1.453 ，故有 C = log1.453 = 0.539 比特/符号时间
1 2 1 2 11 11 21 21
N 2 (T ) N1 (T b
( a3 )
12
) N1 (T b
( a4 )
12
)
( a3 ) 式中 T b12 表示在T时间内发的最后一个符号 是a3并使状 从状态1改变到状态2的各种可能消息 的总数，而a3用的时间为b12；其余类推。
2006-10-18
j 1
m
(1)
p(b j / ai ) log p(b j ) log e
j 1
m
两边乘p(ai)，并求和，则有：
p(a ) p(b
i 1 j 1 n i m i 1 j 1
n
m
j
ai ) log 2 p(b j ai )
p(ai ) p(b j ai ) log 2 p(b j ) log 2 e
§3.2 单符号离散信道
§3.2.1 信道容量的定义 §3.2.2 几种特殊离散信道的容量
§ 3.2.3 离散信道容量的一般计算方法
§3.2.3 离散信道容量的一般计算方法
对一般离散信道而言，求信道容量，就是在固定信 道的条件下，对所有可能的输入概率分布{p(xi)}，求平 均互信息的极大值。采用拉各朗日乘子法来计算。
p(b j / ai )log p(b j / ai )
j
m
0
m m p(b j / ai )log p(b j / ai ) p(b j / ai )log p(b j ) j 1 j 1 log e 0
p(b j / ai ) log p(b j / ai )
2006-10-18
66
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
例5.3 电报员发报用Morse电码；Morse电码由点、划、 字母间隔和单词间隔四种基本符号构成，见表5.1，表 中的“＋”表示按键合上，“－”表示按键断开，分别相 应于发声与不发声状态；试求Morse信道的信道容量。
基本符号 点 划 字母间隔 单词间隔 构成 ＋－ ＋＋ ＋－ ――― ―――――― 持续时间 具体实现 t1 =2 t2 =4 t3 =3 t4 = 6 清脆响一短声 响一长声，声长三倍点 3个单位码元时间不发声 6个单位码元时间不发声
2006-10-18
64
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
( 续)
N (T ) a1 × × … × × a 2 × ×… × × … a D× × × ×
× ×… × × × a1 × × … × × × a 2 … × × …× × × a D N (T t1 ) N (T t 2 ) … N (T t D)
2
1
C
1 (1 )

p(b2 ) 1 p(b1 )
4
(1 )

1
1 (1 )
p(b1 )

1
p(a1 ) p(b1 a1 ) p(a2 ) p(b1 a2 )
p(b2 ) p(a1 ) p(b2 / a1 ) p(a2 ) p(b2 / a2 )
n 设 I ( X ; Y ) P(ai ) 1 i
令 0, 则有 : P(ai )
m p(b j ) log p(b j ) p(ai ) j 1 p(ai ) p(b j / ai ) log p(b j / ai ) p(ai ) 1 i 1 j 1 i 1
例：信道矩阵如下，求C。
1 1
1
0 2
1
1 1 2 2 1 log 1 0 log 1 0 0 1 (1 ) 2
log (1 ) log(1 ) 2

1
n
近年来人们一般采用计算机，运用迭代算法求解。
2006-10-23
17
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
1. 均匀编码信道的信道容量
定义： 基本符号时间等长的信道称为均匀 编码信道，这种等长的基本符号称为码元。
码元通常是持续时间为b秒的D进制脉冲 （Pulse），D进制表示该码元有D种等间隔数 值。
log log(1 )

log (1 ) 1
2 3
C log 2
2
j 1
m
j
log 2
j C 1 C
1 1 (1 )
p (b j ) 2 p(b1 ) 2 1
a1
状态1
a3 a4 a1 a2
状态2
a2 图5.2 例5.3的状态转移图
2006-10-18 68
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
先求在时间T内从状态1转移到状态2或从状态1、2 转移到状态1的各种可能消息的总数目，分别用 N1(T)和N2(T)表示。则
N1 (T ) N1 (T b( a ) ) N1 (T b( a ) ) N 2 (T b( a ) ) N 2 (T b( a ) )
(5.8)
式中第1行的××××表示除a1外的D – 1个信道基 符号的全排列，其余类推。利用递推的方法或其它 方法可得 (5.9) C = log rmax bit /单位码元时间 其中rmax是N (T)的特征方程 的最大正实根。
2006-10-18 65
r t1 r t2 r
m
m
j C
1
（6 ）
2 2
C j
m
j
C log 2

j
m
2 j
（7）
由(5)求出 p (b j ) 2
j C
n
（8）
由p(b j ) p(ai ) p(b j / ai（ ) 9）
i 1
求出p(ai )
总结C的求法，过程如下：
1. 由( 4)求 j; 2. 由(7)求C ; 3. 由(8)求P (b j ); 4. 由(9)求P ( ai )并验证。
I ( X ;Y ) log2 e
C log2 e
(2)
将（2）代入（1），则有：
p (b
j m j
m
j
/ ai ) log p(b j / ai )
p(b j / ai ) log p(b j ) C p(b j / ai )[log p(b j ) C ] （3）
69
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
推广之，设从状态i到状态j发的符号为ak，所用的时 ak 间为 bij ，则 ( a1 ) ( a2 ) b11 —从状态1到状态1，有两种可能： b11 ，b11 ) ( a1 ) ( a2 ) b21 —从状态2到状态1，有两种可能： b21 ，b21 ) b12—从状态1到状态2，有两种可能： b ( a )，b ( a ) ) b22 —从状态2到状态2，无此可能。 根据表5.1，有
tD
10
(5.10)
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
3. 有固定约束的不均匀编码信道的信 道容量
假如编码不满足遍历性，即由转移不受限制 变为转移受限制，传输它的信道就成为有固 定约束的不均匀编码信道。 传输莫尔斯（Morse）电码的信道是一种典 型的有固定约束的不均匀编码信道，下面通 过对它的分析来看这种信道的信道容量。
j m
令 j log p(b j ) C
则（3）变为：
p (b
j m j
m
j
/ ai ) log p(b j / ai )
（4）
p (b j / a i ) j
由(4)求出 j : log p(b j ) j C
（5）
p (b ) 2
j j j
第三章 信道容量
一般离散信道容量计算步骤
• 注意：
在第②步信道容量C被求出后，计算并没有结束，必 须解出相应的p(ai) ，并确认所有的p(ai)≥0时，所求 的C才存在。
p(ai ) 1 ，并没有限 在对I(X;Y)求偏导时，仅限制 i 1 制p(ai)≥0 ，所以求出的p(ai)有可能为负值，此时C 就不存在，必须对p(ai)进行调整，再重新求解C。
n m n
p ( b j ) p ( a i ) p (b j / a i )
i
n
dp(b j ) dp(ai )
p(b j / ai ) log x ln x log e
m p ( b / a )log p ( b ) p ( b / a )log e j i j j i p(ai ) j
如果不以秒而是以一个码元的时间作为标准，则 C = Ct / n = log D
bit/码元时间
(5.7)
2006-10-18
63
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
2. 无固定约束的不均匀编码信道的信 道容量
无固定约束的不均匀编码信道的基本符号是等幅的不等长 脉冲，用脉冲占有时间的不同来携带信息。 例3.2 求传输脉冲时间调制信号的信道容量。 解 求信道容量，主要是求在T时间内能构成的不同消息 数N(T)。 若以最窄的脉冲作为单位码元而其它脉冲的宽度都是它的 倍数，则PTM脉冲宽度量化为有限种信道基本符号。 设有D种信道基本符号，分别为：a1, a2, …, aD ；对应的占 用时间分别为：t1, t2, …, tD ；则在时间T内可能构成的 符号总数N (T)有如下表达式：
2006-10-18
61
典型无扰离散信道的信道容量
第 三 章 信 道 容 量
例3.1 用8kHz的取样ຫໍສະໝຸດ Baidu率对模拟信号取样，若 对每一样值做256 级量化且样值是各态历经 的，求传输此信号的信道容量。 解：由题意可知，每秒钟有8000个样值，即n =8000（信源消息），信道基本符号数D =256，故每秒钟构成的不同消息的总数目 为N = 2568000，有 log 2568000 Ct 8000 log 256 64kbps T