信源编码在数字通信系统中的应用

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
定理说明:在允许失真 D 的条件下,信源最小的、可达的信息传输率失信
源的 R(D)。当信源给定后,无失真信源压缩的极限值是信源熵 H(X);而有失
真信源压缩的极限值是信息率失真函数 R(D)。在给定某 D 后,一般有
R(D)<H(X)。
案例: 信源编码技术在数字通信系统中的应用
误码率和信息速率是衡量数字通信系统好坏的两项重要指标。他们分别表 示通信系统的可靠性和有效性,但可靠性和有效性是互相矛盾的,一般认为, 要求高信息速率很容易引起误码率的升高;有时为了提高系统传输的可靠性, 即获得较低的误码率,不得不牺牲高信息速率。为了提高系统的性能,较好的 办法就是对信源进行最优编码,使每个码元所含有的信息量最大,在保持较低 误码率的同时提高传输效率。
利用实际信源的冗余度,我们可以通过信源编码减少冗余度,减少码字的 平均码长。通常的方法是将概率大的码元编码较短,概率小的码元编码长。基 于这种方式的最优编码方法有两种:Shannon-Fano 编码,Huffman 编码。
Shannon-Fano 编码步骤介绍:
首先,给定信源符号概率,要先判断信源符 号概率是否满足概率分布,即各概率之和是 否为 1,如果不为 1 就没有继续进行编码的 必要,虽然任可以正常编码,但编码失去了 意义。
于符号集 B={������1, ������2,…������������}。 对应于每一对(x,y),定义非负函数:
d(ai ,bj )

0 (
0)
i j 称为单符号失真度(或失真函数)。 i j
当常数 a=1 时,函数也称为汉明失真函数。
D E[d(ai ,bj )] E[d(x ,y )]

平均失真度���̅���是失真函数的期望。
i ,j
p(aibj )d
ai ,bj
p(ai )pbj / ai d ai ,bj i ,j
平均失真由信源分布 p(������������)、假想信道的转移概率 p(������������/������������)和失真函数 d(������������,������������)决 定,若 p(������������)和 d (������������,������������)已定,则调整 p(������������/������������)使 D D 的信道称为 D 失真许可 的试验信道������������。在信源给定的条件下,因互信息 I 是关于 p(������������/������������)的下凸函数, 存在极小值。故在������������中,可以寻找一种试验信道使得互信息 I(X;Y)达到最小。 该最小的互信息就称为信息率失真函数 R(D)。
二、信息率失真函数的性质:
D������������������ = 0 时,R(D������������������) = H(X)
1.定义域: D min ,D max : {
������ ≥ ������������������������时,������(������) = 0
������������������������ < ������ < ������������������������时,������(������) > ������(������) > 0
nm
D(S)
p(ai ) p(b j )d (ai , b j )i eSd (ai ,bj )
i1 j1
n
R(S) SD(S) p(ai ) ln i i 1
四、二元及等概率离散信源的信息率失真函数:
设二元信源(������(������������)) = {������������1
《信息论与编码》课程自学报告
题 目: 信源编码在数字通信系统中的应用 学 号: 姓 名: 任课教师: 联系方式:
二零一四年 2 月 20 日
一、 信息率失真函数的定义
试验信道的输入为 X,取值于符号集 A={������1,, ������2,,…������������,},信道输出为 Y,取值
然后,我们对刚求的自信息量对无穷方向取 最小正整数,得到的最小正整数就是该信源 符号所对应编码的码长 k,有了码长,接下 来就可以求解码字。
最后,对所求到的累加概率求其二进制,取其小数点后的数,所取位数由该信 源符号对应的码长决定,所用的步骤结束,依次得到各信源符号的香农编码。
通过香农编码,使每个码元携带的信息量达到最大。从而在保持较低误码率的 同时,数字通信系统效率得到较大提升。 以下是利用 matlab 实现信源编码(香农编码)的输入输出:

������ α)
五、保真度准则下的信源编码定理:
设一离散平稳无记忆信源 X=(X1X2…XL),若该信源的信息率失真函数为 R(D), 并选定有限的失真函数。对于任意允许平均失真度 D≥0 和任意小的 ε>0,当
信息率 R>R(D),只要信源序列长度 L 足够长,一定存在一种编码方式 C, 使译码后的平均失真度���̅���(C)≤ D + ε
[参考文献]
[1]吴乐南. 数字通信中的信源编码技术[J]. 数字通信,1995,04:16-18. [2]谢子常,徐水明. 信源编码技术在数字通信系统中的应用[J]. 福建电脑,2004,07:54-88. [3]刘良,李军. 数字通信系统的信源编码仿真[J]. 黑龙江科技信息,2012,33:42. [4]宋丽丽,秦艳. 基于 Matlab 的信源编码实验系统的设计[J]. 电气电子教学学报,2012,06:80-81. [5]陈运. 信息论与编码[M]. 第 2 版. 北京:电子工业出版社, 2013:131-147.
其次,对信源符号概率进行从小到大的排 序,以便进行下一步。从第一步就知道信源 符号的个数 n,于是构造一个 nx4 的零矩阵 D,以便储存接下来运算的结果。把排好序 的信源符号概率以列的形式赋给 D 的第一 列。
再次,做编码的第二步,求信源符号概率的 累加概率,用来编写码字。
接着求各信源符号概率对应的自信息量,用 于求解码长 k。
1
������1 −
������},其中
P≤
1 2
,可得 R(D)函数的显性表达式:
������(������)
=
������ α
������������

������ α
ln
ຫໍສະໝຸດ Baidu(1

������ α)

������������������������

(1

������)
ln(1

������)
+
ln(1
2. R(D)对允许平均失真度下凸性:
3. 连续性和单调递减性:
由于 R(D)函数具有凸状性,保证它在定义域内 是连续的。
R(D)函数的下凸性证明它是严格递减的。 R(D)—D 关系如右图显示:
三、离散信源信息率失真函数的参量表达式:
为了在概率和为 1 以及失真度定义的条件下,我们引入拉格朗日乘数 S 构 成新函数,再通过偏导数等数学运算可以得到以 S 为参量的平均失真函数 D(S) 和信息率失真函数 R(S),即
相关文档
最新文档