信源编码--离散信源无失真编码概述PPT课件( 17页)

•
18、在人生的舞台上，当有人愿意在台下陪你度过无数个没有未来的夜时，你就更想展现精彩绝伦的自己。但愿每个被努力支撑的灵魂能吸引更多的人同行。
5
§3.2 离散无记忆（简单）信 源的等长编码
例：1离U散0U无1U记2…忆。简其单中信U源1的发事出件的有随3机个变：量{晴序, 列云为, 阴：}…。U-2U(U1U2)有9个事件 {（晴晴），（晴云），（晴阴），（云晴），（云云），
（云阴），（阴晴），（阴云）， （阴阴）}。 用字母表{0, 1}对(U1U2)的事件进行2元编码如下： （晴晴）→0000，（晴云）→0001，（晴阴）→0011， （云晴）→0100，（云云）→0101，（云阴）→0111， （阴晴）→1100，（阴云）→1101，（阴阴）→1111。
§3.2 离散无记忆（简单）信 源的等长编码
（10）渐进无错编码 （简单地说就是：当R>H(U1)时，可以适 当地编码和译码使得译码错误的概率pe任意小。严格地说就 是：）
设给定了编码设备的编码速率R0，R0>H(U1)。则对任意的ε>0， 总存在一个L0，使得对任意的L>L0，都有对(U1U2…UL)的等 长编码和对应的译码方法，满足
当编码速率R比较高时，可以选择比较大的N，因此可供选 择的码字比较多，因此更容易设计出能够快速识别的码， 降低译码的难度。
当编码速率R比较低时，意味着使用低成本的编码设备。此 时只能选择不大的N，因此更需要编码的技巧。 ）
2019/5/26
9
§3.2 离散无记忆（简单）信 源的等长编码
（9）在无错编码的前提下，编码的最低代价 当R≥logK时，能够实现无错编码。 当R<H(U1)时，无论怎样编码都是有错编码。这是因为
U1 ~qa11
a2 q2
aK qK
取Vl是Ul的如下函数：当Ul=ak时， Vl=loga(1/qk)。则 ①随机变量序列…V-2V-1V0V1V2…相互独立，具有相同的概率
分布；
② E1VkK 1qkloagq1k H(U1)
2019/5/26
13
§3.2 离散无记忆（简单）信 源的等长编码
在一个固定的时刻，信源发出的是一个随机变量。 随着时间的延续，信源发出的是一个随机过程。 （因此，一般的信源种类太多，其统计性质太复杂。怎样做工
程实用的简化？）
2019/5/26
2
§3.1 信源及其分类
离散信源 信源每隔一个定长时间段就发出一个随机变量； 随着时间的延续，信源发出的是随机变量序列
2019/5/26
6
§3.2 离散无记忆（简单）信 源的等长编码
（3）如果限定码字的长度为N（即每个码字都是一个N维向 量），则称此编码为等长编码，能够选择的不同码字的个 数为DN。
（4）如果限定码字的长度为≤N（即每个码字都是一个≤N维 的向量），则称此编码为不等长编码，能够选择的不同码 字的个数为
{(u1u2…uL)|其中每个分量ul跑遍{a1, a2, …, aK}}。 （2母）串设来有表一示个(U含1DU个2…字U母L)的的事字件母，表每{b一1, 个b2,事…件, b都D}要。用需一要个用字字
母串来表示。
这种表示方法称为D元编码； 每一个事件所对应的字母串称为一个码字。
2019/5/26
其中
…U-2U-1U0U1U2…，
Uk为第k个时间段发出的随机变量； 每个Uk都是一个离散型的随机变量。 离散无记忆信源 离散无记忆信源是这样的离散信源：随机
变量…、U-2、U-1、U0、U1、U2、…相互独立。 离散无记忆简单信源 离散无记忆简单信源是这样的离散无
记有忆相信同源的：概率随分机布变量。…、U-2、U-1、U0、U1、U2、…具
率分布。 马尔可夫信源：信源随机过程是马尔可夫过程。
2019/5/26
4
§3.2 离散无记忆（简单）信 源的等长编码
（顺序地叙述以下的概念）
（1）设有一个离散无记忆简单信源，信源发出的随机变量序 列{个a1为：, a：2, ……U, a-2KU}-，1U则0UL1维U2信…源。随设机信向源量随(机U1变U2量…UU1L的)的事事件件有有K个KL：
R<H(U1)≤logK。 （如果H(U1)=logK，则以上两种情形已经概括了全部情形。
但如果H(U1)<logK，则还有一种情形） 当logK>R>H(U1)时，虽然无论怎样编码都是有错编码，
但可以适当地编码和译码使译码错误的概率pe任意小。这 就是所谓“渐进无错编码”。
2019/5/26
10
•
6、无论你正遭遇着什么，你都要从落魄中站起来重振旗鼓，要继续保持热忱，要继续保持微笑，就像从未受伤过一样。
•
7、生命的美丽，永远展现在她的进取之中;就像大树的美丽，是展现在它负势向上高耸入云的蓬勃生机中;像雄鹰的美丽，是展现在它搏风击雨如苍天之魂的翱翔中;像江
河的美丽，是展现在它波涛汹涌一泻千里的奔流中。
1
DV 1 L 2
2019/5/26
14
§3.2 离散无记忆（简单）信 源的等长编码
取L0使得 则当L≥L0时总有
DV 1 L0 2


DV1
L 2


因此当L≥L0时总有
P{(U1U2…UL)=(u1u2…uL)| H(U1)-ε≤IL≤H(U1)+ε} ≥1-ε。
2019/5/26
15
•
13、认识到我们的所见所闻都是假象，认识到此生都是虚幻，我们才能真正认识到佛法的真相。钱多了会压死你，你承受得了吗?带，带不走，放，放不下。时时刻刻发
悲心，饶益众生为他人。
•
14、梦想总是跑在我的前面。努力追寻它们，为了那一瞬间的同步，这就是动人的生命奇迹。
•
15、懒惰不会让你一下子跌倒，但会在不知不觉中减少你的收获;勤奋也不会让你一夜成功，但会在不知不觉中积累你的成果。人生需要挑战，更需要坚持和勤奋!
取IL是(V1V2…VL)的如下函数：
1L
IL

L
Vl
l 1
则
① IL最终是(U1U2…UL)的函数；
② ELIL1lL1EV l H(U1) DLIDL 1l L1Vl L 12l L1DlV L 1D1V
③因此有切比雪夫不等式：对任意ε>0有 P{(U1U2…UL)=(u1u2…uL)| H(U1)-ε≤IL≤H(U1)+ε}≥
D1+D2+…+DN=D(DN-1)/(D-1)。
（注意：在不等长编码中，并不能同时使用D(DN-1)/(D-1)个 不同的码字。一个长度为2的字母串究竟是两个长度为1的 码字相连，还是一个长度为2的码字？无法识别。
在等长编码中不存在这样的识别问题 ）
2019/5/26
7
§3.2 离散无记忆（简单）信 源的等长编码
2019/5/26
3
§3.1 信源及其分类
（总结：离散无记忆简单信源就是时间离散、事件离散、各 随机变量独立同分布的信源。课程学习所面对的信源将主 要是离散无记忆简单信源）
一般的信源 连续信源：有时间连续的信源，也有事件连续的信源； 有记忆信源：信源在不同时刻发出的随机变量相互依赖； 有限记忆信源：在有限时间差内的信源随机变量相互依赖； 非简单信源：信源在不同时刻发出的随机变量具有不同的概
•
4、心中没有过分的贪求，自然苦就少。口里不说多余的话，自然祸就少。腹内的食物能减少，自然病就少。思绪中没有过分欲，自然忧就少。大悲是无泪的，同样大悟
无言。缘来尽量要惜，缘尽就放。人生本来就空，对人家笑笑，对自己笑笑，笑着看天下，看日出日落，花谢花开，岂不自在，哪里来的尘埃!
•
5、心情就像衣服，脏了就拿去洗洗，晒晒，阳光自然就会蔓延开来。阳光那么好，何必自寻烦恼，过好每一个当下，一万个美丽的未来抵不过一个温暖的现在。
•
10、有些事想开了，你就会明白，在世上，你就是你，你痛痛你自己，你累累你自己，就算有人同情你，那又怎样，最后收拾残局的还是要靠你自己。
•
11、人生的某些障碍，你是逃不掉的。与其费尽周折绕过去，不如勇敢地攀登，或许这会铸就你人生的高点。
•
12、有些压力总是得自己扛过去，说出来就成了充满负能量的抱怨。寻求安慰也无济于事，还徒增了别人的烦恼。
pe= P{(U1U2…UL)=(u1u2…uL) | (u1u2…uL)的码字在译码时并不译为(u1u2…uL)}。
2019/5/26
8
§3.2 离散无记忆（简单）信 源的等长编码
（关于编码速率的说明：
编码速率本来是编码设备的性能指标。这就是说，首先有 了编码设备的编码速率R0，然后选择N和L，使得实际的编 码速率NlogD/L不能超过编码设备的编码速率R0 ： R=NlogD/L≤R0。
第三章：信源编码（一） 离散信源无失真编码
§3.1 信源及其分类 §3.2 离散无记忆（简单）信源的等长编
码
§3.3 离散无记忆（简单）信源的不等长 编码
§3.4 最佳不等长编码 §3.5 算术编码和LZ编码
2019/5/26
1
§3.1 信源及其分类
信源的概念
（直观地理解，信源就是信息的来源。但是这里必须要注意两 点）：
设给定了编码设备的编码速率R0，R0<H(U1)。则无论怎样 编码和译码都不能同时满足
①实际的编码速率/26
12
§3.2 离散无记忆（简单）信 源的等长编码
设…U-2U-1U0U1U2…是离散无记忆（简单）信源的输出随机变 量序列。设U1的概率分布为
•
16、人生在世：可以缺钱，但不能缺德;可以失言，但不能失信;可以倒下，但不能跪下;可以求名，但不能盗名;可以低落，但不能堕落;可以放松，但不能放纵;可以虚荣，
但不能虚伪;可以平凡，但不能平庸;可以浪漫，但不能浪荡;可以生气，但不能生事。
•
17、人生没有笔直路，当你感到迷茫、失落时，找几部这种充满正能量的电影，坐下来静静欣赏，去发现生命中真正重要的东西。
•
8、有些事，不可避免地发生，阴晴圆缺皆有规律，我们只能坦然地接受;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改变它的轨迹。
•
9、与其埋怨世界，不如改变自己。管好自己的心，做好自己的事，比什么都强。人生无完美，曲折亦风景。别把失去看得过重，放弃是另一种拥有;不要经常艳羡他人，
人做到了，心悟到了，相信属于你的风景就在下一个拐弯处。
§3.2 离散无记忆（简单）信 源的等长编码
定义3.2.1(p46) 定义
TU(L, ε)={(u1u2…uL)|H(U1)-ε≤IL≤H(U1)+ε}， 称TU(L, ε)为ε-典型序列集。 称TU(L, ε)的补集为非ε-典型序列集。 （综上所述有）
定理3.2.1(信源划分定理，p47) 对任意ε>0，取L0使得
DV 1 L0 2

则当L≥L0时总有P{(U1U2…UL)∈TU(L, ε)}≥1-ε。
2019/5/26
16
•
1、不是井里没有水，而是你挖的不够深。不是成功来得慢，而是你努力的不够多。
•
2、孤单一人的时间使自己变得优秀，给来的人一个惊喜，也给自己一个好的交代。
•
3、命运给你一个比别人低的起点是想告诉你，让你用你的一生去奋斗出一个绝地反击的故事，所以有什么理由不努力!
（本节以下将专门讨论等长编码）
（5）编码速率
R=NlogD/L。
（6能）够无实错现编无码错(编U1码U的2…充U要L)的条不件同是事DN件≥K用L。不（同即的编码码字速来率表示。 R=NlogD/L≥logK）
（7）有错编码 示。
(U1U2…UL)的有些不同事件用相同的码字来表
（8）有错编码的译码方法与 “译码错误”概率 当使用有错 编码时，必须给出译码方法（一个码字究竟翻译成哪个事 件）。“译码错误”的概率定义为
①实际的编码速率R=NlogD/L≤R0， ②译码错误的概率pe<ε。 （11）渐进无错编码的原理 大数定律。随着L的增加，
(U1U2…UL)的所有事件中，某些事件所占的比例越来越小 （→0），其发生的概率却越来越大（→1）。
2019/5/26
11
§3.2 离散无记忆（简单）信 源的等长编码
（12）不能渐进无错的编码 （简单地说就是：当R<H(U1) 时，无论怎样编码和译码都不能使译码错误的概率pe 任意小。严格地说就是： ）