信息论与编码全套教学课件

➢ 本课程以概率论为基础，数学推导较多，学习时主要把注 意力集中到概念的理解上，不过分追求数学细节的推导。
➢ 注意基本概念的理解，不断加深概念的把握。学习时注意 理解各个概念的“用处”，结合其他课程理解它的意义，而 不要把它当作数学课来学习。
课程目标与安排
学 时：32 考试方式：开卷 考试成绩：平时成绩*20% + 考试成绩 *80%
以信道为主的信息定义有：
1)信息是通信传输的内容(Wiener,1950) 2)信息是人与外界相互作用的过程中所交换的内容的名称(Wiener,1948)
以信宿为主的信息定义有：
1)信息是用来消除随机不定性的东西 (Shannon,1948） 2)信息是使概率分布发生变动的东西 （Tribes etal, 1971）
信息论与编码
主讲：苗教授
计算机与通信工程学院 2020年3月
课程目标与安排
课程特点
➢ 它是信息处理方向的一门重要的专业基础课，是后续课程 的基础，如通讯原理、数字图像处理、语音信号处理等。
➢ 介绍信息科学的基础理论和基本方法，课程将基于一个通 讯系统的抽象数学模型进行展开，课程分为基础理论和编码 理论两部分组成。
通讯系统模型
信源 消息
编码器 信道 信号 噪声
译码器
信宿
消息
干扰源 通信系统基本模型 ✓ 信源：消息的来源，如文字、语音、图像等 ✓ 编码器：把消息变换成信号，如信源编码、纠错编码、调制器 ✓ 信道：传递信号的媒介，如电缆、光纤、无线电波等 ✓ 噪声：信道中的干扰，如加性干扰、乘性干扰 ✓ 译码器：把信道输出的信号反变换，解调器、纠错译码器、信 源译码器 ✓ 信宿：信息的接受端，接收消息的人或物
信息的有关概念
➢ 有一个统一的定义(百余种)；
➢ “信息”不同于消息 – 在现代信息论形成之前，信息一直被看作是通信中消息的 同义词，没有严格的数学含义； – 所谓消息，是用文字、符号、数据、语言、图片、图像等 形式，把客观事物运动和主观思维活动的状态表达出来； – 消息是信息的载体；消息是表现形式，信息是实质。
➢ “信息”不同于信号 – 把消息变换成适合信道传输的物理量，就是信号；信号 是承载消息的物理量；
信息的有关概念
➢ 信息的几种定义 以信源为主的信息定义、以信道为主的信息定义和以信宿为主
的信息定义。
以信源为主的信息定义有：
1)信息是事物之间的差异(Longo,1975) 2)信息是有序性的度量(Wiener,1948)
➢ “信息”不同于情报 – 情报往往是军事学、文献学方面的习惯用词，它的含义比 “信息”窄的多，一般只限于特殊的领域，是一类特殊的 信息； – “情报”是人们对于某个特定对象所见、所闻、所理解产 生的知识；
信息的有关概念
➢ “信息”不同于知识 – 知识是人们根据某种目的,从自然界收集得来的数据中整 理、概括、提取得到的有价值的信息，是一种高层次的 信息； – 知识是信息，但不等于信息的全体；
信息的有关概念
仙农从研究通信系统传输的实质出发，对信息做出了科学 的定义； ➢ 仙农注意到：收信者在收到消息之前是不知道消息的具体 内容的。通信系统消息的传输对收信者来说，是一个从不 知到知的过程，或者从知之甚少到知之甚多的过程，或是 从不确定到部分确定或全部确定的过程。 ➢ 因此, 对于收信者来说, 通信过程是消除事物状态的不确定 性的过程，不确定性的消除，就获得了信息，原先的不确 定性消除的越多，获得的信息就越多； ➢ “信息”是事物运动状态或存在方式的不确定性的描述， 这就是仙农关于信息的定义。
✓• 信一译道些码编监器码督器码：：元把在，信信使源之道编具输码有出器检输错的出或信的纠号代错码的反组能变上力换有。目的地增加
• 目信的宿：：提高信信息息的传输接的受可端靠性
✓
•
密程噪码中声学不：：被研窃信究听道如，中何提隐高的蔽通干消信扰息系中统的的信安息全内性容。，使它在传输过
信息的度量
➢ 由于信息量与概率成反比，并且具有可加性，可以证明， 信息量的计算式为
I (xk ) log2
1 pk
log2
pk
其中pk是事件xk发生的概率，这也是仙农关于(自)信息量 的度量(概率信息)，单位为bit
哈特莱早在20世纪20年代就提出用对数作为信息 量的测度。哈特莱认为：消息和信息不同，多种多样 、千姿百态的消息是信息的载体，消息究竟包含了多 少信息，应该用消息出现的概率的对数来计算，从而 他为信息度量找到了对数这一数学理论。
通讯系统模型
编码问题可分解为三类：信源编码、信道编码和密码．
✓• 信信源源编：码器消：息把的信源来发源出的消息变换成由二进制码元（或
•
多编进码制器码元：）把组消成的息代变码换组以成提信高号通信系统传输消息的效
率。信源编码可分为无失真信源编码和限失真信源编码。
• 目信的道：：提高传信递息信传输号的的有媒效性介
➢ 傅祖芸，信息论与编码，电子工业出版社，2004 ➢ 周荫清，信息论基础(第3版)，北京航空航天大学出版
社，2006
有关的课程
➢ 高等数学，概率论，线性代数
信息论基础
第一章 绪论
主讲：苗立刚 基础楼318
计算机与通信工程学院 2014年3月
第一章 绪论
本章主要讨论的问题：
➢ 信息的有关概念 ➢ 通讯系统模型 ➢ 信息论的形成和发展历史
课程目标与安排
课程内容安排
第一章 绪论 第二章 信源熵 第三章 信道容量 第四章 信息率失真函数 第五章 信源编码 第六章 信道编码 第七章 密码体制的安全性测度
课程目标与安排
参考书
➢ 曲炜，朱诗兵，信息论基础及应用，清华大学出版社， 2005
➢ 信息论与编码，陈运、周亮、陈新，电子工业出版社， 2007
信息的度量
➢ 信息的度量（信息量）和不确定性消除的程度有关，消除了 多少不确定性，就获得了多少信息量；
➢ 不确定性就是随机性，可以用概率论和随机过程来测度不确 定性的大小，出现概率小的事件，其不确定性大，反之，不 确定性小；
➢ 由以上两点可知：概率小 信息量大，即信息量是概率的单 调递减函数；
➢ 此外，信息量应该具有可加性；