信息论与编码ppt

通讯系统模型
信源 消息 编码器
信号 噪声 干扰源 通信系统基本模型 信源：消息的来源，如文字、语音、图像等 编码器：把消息变换成信号，如信源编码、纠错编码、调制器 信道：传递信号的媒介，如电缆、光纤、无线电波等 噪声：信道中的干扰，如加性干扰、乘性干扰 译码器：把信道输出的信号反变换，解调器、纠错译码器、信 源译码器 信宿：信息的接受端，接收消息的人或物
信息的度量
由于信息量与概率成反比，并且具有可加性，可以证明， 信息量的计算式为
1 I ( xk ) log 2 log 2 pk pk
其中pk是事件xk发生的概率，这也是仙农关于(自)信息 量的度量(概率信息)，单位为bit
哈特莱早在20世纪20年代就提出用对数作为信息 量的测度。哈特莱认为：消息和信息不同，多种多样 、千姿百态的消息是信息的载体，消息究竟包含了多 少信息，应该用消息出现的概率的对数来计算，从而 他为信息度量找到了对数这一数学理论。
信道
译码器
消息
信宿


通讯系统模型
编码问题可分解为三类：信源编码、信道编码和密码．
• 信源编码器：把信源发出的消息变换成由二进制码元（或 信源：消息的来源 • 多进制码元）组成的代码组以提高通信系统传输消息的效 编码器：把消息变换成信号 率。信源编码可分为无失真信源编码和限失真信源编码。 • 目的：提高信息传输的有效性 信道：传递信号的媒介 信道编码器：在信源编码器输出的代码组上有目的地增加 • 一些监督码元，使之具有检错或纠错的能力。 译码器：把信道输出的信号反变换 • 目的：提高信息传输的可靠性 信宿：信息的接受端 密码学：研究如何隐蔽消息中的信息内容，使它在传输过 • 程中不被窃听，提高通信系统的安全性。 噪声：信道中的干扰 目的：提高信息的安全性
课程目标与安排
学 时：32
考试方式：开卷 考试成绩：平时成绩*2Βιβλιοθήκη Baidu% + 考试成绩*80%
课程目标与安排

课程内容安排 第一章 第二章 第三章 第四章 第五章 第六章 第七章 绪论 信源熵 信道容量 信息率失真函数 信源编码 信道编码 密码体制的安全性测度
课程目标与安排
参考书
曲炜，朱诗兵，信息论基础及应用，清华大学出版社， 2005 信息论与编码，陈运、周亮、陈新，电子工业出版社， 2007 傅祖芸，信息论与编码，电子工业出版社，2004 周荫清，信息论基础(第3版)，北京航空航天大学出版 社，2006
有关的课程
高等数学，概率论，线性代数
信息论基础
第一章 绪论
主讲：苗立刚 基础楼318
计算机与通信工程学院 2014年3月
第一章 绪论
本章主要讨论的问题：
信息的有关概念 通讯系统模型
信息论的形成和发展历史
信息的有关概念
“信息”是信息论中最基本、最重要的概念，它是一个既抽 象又复杂的概念，目前还没有一个统一的定义(百余种)； “信息”不同于消息 –在现代信息论形成之前，信息一直被看作是通信中消息 的同义词，没有严格的数学含义； –所谓消息，是用文字、符号、数据、语言、图片、图像 等形式，把客观事物运动和主观思维活动的状态表达出来 ； –消息是信息的载体；消息是表现形式，信息是实质。 “信息”不同于情报 –情报往往是军事学、文献学方面的习惯用词，它的含义 比“信息”窄的多，一般只限于特殊的领域，是一类特殊 的信息； – “情报”是人们对于某个特定对象所见、所闻、所理解产
信息论与编码
主讲：苗立刚 基础楼319
计算机与通信工程学院 2016年3月
课程目标与安排

课程特点
它是信息处理方向的一门重要的专业基础课，是后续课程 的基础，如通讯原理、数字图像处理、语音信号处理等。 介绍信息科学的基础理论和基本方法，课程将基于一个通 讯系统的抽象数学模型进行展开，课程分为基础理论和编码 理论两部分组成。 本课程以概率论为基础，数学推导较多，学习时主要把注 意力集中到概念的理解上，不过分追求数学细节的推导。 注意基本概念的理解，不断加深概念的把握。学习时注意 理解各个概念的“用处”，结合其他课程理解它的意义，而 不要把它当作数学课来学习。
信息的几种定义 以信源为主的信息定义、以信道为主的信息定义和以信宿 为主的信息定义。 以信源为主的信息定义有：
1)信息是事物之间的差异(Longo,1975) 2)信息是有序性的度量(Wiener,1948)
以信道为主的信息定义有：
1)信息是通信传输的内容(Wiener,1950) 2)信息是人与外界相互作用的过程中所交换的内容的名称(Wiener,1948)
以信宿为主的信息定义有：
1)信息是用来消除随机不定性的东西 (Shannon,1948） 2)信息是使概率分布发生变动的东西 （Tribes etal, 1971）
信息的有关概念
仙农从研究通信系统传输的实质出发，对信息做出了 科学的定义；
仙农注意到：收信者在收到消息之前是不知道消息的具体 内容的。通信系统消息的传输对收信者来说，是一个从不 知到知的过程，或者从知之甚少到知之甚多的过程，或是 从不确定到部分确定或全部确定的过程。
信息的有关概念
“信息”不同于知识 –知识是人们根据某种目的,从自然界收集得来的数据中 整理、概括、提取得到的有价值的信息，是一种高层次 的信息； –知识是信息，但不等于信息的全体； “信息”不同于信号 –把消息变换成适合信道传输的物理量，就是信号；信号 是承载消息的物理量；
信息的有关概念
因此, 对于收信者来说, 通信过程是消除事物状态的不确 定性的过程，不确定性的消除，就获得了信息，原先的不 确定性消除的越多，获得的信息就越多； “信息”是事物运动状态或存在方式的不确定性的描述， 这就是仙农关于信息的定义。
信息的度量
信息的度量（信息量）和不确定性消除的程度有关，消除了 多少不确定性，就获得了多少信息量； 不确定性就是随机性，可以用概率论和随机过程来测度不确 定性的大小，出现概率小的事件，其不确定性大，反之，不 确定性小； 由以上两点可知：概率小 信息量大，即信息量是概率的 单调递减函数； 此外，信息量应该具有可加性；