第二章信息论

第三节
信息的量化
一、概率的概念及有关知识 1、申农关于信息量化的观点 完全撇开信息的具体内容，也不考虑主观 因素对信息的影响，把信息加以形式化，用信 息发生的概率对信息进行量化。 2、自然现象的分类 必然事件：在一定条件下必然发生的现象 不可能事件：在一定条件下不会发生的现象 随机事件：在一定条件下可能发生，也可能不发生的
第二章 信息论
第一节 第二节 第三节 第四节 第五节 信息概述 信息论的基础知识 信息的量化 信息方法 信息科学技术和信息革命
信息论最初是一种专业性很强的通信理论， 主要研究通信领域中的信息的量化问题。后 来由于信息的普遍性和信息论的广泛应用， 信息论发展成为新兴的边缘学科—信息科学。 信息论是研究信息的产生、识别、获取、 传输、存储、处理和利用的理论和技术，主 要解决对信息的认识问题，研究信息的描述 和度量以及信息传输的理论。
申农信息定义
信息是用来消除不确定性的东西
维纳信息定义
信息就是人和外界相互作用的过程中相互交换的内容总称。
维纳信息定义的改进
信息是控制系统进行调节活动时与外界相互作用、相互 交换的内容。
通讯领域
信息是关于客观事物的可通讯的知识。
系统开发领域
信息是经过加工处理的具有特定含义的数据，它对使用 者的行为具有现实的或者潜在的价值。
第二节
信息论基础知识
一、通信系统模型 1、通信系统模型
申农认为通信应该是信息在系统中识别、 传输、变换、存储、处理、显示的过程。因此 通信系统必须是一个发送与接收，输入与输出 两者相互联系的不可分割的统一体。
通信系统模型
通信的基本问题是在彼时彼地精确地或近似地再现此时此 地发出的消息。 各种通信系统，一般可概括为下图所示的统计模型：
A的概率，则这种概率叫事件A在事件B发生条件下的条 件概率，记做P（A的概率与另一 事件在前一事件已发生的条件下的条件概率的乘积。 记做 P(AB)=P(A)*P(B/A)=P(B)*P(A/B)
实例
1>任取一件恰是合格品的概率？（A事件） 2>若已知取出的是第一台车床加工的零件（B事件）的 条件概率？ 3>已知取出的是第二台车床加工的零件的条件概率？
Information in terms of decision involving little or no cognitive processing
signals, bits, straightforward data - e.g.. inf. theory (Shanon), economics,
3、分类 哲学角度 系统与环境的关系 效用 事物运动方式
主观信息 客观信息 外部信息 内部信息 有用信息 无用信息 确定信息 概率信息 模糊信息
二、信息论的产生与发展 1、信息论的产生 背景
生产社会化程度的提高迫切要求通信技术解 决一系列信息问题：怎样从各种接收信号中虑 去各种噪声，怎样才能充分利用信道容量等问 题的研究逐渐形成了信息论。
data, documents with quality of imparting information - tangible
refers to potential information conveyed from objects
Information in information science
离散信源及其数学模型
信源是产生消息的源，根据X的不同情况，信源可分为以下 类型： 连续信 源 时间 离散信源 波形信源 离散而 消息集X 时间连续 空间连 为离散集 的信源。 续的信 合。 源。 根据信源的统计特性，离散信源又分为两种： 无记忆信源 X的各时刻取值相互独立。 有记忆信源 X的各时刻取值互相有关联。
等效干扰 信 信 信 信
干 信
等效信
扰 道 源
等效信 信 信
信
这个模型包括以下五个部分： 1.信源 信源是产生消息的源。 信源 2. 编码器 编码器是将消息变成适合于 信道传送的信号的设备。 信源编码器，提高传输效率 编码器 信道编码器，提高传输可靠性 3. 信道 信道是信息传输和存储的媒介。 4. 译码器 译码是编码的逆变换，分为 信道译码和信源译码。 5. 信宿 信宿是消息的接收者。
Information as a process
what someone knows is changed when informed; “the action of informing” (similar as Brookes)
refers to cognitive changes + process of doing it
译码是编码的逆过程，它把信道中传输过来
的信号转换成信息序列。
通信系统模型的应用
普适性 抽象性 描述了通信过程的各个环节
二、通信的可靠性
通信要求将信息准确无误的传给信宿，使之能够在信宿 端清晰的再现，也就是说要保证通信的可靠性，这主要 通过编码译码和抗噪声干扰两个环节实现。 1、正确的编码译码 通过编码译码原则来确保编码译码本身的可靠性：
Information involving cognitive processing & understanding
understanding, matching texts, Brookes
Information also as related to context, situation, problem-at-hand
编码效率
不同的编码方式码字所载的平均信息量不同，相 同条件下码字所载的信息量越多，编码的效率越高， 通信的效率也就越高。
信道容量
指信道在单位时间内可以传递的最大信息量。信 道容量要选择适中。
2、三种因素之间的关系 传信率、编码效率和信道容量三种因素密 切相关。同一信道采用不同的编码会有不同的 传信率，提高了编码效率，传信率也会提高， 然而对于信道来说，传信率不能无止境的提高， 它受信道容量的限制。这三者之间的关系就好 像交通运输中的运输率、运输调度方案和公路 的最大汽车流量一样。申农用信道定理描述了 这三者之间的关系：
第一节
一、信息概念 1、什么是信息
信息概述
物质、能量和信息是构成客观世界的三大要素。
信息、消息、 信息、消息、信号
通信系统中形式上传输的是消息，实质上传输的是信息，消 息中包含信息，消息是信息的载体。 信息常以消息的形式表现出来，通过信号传递：信息是消息 的内核，消息是信息的外壳；信号只是携带信息，并不是信息本身。
无噪声信道定理
对于给定的信道，如果传信率小于信道容量，又没 有噪声干扰则可以找到一种编码使信息准确无误的传输。 反之，如果传信率大于信道容量，那么必然会产生差错。
有噪声信道定理
在有噪声的信道中，当传信率小于或者等于信道容 量时，总存在一种编码能以任意小的误差概率在信道中 传递。
通信过程中的可靠性和效率是一对矛盾，在设 计过程中必须妥善、合理的解决。
补充解释 信源和信宿 信源亦称信息源，它能够形成和发送一组有待于传输
给接收端的消息或消息序列。
信宿即信息接受者，它能够接收信息并使信息再现从
而达到通信的目的。
说明：
信源和信宿是多方面的，既可以是人，也可以是 物 信源和信宿是相对的 信源发出的信息对于信宿来说是不确定的
信道和噪声 信道是传输信息的媒介，是信源和信宿交换信息的通
维纳从控制和通信的角度研究了信息问题，以自动 控制的观点解决了信号被噪声干扰时的处理问题，建立 了“维纳滤波理论”，从而扩大了信息论的研究范围。
申农信息论
申农使信息论成为了一门独立的学科，主要解决 了信息编码问题和如何提高通信的效率和可靠性。 《通信中的数学理论》和《在噪声中的通信》集 中了申农的研究成果，系统的论述了信息理论，奠定 了现代信息论的基础。
4、信息论的研究范畴
狭义信息论，即通信的数学理论，主要研究狭义信息 的度量方法，研究各种信源、信道的描述和信源、信 道的编码定理。
• 实用信息论，研究信息传输和处理问题，也就是狭义
信息论方法在调制解调、编码译码以及检测理论等领 域的应用。
• 广义信息论，包括信息论在自然和社会中的新的应用，
如模式识别、机器翻译、自学习自组织系统、心理学、 生物学、经济学、社会学等一切与信息问题有关的领 域。
现象
3、概率 用来表示随机事件发生的可能性大小的量， 记做P（0<P<1）。 4、概率的基本原则 加法原则 若A、B是两个互不相容事件，则事件A和B 之和的概率等于这两个事件的概率之和，记做 P(A+B)=P(A)+P(B)。 这个规则可以推广到m个互不相容的随机事 件。
除法原则 法原则 条件概率：如果在事件B已经发生的条件下计算事件
雏形
20世纪20年代，卡森纠正了当时流行的“可 以通过调频将载频的频带扩大”的错误观点
1924年，奈奎斯特提出电信号的传输速率与频道带 宽有比例关系。 1928年，哈特莱发表了《信息传输》，第一次把信 息和消息区别开来，并首次提出信息量的概念，同时指 出可以用消息出现的概率的对数来度量信息量。
维纳信息论
路。他不但具有传输信息的作用，同时也具有存储信 息的任务。
噪声是除信源发出的信号以外的各种干扰信号，包括
系统外噪声和系统内噪声两部分，它会造成信息失真。
编码和译码 编码就是把信息转换成信号的过程。一般来说编码分
为两部分：一是信源编码，把信源输出的符号序列用 某个给定的字母表中的字母组编成最佳字母序列；二 是信道编码，就是把信源编码后的字母序列变换成适 于在信道中传输的最佳信号序列。
统一原则 一一对应原则 最大可靠性原则
利用编码译码技术抗噪声干扰：
重复编码
二、通信的可靠性
2、抗噪声干扰 提高信澡比
信澡比就是发送信号功率和噪声功率之比。
途径：
提高发送信号功率 降低噪声功率
降低传递信号的速度或传信率 多信道传输 3、增加带宽
三、通信的效率 1、影响通信效率的因素 传信率
指一条信道在单位时间内传递的信息量。 传信率越高，通信效率越高。
Information as knowledge
knowledge communicated about x
uncertainty removal a special case refers to that which is being communicated - intangible
Information as a thing
USERS, USE,TASK
For information science (including information retrieval): third, broadest interpretation necessary
2、信息的基本特征 客观性 知识性 共享性 传播性 时效性 价值性 无限性
基本理论：
把信息抽象为一个单纯的量，并用数学方法进行 量化的描述 抽象出了通信系统模型 初步解决了信息的提取、表达的问题
Claude Elwood Shannon (1916-2001)
信息的层次
统计信息/语法信息/客观信息 语义信息 价值信息
申农信息论的局限性
信息量的相等与接收者的主观方面有关 相同的信息对于不同的接收者价值不同 不能对模糊信息定量描述
信息论的定义
从客观角度上讲信息是物质和能量在空间和时间上分布 的不均匀程度，或者说信息是关于事物运动的状态和规律。 从使用者角度上说信息是关于事物运动状态和方式的知识。
Cognitive – basic idea: K(S) + ∆I = K(S + ∆S) (Brookes)
Information when operating on a knowledge structure produces an effect whereby the knowledge structure is changed “Information is differences that make a difference” (Bateson)
α Actually, it states the problem – “unoperational” in information systems involves mental events only constructivists rejected it
Information manifestations (Buckland)