第02章：信息科学基本概念

2.1信息的概念与描述
• 信息定义： • 信息是认识主体所感知的或所表述的客观 事物运动的状态和状态改变方式。运动分 为内部运动与外部运动；内部运动指事物 内部结构状态及其变化；外部运动指事物 外部的联系及其相互作用。客观事物即指 外部客观世界的实在客体，同时又指主观 世界的精神现象。
三类基本的信息定义
信息论简介
• 狭义信息论主要的研究领域为：通信的有效性、 通信的可靠性、通信的保密性三个方面。 • 通信的有效性指数据压缩或称信号压缩编码，其 目的是减少通信信源的数据量，节省通信带宽； • 通信的可靠性指数据传输失真或传输误码率的减 少，使传输过程更准确； • 通信的保密性指通信过程中，通信的内容不应当 被非授权的第三方获取。 • 狭义信息论的主要研究内容为：信息侧度、信道 容量、信源编码和信道编码理论等内容。
三类基本的信息定义
• 周戟教授对信息的定义：信息是系统的组成部分， 是物质和能量的形态、结构、属性、和含义的表 征，是人类认识客观的纽带。物质表现为具有一 定质量、体积、形状、颜色、温度、强度等性能。 这些物质的属性都是以信息的形式表达的。人们 通过信息认识物质、认识能量、认识系统、认识 周围世界。 • 邓宇2002年提出的”信息”概念与定义：“信息 是事物现象及其属性标识的集合。
通信系统模型
通信系统模型
• 信源产生待传输的消息，消息的形式是多种多样的，如字 母、文字、旗语、数据、语声、音乐和图像等（这些都可 视为符号序列）。但是消息不同于信息，它是信息的载体。 发送机将消息变换为适合于信道的信号，信号成为信息的 载体。变换指的是从消息转变为信号的全过程，其中最主 要的是编码与调制。信道是信号从发送机传输到接收机的 媒质，如导体、传播电磁波的自由空间和光导纤维等。信 号在传输途中总要遇到一些干扰产生不可预计的损害，这 些干扰被称为噪声，系统各部分的噪声的总和以噪声源表 示。接收机是发送机的对应端，它将信号再变换为消息。 但是，由于接收信号受到噪声的干扰导致输出的消息中存 在失真或错误而丢失部分信息。信宿是被传输信息的归宿， 也就是消息的接受者。
2.2信息的度量与信息的基本特征
• 定义2.1：设信源产生的随机变量序列为 X=(x1,x2,…,xN)，其中，xm= ai。 如果{ai，i∈[1,N]}可以完全代表信源输出的所有符号，则 集合{a1,a2,…,aN}为信源输出的符号集合，记为A。 对信源输出符号序列X进行统计分析，获得符号ai出现的 概率为P（ai），因此，信源可以用如下数学模型表示：
三类基本的信息定义
• 鈡义信教授给出的信息定义：信息是认识 主体所感知的或所表述的客观事物运动的 状态和状态改变方式。运动分为内部运动 与外部运动；内部运动指事物内部结构状 态及其变化；外部运动指事物外部的联系 及其相互作用。客观事物即指外部客观世 界的实在客体，同时又指主观世界的精神 现象。
三类基本的信息定义
wenku.baidu.com 信息论简介
• 狭义信息论 认为 • 通信对象的信息（符号序列）一般具有统计特性， 因此研究的数学工具以概率论与数理统计为基础 工具；通信的目的是一种信息的交流，由于对方 不知道或者本人有疑问，为了解除疑问需要通信， 通信的过程是疑问解除的过程，也是信息获取与 交流的过程，在信息交流的过程中，疑问（不确 定性）的解除量等价于获取的信息量。也就是说， 获取的信息量等价于通信前后“不确定性”的消 除量。由于“不确定性”代表有“多种可能的结 果”，因此必须用概率来度量。“不确定性”是 关于某一个事件x的概率P(x)的函数。即信息量 I=f(P(x))。
• 第一类：字典和百科全书中的解释 • 英国：牛津字典——信息是谈论的事情、 新闻和知识。 • 韦氏字典——信息是观察、研究过程中获 得的数据、情报、新闻和知识。 • 日本：广辞苑——信息是所观察的知识等。 • 对于上述定义的归纳可以看出人们常常把 消息中有意义的内容称为信息。
三类基本的信息定义
• 第二类：科学家的定义 • 香农（C.E.Shannon）对信息的定义——信息是事物的 “不确定性”的度量。因此，信息可以描述为确定性的增 加，人们收到信息获得的信息量就是确定性的增加量。 • 1948年，美国数学家、信息论的创始人香农在题为“通讯 的数学理论”的论文中指出：“信息是用来消除随机不定 性的东西”。 • 艾什比（William Ross Ashby）对信息的定义——信息是 事物的“差异性”的度量。艾什比是控制论创始人之一、 英国生物学家（William Ross Ashby，1903-1972）。 • 维纳（N.Wiener）对信息的定义——信息是事物的“组织 性”的度量。
信息论简介
• 广义信息论主要研究信息传输和信息处理问题。 含香农基本理论、噪声理论、信号滤波和预测、 统计检测与估值理论、调制理论、信息处理理论、 保密理论等内容。同时广义信息论同时包含狭义 信息论研究内容。 • 广义信息论还研究包含所有的有关信息的自然和 社会科学领域，如：模式识别、计算机翻译、心 理学、遗传学、语言学、神经生物学、语义学、 计算机科学等等。
• 第三类：哲学家的观点 • 1948年，美国著名数学家、控制论的创始人维纳 在《控制论》一书中，指出：“信息就是信息， 既非物质，也非能量。” • 维纳从哲学观点出发，强调信息是独立于物质与 能量的客观事物的对立属性，由此可以看出信息 学科是一个独立的与传统机械、化工、农业等学 科并存的学科。能量可以载荷信息，客体（物质） 可以产生信息。
第2章：信息科学基本概念
• 信息的传递与交换能够又多、又快、又好、又经 济是人类活动最为普遍的愿望，并且人们希望能 够对信息进行定量分析。 • 1948年，香农（C.E.Shannonn）在发表的《通 信中的数学模型》一文中建立了狭义信息论的基 本理论，对信息的度量问题给出了明确的定义。 • 狭义信息论的基本思想是把信息作为通信过程中 的消息来处理，通信的内容（符号）的传递具有 一定的形式。