Information Theory & Coding信息论与编码(英文版)信息论基础绪论
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
二)什么是信息论？
它是C.E.Shannon四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。主要研究的问题：
1)信源的描述，信息的定量度量、分析与计算。
2)信道的描述，信道传输的定量度量、分析与计算。
3)信源、信道与通信系统之间的统计Fra Baidu bibliotek配，以及通信系统的优化。
——Shannon的三个编码定理。
信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。
消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：
1)离散(数字)消息，是一组未知量，可用随机序列来描述：
信源编、译码理论及其设计构造方法；
信道编、译码理论及其设计构造方法；
最佳调制与解调理论与实现；
最佳检测、估值与最佳接收理论与实现；
最佳信息处理理论、方法与算法；
……
3)广义信息论：
核心问题是拓广，有三重含义：
首先是在信息含义的拓广，以语言信息为例：
其次是在描述方法上的拓广：
从定量到定性；
从客观到主观；
人类依靠知识改造自然，适应自然，靠知识促进社会的发展与进步。
所谓抽象性则是指：
信息是组成客观世界并促进社会发展的最基本的三大要素之一。
三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。
信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。
而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述。同样，同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。
从概率到模糊；
从统计到单个实发。
最后是用途上的拓广：
从通信领域拓广至相邻自然科学领域；
从自然科学领域拓广至社会科学领域。
四）主要参考书
1）“信息处理与编码”，人民邮电出版社，1999，（吴伟陵）
2）“信息理论基础”，人民邮电出版社，1983，（周炯槃）
3）“信息与编码理论”，西电出版社，1986，（王育民等）
信息论诞生五十年来，至今，仍然是指导通信技术发展的理论基础，是创新新通信体制的源泉。
三) 信息论的研究范畴
1)基础信息论
主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。
2)工程信息论
以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。主要包括：
U=(U1…Ul…UL)
2)连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,ω)
信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。
这就是说：信息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
信息论基础
绪论
科学技术的发展使人类正在进入一个新的时代，这个时代的主要特征之一是对信息的需求和利用，因此有人称它为信息时代。
一)什么是信息？
信息至今无确切定义，但是它是一种人人皆知的抽象概念，是一种不言自明的概念。正像什么是“人”的概念一样，不言自明，人人皆知。
信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。所谓广泛性可从以下三方面来理解：
4）“The Theory of Information and Coding”，(R.J.Mceliece)
5)“现代情报理论”，(有本卓)
1)客观世界充满着信息：
天上的星体、地下的矿藏，一切客观物质无不具有自己的特征信息。
2)人类离不开信息：
人的五官在不停地感知、接收信息；人的神经系统在不停地传递信息；人的大脑则在不停地处理与决策信息；人与人之间又在不停地交流信息；人活在世上百分之百时间都在自觉与不自觉地与信息打交道。
3)知识、书本是有用信息的积累：
它是C.E.Shannon四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。主要研究的问题：
1)信源的描述，信息的定量度量、分析与计算。
2)信道的描述，信道传输的定量度量、分析与计算。
3)信源、信道与通信系统之间的统计Fra Baidu bibliotek配，以及通信系统的优化。
——Shannon的三个编码定理。
信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。
消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：
1)离散(数字)消息，是一组未知量，可用随机序列来描述：
信源编、译码理论及其设计构造方法；
信道编、译码理论及其设计构造方法；
最佳调制与解调理论与实现；
最佳检测、估值与最佳接收理论与实现；
最佳信息处理理论、方法与算法；
……
3)广义信息论：
核心问题是拓广，有三重含义：
首先是在信息含义的拓广，以语言信息为例：
其次是在描述方法上的拓广：
从定量到定性；
从客观到主观；
人类依靠知识改造自然，适应自然，靠知识促进社会的发展与进步。
所谓抽象性则是指：
信息是组成客观世界并促进社会发展的最基本的三大要素之一。
三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。
信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。
而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)来定量描述。同样，同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。
从概率到模糊；
从统计到单个实发。
最后是用途上的拓广：
从通信领域拓广至相邻自然科学领域；
从自然科学领域拓广至社会科学领域。
四）主要参考书
1）“信息处理与编码”，人民邮电出版社，1999，（吴伟陵）
2）“信息理论基础”，人民邮电出版社，1983，（周炯槃）
3）“信息与编码理论”，西电出版社，1986，（王育民等）
信息论诞生五十年来，至今，仍然是指导通信技术发展的理论基础，是创新新通信体制的源泉。
三) 信息论的研究范畴
1)基础信息论
主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。
2)工程信息论
以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。主要包括：
U=(U1…Ul…UL)
2)连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,ω)
信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。
这就是说：信息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。
信息论基础
绪论
科学技术的发展使人类正在进入一个新的时代，这个时代的主要特征之一是对信息的需求和利用，因此有人称它为信息时代。
一)什么是信息？
信息至今无确切定义，但是它是一种人人皆知的抽象概念，是一种不言自明的概念。正像什么是“人”的概念一样，不言自明，人人皆知。
信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。所谓广泛性可从以下三方面来理解：
4）“The Theory of Information and Coding”，(R.J.Mceliece)
5)“现代情报理论”，(有本卓)
1)客观世界充满着信息：
天上的星体、地下的矿藏，一切客观物质无不具有自己的特征信息。
2)人类离不开信息：
人的五官在不停地感知、接收信息；人的神经系统在不停地传递信息；人的大脑则在不停地处理与决策信息；人与人之间又在不停地交流信息；人活在世上百分之百时间都在自觉与不自觉地与信息打交道。
3)知识、书本是有用信息的积累：