信息论的国内外研究现状

信息论的国内外研究现状

有关香农的信息论的国内外的研究现状

【摘要】随着计算机技术、通信技术和网络技术等信息技术的快速发展信息技术已经成为当今社会应用范围最广的高新技术之一。信息论是信息技术的主要理论技术基础之一

它的一些基本理论在通信、计算机、网络等工程领域中得到了广泛的应用。目前信息论所研究的范畴已经超过了通信及其相近学科，在其他学科应用也很广泛。本学期我们开设了“电子信息工程导论”这一课程，我在其中对信息论的基础理论有了初步的了解借此文对信息论的国内外研究现状进行简单的论述。

【关键词】香农研究信息论

【正文】香农信息论的局限性很早就被认识到，包括香农本人。香农的信息论诞生不久，许多人将它推广到日常信息交流场合，于是出现纰漏。香农也曾经辑文反对信息论的滥用。和Shannon合著《通信的数学理论》一书的W. Weaver就提出通信的三个水平，而香农理论仅仅是其中一个水平。为了解决语义信息问题，R. Carnap等人提出用逻辑概率代替普通概率，然后用Shannon 熵度量语义信息。50年代末，Kullback提出Kullback信息公式。60年代初，Brillouin提出可用Hartley公式的改进形式来度量非概率信息，比如测量数据的信息。1965年，L. A. Zadeh提出模糊集合论，1968年，他又提出模糊事件，即模糊集合A中事件的概率，和模糊集合的熵。1972年,德鲁卡和特尔米尼提出了用来测度模糊事件的信息量的模糊信息熵公式。70年代，H. Gottinger提出非概率信息，S.Guiasu提出了加权熵和效用信息，都产生了一定影响。G. Jumarie还提出采用洛伦兹变换的相对信息，可惜相对信息的定义并不自然，它与本项目的相对信息有很大的差别。此后，R. Yager，M. Higashi和G. Klir，D. Dubois和H. Prade等人又提出或讨论了可能不确定性测度及相应的广义熵，这类方法只采用隶属度等主观测度而不使用事件发生的概率。吴伟陵教授对广义熵和模糊信息做过探讨。我国学者钟义信先生1981年针对香农信息论的熵公式只能度量概率信息的缺陷,提出了一种"广义信息函数"。1985年,他又把该公式推广到语义信息和语用信息的度量,得到了语法,语义和语用信息的综合测度公式,即所谓"全信息"的计量模型。1993年，鲁晨光提出广义信息论，指出香农信息论的局限性具体表现在:不便于度量语义信息、感觉信息、信源信道可变时的信息以及单个信号的信息。鲁晨光提出了广义通信模型和可度量语义信息、感觉信息及测量信号信息的广义信息测度；讨论了预测和检测的信息准则和优化理论。George J. Klir 则在模糊逻辑，不分明集这些不确定性方面作出了许多的研究。斯托尼尔在90年代初提出统一的信息理论,他把信息看成是宇宙的一种基本属性,其目标是在信息物理学的基础上,并综合现有的控制论,符号学,语言学,认知心理学等学科,构建一个所谓一般信息理论的框架。这些新的理论都是在香农的基础上进行扩展，认识到了香农的一些局限性，都很重视对单重不确定性（信息熵）的研究，但是都没有考虑的信息的可靠性这一问题，即信息与客观事实和真理的符合程度，从信息表示的角度，也就是说没有考虑到信息的表示是不确定性的，如信息的表达中概率是变动的，随机的。此外关于信息的定义非常多，但是并不存在公认的定义，绝大多数定义都没有考虑信息的可靠性，信息的定义也是以“信息是消除不确定性的东西”

得到广泛的重视。关于不确定性理论，相关的推理模型没有一个统一的模型，种类不计其数，其中比较著名的有：Shortliffe在1975年结合医疗专家系统MYCIN建立的确定性理论，Duda在1976年结合探矿专家系统PROSPECTOR建立的主观Bayes推理，Dempster Shafer 在1976年提出的证据理论，Zadeh在1978年提出的可能性理论，1983年提出的模糊逻辑和逻辑推理，Nilsson在1986年提出的概率逻辑，Pearl在1986年提出的信任网络。八十年代以后，人们又提出了灰色系统理论、粗集理论、概念图、基于信比概念的知识处理和集对分析等新方法。国内学者李德毅提出了云模型，何华灿提出了泛逻辑学。但是不确定性理论通常是不够严谨的，甚至还存在一些冲突和悖论。这些理论与概率论和信息论都是出现了不应该有的隔离，特别是与信息论与不确定性理论、信息融合相去甚远。可以说信息与知识和智能已经隔离了，国内学者钟义信认识到这一问题，提出信息－知识－智能转换的规律，提出了一些框架。在可靠性理论方面，主要是研究工程、产品和系统的可靠性，其中包括软件产品的可靠性，涉及到信息的主要是针对信息系统的可靠性、可靠性相关的信息的处理软件系统以及可靠性相关的信息的分析和利用设计。除申请人提出了信息的可靠性问题，并且分析了它与不确定性的关系外，目前尚未见到有对信息本身的可靠性相关的其他研究，而信息的可靠性问题比一般的可靠性问题更加复杂。

【主要参考文献】

[1]. Shannon C E. A mathematical theory of communication，Bell System Technical Journal,27 (1948)，379—429，623—656

[2]. 钟义信．面向智能研究的全信息理论[J]．北京邮电大学学报，2000，(1) [16]. 钟义信. 信息科学原理，福建人民出版社，1988

[3]. 鲁晨光．广义信息论，中国科技大学出版社，1993

[4]. Klir, G.J.Measuring uncertainty associated with convex sets of probability distributions: a new approach,Fuzzy Information Processing Society, 2005. NAFIPS 2005. Annual Meeting of the North American 26-28 June 2005 Page(s):61 - 64

[5]. George J. Klir.An update on generalized information theory[A].ISIPTA[C].2003.321～334

[6]. 李德毅，不确定性人工智能，国防工业出版社, 2005年7月