香农的信息论的局限性及其推广研究

香农的信息论的局限性及其推广研究

（一）立项根据与研究内容

1.项目的立项根据

【研究意义】

关于香农信息论的局限性一直都有研究，但是信息的可靠性的研究一直在很大程度上受到忽视，比如香农（Shannon，又译申农、仙农）的信息论只是涉及到信息传输过程中的可靠性，香农对信息的定义与度量都从随机不确定性的角度来进行考虑。目前信息的定义超过80种之多，但是信息的定义都缺乏对信息可靠性的考虑，一些信息的定义把信息当作对事物的一种真实的反映，然而信息的不可靠性是广泛存在的，从严格的角度来讲，信息很难是绝对可靠的，包含一些科学规律（一种特别的信息），也只能被证伪，而不能被证明是正确的，用于获取信息的人的感官与各类仪器设备也存在一定的不可靠性。信息的不完备性，也是广泛存在的，往往由于条件的限制而不能得到完全的信息，如何将许多片面的信息进行融合，让信息更加完备，也是一个很重要的问题（特别说明：这里的可靠性是信息本身的可靠性，而不是信息传递、存储等方面的可靠性）。

信息的价值之因此存在，还是由于信息具有一定的可靠性，我们处于信息社会，各类各样的信息在急遽增长，如何很好利用信息，识别信息，提高信息的可靠性，将各类不完备，不可靠的信息进行利用、融合与提取，显然是非常重要的。信息的可靠性不能完全靠人工来鉴别，人工作业有其不精确性，主观性，应当尽量使用信息技术来自动解决，减少人为推断。互联网的出现使得信息不断急遽增长，人工处理这些浩如烟海的信息将是很困难，不现实的，需要建立有关的信息理论来通过计算机融合信息。

然而香农的信息论并不能解决这些问题，他的信息论仅仅习惯于通信等很局限的领域。一些学者提出了广义信息论、全信息理论，统一信息理论扩展了他的

理论，但是这些理论都没有考虑信息的可靠性方面。此外，它与其他的一些信息有关的学科在一定程度上是隔离的。在申请人提出了信息的可靠性问题后，一些学者认为可靠性是信息的重要方面，建议笔者建立可靠信息论。由于可靠性可能过于狭隘，而使用相对信息论命名，除了考虑可靠性外，它具有更加深远的意义，有助于解决与解释更多的问题。

在密码分析方面，缺乏对信息的不确定性与信息融合的研究，比如当多个伪密钥存在的情况下，如何进行推断分析。密码分析前已知的信息与密码分析得到的信息如何进行融合，密码分析得到的信息是不可靠的时候，或者者密码分析得到的信息只能得出某些需要熟悉的信息的不确定的概率分布且事先也对这些需要熟悉的信息从其他的角度得出某一概率分布时候，如何来得出更加完备与可靠的信息，都是尚未研究的领域。

【国内外研究现状及进展动态分析】

香农信息论的局限性很早就被认识到，包含香农本人。香农的信息论诞生不久，许多人将它推广到日常信息交流场合，因此出现纰漏。香农也曾经辑文反对信息论的滥用。与Shannon合著《通信的数学理论》一书的W. Weaver就提出通信的三个水平，而香农理论仅仅是其中一个水平。为熟悉决语义信息问题，R. Carnap等人提出用逻辑概率代替普通概率，然后用Shannon 熵度量语义信息。50年代末，Kullback提出Kullback信息公式。60年代初，Brillouin提出可用Hartley公式的改进形式来度量非概率信息，比如测量数据的信息。1965年，L. A. Zadeh提出模糊集合论，1968年，他又提出模糊事件，即模糊集合A 中事件的概率，与模糊集合的熵。1972年,德鲁卡与特尔米尼提出了用来测度模糊事件的信息量的模糊信息熵公式。70年代，H. Gottinger提出非概率信息，S.Guiasu提出了加权熵与效用信息，都产生了一定影响。G. Jumarie还提出使用洛伦兹变换的相对信息，惋惜相对信息的定义并不自然，它与本项目的相对信息有很大的差别。此后，R. Yager，M. Higashi与G. Klir，D. Dubois与H. Prade 等人又提出或者讨论了可能不确定性测度及相应的广义熵，这类方法只使用隶属

度等主观测度而不使用事件发生的概率。吴伟陵教授对广义熵与模糊信息做过探讨。我国学者钟义信先生1981年针对香农信息论的熵公式只能度量概率信息的缺陷,提出了一种"广义信息函数"。1985年,他又把该公式推广到语义信息与语用信息的度量,得到了语法,语义与语用信息的综合测度公式,即所谓"全信息"的计量模型。1993年，鲁晨光提出广义信息论，指出香农信息论的局限性具体表现在:不便于度量语义信息、感受信息、信源信道可变时的信息与单个信号的信息。鲁晨光提出了广义通信模型与可度量语义信息、感受信息及测量信号信息的广义信息测度；讨论了预测与检测的信息准则与优化理论。George J. Klir则在模糊逻辑，不分明集这些不确定性方面作出了许多的研究。斯托尼尔在90年代初提出统一的信息理论,他把信息看成是宇宙的一种基本属性,其目标是在信息物理学的基础上,并综合现有的操纵论,符号学,语言学,认知心理学等学科,构建一个所谓通常信息理论的框架。这些新的理论都是在香农的基础上进行扩展，认识到了香农的一些局限性，都很重视对单重不确定性（信息熵）的研究，但是都没有考虑的信息的可靠性这一问题，即信息与客观事实与真理的符合程度，从信息表示的角度，也就是说没有考虑到信息的表示是不确定性的，如信息的表达中概率是变动的，随机的。此外关于信息的定义非常多，但是并不存在公认的定义，绝大多数定义都没有考虑信息的可靠性，信息的定义也是以“信息是消除不确定性的东西”得到广泛的重视。

关于不确定性理论，有关的推理模型没有一个统一的模型，种类不计其数，其中比较著名的有：Shortliffe在1975年结合医疗专家系统MYCIN建立的确定性理论，Duda在1976年结合探矿专家系统PROSPECTOR建立的主观Bayes 推理，Dempster Shafer在1976年提出的证据理论，Zadeh在1978年提出的可能性理论，1983年提出的模糊逻辑与逻辑推理，Nilsson在1986年提出的概率逻辑，Pearl在1986年提出的信任网络。八十年代以后，人们又提出了灰色系统理论、粗集理论、概念图、基于信比概念的知识处理与集对分析等新方法。国内学者李德毅提出了云模型，何华灿提出了泛逻辑学。但是不确定性理论通常是不够严谨的，甚至还存在一些冲突与悖论。这些理论与概率论与信息论都