香农与信息论

香农与信息论
1948年，美国数学家香农发表了一篇著名的论文“通信的数学理论”，建立了比较完整的、系统的信息理论，即信息论。

这门科学大大促进了通信技术和信息技术的发展。

因此，香农的贡献是很大的。

首先，他提出了信息的形式化。

香农认为，在通信中，要排除信息的语义，只考虑信息的形式因素。

在通信中，如果接收端能够把发送端发出的信息从形式上复制出来，那么也就复制了信息的语义内容。

例如，有三个句子：
“信息是人类社会三大资源之一。

”
“(a＋b)2=a2＋2ab＋b2。

”
“Z!12#5$7**XYZ”。

第一句是正常的句子，第二句是代数公式，第三句是含义不清的字符串。

这三个句子有明显差别，但它们都是信息。

在通信时，一旦把它们转变为电信号，那么这种差别就没有了，都是电信号。

当接收端将电信号转换成原来形式时，语义就恢复了。

所以，信息形式化后，就有可能用数学进行描述。

第二，他提出了如图所示的通信系统模型。

信源给出要传输的信息；编码器把信息转变为信号，使之能在信道中传输；解码器把信号变回信息传给信息的接受方，即信宿。

通信系统模型
目前的通信系统都基本采用了这个模型。

例如，利用电话线上网时，计算机既是信源(发送信息时)又是信宿(经受信息时)，而调制解调器的调制和解调部分分别是编码器和解码器。

这个模型的不足之处是，没有考虑信宿对信源的反馈作用。

不管信息接收者对收到的信息是否正确理解，信息接收者都会做出反应。

譬如打电话，一个人讲话时，另一个人总要答理，否则讲话人会以为电话线路断了。

第三，他研究了信息与事件发生概率的关系，提出用比特(即二进制位)来测度信息量。

他认为，信息量的大小可以用被消除的不确定性的多少来表示。

例如，把一个硬币往上抛，那么硬币掉地时其正面可能朝上，也可能朝下。

这是不确定的，概率都是二分之一。

因为朝上和朝下可以分别用1和0来表示，所以这个事件的信息量是一个比特。

不难推算，如果一个事件能够分解为n个二中择一的问题，那么它的信息量是n个比特。

第四，他提出了冗余信息的概念。

他认为，没有提供独特信息的那部分数据是冗余的，因此可以删除。

比如，若在英文单词中，每个字母q后面总是有字母u(注意这只是一种比方)，字母u就没有提供更多的信息，因此在信息的存储和传输环节中可以去掉它。

现在，香农的这项研究被广泛用于音频和视频信息的压缩上。

信息技术的发展与信息论、控制论和系统论“三论”的发展是密切相关的。

信息论是研究信息及其传输的一般规律的学科；控制论是由美国数学家诺伯特·维纳于1948年前后创立的，它是研究生物(包括人类)和机器中的控制与通信的普遍原则和规律的学科；而系统论是由奥地利生物学家贝塔朗菲于1945年创导的，它是研究系统的一般模式、结构、性质和规律的学科。

信息论是信息科学的一个分支，它是信息科学的理论基础之一。