信息论：从通信到信息科学的进化

2023-07-15 理论教育版权反馈

【摘要】：1948年申农发表了《通信的数学理论》，标志着信息论的诞生。申农申农信息论的重要特征是熵的概念。科学家们对信息论的研究，以及后来从经济、管理和社会各个部门对信息论的研究，使信息论远远超越通信范围。申农最初信息论只对信息作定量描述，而没有考虑信息其他方面，如信息语义和信息效用等问题。信息科学的出现将把信息论的研究和应用推向更高阶段、更新范畴，为进一步提高人类认识和改造世界的能力，开辟了新途径。

信息论是关于信息的本质和传输规律的科学的理论，是研究信息的计量、发送、传递、交换、接收、储存和处理的一门新兴学科。历史证明，质量、能量和信息量是三个非常重要的物理量。巨如何度量信息的数量问题是在信息论中解决的。人类不仅时刻需要从自然界获得信息，而巨人与人之间也需要进行通信、交流信息。人类需要随时获取、传递、加工、利用信息，否则就不能生存。现代通信技术发展导致关于现代通信技术的理论——信息论的诞生。信息论创始人是维纳的学生——美国数学家申农。

为解决通信中信息编码问题，突破原有框架，把发射信息和接收信息作为一个整体通信过程来研究，提出了通信系统一般模型。同时，建立信息量统计公式，奠定信息论理论基础。1948年申农发表了《通信的数学理论》，标志着信息论的诞生。

申农（1916—2001）

申农信息论的重要特征是熵（Entropy）的概念。申农证明了熵与信息内容的不确定程度有等价关系。经典热力学中熵（Entropy）等于热温比，即

dS=dQ/T （1-2）

式中，dQ是对物质增加的热量；T是物质绝对温度。

熵反映了热量传递方向问题。熵是波尔兹曼在热力学第二定律引入的概念，也可以把它理解为分子运动的混乱度。信息熵也有类似意义，例如在中文信息处理时，汉字的静态平均信息熵比较大，中文是9.65bit，英文是4.03bit。这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。信息熵大，意味着不确定性也大。因此我们应该深入研究，以寻求中文信息处理的深层突破。

当然，在信息论发展中，许多科学家也做出了贡献。其中，法国物理学家布里渊在1956年发表《科学与信息论》专著，把热力学熵与信息熵直接联系了起来。英国神经生理学家，1964年发表了《系统与信息》等文章。科学家们对信息论的研究，以及后来从经济、管理和社会各个部门对信息论的研究，使信息论远远超越通信范围。

信息论分成狭义信息论与广义信息论两种。其中，狭义信息论是关于通信技术的理论，它是以数学方法研究通信技术中关于信息传输和变换规律的一门科学。广义信息论，超出通信技术范围来研究信息问题，以各种系统、各门科学中的信息为对象，广泛地研究信息本质和特点以及信息取得、计量、传输、储存、处理、控制和利用的一般规律。

信息是什么？迄今为止没有一个公认的定义。英文信息一词（Information）含义是情报、资料、消息、报道和知识的意思。人们把信息看作是消息同义语，简单把信息定义为能够带来新内容、新知识的消息。但后来发现信息含义要比消息、情报含义广泛得多，不仅消息、情报是信息，指令、代码、符号语言、文字等一切含有内容的信号都是信息。

哈特莱第一次把消息、情报、信号和语言等都定义为信息载体，而信息则是它们荷载着的内容。但是信息到底是什么呢？申农的狭义信息论第一个从通信角度给予信息以科学定义：信息是人们对事物了解的不确定性的消除或减少。而信息量是信息论中度量信息多少的一个物理量。

从量上反映具有确定概率的事件发生时所传递的信息。信息的度量与它所代表的事件随机性或各个事件发生概率有关。当事件发生的概率大，事先容易判断，有关此事件的消息发生的不确定程度小，则包含的信息量就小；反之则大。从这一点出发，信息论利用统计热力学中熵的概念，建立了对信息的度量方法。

申农用概率统计数学方法对信息进行数学定量化描述，即计算随机事件的熵。

申农最初信息论只对信息作定量描述，而没有考虑信息其他方面，如信息语义和信息效用等问题。现在信息论已从原来通信领域广泛渗入到自动控制、信息处理、系统工程、人工智能等领域，这要求对信息本质、信息语义和效用等问题进行更深入研究，建立更一般性的理论，从而产生信息科学。

人类社会共发生过四次信息技术革命。第一次革命是人类创造了语言和文字，是信息交流的工具。第二次革命是造纸和印刷技术的出现，进一步扩大了信息交流范围。第三次革命是电报、电话、电视及其他通信技术的发明和应用，大大加快信息传递速度。第四次革命是电子计算机和现代通信技术在信息领域中的应用。电子计算机和现代通信技术的有效结合，使信息处理速度、传递速度得到惊人提高，人类处理信息、利用信息的能力达到了空前高度。今天，人类社会已经进入了所谓的信息社会。信息科学的出现将把信息论的研究和应用推向更高阶段、更新范畴，为进一步提高人类认识和改造世界的能力，开辟了新途径。

图1-3 液体的耗散给构

信息论：从通信到信息科学的进化

相关推荐