信息量与概率的关系及工程应用

2023-06-27 理论教育版权反馈

【摘要】：消息中所含的信息量大小与消息发生的概率有密切关系。显然，消息中包含的信息量与消息出现的概率的倒数成比例。一般情况下，采用bit为信息量单位。因此，信息量在工程上的定义是指传输该消息时所需的最少二进制脉冲数。若要传输四个独立等概的消息之一，则至少需2位二进制脉冲，即消息具有2bit的信息量。）时，此消息需用k个二进制脉冲传送，该消息的信息量为

消息中包含的信息的大小用信息量来度量。消息中所含的信息量大小与消息发生的概率有密切关系。从直观上讲，一件事发生的概率越小，越使人们感到意外和惊奇，则这件事包含的信息量就越大。当一个消息发生的概率为1时，即为必然的事件，则消息所含的信息量为零。若消息出现的概率接近为零，则此消息含有的信息量就趋于无穷大。显然，消息中包含的信息量与消息出现的概率的倒数成比例。

信息论中定义消息包含的信息量为消息出现概率的倒数的对数，即

式中 I——信息包含的信息量；

P——消息出现的概率；

a——对数的底。

a取值不同，信息量的单位不同。当a为2时，信息量的单位为比特（bit）；当a为10时，单位为哈特莱（Hartley）；当a为e时，单位为奈特（nat）。一般情况下，采用bit为信息量单位。例如，当消息量出现概率P=1/2时，则此消息包含的信息量为1bit。若有独立M 个等概率出现的消息，每个消息出现的概率为1/M，则消息的信息量为

从工程的角度讲，也可以对信息量进行定义。所谓从工程的角度，就是用传输消息时所需的最少的二进制脉冲的数目来衡量消息中包含信息量的大小。因此，信息量在工程上的定义是指传输该消息时所需的最少二进制脉冲数。当有两个互相独立等概率出现的消息要传输时，要区别这两种消息，最少需要1位二进制脉冲。若要传输四个独立等概的消息之一，则至少需2位二进制脉冲，即消息具有2bit的信息量。若有M 个等概的消息之一要传送，且满足M=2k（k=1，2，3，…）时，此消息需用k个二进制脉冲传送，该消息的信息量为

信息量与概率的关系及工程应用

相关推荐