首页 理论教育深入探讨信息论的相关概念

深入探讨信息论的相关概念

【摘要】:信息是个相当宽泛的概念,很难用一个简单的定义将其完全准确地把握。然而对于任何一个概率分布,可以定义一个称为熵的量,它具有许多特性符合度量信息的直观要求,是信息论的基本概念。熵又称为自信息,可以视为描述一个随机变量的不确定性的数量。越不确定的随机变量越需要大的信息量用以确定其值。给定随机变量X的情况下,随机变量Y的条件熵定义如下:将式中的联合概率p (x,y)展开,可得该式称为熵的连锁规则。

信息是个相当宽泛的概念,很难用一个简单的定义将其完全准确地把握。然而对于任何一个概率分布,可以定义一个称为熵(Entropy)的量,它具有许多特性符合度量信息的直观要求,是信息论的基本概念。

如果X是一个离散型随机变量,取值空间为R,其概率分布为p (x)=P (X=x),xR。那么X的熵H (X)定义为

有时也将H (X)记为H (p)。其中对数以2为底,熵的单位用比特(二进制位)表示。所以通常将log2p (x)简写成logp (x),并约定0log0=0。

熵又称为自信息(Self-information),可以视为描述一个随机变量的不确定性的数量。它表示信源X每发出一个符号(不论发出什么符号)所提供的平均信息量[81]。一个随机变量的熵越大,它的不确定性越大,那么,正确估计其值的可能性就越小。越不确定的随机变量越需要大的信息量用以确定其值。

如果XY是一对离散型随机变量,XYp (xy),XY的联合熵(Joint Entropy)H (XY)定义为

联合熵实际上就是描述一对随机变量平均所需要的信息量。

给定随机变量X的情况下,随机变量Y的条件熵(Conditional Entropy)定义如下:

将式(6-11)中的联合概率p (xy)展开,可得

该式称为熵的连锁规则(Chain Rule of Entropy)。推广到一般情况,有