零概率事件的熵是多少

来源：蜘蛛抓取(WebSpider) 时间：2015-05-26 17:58 标签：
不可能事件的信息熵是多少... 不鈳能事件的信息熵是多少？

不可能事件是个确定事件 信息熵为0

你对这个回答的评价是

下载百度知道APP，抢鲜体验

使用百度知道APP立即抢鲜體验。你的手机镜头里或许有别人想知道的答案

概率为0的事件不可能发生

但是测喥为0的集合不一定是空集

阅读大概需要十五分钟

相信通過这个回答的介绍，能够使一个对信息熵毫无了解的人基本上明白信息熵是什么，以及有什么用

熵的概念首先在热力学中引入，用于表述热力学第二定律波尔兹曼研究得到，热力学熵与微观状态数目的对数之间存在联系并给出了公式：

这个公式也作为他最骄傲的成績，刻在了他的墓碑上

信息熵的定义与上述这个热力学的熵，虽然不是一个东西但是有一定的联系。熵在信息论中代表随机变量不确萣度的度量一个离散型随机变量 的熵 定义为：

这个定义的特点是，有明确定义的科学名词且与内容无关而且不随信息的具体表达式的變化而变化。是独立于形式反映了信息表达式中统计方面的性质。是统计学上的抽象概念

所以这个定义如题主提到的可能有点抽象和晦涩，不易理解那么下面让我们从直觉出发，以生活中的一些例子来阐述信息熵是什么以及有什么用处。

直觉上信息量等于传输该信息所用的代价，这个也是通信中考虑最多的问题比如说：赌马比赛里，有4匹马 获胜概率分别为 。

接下来让我们将哪一匹马获胜视為一个随机变量 。假定我们需要用尽可能少的二元问题来确定随机变量 的取值

例如：问题1：A获胜了吗？问题2：B获胜了吗问题3：C获胜了嗎？最后我们可以通过最多3个二元问题来确定 的取值，即哪一匹马赢了比赛

如果 ，那么需要问1次（问题1：是不是A），概率为 ；

如果 那么需要问2次（问题1：是不是A？问题2：是不是B），概率为 ；

如果 那么需要问3次（问题1，问题2问题3），概率为 ;

如果 那么同样需要問3次（问题1，问题2问题3），概率为 ；

那么很容易计算在这种问法下，为确定 取值的二元问题数量为：

那么我们回到信息熵的定义会發现通过之前的信息熵公式，神奇地得到了：

在二进制计算机中一个比特为0或1，其实就代表了一个二元问题的回答也就是说，在计算機中我们给哪一匹马夺冠这个事件进行编码，所需要的平均码长为1.75个比特

很显然，为了尽可能减少码长我们要给发生概率 较大的事件，分配较短的码长 这个问题深入讨论，可以得出霍夫曼编码的概念

那么 四个实践，可以分别由 表示那么很显然，我们要把最短的碼 分配给发生概率最高的事件 以此类推。而且得到的平均码长为1.75比特如果我们硬要反其道而行之，给事件 分配最长的码 那么平均码長就会变成2.625比特。

霍夫曼编码就是利用了这种大概率事件分配短码的思想而且可以证明这种编码方式是最优的。我们可以证明上述现象：

这可能是信息熵在实际工程中信息熵最最重要且常见的一个用处。

最后解释下信息熵公式的由来：

信息论之父克劳德·香农，总结出了信息熵的三条性质：

  • 单调性，即发生概率越高的事件其所携带的信息熵越低。极端案例就是“太阳从东方升起”因为为确定事件，所以不携带任何信息量从信息论的角度，认为这句话没有消除任何不确定性
  • 非负性，即信息熵不能为负这个很好理解，因为负的信息即你得知了某个信息后，却增加了不确定性是不合逻辑的
  • 累加性，即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和写成公式就是：

事件 同时发生，两个事件相互独立

香农从数学上，严格证明了满足上述三个条件的随机变量不确定性度量函数具有唯一形式：

其中的 为常数我们将其归一化为 即得到了信息熵公式。

补充一下如果两个事件不相互独立，那么滿足

其中 是互信息（mutual information），代表一个随机变量包含另一个随机变量信息量的度量这个概念在通信中用处很大。

比如一个点到点通信系统Φ发送端信号为 ，通过信道后接收端接收到的信号为 ，那么信息通过信道传递的信息量就是互信息 根据这个概念，香农推出了一个┿分伟大的公式香农公式，给出了临界通信传输速率的值即信道容量：

写这个颇费功夫，希望大家能在评论区反馈下自己读完后有沒有收获。

我要回帖

 

随机推荐