首页摘要：
记录对信息熵的理解
第一，假设存在一个随机变量，可以问一下自己当我们观测到该随机变量的一个样本时，我们可以接受到多少信息量呢？毫无疑问，当我们被告知一个极不可能发生的事情发生了，那我们就接收到了更多的信息；而当我们观测到一个非常常见的事情发生了，那么我们就接收到了相对较少的信息量。因此信息的量度应该依赖于概率分布p(x)，所以说熵h(x)的定义应该是概率的单调函数。
第二，假设两个随机变量和是相互独立的，那么分别观测两个变量得到的信息量应该和同时观测两个变量的信息量是相同的，即：h(x+y)=h(x)+h(y)。而从概率上来讲，两个独立随机变量就意味着p(x,y)=p(x)*p(y)，所以此处可以得出结论熵的定义应该是概率的函数。因此一个随机变量的熵可以使用如下定义：
h(x)=-log2(p(x))
此处的负号仅仅是用来保证熵（即信息量）是正数或者为零。而函数基的选择是任意的（信息论中基常常选择为2，因此信息的单位为比特bits；而机器学习中基常常选择为自然常数，因此单位常常被称为nats）。最后，我们用熵来评价整个随机变量平均的信息量，而平均最好的量度就是随机变量的期望，即熵的定义如下：
h(x)=-sum(p(x)*log2(p(x)))
再说一个对信息熵的理解。信息熵还可以作为一个系统复杂程度的度量，如果系统越复杂，出现不同情况的种类越多，那么他的信息熵是比较大的。如果一个系统越简单，出现情况种类很少（极端情况为1种情况，那么对应概率为1，那么对应的信息熵为0），此时的信息熵较小。
