在信息论中，基于相同事件测度的两个概率分布p和q的交叉熵（英语：Cross entropy）是指，当基于一个“非自然”（相对于“真实”分布p）的概率分布q进行编码时，在事件集合中唯一标识一个事件所需要的平均比特数（bit）。
硬币正反面朝上的概率为p(h)和p(t)，我们的估计为q(h)和q(t)，那么给定了估计的概率分布，对于实际分布的信息量就如下：
