https://kexue.fm/archives/6705

互信息 MI 是量化两个随机变量之间的互相依赖程度,是一种衡量变量之间的统计相关性的非参数度量,能够反应线性/非线性关系.

KL 散度的概念来自于概率论和信息论中，KL 散度又叫相对熵，互熵等。用来衡量两个概率分布的区别

在信息论中，基于相同事件测度的两个概率分布p和q的交叉熵（英语：Cross entropy）是指，当基于一个“非自然”（相对于“真实”分布p）的概率分布q进行编码时，在事件集合中唯一标识一个事件所需要的平均比特数（bit）。

小概率事件带来的信息量大，比如我中彩票了，大概率的事件信息量少。因此我们定义信息量为：

混合专家模型详解

einops库主题有三个功能：rearrange，reduce和repeat

简单来说,args 可以接受任意数量的参数,是以一个 tuple 的形式进行存储的,而**kwargs 是用于接收有参数名的参数的