在信息论中，基于相同事件测度的两个概率分布p和q的交叉熵（英语：Cross entropy）是指，当基于一个“非自然”（相对于“真实”分布p）的概率分布q进行编码时，在事件集合中唯一标识一个事件所需要的平均比特数（bit）。

小概率事件带来的信息量大，比如我中彩票了，大概率的事件信息量少。因此我们定义信息量为：

混合专家模型详解

einops库主题有三个功能：rearrange，reduce和repeat

简单来说,args 可以接受任意数量的参数,是以一个 tuple 的形式进行存储的,而**kwargs 是用于接收有参数名的参数的

我们投 n 个骰子,重复几亿次,他们的和就可以成为正态分布了.如果某个随机变量收到很多因素影响,但是不受到任何一个决定性,就是正态分布

隐空间标识对给定数据的潜在表示，假设原始数据点 x 是由一些低维变量 z 通过线性变换生成，也就是 x=Az+v,这里的 v 标识一些独立同分布的高斯噪声。通常我们只能看到原始数据 x 而无法知道 z，因为他是更基础的表示。如果是线性变换，这就是 PCA 算法想要做的，但是通常会有非线性的更复杂的压缩，因此我们可以使用自编码器来寻找这个更抽象的隐空间。

Batch Normalization(批标准化),和普通的数据标准化类似,是把分散的数据统一的一种做法,也是优化神经网络的一种方法,具有统一规格的数据, 能让机器学习更容易学习到数据之中的规律.Batch normalization 也可以被看做一个层面. 在一层层的添加神经网络的时候, 我们先有数据 X, 再添加全连接层, 全连接层的计算结果会经过 激励函数 成为下一层的输入, 接着重复之前的操作. Batch Normalization (BN) 就被添加在每一个全连接和激励函数之间.