知识储备#

VQ 实际上就是一种逼近,他的思想和四舍五入有异曲同工,都是用一个和一个数最接近的整数来表示这个数字.

在图中所有小于-2 的都近似为-3,在-2 和 0 之间的近似为-1,0~2=1,>2=3.这样任何一个数都会被近似为 4 个数,因此我们只需要两个 bit 就可以表示了,这就是一个 1 维 2bit VQ,他的 rate 是 2bit/dimension 对于如图这种二维的信息,我们将他划分为 16 个区域,那么只需要用 16 个值就可以表示,这样是一个 2 维 4bitVQ,他的 rate 还是 2bit/dimension. 对于二维,我们还可以用图像压缩来说明,类似与将图像的像素点当做数据跑一个 kmeas,假设聚类为 k 个类,这样就可以得到每个类的质心,一共 k 个,我们用这些质心的像素来替代原始的像素,这样就进行了压缩. 在上面的例子中,红色的星星叫做 codevector,表示代表点,蓝色边界叫做 encoding regions,所有 codevector 的集合叫做码书(codebook).所有的编码区域的集合叫做空间的划分.