在部署 Fastapi 或者其他的 Web APId 的时候,有几个概念值得了解.

os,glob,shutil,pathlib 是文件夹操作的 4 天王

在文本输入 embedding 层之前，以中文文本为例，首先对文本进行分词并进行 one-hot 编码，分词肯定是根据词表来进行分词，那构建一个合适的词表就显得至关重要，过大或者过小都会对后续模型的训练效果产生影响。所以这里介绍当前各个大模型的词表构建方法。

目前的 sota 的计算机视觉系统在一组被事先定义好的目标分类中进行训练,这种受限的监督形式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何其他视觉概念。我们证明了预测图像与哪个描述相匹配的方法是高效的并且达到了 SOTA 的效果.预训练后,模型能够使用自然语言来引用到视觉概念,使得模型可以零样本转移到下游任务汇总

Vitron 在前端采用了集合了 image,video,像素级别的视觉 encoder.在后端集成了最专业的视觉专家,让 Vitron 覆盖了基本所有的视觉任务。为了确保从 LLM 到后端模块进行功能调用时有效且精确的信息传递，通过同时整合离散的文本指令和连续的信号嵌入我们提出了一种新颖的混合方法。此外，我们设计了多种像素级时空视觉语言对齐学习，以使 VITRON 达到最佳的细粒度视觉能力。最后，建议一个跨任务协同模块，以学习最大化任务不变的细粒度视觉特征，增强不同视觉任务之间的协同。

https://kexue.fm/archives/6705

image.png