在pytorch中的点积/外积/转置/矩阵乘法都是可以用einsum记法来表示的，包括复杂张量运算在内的优雅方式。会熟练运用einsum后，可以不用看库函数，还可以更加迅速的编写紧凑，高效的代码，可忽略不必要的张良转置和变形，甚至还可以忽略生成中间张量。事实上，pytorch引入的能够自动生成GPU代码并且为特定输入尺寸自动调节的张量理解就类似于einsum领域的特定语言。

混合专家模型详解

大模型使用4090不能训练，但推理使用4090甚至性价比还高一点，如果4090极致优化，甚至性价比达到H100的两倍

einops库主题有三个功能：rearrange，reduce和repeat

tmux采用C/S模型构建，输入tmux命令就相当于开启了一个服务器，此时默认将新建一个会话，然后会话中默认新建一个窗口，窗口中默认新建一个面板。会话、窗口、面板之间的联系如下：