苹果不发表太多内容，所以当MM1论文发布时，带有关于多模态LLM预训练的完整消融研究，这对于任何构建MLLM的人来说都是该年更有用的数据发布之一。本长篇综述深入研究了这些发现：在构建高性能多模态模型时什么实际重要，什么结果是舍入误差，以及苹果如何将配方扩展到30B参数系列，包括在既定基准上具有竞争力的密集模型和混合专家变体。

关键教训在某些地方是反直觉的。图像编码器加上图像分辨率和图像标记计数驱动大多数多模态性能；视觉-语言连接器设计结果证明相对不重要。对于预训练数据，图像-标题、交错图像-文本和仅文本源的正确组合是解锁SOTA少数镜头结果的关键——没有单一数据类型本身是足够的。MM1还获得了很好的涌现属性：增强的上下文学习、多图像推理和少数镜头思维链提示。如果您正在构建多模态系统并希望获得消融驱动的剧本而不是另一个排行榜图表，这个深度潜水就是要仔细研究的。