本次 CLIP 审查的最后一部分落在结果部分，这是 OpenAI 的对比图像文本模型从一个有趣的想法转变为整个多模式堆栈的基础层原语的地方。通过从网络上抓取的 4 亿个图像文本对进行训练，CLIP 学会了将字幕与图像进行匹配，而这个简单的目标最终实现了跨 30 多个下游计算机视觉基准的零样本传输，包括 OCR、动作识别、地理定位和细粒度分类。

本演练深入探讨了主要基准，包括将 ImageNet 上完全监督的 ResNet-50 与零标记 ImageNet 示例进行匹配，以及 CLIP 进行泛化和未泛化的许多地方。对于语音 AI 人员来说，可转移的课程是 CLIP 式的对比预训练方法，它现在支持用于音频文本检索的 CLAP、Whisper 式的多任务训练，以及为多模式助手提供支持的联合嵌入空间。用令人信服的数字来结束这个由三部分组成的系列，这些数字确信现场自然语言监督是前进的方向。如果您接触检索、标记或任何跨模式系统，那么值得您花时间。