深度回顾 OpenAI 的GPT-3:语言模型是少样本学习者(第 2/3 部分:结果)
GPT-3 深入研究的第二部分超越了设置,进入了实际上让人们重新思考 NLP 的结果。
GPT-3 深入研究的第二部分超越了设置,进入了实际上让人们重新思考 NLP 的结果。这就是本文开始堆叠基准的地方:翻译、问答、完形填空、Winograd 式常识,以及将定义 LLM 研究未来几年的新兴推理的早期暗示。整个框架都是少量的,这意味着没有梯度更新,没有特定于任务的微调,只有提示。
本演练的价值在于,它不仅解释了哪些数字上升了,还解释了 OpenAI 如何选择测量这些数字。零样本、单样本和少样本列针对每个基准讲述了三个不同的故事,并且解释并不总是显而易见的。对于语音人工智能从业者来说,可转移的想法是规模加提示可以替代许多特定于任务的工程,这与现在驱动语音 LLMs 和指令调整的 TTS 的赌注相同。将其作为三部分系列的中间章节,按顺序观看时效果最佳。
