這份三部分 GPT-3 評論的開篇為那篇將規模從研究賭注變成行業聖經的論文奠定了基礎。第一部分涵蓋介紹和方法：為什麼在數千個特定任務的例子上進行微調感到越來越尷尬，人類如何從少數幾個例子或一句指令中學習新任務，以及為什麼 OpenAI 決定在大規模文本語料庫上訓練的 1750 億參數自迴歸 Transformer 可能會縮小這個差距。

這次講解詳細介紹了訓練設置、數據集組織，以及將小樣本、單樣本和零樣本評估視為純上下文提示而沒有梯度更新的關鍵框架。正是這個框架使 GPT-3 成為一個平台而不是一個模型，這也是現在在語音領域發生的相同概念轉變，例如 VALL-E 風格的上下文 TTS 和提示的 ASR。如果你想在基準表之前掌握心智模型，請從這裡開始，然後再看第二和第三部分。對於任何職責是在 LLMs 或其音頻原生表親基礎上構建系統的人來說，這都是紮實的基礎。