この 3 部構成の GPT-3 レビューの冒頭では、スケーリングを研究上の賭けから業界の福音に変えた論文を紹介します。パート 1 では、導入とアプローチについて説明します。タスク固有の何千ものサンプルの微調整がますますぎこちなくなる理由、人間が少数のサンプルや指示文からどのようにして新しいタスクを学習するのか、および OpenAI が、膨大なテキスト コーパスでトレーニングされた 1,750 億パラメータの自己回帰 Transformer がそのギャップを埋める可能性があると判断した理由です。

このウォークスルーでは、トレーニングのセットアップ、データセットのキュレーション、および勾配更新のない純粋なコンテキスト内プロンプトとしての少数ショット、ワンショット、およびゼロショット評価の重要な枠組みに焦点を当てます。そのフレーミングこそが​​GPT-3をモデルではなくプラットフォームにしたものであり、それはVALL-EスタイルのインコンテキストTTSとプロンプトASRの音声で現在起こっているのと同じ概念的な動きである。ベンチマーク テーブルの前にメンタル モデルが必要な場合は、パート 2 とパート 3 の前にここから始めてください。日常の仕事が LLMs またはオーディオネイティブのいとこの上に構築されている人にとって、強固な基礎となります。