このGPT-3の3部構成レビューの最初の章は、スケーリングを研究上の試みから業界標準へと変えた論文を紹介しています。パート1では、イントロダクションとアプローチをカバーします：数千のタスク固有の例での微調整がなぜ次第に厄介に感じられたのか、人間がどのように少数の例や簡潔な指示から新しいタスクを学ぶのか、そしてOpenAIが1750億パラメータの自己回帰Transformerを大規模なテキストコーパスで訓練することがそのギャップを埋めるかもしれないと決定した理由。

ウォークスルーは、訓練の設定、データセットの選別、および勾配更新なしの純粋なインコンテキストプロンプティングとしてのフューショット、ワンショット、ゼロショット評価の重要なフレーミングに焦点を当てます。そのフレーミングはGPT-3をモデルではなくプラットフォームにしたものであり、これはVALL-E型のインコンテキストTTSと指示されたASRで音声で今起こっている同じ概念的な動きです。ベンチマークテーブルの前に概念的なモデルが必要な場合は、パート2と3の前にここから始めてください。LLMまたはそのオーディオネイティブな関連モデルの上に構築することが日常業務である誰にとっても堅実な基礎です。