GPT-3 によってスケーリングが避けられないと思われる前に、この OpenAI の文書によってスケーリングが予測可能になりました。 Kaplan 氏と共著者らは、モデル サイズ、データセット サイズ、コンピューティング予算にわたって数百回のトレーニングを実行し、言語モデルの損失が 7 桁にわたってクリーンなべき乗則に従うことを発見しました。この影響により、現場の配線が再構築されました。一定のコンピューティング予算が与えられると、最適なモデル サイズとトークン数が存在しますが、それは実務者が想定していたものとはほとんど異なります。

このウォークスルーでは、3 つの支配的な量、アーキテクチャの詳細が思ったほど重要ではない理由、そしてこの論文のコンピューティング最適化フロンティアが最終的に GPT-3 からチンチラ、現代の音声基盤モデルに至るまでのあらゆるものをどのように導くことになったのかについて説明します。発表者がバッチ サイズのダイナミクスで見つけた間違いについてのメモもあります。実験のセットアップが気になる場合は、聞く価値があります。トレーニングの予算を正当化する必要がある場合、または関係者に、ここでは規模が大きい方が実際に優れている理由を説明する必要がある場合、これは手を振る手間を大幅に節約するための基本的な読み物です。順番に並べてください。