Tutorials
OpenAI GPT-4のvision+textモデル、データ、および訓練コストの開示（推測）
OpenAIはGPT-4のアーキテクチャ、パラメータ数、訓練データ、または計算予算の開示を拒否したことで有名であり、これはテックレポートをMLコミュニティのロールシャッハテストにしてしまいました。
Tutorials
GPT-4のテクニカルレポートのレビュー（GPT-4を要約すると）
GPT-4のテクニカルレポートはアーキテクチャの詳細が不十分で能力に関する主張に満ちていることで有名であり、その上に構築する人にとって冷静なレビューは必読です。
Tutorials
OpenAIのGPT-3の詳細なレビュー：言語モデルは少数ショット学習者です（パート3/3：結果と残り）
このGPT-3の3部構成の深掘りの最終部分は、報酬を手に入れます。1750億パラメータをベンチマークスイートに投げつけ、微調整を完全にスキップするとき実際に何が起こるのか。
Tutorials
OpenAIのGPT-3の詳細レビュー：言語モデルはフューショット学習者（パート2/3：結果）
このGPT-3の詳細解析の第2部は、セットアップを超えて、実際に人々のNLPに対する考え方を変えた結果に進みます。
Tutorials
ChatGPT/ChatGPT Plus/InstructGPT：人間フィードバックで言語モデルに指示追従を訓練する
ChatGPT製品の背後にはInstructGPT論文があり、この詳細なレビューは、生のGPT-3を人々が実際に話したいものに変えたパイプラインを詳しく説明しています。
Tutorials
ChatGPT/ChatGPT Plusの仕組みを3分で説明する
ChatGPTは外から見るとマジックのように見えますが、どこを探すかを知っていれば、レシピはよく文書化されており、この3分の説明は主要な考え方を凝縮しています。
![[Olewave's Review] CLIP (3/3): Learning Transferable Visual Models From Natural Language Supervision](/media/video/2023/01/olewaves-review-clip-3-3-learning-transferable-visual-models-from-natural-language/preview.jpg)
Tutorials
[Olewaveのレビュー] CLIP (3/3): 自然言語監督から転移可能な視覚モデルを学習する
このCLIPレビューの最後の部分は結果セクションに着地します。ここはOpenAIの対比的画像テキストモデルが興味深いアイデアから、マルチモーダルスタック全体の基盤レイヤープリミティブへとシフトした場所です。
![[Olewave's Review] CLIP (2/3): Learning Transferable Visual Models From Natural Language Supervision](/media/video/2023/01/olewaves-review-clip-2-3-learning-transferable-visual-models-from-natural-language/preview.jpg)
Tutorials
[Olewaveのレビュー] CLIP (2/3): 自然言語監督から転移可能な視覚モデルを学習する
OpenAIのCLIPは、固定されたラベルセットを廃止し、代わりにインターネットからスクレイピングされた400百万の（画像、テキスト）ペアで訓練することで、コンピュータビジョンのスクリプトを逆転させました。
![[Olewave's Review] CLIP (1/3): Learning Transferable Visual Models From Natural Language Supervision](/media/video/2022/12/olewaves-review-clip-1-3-learning-transferable-visual-models-from-natural-language/preview.jpg)
Tutorials
[Olewaveのレビュー] CLIP (1/3): 自然言語監督から転移可能な視覚モデルを学習する
BLIPやLLaVA、またはまともな音声LLMが登場する前に、CLIPがありました。これがストーリーの始まりです。