Metaはついに手札を見せました、そしてMovie Genはビデオジェネレーターだけではありません—複数のアスペクト比で1080p HDビデオを生成し、同期オーディオをサポートし、精密な命令ベースのビデオ編集をサポートし、ユーザーの写真に基づいてパーソナライズされたビデオを生成できる基盤モデルの集合です。この詳細なレビューでは、MetaのリリースをOpenAIのSoraと並べ、各システムのアーキテクチャの賭けが報われる場所、トレードオフがどこに着地するか、そして2つのラボがビデオ基盤モデルがどのようであるべきかについて相違している方法を説明しています。

中心は、テキストツービデオ合成の新しいSOTA主張を含む最大コンテキスト長73Kビデオトークン（16fpsで生成された16秒のビデオに十分）で訓練された30Bパラメータトランスフォーマーです。トランスフォーマーは、テキストツービデオ合成、ビデオパーソナライゼーション、ビデオ編集、ビデオツーオーディオ、およびテキストツーオーディオ生成全体の新しいSOTA主張があります。レビューでは、Metaが強調する技術的な革新を説明しています：アーキテクチャとレイテントスペース設計、訓練目標とレシピ、データキュレーション、評価プロトコル、並列化テクニック、および推論の最適化。生成的なビデオとオーディオシステムを構築またはベンチマークしている場合、この比較は、フロンティアが実際に現在定住している場所の良好なコンパスです。