画像やビデオに完全に注意を向けるには法外なコストがかかります。では、二次関数の爆発を避けて Transformer の表現力を維持するにはどうすればよいでしょうか? Ho、Kalchbrenner、Weissenborn、Salimans は、軸方向の注意を提案しています。一度にテンソルの 1 つの軸に沿ってのみ注目し、軸を積み重ねると、計算の一部で完全なコンテキストを回復できます。

Axial Transformers 論文のこの長いレビューでは、アーキテクチャをエンドツーエンドで説明し、軸方向のアテンション レイヤーがどのように構成されるか、独立性を仮定せずに半並列デコード構造が実際に機能する理由、およびモデルが ImageNet-32、ImageNet-64、および BAIR Robotic Pushing でどのように最先端の結果をもたらすかについて説明します。音声技術者は注意してください。同じトリックがスペクトログラム時間周波数グリッドを含むあらゆる高次元テンソルに適用され、論文はオープンソースです。オーディオやマルチモーダルな作業に効率的に注意を向けることを考えている場合は、あらゆる設計上の選択について詳しく説明します。