الانتباه المحوري هو أحد تلك الأفكار الأنيقة التي تحافظ على المحولات قابلة للتعامل معها على البيانات عالية الأبعاد: بدلاً من الانتباه على كل بكسل أو كل صندوق وقت-تردد في المرة الواحدة، تنتبه على طول محور واحد في المرة الواحدة. بسيط في التنفيذ، يعمل بشكل جيد مع أطر التعلم العميق القياسية، وقد يحقق الحالة الأولى على ImageNet-32 و ImageNet-64 و BAIR Robotic Pushing.

يعطيك هذا الاستعراض القصير لورقة Ho et al. آليات Axial Transformers الأساسية في جلسة واحدة، وكيفية عامل الطبقات الانتباه عبر أبعاد الموتر، ولماذا يحافظ هيكل فك التشفير شبه الموازي على سرعة أخذ العينات دون التخلي عن تعبيرية التوزيع المشترك. سياق مفيد إذا كنت تهدف إلى متغيرات الانتباه الفعال لنمذجة الطيف، أو الاندماج الصوتي البصري، أو أي مهمة كلام حيث يؤدي طول التسلسل إلى تفجير GPU. أعطه نظرة للإصدار السريع قبل الورقة الكاملة.