إذا لم يكن لديك الوقت لقراءة تحليل MM1 الكامل، فهذا الاستعراض السريع يقدم لك الأساسيات في بضع دقائق: ما الذي بنته Apple، وما الذي تعلموه من الدراسات الاستئصالية حول المعمارية والبيانات، وقرارات التصميم التي تحقاً تحدث فرقاً عند تدريب نموذج LLM متعدد الوسائط مسبقاً. وهي موجهة للمهندسين والباحثين الذين يريدون الملخص قبل الخوض في الورقة البحثية بأنفسهم، أو قبل المراهنة على خيارات معمارية لمكدس MLLM الخاص بهم.

أبرز النقاط: مشفر الصور مع دقة الصور وعدد رموز الصور يحمل معظم الأداء متعدد الوسائط، بينما تصميم موصل الرؤية واللغة له تأثير ضئيل نسبياً. المزيج الحذر من البيانات النصية والصور والصور المنسوجة بالنصوص والنصوص فقط هو ما يؤدي إلى نتائج SOTA قليلة الطلقات عبر معايير الأداء القياسية؛ لا يمكن لنوع بيانات واحد إنجاز المهمة وحده. توسيع النسخة الأصلية ينتج MM1، وهي عائلة من النماذج التي تصل إلى معاملات 30B وتشمل متغيرات كثيفة ومتغيرات خليط الخبراء، والتدريب المسبق ينتج عنه قدرات ناشئة مثل التعلم المحسّن في السياق والاستدلال متعدد الصور والمطالبات المتسلسلة الفكرية قليلة الطلقات. اضغط على تشغيل للحصول على المسار السريع عبر كتيب Apple متعدد الوسائط دون وزن الورقة البحثية الكاملة.