Tutorials
هل تم تسجيل الوجه الرابع لـ Nathan Chen بواسطة خليط من الخبراء؟ الجزء 1: التبديل Transformers: نماذج MoE المتفرقة
في إطار غمزة في سجل ناثان تشين الرباعي، يشرح هذا الحديث Switch Transformer، وهو أسلوب Google النظيف والمبسط بقوة في توسيع نطاق مزيج الخبراء.
Tutorials
هل تم تسجيل الوجه الرابع لـ Nathan Chen بواسطة خليط من الخبراء؟ الجزء 2: GLaM: القياس الفعال لـ LMs باستخدام MoE
يتحول الجزء الثاني من السلسلة المصغرة MoE إلى GLaM، وهو نموذج لغة خليط الخبراء الذي يحتوي على 1.2 تريليون معلمة من Google والذي يطابق أو يتفوق على GPT-3 في معا…
Tutorials
مراجعة ورقة بيرت من منظور الكلام
لا يحتاج BERT إلى مقدمة في NLP، لكن قراءته من خلال عيون مهندس الكلام يكشف عن مجموعة مختلفة من الدروس عن الملخص القياسي "نمذجة اللغة المقنعة غيرت كل شيء".
Tutorials
Transformer: الاهتمام هو كل ما تحتاجه والاستماع والحضور والتهجئة - من منظور الكلام
ورقتان، قصة واحدة. أعطى "الانتباه هو كل ما تحتاجه" للعالم Transformer وأعاد ضبط كيفية تنفيذ نمذجة التسلسل، في حين أن "الاستماع والحضور والتهجئة" (LAS) فعل الشي…