هل أطلقت Google النار على Blake Lemoine لقوله إن روبوت الذكاء الاصطناعي واعٍ؟ هل يفكر LaMDA أو ChatGPT مثل الإنسان؟
عندما أطلقت Google النار على Blake Lemoine لإعلانه علنًا عن ادعاءات بأن LaMDA أصبح واعيًا، انتشرت القصة بسرعة، لكن السؤال الأساسي ظل قائمًا: هل نماذج اللغات الكبي…
[مراجعة طويلة] CLAS: السياق العميق: التعرف على الكلام السياقي من طرف إلى طرف
أي شخص أطلق منتج ASR يعرف صعوبة الأسماء العلمية: أسماء جهات الاتصال، عناوين الأغاني، أسماء الأدوية، أسماء الأماكن الغامضة.
[مراجعة طويلة] العقبات في التقدم في الإجابة على الأسئلة الطويلة
الإجابة على الأسئلة الطويلة هي أحد تلك المعايير التي تبدو مثيرة للإعجاب على لوحة التصنيف ومقلقة تحت المجهر.
[مراجعة طويلة] نماذج اللغات المدربة بالضبط هي متعلمون بدون لقطات صفرية
قبل أن يجعل InstructGPT ضبط التعليمات عبارة شائعة، قدمت ورقة FLAN من Google الحالة بأن قدراً متواضعاً من الضبط الدقيق متعدد المهام على تعليمات اللغة الطبيعية يمك…
[مراجعة طويلة] 'GShard': توسيع النماذج الضخمة باستخدام الحساب الشرطي والتقسيم التلقائي
يصبح توسيع Transformer بعد مائة مليار معامل فلسفياً بسرعة: هل تقوم بتنشيط الشبكة بأكملها لكل رمز، أم توجه كل رمز إلى المتخصصين الذين يحتاجون فعلاً إلى رؤيته؟
متزلجو الأرقام الروسيون مثل التوائم الثلاثية: هل يمكن استخدام Kullback-Leibler Divergence لتمييز الفرق بينهم؟
تكييف المتحدث هو أحد تلك مشاكل ASR التي تبدو محلولة حتى تحاول فعلاً تكييف نموذج sequence-to-sequence دون تدمير التمثيلات الصوتية الصعبة المكتسبة للمشفر.
هل يتم تسجيل 4 Flip الخاص بـ Nathan Chen بواسطة Mixture-of-Experts؟ الجزء 1: Switch Transformers: نماذج MoE المتفرقة
تم تأطيره برمزة إلى Nathan Chen's quad flip scoring، تتناول هذه المحادثة Switch Transformer، تفسير Google النظيف والمبسط بعدوانية لتوسيع Mixture-of-Experts.
هل يتم تسجيل قلبة ناثان تشن الرباعية بواسطة Mixture-of-Experts؟ الجزء 2: GLaM: قياس فعال للنماذج اللغوية مع MoE
الجزء 2 من سلسلة MoE المصغرة ينتقل إلى GLaM، نموذج اللغة Mixture-of-Experts من Google الذي يحتوي على 1.2 تريليون معامل والذي يطابق أو يتفوق على GPT-3 في معايير…
ورقة BERT تمت مراجعتها من منظور الكلام
BERT بالكاد يحتاج إلى مقدمة في NLP، لكن قراءتها من خلال عيون مهندس الكلام تكشف مجموعة مختلفة من الدروس عن الملخص القياسي "نمذجة اللغة المقنعة غيرت كل شيء".
Transformer: الانتباه هو كل ما تحتاجه و Listen, Attend and Spell - من منظور الكلام
ورقتان، قصة واحدة. "Attention Is All You Need" أعطت العالم Transformer وأعادت تعيين كيفية عمل نمذجة التسلسل، بينما قامت "Listen, Attend and Spell" (LAS) بنفس ا…
من Breaking Bad إلى Wav2vec 2.0: إطار عمل للتعلم ذاتي الإشراف لتمثيلات الكلام
ما الذي يجمع بين Walter White و Jesse Pinkman ودفعة من الصوت غير المسمى؟
