Olewave - Professional and Trustworthy - Data Services and Solutions

[Detailed Paper Reading] Zipformer: A faster and better encoder for automatic speech recognition

Tutorials

[قراءة ورقة مفصلة] Zipformer: ترميز أسرع وأفضل للتعرف التلقائي على الكلام

لقد كان Conformer هو ترميز ASR الافتراضي لسنوات، لكن Zipformer من فريق k2/icefall أخذ بهدوء تاج WER على LibriSpeech و Aishell-1 و WenetSpeech بينما يكون أسرع و…

فبراير 6, 2024· 1 min read

I-JEPA: Yannn LeCun's First 'World Model' for Computer Vision

Tutorials

I-JEPA: نموذج العالم الأول من Yann LeCun لرؤية الحاسوب

Yann LeCun جادل لسنوات بأن الاستدراج التوليدي هو الرهان الخاطئ لبناء آلات تفهم العالم.

يونيو 17, 2023· 1 min read

LoRA: allow a high school student to train Large Language Model (GPT-3) with a gaming graphics card

Tutorials

LoRA: السماح لطالب في المدرسة الثانوية بتدريب نموذج اللغة الكبيرة (GPT-3) بطاقة رسومات ألعاب

الضبط الدقيق الكامل لـ GPT-3 بـ 175 مليار معامل هو نقطة عدم البدء لجميع الناس تقريبًا — التخزين وحده يستبعده، ناهيك عن بطاقات الرسومات.

يونيو 3, 2023· 1 min read

[Short Review] Conformer: Convolution-augmented Transformer for Speech Recognition

Tutorials

[مراجعة قصيرة] Conformer: Transformer معزز بالالتفاف للتعرف على الكلام

استحوذ Conformer على عالم ASR بقوة عاصفة بفعل شيء بسيط تقريباً: إضافة وحدة التفاف إلى كل كتلة Transformer بحيث يلتقط النموذج السياق العام والتفاصيل الصوتية المح…

يونيو 11, 2022· 1 min read

Is Nathan Chen's 4 Flip scored by Mixture-of-Experts? Part 1: Switch Transformers: sparse MoE models

Tutorials

هل يتم تسجيل 4 Flip الخاص بـ Nathan Chen بواسطة Mixture-of-Experts؟ الجزء 1: Switch Transformers: نماذج MoE المتفرقة

تم تأطيره برمزة إلى Nathan Chen's quad flip scoring، تتناول هذه المحادثة Switch Transformer، تفسير Google النظيف والمبسط بعدوانية لتوسيع Mixture-of-Experts.

فبراير 12, 2022· 1 min read

Is Nathan Chen's 4 Flip scored by Mixture-of-Experts? Part 2: GLaM:Efficient Scaling of LMs with MoE

Tutorials

هل يتم تسجيل قلبة ناثان تشن الرباعية بواسطة Mixture-of-Experts؟ الجزء 2: GLaM: قياس فعال للنماذج اللغوية مع MoE

الجزء 2 من سلسلة MoE المصغرة ينتقل إلى GLaM، نموذج اللغة Mixture-of-Experts من Google الذي يحتوي على 1.2 تريليون معامل والذي يطابق أو يتفوق على GPT-3 في معايير…

فبراير 12, 2022· 1 min read

BERT Paper Reviewed from a Speech Perspective

Tutorials

ورقة BERT تمت مراجعتها من منظور الكلام

BERT بالكاد يحتاج إلى مقدمة في NLP، لكن قراءتها من خلال عيون مهندس الكلام تكشف مجموعة مختلفة من الدروس عن الملخص القياسي "نمذجة اللغة المقنعة غيرت كل شيء".

فبراير 6, 2022· 1 min read

Transformer: Attention is All You Need and Listen, Attend and Spell -- from a Speech Perspective

Tutorials

Transformer: الانتباه هو كل ما تحتاجه و Listen, Attend and Spell - من منظور الكلام

ورقتان، قصة واحدة. "Attention Is All You Need" أعطت العالم Transformer وأعادت تعيين كيفية عمل نمذجة التسلسل، بينما قامت "Listen, Attend and Spell" (LAS) بنفس ا…

يناير 29, 2022· 1 min read

Tag: transformer