In-depth review of OpenAI's GPT-3 : Language Models are Few-Shot Learners (Part 1/3: Intro&Approach)

Tutorials

مراجعة متعمقة في GPT-3 من OpenAI: نماذج اللغة تتعلم من عينات قليلة (الجزء 1/3: المقدمة والنهج)

يعرض الجزء الأول من هذه المراجعة الثلاثية الأجزاء لـ GPT-3 الورقة التي حولت التوسع من رهان بحثي إلى حقيقة مسلمة في الصناعة.

يعرض الجزء الأول من هذه المراجعة الثلاثية الأجزاء لـ GPT-3 الورقة التي حولت التوسع من رهان بحثي إلى حقيقة مسلمة في الصناعة. يغطي الجزء الأول المقدمة والمنهج: لماذا بدا الضبط الدقيق على آلاف الأمثلة الخاصة بالمهمة محرجاً بشكل متزايد، وكيف يتعلم البشر مهام جديدة من حفنة من الأمثلة أو سطر من التعليمات، ولماذا قررت OpenAI أن Transformer الانحداري ذو 175 مليار معامل والمدرب على مجموعات نصوص ضخمة قد يسد تلك الفجوة.

يركز الشرح على إعداد التدريب وتجميع مجموعة البيانات والإطار الحاسم لتقييم few-shot و one-shot و zero-shot كمجرد تعليمات السياق الخالصة بدون تحديثات تدرجات. هذا الإطار هو ما جعل GPT-3 منصة بدلاً من نموذج، وهي نفس الخطوة المفهومية التي تحدث الآن في الكلام مع TTS في السياق من نمط VALL-E و ASR المعتمد على التعليمات. ابدأ هنا قبل الأجزاء الثانية والثالثة إذا كنت تريد النموذج العقلي قبل جداول المعايير. أساس متين لأي شخص وظيفته اليومية هي البناء على LLMs أو نماذج الكلام المكافئة لها.