MoE 미니 시리즈의 Part 2는 GLaM으로 초점을 맞춥니다. Google의 1.2조-파라미터 Mixture-of-Experts 언어 모델로, 제로-샷, 원-샷, 그리고 퓨-샷 벤치마크에서 GPT-3과 동등하거나 능가하며 토큰당 파라미터의 약 8%만 활성화하고 대략 GPT-3의 훈련 에너지의 약 3분의 1을 소비합니다. 효율성의 이야기가 헤드라인입니다: 희소 활성화는 추론당 계산이 파라미터 수가 제시하는 것보다 훨씬 작다는 의미입니다.

이 리뷰는 GLaM의 전문가 라우팅, 훈련 데이터 큐레이션, 그리고 희소 스케일링 논증을 구체적으로 만드는 평가 수치들을 분석합니다. 음성 AI 분야의 사람들이 음성 어시스턴트를 위한 밀집과 희소 LLM 백엔드를 비교하거나 MoE 기반 음성 기초 모델에 대해 생각하는 경우, GLaM은 MoE를 호기심에서 진지한 배포 고려사항으로 변환한 경험적 사례 연구입니다. 상세한 분석은 GLaM이 증명한 것과 다음 세대 희소 모델을 위해 미해결 작업으로 남긴 것을 안내합니다.