Olewave - Professional and Trustworthy - Data Services and Solutions

Tutorials

적당한 GPU 예산으로 10억 매개변수 음성 또는 언어 모델을 교육한다는 것은 파이프라인 병렬 처리, 텐서 병렬 처리 또는 ZeRO 스타일 최적화 샤딩 전반에 걸쳐 독을 선택하는 것을 의미했습니다.

4월 23, 2022· 1 min read

Tutorials

완전 샤딩된 데이터 병렬은 모든 음성 및 언어 팀이 최종적으로 묻는 질문에 대한 Meta의 답변입니다. 한 단계 더 많은 GPU를 프로비저닝하지 않고 어떻게 한 단계 더 큰 모델을 교육할 수 있습니까?

4월 23, 2022· 1 min read

Tutorials

단일 61 단어 문장이 C4 내에서 60,000번 이상 나타나고 이러한 말뭉치로 훈련된 언어 모델이 훈련 세트 텍스트를 사용자에게 불안한 반응으로 다시 뱉어낸다는 사실을 알기 전까지는 중복 제거가 지루하게 들립니다.

4월 16, 2022· 1 min read

Tutorials

언어 모델의 "일반화" 중 실제로 얼마나 많은 부분이 역류에 불과합니까?

4월 16, 2022· 1 min read

Tutorials

ASR 제품을 배송해 본 사람이라면 누구나 연락처 이름, 노래 제목, 약물 이름, 모호한 지명 등 고유 명사의 고통을 알고 있습니다.

4월 9, 2022· 1 min read

Tutorials

긴 형식의 질문 답변은 리더보드에서는 인상적이지만 현미경으로 보면 불안해 보이는 벤치마크 중 하나입니다.

4월 2, 2022· 1 min read

Archive: 2022 April