Apple은 많이 출판하지 않으므로, MM1 논문이 멀티모달 LLM 사전 학습에 대한 완전한 제거 연구와 함께 발표되었을 때, MLLM을 구축하는 모든 사람에게 올해 더 유용한 데이터 릴리스 중 하나였습니다. 이 장형식 리뷰는 깊이 있게 발견 사항을 살펴봅니다: 성능이 좋은 멀티모달 모델을 구축할 때 실제로 중요한 것, 반올림 오류로 나타나는 것, 그리고 Apple이 조밀한 모델과 mixture-of-experts 변형을 모두 포함하는 30B 파라미터 패밀리로 레시피를 확장한 방법입니다.

핵심 교훈들은 몇몇 측면에서 직관에 반합니다. 이미지 인코더와 이미지 해상도, 이미지 토큰 수의 조합이 대부분의 멀티모달 성능을 주도하는 한편, 비전-언어 커넥터 설계는 상대적으로 무시할 수 있는 중요도를 가집니다. 사전 학습 데이터의 경우, 이미지-캡션, 인터리빙된 이미지-텍스트, 텍스트 전용 소스의 올바른 조합이 SOTA 적은 샷 결과를 열어주는 것입니다 — 단일 데이터 유형만으로는 충분하지 않습니다. MM1은 또한 좋은 창발적 특성들을 얻습니다: 향상된 컨텍스트 내 학습, 다중 이미지 추론, 그리고 적은 샷 chain-of-thought 프롬핑. 멀티모달 시스템을 구축하고 있으며 또 다른 리더보드 차트보다는 제거 기반 플레이북을 원한다면, 이 깊이 있는 분석은 살펴볼 가치가 있습니다.