Tutorials
推導 OpenAI GPT-4o 的神經網路架構
OpenAI 尚未發表關於 GPT-4o 的論文，所以這段影片做了次好的事：根據 OpenAI 實際展示的能力，反向工程推導神經網路架構幾乎肯定是什麼樣子
Tutorials
Google 的通用語音模型在 100+ 語言上擊敗 OpenAI 的 Whisper 模型
Google 的通用語音模型悄悄做了一件非凡的事：在 100+ 語言上的 ASR 方面與 OpenAI 的 Whisper 相當或超越，同時使用大約七分之一的標記訓練資料。
![[Detailed Paper Reading] Zipformer: A faster and better encoder for automatic speech recognition](/media/video/2024/02/detailed-paper-reading-zipformer-a-faster-and-better-encoder-for-automatic-speech/preview.jpg)
Tutorials
[詳細論文閱讀] Zipformer：用於自動語音識別的更快更好的編碼器
Conformer 多年來一直是默認的 ASR 編碼器，但 k2/icefall 團隊的 Zipformer 在保持更快和更輕的同時，悄悄奪得了 LibriSpeech、Aishell-1 和 WenetSpeech 上的 WER 冠軍。
![[Olewave's Review] AudioLM: a Language Modeling Approach to Audio Generation](/media/video/2023/03/olewaves-review-audiolm-a-language-modeling-approach-to-audio-generation/preview.jpg)
Tutorials
Olewave 最詳細的 RNN-T 說明：使用遞迴神經網路的序列轉導
Alex Graves 的 RNN-T 論文是當今幾乎每個上線串流 ASR 系統的無聲先驅，從 Google 的裝置內辨識器到 NeMo、ESPnet 及其他眾多開源轉導器堆疊。
Tutorials
Google 因 Blake Lemoine 說 AI 機器人具有感知能力而解僱他？LaMDA 或 ChatGPT 像人類一樣思考嗎？
當 Google 因 Blake Lemoine 公開聲稱 LaMDA 已變得具有感知能力而解僱他時，這個故事引起了轟動，但底層問題仍然存在：像 LaMDA 和 ChatGPT 這樣的大型語言模型是否真正思考，
![[Olewave's Long Review] Xception: Deep Learning with Depthwise Separable Convolutions](/media/video/2022/07/olewaves-long-review-xception-deep-learning-with-depthwise-separable-convolutions/preview.jpg)
Tutorials
[Olewave 長評論] Xception：深度學習與深度可分離卷積
Xception 將 Inception 假說推向邏輯極端，通過將跨通道和空間相關性推入完全分離的操作，其所推廣的深度可分離卷積現已隨處可見
![[Olewave's Short Review] Xception: Deep Learning with Depthwise Separable Convolutions](/media/video/2022/07/olewaves-short-review-xception-deep-learning-with-depthwise-separable-convolutions/preview.jpg)
![[Long Review] CLAS: Deep context: end-to-end contextual speech recognition](/media/video/2022/04/long-review-clas-deep-context-end-to-end-contextual-speech-recognition/preview.jpg)
![[Long Review] Hurdles to Progress in Long Form Question Answering](/media/video/2022/04/long-review-hurdles-to-progress-in-long-form-question-answering/preview.jpg)
![[Long Review] Finetuned Language Models Are Zero-Shot Learners](/media/video/2022/03/long-review-finetuned-language-models-are-zero-shot-learners/preview.jpg)
Tutorials
[長評] 微調語言模型是零次學習器
在 InstructGPT 使指令調優成為家喻戶曉的術語之前，Google 的 FLAN 論文表明，對自然語言指令進行適度的多任務微調可以將一個普通的 LM 轉變為令人驚訝的強大
![[Long Review] 'GShard': Scaling Giant Models with Conditional Computation and Automatic Sharding](/media/video/2022/02/long-review-gshard-scaling-giant-models-with-conditional-computation-and-automatic/preview.jpg)
Tutorials
[長評] 'GShard'：使用條件計算和自動分片擴展巨型模型
將 Transformer 擴展到超過一千億個參數很快會變成哲學問題：你是為每個令牌激活整個網絡，還是將每個令牌路由到真正需要查看它的專家？