Olewave - Professional and Trustworthy - Data Services and Solutions

[Olewave's Review] CLIP (3/3): Learning Transferable Visual Models From Natural Language Supervision

Tutorials

[Olewave 評測] CLIP (3/3): 從自然語言監督學習可轉移的視覺模型

這份 CLIP 評測的最後部分著重於結果部分，這正是 OpenAI 的對比式影像-文字模型從一個有趣的想法轉變為整個多模態堆疊基礎層原始構件的地方。

一月 14, 2023· 1 min read

[Olewave's Review] CLIP (2/3): Learning Transferable Visual Models From Natural Language Supervision

Tutorials

[Olewave 評測] CLIP (2/3): 從自然語言監督學習可轉移的視覺模型

OpenAI 的 CLIP 通過拋棄固定標籤集並改為在從網際網路上抓取的 4 億個(影像、文字)配對上進行訓練，翻轉了計算機視覺的劇本。

一月 1, 2023· 1 min read

[Olewave's Review] CLIP (1/3): Learning Transferable Visual Models From Natural Language Supervision

Tutorials

[Olewave 評測] CLIP (1/3): 從自然語言監督學習可轉移的視覺模型

在有 BLIP、LLaVA 或任何值得一提的 speech-LLM 之前，有 CLIP，這正是故事開始的地方。

十二月 17, 2022· 1 min read

Boris Johnson’s Rise and Fall - an analysis of the mics

Tutorials

Boris Johnson 的興衰 - 麥克風分析

政治新聞通常不是聲音 AI 工程師在週五下午準備的東西，但 Boris Johnson 的辭職聲明是在一排麥克風前發表的，當時他的政黨因一系列醜聞而背叛

七月 9, 2022· 1 min read

[Olewave's Long Review] Xception: Deep Learning with Depthwise Separable Convolutions

Tutorials

[Olewave 長評論] Xception：深度學習與深度可分離卷積

Xception 將 Inception 假說推向邏輯極端，通過將跨通道和空間相關性推入完全分離的操作，其所推廣的深度可分離卷積現已隨處可見

七月 9, 2022· 1 min read

Dr. Fauci was caught on hot mic - 'what a moron' -- analysis from a research perspective

Tutorials

Fauci 博士被熱麥克風錄到 - '真是個傻瓜' -- 研究角度的分析

博士

七月 2, 2022· 1 min read

Phased Array Radar on China's Aircraft Carrier Fujian 003 and Its Connection with Speech Beamforming

Tutorials

中國航空母艦福建 003 上的相控陣雷達及其與語音波束形成的聯繫

中國最新航空母艦福建 003 上安裝的相控陣雷達和讓你的智能音箱在嘈雜房間裡聽到你說話的麥克風陣列實際上基於相同的底層數學。

六月 25, 2022· 1 min read

How Does the All-New Dictation in iOS 16 Work? Reveal Apple's Secret Sauce by a Speech Researcher!

Tutorials

iOS 16 全新聽寫功能如何運作？一位語音研究者揭露蘋果的祕密武器！

蘋果的 iOS 16 聽寫功能完全在設備上運行，這個單一的設計選擇對延遲、隱私和手機上哪些 ASR 架構甚至可行都有連鎖影響。

六月 18, 2022· 1 min read

[Long Review] Conformer: Convolution-augmented Transformer for Speech Recognition

Tutorials

[長篇評論] Conformer：用於語音識別的卷積增強型 Transformer

Conformer 是悄然佔據端到端 ASR 的模型，其方法是在每個 Transformer 區塊加入卷積模組，這個看似簡單卻非常有效的想法被證實就是有效的。

六月 11, 2022· 1 min read

[Long Review] Cascaded Diffusion Models for High Fidelity Image Generation

Tutorials

[長篇評論] Cascaded Diffusion Models for High Fidelity Image Generation

在Imagen和DALL-E 2將擴散設定為生成式影像的預設之前，這篇Google Brain論文奠定了Cascaded Diffusion的方案，許多後來的文字轉圖像系統都悄悄地採用：從一個小

六月 4, 2022· 1 min read

[Short Review] Cascaded Diffusion Models for High Fidelity Image Generation

Tutorials

[短篇評論] Cascaded Diffusion Models for High Fidelity Image Generation

Cascaded Diffusion是許多現代生成工作背後的二階以上方案：用一個擴散模型生成小影像，然後交給超解析度擴散模型來添加高頻細

六月 4, 2022· 1 min read

[Long Review] Axial Attention in Multidimensional Transformers

Tutorials

[長篇評論] Axial Attention in Multidimensional Transformers

對影像或影片進行完整自注意力在計算上極其昂貴，那麼如何在不引入二次方複雜度的情況下保持Transformer的表現力？

五月 28, 2022· 1 min read

[Short Review] Axial Attention in Multidimensional Transformers

Tutorials

[短篇評論] Axial Attention in Multidimensional Transformers

Axial Attention是一個優雅的想法，它使Transformers對高維數據保持可控：無需一次性對所有像素或所有時頻箱進行注意，而是每次只沿著一個軸進行注意。

五月 28, 2022· 1 min read

[Long Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis

Tutorials

[長評論] 從說話人驗證到多說話人TTS合成的遷移學習

這是使零樣本語音克隆成為實用的論文：在具有數千個嘈雜、無文本記錄的語音上訓練說話人編碼器進行判別性驗證任務，然後將這些嵌入輸入到Tacotron 2 s

五月 21, 2022· 1 min read

[Short Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis

Tutorials

[短評論] 從說話人驗證到多說話人TTS合成的遷移學習

Google的論文啟動了現代零樣本語音克隆浪潮，具有簡潔優美的架構：一個在驗證上訓練的說話人編碼器、一個Tacotron 2合成器可將文本加說話人嵌入轉換

五月 21, 2022· 1 min read

[Short Review] Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages

Tutorials

[短評論] Wav2Seq：使用偽語言預訓練語音轉文本編碼器-解碼器模型

像wav2vec 2.0這樣的自監督預訓練給了我們很好的語音編碼器，但如果你想要一個完整的編碼器-解碼器ASR系統，解碼器仍然從零開始。

五月 14, 2022· 1 min read

[Long Review] Towards Zero-Label Language Learning

Tutorials

[長篇評論] Towards Zero-Label Language Learning

如果您可以在沒有任何人工標註範例的情況下訓練任務特定的 NLP 模型呢？"Towards Zero-Label Language Learning" 著力強調了這個問題。

五月 7, 2022· 1 min read

[Long Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs

Tutorials

[長篇評論] Fully Sharded Data Parallel：用更少 GPU 進行更快的 AI 訓練

在有限的 GPU 預算上訓練十億參數的語音或語言模型曾經意味著要在管道並行、張量並行或 ZeRO 風格的優化器分片之間做出選擇。

四月 23, 2022· 1 min read

[Short Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs

Tutorials

[短篇評論] Fully Sharded Data Parallel：用更少 GPU 進行更快的 AI 訓練

Fully Sharded Data Parallel 是 Meta 對每個語音和語言團隊最終都會提出的問題的答案：我們如何在不提供數量級更多 GPU 的情況下訓練數量級更大的模型？

四月 23, 2022· 1 min read

[Short Review] Deduplicating Training Data Makes Language Models Better

Tutorials

[短篇評論] 資料去重複使語言模型更優秀

你的語言模型有多少「泛化」實際上只是原文重複？

四月 16, 2022· 1 min read

Tag: ml