![[Long Review] Cascaded Diffusion Models for High Fidelity Image Generation](/media/video/2022/06/long-review-cascaded-diffusion-models-for-high-fidelity-image-generation/preview.jpg)
[ロングレビュー] 高忠実度画像生成のためのカスケード拡散モデル
Imagen と DALL-E 2 が拡散を生成画像のデフォルトにする前に、この Google Brain 論文では、後の多くのテキストから画像へのシステムが密かに借用したカスケード拡散レシピを説明しました。
![[Short Review] Cascaded Diffusion Models for High Fidelity Image Generation](/media/video/2022/06/short-review-cascaded-diffusion-models-for-high-fidelity-image-generation/preview.jpg)
[短いレビュー] 高忠実度画像生成のためのカスケード拡散モデル
カスケード拡散は、現代の多くの生成作業の基礎となる 2 段階以上のレシピです。1 つの拡散モデルで小さな画像を生成し、それを高周波の詳細を追加する超解像度拡散モデルに渡します。
![[Long Review] Axial Attention in Multidimensional Transformers](/media/video/2022/05/long-review-axial-attention-in-multidimensional-transformers/preview.jpg)
[長いレビュー] 多次元における軸方向の注意 Transformers
画像やビデオに完全に注意を向けるには法外なコストがかかります。では、二次関数の爆発を避けて Transformer の表現力を維持するにはどうすればよいでしょうか?
![[Short Review] Axial Attention in Multidimensional Transformers](/media/video/2022/05/short-review-axial-attention-in-multidimensional-transformers/preview.jpg)
[短いレビュー] 多次元における軸方向の注意
軸方向の注意は、高次元データで Transformers を扱いやすくするエレガントなアイデアの 1 つです。すべてのピクセルまたはすべての時間周波数ビンを一度に処理するのではなく、一度に 1 つの軸に沿って処理します。
![[Long Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis](/media/video/2022/05/long-review-transfer-learning-from-speaker-verification-to-multispeaker-text-to-speech/preview.jpg)
[ロングレビュー] 話者検証からマルチ話者テキスト読み上げ合成への転移学習
これは、ゼロショット音声クローン作成を実用化した論文です。何千ものノイズの多い、Transformerクリプトのない音声を使用して識別検証タスクでスピーカー エンコーダーをトレーニングし、それらのエンベディングを Tacotron 2 にフィードします。
![[Short Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis](/media/video/2022/05/short-review-transfer-learning-from-speaker-verification-to-multispeaker-text-to-speech/preview.jpg)
[短いレビュー] 話者検証からマルチ話者テキスト読み上げ合成への転移学習
最新のゼロショット音声クローン作成の波を始めた Google の論文は、美しくクリーンなアーキテクチャを備えています。検証でトレーニングされたスピーカー エンコーダー、テキストを変換する Tacotron 2 シンセサイザーとスピーカーの埋め込みです。
![[Short Review] Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages](/media/video/2022/05/short-review-wav2seq-pre-training-speech-to-text-encoder-decoder-models-using-pseudo/preview.jpg)
[短いレビュー] Wav2Seq: 擬似言語を使用した Speech-to-Text エンコーダ/デコーダ モデルの事前トレーニング
wav2vec 2.0 のような自己監視型事前トレーニングにより、優れた音声エンコーダが提供されましたが、完全なエンコーダ/デコーダ ASR システムが必要な場合、デコーダは依然としてゼロからのスタートでした。
![[Long Review] Towards Zero-Label Language Learning](/media/video/2022/05/long-review-towards-zero-label-language-learning/preview.jpg)
[ロングレビュー] ゼロラベル言語学習に向けて
人間がラベルを付けたサンプルを 1 つも使用せずに、タスク固有の NLP モデルをトレーニングできたらどうでしょうか? 「ゼロラベル言語学習に向けて」は、その疑問に真剣に取り組んでいます。
![[Short Review] Deduplicating Training Data Makes Language Models Better](/media/video/2022/04/short-review-deduplicating-training-data-makes-language-models-better/preview.jpg)