Olewave - Professional and Trustworthy - Data Services and Solutions

博士大叔使用计算机作弊降维打击2022高考数学压轴大题 Ph.D. uses computer cheating to solve 2022 college entrance math exam

Tutorials

博士がコンピュータを使ってズルして、2022年の大学入学試験の数学圧軸大問を解く

研究レベルのコンピュータ代数ツールキットを2022年の中国ガオカオ数学の最難問に活用するとどうなるでしょう？

6月 8, 2022· 1 min read

[Long Review] Cascaded Diffusion Models for High Fidelity Image Generation

Tutorials

[ロングレビュー] 高忠実度画像生成のためのカスケード型拡散モデル

ImagenとDALL-E 2が拡散を生成画像の標準にする前に、このGoogle Brainの論文は、その後の多くのテキスト・ツー・イメージシステムが静かに借用したカスケード型拡散のレシピを示しました：小さなもので始める

6月 4, 2022· 1 min read

[Short Review] Cascaded Diffusion Models for High Fidelity Image Generation

Tutorials

[ショートレビュー] 高忠実度画像生成のためのカスケード型拡散モデル

カスケード型拡散は多くの最新の生成的作業の基礎となる2段階以上のレシピです：1つの拡散モデルで小さな画像を生成し、その後、高周波詳細を追加する超解像拡散モデルに渡します

6月 4, 2022· 1 min read

[Long Review] Axial Attention in Multidimensional Transformers

Tutorials

[ロングレビュー] 多次元Transformerの軸方向注意

画像またはビデオ全体にわたる完全な自己注意は禁止的に高価であるため、二次的なブローアップなしでTransformerの表現力をどのように保ちますか？

5月 28, 2022· 1 min read

[Short Review] Axial Attention in Multidimensional Transformers

Tutorials

[ショートレビュー] 多次元Transformerの軸方向注意

軸方向注意はTransformersを高次元データで扱いやすくする優雅なアイデアの1つです：すべてのピクセルまたはすべての時間周波数ビンを一度に注意する代わりに、一度に1つの軸に沿って注意します。

5月 28, 2022· 1 min read

[Long Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis

Tutorials

[ロングレビュー] スピーカー検証からマルチスピーカー音声合成への転移学習

この論文は、ゼロショット音声クローニングを実用的にした論文です。数千の雑音を含む、トランスクリプト不要の音声でスピーカーエンコーダーを判別検証タスクで訓練し、これらの埋め込みをTacotron 2 s

5月 21, 2022· 1 min read

[Short Review] Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis

Tutorials

[ショートレビュー] スピーカー検証からマルチスピーカー音声合成への転移学習

Googleのこの論文は、現代のゼロショット音声クローニングの波を起こしました。美しくシンプルなアーキテクチャを持っており、検証で訓練されたスピーカーエンコーダー、テキストとスピーカー埋め込みを受け取るTacotron 2合成器があります

5月 21, 2022· 1 min read

[Long Review] Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages

Tutorials

[ロングレビュー] Wav2Seq: 疑似言語を使用した音声テキスト変換エンコーダーデコーダーモデルの事前訓練

ほとんどの音声事前訓練はエンコーダー側に焦点を当てています。wav2vec、HuBERT、WavLMですが、系列対系列ASRは事前訓練されたデコーダーも必要です。

5月 14, 2022· 1 min read

[Short Review] Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages

Tutorials

[ショートレビュー] Wav2Seq: 疑似言語を使用した音声テキスト変換エンコーダーデコーダーモデルの事前訓練

wav2vec 2.0のような自己教師あり事前訓練により、素晴らしい音声エンコーダーが得られました。しかし、完全なエンコーダーデコーダーASRシステムが欲しい場合、デコーダーはまだゼロから開始していました。

5月 14, 2022· 1 min read

[Long Review] Towards Zero-Label Language Learning

Tutorials

[ロングレビュー] ゼロラベル言語学習へ向けて

人間によるラベル付きの例がない状態でも、タスク固有のNLPモデルを訓練できたら？「ゼロラベル言語学習へ向けて」はこの問いに真正面から向き合っています。

5月 7, 2022· 1 min read

[Short Review] Towards Zero-Label Language Learning

Tutorials

[ショートレビュー] ゼロラベル言語学習へ向けて

何ヶ月もかけてアノテーションしたラベル付きデータが、実は必要なかったとしたら？

5月 7, 2022· 1 min read

[Long Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs

Tutorials

[ロングレビュー] 完全シャード化データ並列：より少ないGPUでより高速なAI訓練

限られたGPU予算で10億パラメータの音声モデルまたは言語モデルを訓練することは、パイプライン並列、テンソル並列、またはZeRO型オプティマイザシャーディング間での苦渋の選択を意味していました。

4月 23, 2022· 1 min read

[Short Review] Fully Sharded Data Parallel: faster AI training with fewer GPUs

Tutorials

[ショートレビュー] 完全シャード化データ並列：より少ないGPUでより高速なAI訓練

完全シャード化データ並列（Fully Sharded Data Parallel）は、あらゆる音声チームと言語チームが最終的に問う質問へのMetaからの答えです：1桁大きいモデルを、1桁多いGPUをプロビジョニングせずに訓練するにはどうするか？

4月 23, 2022· 1 min read

[Long Review] Deduplicating Training Data Makes Language Models Better

Tutorials

[ロングレビュー] 訓練データの重複排除により言語モデルが向上する

重複排除は退屈に聞こえるかもしれませんが、61語の単一文がC4内に60,000回以上出現すること、そのようなコーパスで訓練された言語モデルがユーザーに訓練セットテキストを不気味に

4月 16, 2022· 1 min read

[Short Review] Deduplicating Training Data Makes Language Models Better

Tutorials

[ショートレビュー] 訓練データの重複排除により言語モデルが向上する

言語モデルの「一般化」のどれだけが実は単なる丸暗記なのか?

4月 16, 2022· 1 min read

[Long Review] CLAS: Deep context: end-to-end contextual speech recognition

Tutorials

[ロングレビュー] CLAS: ディープコンテキスト: エンドツーエンド文脈的音声認識

ASR製品をリリースした人なら誰でも固有名詞の苦労を知っています: 連絡先の名前、曲のタイトル、医薬品の名前、不明瞭な地名。

4月 9, 2022· 1 min read

[Long Review] Hurdles to Progress in Long Form Question Answering

Tutorials

[ロングレビュー] 長形式質問応答における進捗の障害

長形式質問応答は、リーダーボード上では印象的に見えますが、顕微鏡で見ると不安になるようなベンチマークの1つです。

4月 2, 2022· 1 min read

[Long Review] Finetuned Language Models Are Zero-Shot Learners

Tutorials

[ロングレビュー] ファインチューニングされた言語モデルはゼロショット学習器

InstructGPTが指示チューニングを一般的な用語にする前に、GoogleのFLAN論文は、自然言語指示に対する適度な量のマルチタスク微調整が、普通のLMを驚くほど

3月 5, 2022· 1 min read

[Long Review] 'GShard': Scaling Giant Models with Conditional Computation and Automatic Sharding

Tutorials

[ロングレビュー] 「GShard」：条件付き計算と自動シャーディングを使用した巨大モデルのスケーリング

Transformerを1000億パラメータを超えてスケーリングすることは急速に哲学的になります：すべてのトークンに対してネットワーク全体をアクティブにしますか、それとも各トークンを実際に見る必要があるスペシャリストにルーティングしますか？

2月 26, 2022· 1 min read

Triplets-like Russian Figure Skaters: Can Kullback-Leibler Divergence be Used Tell Their Difference?

Tutorials

三つ子のようなロシアのフィギュアスケーター：Kullback-Leiblerダイバージェンスは彼らの違いを見分けるのに使用できますか？

スピーカー適応は、エンコーダーの獲得した音響表現を損なわないようにシーケンス・ツー・シーケンスモデルを適応させようとするまでは、解決されたように聞こえるASR問題の1つです。

2月 19, 2022· 1 min read

Is Nathan Chen's 4 Flip scored by Mixture-of-Experts? Part 1: Switch Transformers: sparse MoE models

Tutorials

ネイサン・チェンの4フリップはMixture-of-Expertsでスコアリングされていますか？パート1：Switch Transformers：スパースMoEモデル

ネイサン・チェンのクワッドフリップスコアリングへのウインクを交わしてフレーミングされたこのトークは、Switch Transformerを詳細に説明します。これはGoogleによるMixture-of-Expertsスケーリングの明確で積極的に単純化された取り組みです。

2月 12, 2022· 1 min read

Is Nathan Chen's 4 Flip scored by Mixture-of-Experts? Part 2: GLaM:Efficient Scaling of LMs with MoE

Tutorials

ネイサン・チェンの4フリップはMixture-of-Expertsでスコア付けされているのか？パート2：GLaM：MoEによるLMsの効率的スケーリング

MoEミニシリーズのパート2はGLaMに向かい、Googleの1.2兆パラメータMixture-of-Expertsモデルは、ゼロショット、ワンショット、フューショットベンチマークでGPT-3に匹敵するか上回っており、パラメータの約8%のみを活性化しています

2月 12, 2022· 1 min read

BERT Paper Reviewed from a Speech Perspective

Tutorials

BERTペーパーをスピーチの視点からレビュー

BERTはNLPではほぼ紹介の必要がありませんが、スピーチエンジニアの目を通して読むと、標準的な「マスク言語モデリングがすべてを変えた」という要約とは異なるレッスンが明らかになります。

2月 6, 2022· 1 min read

Transformer: Attention is All You Need and Listen, Attend and Spell -- from a Speech Perspective

Tutorials

Transformer：Attention is All You NeedとListen, Attend and Spell -- スピーチの視点から

2つの論文、1つのストーリー。「Attention Is All You Need」はTransformerを世界に与え、シーケンスモデリングの方法をリセットした一方で、「Listen, Attend and Spell」（LAS）はエンドツーエンドスピーチについて1年前に同じことを行いました

1月 29, 2022· 1 min read

From Breaking Bad to Wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations

Tutorials

Breaking BadからWav2vec 2.0へ：スピーチ表現の自己教師あり学習フレームワーク

ウォルター・ホワイト、ジェシー・ピンクマン、そしてラベルなしオーディオのバッチに共通することは何か？

1月 22, 2022· 1 min read

HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units

Tutorials

HuBERT: 隠れユニットのマスク予測による自己教師あり音声表現学習

wav2vec 2.0 はコントラスティブ自己教師あり学習でゲームを変えましたが、HuBERT はより鋭い質問を投げかけました。コントラスティブなトリックをスキップして、単に音声に対して BERT スタイルのマスク予測を行ったらどうでしょうか？

12月 14, 2021· 1 min read

W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self Supervise

Tutorials

W2v-BERT: コントラスティブ学習とマスク言語モデリングを組み合わせた自己教師あり学習

音声事前学習のためのコントラスティブ学習とマスク言語モデリング、どちらか一方を選ぶ必要があるでしょうか？両方を同じネットワークに接続できるなら、その必要はありません。

12月 12, 2021· 1 min read

Exploring Wav2vec 2.0 fine-tuning for improved speech emotion recognition

Tutorials

音声感情認識の改善のための Wav2vec 2.0 ファインチューニングの探索

音声感情認識は、小規模なラベル付きデータセットと手作りの音響特性に依存してきました。

12月 4, 2021· 1 min read

Joint Unsupervised and Supervised Training for Multilingual ASR

Tutorials

多言語 ASR のための共同無教師学習と教師あり学習

事前学習-ファインチューニングは多言語 ASR のデフォルトレシピになってきましたが、改善の余地があります。2 つのステージは損失を共有していないため、教師あり段階により有用な自己教師あり構造が静かに洗い流される可能性があります。

12月 4, 2021· 1 min read

WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing

Tutorials

WavLM: 大規模自己教師あり事前学習による全スタック音声処理

ほとんどの音声SSLモデルはASRに最適化し、他のすべてがうまくいくことを望んでいます。

12月 4, 2021· 1 min read

Category: tutorials