DiffusionGemma の概要

以下の記事が面白かったので、簡単にまとめました。

1. DiffusionGemma

Googleは、テキスト生成を高速化する実験的なオープンウェイトモデル「DiffusionGemma」を発表しました。テキスト・画像・動画を入力できる、テキスト出力向けのマルチモーダルモデルです。

DiffusionGemmaは、Gemma 4 26B A4B をベースにしたテキスト拡散型モデルです。一般的なLLMは文章を左から右へ1トークンずつ生成しますが、DiffusionGemmaは複数のトークンをまとめて生成・修正します。画像生成AIの拡散モデルに近い考え方を、テキスト生成に応用したものです。

モデルの規模は25.2B総パラメータのMoEで、推論時に有効になるパラメータは3.8Bです。Apache 2.0ライセンスで公開されており、vLLM、Hugging Face Transformers、MLXなどでの利用が想定されています。

主な特徴は次のとおりです。

DiffusionGemmaは、Gemma 4より高品質なモデルではなく、高速性や新しい生成方式を試すための実験モデルです。最大品質が必要な用途では、通常のGemma 4が推奨されています。

2. 従来のLLMとの違い

従来のLLMは、前のトークンをもとに次のトークンを予測する「自己回帰型」です。

このように、1つずつ順番に文章を伸ばします。

この方式は自然な文章生成に強い一方で、ローカル推論ではGPUを十分に使い切れないことがあります。次の1トークンを生成するたびにモデルの重みを読み込み、少しずつ処理を進めるためです。

DiffusionGemmaは、最初にランダムなプレースホルダで埋めた「テキストのキャンバス」を用意し、それを何度も修正して文章に近づけます。

各トークンは、前のトークンだけでなく、ブロック内の他のトークンも参照できます。そのため、文章全体の整合性を見ながら出力を調整できます。この性質により、インライン編集、コード補完、穴埋め、MarkdownやJSONなどの構造化テキスト生成と相性がよいとされています。

3. なぜ高速になるのか

DiffusionGemmaの高速化の理由は、GPUの使い方にあります。

自己回帰型LLMは1トークンずつ順番に処理するため、ローカル推論ではメモリ帯域がボトルネックになりやすいです。一方、DiffusionGemmaは256トークンのブロックを並列に処理します。GPUに大きな計算をまとめて渡せるため、Tensor Coreなどの計算資源を活用しやすくなります。

Googleの発表では、単一のNVIDIA H100で1000トークン/秒以上、GeForce RTX 5090で700トークン/秒以上の性能が示されています。

ただし、高速化の恩恵は環境に依存します。専用GPUでのローカル推論や低〜中程度のバッチサイズでは効果が出やすい一方、大量リクエストをさばくクラウド環境では、自己回帰型モデルの方が効率的な場合もあります。また、Apple Siliconのようなユニファイドメモリ環境では、同じ速度向上が出ない可能性があります。

4. 得意な用途

DiffusionGemmaが向いているのは、速度やインタラクティブ性が重要な用途です。

特に、文章を左から右へ順番に作る必要がないタスクと相性があります。

たとえば数独のように、各マスが行・列・ブロック全体の制約を満たす必要がある問題では、左上から順番に埋めるだけでは整合性を取りにくくなります。DiffusionGemmaはブロック全体を見ながら修正できるため、このような全体制約を持つタスクにも向いています。

5. 注意点

DiffusionGemmaは高速性が特徴ですが、万能なモデルではありません。

つまり、DiffusionGemmaは既存LLMの完全な置き換えではなく、ローカルGPUで高速なテキスト生成を試したい開発者や、インタラクティブな生成UIを作りたい開発者に向いたモデルです。

6. はじめる

DiffusionGemmaの重みはHugging Faceで公開されています。ライセンスはApache 2.0です。推論環境としては、vLLM、Hugging Face Transformers、MLX、SGLang、NVIDIA NIM、Google Cloud Model Gardenなどが挙げられています。