文字を「1文字ずつ」じゃなく「ブロックごと」作るAI — Google の DiffusionGemma という実験

ほとんどのAIは、文章を「タイプライター」みたいに作ります。左から右へ、1単語ずつ、前の単語を見ながら次を打つ。

6月10日に Google が公開した DiffusionGemma は、そこを変えてきました。1文字ずつ打つのではなく、印刷機みたいに、文章のブロックをまるごと一度に刷る。 その結果、ローカル環境で最大4倍速い、という実験的なオープンモデルです。
しかも Apache 2.0、重みは Hugging Face で公開、量子化すれば 18GB の VRAM で動く——つまり高性能な個人向け GPU で手元で回せる。調べた範囲を整理しておきます。

まず、何がそんなに違うのか（タイプライター → 印刷機）

ふつうのLLM（自己回帰モデル）は、単語 → 単語 → 単語、と順番に予測します。クラウドなら、何千人ぶんのリクエストをまとめて処理できるので効率がいい。
でも、手元の GPU で自分ひとりが使うとき、この「1単語ずつ」はもったいない。あなたの GPU は、次の“キーストローク”を待ってばかりで、ほとんど遊んでいるんです。

DiffusionGemma は、ここを逆にします。256トークンのかたまりを一気に下書きして、あとから磨く。 イメージは、AI画像生成がノイズだらけの砂嵐を少しずつクリアな絵にしていく、あれの「文章版」です。
タイプライターを、ブロックまるごとを一発で刷る印刷機にアップグレードした——という比喩が、いちばんしっくりきます。

仕組み（ざっくり3ステップ）

1. キャンバス: ランダムなプレースホルダーのトークンで埋まった“砂嵐”の状態から始める。

2. 反復で磨く: 何度かパスを重ね、正しいトークンを確定させ、それを手がかりに残りを直していく。

3. 収束: ブロック全体がきれいな文章に整う。

ブロック全体を見ながら生成するので、複雑なマークダウンをきっちり閉じたり、コードの穴埋め（infill）をしたり、1単語ずつのモデルが苦手な「前後を同時に見る」作業が得意になります。

スペックと速度

数字も挙げておきます。

• 1回のパスで 256トークンを並列生成

• H100 で 1000+ トークン/秒、RTX 5090 で 700+ トークン/秒

• 26B の MoE だが、推論時に動くのは 3.8B だけ

• 量子化すれば 18GB VRAM に収まる（ハイエンドな個人向け GPU の範囲）

• Apache 2.0、重みは Hugging Face、vLLM や MLX が発売初日から対応（Mac の MLX でもすぐ動かせた、という報告あり）

ここは正直に：速さと引きかえに、質は落ちる

盛り上がる話ですが、いちばん大事な但し書きを。
DiffusionGemma の出力品質は、通常の Gemma 4 より低い。 これは Google 自身がはっきり言っています。速さと「ブロックを一気に並べる」ことを優先した設計なので、そのぶん質はトレードオフ、ということ。

なので Google も、最高品質が必要な本番用途には、これまで通り自己回帰の Gemma 4 を推奨しています。DiffusionGemma は「Gemma 4 の置き換え」ではなく、研究者・開発者が、速さが効くローカルの作業を試すための実験ツール、という位置づけです。ここを取り違えると「思ったより賢くない」とガッカリするので、先に知っておくのが吉。

どんな場面で速さが効くのか

もうひとつ、誤解しやすい点を。
この4倍速は、ローカルで・少人数で使うときの話です。アクセスが集中するクラウド配信では、ふつうのモデルもまとめ処理（バッチ）で GPU を使い切れるので、並列デコードの旨みは薄れて、むしろコストが上がることもある、と Google も書いています。

いちばん効くのは、インライン編集、コードの穴埋め、素早い試行錯誤みたいな、手元でサクサク回したい対話的な作業。リアルタイム性が欲しいローカルワークフロー向け、というわけです。

まとめ

調べてみての結論です。

DiffusionGemma は「Gemma 4 より賢い」モデルではありません。形がちがうモデルです。文章を作る方法は「1トークンずつ」だけじゃない——その別のやり方を、いま自分の GPU で試せるようになった。ここが面白いところだと思っています。
質は割り切って、速さと「前後を同時に見る」強みを取りにいった実験。ハマる用途（編集補助・コード補完・ローカルの高速試行）なら、これはかなり気持ちよく動くはず。実際に手元で回して感触が出てきたら、また追記します。今回はまず「こういう新しいやり方が出た」という整理として。

要点だけなら、英語ですがXのほうにもまとめてあります。