Gemma 4 MTP Drafters の概要

以下の記事が面白かったので、簡単にまとめました。

1. Gemma 4 MTP Drafters

「Gemma 4」向けに「MTP（Multi-Token Prediction）Drafters」がリリースされました。特殊な投機的デコーディングアーキテクチャにより、出力品質や Reasoning ロジックを損なうことなく、最大3倍の高速化を実現

します。

2. なぜ投機的デコーディングなのか

標準的な LLM 推論は、メモリ帯域幅に制約されやすく、これが大きなレイテンシの原因になります。1トークンを生成するたびに、数十億ものパラメータを VRAM から演算ユニットへ移動する必要があり、特にコンシューマ向けハードウェアでは計算リソースを十分に活用できません。

「投機的デコーディング」（Speculative Decoding）は、トークンの「生成」と「検証」を分離することで、この非効率を緩和します。重い「ターゲットモデル」（Gemma 4 31B など）と軽量な「ドラフトモデル」（MTP モデル）を組み合わせ、ドラフトモデルが複数の将来トークンを一度に予測します。その後、ターゲットモデルが提案されたトークン列を並列に検証します。

3. 投機的デコーディングの仕組み

一般的な大規模言語モデルは、1トークンずつ順番にテキストを生成します。しかしこの方式では、明らかな続きを予測する場合でも、複雑な推論を行う場合でも、同じように計算コストがかかります。

MTP は「投機的デコーディング」によって、この非効率を軽減します。ターゲットモデルがドラフトを妥当と判断した場合、提案されたトークン列全体を1回の forward pass で受け入れます。さらに、その過程でターゲットモデル自身が追加の1トークンも生成します。つまり、通常なら1トークンを生成する時間で、複数のドラフトトークンと追加の1トークンを出力できます。

4. より高速な AI を実現

開発者にとって、推論速度は本番導入における重要なボトルネックです。コーディングアシスタント、自律エージェント、オンデバイスのモバイルアプリなど、応答性が求められる用途では、数ミリ秒の差が体験を左右します。

「Gemma 4」と対応する「ドラフトモデル」を組み合わせることで、以下の利点が得られます。

5. MTP Draftersをさらに深く理解する

「ドラフトモデル」を高速かつ高精度に動作させるため、内部では複数のアーキテクチャ改良が導入されています。

「ドラフトモデル」は、「ターゲットモデル」のアクティベーションを活用し、KV キャッシュも共有します。これにより、ターゲットモデルがすでに処理した文脈を再計算する必要がなくなり、生成をさらに高速化できます。

また、E2B / E4B のようなエッジ向けモデルでは、最終的なロジット計算がボトルネックになりやすいため、embedder に効率的なクラスタリング手法を導入しています。

ハードウェアごとの最適化も進められています。たとえば、26B MoE は Apple Silicon 上でバッチサイズ 1 の場合、ルーティング処理に特有の課題があります。一方、バッチサイズを 4〜8 に増やすことで、ローカル環境でも最大約 2.2 倍の高速化が可能です。Nvidia A100 でも、バッチサイズ増加により同様の性能向上が確認されています。

より詳しい仕組みについては、視覚的なアーキテクチャ、KV キャッシュ共有、効率的な embedder を解説した技術資料が公開されています。

6. はじめる

「Gemma 4」向けの「MTP Drafters」は、Gemma 4 と同じ Apache 2.0 ライセンスで利用できます。モデルの重みは Hugging Face や Kaggle からダウンロードでき、Transformers、MLX、VLLM、SGLang、Ollama による高速推論に対応しています。また、Android / iOS向けの「Google AI Edge Gallery」でも直接試すことができます。

関連