【MTP】Qwen3.6-27B-MTPを使ってみた話【LM Studio】

はじめに

LM Studioのベータ版でのみMTP（Multi-Token Prediction）が利用可能だったのですが、バージョンアップで正式版になったので利用してみました。

MTPとは、投機的な処理を利用して速度向上を行う手法です。ドラフターと呼ばれる小さなモデルや追加レイヤーが大雑把に予測トークンを生成し、本体のモデルは、予測が正しいか確認するだけになるため、計算コストを削減できるという寸法です。

現状のLM Studioは、Qwen3.6のみの対応ですが、Gemma4のMTP版（assistantモデル）は既にオープンに公開され、llama.cppのブランチで既に利用可能なので、しばらくすれば利用可能になると思われます。

設定

LM Studioを最新版（0.4.14/CUDA 12 llama.cpp v2.16.0）以上にする必要があります。

Unslothモデル（IQ3_XXS）を利用します。

筆者環境は、Linux mint 22.3 & RTX 3060×2（24GB VRAM）なので、コンテキスト長は64k程度利用できます。

MTP Max Draft Tokensの値を上げると予測するtoken数を上げられますが、その分メモリ利用率も増え、かつ失敗する確率も増えるので、デフォルト値が良さそうです。

動作テスト

数学の解答を作成します。

MTP Speculative Decodingをoffにすると、

念の為、MTP版でない通常のQwen3.6 27Bで確かめます。

まとめ

筆者環境では、想定通りの1.5倍のパフォーマンス向上を確認できました。

ただし投機的なアルゴリズムの場合は、（最適化されれば）並列GPUが有利になる事が多いので、2GPU運用でも特に変化がないのは若干残念です。GPU消費電力もほとんど変化がありません。

※ Qwen3.6 35B A3B MTP + エキスパートモデルCPU移動のCPU/GPUハイブリッド演算でも 42token→50tokenと若干のパフォーマンス向上が確認できました。

以下、関連する記事の【PR】です。