見出し画像

ローカルLLMの応答速度を確認し、最適なエンジンを選ぶ【Gemma4 vs Qwen3.6 / MTP】

OpenClawのバージョンは2026.5.27にアップデートしました。
MCPやOllamaとの連携が強化されたようですね。3.xx系から使っていると、設定ファイルのJSONの書き方が変わったりして結構戸惑います。

本題のローカルLLMの話題ですが
ついにAMD Ryzen AI MAX 395+搭載、128GBメモリのPCを入手しました!
これでローカルLLMでOpenClawが運用し、課金をやめられるぞ!
ということで、OpenClawに最適なローカルLLMを探ろうという話です。

現時点で最良と考えられる候補は以下のモデルでしょう。

■ Google Gemma4シリーズ
 パラメータ数あたりの性能比が最も高効率と言われている
 Googleの最新ローカルLLM
 ・Gemma4 26B A4B (MoEモデル)
 ・Gemma4 31B (Denseモデル)

■ Alibaba Qwen3.6シリーズ
 コード生成も含めた総合性能の高さで
 オープンソースでの存在感が最も強いローカルLLM
 ・Qwen3.6 35B A3B (MoEモデル)
 ・Qwen3.6 27B (Denseモデル)

■ OpenAI gpt-ossシリーズ
 圧倒的なパラメータ数を誇り、
 クラウドAIのリプレイスを狙えるオープンソースLLM
 ・gpt-oss120B
 ・gpt-oss 20B

応答速度重視であれば、MoEモデル
高精度なTool呼び出し性能を重視するなら、
全パラメータを利用するDenseモデル
と言われています。

しかし、OpenClawのようなAIエージェントに利用する場合、
指示に対して多くのトークンを消費するので、
トークン生成速度が応答の体感にかなり影響します。

そこで、LM Studio(0.4.15)を使ってtoken/secを測ってみます。
プリセットはモデルカード推奨値を設定。
「日本の首都は?」と「アメリカの首都は?」を複数回聞いて
中央値を算出しています。

ローカルLLMモデルの応答速度(AMD Ryzen AI MAX+ 395 128GB)

この比較での最速は、gpt-oss20Bです。
Gemma4やQwen3.6のMoEモデルも、
50token/secを超えているので十分に速いです。
こうしてみると、gpt-oss120Bはパラメータ数に対して速度のパフォーマンスがいいですね。ちなみにgpt-ossもMoEアーキテクチャのモデルです。

さらに最近の進化として、MTP(Multi Token Prediction)という技術が注目されています。Googleの発表でも最大3倍速をうたっていましたね。

現状、LM Studioでは、Gemma4のMTPには対応できていないので、
Qwen3.6のMTPを試してみました。

MTP対応モデルの応答速度(AMD Ryzen AI MAX+ 395 128GB)

Qwen3.6 35B A3Bの通常モデル 56.52 token/secと比較して、
MTPを利用すると、67.58token/secなので約20%の速度向上です!
Qwen3.6 35B A3B MTPが最速の座に就きました。

ローカルLLMで運用するOpenClawに採用するモデルは
Qwen3.6 35B A3B MTPを採用することにします!

なお、チャットでの会話品質という意味では、
Gemma4が、OpenClawに合っている気もします。
OpenClawのSOUL.mdやIDENTITY.mdを順守して、
人格(キャラ)を崩さない応答をします。

Qwen3.6はどちらかというと、事務的な短いチャット応答になりがち。
そしてなぜか中国語や韓国語が部分的に混ざることもあります。
qpt-ossに至っては、こちらの人格(キャラ)設定無視の、Chat GPTと話しているような冗長な(考察や結論をまとめたがる)応答です。

ローカルLLMでOpenClawを運用する際には、
PCのファンが全力で唸り続けて熱々になったり、
他のアプリ動作への影響など、考慮すべき点があります。

ローカルPCで動作させる際のローカルLLMは、
Qwen3.6 35B A3Bや、Gemma4 26B A4Bのリソース消費のバランスの良さと、速度向上のMTPを採用することが、現状、最強ではないでしょうか。

Gemma4のMTP DrafterがLM Studioに対応するのが楽しみです。

いいなと思ったら応援しよう!