見出し画像

Qwen3.8 27Bは考えすぎる。reasoningを切ったら21分の処理が137秒で終わった

Hack-Log

ローカルLLMを入れて「遅いな」と思ったとき、原因がモデルの性能ではなく初期設定だった、ということがあります。

Qwen3.8 27Bがまさにそれでした。Simon Willison氏が公開した実測を読むと、同じプロンプトが設定ひとつで21分から137秒になっています。約9倍です。

この記事でわかること。

  • Qwen3.8 27Bのスペックと必要なディスク容量

  • デフォルトのままだと何が起きるのか（実測値つき）

  • 最初に変えるべき設定3つ

Qwen3.8 27Bの基本スペック

まず前提を整理します。

  • パラメータ数: 27B

  • ライセンス: Apache 2.0

  • 最大コンテキスト長: 262,144トークン

  • ダウンロードサイズ: 17GB（Q4_K_M量子化のGGUF）

17GBなので、メモリ24GBのMacでもぎりぎり現実的な範囲に入ります。ライセンスがApache 2.0なのも扱いやすいところです。

Simon Willison氏の検証環境は128GBのM5 Max MacBook Proと、NVIDIA DGX Spark。LM StudioでGGUF版を動かした場合の生成速度は15〜30トークン/秒でした。参考までに、同氏が挙げているAPI側の数値はOpenAI 5.6 Solが74トークン/秒、Lunaが184トークン/秒です。ローカルとしては十分実用域だと思います。

問題は速度ではなく「考えすぎ」だった

ここからが本題です。

Qwen3.8 27Bは推論の深さを `reasoning_effort` で切り替えられます。値は `xhigh` `medium` `low` の3段階。そしてデフォルトが `xhigh` です。

デフォルトのまま「自転車に乗ったペリカンのSVGを描いて」というプロンプトを投げた結果がこちらです。

  • reasoning_effort が xhigh（デフォルト）: 推論トークン22,276個、出力3,223トークン、21分

  • 同じプロンプトでreasoningをオフ: 3,715トークン、137秒

出力の量そのものは大差ありません。差はすべて、答えを出す前に回している思考の量です。単純なお絵かき1枚に2万トークン以上を費やしていた計算になります。

ローカルLLMは電気代以外の課金がないので、つい「無料だから」と気にせず回しがちです。ただ実際に返ってくるまでの体感は、この設定で完全に変わります。「27Bは重い」という感想の何割かは、モデルではなく `xhigh` が原因かもしれません。

最初に変える設定3つ

1. コンテキスト長を262,144に上げる

LM Studioの既定のコンテキスト長は8,192トークンです。Qwen3.8はここを平気で使い切ってしまうため、そのままだと単純な問題ですら詰まります。

モデルをロードする画面でコンテキスト長を最大の262,144に設定してください。これは「増やしたほうがいい」ではなく、上げないと素の性能が出ない、という種類の設定です。

2. reasoning_effort を low にする、あるいは切る

API経由で呼ぶときは `reasoning_effort` に `low` を渡します。翻訳、要約、整形といった思考をあまり必要としない用途なら、reasoning自体をオフにしてしまってかまいません。

逆にコード生成や多段の推論が必要なときだけ `medium` や `xhigh` に上げる、という使い分けが現実的です。デフォルトが一番重い設定になっている、という前提だけ覚えておけば大丈夫です。

3. llama.cppのMTPを有効にする

さらに速度を取りにいくなら、llama.cppのMulti-Token Prediction（MTP）が効きます。同氏の計測では、LM Studioの既定GGUFに対して約72%高速という結果でした。

サーバー起動時のフラグはこの3つです。

--spec-default
--spec-type draft-mtp
--reasoning-preserve

MTPは複数トークンをまとめて予測する仕組みなので、生成が長くなるタスクほど差が出ます。1と2で無駄な思考を削ってから、これで生成そのものを速くする、という順番が素直です。

まとめ

  • Qwen3.8 27BはApache 2.0の27Bモデル。Q4_K_M量子化で17GB、コンテキストは262,144トークン

  • デフォルトの `reasoning_effort: xhigh` は同じプロンプトで21分かかる。オフなら137秒

  • LM Studioは既定コンテキスト8,192では詰まる。最大まで上げる

  • llama.cppのMTP（`--spec-type draft-mtp`）で約72%上乗せできる

ローカルLLMを試して「使えない」と結論を出す前に、設定を3つ見直すだけで印象が変わることがあります。Qwen3.8 27Bはその典型でした。

なお本記事の実測値はSimon Willison氏の検証によるものです。手元の環境で回した数値ではないので、24GB級のMacで試すときはメモリ残量に注意してください。

同じ「ローカルで動かす」でも、モデルが大きくなると前提そのものが崩れます。GLM-5.2を現実に動かそうとして最低223GB必要だった話は、機材を買う前に読んでおくと判断が早くなるはずです。


いいなと思ったら応援しよう！