Qwable-3.6を使うならどのモデルを選ぶか：全量子化ベンチまとめ[RTX5090]

こんにちは、くーるぜろです。

Qwable-3.6シリーズを3モデル・8量子化で回しきったので、「結局どれを選べばいいのか」をまとめます。個別記事を読んだ人も読んでいない人も、これ一本で選択できるようにしました。

Qwable-3.6シリーズとは

Qwable = Qwen + Fable。Mia-AiLabが作ったシリーズで、QwenベースモデルにFable 5スタイルの推論・インストラクションデータでフルファインチューン（LoRAなし）したモデル群です。現在3種類が公開されています。

全量子化の結果一覧

EVO-X2 + RTX5090 32GB / llama.cpp（CUDAビルド）/ 40タスクベンチ

読み取れる4つの法則

① 精度は27b > 35b
35B MoEの方がパラメータ数が多いのに、27B denseに精度で負けています。27b-MTP Q5がResolvedで95%、35b Q6が90%。Fable 5のファインチューンがdenseモデルに乗った方が効いたようです。

② 速度は35b MoE > 27b
35b Q4が250 tok/sに対して27b-MTP Q5が141 tok/s。MoEは「使う重みが一部だけ」なので、27Bより速いという逆転が起きています。27b標準版Q4はMTPなしで74 tok/sまで落ちます。

③ MTPが速度を2倍にする
27b標準版Q4（74 tok/s）vs 27b-MTP Q4（146 tok/s）。同じモデルサイズ・同じ量子化でMTPの有無だけで2倍の差が出ています。投機的デコードが機能しています。

④ Q6は必ずしもQ5より良くない
27b-MTP Q6（87.5%）がQ5（95%）より低い。35b Q6は正常に高いので、MoEとdenseの挙動の違いか、Q6特有の重み丸め誤差が特定のタスクに干渉した可能性があります。量子化を上げれば必ず精度が上がるとは思わない方が良い。

シナリオ別おすすめ

「とにかく精度が欲しい」→ 27b-MTP Q5
Resolved 95%、不可タスク5%（2/40）、Combined 87.3。今回検証した全量子化の中で最高精度。速度も141 tok/sと実用的。VRAM 18.2GBなので24GB以上のGPUがあれば動く。第1推奨: 27b-MTP Q5_K_M

「速度を最大化したい」→ 35b Q6
230 tok/sで精度もResolvedベースで90%。27b-MTP Q5の精度には届かないが、スループット重視の用途（大量タスクの並列処理、応答速度が重要なインタラクティブ用途）なら35b Q6が現実的な選択。VRAMは29GB必要。

「VRAMを節約したい（24GB以下）」→ 27b-MTP Q5 または 27b標準Q4
18GB前後なら27b-MTP Q5（95%精度、141 tok/s）がちょうど収まる。16GB前後なら27b標準Q4（15.4GB）で92.5%精度を確保できる。ただし74 tok/sと遅いのでバッチ処理・非同期タスク向け。

「総合コストパフォーマンス」→ 27b-MTP Q5
Combined 87.3で最高、かつ141 tok/sと十分速い。35b Q6はCombined 83.2で4ポイント低く、29GBの重さを正当化しにくい。

VRAMとモデルの関係まとめ

Qwableシリーズ全体の弱点

3モデル・8量子化を通して共通して落としたタスクがあります。

• t020（電卓・演算子優先順位）: 全8量子化で失敗。Qwableが最も苦手なタスクタイプ。

• t027（コイン枚数最適化）: 全量子化で補助判定。テストは通るが品質スコアが低い。

• t034（イベントバス）: 27b-MTP Q5のみ成功、他は全滅。非同期・競合状態タスクが苦手。

これらはQwable以外のモデルと組み合わせるか、プロンプトで補助指示を入れた方が良い種類のタスクです。

選択フロー

VRAM 16GB以下 → 27b標準Q4（低速でも92.5%精度）
VRAM 20GB前後 → 27b-MTP Q5（精度・速度・サイズの最良バランス）
速度最大化（VRAM 30GB前後）→ 35b Q6（230 tok/s・精度90%）
最高精度優先（VRAM 28GB）→ 27b-MTP Q8（95%精度・119 tok/s）※Q5と精度同じなのでQ5で良い場合がほとんど

最終まとめ

ほとんどの用途で 27b-MTP Q5 が正解です。Resolved 95%・VRAM 18GB・141 tok/sという数字が、精度・サイズ・速度の3軸で最もバランスが取れているからです。

35b MoEは「27Bより大きいから強い」ではなく「MoEだから速い」という特性を持っています。精度では27bに負けており、VRAMも多く必要。速度が必要な場面以外で35bを選ぶ積極的な理由は見つかりませんでした。

MTPの有無については「Q5以上で使うならMTP版一択」です。速度が2倍近く違い、精度もQ5以上では標準版Q4に引けを取りません。

関連記事（個別ベンチ）
・Qwable-3.6-35b 検証記事 → https://note.com/zephel01/n/n93a958cfb42e
・Qwable-3.6-27b / 27b-MTP 検証記事 → https://note.com/zephel01/n/nda82899fda18

モデルリンク
・Mia-AiLab/Qwable-3.6-35b → https://huggingface.co/Mia-AiLab/Qwable-3.6-35b
・Mia-AiLab/Qwable-3.6-27b → https://huggingface.co/Mia-AiLab/Qwable-3.6-27b
・Mia-AiLab/Qwable-3.6-27b-MTP → https://huggingface.co/Mia-AiLab/Qwable-3.6-27b-MTP

ベンチマーク
https://github.com/zephel01/swe-bench

#ローカルLLM #Qwen #Fable5 #量子化 #MTP #MoE #llamacpp #ベンチマーク #GGUF #選択ガイド #RTX5090