見出し画像

Qwen × Fable の27B密集モデル「Qwable-3.6-27b」を40タスクで検証した（MTP比較あり）[RTX5090]

zephel01

こんにちは、くーるぜろです。

Mia-AiLabが同時期にリリースした27Bモデルが2種類あります。MTPなし（標準版）とMTPあり版です。同じベース・同じ学習データで、MTPレイヤーの有無だけが違う。「MTPは精度と速度にどう影響するのか」を手元で確かめたくなったので、MTP版をQ4/Q5/Q6/Q8の4量子化、標準版をQ4で回してみました。

前回の35B MoEに続いてQwableシリーズ第2弾。アーキテクチャが27B**密集（dense）**に変わるので、速度と精度の出方がかなり変わります。

このモデルの素性

Qwable-3.6-27b-MTP（MTP有効版）

Qwable-3.6-27b（標準版・MTPなし）

Qwen3.6-27Bは密集（dense）モデルです。 前回の35B MoEと違い、すべての27Bパラメータが推論で使われます。

GGUFサイズ（実測値）:

MTP版は標準版より若干大きい（MTPレイヤー分）。

検証環境

  • 実行環境: llama.cpp（CUDAビルド）

  • ハードウェア: EVO-X2 + RTX5090 32GB

  • タスク数: 40問（easy 5 / medium 5 / hard 10 / expert 12 / frontier 8）

  • 内容: Pythonのバグ修正・実装タスク（関数レベル、決定論的テスト付き）

  • 評価軸:

    • Resolved率（pytestが全パスしたか）

    • Quality（コード品質: ruff・cyclomatic complexity）

    • Combined（上記の総合スコア）

    • usability（🟢自律 / 🟡補助 / 🔴不可）

結果サマリ

結論: MTP版Q5が速度・精度のベストバランス。標準版Q4は高精度だが低速。

MTPが速い理由：投機的デコードの効果

最も目立つ数字がこれです。

同じ量子化なのに2倍の速度差。 MTPレイヤーを持つモデルは、llama.cppの投機的デコード（speculative decoding）機能を利用できます。MTPヘッドが次のトークンを先読みして予測し、メインモデルが検証・採択することで実効スループットが上がります。

標準版はこの先読み機能がないため、純粋な27B denseの逐次生成速度（~74 tok/s）が上限になります。

この速度差は他の量子化比較にも反映されています。MTP版Q8でも119 tok/sあり、標準版Q4（74 tok/s）より60%速い。

精度の逆転：標準版Q4 > MTP版Q4

速度はMTP版が優れていますが、精度では逆転が起きています。

標準版Q4がResolvedで7.5%、Combinedで7.0ポイント上回っています。投機的デコードによる高速化はスループット向上と引き換えに、一部のタスクで精度コストを払っている形です。

MTP版でQ5まで上げると95%まで回復するので、「精度を保ちつつ速度を活かすならMTP版Q5」 が最良の選択です。

MTP版Q6の謎の失速：量子化が上がると精度も上がるとは限らない

MTP版の中で奇妙な結果が出ています。

Q6がQ5より7.5%低い。具体的に何が起きたか:

t022（区間マージ）: Q5は補助レベルで解決。Q6はタイムアウト後に空出力でパース失敗。

t025（CSV詳細パース）: Q5は品質72で補助通過。Q6は空出力でパース失敗。

t034（イベントバス）: Q5は自律通過。Q6は空出力でパース失敗。

この3タスクがMTP版Q6だけで落ちています。量子化ビット数と精度は単調増加しない という実例で、Q6固有の重み丸め方式が特定の長文出力パターンに悪影響を与えた可能性があります。

usability（実際どれくらい任せられるか）

MTP版Q5とQ8が「不可」5%（2タスク）で最良。標準版Q4は不可8%（3タスク）で、速度は劣るが精度はMTP版Q4（15%）より安定しています。

全量子化で共通して失敗したタスク

t020：電卓（四則演算の優先順位とカッコ処理）

5量子化すべてで失敗。前回の35B版でも落としており、Qwableシリーズ全体の弱点です。

t027（コイン枚数最適化）: 全量子化で補助判定（品質24〜32）。テストは通るが実装品質が低い傾向。

t034（イベントバスのdispatch中unsubscribe）: MTP版ではQ5のみ成功、他は失敗。標準版も失敗。35B版と同じパターンで、Qwable全体の苦手タスクです。

27B密集 vs 35B MoEどちらが強いか

前回の35B MoEとの比較:

精度は27Bが35Bを上回っています。速度は35B MoEが圧倒的に速い（230 vs 141 tok/s）。

ただし今回は標準版Q4という比較対象もあります。

「精度重視」→ MTP版Q5
「速度重視」→ 35B MoE Q6
「VRAMが少ない・低速でも精度を求める」→ 標準版Q4

まとめ

  • MTP版Q4：不可15%と不安定。ただし146 tok/sと最速

  • MTP版Q5：Resolved 95%、不可5%、141 tok/s。最良の選択

  • MTP版Q6：Q5より精度が落ちる（不可12%）。量子化と精度の非線形な関係の実例

  • MTP版Q8：Q5と同精度だが速度-18%。メリットが薄い

  • 標準版Q4：Resolved 92.5%とMTP版Q4を7.5%上回る。ただし速度が半分（74 tok/s）

MTPの最大の効果は速度です。標準版に比べて2倍近い tok/sが出ており、投機的デコードが機能していると考えられます。ただしMTP版Q4は精度で標準版に負けており、精度を確保するにはQ5以上に上げる必要があります。Q5以上であれば「速度はMTP恩恵、精度は十分」という両立ができています。

検証で生成したコード・テスト結果はアーカイブ済みです。「特定タスクの詳細が見たい」「自分の環境でも試したい」はコメントへどうぞ。

モデル情報

#ローカルLLM #Qwen #Fable5 #量子化 #MTP #llamacpp #ベンチマーク #GGUF #27B

いいなと思ったら応援しよう！

zephel01 サーバー代とコーヒー代になります☕ 役に立ったら応援よろしくお願いします！