見出し画像

前回20タスクの続き — Qwopus3.6-27B-Coder-MTPを40タスクに拡張したら、Q6が40/40で全問通過した[RTX5090]

zephel01

こんにちは、くーるぜろです。

前回の記事（20タスクベンチ）でQwopus3.6-27B-Coder-MTPをQ4/Q5/Q6/Q8の4量子化で検証したところ、Q5だけが電卓タスク（t020）を通して20/20満点、他は19/20という結果でした。

今回は同じモデルを、expert（12問）とfrontier（8問）を加えた40タスク版で再評価しました。前回からタスク数が2倍になって何が変わったか、報告します。

先に結論を言います。Q6_Kが40/40で100%を達成しました。 このシリーズでは過去にQwable全8量子化が誰も解けなかった電卓タスクを、Q6だけが初めてクリアしています。

このモデルの素性

Jackrong/Qwopus3.6-27B-Coder-MTP-GGUF

Trace Inversionとは、ClaudeやGPTのような商用モデルが出力する「圧縮された推論サマリ」を、専用の再構成器（Trace-Inverter-4B）でフルのCoTに逆算して学習データにする手法です。「コーダー特化でエージェント動作を内面化させる」設計で、前回のQwable（汎用推論寄りのFable5ファインチューン）とは方向性が異なります。

検証環境

  • 実行環境: llama.cpp（CUDAビルド）

  • ハードウェア: EVO-X2 + RTX5090 32GB

  • タスク数: 40問（easy 5 / medium 5 / hard 10 / expert 12 / frontier 8）

  • 内容: Pythonのバグ修正・実装タスク（関数レベル、決定論的テスト付き）

  • 評価軸: Resolved率 / Quality / Combined / usability（🟢自律 / 🟡補助 / 🔴不可）

  • 前回比: 前回はt001〜t020の20タスクのみ。今回はexpert帯・frontier帯を追加した完全版

結果サマリ

Q6が40タスク全問解決という結果を出しました。

Combined 92.2も突出しています。Quality（コード品質スコア）は4量子化でほぼ横並び（84〜85）なので、Resolvedの差がそのままCombinedに反映されています。

Q6の100%は何を意味するか

このベンチで40/40が出たのは今回が初めてです。比較として：

同じQwen3.6-27Bベースでも、Qwable（Fable5ファインチューン）の最良が95%だったのに対し、Qwopus（Trace Inversion + コーダー特化SFT）は100%。ファインチューンの方向性でここまで差がつくという実例です。

t020（電卓）：全モデルの壁を初めて越えた

前回記事でも触れた**t020（四則演算の優先順位とカッコ処理）**は、このシリーズ全体の難関タスクです。Qwable系3モデル・8量子化がすべて失敗しており、「Qwableが最も苦手なタスクタイプ」として定着していました。

今回の結果：

Q6だけが解いています。 補助判定（コード品質スコア66で低め）ではありますが、pytestが通ったのは初めてです。

前回の20タスク評価ではQ5が満点だったことを踏まえると、Q5は「軽いバリエーション」なら解けるが、40タスク版のより厳密な実装要件では落ちる、という解釈ができます。Q6が通った理由は生成されたコードを確認しないとわかりませんが、再帰下降パーサの実装精度が量子化の微妙なビット差に依存している可能性があります。

Q4 > Q5という精度の逆転

量子化を上げれば精度も上がる、は今回も成立しませんでした。

Q4とQ5の差は、Q5が追加で落としたt034（イベントバス）によるものです。Q5の失敗はパース失敗（空出力）であり、「回答を生成できなかった」という扱いになります。同じQ4では自律通過しており、Q5固有の量子化誤差が長文出力の途中で破綻を引き起こした可能性があります。

このパターンはQwable-27b-MTPのQ6でも観察されており（Q6がQ5より低かった）、dense 27Bモデルの特定量子化レベルで出力安定性が落ちやすい傾向として見えています。

t034の非線形パターン

t034（イベントバス：dispatch中のunsubscribe処理）は今回も面白い挙動を見せました。

Q4とQ6が通ってQ5とQ8が落ちる、という非線形パターンです。Q4→Q5→Q6→Q8の順に精度が単調増加しない典型例で、競合状態を扱うタスクは量子化ビット数との相関が特に読みにくい種類のようです。

Qwableシリーズでも全量子化でt034が苦手でしたが、QwopusはQ4とQ6で解けており、コーダー特化ファインチューンの効果が出ていると見ています。

usability：Q6で不可ゼロ

Q6は不可判定ゼロ。 40タスクすべてで何らかの成果物を出し、pytestを通しています。t020のQ6通過が補助判定（Quality 66）だったこともあり、全問「なんとか解いた」という状態です。

Q4はQ6と同じ自律75%ですが、不可が2タスクあります。Q5は自律が最低（68%）で不可も最多（8%）という、今回最も安定しない量子化でした。

速度：MTPの恩恵を4量子化で確認

Q4→Q8で~18%の速度低下。27B denseにMTPが乗った状態での速度で、同じQ5でQwable-27b-MTP（~141 tok/s）と同等です。同じMTP付きQwen3.6-27BベースなのでMTPの実効速度も近い水準に揃っています。

前回20タスクとの比較

20タスク時代に「Q5_K_Mが唯一t020を解いた」という結果が、40タスク版では逆転してQ6がt020を解き、Q5が失敗という形になりました。前回と今回で評価フレームワーク（プロンプト形式・タスク仕様の厳密さ）が異なるため、t020の扱いが変わった可能性があります。

40タスク全体を通した結論として、今回のチャンピオンはQ6です。前回はQ5が最良でしたが、expert/frontier帯を含む難問セットで差がつきました。

まとめ

  • Q6_K：Resolved 100%、Combined 92.2、不可0%。 このシリーズ初の完全制覇

  • Q4_K_M：Resolved 95%（38/40）、141 tok/sと最速。Q5より高精度という逆転あり

  • Q5_K_M：今回はQ4より低い92.5%。t034での空出力がマイナス

  • Q8_0：Resolved 95%（38/40）。Q4と同精度だが速度-18%

t020（電卓）がQ6で初めて解けたことは、コーダー特化ファインチューンの成果として評価しています。Qwableシリーズが8量子化全滅だったタスクを、同じQwen3.6-27BベースでもTrace Inversion + コーディング軌跡SFTを経由したQwopusのQ6が突破しています。

速度・精度・VRAMのバランスで選ぶなら、Q6_K（~129 tok/s、Resolved 100%）が今回の明確な最良量子化です。

検証で生成したコード・テスト結果はアーカイブ済みです。「特定タスクの詳細が見たい」「自分の環境でも試したい」はコメントへどうぞ。

関連記事

モデル情報

#ローカルLLM #Qwopus #Qwen #コーディングモデル #量子化 #MTP #llamacpp #ベンチマーク #GGUF #27B

いいなと思ったら応援しよう！

zephel01 サーバー代とコーヒー代になります☕ 役に立ったら応援よろしくお願いします！