見出し画像

Qwopus3.6-27B-Coder（標準版）を「速度」と「評価」で分けて測った — 40タスクで速さ、60タスク×5で実力、そして同名モデルとの比較

zephel01

こんにちは、くーるぜろです。

ローカルのコーディングモデルを検証していると、「速度」と「精度」を同じ条件で測ると、どちらかが歪むことに気づきます。とくに設計レベルの重いタスク（architect帯）は出力が長く、tok/sの中央値を引き下げてしまう。そこで今回は役割を分けました。

  • 速度は40タスク版で測る（関数レベル中心で出力が短く、素の生成速度が出る）

  • 実力は60タスク×5回版で測る（architect帯20問を足し、pass@kで再現性まで見る）

対象は、Qwopus3.6-27B-CoderのMTPなし標準版（Jackrong/Qwopus3.6-27B-Coder-GGUF）。Q4_K_M・Q5_K_M・Q6_K・Q8_0の4量子化です。

先に結論を言います。実用域のベストバイはQ5_K_M。 速度は中庸（~67 tok/s）ながら、60タスク評価でResolved 91.7%・pass@k 98.3%（全量子化トップ）・architect 17/20。「投げ直せばほぼ何でも通る安定感」がQ5にありました。

このモデルの素性

Trace Inversionは、Claudeなど商用モデルの「圧縮された推論サマリ」を専用の再構成器でフルCoTに逆算して学習データにする手法です。Claude Opus 4.6/4.7の推論軌跡とエージェント軌跡でコーダー特化SFTをかけています。

検証環境

  • 実行環境: llama.cpp（CUDAビルド）

  • ハードウェア: EVO-X2 + RTX5090 32GB

  • 速度測定: 40タスク版（easy 5 / medium 5 / hard 10 / expert 12 / frontier 8）、各1回

  • 実力測定: 60タスク版（上記＋architect 20）、各タスク5回（pass@k・成功率）

  • 評価軸: Resolved率 / 成功率(5回平均) / pass@k / Quality / Combined / usability（🟢自律 / 🟡補助 / 🔴不可）

① 速度（40タスク版で測定）

dense 27Bを量子化で素直に走らせた速度です。Q4→Q8でtok/sは約33%低下。MTPのような投機的デコードがないぶん、ビット数がそのまま読み出しコストに効いています。

tok/sはQ4が最速ですが、総時間ではQ5が最短（394秒）。Q4は失敗タスクのやり直しや長い出力で時間を食っており、実務の体感ではQ5が最もテンポよく回りました。

② 実力（60タスク×5回で測定）

architect帯（リポジトリ/設計レベル20問）を足し、各タスクを5回実行した「本番」評価です。

Q5とQ6がResolved 91.7%で同点。決め手はpass@k。 Q5は98.3%（5回投げればほぼ全部どこかで通る）、Q6は93.3%。Q6は「落ちるタスクが決定論的でリトライが効きにくい」のに対し、Q5は失敗がばらけてエージェントの再試行で拾えます。ローカルでループを回す前提なら、ここがそのまま実用差になります。

40タスク版（前段）では上位が97.5%で並びほぼ差が出ませんでしたが、architect帯と5回実行でQ5_K_Mが頭ひとつ抜けました。

architect帯（20問）が分水嶺

非architectの40問はどの量子化もほぼ取り切り。差はすべてここで付きました。なお全量子化が揃って落としたarchitectタスクが3つあります — t046（DIライフタイム）・t047（マイグレーション失敗時のロールバック）・t059（浮動小数点合計のドリフト）。これが27B標準版の現状の天井です。

usability

自律の純度ならQ6（63%）、不可の少なさと再現性ならQ5。小差です。

③ 同名モデルとのベンチ比較

「Qwopus3.6-27B-Coder」には、今回の標準版のほかにMTP版（投機的デコード対応）があります。同じ40タスクで測った両者を並べます。

※この比較は40タスク版（速度測定と同条件）。

速度はMTPでおよそ1.9倍。 投機的デコード（draft=2）の効果です。一方で精度の天井もMTP版が上で、MTP版Q6は40タスクで唯一の満点（40/40）を達成し、このシリーズ最大の難関「電卓（t020）」も唯一突破しています。標準版はどの量子化もt020を解けません。

整理すると：

  • 速度と精度の天井がほしい → MTP版（Q6で40/40、~129 tok/s）

  • 入手性・量子化の安定性・再現性（pass@k）重視 → 標準版のQ5_K_M

公称のSWE-bench Verified 67.0%（thinking-off、Q5）も、今回の手元60タスク評価（Q5でResolved 91.7%／関数レベル中心）と方向性は一致しています。

量子化ごとの失敗タスク（60タスク版）

Q8_0は最高ビットなのに失敗6問でQ5/Q6より多い（t057を追加で落とす）。「量子化を上げれば精度も上がる」は今回も不成立で、中位（Q5/Q6）が最良という今シリーズおなじみのパターンです。

まとめ

  • 速度（40タスク）：Q4が最速（~75 tok/s）、総時間はQ5が最短。標準版はMTP版の約半分の速度

  • 実力（60タスク×5）：Q5_K_Mがチャンピオン。Resolved 91.7%・pass@k 98.3%（最高）・architect 17/20

  • 同名比較：速度と精度の天井はMTP版（Q6で40/40・t020突破）、安定性・再現性は標準版Q5

  • 共通の宿題：電卓t020と、設計レベルのt046/t047/t059

「速さだけ」ならQ4やMTP版、「実務で安定して任せる」なら標準版Q5_K_M。速度と実力を別々の物差しで測ると、Q5が実用バランスの中心にいることがはっきりしました。

検証で生成したコード・テスト結果はアーカイブ済みです。「特定タスクの詳細が見たい」「自分の環境でも試したい」はコメントへどうぞ。

関連記事

モデル情報

#ローカルLLM #Qwopus #Qwen #コーディングモデル #量子化 #llamacpp #ベンチマーク

いいなと思ったら応援しよう！

zephel01 サーバー代とコーヒー代になります☕ 役に立ったら応援よろしくお願いします！