見出し画像

Qwopus3.6-35B-A3B-Coder（MoE版）を60タスクで検証 — 単発はQ6が88%、5回回せばQ5がpass@k 98%

zephel01

こんにちは、くーるぜろです。

これまでQwopusシリーズは27Bのdense版（標準版・MTP版）を中心に追ってきましたが、今回は35B-A3BのMoE版が来ました。Jackrong/Qwopus3.6-35B-A3B-Coder-MTP-GGUFです。総パラメータ35B・アクティブ約3Bという、ローカルで回すには都合のいいスパースMoE構成になっています。

今回は60タスクのコーディングベンチで、Q4_K_M・Q5_K_M・Q6_Kの3量子化を検証しました。しかも2モードで回しています。**①単発（1回勝負＝pass@1）**と、**②各タスク5回試行（pass@k / k=5）**です。

先に結論です。一発勝負ならQ6_Kが88.3%（53/60）で頭ひとつ抜ける。 一方で5回まで許せばQ5_K_Mがpass@k 98.3%（59/60相当）まで届く、つまり「リトライ前提のエージェント運用ならQ5でほぼ全部いける」という結果でした。そして27B版でおなじみの「Q6だけが電卓（t020）を解く」現象が、このMoE版でも再現しました。

このモデルの素性

このモデルのコンセプトは明快で、「すべてのステップで長い思考を挟むのをやめ、読む→ツールを選ぶ→直す→テストする→次へ、を低トークン・低レイテンシで回す」ことに振り切っています。Codex / OpenHands / Claude Code / OpenCode系のエージェントハーネスにフィットさせる前提の設計です。

公称ベンチでは、thinking-offのQwopus 35BがSWE-bench 300ケースで62.4%、Ornith-1.0 35B（thinking-on）との行動比較では平均82.1 vs 78.9でQwopusがリードしているとHFカードに記載されています。今回は、その素のコーディング力を自前の60タスクで量子化別に確かめにいきます。

GGUFサイズ（HF公称・MTP版）:

検証環境

  • 実行環境: llama.cpp（CUDAビルド、MTP有効）

  • ハードウェア: EVO-X2 + RTX5090 32GB

  • タスク数: 60問（easy 5 / medium 5 / hard 10 / expert 12 / frontier 8 / architect 20）

  • 内容: Pythonのバグ修正・実装タスク（関数〜複数ファイル、決定論的テスト付き）

  • 評価軸: Resolved率（pytest全パス）/ Quality（ruff・cyclomatic complexity）/ Combined（総合）/ usability（🟢自律 / 🟡補助 / 🔴不可）

  • 2モード: ①単発（pass@1）/ ②5回試行（pass@1とpass@k=5を算出、5並列実行）

前回までの40タスクに、architect（複数ファイル・システム設計級）20問を足した60タスク構成です。easy〜frontierの40問は「関数レベルの素直なバグ修正」、後半のarchitect 20問は「設計判断を含む難所」と思ってください。ここの取りこぼし方に、モデルの地力が出ます。

① 単発（pass@1）の量子化別サマリ

一発勝負のチャンピオンはQ6_K。 53/60でResolvedが頭ひとつ抜け、Combinedも80.7と唯一の80点台です。Quality（コード品質スコア）は3量子化とも82〜84でほぼ横並びなので、差はそのまま「通したか落としたか」のResolvedに出ています。

難易度別に分解すると、構図がはっきりします。

easy〜frontierの40問は、どの量子化もほぼ満点（Q6は40問中39問通過）。差がつくのは最後のarchitect 20問だけで、ここがQ4/Q5の11/20に対しQ6は14/20と3問ぶん強い。つまり「Qwopus 35B-A3Bの地力の差は、設計級タスクで初めて表面化する」という読み方になります。

② 5回試行（pass@k）：リトライ前提ならQ5が化ける

エージェント運用では、1回失敗しても自動でリトライするのが普通です。そこで各タスク5回試行し、「5回のうち1回でも通れば成功」とみなすpass@k（k=5）を測りました。

ここで主役が交代します。5回まで許すと、Q5_K_Mがpass@k 98.3%＝60問中59問に到達。 Q6（95.0%）やQ4（93.3%）を上回り、3量子化で最高でした。

なぜ単発トップのQ6ではなくQ5がpass@kで勝つのか。鍵は失敗の「質」です。5-runの失敗内訳を見ると、Q5の取りこぼしの多くが`flaky 1/5 passed`（5回中1回は通る）でした。つまりQ5は「たまに当てる」タスクが多く、試行回数で拾える。一方Q6は安定して通すぶん、ハマって0/5になる難所が残り、pass@kの伸びしろが小さい——という構図です。

実運用の翻訳はこうです。1ショットで質の高い答えがほしいならQ6、自動リトライ込みのエージェントループで完走率を上げたいならQ5。 どちらを選ぶかは「ハーネスがリトライするかどうか」で決めるのが合理的です。

t020（電卓）：またもQ6だけが解いた

このシリーズ恒例の難関、t020（四則演算の優先順位とカッコ処理）。27B版の検証では「MTP版のQ6だけが解いた」のが語り草でしたが、今回のMoE版でも——

単発ではQ6だけが一発で通過。Q4/Q5は落としました。5回試行ではどの量子化も「たまに通る（flaky）」状態で、安定して解けるわけではありません。再帰下降パーサや演算子優先順位は、このモデル系統にとって量子化のビット数が効くデリケートな境界線、という評価がMoE版でも一貫しました。

全量子化で落ちた「地力の壁」

逆に、どの量子化でも・どちらのモードでも通らなかったタスクは、このモデルの素の限界です。単発・5-runを通して全滅に近かったのは次のあたり。

  • t021（expert / 銀行家の丸め）… 半数以上の試行で失敗

  • t043（architect / スナップショット後のリプレイ二重計上）

  • t046（architect / DIのライフタイム管理）

  • t047（architect / 失敗マイグレーションのロールバック）

  • t059（architect / 浮動小数点和の誤差補正）

いずれもexpert〜architect級の、状態管理・数値精度・ライフサイクルがからむタスクです。easy〜frontierをほぼ完璧にこなす一方で、「設計判断と長い不変条件の維持」が要る領域はまだ崩れる——thinking-offで手数を稼ぐ設計の、そのままの裏返しと言えます。

速度：単発は約300 tok/s、5並列だと1ストリーム約80 tok/s

数字を見て「桁が違う」と思われるかもしれませんが、これは妥当です。単発は1ストリームでの実効速度、5-runは5並列実行なので1ストリームあたりのtok/sが下がるだけで、合計スループットはむしろ稼げています。

注目は単発の速度です。アクティブ約3BのMoE＋MTP（投機的デコード）が効いて、35B級でありながら中央値で約300 tok/s。Q4→Q6でも325→296と1割程度の低下に収まっており、「ビット数に依存しない高速化レイヤー」であるMTPの効きが見て取れます。27Bのdense MTP版が~130 tok/s前後だったことを思えば、3B-active MoEの速度メリットは明確です。ローカルでエージェントループを回す用途には、この一発の速さがそのまま体感に効きます。

usability：不可は最小7／60

「実際どれくらいレビューなしで任せられるか」のusability判定（単発）はこうでした。

Q6_Kが自律40/60・不可7/60で最良。不可率12%は、architectタスクをこれだけ含む60問構成にしては健闘しています。Q4/Q5は不可が11〜12と、ほぼ電卓・銀行家の丸め・設計級の常連で占められています。

まとめ：用途で量子化を選ぶ

  • Q6_K：単発Resolved 88.3%、Combined 80.7、自律67%。一発の質ならこれ一択。VRAM 29GBが許せば筆頭

  • Q5_K_M：pass@k 98.3%（59/60）。リトライ前提のエージェント運用での完走率No.1。サイズ25GBで現実的な常用枠

  • Q4_K_M：単発80%、pass@k 93.3%。21.7GBの軽さは魅力だが、電卓・設計級の取りこぼしはやや多め

ひと言で言えば、「ワンショットで質を取るならQ6、自動リトライ込みで完走率を取るならQ5」。そして35B-A3B＋MTPの組み合わせは、単発で約300 tok/sという速度が大きな武器です。easy〜frontierの40問はもう実用域、勝負どころはarchitectの設計級タスク——という地図が、今回の60タスクではっきり見えました。

電卓（t020）がQ6でだけ通る現象が、dense 27Bに続きMoE 35B-A3Bでも再現したのは個人的な収穫でした。「最高ビットが常に正解ではないが、Q6あたりに精度の頂点が来る」というQwopusシリーズの傾向は、アーキテクチャをまたいでも一貫しているようです。

検証で生成したコード・テスト結果（LLM生出力・生成コード・pytest出力）はアーカイブ済みです。「特定タスクの詳細が見たい」「自分の環境でも試したい」はコメントへどうぞ。

関連記事（同マガジン）

  • Qwopus3.6-27B-Coder MTP版/標準版の40タスク検証

  • Qwable-3.6シリーズ / Qwable-v2

  • Ornith-1.0 9B/35B 検証

モデル情報

#ローカルLLM #Qwopus #Qwen #MoE #コーディングモデル #量子化 #llamacpp #ベンチマーク #GGUF #35B #MTP

いいなと思ったら応援しよう！

zephel01 サーバー代とコーヒー代になります☕ 役に立ったら応援よろしくお願いします！