見出し画像

【2026年6月版】ローカルLLMコーディングベンチ総まとめ — 9B〜35B-A3Bを同一40タスクで並べてランキングした

zephel01

こんにちは、くーるぜろです。

この6月、手元のEVO-X2 + RTX5090 32GBで、ローカルで動くコーディングモデルを片っ端からベンチに通しました。9Bから35B-A3Bまで、量子化違いも含めると数えきれない本数です。1本ずつは個別記事にしてきましたが、「結局いまどれを入れればいいのか」を一望できる総まとめが欲しくなったので、ここで一気に整理します。

この記事は3部構成です。

  1. パラメータ別ランキング（9B / 12B / 27B / 35B / 35B-A3B）

  2. サイズ帯ごとの深掘り（なぜそのモデルが強い/弱いのか）

  3. メモリ（VRAM）別おすすめ（あなたのGPUなら結局これ）

最後に、コーディング非特化だけど話題性のある2モデル（3BのVibeThinker、ワールドモデルのAgentWorld）を番外コラムで触れます。

先に全体の結論を1行で言うと——総合チャンピオンは Qwopus3.6-27B-Coder-MTP（Q6で40問満点）。速さと強さの両取りなら Ornith-1.0-35B（MoE）。VRAM 8GBの入口は Ornith-1.0-9B。 ここを起点に読んでください。

検証条件（全モデル共通）

全部同じタスク・同じ環境なので、モデル間・サイズ間の比較がそのまま成立します。なお `tok/s` は読み方に注意が必要で、後述しますが「MTPやMoEは構造的に速い数字が出る」点を頭に入れておいてください。

使ったベンチマークについて（自作・MITで公開しています）

この記事の数字はすべて、自作のベンチマークフレームワーク llmbench で測っています。SWE-Bench風に「機能的正確性 × コード品質」を複合評価する仕組みで、MITライセンスでGitHubに公開しています。

👉 zephel01/swe-bench（GitHub）

普通の「テストが通ったか（Resolved）」だけでなく、次の軸を組み合わせているのが特徴です。

  • 機能的正確性: バグレポート＋ソースをLLMに渡し、patch適用 → 隠しテスト（pytest）でresolved判定。テストはLLMに非公開。

  • コード品質: Ruff（lint密度）/ radon（保守性指数・循環的複雑度）/ 別LLMによるレビュー採点を重み付き合成。

  • 信頼性（pass@k）: `--runs N` で各タスクをN回試行し、成功率（pass@1）とpass@kを計測。「1回成功＝使える」ではなく安定して使えるかを見ます。

  • usability判定: 信頼性×品質から各タスクを🟢自律 / 🟡補助 / 🔴不可に分類。

  • 使えるライン認証（certify）: 難易度をtier（L1〜L6）にマップし、L4（expert）独立合格＝監督付き実務投入ラインとして判定。

Combinedスコアは `success_rate ×（0.5 + 0.5 × quality/100）× 100` で算出。動かないコードは品質に関わらず0点、毎回動いて品質も完璧で100点、という設計です。llama.cpp / LM Studio / vLLM（OpenAI互換）とOllamaの両対応で、`model: auto` にすればggufを差し替えるだけで実モデル名を自動ラベルしてくれます。タスクは外部依存なし（stdlib-only）なので、cloneすればそのまま再現できます。

40問で天井が見えたので、60問（L6 architect）を足しました

当初の同梱タスクは40問でした。L1 easy 5 / L2 medium 5 / L3 hard 10 / L4 expert 12 / L5 frontier 8 という構成です。ところが今月の検証で、上位モデルが軒並みここに張り付きました——Qwopus-MTP Q6が40/40満点、Ornith-35Bが39/40。**40問では上位陣の差がほとんど出ない「天井効果」**がはっきり見えたわけです。

そこで、リポジトリ/設計レベルの L6 architect帯 20問（t041〜t060） を追加しました。`--with-l6` を付けると計60問になります。architect帯は複数ファイル・回帰罠・性能制約（perf_timeout）を含み、issueは症状ベースで原因診断を要求する重いタスクです。

この60問版が効果てきめんで、40問では2.5pt差だったQwable-v2のQ4/Q5が、architect帯を入れた途端にQ4壊滅（4/20）・Q5持ち直し（12/20）と実力差が露呈しました。dense 27Bとの差（Qwopus標準Q5は17/20）もここで明確に出ます。

今後の方針として、上位モデルの検証は60問版（＋pass@kの複数回試行）を基本にしていきます。 40問は「速度測定（出力が短く素の生成速度が出る）」、60問は「実力測定（設計レベル＋再現性）」という役割分担です。

まず全体ランキング（最良量子化・40タスク基準）

各モデルのベスト量子化で並べた一覧です。これが今月の総決算。

読みどころは3つ。

第一に、27B denseが精度の天井を握っています。Qwopus-MTPのQ6は40問満点、これは今月唯一の100%。サイズを上げれば勝てるわけではなく、何を蒸留・学習したかが効いています。

第二に、**35B MoE（Ornith）が「大きいのに速い」**という気持ちのいい結果を出しました。259 tok/sは精度97.5%帯では最速クラス。MoEで実際に動く重みが一部だけなので、9B denseより速いという逆転すら起きています。

第三に、9Bでも90%に届く時代になりました。Ornith-1.0-9Bは36/40。1年前なら考えられない密度です。

パラメータ別ランキングと深掘り

9Bクラス：Ornith-1.0-9Bが頭ひとつ抜けた

1位はOrnith-1.0-9B（DeepReinforce AI、Dense）。Q6で90.0%、コスパ重視ならQ4で87.5%・200 tok/s・VRAM 5.6GBと、ゲーミングGPU1枚で気軽に動く入口モデルです。自己改善型RL（解だけでなく探索の「足場」ごと学習する）が9Bでも効いており、同じQwen3.5系9BのQwythosを5ポイント上回りました。

Qwythos-9B（Empero AI）は1Mコンテキスト・ビジョン対応・MTP対応という盛り込み仕様が魅力。精度はOrnithに譲りますが、MTP版Q8で85.0%/253 tok/sと速度は出ます。長文や画像を扱いたいならこちら。

9Bクラスは「電卓の演算子優先順位（t020）」「バンカーズ丸め（t021）」が依然として鬼門で、ここはサイズを上げないと安定して解けません。

12Bクラス：gemma-4-12B-coderの安定感

HuggingFace週間DL14万の人気モデル。Fable 5 × Composer 2.5の二段蒸留（パスしたCoTだけ採用する品質ゲート付き）で、12Bながら92.5%を出します。VRAM 9GBちょうど収まるならまず試す価値あり。Q4は不可タスク15%とやや不安定なので、9GB積めるならQ6が定位置です。

速度は111 tok/sと派手さはないですが、密集12Bとしては妥当。精度の安定感でこのサイズ帯の基準になります。

27Bクラス（dense）：今月の主役。精度の天井はここ

27B denseが今月の精度王です。

Qwopus3.6-27B-Coder-MTP（Jackrong）は、Trace Inversion（商用モデルの圧縮された推論サマリをフルCoTに逆算して学習）+ エージェント軌跡SFTという作り。**Q6で40問満点（100%）**を達成し、Qwableシリーズ全滅の難関だった電卓タスク（t020）を唯一突破しました。同じQwen3.6-27Bベースでも、Fable5蒸留のQwable（最良95%）と方向性の違いでここまで差がつくのが面白いところ。

ただし重要な注意。60タスク版（architect帯20問追加）×5回の「本番」評価では、入手性と再現性で標準版のQ5_K_Mが光ります。Resolved 91.7%・pass@k 98.3%（全量子化トップ）・architect 17/20。「5回投げ直せばほぼ何でも通る安定感」がQ5にありました。整理すると：

  • 速度と精度の天井がほしい → MTP版 Q6（40/40、~129 tok/s）

  • 実務で安定して任せたい（再現性） → 標準版 Q5_K_M（pass@k 98.3%、architect 17/20）

Qwableシリーズ（Mia-AiLab、Fable5フルFT）は27b-MTP Q5が95.0%・141 tok/sでバランス良好。MTPなし標準版Q4は92.5%だが74 tok/sと遅く、VRAM 15.4GBに収めたい人向けです。

35Bクラス（MoE）：Ornith-35Bが「速くて強い」

Ornith-1.0-35B（MoE）が今月いちばん分かりやすい「上位互換」でした。Q5で97.5%（40問中1問しか落とさない）、しかも259 tok/s。MoEで実効サイズが小さいため、同ファミリーの9B（Dense）より速いという逆転が起きています。VRAM 25GB積めるなら、9Bを選ぶ理由が薄くなるレベル。満点のQwopus-27Bには一歩譲りますが、この精度帯で最速クラスというのが強烈です。

Qwable-3.6-35b（Fable5版）も230 tok/sとMoEらしく速いですが、精度は90.0%止まり。Fable5フルFTが汎用推論寄りで、コーディング特化のOrnithに精度で差をつけられました。「35B MoEなら今はOrnith」が結論です。

35B-A3Bクラス（活性化3B MoE）：速いが「設計レベル」で崩れる

ここは注意が要るクラスです。Qwable-v2（lordx64、Claude Opus 4.7推論蒸留、活性化約3B）は、40タスク（関数レベル）では92.5%・252 tok/sと爆速で優秀。旧Fable5版Qwableを同量子化でQ4 +7.5pt / Q5 +5.0pt上回り、「何を蒸留したか」が効いた世代交代を見せました。

ところが60タスク版（architect帯=設計レベル20問追加）を入れた途端に崩れます。 Q5で総合81.7%・architect 12/20。Q4にいたってはarchitect 4/20・不可30%で実務非推奨です。活性化3Bという小さな実効サイズが、複数ファイル・複数制約をまたぐ整合性タスクで限界を見せました。

同じ60タスクで回したdense 27B（Qwopus標準Q5）はarchitect 17/20・総合91.7%。速さはQwable-v2が約3.8倍だが、設計レベルの解決力はdense 27Bが勝つ——MoE活性化サイズの小ささが正直に出た形です。

使うならQ5_K_M一択、Q4は避ける。 用途は「高速な関数レベルのバグ修正・実装」に絞るのが現実的です。

tok/sの読み方（重要な注意）

ランキングの速度列を額面どおり受け取ると誤解します。3つの構造的バイアスがあります。

① MTPは投機的デコードで速く出る。 MTPヘッドが先読み予測し、メインモデルが検証採択することで実効スループットが上がります。同じ27B・同じ量子化でも、Qwable-27b標準版Q4が74 tok/sに対し、MTP版Q4は146 tok/sと約2倍。

② MoE（特にA3B）は実効サイズが小さいので速い。 35BでもOrnithは259 tok/s、Qwable-v2(A3B)は252 tok/s。これは「35Bの実力で速い」のではなく「実際に動く重みが一部だから速い」だけ。設計レベルの解決力は実効サイズなりに落ちます。

③ dense標準版は素直に遅い。 Qwopus27B標準版はQ5で~67 tok/s。MTP版（~129）の約半分。これが27B denseの「素の速度」です。

つまり速度と解決力は別の物差し。速い数字に釣られず、architectのような重いタスクでは「実効サイズ」を見るべき、というのが今月いちばんの学びでした。

メモリ（VRAM）別おすすめ

「あなたのGPUなら結局これ」を一覧にしました。すべて上記ベンチの実測に基づく推奨です。

補足を少し。

8〜12GBのゲーミングGPUなら、9BのOrnith Q4か12Bのgemma Q6。どちらも実用域で、精度を取るなら12B、速度とVRAM余裕を取るなら9Bです。

24GB（RTX 4090クラス）が最高のコスパ帯。ここに**Qwopus-MTP Q6（~21GB）**がぴったり収まり、40問満点が手に入ります。今月いちばん「美味しい」組み合わせ。

32GBあるならOrnith-35B Q5（25GB）で速度と精度を両取り。あるいは再現性重視でQwopus標準Q5、爆速で大量に回したいならQwable-v2 Q5、と用途で選び分けられます。

量子化の鉄則：上げれば上がる、ではない

全モデルを通した教訓として、量子化ビット数と精度は単調増加しません。 今月だけでも逆転例が頻発しました。

  • Qwopus-MTP：Q5（92.5%）< Q4（95%）< Q6（100%）> Q8（95%）

  • Qwable-27b-MTP：Q6（87.5%）がQ5（95%）より低い

  • Qwopus標準60タスク：最高ビットのQ8が失敗6問でQ5/Q6より多い

  • Qwythos-9B MTP版：BF16がQ8より10pt低い（空出力で破綻）

経験則として、中位のQ5_K_M / Q6_Kが最良になりやすい。BF16やQ8は「フル精度だから安心」ではなく、特定の長文出力で不安定化することがあります。迷ったらQ5かQ6から始めるのが安全です。

系統共通の鬼門タスク

サイズ・系統をまたいで最後まで残る壁が見えました。これらは「苦手なモデルに任せず、別系統やプロンプト補助で対処」が現実的です。

  • t020（電卓：演算子優先順位・括弧）：Qwableシリーズは全滅。突破したのはQwopus-MTP Q6のみ。

  • t021（バンカーズ丸め）：Qwable系・Ornith系とも苦戦。35Bでも残る。

  • architect帯のt046/t047/t059（DIライフタイム・ロールバック・浮動小数点ドリフト）：27B標準版でも全量子化が落とす設計レベルの天井。

番外コラム：コーディング非特化の2モデル

ランキングからは外しましたが、6月に触れた中で毛色の違う2本を補足します。

VibeThinker-3B（WeiboAI）は「3BでIMOレベル」を主張する超軽量モデル。1回流すと55%に見えますが、5回回した実態のpass@1は38%。temperature 1.0の高バリアンスで、1回成功と安定解決は別物でした。expert以降は5回全滅が多数。ただし177 tok/sと高速なので、「自動テストで複数回フィルタする（ベストオブN）」運用なら軽量さが活きます。単体アシスタントとしては実用閾値未満、というのが正直な評価です。

Qwen-AgentWorld-35B-A3Bは、そもそも**ワールドモデル（環境シミュレータ）**でコーディングモデルではありません。「エージェントが行動した結果、環境がどう変わるか」を予測する裏方ツールで、あえてコーディングベンチに通すとeasy〜hardは堅実（Q4 60%）でも、expert以降は「空出力」で黙ります。コードを書く道具ではなく、エージェントを訓練・評価するためのシミュレータ。用途を間違えなければ本命、間違えるとただの低スコアモデル、という分かりやすい例でした。

最終まとめ

  • 総合チャンピオン：Qwopus3.6-27B-Coder-MTP Q6（40/40満点、Combined 92.2）

  • 速くて強い：Ornith-1.0-35B Q5（97.5%・259 tok/s、MoEで9Bより速い）

  • 実務の再現性：Qwopus3.6-27B-Coder 標準版 Q5（pass@k 98.3%・architect 17/20）

  • 9Bの入口：Ornith-1.0-9B Q4（87.5%・VRAM 5.6GB）

  • 12Bの安定枠：gemma-4-12B-coder Q6（92.5%・VRAM 9GB）

  • 速いが設計に弱い：Qwable-v2（35B-A3B、関数レベルは爆速だがarchitectで崩れる）

今月の地図を一枚にすると——精度の天井は27B dense、速度と精度のバランスは35B MoE、VRAMの入口は9B。 そして「大きい＝強い」でも「ビットが高い＝強い」でもなく、何を学習したか・実効サイズはどれかが効く、というのが2026年6月の結論です。

来月も各モデルを同じ40/60タスクで回していきます。「このサイズ帯をもっと詳しく」「この量子化の生成コードが見たい」などあればコメントへどうぞ。

検証環境: llama.cpp（CUDAビルド）/ EVO-X2 + RTX5090 32GB / 2026年6月

使用ベンチマーク（自作・MIT）: zephel01/swe-bench（llmbench） — clone & `pip install -e .` で誰でも追試できます。

個別検証記事（参考）:

#ローカルLLM #コーディングモデル #量子化 #MoE #MTP #llamacpp #ベンチマーク #GGUF #RTX5090 #Qwen

いいなと思ったら応援しよう！

zephel01 サーバー代とコーヒー代になります☕ 役に立ったら応援よろしくお願いします！