見出し画像

【2026年6月版 v2】ローカルLLMコーディングベンチ総まとめ — 40タスクは飽和した。本当の勝負は60タスク（architect帯）に移り、王者は「無検閲の創作モデル」だった

zephel01

こんにちは、くーるぜろです。

先日アップした6月版まとめのあと、月末(というかそのひのうちに）にかけて検証が一気に増えました。BugTraceAI（セキュリティ特化）、その素体のHereticモデル、Qwable-v2とQwopus標準版の「速度/評価」分離検証、そして35B-A3BのMoE版Qwopus——。新しい数字を全部入れて、順位を再計算したのがこのv2です。

そして今回、ランキングの「土俵」そのものが変わりました。先に結論を1行で言います。

40タスクはもう飽和した（実質満点が3モデル並ぶ）。本当の差は60タスク＝architect帯で出る。そして60タスクの王者は、意外にも「無検閲の創作・RP用モデル」Heretic-NEO-CODE（59/60・architect 19/20）。ただしその正体はQwen3.6-27B dense——今月の強モデルは全部、同じ土台の味付け違いだった。

この一文が今月の総括です。以下で順位とともに解説します。

何が変わったか：40タスクの「天井効果」が決定的になった

前回の時点で「40タスクは上位が張り付き気味」と書きましたが、月末の追加検証でそれが決定的になりました。40タスク（easy〜frontier、関数レベル）で実質満点（39〜40/40）に到達したモデルを並べると、こうなります。

6モデルが97.5〜100%。ここまで来ると40タスクでは優劣がつきません。 だから今月から、リポジトリ/設計レベルの architect帯20問（t041〜t060）を足した60タスク版を「実力測定の本番」に格上げしました。40タスクは速度測定（出力が短く素の生成速度が出る）、60タスクは実力測定（設計レベル＋再現性）、という役割分担です。

以下、まず新主役の60タスクランキング、次に従来の40タスクランキング、という順で出します。

🆕 60タスク・ヘビー級ランキング（architect帯込み・最良量子化）

architect帯を含む60問で測った、上位モデルだけの「本番」順位です。ここが今月の新しい主戦場。

※BugTraceとHereticは速度データ未収録。27B dense・MTPなしから~60 tok/s前後と推定。

このテーブルから読み取れることが、今月の核心です。

第一に、60タスクの王者は「コーディング用に作られていないモデル」だった。 首位のHeretic-NEO-CODEは、本来創作・ロールプレイ・NSFW向けの無検閲（アブリットレーション）モデルです。それが59/60・architect 19/20で、専用コーダーを全部抜きました。落としたのはt059（後述の真の天井）ただ1問。

第二に、上位5モデルのうち上位3つが全部Qwen3.6-27B dense。 Heretic（創作uncensored）、BugTrace（セキュリティ特化）、Qwopus標準（コーダー特化）——用途も学習データもバラバラなのに、土台が同じQwen3.6-27Bというだけで全部上位。これが今月いちばん大きな発見でした（詳細は後述の「土台仮説」）。

第三に、MoE（35B-A3B）は速いがarchitectで落ちる構図が確定。 4位のQwopus-35B-A3B-MTP（architect 14/20）と5位のQwable-v2（12/20）は、どちらも活性化約3BのMoE。関数レベルでは速くて優秀ですが、設計レベルになるとdense 27B勢（17〜19/20）に届きません。「実効サイズの小ささ」が正直に出ています。

なお前回の40タスク王者Qwopus-27B-MTPは60タスク未測定のため、この表には入れていません（MTP版の60タスク検証は次回の宿題）。

従来の40タスクランキング（参考・最良量子化）

飽和したとはいえ、軽量モデルや速度比較には依然有効なので、新モデルを足して更新しておきます。

上位が3モデルの100%＋3モデルの97.5%で完全に頭打ち。この飽和こそが「60タスクへ移行した理由」そのものです。新顔のQwopus-35B-A3B-MTPが97.5%を~296 tok/sで叩き出した点は注目で、「この精度帯の最速」を一気に塗り替えました（Ornith-35Bの259 tok/sを上回る）。

今月の最大の発見：「強さは土台で決まる」土台仮説の実証

v2でいちばん伝えたいのはここです。BugTraceAIの検証から始まり、その素体Hereticの検証で実証まで取れた、今月の白眉です。

事の発端。 セキュリティ攻撃ツール特化のuncensoredモデルBugTraceAIを「出オチだろう」と思ってベンチに通したら、40/40満点・60問58/60という番狂わせ。「これはセキュリティSFTの手柄ではなく、ベースの地力では？」という仮説を立てました。

答え合わせ。 そこでBugTraceのベース元——DavidAUのアブリットレーション済みuncensoredモデル（創作・RP・NSFW向け）を、同じ60問で叩きました。結果、素体のほうがSFT版より強かったのです。

セキュリティSFTをかけた後のほうが、architectを1問ぶん余計に落とす。 SFTは攻撃ツール生成という方向づけを足した代わりに、汎用コーディングをコンマ数問削っていた——「SFTはコーディングを少し薄めていた」という皮肉な実証です。

なぜ素体が強いのか。理由は4つで、全部「土台の強さ」に帰着します。

  1. 土台がQwen3.6-27B dense。 今月の精度王Qwopus、Qwable-27b、BugTrace、そしてこの素体——全部Qwen3.6-27B denseの味付け違い。「27B denseが精度の天井」の正体は、要するにこのベースが優秀だということ。

  2. アブリットレーションのKLDが極小（0.0469）。 HERETIC法で「拒否方向」だけを打ち消し、それ以外はオリジナルから0.05しかズレていない。拒否率は99/100→4/100に落ちる一方、コーディング能力は無傷で温存。

  3. 味付け（FT）が軽量。 作者自身が「重いFTではなく軽微な微調整」と明言。素体の地力を上書きしていない。

  4. NEO-CODE Di-IMatrix量子化がコード向け。 デュアルimatrixでコード品質劣化を抑える調整。Q4でも98.3%が出る一因。

結論：「無検閲・創作用」というラベルは表の顔で、中身は手を付けられていない優秀なQwen3.6-27B dense。 コーディング適性を決めるのは看板（用途ラベル）ではなく土台だった、という身も蓋もない真実です。「無検閲の創作モデル」が「セキュリティ攻撃モデル」より綺麗にコードを書いた、という今月の締めにふさわしい一本でした。

パラメータ別ランキングと深掘り

9Bクラス：Ornith-1.0-9Bが頭ひとつ（変更なし）

ここは前回から動きなし。Ornith-1.0-9Bが9B最強で、Q4でも87.5%・VRAM 5.6GBの堅実な入口。長文・画像ならQwythos-9B（1Mコンテキスト・ビジョン・MTP）です。9Bは電卓（t020）・丸め（t021）が依然鬼門。

12Bクラス：gemma-4-12B-coder（変更なし）

VRAM 9GBに収まる安定枠。このサイズ帯の基準モデルとして据え置きです。

27Bクラス（dense）：今月の主役。ここに新顔が3つ増えた

40タスクではみんな満点級なので、60タスク（architect帯）で並べ直します。

※MTP版は60タスク未測定。

27B denseは今月も精度の天井で、しかも新顔2つ（Heretic・BugTrace）が60タスクの1位2位を持っていきました。

  • Heretic-NEO-CODE：上述の通り60問59/60・architect 19/20。Q4/Q6/Q8が98.3%、Q5だけ96.7%（t046を落とす非線形）。Q4かQ6を選べば最強。ただし無検閲・創作志向のモデルなので用途は自己責任で。

  • BugTraceAI-CORE-Ultra：セキュリティtoolingモデル。40/40・60問58/60。鬼門のt020電卓・t021丸めを素通りし、専用コーダーが全滅したt046も突破。拒否・免責・データ漏れゼロの徹底したフォーマット遵守が光る。

  • Qwopus標準版 Q5：60タスク×5回でpass@k 98.3%（全量子化トップ）・architect 17/20。「5回投げ直せばほぼ何でも通る」実務の再現性No.1。速度は中庸~67tps。

  • Qwopus-MTP Q6：40タスク満点・電卓t020唯一突破・~129tps。40タスクの速度と天井ならこれだが、60タスクは未測定。

35Bクラス（MoE）：Ornith-35B（変更なし）

40タスク基準では**Ornith-35Bが「速くて強い」**据え置き。97.5%・259tps。ただしOrnithは60タスク未測定なので、設計レベルの地力は今後の検証待ちです。

35B-A3Bクラス（活性化3B MoE）：新顔Qwopus-MTPが加わり、構図がより鮮明に

このクラスは**「速いが設計で崩れる」が新顔で再確認**されました。

Qwopus-35B-A3B-Coder-MTP（Jackrong、新規）は、40タスクで97.5%を**~296 tok/sという驚異の速度で達成。MoE（活性化3B）＋MTPの合わせ技で、35B級なのにこの精度帯の最速です。一発勝負ならQ6（88.3%/architect 14/20）、リトライ前提のエージェント運用ならQ5がpass@k 98.3%**まで届きます（5回投げれば59/60相当）。電卓t020をQ6だけが一発突破する「Qwopus現象」もMoE版で再現。

ただしarchitect 14/20は、dense 27B勢（17〜19/20）には届かない。Qwable-v2（12/20）と同じく、活性化3Bの実効サイズが設計レベルで頭打ちになる構図です。

整理すると、35B-A3B MoEは「高速な関数レベル」に用途を絞れば最強クラス、設計レベルはdense 27Bに任せる。これが2モデルで一致した結論です。

tok/sの読み方（新データで補強）

速度列を額面で受け取ると誤解する、という前回の注意は今月さらに裏付けが増えました。

① MTPは投機的デコードで速く出る。 Qwable-27b標準Q4=74tpsに対しMTP版=146tpsで約2倍。

② MoE（特にA3B）は実効サイズが小さいので速い。 Ornith-35B=259、Qwable-v2(A3B)=252、そして新顔Qwopus-35B-A3B-MTPは単発~296tps。「35Bの実力で速い」のではなく「実際に動く重みが一部＋MTP」だから速い。速いほどarchitectで落ちやすいのはこのクラス共通。

③ dense標準版は素直に遅い。 Qwopus27B標準Q5~67、BugTrace/Heretic(MTPなし27B dense)~60前後（推定）。60タスク最強のHeretic/BugTraceが、速度では最遅クラス——これが「速さと解決力は別の物差し」の最も分かりやすい実例になりました。精度の天井（27B dense）は遅く、速い連中（MoE）は設計で落ちる。今月の地図はこのトレードオフに集約されます。

メモリ（VRAM）別おすすめ（v2・60タスク重視で更新）

最大の更新は24GB帯。前回は「Qwopus-MTP Q6で40/40」一択でしたが、60タスクで測るとHeretic-NEO-CODE Q6（~21GB、59/60・architect 19/20）が設計レベルで最強。同じVRAMに収まります。「一発の質と設計力」ならHeretic、「速度と40タスク満点」ならQwopus-MTP、という選び分けになりました（Hereticは無検閲・創作志向のモデルである点だけ留意）。

量子化の鉄則：上げれば上がる、ではない（新例を追加）

量子化ビット数と精度は単調増加しない——今月もまた逆転例が増えました。

  • Qwopus-MTP：Q5（92.5%）< Q4（95%）< Q6（100%）> Q8（95%）

  • Qwopus標準60タスク：最高ビットのQ8が失敗6問でQ5/Q6より多い（t057を追加で落とす）

  • Heretic-NEO-CODE：Q4/Q6/Q8が98.3%なのにQ5だけ96.7%（t046を落とす）

  • Qwopus-35B-A3B-MTP：単発はQ6が最良だが、pass@kはQ5（98.3%）がQ6（95.0%）を上回る

  • Qwythos-9B：BF16がQ8より10pt低い（空出力で破綻）

経験則は不変で、中位のQ5_K_M / Q6_Kが最良になりやすい。ただしHereticのように「Q5だけ凹む」逆パターンもあるので、可能なら2〜3量子化を実測するのが確実。迷ったらQ6から始めるのが今月のおすすめです。

系統共通の鬼門タスク：t059が「真の天井」として確定した

サイズ・系統・用途をまたいで最後まで残る壁が、今月の大量検証ではっきりしました。

  • t059（浮動小数点合計のドリフト＝破滅的桁落ち）：今月、誰も安定して解けなかった真の天井。 60タスク最強のHeretic（19/20）も、BugTrace（18/20）も、専用コーダーQwopus標準も、全員がここを落とす。ナイーブな総和が小さな項を消す古典的な罠で、Kahan和のような明示的な補正アルゴリズムを要求するタスク。

  • t046（DIライフタイム）／ t047（マイグレーションのロールバック）：dense 27Bでも揺れる設計レベルの難所。BugTraceはt046を解いたがt047を落とし、Hereticは両方解く（Q4/Q6/Q8）——ここがモデルの地力の分水嶺。

  • t020（電卓：演算子優先順位）：かつての鬼門だが、今やQwopus-MTP・BugTrace・Heretic・Qwopus-35B-A3B(Q6)が突破。Qwableシリーズ（Fable5/v2）だけが系統的に苦手。「解けるモデルと解けない系統」が固定化してきた。

  • t021（バンカーズ丸め）：Qwable系の伝統的弱点として継続。dense 27B勢は突破。

鬼門の構図が「t020は解ける組と解けない組に二分、t059は全員の天井」と整理できたのが、今月の収穫です。

番外コラム：コーディング非特化の2モデル（変更なし）

VibeThinker-3B（WeiboAI）は「3BでIMOレベル」を謳う超軽量モデル。1回流すと55%に見えるが、5回回した実態のpass@1は38%。高バリアンスで、ベストオブN運用なら軽量さが活きるが単体では実用閾値未満。

Qwen-AgentWorld-35B-A3Bはそもそも**ワールドモデル（環境シミュレータ）**でコーダーではない。easy〜hardは堅実でもexpert以降は「空出力」で黙る。エージェントを訓練・評価する裏方ツールで、用途を間違えなければ本命。

この2本は「何のために訓練されたかがコーディング適性に直結する」例で、BugTrace/Hereticの「土台が強ければ用途ラベルを超える」話と表裏一体です。AgentWorldが専門外で黙って崩れる一方、Hereticは創作用なのにきっちりコードを書く——差は「土台の強さ」と「フォーマット遵守の躾」でした。

最終まとめ（v2）

  • 60タスク王者（設計レベル）：Heretic-NEO-CODE 素体 Q6（59/60・architect 19/20）。正体はQwen3.6-27B dense。※無検閲・創作志向、用途は自己責任

  • 60タスク2位の番狂わせ：BugTraceAI-CORE-Ultra-27B（58/60・architect 18/20）。セキュリティ特化なのにコーディング最強クラス

  • 実務の再現性：Qwopus3.6-27B 標準版 Q5（pass@k 98.3%・architect 17/20）

  • 40タスク満点＆速い：Qwopus3.6-27B-MTP Q6（40/40・~129tps、t020突破）

  • この精度帯の最速：Qwopus3.6-35B-A3B-MTP Q6（40タスク97.5%・~296tps）／ Ornith-1.0-35B Q5（97.5%・259tps）

  • 速いが設計に弱い：35B-A3B MoE勢（Qwopus-MTP architect14、Qwable-v2 architect12）

  • 9Bの入口：Ornith-1.0-9B Q4（87.5%・5.6GB）／ 12Bの安定枠：gemma-4-12B Q6（92.5%・9GB）

今月の地図を一枚に畳むと——40タスクは飽和し、勝負はarchitect帯（60タスク）へ。精度の天井は27B dense、その正体はQwen3.6-27Bという土台の強さ。速いMoEは関数レベル特化、設計はdense。そして「大きい＝強い」「ビットが高い＝強い」「用途ラベル通りに強い」のいずれも成立せず、効くのは"土台×何を学習したか×フォーマットの躾"だった。

無検閲の創作モデルがセキュリティ攻撃モデルより綺麗にコードを書き、その両方が専用コーダーと肩を並べる——2026年6月は「コーディング適性は看板ではなく土台で決まる」と分かった月でした。来月は、強かったモデルたちの60タスク×pass@kを揃えて、設計レベルの再現性まで横並びにする予定です。

検証環境: llama.cpp（CUDAビルド）/ EVO-X2 + RTX5090 32GB / 2026年6月

使用ベンチマーク（自作・MIT）: zephel01/swe-bench（llmbench） — clone & `pip install -e .` で誰でも追試できます。40問＝速度測定、`--with-l6`で60問＝実力測定（architect帯＋pass@k）。

今月の個別検証記事（参考）:

  • BugTraceAI-CORE-Ultra-27B（セキュリティ特化なのにコーディング最強クラス）

  • Qwen3.6-27B-Heretic-NEO-CODE（土台仮説の実証・60タスク王者）

  • Qwopus3.6-35B-A3B-Coder-MTP（60タスク3量子化・MoE版）

  • Qwopus3.6-27B-Coder 標準版／Qwable-v2（速度と評価の分離測定）

  • Ornith-1.0（9B/35B）、gemma-4-12B-coder ほか

#ローカルLLM #コーディングモデル #量子化 #MoE #MTP #uncensored #llamacpp #ベンチマーク #GGUF #RTX5090 #Qwen

いいなと思ったら応援しよう！

zephel01 サーバー代とコーヒー代になります☕ 役に立ったら応援よろしくお願いします！