見出し画像

自己改善型コーディングモデル「Ornith-1.0」を9Bと35Bでまとめて検証した（9B 5量子化＋35B 3量子化）

zephel01

こんにちは、くーるぜろです。

今回はDeepReinforce AIがリリースしたOrnith-1.0のベンチ検証です。「agentic coding（エージェント型コーディング）」に特化した自己改善型のオープンソースモデルファミリーで、9B-Dense / 35B-MoE / 397B-MoEという布陣で出てきました。ベースはGemma 4とQwen 3.5、ライセンスはMITで地域制限なし、という太っ腹仕様です。

今回は手元で動かせるサイズの9B（Dense）をQ4/Q5/Q6/Q8/BF16の5量子化、35B（MoE）をQ4/Q5/Q6の3量子化、合計8パターンを同じ40タスクで回しました。

そして今回いちばんおもしろかったのが、35B（MoE）のほうが9B（Dense）より速いという結果です。サイズが約4倍なのに、です。理由は後述しますが、これが本記事の目玉なので9Bと35Bを1本にまとめました。

このモデルの素性

Ornithの売りは「自己改善型トレーニング」です。通常のRLが「解（rollout）」だけを最適化するのに対し、Ornithは解を導く足場（scaffold）そのものを生成・最適化する。良い探索経路を自分で発見して、より質の高い解にたどり着く、という設計です。

GGUFサイズ（公式値）:

9BのQ4ならVRAM 6〜8GBで動きます。35BはMoEなので総量こそ大きいですが、アクティブ層が少ないぶん体感速度は軽い（後述）。

公式ベンチ（参考）

公式モデルカードのコーディングベンチ抜粋です。同クラスのQwen3.5・Gemma4を上回るスコアを主張しています。

9Bでも同サイズQwenをダブルスコアで上回る項目があり、35Bはほぼ全項目でトップクラス。エージェント系ベンチに振り切った調整が効いている数字です。

ここから先は、この公式値が手元のローカル環境（量子化GGUF）でどこまで再現するかを自分のベンチで確かめます。

検証環境

  • 実行環境: llama.cpp（CUDAビルド）

  • ハードウェア: EVO-X2 + RTX5090 32GB

  • タスク数: 40問（easy 5 / medium 5 / hard 10 / expert 12 / frontier 8）

  • 内容: Pythonのバグ修正・実装タスク（関数レベル、決定論的pytest付き）

  • 評価軸:

    • Resolved率（pytestが全パスしたか）

    • Quality（コード品質: ruff・保守性指数MI・循環的複雑度）

    • Combined（上記の総合スコア）

    • usability（🟢自律 / 🟡補助 / 🔴不可）

結果サマリ

9B（Dense・5量子化）

35B（MoE・3量子化）

結論: コスパなら9B Q4_K_M（87.5%・200 tok/s・VRAM 6GB級）。精度と速度を両取りするなら35B Q5_K_M（97.5%・Combined 89.3・259 tok/s）が頭ひとつ抜けている。

35BはQ5でResolved 97.5%（39/40）に到達。40問中1問しか落としません。9Bは最高でも90%なので、サイズ差ははっきり出ています。

今回の目玉：35B（MoE）が9B（Dense）より速い

普通に考えれば、大きいモデルほど遅い。ところが今回は逆でした。

35Bのほうが全量子化で速い。しかも量子化が重くなる（Q6に近づく）ほど差が広がります。

理由はアーキテクチャです。9Bは`qwen35`のDenseで、推論のたびに約9Bの重み全部を通します。一方35Bは`qwen35moe`のMoE（Mixture of Experts）で、総パラメータは35Bでもトークンごとに使うのは一部のエキスパートだけ。実際に毎ステップ計算するパラメータ数はDense 9Bより少ないため、結果として速い。

つまり今回のOrnithは「35Bのほうが速くて精度も上」という、ローカルLLMでは珍しく分かりやすい上位互換構図になっています。VRAMさえ積めるなら（35B Q5で約25GB）、9Bを選ぶ理由が薄い。逆にVRAM 6〜8GBしかないなら9B Q4が現実的な入口、という住み分けです。

9Bの量子化別考察：Q6とBF16が90%、Q4はコスパ番長

9Bは5量子化を回して、おおむね素直な結果になりました。

  • 最高精度はQ6_KとBF16（ともに90.0% / 36問）。Combinedも82.7・82.9とこの2つが上。

  • Q4_K_Mはコスパ番長。87.5%を保ちつつ199.6 tok/sと最速。VRAMも6GB級。BF16と比べてResolvedは2.5pt差しかないのに、速度は2.3倍。

  • Q8_0はQuality最高（85.0）だが速度は144 tok/s。精度の頂点を狙うがVRAMに余裕がある、という人向け。

  • Q5_K_MはQ4とほぼ同じで、あえて選ぶ意味は薄い。

9Bを使うなら、ふだん使いはQ4_K_M、精度を1段上げたいならQ6_K。BF16は90%出ますが88 tok/sまで落ちるので、速度を捨ててまで選ぶ場面は限られます。

35Bの量子化別考察：Q5でほぼ天井、Q4は速いが少し落ちる

35Bは3量子化ですが、傾向ははっきりしています。

  • Q5_K_MとQ6_Kが97.5%（39/40）で頭打ち。Combinedも89.3・89.2でほぼ同点。

  • Q4_K_Mは92.5%（37/40）とやや落ちる。それでも9Bの最高値を上回ります。速度は265 tok/sで3量子化中最速。

  • 速度はQ4>Q5>Q6（265→259→245）と素直。精度はQ5=Q6>Q4。

バランスの最適解はQ5_K_M。97.5%を出しつつ259 tok/sで、Q6とほぼ同精度なのにわずかに速くサイズも小さい。Q4は「とにかく速く・VRAMを節約したい」とき、Q6は「Q5と気分で選ぶ」程度の差です。

なお今回35BはQ8_0とBF16が未投入です。Q5/Q6ですでに97.5%と天井に近いので伸びしろは小さいと見ていますが、ここは今後追記予定です。

鬼門タスク：両サイズ共通の壁は2つ

全8モデルを通した失敗タスクの分布です。

t020（電卓の優先順位・括弧）とt021（バンカーズ丸め）がこのシリーズ全体の二大鬼門です。t020は9Bでは全滅、35BですらQ4が落とす。t021にいたっては35BのQ5まで落としており、最後まで残った1問がこれでした。仕様の細部（括弧の入れ子・偶数丸め）を正確に詰める系のタスクが、サイズを上げても最後まで残る壁になっています。

一方t010・t017は9Bだけが落とすタイプで、35Bは全量子化で正解。CSVのクオート処理や文字列整形のような「地味だが仕様が細かい」タスクは、9Bだと量子化次第でブレるが、35Bだと安定して解ける、という差が出ました。

逆に35Bの取りこぼしは非常に少なく、Q5は t021 の1問のみ、Q6は t007（単語頻度の大文字小文字）の1問のみ。Q6のt007はeasy〜medium帯での珍しい取りこぼしで、量子化由来の単発的なブレと見られます（Q4/Q5では正解）。

usability（実際に任せられるか）

「🔴不可（任せられない）」の少なさが実用度を表します。35BはQ5/Q6で不可がわずか1問（2%）。9Bは最良でも4問（10%）残るので、レビューなしで任せられる安心感は35Bが明確に上です。

他の検証モデルとの比較：Qwen系蒸留モデルより明確に上

同じ40タスク・同じ環境（EVO-X2 + RTX5090 32GB / llama.cpp）で過去に検証したモデルと並べてみます。各モデルの最良量子化で比較しました。

読みどころは2つあります。

1. 9BクラスではOrnithが頭ひとつ抜けている。 同じQwen3.5ベースの9B蒸留・FT勢と比べると、Ornith-9Bの90.0%に対しQwythos-9Bは85.0%。5ポイント差で、しかもCombinedは82.9 vs 78.1とさらに開きます。同サイズのQwen系蒸留モデルの中では、現状ベストの結果です。「9Bでここまで出るのか」という水準。

2. 35Bは検証してきた中でもトップ級。 97.5%（39/40）はQwopus3.6-27B-Coder（Q6で40/40満点）に次ぐ2番手で、他の35B MoE（Qwable-3.6-35b 90.0%）を7.5ポイント上回り、12B蒸留のgemma-4-12B-coder（92.5%）も上回ります。しかも速度259 tok/sはこの精度帯では最速クラス。同じ35B MoEでもコーディング非特化のAgentWorld（60.0%）とは別物で、コーディングRLの効きが数字に出ています。

総じて、「Qwen系の蒸留・ファインチューンモデル」という括りで見るとOrnithは明確に上位。9Bは同クラス最強、35Bは満点を出したQwopus-27Bに肉薄、という位置づけです。自己改善型RL（足場ごと最適化する学習）が、ローカル量子化環境でもしっかり効いていると言える結果でした。

まとめ：どれを選ぶか

今回のOrnith-1.0は、ローカルLLMにしては珍しく「大きいほうが速くて精度も上」という分かりやすい結果になりました。MoEのおかげで35Bが9Bより速いので、VRAMが許すなら迷わず35B Q5_K_M。ゲーミングGPU1枚で収めたいなら9B Q4_K_Mが堅実な入口です。

エージェント型コーディングに振った調整だけあって、関数レベルのバグ修正では9Bでも87.5%とソリッド。一方で「電卓の優先順位」「バンカーズ丸め」のような仕様の詰めが要るタスクは、35Bでも完全には潰しきれませんでした。任せるなら補助レビュー前提、というのが地に足のついた結論です。

検証環境: llama.cpp (CUDAビルド) / EVO-X2 + RTX5090 32GB / 2026-06-26

モデルリンク:
・9B: https://huggingface.co/deepreinforce-ai/Ornith-1.0-9B-GGUF
・35B: https://huggingface.co/deepreinforce-ai/Ornith-1.0-35B-GGUF

ベンチマーク：
・https://github.com/zephel01/swe-bench

#ローカルLLM #Ornith #コーディングモデル #量子化 #MoE #llamacpp #ベンチマーク #GGUF #エージェント #RTX5090

いいなと思ったら応援しよう！

zephel01 サーバー代とコーヒー代になります☕ 役に立ったら応援よろしくお願いします！