「考える」Gemma 4 31Bで再戦したら、シリーズ皆勤の嘘がついに消えて、GoogleとUnslothに初めて品質差が出た【検証・続編 第1回】

こんにちは、くーるぜろです。

「最終回」と銘打って締めたGemma 4 QAT検証シリーズ、続編です。理由はシンプルで、Gemma 4 31BのQAT版が出たから。これまでの12B（dense）・26B-A4B（MoE）と同じ9種目・同じ採点基準で、Google公式QAT版（q4_0）とUnsloth版（qat-UD-Q4_K_XL）を、RTX 5090（CUDA）とRadeon 8060S（Vulkan/iGPU）で回しました。9種目 × 2モデル × 2バックエンド × 4ラン＝計144ランです。

結論を3行で。シリーズ全回で嘘をつき続けた「存在しないオプション」種目で、ついに全16ランが正答。俳句の無限ループも完全消滅。そしてJSONの関係推論で、GoogleとUnslothに初めてはっきりした品質差が出ました。立役者はパラメータ数ではなく、31Bから載った「思考モード」だと見ています。

用語ひとつだけ：思考モード

31Bの出力には、回答の前に思考ブロックが付きます。「ユーザーの要求は何か」「この情報は本文に書いてあるか」と自問自答するテキストを先に生成してから、最終回答を書く方式です。今回の検証ログでは `[Start thinking]`〜`[End thinking]` として記録されています。12Bと26B-A4Bにはなかった、31B最大の新要素。後述しますが、これが効く種目と、裏目に出る種目が両方ありました。

今回の構成

実行環境は2系統。CUDA＝RTX 5090、Vulkan＝Radeon 8060S（iGPU）です。前回「Vulkanのつもりが実はRTXで走っていた」事故を踏まえ、今回は`GGML_VK_VISIBLE_DEVICES`でiGPUに明示固定しました。つまり本記事は、持ち越しになっていた「真のiGPU対決」のデータも兼ねています。

速度：RTXで72 t/s、iGPUで11 t/s

31B denseの生成速度は、12B（140 t/s台）のほぼ半分。パラメータ比（約2.6倍）ほどは遅くなっておらず、素直なスケーリングです。Unsloth版がGoogle版より生成2%前後速い傾向は、今回も両バックエンドで再現。これでシリーズ5回連続です。

iGPUの11 t/sをどう見るか。チャット用途には正直つらい数字ですが、17GB級のモデルが96GB確保できるiGPUメモリに余裕で載って動くこと自体が、このマシン（Ryzen AI Max+ 395）の存在意義です。ただし31Bには後述の思考モードがあり、回答の前に思考ぶんのトークンを余計に生成するため、体感の待ち時間は数字以上に長い。iGPUで31Bを常用するなら、この「思考税」は覚悟が要ります。

品質：シリーズの宿敵がついに倒れた

E1（存在しないオプション）：16ラン全勝

シリーズ全回・全モデルが「`--quantum-boost`の使い方」を堂々と捏造してきた、いわば宿敵種目。12Bは「精度を補正する機能」と説明し、26B-A4Bは「高速化フラグ」と別ジャンルの嘘に乗り換えました。

31Bは、Google/Unsloth × CUDA/Vulkan × det/creativeの全16ランが「そのオプションは存在しません」と正答。思考ブロックを覗くと、全員が「`--quantum-boost`というフラグはあるか？→公式リポジトリにはない」と自分の記憶を検索して棄却するプロセスを踏んでいました。さらに全ラン共通で「もし量子化の精度を上げたいならimatrixのことでは」と建設的な代替案まで提示。捏造は規模では直らず、「答える前に確かめる」工程で直る——シリーズ最大の発見だと思います。

C3（俳句）：無限ループ完全消滅

26B-A4Bでdet 4ラン全滅、12BでもUnslothが沈んだ音数セルフチェックの泥沼。31Bは16ラン全てが正常完走し、3句＋季語明記の指示も全ラン遵守しました。思考モードで「数え直し」を思考ブロック内で済ませてから清書する形になったのが効いていそうです。

句の中身には好みが出ました。Google版は「冬の夜や 滑らかさ消え 段となる」と、量子化を比喩で詠む。Unsloth版は「霜降りて 世界を刻む 量子化よ」と、3句すべてに「量子化」を直接ねじ込む。技巧はGoogle、お題への忠実さはUnsloth、といったところ。

D2（JSON抽出）：初めて「GoogleとUnslothの差」が出た

本文に明示されていない「佐藤さんの異動先＝東京支社」を関係推論で当てる罠。26B-A4Bでは4ラン中1ランしか正解できませんでした。

31Bの結果は鮮明です。Google版は8ラン中7ランが「東京支社」を正解。Unsloth版は8ラン中2ラン。思考ブロックを読み比べると、Google版は「彼女は東京を離れた田中の後任だ。だから東京へ行く」と推論を完走するのに対し、Unsloth版は「後任＝田中の異動先（大阪）の後任」と短絡する傾向がありました。

シリーズここまで「品質はほぼ互角、速度はUnslothがわずかに上」が定番でしたが、思考が要る種目で初めて、Google公式版が明確に勝ちました。QAT q4_0とDynamic 4bitの量子化の差が思考の精度に出たのか、たまたまこの種目に刺さったのかは断定できませんが、8ラン対8ランで7対2は誤差とは言いにくい差です。

D2の裏面：考えるほど「推測で埋めたがる」

ただしD2には退化もありました。本文にない佐藤さんの異動日を「無い情報」としてnullにできたのは、16ラン中わずか1ラン（GoogleのVulkan・detラン）。26B-A4Bは4ラン全てnullにできていたので、ここは明確に逆行です。

原因も思考ブロックに写っています。「日付は明記されていない。だが後任なら同日に着任するのが普通だ。よって同じ日付を入れる」——考える力が、書いてないことを推測で埋める方向に働いたわけです。捏造を消した同じ仕組みが、別の種目では過剰推論を生む。思考モードは万能薬ではありません。

互角だった種目

**D1（多段算数）**は16ラン全員が42,300円で正解。シリーズ通算の全勝記録をさらに更新し、唯一の安全地帯は今回も安泰。**B1（plotly）**も4 detラン全ての生成コードがそのまま実行成功、HTML出力まで確認済み。**A1（SQL最適化）**は両者ともDATE()/UPPER()のサージャビリティ問題、暗黙JOIN、必要インデックス3本を完備で、差なし。**A2（バグ修正）**は両者とも「空リスト・境界値・包含関係・冗長ループ」の4点を列挙し、クリティカルな修正はすべて正しい。26B-A4Bで見られた網羅性の揺れはなく、安定していました。**C1/C2（翻訳）**も両者自然で、Google版は件名や解説を添える丁寧型、Unsloth版は複数案を並べる提案型と、芸風の違いがある程度です。

CUDA vs Vulkan：今回は「判断」まで割れた

temp 0・同一seedでも、CUDAとVulkanの出力が一致しないのは今回も全ペアで再確認。ここまでは第3回の既知の話ですが、今回は一歩進んで、同じGoogle版・同じ温度0で、CUDAは佐藤さんの異動日を推測で埋め、Vulkanはnullにするという「結論の分岐」が観測されました。浮動小数点の演算順序差が、思考ブロックの分かれ道をひとつ越えると、文体どころか判断そのものが変わる。思考モード付きモデルでは、バックエンド差の影響がこれまでより一段深くなる可能性があります。

検証メモ

今回のVulkanランは生成10.8〜11.0 t/s、プロンプト処理220 t/s台と、iGPUのメモリ帯域と整合する数値です。前回のような「実はRTXで走っていた」疑いはなし（RTXなら生成70 t/s台が出るはずです）。`GGML_VK_VISIBLE_DEVICES`での明示固定、ちゃんと機能しました。

まとめ

買い方の指針です。RTX級のGPUで品質最優先なら、31BはGoogle公式QAT版。思考が要るタスクでの差は無視できません。速度を取るならUnsloth版が今回も2%速く、思考が浅い定型タスクなら差は出ません。iGPU勢は11 t/s＋思考税を許容できるかが分かれ目。じっくり待てるバッチ用途なら、96GBメモリに31Bが載る強みは本物です。

次回は26B-A4Bに戻って、Unsloth同士の3つ巴——QAT版 vs 非QAT版 vs 出たばかりのDiffusionGemmaを比べます。量子化耐性の本丸と、拡散型LMがllama.cppでどこまで走るのか。それでは。

ハッシュタグ: #ローカルLLM #Gemma4 #Unsloth #量子化 #llamacpp #31B