見出し画像

RTX 5090 vs Radeon 8060S(iGPU)— 1台のミニPCで完結する、NVIDIA vs AMDローカルLLM最終決戦【検証シリーズ最終回】

こんにちは、くーるぜろです。

Gemma 4 QAT検証シリーズ、最終回です。第4回で残った宿題——真のAMD vs NVIDIA対決——をついに回収します。

今回の主役は僕の検証機そのものです。GMKtec NucBox EVO-X2(Ryzen AI MAX+ 395)にRTX 5090 32GBを外付けした構成で、これは1台の中に2つのGPU哲学が同居していることを意味します。

Vulkan0: NVIDIA GeForce RTX 5090(VRAM 32GB)          ← 速度の王者
Vulkan1: AMD Radeon Graphics RADV GFX1151(97.5GB割当)← 容量の王者

片や専用VRAM 32GBの最強dGPU、片や128GBユニファイドメモリから97.5GBをモデルに使えるiGPU。同じllama.cpp Vulkanビルド、同じモデル(Gemma 4 26B-A4B QAT、Google版/Unsloth版)、同じ9種目を、`GGML_VK_VISIBLE_DEVICES`でデバイスだけ切り替えて回しました。

速度:3環境出揃いました

生成速度で5090はiGPUの約4倍。これはメモリ帯域の差がそのまま出た、物理法則通りの結果です。5090はGDDR7で約1.8TB/s。EVO-X2はLPDDR5X-8000を128GB搭載公式スペック)で、256bitバスなら帯域は約256GB/s。LLMの生成速度はほぼメモリ帯域で決まるので、帯域比約7:1に対して実測4:1なら、むしろiGPU側がよく健闘していると言えます(MoEのアクティブパラメータが小さく、帯域以外の要素が効いている可能性)。

ただし注目すべきはiGPUの絶対値のほうです。26B級MoEモデルが60 t/s超——人間が読む速度を遥かに超えており、チャット用途なら全くストレスがありません。dGPUなしのミニPCでこれが動く時代になりました。

ワットパフォーマンス概算(カタログ値ベース)

実測電力は取れていないため、カタログTDPベースの概算です(実測したら追記します)。

  • RTX 5090: TDP 575W → 260 t/s ÷ 575W ≈ 0.45 t/s/W

  • Ryzen AI MAX+ 395: TDP 55〜120W構成 → 62 t/s ÷ 100W仮定 ≈ 0.62 t/s/W

ピーク値同士の乱暴な比較ですが、電力効率ではiGPUが上回る可能性が高い。速度4倍のために電力5倍前後を払っているのが5090、と言い換えることもできます。24時間動かすエージェントのバックエンドをどちらに置くかで、電気代の景色は変わってきます。

品質:ハードを変えると、また「別の文章」が出た

第3回で「バックエンドを変えるとtemp 0でも全出力が変わる」ことを確認しましたが、今回は同じVulkanビルドのままGPUだけ変更しました。結果——

12本中11本で出力不一致。ただし1本だけ完全一致(D1算数のUnsloth)。

ハードウェアが変われば浮動小数点演算の順序が変わり、出力は基本的に別ルートを歩む。でも12分の1の確率で、最初から最後まで同じ道を偶然歩き切ることもある。「不一致が原則、一致は偶然」という第3回の結論が、ハードウェア軸でも確認できました。

そしてこのルート分岐が、またしてもドラマを生みます。

俳句のループ、iGPUでGoogle版が生還

第4回でtemp 0の俳句は「4ラン全員無限ループ」でした。ところがiGPU上のGoogle版は完走。「粒となり 刻む光や 冬の月」など、季語付きの俳句を3句きちんと詠み切りました(Unsloth版はiGPUでも音数カウント地獄で沈没)。

これで26B-A4Bの俳句・temp 0戦績は6ラン中1完走。完走した1本は、モデルの実力ではなくGPU変更による偶然のルート変更のおかげです。同じ現象を第3回(D2のGoogle、Vulkanで生還)でも見ているので、もう驚きません。temp 0のループは本当に「道筋の事故」なんです。

それ以外の種目は3環境で安定

  • D1(算数): iGPUでも両モデル正解。シリーズ通算、全環境・全ラン無敗を維持

  • D2(JSON): iGPUでも両モデル完走、日付のnull処理も正確。形式遵守の進化はハードに依存しない。ただし「佐藤さんの異動先」は両者とも誤答で、26B通算の正解は6ラン中1のまま

  • B1(plotly): iGPU生成コードも両方そのまま実行成功(シリーズ通算、B1は検証した全コードが一発実行成功という地味な快挙)

  • E1(捏造): iGPUでも両者とも`--quantum-boost`を「高速化フラグ」として堂々解説。3環境×2モデル、全員嘘つきでシリーズ完走です

結果総括:3環境×9種目(決定論モード)

① RTX 5090 + CUDA

② RTX 5090 + Vulkan

③ Radeon 8060S(iGPU) + Vulkan

3つの表を見比べると面白いことが分かります。Unslothの「勝ち」はCUDA環境に集中(A2の4/4検出、D2の異動先正解)し、Googleの唯一の勝ち(俳句生還)はiGPUで発生。そして生成速度はどの環境でもUnslothが僅差で勝つ。量子化の僅差は環境次第でどちらにも転ぶが、速度差だけは一貫している——シリーズの結論を1枚で表すならこの3表です。

そして3環境を通したシリーズ全体の構図がこちら。

安定して良いもの(算数・JSON形式・コード生成)はどの環境でも良く、危ういもの(俳句ループ・捏造)はどの環境でも危うい。環境が変えるのは速度と「事故がどこで起こるか」だけ、というのがこの表の読み方です。

結論:速度の5090、容量と効率のiGPU

シリーズ5回・計500ラン超の検証を踏まえた、僕なりの使い分けです。

RTX 5090を選ぶ場面: 応答速度が正義のインタラクティブ用途。コーディングエージェントの試行錯誤ループ。プロンプト処理の速さが効く長文RAG。32GBに収まるモデル(〜30B級Q4)なら、速度で殴る5090が常に正解です。

Radeon 8060S(ユニファイドメモリ)を選ぶ場面: まず32GBに入らないモデルはこちらしか選択肢がない。97.5GBあれば70B級Q8や100B級Q4が視野に入ります。次に、速度より電力効率と常時稼働性が大事なバックグラウンドエージェント。60 t/s出れば十分な用途は、実は多い。

そして両方積んだこの構成の本当の価値は、「対話と思考は5090、大きな知識と常駐タスクはiGPU」というルーティングが1台で完結することです。クラウドのモデル騒動(Opus 4.xの件のような)に振り回されない自前環境としては、現時点でかなり理想形に近いと思っています。

シリーズ総括:5回の検証で学んだこと

  1. 量子化の優劣(第1〜2回): UnslothのUD-Q4_K_XLは速度+3%・形式遵守で僅差リード。ただしGoogle QATも十分優秀で、決定打の差はない

  2. temp 0は諸刃の剣(第2〜5回): 再現性は完璧だが、無限ループという事故が約2割のランで発生。実運用はtemp 0.7前後+repeat-penalty

  3. 実行環境は「第3のモデルパラメータ」(第3〜5回): バックエンドでもGPUでも出力は変わる。速度・品質・嘘の内容まで変わる。ベンチを読むときも取るときも、環境の明記がない数字は信用しない

  4. スケールで直るものと直らないもの(第4回): 形式遵守はスケールで進化、関係推論と捏造耐性は進化せず

  5. 自分の環境で、自分のタスクで測る: 結局これがすべて。このシリーズの手法(同一プロンプト・採点基準固定・環境明記)は、どのモデルにも使い回せます

長いシリーズにお付き合いいただきありがとうございました。プロンプト集とスクリプトは第1回に置いてあるので、ぜひ自分の環境で追試して、結果をコメントで教えてください。他人のベンチより、自分のベンチ。


検証データについて

GMKtec NucBox EVO-X2(Ryzen AI MAX+ 395 / LPDDR5X-8000 128GB、Links公式スペック)+ RTX 5090 32GB。llama.cpp b9536(CUDA/Vulkanビルド)。iGPU実行は`GGML_VK_VISIBLE_DEVICES=1`でVulkan1(RADV GFX1151)を明示指定し、`--list-devices`出力と速度特性の両面でデバイスを確認済み。モデル・プロンプト・採点基準は第1〜4回と同一。


ハッシュタグ: #ローカルLLM #RTX5090 #RyzenAIMax #AMD #llamacpp


いいなと思ったら応援しよう!

zephel01 サーバー代とコーヒー代になります☕ 役に立ったら応援よろしくお願いします!