LLM用にRTX 3060（12GB）を2枚集めれば幸せになれるかもしれない話

はじめに

昨今のメモリやGPU高騰で、パソコン環境を手軽に新調できない状況が続いていますが、将来のアップグレードなどは考えずに、現状で最も安く、LLMが動作する実用的な環境を構築する方法は、旧GPUであるRTX 3060 12GBを２枚利用する事だと思います。

※ 筆者がしばらく利用しているマルチGPU環境のレビューです。筆者の環境はLinuxですが、Windowsでもほぼ同じ用途が可能です

画像生成AIでは、複数のGPUでメモリ合算するのは難しいのですが、LLM（大規模言語モデル）では、ollamaやlm-studioのほぼすべてのモデルで合算並列動作が可能で、安定して運用できます。

つまり、12GBのVRAMを搭載したGPUを二枚利用すれば、合算して24GBのメモリ空間になるので、最近の肥大化傾向のローカルLLM（20B〜30B規模）の多くをGPU動作させる事ができます。

※ 特に、RTX4090世代までのハイエンドは24GBが最大なので、モデル開発側もVRAM 24GBを意識していると思います。（家庭用パソコンを想定なら、24GB以下に抑える必要がある）

RTX 3060を二枚利用すると

• ✅ 消費電力が少ない

  • RTX 3060は相対的に省電力ではありません。しかし、他の12GB以上搭載のGPUは、１枚で350〜400Wが必要なハイエンドモデルしかないので、RTX3060を2枚利用しても最大340〜360W程度なのは利点です。LLM用途では真の並列演算ではないので、仕組み的に100％利用する事もありません。推論中は最大でも60％程度です。

  • ※ 筆者環境ではCPUも軽量なので、750W電源で問題なく動作していますが、ハイエンドGPU一枚を想定した電源が推奨です

• ✅ LLM用途でのPCIeはボトルネックにならない

  • 通常のATX規格マザーボードでは、物理的なPCIeの16xスロットを二枚利用できます。しかし実際には半分だったり、下位の規格で動作する事がほとんどです。筆者環境の3.0のx4以上であれば、ボトルネックになる事は経験していません。（※ しかし言い換えると、RTX 3060のGPU演算が遅いからボトルネックにならないだけで、ハイエンドGPU二枚ならば大きなボトルネックになると予想されます）

• ✅ ollamaやlm-studioでは画像生成AIと異なり（現状では）FP8推論モードがないので、40xxや50xxと比べて古いアーキテクチャであっても素の演算能力以外の差がない

• ✅ gpt-oss 20BやQwen3 30B A3Bモデルで128kコンテキストを利用できる

  • 少し設定が必要ですが、VRAM 24GB内にすべて収まるため、60〜80 token/s・128kコンテキストをすべて埋め尽しても30 token/s程度で動作します

• ❌ ただし、グラフィックボード周辺を物理的に専有するので排熱に注意する必要があります。

gpt-oss 20Bを快適に利用できます。※ RTX 5060ti 16GBのVRAMだと微妙に128k運用が難しいです

# ollama ps
NAME              ID              SIZE     PROCESSOR    CONTEXT    UNTIL       
gpt-oss:latest    17052f91a42e    17 GB    100% GPU     131072     Stopping...

必要VRAMが大きく増加するVLMも快適に利用できます。

まとめ

プロ用途やお金が余っている場合（数十万円〜数百万円）は多くの選択肢がありますが、「自宅パソコン・ミドルゲーミングPC」の範疇でLLMを快適に利用するには、RTX 3060✕２枚が最もコスパが良いと思います。

さすがに中古や新古でないと入手困難だと思いますが、２枚で６〜７万弱程度なので、RTX 5060ti 16GBよりも安いです。

動画や画像生成用途ならVRAMを合算できないので、素直に最新世代で良いと思いますが、LLM用途であれば、（あと１年以上は価格高騰が続きそうなので）変則的に旧世代をあえて選ぶ選択肢もありだと思います。

以下、関連する記事の【PR】です。