【RTX 5090 32GB ベンチマーク】RTX 3090との比較｜Qwen3.6-35B-A3B + ローカルLLM実測

はじめに

RTX 3090（24GB）での実測記事（Vol.1）に続き、RTX 5090（32GB）が届いたので同条件でベンチを取りました。

RTX 5090 32GB 購入に至るまでの話

前回のRTX 3090 24GBのベンチマーク

3090記事の要点：

• Qwen3.6-35B-A3B IQ4_NL：149.81 t/s（131k context）

• 電力リミット 320W で速度低下わずか 2%

• Speculative Decoding は MoE では逆効果（-30%）

5090で何が変わるか（事前予想）：

• 32GB VRAM → Q5_K_M がフルGPUで収まる（3090では無理だった）

• Blackwell (sm_120) → Flash Attention・Tensor Core の世代向上

• メモリ帯域 約1.8TB/s（3090 GDDR6Xの約1.9倍）→ MoEの Expert ロードが速くなるはず

検証環境

ビルド手順（RTX 5090 / Blackwell 対応）

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# Blackwell (sm_120) 専用ビルド
cmake -B build \
  -DGGML_CUDA=ON \
  -DCMAKE_CUDA_ARCHITECTURES=120 \
  -DGGML_CUDA_FA_ALL_QUANTS=ON
cmake --build build --config Release -j$(nproc)

実測結果

量子化別 t/s 比較（p512 / tg256）

PP（Prefill）速度 も一緒に：

コンテキスト長 vs 速度（IQ4_NL、KVキャッシュを実際に埋めた状態）

TGがほぼ完全にフラットというのが最大の発見。512トークンから131k KVキャッシュを全部埋めた状態まで、TG速度は229〜230 t/sで変わらない。MoEの active parameter（3B）がボトルネックであり、KVキャッシュの読み出しは帯域に余裕があるということ。

電力リミット別速度（Q4_K_M、TG Sweet Spot探し）

TGは400Wから575Wまで完全に横ばい。PPだけが電力に連動して変わる。

考察

TGが1.5〜1.6倍に伸びた理由

RTX 5090のメモリ帯域は約1.8TB/s（RTX 3090 GDDR6X: 約935 GB/s）。ほぼ1.9倍の帯域が、そのままMoE Expertウェイト読み出し速度の向上につながっている。

Q4_K_MのTGが240 t/sと最速になっているのも合理的で、Q4_K_Mは量子化サイズと帯域効率のバランスが良く、Blackwellの量子化カーネルとも相性がいいと考えられる。

Q5_K_Mが2.2倍になったのは構造的な差

3090ではQ5_K_M（24.63 GiB）がVRAM 24GBに収まらず、一部をCPUへオフロードしていた。その結果105 t/sに落ちていた。5090の32GBにはフルで収まり232 t/sが出た。これは「5090が速い」ではなく「3090ではそもそも正しく動いていなかった」に近い。

TGがコンテキスト長に依存しない

16kから131kまでTGが229〜230 t/sでほぼ変わらない。3090でも同様の傾向があったが、5090では帯域に余裕があるため、KVキャッシュ（q8_0）の読み出しが完全にボトルネックから外れている。長文チャットでも速度低下が体感できないレベル。

Sweet Spotは400W

TG速度は400Wで既に最大値に達している。PPは400Wと575Wで約7%の差があるが、TGは0.1%以内。チャット用途（TG中心）なら400W設定で電力・発熱を抑えながら同じ速度が出る。

実際の消費電力を`nvidia-smi dmon`で確認したところ、TG推論中は325〜332Wで頭打ちになっていた。575W TDPに対して約57%。電力リミットを400Wに設定しても余裕で下回るため、実運用上は400Wが理にかなっている。

温度はフルロード時でも最大55°C。騒音・熱設計の余裕は相当ある。

電力管理（5090用・結論）

# Persistence Mode 有効化（必須）
sudo nvidia-smi -pm 1

# TG用途なら400Wで十分
sudo nvidia-smi -pl 400

# 確認
nvidia-smi -q | grep -E "Power Limit|Current Power"

# systemd 自動設定
sudo tee /etc/systemd/system/nvidia-power-limit.service > /dev/null <<'EOF'
[Unit]
Description=NVIDIA GPU Power Limit
After=nvidia-persistenced.service

[Service]
Type=oneshot
ExecStartPre=/usr/bin/nvidia-smi -pm 1
ExecStart=/usr/bin/nvidia-smi -pl 400
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target
EOF
sudo systemctl enable --now nvidia-power-limit.service

まとめ

RTX 5090の実態は「帯域が2倍になったGPU」そのもの。MoEモデルはウェイトの読み出し速度がほぼ全てを決めるので、帯域の伸びがダイレクトにt/sの向上につながった。Q5_K_Mがフルで使えるようになった点も実用上大きい。

次回はSpeculative Decoding（Draft: Qwen3.6-0.6B）と5090の相性を検証予定。MoEで逆効果だった3090と同じ結果になるかどうか。

#ベンチマーク #llamacpp #RTX5090 #RTX3090 #LocalLLM #Qwen #ローカルLLM爆速