【ついに来た！】LM StudioでGPU並列処理ができるようになった話【Tensor Parallelism】

はじめに

LM Studioのアップデートがあり、LLM推論をGPU並列処理できるTensor Parallelismが追加されました。

筆者はRTX 3060 12GBを二枚利用していますが、アップデート前のものはほとんど並列演算をしておらず、基本的にメモリ合算の恩恵しかありませんでした。（それでもAI演算はVRAMに乗るか乗らないかが最重要なので、大きな利点なのですが）

BlenderのGPU並列レンダリングのように、動作速度を向上させるには、LM Studioで利用しているllama.cppではなく、vLLMのTensor Parallelを利用する必要がありました。

設定

LM Studioとランタイムを最新バージョンにします。

ハードウェア設定を変更します

動作確認

※ Linux mint 22.3 Ryzen7 5700x 64GB + RTX3060（12GB×2=24GB）

Unsloth Qwen3.6-27B-MTP IQ3-XXS（64kコンテキスト実行）を利用します。従来のMTP版は30token/sです。

※ ただし、おま環かもしれませんが、コンテキストの量子化を有効化すると落ちました

GPUの消費電力もほぼ100％です。無駄なく利用できています。つまり、PCIe（4x）等のボトルネックがないという事です。

まとめ

ついに、気軽に使える並列GPUの時代がやってきました。MTPと並列効率上昇で20 token/s→48 token/sになった事になります。凄い！

RTX3060/4060ti/5060tiを二枚利用するコスパ・ユーザーにとっては飛躍的な機能追加だと思います。

ollamaも独自エンジンを諦めて完全なllama.cpp（llama-server）に回帰する変更を頑張っているようです。筆者はインタラクティブ利用に便利なollama仕様の方が好きなので、エンジンはLM Studioと同じ機能が利用できれば良いなと思います。

おまけ

支援者様（メンバーシップ）向けに、本記事のテストで動作した設定を添付しています。ほとんどデフォルトですが。