【PC系日記】NVIDIA Tesla V100導入……見送りの巻
以前の日記でGeForce RTX 5060Ti 16GBと、RTX 3050 8GBの二枚差しにした件について書きましたが、2枚目として使っていたRTX 3050はVRAMが8GBなので、もうちょい大きいモデル(Qwen35Bあたり)を速く使えれば私の用途では、より実用的――と思い、アリエクで中古のNVIDIA Tesla V100のSXM2という特殊な形式のカードをPCI-Eに変換するアダプターとヒートシンクにシロッコファンまでついたタイプのものを手に入れた訳です。
コレ系のコレクターズアイテム(?)では、昨年に、BC-250というPS5の選別オチ品がマイニング用マシンとして売られていたらしきものを手に入れて、Steam専用機としてなかなか美味しく使えて重宝しましたが(笑)、その二匹目のドジョウを狙ったというかなんというか……。
しかしながら、このV100のカード、なかなかのジャジャ馬でして――まずBIOS(UEFI)でAbove 4Gその他の必要な設定はしたんですが、Windows11が起動したときに認識せず(汗)、こりゃ一筋縄ではいかないな、と唸りました。
そこで、Gemini先生に環境を示して尋ねると「そりゃ、あんたのマザーボードだと、2つめのPCIE16のスロットに挿したら、見た目と違って2×8レーンだから認識しないかもよ?」とのアドバイスを貰って、1つめ(一番上)の16レーンのスロット(通常はグラフィックボード用)に挿したら今度は認識して、なんとかドライバも入れて、よしLM Studioを起動だ!と意気込んだのですが……Tensor Parallelismができない……タスクマネージャーにそもそも、V100が表示されていない……何故??
――ということで、またGemini先生に聞いてみると、「ドライバーを正しくインストールしてもタスクマネージャーに表示されない最大の原因は、ドライバーが「TCC(Tesla Compute Cluster)モード」で動作しているためです。」とのことで、そうだったのか!と一つ賢くなりました(苦笑)。
で、ID=1になっているGeForce RTX 5060TiがWDDMモード(通常のグラフィックボードの動作モード)で動作しているのと整合していないのが問題っぽく、Gemini先生も「V100 の動作モードを WDDM に変更すべきです」とのことで、動作モードをWDDMモードに変更する「nvidia-smi -g 0 -dm 0」というコマンドを試してみました。ところが、「Unable to set driver model for GPU 00000000:01:00.0: Not Supported Treating as warning and moving on. All done.」とのことで? また、Gemini先生に聞いてみると「SXM2 版の V100: ファームウェア(VBIOS)レベルで TCC モードに完全固定 されており、WDDM モードへの変更がハードウェア仕様としてサポートされていません。」とのことで、そりゃそうか……という感じでした。
とりあえず、正常動作しているか確認するため、LM Studioで、「優先順位」でモデルをロードするようにして、「GeForce RTX 5060Tiのみ」「V100のみ」をそれぞれオンにして、Gemma 4 E4Bを読ませてみると――大丈夫でした。
V100単体では、HBMの帯域のせいか、私の環境では、私のGeForce RTX 5060Ti単体の約2倍のトークン生成スピードがありました。うーん、流石に、2017年の当時は1万ドル以上したカードだけはありますが……先の日記でちょっと書いたんですが、my環境では、ランタイムをVulkanにしてRyzen 7 5700GのAPU演算パワーまで使った方が全然速いので、かなり微妙でした。で、そのVulkanでは、↑のTCCモードのV100は認識されないのです……。
……とりあえず、気を取り直して、ConfyUIで、いくつかモデルを実行しようとしたところ、LTX Director2(LTX-2.3)は、WDDMで実行されてないとダメなようで(by Gemini先生)、他のモデルもFP16関連のエラーを吐きまくりで停止――CUDA関連の設定を色々いじれば多分イケそうな感じだったんですが、これも結構面倒そう……。
消費電力は、アイドル時に50W弱アップ――で、これは想定内で許容範囲だったんですが、最大の問題は音がうるさいことでした。アリエクのレビューは「静かです」というのがあったんですが、私の環境ではエアフローの問題で(古いケースを使っているので……)、結構、ファンが回りまくるようになってしまい、ちょっと常用は無理かな~という感じでした。これだったら、ファンを別に取り付けるタイプのものを買って大きいファンをつけるとかすれば良かったんですが、こっちの方が安かったんですよね……。で、メインPCでの使用を断念し、結局、3050を差し直して、元の構成に戻しましたとさ。
うーん、こうなったら、DDR4メモリーと古いCPUは、まだ余っているので、ぼちぼちとLinuxでもう一台組んで、家で常時稼働のLLMサーバーをV100を使って一台作ろうかな~と思います(そうやって、パソコンらしきものが家にどんどん増えていく……)。どうせなら、170HXという怪しいボードも導入したい感じですが、かなり高騰しているんでちょっと難しそうです(苦笑)。
まあ、実際のところは、GeForce RTX 5060Ti 16GB、もう一つ買えばまったく問題なかったんですが――現状、買った時点の1.5倍以上の値段になっていて私的には高杉でして、5070Tiなんか20万くらいするし……今回は、ちょっと斜め上的なボードにロマンを求めたのが失敗という感じでした(苦笑)。
普通、PC系パーツの値段は、どんどん量産化&陳腐化で半額とかにドカドカ下がるのが普通なのにAIブームと円安が嘆かわしいなあ、と愚痴って、今日の日記を終わりたいと思います。
それでは、また!
いいなと思ったら応援しよう!
よろしければ応援お願い致します! いただいたチップは執筆の諸経費に使わせていただきます!