Fixing jsons to RTX5060ITi 16GB

2025年8月16日 17:55

Fixing nodes to RTX5060Ti 16GB

序

RTX5060Ti 16GBへGPU換装の為、以降は専用VRAM16GB前提のjsons作成と各種設定に切り替えていきます。

恐らく一部のjsonsでは、RTX4070 12GBよりも速度は低下するでしょうが、まあ概ね恩恵はあるでしょう。

特に、従来12GBを若干超える感じで動作していたControlNet付のFlux1-dev.fp16.safetensors関係jsonsの高速化は、SA-2++とWaveSpeedを組み合わせた時に圧倒的でした。~~元々、家庭用GPU向けに開発されていないFA-3も、Adaと比して多少はBlackwellに利点が生じるかもしれません。~~
(現時点、BlackwellではFA-3を使用できない。xformersは、FA-2又はcutlassで動作させるしかなく、SDXL以上はSA-2++を基本としていく)

一方、MultiGPUによるDistorchを使用してきた動画生成系jsonsでは、設定をアジャストしない事には寧ろ遅くなるケースもありましたし、torch.compileを外した方が高速であるケースが増えました。

RTX4070 12GB売却による実質的な支出

購入したMSI GeForce RTX 5060 Ti 16G VENTUS 2X OC PLUS グラフィックスボード VD9137商品価格78,768円に対し、

売却したMSI GeForce RTX 4070 VENTUS 2X 12G OC グラフィックスボード VD8471の収入が35,000円となり、

差し引き、実質的な支出額は43,768円でした。

Flash Attention-3

現状、xformers側のビルドは0.0.31登場初期に問題だったFA-3ビルド不良はクリアしていますが、逆にBlackwellコア側で正常にFA-3を使用できない状態に陥っています。

ロードできない訳ではなく、ロードすると落ちます。


PS D:\userfiles\comfyui> python_embeded\python.exe -m xformers.info
xFormers 0.0.32.post2
memory_efficient_attention.ckF:                    unavailable
memory_efficient_attention.ckB:                    unavailable
memory_efficient_attention.ck_splitKF:             unavailable
memory_efficient_attention.cutlassF-pt:            available
memory_efficient_attention.cutlassB-pt:            available
memory_efficient_attention.fa2F@0.0.0:             unavailable
memory_efficient_attention.fa2B@0.0.0:             unavailable
memory_efficient_attention.fa3F@2.8.0.post2-3-g3ba6f82: available
memory_efficient_attention.fa3B@2.8.0.post2-3-g3ba6f82: available
memory_efficient_attention.fa3F_splitKV@2.8.0.post2-3-g3ba6f82: available
memory_efficient_attention.triton_splitKF:         available
indexing.scaled_index_addF:                        available
indexing.scaled_index_addB:                        available
indexing.index_select:                             available
sp24.sparse24_sparsify_both_ways:                  available
sp24.sparse24_apply:                               available
sp24.sparse24_apply_dense_output:                  available
sp24._sparse24_gemm:                               available
sp24._cslt_sparse_mm_search@0.0.0:                 available
sp24._cslt_sparse_mm@0.0.0:                        available
swiglu.dual_gemm_silu:                             available
swiglu.gemm_fused_operand_sum:                     available
swiglu.fused.p.cpp:                                available
is_triton_available:                               True
pytorch.version:                                   2.8.0+cu129
pytorch.cuda:                                      available
gpu.compute_capability:                            12.0
gpu.name:                                          NVIDIA GeForce RTX 5060 Ti
dcgm_profiler:                                     unavailable
build.info:                                        available
build.cuda_version:                                1208
build.hip_version:                                 None
build.python_version:                              3.9.13
build.torch_version:                               2.8.0+cu128
build.env.TORCH_CUDA_ARCH_LIST:                    7.5 8.0+PTX 9.0a
build.env.PYTORCH_ROCM_ARCH:                       None
build.env.XFORMERS_BUILD_TYPE:                     Release
build.env.XFORMERS_ENABLE_DEBUG_ASSERTIONS:        None
build.env.NVCC_FLAGS:                              -allow-unsupported-compiler
build.env.XFORMERS_PACKAGE_FROM:                   wheel-v0.0.32.post2
build.nvcc_version:                                12.8.93
source.privacy:                                    open source
PS D:\userfiles\comfyui>

なので、当面SDXL以上はSA-2++を使い、SD1.5に関してはFA-2又はcutlassを使う想定をしています。

Fixed xformers for Blackwell

ここまで、SAやFA-3を適用する為の改造技術を公開してきましたが、FA-3は現状Blackwellにおいて使用できない為、FA-2及びcultlassへのフォールバックを行う改造を順次公開していきます。

完全改訂版 Fixing A1111 for Flash Attention-3

A1111に関しては、Blackwellにおいても以下改造適用時により、自動的にFA-2或いはcutlassにフォールバックされます。但し、FA-2は内装されていない為、別途インストールが必要です。

For ComfyUI、Forge、reForge

ComfyUI、Forge、reForgeにおいては、xformersが自動的に優先してFA-3をロードする可能性があり、それがエラーの原因となる為、以下の方法で対処してください。

\venv\Lib\site-packages\xformers\flash_attn_3\_c.pydを削除する。
(削除するよりも別の場所にバックアップしておくと良い)

Forge及びreForgeに関しては、Blackwellにおいても、自動的にFA-2或いはcutlassにフォールバックされます。但しFA-2は内装されていない為、別途インストールが必要です。

また以下の改造適用により、各種カーネル使用状況を可視化できます。

当然ながら、私が以前公開したForge系WebUIへのSA適用改造とのオンオフも効きます。以下の様に、SAオンであればSA-2++が適用されます。

Fixed reForge for Sage-Attention-2++

Fixed Forge for Sage-Attention-2++

Fixed nodes to RTX5060Ti 16GB

WAN2.2 t2i 14B FP16 GGUF with lightx2v LoRA 6steps＆Upscaler

一つずつRTX5060Ti 16GBに最適化する形で調整してきますが、とりあえず、元々Distorchの効き方がおかしかったClownsharkを使用したWAN2.2t2iから最適化が完了しました。

DistorchなしでClownshark Sapmler処理はギリ、専用VRAM16GB未満に収まります。torch.compileはFlux1.SのUpscaleでは使用しますが、Clownsharkに対しては使用していません。

WAN2.2 i2i with lightx2v LoRA 6steps＆FaceDetailer＆Upscaler on Flux1-S

こちらも結局、WAN2.2に対してはDistorchもtorch.compileも廃止しました。16GBあれば、Distorch無しでサンプラー処理は専用VRAM内に収まります。加えて各部を相当改良しています。

Qwen Image BF16 GGUF t2i with lightx2v-Lightning LoRA 8steps＆Face Deatiler＆Upscaler

こちらも結局、Distorchもtorch.compileも廃止しました。UpscalerでFlux1に対してはtorch.compileを使用します。

フルサイズのBF16.GGUFでも、16GBあればDistorch無しでサンプラー処理は専用VRAM内に収まりますが、以下ではQ8を使用します。理由は、以下記事内で解説しています。加えて各部を相当改良して再公開しました。