【ローカルLLM】Meta Muse-Glimmer 30Bを使ってみた話【Meta最新LLM】

Catapp-Art3D

2026年8月11日 08:47

はじめに

Muse-Glimmerとは、MetaのクローズモデルSpark 1.2をベースに、小型へ蒸留＆オープンウェイト化したモデルとされています。

MetaはしばらくオープンウェイトLLMを出していなかったので久々の公開だと思います。AIエージェントやコーディング向けモデルです。

※ しかし、30BのDenseモデルなので、実用的に利用するには、24GBクラスのVRAMが必要になります。現状の一般的な16GB VRAMでは（CPU動作が必要になるので）使い物にならないと思います。

設定

ollamaの場合は、現状はMac（MLX版）のみの対応なので、ゲーミングPCで利用する場合はLM Studioになります。

動作確認

次の動作環境で確認します。

Ryzen 7 5700x （64GB DDR4-3200）
RTX5060ti 16GB×二枚（32GB VRAM）

筆者は、llama-server（llama.cpp）コマンドを直接利用して動作確認します。ただし、LM Studioと大きな差はありませんでした。

※ llama-serverコマンドを利用した理由は、Dflash（MTPのように、より小型のモデルを投機的に利用して高速化する手法）の動作を確認したかったからですが、残念ながらマルチGPUには非対応で、速度向上には繋がりませんでした。動作はしますが、より遅くなります。MTPのように完全に分離して実行するのではなく、本体モデルと蜜に連携するため、現状では1 GPUに最適化されているようです

パフォーマンス

※ draftモデルは利用していません

LLAMA_SERVER=llama-server
CTX=131072

MODEL="$HOME/.cache/lm-studio/models/unsloth/Muse-Glimmer-30B-GGUF/Muse-Glimmer-30B-UD-Q4_K_XL.gguf"
D_MODEL="$HOME/.cache/lm-studio/models/unsloth/Muse-Glimmer-30B-GGUF/dflash-kquant.gguf"
M_MODEL="$HOME/.cache/lm-studio/models/unsloth/Muse-Glimmer-30B-GGUF/mmproj-kquant.gguf"

${LLAMA_SERVER} \
    -a llama-muse-glimmer-30b-UD-Q4_K_XL \
    -m ${MODEL} \
    --port 60717 \
    -c ${CTX} \
    --flash-attn on \
    -np 1 \
    --context-shift \
    --jinja \
    --model-draft ${D_MODEL} \
    --split-mode tensor \
    --reasoning on \
    --mmproj ${M_MODEL} \
    --n-gpu-layers 999 \

長文テスト