見出し画像

【ローカルLLM】Macaron-V1-Tallを使ってみた話【Qwen3.6 35B A3B】


はじめに

Macaron-V1-Tallとは、Mind Lab社が開発したQwen3.6 35B A3BベースのLLMです。

Mind Lab社の詳細情報がないので不明ですが、同モデルの論文の記載から、どこかに存在するMind Lab社と中国上海の国立復旦大学(Fudan University)の共同開発モデルのようのようです。

以下、同モデルで要約したものです。

Macaron-V1 の概要

Mind Lab が発表した、エージェントモデル「Macaron」の最初の公式リリースです。以前の Preview から進化した Mixture-of-LoRA (MoL) アーキテクチャを採用し、**「適応(Adaptation)」「協調(Collaboration)」**を次のAI時代の鍵として位置づけています。

モデルのバリエーション
V1は以下の2つのバリエーションで提供されます。Macaron-V1-Venti (748B)
フラッグシップモデル。GLM-5.2をベースモデルとし、4つの1Bパラメータ LoRA スペシャリスト(Chat, Agent, Coding, GenUI)を組み合わせた MoE モデルです。
GLM-5.2 で初めてポストトレーニングが行われた最初のモデルです。
Macaron-V1-Tall (50B)
ローカル展開を目的とした小規模モデル。Qwen 3.6 をベースにしています。

主な技術的特徴と改善点Mixture-of-LoRA (MoL): チャット、エージェント作業、コーディング、UI生成の4つのスペシャリスト LoRA を搭載し、タスクごとに最適な専門家を選択します。これにより継続的な学習が可能になっています。
GLM-5.2 ベース: 強力なベースモデル GLM-5.2 を採用し、IndexCache などの新技術を初期からサポートしています。
LongStraw (長文コンテキスト RL): 最大 446万トークンの長期コンテキストに対する強化学習を可能にする新しいトレーニングインフラです。
MinT & MindForge: MinT は大規模学習用プラットフォーム、MindForge は再帰的自我改善(RSI)を行うフレームワークです。

評価とベンチマークPersonal Intelligence (個人的知能): Macaron が重視する「ユーザーの日常生活における有用性」を測るために、独自ベンチマーク ChatBenchLivingBench を構築しました。
広範な能力: コーディング(SWE-Verified 等)、UI4A (Generative UI) などを評価し、Opus 4.8 や GPT-5.5 などの最先端モデルと比較しています。Venti は多くのトラックでフロントティアのモデルに匹敵するか、それ以上の性能を発揮しました。

Macaron-V1 の概要

つまり、フラッグシップとしてGLM-5.2ベースを、小型エッジ向けとしてQwen3.6 35Bベースを採用しているモデルです。

GGUFへ変換

マイナーモデルかつ新しいため、ollamaで利用するには、自分でgguf形式に変換する必要があります。最も一般的な手法(llama.cpp)で変換します。
※ あらかじめgit-lfsやllama.cppのビルド等が必要です

# huggingfaceモデルのダウンロード(70GBあります)
git clone https://huggingface.co/mindlab-research/Macaron-V1-Tall Macaron-V1-Tall

# bf16へ変換
python convert_hf_to_gguf.py Macaron-V1-Tall --outfile Macaron-V1-Tall-BF16.gguf --outtype bf16

# Q4_K_Mへ変換
build/bin/llama-quantize Macaron-V1-Tall-BF16.gguf Macaron-V1-Tall-Q4_K_M.gguf Q4_K_M

動作確認

※ RTX5060ti 16GB×2=32GB環境での動作です

Qwen3.6 35B A3B推奨パラメータだと暴走しがちだったので、少し調整しました。Temperatureは少し下げた方が良さそうです。

(ollama) Open WebUI

次の値をollamaモデルファイルで設定しています

  • PARAMETER min_p 0

  • PARAMETER presence_penalty 1.5

東大入試問題

※ パラメータを調整すると安定しましたが、Qwen3.6 35Bデフォルト値だとご乱心しがちでした。

正解です(109 token/s)

論理問題

2分と考えすぎですが、ベースモデルのQwen3.6 35Bも似たようなものです。

正解です(108 token/s)

ミニゲーム

土管ジャンプゲーム(シンプル):問題なく動作します
土管ジャンプゲーム(グラフィック強化):問題なく動作します
横スクロールゲーム:弾がでません
なんどか再生成、修正しましたが、あまり改善しませんでした。しかし惜しいクオリティです。

日本語能力

特に問題はありません

他にもいくつかの英文記事を日本語で要約させましたが、Qwen3.6 35Bで良く起こるハングルや簡体字混ぜは発生しませんでした。なかなかの性能だと思います。

まとめ

論文で解説しているMoEとMoLの本質的な違いが筆者には良くわかりませんが、ベースモデルのQwen3.6 35B A3Bよりも使い勝手は良さそうに感じます。

特にコーディング能力は、ベースモデルよりも明らかに上回っていると思います。

以下、関連する記事の【PR】です


いいなと思ったら応援しよう!