異色AIモデル同士を“合体”：Sakana AIが開発した革新的な技術『M2N2』

　異なる専門性を持つ複数のAIモデルを効果的に統合する手法として、Sakana AIが開発した進化的アルゴリズム「M2N2」が注目を集めています。

　従来のモデル融合では、パラメータの混合比率を手動で調整する必要があり、最適な組み合わせの探索に限界がありました。M2N2は生物の進化原理を応用し、モデル同士を「競争」させることで多様性を維持しながら、互いの弱点を補い合う「相補的なペア」を自動選択して融合します。

　本研究では、手書き数字認識（MNIST）での基礎実験から、70億パラメータ規模の大規模言語モデル、さらには最新の画像生成モデルまで、3つの異なるスケールで手法の有効性を実証しました。

　特に、数学に特化したモデルとショッピングタスクに特化したモデルを融合し、両方のタスクで高性能を達成した事例は、破滅的忘却を回避しながら複数の専門能力を統合できることを示しています。

　本稿では、この革新的な融合技術の仕組みと可能性について、技術的背景から実験結果まで体系的に解説します。

Spotifyでわかりやすく音声配信：「らみのAIテックラジオ」

　世界経済フォーラムの調査では「2030年に必要なスキル」の第5位に「好奇心と生涯学習」がランクイン。好奇心は趣味ではなく経済的必須スキル。
拙著『AI時代の最強スキル「好奇心力」』で詳説しています。

まえがき

　オープンソースのAIモデルが急速に増加する中、それぞれのモデルは特定のタスクや言語に最適化され、独自の強みを持っています。例えば、日本語に特化した画像生成モデルや数学問題に強い言語モデルなど、専門性の高いモデルが次々と公開されています。

　しかし、実用場面では複数の能力を兼ね備えたモデルが求められることが多く、単一モデルを追加学習させると既存の能力を失う「破滅的忘却」という問題に直面します。

　モデル融合は、この課題に対する有望なアプローチですが、従来手法には重大な制約がありました。膨大なパラメータの組み合わせから最適解を見つける計算コスト、異なるモデル間の干渉による性能劣化、そして手動での試行錯誤に依存する非効率性です。

　M2N2は、これらの課題を進化的アプローチで解決します。固定的な融合パターンから脱却し、モデルの境界自体を動的に進化させながら、データポイントごとの「資源競争」で多様性を自然に維持する仕組みを導入しました。

背景

解決する課題

単一の巨大なモデルをゼロから学習させるアプローチは、膨大な計算資源を必要とします。一方で、既存のモデルを特定のタスクに適応させるファインチューニングは、元のモデルが持っていた汎用的な能力を失ってしまう「壊滅的忘却」という問題に直面しがちです 。これに対し、モデルマージは、複数の専門化した事前学習済みモデルの「良いとこ取り」をすることで、これらの課題を回避する有望な代替案として登場しました。この技術は、モデルの重みを更新する勾配計算を必要としないため、計算コストが低く、メモリ効率も良いという利点があります。さらに、壊滅的忘却のリスクを伴わずに、異なる能力を統合できる可能性を秘めています 。  

しかし、そのプロセスは単純ではありませんでした。初期のモデルマージは、どのモデルをどのくらいの比率で混ぜ合わせるかという係数を手作業で調整する、まさに試行錯誤の世界でした。この非効率性を解決するため、後に進化計算などの手法が導入され、最適な混合比率の自動探索が可能になりましたが、根本的な課題は残されたままでした 。  

既存研究の流れ（関連研究）

モデルマージ技術の発展は、手動から自動への移行の歴史と捉えることができます。当初、Stable Diffusionのような画像生成モデルのコミュニティでは、実践者たちが線形補間（Linear Interpolation）や球面線形補間（SLERP）といった手法を駆使し、手動で係数を調整しながら好みの画風を持つモデルを生み出していました 。  

その後、研究者たちはこのプロセスをより体系化しようと試みます。TIESやDAREといった手法は、複数のモデルをマージする際に生じるパラメータ間の「干渉」を最小限に抑えることで、各モデルの長所を損なわずに統合することを目指しました 。さらに、CMA-ESのような進化戦略アルゴリズムが導入され、最適なマージ係数を自動で探索する研究が進みました。これにより、マージの効率は飛躍的に向上しました 。  

しかし、これらの先進的な手法にも共通する制約がありました。それは、マージを行う前に、人間がモデルのパラメータを固定的なグループ（例えば、ニューラルネットワークの「層」単位）に手動で分割しなければならないという点です。下の図（Figure 1 左）が示すように、従来の手法では、モデルAとモデルBを層ごとに区切り、それぞれの層に対して混合比率を探索していました。このアプローチは、層という構造的な単位を超えた、より微細で複雑なパラメータの組み合わせの可能性を最初から排除してしまっていたのです。これが、既存研究が直面していた「ガラスの天井」でした。

図1: 左側は、従来のモデルマージ手法を示しています。各シードモデルのパラメータを固定された境界（例：層）に従ってグループ化し、各グループを混合するための係数セットを探索します。右側は、M2N2のアプローチを示しており、ランダムな分割点を用いてモデルのアーカイブを進化させ、より多くの係数と境界を段階的に探索します。  

　また、効果的なマージには、多様な能力を持つモデル群を維持することが不可欠です。遺伝的アルゴリズム（GA）の世界では、この「多様性維持」のためにMAP-Elitesのような手法が開発されてきました。

　しかし、これらの手法は、どのような多様性（例えば「奇数の数字に強い」「偶数の数字に強い」など）を維持すべきかを人間が手動で定義する必要があり、モデルやタスクが複雑化する現代のAIにおいては、有効な多様性の指標を設計すること自体が極めて困難になっていました 。  

この研究が解決する課題・どう解決するのか

　本研究が提案するM2N2は、これら二つの根深い課題、すなわち「固定されたマージ境界」と「有効な多様性の維持」を、自然界の進化から着想を得た統合的なアプローチで解決します 。  

　M2N2は、単にマージの係数を最適化するだけでなく、マージの構造、個体群の多様性、そして親の選択プロセスという三つの要素を同時に共進化させる、より全体論的なアプローチなのです。

方法論

提案手法

　提案手法は「Model Merging of Natural Niches (M2N2)」と名付けられました。これは、3つの主要な特徴を持つ進化アルゴリズムです 。  

提案手法の直感的な説明

　M2N2の核心的なアイデアは、自然界の巧みな生存戦略をAIモデルの進化に応用することにあります。

提案手法詳細

提案手法の構成コンポーネントや、仕組みの詳細

1. 動的なマージ境界

　M2N2は、固定されたモデルの構造に縛られません。まず、M2N2は複数のモデルを保持する「アーカイブ」を維持します。進化の各ステップで、このアーカイブから2つの親モデルAとBをランダムに選び出します。

　次に、これらのモデルの全パラメータを一次元のベクトル（長い数列）として扱います。そして、このベクトル上のランダムな一点を「分割点 (ws​)」としてサンプリングします。

　分割点より前の部分はモデルAとBのパラメータをある混合比率 (wm​) で補間し、分割点より後の部分は残りの比率 (1−wm​) で補間します。最後に、これら二つの部分を結合（concat）して新しい子モデルを生成します 。  

　このプロセスを繰り返すことで、M2N2は世代を経るごとに、より広範な境界と係数の組み合わせを探索していきます（図 1 右参照）。この段階的な複雑性の導入は、広大な探索空間を効率的に探索しつつ、計算コストを現実的な範囲に抑える上で極めて重要です 。  

2. 資源競争による多様性維持

　M2N2は、多様性を維持するために、評価（適応度計算）の仕組みに工夫を凝らしています。通常、モデルの性能は、評価データセット全体での正解数の合計などで測られます。しかしM2N2では、データセットの各サンプル（例えば、1枚の画像や1つの質問）を、限られた量しか存在しない「資源」と見なします 。  

　具体的には、あるデータサンプルから、モデル群全体が得られる総適応度（フィットネス）に上限（キャパシティ）を設けます。そして、個々のモデルがそのサンプルから得られる適応度は、そのサンプルに対する自身のスコアが、アーカイブ内の全モデルのスコアの合計に対してどれくらいの割合を占めるかに比例して決まります。

　この仕組みにより、多くのモデルがすでに高スコアを出している「競争の激しい」サンプルで少しスコアを上げるよりも、他のモデルが全く解けていない「未開拓の」サンプルでスコアを出す方が、はるかに大きな適応度を得られるようになります。

　これにより、個々のモデルは他者との競争を避けて独自のニッチを開拓するよう動機付けられ、結果としてアーカイブ全体で多様な能力が維持されるのです 。  

3. 魅力度に基づくペアリング

　効果的なマージは、優れた子孫を生み出すための鍵です。M2N2は、このペアリングのプロセスに「魅力度スコア」というヒューリスティックを導入します 。  

　まず、1体目の親モデルAは、前述の競争を考慮した適応度に基づいて選ばれます。次に、2体目の親モデルBを選ぶ際には、モデルAとの相性を測る特別なスコア、すなわち魅力度スコアが計算されます。このスコアは、以下の要素を高く評価するように設計されています 。  

　このインテリジェントな「配偶者選択」により、M2N2は単に強いモデル同士を組み合わせるのではなく、互いの弱点を補い合い、相乗効果を生み出す可能性が最も高いペアを優先的に選び出します。

　特にLLMのような巨大モデルのマージは計算コストが高いため、一回一回のマージの成功確率を高めるこの仕組みは、全体の効率を大幅に向上させる上で決定的な役割を果たします 。  

実験方法

実験結果

実験1: MNIST分類器 - 基礎能力の証明

　ゼロからモデルを進化させる実験では、M2N2は他のすべてのモデルマージ手法を圧倒し、最高のテスト精度を達成しました（図 2 左）。特に注目すべきは、競争メカニズムを持たないGAの振る舞いです。

　GAは交叉（マージ）操作を行うことで序盤は性能を伸ばしますが、多様性を維持できないため、すぐに性能の低い解に早期収束してしまいました。

　交叉操作は多様性を減少させる効果があるため、M2N2の競争メカニズムのような強力な多様性維持の仕組みがなければ、かえって探索の妨げになることが示唆されています 。  

図2: ランダムに初期化されたモデルから開始した場合（左）と、事前学習済みモデルから開始した場合（右）の、フォワードパス数に対するテスト精度の推移。M2N2は両方のシナリオで優れた性能を示しています。  

　図 3は、M2N2の多様性維持能力をさらに裏付けています。左のグラフは、アーカイブ内のいずれかのモデルが正解できる訓練データの割合（訓練カバレッジ）を示しており、M2N2が迅速にほぼ全てのデータをカバーし、その状態を維持していることがわかります。

　対照的にGAはカバレッジが急速に低下します。右のグラフ（エントロピー）が示すように、M2N2は多様な解を探索しつつ（エントロピー上昇）、最終的には高性能なモデルに収束していく（緩やかなエントロピー低下）という、健全な進化プロセスを辿っています 。  

図3: 訓練カバレッジ（左）と集団の性能の多様性（エントロピー、右）の推移。M2N2は高いカバレッジと健全な多様性を維持しています。  

実験2: LLM - 複雑なスキルの統合

　LLMのマージ実験でも、M2N2は最高の性能を発揮しました。表 1が示す通り、M2N2によって生成されたモデルは、数学（GSM8k）とウェブ操作（WebShop）の両方で高いスコアを記録し、平均スコアで他のすべての手法を上回りました。

　この結果で特に重要なのは、M2N2の主要コンポーネントの有効性です。「w/o splitpoint」（動的分割点なし）や「w/o attraction」（魅力度なし）のモデルは性能が低下しており、これらの仕組みが複雑なスキル統合に不可欠であることが実証されました。

　特に、層ごとのマージしかできないCMA-ESが低いスコアに留まったことは、固定的な境界がいかに性能のボトルネックになるかを明確に示しています 。  

実験3: 画像生成 - 創発的能力と壊滅的忘却の克服

　この実験は、M2N2の最も驚くべき能力を明らかにしました。表 2が示すように、M2N2で生成されたモデルは、客観的な画質指標（NCS、FID）で全てのベースモデルおよびCMA-ESによるマージモデルを上回りました 。  

　質的な評価（図 6）では、M2N2モデルが各親モデルの長所（例えば、Juggernautの写実性やJSDXLの日本語理解力）を統合し、弱点を補っている様子が確認できます 。  

図6: 各シードモデルとM2N2マージモデルによる生成画像の比較。M2N2は各モデルの長所を統合し、高品質な画像を生成しています。  

　そして、最も重要な発見は「創発的なバイリンガル能力」です。M2N2は、進化の過程で日本語のキャプションに対する性能のみを最適化していました。にもかかわらず、完成したモデルは、Figure 7とTable 3が示すように、英語のプロンプトに対しても極めて高い理解力を保持・発揮したのです。

図7: 各モデルに日本語と英語のプロンプトを与えた際の生成画像。M2N2は両方の言語で高品質な画像を生成しています。  

　これは、ファインチューニングで頻繁に見られる「壊滅的忘却」を、M2N2の勾配フリーなアプローチが根本的に回避していることを示唆します。

　日本語性能を上げるためにモデルの重みを直接書き換えるのではなく、英語能力を持つ親モデルのパラメータブロックをそのままの形で、最適な場所に「移植」するような形で統合したため、元々の能力が損なわれなかったと考えられます。

　これは、モデルマージが単なる能力の足し算ではなく、予期せぬ能力を創発させうる、堅牢な転移学習メカニズムであることを示す強力な証拠です 。

考察

なぜこの手法が優れているのか

　M2N2の優位性は、その3つの核心的メカニズムが相乗効果を生み出している点にあります。

　第一に、「資源競争による多様性維持」が、進化の燃料となる高品質で多様な「遺伝子プール」を常に供給します。これにより、GAのように安易な局所解に陥ることを防ぎ、持続的な性能向上を可能にします。MNIST実験の図 3が示した高い訓練カバレッジは、このメカニズムが効果的に機能している直接的な証拠です 。  

　第二に、「動的なマージ境界」が、従来の固定的な層単位のマージでは到達不可能だった、広大で未知のパラメータ組み合わせ空間への扉を開きました。

　これは生物の遺伝的組換えに相当し、両親が持っていなかった全く新しい形質を生み出す原動力となります。LLM実験でCMA-ESがM2N2に及ばなかったのは、この探索空間の広さの差が決定打となったと考えられます 。  

　第三に、「魅力度に基づくペアリング」が、この広大な探索空間を闇雲に探索するのではなく、最も有望な領域に絞って効率的に探索することを可能にしました。計算コストの高いマージ操作の一回一回の価値を最大化するこの「賢い配偶者選択」は、特にLLMや拡散モデルのような大規模モデルを扱う上で不可欠な要素です 。  

　M2N2は、AIモデルの開発を、人間が静的な設計図を描く「建築」から、自律的なシステムが動的に最適な解を見つけ出す「生態系の育成」へと転換させるアプローチであり、その哲学的な転換こそが、本質的な優位性の源泉と言えるでしょう。

この手法を既存のものと比較した優位性・劣位性

　この課題に対し、研究者らは非常に興味深い未来の展望を提示しています。それは、M2N2のような仕組みの中でモデル群を共進化させ続ければ、モデル同士がマージの互換性を維持しようとする「進化的圧力」が働くのではないか、という仮説です。

　互換性を失うような方向に進化したモデルは、他者と交配して子孫を残すことができなくなり、進化の袋小路に入って自然淘汰される可能性があります。これは、M2N2が単発のマージ技術に留まらず、相互運用可能なAIモデルからなる一つの「生態系」を長期的に維持・発展させるための基盤技術となりうることを示唆しています 。  

結論

　本稿では、進化的アルゴリズムによるモデル融合手法M2N2をご紹介しました。M2N2は「競争と引き寄せ」というコンセプトのもと、モデル同士を進化的に交配させて1つの強力なモデルを生み出す最先端の方法です。

　固定的な融合パターンにとらわれず、モデル間の競争で多様性を確保し、相互補完的なペアを選ぶことで効率良く性能を引き出す。このユニークな戦略により、M2N2は従来困難だったモデル融合を高次元で実現しました。

　具体的な成果として、ランダム初期からのモデル進化で高い精度を達成し、異なる能力を持つ言語モデルの統合では両方のタスクをこなせるモデルを獲得、画像生成モデルの融合では画質と指示理解の両面で単体モデルを上回る性能を示しました。

　これらはすべて、M2N2の持つ柔軟性・多様性維持・効率的探索の賜物です。特に、大規模モデル同士でも破滅的忘却なく能力を統合できた点は、今後の実用にも大きな可能性を示しています。

　この研究の意義は、単に一手法の性能が良かったというだけでなく、進化的手法の新たな地平を開いたことにもあります。交配相手の選択に着目し、暗黙的競争で多様性を制御する発想は、他の進化的最適化問題にも応用できる普遍性を持つでしょう。

　本手法は現在、画像生成AIコミュニティなどで盛んなモデル合成の動きをさらに発展させ、将来的にはユーザが複数の好みのモデルを組み合わせて自分専用のモデルを「ブリーディング（品種改良）」する、といった世界も夢ではありません。

あとがき

　M2N2の成功は、モデル融合という技術領域に新たな可能性を示しました。競争原理による暗黙的な多様性維持と、魅力スコアによる相補的ペア選択という二つの機構は、単純でありながら効果的な解決策です。

　特に注目すべきは、この手法が勾配計算を必要としない点です。これにより、異なる目的で訓練されたモデル同士でも、それぞれの訓練データにアクセスすることなく統合が可能となりました。

　本研究の実験結果は、小規模な分類タスクから数十億パラメータの言語モデルまで、スケールを問わず有効性を示しています。今後、オープンソースモデルのエコシステムがさらに発展する中で、ユーザーが複数のモデルを自由に組み合わせて独自のモデルを構築する時代が到来するかもしれません。M2N2はその基盤技術となる可能性を秘めています。

　進化的アルゴリズムの知見をモデル融合に応用した本手法は、AIモデルの開発パラダイムに一石を投じました。複数の専門性を持つAIを効率的に統合する技術は、より汎用的で実用的なAIシステムの実現に向けた重要な一歩となるでしょう。

　本稿を通して得られたアイデアや知識が、あなたのビジネスに少しでも役立つことを願っています。もし、本稿が参考になったと感じていただけましたら、ぜひ「いいね」や「フォロー」をしていただけると励みになります。今後も実践的なノウハウやAI最新動向を共有していきますので、引き続きお読みいただけると嬉しいです。

注記
　本稿は2025年8月に発表された研究論文を基に執筆しました。AI技術は急速に進化しており、本稿の内容は執筆時点での最新情報に基づいています。実務への適用を検討される際は、最新の技術動向と規制要件を確認することをお勧めします。

References

　本稿の内容にさらに深い関心を持たれた読者のために、参考文献をいくつか紹介します。

Yadav, P., Tam, D., Choshen, L., Raffel, C., & Bansal, M., "TIES-Merging: Resolving Interference When Merging Models," arXiv:2306.01708 (2023).
　複数のLLMをマージする際に生じるパラメータの干渉を解決するための手法を提案した研究です。M2N2が登場する以前の、自動マージ技術における重要な一歩と位置づけられています。

Mouret, J. B., & Clune, J., "Illuminating search spaces by mapping elites," arXiv:1504.04909 (2015).
　本稿でも比較対象として登場したMAP-Elitesアルゴリズムを提案した独創的な論文です。単一の最高性能の解ではなく、性能と多様性の両方を同時に最適化する「Quality-Diversity」という分野を切り拓きました。M2N2が取り組む多様性維持問題の文脈を理解する上で不可欠です。

Stanley, K. O., & Miikkulainen, R., "Evolving neural networks through augmenting topologies," Evolutionary computation 10, 2 (2002), 99-127.
　ニューラルネットワークの構造（トポロジー）と重みを同時に進化させる画期的なアルゴリズム「NEAT」を提案した古典的な論文です。遺伝的アルゴリズムを用いて複雑なAIシステムを進化させるというアイデアの源流の一つであり、M2N2の思想的背景にも通じるものがあります。

⚠️　重要：ChatGPTを使いこなせる人は全体の3割以下
なぜか？「質問力」の差です。
実は、AIから10倍の価値を引き出す「問いの立て方」には科学的な法則があります。Googleが20%ルールで実証し、Amazonのベゾスも推奨する方法。全て『AI時代の最強スキル「好奇心力」』で公開中。
AIが瞬時に「答え」を返す今、勝負の分かれ目は「問い」にある。その秘密と明日の仕事で使える13の実践ツールを凝縮した拙著『AI時代の最強スキル「好奇心力」』もぜひチェックしてみてください。

「あなたの考え、もっと明快に伝えませんか？」
　発売から25年以上、思考法の"バイブル"として読み継がれる不朽の名著。本書は、コンサルティングの名門マッキンゼーで開発された思考の整理術「ピラミッド原則」の全てを解説します。
　結論から考え、根拠を構造化する技術を身につければ、あなたのレポートやプレゼンは劇的に分かりやすくなります。複雑な問題をシンプルに捉え、説得力を飛躍的に高める一生モノのスキルがここに。
　時代や職種を問わず、全てのビジネスパーソン必読の一冊です。

　問いの本質を見抜き、現状把握→課題抽出→解決策立案という3ステップを体系化。戦略ファームの面接対策にも通用する“本質的な論理思考”を事例と演習で鍛える構成が特長です。35万部超の「東大ノート」シリーズ最新作。
「コンビニの売上を上げるには？」といった実践的なケース問題を通し、単なる知識やフレームワークではなく、物事の本質を見抜く「思考のプロセス」そのものを徹底的に鍛えます。
　単なる知識ではなく、一生使える「考える力」を手に入れたい方に最適。就活生からベテランビジネスパーソンまで、思考力を次のレベルに引き上げる必読書。

なぜ高学歴者が詐欺に遭い、専門家が初歩的なミスを犯すのか？本書は「知性が高いほど陥りやすい思考の罠」という衝撃的な真実を科学的に解明します。
著者ロブソンは、ノーベル賞受賞者の失敗から医師の誤診まで豊富な事例を分析。IQや学歴だけでは防げない「認知バイアス」の正体を暴きます。自分の知識を過信し、批判的思考を怠ることで、むしろ賢い人ほど大きな過ちを犯しやすいという逆説。
本書が提示するのは単なる警告ではありません。「メタ認知」「知的謙虚さ」など、真の賢さを身につける具体的方法も満載。ビジネスでの意思決定、投資判断、日常生活まで、あらゆる場面で役立つ実践的な知恵が詰まっています。
「自分は大丈夫」と思っている人ほど読むべき一冊。知性の限界を知ることで、本当の知性が身につきます。

生成AI時代の羅針盤となる決定版。東京大学松尾・岩澤研究室が総力を結集し、生成AI最新動向を徹底解説。ChatGPT登場以降、急速に進化する生成AI技術の現在地と未来を、日本を代表するAI研究者たちが包括的に分析しています。
2025年3月刊行、技術の核心からビジネス活用、国内外の法規制、そして安全性に至るまで、今知るべき情報を網羅的に解説。AIエージェントやマルチモーダル化といった最新トレンドも押さえています。
生成AIビジネスに関わるすべての方にとって必携の一冊。激動するAI業界で確かな判断を下すために、信頼できる情報源です。