Kimi K2 の概要

以下の記事が面白かったので、簡単にまとめました。

1. Kimi K2

「Kimi K2」は、32B個のアクティブパラメータと1Tの合計パラメータを備えた、最新の「Mixture-of-Experts」モデルです。非思考モデルの中でも、最先端の知識、数学、コーディングにおいて最先端の性能を実現します。さらに、エージェントタスク向けに綿密に最適化されているため、「Kimi K2」は単に答えを出すだけでなく、行動します。

本日、以下のモデルをオープンソース化します。

2. ベンチマーク

2-1. Kimi-K2-Base

以下の表は「Kimi-K2-Base」の性能をまとめたものです。幅広いタスクにおいて、最先端のオープンソースの事前学習済みモデルと同等かそれ以上の性能を発揮しています。「Kimi-K2-Base」は、特に知識集約型およびReasonkingベンチマークで優れた性能を示し、自然言語理解、数学、コード生成において優れた性能を発揮しています。

2-2. Kimi-K2-Instruct

以下の表は、「Kimi-K2-Instruct」の性能をまとめたものです。多様なタスクにおいて、最新のオープンソースおよびプロプライエタリモデルと同等、あるいはそれ以上の性能を発揮していることを示しています。このモデルは、知識集約型およびReasoningベンチマークにおいて優れた性能を示し、自然言語理解、数学・科学、コード生成、そしてエージェントツールの利用において卓越した成果を上げています。

3. Open Agentic Intelligence

事前学習は、「Agentic Intelligence」にとって極めて重要な基盤であり、強化学習 (RL) による探索を扱いやすく、効率的で、一般化可能なものにするための事前確率を確立します。しかし、Ilya Sutskever も指摘しているように、人間のデータは有限の「化石燃料」であり、その成長はコンピューティングのペースに大きく遅れをとっています。そのため、事前学習中のトークン効率は、AIのスケーリング則における新たな重要な係数となります。

事後学習は、「Era of Experience」(David Silver, Richard Sutton, 2025) において極めて重要です。この時代において、LLMは自ら生成したインタラクションからますます学習し、報酬を得ることで人間のデータの限界から解放され、人間の能力を超えることが可能になります。

「Kimi K2」は、まさにこうした洞察から生まれました。

4. MuonClip Optimizer

厳密さを考慮せず、ほぼ有限の事前学習データセットと固定のモデル構成が与えられた場合、よりトークン効率の高い最適化器はより多くの知性を生成します。MoonshotAIの以前の研究であるMoonlightでは、Muon最適化器がLLM学習において広く使用されているAdamW最適化器を大幅に上回る性能を発揮することが実証されています。

「Kimi K2」は、「DeepSeek-V3」に類似したアーキテクチャを採用する「Moonlight」をさらにスケールアップするために設計されました。スケーリング則の解析に基づき、ロングコンテキスト効率のためにヘッド数を減らし、トークン効率を高めるためにMoEのスパース性を高めました。スケールアップの過程で、私たちは根深い課題に直面しました。それは、アテンションロジットの爆発によって引き起こされる学習の不安定性です。これは、MoonshotAIの実験では「Muon」ではより頻繁に発生し、AdamWではそれほど頻繁に発生しませんでした。ロジットのソフトキャップやクエリキーの正規化といった既存の解決策は不十分であることがわかりました。

この問題を解決するため、提案するqk-clip技術を用いて「Muon」を改良する「MuonClip Optimizer」を導入します。具体的には、qk-clipは、「Muon」の更新後にクエリとキーの射影の重み行列を直接再スケーリングすることで学習を安定化させ、ソースにおけるアテンションロジットのスケールを制御します。

実験では、「MuonClip」が下流タスクの性能を維持しながら、ロジット爆発を効果的に防止できることが示されました。実際に、「Kimi K2」は「MuonClip」を用いて15.5Tトークンで事前学習され、学習スパイクはゼロでした。これは、「MuonClip」が安定した大規模LLM学習のための堅牢なソリューションであることを実証しました。

5. エージェント機能

「Kimi K2」の強化されたエージェント機能は、大規模なエージェントデータ合成と汎用的な強化学習という2つの重要な側面から生まれています。

5-1. ツール使用学習のための大規模エージェントデータ合成

モデルに高度なツール使用能力を学習させるため、ACEBenchに着想を得た包括的なパイプラインを開発しました。このパイプラインは、現実世界のツール使用シナリオを大規模にシミュレートします。私たちのアプローチは、数千ものツール (実際のMCP（Model Context Protocol) ツールと合成ツールの両方を含む) を含む数百のドメインを体系的に進化させ、多様なツールセットを備えた数百のエージェントを生成します。

すべてのタスクはルーブリックベースであり、一貫した評価が可能です。エージェントはシミュレーション環境およびユーザーエージェントとインタラクションを行い、現実的な複数ターンのツール使用シナリオを作成します。LLMジャッジは、シミュレーション結果をタスクルーブリックに照らし合わせて評価し、高品質なトレーニングデータをフィルタリングします。このスケーラブルなパイプラインは、多様で高品質なデータを生成し、大規模な棄却サンプリングと強化学習への道を開きます。

5-2. 汎用強化学習

重要な課題は、検証可能な報酬と検証不可能な報酬の両方を持つタスクに強化学習 (RL) を適用することです。検証可能なタスクの典型的な例は数学や競技コーディングですが、研究レポートの作成は通常、検証不可能と見なされます。検証可能な報酬を超えて、私たちの汎用強化学習システムは、モデルが自ら批評家として機能する自己判断メカニズムを採用し、検証不可能なタスクに対してスケーラブルでルーブリックベースのフィードバックを提供します。

一方、検証可能な報酬を伴うオンポリシーロールアウトは、批評家を継続的に更新するために使用され、批評家は最新のポリシーに対する評価精度を向上し続けます。これは、検証可能な報酬を用いて検証不可能な報酬の推定を改善する方法と見なすことができます。

6. はじめる

6-1. kimi.com で Kimi K2 を試す

本日より、Kimi の Web およびモバイルユーザーは、新しい「Kimi K2」を無料で選択して利用できます。現在、Web およびアプリ向けの MCP 機能はまだ開発中です。今後数週間以内に展開を開始する予定です。それまでの間、Researcher でエージェント機能を試すことができます。「Kimi K2」では、ビジョン機能はまだサポートされていません。

6-2. API で Kimi K2 を使用

Kimi プラットフォームは OpenAI/Anthropic 互換のインターフェースを提供しており、既存のアプリケーションを Kimi K2 に簡単に適応させることができます。エージェントアプリケーション構築用のツール呼び出しについて詳しくは、platform.moonshot.ai を参照してください。

6-3. Kimi K2 を独自に利用

「Kimi K2」は、「vLLM」「SGLang」「KTransformers」「TensorRT-LLM」のいずれかの推論エンジンで実行することをお勧めします。詳しくはデプロイ手順については、GitHub リポジトリを参照してください。

6-4. 今後の展望

「Kimi K2」はオープンなエージェントインテリジェンスの強固な基盤として機能しますが、汎用エージェントは思考や視覚理解といったより高度な機能を使用します。今後、これらの機能を「Kimi K2」に追加する予定です。

6-5. 制限事項

Reasoningの難しいタスクやツール定義が不明瞭なタスクを扱う場合、モデルが過剰なトークンを生成し、出力が切り捨てられたり、ツール呼び出しが不完全になったりすることがあります。さらに、ツールの使用を有効にすると、特定のタスクで性能が低下する可能性があります。完全なソフトウェアプロジェクトを構築する場合、ワンショットプロンプトは、エージェントフレームワークでK2を使用する場合と比較して性能が低下します。