見出し画像

【衝撃】エヌビディア最強AI『Nemotron 3 Super』を網羅的に解説します!なぜ凄いのかメカニズム的に知ろう!

みなさん、こんにちは。
AI共創イノベーション・ワンダー佐藤です。

2026年3月11日、NVIDIAがGTCで発表した「Nemotron 3 Super」。これ、単なる「また新しいモデル出ました」という話じゃないんです。AIが自律的に動く「エージェントAI」の時代に向けて、アーキテクチャそのものを根本から再設計したモデルなんですよね。

今日はこのNemotron 3 Superを、「なぜ凄いのか」をメカニズムの視点から網羅的に解説していきます。

また、従来のAIエージェントには「思考コスト」や「コンテキスト爆発」などの問題もありました。これをNemotron 3 Superが、どのようにクリアしていくのかも説明しますので、AIエージェントに興味がある人は必見の内容となります!

【関連動画】

👇記事が難しいと感じらた動画をご覧ください(記事よりもわかりやすく説明しています)



そもそもNemotron 3 Superって何?

まず全体像をつかみましょう。

Nemotron 3 Superは、NVIDIAが開発したオープンな大規模言語モデルです。Nemotron 3ファミリーの中間サイズに位置していて、小型の「Nano」(30B総パラメータ/3B アクティブ)と、今後登場予定の大型「Ultra」(約500B総パラメータ)の間にあるモデルですね。

ここがポイントです。総パラメータ数は1,200億(120B)あるのに、推論時に実際に動くのはわずか120億(12B)。つまり、全体の約10%しか使わないんです。

「え、それで大丈夫なの?」と思いますよね。でも、ここにこのモデルの設計思想があるんです。大量の知識を蓄えつつ、実際の計算では最小限のリソースしか使わない。知識量と計算効率を両立させる——これがMoE(混合エキスパート)アーキテクチャの真骨頂です。

そしてこのモデルの最大の特徴は、エージェント型AIに最適化されていること。複雑な推論、コーディング、ツールの呼び出し、長時間にわたるタスク実行など、AIが自律的に動くワークフローのために設計されています。


三位一体のハイブリッドアーキテクチャ

Nemotron 3 Superの心臓部は、3つの異なるレイヤーを組み合わせたハイブリッド構造になっています。

Mamba-2レイヤー:高速処理の立役者

モデルの88層のうち、大部分を占めるのがMamba-2レイヤーです。

従来のTransformerは、入力が長くなると処理時間が二次関数的に増えてしまいます。100万トークンの文章を扱おうとすると、計算量が爆発的に膨れ上がるんですね。

Mamba-2はSSM(状態空間モデル)と呼ばれるアーキテクチャで、入力の長さに対して線形時間で処理できます。つまり、入力が2倍になっても処理時間は2倍程度で済む。だからこそ、100万トークンという巨大なコンテキストウィンドウが「理論上」ではなく「実用的に」成り立つわけです。

さらに、推論時にはKVキャッシュ(過去の入力に対する計算結果を保持しておくメモリ領域)の代わりに固定サイズの状態を使うので、メモリ消費も抑えられます。

Transformerアテンションレイヤー:精度の要

ただし、Mamba-2だけでは弱点があります。特定のトークン同士の正確な関連づけ——いわゆる「連想記憶」が苦手なんです。

そこで、88層のうち戦略的な位置にTransformerのアテンション層が配置されています。これが「グローバルアンカー」として機能し、長い文脈の中から必要な情報を正確に引っ張ってくる役割を果たします。GQA(Grouped-Query Attention)——複数のクエリが少数のキー・バリューを共有することでメモリを節約する仕組み——を採用していて、32個のクエリヘッドと2個のKVヘッドという構成です。

アテンション層はわずか8層しかないので、KVキャッシュのメモリ負荷も最小限。100万トークンでもBF16で約7.6GBと、非常にコンパクトに収まっています。

LatentMoE:革新の核心

そしてここが今回最大の技術的ブレークスルーです。

従来のMoE(Mixture of Experts)は、入力トークンをそのままの次元でエキスパートに送り込んでいました。でも、これだとエキスパートの数を増やすほどGPU間の通信コストやメモリ帯域がボトルネックになります。

LatentMoEでは、発想を転換しています。

まず、トークンをモデルの隠れ次元(4,096次元)から、4分の1の潜在空間(1,024次元)に圧縮します。この圧縮された状態でエキスパートに振り分け、エキスパートも潜在空間の中で計算を行い、最後にまた元の次元に戻す。

ちょっと意外ですよね。「圧縮したら精度が落ちるんじゃ?」と思うかもしれません。

でも、ここに秘密があります。圧縮で節約できた計算・通信コストの分だけ、エキスパートの数を4倍に増やしているんです。通常のMoEなら128個程度のエキスパートが、LatentMoEでは1層あたり512個。アクティブに使われるエキスパートも、従来の5〜6個から22個に増えています。

結果として、推論コストはほぼ同じなのに、モデルが持つ専門性のバリエーションが爆発的に広がる。Pythonの文法に強いエキスパート、SQLロジックに詳しいエキスパート、数学的推論が得意なエキスパート……512個の中から、そのタスクに最適な22個が選ばれて動くわけです。


推論を爆速にする2つの仕組み

アーキテクチャの革新に加えて、推論速度を加速させる仕組みが2つあります。

マルチトークン予測(MTP)

通常の言語モデルは「次の1単語」を予測して、1つずつ生成していきます。これが長いテキストだと、かなり時間がかかるんですね。

MTPでは、1回のフォワードパスで複数の将来トークンを同時に予測します。これらの予測はメインモデルで一括検証されるため、「ネイティブな投機的デコード」として機能します。

少し整理しますね。通常の投機的デコード(先にざっくり予測して、あとからまとめて検証する高速化手法)では、メインモデルとは別にドラフトモデル(下書き用の軽いモデル)を用意する必要があります。でもNemotron 3 SuperのMTPは、モデル自体にドラフト機能が内蔵されている。だから余計なモデルを用意する必要がなく、追加のKVキャッシュやレイテンシもほとんど発生しません。

実際の計測では、1回の検証ステップで平均3.45トークンが受理されるという結果が出ています。これはDeepSeek-R1の2.70トークンを上回るものです。

NVFP4でのネイティブ事前学習

ここ、大事なところです。

多くのモデルは、まずフル精度(BF16やFP32)で学習して、あとから量子化(精度を落とす)します。でもこの方法だと、どうしても精度が落ちるんですよね。

Nemotron 3 Superは違います。最初の勾配更新からNVFP4(4ビット浮動小数点)で学習しています。つまり、4ビットの制約の中で正確に動くように、最初から鍛えられているんです。

これはNVIDIAの最新GPUアーキテクチャ「Blackwell」に最適化された精度形式で、E2M1の要素フォーマットに16要素のマイクロブロック、E4M3のスケーリングファクタという構成です。

ここで注意してほしいのが、よく見かける「FP8比で4倍高速」という表現です。NVIDIAの公式ブログでは、これはB200上のNVFP4とH100上のFP8の比較です。つまり、ハードウェア世代の違いも含んだ数値なんですね。同一ハードウェアでの同モデル比較ではないので、この点は正確に理解しておく必要があります。


エージェントAIに特化した訓練手法

Nemotron 3 Superの訓練は、3つのフェーズで行われています。

Phase 1: 事前学習(25兆トークン)

25兆トークンを2つのフェーズに分けて学習しています。第1フェーズは20兆トークンで幅広い知識をカバー。第2フェーズは5兆トークンで、高品質データに集中して精度を磨いています。

ただし、ここでよくある誤解を正しておきます。「25兆トークンの学習データがすべて公開されている」と思われがちですが、実際に公開されているのは推定8〜10兆トークン分(全体の40〜50%程度)です。コードデータやクロールデータの一部は含まれていません。

Phase 2: SFT(教師あり微調整)

SFT(Supervised Fine-Tuning)は、人間が用意した正解データを使ってモデルの振る舞いを調整するフェーズです。実際に遭遇するタスクの種類に合わせて、出力の質を磨きます。

Phase 3: 強化学習(NeMo Gymによるマルチ環境RL)

ここがエージェントAI向けの肝です。

NVIDIAは独自のオープンソースライブラリ「NeMo Gym」を使って、多様な環境での強化学習を行っています。数学の解答やコードの実行結果など、プログラムで検証可能な正誤を基準にした報酬でモデルを訓練しているんです。

注目してほしいのは、単一のターンで良い回答をするだけではなく、複数ステップのアクション——ツール呼び出し、コード生成、計画立案——の正しさを評価している点です。これにより、長い作業フローの中で推論がブレる「ゴール・ドリフト」を抑制しています。

推論バジェット制御

もう一つユニークな機能が、推論バジェット制御です。ユーザーが「思考プロセスにかけるトークン数の上限」を設定できます。

身近な例で言えば、簡単な質問には素早く答えてほしいけど、複雑な数学の問題にはじっくり考えてほしい。そんな使い分けが、推論バジェットを調整するだけでできるわけです。精度とコスト(レイテンシ)のバランスを柔軟にコントロールできます。


パフォーマンスと評価

スループット比較

Nemotron 3 Superは、同規模のモデルと比較して圧倒的な推論速度を誇ります。

ただし、この比較には条件があります。公式の数値はB200 GPU上で、8kトークン入力/64kトークン出力という設定で測定されています。しかも、比較対象のGPT-OSS-120BはMXFP4/MXFP8精度、Qwen3.5-122BはBF16での測定です。

つまり、量子化精度やハードウェア条件が異なるため、単純に「7.5倍速い」とだけ言うのはフェアではありません。独立機関のArtificial Analysisによる検証では、同一GPU(B200)上でGPT-OSS-120B(MXFP4)と比較して約11%のスループット向上という、より控えめな結果も出ています。

もちろん、11%でもアドバンテージがあり、しかも精度は同等以上。十分に優れたモデルであることは間違いないですね。

ベンチマーク

DeepResearch BenchとDeepResearch Bench IIで1位を獲得しています。これは、大量の文書を横断して多段階のリサーチを行う能力を測るベンチマークです。PinchBenchではOpenClawエージェントのブレインとして85.6%のスコアを達成し、同クラスのオープンモデルで最高成績を記録しています。

多言語サポート

サポート言語は英語、日本語、中国語、フランス語、ドイツ語、イタリア語、スペイン語の7言語です。なお、事前学習データにはアラビア語、韓国語、ポルトガル語なども含まれていますが、公式にサポートされている言語は上記の7つです。


オープン性:何が公開されているのか

Nemotron 3 Superの大きな特徴の一つが、そのオープン性です。

公開されているものを整理すると、モデルの重み(BF16、FP8、NVFP4の3種類)、事前学習・後学習のデータセット(推定8〜10兆トークン分)、学習レシピ、15の強化学習環境、そして評価用のスクリプトです。

ライセンスはNVIDIA Nemotron Open Model Licenseで、商用利用OK。ファインチューニングした派生モデルの所有権もユーザーのものです。帰属表示は必要ですが、かなり使いやすい条件になっています。


ファクトチェックで気づいた注意点

この記事を書くにあたってファクトチェックを行った中で、ネット上でよく見かける不正確な情報を整理しておきます。

1.「FP8比で4倍高速」について これはB200(Blackwell世代)上のNVFP4と、H100(Hopper世代)上のFP8を比較した数値です。同一ハードウェア上での比較ではないので注意が必要です。

  1. スループット比較の「最大7.5倍」について この数値は特定のベンチマーク条件(8k入力/64k出力、B200 GPU)で、かつ比較対象が異なる量子化精度で測定されています。実環境での優位性は確かにありますが、「7.5倍」がすべての条件で成立するわけではありません。

  2. 公開データ量について 「25兆トークンの学習データがすべて公開」と報じている記事もありますが、実際に公開されているのは全体の40〜50%程度です。コードデータの一部などは含まれていません。

  3. 強化学習の手法名について 一部の解説で「RLVR」(Reinforcement Learning with Verifiable Rewards)と表記されていますが、NVIDIAの公式資料ではこの用語は使われていません。NVIDIAはNeMo Gymを使った「trajectory-based reinforcement learning」と表現しています。概念的には近いですが、用語は正確に使いたいところです。


まとめ:なぜNemotron 3 Superは凄いのか

最後に、このモデルの凄さを3つの視点でまとめます。

アーキテクチャの革新性。Mamba-2、Transformer、LatentMoEという3つの異なる技術を組み合わせ、それぞれの弱点を補い合うハイブリッド設計。512個ものエキスパートを推論コストを増やさずに活用するLatentMoEは、MoE研究の新しい方向性を示しています。

実用性の高さ。100万トークンのコンテキスト、ネイティブ投機的デコード、NVFP4学習による高効率推論。これらはすべて「理論的にできる」ではなく「実用的に使える」レベルで実装されています。

オープン性。モデルの重みだけでなく、データセット、学習レシピ、RL環境まで公開している。これにより、研究者や開発者が自分のインフラ上でカスタマイズ・展開できるのは大きな価値です。

エージェントAIの時代に向けて、NVIDIAが本気で作り込んだこのモデル。今後のUltraの登場も含めて、Nemotron 3ファミリーの動向からは目が離せません。

それでは、また次の記事でお会いしましょう。


【プロフィール】
ワンダー・佐藤源彦(さとう もとひこ)
1977年生まれ
MBBS & AI共創イノベーション主催。
医療系の研究所、心理学の研究所の勤務を経て独立し、現在は生成AI(ChatGPT、Claude、Geminiなど)と心身に関する研究をしている。
主著『かんたんプロンプト』(芸術新聞社)『東洋医学と潜在運動系』(たにぐち書店)、2年間専門誌に連載、論文執筆などの執筆業を行いつつAI共創ライティングを開発中。
心理学・カウンセリング・コーチングをAIに技術転用し、AI共創プロンプトエンジニアリングを開発している。
AIスクール・AI企業研修・AIアプリ開発などを行う。

✅ワンダー佐藤源彦・著『かんたんプロンプト』(芸術新聞社から刊行)
※プロンプトエンジニアリングの基本から応用、タスク実行までを網羅
https://amzn.asia/d/80zVtv8

✅note記事
https://note.com/mbbs
※ChatGPT・Claude・Gemini・NotebookLM・Perplexity・Genspark・Feloなどの記事あり
※ワンダー佐藤のMyGPTsも公開しています
※メンバーシップはじめました!

✅AI共創イノベーション(AIスクール・AI企業研修・AIアプリ開発のサイト)
https://mbbs-ai.jimdofree.com/

✅Facebook
https://www.facebook.com/motohiko1977
※リクエスト申請前にメッセージください

✅ワンダー佐藤総合リンク
https://linktr.ee/motohiko.sato

【AI共創イノベーションおすすめ動画】
https://www.youtube.com/watch?v=IXbKlwHUdbg&list=PLTcSHWqKTOojc8R-brID5q06JrmtiWRTl

サテライトチャンネル
https://www.youtube.com/@mindbody_ai

ラジオチャンネル
https://stand.fm/channels/6954a21d6f1e5aedb1e543f3

参考資料

  • NVIDIA Technical Blog: "Introducing Nemotron 3 Super"

  • NVIDIA Research: Nemotron 3 Super Technical Report

  • NVIDIA Nemotron 3 White Paper

  • Hugging Face: nvidia/NVIDIA-Nemotron-3-Super-120B-A12B

  • Artificial Analysis: "NVIDIA Nemotron 3 Super: The new leader in open, efficient intelligence"

いいなと思ったら応援しよう!

佐藤源彦@MBBS チップをいただけると、とても励みになります✨ いただいた分はすべて研究活動や記事制作に使わせていただきます🍀