【連載 伝わる論文】Experimentsの書き方

前回：Problem & Methodの書き方

おさらい：前回までに、基本編として以下の３つの論文の基本構成パターンを紹介し、以降は、応用分野系および機械学習系のスタイルを念頭に、Introduction、Title ＆ Abstract、Related Work、Problem & Methodの書き方を紹介しました。

今回は、手法説明をした後の評価実験（Experiments）の書き方について解説します。
ここまでくると、いよいろ論文としても大詰めになってきます。

やるべき実験はこれまでの内容から自ずと決まる（ように書く）

Experimentsは、良い結果を出すことの難しさは別にしても、フォーマットは大体パターン化されているので、この章を書くこと自体はさほど難しくないと思っています。
基本的には、実験の設定を説明し、実験結果を説明しながら、手法の有効性や研究の価値を論述していけばよいでしょう。

一方で、実験は査読者からの突っ込みが入りやすい箇所でもあります。
読者や査読者にとって、より納得感のある実験にするには、実験にたどり着くまでの論文の内容も実験内容と同程度に大事だと思っています。

論文のマイルストーンとしてのExperiments

これまでの連載記事で、IntroductionからRelated Work、Problem & Methodまでの書き方を解説してきました。
中でもIntroductionでは、問題背景や、研究フォーカス、研究の意義などを、1本の線としてまっすぐ論理展開し、論文全体の軌道を提示することの重要性を説明しました（下記 図2）。

Introductionより後の章は、Introductionで提示した軌道にしたがって話を進め、詳しい説明や足りない議論を追加して肉付けしながら、次章以降へとつなげる役割を持っています。

特にExperimentsは、Introductionから始まった話がひと段落する、論文のマイルストーン的な章でもあります。
したがって、実験もまた、これまでの一連の流れに沿った内容になるよう設計することが大事で、それと同時に、これまでの論文内容もまた、実験の内容・結果を念頭に目指した展開であるべきなのです（図3）。

たとえば、Related Workでは、周辺領域の「文脈化」と研究の「位置づけ」を明確化することを説明しました。
この記述を工夫することで、Experimentsにおいてどのアプローチ・どの手法との比較が重要になるのかが、読者（査読者）に分かりやすくなるでしょう。
さらに、ここで予め査読者に対して、「今回の研究フォーカスから、あるアプローチと比較実験する優先度は低い」という釘刺しをしておくことも可能だと思います。

また、Problem & Methodでは、問題提起から中核アイディアの説明へと素早く展開するための構成例を紹介しました。
中核アイディアを明確化することで、Experimentsにおいて、提案手法のどの部分に重きを置いて検証すればよいかが分かりやすくなるでしょう。
また、中核アイディアの説明を「簡単なバージョン」→「実際のバージョン」と段階的に行っていれば、Experimentsにおいて、この拡張による実際の効果を実験的に示せるでしょう。

このように、Experimentsにおいては、「実験結果」にサプライズがあるのは良いとしても、「実験方針」に関しては、論文を読み進める中でおよそ検討がつくように書くほうがよいと思います。

Experimentsの章まで来ると、より広い視野で論文全体を見渡しながら各章の内容を調整することが大事になってくるとも言えるでしょう。

実験の具体的な書き方

それでは、より具体的なExperimentsの書き方を紹介します。
基本的には、Introductionで述べた問題が解決したか、Methodで述べた手法アイディアが機能したかの検証を念頭に、実験の内容を設計すべきでしょう。

これを踏まえながら、Experimentsで書くべきこととして、以下の4要素を紹介します。

• 実験設定の説明（問題タスク、使用データセット、評価指標、細かなパラメータの設定など）

• 既存手法との性能比較

• 提案手法の効果検証

• 提案手法の応用例のデモ

実験設定の説明

Experimentsは、まず手法の評価方法の方針の説明から始まります。
Experimentsの章の冒頭で、大まかに実験内容の概要を述べるのがよいでしょう。

続いて、評価実験で扱う問題タスクの詳細や、使用したデータセットの仕様、性能の評価尺度の説明、比較する既存手法、さらには提案手法や既存手法のハイパーパラメータの設定などを述べる必要があります。（論文によっては、一部はMethodに含める場合もあると思います）
最近の深層学習手法であれば、損失関数や最適化手法などの学習方法の詳細も、ここで述べる場合が多い印象です。

実験設定は、実験を再現可能な程度に細かく正確に記述する必要がある一方、必ずしも全ての読者がこれらの情報を必要としているわけではありません。
そのため、セクションや太字で Datasets や Training settings のような見出しをつけて詳細情報を集約したり [Ito & Taniai et al. (ICLR 2025); Taniai et al. (ICLR 2024)]、より詳細な情報をAppendixに移す [Ito & Taniai et al. (ICLR 2025); Yonetani & Taniai et al. (ICML 2021)]などの工夫をして、読者が必要に応じて情報にアクセスしやすくるべきでしょう。

なお、サイエンス系論文形式（図1-c）では、こういった細かな設定情報は、論文最後のMethodsに集約されることが多いです。

既存手法との性能比較

提案手法の主たる性能評価は、既存手法との比較によって行うのが基本です。
一般的には、精度や速度の定量評価に加え、扱う問題に応じて、結果の画像や具体例を用いた定性的な比較も議論を深める上で重要となります。

基本的には、使用するデータセットや、ベンチマーク、評価指標などは、先行研究で採用された実験内容を承襲するのが無難です。
研究のフォーカス等に応じて内容を調整するのもよいでしょう。

実験において便利な英語表現TIPSとして、たとえば「In Table 1, we compare...」と書くよりも、「Table 1 compares...」と書くことで、簡潔な表現にすることができます。

性能比較については、いくつかの「定番の悩み」があり、最後にまた議論します。

提案手法の効果検証

実験では、既存手法との直接的な比較に加え、提案手法の構成要素が性能向上にどの程度寄与しているかを詳細に検証することも重要です。
いわゆる Ablation study と呼ばれる比較実験です。

この類の比較実験では、提案手法から特定の要素を取り除いた場合の性能を評価します。（ablationは「切除」という意味です）
この際、提案要素を除いた手法が既存手法と本質的に同等のアプローチとみなせる場合、その旨を明記することで、比較手法の不足を補う一助となるでしょう [Taniai et al. (ICLR 2024); Endo et al. (ICRA 2023)]。

提案モジュールの切除以外にも、特定のハイパラーパラメータを変化させた際の性能や挙動の変化の分析、いわゆる Parameter study [Endo et al. (ICRA 2023)] も、重要な検証事項の1つになります。
※ 本来は提案手法から切除したバージョンで比較するのが Ablation study だと思いますが、実際の論文では、次元数やレイヤー数などのハイパラーパラメータを変えた際の性能比較も、よくAblation studyに含まれています。

提案手法の応用例のデモ

基本的な性能検証を終えた後、さらなる研究価値を示す手段として、検証に用いた問題タスク以外で提案手法の応用例をデモンストレーションすることも有効です [Yonetani & Taniai et al. (ICML 2021); Taniai et al. (CVPR 2015)]。

この場合、適用可能性を示すことが目的であるため、大量のデータを用いた定量評価は必須ではなく、適用方法の簡潔な説明と、いくつかの結果を定性的に示すだけでも十分なことが多いです。

このようなデモンストレーションは、しばしば章を改めて提示されます [Yonetani & Taniai et al. (ICML 2021)]。

具体例の紹介

実際の論文の構成例を2つ紹介します。

CrystalFramer [Ito & Taniai et al. (ICLR 2025)]

この論文は、結晶構造を解析するニューラルネットワークの研究です。
基本的には、この問題領域で一般的な実験設定をそのまま流用しており、精度についての定量比較と、効率性についての定量比較をしています。

精度比較では、よく使われる２つのデータセットについて、既存手法との網羅的な精度比較表を載せています（下記 図4 のTable 1 & 2 の上部 と Appendixにフル比較表）。

また、この研究では、ベースライン手法A（Crystalformer）に、ある拡張要素X（フレーム）を導入するという枠組みにおいて、Xについて先行手法と提案手法をいくつかそれぞれ試すという建付けになっています。
そのため、Table 1 & 2 の下部に、Xを変えた際の比較をしており、これがある種のAblation studyのような位置づけになっています。

さらにTable 3では、先行研究では使われていなかった大規模データセットでの実験で、これは前年プロジェクトの教訓を踏まえた査読者対策でした。
先述のCrystalformerの論文の査読で、このような大規模実験の評価実験を要求され、その時は「計算リソースの制約から難しい」と言い訳をして許してもらいました（詳しくは OpenReview 参照）。
この経験を踏まえて、この次の論文では予め先手を打ってこの実験を入れておきました。

この実験は、タスク自体は同じものの、大規模データセットでも手法の効果があるかという、ちょっとしたデモ的な位置づけにしてあり、比較手法もベースラインと提案の2つだけで済ませています。

Neural A* [Yonetani & Taniai et al. (ICML 2021)]

この論文は、経路探索アルゴリズム A* をニューラルネットに組み込む方法として、Neural A*を提案した研究です。

この論文では、提案手法によって、同じ枠組みで2種類のことができるとアピールしています。

1つ目は、従来の経路探索問題における探索アルゴリズムの効率化です。
そのため、実験の前半では、従来の経路探索問題におけるベンチ―マークを行い、これをメインの性能評価に位置付けています。
主に探索の精度や効率などを既存手法と比較しています。
また、アーキテクチャの違いによる性能差などのAblation studyや、Limitationについての議論も、ここで行っています。

アピール点 2つ目は、従来の経路探索手法では実行できないような、生画像上での経路探索を学習可能にするというものです。
このため実験の後半では、章を改める形で、生画像上での経路探索をデモとして方法と結果を示しています。
比較対象も少なめで済ませています。

性能評価における悩み

最後に、実験において悩ましい問題として、「最先端手法に勝つ必要はあるか？」と「定量評価は必須か？」という観点について、私の考えを述べておきます。

最先端手法（SOTA）に勝つ必要はあるか？

最先端手法、いわゆる state of the art（SOTA）に勝つ必要性は、たびたび関心を集める話題です。

機械学習やコンピュータビジョンなどのトップ国際会議の査読者ガイドには、「SOTAを達成することが採択の必須条件ではない」旨の記述があります。
しかし現実には、性能改善が十分でないことを理由にリジェクトされるケースは多いです。

SOTAを達成していない論文を簡単にリジェクトされないようにするのはどうしたらよいでしょうか？
この記事で解説したように、実験に至るまでの展開が大事だと思います。
つまり、Introductionでの問題提起から、Related Work、Methodを含めて一貫して、SOTAを達成すること以外の研究価値を説く必要があるでしょう。

私自身の例では、たとえば、動画フレームから奥行とモーションを推定する手法の研究 [Taniai et al. (CVPR 2017)] では、ベンチマークとしては当時3位の性能でした。
しかし、論文では一貫して「複数のタスクを賢く処理する効率的パイプラインの提案」による貢献を主張し、実際に実行速度が従来手法よりも大幅に速かったため無難に採択されました。

また、結晶構造を解析するニューラルネットワークの研究 [Taniai et al. (ICLR 2024)] では、査読者から提案手法を若干上回る既存手法の存在と、導出された式の類似性が指摘されました。
しかし私の研究では、Transformerモデルを標準形式のまま結晶構造に適用した初めての例であり、そのこと自体が自明ではないことを一貫して主張していました。
さらに、一見類似した式も、前処理として静的に実行するのか（既存手法）、ニューラルネットワーク上で動的に実行するのか（提案手法）という根本的な違いがあり、この点も、提案モデルの持つ意味を高めるものになりました。
リバッタルではこれらの根本的なアプローチの違いを述べ、「今回の研究の価値はその既存研究の存在によって傷つくものではない」と主張したことで、Area Chairによって評価され、採択に至りました。（詳細はOpenReviewを参照）

しかし、いずれの場合においても、適切なベースライン手法を選定し、それとの比較実験により提案手法の十分な効果を示すことは必須になるでしょう。

定量評価は必須か？

定量評価の必要性は、取り組んだ問題が新しすぎて比較手法が存在しない場合や、定量的評価尺度を定義するのが難しい場合に、しばしば問題になります。

理想的には、斬新な結果をもたらす研究であれば定性的検証だけでも評価されてほしいとは思います。
しかし、たとえば「提案手法により新たな超電導体を発見し、合成に成功した」のような揺るぎない結果がない限り、何らかの形で定量評価を設けるのが無難でしょう。
なぜなら、大抵の場合

定量評価がなくてリジェクトが続く苦労　>>　定量評価を入れる苦労

だからです。

定量評価を入れる方法として、たとえば、比較手法が存在しない場合、類似手法を転用して簡単なベースライン手法を用意することが考えられます。
また、評価尺度の定義が難しい場合、ユーザースタディにより人間による定性的評価を集計することが考えられます。

定量評価がないことでリジェクトが続くより、おとなしく定量評価を追加するほうが苦労が少なく済むと、過去の経験から思います。

まとめ

• 読者や査読者にとって納得感のある実験にするには、実験にたどり着くまでの論文の内容が大事。

• 論文の各章は、Introductionのストーリーを肉付けし、その先の内容への架け橋や布石となる。特にExperimentsは論文のマイルストーンなので、各章は実験への布石や予防線を仕込むように意識する。

• 実験内容（評価タスクや比較手法、検証項目など）にサプライズは不要。実験内容はそれまでの論文内容から自ずと検討がつくように書く。広い視野で論文全体を構成する。

• 実験は、Introductionで述べた問題が解決したか、Methodで述べた手法アイディアが機能したかの検証を念頭に、「実験設定」「既存手法との比較（benchmark）」「提案手法の効果検証（ablation study）」「応用例のデモ」などを書く。

• SOTA達成は必ずしも必要条件ではないが、論文全体で一貫して、SOTAに勝つこと以外の研究価値を説くことが大事。

• 定量評価はおとなしく入れるほうが結果的にリジェクトの苦労が少なく済む。

今回は論文のマイルストーンにあたるExperimentsの書き方について紹介し、論文全体での下準備の重要性を説明しました。
次回は、論文のストーリーがひと段落した後のDiscussionに何を書けばよいのかについて解説します。

次回：Discussionの書き方

• 連載の励みになりますので、よかったら応援お願いします！