ファクトチェック：Nature World View「AI reviewers are here — we are not ready」AIによる査読は待ったなし、でも準備ができていない

2025年12月7日 05:54

要約（日本語）

Nature World View「AI reviewers are here — we are not ready」は、生命・医療系プレプリントサーバ bioRxiv／medRxiv を運営する非営利団体 openRxiv が、AI査読ツール q.e.d Science との連携を開始した事実から話を始めます。(openRxiv)

q.e.d Science は、論文原稿を LLM（大規模言語モデル）で読み込み、「主張とデータの整合性」「追加すべき実験や解析」「オリジナリティの評価」などを自動でレポートし、30分ほどでフィードバックを返すサービスです。(biorXiv)
著者は、このような AI 査読は「魅力的だし、実際すでに動き始めている」が、そのリスクやルール整備が追いついていないと指摘します。

論旨の中心は次の二点です：

査読には二つの役割がある
- （A）統計・方法・引用・フォーマットなど、定型的なチェック
- （B）「突拍子もないが重要かもしれない」アイデアを拾い上げる創造的な選別
  LLM は（A）にはかなり役立ちうるが、（B）は「平均的な過去データ」に学習する性質上、とても苦手だ、と論じます。これは NEJM AI に掲載された Liang らの大規模研究や、AI と人間査読者を比較した心理学系の実験とも整合的です。(Scholars@Duke)
AI査読は“平均点の再生産”と“ゲーム化”を招きうる
- LLM は「平均的な査読コメント」をかなりうまく再現できる一方で、「他の査読者が見落とす特異なアイデア」を見抜く能力には疑問が残る。
- すでに、AI 査読システムを逆手にとって論文内に隠しメッセージを埋め込み、AI に都合の良いコメントを出させる実験も報じられている。(J-GLOBAL)
- ICLR 2026 では、査読コメントの約 21% が「完全に AI が書いたもの」と判定され、査読の質や信頼性への危機が議論されている。(note（ノート）)

著者は最後に、「人間の査読はバラつきがあり、不公平で、時に理不尽だが、その“ブレ”こそが未知の成果を拾い上げるために重要だ」と述べ、AI を査読プロセスに組み込むとしても、人間の判断と多様性を犠牲にしない設計が不可欠だと結びます。(Nature)

論点整理

1. openRxiv と q.e.d Science が意味する「AI査読の実用化段階」

openRxiv は、bioRxiv／medRxiv を運営する非営利組織であり、生命・医療系プレプリントの“基盤インフラ”になりつつあります。(openRxiv)
その openRxiv が、AI 査読ツール q.e.d Science と正式に連携し、「著者がプレプリント投稿時にワンクリックで AI 査読に回せる」仕組みを導入したことは、AI 査読が“現場レベルで動き始めた”象徴的な出来事です。(biorXiv)

2. 査読の二重の機能：雑用処理 vs. 創造的選別

著者は、査読の役割を二つに分けます：

技術的・形式的チェック
統計手法やデータの整合性、引用や倫理面の確認など。
非定型な価値判断
- 分野の常識から見ておかしな主張だが、もしかすると大きなブレイクスルーかもしれない。
- 「変だが面白い」を拾い上げ、議論にかける役割。

LLM は（1）に関しては、既存研究でもかなり有望な結果が出ている一方、（2）の領域では未検証か、懐疑的な見解が多い、という整理です。(Rin)

3. 「平均値への回帰」＝AI査読が持つ構造的なバイアス

NEJM AI の Liang らの研究は、「GPT-4 が出す査読コメントは、“平均的な人間査読者”とかなり似ている」ことを示しました。(Scholars@Duke)
これは裏を返すと、
1. LLM は「平均的な評価」を再生産するのは得意だが、“誰も見たことがない新奇な結果”を適切に評価することは難しい
  ということでもあります。
著者はこれを「平均への回帰」と表現し、AI 査読に依存すると「そこそこよくできた、安全な論文」がますます選好され、リスクの高い革新的研究が不利になる危険を指摘します。(Nature)

4. 「ゲーム化」と信頼性の崩壊

Nature の別記事では、研究者が AI 査読システムを試すために、論文の脚注や図のキャプションなどに「隠しメッセージ（プロンプト）」を書き込み、AI に有利なコメントを引き出す実験が報告されています。(J-GLOBAL)
ICLR 2026 では、査読コメントの 5 分の 1が「ほぼ丸ごと AI 生成」だったことが解析から示され、査読の信頼性が大きく揺らぎました。(note（ノート）)
AI 査読が一般化すると、「どう書けば AI に高得点をつけさせられるか」という“攻略法”が共有され、査読システムが“ゲーム”として扱われる可能性が高い──これが著者の危惧です。(Mind Matters)

5. 人間の「ブレ」と科学の創造性

人間の査読は、
- バラつきが大きく、
- 時に不公平で、
- 感情や嗜好にも左右されます。
しかし著者は、この「ブレ＝ノイズ」こそが、
- マイナーな問題意識を拾い上げたり、
- 分野外の視点を差し込んだり、
- “ありえない”と思われる結果を踏みとどまって検討する
  契機になる、と評価します。(Nature)
LLM は、設計上「ノイズを平均化する」装置であり、そこに全てを委ねると「異論・ノイズから生まれる創造性」が削がれる、と警鐘を鳴らします。

用語解説

openRxiv

2025 年に設立された非営利組織で、生命科学・医療系のプレプリントサーバ bioRxiv／medRxiv の運営母体。(openRxiv)
これまで Cold Spring Harbor Laboratory などが担ってきた運営を“独立した組織”として切り出し、長期的な持続性・中立性を確保する狙いがある。

bioRxiv / medRxiv（バイオアーカイブ／メドアーカイブ）

生命科学／医療系のプレプリントサーバ（査読前論文の公開サイト）。
投稿から数日で公開され、世界中の研究者が無料で読める。COVID-19 パンデミック時には medRxiv が主要な情報源になった。(openRxiv)

q.e.d Science

bioRxiv／medRxiv と連携している AI 査読サービス。(biorXiv)
LLM を用いて
- 主張とデータの整合性のチェック
- 追加すべき解析・実験の提案
- 他論文との比較によるオリジナリティ評価
  を行い、約 30 分でレポートを返す。

プレプリント（preprint）

ジャーナル査読・出版の前に公開される研究論文。
速報性は高い一方、査読済みではないため、内容の信頼性を読者自身が判断する必要がある。

ピアレビュー（査読）

同じ分野の専門家（“peer”）が、投稿論文の
- 妥当性
- 新規性・重要性
- 倫理的妥当性
  などを評価するプロセス。
近年は、量的な負荷（一人あたりの査読件数）が限界に達しつつあると指摘される。(Rin)

大規模言語モデル（LLM）

ChatGPT や GPT-4 のように、大量のテキストデータから統計的パターンを学習したモデル。
文の生成や要約、校正、構造化されたコメント生成などが得意だが、訓練データに依存したバイアスや「それっぽい誤り（ハルシネーション）」も問題になる。

「平均への回帰」（regression to the mean）

統計学の用語。極端な値（きわめて高い点数／低い点数）は、次に測定したときは平均に近づく傾向がある、という現象。
本文では比喩的に、「過去の大量データを平均して学習する LLM は、“平均的な査読コメント”を出す方向に引っ張られやすい」という意味で使われている。(Nature)

ICLR 2026 の AI 査読問題

機械学習分野のトップ会議 ICLR 2026 で、提出された約 7.6 万件の査読コメントのうち、約 21% が「完全に AI 生成」と判定された事件。(note（ノート）)
AI 利用が認められていたとはいえ、「ほぼ丸投げ」のケースが多かったことから、査読の信頼性・公平性が大きく問題化した。