杉山先生は論文とＡＩの関わりに憂いている。第40回人工知能学会全国大会

makokon

杉山先生は論文とＡＩの関わりに憂いている。

こんにちは、makokonです。
第40回人工知能学会全国大会の杉山先生（東大／理研）の講演資料が公開されていますね。
いま、論文を書くのにもＡＩを利用することは当たり前になっています。
しかし、ＡＩ丸投げで、ハルシネーション入の論文をそのまま投稿する研究者がいます。
また、新規参入したＡＩを用いて論文をかく研究者が増え、莫大な論文数にまともな査読ができなくなっています。
そして、ＡＩが論文を書き、ＡＩで論文を読む「論文プロンプト化時代」に人間研究者は何をするべきかを問いかけています。

人工知能関連の国際会議とプロシーディングス運営の現状と展望　(KS-22)

https://www.ms.k.u-tokyo.ac.jp/sugi/slide/20260609_JSAI

この中で、研究成果の公開（論文）とＡＩの関わりについての悩みがあまりに深いので紹介しておく。今回は抜粋なので、元資料を読めばいいのですが。

論文はプロンプトになりつつある

現在、論文を書くのも読むのもＡＩ任せになっています。そんな時代に人間の役割はなんだろうか？

  • AIを使って論文を書く：

    • アイデアの断片をきれいな自然言語に変換

  • AIを使って論文を読む：

    • 論文をプロンプトとして与え，質問に答えてもらう

  • 自然言語で論文を書く意味は？

    • プロンプト言語（？）でアイデアを記述すれば十分？

  • AIが研究し，論文を書き，AIが読む時代に？

    • 人間の研究者の役割は？

査読者が全く足りない

現在、多くの学会で査読者が不足してます。ＡＩにより、大量に論文が投稿され、またもに査読ができず、研究者も査読システムに不信感を持っています。

  • 多くの国際会議・ジャーナルで査読者が不足：

    • 大量の新規参入者の増加

    • AIの普及による論文の大量生産

  • AI系の研究コミュニティは危機的状況：

    • 査読者：短期間の大量査読による疲弊

    • 著者：査読システムへの不信感

    • 学会運営者：いたちごっこの不正対策で疲弊

  • 査読へのAI活用を模索

まとまな査読ができなくなっている（かもしれない）

ＡＩにより、査読の信頼性が疑われる事例が増えています。
（以前に紹介したこともある事例も多くありました）

査読システムの脆弱さ（NeurIPS2025の例）：

  • シニアエリアチェア240名，エリアチェア1973名，査読者24429名

  • 専門家のほとんどがエリアチェア以上で，直接査読をしない

  • 悪いことをするエリアチェアや査読者がいる

  • LLMを使って査読をする人が（多分）多数いる

OpenReviewのバグ(2025年11月)

  • OpenReviewのプロフィール検索APIにバグ：

  • ダブルブラインドの査読者・著者・エリアチェアの実名が，外部から閲覧可能に

  • バグ自体は修正されたが：I

    • CLR2026などでは査読のやり直しや，被害を受けたエリアチェアの再割り当てなどを実施

AISTATS2026：隠しプロンプトを禁止

  • ICML2025で，LLMによる査読を有利に誘導するための「隠しプロンプト」を仕込んだ論文が複数見つかった

  • AISTATS2026ではLLMを使った査読は禁止．

    • しかし，著者の「隠しプロンプト」を正当化するものではない

    • 発覚した場合，論文の即時却下と学会ボードへの報告，さらに採択後であっても遡及的に取り消される可能性がある

    • （かかれていませんが、禁止されているＬＬＭを使った査読をする査読者が多いから問題になるのでしょうね）

ICML2026の新方針

  • 査読におけるLLM利用について２つの枠組みを用意：

    • ポリシーA：査読におけるLLMの使用を一切禁止

    • ポリシーB：査読におけるLLMの使用を以下の条件で許す

      • できること：論文や関連研究の理解を助けるため，または査読文の推敲のために，（プライバシー保護された）LLMを使う

      • できないこと：LLMに論文の長所・短所の分析をさせたり，査読文の提案をさせたり書かせたりする

  • 査読者：自分がどちらのポリシーに従いたいかを宣言する

  • 著者：自分の論文をどちらのポリシーで査読してほしいかを選択

    • ポリシーAを選んだ著者は，査読する時はポリシーAに従わないといけない

    • 実際には，ポリシーAを選んだ著者がLLMを使って査読したケースが複数見つかり，その著者の論文はdesk-rejectされた

arXivのポリシー変更(2026年5月)

  • 生成AIの不適切な使用やチェック不足に対するポリシーを強化：

    • AIによるハルシネーションや架空の引用が含まれた論文を投稿した場合，著者全員が1年間投稿禁止

    • 1年間の処分が明けた後，新規の論文をarXivに掲載するためには，信頼できる査読付き学術誌に受理されていることが条件

  • AIの使用自体を禁止するものではない：

    • 著者が内容を確認・責任を持つ

makokonが扱った関連記事


#AI学会 #論文作成AI #AI丸投げ #ハルシネーション #新規参入 #査読者不足 #AI論文プロンプト時代 #人間の役割 #国際会議 #プロシーディングス運営 #AI活用 #論文執筆 #論文読解 #プロンプト言語 #査読システム #AI研究コミュニティ #不正対策 #LLM活用 #隠しプロンプト #査読禁止 #desk -reject #arXivポリシー #生成AI #投稿禁止 #内容確認 #責任


いいなと思ったら応援しよう！