AIは作文の採点者になれるのか？ChatGPTとClaudeを研究者が徹底比較した驚きの結果

こんむぎわ〜♪

むぎ屋のnoteに来てくれてありがとうございます！(´∀｀)

今日はちょっと珍しいテーマを持ってきました。

「AIってライティングを採点できるの？」

仕事でも副業でもAIを使い倒している私ですが、正直この問いってずっと気になってたんですよね。ChatGPTやClaudeに「この文章どうですか？」って聞くと、なんかもっともらしいフィードバックが返ってきますよね。でも、それって本当に正確なの？人間の先生と比べてどうなの？という疑問がずっとあって。。。

そんな中、2025年10月2日にSpringer Natureの学術誌で公開された、とても面白い研究論文があるんです。ChatGPTとClaudeを「採点者」として評価して、人間の採点者と徹底比較したっていう内容で、私ほんとに食い入るように読んじゃいました(´∀｀)

学術論文って難しそう…と思うかもしれないですが、今日はむぎなりにめちゃくちゃわかりやすく解説しますね！AIに興味がある方、英語学習や副業でAIを使っている方、採点や評価業務にAIを活かしたい方、ぜひ最後まで読んでいってください♪

「AIの採点、なんか信用できない気がする」という話

みなさんは、AIに自分の書いた文章を採点してもらったことありますか？

私は最初、noteの下書きをClaudeに見せて「この文章の論理構成はどうですか？点数つけてみてください」ってやってみたことがあるんですね。そしたらClaudeが「論理展開：85点、具体性：70点、読みやすさ：90点」みたいに返してきて、最初は「おお！」ってなったんですよ。

でもそのあと同じ文章をChatGPTに見せたら、「論理展開：72点、具体性：68点、読みやすさ：80点」って返ってきて。。。

あれ、結構違うじゃん？？どっちが正しいの？笑

こういう体験、みなさんにもありませんか？AIの採点って、ツールによってバラバラだし、そもそも人間と比べてどうなの？っていうモヤモヤ感。

実はこのモヤモヤ、研究者の間でも大きな問題として取り上げられていたんです。そして2025年、深圳大学などの研究チームがこの問いに真正面から向き合った論文を発表しました。