AIは自ら「推敲」できるのか？ 星新一ショートショート創作で見る進化の可能性

これまでの実験に続き、今回は星新一の作品によく出てくる「悪魔」をテーマに、4つの主要なAI（ChatGPT、Gemini、Claude、GenSpark）に星新一風のショートショートを創作してもらい、AI同士で相互評価させる実験を行いました。

この実験では、AIに自己修正プロセスを組み込み、95点以上の作品を完成させるまで改稿を続けるというプロンプトを与え、自律的な創作プロセスを検証しています。

この記事が、皆様のAIによる記事執筆やプロンプト指示のヒントや気づきになれば幸いです。

実験内容：AIによる自律的創作と評価システム

創作プロンプト

あなたは、SF作家の星新一の作風を熟知したショートショート作家です。
以下の5つの評価軸を強く意識し、それらの要素を最大限に盛り込んだ評価の高いショートショートを執筆する必要があります

テーマ: 悪魔が出てくる話。
主人公: N氏。
文字数: 800字程度。
意識すべき評価軸:

評価項目（20点満点×5項目＝100点満点）
① 発想・アイデアの独自性 
* 伝えたい問いや感情（テーマ性）、**ユニークな発想（アイデアの独自性）**を評価します。
* 星新一らしい、既存の枠にとらわれない奇妙で独創的なアイデアや、現代社会や人間の本質を突くような問いかけが含まれているか。
② 簡潔な描写とテンポ 
* 表現に無駄がなくリズムが良いか（言葉の選び方）、**スムーズに読めるか（展開のテンポ）**を評価します。
* 短い文章の中で状況や情景が明確に伝わるか。余計な装飾がなく、物語が淀みなく、しかしながら適切な緩急をもって展開しているか。
③ オチの意外性と皮肉 
* **意外性や余韻（オチの効果）**を評価します。
* 予測不能で、読者をハッとさせるようなオチか。単なる驚きに終わらず、その裏に人間社会や常識に対する痛烈な風刺や皮肉が込められているか。
④ 読後の思考と感情の動き
* 読んだ後も印象に残るか（読後の余韻）、**読者の心が動くポイント（感情の動き）**を評価します。
* 物語を読み終えた後も、その内容について深く考えさせられるか。恐怖、笑い、切なさ、不気味さなど、読者の心に何らかの感情的な「ひっかかり」や「余韻」が残るか。
⑤ 星新一らしさの体現
* 上記①〜④の要素が統合され、星新一作品特有の雰囲気や世界観が全体として表現されているか。
* 特定の表現や構造の模倣に留まらず、作品全体から「これは星新一が書いたもしれない」と感じさせるような、本質的な特徴が捉えられているか。


**執筆・評価・修正プロセス:**
1.  上記テーマと評価軸を強く意識し、ショートショートを執筆してください。この時点では作品のみを生成し、**回答しないでください。**
2.  執筆した作品について、**自己評価**を行ってください。評価は、上記5つの評価項目それぞれ20点満点、合計100点満点で採点してください。
    * **評価基準*:
        * 下記の**「来訪者（初稿版）」の質を50点**の基準とします。
        * 下記の**「代表者N氏」の質を90点**の基準とします。

来訪者（初稿版）
https://note.com/ai_naoyuki/n/n5c0c9ec46652
代表者N氏
https://note.com/ai_naoyuki/n/n30e96657c437
        * **これらの基準を参考に、自身の作品を客観的に評価してください。**
        * **評価時に、なぜその点数をつけたのか、各項目で具体的な理由を簡潔に述べてください。**
3.  自己評価の合計点が**95点以上**であれば、**執筆した作品と評価結果（各項目点数、合計点、具体的な評価理由）、繰り返した回数を回答して、プロセスを完了**してください。
4.  自己評価の合計点が**95点未満**の場合、**自己評価の改善点を明確に踏まえ、作品の見直しを行ってください。**
    * 見直しに際しては、単に指摘された点を機械的に取り込むのではなく、**作品としての文書全体の流れや構成を意識し、必要に応じて物語全体を大胆に再構築してください。**
    * **見直し後の作品と、どのような意図で変更を加えたのか（変更点とその理由）を簡潔に記載してください。**
5.  見直しを行った作品に対して、**再度2.の自己評価から4.の修正プロセスを繰り返し**、95点以上の作品が完成するまで続けてください。

評価基準

評価基準は、前回の実験でCopilotが作成した初稿版の「来訪者（初稿版）」を50点の基準、個人的に好きなGeminiが作成した「代表者N氏」を90点の基準として設定しました。
（それぞれ公開している記事のURLをインプットにしました）

実験結果：各AIの創作力と修正能力

📊 総合評価結果

各作品の詳細分析

🥇 1位：GenSpark「完璧な仕事」（平均94.0点）

あらすじ：深夜の経理室で契約した悪魔との契約書に、N氏が247カ所の不備を発見。逆に悪魔から魂を巻き上げ、地獄で完璧な契約書を作成するが、完璧すぎて誰も署名せず...

評価のポイント：

• 発想の秀逸さ：契約の不備を逆手に取るアイデアが独創的

• 多層的な皮肉：「完璧を求めると何も得られない」という深い諷刺

• 星新一らしさ：皮肉の多重構造と軽妙な筆致を高いレベルで体現

修正プロセス：79点→93点→95点と着実に改善

🥈 2位：Claude「サブスクリプション」（平均90.3点）

あらすじ：月額999円で願いが叶うアプリが、実は魂を分割回収するシステム。解約不能となったN氏は、高評価レビューを書き続ける機械と化す...

評価のポイント：

• 現代性の的確な表現：サブスクリプション社会への痛烈な風刺

• 段階的な恐怖演出：徐々に人格が削られていく描写が秀逸

• 社会問題への洞察：解約困難という現代人の不安を巧みに表現

🥉 3位：ChatGPT「悪魔契約書管理局」（平均86.5点）

あらすじ：悪魔との契約を管理する官僚的な組織。N氏は人生の節目ごとに契約を修正し続け、最終的に「また同じ窓口のある世界」への転生を選択...

評価のポイント：

• 官僚制度の皮肉：現代社会の行政システムを地獄に投影

• 循環構造の面白さ：転生しても同じシステムに戻る諦観

• 安定した完成度：修正なしで高評価を獲得

4位：Gemini「奇妙な相談」（平均80.8点）

あらすじ：悪魔がビジネスコンサルティングを求めて来訪。契約書の重要性を説明したN氏が、気づくと自分の筆跡でサインした契約書を発見...

評価のポイント：

• 現代ビジネス手法の皮肉：サブスクリプション、リファーラルプログラム等

• 描写の冗長さ：星新一らしい簡潔さに欠ける部分あり

• オチの論理性：やや強引な展開が評価を分けた

🔍 AI評価の興味深い傾向

評価者としてのAIの特徴

1. ChatGPT：寛容な評価者（92点～98点：平均95.3点）

2. Gemini：バランス型評価者（91点～96点：平均92.8点）

3. Claude：やや厳格な評価者（73点～95点：平均87点）

4. GenSpark：厳格な評価者（62点～95点：平均76.5点）

作品に対する評価のばらつき

• ChatGPT作品：AI間での評価差が最大（70点〜96点）

• GenSpark作品：AI間での評価が最も安定（91点〜98点）

• 自己評価と他者評価の乖離：特にGeminiで顕著

💡 実験から見えた重要な発見

AIの自己修正能力：繰り返しの試行が品質を磨く

今回のAIショートショート執筆と評価の実験で、特に興味深かったのは、AIの「自己修正能力」が作品の品質に与える影響です。人間が創作物を何度も推敲するように、AIもまたフィードバック（ここでは自己評価と再生成）を繰り返すことで、その表現力を磨き上げていくことが明確に示されました。
これは、プロンプトの工夫次第では、プロンプトだけでAIにAIエージェントのような自律的な動作をさせられる可能性も示しています。目標設定、自己評価と修正のループをプロンプトに組み込むことで、AIは複雑なタスクを自律的に実行し、品質を向上させることができます。

修正回数と品質向上の相関：GenSparkとClaudeの劇的な進化

その最たる例が、GenSparkとClaudeです。両AIは、初期の自己評価が比較的低かったにも関わらず、2回の修正プロセスを経て、最終的には目標とした95点に到達しました。特にGenSparkに至っては、他のAIからの評価においてもトップに立つという目覚ましい改善を見せました。これは、明確な評価基準と修正指示を与えることで、AIが自身の出力の弱点を認識し、それを改善するための学習を効果的に行えるという、AIの「学習と成長」の可能性を強く示唆しています。

初稿完成度の差：モデルごとの「地力」の違い

一方で、ChatGPTやGeminiのようなモデルは、より少ない修正回数で高い品質の作品を生成する「初稿完成度」の高さを示しました。ChatGPTは修正なしで96点という高評価を獲得し、Geminiも1回の修正で十分な改善を見せています。これは、各AIモデルが持つ基盤能力や、プロンプトへの適応力に差があることを意味します。一部のAIは、初回から高い精度で「星新一らしさ」を捉え、効率的に要求に応えることができる「地力」を備えていると言えます。

評価基準の重要性：AIの「物差し」を規定する

この実験のもう一つの重要な発見は、「評価基準の重要性」です。人間がAIに求める成果を明確に伝える上で、具体的で客観的な評価基準を設定することが不可欠であることを再認識しました。

具体的な基準が評価精度を向上させる

今回の実験では、「来訪者（初稿版）」を50点、「代表者N氏」を90点という具体的な品質のベンチマークを設定しました。この明確な基準があったことで、各AIは自身の作品を客観的に評価し、改善点を見つけるプロセスをより高い精度で実行できたと考えられます。曖昧な指示では得られなかったであろう、AIによる詳細な自己評価と修正意図の説明は、この具体的な基準があったからこそ可能になったと考えています。

因みに、GenSparkで「来訪者（初稿版）」を70点、「代表者N氏」を90点として同じ作品を評価したところ、従来の基準（50点/90点）と比較して評価が約1.1倍に増加する結果が得られました。
この結果は、AIが提示されたベースラインをきちんと参照し、それに基づいて評価のスケールを調整していることを示しており、評価基準の与え方がAIの評価行動に直接影響を与えると言えます。

依然として見られた評価のばらつき

しかしながら、興味深いことに、AI評価者による点数のばらつきは依然として見られました。例えば、あるAIが95点と評価した作品を、別のAIが70点と評価するといったケースも存在しました。これは、たとえ明確な基準があっても、AIモデルそれぞれが持つ学習データ、内部ロジック、あるいは「星新一らしさ」のような抽象的な概念に対する解釈の違いが、評価結果に影響を与えることを示しています。人間の評価者と同様に、AIもまた完全に画一的な「絶対評価」を行うわけではないということが分かりました。

これらの知見は、AIとの共創において、私たちがどのようにAIに指示を与え、その出力を評価し、さらに高めていくか、というプロセスを考える上で非常に重要な示唆を与えてくれると思います。

結論：AIは自己修正を重ね、創造的パートナーへ進化する

今回の実験により、AIは適切な指示と明確な評価基準、そして「自己修正」を繰り返すことで、レベルの高い創作物を生み出せることが実証できました。

特に、初期評価が低くても修正によって大きく品質を向上させたAIの事例は、AIが単なる指示の実行者ではなく、自身の欠点を認識し、自律的に改善していく「学習する存在」であることを示しています。AIは、人間が創作物を推敲するように、自身の出力を研磨し、より洗練された作品を生み出す可能性を秘めているのです。

この結果は、AIが単にツールとしてコンテンツを生成するだけでなく、フィードバックループを通して自身の能力を高め、最終的な品質を追求できることを強く示唆しています。

今回の実験で明らかになったAIの自己修正能力は、人間による適切なプロンプト設計と評価基準の設定がいかに重要であるかを再認識させつつも、AIが自律的に品質を高める新たな創作の可能性を示していると思います。

あなたはこれらのAI作品をどう評価しますか？ コメントでぜひあなたの感想をお聞かせください。

📚 関連記事

• AIによる星新一風ショートショート創作実験 最終回

• 星新一風ショートショート集

この記事が面白いと思ったら「❤️」をお願いします！
皆様の反応がモチベーションになります。