《手近な生成AI》生成AIで複雑な調査を成功させる試行錯誤ステップ
今回の記事では、生成AIの能力を最大限活用するために重要な「複雑な制約条件を満たすもの調査」の方法について、実際の検証結果をもとに解説します。検証対象として法人向け会計ソフト選びを題材に選択した理由は、複雑な制約条件を持つ調査案件の代表例として適していたからです。この記事で説明する調査方法は、会計ソフトだけでなく、様々な機能や制約条件があるシステム選定や製品比較に応用できる汎用的なアプローチです。
生成AI(この事例ではPerplexity)を使用し、前提条件と期待機能を列挙して、それらを満たす会計ソフトウェアを選定・比較評価させる手法を検証しましたが、以下の試行錯誤ステップを経て、最終的に期待する調査結果を得ることができました。
第1の壁:調査結果と期待する結果の方向性が一致しない
課題の詳細
最初に直面した問題は、生成AIが出力する結果が自分の期待と全く異なる方向性を示していたことでした。具体例として、1人会社という前提条件を記載しなかったため、大規模企業を想定した会計ソフトの調査結果が出力されました。
また、最初はコアの会計機能や決算機能に注目していたものの、給与計算や年末調整などの必要機能を条件に含めるのを忘れてしまっていました。このような条件の抜け漏れにより、期待とは異なる提案が多数含まれていたのです。
対応
条件の抜け漏れをなくすため、10回以上のプロンプト修正・実行を重ねました。生成AIの出力が期待通りでないことを受け、前提条件(1人会社、簿記知識レベル、コスト重視など)や期待機能(会計・決算に加え、給与計算、年末調整、税金の電子申告、勤怠管理、電子契約など)を網羅的に記載するよう改善しました。
この過程で重要だったのは、段階的な改善アプローチでした。一度にすべてを完璧にしようとせず、出力結果を見ながら不足している条件を追加し、修正を重ねる方法が効果的でした。
結果
ようやく期待する結果と同じ方向性の調査結果を得ることができました。マネーフォワードやfreeeのひとり法人プランなど、想定した制約に合致した候補が挙がるようになりました。
第2の壁:重要ポイントの記載不備問題
課題の詳細
候補となる会計ソフトは挙がってきたものの、実際の判断に必要な重要情報が明確に記載されていませんでした。例えば、候補として挙がったプランに含まれていない機能について、別オプションを付ければ利用可能なのか、それすらできないのか、前者の場合のコストはいくらなのかが不明でした
具体的な例として、マネーフォワードひとり法人プランで法人税の電子申告ができるかどうかが明確でなく、決定的な判断材料に欠けていました。
対応
条件記述の精緻化を行い、期待した情報が明示的に記載されるようプロンプトを5回以上修正しました。この段階では、通常のGoogle検索で詳細を調べながら、どのように条件を精緻化すればよいかを考える必要がありました。これは本末転倒のように感じられましたが、プロンプト改善の有効な手段でもありました。
結果
ようやく期待する詳細情報が明確に得られるようになりました。各プランの機能制限、オプション費用、対応可能範囲が具体的に示され、実際の選定判断に必要な情報が揃いました。
第3の壁:現実的影響度の不明確さ
課題の詳細
詳細な情報は得られるようになったものの、調査結果に含まれる制約条件が実際にどの程度の影響を与えるかが分からない状況でした。例えば、調査結果にマネーフォワードひとり法人プランの制約として「仕訳登録が年間500件まで」と記載されていても、この制約が現実的に問題になるかどうかの判断材料がありませんでした。
対応
想定条件(職種、仕訳内容、取引頻度など)を具体的に入力し、制約の影響をシミュレーションするよう生成AIに依頼しました。また、制約が問題にならないようにするための工夫(例:仕訳登録件数を減らす方法)も併せて提案させました。この調整にも5回以上の試行錯誤を重ねました。
シミュレーション手法では、「月平均の取引件数」「複合仕訳の使用頻度」「決算整理仕訳の件数」などを具体的に想定し、年間仕訳数を算出させました。これにより、500件制限が実際にどの程度のリスクとなるかを定量的に評価できました。
結果
ようやく会計ソフト選定ができました。結果的に20回ほどのプロンプト修正が必要でしたが、自力での調査よりも大幅な時間短縮を実現しました。
効果的なアプローチのまとめ
この検証を通じて見えてきた、生成AIで複雑な制約条件調査を成功させるための効果的なアプローチは以下の通りです:
調査条件の具体化と網羅性
段階的なプロンプト改善
評価基準の明確化
制約影響のシミュレーション
生成AI以外の情報源との併用
この記事で説明した手法は会計ソフト選定以外にも、人事システム、営業支援ツール、製造業向けシステムなど、複雑な制約条件を持つ様々な製品・サービス選定に応用できます。重要なのは、生成AIを単なる情報検索ツールとしてではなく、段階的改善を前提とした協働パートナーとして活用することです。
