【私の仕事】テストでは高得点を獲得するも、実務では使えないという、ＡＩの「信頼性ギャップ」問題【人事の仕事／ＡＩとやってみた】

ＡＩが抱える多くの落とし穴は安全性ではなく、信頼性だ。

というニュースを読みました。

ーー

現状、最先端ＡＩは、標準化されたテストでは驚異的なベンチマーク値を達成するが、現実的で、困難なタスクを抱える実際のユーザーを相手にすると、最先端モデルが安定した性能を発揮出来ない状況が一般的になっているそうです。

その理由は、

ベンチマークテストで使われる問いの多くは、その問題自体が何年も前からウェブ上に出回っているため、最先端のＡＩはそれらを認識し、効果的に解答することを学習してきたのであり、彼らが知っているのは

「ウェブ上に載っている問題についての答え」であって、「質問者が直面している問題の解決策」ではない。

ということです。

ー

確かに、人事労務においては、

どのような立場の人間が
どのような問題点を中心にし
どのような結果をもとめているのか

というような争っている争点については、地理的に同じ地域だけでなく・ネット上を調べてみても、むしろ同じ要件に当てはまることが少ないくらい多様にあります。

そしてその争っている方が

従業員と経営者なのか
経営者と官公庁なのか
弁護士同士なのか

ということも全く違います。

このように「背景」が全く違う・細かく違うので、ウェブ上で掲載されているある一つの解決策が、ある問題に直面している質問者に対しての最適解になる可能性が低くなっています。

ー

上記のような、官公庁対策や企業内の従業員問題といった何年かに一度必要になるようなものでなく、日常で行われている通常業務である書類作成でさえも、窓口との折衝が必要になるような特殊な形になることがありますので、さらにＡＩが使えないという現状が広まってしまいます。

先日記事にしましたように、

ＡＩ単独での業務遂行には信頼感がおけませんし、ＡＩのアドバイスについてはまだまだ多くの問題点があります。

しかし、経験が浅く・情報やアドバイスを得ようとする機会が多い若年層ほど、ＡＩにアドバイスをもとめているということも分かってきています。

そうすると、質問者の受け取りかたや場合によっては、ＡＩがもっともらしく解答してきた話が完全な誤答（ハルシネーション）であるのにもかかわらず、鵜呑みにしてしまう方がいらっしゃるというところも大きな問題です。

ＡＩについては、様々なメディアで煽ったような未来（人間vsＡＩになるような未来）・危機的な問題は去ったと考えて良いでしょうが、今度はまた別の問題である「現場としてのＡＩと人間の協働」が問われる時代になります。

☆他の人事労務関連記事☆