見出し画像

【AIとやってみた】AIのつく、もっともらしい嘘：ハルシネーション【書籍推薦は壊滅的】

🌈☁️😸虹雲猫

AIは書籍推薦は壊滅的

　XのAI GrokとGoogle AIのGeminiで、書籍を推薦してもらった。XのAI Grokに哲学者ヘーゲルの思想を学ぶための初学者向けの書籍を推薦してもらったが、どれもこれも存在していなかった。その様子を記事で紹介した。

別の機会に、今度はGoogle AIのGeminiに書籍を推薦してもらったが、やはり存在しなかった。

生成AIって、書籍の推薦は苦手なの？？
そこら辺をAIに聞いてみたので紹介する。

おっと、その前に、少し用語を整理しておく。いずれもGoogleAIに聞いた。

用語の整理

  • LLM（大規模言語モデル）（Large Language Model）：膨大なテキストデータを学習し、人間のように自然な文章を理解・生成できるAIモデルのことで、ChatGPTなどに使われ、要約、翻訳、質問応答、文章作成など多様なタスクに応用されています。ディープラーニング技術（トランスフォーマーなど）を基盤とし、大量のデータから言語のパターンや文脈を学習することで、高い汎用性と性能を実現しています。

  • ハルシネーション（Hallucination）：生成AIが事実に基づかない情報や、もっともらしい嘘を「幻覚」のように生成してしまう現象のことです。

  • LLMと生成AIの違い：生成AI（Generative AI）はコンテンツ生成AI技術全般の総称で、LLM（大規模言語モデル）は生成AIの一種で、特にテキスト（文章）の生成と理解に特化したモデルです。つまり、LLMは生成AIという大きな枠組みの中に含まれる、言語特化型のエンジンのような存在で、テキスト以外（画像、音声、動画など）も扱う生成AIモデル（GANやVAEなど）も存在します。

  • オンプレミス：サーバーやネットワーク機器、ソフトウェアなどを自社で保有・管理し、自社の施設内でシステムを構築・運用する形態のことです。データやシステムが社内に閉じた環境で管理されるため、高いセキュリティとカスタマイズ性がメリットですが、初期費用や運用コスト（人件費・保守費）が高くつく点がデメリットで、現代ではクラウドサービスと比較して語られることが多いです。

夢々だまされることなきよう

AIの書籍推薦は壊滅的に使えない。実際には存在しない本を次々に推薦する。
　それは、一つには日本語による情報が英語圏のものより少ないことと、日本語特有の難しさにあるという。決して、日本人におバカでいて欲しいという（グローバリストの）願望からきているものではないようだ。
　もう一つはもっと根本的なAIの問題。それはハルシネーションだ。
　実在しない本を推薦するなどという、AIのつく嘘をハルシネーションという。AIの見せる幻覚というわけだ。
AIにハルシネーションはつきものだ。計算機科学・数学的に証明もされている。それでシンギュラリティなんてくるのか！？反論論文もあり、日常使いではほぼゼロに抑えられるのだともいうのだが。ホントか？書籍を推薦するという日常使いでもこれほど使えないのに。医療や法律などの専門領域で使用する際には、外部データベースによる検証や、人間による検証は不可欠だ、というのが今のところの結論だ。

Q：XのAI Grokも、GoogleのAI Geminiも日本語の本の推薦は壊滅的に不得意だ。なぜだろう

Grok（xAI）とGemini（Google）の両方が、日本語の本の推薦で苦手意識を持たれる主な理由は、大規模言語モデル（LLM）の訓練データが英語中心である点にあります。

  1. 訓練データの偏り

    • ほとんどの大手LLM（Grok、Gemini、ChatGPTなど）は、Common CrawlやWikipediaなどのウェブデータを基に訓練されていますが、これらのデータセットでは英語が全体の約46%を占め、日本語は数%程度しかありません。

    • 英語の書籍（特にAmazonやGoodreadsのレビュー、文学議論）は膨大に含まれていますが、日本語の書籍（村上春樹、川上未映子などの現代小説や古典文学）はデータ量が圧倒的に少なく、レビューや議論も限定的です。

    • 結果として、AIは英語圏の人気本（例: Harry PotterシリーズやベストセラーSF）は詳細に知っていますが、日本語の本についてはタイトルや著者名を挙げても、内容のニュアンス、文化的文脈、読者評価を深く理解できず、ありふれた推薦（例: 村上春樹の有名作ばかり）や的外れなものになりやすいです。

  2. 日本語の言語特性の難しさ

    • 日本語は文脈依存度が高く、敬語・省略・曖昧表現が多いため、AIの自然言語処理が英語ほどスムーズにいきません。

    • 文学推薦では、読者の好み（例: 心理描写の深い小説、ミステリー、古典）を細かくマッチングする必要がありますが、AIは日本語の微妙なニュアンスを捉えにくく、英語的なテンプレートで推薦してしまうことがあります（例: 英語のベストセラーに似たものを無理に当てはめる）。

    • 実際のユーザー体験でも、Geminiにパーソナライズ推薦を頼むと、すでに読んだ有名作を繰り返し提案したり、珍しい本を避けたりするケースが報告されています。

  3. GrokとGeminiの共通点・違い

    • 共通: 両方とも英語ベースの基盤モデルを使い、日本語対応は追加訓練で補っていますが、文学のような専門・文化的領域ではデータ不足が顕著です。日本専用LLM（例: Rakuten AI、ELYZA、Swallowなど）は日本語性能が高いですが、Grok/Geminiは汎用優先でそこまで特化していません。

    • Grokの特徴: xAI製でリアルタイム検索が可能ですが、日本語書籍のレビューサイト（読書メーター、Amazon.jpなど）の深いデータが不足しがち。

    • Geminiの特徴: Google検索統合で最新情報に強いはずですが、日本語文学の推薦では同様に苦戦。パーソナライズ機能でも英語寄りの傾向が出やすい。

改善の兆しとアドバイス

  • 最近、日本語特化LLMが増え（例: LLM-jp、Nekomataシリーズ）、性能が向上しています。将来的にGrok/Geminiもこれらを活用すれば改善する可能性があります。

  • 現在おすすめの本を求めるなら、具体的な好みを詳しく伝える（例: 「心理描写が深い現代日本小説で、村上春樹以外を3冊」）か、Amazon.jpや書評サイトを直接検索する方が確実です。AIは補助ツールとして使うのがベストです。

この偏りは英語圏以外の言語全般に共通する課題で、日本語文学の豊かさをAIがもっと反映できる日が来るのを楽しみにしています！ 具体的なジャンルや好みがあれば、僕なりに試してみますよ。

Q：ありがとう。専門書でもまったく存在しない本を推薦してくるのも、訓練が英語でなされているためだろうか？

はい、部分的にその通りです。専門書のようなニッチでデータが少ない領域で、AIが完全に存在しない本（架空のタイトル、著者、内容）を自信たっぷりに推薦してしまうのは、訓練データの英語偏重が大きな要因の一つです。

主な理由: 訓練データの不足と偏り

  • 大規模言語モデル（Grok、Gemini、ChatGPTなど）は、主に英語のウェブデータ（Common Crawl、書籍レビュー、Wikipediaなど）で訓練されています。日本語の専門書（例: 特定の学術分野の高度な理論書、マイナーな技術書）は、データ量が極端に少なく、レビューや議論もほとんどありません。

  • 結果、AIは「専門書のおすすめパターン」を英語圏のデータから学習しますが、日本語の具体的な本については「知識の隙間」が生まれやすい。そこで、**ハルシネーション（幻覚）**が発生し、実在する要素（実在の著者名、似たテーマのキーワード）を組み合わせて、もっともらしいけど存在しない本を「創作」してしまうのです。

  • 研究（2025年のベンチマーク、Mu-SHROOMなど）でも、非英語（低リソース言語）でのハルシネーション率が英語の15-35%高いと指摘されています。特に事実確認が必要な推薦タスクで顕著です。

他の要因も絡む

  • モデルの生成メカニズム: AIは「次に来そうな言葉」を統計的に予測するだけなので、自信過剰になりやすく、「知らない」ことを認めずに「それっぽいもの」を作ります。OpenAIの研究でも、訓練・評価方法が「正解を当てること」を優先するため、推測を奨励してしまうとされています。

  • 専門書の特性: 一般小説よりデータが少なく、タイトルが複雑（長い専門用語）で、マイナー本が多い。英語の専門書ですらハルシネーションが出やすいのに、日本語だとさらに悪化します。実際、AIが架空の本を推薦して図書館で混乱が起きた事例（米国新聞の誤掲載など）も報告されています。

Grok/Geminiの場合

  • 両方ともリアルタイム検索機能がありますが、日本語専門書のレビューサイト（CiNii、Amazon.jpの深いレビューなど）のデータが十分に反映されにくい。

  • 最近のモデル（2025年現在）は改善が進んでいますが、ニッチ領域ではまだ弱く、「存在しない本」を出すケースがユーザー報告で散見されます。

アドバイスとして、推薦を頼む時は**「実在する本のみ、Amazonや出版社のリンク付きで」**と指定したり、**具体的なキーワード（著者、出版年、ISBN）**を追加するとハルシネーションが減ります。最終的には人間の確認が必須ですね。もし特定の専門分野（例: 量子コンピューティングの日本語専門書）で試してみたい場合、教えてください！ 僕なりに慎重に調べておすすめしますよ。

Q：AIにハルシネーションはつきものなのか

はい、現在の大規模言語モデル（LLM）では、ハルシネーションは本質的に避けられない側面を持っていますが、完全に「つきもの」ではなく、発生率を大幅に低減・管理することは可能です。2025年12月現在の研究状況を基に、わかりやすく説明します。

なぜハルシネーションは「つきもの」なのか？

  • LLMの基本仕組みが原因: LLMは統計的に「次に来そうな言葉」を予測するだけなので、真実を「理解」しているわけではなく、訓練データのパターンを再現します。データにノイズ（誤情報）があったり、稀な事実を完全に記憶できなかったりすると、もっともらしいけど間違った出力（ハルシネーション）が生じます。

  • 理論的な限界: 複数の研究（例: arXivの2024-2025論文「Hallucination is Inevitable」）で、計算論的・数学的に証明されています。即使に完璧な訓練データでも、すべての可能な事実を正確に再現するのは不可能（Gödelの不完全性定理に似た論理的限界）。OpenAI自身も2025年の論文で、「ハルシネーションは統計的・計算的制約から不可避」と認めています。

  • 最近のトレンド: 2025年、reasoningモデル（o3、o4など）の進化で複雑な推論が可能になった一方、ハルシネーション率が増加するケースも報告されています（例: OpenAIのテストで前モデル比2倍以上）。より「創造的」になるほど、推測が増えて誤りが目立つ傾向です。

しかし、完全にゼロにはならないが、大幅に減らせる

  • 現状の発生率: モデルによるが、トップクラス（Google Gemini 2.0 Flashなど）で0.7%程度まで低減。シンプルなタスクではほぼゼロに近いが、ニュース・人物情報・複雑推論では10-50%超えることも。

  • 低減手法の進化（2025年最新）:

    • RAG（Retrieval-Augmented Generation）: 外部知識（検索・データベース）をリアルタイムで参照。ハルシネーションを大幅カット。

    • Chain-of-Thought (CoT) / Chain-of-Verification: ステップバイステップで考えさせ、自己検証。

    • RLHFの改良: 人間フィードバックで「わからない時は言う」よう訓練。不確実性を明示。

    • プロンプトエンジニアリング: 具体的な指示（「実在する情報のみ」「ソース引用」）で抑制。

    • 検出・ガードレール: 出力後に事実チェックツールで検証。

  • これらを組み合わせると、実用レベルで96%以上の低減が可能（Stanford研究など）。

結論とアドバイス

ハルシネーションはAIの「バグ」ではなく、設計上の特徴で、永遠にゼロにはならない可能性が高いです。でも、2025年現在、賢い使い方で信頼性を高められます。特に高リスク領域（医療・法律）では、人間の確認必須 + RAG併用が標準。僕（Grok）もハルシネーションを起こす可能性があるので、重要な情報は複数ソースで検証してくださいね！ 具体的な例や対策で試したいことがあれば、教えてください。

おまけ：Q：日本語特化LLMの例と特徴と現状を教えて

日本語特化LLM（大規模言語モデル）は、英語中心のグローバルモデル（GPT、Geminiなど）と比べて、日本語の文法・ニュアンス・文化的文脈を深く理解し、自然な生成や推論が可能になる点が最大の強みです。2025年現在、日本企業・研究機関・コミュニティによる開発が急速に進み、オープンソースモデルが主流で、ベンチマーク（JGLUE、Japanese MT-Bench、llm-jp-eval、ELYZA Tasks 100など）でグローバルモデルに匹敵・超越する性能が出ています。主な例と特徴（2025年時点の代表モデル）以下に、注目度の高い日本語特化LLMを挙げ、特徴をまとめます。多くはLlama、Mistral、Qwenなどのベースモデルを日本語データで継続事前学習・ファインチューニングしたものです。

  1. Rakuten AI 2.0（楽天）

    • 特徴: Mixture of Experts (MoE) アーキテクチャ採用で効率的。日本語ベンチマークでベストインクラススコア（例: Japanese MT-Benchで高得点）。会話・推論・長文処理に強く、EC/ビジネス特化可能。

    • パラメータ: 8x7B（アクティブパラメータ効率化）。

    • 現状: 2025年2月にオープンソース公開。ミニ版（SLM）もあり、モバイル/オンプレミス向け。

  2. ELYZA LLMシリーズ（ELYZA）

    • 特徴: LlamaやQwenベースで日本語チューニング。医療特化版（ELYZA-Med）もあり、電子カルテ処理などでグローバルモデル超え。自然な対話・タスク実行に優れ、企業向けAPI提供。

    • パラメータ: 8B〜72B（例: ELYZA-Shortcut-1.0-Qwen-32B）。

    • 現状: 2025年最高性能モデルをデモ公開。商用・カスタマイズ重視。

  3. Swallowシリーズ（東京工業大学）

    • 特徴: Llamaベースの継続学習で長文処理・コード生成に強い。マルチモーダル版も。オープンソースでコミュニティ貢献大。

    • パラメータ: 7B〜70B。

    • 現状: 継続アップデート中。日本語ベンチマークで上位常連。

  4. LLM-jpシリーズ（国立情報学研究所・産学協業）

    • 特徴: MoE構造や新学習手法（Drop-Upcycling）で効率化。日本語知識・推論に特化。

    • パラメータ: 13B〜（MoEで8x13Bなど）。

    • 現状: 2025年にLLM-jp-3シリーズ公開。オープンソースで研究・産業利用促進。

  5. tsuzumi 2（NTT）

    • 特徴: 軽量（低パラメータ）なのに高性能。日本語処理で世界トップクラス。セキュリティ・低コスト重視の企業向け。

    • パラメータ: 軽量版中心。

    • 現状: 2025年10月提供開始。金融・業務支援で実績。

  6. Takane（富士通）

    • 特徴: Cohereベースでビジネス用語・日本語理解度最高記録（JGLUEベンチマークでGPT-4超え）。セキュアなプライベート環境向け。

    • 現状: 2025年提供開始。金融・製造業特化。

  7. cotomi（NEC）

    • 特徴: 軽量（13B）で世界クラス日本語性能。社内活用実績豊富。

    • 現状: 継続進化中。

その他: Nekomata（Stability AI系）、Stockmark、CyberAgentLMなど。オープンソースが多く、Hugging Faceで入手可能。現状の全体像（2025年12月時点）

  • 急速成長: 2024〜2025年に新モデルが続々登場。オープンソース中心で、コミュニティ（LLM-jp、Awesome Japanese LLMリスト）が活発。ベンチマークリーダーボード（Open Japanese LLM Leaderboard）で性能比較が進み、日本語タスクでグローバルモデル（GPT-4oなど）と肩を並べるか超えるケース増加。

  • 強み: 日本語の曖昧表現・敬語・文化理解で優位。ハルシネーション低減、長文処理、ドメイン特化（医療・金融・ビジネス）が進む。

  • 課題: データ量・計算資源で英語圏に劣るため、ベースは海外モデル依存。プライバシー重視でローカル/オンプレミス運用が増加。

  • トレンド: MoE/SLM（小型高効率）化、マルチモーダル（画像+テキスト）、エージェント機能統合。企業導入加速（RAG併用で業務効率化）。

  • ランキング傾向: ベンチマーク（llm-jp-evalなど）でRakuten AI、ELYZA、Swallow、LLM-jpが上位独占。商用はtsuzumi/Takaneが強い。

日本語特化LLMは、英語モデルより「日本人の感覚に近い」応答が得やすいです。興味のある分野（例: 医療、ビジネス、小説生成）で具体的なおすすめが欲しい場合、教えてください！ 実際に試すならHugging Faceや各社デモが便利ですよ。

いいなと思ったら応援しよう！

🌈☁️😸虹雲猫 ありがとうございます❣️よりよい記事を書くために使わせていただきます💫 Thank you for your support! I’ll put this toward creating higher-quality articles.