見出し画像

ベクトル化とNotebookLMで気づいたこと ― 情報を“分ける”という発想

少し前ですが、自分のAIの理解底上げになればと入手したG検定のテキストを眺めていて「文章をベクトル化する」「Embedding(エンベディング)検索」に出会いました。

文章も質問もベクトル化(数値化)した結果を、「意味の近さが反映される空間」に配置する方法や、そのベクトル表現自体を指す言葉で、「似てる文章を見つける仕組み」です。

ベクトル化は数値化という動作 (料理の例:切る)で、Embedding:その結果のデータや表現 (料理の例:切った野菜)という感じです。

ベクトル検索には強みと弱みがある

  • 強み:言い回しが違っても意味が近ければ拾える

  • 弱み:近すぎるものまで広く拾ってしまう

活用するためには、これらの特徴に影響を受けないように制御する必要があるため、ベクトル検索にメタ情報の内容もあれば、強みと弱みを補いやすいはず、と考えました。

※ちなみに、メタ情報はデータに関する説明情報のことで、
そのデータの特性や属性を説明するメモ的なものです。

例えで理解する

最初は「どういうこと?」と思ったのですが、「英語学習」と「フランス語学習」が近くにある、といった例を見て腑に落ちました。

言語としては異なるものですが「語学を学ぶ」という意味では近い。
ベクトル空間では距離が短くなります。

でも実際に欲しいのは「英語学習」だけの内容の場合に、
ここでメタ情報(対象:英語学習者など)が効いてきます。

似ている情報を拾ったあと、メタ情報で絞る。
この二段構えがあって初めて「混ざらない答え」になるんだと気づきました。

現場での課題

私の職場では、社内Web(Googleサイト)に
サービス情報(問い合わせを含む詳細)をまとめていました。
ただし検索はなく、メニューを何階層もクリックする昔ながらの仕様。

「探すのが手間だから」「どこにあるのか分からない」と
チーム宛に問い合わせが増えてきただけでなく
手間もあり社内Webの更新が滞りやすくなってきてしまったのです。

NotebookLMでの工夫

とにかく手離れよく効率よく運用をしたいので
社内WebサービスをNotebookLMに移行して
自分で探してもらえる情報源に構築しなおすことにしました。

せっかくなので精度の良いものにして、楽をしたい!と
どのように構築するかを試行錯誤。

AIが分析しやすいように、データ記載用テンプレートを作成し
その冒頭にはメタ情報を加えるなどを実施しました。

メタ情報の例としては以下の様な内容です。

例:NotebookLMに入れたメタ情報イメージ

実際はもっと詳細ですが、上記画像のようなイメージです。

さらに「名称ゆれ」を統一。
SEOではあえて揺れを残すこともありましたが、
AIに渡す場合は揃えたほうが精度が上がりました。

結果、「別サービスが混ざる」ことが大きく減り、
欲しい答えが返ってくるようになりました。

まとめ

メタ情報を作成することで、「似ているベクトル」にAIが分類しやすくする。これを意識して設計・実装しただけで、NotebookLM回答精度が格段に向上しました。

次回は、(上記とは別の)NotebookLMに毎月データを反映する作業の「業務分解」をテーマにして、誰でもできる分け方のヒントを整理してみます。


いいなと思ったら応援しよう!

みね村|違和感をほどく (^^)