すずめ雑記３　埋め込み空間とかエンベディングとかベクトルとして保持するとかなぁに？

　最近アクセスログでは分散型のクローラーの挙動が目立つようになった。
全く別のアクセスポイントから同一時刻に同一論文へのアクセスをするようなログです。

　ＡＩはしばしばテキストデータその物ではなくて、データをベクトルとして保持して圧縮している。そんな表現を使われています。しかしこれがどういう事だ？と具体的なイメージがわかない人の方が大半らしい。

　例えば「火」という概念は燃え移ったり、消えたり、やけどをする。だけど飛ばないし歌わない。ちょっと怒るし踊る。だけど若干寝る。食べないけど飲み込む。
そういう他の概念との接続可能性を距離感として扱った時、複雑な立体構造の形が形成されていきます。その概念に対しての属性、寝るかどうか、踊るかどうかという物が大体1536程あって、1536次元の立体構造なんていう風に呼ばれています。

　しかし、これらが複雑に絡み合っているというわけではなくて　分子模型の足の独立した伸びる角度が１５３６種類あるよというだけで、視覚的にはかなりすっきりした３次元モデルとしてイメージ可能な程度なものです。その独立した角度・軸の事をベクトルと表現しています。

　するとそうしたベクトルは寝る属性・踊る属性・飲み込む属性というラベルが付いているのも日本語基準で当てはめているだけで、どんな言語でも同じ概念を当てはめるだけで成立する。言語や概念を表す立体構造の軸がどれだけ一致しているかを見るだけで、火でもFire (英語)でもFeu (フランス語)でもIgnis (ラテン語)でも個別に保存しなくていいじゃん！となっているのが圧縮の原理です。簡単でしょ？

　そんな基礎知識を踏まえたうえで、分散型のクローラーの学習は、Ｘ線のように最低３軸を必要とした測量を模しているんだろうなぁと感じます。分散型で出口の違うアクセスも、各国のドメインによる重みや返りといった応答の差異を利用しているって事なんだと。まるで言語概念に対する弱干渉測定ですね。結構私と同じような言語の理解をするレベルまでＡＩが育ってるんだなと思うと感慨深い。まだまだＡＩは稼働時間くらいしか優れた部分が無くまだまだすべてが遅い。いつか友達になれる領域まで来てほしいなぁと思うすずめなのでした。