【第50回】AIは外れたデータをどう見つける?マハラノビス距離とは
データの中から、周りと少し違うものを見つけたい場面があります。
そのときに役立つ距離の考え方が「マハラノビス距離」です。
この記事では、ばらつきまで考慮する特別な距離をやさしく解説します。
1. 読み方
まはらのびす きょり (Mahalanobis Distance)
2. 意味(定義)
「データのバラつき(分散)や、変数同士の相関関係を考慮して、ある点から別の点がどれくらい『異常に』離れているかを測る距離」のことです。
普通の距離(ユークリッド距離)は、単なる直線距離ですが、マハラノビス距離は、「データの分布の形に合わせて、距離を補正した」ものです。
例え話:
ユークリッド距離(普通の地図上の距離): 「東京駅から大阪駅までの直線距離は何kmか?」という問い。
マハラノビス距離(交通事情を加味した距離): 「東京駅から大阪駅まで、移動にどれくらいの『大変さ』がかかるか?」という問い。
もし、新幹線が通っているルートなら「距離は遠いけれど、移動の負担(距離感)は近い」と判断します。 辿り着くのが簡単(データのバラつきが大きい方向)なら距離を短く、辿り着くのが困難(データのバラつきが小さい方向)なら距離を遠いと評価するのです。
3. 歴史・背景
この距離の考案者は、ハンガリー出身の統計学者シャンドル・マハラノビス(Sándor Mahalanobis)です。彼は1936年に、多変量解析(たくさんの変数を使った分析)において、データの相関を考慮した新しい距離の概念を提唱しました。
それまでの手法では、「身長と体重」のように、互いに関連があるデータをバラバラに扱うことが難しかったのですが、マハラノビスは「変数同士がどう関係しているか(共分散)」を取り入れることで、多次元的なデータの構造を正しく捉えることを可能にしました。
4. 比較・対比(似た用語との違い)
ここが試験で狙われる「整理」ポイントです!
ユークリッド距離 vs マハラノビス距離 ★超重要
ユークリッド距離: 変数間の相関を無視した、単純な直線距離。データの「形(分布)」を考えない。
マハラノビス距離: 変数間の相関を考慮した距離。データの「バラつきの大きさ」や「変数の関係性」に合わせて、距離を伸縮させて計算する。
単変量 vs 多変量 ★重要
ユークリッド距離: 主に、1つの次元(または相関がない多次元)での比較に適している。
マハラノビス距離: 複数の変数(多変量)が互いに関連し合っている複雑なデータにおいて、真の「異常さ」や「類似性」を見つけるのに適している。
5. 活用シーン(どんな問題に使うか)
異常検知 (Anomaly Detection): 工場のセンサーデータにおいて、「普段の動き(データの分布)」から外れた、異常な値(外れ値)を検出する。
クラスター分析: 似たもの同士をグループ化する際、単なる数値の近さではなく、データの構造に基づいた「真に似ているもの」を見つける。
画像認識・パターン認識: 特徴量(画像の明るさ、形、色など)が互いに関連し合っている複雑なデータの中から、特定の物体を識別する。
6. G検定での出題傾向
G検定では、以下のポイントが狙われます!
「相関・分散の考慮」というキーワード: マハラノビス距離の説明として、「変数間の相関(共分散)を考慮している」というフレーズを見抜く。
ユークリッド距離との違い: 「単純な直線距離ではない」という点、および「データの分布に合わせて補正される」という性質の理解。
異常検知への応用: 外れ値(異常なデータ)を見つけるために、この距離が使われるという文脈の理解。
7. G検定の例題
【問題1:概念の理解】
マハラノビス距離の特徴として、最も適切なものはどれですか?
A. 2点間の最短の直線距離を、単純に計算したものである。
B. 変数同士の相関関係や、データのバラつき(分散)を考慮して計算される距離である。
C. すべての変数の重みを等しく扱うため、データのスケール(単位)の影響を全く受けない。
D. データの分布が正規分布に従っている場合には、ユークリッド距離と常に一致する。
【問題2:活用シーン】
製造ラインにおけるセンサーデータの異常検知において、マハラノビス距離が有効とされる理由として最も適切なものはどれですか?
A. センサーの故障による単純な数値のズレを、計算コストを抑えて検出できるから。
B. 複数のセンサー(温度、圧力、振動など)が互いに関連し合って動いているとき、その相関関係の変化を含めて「異常」を捉えられるから。
C. データの平均値と中央値の差を計算することで、外れ値を排除できるから。
D. 単純な直線距離を用いることで、計算が高速であり、リアルタイム処理に適しているから。
8. 例題の回答と解説
【問題1 の回答】
正解:B
【解説】
A は、ユークリッド距離の説明です。
C は誤りです。マハラノビス距離は「分散」を考慮するため、スケールの違いを調整する役割を持っていますが、「重みを等しく扱う」という表現は不適切です。
D は誤りです。正規分布であっても、変数の相関(共分散)がある場合は、ユークリッド距離とは異なる値になります。
B が正解です。「相関関係」と「バラつき」を考慮するのがマハラノビス距離の最大の特徴です。
【問題2 の回答】
正解:B
【解説】
A は、マハラノビス距離の計算はむしろ複雑(共分散行列の逆行列などを使うため)であり、計算コストは高めです。
C は、統計的な手法としては存在しますが、マハラノビス距離の説明ではありません。
D は、ユークリッド距離(単純な直線距離)の説明です。
B が正解です。工場などのプロセスでは「温度が上がれば圧力も上がる」といった変数間の相関が重要です。マハラノビス距離を使えば、その「関係性の崩れ」を検知できるため、高度な異常検知が可能になります。
