【世界は「直交」でできている——音・顔・匂いを分解して見えるもの】
一見、カオスのように見える世界。けたたましい都市の騒音、雑踏を行き交う無数の顔、レストランから漂う複雑な香り。これら「音」「顔」「匂い」という全く異なる知覚情報は、ひとたびデータとして捉えれば、何万、何百万という次元を持つ圧倒的な複雑さの塊です。
しかし、もしこの複雑さの大部分が単なる「情報の重複（冗長性）」に過ぎず、その奥には、互いに一切干渉しない、驚くほどシンプルな「世界の設計図」が隠されているとしたらどうでしょうか。データサイエンスは、この設計図をあぶり出す普遍的な鍵として「直交性（Orthogonality）」という概念を用います。
本レポートは、「世界は『直交』でできている」というテーマを掲げ、主成分分析（PCA）や特異値分解（SVD）といった強力な数学的手法が、いかにして「正規直交基底」という万能の物差しをデータから見つけ出すのかを解き明かします。
なぜ、顔認識システムは膨大なデータベースから瞬時に個人を特定（検索）できるのか？ なぜ、MP3は音楽の品質を保ったままデータを劇的に小さく（圧縮）できるのか？ そして、この世に存在しない顔をリアルに（生成）することさえ可能なのか？
その答えの核心には、すべて「直交化」によるデータの分解という、共通の数学的原理が存在します。
本レポートでは、顔画像の「固有顔」から、音楽の波形、さらには「匂い」の化学プロファイルに至るまで、一見無関係な現象がこの「直交化」というレンズを通してどう繋がっているのかを、公開データを参照しながら検証していきます。高次元データの混沌の奥に潜む、美しく秩序だった構造への知的な探求へ、ようこそ。
序論：直交する世界観——高次元データを解き明かす「正規直交基底」
我々が日々接するデータ、例えばデジタルカメラが捉えた顔の全ピクセル、マイクが拾った楽曲の全波形、あるいはセンサーが検知した匂いの全化学成分は、一見すると圧倒的な情報量を持つカオス（混沌）のように感じられる。しかし、この高次元データの「見かけ上の」複雑さの多くは、データポイント間の強い「相関」によって生み出された「冗長性（Redundancy）」に起因している。
現実のデータは相関に満ちている。顔画像の隣り合うピクセルはほぼ同じ色であり、音楽波形のある瞬間の値は直前・直後の値と強く関連している。この膨大な冗長性こそが、データ解析における計算コストの増大や、いわゆる「次元の呪い」を引き起こす根本原因である。
この冗長性を数学的に排除し、データに内在する「本質的な構造」のみを、互いに重複のない形で抽出する操作が「直交化（Orthogonalization）」である。本レポートの目的は、この直交化を実現する最も強力かつ基本的なツールである主成分分析（Principal Component Analysis, PCA）と特異値分解（Singular Value Decomposition, SVD）が、どのようにして「正規直交基底」と呼ばれる新しい座標系を発見するのか、その数学的原理を解明することにある。
さらに、この単一の数学的原理が、一見まったく異なる「顔（視覚）」「音（聴覚）」「匂い（嗅覚）」というドメインにおいて、どのように「圧縮」「検索」「生成」という3つの異なるタスクを等しく強力に実現するのかを、公開データセットを用いた具体的な検証事例に基づき明らかにする。
本レポートは以下の構成をとる。
第1部では、PCAとSVDがデータを「正規直交基底」へといかに変換し、無相関化するかの数学的原理を解明する。
第2部から第4部では、この原理が「顔」「音」「匂い」の各ドメインで具体的にどう応用されているかを検証する。
第5部では、「直交化」がこれら3つのタスクを強力にする普遍的な理由を理論的に総括する。
最後に第6部として、PCAが持つ「直交性」という制約の限界と、それを超える発展的な分解手法（ICA, NMF, kPCA, テンソル分解）との比較分析を行う。
第1部：データサイエンスの「直交化」——PCAとSVDの数学的原理
データの冗長性を排除し、その本質的な構造を掴むための「直交化」は、具体的には行列の固有値分解（Eigendecomposition）と特異値分解（SVD）という2つの強力な数学的手法によって実行される。
1.1. PCA（主成分分析）の本質：共分散行列の対角化
主成分分析（PCA）の核心は、データの特徴量間に存在する「相関」を定量化し、それを除去することにある。まず、データセットを$m$個の特徴量（次元）と$n$個のサンプルからなる行列$X$（$m \times n$）として表現する。
このとき、特徴量間の相関構造は、共分散行列$S_X$（一般に$S_X \equiv \frac{1}{n-1}XX^T$と定義される）によって完全に記述される。共分散行列$S_X$において、対角成分は各特徴量が持つ「分散（Variance）」、すなわちその特徴量が持つ情報量を表す。一方、非対角成分は特徴量間の「共分散（Covariance）」、すなわち「冗長性」を表している。
PCAの目的は、この共分散行列$S_X$を「対角化（Diagonalize）」することに他ならない。対角化とは、すべての非対角成分（共分散）がゼロになるような、新しい座標系（基底）を見つけ出す操作である。もし共分散行列を対角化できれば、それは「すべての特徴量が互いに無相関（Uncorrelated）」であるような、理想的なデータ表現が得られたことを意味する。
この解法は、線形代数の基本的な定理によって与えられる。共分散行列$S_X$は、その定義から必ず「対称行列（Symmetric matrix）」である。スペクトル定理によれば、対称行列は必ず「固有値分解」が可能であり、その固有ベクトル（Eigenvectors）は互いに直交する（Orthogonal）か、あるいは直交するように選ぶことができる。
PCAは、この共分散行列$S_X$の固有ベクトルを、データの新しい座標軸（基底）として採用する。この固有ベクトルこそが「主成分（Principal Components）」と呼ばれるものであり、それらは互いに直交する「正規直交基底」を構成する。そして、各固有ベクトル（主成分）に対応する固有値$\lambda_i$は、その新しい座標軸がどれだけの情報量（元のデータの分散）を捉えているかを示す尺度となる。
結果として、PCAは元のデータを単に「回転」させる操作とみなすことができる。その回転によって、データの分散（情報）が最も大きい方向が第1主成分（PC1）、次に分散が大きくPC1と直交する方向が第2主成分（PC2）...というように、情報の「重要度順」にソートされた、互いに直交する新しい座標系（正規直交基底）を見つけ出すのである。
1.2. SVD（特異値分解）の汎用性：任意の行列を3つの操作に分解する
PCAが$m \times m$の正方対称行列（共分散行列）を対象とする固有値分解であるのに対し、SVDは任意の形状の$m \times n$行列$A$に適用可能な、より汎用的な分解手法である。SVDは、任意の行列$A$を、$A = U \Sigma V^T$ という3つの行列の積に一意に分解する。
これらの構成要素は、それぞれが「直交性」に関する重要な性質を持っている 6：
$U$：$m \times m$ の直交行列（Orthogonal matrix）。$A A^T$ の固有ベクトルから構成される。その列ベクトルは「左特異ベクトル」と呼ばれ、$m$次元空間における正規直交基底をなす。
$\Sigma$：$m \times n$ の（広義の）対角行列。対角成分 $\sigma_i \ge 0$ は「特異値（Singular values）」と呼ばれ、固有値の平方根に相当し、各基底が持つ情報の重要度（エネルギー）に対応する。
$V^T$：$n \times n$ の直交行列（$V$も直交行列）。$A^T A$ の固有ベクトルから構成される。$V$の列ベクトルは「右特異ベクトル」と呼ばれ、$n$次元空間における正規直交基底をなす。
SVDの幾何学的な解釈は明快である。それは、行列$A$が行うあらゆる線形変換（空間の変形）を、「回転（または反転）」（$V^T$）、「各軸方向への伸縮（スケーリング）」（$\Sigma$）、「別の空間での回転（または反転）」（$U$）という、3つの独立した操作の連続として分解することである。
1.3. PCAとSVDの接続性：なぜSVDはPCAの計算に用いられるのか
PCA（共分散行列$XX^T$の固有値分解）とSVD（データ行列$X$自体の分解）は、一見異なる手法に見えるが、数学的に深く結びついており、本質的に同じ問題の異なる側面を捉えている。
この接続関係は以下のプロセスで理解できる。
PCAのゴールは、共分散行列 $S_X \propto XX^T$ の固有ベクトル（主成分）を見つけることである。
一方、SVDの定義によれば、左特異ベクトル行列$U$の列ベクトルは、$A A^T$（データ行列を$A$とする）の固有ベクトルである。
この2つの事実から、データ行列$X$のSVD（$X = U \Sigma V^T$）を計算したときに得られる左特異ベクトル行列 $U$ こそが、PCAが求めている主成分（正規直交基底）そのものである、という結論が導かれる。
この接続は、実用上極めて重要である。もし$m$（次元数）が非常に大きい（例：顔画像で$m=10,000$）場合、PCAの定義通りに巨大な$m \times m$の共分散行列$XX^T$を明示的に計算し、その固有値分解を行うことは、計算コストと数値的安定性の両面で非現実的である。
SVDは、この巨大な行列を陽に形成することなく、元のデータ行列$X$から直接$U$, $\Sigma$, $V$を求める、より安定した汎用的なアルゴリズム（例：Golub-Kahan-Reinsch法）を提供する。このため、Scikit-learnをはじめとする現代の標準的なデータサイエンスライブラリでは、PCAを実装する内部的な計算エンジンとして、SVDが広く採用されている。
第2部：【CASE 1：顔】「固有顔（Eigenface）」による顔空間の構築
PCAとSVDによる直交化の最も象徴的かつ歴史的な応用例が、コンピュータビジョン分野における「固有顔（Eigenface）」である。
2.1. 歴史的背景と問題設定
1991年、Matthew TurkとAlex Pentlandは、コンピュータビジョン分野のトップカンファレンスであるCVPRにて、「Eigenfaces for Recognition」と題する画期的な論文を発表した。彼らの問いは、「コンピュータはどのようにして顔を認識すべきか」という根本的なものであった。
当時のコンピュータにとって、顔画像は極めて扱いにくい高次元データであった。例えば、わずか $100 \times 100$ ピクセルの白黒画像でも、各ピクセル値を特徴量とみなすと、10,000次元のベクトル空間における1つの点として表現される。この高次元空間（ピクセル空間）で、照明や表情が異なる顔画像同士の「類似性」を直接定義し、高速に「検索」することは、計算リソースの制約から非現実的であった。
2.2. 分解（Decomposition）：高次元計算を回避する「PCAトリック」
TurkとPentlandは、この高次元性の問題を回避するために、PCA（SVD）の数学的性質を利用した巧妙な計算手法、通称「PCAトリック」を導入した。
仮に、10,000次元（$D=10,000$）の顔画像を$N=400$枚集めて学習データ行列$T$（$D \times N$）を作成したとする。
PCAの定義に従えば、$D \times D$（$10,000 \times 10,000$）という天文学的なサイズの共分散行列 $S = TT^T$ を計算し、その固有値分解を行う必要がある。これは当時の（そして現代の）コンピュータにとっても非現実的な計算量である。
ここで彼らは、SVDの原理（第1.3節）に基づき、以下の「トリック」を用いた 14：
巨大な $D \times D$ の $TT^T$ を計算する代わりに、$N \times N$（この例では $400 \times 400$）という、はるかに小さな行列 $T^T T$ を考える。
この小さな行列の固有値分解 $T^T T u_i = \lambda_i u_i$ を解く。これは計算機で容易に実行可能である。
$T^T T$ の固有ベクトル $u_i$（$N \times 1$）と固有値 $\lambda_i$ が求まれば、本来求めたかった巨大な共分散行列 $TT^T$ の固有ベクトル $v_i$（$D \times 1$）は、$v_i = T u_i$ という単純な行列積によって、（正規化定数を除き）直接復元できる。
この手法は、SVDにおける右特異ベクトル（$V$の列）と左特異ベクトル（$U$の列）の関係性を利用したものであり、計算量を$D^3$のオーダーから$N^3$のオーダーへと劇的に削減した。
この計算トリックによって得られた $v_i$ こそが、主成分であり、顔データを構成する「正規直交基底」である。この $v_i$（10,000次元ベクトル）を再び $100 \times 100$ の画像として可視化すると、平均的な顔からの「統計的な差分」パターンが、まるで幽霊のような顔（Ghostly face）として浮かび上がる。TurkとPentlandは、これを「固有顔（Eigenface）」と名付けた。
2.3. 応用 1：圧縮（Compression）
Eigenfaceは、顔データを表現するための新しい「基底ベクトル」のセットである。線形代数の原理によれば、任意の顔画像は、これらの「固有顔」（基底）の「線形結合（重み付きの足し算）」として近似的に再構成（復元）できる。
$$Face \approx \bar{Face} + w_1(Eigenface_1) + w_2(Eigenface_2) + \dots + w_k(Eigenface_k)$$
PCA/SVDの重要な特性は、固有値$\lambda_i$（または特異値$\sigma_i$）が、その基底（Eigenface）が元の顔画像セット全体の分散（情報量）をどれだけ捉えているかの尺度となる点である。したがって、固有値の大きい順にトップ$k$個（例えば$k=100$）の固有顔を選ぶだけで、元の画像の分散の大半を捉えることができる（これはSVDによる最適低ランク近似と等価である 5）。
この結果、顔画像を保存するために $D=10,000$ 個の全ピクセル値を保存する必要はなく、わずか $k=100$ 個の「重み（$w_i$）」を保存するだけで、顔を高い忠実度で復元できる。これがPCAによる劇的なデータ圧縮の原理である。
2.4. 応用 2：検索（Search）と認識
この圧縮プロセスは、同時に高効率な検索メカニズムを提供する。$k$個の重みの組 $(w_1, w_2, \dots, w_k)$ は、元の10,000次元ピクセル空間から射影された、$k$次元の新しい「顔空間（Face Space）」における座標ベクトル（Turkらはこれを "face key" と呼んだ 15）とみなすことができる。
顔認識（検索）のプロセスは、この顔空間において以下のように実行される 15：
データベース構築: 予め、データベースに登録されている既知の人物（例：社員A, B, C）の顔画像をすべて顔空間に射影し、それぞれの低次元座標ベクトル（$k$次元）を保存しておく。
クエリ実行: 未知の顔画像（入力画像 $\Gamma$）が与えられると、まず平均顔 $\Psi$ を引き、同様に$k$個の固有顔基底 $U$ に射影して、その座標ベクトル $\Omega$ を計算する（$\Omega = U^T (\Gamma - \Psi)$ 15）。
照合: 得られた座標 $\Omega$ と、データベースに保存されている全人物の座標ベクトルとの間で、単純なユークリッド距離を計算する。この距離が最も近いベクトル（k-Nearest Neighbor）を持つ人物（例：社員B）を、入力画像と「同一人物」として特定する。
高次元のピクセル空間では「似ている」を定義することは困難であったが、PCAによって抽出された本質的な（無相関な）$k$次元の顔空間では、単純な「幾何学的距離」が「顔のアイデンティティの類似性」と強く相関するようになる。
2.5. 応用 3：生成（Generation）
Eigenfaceによって定義された顔空間は、単なる圧縮・検索のための表現（Encoding）に留まらず、「線形生成モデル（Linear Generative Model）」としても機能する。
顔空間内の座標 $(w_1, \dots, w_k)$ は、顔を構成する（統計的な）要素の「パラメータ」とみなすことができる。この座標を連続的に操作することで、データの合成（Synthesis）が可能となる。例えば、人物Aの顔空間座標と人物Bの顔空間座標を線形補間（内分）し、その「中間の座標」を基底（Eigenface）を用いてピクセル空間に逆変換すれば、Aの顔からBの顔へと滑らかにモーフィング（変形）する途中の顔画像を生成できる。同様に、この世に存在しない「平均的な顔」や「ある特徴を極端に強調した顔」なども合成可能である。
このEigenfaceの手法を検証するために、いくつかの標準的な公開データセットが利用される。
Labeled Faces in the Wild (LFW): 13,000枚以上の「制約のない（unconstrained）」実世界の顔画像を含むデータセット。照明、ポーズ、背景が多様であるため、PCAが現実世界の変動要因をどこまで捉えられるかのロバスト性を試すために用いられる。
Yale Face Database / Extended Yale Face Database B: 同一人物について、照明条件（例：左、右、正面）や表情を体系的に収集したデータセット。PCAを適用すると、PC1やPC2（最も分散が大きい成分）が「照明の方向」に対応し、それ以降のPCが「個人のアイデンティティ」に対応するなど、PCAがデータの変動要因を分離する様子を明確に検証するのに適している。
第3部：【CASE 2：音】周波数と特徴量の直交分解
「直交化」の原理は、聴覚データである「音」の処理においても、圧縮と検索・分類という2つの異なる側面で中心的な役割を果たしている。
3.1. 応用 1：オーディオ圧縮（MP3/AAC）とDCT/MDCT
音楽CDなどに収録されている非圧縮のWAV（PCM）データは、その情報量が膨大であるため、インターネット配信やポータブルデバイスでの利用には高効率な非可逆圧縮が不可欠であった。
信号を少数の係数に「エネルギーを集中させる（Energy Compaction）」 27 という観点では、PCA（信号処理の文脈ではKarhunen-Loève Transform, KLTと呼ばれる）が理論的に最適な変換であることが知られている。しかし、PCA/KLTは「データ依存」の変換である。つまり、基底ベクトル（固有ベクトル）を信号（楽曲）ごとに計算し、その基底情報自体をエンコーダからデコーダへ送信する必要があり、計算コストと伝送効率の点で実用的ではなかった。
この問題に対し、MP3やJPEGといった標準規格が採用したのが、**離散コサイン変換（Discrete Cosine Transform, DCT）**である。DCTは、PCA/KLTとは異なり「データ非依存」の固定された正規直交基底（コサイン関数）を用いる。音声や音楽、あるいは画像信号のように「隣接するサンプル値との相関が非常に強い」信号（自己相関信号）に対しては、この固定基底であるDCTが、理論的最適解であるPCA/KLTに極めて近いエネルギー集約特性を示すことが経験的・理論的に知られている。
結果として、MP3やJPEGは、理論的な最適性（PCA）よりも、実用的な計算速度と高い圧縮効率を両立する「DCT」を、信号の直交分解手法として採用した。
さらに、オーディオ圧縮では、DCTをそのまま用いると、データを時間的に分割するブロック（フレーム）の境界で不連続性が生じ、人間の耳には「カチッ」という「ブロックノイズ」として知覚されてしまう問題があった。この問題を解決したのが、**修正離散コサイン変換（Modified Discrete Cosine Transform, MDCT）**である。
MDCTは、時間フレームを50%ずつオーバーラップさせながら処理を行う。このオーバーラップにより、ブロック境界の不連続性は滑らかになるが、一見するとデータ量が2倍になり直交性も失われるように思える。しかし、MDCTはTDAC（Time Domain Aliasing Cancellation）と呼ばれる巧妙な数学的設計により、オーバーラップさせたままでも「完全な再構成」と「直交性」を（一種のエイリアシングを相殺することで）維持することを可能にした。この革新的な技術により、ブロックノイズのない高品質なオーディオ圧縮が実現され、MDCTはMP3（厳密にはハイブリッド 32）、AAC、Dolby Digital (AC-3)、Vorbis (Ogg) など、現代のほぼ全ての主要な非可逆オーディオコーデックの基幹技術として採用されている。
3.2. 応用 2：音楽情報検索（MIR）とPCA
オーディオデータのもう一つの主要な応用が、音楽情報検索（Music Information Retrieval, MIR）である。これは、数百万曲のデータベースから「似た雰囲気の曲を探す」（類似性検索）や、「曲のジャンル（ロック、クラシックなど）を自動分類する」（分類）といったタスクを指す。
これらのタスクでは、楽曲の波形そのものではなく、まずスペクトログラムや、人間の聴覚特性を模した**MFCC（メル周波数ケプストラム係数）**といった高次元の特徴量ベクトルが抽出される。MFCCは非常に強力な特徴量だが、その係数（通常13〜40次元程度）の間には、依然として相関（冗長性）が残存している。
ここで、Eigenfaceのケース（第2部）と全く同様のロジックでPCAが適用される。高次元のMFCC特徴量空間に対してPCAを適用し、「音楽特徴空間」とも呼べる、より低次元で無相関な主成分空間を構築する。この直交化（無相関化）がもたらす利点は2つある。
検索（Search）効率の向上: 高次元空間（例：MFCC 40次元 $\times$ 時間フレーム）での類似性検索は、計算コストが高く「次元の呪い」の影響を受ける。PCAで本質的な情報を持つ低次元空間（例：20次元）に射影することで、検索の計算コストを大幅に削減し、k-NN検索などの効率を高めることができる。
分類（Classification）精度の向上: 特徴量間に強い相関（多重共線性）が存在すると、SVM（サポートベクターマシン）などの機械学習分類器が過学習（Overfitting）を起こしやすくなり、分類精度が低下する。PCAによって無相関な主成分に変換することは、このマルチコ問題を自動的に解消し、モデルの安定性と汎化性能（分類精度）を向上させる効果がある。
これらのMIRタスクの検証には、標準的な公開データセットが用いられる。
Free Music Archive (FMA): 10万トラックを超える楽曲のメタデータと、抽出済みの各種特徴量（MFCC含む）が提供されている大規模データセット。PCAやディープラーニングを用いたジャンル分類のベンチマークとして広く利用されている。
GTZAN Dataset: 10ジャンル（ブルース、クラシック、ジャズ、メタルなど）、各100曲、合計1000曲のオーディオファイルからなる、音楽ジャンル分類の古典的なデータセットである。
第4部：【CASE 3：匂い】「匂い空間（Smell Space）」の主成分
視覚（顔）、聴覚（音）と同様に、嗅覚（匂い）の世界もまた、PCAによる直交分解の対象となる。
4.1. 問題設定：嗅覚のデータ化
「匂い」は、単一の分子ではなく、数百から数千種類にも及ぶ揮発性有機化合物（Volatile Organic Compounds, VOCs）の複雑な混合比によって知覚される、本質的に高次元な情報である。この匂いをデータ化するため、主に2つの技術が用いられる。
ガスクロマトグラフィー質量分析（GC-MS）: 匂いを構成する化学物質をガスクロマトグラフで物理的に分離し、質量分析計で同定・定量する高精度な分析手法。その結果は、各サンプル（例：コーヒー）に含まれる数千次元の「化合物プロファイル（ベクトル）」として得られる。
電子鼻（E-nose）: 人間の嗅覚受容体を模倣し、特性の異なる複数のガスセンサーをアレイ状に並べたデバイス。匂いの混合物が各センサーに触れた際の「応答パターン」を、高次元ベクトルとして取得する。
4.2. 分解と検索（Search）：PCAによる「匂い」の可視化と分類
GC-MSやE-noseから得られるデータは、EigenfaceのピクセルベクトルやMIRのMFCCベクトルと同様に、非常に高次元であり、かつ成分間に強い相関を含んでいる。そこで、これらの高次元ベクトルをサンプルごとに行列化し、PCAを適用することが標準的な分析パイプラインとなっている。
PCAによって、情報の分散（＝サンプル間の「匂いの違い」）を最もよく説明する、互いに直交する第1主成分（PC1）と第2主成分（PC2）が抽出される。このPC1とPC2を直交座標系のX軸・Y軸とし、各サンプルをその空間にプロットすることが行われる。
このPCAプロットは、人間が主観的に知覚する曖昧な「匂いの近さ」を、低次元空間における客観的な「幾何学的距離」として可視化する試みであり、一種の「匂い空間（Smell Space）」を構築する操作とみなすことができる。この空間上でサンプルが明確なクラスターを形成すれば、それはPCAが匂いの「種類」や「品質」を識別（検索・分類）可能な形で抽出できたことを意味する。
4.3. 検証事例：アロマプロファイルの分類
近年の分析化学分野では、この手法が食品や香料の品質管理、品種識別に広く用いられている。
事例1：シガー（葉巻）タバコの品種分類
出典: ACS Omega 誌 (2025年発表)
手法: 中国で生産された4品種のタバコの葉（CTLs）に対し、高度なGC-MSであるHS-SPME-GC$\times$GC-TOF-MS技術を適用し、合計2117種類の揮発性化合物を同定した。
結果: この2117次元の化合物データに対してPCA（パレートスケーリング後に実行）を適用したところ、PC1（全分散の25.8%を説明）とPC2（同21.1%）の2軸だけで、4品種のサンプルがPCAプロット上で明確に異なる領域に分離（クラスタリング）されることが示された。
意義: 「品種の違い」という抽象的な概念が、2117次元の化学空間から抽出された、たった「2つの直交する主成分」によって、その差異の46.9%（25.8% + 21.1%）まで説明可能であることが実証された。
事例2：白酒（Baijiu）の品質等級の識別
出典: Frontiers in Nutrition 誌 (2023年発表)
手法: 中国の伝統的な蒸留酒である白酒（SSAB）の異なる品質等級（Superior-gradeなど）のサンプルに対し、E-noseとHS-SPME-GC-MSを適用した。
結果: E-noseのセンサー応答データに対するPCA分析では、PC1とPC2だけで全分散の実に**89.9%**を説明でき、異なる品質等級のサンプルを明確に識別できた。さらに、GC-MSで特定された「差分化合物」のPCAバイプロット（主成分と元変数の関係を示す図）を分析したところ、Superior-grade（高品質）の酒ほど、「フルーティーな香り」に関連する化合物群（エステル類など）の寄与が強いことが示された。
意義: PCAは、単なる分類（Search）だけでなく、その分類軸（主成分）が「どのような化学的特徴（例：フルーティーさ）」によって定義されているかを解釈する（Generation of insight）ための強力なツールとしても機能することを示している。
4.4. 公開データセット検証
これらの匂い・ガスセンシング研究の再現検証には、UCI Machine Learning Repository が有用である。同リポジトリには、「Gas Sensor Array Drift Dataset」 50 や「Gas sensor array temperature modulation」 51 など、E-noseの時系列データセットが複数公開されている。これらのデータセットは、異なるガス（アセトン、エタノール等）の識別（分類・検索）タスクにおけるPCAの有効性を検証するために、世界中の研究機関で利用されている。
第5部：なぜ「直交化」は圧縮・検索・生成を強力にするのか
これまで見てきたように、顔、音、匂いという全く異なるドメインにおいて、PCA/SVDによる「直交化」は、「圧縮」「検索」「生成」という共通のタスクを解決するために用いられてきた。この普遍性は偶然ではなく、正規直交基底が持つ数学的な必然性に根ざしている。
5.1.【圧縮】最適低ランク近似（Optimal Low-Rank Approximation）
「圧縮」とは、元の情報を可能な限り失わずに、より少ないデータ量で表現することである。SVDは、この問題に対する「最適解」を与えることが数学的に証明されている。
Eckart-Young-Mirskyの定理として知られる線形代数の基本定理は、ある行列$A$を、それよりもランク（階数）が低い（＝情報量が少ない）行列$A_k$で近似する際に、フロベニウスノルム（二乗誤差の総和）を最小化する「最適」なランク$k$近似 $A_k$ は、SVD（$A = U \Sigma V^T$）の特異値 $\sigma_i$ のうち、大きい方から$k$個のみを残し、残りをゼロとすることで得られる、と定めている。
PCAは、データの分散を最大化する（＝再構成時の二乗誤差を最小化する）射影を見つける操作であり、本質的にこのSVDによる最適低ランク近似と等価である。
なぜSVD/PCAが最適解を与えるのか。それは、特異値/固有値が、各基底ベクトルが持つ「情報量（エネルギーまたは分散）」の順に正確にソートされているためである。データを$k$個の基底で近似（圧縮）しようとするとき、SVD/PCAは自動的に「最も情報量が多い$k$個」を選択し、切り捨てられる情報量（ノイズ）を最小限に抑える。
ここで「直交性」が決定的な役割を果たす。基底が互いに直交しているため、各基底が表現する情報（分散）は、互いに重複することがない。PC1が捉えた情報とPC2が捉えた情報は、定義上、線形的には無相関である。このため、基底を追加していく際、常に新しい（まだ説明されていない）情報を最大効率で捉えることができ、最小の$k$個で最大の情報量を網羅することが可能になる。
5.2.【検索】次元の呪いの克服と無相関化
「検索」とは、高次元空間において「類似性」を定義し、高速に照合することである。直交化は、このタスクが直面する2つの根本的な問題、「次元の呪い」と「多重共線性」を解決する。
「次元の呪い」の回避:
Eigenface（10,000次元）の例で見たように、次元数が高すぎると、空間が非常に疎（スパース）になり、あらゆる点同士の距離がほぼ等しく（遠く）なってしまい、k-NN検索などで使われる「距離」という尺度が意味をなさなくなる。PCA/SVDによる低次元空間（例：100次元）への射影は、データの最も本質的な構造を保ったまま次元を劇的に削減し、類似性検索（Similarity Search）を計算的にも意味的にも再び可能にする。
マルチコ（多重共線性）の排除:
高次元データの特徴量は、多くの場合、強く相関している（例：顔の隣接ピクセル、MFCCの隣接係数）。この「多重共線性（Multicollinearity）」は、類似性検索や分類モデルの安定性を著しく損なう「ノイズ」として作用する。
PCAによって得られる主成分は、定義上「無相関（uncorrelated）」である。これは、データ空間を、特徴量同士が複雑に絡み合った「歪んだ」座標系から、安定した「直交」座標系へと変換する操作に他ならない。この無相関化（直交化）こそが、検索対象（例：顔のアイデンティティ）とは無関係な冗長性を排除し、モデルのロバスト性と検索・分類の効率を劇的に改善する。
5.3.【生成】制御可能で安定した線形潜在空間の提供
「生成」とは、モデルの内部パラメータを操作して、新しいデータ（例：この世に存在しない顔）を合成（Synthesis）することである。PCAは、データを「基底（PCs）の線形結合」としてモデル化する、最も単純な線形生成モデル（Generative Model）の一つである。
この生成タスクにおいて、基底の「直交性」は「制御可能性（Controllability）」と直結する。
「生成」とは、モデルのパラメータを操作することである。PCAにおけるパラメータとは、各主成分の「重み（係数）」 $(w_1, \dots, w_k)$ である。
もし基底が直交していなかったら（相関していたら）、基底1が持つ特性（例：顔の輪郭）を操作しようと$w_1$を変更すると、それと相関している基底2が持つ特性（例：肌の色）も意図せず同時に変化してしまう。つまり、パラメータが「絡み合っている（entangled）」状態にある。
PCAの基底は「直交」しているため、各「重み」は（線形レベルでは）互いに干渉しない。$w_1$（例：顔の輪郭）を操作しても、$w_2$（例：照明の向き）は変化しない。
結論として、正規直交基底は、データの変動要因を（線形レベルで）分離し、互いに干渉しない独立した「制御ノブ」のセットを提供する。これこそが、Eigenfaceで見たような滑らかなモーフィングや、意味のあるデータ生成を可能にする根本的な理由である。
表1：ドメイン別・直交化による応用と公開データセット
第6部：直交を超えて——PCAの限界と発展的分解手法
PCAの正規直交基底は、高次元データの解析における強力な第一歩であるが、万能ではない。PCAの基盤である「正規直交性」と「線形性」という厳格な数学的仮定が、そのままPCAの限界となっている。
6.1. PCAの限界：線形性と解釈性の壁
PCAの弱点は、主に以下の3点に集約される。
線形性の限界: PCAは、データが線形（平坦）な部分空間に分布していることを暗黙的に仮定している。しかし、現実のデータ（例：顔の向きが連続的に変わる画像群）は、「曲がった」非線形な多様体（マニフォールド）上に分布することが多い。このようなデータに対し、線形な軸（主成分）で捉えようとすると、その本質的な構造を見誤る。
直交性の限界（解釈性）: 基底が互いに「直交する」という制約は、数学的な利便性（分散の非重複性など）のためのものであり、現実世界のデータ生成プロセスが直交している保証はどこにもない。Eigenfaceが「顔のパーツ（目、鼻）」といった直感的に解釈可能な要素ではなく、顔全体の統計的な変動パターン（正負の値を持つ幽霊のような画像）となるのは、この直交性という制約に起因する。
直交性の限界（分離性）: PCAが達成するのは「無相関（Uncorrelated）」であり、これは「統計的に独立（Independent）」よりもはるかに弱い条件である。「無相関」は2次の統計量（共分散）がゼロであることを意味するに過ぎないが、「独立」は高次の統計量を含めた全ての関係性がゼロであることを要求する。現実の信号源（例：2人の話者の声）が「独立」だが「直交」していない場合、PCAではそれらを分離できない。
これらの限界を克服するため、PCAの「直交性」や「線形性」の制約を緩和・変更した、多様な発展的分解手法が提案されている。
6.2. 比較分析 1（独立性）：PCA vs. ICA（独立成分分析）
目的の違い: PCAがデータの「分散」を最大化し「無相関」な成分を見つける（2次統計量を最適化する）のに対し、ICA（独立成分分析）はデータの「非ガウス性（Non-Gaussianity）」を最大化し、「統計的に独立」な成分を見つける（高次統計量を最適化する）ことを目的とする。
応用：「カクテルパーティ問題」（ブラインド音源分離）:
この違いが最も顕著に現れるのが、複数の音源が混ざった信号から元の音源を分離する「カクテルパーティ問題」である。
例えば、2人の話者（$s_1, s_2$）の独立した音声信号が、2つのマイクで混合されて観測された（$x_1, x_2$）とする。$s_1$と$s_2$は「独立」だが、部屋の音響特性（混合行列）が直交でない限り、「直交」はしていない。
この混合信号 $x_1, x_2$ にPCAを適用しても、見つかるのはあくまで観測データの分散が最大となる「直交軸」であり、元の信号 $s_1, s_2$ の軸とは一致しないため、分離は失敗する。
一方、ICAは「直交性」の制約を捨て、分離後の信号ができるだけ「音声らしい」（＝ガウス分布から遠い、非ガウス性が高い）統計的性質を持つように、非直交の基底を探す。その結果、ICAは元の独立した音源 $s_1, s_2$ を高い精度で復元することができる。
6.3. 比較分析 2（解釈性）：PCA vs. NMF（非負値行列因子分解）
制約の違い: PCAは基底に「正規直交性」を課す（基底も係数も正負の値を取りうる）。一方、NMF（非負値行列因子分解）は、基底行列と係数行列の両方に「非負（Non-negative）」であるという、全く異なる制約を課す。
「パーツベース表現」の獲得:
顔画像、文書中の単語頻度、化学スペクトルなど、多くの現実データは「パーツの加算的な組み合わせ」によって構成されている（例：顔＝目＋鼻＋口）。この「加算的」という物理的性質は、数学的には「非負性」の制約と強く対応する。
PCA（Eigenface）は負の値を許すため、「顔＝平均顔＋目 - 鼻」のような、現実の構成プロセスとはかけ離れた、解釈困難な（ホリスティックな）表現となる。
NMFは、非負制約によって、基底を「目」「鼻」「口」といった直感的に解釈可能な「パーツ」として抽出し、全体の顔を「パーツの足し算（非負の線形結合）」として表現することを強制する。このため、NMFはPCAよりもはるかに解釈性の高い「パーツベース（parts-based）」な表現を獲得できる手法として知られている。
6.4. 比較分析 3（非線形性）：PCA vs. Kernel PCA (kPCA)
アプローチの違い: PCAが線形の部分空間を探すのに対し、kPCA（カーネルPCA）はデータの非線形な多様体（マニフォールド）構造を捉えるために設計された。
「カーネルトリック」:
kPCAの動作原理は巧妙である。
まず、元の低次元入力空間（例：2D）では線形分離不可能な（例：ドーナツ状に分布する）データを考える。
次に、非線形写像（カーネル関数、例：RBFカーネル 58）を用いて、元のデータを暗黙的に高次元（あるいは無限次元）の特徴量空間にマッピングする。
この高次元空間では、元の非線形な多様体が「引き伸ば」され、データが線形分離可能になっていると期待される。
kPCAは、この高次元特徴量空間で「線形PCA」を実行する。
この結果、元の入力空間に戻してその主成分を見てみると、PCAが直線的な軸しか見つけられなかったのに対し、kPCAはデータ多様体に沿った「滑らかな」非線形の主成分を抽出できる。
6.5. 比較分析 4（高階への拡張）：PCA vs. テンソル分解
データの違い: PCA/SVDが扱うのは2階のテンソル（＝行列）である。しかし、現実のデータ、例えばビデオ（幅$\times$高さ$\times$時間）、脳波（被験者$\times$電極$\times$時間）、あるいはE-noseの時系列データ（サンプル$\times$センサー$\times$時間）は、本質的に3階以上のテンソル構造を持っている。これらを行列に「潰す（flatten）」と、次元間の重要な相関構造が失われてしまう。
拡張: テンソル分解は、PCA/SVDを高階（多重線形）に一般化したものである。
Tucker分解: 「高階PCA (Higher-order PCA)」とも呼ばれる。行列のSVD（$A = U \Sigma V^T$）が、2つの直交行列（$U, V$）と対角行列（$\Sigma$）に分解するのに対し、Tucker分解は、テンソル $\mathcal{X}$ を、「コア・テンソル（$\mathcal{G}$、$\Sigma$に相当）」と、各モード（次元）の「直交因子行列（$A, B, C, \dots$、$U, V$に相当）」の積へと分解する。
CP分解（CANDECOMP/PARAFAC）: テンソルを「ランク1テンソルの和」として分解する、SVDの別軸での一般化であり、特に化学分析（ケモメトリクス）や信号処理で広く用いられている。
表2：主要な行列・テンソル分解手法の比較
結論：構造化された世界の「基底」を求めて
本レポートは、「世界は『直交』でできている」というテーゼを、データサイエンスの観点から検証した。導かれた答えは、より厳密には「世界のデータは『冗長』に満ちており、その冗長性を排除し、本質的な構造を抽出するための最も強力な数学的言語が『正規直交基底』である」となる。
顔（視覚）、音（聴覚）、匂い（嗅覚）という、人間の知覚ドメインとしては全く異なる領域において、PCA/SVD（あるいはDCT/MDCTのようなその実用的な変種）が、高次元の相関データから「主成分」という名の正規直交基底を抽出する、驚くほど普遍的な標準的手法であることを実証した。
この「直交化」という単一の数学的原理が、
【圧縮】 を強力にするのは、それがEckart-Young-Mirskyの定理に示される「最適低ランク近似」を与え、情報重複のない基底でエネルギーを最大効率で集約するためである。
【検索】 を強力にするのは、それが「次元の呪い」を回避すると同時に、特徴量間の「多重共線性」を除去（無相関化）し、安定した距離尺度を持つ空間を提供するためである。
【生成】 を強力にするのは、それが（線形レベルで）互いに干渉しない「制御ノブ」のセット（＝潜在変数）を提供し、データの意味のある操作を可能にするためである。
一方で、PCAの「正規直交性」や「線形性」という厳格な仮定は、万能ではない。その制約こそが、より現実に即した「基底」を求める、次なる探求の出発点となっている。すなわち、ICA（独立性）、NMF（解釈性・非負性）、kPCA（非線形性）、そしてテンソル分解（高階構造）といった発展的手法群は、すべて「PCAが課した制約の、どれを捨て、何を得るか」という問いへの答えとして位置づけられる。
高次元の混沌（カオス）から意味のある構造（コスモス）を引き出すこと——それがデータサイエンスの究極的な目的であるならば、正規直交基底の発見は、そのための最も第一原理的かつ強力な一歩であり、今後もデータ駆動型科学の基盤であり続ける。
引用文献
A TUTORIAL ON PRINCIPAL COMPONENT ANALYSIS - Center for the Neural Basis of Cognition, https://www.cnbc.cmu.edu/~tai/cp_papers/Shlens_PCA-Tutorial-Intuition_jp.pdf
Topic 5: Principal component analysis 5.1 Covariance matrices - CS@Columbia, https://www.cs.columbia.edu/~djhsu/AML/lectures/notes-pca.pdf
Principal component analysis - Wikipedia, https://en.wikipedia.org/wiki/Principal_component_analysis
Why are principal components in PCA (eigenvectors of the covariance matrix) mutually orthogonal? [duplicate] - Cross Validated, https://stats.stackexchange.com/questions/130882/why-are-principal-components-in-pca-eigenvectors-of-the-covariance-matrix-mutu
Full article: Eigenvectors from Eigenvalues Sparse Principal Component Analysis - Taylor & Francis Online, https://www.tandfonline.com/doi/full/10.1080/10618600.2021.1987254
Singular value decomposition - Wikipedia, https://en.wikipedia.org/wiki/Singular_value_decomposition
Chapter 7 The Singular Value Decomposition (SVD), https://math.mit.edu/classes/18.095/2016IAP/lec2/SVD_Notes.pdf
Singular Value Decomposition (SVD), https://uspas.fnal.gov/materials/05UCB/6_SVD.pdf
Lecture 05: Singular Value Decomposition 1 Orthonormal Vectors - Laurent Lessard, https://laurentlessard.com/teaching/me7247/lectures/lecture 05 - singular value decomposition.pdf
Turk and Pentland, Face recognition using eigenfaces, https://www.ece.lsu.edu/gunturk/EE7700/Eigenface.pdf
(PDF) Face Recognition Using Eigenfaces - ResearchGate, https://www.researchgate.net/publication/281446070_Face_Recognition_Using_Eigenfaces
Eigenfaces for Recognition | Matthew Turk | 6192 Citations - SciSpace, https://scispace.com/papers/eigenfaces-for-recognition-3oi5p3sjlo?citations_page=167
Face Recognition For Automatic Voters' Registration And Accreditation System Using Principal Component Analysis (pca): An Evaluation - JMESS, http://www.jmess.org/wp-content/uploads/2018/12/JMESSP13420483.pdf
Eigenface - Wikipedia, https://en.wikipedia.org/wiki/Eigenface
PCA Algorithm for Human Face Recognition - Mr. Rahul M. Ohol - Ijarse, https://www.ijarse.com/ADMIN/admin/postimages/images/fullpdf/1501399325_IETEPune2135ijarse.pdf
Generalized Principal Component Analysis - JHU Johns Hopkins ..., http://www.vision.jhu.edu/teaching/learning/learning10/handouts/book-VMS-March-25-2010.pdf
FACE DETECTION USING PYTHON IMAGE SEGMENTATION - IJNRD.org, https://www.ijnrd.org/papers/IJNRDTH00022.pdf
Visual Object Recognition Using Generative Models of Images - Department of Computer Science, http://www.cs.toronto.edu/~vnair/thesis.pdf
3D morphable face models revisited | Request PDF - ResearchGate, https://www.researchgate.net/publication/224579202_3D_morphable_face_models_revisited
Unconstrained Face Recognition Database | PDF - Scribd, https://www.scribd.com/document/460121300/lfw
Face Recognition Systems: A Survey - PMC - PubMed Central, https://pmc.ncbi.nlm.nih.gov/articles/PMC7013584/
FRMDB: Face Recognition Using Multiple Points of View - PMC - PubMed Central, https://pmc.ncbi.nlm.nih.gov/articles/PMC9965602/
Deep Learning for Facial Recognition on Single Sample per Person Scenarios with Varied Capturing Conditions - MDPI, https://www.mdpi.com/2076-3417/9/24/5474
Databases - Face Recognition Homepage, https://www.face-rec.org/databases/
Digital Signal Compression, http://ndl.ethernet.edu.et/bitstream/123456789/7284/1/William A. Pearlman.pdf
Digital Signal Compression | PDF - Scribd, https://www.scribd.com/document/142825152/Digital-Signal-Compression
Image Processing Cs | PDF - Scribd, https://www.scribd.com/document/898616149/Image-Processing-Cs
The Transform and Data Compression Handbook, https://www.nzdr.ru/data/media/biblio/kolxoz/Cs/CsCr/Rao K.R., Yip P.C. (eds.) The transform and data compression handbook (CRC, 2001)(ISBN 0849336929)(O)(399s)_CsCr_.pdf
Digital Television Systems - CONSULTEC - Beto Samaniego, https://betosamaniego.files.wordpress.com/2012/03/digitaltelevisionsystemsalencar.pdf
Full text of "Data compression : the complete reference" - Internet Archive, https://archive.org/stream/pdfy-Ezz1QE-FRYsgeVKU/Data+Compression+The+Complete+Reference_djvu.txt
Temporal Noise Shaping, Quantization And Coding Methods In Perceptual Audio Coding: A Tutorial Introduction - MP3-Tech.org, http://www.mp3-tech.org/programmer/docs/Temporal Noise Shaping Quantization and Coding Methods in Perceptual Audio Coding - A Tutorial Introduction.pdf
Discrete cosine transform - Wikipedia, https://en.wikipedia.org/wiki/Discrete_cosine_transform
Discrete Cosine Transform | PDF | Fast Fourier Transform | Data Compression - Scribd, https://www.scribd.com/document/661983332/Discrete-cosine-transform
Transform Coding of Audio Impulse Responses - MP3-Tech.org, http://www.mp3-tech.org/programmer/docs/verslag.pdf
AUDIO SIGNAL PROCESSING AND CODING, https://picture.iczhiku.com/resource/eetop/shIwPIgLplOjicMb.pdf
Integration of top-down and bottom-up information for audio organization and retrieval - DTU Orbit, https://orbit.dtu.dk/files/108129850/phd291_Jensen_BS.pdf
ismir 2015, https://archives.ismir.net/ismir2015/2015_ISMIR_Proceedings.pdf
Multimodal Deep Representation Learning and its Application to Audio and Sheet Music - JKU ePUB, https://epub.jku.at/download/pdf/3294858.pdf
Classification of the perceptual impression of source-level blending between violins in a joint performance | Acta Acustica, https://acta-acustica.edpsciences.org/articles/aacus/full_html/2023/01/aacus230064/aacus230064.html
Dimensionality Reduced Clustered Data and Order Partition and Stepwise Dimensionality Increasing Indices - arXiv, https://arxiv.org/html/2401.02858v1
Recent Advances in Machine-Learning-Based Chemoinformatics: A Comprehensive Review - PMC - NIH, https://pmc.ncbi.nlm.nih.gov/articles/PMC10380192/
Vinija's Notes • AI Fundamental Concepts, https://vinija.ai/concepts/fundamentals/
Comparison of Deep Learning and Machine Learning in Music Genre Categorization - NORMA@NCI Library, https://norma.ncirl.ie/6595/1/saviournickolasdereljosephfernandez.pdf
Comprehensive Characterization of Aroma Compounds in Four ..., https://pubs.acs.org/doi/10.1021/acsomega.4c09407
Gas Chromatography–Mass Spectrometry-Based Classification of 12 Fennel (Foeniculum vulgare Miller) Varieties Based on Their Aroma Profiles and Estragole Levels as Analyzed Using Chemometric Tools | ACS Omega - ACS Publications, https://pubs.acs.org/doi/10.1021/acsomega.0c06188
Gas Chromatography–Mass Spectrometry-Based Classification of 12 Fennel (Foeniculum vulgare Miller) Varieties Based on Their Aroma Profiles and Estragole Levels as Analyzed Using Chemometric Tools - PMC - PubMed Central, https://pmc.ncbi.nlm.nih.gov/articles/PMC7931402/
Machine Learning Algorithms for Intelligent Data Analytics - TECHNOARETE TRANSACTIONS ON APPLICATION OF INFORMATION AND COMMUNICATION TECHNOLOGY(ICT) IN EDUCATION, https://technoaretepublication.org/book/machine-learning-data-analytics/MLAIDA-Book.pdf
Recent trends in the chromatographic analysis of volatile flavor and fragrance compounds: Annual review 2020 - PMC - PubMed Central, https://pmc.ncbi.nlm.nih.gov/articles/PMC10989567/
Comprehensive identification of key compounds in ... - Frontiers, https://www.frontiersin.org/journals/nutrition/articles/10.3389/fnut.2023.1132527/full
An electronic sense-based machine learning model to predict formulas and processes for vegetable-fruit beverages | Request PDF - ResearchGate, https://www.researchgate.net/publication/371976838_An_electronic_sense-based_machine_learning_model_to_predict_formulas_and_processes_for_vegetable-fruit_beverages
k-nearest neighbour knn: Topics by Science.gov, https://www.science.gov/topicpages/k/k-nearest+neighbour+knn
Performance evaluation of E-nose and E-tongue combined with machine learning for qualitative and quantitative assessment of bear bile powder | Request PDF - ResearchGate, https://www.researchgate.net/publication/370870862_Performance_evaluation_of_E-nose_and_E-tongue_combined_with_machine_learning_for_qualitative_and_quantitative_assessment_of_bear_bile_powder
Learning-Based Hashing for ANN Search: Foundations and Early Advances - arXiv, https://arxiv.org/html/2510.04127v1
Data Mining: The Textbook, https://pzs.dstu.dp.ua/DataMining/bibl/Data Mining The Textbook.pdf
Unsupervised Learning Methods for Molecular Simulation Data | Chemical Reviews, https://pubs.acs.org/doi/10.1021/acs.chemrev.0c01195
Applications of matrix factorization methods to climate data - NPG, https://npg.copernicus.org/articles/27/453/2020/
Component Analysis for PR & HS Component Analysis for PR & HS, https://www.cs.cmu.edu/~pmuthuku/mlsp_page/lectures/slides/ca.pdf
Math for ML: Kernels Explained Simply with Examples | by Rayan ..., https://medium.com/@ryassminh/math-for-ml-kernels-explained-simply-with-examples-a24f5fd0699c
Dimensionality Reduction in Surrogate Modeling: A Review of Combined Methods - PMC, https://pmc.ncbi.nlm.nih.gov/articles/PMC9633505/
Max-margin non-negative matrix factorization with ... - PARNEC, http://parnec.nuaa.edu.cn/_upload/article/files/6a/e8/2a884160453aa5248229181209e9/a6042e2e-7624-486a-a10c-ab338b4a9c2d.pdf
(PDF) Independent Component Analysis: an Introduction, https://www.researchgate.net/publication/327352477_Independent_Component_Analysis_an_Introduction
An Overview of Variational Autoencoders for Source Separation ..., https://pmc.ncbi.nlm.nih.gov/articles/PMC8774760/
The Generalized Eigenvalue Problem as a Nash Equilibrium - arXiv, https://arxiv.org/pdf/2206.04993
Blind Source Separation: Fundamentals and Recent Advances - arXiv, https://arxiv.org/pdf/1603.03089
Independent component analysis for reservoir geomorphology and unsupervised seismic facies classification in the Taranaki Basin, New Zealand | Interpretation - SEG Library, https://library.seg.org/doi/10.1190/int-2018-0109.1
Nonnegative Matrix Factorization: A Comprehensive Review - ResearchGate, https://www.researchgate.net/publication/260324828_Nonnegative_Matrix_Factorization_A_Comprehensive_Review
Extensions of Non-negative Matrix Factorization and their Application to the Analysis of Wafer Test Data Dissertation, https://epub.uni-regensburg.de/15058/1/diss_finalK.pdf
Facial expression recognition based on PCA and NMF - ResearchGate, https://www.researchgate.net/publication/224324562_Facial_expression_recognition_based_on_PCA_and_NMF
Nonnegative Matrix Factorization: An Analytical and Interpretive Tool in Computational Biology - PMC - NIH, https://pmc.ncbi.nlm.nih.gov/articles/PMC2447881/
Dimension Reduction: A Guided Tour Contents - Microsoft, https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/FnT_dimensionReduction.pdf
Nonlinear Dynamic Process Monitoring Based on Two-Step Dynamic Local Kernel Principal Component Analysis - MDPI, https://www.mdpi.com/2227-9717/10/5/925
Tensor Decompositions and Applications | SIAM Review, https://epubs.siam.org/doi/10.1137/07070111X
Visual Analytics Using Tensor Unified Linear Comparative Analysis - arXiv, https://arxiv.org/html/2507.19988v1
Tensor Decompositions and Applications | SIAM Review - CS@Cornell, https://www.cs.cornell.edu/courses/cs6241/2019sp/readings/Kolda-Bader-2008-survey.pdf
Tensor Decompositions and Applications, https://www.kolda.net/publication/TensorReview.pdf