信号処理入門　03回帰モデル

世の中にはものまね芸人や似顔絵師という職業があります。彼らは人物の特徴を捉え、「うまくわかりやすく表現」しています。一方小さな子供がお父さんを描いた絵では、ドラえもん？コロ助？オバケのQ太郎？に見える経験をされたかたも多いと思いますが、特徴をうまく表現できないようです。

話は飛躍しますが、代弁・代筆の職業（士業）も考えてみると「うまく表現する　➡　プロフィット」と思います。この世の中はモデル化することに価値があるとB2は勝手に考えています。

表紙画像はGoogle Geminiで生成したもので、体格や容姿の異なる宇宙人の中心に彼らの代表モデル（宇宙人グレイのアイコン）を配置してみました。　今回は「モデルを数学的に作る方法」を紹介します。

「線形１次結合曼荼羅」から「回帰モデル」について説明します。

最小二乗法

統計学教科書初頭で、ばらつきのある実測データを1次関数モデルにあてはめる道具として最小二乗法が登場します。下図は身長・体重の１次関数近似モデルで、分布の傾きa（相関係数）とy軸切片bを「回帰手法」を用いて計算したものです。最小二乗法の計算は、平均と共分散をもとに機械的に計算することができます。詳細は統計学の教科書を参考にしてください。

多変量解析とマハラノビス距離

単純な1次関数回帰モデル（y=a∙x+b+ε）では予測精度が悪いため、説明変数を増やした多変量解析回帰モデル（y=a1∙x1+…+an∙xn+b+ε）があります。

サンプルデータ数m，説明変数次元nの行列式にし、残差平方和を最小化する係数列ai（i=0…n）を計算します。

多変量解析（=分散分析=主要因分析）で重要なのは、説明変数の数を事前に減らすことと、物理単位の異なる説明変数をモデルの成り立つ範囲（品質工学では水準と呼んでいますが）で正規化することです。

多変量解析についてマハラノビス距離という概念があります。一言で言うと単位系の異なる説明変数をまとめて一つの物差し（スカラ量）で表現する手段です。計算手法や原理の詳細は統計学教科書を参考にしてください。

多変量回帰モデルの応用

静的な多変量解析以外に時系列への回帰モデル応用があり、いわゆる信号処理分野でのデジタルフィルタ理論，音声技術（ウィナーフィルタやカルマンフィルタ），制御分野のLTI（線形ダイナミック）システムモデル，システム同定（旧ARMAX数学モデル）として発展してきました。
これらは全く同じ概念とB2は考えています。

詳細は「信号処理入門」の「第２章 ノイズと統計学」，「第8章 数理モデル」で説明しています。