信号処理と半世紀 05線形1次結合曼荼羅
表紙の画像はGoogle Geminiで生成しました。前回の1次関数曼荼羅を拡張して「線形1次結合」を表す線形1次結合曼荼羅「y=a0+a1∙x1+⋯+an∙xn」についてB2独自の勝手な説明をします。B2の半世紀の戦いの歴史でもあります。ご容赦ください。
線形1次結合マンダラ
高校数学で線形1次結合は、3次元直交座標上に描かれた直線として登場しますが、試験問題にそれが出ると「それがいったいこの先何の役に立つのか？ そんな面倒くさいものを考えると頭が痛くなるわ！」みたいに思った人も多いと思います。でも少し見方を変えてみるとおもしろいことに繋がります。
B2の独断と偏見による解釈ですが、3つの観点から眺めると結構重要な概念にたどり着くと考えています。
「級数近似」
「多変量解析」
「回帰モデル」
３つの概念や応用事例を線形1次結合曼荼羅をもとに説明します。
級数近似に着目すると
関数f(x)を「級数近似で表現」する際、n項までで打切ると打切誤差を伴う「有限な近似式」になります。
関数や信号波形の級数近似は、
デジタル計算機アルゴリズムに非常に役立っています。
テイラー展開，べき級数，フーリエ級数など
電子計算機のない前世代技術者は、
「近似式にテイラー展開を使う」などが常套手段でした。
1980年代の論文にはテイラー展開の第2項までの近似を用いて…
という権威的で古臭い記述があり、ひとつの文化でした。
ただ実験結果グラフ曲線フィティングで自分の考えた物理モデル
をあてはめようとする技巧的で計算道具の洗練された？使い方を
誇る変な時代だったとB2は思っています。
一方で電卓などに組み込まれた関数近似計算（アルゴリズム）
では、級数近似は人類に多大な貢献をしていると思います。
多変量解析に着目すると
入出力の（静的な）因果関係を数学モデル表現する方法で、古くは統計学分野で「多変量解析」と呼ばれていました。最近では「主要因分析や分散分析手法」と目的や手段がわかりやすい名称に替わってきているようです。
出力変動を回帰後分散要因の線形結合で表し、影響度順位の高い主要因のみで入出力モデルを構成する手法です。また回帰モデルは線形予測にも用いられています。
さらに、主要因分析と同時に制御パラメータ最適化（出力を定値/最大/最小など目標値にする）を、直交表を用い僅かな試行回数で実験検証する「タグチメソッド」に発展しています。
重回帰／自己回帰分析に着目すると
時間応答を重視する制御工学分野では、出力を入力時系列の線形結合で表わす「重回帰モデル（FIRフィルタに相当）」と、出力を自己過去時系列に重みを付け線形結合した「自己回帰モデル（IIRフィルタに相当）」が古くから利用されています。（おそらく制御分野よりも統計分野のほうが古い？）
回帰モデル推定値と実測値の残差を白色雑音とみなし、「残差を利用した評価関数手法とモデル係数列算出手法」が学問的に数多く研究・実用化されてきました。また非線形システムへのアプローチもありますが本質的な概念から逸れるので省略します。
20世紀後半から「現代制御理論による状態空間表現」が発展しました。これは状態変数の1次微分方程式（差分）を含んだ状態方程式と、入力応答成分と出力フィードバック成分の線形結合からなる出力方程式の2つの式で構成されるLTI（時不変ダイナミック線形システム）応答表現法です。入出力応答を行列演算式で表現し、さらに状態空間表現から導出した伝達関数モデルを用いた「システム同定理論」に発展しています。
システムの入出力の因果関係を表す手段として、
(1) 統計学の重回帰／自己回帰分析からスタートし
(2) ラプラス変換微分演算子を用い有理数表現したフィルタ理論
(3) 状態方程式／出力方程式を線形代数表現した制御分野の
LTI状態空間やドイル記法
分野ごとに文化は異なりますが、これら概念は全く同一です。
半世紀前B2は企業採用試験で（微分方程式至上主義の面接官に）「入出力の因果を統計学習し回帰モデルを作りそれを予測に使う」考え方を理解してもらえなかった経験があります。回帰的手法が定着するのに長い年月を要しましたが、やっと陽の目を見ることができ現在第3次AIブームで認められたと半世紀過ぎて感慨深く思います。
線形1次結合の応用について、今後「信号処理と半世紀」の記事で詳細な説明をしていきます。
いいなと思ったら応援しよう！
これからも応援しています。