残差、誤差項、撹乱項
私は計量経済学についても学んだことはあるし、研究の中で計量経済学の手法を用いることも多いです。しかし、恥ずかしながら、残差、誤差項、撹乱項という言葉の使い分けにあまり自信がなくここまで来てしまいました。気になってはいたけど、ここまでなんとなくの使い分けをしてしまっていたので、一度整理しておきたいと思います。
今回は、生成AIとの対話を通して学習してみました。それで最後に、私の専門分野である公共経済学での応用を意識してまとめてもらいました。以下は、その結果です。あくまでメモとして書き残しておきます。
回帰分析において扱われる「誤差項」「撹乱項」「残差」は似た概念として混同されやすいが、それぞれ異なる役割を持つ。まず、理論モデルにおける誤差項（error term）あるいは撹乱項（disturbance term）とは、モデルで説明できないすべての要因を含むものであり、観測することはできない。多くの計量経済学の文脈では、両者はほぼ同義に用いられるが、「誤差項」は一般的・包括的な表現であり、「撹乱項」は特に理論モデル上の確率的な外生ショックを強調する場合や、後述する確率的フロンティア分析（SFA）のように誤差を構造的に分解する文脈で明示的に用いられることが多い。一方で、残差は推定後に実際のデータから計算される「観測されたズレ」であり、実証分析において直接扱うことができる。このため、計量経済学における仮定や問題の本体は誤差項（撹乱項）に関するものであるが、実際の検定や診断は残差を通じて行われる。
この整理は、内生性、不均一分散、系列相関といった問題を理解するうえで重要である。内生性とは、説明変数と誤差項（撹乱項）が相関している状態（Cov(X, u) ≠ 0）を指し、この場合にはOLS推定量は不偏性および一致性を失う。重要なのは、誤差項は観測できないため、この相関を直接検定することが難しい点である。残差を用いた検定では、OLSの性質上、説明変数と残差の相関はゼロになるように構成されているため、内生性は表面上検出されない。このため、操作変数法やHausman検定のように、異なる推定量の比較を通じて間接的に検証する必要がある。
これに対して、不均一分散や系列相関は、誤差項（撹乱項）の分散や共分散構造に関する問題であり、条件付き平均がゼロである（E[u|X]=0）という前提が維持されている限り、OLS推定量は不偏かつ一致的である。ただし、これらの問題が存在する場合、誤差項の分散構造に関する仮定が崩れるため、通常の標準誤差の計算が誤りとなる。その結果、t値やp値、信頼区間といった推論が信頼できなくなる。したがって、実務上問題となるのは推定値そのものではなく、その有意性の判断である。
この点において、ロバスト標準誤差の役割が理解できる。ロバスト標準誤差は、誤差項の分散構造について特定の仮定を置かず、残差を用いて分散を直接推定することで、標準誤差の歪みを補正する手法である。係数推定値自体は変更せず、分散のみを修正するため、不均一分散や系列相関に対して有効である。
また、推定量の評価においては、不偏性や一致性に加えて効率性という概念が重要である。効率性とは、推定量の分散の小ささを意味し、同じ条件のもとで分散が最も小さい推定量が最も効率的とされる。ガウス＝マルコフの定理によれば、誤差項が同分散かつ無相関であるという仮定のもとで、OLSは線形不偏推定量の中で最も効率的（BLUE）である。しかし、不均一分散や系列相関が存在すると、この条件が崩れるため、OLSは不偏ではあるが最も効率的ではなくなる。
一方で、内生性に対処するために用いられる操作変数法（IV推定量）は、一致性を持つが効率性が低い、すなわち分散が大きいという性質を持つ。このように、「一致的だが非効率」という表現は、サンプルサイズが大きくなれば正しい値に収束する一方で、有限標本においては推定値のばらつきが大きいことを意味する。この性質を利用して、OLSとIVの推定値の差を検定するのがHausman検定であり、両者の差が統計的に有意であれば内生性の存在が示唆される。
以上を整理すると、内生性は誤差項（撹乱項）の平均構造に関わる問題であり、推定値そのものにバイアスをもたらす。一方で、不均一分散や系列相関は誤差項（撹乱項）の分散構造に関わる問題であり、推定値は維持されるものの、その推論が歪む。したがって、前者には推定手法の変更（IVなど）が必要であり、後者には標準誤差の修正（ロバスト推定）が有効となる。
このように、計量経済学の多くの問題は誤差項（撹乱項）の性質に関する仮定の違いとして統一的に理解することができる。理論上の誤差項と実証上の残差を区別しつつ、その役割を適切に把握することが、実証分析の妥当性を評価するうえで不可欠である。
ここまで、長くなったけど生成AIの出力をコピーした。ちなみに、違うAIにもチェックしてもらったが、細部の厳密さに少し課題は指摘されたが概ね妥当という評価だった。
確かに計量経済学の授業で昔教わったことばかりだし、実務的にもなんとなく使ってはいることだ。ただ、ここまで頭の中が整理できていなかった。特に、誤差項と残差は何が違うのか、誤差項は理論上の誤差で、残差はモデルの推定から計算された誤差、というあたりはなんとなく認識してはいたけどクリアになった。