単回帰の傾き・R²・残差をどう読むか：直線で要約できる範囲と外挿の限界
「データ分析のための統計学」の第24回です。
この記事前半の「初心者向け本編」は無料で読めます。架空の業務データを使い、手計算、完全解答、確認リストまで丁寧に進みます。後半の「数学的にもう一歩」では、定義、導出、反例、再現計算まで掘り下げます。
初心者向け本編
この回で答える問い
二つの数値へ回帰直線を引いたとき、傾き、R²、残差から何を言えて、何を言ってはいけないのでしょうか。
先に結論
単回帰は、観測範囲内の平均的な直線関係を傾きと切片で要約します。R²は手元データの変動を直線がどれだけ要約したか、残差は各点と予測値のずれです。高いR²だけでは、因果、正しいモデル、将来予測力、観測範囲外での有効性を保証しません。
どんな実務場面で困るか
架空の注文データで商品点数 items から処理時間 processing_minutes を予測したいとします。1〜4点の商品で直線がよく合っても、20点の大量注文へ延長すれば、梱包工程や人員配置が変わるかもしれません。係数の計算より先に、直線を使う目的と範囲を固定します。
用語・分析単位・単位を確認する
分析単位は1注文です。説明変数 x=items は個、応答変数 y=processing_minutes は分です。
予測値：ŷ=b0+b1 x。
傾き b1：xが1単位増えたときの予測yの平均的変化。単位は分/個です。
切片 b0：x=0での予測値。x=0が観測範囲外なら実務解釈を控えます。
残差：e=y-ŷ。単位は分です。
R²：全変動のうちモデルで要約された割合。単位はありません。
この回は関連の要約であり、因果効果を推定する回ではありません。
最小データで回帰直線を手計算する
架空の4注文を x=[1,2,3,4] 個、y=[3,5,6,10] 分とします。平均は x̄=2.5、ȳ=6 です。
b1=Σ(x-x̄)(y-ȳ)/Σ(x-x̄)^2=11/5=2.2
b0=ȳ-b1 x̄=6-2.2×2.5=0.5
したがって ŷ=0.5+2.2x。予測値は [2.7,4.9,7.1,9.3]、残差は [0.3,0.1,-1.1,0.7] 分です。残差二乗和SSEは1.8、全平方和SSTは26なので、R²=1-1.8/26=0.930769...、小数3桁で0.931です。
傾き2.2分/個と残差の位置を示します。4点だけから母集団の関係や因果を断定できません。
結果をどう読むか
この4点では、商品が1点多い注文ほど処理時間が平均2.2分長い直線的関連があり、R²は約0.931です。これは観測範囲内の記述です。「商品を1点増やせば必ず2.2分増える」「93.1％の注文を正しく予測する」とは読みません。残差-1.1分の注文は、直線予測より1.1分短かったという意味です。
成立条件と確認する順番
分析単位、目的、xとyの時間順序を決める。
散布図で直線性、群、外れ値、範囲を確認する。
回帰線と残差図を確認する。
推測なら誤差の独立性、等分散性、採用する分布仮定を確認する。
学習範囲と適用範囲を記録する。
係数、区間、R²、残差の特徴、件数を併記する。
使わない条件・代替案・併記するもの
曲線、段差、上限、群別の異なる傾きがあるなら一本の直線だけを使いません。変換、曲線項、層別、交互作用を候補にします。時間依存データは通常の独立誤差として扱わず第29回へ進みます。予測が目的ならMAE・RMSEと独立な評価データを第27回の手順で確認します。因果が目的なら第30・31回の設計が必要です。
典型的な誤読と反例
R²が高いから正しいモデル、という解釈は誤りです。x=1,2,3,4、y=x² に直線を当てると ŷ=-5+5x、R²は約0.969と高い一方、x=10へ外挿すると直線は45、真の規則なら100です。観測範囲では高いR²でも構造を取り違えます。
R²は「予測が何％当たるか」でも「yの何％がxによって引き起こされたか」でもありません。同じデータでも、応答の範囲を狭く切る、別の母集団へ移す、切片を外すなどで値と意味が変わります。R²を比較するときは、同じ応答、同じ評価データ、同じ切片規約であることを確認します。
初心者向け演習と解答
式 ŷ=5+3x で、x=4の観測yが20でした。予測値、残差、傾きの単位を答えてください。
解答：予測値は 5+3×4=17。残差は 20-17=3 です。xが商品点数、yが分なら傾きの単位は3分/個です。観測は予測より3分長いと言えます。xを1個増やす操作が必ず3分を引き起こすとは言えません。
実務で確認する項目
□ 分析単位と目的を固定した
□ 散布図を見て直線性を確認した
□ 傾きの単位と切片の範囲を説明した
□ 残差図を確認した
□ 学習範囲外を区別した
□ R²を因果や予測保証と表現していない
初心者向け参考情報
資料は改訂される場合があるため、最新の内容は出典先を確認してください。
初心者経路のまとめと前後の回
傾き・R²・残差を別々に読み、観測範囲を守ります。
この連載の前後の記事
前回：『比率差・リスク比・オッズ比は何が違うか：同じ2×2表を三つの尺度で読む』
次回：『重回帰係数は何を表すか：条件付き関連・指示変数・交互作用を丁寧に読む』
連載：『データ分析のための統計学』
回帰直線の読み方を簡易診断します
「R²だけでモデルを選んでいる」
「傾きの単位を説明できない」
「観測範囲外へ予測してよいか迷う」
と感じている方に向けて、
1つの指標に絞った簡易診断を受け付けています。
公式LINEで「診断」と送ると、5問の診断フォームが届きます。
回答内容を確認し、48時間以内に1指標に絞った簡易コメントをお返しします。
※社外秘データや個人情報は送らないでください。
公式LINEはこちら
ここから先は
¥ 600