TMLEとは?【前編】―「仮の予測」を少し直してから平均する―
前回は、AIPWを「結果モデルによる予測+傾向スコアを使った予測誤差の補正」として整理しました。
TMLE(targeted maximum likelihood estimation)も、結果モデルと治療モデルの二つを使います。大きな違いは、補正を最後の答えへ直接足すのではなく、いったん仮の予測そのものを少し直してから平均することです。
この記事で追う流れは、四つだけです。
仮の予測を作る → 治療の受けやすさを求める → 予測を少し直す → 全員A時・全員B時を平均する

TMLEは、個々人の予測をすべて完璧に直す方法ではありません。先に「何を知りたいか」を決め、その答えに必要な方向へ予測を更新します。この「狙いを定めた更新」がtargetedの意味です。
同じ200人で、知りたい答えを決める
30日以内の状態悪化を、治療AとBで比べます。治療前の重症度は軽症と重症の二つです。
軽症:Aは20人中1人(5%)、Bは80人中8人(10%)
重症:Aは80人中24人(30%)、Bは20人中8人(40%)

単純集計では、A群は25人/100人=25%、B群は16人/100人=16%です。しかし、A群には重症者が多いため、この9ポイント差には治療だけでなく重症度の違いも混ざっています。
この200人は軽症と重症が半分ずつです。この構成のまま全員をAに置いた平均リスクは、
全員A時:5%×0.5+30%×0.5=17.5%
です。全員をBに置けば、
全員B時:10%×0.5+40%×0.5=25.0%
です。重症度別ではなく対象集団全体で平均したこの値を、ここでは周辺リスクと呼びます。その差、A-B=-7.5ポイントが、この200人全体における平均治療効果(ATE)をリスク差で表したものです。
ただし、この差を因果的なATEと解釈するには、必要な治療前交絡因子を考慮すれば比較できること、各背景でA・Bのどちらも起こり得ること、観察結果が実際に受けた治療下の結果へ対応することが必要です。計算しただけで因果効果になるわけではなく、後編で三つの仮定として整理します。
TMLEで目指す答えは、A群25%とB群16%の単純比較ではなく、全員A時17.5%と全員B時25.0%の比較です。
手順1:まず「仮の予測」を作る
結果モデルは、治療と治療前背景から悪化確率を予測します。実際の研究では、医学知識に基づいて変数や関係の形を決め、回帰や機械学習で推定します。
今回は更新の働きを見やすくするため、わざと粗い初期モデルを使います。
軽症A、重症A、軽症B、重症Bを、すべて20%と予測する
というモデルです。

この仮予測だけで計算すると、全員A時も全員B時も20%で、リスク差は0です。各組の実測リスクは5%、30%、10%、40%なので、予測誤差が残っていることは明らかです。
手順2:治療の受けやすさから「更新の強さ」を作る
治療モデルは、治療前背景からAを受ける確率、つまり傾向スコアを求めます。軽症では20人/100人がAなので0.20、重症では80人/100人がAなので0.80です。Bを受ける確率は、それぞれ0.80と0.20です。
次に、各人の予測誤差を更新へどれだけ強く反映するかを表す数を作ります。正式にはclever covariateと呼びます。
全員A時を更新するときは、実際にAを受けた人へAを受ける確率の逆数を割り当てます。Bを受けた人は0です。全員B時では、その逆です。
そのため、軽症Aと重症Bは5、重症Aと軽症Bは1.25になります。

この更新の強さは、観察データから更新量を学ぶ場面と、学んだ更新量で全員A時・全員B時を予測する場面とで、使う側が切り替わります。

その背景では珍しい治療を実際に受けた人ほど、比較のための情報が貴重です。そこで、その人の「実測-予測」を更新へ強く反映します。IPTWやAIPWで使った逆確率と同じ発想です。
手順3:仮の予測を、必要な方向へ少し直す
TMLEは、20%という初期予測を残したまま、A側とB側に一つずつ小さな「更新つまみ」を加えます。観察された悪化の有無と20%予測との差を見て、重み付き予測誤差の合計が残らない位置までつまみを動かします。

この教材表では、A側の更新量は負、B側は正になります。したがってA側の予測は20%から下がり、B側は上がります。また、更新の強さが5の組は、1.25の組より大きく動きます。

更新後の予測は、次のようになります。
軽症で全員A:20% → 16.05%
重症で全員A:20% → 18.95%
軽症で全員B:20% → 21.86%
重症で全員B:20% → 28.14%

更新後の4予測は、各組の実測リスク5%、30%、10%、40%とは一致しません。一つの更新量で軽症と重症を別々に完全修正するのではなく、今回知りたい「全員A時の平均」と「全員B時の平均」に対応する誤差を減らしているからです。

手順4:更新後の予測を全員について平均する
この200人は軽症と重症が半分ずつなので、
全員A時:(16.05%+18.95%)÷2=17.5%
全員B時:(21.86%+28.14%)÷2=25.0%
となります。リスク差は17.5%-25.0%=-7.5ポイントです。

更新後の予測へ「全員A時の平均-全員B時の平均」という定義をそのまま当てはめました。このような計算を、代入型、またはplug-in推定と呼びます。
AIPWとの違いは、補正を置く場所
前回のAIPWも、同じ-7.5ポイントになりました。
AIPWは、初期予測に対する重み付き予測誤差を最終推定値へ直接足します。TMLEは、同じ初期予測・観察結果・治療確率の情報を使い、更新後の重み付き予測誤差が残らないよう予測を直してから平均します。補正に使う情報の源は共通でも、計算途中の予測誤差まで同一という意味ではありません。

この整った教材例では両者が同じ値ですが、一般の有限標本で常に一致するわけではありません。必要な条件のもとで、どちらも同じ因果効果を目指す近い推定法です。
もう一段詳しく:更新式を確認する
ここは計算の詳細です。四つの手順をつかめていれば、読み飛ばしても後編へ進めます。
治療をX、悪化をY、重症度をC、初期予測をm0とします。A側・B側のclever covariateをH_A、H_Bとすると、2値アウトカムで用いた更新は、
logit m*(X,C)=logit m0(X,C)+ε_A×H_A+ε_B×H_B
です。初期予測のロジットを固定した出発点、つまりoffsetにして、切片を追加せず二つの更新量だけを推定します。
ε_Aとε_Bは、A側とB側でそれぞれ、clever covariateで重み付けしたY-m*の合計が0になるように決まります。教材表ではε_A≈-0.054、ε_B≈0.090です。これはパーセントポイントではなく、ロジット尺度上の更新係数です。
二つの更新量を観察データから求めた後、全員A時の予測では全員をAへ置いてA側の更新を使い、全員B時では全員をBへ置いてB側の更新を使います。
この更新は、標的量に対応した予測誤差を減らすためのものです。結果モデル全体を、万能な予測モデルへ作り直しているわけではありません。
前編のまとめ
今回のTMLEは、仮の結果予測を作り、治療確率から更新の強さを求め、知りたい周辺リスクへ向けて予測を少し直し、最後に全員A時・全員B時を平均しました。
予測を当てること自体ではなく、先に決めた問いへ必要な更新を行うことが中心です。ただし、今回の正確な一致は教材表の性質でもあり、TMLEなら有限標本で必ず正解するという意味ではありません。
次回は、
TMLEとAIPWは何が同じで、何が違うのか。推定値の範囲、二重ロバスト性、positivity、95%信頼区間をどう読めばよいのか
について、できることとできないことを整理します。
参考文献
van der Laan MJ, Rubin D. Targeted Maximum Likelihood Learning. Int J Biostat. 2006;2(1).
https://doi.org/10.2202/1557-4679.1043
Moore KL, van der Laan MJ. Covariate Adjustment in Randomized Trials with Binary Outcomes: Targeted Maximum Likelihood Estimation. Stat Med. 2009;28(1):39–64.
https://doi.org/10.1002/sim.3445
Gruber S, van der Laan MJ. A Targeted Maximum Likelihood Estimator of a Causal Effect on a Bounded Continuous Outcome. Int J Biostat. 2010;6(1):Article 26.
https://doi.org/10.2202/1557-4679.1260
van der Laan MJ, Rose S. Targeted Learning: Causal Inference for Observational and Experimental Data. New York: Springer. 2011.
https://doi.org/10.1007/978-1-4419-9782-1
タグ:
いいなと思ったら応援しよう!
この記事が少しでも役に立ったと思ったら、チップで応援していただけると励みになります。今後も、研究や論文作成を少し楽にする実践的な内容を書いていきます。