名目的HITLから制度としてのHITLへ——福島真人『学習の生態学』つまみ読み

報告AIを導入しても、最後に人間が監督すれば安心なのか。

僕は、この問いが気になっている。
きっかけは、AIの軍事利用や human in the loop、つまり HITL をめぐるPodcastと記事だった。
そこでは、HITL が「人間が関与しているから大丈夫」という便利な合言葉になりやすい一方で、人間が入ることで性能が落ちる場合や、AIが処理しきれない難しい案件だけが人間に回され、残された人間の判断負荷がどんどん重くなる問題が語られていた。
HITL / HOTL / HOOTL、承認チェック、ツールガードレール、人間レビュー、マルチAIエージェント時代の監視と介入。
そうした整理は有用だが、同時に、「人間がループの中にいる」ことと、「人間が実質的な統制をしている」ことは同じではない、という疑問が残る。

承認ボタンが残っているだけで十分なのか。
大量の案件を、本当に人間は見切れるのか。AIの出力を疑い、止め、覆すだけの時間と権限があるのか。
システムの速度が上がり、マルチエージェント化が進むほど、人間の介在は中身のある判断ではなく、形式的な承認や責任の受け皿に変わってしまうのではないか。

この問題は、単なるAI倫理ではなく、制度設計の問題だと思う。

誰が、どの判断を担うのか。
どこまでが現場の裁量で、どこからが組織の責任なのか。
止める権限はあるのか。
監督負荷は測られているのか。
失敗したとき、その責任は末端の一人に押しつけられていないか。
human in the loop を考えるとは、結局のところ、「人を残しているか」ではなく、「どの速度と粒度で、どんな権限と責任のもとに、人を関与させているか」を考えることなのだと思う。

この視点は、AIやロボットによる省力化にもつながる。
省力化を進めれば、現場は少人数化し、ワンオペに向かいやすい。
DXが進むほど人件費は可視化されるし、削減対象として語られやすくもなる。
けれど、人件費には、目の前の作業コストだけではなく、例外対応、相互監督、引き継ぎ、後進育成、判断力の維持のコストも含まれている。
そこまでまとめて「減らすべきもの」として扱うと、短期の数字はよくなっても、長期には組織の学習能力と責任能力が痩せていく。

その問題意識で、福島真人『学習の生態学——リスク・実験・高信頼性』をつまみ読みした。
本書はAIやHITLを直接扱う本ではない。筑摩書房の内容紹介でも、医療現場や原子力発電所など、大きな事故が生じうる組織において学習がどのようになされるかを問う本として紹介されている。
特に、失敗を含む「日常的実験」の繰り返しを現場での学習資源と捉え、リスクを伴う試行錯誤を許す空間を「学習の実験的領域」と呼ぶ点が重要である。

今回読んだのは、文庫版のための解題、第4章「学習の実験的領域——試行・コスト・免責」、第5章「組織、リスク、テクノロジー——高信頼性組織研究について」、第7章「野生のリスク管理——病棟のダイナミクスを観る」、第8章「救命救急センターにおける組織と学習」である。
本書の目次上でも、この五つは、学習、リスク、高信頼性、精神科病棟、救命救急センターをつなぐ読み筋をつくっている。

読む順番は、こうした。

文庫版のための解題で、本書全体の問題意識をつかむ。
第4章で、学習には失敗や試行を許す「実験的領域」が必要だと考える。
第5章で、高信頼性組織の議論から、安全が個人の優秀さではなく組織的な冗長性によって支えられることを見る。
第7章で、精神科病棟のリスク管理から、数値化しきれない違和感や現場知の扱いを考える。
第8章で、救命救急センターの組織と学習から、安全と教育を同時に成立させる制度のあり方を見る。

この順番で読むと、『学習の生態学』は、HITLを「人間を最後に置く話」から、「人間が判断できる制度をどう維持するか」という話へ引き寄せてくれる。

文庫版のための解題

HITLを「個人の判断」ではなく「学習の生態系」として見る

文庫版のための解題を入口にすると、本書全体の関心が見えてくる。
ここで扱われているのは、学習を個人の頭の中に知識が蓄積される過程としてではなく、現場、道具、制度、訓練、失敗、他者との相互作用の中で立ち上がるものとして見る視点である。

これは、HITLを考えるうえでかなり重要だ。

名目的なHITLでは、人間はシステムの外側、あるいは末端に置かれる。
AIが処理する。問題がありそうなときだけ人間に回す。
最後に人間が確認する。形式としては、人間がループに入っている。

しかし『学習の生態学』の視点からすると、判断はそのように単独で成立するものではない。
人間が判断できるためには、経験の蓄積がいる。
失敗から学ぶ機会がいる。周囲の人と照合する場がいる。記録や手順書や道具との関係がいる。
自分が見ている状況を、別の人の視点から言い直す回路がいる。
つまり、判断は「個人の能力」というよりも、「判断できる環境」の中で生まれる。

この点からすると、HITLの問いは、「人間を残すかどうか」では終わらない。

その人間は何を見ているのか。
どの情報にアクセスできるのか。
どの段階で止められるのか。
止めたときに、組織はその判断を支えるのか。
間違ったとき、それは学習資源になるのか、それとも個人責任として処理されるのか。

本書をこの問いで読むと、HITLは技術設計の用語ではなく、組織の学習能力を測る言葉に変わってくる。

第4章「学習の実験的領域」

失敗が許されない場所で、どう学ぶのか

第4章の中心にあるのは、学習には試行錯誤が必要だが、組織はしばしばその試行錯誤を制限する、という緊張である。

組織は、手順を整え、複雑さを減らし、予測可能性を高めようとする。
これは当然のことだ。
医療現場、原子力発電所、学校、行政、企業。どの現場でも、失敗はコストを伴う。
とくに医療や安全保障やインフラのような領域では、失敗は人命や重大事故に直結する。だから、組織は失敗を減らそうとする。

しかし学習は、失敗や逸脱や違和感なしには成立しにくい。うまくいかなかったこと、想定と違ったこと、手順通りにやったのに変な結果になったこと。そうした経験があって初めて、現場は自分たちの理解を更新する。

第4章が重要なのは、この試行錯誤の場を、単なる「経験」ではなく「学習の実験的領域」として考えている点だ。
学習には、実験できる余地が必要である。ただし、その実験は自由放任ではない。
失敗のコストを制御し、法的・経済的・倫理的な条件の中で、どこまで試せるかを組織的に調整する必要がある。

これはHITLにそのままつながる。

人間がAIの出力を監督するというとき、その人間に実験的領域はあるだろうか。AIの判断を疑ってもよいのか。
時間をかけて確認してもよいのか。結果的にAIのほうが正しかった場合、その人間は「余計なことをした」と評価されないか。
逆に、AIの出力をそのまま承認して事故が起きたときだけ、その人間に責任が集中しないか。

名目的HITLでは、人間は「承認者」として置かれる。
しかし制度としてのHITLでは、人間は「疑うことを許された存在」でなければならない。
しかも、ただ疑えるだけでは足りない。疑った結果を組織が受け止め、検討し、次の設計に反映する回路が必要である。

効率化は、ここを削りやすい。

処理速度を上げる。人員を減らす。判断を標準化する。例外を減らす。
短期的には、それで業務は整ったように見える。
けれど、その過程で小さな失敗、曖昧な違和感、試しに止めてみる余白、先輩が後輩に理由を説明する時間が消えると、組織は学ばなくなる。

つまり、第4章から見えてくるのは、HITLに必要なのは「人間の配置」だけではなく、「人間が試し、疑い、失敗から学べる制度的余白」だということである。

第5章「組織、リスク、テクノロジー」

高信頼性は、個人の英雄性ではなく冗長な組織構造でつくられる

第5章は、高信頼性組織研究を扱う章である。
高信頼性組織とは、失敗が大事故につながりうるにもかかわらず、きわめて高い安全性を維持している組織を考えるための概念である。
航空母艦、航空管制、原子力発電所のような領域が典型として想定される。

この章をHITLの問題意識で読むと、非常に大事なことが見えてくる。
安全は、優秀な一人の判断者によって守られているのではない。
むしろ安全は、複数の確認、冗長な手続き、異議申し立ての回路、現場からの停止権限、記録、訓練、役割分担、そして状況に応じた権限移譲によって支えられている。

高信頼性組織では、階層が不要になるわけではない。
平時には階層や手順が必要である。
しかし、危険が切迫した場面では、形式上の上位者よりも、状況を最もよく見ている人、関連する専門性を持つ人の判断が重くなる。
これは、制度としてのHITLを考えるうえで決定的に重要だ。

HITLを「最後に人間が見る」という形で考えると、どうしても一人の監督者、一つの承認点、一つの責任主体に注目してしまう。
だが高信頼性組織の議論からすれば、それはむしろ危うい。
安全は、一点で守るものではない。
複数の人が見て、複数の道具が支え、複数の経路で異常が共有され、必要なら止められることで守られる。

だから、制度としてのHITLは、human in the loop というより、humans, artifacts, procedures, and conversations in the loop と考えたほうがよい。一人の人間をループに入れるのではなく、人間、道具、手順、記録、会話、会議、申し送り、レビューが重なり合う構造として設計する必要がある。

ここには、自動化の逆説もある。

AIや自動化によって平常時の処理が滑らかになるほど、人間は日常的な判断経験から遠ざかる。
システムがうまく動いているあいだ、人間は監視役になる。
ところが、いざ異常が起きると、人間に高度な判断が求められる。
普段は判断させず、非常時だけ高度な判断を求める。
これはかなり無理のある設計である。

判断力は、非常時だけ呼び出せるものではない。
日常の小さな異常、軽微な逸脱、確認、問い返し、判断の言語化を通じて維持される。そこを自動化で取り上げておきながら、最後だけ人間に戻すなら、そのHITLは制度ではなく儀礼に近い。

第5章から引き出せる教訓はこうだ。
HITLを制度にするには、人間を「最終責任者」として置くのではなく、組織の中に冗長な観察点と停止点を埋め込む必要がある。

第7章「野生のリスク管理」

リスク判断は、数値化された危険だけではなく、現場の違和感を扱う

第7章は、精神科病棟のリスク管理を扱う章である。
ここでのリスクは、工学的に測定できる危険だけではない。自傷、暴力、服薬、隔離、患者の自律、スタッフの安全、治療としての介入、管理としての介入、家族との関係、病棟の空気。そうした複数の要素が絡み合う。

この章でいう「野生のリスク管理」は、未熟なリスク管理という意味ではない。
むしろ、マニュアルや数値に完全には飼いならされない、現場の文脈依存的で曖昧な判断を含むリスク管理のことである。

精神科病棟では、リスクはスコアやチェックリストだけで把握できない。
もちろん、そうした道具は必要である。だが、患者の表情、話し方、歩き方、病棟内での振る舞い、看護師が感じる違和感、いつもと違う沈黙、スタッフ間で共有される小さな変化。
そうしたものが、判断の重要な材料になる。

これは、AI時代のHITLにもかなり重要な示唆を与える。

AIシステムは、数値化された情報や入力されたデータを処理する。
だから、制度設計もつい、スコア、閾値、承認フロー、アラート、ログといったものに寄っていく。それらは必要だ。
しかし、それだけにすると、「何かおかしい」という現場の感覚が、正当な知識として扱われにくくなる。

名目的HITLでは、人間はシステムが出したアラートに反応する係になる。
制度としてのHITLでは、人間の側から出てくる違和感も、システムや組織を動かす入力でなければならない。

「なぜかわからないが、これは危ない気がする」
「手順上は問題ないが、現場感覚として止めたい」
「このケースは前提が違うので、通常の判定に乗せたくない」
「数字は悪くないが、今この患者、この顧客、この現場に適用するのは危ない」

こうした声を、属人的な勘として排除するのか。それとも、組織が検討すべき知識として扱うのか。ここに、HITLが名目に終わるか制度になるかの差が出る。

第7章がさらに重要なのは、リスク管理には必ず倫理的な問いが含まれることを示している点である。
安全のために介入する、と言うのは簡単だ。
しかし、それは誰の安全なのか。
患者本人を守るのか。
他の患者を守るのか。
スタッフを守るのか。
組織を守るのか。
介入は治療なのか、管理なのか、罰なのか。
保護や隔離のような手段は、危険を減らす一方で、本人の自由や尊厳にも関わる。

HITLでも同じである。
人間が介入しているから倫理的だ、とは言えない。
その介入は誰を守っているのか。
誰に負担を移しているのか。誰が説明責任を負うのか。
人間の介在が、AIの出力を正当化するための飾りになっていないか。

第7章から見えるのは、制度としてのHITLには、数値化されたリスクだけでなく、現場の違和感、事例ごとの文脈、介入手段の正当性を扱う場が必要だということである。

第8章「救命救急センターにおける組織と学習」

HITLは一人の医師ではなく、紙・会議・看護師・確認票を含む多層のループである

第8章は、今回の問題意識に最も直接つながる章だった。
救命救急センターは、時間がない。
リスクが高い。判断が重い。
失敗の影響が大きい。
しかも、その中で新人を育てなければならない。
つまり、安全と学習が最も激しく衝突する現場である。

ここで重要なのは、安全が、一人の熟練医師の判断だけで守られているわけではないということだ。
医師の指示、看護師による確認、リーダーナースの調整、申し送り、カンファレンス、記録、確認票、マニュアル、患者ごとの情報共有。
こうした複数の仕組みが重なり合って、安全がつくられる。

救命救急センターでは、判断の速度が重要になる。
しかし、速度だけを上げると危険になる。
だからこそ、指示を確認する紙、声に出して確認する手続き、看護師が問い返せる関係、リーダーが全体を見る役割、事後的に振り返る場が必要になる。
ここでは、人間が単独でループに入っているのではない。
人間と紙と会議と記録と役割分担が、一つのループを構成している。

これは、制度としてのHITLのかなり具体的な姿だと思う。

AI導入の現場でも、同じことが問われる。AIの出力を誰が見るのか。
見る人は、前後の文脈を見られるのか。
判断の根拠を確認できるのか。
別の人に相談できるのか。
記録は残るのか。
あとで振り返れるのか。
判断が難しいケースを、現場の一人が抱え込む構造になっていないか。

第8章からは、もう一つ重要な論点も出てくる。それは、熟練者への判断負荷の集中である。

リーダーナースのような存在は、組織の安全にとって非常に重要である。
現場の状況を読み、医師の指示を確認し、看護師の動きを調整し、危険な抜け漏れを見つける。
これは実質的な統制である。
しかし同時に、その安全が特定の熟練者の認知労働に依存しているなら、そこには別のリスクがある。

HITLでも同じことが起きる。
AIが処理しきれない難しい案件だけが、人間のレビュー担当者に回ってくる。
しかも、その人は短時間で、大量に、微妙な判断をしなければならない。
形式上は「人間が確認している」。
しかし実際には、その人にだけ判断負荷と責任が集中している。

これは制度としては脆い。

制度としてのHITLは、熟練者を置けば終わりではない。
熟練者の判断を支える仕組み、判断を分散する仕組み、後進を育てる仕組み、失敗や迷いを共有する仕組みが必要になる。
そうでなければ、HITLは「最後に人間がいる」というより、「最後に人間へ押しつける」構造になってしまう。

第8章のもう一つの核心は、安全と教育の緊張である。
新人は経験しなければ育たない。
しかし、救命救急の現場で新人に経験させることは、それ自体がリスクを伴う。
だから、教育は放任ではできない。かといって、完全に手順化し、リスクを消し、見学だけにしてしまえば、実践的な判断力は育たない。

ここにも、HITLの重要な論点がある。
人間がAIを監督するには、その人間が育っていなければならない。
だが、AIが日常的な判断を肩代わりしすぎると、人間が育つ場が減る。
新人が小さな判断を経験する機会、先輩が判断の理由を説明する機会、チームで判断を照合する機会が消えていく。
効率化によって現場がきれいに整うほど、実は組織の学習能力が痩せる可能性がある。

第8章から見ると、HITLは単に「人間を残す」設計ではない。人間が判断者として育ち続ける設計でなければならない。

名目的HITLとは何か

ここまで読むと、名目的HITLの輪郭がはっきりしてくる。

名目的HITLとは、人間が形式上は意思決定過程に入っているが、実質的な統制をしていない状態である。

たとえば、AIの出力に対して人間が承認ボタンを押す。
しかし、その人間は根拠を確認できない。
時間もない。
判断件数が多すぎる。
異議申し立ての権限がない。
止めると業務遅延として扱われる。
AIの判断を覆した場合の説明責任だけが重い。
事故が起きたときには「人間が確認していた」と言われる。

この場合、人間は統制主体ではない。
責任の吸収材である。

あるいは、AIが自信のある案件を自動処理し、難しい案件だけを人間に回す。これも一見すると合理的である。
しかし、残された人間の側には、難しく、曖昧で、責任が重く、しかも短時間で処理しなければならない案件ばかりが積み上がる。
人間は「簡単な経験」を失い、「難しい例外」だけを引き受けることになる。これでは、判断力の維持も後進育成も難しくなる。

さらに、人間の介在が「倫理的配慮」の表示として使われる場合もある。
人間が見ているから大丈夫。
人間中心だから大丈夫。けれど、その人間が止められないなら、疑えないなら、学べないなら、それは人間中心ではない。
見せかけの人間中心である。

名目的HITLの問題は、人間がいないことではない。人間がいるのに、判断できる条件がないことである。

制度としてのHITLとは何か

では、制度としてのHITLとは何か。

それは、人間を意思決定過程に置くことではない。
人間が状況を理解し、疑い、止め、他者と照合し、失敗から学び、その負荷を組織的に分散できるようにする制度である。

制度としてのHITLには、少なくとも六つの条件が必要だと思う。

第一に、人間が「見られる」こと。
AIの出力だけでなく、前提、根拠、入力データ、文脈、過去の類似ケース、判断の影響範囲を見られる必要がある。
出力だけを見せられて承認するのは、判断ではなく儀式に近い。

第二に、人間が「疑える」こと。
AIの出力に対して、なぜそうなるのか、前提が違うのではないか、このケースには適用できないのではないか、と問い返せる必要がある。
疑うことが業務妨害や非効率として扱われるなら、HITLは機能しない。

第三に、人間が「止められる」こと。危険を感じた人が、実際に処理を止められる権限を持っていなければならない。
しかも、止めた人が組織的に守られる必要がある。
止めた結果、何も起きなかったとしても、その判断が後から罰せられないことが重要である。

第四に、人間が「照合できる」こと。
判断を一人に閉じ込めず、他者と相談し、確認し、異論を出せる場が必要である。
高信頼性は一人の英雄ではなく、冗長な確認構造によってつくられる。

第五に、人間と組織が「学べる」こと。事故や失敗だけでなく、ヒヤリハット、違和感、止めた判断、AIを覆したケース、逆にAIに従って問題なかったケースを、次の学習資源にする必要がある。
ログを残すだけでは足りない。
ログを読む場、語る場、制度に戻す場がいる。

第六に、人間が「育つ」こと。HITLを担う人間は、最初から存在するわけではない。
日常的な判断経験、先輩からの説明、段階的な参加、失敗からの学習を通じて育つ。
自動化によってその経験を奪えば、将来のHITLを担う人材も失われる。

この六つがなければ、HITLは名目に近づく。
逆に言えば、制度としてのHITLとは、人間の介在そのものではなく、人間が介在できる条件を守ることなのだと思う。

実務で問うべきこと

AI導入や自動化の現場で、本当に問うべきなのは、「人間が監督しているか」ではない。

問うべきなのは、次のようなことだ。

その人間は、AIの出力だけでなく、判断の前提を見られるのか。
どの時点で止められるのか。
止めたとき、組織はその人を守るのか。
AIの判断を覆すことは、制度上許されているのか。
判断件数と判断時間は、人間が本当に見られる量になっているのか。
難しい案件だけが人間に集中していないか。
監督負荷は測定されているのか。
複数人で照合する回路はあるのか。
現場の違和感は、正式な情報として扱われるのか。
小さな失敗やヒヤリハットは、学習資源として扱われるのか。
省力化によって、相互監督、引き継ぎ、後進育成が削られていないか。
人間を残すことが、責任を人間に押しつける口実になっていないか。

これらを問わないまま「HITLです」と言っても、それは制度ではなく表示である。

元の読書計画との接続

もともとの問題意識では、ジェリー・Z・ミュラー『測りすぎ』、ニコラス・G・カー『オートメーション・バカ』、スチュアート・ラッセル『AI新生』が読書候補として挙がっていた。
数字や評価指標が目的を食ってしまう問題、自動化が人間を楽にするどころか監視役や非常時の責任者に変えてしまう問題、そしてAIをどんな制御原理で設計し直すべきかという問題である。

そこに『学習の生態学』を置くと、見えてくるものが少し変わる。

『測りすぎ』が、指標が目的化する危険を教えてくれるとすれば、『学習の生態学』は、指標化されない現場知や違和感が、どのように組織の学習資源になるかを考えさせてくれる。

『オートメーション・バカ』が、自動化によって人間の技能が痩せる危険を教えてくれるとすれば、『学習の生態学』は、その技能がそもそもどのような実験的領域や参加構造の中で育つのかを見せてくれる。

『AI新生』が、AIの制御原理を考える本だとすれば、『学習の生態学』は、その制御を実際の組織がどう担えるのかを問う本として読める。

つまり、『学習の生態学』は、HITLをAIの機能設計から組織の制度設計へ移すための本である。

結論

人間を残せば安心なのではない

AI導入において、人間を残すことは大事である。
だが、人間を残せば安心なのではない。

人間が見られないなら、疑えないなら、止められないなら、相談できないなら、失敗から学べないなら、育たないなら、その人間は統制主体ではない。責任の置き場所にされてしまう。

『学習の生態学』から見えてくるのは、人間の判断は個人の内面に孤立して存在するものではないということだ。判断は、現場、道具、記録、会話、訓練、失敗、権限、免責、冗長性、学習の場によって支えられる。

だから、名目的HITLから制度としてのHITLへ移るためには、「人間をループに入れる」だけでは足りない。

人間が判断できるループをつくる。
人間が止められるループをつくる。
人間が他者と照合できるループをつくる。
人間が失敗から学べるループをつくる。
人間の負荷と責任を分散できるループをつくる。
そして、人間が次の判断者として育つループをつくる。

HITLとは、人間を最後に置くことではない。
人間が判断主体であり続けられる制度を残すことである。

AI時代に問われているのは、人間を外すか残すかではない。
人間を残したことにして、責任だけを吸わせていないか。
効率化の名のもとに、組織が学ぶための余白を削っていないか。
そこを見なければならない。

人間を残せば安心なのではない。
人間が判断できる制度を残せるか。
そこが問われている。

書籍URL

参考URL

ハッシュタグ

#学習の生態学
#福島真人
#HITL
#HumanInTheLoop
#AI導入
#AIガバナンス
#制度設計
#組織学習
#リスク管理
#高信頼性組織
#HRO
#安全文化
#現場知
#暗黙知
#状況的学習
#実践知
#医療安全
#救命救急
#精神医療
#読書メモ