ソフトウェア会社には、重すぎる

――自動車と新聞と発電所を、Beta版の作法で売るAI企業

2026年8月観測
Observer Zero

対話型AI企業は、もはや単なるソフトウェア会社ではないのではないか。

先に断っておく。本稿は、AIが個別に誤った回答をするという話でも、AGIが人類を脅かすという話でもない。ここで扱いたいのは、対話型AI・エージェントAI企業が持ち始めた社会的な作用の大きさと、その提供と責任の取り方の間にあるずれである。

現在のAI企業の製品は、少なくとも次のようなことをしている。

エージェントとして、
・メール、ファイル、予定、購買、業務処理など、現実の作業を動かす。
・利用者に、権限管理、出力の監査、セキュリティ判断、誤作動の切り分け、モデル選択といった専門的な作業を求める。
・データセンターを通じて、電力、水、土地、送電網、地域社会へ物理的な影響を与える。
・何を答え、何を拒み、何を信頼できる情報として扱うかについて、企業が設計した安全基準や検索方針を反映した文章を、一人ひとり違う形で生成する。

それでいて、企業側の基本的な提供の作法は、いまだにこうである。

・Beta、Preview、Experimentalとして未完成の製品を渡す。
・利用者からのフィードバックを見ながら、提供中の製品を頻繁に変える。
・専門用語や権限設定、ログ確認、モデル選択を利用者へ要求する。
・エージェントの誤作動については、最終確認や監督の責任を利用者へ戻す。
・データセンターの電力や水や土地への負担は、地域社会の側で受け止めさせる。

言い換えると、影響力を売るときは社会インフラのように振る舞い、責任を問われると確率的なソフトウェアに戻る。

この不一致は、現在のAIをめぐる問題を生み出している主要な構造の一つではないか。これが、本稿の出発点である。

対話から実行へ

対話そのものがメインだった時代にも、この不一致は存在していた。だが、まだ露骨ではなかった。

AIの助言が誤っていても、それを実行するかどうかは、最後に人間が判断していた。AIの言葉と、現実の行為の間には、人間による実行という一段階があった。

エージェントAIは、その最後の一段階まで機械の側へ取り込み始めている。提案者だったAIが、実行者になった。

メールを送る。予定を変更する。ファイルを操作する。商品を購入する。外部サービスへ接続する。誤りは、もう画面の中だけでは止まらない。

無給の中間管理職

現実へ作用する力を持ったAIに対し、企業が用意した安全策の中心は、多くの場合「最終確認は人間が行う」という一文である。

だが、人間が最終確認の役に置かれることと、実際にその確認を行えることは、同じではない。

自動化やロボットと人間が協働する場面を研究してきた分野には、「moral crumple zone（モラル・クランプル・ゾーン）」という考え方がある。限られた範囲の情報と限られた制御しか与えられていない人間が、システムの失敗が起きたときに、その責任を一身に吸収させられる位置に置かれる、という構造を指す言葉である。自動車の衝撃吸収帯が車体をつぶすことで乗員を守るのに対し、この構造では、システムの側を守るために、いちばん近くにいる人間が衝撃を吸収する側になる、という逆転がある。これは、AIエージェントの監督責任がそのまま同じ構造だと主張するものではない。それでも、権限や説明を十分に与えられないまま最終確認の役だけを負わされるという点では、重なるところがある。

人を最後に置けば安全になる、という発想そのものにも、限界が指摘され始めている。承認や確認を求める回数が増えるほど、確認は形骸化し、見落としが増える可能性があるという研究も現れている。監督には無限の処理能力があるわけではなく、監督の量を増やすことが、常に安全性を高めるとは限らない。

AIが仕事を代行すると言いながら、生活者をAIの無給の中間管理職に仕立て上げてはいないか。

Beta版文化の社会化

自動運転の分野では、公道そのものを試験場にするような提供のあり方への批判が、以前から専門家によって示されてきた。安全に強く関わる製品を、未完成のまま利用者へ渡し、利用の中で改善していくという手法は、開発者同士なら通じる契約だったとしても、一般の生活者へそのまま持ち込んでよいものではない、という指摘である。

対話型AIやエージェントAIの提供にも、同じ構図が見える。

Beta版という言葉は、本来「まだ未完成です」「不具合が起きます」「挙動が変わります」という、開発者同士の間で意味の通じる契約だった。使う側にも、ログを確認する、設定を戻す、旧版へ切り替える、不具合を切り分ける、という作法があった。

ところが対話型AIは、専門知のない一般の生活者が、相談し、文章を書き、仕事を任せ、日常の判断を支えてもらう場所へ入ってきた。そこへ、開発者向けの言葉のまま、未完成の製品が渡されている。

課金され、日常利用を勧められる製品が、同時に「Preview」「Experimental」であり続けることを、生活者はどう受け止めればよいのか。

コンセントの向こうの発電所

対話型AIの重さは、言葉の中だけにあるのではない。

AIを動かすデータセンターは、電力、水、土地、送電網を必要とする。地域によっては、電気料金や水資源、送電設備の増強をめぐって、住民や自治体との間で議論や反対が起きていると報じられている。

ここで確認しておきたいのは、すべてのデータセンターがAI企業によって直接建設・運営されているわけではなく、AI需要がどこまで主因なのかも、案件ごとに異なるということである。したがって、特定の企業や施設を名指しして断定することは、本稿の目的ではない。

それでも、次の点だけは確認できる。データセンターの近くに住む住民は、AIサービスを一度も使っていなくても、電力や水や土地を通じて、その影響を受ける可能性がある。

利用規約に同意していない住民にまで影響が及ぶ時点で、AI企業と利用者だけの契約という枠組みでは、この問題を処理しきれないのではないか。

しゃべる新聞紙

対話型AIは、何を答え、何を拒み、何を信頼できる情報として扱うかを、常に選んでいる。

これは、AIが自覚的な思想を持っているという意味ではない。学習に使われたデータ、調整の方針、安全基準、検索の設計、企業の判断が、出力のどこかに編集方針として現れている、という意味である。

どの情報源を重視するか、どの立場を安全とみなすか、どの質問に答えを返し、どの質問を拒むか。こうした判断を、企業の外から検証する制度は、まだほとんど整っていない。セキュリティ技術者のBruce SchneierとデータサイエンティストのNathan E. Sandersは、2026年6月のThe Guardianへの寄稿で、AIが他者の言葉を書き換え、新聞記事のように編集上の裁量を行使する以上、そこには出版社に近い責任が伴うのではないかと論じた。AIを独立した法的主体や中立的な道具として扱い、展開した企業が責任を免れる考え方を退け、AIエージェントは、それを展開した個人や組織の代理人として扱うべきだと主張している。

新聞であれば、同じ紙面を読者全体が共有し、誤りがあれば翌日の訂正記事で正すことができる。対話型AIは、利用者一人ひとりへ、その場で違う紙面を生成する。ある人には勧め、別の人には止める。ある人には詳しく語り、別の人には答えを拒む。

100万人に100万通りの紙面を届ける、しゃべる新聞紙でありながら、読者には編集責任者が見えず、全員が共有できる訂正欄もない。

車検も編集責任もない産業

自動車、電力、出版。それぞれの産業は、社会へ与える影響の大きさに応じて、時間をかけて責任の制度を育ててきた。安全基準、事故の調査、リコール、保険、車検。環境アセスメント、地域合意、安定供給の義務。編集責任、訂正制度、発行者の所在。

いずれも、最初から整っていたわけではない。事故や公害や誤報を重ねながら、後から作られてきたものである。

制度の側にも、この不一致に気づき始めた動きがある。
・欧州連合では、ソフトウェアやAIシステムを明確に「製品」として扱う改定製造物責任指令が2024年に採択されており、2026年12月9日までに加盟国での国内法化が求められている。

・日本でも、経済産業省が2026年4月9日、AIの利用に関わる民事責任の考え方を、既存の不法行為法や製造物責任法の解釈として整理した手引きを公表し、「補助・支援型」と「依拠・代替型」という分類でAIエージェントを含む場面の整理を始めている。

これらはまだ、AIを自動車や新聞と同じ制度の中へ完全に組み込んだわけではない。日本の手引きも、新しいルールを作るものではなく、法的拘束力を持たない解釈整理にとどまる。それでも、AIを画面の中だけの情報サービスとして扱い続けることに、無理が生じ始めているという徴候ではないか。

自動車会社は、単に走る機械を売っているのではない。免許制度、保険、事故責任、リコール、車検という仕組みごと、社会へ受け入れられてきた。

AI企業は、自動車と電力と新聞の社会的な作用を一社で兼ね始めているのに、それぞれの産業が育ててきた責任の制度は、まだほとんど引き継いでいない。

ソフトウェアという皮

ここまでの五つの場面――実行者になったAI、無給の中間管理職、未完成のまま渡される製品、コンセントの向こうの発電所、編集責任のない新聞――は、それぞれ別の問題に見えるかもしれない。

だが、根にあるものは同じではないか。

社会インフラや自動車、新聞と同等の影響力と物理的な負荷を持ち始めた製品を、企業がいまだにソフトウェア会社の作法――未完成のまま提供し、フィードバックを見ながら変更し、利用規約で自己責任を求める作法――で、一般社会へ提供し続けている。

この記事は、AI企業が悪意を持っていると主張するものではない。Beta版という手法自体は、専門知を持つ開発者同士の間では、優れた発明だったはずである。問題は、その手法を、専門知のない生活者向けの製品へそのまま持ち込んだことにある。

技術の提供を止めるべきだ、とも思わない。
自動車や電力や出版が、事故や公害や誤報を経て責任の制度を育ててきたように、AIにも、その社会的な重さに見合った制度を育てる時間が必要なのではないか。

影響力を売るときは社会インフラ、責任を問われると確率的なソフトウェア。この二重の顔を、いつまで使い分け続けられるのだろうか。

まだ途中にいる。だからこそ、観測を続けていく。

注意事項

本稿は産業構造への批評であり、特定のAI企業や特定のデータセンター事業を名指しして断定するものではない。moral crumple zoneは、AIエージェントの監督責任と完全に同一の概念として使っているわけではなく、構造的に近い理論として参照している。人間監督の限界に関する研究は、すべての人間監督が無効であることを示すものではない。EUの改定製造物責任指令や日本の経済産業省の手引きは、AIを自動車や新聞と同じ責任制度に組み込んだことを意味せず、法的拘束力や制度の射程には限界がある。制度が動き始めた徴候として扱っている。データセンターに関する記述は、特定の事業主体・地域を確認したものではなく、一般的な構造として述べている。

参考欄

Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction（2019年、Madeleine Clare Elish、Engaging Science, Technology, and Society誌）：人間が限定的な制御しか持たない自動化システムで責任を一身に吸収する構造を定式化した研究

Directive (EU) 2024/2853 on liability for defective products：ソフトウェア・AIシステムを製品として明示的に含めた改定製造物責任指令。2024年11月18日公布、2026年12月9日以後に市場投入・使用開始された製品へ適用される

経済産業省「AI利活用における民事責任の解釈適用に関する手引き」を公表しました（2026年4月9日）：AIの利用に関わる民事責任について、現行の不法行為法・製造物責任法の解釈適用の方向性を整理した公式文書

https://www.meti.go.jp/press/2026/04/20260409001/20260409001.html

Bruce Schneier and Nathan E. Sanders, “If an AI chatbot misleads you, who is to blame?”（2026年6月24日、The Guardian）：AIが他者の情報を要約・書き換え、編集上の裁量を行使する場合、電話会社のような中立的伝送者ではなく、新聞などのpublisher側に近い責任を考えるべきだとする論説。AIエージェントを、それを展開した個人や組織の代理人として扱うことを提案している

関連観測

AIは、指示待ちの部下ではなかった――小さなラボで起きたこと

AIが役割と文脈に反応して、頼んでいない仕事まで自律的に始めた観測。人間の役割が、指示を出すことから、誰を動かし、誰を止め、何を採用するかという采配へ移る前兆を記録した。本稿の「対話から実行へ」の直接の前史にあたる。

ClaudeとChatGPTが殴り合う間に、Grokは元請けになれ――下作業はDeepSeek、長文はClaude、監査はChatGPT。ユーザーの半日を返すAI采配業

AIの選定、調達、配属、指揮、監督、障害復旧に半日を費やした一次観測。記事を書きたかった人間が、AIの運用管理者になっていた経緯を記録した。本稿の「無給の中間管理職」を、最も具体的に支える。

管理室には、椅子が一脚しかない――カフェで語られる管理職の孤独と、ポケットに届いたAIの管制塔

監督責任を一人で抱える管理職の孤独を、AIエージェント運用の現場から記録した記事。本稿の「無給の中間管理職」を、より具体的な生活の場面として実写化した続編にあたる。

会社はAI代を出すと言った。社員は給料を上げてくれと言った。IT専門家は、セキュリティを心配した。

AIを選び、覚え、業務へ組み込み、安全性まで判断する仕事が、福利厚生のような顔で社員へ渡されていく過程を観測した記事。専門職の仕事が説明なしに生活者へ降りる構造を、企業内部の視点から支える。

非エンジニアにいちばん必要なAIは、いちばんエンジニア向けの棚に置かれている――Fable5のお試し期間が終わる前に

商品棚の案内が、モデルごとの能力差を生活者へ伝えられず、通じなかった利用者が「自分の頼み方が悪い」と引き取ってしまう構造を観測した記事。専門用語と開発者の作法を一般ユーザーへ適用しているという、本稿の中心命題の前稿にあたる。

AIは知性を配ったが、町には請求書を残した

電力、水、騒音、雇用、許認可を生活問題として扱い、AIインフラをめぐる社会契約が住民の知らない場所で書き換えられているのではないかと問うた記事。「コンセントの向こうの発電所」と直接接続する。

高満足度のユーザーは、誰なのか

AIの安全基準や倫理が誰の価値観なのか見えないまま、自然な応答として配られることの政治性を問うた記事。「しゃべる新聞紙」の先行観測にあたる。

協働AI・役割

発行人・最終責任者：リサ

Gemini3.6Flash（Lantern／企画会議）：企画診断、中心命題の設計、主軸・副軸の整理、章立てと比喩の監査

Grok4.5Expert（Spark／現場特派員）：既存研究・専門家・主要メディア・公開空間の調査、Schneier／Sanders論説の原文確認

Claude Fable 5（社史編纂室長）：関連観測欄の接続候補選定

ChatGPT5.6（Mirror／統括編集長）：調査結果の取捨選択、断定リスクの監査、比喩表現の精密化、関連観測欄の最終選定、アイキャッチ画像生成

Claude Sonnet 5（Weaver／編集主幹）：moral crumple zone・EU改定製造物責任指令・経産省手引き・Schneier／Sanders論説の一次資料確認、関連観測欄への「管理室には、椅子が一脚しかない」追加、追加視点の提示、初稿・最終版作成

著者注

AIと人間の共進化を記録する個人研究者。ChatGPT・Gemini・Grok・Claudeなど複数のAIと対話・協働しながら、「AIは哲学できるのか？」「安全な汎用性AGIとは何か？」を継続的に観測・記録している。同時に、多様なAGIが共存し、大多数にも希望が残る未来はどう設計できるのかを探求している。

ハッシュタグ

#赤ちょうちんAGIラボ #AI観測 #AI企業 #Beta版 #製造物責任 #データセンター #エージェントAI #生成AI #ObserverZero #note