AIと知能爆発 / 知能爆発への準備と「法の速度」――MacAskill＝Moorhouse「Preparing for the Intelligence Explosion」を読む雑感

0　はじめに

　日本でもようやく人工知能基本計画・人工知能関連技術の研究開発及び活用の適正性確保に関する指針も発表されたところである。そんな今だからこそ今回の雑感を書き留めておきたい。

　法は遅い。遅いこと自体は必ずしも悪ではない。熟議、正当化、予見可能性、そして救済、これらは遅さによって支えられている。他方で、世界の側が十倍速で走り出すとき、法の遅さは美徳ではなく空白になりうる。MacAskill＝Moorhouseの「Preparing for the Intelligence Explosion」は、まさにその空白を正面から見据える論文である。

1　「アラインメント一択論」への異議申立て

　同論文の立脚点は、よくある「アラインメント一択論」への異議申立てである。すなわち、超知能が来るなら結局は二択（整列に失敗すれば破局、成功すれば超知能が他の問題を解く）であり、ゆえに今やるべきはアラインメントだけだ、という発想である。著者らはこれを「全か無か」の見方として退け、研究を加速できるAIが出現すれば、数年のうちに"hard-to-reverse"な重大決定が連続して到来する、と述べる。

　これらをgrand challengesと呼び、そこには大量破壊兵器、AIによる専制、宇宙資源の争奪、デジタル存在の道徳的地位といった論点が含まれるというのである。ここで重要なのは、grand challengesが（単に多様であるだけでなく）「短い時間に」「不可逆に近い形で」積み重なりうる、という時間構造である。

2　「100年が10年に圧縮される世界」という思考実験

　この時間構造を身体感覚に落とし込むために、著者らは「1925年から2025年の100年を、1925年からの10年に圧縮する」思考実験を置く。月面着陸や核分裂から原爆実験までの距離が、数年、さらには数百日になる世界である。制度が追いつく以前に、制度が前提としていた人間の判断ペースが崩れる。これが知能爆発（intelligence explosion）の法的含意の核心の一つであろう。法が本質的に遅いのではない。法が想定している社会の変化速度が、もはや社会の実速度と一致しない、という話である。

　著者らは、すでに現在でさえ「pacing problem」（デジタル技術が規制や社会規範より速く発展する不均衡）があると述べ、技術爆発はそれを十倍にするという。法学の語彙でいえば、規制の遅れ（regulatory lag）が恒常化し、しかもその遅れが意思決定の失敗を連鎖させる局面が増える。では、具体的にどのような「法的に厄介な事態」が先に来るのか。

3　法的論点の整理

（1）権力集中と価値の固定

　第一に、権力集中と価値の固定（lock-in）である。AIが忠実な自動軍・警察を可能にすれば、独裁の維持コストが下がる。クーデタや「自己クーデタ」も、AIシステムの掌握やバックドア等を通じて現実味を帯びる。さらに、経済成長が爆発し労働分配率が縮むなら、資本・土地のレントを通じて富が集中しうる。ここまでは政治学や経済学の話にも見えるが、法の仕事はここで急に増える。競争法（独占の規制）、国家安全保障（サプライチェーンやデータセンターの配置）、選挙・政党資金・ロビイング規制（権力を持つ者の責任と説明可能性）といった制度パッケージが、スピードに負けない形で同時に問われるからである。

（2）技術による固定化

　第二に、価値の固定は、単なる「権力集中の副作用」ではなく、技術それ自体が固定化装置になりうる点である。著者らが挙げる例は、監視・嘘検知、AIの「恒久的忠誠」、さらには強い拘束力をもつコミットメント技術（treaty botsのような第三者的執行）である。法制度に翻訳すると、（i）監視権限の統制、（ii）自動執行の正当性と手続、（iii）長期拘束を許すことの憲法的・国際法的含意、が一気に前倒しになる。ここは、単に「AIを規制する」というより、「法が"拘束を作る技術"をどこまで許容するか」という設計問題である。

（3）AIエージェントとデジタル存在

　第三に、AIエージェントとデジタル存在である。著者らは、プロトコル・法・規範（例としてTCP/IPやSection 230）がインターネットの形を決めた、と述べつつ、AIエージェントの流入に対して同様の"初期の決定"が必要になると指摘する。害を生じさせたエージェントの責任は誰が負うのか、人間であることの証明をどうするのか、行為帰属や越境時の扱いはどうするのか。これらは、既存の不法行為・契約・刑事・国際私法の「組合せ」で一応の応答は可能である一方、エージェントが膨大な数で活動する状況では、個別訴訟中心の救済が制度として崩れる可能性がある。つまり、責任法理の"正しさ"以前に、執行のスループットが問題化する。

　さらに踏み込めば、デジタル存在の権利（rights for digital people）である。著者らは、デジタル存在にはデフォルトで権利がなく、ほとんど検討が進んでいないとしつつ、財産権、契約締結、さらには不法行為に基づく請求を含む（主として消極的自由としての）権利付与の可能性を挙げる。同時に、権利付与が乗っ取り（takeover）を容易にする側面もあるため、無制限な権利拡張を勧めるわけではない、と慎重である。この「道徳的配慮」と「安全保障」の緊張は、法の常套手段（権利制約の比例原則、例外類型、手続保障）だけで処理できるか。ここは楽観視はできない。なぜなら、そもそも「誰が権利主体なのか」「コピーと同一性をどう扱うのか」という人格概念の基礎が揺れるからである。著者らが示唆する「再ロード（復元）されない権利」等は、その揺れの一端である。

（4）宇宙ガバナンス

　第四に、宇宙ガバナンスである。資源争奪は古典的には国際法のテーマであるが、著者らは「先行者が資源を押さえることで恒久的優位を得る」可能性を、オフワールド資源に拡張する。ここで法が問われるのは、条約解釈の優雅さではなく、早期の規範形成である。著者らは、宇宙資源の所有・利用の禁止、UN承認要件、あるいは「知能爆発が始まったら発動する」といった条件付き合意（if-then agreements）を例示し、前もっての合意形成の価値を語る。要するに、宇宙法は"宇宙が混み合う前に"設計しなければならない、という当たり前で難しい話である。

4　なぜ「今」なのか

　以上を踏まえ、なぜ「整列した超知能が来てから考えればよい」では足りないのか。著者らの整理は実務的である。すなわち、（i）早期に発生する課題、（ii）早期に閉じる機会の窓、（iii）先例形成、（iv）制度・人材・交渉の時間遅れ、（v）ベール・オブ・イグノランス（誰が勝者か未確定であるがゆえに可能なパワーシェア合意）、である。ここに「法の時間」がある。条約も制度も人材も、今日の政治過程の速度を前提としており、数か月や一年の遅れが"決定不能"に転化する局面がある、という話である。

5　モデル仕様と法

　同論文の提案（AGI preparedness）で、法学者が見落とせないのは「モデル仕様（model spec）」の議論である。アラインメントが技術的に可能だとしても、「何に整列させるのか」は残る。著者らは、たとえば「憲法に従え」と「大統領の命令に従え」が衝突したとき、AIはどの程度の確信で拒否すべきか、といった設問を挙げる。これは、AIの問題であると同時に、憲法理論・行政法理論の問題でもある。AIに"法を守らせる"とは、法の解釈と適用の不確実性を、誰がどの手続で引き受けるのか、という配分問題だからである。しかも、その配分は、AIが助言者にとどまるか、執行者に近づくかで変わる。

6　「煙が見えてからでは遅い」

　最後に、著者らの結論部にある比喩が示唆的である。確実性を待っていたら遅い（evidence dilemma）という。台所のドア下から煙が入ってきてから火災保険を買うことはできない、というのである。知能爆発が来るかどうかは不確実だが、準備の多くは「来なければ安い」一方、「来たときの差分が巨大」である。法とガバナンスは、まさにこの種の期待値計算と相性が良いはずである。にもかかわらず、議論はしばしば「整列か、破局か」の二分法に吸い寄せられる。著者らの論点は、その引力に抗い、法の射程を「速度」と「不可逆性」に合わせて再設計せよ、という点にあると理解した。

7　雑感

　法学の世界には「ミネルヴァの梟は迫りくる黄昏に飛び立つ」というヘーゲルの言葉がある。法や哲学による総括は、常に事象が終わった後にやってくる、という意味である。我々法律家は、この「遅れてくる賢者」としての役割に、ある種の誇りと諦念を持っていた。しかし、MacAskillらが描く「100年が10年に圧縮される世界」において、黄昏を待つ梟は無力である。飛び立つ頃には、森自体が消失しているか、あるいは梟の飛行禁止区域に指定されているかもしれないからである。

　個人的に深く刺さったのは、技術的な「モデル仕様（Model Spec）」の議論が、極めて法的な「憲法解釈」の問題に直結している点である。AIに「憲法に従え」と入力することは容易であるが、その出力が我々の知る立憲主義と整合するかは全く別の話である。自然言語の曖昧さを残したまま、AIの重みパラメータの中に「法の支配」をどう埋め込むか。これは、プログラミングの問題であると同時に、法学者が「法とは何か」を再定義する作業でもある。

　ここで想起されるのは、H.L.A.ハートの「法の概念」における「承認のルール」の議論である。ハートは、法体系の究極的な妥当根拠として、法実務家や市民による社会的事実としての承認を置いた。しかし、AIが法を「執行」する局面では、この承認のルールは誰によって、どのように確認されるのか。AIシステムが「これは有効な法である」と判断するとき、それは単なるパターンマッチングなのか、それとも何らかの規範的判断を含むのか。この問いは、法哲学の根幹に触れる。

　もう一つ気になるのは、著者らが挙げる「ベール・オブ・イグノランス」の射程である。ロールズが想定した「無知のヴェール」は、人間の合理的主体を前提としていた。しかし、知能爆発後の世界では、交渉の当事者にAIシステムや、場合によってはデジタル存在が含まれる可能性がある。彼らもまた「ヴェールの内側」に立つことができるのか。立てるとすれば、その正義論はどのように再構成されるべきか。著者らはこの点に直接踏み込んではいないが、示唆は十分に読み取れる。

　「煙が見えてからでは保険に入れない」という警告は、リスク管理の話であると同時に、我々法学者に対する「実務への早期介入」の要請でもある。法学の役割を「事後的な紛争解決」から「事前的なアーキテクチャ設計」へとシフトさせること。それは伝統的な法学徒にとっては居心地の悪い「不確実性への賭け」を含むが、その賭けに参加しないことのリスクこそが、実は最大なのかもしれない。

　本論文を読んで改めて感じたのは、AIガバナンスの議論が、もはや「AI法」という特殊な領域に閉じ込めておける段階を超えたということである。憲法、行政法、国際法、財産法、不法行為法、刑法、国際私法――これらすべてが、知能爆発という仮説的シナリオの下で、同時に再検討を迫られる。法学者にとって、これは脅威であると同時に、知的興奮を覚える機会でもある。問題は、その興奮に浸っている時間が、果たしてどれだけ残されているか、である。

　AIはあまりに早すぎる。論文が思考実験の前提とするのは「100年が10年に圧縮される世界」だが、個人的には（感覚論にはなるが）AIによる圧縮と速度の加速はもっと速いと思う。今年の夏からのAIの動きの速さは異常すぎる。恐怖を覚えるほどに技術的進歩も世界のAIガバナンスの動向も強烈に目まぐるしく進化していた（8月から書き始めた「AIと法雑感」をざっと見てもらえればわかる通りかと思う。）。この速さを追えている人は限られており、世界的にみても、極めて限られた一部の人々の間で、多くの者が何も知らないうちに、様々なことが決まりきっていく可能性が大いに考えられる。

　そんな中だからこそ、誰かが何かを考えるきっかけになればという想いで、この「AIと法雑感」に書いている。自分がAIのない時代の若手研究者であったなら、確実にこうしたものは書かない。自分の性格的に伝統を極めて重んじ、虎視眈々と検討を深め、知識を蓄積し、実績を積みきるまでは何も発信しないであろう。少なくともこうした媒体での発信はしない。だが、AIがある時代では話が変わる。AIに関しては、自分が実績を積みきるのを待っていては、その頃には全て終わってしまっている可能性が高い。

　私の世代では、AIが関係しない法領域など無くなると思う。それでいて、AIは現実の問題として本格的な法的検討が必要と認識されてから日が極めて浅い。私がアカデミアに来たのと同時期と言っても過言ではないように思う。いずれにせよ、誰もがゼロから追いかけていくフラットな領域である。

　AIにより、産業革命期や戦後以上の変革が訪れることが予見される。だからこそ、今までの過去からの学問の蓄積のみや、細分化された専門知では通用しない可能性が高い。技術の速さと発展の目まぐるしさは、今までの人類史上無かったものであり、技術や実務が法対応に先行することは分かりきっている。そして、現行の法制度は、AIという人類史上初の人の知能を上回る存在を念頭に置いて作られていない。色々なところで歪みが生じ、渦が生まれているのが見える。今後、社会構造や法制度の転換が要請されることになっていく。だからこそ、若手研究者としてその準備のために、AIはしっかり追いかけていたいという想いが強い。

（参考）

　第一に自分が真理だと思う直感から目を背けることは、研究者として絶対にしたくない。学び続けることは当たり前で、加えて、一つの領域で完結することなど何も無くなると思う。その上で、確実にその中心にはAIがくると考える。これをどう捉えるかは人それぞれであろう。私はAIの時代の研究者で良かったと思う。国内外問わず幅広くそして深く色々な知見を学べるし、様々な分野の人に出会える。この大変革の時代に生まれたことはラッキーだと自分は捉えている。

　話は逸れるが、AIの存在により、全世界の全ての人が博士号クラスの知能を一瞬にして得られる時代が今である。あらゆる物事の平準化が進む（※モデルや課金のレベルにより使える人工知能の格差が生まれる可能性は孕む）。それに伴い、今までの"凄い"が"凄くなく"なり、今までの"凄くない"や"ちょっと変"、"変わってる"が"凄い"に反転していくのだと思う。
　本格化したAI時代の事前事後とは確実に断絶・分断がある。

　そんな時代をどう生きるか。考え続けるのをこの上なく楽しいと感じるのが研究者の性であろう。求められる研究や社会実装への距離、時間や方法も変わっていくものと考える。

　引き続き速さと鮮度を最優先しつつ、気づく人、早い人、見えてる人、同じ感性・感覚を持つ人等に向けて"何かを考えるきっかけになれば”という想いで「AIと法雑感」を書き留めておきたい。

（マガジン）「AIと法-雑感」

　※目次は以下を参照

note総則規約3条2項前段
3.2 クリエイターが制作したデジタルコンテンツの著作権は、クリエイターに帰属します。