開くと実現は別だ〜再帰的自己改善の検知不能性〜

再帰的自己改善とは、AIが自らの改善に介入し、能力向上がさらなる能力向上を生む正のフィードバックループのことだ。賢くなるほど、より良い学習手法を設計でき、その力で自らを最適化する。1965年にI・J・グッドが「知能爆発」と呼び、人類最後の発明になると書いた、あれのことである。

BigGoの記事が、こう締めていた。研究権・評価権・リソース権・展開権を同一の再帰的システムに渡さない制度設計が要る、人間とコードの競争はまだ始まったばかりだ、と。

正しい。ただしその結語には、暗黙の前提が二つある。分離すれば防げる。分離は実現前に間に合う。この二つが崩れると、記事の提案は宙に浮く。前回書いた「言ったという記録」の続きとして、そこを詰める。

同じ記事はもう一つ、奇妙な並置をしている。「臨界点接近」と「トークン・アポカリプス」。計算資源支出が人件費の2.3倍、モデルが人間より高い。この二つは並べて書かれているが、実は噛み合っていない。

コストは臨界点のブレーキ

モデルが人件費の2.3倍かかるなら、800時間の自律実験は能力ではなく計算予算で頭打ちになる。再帰的自己改善は大量の並列実験を食う。一実験が高価なら、どれだけ賢くてもループは経済で絞られる。事前学習ランの実時間、電力、資本。これらは「急速離陸」の時間尺度を許さない。

ただし、この2.3倍は今の価格での話だ。推論単価は歴史的に、年オーダーで桁が落ちてきた。コストが防波堤になるのは恒久ではなく、時間を買っているだけ。ランプが続けば「一実験が高価だから絞られる」の前提そのものが崩れる。

だから僕は、不連続な爆発ではなく、速いが連続的なランプだと見ている。「AIが8割のコードを書いている」も、RSIの証拠としては弱い。これはコードベースへのAI執筆比率であって、技術者一人あたりのマージ量が8倍というのは別指標だ。どちらもマージする作業を測っている。後継機の学習手法を設計・評価・展開する作業とは別物。Anthropic自身が8倍を「質ではなく量」と注記している。マージ権限は示せても、研究自律性は示せていない。

問題は、そのコストが両刃だということ。

高コストは爆発の速度を抑える。同じコスト圧が、今度はガバナンスのゲートを開ける方向に働く。評価ゲート——改善と評価を別モデルにやらせる原則——なんて、競争の中で「自社モデルに自己評価させた方が速くて安い」となれば、誰かが静かに開ける。制度が外れるのは決断ではなく、コスト最適化の副作用として。安全の防波堤と安全の破壊要因が、同じ一つの変数から出ている。

そして律速は移動する。今はチップ供給が壁。それが解けると電力、その次は送電網と冷却水と用地。各層で数年の遅延が入る。フームにならないのは、この物理インフラの階段状の壁のおかげだ。「開く」は連続でも、その速度は多段の制約で刻まれる。鋸歯状に。