当黑盒开始写黑盒：AI时代的软件、创作与人的退路

当黑盒开始写黑盒：AI时代的软件、创作与人的退路

关于这篇文章的思考，已有半年之久。

作为AI浪潮的亲历者，你能真切地感到一个庞然大物正扑面而来，它蕴含的能量大到让人不安。

这半年里，我和身边各行各业的人聊过AI。每个人的观感不同，对AI的触感也不同。有人兴奋，有人恐惧，有人无感，有人焦虑。但有一点是共通的：我们这代人，正在经历第四次智能产业革命，我们每个人都是这场变革的见证者。

这篇文章，就是见证者的一点记录。

一、从一个问题开始

大模型是什么？

很多人的第一反应是"工具"。但你仔细想，它和传统工具的区别是根本性的。

先说两类黑盒。

第一类是规则型黑盒。规则是人定的，只是复杂到你看不透。

比如外卖平台的餐厅排序，不是按距离，不是按评分，是一个你看不见的综合权重。再比如银行信用卡额度怎么给的，跑了个模型，给你两万不给你五万，没人跟你解释。又比如导航软件为什么给你走这条路不走那条，背后有实时路况、历史数据、商业合作，你看不见。这类黑盒的特点是：有设计者，理论上可以审计，只是你不知道规则是什么。

第二类是涌现型黑盒。没有设计者，规则是从交互中自发生成的。

大模型就属于这一类。它的能力是从海量数据中涌现出来的，连设计者自己都不完全知道它为什么在某个问题上答对、为什么在另一个问题上自信地犯错。

有意思的是，涌现型黑盒在自然界并不罕见。人脑就是最典型的一个。你做了一个决定，事后给自己编的"理由"很可能只是大脑的事后合理化。神经科学实验发现，意识层面的"决定"比神经活动晚了几百毫秒，也就是说你的脑已经决定了，你才意识到你在决定。

市场价格也一样。某个商品今天涨了价，是千万个买卖行为叠加的结果，没有一个人"决定"了这个价格。事后所有分析都是马后炮。

舆论、语言演变、生态系统，全是涌现型黑盒。大模型只是第一个由人类制造出来的涌现型黑盒。

这就引出了一个更重要的问题。

二、当黑盒开始写黑盒

2026年年中，国际大厂的AI代码生成占比已经过半，部分团队超过70%。Cursor、Claude Code、Devin不只是辅助工具，是主力输出。AI agent已经能自主完成从领任务到写代码到跑测试到提PR再到根据review修改的闭环。

但很少有人注意到，这个过程正在制造一种嵌套的黑盒结构。

大模型本身是涌现型黑盒。它生成的代码组装成软件系统，系统行为也是涌现的。黑盒套黑盒，层数越多，人离真相越远。

这不是危言耸听，它正在逐层发生。

第一层，代码黑盒。 已经发生了。AI十秒生成三百行，人读三百行要五分钟。速度差导致代码审查从逐行审退化成扫一眼能跑就行。审查一旦变成抽检，就等于不检。

第二层，架构黑盒。
正在发生。AI不只写函数，还在做技术选型和架构决策。为什么用这个模式不用那个、为什么这样分层，推理过程往往没有保留。项目里的技术债务不再只是人偷懒留下的，也可能是AI的选择人没看懂。

第三层，测试黑盒。
最危险的一层。AI自己写测试，自己跑测试，自己报告全部通过。这里有个逻辑陷阱：AI写的代码如果有偏差，AI写的测试就会固化这个偏差，测试通过不等于软件正确，只等于AI觉得自己没问题。让学生自己出题自己考自己，满分不代表掌握了知识。

第四层，需求黑盒。
终局。人描述需求，AI理解需求，AI写代码，AI写测试，AI跑测试，人看结果。人只接触了两端，中间全是黑盒。人能做的反馈就是"这个不对，改一下"，本质上是在调一个看不见内部的黑箱。

这跟用户用你开发的软件有什么区别？你变成了你自己软件的用户。

三、速度比所有人预想的快

有人说这个判断太激进了。但你看头部公司的AI编程渗透已经到了什么程度，很多团队code review的实质已经从审逻辑退化成跑个绿灯就merge。

头部团队已经站在黑盒期的门口了。行业平均还有一两年的势差，但黑盒期有一个特点：它会比过渡期来得猛。过渡期还需要人适应工具，黑盒期是工具把人挤出去，后者快得多。

而且这是一个正反馈循环。AI写代码，人读不过来，放弃逐行审，AI写更多，人更读不过来。一旦进入，没有自然的刹车机制。唯一能停下来的方式是出大事。

历史上每一次都是这样。Boeing 737 MAX事故之后，全球航空业对"软件override人类判断"的态度才彻底反转。Crowdstrike蓝屏之后，企业对自动更新的容忍度才骤降。

AI编程的类似时刻什么时候来？有几个领域值得重点关注。自动驾驶、医疗设备软件、金融高频交易、工业控制系统，这些领域的共同点是AI编程渗透快、容错率低、出事有物理后果。其中自动驾驶目前渗透最快、极端场景最多，可能是最早暴露问题的领域。

有三个信号值得关注。
第一，大厂开始正式设立AI生成代码审计相关岗位。招聘JD是真金白银的信号，公司不会为不存在的问题花钱。
第二，某次重大事故的事后调查中出现AI生成代码的因素。那一刻整个行业的叙事会一夜之间转变。
第三，开源项目开始大规模出现AI生成但无人能维护的孤儿代码。原作者不再理解自己项目的代码，别人更不敢接手。

第三个信号最隐蔽，也最本质。开源生态是整个软件行业的基础设施，如果它开始松动，所有人都会受影响。GitHub上现在已经有苗头了。很多项目commit频率极高、star数不少，但你去看issue，维护者对核心问题的回复越来越模糊，因为他也看不懂自己当初让AI写的那段逻辑了。

你随便去GitHub翻几个最近一年快速崛起的AI辅助项目，看maintainer对复杂issue的响应质量，就能感觉到。

四、那编程开发怎么办？

先认清一件事：分层正在发生，不是慢慢分，是今年就在分。

上层是设计约束、定义需求、做架构决策的人，AI干不了，更值钱。
中层是用AI写代码、审查、集成的人，正在被压缩价值。
下层是纯按spec写代码的人，正在被消灭。

你现在的每一个选择，都在决定你往哪层滑。

第一，把读代码能力当核心资产维护。
这是最重要的一条。AI能写代码，但能读懂AI写的代码的人在五年内是稀缺资源。问题是用AI写代码的过程中阅读能力会退化，不读了，能跑就行。这跟用计算器导致心算能力退化是一样的，但后果严重得多。AI生成的代码，关键路径必须逐行读，读完能用自己的话讲清楚。你不是在和AI比写代码的速度，你是在保持对系统的理解能力。一旦失去这个，你就退化成了纯消费者。

第二，学会定义问题，而不只是解决问题。
AI擅长解决问题，不擅长定义问题。什么问题值得解决、解决到什么程度、哪些不该解决，这些判断AI做不了。每次拿到需求，先自己想清楚为什么要做这个，而不是直接让AI开始写。能写好需求描述和验收标准，比写代码值钱。

第三，建立系统级思维。
AI写模块很强，但把模块组装成系统、处理模块间的边界和交互，目前AI还差得远。刻意练习架构设计，关注非功能性需求，性能、安全、可维护性，这些AI最容易忽略。

第四，别把自己变成AI操作员。
如果你的核心竞争力是我比别人更会用Cursor，这个优势窗口很短。工具越来越好用，门槛越来越低，最后人人都会用。操作工具的能力不是护城河，理解工具输出的能力才是。

第五，别停止手写代码。
哪怕日常全用AI写，也要保持手写习惯。不是为了情怀，是为了维持对代码的肌肉记忆和直觉。每周至少手写一段不平凡的代码。这个一旦丢了很难捡回来。

第六，别只追新技术，丢了底层。
新框架每半年换一轮，但操作系统原理、网络协议、数据结构、并发模型，二十年没变。AI能快速学会新框架，但学不会对底层原理的深度理解。当黑盒出问题的时候，能救你的是底层知识，不是框架经验。

五、护城河在哪里？

有人说，那去做物理世界交互的领域，嵌入式、IoT、机器人，这些AI碰不了。理由是AI没有"身体"，没法在物理世界试错。

但这个判断在2026年已经不成立了。世界模型正在给AI一个虚拟身体。NVIDIA的Cosmos、Isaac Sim，Google的Genie，让AI不用真的撞墙才能学会撞墙会坏，在仿真环境里撞一百万次就行了。

所以"没有身体"这个论点站不住了。但物理世界软件的护城河并没有消失，只是换了形式。

第一，训练数据稀缺。工业协议、特定MCU的寄存器配置、某型号传感器的校准方法，这些知识不在互联网上，不在论文里，在企业内部的规格书和工程师脑子里。AI没见过的东西就是不会。

第二，仿真不等于现实。机器人领域管这叫Sim-to-Real Gap（仿真到现实的鸿沟）。
仿真环境里的物理是简化过的：摩擦系数是设定好的常数，传感器数据是干净的，所有零件是理想尺寸。真实世界呢？摩擦系数随温度和磨损变化，传感器有噪声和漂移，零件有制造公差会松动。一个机器人手臂在仿真里练了一百万次抓取，成功率99.9%，放到真实工厂里第47次就出了问题，因为那个零件表面有一层仿真里没有的油膜。世界模型学到的物理规则是大多数情况下对的，但事故恰恰发生在少数情况下。

第三，安全标准要求可追溯。功能安全标准要求每一行代码都能追溯到需求，每个决策都有文档。
AI生成的代码无法满足这个要求，不是代码不对，是生成过程不可追溯。这是合规问题，不是技术问题。

这三个壁垒比"没有身体"要扎实得多，同时也确实在降低。不要用上一轮的认知框架来判断这一轮的变化速度。

六、不只是编程，所有创作领域都在黑盒化

把视野从编程拉到所有创作领域，问题的性质就完全变了。

AI写小说、写文案、写新闻，质量已经能骗过普通人。Sora、可灵、Vidu生成视频，普通人分不清是不是拍的。Midjourney、Stable Diffusion让商业插画师订单腰斩。Suno三十秒生成一首完整的歌。初中级翻译已经没有市场。

而且不只是技能被替代。更深的一层是审美也在被替代。AI不只生产内容，它在定义什么算好。推荐算法已经在做这件事了：你以为你喜欢，其实是算法让你喜欢。当AI既生产内容又定义审美时，人类创作者的独特性就打了折扣。

再深一层，判断力也在被替代。人在创作中最值钱的不是能创作，是能判断什么是好的。但如果你每天消费AI生成的内容，你的判断力也在被同化。你越来越分不清也不在乎一段内容是人写的还是AI写的。

这才是最深的黑盒：不是AI不透明，是人对自己失去了判断力。

七、普通人未来的规划方向？

第一，信任。
AI能生成一篇医学科普，但你信AI的还是信你认识的医生的？AI能写一份法律意见，但你敢不找律师直接用吗？信任等于人际关系加专业背书加真实经验，三样AI都没有。不管你做什么行业，刻意经营别人为什么信你这件事。AI可以一夜生成一万篇文章，但建不起一天的信任。

第二，责任。
AI写了一份合同出了问题，谁赔？AI做了一个诊断出了事，谁负责？只要一件事有后果，就需要有人承担。承担后果的人不可被替代，不是因为他能力多强，是因为必须有人签字、有人负责。往需要人签字、需要人负责的位置走。执照、资质、签字权，这些东西在未来会越来越值钱。

第三，真实。
AI的训练数据全部来自人类已有的产出。但有些数据AI拿不到：你真实经历的痛苦、失败、挣扎，你和具体的人之间的真实互动，你在特定环境下的真实感受。这些是AI的数据盲区。不管你做什么创作，把真实当核心。AI写得好但没人会为一个完美的假故事哭，人们会为一个笨拙但真实的故事哭。

第四，现实
所有AI能做的都在屏幕里。屏幕之外，面对面交流、手作体验、线下场景，AI碰不到。不管你做什么行业，留一个线下触点。堂食体验是护城河，面对面互动是护城河，到场诊断是护城河。所以我经常和群友说，未来的第三产业会格外的发达，甚至昂贵。人和人的接触，人提供的服务是目前非安全体AI代替不了。

第五，别试图跟AI比效率。
你跟AI比效率，就像你跟汽车比跑步，你必输，而且这个比较没有意义。人应该在AI擅长的赛道上认输，在AI不存在的赛道上竞争。

八、最后说一句

很多人在问AI会不会取代自己。

真正的问题不是AI会不会取代你，而是另一个会用AI的人会不会取代你。但更狠的是，当所有人都会用AI的时候，这个优势也没了。最终所有人都在同一条起跑线上：你能提供什么AI给不了的东西？

这个问题的答案，就是你的底牌。不是技能，不是工具，是你作为人本身有什么不可替代的价值。

落在实处就一句话：做一个有真实关系、真实体验、真实责任、真实判断力的人。AI越强，这四样越值钱。

2026年6月·上海