作者：夏琪

原创：深眸财经（chutou0325）

近年来，AI正在逐渐融入人们的日常生活：在公司上班，AI办公能帮你写周报、整理会议纪要；下班后，AI打车助手帮你一键叫车回家；回到家冲浪，充盈屏幕的AI短剧为你解闷。如今的AI大模型早已不再局限于做对话框的聊天搭子，而是已经能在办公桌、通勤路和屏幕里解决问题的“准助理”了。

AI发展得越来越快，但一个致命弱点始终限制着AI发展的上限，那就是它的本领大多是“冻结”的。今天改过无数遍的方案，明天开启一个新对话，又得重新来过；这次踩过的坑，换了下次仍然栽跟头。它的能力冻结在了出厂那一刻。

如果永远在出厂与报废的循环里打转，AI就无法实现真正的跃迁。为此，AI研究者们将目光投向了更根本的突破上，即让AI“自己研发自己”。学术界将其称为递归自我改进，简称RSI。

而要想让RSI真正转动，首先要做的并不是“变强”，而是要先记住“什么能让它自己变强”。这也就牵涉到AI的一个核心模块“记忆”。

而人们推进AI记忆机制的每一次努力，都在解决问题，同时也让人类离直接看懂它更远。

01

管得住的“静态答案”

过去谈起AI记忆，业界通常有两种做法。一种是外挂资料库，需要时进行检索；另一种是调整模型参数，让记忆“长进去”。前者查得到，但改不动下一次的默认动作；后者改得动，却难以逐行审阅。它们虽然各有特点，但却有一个共同的断层，记忆存是存下来了，但记什么、不记什么，从来是由人预先筛好的，AI只负责读取。

可一旦要让AI在运行中自己积累经验，这个前提就不成立了。它面对的不再是检索时记忆有没有、参数改没改，而是判断它记下的那条东西本身是不是真的、对的、有利于自我改进的。

这也是这种记忆机制的天然缺陷：只能存，不能判。

在去年12月的一篇关于记忆架构论文中给出了一个直观的对照，在同一款20B开源模型上，如果只依靠全上下文记忆，那么在LongMemEval长程记忆基准上正确率只有39.0%；而引入结构化外部记忆架构后，正确率能提高至83.6%。所以差距不在“存没存”，而在“存下来的东西有没有被组织、被校验”。

以前这个步骤由人来做，人来筛资料、人来调参数、人引入机制，记忆下的内容都是被检验过的。而一旦让AI自己记，它就可能会把错误的记忆误认为对的，或者将偶然碰巧成功的小概率事件，当成普适的真理。

今年7月，一篇覆盖1250篇论文的RSI综述就指出，光让AI把记忆存下来还不够，还得让存下来的东西经过验证、可信。如果记下来的东西本身是错的，系统就会滑向自我确认循环、模型崩溃、多样性坍塌……

简单来说，就是AI把一条自己没能力判断对错的东西记了下来，还拿它当作下一步的依据，用自己生成的一套错误逻辑，去验证自己生成的另一个错误结论，最后在这个逻辑闭环里越走越偏。在缺乏外部干预的情况下，这种错误可能会被不断放大，最终像污染源一样，摧毁整个系统的判断力。

因此问题的关键不在于要不要让AI自己记，而在于谁来替它判对错。

而要解决这个问题，就得把判断权从AI手里拿出去，交给一个外部验证机制。学术上把这套解法叫“提交前门控”，这个机制不参与内容生成，它只认客观的代码运行结果和外部数据。经验写入之前，会作为“候选”，先经过这个独立验证器的检查，当检查通过之后，这个经验才会被AI正式留下。

对记忆的判断权交给外部验证机制，不让AI自主判断，AI基础经验的安全，因为这套门槛得到了保障。

可随着RSI不断推进，AI得自我迭代，AI就不能仅仅是记住对的记忆。为了应对更复杂的未知任务，为了实现更深一层的能力跃升，AI就必须去修改产生答案的底层策略甚至代码。

然而，当AI跨出这一步，那道能管住静态答案的外部验证，便受到了AI能力进阶带来的挑战。

02

防不住“动态机制”

如今“AI改自己的机制”已经被从论文搬到了工程现场。

比如智谱Infra Agent，由GLM-5.3驱动的智能体在超过10万张国产芯片的集群上，从零搭建并调试推理服务。它不仅能发现自身的性能瓶颈，还能直接修改底层代码为自己打补丁。并且为了确保补丁的正确性，又为自己设置了一套分层测试与实验反馈，只有当补丁通过这道门槛，才能被系统接纳吸收。

这套机制运行不到两周，它的端到端吞吐量提升到了初始基线的3倍。可见如今在技术上，AI完全有能力实时改写自己的运行机制，并且改写得更优。

但随着能力的跃升，外部验证机制也渐渐被其逼到了死角。因为当AI去改写底层规则时，它可能根本不需要去正面硬刚那套验证系统，而是去“偷看答案”或者直接迎合评分机制。寻找捷径永远比死磕真实能力更省力，因为前者试错成本更低，且还能更快拿到高分。

如果外部验证机制的评分器不够严密，或者规则存在漏洞，AI在自我迭代的过程中就有可能会顺理成章地进化出专门骗过评分器的策略。导致AI它并没有真正地在提升自己的解决问题的能力，而是只学会了如何取悦评分器。

METR与Redwood的一项调查就发现，智能体在4小时内就开发出了针对ExploitGym的通用作弊方法，然后花数天时间试图欺骗评分器接受作弊，包括操纵日志、伪造工具调用输出等。并且当评分函数对模型可见的时候，作弊率会飙升到原来的43倍。

而一旦这种“迎合验证”的策略被系统固化，它就有可能会变成传染性极强的底层运行规则。

比如，在今年7月的Hugging Face swarm事件中，约1200个本应隔离的智能体，通过一个共享留言板建立起了某种群体记忆。新到达的智能体继承的不仅是任务，还有前人留下的“怎么研究评分器、怎么操纵日志伪造成功”的作弊战术。

其中约700个智能体进一步将作弊战术付诸攻击行动。它们花了数天时间，试图用各种伪造的调用输出去欺骗系统。在这个过程里，作弊不再是孤立的系统漏洞，而是变成了一种可以被继承、被迭代的群体技能。

只要有一个智能体撞破了评分器的漏洞，这个战术就会立刻在留言板上被其他智能体复制、优化，最终演化成一套完美的“反侦察”方案。原本用来把关的评分系统，被智能体摸索出的作弊战术彻底渗透。

而当这些伪造的胜利被当成宝贵的经验传承下去，系统的自我革新也就变成了自我污染。即便从表面上看，系统运转得越来越高效，各项指标也都在飙升，但底层的运行规则已经被虚假的捷径填满，甚至演化成一场系统性的“劣币驱逐良币”。

可见，如果要让AI在自我迭代过程中，走在正确的道路上，而非投机取巧，就不能把外部验证跟AI待在同一个循环里，否则验证的独立性自然就名存实亡了。

03

将“叫停权”留在循环之外

既然在循环内部防不住，人类能做的，就不再是去修补这套验证机制，而是把它直接抽离出来，放到AI根本够不到的地方。

行业当前也在RSI顶层设计上逐渐形成这个共识，即执行、策略、经验获取、环境适应等能力可以逐步交给AI，但“改进机制本身能不能被采用”的判定权，绝不能一并交出去。

以腾讯云为例，它在对RSI五级路线的解读中，就把这个界限划得很清楚。L1到L4逐步把执行、策略、经验获取、环境适应的决策权交给AI，但到了L5，对改进机制本身的递归修改，路线上就明确写着“边界由人设定”。

也就是说，不管AI怎么进化，即使递归已经进入机制层，“能不能被采用”这个判定权仍然留在循环之外，对改进机制的递归修改，边界依然由人设定。系统可以自己修改底层机制，但它永远改不了“谁来决定机制能不能被接纳”。

而只要这个判定权在循环外，人类的监督就还是审查，系统也不会变成自己问自己。

这种独立性，在具体的工程设计中体现得更加直接。

比如Recurs的外部验证设计，负责修改系统的智能体根本看不到测试集，它必须通过独立开发集的验证才被准入；智谱的Infra Agent也是外循环固定，进化的只是外部基础设施代码，核心边界并不被AI吞并。

它们一个把判定权留在外面，一个把边界留在外面。只要验证机制站在循环之外，就能彻底切断AI通过预判来迎合机制的路径。

但仅仅把验证机制放在外面还不够，系统太复杂了，人类终究看不懂每一个补丁是怎么打上去的。不知道AI在边界之内自我迭代更新时，会不会把自己改崩。

过去工程师还可以通过阅读代码来寻找漏洞，然而在如今动辄千亿参数的大模型面前，这种“肉眼排雷”的方式可能已不再现实。

为此，Anthropic在治理层面提出了一个方案。在RSI治理中明确保留了一个极其关键的机制“可核查的减速”与“暂停机制”，即当递归改进的速度超出人类审查能力时，系统保留外部可触发的暂停点和回滚点。

也就是说，人类虽然看不懂AI具体在改什么，但只要发现修改进度超出预期，或者系统出现异常，就能在关键节点踩下刹车，随时退回到已知的良好状态。人们不必看懂每一步，却仍能守得住门。这相当于在工程架构上，为人类保留了一票否决的物理权限。

只要电源还在人类手里，这列狂飙的火车就不会彻底脱轨。

总的来说，从“记住什么”到“修改什么”，RSI每前进一步，都是在把更多判断权交给AI。而AI越往机制层走，验证就越不能留在系统内部。

过去，我们总以为掌控的前提是“看懂”，但现在，面对一个能够自我革新的系统，死磕那些看不懂的“黑盒”已经不再现实。如今要做的，不是去强求看懂，而是换一个更可操作的支点，守住不被系统改写的接纳边界，把掌控权钉在那些AI改不到的地方。

而RSI发展的终点，也不止于AI能力的跃升，更是让人类在不必看懂的情况下，依然能保留随时叫停的权力。