11 月 2 日,Anthropic 向美国证监会提交了修订后的上市申请文件(S-1/A)。在「风险因素」部分,它谈到了一个 AI 圈很关心的话题:递归自我改进,也就是 AI 帮着造出更强的 AI。
文件里说了什么
- Anthropic 已经在用 AI 开发新模型,而且过去有几次,研发明显加快了,它事后才意识到
- 根据内部对未来模型的预估,可能「很快」就会达到它的负责任扩展政策(RSP)里「AI 让研发大幅加速」的门槛
- 目前还没有任何一个现有模型被认定越过了这条线
- 用 AI 造更强的 AI,可能带来相当大的安全风险,尤其是进展突然加快的时候
Anthropic 打算怎么做
- 即使技术上可行,它也不认为能安全地让 Claude 在没有人类有效监督和理解的情况下,自己设计、造出一代又一代前沿模型
- 正在考虑更新负责任扩展政策,确保前沿模型的研发始终由人来把控
怎么看这件事
- 上市文件要求把风险写充分,所以这段话首先是风险披露
- 也有人认为,这类说法同时带有宣传自家技术领先的意味,需要冷静看待
对你意味着什么
「AI 帮人写代码」已经发展到「AI 帮 AI 公司研发 AI」。普通用户不用焦虑,但值得记住一个原则:AI 越能干,越要保留人来确认关键决定,自己用 AI 做事时也一样。