研究进展

真实需求测试:最强的 AI 编程助手,只有 26.4% 的任务能一次做全

阿里巴巴和多所高校用 2.6 万次真实编程对话做了一套测试 Co-Design Bench:表现最好的 GPT-6 Astra 平均能满足 69.9% 的要求,但完全做对的任务只有四分之一。

阿里巴巴和多所亚洲高校的研究者发布了一套新的测试 Co-Design Bench,专门检验 AI 编程助手能不能把真实用户的修改需求一次做全。论文 10 月 26 日发布在 arXiv,本周被 The Decoder 等媒体报道。

测试是怎么做的

  • 从 26,314 次真实的编程对话、37,463 条去重后的用户请求里,挑出 273 个任务
  • 专门挑了用户反复改口、或者把修改撤回重来的情况,也就是 AI 原本就容易出错的任务
  • 任务是修改一个已经能运行的网页应用,有的还附带图片、录音、视频或文档
  • 专家为这些任务写了 2,331 条验收标准,AI 做题时看不到

结果

  • 测了 10 个模型,表现最好的是 GPT-6 Astra
  • 它平均能满足每个任务 69.9% 的验收标准,但所有标准全部通过的任务只有 26.4%
  • 分开看:带图片等材料的小修改,它完全做对 41%;需要改动多处代码的任务,不到 18%
  • 一个任务要改的地方越多,成功率越低,多给算力也帮助不大
  • 同一个模型换一个运行工具,成绩最多能差 19 个百分点

要注意的局限

  • 每个任务只给一次固定的需求,AI 不能反问,用户也不能中途纠正,这和平时一来一回的用法不一样
  • 评分由 AI 裁判完成,裁判自己也可能出错
  • 任务是特意挑的难题,不代表所有编程工作的成功率

对你意味着什么

AI 能很快做完大部分,但经常漏掉一两个细节。用 AI 写代码或做网站时,把验收标准一条条列出来,做完后逐条检查;需求大的时候拆成小步,一步确认了再做下一步。