怎么判断 AI 做得好不好？
关键词：评估（Evals） · 用标准来检验结果
一句话说清准备一组有标准答案或评分标准的测试题，每次改提示词、换模型后都跑一遍，用分数而不是感觉来判断好坏。
打个比方
像餐厅的试吃评分表：每道新菜都按同样的标准打分，而不是只问厨师自己觉得怎么样。
记住这一点
先定「好」的标准，再谈优化。
举个例子
做一个客服机器人，准备 20 个真实问题： · 回答是否正确（对 / 错） · 是否引用了政策原文（有 / 无） · 语气是否友好（1–5 分） 改完提示词，再跑一遍，对比分数。
常见误区
- ✕ 试几次感觉不错就行✓ 少量测试容易碰巧，换一批问题可能就露馅。
- ✕ 分数越高越好✓ 要看测试题是否贴近真实使用场景，否则高分也没用。
动手试一试
为你常用的一个提示词准备 5 个测试问题，每次修改后都用这 5 个问题检查一遍。
考考你
3 道小题，看看这张卡片记住了多少。选完马上能看到解析。
1评估（Evals）的核心做法是？
用分数而不是感觉来判断，改动前后才能比较。
2试了几次感觉不错，就可以认为效果好吗？
换一批问题可能就露馅，需要足够多、有代表性的测试题。
3评估分数很高，但测试题和真实场景差别很大，说明？
先定“好”的标准，并确保测试题来自真实场景。
接着翻这几张
灵点AI 知识卡片 · 第 48 / 48 张