培训现场的一个问题
前不久,DATONG AI 在一家企业做培训,讲的是怎么从对话框式地用 AI,换成让智能体(agent)直接干活。现场实操完,一位销售部门的学员问:能不能让另一个智能体来检查这个智能体的工作?
这个问题问到了点子上。实际工作里,智能体交出来的东西一定要有人、或者有一套机制来检查。但怎么检查,有讲究。
为什么不直接让 AI 互审
让一个智能体直接去读另一个智能体的观点、策略、代码、判断,常见两种结果。一是鸡蛋里挑骨头:负责审查的那个总能找出点什么,哪怕问题并不存在。二是被审的那个为了应付,加上一堆不必要的防御,条件越写越多,结果越来越保守。
还有一类问题,本来用规则一查就知道,比如数字对不对、格式对不对,却交给一个贵的模型去“思考”。就好像有没有发烧,温度计一量就知道,没必要请三个专家一起会诊。我们在自己的项目里实测下来,单纯让智能体互相审查,多数时候只是白白多花算力。
以写客户邮件为例
那位学员关心的是写客户邮件。培训里我们带着学员这样拆:
- 规则能查的:客户的名字和公司写对没有;价格、交期和报价单对不对得上;附件挂了没有;德语里该用 Sie 的地方有没有写成 du。这些写成检查规则,每封邮件自动过一遍,用不着模型来判断。
- 要业务判断的:语气对不对、文风像不像我们公司、用词客户听不听得懂、有没有把话说得太满。这些只有天天和客户打交道的人判断得了。做法是挑出自己写过、觉得写得好的邮件当样本,把“好”拆成几条能打勾的标准。
- 然后拿一批真实场景让智能体写,按标准逐条对,看哪几条老出问题,再去改智能体的说明。
这里另一个 AI 也可以帮忙,但它的角色是按销售写好的清单逐条打勾,不是自由发挥地挑毛病。复杂一点的岗位和任务,测试还要分层:先查格式和事实,再查业务判断,最后看放进真实流程里的效果。
为什么要一线员工来定标准
智能体的结果是不是太保守、是不是和真实的业务目标脱节,只有一线业务人员自己能判断。外面的顾问、IT 部门,甚至老板,都不一定比他们清楚一封好的跟进邮件长什么样。背后的逻辑掌握起来不难,只是很多人不会编程、没怎么用过 AI,一时想不到而已。所以在 DATONG AI 的培训里,这一步是带着学员自己做:测什么、怎么测。
什么情况不用这么做
一次性的、不对外的小事,比如自己整理一份会议纪要,看一眼就行,不值得建测试。值得建的,是每天、每周都在重复,而且出了错会影响到客户或者钱的活。
DATONG AI 是一支在德国的团队,为中小企业搭建 AI 自动化、培训员工,上线后负责运维。 联系我们