Agent 一直重试,工具却一次没执行
DeepTutor-HKDSE 的 Agent 有时会反复请求模型修正格式:模型已经给出了工具调用,程序却要求它再试一次,但是反复重试后,工具始终没有被执行。(我愿称之为“赛博鬼打墙”)
观察到这个偶发问题后,我导出了 LLM 返回的原始响应报文,发现 tool_calls 中已经有工具名称和参数,但 content 为空,没有旧协议要求的 TOOL 标签。
我怀疑解析器仍然依赖这个标签,于是用旧版解析器做了对照复现:用一个返回预设响应的模型替身通过原生工具调用字段请求执行 add(2, 3),正文留空。设定的三轮额度用完,结果每轮都是 missing_label,加法一次也没执行。保持工具字段不变,只在正文加上 TOOL 标签,加法就能正常执行。
至此问题收缩到“动作识别”,原来的协议要求模型在正文里写动作标签:TOOL 表示调用工具,FINISH 表示回答结束。但原生工具调用通过结构化的 tool_calls 指定工具和参数,正文可以为空。复现使用的简化响应如下:
1 | { |
这份响应缺少文本标签,完整的工具调用信息本身并不缺失,但旧解析器仍要求正文带标签,因此返回 UNKNOWN;外层循环随后将其判为 missing_label,追加格式修正提示,再向模型发起请求。复现里的模型替身继续返回同样形式的调用,于是每轮都卡在这里,想要解决这一问题,得让程序认出已经收到的工具动作。
本次修改放在流式响应收集完成后:如果仍未识别出动作标签,但已经收集到带工具名称的调用,并且当前循环支持工具动作,就将这一轮判为 TOOL,这样模型不必再补写文本标签。
这条补判只处理动作识别,正文明确声明
FINISH,同时又要求调用工具,仍会被外层协议拒绝。参数是否有效、业务条件是否满足则继续由后续执行逻辑检查。
换成当前解析器,同一个无文本标签的调用被识别为 TOOL:第一轮执行加法,第二轮根据工具结果回答,过程中没有格式重试。
这个坑本质是两种动作表达方式没有衔接好:旧逻辑依赖正文标签,模型却通过 tool_calls 表达动作,只要程序仍把这种响应判为格式错误,单纯加重试就解决不了这一问题。