评估与生命周期
每项变更先回测,
再部署。
在改进智能体团队的同时持续测试。将每个候选版本与过往工作进行比较,在部署前检查回归问题;如果变更效果不佳,可恢复经过验证的团队版本。
示例案例数据报价工作流 · 团队 v12 → v13
修订差异
01 / 04团队有哪些变更?
当前v12已保存的团队修订
候选v13定价模型已更改
案例集4已审核的示例
回归1案例需检查
一项建议分配
v12 → v13当前 · v12定价分析师
模型 A
已保存的团队修订候选 · v13定价分析师
模型 B
采用前先测试接收与验证角色不变团队交接不变
每个修订版本标识了每次运行所用的完整团队配置。
选择有代表性的工作
4 个已审核案例两个修订版本使用相同的案例和审核标准。
按案例比较结果
每次运行均有 3 个被接受案例v12 · 当前v13 · 候选
总数持平,但异常案例变差了。
保留当前修订版
需要审核当前仍选用 v12
在此示例中,它通过了“审核异常”案例。
候选v13 暂缓
在再次测试前,先检查案例回归。
打开两个案例的追踪记录,查看结果背后的模型、上下文、工具调用和交接。
选择视图或案例,检查修订决策。
测试集
纳入可能改变决策的案例。
Corin 保留的历史记录为您提供可回顾的过往任务,包括常规工作和异常情况。请将每个案例的输入及其审核结果(如有)放在一起保存。
边改边回测:在优化配置的同时,用相同案例运行当前和候选团队版本。比较已审核结果、耗时、Token 和成本,并在部署变更前明确何为回归。
报价工作流 · 案例集示例数据
01 / 覆盖范围
同一任务的四种不同路径。
常规、不完整、异常和紧急工作应放在同一比较中。
常规报价
缺少细节
审核异常
紧急报价
常见跟进审核
切换视角,检查评估依据。
审核异常 · 追踪对比示例数据
01 / 结果
总体相同,失败不同。
当前 · v12已接受
审核人接受了异常建议。
候选 · v13更正
审核人要求对同一案例进行更正。
在将用量降低视为改进之前,请检查输出和两份追踪记录。
评估案例级变化,而不只是总数。
解读回归
找出变差的案例。
两个修订版本可能接受的案例数相同,却在不同工作上失败。决定该候选版本是否就绪的,是已审核的异常案例,而非平均值。
打开该案例的追踪记录。在再次调整团队前,比较模型选择、输入、工具调用和交接。
版本与恢复
恢复经过验证的团队版本。
每个任务结束后,Corin 会保留遥测和相关数据。记录展示了各修订版本的变更内容和团队表现,便于您检查已部署的变更,并恢复先前的整个团队修订版本。
此示例只更换了一个模型,但保存的修订版本涵盖整个智能体团队。失败的候选版本不会投入使用;后续已采纳的修订版本如出现回归,可恢复到先前的团队配置。
团队修订 · 决策路径示例
测试集中的回归
保留当前修订版。
在已审核异常出现回归期间,请勿用 v13 替换 v12。
v12当前
v13已暂缓
团队配置案例结果运行遥测
先前的修订版本及其运行历史仍可使用。
检查两条决策路径。
决策记录
让比较结果可解释。
01 / 修订版
变更内容
确定团队修订版本及拟议的配置变更。
02 / 案例
测试内容
保持代表性输入和审核标准可比。
03 / 结果
人员的决策
保存已审核结果、追踪链接,以及采纳、搁置或恢复的理由。