评估与生命周期

每项变更先回测,
再部署。

在改进智能体团队的同时持续测试。将每个候选版本与过往工作进行比较,在部署前检查回归问题;如果变更效果不佳,可恢复经过验证的团队版本。

Corin修订审核
示例案例数据报价工作流 · 团队 v12 → v13
修订差异

团队有哪些变更?

01 / 04
当前v12已保存的团队修订
候选v13定价模型已更改
案例集4已审核的示例
回归1案例需检查

一项建议分配

v12 → v13
当前 · v12定价分析师

模型 A

已保存的团队修订
候选 · v13定价分析师

模型 B

采用前先测试
接收与验证角色不变团队交接不变
每个修订版本标识了每次运行所用的完整团队配置。
选择视图或案例,检查修订决策。

测试集

纳入可能改变决策的案例。

Corin 保留的历史记录为您提供可回顾的过往任务,包括常规工作和异常情况。请将每个案例的输入及其审核结果(如有)放在一起保存。

边改边回测:在优化配置的同时,用相同案例运行当前和候选团队版本。比较已审核结果、耗时、token 和成本,并在部署变更前明确何为回归。

报价工作流 · 案例集示例数据
01 / 覆盖范围

同一任务的四种不同路径。

常规、不完整、异常和紧急工作应放在同一比较中。

常规报价
缺少细节
审核异常
紧急报价
常见跟进审核
切换视角,检查评估依据。
审核异常 · 追踪对比示例数据
01 / 结果

总体相同,失败不同。

当前 · v12已接受

审核人接受了异常建议。

候选 · v13更正

审核人要求对同一案例进行更正。

在将用量降低视为改进之前,请检查输出和两份追踪记录。
评估案例级变化,而不只是总数。

解读回归

找出变差的案例。

两个修订版本可能接受的案例数相同,却在不同工作上失败。决定该候选版本是否就绪的,是已审核的异常案例,而非平均值。

打开该案例的追踪记录。在再次调整团队前,比较模型选择、输入、工具调用和交接。

版本与恢复

恢复经过验证的团队版本。

每个任务结束后,Corin 会保留遥测和相关数据。记录展示了各修订版本的变更内容和团队表现,便于您检查已部署的变更,并恢复先前的整个团队修订版本。

此示例只更换了一个模型,但保存的修订版本涵盖整个智能体团队。失败的候选版本不会投入使用;后续已采纳的修订版本如出现回归,可恢复到先前的团队配置。

团队修订 · 决策路径示例
测试集中的回归

保留当前修订版。

在已审核异常出现回归期间,请勿用 v13 替换 v12。

v12当前
v13已暂缓
团队配置案例结果运行遥测
先前的修订版本及其运行历史仍可使用。
检查两条决策路径。

决策记录

让比较结果可解释。

01 / 修订版

变更内容

确定团队修订版本及拟议的配置变更。

02 / 案例

测试内容

保持代表性输入和审核标准可比。

03 / 结果

人员决定

保存已审核结果、追踪链接,以及采纳、搁置或恢复的理由。

基于 Corin 构建

在已知工作上试行变更。

运行一个可用示例,检查其追踪记录,并用代表性案例评估下一个团队修订版本。