遥测与优化

查看运行经过。
找出需要修复之处。

借助内置 Langfuse 提供的详细智能体与系统日志进行调试。跟踪每次运行的上下文、模型选择、工具调用和交接,再在具有代表性的过往案例上回测拟议变更。

Corin遥测浏览器
示例数据报价审核 · Q-1042
运行追踪

逐步跟踪工作。

示例工作负载
输入 + 输出18.4kToken
模型成本$0.42每个示例任务
活跃时间11.2s智能体 + 工具步骤
已审核案例3 / 4结果已记录

追踪瀑布图

嵌套工作揭示时间耗在何处。

0-12s
0s3s6s9s12s
点击某个跨度,检查其输入、模型或交接。
查看图表,再打开其背后的步骤。

跨任务历史

详细日志让调试更轻松。

Corin 跨任务保留智能体和系统遥测:哪个智能体和模型执行了某一步、调用了哪些工具、工作在何处交接,以及 Token、延迟、成本和实测结果。

逐步检查一次运行,定位意外结果、失败的工具调用或缓慢的交接。保留的追踪将结果与其背后的智能体、模型和工具步骤关联起来,便于您排查需要修复的问题。

模型比较 · 定价智能体示例数据
成本 / 案例

相同案例,不同模型。

当前候选
$0.00$0.20$0.40
所选案例常规报价

在接受成本更低的分配前,先比较输出与已审核结果。

点击案例,查看其中的权衡。

评估变更

切换前先回测候选模型。

针对单个智能体,更改模型分配并在代表性案例上运行候选模型。将 Token 用量、延迟和成本与当前配置进行比较。

如有已审核结果,还可比较回答质量。成本更低或响应更快,并不代表建议更好。

智能体与系统视图

衡量跨智能体与交接的工作。

单个智能体的追踪只说明其自身步骤。系统遥测则跨角色、工具和交接跟踪工作,让团队调整能够基于完整任务来评估。

在报价任务中,如果审核占用了大部分时间,加快定价步骤可能对整体任务几乎没有影响。更改角色或模型前,请比较任务时长、用量以及已审核结果(如有)。

系统视图 · 任务 × 角色示例数据
各步骤延迟

哪个角色耗时最多?

低 → 高
案例接收定价工具审核
常规报价
缺少细节
审核异常
紧急报价
所选单元格审核异常 · 审核

在示例任务中,此步骤耗时 7.4s。打开其追踪,查看交接与决策。

7.4s
跨任务和角色比较同一指标。

仔细查看证据

用量可测量,质量需参照。

Token、时间和成本是可观测的信号。准确性则需要明确的任务、代表性案例和可审核的结果。如果某个案例没有可靠结果,请标注这一局限,而不是将其计为成功。

01 / 追踪

检查运行

找出结果背后的智能体、模型、工具调用或交接。

02 / 案例

比较相同工作

针对当前配置和候选变更使用代表性案例。

03 / 结果

审核关键内容

如有人工审核结果,请加以使用。

基于 Corin 构建

运行任务,检查追踪。

从可运行的示例入手,查看智能体和团队步骤,再选择一项可在相关案例上测试的变更。