遥测与优化
查看运行经过。
找出需要修复之处。
借助内置 Langfuse 提供的详细智能体与系统日志进行调试。跟踪每次运行的上下文、模型选择、工具调用和交接,再在具有代表性的过往案例上回测拟议变更。
示例数据报价审核 · Q-1042
运行追踪
示例工作负载逐步跟踪工作。
输入 + 输出18.4kToken
模型成本$0.42每个示例任务
活跃时间11.2s智能体 + 工具步骤
已审核案例3 / 4结果已记录
追踪瀑布图
嵌套工作揭示时间耗在何处。
0s3s6s9s12s
点击某个 span,检查其输入、模型或交接。
各角色 Token 用量
每个智能体的输入与输出分开呈现。
输入输出
在更改分配之前,先找出模型输入最大的角色。
按模型分配的成本
将成本追溯到产生成本的角色。
50%定价
占比
占比
仅凭成本无法证明换用其他模型能保持质量。
已审核案例
让结果与代表性工作保持关联。
案例模型结果
未审核的工作不能视为准确性结果。
查看图表,再打开其背后的步骤。
跨任务历史
详细日志让调试更轻松。
Corin 跨任务保留智能体和系统遥测:哪个智能体和模型执行了某一步、调用了哪些工具、工作在何处交接,以及 Token、延迟、成本和实测结果。
逐步检查一次运行,定位意外结果、失败的工具调用或缓慢的交接。保留的追踪将结果与其背后的智能体、模型和工具步骤关联起来,便于您排查需要修复的问题。
模型比较 · 定价智能体示例数据
成本 / 案例
相同案例,不同模型。
当前候选
$0.00$0.20$0.40
所选案例常规报价
在接受成本更低的分配前,先比较输出与已审核结果。
点击案例,查看其中的权衡。
评估变更
切换前先回测候选模型。
针对单个智能体,更改模型分配并在代表性案例上运行候选模型。将 Token 用量、延迟和成本与当前配置进行比较。
如有已审核结果,还可比较回答质量。成本更低或响应更快,并不代表建议更好。
智能体与系统视图
衡量跨智能体与交接的工作。
单个智能体的追踪只说明其自身步骤。系统遥测则跨角色、工具和交接跟踪工作,让团队调整能够基于完整任务来评估。
在报价任务中,如果审核占用了大部分时间,加快定价步骤可能对整体任务几乎没有影响。更改角色或模型前,请比较任务时长、用量以及已审核结果(如有)。
系统视图 · 任务 × 角色示例数据
各步骤延迟
低 → 高哪个角色耗时最多?
案例接收定价工具审核
常规报价
缺少细节
审核异常
紧急报价
所选单元格审核异常 · 审核
7.4s在示例任务中,此步骤耗时 7.4s。打开其追踪,查看交接与决策。
跨任务和角色比较同一指标。
仔细查看证据
用量可测量,质量需参照。
Token、时间和成本是可观测的信号。准确性则需要明确的任务、代表性案例和可审核的结果。如果某个案例没有可靠结果,请标注这一局限,而不是将其计为成功。
01 / 追踪
检查运行
找出结果背后的智能体、模型、工具调用或交接。
02 / 案例
比较相同工作
针对当前配置和候选变更使用代表性案例。
03 / 结果
审核关键内容
如有人工审核结果,请加以使用。