Telemetria e otimização
Veja o que aconteceu.
Encontre o que precisa ser corrigido.
Depure com logs detalhados de agentes e do sistema a partir do Langfuse integrado. Acompanhe cada execução por seu contexto, escolhas de modelo, chamadas de ferramentas e transferências e, em seguida, faça backtest das mudanças propostas em casos anteriores representativos.
Explorador de telemetriaAcompanhe o trabalho, etapa por etapa.
Cascata do rastreamento
O trabalho aninhado revela onde o tempo se acumula.
Uso de tokens por função
Entrada e saída são separadas para cada agente.
Custo por atribuição de modelo
Rastreie os custos até as funções que os geraram.
no preço
Casos revisados
Mantenha os resultados vinculados a trabalhos representativos.
Histórico entre tarefas
Logs detalhados facilitam a depuração.
O Corin retém a telemetria dos agentes e do sistema entre tarefas: qual agente e modelo executou cada etapa, quais ferramentas foram chamadas, onde o trabalho foi repassado, além de tokens, latência, custo e resultados medidos.
Inspecione uma execução etapa por etapa para localizar um resultado inesperado, uma chamada de ferramenta com falha ou um repasse lento. O rastreamento retido conecta o resultado às etapas de agente, modelo e ferramenta por trás dele, para que você investigue o que precisa ser corrigido.
Mesmos casos, modelo diferente.
Compare a saída e o resultado revisado antes de aceitar uma atribuição de menor custo.
Avalie uma mudança
Faça o backtest de uma candidata antes de trocar.
Para um agente, altere a atribuição de modelo e execute o modelo candidato em casos representativos. Compare uso de tokens, latência e custo com a configuração atual.
Onde houver resultados revisados, compare também a qualidade das respostas. Um custo menor ou uma resposta mais rápida não garante que a recomendação seja melhor.
Visão do agente e do sistema
Meça o trabalho entre agentes e repasses.
O rastreamento de um agente explica as próprias etapas. A telemetria do sistema acompanha o trabalho entre funções, ferramentas e repasses, para que uma mudança na equipe seja avaliada em relação à tarefa completa.
Em uma tarefa de cotação, acelerar a etapa de preços pode mal alterar a tarefa completa se a revisão ocupar a maior parte do tempo. Compare tempo da tarefa, uso e resultados revisados, quando disponíveis, antes de mudar funções ou modelos.
Qual função consome o tempo?
Esta etapa contribui com 7.4s na tarefa de exemplo. Abra o rastreamento para ver o repasse e a decisão.
Leia as evidências com atenção
O uso é medido. A qualidade precisa de uma referência.
Tokens, tempo e custo são sinais observáveis. A precisão exige uma tarefa definida, casos representativos e resultados que possam ser revisados. Se um caso não tiver um resultado confiável, sinalize esse limite em vez de pontuá-lo como sucesso.
Inspecione a execução
Encontre o agente, modelo, chamada de ferramenta ou repasse por trás do resultado.
Compare o mesmo trabalho
Use casos representativos para a configuração atual e para uma mudança candidata.
Revise o que importou
Use um resultado revisado por humanos quando houver.
Crie com o Corin
Execute uma tarefa. Inspecione o rastreamento.
Comece com um exemplo funcional, examine as etapas do agente e da equipe e escolha uma mudança que você possa testar em casos relevantes.