Telemetria e ottimizzazione
Scopri cosa è successo.
Trova cosa va corretto.
Esegui il debug con log dettagliati di agenti e sistema da Langfuse integrato. Segui ogni esecuzione attraverso contesto, scelte di modello, chiamate agli strumenti e passaggi di consegne, poi esegui il backtest delle modifiche proposte su casi passati rappresentativi.
Esplora telemetriaSegui il lavoro, passo dopo passo.
Traccia a cascata
Il lavoro annidato mostra dove si accumula il tempo.
Uso dei token per ruolo
Input e output sono separati per ogni agente.
Costo per modello assegnato
Riconduci i costi ai ruoli che li hanno generati.
prezzi
Casi revisionati
Mantieni i risultati collegati al lavoro rappresentativo.
Cronologia tra attività
I log dettagliati semplificano il debug.
Corin conserva la telemetria degli agenti e di sistema tra le attività: quale agente e quale modello hanno eseguito un passaggio, quali strumenti sono stati chiamati, dove il lavoro è passato di mano, oltre a token, latenza, costi e risultati misurati.
Ispeziona un'esecuzione passo dopo passo per individuare un risultato inatteso, una chiamata strumento non riuscita o un passaggio di consegne lento. La traccia conservata collega il risultato ai passaggi di agente, modello e strumenti che lo hanno prodotto, così puoi capire cosa correggere.
Stessi casi, modello diverso.
Confronta l'output e il risultato revisionato prima di accettare un'assegnazione meno costosa.
Valuta una modifica
Esegui il backtest di un modello candidato prima di cambiare.
Per un agente, cambia l'assegnazione del modello ed esegui il modello candidato su casi rappresentativi. Confronta uso dei token, latenza e costi con la configurazione attuale.
Dove esistono risultati revisionati, confronta anche la qualità delle risposte. Un costo inferiore o una risposta più rapida non dimostrano che la raccomandazione sia migliore.
Vista agente e sistema
Misura il lavoro tra agenti e passaggi di consegne.
La traccia di un agente spiega i suoi passaggi. La telemetria di sistema segue il lavoro tra ruoli, strumenti e passaggi di consegne, così puoi valutare una modifica al team sull'intera attività.
In un'attività di preventivo, velocizzare il passaggio dei prezzi può cambiare poco l'attività complessiva se la revisione occupa la maggior parte del tempo. Confronta tempi, utilizzo e risultati revisionati, se disponibili, prima di cambiare ruoli o modelli.
Quale ruolo richiede più tempo?
Questo passaggio incide per 7.4s nell'attività di esempio. Apri la sua traccia per vedere il passaggio di consegne e la decisione.
Leggi le prove con attenzione
L'utilizzo si misura. La qualità richiede un riferimento.
Token, tempi e costi sono segnali osservabili. L'accuratezza richiede un'attività definita, casi rappresentativi e risultati revisionabili. Se un caso non ha un risultato affidabile, segnala questo limite invece di considerarlo un successo.
Esamina l'esecuzione
Trova l'agente, il modello, la chiamata strumento o il passaggio di consegne dietro il risultato.
Confronta lo stesso lavoro
Usa casi rappresentativi per la configurazione attuale e per una modifica candidata.
Rivedi ciò che conta
Usa un risultato revisionato da una persona, se disponibile.
Crea con Corin
Esegui un'attività. Ispeziona la traccia.
Parti da un esempio funzionante, esamina i passaggi dell'agente e del team, poi scegli una modifica da testare su casi pertinenti.