Valutazioni e ciclo di vita
Testa ogni modifica sui dati storici
prima del rilascio.
Continua a testare mentre migliori il tuo team di agenti. Confronta ogni versione candidata con il lavoro passato, esamina le regressioni prima del deployment e ripristina una versione collaudata del team se una modifica dà risultati peggiori.
Revisione delle versioniCosa è cambiato nel team?
Un'assegnazione proposta
v12 → v13Modello A
Versione salvata del teamModello B
Testa prima dell'adozioneScegli attività rappresentative
4 casi revisionatiConfronta i risultati per caso
3 accettati in ogni esecuzioneMantieni la revisione attuale
revisione necessariaIn questo esempio ha superato la revisione dell'eccezione.
Esamina la regressione del caso prima di un altro test.
Il set di test
Includi i casi che possono cambiare la decisione.
La cronologia conservata da Corin ti offre attività passate da riesaminare, incluse le attività di routine e le eccezioni. Tieni insieme gli input di ogni caso e il relativo risultato revisionato, dove esiste.
Esegui backtest man mano: esegui la versione attuale e quella candidata del team sugli stessi casi mentre affini la configurazione. Confronta risultati revisionati, tempi, token e costi, e definisci cosa conta come regressione prima di distribuire la modifica.
Quattro percorsi diversi in un'unica attività.
Lavoro di routine, incompleto, eccezioni e urgenze rientrano nello stesso confronto.
Stesso totale. Errore diverso.
Il revisore ha accettato la raccomandazione sull'eccezione.
Il revisore ha chiesto una correzione sullo stesso caso.
Analizza la regressione
Trova il caso peggiorato.
Due revisioni possono avere lo stesso numero di casi accettati pur fallendo su attività diverse. È l'eccezione revisionata, non la media, a stabilire se questa candidata è pronta.
Apri le tracce del caso. Confronta scelta del modello, input, chiamate agli strumenti e passaggio di consegne prima di modificare di nuovo il team.
Versiona e ripristina
Ripristina una versione del team collaudata.
Corin conserva la telemetria e i dati pertinenti al termine di ogni attività. Il registro mostra cosa è cambiato tra le revisioni e come si è comportato il team, così puoi esaminare una modifica distribuita e ripristinare una revisione precedente dell'intero team.
Questo esempio modifica un solo modello, ma la revisione salvata copre l'intero team agentico. Una candidata non riuscita resta inutilizzata; una revisione adottata in seguito può essere riportata alla configurazione del team precedente se regredisce.
Mantieni la revisione attuale.
Non sostituire v12 con v13 finché l'eccezione revisionata è in regressione.
Record delle decisioni
Mantieni il confronto spiegabile.
Cosa è cambiato
Identifica le revisioni del team e la modifica di configurazione proposta.
Cosa è stato testato
Mantieni confrontabili gli input rappresentativi e il criterio di revisione.
Cosa hanno deciso le persone
Salva i risultati revisionati, i link alle tracce e il motivo per adottare, sospendere o ripristinare.
Crea con Corin
Prova una modifica su attività note.
Esegui un esempio funzionante, esamina la sua traccia e usa casi rappresentativi per valutare la prossima revisione del team.