Évaluations et cycle de vie
Rejouez chaque modification sur l'historique
avant de déployer.
Continuez à tester à mesure que vous améliorez votre équipe d'agents. Comparez chaque version candidate au travail passé, inspectez les régressions avant le déploiement et restaurez une version éprouvée de l'équipe si un changement est moins performant.
Revue de révisionQu'est-ce qui a changé dans l'équipe ?
Une affectation proposée
v12 → v13Modèle A
Révision d'équipe enregistréeModèle B
Tester avant adoptionChoisissez des tâches représentatives
4 cas examinésComparez les résultats par cas
3 acceptés à chaque exécutionConserver la révision actuelle
examen requisElle a réussi le cas « Exception à examiner » dans cet exemple.
Inspectez la régression du cas avant un nouveau test.
Le jeu de test
Incluez les cas susceptibles de changer la décision.
L'historique conservé par Corin vous fournit des tâches passées à revoir, y compris le travail courant et les exceptions. Gardez ensemble les données de chaque cas et son résultat examiné, s'il existe.
Faites des backtests au fil de l'eau : exécutez les versions actuelle et candidate de l'équipe sur les mêmes cas à mesure que vous affinez la configuration. Comparez les résultats examinés, le temps, les tokens et le coût, et définissez ce qui constitue une régression avant de déployer le changement.
Quatre parcours différents pour une même tâche.
Le travail courant, incomplet, exceptionnel et urgent relève de la même comparaison.
Même agrégat. Échec différent.
Le relecteur a accepté la recommandation sur l'exception.
Le relecteur a demandé une correction sur le même cas.
Analyser la régression
Trouvez le cas qui s'est dégradé.
Deux révisions peuvent compter le même nombre de cas acceptés tout en échouant sur un travail différent. C'est l'exception examinée, et non la moyenne, qui détermine si cette candidate est prête.
Ouvrez les traces du cas. Comparez le choix du modèle, les données, les appels d'outils et le transfert avant de modifier à nouveau l'équipe.
Versionner et restaurer
Restaurez une version d'équipe éprouvée.
Corin conserve la télémétrie et les données pertinentes après la fin de chaque tâche. L'enregistrement montre ce qui a changé d'une révision à l'autre et quelles ont été les performances de l'équipe, pour que vous puissiez inspecter un changement déployé et restaurer une révision antérieure de toute l'équipe.
Cet exemple change un seul modèle, mais la révision enregistrée couvre toute l'équipe agentique. Une candidate en échec n'est pas mise en service ; une révision adoptée ultérieurement peut être ramenée à la configuration d'équipe précédente en cas de régression.
Conserver la révision actuelle.
Ne remplacez pas v12 par v13 tant que l'exception examinée régresse.
Registre des décisions
Gardez la comparaison explicable.
Ce qui a changé
Identifiez les révisions de l'équipe et le changement de configuration proposé.
Ce qui a été testé
Gardez comparables les données représentatives et le critère de revue.
Ce que les personnes ont décidé
Enregistrez les résultats examinés, les liens vers les traces et la raison d'adopter, de suspendre ou de restaurer.
Créer avec Corin
Testez un changement sur un travail connu.
Exécutez un exemple fonctionnel, inspectez sa trace et utilisez des cas représentatifs pour évaluer la prochaine révision de l'équipe.