Télémétrie et optimisation
Voyez ce qui s'est passé.
Trouvez ce qui doit être corrigé.
Déboguez grâce aux journaux détaillés des agents et du système fournis par Langfuse intégré. Suivez chaque exécution à travers son contexte, ses choix de modèle, ses appels d'outils et ses transferts, puis testez les modifications proposées sur des cas antérieurs représentatifs.
Explorateur de télémétrieSuivez le travail, étape par étape.
Cascade de la trace
Le travail imbriqué révèle où le temps s'accumule.
Tokens par rôle
Entrée et sortie sont séparées pour chaque agent.
Coût par modèle attribué
Rattachez les coûts aux rôles qui les ont générés.
tarifs
Cas examinés
Gardez les résultats associés à un travail représentatif.
Historique des tâches
Des journaux détaillés facilitent le débogage.
Corin conserve la télémétrie des agents et du système d'une tâche à l'autre : quel agent et quel modèle ont exécuté une étape, quels outils ont été appelés, où le travail a été transféré, ainsi que les tokens, la latence, le coût et les résultats mesurés.
Inspectez une exécution étape par étape pour repérer un résultat inattendu, un appel d'outil en échec ou un transfert lent. La trace conservée relie le résultat aux étapes d'agent, de modèle et d'outil qui l'ont produit, pour identifier ce qu'il faut corriger.
Mêmes cas, autre modèle.
Comparez la sortie et le résultat revu avant d'accepter une attribution moins coûteuse.
Évaluer un changement
Testez un candidat sur l'historique avant de changer.
Pour un agent, modifiez l'attribution du modèle et exécutez le candidat sur des cas représentatifs. Comparez la consommation de tokens, la latence et le coût avec la configuration actuelle.
Lorsque des résultats revus existent, comparez aussi la qualité des réponses. Un coût plus faible ou une réponse plus rapide ne prouve pas que la recommandation est meilleure.
Vue agent et système
Mesurez le travail entre agents et transferts.
La trace d'un agent explique ses propres étapes. La télémétrie système suit le travail à travers les rôles, les outils et les transferts, pour évaluer un changement d'équipe sur l'ensemble de la tâche.
Dans une tâche de devis, accélérer l'étape de tarification peut à peine changer la tâche complète si la revue prend l'essentiel du temps. Comparez le temps de tâche, l'utilisation et, si disponibles, les résultats revus avant de modifier rôles ou modèles.
Quel rôle prend le plus de temps ?
Cette étape représente 7.4s dans la tâche d'exemple. Ouvrez sa trace pour voir le transfert et la décision.
Lisez attentivement les preuves
L'utilisation se mesure. La qualité exige une référence.
Les tokens, le temps et le coût sont des signaux observables. La précision exige une tâche définie, des cas représentatifs et des résultats pouvant être revus. Si un cas n'a pas de résultat fiable, signalez cette limite plutôt que de le compter comme un succès.
Inspecter l'exécution
Identifiez l'agent, le modèle, l'appel d'outil ou le transfert à l'origine du résultat.
Comparer le même travail
Utilisez des cas représentatifs pour la configuration actuelle et un changement candidat.
Examiner l'essentiel
Utilisez un résultat revu par un humain lorsqu'il existe.
Créer avec Corin
Exécutez une tâche. Inspectez sa trace.
Partez d'un exemple fonctionnel, examinez les étapes de l'agent et de l'équipe, puis choisissez un changement à tester sur des cas pertinents.