Telemetrie & Optimierung
Sehen, was passiert ist.
Finden, was zu beheben ist.
Debuggen Sie mit detaillierten Agenten- und Systemlogs aus dem integrierten Langfuse. Verfolgen Sie jede Ausführung über Kontext, Modellwahl, Tool-Aufrufe und Übergaben und testen Sie geplante Änderungen per Backtest an repräsentativen früheren Fällen.
Telemetrie-ExplorerVerfolgen Sie die Arbeit Schritt für Schritt.
Trace-Wasserfall
Verschachtelte Arbeit zeigt, wo sich Zeit summiert.
Token-Verbrauch nach Rolle
Ein- und Ausgabe sind für jeden Agenten getrennt.
Kosten nach Modellzuweisung
Führen Sie Kosten auf die verursachenden Rollen zurück.
Anteil
Geprüfte Fälle
Halten Sie Ergebnisse an repräsentativer Arbeit fest.
Verlauf über Aufgaben hinweg
Detaillierte Logs erleichtern das Debugging.
Corin speichert Agenten- und Systemtelemetrie über Aufgaben hinweg: welcher Agent und welches Modell einen Schritt ausgeführt haben, welche Tools aufgerufen wurden, wo Arbeit übergeben wurde, sowie Tokens, Latenz, Kosten und gemessene Ergebnisse.
Untersuchen Sie eine Ausführung Schritt für Schritt, um ein unerwartetes Ergebnis, einen fehlgeschlagenen Tool-Aufruf oder eine langsame Übergabe zu finden. Der gespeicherte Trace verknüpft das Ergebnis mit den zugrunde liegenden Agenten-, Modell- und Tool-Schritten, damit Sie ermitteln können, was behoben werden muss.
Gleiche Fälle, anderes Modell.
Vergleichen Sie Ausgabe und geprüftes Ergebnis, bevor Sie eine günstigere Zuweisung übernehmen.
Änderung bewerten
Kandidaten vor dem Wechsel per Backtest prüfen.
Ändern Sie für einen Agenten die Modellzuweisung und führen Sie den Kandidaten mit repräsentativen Fällen aus. Vergleichen Sie Token-Verbrauch, Latenz und Kosten mit dem aktuellen Setup.
Wo geprüfte Ergebnisse vorliegen, vergleichen Sie auch die Antwortqualität. Geringere Kosten oder eine schnellere Antwort belegen nicht, dass die Empfehlung besser ist.
Agenten- und Systemansicht
Arbeit über Agenten und Übergaben hinweg messen.
Der Trace eines Agenten erklärt seine eigenen Schritte. Systemtelemetrie verfolgt die Arbeit über Rollen, Tools und Übergaben hinweg, sodass sich eine Teamänderung an der gesamten Aufgabe bewerten lässt.
Bei einer Angebotsaufgabe ändert ein schnellerer Preisschritt die Gesamtaufgabe womöglich kaum, wenn die Prüfung die meiste Zeit beansprucht. Vergleichen Sie Aufgabendauer, Nutzung und - sofern verfügbar - geprüfte Ergebnisse, bevor Sie Rollen oder Modelle ändern.
Welche Rolle braucht die meiste Zeit?
Dieser Schritt trägt in der Beispielaufgabe 7.4s bei. Öffnen Sie seinen Trace, um Übergabe und Entscheidung zu sehen.
Prüfen Sie die Belege sorgfältig
Nutzung wird gemessen. Qualität braucht eine Referenz.
Tokens, Zeit und Kosten sind beobachtbare Signale. Genauigkeit erfordert eine definierte Aufgabe, repräsentative Fälle und prüfbare Ergebnisse. Hat ein Fall kein verlässliches Ergebnis, kennzeichnen Sie diese Grenze, statt ihn als Erfolg zu werten.
Ausführung untersuchen
Finden Sie den Agenten, das Modell, den Tool-Aufruf oder die Übergabe hinter dem Ergebnis.
Dieselbe Arbeit vergleichen
Nutzen Sie repräsentative Fälle für das aktuelle Setup und eine mögliche Änderung.
Prüfen, was zählt
Nutzen Sie ein von Menschen geprüftes Ergebnis, sofern vorhanden.
Mit Corin entwickeln
Aufgabe ausführen. Trace untersuchen.
Beginnen Sie mit einem funktionierenden Beispiel, prüfen Sie die Agenten- und Teamschritte und wählen Sie dann eine Änderung, die Sie an relevanten Fällen testen können.