Evals & Lifecycle
Prüfen Sie jede Änderung per Backtest
vor dem Deployment.
Testen Sie weiter, während Sie Ihr Agententeam verbessern. Vergleichen Sie jede Kandidatenversion mit früherer Arbeit, untersuchen Sie Regressionen vor dem Deployment und stellen Sie eine bewährte Teamversion wieder her, wenn eine Änderung schlechter abschneidet.
RevisionsprüfungWas hat sich im Team geändert?
Eine vorgeschlagene Zuweisung
v12 → v13Modell A
Gespeicherte Team-RevisionModell B
Vor der Übernahme testenRepräsentative Arbeit auswählen
4 geprüfte FälleErgebnisse nach Fall vergleichen
3 akzeptiert pro AusführungAktuelle Revision beibehalten
Prüfung erforderlichIn diesem Beispiel hat es die Ausnahmeprüfung bestanden.
Untersuchen Sie die Regression des Falls vor einem weiteren Test.
Das Testset
Beziehen Sie die Fälle ein, die die Entscheidung ändern können.
Der gespeicherte Verlauf in Corin liefert Ihnen frühere Aufgaben zum erneuten Prüfen, einschließlich Routinearbeit und Ausnahmen. Halten Sie Eingaben und geprüftes Ergebnis jedes Falls zusammen, sofern vorhanden.
Backtesten Sie fortlaufend: Führen Sie die aktuelle und die Kandidatenversion des Teams mit denselben Fällen aus, während Sie die Konfiguration verfeinern. Vergleichen Sie geprüfte Ergebnisse, Zeit, Tokens und Kosten, und legen Sie vor dem Deployment fest, was als Regression gilt.
Vier verschiedene Wege durch eine Aufgabe.
Routinearbeit, unvollständige, Ausnahme- und dringende Fälle gehören in denselben Vergleich.
Gleicher Gesamtwert. Anderer Fehler.
Der Prüfer hat die Empfehlung zur Ausnahme akzeptiert.
Der Prüfer hat beim selben Fall eine Korrektur angefordert.
Regression analysieren
Finden Sie den Fall, der sich verschlechtert hat.
Zwei Überarbeitungen können gleich viele akzeptierte Fälle haben und doch bei unterschiedlicher Arbeit scheitern. Die geprüfte Ausnahme, nicht der Durchschnitt, entscheidet, ob dieser Kandidat bereit ist.
Öffnen Sie die Traces des Falls. Vergleichen Sie Modellwahl, Eingaben, Tool-Aufrufe und Übergabe, bevor Sie das Team erneut ändern.
Versionieren und wiederherstellen
Bewährte Teamversion wiederherstellen.
Corin speichert Telemetrie und relevante Daten nach Abschluss jeder Aufgabe. Der Datensatz zeigt, was sich über Überarbeitungen hinweg geändert hat und wie das Team abgeschnitten hat. So können Sie eine bereitgestellte Änderung untersuchen und eine frühere Überarbeitung des gesamten Teams wiederherstellen.
Dieses Beispiel ändert ein Modell, doch die gespeicherte Überarbeitung umfasst das gesamte Agententeam. Ein gescheiterter Kandidat bleibt außer Betrieb; eine später übernommene Überarbeitung kann bei einer Regression auf die vorherige Team-Konfiguration zurückgesetzt werden.
Aktuelle Revision beibehalten.
Ersetzen Sie v12 nicht durch v13, solange die geprüfte Ausnahme eine Regression zeigt.
Entscheidungsprotokoll
Den Vergleich nachvollziehbar halten.
Was sich geändert hat
Identifizieren Sie die Team-Überarbeitungen und die vorgeschlagene Konfigurationsänderung.
Was getestet wurde
Halten Sie repräsentative Eingaben und Prüfkriterium vergleichbar.
Was Menschen entschieden haben
Speichern Sie geprüfte Ergebnisse, Trace-Links und den Grund für Übernahme, Zurückstellung oder Wiederherstellung.
Mit Corin entwickeln
Testen Sie eine Änderung an bekannter Arbeit.
Führen Sie ein funktionierendes Beispiel aus, untersuchen Sie seinen Trace und bewerten Sie die nächste Team-Überarbeitung anhand repräsentativer Fälle.