Ewaluacje i cykl życia
Testuj każdą zmianę wstecznie
przed wdrożeniem.
Testuj dalej, rozwijając swój zespół agentów. Porównuj każdą wersję kandydującą z wcześniejszą pracą, sprawdzaj regresje przed wdrożeniem i przywracaj sprawdzoną wersję zespołu, jeśli zmiana wypada gorzej.
Przegląd wersjiCo się zmieniło w zespole?
Jedno proponowane przypisanie
v12 → v13Model A
Zapisana wersja zespołuModel B
Testuj przed wdrożeniemWybierz reprezentatywne zadania
4 sprawdzone przypadkiPorównaj wyniki według przypadków
3 zaakceptowane w każdym uruchomieniuZachowaj bieżącą wersję
wymagana weryfikacjaW tym przykładzie poradziła sobie z przypadkiem „Przegląd wyjątku”.
Sprawdź regresję przypadku przed kolejnym testem.
Zestaw testowy
Uwzględnij przypadki, które mogą zmienić decyzję.
Historia przechowywana w Corin zapewnia dostęp do wcześniejszych zadań, w tym rutynowej pracy i wyjątków. Dane wejściowe każdego przypadku warto przechowywać razem ze zweryfikowanym wynikiem, jeśli taki istnieje.
Testuj na bieżąco: uruchamiaj bieżącą i kandydującą wersję zespołu na tych samych przypadkach podczas dopracowywania konfiguracji. Porównuj sprawdzone wyniki, czas, tokeny i koszt oraz określ, co uznajesz za regresję, zanim wdrożysz zmianę.
Cztery różne ścieżki przez jedno zadanie.
Praca rutynowa, niekompletna, pilna oraz wyjątki należą do tego samego porównania.
Ten sam wynik zbiorczy. Inny błąd.
Recenzent zaakceptował rekomendację dotyczącą wyjątku.
Recenzent poprosił o korektę tego samego przypadku.
Przeanalizuj regresję
Znajdź przypadek, który wypadł gorzej.
Dwie wersje mogą mieć tyle samo zaakceptowanych przypadków, a zawodzić przy innej pracy. O gotowości kandydata decyduje zweryfikowany wyjątek, a nie średnia.
Otwórz ślady przypadku. Porównaj wybór modelu, dane wejściowe, wywołania narzędzi i przekazanie, zanim ponownie zmienisz zespół.
Wersjonowanie i przywracanie
Przywróć sprawdzoną wersję zespołu.
Corin przechowuje telemetrię i istotne dane po zakończeniu każdego zadania. Rejestr pokazuje, co się zmieniło między wersjami i jak działał zespół, dzięki czemu można sprawdzić wdrożoną zmianę i przywrócić wcześniejszą wersję całego zespołu.
Ten przykład zmienia jeden model, ale zapisana wersja obejmuje cały zespół agentów. Nieudany kandydat nie trafia do użytku; jeśli później przyjęta wersja wykaże regresję, można przywrócić wcześniejszą konfigurację zespołu.
Zachowaj bieżącą wersję.
Nie zastępuj v12 wersją v13, dopóki zweryfikowany wyjątek wykazuje regresję.
Zapis decyzji
Zadbaj o zrozumiałość porównania.
Co się zmieniło
Wskaż wersje zespołu i proponowaną zmianę konfiguracji.
Co przetestowano
Zachowaj porównywalność reprezentatywnych danych wejściowych i kryterium przeglądu.
Co zdecydowali ludzie
Zapisz sprawdzone wyniki, linki do śladów i powód przyjęcia, wstrzymania lub przywrócenia.
Twórz z Corin
Przetestuj zmianę na znanej pracy.
Uruchom działający przykład, sprawdź jego ślad i użyj reprezentatywnych przypadków, aby ocenić kolejną wersję zespołu.