Ewaluacje i cykl życia
Testuj każdą zmianę wstecznie
przed wdrożeniem.
Testuj dalej, rozwijając swój zespół agentów. Porównuj każdą wersję kandydującą z wcześniejszą pracą, sprawdzaj regresje przed wdrożeniem i przywracaj sprawdzoną wersję zespołu, jeśli zmiana wypada gorzej.
Przegląd wersjiCo się zmieniło w zespole?
Jedno proponowane przypisanie
v12 → v13Model A
Zapisana wersja zespołuModel B
Testuj przed wdrożeniemWybierz reprezentatywne zadania
4 sprawdzone przypadkiPorównaj wyniki według przypadków
3 zaakceptowane w każdym uruchomieniuZachowaj bieżącą wersję
wymagana weryfikacjaW tym przykładzie przeszedł przegląd wyjątku.
Sprawdź regresję przypadku przed kolejnym testem.
Zestaw testowy
Uwzględnij przypadki, które mogą zmienić decyzję.
Historia przechowywana w Corin zapewnia dostęp do wcześniejszych zadań, w tym rutynowej pracy i wyjątków. Dane wejściowe każdego przypadku warto przechowywać razem ze zweryfikowanym wynikiem, jeśli taki istnieje.
Testuj na bieżąco: uruchamiaj bieżącą i kandydującą wersję zespołu na tych samych przypadkach podczas dopracowywania konfiguracji. Porównuj sprawdzone wyniki, czas, tokeny i koszt oraz określ, co uznajesz za regresję, zanim wdrożysz zmianę.
Cztery różne ścieżki przez jedno zadanie.
Praca rutynowa, niekompletna, wyjątkowa i pilna należy do tego samego porównania.
Ten sam wynik zbiorczy. Inny błąd.
Recenzent zaakceptował rekomendację dotyczącą wyjątku.
Recenzent poprosił o korektę tego samego przypadku.
Przeanalizuj regresję
Znajdź przypadek, który wypadł gorzej.
Dwie poprawki mogą mieć tyle samo zaakceptowanych przypadków, a zawodzić przy innej pracy. O gotowości kandydata decyduje zweryfikowany wyjątek, a nie średnia.
Otwórz ślady przypadku. Porównaj wybór modelu, dane wejściowe, wywołania narzędzi i przekazanie, zanim ponownie zmienisz zespół.
Wersjonowanie i przywracanie
Przywróć sprawdzoną wersję zespołu.
Corin przechowuje telemetrię i istotne dane po zakończeniu każdego zadania. Rejestr pokazuje, co się zmieniło między poprawkami i jak działał zespół, dzięki czemu można sprawdzić wdrożoną zmianę i przywrócić wcześniejszą poprawkę całego zespołu.
Ten przykład zmienia jeden model, ale zapisana poprawka obejmuje cały zespół agentów. Nieudany kandydat nie trafia do użytku; jeśli później przyjęta poprawka wykaże regresję, można przywrócić wcześniejszą konfigurację zespołu.
Zachowaj bieżącą wersję.
Nie zastępuj v12 wersją v13, dopóki zweryfikowany wyjątek wykazuje regresję.
Zapis decyzji
Zadbaj o zrozumiałość porównania.
Co się zmieniło
Wskaż poprawki zespołu i proponowaną zmianę konfiguracji.
Co przetestowano
Zachowaj porównywalność reprezentatywnych danych wejściowych i kryterium przeglądu.
Co zdecydowali ludzie
Zapisz sprawdzone wyniki, linki do śladów i powód przyjęcia, wstrzymania lub przywrócenia.
Twórz z Corin
Przetestuj zmianę na znanej pracy.
Uruchom działający przykład, sprawdź jego ślad i użyj reprezentatywnych przypadków, aby ocenić kolejną poprawkę zespołu.