Telemetria i optymalizacja
Zobacz, co się stało.
Znajdź, co wymaga poprawy.
Debuguj dzięki szczegółowym logom agentów i systemu z wbudowanego Langfuse. Śledź każdy przebieg przez kontekst, wybory modeli, wywołania narzędzi i przekazania, a następnie testuj proponowane zmiany na reprezentatywnych wcześniejszych przypadkach.
Eksplorator telemetriiŚledź pracę krok po kroku.
Wykres kaskadowy śladu
Zagnieżdżona praca pokazuje, gdzie narasta czas.
Zużycie tokenów według roli
Wejście i wyjście są oddzielne dla każdego agenta.
Koszt według przypisania modelu
Przypisz koszty rolom, które je wygenerowały.
w kosztach
Sprawdzone przypadki
Utrzymuj wyniki powiązane z reprezentatywną pracą.
Historia między zadaniami
Szczegółowe logi ułatwiają debugowanie.
Corin przechowuje telemetrię agentów i systemu dla wszystkich zadań: który agent i model wykonał krok, jakie narzędzia wywołano, gdzie nastąpiło przekazanie pracy oraz tokeny, opóźnienie, koszt i zmierzone wyniki.
Sprawdź przebieg krok po kroku, aby znaleźć nieoczekiwany wynik, nieudane wywołanie narzędzia lub powolne przekazanie. Zachowany ślad łączy wynik z krokami agenta, modelu i narzędzi, które za nim stoją, dzięki czemu można ustalić, co wymaga poprawy.
Te same przypadki, inny model.
Porównaj wynik i sprawdzony wynik, zanim zaakceptujesz tańsze przypisanie.
Oceń zmianę
Przetestuj kandydata na danych historycznych przed zmianą.
Dla jednego agenta zmień przypisanie modelu i uruchom model kandydujący na reprezentatywnych przypadkach. Porównaj zużycie tokenów, opóźnienie i koszt z bieżącą konfiguracją.
Jeśli istnieją sprawdzone wyniki, porównaj także jakość odpowiedzi. Niższy koszt czy szybsza odpowiedź nie dowodzą, że rekomendacja jest lepsza.
Widok agenta i systemu
Mierz pracę wszystkich agentów i przekazań.
Ślad jednego agenta wyjaśnia jego własne kroki. Telemetria systemu śledzi pracę przez role, narzędzia i przekazania, więc zmianę w zespole można ocenić względem całego zadania.
W zadaniu wyceny przyspieszenie kroku wyceny może niewiele zmienić w całym zadaniu, jeśli najwięcej czasu zajmuje przegląd. Przed zmianą ról lub modeli porównaj czas zadania, zużycie i, jeśli są dostępne, sprawdzone wyniki.
Która rola zajmuje najwięcej czasu?
Ten krok odpowiada za 7.4s w przykładowym zadaniu. Otwórz jego ślad, aby zobaczyć przekazanie i decyzję.
Uważnie przeczytaj dowody
Zużycie jest mierzone. Jakość wymaga punktu odniesienia.
Tokeny, czas i koszt to obserwowalne sygnały. Dokładność wymaga zdefiniowanego zadania, reprezentatywnych przypadków i wyników, które można sprawdzić. Jeśli przypadek nie ma wiarygodnego wyniku, należy oznaczyć to ograniczenie, zamiast oceniać go jako sukces.
Zbadaj przebieg
Znajdź agenta, model, wywołanie narzędzia lub przekazanie stojące za wynikiem.
Porównaj tę samą pracę
Użyj reprezentatywnych przypadków dla bieżącej konfiguracji i proponowanej zmiany.
Sprawdź, co było istotne
Użyj wyniku sprawdzonego przez człowieka, jeśli jest dostępny.
Twórz z Corin
Uruchom zadanie. Sprawdź jego ślad.
Zacznij od działającego przykładu, przeanalizuj kroki agenta i zespołu, a następnie wybierz zmianę, którą przetestujesz na odpowiednich przypadkach.