Evals & levenscyclus
Backtest elke wijziging
voordat u live gaat.
Blijf testen terwijl u uw agentteam verbetert. Vergelijk elke kandidaatversie met eerder werk, inspecteer regressies vóór implementatie en herstel een beproefde teamversie als een wijziging tegenvalt.
RevisiebeoordelingWat is er veranderd in het team?
Eén voorgestelde toewijzing
v12 → v13Model A
Opgeslagen teamrevisieModel B
Testen vóór ingebruiknameKies representatief werk
4 beoordeelde casesVergelijk resultaten per case
3 geaccepteerd in elke uitvoeringBehoud de huidige revisie
beoordeling vereistIn dit voorbeeld slaagde het voor de uitzondering ter beoordeling.
Inspecteer de regressie in de casus vóór een nieuwe test.
De testset
Neem de casussen op die het besluit kunnen veranderen.
Dankzij de bewaarde geschiedenis van Corin kunt u eerdere taken opnieuw bekijken, inclusief routinewerk en uitzonderingen. Houd per casus de input en de beoordeelde uitkomst samen, waar die bestaat.
Backtest gaandeweg: voer de huidige en kandidaat-teamversie uit op dezelfde casussen terwijl u de configuratie verfijnt. Vergelijk beoordeelde resultaten, tijd, tokens en kosten, en bepaal wat als regressie geldt voordat u de wijziging uitrolt.
Vier verschillende paden door één taak.
Routinematig, onvolledig, uitzonderlijk en urgent werk horen in dezelfde vergelijking.
Zelfde totaal. Andere fout.
Beoordelaar accepteerde de aanbeveling voor de uitzondering.
Beoordelaar vroeg om een correctie op dezelfde casus.
Lees de regressie
Vind de casus die slechter werd.
Twee revisies kunnen evenveel geaccepteerde casussen hebben en toch op ander werk falen. De beoordeelde uitzondering, niet het gemiddelde, bepaalt of deze kandidaat klaar is.
Open de traces van de casus. Vergelijk modelkeuze, input, tool-aanroepen en overdracht voordat u het team opnieuw wijzigt.
Versiebeheer en herstel
Herstel een bewezen teamversie.
Corin bewaart telemetrie en relevante data nadat een taak is afgerond. De registratie toont wat er veranderde tussen revisies en hoe het team presteerde, zodat u een uitgerolde wijziging kunt inspecteren en een eerdere revisie van het hele team kunt herstellen.
Dit voorbeeld wijzigt één model, maar de opgeslagen revisie omvat het hele agentische team. Een mislukte kandidaat blijft buiten gebruik; een later doorgevoerde revisie kan bij regressie worden teruggezet naar de vorige teamconfiguratie.
Behoud de huidige revisie.
Vervang v12 niet door v13 zolang de beoordeelde uitzondering regressie vertoont.
Beslissingsrecord
Houd de vergelijking verklaarbaar.
Wat er veranderde
Bepaal de teamrevisies en de voorgestelde configuratiewijziging.
Wat er getest is
Houd de representatieve input en het beoordelingscriterium vergelijkbaar.
Wat mensen besloten
Bewaar de beoordeelde resultaten, tracelinks en reden om door te voeren, aan te houden of te herstellen.
Bouwen met Corin
Test een wijziging op bekend werk.
Voer een werkend voorbeeld uit, inspecteer de trace en beoordeel de volgende teamrevisie met representatieve casussen.