Telemetrie & optimalisatie
Bekijk wat er is gebeurd.
Vind wat er moet worden opgelost.
Debug met gedetailleerde agent- en systeemlogs uit het ingebouwde Langfuse. Volg elke run via context, modelkeuzes, tool-aanroepen en overdrachten, en backtest voorgestelde wijzigingen op representatieve eerdere cases.
TelemetrieverkennerVolg het werk, stap voor stap.
Trace-waterval
Genest werk laat zien waar tijd zich opstapelt.
Tokengebruik per rol
Input en output zijn per agent gescheiden.
Kosten per modeltoewijzing
Herleid kosten tot de rollen die ze maakten.
aandeel
Beoordeelde cases
Houd resultaten gekoppeld aan representatief werk.
Historie over taken heen
Gedetailleerde logs maken debuggen eenvoudiger.
Corin bewaart agent- en systeemtelemetrie over taken heen: welke agent en welk model een stap uitvoerden, welke tools werden aangeroepen, waar werk werd overgedragen, en de tokens, latentie, kosten en gemeten resultaten.
Inspecteer een run stap voor stap om een onverwacht resultaat, een mislukte tool-aanroep of een trage overdracht te vinden. De bewaarde trace koppelt het resultaat aan de onderliggende agent-, model- en toolstappen, zodat u kunt onderzoeken wat moet worden opgelost.
Dezelfde cases, ander model.
Vergelijk de output en het beoordeelde resultaat voordat u een goedkopere toewijzing accepteert.
Een wijziging evalueren
Backtest een kandidaat voordat u overstapt.
Wijzig voor één agent de modeltoewijzing en voer de kandidaat uit op representatieve cases. Vergelijk tokengebruik, latentie en kosten met de huidige opzet.
Waar beoordeelde resultaten beschikbaar zijn, vergelijkt u ook de kwaliteit van het antwoord. Lagere kosten of een snellere reactie bewijzen niet dat de aanbeveling beter is.
Agent- en systeemweergave
Meet werk over agents en overdrachten heen.
De trace van één agent verklaart diens eigen stappen. Systeemtelemetrie volgt het werk over rollen, tools en overdrachten, zodat een teamwijziging tegen de volledige taak kan worden beoordeeld.
Bij een offertetaak verandert een snellere prijsstap de volledige taak mogelijk nauwelijks als de beoordeling de meeste tijd kost. Vergelijk taaktijd, gebruik en, waar beschikbaar, beoordeelde resultaten voordat u rollen of modellen wijzigt.
Welke rol kost de tijd?
Deze stap draagt 7.4s bij in de voorbeeldtaak. Open de trace om de overdracht en het besluit te zien.
Lees het bewijs zorgvuldig
Gebruik wordt gemeten. Kwaliteit vraagt om een referentie.
Tokens, tijd en kosten zijn waarneembare signalen. Nauwkeurigheid vereist een gedefinieerde taak, representatieve cases en resultaten die kunnen worden beoordeeld. Heeft een case geen betrouwbaar resultaat, markeer die beperking dan in plaats van deze als succes te scoren.
De run inspecteren
Vind de agent, het model, de tool-aanroep of de overdracht achter het resultaat.
Hetzelfde werk vergelijken
Gebruik representatieve cases voor de huidige opzet en een kandidaatwijziging.
Beoordelen wat ertoe deed
Gebruik een door mensen beoordeeld resultaat waar dat beschikbaar is.
Bouwen met Corin
Voer een taak uit. Inspecteer de trace.
Begin met een werkend voorbeeld, bekijk de agent- en teamstappen en kies dan een wijziging die u op relevante cases kunt testen.