Evaluaciones y ciclo de vida
Pruebe cada cambio con datos históricos
antes de implementarlo.
Siga probando a medida que mejora su equipo de agentes. Compare cada versión candidata con el trabajo anterior, inspeccione las regresiones antes del despliegue y restaure una versión probada del equipo si un cambio rinde peor.
Revisión de versiones¿Qué cambió en el equipo?
Una asignación propuesta
v12 → v13Modelo A
Versión guardada del equipoModelo B
Pruebe antes de adoptarElija trabajo representativo
4 casos revisadosCompare resultados por caso
3 aceptados en cada ejecuciónMantener la revisión actual
requiere revisiónSuperó el caso de excepción de revisión en este ejemplo.
Inspeccione la regresión del caso antes de otra prueba.
El conjunto de prueba
Incluya los casos que pueden cambiar la decisión.
El historial que conserva Corin le ofrece tareas pasadas para revisar, incluidos trabajos rutinarios y excepciones. Mantenga juntos las entradas de cada caso y su resultado revisado, cuando exista.
Haga backtesting sobre la marcha: ejecute las versiones actual y candidata del equipo con los mismos casos mientras ajusta la configuración. Compare resultados revisados, tiempo, tokens y coste, y defina qué cuenta como regresión antes de desplegar el cambio.
Cuatro caminos distintos en una misma tarea.
El trabajo rutinario, incompleto, excepcional y urgente pertenece a la misma comparación.
Mismo agregado. Fallo distinto.
El revisor aceptó la recomendación de excepción.
El revisor pidió una corrección en el mismo caso.
Analice la regresión
Encuentre el caso que empeoró.
Dos revisiones pueden tener el mismo número de casos aceptados y fallar en trabajos distintos. La excepción revisada, no el promedio, determina si esta candidata está lista.
Abra las trazas del caso. Compare la elección de modelo, las entradas, las llamadas a herramientas y el traspaso antes de volver a cambiar el equipo.
Versiones y restauración
Restaure una versión probada del equipo.
Corin conserva la telemetría y los datos relevantes al terminar cada tarea. El registro muestra qué cambió entre revisiones y cómo rindió el equipo, para que pueda inspeccionar un cambio desplegado y restaurar una revisión anterior de todo el equipo.
Este ejemplo cambia un modelo, pero la revisión guardada abarca todo el equipo agéntico. Una candidata fallida queda fuera de uso; una revisión adoptada posteriormente puede restaurarse a la configuración del equipo anterior si presenta regresiones.
Mantener la revisión actual.
No sustituya v12 por v13 mientras la excepción revisada presente regresión.
Registro de decisiones
Mantenga la comparación explicable.
Qué cambió
Identifique las revisiones del equipo y el cambio de configuración propuesto.
Qué se probó
Mantenga comparables las entradas representativas y el criterio de revisión.
Qué decidieron las personas
Guarde los resultados revisados, los enlaces a trazas y el motivo para adoptar, retener o restaurar.
Desarrolle con Corin
Pruebe un cambio con trabajo conocido.
Ejecute un ejemplo funcional, inspeccione su traza y use casos representativos para evaluar la siguiente revisión del equipo.