Avaliações e ciclo de vida
Faça backtest de cada mudança
antes de implantar.
Continue testando enquanto aprimora sua equipe de agentes. Compare cada versão candidata com trabalhos anteriores, inspecione regressões antes da implantação e restaure uma versão comprovada da equipe se uma mudança tiver desempenho inferior.
Revisão de versãoO que mudou na equipe?
Uma atribuição proposta
v12 → v13Modelo A
Versão salva da equipeModelo B
Teste antes de adotarEscolha trabalho representativo
4 casos revisadosCompare resultados por caso
3 aceitos em cada execuçãoManter a versão atual
revisão necessáriaEla passou na exceção de revisão neste exemplo.
Inspecione a regressão do caso antes de outro teste.
O conjunto de testes
Inclua os casos que podem mudar a decisão.
O histórico mantido pelo Corin oferece tarefas anteriores para você revisitar, incluindo trabalho de rotina e exceções. Mantenha juntos as entradas de cada caso e seu resultado revisado, quando houver.
Faça backtests ao longo do processo: execute as versões atual e candidata da equipe nos mesmos casos enquanto refina a configuração. Compare resultados revisados, tempo, tokens e custo, e defina o que conta como regressão antes de implantar a mudança.
Quatro caminhos diferentes em uma única tarefa.
Trabalho de rotina, incompleto, de exceção e urgente pertence à mesma comparação.
Mesmo agregado. Falha diferente.
O revisor aceitou a recomendação de exceção.
O revisor pediu uma correção no mesmo caso.
Analise a regressão
Encontre o caso que piorou.
Duas versões podem ter o mesmo número de casos aceitos e falhar em trabalhos diferentes. É a exceção revisada, não a média, que determina se esta candidata está pronta.
Abra os rastros do caso. Compare a escolha do modelo, as entradas, as chamadas de ferramentas e o repasse antes de alterar a equipe novamente.
Versione e restaure
Restaure uma versão comprovada da equipe.
O Corin mantém a telemetria e os dados relevantes após o término de cada tarefa. O registro mostra o que mudou entre as versões e como a equipe se saiu, para que você possa inspecionar uma mudança implantada e restaurar uma versão anterior da equipe inteira.
Este exemplo altera um modelo, mas a versão salva abrange toda a equipe agêntica. Uma candidata reprovada fica fora de uso; uma versão adotada depois pode ser revertida para a configuração anterior da equipe se apresentar regressão.
Manter a versão atual.
Não substitua a v12 pela v13 enquanto a exceção revisada apresentar regressão.
Registro de decisão
Mantenha a comparação explicável.
O que mudou
Identifique as versões da equipe e a mudança de configuração proposta.
O que foi testado
Mantenha comparáveis as entradas representativas e o critério de revisão.
O que as pessoas decidiram
Salve os resultados revisados, os links dos rastros e o motivo para adotar, manter em espera ou restaurar.
Crie com o Corin
Teste uma mudança em trabalhos conhecidos.
Execute um exemplo funcional, inspecione o rastro e use casos representativos para avaliar a próxima versão da equipe.