평가 및 수명 주기
모든 변경 사항을
배포 전에 백테스트하십시오.
에이전트 팀을 개선하면서 테스트를 계속하십시오. 각 후보 버전을 과거 작업과 비교하고, 배포 전에 회귀를 점검하며, 변경 사항의 성능이 떨어지면 검증된 팀 버전으로 복원합니다.
수정 버전 검토팀에서 무엇이 변경되었습니까?
제안된 할당 1건
v12 → v13모델 A
저장된 팀 수정 버전모델 B
도입 전 테스트대표 작업 선택
검토된 사례 4건사례별 결과 비교
각 실행에서 3건 승인됨현재 수정 버전 유지
검토 필요이 예시에서는 예외 검토를 통과했습니다.
다음 테스트 전에 케이스 회귀를 점검하십시오.
테스트 세트
결정을 바꿀 수 있는 케이스를 포함하십시오.
Corin에 보존된 기록을 통해 일상 업무와 예외를 포함한 과거 작업을 다시 살펴볼 수 있습니다. 각 케이스의 입력과 검토된 결과가 있으면 함께 보관하십시오.
진행하면서 백테스트하십시오. 구성을 개선하는 동안 현재 팀 버전과 후보 팀 버전을 동일한 케이스로 실행합니다. 검토된 결과, 시간, 토큰, 비용을 비교하고, 변경 사항을 배포하기 전에 무엇을 회귀로 볼지 정의하십시오.
하나의 작업, 네 가지 경로.
일상, 불완전, 예외, 긴급 업무를 같은 비교에 포함합니다.
집계는 같아도 실패는 다릅니다.
검토자가 예외 권장 사항을 승인했습니다.
검토자가 같은 케이스에 수정을 요청했습니다.
회귀 분석 보기
악화된 케이스를 찾으십시오.
두 수정 버전은 승인된 케이스 수가 같아도 서로 다른 작업에서 실패할 수 있습니다. 이 후보의 준비 여부는 평균이 아니라 검토된 예외가 결정합니다.
해당 케이스의 트레이스를 여십시오. 팀을 다시 변경하기 전에 모델 선택, 입력, 도구 호출, 인계를 비교하십시오.
버전 관리 및 복원
검증된 팀 버전을 복원하십시오.
Corin은 각 작업이 끝난 후에도 텔레메트리와 관련 데이터를 보존합니다. 기록에는 수정 버전 간 변경 사항과 팀의 성과가 표시되므로, 배포된 변경을 점검하고 이전 팀 전체 수정 버전을 복원할 수 있습니다.
이 예시는 모델 하나를 변경하지만, 저장된 수정 버전은 에이전트 팀 전체를 포괄합니다. 실패한 후보는 사용되지 않으며, 이후 채택된 수정 버전이 회귀하면 이전 팀 구성으로 복원할 수 있습니다.
현재 수정 버전을 유지합니다.
검토된 예외가 회귀하는 동안에는 v12를 v13으로 교체하지 마십시오.
결정 기록
비교 결과를 설명 가능하게 유지합니다.
변경 사항
팀 수정 버전과 제안된 구성 변경을 식별합니다.
테스트 항목
대표 입력과 검토 기준을 비교 가능하게 유지합니다.
담당자의 결정
검토된 결과, 트레이스 링크, 채택·보류·복원 사유를 저장합니다.