텔레메트리 및 최적화
실행 내역을 확인합니다.
수정이 필요한 부분을 찾습니다.
내장된 Langfuse의 상세한 에이전트 및 시스템 로그로 디버깅합니다. 각 실행의 컨텍스트, 모델 선택, 도구 호출, 인계를 따라가고, 제안된 변경 사항을 대표적인 과거 사례로 백테스트합니다.
텔레메트리 탐색기작업을 단계별로 따라갑니다.
트레이스 워터폴
중첩된 작업으로 시간이 쌓이는 지점을 파악합니다.
역할별 토큰 사용량
입력과 출력은 에이전트별로 구분됩니다.
모델 할당별 비용
비용을 발생시킨 역할까지 추적합니다.
비중
검토된 사례
결과를 대표적인 작업과 연결해 둡니다.
작업 전반의 이력
상세한 로그로 디버깅이 쉬워집니다.
Corin은 작업 전반에 걸쳐 에이전트 및 시스템 텔레메트리를 보존합니다. 어떤 에이전트와 모델이 각 단계를 수행했는지, 어떤 도구가 호출되었는지, 작업이 어디서 인계되었는지, 그리고 토큰, 지연 시간, 비용, 측정된 결과까지 기록합니다.
실행을 단계별로 점검하여 예상치 못한 결과, 실패한 도구 호출, 느린 인계를 찾아낼 수 있습니다. 보존된 트레이스는 결과를 그 배후의 에이전트, 모델, 도구 단계와 연결하므로 수정이 필요한 부분을 조사할 수 있습니다.
같은 사례, 다른 모델.
저비용 할당을 수락하기 전에 출력과 검토된 결과를 비교하십시오.
변경 사항 평가
전환하기 전에 후보를 백테스트하십시오.
한 에이전트의 모델 할당을 변경하고 대표 케이스에서 후보를 실행합니다. 토큰 사용량, 지연 시간, 비용을 현재 설정과 비교하십시오.
검토된 결과가 있다면 답변 품질도 비교하십시오. 비용이 낮거나 응답이 빠르다고 해서 권장 사항이 더 낫다는 의미는 아닙니다.
에이전트 및 시스템 보기
에이전트와 인계 전반의 작업을 측정합니다.
한 에이전트의 트레이스는 해당 에이전트의 단계를 설명합니다. 시스템 텔레메트리는 역할, 도구, 인계 전반의 작업을 추적하므로 팀 변경을 전체 작업 기준으로 평가할 수 있습니다.
견적 작업에서 검토가 대부분의 시간을 차지한다면 가격 책정 단계를 빠르게 해도 전체 작업에는 거의 영향이 없을 수 있습니다. 역할이나 모델을 변경하기 전에 작업 시간, 사용량, 가능한 경우 검토된 결과를 비교하십시오.
어떤 역할이 시간을 차지합니까?
이 단계는 샘플 작업에서 7.4s를 차지합니다. 트레이스를 열어 인계와 결정을 확인하십시오.
증거를 꼼꼼히 확인
사용량은 측정됩니다. 품질에는 기준이 필요합니다.
토큰, 시간, 비용은 관찰 가능한 신호입니다. 정확도에는 정의된 작업, 대표 케이스, 검토 가능한 결과가 필요합니다. 케이스에 신뢰할 수 있는 결과가 없다면 성공으로 채점하지 말고 그 한계를 표시하십시오.
실행 검사
결과 배후의 에이전트, 모델, 도구 호출 또는 인계를 찾습니다.
같은 작업 비교
현재 설정과 후보 변경에 대표 케이스를 사용합니다.
중요한 부분 검토
가능한 경우 사람이 검토한 결과를 사용합니다.