評価とライフサイクル
すべての変更をバックテスト
デプロイ前に。
エージェントチームを改善しながらテストを続けます。各候補バージョンを過去の作業と比較し、デプロイ前にリグレッションを検査し、変更の成果が劣る場合は実績あるチームバージョンを復元できます。
リビジョンのレビューチームの変更内容は？
提案された割り当て 1件
v12 → v13モデル A
保存済みのチームリビジョンモデル B
導入前にテスト代表的な業務を選択
レビュー済み4件ケースごとに結果を比較
各実行で3件承認現行リビジョンを維持
レビューが必要この例では例外のレビューに合格しました。
次のテストの前に、ケースのリグレッションを検査します。
テストセット
判断を変えうるケースを含めます。
Corinが保持する履歴により、定型作業や例外を含む過去のタスクを再検討できます。各ケースの入力と、存在する場合はレビュー済みの結果をまとめて保持します。
随時バックテスト：構成を改善しながら、現行と候補のチームバージョンを同じケースで実行します。レビュー済みの結果、時間、トークン、コストを比較し、変更をデプロイする前に何をリグレッションとみなすかを定義します。
1つのタスクを通る4つの異なる経路。
定型、不完全、例外、緊急の作業を同じ比較に含めます。
集計は同じ。失敗は異なる。
レビュー担当者が例外の推奨案を承認しました。
レビュー担当者が同じケースで修正を求めました。
リグレッションを確認
悪化したケースを見つける。
2つのリビジョンは、承認ケース数が同じでも、異なる作業で失敗することがあります。この候補の準備が整っているかを決めるのは、平均ではなくレビュー済みの例外です。
そのケースのトレースを開きます。チームを再び変更する前に、モデルの選択、入力、ツール呼び出し、引き継ぎを比較します。
バージョン管理と復元
実績あるチームバージョンを復元。
Corinは各タスクの終了後もテレメトリと関連データを保持します。記録にはリビジョン間の変更内容とチームのパフォーマンスが示されるため、デプロイした変更を検査し、以前のチーム全体のリビジョンを復元できます。
この例では1つのモデルを変更しますが、保存されるリビジョンはエージェントチーム全体を対象とします。失敗した候補は使用されず、後に採用したリビジョンでリグレッションが発生した場合は、以前のチーム構成に復元できます。
現行リビジョンを維持します。
レビュー済みの例外でリグレッションが続く間は、v12をv13に置き換えないでください。
判断記録
比較を説明可能に保ちます。
変更内容
チームのリビジョンと、提案された構成変更を特定します。
テスト内容
代表的な入力とレビュー基準を比較可能に保ちます。
人による判断
レビュー済みの結果、トレースへのリンク、採用・保留・復元の理由を保存します。
Corinで構築
既知の作業で変更を試す。
実際の例を実行してトレースを検査し、代表的なケースで次のチームリビジョンを評価します。