テレメトリと最適化
何が起きたかを確認。
修正すべき点を特定。
組み込みの Langfuse による詳細なエージェントログとシステムログでデバッグできます。各実行をコンテキスト、モデルの選択、ツール呼び出し、引き継ぎまで追跡し、提案された変更を代表的な過去の事例でバックテストします。
テレメトリエクスプローラー作業をステップごとに追跡します。
トレースのウォーターフォール
ネストされた作業から、時間がかかる箇所がわかります。
役割別のトークン使用量
入力と出力はエージェントごとに分かれています。
モデル割り当て別コスト
コストを発生元の役割までたどります。
割合
レビュー済みのケース
結果を代表的な作業に紐付けたまま保持します。
タスク横断の履歴
詳細なログでデバッグが容易になります。
Corin はタスクをまたいでエージェントとシステムのテレメトリを保持します。どのエージェントとモデルがステップを実行したか、どのツールが呼び出されたか、どこで作業が引き継がれたか、そしてトークン、レイテンシ、コスト、測定された結果を記録します。
実行をステップごとに検査し、予期しない結果、失敗したツール呼び出し、遅い引き継ぎを特定できます。保持されたトレースが結果とその背後にあるエージェント、モデル、ツールのステップを結び付けるため、修正すべき点を調査できます。
同じケースを、別のモデルで。
低コストの割り当てを採用する前に、出力とレビュー済みの結果を比較します。
変更を評価
切り替える前に候補をバックテスト。
1 つのエージェントについてモデルの割り当てを変更し、代表的なケースで候補を実行します。トークン使用量、レイテンシ、コストを現行の構成と比較します。
レビュー済みの結果がある場合は、回答の品質も比較します。コストが低い、または応答が速いからといって、推奨事項が優れているとは限りません。
エージェントとシステムのビュー
エージェントと引き継ぎをまたいで作業を測定。
1 つのエージェントのトレースは、そのエージェント自身のステップを説明します。システムテレメトリはロール、ツール、引き継ぎをまたいで作業を追跡するため、チームの変更をタスク全体に照らして評価できます。
見積もりタスクでは、レビューが大半の時間を占める場合、料金ステップを高速化してもタスク全体はほとんど変わらないことがあります。ロールやモデルを変更する前に、タスク時間、使用量、そして可能であればレビュー済みの結果を比較してください。
時間がかかっている役割は？
このステップはサンプルタスクで 7.4s を占めています。トレースを開いて引き継ぎと判断を確認してください。
根拠を丁寧に確認
使用量は測定できます。品質には基準が必要です。
トークン、時間、コストは観測可能な指標です。精度には、定義されたタスク、代表的なケース、レビュー可能な結果が必要です。信頼できる結果がないケースは、成功として評価せず、その制約を明記してください。
実行を検査
結果の背後にあるエージェント、モデル、ツール呼び出し、引き継ぎを特定します。
同じ作業を比較
現行の構成と候補の変更に、代表的なケースを使用します。
重要な点をレビュー
可能な場合は、人がレビューした結果を使用します。
Corinで構築
タスクを実行し、トレースを検査。
動作する例から始め、エージェントとチームのステップを確認し、関連するケースでテストできる変更を選びます。