一つの回答の裏に二社の処理が残る
主系プロバイダーから一定時間内に最初のデータが届かなくても、要求が未受理だったとは限りません。キューで待っている、生成中である、応答経路だけ遅れている場合に予備系へ同じ入力を送れば、二つの処理が並行して進みます。
調査では利用者が見た回答数と、各社が受理した要求数を分けます。主系要求ID、予備系要求ID、受理時刻、最初の応答時刻、終了状態、請求トークンを同じ相関IDへ結び付けて初めて、切替が二重費用を生んだか判定できます。
接続前の失敗を切替候補として分ける
接続確立前の失敗は、主系が処理を受理していない可能性が比較的高い状態です。認証エラーや明示的な容量拒否も結果が確定しています。一方、接続後の読み取りタイムアウトは結果不明であり、自動的に予備系を開始するには最も慎重な扱いが必要です。
結果不明のタイムアウトを別扱いにする
切替条件は『5秒たったら』だけで決めず、受理確度、利用者が許容できる待ち時間、主系のキャンセル仕様、重複時の最大費用、要求を後から照会できるかで比較します。購入支援と夜間バッチでは遅延の価値が違うため、経路ごとに選びます。
50要求へ遅延を注入して条件を比較する
本番データを使わず、固定入力50件を主系へ送り、接続失敗、最初の応答遅延、途中切断、明示的な5xxを計画的に発生させます。各条件で顧客完了率、95パーセンタイル待ち時間、二社受理件数、キャンセル成功、二重課金候補を数えます。
同時にタイムアウト値を変更すると比較が崩れるため、一つの試験群では切替条件だけを変えます。各10件程度の小さな群から始め、予算上限に達したら試験自体が止まるようにして、検証が新しい費用事故にならないようにします。
| 主系の状態 | 受理の確度 | 推奨動作 | 二重費用リスク |
|---|---|---|---|
| 接続確立前に失敗 | 低い | 予備系へ切替 | 低 |
| 明示的な拒否 | 結果確定 | 拒否理由に応じて切替 | 低 |
| 最初の応答待ちで超過 | 不明 | 照会・キャンセル後に判断 | 高 |
| 出力途中で切断 | 受理済み | 原則として再生成せず復旧案内 | 高 |
| 主系完了を後から確認 | 高い | 既存結果を回収 | 再送すれば高 |
フォールバックと費用上限を別々に置く
フォールバックは可用性の仕組みであり、費用の上限ではありません。アプリ側で同一処理の相関IDと冪等性を持たせ、AI Cost Circuit Breakerでは1要求サイズ、異常な再試行、モデル別費用など、対象経路で利用できるガードレールを独立して設定します。
対象外の直接通信を棚卸しする
Proのガードレールも、主系で進行中の処理を別プロバイダーから取り消すものではありません。どの通信がWordPress標準のAI Clientを通り、どれが独自SDKから直接送られるかを先に棚卸しし、対象外経路にはアプリ側の停止条件を置きます。
顧客完了と二重費用を同時に判定する
採用する条件は、50件の試験で顧客完了率を保ちつつ、結果不明のタイムアウトから二社受理へ進む件数が承認した範囲に収まるものです。単に最速の条件ではなく、二重費用1件あたりの最大額を掛けた期待損失も比較します。
判断マトリクスへ各社の仕様確認日、試験結果、所有者、次回再試験日を残します。プロバイダーの仕様やモデルの応答特性が変われば最適点も変わるため、重大な変更後は同じ50要求を再実行します。
「フォールバックで二社に課金されないための切替条件――50要求で決める」の「二社構成の判断マトリクス」を、最初の実環境導入に使ってください。AI Cost Circuit Breakerを無料でダウンロードし、Monitoringから始め、期待するシグナルと戻し方を確認してから制御を有効にしましょう。