指標を増やすほど、確認されなくなる
ダッシュボードに数字が20個あっても、担当者が毎週見られるのは数分です。レビュー項目は『異常を見つけたら、誰が何をするか』まで決められるものに絞ります。顧客ごとに異なる指標名を使わず、同じ4問で確認できる形にします。
20サイトを1社5分で確認しても100分かかります。各サイトの生ログを読む運用では、忙しい週から抜け漏れが始まります。最初の画面では前週からの変化と行動が必要なサイトだけを出し、詳しい調査は例外サイトへ限定します。全サイトを均等に深掘りするのではなく、異常候補を選ぶ入口として4指標を使います。
最初の4指標
おすすめは、予算に対する推定費用、成功1件あたりの推定費用、失敗・再試行の比率、トラフィック構成と顧客成果です。最後の項目はProのSmart Protectionを使う場合に限り、Human・Bot・Unknownの割合だけを見ず、注文や有効問い合わせが同時に動いたかを確認します。分類は完全判定ではありません。
たとえば予算消化率が前週比180％でも、セールで注文が200％なら緊急停止の対象とは限りません。一方、費用は110％でも失敗損失率が3％から22％へ上がれば、再試行ループを当日確認すべきです。4指標は合計点にせず、どの数字がどの行動を起こすか個別に定義します。推定費用は月末に確定請求と突き合わせます。
- 予算消化率と前週からの増減
- 成功1件あたりの推定AI費用
- 失敗・再試行に使われた推定費用の割合
- Human・Bot・Unknownの変化と注文・問い合わせの変化
『正常な揺れ』を顧客別に決める
曜日、メルマガ配信、商品発売、月末処理で変動するサイトは、単純な前日比だけでは毎週警告になります。過去4〜8週の同じ曜日と比べ、予定された出来事には注釈を付けます。変動幅が基準内なら、担当者は確認済みとして終了できます。
企業サイトなら平日と休日、ECなら通常週とセール週、会員サイトなら請求日前後を別の基準にします。通常範囲は中央値だけでなく幅で持ち、例えば同曜日中央値の0.7〜1.5倍かつ失敗率5％未満なら緑、と定義します。サイト新設直後はデータが少ないため暫定基準と明記し、4週後に更新します。
10分の会議で決めること
黄色は次週まで観察、赤は当日中に経路確認など、状態ごとの行動を決めます。数値の読み上げではなく、『対象サイト』『仮説』『担当者』『確認期限』の4点だけを残します。推定費用は月末に実請求と照合し、ずれが大きければ単価設定を更新します。
会議では赤サイトを最大3件に絞り、1件90秒で判断します。『A社、問い合わせ要約の再試行増、田中さんが本日17時までに相関IDを確認』のように読み上げ、台帳へ転記します。原因が分からない状態で上限だけ変更せず、顧客導線に影響する場合はクライアントへの連絡担当も同時に決めます。
- 問題があるサイトはどれか
- 最も可能性が高い原因は何か
- 誰が確認するか
- いつまでに再判定するか
まず1サイトでレビュー時間を測る
4指標を1サイトで確認し、判断まで何分かかったかを測ってください。15分を超えるなら、指標か基準が多すぎます。短時間で同じ判断を再現できてから、管理サイト全体へ広げる方が運用は定着します。
成果物は、サイトごとの基準値と行動条件を持つ週次レビュー表です。2人の担当者が同じデータを見て同じ色判定になるか試し、食い違えば基準文を具体化します。担当交代時にも10分以内で判断でき、赤判定に必ず責任者と期限が付く状態を合格としてください。月末には推定費用と確定請求の差を列に追加し、翌月の単価計算を補正します。
「週次レビューは4指標だけでよい──制作会社向けAI運用チェック」の「複数サイト用4指標レビュー表」は、同じ指標を継続して集めることで判断材料になります。AI Cost Guardrails-CNXTを無料でダウンロードし、WordPress上のCalls・Token・推定USDを計測し始めましょう。