エネルギー・ユーティリティでAIエージェントを導入する際に重要なのは、単にチャットボットを置くことではありません。設備文書、点検記録、障害ログ、問い合わせ、需給情報を横断し、現場判断の情報収集を高速化しつつ制御系への直接操作は厳格に分離することが本稿の中心テーマです。AIエージェントは、目的を受け取り、必要な情報源を選び、ツールを呼び出し、途中結果を確認しながら複数工程を進められる一方、業務権限と監査を誤ると「便利だが責任の所在が曖昧な自動化」になり得ます。
更新日:2026年9月20日。 本稿は英語・中国語・アラビア語の公式一次情報を確認し、海外記事の逐語翻訳ではなく、日本企業が導入可否を判断できるように、業務・システム・権限・安全性・評価・費用の順に再構成しています。
エネルギー・ユーティリティでAIエージェントを使う価値はどこにあるか
エネルギー・ユーティリティでは、情報が一つのシステムに収まらず、設備台帳、SCADA参照データ、保全管理、点検記録、障害ログ、需給DB、顧客管理、文書管理のように複数の場所へ分散しやすい特徴があります。人は「正しい情報がどこにあるか」を探し、画面を切り替え、内容を照合し、別システムへ転記する作業へ多くの時間を使います。エネルギー AIエージェントは、この分散した業務を一つの自然言語インターフェースへ寄せるのではなく、各システムの権限境界を保ったまま必要な情報を取りに行く実行層として設計すると価値が出ます。
エネルギー・ユーティリティで最初に測るべきKPIは、障害一次調査時間、点検記録作成時間、設備停止時間、保全計画作成時間、問い合わせ回答時間、異常検知から確認までの時間、手順逸脱率、監査準備時間です。導入前の数値を残し、AIエージェント利用後に同じ単位で比較します。API料金だけを見ず、人の確認時間、再作業、誤りによる損失、教育時間、システム保守まで含めて総コストを評価します。
2026年9月時点の海外公式動向から読み取れる設計原則
OpenAI: Introducing the Agents API(EN)を確認しました。エネルギー・ユーティリティのAIエージェント設計では、製品名をそのまま採用判断にするのではなく、長時間実行、MCP互換性、SkillやPluginの配布、Workspace隔離、課金、監査、IM連携といった共通要件へ分解します。参照先:公式資料(確認日 2026-09-20)。
Google Cloud: A developer’s guide to production-ready AI agents(EN)を確認しました。エネルギー・ユーティリティのAIエージェント設計では、製品名をそのまま採用判断にするのではなく、長時間実行、MCP互換性、SkillやPluginの配布、Workspace隔離、課金、監査、IM連携といった共通要件へ分解します。参照先:公式資料(確認日 2026-09-20)。
Google Cloud MCP servers release notes — MCP Version 2026-07-28(EN)を確認しました。エネルギー・ユーティリティのAIエージェント設計では、製品名をそのまま採用判断にするのではなく、長時間実行、MCP互換性、SkillやPluginの配布、Workspace隔離、課金、監査、IM連携といった共通要件へ分解します。参照先:公式資料(確認日 2026-09-20)。
Google Cloud: Developer Plugin for AI Coding Agents(EN)を確認しました。エネルギー・ユーティリティのAIエージェント設計では、製品名をそのまま採用判断にするのではなく、長時間実行、MCP互換性、SkillやPluginの配布、Workspace隔離、課金、監査、IM連携といった共通要件へ分解します。参照先:公式資料(確認日 2026-09-20)。
阿里云中文: AgentCore 基本概念(ZH)を確認しました。エネルギー・ユーティリティのAIエージェント設計では、製品名をそのまま採用判断にするのではなく、長時間実行、MCP互換性、SkillやPluginの配布、Workspace隔離、課金、監査、IM連携といった共通要件へ分解します。参照先:公式資料(確認日 2026-09-20)。
阿里云中文: 将 Agent 接入 IM 渠道(ZH)を確認しました。エネルギー・ユーティリティのAIエージェント設計では、製品名をそのまま採用判断にするのではなく、長時間実行、MCP互換性、SkillやPluginの配布、Workspace隔離、課金、監査、IM連携といった共通要件へ分解します。参照先:公式資料(確認日 2026-09-20)。
阿里云中文: AgentCore SDK 概述(ZH)を確認しました。エネルギー・ユーティリティのAIエージェント設計では、製品名をそのまま採用判断にするのではなく、長時間実行、MCP互換性、SkillやPluginの配布、Workspace隔離、課金、監査、IM連携といった共通要件へ分解します。参照先:公式資料(確認日 2026-09-20)。
阿里云中文: AgentCore 计费开通说明(ZH)を確認しました。エネルギー・ユーティリティのAIエージェント設計では、製品名をそのまま採用判断にするのではなく、長時間実行、MCP互換性、SkillやPluginの配布、Workspace隔離、課金、監査、IM連携といった共通要件へ分解します。参照先:公式資料(確認日 2026-09-20)。
エネルギー・ユーティリティ向けAIエージェントの基本アーキテクチャ
| 層 | 設計ポイント |
|---|---|
| 1. 利用者・チャネル層 | エネルギー・ユーティリティではWeb、社内チャット、業務画面、モバイルから依頼を受けます。利用者の部署・役割・本人性を確認し、同じ質問でも見せてよい情報を変えます。 |
| 2. Agent/Orchestration層 | エネルギー・ユーティリティでは目的を分解し、必要な検索、比較、計算、文書作成、承認依頼を順序づけます。無限ループ、過剰な再試行、目的外ツール呼び出しを止める上限を持たせます。 |
| 3. Tool/MCP層 | エネルギー・ユーティリティでは設備台帳、SCADA参照データ、保全管理、点検記録、障害ログ、需給DB、顧客管理、文書管理へ接続します。読み取りと書き込みを分離し、書き込みは対象、件数、金額、時刻、承認者などを検証してから実行します。 |
| 4. Knowledge/RAG層 | エネルギー・ユーティリティでは規程、手順、商品・サービス情報、過去事例を検索します。文書の所有者、版、公開範囲、有効期限を持たせ、古い情報を「正解」として返さない仕組みにします。 |
| 5. Identity/Policy層 | エネルギー・ユーティリティではAgent専用ID、最小権限、秘密情報、ネットワーク到達先、データ分類、承認ポリシーを制御します。モデルの判断に最終認可を委ねません。 |
| 6. Observability/Evaluation層 | エネルギー・ユーティリティでは障害一次調査時間、点検記録作成時間、設備停止時間、保全計画作成時間、問い合わせ回答時間、異常検知から確認までの時間、手順逸脱率、監査準備時間を業務成果として測り、同時にツール選択、引数、エラー、コスト、承認、最終結果を追跡します。 |
エネルギー・ユーティリティで優先度の高い15のユースケース
1. 設備手順検索
エネルギー・ユーティリティにおける「設備手順検索」では、設備台帳を正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「障害一次調査時間」を中心に置きます。安全面では「OT制御の無承認操作」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
2. 障害ログ要約
エネルギー・ユーティリティにおける「障害ログ要約」では、SCADA参照データを正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「点検記録作成時間」を中心に置きます。安全面では「遮断・復旧の最終決定」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
3. 類似故障検索
エネルギー・ユーティリティにおける「類似故障検索」では、保全管理を正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「設備停止時間」を中心に置きます。安全面では「安全基準の自動上書き」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
4. 点検記録下書き
エネルギー・ユーティリティにおける「点検記録下書き」では、点検記録を正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「保全計画作成時間」を中心に置きます。安全面では「需給取引の無制限実行」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
5. 保全計画候補
エネルギー・ユーティリティにおける「保全計画候補」では、障害ログを正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「問い合わせ回答時間」を中心に置きます。安全面では「重要インフラ情報の外部送信」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
6. 部品在庫照会
エネルギー・ユーティリティにおける「部品在庫照会」では、需給DBを正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「異常検知から確認までの時間」を中心に置きます。安全面では「OT制御の無承認操作」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
7. 需給レポート作成
エネルギー・ユーティリティにおける「需給レポート作成」では、顧客管理を正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「手順逸脱率」を中心に置きます。安全面では「遮断・復旧の最終決定」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
8. 顧客問い合わせ支援
エネルギー・ユーティリティにおける「顧客問い合わせ支援」では、文書管理を正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「監査準備時間」を中心に置きます。安全面では「安全基準の自動上書き」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
9. 作業許可チェック
エネルギー・ユーティリティにおける「作業許可チェック」では、設備台帳を正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「障害一次調査時間」を中心に置きます。安全面では「需給取引の無制限実行」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
10. インシデント時系列整理
エネルギー・ユーティリティにおける「インシデント時系列整理」では、SCADA参照データを正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「点検記録作成時間」を中心に置きます。安全面では「重要インフラ情報の外部送信」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
11. 規程差分確認
エネルギー・ユーティリティにおける「規程差分確認」では、保全管理を正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「設備停止時間」を中心に置きます。安全面では「OT制御の無承認操作」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
12. 交代勤務引継ぎ
エネルギー・ユーティリティにおける「交代勤務引継ぎ」では、点検記録を正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「保全計画作成時間」を中心に置きます。安全面では「遮断・復旧の最終決定」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
13. 設備KPIレビュー
エネルギー・ユーティリティにおける「設備KPIレビュー」では、障害ログを正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「問い合わせ回答時間」を中心に置きます。安全面では「安全基準の自動上書き」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
14. 異常傾向説明
エネルギー・ユーティリティにおける「異常傾向説明」では、需給DBを正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「異常検知から確認までの時間」を中心に置きます。安全面では「需給取引の無制限実行」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
15. 監査証跡収集
エネルギー・ユーティリティにおける「監査証跡収集」では、顧客管理を正本候補として参照し、AIエージェントが必要な情報を集め、矛盾や不足を示したうえで人が確認できる形へ整理します。最初から確定処理を任せるのではなく、検索・比較・下書き・確認項目抽出から始め、正答率と例外の種類を把握してから権限を広げます。
このユースケースの評価指標は「手順逸脱率」を中心に置きます。安全面では「重要インフラ情報の外部送信」をAIエージェント単独で完結させないことを明示し、承認者、根拠データ、実行前後の状態、取消・訂正手順をログへ残します。成功とは自動化率100%ではなく、必要な場面で安全に停止し、人へ正しく引き継げることも含みます。
エネルギー・ユーティリティ特有のデータ設計
設備台帳をAIエージェントへ接続する前に確認すること
エネルギー・ユーティリティの設備台帳について、正本の所有者、更新頻度、アクセス権、個人情報・機密区分、API/MCPの提供範囲、検索可能な期間、削除・訂正ルールを整理します。AIエージェント用のサービスアカウントを人の管理者権限と共用せず、必要な操作だけを許可します。接続テストでは正常系だけでなく、権限不足、対象なし、重複、タイムアウト、古いデータ、矛盾データを含む異常系を必ず用意します。
SCADA参照データをAIエージェントへ接続する前に確認すること
エネルギー・ユーティリティのSCADA参照データについて、正本の所有者、更新頻度、アクセス権、個人情報・機密区分、API/MCPの提供範囲、検索可能な期間、削除・訂正ルールを整理します。AIエージェント用のサービスアカウントを人の管理者権限と共用せず、必要な操作だけを許可します。接続テストでは正常系だけでなく、権限不足、対象なし、重複、タイムアウト、古いデータ、矛盾データを含む異常系を必ず用意します。
保全管理をAIエージェントへ接続する前に確認すること
エネルギー・ユーティリティの保全管理について、正本の所有者、更新頻度、アクセス権、個人情報・機密区分、API/MCPの提供範囲、検索可能な期間、削除・訂正ルールを整理します。AIエージェント用のサービスアカウントを人の管理者権限と共用せず、必要な操作だけを許可します。接続テストでは正常系だけでなく、権限不足、対象なし、重複、タイムアウト、古いデータ、矛盾データを含む異常系を必ず用意します。
点検記録をAIエージェントへ接続する前に確認すること
エネルギー・ユーティリティの点検記録について、正本の所有者、更新頻度、アクセス権、個人情報・機密区分、API/MCPの提供範囲、検索可能な期間、削除・訂正ルールを整理します。AIエージェント用のサービスアカウントを人の管理者権限と共用せず、必要な操作だけを許可します。接続テストでは正常系だけでなく、権限不足、対象なし、重複、タイムアウト、古いデータ、矛盾データを含む異常系を必ず用意します。
障害ログをAIエージェントへ接続する前に確認すること
エネルギー・ユーティリティの障害ログについて、正本の所有者、更新頻度、アクセス権、個人情報・機密区分、API/MCPの提供範囲、検索可能な期間、削除・訂正ルールを整理します。AIエージェント用のサービスアカウントを人の管理者権限と共用せず、必要な操作だけを許可します。接続テストでは正常系だけでなく、権限不足、対象なし、重複、タイムアウト、古いデータ、矛盾データを含む異常系を必ず用意します。
需給DBをAIエージェントへ接続する前に確認すること
エネルギー・ユーティリティの需給DBについて、正本の所有者、更新頻度、アクセス権、個人情報・機密区分、API/MCPの提供範囲、検索可能な期間、削除・訂正ルールを整理します。AIエージェント用のサービスアカウントを人の管理者権限と共用せず、必要な操作だけを許可します。接続テストでは正常系だけでなく、権限不足、対象なし、重複、タイムアウト、古いデータ、矛盾データを含む異常系を必ず用意します。
顧客管理をAIエージェントへ接続する前に確認すること
エネルギー・ユーティリティの顧客管理について、正本の所有者、更新頻度、アクセス権、個人情報・機密区分、API/MCPの提供範囲、検索可能な期間、削除・訂正ルールを整理します。AIエージェント用のサービスアカウントを人の管理者権限と共用せず、必要な操作だけを許可します。接続テストでは正常系だけでなく、権限不足、対象なし、重複、タイムアウト、古いデータ、矛盾データを含む異常系を必ず用意します。
文書管理をAIエージェントへ接続する前に確認すること
エネルギー・ユーティリティの文書管理について、正本の所有者、更新頻度、アクセス権、個人情報・機密区分、API/MCPの提供範囲、検索可能な期間、削除・訂正ルールを整理します。AIエージェント用のサービスアカウントを人の管理者権限と共用せず、必要な操作だけを許可します。接続テストでは正常系だけでなく、権限不足、対象なし、重複、タイムアウト、古いデータ、矛盾データを含む異常系を必ず用意します。
エネルギー・ユーティリティで自動化してはいけない境界
OT制御の無承認操作
エネルギー・ユーティリティで「OT制御の無承認操作」を扱う場合は、AIエージェントを情報整理・候補生成・確認項目抽出までに留め、最終決定に必要な責任者と証跡を明示します。AIの回答に高い確信度が表示されても、それを承認の代わりにはしません。法令、契約、安全、人権、金銭、顧客への重大な約束に関わる処理では、権限と承認をシステム側で強制します。
遮断・復旧の最終決定
エネルギー・ユーティリティで「遮断・復旧の最終決定」を扱う場合は、AIエージェントを情報整理・候補生成・確認項目抽出までに留め、最終決定に必要な責任者と証跡を明示します。AIの回答に高い確信度が表示されても、それを承認の代わりにはしません。法令、契約、安全、人権、金銭、顧客への重大な約束に関わる処理では、権限と承認をシステム側で強制します。
安全基準の自動上書き
エネルギー・ユーティリティで「安全基準の自動上書き」を扱う場合は、AIエージェントを情報整理・候補生成・確認項目抽出までに留め、最終決定に必要な責任者と証跡を明示します。AIの回答に高い確信度が表示されても、それを承認の代わりにはしません。法令、契約、安全、人権、金銭、顧客への重大な約束に関わる処理では、権限と承認をシステム側で強制します。
需給取引の無制限実行
エネルギー・ユーティリティで「需給取引の無制限実行」を扱う場合は、AIエージェントを情報整理・候補生成・確認項目抽出までに留め、最終決定に必要な責任者と証跡を明示します。AIの回答に高い確信度が表示されても、それを承認の代わりにはしません。法令、契約、安全、人権、金銭、顧客への重大な約束に関わる処理では、権限と承認をシステム側で強制します。
重要インフラ情報の外部送信
エネルギー・ユーティリティで「重要インフラ情報の外部送信」を扱う場合は、AIエージェントを情報整理・候補生成・確認項目抽出までに留め、最終決定に必要な責任者と証跡を明示します。AIの回答に高い確信度が表示されても、それを承認の代わりにはしません。法令、契約、安全、人権、金銭、顧客への重大な約束に関わる処理では、権限と承認をシステム側で強制します。
エネルギー・ユーティリティ向けセキュリティ設計
- 1. エネルギー・ユーティリティではPrompt Injectionを外部データの問題として扱い、Web・メール・PDF・取込データ内の命令を低信頼データとして隔離する。
- 2. エネルギー・ユーティリティではAgent専用IDを発行し、人の管理者権限や共有APIキーを使わせない。
- 3. エネルギー・ユーティリティではTool/MCPごとに読み取り・書き込み・削除・送信の権限を分離する。
- 4. エネルギー・ユーティリティでは秘密情報はVault等から実行時に短時間取得し、Promptやログへ平文で残さない。
- 5. エネルギー・ユーティリティでは外部送信先をallowlist化し、自由なURLへ情報を送れる構成を避ける。
- 6. エネルギー・ユーティリティでは重要操作はHuman-in-the-loopまたは二者承認を必要条件にする。
- 7. エネルギー・ユーティリティでは大量処理、連続失敗、高額API利用、異常時間帯の実行を検知して停止する。
- 8. エネルギー・ユーティリティではモデル・Prompt・Skill・MCP・外部APIのVersionを実行ログへ記録する。
- 9. エネルギー・ユーティリティではインシデント時にAgent停止、Token失効、Connector遮断、手動運用へ戻せるRunbookを用意する。
- 10. エネルギー・ユーティリティでは監査ログは改ざん困難な保管先へ出し、業務記録と技術Traceを関連付ける。
エネルギー・ユーティリティ向け評価設計:正答率だけを見ない
障害一次調査時間をどう測るか
エネルギー・ユーティリティで「障害一次調査時間」を改善する場合、AIエージェント導入前の中央値・ばらつき・繁忙期条件を保存します。導入後は同じ定義で測り、モデルコスト、人の確認時間、再処理、例外件数も同時に記録します。短期間だけ数字が良くても、担当者が裏で修正しているなら改善とは扱いません。品質・安全・速度・費用の4軸で継続確認します。
点検記録作成時間をどう測るか
エネルギー・ユーティリティで「点検記録作成時間」を改善する場合、AIエージェント導入前の中央値・ばらつき・繁忙期条件を保存します。導入後は同じ定義で測り、モデルコスト、人の確認時間、再処理、例外件数も同時に記録します。短期間だけ数字が良くても、担当者が裏で修正しているなら改善とは扱いません。品質・安全・速度・費用の4軸で継続確認します。
設備停止時間をどう測るか
エネルギー・ユーティリティで「設備停止時間」を改善する場合、AIエージェント導入前の中央値・ばらつき・繁忙期条件を保存します。導入後は同じ定義で測り、モデルコスト、人の確認時間、再処理、例外件数も同時に記録します。短期間だけ数字が良くても、担当者が裏で修正しているなら改善とは扱いません。品質・安全・速度・費用の4軸で継続確認します。
保全計画作成時間をどう測るか
エネルギー・ユーティリティで「保全計画作成時間」を改善する場合、AIエージェント導入前の中央値・ばらつき・繁忙期条件を保存します。導入後は同じ定義で測り、モデルコスト、人の確認時間、再処理、例外件数も同時に記録します。短期間だけ数字が良くても、担当者が裏で修正しているなら改善とは扱いません。品質・安全・速度・費用の4軸で継続確認します。
問い合わせ回答時間をどう測るか
エネルギー・ユーティリティで「問い合わせ回答時間」を改善する場合、AIエージェント導入前の中央値・ばらつき・繁忙期条件を保存します。導入後は同じ定義で測り、モデルコスト、人の確認時間、再処理、例外件数も同時に記録します。短期間だけ数字が良くても、担当者が裏で修正しているなら改善とは扱いません。品質・安全・速度・費用の4軸で継続確認します。
異常検知から確認までの時間をどう測るか
エネルギー・ユーティリティで「異常検知から確認までの時間」を改善する場合、AIエージェント導入前の中央値・ばらつき・繁忙期条件を保存します。導入後は同じ定義で測り、モデルコスト、人の確認時間、再処理、例外件数も同時に記録します。短期間だけ数字が良くても、担当者が裏で修正しているなら改善とは扱いません。品質・安全・速度・費用の4軸で継続確認します。
手順逸脱率をどう測るか
エネルギー・ユーティリティで「手順逸脱率」を改善する場合、AIエージェント導入前の中央値・ばらつき・繁忙期条件を保存します。導入後は同じ定義で測り、モデルコスト、人の確認時間、再処理、例外件数も同時に記録します。短期間だけ数字が良くても、担当者が裏で修正しているなら改善とは扱いません。品質・安全・速度・費用の4軸で継続確認します。
監査準備時間をどう測るか
エネルギー・ユーティリティで「監査準備時間」を改善する場合、AIエージェント導入前の中央値・ばらつき・繁忙期条件を保存します。導入後は同じ定義で測り、モデルコスト、人の確認時間、再処理、例外件数も同時に記録します。短期間だけ数字が良くても、担当者が裏で修正しているなら改善とは扱いません。品質・安全・速度・費用の4軸で継続確認します。
エネルギー・ユーティリティの90日導入ロードマップ
1〜2週
エネルギー・ユーティリティでは対象業務を一つ選び、現行フロー、責任者、例外、KPI、正本データを記録する。AIを使わない現状値を必ず残す。
3〜4週
エネルギー・ユーティリティでは読み取り専用でRAG・検索・照会を実装し、代表ケースと失敗ケースを作る。外部データにPrompt Injectionを混ぜた安全試験も行う。
5〜6週
エネルギー・ユーティリティでは下書き・候補生成まで拡張し、利用者が修正した差分を収集する。差分はモデル評価だけでなく、データ不足や業務ルール不足として分類する。
7〜8週
エネルギー・ユーティリティでは限定された書き込みをSandbox/テスト環境で実行し、冪等性、二重処理、タイムアウト、再試行、取消を確認する。
9〜10週
エネルギー・ユーティリティでは小規模な本番利用者へ展開し、権限、監査、SLO、予算上限、エスカレーションを運用する。Shadow/Canaryで旧運用との比較を続ける。
11〜12週
エネルギー・ユーティリティではKPI、利用頻度、コスト、事故・ヒヤリハット、利用者修正率をレビューし、続行・縮小・停止・対象拡大を判断する。
エネルギー・ユーティリティの費用対効果を計算する
エネルギー・ユーティリティのAIエージェント投資では、モデルToken費用だけを「AIコスト」として扱うと判断を誤ります。初期構築、データ整備、MCP/API、認証、監視、セキュリティレビュー、利用者教育、人の確認、保守を含めた総コストを月次で集計します。そのうえで、障害一次調査時間、点検記録作成時間、設備停止時間、保全計画作成時間、問い合わせ回答時間、異常検知から確認までの時間、手順逸脱率、監査準備時間の改善額や機会損失削減と比較します。
ROIの基本式は「年間便益−年間総コスト」を年間総コストで割るだけですが、エネルギー・ユーティリティでは事故・規制違反・顧客毀損のような低頻度高影響リスクも別枠で評価します。自動化率が低くても、担当者が高付加価値業務へ時間を移せる、繁忙期の応答遅延を抑えられる、教育期間が短くなる場合は十分な価値があります。
エネルギー・ユーティリティでよくある失敗パターン
失敗1:「何ができるか」から始め、変えたい業務KPIを決めない
エネルギー・ユーティリティでこの失敗を避けるには、導入前に業務責任者・システム責任者・セキュリティ・現場利用者が同じ評価表を見ることが重要です。技術上の成功を業務上の成功と混同せず、成功条件、停止条件、承認条件、見直し日を明文化します。
失敗2:PoCだけ高権限で動かし、本番の認証・ネットワーク・監査条件を後回しにする
エネルギー・ユーティリティでこの失敗を避けるには、導入前に業務責任者・システム責任者・セキュリティ・現場利用者が同じ評価表を見ることが重要です。技術上の成功を業務上の成功と混同せず、成功条件、停止条件、承認条件、見直し日を明文化します。
失敗3:古いFAQや過去文書をRAGへ入れたまま、情報鮮度を測らない
エネルギー・ユーティリティでこの失敗を避けるには、導入前に業務責任者・システム責任者・セキュリティ・現場利用者が同じ評価表を見ることが重要です。技術上の成功を業務上の成功と混同せず、成功条件、停止条件、承認条件、見直し日を明文化します。
失敗4:MCPやSkillを増やし過ぎて、どのToolを使うべきか曖昧にする
エネルギー・ユーティリティでこの失敗を避けるには、導入前に業務責任者・システム責任者・セキュリティ・現場利用者が同じ評価表を見ることが重要です。技術上の成功を業務上の成功と混同せず、成功条件、停止条件、承認条件、見直し日を明文化します。
失敗5:最終回答だけを評価し、誤った検索・Tool選択・引数を見逃す
エネルギー・ユーティリティでこの失敗を避けるには、導入前に業務責任者・システム責任者・セキュリティ・現場利用者が同じ評価表を見ることが重要です。技術上の成功を業務上の成功と混同せず、成功条件、停止条件、承認条件、見直し日を明文化します。
失敗6:人の承認をUI上のボタンだけにし、権限として強制しない
エネルギー・ユーティリティでこの失敗を避けるには、導入前に業務責任者・システム責任者・セキュリティ・現場利用者が同じ評価表を見ることが重要です。技術上の成功を業務上の成功と混同せず、成功条件、停止条件、承認条件、見直し日を明文化します。
失敗7:例外時に「AIが何とかする」設計にし、安全停止と手動代替を用意しない
エネルギー・ユーティリティでこの失敗を避けるには、導入前に業務責任者・システム責任者・セキュリティ・現場利用者が同じ評価表を見ることが重要です。技術上の成功を業務上の成功と混同せず、成功条件、停止条件、承認条件、見直し日を明文化します。
失敗8:モデル更新後の回帰テストをせず、以前できた業務が壊れても気付かない
エネルギー・ユーティリティでこの失敗を避けるには、導入前に業務責任者・システム責任者・セキュリティ・現場利用者が同じ評価表を見ることが重要です。技術上の成功を業務上の成功と混同せず、成功条件、停止条件、承認条件、見直し日を明文化します。
失敗9:利用者教育を操作説明だけにし、AIへ任せてよい範囲を共有しない
エネルギー・ユーティリティでこの失敗を避けるには、導入前に業務責任者・システム責任者・セキュリティ・現場利用者が同じ評価表を見ることが重要です。技術上の成功を業務上の成功と混同せず、成功条件、停止条件、承認条件、見直し日を明文化します。
失敗10:記事・FAQ・運用手順を更新せず、AIシステムと公開情報の内容がずれる
エネルギー・ユーティリティでこの失敗を避けるには、導入前に業務責任者・システム責任者・セキュリティ・現場利用者が同じ評価表を見ることが重要です。技術上の成功を業務上の成功と混同せず、成功条件、停止条件、承認条件、見直し日を明文化します。
エネルギー・ユーティリティ向けRFP・ベンダー選定チェックリスト
- エネルギー・ユーティリティ:対象業務と対象外業務が明記されているか
- エネルギー・ユーティリティ:導入前KPIと目標値が定義されているか
- エネルギー・ユーティリティ:利用モデルを交換できるか
- エネルギー・ユーティリティ:RAGの正本管理と鮮度管理ができるか
- エネルギー・ユーティリティ:MCP/APIごとに権限を分けられるか
- エネルギー・ユーティリティ:Agent専用IDを使えるか
- エネルギー・ユーティリティ:秘密情報をPromptへ埋め込まないか
- エネルギー・ユーティリティ:Prompt Injection対策を説明できるか
- エネルギー・ユーティリティ:Human-in-the-loopを権限として強制できるか
- エネルギー・ユーティリティ:監査ログにTool名・引数・結果・承認者が残るか
- エネルギー・ユーティリティ:保存データと保持期間を選べるか
- エネルギー・ユーティリティ:越境データの扱いを説明できるか
- エネルギー・ユーティリティ:障害時の手動代替があるか
- エネルギー・ユーティリティ:Timeout/Retry/Idempotencyを設計しているか
- エネルギー・ユーティリティ:Rate Limitと予算上限があるか
- エネルギー・ユーティリティ:モデル変更の回帰テストがあるか
- エネルギー・ユーティリティ:Skill/MCPのVersion管理があるか
- エネルギー・ユーティリティ:Sandbox/Canary/Rollbackが可能か
- エネルギー・ユーティリティ:SLOと障害連絡経路があるか
- エネルギー・ユーティリティ:利用者別の可視範囲を制御できるか
- エネルギー・ユーティリティ:既存システムの正本を壊さないか
- エネルギー・ユーティリティ:変更履歴を追えるか
- エネルギー・ユーティリティ:データ削除要求へ対応できるか
- エネルギー・ユーティリティ:評価データを顧客側でも保持できるか
- エネルギー・ユーティリティ:プロンプトと設定をExportできるか
- エネルギー・ユーティリティ:ベンダーロックイン条件を明示しているか
- エネルギー・ユーティリティ:初期費用と月額費用を分けているか
- エネルギー・ユーティリティ:人のレビュー工数も見積へ含めているか
- エネルギー・ユーティリティ:教育・定着支援が含まれるか
- エネルギー・ユーティリティ:終了時のデータ返却・削除条件があるか
エネルギー・ユーティリティにおけるAIエージェント導入の最終判断
エネルギー・ユーティリティでは、AIエージェントを「人の代わりに全部決める仕組み」として導入するより、情報探索、照合、下書き、例外検知、次の行動候補をまとめる実務レイヤーとして始める方が成功確率は高くなります。OT制御の無承認操作、遮断・復旧の最終決定、安全基準の自動上書き、需給取引の無制限実行、重要インフラ情報の外部送信は最終責任を人へ残しつつ、AIエージェントはその判断に必要な根拠を短時間で揃える役割へ置きます。
エネルギー・ユーティリティで実際に価値を出すには、技術選定より前に対象業務とKPIを決め、最小権限で接続し、代表ケース・異常系・攻撃系を評価し、小規模に本番へ出し、結果を見ながら権限を広げます。AIエージェント、MCP、Skills、Agent Registry、Observabilityの製品名は変化しても、この導入順序は長期的に有効です。
AIエージェント導入支援を見る / MCP導入支援を見る / AI導入について相談する
エネルギー・ユーティリティ実装シナリオ1:設備手順検索を本番運用へ移す
エネルギー・ユーティリティの「設備手順検索」を本番へ移す際は、点検記録から得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ1の運用会議では、異常検知から確認までの時間、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ2:障害ログ要約を本番運用へ移す
エネルギー・ユーティリティの「障害ログ要約」を本番へ移す際は、顧客管理から得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ2の運用会議では、設備停止時間、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ3:類似故障検索を本番運用へ移す
エネルギー・ユーティリティの「類似故障検索」を本番へ移す際は、SCADA参照データから得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ3の運用会議では、監査準備時間、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ4:点検記録下書きを本番運用へ移す
エネルギー・ユーティリティの「点検記録下書き」を本番へ移す際は、障害ログから得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ4の運用会議では、問い合わせ回答時間、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ5:保全計画候補を本番運用へ移す
エネルギー・ユーティリティの「保全計画候補」を本番へ移す際は、文書管理から得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ5の運用会議では、点検記録作成時間、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ6:部品在庫照会を本番運用へ移す
エネルギー・ユーティリティの「部品在庫照会」を本番へ移す際は、保全管理から得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ6の運用会議では、手順逸脱率、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ7:需給レポート作成を本番運用へ移す
エネルギー・ユーティリティの「需給レポート作成」を本番へ移す際は、需給DBから得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ7の運用会議では、保全計画作成時間、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ8:顧客問い合わせ支援を本番運用へ移す
エネルギー・ユーティリティの「顧客問い合わせ支援」を本番へ移す際は、設備台帳から得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ8の運用会議では、障害一次調査時間、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ9:作業許可チェックを本番運用へ移す
エネルギー・ユーティリティの「作業許可チェック」を本番へ移す際は、点検記録から得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ9の運用会議では、異常検知から確認までの時間、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ10:インシデント時系列整理を本番運用へ移す
エネルギー・ユーティリティの「インシデント時系列整理」を本番へ移す際は、顧客管理から得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ10の運用会議では、設備停止時間、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ11:規程差分確認を本番運用へ移す
エネルギー・ユーティリティの「規程差分確認」を本番へ移す際は、SCADA参照データから得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ11の運用会議では、監査準備時間、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ12:交代勤務引継ぎを本番運用へ移す
エネルギー・ユーティリティの「交代勤務引継ぎ」を本番へ移す際は、障害ログから得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ12の運用会議では、問い合わせ回答時間、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ13:設備KPIレビューを本番運用へ移す
エネルギー・ユーティリティの「設備KPIレビュー」を本番へ移す際は、文書管理から得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ13の運用会議では、点検記録作成時間、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
エネルギー・ユーティリティ実装シナリオ14:異常傾向説明を本番運用へ移す
エネルギー・ユーティリティの「異常傾向説明」を本番へ移す際は、保全管理から得る入力を検証し、AIエージェントが作った中間結果を業務担当が確認できる形で表示します。最初の評価期間では、正解したケースだけでなく、情報不足、対象データなし、権限不足、外部API停止、矛盾した入力、利用者の曖昧な指示を含めて試験します。これにより「通常時には便利だが例外時に危険」という構成を早い段階で発見できます。
エネルギー・ユーティリティにおけるシナリオ14の運用会議では、手順逸脱率、人の修正率、平均Token費用、Tool失敗率、承認待ち時間、インシデント件数を同じダッシュボードで見ます。改善策はモデル変更だけに限定せず、データの正本化、Tool Schemaの改善、権限縮小、画面UI、教育、手動フローの見直しまで含めます。
