2026/08/20AIが行動を開始したとき、誰が責任を負うのか？
人工知能と機械学習｜Appar Technologies Co., Ltd.｜2026/08/20
AIエージェントは、質問に答えるアシスタントから、データを照会し、システムを操作し、プロセスを実行する「デジタルアクター」へと進化しています。人工知能が顧客データを変更し、注文を作成し、ワークフローを開始するようになると、企業が直面する問題は「答えが正確かどうか」から「何をする権限があるのか、誰が許可するのか、間違った場合の責任は誰が負うのか」へと変わります。Microsoft、NIST、OWASPの最近のガバナンスフレームワークは、AIエージェントを企業のコアプロセスに本格的に導入するためには、アイデンティティ、権限、意思決定の境界、監査能力を一緒に構築する必要があることを示しています。
Microsoft内部では、AIエージェントのガバナンスはもはや情報部門が時折行う一時的なセキュリティレビューではありません。従業員がエージェントを使用して複数のステップを実行し、企業データを接続し、自動的にプロセスをトリガーするようになると、Microsoft Digitalは、どのエージェントが会社内で動作しているのか、誰が作成したのか、どのデータを使用できるのか、どのような行動を取ったのかを継続的に追跡するための長期的な管理制度を確立する必要があります。Microsoftはこのガバナンスをセキュリティ、ガバナンス、管理、可観測性の4つの基盤に基づいて構築し、エージェントを単なるチャットツールではなく、正式に管理が必要な企業のワークロードと見なすようになりました。
この変化は、AIエージェントと過去の生成型人工知能の最大の違いを反映しています。過去には、従業員が人工知能に手紙を書かせたり、レポートを整理したり、文書を分析させたりしても、人工知能がエラーを起こした場合、最終的には人が確認することがほとんどでした。しかし、エージェントは継続的に動作し、情報に基づいてツールを選択し、システムを跨いで一連の操作を完了し、指示がなくても後続の作業をトリガーすることができます。人工知能が「答えを提供する」から「行動を取る」へと進化するにつれて、リスクの性質も変わります。
そのため、Microsoft Entraは2026年にAIエージェント専用のAgent IDを正式に導入し、エージェントが人間のアカウントや従来のアプリケーションとは異なる独立したアイデンティティを持つことができるようにしました。Microsoftの文書によれば、これらのエージェントのアイデンティティは作成、承認、制限、ライフサイクル管理が可能であり、その検証と活動は監査記録に残すことができます。これは、企業が過去には存在しなかった前提を受け入れ始めたことを意味します。組織内の「アイデンティティ」は、従業員、パートナー、アプリケーションだけでなく、将来的には数百、さらには数千の自律的に行動できる人工知能エージェントを含む可能性があります。
これが、AIエージェントの管理方法がチャットボットの方法を単に継承することができない理由です。もしカスタマーサービスエージェントが回答内容を提案するだけであれば、エラーは不正確なテキストに過ぎません。しかし、同じエージェントが注文を変更し、返金を開始し、補償プランを作成できる場合、エラーは直接的な財務損失を引き起こす可能性があります。Salesforceは2026年にエージェントガバナンスについて語る際、人工知能が質問に答えることから取引を実行することに移行する際には、ガバナンスメカニズムをプロンプトレベルの「ガードレール」から、実際に行動を制約するポリシーとデータ制御にアップグレードする必要があると特に強調しました。
ますます多くの企業がエージェントをカスタマーサービス、財務、調達、人事、情報システムに導入するにつれて、ガバナンスは人工知能プロジェクトの付随的な作業ではなく、日常業務の一部となるでしょう。真の問題は「人工知能を信頼するかどうか」ではなく、「どのタスクを安心して任せられるか、どのタスクは提案を受けるだけにするか、どの状況で人に戻す必要があるか、そしてその過程をどのように追跡するか」を正確に定義することです。
AIエージェントが本格的な業務を引き受け始める
Microsoft自身のエージェントの発展の歴史は、この変化の実例です。Microsoft Digitalは、内部のエージェントが多段階タスクの自動化、異なるシステムの接続、手動調整に依存していた作業の簡素化に使用されていると述べています。エージェントの数と自律性が増加するにつれて、Microsoftは過去に分散していた管理インターフェースの制御方法が不十分であることに気づき、エージェントの作成者、ユーザー、アクセス可能なデータ、運用状況を中央で把握するための中央管理方式を使用し始めました。
これらの能力は技術管理の問題のように見えますが、実際には企業の責任制度と密接に関連しています。例えば、ある調達エージェントが特定の原材料が安全在庫を下回っていることを発見し、自動的にサプライヤーに見積もりを依頼し、調達注文を作成したとします。この一連の動作は商業プロセスに完全に適合しているかもしれませんが、企業は依然として、このエージェントが誰の権限で実行されているのか、どの金額まで調達できるのか、どのサプライヤーを使用できるのか、どの閾値を超えた場合に人に引き渡す必要があるのかを知っておく必要があります。これらの境界のいずれかが明確にされていない場合、人工知能の自律能力は責任のグレーゾーンになる可能性があります。
これが、NISTの人工知能リスク管理フレームワークが「ガバナンス」を人工知能のライフサイクル全体に貫く必要があると強調している理由です。NISTの生成型人工知能リスク管理文書は、管理をモデル構築段階に集中させるのではなく、組織が実際の使用環境での人工知能のリスクを継続的に評価、監視、管理し、使用状況、リスク許容度、法的要件に応じて制御方法を調整することを求めています。AIエージェントにとって、このような継続的なガバナンスは特に重要です。同じモデルが異なるツールと権限を得た場合、実際に与える影響は全く異なるからです。
言い換えれば、企業はエージェントに「未承認の操作を実行しないでください」と設定するだけでは不十分であり、言語モデルが自動的に従うことを期待することはできません。Microsoftは、権限型エージェントアーキテクチャについて語る際、規制された環境や高いセキュリティ要件のある環境では、権限はアイデンティティと権限システムによって実際に実行されるべきであり、プロンプトでモデルに何をしてはいけないかを伝えるだけではないと明確に述べています。これは重要なガバナンス原則です：セキュリティの境界はモデルの外に存在しなければなりません。
責任の再定義
AIエージェントが効果を持続的に創出するためには、企業はまず責任の再定義を行う必要があります。過去には、人工知能プロジェクトは情報部門、データチーム、またはイノベーション部門が主導し、事業部門は単に要求を提出するだけでした。しかし、エージェントが実際にカスタマーサービス、財務、調達、営業の業務を実行する場合、その業務を担当する事業部門はエージェントの結果を完全に情報部門の責任と見なすことはできません。
例えば、カスタマーサポートのエージェントが最終的に返金できるかどうか、どのような状況で上司に報告する必要があるか、どのような回答が会社のサービス基準に合致するか、これらは情報技術者が単独で決定できる問題ではありません。技術チームは権限を設定し、システムを統合し、記録を残すことができますが、どの決定が合理的で、どの行動が顧客関係を損なうかを真に理解しているのは、カスタマーサポート部門そのものです。AIが実行する業務プロセスは、誰が定義するかに依存します。
Microsoftは、自社のガバナンス構造においても、単一の情報部門ではなく、部門横断的なアプローチを採用しています。Microsoft Digitalは、企業に対し、情報、セキュリティ、法務、データガバナンス、事業部門が共同で原則を定義し、エージェントの使用範囲、データソース、取れる行動、リスクの程度に応じて異なるレベルの管理方法を構築することを推奨しています。このガバナンスは、すべてのエージェントが同じルールを遵守するためではなく、リスクの高いエージェントがより厳格な管理を受けるためのものです。
四つのガバナンス境界を定義する
Microsoftの企業実務、NISTのAIリスク管理フレームワーク、およびOWASPのAgentic AI攻撃面の研究を総合し、企業の最も重要なAIエージェントガバナンス問題を四つの境界に整理することができます。これらの境界は技術製品の機能リストではなく、エージェントが正式なシステムにアクセスする前に、企業が少なくとも答えられるべき四つの質問です。
- 身元境界：それは誰なのか？
正式に業務を行うエージェントは、識別可能な身元、責任者、ライフサイクルを持つべきです。企業は、エージェントが誰によって作成され、誰を代表して実行され、現在も有効であるかを知る必要があります。長期間にわたり、特定の従業員の共有アカウントや不明なソースの証明書を使用することはできません。 - 権限境界：何を見て、何を使用できるのか？
エージェントは「必要かもしれない」という理由でシステム全体の完全な権限を取得すべきではありません。在庫を確認するエージェントは在庫を変更する必要はなく、見積もりを作成するエージェントも正式に見積もりを送信する権限を持つ必要はありません。最小権限の原則は、エージェント時代においてさらに重要です。 - 決定境界：どこまで自律的に行動できるのか？
完全に自動化できる作業もあれば、提案のみを行う作業もあり、特定の金額、リスク、条件が発生した場合に停止して人間の承認を待つ必要がある作業もあります。この「人がどこでプロセスに再び入るべきか」の設計が、AIエージェントが安全に拡大できるかどうかの鍵です。 - 監査境界：事後に再現できるか？
企業は、特定のエージェントがいつ、どのようなタスクを受け、どのデータを使用し、どのツールを呼び出し、どのような変更を行い、人間による承認があったかどうかを答えられる必要があります。完全な記録がなければ、真の責任制度を構築することは困難です。
これらの四つの境界は、企業が実際の従業員を管理する際に採用する基本的な論理と非常に近いものです。従業員が会社に入るときにアカウントを取得し、職務権限が割り当てられ、承認レベルの制限を受け、退職後にアカウントが無効化され、重要な操作も記録されます。違いは、エージェントが大量に複製され、継続的に運用され、人間よりも短時間で大量の操作を行えることです。したがって、企業はこれらの伝統的なガバナンス原則をより自動化し、リアルタイムにする必要があります。
成熟したAIエージェントガバナンスの能力
私たちは、エージェントを企業の正式な環境に導入するためのガバナンス制度は、過去に企業が情報セキュリティ管理、身元管理、開発運用制度を構築したのと同様に、制御と運用効率の両方を考慮する必要があると考えています。すべての行動を禁止するだけでは、エージェントの価値が失われます。モデルに完全に依存すると、企業は受け入れられないリスクにさらされます。成熟した制度は少なくとも六つの能力を備えている必要があります：
- 識別可能なエージェント身元：各エージェントは独自の識別、所有者、責任部門を持ち、それを作成したユーザーやサービスと明確な関係を築くことができます。Microsoft Entra Agent IDは、このような身元管理を企業の身元システムに正式に組み込んでいます。
- 詳細なアクセス制御：権限はユーザー、エージェント、ツール、データ範囲に基づいて決定されるべきであり、単一の共有キーに依存するべきではありません。
- リスクの階層化：公開知識を照会するだけのエージェントと、企業のリソース計画システムのデータを変更できるエージェントは、同じ審査プロセスを受けるべきではありません。Microsoftの内部ガバナンスも、エージェントの開発ツール、共有範囲、データソース、行動能力に応じて異なる強度のガバナンスを採用しています。
- 人と機械の交代メカニズム：エージェントが高額、低信頼性、機密データ、またはルールの例外に遭遇した場合、システムはいつ停止して人に引き渡すべきかを知っている必要があります。
- 完全な観測可能性：システムが成功したかどうかだけでなく、エージェントの使用量、ツールの呼び出し、エラー、異常行動、人間の承認率、実際のビジネス成果も確認できる必要があります。
- ライフサイクル管理：エージェントは作成後、永久に存在するべきではありません。責任者が退職したり、プロジェクトが終了したり、ツールが置き換えられたり、長期間使用されない場合には、削除、再審査、または権限の撤回のメカニズムが必要です。
これらの能力は、AIエージェントガバナンスが「情報セキュリティ部門の追加チェック」ではないことも示しています。それは企業の情報アーキテクチャ、データガバナンス、部門の責任、運用プロセスに関与します。OWASPはAgentic AIの脅威モデルで、推論、記憶、ツール、身元、人間の監督、多エージェントの相互作用を攻撃面として挙げています。エージェントのリスクはもはやモデル自体に集中しておらず、システム全体の相互作用に存在しています。
したがって、企業が将来エージェントが適切に管理されているかどうかを評価する際には、「セキュリティインシデントが発生していない」だけでは不十分です。真に成熟したガバナンスは、もう一つの質問に答えるべきです：これらの制限は、低リスクのエージェントがより迅速に導入されることを可能にしていますか？すべてのエージェントが数か月の審査を経る必要がある場合、ガバナンス自体がイノベーションの障害となります。良い制度は、リスクが明確になるほど、企業が自動化を進めることができるようにするべきです。
AIエージェントガバナンス制度の構築方法
企業がエージェントのガバナンスを構築し始める際に最もよく犯す誤りは、将来のすべての状況を網羅する完全なAIポリシーを一度に策定しようとすることです。エージェント技術の変化は非常に速く、一度の文書で全ての問題を解決するのは難しいです。Microsoftのガバナンス経験でも強調されているように、ガバナンスの枠組みは継続的に見直されるべきです。なぜなら、モデル、ツール、エージェントの能力、企業の採用方法が変化するからです。
より実際的な方法は、まずエージェントのインベントリから始めることです。企業はまず、現在どのエージェントが使用されているのか、誰が作成したのか、どのプロセスをサービスしているのか、どのデータを使用しているのか、そして行動を起こせるかどうかを知る必要があります。エージェントを可視化することで、初めて管理が可能になります。Microsoft Agent 365やAWS Agent Registryは近年、「エージェントの集中発見とインベントリ」を企業のエージェント管理のコア能力として位置付けており、この問題が急速に形成されていることを反映しています。
第二のステップは、エージェントをモデルではなくリスクで分類することです。最先端の大規模言語モデルを使用しているが、会社の公開文書のみを照会するエージェントの実際のリスクは、小さなモデルを使用しているが給与データを変更する権限を持つエージェントよりも低い可能性があります。ガバナンスはデータの機密性、行動権限、不可逆性、影響人数、財務リスクに基づいて決定されるべきであり、GPT、Claude、Geminiを使用しているかどうかを問うべきではありません。
第三のステップは、実際の権限制御をモデルの外に置くことです。エージェントはニーズを理解し次のステップを計画する責任を負いますが、「このツールを呼び出す権限があるかどうか」は、身元、認可、企業ポリシーによって判断されるべきです。これにより、プロンプトが攻撃されたり、モデルが誤った判断をしても、システムには依然として第二の有効な境界が存在します。Microsoft、OWASP、NISTの関連提案は、この「モデルが推論を担当し、外部制御が制限を担当する」方向に徐々に向かっています。
最後に、ガバナンス制度は学習可能なデータを残す必要があります。どのエージェントが頻繁に中止されるのか？どのツールが最も失敗しやすいのか？どのプロセスがほとんど人間の介入を必要としないのか？どのユーザーが常に権限を超えた操作を要求しているのか？これらの情報は問題を追求するだけでなく、企業が人とエージェントの役割分担を段階的に再調整するのに役立ちます。これらのフィードバックがなければ、ガバナンスは静的なルールに過ぎませんが、これらのデータがあれば、ガバナンスは運営管理になります。
これはまた、将来のAIエージェントのガバナンスはプロジェクトが稼働する前に一度だけ行われるべきではないことを意味します。それはむしろ、セキュリティ監視、サイト信頼性エンジニアリング、またはDevOpsのように、継続的な観察、調整、改善のサイクルです。モデルの更新、ワークフローの変更、データソースの増加は、エージェントの元々のリスクを変える可能性があるため、ガバナンスは製品自体と共に進化し続ける必要があります。
AIガバナンスは新たな企業の基本能力になりつつある
エージェントが企業のコアシステムに入り始めると、エージェントを管理するためのプラットフォームと制度も急速に形成されています。Microsoftはエージェントの身元とライフサイクルをEntraに組み込み、Amazon Web ServicesはAgent RegistryとAgentCore Gatewayを設立し、OWASPはエージェンティックAIに特化したセキュリティリスク分類を発表しました。これらの動きは、業界が「エージェントをどのように構築するか」から、「100のエージェントを構築した後、企業はどのように管理するか」という次の問題に向かっていることを示しています。
したがって、今こそ企業が基本的なガバナンスフレームワークを構築する時です。会社に数百のエージェントが出現してからインベントリを開始するのでは、最初から身元、権限、記録、ライフサイクルを設計するよりもコストが高くなります。特にエージェントが実際の実行能力を持ち始めると、ガバナンスは最初の事故が発生するまで待つことはできません。
技術自体は企業の責任を決定しません。モデルは推論でき、エージェントは実行でき、システムは自動化できますが、最終的には企業が誰にどの仕事をAIに任せる権限があるのか、AIがどこまで進むことができるのかを決定する必要があります。AIが質問に答えるだけの時は、私たちは答えを管理しますが、AIが実際に行動を始めると、企業はその権限を管理し始める必要があります。
