AIエージェントを社内に入れることになった。便利なのは分かる。ただ、勝手にメールを送られたら困る。出してはいけない相手に資料を共有されても、やはり困る。
よく言われる答えは、だいたい一つです。取り返しのつかない操作の手前に、人が確認する画面を置く。送信の前、公開の前、削除の前に一度止めて、人間に見せる。これがガードレールだ、という設計です。
この記事が立てる問いは違います。その確認画面は、半年後も本当に読まれているでしょうか。
承認欄を作った時点で、事故は防いだことになっている
承認は、防御の仕組みとして設計されたものではありません。責任の所在を決める仕組みとして設計されたものです。
稟議と同じ構造です。判子が押された時点で完了するのは、内容の検証ではなく手続きです。誰が承認したかは記録に残ります。何を見て承認したかは、どこにも残りません。
AIの承認画面も同じです。押した記録は残ります。中身を読んだかどうかは残りません。
だから承認欄を置くと、設計している側には、そこで事故が止まったように見えます。関門が一つ増えたのだから、リスクは下がったはずだ。この感覚は自然ですが、根拠は薄いのです。関門が機能するかどうかは、そこに立つ人が毎回きちんと見るかどうかにかかっています。
そして人は、毎回きちんとは見ません。
承認を押す人は、減るのではなく増える
承認の回数が増えるほど、一回あたりに注ぐ注意は薄くなります。ここまでは、多くの方が経験から知っていることだと思います。
問題は、薄まる速さです。
AIエージェントは人間より桁違いに多く行動します。一日に数回だった確認が、一日に数十回になる。しかも大半は問題のない操作です。九割九分が正常なら、人は「たぶん今回も正常だ」と学習します。この学習は怠慢ではなく、限られた注意を配分する正常な働きです。
三か月も経てば、承認は作業になります。半年後には、画面を読まずに押している人が出ます。
ここからは私の解釈です。承認が形骸化する速度を測った研究を、私は確認できていません。ただ、構造としてはこう考えるのが自然です。承認画面は、押されるたびに少しずつ弱くなる。使えば使うほど強くなる仕組みではありません。
設計するとき、私はここを見落としました。取り消せる操作は都度承認、取り消せない操作は禁止、という二段構えを一度は組みました。中間を作れば柔軟に運用できると考えたからです。
その中間は、人が毎回注意することを前提にしていました。前提が崩れれば、中間はただの素通しになります。柔軟に見えた設計は、実際には弱い場所を一つ増やしていただけでした。
機密は入れないという運用は、一度入れた瞬間に終わる
承認が当てにならないなら、次に考えるのは入口です。そもそも危ない情報を触らせなければいい。
この発想も、実務ではよく採られます。専用のフォルダを用意して、そこに置いたものだけAIに見せる。人事や顧客の情報は入れない。範囲を決めて、その中だけで動かす。
私もこの案を出しました。そして、その場で崩れました。
専用フォルダに元データをコピーした時点で、AIはその中身で動けます。範囲を絞ったことにはなっていません。移した先が新しい範囲になっただけです。
入口の制御が効くのは、置く人が毎回正しく判断する場合だけです。急いでいる日に、確認用にとりあえず一式コピーする。それだけで設計は終わります。承認と同じで、人の注意力を土台にした仕組みでした。
入口を締める意味がまったくないわけではありません。ただ、これは主たる防御になりません。事故が起きたときの被害の広がりを、いくらか抑えるだけのものです。
塞いだ機能の隣に、同じことができるやり方が残っている
では出口を塞ごう、という話になります。ここが導入の実務でいちばん踏みやすい落とし穴でした。
メールの送信機能を、管理画面で禁止したとします。AIは下書きまでしか作れなくなる。これで誤送信は止まったように見えます。
止まっていません。AIにブラウザを操作させる機能を有効にしていれば、メールの画面を開いて、宛先を入れて、送信ボタンを押せてしまいます。禁止したのは一つの経路であって、目的の達成そのものではないからです。
エージェントと呼ばれるAIは、手段ではなく目的を受け取って動きます。頼まれたことを達成する道を探す性質があります。一本塞げば、隣の道を試す。悪意ではなく、そういう作りです。
だから統制は、機能ごとではなく目的ごとに設計する必要があります。メールを送るという目的に到達できる道が何本あるかを数えて、全部塞ぐ。一本でも残っていれば、他の設定はすべて意味を失います。
実務的には、こうなります。業務システムへの操作は一つの経路に集約して、そこで読み書きを分ける。ブラウザ側の許可リストには、その業務システムのドメインを入れない。入れた瞬間に、集約した意味が消えます。
なお、この問題は個別の製品の欠陥ではありません。AIが外部のシステムにつながるための共通の規格には、セキュリティの仕組みがそもそも組み込まれていない、とガートナーは指摘しています。つなぐ側が個別に設計するしかない、という前提から始まります。
最後まで残るのは、人が判断しない場所だけである
ここまでを並べると、残るものが見えてきます。
承認は摩耗します。入口は一度のコピーで無効になります。機能ごとの遮断は迂回されます。三つとも、人が正しく判断し続けることを土台にしていました。
残るのは、人の判断が入らない場所だけです。
読む、調べる、下書きを作る。この範囲は自由にさせて構いません。最悪の場合でも、誰の目にも触れず、後から取り消せます。誰かが毎回注意する必要がありません。
送る、公開する、共有リンクを出す、消す。この範囲は、AIにできないようにします。承認を挟むのではなく、機能そのものを渡さない。ガードレールと呼べるのは、ここだけです。
判定は一つで足ります。その操作の結果を、社外の人が見られるか。見られるなら渡さない。取り消しに相手や情報システム部門の協力が要るなら、渡さない。
この線を引くと、承認画面はほとんど出なくなります。出たら異常だ、という状態を作れます。回数が減れば、摩耗のしようがありません。
できないことを決めるコストを、正直に書いておく
公平を期すために、逆側も書きます。この設計には、はっきりした代償があります。
送信も公開もできないAIは、仕事を最後まで終わらせません。下書きを作るところで止まり、そこから先は人が手を動かします。自動化で得られるはずだった時間の、おそらく半分は戻ってきません。
導入を推進した人が経営から問われるのは、まさにその半分についてです。なぜ全部任せないのか。ここで説明できないと、例外を作ることになります。この部署だけ、この業務だけ、送信を許可する。
例外は必ず広がります。一つ通れば、次を断る理由がなくなるからです。半年後には、最初に引いた線がどこだったか誰も覚えていません。
もう一つ、正直に書いておくべきことがあります。この設計でも、事故は完全には防げません。
外部のページに指示文を仕込んでAIを乗っ取る攻撃があります。提供元自身が、この危険はゼロではないと公式の説明に書いています。防ぎ切ったと言える段階ではありません。
ここで指摘できるのは、次の事実だけです。塞いだ範囲では事故は起きません。塞がなかった範囲では、いつか起きます。
判断基準は、誰かの注意力を当てにしているかどうかである
読者の方が明日から使える形にすると、問いは一つです。
この統制は、誰かが毎回注意することを前提にしていないか。
前提にしているなら、それは統制ではなく期待です。承認画面も、入力してはいけない情報を定めた規程も、専用フォルダの運用も、全部この問いに引っかかります。引っかかったものは、時間とともに効かなくなると見ておいたほうがいい。
同じ問いは、導入するツールを選ぶときにも使えます。
比較されるのは、たいてい賢さです。どちらの回答が優れているか。ただ、賢さの順位は半年で入れ替わります。入れ替わらないのは、統制の細かさのほうです。
見るべき点は三つに絞れます。一つ、読み取りと書き込みを、機能の単位で別々に許可できるか。二つ、AIが動き出す前の段階で、内容を検査して止める仕組みがあるか。三つ、実際に何をしたかの記録を、自社の監視基盤へ出せるか。
この三つは、どれも人の注意力を必要としません。だから比較する意味があります。
そして、この三つが揃っていない製品は、どれだけ賢くても、社内データには近づけないほうが安全です。
よくある疑問
Q：人による確認を、まったく入れなくてよいのでしょうか。
A：入れて構いません。ただし、確認を防御の中心に据えないでください。人の確認は、取り返しのつく操作についてだけ意味を持ちます。取り返しのつかない操作は、確認ではなく、できないようにするほうが確実です。確認は保険であって、土台ではありません。
Q：全部禁止にすると、AIエージェントを入れる意味がなくなりませんか。
A：読む、調べる、下書きを作る、この三つだけでも作業時間はかなり減ります。減らないのは、最後に人が送信ボタンを押す数秒です。失われるのはその数秒で、得られるのは誤送信が構造的に起きない状態です。交換として悪くないと考えています。
Q：小規模な試験導入でも、ここまで必要でしょうか。
A：試験導入のほうが、むしろ設定を確認しやすいと思います。ガートナーが2026年2月に国内で行った調査では、AIエージェントの活用の議論が先行し、セキュリティの議論が後手に回っていると答えた企業が59.3%に上りました。後から直すより、人数が少ないうちに線を引くほうが手間は小さくて済みます。
この設計が試されるのは、事故が起きたときではない
最後に一つだけ。
敷いたガードレールが効いているかどうかは、事故が起きなかったことでは確かめられません。何も起きない期間は、統制が効いていた場合にも、たまたま運が良かった場合にも、同じように見えます。
確かめる方法は一つです。禁止したはずの操作を、意図的にAIに指示してみる。止まれば効いています。別のやり方で達成されたら、効いていません。
ガートナーは、2028年までに企業にとって最も深刻な情報漏洩の原因はAIエージェント経由になる、との見方を示しています。この予測が当たるかどうかは分かりません。ただ、当たった場合に自社が含まれるかどうかは、いま引く線で決まります。
いま社内で動いているAIエージェントの統制は、誰の注意力を当てにしているでしょうか。
