AIに調べ物を頼むと、出典のリンクを添えた答えが返ってきます。リンクを開いてみると確かにそう書いてあるので、納得してそのまま次の作業に進む。
生成AIのファクトチェックについては、方法がもうだいたい出そろっています。出典を必ず示させる、複数のAIに同じことを訊く、検索を組み込んだAIで裏を取る。最後は人の目で確認する。どれも有効な方法です。
ただ、これらが全部うまくいった場面を考えてみます。出典は実在していて、書かれていた内容も正確だった。それでも答えが間違っていることがあります。
この記事が立てる問いはそこです。正しい資料を正しく引いた答えが、なぜ自分の話ではなくなるのか。
AIの答えも、その根拠も、間違っていなかった
先日、仕事で使っている法人向けのAIサービスで、契約している席の種類を入れ替えようとしました。安いほうの席を1つ減らして、高いほうの席を1つ増やす。月25ドルの席を手放して月125ドルの席を買うだけの、単純な作業のはずでした。
作業の前に、減らした分は日割りで返金されるのかをAIに訊きました。返ってきた答えは、返金されない、でした。
その答えには根拠として公式ヘルプの原文まで添えられていて、即時のクレジットも返金も発生しない、と確かにそう書いてあります。だから月の途中で減らすと1ヶ月分が無駄になる、更新日の直前に作業したほうがいい。私とAIのやり取りは、そこまで進みました。
ところが実際に管理画面を開いて確認画面を出すと、減らす席のところに24.15ドルのクレジットが計上されていたのです。残り日数分が、きちんと差し引かれていました。
公式の説明が指していたのは、別の操作だった
確認画面を見て気づいたのは、ヘルプの文が間違っていたわけではない、ということでした。
あの文が説明していたのは、メンバーを削除する操作です。誰かをチームから外すと、その人が使っていた席は空きますが、契約している席の数のほうは変わりません。空いた席の料金は、その月のあいだ払い続けることになります。だから返金は発生しない。正しい説明です。
一方、私がやろうとしていたのは、契約している席の数そのものを減らす操作でした。こちらは請求の対象が減るので、日割りで精算されます。同じヘルプページの中に、この2つは別の工程として書き分けられていました。
資料は正しく、当てはめる先が違ったのです。
二つの操作は、同じ言葉で呼ばれている
なぜ取り違えたのかというと、日常の言葉では、どちらも減らすと呼ばれるからです。
人を減らす。席を減らす。話している側にとっては、同じ一つの作業に見えます。実際、管理画面でもこの2つは隣り合っていて、片方はメンバーの一覧、もう片方は契約の設定に置かれています。画面が違うだけで、たどり着く入口は同じでした。
サービスの側から見ると、この2つはまったく別の処理です。片方は割り当ての変更で、もう片方は在庫の変更にあたります。この区別を知っている人なら、ヘルプのどの文が自分の話なのかは一目で分かります。
同じ形の取り違えは、他の場面にもあります。解約と自動更新の停止、削除とアーカイブ、退会とデータの消去。どれも会話の中では一言で済ませてしまう区別ですが、実際に起きることは違います。違いを知らないうちは、どちらの説明を読んでも自分の話に見えます。
どちらの操作なのかを決める情報は、資料の外にある
ここが今回のいちばん重要な部分です。席の在庫と、席の割り当ては別のものである。この一文は、ヘルプのどこにも書かれていませんでした。
資料というものは、その区別をすでに知っている人に向けて書かれます。書き手にとっては前提なので、わざわざ説明することがありません。区別を知らない読み手には、どちらの文も自分の話に見えてしまいます。
ここから先は私の解釈です。仕組みとして確認したわけではないので、そのつもりで読んでください。
AIは資料を読めますが、読み手がいまどちらの操作をしようとしているかまでは読めません。訊かれた言葉が減らすであれば、減らすと書かれた文を引いてきます。引いてきた文そのものは正しくて、その正しい文が違う場所に置かれるだけです。
AIに確かめ直させても、同じ答えが戻ってくる
生成AIのファクトチェックとして勧められている方法を、この件に当てはめてみます。
出典を示させる。示されました。原文まで出ています。複数のAIに同じことを訊いても、同じ公式ヘルプが最上位にあるので、どのAIも同じ文にたどり着きます。検索を組み込んだAIで裏を取れば、裏は取れます。その文は実在するからです。
どの方法も、確かめているのは同じ2つでした。その文が本当に存在するか。書かれている内容が正確か。今回はどちらも通ってしまいます。
通らないのは、その文が自分の話かどうかという一点だけです。そして、この一点をAIは判定できません。判定するための材料が、AIの読んでいる資料の中に無いからです。
もう一度訊いても、同じ資料から同じ答えが戻ってきます。確認の輪が、AIの内側で閉じています。
全部を疑い直すコストを、正直に書いておく
逆側も書いておきます。この話を真に受けてAIの答えを毎回すべて疑い直していたら、AIを使う意味そのものがなくなります。
実際のところ、AIの答えはほとんどの場合に合っています。今回のような取り違えが起きるのは、同じ言葉が2つの別々のものを指している場面に限られていて、そういう場面はそれほど多くありません。
疑うための手間も無視できず、管理画面を開いて確認画面まで進めるのは、質問を1行打つより明らかに面倒です。全部にこれをやっていたら、調べ物の速度は結局もとに戻ってしまいます。
だから適用する範囲を絞ります。お金が動くとき、契約が変わるとき、あとから戻せないとき。この3つに当たるときだけで足りると考えています。
判断基準は、正しいかではなく、誰の何についての説明かである
明日から使える形にします。AIが何かの資料を引いてきたら、まずその文の主語を見てください。
今回の例で言えば、ヘルプの主語はメンバーを削除するとで、私がやろうとしていた行為の主語は席の数を減らすでした。並べてみると、主語が一致していません。主語が一致していない文は、内容がどれだけ正しくても自分の話ではありません。
訊き方も変わります。これは合っていますかではなく、この説明は私がやろうとしている操作について書かれたものですか、と訊く。前者にはAIが答えられますが、後者は答えの根拠が資料の外にあるので、AIが答えたとしても確かめようがない種類の質問です。
取り消せる操作なら、訊くより先に確定の一歩手前まで進める
もう一つ、今回いちばん効いた方法を書いておきます。
多くの操作には、確定する前の確認画面があります。金額が出て、変更前と変更後が並んで、そこにボタンがある。この画面まで進めても、ボタンを押さなければ何も起きません。今回、答えを決めたのはこの画面でした。
そこに出ているのは、操作についての説明ではなく、その操作の結果そのものです。だから一般論と自分の状況を突き合わせる作業が要らなくなりますし、突き合わせが要らなければ取り違えも起きません。
呼び方はサービスによって違い、確認画面、見積もり、プレビュー、変更内容の確認などと書かれています。名前が違うだけで、どれも同じ役割を持っています。
取り消せない操作ではこの方法が使えないので、そのときは前の章で書いた主語の照合に戻ることになります。
よくある疑問
Q：AIの回答に出典が付いていれば、その内容は信用してよいのでしょうか。
A：出典が実在すること、記述が正確であることまでは、出典を開けば確認できます。ただし、その記述があなたの状況について書かれたものかどうかは、出典を開いても分かりません。前提となる区別が資料に書かれていないことがあるからです。お金や契約が動く場面では、確定前の画面まで自分で進めて実際の数字を見るほうが確実です。
Q：ハルシネーションの対策をしていれば、この問題も防げますか。
A：防げません。ハルシネーションは、AIが事実に基づかない情報を作り出す現象で、対策は根拠のある情報だけを答えさせる方向に働きます。今回の取り違えは、根拠のある情報を答えた結果として起きているので、対策が効く方向とずれています。
確かめる対象は、正しさから持ち主へ移っていく
AIに調べ物を任せる場面は、これから増えていくと思います。速くて、たいてい合っていて、根拠まで添えてくれるのですから、使わない理由がありません。
その中で、確かめるべきことだけが少しずつ動いていきます。答えが正しいかどうかは、AIが自分で確かめられるようになってきました。誰の話なのかという部分は、まだこちらの領分に残っています。
あなたが最後にAIから受け取った答えは、あなたの話でしたか。
