仕事の相談をAIに投げるとき、業種も規模も、いま困っていることも、すでに試したことも書きました。返ってきた答えを読み始めて、3行で手が止まる。それは知っている、と思う。
よく言われる対処は、だいたい3つに絞られます。AIに役割を与えること、前提と制約をもっと具体的に書くこと、そして出力の形式を指定すること。どれも間違っていませんし、最初の数回は実際に効きます。
ただ、この3つを全部やっても、返ってくるのが一般論のままという領域があります。自分がよく知っている話題を相談したときです。この記事が立てる問いは、そこにあります。書き足りていないのは背景ではなく、自分がどこまで分かっているかのほうではないでしょうか。
背景も制約も全部書いたのに、返ってきたのは自分が知っていることだった
私は、ある制度が世の中に生まれるまでの手順をAIに尋ねたことがあります。関わる組織はどこか、承認はどういう順番で下りるのか、全体でどれくらいの期間がかかるのか。返ってきたのは教科書どおりの正確な整理で、抜けもありませんでした。
そして私は、それを全部知っていました。
私は状況を書いていなかったわけではなく、何を知りたいのかも、なぜ知りたいのかも書いていました。それでも説明は、一番手前から始まりました。3往復目で、私はこう打ちました。その話は分かっている、と。
AIに足りないのは、あなたの状況ではなく、あなたがどこまで分かっているかである
状況と到達点は、別のものです。
状況は、自分の外側にある事実です。会社の規模、予算、期限、すでに試した施策といったものは、見れば分かるのでそのまま書き出せます。数字にもできますし、他人に見せても同じものとして伝わります。
到達点は、自分の内側にあります。この話題について自分がどこまで理解しているのかは、見ても分からないので書き出せません。数字にもできませんし、そもそも輪郭がありません。
AIに渡している情報を並べてみると、そのほとんどが状況で、到達点は一行も入っていないことが多い。そしてAIの側は、書かれていないものを補えません。あなたがこの分野の初学者なのか、10年やってきた人なのかを判定する材料が、どこにもないからです。
判定できないなら、最も安全な選択をするしかありません。誰にでも当てはまる一般論を、一番手前から並べることです。ここで飛ばして専門的な話から入れば、初学者だった場合に何も伝わりません。手前から始めるほうが、外れたときの損失が小さい。
自分が何を知っているかは、知らないことに出会うまで見えない
では、到達点を書けばいいではないか。そう思われるかもしれませんが、これがうまくいきません。
試しに、自分がいま詳しいと思っている分野について、知っていることを書き出してみてください。10個くらいは出て、そこで手が止まります。実際に知っていることは、10個どころではないはずです。
知識は目録の形で頭に入っているわけではなく、必要になったときに取り出せる形で入っています。だから外から問われないと、あることに気づかない。
私が「その話は分かっている」と気づいたのも、AIの説明を読んだ後でした。読む前の私は、自分がその手順を知っていると自覚していたわけではありません。答えを見せられて、初めて既知だと分かった。順番が逆なのです。
分かっているという感覚は、説明させられた瞬間に崩れる
この性質については、RozenblitとKeilが2002年にCognitive Science誌の第26巻へ発表した研究があります。
実験では、まず自転車やトイレやジッパーの仕組みについて、自分がどれくらい分かっているかを本人に採点させます。次にその仕組みを実際に説明させて、そのうえでもう一度採点させます。
2回目の点数は一貫して下がり、彼らはこれを説明深度の錯覚と呼びました。人は自分の理解を、実際より深く、まとまりのあるものとして感じている。
ここで事実と解釈を分けておくと、この研究が対象にしたのは日用品の仕組みであって、AIとの対話を測ったものではありません。ここから言えるのは、自分の理解の輪郭は自分では測れない、という一般的な性質だけです。
ただ、その性質はいまの話とつながっています。輪郭が測れないなら、到達点も書けない。書けないものは、渡せません。
丁寧に背景を書くほど、AIは手前から説明を始める
ここに、少し意地の悪い構造があります。
背景を丁寧に書く人ほど、質問の文章は長くなり、AIが読み取る情報量も増えます。ところが増えた情報のほとんどは、経緯や関係者や制約といった状況の側です。
AIの側から見ると、これは初めてこの話題に触れる人が、状況を整理しながら質問しているように読めます。実際、書き方だけを見れば初学者の質問と区別がつきません。丁寧さそのものが、一般論を呼び込んでいます。
質問の開き方も同じように働き、広く聞けば広い答えが返ってきます。この件について整理してほしい、と書けば、整理は一番外側から始まります。問いを開いて余白を残せという助言は、その分野を知らない人にはよく効きますが、すでに知っている人には逆に働くことがあります。
知っていることは書き出せないが、いまの自分の答えなら書ける
では、どうするか。到達点を列挙するのが無理なら、別の形で渡すしかありません。
方法は一つで、質問する前に自分の暫定的な答えを書いてしまうことです。
この件はどうなると思いますか、ではなく、この件はこうなると私は見ているが、どこが間違っているか、と書く。AとBの違いを教えてください、ではなく、AとBの違いはこの点だと理解しているが、他にあるか、と書く。
自分の答えを書くと、そこに到達点が丸ごと乗ります。使った語彙、飛ばした説明、当然の前提として扱った部分。そのすべてが、どこまで分かっているかの証拠になり、列挙するよりはるかに正確です。書き出そうとしても出てこなかったものが、答えの形にすると勝手に出てきます。
そしてAIの側の選択肢が変わります。あなたの答えがそこに置いてあると、同意するか、反論するか、足りない部分を補うか、残るのはこの3つだけです。手前から説明をやり直すという選択肢が、構造的に消えます。
Q：AIの回答が一般論になるのは、なぜですか。
A：背景の情報が足りないからだと説明されることが多いのですが、すでに詳しい話題では原因が違います。AIには、あなたがその話題をどこまで理解しているかを判定する材料がありません。判定できないときは、一番手前から説明するのが最も安全な選択になります。そのため、状況をいくら足しても手前から始まります。自分の暫定的な答えを先に書くと、その材料が渡ります。
自分の答えを先に出すことのコストを、正直に書いておく
この方法には、無視できないコストが2つあります。
一つは、疲れることです。暫定的にでも答えを出すには頭を使いますが、人が相談したくなるのは、たいてい考えるのが面倒なときです。その状態で、まず自分の答えを書けというのは、かなり酷な要求だと思います。
もう一つは、ずれたまま固まるリスクです。自分の答えを先に置くと、AIはそこを出発点にします。前提そのものが間違っていた場合、間違ったまま議論が進むことがあります。反論はしてくれますが、それはあなたが立てた土俵の上での反論です。土俵ごと違っていたときに、それを教えてくれるとは限りません。
だから、使い分けが要ります。自分がその分野を知らないと自覚しているときは、開いて聞くほうが早い。手前から説明されることが、そのまま必要な説明になるからです。
自分の答えを先に出すのは、既知の範囲が広い話題に限ります。その見分けがつかないうちは、両方を試して、返ってきた答えを比べるのが確実です。
判断基準は、返ってきた答えのどこから読み始めたか
自分の渡し方が合っていたかどうかは、返ってきた答えを読むときの自分の動きで分かります。
最初の3行を読み飛ばしたなら、渡し方が足りていません。読み飛ばしたということは、そこに書かれていたのが既知だったということです。次からは、その3行の内容を自分の側から先に書いてしまえばいい。
途中から読み始められたなら、渡せています。最初の一文で、そこは違う、と思えたならさらに良い。反論できるのは、相手があなたの立っている場所まで降りてきた証拠だからです。
説明をやり直させているのは、AIの性能でも、あなたの質問の下手さでもありません。あなたがどこまで分かっているかを、AIが知る手段を持っていないだけです。そしてそれは、あなた自身にもよく見えていません。
だから、知っていることを説明しようとしなくていいのだと思います。いまの時点での自分の答えを、間違っていてもいいので一度書いてみる。それだけで、返ってくるものの入り口が変わるかもしれません。
次は、どこから読み始めることになるでしょうか。
