AIが一般論しか返さないのはなぜか？背景を詳しく書いても変わらないときの理由

AIが一般論を返すのは、質問した人がその話題をどこまで理解しているかを、AIが判断できないからです。判断する材料がないとき、AIは誰にでも通じる基本の説明から答えを始めます。

しかし、業種や予算、困っていること、試したことまで書けば、答えは具体的になるはずだと思うかもしれません。実際には、自分がよく知っている話題を相談すると、背景を詳しく書いても、返ってくるのは知っている内容のままになりがちです。

この記事では、一般論が返ってくる理由と、質問の前に自分の仮の答えを書く方法、その方法の弱点を順に説明します。

背景と制約を全部書いても、知っている内容が返ってくることがある

AIへの相談でよく勧められる工夫は、役割を与える、前提と制約を具体的に書く、出力の形式を指定する、の3つです。どれも役に立ちますが、3つ全部を行っても、自分がよく知っている話題では一般論が返ってくることがあります。

私は以前、ある手続きの流れをAIに尋ねました。関わる組織、承認の順番、全体にかかる期間を聞き、知りたい理由も書きました。

返ってきた答えは正確で、抜けもありませんでした。ただ、書かれていたことは私が全部知っている内容でした。3往復目に、私は「その話は分かっている」と打ち込みました。

AIに伝わっていないのは、質問した人の理解の程度である

AIへの質問に書く情報には、自分の状況と、自分の理解の程度の2種類があります。多くの質問には状況だけが書かれていて、理解の程度は書かれていません。

理解の程度が書かれていなければ、AIには、質問した人が初めて学ぶ人なのか、10年取り組んできた人なのかを見分ける材料がありません。見分けられないとき、基本から順に説明すれば、どちらの人にも内容は伝わります。

反対に、専門的な話から始めると、初めて学ぶ人には伝わりません。基本から始めるほうが外れたときの損が小さいので、答えは一般論から始まります。

自分が何を知っているかは、自分でも書き出しにくい

理解の程度を書けばよいと考えても、それを書き出すのは難しい作業です。自分が何を知っているかには、説明を読んだり問われたりして初めて気づくことがあるからです。

詳しいと思っている分野について、知っていることを書き出してみると、10個ほどで手が止まります。実際に知っていることは、それよりずっと多いはずです。

知識は一覧表の形で頭に入っているわけではなく、必要になったときに思い出せる形で入っていると思います。私が「その話は分かっている」と気づいたのも、AIの説明を読んだ後でした。説明を読む前は、その手順を知っているとは意識していませんでした。

仕組みを説明させると、理解しているという自己評価は下がる

自分の理解の範囲を自分で正しく測れないことは、心理学の研究で示されています。RozenblitとKeilが2002年に学術誌Cognitive Science（第26巻）で発表した研究です。

実験では、参加者がジッパーなどの身近な道具について、仕組みをどれくらい理解しているかを自分で採点しました。次に、その仕組みを実際に文章で説明し、もう一度採点しました。

2回目の点数は、1回目より一貫して低くなりました。著者らはこの現象を「説明深度の錯覚」と呼んでいます。人は自分の理解を、実際より深いものと感じているということです。

この研究が調べたのは道具の仕組みについての理解で、AIとのやりとりを調べたものではありません。この研究から言えるのは、自分の理解の範囲を自分では正確に測りにくい、ということまでです。範囲を測れなければ、理解の程度を質問に書くことも難しくなります。

背景を丁寧に書くほど、初めて学ぶ人の質問に見えやすい

背景を丁寧に書くと、質問は長くなりますが、増えた分のほとんどは経緯や関係者や制約といった状況の説明です。状況を整理しながら尋ねる文章は、書き方だけを見ると、初めてその話題に触れる人の質問と区別がつきません。

質問の範囲を広くとった場合も、同じことが起きます。「この件について整理してほしい」と書くと、AIは話題全体の基本から整理を始めます。

質問を広く開いておくという助言は、その分野を知らない人には役に立ちます。すでに詳しい人にとっては、知っている基本から説明が始まる原因になることがあります。

質問の前に、自分の仮の答えを書く

理解の程度を一覧にして書くのが難しいなら、質問の前に、自分がいま考えている仮の答えを書く方法があります。仮の答えを書くと、自分がどこまで分かっているかが、その答えの中身からAIに伝わります。

質問の書き方は、次のように変えます。

仮の答えには、使った言葉、説明を省いた部分、当然の前提として扱った部分が含まれます。どれも、書いた人がどこまで分かっているかを示す手がかりになります。知っていることを一覧にしようとしても出てこなかった知識が、答えを書くと文章の中に出てきます。

仮の答えが書かれていると、AIの返答は、その答えに同意する、反論する、足りない部分を補う、のどれかになりやすくなります。基本から説明し直す返答は少なくなります。

よくある疑問

Q：AIの回答が一般論になるのは、なぜですか。

A：背景の情報が足りないからだと説明されることが多いのですが、すでに詳しい話題では理由が違います。AIには、質問した人がその話題をどこまで理解しているかを判断する材料がありません。判断できないときは基本から説明するほうが外れにくいので、状況をいくら書き足しても、答えは基本から始まります。自分の仮の答えを先に書くと、判断の材料がAIに渡ります。

仮の答えを先に書く方法には、手間と前提のずれという弱点がある

仮の答えを先に書く方法には、弱点が2つあります。1つは手間がかかること、もう1つは前提が間違ったまま話が進むおそれがあることです。

仮の答えを書くには、考える手間がかかります。人がAIに相談したくなるのは、考えるのが面倒なときが多いので、先に答えを書くのはかなり負担の大きい作業だと思います。

また、仮の答えを先に書くと、AIはその答えを出発点にして返答します。仮の答えの前提が間違っていた場合、AIは答えの細かい部分には反論しても、前提そのものの誤りまでは指摘しないことがあります。

そのため、この方法は話題によって使い分けます。その分野をよく知らないと自覚しているときは、基本からの説明がそのまま必要な説明なので、広く尋ねるほうが早く分かります。仮の答えを先に書くのは、すでに知っていることが多い話題のときです。どちらか分からないときは、両方の書き方で尋ねて、返ってきた答えを比べると確かめられます。

返ってきた答えのどこから読み始めたかで、質問の書き方を確かめる

質問の書き方が合っていたかどうかは、返ってきた答えをどこから読み始めたかで分かります。最初の数行を読み飛ばしたなら、自分の理解の程度がAIに伝わっていません。

読み飛ばした数行には、すでに知っている内容が書かれていたはずです。次に質問するときは、その内容を自分の仮の答えとして先に書いておきます。

最初から読み進められたなら、理解の程度は伝わっています。最初の一文に「そこは違う」と反論できたなら、AIが自分の考えに直接返答しています。

一般論が返ってくる理由は、質問した人の理解の程度をAIが知る手段がないことにあります。その程度は、質問した本人にもはっきりとは見えていません。

知っていることを全部説明しようとしなくても大丈夫です。次にAIに相談するときは、間違っていてもよいので、いまの自分の答えを一度書いてから尋ねてみてはいかがでしょうか。