AIの質問返しが、プロンプトを直しても止まらないのはなぜか？

AIの質問返しがプロンプトを直しても止まらないのは、AIが、聞かれた問いより広い問いを解こうとするからです。広げた問いの中に確定できない部分があると、AIは確定できる部分の答えまで出さずに、こちらへ質問を返します。

しかし、質問返しの原因としてよく挙げられるのは、依頼が曖昧なこと、背景を伝えていないこと、一度に頼みすぎていることの3つです。この3つは実際に原因になり、プロンプトを書き直せば質問は減ります。それでも、条件も目的も数字も書いた依頼に、その数字を聞き返されることがあります。

この記事では、楽器スタンドを探したときのやりとりと検索システムの研究2本をもとに、返ってきた質問に答えるかどうかの決め方を書きます。

楽器スタンドの依頼で、AIは伝えた数字を聞き返した

高さが70センチまで上がる楽器スタンドの型番をAIに聞いたところ、3回続けて型番の代わりに質問が返ってきました。条件を数字で伝えても、AIがその数字を聞き返すことがあります。

条件は高さの1つだけでした。立って演奏する位置に合わせるため、70センチという数字は最初から決まっていました。

3回のやりとりは次のとおりです。

1回目の説明は丁寧で、内容も正しいものでした。それでも、聞いた型番は3回とも出てきませんでした。

AIは、聞かれた1つより広い3つの問いを解こうとした

こちらが聞いたのは、高さ70センチまで上がるスタンドの型番1つでした。AIは、固定方式、楽器の底にある受け金具の規格、高さの3つを決めようとしていました。

固定方式と金具の規格は、実物を手に取らないと決まりません。高さは、製品の仕様表を見れば決まります。実際に自分で検索すると、70センチまで上がる製品はすぐに見つかりました。

AIが問いを広げた理由は分かります。高さが合っていても楽器が載らなければ使えないので、載せ方まで含めて考えたのだと思います。人に相談したときも、親切な相手ほど同じことをします。

困ったのは、問いを広げた後にAIが返した内容です。AIは、決まらない2つを理由に、決まる1つの答えまで出さず、出さなかった分を質問にして返してきました。

型番を答えるための情報を、AIは最初から持っていた

3回目のやりとりで、AIは、その製品がすでにこちらの持ち物リストに載っていると自分で書きました。型番を答えるための情報を、AIは最初から持っていました。

聞き返しは、ふつうは情報が足りないときに起きます。この場面では、聞いた問いに答える情報は足りていました。

情報が足りなくなったのは、AIが自分で広げた問いのほうです。受け金具の規格は、商品の写真からは読み取れません。質問が返ってきた理由は、こちらの情報不足よりも、AIが問いを広げたことにありました。

聞き返しで検索の成績が上がる場合と下がる場合が、研究で報告されている

検索システムが利用者に聞き返す効果を測った研究では、良い質問を1つ返すと検索の精度が大きく上がりました。一方で、役に立たない質問と回答を履歴に加えると、検索の成績が下がるという研究もあります。

1本目は、Mohammad Aliannejadi、Hamed Zamani、Fabio Crestani、W. Bruce Croftの4名が2019年の情報検索の国際会議SIGIRで発表した論文です。TREC Web Track 2009〜2012のデータをもとに、198のトピックと762の観点について、1万件を超える質問と回答の組を集めました。良い質問を1つ返すと、最上位の検索結果の精度（P@1）が170%以上改善しました。

2本目は、Ivan Sekulić、Weronika Łajewska、Krisztian Balog、Fabio Crestaniの4名が2024年の欧州情報検索会議ECIRで発表した論文です。役に立たない質問と回答を会話の履歴に加えると、検索の成績が下がると報告しています。そのうえで、質問と回答の組が役に立つかを判定する分類器を提案しました。

2本とも、測ったのは検索システムの成績で、人がAIと話したときの満足度は測っていません。2本から分かるのは、聞き返しが成績を上げる場合も下げる場合もあるということです。

答えたら返事が変わる質問と変わらない質問は、文面では見分けにくい

研究では、役に立つ質問と回答だけを使う仕組みが作られています。ふだん使うAIの画面では、その選り分けは利用者には見えません。

答えたら返事が変わる質問も変わらない質問も、丁寧な日本語で返ってきて、「正確にお答えするために」といった理由が添えられます。文面だけで区別するのは難しいです。

2つを分けるのは、その質問に答えたときに、返ってくる答えが変わるかどうかです。いまのスタンドが何センチまで上がるかに答えても、70センチまで上がる製品の型番は変わりません。あの質問は、答えを先送りするためのものでした。

見分けられないうちは、聞かれた側が自分の伝え方を疑い続けます。もっと詳しく書けばよかったか、前提を省いたのがまずかったかと考えて、また丁寧に答えることになります。

質問を全部禁止すると、決まっていない部分まで断定で返ってくる

AIへの指示に「回答の最後に質問をしない」と書いておくと、質問返しは減ると思います。ただし質問を全部禁止すると、AIは決まっていない部分まで言い切って返すようになります。

AIが型番を1つ言い切り、それが合わなかった場合、こちらが気づくのは買った後です。やりとりの手間は減りますが、合わない物を買う損が増えます。

質問を許すのと禁止するのとどちらが得かは、そのとき何を頼んでいたかで変わります。そのため、質問の数を減らすことを目標にしても、問題は片づきません。

質問に答えるかどうかは、答えたら返事が変わるかで決める

AIから質問が返ってきたら、答えると返事の中身が変わるかを先に考えます。もう1つ、最初に頼むときに、聞きたい範囲を書いておきます。

1. 答えると返事が変わる質問には答える。変わらない質問には答えず、「その部分は決まらないままでかまわないので、決まる部分だけ先に答えてください」と返す
2. 頼むときに「聞いているのはこれ1つで、ほかは今回は要りません」と書き添える

1つ目の返し方で、AIが自分で広げた問いを、聞いた問いから切り離せます。どこまで答えてほしいかを決めるのは、頼んだ側です。

よくある疑問

Q：確認の質問には、全部答えたほうが答えの精度は上がるのではないでしょうか。

A：答えると精度が上がる質問もあれば、上がらない質問もあります。分ける基準は、答えると返事の中身が変わるかどうかです。返事が変わらない質問に答えても、やりとりの回数が増えるだけです。

Q：こちらの伝え方が足りなかった可能性はないのでしょうか。

A：その可能性はあります。それでも、伝え方を直しても残る質問があります。条件も目的も数字も書いたのにその数字を聞き返されたなら、原因は情報の量よりも、AIが問いを広げたことにあると考えられます。

Q：AIは外れても責任を負わないのに、なぜ言い切らないのでしょうか。

A：外れて困るのは頼んだ側で、AIは何も失いません。そのため責任を避けたいという理由では説明がつきません。説明がつくのは、AIが解こうとしている問いが、こちらの聞いた問いより広いという事情です。

聞いたのは1つだと、もう一度伝えてよい

質問が返ってくると、聞いた側はまず自分の伝え方を疑い、律儀に答えます。答えると、また次の質問が返ってきます。

スタンドのやりとりで増えていたのは、AIが解こうとしている問いの数でした。1つしか聞いていないなら、聞いたのは1つだとAIに伝え直してかまいません。

いまAIから返ってきているその質問は、答えたら返事の中身が変わるものでしょうか。