AIに1つ頼むと、返ってきたのは答えではなく、こちらへの質問でした。答えると、また別の質問が返ってきます。3往復したところで、まだ何も手に入っていません。
よく言われる原因は、だいたい3つです。質問が曖昧すぎる。背景を伝えていない。一度に詰め込みすぎている。どれも間違ってはいませんし、プロンプトを書き直せば実際に改善します。
ただ、この3つでは説明がつかない場面があります。条件も目的も数字も書いた依頼に対して、その数字のほうを聞き返されることがあるからです。聞いたのは1つなのに、質問は3回返ってきました。この記事が立てる問いは1つです。具体的に書いてあるのに、なぜ質問が返ってくるのでしょうか。
数字を伝えた後に、AIはその数字を聞き返してきた
先日、楽器を載せるスタンドを探していました。条件は1つだけで、高さが70センチまで上がることです。立ったまま演奏する位置に合わせたかったので、この数字は最初から動かないものでした。
返ってきたのは型番ではなく、固定方式の説明でした。下から挟んで支える方式と、棒を差して支える方式があり、後者を勧める。実物を店に持ち込んで、合うかどうか現物で確かめるのが確実である。丁寧で、内容も正しい説明でしたが、型番は1つも出てきませんでした。
もう一度、70センチだと伝えました。今度返ってきたのは、いま使っているスタンドは実際に何センチまで上がりますか、という質問です。
3度目は、これなら誤解のしようがないと思って、商品ページのURLを渡しました。それでも返ってきたのは、そのページのタイトルか型番を教えてもらえますか、という質問でした。
3回とも、答えではなく質問が返ってきました。
AIが解こうとしていたのは、こちらが聞いた問いではない
私が聞いたのは1つで、高さ70センチまで上がるスタンドの型番でした。
AIが解こうとしていたのは3つです。どうやって器具を固定するか。器具の底にある受け金具の規格は何か。そして、高さは足りるか。
このうち最初の2つは、実物を手に取らないと確定しません。3つ目だけは、製品の仕様表を見れば確定します。実際、その後の検索では、高さ48センチから70センチまで上がる製品がすぐに見つかりました。
AIが問いを広げたこと自体は、親切から出ています。高さだけ合っていても器具が載らなければ意味がないので、載せ方まで含めて考えたわけです。人に相談したときも、良い相手ほど同じことをします。
問題はその次に起きました。AIは、確定しない2つを理由に、確定する1つまで保留したのです。そして保留した分を、こちらへの質問に変えて返してきました。
答えるための材料を、AIは最初から持っていた
3往復目に、AIは自分でこう書きました。その製品は、すでにあなたの持ち物リストに載っています、と。
つまり、答えに必要な材料はありましたし、足りなかったわけでもないのです。
ここが、この現象のいちばん奇妙なところだと思います。聞き返しは普通、情報が足りないから起きるものです。しかしこの場面では、答えに必要な情報は最初から相手の手元にありました。
足りなくなったのは、AIが自分で問いを広げた後のことです。広げた先の問いに対しては確かに情報が足りず、底の金具の規格は写真からは読めません。
情報不足に見えるものの正体は、問いの広がりでした。
同じ確認の質問でも、成績を上げるものと下げるものがある
ここで、まったく別の領域の話をします。検索システムが利用者に聞き返すことを扱った研究です。
2019年、情報検索の国際会議SIGIRで、Mohammad Aliannejadi、Hamed Zamani、Fabio Crestani、W. Bruce Croftの4名が論文を発表しました。検索システムが利用者に聞き返すことの効果を測った研究です。TREC Web Trackの2009年から2012年のデータをもとに、198のトピックと762の観点について、1万件を超える質問と回答の組を集めています。
結果は明快で、良い質問を1つ返すだけで、最上位の検索結果の精度が170パーセント以上改善しています。聞き返しには、それだけの力があるということです。
一方、2024年の欧州情報検索会議ECIRでは、Ivan Sekulić、Weronika Łajewska、Krisztian Balog、Fabio Crestaniの4名が別の側面を報告しています。有用でない質問と回答をそのまま会話履歴に足し込むと、検索の成績が落ちるという内容です。この論文が提案しているのは、返ってきた質問と回答が有用かどうかを判定する分類器でした。
Crestaniは両方の論文に名前があります。同じ研究者が、聞き返しの上限と下限の両方を測っているわけです。
ここは事実と解釈を分けておきます。この2本が測ったのは検索システムの成績であって、人間が対話をしたときの満足度ではありません。言えるのは、聞き返すこと自体が良いとも悪いとも決まらない、という一点だけです。
確認の質問と、答えを保留する質問は、見た目が同じである
研究の世界では、有用な質問だけを通す仕組みが作られています。しかし私たちが日々使う画面には、その選別が見えません。
どちらの質問も、丁寧な日本語で返ってきます。どちらにも、正確を期すために、という理由が添えられるので、文面から区別することはできません。
違いは1つだけで、その質問に答えたときに返ってくる答えが変わるかどうかです。
いま何センチまで上がりますか、という質問に私が答えても、70センチまで届く製品の型番は変わりません。あれは確認ではなく、保留だったのです。
見分けがつかないうちは、こちらは自分の伝え方を疑い続けることになります。もっと詳しく書けばよかったのだろうか、前提を省いたのがまずかったのだろうか、と考えて、また丁寧に答える。聞いたのは1つでしたし、答えられる問いも、その1つだけで確定していました。
質問を全部止めると、今度は外れた答えが返ってくる
公平を期すために、逆側も書きます。
聞き返しを禁止する設定は、実際に効きます。回答の最後にこちらへ質問することを禁止する、と指示に書いておく方法は広く知られていて、多くの人が効果を報告しています。
ただし、全部止めると別のことが起きます。確定していない部分まで、断定で返ってくるようになるのです。
型番を1つ言い切られて、それが違っていたら、買った後に分かります。往復のコストは消えますが、外れを引くコストが増えます。合計で得をしたかどうかは、そのとき何を頼んでいたかによって変わります。
減らすべきなのは、質問の数ではありませんでした。
判断基準は、その質問に答えたら相手の答えが変わるかどうか
明日から使える形にすると、やることは2つです。
1つ目は、返ってきた質問に答える前に、一度だけ考えることです。この質問に答えたら、返ってくる内容は変わるだろうか。
変わるなら答えますが、変わらないなら答えずにこう返します。その部分は保留のままでいいので、確定している部分だけ先に出してください、と。これだけで、相手が自分で広げた問いを切り離せます。
2つ目は、最初に頼むときに範囲を書いておくことです。聞いているのはこれ1つで、他は今回は要りません、と添えておく。範囲を決めるのは、頼んだ側の仕事です。
この2つは、プロンプトを上手に書く話ではなく、返ってきた質問を見分ける話です。
よくある疑問
Q：確認の質問には、全部答えたほうが精度は上がるのではないでしょうか。
A：上がる質問と、下がる質問があります。判定は1つで、その答えが返ってくる内容を変えるかどうかです。変えない質問に答えても、往復が増えるだけで結果は同じになります。
Q：こちらの伝え方が足りなかった可能性はないのでしょうか。
A：その可能性はありますが、伝え方を直しても消えない質問はあります。条件も目的も数字も書いた依頼に対して、その数字のほうを聞き返された場合、足りなかったのは情報ではありません。
Q：AIには責任がないのに、なぜ言い切らないのでしょうか。
A：責任では説明がつきません。外れたときに困るのは頼んだ側で、AIは何も失わないからです。説明がつくのは、AIが解こうとしている問いが、こちらの聞いた問いより広いという事情のほうです。
聞いたのは1つだと、もう一度言ってよい
質問が返ってくると、私たちはまず自分の伝え方を疑い、だから律儀に答えます。答えると、また次の質問が返ってきます。
しかし、あの往復で増えていたのは、こちらの説明不足ではありませんでした。増えていたのは、相手が解こうとしている問いの数です。
範囲を決めるのは、聞いた側でかまいません。1つしか聞いていないなら、1つだと言い直してよいのです。
いまAIから返ってきているその質問は、答えたら返事の中身が変わるものでしょうか。
