書いたはずのことが、守られない。ルールを足しても、強い言葉に変えても、同じことが起きる。しかも守られなかったのは細かい条件ではなく、いちばん基本的なところだったりします。文体が違う。前は入っていた要素が、丸ごと消えている。
よく言われる原因は、だいたいこの3つです。指示が長すぎて中間が読み飛ばされている。表現が曖昧で解釈がぶれている。優先順位が示されていない。だから短くする。ファイルに分ける。重要なものを冒頭と末尾に置く。
この記事が立てる問いは違います。短くして、分けて、冒頭に置いた指示が、それでも守られなかったとき、そこで何が起きているのでしょうか。
指示は届いていた。短くもあった。それでも守られなかった
先日、定型の文章を量産する作業の手順書を、別の場所に移しました。
もとの手順書は、作業の順番と禁止事項を並べたものです。それをAIが常に読む場所へ移し替えました。分量は減らしていません。順番も変えていません。むしろ、つまずきやすい箇所の注記を足したので、以前より詳しくなっています。
移した直後から、出てくる文章が別物になりました。
文体が変わりました。それまで常体で書いていたものが、敬体になりました。段落の作りも変わりました。一段落で書き切っていたものが、空行で区切られるようになりました。書き手の一人称の濃さも薄くなりました。
手順そのものは守られています。順番も、禁止事項も、指示どおりです。守られなくなったのは、手順書に書いていない部分でした。
消えたのは指示ではなく、指示の外を指していた一文だった
原因は、移すときに落とした一文でした。
もとの手順書の冒頭には、こう書かれていました。既存の出力フォーマット、文字数ルール、トーン、書き手のペルソナはそのまま有効で、以下はそれに対する追加ルールである。
つまりこの手順書は、単独で完結する仕様ではありませんでした。別の場所にある本体があって、そこへの差分として書かれていた文書です。
移し替えのとき、私はこの一文を落としました。手順ではないからです。作業の内容を何も規定していない、位置づけを説明するだけの一行。移す価値のある情報だと思わなかった。
落としたのはその一文だけです。それ以外は全部移しました。
無言の領域は、参照があるうちだけ「他所にある」を意味する
どんな指示書にも、書かれた領域と書かれていない領域があります。この記事では後者を、無言の領域と呼びます。
無言の領域は、それ自体では意味を持ちません。意味を与えているのは、その文書が何に対して書かれたかという位置づけのほうです。
参照の一文があるとき、無言は「他所に書いてある」を意味します。この文書に文体の規定がないのは、文体の規定が別の場所にあるからです。読む側はそちらを見にいきます。
参照が切れると、同じ無言が「決まりがない」に変わります。文字は一つも変わっていません。変わったのは、その文書が全体なのか一部なのか、という一点だけです。
そして「決まりがない」は、実行する側にとって二つの意味になりえます。自由にしてよい、か、そこに何もない、か。どちらに倒れるかは事前に読めません。
私の場合は前者に倒れました。文体の規定がどこにもないので、その場で決めてよいものとして扱われた。だから常体が敬体になり、段落の作りが変わったのです。
ここからは私の解釈です。この機構を実験で確かめたわけではありませんので、そのつもりで読んでください。ただ、文書を切り出すという操作が、書かれた内容を一文字も変えずに、書かれていない領域の意味だけを反転させる。この現象自体は、複数の場面で観察できるはずだと考えています。
分けることは正しい。分けた先を独立させることが間違っている
長い指示を分けるという判断そのものは、妥当です。
言語モデルが長い入力の中間を取りこぼしやすいことは、研究として報告されています。Nelson F. Liuらの論文「Lost in the Middle: How Language Models Use Long Contexts」は、2024年にTACL誌の第12巻157から173頁に掲載されました。重要な情報の位置を入力の中央に置くと、精度が落ちるという内容です。
この特性が知られているので、長いカスタム指示は分けたほうがよいと広く言われています。本体は短く保ち、詳細は別ファイルに置く。この助言は間違っていません。
問題は、分けた瞬間に生まれるものにあります。
差分として書かれた断片は、元の文書への参照を必ず持っています。ところがその参照は、たいてい文書に書かれていません。書いた本人は「これは追記だ」と分かっているので、書く必要を感じないからです。
そして移し替えの作業をしている時点では、両方が目の前にあります。だから欠落に気づけません。欠落が姿を現すのは、片方だけが読まれる場面が来たときです。
AIが指示を無視した、と感じる場面のいくつかは、この形をしているのではないでしょうか。指示は無視されていません。渡された文書の中に、その指示が存在しなかっただけです。
建築は、この問題を一文で解いている
同じ構造の問題を、建築の現場は先に解いています。
公共の建築工事には、標準仕様書と特記仕様書という二層があります。国土交通省が定める公共建築工事標準仕様書が土台にあり、個別の工事では特記仕様書で差分だけを書く。まさに、本体と追記の関係です。
そして特記仕様書には、記載のない事項は標準仕様書による、という趣旨の一文を入れる運用になっています。
この一文は、書いた人のためのものではありません。図面と特記仕様書だけを手渡された現場の人が、書かれていない部分をどう扱えばいいかを判断するための一行です。
言い換えれば、無言の領域の意味を固定する装置です。ここに書いていないことは、決まりがないのではなく、標準に従う。そう明示することで、無言が「自由」へ倒れるのを防いでいます。
一点、事実と解釈を分けておきます。この運用がAIへの指示のために作られたわけではありません。建設工事の品質と責任範囲を確定させるための仕組みです。ただ、差分文書が単独で流通したときに何が起きるかを、この業界は経験として知っているのだと思います。
私たちがAIに渡している指示書には、この一行がありません。
失われた指示は、成果物から復元できる
ここからは、壊れたあとの話です。
私の場合、もとの文体の規定はもう手元にありませんでした。参照先の文書が更新され、以前の内容は残っていなかったからです。
代わりに残っていたのは、過去に自分で承認した出力でした。実際に世に出した完成品が、10本以上あります。
そこから復元できたものを挙げます。常体か敬体か。段落を分けるか一段落で書くか。書き出しをどこから始めるか。見出しの型。一人称をどのくらい濃く出すか。使う接続表現の癖。
規定として書かれていたはずのことは、規定を読まなくても、成果物を並べれば見えました。むしろ、規定より正確でした。規定は書いた時点の意図で、成果物は実際に承認した結果だからです。
ここに一つの向きがあります。指示書は、成果物から書き直せます。しかし成果物は、指示書からは復元できません。
残すべきものの優先順位は、この向きで決まります。指示書を大事に管理するより、承認した成果物を捨てないほうが確実です。指示書が失われても、成果物があれば書き直せる。逆は成り立ちません。
判断基準は、単独で読まれたときに意味が変わるかどうか
明日から使える基準は、一つだけです。その文書だけを誰かに渡したとき、書かれていない部分の意味が変わるか。
変わるなら、その文書は独立していません。参照の一行が要ります。書くのは2行で足ります。これは何に対する追加なのか。書かれていない事項はどこを見ればいいのか。
この点検は、AIへの指示に限りません。業務マニュアルを分割するとき。引き継ぎ書を渡すとき。契約の別紙だけを共有するとき。構造は同じです。
ただし、このやり方のコストも書いておきます。
参照の一行を残すと、その断片は本当の意味では独立できません。参照先が消えたり移動したりすれば、また同じ問題が起きます。参照は、切れる可能性を先送りにしているだけです。
そして参照を増やすほど、文書は互いに依存していきます。分けた意味は、その分だけ薄れます。極端に言えば、参照だらけの断片の集合は、分けていない一本の長い文書とあまり変わりません。
だから分割は、無料の解決策ではありません。読まれやすさを買って、独立性を売る取引です。取引だと分かっていれば、どこまで分けるかを自分で決められます。
よくある疑問
Q：指示を分けずに、1つの長い文書にまとめたほうが安全なのでしょうか。
A：いいえ。長い文書は中間が読み飛ばされやすいので、分ける判断自体は妥当です。問題は分けたことではなく、分けた断片に元を指す一文を残さなかったことにあります。断片の冒頭に、これは何に対する追加なのか、書かれていない事項はどこを見るのか、この2つを1行ずつ書けば足ります。
Q：参照先の文書がすでに失われていた場合は、どうすればいいですか。
A：過去の成果物から復元します。承認済みの完成品が10本もあれば、文体、構成、語彙の癖はかなりの精度で再構成できます。指示書は成果物から作れますが、成果物は指示書からは作れません。何を残すかで迷ったら、この向きで判断してみてはいかがでしょうか。
引き継ぎの失敗は、書いた量ではなく、切った場所で決まる
指示が守られないとき、私たちはたいてい、書き足す方向に動きます。条件を増やす。強い言葉にする。冒頭と末尾に繰り返す。
けれど今回起きたのは、書き足しても届かない種類の失敗でした。落ちていたのは指示ではなく、指示の外を指していた一行だったからです。
文書を切り出す操作は、切り取った側の内容を変えません。変えるのは、書かれていない部分の意味だけです。そしてそれは、切った本人からは見えません。両方を知っている人にとって、無言はいつまでも「他所にある」を意味し続けるからです。
あなたが分けた文書の断片は、それだけを渡された人に、同じ意味で読まれるでしょうか。
