AIへの依頼を、5つ同時に走らせています。1つが戻ってくるのを待つあいだに、別の4つへ指示を出す。速くするためにそうしたはずなのに、なぜか戻りが遅い気がします。ただ、遅くなったという証拠はどこにもありません。たまたまその日が混んでいただけかもしれない。
よく言われるのは、だいたいこの2つです。人間の脳は同時に3つか4つしか持てないので、並列にしても処理しきれない。だから諦めて、順番にやったほうが速い。
この記事が立てる問いは違います。遅いと感じたその感覚は、本当に気のせいなのでしょうか。
AIが考えている時間は、1本のときと変わっていない
最初に確かめるのは、AIそのものが遅くなったかどうかです。生成の速さは、こちらの手元ではなくサーバー側で決まります。自分が何本抱えているかに応じて1本あたりの速度が割り振られる、という仕組みは公開されていません。
上限として設けられているのは、速度ではなく量のほうです。1分あたりに送れる回数や、一定時間に使えるトークンの量に上限があり、そこに届くと要求が通らなくなります。量の上限に当たったとき、返事は遅くなるのではなく止まります。
つまり、5本走らせていて感じる「なんとなく遅い」を、この仕組みは説明しません。説明がつかないので、たまたまだろう、で処理することになります。
依頼を5つ抱えた人は、1つが戻ってくるまで5倍待つ
遅くなっているのは、生成にかかる時間ではありません。依頼を出してから、自分がその結果に触れるまでの時間です。
1本だけで動かしているとき、この2つはほぼ重なります。出して、待って、出た瞬間に読む。あいだに何も挟まりません。
5本を切り替えながら動かすと、そうはなりません。1本目を出して、2本目を見て、3本目に指示を返して、4本目の様子を確認する。1本目に戻ってきたとき、答えはとっくに出そろっています。出そろってから自分が開くまでの数分は、AIの側では1秒も使われていない時間です。
この数分は、どこにも記録されません。だから遅さの原因を探すとき、真っ先に候補から外れます。
抱える数と待ち時間の関係は、60年前に数式で証明されている
同じ関係が、製造業と待ち行列の理論では60年以上前に数式になっています。ジョン・D・C・リトルが1961年に発表した論文です。掲載誌はOperations Research、第9巻第3号、383ページから387ページ。フィリップ・M・モースが1958年に公式のほうを先に示し、反例を探してみよと読者に呼びかけました。証明を与えたのがリトルです。
式は L = λW と書きます。Lは同時に系の中にある件数、λは処理していく速さ、Wは1件が系に入ってから出るまでの時間を指します。
順序を入れ替えると W = L / λ になります。処理する速さが変わらないまま、同時に抱える数を5倍にすると、1件が系にいる時間も5倍になる。この関係は、依頼が来る間隔にも、処理する順番にも左右されません。だから工場でも病院でも空港でも、同じ式が使われています。
速くするために並列にする、という行為は、λを上げにいく行為です。1日に片付く総量は確かに増えます。増えるかわりに、1件あたりのWは伸びる。この2つは同時によくなりません。
5本を常態にした人は、1本だけで動かしていた頃の速さを思い出せない
ここからは私の解釈です。学説として確立された議論ではありませんので、そのつもりで読んでください。
待っていた時間は、待っていると気づいたぶんしか記憶に残りません。他の4本を見ていた数分間は、自分の中では作業をしていた時間なので、待ち時間として数えられない。残るのは、出したという記憶と、戻ってきたという記憶の2点だけです。その2点のあいだが長ければ、AIが遅いという形で記憶されます。
そして5本が常態になると、比べる相手がいなくなります。1本だけで動かしていた頃の速さは、思い出すたびに実物から遠ざかっていく。だから「遅い気がするが、たまたまかもしれない」という保留のまま、何か月でも走り続けることになります。
証拠が出てこないのは、測っていないからではありません。測るべき場所が、自分の作業時間の中に隠れているからです。
本当に遅くなるのは、並列にしたときではなく、1本を長く使い続けたときである
公平を期すために、逆側も書きます。AIの返事が実際に遅くなる条件は、ちゃんと存在します。
入力が長いほど、最初の一語が出てくるまでの時間は伸びます。AIは受け取った入力をまとめて読み込んでから書き始めるので、読み込む量が増えれば、その工程にかかる時間も増える。この関係は、推論の性能を扱った技術資料にも明示されています。プロンプトが長いほど、まとめて処理するトークン数が増え、時間も増える（富士通研究所の技術ブログ、2026年1月28日）。
ここから先は私の推測です。並列で走らせている人ほど、1本を閉じません。5本を切り替えながら使うと、それぞれが何時間も生き続け、そのぶん抱えている入力が伸びていきます。並列が遅くしているのではなく、並列が1本を長くしている。この接続は構造としては説明できますが、私は時間を測って確かめてはいません。
もう一つ、量の上限があります。5本回せば、上限には5倍の速さで届きます。ただし繰り返しになりますが、これは遅くなるのではなく、止まるという形で現れます。
よくある疑問
Q：AIを5つ同時に動かすと、1つあたりの処理速度は落ちるのでしょうか。
A：生成の速度が並列数で割られる、という仕組みは公開されていません。上限として設けられているのは速度ではなく量のほうで、そこに当たったときは遅くなるのではなく止まります。遅く感じる正体は、生成にかかる時間ではなく、出してから自分が結果に触れるまでの時間が伸びていることです。
Q：並列をやめて1本ずつにすれば、速くなりますか。
A：1本あたりの戻りは速くなります。そのかわり、1日に片付く総量は減ります。この2つは同時によくならないので、どちらを速くしたいのかを先に決めるほうが、並列数をいくつにするか悩むより効きます。
Q：遅く感じるのは、自分の集中力が足りないからでしょうか。
A：集中力の問題として扱う必要はありません。同時に抱える数を増やすと1件あたりの待ちが伸びるという関係は、人の能力とは無関係に成り立ちます。
判断基準は、AIが考えていた時間を一度だけ計ることである
自分の遅さがどちら側にあるかを見分ける方法を、一つだけ渡します。次に遅いと感じたとき、その1本だけ、時刻を3つ書き留めてください。依頼を出した時刻、答えが出そろった時刻、自分がそれを開いた時刻の3つです。
1つ目と2つ目のあいだが、AIが考えていた時間です。2つ目と3つ目のあいだが、自分が他の依頼を見ていた時間になります。
後者のほうが長いなら、並列数を減らしても体感はほとんど変わりません。変えるべきなのは、戻ってきたことに気づく仕組みのほうです。前者のほうが長いなら、抱えている入力が伸びていないかを見てください。長く使い続けた1本を、いったん閉じるだけで戻ることがあります。
計るのは1回で足ります。1回でも数字を持っていれば、次からは体感だけで判定できるようになります。
遅くなったのはAIではない。ただし遅くなっていること自体は正しい
遅いと感じた感覚は、正しいものです。1本が手元を離れてから戻ってくるまでの時間は、抱えた数の分だけ、実際に伸びています。気のせいではありません。
ただ、伸びているのはAIの中ではありません。伸びているのは、答えが出そろってから自分がそこへ戻るまでの、記録に残らない数分のほうです。この数分は速度の問題ではないので、性能の良いモデルに変えても、契約を上げても短くなりません。
並列をやめる必要もありません。総量を増やすために抱えているのなら、1本あたりの戻りが遅くなるのは、選んだ結果として正しい。問題になるのは、総量を増やしたつもりで、1本あたりの速さも同時に期待していたときだけです。
次に遅いと感じたとき、時刻を3つだけ書き留めてみてはいかがでしょうか。そのうちAIが使っていたのは、何分でしょうか。
