ChatGPTとGeminiで自社の言及率が違うとき、どちらの数値が実力に近いのか?

ChatGPTとGeminiで自社の言及率が違うとき、実力に近いのは高いほうの数値です。低いほうの数値は、そのAIの検索結果に自社の情報が出てこないことを示しています。

しかし、同じ会社を同じ質問で測った結果なのだから、低いほうこそ本当の評価だと考えるのが自然ではないでしょうか。

この記事では、数値の読み方、2つの数値の組み合わせ、大手との比べ方を順に説明します。

目次

数値の差は、AIが参照する検索結果の差から生まれる

低いほうの数値は、そのAIの検索結果に自社の情報が出てこないことを表します。ChatGPTは外部の検索事業者の結果を使っていて、Bingの検索結果も参照しているとされます。GeminiはGoogle検索を使って答えを作ります。

参照する検索結果が違えば、同じ会社でも、答えの材料に入るかどうかが変わります。ある事業者の測定では、質問への回答に社名が挙がった割合が、Geminiで20パーセント前後、ChatGPTで5パーセント台でした。同じ測定で、大手はChatGPTで5割前後、Geminiで1割から2割でした。

検索基盤の違いはどの会社にも共通です。会社ごとの差の大きさは、その会社の情報が、それぞれの検索基盤の結果にどれだけ出ているかで決まると思います。

高いほうの数値は、自社が出せる水準を示す

中身が足りないなら、2つのAIの両方で数値が低くなるはずです。片方だけ低いのは、そのAIの検索結果に自社の情報が出にくいということです。同じサイト、同じコンテンツ、同じ実績で、片方のAIは自社を答えに挙げています。

AIが内部で何を参照しているかは公開されていません。この読み方は、2つの数値の差から導いた解釈です。

社内に報告するときは、2つの数値を並べて示します。5パーセント台の数値だけを見せると、何かが決定的に足りないように見えます。20パーセント前後の数値を並べれば、自社がこの水準を実際に出したと示せます。

目標を立てるときも、2つの数値を使います。片方がすでに20パーセント前後なら、もう片方で15パーセントを目指すのは、すでに出せた数値に近づけることです。

2つの数値の組み合わせで、着手点が決まる

2つの数値は、組み合わせて読むと、何から手を付けるかが分かります。そのためには、両方のAIで測る必要があります。

組み合わせ起きていること着手点
両方とも低いどちらのAIも、答えに挙げる根拠を見つけられていません。自社サイトに、質問の答えになる事実があるかを確認する。対応できる範囲、実績の数値、具体的な手順といった、引用できる中身を指す。
Geminiで高く、ChatGPTで低いChatGPTが参照するBingの検索結果に、自社のサイトが出ていません。サイトがHTMLで読める状態か、クローラーを拒否していないか、Bing Webmaster Toolsに登録して更新を通知しているかを確認する。
ChatGPTで高く、Geminiで低い比較記事や外部メディアに自社の名前は出ているが、自社サイトの情報が整理されていない可能性があります。自社サイトの情報を充実させ、サイト内の情報の内容をそろえる。
両方とも高いどちらのAIの検索結果にも、自社の情報が出ています。更新を止めず、情報を古くしない。

Microsoftは、重要な情報をPDFではなくHTMLで書くことと、タブや折りたたみの中に隠れた内容はAIに読まれない場合があることを、公式の案内で示しています。

大手との比較は、質問の種類で変わる

大手が強いのは、汎用的な質問です。地域や条件を含む質問では、その有利が弱まります。

先ほどの測定では、業界全体を対象にした質問で大手が5割を超え、地域や条件を絞った質問では、社名が挙がる会社が変わりました。大手は、ランキング記事や比較サイトのような検索で上に出るページに名前が載っているので、汎用的な質問で有利になると思います。

どの質問で測るかを決めることは、どの質問で成果を見るかを決めることです。測定の質問を汎用的なものだけで組むと、大手の有利が弱まる質問の種類が分からなくなります。

よくある疑問

Q:どちらのAIの数値を、社内の目標として使うべきでしょうか。

A:両方を並べて報告し、目標として追いかけるのは低いほうの数値です。改善の余地が大きいからです。片方だけでは、実力の問題か、検索結果に出ているかどうかの問題かを区別できません。

Q:測定するたびに数値が変わってしまいます。

A:同じ質問を複数回AIに入力して平均を取り、月次で同じ条件で測ります。AIの回答には揺らぎがあり、1回の結果では判断できないからです。条件とは、質問のリスト、試行の回数、モデルの指定、ログイン状態です。

Q:Geminiで高いなら、ChatGPT対策は後回しでよいでしょうか。

A:後回しにしません。Geminiで高い数値が出ているなら、Geminiはすでに自社を挙げており、数値を上げられるのは低いほうのAIです。

Q:この差は、時間が経てば自然に埋まりますか。

A:自然に埋まる保証はありません。検索結果に出ていない原因が技術的なものなら、放置しても直りません。

自社の数値を、2つのAIで並べてみてはいかがでしょうか

複数のAIで測って数値が違ったなら、原因を絞り込むための材料が1つ増えたことになります。高いほうが実力の目安になり、低いほうが検索結果に出にくいことを示します。

自社の数値を並べて、上の表のどの組み合わせに当たるかを確かめてみてはいかがでしょうか。

  • URLをコピーしました!
  • URLをコピーしました!
目次