GPT-6.2 Astraは評価の点数で上位、なぜ実務で試した30人のチームは誰も好きにならなかったのか?

新しいAIのモデルが出ると、まず評価の点数が並びます。前の版より何ポイント上がったか、他社のモデルと比べて何位か。

OpenAIが11月17日に公開したGPT-6.2 Astraも、点数では上位に入りました。ところが、公開前から実務で試していたメディア企業Everyの30人のチームは、「誰もAstra 6.2を好きにならなかった」とXに書きました。なぜ点数と実務の評価が逆になったのでしょうか?

目次

Everyのチームが見ていたのは、文章の読みやすさと最後まで任せられるか

Everyのチームが確かめたのは、文章が読みやすいか、作業を最後まで止まらずに進めるかでした。評価の点数が主に測るのは、決まった課題に正しく答えられるかなので、見ているところがそもそも違ったのだと思います。

EveryのCEOのダン・シッパー氏の評価をまとめたBigGo Financeによると、いちばんの不満は文章でした。簡潔にしようとしすぎて文と文がつながらず、記事の書き出しの1文が読みにくいと言っています。コーディングでは、作業の選び方や下調べは良かったものの、最初から最後まで作り切る作業で途中で止まることが多かったそうです。デザインは、どれも同じに見えたといいます。

評価の点数が測るものと、実務で使う人が見ているもの(作業を最後まで止まらずに進めるか、文章が読みやすいか・出力が似ていないか、強く頼まなくても力を出すか)の対比の図

Everyが社内で使っているシニアエンジニア向けの試験でも、点数は約39で、前の版のAstra 6と変わりませんでした。AnthropicのClaude Fable 5.2、Opus 5.5、Sonnet 5.5は40〜41です。シッパー氏は、Astra 6.2は慎重すぎて、強く頼まないと本気を出さないとも話しています。

GPT-6.2 Astraの点数は、本当に上がっている

点数が間違っていたわけではありません。OpenAIが示した評価の点数は、どれも前の版より上がっています。

OpenAIが示した評価で、GPT-6 Astra(前の版)からGPT-6.2 Astraへ、Agents' Last Examは73.1から78.3、Harvey LAB-AAは8.6から15.0、Terminal-Bench-Scienceは68.1から77.1、BenchCAD 2.1 Coreは62.6から82.5、AutomationBenchは41.4から52.4に上がった、という棒グラフ

外部の評価機関の結果は、VentureBeatによると次のようになっています。

評価GPT-6.2 Astraの結果比べた相手
Artificial Analysis Intelligence Index62点で2位1位はClaude Fable 5.2
Epoch AI174点Claude Fable 5.2と同点。前の版は169点
Artificial Analysis Coding Agent Index横ばい前の版から伸びていない

目を引くのは最後の行です。コーディングを任せたときの総合の指標は伸びていません。点数が上がった評価と、Everyが不満を持った作業は、別のものだった可能性があります。

毎日AIを使う人たちからも、同じ不満が出ている

Everyだけの感想でもなさそうです。VentureBeatによると、AIの開発者のマット・シューマー氏は「ほとんど使えない」と書き、別のモデルに監督させたら作業をやり直されたそうです。開発者のテオ・ブラウン氏は、長い作業を続けさせにくい、あとから何をしたのか分かりにくいと言っています。ペンシルベニア大学ウォートン校のイーサン・モリック教授は「とてもむらがあって奇妙」と評しました。

作った側からも声が出ています。OpenAIの研究者のroon氏は「私は6.2 Astraが大好きだが、それは嫌われたモデルとして生を始めている」とXに書きました。ニュースレター「Don’t Worry About the Vase」のズヴィ・モウショウィッツ氏も、Everyの投稿を引いて「まだとても早い段階だが、Everyには良い実績があり、30人分のデータはかなり決定的だ」と書いています。

AIモデルの良し悪しは、自分の作業で比べる

点数は、条件をそろえて多くのモデルを比べるのには向いています。けれど、文章の読みやすさや、何時間も続く作業を止まらずにやり切るかは、点数ではなかなか見えません。Everyが公開前のモデルを実務で試しているのも、そこを見るためです。

新しいモデルが出たら、先週AIに頼んだ作業から、文章、表、コードを1件ずつ選んで、同じ指示を今のモデルと新しいモデルに渡してみてください。自分で手直しした回数が少ないほうが、その作業での正解です。

  • URLをコピーしました!
  • URLをコピーしました!
目次