AI はコードを書いたり、文章を要約したりする能力では既に人間に迫る、あるいは上回る水準に達しています。では、研究者としての判断力——どの問題を選び、どう実験を設計し、結果をどう解釈するか——はどうでしょうか。この問いに答えるベンチマークが新しく提案されました。P-Zero Research の Oliver Jaffe と Dane Sherburn が論文共有プラットフォーム arXiv で公開した「TasteVal」です。
TasteVal が測るのは「研究センス」と呼ばれる能力です。これは、無数にある問題の中から取り組む価値のあるものを見極め、効果的な実験を設計し、得られた結果から意味のある示唆を引き出す力のことを指します。計算処理の速さや知識の量ではなく、科学者が経験と直観をもって行う判断そのものを評価しようという試みです。
評価の設計にも工夫があります。対象の AI モデルは「研究者役」として実験の方針を提案するのみで、実際のプログラミングは別の固定されたエージェントが担います。コーディングの巧拙が結果に影響しないよう切り分けることで、純粋な研究判断力だけを測る構造になっています。比較対象となる人間の研究者には、OpenAI や Google DeepMind、NVIDIA などの主要機関に所属する 24 名が参加し、AI と同じ条件で実験を行いました。
結果として、最高性能モデルの Opus 5.5 は人間の専門家を明確に上回りました。この評価では計算資源の消費量を「GPU 時間」で測定しています。GPU は AI の計算処理に特化した半導体チップですが、1 GPU 時間はその GPU を 1 時間フル稼働させた計算量に相当します。専門家が平均 40 GPU 時間をかけて達成するスコア（＊）を、Opus 5.5 は約 17 GPU 時間——半分以下の資源——で超えることができました。これを単純にコストに換算すると、専門家の約 30 分の 1 のコストで同じ成果を達成したことになります。さらに注目すべきは性能向上のペースで、この効率を倍増させるのにかかった AI モデルの開発期間は 2025 年 12 月以前の約 14 か月から、それ以降は約 3 か月へと大幅に短縮されています。
もう一つ興味深い知見も得られました。実験を始める前の段階——「何を検証すべきか」「どんな手順で試すか」——を AI に十分な時間をとって考えさせると、研究センスのスコアが有意に向上することがわかりました。優秀な研究者が仮説を丁寧に練り上げてから実験に臨むように、AI も「事前の構想に時間をかける」ほど質の高い判断を下せることが示されました。将来の AI 研究エージェントは、実験の実行よりも事前の計画立案に多くの処理を割くかたちで設計されていく可能性があります。
こうした急速な進展は、AI の安全性をめぐる議論と切り離せません。AI が自らの能力向上に直接関与する「再帰的自己改善（ RSI ）」が現実のものとなる時期について、業界内で議論が続いていますが、今回の結果を受けて、一部の専門家はその到来が従来の想定より早まるとの見方を示しています。Anthropic や OpenAI、Google DeepMind もこの問題をセキュリティ上の重要課題として明示しており、技術の進展と安全対策を両立させる難しさが改めて問われています。
＊今回の実験のタスク内容は、言語モデルの学習データ選定やファインチューニングの手法改善など、AI 研究そのものを題材にした 8 種類の実験課題です。参加者——人間の研究者も AI も——はそれぞれ「どの実験を、どんな手順で、どう設計して試すか」を提案し、実際に実験を動かして得られた性能改善の度合いでスコアが決まります。
