ARC Prize 財団は 2025 年 7 月 18 日、新しい AI 評価用ベンチマーク「 ARC-AGI-3 」のプレビューを公開しました。これは「インタラクティブ推論ベンチマーク」と呼ばれ、未知の環境下で AI
続きを読む
カテゴリー: ベンチマーク
OpenAI、医療分野における AI 評価の新基準「 HealthBench 」を発表
OpenAI は 2025 年 5 月 12 日、医療分野における AI システムの性能と安全性を評価するための新しいベンチマーク「 HealthBench 」を発表しました。これは AI モデル、特に大規模言語モデル（
続きを読む
AI 評価プラットフォーム「LMArena」が企業化
カリフォルニア大学バークレー校発の AI 評価プラットフォーム「 LMArena 」（旧 Chatbot Arena ）が、2025 年 4 月 17 日に正式にスタートアップ企業「 Arena Intelligence
続きを読む
OpenAI、AI の web 検索能力を評価する「BrowseComp」ベンチマークをオープンソースで公開
OpenAI は 2025 年 4 月 10 日、AI エージェントがインターネット上の見つけにくい情報を探し出す能力を評価する新しいベンチマーク「BrowseComp」をオープンソースとして公開しました。 Browse
続きを読む
ARC-AGI-2：AI の推論能力を評価する新しいベンチマーク
ARC Prize Foundation は AI の推論能力と効率性を測る「ARC-AGI-2」ベンチマークを発表しました。このベンチマークは、単なる計算力に頼ることを防ぎ、 AI が新しいタスクに適応し推論する能力を
続きを読むScale AIとCAISが「Humanity’s Last Exam」を発表 – AIモデルの知識と推論能力を極限まで試す新ベンチマーク
米スタートアップのScale AI と Center for AI Safety （ CAIS ）が共同開発した新たな AI ベンチマーク「 Humanity’s Last Exam （人類最後の試験）」は、
続きを読む