投稿者: UC Berkeley の NovaSky チームは、「 Sky-T1-32B-Preview 」という新しい AI モデルをリリースしました。このモデルは、わずか 450 ドルという低コストで訓練され、 19 時間という短時間で完成したにもかかわらず、OpenAI の初期の推論モデル「 o1-preview 」と競合する性能を示しています。
Sky-T1-32B-Preview は、 320 億のパラメータを持ち、 5,000 のコードデータ、 10,000 の数学データ、 1,000 の科学とパズルデータを含む「合成データ」を訓練データとして使用しています。合成データを作成するための基盤モデルとしては、オープンソースで公開されている Alibaba の Qwen2.5-32B-Instruct が使用されました。
このモデルは、数学やコーディングの分野で優れた推論能力を発揮しています。例えば、MATH500 では 82.4% の正答率を達成し、OpenAI の o1-preview の 81.4% を上回りました。また、LiveCodeBench-Medium では 56.8% の正答率を記録し、こちらも o1-preview の 54.9% を上回っています。
Sky-T1-32B-Preview の大きな特徴は、自己検証機能を持つ点です。この機能により、通常のモデルが陥りがちな誤りを避けることができます。また、訓練コストが非常に低く抑えられている点が最大の特徴で、今回、モデルのデータセット、訓練コード、モデルウェイトが公開されており、誰でも利用・検証が可能なオープンソースモデルとして公開されています。
NovaSky チームは、合成データの活用や効率的なトレーニングプロセス、オープンソースの活用などにより、短期間で高性能モデルの開発を実現しました。
筆者の視点：年末に公開された中国の「 DeepSeek 」モデルは、数億円規模の開発費と短期間の開発にもかかわらず、OpenAI をはじめとする最先端モデルに匹敵する性能を示し、業界に衝撃を与えました。そして今回は、それをさらに上回る低コスト・短期間で、OpenAI の高性能推論型モデル「 o1-preview 」を超える結果を出しています。
この状況は、AI 企業が最先端モデルの開発に巨額の資金を投入する意義を改めて問うものとなり、資金調達の正当性にも疑問が生じる可能性があります。今後の AI 関連投資はこれまで以上に厳格な審査を受けることになり、新たな資金調達のハードルが一層高まることになりそうです。