投稿者: アレン人工知能研究所 (AI2) は2024年6月20日、オープンソース大規模言語モデル (LLM) の新シリーズ「OLMo 3」を発表しました。このリリースには、同規模のオープンモデルの中でトップクラスの性能を実現した 32B パラメータのモデルが含まれています。
AI2 は、マイクロソフト共同創業者ポール・アレン氏によって 2014 年に設立された非営利 AI 研究機関です。シアトルを拠点に、AI コミュニティ全体の発展のためにオープンサイエンスを推進しています。営利企業とは異なり、研究成果を広く公開し、AI 技術の民主化を目指す姿勢が特徴です。その中心プロジェクトであるOLMo(Open Language Model) は、LLM の学習データや手法を完全公開することで、AI モデル構築を科学的に理解するためのツールとなることを目指しています。
OLMo 3 シリーズは 7B と 32B のモデルで構成され、基本性能に優れた「Base」、複雑な推論に特化した「Think」、対話やツール利用に最適化された「Instruct」の3つのバリエーションが提供されます。全モデルがApache 2.0ライセンスで公開されており、65,000 トークンという長いコンテキスト長に対応しています。
性能面では、特に OLMo 3-Think 32B が注目されています。AI2 は、同規模のアメリカ製オープンソースモデルとして最高性能だと主張しており、他の有力モデルと比較してわずか 6分の1 のトークン数での訓練にもかかわらず、同等以上の性能を達成しました。これは、計算量だけでなくデータキュレーションの質が性能を大きく左右することを示しています。
また OLMo 3 の最大の特徴は、その徹底した透明性です。モデルの重みだけでなく、学習に使用したデータセット「Dolma 3」、トレーニングコード、評価手法まで、モデル開発の全プロセスを「完全なモデルフロー」として公開しています。これにより、研究者は開発プロセスを完全に再現・検証できるほか、独自データでのモデルカスタマイズも容易になります。AI2 は、高性能が必ずしも高コストを意味しないという姿勢を示しており、OLMo 3 は計算効率の面でも優れた成果を上げています。
OLMo 3 は、単に高性能なオープンソースモデルというだけでなく、AI 開発のあり方そのものに影響を与える存在になりそうです。その比類なき透明性は、AI の説明可能性や安全性の研究を加速させ、より多くの開発者がAI技術の恩恵を受けられる環境を後押しするでしょう。