投稿者: Metaが次世代のオープンソース大規模言語モデル「Llama 3」を発表しました。今回発表された8Bと70Bのパラメータを持つバージョンは、様々な評価ベンチマークにおいて競合するオープンソースモデルを上回る性能を示しています。
Metaの内部テストでは、Llama 3の8Bと70Bのモデルが、GoogleのGemma、Mistral 7B、AnthropicのClaude 3 Sonnetなど、同規模のモデルを上回っているとしています。今回発表されたモデルは、先代Llama 2の7倍の大きさのデータセット（15兆トークン）で学習され、コードの量も4倍に増えています。
今後数ヶ月以内には、最大の400B以上のパラメータを持つバージョン（フルバージョン）もリリースされる予定で、こちらはGPT-4に匹敵する性能が期待されています。Llama 3は、Facebook、Instagram、WhatsApp、Messenger、そして新しく開設されたmeta.aiウェブサイトなど、Meta AIアシスタントを通じて様々なプラットフォームに組み込まれています。
Metaは、今回のバージョンでは、ステアラビリティ（Steelability：指示に従うこと）、正確性、様々な分野の知識の面で性能向上を果たしたとしています。一方で、トレーニングデータの詳細は公開されておらず、潜在的なバイアスや著作権の問題が懸念されています。また、Metaのライセンスモデルは、競合モデルの学習に使用できないなど、本当の意味でオープンと言えるかについて疑問が呈されています。
ただ、良好なベンチマーク結果と、今後より高性能な「フルバージョン」が近日公開予定ということで、AIコミュニティは今回の発表を概ね好意的に評価しています。Metaの各種サービスを通じて今までAIに触れてこなかった一般の人も気軽にAIにアクセスする時代になりました。