Metaが最大405Bパラメータの大規模言語モデルLlama 3.1を発表

投稿者:

Metaは、大規模なオープンソース言語モデル「Llama 3.1」を発表しました。今年の4月にリリースされた8B(80億)と70B(700億)パラメータのモデルに続き、今回は今まで最大の405B(4,050億)パラメータのモデルが公開されました。

Llama 3.1 405Bは、現在オープンソースで公開されているモデルの中で最大かつ最も高性能であり、GPT-4やClaude 3.5 Sonnetなどの主要なモデルに匹敵する能力を持っています。また、8Bと70Bのモデルもアップグレードされており、多言語対応、128Kのコンテキスト長、ツール利用機能などが強化されています。

Llamaモデルの特徴は、外部ツールとの連携を考慮して設計されている点にあります。ダウンロード可能なモデルには、サンプルアプリケーション、Llama Guard 3(多言語対応の安全モデル)、Prompt Guard(プロンプトフィルター)などが含まれています。また、Llama Stackと呼ばれる標準化されたインターフェースの提案も行われています。

Llama 3.1はモデルの重みもダウンロードでき、開発者は自由にカスタマイズや再学習が可能です。こうした完全なオープンソース化により、AI業界への貢献度は非常に高いと評価されています。しかし、投資家からはこの動きがどのようにMetaの収益に貢献するのかが常に問われています。

Llama 3.1は、Hugging Faceからダウンロードできるほか、AWS、NVIDIA、Databricksなどの25以上のパートナー企業が提供するサービス上でも利用可能です。また、アメリカ国内限定ですが、Meta自身のプラットフォームであるmeta.aiやWhatsAppメッセージングアプリでも利用できます。