投稿者: Metaが2024年12月6日、新しい大規模言語モデル「Llama 3.3 70B」をリリースしました。このモデルは、700億パラメータながら、以前の4050億パラメータモデル「Llama 3.1 405B」と同等の性能を発揮するという高い効率性を実現しています。
Llama 3.3は、最新のポストトレーニング技術を活用し、128Kトークンのコンテキスト長（文章では約400ページに相当）に対応し、英語をはじめとする8つの主要言語（ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語）をサポートしています。
性能面では、コーディング、推論、数学、一般知識タスクにおいて大幅な向上を示しており、GoogleのGemini Pro 1.5やOpenAIのGPT-4oなど競合モデルを多くのベンチマークで上回っています。さらに、一般的な開発者向けPC上でローカル実行が可能であり、推論コストを大幅に削減しながらも高性能を維持しています。
今回はMetaが比較的小型で高い性能を示すモデルを提示してきました。ただ、相変わらず日本への対応は後回しにされています。日本からはMeta.aiへのアクセスもできません。どういう意図があるのかわかりませんが、あまりにも対応が悪い点が気になります。