投稿者: アラブ首長国連邦（UAE）のテクノロジー・イノベーション・インスティテュート（TII）は、軽量なハードウェアでも効率的に動作するように設計された新しいオープンソースの大規模言語モデル（LLM）シリーズ「Falcon 3」を発表しました。このシリーズには、Falcon3-1B、-3B、-7B、-10Bの4つのモデルサイズが含まれており、特に7Bおよび10Bバージョンは、MetaのLlamaやAlibabaのQwenなど、オープンソースで競合するモデルを主要なベンチマークで上回っています。
Falcon 3は、14兆トークンのデータ量でトレーニングされており、これは前身のFalcon 2の5.5兆トークンよりも2倍以上のデータ量です。この膨大なデータにより、推論、言語理解、指示に従う能力、コード生成、数学的タスクなどで優れたパフォーマンスを発揮します。また、最大32kトークン（1Bモデルは8kトークンまで）までの入力をサポートし、長いコンテキストでの処理も可能です。
ベンチマークでは、Falcon 3-7B-Baseが、Qwen2.5-7Bと同等のパフォーマンスを示し、9B以下のモデルの中でトップクラスの性能を発揮しています。また、Falcon3-10B-Baseは、MATH-Lvl5で22.9、GSM8Kで83.0のスコアを達成し、複雑な数学タスクにおける推論能力の高さを示しました。
Falcon 3は、HuggingFaceや「FalconLLM」のWebサイトからダウンロード可能で、ベンチマークデータも提供されています。
最近はどうしてもアメリカの、しかもビッグテックの発表が多くなりがちでしたが、UAEという新たな地域で画期的な開発が進められていることは筆者としては嬉しいニュースです。サウジアラビアやUAEは石油に代わる新たな産業を創出しようと様々な取り組みを進めていますが、AIはその中でも主要なテーマの一つとなっていて、様々な政府からのサポートを受けながらいくつかの会社で開発が進められています。UAEは中国とも関係が深く、一時アメリカのAIチップの輸出規制に引っ掛かりそうでしたが、今のところは規制から除外されているようです。