投稿者: Microsoft は 2025 年 1 月 8 日、小規模ながら高性能な言語モデル「 Phi-4 」を、オープンソースとして公開しました。このモデルは 140 億パラメータを持つコンパクトなモデルながら、特に数学的推論やコード生成の分野で大規模モデルに匹敵する性能を発揮します。
Phi-4 は、デコーダー専用の Transformer アーキテクチャを採用し、最大 16,000 トークンの長文を処理可能です。9.8 兆トークンの高品質なデータセットでトレーニングされ、1,920 台の NVIDIA H100 GPU を使用して 21 日間かけて学習が行われました。
Microsoft は Phi-4 を MIT ライセンスの下で Hugging Face にて公開しており、商用利用やモデルの改変、再配布が自由に行えます。これにより、研究者や開発者は自由にモデルを活用し、独自のプロジェクトに組み込むことが可能になります。
Phi-4 は、アメリカ数学コンペティション（ AMC 12 ）ベンチマークで 91.8 という高スコアを記録し、Google の Gemini Pro 1.5 や OpenAI の GPT-4o-mini を上回る性能を示しました。また、メモリや計算リソースが限られた環境でも効率的に動作可能であるため、幅広い用途での活用が期待されます。
筆者の視点：Microsoft は独自の LLM 開発を進めているものの、OpenAI や Google の最先端モデルに匹敵するものはまだ発表されていません。今回の発表も、小型軽量ながら高性能なモデルをオープンソース化したという内容で、同社の LLM 開発の方向性は明確には見えてきません。 今後、最高性能を目指して投資を加速させるのか、それとも開発をフェードアウトさせるのかは不透明ですが、現在の動向を見ると、Microsoft は世界各国でデータセンターの拡張に巨額の投資を続けています。このことから、LLM の開発自体よりも、それを支えるクラウドインフラへの投資を優先し、自社でのモデル開発は縮小させる可能性も考えられます。