投稿者: マイクロソフトが新しい小規模言語モデル「Phi-4」を発表しました。Phi-4は、14Bパラメーターという比較的小規模なモデルながら、数学的推論などの複雑な課題において、GPT-4oやGemini Pro 1.5といったより大規模なモデルを上回る性能を示しています。
Phi-4の成功の鍵は、合成データを使った学習、にあります。約4,000億トークンの合成データセットを使用し、高品質な学習データの選別と後処理を施すことにより、効率的な学習を実現しました。また、トークナイザーの改善により4,000トークンまでの入力処理が可能になっています。
現在、Phi-4はAzure AI Foundryプラットフォーム上の研究ライセンス契約の下で利用可能で、近日中にHugging Faceでも公開される予定です。
このモデルの登場は、必ずしも大規模なモデルが優れているわけではないことを示し、効率的な設計と学習方法の重要性を証明しました。今回の発表により、計算リソースの制約がある組織でも高性能なAIモデルの開発が可能であることを示しました。