投稿者: AppleのWWDCで発表されたApple Intelligenceで動作するApple独自の大規模言語モデル（LLM）の詳細が公表されました。Apple Intelligenceは、オンデバイスモデルとプライベートクラウドモデルの2つの主要なモデルから構成されています。
オンデバイスモデルは、パラメータ数が約3B（30億）、語彙数が49,000語で、スピードと効率が重視されています。iPhone 15 Proでは、プロンプトトークンあたり0.6ミリ秒のレイテンシと、秒間30トークンの生成速度を達成しているとのことです。一方、クラウドモデルは、パラメータ数は公表されていない（＊）ものの、語彙数が100,000語で、より複雑なタスクを処理可能でありながら、プライバシーとセキュリティは確保しているとされています。
パフォーマンス評価では、オンデバイスモデルは競合する他のモデル（Phi3-mini, Mistral-7B, Gemma-7B）と同等か少し優れている程度。クラウドモデルは、他のオープンソースよりは若干性能が良いものの、商用のLLMよりは劣る程度だと報告されています。
Appleはこれらのモデルを、ライセンスデータ、公開データ、合成データで慎重に訓練し、人間のフィードバックから強化学習を行うなど、指示に従う能力を高める工夫をしています。また、有害コンテンツや事実誤認などに対する堅牢性もデータで示されています。
今回の発表では、OpenAIとの連携はユーザーが明示的にChatGPTを使うと指示した場合のみという限定的なものにとどまっています。本音のところは、できるだけ早いタイミングで自社独自のLLMで全て完結するようにしたいということなのだと思われます。
＊参考までに、Appleの研究者は、直近2024年3月コーネル大学との共同研究でマルチモーダルLLM「MM1」を発表しており、そのバラメータ数は30B程度とされています。