投稿者: フランスのAIスタートアップMistral AIが、デバイス向けの新しいコンパクトな言語モデル「Ministral 3B」と「Ministral 8B」を発表しました。これらのモデルは、「les Ministraux」ファミリーの一部であり、スマートフォンやラップトップなどの「エッジデバイス」で動作するように特別に設計されています。
Ministral 3Bは30億、Ministral 8Bは80億のパラメータとなっていて、比較的コンパクトなLLMとなっています。そのため、性能的には、従来のモデルに匹敵する性能がありつつ、手元のデバイスで動作が可能なモデルとなります。両モデルとも最大128,000トークンのコンテキスト長をサポートしており、約50ページの本に相当する長さのテキストを処理できます。
これらのモデルは、デバイス上でのリアルタイム翻訳、インターネット接続不要のスマートアシスタント、ローカルでのデータ分析、自律型ロボット工学などのシナリオでの使用を想定しています。プライバシーを重視し、回答速度が速い効率的な計算を必要とする場面などに適しています。
利用に関しては、Mistral AIのクラウドプラットフォーム「La Platforme」で提供されており、Ministral 8Bは出力/入力トークン100万個あたり10セント、Ministral 3Bは4セントと低い価格設定がされています。また、Ministral 8Bは研究目的に限定してダウンロードして利用することも可能ですが、商用利用の場合は、Mistral AIに直接連絡してライセンスを取得する必要があります。
こうした手元にあるエッジデバイス上で動作する小さなモデルはAppleやGoogle、Metaなど様々な企業からリリースされていますが、今回また新たな進化を遂げたモデルが提案されました。