投稿者: フランスのAIスタートアップMistral AIは、NVIDIAと共同開発した12B（120億）パラメータの新しい小型AIモデル「Mistral NeMo」を発表しました。このモデルは、最大128Kトークンを同時に処理でき、推論、知識、コーディング精度において同サイズのモデルの中で最高水準の性能を誇ります。
Mistral NeMoは、また100以上の言語で学習されており、特に英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、中国語、日本語、韓国語、アラビア語、ヒンディー語に強みを持っています。また、新しいトークナイザー（トークンに分割する処理）「Tekken」を採用することで、ソースコードや多言語テキストの圧縮効率が向上し、大量のデータの同時処理と処理速度の向上に役立っています。
Mistral AIとNVIDIAの協業により、Mistral NeMoはNVIDIA DGX Cloud AIプラットフォーム上でトレーニングされています。このクラウドプラットフォームを使うことで、最新のNVIDIAハード・ソフトを専用かつスケーラブルに使うことができ、モデルのトレーニングを効率的に行うことが可能になりました。また、Mistral NeMoはNVIDIA NIM（推論マイクロサービス）としてパッケージ化されていて、NVIDIAのハード・ソフト上で効率的に動作するように最適化されています。
Mistral NeMoは、オープンソースとしてリリースされており、研究者や企業が自由に利用できます。
筆者が注目した点は、この協業が、NVIDIAがクラウドを使用している点です。現在、NVIDIAは既存のクラウドプレーヤー（AWSなど）と連携し、彼らが運営するデータセンターの一部を使って顧客にサービスを提供していますが、将来的には独自のデータセンターを建設する計画も持っているようです。これが実現すると、NVIDIAはクラウド各社と競合することになります。
一方、クラウド各社は独自のAIチップの開発を進めていて、NVIDIAと協調姿勢もとりつつ、極度のNVIDIA依存からの脱却を試みています。
そうした両者の動向と関係性の変化にも注目したいと思います。