投稿者: AI開発企業のxAIが、先日リリースしたばかりのGrok-2とGrok-2 miniの大幅な改善を発表しました。特に注目すべきは、Grok-2 miniの処理速度が前日と比較して2倍に向上したことです。この速度向上は、xAIの開発者2名が推論コードスタックを3日間で完全に書き直したことによるものです。
推論コードスタックとは、AIモデルが推論（予測や判断）を行う際に使用されるソフトウェアコンポーネントの集合を指します。これを最適化することで、AIモデルの実行速度を大幅に向上させることができます。
速度だけでなく、両モデルの精度も向上しました。Lmsys Chatbot Arenaリーダーボードでの最新の評価（8月27日時点）では、Grok-2がClaude3.5Sonnetを抜いてGeminiに並ぶ2位タイ、Grok-2 miniがClaude3.5Sonnetに並ぶ6位タイを獲得しています。特にGrok-2は数学タスクで1位にランクインし、Hard Prompts、Coding、指示追従などの他のカテゴリーでも上位にランクインしています。
開発者たちは、SGLangという新しいシステムを活用して改善を実現しました。SGLangは、複雑な言語モデルプログラムを実行するための高効率システムで、オープンソース（Apache 2.0ライセンス）で提供されています。既存のシステムと比較して最大6.4倍の高いスループットを達成します。
xAIは今後もGrok-2とGrok-2 miniの改善を続けると表明しており、特にGrok-2 miniの処理速度をさらに向上させる計画があります。これにより、低い計算オーバーヘッドで高性能を求めるユーザーにとって、さらに魅力的なオプションになる可能性があります。
最近のxAIは大量のGPUを確保し、目覚ましい進化を遂げています。今後もハードウェアの増強を続けていくとされていて、まだまだ目が離せません。