投稿者: Anthropic社は、8月14日、AI言語モデルClaude向けの最新アップデートとして、プロンプトキャッシング（Prompt caching）機能を発表しました。この機能により、APIを通じてチャットの中で頻繁に使用するコンテンツをキャッシュできるようになり、大規模な事前情報に基づいた応答や、すでにあるプログラムを元に行うコーディング作業などの効率が劇的に向上します。
Claude APIは有料で、1回の応答量ごとに課金される仕組みですが、プロンプトキャッシングを使用することで、その応答コストを最大90%削減し、レイテンシ（応答速度）も最大85%改善できるとのことです。この機能は、現在Claude 3.5 SonnetとClaude 3 Haikuのパブリックベータ版で利用可能で、近日中にClaude 3 Opusのサポートも開始される予定です。
プロンプトキャッシングは、会話型エージェント、コーディングアシスタント、大規模文書処理、詳細な指示、エージェントによる検索や外部ツールとの連携、書籍や論文に基づく対話など、様々なユースケースで効果を発揮します。実際のユースケースでは、本に基づくチャットで79%のレイテンシ改善と90%のコスト削減、マルチターン会話で75%のレイテンシ改善と53%のコスト削減などが報告されています。
この新機能は、AIが日常生活に組み込まれていく過程で必要となる着実な一歩と言えます。開発者はClaudeの能力をより効率的に活用し、コストを抑えながら高度なアプリケーションを構築できるようになります。