投稿者: OpenAIは、一連の新製品発表イベント「12 Days of OpenAI」の6日目に、Advanced Voice Modeの画期的なアップグレードを発表しました。このアップデートにより、ユーザーはChatGPTとのやり取りの中で、リアルタイムでビデオ入力や画面を共有し、会話中にそれらを活用できるようになります。
主な新機能としては、まずスマートフォンやPCのカメラを通じて、リアルタイムで映像をChatGPTに共有できるようになりました。AIは映像を分析し、状況に応じたアドバイスや回答を提供します。例えば、ユーザーがコーヒー器具をカメラに映した場合、ChatGPTがその器具を認識し、コーヒーの淹れ方を具体的に説明するデモが行われています。
また、スマートフォンやPCの画面をリアルタイムでChatGPTと共有することも可能になりました。画面上の情報を基に、AIが問題解決やアドバイスを提供します。他のアプリを操作しながらChatGPTと会話を続けることができ、画面上の内容に基づいた指示や提案を受けられます。
この新機能は、現在ChatGPTの有料プラン（Plus、Pro、Teams）ユーザーに限定されており、無料プランでは利用できません。
この機能は5月のGPT-4oの発表の際にデモで提示されていたものですが、今回ようやく正式にリリースされました。今回のアップデートにより、単なるテキストや音声のやり取りだけでなく、視覚的な情報を活用した高度な応答が可能になりました。教育、業務、日常生活など、さまざまな場面での活用が期待されています。