投稿者: AIを活用したクリエイティブツールで知られる Lightricks 社が、同社のプラットフォーム「LTX Studio」に、音声を基に動画を生成する新機能「Audio-to-Video」を搭載したことを発表しました。この機能は、声や音楽、効果音といった音声データを主要な入力として動画コンテンツを作り出すものです。
この技術の中核を担うのは、Lightricks が独自に開発した次世代 AI エンジン「LTX-2」モデルです。従来の Text-to-Video 技術とは異なり、「Audio-to-Video」では音声が動画の構造、ペース、動きを決定する主導的な役割を果たします。ユーザーは音声ファイルを提供するだけで、AI がそれに同期した映像を生成します。これにより、これまで別々に行われていた音声と映像の制作・同期作業が不要になり、ワークフローが大幅に効率化されます。
LTX-2 モデルの技術的な特徴として、最大 4K 解像度、50 FPS での高品質な映像生成、6 秒の HD 動画を約 5 秒で生成する高速性、そして最大 20 秒の連続したクリップ生成能力が挙げられます。また、市販の GPU でも動作するよう最適化されており、競合モデルと比較して最大 50% 低い計算コストでプロ品質の結果を提供できるとしています。
さらに Lightricks は、高品質な音声合成技術を持つ ElevenLabs との独占的パートナーシップを締結。これにより、サウンドを起点としたコンテンツ制作がよりシームレスになります。また、LTX-2 モデルは「LTX-2 Community License」の下でオープンソースとして公開され、一定の条件下で商用利用も可能です。この戦略は、開発者コミュニティによる技術革新を促進し、AI 動画生成のエコシステムを構築することを目的としています。
音声が物語を駆動するこの新しいアプローチは、ポッドキャストの映像化や音楽ビデオ制作、セリフに合わせたアニメーションなど、多岐にわたる分野での活用が期待されます。AI 動画生成の分野ではテキスト入力が主流でしたが、Lightricks の取り組みは、より直感的で多角的なクリエイティブプロセスへの移行を示唆しており、今後の業界の動向を占う上で注目すべき動きと言えるでしょう。