Ovi AIの紹介
Ovi AIはCharacter.AIが開発したオープンソースのAI動画生成モデルです。テキストまたは画像を入力として、動画と音声を同時に同期して生成し、960×960解像度・24FPSで10秒間のクリップを作成します。開発者、クリエイター、研究者を対象として設計されており、時間的整合性、物理に基づく動きシミュレーション、およびネイティブなマルチモーダル生成に重点を置いています。基本的な利用にはユーザー登録やサブスクリプションは不要です。
このモデルはGitHubおよびHugging Faceを通じて公開されており、ローカル推論およびクラウドベースのAPIアクセスに対応しています。そのアーキテクチャは、マーケティング、プロトタイピング、教育、研究など、正確な音声・映像同期および現実的な動き表現が求められる専門的なクリエイティブワークフローに最適化されています。
主なポイント
- ツインバックボーン型クロスマodal融合アーキテクチャを用いて、10秒間の動画と同期音声を生成
- テキストから動画（T2V）、画像から動画（I2V）、およびテキスト＋画像から動画（T2I2V）の3種類の入力モードをサポート
- 音声生成専用の50億パラメータのブランチを搭載し、話者音声および効果音をネイティブに生成
- 物理法則に基づいた正確な動きを再現し、物体の相互作用、重力、運動学を反映
- 960×960解像度・24FPSで出力可能。縦型（9:16）、横型（16:9）、正方形（1:1）のアスペクト比に対応
- ローカル推論には32GBのVRAMが必要（fp8量子化時は24GB）
- ovi.videoで無料利用可能。商用向けAPIはWaveSpeed.ai経由で約0.15ドル／5秒生成で提供
- カスタマイズおよび展開のために、GitHubおよびHugging Face上でオープンソース実装を提供
Ovi AIの仕組み
Ovi AIはツインバックボーンアーキテクチャを採用しており、一方のブランチが視覚的入力（テキスト埋め込みまたは画像特徴量）を処理し、他方のブランチが音声表現を処理します。双方向密結合アテンションにより、クロスマodal融合が実現され、動画フレームと波形セグメントの同時最適化が可能となり、後処理によるアライメントを必要としないフレーム単位の同期が達成されます。
ユーザーはまず入力モード（テキストプロンプト、アップロード画像、または両方）を選択し、カメラ移動、物体の動き、音声指示などのオプションを構造化タグ（例：話者音声用[S]、効果音用[AUDCAP]）で指定できます。その後、モデルは物理法則に基づいた動きを含む時間的に整合性のある動画シーケンスをレンダリングします。Ovi 1.1リリースでは学習データが100％増加し、固定長（10秒）・固定解像度（960×960）での出力が行われ、アスペクト比およびシネマティックスタイルの調整も可能です。
主な利点と用途
Ovi AIは従来の制作パイプラインを必要とせずに、迅速な動画コンセプトのプロトタイピングを可能にします。デザイナーはストーリーボードのアニメーション化に、教育者は科学的なシミュレーションの作成に、マーケターは短尺のソーシャルメディアコンテンツ制作に、開発者は創造的ツールへの統合に活用できます。
物理に基づく動きエンジンは、ロボティクス可視化、物理学教育、製品デモンストレーションなど、物理的妥当性が求められるアプリケーションに適しています。一般的な動画拡散モデルではしばしば不足する現実的な動きを再現できます。また、ネイティブな音声生成機能により、別途TTSや効果音処理を経る必要がなく、エンドツーエンドのマルチモーダル出力が簡素化されます。Google VeoやOpenAI Soraなどのプロプライエタリなシステムに対するオープンソース代替として、Ovi AIは透明性、再現性、および技術的ユーザーによる拡張性を提供します。
