UtopaiのPAIをテスト:今日最高の長編AIビデオ生成ツール?

Read from

ほとんどのAIビデオツールはハイライト映像向けに作られています。Sora、Kling、Luma、Runway—すべてがスペクタクルの瞬間に最適化されています:印象的な5秒のクリップ、ソーシャルメディアで見栄えのする視覚的な実験。

彼らがめったに解決しないのは、プロのストーリーテラーにとって実際に重要な部分です:シーン間の一貫性、カットをまたいだキャラクターのアイデンティティ、そして何かが少しずれたときに毎回やり直す必要のない細かなクリエイティブコントロール。

それが、Utopai StudiosがPAIで狙っているギャップです。Google Research、Meta Superintelligence、Amazon AGI、Adobe Firefly出身のチームが、長編シネマティック制作のためにPAIを構築しました:単一のナラティブフローで最大16ショット、最大1分の出力、最大4Kの解像度。

また、保護されたIP、著作権で保護されたキャラクター、実在の人物の肖像に対する生成をブロックする組み込みの著作権保護機能も含まれており、偶発的な侵害を許容できないスタジオやプロフェッショナルを対象としています。

PAIは今月初めに一般公開されたばかりです。私たちはアクセスし、ワークフローのすべての段階を試し、途中でクレジットを失いました。これが全体像です。

インターフェース

メイン画面はChatGPTや一般的なチャットボットインターフェースのように見えます。そこから、Characters、Storyboard、Video、Editor、Historyの5つのタブをナビゲートします。

しかし、これに惑わされてはいけません:PAIはSoraやVeoのようなプロンプト待ちツールではありません。それは自然言語レイヤーを備えた構造化された制作パイプラインであり、その違いは—特にクレジットがかかっているとき—非常に重要です。

キャラクター

これはスイート全体で最も強力な機能であり、現在利用可能なAIビデオツールの中で最も印象的なキャラクター生成システムかもしれません。

ユーザーはモデルにキャラクターを自動作成させるか、参照画像を提供して作業させることができます。それが行うのは顔交換ではありません—ディープフェイクツールのように実在の人物の肖像を移植するわけではありません。代わりに、参照に非常に近い完全に新しいモデルを生成し、直接的な顔の置き換えに伴う法的・倫理的問題を回避します。すべての出力にはSynthIDの透かしが入ります。

ほとんどのAI生成キャラクターは、すぐにわかるワックス状の肌質を持っています。PAIのキャラクターはそうではありません。少なくとも同じ規模ではありません。肌のテクスチャはリアルに見え、光が顔に当たる様子も自然で、ディテールも強力です。これが独自モデルによるものか、異常に洗練された生成ワークフローによるものかは別として、結果はそれ自体が物語っています。

キャラクターの編集は自然言語で行われます:妻の外見を参照としてキャラクターを生成しましたが、結果が痩せすぎていたので、モデルに参照に合わせて体のプロポーションを調整するよう依頼しました。それは私の意図を正確に理解し、修正しました。

一貫した注意点:遅いです。基本的なキャラクター画像生成でも、実行ごとに数分かかります。

ストーリーボード

ストーリーボードを自動で実行し、モデルにすべてを任せることもできますが、それが本来の目的ではありません。

PAIはここでの詳細な入力を報います。説明すればするほど—各シーンでキャラクターが何をするか、何を言うか、ストーリーがどう進むか—モデルの性能が向上します。その具体性を与えると、AIが詳細を拡張し、約12のキーフレームを構築します。各フレームにはシーン画像と、その瞬間に何が起こっているかの説明(キャラクターのアクション、ダイアログ、視覚的構成)が付属します。

コミットする前に各キーフレームを個別に編集できます。コントロールは本当に細かいです。満足したら、モデルに続行を指示し、レンダリング前に最終確認を求めます。このレンダリング前レビューフローはスマートな設計です。意図的な決定を強制し、高くつく前に問題をキャッチします。

とはいえ、最小の編集でも時間がかかり、クレジットを消費します。慎重に進めてください。

ビデオ生成

うまくいくと、成功したレンダリングは1分のビデオを生成するのに約30分かかります。出力品質はその待ち時間を正当化します。カメラアングルは自然に変化し、確立されたキーフレームを尊重し、照明は自然で、キャラクターはほとんどのAIビデオ生成を無機質にする中空で虚ろな品質を持っていません。声はシーン間で一貫しており、他の要素へのカット後も適切なイントネーションが維持されます。

カメラが他のものを示した後にキャラクターに再フォーカスすると、彼らは去ったときとまったく同じように戻ってきます。背景の風景は全体を通して安定しており、ワープやアーティファクトは存在しますが、軽微です。1つの弱点:モデルはビデオ内のテキストをうまく処理しません。基本的なテキスト要素は生成できますが、正確なオンスクリーンのタイポグラフィを必要とするものには頼らないでください。

以下は、モデルがすべてを自動処理した生成のサンプルです。

さて、難しい部分です。私たちのテストシーケンスの1つは、3回連続で失敗しました。最初の試みは約45分かかり、フルビデオが生成されたかのようにクレジットを消費し、空の結果を生成しました。チャットボットに何も生成されていないと伝えました。それはエラーを認め、再起動しました。

1時間後、まだ何もありません。3回目を試しました。同じ結果。3回の試行、大幅なクレジット損失、そしてゼロの映像。諦めたときには、クレジットがほぼ尽きており、先に進まざるを得ませんでした。

これは、実際のお金を払い、プロのタイムラインで作業している場合、軽微なバグではありません。インターフェースはエラーが発生することを認めています。直接体験することは別のことです。特に、生成プロセス中にクレジットが消費された場合、ビデオをダウンロードするにはプラスの残高が必要になることを考慮すると。

すべて自動選択の最初のテストでは、ユーザーエラーを犯しました:どのキャラクターにどの参照を使用するかを指定せずに2枚の参照写真を提供し、モデルはそれらを逆に割り当てました—男性キャラクター(私)が女性参照(妻)から生成され、その逆も同様でした。

女性としての私のそのトラウマ的なイメージは忘れてください。結果のビデオは、私がこれまでに生成した中で最も一貫してレンダリングされた長編AIビデオになりました。間違った参照でも、モデルはシーンからシーンへの視覚的およびトーン的な連続性を維持しました。それは基盤となるアーキテクチャについて多くを語っています。

両方の経験からの教訓は同じです:通常のAIビデオツールはすべてをあなたのために想定しているため、あまり考える必要はありません—しかし、彼らが決定するものを受け入れなければなりません。PAIはあなたにコントロールを与えます。そしてそのコントロールには、あなたが入れるものに対する完全な責任が伴います。

エディター

ビデオが完成すると、Editorタブでは自然言語で完全にリビジョンを指示できます。シーンに要素を挿入、削除、色を変更、照明を調整、ダイアログを言い換え、リップシンクを更新すると、モデルはそれに応じて再レンダリングします。それはあなたが求めていることを本当に理解しています。

これは後処理フィルターではありません。シーンレベルでの反復的なAI駆動リビジョンです。編集意図を説明し、修正された映像を受け取る能力は、ディレクターと素材の間の創造的な関係を完全に変えます。この機能は、PAIの他の何よりも、AIビデオ編集が近い将来に向かっている方向性を示しています。

例えば、最初のビデオを見た後、モデルに適切な参照を使用して性別の間違いを修正するよう依頼しました。

処理されると、これから:

これになりました:

履歴

‍

Historyタブは、すべてのインタラクションの完全なタイムラインを記録します:プロンプト、編集、レンダリング試行、すべて。

個人クリエイターにとっては、有用なコンテキストを提供します。チームにとっては、異なるユーザーが同僚がモデルをどのように指示したかを見て、何が機能し、何が機能しなかったかを理解し、共有された創造的な記録から続行できる、実際のコラボレーションレイヤーになるかもしれません。

価格と結論

PAIの価格は10,000クレジットで100ドルです。私たちのテストでは、2,000クレジットで4本のビデオ(1本完了、3本未完了)をカバーし、合計4分でした—ビデオごとに2キャラクターを生成し、レンダリング前に複数のイテレーション、リッチで詳細なプロンプトでのストーリーボード開発、そしてレンダリング後の編集を約2ラウンド行いました。

全体として、PAIはAIビデオを真剣に考える人々のために作られたプロフェッショナルツールのように感じます。それは遅く、経験不足に容赦がなく—正直なところ、素晴らしいチュートリアルがあればいいのですが—そして予算を非常に早く燃やすことができます。インターフェースは完璧ではなく、準備不足で入るとシステムが罰します。

最初のセッションでその考え方を学んだ後、2回目のテストラウンドは非常に驚くべき満足のいく結果を生み出しました—通常は顔交換技術、試行錯誤のラウンド、ポストでの編集を必要とする種類の結果です。

連続性、IPの安全性、シネマティック品質が交渉の余地のない要素であるプロのビデオクリエイターにとって、PAIは現在利用可能な最高の長編AIビデオシステムです。信頼性の問題を修正すれば、少なくとも今のところ、他に近づくものはありません。

Read more