ジェームズ・キャメロン、「Stable Diffusion」開発元の取締役に就任 生成AIを使ったVR 映画はあるのか?

ジェームズ・キャメロン、「Stable Diffusion」開発元の取締役に就任 生成AIを使ったVR 映画はあるのか?

ジェームズ・キャメロン監督が2024年9月24日(ロサンゼルス時間)、画像生成AI「Stable Diffusion」開発元のStability AIの取締役に就任したそうです。

ジェームズ・キャメロンが取締役会に加わった件についてのプレスリリース
https://stability.ai/news/james-cameron-joins-stability-ai-board-of-directors

プレスリリース中でジェームズ・キャメロンは、「生成 AI と CGI 画像作成の交差点が次の波です。これら 2 つのまったく異なる作成エンジンの融合により、アーティストが想像もできなかった方法でストーリーを伝える新しい方法が実現します」と語っています。

生成AIに対する拒否感から脚本家や俳優のストライキが起きたハリウッドで、この就任には批判も出るかもしれませんが、これまでCGなどの映像制作の先端技術を切り開いてきたジェームズ・キャメロンらしい流れとも感じられます。

▶︎こちらの投稿もご覧ください。
映画「アバター ウェイ・オブ・ウォーター」をIMAX レーザー3D、HFRで見た感想(ネタバレなし)

世界的なVFX会社であるWeta FX (旧称 Weta Digital) の元 CEO のプレム・アッカラジュ(Prem Akkaraju)が、2024年6月25日にStability AIのCEOに就いており、元々ジェームズ・キャメロンとも親交があったようで、それが今回のジェームズ・キャメロンのStability AI取締役会への参加につながっているようです。

CNBCによるジェームズ・キャメロンとプレム・アッカラジュのインタビュー
https://youtu.be/y8INJQQ96YU?si=oVHXdmhBU-pvHBGI

Wetaの人と親交があったのも当然で、ジェームズ・キャメロンが『アバター』においてCG映像の限界を押し上げる上で、キャラクターのモーションキャプチャ技術やリアルなデジタルキャラクターの表現を得意とするWetaは重要な役割を果たしました。異星の青い肌の種族「ナヴィ」のCGや衣装デザインをWetaが手がけています。

以下の厚さ2.5cmのずっしりと重いメイキング本では、豊富な写真と解説で『アバター』の制作の様子を紹介しています。

脚本家や俳優のストライキの脇で、映画界の大物たちが本気で生成AIに取り組もうとしている様子がうかがえます。様々な問題をはらむ生成AIをどのように映画制作へ活かしていくのか、興味深いです。

生成AIを使う映画の技術開発の段階

生成AIを使う映画の技術開発には、いくつかの段階があると思います。どこまで行けるかは未知数です。

2Dの(通常の投影方式の)映画に生成AIの静止画像を活用する
静止画を使うのであれば背景など動かないものの表現に使うことがメインだと思いますので、これはすぐにできそうです。すでに使われているかもしれません。

2Dの(通常の投影方式の)映画に生成AIの動画を活用する
動画の場合は人物や動物、乗り物など動きのあるものの表現やカメラワークに使うと思います。人物の姿や表情、服装のデザイン、建物や様々な物体、光などを狙い通りのルックで一貫性を持たせて出力することが求められますが、長尺の映画ではショットごとにプロンプトのトライアンドエラーを繰り返すような制作方法では時間がかかりすぎて現実的ではないため、それができるようになるためにはまだ時間が必要かもしれません。

3D(立体視)の映画に生成AIの静止画像を活用する
すでにStable Diffusionで立体視ではない360度画像を作成する人はいるようで、3Dの映像であっても背景に生成AIの静止画像を立体感を持たずに置くだけであればすでにできると思いますが、立体視で見せるためには視差を正確に表現する必要があり、左右の視点用の映像に少しでもゆらぎがあると違和感が出ます。これもできるようになるためにはまだ時間が必要かもしれません。

3D(立体視)の映画に生成AIの動画を活用する
これも「狙い通りに一貫性を持たせて出力できる」ことを前提として、なおかつ左右の視差を正確に表現することが求められ、かなりハードルは上がってきます。

ジェームズ・キャメロンはどこまで視野に入れているか

ジェームズ・キャメロンは映画『アバター』などで3D映画に取り組み、インタビューでは、VR映画に対するビジョンについて話していました。

「『アバター』で使用されているような高精細な映像が(リアルタイムでインタラクト可能な)VRで実現できるのは、おそらく数世代先の技術でしょう。『アバター』の映像の1フレームをレンダリングするだけで、現在は100時間はかかります。このレベルの映像をVRでレンダリングできるのは数十年先、もしくは10年後かもしれませんが。とにかく、そのようなVRを見てみたいし、そんな真のVRで映画を作ってみたいです」

出典(2017年の記事)
ジェームズ・キャメロンが語る「真のVR」とは
https://www.moguravr.com/james-cameron-vr/

VRの場合はさらに前面のスクリーンだけでなく、360度、少なくとも180度の映像は必要になります。まずは「3Dの映画に生成AIの動画を活用する」技術が確立され、その発展形で180度VR動画は作られると思います。

インタラクティブ性のない、つまりリアルタイムレンダリングの必要がない生成AI360度VR 映画の技術から発達していくのかもしれません。

ジェームズ・キャメロンがどこを目指しているのか楽しみです。

関連

2010年発売で、キャメロンのそれまでの映像技術の集大成でありさらに一歩突き抜けた映画『アバター』(2009)までのキャリアを振り返る本です。キャメロンの初期の作品から、代表作である『ターミネーター』『エイリアン2』『タイタニック』『アバター』まで、彼の作品と人生を詳細に描いています。特に、彼の映像技術へのこだわり、そして深海探査などの冒険的な側面にも焦点が当てられています。

フィルムアート社の本書紹介のページ
https://www.filmart.co.jp/books/978-4-8459-1052-6/