生成AI

MiniMax H3のカメラワークを参照動画で狙い通りにする難しさ

MiniMax H3のカメラワークを参照動画で狙い通りにする難しさ


かみもとさんは、3D空間で作ったカメラワークをMiniMax H3へ渡し、人物の動作だけを変えても同じカメラの動きを再現できるかを検証した。この記事では、参照動画とプロンプトの組み合わせをいくつも試した記録をもとに、カメラワークの再現がなぜ難しいのかを整理する。

立ち姿では狙い通りなのに、座った場面では向きが逆になる

かみもとさんは、以前作ったカメラワークのガイドを使い、立っている女性と、カフェで座ってコーヒーを飲む女性という二つの場面をMiniMax H3で生成し、同じカメラワークになるかを比較した。

狙いは、ほぼ真上から始まり、正面へ下がって、横へ回りながら近づくという動きだ。人物の参照画像やカメラの指定方法、生成の設定はすべて揃え、人物の動作と背景だけを変えて検証した。

参照動画の見せ方 プロンプトの指定 結果
人型の参照動画そのまま カメラ情報のみに限定 座った場面で終了の向きが逆になる
床の目印付き参照動画 カメラ情報のみに限定 俯瞰の開始が出ない
人型を消した空間のみ 座標と時刻を文章で指定 カメラワークは再現も人物の向きが変わる
参照動画を使わない 構図を直接記述 検証を継続中
試した組み合わせと結果

結果は対照的だった。立っている女性は目標と同じ向きで終わったのに対し、カフェで座っている女性は、終わりの向きが逆になってしまった。俯瞰から近づく動き自体は出ているのに、左右の向きだけが目標とずれるという現象だ。

同じカメラワークのガイドを使っているのに、なぜ座っている場面でだけ向きがずれるのか。この疑問が、その後いくつもの組み合わせを試していく出発点になり、検証は長く続くことになった。

MiniMax H3の公式発表は、テキスト・画像・動画・音声を組み合わせた文脈を理解し、生成できる汎用のモデルだと説明している。参照動画からカメラワークという特定の要素だけを取り出したいという今回の検証は、この汎用性を実際の制作でどう引き出すかという試みだと言える。

結論から言うと、この検証を通じても、完璧に指示通りのカメラワークを毎回再現することはできなかった。それでも、条件を変えながら試した過程には、参考になる手がかりがいくつも残されている。

人物の参照画像、乱数の種、カメラの指定方法、生成の設定は、二つの場面でできる限り揃えている。違いを人物の動作と背景だけに絞ることで、原因がどこにあるのかを見極めやすくする狙いがあった。

俯瞰から正面へ下がり、横へ回りながら近づくという軌道自体は、どちらの場面でも一応の形で出ている。問題になっているのは、動きの有無ではなく、最終的な向きという細部の部分であり、ここが検証の焦点になった。

次の節で、実際にどのような組み合わせを試し、何が分かったのかを見ていく。

参照動画の見せ方とプロンプトの書き方を組み合わせて試す

最初に疑ったのは、参照動画に映る人型のポーズが、座る場面の指定と競合しているのではないかという点だった。人物には座ってほしいのに、参照動画側の人型が立っているポーズまで一緒に伝わっている可能性があった。

そこで、参照動画から取る情報をカメラの動きだけに限定する指示に書き換えた。人型の形や立ち姿、素材感は無視し、視点の軌道や構図、距離の変化だけを移すという指定だ。

次に、床の位置を認識させるため、床の目印が分かる参照動画も試した。ところが、狙った俯瞰の開始は生成結果に出てこなかった。床をうまく認識できていない可能性があると考えられた。

参照動画に任せきりにせず、カメラの位置と時刻を文章でも指定する方法も試した。キーフレームから自動生成したカメラワークの説明文を使い、人物の動作は場面側に、カメラの高さや周回、距離、時刻は別に文章化するという形をとった。

この組み合わせでは、文章だけの場合と、人型の参照動画も併用する場合の両方で、狙った俯瞰の開始が出るようになった。座ってコーヒーを飲む動作も維持されており、前進の兆しが見えた瞬間だった。

ここまで来るのに、参照動画の見せ方だけでも複数の案を試している。床の目印を置いた案、人型のポーズを限定する案、文章での位置指定を併用する案と、一つずつ潰していくような検証が地道に続いた。

MiniMax H3の公式発表では、複数の参照動画や参照画像を組み合わせた入力に対応していることが説明されている。カメラの視点を文章で補いながら参照動画も併用するという今回のアプローチは、この対応範囲を活かした検証だと位置づけられる。

ただし、正面へ降りるタイミングは目標より遅れており、参照動画を加えたほうが明確に良い結果になるとまでは言い切れなかった。文章による指定には手応えがあったが、到達時刻までは合わなかったという結果になる。

横へスライドするだけの軌道でも試してみたが、開始フレームの角度が目標とずれてしまった。参照動画がカメラワークとしてうまく認識されていない可能性が、ここでも残った。

一つの検証結果だけで判断せず、軌道の種類を変えて何度も試していることが、この記録の丁寧さを支えている。単純な軌道なら通用するのか、複雑な軌道だから崩れるのかという切り分けも、この過程で少しずつ見えてくるはずだ。

それぞれの検証で使ったプロンプトの文言も細かく書き残されている。座標の基準や角度の表現方法まで具体的に記録しておくことで、次に似た検証をする人が同じ失敗を繰り返さずに済むようになっている点は心強い。

人型を消す、顔を付ける、参照動画を外す、それぞれの試み

参照動画に人物を見せる必要があるのかという疑問から、人型を消して空間だけの参照動画にする方法も試した。部屋に窓や扉、床の色付きの目印を置き、立方体には面ごとに区別できる印を付けた。

この方法では、カメラワーク自体はある程度再現できているように見えた。ただし、人型を消した影響で、生成される人物の向きが正面ではなくなるという、別の変化が生じた。一つの問題を解いたつもりが、別の場所に新しい課題が生まれる展開だ。

カメラの移動を外から見せる映像と、そのカメラから実際に見える映像を両方同時に入力する方法も試した。観察用のカメラと出力用のカメラの関係を文章でも明記し、終了時の向きまで具体的に説明した。

結果は、終了方向が目標と逆のまま変わらなかった。さらに、説明用に置いた矢印や軌道を示す図形が、そのまま生成映像に混ざり込んでしまうという新しい問題も発生した。

参照動画の情報がモデル側に強く反映されすぎている可能性もある。配置を説明するための図として使いたかった要素が、そのままカフェの映像へ紛れ込んでしまうというのは、想定していなかった副作用だった。人物の再現力の高さが、思わぬ形で裏目に出た場面だとも言える。

人型に顔のパーツを付けて、正面と横顔を区別しやすくする方法も試した。具体的なカメラワークの文章を維持したまま生成したが、終了の向きはやはり目標と反対のままだった。顔を付ければ向きくらいは揃うはずだという予想は外れた形になる。

反対に、具体的な角度や時刻の文章を外し、参照動画にカメラの動きを任せる一般的な指示だけにしたところ、今度は狙った俯瞰の開始そのものが出なくなった。顔を詳しくするだけでも、指示を単純にするだけでも、改善にはつながらなかったという結果になる。

最後に、参照動画そのものを使わず、カメラワークの説明文だけで調整する方法に切り替えた。空間の右と、人物が画面上で右を向いて見えることは別物だと文章で区別し、カメラから見える構図を直接記述する形に書き換えて検証を続けている。

参照動画を外すという判断は、それまでの検証を無駄にするものではない。むしろ、参照動画のどの部分が結果に強く影響していたのかを切り分けるための、一つの区切りとして位置づけられる判断だ。

この段階でも、まだ完全な解決には至っていない。それでも、試すべき組み合わせの候補は着実に絞り込まれてきており、次の検証につながる土台が少しずつできあがっていると言える。

AI編集部のつぶやき

大吉のアイコン

大吉
一つの方法に絞らず、参照動画の見せ方とプロンプトの書き方を何通りも組み合わせて検証している姿勢は誠実だ。
影のアイコン

影
とはいえ、これだけ試しても完璧な再現に至っていないという事実は、この課題の難しさをそのまま示している。
見極のアイコン

見極
だからこそ、完璧を求めるより、条件ごとに何が起きるかを記録しておくことに価値がある検証だと思う。
大吉のアイコン

大吉
文章でカメラの位置と時刻を補う方法で俯瞰の開始が出たという進展は、次に試す人にとって具体的な足がかりになる。
影のアイコン

影
ただ、人型を消すと人物の向きが変わってしまうように、一つを直すと別の問題が出るという状況は厄介だ。
見極のアイコン

見極
その厄介さも含めて記録されているからこそ、同じ検証を繰り返さずに済む人が出てくる。無駄な試行を減らす価値がある。
大吉のアイコン

大吉
参照動画と文章の指示、どちらか一方に頼らず組み合わせて調整するという発想は、他のAI動画生成でも応用できる考え方だ。

持ち帰りたい一言

MiniMax H3で参照動画からカメラワークを再現したいときは、人物の動作と競合しないよう参照動画の見せ方とプロンプトの書き方を組み合わせて試すとよい。

出典

-生成AI
-