AI映像作家のハルさんは、SeedanceとKlingを台詞の有無で使い分け、短編映画『キル・スイッチ』を一人で仕上げた。
台詞の有無でツールを分ける
ハルさんは、交流サイトでAIによる短編ドラマを発表している映像作家だ。今回公開したのは、実話をもとにした短編映画『キル・スイッチ』の制作の裏側を書いた記録で、物語や演出について書いた前回の記事に続く、実務寄りの内容になっている。なお記事は、生成AIをまとめて使えるPollo AIの宣伝を含むことが明記されている。
数分の短編映画を作るとなると、一つのAIだけではなかなか成立しない、とハルさんは書く。静止画、動画、台詞、音楽、編集を、それぞれ得意なツールに分担させる。完成品は一本の映画でも、制作の現場ではかなり細かくバトンを渡し続けている、という。
| 工程 | 主に任せた先 | 工夫や注意点 |
|---|---|---|
| 静止画 | GPT Image系 | カメラ位置や人物の距離をこの段階で決める |
| 台詞のある動画 | Seedance | 演技や言い回しを任せるが費用は重い |
| 台詞のない動画 | Kling | 映画的な画づくりや静かな動作に使う |
| 音楽 | Suno | 細かい指定をやめ、あらすじだけを渡した |
| 編集 | CapCut | 良い生成でも不要なら切り、音は耳で合わせる |
基本の構成はシンプルだ。静止画を作り、それを動画にし、必要な場面では台詞を喋らせ、音楽を作り、最後に編集ソフトで一本につなぐ。静止画は主にGPT Image系、動画はSeedanceとKlingを中心に、MiniMaxの動画モデルやGrokもときどき使った。制作の拠点にはPollo AIを、音楽にはSunoを、最終編集にはCapCutを使っている。
途中からは、役割分担がかなり明確になったという。台詞のある場面はSeedance、台詞のない場面はKlingを中心に任せる。ハルさんの肌感覚では、Seedanceは演技や台詞の言い回し、息遣いが優れ、Klingは台詞まわりでは一歩譲るものの、映画的な画づくりや演出がかなり強いという。
この使い分けは、Seedanceの公式の説明とも重なる。ByteDance Seedの公式ブログは、Seedanceが指示への追従に優れ、人物のやり取りが多く動作の描写が細かい複雑な物語でも、精密な再現と安定した被写体の一貫性を実現できると説明している。
二人が店で会話する、旅行中に何でもないことを喋る、病室で言葉を交わす。こうした場面はSeedanceに任せた。一方で、列車に乗る、病院へ急ぐ、病室の入口で立ち止まるといった、台詞を必要としない演技はKlingに任せている。
ハルさんは、長い作品を作るときには、どのAIが一番すごいかを考えるより、このカットは何をしなければならないかでツールを選ぶほうが大事だと書く。そのほうが、生成にかかる費用の管理もしやすいという。
もちろんこの感想は、今回の作品を作った中での個人的なものだと本人も断っている。別の作品や別の題材では、違う使い分けが最適になるかもしれない。ただ、カットの役割から逆算してツールを選ぶという考え方は、どの組み合わせを使う場合にも応用できる。
同じ人物を保ち、静止画の段階で演出を決める
生成の性能より、同じ人物を最後まで保つ難しさのほうが大きい、とハルさんは書く。一人ならかなり安定するが、二人になると難しくなり、作品が長くなるほど、何十ものカットにわたって同じ人物であり続ける必要がある。今回も主人公の顔にはかなり苦労したという。
人物の設定画を参照していても、似ているけれどこの人ではない、ということが普通に起きる。しかも病院の場面では、同じ人物をかなり痩せた状態で描かなければならない。以前の顔をそのまま使えばいいわけでもなく、痩せさせすぎれば別人になる。長尺のAI映画では、生成能力以上に、同じ人物をどう受け渡すかが重要になる、とハルさんは書く。
参照画像を増やせば良いわけでもない、という指摘も実感がこもっている。設定画、直前に確定した画像、衣装、場所。余計な参照を混ぜると、かえって崩れることがある。こうした調整は相変わらず地味だ、という一言に、長尺作品の現場の手触りが表れている。
もう一つの工夫が、動画の指示で演出する前に、静止画の段階から演出を決めてしまうことだ。カメラはどこにいるのか、二人の距離はどれくらいか、顔をどこまで見せるか、空間をどれくらい残すか。こうしたことを最初の一枚で決めておくと、その後の動画生成がかなり安定したという。
旅館の場面では、あえてきれいな映画を作るのをやめた。第三者が撮った映像ではなく、一緒に旅行した男性がスマートフォンで撮った記録に見せたかったからだ。少しの手ぶれ、遅れるピント、白く飛ぶ明るい部分。AIにきれいな映像を作らせるより、自然に下手な映像を作らせるほうが難しかったという。
こうした細かな演出の指示が通るかどうかは、生成モデルの指示への追従力にかかっている。Seedanceの公式の説明が強調する、複雑な物語でも指示に沿って一貫性を保てるという性質は、台詞と演技が絡む場面を任せる判断の裏付けとして読める。
旅行の場面では、一枚の画面に旅行中の写真をたくさん並べたコラージュを参照させ、短いVlog風の動画にまとめる手法も使っている。一つ一つの出来事を説明しなくても、二人が楽しい旅行をしたことが伝わる。これは情報の圧縮というより記憶の圧縮だ、というハルさんの言葉は的確だ。
病院の場面では逆に、引き算に苦労したという。AIに感動的な場面だと理解させると、すぐに泣き、大きく抱きしめ、顔を歪ませ、カメラが劇的に寄ってしまう。そこで多用したのが、動かない、待つ、少しだけ、という指示だった。
受け渡しと編集で映画にする
AI映像を作る人がまず持ち帰りたいのは、ツール同士の受け渡しが一番難しいということだ。同じ人物であること、同じ声であること、同じ服であること、同じ場所にいること。そして次のカットへ自然に渡せること。長尺作品では、生成の品質より連続性の管理が一気に難しくなる。
そのため、制作を始める前に、人物の設定画や衣装、場所の画像といった参照素材を整理しておく必要がある。どの参照をどのカットで使ったかを記録しておけば、似ているけれど別人になったカットを作り直すときにも迷わずに済む。
台詞のある場面をSeedanceに任せるという使い分けは、公式が強調する被写体の一貫性や指示への追従力を生かす選択と言える。ただし費用は重いとハルさん自身も書いているので、台詞のない場面は別のモデルに回すなど、場面ごとの割り振りで予算を管理したい。
音楽の作り方も工夫していた。最初は劇伴として何曲か作ったがしっくりこず、歌詞を細かく書かせてもどこか薄っぺらかった。そこで細かい指定をやめ、物語のあらすじだけをSunoに渡したところ、何度目かの生成で、これだと思える曲が出たという。映像は細かく制御し、音楽だけはAIに任せた。
そして最後は編集だ。カットを並べ、尺を削り、環境音を残し、音楽をつなぎ、タイトルを置き、色を整え、音量を合わせる。数分の作品になると、生成より編集の時間のほうが長く感じる瞬間があるという。演技が良くても映画全体に必要なければ切る、という判断は、普通の映像編集とまったく同じだ。
歌を途中で切ったために伴奏がつながらない箇所では、前後の音をわずかに重ねる短いクロスフェードでなじませたという。歌が切れていない場所でも、伴奏のコードや残響が違えば編集点は耳で分かる。最後は耳で決める、というくだりは、AI映像でも仕上げの品質を決めるのは人の感覚だと教えてくれる。
記事の最後には、旅館の場面で実際に使った考え方に近い指示文も公開されている。映画っぽくきれいにしないこと、構図を整えすぎないこと、台詞の言い換えを禁止することなど、普通の指示文とは逆向きの注文が並んでいて、自然な映像を狙う人にはそのまま参考になる。
宣伝を含む記事だが、書かれている内容の中心は特定のサービスの紹介ではなく、長尺のAI映像を完成させるための段取りにある。カットの役割でツールを選び、人物を受け渡し、最後は編集で映画にする。
AI編集部のつぶやき
