Google Flowで四回崩れた日本語の文字の共通点
画面の中で、さっきまで読めていた漢字が、また別の形の意味不明な文字の集まりに変わっていく。しかも今度で四回目、直したはずの箇所が毎回ちがう崩れ方をする。
しんえもんさんは、自分の小さな店の宣伝のために、路線図のように六つの駅名を並べ、最後の到着駅に大きな日本語の文字と小さな英語の字幕を添える縦長の動画を作ろうとしていた。以前べつの短い商品紹介の動画では、商品名の文字も人物の顔も崩れずに残った経験があったので、今回も同じ生成AIで作るつもりだった。
| 試した方法 | 変えた点 | 結果 |
|---|---|---|
| 一回目:絵をそのまま最初の場面にする | 特になし(最初の試み) | 一つの駅の漢字が動き始めてすぐ崩れた |
| 二回目:絵を参照画像として渡す | 読み込ませ方 | ほとんどの駅は直ったが、漢字と英語を二段に重ねた三つの駅は崩れた |
| 三回目:指示文を日本語に書き直す | 指示文の言語 | 文字の崩れは直らず、人物の動きの別の問題だけ直った |
| 四回目:九コマの構成図を使う | 以前成功した構成図の再利用 | 同じ駅の文字が同じように崩れた |
| 五回目:fal.ai経由でMiniMax H3 Maxに替える | 生成AIそのもの | 六つの駅すべての文字が崩れず残った(英語の字幕は一部ずれた) |
六つの駅名は、しんえもんさんの店が提供している六つの区分をそれぞれ表しており、路線の最後には小さな目的地のような駅があって、そこに大きな日本語の文字と、その下に添えた小さな英語の字幕が並ぶ構成になっていた。
最初は、完成した一枚の絵をそのまま動画の最初の場面として読み込ませた。すると駅の一つの漢字が、動き始めてからおよそ一秒ほどで意味の分からない文字の並びに変わってしまった。
次に、同じ絵を参照する絵として読み込ませる方法に切り替えた。ほとんどの駅の文字は正しいまま残ったが、三つの駅だけはやはり崩れ、崩れた駅だけが漢字と英語を二段に重ねた表記になっているという共通点に気づいた。
三回目は、英語で書いていた指示文をすべて日本語に書き直し、日本語での指示が弱いのではないかという疑いを試した。文字の崩れそのものは変わらなかったものの、人物の動き方が不自然だった別の問題は解消され、収穫がまったくないわけではなかった。
四回目は、以前の商品紹介の動画でうまくいった、九コマの番号つき構成図を一枚の絵にまとめて読み込ませる方法をもう一度使った。構成図の通りに動かすよう指示しても、結局は同じ駅の文字が同じように崩れ、四回とも思うような結果にならなかった。
四回とも共通していたのは、大きな日本語の文字と、動く人物が同じ画面の中にいたことだった。以前の商品紹介の動画で崩れずに残った場面は、人物のいない静止した最後の場面だけだったことを思い出し、人物と大きな文字が同時に動く場面そのものが、この生成AIの苦手な組み合わせなのではないかと考えるようになった。
四回とも粘った末に、しんえもんさんは五回目も同じ生成AIで試すのではなく、そこでいったん手を止めた。同じ場所で違う崩れ方を待ち続けるより、崩れの見立てそのものを疑い直すほうが早いと判断したからだ。この判断が、次の段階で道具そのものを替える選択につながっていく。
MiniMax H3 Maxで六つの駅の文字が一発で直った理由
しんえもんさんは、指示文をさらに練り直すことをやめ、道具そのものを替えることにした。複数の生成AIをまとめて呼び出せる中継のような仕組みであるfal.aiを介して、MiniMax H3 Max、べつの呼び名でHailuoとも呼ばれる生成AIへ、同じ絵と、他の人が公開していた成功例の英語の指示文をそのまま渡してみた。
しんえもんさんが渡した指示文は、自分で新しく考えたものではなかった。fal.ai上でMiniMax H3 Maxを使ってすでに成功していた別の人が公開していた例をそのまま流用し、書き方を工夫する労力そのものをかけずに済ませた点も、それまでの四回とは違っていた。
MiniMax H3 Maxの公式発表は、この生成AIが仕事の種類を選ばない設計を土台に、事前学習の段階から絵と文字と映像と音をまたいだ幅広い理解と生成の力を備えており、複雑な指示に従う場面で高い性能を発揮すると説明している。
結果は一度の生成で出た。fal.ai経由でMiniMax H3 Maxを使った動画では、六つの駅名すべての日本語の文字が崩れずに残り、四回続けた結果とは対照的だった。
ただし、完全に元通りというわけではなかった。駅名の下に添えた小さな英語の字幕の文字が、いくつかの駅でわずかにずれていた。道具を替えたことは、追いかけていた漢字の崩れという一つの不具合を消しただけの、部分的な効果だった。
うまくいった動画に対しても、しんえもんさんは生成をやり直さず、導入部分で話す速さを少し上げる調整と、AIが仮に描いた店の印刷物の代わりの絵を実際の店の印刷物に切り替える手直しだけを、区切りのよい場面に加えた。
しんえもんさんが最初の三回で確かめたのは、指示文の書き方を工夫しても崩れが直らないという結果であり、実際に効いたのは、生成AIそのものと、大きな文字を人物とどう同じ画面に置くかという選び方のほうだったということになる。
小さな英語の字幕には別の乱れが残った理由
しんえもんさんが挙げているもう一つの教訓は、生成をやり直すたびに、前回うまくいっていた部分まで失われるということだ。三回目の指示文で直った人物の動き方の良さは、四回目には引き継がれず、また一から探すことになった。
同じ生成AIの中で指示文だけを変えて試し続けるより、うまくいかない組み合わせだと分かった時点で、別の生成AIに替えるほうが早く目的の映像にたどり着ける場合がある、という見方は、今回の記録から読み取れる実用的な考え方だと編集部は受け止めている。
しんえもんさんは、最初の一回で完成品が出ると考えるより、いくつかの候補を作ってから選ぶほうが現実的だとも述べている。ためしに作った複数の動画を並べて見比べ、いちばん崩れの少ないものを選ぶという構えを持てば、道具を替える判断も落ち着いてできる。
崩れの原因を日本語という言語そのものの弱さに求めるより、大きな漢字と英語を二段に重ねた文字が動く人物と同じ画面にある組み合わせに求めるほうが、今回の四回の結果には合っている。純粋に日本語だけの駅名や、英語だけの駅名は、四回を通じてほぼ崩れずに残っていたからだ。崩れやすさを左右していたのは、言語の種類よりも文字の組み方と画面の構成の側だったと見るほうが自然だろう。
大きな日本語の文字を人物と同じ画面で動かしたいときは、まず参照画像としての読み込ませ方を試し、それでも崩れる文字が残るなら、漢字と英語を二段に重ねた表記を避けるか、崩れやすい生成AIから別の生成AIへ替える判断を早めに検討したい。切り替えの目安を先に決めておけば、迷う時間そのものを減らせる。
今回の対処はしんえもんさんの一つの制作記録であり、他の絵や他の指示文でも同じように道具を替えるだけで直るとは限らない。生成AIの側が更新されれば、崩れ方も直り方もまた変わっていく可能性がある。それでも、崩れた箇所を毎回言葉遣いの問題として抱え込まずに済むという意味では、記録として残す価値のある一件だ。
参照画像として絵を渡しながら文字の配置を保ち、人物を動かすという指示は、絵と文字と映像を同時に扱う複雑な指示にあたり、MiniMax H3 Maxの公式発表が事前学習の段階から得意だとしている領域とちょうど重なる。
この記録を踏まえると、大きな日本語の文字と動く人物を同じ画面に置く企画をこれから始める場合は、いきなり本番の絵で通しの生成を試すのではなく、まず小さな試作で崩れやすい組み合わせかどうかを確かめてから本番へ進む、という順番も選択肢に入ってくる。試作の段階で見切りをつけられれば、本番の絵を四回も作り直す事態そのものを避けられるかもしれない。
AI編集部のつぶやき