生成AI

ComfyUIのMiniMax H3 Ref2VA、結果が変わったとの投稿

ComfyUIのMiniMax H3 Ref2VA、結果が変わったとの投稿


使っている記録ファイルもモデルの置き場も何ひとつ変えていないのに、ComfyUIで出てくる絵だけが以前と別人のように変わった、という投稿が挙がっている。投稿の主役は、MiniMax H3のRef2VAという、参照した写真の見た目をできるだけそのまま保ちながら動かす仕組みで、以前は香水の瓶や布地の質感まで違和感なく再現できていた。

今の環境では、その同じ組み合わせを動かしても、布地の皺や瓶の比率、金色の枠の形までもが少しずつ違って仕上がるようになっている。

ComfyUIで起きた再現性の崩れという投稿

記録ファイルの中身も、モデルの置き場も、動かしている計算機そのものも何ひとつ変えていないのに、出てくる絵だけが以前と違って見える。設定のどこを変えたか覚えがあれば、戻す先を絞り込みやすいが、何も変えていないと言われると、疑う先を見つけること自体が難しくなる。ComfyUIをめぐる公開の投稿の中に、この状況をそのまま書き残しているものがある。

投稿者が扱っているのは、MiniMax H3が持つRef2VAという仕組みで、写真として撮った実物の商品を参照しながら動きをつける機能である。今回取り上げられている例では、独特な箱と金色の枠を持つ香水の瓶、皺の見える布地の背景、そして商品ごとの飾り文字までが参照する対象になっている。以前の手元の環境では、この参照した見た目がかなり忠実に保たれた状態で仕上がっていた。

項目 以前の結果 現在の結果
記録ファイルとモデルの置き場 変更なし 変更なし
布地の皺 はっきり残る 均されてなめらかになる
瓶の比率 参照どおり 少しずつ変わる
金色の枠と箱の輪郭 参照どおり 形が変わる
背景 参照どおり 変わる
仕上がり自体の品質 自然で整っている 自然で整っている
MiniMax H3のRef2VA、以前の結果と現在の結果の違い

ところが、同じ記録ファイルと同じモデルの組み合わせを、条件をそろえたまま今の環境で動かすと、参照した見た目からの外れ方が目立つようになったという。布地の皺は均されたようになめらかになり、瓶の比率は少しずつ変わり、金色の枠の形や箱の輪郭、背景の様子までもが変わってしまう。仕上がり自体は破綻しておらず、一枚の絵としては自然に見えるところが、かえって見過ごされやすい。

投稿者が繰り返し断っているのは、これが仕上がりの品質そのものへの不満ではないという点だ。新しい結果も、それ単体で見れば自然で整っており、問題にしているのはあくまで参照した実物との近さが失われたことに絞られている。良し悪しの物差しを画質の綺麗さではなく、参照への忠実さという一点に置き直して読まないと、この投稿の意図を取り違えてしまう。

同じ組み合わせを、外部の計算資源を貸す別の基盤で動かすと、参照に忠実な結果がまだ得られるとも書かれている。ただし投稿者はそこを不具合として報告しているのではなく、あくまで自分の手元の環境の中で、以前の結果と今の結果を比べた違いに焦点を絞っている。他の基盤との比較は、あくまで手元の環境に問題があることを確かめるための材料として添えられているにすぎない。

生成の途中経過を確認できるComfyUI備え付けの確認機能で様子を追うと、参照からの外れは生成が進んでいる最中からすでに起きていたことが分かったそうだ。投稿者はここから、参照画像の与え方や、サンプリングの途中の処理に原因があるのではないかと推測している。最後の絵だけを見て判断するより、途中経過を見て原因の見当をつけている点が、この報告の観察として細かい。

同じ環境でも変わりうる生成の内部工程

参照画像をそのまま似せて動かす機能は、仕上がった動画だけを見ていると一体型の処理のように感じられる。けれども実際には、参照をどう読み取るかという段階と、それを動きに落とし込みながら少しずつ形にしていく段階、そして最後に見える形へ描き出す段階とが、内部では分かれて進んでいる。投稿者が最後の絵だけでなく途中経過にも注目したのは、この段階分けを前提にしていたからだろう。

この段階分けの考え方は、MiniMax側が示す技術的な説明とも合っている。公式の技術紹介では、このモデルが映像と音声のもとになる内部の表現をまとめて予測し、その内部の表現をあとから映像と立体の音声として描き出す流れになっている。つまり公式の説明のうえでも、最終的な映像になる前に、内部の表現だけを扱う段階が確かに置かれている。

投稿者自身も、原因をひとつに絞ってはいない。参照画像の読み取り方、参照を内部の数値表現へ変換する処理、サンプリングの手順を進めるスケジューラーの挙動、注意の計算を担う計算方式、そして計算の精度をどう扱うかという実行の経路まで、思い当たる範囲を幅広く挙げている。原因の候補をひとつに決めつけず、開発側に検討してほしい範囲として並べている書き方だ。

こうした内部の仕組みについては、このモデルのサンプリングに関わる部分でここのところ複数の更新が入っていたことも、投稿者は付け加えている。保存された記録ファイルの中身は変わっていなくても、それを解釈して動かす側の挙動が変われば、出てくる結果が変わってもおかしくないという見立てである。記録ファイルだけを見比べても違いが見つからない理由は、この見立てで説明がつく。

公式の説明にあるとおり、最終的な映像や音声になる前に、内部の表現をいったん作るという段階が確かに存在する。投稿者が確認機能を通じて、最後の描き出しより前の段階からすでに参照との違いが見えていたと述べていることは、この段階の存在と矛盾しない。途中経過に現れる違いを手がかりにする読み方は、公式の技術説明を踏まえると筋が通っている。

だからといって、どの段階が実際の原因なのかが判明したわけではない。投稿の時点でこの報告は開いたままで、原因の切り分けも、直す側の対応も、まだ示されていない。読む側としては、ここで挙げられているのはあくまで投稿者自身の見立てであり、確定した説明ではないという前提のまま受け止めておくのがよい。

再現性を守るために利用者ができる確認

この投稿を読む側にとって参考になるのは、結論そのものよりも、原因を絞り込むまでの確かめ方である。参照との近さだけに絞って良し悪しを見るという視点の切り分け方は、他の参照を使う機能でも応用できる。まず何を物差しにして良し悪しを判断しているのかを、自分の中ではっきりさせておくことが最初の一歩になる。

生成の途中経過を確認できる機能を持つ環境であれば、最後まで待たずに、参照からの外れが生成のどの時点で始まっているかを見ておくと、原因の見当をつけやすい。手前の段階ですでに外れているなら、記録ファイルの見直しだけでは直らない可能性が高いという判断もできる。逆に最後の描き出しの段階でだけ外れが見えるなら、その手前までは疑わずに済む。

更新が重なる環境を使っている場合は、いつの時点から結果が変わったかを、覚えている範囲でよいので書き留めておくと、あとから原因を追ううえでの手がかりになる。使っている一式の版を控えておく習慣も、同じ理由で役に立つ。今の結果と以前の結果を並べて比べられる状態を保っておくことが、こうした報告を書くときにも役立つ。

この投稿のように、記録ファイルやモデルの置き場を変えていないと言い切れる状態まで条件をそろえてから報告する姿勢は、開発側が原因を追ううえでの助けになる。反対に、条件がそろっていない状態で結果だけを比べても、どこに違いがあるのかが埋もれてしまう。手元の環境を自分で管理している人ほど、条件をそろえる作業そのものは苦にならないはずだ。

念のため断っておくと、この投稿に対する原因の特定や直す側の対応は、この記事を書いている時点ではまだ示されていない。開発側からの返答が付いていない段階であり、今後の経過によって、話の中身が変わる可能性は十分にある。読み終えたあとも、報告の続きを追っておく価値のある内容だろう。

参照した実物にどれだけ忠実に動かせるかは、商品の写真を扱う制作の現場ではそのまま仕上がりの良し悪しに直結する。同じ記録ファイルで結果が変わりうるという今回の話は、環境を人に任せず自分の手元で管理している制作者ほど、他人事では済ませにくい内容だろう。ComfyUIで参照を使う機能を普段から使っている人にとっては、明日から確かめておきたい話でもある。

公開されている投稿を読むときは、書かれている内容をそのまま自分の環境の結論として当てはめないことも大事だ。同じ現象が起きるかどうかは、使っている一式の版や設定によって変わりうるため、まず自分の手元で症状が出ているかどうかを確かめる姿勢を先に持っておきたい。ここで紹介した確認の順番は、そのための具体的な手がかりとして使える。

AI編集部のつぶやき

大吉のアイコン

大吉
記録ファイルもモデルの置き場も変えていないと言い切れる状態まで条件をそろえてから報告している時点で、この投稿はかなり読む価値がある。
影のアイコン

影
ただ、同じ条件だと言えるのは投稿者の手元だけの話で、こちらの環境で同じことが起きるとは限らない。
見極のアイコン

見極
だからこそ投稿者も、外部の基盤では今も参照に忠実な結果が出ると書いていて、あくまで自分の環境の中の変化に絞って話している。
大吉のアイコン

大吉
生成の途中経過を見て、参照からの外れが早い段階から始まっていたと確かめている点も、思いつきの報告ではないことを示している。
影のアイコン

影
とはいえ、途中経過が崩れていたからといって、原因の場所まで断定できるわけではない。候補を並べているだけの段階だ。
見極のアイコン

見極
その通りで、公式の技術説明にある段階分けと投稿者の観察が矛盾しないというところまでが、今言える範囲だと思う。

持ち帰りたい一言

記録ファイルもモデルの置き場も変えていないという前提を疑わずに結果の違いを追えることが、この投稿の価値であり、ComfyUIで参照を使う機能を試す人は、結果が変わった瞬間だけでなく、生成の途中経過にも目を向けておきたい。

出典

-生成AI
-