映像を入れると、動きに合わせて足音や衝突音が出る。ControlFoleyは面白い研究実装ですが、いきなり作品全体へ使うより、一回の衝突がある5秒で同期精度を測る方が価値を判断できます。
音が鳴った瞬間より、鳴る前後を見る
水たまりへ靴が入る映像へ、自動で水音が付く。デモでは一瞬で効果が分かります。でも映像に合う音は、衝突のピークだけでは決まりません。靴が水面へ近づく気配、接触した瞬間、跳ねた水が落ちる余韻、次の一歩へつながる間。ピークが一フレーム合っていても、余韻が長すぎればスローモーションのように聞こえます。
ControlFoleyを試すなら、長い映像を自動で埋める前に、この前後を観察できる五秒が向いています。一歩だけなら、何が映像由来で、テキストや参照音が何を変えたかを聞き分けやすい。研究モデルの面白さを、作品全体の雰囲気でごまかさず評価できます。
まず、何が変わったのか
ControlFoleyは動画、テキスト、参照音声を組み合わせたvideo-to-audio生成を公開し、2026年7月に公式ComfyUIノードとワークフローを案内しました。
公式ノードはV2A、テキスト制御、参照音制御等のテンプレートを含み、WAV/FLAC保存と動画へのmuxに対応します。
コードはApache 2.0ですが、モデル重みはCC BY-NC 4.0で非商用です。公開推論経路はCUDAのみ、現行muxは元音声置換が中心という制約があります。
コードのライセンスと重みのライセンス
公式リポジトリではコードがApache 2.0、モデル重みがCC BY-NC 4.0と分かれています。ノードのコードを組み込めることと、生成に使う重みを商用作品へ使えることは同じではありません。収益化するYouTube、広告、受託映像へ結果を持ち込む前に、非商用条件を確認する必要があります。検証が成功しても、そのまま納品素材にはしません。
さらに公式ComfyUIノードの公開経路はCUDAが前提で、依存モデルの取得や保存先もあります。muxは現状、元音声を置き換える方式が中心と案内されています。既存の環境音へ生成音を混ぜたい場合は、別の編集工程が必要です。“ノード一つで完成”ではなく、生成後にどの音を残し、どこで混ぜるかまで見ます。
映像制作者にとっての意味
制作で測るべきは『音が出た』ではなく、接触の開始、ピーク、余韻が映像と合うかです。商用作品へそのまま使わず、研究・検証用として扱います。
三条件を同じ映像へ当てる
五秒の一歩を、映像のみ、映像＋“重い革靴が浅い水へ入る”というテキスト、映像＋自分で権利を持つ参照音の三条件で生成します。フレームレートと長さを固定し、接触フレームを先に記録します。出力後、波形の最大ピークが接触から何フレームずれたか、最初の音が早すぎないか、余韻が次の動作へかぶらないかを確認します。
音色は“リアル”の一語で済ませません。靴の重さ、水の深さ、床の硬さ、撮影距離を別々に聞きます。テキストで狙いへ近づいたのか、参照音で映像との同期が崩れたのかを比べます。生成時間とVRAMも残し、一カットごとに使える速度か判断します。
小さく試す手順
水たまりへ一歩入る5秒を使い、映像のみ、テキスト追加、参照音追加の3条件を作ります。フレーム単位のピーク位置、音色、余韻、生成時間を比較します。
研究実装を、判断基準として持ち帰る
モデル重みの条件で商用利用できなくても、検証が無駄になるわけではありません。動画から音を作る時に、ピーク、音色、余韻、距離を分けて見る方法は、別の商用サービスや人のフォーリー収録を選ぶ時にも使えます。どの部分を自動化したいかが分かれば、道具を替えても比較できます。
編集部なら、三条件の差が説明でき、接触とピークが許容範囲で、五秒の生成と確認が現実的な時間に収まり、利用条件を守れる範囲だけで次へ進みます。長尺へ一気に適用しません。まず一歩。その音がなぜ合ったかを言えるところまで小さくすることが、ControlFoleyをデモから制作研究へ変えます。
五秒テストを長尺へ広げる条件
一歩の同期が良くても、連続する十歩で同じ品質になるとは限りません。生成音が毎回同じになって機械的に聞こえる、左右の足や地面の変化を拾えない、カットをまたいだ残響が途切れる、といった問題が出ます。五秒で合格した後は、同じ人物が材質の違う床を歩く十五秒、カットをまたぐ三十秒へ段階的に広げます。一段ごとに人が直した時間を記録し、自動化で増えた整理作業を含めて評価します。
元映像にロケ音がある場合は、置き換えと追加を分けます。生成フォーリーだけを聞くと派手でも、環境音へ混ぜると位相や残響が合わず、音が浮くことがあります。元音を消した版、薄く残した版、生成音を補助として足した版を比較し、作品の距離感を守るものを選びます。
研究用途の結果を商用モデル選定へつなぐ時は、同じ五秒素材と評価表を使います。モデル名が変わっても、接触フレーム、ピークのずれ、音色、余韻、距離、生成時間、権利条件という軸は変えません。ControlFoleyそのものを採用できるかだけでなく、映像同期音をどう評価すべきかという基準を得る。この基準があれば、次のサービスのデモに振り回されず、制作に合う道具を選べます。
運用へ持ち込む前の確認
映像側の条件も固定します。可変フレームレートや速度変更済み素材では、音のずれがモデルではなくタイムベースから生じることがあります。検証前にフレームレート、再生速度、音声サンプルレートを記録し、元のタイムコードを保持します。同期評価の入口を揃えておけば、生成モデルの差と編集設定の不具合を混同せずに済みます。
最終的な採否は、生成音単体の好みではなく完成ミックス内で決めます。音楽や台詞が入ると不要になる細部もあれば、逆に動作を支えるため強調が必要な音もあります。五秒テストの評価表へ、単体とミックス内の二つの判定欄を設けます。観客が動作へ気づくべき場面か、自然に流すべき場面かも併記します。
AI編集部はこう見た
検証で使い方が分かれば、商用可能な別手段を選ぶ基準にもなる。
生成品質と利用許可を別のGateにし、5秒の同期実験だけを先に行います。
今日の持ち帰り
非商用条件を確認したうえで5秒だけ検証する。同期ピークを映像のみ・テキスト・参照音の3条件で比べる。
出典
Xiaomi Research公式GitHub｜ControlFoley
提供範囲・料金・仕様は変更される可能性があります。導入前に公式ページと利用画面で最新条件を確認してください。
