映像・音声・物理を一度の推論で統合生成するFLUX 3 — マルチモーダルアーキテクチャがもたらす「音と映像の相互制約」

8月4日、Replicateが「The Ultimate Guide to FLUX 3 – Replicate blog」と題した記事を公開した。Black Forest Labsが開発したマルチモーダル動画生成モデル「FLUX 3」の設計思想・機能・実装方法を網羅的に解説する内容で、従来モデルとは一線を画すアーキテクチャ上の革新が詳述されている。

音声・映像を「同一パス」で生成する新アーキテクチャ

多くの動画生成モデルは映像と音声を別々のパイプラインで処理し、後から合成する構成を取る。FLUX 3はこの分離を根本から覆し、画像・動画・音声を単一の統合アーキテクチャで同時学習・同時出力する設計を採用している。

Black Forest Labsのリリースブログは、この設計思想をこう説明している：

「画像は特定の時点における空間構造と関係を捉える。動画は時間の次元を復元し、時間的なダイナミクスと物理法則を明らかにする。音声は、視覚だけでは検出できない力学現象と音響の因果関係を明らかにする。これらすべてを同時に学習すれば、その相互制約がより多くを語る。音は衝撃に合わなければならない。動きは質量に従わなければならない。未来は過去から続かなければならない。」

この設計が生む実用的な差異は「音の指示が映像のモーションに影響し、映像のモーションが音に影響する」という相互性にある。たとえばプロンプトに「引き裂かれる金属の悲鳴」や「ネオンのトランスの低いうなり」といった音の描写を加えると、映像の質感・モーション自体が変化するという。音声トラックを後付けするのではなく、物理的な因果関係を持った生成が目標とされている点が、既存モデルとの根本的な違いだ。

具体的には、金属が曲がる映像を生成する際、音声の記述がなければモデルは視覚的な変形を優先して生成するが、「きしみ音」「衝撃音」を明示するとモーションのタイミングや強度が音響的整合性に引きずられる形で変化する。音と映像が互いの「制約」として機能する設計は、FLUX 3以前の動画生成モデルには見られないアプローチだ。

タイムスタンプ指定でワンショット編集

プロンプト内にタイムスタンプを書くだけでカット割りを制御できる機能も、エンジニア・クリエイター双方にとって実用的な機能だ。後処理でクリップをつなぐ必要がなく、1回の生成でマルチカットの動画が完成する。

[0-4s]: wide establishing shot, static camera, description of the scene
[4-9s]: hard cut to close-up, next beat of the action
[9-14s]: hard cut to a wide shot, final beat

実際の例：

[0-4s]: Wide shot of a packed stadium crowd roaring, floodlights blazing against the night sky.
[4-8s]: Cut to a close-up on a sprinter's feet exploding out of the starting blocks, dust kicking up.
[8-12s]: Cut to a tracking shot alongside the sprinter crossing the finish line, chest forward, crowd erupting.
Hyper-realistic, 8k, Olympic broadcast cinematography, deafening crowd noise and pounding footsteps.

動画編集ツールを使わずにプロンプト一本でシーケンスを組める点は、プロトタイプ用途や自動パイプラインへの組み込みで実用性が高い。

ストーリーボードモード・継続生成・モーフィング

FLUX 3にはビデオ入出力に関わる複数の高度な機能が用意されている。

ストーリーボードモード（keyframe_images）は、最大10枚のキーフレーム画像を配列で渡すことで、それらを橋渡しするようにモーション・音声を生成する機能だ。コード例ではコメントアウトで存在が示されているが、絵コンテや静止画シーケンスから動画を起こすワークフローにおいて実用性が高く、見逃しにくい機能である。

継続生成（start_video）では、既存クリップを渡すと最終フレームから続きを生成する。モーション・フレーミング・音声の一貫性を維持したまま延長できるとされており、長尺コンテンツの段階的生成に向く。

モーフィングはimage（スタートフレーム）とend_image（エンドフレーム）を同時に渡すことで、2枚の静止画の間をモデルが補完する形で動画化する。記事では錆びた廃車が修復された赤い車に変化するデモが示されている。このモードではdurationを整数値で指定する必要がある（autoは不可）。

Replicateでの実装

import Replicate from "replicate";

const replicate = new Replicate();

const output = await replicate.run(
  "black-forest-labs/flux-3",
  {
    input: {
      prompt: "A diver descends through crystal-clear turquoise water into a jungle cenote, sunbeams piercing down from the opening far above. Ancient glyphs carved into submerged temple walls, fish darting through fallen pillars. Hyper-realistic, 8k.",
      duration: "8",
      resolution: "720p",
      aspect_ratio: "16:9",
      generate_audio: true,
      // image: "https://...",        // start frame for image-to-video
      // end_image: "https://...",    // morph target, requires a whole-number duration
      // keyframe_images: ["https://...", "https://..."], // up to 10, storyboard mode
      // start_video: "https://...",  // continue an existing clip
    }
  }
);

Cloudflare AI Gatewayを経由する構成も紹介されている。この場合、Cloudflare側のUnified Billingで従量課金される仕組みで、ロギング・キャッシュ・レート制限といったゲートウェイ機能をそのまま利用できる。なお、Cloudflare AI Gateway経由での認証フローや、Black Forest Labs APIキーの要否についてはCloudflare AI Gatewayの公式ドキュメントで最新の仕様を確認することを推奨する。

プロンプトの実践的なTips

記事がまとめているポイントを抜粋する：

音を描写する：映像の見た目だけでなく、音を明示的に記述することで映像のモーション・質感自体が変化する
カメラの動きを先に書く：「バンパーの高さで追跡するカメラ」のように具体的なカメラ指示を冒頭に置く
image-to-videoは過剰設計しない：スタートフレーム1枚＋1文の指示で十分なことが多い
複数ビートのシーンにはタイムスタンプを使う：ペーシングをモデルに任せず明示的に指定する

スタイルの幅

ハイパーリアリスティックな映像だけでなく、ストップモーションのクレイアニメーションや「Into the Spider-Verse」風のコミックスタイルにも対応している。VHSホームビデオ風の生成も話題で、「安価なハンディカム」「オートフォーカスのハンチング」「インターレースのVHSノイズ」といったカメラの欠点を描写することで再現できる。

fofr（@fofrAI）によるゼロ重力空間を移動し続けるショットのデモも注目を集めており、モデルの空間想像力を際立たせる例として記事で紹介されている。

詳細はThe Ultimate Guide to FLUX 3 – Replicate blogを参照していただきたい。