上段: 入力の爆発動画。下段: 抽出された爆発を別の背景と合成した結果。提案手法は動画から半透明な流体（特に4番目と5番目のフレーム中の薄い煙）を自動的に抽出する。

動画から爆発や煙等の半透明部分が広範囲に現れるような流体を抽出する手法を提案する。通常、流体の背後には複雑な背景が存在するため、それと流体を分離する作業は時間と手間の掛かる作業となる。そこで我々は全自動でこの問題を解決する手法を提案したい。ここで動画を撮影したカメラは静止しているものとし、我々はまず背景画像を推定し、次に流体の前景とアルファマットを推定する。本手法では、動きの少ないピクセルで背景が見えることを用いて背景を推定する。次に推定された背景との差分としてアルファマットを推定する。この差分によるアルファマットには背景模様が出現してしまう。そこでこの模様を消すために勾配画像処理を用いる。勾配画像中で背景模様に関する勾配を弱め、その上で積分することで精製されたアルファマットを得る。前景画像も同様の勾配画像処理を用いて得られる。本手法を用いて爆発、煙、炎等の半透明領域が広範囲に渡る動画において、その流体の抽出ができることを示す。

既存手法との比較。オリジナルフレーム(a)と背景画像(b)との差分からトライマップ(c)を作成して既存手法への入力とした。Bayesian Mattingで作成した合成画像(d)。Spectral Mattingで作成した合成画像(e)。Shared Mattingで作成した合成画像(f)。本手法で作成した合成画像(g)。

ソフトウェアとサンプルを ここ に置きました。

Makoto Okabe, Ken Anjyo, Rikio Onai, "Extracting Fluid from a Video for Efficient Post-Production", in Proc. of DigiPro 2012.

岡部 誠, 安生 健一, 尾内 理紀夫, "勾配画像処理に基づく動画中の流体部分抽出", VC/GCAD 合同シンポジウム 2012 予稿集.