岡部誠

インタラクティブな動画修復

野田啓太¹

¹静岡大学	²北海道大学
³ｵｰ･ｴﾙ･ｴﾑ･ﾃﾞｼﾞﾀﾙ	⁴CMIC, Victoria University of Wellington

854×480ピクセル，35フレームの動画から人物を消去する例．作業時間は約1分．

概要

　“インタラクティブな動画修復手法”を提案します．本手法は，1) 既存手法と比べ，修復結果のクオリティが高い，2) 計算が速く，インタラクティブな修復作業が可能，3) キーフレームを与え，結果を更に修正できる，などが特徴です．
　本手法では，動画の速度場を用いて色の修復を行っています．反復アルゴリズムが速度場と色を交互に最適化しますが，速度場は既存手法と同様にL1最適化，一方，色は既存手法と異なりL2最適化によって計算しています．これによって滑らかな色変化を実現し，結果のクオリティを改善しました．
　GPUを用いて計算した場合，854×480ピクセル，100フレームの動画であれば数秒で処理できます．そこで，ユーザがマスクを描きながら，徐々に物体を消去していけるような，インタラクティブな編集ツールを実装しました．また，主観評価では4つの既存手法との比較を行い，結果のクオリティについても検証を行いました．

論文

IEEE Computer Graphics and Applications (CG&A) - preprint (PDF, 4.6MB)

資料

ソフトウェア (Windowsバイナリ)

結果と比較 (website)

結果と比較 (ZIP, 138MB)

動画 (MP4, 198MB)

謝辞

匿名の査読者の皆様からは，多くの建設的な意見を頂きました．感謝を申し上げます．研究を進める中で議論させて頂き，また，時に励ましてくださった橋本聡さん，木村歩さんに感謝を申し上げます．本研究はJSPS科研費JP15H05924，JP18K11352の助成を受けたものです．

引用

Makoto Okabe, Keita Noda, Yoshinori Dobashi, Ken Anjyo, "Interactive Video Completion", IEEE Computer Graphics and Applications (CG&A), volume 40, issue 1, pp. 127-139.

BibTeX citation

@article{ONDA19,
  author = {Makoto Okabe and Keita Noda and Yoshinori Dobashi and Ken Anjyo},
  title = {Interactive Video Completion},
  journal = {IEEE Computer Graphics and Applications (CG{\&}A)},
  volume = {40},
  issue = {1},
  year = {2019},
  pages = {127--139},
  doi = {10.1109/MCG.2019.2950176},
}