岡部 誠[English]
インタラクティブな動画修復
岡部 誠 1 野田 啓太 1 土橋 宜典 2 安生 健一 3,4
1 静岡大学 2 北海道大学
3 オー・エル・エム・デジタル 4 CMIC, Victoria University of Wellington

854×480ピクセル,80フレームの動画から自転車を消去した例.
上段はユーザがラフに描いたマスク,下段は消去の結果.作業時間は約2分半.

 概要

 “インタラクティブな動画修復手法”を提案します.本手法は,1) 既存手法と比べ,修復結果のクオリティが高い,2) 計算が速く,インタラクティブな修復作業が可能,3) キーフレームを与え,結果を更に修正できる,などが特徴です.
 本手法では,動画の速度場を用いて色の修復を行っています.反復アルゴリズムが速度場と色を交互に最適化しますが,速度場は既存手法と同様にL1最適化,一方,色は既存手法と異なりL2最適化によって計算しています.これによって滑らかな色変化を実現し,結果のクオリティを改善しました.
 GPUを用いて計算した場合,854×480ピクセル,100フレームの動画であれば数秒で処理できます.そこで,ユーザがマスクを描きながら,徐々に物体を消去していけるような,インタラクティブな編集ツールを実装しました.また,主観評価では4つの既存手法との比較を行い,結果のクオリティについても検証を行いました.

 論文

IEEE Computer Graphics and Applications (CG&A) - preprint (PDF, 4.6MB)
 資料
ソフトウェア (Windowsバイナリ)

結果と比較 (website)
結果と比較 (ZIP, 138MB)

動画 (MP4, 198MB)
 謝辞

匿名の査読者の皆様からは,多くの建設的な意見を頂きました.感謝を申し上げます.研究を進める中で議論させて頂き,また,時に励ましてくださった橋本聡さん,木村歩さんに感謝を申し上げます.本研究はJSPS科研費JP15H05924,JP18K11352の助成を受けたものです.

 引用

Makoto Okabe, Keita Noda, Yoshinori Dobashi, Ken Anjyo, "Interactive Video Completion", IEEE Computer Graphics and Applications (CG&A), volume 40, issue 1, pp. 127-139.

 BibTeX citation
@article{ONDA19,
  author = {Makoto Okabe and Keita Noda and Yoshinori Dobashi and Ken Anjyo},
  title = {Interactive Video Completion},
  journal = {IEEE Computer Graphics and Applications (CG&A)},
  volume = {40},
  issue = {1},
  year = {2019},
  pages = {127--139},
  doi = {10.1109/MCG.2019.2950176},
}