岡部 誠[English]
インタラクティブな動画修復
岡部 誠 1 野田 啓太 1 土橋 宜典 2 安生 健一 3,4
1 静岡大学 2 北海道大学
3 オー・エル・エム・デジタル 4 CMIC, Victoria University of Wellington

854×480ピクセル,80フレームの動画から自転車を消去する.上段はユーザがラフに描いたマスク,下段は修復結果.作業には2分半を要した.

 概要

映像産業での実用的な利用を目指した,インタラクティブな動画修復手法を提案する.全自動の動画修復手法は過去にも提案されているが,結果は完璧ではなく,その質を実用的なレベルに高めるには,アーティストの手作業が必要不可欠である.この負担を減らすため,修復結果の質を高めるとともに修復に要する計算時間を短縮した上で,インタラクティブな編集ツールを提案する.提案手法は流れ場に基づいて色を修復する.反復アルゴリズムが流れ場と色を交互に推定する.流れ場は既存手法と同様に,L1最適化を用いて推定する.一方,色は既存手法と異なり,L2最適化を用いて推定する.これにより,滑らかな色の変化を実現する.提案手法をGPUを用いて実装することで計算時間を短縮できた.854×480ピクセル,100フレームの動画であれば,数秒で修復できる.これにより,マスクを描くことで動画中の物体を指定すれば,その物体が即座に消去されるような編集ツールを実現できた.また,結果の質に対し主観評価を行った.提案手法の結果は既存手法に比べ,明らかに良質であることを示す.

 論文

IEEE Computer Graphics and Applications (CG&A) - preprint (PDF, 4.6MB)
 資料
結果と比較 (website)
結果と比較 (ZIP, 138MB)

動画 (MP4, 193MB)
 謝辞

匿名の査読者の皆様からは,多くの建設的な意見を頂きました.感謝を申し上げます.研究を進める中で議論させて頂き,また,時に励ましてくださった橋本聡さん,木村歩さんに感謝を申し上げます.本研究はJSPS科研費JP15H05924,JP18K11352の助成を受けたものです.

 引用

Makoto Okabe, Keita Noda, Yoshinori Dobashi, Ken Anjyo, "Interactive Video Completion", to appear at IEEE Computer Graphics and Applications (CG&A).

 BibTeX citation
@article{ONDA19,
  author = {Makoto Okabe and Keita Noda and Yoshinori Dobashi and Ken Anjyo},
  title = {Interactive Video Completion},
  journal = {IEEE Computer Graphics and Applications (CG&A)},
  volume = {?},
  number = {?},
  year = {2019},
  pages = {1--9},
  doi = {10.1109/MCG.2019.2950176},
}