芸術的な表現の手段としてのスケッチ

スケッチは自身の思い描く風景などを直観的に表現する手段です。iPadなどのタッチスクリーンデバイスが普及していますが、スケッチアプリの開発も精力的に行われています。

写真からスケッチへ変換するアプリも人気ですが、最新のテクノロジーで可能になりつつあるのは「スケッチから写真に変換」すること。

ただし今の技術では、フリーハンドで描かれたスケッチと写真の輪郭は実際のところかなり異なっています。このギャップを埋めることはできるのでしょうか？

スケッチから写真を生成するタスクにおいては、機械学習技術が用いられています。しかし、機械学習モデル構築が困難であるという課題が存在します。
ユーザーが描くスケッチと、それに対応する写真のラベル付けが難しいためです。

この課題において、実際にどのような研究が行われているのでしょうか。アメリカ合衆国にあるパデュー大学のXiaoyu Xiangらの研究者の発表を紹介します。

研究者らは、GANを用いることによって、モデル構築を試みました。

▼論文情報

著者：Xiaoyu Xiang, Ding Liu, Xiao Yang, Yiheng Zhu, Xiaohui Shen, Jan P. Allebach
タイトル：”Adversarial Open Domain Adaption for Sketch-to-Photo Synthesis”
arxiv
URL：DOI

スケッチから写真を生成するモデルを構築

まずはXiaoyu Xiangらの研究におけるミッション・手法・結果をまとめました。