「アニメ絵から漫画絵」を制作するAI技術【AI×エンタメ】(論文解説)

   
↓はてなブックマークで応援お願いします!
このエントリーをはてなブックマークに追加

非効率なマンガ制作

マンガ産業は長年長年にわたり日本の重要な産業ですが、作画時間を考えると生産性は低いのが現状です。
多くの場合は、手間のかかる作業をアシスタントに依頼したり、原画のスタイルに合わせて細かい修正を行ったりするなど、金銭的・時間的なコストがかかっています。

コンピュータを活用してマンガ制作の効率化を図る取り組みも行われています。しかし原画と画風を一致させることは難しいため、質の低い画になってしまうことがしばしばあります。

マンガ制作の効率性を高める技術として、実際にどんな研究が行われているのでしょうか。中国にあるマカオ科学技術大学のYuchen Xinら研究者の発表を紹介します。

研究者らは、CNNを用いてアニメ風のイラストから線画を抽出することで、マンガ制作の効率化を図りました。

▼論文情報

著者:Yuchen Xin,Hon-Cheng Wong ,Sio-Long Lo, Junliang Li
タイトル:”Progressive Full Data Convolutional Neural Networks for Line Extraction from Anime-Style Illustrations”
Appl. Sci.2020, 10(1), 41
URL:DOI

アニメ風のイラストから線画を抽出する

まずはYuchen Xinらの研究におけるミッション・手法・結果をまとめました。

✔️ミッション
マンガ制作の効率性を向上させる。

✔️解決手法
CNNを用いてイラストから線画を抽出するネットワークを構築する。

✔️結果
正確で鮮明な線画の抽出に成功した。

ミッションから説明していきます。

(目的)既存のCNNモデルでは解決できない課題の対処

CNNは広く研究が行われており、様々な課題を解決するモデルが開発されています。しかし、既に存在しているモデルが個々の課題に対して有効であるかどうかについては、慎重な検討が必要です。

具体的な線を抽出する手法としては、伝統的なエッジ検出器があります。また、テクスチャー情報に基づいて線を抽出するアルゴリズムや、マンガの画面パターンを抽出するアルゴリズムもあります。
しかしこれらのアルゴリズムは、ほとんどが局所的なグラデーションの変化に基づいていたり、特定のパターンにしか対応していないため、人間と同様の視点で高精度に線を抽出することには向いていません。通常、これらのアルゴリズムを使用して良い結果を得るためには、マンガ家は依然として手動でパラメータを調整する必要があり、手間がかかります。

(手法)CNNを用いてイラストから線画を抽出

Yuchen Xinらは、ネットワーク全体で入力画像の情報が保存されるようなCNNを構築し、イラストから線画の抽出を試みました。

ネットワークの概要

CNNはコンピュータビジョンにおいて広く用いられますが、グラフィックス問題においては、期待した結果が得られないことがあります。また、アニメ風のイラストから線画を抽出する手法はまだ提案されていません。
そこで、図1に示すようなプログレッシブ・フルデータ・コンボリューショナル・ニューラル・ネットワーク(PFCNN)の構造を提案します。

図1 PFCNNのネットワーク構造

一般的なCNNでは、畳み込み処理で画像の特徴を抽出しますが、その際に、不要と思われる詳細な情報は捨ててしまいます。しかし、この情報こそが今回のテーマにおいては必要な情報です。
この情報を残すためには、ダウンサンプリング層を使わない、つまり層の解像度を下げないというのが基本的な考え方です。ところが、これは一般的な畳み込みニューラルネットワークの基本的な考え方に反するものです。
PFCNNでは、畳み込み層で解像度を下げてから元の解像度にアップサンプリングしたものを、元のデータと融合させます。このようにして、入力データのすべての情報を、CNNの計算に関与させることができます。

また、本手法ではGenerative Adversarial Net(GAN)をネットワーク構造に加えました。ここでのGANの主な役割は、出力スタイルをグランドトゥルースのスタイルに近づけることです。
GANを使って処理した最終出力と使わずに処理した結果には、それぞれ長所と短所があるため、場合に応じてGANを用いるかどうかを選択することができます。

学習データ

データ収集
インターネットを利用してデータを収集したり、手作業で対応するデータベースを作成しました。その後データ分析を行い、トレーニングに適したデータを選択する必要があります。生のデータをトレーニングに使うと、ノイズの問題が発生し、高品質なアウトプットが得られません。データ分析の後、選択されたデータを標準化することで、出力ノイズを減らし、より少ない学習データで済むようにしました。

パターンの収集
イラストのフル画像を学習システムに入力する代わりに、ソースイラストのパターンを見つけて計算量を節約する必要がありました。
トレーニング用の入力パターン画像は20組ありました。このパターンの量は、すべての描画スタイルをカバーするにはまだ十分ではありませんでしたが、いくつかのイラストから線画を抽出するには十分でした。パターン画像を使うことで、データの特徴をシンプルに表現し、その特徴を畳み込みニューラルネットワークが拡張することができました。以下のガイドラインを用いて生成した学習データのサンプル画像を図2に示します。

図2 パターンデータの例

マニュアルデータ
パターンデータだけでは十分ではなく、手動で描くデータも必要でした。これらのデータは通常、インターネットから入手できますが、内容の選別の厳しさが最終的なトレーニングの質を左右します。現在、高品質・高効率の自動審査ツールはありません。そのため、プロによるデータの審査にはまだ一定の意義があります。単に一括してダウンロードする方法でトレーニング用のデータベースを構築することはお勧めできません。

(結果)鮮明な線画抽出に成功

結果、従来手法よりも鮮明な線画の抽出に成功しました。

図3の結果から、提案されたモデルは、暗い部分を正しく取り除き、その周りの線を認識することに成功していることがわかります。

図3 実験結果

提案モデルが従来のモデルよりもうまく機能した点は、主に
・より鮮明な線
・ピクセルレベルとグローバルレベルの視点からの予測
・より優れた背景除去
の3つです。
Yuchen Xinらのシステムは、最近の他のシステムよりも精度が高かったです。この基本的な理由は、他の手法がファジー処理を好むのに対し、本手法ではデータの詳細を可能な限り保持していたからです。
また、ニューラルネットワークの仕組みを理解していないユーザーにとっては、完全自動モードが便利に感じられています。煩雑な学習データの準備や、ニューラルネットワークの動作原理は、一般ユーザーには理解しにくいため、簡単なステップでニーズを実現することはまだできていません。例えば、高精度なライン補正の学習に使えるかどうかは、専門家にとって大きな関心事です。

本稿では、アニメ調のイラストから線画を抽出するために特化したプログレッシブ・フルデータ・コンボリューショナル・ニューラル・ネットワーク(PFCNN)を提案しました。
実験の結果、最新のニューラルネットワーク構造と比較して、アニメ風のマンガイラストからより正確に線画を抽出できることがわかりました。
この結果から、モデルを非写実的なレンダリングアプリケーションに適用できる可能性が示されました。

研究紹介は以上です。

日本が世界に誇るマンガ産業も、このような技術によってさらに活気付いていくと嬉しいですね。


関連記事

 


業界/カテゴリー

PAGE TOP