上海AI Labやカーネギーメロン大学の研究者らは”3DHumanGAN”と呼ばれる新手法を発表しました。3DHumanGANは、まるで写真のようにリアルな人間の画像を出力できるそうです。しかも人体の関節構造をリアルに再現して、同じ人間にさまざまなポーズをとらせることができます。

論文情報

• タイトル：3DHumanGAN: Towards Photo-Realistic 3D-Aware Human Image Generation
• 著者：Zhuoqian Yang, Shikai Li, Wayne Wu, Bo Dai
• 著者の所属：上海AIラボ（Shanghai AI Lab）、カーネギーメロン大学（米国）
• DOI：doi.org/10.48550/arXiv.2210.13522

目次

• だれもが本物だと見紛う人間をつくりたい
• GANのすごさ
• あたらしいアーキテクチャ🔒
• 結果🔒
• まとめ🔒

だれもが本物だと見紛う人間をつくりたい

CG技術が生まれて以来、人間の画像をつくることはずっと取り組まれてきた課題です。映画やSNSでの投稿など人々を魅了するためのコンテンツではいつもCGでつくられた人間が使われてきました。

近年では、手作業による制作よりもGAN（機械学習による画像生成手法の一つ）で生成することに注目が集まってきています。

しかし、人体全体をGANで再現するには、顔よりもはるかに密度の高い計算が必要であり、最適な手法が確立されてきませんでした。

そんな中、研究者グループは、2D 畳み込みbackbone（ネットワーク構造）が 3Dポーズマッピングネットワークによって変調される新しいアーキテクチャを導入することによって、リアルな3D人体全体をGANで生成する優れた方法を作ることにしました。

GANのすごさ

2014年に発表されたGANは、人の顔、動物の顔、車、屋内、自然などの画像を写実的に生成することを可能にしました。

ただし計算コストや解像度などの点で改善が期待され、さまざまな試みが行われてきました。

さらに、人物の画像を生成するというテーマにおいては、特定のミッションを達成するための取り組みが数多く行われてきました。

• 斬新なポーズをとらせる
• 衣服を交換する

などは、その一例です。

そして最近では、3D表現で人間の姿全体を生成する手法の確立が待たれていました。

あたらしいアーキテクチャ

研究者らが今回つくったのはスタイルベースのジェネレーターですが、これまでの研究とは一味ちがいます。