話題の「顔画像AI」研究5選 −トップ学会【CVPR2020】採択論文

   

コンピュータビジョンの分野において最も権威ある学会の一つであるCVPRで発表された中から「顔」についての研究を紹介します。

「顔×AIの最先端にキャッチアップしておきたい」
「トップ学会CVPRの論文には関心があるが、数が多すぎてどれを読めばいいかわからない」
「画像認識技術を仕事で使うので注目度の高い論文に触れておきたい」
「そもそもCVPRって何?」

こんな方は、ぜひ参考にしてみてください!

そもそもCVPRとは?

CVPRの正式名称は「Computer Vision and Pattern Recognition(コンピュータビジョンとパターン認識)」です。Compuer Visionというのはロボット(コンピュータ)の視覚を指します。画像処理、映像処理の技術分野全般を指すことが多いです。

そのComputer Visionの分野において最も権威ある学会の一つがこのCVPR。近年ではComputer Vision分野でDeep Learningを使う事が当たり前になってきているので、CVPRはDeep Learningに関するトップカンファレンスの一つだとも言われています。

アイブンでは、これまでにCVPRの論文紹介を3回行ってきました。第4回目の今回は、「顔」に関する論文に注目していきます。

これまでの紹介記事
■第1回:【CVPR2020】「3D」に関するAI論文5選
■第2回:【CVPR2020】「GAN」に関するAI論文5選
■第3回:【CVPR2020】「動画」に関するAI論文5選

「顔」の論文5つPICKUP

CVPR 2020では、5865本の論文が投稿され、そのうちacceptされたのが1467本の論文でした。そのうち、「顔」関連の論文は53件でした。

この中から、特に興味深いおすすめの5本を紹介します。じっくり読む論文を選ぶ際のヒントにしていただけると幸いです。

1本目. Rotate-and-Render: Unsupervised Photorealistic Face Rotation From Single-View Images
2本目. Face X-Ray for More General Face Forgery Detection
3本目. Learning to Have an Ear for Face Super-Resolution
4本目. Domain Balancing: Face Recognition on Long-Tailed Domains
5本目. AnimalWeb: A Large-Scale Hierarchical Dataset of Annotated Animal Faces

1本目:単一視点の画像から顔の回転画像を合成

最初に紹介する論文は、この分野で最も成功した研究の1つである、GANを使った顔画像の生成についてです。

タイトル:Rotate-and-Render: Unsupervised Photorealistic Face Rotation From Single-View Images(PDF
著者:Hang Zhou, Jihao Liu, Ziwei Liu, Yu Liu, Xiaogang Wang
機関・国:香港中文大学、中国

課題設定のポイント

近年、顔の回転画像の生成は急速に進歩していますが、高品質のペア学習データがないことが既存の手法の大きなハードルとなっています。現在の生成モデルは、同一人物の多視点画像を含むデータセットに大きく依存しているため、生成結果はデータソースの規模や領域によって制限されます。

CelebA-HQデータセット上で、著者らのアプローチにより合成された顔の回転画像。1行目が入力、2行目が結果です。著者らの教師なしフレームワークは、極端なポーズや表情の場合でも、ほぼ写真に近い結果が得られることがわかります。

アプローチ・結果の面白さ

この論文では、実際の単一ビュー画像のみを用いて、写真のような顔の回転画像を合成することができる新しい教師なしフレームワークを提案します。3次元空間内の顔を前後に回転させ、2次元平面に再レンダリングすることで、強力な自己教師あり学習の役割を果たすことができることを明らかにします。顔の3次元回転・レンダリングを任意の角度に適用することができるため、既存の手法では不十分であった、より現実的なシナリオ(すなわち、ペアデータが利用できない場合)に非常に適しています。

教師なし顔回転フレームワークの概要。まず、3Dメッシュを任意のポーズPbに回転させて、それを2D空間にレンダリングして2Dレンダリングされた画像Rdbを得ます。次に、それを元の位置Paまで回転させ、Rdbから抽出されたテクスチャを用いてRda′となるようにレンダリングします。最後に、見えない部分を埋め、レンダリング画像を実画像領域にマッピングするために、レンダリング画像変換ネットワークを使用します。

2本目:ディープフェイクの顔画像を検出

GANによって顔画像の生成は進歩しましたが、同時にDeepfakeという問題も生み出しました。次に紹介するのは、そのDeepfake検出についての論文です。

タイトル:Face X-Ray for More General Face Forgery Detection(PDF
著者:Lingzhi Li, Jianmin Bao, Ting Zhang, Hao Yang, Dong Chen, Fang Wen, Baining Guo
機関・国:北京大学、中国

続きを読むには無料会員登録が必要です。


※ログイン/初回登録後、下記ボタンを押してください。

業界ごとに記事を読む

PAGE TOP