アニメキャラ、話す表情に違和感は？

人の表情をアニメーション化することは、映画制作、ビデオストリーミング、コンピュータゲームなどの分野で不可欠です。しかし、近年の技術進歩にもかかわらず、リアルな顔のアニメーションを人手を介さずに生成することは、未だに実現できていません。

従来の手法では、音声と顔の動きの間のマッピングを学習することでアニメーションの作成を行っています。しかし顔の動きは非常に複雑なので、このようなマッピングを見つけることは非常に困難で手間のかかる作業でした。

話者のアニメーション制作における課題に対して、実際にどんな研究が行われているのでしょうか。Adobe（アドビ）のYang Zhouら研究者の発表を紹介します。

研究者らは、音声信号と話者の画像などの情報を分離して解析することで、リアルなアニメーションの制作を試みました。

▼論文情報

著者：YANG ZHOU, XINTONG HAN, ELI SHECHTMAN, JOSE ECHEVARRIA, EVANGELOS KALOGERAKIS, DINGZEYU LI
タイトル：”MakeItTalk: Speaker-Aware Talking-Head Animation”
arXiv
URL：DOI

リアルな話者のアニメーション生成

まずはYANG ZHOUらの研究におけるミッション・手法・結果をまとめました。