関連記事：「NN各層の入力の分布変化を小さく抑える手法は？」AIクイズ100【第95問】

以下では、画像認識技術のトップ学会であるCVPRにおいて今年発表された論文の中でも、特に筆者が面白いと感じたものを紹介します。

「スパースさ」という新たな視点

さまざまな層が提案されるのは、入力や出力される情報の構造を効率よく処理するためです。全結合層から始まり、畳み込み層、アテンション層など、様々なニューラルネットワークの層が提案されてきました。畳み込み層やアテンション層は全結合層を基準にすると、そのモデル自体が構造を持っています。この構造によって入力や出力される情報の構造を効率よく処理できるわけです。

以下の論文では、local sparse attention layerという層が提案されています。sparseは「疎ら」という意味であり、スパースなネットワークの利点は計算量が少ないことです。そして、畳み込み層やアテンション層も見かたを変えると、その構造によって、スパースなネットワークといえます。今まではモデルの構造ばかりが注目されてきましたが、スパースさという側面にも注目する必要があると考えます。

論文情報

タイトル：Your Local GAN: Designing Two Dimensional Local Attention Mechanisms for Generative Models
著者：Giannis Daras, Augustus Odena, Han Zhang, Alexandros G. Dimakis
機関・国：National Technical University of Athens、ギリシャ

これまでの限界をスパースで突破できるか