Eyes of Things?! 感情を理解する人形【AI論文】

Eyes of Things (EoT)は、欧州連合のHorizon 2020 Research and Innovation Programmeによって資金提供されたプロジェクトの名前だ。EoTは、次の原則に基づいている。

  • 将来の組み込みシステムには、より多くの知的能力と認知機能が搭載される予定だ。 視覚は、知的能力にとって最も重要である。
  • 他のセンサーとは異なり、視覚には多くの処理が必要だ。 モバイルおよびウェアラブルアプリケーションで視覚を使用する場合は、消費電力を最適化する必要がある。
  • エッジキャプチャされた画像のクラウド処理は持続可能ではない。 生成された膨大な量の視覚データをクラウドに転送することはできない。 帯域幅は十分ではなく、クラウドサーバーはそれに対処できない。

EoTの研究は、カスティーリャ大学ラマンチャ校(スペイン)のVISILABグループで行われた。

その研究のポイントはこうだ。

✔️Eyes of Things(EoT)は、GPUやクラウドを使用せずに、リアルタイム画像分析のためのディープラーニングを使用したオープンな組み込みコンピュータービジョンプラットフォームだ。

✔️EoT人形は、感情を検出して記録する。 ハッキング可能なCloudPetsよりも安全でプライベートだ。

✔️感情認識は子供でテストされ、感情エンジンの平均精度は83.5%だった。

では、詳細を見てみよう。

EoT?

コンピュータビジョンとディープラーニングは、魅力的な認知アプリケーションとサービスを作成する能力を明確に実証している。ただし、これらのアプリケーションは、計算要件が厳しいため、ほとんどが強力なグラフィック処理ユニット(GPU)またはクラウドに限定されている。クラウド処理には、明らかに帯域幅、エネルギー消費、プライバシーの問題がある。

Eyes of Things(EoT)は、強力で多用途の組み込みコンピュータービジョンプラットフォームであり、ユーザーは画像をローカルで分析する人工視覚および深層学習アプリケーションを開発できる。

3.7 V 2000 mAhのフラットバッテリーに接続されたEoTデバイス。

ディープラーニング人形

研究者らは、EoTデバイスのディープラーニング機能を実際の顔情報アプリケーションに使用した。感情を認識し、ディープラーニングテクニックを使用し、それに応じて行動できる人形だ。

Symmetry 10 00387 g002 550
Tiny_dnnワークフロー。
Symmetry 10 00387 g004
感情認識ネットワークアーキテクチャ。

ローカル処理おもちゃ

提示されたアプリケーションの主は、クラウドでのさらなる計算を必要とせずにおもちゃがローカルで高度な処理を行えるようになることを示す。

Symmetry 10 00387 g008
EoT人形。
Symmetry 10 00387 g009
幸せの感情を検出するEoT人形。
Symmetry 10 00387 g010 550
EoT人形の中。

実証実験済み

最後に、その目的のために開発された畳み込みニューラルネットワークの性能が研究され、人形をテストするために、4歳から10歳までの12人の子供のパネルでパイロットが実施された。

Symmetry 10 00387 g003 550
感情エンジンによって予測される感情クラス。
Symmetry 10 00387 g014
感情の凡例。
Symmetry 10 00387 g015
子供001の経時的な感情プロファイル。 Y =感情の強さ、X =時間。
Symmetry 10 00387 g019
子供001の経時的な感情プロファイル(上)と研究者の注釈(下)の比較。
Symmetry 10 00387 g021 550
体験全体の平均的な感情優位。
Sensitive Doll Demo (with sound)
完成した人形(動画)

参照論文

Jose Luis Espinosa-Aranda, Noelia Vallez, Jose Maria Rico-Saavedra, Javier Parra-Patino, Gloria Bueno, Matteo Sorci, David Moloney, Dexmont Pena, and Oscar Deniz, “Smart Doll: Emotion Recognition Using Embedded Deep Learning”. Symmetry, 10(9), 387 (2018).

DOI: 10.3390/sym10090387

Translating

PAGE TOP