人物認識の便利さを振り返る

Photos（iOS、iPadOS、macOSアプリ）は、デバイス上で非公開で実行される多くの機械学習アルゴリズムを使用して、画像、Live Photos、ビデオのキュレーションと整理を行っています。ふだん何気なく使用している人も、カテゴリー分類の凄さは実感していることでしょう。

この目標を達成するためのアルゴリズムは、外見で人を認識します。
人物を認識するというタスクは、ドメインが非常に多様であるため困難です。写真に写る人物は、さまざまな大きさ、照明、ポーズ、表情で登場するため、包括的なナレッジグラフが必要になります。これは、子供がシャボン玉で遊ぶシーンや、友人同士でグラスを掲げて乾杯しているところなど、ダイナミックなシーンを撮影する場合に特に当てはまります。

Photos内のコンテンツを整理する課題において、どのような技術が用いられているのでしょうか。Appleの発表を紹介します。

研究者らは、顔と上半身の特徴を抽出することで、人物認識を試みました。

▼論文情報

タイトル：”Recognizing People in Photos Through Private On-Device Machine Learning”

URL：DOI

人物認識のAIモデル

まずは研究におけるミッション・手法・結果をまとめました。