NASA、火星の物体をAIで分類。3年間の成果を発表【AI×社会】(論文解説)

   
↓はてなブックマークで応援お願いします!
このエントリーをはてなブックマークに追加

宇宙データはますます膨大に

NASA Planetary Data System (PDS) は、太陽系を探査する NASA ミッションで収集されたデータのアーカイブを管理しています。PDSでは、惑星、月、彗星、その他の天体の何百万もの画像にアクセスできます。

しかしPDSのデータ量は大量かつ継続的に増加するため、ユーザーが求める画像を探し出すことはどんどん困難になります。

つい先日も、火星にローバーが到着したのが大きな話題になりました。宇宙開発が加速する中、大量のデータをどう整理するかが、ますます大きな課題になっていくでしょう。

この問題の対処のためには、興味のある画像を素早く検索できるツールが必要となります。それぞれの画像は、撮影時刻、使用した機器、撮影対象、季節など、検索可能な豊富なメタデータによって記述されており、その有効な活用が求められます。

NASA惑星データシステムにおけるユーザーの利用しやすさという課題に対して、実際にどんな研究が行われているのでしょうか。アメリカにあるカリフォルニア工科大学のKiri Wagstaffら研究者(NASA所属でもある)の発表を紹介します。

研究者らは特別な画像分類器を構築し、それを用いた検索システムを導入しました。

▼論文情報

著者:Kiri Wagstaff, Steven Lu, Emily Dunkel, Kevin Grimes, Brandon Zhao, Jesse Cai,
Shoshanna B. Cole, Gary Doran, Raymond Francis, Jake Lee, and Lukas Mandrake
タイトル:”Mars Image Content Classification:Three Years of NASA Deployment and Recent Advances”
URL:DOI

NASAデータを画期的に整理したい

まずはKiri Wagstaffらの研究におけるミッション・手法・結果をまとめました。

✔️ミッション
NASA惑星データシステムを利用しやすくする。

✔️解決手法
新たな画像分類器で画像を仕分け、検索システムを導入する。

✔️結果
90%台後半の精度を達成し、利用しやすいデータシステムの構築に成功した。

ミッションから説明していきます。

膨大で非一般的なデータ群から目当ての画像を見つけたい

一般的に言っても、ユーザーは、科学的調査や個人的な好奇心によって画像を検索したいと思うことがよくあります。しかし、何百万枚もの画像から手動で最適なものを見つけ出すことは不可能です。

以前の研究では、火星の軌道上および地表の画像で関心のあるクラスを検出するために画像分類器を訓練しました。これらの分類器による予測を用いて、興味のあるカテゴリーをインタラクティブに検索することができます。2016年末にこれらの分類器を導入して以来、2020年8月までに、その予測値はアトラスのウェブサイトで62613件の検索に使用されました。

今回はさらに各分類器のクラスを拡張し、さまざまなコンテンツタイプをカバーするようにしました。これは、事後確率が0.9以上の分類のみがユーザーに表示される検索アルゴリズムの性質上、非常に重要なポイントです。

つまり、太陽系のデータを、より細かくシステムが理解できるようにしたということです。

独自データセットと分類器を、開発

データセット

Kiri Wagstaffらは、新しいデータセットを作成し、最新の画像を分類するシステムの構築を試みました。

作成した新しいデータセットは2つです。

  • HIRISE画像セットは、火星探査機(MRO)に搭載された高解像度画像処理装置(HiRISE)によって収集されたものです。
  • MSL画像セットは、探査機ローバーであるMars Science Laboratory(キュリオシティ)に搭載されたカメラおよびMars Hand Lens Imager(MAHLI)によって収集されたものです。

ちなみに、キュリオシティは2011年に火星に到着したローバーで、この前(2021年の2月)に到着した火星ローバーの名前はPerseverance(パーサヴィアランス)です。

両データセットのラベルは、高品質を確保するために、各データセット専用のトレーニングを受けた地元のボランティアによるクラウドソーシングによって取得されました。

ちなみに、昨年2020年には、JPL在住の日本人研究員が、ローバーのAIを訓練するためのボランティアをSNSで集めていましたね。

HIRISE軌道データセット(v3)
これまでは、5つのクラスをカバーする火星表面の特徴の3820枚の画像をまとめていました。新しいHiRISEデータセットでは、ラベル付けされた画像の数を10815枚に増やし、8つのクラスとしました。
注目すべき表面の特徴を特定するために過去には、ダイナミック・ランドマーキングと呼ばれる注目メカニズムを採用していました。このプロセスは、大きな画像をスキャンして、視覚的に顕著な領域を特定するものです。クラスの分布をアルファベット順に表1に示します。クラスは非常にアンバランスで、大部分の画像が 「Other」(その他)に分類され、「Impact ejecta」が最も少ないクラスとなっています。

表1 HiRISEデータセットに含まれるクラス分布

クラス名枚数割合
Bright dune2502.31%
Crater7947.34%
Dark dune1661.53%
Impact ejecta740.68%
Other8,80281.39%
Slope streak2672.47%
Spider1641.52%
Swiss cheese2982.76%
合計10,815100%

各クラスの例を図1に示します。

図1 HiRISEデータセットに含まれる画像例

「Bright dune」(明るい砂丘)、「Crater」(クレーター)、「Dark dune」(暗い砂丘)、「Other」(その他)、「Slope streak」(斜面の筋)の各クラスは、 HiRISEデータセットv1に含まれています。「Bright dune」と「Dark dune」は、火星で見られる2つの砂丘です。暗い砂丘は完全に霜が降りていますが、明るい砂丘はそうではありません。「Crater」クラスは、クレーターの直径が画像の幅の1/5以上で、クレーターの円周の半分以上に円形の縁が見えています。「斜面の筋」は、斜面に見られる暗い流れのようなものを撮影した画像です。これは、明るい塵が斜面を滑り落ち、その下に暗い塵が現れるという乾いたプロセスによって形成されたと考えられています。「その他」は、定義されたクラスのどれにも当てはまらない画像を含む包括的なクラスです。
「Impact ejecta」は、隕石が地表に衝突した証拠となる地表の特徴です。「Spider」と「Swiss cheese」は、火星の南極地域で発生する現象です。「Spider」は、中央にピット、放射状のトラフがあり、地表上にある氷の層を通って炭酸ガスが排出されることで形成されると考えられています 。 「Swiss cheese」とは、太陽の熱で氷が昇華してできるピットからなる地形です。

MSL火星表面データセット(v2)
MSLキュリオシティに搭載されたMastcamとMAHLIによって収集された火星表面の画像を、新しいデータセットとして作成しました。Mastcamは、左目と右目のような役割を担うカメラを持つ2つの観測装置です。
MAHLIは、ローバーのロボットアームの先端にあるタレットに設置された、1台のフォーカス可能なカメラです。前のバージョンでは、主にローバーのハードウェア部品に焦点を当てた24クラスにわたる6691枚の画像のデータセットを作成しました。新しいデータセットでは、主に科学的関心のあるオブジェクトに焦点を当てた19クラスにわたる2900枚の画像が含まれています。
MSLのデータセットは、ソル(MSLのミッション日)1から2224までの合計2900枚の画像(1172枚のMastcam左目カメラ、1000枚のMastcam右目カメラ、728枚のMAHLI画像)をランダムにサンプリングしました。

各クラスの例を図2にアルファベット順に示します。これらには、ローバーが作成した特徴を記述する3つのクラス(「Drill hole」、「DRT (Dust Removal Tool) spot」、「Wheel tracks」)、「Sun 」と 「Night sky」、7つの火星表面の特徴クラス(「Light-toned veins」、「Layered rock」、「Float rock」など)、5つのローバーパーツクラス(「DRT」、「Mastcam calibration target」、「Wheel」、 「Other rover part」など)、そして低品質な画像や欠損データを含む画像に使用される 「Artifact」があります。これらの画像のピクセル解像度と照明条件は、異なる距離と時間で撮影されたため、大きく異なります。

図2 MSLデータセットに含まれる画像例

IDARラベリングツールを使用して、MSLデータセットの画像にラベルを付けました。ラベリングの際には、各クラスの定義や、1枚の画像に複数のクラスが写っている場合の優先順位など、詳細な指示を行いました。HiRISEデータセットと同様、専門家によるレビューで意見の相違を解消しました。MSL表面データセットのクラス分布を表2に示します。

表2 MSLデータセットに含まれるクラス分布

クラス名枚数割合
Arm cover100.34%
Artifact40814.07%
Close-up rock37312.86%
Distant landscape1976.79%
Drill hole652.24%
DRT140.48%
DRT spot471.62%
Float rock802.76%
Layered rock1053.62%
Light-toned veins421.45%
Mastcam calibration target1003.45%
Nearby surface100834.76%
Night sky230.79%
Other rover part862.97%
Sand1234.24%
Sun1153.97%
Wheel561.93%
Wheel joint331.14%
Wheel tracks150.52%
合計2900100%

分類器(画像を各カテゴリーに自動分類するアルゴリズム)

HIRISENET: 火星周回軌道画像用CNN分類器
AlexNet画像分類器をHiRISEクラスに適用しました。AlexNetはImageNetデータセットの1000クラスの120万枚の画像で学習されました。
ネットワークは最後の完全連結層を削除し、8つの出力クラスを持つ新しい層を追加し、再学習しました。

MSLNET: 火星表面画像用CNN分類器
MSLNETは、2つのCNN分類器を組み合わせたものです。前バージョン(v1)の分類器は、ローバーのハードウェアクラスに焦点を当てていました。
MastcamとMAHLI機器の主な目的は、ローバー調査サイトの科学分析を可能にすることであり、これが新バージョン(v2)分類器の作成の動機となり、科学ターゲット(例:「Float rock」、「Layered rock」)とアクティビティ(例:「DRT spot」、「Drill hole」)を含むようにクラスのセットを拡張しました。

MSLNetでは、まずv2分類器で画像を分類し、次に「Other rover part」に分類された画像をv1分類器で再分類することで、ローバーのパーツを細かく分類しています。v2分類器は、上述のMSL表面データセットを用いて学習・評価しました。最終的なハイブリッドMSLNet分類器は、v1とv2を組み合わせ、画像を科学と工学の両方に関連する35のクラスに分類します。

分類器のキャリブレーション
導入された分類器は、どの結果をユーザーに表示するかを決定するために信頼性のしきい値を使用するため、モデルが十分にキャリブレーションされていることが不可欠です。
最近のニューラルネットワークは高い精度を達成していますが、多くの場合、キャリブレーションエラーが増加しています。これは、予測されたクラスの確率が、実際の経験上の確率から乖離していることを意味します。また、多くの場合、ニューラルネットワークの予測値は常に過信されています。この効果は、モデルの容量の増加と正則化の不足に結びついているようです。モデルキャリブレーションの定量的な測定のために、事後確率(信頼度)と精度の間の期待される差であるExpected Calibration Error (ECE)を計算します。

利用しやすいデータシステムの構築に成功した

結果、90%台後半の精度を達成し、利用しやすいデータシステムの構築に成功しました。

HiRISENetとMSLNetを評価するために、主な性能指標として総合(閾値後)精度スコアと棄権率を用い、ECEで分類器の校正レベルを測定しました。また、クラスごとの性能を把握するために、精度とリコールのスコアを分析しました。

HIRISENET評価
HiRISENetの分類精度の結果を表4に示します.

表3 HiRISENetの性能評価

このデータセットでのランダムなクラス予測は、8つのクラスが与えられた場合11.1%の精度向上を達成しました。トレーニングセットから最も一般的なクラス「その他」を予測する単純なベースラインと比較すると、HiRISENetはテストセットで81.1%から92.8%へと強い改善を示しています。
このアプリケーションでは,0.9以上の確率の予測結果のみがユーザに表示されるように閾値が設定されているため、信頼できる事後確率が不可欠です。精度、ECE、棄権への影響の観点から、4つの校正方法を比較しました(表5)。

表4 検証セットにおけるキャリブレーションの効果

その結果、行列スケーリングは最も高い検証精度(90.3%)と最も低い棄権率(24%)を達成しました。ベクトルスケーリングでは、ECEが最も低かったものの棄権率が高く、精度も低芳しくありません。そのため、展開時には行列スケーリングを採用しました。
テストセットにおいて、キャリブレーションされたHiRISENetモデルは96.7%の精度を達成し、棄権率は20%でした。

MSLNet の評価
MSLNet v2 分類器の性能を、最も一般的なクラス「Nearly surface」のベースラインと比較して表6 に示します。

表5 MSLNetの性能評価

MSLNet 分類器はベースライン手法を大幅に上回り、テストセットにおいて 74.5% の精度を達成しました。
MSLNetは、対応するテストセットにおいてHiRISENetよりも低い精度と高い棄権率を達成しています。クラスの数が多く、ラベル付けされた画像の数が少ないことから、この分類器はさらにデータが限られている可能性が高く、追加のデータ収集が有益であると考えています。

火星の軌道画像と地表画像を対象とした2つの分類器は2016年後半から運用されており、NASAの大規模な画像アーカイブのの検索を初めて可能にしました。
時が経ち増えたデータに対して行われた研究により、改めて使用しやすいデータシステムの整備を完了することができました。

研究紹介は以上です。

世の中に溢れる大規模なデータが利用しやすい形で提供されるために、裏ではこのようなエンジニアの努力が行われています。データの整理によってより良い世の中になることを期待したいですね。


関連記事


業界/カテゴリー

PAGE TOP