こんにちは。メーカーで画像認識関連のソフトを開発している、Y.OKAMOTOです。現場で働くかたわら、最新の技術を人々に届けることに関心を持ち、AIの論文を解説することにしました。

今回は、医療分野における手術器具のセグメンテーションに関するデモソフト紹介です。
M. Allanらが発表した「ロボット機器セグメンテーションチャレンジ2017」で扱われたデモソフトについて紹介します。

▼前回までの物体認識レクチャーシリーズ

#1　「産業の排出煙を認識」(前編)
#2　「産業の排出煙を認識」(後編)
#3　「手術器具のセグメンテーション」

「手術ロボット器具セグメンテーションのデモソフト紹介」知識編

この記事で解説する論文の情報

タイトル：2017 Robotic Instrument Segmentation Challenge
著者：Max Allan ほか18名
実験国：アメリカ（Intuitive Surgical Inc.ほか）
URL：arXiv:1902.06426

コンピュータービジョン(CV)や機械学習では、ImageNet、COCO、KITTIなどのデータセットによる性能比較を通じて、さまざまなアルゴリズムの長所や制約を解明することで、大幅な改善を推進してきました。
しかしながら、一般的なデータセットとベンチマーク指標で評価基準で定義されていないため、ロボット支援による手術における問題提議については限定的でした。そこで2015年に、EndoVisワークショップで導入され、ロボットフォワードキネマティクスからアノテーションが付加されたロボット画像のデータセットが提供されました。
このワークショップでは10の大学が参加し、関節式ダヴィンチロボットのセグメンテーションについてバイナリ、パーツ、タイプそれぞれのセグメンテーションを実施した結果を示しています。

動作環境について

本サンプルのパッケージは下記の通りです。
なおデモを実行する際は、Google Colaboratory上で行っています。

• Python 3.6
• Pytorch 0.4.0
• TorchVision 0.2.1
• numpy 1.14.0
• opencv-python 3.3.0.10
• tqdm 4.19.4

今回登場するネットワークモデル

M. Allanらが評価したネットワークモデルは、