AIで稲の病気を検出 害虫の被害を防止する自動化テクノロジー【AI×農業】(論文解説)

   
↓はてなブックマークで応援お願いします!
このエントリーをはてなブックマークに追加

主食を守れ

農作物の生産は、特に食料が不足している一部の地域にとって重要な意味を持っています。現在農作物の病気や害虫による穀物の損失は、農作物の生産損失全体の10%以上を占めています。

米はアジア諸国の主食ですが、イネは気候条件、湿度、栄養分、水管理、農作業の状況など、さまざまな影響を受けて病気になったり、害虫の被害を受ける可能性があります。それらを手作業で識別・検出することは、時間がかかることが多く、認識精度も高くないです。その結果、誤った診断や農薬の誤使用を招く恐れがあります。

農作物の病気や害虫による被害に対して、実際にどんな研究が行われているのでしょうか。中国科学院大学のDengshan Liら研究者の発表を紹介します。

研究者らは、リアルタイムの映像検出システムを構築し、作物の病気や害虫の予防を試みました。

▼論文情報

著者:Dengshan Li, Rujing Wang, Chengjun Xie, Liu Liu, Jie Zhang, Rui Li, Fangyuan Wang, Man Zhou, Wancai Liu
タイトル:”A Recognition Method for Rice Plant Diseases and Pests Video Detection Based on Deep Convolutional Neural Network
Sensors2020, 20(3), 578
URL:DOI

農作物の病気・害虫の被害予防

まずはDengshan Liらの研究におけるミッション・手法・結果をまとめました。

✔️ミッション
作物の病気や害虫の予防をする。

✔️解決手法
病気や害虫を検出するリアルタイムの映像検出システムを構築した。

✔️結果
既存のモデルを上回る検出性能を達成した。

ミッションから説明していきます。

(目的)イネの病気検出

イネの病気は主に3種類あります
1つ目は真菌感染が原因の紋枯病です。病斑は雲状で、中央部は灰褐色、葉は枯れて黄色になります。
2つ目は害虫によって引き起こされる症状です。茎や葉が枯れるといった症状が現れます。
3つ目は真菌感染などにより引き起こされる褐斑病です。症状としては葉や葉鞘に褐色の斑点が見られます。
以上の3種類の病斑を図1に示します。

図1 イネの病気
(a)紋枯病 (b)害虫による病気 (c)褐斑病

動画の検出は静止画の検出とは異なる点が多く、動画の焦点ズレ、ぼやけ、部分的重なりなどの課題があります。図2に、これらの課題を含む、イネの病害虫症状のビデオフレームを示します。

図2 動画における課題を含むフレーム

被写界深度の変化によりデフォーカスが発生したり、風による葉の動きなどの素早い動きによりモーションブラーが発生したり、カメラアングルの変化により手前の葉が奥の病斑を覆い隠してしまうことによりパーツオクルージョンが発生したりする。図3に示すように、私たちが撮影したイネの病害虫の画像は、オクルージョンがなく鮮明であるため、静止画を使ってイネの病斑動画を検出することにも課題があります。

深層学習法は、作物の病気の認識・検出に用いられてきました。しかし、1枚の作物画像に複数の病害があると、病害診断の精度が低下する可能性があります。これは、異なる種類の病斑間で特徴が相互に干渉するためと考えられます。
農作物の病気や害虫の症状の検出は、病斑の形状が常に不規則であり、病斑と周囲の健全な領域との境界が常に明らかではないため、常に困難に直面しています。特に動画での検出では、病斑が動いているとぼやけたり、カメラの角度が変わると病斑の不規則な形状が変化したりしてしまいます。

(手法)静止画データセットを用いた動画解析

Dengshan Liらは、イネの病害虫の症状を検出するための動画検出システムを開発しました。

提案システムは、フレーム抽出モジュール、静止画検出器、映像合成モジュールから構成されます。データセットからの静止画(図3)を用いて静止画ニューラルネットワークモデルを学習し、そのモデルを用いてビデオフレームを検出します。

図3 データセットに含まれる静止画

データセット
2018年6月から8月にかけて、中国の安徽省、江西省、湖南省で収集したイネの病虫害の画像と動画で構成されています。これらの画像は、iPhone7やHUAWEI P10などのスマートフォンと、ソニーのWIFI制御カメラで撮影されました。
トレーニングデータとテストデータは、イネ紋枯病、イネ茎葉枯病、イネ褐斑病について、それぞれ1800枚、1760枚、1760枚の画像で構成されています。

今回のシステムの流れは、図3に示すように比較的鮮明な映像でモデルを学習し、そのモデルを使って比較的ぼやけた映像をフレームごとに検出するというものです。
イネ紋枯病のアノテーションを図4に示します。枯れ葉のような下位の症状はアノテーションしていません。重度の被害を受けた病斑部分のみをアノテーションしました。これらの画像は、静止画モデルのトレーニングとテストに使用されました。

図4 紋枯病のアノテーション

動画像検出システムは3つの部分から構成されています。
(1) 任意の時間間隔に設定可能なフレーム抽出モジュール
(2) カスタムDCNNをバックボーンとした静止画検出器
(3)映像合成モジュール
この動画検出システムのワークフローは,まず画像データセットの画像を用いて静止画モデルを学習し,次に動画をシステムに入力し,最終的に検出された動画を出力する,というものである.このシステムでは,静止画で学習したモデル(図3)を用いて,比較的ぼやけた動画フレーム(図2)を検出しています。

フレーム抽出モジュール
動画検出システムでは、最初に入力動画からフレームが抽出されます。そして、生成されたフレームを静止画検出器に送ります。速度は1秒間に30フレームです。植物の病斑の検出では、検出速度を向上させるために画像の解像度を下げても、病斑の形状が不規則であったり、病斑の境界が不明確であったりするため、良い選択とは言えないかもしれません。解像度を下げすぎると、斑点がよりぼやけてしまい、検出が困難になる可能性があります。

静止画の物体検出
静止画オブジェクト検出器は、Faster-RCNNフレームワークから採用されています。
このアーキテクチャを図5に示します。以下、本フレームワークと各部の詳細を説明します。

図5 静止画検出器の概要


(1) Faster-RCNNのフレームワーク
Faster-RCNNは、2段階の物体検出器の代表的な構造です。関心領域(RoI)は、領域提案ネットワーク(RPN)によって生成され、次の部分に転送されて分類とバウンディングボックス回帰が行われます。図5に示すように、このフレームワークには、特徴抽出部、RPN、RoIプーリング部、2つの完全連結(FC)層が含まれています。
(2)カスタムDCNNバックボーン
バックボーンは、「2段式」検出器の第1段です。バックボーンの機能は、画像の特徴を抽出し、特徴マップを生成することです。バックボーンには、カスタムDCNNを採用しました。特徴抽出の質が検出の質に影響するため、特徴抽出器は2段階の深層学習検出器にとって重要です。
(3) RPN
Faster-RCNにおけるRPNは、Fast-RCNにおける「選択的探索」の代替手段です。選択的探索とは、画像全体を多数の小領域に分割し、各小領域にバウンディングボックスを生成するニューラルネットワークを実行し、最後に小領域とバウンディングボックスを出力するものです。そのため、効率が悪いです。
RPNでは、ニューラルネットワークを一度実行してRoIを抽出するので、効率が向上します。
(4) RoIプーリング部
RoIプーリング部は、RPNが生成した提案領域を、縦横一定(7×7)の特徴量マップに変換します。この方法の利点は、入力画像のサイズが固定されていなくても、前回の特徴マップのサイズがどのようなものであっても、H×7×7の特徴マップにRoIプーリングされることです(HはRoIの数)。
(5)Faster-RCNNフレームワークの頭部
最後の2つのFC層で構成されており、その機能は、すべてのローカルな特徴をオブジェクトの全体の特徴に結合することです。FC層からは、分類ブランチとバウンディングボックスブランチの2つのブランチが出力されます。

映像合成モジュール
静止画検出器で検出されたフレームには、クラスや検出確信度などの検出情報が含まれています。実験では、異なるクラスを区別するために、異なる色のボックスを使用しました。動画合成モジュールは、静止画検出器から検出されたばかりのフレームを受け取り、そのフレームを動画に合成します。

(結果)既存モデルを凌ぐ精度を記録

結果、既存のモデルを用いた場合よりも高精度でイネの病気を検出することに成功しました。

本研究では、動画1〜動画5とナンバリングされた5つの動画を用いてモデルの検出結果を測定しました。
動画1〜動画3は、それぞれ紋枯病、害虫被害による症状、褐斑病の動画であり、学習に用いました。動画4と動画5はそれぞれ紋枯病、害虫被害による症状の動画であり、検証用に用いました。

図6は、動画の検出結果です。赤色のボックスはイネの紋枯病、紫色のボックスは害虫による症状、青色のボックスはイネの褐斑病を示しています。

図6 動画の検出結果

3つのカテゴリーのイネの症状が同時に検出できました。しかし非常にぼやけた病斑の一部は検出されませんでした。また、検出しきい値を低く設定したために重なりが生じた可能性も考えられます。
表1は、動画1-3の病巣スポットの統計を示したものです。
ここでは、動画のリコールと動画の精度の結果を算出しています。例えば、動画1のビデオリコールは,「検出された真スポット数」を「真スポット数」で割った商であるため、34を50で割った結果、68.0%となります。
また、表2は動画4、動画5における検出結果です。

表1 動画1〜動画3の検出結果

表2 動画4、動画5の検出結果

他のバックボーンとの比較
静止画検出器(Faster-RCNNフレームワーク)のバックボーンとして,VGG16、ResNet-50、ResNet-101、そして我々のカスタムDCNNを選択し、これらのバックボーンによる動画1の検出性能を評価しました。これらのバックボーンのモデルを学習するために、同じ画像データセットを使用し、検出には動画1を使用しました。また実験環境も同じものを選択した。今回の実験環境とデータセットでは、カスタムDCNNバックボーンがイネのビデオ検出において最も良好な実験結果を得ました。

表3 様々なバックボーンによる検出結果

研究紹介は以上です。

日本では農業の担い手が減っていますが、このような技術が人手不足の解消につながることを期待したいですね。


関連記事

業界/カテゴリー

PAGE TOP