JP7627937B2 - 情報処理装置、情報処理システム、情報処理方法、制御プログラム及び記録媒体 - Google Patents

Description

本発明は、情報処理装置、情報処理システム、情報処理方法、制御プログラム及び記録媒体に関する。

従来、植物株の画像を入力とし、対象となる植物株における異常の有無を判定する技術が知られている。非特許文献１では、植物株の圃場を示す画像をＬａｂ色空間における画像に変換して、植物株の背景部分を除去する技術が開示されている。

Bai et al., 2013. Crop segmentation from images by morphology modeling in the CIE L*a*b color space. Computers and Electronics in Agriculture 99 (2013) 21-34.

しかしながら、上述のような従来技術においては、晴れた日の屋外における光環境で撮像した植物株の画像を、異常の有無を判定する情報処理装置の入力とした場合、植物株部分と土壌部分とを分類する精度が低くなるという問題がある。

本発明の一態様は、上記の問題に鑑みてなされたものであり、画像を撮像したときの光環境によらず、画像内における植物株を抽出する精度を向上させることを目的とする。

上記の課題を解決するために、本発明の一態様に係る情報処理装置は、Ｌａｂ色空間における画像であって植物株を含む画像を取得する取得部と、前記取得部が取得した画像におけるａ値及びｂ値の双方に応じた値と所定の閾値とを比較することによって、前記画像における植物株を示す領域を抽出する抽出部とを備える。

上記の課題を解決するために、本発明の一態様に係る情報処理方法は、情報処理装置によって実行される情報処理方法であって、Ｌａｂ色空間における画像であって植物株を含む画像を取得する取得ステップと、前記取得ステップにおいて取得した画像におけるａ値及びｂ値の双方に応じた値と所定の閾値とを比較することによって、前記画像における植物株を示す領域を抽出する抽出ステップとを含む。

本発明の一態様によれば、画像を撮像したときの光環境によらず、画像内における植物株を抽出する精度を向上させることができる。

実施形態１に係る情報処理システムの機能ブロック図である。 実施形態１に係る処理の流れを示すフローチャートである Ｌａｂ色空間における画像であって、植物株の圃場を示す画像に含まれる物体に対応する画素値の分布を示す図である。 Ｌａｂ色空間のａ―ｂ平面において、植物株及び土壌に対応する画素値の画素数の分布を示している。 植物株の圃場を示す画像である。 実施形態２に係る情報処理システムの機能ブロック図である。 植物株の圃場を示す画像である。 実施形態２に係る処理の流れを示すフローチャートである 植物株の圃場を示す画像である。 実施形態３に係る情報処理システムの機能ブロック図である。 第１抽出部に関する情報を示している。 実施形態３に係る処理の流れを示すフローチャートである

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。本実施形態においては、晴れた日に撮像した植物株の画像を入力とした場合であっても植物株部分と土壌部分とを高精度で分類可能な情報処理装置の一例について説明する。

〔１．情報処理システムの構成例〕
本実施形態に係る情報処理システム１について説明する。図１は、本実施形態に係る情報処理システム１の機能ブロック図である。図１に示すように、情報処理システム１は、情報処理装置１０、表示装置３８及び移動体４２を備えている。なお、情報処理システム１が備える各部材は、単数であることに限定されず、それぞれ複数であってもよい。また、情報処理システム１が備える単一の部材の機能が、別の複数の部材によって実現されてもよく、情報処理システム１が備える複数の部材の機能が、別の単一の部材によって実現されてもよい。

情報処理装置１０は、制御部１２、記憶部３０及び通信部３４を備えている。制御部１２は、情報処理装置１０全体を統括する制御装置であって、取得部１４、前処理部１６、抽出部１８、分類部２０、学習部２２及び提示部２４を備えている。

取得部１４は、植物株を含む画像を取得する。前記画像は、前処理部１６によってＬａｂ色空間における画像に変換されたものであってもよい。ここで、Ｌａｂ色空間における画像とは、明度に対応するＬの値と、補色に対応するａ及びｂの値とによって、色に関する画素値が規定される画像である。また、取得部１４は、移動体４２等から入力された情報、及び画像に含まれる植物株における異常の有無に関する情報を取得する。ここで、異常の有無に関する情報には、例えば異常の有無を示す情報、又はどのような異常が有るかを示す情報が含まれ得る。

前処理部１６は、取得部１４が取得した画像に対して所定の処理を行う。例えば前処理部１６は、前記画像をＬａｂ色空間における画像に変換する処理、及び画像にガウシアンフィルタを適用してノイズを除去する処理を行う。なお、移動体４２が動画を撮像し、前処理部１６が前記動画から静止画を抽出して用いる構成であってもよい。

抽出部１８は、取得部１４が取得した画像の画素値におけるａ値及びｂ値の双方に応じた値と所定の閾値とを比較することによって、前記画像における植物株を示す領域を抽出する。換言すれば、抽出部１８は、前記画像の画素値におけるａ値及びｂ値の双方が関係する特徴量に閾値を与え、閾値との比較結果に応じて、対象となる画素が植物株を示しているか、或いは植物株以外の土壌等の物体を示しているかを判定する。

図４を参照して後述するように、例えば抽出部１８は、Ｌａｂ色空間におけるａ―ｂ平面において、対象とする画素の画素値が対応する位置と、閾値を示す直線又は曲線との位置関係に応じて植物株を示す領域を抽出する。別の側面から言えば、抽出部１８は、前記直線又は曲線によって規定される何れの領域に前記画素値が対応するかによって、対象とする画素が植物株を示すか土壌を示すかを判定する。

分類部２０は、抽出部１８が抽出した植物株を示す領域を含む画像を入力とし、前記植物株における異常の有無に関する判定結果を出力する学習済みモデルを用いて、前記植物株が健全株か異常株かを分類する。ここで、学習済みモデルとは、十分な回数の学習がなされた学習モデルを意味する。

学習部２２は、植物株を含む画像を入力とし、前記植物株における異常の有無に関する判定結果を出力する学習モデルを、植物株を含む画像と、前記植物株における異常の有無に関する情報との組を教師データとして用いて学習させる。学習部２２は、例えば以下の手順を十分な回数実行することによって、学習モデルを学習させる処理を実行する。以下の処理によって学習された学習済みモデルは、本開示における第２学習済みモデルの一例である。なお、第２学習済みモデルが植物葉を対象とする場合、下記（１）の「植物株」を「植物葉」と読み替える。

（１）取得部１４は、植物株を含む画像と、当該画像に含まれる前記植物株における異常の有無に関する情報との組を複数含む教師データを記憶部３０等から取得する。

（２）学習部２２は、前記画像を学習モデルに入力する。

（３）学習部２２は、学習モデルを規定するパラメータセットの値を、前記情報と学習モデルの出力値とによって規定される損失関数を減少させる勾配方向に更新する。

また、本開示における第１学習済みモデルの一例については、実施形態３において後述する。

また、分類部２０が実行する分類手法、及び学習部２２が実行する機械学習手法は、特定の手法に限定されず、例えばＣＮＮ（Convolutional Neural Network）やＲＮＮ（Recurrent Neural Network）を用いたものであってもよい。また分類、回帰のいずれのモデルを用いてもよい。CNNやRNN等のニューラルネットワークを用いる場合、ニューラルネットワークへのインプット用に入力データを予め加工して用いてもよい。このような加工には、データの２次元的配列化、または多次元的配列化に加え、例えば、各種データオーギュメンテーション（Deta Augumentation）や、明るさ・色調・画質・対象物の角度等の調整、対象領域の抽出のための物体検出、セグメンテーション等の手法を用いることができる。

また、CNNを用いる場合、ニューラルネットワークに含まれる１又は複数の層（レイヤ）として、畳み込み演算を行う畳み込み層を設け、当該層に入力される入力データに対してフィルタ演算（積和演算）を行う構成としてもよい。またフィルタ演算を行う際には、パディング等の処理を併用したり、適宜設定されたストライド幅を採用したりしてもよい。

その他、例えば以下のような機械学習的手法の何れかまたはそれらの組み合わせを用いる構成としてもよい。

・サポートベクターマシン（SVM: Support Vector Machine）
・クラスタリング（Clustering）
・帰納論理プログラミング（ILP: Inductive Logic Programming）
・遺伝的アルゴリズム（GP: Genetic Programming）
・ベイジアンネットワーク（BN: Baysian Network）
・オートエンコーダ（Autoencoder）
提示部２４は、分類部２０が異常株と分類した植物株の位置を示す情報等を提示する。例えば、提示部２４は、表示装置３８の画面上に、植物株の位置を示す画像を表示させる。なお、提示部２４は、前記植物株の位置を示す情報を、音によって提示する構成であってもよい。前記構成において、提示部２４は、例えば情報処理装置１０が備える図示しないスピーカに、植物株の座標を示す音声を出力させることによって前記情報の提示を行ってもよい。

また、一態様として、移動体４２の移動と並行して、異常株と分類された植物株の位置を示す情報を提示部２４がリアルタイムに提示する構成であってもよい。例えば上記の構成において、提示部２４は、植物株が異常株と分類されたことに応答して、前記異常株の位置を示す情報を表示装置３８の画面上に表示させつつ、通知音を鳴らす構成であってもよい。これにより、ユーザは、画面を見ていなかった場合でも、通知音が鳴ったときに移動体４２の近辺において異常株が発見されたことを容易に把握し、画面を確認することができる。

記憶部３０は、各種情報を記憶する記憶装置であって、例えば学習モデルを規定するパラメータセットを格納する。通信部３４は、移動体４２等の外部の装置との通信処理を行う。

表示装置３８は、動画像又はテキスト等を表示するディスプレイである。例えば表示装置３８は、提示部２４から指示された情報を画面上に表示させる。

移動体４２は、車両、又はドローン等の飛行体として実現される移動体４２であって、撮像部４４及び通信部４６を備えている。撮像部４４は、移動体４２の周囲を撮像するカメラである。通信部４６は、情報処理装置１０等の外部の装置との通信処理を行う。なお、移動体４２が、カメラを持ち運ぶ人物又は動物によって実現される態様についても本開示に含まれる。また、移動体４２は、人物又は情報処理装置１０等を積載可能であってもよい。また、移動体４２は、撮像部４４が撮像した画像と、前記画像を撮像したときの移動体４２の位置を示す情報とを、例えば無線通信によって情報処理装置１０に送信する。また、移動体４２が自身の位置を取得する構成は、例えばＲＴＫ（Real-Time Kinematic）を利用した位置情報端末を移動体４２が搭載することによって実現されてもよい。

〔２．情報処理システムの処理例〕
続いて、情報処理システム１が異常株の位置を提示する処理の一例について説明する。本例において、情報処理装置１０は、植物株を含む画像として、植物株が植えられた圃場の画像を処理対象とするものとして説明する。また、以降の実施形態においても同様とする場合がある。図２は、本例における処理の流れを示すフローチャートである。

ステップＳ１０１において、移動体４２は、植物株の圃場上を移動することと並行して、移動体４２の周辺における植物株を含む１又は複数枚の画像を、撮像部４４によって撮像する。

ステップＳ１０２において、移動体４２は、撮像部４４が撮像した画像と、前記画像を撮像したときの移動体４２の位置を示す情報とを、情報処理装置１０に送信する。また、情報処理装置１０の取得部１４は、移動体４２から送信された各情報を、通信部３４を介して取得する。また、情報処理装置１０は、前記画像と移動体４２の位置を示す情報とを関連付けて記憶部３０に格納する。本ステップＳ１０２の処理は、対象となる圃場全体の撮像が完了した後に開始される構成に限定されず、撮像部４４が画像を撮像する度に随時実行される構成であってもよい。

ステップＳ１０３において、前処理部１６は、取得部１４が取得した画像を、Ｌａｂ色空間における画像に変換し、例えばガウシアンフィルタを適用して画像内のノイズを除去する処理を行う。また、取得部１４は、前記処理が施された画像を取得する。

ステップＳ１０４において、抽出部１８は、取得部１４が取得した画像であって、前処理部１６による処理が施された画像における植物株を示す領域を抽出する。

図３は、Ｌａｂ色空間における画像であって、植物株の圃場を示す画像に含まれる物体に対応する画素値の分布を示す図である。図３において、領域５０は、曇りの日に撮像した植物株に対応する画素値の分布と晴れの日に撮像した植物株に対応する画素値の分布との和集合を示している。領域５２は、曇りの日に撮像した土壌に対応する画素値の分布を示している。領域５４は、晴れの日に撮像した土壌に対応する画素値の分布を示している。

図４の説明図５８は、Ｌａｂ色空間において横軸をａ軸、縦軸をｂ軸としたときのａ―ｂ平面において、植物株に対応する画素値の画素数の分布を示している。ここで、前記画素数の分布は、図３のグラフを真上から見た場合に、ａ―ｂ平面の各座標において、Ｌ方向に重なる点の個数に対応する。説明図６０は、前記ａ―ｂ平面において、曇りの日に撮像した土壌に対応する画素値の画素数の分布を示している。説明図６２は、前記ａ―ｂ平面において、晴れの日に撮像した土壌に対応する画素値の画素数の分布を示している。また、前記土壌には、植物株等の影となる土壌部分が含まれる。各説明図において、分布は指数表現となっており、分布の周辺部分は、分布の中心部分と比較して画素数が非常に少ないため、考慮せずとも殆ど影響は無い。また、各説明図において、直線６６は、ａ値のみと比較される閾値を示す直線であり、直線６８は、ａ値及びｂ値の双方に応じた値と比較される閾値を示す直線である。

説明図５８及び６０に示すように、曇りの日に撮像した画像においては、直線６６を境界として、植物株に対応する画素値と土壌に対応する画素値とを好適に分類することが可能である。しかしながら、説明図５８及び６２に示すように、晴れの日に撮像した画像においては、直線６６を境界として、植物株に対応する画素値と土壌に対応する画素値とを好適に分類することができない。

そこで、直線６８を境界とすることによって、晴れの日に撮像した画像における植物株に対応する画素値と土壌に対応する画素値とを好適に分類することが可能となる。即ち、図４の各図に示す例において、抽出部１８は、処理対象となる画素の画素値が、ａ―ｂ平面において直線６８の左上の領域に位置する場合、当該画素が植物株に対応するものと判定する。また、抽出部１８は、処理対象となる画素の画素値が、ａ―ｂ平面において直線６８の右下の領域に位置する場合、当該画素が植物株以外の土壌等の物体に対応するものと判定する。

また、直線６８の傾きを示すｂ／ａの値は、特定の値に限定されず、１．１５又は１．５等であってもよい。別の側面から言えば、直線６８に関して一般化すると、（ｂ－β）／ａの値に閾値を与えることに相当する。ここでβは、任意の実数である。また、閾値のうち少なくとも何れかは、曲線で示されるものであってもよい。また、Ｌａｂ色空間のａ―ｂ平面において、閾値を示す直線又は曲線の少なくとも何れかは、直線６８のようにｂ切片の値が０とは異なっていてもよい。

また、閾値を示す直線又は曲線の式は、土壌及び植物株を含む画像と、植物株の領域を示す情報との組を教師データとして用いる機械学習によって、学習部２２が更新可能な構成であってもよい。

また、抽出部１８は、画像における植物株を示す領域を抽出する処理に続いて又は並行して、前記領域の背景部分をマスクする処理を行う。即ち、抽出部１８は、画像における植物株を示す領域以外の領域を対象として、色情報を削除するか、黒等の単一色で塗りつぶす処理を行う。

図５の画像７２は、移動体４２であるドローンが撮像した、晴れた日の植物株の圃場を示す画像である。画像７４は、ａ値のみと比較される閾値を用いて、植物株に対応する画素値と土壌に対応する画素値とを分類した場合における植物株の検出結果を示している。画像７４においては、右側の土壌部分が植物株と誤検出されている。画像７６は、画像７２におけるａ値及びｂ値の双方に応じた値と所定の閾値とを比較することによって、植物株に対応する画素値と土壌に対応する画素値とを分類した場合における植物株の検出結果を示している。画像７６においては、植物株を示す領域として、上述した直線６８の左上に相当する領域が抽出されている。画像７６に示す植物株の検出結果は、画像７４に示す検出結果よりも検出精度が高いものとなっている。

ステップＳ１０５において、抽出部１８は、圃場の画像を、単一の植物株を示す領域を含むように植物株毎に分割する。また、制御部１２は、圃場の画像と前記画像が撮像されたときの移動体４２の位置を示す情報とを参照して、圃場における各植物株の位置をそれぞれ算出する。

ステップＳ１０６において、分類部２０は、単一の植物株を示す領域を含む画像を入力とし、植物株における異常の有無に関する判定結果を出力する学習済みモデルを用いて、前記植物株が健全株か異常株かを分類する。

ステップＳ１０７において、制御部１２は、対象となる植物株について、分類部２０による分類結果が健全株か異常株かに応じた分岐を行う。植物株が健全株である場合、続いてステップ１０９の処理が実行され、植物株が異常株である場合、続いてステップＳ１０８の処理が実行される。

ステップＳ１０８において、提示部２４は、分類部２０が異常株と分類した植物株の位置を示す情報として、圃場の地図と、前記植物株の位置を示すアイコンとを表示装置３８の画面上に表示させる。

ステップＳ１０９において、制御部１２は、対象となる全ての植物株について、ステップＳ１０６～Ｓ１０８の処理が完了したか否かを判定する。制御部１２が、全ての植物株について前記処理が完了したと判定した場合、図２のフローチャートに基づく処理が終了する。制御部１２が、何れかの植物株について前記処理が完了していないと判定した場合、対象となる植物株について、Ｓ１０６からの処理が実行される。

以上のように、情報処理装置１０によって実行される情報処理方法は、取得ステップ及び抽出ステップ等を含む。取得ステップでは、Ｌａｂ色空間における画像であって植物株を含む画像を取得する。また、抽出ステップでは、取得ステップにおいて取得した画像の画素値におけるａ値及びｂ値の双方に応じた値と所定の閾値とを比較することによって、前記画像における植物株を示す領域を抽出する。

本例の構成によれば、ａ値及びｂ値の双方に応じた値と所定の閾値とを比較することによって、画像を撮像したときの光環境によらず、画像内における植物株を抽出する精度を向上させることができる。また、熟練者が目視で確認せずとも異常株の位置が把握可能となるため、例えば異常株を除去する抜き取り作業を省力化することができる。

〔実施形態２〕
本発明の第２の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、重複する説明を繰り返さない。また、以降の実施形態においても同様である。本実施形態においては、他の植物株と比較して所定の相違を有する植物株を検出可能な情報処理システムの一例について説明する。ここで、所定の相違を有する植物株には、近傍の植物株と比較して、相対的に大きさが矮小である植物株や萎れている植物株、或いは色の異なる植物株等が含まれ得る。また、上述した近傍の植物株には、或る植物株を基準として、隣接する植物株、又は所定距離内若しくは隣接する所定個数の植物株のうち１以上の植物株が含まれ得る。

〔１．情報処理システムの構成例〕
本実施形態に係る情報処理システム１ａについて説明する。図６は、本実施形態に係る情報処理装置１０ａの機能ブロック図である。情報処理装置１０ａは、図１に示す情報処理装置１０と比較して、分類部２０に替わり、検出部２１を備える構成である。

検出部２１は、複数の植物株を含む画像を入力とし、前記画像において近傍の植物株と比較して所定の相違を有する植物株を検出する学習済みモデルを用いて、対象となる画像において近傍の植物株と比較して前記相違を有する植物株を検出する。ここで、前記学習済みモデルは、複数の植物株を含む画像と、前記複数の植物株のうち何れかの植物株と他の植物株との相違に関する情報との組を教師データとして用いて学習された学習済みモデルである。ここで、前記相違に関する情報には、例えば前記相違の有無を示す情報、又はどのような相違が有るかを示す情報が含まれ得る。

また、本実施形態に係る取得部１４は、複数の植物株を含む画像を取得する。また、取得部１４は、画像に含まれる複数の植物株のうち何れかの植物株と他の植物株との相違に関する情報を取得する。

ここで、或る植物株と、他の植物株との相違に関する情報には、
・ある植物株の大きさと他の植物株の大きさとの相違に関する情報
・ある植物株の色と他の植物株の色との相違に関する情報
・ある植物株の形状と他の植物株の形状との相違に関する情報
等が含まれ得る。

また、本実施形態に係る学習部２２は、複数の植物株を含む画像を入力とし、前記画像において近傍の植物株と比較して所定の相違を有する植物株を検出する学習モデルを、取得部１４が取得した画像と前記相違に関する情報との組を教師データとして用いて学習させる。

また、検出部２１が実行する検出手法、及び学習部２２が実行する機械学習手法は、例えばＦａｓｔｅｒ Ｒ－ＣＮＮ（Regions with Convolutional Neural Networks）を用いたものであってもよい。

図７の各画像は、植物株の圃場を示している。画像８０内の枠８２で囲まれる画像部分は、本実施形態の構成に該当しない構成において学習モデルの教師データとなる画像に対応する。枠８２に示すように、前記画像には単一の植物株が含まれる。

一方で、本実施形態において教師データとなる画像には、複数の植物株が含まれる。一例として、画像８４内の枠８６で囲まれる画像部分が、本実施形態に係る学習モデルの教師データとなる画像に対応する。また、図７の画像８８は、検出部２１による検索結果の一例を示している。

また、情報処理システム１ａにおけるその他の部材は、以降に記載する処理を行う機能を有する。

〔２．情報処理システムの処理例〕
続いて、情報処理システム１ａが他の植物株と比較して所定の相違を有する植物株の位置を提示する処理の一例について説明する。図８は、本例における処理の流れを示すフローチャートである。

ステップＳ２０１において、移動体４２は、植物株の圃場上を移動することと並行して、移動体４２の周辺における複数の植物株を含む１又は複数枚の画像を、撮像部４４によって撮像する。

ステップＳ１０２においては、実施形態１と同様の処理が実行される。

ステップＳ２０３において、前処理部１６は、取得部１４が取得した画像に対し、例えばガウシアンフィルタを適用して画像内のノイズを除去する処理を行う。また、取得部１４は、前記処理が施された画像を取得する。

ステップＳ２０４において、抽出部１８は、取得部１４が取得した画像であって、前処理部１６による処理が施された画像における植物株を示す領域を抽出する処理を行う。また、抽出部１８は、画像における植物株を示す領域を抽出する処理に続いて又は並行して、前記領域の背景部分をマスクする処理を行う。

ステップＳ２０５において、検出部２１は、上述した学習済みモデルを用いて、抽出部１８による処理が施された画像において近傍の植物株と比較して所定の相違を有する植物株を検出する。

図９の画像９４及び画像９８は、複数の植物株を含む画像の一例である。また、画像９６と画像１００とは、それぞれ画像９４と画像９８とを学習済みモデルに入力した場合における検出結果をそれぞれ示している。画像９６や、図７の画像８８に例示するように、或る植物株に対して複数の植物株が隣接する場合、検出位置の一部が重複し得る。また、所定の相違を有する複数の植物株が互いに隣接している場合、前記複数の植物株と所定の相違を有していない植物株とを含む範囲を検出する構成であってもよい。

ステップＳ２０６において、制御部１２ａは、抽出部１８による処理が施された画像と前記画像が撮像されたときの移動体４２の位置を示す情報とを参照して、所定の相違を有する植物株の位置をそれぞれ算出する。

ステップＳ２０７において、提示部２４は、所定の相違を有する植物株の位置を示す情報として、圃場の地図と、前記植物株の位置を示すアイコンとを表示装置３８の画面上に表示させる。

ステップＳ２０８において、制御部１２ａは、検出した互いに隣接する植物株の全てについて、ステップＳ２０６及びＳ２０７の処理が完了したか否かを判定する。制御部１２ａが、前記植物株の全てについて前記処理が完了したと判定した場合、図８のフローチャートに基づく処理が終了する。制御部１２ａが、前記植物株の何れかについて前記処理が完了していないと判定した場合、対象となる植物株についてＳ２０６からの処理が実行される。

以上のように、情報処理装置１０ａによって実行される情報処理方法は、検出ステップ等を含む。検出ステップでは、複数の植物株を含む画像を入力とし、前記画像において近傍の植物株と比較して所定の相違を有する植物株を検出する学習済みモデルを用いて、対象となる画像において近傍の植物株と比較して前記相違を有する植物株を検出する。また、前記学習済みモデルは、複数の植物株を含む画像と、前記複数の植物株のうち何れかの植物株と他の植物株との相違に関する情報との組を教師データとして用いて学習される。

また、本実施形態に係る学習モデルを学習させる処理は、取得ステップと学習ステップとを含む。取得ステップでは、複数の植物株を含む画像、及び前記複数の植物株のうち何れかの植物株と他の植物株との相違に関する情報を取得する。学習ステップでは、複数の植物株を含む画像を入力とし、前記画像において近傍の植物株と比較して所定の相違を有する植物株を検出する学習モデルを、取得ステップにおいて取得した画像と前記相違に関する情報との組を教師データとして用いて学習させる。

本例の構成によれば、複数の植物株を含む画像を教師データとして用いることによって、他の植物株と比較して所定の相違を有する植物株が検出可能となる。

なお、上述したステップＳ２０３及びＳ２０４においては、実施形態１と同様に、前処理部１６がＬａｂ色空間における画像に変換した画像の画素値におけるａ値及びｂ値の双方に応じた値と所定の閾値とを比較することによって、植物株を示す領域を抽出部１８が抽出してもよい。

〔実施形態３〕
本発明の第３の実施形態について、以下に説明する。本実施形態においては、植物株を含む画像から抽出されたエッジ情報及び明度情報を用いて、植物葉を示す領域を抽出可能な情報処理システムの一例について説明する。ここで、エッジ情報とは、画像に含まれる物体の輪郭を示す情報を意味する。また、明度情報とは、画像に含まれる物体の明度を示す情報を意味する。明度情報は、画像に含まれる物体を示す画素における、明度を示す画素値に対応する。例えば明度情報は、上述したＬａｂ色空間におけるＬの値、又は、輝度信号Ｙ並びに色差信号Ｃｂ及びＣｒによって表されるＹＣｂＣｒ色空間におけるＹの値に対応する。また、図１１に後述するように、エッジ情報及び明度情報は、画像の形式で表現され得る。

〔１．情報処理システムの構成例〕
本実施形態に係る情報処理システム１ｂについて説明する。図１０は、本実施形態に係る情報処理装置１０ｂの機能ブロック図である。情報処理装置１０ｂは、図１に示す情報処理装置１０と比較して、抽出部１８が、第１抽出部２３及び第２抽出部２５を備える構成である。

第１抽出部２３は、植物株を含む画像を入力とし、前記画像に含まれる物体のエッジ情報及び明度情報を抽出する。第１抽出部２３は、エッジフィルタとして例えばラプラシアンフィルタ等の二階微分フィルタ、ソーベルフィルタ、又はキャニーフィルタを用いてエッジ情報を抽出する構成であってもよい。

第２抽出部２５は、エッジ情報及び明度情報を入力とし、植物葉を示す領域を抽出する第１学習済みモデルを用いて、前記画像における植物葉を示す領域を抽出する。

図１１の各画像は、第１抽出部２３に関する情報を示している。画像１０４は、植物株を含む画像であって、第１抽出部２３に入力される画像を示している。画像１０６と画像１０８とは、第１抽出部２３が抽出した明度情報とエッジ情報とをそれぞれ示している。画像１１０は、明度情報を示す画像１０６とエッジ情報を示す画像１０８とを単一の画像に合成した合成画像を示している。

第１学習済みモデルには、画像１１０に例示する合成画像が入力される構成であってもよい。また、前記合成画像を生成する処理は、第１抽出部２３が行う構成であってもよいし、第２抽出部２５が行う構成であってもよい。

また、本実施形態に係る取得部１４は、植物葉を含む画像に含まれる物体の輪郭を示すエッジ情報、及び前記物体の明度を示す明度情報と、前記植物葉を示す領域を示す情報との組を複数含む教師データを記憶部３０等から取得する。

また、本実施形態に係る学習部２２は、エッジ情報及び明度情報を入力とし、植物葉を示す領域を抽出する学習モデルを、取得部１４が取得したエッジ情報及び明度情報と前記植物葉を示す領域を示す情報との組を教師データとして用いて学習させる処理を行う。前記処理によって学習された学習済みモデルは、本開示における第１学習済みモデルの一例である。

また、情報処理システム１ｂにおけるその他の部材は、以降に記載する処理を行う機能を有する。

〔２．情報処理システムの処理例〕
続いて、情報処理システム１ｂが異常葉の位置を提示する処理の一例について説明する。図１２は、本例における処理の流れを示すフローチャートである。

ステップＳ１０１及びＳ１０２においては、実施形態１と同様の処理が実行される。

ステップＳ２０３及びＳ２０４においては、実施形態２と同様の処理が実行される。

ステップＳ３０４において、第１抽出部２３は、取得部１４が取得した画像であって、前処理部１６による処理が施された画像に含まれる物体のエッジ情報及び明度情報を抽出する。

ステップＳ３０５において、第２抽出部２５は、第１抽出部２３が抽出したエッジ情報及び明度情報を、第１学習済みモデルに入力して、前処理部１６による処理が施された画像における植物葉を示す領域を抽出する。

ステップＳ３０６において、抽出部１８は、圃場の画像を、単一の植物葉を示す領域を含むように植物葉毎に分割する。また、制御部１２ｂは、圃場の画像と前記画像が撮像されたときの移動体４２の位置を示す情報とを参照して、圃場における各植物葉の位置をそれぞれ算出する。

ステップＳ３０７において、分類部２０は、第２抽出部２５が抽出した植物葉を示す領域を含む画像であって、単一の植物葉を示す領域を含む画像を、植物葉を対象とする第２学習済みモデルに入力することによって、前記植物葉が健全葉か異常葉かを分類する。

ステップＳ３０８において、制御部１２ｂは、対象となる植物葉について、分類部２０による分類結果が健全葉か異常葉かに応じた分岐を行う。植物葉が健全葉である場合、続いてステップＳ３１０の処理が実行され、植物葉が異常葉である場合、続いてステップＳ３０９の処理が実行される。

ステップＳ３０９において、提示部２４は、分類部２０が異常葉と分類した植物葉の位置を示す情報として、圃場の地図と、前記植物葉の位置を示すアイコンとを表示装置３８の画面上に表示させる。

ステップＳ３１０において、制御部１２ｂは、対象となる全ての植物葉について、ステップＳ３０７～Ｓ３０９の処理が完了したか否かを判定する。制御部１２ｂが、全ての植物葉について前記処理が完了したと判定した場合、図１２のフローチャートに基づく処理が終了する。制御部１２ｂが、何れかの植物葉について前記処理が完了していないと判定した場合、対象となる植物葉について、Ｓ３０７からの処理が実行される。

以上のように、情報処理装置１０ｂによって実行される情報処理方法は、第１抽出ステップ及び第２抽出ステップ等を含む。第１抽出ステップでは、植物株を含む画像を入力とし、前記画像に含まれる物体の輪郭を示すエッジ情報、及び前記物体の明度を示す明度情報を抽出する。また、第２抽出ステップでは、エッジ情報及び明度情報を入力とし、植物葉を示す領域を抽出する学習済みモデルを用いて、前記画像における植物葉を示す領域を抽出する。

本例の構成によれば、抽出したエッジ情報及び明度情報を用いて植物株や葉を示す領域を抽出することによって、画像を撮像したときの光環境によらず、画像内における植物株や葉を抽出する精度を向上させることができる。

なお、抽出部１８ｂが第１抽出部２３を備えず、情報処理システム１ｂとは異なる外部の装置で抽出されたエッジ情報及び明度情報を、第２抽出部２５が取得して第１学習済みモデルに入力し、植物葉を示す領域を抽出する構成についても本開示に含まれる。

〔実施形態１～３の変形例〕
実施形態１～３において上述した構成は、植物株や葉を対象とすることに限定されない。実施形態１及び３においては、例えば路上のゴミ、動物又は交通標識を対象としてもよい。また、例えばカメラ、及びＧＰＳ機能を有する端末装置を持ち運ぶ人物が移動体４２として行動し、遠隔地の表示装置３８において前記ゴミ等の位置をリアルタイムに地図上に表示する構成であってもよい。また、実施形態２においては、例えば工業製品及びその他の生産物を対象とする検出を行ってもよい。

〔ソフトウェアによる実現例〕
情報処理装置（１０、１０ａ、１０ｂ）（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部（１２、１２ａ、１２ｂ）に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１、１ａ、１ｂ 情報処理システム
１０、１０ａ、１０ｂ 情報処理装置
１２、１２ａ、１２ｂ 制御部
１４ 取得部
１６ 前処理部
１８ 抽出部
２０ 分類部
２１ 検出部
２２ 学習部
２３ 第１抽出部
２４ 提示部
２５ 第２抽出部
３０ 記憶部
３４、４６ 通信部
３８ 表示装置
４２ 移動体
４４ 撮像部

Claims (8)

1. Ｌａｂ色空間における画像であって植物株を含む画像を取得する取得部と、
   前記取得部が取得した画像の画素値におけるａ値及びｂ値の双方に応じた値と所定の閾値とを比較することによって、前記画像における植物株を示す領域を抽出する抽出部と
   を備え、
   前記Ｌａｂ色空間のａ―ｂ平面において、前記閾値を示す直線又は曲線の少なくとも何れかは、ｂ切片の値が０とは異なる
   ことを特徴とする情報処理装置。
2. 前記抽出部が抽出した植物株を示す領域を含む画像を入力とし、前記植物株における異常の有無に関する判定結果を出力する学習済みモデルを用いて、前記植物株が健全株か異常株かを分類する分類部を更に備える
   ことを特徴とする請求項１に記載の情報処理装置。
3. 植物株を含む画像を入力とし、前記植物株における異常の有無に関する判定結果を出力する学習モデルを、植物株を含む画像と、前記植物株における異常の有無に関する情報との組を教師データとして用いて学習させる学習部を更に備える
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記抽出部は、
   前記画像における植物株を示す領域を抽出する処理に続いて、前記領域の背景部分をマスクする処理を行う
   ことを特徴とする請求項１から３までの何れか１項に記載の情報処理装置。
5. 撮像部を備える移動体と、
   前記撮像部が撮像した画像を前記取得部が取得する請求項２に記載の情報処理装置と、
   前記分類部が異常株と分類した植物株の位置を示す情報を提示する提示部と、
   を備えることを特徴とする情報処理システム。
6. 情報処理装置によって実行される情報処理方法であって、
   Ｌａｂ色空間における画像であって植物株を含む画像を取得する取得ステップと、
   前記取得ステップにおいて取得した画像の画素値におけるａ値及びｂ値の双方に応じた値と所定の閾値とを比較することによって、前記画像における植物株を示す領域を抽出する抽出ステップと
   を含み、
   前記Ｌａｂ色空間のａ―ｂ平面において、前記閾値を示す直線又は曲線の少なくとも何れかは、ｂ切片の値が０とは異なる
   ことを特徴とする情報処理方法。
7. 請求項１に記載の情報処理装置としてコンピュータを機能させるための制御プログラムであって、前記取得部および前記抽出部としてコンピュータを機能させるための制御プログラム。
8. 請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images