JP6798337B2 - Plant discrimination device, plant discrimination method and computer program for plant discrimination - Google Patents
Plant discrimination device, plant discrimination method and computer program for plant discrimination Download PDFInfo
- Publication number
- JP6798337B2 JP6798337B2 JP2017022101A JP2017022101A JP6798337B2 JP 6798337 B2 JP6798337 B2 JP 6798337B2 JP 2017022101 A JP2017022101 A JP 2017022101A JP 2017022101 A JP2017022101 A JP 2017022101A JP 6798337 B2 JP6798337 B2 JP 6798337B2
- Authority
- JP
- Japan
- Prior art keywords
- plant
- wavelength range
- pixel
- region
- median
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Spectrometry And Color Measurement (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、例えば、植物からの反射光に応じた分光スペクトルデータを解析することにより、植物種を判別する植物判別装置、植物判別方法及び植物判別用コンピュータプログラムに関する。 The present invention relates to, for example, a plant discriminating device for discriminating a plant species, a plant discriminating method, and a computer program for discriminating plants by analyzing spectroscopic spectrum data according to reflected light from a plant.
従来より、人工衛星または飛行機に搭載されたセンサによって得られた、地表面の測定信号に含まれる植物からの反射光に応じたスペクトルデータから植物種を判別するといった、リモートセンシングが行われている。 Conventionally, remote sensing has been performed, such as determining a plant species from spectral data according to reflected light from a plant contained in a measurement signal on the ground surface, which is obtained by a sensor mounted on an artificial satellite or an airplane. ..
センサの一例として、従来のマルチスペクトルの１０倍以上のバンド計測が可能なハイパースペクトルセンサが知られている。このハイパースペクトルセンサは、植物からの反射光に応じたハイパースペクトルデータを生成する。このハイパースペクトルデータは、分光スペクトルデータの一種であり、画像で表され、画像上の各画素について、可視光域から赤外域の分光スペクトル、すなわち、可視光域から赤外域に含まれる波長ごとの光強度の情報を含むデータである。また分光スペクトルデータは、植物種ごとに固有の特徴を有する。そこで、分光スペクトルデータから、植物種判別対象の植物が含まれる領域を判別する技術が開示されている（例えば、特許文献１〜３を参照）。 As an example of the sensor, a hyperspectral sensor capable of band measurement of 10 times or more of the conventional multispectral sensor is known. This hyperspectral sensor generates hyperspectral data according to the reflected light from the plant. This hyperspectral data is a kind of spectroscopic spectrum data and is represented by an image. For each pixel on the image, the spectral spectrum in the visible light region to the infrared region, that is, for each wavelength included in the visible light region to the infrared region. This is data including information on light intensity. In addition, the spectroscopic spectrum data has unique characteristics for each plant species. Therefore, a technique for discriminating a region containing a plant to be discriminated from a plant species from spectroscopic spectrum data is disclosed (see, for example, Patent Documents 1 to 3).
しかしながら、ハイパースペクトルセンサは、人工衛星または飛行機だけでなく、ドローンのような小回りが利く機材に搭載されることがある。このような場合、ハイパースペクトルセンサで生成されたハイパースペクトルデータの画像には、森林及び農耕地だけでなく、市街地中の公園にある池、あるいは農地に隣接する農業用のため池などの水場が写っていることがある。このような水場には、種別判別対象とする植物の反射スペクトルと類似した反射スペクトルを示す水生植物、例えば、藻などが自生していることがある。そのため、ハイパースペクトルデータの画像において、水場に自生している水生植物が、種別判別対象とする植物と誤認識されるおそれがある。 However, hyperspectral sensors can be mounted not only on artificial satellites or airplanes, but also on flexible equipment such as drones. In such a case, the image of the hyperspectral data generated by the hyperspectral sensor includes not only forests and cultivated land, but also water fields such as ponds in parks in urban areas or agricultural ponds adjacent to farmland. It may be reflected. In such a water field, aquatic plants showing a reflection spectrum similar to the reflection spectrum of the plant to be classified, for example, algae, may grow naturally. Therefore, in the hyperspectral data image, aquatic plants that grow naturally in the water field may be erroneously recognized as plants to be classified.
一つの側面では、本発明は、植物種の判別精度を高めることができる植物判別装置、植物判別方法及び植物判別プログラムを提供することを目的とする。 In one aspect, it is an object of the present invention to provide a plant discriminating device, a plant discriminating method, and a plant discriminating program capable of improving the discriminating accuracy of a plant species.
一つの実施形態によれは、植物判別装置が提供される。この植物判別装置は、画素ごとに可視光域の分光スペクトルと、近赤外域の分光スペクトルとを含むスペクトル画像の所定領域内の画素ごとに、水生植物による反射光に含まれる可視光域内の第１の波長範囲における光強度の最小値及び中央値と、水生植物による反射光に含まれる近赤外域の第２の波長範囲における光強度の中央値とを算出する基準値算出部と、スペクトル画像の所定領域内の画素ごとに、第１の波長範囲における最小値及び中央値と、第２の波長範囲における中央値とに応じて、その画素を植物種の判別対象から除外するか否か判定する削除部とを有する。 According to one embodiment, a plant discriminator is provided. This plant discriminator has a visible light region spectrum included in each pixel and a spectrum image including a near infrared region spectral spectrum. Each pixel in a predetermined region of the spectrum image is the first in the visible light region included in the reflected light by an aquatic plant. A reference value calculation unit for calculating the minimum and median values of light intensity in the wavelength range of 1 and the median value of light intensity in the second wavelength range of the near infrared region included in the reflected light by aquatic plants, and a spectrum image. Whether or not to exclude the pixel from the discrimination target of the plant species according to the minimum value and the median value in the first wavelength range and the median value in the second wavelength range for each pixel in the predetermined region of It has a deletion unit and a deletion unit.
一つの側面では、植物種の判別精度を向上できる。 In one aspect, the accuracy of discriminating plant species can be improved.
以下、図面を参照しつつ、一つの実施形態による、植物判別装置について説明する。 Hereinafter, the plant discrimination apparatus according to one embodiment will be described with reference to the drawings.
この植物判別装置は、ハイパースペクトルセンサにより生成されたハイパースペクトルデータの画像から植物種を正確に判別できるよう、その画像から水生植物が表された領域を除く。その上で、この植物判別装置は、その画像の残りの領域に表された植物の種別を判別する。 This plant discriminator excludes the region where aquatic plants are represented from the image of the hyperspectral data generated by the hyperspectral sensor so that the plant species can be accurately discriminated. The plant discriminator then discriminates the type of plant represented in the remaining region of the image.
最初に、樹木の反射スペクトルと、森林または農地に隣接する水場などに自生する水生植物、代表的には藻の反射スペクトルについて説明する。
図１（ａ）は、樹木の反射スペクトルの一例を示し、図１（ｂ）は、藻の反射スペクトルの一例を示す。図１（ａ）及び図１（ｂ）において、横軸は波長(nm)を表し、縦軸は反射率を表す。図１（ａ）に示されるスペクトル１０１は、樹木の反射スペクトルであり、図１（ｂ）に示されるスペクトル１０２は、藻の反射スペクトルである。スペクトル１０１とスペクトル１０２を比較して分かる通り、樹木の反射スペクトルの形状と藻の反射スペクトルの形状とは、互いに非常に類似している。しかしながら、発明者は、可視光域、特に、緑色に相当する波長における反射率の中央値と最小値の差に対する、近赤外域における反射率の比に関して、樹木の反射スペクトルと水生植物の反射スペクトルの間に差があることを見出した。具体的には、発明者は、樹木の反射スペクトルについてのその比の方が、水生植物の反射スペクトルについてのその比よりも僅かに高くなるとの知見を得た。
First, the reflection spectrum of trees and the reflection spectrum of aquatic plants, typically algae, that grow naturally in water fields adjacent to forests or farmlands will be described.
FIG. 1 (a) shows an example of the reflection spectrum of a tree, and FIG. 1 (b) shows an example of the reflection spectrum of algae. In FIGS. 1 (a) and 1 (b), the horizontal axis represents the wavelength (nm) and the vertical axis represents the reflectance. The spectrum 101 shown in FIG. 1A is a reflection spectrum of a tree, and the spectrum 102 shown in FIG. 1B is a reflection spectrum of algae. As can be seen by comparing the spectra 101 and 102, the shape of the reflection spectrum of the tree and the shape of the reflection spectrum of the algae are very similar to each other. However, the inventor describes the reflectance spectra of trees and aquatic plants with respect to the ratio of reflectance in the near infrared region to the difference between the median and minimum reflectances in the visible light region, especially in the wavelength corresponding to green. I found that there was a difference between. Specifically, the inventor has found that the ratio for the reflection spectrum of trees is slightly higher than that for the reflection spectrum of aquatic plants.
そこで、本実施形態による植物判別装置は、ハイパースペクトルデータの画像上の所定領域内の画素ごとに、可視光域内の所定の波長範囲における光強度の中央値と最小値の差に対する、近赤外域内の所定の波長範囲における光強度の中央値との比とを調べる。そして植物判別装置は、その比が所定値以下となる画素のスペクトルデータをその画像から削除し、残りの画像のスペクトルデータに基づいて植物種を判別する。これにより、この植物判別装置は、水生植物による誤認識を軽減して、植物種の判別精度を向上する。なお、以下では、ハイパースペクトルセンサにより生成されたハイパースペクトルデータの画像を単にハイパースペクトル画像と呼ぶ。また、以下の実施形態では、所定領域は、ハイパースペクトル画像全体とする。しかし、所定領域は、ハイパースペクトル画像の一部の領域であってもよい。この場合、所定領域は、例えば、ユーザによる操作にて設定されてもよく、あるいは、ハイパースペクトル画像に表された領域の緯度及び経度に基づいて特定された市街地などを除いた領域であってもよい。 Therefore, the plant discrimination apparatus according to the present embodiment is near-infrared with respect to the difference between the median value and the minimum value of the light intensity in the predetermined wavelength range in the visible light region for each pixel in the predetermined region on the image of the hyperspectral data. Examine the ratio of light intensity to the median value in a given wavelength range within the region. Then, the plant discrimination apparatus deletes the spectrum data of the pixels whose ratio is equal to or less than a predetermined value from the image, and discriminates the plant species based on the spectrum data of the remaining images. As a result, this plant discriminating device reduces misrecognition by aquatic plants and improves the discriminating accuracy of plant species. In the following, the image of the hyperspectral data generated by the hyperspectral sensor is simply referred to as a hyperspectral image. Further, in the following embodiment, the predetermined region is the entire hyperspectral image. However, the predetermined region may be a part of the hyperspectral image. In this case, the predetermined region may be set by a user operation, for example, or may be a region excluding an urban area specified based on the latitude and longitude of the region represented in the hyperspectral image. Good.
図２は、一つの実施形態による植物判別装置の概略構成図である。図２に示されるように、植物判別装置１は、ユーザインターフェース部２と、通信インターフェース部３と、記憶媒体アクセス装置４と、記憶部５と、処理部６とを有する。処理部６は、ユーザインターフェース部２、通信インターフェース部３、記憶媒体アクセス装置４及び記憶部５と、例えば、バスを介して接続される。 FIG. 2 is a schematic configuration diagram of a plant discrimination device according to one embodiment. As shown in FIG. 2, the plant discrimination device 1 includes a user interface unit 2, a communication interface unit 3, a storage medium access device 4, a storage unit 5, and a processing unit 6. The processing unit 6 is connected to the user interface unit 2, the communication interface unit 3, the storage medium access device 4, and the storage unit 5 via, for example, a bus.
ユーザインターフェース部２は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部２は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部２は、例えば、ユーザの操作に応じて、植物判別装置に植物判別処理を開始させる操作信号を処理部６へ出力する。またユーザインターフェース部２は、処理部６から受け取った、ハイパースペクトル画像、あるいは、植物種判別結果などを表示してもよい。 The user interface unit 2 includes, for example, an input device such as a keyboard and a mouse, and a display device such as a liquid crystal display. Alternatively, the user interface unit 2 may have a device such as a touch panel display in which an input device and a display device are integrated. Then, the user interface unit 2 outputs, for example, an operation signal for causing the plant discrimination device to start the plant discrimination process to the processing unit 6 in response to the user's operation. Further, the user interface unit 2 may display a hyperspectral image received from the processing unit 6, a plant species discrimination result, or the like.
通信インターフェース部３は、例えば、イーサネット（登録商標）などの通信規格に従って通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。例えば、通信インターフェース部３は、通信ネットワークに接続された他の装置からハイパースペクトル画像を取得し、そのハイパースペクトル画像を処理部６にわたす。また通信インターフェース部３は、植物種判別結果を含む信号を処理部６から受け取って、通信ネットワークを介して他の装置へその信号を出力してもよい。 The communication interface unit 3 has, for example, a communication interface for connecting to a communication network according to a communication standard such as Ethernet (registered trademark) and a control circuit thereof. For example, the communication interface unit 3 acquires a hyperspectral image from another device connected to the communication network, and passes the hyperspectral image to the processing unit 6. Further, the communication interface unit 3 may receive a signal including the plant species discrimination result from the processing unit 6 and output the signal to another device via the communication network.
ハイパースペクトル画像は、例えば、人工衛星、航空機あるいはドローンなどに搭載されたハイパースペクトルセンサ（図示せず）によって生成される。このハイパースペクトルセンサは、ハイパースペクトル画像上の各画素がそのセンサが感度を有する波長範囲内の波長ごと（例えば、20nmごと）の光強度を含むハイパースペクトル画像を生成する。例えば、ハイパースペクトルセンサが感度を有する波長範囲は、400nm〜1400nmとなる。したがって、ハイパースペクトル画像は、可視光域から近赤外域までの波長ごとの光強度の情報を含む。 The hyperspectral image is generated by, for example, a hyperspectral sensor (not shown) mounted on an artificial satellite, an aircraft, a drone, or the like. The hyperspectral sensor produces a hyperspectral image in which each pixel on the hyperspectral image contains light intensity for each wavelength (eg, every 20 nm) within the wavelength range to which the sensor is sensitive. For example, the wavelength range in which the hyperspectral sensor has sensitivity is 400 nm to 1400 nm. Therefore, the hyperspectral image contains information on the light intensity for each wavelength from the visible light region to the near infrared region.
図３は、ハイパースペクトル画像のデータ構造の一例を示す図である。Ｘ軸の値は、ハイパースペクトルセンサによって生成された画像上のＸＹ座標のうちのＸ座標の値を示し、Ｙ軸の値は、ハイパースペクトルセンサによって生成された画像上のＸＹ座標のうちのＹ座標の値を示す。λ軸の値は、波長を示す。ハイパースペクトル画像３００は、波長ごとの画像３０１の集合である。波長ごとの画像３０１の数は、例えば、ハイパースペクトル画像を生成するハイパースペクトルセンサの感度範囲及びスペクトル解像度に応じて決まる。波長ごとの画像３０１上の各画素について、その画素に波長と光強度とがそれぞれ対応付けられる。したがって、画像３０１上の各画素３０２の波長ごとの光強度をプロットすることにより、グラフ３０３に示されるように、画素３０２に表される被写体の分光反射率を表すスペクトルデータが得られる。 FIG. 3 is a diagram showing an example of the data structure of the hyperspectral image. The X-axis value indicates the X-coordinate value of the XY coordinates on the image generated by the hyperspectral sensor, and the Y-axis value indicates the Y of the XY coordinates on the image generated by the hyperspectral sensor. Indicates the coordinate value. The value on the λ axis indicates the wavelength. The hyperspectral image 300 is a set of images 301 for each wavelength. The number of images 301 for each wavelength is determined, for example, according to the sensitivity range and spectral resolution of the hyperspectral sensor that produces the hyperspectral image. For each pixel on the image 301 for each wavelength, the wavelength and the light intensity are associated with each pixel. Therefore, by plotting the light intensity of each pixel 302 on the image 301 for each wavelength, spectral data representing the spectral reflectance of the subject represented by the pixel 302 can be obtained as shown in the graph 303.
図４は、ハイパースペクトル画像４００の一例を示す図である。ハイパースペクトル画像４００は、画素ごとに、その画素に表される被写体の分光反射率に応じたスペクトルデータを持つ。したがって、画像４００に表された領域全体が同じ光源、例えば、太陽により照明されていれば、ハイパースペクトル画像４００では、互いに異なる分光反射率を持つ被写体が写っている画素ごとに、互いに異なるスペクトルデータの形状を持つ。 FIG. 4 is a diagram showing an example of the hyperspectral image 400. The hyperspectral image 400 has spectral data for each pixel according to the spectral reflectance of the subject represented by the pixel. Therefore, if the entire region represented in the image 400 is illuminated by the same light source, for example, the sun, the hyperspectral image 400 has different spectral data for each pixel in which subjects having different spectral reflectances are captured. Has the shape of.
記憶媒体アクセス装置４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体７にアクセスする装置である。記憶媒体アクセス装置４は、例えば、記憶媒体７に記憶された、処理部６上で実行される、植物判別処理用のコンピュータプログラムを読み込み、処理部６へわたす。また記憶媒体アクセス装置４は、ハイパースペクトル画像が記録された記憶媒体７からハイパースペクトル画像を読み込んで、処理部６へわたしてもよい。あるいはまた、記憶媒体アクセス装置４は、処理部６から受け取った、植物種判別結果を記憶媒体７に書き込んでもよい。 The storage medium access device 4 is a device that accesses a storage medium 7 such as a magnetic disk, a semiconductor memory card, and an optical storage medium. The storage medium access device 4 reads, for example, a computer program for plant discrimination processing stored on the storage medium 7 and executed on the processing unit 6 and passes it to the processing unit 6. Further, the storage medium access device 4 may read the hyperspectral image from the storage medium 7 on which the hyperspectral image is recorded and send it to the processing unit 6. Alternatively, the storage medium access device 4 may write the plant species discrimination result received from the processing unit 6 to the storage medium 7.
記憶部５は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部５は、処理部６上で実行される植物判別処理を実行するためのコンピュータプログラム及び植物判別処理で利用される各種のデータを一時的に記憶する。また記憶部５は、通信インターフェース部３または記憶媒体アクセス装置４から取得したハイパースペクトル画像、及び、ハイパースペクトル画像に対して植物判別処理を行って得られた植物種判別結果を記憶する。さらに記憶部５は、植物判別処理の途中で生成される各種のデータを一時的に記憶してもよい。 The storage unit 5 has, for example, a read / write semiconductor memory and a read-only semiconductor memory. Then, the storage unit 5 temporarily stores a computer program for executing the plant discrimination process executed on the processing unit 6 and various data used in the plant discrimination process. Further, the storage unit 5 stores the hyperspectral image acquired from the communication interface unit 3 or the storage medium access device 4 and the plant species discrimination result obtained by performing the plant discrimination process on the hyperspectral image. Further, the storage unit 5 may temporarily store various data generated during the plant discrimination process.
処理部６は、１個または複数個のプロセッサ及びその周辺回路を有する。そして処理部６は、植物判別装置１全体を制御する。また処理部６は、受け取ったハイパースペクトル画像に対して植物判別処理を実行する。 The processing unit 6 has one or more processors and peripheral circuits thereof. Then, the processing unit 6 controls the entire plant discrimination device 1. Further, the processing unit 6 executes a plant discrimination process on the received hyperspectral image.
以下、処理部６により実行される植物判別処理の詳細について説明する。 Hereinafter, the details of the plant discrimination process executed by the processing unit 6 will be described.
図５は、植物判別処理に関する処理部６の機能ブロック図である。図５に示されるように、処理部６は、基準値算出部１１と、削除部１２と、照合部１３とを有する。 FIG. 5 is a functional block diagram of the processing unit 6 related to the plant discrimination process. As shown in FIG. 5, the processing unit 6 includes a reference value calculation unit 11, a deletion unit 12, and a collation unit 13.
処理部６が有するこれらの各部は、例えば、処理部が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、処理部６が有するこれらの各部は、ファームウェアとして植物判別装置１に実装されてもよい。 Each of these units included in the processing unit 6 is, for example, a functional module realized by a computer program executed on the processor included in the processing unit. Alternatively, each of these parts included in the processing unit 6 may be mounted on the plant discrimination device 1 as firmware.
基準値算出部１１は、ハイパースペクトル画像から除去するスペクトルデータを持つ画素を特定するための基準値を算出する。 The reference value calculation unit 11 calculates a reference value for identifying a pixel having spectral data to be removed from the hyperspectral image.
上記のように、ハイパースペクトル画像には、本実施形態における植物種判別対象の植物、例えば、落葉広葉樹、が自生している森林などの領域だけでなく、水場が写っている領域が含まれる場合がある。本実施形態では、水場に自生する藻などの水生植物を判別対象の植物と誤認識することが無いように、処理部６は、水生植物が写っていると推定される画素のスペクトルデータをハイパースペクトル画像から除去する。図１（ａ）及び図１（ｂ）に関して説明したように、樹木の反射スペクトルと、藻の反射スペクトルとを比較すると、可視光域の所定の波長範囲における反射率の中央値と最小値の差に対する、近赤外域内の所定の波長範囲における反射率の中央値の比に違いがある。そこで、基準値算出部１１は、ハイパースペクトル画像の各画素について、可視光域内の所定の波長範囲における、光強度の中央値及び最小値と、近赤外域内の所定の波長範囲における光強度の中央値を、それぞれ、基準値として算出する。 As described above, the hyperspectral image includes not only the area such as the forest where the plant to be discriminated in the plant species in the present embodiment, for example, the deciduous broad-leaved tree grows naturally, but also the area where the water field is reflected. In some cases. In the present embodiment, the processing unit 6 uses the spectrum data of the pixels estimated to show the aquatic plants so that the aquatic plants such as algae that grow naturally in the water field are not mistakenly recognized as the plants to be discriminated. Remove from hyperspectral images. As described with respect to FIGS. 1 (a) and 1 (b), when the reflection spectrum of the tree and the reflection spectrum of the algae are compared, the median and minimum reflectances in a predetermined wavelength range in the visible light region are compared. There is a difference in the ratio of the median reflectance in a predetermined wavelength range in the near infrared region to the difference. Therefore, the reference value calculation unit 11 determines the median and minimum values of the light intensity in the predetermined wavelength range in the visible light region and the light intensity in the predetermined wavelength range in the near infrared region for each pixel of the hyperspectral image. The median values are calculated as reference values.
可視光域内の所定の波長範囲（第１の波長範囲）は、水生植物による反射光に含まれる波長範囲であることが好ましく、さらに、植物種判別対象となる植物による反射光に含まれる波長範囲であることがより好ましい。例えば、可視光域内の所定の波長範囲は、水生植物による反射光に含まれる、緑色に相当する波長域を含むように、例えば、450nm〜495nmとすることができる。ただし、可視光域内の所定の波長範囲は、この例に限られず、例えば、440nm〜495nm、あるいは、450nm〜505nmとしてもよい。また、近赤外域内の所定の波長範囲（第２の波長範囲）も、水生植物による反射光に含まれる波長範囲であることが好ましく、さらに、植物種判別対象となる植物による反射光に含まれる波長範囲であることがより好ましい。例えば、近赤外域内の所定の波長範囲は、近赤外域のうち、樹木及び水生植物の何れもが比較的高い反射率を持つ波長域を含むように設定されることが好ましい。そこで近赤外域内の所定の波長範囲は、例えば、780nm〜880nmとすることができる。ただし、近赤外域内の所定の波長範囲は、この例に限られず、例えば、770nm〜880nm、あるいは、780nm〜890nmとしてもよい。再度図３を参照すると、グラフ３０３の波長域３０４が、上記の可視光域内の所定の波長範囲の一例(450nm〜495nm)に相当し、波長域３０５が、上記の近赤外域の所定の波長範囲の一例(780nm〜880nm)に相当する。 The predetermined wavelength range (first wavelength range) in the visible light range is preferably the wavelength range included in the reflected light by the aquatic plant, and further, the wavelength range included in the reflected light by the plant to be discriminated against the plant species. Is more preferable. For example, the predetermined wavelength range within the visible light region can be, for example, 450 nm to 495 nm so as to include the wavelength region corresponding to green contained in the reflected light by the aquatic plants. However, the predetermined wavelength range in the visible light region is not limited to this example, and may be, for example, 440 nm to 495 nm or 450 nm to 505 nm. Further, a predetermined wavelength range (second wavelength range) in the near infrared region is also preferably a wavelength range included in the reflected light by the aquatic plant, and further included in the reflected light by the plant to be discriminated against the plant species. It is more preferable that the wavelength range is as high as possible. For example, the predetermined wavelength range in the near-infrared region is preferably set so as to include a wavelength region in which both trees and aquatic plants have relatively high reflectance in the near-infrared region. Therefore, the predetermined wavelength range in the near infrared region can be, for example, 780 nm to 880 nm. However, the predetermined wavelength range in the near infrared region is not limited to this example, and may be, for example, 770 nm to 880 nm or 780 nm to 890 nm. Referring to FIG. 3 again, the wavelength region 304 of the graph 303 corresponds to an example (450 nm to 495 nm) of the predetermined wavelength range in the visible light region, and the wavelength region 305 is the predetermined wavelength of the near infrared region. It corresponds to an example of the range (780 nm to 880 nm).
基準値算出部１１は、ハイパースペクトル画像上の画素ごとに、以下の処理を行って基準値を求める。基準値算出部１１は、ハイパースペクトル画像の全ての画素について同じ処理を行えばよいので、以下では、一つの画素に対する処理について説明する。 The reference value calculation unit 11 performs the following processing for each pixel on the hyperspectral image to obtain a reference value. Since the reference value calculation unit 11 may perform the same processing for all the pixels of the hyperspectral image, the processing for one pixel will be described below.
基準値算出部１１は、着目する画素のスペクトルデータから、可視光域の所定の波長範囲の波長ごとの光強度を抽出し、抽出した波長ごとの光強度を昇順に並べ替える。そして基準値算出部１１は、光強度の順序がその所定の波長範囲について中央となる光強度を、可視光域内の所定の波長範囲における、光強度の中央値とする。なお、可視光域の所定の波長範囲に含まれる光強度が求められた波長の数が偶数の場合、基準値算出部１１は、光強度の順序が中央となる二つの波長の光強度の平均値を、可視光域内の所定の波長範囲における、光強度の中央値としてもよい。また、基準値算出部１１は、抽出した波長ごとの光強度のうちの最小値を、可視光域内の所定の波長範囲における、光強度の最小値とする。 The reference value calculation unit 11 extracts the light intensity for each wavelength in a predetermined wavelength range of the visible light region from the spectrum data of the pixel of interest, and sorts the light intensity for each extracted wavelength in ascending order. Then, the reference value calculation unit 11 sets the light intensity whose order of light intensity is centered with respect to the predetermined wavelength range as the central value of the light intensity in the predetermined wavelength range within the visible light region. When the number of wavelengths for which the light intensity is obtained within a predetermined wavelength range of the visible light region is an even number, the reference value calculation unit 11 is the average of the light intensities of the two wavelengths in which the order of the light intensity is in the center. The value may be the median value of light intensity in a predetermined wavelength range within the visible light region. Further, the reference value calculation unit 11 sets the minimum value of the extracted light intensity for each wavelength as the minimum value of the light intensity in a predetermined wavelength range within the visible light region.
同様に、基準値算出部１１は、着目する画素のスペクトルデータから、近赤外域の所定の波長範囲の波長ごとの光強度を抽出し、抽出した波長ごとの光強度を昇順または降順に並べ替える。そして基準値算出部１１は、光強度の順序がその所定の波長範囲について中央となる光強度を、近赤外域内の所定の波長範囲における、光強度の中央値とする。なお、近赤外域の所定の波長範囲に含まれる光強度が求められた波長の数が偶数の場合、基準値算出部１１は、光強度の順序が中央となる二つの波長の光強度の平均値を、近赤外域内の所定の波長範囲における、光強度の中央値としてもよい。 Similarly, the reference value calculation unit 11 extracts the light intensity for each wavelength in a predetermined wavelength range in the near infrared region from the spectrum data of the pixel of interest, and sorts the light intensity for each extracted wavelength in ascending or descending order. .. Then, the reference value calculation unit 11 sets the light intensity whose order of light intensity is centered with respect to the predetermined wavelength range as the median value of the light intensity in the predetermined wavelength range in the near infrared region. When the number of wavelengths for which the light intensity is obtained within a predetermined wavelength range in the near infrared region is an even number, the reference value calculation unit 11 is the average of the light intensities of the two wavelengths in which the order of the light intensity is in the center. The value may be the median value of light intensity in a predetermined wavelength range in the near infrared region.
基準値算出部１１は、ハイパースペクトル画像の各画素について算出された基準値、すなわち、可視光域内の所定の波長範囲における光強度の中央値及び最小値と、近赤外域内の所定の波長範囲における光強度の中央値とを、削除部１２へわたす。 The reference value calculation unit 11 has a reference value calculated for each pixel of the hyperspectral image, that is, a median and minimum values of light intensity in a predetermined wavelength range in the visible light region, and a predetermined wavelength range in the near infrared region. The median value of the light intensity in is passed to the deletion unit 12.
削除部１２は、ハイパースペクトル画像の各画素の基準値に基づいて、ハイパースペクトル画像の各画素について、植物種の判別対象から除外するか否かを判定する。本実施形態では、削除部１２は、ハイパースペクトル画像上で水生植物が写っていると想定される領域を植物種の判別対象から除外すると判定し、その領域内の各画素のスペクトルデータを削除する。 The deletion unit 12 determines whether or not to exclude each pixel of the hyperspectral image from the discrimination target of the plant species based on the reference value of each pixel of the hyperspectral image. In the present embodiment, the deletion unit 12 determines that the region where aquatic plants are assumed to appear on the hyperspectral image is excluded from the plant species discrimination target, and deletes the spectrum data of each pixel in the region. ..
そこで、削除部１２は、可視光域内の所定の波長範囲における光強度の中央値と最小値との差に対する、近赤外域内の所定の波長範囲における光強度の中央値の比が所定値以下となる画素には水生植物が写っていると判定する。そして削除部１２は、その画素のスペクトルデータを削除する。例えば、削除部１２は、次式で表される条件を満たす画素のスペクトルデータを削除する。
図６は、ハイパースペクトル画像の各画素のスペクトルデータにおける、可視光域内の所定の波長範囲における光強度の中央値及び近赤外域内の所定の波長範囲における光強度の中央値の分布と、削除されるスペクトルデータとの関係の一例を示す図である。図６において、横軸は、可視光域内の所定の波長範囲(450nm〜495nm)における光強度の中央値を表し、縦軸は、近赤外域の所定の波長範囲(780nm〜880nm)における光強度の中央値を表す。プロットされた各点６０１は、それぞれ図４に示すハイパースペクトル画像４００上の一つの画素についての、可視光域内の所定の波長範囲における光強度の中央値と近赤外域における光強度の中央値を表す。 FIG. 6 shows the distribution and deletion of the median light intensity in a predetermined wavelength range in the visible light region and the median light intensity in a predetermined wavelength range in the near infrared region in the spectrum data of each pixel of the hyperspectral image. It is a figure which shows an example of the relationship with the spectrum data. In FIG. 6, the horizontal axis represents the median light intensity in a predetermined wavelength range (450 nm to 495 nm) in the visible light region, and the vertical axis represents the light intensity in a predetermined wavelength range (780 nm to 880 nm) in the near infrared region. Represents the median value of. Each plotted point 601 represents the median light intensity in a predetermined wavelength range in the visible light region and the median light intensity in the near infrared region for one pixel on the hyperspectral image 400 shown in FIG. Represent.
図６において、直線６１０は、係数a=7.7とした場合の、y=(ax-az)となる直線である。したがって、直線６１０よりも右下側に位置する、可視光域内の所定の波長範囲における光強度の中央値と近赤外域における光強度の中央値とを持つ画素のスペクトルデータが、ハイパースペクトル画像から削除される。一方、直線６１０よりも左上に位置する、可視光域内の所定の波長範囲における光強度の中央値と近赤外域における光強度の中央値とを持つ画素のスペクトルデータは削除されず、植物種判別の対象となる。 In FIG. 6, the straight line 610 is a straight line where y = (ax-az) when the coefficient a = 7.7. Therefore, the spectrum data of the pixel located on the lower right side of the straight line 610 and having the median value of the light intensity in the predetermined wavelength range in the visible light region and the median value of the light intensity in the near infrared region is obtained from the hyperspectral image. Will be deleted. On the other hand, the spectrum data of the pixel having the median light intensity in the predetermined wavelength range in the visible light region and the median light intensity in the near infrared region located on the upper left of the straight line 610 is not deleted, and the plant species is discriminated. Is the target of.
削除部１２は、ハイパースペクトル画像から、（１）式を満たす各画素のスペクトルデータを削除することで、補正ハイパースペクトル画像を生成する。 The deletion unit 12 generates a corrected hyperspectral image by deleting the spectrum data of each pixel satisfying the equation (1) from the hyperspectral image.
図７は、図４に示されたハイパースペクトル画像から、a=7.7として、（１）式を満たす各画素のスペクトルデータが削除された、補正ハイパースペクトル画像の一例を示す図である。図７に示す補正ハイパースペクトル画像７００では、領域７０１には水生植物が写っていると判定され、領域７０１内の各画素のスペクトルデータが削除されている。 FIG. 7 is a diagram showing an example of a corrected hyperspectral image in which the spectrum data of each pixel satisfying the equation (1) is deleted by setting a = 7.7 from the hyperspectral image shown in FIG. In the corrected hyperspectral image 700 shown in FIG. 7, it is determined that an aquatic plant is reflected in the region 701, and the spectrum data of each pixel in the region 701 is deleted.
発明者は削除された領域のうち、丸で表された２０箇所の領域７０２を実際に踏査した結果、それら全てが削除対象となる水生植物が生息する領域であることを確認した。このように、（１）式においてa=7.7とすることで、種別の判別対象となる植物が写っている領域のスペクトルデータを維持しつつ、水生植物が写っている領域のスペクトルデータを削除できることが分かった。また、係数aが、7.6〜7.8内の何れかの値となっていれば、ほぼ同じ結果が得られる。 The inventor actually surveyed 20 areas 702 represented by circles among the deleted areas, and confirmed that all of them are areas inhabited by aquatic plants to be deleted. In this way, by setting a = 7.7 in Eq. (1), it is possible to delete the spectral data of the region where the aquatic plants are shown while maintaining the spectral data of the region where the plants to be discriminated by the type are shown. I understood. Further, if the coefficient a is any value within 7.6 to 7.8, almost the same result can be obtained.
削除部１２は、補正ハイパースペクトル画像を照合部１３へわたす。 The deletion unit 12 passes the corrected hyperspectral image to the collation unit 13.
照合部１３は、補正ハイパースペクトル画像に基づいて、補正ハイパースペクトル画像に写っている植物種を判別する。例えば、照合部１３は、マルチレベルスライス法、Spectral Angle Mapperまたはコサイン距離解析などの照合手法に従って、補正ハイパースペクトル画像の画素ごとに、その画素のスペクトルデータと、植物種の基準スペクトルとを照合する。そして照合部１３は、画素ごとに、最も一致する基準スペクトルを特定する。照合部１３は、最も一致する基準スペクトルに対応する植物種を、その画素に写っている植物種と判定する。これにより、照合部１３は、画素ごとに、その画素に写っている植物種を判定できる。 The collation unit 13 determines the plant species shown in the corrected hyperspectral image based on the corrected hyperspectral image. For example, the collation unit 13 collates the spectral data of each pixel of the corrected hyperspectral image with the reference spectrum of the plant species according to a collation method such as a multi-level slicing method, Spectral Angle Mapper, or cosine distance analysis. .. Then, the collation unit 13 identifies the most matching reference spectrum for each pixel. The collation unit 13 determines that the plant species corresponding to the most matching reference spectrum is the plant species reflected in the pixel. As a result, the collation unit 13 can determine the plant species reflected in the pixel for each pixel.
なお、照合部１３は、植物種を判別するための他の手法を用いて、補正ハイパースペクトル画像に写っている植物種を判別してもよい。例えば、照合部１３は、正規化植生指標あるいは正規化土壌指数など、植物種の反射スペクトルを表す特徴量を画素ごとに算出し、その特徴量を、植物種ごとの基準特徴量と比較することで、画素ごとに、その画素に写っている植物種を判別してもよい。 The collation unit 13 may discriminate the plant species shown in the corrected hyperspectral image by using another method for discriminating the plant species. For example, the collation unit 13 calculates a feature amount representing a reflection spectrum of a plant species such as a normalized vegetation index or a normalized soil index for each pixel, and compares the feature amount with a reference feature amount for each plant species. Then, for each pixel, the plant species reflected in the pixel may be discriminated.
照合部１３は、画素ごとの植物種の判別結果を記憶部５に保存する。あるいは、照合部１３は、画素ごとの植物種の判別結果を、ユーザインターフェース部２に表示させてもよく、あるいはまた、画素ごとの植物種の判別結果を、通信インターフェース部３を介して他の装置へ出力してもよい。 The collation unit 13 stores the determination result of the plant species for each pixel in the storage unit 5. Alternatively, the collation unit 13 may display the plant species discrimination result for each pixel on the user interface unit 2, or the collation unit 13 may display the plant species discrimination result for each pixel on another via the communication interface unit 3. It may be output to the device.
図８は、植物判別装置１の処理部６により実行される、植物判別処理全体の動作フローチャートである。処理部６は、ハイパースペクトル画像ごとに、以下の動作フローチャートに従って植物判別処理を実行する。 FIG. 8 is an operation flowchart of the entire plant discrimination process executed by the processing unit 6 of the plant discrimination device 1. The processing unit 6 executes the plant discrimination process for each hyperspectral image according to the following operation flowchart.
基準値算出部１１は、ハイパースペクトル画像の画素ごとに、可視光域内の所定の波長範囲における光強度の中央値及び最小値を算出する（ステップＳ１０１）。さらに、基準値算出部１１は、ハイパースペクトル画像の画素ごとに、近赤外域内の所定の波長範囲における光強度の中央値を算出する（ステップＳ１０２）。 The reference value calculation unit 11 calculates the median and minimum values of the light intensity in a predetermined wavelength range within the visible light region for each pixel of the hyperspectral image (step S101). Further, the reference value calculation unit 11 calculates the median value of the light intensity in a predetermined wavelength range in the near infrared region for each pixel of the hyperspectral image (step S102).
削除部１２は、ハイパースペクトル画像の各画素のうち、可視光域内の所定の波長範囲における光強度の中央値と最小値の差に対する、近赤外域内の所定の波長範囲における光強度の中央値の比が所定値以下となる画素を特定する。そして削除部１２は、特定した画素には、水生植物が表されていると判定して、その特定した画素のスペクトルデータを削除する（ステップＳ１０３）。これにより、削除部１２は、補正ハイパースペクトル画像を生成する。 The deletion unit 12 is the median value of the light intensity in the predetermined wavelength range in the near infrared region with respect to the difference between the median value and the minimum value of the light intensity in the predetermined wavelength range in the visible light region of each pixel of the hyperspectral image. The pixel whose ratio of is equal to or less than a predetermined value is specified. Then, the deletion unit 12 determines that the aquatic plant is represented in the specified pixel, and deletes the spectrum data of the specified pixel (step S103). As a result, the deletion unit 12 generates a corrected hyperspectral image.
照合部１３は、補正ハイパースペクトル画像の各画素のスペクトルデータと判別対象となる各植物種の基準スペクトルとを照合することで、画素ごとに、その画素に表された植物種を判別する（ステップＳ１０４）。そして処理部６は、植物判別処理を終了する。 The collation unit 13 discriminates the plant species represented in the pixel for each pixel by collating the spectrum data of each pixel of the corrected hyperspectral image with the reference spectrum of each plant species to be discriminated (step). S104). Then, the processing unit 6 ends the plant discrimination process.
以上に説明してきたように、この植物判別装置は、可視光域内の所定の波長範囲における光強度の中央値と最小値の差に対する、近赤外域の所定の波長範囲における光強度の中央値の比が所定値以下となる画素に、水生植物が表されると判定する。そしてこの植物判別装置は、ハイパースペクトル画像から、水生植物が表されると判定した画素のスペクトルデータを削除することで生成した補正ハイパースペクトル画像を用いて、その画像に写っている植物種を判別する。そのため、この植物判別装置は、水生植物を誤って他の植物種と判別することを抑制できるため、植物種の判別精度を向上できる。 As described above, this plant discriminator has the median light intensity in a predetermined wavelength range in the near infrared region with respect to the difference between the median and the minimum light intensity in a predetermined wavelength range in the visible light region. It is determined that the aquatic plant is represented by the pixel whose ratio is equal to or less than the predetermined value. Then, this plant discrimination device discriminates the plant species reflected in the hyperspectral image by using the corrected hyperspectral image generated by deleting the spectrum data of the pixels determined to represent the aquatic plant from the hyperspectral image. To do. Therefore, this plant discriminating device can suppress the erroneous discrimination of aquatic plants from other plant species, so that the accuracy of discriminating plant species can be improved.
なお変形例によれば、削除部１２は、（１）式の代わりに、次式に示される条件を満たす画素のスペクトルデータを削除してもよい。
また他の変形例によれば、削除部１２は、水生植物が表されると判定された各画素について、その画素のスペクトルデータを削除する代わりに、その画素を植物種の判別に利用しないことを表すフラグを付してもよい。そして照合部１３は、フラグが付された画素について、植物種の判別を行わないようにしてもよい。この場合には、処理部６は、ハイパースペクトル画像と別個に補正ハイパースペクトル画像を生成しなくてもよいので、植物判定処理の実行中に必要なメモリ量を削減できる。 Further, according to another modification, the deletion unit 12 does not use the pixel for discriminating the plant species instead of deleting the spectrum data of the pixel for each pixel determined to represent the aquatic plant. May be flagged to represent. Then, the collation unit 13 may not discriminate the plant species for the flagged pixel. In this case, since the processing unit 6 does not have to generate the corrected hyperspectral image separately from the hyperspectral image, the amount of memory required during the execution of the plant determination process can be reduced.
また上記の実施形態または変形例による植物判別装置は、サーバクライアント型のシステムに実装されてもよい。
図９は、上記の何れかの実施形態またはその変形例による植物判別装置が実装されたサーバクライアントシステムの概略構成図である。
サーバクライアントシステム１００は、端末１１０とサーバ１２０とを有し、端末１１０とサーバ１２０とは、通信ネットワーク１３０を介して互いに通信可能となっている。なお、サーバクライアントシステム１００が有する端末１１０は複数存在してもよい。同様に、サーバクライアントシステム１００が有するサーバ１２０は複数存在してもよい。
Further, the plant discrimination device according to the above embodiment or modification may be implemented in a server-client type system.
FIG. 9 is a schematic configuration diagram of a server-client system in which a plant discrimination device according to any one of the above embodiments or a modification thereof is mounted.
The server-client system 100 has a terminal 110 and a server 120, and the terminal 110 and the server 120 can communicate with each other via the communication network 130. There may be a plurality of terminals 110 included in the server-client system 100. Similarly, there may be a plurality of servers 120 included in the server-client system 100.
端末１１０は、ユーザインターフェース部１１１と、記憶媒体アクセス装置１１２と、記憶部１１３と、通信インターフェース部１１４と、制御部１１５とを有する。ユーザインターフェース部１１１、記憶媒体アクセス装置１１２、記憶部１１３及び通信インターフェース部１１４は、例えば、制御部１１５とバスを介して接続されている。 The terminal 110 includes a user interface unit 111, a storage medium access device 112, a storage unit 113, a communication interface unit 114, and a control unit 115. The user interface unit 111, the storage medium access device 112, the storage unit 113, and the communication interface unit 114 are connected to, for example, the control unit 115 via a bus.
ユーザインターフェース部１１１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１１１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１１１は、例えば、ユーザの操作に応じて、植物判別処理の対象となるハイパースペクトル画像を特定する操作信号などを制御部１１５へ出力する。またユーザインターフェース部１１１は、制御部１１５から受け取った、ハイパースペクトル画像、あるいは、植物種判別結果などを表示してもよい。 The user interface unit 111 includes, for example, an input device such as a keyboard and a mouse, and a display device such as a liquid crystal display. Alternatively, the user interface unit 111 may have a device such as a touch panel display in which an input device and a display device are integrated. Then, the user interface unit 111 outputs, for example, an operation signal for specifying the hyperspectral image to be the target of the plant discrimination process to the control unit 115 in response to the user's operation. Further, the user interface unit 111 may display a hyperspectral image received from the control unit 115, a plant species discrimination result, or the like.
記憶媒体アクセス装置１１２は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体にアクセスする装置である。記憶媒体アクセス装置１１２は、例えば、記憶媒体に記憶されたハイパースペクトル画像を読み込んで、制御部１１５へわたす。あるいは、記憶媒体アクセス装置１１２は、制御部１１５から受け取った、植物種判別結果を記憶媒体に書き込んでもよい。 The storage medium access device 112 is a device that accesses storage media such as a magnetic disk, a semiconductor memory card, and an optical storage medium. The storage medium access device 112 reads, for example, a hyperspectral image stored in the storage medium and passes it to the control unit 115. Alternatively, the storage medium access device 112 may write the plant species discrimination result received from the control unit 115 to the storage medium.
記憶部１１３は、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。そして記憶部１１３は、端末１１０を制御するためのコンピュータプログラム、端末１１０の識別情報、ハイパースペクトル画像、及び、植物種判別結果などを記憶する。 The storage unit 113 has, for example, a non-volatile semiconductor memory and a volatile semiconductor memory. Then, the storage unit 113 stores a computer program for controlling the terminal 110, identification information of the terminal 110, a hyperspectral image, a plant species discrimination result, and the like.
通信インターフェース部１１４は、端末１１０を通信ネットワーク１３０に接続するためのインターフェース回路を有する。そして通信インターフェース部１１４は、制御部１１５から受け取ったハイパースペクトル画像を、端末１１０の識別情報とともに通信ネットワーク１３０を介してサーバ１２０へ送信する。また通信インターフェース部１１４は、サーバ１２０から、通信ネットワーク１３０を介して植物種判別結果を受け取ると、その植物種判別結果を制御部１１５へわたす。 The communication interface unit 114 has an interface circuit for connecting the terminal 110 to the communication network 130. Then, the communication interface unit 114 transmits the hyperspectral image received from the control unit 115 to the server 120 via the communication network 130 together with the identification information of the terminal 110. Further, when the communication interface unit 114 receives the plant species discrimination result from the server 120 via the communication network 130, the communication interface unit 114 passes the plant species discrimination result to the control unit 115.
制御部１１５は、一つまたは複数のプロセッサとその周辺回路を有する。そして制御部１１５は、端末１１０全体を制御する。例えば、制御部１１５は、記憶媒体アクセス装置１１２または記憶部１１３から読み込まれたハイパースペクトル画像を、端末１１０の識別情報とともに、通信インターフェース部１１４を介してサーバ１２０へ送信する。また制御部１１５は、ハイパースペクトル画像とともに、そのハイパースペクトル画像に写っている地形、座標などの情報も、サーバ１２０へ送信してもよい。さらに、制御部１１５は、通信インターフェース部１１４を介してサーバ１２０から受け取った、植物種判別結果をユーザインターフェース部１１１の表示装置に表示させてもよい。 The control unit 115 includes one or more processors and peripheral circuits thereof. Then, the control unit 115 controls the entire terminal 110. For example, the control unit 115 transmits the hyperspectral image read from the storage medium access device 112 or the storage unit 113 to the server 120 via the communication interface unit 114 together with the identification information of the terminal 110. Further, the control unit 115 may transmit the information such as the terrain and the coordinates reflected in the hyperspectral image as well as the hyperspectral image to the server 120. Further, the control unit 115 may display the plant species discrimination result received from the server 120 via the communication interface unit 114 on the display device of the user interface unit 111.
サーバ１２０は、通信インターフェース部１２１と、記憶部１２２と、処理部１２３とを有する。通信インターフェース部１２１及び記憶部１２２は、処理部１２３とバスを介して接続されている。 The server 120 has a communication interface unit 121, a storage unit 122, and a processing unit 123. The communication interface unit 121 and the storage unit 122 are connected to the processing unit 123 via a bus.
通信インターフェース部１２１は、サーバ１２０を通信ネットワーク１３０に接続するためのインターフェース回路を有する。そして通信インターフェース部１２１は、ハイパースペクトル画像と端末１１０の識別情報などを端末１１０から通信ネットワーク１３０を介して受信して処理部１２３にわたす。 The communication interface unit 121 has an interface circuit for connecting the server 120 to the communication network 130. Then, the communication interface unit 121 receives the hyperspectral image and the identification information of the terminal 110 from the terminal 110 via the communication network 130 and passes them to the processing unit 123.
記憶部１２２は、例えば、不揮発性の半導体メモリ及び揮発性の半導体メモリを有する。さらに、記憶部１２２は、磁気ディスクなどの記憶媒体及びそのアクセス装置を有してもよい。そして記憶部１２２は、サーバ１２０を制御するためのコンピュータプログラムなどを記憶する。また記憶部１２２は、植物判定処理を実行するためのコンピュータプログラム及び端末１１０から受信したハイパースペクトル画像及び端末１１０の識別情報を記憶していてもよい。 The storage unit 122 has, for example, a non-volatile semiconductor memory and a volatile semiconductor memory. Further, the storage unit 122 may have a storage medium such as a magnetic disk and an access device thereof. Then, the storage unit 122 stores a computer program or the like for controlling the server 120. Further, the storage unit 122 may store a computer program for executing the plant determination process, a hyperspectral image received from the terminal 110, and identification information of the terminal 110.
処理部１２３は、一つまたは複数のプロセッサとその周辺回路を有する。そして処理部１２３は、上記の各実施形態または変形例による植物判別装置の処理部の各機能を実現する。すなわち、処理部１２３は、端末１１０から受信した、ハイパースペクトル画像の各画素について基準値を算出し、その基準値に基づいて、水生植物が表されていると想定される画素を判定する。そして処理部１２３は、水生植物が表されていると想定される画素以外の画素に写っている植物の種別を判別する。そして処理部１２３は、ハイパースペクトル画像とともに受け取った端末１１０の識別情報を参照して、端末１１０へ植物種判別結果を送信する。なお、サーバクライアントシステム１００が複数のサーバ１２０を有している場合、複数のサーバ１２０が一つのハイパースペクトル画像に対する植物判別処理を分散して実行してもよい。 The processing unit 123 includes one or more processors and peripheral circuits thereof. Then, the processing unit 123 realizes each function of the processing unit of the plant discrimination device according to each of the above-described embodiments or modifications. That is, the processing unit 123 calculates a reference value for each pixel of the hyperspectral image received from the terminal 110, and determines the pixel on which the aquatic plant is assumed to be represented based on the reference value. Then, the processing unit 123 determines the type of the plant reflected in the pixel other than the pixel in which the aquatic plant is assumed to be represented. Then, the processing unit 123 refers to the identification information of the terminal 110 received together with the hyperspectral image, and transmits the plant species discrimination result to the terminal 110. When the server-client system 100 has a plurality of servers 120, the plurality of servers 120 may perform the plant discrimination process for one hyperspectral image in a distributed manner.
さらに、上記の実施形態または変形例による植物判定装置の処理部の各機能をコンピュータに実現させるコンピュータプログラムは、コンピュータが読取り可能な媒体、例えば、磁気記録媒体、光記録媒体、または半導体メモリに記憶された形で提供されてもよい。 Further, the computer program that enables the computer to realize each function of the processing unit of the plant determination device according to the above embodiment or modification is stored in a computer-readable medium, for example, a magnetic recording medium, an optical recording medium, or a semiconductor memory. May be provided in the form provided.
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。 All examples and specific terms given herein are intended for teaching purposes to help the reader understand the invention and the concepts contributed by the inventor to the promotion of the art. Yes, it should be construed not to be limited to the constitution of any example herein, such specific examples and conditions relating to demonstrating superiority and inferiority of the present invention. Although embodiments of the present invention have been described in detail, it should be understood that various modifications, substitutions and modifications can be made thereto without departing from the spirit and scope of the invention.
１ 植物判別装置
２ ユーザインターフェース部
３ 通信インターフェース部
４ 記憶媒体アクセス装置
５ 記憶部
６ 処理部
７ 記憶媒体
１１ 基準値算出部
１２ 削除部
１３ 照合部
１００ サーバクライアントシステム
１１０ 端末
１１１ ユーザインターフェース部
１１２ 記憶媒体アクセス装置
１１３ 記憶部
１１４ 通信インターフェース部
１１５ 制御部
１２０ サーバ
１２１ 通信インターフェース部
１２２ 記憶部
１２３ 処理部
１３０ 通信ネットワーク
1 Plant discrimination device 2 User interface unit 3 Communication interface unit 4 Storage medium access device 5 Storage unit 6 Processing unit 7 Storage medium 11 Reference value calculation unit 12 Deletion unit 13 Verification unit 100 Server client system 110 Terminal 111 User interface unit 112 Storage medium Access device 113 Storage unit 114 Communication interface unit 115 Control unit 120 Server 121 Communication interface unit 122 Storage unit 123 Processing unit 130 Communication network
Claims (4)
前記所定領域内の各画素のうち、前記第１の波長範囲における前記中央値と前記最小値の差に対する、前記第２の波長範囲における前記中央値の比が所定値よりも小さい画素を植物種の判別対象から除外する削除部と、
を有する植物判別装置。 In the first wavelength range in the visible light region included in the reflected light of aquatic plants, for each pixel in a predetermined region of the spectral image including the spectroscopic spectrum in the visible light region and the spectroscopic spectrum in the near infrared region for each pixel. A reference value calculation unit that calculates the minimum and median values of light intensity and the median light intensity in the second wavelength range in the near-infrared region included in the reflected light of aquatic plants.
Among the pixels in the predetermined region, the pixel in which the ratio of the median value in the second wavelength range to the difference between the median value and the minimum value in the first wavelength range is smaller than the predetermined value is a plant species. The deletion part to be excluded from the discrimination target of
Plant discrimination device having.
前記所定領域内の各画素のうち、前記第１の波長範囲における前記中央値と前記最小値の差に対する、前記第２の波長範囲における前記中央値の比が所定値よりも小さい画素を植物種の判別対象から除外する、
ことを含む植物判別方法。 In the first wavelength range in the visible light region included in the reflected light by aquatic plants, for each pixel in a predetermined region of the spectral image including the spectroscopic spectrum in the visible light region and the spectroscopic spectrum in the near infrared region for each pixel. The minimum and median values of light intensity and the median light intensity in the second wavelength range in the near infrared region included in the reflected light from aquatic plants are calculated.
Among the pixels in the predetermined region, the pixel in which the ratio of the median value in the second wavelength range to the difference between the median value and the minimum value in the first wavelength range is smaller than the predetermined value is a plant species. Exclude from the discrimination target of
Plant discrimination method including that.
前記所定領域内の各画素のうち、前記第１の波長範囲における前記中央値と前記最小値の差に対する、前記第２の波長範囲における前記中央値の比が所定値よりも小さい画素を植物種の判別対象から除外する、
ことをコンピュータに実行させるための植物判別用コンピュータプログラム。 In the first wavelength range in the visible light region included in the reflected light by aquatic plants, for each pixel in a predetermined region of the spectral image including the spectroscopic spectrum in the visible light region and the spectroscopic spectrum in the near infrared region for each pixel. The minimum and median values of light intensity and the median light intensity in the second wavelength range in the near infrared region included in the reflected light from aquatic plants are calculated.
Among the pixels in the predetermined region, the pixel in which the ratio of the median value in the second wavelength range to the difference between the median value and the minimum value in the first wavelength range is smaller than the predetermined value is a plant species. Exclude from the discrimination target of
A computer program for plant discrimination to make a computer do things.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017022101A JP6798337B2 (en) | 2017-02-09 | 2017-02-09 | Plant discrimination device, plant discrimination method and computer program for plant discrimination |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017022101A JP6798337B2 (en) | 2017-02-09 | 2017-02-09 | Plant discrimination device, plant discrimination method and computer program for plant discrimination |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018128370A JP2018128370A (en) | 2018-08-16 |
| JP6798337B2 true JP6798337B2 (en) | 2020-12-09 |
Family
ID=63172561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017022101A Expired - Fee Related JP6798337B2 (en) | 2017-02-09 | 2017-02-09 | Plant discrimination device, plant discrimination method and computer program for plant discrimination |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6798337B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7333771B2 (en) * | 2020-08-28 | 2023-08-25 | 富士フイルム株式会社 | Region extraction device and method and object detection device and method |
| CN112666120B (en) * | 2020-12-17 | 2024-04-05 | 淮阴师范学院 | Vegetation and non-vegetation identification index construction method based on near infrared spectrum |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09257787A (en) * | 1996-03-26 | 1997-10-03 | Hitachi Ltd | Wide-area monitoring system for microbes in water |
| JP4581039B2 (en) * | 2000-09-11 | 2010-11-17 | オプト技研株式会社 | Grade identification method for polymer materials |
| GB0611981D0 (en) * | 2006-06-16 | 2006-07-26 | Renishaw Plc | Spectroscopic analysis methods |
| US8615133B2 (en) * | 2007-03-26 | 2013-12-24 | Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The Desert Research Institute | Process for enhancing images based on user input |
| JPWO2010046968A1 (en) * | 2008-10-21 | 2012-03-15 | 西日本高速道路エンジニアリング四国株式会社 | Diagnostic device and diagnostic method for concrete structure |
| US20150309496A1 (en) * | 2014-04-24 | 2015-10-29 | K-Rain Manufacturing Corporation | Control system and method for landscape maintenance |
| JP6413445B2 (en) * | 2014-08-01 | 2018-10-31 | 富士通株式会社 | Plant discrimination device, plant discrimination method, and plant discrimination program |
| JP2016191679A (en) * | 2015-03-31 | 2016-11-10 | 株式会社東芝 | Flocculation state detection method, chemical injection control method and chemical injection control device |
-
2017
- 2017-02-09 JP JP2017022101A patent/JP6798337B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018128370A (en) | 2018-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hartling et al. | Urban tree species classification using UAV-based multi-sensor data fusion and machine learning | |
| Franklin et al. | Deciduous tree species classification using object-based analysis and machine learning with unmanned aerial vehicle multispectral data | |
| Brovkina et al. | Unmanned aerial vehicles (UAV) for assessment of qualitative classification of Norway spruce in temperate forest stands | |
| JP5673823B2 (en) | Plant species identification device, method and program | |
| CN101680951B (en) | Identifying vegetation attributes from lidar data | |
| Zhang et al. | Extraction of tree crowns damaged by Dendrolimus tabulaeformis Tsai et Liu via spectral-spatial classification using UAV-based hyperspectral images | |
| Amini et al. | Employing a method on SAR and optical images for forest biomass estimation | |
| US20160093056A1 (en) | Multi-spectral image labeling with radiometric attribute vectors of image space representation components | |
| Wayman | Landsat TM-based forest area estimation using iterative guided spectral class rejection | |
| CN112577954B (en) | Estimation Method of Aboveground Biomass in Urban Green Space | |
| S Bhagat | Use of remote sensing techniques for robust digital change detection of land: A review | |
| Mesas-Carrascosa et al. | Combining LiDAR intensity with aerial camera data to discriminate agricultural land uses | |
| JP2015152340A (en) | Forest type analysis apparatus, forest type analysis method and program | |
| McClelland et al. | Manned aircraft versus small unmanned aerial system—forestry remote sensing comparison utilizing lidar and structure-from-motion for forest carbon modeling and disturbance detection | |
| JP6060377B2 (en) | Image cluster analyzer | |
| Gonzalez Musso et al. | Applying unmanned aerial vehicles (UAVs) to map shrubland structural attributes in northern Patagonia, Argentina | |
| Carbonell-Rivera et al. | Class3Dp: A supervised classifier of vegetation species from point clouds | |
| JP6798337B2 (en) | Plant discrimination device, plant discrimination method and computer program for plant discrimination | |
| Sarrazin et al. | Fusing small-footprint waveform LiDAR and hyperspectral data for canopy-level species classification and herbaceous biomass modeling in savanna ecosystems | |
| Mustafa et al. | Object based technique for delineating and mapping 15 tree species using VHR WorldView-2 imagery | |
| Li et al. | A sensor specified method based on spectral transformation for masking cloud in Landsat data | |
| Mweresa et al. | Estimation of tree distribution and canopy heights in ifakara, tanzania using unmanned aerial system (UAS) stereo imagery | |
| Zhang | Native vegetation classification using remote sensing techniques: A case study of dairy flat regrowth bush by using the AUT unmanned aerial vehicle | |
| Nex et al. | Land cover classification and monitoring: the STEM open source solution | |
| JP6476935B2 (en) | Plant discrimination device, plant discrimination method, and plant discrimination program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200715 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200811 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201020 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201102 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6798337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |