JP7796745B2 - 作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法 - Google Patents

Description

本開示は、作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法に関する。

圃場で使用されるトラクタなどの作業車両の自動化に向けた研究開発が進められている。例えば、精密な測位が可能なＧＮＳＳ（Global Navigation Satellite System）などの測位システムを利用して自動操舵で走行する作業車両が実用化されている。自動操舵に加えて速度制御を自動で行う作業車両も実用化されている。

また、圃場における作物の列（作物列）または畝をカメラなどの撮像装置を用いて検出し、検出した作物列または畝に沿って作業車両の走行を制御するビジョン・ガイダンスシステムが開発されつつある。

特許文献１は、列状に形成された畝に作物が植えられた耕作地を畝に沿って走行する作業機を開示している。特許文献１は、車載カメラで耕作地を斜め上方から撮影して取得した原画像を二値化処理した後、平面射影変換画像を生成することを記載している。特許文献１が開示する技術では、平面射影変換画像を回転させることにより、向きが異なる多数の回転画像を生成し、畝と畝との間の作業通路を検出する。

特開２０１６－２０８８７１号公報

撮像装置を用いて作物列または畝を検出する技術では、日照条件などの外乱要因によって検出の精度が低下する場合がある。

本開示は、このような課題を解決することが可能な作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法を提供する。

本開示による作物列検出システムは、例示的で非限定的な実施形態において、農業機械に取り付けられ、前記農業機械が走行する地面を撮影して前記地面の少なくとも一部を含む時系列カラー画像を取得する撮像装置と、前記時系列カラー画像の画像処理を行う処理装置とを備える。前記処理装置は、前記時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成し、前記強調画像から、前記作物列の色の指標値が閾値以上の第１画素と、前記指標値が前記閾値未満の第２画素とに分類された、前記地面の上方から見た上面視画像を生成し、前記第１画素の前記指標値に基づいて、前記作物列のエッジラインの位置を決定する。

本開示による農業機械は、例示的で非限定的な実施形態において、上記の作物列検出システムを備える農業機械であって、操舵輪を含む走行装置と、前記作物列検出システムが決定した前記作物列の前記エッジラインの位置に基づいて、前記操舵輪の操舵角を制御する自動操舵装置とを備える。

本開示による作物列検出方法は、例示的で非限定的な実施形態において、コンピュータに実装される作物列検出方法であって、農業機械に取り付けられた撮像装置から、前記農業機械が走行する地面を撮影した、前記地面の少なくとも一部を含む時系列カラー画像を取得すること、前記時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成すること、前記強調画像から、前記作物列の色の指標値が閾値以上の第１画素と、前記指標値が前記閾値未満の第２画素とに分類された、前記地面の上方から見た上面視画像を生成すること、前記第１画素の前記指標値に基づいて、前記作物列のエッジラインの位置を決定することをコンピュータに実行させる。

本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、もしくはコンピュータが読み取り可能な非一時的記憶媒体、またはこれらの任意の組み合わせによって実現され得る。コンピュータが読み取り可能な記憶媒体は、揮発性の記憶媒体を含んでいてもよいし、不揮発性の記憶媒体を含んでいてもよい。装置は、複数の装置で構成されていてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよいし、分離した２つ以上の機器内に分かれて配置されていてもよい。

本開示の実施形態によれば、日照条件などの外乱要因による検出精度低下を抑制し、ロバスト性を高めることが可能になる。

農業機械に取り付けられた撮像装置が地面を撮影する様子を模式的に示す図である。 農業機械に対して固定されたボディ座標系Σｂおよびカメラ座標系Σｃと、地面に対して固定されたワールド座標系Σｗとの関係を模式的に示す斜視図である。 地面に複数の作物列が設けられた圃場の一部を模式的に示す上面図である。 図３に示す農業機械の撮像装置が取得した画像の例を模式的に示す図である。 農業機械の位置および向き（ヨー方向の角度）を調整した状態を模式的に示す上面図である。 図５の状態にある農業機械の撮像装置が取得した画像の例を示す図である。 本開示の実施形態における作物列検出システムの基本的な構成例を示すブロック図である。 本開示の実施形態における処理装置の構成例を模式的に示すブロック図である。 トラクタに搭載された車載カメラが取得した時系列カラー画像における１フレームの画像に対応するモノクロ画像である。 時系列カラー画像における１フレームの画像のＲＧＢ値を緑過剰指標（ＥｘＧ＝２×ｇ－ｒ－ｂ）に変換した強調画像を示す図である。 図１０の画像における緑過剰指標（ＥｘＧ）のヒストグラムである。 第１画素（例えば作物画素）と第２画素（背景画素）とに分類された上面視画像（俯瞰画像）の例を示す図である。 カメラ座標系Σｃ１およびカメラ座標系Σｃ２のそれぞれと、基準平面Ｒｅとの配置関係を模式的に示す斜視図である。 上面視画像における作物列の方向と走査ラインの方向とが平行な例を示す模式図である。 図１４の上面視画像について得られた積算値ヒストグラムの例を模式的に示す図である。 上面視画像における作物列の方向と走査ラインの方向とが交差する例を示す模式図である。 図１６の上面視画像について得られた積算値ヒストグラムの例を模式的に示す図である。 本開示の実施形態における処理装置が作物列のエッジラインを決定するアルゴリズムの例を示すフローチャートである。 図１２の上面視画像から得られた積算値ヒストグラムを示す図である。 本開示の実施形態における処理装置が実行する処理を示すブロック図である。 上面視画像を複数のブロックに分割する形態を説明するための図である。 図２１の各ブロックにおける、走査ラインの位置と指標値の積算値との関係を模式的に示す図である。 図２２の各ブロックにおける作物列中心と、作物列中心に対する近似線の例を示す図である。 図２３の近似線に基づいて決定した作物列のエッジラインの例を示す上面図である。 作物列が曲線上に曲がる部分を含む場合において、上面視画像の一部または全部を複数のブロックに分割して、複数のブロックのそれぞれについて、エッジラインの位置を決定する方法を説明するための図である。 図２５の各ブロックにおける、走査ラインの位置と指標値の積算値（ヒストグラム）との関係を模式的に示す図である。 図２６の各ブロックにおける作物列中心と、作物列中心に対する近似線の例を示す図である。 図２７の近似曲線に基づいて決定した作物列のエッジラインの例を示す上面図である。 本開示の実施形態における農業機械の外観の例を示す斜視図である。 作業機が装着された状態の農業機械の例を模式的に示す側面図である。 農業機械および作業機の概略的な構成の例を示すブロック図である。

以下、本開示の実施形態を説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に関する重複する説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似の機能を有する構成要素については、同じ参照符号を付している。

下記の実施形態は例示であり、本開示の技術は、以下の実施形態に限定されない。例えば、以下の実施形態について示される数値、形状、材料、ステップ、そのステップの順序、表示画面のレイアウトなどは、あくまでも一例であり、技術的に矛盾が生じない限りにおいて種々の改変が可能である。また、技術的に矛盾が生じない限りにおいて、一の態様と他の態様とを組み合わせることが可能である。

本開示における「農業機械」は、「耕す」、「植える」、「収穫する」などの農業の基本的な作業を圃場で行う機械を広く含む。農業機械は、圃場内の地面に対して、耕耘、播種、防除、施肥、作物の植え付け、または収穫などの農作業を行う機能および構造を備える機械である。これらの農作業を「対地作業」または単に「作業」と称することがある。農業機械は、それ自体が移動するための走行装置を備えている必要はなく、走行装置を備える他の車両に装着されたり、牽引されたりすることによって走行してもよい。また、トラクタのような作業車両が単独で「農業機械」として機能する場合に限られず、作業車両に装着または牽引される作業機（インプルメント）と作業車両の全体がひとつの「農業機械」として機能する場合がある。農業機械の例は、トラクタ、乗用管理機、野菜移植機、草刈機、および、圃場用移動ロボットを含む。

（実施形態１）
本開示の例示的な第１の実施形態における作物列検出システムおよび作物列検出方法を説明する。

本実施形態における作物列検出システムは、農業機械に取り付けられて使用される撮像装置を備える。撮像装置は、農業機械が走行する地面を撮影して、地面の少なくとも一部を含む時系列カラー画像を取得するように農業機械に固定されている。

図１は、例えばトラクタまたは乗用管理機などの農業機械１００に取り付けられた撮像装置１２０が地面１０を撮影する様子を模式的に示している。図１の例において、農業機械１００は、走行可能な車両本体１１０を備え、撮像装置１２０は車両本体１１０に固定されている。参考のため、図１には、互いに直交するＸｂ軸、Ｙｂ軸、Ｚｂ軸を有するボディ座標系Σｂが示されている。ボディ座標系Σｂは、農業機械１００に固定された座標系であり、ボディ座標系Σｂの原点は、例えば農業機械１００の重心付近に設定され得る。図では、見やすさのため、ボディ座標系Σｂの原点が農業機械１００の外部に位置しているように記載されている。本開示におけるボディ座標系Σｂでは、Ｘｂ軸は農業機械１００が直進するときの走行方向（矢印Ｆの方向）に一致している。Ｙｂ軸は、座標原点からＸｂ軸における正方向を見たときの真右の方向に一致し、Ｚｂ軸は鉛直下方の方向に一致する。

撮像装置１２０は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有する車載カメラである。本実施形態における撮像装置１２０は、例えば、３フレーム／秒（ｆｐｓ: frames per second）以上のフレームレートで動画を撮影することができる単眼カメラである。

図２は、上述したボディ座標系Σｂと、撮像装置１２０のカメラ座標系Σｃと、地面１０に固定されたワールド座標系Σｗとの関係を模式的に示す斜視図である。カメラ座標系Σｃは、互いに直行するＸｃ軸、Ｙｃ軸、Ｚｃ軸を有しており、ワールド座標系Σｗは、互いに直行するＸｗ軸、Ｙｗ軸、Ｚｗ軸を有している。図２の例において、ワールド座標系ΣｗのＸｗ軸およびＹｗ軸は、地面１０に沿って拡がる基準平面Ｒｅ上にある。

撮像装置１２０は、農業機械１００の所定位置に所定方向を向くように取り付けられる。このため、ボディ座標系Σｂに対するカメラ座標系Σｃの位置および向きは、既知の状態に固定される。カメラ座標系ΣｃのＺｃ軸は、カメラ光軸λ１上にある。図示される例において、カメラ光軸λ１は、農業機械１００の走行方向Ｆから地面１０に向かって傾斜しており、俯角Φは、０°よりも大きい。農業機械１００の走行方向Ｆは、農業機械１００が走行している地面１０に対して概略的に平行である。俯角Φは、例えば０°以上６０°以下の範囲に設定され得る。撮像装置１２０が取り付けられる位置が地面１０に近い場合、俯角Φは負の値、言い換えると、正の仰角を有するようにカメラ光軸λ１の向きが設定されていてもよい。

農業機械１００が地面１０の上を走行しているとき、ボディ座標系Σｂおよびカメラ座標系Σｃは、ワールド座標系Σｗに対して並進する。走行中、農業機械１００がピッチ、ロール、ヨーの方向に回転または揺動すると、ボディ座標系Σｂおよびカメラ座標系Σｃは、ワールド座標系Σｗに対して回転し得る。以下の説明においては、簡単のため、農業機械１００は、ピッチおよびロールの方向には回転せず、地面１０に対して、ほぼ平行に移動するものとする。

図３は、地面１０に複数の作物列１２が設けられている圃場の一部を模式的に示す上面図である。作物列１２とは、圃場の地面１０に作物が一方向に連続的に作付けされることによって形成された列である。言い換えれば、作物列１２とは、圃場の畝に植え付けられた作物の集まりのことである。このように、個々の作物列１２は、圃場に植えられた作物の集まりが形成する列であるため、作物列の形状は、厳密には、作物の形状および作物の配置に依存して複雑である。作物列１２の幅は、作物の生育に応じて変化する。

隣りあう作物列１２の間には、作物が植えられていない中間領域１４が帯状に存在する。各中間領域１４は、隣りあう２本の作物列１２の間で対向する２本のエッジラインＥに挟まれた領域である。なお、１つの畝に対して、畝の幅方向に複数の作物が作付けされる場合 、１つの畝上に複数の作物列１２が形成されることになる。即ち、畝の条間に複数の作物列１２が形成されることになる。このような場合は、畝上に形成された複数の作物列１２のうち、畝の幅方向の端に位置する作物列１２のエッジラインＥが、中間領域１４の基準となる。つまり、中間領域１４は、複数の作物列１２のエッジラインＥのうち、畝の幅方向の端に位置する作物列１２のエッジラインＥの間となる。

中間領域１４は、農業機械１００の車輪が通過する領域（作業通路）として機能するため、「中間領域」を「作業通路」と称する場合がある。

本開示において、作物列の「エッジライン」とは、農業機械が走行するときの目標経路を規定するための基準の線分（曲線を含み得る）を意味する。このような基準の線分は、農業機械の車輪の通過が許容される帯状の領域（作業通路）の両端として定義され得る。作物列の「エッジライン」を決定する具体的な方法については、後述する。

図３には、作物列１２が設けられた圃場に侵入しつつある１台の農業機械１００が模式的に記載されている。この農業機械１００は、左右の前輪１０４Ｆと、左右の後輪１０４Ｒとを走行装置として備えており、作業機（インプルメント）３００を牽引している。前輪１０４Ｆは操舵輪である。

図３の例では、中央に位置する１本の作物列１２の両側に位置する作業通路１４に、それぞれ、太い破線の矢印Ｌ、Ｒが記載されている。農業機械１００が実線の矢印Ｃで示される目標経路上を走行するとき、農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒは、作物列１２を踏まないように、作業通路１４の中を矢印Ｌ、Ｒに沿って移動することが求められる。本実施形態では、農業機械１００に取り付けた撮像装置１２０を用いて作物列１２のエッジラインＥを検出できるため、前輪１０４Ｆおよび後輪１０４Ｒが作業通路１４の中を矢印Ｌ、Ｒに沿って移動するように農業機械１００の操舵・走行を制御することが可能になる。このように作物列のエッジラインＥに基づいて、農業機械１００の操舵・走行を制御することを「列倣い走行制御」と呼んでもよい。

図４は、図３に示す農業機械１００の撮像装置１２０が取得した画像４０の例を模式的に示す図である。地面１０で平行に延びる複数の作物列１２および中間領域（作業通路）１４は、理論的には、地平線１１上にある消失点Ｐ０で交わる。消失点Ｐ０が画像４０の右側の領域に位置している理由は、図３に示されるように、農業機械１００の走行方向Ｆが、作物列１２が延びる方向（矢印Ｃに平行な方向）に対して傾斜しているからである。

本実施形態では、後述する方法により、日照条件や作物の生育状態が変化しても、このような画像４０から作物列１２を正確に検出し、作物列１２のエッジラインＥを決定することが可能になる。そして、エッジラインＥに基づいて、農業機械１００が進むべき経路（目標経路）を適切に生成することができる。その結果、自動操舵により、農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒが作業通路１４の中を矢印Ｌ、Ｒに沿って移動するように農業機械１００の走行を制御すること（列倣い走行制御）が可能になる。このような列倣い走行制御によれば、ＧＮＳＳなどの測位システムを利用した自動操舵技術では実現困難な、作物の生育状況に応じた精密な自動操舵が可能になる。

図５は、目標経路（矢印Ｃ）に対する位置誤差を縮小するように農業機械１００を操舵して農業機械１００の位置および向き（ヨー方向の角度）を調整した状態を模式的に示す上面図である。図６は、そのような状態にある農業機械１００の撮像装置１２０が取得した画像４０の例を示す図である。図５の状態にある農業機械１００の前輪１０４Ｆおよび後輪１０４Ｒは、それぞれ、作業通路１４の中を矢印Ｌおよび矢印Ｒで示されるライン上に位置している。中央の矢印Ｃによって示される目標経路Ｃに沿って農業機械１００が走行するとき、農業機械１００における自動操舵装置は、前輪１０４Ｆおよび後輪１０４Ｒが、それぞれ、作業通路１４から逸脱しないように操舵輪の操舵角を制御する。

以下、本開示の実施形態による作物列検出システムの構成および動作を詳細に説明する。

本実施形態による作物列検出システム１０００は、図７に示すように、前述の撮像装置１２０と、撮像装置１２０から取得した時系列カラー画像の画像処理を行う処理装置１２２とを備える。処理装置１２２は、例えば、農業機械１００が備える自動操舵装置１２４に接続され得る。自動操舵装置１２４は、例えば、農業機械１００の走行を制御する自動運転装置に含まれる。

処理装置１２２は、画像認識用の電子制御ユニット（ＥＣＵ）によって実現され得る。ＥＣＵは、車載用のコンピュータである。処理装置１２２は、撮像装置１２０が出力する画像データを受け取るように、例えばワイヤハーネスなどのシリアル信号線によって撮像装置１２０に接続される。処理装置１２２が実行する画像認識の処理の一部が撮像装置１２０の内部（カメラモジュール内）で実行されてもよい。

図８は、処理装置１２２のハードウェア構成例を示すブロック図である。処理装置１２２は、プロセッサ２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４、通信装置２６、記憶装置２８を備える。これらの構成要素は、バス３０を介して相互に接続される。

プロセッサ２０は、半導体集積回路であり、中央演算処理ユニット（ＣＰＵ）またはマイクロプロセッサとも称される。プロセッサ２０は、画像処理ユニット（ＧＰＵ）を含んでいてもよい。プロセッサ２０は、ＲＯＭ２２に格納された所定の命令群を記述したコンピュータプログラムを逐次実行し、本開示の作物列検出に必要な処理を実現する。プロセッサ２０の一部または全部は、ＣＰＵを搭載したＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔ）であってもよい。

通信装置２６は、処理装置１２２と外部のコンピュータとの間でデータ通信を行うためのインタフェースである。通信装置２６は、ＣＡＮ（Controller Area Network）などによる有線通信、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格および／またはＷｉ－Ｆｉ（登録商標）規格に準拠した無線通信を行うことができる。

記憶装置２８は、撮像装置１２０から取得した画像、または、処理の途中における画像のデータを記憶することができる。記憶装置２８の例は、ハードディスクドライブまたは不揮発性半導体メモリを含む。

処理装置１２２のハードウェア構成は、上記の例に限定されない。処理装置１２２の一部または全部が農業機械１００に搭載されている必要はない。通信装置２６を利用することにより、農業機械１００の外部に位置する１または複数のコンピュータを処理装置１２２の一部または全部として機能させることも可能である。例えば、ネットワークに接続されたサーバコンピュータが処理装置１２２の一部または全部として機能し得る。一方、農業機械１００が搭載するコンピュータが処理装置１２２に求められるすべての機能を実行してもよい。

本実施形態では、このような処理装置１２２が、撮像装置１２０から時系列カラー画像を取得し、下記の動作Ｓ１、Ｓ２、Ｓ３を実行する。
（Ｓ１）時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成する。
（Ｓ２）強調画像から、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された、地面の上方から見た上面視画像を生成する。
（Ｓ３）第１画素の前記指標値に基づいて、作物列のエッジラインの位置を決定する。

以下、動作Ｓ１、Ｓ２、Ｓ３の具体例を詳細に説明する。

時系列カラー画像は、撮像装置１２０が撮影によって時系列的に取得した画像の集まりである。それぞれの画像は、フレーム単位の画素群によって構成される。例えば、撮像装置１２０が３０フレーム／秒のフレームレートで画像を出力する場合、処理装置１２２は、約３３ミリ秒の周期で新しい画像を取得することが可能である。トラクタなどの農業機械１００が圃場内を走行する速度は、公道を走行する一般の自動車の速度に比べて相対的に低く、例えば時速１０キロメール程度以下であり得る。時速１０キロメートルの場合、約３３ミリ秒で進む距離は約６センチメートルである。このため、処理装置１２２は、例えば１００～３００ミリ秒程度の周期で画像を取得してもよく、撮像装置１２０が撮像するすべてのフレームの画像を処理する必要はない。処理装置１２２が処理の対象とする画像の取得周期は、農業機械１００の走行速度に応じて、処理装置１２２が自動的に変更してもよい。

図９は、農業機械に搭載された撮像装置（この例では単眼カメラ）が取得した時系列カラー画像における１フレームの画像４０に対応する画像である。図９の画像には、圃場の地面に列状に植えられた作物の列（作物列）が映し出されている。この例において、作物の列は、地面の上で、ほぼ平行かつ等間隔に並び、撮像装置のカメラ光軸は農業機械の進行方向を向いている。前述したように、カメラ光軸は、農業機械の進行方向に対して平行である必要はなく、農業機械の進行方向の前方で地面に入射していてもよい。撮像装置の取り付け位置は、この例に限定されない。農業機械に複数の撮像装置が取り付けられる場合、幾つかの撮像装置は、進行方向に対して反対の方向、あるいは、進行方向と交差する方向にカメラ光軸を向けていてもよい。

動作Ｓ１では、図７の処理装置１２２が、撮像装置１２０から取得した時系列カラー画像に基づいて、検出対象である作物列の色を強調した画像（強調画像）を生成する。作物は、太陽光（白色光）を受けて光合成を行うため、クロロフィル（葉緑素）を有している。クロロフィルは、赤色および青色に比べて、緑色の光吸収率が低い。このため、作物によって反射される太陽光のスペクトルは、土壌表面によって反射される太陽光のスペクトルに比べ、緑色の波長範囲で相対的に高い値を示す。その結果、作物の色は、一般に緑色の成分を多く含み、「作物列の色」は、典型例には緑色である。しかし、後述するように、「作物列の色」は、緑色に限定されない。

撮像装置１２０におけるイメージセンサは、行および列状に配列された多数の光検出セルを有している。個々の光検出セルは、画像を構成する画素（ピクセル）に対応し、赤色の光の強度を検出するＲサブ画素、緑色の光の強度を検出するＧサブ画素、および、青色の光の強度を検出するＢサブ画素を含む。各光検出セルにおけるＲサブ画素、Ｇサブ画素、およびＢサブ画素で検出される光の出力を、それぞれ、Ｒ値、Ｇ値、およびＢ値と呼ぶことにする。以下、Ｒ値、Ｇ値、およびＢ値を総称して「画素値」または「ＲＧＢ値」と呼ぶ場合がある。Ｒ値、Ｇ値、およびＢ値を用いる場合、ＲＧＢ色空間内の座標値によって色を規定することができる。

検出対象である作物列の色が緑色である場合、作物列の色を強調した強調画像とは、撮像装置が取得したカラー画像における各画素のＲＧＢ値を、Ｇ値のウェイトが相対的に大きな画素値に変換した画像である。強調画像を生成するための、このような画素値の変換は、例えば、「（２×Ｇ値－Ｒ値－Ｂ値）／（Ｒ値＋Ｇ値＋Ｂ値）」で定義される。ここで、分母の（Ｒ値＋Ｇ値＋Ｂ値）は規格化のための因子である。以下、規格化されたＲＧＢ値をｒｇｂ値と称し、r＝Ｒ値／（Ｒ値＋Ｇ値＋Ｂ値）、ｇ＝Ｇ値／（Ｒ値＋Ｇ値＋Ｂ値）、ｂ＝Ｂ値／（Ｒ値＋Ｇ値＋Ｂ値）で定義する。「２×ｇ－ｒ－ｂ」は、緑過剰指標（ＥｘＧ：Excess Green Index）と呼ばれる。

図１０は、図９の画像におけるＲＧＢ値を、「２×ｇ－ｒ－ｂ」に変換した強調画像４２を示す図である。この変換により、図１０の画像４２において、「ｒ＋ｂ」がｇに比べて相対的に小さな画素は明るく表示され、「ｒ＋ｂ」がｇに比べて相対的に大きな画素は暗く表示される。この変換により、検出対象である作物列の色（この例では「緑色」）を強調した画像（強調画像）４２が得られる。図１０の画像において相対的に明るい画素は、緑色の成分が相対的に大きな画素であり、作物の領域に属している。

作物の色を強調する「色の指標値」として、緑過剰指標（ＥｘＧ）以外に、例えば、緑赤植生指標（Ｇ値－Ｒ値）／（Ｇ値＋Ｒ値）などの他の指標を用いてもよい。また、撮像装置が赤外カメラとしても機能し得る場合は、「作物列の色の指標値」として、ＮＤＶＩ（Normalized Difference Vegetation Index）を用いてもよい。

なお、作物列のそれぞれの列が「マルチ」と呼ばれるシート（ｍｕｌｃｈｉｎｇ ｓｈｅｅｔ）によって覆われていることがある。このような場合、「作物列の色」は、「作物を覆って列状に配置される物体の色」である。具体的には、シートの色が無彩色である黒の場合、「作物列の色」は「黒」を意味する。また、シートの色が赤色の場合、「作物列の色」は「赤色」を意味する。このように「作物列の色」は、作物そのものの色だけではなく、作物列を規定する領域の色（土壌表面の色から識別可能な色）を意味する。

「作物列の色」を強調した強調画像の生成には、ＲＧＢ色空間からＨＳＶ色空間への変換を利用してもよい。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）の三つの成分によって構成される色空間である。ＲＧＢ色空間からＨＳＶ色空間に変換した色情報を用いることにより、黒または白のような彩度の低い「色」を検出することができる。ＯｐｅｎＣＶのライブラリを利用して「黒」を検出する場合、色相を最大範囲（０～１７９）、彩度を最大範囲（０～２５５）に設定し、明度の範囲を０～３０に設定すればよい。また、「白」を検出する場合は、色相を最大範囲（０～１７９）、彩度を最大範囲（０～２５５）に設定し、明度の範囲を２００～２５５に設定すればよい。このような設定範囲に含まれる色相、彩度、明度を有する画素が、検出するべき色を持つ画素である。なお、例えば緑色の画素を検出する場合、色相の範囲を例えば３０～９０の範囲に設定すればよい。

検出対象である作物列の色を強調した画像（強調画像）を生成することにより、作物列の領域を、それ以外の背景領域から区分（抽出）すること（セグメンテーション）が容易になる。

次に、動作Ｓ２を説明する。

動作Ｓ２では、処理装置１２２が、強調画像４２から、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された上面視画像を生成する。上面視画像は、地面の上方から見た画像である。

本実施形態では、作物列の色の指標値として、前述した緑過剰指標（ＥｘＧ）を採用し、判別分析法（大津の二値化）によって判別の閾値を決定する。図１１は、図１０の強調画像４２における緑過剰指標（ＥｘＧ）のヒストグラムである。ヒストグラムの横軸が緑過剰指標（ＥｘＧ）であり、縦軸が画像内における画素数（生起頻度に対応）である。図１１には、判別分析法のアルゴリズムによって算出された閾値Ｔｈを示す破線が示されている。強調画像４２の画素は、この閾値Ｔｈによって２つのクラスに分類される。閾値Ｔｈを示す破線の右側には、緑過剰指標（ＥｘＧ）が閾値以上の画素の生起頻度が示されており、これらの画素は作物のクラスに属していると推定される。これに対し、閾値Ｔｈを示す破線の左側には、緑過剰指標（ＥｘＧ）が閾値未満の画素の生起頻度が示されており、これらの画素は土壌などの被作物のクラスに属していると推定される。この例において、指標値が閾値以上の画素である第１画素は、「作物画素」に相当する。一方、この指標値が閾値未満の第２画素は「背景画素」に相当する。背景画素は、土壌の表面など、検出対象以外の物体に対応し、前述した中間領域（作業通路）１４は、背景画素によって構成され得る。なお、閾値の決定方法は、上記の例に限定されず、例えば機械学習を利用した他の方法を用いて閾値を決定してもよい。

強調画像４２を構成する各画素を「第１画素」および「第２画素」の一方に割り当てることにより、強調画像４２から検出対象の領域を抽出することができる。また、「第２画素」の画素値に「ゼロ」を与えたり、画像データから第２画素のデータを取り除いたりすることにより、検出対象以外の領域をマスクすることができる。マスクするべき領域を確定するとき、緑過剰指標（ＥｘＧ）が局所的に高い値を示す画素をノイズとしてマスク領域に含める処理を行ってもよい。

図１２は、第１画素と第２画素とに分類された、地面の上方からみた上面視画像４４の例を示す図である。図１２の上面視画像４４は、後述する画像変換の技術により、図１０の強調画像４２から作成した画像である。この上面視画像４４において、作物列の色の指標値（この例では緑過剰指標）が閾値Ｔｈ未満の第２画素は、黒い画素（明度がゼロに設定された画素）である。第２画素によって構成される領域は、主として地面における土壌の表面が見える領域である。図１２の上面視画像４４には、下辺に接する左右の角部に黒い三角形の領域が存在する。この三角形の領域は、図１０の強調画像４２には映っていなかった領域に相当する。なお、図９の画像４０および図１０の強調画像４２には、本来は直線であるはずの線が画像の周辺部で歪む現象が観察される。このような画像の歪みは、カメラのレンズの性能に起因して生じており、カメラの内部パラメータを用いて補正され得る。作物領域の強調、マスク、歪みの補正などの処理は、前処理と呼ぶことができる。前処理は、このような処理以外の処理を含んでいてもよい。

図１２の上面視画像４４は、地面に平行な基準平面Ｒｅを、基準平面Ｒｅの法線方向における真上から見た俯瞰画像である。この俯瞰画像は、図１０の強調画像４２からホモグラフィ変換（平面射影変換）によって生成することができる。ホモグラフィ変換は、幾何学的変換の一種であり、３次元空間内の、ある平面上にある点を、他の任意の平面上にある点に変換することができる。

図１３は、第１の姿勢（位置および向き:ポーズ）にある撮像装置のカメラ座標系Σｃ１、および第２の姿勢にある撮像装置のカメラ座標系Σｃ２のそれぞれと、基準平面Ｒｅとの配置関係を模式的に示す斜視図である。図示される例において、カメラ座標系Σｃ１は、そのＺｃ軸が基準平面Ｒｅに斜めに交わるように傾斜している。第１の姿勢にある撮像装置は、農業機械に取り付けられた撮像装置に相当する。これに対して、カメラ座標系Σｃ２は、そのＺｃ軸が基準平面Ｒｅに直交している。言い換えると、カメラ座標系Σｃ２は、基準平面Ｒｅを、基準平面Ｒｅの法線方向における真上から見た俯瞰画像を取得できるように配置された状態にある。

カメラ座標系Σｃ１の原点Ｏ１からＺｃ軸でカメラの焦点距離だけ離れた位置に仮想的な画像平面Ｉｍ１が存在する。画像平面Ｉｍ１は、Ｚｃ軸およびカメラ光軸λ１に直交する。画像平面Ｉｍ１上の画素位置は、互いに直交するｕ軸およびｖ軸を有する画像座標系によって定義される。例えば、基準平面Ｒｅ上に位置する点Ｐ１および点Ｐ２の座標が、それぞれ、ワールド座標系Σｗにおいて、（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）であるとする。図１３の例では、ワールド座標系ΣｗのＸｗ軸およびＹｗ軸が基準平面Ｒｅ上にある。このため、Ｚ１＝Ｚ２＝０である。基準平面Ｒｅは、地面に沿って拡がるように設定される。

基準平面Ｒｅ上の点Ｐ１および点Ｐ２は、それぞれ、ピンホールカメラモデルの透視投影により、第１の姿勢にある撮像装置の画像平面Ｉｍ１上の点ｐ１および点ｐ２に変換される。画像平面Ｉｍ１において、点ｐ１および点ｐ２は、それぞれ、（ｕ１，ｖ１）および（ｕ２，ｖ２）の座標で示される画素位置にある。

撮像装置が第２の姿勢にある場合、カメラ座標系Σｃ２の原点Ｏ２からＺｃ軸でカメラの焦点距離だけ離れた位置に仮想的な画像平面Ｉｍ２が存在する。この例において、画像平面Ｉｍ２は、基準平面Ｒｅに平行である。画像平面Ｉｍ２上の画素位置は、互いに直交するｕ^＊軸およびｖ^＊軸を有する画像座標系によって定義される。基準平面Ｒｅ上の点Ｐ１および点Ｐ２は、それぞれ、透視投影により、画像平面Ｉｍ２上の点ｐ１^＊および点ｐ２^＊に変換される。画像平面Ｉｍ２において、点ｐ１^＊および点ｐ２^＊は、それぞれ、（ｕ１^＊，ｖ１^＊）および（ｕ２^＊，ｖ２^＊）の座標で示される画素位置にある。

基準平面Ｒｅ（ワールド座標系Σｗ）に対するカメラ座標系Σｃ１、Σｃ２の配置関係が与えられると、ホモグラフィ変換により、画像平面Ｉｍ１上の任意の点（ｕ，v）から、画像平面Ｉｍ２上で対応する点（ｕ^＊，v^＊）を求めることができる。このようなホモグラフィ変換は、点の座標を同次座標系で表現すると、３行×３列の変換行列Ｈによって規定される。

変換行列Ｈの中身は、以下に示すように、ｈ_１１、ｈ_１２、・・・、ｈ_３２の数値によって規定される。

８個の数値（ｈ_１１、ｈ_１２、・・・、ｈ_３２）は、農業機械１００に取り付けられる撮像装置１２０によって、基準平面Ｒｅ上に置いた校正用ボードを撮影すれば、公知のアルゴリズムを用いて算出することができる。

基準平面Ｒｅ上の点の座標が（Ｘ，Ｙ，０）の場合、それぞれのカメラの画像平面Ｉｍ１、Ｉｍ２における対応点の座標は、下記の数３および数４の式に示されるように、個々のホモグラフィ変換行列Ｈ１、Ｈ２によって点（Ｘ，Ｙ，０）と対応づけられる。

上記の２式から以下の式が導かれる。この式から明らかなように、変換行列Ｈは、Ｈ２Ｈ１^－１に等しい。Ｈ１^－１は、Ｈ１の逆行列である。

変換行列Ｈ１、Ｈ２の中身は、基準平面Ｒｅに依存するため、基準平面Ｒｅの位置が変わると、変換行列Ｈの中身も変化する。

このようなホモグラフィ変換を利用することにより、第１の姿勢にある撮像装置（農業機械に取り付けられた撮像装置）で取得した地面の画像から、地面の上面視画像を生成することができる。言い換えると、ホモグラフィ変換によれば、撮像装置１２０の画像平面Ｉｍ１上にある任意の点の座標を、基準平面Ｒｅに対して所定の姿勢にある仮想的な撮像装置の画像平面Ｉｍ２上にある点の座標に変換することができる。

処理装置１２２は、変換行列Ｈの中身を算出した後、上記のアルゴリズムに基づくソフトウェアプログラムを実行することにより、時系列カラー画像、または時系列カラー画像の前処理画像から、地面１０を上方から見た俯瞰画像を生成する。

なお、前述の説明では、３次元空間内の点（例えば、Ｐ１、Ｐ２）が、いずれも、基準平面Ｒｅ上に位置していると仮定していた（例えば、Ｚ１＝Ｚ２＝０）。作物の基準平面Ｒｅに対する高さが０ではない場合、ホモグラフィ変換後の上面視画像において、対応点の位置は正しい位置からシフトする。シフト量の増加を抑制するためには、基準平面Ｒｅの高さが検出対象である作物の高さに近いことが望ましい。地面１０には、畝、畦、溝などの凹凸が存在している場合がある。そのような場合、基準平面Ｒｅを、このような凹凸の底部から上方に変位させてもよい。変位の距離は、作物が作付けされる地面１０の凹凸に応じて適切に設定され得る。

また、農業機械１００が地面１０を走行しているとき、車両本体１１０（図１参照）のロールまたはピッチの運動が生じると、撮像装置１２０の姿勢が変化するため、変換行列Ｈ１の中身が変化し得る。このような場合、ＩＭＵによって車両本体１１０のロールおよびピッチの回転角度を計測すれば、撮像装置の姿勢変化に応じて変換行列Ｈ１および変換行列Ｈを補正することができる。

本実施形態における処理装置１２２は、上述の方法により、作物列の色の指標値が閾値以上の第１画素と、この指標値が閾値未満の第２画素とに分類された、地面の上方から見た上面視画像を生成した後、動作Ｓ３を実行する。

次に、動作Ｓ３を説明する。

動作Ｓ３では、処理装置１２２が、第１画素の指標値に基づいて、作物列のエッジラインの位置を決定する。具体的には、上面視画像における複数の走査ラインに沿って第１画素（色の指標値が閾値以上の画素）の指標値を積算する。

図１４は、３本の作物列１２が映る上面視画像４４の例である。この例において、作物列１２の方向が画像垂直方向（ｖ軸方向）に平行である。図１４は、画像垂直方向（ｖ軸方向）に平行な多数の走査ライン（破線）Ｓが示されている。処理装置１２２は、複数の走査ラインＳ上に位置する画素の指標値を、走査ラインＳごとに積算して積算値を得る。

図１５は、図１４の上面視画像について得られた、走査ラインＳの位置と指標値の積算値との関係（積算値のヒストグラム）を模式的に示す図である。図１５の横軸は、走査ラインＳの、画像水平方向（ｕ軸方向）における位置を示している。上面視画像４４において、走査ラインＳが横切る画素の多くが作物列１２に属する第１画素である場合、その走査ラインＳの積算値は大きくなる。一方、走査ラインＳが横切る画素の多くが作物列１２の間にある中間領域（作業通路）１４に属する第２画素（背景画素）である場合、その走査ラインＳの積算値は小さくなる。なお、本実施形態において、中間領域（作業通路）１４はマスクされており、第２画素の指標値はゼロである。

図１５のヒストグラムでは、積算値がゼロまたはゼロに近い凹部領域と、これらの凹部領域によって区分される凸部領域が存在する。凹部領域は、中間領域（作業通路）１４に相当し、凸部領域が作物列１２に相当する。本実施形態では、凸部領域における積算値のピークの両側の所定位置、具体的には、積算値のピークに対して所定の割合（例えば６０％以上９０％以下の範囲から選択された値）にある積算値を有する走査ラインＳの位置を作物列１２のエッジラインの位置として決定する。図１５における矢印Ｗの両端は、各作物列１２のエッジラインの位置を示している。なお、図１５の例において、各作物列１２のエッジラインの位置は、各作物列１２の積算値のピークに対して８０％の値を持つ走査ラインＳの位置である。

本実施形態では、第２画素をマスクしたうえで、各走査ラインＳ上における作物列の色の指標値を積算している。すなわち、第１画素と第２画素の分類に基づいて２値化された上面視画像について、第１画素の個数（画素数）をカウントしているのではない。第１画素の個数をカウントする場合、例えば、落ち葉や雑草などに起因して閾値Ｔｈをわずかに超えるような画素（第１画素に分類される）が多数存在する場合、第１画素のカウント値は増加してしまう。これに対して、本開示の実施形態のように、第１画素の個数ではなく、第１画素の作物列の色の指標値を積算することは、落ち葉や雑草に起因する誤判定を抑制し、作物列検出のロバスト性を向上させる。

図１６は、作物列１２が斜めに延びている上面視画像４４の例である。図３および図４を参照して説明したように、農業機械１００の向きによっては、撮像装置１２０が取得する画像４０において作物列１２が延びる方向が画像内で右または左に傾斜し得る。そのような画像からホモグラフィ変換によって上面視画像４４を生成すると、図１６の例にように、作物列１２の方向が、画像垂直方向（ｖ軸方向）から傾斜する。

図１６にも、画像垂直方向（ｖ軸方向）に平行な多数の走査ライン（破線）Ｓが示されている。処理装置１２２が、このような複数の走査ラインＳ上に位置する画素の指標値を、走査ラインＳごとに積算して積算値を得ると、図１７に示すような積算値のヒストグラムが得られる。図１７は、図１６の上面視画像について得られた、走査ラインＳの位置と指標値の積算値との関係を模式的に示す図である。このヒストグラムからは、作物列１２のエッジラインを決定することができない。

図１８は、走査ラインＳの方向（角度）を変化させることにより、作物列１２の方向に平行な走査ラインＳの方向（角度）を探索する手順の例を示すフローチャートである。

ステップＳ１０において、走査ラインＳの方向（角度）を設定する。ここでは、画像座標系におけるｕ軸を基準として時計回りの角度をθとする（図１４、図１６参照）。角度θの探索は、範囲を例えば６０～１２０度に設定し、角度刻みを例えば１度に設定することができる。この場合、ステップＳ１では、走査ラインＳの角度θとして、６０、６１、６２、・・・、１１９、１２０度を与える。

ステップＳ１２では、それぞれの角度θの方向に延びる走査ラインＳ上の画素について指標値を積算し、積算値のヒストグラムを作成する。ヒストグラムは、角度θに応じて、異なる分布を示すことになる。

ステップＳ１４では、こうして得た複数のヒストグラムから、図１５に示されるような凹凸の境界が急峻であって、作物列１２が中間領域１４から明確に区分されるようなヒストグラムを選択し、そのヒストグラムを生成する走査ラインＳの角度θを求める。

ステップＳ１６では、ステップＳ１４で求めた角度θに対応するヒストグラムのピーク値から各作物列１２のエッジラインを決定する。前述したように、ピークの例えば０．８倍の積算値を持つ走査ラインＳの位置をエッジラインとして採用し得る。

なお、走査ラインＳの方向（角度）を探索するとき、探索範囲内で角度θを１度ずつ変化させるごとに、その角度θの走査ラインＳ上における積算値のヒストグラムを作成してもよい。ヒストグラムの波形から特徴量（例えば、凹部の深さ／凸部の高さ、包絡線の微分値など）を算出し、その特徴量に基づいて、作物列１２の方向と走査ラインＳの方向とが平行か否かを判定してもよい。

なお、角度θを求める方法は、上記の例に限定されない。作物列の延びる方向が測定によって既知である場合、農業機械１００に搭載した慣性計測装置（ＩＭＵ）によって農業機械の方向を測定し、作物列の延びる方向に対する角度θを求めてもよい。

図１９は、図１２の上面視画像から作成した、積算値ヒストグラムの例を示す図である。中央に位置するヒストグラムの凸部について、そのピーク値の０．８倍の走査ライン位置をエッジラインＥの位置としている。このヒストグラムでは、走査ライン位置が中央から左右に離れるにしたがって、凸部のピークが低くなり、かつ、凸部のピークが拡がっている。これは、図１２の画像から明らかなように、上面視画像の中央では、画像の歪みが少ないのに対して、中央から左右に離れるしたがって、画像の歪みが大きくなっていることや、下辺の両側に位置する黒い三角形領域が積算値を低下させることに起因している。

作物列の検出を農業機械の走行に利用する場合、正確に検出するべき作物列は、画像の中央、または、その周辺である。そのため、上面視画像における左右両端に近い領域における歪みは無視することができる。

図２０は、本実施形態における処理装置１２２が実行する一連の処理を示すブロック図である。図２０に示されるように、処理装置１２２は、画像取得３２、強調画像生成３３、作物列抽出３４、およびホモグラフィ変換３５を実行することにより、例えば図１６に示すような上面視画像４４を得ることができる。処理装置１２２は、更に、走査ライン方向決定３６、エッジライン位置決定３７を実行することにより、作物列のエッジラインの位置を得ることができる。この後、処理装置１２２、または、処理装置１２２からエッジラインの位置を示す情報を得た経路生成装置は、エッジラインに基づいて、農業機械の目標経路生成３８を実行することができる。目標経路は、農業機械が備える車輪が、エッジラインＥに挟まれる中間領域（作業通路）１４の中に維持されるように生成され得る。例えば、タイヤの幅方向における中央部が、中間領域（作業通路）１４の両端に位置する２本のエッジラインの中央を通るように目標経路が生成され得る。このような目標経路によれば、農業機械が走行中に目標経路から数センチメール程度外れても、タイヤが作物列に侵入する可能性を低下させることが可能になる。

本開示の実施形態によれば、順光、逆光、晴天、曇天、霧などの気象条件や作業時間帯によって変化する日照条件の影響を抑制し、高い精度での作物列の検出が可能になることを確認した。また、作物の種類（キャベツ、ブロッコリ、大根、人参、レタス、白菜などの種別）、生育状態（苗から成長した状態まで）、病害有無、落ち葉・雑草の有無、土壌色が変化してもロバスト性の高い作物列の検出が可能になることを確認した。

なお、上記の実施形態では、二値化の閾値を求め、閾値以上の画素によって作物領域を抽出するステップを行った後、ホモグラフィ変換を実行している。しかし、作物領域を抽出するステップは、ホモグラフィ変換の後に実行してもよい。具体的には、図２０に示される１連の処理において、ホモグラフィ変換３５は、強調画像生成３３と作物列抽出３４との間に実行されてもよいし、画像取得３２と強調画像生成３３との間に実行されてもよい。

以下、本開示による作物検出システムが実行する他の作物列検出方法の実施形態を説明する。

図２１は、上面視画像の一部または全部を複数のブロックに分割し、複数のブロックのそれぞれについて、エッジラインの位置を決定する方法を説明するための図である。

本実施形態において、処理装置１２２は、上面視画像４４の一部または全部を複数のブロックに分割する。そして、複数のブロックのそれぞれについて、作物列１２のエッジラインＥの位置を決定する。図示される例において、３つのブロックＢ１、Ｂ２、Ｂ３が、上面視画像内において、画像水平方向に連続する帯形状を有している。処理装置１２２は、農業機械１００の進行方向とは異なる方向の帯形状に基づいて、作物列のエッジラインを決定することができる。

図２２は、図２１の上面視画像のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける、走査ラインＳの位置と指標値の積算値との関係（積算値ヒストグラム）を模式的に示す図である。積算を行うときの走査ラインＳは、常に画像垂直方向に平行である。指標値の積算は、ブロック単位で行われ、走査ラインＳの方向（角度）を変える必要はない。走査ラインＳの長さを短縮することにより、作物列１２が斜めに延びていても、中間領域（作業通路）１４に起因する第２画素（背景画素）の領域を適切に検出することが可能になる。このため、走査ラインＳの角度を変化させる必要がなくなる。

図２２における矢印Ｗの両端は、ブロックＢ１、Ｂ２、Ｂ３のそれぞれで決定された、作物列のエッジラインの位置を示している。図２１に示される例において、作物列１２の方向は、走査ラインＳの方向に対して傾斜している。このため、前述したように、積算値ヒストグラムのピーク値を基準に０．８倍の値を示す走査ライン位置を、作物列１２のエッジラインＥの位置として採用する場合、そのようなエッジラインＥの位置とは、ブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける作物列１２の中央付近を通る「幅」の両端に相当する。

図２３は、図２２のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける作物列中心Ｗｃを示している。作物列中心Ｗｃは、図２２の積算値ヒストグラムから求めた作物列のエッジラインを規定する矢印Ｗの中心から求められ、各ブロックの画像垂直方向における中央に位置している。図２３には、同一の作物列１２に属する作物列中心Ｗｃに対する近似線１２Ｃの例が示される。近似線１２Ｃは、例えば、各作物列１２の複数の作物列中心Ｗｃから距離（誤差）の二乗平均が最小になるように求められた直線である。このような近似線１２Ｃは、作物列１２の中央を通るラインに相当する。

図２４は、図２３の近似線１２Ｃから決定した作物列１２のエッジラインＥの例を示す上面図である。この例において、各作物列１２に対応付けられる２本のエッジラインＥは、その間隔が矢印Ｗの長さに等しく、近似線１２Ｃから等距離の位置にある。

本実施形態によれば、走査ラインの方向（角度）を変化させる必要がなく、より少ない演算量で作物列１２のエッジラインＥを求めることができる。なお、各ブロックの画像垂直方向における長さは、例えば、地面における１～２メートルの距離に相当するように設定され得る。本実施形態では、１つの画像を３つのブロックに分割して積算値ヒストグラムを求めたが、ブロックの個数は４個以上であってもよい。また、ブロックの形状も上記の例に限定されない。ブロックは、上面視画像内において、画像水平方向又は画像垂直方向のいずれかの方向に連続する帯形状を有し得る。処理装置１２２は、農業機械１００の進行方向とは異なる方向に延びる帯形状のブロックに分割すること、作物列のエッジラインを決定することができる。

図２５は、上面視画像４４の作物列１２が曲線上に曲がる部分を含む様子を模式的に示している。図２６は、図２５の上面視画像４４のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける積算値ヒストグラムを模式的に示している。

図２７は、図２６のブロックＢ１、Ｂ２、Ｂ３のそれぞれにおける作物列中心Ｗｃと、各作物列中心Ｘｃに対する近似線１２Ｃの例を示す図である。この例における近似線１２Ｃは、例えば、各作物列１２の作物列中心Ｗｃからの距離（誤差）の二乗平均が最小になるように求められた曲線（例えば３次曲線などの高次の曲線）である。このような近似線１２Ｃは、曲線部分を有する作物列１２の中央を通る湾曲したラインに相当する。

図２８は、図２７の近似線から決定した作物列１２のエッジラインＥの例を示す上面図である。エッジラインＥは、図２４を参照して説明した方法と同様の方法で生成される。すなわち、各作物列１２に対応付けられる２本のエッジラインＥは、その間隔が矢印Ｗの長さに等しく、近似線１２Ｃから等距離の位置にある。

以上、説明してきたように、上面視画像を複数のブロックに分割して、それぞれのブロックで積算値のヒストグラムを生成すれば、作物列の方向を求めることが容易になり、また、作物列の方向が途中で変化していても、その変化した方向を知ることが可能になる。

上記の作物列検出方法は、いずれも、コンピュータに実装され、コンピュータに所望の動作を実行させることによって実施され得る。

（実施形態２）
次に、本開示の作物列検出システムを備える農業機械の実施形態を説明する。

本実施形態における農業機械は、前述した作物列検出システムを備える。また、この農業機械は、自動操舵運転を実現するための制御を行う制御システムを備える。制御システムは、記憶装置と、制御装置とを備えるコンピュータシステムであり、農業機械の操舵、走行、その他の動作を制御するように構成されている。

制御装置は、通常の自動操舵動作モードにおいて、測位装置によって農業機械の位置を特定し、前もって生成された目標経路に基づいて、農業機械が目標経路に沿って走行するように農業機械の操舵を制御する。具体的には、作業車両が圃場内を目標経路に沿って走行するように農業機械の操舵輪（例えば前輪）の操舵角を制御する。本実施形態における農業機械は、このような通常の自動操舵モードだけではなく、作物列が設けられた圃場内で「列倣い走行制御」による自動走行を行うように構成された自動操舵装置を備える。

測位装置は、例えばＧＮＳＳ受信機を有する。このような測位装置は、ＧＮＳＳ衛星からの信号に基づき、作業車両の位置を特定することができる。しかし、作物列が圃場にある場合、仮に測位装置が農業機械の位置を高精度に測定できたとしても、作物列の間は狭く、作物の植えられ方や生育状況によっては、農業機械の車輪などの走行装置が作物列にはみ出す可能性も高くなる。しかし、本実施形態では、前述した作物列検出システムを用いることにより、現実に存在する作物列を検出して、適切な自動操舵を実行することができる。すなわち、本開示の実施形態における農業機械が備える自動操舵装置は、作物列検出システムが決定した作物列のエッジラインの位置に基づいて、操舵輪の操舵角を制御するように構成される。

また、本実施形態における農業機械では、作物列検出システムの処理装置が、時系列カラー画像に基づいて、作物列のエッジラインと操舵輪との位置関係をモニタすることが可能である。この位置関係から位置誤差信号を生成すれば、農業機械の自動操舵装置が位置誤差信号を小さくするように操舵角を適切に調整することが可能になる。

図２９は、本実施形態における農業機械１００の外観の例を示す斜視図である。図３０は、作業機３００が装着された状態の農業機械１００の例を模式的に示す側面図である。本実施形態における農業機械１００は、作業機３００が装着された状態の農業用トラクタ（作業車両）である。農業機械１００は、トラクタに限定されず、また作業機３００が装着されている必要もない。本開示における作物列検出の技術は、例えば、畝立、中耕、土寄、除草、追肥、防除などの畝間作業に使用され得る小型管理機、および野菜移植機に用いて優れた効果を発揮することができる。

本実施形態における農業機械１００は、撮像装置１２０と、測位装置１３０と、障害物センサ１３６とを備える。図２９には１つの障害物センサ１３６が例示されているが、障害物センサ１３６は農業機械１００の複数の箇所に設けられていてもよい。

図３０に示すように、農業機械１００は、車両本体１１０と、原動機（エンジン）１０２と、変速装置（トランスミッション）１０３とを備える。車両本体１１０には、タイヤ１０４（車輪）と、キャビン１０５とが設けられている。タイヤ１０４は、一対の前輪１０４Ｆと一対の後輪１０４Ｒとを含む。キャビン１０５の内部に運転席１０７、操舵装置１０６、操作端末２００、および操作のためのスイッチ群が設けられている。前輪１０４Ｆおよび後輪１０４Ｒの一方は、タイヤではなくクローラであってもよい。農業機械１００は、４つのタイヤ１０４を駆動輪として備える四輪駆動車であってもよいし、一対の前輪１０４Ｆまたは一対の後輪１０４Ｒを駆動輪として備える二輪駆動車であってもよい。

本実施形態における測位装置１３０は、ＧＮＳＳ受信機を備える。ＧＮＳＳ受信機は、ＧＮＳＳ衛星からの信号を受信するアンテナと、アンテナが受信した信号に基づいて農業機械１００の位置を決定する処理回路とを備える。測位装置１３０は、ＧＮＳＳ衛星から送信されるＧＮＳＳ信号を受信し、ＧＮＳＳ信号に基づいて測位を行う。ＧＮＳＳは、ＧＰＳ（Global Positioning System）、ＱＺＳＳ（Quasi-Zenith Satellite System、例えばみちびき）、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、およびＢｅｉＤｏｕなどの衛星測位システムの総称である。本実施形態における測位装置１３０は、キャビン１０５の上部に設けられているが、他の位置に設けられていてもよい。

測位装置１３０は、さらに、慣性計測装置（ＩＭＵ）からの信号を利用して位置データを補完することができる。ＩＭＵは、農業機械１００の傾きおよび微小な動きを計測することができる。ＩＭＵによって取得されたデータを用いて、ＧＮＳＳ信号に基づく位置データを補完することにより、測位の性能を向上させることができる。

図２９および図３０に示す例では、車両本体１１０の後部に障害物センサ１３６が設けられている。障害物センサ１３６は、車両本体１１０の後部以外の部位にも配置され得る。例えば、車両本体１１０の側部、前部、およびキャビン１０５のいずれかの箇所に、１つまたは複数の障害物センサ１３６が設けられ得る。障害物センサ１３６は、農業機械１００の周囲に存在する物体を検出する。障害物センサ１３６は、例えばレーザスキャナまたは超音波ソナーを備え得る。障害物センサ１３６は、障害物センサ１３６から所定の距離よりも近くに物体が存在する場合に、障害物が存在することを示す信号を出力する。複数の障害物センサ１３６が農業機械１００の車体の異なる位置に設けられていてもよい。例えば、複数のレーザスキャナと、複数の超音波ソナーとが、車体の異なる位置に配置されていてもよい。そのような多くの障害物センサ１３６を備えることにより、農業機械１００の周囲の障害物の監視における死角を減らすことができる。

原動機１０２は、例えばディーゼルエンジンである。ディーゼルエンジンに代えて電動モータが使用されてもよい。変速装置１０３は、変速によって農業機械１００の推進力および移動速度を変化させることができる。変速装置１０３は、農業機械１００の前進と後進とを切り換えることもできる。

操舵装置１０６は、ステアリングホイールと、ステアリングホイールに接続されたステアリングシャフトと、ステアリングホイールによる操舵を補助するパワーステアリング装置とを含む。前輪１０４Ｆは操舵輪であり、その切れ角（「操舵角」とも称する。）を変化させることにより、農業機械１００の走行方向を変化させることができる。前輪１０４Ｆの操舵角は、ステアリングホイールを操作することによって変化させることができる。パワーステアリング装置は、前輪１０４Ｆの操舵角を変化させるための補助力を供給する油圧装置または電動モータを含む。自動操舵が行われるときには、農業機械１００内に配置された制御装置からの制御により、油圧装置または電動モータの力によって操舵角が自動で調整される。

車両本体１１０の後部には、連結装置１０８が設けられている。連結装置１０８は、例えば３点支持装置（「３点リンク」または「３点ヒッチ」とも称する。）、ＰＴＯ（Power Take Off）軸、ユニバーサルジョイント、および通信ケーブルを含む。連結装置１０８によって作業機３００を農業機械１００に着脱することができる。連結装置１０８は、例えば油圧装置によって３点リンクを昇降させ、作業機３００の位置または姿勢を制御することができる。また、ユニバーサルジョイントを介して農業機械１００から作業機３００に動力を送ることができる。農業機械１００は、作業機３００を引きながら、作業機３００に所定の作業を実行させることができる。連結装置は、車両本体１１０の前方に設けられていてもよい。その場合、農業機械１００の前方に作業機を接続することができる。

図３０に示す作業機３００は、例えば、ロータリカルチである。作物列を走行するときにトラクタなどの作業車両に牽引または装着される作業機３００は、畝立、中耕、土寄、除草、追肥、防除などの畝間作業に使用され得るものであれば、任意である。

図３１は、農業機械１００および作業機３００の概略的な構成の例を示すブロック図である。農業機械１００と作業機３００は、連結装置１０８に含まれる通信ケーブルを介して互いに通信することができる。

図３１の例における農業機械１００は、撮像装置１２０、測位装置１３０、障害物センサ１３６、操作端末２００に加え、駆動装置１４０、ステアリングホイールセンサ１５０、切れ角センサ１５２、制御システム１６０、通信インタフェース（ＩＦ）１９０、操作スイッチ群２１０、およびブザー２２０を備える。測位装置１３０は、ＧＮＳＳ受信機１３１と、慣性計測装置（ＩＭＵ）１２５とを備える。制御システム１６０は、記憶装置１７０と、制御装置１８０とを備える。制御装置１８０は、複数の電子制御ユニット（ＥＣＵ）１８１から１８６を備える。作業機３００は、駆動装置３４０と、制御装置３８０と、通信インタフェース（ＩＦ）３９０とを備える。なお、図３１には、農業機械１００による自動操舵または自動走行の動作との関連性が相対的に高い構成要素が示されており、それ以外の構成要素の図示は省略されている。

測位装置１３０は、ＧＮＳＳを利用して農業機械１００の測位を行う。測位装置１３０がＲＴＫ受信機を備える場合、複数のＧＮＳＳ衛星から送信されるＧＮＳＳ信号に加えて、基準局から送信される補正信号が利用される。基準局は、農業機械１００が走行する圃場の周囲（例えば、農業機械１００から１０ｋｍ以内の位置）に設置され得る。基準局は、複数のＧＮＳＳ衛星から受信したＧＮＳＳ信号に基づいて補正信号を生成し、測位装置１３０に送信する。測位装置１３０におけるＧＮＳＳ受信機１３１は、複数のＧＮＳＳ衛星から送信されるＧＮＳＳ信号を受信する。測位装置１３０は、ＧＮＳＳ信号および補正信号に基づき、農業機械１００の位置を計算することにより、測位を行う。ＲＴＫ－ＧＮＳＳを用いることにより、例えば誤差数ｃｍの精度で測位を行うことが可能である。緯度、経度および高度の情報を含む位置情報が、ＲＴＫ－ＧＮＳＳによる高精度の測位によって取得される。なお、測位方法はＲＴＫ－ＧＮＳＳに限らず、必要な精度の位置情報が得られる任意の測位方法（干渉測位法または相対測位法など）を用いることができる。例えば、ＶＲＳ（Virtual Reference Station）またはＤＧＰＳ（Differential Global Positioning System）を利用した測位を行ってもよい。

ＩＭＵ１３５は、３軸加速度センサおよび３軸ジャイロスコープを備える。ＩＭＵ１３５は、３軸地磁気センサなどの方位センサを備えていてもよい。ＩＭＵ１３５は、モーションセンサとして機能し、農業機械１００の加速度、速度、変位、および姿勢などの諸量を示す信号を出力することができる。測位装置１３０は、ＧＮＳＳ信号および補正信号に加えて、ＩＭＵ１３５から出力された信号に基づいて、農業機械１００の位置および向きをより高い精度で推定することができる。ＩＭＵ１３５から出力された信号は、ＧＮＳＳ信号および補正信号に基づいて計算される位置の補正または補完に用いられ得る。ＩＭＵ１３５は、ＧＮＳＳ信号よりも高い頻度で信号を出力する。その高頻度の信号を利用して、農業機械１００の位置および向きをより高い頻度（例えば、１０Ｈｚ以上）で計測することができる。ＩＭＵ１３５に代えて、３軸加速度センサおよび３軸ジャイロスコープを別々に設けてもよい。ＩＭＵ１３５は、測位装置１３０とは別の装置として設けられていてもよい。

測位装置１３０は、ＧＮＳＳ受信機１３１およびＩＭＵ１３５に加えて、他の種類のセンサを備えていてもよい。農業機械１００が走行する環境によっては、これらのセンサからのデータに基づいて農業機械１００の位置および向きを高い精度で推定することができる。

このような測位装置１３０を利用することにより、前述した作物列検出システム１０００によって検出した作物列の地図を作製することも可能である。

駆動装置１４０は、例えば前述の原動機１０２、変速装置１０３、デフロック機構を含む差動装置、操舵装置１０６、および連結装置１０８などの、農業機械１００の走行および作業機３００の駆動に必要な各種の装置を含む。原動機１０２は、例えばディーゼル機関などの内燃機関を備える。駆動装置１４０は、内燃機関に代えて、あるいは内燃機関とともに、トラクション用の電動モータを備えていてもよい。

ステアリングホイールセンサ１５０は、農業機械１００のステアリングホイールの回転角を計測する。切れ角センサ１５２は、操舵輪である前輪１０４Ｆの切れ角を計測する。ステアリングホイールセンサ１５０および切れ角センサ１５２による計測値は、制御装置１８０による操舵制御に利用される。

記憶装置１７０は、フラッシュメモリまたは磁気ディスクなどの１つ以上の記憶媒体を含む。記憶装置１７０は、各センサ、および制御装置１８０が生成する各種のデータを記憶する。記憶装置１７０が記憶するデータには、農業機械１００が走行する環境内の地図データ、および自動操舵の目標経路のデータが含まれ得る。記憶装置１７０は、制御装置１８０における各ＥＣＵに、後述する各種の動作を実行させるコンピュータプログラムも記憶する。そのようなコンピュータプログラムは、記憶媒体（例えば半導体メモリまたは光ディスク等）または電気通信回線（例えばインターネット）を介して農業機械１００に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。

制御装置１８０は、複数のＥＣＵを含む。複数のＥＣＵは、画像認識用のＥＣＵ１８１、速度制御用のＥＣＵ１８２、ステアリング制御用のＥＣＵ１８３、自動操舵制御用のＥＣＵ１８４、作業機制御用のＥＣＵ１８５、表示制御用のＥＣＵ１８６、およびブザー制御用のＥＣＵ１８７を含む。画像認識用のＥＣＵ１８１は、作物列検出システムの処理装置として機能する。ＥＣＵ１８２は、駆動装置１４０に含まれる原動機１０２、変速装置１０３、およびブレーキを制御することによって農業機械１００の速度を制御する。ＥＣＵ１８３は、ステアリングホイールセンサ１５０の計測値に基づいて、操舵装置１０６に含まれる油圧装置または電動モータを制御することにより、農業機械１００のステアリングを制御する。ＥＣＵ１８４は、測位装置１３０、ステアリングホイールセンサ１５０、および切れ角センサ１５２から出力される信号に基づいて、自動操舵運転を実現するための演算および制御を行う。自動操舵運転中、ＥＣＵ１８４は、ＥＣＵ１８３に操舵角の変更の指令を送る。ＥＣＵ１８３は、当該指令に応答して操舵装置１０６を制御することによって操舵角を変化させる。ＥＣＵ１８５は、作業機３００に所望の動作を実行させるために、連結装置１０８の動作を制御する。ＥＣＵ１８５はまた、作業機３００の動作を制御する信号を生成し、その信号を通信ＩＦ１９０から作業機３００に送信する。ＥＣＵ１８６は、操作端末２００の表示を制御する。ＥＣＵ１８６は、例えば、操作端末２００における表示装置に、圃場のマップ、検出された作物列、マップ中の農業機械１００の位置および目標経路、ポップアップ通知、設定画面などの様々な表示を実現させる。ＥＣＵ１８７は、ブザー２２０による警告音の出力を制御する。

これらのＥＣＵの働きにより、制御装置１８０は、手動操舵または自動操舵による運転を実現する。通常の自動操舵運転時において、制御装置１８０は、測位装置１３０によって計測または推定された農業機械１００の位置と、記憶装置１７０に記憶された目標経路とに基づいて、駆動装置１４０を制御する。これにより、制御装置１８０は、農業機械１００を目標経路に沿って走行させる。一方、作物列に沿って走行する列倣い走行制御モードでは、画像認識用のＥＣＵ１８１が、検出した作物列から作物列のエッジラインを決定し、このエッジラインに基づく目標経路を生成する。制御装置１８０は、この目標経路に従った動作を実行する。

制御装置１８０に含まれる複数のＥＣＵは、例えばＣＡＮ（Controller Area Network）などのビークルバス規格に従って、相互に通信することができる。図３１において、ＥＣＵ１８１から１８７のそれぞれは、個別のブロックとして示されているが、これらのそれぞれの機能が、複数のＥＣＵによって実現されていてもよい。また、ＥＣＵ１８１から１８７の少なくとも一部の機能を統合した車載コンピュータが設けられていてもよい。制御装置１８０は、ＥＣＵ１８１から１８７以外のＥＣＵを備えていてもよく、機能に応じて任意の個数のＥＣＵが設けられ得る。各ＥＣＵは、１つ以上のプロセッサを含む制御回路を備える。

通信ＩＦ１９０は、作業機３００の通信ＩＦ３９０と通信を行う回路である。通信ＩＦ１９０は、例えばＩＳＯＢＵＳ－ＴＩＭ等のＩＳＯＢＵＳ規格に準拠した信号の送受信を、作業機３００の通信ＩＦ３９０との間で実行する。これにより、作業機３００に所望の動作を実行させたり、作業機３００から情報を取得したりすることができる。通信ＩＦ１９０は、有線または無線のネットワークを介して外部のコンピュータと通信してもよい。外部のコンピュータは、例えば、圃場に関する情報をクラウド上で一元管理し、クラウド上のデータを活用して農業を支援する営農支援システムにおけるサーバコンピュータであってもよい。

操作端末２００は、農業機械１００の走行および作業機３００の動作に関する操作をユーザが実行するための端末であり、バーチャルターミナル（ＶＴ）とも称される。操作端末２００は、タッチスクリーンなどの表示装置、および／または１つ以上のボタンを備え得る。ユーザは、操作端末２００を操作することにより、例えば自動操舵モードのオン／オフの切り替え、クルーズコントロールのオン／オフの切り替え、農業機械１００の初期位置の設定、目標経路の設定、地図の記録または編集、２ＷＤ／４ＷＤの切り替え、デフロックのオン／オフの切り替え、および作業機３００のオン／オフの切り替えなどの種々の操作を実行することができる。これらの操作の少なくとも一部は、操作スイッチ群２１０を操作することによっても実現できる。操作端末２００への表示は、ＥＣＵ１８６によって制御される。

ブザー２２０は、ユーザに異常を報知するための警告音を発する音声出力装置である。ブザー２２０は、例えば、自動操舵運転時に、農業機械１００が目標経路から所定距離以上逸脱した場合に警告音を発する。ブザー２２０の代わりに、操作端末２００のスピーカによって同様の機能が実現されてもよい。ブザー２２０は、ＥＣＵ１８６によって制御される。

作業機３００における駆動装置３４０は、作業機３００が所定の作業を実行するために必要な動作を行う。駆動装置３４０は、例えば油圧装置、電気モータ、またはポンプなどの、作業機３００の用途に応じた装置を含む。制御装置３８０は、駆動装置３４０の動作を制御する。制御装置３８０は、通信ＩＦ３９０を介して農業機械１００から送信された信号に応答して、駆動装置３４０に各種の動作を実行させる。また、作業機３００の状態に応じた信号を通信ＩＦ３９０から農業機械１００に送信することもできる。

以上の実施形態において、農業機械１００は、無人で自動運転を行う作業車両であってもよい。その場合には、キャビン、運転席、ステアリングホイール、操作端末などの、有人運転にのみ必要な構成要素は、農業機械１００に設けられていなくてもよい。無人の作業車両は、自律走行、またはユーザによる遠隔操作によって、前述の各実施形態における動作と同様の動作を実行してもよい。

実施形態における各種の機能を提供するシステムを、それらの機能を有しない農業機械に後から取り付けることもできる。そのようなシステムは、農業機械とは独立して製造および販売され得る。そのようなシステムで使用されるコンピュータプログラムも、農業機械とは独立して製造および販売され得る。コンピュータプログラムは、例えばコンピュータが読み取り可能な非一時的な記憶媒体に格納されて提供され得る。コンピュータプログラムは、電気通信回線（例えばインターネット）を介したダウンロードによっても提供され得る。

本開示の技術は、例えば、乗用管理機、野菜移植機、トラクタなどの農業機械に適用することができる。

１０・・・地面、１２・・・作物列、１４・・・中間領域（作業通路）、４０・・・画像、４２・・・強調画像、４４・・・上面視画像、１００・・・農業機械、１１０・・・車両本体、１２０・・・撮像装置、１２２・・・処理装置、１２４・・・自動操舵装置

Claims (10)

1. 農業機械に取り付けられ、前記農業機械が走行する地面を撮影して前記地面の少なくとも一部を含む時系列カラー画像を取得する撮像装置と、
   前記時系列カラー画像の画像処理を行う処理装置と、
   を備え、
   前記処理装置は、
   前記時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成し、
   前記強調画像から、前記作物列の色の指標値が閾値以上の第１画素と、前記指標値が前記閾値未満の第２画素とに分類された、前記地面の上方から見た上面視画像を生成し、
   前記上面視画像において複数の角度のそれぞれの方向に延びる複数の走査ラインに沿って前記第１画素の前記指標値を積算して積算値を求め、前記複数の角度のそれぞれの方向について前記走査ラインの位置と前記積算値とを関連付けたヒストグラムを作成し、
   前記複数の角度のそれぞれの方向についての前記ヒストグラムを参照し、前記作物列の方向に延びる走査線の角度を前記複数の角度から選択し、決定した角度に関連付けた前記ヒストグラムにおける前記積算値のピークの両側の所定位置から、前記作物列のエッジラインの位置を決定する、作物列検出システム。
2. 前記処理装置は、
   前記上面視画像の一部または全部を複数のブロックに分割して、前記複数のブロックのそれぞれについて、前記エッジラインの位置を決定する、請求項１に記載の作物列検出システム。
3. 前記複数のブロックは、前記上面視画像内において、画像水平方向又は画像垂直方向のいずれかの方向に連続する帯形状を有し、
   前記処理装置は、前記農業機械の進行方向とは異なる方向の帯形状に基づいて、前記作物列のエッジラインを決定する請求項２に記載の作物列検出システム。
4. 前記処理装置は、前記複数のブロックのそれぞれにおける前記エッジラインの位置に基づいて、前記作物列が延びる方向を決定する、請求項２または３に記載の作物列検出シス
   テム。
5. 前記上面視画像は、前記地面に沿った基準平面を、前記基準平面の法線方向における真上から見た俯瞰画像であり、
   前記処理装置は、前記時系列カラー画像、または前記時系列カラー画像の前処理画像から、ホモグラフィ変換によって前記俯瞰画像を生成する、請求項１から４のいずれか１項に記載の作物列検出システム。
6. 前記基準平面は、作物が作付けされる地面の凹凸に応じて設定された所定の距離だけ、前記地面における前記凹凸の底部から上方に変位している、請求項５に記載の作物列検出システム。
7. 前記処理装置は、前記作物列の前記エッジラインの位置に基づいて、目標経路を生成して出力する、請求項１から６のいずれか１項に記載の作物列検出システム。
8. 請求項１から７のいずれか１項に記載される作物列検出システムを備える農業機械であって、
   操舵輪を含む走行装置と、
   前記作物列検出システムが決定した前記作物列の前記エッジラインの位置に基づいて、前記操舵輪の操舵角を制御する自動操舵装置と、
   を備える、農業機械。
9. 前記作物列検出システムの前記処理装置は、前記時系列カラー画像に基づいて、前記作物列の前記エッジラインと前記操舵輪との位置関係をモニタし、位置誤差信号を前記自動操舵装置に与える、請求項８に記載の農業機械。
10. コンピュータに実装される作物列検出方法であって、
    農業機械に取り付けられた撮像装置から、前記農業機械が走行する地面を撮影した、前記地面の少なくとも一部を含む時系列カラー画像を取得すること、
    前記時系列カラー画像から、検出対象である作物列の色を強調した強調画像を生成すること、
    前記強調画像から、前記作物列の色の指標値が閾値以上の第１画素と、前記指標値が前記閾値未満の第２画素とに分類された、前記地面の上方から見た上面視画像を生成すること、
    前記上面視画像において複数の角度のそれぞれの方向に延びる複数の走査ラインに沿って前記第１画素の前記指標値を積算して積算値を求め、前記複数の角度のそれぞれの方向について前記走査ラインの位置と前記積算値とを関連付けたヒストグラムを作成することと、
    前記複数の角度のそれぞれの方向についての前記ヒストグラムを参照し、前記作物列の方向に延びる走査線の角度を前記複数の角度から選択し、決定した角度に関連付けた前記ヒストグラムにおける前記積算値のピークの両側の所定位置から、前記作物列のエッジラインの位置を決定することと、
    をコンピュータに実行させる、作物列検出方法。