JP7530601B2 - SYSTEM, HARVESTER, AND CONTROL METHOD AND PROGRAM FOR INFORMATION PROCESSING DEVICE - Patent application - Google Patents
SYSTEM, HARVESTER, AND CONTROL METHOD AND PROGRAM FOR INFORMATION PROCESSING DEVICE - Patent application Download PDFInfo
- Publication number
- JP7530601B2 JP7530601B2 JP2020203273A JP2020203273A JP7530601B2 JP 7530601 B2 JP7530601 B2 JP 7530601B2 JP 2020203273 A JP2020203273 A JP 2020203273A JP 2020203273 A JP2020203273 A JP 2020203273A JP 7530601 B2 JP7530601 B2 JP 7530601B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- distance
- information processing
- ridge
- farmland
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Harvester Elements (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Guiding Agricultural Machines (AREA)
- Combines (AREA)
Description
本開示は、特に、収穫作業を補助するシステム、収穫機、収穫作業を補助する方法、および収穫作業を補助する情報処理装置を制御するプログラムに関する。 The present disclosure relates in particular to a system for assisting harvesting operations, a harvester, a method for assisting harvesting operations, and a program for controlling an information processing device for assisting harvesting operations.
従来、畝に生育している農作物を収穫する収穫機が知られている。このような収穫機として、たとえば特開平６－２３３６０６号公報（特許文献１）には、刈取部の高さを自動制御する構成が開示されている。当該刈取部には、超音波センサが取付けられている。収穫機は、超音波センサにより、対地高さを検出する。 Conventionally, harvesters that harvest agricultural crops growing on ridges are known. For example, Japanese Patent Laid-Open Publication No. 6-233606 (Patent Document 1) discloses a configuration for automatically controlling the height of the reaping unit of such a harvester. An ultrasonic sensor is attached to the reaping unit. The harvester detects the height above the ground using the ultrasonic sensor.
畝には農作物が生育しているため、特許文献１では、超音波センサから畝までの距離（対地高さ）を正確に計測できない。
Because crops grow on the ridges, the method disclosed in
本開示は、センサから畝までの距離をより正確に計測可能なシステム、収穫機、方法、およびプログラムを提供することにある。 The present disclosure aims to provide a system, harvester, method, and program that can more accurately measure the distance from a sensor to a furrow.
本開示のある局面に従うと、刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助するシステムは、情報処理装置と、刈取部に下向きに設置された第１のカメラと、刈取部に下向きに設置された第１のセンサとを備える。第１のカメラは、刃の前方に位置し、かつ農作物が畝に生育した農地を撮像する。第１のカメラは、撮像によって得られた第１の画像データを情報処理装置に出力する。第１のセンサは、農地をセンシングし、かつセンシングによって得られた、第１のセンサから農地までの距離を表す第２の画像データを情報処理装置に出力する。情報処理装置は、第１の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出する。情報処理装置は、抽出の結果と、第２の画像データとに基づき、第１のセンサから畝までの第１の距離を決定する。情報処理装置は、第１の距離と予め定められた第１の基準距離との差分に基づいた第１の信号を出力する。 According to one aspect of the present disclosure, a system for assisting harvesting operations using a harvester in which a cutting unit having a blade is movable in an up-down direction relative to a main body unit includes an information processing device, a first camera installed facing downward on the cutting unit, and a first sensor installed facing downward on the cutting unit. The first camera is located in front of the blade and captures an image of farmland in which crops are grown in ridges. The first camera outputs first image data obtained by the image capture to the information processing device. The first sensor senses the farmland and outputs second image data obtained by the sensing and representing a distance from the first sensor to the farmland to the information processing device. The information processing device extracts at least an image area of the ridge from the image of the farmland based on the first image data. The information processing device determines a first distance from the first sensor to the ridge based on the result of the extraction and the second image data. The information processing device outputs a first signal based on the difference between the first distance and a predetermined first reference distance.
本開示の他の局面に従うと、収穫機は、本体部と、刃を有し、かつ本体部に対して上下方向に移動可能な刈取部と、コントローラと、刈取部に下向きに設置されたカメラと、刈取部に下向きに設置されたセンサとを備える。カメラは、刃の前方に位置し、かつ農作物が畝に生育した農地を撮像する。カメラは、撮像によって得られた第１の画像データをコントローラに出力する。センサは、農地をセンシングし、かつセンシングによって得られた、センサから農地までの距離を表す第２の画像データをコントローラに出力する。コントローラは、第１の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出する。コントローラは、抽出の結果と、第２の画像データとに基づき、センサから畝までの距離を決定する。コントローラは、決定された距離と予め定められた基準距離との差分に基づいて、刈取部の上下方向の位置を制御する。 According to another aspect of the present disclosure, a harvester includes a main body, a reaping unit having a blade and movable in an up-down direction relative to the main body, a controller, a camera installed facing downward on the reaping unit, and a sensor installed facing downward on the reaping unit. The camera is located in front of the blade and captures an image of farmland in which crops grow in ridges. The camera outputs first image data obtained by the image capture to the controller. The sensor senses the farmland and outputs second image data obtained by the sensing and representing the distance from the sensor to the farmland to the controller. The controller extracts at least an image area of the ridges from the image of the farmland based on the first image data. The controller determines the distance from the sensor to the ridges based on the result of the extraction and the second image data. The controller controls the up-down position of the reaping unit based on the difference between the determined distance and a predetermined reference distance.
本開示のさらに他の局面に従うと、刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助する方法は、刈取部に下向きに設置されたカメラから、刃の前方に位置しかつ農作物が畝に生育した農地を撮像することによって得られた第１の画像データを取得するステップと、刈取部に下向きに設置されたセンサから、農地をセンシングすることによって得られた、センサから農地までの距離を表す第２の画像データを取得するステップと、第１の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出するステップと、抽出の結果と、第２の画像データとに基づき、センサから畝までの距離を決定するステップと、決定された距離と予め定められた基準距離との差分に基づいた信号を出力するステップとを備える。 According to yet another aspect of the present disclosure, a method for assisting harvesting operations using a harvester in which a cutting unit having a blade is movable in an up-down direction relative to a main body unit includes the steps of: acquiring, from a camera mounted facing downward on the cutting unit, first image data obtained by imaging a field located in front of the blade and in which crops are grown in ridges; acquiring, from a sensor mounted facing downward on the cutting unit, second image data representing the distance from the sensor to the field obtained by sensing the field; extracting at least an image area of the ridges from the image of the field based on the first image data; determining the distance from the sensor to the ridges based on the result of the extraction and the second image data; and outputting a signal based on the difference between the determined distance and a predetermined reference distance.
本開示のさらに他の局面に従うと、刃を有する刈取部が本体部に対して上下方向に移動可能な収穫機を用いた収穫作業を補助する情報処理装置を制御するプログラムは、刈取部に下向きに設置されたカメラから、刈取部の前方に位置しかつ農作物が畝に生育した農地を撮像することによって得られた第１の画像データを取得するステップと、刈取部に下向きに設置されたセンサから、農地をセンシングすることによって得られた、センサから農地までの距離を表す第２の画像データを取得するステップと、第１の画像データに基づき、農地の画像から少なくとも畝の画像領域を抽出するステップと、抽出の結果と、第２の画像データとに基づき、センサから畝までの距離を決定するステップと、決定された距離と予め定められた基準距離との差分に基づいた信号を出力するステップとを、情報処理装置のプロセッサに実行させる。 In accordance with yet another aspect of the present disclosure, a program for controlling an information processing device that assists in harvesting operations using a harvester in which a cutting unit having a blade is movable in an up-down direction relative to a main body unit causes a processor of the information processing device to execute the following steps: acquiring first image data obtained by imaging a farmland located in front of the cutting unit and in which crops are grown in ridges from a camera installed facing downward on the cutting unit; acquiring second image data obtained by sensing the farmland from a sensor installed facing downward on the cutting unit, the second image data representing the distance from the sensor to the farmland; extracting at least an image area of the ridges from the image of the farmland based on the first image data; determining the distance from the sensor to the ridges based on the result of the extraction and the second image data; and outputting a signal based on the difference between the determined distance and a predetermined reference distance.
本開示によれば、センサから畝までの距離を従来よりも正確に計測可能となる。 This disclosure makes it possible to measure the distance from the sensor to the ridge more accurately than ever before.
以下、図面を参照しつつ、本発明の各実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Each embodiment of the present invention will be described below with reference to the drawings. In the following description, identical parts are given the same reference numerals. Their names and functions are also the same. Therefore, detailed descriptions thereof will not be repeated.
各実施形態における構成を適宜組み合わせて用いることは当初から予定されていることである。また、一部の構成要素を用いない場合もある。 It is planned from the beginning that the configurations in each embodiment will be used in appropriate combinations. In addition, there may be cases where some components are not used.
以下、収穫機について、図面を参照しながら説明する。なお、以下の説明において、「上」，「下」，「前」，「後」，「左」，「右」とは、収穫機の運転席に着座したオペレータを基準とする用語である。 The harvester will be described below with reference to the drawings. In the following description, the terms "upper," "lower," "front," "rear," "left," and "right" are used with reference to the operator seated in the driver's seat of the harvester.
収穫機は、畝に生育した農作物を収穫する車両である。収穫機は、主として、農作物の実（果物、野菜）の部分を収穫する車両である。農作物としては、たとえば、無支柱栽培で育つ作物（トマト、ナス等）、畝上に育つ果菜類（トマト、南瓜、ピーマン等）、地面上の農作物、匍匐茎（ホフクケイ）を有する農作物が挙げられる。 A harvester is a vehicle that harvests agricultural crops that have grown on ridges. A harvester is a vehicle that primarily harvests the fruit (vegetable) portion of the crop. Examples of agricultural crops include crops that are grown without supports (tomatoes, eggplants, etc.), fruit vegetables that grow on ridges (tomatoes, squash, peppers, etc.), agricultural crops that grow on the ground, and agricultural crops that have stolon (stolons).
収穫機１は、好適には、農作物の実の一例である加工用トマトの収穫に用いられる。なお、加工用トマトは、太陽をたくさん浴びられるよう茎が地（畝面）を這うよう生育する。
The
雑草抑制、乾燥防止等の観点から、典型的には黒色のマルチシートによって畝が覆われている場合もある。本例では、畝の表面（畝面）がマルチシートで覆われている場合を例に挙げて説明する。しかしながら、これに限定されず、畝面がマルチシートで覆われていない場合にも、本実施の形態の処理を適用できる。 In order to suppress weeds and prevent drying, the ridges may be covered with a mulch sheet, which is typically black. In this example, we will explain the case where the surface of the ridge (ridge surface) is covered with a mulch sheet. However, this is not limited to this, and the processing of this embodiment can also be applied to cases where the ridge surface is not covered with a mulch sheet.
［実施の形態１］
図１は、本実施の形態に係る収穫機１の全体構成を説明するための外観図である。図１（Ａ)は、収穫機１の上面図である。図１（Ｂ）は、収穫機１の左側側面図である。
[First embodiment]
Fig. 1 is an external view for explaining the overall configuration of a
図１（Ａ）および図１（Ｂ）を参照して、収穫機１は、刈取部２と、本体部３とを備える。刈取部２は、ピックアップ装置とも称される。刈取部２は、ピックアップコンベア２０１を含む。本体部３は、運転席４と、分別装置５と、側部コンベア６と、エレベータ７と、左右の補助輪８Ｒ，８Ｌと、左右の前輪９Ｒ，９Ｌと、左右の後輪１０Ｒ，１０Ｌとを備える。
Referring to FIG. 1(A) and FIG. 1(B), the
収穫機１は、農地の畝９１０に沿って畝上を走行する。収穫機１は、矢印Ｆの方向に前進する。左右の前輪９Ｒ，９Ｌと、左右の後輪１０Ｒ，１０Ｌとは、畝９１０と畝９１０との間の通路（以下、「畝通路」とも称する）に接地している。なお、図１のＸＹＺ座標系は、収穫機１におけるローカル座標系である。
The
刈取部２は、畝９１０に生育した農作物（茎、葉、および実）の茎部を切断し、切断された農作物を実線および破線の矢印に示すように、運転席４の後方の分別装置５に送る。畝９１０は、マルチシート（図３参照）によって覆われている。
The
分別装置５は、農作物を、茎および葉の部分と、実の部分とに分別する。分別装置５は、茎および葉を後方の農地に排出する。分別装置５は、実を側部コンベア６に排出する。
The
側部コンベア６は、実をエレベータ７へと搬送する。エレベータ７は、収穫機１と併走するトラック（図示せず）の荷台に実を排出する。
The
図２は、収穫機１の刈取部２を拡大した要部拡大図である。
図２を参照して、刈取部２は、ピックアップコンベア２０１と、アーム部２０２と、刈取刃２０３とを含む。アーム部２０２は、複数のアームで構成されている。各アームは、等間隔にＹ軸方向に配置されている。
FIG. 2 is an enlarged view of the reaping
2, the reaping
収穫機１が前進するに伴い、アーム部２０２のアーム間には、農作物の茎の部分が入り込む。その後、収穫機１のさらなる前進に伴い、茎の部分が刈取刃２０３によって切断される。刈取刃２０３によって切断（刈取）された農作物（正確には、畝に残った茎の部分を除く農作物の一部）は、収穫機１のさらなる前進に伴い、ピックアップコンベア２０１に運ばれる。ピックアップコンベア２０１は、刈り取られた農作物（茎の一部および実）を分別装置５に送る。
As the
図３は、畝９１０と刈取部２の刈取刃２０３との関係を説明するための図である。
図３を参照して、農地９００に形成された畝９１０は、畝面９１１と、傾斜面９１２とを有する。畝面９１１は、畝天面とも称される。畝９１０と畝９１０との間には，畝通路９２０が設けられている。
FIG. 3 is a diagram for explaining the relationship between the
3, a
なお、傾斜面９１２は、畝９１０の端部である。傾斜面９１２は、畝面９１１と畝通路９２０とを接続している。畝通路９２０は、畝９１０に沿った通路である。畝通路９２０は、畝と畝との間の畝よりも低い土の部分である。畝通路９２０は、人による作業のため、および収穫機１の前輪９Ｒ，９Ｌおよび後輪１０Ｒ，１０Ｌが通過するために、農地９００に設けられている。
The
畝９１０には、農作物９９０が生育している。農作物９９０は、茎９９１と、茎９９１になった実９９２とを有する。畝９１０は、マルチシート９５０で覆われている。詳しくは、少なくとも畝面９１１と傾斜面９１２とがマルチシート９５０で覆われている。
刈取刃２０３を畝面９１１に接近させた状態で、刈取刃２０３によって農作物９９０の茎９９１の部分（畝面９１１に近い部分）が切断される。刈取刃２０３は、畝面９１１に極力近づけることが好ましい。刈取刃２０３の位置が畝面９１１から上方に離れすぎると、実９９２を切断してしまうおそれがあるためである。
When the
図４は、収穫機１を前面から見た図である。
図４を参照して、収穫機１は、情報処理システム１００と、アクチュエータ１１Ｒ，１１Ｌと、支持フレーム１２，１３とをさらに備える。情報処理システム１００は、デプスカメラ１１０と、情報処理装置１３０と、表示装置１４０，１６０とを備える。
FIG. 4 is a front view of the
4 , the
運転席４は、ハンドル４０１と、座席４０２と、操作盤４０３とを備える。操作盤４０３は、操作部４１１を有する。本例では、運転席４に、情報処理装置１３０が設置されている。なお、情報処理装置１３０は、運転席４以外に設置されてもよい。
The driver's
アクチュエータ１１Ｒ，１１Ｌは、操作部４１１に対するオペレータ操作に基づき、刈取刃２０３を有する刈取部２を本体部３に対して上下方向に移動させる。アクチュエータ１１Ｒ，１１Ｌは、たとえば油圧シリンダである。操作部４１１は、アクチュエータ１１Ｒを動作（シリンダを伸張）させるスイッチと、アクチュエータ１１Ｌを動作させるスイッチとを備える。
The
収穫機１の前面視（図４の状態）において、刈取部２は本体部３に対して傾斜可能である。アクチュエータ１１Ｒ，１１Ｌの一方を動作させることにより、刈取部２は本体部３に対して傾斜する。また、アクチュエータ１１Ｒ，１１Ｌの一方の動作量を他方の動作量と異ならせることにより、刈取部２は本体部３に対して傾斜する。このように、収穫機１の前面視において、刈取部２は本体部３に対して傾斜可能（ＸＹ平面に平行な平面内で傾斜可能）である。
In a front view of the harvester 1 (as shown in Figure 4), the reaping
アクチュエータ１１Ｒが矢印８１０Ｒの方向に移動すると、刈取部２の先端部は矢印８２０Ｒの方向（上下方向）に移動する。アクチュエータ１１Ｌが矢印８１０Ｌの方向に移動すると、刈取部２の先端部は矢印８２０Ｌの方向（上下方向）に移動する。
When actuator 11R moves in the direction of
支持フレーム１２は、刈取部２に取付けられている。支持フレーム１２は、ピックアップコンベア２０１の移動方向とは垂直な方向（Ｙ軸方向）に伸びている。支持フレーム１２は、表示装置１４０，１６０を支持する。
The
支持フレーム１３は、刈取部２に取付けられている。支持フレーム１３は、支持フレーム１２よりも前方に取付けられている。支持フレーム１３の後端側が刈取部２に取付けられている。支持フレーム１３は、支持フレーム１３の前端側においてデプスカメラ１１０を支持する。本例では、支持フレーム１３は、複数の部材が連結されて構成されている。
The
デプスカメラ１１０は、刈取部２の横方向（Ｙ軸方向）の中央位置に設置されている。デプスカメラ１１０は、ピックアップコンベア２０１の横方向の中央位置に設置されている。
The
デプスカメラ１１０は、被写体までの距離を測定する。詳細については後述するが、本例の場合、デプスカメラ１１０は、農地９００までの距離（高さ）を測定する。
The
情報処理装置１３０は、デプスカメラ１１０からの入力を処理し、表示装置１４０，１６０に対して信号を出力する。情報処理装置１３０による情報処理については、後述する。
The
表示装置１４０，１６０は、収穫機１の運転席４の前方に設置されている。表示装置１４０，１６０は、支持フレーム１２の中央部（Ｙ軸方向中央部）に設置されている。表示装置１４０，１６０は、ピックアップコンベア２０１のＹ軸方向の中心部の上方に設置されている。表示装置１４０，１６０は、本例では、ＬＥＤを用いたレベルメータである。
The
表示装置１４０は、レベルの表示が収穫機１に対して上下方向に変化する向きに設置されている。表示装置１４０は、支持フレーム１２に対して鉛直方向に設置されている。
The
表示装置１６０は、レベルの表示が収穫機１に対して左右方向に変化する向きに設置されている。表示装置１６０は、支持フレーム１２に対して水平方向に設置されている。
The
図５は、収穫機１の刈取部２側を拡大した拡大図である。
図５を参照して、収穫機１は、上述したように、デプスカメラ１１０と、情報処理装置１３０と、表示装置１４０，１６０と、アクチュエータ１１Ｒ，１１Ｌと、支持フレーム１２，１３とを備える。
FIG. 5 is an enlarged view of the reaping
5, the
デプスカメラ１１０は、刈取部２に下向きに設置されている。デプスカメラ１１０は、刈取部２の刈取刃２０３の前方かつ上方に設置されている。
The
表示装置１４０，１６０は、表示面が運転席４の方向を向く姿勢で固定されている。
図６は、デプスカメラ１１０の外観を示した図である。
The
FIG. 6 is a diagram showing the external appearance of the
図６を参照して、デプスカメラ１１０は、カメラ１１１と、センサ１１２とを備える。センサ１１２は、赤外線プロジェクタ１１２１と、赤外線ステレオカメラ１１２２とを備える。赤外線ステレオカメラ１１２２は、２つの赤外線カメラ１１２２Ｒ，１１２３Ｌにより構成される。
Referring to FIG. 6, the
本例では、上記のように、カメラ１１１とセンサ１１２とが１つの筐体に収容されている。なお、デプスカメラは知られているため、ここでは、デプスカメラ１１０の詳細な構成およびデータ処理の詳細については、繰り返し説明しない。
In this example, as described above, the
図７は、デプスカメラ１１０による撮像を説明するための図である。
図７を参照して、カメラ１１１は、刈取刃２０３の前方に位置する農作物９９０が生育した農地９００を撮像し、かつ撮像によって得られた画像データを情報処理装置１３０に出力する。本例では、カメラ１１１は、撮像した被写体をＲＧＢ画像として出力する。カメラ１１１は、少なくとも動画像（映像）を撮像する。カメラ１１１は、ＲＧＢ画像データをリアルタイムに情報処理装置１３０に送信する。
FIG. 7 is a diagram for explaining imaging by the
7, the
センサ１１２は、農地９００をセンシングし、かつセンシングによって得られた、センサ１１２から農地９００までの距離を表す画像データを情報処理装置１３０に出力する。詳しくは、赤外線ステレオカメラ１１２２が、距離を表す画像データを情報処理装置１３０にリアルタイムに送信する。
The
本例では、少なくとも、デプスカメラ１１０によって、畝９１０までの距離を測定する。詳しくは、本例では、デプスカメラ１１０によって、少なくとも畝面９１１までの距離を測定する。
In this example, at least the distance to the
図８は、表示装置１４０，１６０を説明するための図である。
図８を参照して、表示装置１４０は、複数のＬＥＤ１４１～１４９を有する。表示装置１６０は、複数のＬＥＤ１６１～１６９を有する。
FIG. 8 is a diagram for explaining the
8, the
詳細については後述するが、表示装置１４０は、ＬＥＤ１４１～１４９の少なくとも１つを発光することによって、刈取部２（詳しくは、刈取刃２０３）の基準位置（適正位置）からの高さ方向（Ｚ軸方向）のズレ量を表す。
As will be described in more detail below, the
表示装置１６０は、ＬＥＤ１６１～１６９の少なくとも１つを発光することによって、刈取部２（詳しくは、刈取刃２０３）の基準位置（適正位置）からの左右方向（横方向、Ｙ軸方向）のズレ量を表す。
The
以下では、説明の便宜上、収穫機１が農作物の実として加工用のトマトを収穫する場合を例に挙げて説明する。なお、上述したように、農作物は、これに限定されるものではない。
For ease of explanation, the following description will be given using an example in which the
図９は、情報処理装置１３０の構成を説明するための図である。
図９を参照して、情報処理装置１３０は、プロセッサ１３１０と、メモリ１３２０と、通信インターフェイス１３３０と、通信インターフェイス１３４０とを備える。
FIG. 9 is a diagram illustrating the configuration of the
With reference to FIG. 9 , the
プロセッサ１３１０は、機能ブロックとして、正規化処理部１３１１と、領域抽出部１３１２と、距離決定部１３１３と、距離決定部１３１４と、差分算出部１３１５と、ズレ量算出部１３１６と、表示制御部１３１７とを有する。メモリ１３２０は、ＲＯＭ（Read Only Memory）１３２１と、ＲＡＭ（Random Access Memory）１３２２と、フラッシュメモリ１３２３とを有する。
The
通信インターフェイス１３３０は、デプスカメラ１１０からデータを受信する。通信インターフェイス１３３０は、カメラ１１１からＲＧＢ画像データを受信する。通信インターフェイス１３３０は、センサ１１２から距離を表す画像データ（以下、「距離画像データ」とも称する）を受信する。通信インターフェイス１３３０は、受信した両画像データをプロセッサ１３１０に送る。
The
メモリ１３２０のフラッシュメモリ１３２３には、プロセッサが実行するオペレーティングシステムおよびアプリケーションプログラムが予め格納されている。これらのプログラムは、ＲＡＭ１３２２上に展開される。なお、ＲＯＭ１３２１には、ＢＩＯＳ等のファームウェアが記憶されている。このようなオペレーティングシステムおよびアプリケーションプログラムにより、情報処理装置１３０のデータ処理内容が決定する。これらのプログラムが情報処理装置１３０を制御する。
The operating system and application programs executed by the processor are stored in advance in the
プロセッサ１３１０は、デプスカメラ１１０から送られてきた両画像データに基づいて、データ処理を実行する。以下、プロセッサ１３１０が実行する処理について説明する。
The
正規化処理部１３１１は、ＲＧＢ画像データを正規化する。曇りの場合、日陰の場合、晴れの場合、日向の場合等の周囲環境によって、ＲＧＢ画像データの各色の画素値は変化する。そこで、明るさに影響されず畝面９１１（詳しくは、マルチシートおよび露出した土）を検出するために、正規化処理部１３１１は、ＲＧＢ画像データを正規化する。
The
以下、正規化処理をする理由を、図１０および図１１に基づいて説明する。
図１０は、正規化前のデータを表した図である。図１０（Ａ）は、曇り等の最も暗い場合のＲＧＢ画像データの各色の部分別の画素値の平均値を表した図である。図１０（Ｂ）は、晴れ等の最も明るい場合のＲＧＢ画像データの各色の部分別の画素値の平均値を表した図である。図１０（Ｃ）は、全てのＲＧＢ画像データ（本例では、図１０（Ａ）の画像１枚および図１０（Ａ）のように暗い場合の他の画像９枚の合計１０枚（ＲＧＢ画像データを１０個）と、図１０（Ｂ）の画像１枚および図１０（Ｂ）のように明るい場合の他の画像９枚の合計１０枚（ＲＧＢ画像データを１０個）とから、各色の部分それぞれ１００個の画素データ）の各色の部分別の平均値と標準偏差とを表した図である。
The reason for performing the normalization process will be explained below with reference to FIG. 10 and FIG.
FIG. 10 is a diagram showing data before normalization. FIG. 10(A) is a diagram showing the average value of pixel values for each part of the RGB image data for the darkest case such as cloudy. FIG. 10(B) is a diagram showing the average value of pixel values for each part of the RGB image data for the brightest case such as sunny. FIG. 10(C) is a diagram showing the average value and standard deviation for each part of all RGB image data (in this example, one image of FIG. 10(A) and nine other images in the dark case as in FIG. 10(A) for a total of 10 images (10 pieces of RGB image data), and one image of FIG. 10(B) and nine other images in the bright case as in FIG. 10(B) for a total of 10 images (10 pieces of RGB image data), with 100 pieces of pixel data for each part of each color).
図１０（Ｃ）を参照して、棒グラフが、マルチシート９５０の部分と、葉の部分と、トマトの部分と、土の部分とのＲＧＢの各画素値の平均値を示している。エラーバーは、標準偏差の情報を誤差範囲として棒グラフに付加したものである。
Referring to FIG. 10(C), the bar graph shows the average RGB pixel values for the
各部分のＲの値とＧの値とＢの値とにおいてばらつき（標準偏差）が大きい。それゆえ、トマト以外の部分が、どの部分であるかを判別し難い。 There is a large variation (standard deviation) in the R, G, and B values of each part. Therefore, it is difficult to determine which parts are not tomatoes.
図１１は、正規化後のデータを表した図である。詳しくは、図１１は、各色部分別の平均値と標準偏差とを表した図である。より詳しくは、図１１は、以下の演算処理によって得られる図である。 Figure 11 shows the data after normalization. More specifically, Figure 11 shows the average value and standard deviation for each color portion. More specifically, Figure 11 is obtained by the following calculation process.
まず、正規化処理部１３１１は、各画素のＲＧＢの値（３つ値）のうちの最小値を、各ＲＧＢの値から減算する。次に、正規化処理部１３１１は、減算されたＲＧＢの３つ値のうちの最大値によって、減算された各ＲＧＢの値を除算する。さらに、正規化処理部１３１１は、除算によって得られた値をパーセント表示する。正規化処理部１３１１は、このような一連の処理を図１０（Ｃ）の各画素に対して行うことにより、各色部分別の平均値と標準偏差とを算出する。
First, the
図１１を参照して、マルチシート９５０の部分と、葉の部分と、トマトの部分と、土の部分とに関し、Ｒの値とＧの値とＢの値との組み合わせの特異性が明確になっている。たとえば、マルチシート９５０では、赤の値が極めて低く、かつ青の値が極めて低い。また、葉の部分では、緑の値が赤の値および青の値に比べて高い。土の部分では、赤の値と青の値とが高く、緑の値が極めて低い。
Referring to FIG. 11, the specificity of the combinations of R, G, and B values for the
このように正規化をすることにより、ＲＧＢ画像データを、マルチシート９５０の領域と、葉の領域と、トマトの領域と、土の領域とに精度良く区分することが可能となる。 By normalizing in this way, it becomes possible to accurately divide the RGB image data into the multi-sheet 950 area, the leaf area, the tomato area, and the soil area.
再び図９を参照して、領域抽出部１３１２は、正規化後のＲＧＢ画像データに基づき、当該ＲＧＢ画像データ（すなわち、農地９００の画像）から少なくとも畝９１０の画像領域を抽出する。
Referring again to FIG. 9, the
本例では、領域抽出部１３１２は、正規化後のＲＧＢ画像データから、葉の領域と、トマトの領域と、影などの極端に暗い領域（画素値が極端に小さい領域）とを除去する。これにより、領域抽出部１３１２は、畝９１０の画像領域としてのマルチシート９５０の画像領域とおよびマルチシート９５０の裂け目から露出した土の画像領域と、畝通路９２０の画像領域とを抽出する。
In this example, the
なお、畝９１０がマルチシート９５０で覆われていない場合には、領域抽出部１３１２は、土の画像領域を抽出する。詳しくは、ある局面では、領域抽出部１３１２は、畝９１０の画像領域（農作物の画像領域を除く土の画像領域）と、畝通路９２０の画像領域とを抽出する。他の局面では、領域抽出部１３１２は、畝９１０の画像領域（土の画像領域）のみを抽出する。
When the
距離決定部１３１３は、領域抽出部１３１２による抽出の結果と、センサ１１２によって取得された距離画像データとに基づき、デプスカメラ１１０から畝９１０（詳しくは、畝面９１１）までの距離Ｄａを決定する。詳しくは、本例では、デプスカメラ１１０から畝９１０までの距離Ｄａとして、距離決定部１３１３は、デプスカメラ１１０から畝９１０を覆うマルチシート９５０までの距離を決定する。具体的には、距離決定部１３１３は、センシングによって得られたマルチシート９５０までの複数の距離のうち、最も短い距離を畝９１０までの距離とする。
The
差分算出部１３１５は、距離決定部１３１３によって決定された距離Ｄａと、予め設定された基準距離Ｄｓとの差分を算出する。
The
図１２は、距離の差分を説明するための図である。図１２（Ａ）は、最適な地上高さに刈取刃２０３が位置している状態を表した図である。図１２（Ｂ）は、最適な地上高さに刈取刃２０３が位置していない状態を表した図である。
Figure 12 is a diagram for explaining the difference in distance. Figure 12 (A) is a diagram showing a state in which the
図１２（Ａ）を参照して、距離Ｄｕは、デプスカメラ１１０と刈取刃２０３との上下（鉛直）方向の距離を表している。デプスカメラ１１０と刈取刃２０３とは刈取部２に取付けられているため、刈取部２がアクチュエータ１１Ｒ，１１Ｌによって移動しても、距離Ｄｕは変化しない。すなわち、距離Ｄｕは固定値である。
Referring to FIG. 12(A), distance Du represents the distance in the up-down (vertical) direction between the
距離ΔＤｐは、刈取刃２０３と畝面９１１との間の最適な距離である。農作物の実を傷付けないため、距離ΔＤｐは０に近いことが好ましい。距離ΔＤｐも固定値である。距離ΔＤｐは、事前に決定される。
The distance ΔDp is the optimal distance between the
よって、決定された距離Ｄａが基準距離Ｄｓ（＝Ｄｕ＋ΔＤｐ）と一致する場合に、最適な地上高さに刈取刃２０３が位置しているといえる。
Therefore, when the determined distance Da matches the reference distance Ds (= Du + ΔDp), it can be said that the
図１２（Ｂ）を参照して、決定された距離Ｄａが、基準距離ＤｓよりもΔＤｑだけ長い場合（Ｄａ＝Ｄｓ＋ΔＤｑ＝Ｄｕ＋ΔＤｐ＋ΔＤｑの場合）、差分算出部１３１５は、距離Ｄａと基準距離Ｄｓとの差分（すなわち、ΔＤｑ）を算出する。差分算出部１３１５は、算出された差分ΔＤｑを表示制御部１３１７に通知する。
Referring to FIG. 12(B), when the determined distance Da is longer than the reference distance Ds by ΔDq (when Da=Ds+ΔDq=Du+ΔDp+ΔDq), the
距離決定部１３１４は、領域抽出部１３１２による抽出の結果と、センサ１１２によって取得された距離を表した画像データとに基づき、デプスカメラ１１０から畝通路９２０までの距離Ｄｂを決定する。
The
ズレ量算出部１３１６は、ＲＧＢ画像データと、距離画像データとに基づき、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量ΔＷを算出する。詳しくは、ズレ量算出部１３１６は、領域抽出部１３１２による抽出の結果と、距離決定部１３１３によって決定された距離Ｄａと、距離決定部１３１４によって決定された距離Ｄｂとに基づき、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量ΔＷを算出する。ズレ量算出部１３１６は、Ｙ軸方向のズレ量ΔＷを算出する。ズレ量ΔＷの算出方法の一例を、図１２に基づいて説明する。
The
図１３は、ズレ量ΔＷの算出方法の一例を説明するための図である。
図１３を参照して、ＲＧＢ画像データに基づく画像９０１Ｇは、畝９１０の画像９１０Ｇと、畝通路９２０の画像９２０Ｇとを含む。畝９１０の画像９１０Ｇは、畝面９１１の画像９１１Ｇと、傾斜面９１２の画像９１２Ｇとを含む。
FIG. 13 is a diagram for explaining an example of a method for calculating the amount of deviation ΔW.
13, an
ズレ量算出部１３１６は、上述した距離Ｄａと距離Ｄｂとの中間の距離Ｄｃ（Ｄｃ＝（Ｄａ＋Ｄｂ）／２）を求める。ズレ量算出部１３１６は、左右の傾斜面９１２の各々において距離Ｄｃとなる位置Ｐａ，Ｐｂを特定する。なお、位置Ｐｃは、位置Ｐａと位置Ｐｂとの中央の位置であり、畝幅方向の中央位置である。
The
ズレ量算出部１３１６は、画像９０１ＧにおけるＸ軸方向に沿った中心線Ｌｃと、位置Ｐａとの距離Ｗ１を求める。また、ズレ量算出部１３１６は、中心線Ｌｃと、位置Ｐｂとの距離Ｗ２を求める。ズレ量算出部１３１６は、Ｗ１とＷ２との差分を２で割ることにより、ズレ量ΔＷを算出する。ズレ量算出部１３１６は、算出されたズレ量ΔＷを表示制御部１３１７に通知する。
The
表示制御部１３１７は、距離Ｄａと基準距離Ｄｓとの差分ΔＤｑに基づいた信号ＳＧ１を表示装置１４０に出力する。表示制御部１３１７は、ズレ量ΔＷに基づいた信号ＳＧ２を表示装置１６０に出力する。
The
表示装置１４０は、信号ＳＧ１に基づいた表示を行なう。詳しくは、表示装置１４０は、差分ΔＤｑに応じたレベルを表示する。
The
再び図８を参照して、たとえば差分ΔＤｑが０（あるいは０に近い場合）、表示装置１４０は、中央（上から５つ目）のＬＥＤ１４５を点灯する。差分ΔＤｑがプラスの値の場合（図１２（Ｂ）の状態）、表示装置１４０は、ＬＥＤ１４６～１４９のうち、差分ΔＤｑの大きさに応じたＬＥＤを点灯する。表示装置１４０は、差分ΔＤｑが大きくなるにつれ、より上側のＬＥＤを点灯する。差分ΔＤｑがマイナスの値の場合（ΔＤｐ＞ΔＤｑ＋ΔＤｑ）、表示装置１４０は、ＬＥＤ１４１～１４４のうち、差分ΔＤｑの絶対値の大きさに応じたＬＥＤを点灯する。表示装置１４０は、差分ΔＤｑの絶対値が大きくなるにつれ、より下側のＬＥＤを点灯する。
Referring again to FIG. 8, for example, when the difference ΔDq is 0 (or close to 0), the
このような表示により、収穫機１のオペレータは、刈取部２を上方に移動させるべきか、下方に移動させるべきかを瞬時に判断できる。さらに、オペレータは、どの程度上下に刈取部２を移動させるべきかについても容易に知ることができる。
This display allows the operator of the
表示装置１６０は、信号ＳＧ２に基づいた表示を行なう。詳しくは、表示装置１６０は、ズレ量ΔＷに応じたレベルを表示する。
The
たとえばズレ量ΔＷが０（あるいは０に近い場合）、表示装置１６０は、中央（左から５つ目）のＬＥＤ１６５を点灯する。ズレ量ΔＷがプラスの値の場合、表示装置１６０は、ＬＥＤ１６６～１６９のうち、ズレ量ΔＷの大きさに応じたＬＥＤを点灯する。表示装置１６０は、ズレ量ΔＷが大きくなるにつれ、より右側のＬＥＤを点灯する。ズレ量ΔＷがマイナスの値の場合（図１３の場合）、表示装置１６０は、ＬＥＤ１６１～１６４のうち、ズレ量ΔＷの絶対値の大きさに応じたＬＥＤを点灯する。表示装置１４０は、ズレ量ΔＷの絶対値が大きくなるにつれ、より左側のＬＥＤを点灯する。
For example, when the deviation ΔW is 0 (or close to 0), the
このような表示により、収穫機１のオペレータは、収穫機１を左側に移動させるべきか、右側に移動させるべきかを瞬時に判断できる。さらに、オペレータは、どの程度左右に、刈取部２を移動させるべきかについても容易に知ることができる。
This display allows the operator of the
図１４は、情報処理システム１００によって実行される処理の流れを表したフロー図である。 Figure 14 is a flow diagram showing the flow of processing executed by the information processing system 100.
図１４を参照して、ステップＳ１において、デプスカメラ１１０は撮像を開始する。ステップＳ２において、情報処理装置１３０は、デプスカメラ１１０から、ＲＧＢ画像データと距離画像データとを周期的に取得する。
Referring to FIG. 14, in step S1, the
ステップＳ３において、情報処理装置１３０は、ＲＧＢ画像データから、緑色の部分（葉の部分）と、赤色の部分（トマト（実）の部分）と、極端に暗い部分（影の部分）を除去することにより、土の画像領域とマルチシート９５０の画像領域とを抽出する。
In step S3, the
ステップＳ４において、情報処理装置１３０は、抽出された画像を、距離画像データに基づいて、畝面９１１と、傾斜面９１２と、畝通路９２０との３つの領域に分割する。
In step S4, the
ステップＳ５において、情報処理装置１３０は、デプスカメラ１１０から土までの距離を示した距離情報と、デプスカメラ１１０からマルチシート９５０までの距離を示した距離情報とを集計する。情報処理システム１００では、畝面９１１と、傾斜面９１２と、畝通路９２０との各々において、複数の地点で距離を計測しているため、情報処理装置１３０は、畝面９１１と、傾斜面９１２と、畝通路９２０との各々において、複数の距離情報を取得する。
In step S5, the
ステップＳ６において、情報処理装置１３０は、畝面９１１までの各距離のうち、最も短い距離をデプスカメラ１１０から畝面９１１までの距離Ｄａに決定する。ステップＳ７において、情報処理装置１３０は、決定された距離Ｄａと、基準距離Ｄｓとの差分ΔＤｑを算出する。ステップＳ８において、情報処理装置１３０は、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量ΔＷを算出する。
In step S6, the
ステップＳ９において、情報処理装置１３０は、算出された差分ΔＤｑを表す信号ＳＧ１を表示装置１４０に送信する。ステップＳ１０において、情報処理装置１３０は、ズレ量ΔＷを表す信号ＳＧ２を表示装置１６０に送信する。ステップＳ１１において、表示装置１４０は、差分ΔＤｑに応じたＬＥＤを点灯させる。ステップＳ１２において、表示装置１６０は、ズレ量ΔＷに応じたＬＥＤを点灯させる。
In step S9, the
（小括）
本実施の形態に係る情報処理システム１００を小括すると、以下のとおりである。
(Summary)
The information processing system 100 according to the present embodiment can be summarized as follows.
（１）情報処理システム１００は、刈取刃２０３を有する刈取部２が本体部３に対して上下方向に移動可能な収穫機１を用いた収穫作業を補助するシステムである。情報処理システム１００は、情報処理装置１３０と、刈取部２に下向きに設置されたカメラ１１１と、刈取部２に下向きに設置されたセンサ１１２とを備える。
(1) The information processing system 100 is a system that assists in harvesting operations using a
カメラ１１１は、刈取刃２０３の前方に位置し、かつ農作物が畝９１０に生育した農地９００を撮像する。カメラ１１１は、撮像によって得られたＲＧＢ画像データを情報処理装置１３０に出力する。センサ１１２は、農地９００をセンシングし、かつセンシングによって得られた、センサ１１２から農地９００までの距離を表す距離画像データを情報処理装置１３０に出力する。
The
情報処理装置１３０は、ＲＧＢ画像データに基づき、農地９００の画像から少なくとも畝９１０の画像領域を抽出する。情報処理装置１３０は、抽出の結果と、距離画像データとに基づき、センサ１１２から畝９１０までの距離Ｄａを決定する。情報処理装置１３０は、距離Ｄａと予め定められた基準距離Ｄｓとの差分ΔＤｑに基づいた信号ＳＧ１を出力する。
The
このような構成によれば、センサ１１２から農作物までの距離ではなく、畝面９１１までの距離Ｄａを計測できる。それゆえ、センサ１１２から畝９１０までの距離を正確に計測可能となる。また、情報処理装置１３０は、距離Ｄａと基準距離Ｄｓとの差分ΔＤｑを出力するため、基準距離Ｄｓとなる位置から刈取部２が上下方向にどれだけズレているかを、外部に通知することができる。
With this configuration, it is possible to measure the distance Da to the
（２）情報処理システム１００は、収穫機１に設置された表示装置１４０をさらに備える。情報処理装置１３０は、信号ＳＧ１を表示装置１４０に出力する。表示装置１４０は、信号ＳＧ１に基づいた表示を行う。このような構成によれば、収穫機１のオペレータは、基準距離Ｄｓとなる位置から刈取部２が上下方向にどれだけズレているかを視認することができる。
(2) The information processing system 100 further includes a
（３）表示装置１４０は、レベルメータである。表示装置１４０は、差分ΔＤｑの大きさに応じたレベルを表示する。このような構成によれば、収穫機１のオペレータは収獲部２の上下方向のズレの程度を容易に確認することができる。
(3) The
（４）表示装置１４０は、収穫機１の運転席の前方に設置されている。このような構成によれば、オペレータは、刈取部２の方向を見つつ、ズレの程度を確認することができる。
(4) The
（５）表示装置１４０は、レベルの表示が収穫機１に対して上下方向に変化する向きに設置されている。このような構成によれば、レベル表示の変動方向と刈取部２の上下方向とが一致するため、視認性に優れる。
(5) The
（６）情報処理装置１３０は、ＲＧＢ画像データおよび距離画像データに基づき、畝９１０の畝幅方向の中央位置Ｐｃに対する刈取部２のズレ量ΔＷを算出する。情報処理装置１３０は、ズレ量ΔＷに基づいた信号ＳＧ２を出力する。
(6) The
このような構成によれば、刈取部２が畝幅方向にどれだけズレているかを、外部に通知することができる。
With this configuration, it is possible to notify the outside of how far the
（７）情報処理装置１３０は、ＲＧＢ画像データに基づき、農地９００の画像から、畝９１０の画像領域と、畝９１０に沿った畝通路９２０の画像領域とを抽出する。情報処理装置１３０は、抽出の結果と距離画像データとに基づき、センサ１１２から畝通路９２０までの距離Ｄｂを決定する。情報処理装置１３０は、抽出の結果と距離Ｄａと距離Ｄｂとに基づき、畝９１０の畝幅方向の中央位置Ｐｃに対する刈取部２のズレ量ΔＷを算出する。情報処理装置１３０は、ズレ量ΔＷに基づいた信号ＳＧ２を出力する。
(7) Based on the RGB image data, the
このような構成によれば、刈取部２が畝幅方向にどれだけズレているかを、外部に通知することができる。
With this configuration, it is possible to notify the outside of how far the
（８）情報処理システム１００は、収穫機１に設置された表示装置１６０をさらに備える。情報処理装置１３０は、信号ＳＧ２を表示装置１６０に出力する。表示装置１６０は、信号ＳＧ２に基づいた表示を行う。このような構成によれば、収穫機１のオペレータは、刈取部２が畝幅方向にどれだけズレているかを視認することができる。
(8) The information processing system 100 further includes a
（９）表示装置１６０は、レベルメータである。表示装置１６０は、ズレ量ΔＷの大きさに応じたレベルを表示する。このような構成によれば、収穫機１のオペレータはズレの程度を容易に確認することができる。
(9) The
（１０）表示装置１６０は、収穫機１の運転席の前方に設置されている。このような構成によれば、オペレータは、刈取部２の方向を見つつ、ズレの程度を確認することができる。
(10) The
（１１）表示装置１６０は、レベルの表示が収穫機１に対して左右方向に変化する向きに設置されている。このような構成によれば、レベル表示の変動方向と刈取部２の左右方向とが一致するため、視認性に優れる。
(11) The
［実施の形態２］
実施の形態１では、デプスカメラ１１０を１台備えた構成を説明した。本実施の形態では、デプスカメラを２台利用する構成について説明する。
[Embodiment 2]
In the first embodiment, a configuration including one
図１５は、本実施の形態に係る収穫機１Ａを前面から見た図である。
図１５を参照して、収穫機１Ａは、情報処理システム１００Ａを備える。情報処理システム１００Ａは、情報処理装置１３０Ａと、デプスカメラ１１０Ｒ，１００Ｌと、表示装置１４０Ｒ，１４０Ｌと、表示装置１６０とを備える。情報処理装置１３０Ａは、デプスカメラ１１０Ｒ，１００Ｌと、表示装置１４０Ｒ，１４０Ｌと、表示装置１６０とに通信可能に接続されている。
FIG. 15 is a front view of the harvester 1A according to the present embodiment.
15, the harvester 1A includes an
収穫機１Ａは、デプスカメラ１１０Ｒ，１１０Ｌを備える点において、デプスカメラ１１０を備える実施の形態１の収穫機１（図４参照）と異なる。収穫機１Ａは、表示装置１４０Ｒ，１４０Ｌを備える点において、表示装置１４０を備える実施の形態１の収穫機１とは異なる。なお、デプスカメラ１１０Ｒ，１１０Ｌが、デプスカメラ１１０と同様の構成および機能を有する。
Harvest machine 1A differs from
デプスカメラ１１０Ｒとデプスカメラ１１０Ｌとは、刈取刃２０３との距離が同一となる位置に設置されている。デプスカメラ１１０Ｒの筐体とデプスカメラ１１０Ｌの筐体とは、刈取刃２０３との距離が同一となる位置に設置されている。
The
デプスカメラ１１０Ｒは、刈取部２の横方向（Ｙ軸方向）の中央位置から右外側方向に設置されている。デプスカメラ１１０Ｒは、ピックアップコンベア２０１の横方向の中央位置から右外側方向に設置されている。
The
デプスカメラ１１０Ｌは、刈取部２の横方向（Ｙ軸方向）の中央位置から左外側方向に設置されている。デプスカメラ１１０Ｌは、ピックアップコンベア２０１の横方向の中央位置から左外側方向に設置されている。
The
デプスカメラ１１０Ｌは、ピックアップコンベア２０１の横方向の中央位置に対して、デプスカメラ１１０Ｒと対称となる位置に設置されている。デプスカメラ１１０Ｒ，１１０Ｌのカメラ１１１とセンサ１１２とは、刈取部２に下向きに設置されている。
The
デプスカメラ１１０Ｒ，Ｌは、デプスカメラ１１０と同様に、農地９００までの距離（高さ）を測定する。
The
表示装置１４０Ｒは、デプスカメラ１１０Ｒによって取得された画像データに基づく表示を行なう。表示装置１４０Ｌは、デプスカメラ１１０Ｌによって取得された画像データに基づく表示を行なう。このように、表示装置１４０Ｒとデプスカメラ１１０Ｒとが対になり、表示装置１４０Ｌとデプスカメラ１１０Ｌとが対になっている。
表示装置１４０Ｒ，１４０Ｌは、収穫機１Ａの運転席４の前方に設置されている。表示装置１４０Ｒは、支持フレーム１２の中央（Ｙ軸方向中央）から右外側方向に設置されている。表示装置１４０Ｌは、支持フレーム１２の中央（Ｙ軸方向中央）から左外側方向に設置されている。
The
表示装置１４０Ｒは、運転席４から見て左前方および右前方のうち、デプスカメラ１１０Ｒと同じ方向に設置されている。表示装置１４０Ｌは、運転席４から見て左前方および右前方のうち、デプスカメラ１１０Ｌと同じ方向に設置されている。
The
表示装置１４０Ｒ，１４０Ｌは、表示装置１４０と同様に、レベルの表示が収穫機１に対して上下方向に変化する向きに設置されている。表示装置１４０Ｒ，１４０Ｌは、支持フレーム１２に対して鉛直方向に設置されている。
Like the
情報処理装置１３０Ａは、デプスカメラ１１０ＲからのＲＧＢ画像データおよび距離画像データと、デプスカメラ１１０ＬからのＲＧＢ画像データおよび距離画像データとを、個別に処理する。
The
図１６は、２台のデプスカメラ１１０Ｒ，１１０Ｌによる撮像を説明するための図である。
Figure 16 is a diagram for explaining imaging by two
図１６を参照して、情報処理装置１３０Ａは、デプスカメラ１１０Ｒから畝面９１１までの距離Ｄｅを決定する。情報処理装置１３０Ａは、デプスカメラ１１０Ｒから畝通路９２０までの距離Ｄｆを決定する。
Referring to FIG. 16, the
情報処理装置１３０Ａは、デプスカメラ１１０Ｌから畝面９１１までの距離Ｄｇを決定する。情報処理装置１３０Ａは、デプスカメラ１１０Ｌから畝通路９２０までの距離Ｄｈを決定する。
The
情報処理装置１３０Ａは、距離Ｄｅと基準距離Ｄｓとの差分ΔＤｑ＿Ｒを算出する。情報処理装置１３０Ａは、距離Ｄｇと基準距離Ｄｓとの差分ΔＤｑ＿Ｌを算出する。本実施の形態では、実施の形態１とは異なり、２つの差分を算出する。なお、本実施の形態における差分の算出は、実施の形態１の差分の算出方法と同様である。
The
情報処理装置１３０Ａは、ＲＧＢ画像データと、距離画像データとに基づき、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量ΔＷを算出する。
The
図１７は、表示装置１４０Ｒ，１４０Ｌ，１６０を説明するための図である。
図１７を参照して、表示装置１４０Ｒ，Ｌは、表示装置１４０と同様に、複数のＬＥＤ１４１～１４９を有する。
FIG. 17 is a diagram for explaining the
17,
表示装置１４０Ｒ，Ｌは、ＬＥＤ１４１～１４９の少なくとも１つを発光することによって、刈取部２（詳しくは、刈取刃２０３）の基準位置（適正位置）からの高さ方向（Ｚ軸方向）のズレ量を表す。
The
表示装置１４０Ｒは、ＬＥＤ１４１～１４９のうち、差分ΔＤｑ＿Ｒの大きさに応じたＬＥＤを点灯する。表示装置１４０Ｒは、差分ΔＤｑ＿Ｒが大きくなるにつれ、より上側のＬＥＤを点灯する。表示装置１４０Ｒは、差分ΔＤｑ＿Ｒが小さくなるにつれ、より下側のＬＥＤを点灯する。
The
表示装置１４０Ｌは、ＬＥＤ１４１～１４９のうち、差分ΔＤｑ＿Ｌの大きさに応じたＬＥＤを点灯する。表示装置１４０Ｌは、差分ΔＤｑ＿Ｌが大きくなるにつれ、より上側のＬＥＤを点灯する。表示装置１４０Ｌは、差分ΔＤｑ＿Ｌが小さくなるにつれ、より下側のＬＥＤを点灯する。
The
このような表示により、収穫機１のオペレータは、刈取部２を上方に移動させるべきか、下方に移動させるべきかを瞬時に判断できる。さらに、オペレータは、どの程度上下に刈取部２を移動させるべきかについても容易に知ることができる。特に、オペレータは、刈取部２を上下移動させる２つのアクチュエータ１１Ｒ，１１Ｌ（図１５参照）の各々を、どの程度動作させるべきかを容易に知ることができる。
This display allows the operator of the
たとえば、表示装置１４０ＲのＬＥＤ１４７が点灯し、かつ表示装置１４０ＬのＬＥＤ１４５が点灯している場合には、オペレータは、アクチュエータ１１Ｒを伸ばして、刈取部２を下げる必要があることを容易に知ることができる。
For example, when
図１８は、情報処理装置１３０Ａの構成を説明するための図である。
図１８を参照して、情報処理装置１３０Ａは、プロセッサ１３１０Ａと、メモリ１３２０と、通信インターフェイス１３３０と、通信インターフェイス１３４０とを備える。
FIG. 18 is a diagram for explaining the configuration of the
18, the
プロセッサ１３１０Ａは、機能ブロックとして、正規化処理部１３１１と、領域抽出部１３１２と、距離決定部１３１３と、距離決定部１３１４と、差分算出部１３１５と、ズレ量算出部１３１６Ａと、表示制御部１３１７Ａとを有する。
The
本実施の形態では、正規化処理部１３１１と、領域抽出部１３１２と、距離決定部１３１３と、距離決定部１３１４と、差分算出部１３１５とは、実施の形態１で説明した処理を、２つのデプスカメラ１１０Ｒ，１１０Ｌから送られてくるデータ毎に実行する。なお、正規化処理部１３１１と、領域抽出部１３１２と、距離決定部１３１３と、距離決定部１３１４と、差分算出部１３１５とが、デプスカメラ１１０Ｒ用と、デプスカメラ１１０Ｌとに分かれて設けられていてもよい。
In this embodiment, the
表示制御部１３１７Ａは、３つの表示装置１４０Ｒ，１４０Ｌ，１６０に信号を送信する点において、２つの表示装置１４０，１６０に信号ＳＧ１，ＳＧ２を送信する構成の実施の形態１の表示制御部１３１７とは異なる。
The
次に、ズレ量算出部１３１６Ａについて説明する。ズレ量算出部１３１６Ａによるズレ量ΔＷの算出方法は、実施の形態１のズレ量算出部１３１６によるズレ量ΔＷの算出方法とは異なる。
Next, the
図１９は、本実施の形態におけるズレ量ΔＷの算出方法の一例を説明するための図である。 Figure 19 is a diagram illustrating an example of a method for calculating the amount of deviation ΔW in this embodiment.
図１９を参照して、右側のデプスカメラ１１０Ｒによって取得されたＲＧＢ画像データに基づく画像９０１ＧＲは、畝９１０の画像９１０ＧＲと、畝通路９２０の画像９２０ＧＲとを含む。畝９１０の画像９１０ＧＲは、畝面９１１の画像９１１ＧＲと、傾斜面９１２の画像９１１ＧＲとを含む。
Referring to FIG. 19, an image 901GR based on RGB image data acquired by the right-
左側のデプスカメラ１１０Ｌによって取得されたＲＧＢ画像データに基づく画像９０１ＧＬは、畝９１０の画像９１０ＧＬと、畝通路９２０の画像９２０ＧＬとを含む。畝９１０の画像９１０ＧＬは、畝面９１１の画像９１１ＧＬと、傾斜面９１２の画像９１２ＧＬとを含む。
The image 901GL based on the RGB image data acquired by the
ズレ量算出部１３１６Ａは、距離Ｄｅと距離Ｄｆとの中間の距離Ｄｉ（Ｄｉ＝（Ｄｅ＋Ｄｆ）／２）を求める。ズレ量算出部１３１６Ａは、右の傾斜面９１２において距離Ｄｉとなる位置Ｐｄを特定する。
The
ズレ量算出部１３１６Ａは、距離Ｄｆと距離Ｄｇとの中間の距離Ｄｊ（Ｄｊ＝（Ｄｆ＋Ｄｇ）／２）を求める。ズレ量算出部１３１６Ａは、左の傾斜面９１２において距離Ｄｊとなる位置Ｐｅを特定する。
The
ズレ量算出部１３１６Ａは、画像９０１ＧＲにおけるＸ軸方向に沿った中心線Ｌｄと、位置Ｐｄとの距離ＷＲを求める。ズレ量算出部１３１６Ａは、画像９０１ＧＬにおけるＸ軸方向に沿った中心線Ｌｅと、位置Ｐｅとの距離ＷＬを求める。ズレ量算出部１３１６Ａは、ＷＲとＷＬとの和を２で割ることにより、ズレ量ΔＷを算出する。
The
本例の場合、図１９にように距離ＷＲが距離ＷＬよりも大きいときには、刈取部２が畝９１０に対して左方向に寄っている。このため、表示装置１６０は、ＬＥＤ１６１～１６９のうち、ＬＥＤ１６５よりも左側のＬＥＤを点灯させる。
In this example, when the distance WR is greater than the distance WL as shown in FIG. 19, the reaping
距離ＷＲが距離ＷＬよりも小さいときには、刈取部２が畝９１０に対して右方向に寄っている。このため、表示装置１６０は、ＬＥＤ１６１～１６９のうち、ＬＥＤ１６５よりも右側のＬＥＤを点灯させる。
When the distance WR is smaller than the distance WL, the reaping
このような表示によれば、オペレータは、収穫機１のハンドルを、どちらの回転方向にどの程度回転させればよいかを判断できる。
This display allows the operator to determine in which direction and how much to rotate the handle of the
なお、距離ＷＲ，ＷＬは、畝９１０の畝幅方向に対する刈取部２のズレに起因する指標値の一例である。
Note that the distances WR and WL are examples of index values resulting from the misalignment of the
図２０は、情報処理システム１００Ａによって実行される処理の前半の流れを表したフロー図である。
Figure 20 is a flow diagram showing the first half of the processing executed by
図２０を参照して、ステップＳ１Ａ～Ｓ７Ａは、実施の形態１の図１４のステップＳ１～Ｓ７に対応する。ステップＳ１Ａ～Ｓ７ＡがステップＳ１～Ｓ７と異なる点は、デプスカメラの参照符号（１１０Ｒ）と、距離の参照符号（Ｄｅ）と、差分の参照符号（ΔＤｑ＿Ｒ）である。
Referring to FIG. 20, steps S1A to S7A correspond to steps S1 to S7 in FIG. 14 of
同様に、ステップＳ１Ｂ～Ｓ７Ｂも、実施の形態１の図１４のステップＳ１～Ｓ７に対応する。ステップＳ１Ｂ～Ｓ７ＢがステップＳ１～Ｓ７と異なる点は、デプスカメラの参照符号（１１０Ｌ）と、距離の参照符号（Ｄｇ）と、差分の参照符号（ΔＤｑ＿Ｌ）である。
Similarly, steps S1B to S7B correspond to steps S1 to S7 in FIG. 14 of
したがって、ここでは、ステップＳ１Ａ～Ｓ７ＡおよびステップＳ１Ｂ～Ｓ７Ｂの説明は繰り返さない。 Therefore, the description of steps S1A to S7A and steps S1B to S7B will not be repeated here.
図２１は、情報処理システム１００Ａによって実行される処理の後半の流れを表したフロー図である。
Figure 21 is a flow diagram showing the latter half of the process executed by
図２１を参照して、ステップＳ８において、図１９に基づき説明したように、情報処理装置１３０Ａは、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量ΔＷを算出する。
Referring to FIG. 21, in step S8, as described based on FIG. 19, the
ステップＳ９Ａにおいて、情報処理装置１３０Ａは、算出された差分ΔＤｑ＿Ｒを表す信号ＳＧ１＿Ｒを表示装置１４０Ｒに送信する。ステップＳ９Ｂにおいて、情報処理装置１３０Ａは、算出された差分ΔＤｑ＿Ｌを表す信号ＳＧ１＿Ｌを表示装置１４０Ｌに送信する。ステップＳ１０において、情報処理装置１３０Ａは、ズレ量ΔＷを表す信号ＳＧ２を表示装置１６０に送信する。
In step S9A, the
ステップＳ１１Ａにおいて、表示装置１４０Ｒは、差分ΔＤｑ＿Ｒに応じたＬＥＤを点灯させる。ステップＳ１１Ｂにおいて、表示装置１４０Ｌは、差分ΔＤｑ＿Ｌに応じたＬＥＤを点灯させる。ステップＳ１２において、表示装置１６０は、ズレ量ΔＷに応じたＬＥＤを点灯させる。
In step S11A, the
（小括）
本実施の形態１とは異なる点に着目して、情報処理システム１００Ａを小括すると、以下のとおりである。
(Summary)
Focusing on the differences from the first embodiment, the
（１）情報処理システム１００Ａは、刈取部２に下向きに設置された、デプスカメラ１１０Ｒのカメラ１１１と、デプスカメラ１１０Ｒのセンサ１１２とを備える。情報処理システム１００Ａは、刈取部２に下向きに設置された、デプスカメラ１１０Ｌのカメラ１１１と、デプスカメラ１１０Ｌのセンサ１１２とを備える。
(1) The
デプスカメラ１１０Ｒのカメラ１１１とセンサ１１２とは、収穫機１Ａの運転席４から見て右前方に設置されている。デプスカメラ１１０Ｌのカメラ１１１とセンサ１１２とは、収穫機１Ａの運転席４から見て左前方に設置されている。
The
デプスカメラ１１０Ｒのカメラ１１１は、農地９００を撮像し、かつ撮像によって得られたＲＧＢ画像データを情報処理装置１３０Ａに出力する。デプスカメラ１１０Ｒのセンサ１１２は、農地９００をセンシングし、かつセンシングによって得られた、センサ１１２から農地９００までの距離を表す距離画像データを情報処理装置１３０Ａに出力する。
The
同様に、デプスカメラ１１０Ｌのカメラ１１１は、農地９００を撮像し、かつ撮像によって得られたＲＧＢ画像データを情報処理装置１３０Ａに出力する。デプスカメラ１１０Ｌのセンサ１１２は、農地９００をセンシングし、かつセンシングによって得られた、センサ１１２から農地９００までの距離を表す距離画像データを情報処理装置１３０Ａに出力する。
Similarly, the
情報処理装置１３０Ａは、デプスカメラ１１０Ｒによって取得されたＲＧＢ画像データに基づき、農地９００の画像から少なくとも畝９１０の画像領域を抽出する。情報処理装置１３０Ａは、抽出の結果と、距離画像データとに基づき、デプスカメラ１１０Ｒのセンサ１１２から畝９１０までの距離Ｄｅを決定する。情報処理装置１３０Ａは、距離Ｄｅと予め定められた基準距離Ｄｓとの差分ΔＤｑ＿Ｒに基づいた信号ＳＧ１＿Ｒを出力する。
The
同様に、情報処理装置１３０Ａは、デプスカメラ１１０Ｌによって取得されたＲＧＢ画像データに基づき、農地９００の画像から少なくとも畝９１０の画像領域を抽出する。情報処理装置１３０Ａは、抽出の結果と、距離画像データとに基づき、デプスカメラ１１０Ｌのセンサ１１２から畝９１０までの距離Ｄｇを決定する。情報処理装置１３０Ａは、距離Ｄｇと予め定められた基準距離Ｄｓとの差分ΔＤｑ＿Ｌに基づいた信号ＳＧ１＿Ｌを出力する。
Similarly, the
このような構成によれば、センサ１１２から農作物までの距離ではなく、畝面９１１までの距離Ｄｅ，Ｄｇを計測できる。それゆえ、センサ１１２から畝９１０までの距離を、刈取部２の左右の位置において正確に計測可能となる。また、距離Ｄｅ，Ｄｇと基準距離Ｄｓとの差分ΔＤｑを出力するため、情報処理装置１３０Ａは、刈取部２が基準距離Ｄｓとなる位置から、刈取部２の左右の位置において上下方向にどれだけズレているかを、外部に通知することができる。
With this configuration, it is possible to measure the distances De and Dg to the
なお、デプスカメラ１１０Ｒとデプスカメラ１１０Ｌとが、刈取刃２０３との距離が同一とならない位置に設置されている場合には、基準距離Ｄｓをデプスカメラ１１０Ｒとデプスカメラ１１０Ｌとで個別に設定すればよい。たとえば、基準距離Ｄｓとして、第１の基準距離と、第２の基準距離とを用いればよい。
When the
（２）情報処理システム１００Ａは、各々が収穫機１に設置された、表示装置１４０Ｒと表示装置１４０Ｌとをさらに備える。情報処理装置１３０Ａは、信号ＳＧ１＿Ｒを表示装置１４０Ｒに出力する。情報処理装置１３０Ａは、信号ＳＧ１＿Ｌを表示装置１４０Ｌに出力する。表示装置１４０Ｒは、信号ＳＧ１＿Ｒに基づいた表示を行う。表示装置１４０Ｌは、信号ＳＧ１＿Ｌに基づいた表示を行う。
(2) The
このような構成によれば、収穫機１Ａのオペレータは、刈取部２の左側と右側との各々が基準距離Ｄｓとなる位置から上下方向にどれだけズレているかを視認することができる。
With this configuration, the operator of the harvester 1A can visually check how far each of the left and right sides of the
（３）表示装置１４０Ｒは、運転席４から見て左前方および右前方のうち、デプスカメラ１１０Ｒのカメラ１１１およびセンサ１１２と同じ方向（すなわち右前方）に設置されている。表示装置１４０Ｌは、運転席４から見て左前方および右前方のうち、デプスカメラ１１０Ｌのカメラ１１１およびセンサ１１２と同じ方向（すなわち左前方）に設置されている。
(3) The
このような構成によれば、オペレータは、刈取部２の右側前方部位の上下方向のズレを右側の表示装置１４０Ｒで確認することができる。また、オペレータは、刈取部２の左側前方部位の上下方向のズレを右側の表示装置１４０Ｌで確認することができる。
With this configuration, the operator can check the vertical misalignment of the right front part of the reaping
それゆえ、オペレータは、視線を大きく動かすことなく、表示装置１４０Ｒと刈取部２の右側前方部位とを視認することができる。また、オペレータは、視線を大きく動かすことなく、表示装置１４０Ｌと刈取部２の左側前方部位とを視認することができる。したがって、このような表示装置１４０Ｒ，１４０Ｌの配置によれば、作業効率を向上させることができる。
Therefore, the operator can view the
（４）情報処理装置１３０Ａは、デプスカメラ１１０Ｒによって取得されたＲＧＢ画像データと距離画像データとに基づき、畝９１０の畝幅方向に対する刈取部２のズレに起因する第１の指標値（距離ＷＲ）を算出する。情報処理装置１３０Ａは、デプスカメラ１１０Ｌによって取得されたＲＧＢ画像データと距離画像データとに基づき、畝９１０の畝幅方向に対する刈取部２のズレに起因する第２の指標値（距離ＷＬ）を算出する。
(4) The
情報処理装置１３０Ａは、第１の指標値と第２の指標値とに基づき、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量ΔＷを算出する。情報処理装置１３０Ａは、ズレ量ΔＷに基づいた信号ＳＧ２を出力する。
The
このような構成によれば、刈取部２が畝幅方向にどれだけズレているかを、外部に通知することができる。
With this configuration, it is possible to notify the outside of how far the
（５）情報処理システム１００Ａは、収穫機１に設置された表示装置１６０をさらに備える。情報処理装置１３０Ａは、信号ＳＧ２を表示装置１６０に出力する。表示装置１６０は、信号ＳＧ２に基づいた表示を行う。このような構成によれば、収穫機１Ａのオペレータは、刈取部２が畝幅方向にどれだけズレているかを視認することができる。
(5) The
［実施の形態３］
実施の形態２では、情報処理装置１３０Ａは、差分ΔＤｑ＿Ｒを表示装置１４０Ｒにおいてレベルで表示し、かつ差分ΔＤｑ＿Ｌを表示装置１４０Ｌにおいてレベルで表示した。また、情報処理装置１３０Ａは、ズレ量ΔＷを表示装置１６０においてレベルで表示した。
[Embodiment 3]
In the second embodiment,
本実施の形態に係る収穫機１Ｂは、自動運転が可能な車両である。収穫機１Ｂは、差分ΔＤｑ＿Ｒ，差分ΔＤｑ＿Ｌを用いて、アクチュエータ１１Ｒ，１１Ｌを自動制御する構成について説明する。また、収穫機１Ｂは、ズレ量ΔＷを用いて、収穫機１Ｂの操舵装置を自動制御する。このため、収穫機１Ｂでは、表示装置１４０Ｒ，１４０Ｌ，１６０は必須ではない。
The
図２２は、本実施の形態に係る収穫機１Ｂの構成を説明するための図である。
図２２を参照して、収穫機１Ｂは、デプスカメラ１１０Ｒ，１１０Ｌと、操舵装置１８と、アクチュエータ１１Ｒ，１１Ｌと、コントロールバルブ１９Ｒ，１９Ｌと、コントローラ２０とを備える。
FIG. 22 is a diagram for explaining the configuration of a
22, the
コントローラ２０は、収穫機１Ｂの全体的な動作を制御する。コントローラ２０は、本例では、情報処理装置１３０Ａの機能を実行する。
The
デプスカメラ１１０Ｒ，１１０Ｌによって取得された画像データ（ＲＧＢ画像データおよび距離画像データ）は、コントローラ２０に送られる。コントローラ２０は、差分ΔＤｑ＿Ｒ，ΔＤｑ＿Ｌと、ズレ量Δｗとを算出する。
The image data (RGB image data and distance image data) acquired by the
コントロールバルブ１９Ｒに供給するパイロット油の流量を制御する。コントローラ２０は、差分ΔＤｑ＿Ｌに基づき、コントロールバルブ１９Ｌに供給するパイロット油の流量を制御する。
The flow rate of pilot oil supplied to the
コントロールバルブ１９Ｒは、パイロット油の流量に応じて、アクチュエータ１１Ｒに供給する作動油の流量を制御する。コントロールバルブ１９Ｌは、パイロット油の流量に応じて、アクチュエータ１１Ｌに供給する作動油の流量を制御する。
The
操舵装置１８は、本例では、前輪９Ｌの向きを変更する装置である。コントローラ２０は、ズレ量ΔＷに基づき、操舵装置１８の操舵角を制御する。なお、運転席４のハンドル４０１は、操舵角に応じて自動で回転する。
In this example, the
このような構成によれば、刈取部２の位置をオペレータが操作することなく、刈取部２（詳しくは、刈取刃２０３）を、農作物９９０の収穫作業に適した位置に制御することが可能となる。
With this configuration, it is possible to control the cutting unit 2 (more specifically, the cutting blade 203) to a position suitable for harvesting the
（小括）
以下では、デプスカメラ１１０Ｒ，１１０Ｌの一方に着目して、本実施の形態を小括する。
(Summary)
In the following, this embodiment will be summarized by focusing on one of the
（１）収穫機１は、本体部３と、刈取刃２０３を有し、かつ本体部３に対して上下方向に移動可能な刈取部２と、コントローラ２０と、刈取部２に下向きに設置されたカメラ１１１およびセンサ１１２とを備える。
(1) The
カメラ１１１は、刈取刃２０３の前方に位置し、かつ農作物９９０が畝に生育した農地９００を撮像する。カメラ１１１は、撮像によって得られたＲＧＢ画像データをコントローラ２０に出力する。センサ１１２は、農地９００をセンシングし、かつセンシングによって得られた、センサ１１２から農地９００までの距離を表す距離画像データをコントローラ２０に出力する。
The
コントローラ２０は、ＲＧＢ画像データに基づき、農地９００の画像から少なくとも畝９１０の画像領域を抽出する。コントローラ２０は、抽出の結果と、距離画像データとに基づき、センサ１１２から畝９１０までの距離を決定する。コントローラ２０は、決定された距離と予め定められた基準距離Ｄｓとの差分に基づいて、刈取部２の上下方向の位置を制御する。
The
（２）収穫機１Ｂは、操舵装置１８をさらに備える。コントローラ２０は、ＲＧＢ画像データに基づき、畝９１０の畝幅方向の中央位置に対する刈取部２のズレ量を算出する。コントローラ２０は、ズレ量に基づいて、操舵装置１８の操舵角度を制御する。
(2) The
（変形例）
（１）情報処理装置１３０Ａが、コントローラ２０とは別に設けられていてもよい。
(Modification)
(1) The
この場合、情報処理装置１３０Ａは、コントローラ２０に差分ΔＤｑ＿Ｒ，ΔＤｑ＿Ｌをコントローラ２０に通知すればよい。また、情報処理装置１３０Ａは、コントローラ２０にズレ量ΔＷを通知すればよい。
In this case, the
（２）実施の形態１で示したようにデプスカメラを１台だけ使用する場合であっても、本実施の形態の上記自動制御を適用できる。
(2) Even if only one depth camera is used as shown in
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed herein should be considered to be illustrative and not restrictive in all respects. The scope of the present invention is indicated by the claims, not by the above description, and is intended to include all modifications within the meaning and scope of the claims.
１，１Ａ，１Ｂ 収穫機、２ 刈取部、３ 本体部、４ 運転席、５ 分別装置、６ 側部コンベア、７ エレベータ、８Ｌ，８Ｒ 補助輪、９Ｌ，９Ｒ 前輪、１０Ｌ，１０Ｒ 後輪、１１Ｌ，１１Ｒ アクチュエータ、１２，１３ 支持フレーム、１８ 操舵装置、１９Ｌ，１９Ｒ コントロールバルブ、２０ コントローラ、１００，１００Ａ 情報処理システム、１００Ｌ，１１０，１１０Ｌ，１１０Ｒ，Ｌ デプスカメラ、１１１ カメラ、１１２ センサ、１３０，１３０Ａ 情報処理装置、１４０，１４０Ｌ，１４０Ｒ，１６０，Ｌ 表示装置、２０１ ピックアップコンベア、２０２ アーム部、２０３ 刈取刃、４０１ ハンドル、４０２ 座席、４０３ 操作盤、４１１ 操作部、８１０Ｌ，８１０Ｒ，８２０Ｌ，８２０Ｒ，Ｆ 矢印、９００ 農地、９１０ 畝、９１１ 畝面、９１２ 傾斜面、９２０ 畝通路、９５０ マルチシート、９９０ 農作物、９９１ 茎、９９２ 実、１１２１ 赤外線プロジェクタ、１１２２ 赤外線ステレオカメラ、１１２２Ｒ，１１２３Ｌ 赤外線カメラ、１３１０，１３１０Ａ プロセッサ、１３１１ 正規化処理部、１３１２ 領域抽出部、１３１３，１３１４ 距離決定部、１３１５ 差分算出部、１３１６，１３１６Ａ ズレ量算出部、１３１７，１３１７Ａ 表示制御部、１３２０ メモリ、１３３０，１３４０ 通信インターフェイス、Ｄａ，Ｄｂ，Ｄｅ，Ｄｆ，Ｄｇ，Ｄｈ，Ｄｕ，Ｗ１，Ｗ２，ＷＬ，ＷＲ 距離、Ｄｓ 基準距離、Ｌｃ，Ｌｄ，Ｌｅ 中心線、Ｐａ，Ｐｂ，Ｐｄ，Ｐｅ 位置、Ｐｃ 中央位置。 1, 1A, 1B harvester, 2 reaping unit, 3 main body, 4 driver's seat, 5 sorting device, 6 side conveyor, 7 elevator, 8L, 8R auxiliary wheels, 9L, 9R front wheels, 10L, 10R rear wheels, 11L, 11R actuator, 12, 13 support frame, 18 steering device, 19L, 19R control valve, 20 controller, 100, 100A information processing system, 100L, 110, 110L, 110R, L depth camera, 111 camera, 112 sensor, 130, 130A information processing device, 140, 140L, 140R, 160, L display device, 201 pickup conveyor, 202 arm, 203 reaping blade, 401 handle, 402 seat, 403 operation panel, 411 Operation unit, 810L, 810R, 820L, 820R, F arrow, 900 farmland, 910 ridge, 911 ridge surface, 912 inclined surface, 920 ridge passage, 950 mulch sheet, 990 crop, 991 stem, 992 fruit, 1121 infrared projector, 1122 infrared stereo camera, 1122R, 1123L infrared camera, 1310, 1310A processor, 1311 normalization processing unit, 1312 area extraction unit, 1313, 1314 distance determination unit, 1315 difference calculation unit, 1316, 1316A deviation amount calculation unit, 1317, 1317A display control unit, 1320 memory, 1330, 1340 Communication interface, Da, Db, De, Df, Dg, Dh, Du, W1, W2, WL, WR distance, Ds reference distance, Lc, Ld, Le center line, Pa, Pb, Pd, Pe position, Pc central position.
Claims (10)
情報処理装置と、
前記刈取部に下向きに設置されたカメラと、
前記刈取部に下向きに設置されたセンサとを備え、
前記カメラは、
前記刃の前方に位置し、かつ農作物が畝に生育した農地を撮像し、
前記撮像によって得られた第１の画像データを前記情報処理装置に出力し、
前記センサは、前記農地をセンシングし、かつ前記センシングによって得られた、前記センサから前記農地までの距離を表す第２の画像データを前記情報処理装置に出力し、
前記情報処理装置は、
前記第１の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出し、
前記抽出の結果と、前記第２の画像データとに基づき、前記センサから前記畝までの距離を決定し、
決定された前記距離と予め定められた基準距離との差分に基づいた信号を出力する、システム。 A system for assisting harvesting work using a harvester in which a reaping unit having a blade is movable up and down relative to a main body,
An information processing device;
A camera installed facing downward on the reaping unit;
A sensor is provided facing downward on the reaping unit,
The camera includes :
Taking an image of farmland located in front of the blade and having crops growing in furrows;
outputting first image data obtained by the imaging to the information processing device;
the sensor senses the farmland and outputs second image data obtained by the sensing, the second image data representing a distance from the sensor to the farmland, to the information processing device;
The information processing device includes:
Extracting an image area of at least the ridge from the image of the farmland based on the first image data;
determining a distance from the sensor to the ridge based on the extraction result and the second image data;
The system outputs a signal based on a difference between the determined distance and a predetermined reference distance .
前記情報処理装置は、前記信号を前記表示装置に出力し、
前記表示装置は、前記信号に基づいた表示を行う、請求項１に記載のシステム。 A display device installed on the harvester is further provided,
The information processing device outputs the signal to the display device;
The system of claim 1 , wherein the display device performs a display based on the signal .
前記レベルメータは、前記差分の大きさに応じたレベルを表示する、請求項２に記載のシステム。 The display device is a level meter,
The system according to claim 2 , wherein the level meter indicates a level according to the magnitude of the difference.
情報処理装置と、An information processing device;
前記刈取部に下向きに設置されたカメラと、A camera installed facing downward on the reaping unit;
前記刈取部に下向きに設置されたセンサとを備え、A sensor is provided facing downward on the reaping unit,
前記カメラは、The camera includes:
前記刃の前方に位置し、かつ農作物が畝に生育した農地を撮像し、Taking an image of farmland located in front of the blade and having crops growing in furrows;
前記撮像によって得られた第１の画像データを前記情報処理装置に出力し、outputting first image data obtained by the imaging to the information processing device;
前記センサは、前記農地をセンシングし、かつ前記センシングによって得られた、前記センサから前記農地までの距離を表す第２の画像データを前記情報処理装置に出力し、the sensor senses the farmland and outputs second image data obtained by the sensing, the second image data representing a distance from the sensor to the farmland, to the information processing device;
前記情報処理装置は、The information processing device includes:
前記第１の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出し、Extracting an image area of at least the ridge from the image of the farmland based on the first image data;
前記抽出の結果と、前記第２の画像データとに基づき、前記センサから前記畝までの距離を決定し、determining a distance from the sensor to the ridge based on the extraction result and the second image data;
決定された前記距離と予め定められた基準距離との差分に基づいた信号を出力する、システム。The system outputs a signal based on a difference between the determined distance and a predetermined reference distance.
前記情報処理装置は、前記差分を、前記収穫機の自動運転を制御するユニットに通知する、請求項１または４に記載のシステム。 The harvester is a vehicle capable of automatic driving,
The system according to claim 1 or 4 , wherein the information processing device notifies a unit that controls automatic operation of the harvester of the difference.
本体部と、
刃を有し、かつ前記本体部に対して上下方向に移動可能な刈取部と、
コントローラと、
前記刈取部に下向きに設置されたカメラと、
前記刈取部に下向きに設置されたセンサとを備え、
前記カメラは、
前記刃の前方に位置し、かつ農作物が畝に生育した農地を撮像し、
前記撮像によって得られた第１の画像データを前記コントローラに出力し、
前記センサは、前記農地をセンシングし、かつ前記センシングによって得られた、前記センサから前記農地までの距離を表す第２の画像データを前記コントローラに出力し、
前記コントローラは、
前記第１の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出し、
前記抽出の結果と、前記第２の画像データとに基づき、前記センサから前記畝までの距離を決定し、
決定された前記距離と予め定められた基準距離との差分に基づいて、前記刈取部の前記上下方向の位置を制御する、収穫機。 A harvester that is an autonomous vehicle ,
A main body portion,
A cutting unit having a blade and movable in the vertical direction relative to the main body unit;
A controller;
A camera installed facing downward on the reaping unit;
A sensor is provided facing downward on the reaping unit,
The camera includes:
Taking an image of farmland located in front of the blade and having crops growing in furrows;
outputting first image data obtained by the imaging to the controller;
the sensor senses the farmland and outputs second image data obtained by the sensing, the second image data representing a distance from the sensor to the farmland, to the controller;
The controller:
Extracting an image area of at least the ridge from the image of the farmland based on the first image data;
determining a distance from the sensor to the ridge based on the extraction result and the second image data;
The harvester controls the vertical position of the reaping unit based on a difference between the determined distance and a predetermined reference distance.
前記コントローラは、
前記第１の画像データに基づき、前記畝の畝幅方向の中央位置に対する前記刈取部のズレ量を算出し、
前記ズレ量に基づいて、前記操舵装置の操舵角度を制御する、請求項７に記載の収穫機。 Further comprising a steering device;
The controller:
Calculating a deviation amount of the reaping unit from a center position of the ridge in a ridge width direction based on the first image data;
The harvester according to claim 7 , wherein a steering angle of the steering device is controlled based on the amount of deviation.
前記刈取部に下向きに設置されたカメラから、前記刃の前方に位置しかつ農作物が畝に生育した農地を撮像することによって得られた第１の画像データを取得するステップと、
前記刈取部に下向きに設置されたセンサから、前記農地をセンシングすることによって得られた、前記センサから前記農地までの距離を表す第２の画像データを取得するステップと、
前記第１の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出するステップと、
前記抽出の結果と、前記第２の画像データとに基づき、前記センサから前記畝までの距離を決定するステップと、
決定された前記距離と予め定められた基準距離との差分に基づいた信号を出力するステップとを備える、情報処理装置の制御方法。 A method for controlling an information processing device that assists harvesting work using a harvester in which a reaping unit having a blade is movable up and down relative to a main body, comprising:
A step of acquiring first image data obtained by imaging a field located in front of the blade and having crops growing in furrows from a camera installed facing downward on the reaping unit;
acquiring second image data representing a distance from a sensor installed facing downward on the reaping unit to the farmland, the second image data being obtained by sensing the farmland; and
Extracting an image area of at least the ridge from an image of the farmland based on the first image data;
determining a distance from the sensor to the ridge based on the extraction and the second image data;
and outputting a signal based on a difference between the determined distance and a predetermined reference distance.
前記刈取部に下向きに設置されたカメラから、前記刈取部の前方に位置しかつ農作物が畝に生育した農地を撮像することによって得られた第１の画像データを取得するステップと、
前記刈取部に下向きに設置されたセンサから、前記農地をセンシングすることによって得られた、前記センサから前記農地までの距離を表す第２の画像データを取得するステップと、
前記第１の画像データに基づき、前記農地の画像から少なくとも前記畝の画像領域を抽出するステップと、
前記抽出の結果と、前記第２の画像データとに基づき、前記センサから前記畝までの距離を決定するステップと、
決定された前記距離と予め定められた基準距離との差分に基づいた信号を出力するステップとを、前記情報処理装置のプロセッサに実行させる、プログラム。 A program for controlling an information processing device that assists harvesting work using a harvester in which a reaping unit having a blade is movable up and down relative to a main body, comprising:
A step of acquiring first image data obtained by imaging a farmland located in front of the reaping unit and having crops growing in ridges, from a camera installed facing downward on the reaping unit;
acquiring second image data representing a distance from a sensor installed facing downward on the reaping unit to the farmland, the second image data being obtained by sensing the farmland; and
Extracting an image area of at least the ridge from an image of the farmland based on the first image data;
determining a distance from the sensor to the ridge based on the extraction and the second image data;
and outputting a signal based on a difference between the determined distance and a predetermined reference distance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020203273A JP7530601B2 (en) | 2020-12-08 | 2020-12-08 | SYSTEM, HARVESTER, AND CONTROL METHOD AND PROGRAM FOR INFORMATION PROCESSING DEVICE - Patent application |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020203273A JP7530601B2 (en) | 2020-12-08 | 2020-12-08 | SYSTEM, HARVESTER, AND CONTROL METHOD AND PROGRAM FOR INFORMATION PROCESSING DEVICE - Patent application |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022090771A JP2022090771A (en) | 2022-06-20 |
| JP7530601B2 true JP7530601B2 (en) | 2024-08-08 |
Family
ID=82060704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020203273A Active JP7530601B2 (en) | 2020-12-08 | 2020-12-08 | SYSTEM, HARVESTER, AND CONTROL METHOD AND PROGRAM FOR INFORMATION PROCESSING DEVICE - Patent application |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7530601B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011087510A (en) | 2009-10-22 | 2011-05-06 | Iseki & Co Ltd | Reaping device of combine harvester |
| JP2016208871A (en) | 2015-04-30 | 2016-12-15 | 国立大学法人 鹿児島大学 | Working machine and control method thereof |
| JP2019062816A (en) | 2017-09-29 | 2019-04-25 | 株式会社 日本計器鹿児島製作所 | Travel position recognition system, travel vehicle for farm work, and unmanned automatic travel work vehicle |
| JP2019204324A (en) | 2018-05-24 | 2019-11-28 | シンフォニアテクノロジー株式会社 | Mobile device |
| JP2020057317A (en) | 2018-10-04 | 2020-04-09 | 株式会社クボタ | Work vehicle |
-
2020
- 2020-12-08 JP JP2020203273A patent/JP7530601B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011087510A (en) | 2009-10-22 | 2011-05-06 | Iseki & Co Ltd | Reaping device of combine harvester |
| JP2016208871A (en) | 2015-04-30 | 2016-12-15 | 国立大学法人 鹿児島大学 | Working machine and control method thereof |
| JP2019062816A (en) | 2017-09-29 | 2019-04-25 | 株式会社 日本計器鹿児島製作所 | Travel position recognition system, travel vehicle for farm work, and unmanned automatic travel work vehicle |
| JP2019204324A (en) | 2018-05-24 | 2019-11-28 | シンフォニアテクノロジー株式会社 | Mobile device |
| JP2020057317A (en) | 2018-10-04 | 2020-04-09 | 株式会社クボタ | Work vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022090771A (en) | 2022-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2771097C2 (en) | Agricultural working machine | |
| RU2747303C2 (en) | System for controlling the working parameter of a harvester | |
| EP4070643A1 (en) | Agricultural robot | |
| US8452501B1 (en) | Sugar cane harvester automatic cutter height control | |
| AU2016324492B2 (en) | A self-guided blossom picking device | |
| US12365347B2 (en) | Vehicle row follow system | |
| US10602665B2 (en) | Two armed robotic system for adjusting the height of an agricultural tool | |
| Leemans et al. | A computer-vision based precision seed drill guidance assistance | |
| JP7530601B2 (en) | SYSTEM, HARVESTER, AND CONTROL METHOD AND PROGRAM FOR INFORMATION PROCESSING DEVICE - Patent application | |
| CN102194233A (en) | Method for extracting leading line in orchard | |
| JP5929472B2 (en) | Seedling transplanter | |
| CN106056107B (en) | Pile avoidance control method based on binocular vision | |
| JP2023040743A (en) | harvester | |
| JP2022185955A (en) | Farm field management device and farming management method using the same | |
| CN119278765A (en) | A soybean intelligent harvesting system | |
| JP3680322B2 (en) | Cucumber harvesting machine | |
| CN118575654A (en) | Fresh corn cob harvester and automatic profiling control device and method for cutting table thereof | |
| KR102913014B1 (en) | A device for adjusting the width and position of the harvesting unit according to the position of the crop | |
| KR20250126955A (en) | Localization, classification, and picking point detection of strawberries for a harvesting robot | |
| JP3225264B2 (en) | Harvesting equipment | |
| JPH09154313A (en) | Rice transplanter | |
| CN120521582A (en) | A sea buckthorn harvester header adaptive row height adjustment control system and method | |
| JP3489210B2 (en) | Fruit and vegetable detection device of fruit and vegetable harvester | |
| JP2907641B2 (en) | Work area detection device | |
| JP2710644B2 (en) | Automatic steering control device for agricultural work machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210203 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240409 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240604 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240625 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240718 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7530601 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |