JP6744898B2 - 計測装置、計測方法、プログラム - Google Patents
計測装置、計測方法、プログラム Download PDFInfo
- Publication number
- JP6744898B2 JP6744898B2 JP2018193178A JP2018193178A JP6744898B2 JP 6744898 B2 JP6744898 B2 JP 6744898B2 JP 2018193178 A JP2018193178 A JP 2018193178A JP 2018193178 A JP2018193178 A JP 2018193178A JP 6744898 B2 JP6744898 B2 JP 6744898B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- unit
- measurement target
- gripping
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/251—Colorimeters; Construction thereof
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G3/00—Cutting implements specially adapted for horticultural purposes; Delimbing standing trees
- A01G3/02—Secateurs; Flower or fruit shears
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
- G01J3/36—Investigating two or more bands of a spectrum by separate detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3554—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for determining moisture content
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/02—Food
- G01N33/025—Fruits or vegetables
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Food Science & Technology (AREA)
- Environmental Sciences (AREA)
- Medicinal Chemistry (AREA)
- Forests & Forestry (AREA)
- Ecology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
Description
例えば下記特許文献には、ベルトコンベア上に流れる米粒に対してリニアイメージセンサによる走査を行い、品位判定を行う技術が開示されている。
ところが計測対象の特定のためだけに作業者に何らかの余分な行為を課することは好ましくない。
そこで本技術は、計測装置による計測を伴う作業過程でユーザ(作業者)に余分な行為負担や操作負担を求めずに、適切に計測対象を特定できるようにすることを目的とする。
前記計測処理は、例えば把持された状態で物体に何らかの動きが加えられたことを検知して計測対象物の特徴量の計測を開始する。
把持体とは、例えば作業者の手や指、手袋や所定器具を装着した状態の作業者の手や指、人の操作により物体を把持することのできる器具、自動的に物体を把持できる器具、ロボットアームなど、物体を把持することのできるものをいう。
物体とは、ブドウ、バナナ、トマト等の農作物、樹木や動物等の自然物、工業製品など各種の物体を指し、計測対象物は、これらの物体のうちで、把持によって特定される物体の全部又は一部となる。
特徴量とは、個数、大きさ(サイズ)、色、成分含有量、成分比率、糖度、含水率、推定価格等など、数値化したり比較評価できるものを指す。
移動とは、揺らされたり、つままれて上下左右前後に移動されたり、回転されたりすることなどが想定される。
即ち提示制御部は、計測部によって計測した特徴量や、特徴量に基づく情報を、表示、音声、振動等により提示を実行させるようにするための制御を行う。例えば計測情報やそれに基づく判定情報等を提示させる処理を行う。
例えば一体又は別体の撮像装置により物体を撮像した撮像画像を入力する。この撮像画像を用いて画像から判定できる特徴量の計測を行う。
即ち把持体による物体の把持が検出されたことにより、計測対象物の特徴量の計測を開始する。
前記計測処理は、例えば把持体が物体を把持した状態で、所定行為が行われることを検知して計測対象物の特徴量の計測を開始する。所定行為とは、作業者の発声や、所定音を発生させるなどの音的な行為、作業者の手や用具(ハサミ等)によるジェスチャ的な行為などが想定される。
例えば一体又は別体の撮像装置により物体を撮像した撮像画像を入力するが、例えば動画として得られる画像の複数フレームを用いて計測を行う。
前記計測対象特定部は、例えば把持された状態で何らかの動きが加えられた物体又は物体の一部を計測対象物とする。移動とは、つままれて上下左右前後に移動されたり、揺らされたり、回転されたりすることなどが想定される。
例えばユーザ設定や自動設定などにより、特徴量の目標値を設定して記憶しておき、計測値と比較できるようにする。
提示制御部により、表示や音声などの手法で、現状の特徴量と目標値の差分を提示する。
例えば把持された状態で物体が回転されることを検知して計測を開始する。
計測対象特定部は、把持体としての人の手、器具、ロボットアームのいずれかによる把持を検出して計測対象物を特定する。人の手とは、素手、手袋等をした手を含む。器具とは人が手で操作する器具、手以外で操作する器具、手に装着して用いる器具、遠隔操作する器具など、どのような態様であれ人の意思で把持が可能なあらゆる器具を指す。ロボットアームは自動制御により把持が可能なものを指す。
即ち計測対象特定部は、農作物のうちで、把持された農作物の個体を計測対象物と特定する。ここでいう農作物とは広義の農作物で、果物、野菜、穀物、樹木、草花、キノコ類、肥料、飼料、園芸作物、工芸作物、などを含む。
前記計測対象特定部は、枝が摘まれたブドウの房を計測対象物とし、前記計測処理ではその房の粒数の計測を行うようにする。
例えば一体又は別体の撮像部を備えるようにする。
身体装着型ユニットとは、人の身体や衣服に装着できるユニットであり、例えばヘッドマウント型、眼鏡型、イヤホン型、リストバンド型、衣服型、クリップ型、ポケット収納型、ペンダント型などの形態が想定される。このような身体装着型ユニットに撮像部と提示部が配置される。
提示部とは、ユーザに計測結果を提示できるもので、例えば表示部、音声出力部、振動部など、ユーザの五感に対して何らかの情報提示ができるものを指す。
例えばヘッドマウント型、眼鏡型などとされて、使用者の眼前に配置される表示部に、計測結果等の情報が表示されるようにする。
例えば人の手、器具、ロボットアーム等の把持体による物体の把持を検出するセンサ部としては、画像、圧力、温度情報、測距情報などを検出する撮像装置、圧力センサ、サーモトレーサ、測距センサ等が想定される。
前記第1の処理は、前記把持体により把持が行われ、かつ移動させられた物体を計測対象物とする処理を行い、前記第2の処理は、前記把持体により物体の把持が行われ、かつ物体が移動させられたことの検出、または、前記把持体により物体の把持が行われ、かつ当該把持以外の所定行為の検出に基づいて実行される。
本技術に係るプログラムは、上記の計測対象物を特定する処理と計測結果を得る処理とを情報処理装置に実行させるプログラムである。これにより計測対象物を特定できる情報処理装置を実現する。
また本技術に係る計測方法は、把持体によるブドウの房の把持の検出に基づいて計測対象となるブドウの房を特定する第1の処理と、前記特定されたブドウの房の粒数の計測を開始する第2の処理とを情報処理装置が行う。
或いは把持体により把持されたブドウの房を特定する第1の処理と、前記特定されたブドウの房の回転に伴い前記特定されたブドウの房の粒数を計測する第2の処理とを情報処理装置が行う。
<1.計測装置の構成例>
<2.第1の実施の形態の処理例>
<3.第2の実施の形態の処理例>
<4.第3の実施の形態の処理例>
<5.第4の実施の形態の処理例>
<6.第5の実施の形態の処理例>
<7.装置・システム構成例>
<8.まとめ及び変形例>
実施の形態では、ブドウ農家において用いられる計測装置として、後述するようにブドウの房の粒数などを計測できる計測装置を例に挙げる。但しもちろんそのような用途に限られるものではない。
図1に実施の形態の計測装置1の構成例を示す。
この例における計測装置1は撮像部2、画像信号処理部3、画像解析部4、制御部5、操作部6、センサ部7、表示制御部8、表示部9、記憶部10を有する。
この撮像部2は具体的には、少なくとも物体画像を得る通常の可視光カメラであったり、被写体との距離を測定する測距機能を備えたカメラが考えられる。測距機能を備えたカメラとしては、画像撮像用のイメージセンサとともに例えばSTL(Structured Light:構造化光)方式やToF(Time of Flight:光飛行時間)方式による測距手法の検出のためのイメージセンサを搭載したカメラであったり、或いはステレオカメラとして構成することが考えられる。
また計測する特徴量や用途にもよるが、撮像部2としては近赤外線カメラ、マルチスペクトルカメラ、特定波長撮像カメラなど、波長を特化して計測のための画像を撮像するイメージセンサを搭載したカメラも考えられる。
さらには撮像部2はサーモトレーサとしての温度分布画像を撮像するものとされてもよい。
イメージセンサは、受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての画像信号を、後段の画像信号処理部3に出力する。
例えば画像信号処理部3は、通常の可視光画像として画像信号を想定した場合、R(赤),G(緑),B(青)の黒レベルを所定のレベルにクランプするクランプ処理、R,G,Bの色チャンネル間の補正処理、各画素についての画像データが、R,G,B全ての色成分を有するようにするデモザイク処理、輝度(Y)信号および色(C)信号を生成(分離)する処理等を施す。
さらに画像信号処理部3は、各種の信号処理が施された画像信号に対して、必要な解像度変換処理、例えば記録用や通信出力用、或いはモニタ画像用の解像度変換を実行する場合もある。
また画像信号処理部3は、解像度変換された画像データについて、例えば記録用や通信用の圧縮処理、符号化処理等を行う場合もある。
この画像解析部4は動画撮像中においての各フレーム(又は間欠的なフレーム)を処理対象として解析し、被写体側の状況の判定又は判定のための情報を求める処理を行う。例えば把持体や物体に関する状況を判定したり、把持などの状態を判定するための情報を算出する。さらに撮像中のフレームから特徴量の計測をおこなう場合もある。
また画像解析部4は撮像部2で撮像され記憶部10に記憶された画像データを読み出して処理対象とし、被写体となっている物体に関する解析、例えば特徴量の計測や計測のための情報算出を行うことができる。
画像解析部4で判定した情報は制御部5に供給され、計測のための一連の処理に用いられる。
なお画像解析部4はAI(artificial intelligence)エンジンとして構成され、機械学習、ディープラーニング等に基づく画像認識処理を行い、例えば物体の判定や把持体の状態等を認識できるようにしたり、特徴量の計測に関する部分の認識ができるようにしてもよい。
CPUがROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この計測装置1の全体を統括的に制御する。
RAMは、CPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
なお、制御部5は画像解析部4の機能を含むものであってもよい。
なお本実施の形態では、後述するように計測対象物(例えば計測対象としてのブドウの房の特定)の特定のための操作や、計測開始トリガとしての操作(粒数の計測開始操作)は、ユーザの直接的な操作としては行われないようにするため、この操作部6の操作によるものとはされない。但し、操作部6によってもこれらの操作が可能としてもよい。
各種センサによっては、特徴量の計測のためのセンシング、計測対象物の特定のためのセンシング、計測開始の判定のためのセンシング(例えば把持体による物体の把持の検出)などが行われる。
さらには、特徴量によっては撮像部2を設けず、センサ部7の検出情報により計測対象物の特定や特徴量の計測が行われるようにすることもできる。
また、センサ部7の各種センサ、或いは撮像部2によって撮像される画像から、ユーザの操作を認識することもできる。例えば音声による操作、身体動作(ジェスチャ)による操作などを検出可能であり、その場合、キー等の物理的な操作子やタッチパネル等としての操作部6を設けない例も想定される。
表示制御部8は表示部9における表示動作を実行させる処理を行う。例えばキャラクタジェネレータや表示ドライバ等を有し、制御部5の制御に基づいて、表示部9に各種の表示を実行させる。
また表示制御部8は表示部9において、撮像部2によって撮像されている画像をモニタリング画像(いわゆるスルー画)として表示させたり、記録媒体に記録した静止画や動画を再生表示させたりするようにしてもよい。
また表示制御部8は制御部5の指示に基づいて、表示部9において各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させるようにしてもよい。
表示部9は計測装置1に備える構成の他、別体の表示デバイスが用いられて表示部9として機能するようにしてもよい。
記憶部10の実際の態様は多様に考えられる。例えば記憶部10は、計測装置1に内蔵されるフラッシュメモリでもよいし、計測装置1に着脱できるメモリカード(例えば可搬型のフラッシュメモリ)と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また計測装置1に内蔵されている形態として記憶部10はHDD(Hard Disk Drive)などとして実現されることもある。
即ち制御部5は、計測対象特定部5a、計測部5b、提示制御部5c、目標設定部5dとしての機能を有するものとされる。
なお、図2では制御部5が備えるものとして示しているが、これら計測対象特定部5a、計測部5b、提示制御部5c、目標設定部5dの一部又は全部は、例えば画像解析部4が備えるようにしてもよい。実際には、計測装置1に搭載されるマイクロコンピュータ、プロセッサ等における性能、処理能力、必要な機能などは、個々の装置の設計事情等によるものであり、例えば図1の画像信号処理部3、画像解析部4、制御部5、表示制御部8等の機能を備えた演算処理装置の具体的な搭載形態は多様である。例えばこれらが1つのマイクロコンピュータで形成される場合もあれば、2つのマイクロコンピュータにより適宜振り分けられる状態で搭載される構成もある。
従って、図2に示した機能構成は、制御部5内に設けられることに限らず、少なくとも計測装置1内に設けられればよいものである。
把持体とは、例えば作業者の手や指、手袋や所定器具を装着した状態の作業者の手や指、人の操作により物体を把持することのできる器具、自動的に物体を把持できる器具、ロボットアームなど、物体を把持することのできるものをいう。
物体とは、ブドウ、バナナ、トマト等の農作物、樹木や動物等の自然物、工業製品など各種の物体を指し、計測対象物は、これらの物体のうちで、把持によって特定される物体の全部又は一部となる。
計測対象特定部5aは、実際の把持体による物体に対する把持は、画像解析部4による画像解析結果や、センサ部7による検出結果により認識することができる。例えば「手がブドウの房の枝を摘んだ」というような特定の事象が画像解析部4による画像解析結果として得られた場合、計測対象特定部5aは「把持体による物体の把持」として認識する。或いは、手がブドウの房の枝の近辺にある状態が画像解析部4の解析結果により判定され、センサ部7の圧力センサ(作業者の指に装着した圧力センサ)により所定以上の圧力が検知されたときに、計測対象特定部5aは「手がブドウの房の枝を摘んだ」というような特定の事象が生じたと認識し、「把持体による物体の把持」と判定する。
これらの例のように、計測対象特定部5aは、画像解析部4の判定処理やセンサ部7としての何らかのセンサの検出情報に基づいて、「把持体による物体の把持」を認識する。そしてそれに応じて計測対象物を特定するものである。
実際の計測としてのカウント処理は画像解析部4による画像解析によるものとし、計測部5bは、その計測結果を取得するものとしてもよいし、画像解析部4がブドウの粒として認識した画像領域の数を計測部5bが計数するものとしてもよい。さらには計測すべき特徴量によっては、計測部5bは、センサ部7の検出情報として数量を取得するものでもよいし、検出情報に基づく計数を行って計測結果を算出するものでもよい。つまり計測部5b(制御部5)は計測処理としては、自ら計測を実行するか否かにかかわらず、少なくとも計測結果を取得するものであればよい。
従って本開示の計測部とは、少なくとも計測結果を取得するという意味で、実施の形態の計測部5bを指すものとしてもよいし、計測処理自体も行うことを含めて、計測部5bと画像解析部4を含む概念、或いは計測部5bとセンサ部7を含む概念、さらには計測部5bと画像解析部4とセンサ部7を含む概念としてもとらえることができる。
具体的には、例えばブドウの房における粒数の情報を表示部9において表示させるように表示制御部8を制御する処理となる。或いは計測結果の数値そのものではなく、計測結果から判定された情報、例えば「適」「否」「適正数」「不足」「過大」などの判定情報、や、以降の作業のためのガイド内容を提示させるようにしてもよい。
例えば「計測結果は38個です」「適正数です」という音声メッセージを出力したり、「適」「否」であることを振動パターンの違いで提示することなどが考えられる。
この目標設定部5dは、第5の実施の形態の処理を行う場合に設けられる機能となる。
また目標設定部5dの機能が設けられる場合、提示制御部5cは現在の計測値と記憶された目標値の比較処理の結果に基づく提示も行われるようにしている。
特に、生食ブドウの生産においては効率を高める必要がある作業の1つとして“摘粒”と呼ばれる作業である。
一般的な生食ブドウは自然な状態で生育すると1房に50〜70個の粒がつくが、この粒数のままで生育すると小粒で糖度の低い商品価値の低いブドウになってしまう。そこで、適正な粒数に間引くことが必須であり、この作業を“摘粒”と呼んでいる。
また、ブドウの粒は花が枯れてから徐々に生育するが、数週間も経つと隣り合う粒同士がこすれ合うため、この短時間に農園内のすべての房の摘粒作業を完了しなくてはならない。そして摘粒作業は非常に短期間に行わなければならない作業のため、効率化が重要である。具体的には2週間程度の期間に、農園内の全てのブドウの房について摘粒を行わなければならず、効率化が強く求められる。
・形の悪い粒を除去する
・粒の密度が一定になるようにする
・粒の数を適正にする
といったことであるが、この中で最も効率化が困難なのは粒の数を適正にするということである。
なお、粒数の適正値は種類により異なる。例えば品種Aでは30〜35粒、品種Bでは40〜45粒、品種Cでは50粒などとされている。また、どのような商品価値のブドウを生産するかによっても異なり、基本的に粒数を減らすと大粒で美味で高価なブドウとなる。
これまで農家において行われていた摘粒作業は、ある作業者によると、
1.作業開始の早朝、1房のみ粒の数を数え適正値になるように摘粒する。
2.その房をじっくり観察し頭の中に摘粒完成状態のイメージを作る。
3.そのイメージになるようにひたすら摘粒作業を繰り返す。
というやり方であった。
しかし、体調、時間(日が陰る夕方は見えにくい)等の理由により粒の数を適正にすることが困難であった。
この場合に、例えばスマートフォンのカメラで撮影した画像に基づき、粒の数を計数して表示するアプリケーションが考えられる。
例えば作業者がスマートフォンのシャッターボタンを押し、房の写真を撮影する。スマートフォンにおいて機能するアプリケーションは、その画像を解析して粒の数を計測し、表示する。これにより作業者は粒数を知ることができる。
また、スマートフォンに限らず、カメラで撮像して粒数を計測するという態様の場合、必ずしも計測目的の房だけでなく、他の房も撮像画像内に表れる。特に農園であれば、房が密集している。このため、特定の房のみを指定して計測させるためには、作業者の撮影のコツが生じたり、或いは他の房が映り込んで計数が不正確になるということもある。
また撮影により一方向から撮影した場合に、裏側の粒数は画像からは不明なため、例えば画像に表れる表側の粒数に係数を掛けて全体の推定粒数を算出するが、この場合も係数によって誤差が大きく正確性に問題が生ずる場合もある。
さらには適切なタイミングで計測を行って計測結果を得るようにするが、このために作業者に操作負担をかけないようにする。
図3の例では計測装置1は、グラスユニット11とコントロールユニット15がコード14で連結されている形態とされている。
グラスユニット11は眼鏡型とされ、図4のように摘粒作業中に作業者がサングラスのように装着できるものとされる。
コントロールユニット15は、小型の筐体を持ち、作業者が衣服のポケットなどに収納されるようなものとされる。
また眼鏡型のグラスユニット11の前面はオングラス表示部13とされる。オングラス表示部13は例えば通常は透明又は半透明の液晶パネルなどとされ、ユーザには単にガラスとして見えて前方を確認できるが、そのグラス上に必要な表示を行うことができるものである。
例えば図5では、ユーザが図4のようにグラスユニット11を装着している状態でオングラス表示部13上での表示の様子を示している。
ユーザはオングラス表示部13としての透明板を介してブドウ22,23,24が見えている状態で、例えば図示の「粒数 45」のような粒数表示25が行われ、これによって計測された粒数を確認できる。
なお、オングラス表示部13は透明又は半透明の状態ではなく、カメラ12の撮像画像をそのままスルー画として表示させるものでもよい。
コントロールユニット15には操作ボタン15aが設けられており、例えば電源オン/オフ操作などが可能とされる。
なお、以上のカメラ12、オングラス表示部13、操作ボタン15aは、それぞれ図1の撮像部2、表示部9、操作部6の一態様である。
上記例では、撮像部2としてのカメラ12、表示部9の一例としてのオングラス表示部13がグラスユニット11に搭載され、操作部6の一例としての操作ボタン15aがコントロールユニット15に搭載された例としているが、図1に示した各部は、グラスユニット11とコントロールユニット15のいずれに搭載されてもよい。
また、グラスユニット11内に図1の全ての構成が配備され、コントロールユニット15が設けられないような形態も考えられる。
なお、計測装置1の形態は、図3のグラスユニット11とコントロールユニット15による形態に限定されるものではなく、他の形態も後述するが、以下では図3の形態を例にして説明していく。
以上の計測装置1をブドウの摘粒作業の際に使用することに好適な第1の実施の形態としての処理例を図6で説明する。図6は制御部5が図2の計測対象特定部5a、計測部5b、提示制御部5cの機能により実行する処理例となる。
ステップS101で制御部5は待機中処理を行う。
待機中処理とは、撮像部2による撮像を行い、画像解析部4による撮像画像の解析結果やセンサ部7による検出結果、操作部6による操作を監視する処理となる。
より具体的には、制御部5は操作部6による計測の終了を意味する操作が行われたか否かを監視する。計測の終了を意味する操作とは、例えば計測を停止して各種の設定を行うための操作、他のモードに移行する操作、電源オフ操作などである。このような操作を検知した場合は、制御部5はステップS102から当該図6の処理を終え、他の必要な処理に移行する。
手の判別手法としては、
・画像解析により肌色を判別することで画角内の手の存在を判定する
・サーモトレーサで捉えた画像を用いて温度で人の手を判別する
・イメージセンサで捉えた画像を用いて機械学習やディープラーニングで実現した人の手の判別手法を用いて判別する
・TOFセンサ、ステレオカメラで捉えた画像を用いて機械学習やディープラーニングで実現した人の手の判別手法を用いて判別する
・特定の色、模様の手袋を作業者が身につけた手袋を判別する手法を用いて判別する
といった方法がある。
上記の作業者が身につけた手袋を判別する手法としては例えば、図7のようなチェック状の柄の手袋を作業者が身につけるようにし、この模様を画像認識で判別するような処理が考えられる。また手袋の色を農園内に無い色(たとえば紫色)などとして、画像内の色判定により画角内に手が入ったことを判別するようにしてもよい。
・作業者の指先もしくは手袋に圧力センサを設置し、圧力の変化で枝を掴んだことを判別する。
・サーモトレーサで指の血流変化による温度変化をとらえる。つまり枝をつかむことで血流が変わることを利用して検出する。
・撮像画像から判別する。例えば機械学習で実現した手が枝を掴むという状態の判別アルゴリズムを用いて判別する。
粒数の計測としては、房の回転により房の複数の方向からの撮像画像を取得し、房の裏側に存在する粒の数も含めて立体的に存在する粒の数を計測するようにする。
図8のステップS120として制御部5は撮像画像必要数(N個)のフレームを指定する。例えば作業者が房の枝を摘んで回転させている期間における所要数のフレームを、計測に用いるフレームとする。
なお、ブドウの粒数の観測のために、作業者はブドウの房を120度から150度位回すことができる。通常、その程度の角度を回しても枝は切れないためである。
そして120度から150度くらいの回したときのフレーム画像には、だいたい、最初に裏側であった粒も表れている。そこで、作業者が120度から150度くらい回す期間における複数フレームを抽出し、そこから粒数の計測を行うようにする。
ここで、作業者がブドウの房を回すスピードは、1秒で360度であると仮定する。この程度の速度を想定した場合、例えばフレームレートは120fps程度で撮像するのが適切となる。制御部5は、このようなフレームレートで得られた撮像画像のフレームの内で、所要数(N個)のフレーム画像データを処理対象として指定する。
N個のフレームは、フレームレートと回転速度にもよるが、連続したフレームでもよいし、間欠的に抽出されるフレームでもよい。これらは実際の回転期間によって可変してもよい。
つまり画像解析部4によって認識される、作業者の手によって枝が摘まれているブドウの房が計測対象物として特定されるようにする。具体的には画像内で、作業者の手の下方に位置する房としての領域(画素領域)を、画像解析、輝度エッジ検出、色判定などにより判定する。これにより処理対象としたフレームの画像内において計測対象物であるブドウの房の画素範囲を特定する。
即ち計測対象物として特定した画素範囲内で、粒の画像を判定し、その数を計測する。
従って、処理対象として選択したN個のフレームについて、順次、画像内での計測対象物としての画素範囲の特定と、その画素範囲での粒数の計測が行われていくことになる。
この際に、画像内での粒の移動量から房の回転角を把握し、最初に計測した粒が回転により別の場所に移動しても、この粒を再カウントすることがないようにすることで、正確に粒数を把握することが可能となる。
また或るフレームにおいて、例えば最初に計数した第1のフレームからの回転角度から、第1のフレームにおいてカウントした粒が、1周回って表れた場合も、それをカウントしないようにすることで、粒数の計数を正確化する。
これにより、一方向(1フレーム)からでは見えないブドウの粒も正確に認識するとともに、重複カウントが起こらないように計測することができる。
・TOFで手の位置を計測し、それと同じ奥行にある粒の数を計測する
・ステレオカメラもしくはデフォーカスの手法で奥行を計測し、それにより各粒を認識して粒の数を計測する
・水が吸収する波長としない波長の複数のIR(infrared)光を用いて粒を検出して計数する。なおIR以外に可視光その他の波長を用いてもよい。ブドウの粒には枝より水が多く含まれており、水分含有率の違いから赤外光の特定波長だけ粒に対応してピークが立つ。従って水分量の多い粒の部分を検出することができ、これにより粒数の計数が可能となる。
この場合制御部5は、粒数だけでなく、計測から得られる所定の判定結果等を生成し、表示させるようにしてもよい。
また計測結果は表示により提示するだけでなく音声や振動などによって提示してもよい。
このような提示のための処理を行ったら、制御部5はステップS101の待機中処理に戻る。
把持した枝により計測対象物として特定することで、例えば図5のように複数のブドウ22,23,24が画角内に存在しても、摘んでいる枝22Aの下方となっているブドウ22の房22Bのみが計測対象物として特定される。これにより画角内のブドウの映り込みにかかわらず、それぞれのブドウについて正確な計測ができることになる。
また、例えば撮像のためにシャッターボタンを押すなどの余分な操作の必要がないため、摘粒作業の妨げにならない。
また複数のフレームの画像情報と房の回転角の情報から最初に計測した粒の再計測を防止することで正確な粒数を計測できる。
図9により第2の実施の形態の処理例を説明する。図9は制御部5が図2の計測対象特定部5a、計測部5b、提示制御部5cの機能により実行する処理例となる。なお以降、既説明の処理と同一の処理は同一のステップ番号を付し、重複説明を避ける。
この例では、画角内に手が入ったことを検出したら制御部5はステップS150に進み、手が枝を摘んだか否かを判定する。
粒数計測処理が完了したら、制御部5はステップS107からS108に進み、計測結果としての粒数等の提示制御を行う。
なお、この例では手が枝を摘んだことを検出して計測を開始するが、作業者が房を回さないことも有り得る。そこで、所定時間以上、房の回転が検出されなかった場合は、計測をエラー終了させることも考えられる。
或いは、房を回転させるかさせないかに関わらず計測を行うようにしてもよい。例えば回転させたことを検出した場合は、上記図8の処理で、ブドウの房を異なる方向から見た複数フレームの画像を用いて粒数を計測する。一方、回転させなかった場合は、各フレームの画像はほぼ同じ画像となる。そこで1フレームの画像(一方向から見た画像)からブドウの粒数を計測し、後述する第4の実施の形態のように係数を掛けて、裏側(画像に表れていない)粒数の推定値を得、それらから房全体の粒数を算出するようにする。
図10により第3の実施の形態の処理例を説明する。図10の処理も制御部5が図2の計測対象特定部5a、計測部5b、提示制御部5cの機能により実行する処理例となり、図9と異なるのは、ステップS150で手が枝を摘んだことを検出した状態で、ステップS151,S152の処理を行う点である。
制御部5は計測開始のトリガについては、画像解析部4による画像からの判定結果や、センサ部7による検出情報に基づいて検知する。
粒数計測処理が完了したら、制御部5はステップS107からS108に進み、計測結果としての粒数等の提示制御を行う。
例えば具体的には次のような例がある。
・手で枝を摘んだ状態で発声する
・手で枝を摘んだ状態で所定の言葉を発声する。
・手で枝を摘んだ状態で所定の音を発声させる(木を叩く音、摘粒用のハサミをならす音など)。
・手で枝を摘んだ状態で撮像画像により認識できる所定のジェスチャを行う(他方の手を画角に入れる、ハサミを画角に入れるなど)。
・手で枝を摘んだ状態でセンサ部7により検出できる所定のジェスチャを行う(足で地面を叩く、他方の手を振る(振動や圧力により検出)など)。
ブドウの粒は枝の周囲に立体的に配置されており、1方向からの撮影像だけでは正確な数を把握できないため、第1の実施の形態では、ブドウの房を回転させたときの複数フレームの画像から計測を行うものとした。
但し、1方向からの撮像により計測を行う場合もある。その場合、1方向の画像から計測した粒数とあらかじめ決めておいた係数値の積を算出することにより房の粒数を推定計測することが考えられる。このような例を第4の実施の形態として図11に処理例を示す。
さらに画角内に手が入ったことを検出したら制御部5はステップS150に進み、手が枝を摘んだか否かを判定する。
即ち計測対象物として特定した画素範囲内で、粒の画像を判定し、その数を計測する。
ステップS173で制御部5は、取得した計測結果に対して予め設定しておいた係数を乗算する。画像から計測された粒数は、撮像時に撮像部2の被写体として表れる表側の粒の数である。これに対して、係数は例えば裏側であって撮像画像に写っていない粒数を推定するための係数とする。従って計測した粒数に係数を乗算することで、裏側の粒数が推定される。
ステップS174で制御部は、計測した表側の粒数と、係数乗算で推定した裏側の粒数から、房の全体の粒数を算出する。これにより、計測対象物としたブドウの房の計測結果が得られることになる。
そしてステップS175で制御部5は、粒数提示処理を行う。例えば制御部5は、表示制御部8に指示して表示部9(例えばオングラス表示部13)において図5のように粒数表示25を実行させる。
但し裏面側の粒数は推定値となり、係数によっては誤差が大きくなる。そこで係数を品種、時期、場所、気候条件などにより最適なものが選択されるようにすることが考えられる。
第5の実施の形態は、粒数の目標値を設定する機能を有し、目標値との差分情報や目標値に到達したことを作業者に伝えたりする機能を備えるようにするものである。図12は第5の実施の形態の処理例を示す。この図12は制御部5が図2の計測対象特定部5a、計測部5b、提示制御部5c、及び目標設定部5dの機能により実行する処理例となる。
画角内に手が入ったことを検出したら制御部5はステップS150に進み、手が枝を摘んだか否かを判定する。
例えば、粒数表示25としては、まだ計測中であるため数値は非表示とする。
目標表示26として、設定されている目標値(例えば「35」)を表示する。
ステータス表示27として、「計測中」と表示する。
このように表示を行うことで作業者が目標値を明確に認識できる。
ステップS180で制御部5は、粒数計測処理によって得られた粒数と、記憶した目標値を比較し、その差が6個以上であるか否かを判定する。
例えば図13Bに表示部9の表示例を示す。粒数表示25として計測値(例えば「45」)を表示する。目標表示26として、設定されている目標値(例えば「35」)を表示する。ステータス表示27として「計測完了」と表示する。状況表示28として現在の状況を表示する。この場合、まだ粒数が多い状態であるため「多い」と表示する。
このように表示を行うことで作業者が現在の粒数と目標値と状況を明確に認識できる。
そしてステップS180で目標値との差分が6個以上ではない(つまり5個以下)とされた場合は、制御部5はステップS182に進み、差分が5個である場合はステップS184に進む。
この場合、制御部5は表示制御部8に指示して、作業者に対しての表示として、目標まで後5個である旨の表示を実行させる。例えば図13Cのような内容の表示を実行させる(なお図13C、図13Dでは計測に基づく提示内容部分のみを示している)。
即ち粒数表示25として計測値「40」を表示させ、目標表示26として目標値「35」を表示させ、ステータス表示27として「計測完了」と表示させる。そして状況表示28として「あと5個」というような表示を実行させる。
制御部8の処理はステップS106に戻って、粒数計測処理を繰り返す。
なお、ここでは、目標までの残りが5個というタイミングで表示を行うようにしているが、もちろんタイミングは多様であり、残りが3個というタイミングで「あと3個」などと表示するようにしてもよい。
ただし、このようにステップS180で差分が5個以下と判定された場合は、差分が何個であっても残り数を表示していくことで、例えばカウントダウン表示のように残り数が変化していくようにしてもよい。
そしてこれにより、この房への摘粒作業が終わることになるため、制御部8の処理はステップS101の待機中処理に戻るようにする。
例えば差分値を把握しつつ、現状の画像の解析により、ある程度均等な密度となるように、間引きする粒をガイドすることが考えられる。
図14はガイドのための摘粒箇所表示30として、摘粒する粒を指定している例である。 例えば粒が密集しているところを優先的に摘粒させるように選択するアルゴリズムを設け、残りの摘粒数と粒の密度によって、間引きすべき粒が選択され、選択された粒が摘粒箇所表示30により提示される。
このように切り落とす粒を示すことで、不慣れな作業者でも、摘粒後に、ある程度均等な密度で粒がついている状態とすることができる。
ここまでは、図1,図2の構成例に従って実施の形態を説明してきたが、計測装置1としての装置やシステムの構成例は多様に考えられる。以下例示する。
図15Bもグラスユニット11Aと情報処理装置50により計測システムを構成した例であるが、情報処理装置50としてノート型やデスクトップ型のパーソナルコンピュータを想定している。
例えばこの図15A、図15Bの構成の場合、画像の撮像動作、計測対象物の特定処理、計測処理、計測結果やその他の情報の提示動作については、次のような動作態様(M1)から(M10)が考えられる。
なお各場合においてセンサ部7としての各種センサは、グラスユニット11A側、情報処理装置50側のいずれにも搭載される場合もある。センサの種類によって搭載場所が分かれることもある。各種センサの検出情報は、計測対象物の特定の処理や計測処理を行う装置側で取得(検出又は検出情報の受信)されるようにすればよい。
グラスユニット11Aで画像撮像を行い、画像を情報処理装置50に送信する。
情報処理装置50で計測対象物の特定や計測処理を行い、さらに計測結果等の提示を行う。
(M2)
グラスユニット11Aで画像撮像を行い、画像を情報処理装置50に送信する。
情報処理装置50で計測対象物の特定や計測処理を行い、計測結果等の情報をグラスユニット11Aに送信する。
グラスユニット11A側で計測結果等の提示を行う。
(M3)
グラスユニット11Aで画像撮像を行い、計測対象物の特定や計測処理を行う。そして計測結果等の情報を情報処理装置50に送信する。
情報処理装置50で計測結果等の提示を行う。
(M4)
グラスユニット11Aで画像撮像を行い、計測対象物の特定を行い、撮像画像と、特定した計測対象物を示す情報を情報処理装置50に送信する。
情報処理装置50で計測処理を行い、さらに計測結果等の提示を行う。
(M5)
グラスユニット11Aで画像撮像を行い、計測対象物の特定を行い、撮像画像と、特定した計測対象物を示す情報を情報処理装置50に送信する。
情報処理装置50で計測処理を行い、計測結果をグラスユニット11Aに送信する。
グラスユニット11A側で計測結果等の提示を行う。
情報処理装置50で画像撮像を行い、画像をグラスユニット11Aに送信する。
グラスユニット11Aで計測対象物の特定や計測処理を行い、さらに計測結果等の提示を行う。
(M7)
情報処理装置50で画像撮像を行い、画像をグラスユニット11Aに送信する。
グラスユニット11Aで計測対象物の特定や計測処理を行い、計測結果等の情報を情報処理装置50に送信する。
情報処理装置50側で計測結果等の提示を行う。
(M8)
情報処理装置50で画像撮像を行い、計測対象物の特定や計測処理を行い、計測結果等の情報をグラスユニット11Aに送信する。
グラスユニット11A側で計測結果等の提示を行う。
(M9)
情報処理装置50で画像撮像を行い、計測対象物の特定を行い、撮像画像と、特定した計測対象物を示す情報をグラスユニット11Aに送信する。
グラスユニット11Aで計測処理を行い、さらに計測結果等の提示を行う。
(M10)
情報処理装置50で画像撮像を行い、計測対象物の特定を行い、撮像画像と、特定した計測対象物を示す情報をグラスユニット11Aに送信する。
グラスユニット11Aで計測処理を行い、計測結果等を情報処理装置50に送信する。
情報処理装置50側で計測結果等の提示を行う。
もちろん以上は一例である。例えばセンサ部7としての情報の取得や処理での扱い、操作部6の形態などを考えれば更に多様な例が考えられる。
即ち図1の構成における画像解析部4、表示制御部8、表示部9を備えず、通信部16を備える。
なお通信部16は、ネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
(M2)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が提示制御部5cの機能を持ち、図1の表示制御部8、表示部9が加えられればよい。
(M3)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測対象特定部5a、計測部5bの機能を持ち、また画像解析部4を備えればよい。
(M4)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測対象特定部5aの機能を持ち、また画像解析部4を備えればよい。
(M5)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測対象特定部5a、提示制御部5cの機能を持ち、また画像解析部4、表示制御部8、表示部9を備えればよい。
(M7)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測対象特定部5a、計測部5bの機能を持ち、また画像解析部4が加えられればよい。撮像部2、画像信号処理部3は不要となる。
(M8)の動作態様の場合、グラスユニット11Aは図16の構成に表示制御部8、表示部9が加えられればよい。撮像部2、画像信号処理部3は不要となる。
(M9)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測部5bの機能を持ち、また画像解析部4、表示制御部8、表示部9を備えればよい。
(M10)の動作態様の場合、グラスユニット11Aは図16の構成において制御部5が計測部5bの機能を持ち、また画像解析部4を備えればよい。
図17において、CPU171は、ROM172に記憶されているプログラム、または記憶部178からRAM173にロードされたプログラムに従って各種の処理を実行する。RAM173にはまた、CPU171が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU171、ROM172、およびRAM173は、バス174を介して相互に接続されている。このバス174にはまた、入出力インタフェース175も接続されている。
また通信部179は、上記(M1)から(M10)の態様の場合、グラスユニット11Aと通信を行うために設けられるものとなり、その場合、例えばブルートゥース等の近距離無線通信部などとされる例が考えられる。
なお撮像部182,画像信号処理部183は上記(M6)から(M10)の態様の場合は不要である。つまり搭載されなくてもよいし、搭載されていても使用しなければよい。ただ撮像部182をセンサとして使用することは有り得る。
(M1)の動作態様の場合、情報処理装置50は図17の構成でよく、特にはCPU171は計測対象特定部5a、計測部5b、提示制御部5cの機能を備えるようにする。
(M2)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が計測対象特定部5a、計測部5bの機能を備えるようにすればよい。
(M3)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が提示制御部5cの機能を備えるようにすればよい。
(M4)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が計測部5b、提示制御部5cの機能を備えるようにすればよい。
(M5)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が計測部5bの機能を備えるようにすればよい。
(M7)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が提示制御部5cの機能を備えるようにすればよい。
(M8)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が計測対象特定部5a、計測部5bの機能を備えるようにすればよい。
(M9)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が計測対象特定部5aの機能を備えるようにすればよい。
(M10)の動作態様の場合、情報処理装置50は、図17の構成においてCPU171が計測対象特定部5a、提示制御部5cの機能を備えるようにすればよい。
これらの機能をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリなどよりなるリムーバブルメディア181により構成される。或いは、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM172や、記憶部178に含まれるハードディスクなどでも構成される。
その意味では眼鏡型であるグラスユニット11Aに代えて、多様な身体装着型ユニットが想定される。例えばヘッドマウント型、イヤホン型、リストバンド型、衣服型、クリップ型、ポケット収納型、ペンダント型などの形態が想定される。
例えば情報処理装置50は図1と同様の構成を備え、作業者は情報処理装置50(スマートフォン)を用いてブドウの撮像を行う。そして第1から第4の実施の形態のような処理が行われることで計測が行われ、図18Aのように計測結果としての粒数表示25が行われるようにする。
図18Bのように撮像画像表示29と計測結果としての粒数表示25の両方の表示が行われるようにしてもよい。
つまり情報処理装置50は、通信により伝送されてきた撮像画像を用いて、計測装置1としての動作(第1から第4の実施の形態の処理)を行うものである。
このように撮像装置60と情報処理装置50を組み合わせて計測システムとすることも想定される。
図19Aはグラスユニット11A、通信端末51、ネットワーク52、クラウドサーバ53を示している。
ネットワーク52としては、インターネット、LAN、VPN(Virtual Private Network:仮想専用網)、イントラネット、エキストラネット、衛星通信網、CATV(Community Antenna Tele Vision)通信網、電話回線網、移動体通信網等の各種の形態が想定される。
クラウドサーバ53は情報処理装置により構成される。クラウドサーバ53や通信端末51は例えば図17のようなコンピュータ装置として実現できる。
この場合、クラウドサーバ53が計測対象特定部5a、計測部5bとしての機能を備えることで、粒数計測を行い、その計測結果を返信する。グラスユニット11Aは、ネットワーク52、通信端末51を介して計測結果を受信することで、計測結果を表示する。
このように、いわゆるクラウドサービスにより計測システムを構築することもできる。
これにより高精度の計測処理、計測実行の判定などを行うことができる。
以上、実施の形態について説明してきたが、実施の形態によれば次の効果が得られる。
実施の形態の計測装置1は、作業者の手(把持体)によるブドウの枝(物体)の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部5aと、計測対象特定部5aが特定した計測対象物の特徴量の計測処理による計測結果を得る計測部5bとを備える。
つまり実施の形態では、作業者の手などの把持体によって枝をつかむという行為の検出により、計測対象物を特定する。即ち、ブドウの一房の枝をつまむことで、そのブドウの房を計測対象物として特定し、特徴量、例えば粒数の計測を行う。
これにより、物体を把持する機会が生ずる作業の過程で計測対象物が明確に特定できる。例えば撮像した画像内で計測すべき範囲が明確になる。
また、手で枝を把持するという行為は、実行しようとする作業(例えば摘粒)の一部、又は作業につながる行為であるため、作業の自然な流れの中で正確に計測対象物を特定できることになる。これにより作業者に何らかの余分な行為、操作等を要求することはなしに、作業者に必要な情報を提供するための計測対象物を正しく設定して計測できる。従って使用性が向上し、摘粒作業の効率化にも寄与し、かつ計測精度も向上する。
またブドウの房は、撮像画像内に多数入り込む。このような場合、画像内のどの部分の粒数を計測するかという点で処理が不安定になることが考えられるが、本実施の形態では、作業の過程で枝をつまむことで、計測すべき房が特定されることになるため、作業者が通常の作業を行う過程で、作業者が望む房の粒数を正しく計測対象物とすることができる。特にブドウやバナナといった果実が房状に成る農作物の場合、把持によって計測対象となる房が特定されるということは非常に有用となる。
実施の形態では、計測対象の物体としては、ブドウを例に挙げたが、バナナ、トマト等の農作物、樹木や動物等の自然物、工業製品など各種の物体を対象とする計測に、本技術は適用できる。計測対象物は、これらの各種の物体のうちで、把持によって特定される物体の全部又は一部となる。
また特徴量としては、粒の個数としたが、個数の他に、大きさ(サイズ)、色、成分含有量、成分比率、糖度、含水率、推定価格等など、数値化したり比較評価できるものが考えられ、それらの計測装置としても本技術は広く適用できる。
これにより作業者は例えば枝をつまんだブドウの房の粒数などの情報を知ることができる。つまり計測装置1は作業者の作業過程で適切な情報提供を行うことができる。
なお計測結果に基づく提示としては、例えば特徴量の計測結果そのものの値に限らず、計測結果に応じた適否判定情報やガイド情報などでもよい。例えば計測結果としての数値に代えて、「適」「否」「適正数」「不足」「過大」などの判定情報、或いは、以降の作業のためのガイド内容を提示させるようにすることでも、的確な作業支援が可能となる。
また提示デバイスとしては、表示部9に限らず、音声出力部、振動部などを挙げたが、提示制御部5cは、計測された特徴量を、これらの提示デバイスに応じた提示態様で提示が行われるように制御すればよい。
撮像画像の解析により、例えばブドウの粒数などの特徴量を計測することができる。撮像画像の1又は複数のフレームを用いることで、安定した計測が可能となり計測精度を向上させることができる。
なお撮像画像だけでなく、センサ部7による検出情報によって計測を行うこともできる。
把持に基づいて計測対象物が特定された場合に、その計測対象物の特徴量の計測を実行することで作業者が特別な操作(計測開始を指示する操作)を行うことなく、作業者が求める計測が実行されることになる。
特にブドウの摘粒作業では、房の枝をつまむ動作は、通常の作業の流れの中の動作であるため、作業者は計測操作を全く意識しなくとも適切なタイミングで計測が実行されることになり、使用性は大きく向上する。
また、計測対象物となる物体や計測する特徴量によっては、把持した状態で回転や上下動の移動をさせなくてもよいものもある。このような場合に、把持によって適切な計測開始タイミングが得られることにもなる。
例えば把持された状態で物体に何らかの動きが加えられたことで計測対象物の特徴量の計測を開始する。移動とは、揺らされたり、つままれて上下左右前後に移動されたり、揺らされたり、回転されたりすることなどが想定される。
計測対象物の計測には、その計測対象物の動きが必要な場合がある。例えばブドウの粒数を計測する場合、作業者から見て表側に見える粒だけでなく裏側の粒もカウントしなければならないため、回転させることが必要となる。従って把持に加えて移動(例えば房の回転など)が行われることが作業中の自然な動作となることもある。そのような場合も、つまむ動作と移動させることが検出されたことにより計測を行うことで、計測が必要時に的確に実行される。また作業者の特別な操作(計測開始を指示する操作)を必要としないため操作負担が生じない。
さらには、把持した状態で物体を移動させること(例えばつまんだ状態で上下左右前後に移動させたり、揺らしたり、回転させたりすること)を、作業者による意識的な計測開始操作として位置づけることもできる。その場合は、把持から連続する簡易な操作として、計測開始を装置に対して指示することができるようにもなる。例えば摘んだだけではなく、何らかのトリガにより計測を実行させたいようにする場合に好適となる。
例えば把持体が物体を把持した状態で、所定行為が行われることを検知して計測対象物の特徴量の計測を開始する。所定行為とは、作業者の発声や、所定音を発生させるなどの音的な行為、作業者の手な用具(ハサミ等)によるジェスチャ的な行為などが想定される。
把持した状態で作業者が所定行為を行うことを、計測開始の操作とする。これにより作業者は、把持した状態で適切なタイミングで計測開始を装置に対して指示することができる。特に把持体以外の所定行為であることで、把持した(ブドウの枝を摘んだ)状態のまま、容易に指示できる。具体的には、作業者の発声、作業者の所定の言葉の発声、音の発生(摘んだ手の他方の手や手に持つもので何らかの音を発生させる行為)などとすれば、作業に支障はない。また枝を摘んだ手とは他方の手を画像内に入れて所定のジェスチャをすること、他方の手に持つハサミを撮像部2の画角内に入れたり、所定のジェスチャをすることなどとしてもよく、この場合も作業中に負担のならない操作となる。
例えば撮像部2により物体を撮像した撮像画像を入力するが、動画として得られる画像の複数フレームを用いて計測を行う。計測対象物の移動過程の複数フレームの画像を用いることで、表裏がある場合などでも的確に特徴量を検出できる。ブドウの粒数の場合、回転させているときに撮像した画像により、表側の粒も裏側の粒も計測できる。これにより計測精度を向上させることができる。
例えば把持された状態で何らかの動きが加えられた物体又は物体の一部を計測対象物とする。移動とは、つままれて上下左右前後に移動されたり、揺らされたり、回転されたりすることなどである。
把持に加えて移動(例えば房の回転など)が行われることで計測対象物を特定することで、その移動が行われている物体又は物体の一部などとして、より正確に計測すべき物体又は物体の一部(或いは範囲)を特定できるようになる。
ブドウであれば、回転されている房、つまみ上げられた房、などとして、計測対象がより限定されて正確に特定できる。
例えばユーザ設定や自動設定などにより、特徴量の目標値を設定して記憶しておき、計測値と比較できるようにする。例えば摘粒作業時の目標値としての粒数を設定する場合、これを計測された粒数と比較すれば、あとどのくらい摘粒すればよいかという差分情報を得ることができる。
例えばあとどのくらい摘粒すればよいかという差分情報を得ることができた場合に、これを作業者に伝えることで、作業支援として適切な提示ができる。
なお、この場合に、さらに図14のように摘粒すべき粒を提示するなどして支援をすることで、不慣れな作業者でも的確な摘粒作業が実行できるようにすることができる。
例えばブドウの粒数を計測する場合、作業者から見て表側に見える粒だけでなく裏側の粒もカウントしなければならないため、回転させることが必要となる。従って把持に加えて房を回転させることが作業中の自然な動作となるが、この回転を検知したら計測を開始することで、作業者に余計な操作負担を生じさせないものとなる。
なお、計測対象物の特定のために回転移動の検知を用いてもよい。ブドウであれば、回転されている房として、計測対象をより限定して正確に特定できる。
人の手とは、素手、手袋等をした手を含む。実施の形態の場合、作業者の手による把持を監視するものであるため、特別な把持装置を用いずに、自然な摘粒作業中の動作の過程を検出することになる。このため作業者に負担をかけないものとなる。
把持体としては器具でもよいが、器具とは人が手で操作する器具、手以外で操作する器具、手に装着して用いる器具、遠隔操作する器具など、どのような態様であれ人の意思で把持が可能なあらゆる器具を指す。摘粒作業中の場合、逆の手にはハサミを持つため、ハサミによる把持を検出するようにすることも考えられる。
またブドウの摘粒に限らずにいえば、作業において多様な器具が用いられることもある。器具を用いる作業に関する計測装置としては、器具による把持を検出して計測対象物を特定することは有効である。
またファクトリーオートメーション等として用いられるロボットアームによる把持も、計測対象物の特定のために検出することが有用な場合がある。農作物の栽培過程、出荷時の作業過程、流通ラインにおける計測、加工食品の製造ライン等における計測、工業製品の製造ライン等における計測の場合など、ロボットアームによる把持によって計測対象物を特定することで、精度のよい計測が可能となる場合が想定される。
このように把持体として人の手、器具、ロボットアームが想定されるが、つまり把持可能なものであれば、それによる把持が行われた物体を計測対象物とすることができる。これにより多様な作業に対応し、その作業で行われる把持行為を検出して計測対象物の特定が可能となる。
実施の形態の技術によれば、このような各種の農作物を対象とした計測装置1を広く提供できる。
つまり枝が摘まれたブドウの房を計測対象物とし、その房の粒数の計測を行うようにする。
農園内に多数存在するブドウの房の1つ1つについて、枝を摘むことで計測対象となる房を特定し、その粒数を計測する。これにより、1つの房毎の粒数の自動計測が正確に可能となり、ブドウの摘粒作業に必要な粒数情報を作業者に正確に提供できることになる。これにより、非常に面倒で、かつ短期間(2週間程度)でおこなわなければならない摘粒作業の効率を大きく向上させることができる。
また摘粒の際にブドウの粒数を一見して判断するには長年の経験が必要であり、また体調によっても判断が不安定になるといわれるが、粒数が計測され提示されることで、経験や体調によらなくとも、適切な摘粒作業ができるようになる。
計測部5bは撮像部2により撮像された画像を解析して粒数の計測を行うが、この撮像部2が計測装置1に設けられていることで、別途撮像装置を用意したり設置したりすることは不要となり、摘粒作業等に過程で使用性のよい計測装置を提供できることになる。
なお、図1,図3では撮像部2(カメラ12)が一体に内蔵される例を述べたが、撮像部2が別体装置として設けられてもよい。
身体装着型ユニットに撮像部と提示部が配置されることで、作業者は単に当該身体装着型ユニットを装着していれば、計測対象物の撮像や計測結果表示のための機器の配置などに気を遣わなくてもよい。具体的には例えば図3のように眼鏡型でカメラ12やオングラス表示部13を備えたグラスユニット11を装着していれば、特に機器配置や撮影方向を気にすることなく、作業中に的確に粒数表示を確認できる。これにより作業性は著しく向上する。
なお提示部とは、ユーザに計測結果を提示できるもので、例えば表示部、音声出力部、振動部など、ユーザの五感に対して何らかの情報提示ができるものを指すとした。音声出力部としてのスピーカ及びアンプ回路や、振動部としてのアクチュエータ等がグラスユニット11などの身体装着型ユニットに設けられることも当然考えられる。
これにより作業者は作業のための視界上で計測結果を確認できる。つまり計測結果を一々意識して見るという行為をすることなく、作業過程で自然に計測情報を見ることができ、作業効率上、非常に好適なものとなる。
センサ部7又は撮像部2により得られる情報により、例えば人の手、器具、ロボットアーム等の把持体による物体の把持を検出することができ、これにより計測対象物の特定や計測開始タイミングの判定を適切に実行できる。
摘粒作業中の作業姿勢によっては、撮像部2が逆光の状態になることもあるため、撮像部2内のイメージセンサはISO10000以上のダイナミックレンジを有することが望ましい。
また、撮像部2には、自動露出機能(Automatic Exposure)や減光フィルタを自動切換え出来る機能(液晶可変NDフィルタなど)を具備してもよい。
このような撮像部2によって撮像した画像を用いることで計測精度を向上させることができる。
加えて撮像部2の先玉レンズ又はカバーガラスに撥水加工を施してもよい。
さらには雨滴による収差を画像補正する機能があるとなおよい。
農作業を想定する場合、これらの雨対策を施すことは、実用上、重要な要素となる。
また、シャッタースピードを変更した時に、露光量を揃える為に、対応したISO感度に自動調整する機能も望ましい。
計測装置1が振動した際に、ジャイロセンサ(角速度センサ)や加速度センサ等により、その動きを検出し、その検出量に応じて電子的に画素移動をし、ブレを補正する手段、又はレンズやイメージセンサやカメラモジュールを機構的に移動させてブレを補正する手段を有してもよい。
特徴量は粒の数に限らない
また房毎、農場内のエリア毎などに適正粒数を設定し、作業者に伝えるなどの作業支援を行うことも考えられる。
即ち実施の形態のプログラムは、把持体による物体の把持の検出に基づいて計測対象物を特定する処理と、特定した計測対象物の特徴量の計測処理による計測結果を得る処理とを情報処理装置に実行させるプログラムである。このようなプログラムにより、上述した計測装置1や情報処理装置50を実現できる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
(1)
把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、
前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部と、を備えた
計測装置。
(2)
前記計測結果に基づく提示のための処理を行う提示制御部を備えた
上記(1)に記載の計測装置。
(3)
前記計測処理は、撮像された画像を用いて行われる
上記(1)又は(2)に記載の計測装置。
(4)
前記計測処理は、
前記把持体による物体の把持が行われたことの検出に基づいて実行される
上記(1)から(3)のいずれかに記載の計測装置。
(5)
前記計測処理は、
前記把持体により物体の把持が行われ、かつ物体が移動させられたことの検出に基づいて実行される
上記(1)から(3)のいずれかに記載の計測装置。
(6)
前記計測処理は、
前記把持体により物体の把持が行われ、かつ当該把持以外の所定行為の検出に基づいて実行される
上記(1)から(3)のいずれかに記載の計測装置。
(7)
前記計測処理は、計測対象物が移動されている期間に撮像された複数のフレームの画像を用いて行われる
上記(1)から(6)のいずれかに記載の計測装置。
(8)
前記計測対象特定部は、
前記把持体により把持が行われ、かつ移動させられた物体を計測対象物とする処理を行う
上記(1)から(7)のいずれかに記載の計測装置。
(9)
特徴量の目標値を設定する目標設定部を有し、
前記目標設定部は、前記計測処理で計測される特徴量と前記目標値の差分値を求める
上記(1)から(8)のいずれかに記載の計測装置。
(10)
前記差分値を提示するための処理を行う提示制御部を備えた
上記(9)に記載の計測装置。
(11)
前記移動は回転移動である
上記(5)又は(8)に記載の計測装置。
(12)
前記把持体は、人の手、人により操作される器具、又は自動動作するロボットアームのいずれかである
上記(1)から(11)のいずれかに記載の計測装置。
(13)
計測対象物とされる物体は農作物である
上記(1)から(12)のいずれかに記載の計測装置。
(14)
前記計測対象特定部は、前記把持体によって枝が把持されたブドウの房を計測対象物とする処理を行い、
前記計測処理では、計測対象物とされたブドウの房の特徴量として粒数を計測する
上記(1)から(13)のいずれかに記載の計測装置。
(15)
前記計測処理に用いる画像の撮像を行う撮像部を備えた
上記(3)又は(7)に記載の計測装置。
(16)
前記計測処理に用いる画像の撮像を行う撮像部と、
前記計測結果の提示を行う提示部と、を有し、
前記撮像部と前記提示部が身体装着型ユニットに配置されている
上記(1)から(15)のいずれかに記載の計測装置。
(17)
前記提示部は、ユーザの眼前に配置される表示面に情報表示が行われる表示部とされた
上記(16)に記載の計測装置。
(18)
前記把持体による物体の把持を検出するセンサ部が設けられた
上記(1)から(17)のいずれかに記載の計測装置。
(19)
把持体による物体の把持の検出に基づいて計測対象物を特定する処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る処理と、
を情報処理装置が行う計測方法。
(20)
把持体による物体の把持の検出に基づいて計測対象物を特定する処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る処理と、
を情報処理装置に実行させるプログラム。
(21)
把持体によるブドウの房の把持の検出に基づいて計測対象となるブドウの房を特定する処理と、
前記特定されたブドウの房の粒数の計測を開始する処理と、
を情報処理装置が行う計測方法。
(22)
把持体により把持されたブドウの房を特定する処理と、
前記特定されたブドウの房の回転に伴い前記特定されたブドウの房の粒数を計測する処理と
を情報処理装置が行う計測方法。
Claims (27)
- 把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、
前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部と、を備え、
前記計測処理は、
前記把持体により物体の把持が行われ、かつ物体が移動させられたことの検出に基づいて実行される
計測装置。 - 把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、
前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部と、を備え、
前記計測処理は、
前記把持体により物体の把持が行われ、かつ当該把持以外の所定行為の検出に基づいて実行される
計測装置。 - 把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、
前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部と、を備え、
前記計測対象特定部は、
前記把持体により把持が行われ、かつ移動させられた物体を計測対象物とする処理を行う
計測装置。 - 把持体による物体の把持の検出に基づいて計測対象物を特定する処理を行う計測対象特定部と、
前記計測対象特定部が特定した計測対象物の特徴量の計測処理による計測結果を得る計測部と、を備え、
前記計測対象特定部は、前記把持体によって枝が把持されたブドウの房を計測対象物とする処理を行い、
前記計測処理では、計測対象物とされたブドウの房の特徴量として粒数を計測する
計測装置。 - 前記計測結果に基づく提示のための処理を行う提示制御部を備えた
請求項1から請求項4のいずれかに記載の計測装置。 - 前記計測処理は、撮像された画像を用いて行われる
請求項1から請求項4のいずれかに記載の計測装置。 - 前記計測処理は、
前記把持体による物体の把持が行われたことの検出に基づいて実行される
請求項1から請求項4のいずれかに記載の計測装置。 - 前記計測処理は、計測対象物が移動されている期間に撮像された複数のフレームの画像を用いて行われる
請求項1から請求項4のいずれかに記載の計測装置。 - 特徴量の目標値を設定する目標設定部を有し、
前記目標設定部は、前記計測処理で計測される特徴量と前記目標値の差分値を求める
請求項1から請求項4のいずれかに記載の計測装置。 - 前記差分値を提示するための処理を行う提示制御部を備えた
請求項9に記載の計測装置。 - 前記移動は回転移動である
請求項1に記載の計測装置。 - 前記把持体は、人の手、人により操作される器具、又は自動動作するロボットアームのいずれかである
請求項1から請求項4のいずれかに記載の計測装置。 - 計測対象物とされる物体は農作物である
請求項1から請求項4のいずれかに記載の計測装置。 - 前記計測処理に用いる画像の撮像を行う撮像部を備えた
請求項6に記載の計測装置。 - 前記計測処理に用いる画像の撮像を行う撮像部と、
前記計測結果の提示を行う提示部と、を有し、
前記撮像部と前記提示部が身体装着型ユニットに配置されている
請求項1から請求項4のいずれかに記載の計測装置。 - 前記提示部は、ユーザの眼前に配置される表示面に情報表示が行われる表示部とされた
請求項15に記載の計測装置。 - 前記把持体による物体の把持を検出するセンサ部が設けられた
請求項1から請求項4のいずれかに記載の計測装置。 - 把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置が行い、
前記第2の処理は、
前記把持体により物体の把持が行われ、かつ物体が移動させられたことの検出に基づいて実行される
計測方法。 - 把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置が行い、
前記第2の処理は、
前記把持体により物体の把持が行われ、かつ当該把持以外の所定行為の検出に基づいて実行される
計測方法。 - 把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置が行い、
前記第1の処理は、
前記把持体により把持が行われ、かつ移動させられた物体を計測対象物とする処理を行う
計測方法。 - 把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置が行い、
前記第1の処理は、前記把持体によって枝が把持されたブドウの房を計測対象物とする処理を行い、
前記第2の処理は、計測対象物とされたブドウの房の特徴量として粒数を計測する
計測方法。 - 把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置に実行させ、
前記第2の処理は、
前記把持体により物体の把持が行われ、かつ物体が移動させられたことの検出に基づいて実行される
プログラム。 - 把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置に実行させ、
前記第2の処理は、
前記把持体により物体の把持が行われ、かつ当該把持以外の所定行為の検出に基づいて実行される
プログラム。 - 把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置に実行させ、
前記第1の処理は、
前記把持体により把持が行われ、かつ移動させられた物体を計測対象物とする処理を行う
プログラム。 - 把持体による物体の把持の検出に基づいて計測対象物を特定する第1の処理と、
特定した計測対象物の特徴量の計測処理による計測結果を得る第2の処理と、
を情報処理装置に実行させ、
前記第1の処理は、前記把持体によって枝が把持されたブドウの房を計測対象物とする処理を行い、
前記第2の処理は、計測対象物とされたブドウの房の特徴量として粒数を計測する
プログラム。 - 把持体によるブドウの房の把持の検出に基づいて計測対象となるブドウの房を特定する処理と、
前記特定されたブドウの房の粒数の計測を開始する処理と、
を情報処理装置が行う計測方法。 - 把持体により把持されたブドウの房を特定する処理と、
前記特定されたブドウの房の回転に伴い前記特定されたブドウの房の粒数を計測する処理と
を情報処理装置が行う計測方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018193178A JP6744898B2 (ja) | 2018-10-12 | 2018-10-12 | 計測装置、計測方法、プログラム |
| US16/757,010 US11454587B2 (en) | 2018-10-12 | 2019-09-20 | Measurement apparatus, measurement method, and program |
| CN201980005197.9A CN111328371B (zh) | 2018-10-12 | 2019-09-20 | 测量设备、测量方法和计算机可读存储介质 |
| PCT/JP2019/037020 WO2020075480A1 (ja) | 2018-10-12 | 2019-09-20 | 計測装置、計測方法、プログラム |
| EP19870052.8A EP3683565B1 (en) | 2018-10-12 | 2019-09-20 | Image measurement apparatus, image measurement method and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018193178A JP6744898B2 (ja) | 2018-10-12 | 2018-10-12 | 計測装置、計測方法、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020060505A JP2020060505A (ja) | 2020-04-16 |
| JP6744898B2 true JP6744898B2 (ja) | 2020-08-19 |
Family
ID=70164266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018193178A Active JP6744898B2 (ja) | 2018-10-12 | 2018-10-12 | 計測装置、計測方法、プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11454587B2 (ja) |
| EP (1) | EP3683565B1 (ja) |
| JP (1) | JP6744898B2 (ja) |
| CN (1) | CN111328371B (ja) |
| WO (1) | WO2020075480A1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021229636A1 (ja) * | 2020-05-11 | 2021-11-18 | 日本電信電話株式会社 | 識別装置、識別方法及び識別プログラム |
| JP6962609B1 (ja) * | 2020-05-11 | 2021-11-05 | Necプラットフォームズ株式会社 | 農作業支援システム、農作業支援方法及び農作業支援プログラム |
| JP7479007B2 (ja) * | 2020-05-29 | 2024-05-08 | 国立大学法人山梨大学 | 画像からぶどう粒を検出する情報処理装置、プログラム、システム、及び方法 |
| JP2022088208A (ja) * | 2020-12-02 | 2022-06-14 | キヤノン株式会社 | 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、およびプログラム |
| CN113099847B (zh) * | 2021-05-25 | 2022-03-08 | 广东技术师范大学 | 一种基于果实三维参数预测模型的果实采摘方法 |
| JP7762417B2 (ja) * | 2021-12-24 | 2025-10-30 | 国立研究開発法人農業・食品産業技術総合研究機構 | 農産物情報処理装置、農産物情報処理方法および農産物情報処理用プログラム |
| JP7090255B1 (ja) | 2022-01-12 | 2022-06-24 | 国立大学法人山梨大学 | 情報処理装置、システム、プログラム、及び情報処理方法 |
| FR3141597B1 (fr) * | 2022-11-08 | 2024-12-20 | Mage Application | Ensemble pour la prévention des blessures comportant un outil électroportatif et un accessoire portable |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07104284B2 (ja) | 1988-06-10 | 1995-11-13 | 株式会社佐竹製作所 | 米粒品位判定方法 |
| JPH0312447A (ja) | 1989-06-09 | 1991-01-21 | Toyo Ink Mfg Co Ltd | 高分子固体電解質 |
| JP4761177B2 (ja) * | 2001-06-21 | 2011-08-31 | 独立行政法人農業・食品産業技術総合研究機構 | 果実の検出方法 |
| JP3711066B2 (ja) * | 2001-11-09 | 2005-10-26 | ちくま農業協同組合 | ぶどう粒の計数方法および房整具 |
| CN100569389C (zh) * | 2007-08-14 | 2009-12-16 | 中国农业大学 | 一种穗状水果分级装置 |
| JP4416022B2 (ja) * | 2007-08-23 | 2010-02-17 | ソニー株式会社 | 撮像装置、撮像方法 |
| US20110186405A1 (en) * | 2010-02-03 | 2011-08-04 | Maf Industries, Inc. | Methods, apparatuses, and systems for conveying and sorting produce |
| JP5645646B2 (ja) * | 2010-12-22 | 2014-12-24 | 綜合警備保障株式会社 | 把持物体認識装置、把持物体認識方法、及び把持物体認識プログラム |
| CN103143508B (zh) | 2013-03-15 | 2015-06-10 | 上海理工大学 | 基于机器视觉的香蕉在线分级包装流水线 |
| ES2470065B2 (es) * | 2013-12-18 | 2014-10-10 | Universidad De La Rioja | Sistema y procedimiento para determinar automáticamente el número de flores de una inflorescencia |
| ES2747298T3 (es) * | 2013-12-20 | 2020-03-10 | Harvest Croo Llc | Cosecha selectiva automatizada de cultivos |
| JP6337530B2 (ja) * | 2014-03-14 | 2018-06-06 | オムロン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
| PL3152705T3 (pl) * | 2014-06-30 | 2019-11-29 | Univ Carnegie Mellon | Metody i system do wykrywania okrągłych owoców przy użyciu lampy błyskowej i kamery oraz automatycznej analizy obrazu z uwzględnieniem niezmienności skali i częściowego zasłonięcia owoców |
| JP5720841B1 (ja) * | 2014-09-08 | 2015-05-20 | 富士ゼロックス株式会社 | 確認行動検出装置及び確認行動検出プログラム |
| JP6573354B2 (ja) * | 2014-11-28 | 2019-09-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| FR3036830B1 (fr) * | 2015-05-29 | 2017-06-09 | Univ Bordeaux | Systeme et methode pour l'estimation d'un volume de recolte au sein d'une exploitation viticole |
| CN105606473B (zh) * | 2016-01-20 | 2018-06-15 | 华中农业大学 | 一种基于机器视觉的红提葡萄硬度无损检测方法 |
| CN105738294B (zh) * | 2016-03-01 | 2018-11-06 | 江苏大学 | 基于单目多视成像的穗状水果自动检测装置及方法 |
| CN106111556B (zh) | 2016-08-22 | 2018-02-23 | 华中农业大学 | 穗状水果的自动检测与分级装备 |
| JP6916015B2 (ja) * | 2017-03-23 | 2021-08-11 | 東芝テック株式会社 | 販売データ処理装置およびプログラム |
-
2018
- 2018-10-12 JP JP2018193178A patent/JP6744898B2/ja active Active
-
2019
- 2019-09-20 EP EP19870052.8A patent/EP3683565B1/en active Active
- 2019-09-20 US US16/757,010 patent/US11454587B2/en active Active
- 2019-09-20 WO PCT/JP2019/037020 patent/WO2020075480A1/ja not_active Ceased
- 2019-09-20 CN CN201980005197.9A patent/CN111328371B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111328371B (zh) | 2025-01-14 |
| WO2020075480A1 (ja) | 2020-04-16 |
| US20200340911A1 (en) | 2020-10-29 |
| US11454587B2 (en) | 2022-09-27 |
| EP3683565B1 (en) | 2023-02-22 |
| EP3683565A1 (en) | 2020-07-22 |
| EP3683565A4 (en) | 2020-12-09 |
| JP2020060505A (ja) | 2020-04-16 |
| CN111328371A (zh) | 2020-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6744898B2 (ja) | 計測装置、計測方法、プログラム | |
| CN103312971B (zh) | 图像处理装置及图像处理方法 | |
| JP2011192022A (ja) | 農作物モニタリング方法、農作物モニタリングシステム及び農作物モニタリング装置 | |
| JP2016154510A (ja) | 情報処理装置、生長状況判定方法、およびプログラム | |
| JP6971453B2 (ja) | 苗データ生成システム、苗判別システム、苗データ生成プログラム、苗判別プログラム、苗データ生成装置、苗判別装置 | |
| CN106961546A (zh) | 信息处理装置和方法、摄像装置、显示装置、控制方法 | |
| CN102954835A (zh) | 指示光检测装置以及方法 | |
| JP2025123541A (ja) | 情報処理装置および農作業支援システム | |
| CN113474635A (zh) | 图像处理设备、图像处理方法和程序 | |
| JP2017042136A (ja) | 植物栽培支援装置、植物栽培支援方法、プログラム、記憶媒体 | |
| JP4961555B2 (ja) | 植物の対象部分の位置特定方法とその方法による対象部分の位置特定装置及びその装置を用いた作業用ロボット | |
| US20260051073A1 (en) | Plant Phenotyping | |
| CN107317986B (zh) | 终端装置、信息取得系统及其信息取得方法 | |
| KR20220022961A (ko) | 개선된 작물생육 분석시스템 | |
| CN114651283A (zh) | 搜寻功能出苗 | |
| JP2019138831A (ja) | 色指標値取得システムおよび色指標値取得方法 | |
| JP7049636B1 (ja) | 情報処理装置、プログラム、システム、及び情報処理方法 | |
| JP2019138830A (ja) | 色指標値制御装置および色指標値制御方法 | |
| WO2019163249A1 (ja) | 色指標値算出システムおよび色指標値算出方法 | |
| JP2022062167A (ja) | 農業管理システム | |
| WO2018133063A1 (zh) | 一种基于运动手势识别的测量仪控制方法及测量仪 | |
| JP2021018128A (ja) | 判定装置、及び、判定方法 | |
| CN101458439A (zh) | 多功能相机及使用该相机的信息采集方法 | |
| JP7315958B2 (ja) | 作物の撮影装置および作物の撮影方法 | |
| FR2994478A1 (fr) | Appareil et procede de mesure d'accumulation thermique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200122 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200122 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200128 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200721 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200731 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6744898 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |