JP7300646B2 - 搬送装置 - Google Patents

Description

本発明は、パレットを搬送対象とする搬送装置に関する。

フォークリフトなどの搬送装置は、予め決められた形状を有するパレットを搬送対象とする。パレットには、穴（フォークポケット）が設けられており、搬送装置には、フォークポケットに挿入可能なフォークが設けられる。

搬送装置のオペレータは、フォークの高さを調節し、ステアリング操作を行いながら搬送装置を走行させて、フォークポケットにフォークを挿入する必要がある。

特開２０１７－１５１６５０号公報

ところが不慣れなオペレータにとって、フォークを、うまくフォークポケットに挿入することは容易でない。もし、フォークがフォークポケット以外の場所に衝突すると、パレット上の荷物が崩れるかもしれない。またフォークポケットにフォークが挿入されたとしても、フォークポケットの内壁にフォークがぶつかると、パレットがずれたり、フォークに好ましくない応力が加わるおそれがある。

本発明は係る課題に鑑みてなされたものであり、そのある態様の例示的な目的のひとつは、オペレータの操作を支援可能な搬送装置の提供にある。

本発明のある態様は、搬送装置に関する。搬送装置は、測距センサと、（i）測距センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、（ii）距離画像にもとづいて、パレットまたはパレットの特定部位である検出対象を特定できるように機械学習により得られた識別器を有する演算部と、を備える。

ＴＯＦ（Time Of Flight）センサ、ＬｉＤＡＲ（Light Detection and Ranging）、ステレオカメラやストラクチャカメラなどの測距センサにより得られる３次元点群データを、２次元の距離画像にマッピングし、距離画像を入力とする識別器を構成することにより、パレットあるいはその部位の特定の精度を高めることができる。そして得られた検出結果を、搬送装置の動作に反映させ、あるいはオペレータに通知することにより、オペレータを支援することができる。

検出対象は、パレットの穴と穴を区切る桁を含んでもよい。パレットには、さまざまな形状や構造が存在するところ、それらには穴と穴を区切る桁が共通して存在する。そこで、桁を検出対象とした識別器を搭載することで、さまざまなパレットについて、穴の位置を検出できる。

演算部は、予め保持しているパレットの幾何学的な情報にもとづいて、穴の位置を特定してもよい。

検出対象であるパレットまたはパレットの特定部位を特定した後に、その結果を利用して、距離画像にもとづいてパレットの穴を特定してもよい。元の距離画像から直接、パレットの穴を特定するように識別器を構成すると、精度が低下する場合がある。そこで、パレットあるいはパレットの特定部位を特定する識別器を構成し、さらにその結果をベースとして穴を特定する識別器を構成することにより、穴の識別精度を高めることができる。

搬送装置は、パレットの穴の位置を、オペレータに視覚的に表示する表示部をさらに備えてもよい。これによりオペレータは表示部を見ることで、直感的に、穴の位置を知ることができる。

搬送装置は、現在の状態で搬送装置を走行させたときに、フォークがパレットの穴に挿入可能か否かをオペレータに通知する通知部をさらに備えてもよい。通知は、視覚的に行ってもよいし、聴覚的に行ってもよい。

演算部は、識別器によって距離画像の中から検出対象の存在位置を示す位置情報を生成してもよい。演算部は、位置情報に応じたテンプレート画像を利用したテンプレートマッチングにより、検出対象の位置を相対的に高い精度で検出してもよい。すなわち前処理として、識別器によって粗い位置検出を行い、特定部位の粗い存在位置あるいは存在範囲を絞り込む。次のステップとして、絞り込まれた範囲内で、存在範囲に適したテンプレート画像を用いたテンプレートマッチングを行うことにより、検出対象の位置を正確に検出できる。

複数のテンプレート画像を予め用意しておいてもよい。演算部は、識別器の出力にもとづいて検出対象の位置を特定し、複数のテンプレート画像の中から、特定した位置に対応するひとつを選択してもよい。

演算部は、テンプレート画像を、検出対象の存在位置にもとづいてリアルタイムで生成してもよい。

なお、以上の構成要素の任意の組み合わせや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、オペレータの操作を支援できる。

搬送装置の一態様であるフォークリフトの外観図を示す斜視図である。 フォークリフトの操縦席の一例を示す図である。 図３（ａ）～（ｈ）は、フォークリフトが搬送対象とするパレットを示す図である。 実施の形態に係るフォークリフトの機能ブロック図である。 図５（ａ）、（ｂ）は、測距センサの設置箇所を説明する図である。 距離画像の一例を示す図である。 図７（ａ）、（ｂ）は、検出対象である特定部位を模式的に示す図である。 図７（ａ）の特定部位の距離画像を示す図である。 ディスプレイを利用した運転支援を説明する図である。 変形例１に係るコントローラの一部のブロック図である。 パレットと測距センサの相対的な位置関係を示す図である。 図１１の複数のパレットそれぞれを測距センサによって撮影して得られる距離画像を示す図である。 変形例３に係るコントローラのブロック図である。 図１４（ａ）～（ｃ）は、変形例３に係るコントローラの処理を説明する図である。 図１５（ａ）～（ｃ）は、変形例４に係るコントローラの処理を説明する図である。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

図１は、搬送装置の一態様であるフォークリフトの外観図を示す斜視図である。フォークリフト６００は、車体（シャーシ）６０２、フォーク６０４、昇降体（リフト）６０６、マスト６０８、車輪６１０、６１２を備える。マスト６０８は車体６０２の前方に設けられる。昇降体６０６は、油圧アクチュエータ（図１に不図示）などの動力源によって駆動され、マスト６０８に沿って昇降する。昇降体６０６には、荷物を支持するためのフォーク６０４が取り付けられている。フォークリフト６００は、２本のフォーク６０４が図示しないパレットの穴（フォークポケット）に挿入された状態で、パレットを搬送する。

図２は、フォークリフトの操縦席７００の一例を示す図である。操縦席７００は、イグニッションスイッチ７０２、ステアリングホイール７０４、リフトレバー７０６、アクセルペダル７０８、ブレーキペダル７１０、ダッシュボード７１４、前後進レバー７１２を備える。

イグニッションスイッチ７０２は、フォークリフト６００の起動用のスイッチである。ステアリングホイール７０４は、フォークリフト６００の操舵を行うための操作手段である。リフトレバー７０６は、昇降体６０６を上下に移動させるための操作手段である。アクセルペダル７０８は、走行用の車輪の回転を制御する操作手段であり、オペレータが踏み込み量を調節することでフォークリフト６００の走行が制御される。オペレータがブレーキペダル７１０を踏み込むと、ブレーキがかかる。前後進レバー７１２は、フォークリフト６００の走行方向を、前進と後進で切りかえるためのレバーである。そのほか、図示しないインチングペダルが設けられてもよい。

オペレータは、車体の位置制御に関して、ステアリングホイール７０４とアクセルペダル７０８、ブレーキペダル７１０を操作し、フォーク６０４の位置制御に関して、リフトレバー７０６を操作する必要がある。

図３（ａ）～（ｈ）は、フォークリフト６００が搬送対象とするパレットを示す図である。パレット８００は、上板８０６、穴８０２、桁８０４を有する。パレット８００の形状は、ＪＩＳ規格により定められるほか、目的や用途に応じて多種多様な形状のものが存在する。図３（ａ）～（ｈ）はそれぞれ、ＪＩＳ規格でＳ２，ＳＵ２，ＤＰ４，Ｒ４，ＲＷ２，Ｄ２，ＤＵ２，Ｄ４と表記される。図３（ａ）～（ｈ）に示すように、一概にパレットといっても、さまざまな形状、構造が存在しており、不慣れなオペレータにとって、複数の操作入力手段（７０４，７０６，７０８，７１０，７０６）を正確に操作して、フォークポケットに正確にフォークを挿入することは容易でない。

以下では、パレットの荷すくい動作を支援可能な構成について説明する。図４は、実施の形態に係るフォークリフト３００の機能ブロック図である。図４には、荷すくい動作の支援に関連するブロックのみが示され、その他のブロックは省略している。

フォークリフト３００は、測距センサ３０２、カメラ３０３、通知手段３０４、コントローラ３１０を備える。測距センサ３０２は、フォークリフト前方３００に取り付けられ、車両前方の距離情報を取得する。その限りでないが測距センサ３０２としては、ＴｏＦカメラ、ＬｉＤＡＲ、ストラクチャードライト法を用いたセンサ、ステレオカメラなどを用いることができる。測距センサ３０２は、車両前方に位置する構造物や物品等の３次元点群データを含む測距データＤ１を生成する。

図５（ａ）、（ｂ）は、測距センサ３０２の設置箇所を説明する図である。図５（ａ）は、上から見た図である。フォークを挿入すべき穴の位置を検出する必要があることから、左右方向に関して、測距センサ３０２は、２本のフォークの中央に配置することが好ましい。これにより、フォークをパレットに挿入する際に、測距センサ３０２によって、パレットを正面から撮影することが可能となる。特に、後述のように桁を含む特定部位を検出対象とする場合に、フォークの中央に測距センサ３０２を配置しておくことで、特定部位の距離画像をうまく撮影することができる。

図５（ｂ）は横から見た図である。上下方向に関しては、３０２ｃで示すようにフォーク６０４と同じ高さとしてもよいが、それよりわずかに上側の位置３０２ａ（あるいは下側の位置３０２ｂ）に設けるとよい。これにより、パレット８００の上板８０６の上面Ｓ１（あるいは上板８０６の下面Ｓ２）を確実に捉えることが可能となるからである。また、この位置は、フォークの高さの最終的な調整の局面において、フォークやその他の車両構造物に遮蔽されにくいという利点もある。

図４に戻る。カメラ３０３は、フォークリフト３００の前方を撮影する。カメラ３０３の撮影した画像データＤ３は、ディスプレイ３０６に表示される。なお図４においては、カメラ３０３と測距センサ３０２を別個の機能ブロックとして示すが、必ずしもハードウェアとして測距センサ３０２と独立していることを意味するものでなく、測距センサ３０２は、カメラ３０３を兼ねていてもよい。たとえば測距センサ３０２がＴＯＦカメラやステレオカメラである場合、それから１次的に得られる単眼画像（赤外線強度分布や可視光モノクロ画像、可視光カラー画像）を、画像データＤ３として用いることができる。

コントローラ３１０は、フォークリフト３００を統合的に制御する。コントローラ３１０は、距離画像取得部３３０および識別器３４０を備える。距離画像取得部３３０は、点群データを含む測距データＤ１にもとづいて、距離画像Ｄ２を生成する。距離画像Ｄ２とは、縦横に複数ピクセルを有する画像データであって、画素値が距離を表すデータをいう。図６は、距離画像の一例を示す図である。なお、測距センサ３０２の出力が距離データである場合、距離画像取得部３３０の処理は簡略化され、あるいは省略される。

図４に戻る。識別器３４０は、距離画像Ｄ２にもとづいて、パレットまたはパレットの特定部位を特定できるように、機械学習により構成される。

処理部３５０は、識別器３４０の検出結果にもとづいて、パレットの穴の位置を特定する。そして検出した結果にもとづいて、通知手段３０４を制御し、オペレータに通知する。通知手段３０４は、ディスプレイ３０６やスピーカ３０８を含みうる。ディスプレイ３０６は、視覚的にパレットの穴の位置やその他の情報をオペレータに通知するために用いられる。スピーカ３０８は、オペレータに聴覚的にパレットの位置やその他の情報を通知するために用いることができる。通知手段３０４による通知については後述する。

識別器３４０および処理部３５０は、演算処理装置（ＣＰＵ）やメモリを有するマイコン３２０と、マイコン３２０が実行するソフトウェアプログラムで構成することができる。さらに距離画像取得部３３０も、マイコン３２０の機能として実装することができる。したがって距離画像取得部３３０、識別器３４０、処理部３５０は、必ずしも別個のハードウェアとして認識されるものではなく、演算処理装置とソフトウェアプログラムの組み合わせにより実現される機能を表す。

あるいは距離画像取得部３３０と識別器３４０を別個のハードウェアで構成してもよい。たとえば測距センサ３０２とマイコン３２０のインタフェースとして、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェア（チップ）が搭載される場合がある。この場合、距離画像取得部３３０の処理を、このハードウェアに実行させてもよい。

以上がフォークリフト３００の構成である。このフォークリフト３００によれば、測距センサにより得られる距離画像を入力とする識別器を機械学習により構成することにより、パレットあるいはその部位の特定の精度を高めることができる。そして得られた検出結果を、搬送装置の動作に反映させ、あるいはオペレータに通知することにより、オペレータの操作を支援することができる。

なお、パレットやその特定部位を検出する別の方法として、３次元点群データを用いて、特徴的な部位をパターンマッチングによって検出する方法も考えられる。ところがこの方法は、対象物を常に同じ方向から測定する必要があり、特徴的な部位の３次元点群データを高密度に精度よく測ることが難しいという問題点がある。

続いて識別器３４０の具体例と、その学習について説明する。一実施例において、識別器３４０は、線形ＳＶＭ（Support Vector Machine）とＨＯＧ（Histograms of Oriented Gradients）特徴量の組み合わせで構成される。線形ＳＶＭは、入力が、２クラスのいずれかに属するかを判定可能な識別器として広く用いられる。一般的な画像処理の分野において、線形ＳＶＭの入力は、画素値が輝度である画像データであるが、本実施の形態では、距離画像を入力としたところが異なっている。

線形ＳＶＭは、２個の穴のペアを直接検出するように学習することもできる。ただし、図３（ａ）～（ｈ）に示したように、穴の形状やサイズは、パレットの種類によってさまざまである。具体的には、穴の横幅は、パレットによって異なっている。またパレットは下板を有するものもあれば、有しないものもあり、したがって穴は下側が開放されている場合と閉じている場合がある。このことから、穴を直接的な識別対象として学習した識別器では、十分に高い識別率が得られない場合がある。

そこで本発明者らは、さらなる識別率の改善のために、パレット８００の穴８０２と穴８０２を区切る桁８０４に着目し、桁８０４を含む一部分（特定部位）を検出対象として識別器３４０を構成することとした。桁８０４は、パレット８００の規格によらずに、パレットの必須の構成要素であり、検出対象として好適であり、高い識別率が期待できる。

図７（ａ）、（ｂ）は、検出対象である特定部位８０１を模式的に示す図である。特定部位８０１は、上板８０６の一部と、下板８０８の一部と、桁８０４および２つの穴８０２を含む。この特定部位８０１は、向かい合わせの２個のコの字形状を含むものと把握できる。図８は、図７（ａ）の特定部位８０１の距離画像を示す図である。

なお図３（ｂ）等に示すように、下板が存在しないパレットも存在する。そこで図７（ｂ）に示すように、下板８０８を除いたＴ字形状を特定部位８０１として識別器３４０を学習させてもよい。

処理部３５０には、パレットの幾何学的な情報が保持されている。処理部３５０は、識別器３４０が特定した特定部位８０１の位置と、幾何学的な情報にもとづいて、演算処理によって、フォークを挿入すべき２個の穴の位置を特定することができる。たとえば、幾何学的な情報は、パレットのセンターの位置（座標）と、穴の位置の相対的な位置関係を含みうる。処理部３５０は、識別器３４０の出力にもとづいて、パレット８００のセンター位置を検出し、センター位置から、左右に所定量オフセットした位置を、フォークを挿入すべき穴の位置とすることができる。

図７（ｃ）は、別のパレットの一部分を示す図である。パレットは、３個の（あるいはそれより多い）穴を有する場合もあり、その場合、１個のパレットが、２個の（あるいはそれより多い）桁を含み、１個のパレットについて、２個の特定部位８０１が隣接して検出される場合もありえる。この場合、２個の特定部位８０１のセンター（すなわち２個の桁８０４のセンター）を、パレット８００全体のセンター位置と判定してもよい。

続いて、通知手段３０４について説明する。図９は、ディスプレイ３０６を利用した運転支援を説明する図である。ディスプレイ３０６には、図４のカメラ３０３が撮影した画像データＤ３が表示される。処理部３５０は、この画像データＤ３とオーバーラップする形で、パレット８００の穴あるいはその外形を強調する図形８１０を表示してもよい。図９に示すようにカメラ３０３が撮影する画像データＤ３には、２本のフォーク６０４が写っていることが好ましい。これにより、オペレータは、ディスプレイ３０６を見ながら、フォーク６０４と穴の位置との相対的な関係を直感的に把握できる。

さらに通知手段３０４は、現在の状態（ステアリング角、アクセルの開度）でフォークリフトを走行させたときに、フォーク６０４がパレット８００の穴８０２に挿入可能か否かをオペレータに通知してもよい。この通知は、図９のディスプレイ３０６を用いて行うことができ、たとえば、挿入可能な場合、図形８１０を第１の色（たとえば青）で描画し、挿入不可能な場合、図形８１０を第２の色（たとえば赤）で描画してもよい。

図形８１０の描画色の制御に加えて、あるいはそれに変えて、スピーカ３０８を利用して、挿入可能か否かをオペレータに報知してもよい。

以上、本発明を実施例にもとづいて説明した。本発明は上記実施形態に限定されず、種々の設計変更が可能であり、様々な変形例が可能であること、またそうした変形例も本発明の範囲にあることは、当業者に理解されるところである。以下、こうした変形例を説明する。

（変形例１）
図１０は、変形例１に係るコントローラ３１０Ａの一部のブロック図である。この変形例では、２個の識別器３４０，３４２が用いられる。前段の識別器３４０は、距離画像Ｄ２を入力として受け、パレットまたはパレットの特定部位を識別可能に構成される。後段の識別器３４２は、識別器３４０の識別結果を利用して、穴を特定するように学習されている。たとえば前段の識別器３４０によりパレットが特定されると、距離画像Ｄ２のうち、パレットの部分が、後段の識別器３４２に入力される。後段の識別器３４２は、局所的な距離画像から、穴を特定可能に構成される。元の距離画像から直接、パレットの穴を特定するように識別器を構成すると、精度が低下する場合がある。そこで、パレットあるいはパレットの特定部位を特定する識別器を構成し、さらにその結果をベースとして穴を特定する識別器を構成することにより、穴の識別精度を高めることができる。この変形例では、処理部３５０にパレットの幾何学的な情報を保持しなくてよいという利点がある。

（変形例２）
識別器３４０を多層のニューラルネットワークで構成し、深層学習を用いてもよい。

（変形例３）
測距センサによってある物体（被写体）を撮影する際に、物体と測距センサの位置関係によって、物体の見え方は大きく異なる。図１１は、パレット８００と測距センサ３０２の相対的な位置関係を示す図である。たとえばパレット８００ｍ＃（＃＝ｌ，ｃ，ｒ）は、測距センサ３０２と同じ高さに位置しており、パレット８００ｕ＃は、測距センサ３０２より高い位置に存在しており、パレット８００ｌ＃は、測距センサ３０２より低い位置に存在している。

図１２は、図１１の各パレット８００を測距センサ３０２によって撮影して得られる距離画像を示す図である。パレット８００と測距センサ３０２の相対的な位置関係に応じて、識別器３４０による検出対象である特定部位（桁８０４）の像も大きく異なる。もし、識別器３４０の学習段階において、特定の位置関係にあるパレット８００＃＃（たとえば正対する８００ｍｃ）の特定部位８０１＃＃のみを含むような教師データ群を用いて、識別器３４０の機械学習を行ったとすると、別の位置関係にあるパレット８００＊＊（ただし＊＊≠＃＃）の特定部位８０１＊＊の位置検出精度が低下するおそれがある。この問題は、測距センサ３０２の視野角が広い場合に顕著に表れる。

フォーク６０４を、パレット８００の穴８０２に干渉なく挿入するためには、フォーク６０４とパレット８００の相対的な位置を数ｃｍより高い精度で制御する必要があり、そのためには特定部位８０１を同じ数ｃｍの高い精度で位置検出する必要がある。なお本発明者らが検討したところ、識別器３４０の学習段階において、さまざまな相対位置関係にあるパレットの特定部位８０１を撮影しておき、それらを教師データとして機械学習を行うと、識別器３４０によって特定部位８０１を見つけやすくなるものの、位置検出精度はそれほど高くならない場合がある。

変形例３ではこの問題を解決し、位置検出精度を高めるための手法を説明する。図１３は、変形例３に係るコントローラ３１０Ｂのブロック図である。コントローラ３１０Ｂは、マイコン３２０Ｂを備える。マイコン３２０Ｂは、識別器３４０および処理部３５０に加えて、パターンマッチング処理部３６０と、テンプレート画像生成部３６２を備える。

識別器３４０については上述したとおりであり、事前の機械学習に得られた予測モデルを用いて、特定部位８０１を検出可能に構成されている。なお上述のように、この変形例３では、識別器３４０における特定部位８０１の位置検出精度がそれほど高くない場合を想定する。

識別器３４０は、元の距離画像Ｄ２のうち検出した特定部位８０１を含む一部分である、部分距離画像Ｄ４を抽出し、パターンマッチング部３６０に与える。また識別器３４０は、テンプレート画像生成部３６２に対して、検出した特定部位の位置情報Ｄ５を生成し、テンプレート画像生成部３６２に供給する。位置情報Ｄ５は、検出した特定部位の座標であってもよいし、元の距離画像Ｄ２を複数の範囲に分割したときに、特定部位を含む範囲を示すデータであってもよい。

テンプレート画像生成部３６２は、位置情報Ｄ５にもとづいて、テンプレート画像Ｄ６を生成する。なおこのテンプレート画像Ｄ６は、距離画像であることに留意されたい。位置情報Ｄ５が与えられると、特定部位と測距センサ３０２の相対的な位置関係がわかるため、その位置関係において、測距センサ３０２によって特定部位を撮影したときに得られるであろう距離画像を推定できる。テンプレート画像生成部３６２は、この位置関係に応じた距離画像をテンプレート画像としてパターンマッチング部３６０に供給する。

パターンマッチング部３６０は、位置情報に応じたテンプレート画像Ｄ６を利用して、テンプレートマッチングにより、部分距離画像Ｄ４の中から、検出対象である特定部位の位置を検出し、最終的な位置情報Ｄ７を出力する。

以上が変形例３に係るコントローラ３１０Ｂの構成である。つづてその動作を説明する。図１４（ａ）～（ｃ）は、変形例３に係るコントローラ３１０Ｂの処理を説明する図である。図１４（ａ）は、あるシチュエーションにおいて得られた距離画像Ｄ２を示す。この距離画像Ｄ２が識別器３４０に入力され、パレット８００の特定部位８０１が検出される。ただしその位置検出精度はそれほど高くはなく、特定部位８０１のおおよその位置が検出される。

識別器３４０が検出した特定部位８０１の位置を含むように、注目領域（ＲＯＩ：Region Of Interest）が設定され、ＲＯＩが部分距離画像Ｄ４としてパターンマッチング部３６０に供給される。図１４（ｂ）には、部分距離画像Ｄ４が示される。部分距離画像Ｄ４は、特定部位８０１が存在しうる範囲であり、たとえば識別器３４０による検出位置Ｐを中心とする矩形領域とすることができる。

テンプレート画像生成部３６２には、図１４（ｃ）に示すような複数のテンプレート画像Ｄ６＿１～Ｄ６＿Ｎが用意されている。テンプレート画像生成部３６２は、複数のテンプレート画像Ｄ６＿１～Ｄ６＿Ｎの中から、位置情報Ｄ５に応じたひとつを選択する。選択されたテンプレート画像Ｄ６＿ｉは、特定部位８０１が存在しうる範囲に適したものとなっている。

図１４（ｄ）に示すように、パターンマッチング部３６０は、テンプレートマッチングにより、部分距離画像Ｄ４のなかから、テンプレート画像Ｄ６＿９を検出し、特定部位８０１の位置を高精度に検出する。以上がコントローラ３１０Ｂの動作である。

このようにコントローラ３１０Ｂによれば、前処理として、識別器３４０によって粗い位置検出を行い、特定部位の粗い存在位置あるいは存在範囲を絞り込む。次のステップとして絞り込まれた範囲内で、存在範囲に適したテンプレート画像を用いたテンプレートマッチングを行うことにより、検出対象の位置を正確に検出できる。

（変形例４）
図１５（ａ）～（ｃ）は、変形例４に係るコントローラの処理を説明する図である。図１５（ａ）は、あるシチュエーションにおいて得られた距離画像Ｄ２を示す。この距離画像Ｄ２が識別器３４０に入力され、パレット８００の特定部位８０１が検出される。ただしその位置検出精度はそれほど高くはない。たとえば距離画像Ｄ２は複数の範囲９００＿１～９００＿Ｎ（この例ではＮ＝９）に分割されており、識別器３４０は、複数の範囲９００＿１～９００＿Ｎのうち、特定部位８０１を含む範囲９００を、注目領域（ＲＯＩ：Region Of Interest）とし、ＲＯＩを部分距離画像Ｄ４としてパターンマッチング部３６０に供給する。またＲＯＩの位置を示す位置情報Ｄ５を、テンプレート画像生成部３６２に出力する。

テンプレート画像生成部３６２には、複数の範囲９００＿１～９００＿９それぞれに対応するテンプレート画像Ｄ６＿１～Ｄ６＿９が用意されている。テンプレート画像生成部３６２は、現在のＲＯＩが９番目の領域であるから、それに対応するテンプレート画像Ｄ６＿９を選択し、パターンマッチング部３６０に供給する。

パターンマッチング部３６０は、テンプレートマッチングにより、部分距離画像Ｄ４のなかから、テンプレート画像Ｄ６＿９を検出し、特定部位８０１の位置を高精度に検出する。以上がコントローラ３１０Ｂの動作である。

このようにコントローラ３１０Ｂによれば、前処理として、識別器３４０によって粗い位置検出を行い、特定部位の粗い存在位置あるいは存在範囲を絞り込む。そして絞り込まれた範囲内で、より適切なテンプレート画像を用いることにより、検出対象の位置を正確に検出できる。

（変形例５）
テンプレート画像生成部３６２は、テンプレート画像Ｄ６を、位置情報Ｄ５にもとづいてリアルタイムで生成してもよい。テンプレート画像生成部３６２には、パレット８００の３次元モデルのデータを格納しておく。そして、仮想的な３次元空間内に、測距センサとパレット８００のモデルを配置し、測距センサによって撮影されるであろう特定部分の距離画像を生成することができる。この場合、さらに位置検出精度を高めることができる。

（変形例６）
変形例３や４では、測距センサ３０２とパレット８００の、水平方向／垂直方向に関する相対的な位置関係の違いについて議論した。変形例６では、測距センサ３０２とパレット８００の奥行き方向の距離の違いについて検討する。測距センサ３０２からの見え方は、パレット８００と測距センサ３０２の奥行き方向の距離によっても変化する。たとえばパレット８００と測距センサ３０２が正対する場合であっても、それらの距離が変化すると、特定部位８０１の距離画像の大きさが変化する。

そこで位置情報Ｄ５は、測距センサ３０２と特定部位８０１の奥行き方向の距離情報を含んでもよい。テンプレート画像生成部３６２は、奥行き方向の距離に応じたテンプレート画像を生成することができる。最も簡易には、奥行きの方向の距離に応じてテンプレート画像を拡大・縮小してもよい。

（変形例７）
実施の形態では搬送装置としてフォークリフトを例に説明したが、本発明の適用はその限りでなく、ハンドリフト（ハンドパレット）やＡＧＶ（Automatic Guided Vehicle）、フォークローダー（フォーク付きのホイルローダー）など、パレットを取り扱うさまざまな搬送装置に適用することができる。

６００ フォークリフト
６０２ 車体
６０４ フォーク
６０６ 昇降体
６０８ マスト
６１０ 前輪
６１２ 後輪
７００ 操縦席
７０２ イグニッションスイッチ
７０４ ステアリングホイール
７０６ リフトレバー
７０８ アクセルペダル
７１０ ブレーキペダル
７１２ 前後進レバー
７１４ ダッシュボード
３００ フォークリフト
３０２ 測距センサ
３０３ カメラ
３０４ 通知手段
３０６ ディスプレイ
３０８ スピーカ
３１０ コントローラ
３２０ マイコン
３３０ 距離画像取得部
３４０ 識別器
３５０ 処理部
３６０ パターンマッチング部
３６２ テンプレート画像生成部
Ｄ１ 測距データ
Ｄ２ 距離画像
Ｄ３ 画像データ
Ｄ４ 部分距離画像
Ｄ５ 位置情報
Ｄ６ テンプレート画像
８００ パレット
８０１ 特定部位
８０２ 穴
８０４ 桁

Claims (8)

1. 測距センサと、
   （i）前記測距センサの出力にもとづいて画素値が距離を表す距離画像を取得可能であり、（ii）前記距離画像にもとづいて、パレットまたはパレットの特定部位である検出対象を特定できるように機械学習により構成された識別器を有する演算部と、
   を備え、
   前記演算部は、前記識別器によって前記距離画像の中から前記検出対象の存在位置を示す位置情報を生成し、
   前記演算部は、前記位置情報に応じたテンプレート画像を利用したテンプレートマッチングにより、前記検出対象の位置を相対的に高い精度で検出することを特徴とする搬送装置。
2. 前記検出対象は、前記パレットの穴と穴を区切る桁を含むことを特徴とする請求項１に記載の搬送装置。
3. 前記演算部は、予め保持している前記パレットの幾何学的な情報にもとづいて、前記穴の位置を特定することを特徴とする請求項２に記載の搬送装置。
4. 前記検出対象を特定した後に、その結果を利用して、前記距離画像にもとづいて前記パレットの穴を特定することを特徴とする請求項１に記載の搬送装置。
5. 前記パレットの穴の位置を、オペレータに視覚的に表示する表示部をさらに備えることを特徴とする請求項１から４のいずれかに記載の搬送装置。
6. 現在の状態で前記搬送装置を走行させたときに、フォークが前記パレットの穴に挿入可能か否かをオペレータに通知する通知部をさらに備えることを特徴とする請求項１から４のいずれかに記載の搬送装置。
7. 複数の前記テンプレート画像が予め用意されており、
   前記演算部は、前記識別器の出力にもとづいて前記検出対象の位置を特定し、前記複数のテンプレート画像の中から、特定した位置に対応するひとつを選択することを特徴とする請求項１から６のいずれかに記載の搬送装置。
8. 前記演算部は、前記テンプレート画像を、前記検出対象の存在位置にもとづいてリアルタイムで生成することを特徴とする請求項１から６のいずれかに記載の搬送装置。

Images