JP3858703B2

JP3858703B2 - Cargo work support device for industrial vehicle and industrial vehicle

Info

Publication number: JP3858703B2
Application number: JP2002014736A
Authority: JP
Inventors: 健一片江; 恒一条
Original assignee: Toyota Industries Corp
Current assignee: Toyota Industries Corp
Priority date: 2002-01-23
Filing date: 2002-01-23
Publication date: 2006-12-20
Anticipated expiration: 2022-01-23
Also published as: JP2003212490A

Description

【０００１】
【発明の属する技術分野】
本発明は、産業車両に設けられた荷役機器の荷役対象を撮影した画像データを用いて、例えばパレットなどの荷役対象に荷役機器を位置合わせする位置合わせ作業を支援する産業車両における荷役作業支援装置及び産業車両に関するものである。
【０００２】
【従来の技術】
例えば、この種の産業車両であるフォークリフトでは、多段式マストを有する荷役装置が車体に備えられ、フォーク等の荷役機器（アタッチメント）を有したキャリッジがマストに沿って昇降可能に設けられている。例えば棚の高所で荷取作業や荷置作業をする際は、運手者は高所（例えば３〜６メートル）を仰ぎ見ながらフォークがパレットの穴または棚面の少し上方位置に合ったかどうかを目視で確認しつつ荷役レバーを操作する必要がある。
【０００３】
しかし、高所を下方から仰ぎ見ながらフォークとパレット等が水平方向に位置合わせされたかを目視で判断することは困難で、熟練者でもこの位置合わせに時間を要するという問題があった。そこで、従来、例えば荷役機器にカメラを取り付け、フォーク正面に見える棚やパレット等の様子を撮影した画像を、運転席にいる運転者が表示装置の画面を通して見られるようにすることで、高所でのフォークの位置合わせ作業を支援する装置が知られている。
【０００４】
例えば米国特許５５８６６２０号には、カメラが昇降機構と共にキャリッジ（荷役機器）に取り付けられ、フォークが最下降位置から少し上昇するとカメラが下降し、フォークが最下降位置に下降する際は最下降位置に達するまでにカメラが上昇して保護位置に格納される昇降式のカメラ昇降装置を備えるものが開示されている。このカメラ機構であれば、フォーク上昇時にはカメラがキャリッジから下降してフォーク正面の撮影ができ、フォークを最下降させた時には、カメラが上昇して保護位置に格納されるため、カメラが床面に衝突することが回避される。カメラはバネで下方に付勢されており、キャリッジが最下降位置付近まで下降するとマスト側に設けられたプレートに当たってカメラがバネの付勢力に抗して上昇して保護位置に格納される。
【０００５】
【発明が解決しようとする課題】
しかしながら、カメラがキャリッジに取り付けられていたので、フォークが最下降位置に下降する過程でプレートに当たってカメラを保護位置に上昇させて格納する移動機構を採用していた。このため、カメラの取付構造が比較的複雑であった。またカメラがキャリッジに取り付けられていたので、カメラが比較的振動を受け易いという問題もあった。さらに、フォーク位置決め操作の支援を必要とする高所ではカメラが常に下方に突出した状態にあったため、下方に突出したカメラが荷役作業時に周辺物と干渉する恐れがあった。そのため、この種の干渉を防ぐ機構も設ける必要があった。
【０００６】
また、このフォークリフトは、荷役作業時に高所の様子を画面を通して確認しながら荷役作業ができるものの、フォークを荷役対象であるパレットや棚部に位置合わせする位置合わせ作業は、運転者が荷役レバーを操作して行わなければならなかった。
【０００７】
本発明は前記課題を解決するためになされたものであって、その目的は、カメラ等の撮影手段が荷役作業時に周辺物などと干渉することを防ぐことができ、撮影手段が受ける振動も比較的小さく抑えられ、しかも荷役機器を荷役対象に自動で位置合わせできる産業車両における荷役作業支援装置及び産業車両を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために請求項１に記載の発明では、荷役機器を有するキャリッジが案内部材に沿って基準位置から所定位置までの第１範囲を移動するとともに、前記所定位置以上の第２範囲では前記キャリッジと前記案内部材との当該移動方向における相対位置関係を一定に保ったまま該案内部材が移動することにより前記キャリッジが前記第２範囲を移動する荷役装置を備える。前記キャリッジが前記所定位置以上の前記第２範囲に位置するときに前記荷役機器の作業エリアを撮影可能に撮影手段が前記案内部材に設けられている。位置割出手段は、前記撮影手段からの画像データを画像処理するとともにその処理結果を用いて前記荷役対象の位置を割り出す。制御手段は、前記位置割出手段により位置が割り出された荷役対象に前記荷役機器を位置合わせするように前記荷役装置の駆動手段を駆動制御する。なお、作業エリアとは、荷役機器が荷役対象に大雑把に位置合わせされた状態（遠方からあるいは斜めの角度から見て目視で大雑把に位置を合わせた程度で実際には位置が合っていない状態）下で、荷役機器にとって目標とする荷役対象を含むことになるエリアであり、よって大雑把に位置が合った状態で荷役対象を撮影できる位置に撮影手段は配置される。
【０００９】
この発明によれば、キャリッジが所定位置以上の第２範囲にあるときは、キャリッジと案内部材との相対位置関係が一定に保たれるので、少なくともキャリッジ移動方向において荷役機器と撮影手段との相対位置関係が一定に保たれる。このため、キャリッジが第２範囲のどの位置にあろうとも、撮影手段により荷役機器の荷役対象を撮影できる。そして、撮影手段からの画像データを画像処理するとともにその処理結果を用いて荷役対象の位置が位置割出手段によって割り出される。この位置割出情報に基づき制御手段によって荷役装置の駆動手段が駆動制御され、荷役機器は位置割出手段により位置が割り出された荷役対象に位置合わせされる。案内部材に移動可能に取り付けられたキャリッジに撮影手段が設けられる構成であると、撮影手段が比較的大きな振動を受けることになるが、キャリッジを支持する案内部材側に撮影手段が設けられることで撮影手段が受ける振動を比較的小さく抑えることができる。また、撮影手段がキャリッジに設けられると、例えば撮影のため撮影手段をキャリッジから突出配置させなければならない場合があり、この場合には撮影手段がキャリッジの周辺物と干渉し易くなるが、案内部材に設けられていればそのような心配もない。さらにキャリッジを例えば基準位置に戻したときなどに撮影手段と他の周辺物（床面含む）との干渉を避けるために撮影手段を格納させる格納機構を設ける必要があるが、案内部材に設けられていれば格納機構は必要ない。
【００１０】
請求項２に記載の発明では、産業車両は荷役機器を有するキャリッジが所定揚高以上の範囲をマストの構成部材と相対位置関係を一定に保った状態で昇降する荷役装置を備える。撮影手段は前記荷役機器の作業エリアを撮影可能に前記マストの前記構成部材に設けられている。位置割出手段は、前記撮影手段からの画像データを画像処理するとともにその処理結果を用いて前記荷役対象の位置を割り出す。制御手段は、前記位置割出手段により位置が割り出された荷役対象に前記荷役機器を位置合わせするように前記荷役装置の駆動手段を駆動制御する。
【００１１】
この発明によれば、キャリッジが所定揚高以上の範囲を昇降する際、キャリッジとマストの構成部材は一定の相対位置関係に保たれる。このため、マストの構成部材に設けられた撮影手段と荷役機器もキャリッジ移動方向において一定の相対位置関係に保たれる。よって、キャリッジが所定揚高以上のどの揚高にあっても、撮影手段によって荷役機器の作業エリアが撮影され、荷役対象を撮影できることになる。そして、撮影手段からの画像データを画像処理するとともにその処理結果を用いて荷役対象の位置が位置割出手段によって割り出される。この位置割出情報に基づき制御手段によって荷役装置の駆動手段が駆動制御され、荷役機器は位置割出手段により位置が割り出された荷役対象に位置合わせされる。キャリッジに撮影手段が設けられる構成であると、撮影手段が比較的大きな振動を受けることになるが、インナマスト側に撮影手段が設けられることで、撮影手段が受ける振動を比較的小さく抑えることができる。また、撮影手段がキャリッジに設けられると、例えば撮影のため撮影手段をキャリッジから突出配置させなければならない場合、撮影手段が周辺物と干渉し易くなるが、インナマストに設けられていればそのような心配もない。さらにキャリッジを例えば最下降位置に戻したときなどに撮影手段と床面との干渉を避けるために撮影手段を格納させる格納機構などの移動機構を設ける必要があるが、インナマストに設けられていれば移動機能も必要なくなる。
【００１２】
請求項３に記載の発明では、荷役装置は多段式のマストを備える。荷役機器を有するキャリッジが最下降位置から所定揚高までの第１範囲でインナマストに沿って昇降するとともに、前記所定揚高以上の第２範囲では前記キャリッジが前記インナマストとの相対位置関係を一定に保ったままインナマストが昇降することにより前記キャリッジが昇降する荷役装置を備える。撮影手段は、前記キャリッジが前記第２範囲にあって前記荷役機器と前記インナマストが一定の相対位置関係にあるときに前記荷役機器の作業エリアを撮影可能に前記インナマストに設けられている。位置割出手段は、前記撮影手段により撮影された画像データを画像処理するとともにその処理結果を用いて荷役対象の位置を割り出す。制御手段は、前記位置割出手段により位置が割り出された荷役対象に対し、前記荷役機器を位置合わせするように前記荷役装置の駆動手段を駆動制御する。
【００１３】
この発明によれば、キャリッジが所定揚高以上の第２範囲のどの位置にあっても、キャリッジとインナマストとの相対位置関係が一定に保たれる。このため、インナマストに設けられた撮影手段と荷役機器との相対位置関係が少なくともキャリッジ移動方向において一定に保たれる。よって、キャリッジが所定揚高以上の第２範囲のどの位置にあっても、荷役機器の作業エリアを撮影手段により撮影することができる。そして、撮影手段により撮影された画像データを画像処理するとともにその処理結果を用いて荷役対象の位置が位置割出手段によって割り出される。この位置割出情報に基づき制御手段により荷役装置の駆動手段が駆動制御され、位置割出手段により位置が割り出された荷役対象に対し荷役機器が位置合わせされる。よって、請求項２に記載の発明と同様の作用効果が得られる。
【００１４】
請求項４に記載の発明では、スライド伸縮可能な多段式のマストと、前記マストを構成するインナマストに沿って荷役機器を有するキャリッジを昇降させる第１駆動手段と、前記マストをスライドさせて伸縮駆動させる第２駆動手段とを備える。駆動制御手段は、荷役操作手段の操作に基づき前記第１駆動手段及び第２駆動手段を駆動させるとともに、前記キャリッジが最下降位置から所定揚高までの第１範囲にあって前記インナマストの上限に位置することが検知されないときに前記第１駆動手段を駆動する。また駆動制御手段は、前記キャリッジが前記所定揚高以上の第２範囲にあって前記インナマストの上限に位置することが検知されたときに前記第２駆動手段を駆動する。撮影手段は、前記キャリッジが前記インナマストの上限に位置する状態で前記荷役機器の作業エリアを撮影可能に前記インナマストに設けられている。位置割出手段は、前記撮影手段からの画像データを画像処理するとともにその処理結果を用いて荷役対象の位置を割り出す。制御手段は、前記位置割出手段により位置が割り出された荷役対象に前記荷役機器を位置合わせするように前記第２駆動手段を駆動制御する。
【００１５】
この発明によれば、キャリッジが所定揚高以上の第２範囲にあってインナマストの上限に位置することが検知されたときに第２駆動手段が駆動される。キャリッジが第２範囲のどの位置にあっても、少なくともキャリッジ移動方向において、インナマストに設けられた撮影手段と荷役機器の相対位置関係が一定に保たれるため、荷役機器の作業エリア（荷役対象）を撮影手段により撮影することが可能となる。撮影手段からの画像データを画像処理するとともにその処理結果を用いて荷役対象の位置が位置割出手段により割り出される。この位置割出情報に基づき制御手段により第２駆動手段が駆動制御され、位置割出手段により位置が割り出された荷役対象に荷役機器が位置合わせされる。よって、この発明においても、請求項２に記載の発明と同様の作用効果が得られる。
【００１６】
請求項５に記載の発明は、請求項３〜４に記載の発明において、前記荷役機器を前記インナマストに対しサイドシフトさせるサイドシフト用駆動手段と、前記荷役機器のサイドシフト方向における基準位置からのサイドシフト量を検出するサイドシフト量検出手段とを備える。前記位置割出手段は、前記画像処理結果から得られた前記荷役対象の位置情報と前記サイドシフト量検出値とに基づき前記荷役機器と前記荷役対象との上下方向及びサイドシフト方向の相対位置を割り出す。前記制御手段は、前記相対位置の位置割出情報に基づき前記荷役機器を前記荷役対象に前記二方向に位置合わせすべく前記駆動手段及びサイドシフト用駆動手段を駆動制御する。
【００１７】
この発明によれば、請求項３〜４に記載の発明の作用に加え、以下の作用が得られる。サイドシフト量検出手段により検出されたサイドシフト量検出値から、撮影手段と荷役機器とのサイドシフト方向における相対位置が把握されるので、荷役機器と荷役対象とのサイドシフト方向のずれを求めることが可能となる。従って、上下方向とサイドシフト方向の二方向において荷役機器を荷役対象に位置合わせすることが可能となり、運転者の手動操作による負担がより軽減される。
【００１８】
請求項６に記載の発明は、請求項３〜５のいずれか一項に記載の発明において、前記撮影手段は前記インナマストに固定されていることを要旨とする。
この発明によれば、請求項３〜５のいずれか一項に記載の発明の作用に加え、撮影手段がインナマストに固定されているので、その組付構造が簡単に済む。
【００１９】
請求項７に記載の発明は、請求項６に記載の産業車両における荷役作業支援装置において、前記撮影手段は前記インナマストのビームに固定されていることを要旨とする。
【００２０】
この発明によれば、撮影手段はインナマストのビームに固定されているので、ビームがブラケットなどの取り付け用の部材を兼ねるので、取付に必要な余分な部材を抑えられる。
【００２１】
請求項８に記載の発明は、請求項３〜７のいずれか一項に記載の発明において、前記撮影手段は、前記荷役機器が前記所定揚高以上の揚高に位置する状態で前記荷役機器より下方に配置されるようにインナマストに設けられていることを要旨とする。
【００２２】
この発明によれば、荷役機器が所定揚高以上の揚高に位置する状態で、インナマストに設けられた撮影手段により荷役機器の下方から荷役対象を撮影できる。例えば荷役機器に荷が積まれたときでも荷に遮られず荷役対象を撮影することができる。
【００２３】
請求項９に記載の発明は、請求項１〜８のいずれか一項に記載の発明において、前記撮影手段により撮影された画像を表示する表示手段を備えていることを要旨とする。
【００２４】
この発明によれば、撮影手段により撮影された荷役対象の画像を表示手段の画面で見ることができる。よって、例えば運転者から離れた場所（例えば高所）で荷役作業が行われる場合でも、表示手段の画面を通して荷役機器の荷役対象に対する位置合わせを確認することができる。
【００２５】
請求項１０に記載の発明は、請求項１〜９のいずれか一項に記載の発明において、前記位置割出手段は、前記撮影手段からの画像データを画像処理することで前記荷役対象に付されたマークの位置を割り出し、該割り出したマークの位置から荷役対象の位置を割り出すことを要旨とする。
【００２６】
この発明によれば、撮影手段からの画像データを画像処理することで荷役対象に付されたマークの位置を割り出し、割り出したマークの位置から荷役対象の位置が割り出される。従って、荷役対象の位置を正確に割り出すことができ、位置合わせ制御時の精度が高まる。
【００２７】
請求項１１に記載の発明は、請求項１〜１０のいずれか一項に記載の発明において、荷役作業が荷取作業であるか荷置作業であるかを判別する判別手段を備える。前記位置割出手段は、前記判別手段により荷取作業と判別されたときは荷取作業用の荷役対象の位置を割り出し、荷置作業と判別されたときは荷置作業用の荷役対象の位置を割り出す。前記制御手段は、前記判別手段により判別された荷役作業の種別に応じて位置が割り出された荷役対象に対し前記荷役機器を位置合わせするよう前記駆動手段を駆動制御する。
【００２８】
この発明によれば、荷役作業に荷取作業と荷置作業の複数があっても、それぞれを判別してその荷役作業内容から対象とすべき荷役対象の位置が割り出され、判別された荷役作業の種別に応じて位置が割り出された荷役対象に対し荷役機器を位置合わせされる。従って、荷役作業内容に複数の種別があってもその適切な荷役対象に自動で位置合わせできる。
【００２９】
請求項１２に記載の発明は、請求項１１に記載の産業車両における発明において、前記位置割出手段は、前記判別手段の判別結果に基づき荷取作業のときはパレットに付された第１マークの位置を割り出し、荷置作業のときは棚部に付された第２マークの位置を割り出す。前記制御手段は、前記判別手段により荷取作業と判別されたときは、前記第１マークの位置割出情報に基づき荷役対象とするパレットの位置を割り出して前記荷役機器を該パレットに位置合わせするよう前記駆動手段を制御するとともに、前記判別手段により荷置作業と判別されたときは、前記第２マークの位置割出情報に基づき荷役対象とする棚部の位置を割り出して前記荷役機器を該棚部に位置合わせするよう前記駆動手段を駆動制御する。
【００３０】
この発明によれば、荷役作業に荷取作業と荷置作業の複数があっても、それぞれを判別した内容に応じて対象とすべきマークを第１マークと第２マークのいずれかを適切に選んで、その荷役作業内容に適した荷役対象が選択される。従って、荷役作業内容に複数の種別があってもその適切な荷役対象に自動で位置合わせできる。
【００３１】
請求項１３に記載の発明は、請求項１〜１２のいずれか一項に記載の発明において、前記荷役機器を移動させるために操作される荷役操作手段と、前記荷役機器を荷役対象に位置合わせする自動位置合わせ制御を行うときに操作する操作手段とを備える。駆動制御手段は、前記荷役操作手段の操作に応じて前記荷役機器を移動させるべく前記荷役操作手段の操作に基づき前記駆動手段を駆動制御する。前記制御手段は、前記操作手段が操作されたときの入力信号に基づき前記荷役機器を前記荷役対象に位置合わせするように前記駆動手段を駆動制御する。
【００３２】
この発明によれば、荷役操作手段を操作してまず荷役機器を目標とする荷役対象に近づけ、おおまかに位置合わせする。その後、自動位置合わせ制御を開始させるために操作手段を操作する。制御手段は操作手段が操作された信号を入力すると、自動位置合わせ制御を行い、荷役機器は荷役対象に位置合わせされる。ここで、操作手段の操作のタイミングは、カメラによる撮影開始タイミングでもよいし、画像処理の開始タイミングでもよいし、位置割出処理の開始タイミングであってもよい。要するに位置合わせ制御が行われるのであればよい。
【００３３】
請求項１４に記載の発明は、請求項１〜１３のいずれか一項に記載の荷役作業支援装置を備えている産業車両。
この発明によれば、産業車両には請求項１〜１３のいずれか一項に記載の荷役作業支援装置が備えられていることから、請求項１〜１３のいずれか一項に記載の発明と同様の作用効果が得られる。
【００３４】
【発明の実施の形態】
以下、本発明をフォークリフトの荷役作業支援装置に具体化した一実施形態を図面に従って説明する。
【００３５】
図１に示すように、産業車両としてのリーチ型フォークリフトトラック（以下、フォークリフトという）１は、荷役機器としてのフォーク２を用いて荷役作業を行う。車体３の前部から前方へ延出する左右一対のリーチレグ４の先端部に左右の前輪（従動輪）５がそれぞれ取付けられており、後輪である駆動操舵輪６は、車体３に配備されたバッテリ７を電源とする走行用モータ８の動力により走行駆動される。運転者は車体３の後部右側に設けられた立席タイプの運転席９に立った状態で、ハンドル１０を操作して駆動操舵輪６を操舵することによりフォークリフト１を運転する。
【００３６】
車体３の前側に配備された荷役装置（マスト装置）１１は、リーチシリンダ１２の駆動により左右のリーチレグ４に沿って前後方向に移動（リーチ動作）可能に設けられている。荷役装置１１は、多段式（本例では３段式）マスト１３と、荷役用のキャリッジ１４と、中央の第１リフトシリンダ１５と、左右一対の第２リフトシリンダ１６（片側のみ図示）とを備えている。マスト１３は、外側から順にアウタマスト１３Ａ、ミドルマスト１３Ｂおよびインナマスト１３Ｃがスライド可能に配置されて構成される３段マストである。本実施形態の荷役装置１１は、キャリッジ１４がインナマスト１３Ｃの最上位置に一旦到達後はじめてマスト１３のスライド伸長が開始されるフルフリー型（テレスコピック型）である。
【００３７】
すなわち、荷役装置１１の中央に１本配置された第１リフトシリンダ１５はインナマスト１３Ｃの底板に立設されており、この第１リフトシリンダ１５が駆動することによりキャリッジ１４はインナマスト１３Ｃに沿って昇降する。第２リフトシリンダ１６はアウタマスト１３Ａの背面に左右一対立設され、キャリッジ１４がインナマスト１３Ｃの最上端に位置することが検知された状態で駆動され、その駆動により３段のマスト１３Ａ，１３Ｂ，１３Ｃがスライド伸縮する。このため、キャリッジ１４は最下降位置からマスト１３の伸長動作を伴わずインナマスト１３Ｃに沿ってその上端位置まで上昇してまず所定揚高（例えば２ｍ）に到達する。そしてキャリッジ１４はインナマスト１３Ｃの上端位置に配置された状態を保ったままマスト１３がスライド伸長することにより、さらに所定揚高以上の揚高範囲を最上昇位置まで上昇する。フォーク２は例えば最高約６メートルまで上昇する。
【００３８】
フォークリフト１には、高所（高揚高範囲）におけるフォーク２の位置合わせ操作を支援するために作業エリアを撮影する撮影手段としてのカメラ１７がマスト１３の構成部材であるインナマスト１３Ｃに固定されている。インナマスト１３Ｃには高さ方向中央よりやや上方位置にミドルビーム１３Ｄが横架されており、カメラ１７はこのミドルビーム１３Ｄの下側に取り付けられている。カメラ１７はその撮影部１７Ａによりフォーク２の作業エリアを撮影可能に前方を向く状態に配置されている。
【００３９】
また、ルーフ１８には運転席９に立つ運転者からよく見える位置に表示手段としての表示装置（液晶ディスプレイ装置（ＬＣＤ））１９が取り付けられている。表示装置１９の画面には、荷役作業時にカメラ１７によって撮影されたフォーク前方の画像が映し出されるようになっている。
【００４０】
図４に示すように、本実施形態では、棚２０とパレット２１には、フォーク２を棚部２２またはパレット２１に対して位置合わせする際の位置目標とするマークＭ１，Ｍ２が付されている。すなわち、パレット２１の正面と背面には２つの差込穴２１Ａ間中央部にパレット位置検出用のマークＭ１が付されている。一方、棚２０の棚部（ビーム）２２にはその正面中央部に棚位置検出用のマークＭ２が付されている。ここで、パレット２１に付されたマークＭ１と、棚部２２に付されたマークＭ２は互いに白黒が反転した模様の図形となっている。カメラ１７により撮影されたマークＭ１（またはＭ２）の画面上の位置からフォーク２と荷役対象（パレット２１または棚部２２）の左右（Ｙ方向）・上下（Ｚ方向）のずれ量を算出し、そのずれ量を無くすようにフォーク２を荷役対象に自動で位置合わせするフォーク自動位置合わせ制御が行われる。
【００４１】
本実施形態のフォークリフト１では荷役装置１１がフルフリー型であるため、フォーク２が所定揚高以上の揚高にあるときは、カメラ１７とフォーク２の高さ方向における相対位置関係が常に一定に保たれる。よって、カメラ１７が例えば正面を向く姿勢で固定されていても、所定揚高以上の揚高ではカメラ１７によって常にフォーク２の作業エリアを撮影可能である。
【００４２】
図２及び図３は、キャリッジ１４がインナマスト１３Ｃの最上端位置（上限）に配置された状態（所定揚高以上の揚高時）を示すもので、図２が正面から見た図、図３が側方から一部破断して見た図である。
【００４３】
図３に示すように、キャリッジ１４は、リフトブラケット２３、フィンガバー２４、シフタ（サイドシフタ）２５、バックレスト２６およびフォーク２から構成される。なお、フォーク２はアタッチメントであるため、荷役作業の用途に応じて荷役機器は他のアタッチメントと交換可能である。
【００４４】
リフトブラケット２３はマスト１３間に昇降可能に配備されている。すなわちリフトブラケット２３はインナマスト１３Ｃの案内面（内面）上を転動するローラ（図示省略）をその両側面に複数個（２個）ずつ備え、チェーン（図示省略）により昇降可能に吊り下げ支持されている。フルフリー型である本実施形態では、第１リフトシリンダ１５のロッド１５Ａの上端部に設けられたスプロケット１５Ｂにはキャリッジ１４を吊下するチェーンが掛装されている。第１リフトシリンダ１５が駆動されると、キャリッジ１４（リフトブラケット２３）がインナマスト１３Ｃに沿って最下降位置から所定揚高までの範囲を昇降するようになっている。また、フィンガバー２４はリフトブラケット２３に対し前後に傾動可能な状態で支持されている。
【００４５】
シフタ２５はフィンガバー２４に対し左右にスライド可能な状態で取付けられている。すなわちフィンガバー２４の上下両端に固定された車幅方向に延びる上下一対の支持レール２４Ａに対し、シフタ２５の二本のガイドレール２５Ａがそれぞれ係合することで、シフタ２５はレール２５Ａに沿って車幅方向（左右方向）にスライド可能となっている。バックレスト２６はシフタ２５の上部に固定されている。またフォーク２はシフタ２５に着脱可能に取り付けられている。
【００４６】
リフトブラケット２３には、フィンガバー２４を傾動させるティルトシリンダ２７が配設されている。ティルトシリンダ２７が駆動されることでフィンガバー２４は傾動動作し、これによってフォーク２がティルト動作する。またフィンガバー２４の上部にはサイドシフトシリンダ２８が設けられており、そのピストンロッド２８Ａはシフタ２５と連結されている。サイドシフトシリンダ２８が駆動されることにより、シフタ２５はフィンガバー２４に対してその幅中心（基準位置）（図２における▼印）から左右に一定距離（例えば５０〜１００ｍｍ内の設定値）ずつ相対移動可能となっている。
【００４７】
マスト１３はキャリッジ１４がインナマスト１３Ｃの最上位置に一旦到達後はじめてスライド伸長を開始するフルフリー型（テレスコピック型）である。このため、キャリッジ１４がインナマスト１３Ｃの最上位置（上限）に到達した後の所定揚高（例えば２ｍ）以上の揚高範囲では、フォーク２は常にインナマスト１３Ｃの上端位置に配置されたままフォーク２とカメラ１７との相対位置関係が上下方向に常に一定に保たれる。
【００４８】
カメラ１７は、キャリッジ１４がインナマスト１３Ｃの最上位置（上限）に配置された状態において、フォーク２の所定距離だけ下方に位置する。また、カメラ１７は、左右方向（車幅方向）にはキャリッジ１４がサイドシフトしていない（サイドシフト方向の基準位置にある）状態下で一対のフォーク２間中心線より片側に偏位（オフセット）している。すなわち、カメラ１７は、第１リフトシリンダ１５の背後に位置するため、ピストンロッド１５Ａがカメラ１７の撮影の妨げにならないように中心線より片側に偏位させている。
【００４９】
図２，３に示すようにカメラ１７は、フォーク２に対し所定距離だけ下方に位置しており、フォーク２上に荷が積載されている荷置作業時にもそのときの荷役対象である棚部２２に付されたマークＭ２を撮影できるようになっている。もちろん、フォーク２上に荷が積載されていない荷取作業時にはそのときの荷役対象であるパレット２１に付されたマークＭ１を撮影できる。
【００５０】
サイドシフトシリンダ２８にはサイドシフト量検出手段としてのストロークセンサ２９が設けられており、ストロークセンサ２９によりサイドシフトシリンダ２８のストローク量が検出される。ストロークセンサ２９の検出結果によりフォーク２のサイドシフト量が把握される。また、サイドストローク検出値からフォーク２とカメラ１７との左右方向（Ｙ方向）の相対位置（ずれ量）が把握される。なお、本実施形態において、最下降位置が基準位置に相当し、所定揚高が所定位置に相当する。また、第１範囲とは、キャリッジ１４（フォーク２）の最下降位置（基準位置）から所定揚高（所定位置）までの範囲を指し、第２範囲とは、所定揚高（所定位置）以上の範囲を指す。
【００５１】
インストルメントパネル上には、荷役操作手段として図５に示す操作レバー（マルチレバー）３１が設けられている。操作レバー３１は、これ１つで走行操作と荷役操作の全ての操作を可能とするもので複数種類の操作部を備えている。
【００５２】
操作レバー３１は、インストルメントパネル上の所定箇所に形成されたスロット３２に沿って前後方向に傾動するレバー本体３３を備えている。レバー本体３３は操作しない状態ではパネル面に対し略垂直となる中立位置にバネ（図示せず）の付勢力により復帰する。レバー本体３３の上端部にはグリップ３４が車幅方向に対し３０度〜６０度程度の角度をもって傾斜する姿勢に取付けられている。
【００５３】
グリップ３４の左端部には、略円筒形のノブ３５が軸線Ｃを中心に回転可能に設けられている。またグリップ３４の左部分前縁にシーソースイッチ３６が、グリップ３４の左部分背面に十字スイッチ３７が、グリップ３４の左部分前面に操作手段としての作動スイッチ３８がそれぞれ設けられている。グリップ３４は、運転者が右肘を付いて右手で握る状態で使用される。グリップ３４を握った状態では、親指でノブ３５と十字スイッチ３７を操作でき、人差し指でシーソースイッチ３６を操作でき、中指で作動スイッチ３８を操作できる。なお、同図における円内がＡ方向から見た十字スイッチ３７である。
【００５４】
グリップ３４を握った右手でレバー本体３３を前方に傾けるとフォークリフト１が前進し、レバー本体３３を後方に傾けるとフォークリフト１が後進する。ノブ３５に形成された突起３５Ａを親指で上方へ押してノブ３５を上側に回すとフォーク２が上昇し、親指で突起３５Ａを下方へ押してノブ３５を下側に回すとフォーク２が下降する。また、人差し指でシーソースイッチ３６の前端を押すと荷役装置１１が前方に移動し、人差し指でシーソースイッチ３６の後端を押すと荷役装置１１が後方に移動する。十字スイッチ３７は上下・左右の４方向に操作可能になっており、上下方向の操作でマスト１３のティルトを操作し、左右方向の操作でサイドシフトを操作する。親指で十字スイッチ３７の上端部を押すとマスト１３が前傾し、十字スイッチ３７の下端部を押すとマスト１３が後傾する。また親指で十字スイッチ３７の右端部を押すとフォーク２が右方向に移動し、十字スイッチ３７の左端部を押すとフォーク２が左方向に移動する。作動スイッチ３８は、荷役作業時に操作レバー３１を操作してフォーク２を目標とする荷役対象（パレット２１または棚部２２）におおまかに位置合わせした後、フォーク２の自動位置合わせ制御を開始させるときに操作するものである。
【００５５】
次に、荷役操作支援装置の電気的構成を図６に基づいて説明する。
荷役操作支援装置４０はコントローラ４５を備える。コントローラ４５は、画像制御部４６、荷役制御部４７、駆動回路４８，４９およびソレノイド駆動回路５０を備えている。
【００５６】
画像制御部４６にはその入力側にカメラ１７が電気的に接続され、映像信号（画像信号）が入力されるとともに、その出力側には表示装置１９およびスピーカ５１が接続されている。画像制御部４６は、カメラ１７からの映像信号（画像信号）を基に表示装置１９の画面に撮影画像を表示させる。また画像制御部４６は、撮影画像中からマークを画像認識する画像認識処理（テンプレートマッチング処理）をし、この画像認識によって把握される画面上（画面座標系）におけるマークの位置から、マークに対するカメラ１７の相対位置座標を把握する。またスピーカ５１からは荷役作業支援状況や作業者への指示内容などが音声ガイドで知らせられる。
【００５７】
一方、荷役制御部４７には、マルチレバー３１の各ポテンショメータ５４，５５およびスイッチ３６〜３８、さらに揚高センサ５８、荷重センサ５９、ティルト角センサ６０などが接続されている。また荷役制御部４７には、駆動回路４８を介して荷役モータ（電動モータ）６２がそれぞれ接続されるとともに、ソレノイド駆動回路５０を介してオイルコントロールバルブ６４に組付けられた各種電磁比例弁６５〜６９のソレノイドが接続されている。なお、荷役制御部４７および荷重センサ５９により判別手段が構成される。
【００５８】
荷役制御部４７は、各ポテンショメータ５４，５５、スイッチ３６，３７からの信号を基に電磁比例弁６５〜６９の電流値制御と荷役モータ６２の駆動制御を行う。荷役モータ６２の作動により荷役ポンプ（油圧ポンプ）７０が駆動されることでオイルコントロールバルブ６５に作動油が供給される。マルチレバー３１の操作信号を基にその操作に対応する各電磁比例弁６５〜６９が比例制御されることで、リフトシリンダ１５，１６、リーチシリンダ１２、ティルトシリンダ２７、サイドシフトシリンダ２８が油圧制御され、フォーク２の昇降操作、リーチ操作、サイドシフト操作、ティルト操作が可能となっている。なお、シリンダ１５，１６，２８により駆動手段が構成される。
【００５９】
荷役制御部４７は、マルチレバー操作時の荷役制御の他、フォーク自動位置合わせ制御を司る。フォーク自動位置合わせ制御は、フォーク２を一定高さ以上に上昇させて行われる高所の荷役作業を支援するためのもので、揚高センサ５８により検出されたフォーク２の揚高が設定揚高（例えば約２メートル）以上にあるときに行われる。荷役制御部４７は荷重センサ５９の検出値を基にフォーク２上の荷の有無を判断して荷役モードを判別し、フォーク２上に荷が無く荷重検出値が閾値以下となると、「荷取りモード（荷取作業）」と判別し、フォーク２上に荷が有って荷重検出値が閾値を超えると、「荷置きモード（荷置作業）」と判別する。
【００６０】
画像制御部４６は、表示処理部７５、画像処理部７６、描画表示部７７、描画データ記憶部７８および音声合成部７９を備える。表示処理部７５は、カメラ１７により撮影された画像が画面に映し出されるようにカメラ１７から入力した映像信号を表示装置１９に出力する。また音声合成部７９は、音声アナウンス（音声ガイド）などのための音声合成処理を行ってスピーカ５１に音声信号を出力する。また表示処理部７５からの画像データが画像処理部７６に入力される。
【００６１】
画像処理部７６は、画面上のマークＭ１，Ｍ２の位置を割り出す画像認識処理と、その割り出したマーク位置を基に車両（カメラ２）と荷役対象との相対位置関係を演算する。画像処理部７６は、画像認識処理部８１、テンプレート記憶部８２、画像演算部８３および表示位置決定部８４を備えている。画像認識処理部８１はパターンマッチング処理による画像認識処理を行う。画像演算部８３は、画像認識処理で得られた画面座標系のマーク位置情報を基にマークに対するカメラ１７の実座標系の相対位置座標を算出する。表示位置決定部８４は、マーク位置情報等を基に画面１９Ａ上でフォーク２を荷役対象に位置合わせする際にマークの移動目標とすべき移動目標点座標などをはじめとする各種表示位置（描画座標）を計算により決定する。描画表示部７７は、移動目標点データなどの表示位置データを取得すると、描画データ記憶部７８から対応する表示（描画）データを読み出して移動目標点マークなどを画面１９Ａ上の画像に描画する。なお、画像処理部７６は、マイクロコンピュータ（マイコン）およびメモリ（ＲＯＭ）等に格納されたプログラムデータによって構成される。また描画表示部７７および描画データ記憶部７８は、描画制御用ゲートアレイと描画用ＶＲＡＭにより構成される。
【００６２】
図７は、マークとテンプレートを示す。同図（ａ）はパレット位置検出用のマークＭ１を示し、同図（ｃ）は棚位置検出用のマークＭ２を示す。また同図（ｂ）がマークＭ１用のテンプレートＴ１、同図（ｄ）がマークＭ２用のテンプレートＴ２である。
【００６３】
マークＭ１はパターンＰ１，Ｐ１を２個並べて構成され、マークＭ２はパターンＰ２，Ｐ２を２個並べて構成されている。マークとは全体の模様、パターンとはマークを構成する２つの模様を指す。パターンマッチング処理に使うテンプレートＴ１，Ｔ２は、パターンＰ１，Ｐ２と同じ模様を有する。２つのマークＭ１，Ｍ２の各パターンＰ１，Ｐ２は、互いに白と黒が反転した模様となっている。
【００６４】
各パターンＰ１，Ｐ２は、一点を中心として放射状に真っ直ぐ延びる複数本の境界線によって白と黒に色分けされた模様である。本実施形態の各パターンＰ１，Ｐ２は、正方形の２本の対角線により区画された４つの領域を白と黒で色分けした模様である。但し、テンプレートの四角形の辺に相当する外形線は模様の一部ではない。マークとカメラの距離の違いに応じて画面１９Ａ上に映し出されるマークＭ１，Ｍ２の大きさが変化しても、その撮影されたパターンＰ１，Ｐ２の中心部分には常にテンプレートＴ１，Ｔ２と同サイズのパターンが存在する。よって、１つのテンプレートＴ１，Ｔ２を用いただけのパターンマッチング処理によりマークＭ１，Ｍ２を認識できるようになっている。テンプレートＴ１，Ｔ１は、カメラ１７から所定距離以内で撮影されたマークＭ１，Ｍ２は全て認識可能となるような所定サイズに設定してある。
【００６５】
図６に示すテンプレート記憶部８２には、２つのテンプレートＴ１，Ｔ２のデータが記憶されている。画像認識処理部８１は、荷役制御部４７から通知された荷役モードが「荷取モード」であればテンプレートＴ１を使用し、「荷置モード」であればテンプレートＴ２を使用する。つまり荷取モードであればパレット位置検出用のマークＭ１を認識するパターンマッチング処理が行われ、荷置モードであれば棚位置検出用のマークＭ２を認識するパターンマッチング処理が行われる。
【００６６】
図８（ａ）は画面上に設定された画面座標系を示す。画面座標系では座標を画素の単位で取り扱い、同図（ａ）における画面１９Ａでは、横方向画素数Ｈ、縦方向画素数Ｖとなっている。ここではマークＭ２を例にして説明する。画像認識処理部８１は、同図（ｂ）に示すように、画像データ上のマークＭ２を構成する２つのパターンＰ２，Ｐ２に対しテンプレートＴ２により２箇所でマッチングし、各パターンＰ２，Ｐ２を認識する。画像演算部８３は、画像認識処理部８１が認識した２つのパターンＰ２，Ｐ２の各中心点（放射中心点）の座標（Ｉ1 ，Ｊ1 ），（Ｉ2 ，Ｊ2 ）をそれぞれ算出し、これら２つの座標値を基にマークＭ２の重心（Ｉ，Ｊ）とパターンＰ２，Ｐ２の中心間距離Ｄを求める。なお、マークＭ１についてもＩ，Ｊ，Ｄ値の求め方は同様である。
【００６７】
図９は、実座標系を示す。実座標系は同図のようにマークＭの中心（重心）を原点Ｏとし、マークＭに垂直な方向でカメラ１７と逆の向きにＸ軸、Ｘ軸を水平面内で反時計回りに９０度回転した方向にＹ軸、鉛直方向（上方向）にＺ軸をとる３次元座標を想定している。そしてこの実座標系でカメラ１７の相対座標（相対位置）（Ｘｃ，Ｙｃ，Ｚｃ）を求め、この相対座標を基にフォーク２の位置ずれ量を算出する。図６に示す画面座標系において計算したデータＩ，Ｊ，Ｄを使用し、幾何変換を行って実座標系の相対座標（Ｘｃ，Ｙｃ，Ｚｃ）は計算される。
【００６８】
以下、Ｉ，Ｊ，Ｄ値からカメラ１７の実座標系における相対座標（Ｘc ，Ｙc ，Ｚc ）を求める計算方法について説明する。
図１０は、実座標系でカメラとマークを上から見た図を示す。また図１１は、実座標系と画面座標系について相似関係にあることを示す。同図左側がカメラ１７に撮影された実座標系のＹＺ平面を示すもので、同図右側がカメラ１７に撮影された画像の画面座標系におけるＩＪ平面を示す。像の歪みを考慮しなければ、これらの２つの像は相似関係にある。
【００６９】
図１０，図１１に示すように、実座標系において撮影範囲の横幅は、２Ｌ・tan αで示され、これは画面座標系では画面１９Ａの横方向画素数Ｈとなる。ここで、角度「α」は、図８に示すようにカメラ１７の水平画角の２分の１である。またＬは、カメラ１７とＹＺ平面との間の距離であり、｜Ｘc ｜に等しい（Ｌ＝｜Ｘc ｜）。また、実座標系におけるマークＭ内の２つのパターンＰ，Ｐの中心間距離ｄは、画面座標系では中心間距離Ｄとなる。つまり実座標系と画面座標系の相似比は、ｄ：Ｄとなる。また、原点Ｏから像の中心までの横座標については、実座標系のＹc と、画面座標系のＩ−Ｈ／２とが対応関係にある。また原点Ｏから像の中心までの縦座標については、実座標系のＺc と、画面座標系のＪ−Ｖ／２とが対応関係にある。
【００７０】
画面座標系の座標（Ｉ，Ｊ）と距離Ｄの値を用いて、図１１の相似関係を用いた幾何変換を行えば、図９に示す実座標系（ＸＹＺ座標系）におけるカメラ１７の相対座標（Ｘｃ，Ｙｃ，Ｚｃ）は、次式より算出される。
Ｘc ＝−Ｌ＝−Ｈｄ／（２Ｄtan α） … (1)
Ｙc ＝ｄ／Ｄ（Ｉ−Ｈ／２） … (2)
Ｚc ＝ｄ／Ｄ（Ｊ−Ｖ／２） … (3)
ここで、Ｈ，Ｖ，α，ｄ値は既知の値であるため、Ｉ，Ｊ，Ｄ値を算出すれば、座標（Ｘｃ，Ｙｃ，Ｚｃ）が求まる。
【００７１】
図６に示すように、荷役制御部４７には、相対座標算出部８５および制御量算出部８６が備えられている。相対座標算出部８５は、画像制御部４６から荷役制御部４７へ送られたデータＩ，Ｊ，Ｄを基に、実座標系におけるカメラ１７の相対座標ＯＣ（Ｘc,Ｙc,Ｚc ）を算出する。
【００７２】
制御量算出部８６は、この実座標系で求めたカメラ１７の相対座標（相対位置）ＯＣ（Ｘｃ，Ｙｃ，Ｚｃ）を基に、フォーク２を荷役対象に位置合わせする際のフォーク２と目標位置との位置ずれ量を演算する。すなわち、フォーク２を荷役対象に位置決めするときに必要なＸ，Ｙ，Ｚ方向の移動距離を計算する。ここで、Ｘ，Ｙ，Ｚ方向の移動距離を計算するに当たり、カメラ１７はフォーク２間中心位置（サイドシフト方向の基準位置）から左右方向に偏位（オフセット）しているので、このオフセット分を補正する必要がある。また、フォーク２はサイドシフトとカメラ１７とのＹ方向における相対位置が変化するため、フォーク２のサイドシフト方向（Ｙ方向）における基準位置からのずれ分を補正する必要がある。制御量算出部８６は、これらの補正分を考慮してカメラ１７の相対座標ＯＣ（Ｘc,Ｙc,Ｚc ）から、ストロークセンサ２９から取得したストローク量検出値を使って、フォーク２と荷役対象（パレット２１または棚部２２）とのＹ，Ｚ方向（左右・上下方向）の相対位置（ずれ量）を算出する。
【００７３】
図１３は、画像認識処理からフォーク自動位置合わせ制御までの制御処理の流れを説明するものである。
まずフォーク２が所定揚高以上の揚高にあるとき、画像認識処理部８１がカメラ１７によって撮影された画像データを画像処理してマークＭを画像認識する画像認識処理（パターンマッチング処理）を行う。すなわち予め判別された荷役モードに応じ、荷取モードであればテンプレート記憶部８２からテンプレートＴ１を読み出してマークＭ１を認識する画像認識処理を行い、荷置モードであればテンプレート記憶部８２からテンプレートＴ２を読み出してマークＭ２を認識する画像認識処理を行う。画像演算部８３は、画像認識処理部８１で認識されたパターンＰの位置を基にマークＭの重心座標（Ｉ，Ｊ）とパターン中心間距離Ｄを画面座標系（画素レベル）で算出する。画面１９Ａ上におけるマークＭの位置データＩ，Ｊ，Ｄは荷役制御部４７へ送られる。そして相対座標算出部８５は、データＩ，Ｊ，Ｄを基に、マークＭの重心を原点Ｏとする実座標系におけるカメラ１７の相対座標ＯＣ（Ｘc,Ｙc,Ｚc ）を算出する。
【００７４】
ここで、図１２に示すように、カメラ位置Ｃ、フォーク位置Ｆ、パレット位置Ｐ、マーク重心位置（原点）Ｏとおき、荷取作業時に、フォーク位置Ｆをパレット位置Ｐに位置合わせするときのベクトルＦＰを考えると、ベクトルＦＰ＝ベクトルＯＰ−ベクトルＯＣ−ベクトルＣＦの関係にある。ここで、点Ｏと点Ｐはそれぞれ同一鉛直線上の位置にするものとすると、ベクトルＯＰは、マーク重心位置Ｏとパレット位置Ｐの距離（Ｚ方向）に相当し、既知情報となる。また、ベクトルＣＦは、カメラ位置Ｃとフォーク位置Ｆとの相対位置で決まるもので、フォーク２のサイドシフト量（つまりストローク量検出値）に応じて変化する。なお、図１２は、フォーク２の荷役対象に対する位置合わせ制御をベクトルを使って説明した模式説明図であるため、パレットへの位置合わせ制御で使用されるマークの位置など実際のものと異なる部分がある。
【００７５】
制御量算出部８６は、カメラ１７の相対座標ＯＣ（Ｘｃ，Ｙｃ，Ｚｃ）を基に、既知情報（ベクトルＯＰ）を用いてフォーク２を荷役対象に位置合わせする際のフォーク２と目標位置との位置ずれ量（ベクトルＦＰの各成分）を演算する。すなわち、フォーク２を荷役対象に位置決めするときに必要なＸ、Ｙ、Ｚ方向の移動距離を計算する。ここで、既知情報のベクトルＯＰの成分（Ｘｐ，Ｙｐ，Ｚｐ）、ベクトルＣＦの成分（Ｘcf，Ｙcf，Ｚcf）、フォーク２をパレット２１に位置合わせするためにフォーク２を移動させるべきベクトルＦＰの成分（Ｘfp，Ｙfp，Ｚfp）とおく。
ベクトルＦＰは、ベクトルＦＰ＝ベクトルＯＰ−ベクトルＯＣ−ベクトルＣＦ
であるので、荷取作業時の位置ずれ量（Ｘfp、Ｙfp，Ｚfp）は、
(Ｘfp,Ｙfp,Ｚfp)＝(Ｘp−Ｘc −Ｘcf,Ｙp−Ｙc −Ｙcf,Ｚp −Ｚc −Ｚcf)
となる。ここで、Ｙp，Ｚp，Ｚcfは既知の値、Ｙcfは変数である。
【００７６】
同様に、荷置作業時を考えると、フォーク２を棚部２２に対し位置合わせする棚面４２Ａから所定距離（１０〜２０ｃｍ）上方位置を荷置位置Ｒとおくと、フォーク位置Ｆを荷置位置Ｒに位置合わせするときのベクトルＦＲを考えると、ベクトルＦＲ＝ベクトルＯＲ−ベクトルＯＣ−ベクトルＣＦの関係にある。ここで、点Ｏと点Ｒはそれぞれ同一鉛直線上の位置にとるものとする。ベクトルＯＲは、マーク重心位置Ｏと荷置位置Ｒとの距離（Ｚ方向）に相当し、既知情報である。また、ベクトルＣＦは、カメラ位置Ｃとフォーク位置Ｆとの相対位置で決まるもので、フォーク２のサイドシフト量（つまりストローク検出値）に応じて変化する。既知情報となるベクトルＯＲは、マーク重心位置Ｏと荷置位置Ｒとの距離に相当する。
【００７７】
この既知情報であるベクトルＯＲの成分（Ｘｒ，Ｙｒ，Ｚｒ）、ベクトルＣＦの成分（Ｘcf，Ｙcf，Ｚcf）、フォーク２を荷置位置Ｒに位置合わせするためにフォーク２を移動させるべきベクトルＦＰの成分（Ｘfr，Ｙfr，Ｚfr）とおく。ベクトルＦＲは、ベクトルＦＲ＝ベクトルＯＲ−ベクトルＯＣ−ベクトルＣＦ
であるので、荷置作業時の位置ずれ量（Ｘfr、Ｙfr，Ｚfr）は、
(Ｘfr,Ｙfr,Ｚfr)＝(Ｘr −Ｘc −Ｘcf,Ｙr −Ｙc −Ｙcf,Ｚr −Ｚc −Ｚcf)
となる。ここで、Ｙｒ，Ｚｒ，Ｚcfは既知の値、Ｙcfは変数である。
【００７８】
本実施形態ではサイドシフトによりフォーク２が横方向に動いてもカメラ１７は動かないので、Ｙcfはサイドシフトの状態によって変化する変数となる。従って、Ｙcfは例えばストロークセンサ２９で計測して求める。
ストロークセンサ２９により、サイドシフトシリンダ２８が一杯に伸びた状態からの縮み量ΔＹを測定し、ΔＹ＝０のときのＹcfをＹcf0 とすると、Ｙcfは次式で表される。
Ｙcf＝Ｙcf0 ＋ΔＹ … (4)
また本実施形態では、マークＭ１がパレット２１の幅中心に位置し、マークＭ２が棚部２２の幅中心に位置することから、Ｙp，Ｙrが「０」になる。よって、荷取作業時のフォーク２とパレット２１とのＹ方向およびＺ方向のずれ量Ｙfp，Ｚfpは、以下のように表される。
Ｙfp＝−Ｙc −Ｙcf0 −ΔＹ … (5)
Ｚfp＝Ｚp −Ｚc −Ｚcf … (6)
また、荷置作業時のフォーク２と荷置位置ＲとのＹ方向およびＺ方向のずれ量Ｙfr，Ｚfrは、以下のように表される。
Ｙfr＝−Ｙc −Ｙcf0 −ΔＹ … (7)
Ｚfr＝Ｚr −Ｚc −Ｚcf … (8)
ここで、Ｙcf0 は、サイドシフトシリンダ２８が伸びきった際にフォーク根元左右中心をカメラ１７から見た横座標、ΔＹは、サイドシフトシリンダ２８が一杯に伸びきった状態からの縮み量（ストロークセンサ２９により計測）、Ｚcfは、フォーク根元左右中心をカメラ１７から見た縦座標である。よって、Ｙcf0、Ｚr、Ｚcfが既知の値であることから、相対座標算出部８５により算出されたＹc，Ｚcと、ストロークセンサ２９により計測した縮み量ΔＹが求まれば、荷取作業時のずれ量Ｙfp，Ｚfpと、荷置作業時のずれ量Ｙfr，Ｚfrとが、それぞれ(5),(6)式と(7),(8)式とから求められる。
【００７９】
そして、マルチレバー３１の作動スイッチ３８を操作すると、フォーク自動位置合わせ制御が開始される。荷役制御部４７は、ベクトルＦＰが「０」になるような制御量指令値をソレノイド駆動回路５０に出力する。但し、本実施形態では、フォーク２の上下方向および左右方向についてのみ自動位置制御を行い、前後方向（リーチ方向）については運転者による手動操作に任せている。
【００８０】
このため、荷役制御部４７は、ベクトルＦＰのうちＹＺ成分（(5),(6)式または(7),(8)式）を「０」とするよう算出したフォーク２の上下方向および左右方向の各シフト量に応じた値を制御量指令値としてソレノイド駆動回路５０に出力する。これによりフォーク２は上下方向および左右方向については自動で位置合わせされる。この結果、フォーク２は荷取モード時はパレット２１の差込穴２１Ａに位置決めされ、荷置モード時は棚部２２から所定距離上方の目標位置（荷置位置Ｒ）に位置合わせされる。この位置合わせの後、リーチ操作を行ってマスト１３をリーチさせることにより荷取作業または荷置作業が行われる。
【００８１】
この際、例えば車両を前進させながらフォーク２を荷役対象に近づける場合、作動スイッチ３８を操作し続けていれば、仮に車両が左右にずれてもフォーク２は荷役対象に位置合わせされるように位置補正される。なお、フォーク２のリーチ動作も自動制御で行ってもよい。
【００８２】
この実施形態によれば、以下の効果が得られる。
（１）高所で荷役作業をする際に、フォーク２を荷役対象におおまかに位置合わせした後、作動スイッチ３８を操作すればフォーク２をパレット２１または棚部２２に自動で位置合わせすることができる。
【００８３】
（２）フォーク２が所定揚高以上の揚高範囲にあるとき、キャリッジ１４がフォーク２とインナマスト１３Ｃの相対位置関係を一定に保ったまま昇降するフルフリー型フォークリフト１において、インナマスト１３Ｃのミドルビーム１３Ｄにカメラ１７を固定した。このようにカメラ１７をインナマスト１３Ｃに固定しても、荷役作業を支援する必要のある所定揚高以上の高所では、カメラ１７により荷役対象とするパレット２１や棚部２２をいつも同じ角度から撮影することができる。よって、カメラ１７をミドルビーム１３Ｄに固定することが可能となるので、カメラ１７を有する撮影システムを簡易構造かつ低コストで実現することができる。
【００８４】
（３）カメラ１７をキャリッジ１４に取り付けなくて済むので、荷役作業時にカメラ１７が棚や荷などの周辺物と干渉することを防止できる。
（４）キャリッジ１４にカメラを搭載すると衝撃入力が大きくなり信頼性の確保が難しくなるが、インナマスト１３Ｃにカメラ１７が搭載されているので、キャリッジ１４に搭載する場合に比べ衝撃入力を小さく抑えることができる。
【００８５】
（５）常にフォーク２の下側にカメラ１７が位置するので、荷の有無にかかわらず前方視野を確保できる。
（６）インナマスト１３Ｃにカメラ１７を搭載した場合、床面（地面）および棚や荷との接触も無いため、カメラ１７を移動する機構（格納機構など）も不要である。またカメラケース自体の剛性も確保する必要がなく低コスト化が可能となる。
【００８６】
（７）フォーク２をサイドシフトさせてもカメラ１７が横方向に動かない構成であるが、ストロークセンサ２９の計測値ΔＹを用いて、カメラ１７とフォーク２のＹ方向のずれ量Ｙcfを求めるので、フォーク２と荷役対象とのＹ，Ｚ方向のずれ量を計算できる。このため、サイドシフト機構を備えるフォークリフト１において、カメラ１７をインナマスト１３Ｃに設ける構成を採用しても、フォーク２を上下・左右の二方向に自動位置合わせすることができる。
【００８７】
なお、実施の形態は上記に限定されず、次の態様で実施することもできる。
○ 前記実施形態のように第１リフトシリンダ１５を中央に１本配置した構成に限定されない。例えば第１リフトシリンダを左右一対設けたり、第１リフトシリンダが１本であれば中央からオフセットした位置に配置し、カメラをマスト内中央に配置することができる。カメラをマスト内中央に配置できれば、運転者に画面を通して作業し易い画像を提供できる。
【００８８】
○ カメラはビームに固定されることに限定されない。例えばインナマストに対しブラケットを介して固定されていてもよい。要するにキャリッジ１４が昇降可能に設けられたインナマスト（案内部材）に固定されていればよい。この場合、荷役機器であるフォーク２とインナマスト１３Ｃとの相対位置関係が保たれれば足り、例えばインナマスト１３Ｃに一体的に移動する移動部材を取り付け、この移動部材に撮影手段であるカメラを取り付ける構造を採用することもできる。要するにカメラはインナマストに直接固定される必要はなく、インナマストと一体に移動できるように固定されていれば足りる。
【００８９】
○ カメラの固定位置はフォークの下側に限定されない。例えば荷取作業と荷置作業のうち一方のみを撮影する配置を採用することもできる。例えば荷取作業時のみ自動位置合わせ制御を採用する場合は、カメラをフォーク２の水平面とほぼ同じ高さ、もしくは少し上方位置に配置することもできる。
【００９０】
○ インナマストに固定するカメラの個数は１個に限定されない。例えばカメラを荷取作業用と荷置作業用との別々に２個設けてもよい。この場合、荷置作業用カメラは前記実施形態と同様の高さに配置し、荷取作業用カメラはフォーク２の水平面とほぼ同じ高さもしくはそれより少し上方位置に配置する。もちろん、カメラの個数は３個以上であっても構わない。
【００９１】
○ 荷取作業用と荷置作業用との別々に２個のカメラを設け、荷置作業用カメラをインナマストに設けるとともに荷取作業用カメラをキャリッジに設けてもよい。この場合、少なくとも荷置作業用カメラについては周辺物（棚や荷等）との接触回避効果や衝撃入力抑制効果などが得られる。またキャリッジ側のカメラは荷取作業用であるため荷役機器の下側に設ける必要がないので、格納機能などの移動機構も不要である。
【００９２】
○ カメラはインナマストに固定されていることに限定されない。カメラの角度（撮影方向）を変更可能にインナマストに回動式に取り付けることもできる。例えばモータ等のアクチュエータを使用し、荷役作業の内容に応じた適切な撮影角度にカメラを自動調整できるようにする。また、例えばカメラが上下に昇降したり、左右に移動する移動機構を備えた取付構造を採用することができる。カメラをインナマスト１３Ｃに昇降可能に設ける場合、カメラをフォーク２の水平面とほぼ同じ高さに配置される荷取用位置と、フォーク２上の荷に遮られず作業エリアを撮影可能なフォーク２より所定距離下方の荷置用位置との二位置を昇降可能とする。この構成によっても、荷役作業時にカメラと周辺物との接触を回避したりフォークを最下降させたときの床面との衝突を回避するために、フォーク２のリーチ時や最下降時にカメラ１７を常に格納する必要がないうえ、カメラへの衝撃入力も小さく抑えられる。
【００９３】
○ ストロークセンサ２９は超音波センサに限定されない。例えばリニアセンサを使用してもよい。またサイドシフトシリンダ２８のストローク量を回転量に変換する回転変換機構を設け、この回転変換機構により変換された回転量を検出するポテンショメータを使用することもできる。
【００９４】
○ 前記実施形態では、荷役作業内容が荷取作業か荷置作業かを荷重センサ５９の検出値に基づき判別し、その判別した荷役作業の種別に応じて目標とするマークＭを決定し、荷役対象をパレットとするか棚部とするかを決定する構成とした。しかし、荷取作業か荷置作業かを判別するための検出手段は必須ではない。例えば前記実施形態で荷重センサ５９を廃止するとともに、運転席のインストルメントパネル上に荷役作業の種別を指定するための操作ボタン（スイッチ）を設け、荷役作業の種別は運転者が操作スイッチを操作することで、コントローラに指示する構成を採用することができる。
【００９５】
○ 前記実施形態では、所定揚高以上の範囲で自動位置合わせ制御を行うこととしたが、自動位置合わせ制御を行う範囲は所定揚高以上の揚高範囲のうちで任意に設定できる。所定揚高よりも高い設定揚高（例えば３ｍ以上の揚高）以上の揚高範囲でのみ自動位置合わせ制御を実施しても構わない。
【００９６】
○ 前記実施形態では、所定揚高以上の範囲で自動位置合わせ制御を行うこととしたが、自動位置合わせ制御を行う範囲に所定揚高未満の範囲が一部含まれても構わない。例えば所定揚高よりも若干低くても、連続検出可能な揚高センサからの検出揚高に基づきカメラとフォークとの相対位置関係は把握できるので、フォークの作業エリアを撮影さえできれば所定揚高未満のこの範囲も自動位置合わせ制御の対象範囲に含めることはできる。
【００９７】
○ 前記実施形態では、画像処理をテンプレートマッチングで行う場合、画像認識用マークとして放射状の図形を採用したが、このような図形に限定されない。四角（■）や三角（▲）などの単純図形でもよい。その他、マークの図形デザインは適宜変更できる。パターンマッチングによりテンプレートを多数用意する必要があって画像認識処理負担が多くなるが、画像認識処理に時間を要することにはなるが、荷役対象の位置検出はすることができる。例えば高速のＣＰＵなどを使用すれば十分利用に耐える処理時間内での荷役対象の位置認識はできる。またパターンマッチング以外の画像認識方法を採用し、荷役対象の位置検出を行ってもよい。
【００９８】
○ 荷役対象の位置情報を得るための画像処理方法は、テンプレートマッチング法に限定されない。特徴ベクトルを用いた画像認識処理方法を採用することもできる。また、マークを使用しない画像認識方法を採用できる。例えば画像データから特徴抽出（特徴ベクトル）でパレット又は棚部を認識し、パレット又は棚部の位置を認識する構成でもよい。すなわちカメラが撮影した画像データを基に画像認識処理をする対象であるパレット２１または棚部２２の形状自体をパターンとして特徴抽出による画像認識処理を施し、荷役対象の位置を割り出す手法を採用することもできる。
【００９９】
○ 前記実施形態では、フォーク２を上下・左右二方向（ＹＺ方向）に位置合わせする自動位置合わせ制御を採用したが、さらに前後方向（リーチ方向（Ｘ方向））にもフォーク２を位置制御するようにし、フォーク２を３方向（ＸＹＺ方向）のずれ量を無くすように位置合わせする自動位置制御を採用することもできる。また、サイドシフト機構を備えないフォークリフトでは、荷役機器（フォーク２）を上下方向（Ｚ方向）のみ自動位置合わせ制御してもよい。もちろん、Ｙ方向のみ、Ｘ方向のみの自動位置合わせ制御を採用することもできる。
【０１００】
○ 作動スイッチを廃止してもよい。例えば荷役操作手段（マルチレバーやリフトレバー）を操作して大雑把に位置があったところで荷役操作を止めると、これを契機にコントローラの判断により自動位置合わせ制御に自動で移行するようにしてもよい。この場合、自動位置合わせ制御の中止スイッチを設けてもよい。
【０１０１】
○ 自動揚高装置を備えるフォークリフトに採用できる。例えば自動揚高装置によりキー操作で選択した所定高さにフォークを自動で揚高させ、所定高さに位置決めされたら、マークの画像認識処理を通じて荷役対象の位置を割り出して自動位置合わせ制御を行う。この場合、作動スイッチを廃止し、自動揚高装置による高さ方向の位置決め（メモリに登録された設定高さ（設定データ）への位置決めとなるので荷役対象に対し位置が合っている保証はない）が完了後、コントローラの判断で自動に位置合わせ制御に移行するようにしてもよい。
【０１０２】
○ 産業車両はリーチ型フォークリフトに限定されない。フルフリー型の荷役装置を備えたカウンタバランス型フォークリフトに適用してもよい。さらに産業車両はフォークリフトに限定されない。フォークリフト以外でもフルフリー型の荷役装置を装備する産業車両に広く適用できる。また荷役装置はマストを備える必要はない。例えば荷役機器が左右方向（横方向）又は前後方向にスライド可能なスライド式の案内機構を備え、この案内機構を構成する１つの移動式案内部材に沿って荷役機器が移動する方式の荷役装置であっても構わない。この場合も、荷役機器と案内部材との相対位置関係が保たれる第２範囲が存在すれば撮影手段（カメラ）を案内部材に設けることにより、第２範囲での荷役作業時にカメラにより作業エリアを撮影することができる。
【０１０３】
前記実施形態及び別例等から把握される技術的思想を、以下に記載する。
（１）請求項３、５〜１３のいずれか一項に記載の荷役作業支援装置において、前記荷役装置は、スライド伸縮可能な多段式マストと、荷役操作手段の操作に基づき駆動され前記荷役機器を前記インナマストに沿って昇降させる第１駆動手段と、前記荷役操作手段の操作に基づき駆動され前記マストをスライドさせて伸縮駆動させる第２駆動手段とを備え、前記キャリッジが前記第１範囲にあって前記インナマストの上限に位置することが検知されないときに前記第１駆動手段が駆動され、前記キャリッジが第２範囲にあって前記インナマストの上限に位置することが検知されるときに前記第２駆動手段が駆動される。
【０１０４】
（２）請求項４及び前記技術的思想（１）において、前記撮影手段は前記第１駆動手段より後方に配置されており、前記撮影手段は前記第１駆動手段によって撮影が遮られないように該第１駆動手段を避けた状態に配置されていることを要旨とする。
【０１０５】
（３）請求項１〜１３のいずれか一項において、前記撮影手段はカメラを有し、該カメラは前記案内部材に固定されている。
（４）請求項３〜１３のいずれか一項において、前記制御手段は、前記第２範囲のうち設定揚高以上の揚高において前記位置合わせ制御を実行する。
【０１０６】
（５）請求項１において、前記撮影手段は撮影方向において前記案内部材を駆動する駆動手段の背面側に位置し、前記駆動手段の構成部により撮影を遮られないように当該構成部を避けた位置に配置されている。
【０１０７】
（６）請求項１において、前記撮影手段は前記荷役機器の空荷時及び荷有り時のいずれにおいても前記作業エリアを撮影可能な位置に配置されている。
（７）請求項１〜１３のいずれか一項において、前記位置割出手段は、前記荷役機器と前記荷役対象との位置合わせすべき方向におけるずれ量（相対位置）を割り出す。
【０１０８】
（８）請求項３〜１３のいずれか一項において、前記撮影手段は、前記インナマストに対し荷役機器上の荷によって作業エリアの撮影が遮られることがない位置に配置されていることを要旨とする。
【０１０９】
（９）請求項４〜１３及び前記技術的思想（１）のいずれか一項において、前記第１駆動手段は、前記マストの幅方向中央から幅方向に外れて位置し、前記撮影手段は、前記マストの幅方向略中央に配置されている。
【０１１０】
（１０）請求項３〜１３のいずれか一項において、前記荷役機器を前記インナマストに沿って昇降させる第１駆動手段と、前記マストをスライド駆動により伸縮駆動させる第２駆動手段とを備え、前記撮影手段は前記第１駆動手段より後方に配置されており、前記撮影手段は前記第１駆動手段によって撮影が遮られないように該第１駆動手段を避けた状態に配置されていることを要旨とすることを要旨とする。
【０１１１】
（１１）請求項４〜１３のいずれか一項において、前記荷役機器の揚高を検出する揚高検出手段を備え、前記駆動制御手段は、前記揚高検出手段が所定揚高になったことを検出するまでは前記第１駆動手段を駆動し、前記揚高検出手段が所定揚高になったことを検出すると、第２駆動手段を駆動する。
【０１１２】
（１２）請求項２〜１２のいずれか一項において、前記荷役機器を前記荷役対象に位置合わせすべく前記キャリッジを上下方向に昇降させるために操作される荷役操作手段と、前記荷役操作手段の操作に応じて前記キャリッジを昇降させるべく前記荷役操作手段の操作に基づき前記駆動手段を駆動制御する駆動制御手段と、前記荷役機器を前記荷役対象に位置合わせする位置合わせ制御を開始するために操作する操作手段とを備え、前記制御手段は、少なくとも前記操作手段が操作されたときの入力信号に基づき前記荷役機器を前記荷役対象に位置合わせするための前記駆動手段の駆動制御を開始する。この構成によれば、荷役機器を上下方向（高さ方向）に大雑把に荷役対象に対し位置合わせした後、作動操作手段を操作すると自動で位置合わせ制御が開始される。
【０１１３】
（１３）請求項２〜１３及び前記技術的思想（１２）のいずれか一つにおいて、前記荷役機器が前記所定揚高に達したことを検出する揚高検出手段を備え、前記制御手段は、前記揚高検出手段が所定揚高以上の揚高を検出するときに位置合わせ制御を実行する。
【０１１４】
（１４）請求項３〜１３及び前記技術的思想（１２）のいずれか一つにおいて、前記荷役機器の揚高を検出する揚高検出手段を備え、前記制御手段は、前記揚高検出手段が第２範囲内の設定揚高以上の揚高を検出するときに位置合わせ制御を実行する。
【０１１５】
（１５）請求項２〜４及び前記技術的思想（１２）のいずれか一つにおいて、前記位置割出手段は前記荷役対象の少なくとも上下方向における位置を割り出し、前記制御手段は前記荷役機器が前記荷役対象に対し少なくとも上下方向に位置合わせされるように位置合わせ制御を行う。
【０１１６】
（１６）請求項２〜４及び前記技術的思想（１２）のいずれか一つにおいて、前記位置割出手段は前記荷役対象の少なくとも上下・左右の二方向における位置を割り出し、前記制御手段は前記荷役機器が前記荷役対象に対し少なくとも前記二方向に位置合わせされるように位置合わせ制御を行う。
【０１１７】
【発明の効果】
以上詳述したように請求項１及び１４に記載の発明によれば、案内部材と荷役機器の相対位置関係が一定に保たれる範囲で、荷役機器の作業エリアを撮影できるように撮影手段を案内部材に設け、撮影した画像データの画像処理結果を用いて位置を割り出した荷役対象に荷役機器を位置合わせする制御をした。従って、撮影手段が荷役作業時に周辺物などと干渉することを防ぐことができ、撮影手段が受ける振動も比較的小さく抑えられ、しかも荷役機器を荷役対象に自動で位置合わせできる。
【０１１８】
請求項２〜１４に記載の発明によれば、インナマストと荷役機器の相対位置関係が一定に保たれる範囲で、荷役機器の作業エリアを撮影できるように撮影手段をインナマストに設け、撮影した画像データの画像処理結果を用いて位置を割り出した荷役対象に荷役機器を位置合わせする制御をした。従って、撮影手段が荷役作業時に周辺物などと干渉することを防ぐことができ、撮影手段が受ける振動も比較的小さく抑えられ、しかも荷役機器を荷役対象に自動で位置合わせできる。
【図面の簡単な説明】
【図１】一実施形態におけるフォークリフトの斜視図。
【図２】荷役装置の部分正面図。
【図３】荷役装置の部分側断面図。
【図４】棚に対する荷役作業の様子を示す斜視図。
【図５】マルチレバーの平面図。
【図６】荷役操作支援装置の電気的構成を示すブロック図。
【図７】マークとテンプレートを示す正面図。
【図８】（ａ）画面座標系を説明する画面図、（ｂ）マッチング方法の説明図。
【図９】実座標系を説明する模式斜視図。
【図１０】実座標系を説明する平面図。
【図１１】実座標系と画面座標系との関係を示す相関関係図。
【図１２】位置合わせ制御を説明する模式図。
【図１３】位置合わせ制御の処理の流れを示すブロック図。
【符号の説明】
１…産業車両としてのフォークリフト、２…荷役機器としてのフォーク、３…車体、１１…荷役装置、１３…マスト、１３Ｃ…案内部材及びマストの構成部材としてのインナマスト、１４…キャリッジ、１５…第１駆動手段としての第１リフトシリンダ、１６…第２駆動手段としての第２リフトシリンダ、１７…撮影手段としてのカメラ、１９…表示手段としての表示装置、１９Ａ…画面、２１…荷役対象としてのパレット、２２…荷役対象としての棚部、２８…サイドシフト用駆動手段としてのサイドシフトシリンダ、２９…サイドシフト量検出手段としてのストロークセンサ、３１…手動操作手段としての操作レバー（マルチレバー）、３８…操作手段としての作動スイッチ、４０…荷役作業支援装置としての荷役操作支援装置、４５…制御手段としてのコントローラ、４６…表示制御部、４７…判別手段及び制御手段を構成する荷役制御部、５８…揚高検出手段としての揚高センサ、５９…判別手段を構成する荷重センサ、８１…位置割出手段を構成する画像認識処理部、８２…位置割出手段を構成するテンプレート記憶部、８３…位置割出手段を構成する画像演算部、８５…位置割出手段を構成する相対座標算出部、８６…位置割出手段を構成する制御量算出部、Ｍ１…第１マークとしてマーク、Ｍ２…第２マークとしてのマーク。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a loading / unloading work support apparatus in an industrial vehicle that supports alignment work for aligning a loading / unloading device with a loading / unloading target such as a pallet using image data obtained by shooting a loading / unloading target of a loading / unloading device provided on an industrial vehicle And industrial vehicles.
[0002]
[Prior art]
For example, in a forklift that is an industrial vehicle of this type, a cargo handling device having a multistage mast is provided on a vehicle body, and a carriage having a cargo handling device (attachment) such as a fork is provided so as to be able to move up and down along the mast. For example, when loading and unloading work at the height of a shelf, the operator was looking up at the height (for example, 3 to 6 meters) and checked whether the fork was positioned slightly above the pallet hole or shelf surface. It is necessary to operate the cargo handling lever while confirming visually.
[0003]
However, it is difficult to visually determine whether the fork and the pallet are aligned in the horizontal direction while looking up at the high place from below, and there is a problem that even an expert needs time for this alignment. Therefore, conventionally, for example, by attaching a camera to a cargo handling device and allowing the driver in the driver's seat to see the image of the shelf or pallet that can be seen in front of the fork through the screen of the display device, Devices for supporting the fork alignment work in the past are known.
[0004]
For example, in US Pat. No. 5,586,620, a camera is attached to a carriage (load handling equipment) together with an elevating mechanism, the camera is lowered when the fork is slightly raised from the lowest position, and is moved to the lowest position when the fork is lowered to the lowest position. A device is disclosed that includes an elevating-type camera elevating device in which the camera rises up to reach and is stored in a protected position. With this camera mechanism, when the fork is raised, the camera descends from the carriage and the front of the fork can be photographed. When the fork is lowered, the camera rises and is stored in the protected position. Collisions are avoided. The camera is urged downward by a spring, and when the carriage is lowered to near the lowest position, the camera hits a plate provided on the mast side and rises against the urging force of the spring and is stored in the protected position.
[0005]
[Problems to be solved by the invention]
However, since the camera is attached to the carriage, a moving mechanism is employed in which the camera is moved to the protection position by being hit by the plate while the fork is lowered to the lowest position. For this reason, the camera mounting structure is relatively complicated. In addition, since the camera is attached to the carriage, there is a problem that the camera is relatively susceptible to vibration. Further, since the camera always protrudes downward at a high place where assistance for fork positioning operation is required, the camera protruding downward may interfere with surrounding objects during cargo handling work. Therefore, it is necessary to provide a mechanism for preventing this kind of interference.
[0006]
Although this forklift can be used for cargo handling while checking the state of the high place through the screen during cargo handling work, the driver does not use the cargo handling lever to align the fork with the pallet or shelf that is the object of cargo handling. Had to be manipulated.
[0007]
The present invention has been made in order to solve the above-mentioned problems, and its purpose is to prevent the photographing means such as a camera from interfering with surrounding objects during cargo handling work, and to compare the vibration received by the photographing means. An object of the present invention is to provide a cargo handling work support device and an industrial vehicle for an industrial vehicle that can be held down to a small size and that can automatically align a cargo handling device with a cargo handling target.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, according to the first aspect of the present invention, a carriage having a cargo handling device moves along a guide member in a first range from a reference position to a predetermined position, and a second range equal to or greater than the predetermined position. Then, the carriage includes a cargo handling device in which the carriage moves in the second range by moving the guide member while keeping a relative positional relationship between the carriage and the guide member in the moving direction constant. An imaging means is provided on the guide member so that the work area of the cargo handling equipment can be imaged when the carriage is positioned in the second range above the predetermined position. The position indexing unit performs image processing on the image data from the photographing unit and uses the processing result to determine the position of the cargo handling target. The control means drives and controls the drive means of the cargo handling device so as to align the cargo handling equipment with the cargo handling object whose position is determined by the position indexing means. Note that the work area is a state in which the cargo handling equipment is roughly aligned with the object to be handled (a state in which the position is not actually aligned to the extent that it is roughly aligned visually from a distance or from an oblique angle). Below, it is an area that includes the target cargo handling object for the cargo handling equipment, and therefore the imaging means is arranged at a position where the cargo handling object can be imaged in a roughly aligned state.
[0009]
According to the present invention, when the carriage is in the second range that is equal to or greater than the predetermined position, the relative positional relationship between the carriage and the guide member is kept constant, so that at least the relative relationship between the cargo handling device and the photographing means in the carriage movement direction is maintained. The positional relationship is kept constant. For this reason, regardless of the position of the carriage in the second range, the cargo handling object of the cargo handling device can be photographed by the photographing means. Then, the image data from the photographing means is subjected to image processing, and the position of the cargo handling target is determined by the position indexing means using the processing result. Based on this position index information, the control means drives and controls the driving means of the cargo handling device, and the cargo handling equipment is aligned with the cargo handling object whose position is indexed by the position indexing means. When the photographing unit is provided on the carriage movably attached to the guide member, the photographing unit receives a relatively large vibration. However, the photographing unit is provided on the guide member side that supports the carriage. The vibration received by the photographing means can be kept relatively small. In addition, when the photographing unit is provided on the carriage, for example, the photographing unit may have to be disposed so as to protrude from the carriage. In this case, the photographing unit easily interferes with the peripheral object of the carriage. There is no such worry. Further, it is necessary to provide a storage mechanism for storing the photographing means to avoid interference between the photographing means and other peripheral objects (including the floor surface) when the carriage is returned to the reference position, for example. If so, no storage mechanism is required.
[0010]
According to a second aspect of the present invention, an industrial vehicle includes a cargo handling device that moves a carriage having cargo handling equipment up and down in a state where a relative positional relationship with a constituent member of a mast is kept constant within a range of a predetermined height or higher. The photographing means is provided on the constituent member of the mast so as to photograph the work area of the cargo handling equipment. The position indexing unit performs image processing on the image data from the photographing unit and uses the processing result to determine the position of the cargo handling target. The control means drives and controls the drive means of the cargo handling device so as to align the cargo handling equipment with the cargo handling object whose position is determined by the position indexing means.
[0011]
According to the present invention, when the carriage moves up and down in the range above the predetermined lifting height, the carriage and mast constituent members are kept in a certain relative positional relationship. For this reason, the photographing means provided on the mast component and the cargo handling equipment are also maintained in a fixed relative positional relationship in the carriage movement direction. Therefore, the work area of the cargo handling equipment can be photographed by the photographing means and the cargo handling object can be photographed regardless of the height of the carriage above the predetermined height. Then, the image data from the photographing means is subjected to image processing, and the position of the cargo handling target is determined by the position indexing means using the processing result. Based on this position index information, the control means drives and controls the driving means of the cargo handling device, and the cargo handling equipment is aligned with the cargo handling object whose position is indexed by the position indexing means. When the photographing unit is provided on the carriage, the photographing unit is subjected to relatively large vibrations. However, by providing the photographing unit on the inner mast side, vibrations received by the photographing unit can be suppressed to be relatively small. . Further, when the photographing unit is provided on the carriage, for example, when the photographing unit has to be disposed so as to protrude from the carriage for photographing, the photographing unit is likely to interfere with peripheral objects. However, if the photographing unit is provided on the inner mast, No worries. Furthermore, it is necessary to provide a moving mechanism such as a storage mechanism for storing the photographing means to avoid interference between the photographing means and the floor surface when the carriage is returned to the lowest position, for example. The moving function is also unnecessary.
[0012]
In the invention according to claim 3, the cargo handling device includes a multistage mast. The carriage having the cargo handling device moves up and down along the inner mast in the first range from the lowest position to the predetermined lifting height, and the carriage has a constant relative positional relationship with the inner mast in the second range higher than the predetermined lifting height. A cargo handling device is provided in which the carriage moves up and down as the inner mast moves up and down while being maintained. The photographing means is provided in the inner mast so as to be able to photograph the work area of the cargo handling device when the carriage is in the second range and the cargo handling device and the inner mast have a certain relative positional relationship. The position indexing unit performs image processing on the image data photographed by the photographing unit and uses the processing result to determine the position of the cargo handling target. The control means drives and controls the drive means of the cargo handling device so as to align the cargo handling equipment with respect to the cargo handling object whose position is determined by the position indexing means.
[0013]
According to the present invention, the relative positional relationship between the carriage and the inner mast is kept constant regardless of the position of the carriage in the second range equal to or higher than the predetermined lifting height. For this reason, the relative positional relationship between the imaging means provided on the inner mast and the cargo handling equipment is kept constant at least in the carriage movement direction. Therefore, the work area of the cargo handling equipment can be photographed by the photographing means regardless of the position of the carriage in the second range equal to or higher than the predetermined lifting height. Then, the image data photographed by the photographing means is subjected to image processing, and the position of the cargo handling target is determined by the position indexing means using the processing result. Based on this position index information, the control means drives and controls the drive means of the cargo handling device, and the cargo handling equipment is aligned with the cargo handling object whose position is indexed by the position indexing means. Thus, the same effect as that attained by the 2nd aspect can be attained.
[0014]
In a fourth aspect of the invention, a multistage mast that can slide and extend, a first driving means that moves up and down a carriage having a cargo handling device along the inner mast that constitutes the mast, and an extension drive by sliding the mast. Second driving means. The drive control means drives the first drive means and the second drive means based on the operation of the cargo handling operation means, and the carriage is in the first range from the lowest lowered position to a predetermined lifting height and reaches the upper limit of the inner mast. When the position is not detected, the first driving unit is driven. The drive control means drives the second drive means when it is detected that the carriage is in the second range equal to or higher than the predetermined lift and is positioned at the upper limit of the inner mast. The photographing means is provided in the inner mast so as to be able to photograph the work area of the cargo handling equipment in a state where the carriage is positioned at the upper limit of the inner mast. The position indexing unit performs image processing on the image data from the photographing unit and uses the processing result to determine the position of the cargo handling target. The control means drives and controls the second driving means so as to align the cargo handling equipment with the cargo handling object whose position is determined by the position indexing means.
[0015]
According to the present invention, the second driving means is driven when it is detected that the carriage is in the second range equal to or higher than the predetermined lifting height and is positioned at the upper limit of the inner mast. Regardless of the position of the carriage in the second range, the relative position relationship between the imaging means provided on the inner mast and the cargo handling equipment is kept constant at least in the carriage movement direction. Can be photographed by the photographing means. The image data from the photographing means is subjected to image processing, and the position of the cargo handling target is determined by the position indexing means using the processing result. Based on this position index information, the second drive means is driven and controlled by the control means, and the cargo handling equipment is aligned with the cargo handling object whose position is indexed by the position index means. Therefore, also in this invention, the same effect as that of the invention described in claim 2 can be obtained.
[0016]
According to a fifth aspect of the present invention, in the invention according to the third to fourth aspects, the side shift driving means for side shifting the cargo handling equipment with respect to the inner mast, and a reference position in a side shift direction of the cargo handling equipment. Side shift amount detecting means for detecting the side shift amount. The position indexing means calculates a relative position of the cargo handling device and the cargo handling object in the vertical direction and the side shift direction based on the location information of the cargo handling object obtained from the image processing result and the side shift amount detection value. Find out. The control means drives and controls the drive means and the side shift drive means to align the cargo handling equipment with the cargo handling object in the two directions based on the position index information of the relative position.
[0017]
According to this invention, in addition to the effects of the inventions according to claims 3 to 4, the following actions are obtained. Since the relative position in the side shift direction between the imaging means and the cargo handling equipment is grasped from the detected value of the side shift amount detected by the side shift quantity detection means, the shift in the side shift direction between the cargo handling equipment and the cargo handling object is obtained. Is possible. Accordingly, it becomes possible to align the cargo handling equipment with the cargo handling target in the two directions of the vertical direction and the side shift direction, and the burden on the driver due to manual operation is further reduced.
[0018]
A sixth aspect of the present invention is summarized in that, in the invention according to any one of the third to fifth aspects, the photographing unit is fixed to the inner mast.
According to the present invention, in addition to the action of the invention according to any one of claims 3 to 5, since the photographing means is fixed to the inner mast, the assembling structure can be simplified.
[0019]
The gist of the invention described in claim 7 is the cargo handling work support apparatus for an industrial vehicle according to claim 6, wherein the photographing means is fixed to the beam of the inner mast.
[0020]
According to the present invention, since the photographing means is fixed to the beam of the inner mast, the beam also serves as a mounting member such as a bracket, so that unnecessary members necessary for mounting can be suppressed.
[0021]
The invention according to an eighth aspect is the invention according to any one of the third to seventh aspects, wherein the imaging means is configured such that the cargo handling equipment is positioned in a state where the cargo handling equipment is located at a height higher than the predetermined lifting height. The gist is that it is provided on the inner mast so as to be arranged further downward.
[0022]
According to the present invention, the cargo handling object can be photographed from below the cargo handling equipment by the imaging means provided in the inner mast in a state where the cargo handling equipment is located at a height higher than the predetermined elevation. For example, even when a cargo handling device is loaded, the cargo handling object can be photographed without being blocked by the cargo.
[0023]
The gist of the invention according to claim 9 is that, in the invention according to any one of claims 1 to 8, comprising display means for displaying an image photographed by the photographing means.
[0024]
According to this invention, the image of the cargo handling object image | photographed by the imaging | photography means can be seen on the screen of a display means. Therefore, for example, even when a cargo handling operation is performed at a place (for example, a high place) away from the driver, the alignment of the cargo handling equipment with respect to the cargo handling target can be confirmed through the screen of the display means.
[0025]
According to a tenth aspect of the present invention, in the invention according to any one of the first to ninth aspects, the position indexing unit attaches to the cargo handling object by performing image processing on the image data from the photographing unit. The gist is to determine the position of the determined mark and to determine the position of the cargo handling object from the determined position of the mark.
[0026]
According to this invention, the image data from the photographing means is image-processed to determine the position of the mark attached to the cargo handling object, and the position of the cargo handling object is determined from the determined mark position. Therefore, the position of the cargo handling target can be accurately determined, and the accuracy during the alignment control is increased.
[0027]
The invention described in claim 11 is provided with determining means for determining whether the cargo handling work is a loading work or a loading work in the invention described in any one of the first to tenth aspects. The position indexing means determines the position of the cargo handling object for the loading operation when it is determined by the determining means to be the cargo handling work, and the position of the cargo handling object for the loading work when determined as the loading work. Is determined. The control means drives and controls the drive means so as to align the cargo handling equipment with respect to a cargo handling object whose position is determined according to the type of cargo handling work determined by the determination means.
[0028]
According to the present invention, even if there are a plurality of loading operations and loading operations in the loading operation, each is determined, the position of the loading object to be targeted is determined from the contents of the loading operation, and the determined loading operation is performed. The cargo handling device is aligned with the cargo handling object whose position is determined according to the type of work. Therefore, even if there are a plurality of types of cargo handling work contents, it is possible to automatically align with the appropriate cargo handling object.
[0029]
According to a twelfth aspect of the present invention, in the industrial vehicle according to the eleventh aspect, the position indexing means is a first mark affixed to the pallet at the time of unloading work based on the determination result of the determination means. In the loading operation, the position of the second mark attached to the shelf is determined. When the determination means determines that the work is a loading operation, the control means determines the position of the pallet to be handled based on the position determination information of the first mark and aligns the cargo handling device with the pallet. Controlling the driving means and determining that the loading work is determined by the determining means, the position of the shelf to be handled is determined based on the position index information of the second mark, and The drive means is driven and controlled to align with the shelf.
[0030]
According to the present invention, even if there are a plurality of loading and unloading operations in the cargo handling operation, the mark to be targeted according to the contents determined for each of them is appropriately set to either the first mark or the second mark. A cargo handling object suitable for the content of the cargo handling work is selected. Therefore, even if there are a plurality of types of cargo handling work contents, it is possible to automatically align with the appropriate cargo handling object.
[0031]
A thirteenth aspect of the present invention is the invention according to any one of the first to twelfth aspects of the present invention, wherein the cargo handling operation means operated to move the cargo handling equipment and the cargo handling equipment are aligned with a cargo handling target. Operating means for operating when performing automatic alignment control. The drive control means drives and controls the drive means based on the operation of the cargo handling operation means so as to move the cargo handling equipment in accordance with the operation of the cargo handling operation means. The control means drives and controls the drive means so as to align the cargo handling device with the cargo handling object based on an input signal when the operation means is operated.
[0032]
According to this invention, the cargo handling operation means is operated to first bring the cargo handling equipment close to the target cargo handling target and roughly align it. Thereafter, the operation means is operated to start the automatic alignment control. When the control means inputs a signal indicating that the operating means is operated, the control means performs automatic positioning control, and the handling equipment is aligned with the handling object. Here, the operation timing of the operation means may be a shooting start timing by the camera, an image processing start timing, or a position indexing start timing. In short, it is sufficient if the alignment control is performed.
[0033]
Invention of Claim 14 is an industrial vehicle provided with the cargo handling work assistance apparatus as described in any one of Claims 1-13.
According to this invention, since the industrial vehicle is equipped with the cargo handling work support device according to any one of claims 1 to 13, the invention according to any one of claims 1 to 13 and Similar effects can be obtained.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment in which the present invention is embodied in a forklift cargo handling work support device will be described with reference to the drawings.
[0035]
As shown in FIG. 1, a reach-type forklift truck (hereinafter referred to as a forklift) 1 as an industrial vehicle performs a cargo handling operation using a fork 2 as a cargo handling device. Left and right front wheels (driven wheels) 5 are respectively attached to the front ends of a pair of left and right reach legs 4 that extend forward from the front portion of the vehicle body 3, and drive steering wheels 6 that are rear wheels are disposed on the vehicle body 3. The vehicle is driven by the power of a driving motor 8 that uses the battery 7 as a power source. The driver operates the forklift 1 by operating the handle 10 to steer the drive steering wheel 6 while standing in the standing seat type driver seat 9 provided on the rear right side of the vehicle body 3.
[0036]
A cargo handling device (mast device) 11 provided on the front side of the vehicle body 3 is provided to be movable in the front-rear direction (reach operation) along the left and right reach legs 4 by driving the reach cylinder 12. The cargo handling device 11 includes a multi-stage (three-stage in this example) mast 13, a cargo carriage 14, a central first lift cylinder 15, and a pair of left and right second lift cylinders 16 (only one side is shown). I have. The mast 13 is a three-stage mast in which an outer mast 13A, a middle mast 13B, and an inner mast 13C are slidably arranged in order from the outside. The cargo handling device 11 of this embodiment is a full-free type (telescopic type) in which the slide extension of the mast 13 is started only after the carriage 14 once reaches the uppermost position of the inner mast 13C.
[0037]
That is, one first lift cylinder 15 arranged at the center of the cargo handling device 11 is erected on the bottom plate of the inner mast 13C, and the carriage 14 moves up and down along the inner mast 13C when the first lift cylinder 15 is driven. To do. The second lift cylinder 16 is provided on the back of the outer mast 13A so as to be opposed to each other, and is driven in a state where the carriage 14 is detected to be positioned at the uppermost end of the inner mast 13C. Expands and contracts. For this reason, the carriage 14 rises to the upper end position along the inner mast 13C without the mast 13 extending from the lowest position, and first reaches a predetermined lifting height (for example, 2 m). The carriage 14 slides and extends while maintaining the state where the carriage 14 is disposed at the upper end position of the inner mast 13C, so that the lift range above a predetermined lift is further raised to the highest lift position. The fork 2 rises up to about 6 meters, for example.
[0038]
In the forklift 1, a camera 17 is fixed to an inner mast 13 C, which is a constituent member of the mast 13, as a photographing means for photographing a work area in order to support the positioning operation of the fork 2 at a high place (high and high range). . A middle beam 13D is horizontally mounted on the inner mast 13C at a position slightly above the center in the height direction, and the camera 17 is attached to the lower side of the middle beam 13D. The camera 17 is arranged so as to face forward so that the work area of the fork 2 can be photographed by the photographing unit 17A.
[0039]
In addition, a display device (liquid crystal display device (LCD)) 19 as a display means is attached to the roof 18 at a position that is well visible to the driver standing in the driver's seat 9. On the screen of the display device 19, an image in front of the fork taken by the camera 17 during the cargo handling operation is displayed.
[0040]
As shown in FIG. 4, in the present embodiment, the shelf 20 and the pallet 21 are provided with marks M 1 and M 2 that are position targets when the fork 2 is aligned with the shelf 22 or the pallet 21. . That is, a pallet position detection mark M1 is attached to the front and back of the pallet 21 at the center between the two insertion holes 21A. On the other hand, a shelf position detection mark M2 is attached to the shelf (beam) 22 of the shelf 20 at the center of the front. Here, the mark M1 attached to the pallet 21 and the mark M2 attached to the shelf portion 22 are figures having a pattern in which black and white are reversed. From the position on the screen of the mark M1 (or M2) photographed by the camera 17, the amount of deviation between the left and right (Y direction) and up and down (Z direction) between the fork 2 and the cargo handling object (pallet 21 or shelf 22) is calculated, Fork automatic alignment control for automatically aligning the fork 2 with the cargo handling target so as to eliminate the deviation amount is performed.
[0041]
In the forklift 1 of the present embodiment, since the cargo handling device 11 is a full-free type, when the fork 2 is higher than a predetermined height, the relative positional relationship between the camera 17 and the fork 2 in the height direction is always constant. Kept. Therefore, even if the camera 17 is fixed in a posture that faces the front, for example, the working area of the fork 2 can always be photographed by the camera 17 at an elevation higher than a predetermined elevation.
[0042]
2 and 3 show a state in which the carriage 14 is disposed at the uppermost end position (upper limit) of the inner mast 13C (at a lifting height higher than a predetermined lifting height). FIG. FIG.
[0043]
As shown in FIG. 3, the carriage 14 includes a lift bracket 23, a finger bar 24, a shifter (side shifter) 25, a backrest 26 and the fork 2. In addition, since the fork 2 is an attachment, the cargo handling device can be replaced with another attachment depending on the use of the cargo handling operation.
[0044]
The lift bracket 23 is disposed between the masts 13 so as to be movable up and down. That is, the lift bracket 23 is provided with a plurality (two) of rollers (not shown) that roll on the guide surface (inner surface) of the inner mast 13C on both side surfaces, and is supported by being suspended by a chain (not shown). ing. In this embodiment, which is a full-free type, a chain for hanging the carriage 14 is hung on the sprocket 15B provided at the upper end of the rod 15A of the first lift cylinder 15. When the first lift cylinder 15 is driven, the carriage 14 (lift bracket 23) moves up and down along the inner mast 13C from the lowest position to a predetermined lift. The finger bar 24 is supported so as to be tiltable forward and backward with respect to the lift bracket 23.
[0045]
The shifter 25 is attached to the finger bar 24 so as to be slidable left and right. That is, the two guide rails 25A of the shifter 25 are engaged with a pair of upper and lower support rails 24A that are fixed to the upper and lower ends of the finger bar 24 and extend in the vehicle width direction, so that the shifter 25 extends along the rails 25A. It can slide in the vehicle width direction (left-right direction). The backrest 26 is fixed to the upper part of the shifter 25. The fork 2 is detachably attached to the shifter 25.
[0046]
The lift bracket 23 is provided with a tilt cylinder 27 for tilting the finger bar 24. When the tilt cylinder 27 is driven, the finger bar 24 tilts, whereby the fork 2 tilts. A side shift cylinder 28 is provided on the upper part of the finger bar 24, and its piston rod 28 A is connected to the shifter 25. When the side shift cylinder 28 is driven, the shifter 25 is moved by a fixed distance (for example, a set value within 50 to 100 mm) from the center (reference position) (marked with ▼ in FIG. 2) to the left and right of the finger bar 24. Relative movement is possible.
[0047]
The mast 13 is a full-free type (telescopic type) in which slide extension starts only after the carriage 14 reaches the uppermost position of the inner mast 13C. For this reason, the fork 2 is always located at the upper end position of the inner mast 13C while the carriage 14 is located at the upper end position of the inner mast 13C in a lifting range equal to or higher than a predetermined lifting height (for example, 2 m) after the carriage 14 reaches the uppermost position (upper limit) of the inner mast 13C. The relative positional relationship with the camera 17 is always kept constant in the vertical direction.
[0048]
The camera 17 is positioned below the fork 2 by a predetermined distance in a state where the carriage 14 is disposed at the uppermost position (upper limit) of the inner mast 13C. Further, the camera 17 is displaced (offset) from the center line between the pair of forks 2 under the state where the carriage 14 is not side-shifted in the left-right direction (vehicle width direction) (at the reference position in the side-shift direction). )is doing. That is, since the camera 17 is located behind the first lift cylinder 15, the piston rod 15 A is displaced to one side from the center line so as not to interfere with the shooting of the camera 17.
[0049]
As shown in FIGS. 2 and 3, the camera 17 is positioned below a predetermined distance with respect to the fork 2, and a shelf that is a cargo handling target at the time of loading work in which a load is loaded on the fork 2. The mark M2 attached to 22 can be photographed. Of course, at the time of unloading work in which no load is loaded on the fork 2, the mark M1 attached to the pallet 21 that is a cargo handling object at that time can be photographed.
[0050]
The side shift cylinder 28 is provided with a stroke sensor 29 as a side shift amount detection means, and the stroke amount of the side shift cylinder 28 is detected by the stroke sensor 29. The side shift amount of the fork 2 is grasped from the detection result of the stroke sensor 29. Further, the relative position (shift amount) between the fork 2 and the camera 17 in the left-right direction (Y direction) is grasped from the side stroke detection value. In the present embodiment, the lowest position corresponds to the reference position, and the predetermined lifting height corresponds to the predetermined position. The first range refers to a range from the lowest position (reference position) of the carriage 14 (fork 2) to a predetermined lift (predetermined position), and the second range is equal to or greater than a predetermined lift (predetermined position). Refers to the range.
[0051]
On the instrument panel, an operation lever (multi-lever) 31 shown in FIG. 5 is provided as a cargo handling operation means. The single operation lever 31 enables all the operations of the traveling operation and the cargo handling operation, and includes a plurality of types of operation units.
[0052]
The operation lever 31 includes a lever main body 33 that tilts in the front-rear direction along a slot 32 formed at a predetermined position on the instrument panel. When the lever body 33 is not operated, the lever body 33 returns to a neutral position substantially perpendicular to the panel surface by a biasing force of a spring (not shown). A grip 34 is attached to an upper end portion of the lever body 33 so as to be inclined at an angle of about 30 to 60 degrees with respect to the vehicle width direction.
[0053]
A substantially cylindrical knob 35 is provided at the left end of the grip 34 so as to be rotatable about the axis C. A seesaw switch 36 is provided at the front edge of the left portion of the grip 34, a cross switch 37 is provided at the back of the left portion of the grip 34, and an operation switch 38 is provided as an operating means on the front surface of the left portion of the grip 34. The grip 34 is used in a state where the driver holds the right elbow and holds it with the right hand. When the grip 34 is held, the knob 35 and the cross switch 37 can be operated with the thumb, the seesaw switch 36 can be operated with the index finger, and the operation switch 38 can be operated with the middle finger. In the figure, the circle switch 37 is a cross switch 37 viewed from the A direction.
[0054]
When the lever body 33 is tilted forward with the right hand holding the grip 34, the forklift 1 moves forward, and when the lever body 33 is tilted rearward, the forklift 1 moves backward. When the projection 35A formed on the knob 35 is pushed upward with the thumb and the knob 35 is turned upward, the fork 2 is raised. When the projection 35A is pushed downward with the thumb and the knob 35 is turned downward, the fork 2 is lowered. Further, when the front end of the seesaw switch 36 is pushed with the index finger, the cargo handling device 11 moves forward, and when the rear end of the seesaw switch 36 is pushed with the index finger, the cargo handling device 11 moves backward. The cross switch 37 can be operated in four directions, up and down, left and right, and the tilt of the mast 13 is operated by the operation in the up and down direction, and the side shift is operated by the operation in the left and right direction. When the upper end of the cross switch 37 is pushed with the thumb, the mast 13 tilts forward, and when the lower end of the cross switch 37 is pushed, the mast 13 tilts backward. Further, when the right end of the cross switch 37 is pushed with the thumb, the fork 2 moves to the right, and when the left end of the cross switch 37 is pushed, the fork 2 moves to the left. The operation switch 38 is used when starting the automatic positioning control of the fork 2 after operating the operating lever 31 during the cargo handling operation to roughly align the fork 2 with the target cargo handling object (pallet 21 or shelf 22). To operate.
[0055]
Next, the electrical configuration of the cargo handling operation support device will be described with reference to FIG.
The cargo handling operation support device 40 includes a controller 45. The controller 45 includes an image control unit 46, a cargo handling control unit 47, drive circuits 48 and 49, and a solenoid drive circuit 50.
[0056]
The camera 17 is electrically connected to the input side of the image control unit 46, and a video signal (image signal) is input thereto. The display device 19 and the speaker 51 are connected to the output side. The image control unit 46 displays the captured image on the screen of the display device 19 based on the video signal (image signal) from the camera 17. The image control unit 46 performs image recognition processing (template matching processing) for recognizing the mark from the captured image, and determines the camera for the mark from the position of the mark on the screen (screen coordinate system) grasped by the image recognition. 17 relative position coordinates are grasped. In addition, the speaker 51 notifies the cargo handling work support situation, the contents of instructions to the worker, and the like by voice guidance.
[0057]
On the other hand, the cargo handling control unit 47 is connected to the potentiometers 54 and 55 and the switches 36 to 38 of the multi-lever 31, the lift sensor 58, the load sensor 59, the tilt angle sensor 60, and the like. In addition, a cargo handling motor (electric motor) 62 is connected to the cargo handling control unit 47 via a drive circuit 48, and various electromagnetic proportional valves 65 to 65 assembled to an oil control valve 64 via a solenoid drive circuit 50. 69 solenoids are connected. The cargo handling control unit 47 and the load sensor 59 constitute a discrimination means.
[0058]
The cargo handling control unit 47 performs current value control of the electromagnetic proportional valves 65 to 69 and drive control of the cargo handling motor 62 based on signals from the potentiometers 54 and 55 and the switches 36 and 37. When the cargo handling motor 62 is actuated to drive the cargo handling pump (hydraulic pump) 70, hydraulic oil is supplied to the oil control valve 65. Based on the operation signal of the multi-lever 31, the proportional solenoid valves 65 to 69 corresponding to the operation are proportionally controlled, so that the lift cylinders 15 and 16, the reach cylinder 12, the tilt cylinder 27, and the side shift cylinder 28 are hydraulically controlled. The fork 2 can be moved up and down, reached, side-shifted, and tilted. The cylinders 15, 16, and 28 constitute driving means.
[0059]
The cargo handling control unit 47 controls the fork automatic positioning control in addition to the cargo handling control during the multi-lever operation. The fork automatic alignment control is for supporting the work handling at a high place performed by raising the fork 2 to a certain height or more. The lift of the fork 2 detected by the lift sensor 58 is set as a lift. (E.g. about 2 meters) or more. The cargo handling control unit 47 judges the cargo handling mode based on the detection value of the load sensor 59 to determine the cargo handling mode. When there is no load on the fork 2 and the load detection value is below the threshold value, “Mode (loading operation)”, and when there is a load on the fork 2 and the load detection value exceeds the threshold value, it is determined as “loading mode (loading operation)”.
[0060]
The image control unit 46 includes a display processing unit 75, an image processing unit 76, a drawing display unit 77, a drawing data storage unit 78, and a voice synthesis unit 79. The display processing unit 75 outputs the video signal input from the camera 17 to the display device 19 so that the image captured by the camera 17 is displayed on the screen. The voice synthesizer 79 performs voice synthesis processing for voice announcement (voice guide) and outputs a voice signal to the speaker 51. The image data from the display processing unit 75 is input to the image processing unit 76.
[0061]
The image processing unit 76 calculates the relative positional relationship between the vehicle (camera 2) and the cargo handling object based on the image recognition process for determining the positions of the marks M1 and M2 on the screen and the determined mark positions. The image processing unit 76 includes an image recognition processing unit 81, a template storage unit 82, an image calculation unit 83, and a display position determination unit 84. The image recognition processing unit 81 performs image recognition processing by pattern matching processing. The image calculation unit 83 calculates relative position coordinates in the real coordinate system of the camera 17 with respect to the mark based on the mark position information in the screen coordinate system obtained by the image recognition process. The display position determination unit 84 is configured to display various display positions (drawing points) including a movement target point coordinate to be a movement target of the mark when the fork 2 is aligned with a cargo handling target on the screen 19A based on the mark position information and the like. (Coordinates) is determined by calculation. When obtaining the display position data such as the movement target point data, the drawing display unit 77 reads the corresponding display (drawing) data from the drawing data storage unit 78 and draws the movement target point mark or the like on the image on the screen 19A. The image processing unit 76 is configured by program data stored in a microcomputer, a memory (ROM), and the like. The drawing display unit 77 and the drawing data storage unit 78 include a drawing control gate array and a drawing VRAM.
[0062]
FIG. 7 shows marks and templates. FIG. 4A shows a mark M1 for detecting the pallet position, and FIG. 4C shows a mark M2 for detecting the shelf position. FIG. 4B shows a template T1 for the mark M1, and FIG. 4D shows a template T2 for the mark M2.
[0063]
The mark M1 is configured by arranging two patterns P1 and P1, and the mark M2 is configured by arranging two patterns P2 and P2. The mark refers to the entire pattern, and the pattern refers to the two patterns constituting the mark. The templates T1 and T2 used for the pattern matching process have the same pattern as the patterns P1 and P2. The patterns P1 and P2 of the two marks M1 and M2 are patterns in which white and black are reversed from each other.
[0064]
Each of the patterns P1 and P2 is a pattern that is color-coded into white and black by a plurality of boundary lines that extend radially around one point. Each of the patterns P1 and P2 in the present embodiment is a pattern in which four areas partitioned by two square diagonal lines are color-coded in white and black. However, the outline corresponding to the square side of the template is not a part of the pattern. Even if the size of the marks M1 and M2 displayed on the screen 19A changes according to the difference between the mark and the camera, the central portions of the captured patterns P1 and P2 are always the same size as the templates T1 and T2. There are patterns. Therefore, the marks M1 and M2 can be recognized by the pattern matching process using only one template T1 and T2. The templates T1 and T1 are set to a predetermined size so that all the marks M1 and M2 photographed within a predetermined distance from the camera 17 can be recognized.
[0065]
The template storage unit 82 shown in FIG. 6 stores data of two templates T1 and T2. The image recognition processing unit 81 uses the template T1 if the loading mode notified from the loading control unit 47 is “loading mode”, and uses the template T2 if the loading mode is “loading mode”. That is, in the loading mode, a pattern matching process for recognizing the pallet position detection mark M1 is performed, and in the loading mode, a pattern matching process for recognizing the shelf position detection mark M2 is performed.
[0066]
FIG. 8A shows a screen coordinate system set on the screen. In the screen coordinate system, coordinates are handled in units of pixels. In the screen 19A in FIG. 9A, the number of horizontal pixels is H and the number of vertical pixels is V. Here, the mark M2 will be described as an example. As shown in FIG. 4B, the image recognition processing unit 81 matches the two patterns P2 and P2 constituting the mark M2 on the image data at two locations by using the template T2, and recognizes the patterns P2 and P2. To do. The image calculation unit 83 calculates the coordinates (I1, J1), (I2, J2) of the center points (radiation center points) of the two patterns P2, P2 recognized by the image recognition processing unit 81, respectively. Based on the coordinate value, the center of gravity (I, J) of the mark M2 and the center distance D between the patterns P2, P2 are obtained. The method for obtaining the I, J, and D values for the mark M1 is the same.
[0067]
FIG. 9 shows a real coordinate system. As shown in the figure, the actual coordinate system has the center (center of gravity) of the mark M as the origin O, the X axis in the direction opposite to the camera 17 in the direction perpendicular to the mark M, and the X axis 90 degrees counterclockwise in the horizontal plane. A three-dimensional coordinate system is assumed in which the Y-axis is taken in the rotated direction and the Z-axis is taken in the vertical direction (upward). Then, relative coordinates (relative positions) (Xc, Yc, Zc) of the camera 17 are obtained in this real coordinate system, and the amount of positional deviation of the fork 2 is calculated based on the relative coordinates. Using the data I, J, and D calculated in the screen coordinate system shown in FIG. 6, the geometrical transformation is performed to calculate the relative coordinates (Xc, Yc, Zc) in the real coordinate system.
[0068]
Hereinafter, a calculation method for obtaining relative coordinates (Xc, Yc, Zc) in the real coordinate system of the camera 17 from the I, J, and D values will be described.
FIG. 10 is a view of the camera and the mark viewed from above in the real coordinate system. FIG. 11 shows that there is a similarity relationship between the real coordinate system and the screen coordinate system. The left side of the figure shows the YZ plane of the real coordinate system photographed by the camera 17, and the right side of the figure shows the IJ plane in the screen coordinate system of the image photographed by the camera 17. Without considering image distortion, these two images are similar.
[0069]
As shown in FIGS. 10 and 11, the horizontal width of the imaging range in the real coordinate system is represented by 2L · tan α, which is the horizontal pixel count H of the screen 19A in the screen coordinate system. Here, the angle “α” is a half of the horizontal angle of view of the camera 17 as shown in FIG. L is the distance between the camera 17 and the YZ plane and is equal to | Xc | (L = | Xc |). Further, the center distance d between the two patterns P and P in the mark M in the real coordinate system is the center distance D in the screen coordinate system. That is, the similarity ratio between the real coordinate system and the screen coordinate system is d: D. For the abscissa from the origin O to the center of the image, Yc in the real coordinate system and I-H / 2 in the screen coordinate system have a correspondence relationship. As for the ordinate from the origin O to the center of the image, Zc in the real coordinate system and JV / 2 in the screen coordinate system have a correspondence relationship.
[0070]
If geometrical transformation using the similarity relationship of FIG. 11 is performed using the coordinates (I, J) of the screen coordinate system and the value of the distance D, the relative of the camera 17 in the real coordinate system (XYZ coordinate system) shown in FIG. The coordinates (Xc, Yc, Zc) are calculated from the following equation.
Xc = -L = -Hd / (2Dtan α) (1)
Yc = d / D (I-H / 2) (2)
Zc = d / D (J-V / 2) (3)
Here, since the H, V, α, and d values are known values, the coordinates (Xc, Yc, Zc) can be obtained by calculating the I, J, and D values.
[0071]
As shown in FIG. 6, the cargo handling control unit 47 includes a relative coordinate calculation unit 85 and a control amount calculation unit 86. The relative coordinate calculation unit 85 calculates the relative coordinates OC (Xc, Yc, Zc) of the camera 17 in the real coordinate system based on the data I, J, D sent from the image control unit 46 to the cargo handling control unit 47. .
[0072]
Based on the relative coordinates (relative position) OC (Xc, Yc, Zc) of the camera 17 obtained in the real coordinate system, the control amount calculation unit 86 aligns the fork 2 with the cargo handling target and the target. The amount of displacement from the position is calculated. That is, the movement distances in the X, Y, and Z directions necessary for positioning the fork 2 to the cargo handling target are calculated. Here, in calculating the movement distance in the X, Y, and Z directions, the camera 17 is displaced (offset) in the left-right direction from the center position between the forks 2 (reference position in the side shift direction). Need to be corrected. Further, since the relative position of the fork 2 in the Y direction between the side shift and the camera 17 changes, it is necessary to correct the deviation from the reference position in the side shift direction (Y direction) of the fork 2. The control amount calculation unit 86 takes into account these corrections, and uses the detected stroke amount value obtained from the stroke sensor 29 from the relative coordinates OC (Xc, Yc, Zc) of the camera 17, and the fork 2 and the cargo handling object ( The relative position (deviation amount) in the Y and Z directions (left and right and up and down directions) with the pallet 21 or the shelf 22) is calculated.
[0073]
FIG. 13 illustrates the flow of control processing from image recognition processing to fork automatic alignment control.
First, when the fork 2 is at a height higher than a predetermined height, the image recognition processing unit 81 performs image recognition processing (pattern matching processing) for recognizing the mark M by performing image processing on image data captured by the camera 17. . That is, according to the cargo handling mode determined in advance, if the mode is the unloading mode, the template T1 is read from the template storage unit 82 to perform the image recognition process for recognizing the mark M1. Is read and image recognition processing for recognizing the mark M2 is performed. The image calculation unit 83 calculates the barycentric coordinates (I, J) and the pattern center distance D of the mark M in the screen coordinate system (pixel level) based on the position of the pattern P recognized by the image recognition processing unit 81. Position data I, J, and D of the mark M on the screen 19A are sent to the cargo handling control unit 47. Then, the relative coordinate calculation unit 85 calculates the relative coordinates OC (Xc, Yc, Zc) of the camera 17 in the real coordinate system with the center of gravity of the mark M as the origin O based on the data I, J, D.
[0074]
Here, as shown in FIG. 12, when the camera position C, the fork position F, the pallet position P, and the mark center of gravity position (origin) O are set, the fork position F is aligned with the pallet position P during the unloading operation. Considering the vector FP, there is a relationship of vector FP = vector OP−vector OC−vector CF. Here, assuming that the points O and P are positions on the same vertical line, the vector OP corresponds to the distance (Z direction) between the mark gravity center position O and the pallet position P and is known information. The vector CF is determined by the relative position between the camera position C and the fork position F, and changes according to the side shift amount (that is, the stroke amount detection value) of the fork 2. Note that FIG. 12 is a schematic explanatory diagram explaining the alignment control for the cargo handling target of the fork 2 using a vector, and therefore, there are portions different from the actual one such as the position of the mark used in the alignment control to the pallet. is there.
[0075]
Based on the relative coordinates OC (Xc, Yc, Zc) of the camera 17, the control amount calculation unit 86 uses the known information (vector OP) to align the fork 2 with the cargo handling target and the target position. Is calculated (each component of the vector FP). That is, the movement distances in the X, Y, and Z directions necessary for positioning the fork 2 on the cargo handling target are calculated. Here, the components (Xp, Yp, Zp) of the vector OP of the known information, the components (Xcf, Ycf, Zcf) of the vector CF, and the vector FP to which the fork 2 should be moved to align the fork 2 with the pallet 21 Let it be components (Xfp, Yfp, Zfp).
Vector FP is vector FP = vector OP−vector OC−vector CF
Therefore, the amount of displacement (Xfp, Yfp, Zfp) at the time of unloading work is
(Xfp, Yfp, Zfp) = (Xp-Xc-Xcf, Yp-Yc-Ycf, Zp-Zc-Zcf)
It becomes. Here, Yp, Zp, and Zcf are known values, and Ycf is a variable.
[0076]
Similarly, when considering the loading operation, when a position a predetermined distance (10 to 20 cm) above the shelf surface 42A for aligning the fork 2 with the shelf 22 is set as the loading position R, the fork position F is loaded. Considering the vector FR when aligning with the position R, there is a relationship of vector FR = vector OR-vector OC-vector CF. Here, point O and point R are assumed to be at positions on the same vertical line. The vector OR corresponds to the distance (Z direction) between the mark gravity center position O and the loading position R, and is known information. The vector CF is determined by the relative position between the camera position C and the fork position F, and changes according to the side shift amount (that is, the stroke detection value) of the fork 2. The vector OR serving as known information corresponds to the distance between the mark gravity center position O and the loading position R.
[0077]
The vector FP to which the fork 2 is to be moved in order to align the components (Xr, Yr, Zr) of the vector OR, which are known information, the components (Xcf, Ycf, Zcf) of the vector CF, and the fork 2 with the loading position R. (Xfr, Yfr, Zfr). Vector FR is vector FR = vector OR-vector OC-vector CF
Therefore, the amount of displacement (Xfr, Yfr, Zfr) during loading work is
(Xfr, Yfr, Zfr) = (Xr -Xc -Xcf, Yr -Yc -Ycf, Zr -Zc -Zcf)
It becomes. Here, Yr, Zr, and Zcf are known values, and Ycf is a variable.
[0078]
In the present embodiment, the camera 17 does not move even if the fork 2 moves in the lateral direction due to the side shift, so Ycf is a variable that varies depending on the state of the side shift. Accordingly, Ycf is obtained by measuring with the stroke sensor 29, for example.
When the amount of contraction ΔY from the state in which the side shift cylinder 28 is fully extended is measured by the stroke sensor 29, and Ycf when ΔY = 0 is Ycf0, Ycf is expressed by the following equation.
Ycf = Ycf0 + ΔY (4)
In the present embodiment, since the mark M1 is located at the center of the width of the pallet 21 and the mark M2 is located at the center of the width of the shelf 22, Yp and Yr are “0”. Therefore, the deviation amounts Yfp and Zfp in the Y direction and the Z direction between the fork 2 and the pallet 21 during the unloading operation are expressed as follows.
Yfp = −Yc−Ycf0−ΔY (5)
Zfp = Zp−Zc−Zcf (6)
Further, the deviation amounts Yfr and Zfr in the Y direction and the Z direction between the fork 2 and the loading position R during the loading operation are expressed as follows.
Yfr = −Yc−Ycf0−ΔY (7)
Zfr = Zr-Zc-Zcf (8)
Here, Ycf0 is the abscissa when the fork root left and right centers are viewed from the camera 17 when the side shift cylinder 28 is fully extended, and ΔY is the amount of contraction (stroke sensor from the state where the side shift cylinder 28 is fully extended). Zcf is the ordinate when the fork root left and right center is viewed from the camera 17. Therefore, since Ycf0, Zr, and Zcf are known values, if Yc and Zc calculated by the relative coordinate calculation unit 85 and the shrinkage amount ΔY measured by the stroke sensor 29 are obtained, the deviation during the loading operation is obtained. The amounts Yfp and Zfp and the displacement amounts Yfr and Zfr at the loading work are obtained from the equations (5), (6) and (7), (8), respectively.
[0079]
When the operation switch 38 of the multi-lever 31 is operated, the fork automatic alignment control is started. The cargo handling control unit 47 outputs a control amount command value such that the vector FP becomes “0” to the solenoid drive circuit 50. However, in this embodiment, automatic position control is performed only in the vertical direction and the horizontal direction of the fork 2, and the front-rear direction (reach direction) is left to manual operation by the driver.
[0080]
For this reason, the cargo handling control unit 47 calculates the YZ component (equation (5), (6) or equation (7), (8))) of the vector FP to be “0” in the up-down direction and the left-right direction. A value corresponding to each shift amount in the direction is output to the solenoid drive circuit 50 as a control amount command value. As a result, the fork 2 is automatically aligned in the vertical direction and the horizontal direction. As a result, the fork 2 is positioned in the insertion hole 21A of the pallet 21 in the loading mode, and is aligned with a target position (loading position R) that is a predetermined distance above the shelf 22 in the loading mode. After this alignment, a loading operation or a loading operation is performed by performing a reach operation to reach the mast 13.
[0081]
At this time, for example, when the fork 2 is brought closer to the cargo handling object while the vehicle is moving forward, if the operation switch 38 is continuously operated, the fork 2 is positioned so as to be aligned with the cargo handling object even if the vehicle is shifted left and right. It is corrected. The reach operation of the fork 2 may also be performed by automatic control.
[0082]
According to this embodiment, the following effects can be obtained.
(1) When carrying out a cargo handling operation at a high place, after the fork 2 is roughly aligned with the object to be handled, the fork 2 can be automatically aligned with the pallet 21 or the shelf 22 by operating the operation switch 38. it can.
[0083]
(2) In the full-free forklift 1 in which the carriage 14 moves up and down while keeping the relative positional relationship between the fork 2 and the inner mast 13C constant when the fork 2 is in the lifting range above a predetermined lifting height, the middle beam of the inner mast 13C The camera 17 was fixed to 13D. Even if the camera 17 is fixed to the inner mast 13C in this way, the pallet 21 and the shelf 22 to be loaded are always photographed from the same angle by the camera 17 at a height higher than a predetermined lifting height that needs to support the cargo handling operation. can do. Therefore, since the camera 17 can be fixed to the middle beam 13D, an imaging system having the camera 17 can be realized with a simple structure and low cost.
[0084]
(3) Since it is not necessary to attach the camera 17 to the carriage 14, it is possible to prevent the camera 17 from interfering with peripheral objects such as a shelf or a load during a cargo handling operation.
(4) When the camera is mounted on the carriage 14, the impact input becomes large and it is difficult to ensure reliability. However, since the camera 17 is mounted on the inner mast 13 C, the impact input is kept smaller than when mounted on the carriage 14. Can do.
[0085]
(5) Since the camera 17 is always located on the lower side of the fork 2, a front view can be secured regardless of whether or not there is a load.
(6) When the camera 17 is mounted on the inner mast 13C, since there is no contact with the floor (ground), the shelf, or the load, a mechanism (such as a storage mechanism) for moving the camera 17 is also unnecessary. Further, it is not necessary to secure the rigidity of the camera case itself, and the cost can be reduced.
[0086]
(7) Although the camera 17 does not move laterally even if the fork 2 is side-shifted, the amount of displacement Ycf in the Y direction between the camera 17 and the fork 2 is obtained using the measured value ΔY of the stroke sensor 29. The amount of deviation in the Y and Z directions between the fork 2 and the cargo handling object can be calculated. For this reason, in the forklift 1 having a side shift mechanism, the fork 2 can be automatically aligned in two directions, up and down, left and right, even if a configuration in which the camera 17 is provided on the inner mast 13C is employed.
[0087]
In addition, embodiment is not limited above, It can also implement in the following aspect.
O It is not limited to the structure which has arrange | positioned the 1st lift cylinder 15 in the center like the said embodiment. For example, a pair of left and right first lift cylinders can be provided, or if there is only one first lift cylinder, the camera can be placed at the center in the mast. If the camera can be arranged in the center of the mast, it is possible to provide the driver with an image that is easy to work through the screen.
[0088]
○ The camera is not limited to being fixed to the beam. For example, the inner mast may be fixed via a bracket. In short, the carriage 14 only needs to be fixed to an inner mast (guide member) provided so as to be movable up and down. In this case, it is sufficient if the relative positional relationship between the fork 2 that is a cargo handling device and the inner mast 13C is maintained. For example, a moving member that moves integrally with the inner mast 13C is attached, and a camera that is a photographing unit is attached to the moving member. Can also be adopted. In short, the camera does not need to be directly fixed to the inner mast, but only needs to be fixed so as to move together with the inner mast.
[0089]
○ The camera fixing position is not limited to the underside of the fork. For example, an arrangement in which only one of the loading operation and the loading operation is photographed can be employed. For example, when the automatic alignment control is employed only at the time of the cargo picking work, the camera can be arranged at substantially the same height as the horizontal surface of the fork 2 or slightly above.
[0090]
○ The number of cameras fixed to the inner mast is not limited to one. For example, two cameras for loading work and loading work may be provided separately. In this case, the loading work camera is arranged at the same height as in the above-described embodiment, and the loading work camera is arranged at substantially the same height as the horizontal surface of the fork 2 or at a slightly higher position. Of course, the number of cameras may be three or more.
[0091]
O Two cameras for loading work and loading work may be provided separately, the loading work camera may be provided on the inner mast, and the loading work camera may be provided on the carriage. In this case, at least with respect to the loading work camera, an effect of avoiding contact with surrounding objects (shelf, load, etc.) and an effect of suppressing impact input can be obtained. Further, since the camera on the carriage side is used for cargo handling work, it is not necessary to provide it under the cargo handling equipment, and therefore a moving mechanism such as a storage function is not required.
[0092]
○ The camera is not limited to being fixed to the inner mast. It can also be pivotally attached to the inner mast so that the camera angle (photographing direction) can be changed. For example, an actuator such as a motor is used so that the camera can be automatically adjusted to an appropriate shooting angle according to the contents of the cargo handling work. Further, for example, it is possible to adopt an attachment structure provided with a moving mechanism that moves the camera up and down or moves left and right. When the camera is provided on the inner mast 13C so as to be able to be moved up and down, the camera is disposed at a position for picking up at a level substantially the same as the horizontal plane of the fork 2, and the fork 2 capable of photographing the work area without being blocked by the load on the fork 2. It is possible to move up and down two positions with a loading position below a predetermined distance. Even with this configuration, in order to avoid contact between the camera and surrounding objects during cargo handling work or to avoid a collision with the floor when the fork is lowered, the camera 17 can be used when the fork 2 is reached or lowered. It is not always necessary to store, and the impact input to the camera can be kept small.
[0093]
The stroke sensor 29 is not limited to an ultrasonic sensor. For example, a linear sensor may be used. Further, a rotation conversion mechanism that converts the stroke amount of the side shift cylinder 28 into a rotation amount may be provided, and a potentiometer that detects the rotation amount converted by the rotation conversion mechanism may be used.
[0094]
In the above-described embodiment, it is determined based on the detection value of the load sensor 59 whether the content of the cargo handling operation is a loading operation or a loading operation, and a target mark M is determined according to the determined type of the cargo handling operation. It was set as the structure which determines whether an object is made into a pallet or a shelf. However, the detection means for discriminating between the loading operation and the loading operation is not essential. For example, the load sensor 59 is abolished in the embodiment, and an operation button (switch) for designating the type of cargo handling work is provided on the instrument panel of the driver's seat, and the driver operates the operation switch for the type of cargo handling work. By doing so, it is possible to adopt a configuration instructing the controller.
[0095]
In the above-described embodiment, the automatic alignment control is performed in a range that is equal to or higher than the predetermined lifting height. However, the range in which the automatic alignment control is performed can be arbitrarily set in a lifting range that is equal to or higher than the predetermined lifting height. Automatic positioning control may be performed only in a lift range that is higher than a set lift (for example, a lift of 3 m or more) higher than a predetermined lift.
[0096]
In the above-described embodiment, the automatic alignment control is performed in a range that is equal to or higher than the predetermined lift. However, a range that is less than the predetermined lift may be included in the range in which the automatic alignment control is performed. For example, the relative positional relationship between the camera and fork can be grasped based on the height detected by the continuously detectable height sensor even if it is slightly lower than the predetermined height, so if you can photograph the work area of the fork, it will be less than the predetermined height This range can also be included in the range subject to automatic alignment control.
[0097]
In the above embodiment, when image processing is performed by template matching, a radial graphic is adopted as the image recognition mark, but it is not limited to such a graphic. Simple figures such as squares (■) and triangles (▲) may be used. In addition, the graphic design of the mark can be changed as appropriate. Although it is necessary to prepare a large number of templates by pattern matching and the image recognition processing burden increases, the position of the cargo handling target can be detected although the image recognition processing takes time. For example, if a high-speed CPU or the like is used, the position of the cargo handling object can be recognized within a processing time that can withstand sufficient use. Alternatively, an image recognition method other than pattern matching may be employed to detect the position of the cargo handling target.
[0098]
○ The image processing method for obtaining the location information of the cargo handling object is not limited to the template matching method. An image recognition processing method using feature vectors can also be employed. Also, an image recognition method that does not use marks can be employed. For example, a configuration may be used in which a pallet or shelf is recognized by feature extraction (feature vector) from image data, and the position of the pallet or shelf is recognized. That is, adopting a method of performing image recognition processing by feature extraction using the shape of the pallet 21 or the shelf 22 that is the object of image recognition processing based on image data taken by the camera as a pattern, and determining the position of the cargo handling target. You can also.
[0099]
In the above-described embodiment, the automatic positioning control for positioning the fork 2 in the vertical and horizontal two directions (YZ direction) is employed. However, the position of the fork 2 is also controlled in the front-rear direction (reach direction (X direction)). In this way, automatic position control for aligning the fork 2 so as to eliminate the amount of deviation in the three directions (XYZ directions) can also be employed. Further, in a forklift that does not include a side shift mechanism, the cargo handling device (fork 2) may be automatically aligned and controlled only in the vertical direction (Z direction). Of course, automatic alignment control only in the Y direction and only in the X direction can be employed.
[0100]
○ The operation switch may be abolished. For example, when the cargo handling operation is stopped when the cargo handling operation means (multi-lever or lift lever) is roughly positioned and the cargo handling operation is stopped, the controller may automatically shift to automatic alignment control based on the judgment. . In this case, a stop switch for automatic alignment control may be provided.
[0101]
○ Can be used for forklifts equipped with automatic lifting equipment. For example, the fork is automatically lifted to a predetermined height selected by key operation with an automatic lifting device, and when positioned at the predetermined height, the position of the cargo handling object is determined through mark image recognition processing and automatic alignment control is performed. . In this case, the operation switch is abolished and positioning in the height direction by the automatic lifting device (positioning to the set height (setting data) registered in the memory, so there is no guarantee that the position is in alignment with the cargo handling object) ) May be automatically transferred to alignment control at the discretion of the controller.
[0102]
○ Industrial vehicles are not limited to reach-type forklifts. You may apply to the counter balance type forklift provided with the full free type cargo handling apparatus. Furthermore, industrial vehicles are not limited to forklifts. Other than forklifts, it can be widely applied to industrial vehicles equipped with full-free cargo handling equipment. Also, the cargo handling device need not be provided with a mast. For example, the cargo handling apparatus includes a slide type guide mechanism that is slidable in the left-right direction (lateral direction) or the front-rear direction, and the cargo handling apparatus moves along a single movable guide member that constitutes the guide mechanism. It does not matter. Also in this case, if there is a second range in which the relative positional relationship between the cargo handling device and the guide member is maintained, a photographing area (camera) is provided on the guide member, so that the work area is handled by the camera during the cargo handling operation in the second range Can be taken.
[0103]
The technical idea grasped from the embodiment and other examples will be described below.
(1) The cargo handling work support device according to any one of claims 3 and 5 to 13, wherein the cargo handling device is driven on the basis of an operation of a slideable and extendable multistage mast and a cargo handling operation means, and the cargo handling device. First drive means for moving the mast up and down along the inner mast, and second drive means driven by the operation of the cargo handling operation means to slide the mast to extend and contract, and the carriage is in the first range. The first drive means is driven when it is not detected that the upper limit of the inner mast is detected, and the second drive is detected when it is detected that the carriage is in the second range and is positioned at the upper limit of the inner mast. The means is driven.
[0104]
(2) In Claim 4 and the technical idea (1), the photographing unit is disposed behind the first driving unit, and the photographing unit is configured so that photographing is not blocked by the first driving unit. The gist is that the first drive means is disposed in a state avoiding the first drive means.
[0105]
(3) In any one of claims 1 to 13, the photographing means includes a camera, and the camera is fixed to the guide member.
(4) In any one of Claims 3-13, the said control means performs the said alignment control in the raising height more than setting lifting height among the said 2nd range.
[0106]
(5) In Claim 1, the photographing unit is located on the back side of the driving unit that drives the guide member in the photographing direction, and the configuration unit is avoided so as not to be blocked by the configuration unit of the driving unit. Placed in position.
[0107]
(6) In Claim 1, the said imaging | photography means is arrange | positioned in the position which can image | photograph the said work area both when the cargo handling equipment is empty and when there is a load.
(7) In any one of claims 1 to 13, the position indexing unit calculates a shift amount (relative position) in a direction in which the cargo handling device and the cargo handling object are to be aligned.
[0108]
(8) In the gist of any one of claims 3 to 13, the photographing means is disposed at a position where the photographing of the work area is not obstructed by the load on the cargo handling device with respect to the inner mast. To do.
[0109]
(9) In any one of claims 4 to 13 and the technical idea (1), the first driving means is located away from the center of the mast in the width direction, and the photographing means includes: The mast is disposed substantially at the center in the width direction.
[0110]
(10) In any one of claims 3 to 13, comprising: first driving means for moving the cargo handling device up and down along the inner mast; and second driving means for extending and retracting the mast by slide driving, The photographing means is disposed behind the first driving means, and the photographing means is disposed in a state avoiding the first driving means so that photographing is not blocked by the first driving means. It is a summary.
[0111]
(11) In any one of claims 4 to 13, the lift control means for detecting the lift of the cargo handling equipment is provided, and the drive control means has the lift detection means at a predetermined lift. The first drive means is driven until the detection is detected, and the second drive means is driven when it is detected that the elevation detection means has reached a predetermined elevation.
[0112]
(12) The cargo handling operation means according to any one of claims 2 to 12, wherein the cargo handling operation means is operated to move the carriage up and down in order to align the cargo handling equipment with the cargo handling target. An operation for starting drive control means for driving and controlling the drive means based on an operation of the cargo handling operation means to raise and lower the carriage according to an operation, and an alignment control for aligning the cargo handling equipment with the cargo handling object. Operating means, and the control means starts driving control of the driving means for aligning the cargo handling equipment with the cargo handling object based on at least an input signal when the operating means is operated. According to this configuration, after the cargo handling device is roughly aligned with the cargo handling object in the vertical direction (height direction), when the operation operation means is operated, the alignment control is automatically started.
[0113]
(13) In any one of claims 2 to 13 and the technical idea (12), the cargo handling device includes a lift height detection unit that detects that the predetermined lift height has been reached, and the control unit includes: Positioning control is executed when the lift detection means detects a lift higher than a predetermined lift.
[0114]
(14) In any one of claims 3 to 13 and the technical idea (12), the vehicle includes lifting height detection means for detecting a lifting height of the cargo handling equipment, and the control means includes the lifting height detection means. The alignment control is executed when a lift higher than the set lift within the second range is detected.
[0115]
(15) In any one of claims 2 to 4 and the technical idea (12), the position indexing means determines at least a position in the vertical direction of the cargo handling object, and the control means is configured so that the cargo handling device is Alignment control is performed so that the cargo handling object is aligned at least in the vertical direction.
[0116]
(16) In any one of claims 2 to 4 and the technical idea (12), the position indexing means determines the position of the cargo handling object in at least two directions, up and down, left and right, and the control means Alignment control is performed so that the cargo handling device is aligned with the cargo handling object in at least the two directions.
[0117]
【The invention's effect】
As described in detail above, according to the inventions described in claims 1 and 14, the photographing means is provided so that the working area of the cargo handling equipment can be photographed within a range in which the relative positional relationship between the guide member and the cargo handling equipment is kept constant. Control was performed to align the cargo handling device with the cargo handling target provided on the guide member and whose position was determined using the image processing result of the captured image data. Therefore, it is possible to prevent the photographing means from interfering with surrounding objects during the cargo handling operation, vibrations received by the photographing means can be suppressed to be relatively small, and the cargo handling equipment can be automatically aligned with the cargo handling object.
[0118]
According to the invention described in claims 2 to 14, the photographing means is provided in the inner mast so that the work area of the cargo handling equipment can be photographed within a range in which the relative positional relationship between the inner mast and the cargo handling equipment is kept constant. Control was performed to align the cargo handling equipment with the cargo handling target whose position was determined using the image processing results of the data. Therefore, it is possible to prevent the photographing means from interfering with surrounding objects during the cargo handling operation, vibrations received by the photographing means can be suppressed to be relatively small, and the cargo handling equipment can be automatically aligned with the cargo handling object.
[Brief description of the drawings]
FIG. 1 is a perspective view of a forklift according to an embodiment.
FIG. 2 is a partial front view of the cargo handling device.
FIG. 3 is a partial side sectional view of the cargo handling device.
FIG. 4 is a perspective view showing a state of cargo handling work on a shelf.
FIG. 5 is a plan view of a multi-lever.
FIG. 6 is a block diagram showing an electrical configuration of the cargo handling operation support apparatus.
FIG. 7 is a front view showing a mark and a template.
8A is a screen diagram for explaining a screen coordinate system, and FIG. 8B is a diagram for explaining a matching method.
FIG. 9 is a schematic perspective view illustrating a real coordinate system.
FIG. 10 is a plan view illustrating a real coordinate system.
FIG. 11 is a correlation diagram showing the relationship between the real coordinate system and the screen coordinate system.
FIG. 12 is a schematic diagram for explaining alignment control.
FIG. 13 is a block diagram showing the flow of processing for alignment control.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Forklift as an industrial vehicle, 2 ... Fork as cargo handling equipment, 3 ... Car body, 11 ... Cargo handling device, 13 ... Mast, 13C ... Inner mast as constituent member of guide member and mast, 14 ... Carriage, 15 ... First First lift cylinder as drive means, 16 ... Second lift cylinder as second drive means, 17 ... Camera as photographing means, 19 ... Display device as display means, 19A ... Screen, 21 ... Pallet as cargo handling object , 22 ... Shelf as a cargo handling object, 28 ... Side shift cylinder as side shift drive means, 29 ... Stroke sensor as side shift amount detection means, 31 ... Operation lever (multi-lever) as manual operation means, 38 ... an operation switch as an operation means, 40 ... a cargo handling operation support apparatus as a cargo handling work support apparatus, 45 Controller as control means 46... Display control section 47. Load handling control section constituting discrimination means and control means 58. Lift sensor as lift detection means 59. Load sensor constituting discrimination means 81. Image recognition processing unit constituting position indexing means, 82... Template storage part constituting position indexing means, 83. Image calculating part constituting position indexing means, 85... Relative coordinate calculation constituting position indexing means , 86... Control amount calculation unit constituting position indexing means, M1... Mark as the first mark, M2... Mark as the second mark.

Claims

A carriage having a cargo handling device moves along a guide member in a first range from a reference position to a predetermined position, and in a second range equal to or greater than the predetermined position, a relative positional relationship between the carriage and the guide member in the movement direction. A cargo handling device in which the carriage moves in the second range by moving the guide member while maintaining a constant value;
Photographing means provided on the guide member so as to photograph a work area of the cargo handling device when the carriage is located in the second range equal to or greater than the predetermined position;
A position indexing unit that performs image processing on the image data from the photographing unit and calculates a position of the cargo handling target using the processing result;
A cargo handling work support device in an industrial vehicle, comprising: a control unit that drives and controls a driving unit of the cargo handling apparatus so that the cargo handling device is aligned with a cargo handling target whose position is determined by the position indexing unit.

In an industrial vehicle provided with a cargo handling device that lifts and lowers a carriage having a cargo handling device in a state where a relative positional relationship with a mast component is kept constant within a range above a predetermined lifting height,
Photographing means provided on the constituent member of the mast so as to be capable of photographing the cargo handling object of the cargo handling device in a state where the carriage is maintained in a certain relative positional relationship with the constituent member of the mast;
A position indexing unit that performs image processing on the image data from the photographing unit and calculates a position of the cargo handling target using the processing result;
A cargo handling work support device in an industrial vehicle, comprising: a control unit that drives and controls a driving unit of the cargo handling apparatus so that the cargo handling device is aligned with a cargo handling target whose position is determined by the position indexing unit.

A carriage having a multi-stage mast moves up and down along the inner mast in a first range from the lowest position to a predetermined lifting height, and in the second range above the predetermined lifting height, the loading device moves the inner mast A cargo handling device in which the carriage moves up and down as the inner mast moves up and down while keeping the relative positional relationship with
Photographing means provided on the inner mast so as to be capable of photographing a cargo handling object of the cargo handling device when the carriage is in the second range and the cargo handling device and the inner mast are in a certain relative positional relationship;
A position indexing unit that performs image processing on the image data captured by the capturing unit and determines a position of a cargo handling target using the processing result;
A cargo handling work support device in an industrial vehicle, comprising: a control unit that drives and controls a driving unit of the cargo handling device so as to align the cargo handling device with respect to a cargo handling object whose position is determined by the position indexing unit. .

Multistage mast that can slide and extend,
First driving means for raising and lowering a carriage having a cargo handling device along an inner mast constituting the mast;
Second driving means for sliding the mast to drive expansion and contraction;
Based on the operation of the cargo handling means, the first drive means and the second drive means are driven, and it is detected that the carriage is in the first range from the lowest position to the predetermined lift and is located at the upper limit of the inner mast. The first driving means is driven when not, and the second driving means is driven when it is detected that the carriage is in the second range not less than the predetermined lift and is located at the upper limit of the inner mast. Control means;
Photographing means provided on the inner mast so as to be capable of photographing a cargo handling object of the cargo handling device in a state where the carriage is positioned at an upper limit of the inner mast;
A position indexing unit that performs image processing on the image data from the photographing unit and calculates a position of a cargo handling target using the processing result;
A cargo handling work support apparatus in an industrial vehicle, comprising: a control unit that drives and controls the second driving unit so as to align the cargo handling device with a cargo handling target whose position is indexed by the position indexing unit.

Side shift driving means for side shifting the cargo handling equipment with respect to the inner mast;
A side shift amount detecting means for detecting a side shift amount from a reference position in the side shift direction of the cargo handling device,
The position indexing means calculates a relative position of the cargo handling device and the cargo handling object in the vertical direction and the side shift direction based on the location information of the cargo handling object obtained from the image processing result and the side shift amount detection value. Indexing,
5. The control unit according to claim 3, wherein the control unit drives and controls the driving unit and the side shift driving unit to align the cargo handling device with the cargo handling target in the two directions based on position index information of the relative position. The cargo handling work support apparatus in the described industrial vehicle.

The cargo handling work support apparatus for an industrial vehicle according to any one of claims 3 to 5, wherein the photographing means is fixed to the inner mast.

The cargo handling work support apparatus for an industrial vehicle according to claim 6, wherein the photographing means is fixed to a beam of the inner mast.

The said imaging | photography means is provided in the inner mast so that it may be arrange | positioned below the said cargo handling equipment in the state which the said cargo handling equipment is located in the raising height more than the said predetermined lifting height. Cargo handling support device for the described industrial vehicle.

The cargo handling work support apparatus for an industrial vehicle according to any one of claims 1 to 8, further comprising display means for displaying an image photographed by the photographing means.

The position indexing means calculates the position of the mark attached to the cargo handling object by performing image processing on the image data from the imaging means, and determines the position of the cargo handling object from the calculated mark position. The cargo handling work support device for an industrial vehicle according to claim 9.

A determination means for determining whether the cargo handling operation is a loading operation or a loading operation;
The position indexing means determines the position of the cargo handling object for the loading operation when it is determined by the determining means to be the cargo handling work, and the position of the cargo handling object for the loading work when determined as the loading work. And
The said control means drives and controls the said drive means so that the said cargo handling apparatus may be aligned with respect to the cargo handling object for which the position was determined according to the classification of the cargo handling work discriminated by the said discrimination means. The cargo handling work support device for an industrial vehicle according to any one of the preceding claims.

The position indexing means determines the position of the first mark attached to the pallet during the loading operation based on the determination result of the determining means, and determines the position of the second mark attached to the shelf during the loading operation. Determine the position,
When the determination means determines that the work is a loading operation, the control means determines the position of the pallet to be handled based on the position determination information of the first mark and aligns the cargo handling device with the pallet. Controlling the driving means and determining that the loading work is determined by the determining means, the position of the shelf to be handled is determined based on the position index information of the second mark, and The cargo handling work support apparatus for an industrial vehicle according to claim 11, wherein the driving means is driven and controlled to be aligned with a shelf.

Cargo handling operation means operated to move the cargo handling equipment;
Drive control means for driving and controlling the drive means based on the operation of the cargo handling operation means to move the cargo handling equipment in accordance with the operation of the cargo handling operation means;
An operation means for operating when performing automatic alignment control for aligning the cargo handling device with a cargo handling target,
The said control means drives and controls the said drive means so that the said cargo handling equipment may be aligned with the said cargo handling object based on the input signal when the said operation means is operated. Handling support equipment for industrial vehicles in Japan.

An industrial vehicle comprising the cargo handling work support device according to any one of claims 1 to 13.