JP6988713B2 - 産業車両用遠隔操作システム - Google Patents

Description

本発明は、産業車両用遠隔操作システムに関するものである。

特許文献１に開示のフォークリフトのフォーク位置決め支援装置においては、ディスプレイに表示された画像内でフォーク先端を移動させる目標点の指定を受け付け、フォーク先端の基準点から目標点までの距離を算出し、更新されたステレオ画像内で目標点を追跡し、算出された距離をディスプレイに出力するようにしている。

特開２０１３−８６９５９号公報

ところで、産業車両を遠隔操作する際に、位置ずれ量そのものを表示させても、操作者は、そのずれを解消するために実際にどのような操作をすれば最適かが分からない。
本発明の目的は、目標位置まで容易に至るようにすることができる産業車両用遠隔操作システムを提供することにある。

請求項１に記載の発明では、機台に荷役装置を備えるとともに車両通信部を有する産業車両と、前記車両通信部と無線通信を行う操作装置通信部を有し、前記産業車両の走行及び前記荷役装置による荷役を遠隔操作するのに用いられる遠隔操作装置と、を備えた産業車両用遠隔操作システムであって、前記産業車両に搭載され、前記産業車両の周囲を撮像する複数のカメラと、前記遠隔操作装置に設けられ、前記複数のカメラにて撮像された画像を表示するための表示部と、前記複数のカメラにて撮像された画像から画像認識により前記産業車両の現在位置に対する目標位置までの位置ずれ量を演算する演算手段と、前記演算手段により演算した位置ずれ量に応じて目標位置に至る操作量を前記表示部に表示させる表示制御手段と、を備えることを要旨とする。

請求項１に記載の発明によれば、演算手段により、複数のカメラにて撮像された画像から画像認識により産業車両の現在位置に対する目標位置までの位置ずれ量が演算される。表示制御手段により、演算手段により演算した位置ずれ量に応じて目標位置に至る操作量が表示部に表示される。よって、目標位置まで容易に至るようにすることができる。

請求項２に記載のように、請求項１に記載の産業車両用遠隔操作システムにおいて、前記表示制御手段は、操作手順も前記表示部に表示させるとよい。
請求項３に記載のように、請求項１または２に記載の産業車両用遠隔操作システムにおいて、前記表示制御手段は、操作タイミングも前記表示部に表示させるとよい。

本発明によれば、目標位置まで容易に至るようにすることができる。

産業車両用遠隔操作システムの電気的構成を示すブロック図。 リーチ式フォークリフトの概略側面図。 リーチ式フォークリフトの概略平面図。 表示部での画像切り替えを説明するための図。 作業場でのリーチ式フォークリフトのパレットの正面位置への移動を説明するための概略平面図。 作用を説明するためのフローチャート。 表示部での表示内容を説明するための図。 別例の表示部での表示内容を説明するための図。 別例の表示部での表示内容を説明するための図。

以下、本発明を具体化した一実施形態を図面に従って説明する。
図１に示すように、産業車両用遠隔操作システム１０は、産業車両としてのリーチ式フォークリフト２０と、リーチ式フォークリフト２０の走行及び荷役を遠隔操作するのに用いられる遠隔操作装置５０と、を備えている。リーチ式フォークリフト２０は作業場に配置される。そして、遠隔操作装置５０を用いて操作室から作業場のリーチ式フォークリフト２０を遠隔操作することができるようになっている、
図２に示すように、リーチ式フォークリフト２０の機台２１には荷役装置２２が設けられている。荷役装置２２は前方へ延出している一対のリーチレグ２３を備える。各リーチレグ２３にはそれぞれ前輪２４が設けられている。つまり、機台２１の前側に左右一対の前輪２４が設けられている。また、機台２１の後ろ側には後輪２５が設けられている。本実施形態では、後輪２５が、操舵輪及び駆動輪となる。

荷役装置２２は、２段式のマスト２６を備える。マスト２６は、アウタマスト２７と、インナマスト２８とを備える。荷役装置２２は、インナマスト２８に連結されたリフトシリンダ２９を備える。荷役装置２２は、マスト２６に連結されたリーチシリンダ３０を備える。インナマスト２８は、リフトシリンダ２９への作動油の給排によって昇降する。マスト２６は、リーチシリンダ３０への作動油の給排によってリーチレグ２３に沿って移動する。

荷役装置２２は、一対のフォーク３１と、フォーク３１をマスト２６に固定するリフトブラケット３２とを備える。フォーク３１及びリフトブラケット３２は、インナマスト２８の昇降とともに昇降する。リーチ式フォークリフト２０は、後輪２５を駆動させる走行モータ３３を備える。

図１に示すように、リーチ式フォークリフト２０は、車両通信部としての無線部４０と、制御部４１と、映像信号処理部４２と、カメラ切替部４３と、リーチ式フォークリフト２０の周囲を撮像するカメラ７１〜７８を有する。リーチ式フォークリフト２０に搭載されるカメラ７１〜７８は、走行系のカメラ７１，７２，７３，７４と、荷役系のカメラ７５，７６，７７，７８を有する。

複数のカメラ７１〜７８は、リーチ式フォークリフト２０側において、作業別に（走行作業、荷役作業毎に）割当てられている。カメラ切替部４３によりカメラが切り替えられる。映像信号処理部４２は、カメラで撮像した画像を圧縮変換する。制御部４１は、カメラ７１〜７８の切替指示を制御する。無線部４０は、画像や切替指示信号の無線伝送を行う。

遠隔操作装置５０は、操作装置通信部としての無線部５１と、制御部５２と、操作部５３と、表示部（モニタ）５４と、映像信号処理部５５と、作業検知部５６を備えている。
無線部５１は、画像やカメラ切替指示などの無線伝送を行う。映像信号処理部５５は、画像を復元変換する。表示部５４は、画像をディスプレイ表示する。操作部５３は、操作を行うためのものである。作業検知部５６は、タッチセンサなどでどの作業の操作かがわかる。制御部５２は、カメラ７１〜７８の切替指示を制御する。

リーチ式フォークリフト２０の無線部４０と遠隔操作装置５０の無線部５１とは無線通信を行うことができる。このように、リーチ式フォークリフト２０は無線部４０を有し、遠隔操作装置５０は、無線部４０と無線通信を行う無線部５１を有する。

遠隔操作装置５０において、操作部５３は、操作者によりリーチ式フォークリフト２０を遠隔操作するためのものであり、操作者によるリーチ式フォークリフト２０の操作内容（リフト、リーチ、ティルトの操作指令値、及び、速度、加速度、操舵角の操作指令値等）が作業検知部５６を介して制御部５２に送られる。制御部５２は、リフト、リーチ、ティルトの操作指令値、及び、速度、加速度、操舵角の操作指令値等の車両制御信号を、無線部５１を介してリーチ式フォークリフト２０の無線部４０に無線送信する。

リーチ式フォークリフト２０において、制御部４１は遠隔操作装置５０側からの指示により走行系アクチュエータ（走行モータ３３、図示しない操舵モータ等）及び荷役系アクチュエータ（リフトシリンダ２９、リーチシリンダ３０、図示しないティルトシリンダ等）を駆動することができる。

無線部４０は、リーチ式フォークリフト２０の車速等の車両情報、異常情報（障害物検知情報等）を、遠隔操作装置５０の制御部５２に無線送信する。
図１において、遠隔操作装置５０の操作部５３は、無線部５１，４０、制御部４１を介してリーチ式フォークリフト２０の走行及び荷役装置２２による荷役を遠隔操作することができるようになっている。

そして、遠隔操作装置５０において、操作部５３を用いて操作者が所望の操作を行うと制御部５２により操作内容が無線部５１を介してリーチ式フォークリフト２０側に送られる。リーチ式フォークリフト２０において、無線部４０で遠隔操作装置５０からの操作内容が受信され、制御部４１によりアクチュエータ部が駆動されて所望の動作が実行される。

走行系のカメラ７１，７２，７３，７４は、図２，３に示すように設けられている。走行系のカメラ７１，７２，７３，７４は、リーチ式フォークリフト２０の機台２１に取り付けられている。走行系のカメラ７１，７２，７３，７４は、機台２１の周囲を撮像する。詳しくは、走行系のカメラ７１は、進行方向前方を撮像する。走行系のカメラ７２は、後方を撮像する。走行系のカメラ７３は、左方を撮像する。走行系のカメラ７４は、右方を撮像する。

荷役系のカメラ７５，７６，７７，７８は、図２，３に示すように設けられている。荷役系のカメラ７５，７６，７７，７８は、リーチ式フォークリフト２０の荷役装置２２に取り付けられている。荷役系のカメラ７５，７６，７７，７８は、荷役装置２２における荷役対象領域を撮像する。詳しくは、荷役系のカメラ７５は、リフトブラケット３２の左側の上部に取り付けられ、荷役装置２２における左側から前方を撮像する。荷役系のカメラ７６は、リフトブラケット３２の右側の上部に取り付けられ、荷役装置２２における右側から前方を撮像する。荷役系のカメラ７７は、インナマスト２８の上部に取り付けられ、前方下方を撮像する。荷役系のカメラ７８は、左側のフォーク３１に取り付けられ、フォーク３１の前方を撮像する。

一方、図１に示すように、リーチ式フォークリフト２０において、カメラ７１〜７８により撮像された画像は映像信号処理部４２及び無線部４０を介して遠隔操作装置５０側に送られる。遠隔操作装置５０において、無線部５１でリーチ式フォークリフト２０からのカメラ画像が受信されて制御部５２により映像信号処理部５５を介して表示部５４で表示される。

操作部５３を用いて、走行系のカメラにて撮像された画像から荷役系のカメラにて撮像された画像への切り替えを指示できるとともに荷役系のカメラにて撮像された画像から走行系のカメラにて撮像された画像への切り替えを指示できる。このカメラ選択信号は、無線部５１を介してリーチ式フォークリフト２０に送られる。リーチ式フォークリフト２０の制御部４１は、無線部４０を介して無線受信したカメラ選択信号に基づいてカメラ選択信号により指示されたカメラ群（走行系のカメラ７１，７２，７３，７４、又は、荷役系のカメラ７５，７６，７７，７８）の映像を、映像信号処理部４２を介して遠隔操作装置５０の制御部５２に無線送信する。

遠隔操作装置５０に設けられる表示部５４は、図４に示すように、走行系のカメラ７１，７２，７３，７４にて撮像された画像及び荷役系のカメラ７５，７６，７７，７８にて撮像された画像を切り替えながら表示することができるようになっている。そして、操作者は表示部５４に表示されたカメラ画像（画面）を見ながら操作することになる。

次に、作用について説明する。
今、図５に示す状況下にあったとする。
図５において、作業場においてリーチ式フォークリフト２０がパレット６０から離れた場所に位置している。パレット６０は、左右のフォーク３１が挿入される左右の穴（パレット穴）６０ａを有する。リーチ式フォークリフト２０によりパレット６０の荷を搬送するには（荷積みするには）、リーチ式フォークリフト２０をパレット６０に正対させるべくリーチ式フォークリフト２０の現在位置Ｐｃから、目標位置Ｐｔまで移動させる必要がある。そして、その後、リーチ式フォークリフト２０のフォーク３１がパレット穴６０ａに差し込まれることになる。

具体的には、図５においては、リーチ式フォークリフト２０の右側のフォーク３１の先端部を現在位置Ｐｃとして、パレット６０の右側のパレット穴６０ａの前方の距離ｄ１だけ離間した位置を目標位置Ｐｔとしている。また、パレット６０における前面をＸ方向とする。パレット６０における前面のＸ方向に直交する方向をＹ方向とする。

リーチ式フォークリフト２０の現在位置Ｐｃにおいて、リーチ式フォークリフト２０の進行方向Ｌ１とパレット６０における前面（Ｘ方向）Ｌ２とでなす角度がθである。図５においては、θは例えば４５度程度ある。リーチ式フォークリフト２０をパレット６０の正面に位置させて（正対させて）リーチ式フォークリフト２０の右側のフォーク３１の先端を、パレット６０の右側のパレット穴６０ａの前側に所定距離ｄ１だけ離間した位置（目標位置Ｐｔ）に配置させるには、リーチ式フォークリフト２０をパレット６０に接近するように所定距離ｄ２だけ直進（前進）させて中継点Ｐｒまで走行させ、中継点Ｐｒにおいてθ＝９０°となるように左旋回させる必要がある。

図６の処理により、θ＝０°、図５のＸ方向の距離Ｘ１＝０とすべく位置ずれ量を解消するための操作量の表示が行われる。
図６において、制御部５２は、ステップＳ１００でカメラ７１〜７８の画像から車両（リーチ式フォークリフト２０）と目標物（パレット６０）の位置関係を検出する。制御部５２は、ステップＳ１０１で車両の状態を検出する。制御部５２は、ステップＳ１０２で目標位置Ｐｔに到達するための操作量を算出する。即ち、目標位置（フォークがパレット穴に正対する位置）Ｐｔに到達するための操作量を算出する。

制御部５２は、ステップＳ１０３で入力方法に応じて最適な操作量を算出する。つまり、制御部５２は、複数のカメラ７１〜７８にて撮像された画像から画像認識によりリーチ式フォークリフト２０の現在位置Ｐｃに対する目標位置Ｐｔまでの位置ずれ量を演算して最適な操作量を算出する。

制御部５２は、ステップＳ１０４で操作者に通知する。つまり、制御部５２は、演算した位置ずれ量に応じて目標位置Ｐｔに至る操作量を表示部５４に表示させる。また、制御部５２は操作手順も表示部５４に表示させる。

具体的に、説明する。
図７に示すように、表示部と操作部を兼ねるタッチパネル式リモコン１００は、画面においてアクセル用のスライダ１１０と操舵角表示用のインジケータ１２０を有する。スライダ１１０は、前進／後退のアクセル量を指示するためのものである。スライダ１１０は、図７において上側にずらす量により前進量を指示できるとともに、図７において下側にずらす量により後退量を指示できる。インジケータ１２０は、図７において中央位置１２０ａの右側が右操舵角表示のための領域であるとともに、図７において中央位置１２０ａの左側が左操舵角表示のための領域である。タッチパネル式リモコン１００は、リモコン自体をハンドルのように回すことで操舵角を指示でき、回した角度に応じた操舵角がインジケータ１２０に表示される。

タッチパネル式リモコン１００の画面に、三角マーク１１１，１２１により、必要な操作量が表示される。三角マーク１１１は、スライダ１１０の操作位置において、必要な走行量（図７では所定量の前進）を指定している。三角マーク１２１は、インジケータ１２０上において必要な操舵角（図７では所定量の左操舵）を指定している。

さらに、図７においては、操作手順１及び操作手順２が表示される。操作手順１は、三角マーク１１１に付与されている。操作手順２は、三角マーク１２１に付与されている。これにより、所定量の前進走行後に所定量の左旋回操作を行う旨の指示がなされる。

図５の現在位置Ｐｃから中継点Ｐｒまでは、三角マーク１１１（操作手順１）及び三角マーク１２１（操作手順２）が表示される。また、図５の中継点Ｐｒから目標位置Ｐｔまでは、図５の角度θ＝９０°とするための舵角である三角マーク１２１（操作手順２）のみが表示される。

詳しい操作の手順は以下の通りである。
第１段階として、スライダ１１０を上にずらして機台２１を前進させる。
第２段階として、所定量だけ前進すると三角マーク１１１（操作手順１）の表示が消えるのでスライダ１１０から指を離す（アクセルオフ）。つまり、三角マーク１１１（操作手順１）の表示が消えるタイミングが操舵開始タイミングとなる。

第３段階として、リモコン１００を左に回す。これによりインジケータ１２０の中央位置１２０ａが左に移動する。
第４段階として、インジケータ１２０の中央位置１２０ａが三角マーク１２１（操作手順２）の位置まで来たらリモコン１００を中立位置に戻す。

第５段階として、前進してパレット穴にフォークを差し込む。
このように、制御部５２は、複数のカメラ７１〜７８にて撮像された画像から画像認識によりリーチ式フォークリフト２０の現在位置Ｐｃに対する目標位置Ｐｔまでの位置ずれ量を演算して、演算した位置ずれ量に応じて目標位置Ｐｔに至る操作量を表示部５４に表示させる。よって、目標位置Ｐｔまで容易に至るようにすることができる。なお、現在位置Ｐｃから中継点Ｐｒに到達すると自動で操舵するようにしてもよい。

詳しく説明する。
従来、フォークリフトを使用してパレットを持ち上げる際、パレット穴とフォークが正対している必要がある。フォーク位置とパレット穴の位置が合っていない場合、切り返し操作などをして再度位置を合わせる必要がある。さらに、簡単な操作でフォークの位置を合わせられるようにしたい。

本実施形態においては、映像認識により対象物（パレット）と自車（フォーク）の角度θ、及び図５の位置ずれ量（距離Ｘ１）を検出する。そして、現在のリーチ式フォークリフト２０の位置（現在位置Ｐｃ）、方向から車両がパレット穴と正対する地点（Ｐｔ）に到達するために必要な車両の制御量（図５におけるθ＝９０°、Ｘ１＝０）、操作順序を算出する。

このようにすることにより、操作者が簡単にフォークとパレットの位置合わせができる。詳しくは、操作順序を通知しない場合、操作者が自分の判断で走行と操舵を操作しなければならないため、習熟度の低い操作者では位置を合わせるのに余分な操作と時間がかかる可能性がある。具体的には、走行が先で操舵を後にすることにより時間がかからない。なぜなら、車両を間違いなく目標位置（目標地点）Ｐｔに到達させるためには目標位置（目標地点）Ｐｔと車両（リーチ式フォークリフト２０）の距離、車両の速度に合わせて最適な操作順序、操舵角（操作量）と操作タイミングで操作を行う必要がある。それができない場合、位置ずれ量が発生し、再操作が必要になり、その結果、操作時間の増加を招く。

本実施形態では、カメラ映像よりフォークとパレットの位置関係を算出し、目標位置Ｐｔであるフォークがパレット穴に正対する位置に到達するための操作量を算出する。さらに、操作手順を算出して、必要な操作量及び操作手順を操作者にガイドする。

つまり、必要な車両制御を実施するための操作手順を操作者に通知する。具体的には、直進走行量（ｄ２相当量）に応じた前進操作量、θを９０°とするために必要な操舵量の目標値を表示する。図７では操作順序と操作タイミング、操作量を通知する。

これにより、フォークの位置合わせの作業を簡略化することができる。その結果、作業者の負担を減らすことができる。さらに、作業効率の向上が期待できる。
上記実施形態によれば、以下のような効果を得ることができる。

（１）産業車両用遠隔操作システム１０の構成として、機台２１に荷役装置２２を備えるとともに車両通信部としての無線部４０を有する産業車両としてのリーチ式フォークリフト２０と、無線部４０と無線通信を行う操作装置通信部としての無線部５１を有し、リーチ式フォークリフト２０の走行及び荷役装置２２による荷役を遠隔操作するのに用いられる遠隔操作装置５０と、を備える。リーチ式フォークリフト２０に搭載され、リーチ式フォークリフト２０の周囲を撮像する複数のカメラ７１〜７８と、遠隔操作装置５０に設けられ、複数のカメラ７１〜７８にて撮像された画像を表示するための表示部５４と、制御部５２を備える。演算手段としての制御部５２は、複数のカメラ７１〜７８にて撮像された画像から画像認識によりリーチ式フォークリフト２０の現在位置Ｐｃに対する目標位置（作業位置）Ｐｔまでの位置ずれ量を演算する。表示制御手段としての制御部５２は、演算した位置ずれ量に応じて目標位置Ｐｔに至る操作量を表示部５４に表示させる。

つまり、画像認識により現在位置から目標地点までの位置ずれ量（偏差）が分かるので位置ずれ量を解消するための操作量を表示する。よって、目標位置Ｐｔまで容易に至るようにすることができる。

（２）表示制御手段としての制御部５２は、操作手順も表示部５４に表示させるので、目標位置Ｐｔまで更に容易に至るようにすることができる。
実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。

○ 図７に代わり図８に示すように表示してもよい。図８において、表示部５４において、画面５４ａの中央部において前進を示す押しボタンＢｐ１と後退を示す押しボタンＢｐ２が表示される。また、表示部５４の画面５４ａにおいて左旋回を示す押しボタンＢｐ３が表示されるとともに右旋回を示す押しボタンＢｐ４が表示される。リーチ式フォークリフトの前進を指し示す押しボタンＢｐ１に対し、タップ数（具体的には２）の操作を指示する表示がされる。また、左旋回を指し示す押しボタンＢｐ３に対し、タップ数（具体的には１）の操作を指示する表示がされる。図８においては、操作手順１及び操作手順２が表示されている。操作手順１は、リーチ式フォークリフトの前進を指し示す押しボタンＢｐ１に付与されている。操作手順２は、左旋回を指し示す押しボタンＢｐ３に付与されている。

つまり、操作手順として、リーチ式フォークリフトの進行方向前方に操作するとともに、その後において、所定の角度で左旋回を行う旨のガイド表示がなされている。
このようにして、操作順序と入力回数を表示するようにしてもよい。具体的には、入力するボタンをガイドする（前進用の押しボタンＢｐ１を２回入力した後に左旋回用の押しボタンＢｐ３を１回入力する等）。図８では操作順序と操作量（回数）のみ通知し、操作タイミングは車両側で自動的に判断される。

○ 図７に代わり図９に示すように表示してもよい。図９において、表示部５４の画面５４ａの一部において、文字情報として直進走行Ｘ秒と左旋回操舵Ｙ度が表示される。さらに、図９においては、操作手順１及び操作手順２が表示される。操作手順１は、直進走行Ｘ秒に付与されている。操作手順２は、左旋回操舵Ｙ度に付与されている。操作者は、表示された文字情報と操作手順に従って図示しない操作部材（アクセル、ハンドル又はレバー等）を操作する。

つまり、操作手順として、リーチ式フォークリフトの進行方向前方に操作するとともに、その後において、所定の角度で左旋回を行う旨のガイド表示がなされている。
○ 操作手順２が表示されるタイミングが操舵を開始するタイミングであり、表示制御手段としての制御部５２は操作タイミングも表示部５４に表示させるようにしてもよい。つまり、操作手順２が表示されるタイミングを操舵を開始するタイミングとするのではなく、文字で何秒後に操舵を開始するタイミングであることを表示するようにしてもよい。この場合、目標位置Ｐｔまで更に容易に至るようにすることができる。

○ 操作タイミングを自動制御する手段を更に備えるようにしてもよい。この場合、目標位置Ｐｔまで更に容易に至るようにすることができる。つまり、操作タイミングを作業者の入力によらずに、操作タイミングを自動制御する手段を更に備える構成としてもよい。

○ 図６における制御部５２が行う処理は制御部４１が実行してもよい。
○ 図５では目標位置Ｐｔを、フォークをパレット穴に差し込む前の正対位置とした。これに代わり、目標位置Ｐｔを、フォークをパレット穴に差し込んだ位置としてもよい。

○ 車載カメラの台数は問わない。またカメラの向きも問わない。
○ 車載カメラに加えて設備側（インフラ側）にカメラを設置し、インフラカメラにより周辺を撮像して当該カメラ画像を使用してもよい。例えば、図５において仮想線で示すようにインフラカメラＣ１，Ｃ２を配置したシステム構成としてもよい。

○ 産業車両はリーチ式フォークリフトであったが、これに限るものではなく、リーチ式フォークリフト以外の産業車両であってもよい。

１０…産業車両用遠隔操作システム、２０…リーチ式フォークリフト、２１…機台、２２…荷役装置、４０…無線部、５０…遠隔操作装置、５１…無線部、５２…制御部、５４…表示部、７１，７２，７３，７４，７５，７６，７７，７８…カメラ、Ｐｃ…現在位置、Ｐｔ…目標位置。

Claims (2)

1. 機台に荷役装置を備えるとともに車両通信部を有する産業車両と、
   前記車両通信部と無線通信を行う操作装置通信部を有し、前記産業車両の走行及び前記荷役装置による荷役を遠隔操作するのに用いられる遠隔操作装置と、を備えた産業車両用遠隔操作システムであって、
   前記産業車両に搭載され、前記産業車両の周囲を撮像する複数のカメラと、
   前記遠隔操作装置に設けられ、前記複数のカメラにて撮像された画像を表示するための表示部と、
   前記複数のカメラにて撮像された画像から画像認識により前記産業車両の現在位置に対する目標位置までの位置ずれ量を演算する演算手段と、
   前記演算手段により演算した位置ずれ量に応じて目標位置に至る操作量を前記表示部に表示させる表示制御手段と、を備え、
   前記表示制御手段は、操作タイミングも前記表示部に表示させることを特徴とする産業車両用遠隔操作システム。
2. 前記表示制御手段は、操作手順も前記表示部に表示させることを特徴とする請求項１に記載の産業車両用遠隔操作システム。

Images