JP7192527B2

JP7192527B2 - クレーン

Info

Publication number: JP7192527B2
Application number: JP2019009724A
Authority: JP
Inventors: 佳成南
Original assignee: Tadano Ltd
Current assignee: Tadano Ltd
Priority date: 2019-01-23
Filing date: 2019-01-23
Publication date: 2022-12-20
Anticipated expiration: 2039-01-23
Also published as: EP3915928A4; EP3915928B1; US11981547B2; EP3915928A1; JP2020117353A; CN113329966A; WO2020153325A1; US20220063965A1

Description

本発明は、クレーンに関する。

従来、クレーンにおいて、吊り上げた荷物を所望の設置位置まで自動運転で搬送する技術が知られている。例えば、特許文献１の如くである。

特許文献１に記載のクレーンでは、ブーム又はジブの先端に物体の占有領域を検出するセンサを設け、所定の走査範囲に存在する物体を検出することによって、自動運転により既に据え付けてある複数の柱や構造物の間に荷物を差し込んで据え付けることを可能にしており、荷物を障害物に接触させることなく所望の設置位置に精度よく位置決めしつつ搬送することを可能にしている。

昨今、クレーン作業の更なる自動化が期待されているが、現状のクレーンでは、荷物の吊り上げに適した位置（以下、吊り位置と呼ぶ）を検出することができないため、荷物をフックに玉掛けするときには、操縦者の操作によって荷物の近傍までフックを移動させている。即ち、特許文献１に記載されているような従来のクレーンでは、荷物の吊り位置を検出することができないため、自動的に荷物の吊り位置にフックを位置決めすることができなかった。

特開２０１８－０３０６９２号公報

本発明の目的は、荷物の吊り位置にフックを自動的に位置決めすることを可能にするべく、荷物の吊り位置を検出することができるクレーンを提供することである。

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

即ち、本発明に係るクレーンは、旋回台に起伏自在のブームが設けられるとともに、前記ブームから吊下げられているフックブロックおよびフックが設けられるクレーンであって、前記クレーンによる搬送対象である荷物を撮影可能な第１カメラと、前記第１カメラとは異なる視点から前記荷物を撮影可能な第２カメラと、前記クレーンを制御する制御装置と、を備え、前記制御装置が、前記荷物を前記第１カメラと前記第２カメラにより撮影した画像を取得し、前記画像を画像処理して前記荷物の吊り位置を算出することを特徴とする。

また、本発明に係るクレーンは、キャビンを備え、前記第１カメラが、前記ブームに設けられており、前記第２カメラが、前記キャビン前方の前記荷物を視認できる位置に設けられていることを特徴とする。
また、本発明に係るクレーンは、前記第１カメラが、前記ブームに設けられており、前記第２カメラが、前記フックブロックに設けられていることを特徴とする。

また、本発明に係るクレーンは、前記制御装置によって、算出した前記吊り位置まで前記フックを自動的に移動させることを特徴とする。

また、本発明に係るクレーンは、前記吊り位置が、前記荷物に設けた吊り具の位置であることを特徴とする。

また、本発明に係るクレーンは、前記吊り位置が、前記荷物の重心位置を通る鉛直線上において該荷物より上方に設定した位置であることを特徴とする。

また、本発明に係るクレーンは、前記制御装置が、前記画像を画像処理して前記荷物の重心位置を算出することを特徴とする。

また、本発明に係るクレーンは、前記制御装置が、前記荷物の形状情報が記憶された記憶装置と通信可能であり、前記記憶装置から前記荷物の形状情報を取得し、前記画像を画像処理した情報と前記荷物の形状情報に基づいて前記重心位置を算出することを特徴とする。

また、本発明に係るクレーンは、前記荷物が、複数の前記荷物を組み合わせて構成された複合体であることを特徴とする。

また、本発明に係るクレーンは、前記制御装置が、逆動力学モデルに基づく制御により、前記吊り位置まで前記フックを自動的に移動させることを特徴とする。

本発明は、以下に示すような効果を奏する。

本発明に係るクレーンによれば、クレーンによって荷物の吊り位置を検出することができる。これにより、検出した荷物の吊り位置にフックを自動的に位置決めすることができる。

また、本発明に係るクレーンによれば、クレーンによって荷物の吊り具を検出することができ、検出した吊り具の位置にフックを自動的に位置決めすることができる。

また、本発明に係るクレーンによれば、クレーンによって荷物の重心位置を算出し、その重心位置の情報に基づいて吊り位置を設定することができ、設定した吊り位置にフックを自動的に位置決めすることができる。

また、本発明に係るクレーンによれば、荷物が、複数の荷物を組み合わせて構成された複合体である場合に、クレーンによって荷物の重心位置を算出し、その重心位置の情報に基づいて吊り位置を設定することができ、設定した吊り位置にフックを自動的に位置決めすることができる。

また、本発明に係るクレーンによれば、フックの揺れを抑えつつ、吊り位置までフックを自動的に移動させることができる。

クレーンの全体構成を示す側面図である。クレーン全体の制御構成を示すブロック図である。クレーンの画像処理に関する制御装置の構成を示すブロック図である。ブームカメラとフックカメラによる荷物（マーカーなし）の撮影状況と撮影した映像の表示状況を示す図であり、（Ａ）は、ブームカメラとフックカメラによる荷物の撮影状況を示す図、（Ｂ）は、表示装置における画像の表示状況を示す図である。ブームカメラとフックカメラによる荷物（マーカーあり）の撮影状況と撮影した映像の表示状況を示す図であり、（Ａ）は、ブームカメラとフックカメラによる荷物の撮影状況を示す図、（Ｂ）は、表示装置における画像の表示状況を示す図である。カメラ画像の画像処理結果に基づくクレーンの自動運転の制御方法を示すフローチャートである。クレーンの逆動力学モデルを示す図である。クレーンの逆動力学モデルに基づく制御工程を示すフローチャートである。複合体たる荷物の重心位置の算出方法を示す模式図である。ブームカメラとフックカメラによる複合体たる荷物（マーカーなし）の撮影状況と撮影した映像の表示状況を示す図であり、（Ａ）は、ブームカメラとフックカメラによる荷物の撮影状況を示す図、（Ｂ）は、表示装置における画像の表示状況を示す図である。ブームカメラとフックカメラによる複合体たる荷物（マーカーあり）の撮影状況と撮影した映像の表示状況を示す図であり、（Ａ）は、ブームカメラとフックカメラによる荷物の撮影状況を示す図、（Ｂ）は、表示装置における画像の表示状況を示す図である。

以下に、図１と図２とを用いて、本発明の一実施形態に係るクレーン（ラフテレーンクレーン）であるクレーン１について説明する。なお、本実施形態においてはラフテレーンクレーンを例示して説明を行うが、本発明の一実施形態に係るクレーンは、オールテレーンクレーン、トラッククレーン、積載型トラッククレーン等のその他の形態のクレーンであってもよい。

図１に示すように、クレーン１は、不特定の場所に移動可能な移動式クレーンである。クレーン１は、車両２、クレーン装置６を有する。

車両２は、クレーン装置６を搬送する走行体である。車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。車両２にはアウトリガ５が設けられている。アウトリガ５は、車両２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。

クレーン装置６は、例えば地上に置かれている荷物Ｗをワイヤロープに吊持されているフックにより引掛けて吊り上げることができる作業装置である。クレーン装置６は、旋回台７、ブーム９、メインフックブロック１０、サブフックブロック１１、起伏用油圧シリンダ１２、メインウインチ１３、メインワイヤロープ１４、サブウインチ１５、サブワイヤロープ１６およびキャビン１７等を備えている。

旋回台７は、車両２上でクレーン装置６を旋回可能に構成する回転装置である。旋回台７は、円環状の軸受を介して車両２のフレーム上に設けられる。旋回台７は、円環状の軸受の中心を回転中心として回転自在に構成されている。旋回台７には、アクチュエータである油圧式の旋回用油圧モータ８が設けられている。旋回台７は、旋回用油圧モータ８によって前記軸受を中心に一方向と他方向とに旋回可能に構成されている。

図１および図２に示すように、アクチュエータである旋回用油圧モータ８は、電磁比例切換弁である旋回用バルブ２３によって回転操作される。旋回用バルブ２３は、旋回用油圧モータ８に供給される作動油の流量を任意の流量に制御することができる。つまり、旋回台７は、旋回用バルブ２３によって回転操作される旋回用油圧モータ８を介して任意の旋回速度に制御可能に構成されている。旋回台７には、旋回用センサ２７が設けられている。

ブーム９は、荷物Ｗを吊り上げ可能な状態にワイヤロープを支持する可動支柱である。ブーム９は、複数のブーム部材から構成されている。ブーム９は、ベースブーム部材の基端が旋回台７の略中央に揺動可能に設けられている。ブーム９は、各ブーム部材をアクチュエータである図示しない伸縮用油圧シリンダで移動させることで軸方向に伸縮自在に構成されている。また、ブーム９には、ジブ９ａが設けられている。

アクチュエータである図示しない伸縮用油圧シリンダは、電磁比例切換弁である伸縮用バルブ２４によって伸縮操作される。伸縮用バルブ２４は、伸縮用油圧シリンダに供給される作動油の流量を任意の流量に制御することができる。ブーム９には、ブーム９の長さを検出する伸縮用センサ２８が設けられている。

検知装置であるブームカメラ９ｂは、荷物Ｗおよび荷物Ｗ周辺の地物等を撮影するものである。ブームカメラ９ｂは、ブーム９の先端部に設けられている。ブームカメラ９ｂは、上方から地上を撮影可能であり、地上の状況（クレーン１周辺の地物や地形）や地上に置かれた荷物Ｗを撮影した画像ｓ１を取得可能に構成されている。

メインフックブロック１０とサブフックブロック１１とは、荷物Ｗを吊るものである。メインフックブロック１０には、メインワイヤロープ１４が巻き掛けられる複数のフックシーブと、荷物Ｗを吊るメインフック１０ａとが設けられている。サブフックブロック１１には、荷物Ｗを吊るサブフック１１ａが設けられている。

起伏用油圧シリンダ１２は、ブーム９を起立および倒伏させ、ブーム９の姿勢を保持するアクチュエータである。起伏用油圧シリンダ１２は、シリンダ部の端部が旋回台７に揺動自在に連結され、ロッド部の端部がブーム９のベースブーム部材に揺動自在に連結されている。起伏用油圧シリンダ１２は、電磁比例切換弁である起伏用バルブ２５によって伸縮操作される。起伏用バルブ２５は、起伏用油圧シリンダ１２に供給される作動油の流量を任意の流量に制御することができる。ブーム９には、起伏用センサ２９が設けられている。

メインウインチ１３とサブウインチ１５とは、メインワイヤロープ１４とサブワイヤロープ１６との繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行うものである。メインウインチ１３は、メインワイヤロープ１４が巻きつけられるメインドラムがアクチュエータである図示しないメイン用油圧モータによって回転され、サブウインチ１５は、サブワイヤロープ１６が巻きつけられるサブドラムがアクチュエータである図示しないサブ用油圧モータによって回転されるように構成されている。

メイン用油圧モータは、電磁比例切換弁であるメイン用バルブ２６ｍによって回転操作される。メインウインチ１３は、メイン用バルブ２６ｍによってメイン用油圧モータを制御し、任意の繰り入れおよび繰り出し速度に操作可能に構成されている。同様に、サブウインチ１５は、電磁比例切換弁であるサブ用バルブ２６ｓによってサブ用油圧モータを制御し、任意の繰り入れおよび繰り出し速度に操作可能に構成されている。メインウインチ１３とサブウインチ１５とには、メインワイヤロープ１４とサブワイヤロープ１６の繰り出し量ｌをそれぞれ検出する巻回用センサ３０が設けられている。

キャビン１７は、操縦席を覆う筐体である。キャビン１７は、旋回台７に搭載されており、図示しない操縦席が設けられている。操縦席には、車両２を走行操作するための操作具やクレーン装置６を操作するための旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍ、サブドラム操作具２１ｓ等が設けられている。旋回操作具１８は、旋回用油圧モータ８を操作することができる。起伏操作具１９は、起伏用油圧シリンダ１２を操作することができる。伸縮操作具２０は、伸縮用油圧シリンダを操作することができる。メインドラム操作具２１ｍは、メイン用油圧モータを操作することができる。サブドラム操作具２１ｓは、サブ用油圧モータを操作することができる。

ＧＮＳＳ受信機２２は、全球測位衛星システム（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ）を構成する受信機であって、衛星から測距電波を受信し、受信機の位置座標である緯度、経度、標高を算出するものである。ＧＮＳＳ受信機２２は、ブーム９の先端とキャビン１７とに設けられている（以下、ブーム９の先端とキャビン１７とに設けられているＧＮＳＳ受信機２２を総称して、「ＧＮＳＳ受信機２２」と記す）。つまり、クレーン１は、クレーン１側ＧＮＳＳ受信機２２によって、ブーム９の先端の位置座標とキャビン１７の位置座標を取得することができる。

フックカメラ３１は、荷物Ｗの画像を撮影する機器である。フックカメラ３１は、磁石等によりメインフックブロック１０とサブフックブロック１１とのうち、使用するフックブロックに着脱自在に設けられている。図１においては、一対のフックカメラ３１・３１を、メインフックブロック１０に設けた場合を例示している。また、図４、図５、図７、図８においては、フックカメラ３１を、サブフックブロック１１に設けた場合を例示している。フックカメラ３１は、クレーン装置６の制御信号によって撮影方向を変更可能に構成されている。なお、本実施形態では、メインフックブロック１０の向きと荷物Ｗの位置関係によっては荷物Ｗを撮影できない場合があることを考慮して２個以上のフックカメラ３１・３１を設ける構成としているが、メインフックブロック１０によって視界を妨げられない位置にフックカメラ３１を１個設ける構成としてもよい。また、本実施形態では、ブームカメラ９ｂ以外のカメラとして、メインフックブロック１０に設けたカメラ（フックカメラ３１）を例示しているが、異なる視点から荷物Ｗの画像を取得できる構成であればよく、メインフックブロック１０に設けるフックカメラ３１に代えて、例えば、キャビン１７前方の荷物Ｗを視認できる位置にカメラを設ける構成としてもよい。

なお、複数のフックカメラ３１・３１のうち一のフックカメラ３１は、メインフックブロック１０の一側の側面に配置され、地表面の荷物Ｗを撮影できる第１フックカメラ３１として構成されている。複数のフックカメラのうち他のフックカメラ３１は、メインフックブロック１０の他側の側面に配置され、地表面の荷物Ｗを撮影できる第２フックカメラ３１として構成されている。各フックカメラ３１・３１は、撮影した画像ｓ２を無線通信等によって送信することができる。

即ち、クレーン１は、荷物Ｗを撮影するカメラとして、ブームカメラ９ｂとフックカメラ３１を備えており、荷物Ｗを異なる方向から同時に撮影した画像ｓ１・ｓ２を取得可能に構成されている。

図２に示すように、通信機３３は、フックカメラ３１からの画像ｓ２のデータを受信する。また、通信機３３は、外部サーバ等で運用されている記憶装置たるＢＩＭ（ＢｕｉｌｄｉｎｇＩｎｆｏｒｍａｔｉｏｎＭｏｄｅｌｉｎｇ）４０から荷物Ｗの情報や構造物の３次元データを取得することができる。通信機３３は、画像ｓ２を受信すると図示しない通信線を介して制御装置３５に転送するように構成されている。通信機３３は、キャビン１７に設けられている。

ＢＩＭ４０は、コンピュータにて作成された３次元デジタルモデルについて、建築物を構成する各資材の３次元形状、材質、重量などの属性データを追加したデータベースであり、建築物の設計、施工から維持管理に至るあらゆる工程で、そのデータベース情報を活用することができる。荷物Ｗは、前記「建築物を構成する各資材」に含まれる。ＢＩＭ４０は、リアルタイムにアクセス可能な外部サーバ等により構成され、前記データベース情報が登録されている。なお、本実施形態では、荷物Ｗの情報が記憶されている記憶装置として、外部サーバにより構成されるＢＩＭ４０を用いる場合を例示しているが、クレーン１に荷物Ｗ等の情報が予め記憶されている記憶装置を搭載し、外部との通信を行わずに、荷物Ｗの情報や構造物の３次元データを取得することができる構成としてもよい。

表示装置３４は、ブームカメラ９ｂで撮影した画像ｓ１、およびフックカメラ３１で撮影した画像ｓ２を表示するとともに、これらの画像ｓ１・ｓ２を画像処理して算出した情報を重畳して表示可能に構成された出力装置である。また、表示装置３４は、吊り位置を取得したい（即ち、画像処理の対象たる）荷物を操縦者が指示するための入力装置としての機能を有している。表示装置３４は、画面上に表示された荷物の画像をタップすることで、画像処理の対象たる荷物を指示することができるタッチパネルや、図示しないマウス等の操作具を備えている。表示装置３４は、キャビン１７内に設けられている。

制御装置３５は、各操作弁を介してクレーン１の各アクチュエータを制御する。また、制御装置３５は、ブームカメラ９ｂやフックカメラ３１で撮影した画像ｓ１・ｓ２の画像処理を行う。制御装置３５は、キャビン１７内に設けられている。制御装置３５は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。制御装置３５は、各アクチュエータや切換え弁、センサ等の動作を制御したり画像データを処理したりするために種々のプログラムやデータが格納されている。

制御装置３５は、旋回用センサ２７、伸縮用センサ２８、起伏用センサ２９，起伏用センサ２９および巻回用センサ３０に接続され、旋回台７の旋回角度θｚ、伸縮長さＬｂ、起伏角度θｘおよびワイヤロープの繰り出し量ｌを取得することができる。

制御装置３５は、図３に示すように、ブームカメラ９ｂに接続され、ブームカメラ９ｂで撮影した画像ｓ１を取得し、表示装置３４に画像ｓ１を表示することができる。また、制御装置３５は、通信機３３、表示装置３４に接続され、フックカメラ３１で撮影した画像ｓ２を取得し、表示装置３４に画像ｓ２を表示することができる。

また、制御装置３５は、旋回操作具１８、起伏操作具１９、伸縮操作具２０、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓに接続されている。そして、操縦者の手動操作によってクレーン１を運転する場合、制御装置３５は、旋回操作具１８、起伏操作具１９、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓのそれぞれの操作量を取得し、各種操作具の操作により生成されるサブフック１１ａの目標速度信号Ｖｄを生成する。

そして、制御装置３５は、旋回操作具１８、起伏操作具１９、メインドラム操作具２１ｍおよびサブドラム操作具２１ｓの操作量（即ち、上記目標速度信号Ｖｄ）に基づいて各操作具に対応したアクチュエータ姿勢信号Ａｄを生成する。さらに、制御装置３５は、ブームカメラ９ｂで撮影した画像ｓ１と、フックカメラ３１で撮影した画像ｓ２の画像処理結果に基づいて、アクチュエータ姿勢信号Ａｄを生成する。

制御装置３５は、旋回用バルブ２３、伸縮用バルブ２４、起伏用バルブ２５、メイン用バルブ２６ｍおよびサブ用バルブ２６ｓに接続され、旋回用バルブ２３、起伏用バルブ２５、メイン用バルブ２６ｍおよびサブ用バルブ２６ｓにアクチュエータ姿勢信号Ａｄを伝達することができる。

制御装置３５は、目標位置算出部３５ａ、フック位置算出部３５ｂ、姿勢信号生成部３５ｃを有している。

目標位置算出部３５ａは、制御装置３５の一部であり、画像ｓ１・ｓ２を画像処理してサブフック１１ａの移動目標である目標位置Ｐｄを算出する。また、フック位置算出部３５ｂは、制御装置３５の一部であり、ブームカメラ９ｂで撮影した映像の画像処理結果より、サブフック１１ａの現在位置情報であるフック位置Ｐを算出する。また、姿勢信号生成部３５ｃは、クレーン１への指令信号であるアクチュエータ姿勢信号Ａｄを算出する。

このように構成されるクレーン１は、車両２を走行させることで任意の位置にクレーン装置６を移動させることができる。また、クレーン１は、起伏操作具１９の操作によって起伏用油圧シリンダ１２でブーム９を任意の起伏角度θｘに起立させて、伸縮操作具２０の操作によってブーム９を任意のブーム９長さに延伸させたりすることでクレーン装置６の揚程や作業半径を拡大することができる。また、クレーン１は、サブドラム操作具２１ｓ等によってサブフック１１ａを上下に移動させ、旋回操作具１８の操作によって旋回台７を旋回させることで、サブフック１１ａを任意の位置に移動させることができる。

また、クレーン１は、各操作具の操作によらず、制御装置３５によって、サブフック１１ａを所定位置に自動的に移動させることができる。ここでいう所定位置は、荷物Ｗを玉掛けするのに適したサブフック１１ａの位置であり、例えば、荷物Ｗに付設された吊り具の位置や、荷物Ｗの重心の上方の位置である。以下では、このような所定位置を、吊り位置Ａｇと呼ぶ。そして、クレーン１は、荷物Ｗを搬送する前の時点で、自動運転によって、サブフック１１ａを荷物Ｗの吊り位置Ａｇまで移動させることができる。

制御装置３５は、図３に示すように、ブームカメラ９ｂおよびフックカメラ３１で撮影した画像ｓ１・ｓ２を画像処理部３５ｄが取得し画像処理を行うことで、画像処理部３５ｄが、荷物Ｗの３次元形状に係る情報である３次元形状情報Ｊａを生成する。制御装置３５は、生成した３次元形状情報Ｊａに基づいて、荷物Ｗの状態（重心位置、設置位置、姿勢等）に対応したアクチュエータ姿勢信号Ａｄを生成する。

このように構成されるクレーン１は、制御装置３５による荷物Ｗに係る画像ｓ１・ｓ２の画像処理結果に基づいて、自動的に起伏用油圧シリンダ１２でブーム９を任意の起伏角度θｘに起立させるとともに、自動的にブーム９を任意のブーム９長さに延伸させたりすることができる。また、クレーン１は、制御装置３５による荷物Ｗに係る画像の画像処理結果に基づいて、自動的にサブフック１１ａを上下の任意の位置に移動させたり、自動的に旋回台７を任意の旋回角度に旋回させたりすることで、自動的にサブフック１１ａを任意の位置に移動させることができる。

なお、クレーン１は、自動運転によって、荷物Ｗを所定の位置に設置したときの該荷物Ｗの直上の位置にサブフック１１ａを移動させることによって、荷物Ｗを自動運転で所定位置に設置する用途にも活用できる。ＢＩＭ４０に登録されている荷物Ｗの情報に、荷物Ｗの設置位置に係る情報が含まれている場合には、クレーン１は、荷物Ｗの設置位置まで、自動的に荷物Ｗを搬送することも可能になる。

次に、クレーン１の自動運転を実現するための構成について、さらに詳細に説明する。ここではまず、クレーン１における荷物Ｗを検出するための構成について説明する。

制御装置３５は、荷物Ｗをブームカメラ９ｂで撮影した画像ｓ１と、それと同時に同じ荷物Ｗをフックカメラ３１で撮影した画像ｓ２を画像処理部３５ｄで取得する。画像処理部３５ｄは、各画像ｓ１・ｓ２からステレオカメラの原理に基づいて画像処理を行い、サブフック１１ａと荷物Ｗとの距離の情報や、荷物Ｗの３次元形状に係る情報（以下、３次元形状情報Ｊａと呼ぶ）を算出する。３次元形状情報Ｊａは、荷物Ｗの外形形状に係る情報であり、寸法情報を含んでいる。

制御装置３５は、重心設定部３５ｅによって、算出した３次元形状情報Ｊａと、ＢＩＭ４０に登録されている荷物Ｗの３次元形状に係る情報（以下、マスター情報Ｊｍと呼ぶ）とを照合し、３次元形状情報Ｊａに外形形状および寸法が一致するマスター情報Ｊｍを探索する。そして、重心設定部３５ｅは、３次元形状情報Ｊａに一致するマスター情報Ｊｍを検出したときに、そのマスター情報Ｊｍを、画像ｓ１・ｓ２に係る荷物Ｗの情報として紐付けする。

マスター情報Ｊｍは、ＢＩＭ４０に登録されている情報であり、荷物Ｗの３次元形状、重量、重心位置、等に関する情報が、荷物Ｗの種類ごとに準備されている。マスター情報Ｊｍは、クレーン１によって搬送することが予定されている各荷物Ｗについて、ＢＩＭ４０に予め入力しておくことにより準備される。

次に、検出した荷物Ｗを表示する表示装置３４の構成について、さらに詳細に説明する。

図３に示すように、クレーン１は、表示装置３４を備えている。表示装置３４は、ブームカメラ９ｂで撮影した画像ｓ１を表示可能なディスプレイ３４ａ（図４（Ｂ）参照）を備えており、各カメラ９ｂ・３１によって荷物Ｗを上方からリアルタイムで撮影した画像ｓ１・ｓ２を表示することができる。また、表示装置３４は、重心設定部３５ｅで設定した荷物Ｗの重心位置Ｇに係る情報を画像変換部３５ｆで画像に変換し、画像ｓ１・ｓ２に重畳させて表示することができる。このような構成により、操縦者は、荷物Ｗの重心位置Ｇを表示装置３４のディスプレイ３４ａ上で確認することができる。

図４（Ｂ）に示すように、クレーン１では、表示装置３４に、荷物Ｗの画像ｓ１・ｓ２および重心位置Ｇが表示されている。制御装置３５は、算出した荷物Ｗの重心位置Ｇに基づいて、荷物Ｗの吊り位置Ａｇを設定する。制御装置３５は、図４（Ｂ）に示すように、設定した吊り位置Ａｇとサブフック１１ａのフック位置Ｐを、マーカーＭを含む画像ｓ１・ｓ２に重畳させて表示装置３４のディスプレイ３４ａに表示する。操縦者は、表示装置３４によって、サブフック１１ａのフック位置Ｐと吊り位置Ａｇとの位置関係を的確に把握することができる。また、操縦者は、ディスプレイ３４ａに表示されている画像を見ながら、吊り位置Ａｇ（重心位置Ｇ）にサブフック１１ａの位置が一致するように操作を行って、サブフック１１ａを吊り位置Ａｇに配置することも可能である。

また、表示装置３４は、図４（Ｂ）に示すように、ディスプレイ３４ａ上に吊り位置Ａｇに対するサブフック１１ａの距離が、ＸＹＺの各軸方向の距離として数値で表示されるように構成されており、操縦者がこの数値を見ることで、例えば、高さ方向におけるサブフック１１ａと吊り位置Ａｇとの距離を把握することができるように構成されている。

なお、表示装置３４は、フックカメラ３１が荷物Ｗに対して所定の距離未満に接近したときには、ブームカメラ９ｂが撮影した画像ｓ１に代えて、フックカメラ３１で撮影した画像ｓ２を表示することができるように構成されている。フックカメラ３１は、ブームカメラ９ｂに比して、荷物Ｗにより接近した位置で該荷物Ｗを撮影でき、荷物Ｗのより詳細（高精細）な画像を取得することができる。このため、各カメラ９ｂ・３１と荷物Ｗとの距離に応じて、表示するカメラ画像を切り替えることで、フックカメラ３１が荷物Ｗに接近するほど画像処理による重心位置Ｇの算出精度が向上し、ひいては、サブフック１１ａの位置決め精度を向上させることができる。

次に、クレーン１における荷物Ｗの重心位置Ｇを検出するための構成について説明する。

制御装置３５は、算出した３次元形状情報Ｊａから、荷物Ｗの姿勢に係る情報（以下、姿勢情報Ｊｂと呼ぶ）を特定する。姿勢情報Ｊｂは、荷物Ｗの姿勢（どのような向きで配置されているか）に係る情報である。また、制御装置３５は、紐付けされたマスター情報Ｊｍから、荷物Ｗの重心位置Ｇを取得し、姿勢情報Ｊｂと重心位置Ｇとに基づいて、荷物Ｗの重心位置Ｇの３次元座標を特定する。

なお、上記説明は、図４に示すように、制御装置３５によって、荷物Ｗをブームカメラ９ｂで撮影した画像ｓ１と、それと同時に同じ荷物Ｗをフックカメラ３１で撮影した画像ｓ２から、ステレオカメラの原理に基づいて画像処理を行い荷物Ｗの３次元形状情報Ｊａを算出する構成を示したが、荷物Ｗの３次元形状情報Ｊａの算出方法はこれに限定されない。

あるいは、クレーン１は、図５（Ａ）に示すように、荷物Ｗの表面に複数のマーカーＭを設けて、ブームカメラ９ｂとフックカメラ３１でマーカーＭを読み取ることによって、荷物Ｗの３次元形状情報Ｊａおよび姿勢情報Ｊｂを取得する構成としてもよい。例えば、荷物Ｗの各側面（例えば各コーナー部）に、それぞれ種類（色・形状・模様等）が異なるマーカーＭを配置しておき、３個以上のマーカーＭをブームカメラ９ｂおよびフックカメラ３１で撮影することによって、その３個以上のマーカーＭの相対的な位置関係から姿勢情報Ｊｂを取得する。クレーン１は、マーカーＭより荷物Ｗのマスター情報Ｊｍを特定して、３次元形状情報Ｊａを取得することができ、さらに、各マーカーＭの位置関係より姿勢情報Ｊｂを取得することができる。なお、荷物Ｗに対してどのようなマーカーＭをどのような配置で設けているかに係る情報は、ＢＩＭ４０あるいは制御装置３５に予め登録しておく。

次に、クレーン１における荷物Ｗの吊り位置Ａｇを設定するための構成について説明する。

制御装置３５は特定した重心位置Ｇに基づいて、その直上に吊り位置Ａｇを設定する。吊り位置Ａｇは、荷物Ｗの重心位置Ｇを通る鉛直線上の位置であり、図４（Ａ）に示すように、重心位置Ｇから鉛直上方に所定の距離Ｈだけ離間した位置である。距離Ｈは、荷物Ｗの大きさや玉掛けに用いる吊ワイヤーの長さ等を考慮して設定される。吊り位置Ａｇは、３次元座標として設定される。

なお、例えば、アイボルト等の吊り具が荷物Ｗに付設されており、当該アイボルトが荷物Ｗの吊り位置Ａｇとなる場合には、画像ｓ１・ｓ２に基づく画像処理結果によって、吊り具の存在およびその吊り具位置を特定して吊り位置Ａｇを設定したり、あるいは、荷物Ｗに係る吊り具の情報を予めＢＩＭ４０に登録しておき、ＢＩＭ４０に登録されている吊り具の情報（吊り具位置）から吊り位置Ａｇを設定したりすることができる。

あるいは、制御装置３５は、図５（Ｂ）に示すように、設定した吊り位置Ａｇとサブフック１１ａのフック位置Ｐを、マーカーＭを含む画像ｓ１・ｓ２に重畳させて表示装置３４のディスプレイ３４ａに表示する。操縦者は、表示装置３４によって、サブフック１１ａのフック位置Ｐと吊り位置Ａｇとの位置関係を的確に把握することができる。

次に、サブフック１１ａを吊り位置Ａｇに移動させる制御方法について説明する。ここではまず、サブフック１１ａを吊り位置Ａｇに移動させる第１の制御方法について説明する。

第１の制御方法による吊り位置Ａｇへのサブフック１１ａの自動移動方法では、まず、クレーン１の操縦者が、表示装置３４のディスプレイ３４ａの表示を見ながら、搬送対象たる荷物Ｗをブームカメラ９ｂによって撮影できる状態とするようにクレーン１を操作する。そして、操縦者は、ディスプレイ３４ａに表示されている荷物Ｗのうち、搬送対象の荷物Ｗを指定する（例えば、画面をタップする）。クレーン１は、操縦者によって、搬送対象たる荷物Ｗを指定する操作を行うことによって、以下の自動運転が開始される。

自動運転が開始されると、図６に示すように、制御装置３５の目標位置算出部３５ａは、各カメラ９ｂ・３１から画像ｓ１・ｓ２を単位時間ｔ毎に取得し、画像ｓ１・ｓ２を画像処理して得た３次元形状情報Ｊａおよび姿勢情報Ｊｂから荷物Ｗの種類を特定するとともに、目標位置Ｐｄを算出する。そして、目標位置算出部３５ａは、ＢＩＭ４０に登録されている荷物Ｗのマスター情報Ｊｍに基づいて目標位置Ｐｄを算出する。目標位置Ｐｄは、荷物Ｗの重心位置Ｇおよび吊り位置Ａｇに係る情報を含んでいる。

次に、フック位置算出部３５ｂは、ブームカメラ９ｂで撮影した画像ｓ１の画像処理結果より、サブフック１１ａの現在位置情報であるフック位置Ｐを算出する。

次に、姿勢信号生成部３５ｃは、現在のフック位置Ｐと設定した目標位置Ｐｄとの相対距離Ｄｐを算出する。ここで、姿勢信号生成部３５ｃは、ブームカメラ９ｂとフックカメラ３１によって撮影した画像の画像処理結果から相対距離Ｄｐを算出する。

次に、姿勢信号生成部３５ｃは、算出した相対距離Ｄｐに基づいて逆モデル計算を行い、フック位置Ｐを目標位置Ｐｄに一致させるためのブーム姿勢角（旋回角度θｚ、伸縮長さｌｂ、起伏角度θｘ）とワイヤロープの繰り出し量ｌのフィードフォワード量（ＦＦ量とも呼ぶ）を算出する。なお、逆モデル計算とは、望ましい運動結果から、それを実現するために必要な運動司令を計算するものである。

これと同時に、姿勢信号生成部３５ｃは、各センサが検出したクレーン情報より現在のフック位置Ｐをフィードバックして、目標位置Ｐｄとの差分に基づいて逆モデル計算を行い、フック位置Ｐを目標位置Ｐｄに一致させるためのブーム姿勢角（旋回角度θｚ、伸縮長さｌｂ、起伏角度θｘ）とワイヤロープの繰り出し量ｌのフィードバック量（ＦＢ量とも呼ぶ）を算出する。

次に、姿勢信号生成部３５ｃは、ＦＦ量とＦＢ量を合算して、クレーン１への指令信号であるアクチュエータ姿勢信号Ａｄを算出する。

このように構成される制御装置３５を備えたクレーン１では、制御装置３５によって、算出したアクチュエータ姿勢信号Ａｄを各バルブに出力することによって、フック位置Ｐを目標位置Ｐｄに近づけていく。そして、制御装置３５は、フック位置Ｐと目標位置Ｐｄが一致するまで、所定の周期にてアクチュエータ姿勢信号Ａｄの算出を繰り返し実行する。なお、制御装置３５は、フック位置Ｐと目標位置Ｐｄとの距離が所定の閾値以下となったときにフック位置Ｐと目標位置Ｐｄが一致したものと判断する。最終的なフック位置Ｐは、アクチュエータ姿勢信号Ａｄに基づくクレーン１の動作に、外乱Ｄの影響が加わった結果として定められる。

このような制御方法を採用したクレーン１では、ブームカメラ９ｂとフックカメラ３１で撮影した画像に基づいて目標位置Ｐｄを算出しており、距離情報から位置制御を実施するようにしているため、速度制御による位置合わせに比べて、位置合わせの誤差を小さくすることができる。

次に、サブフック１１ａを吊り位置Ａｇに移動させるための第２の制御方法について説明する。なお、自動運転が開始されるまでの手順は、上述した第１の制御方法の場合と同様とすることができる。そして、自動運転が開始されると、以下に示す制御方法が実行される。

クレーン１において、サブフック１１ａを吊り位置Ａｇに移動させるための第２の制御方法では、図８に示すように、クレーン１の逆動力学モデルを定める。逆動力学モデルは、グローバル座標系であるＸＹＺ座標系に定義され、原点Ｏをクレーン１の旋回中心とする。原点Ｏのグローバル座標は、ＧＮＳＳ受信機２２から取得するものとする。ｑは、例えばブーム９先端の現在位置座標ｑ（ｎ）を示し、ｐは、例えばサブフック１１ａの現在位置座標ｐ（ｎ）を示す。ｌｂは、例えばブーム９の伸縮長さｌｂ（ｎ）示し、θｘは、例えば起伏角度θｘ（ｎ）を示し、θｚは、例えば旋回角度θｚ（ｎ）を示す。ｌは、例えばワイヤロープの繰り出し量ｌ（ｎ）を示し、ｆはワイヤロープの張力ｆを示し、ｅは、例えばワイヤロープの方向ベクトルｅ（ｎ）を示す。

このように定まる逆動力学モデルにおいてブーム９の先端の目標位置ｑとサブフック１１ａの目標位置ｐとの関係が、サブフック１１ａの目標位置ｐとサブフック１１ａの質量ｍとワイヤロープのばね定数ｋｆとから式（１）によって表され、ブーム９の先端の目標位置ｑが、サブフック１１ａの時間の関数である式（２）によって算出される。

ｆ：ワイヤロープの張力、ｋｆ：ばね定数、ｍ：サブフック１１ａの質量、ｑ：ブーム９の先端の現在位置または目標位置、ｐ：サブフック１１ａの現在位置または目標位置、ｌ：ワイヤロープの繰り出し量、ｅ：方向ベクトル、ｇ：重力加速度

ローパスフィルタＬｐは、所定の周波数以上の周波数を減衰させるものである。目標位置算出部３５ａは、目標位置Ｐｄの信号にローパスフィルタＬｐを適用することにより微分操作による特異点（急激な位置変動）の発生を防止している。本実施形態において、ローパスフィルタＬｐは、ばね定数ｋｆの算出時における四階微分に対応するため四次のローパスフィルタＬｐを用いているが、所望する特性に合わせた次数のローパスフィルタＬｐを適用することができる。式（３）におけるａ、ｂは係数である。

ワイヤロープの繰り出し量ｌ（ｎ）は、以下の式（４）から算出される。
ワイヤロープの繰り出し量ｌ（ｎ）は、ブーム９の先端位置であるブーム９の現在位置座標ｑ（ｎ）とサブフック１１ａの位置であるサブフック１１ａの現在位置座標ｐ（ｎ）の距離で定義される。つまり、ワイヤロープの繰り出し量ｌ（ｎ）は、玉掛け具の長さを含んでいる。

ワイヤロープの方向ベクトルｅ（ｎ）は、以下の式（５）から算出される。
ワイヤロープの方向ベクトルｅ（ｎ）は、ワイヤロープの張力ｆ（式（１）参照）の単位長さのベクトルである。ワイヤロープの張力ｆは、サブフック１１ａの現在位置座標ｐ（ｎ）と単位時間ｔ経過後のサブフック１１ａの目標位置座標ｐ（ｎ＋１）から算出されるサブフック１１ａの加速度から重力加速度を減算したものである。

単位時間ｔ経過後のブーム９先端の目標位置であるブーム９の目標位置座標ｑ（ｎ＋１）は、以下の式（１）をｎの関数で表した式（６）から算出される。ここで、αは、ブーム９の旋回角度θｚ（ｎ）を示している。
ブーム９の目標位置座標ｑ（ｎ＋１）は、逆動力学を用いてワイヤロープの繰り出し量ｌ（ｎ）とサブフック１１ａの目標位置座標ｐ（ｎ＋１）と方向ベクトルｅ（ｎ＋１）とから算出される。

ここで、上述した第２の制御方法を実現する制御装置３５の構成について説明する。目標位置算出部３５ａは、各カメラ９ｂ・３１から画像ｓ１・ｓ２を単位時間ｔ毎に取得することができ、画像ｓ１・ｓ２を画像処理して得た３次元形状情報Ｊａおよび姿勢情報Ｊｂから荷物Ｗの種類を特定するとともに、目標位置Ｐｄを算出する。

フック位置算出部３５ｂは、ブームカメラ９ｂで撮影した画像ｓ１の画像処理結果より、サブフック１１ａの現在位置情報であるフック位置Ｐを算出する。また、フック位置算出部３５ｂは、ブーム９の姿勢情報からブーム９の先端の位置座標を算出するとともに、巻回用センサ３０からメインワイヤロープ１４またはサブワイヤロープ１６（以下、単に「ワイヤロープ」と記す）の繰り出し量ｌ（ｎ）を取得し、サブフック１１ａの位置座標としてフック位置Ｐを算出してもよい。この場合、フック位置算出部３５ｂは、旋回用センサ２７から旋回台７の旋回角度θｚ（ｎ）を取得し、伸縮用センサ２８から伸縮長さｌｂ（ｎ）を取得し、起伏用センサ２９から起伏角度θｘ（ｎ）を取得する。

そして、フック位置算出部３５ｂは、取得した現在のフック位置Ｐであるサブフック１１ａの現在位置座標ｐ（ｎ）を算出し、取得した旋回角度θｚ（ｎ）、伸縮長さｌｂ（ｎ）、起伏角度θｘ（ｎ）からブーム９先端の現在位置であるブーム９の先端（ワイヤロープの繰り出し位置）の現在位置座標ｑ（ｎ）（以下、単に「ブーム９の現在位置座標ｑ（ｎ）」と記す）を算出することができる。

また、フック位置算出部３５ｂは、サブフック１１ａの現在位置座標ｐ（ｎ）とブーム９の現在位置座標ｑ（ｎ）とからワイヤロープの繰り出し量ｌ（ｎ）を算出することができる。さらに、フック位置算出部３５ｂは、サブフック１１ａの現在位置座標ｐ（ｎ）と単位時間ｔ経過後のサブフック１１ａの目標位置であるサブフック１１ａの目標位置座標ｐ（ｎ＋１）とからサブフック１１ａが吊り下げられているワイヤロープの方向ベクトルｅ（ｎ＋１）を算出することができる。フック位置算出部３５ｂは、逆動力学を用いてサブフック１１ａの目標位置座標ｐ（ｎ＋１）と、ワイヤロープの方向ベクトルｅ（ｎ＋１）とから単位時間ｔ経過後のブーム９先端の目標位置であるブーム９の目標位置座標ｑ（ｎ＋１）を算出するように構成されている。

姿勢信号生成部３５ｃは、単位時間ｔ経過後のブーム９の目標位置座標ｑ（ｎ＋１）からアクチュエータ姿勢信号Ａｄを生成する。姿勢信号生成部３５ｃは、フック位置算出部３５ｂから単位時間ｔ経過後のブーム９の目標位置座標ｑ（ｎ＋１）を取得することができる。姿勢信号生成部３５ｃは、旋回用バルブ２３、伸縮用バルブ２４、起伏用バルブ２５、メイン用バルブ２６ｍまたはサブ用バルブ２６ｓへのアクチュエータ姿勢信号Ａｄを生成するように構成されている。

ここで、図８を用いて、制御装置３５におけるアクチュエータ姿勢信号Ａｄを生成するためのサブフック１１ａの目標位置Ｐｄの算出およびブーム９の先端の目標位置座標ｑ（ｎ＋１）の算出工程について記載する。

図８に示すように、ステップＳ１００において、制御装置３５は、目標位置算出工程Ａを開始する。制御装置３５は、取得した荷物Ｗの重心位置Ｇより吊り位置Ａｇを単位時間ｔ毎に算出して目標位置算出工程Ａが終了するとステップをステップＳ２００に移行させる。

ステップ２００において、制御装置３５は、フック位置算出工程Ｂを開始する。制御装置３５は、サブフック１１ａの現在位置座標ｐ（ｎ）、ブーム９の現在位置座標ｑ（ｎ）からブーム９の目標位置座標ｑ（ｎ＋１）を算出してフック位置算出工程Ｂが終了するとステップをステップＳ３００に移行させる。

ステップ３００において、制御装置３５は、作動信号生成工程Ｃを開始する。制御装置３５は、旋回台７の旋回角度θｚ（ｎ＋１）、伸縮長さＬｂ（ｎ＋１）、起伏角度θｘ（ｎ＋１）、ワイヤロープの繰り出し量ｌ（ｎ＋１）から旋回用バルブ２３、伸縮用バルブ２４、起伏用バルブ２５、メイン用バルブ２６ｍまたはサブ用バルブ２６ｓのアクチュエータ姿勢信号Ａｄをそれぞれ生成し、作動信号生成工程Ｃを終了してステップをステップＳ１００に移行させる。

制御装置３５は、目標位置算出工程Ａとフック位置算出工程Ｂと作動信号生成工程Ｃとを繰り返すことで、ブーム９の目標位置座標ｑ（ｎ＋１）を算出し、単位時間ｔ経過後に、ワイヤロープの繰り出し量ｌ（ｎ＋１）とサブフック１１ａの現在位置座標ｐ（ｎ＋１）とサブフック１１ａの目標位置座標ｐ（ｎ＋２）からワイヤロープの方向ベクトルｅ（ｎ＋２）を算出し、ワイヤロープの繰り出し量ｌ（ｎ＋１）とワイヤロープの方向ベクトルｅ（ｎ＋２）とから、更に単位時間ｔ経過後のブーム９の目標位置座標ｑ（ｎ＋２）を算出する。つまり、制御装置３５は、ワイヤロープの方向ベクトルｅ（ｎ）を算出し、逆動力学を用いてサブフック１１ａの現在位置座標ｐ（ｎ＋１）とサブフック１１ａの目標位置座標ｐ（ｎ＋１）とワイヤロープの方向ベクトルｅ（ｎ）とから単位時間ｔ後のブーム９の目標位置座標ｑ（ｎ＋１）を順次算出する。制御装置３５は、ブーム９の目標位置座標ｑ（ｎ＋１）に基づいてアクチュエータ姿勢信号Ａｄを生成するフィードフォワード制御によって各アクチュエータを制御している。

このような制御方法を採用することで、クレーン１は、ブームカメラ９ｂとフックカメラ３１で撮影した画像に基づいて目標位置Ｐｄを算出しているので、距離情報から位置制御を実施するようにしているため、従来行われていた速度制御による位置合わせに比べて、位置合わせの誤差を小さくすることができる。また、クレーン１は、目標位置Ｐｄとフック位置Ｐの距離を基準としてブーム９の制御信号を生成するとともに、操縦者の意図する目標軌道に基づいてブーム９の制御信号が生成されるフィードフォワード制御が適用されている。このため、クレーン１は、操作信号に対する応答遅れが小さく、応答遅れによる荷物Ｗの揺れを抑制している。また、逆動力学モデルを構築し、ワイヤロープの方向ベクトルｅ（ｎ）とサブフック１１ａの現在位置座標ｐ（ｎ＋１）とサブフック１１ａの目標位置座標ｐ（ｎ＋１）とからブーム９の目標位置座標ｑ（ｎ＋１）が算出されるので加減速等による過渡状態の誤差が生じない。更に、ブーム９の目標位置座標ｑ（ｎ＋１）を算出する際の微分操作によって生じる特異点を含む周波数成分が減衰されるので、ブーム９の制御が安定する。これにより、サブフック１１ａを目標位置たる吊り位置Ａｇに移動させる際に、サブフック１１ａの揺れを抑制させることができる。

次に、図９を用いて、荷物Ｗが複数の荷物を結合した複合体である場合の重心位置Ｇの算出方法について説明する。ここでは、荷物Ｗが、二つの荷物Ｗａと荷物Ｗａが地組みされた（結合された）複合体である場合の重心位置Ｇの算出方法を例示して説明する。

荷物Ｗａは、ＢＩＭ４０に登録された情報により重量Ａと重心位置Ｇａが既知である。また、荷物Ｗｂは、ＢＩＭ４０に登録された情報により重量Ｂと重心位置Ｇｂが既知である。荷物Ｗａと荷物Ｗｂを結合して荷物Ｗを形成した場合、荷物Ｗの重量は（Ａ＋Ｂ）である。また、荷物Ｗの重心位置Ｇは、重心位置Ｇａと重心位置Ｇｂとを結ぶ直線Ｘｇ上に位置することとなる。そして、荷物Ｗの重心位置Ｇが直線Ｘｇ上のどの位置となるかは、荷物Ｗａと荷物Ｗａの重量比により定まる。

クレーン１では、各荷物Ｗａ・Ｗｂに係る情報をＢＩＭ４０から取得することができるため、制御装置３５が、ＢＩＭ４０から各荷物Ｗａ・Ｗｂの情報（重量、重心位置、姿勢、結合後の形状）を取得し、上記演算を行うことによって結合体たる荷物Ｗの重心位置Ｇを算出することができる。なお、荷物Ｗが３個以上の荷物からなる複合体である場合には、上記計算の応用により、荷物Ｗにおける重心位置Ｇを算出することができる。なお、荷物Ｗａと荷物Ｗｂを地組みしてからクレーン１による楊重を行う予定が予め判っている場合には、ＢＩＭ４０に、複合体たる荷物Ｗの情報（重量、重心位置、姿勢、形状）を予め登録しておいて、この複合体たる荷物Ｗの情報を直接利用する構成としてもよい。

次に、複合体たる荷物Ｗを検出するための構成について説明する。ここでは、荷物Ｗが、３つの荷物Ｗ１、Ｗ２、Ｗ３の複合体である場合を例示して説明する。

制御装置３５は、図１０（Ａ）に示すように、３つの荷物Ｗ１、Ｗ２、Ｗ３からなる荷物Ｗをブームカメラ９ｂで撮影した各画像ｓ１・ｓ１・ｓ１と、それと同時に同じ荷物Ｗをフックカメラ３１で撮影した画像ｓ２・ｓ２・ｓ２を画像処理部３５ｄで取得する。画像処理部３５ｄは、各画像ｓ１・ｓ２からステレオカメラの原理に基づいて画像処理を行い、荷物Ｗの３次元形状情報Ｊａを算出する。

制御装置３５は、３次元形状情報Ｊａに基づいて、荷物Ｗが３つの荷物Ｗ１、Ｗ２、Ｗ３から構成されていることを検出する。そして、制御装置３５は、３つの荷物Ｗ１、Ｗ２、Ｗ３のそれぞれについて、個別の３次元形状情報Ｊａ１、Ｊａ２、Ｊａ３を算出する。

制御装置３５は、重心設定部３５ｅによって、算出した各３次元形状情報Ｊａ１、Ｊａ２、Ｊａ３と、ＢＩＭ４０に登録されているマスター情報Ｊｍとを照合し、各３次元形状情報Ｊａ１、Ｊａ２、Ｊａ３に外形形状および寸法が一致するマスター情報Ｊｍ１、Ｊｍ２、Ｊｍ３を探索する。そして、重心設定部３５ｅは、各３次元形状情報Ｊａ１、Ｊａ２、Ｊａ３に一致する各マスター情報Ｊｍ１、Ｊｍ２、Ｊｍ３を検出したときに、その各マスター情報Ｊｍ１、Ｊｍ２、Ｊｍ３を、画像ｓ１・ｓ２に係る各荷物Ｗ１、Ｗ２、Ｗ３の情報としてそれぞれに紐付けする。

次に、複合体たる荷物Ｗの重心位置Ｇを検出するための構成について説明する。

制御装置３５は、算出した各３次元形状情報Ｊａ１、Ｊａ２、Ｊａ３から、荷物Ｗを構成する各荷物Ｗ１、Ｗ２、Ｗ３の姿勢に係る姿勢情報Ｊｂ１、Ｊｂ２、Ｊｂ３を特定する。また、制御装置３５は、紐付けされたマスター情報Ｊｍから、各荷物Ｗの重心位置Ｇ１、Ｇ２、Ｇ３を取得し、各姿勢情報Ｊｂ１、Ｊｂ２、Ｊｂ３と重心位置Ｇ１、Ｇ２、Ｇ３とに基づいて、荷物Ｗの重心位置Ｇの３次元座標を特定する。

そして、制御装置３５は、算出した荷物Ｗの重心位置Ｇに基づいて、荷物Ｗの吊り位置Ａｇを設定する。制御装置３５は、図１０（Ｂ）に示すように、荷物Ｗに設定した吊り位置Ａｇとサブフック１１ａのフック位置Ｐを、画像ｓ１・ｓ２に重畳させて表示装置３４のディスプレイ３４ａに表示する。操縦者は、表示装置３４によって、サブフック１１ａのフック位置Ｐと吊り位置Ａｇとの位置関係を的確に把握することができる。

なお、上記説明は、制御装置３５によって、荷物Ｗ１、Ｗ２、Ｗ３を個別に捉えて、複合体たる荷物Ｗの重心位置Ｇを算出する場合を例示しているが、複合体たる荷物Ｗとして３次元形状情報ＪａがＢＩＭ４０に登録されている場合には、荷物Ｗを一体として捉えて、ＢＩＭ４０の３次元形状情報Ｊａを利用して複合体たる荷物Ｗの姿勢情報Ｊｂを算出し、制御装置３５によって、３次元形状情報Ｊａと姿勢情報Ｊｂから複合体たる荷物Ｗの重心位置Ｇを直接算出する構成としてもよい。

あるいは、荷物Ｗが、３つの荷物Ｗ１、Ｗ２、Ｗ３の複合体である場合において、クレーン１は、各荷物Ｗ１、Ｗ２、Ｗ３に設けたマーカーＭに基づいて、荷物Ｗの３次元形状情報Ｊａや姿勢情報Ｊｂを取得して、荷物Ｗの重心位置Ｇを算出し、吊り位置Ａｇを設定する構成としてもよい。

クレーン１は、図１１（Ａ）に示すように、荷物Ｗの表面に設けた複数のマーカーＭをブームカメラ９ｂとフックカメラ３１で読み取ることによって、荷物Ｗの３次元形状情報Ｊａおよび姿勢情報Ｊｂを取得することができる。

この場合、制御装置３５は、荷物Ｗ１、Ｗ２、Ｗ３を個別に捉えて、各重心位置Ｇ１、Ｇ２、Ｇ３を算出してから荷物Ｗの重心位置Ｇを算出してもよいし、複合体たる荷物Ｗの３次元形状情報ＪａがＢＩＭ４０に登録されている場合には、荷物Ｗを一体として捉えて、制御装置３５によって、マーカーＭを読み取った情報に基づいて３次元形状情報Ｊａと姿勢情報Ｊｂを取得し、複合体たる荷物Ｗの重心位置Ｇを直接算出してもよい。

そして、制御装置３５は、算出した荷物Ｗの重心位置Ｇに基づいて、荷物Ｗの吊り位置Ａｇを設定する。制御装置３５は、図１１（Ｂ）に示すように、設定した吊り位置Ａｇとサブフック１１ａのフック位置Ｐを、マーカーＭを含む画像ｓ１・ｓ２に重畳させて表示装置３４のディスプレイ３４ａに表示する。操縦者は、表示装置３４によって、サブフック１１ａのフック位置Ｐと吊り位置Ａｇとの位置関係を的確に把握することができる。

なお、本実施形態においては、移動式クレーンであるクレーン１を例示して説明したが、本発明に係るフックの自動運転の手法は、荷物Ｗをフックで吊り上げるように構成した種々の装置に適用することが可能である。また、クレーン１は、荷物Ｗの移動方向を傾倒方向で指示し、荷物Ｗの移動速度を傾倒角度で指示する操作スティックを有る遠隔操作端末によって遠隔操作する構成でもよい。この際、クレーン１は、遠隔操作端末にフックカメラが撮影した画像を表示することで、操縦者が遠隔地からでも荷物Ｗの周辺の状況を的確に把握することができる。また、クレーン１は、フックカメラが撮影した画像に基づく荷物Ｗの現在位置情報をフィードバックすることによりロバスト性を向上させることができる。このように、クレーン１は、荷物Ｗの重量や外乱による特性の変化を意識することなく荷物Ｗを安定して移動させることができる。

上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。

１クレーン
７旋回台
９ブーム
９ｂブームカメラ（第１カメラ）
１０メインフックブロック（フックブロック）
１０ａメインフック（フック）
１１サブフックブロック（フックブロック）
１１ａサブフック（フック）
３１フックカメラ（第２カメラ）
３５制御装置
ｓ１（第１カメラの）画像
ｓ２（第２カメラの）画像
Ｗ荷物
Ｇ（荷物の）重心位置

Claims

旋回台に起伏自在のブームが設けられるとともに、前記ブームから吊下げられているフックブロックおよびフックが設けられるクレーンであって、
前記クレーンによる搬送対象である荷物を上方から撮影可能な第１カメラと、
前記第１カメラとは異なる側方から前記荷物を撮影可能な第２カメラと、
前記クレーンを制御する制御装置と、を備え、
前記制御装置が、前記荷物を前記第１カメラと前記第２カメラにより撮影した画像を取得し、前記画像を画像処理して前記荷物の吊り位置を算出するクレーン。
キャビンを備え、
前記第１カメラが、前記ブームに設けられており、
前記第２カメラが、前記キャビン前方の前記荷物を視認できる位置に設けられている請求項１に記載のクレーン。
前記第１カメラが、前記ブームに設けられており、
前記第２カメラが、前記フックブロックに設けられている請求項１に記載のクレーン。
前記制御装置によって、算出した前記吊り位置まで前記フックを自動的に移動させる請求項１～請求項３の何れか一項に記載のクレーン。
前記吊り位置が、前記荷物に設けた吊り具の位置である請求項１～請求項４の何れか一項に記載のクレーン。
前記吊り位置が、前記荷物の重心位置を通る鉛直線上において該荷物より上方に設定した位置である請求項１～請求項５の何れか一項に記載のクレーン。
前記制御装置が、前記画像を画像処理して前記荷物の重心位置を算出する請求項６に記載のクレーン。
前記制御装置が、前記荷物の形状情報が記憶された記憶装置と通信可能であり、前記記憶装置から前記荷物の形状情報を取得し、前記画像を画像処理した情報と前記荷物の形状情報に基づいて前記重心位置を算出する請求項７に記載のクレーン。
前記荷物が、複数の前記荷物を組み合わせて構成された複合体である請求項１～請求項８の何れか一項に記載のクレーン。
前記制御装置が、逆動力学モデルに基づく制御により、前記吊り位置まで前記フックを自動的に移動させる請求項４～請求項９の何れか一項に記載のクレーン。