JP7775779B2 - 荷役システム - Google Patents

Description

本開示は、荷役システムに関する。

制御装置による制御によって自動で荷取りを行う荷役車両が特許文献１に開示されている。特許文献１に開示の荷役車両は、自己位置を推定しながら荷取り位置まで移動する。荷取り位置まで移動すると、荷役車両は荷取りを行う。

特開２０２１－１６０８８５号公報

荷役車両が荷取りを行う際には、荷役車両をパレットの近くまで移動させる必要がある。荷役車両をパレットの近くまで移動させるためには、パレットの位置を検出する必要がある。

上記課題を解決する荷役システムは、３次元座標系の座標で物体の位置を検出する外界センサ、及び荷役装置を備える荷役車両と、制御装置と、を備える荷役システムであって、前記制御装置は、前記物体の位置を表した点の集合である点群データから、パレットの位置を検出し、荷取りする前記パレットを決定する。

点群データの点は、物体の位置を表している。このため、制御装置は、点群データからパレットの位置を検出することができる。
上記荷役システムについて、前記制御装置は、前記点群データから前記パレットの側面図を作成し、前記側面図から画像認識によって前記パレットを抽出することによって前記パレットの位置、及び前記パレットの個数を検出してもよい。

上記荷役システムについて、前記制御装置は、前記側面図から画像認識によって前記パレットを積載した搬送車両の運転席を抽出し、前記運転席から最も離れた前記パレットを荷取りする前記パレットであると決定してもよい。

本発明によれば、パレットの位置を検出することができる。

荷役車両が運用される区域の模式図である。 搬送車両、及び荷役車両の斜視図である。 荷役車両の概略構成図である。 パレット検出制御を示すフローチャートである。 点群マップの模式図である。 側面図の模式図である。

以下、荷役システムの一実施形態について説明する。
図１に示すように、区域Ａ１には、停車位置ＰＳ１が設定されている。停車位置ＰＳ１には、搬送車両１０が停車する。停車位置ＰＳ１の面積は、停車位置ＰＳ１に停車する搬送車両１０を平面視した場合の搬送車両１０の面積よりも広い。停車位置ＰＳ１には、柱などの構造物が存在していない。区域Ａ１は、例えば、工場、港湾、空港、商業施設、及び公共施設等の場所の全体、あるいは、一部である。区域Ａ１では、荷役車両２０が運用されている。荷役車両２０は、荷積み及び荷取りを行う。荷積みは、パレットＰＡ１に置かれた荷Ｃ１を搬送車両１０に積載する作業である。荷取りは、搬送車両１０に積載されたパレットＰＡ１及び当該パレットＰＡ１に置かれた荷Ｃ１を搬送車両１０から取る作業である。以下の説明において、搬送車両１０の前後左右上下とは、搬送車両１０を基準とした場合の前後左右上下である。荷役車両２０の左右上下とは、荷役車両２０を基準とした場合の左右上下である。

図２に示すように、搬送車両１０は、ウィングトラックである。搬送車両１０としては、平ボディのトラック等、どのような種類のトラックであってもよい。搬送車両１０は、運転席１１と、フロントパネル１２と、リヤドア１３と、荷台１４と、ウィングサイドパネル１６と、あおり１７と、を備える。

運転席１１は、搬送車両１０の運転者が搭乗する位置である。フロントパネル１２は、運転席１１よりも搬送車両１０の後方に設けられている。フロントパネル１２は、運転席１１に隣り合って設けられている。リヤドア１３は、フロントパネル１２よりも搬送車両１０の後方に設けられている。フロントパネル１２とリヤドア１３は、搬送車両１０の前後方向に互いに間隔を空けて設けられている。荷台１４は、フロントパネル１２とリヤドア１３との間で、搬送車両１０の前後方向に延びている。荷台１４は、積載面１５を備える。積載面１５は、荷台１４の上面である。積載面１５には、パレットＰＡ１に置かれた荷Ｃ１が積載される。ウィングサイドパネル１６は、フロントパネル１２とリヤドア１３との間に設けられている。ウィングサイドパネル１６は、搬送車両１０の車幅方向の中心位置を中心として、搬送車両１０の上下方向に回転可能に設けられている。ウィングサイドパネル１６は、搬送車両１０の車幅方向の両側に１つずつ設けられている。あおり１７は、搬送車両１０の前後方向に延びるように設けられている。あおり１７は、荷台１４の縁であって搬送車両１０の前後方向に延びる縁に沿って設けられている。あおり１７は、搬送車両１０の車幅方向の両側に１つずつ設けられている。

＜荷役車両＞
荷役車両２０は、車体２１と、駆動輪２２と、操舵輪２３と、荷役装置２４と、を備える。荷役装置２４は、車体２１の前部に設けられている。荷役装置２４は、マスト２５と、リフトシリンダ２８と、リフトブラケット２９と、フォーク３０と、を備える。

マスト２５は、アウタマスト２６と、インナマスト２７と、を備える。インナマスト２７は、アウタマスト２６に対して昇降可能に設けられている。フォーク３０は、リフトブラケット２９に固定されている。リフトブラケット２９及びフォーク３０は、インナマスト２７とともに昇降する。リフトシリンダ２８は、インナマスト２７を昇降動作させる。リフトシリンダ２８は、油圧シリンダである。

図３に示すように、荷役車両２０は、外界センサ５１と、制御装置５２と、補助記憶装置５５と、車両制御装置５６と、走行アクチュエータ５９と、荷役アクチュエータ６０と、カメラ６１と、を備える。荷役車両２０は、荷役システムである。

外界センサ５１は、３次元座標系の座標で物体の位置を検出する。外界センサ５１は、荷役車両２０の上部に設けられている。例えば、外界センサ５１は、荷役車両２０のヘッドガードに設けられている。

外界センサ５１としては、例えば、ミリ波レーダー、ステレオカメラ、ToF（Time of Flight）カメラ、及びLIDAR（Laser Imaging Detection and Ranging）を挙げることができる。本実施形態では、外界センサ５１としてLIDARを用いている。外界センサ５１は、周囲にレーザーを照射し、レーザーが当たった点から反射された反射光を受光することで点までの距離を導出する。レーザーが当たった点は、物体の表面の一部を表す。点の位置は、極座標系の座標で表すことができる。極座標系における点の座標は、直交座標系の座標に変換される。極座標系から直交座標系への変換は、外界センサ５１によって行われてもよいし、制御装置５２で行われてもよい。本実施形態では、外界センサ５１により極座標系から直交座標系への変換が行われているとする。外界センサ５１は、センサ座標系での点の座標を導出する。センサ座標系は、外界センサ５１を原点とする３軸直交座標系である。外界センサ５１は、レーザーを照射することにより得られた複数の点の座標を点群データとして制御装置５２に出力する。

制御装置５２は、プロセッサ５３と、記憶部５４と、を備える。記憶部５４は、RAM（Random Access Memory）、及びROM（Read Only Memory）を含む。記憶部５４は、処理をプロセッサ５３に実行させるように構成されたプログラムコードまたは指令を格納している。記憶部５４、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。制御装置５２は、ASIC（Application Specific Integrated Circuit）やFPGA（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である制御装置５２は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。

補助記憶装置５５は、制御装置５２が読み取り可能な情報を記憶している。補助記憶装置５５としては、例えば、ハードディスクドライブ、及びソリッドステートドライブを挙げることができる。補助記憶装置５５は、環境地図Ｄ１を記憶している。補助記憶装置５５は、第１画像認識モデルＤ２を記憶している。補助記憶装置５５は、第２画像認識モデルＤ３を記憶している。

環境地図Ｄ１とは、区域Ａ１に存在する物体の形状、区域Ａ１の広さ等、区域Ａ１の物理的構造に関する情報である。本実施形態において環境地図Ｄ１は、区域Ａ１の構造を地図座標系の座標で表したデータである。地図座標系は、３軸直交座標系である。地図座標系は、区域Ａ１の任意の一点を原点とする座標系である。地図座標系において水平方向は互いに直交するＸ軸及びＹ軸で規定される。Ｘ軸及びＹ軸で規定されるＸＹ平面は、水平面を表しているといえる。地図座標系において上下方向は、Ｘ軸及びＹ軸に直交するＺ軸で規定される。適宜、地図座標系の座標を地図座標と称する。地図座標系は、３次元の位置を表す３次元座標系である。

制御装置５２は、荷役車両２０の自己位置を推定する。制御装置５２は、荷役車両２０の自己位置を車両制御装置５６に出力する。自己位置とは、環境地図Ｄ１上での荷役車両２０の位置である。自己位置とは、地図座標系での荷役車両２０の一点を示す座標である。荷役車両２０の一点は任意であるが、例えば、荷役車両２０の水平方向での中心位置を挙げることができる。

自己位置の推定は、外界センサ５１の検出結果と環境地図Ｄ１とを照合することで行われる。制御装置５２は、点群データから得られたランドマークと同一形状のランドマークを環境地図Ｄ１から抽出する。制御装置５２は、環境地図Ｄ１からランドマークの位置を認識する。ランドマークの位置と荷役車両２０との位置関係は、外界センサ５１の検出結果から把握できる。従って、制御装置５２は、ランドマークの位置を認識することで、自己位置を推定することができる。ランドマークとは外界センサ５１により識別可能な特徴を有する物体である。ランドマークは、位置の変化しにくい物理的構造物である。ランドマークとしては、例えば、壁、及び柱を挙げることができる。自己位置の推定は、外界センサ５１を用いた自己位置の推定に、内界センサを用いたデッドレコニングを組み合わせて行われてもよい。自己位置の推定は、外界センサ５１を用いた自己位置の推定に、GNSS（Global Navigation Satellite System）衛星から送信される衛星信号を用いた自己位置推定を組み合わせて行われてもよい。

車両制御装置５６は、例えば、制御装置５２と同様のハードウェア構成を備える。車両制御装置５６は、プロセッサ５７と、記憶部５８と、を備える。
走行アクチュエータ５９は、荷役車両２０を走行させるアクチュエータである。走行アクチュエータ５９は、例えば、駆動輪２２を回転させるモータ、及び操舵機構を含む。車両制御装置５６は、自己位置を把握しながら走行アクチュエータ５９を制御して荷役車両２０を走行させる。

荷役アクチュエータ６０は、荷役車両２０に荷役を行わせるアクチュエータである。荷役アクチュエータ６０は、例えば、油圧機器に作動油を供給するポンプを駆動するモータ、及び作動油の供給を制御する制御弁を含む。油圧機器は、リフトシリンダ２８を含む。車両制御装置５６は、荷役アクチュエータ６０を制御することによってフォーク３０の昇降を行う。

荷役車両２０は、車両制御装置５６によって走行アクチュエータ５９が制御されることによって自動で走行する。荷役車両２０は、車両制御装置５６によって荷役アクチュエータ６０が制御されることによって自動で荷役を行う。荷役車両２０は、自動運転フォークリフトである。

カメラ６１は、荷役車両２０の前方を撮像するように配置されている。カメラ６１は、単眼カメラである。カメラ６１は、例えば、荷役車両２０の車幅方向において２つのフォーク３０の間に設けられている。カメラ６１は、フォーク３０とともに昇降するように設けられている。例えば、カメラ６１は、リフトブラケット２９に取り付けられている。

制御装置５２が行うパレット検出制御について説明する。パレット検出制御は、荷役車両２０が荷取りを行う際に、荷役車両２０をパレットＰＡ１に近付けるために行われる。荷役車両２０は、例えば、上位制御装置の指令に基づき、搬送車両１０に近付く。そして、荷役車両２０と搬送車両１０との離間距離が所定離間未満になると、パレット検出制御が開始される。所定離間距離は、例えば、外界センサ５１によって搬送車両１０が検出できる距離である。

＜パレット検出制御＞
図４及び図５に示すように、ステップＳ１において、制御装置５２は、点群マップＰＭ１を作成する。点群マップＰＭ１は、外界センサ５１の検出結果から得られた点群データを重ね合わせることで得られる。制御装置５２は、荷役車両２０が移動しているときに外界センサ５１から複数回点群データを取得する。制御装置５２は、自己位置から点群データの各点Ｐ１の座標をセンサ座標系の座標から地図座標に変換する。制御装置５２によって推定された自己位置から、地図座標系におけるセンサ座標系の原点を認識できる。制御装置５２によって推定された自己位置から、地図座標系の座標軸とセンサ座標系の座標軸とのずれを認識できる。制御装置５２は、地図座標系におけるセンサ座標系の原点と、地図座標系の座標軸とセンサ座標系の座標軸とのずれと、に基づき点群データの各点Ｐ１をセンサ座標系の座標から地図座標に変換する。制御装置５２は、点群データを取得する度に、地図座標に変換された各点Ｐ１を重ね合わせることで点群マップＰＭ１を作成する。点群マップＰＭ１は、点群データの集合である。点群データの点Ｐ１に比べて、点群マップＰＭ１の点Ｐ１は密である。

図５には、ステップＳ１の処理によって得られた点群マップＰＭ１を示す。点群マップＰＭ１に含まれる各点Ｐ１は、物体の地図座標を表している。説明の便宜上、点群マップＰＭ１に含まれる各点Ｐ１を第１点Ｐ１１、第２点Ｐ１２、第３点Ｐ１３及び第４点Ｐ１４に分類して説明を行う。第１点Ｐ１１は、あおり１７にレーザーが照射されることで得られた点Ｐ１である。第２点Ｐ１２は、運転席１１にレーザーが照射されることで得られた点Ｐ１である。第３点Ｐ１３は、積載面１５に積載されているパレットＰＡ１及び荷Ｃ１にレーザーが照射されることで得られた点Ｐ１である。第４点Ｐ１４は、第１点Ｐ１１、第２点Ｐ１２及び第３点Ｐ１３のいずれにも該当しない点Ｐ１である。

図４及び図６に示すように、ステップＳ２において、制御装置５２は、点群マップＰＭ１から側面図ＩＭ１を作成する。側面図ＩＭ１は、点Ｐ１を搬送車両１０の車幅方向に投影した図である。これにより、点群マップＰＭ１を２次元にすることができるため、側面図ＩＭ１を画像データとして扱うことができる。側面図ＩＭ１は、パレットＰＡ１の側面図ともいえる。側面図ＩＭ１を作成する際に制御装置５２が行う処理の一例を説明する。

制御装置５２は、各点Ｐ１の法線ベクトルを算出する。法線ベクトルは、複数の点Ｐ１に囲まれる平面に対して垂直な方向に向けたベクトルである。法線ベクトルを導出する手法としては各点Ｐ１から曲面を求め、曲面から各点Ｐ１の法線ベクトルを導出する手法や、ベクトルの外積を用いる手法を挙げることができる。例えば、制御装置５２が、１つの点Ｐ１の法線ベクトルを求める場合、この点Ｐ１から所定範囲内に位置する２つの点Ｐ１のそれぞれに向かうベクトルの外積を求める。この外積が法線ベクトルである。

制御装置５２は、法線ベクトルの向きが水平方向である点Ｐ１を抽出する。例えば、制御装置５２は、地図座標系のＸＹ平面に対する法線ベクトルの角度が予め定められた範囲となるか否かを判定する。法線ベクトルの向きが水平方向の場合、法線ベクトルは地図座標系のＸＹ平面に平行である。搬送車両１０の傾きや測定誤差を考慮した上で、法線ベクトルの向きが水平方向とみなせる点Ｐ１を抽出できるように、予め定められた範囲を設定している。

制御装置５２は、法線ベクトルの向きが水平方向である点Ｐ１から平面方程式を導出する。平面方程式は、例えば、RANSAC（Random Sample Consensus）等のロバスト推定法や、最小二乗法を用いることで導出することができる。平面方程式で表される平面は、鉛直方向に拡がる面である。本実施形態の搬送車両１０であれば、あおり１７による第１点Ｐ１１によって平面を得ることができる。また、荷取りを行う際には、搬送車両１０にパレットＰＡ１及び荷Ｃ１が積載されているため、パレットＰＡ１や荷Ｃ１による第３点Ｐ１３によって平面を得ることができる。

制御装置５２は、平面方程式で表される平面に垂直な方向に点Ｐ１を投影することで側面図ＩＭ１を作成する。この際、制御装置５２は、平面方程式で表される平面から水平方向に所定範囲の点Ｐ１を投影することで側面図ＩＭ１を作成する。図１に示すように、搬送車両１０には、搬送車両１０の車幅方向に並んでパレットＰＡ１が積載される場合がある。所定範囲ＰＴ１は、搬送車両１０の車幅方向に並ぶパレットＰＡ１のうち荷役車両２０からの距離が長いパレットＰＡ１が含まれないように設定されている。所定範囲ＰＴ１は、搬送車両１０の車幅方向に並ぶパレットＰＡ１のうち荷役車両２０からの距離が短いパレットＰＡ１における荷役車両２０に向かい合う面が含まれるように設定されている。荷役車両２０が荷取りを行う際には、搬送車両１０の車幅方向に並ぶパレットＰＡ１のうち荷役車両２０からの距離が短いパレットＰＡ１の荷取りを行う。上記したように所定範囲ＰＴ１を設定することで、荷役車両２０の荷取り対象とならないパレットＰＡ１を除外した側面図ＩＭ１を得ることができる。

図４及び図６に示すように、次に、ステップＳ３において、制御装置５２は、パレットＰＡ１の位置、及びパレットＰＡ１の個数を検出する。パレットＰＡ１の位置は、荷役車両２０の荷取り対象となるパレットＰＡ１の位置である。パレットＰＡ１の個数は、荷役車両２０の荷取り対象となるパレットＰＡ１の個数である。パレットＰＡ１の位置は、地図座標系でのパレットＰＡ１の座標である。パレットＰＡ１の位置は、側面図ＩＭ１でのパレットＰＡ１の座標を地図座標系の座標に変換することで得ることができる。以下、詳細に説明を行う。

制御装置５２は、側面図ＩＭ１からパレットＰＡ１を抽出することによって側面図ＩＭ１でのパレットＰＡ１の位置を判定する。側面図ＩＭ１でのパレットＰＡ１の位置は、画像座標系によって表すことができる。画像座標系は、側面図ＩＭ１の横方向をＸ軸、縦方向をＹ軸とする座標系である。パレットＰＡ１の位置の判定は、画像認識を用いて行われる。本実施形態では、第１画像認識モデルＤ２を用いて画像認識を行う場合について説明を行うが、画像認識は、パターンマッチングによって行われてもよい。

第１画像認識モデルＤ２は、機械学習によって生成された学習済みモデルである。第１画像認識モデルＤ２は、領域単位で物体のクラスを判定することができるアルゴリズムを用いている。クラスとしては、「パレット」が設定されている。機械学習のアルゴリズムとしては、例えば、SSD(Single Shot Multibox Detector)、R-CNN(Regional Convolutional Neural Network)、fast R-CNN、faster R-CNN、及びYOLO(You Only Look Once)を挙げることができる。第１画像認識モデルＤ２は、教師データを用いた教師有り学習、あるいは、半教師有り学習によって生成されている。教師データとしては、クラスに該当する物体が含まれる画像データと、画像データ中の物体の位置と、ラベルと、を含むデータが用いられる。教師データは、例えば、画像データ中の物体を枠で囲み、画像データにラベルを付すことで生成することができる。本実施形態では、画像データのパレットＰＡ１を枠で囲み、当該画像データに「パレット」のラベルを付したものを教師データとすればよい。教師データとして用いる画像データは、側面図ＩＭ１と同様に点群マップＰＭ１から得られたものであってもよいし、撮像装置による撮像によって得られたものであってもよい。

第１画像認識モデルＤ２は、入力された側面図ＩＭ１からパレットＰＡ１が含まれる領域を特定する。パレットＰＡ１が含まれる領域は、バウンディングボックスＢ１，Ｂ２で表される。図６に示す例では、側面図ＩＭ１から２つのバウンディングボックスＢ１，Ｂ２が抽出される。バウンディングボックスＢ１，Ｂ２は、第３点Ｐ１３で表されるパレットＰＡ１を囲んでいる。バウンディングボックスＢ１，Ｂ２の数は、パレットＰＡ１の数を表している。側面図ＩＭ１中のバウンディングボックスＢ１，Ｂ２の位置は、画像座標系でのパレットＰＡ１の位置を表している。側面図ＩＭ１は、地図座標系の点Ｐ１を投影して作成されているため、側面図ＩＭ１を構成する点Ｐ１には地図座標系の座標が対応付けられている。制御装置５２は、側面図ＩＭ１でのパレットＰＡ１の位置から地図座標系でのパレットＰＡ１の位置を検出することができる。側面図ＩＭ１は、点群データから作成されているため、制御装置５２は、点群データからパレットＰＡ１の位置、及びパレットＰＡ１の個数を検出しているといえる。

次に、ステップＳ４において、制御装置５２は、側面図ＩＭ１での運転席１１の位置を判定する。側面図ＩＭ１での運転席１１の位置の判定は、画像認識を用いて行われる。本実施形態では、第２画像認識モデルＤ３を用いて画像認識を行う場合について説明を行うが、画像認識は、パターンマッチングによって行われてもよい。

第２画像認識モデルＤ３は、機械学習によって生成された学習済みモデルである。第２画像認識モデルＤ３は、第１画像認識モデルＤ２と同様の手法によって生成されている。第２画像認識モデルＤ３では、クラスとして「運転席」が設定されている。これにより、第２画像認識モデルＤ３は、入力された側面図ＩＭ１から運転席１１が含まれる領域を特定する。図６に示す例では、側面図ＩＭ１からバウンディングボックスＢ３が抽出される。図６に示す例では、第２点Ｐ１２で表される運転席１１がバウンディングボックスＢ３で囲まれている。バウンディングボックスＢ３は、側面図ＩＭ１での運転席１１の位置を表している。

次に、ステップＳ５において、制御装置５２は、荷取りするパレットＰＡ１を決定する。パレットＰＡ１が複数存在する場合、制御装置５２は、最初に荷取りするパレットＰＡ１を決定するといえる。荷役車両２０が荷取りを行う際には、搬送車両１０の後方から前方に向けて搬送車両１０の荷台１４に積載されたパレットＰＡ１を順次、取っていく。制御装置５２は、運転席１１から最も離れたパレットＰＡ１を最初に荷取りするパレットＰＡ１であると判定する。本実施形態であれば、バウンディングボックスＢ１で表されるパレットＰＡ１が最初に荷取りされるパレットＰＡ１である。バウンディングボックスＢ２で表されるパレットＰＡ１が２番目に荷取りされるパレットＰＡ１である。

次に、ステップＳ６において、制御装置５２は、パレットＰＡ１の地図座標系での座標、即ち、パレットＰＡ１の位置を車両制御装置５６に送信する。制御装置５２は、最初に荷取りをするパレットＰＡ１の位置のみを車両制御装置５６に送信するようにしてもよい。制御装置５２は、検出された全てのパレットＰＡ１の位置を車両制御装置５６に送信してもよい。

ステップＳ６の処理と終えると、制御装置５２は、パレット検出制御を終了する。
車両制御装置５６は、制御装置５２から送信されたパレットＰＡ１の位置に応じて走行アクチュエータ５９を制御する。車両制御装置５６は、最初に荷取りを行うパレットＰＡ１までの経路を生成する。この際、車両制御装置５６は、パレットＰＡ１よりも所定距離手前のアプローチ開始位置までの経路を生成する。所定距離としては、カメラ６１によってパレットＰＡ１を撮像できるような距離に設定される。車両制御装置５６は、経路に追従して荷役車両２０が移動するように走行アクチュエータ５９を制御する。荷役車両２０がアプローチ開始位置に到達すると、車両制御装置５６は、カメラ６１の撮像によって得られる画像データによってパレットＰＡ１の位置を確認しつつ荷役車両２０をパレットＰＡ１に近付けていく。荷役車両２０がパレットＰＡ１の荷取りを行う位置にまで到達すると、車両制御装置５６は、荷役アクチュエータ６０を制御することによって荷取りを行う。車両制御装置５６は、カメラ６１の撮像によって得られる画像データによってパレットＰＡ１の位置を確認しつつ、パレットＰＡ１に合わせてフォーク３０の位置を調整する。これにより、荷役車両２０が荷取りを行うことができる。

［本実施形態の効果］
（１）制御装置５２は、点群データからパレットＰＡ１の位置を検出することができる。これにより、制御装置５２は、荷取りするパレットＰＡ１を決定することができる。

（２）制御装置５２は、点群データからパレットＰＡ１の位置を検出できる。これにより、車両制御装置５６がパレットＰＡ１に向かう経路を生成することができる。アプローチ開始位置からパレットＰＡ１の荷取りを行う位置まで荷役車両２０を移動させる際には、カメラ６１を用いる。カメラ６１の検知範囲は限られているため、アプローチ開始位置まで精度良く荷役車両２０を移動させることが求められる。点群データからパレットＰＡ１の位置を検出して経路を生成することによって、アプローチ開始位置まで精度良く荷役車両２０を移動させることができる。

また、予め経路を設定することによって、パレットＰＡ１の荷取りを行う位置まで荷役車両２０を移動させることも考えられる。しかしながら、この場合、搬送車両１０のサイズ、パレットＰＡ１のサイズ、及びパレットＰＡ１の種類毎に経路を設定する必要があり、工数が膨大になる。これに対し、点群データからパレットＰＡ１の位置を検出して経路を生成することによって、パレットＰＡ１の位置に応じた経路を生成することができる。このため、予め経路を設定する必要がなくなる。

（３）制御装置５２は、側面図ＩＭ１から画像認識によってパレットＰＡ１の位置、及びパレットＰＡ１の個数を検出している。点群データを側面図ＩＭ１にすることによって側面図ＩＭ１を画像データとして扱うことができる。これにより、制御装置５２は、画像認識によって側面図ＩＭ１でのパレットＰＡ１の位置、及びパレットＰＡ１の個数を検出できる。そして、側面図ＩＭ１でのパレットＰＡ１の位置から、地図座標系でのパレットＰＡ１の位置を検出することができる。

（４）制御装置５２は、側面図ＩＭ１から画像認識によって運転席１１を抽出している。荷役車両２０が荷取りを行う際には、搬送車両１０の後方から前方に向けて搬送車両１０の荷台１４に積載された荷Ｃ１を順次、取っていく。搬送車両１０の運転席１１は搬送車両１０の前方に位置しているため、搬送車両１０の運転席１１を抽出することによって、運転席１１から最も離れたパレットＰＡ１を最初に荷取りするパレットＰＡ１であると決定することができる。

（５）自己位置の推定に用いている外界センサ５１を用いてパレットＰＡ１の位置、及びパレットＰＡ１の個数を検出することができる。パレットＰＡ１の位置、及びパレットＰＡ１の個数を検出するための専用のセンサを用いる場合に比べて、部品点数を削減できる。

［変更例］
実施形態は、以下のように変更して実施することができる。実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

○制御装置５２は、点群マップＰＭ１からパレットＰＡ１の位置、及びパレットＰＡ１の個数を検出してもよい。この場合、例えば、パレットＰＡ１を表す３次元データの特徴を学習したモデルにより、点群マップＰＭ１からパレットＰＡ１の位置、及びパレットＰＡ１の個数を検出する。

○ステップＳ３において、制御装置５２は、パレットＰＡ１の位置を検出できればよく、パレットＰＡ１の個数を検出しなくてもよい。
○制御装置５２は、点群マップＰＭ１を作成しなくてもよい。この場合、制御装置５２は、外界センサ５１から取得した点群データを地図座標に変換して、ステップＳ２以降の処理を行う。即ち、制御装置５２は、複数の点群データを集合させた点群マップＰＭ１を作成せずに、単一の点群データからパレットＰＡ１の位置、及びパレットＰＡ１の個数を検出してもよい。

○車両制御装置５６は、荷役車両２０がパレットＰＡ１の荷取りを行う位置までの経路を生成してもよい。この場合、カメラ６１の撮像によって得られる画像データは、フォーク３０の位置を調整するために用いられる。

○制御装置５２は、パレットＰＡ１の水平方向に隣り合う空間が存在する場合、当該パレットＰＡ１を最初に荷取りするパレットＰＡ１であると判定してもよい。最初に荷取りするパレットＰＡ１は、搬送車両１０の後方向に隣り合うパレットＰＡ１が存在しない。このため、最初に荷取りするパレットＰＡ１には、水平方向に隣り合って閾値以上の空間が存在する。この空間を検出することで最初に荷取りするパレットＰＡ１を判定することができる。隣り合うパレットＰＡ１同士の間に緩衝材が存在する場合、緩衝材の厚みを考慮して閾値が設定される。隣り合うパレットＰＡ１同士の間に緩衝材が存在しない場合、パレットＰＡ１の幅に基づいて閾値を設定してもよい。例えば、パレットＰＡ１の幅の半分の寸法を閾値としてもよい。制御装置５２は、側面図ＩＭ１から空間を検出してもよいし、点群マップＰＭ１から空間を検出してもよい。空間には点Ｐ１が存在しないため、制御装置５２は、点Ｐ１の有無によって空間を検出することができる。

○第２画像認識モデルＤ３として、側面図ＩＭ１単位で物体のクラスを判定することができるアルゴリズムを用いてもよい。この場合、クラスとして「右向き」及び「左向き」を設定すればよい。機械学習のアルゴリズムとしては、例えば、CNN（Convolution Neural Network)を挙げることができる。教師データとしては、右向きの搬送車両１０が写る画像データに「右向き」のラベルを付したデータと、左向きの搬送車両１０が写る画像データに「左向き」のラベルを付したデータとを用いればよい。

制御装置５２は、第２画像認識モデルＤ３に側面図ＩＭ１を入力することによって、側面図ＩＭ１に写る搬送車両１０が右向きか左向きかを判定する。制御装置５２は、搬送車両１０が右向きの場合、画像座標系で最も左に位置するパレットＰＡ１を荷取りするパレットＰＡ１であると決定する。制御装置５２は、搬送車両１０が左向きの場合、画像座標系で最も右に位置するパレットＰＡ１を荷取りするパレットＰＡ１であると決定する。

○搬送車両１０の停車向きが一定の場合、パレットＰＡ１の地図座標から荷取りするパレットＰＡ１を決定してもよい。搬送車両１０の停車向きが一定の場合、搬送車両１０の後方に積載されたパレットＰＡ１ほど、地図座標系の水平方向の座標が大きくなる、あるいは、小さくなる。搬送車両１０の後方に積載されたパレットＰＡ１ほど、地図座標系の水平方向の座標が大きくなるか小さくなるかは、地図座標系の原点と搬送車両１０との位置関係によって異なる。制御装置５２は、地図座標の大小から荷取りするパレットＰＡ１を決定することができる。例えば、搬送車両１０の後方に積載されたパレットＰＡ１ほど、地図座標系のＸ座標が大きくなる場合、制御装置５２は、地図座標系のＸ座標が最大のパレットＰＡ１を荷取りするパレットＰＡ１であると決定することができる。

○パレット検出制御の一部の処理を車両制御装置５６が行ってもよい。この場合、車両制御装置５６も制御装置といえる。
○パレット検出制御の一部の処理を荷役車両２０に指令を与える上位制御装置が行ってもよい。この場合、上位制御装置も制御装置といえる。パレット検出制御の全部の処理を荷役車両２０に指令を与える上位制御装置が行ってもよい。この場合、上位制御装置が制御装置である。このように、パレット検出制御の少なくとも一部の処理を上位制御装置に行わせる場合、制御装置５２は、無線通信によって上位制御装置に処理に必要となるデータを送信する。例えば、パレット検出制御の全ての処理を上位制御装置に行わせる場合、制御装置５２は、点群データを上位制御装置に送信する。上位制御装置は、パレット検出制御を行うことによって得られた結果を制御装置５２に無線通信によって送信する。上位制御装置は、例えば、区域Ａ１に設けられる。この場合、荷役車両２０と上位制御装置とで荷役システムが構成される。

○荷役車両２０は、棚や地面に置かれたパレットＰＡ１の荷取りを行ってもよい。
○搬送車両１０は、搬送を行える車両であればよく、例えば、AGV（Automatic Guided Vehicle）やAMR（Autonomous Mobile Robot）であってもよい。

○荷役車両２０は、フォーク３０の位置を調整するためのセンサとして、カメラ６１に代えてレーザー距離計を備えていてもよい。
○荷役装置２４は、例えば、ロボットアームを備えているものであってもよい。

Ｐ１…点、ＰＡ１…パレット、１０…搬送車両、１１…運転席、２０…荷役システムである荷役車両、２４…荷役装置、５１…外界センサ、５２…制御装置。

Claims (2)

1. ３次元座標系の座標で物体の位置を検出する外界センサ、及び荷役装置を備える荷役車両と、
   制御装置と、を備える荷役システムであって、
   前記制御装置は、
   前記物体の位置を表した点の集合である点群データから、法線ベクトルの向きが水平方向である前記点を抽出し、
   前記法線ベクトルの向きが水平方向である前記点から平面方程式を導出し、
   前記平面方程式で表される平面に垂直な方向に、前記平面から所定範囲の前記点群データの前記点を投影することで側面図を作成し、
   前記側面図から画像認識によってパレットを抽出することによって前記パレットの位置、及び前記パレットの個数を検出し、
   荷取りする前記パレットを決定する、荷役システム。
2. 前記制御装置は、
   前記側面図から画像認識によって前記パレットを積載した搬送車両の運転席を抽出し、
   前記運転席から最も離れた前記パレットを荷取りする前記パレットであると決定する、請求項１に記載の荷役システム。