JP7785779B2 - 保持パラメータ推定装置及び保持パラメータ推定方法 - Google Patents

Description

関連出願の相互参照

本出願は、２０２１年８月４日に日本国に特許出願された特願２０２１－１２８４７６の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本開示は、保持パラメータ推定装置及び保持パラメータ推定方法に関する。

従来、コンピュータ上の画像から物体を把持する位置及び姿勢を適切に決定するための学習を行う学習装置が知られている（例えば特許文献１参照）。

特開２０１８－２０５９２９号公報

第１の観点による保持パラメータ推定装置は、
任意の開き幅で保持対象物を保持する保持部を有するエンドエフェクタに関する情報、前記保持対象物を示す保持対象情報、及び前記保持対象物に関するデプスデータを取得する取得部と、
前記情報に基づいて該エンドエフェクタが存在しうる領域を示すエンドエフェクタモデルを取得し、該エンドエフェクタモデルと前記保持対象情報と前記デプスデータとに基づいて、該保持対象物を保持させるために前記保持部の開き幅を推定する制御部と、を備える。

第２の観点による保持パラメータ推定方法は、
保持対象物を保持する保持部を有するエンドエフェクタに関する情報、前記保持対象物を示す保持対象情報、及び前記保持対象物に関するデプスデータを取得し、
前記情報に基づいて該エンドエフェクタが存在しうる領域を示すエンドエフェクタモデルを取得し、
前記エンドエフェクタモデル、前記保持対象情報、及び前記デプスデータに基づいて、該保持対象物を保持させるために前記保持部の開き幅を推定する。

一実施形態に係るロボット制御システムの構成例を示す模式図である。 保持対象物をエンドエフェクタで保持する例を示す側面図である。 一実施形態に係るロボット制御システムの構成例を示すブロック図である。 保持対象物を保持する平面における保持対象物の外形を表すマスク画像の一例を示す図である。 保持部が２本の指を有するエンドエフェクタモデルのフィンガーの開口幅を表すモデルを示す図である。 保持部が２本の指を有するエンドエフェクタモデルのフィンガーのストロークを表すモデルを示す図である。 保持部が２本の指を有するエンドエフェクタモデルのフィンガーの開口幅とストロークとを合わせた全体モデルを示す図である。 保持部が３本の指を有するエンドエフェクタモデルのフィンガーの開口幅を表すモデルを示す図である。 保持部が２本の指を有するエンドエフェクタモデルのフィンガーのストロークを表す第１のモデルを示す図である。 保持部が２本の指を有するエンドエフェクタモデルのフィンガーのストロークを表す第２のモデルを示す図である。 アプローチマップの一例を示す図である。 アプローチマップの第２の領域を生成する手法を表す図である。 アプローチマップの作成途中における第２の領域に対象物領域及び障害物領域を配置した図である。 図７のアプローチマップに膨張処理を施した図である。 アプローチマップに対してエンドエフェクタモデルを投影する位置の例を示す図である。 アプローチマップに対してエンドエフェクタモデルを投影できる位置と投影できない位置とを示す図である。 アプローチマップへのエンドエフェクタモデルの投影に基づく存在可能領域の推定方法を説明するための図である。 保持部毎に対応する存在可能領域の中心位置を示す図である。 特殊な形状の保持対象物の外観図である。 図１５の保護対象物に対して作成されるアプローチマップへのエンドエフェクタモデルの投影に基づく存在可能領域の中心位置が可動直線から外れていることを説明するための図である。 推定した開き幅に基づいて開き幅モデルを作成する方法を説明する図である。 周辺環境マップの一例を示す図である。 保持対象物の中心を表す物体マップを示す図である。 ユーザが指定した保持位置の優先度を表す物体マップを示す図である。 接触マップの一例を示す図である。 保持パラメータ推定方法の手順例を示すフローチャートである。 図２１の保持パラメータ推定方法で推定した保持位置を修正して学習させる手順例を示すフローチャートである。

以下、本開示を適用した保持パラメータ推定装置の実施形態について、図面を参照して説明する。

（ロボット制御システム１００の構成例）
図１、図２、及び図３に示されるように、本開示の一実施形態に係るロボット制御システム１００は、ロボット２と、カメラ４と、ロボット制御装置１１０と、保持パラメータ推定装置１０とを備える。ロボット２は、保持対象物８０をエンドエフェクタ２Ｂによって保持して作業を実行する。ロボット制御装置１１０は、ロボット２を制御する。保持パラメータ推定装置１０は、ロボット２が保持対象物８０を保持するために、後述するエンドエフェクタ２Ｂの開き幅、及び保持するときに接触する位置を保持位置として推定し、ロボット制御装置１１０に出力する。

本実施形態において、ロボット２は、作業開始台６上に位置した保持対象物８０を保持する。つまり、ロボット制御装置１１０は、作業開始台６において、保持対象物８０を保持するようにロボット２を制御する。ロボット２は、保持対象物８０を作業開始台６から作業目標台７へ移動させてよい。保持対象物８０は、作業対象とも称される。ロボット２は、動作範囲５の内側で動作する。

＜ロボット２＞
ロボット２は、アーム２Ａと、エンドエフェクタ２Ｂとを備える。アーム２Ａは、例えば、６軸又は７軸の垂直多関節ロボットとして構成されてよい。アーム２Ａは、３軸又は４軸の水平多関節ロボット又はスカラロボットとして構成されてもよい。アーム２Ａは、２軸又は３軸の直交ロボットとして構成されてもよい。アーム２Ａは、パラレルリンクロボット等として構成されてもよい。アーム２Ａを構成する軸の数は、例示したものに限られない。言い換えれば、ロボット２は、複数の関節で接続されるアーム２Ａを有し、関節の駆動によって動作する。

エンドエフェクタ２Ｂは、例えば、任意の開き幅で保持対象物８０を保持できるように構成されるグリッパーを含んでよい。グリッパーは、少なくとも１本の保持部を有している。各保持部は、所定の方向に沿って移動可能に構成されていてよい。

保持部は、保持対象物８０を保持する際に保持対象物８０に接触してよい。保持部は、１つ以上の関節を有してよい。保持部は、例えば、保持対象物８０を挟込んで保持する２つ以上の指であってよい。指は、互いに対向して移動可能な部材により形成されてよい。又は、保持部は、保持対象物８０を吸着によって保持する少なくとも１つの吸着部、又は保持対象物８０を掬うことができるように構成される掬いハンドであってよい。エンドエフェクタ２Ｂは、これらの例に限られず、他の種々の動作ができるように構成されてよい。図１に例示される構成において、エンドエフェクタ２Ｂは、グリッパーを含むとする。

ロボット２は、アーム２Ａを動作させることによって、エンドエフェクタ２Ｂの位置を制御できる。エンドエフェクタ２Ｂは、保持対象物８０に対して作用する方向の基準となる軸を有してもよい。エンドエフェクタ２Ｂが軸を有する場合、ロボット２は、アーム２Ａを動作させることによって、エンドエフェクタ２Ｂの軸の方向を制御できる。ロボット２は、エンドエフェクタ２Ｂが保持対象物８０に作用する動作の開始及び終了を制御する。ロボット２は、エンドエフェクタ２Ｂの位置、又は、エンドエフェクタ２Ｂの軸の方向を制御しつつ、エンドエフェクタ２Ｂの動作を制御することによって、保持対象物８０を動かしたり加工したりすることができる。図１に例示される構成において、ロボット２は、作業開始台６においてエンドエフェクタ２Ｂに保持対象物８０を保持させ、エンドエフェクタ２Ｂを作業目標台７へ移動させる。ロボット２は、作業目標台７でエンドエフェクタ２Ｂに保持対象物８０を解放させる。このようにすることで、ロボット２は、保持対象物８０を作業開始台６から作業目標台７へ移動させることができる。

＜カメラ４＞
図１に示される構成例において、ロボット制御システム１００は、ロボット２のエンドエフェクタ２Ｂに取り付けられたカメラ４を備えるとする。カメラ４は、保持対象物８０を撮影する。カメラ４は、例えば、エンドエフェクタ２Ｂが保持対象物８０を保持する方向から保持対象物８０を撮影してもよい。保持対象物８０を撮影した画像は、保持対象画像とも称される。また、カメラ４は、デプスセンサを備え、保持対象物８０のデプスデータを取得可能に構成される。デプスデータとは、デプスセンサの画角範囲内の方向別の距離に関するデータである。より具体的には、デプスデータは、カメラ４から測定点までの距離に関する情報ともいえる。カメラ４が撮影する画像は、モノクロの輝度情報を含んでもよいし、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）等で表される各色の輝度情報を含んでもよい。カメラ４の数は、１つに限られず、２つ以上であってもよい。カメラ４は、保持対象物８０から所定範囲内に位置する他の物体も障害物として撮影し、障害物のデプスデータも取得してよい。カメラ４は、エンドエフェクタ２Ｂに取り付けられる構成に限定されず、保持対象物８０を撮影可能な任意の位置に設けられてよい。エンドエフェクタ２Ｂ以外の構造物に取り付けられる構成においては、当該構造物に取り付けられたカメラ４の撮像した画像に基づいて、上記の保持対象画像が合成されてよい。保持対象画像は、カメラ４の取付位置及び姿勢に対する、エンドエフェクタ２Ｂの相対位置及び相対姿勢に基づいて画像変換することにより合成されてよい。或いは、保持対象画像は、ＣＡＤ及び図面データから生成可能であってよい。

＜保持パラメータ推定装置１０＞
図３に示されるように、保持パラメータ推定装置１０は、制御部１２と、インタフェース（取得部）１４とを備える。

制御部１２は、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも１つのプロセッサを含んで構成されてよい。プロセッサは、制御部１２の種々の機能を実現するプログラムを実行してよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）とも称される。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

制御部１２は、記憶部を備えてよい。記憶部は、磁気ディスク等の電磁記憶媒体を含んでよいし、半導体メモリ又は磁気メモリ等のメモリを含んでもよい。記憶部は、各種情報を格納する。記憶部は、制御部１２で実行されるプログラム等を格納する。記憶部は、非一時的な読み取り可能媒体として構成されてもよい。記憶部は、制御部１２のワークメモリとして機能してよい。記憶部の少なくとも一部は、制御部１２とは別体として構成されてもよい。

制御部１２は、インタフェース１４で取得した情報又はデータに基づいてロボット２に保持対象物８０を保持させるためにエンドエフェクタの一部を変位させるときの開き幅を推定する。開き幅は、保持部における保持に際して保持対象物８０に接触する部分の、基準位置に対して所定の方向に開いた位置である。基準位置は、移動可能な所定の方向における最も閉じた位置である。最も閉じた位置は、少なくとも１本の保持部を有する構成において、例えば、当該所定の方向における、保持対象物を吸着可能な方向側の変位可能端である。最も閉じた位置は、複数の保持部を有する構成において、例えば、他の保持部に近づく方向側の変位可能端である。

開き幅の推定は、後述する、エンドエフェクタモデル、保持対象情報、及びデプスデータに基づく。保持対象情報は、カメラによる撮像時における保持対象物の位置を示す情報であり、例えば、情報としての保持対象画像である。以下の説明における保持対象画像は、保持対象情報を具体化して記載したものであり、画像に限定されない情報を含んでよい。制御部１２は、更に、インタフェース１４で取得した情報又はデータに基づいてロボット２に保持対象物８０を保持させる保持位置を推定してよい。

インタフェース１４は、外部装置から保持対象物８０等に関する情報又はデータを取得する。インタフェース１４は、ユーザから情報又はデータ等の入力を受け付ける入力デバイスを含んで構成されてもよい。入力デバイスは、例えば、タッチパネル若しくはタッチセンサ、又はマウス等のポインティングデバイスを含んで構成されてよい。入力デバイスは、物理キーを含んで構成されてもよい。入力デバイスは、マイク等の音声入力デバイスを含んで構成されてもよい。

インタフェース１４は、例えば、カメラ４から保持対象物８０を撮影した保持対象画像及び当該保持対象画像に対応付けられるデプスデータを取得する。インタフェース１４は、例えば、ロボット２又は入力デバイスからエンドエフェクタ２Ｂに関する情報を取得する。

インタフェース１４は、更には外部装置に情報又はデータを出力してよい。インタフェース１４は、制御部１２が推定するエンドエフェクタ２Ｂの開き幅を出力してよい。インタフェース１４は、制御部１２が推定する保持対象物８０を保持させる保持位置を出力してよい。

インタフェース１４は、ユーザに情報又はデータを認識させるように出力してもよい。インタフェース１４は、ユーザに対して情報又はデータ等を出力する出力デバイスを含んで構成されてよい。インタフェース１４は、出力デバイスによって、例えば推定した開き幅などによるロボットの制御を実行する際に、推定結果をユーザに提示して、実行可否に関するユーザの指示を受け付けてもよい。なお、ユーザの指示は、上記の入力デバイスによって取得してもよい。なお、保持パラメータ推定装置１０は、推定した開き幅の推定結果に基づくユーザの指示を求めることなく、推定した開き幅などをロボット制御装置１１０に出力してもよい。

出力デバイスは、例えば、画像又は文字若しくは図形等の視覚情報を出力する表示デバイスを含んでよい。表示デバイスは、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ若しくは無機ＥＬディスプレイ、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等を含んで構成されてよい。表示デバイスは、これらのディスプレイに限られず、他の種々の方式のディスプレイを含んで構成されてよい。表示デバイスは、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）、ＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）等の発光デバイスを含んで構成されてよい。表示デバイスは、他の種々のデバイスを含んで構成されてよい。出力デバイスは、例えば、音声等の聴覚情報を出力するスピーカ等の音声出力デバイスを含んでよい。出力デバイスは、これらの例に限られず、他の種々のデバイスを含んでよい。

インタフェース１４は、有線又は無線で通信可能に構成される通信デバイスを含んで構成されてよい。通信デバイスは、種々の通信規格に基づく通信方式で通信可能に構成されてよい。通信デバイスは、既知の通信技術により構成することができる。

＜ロボット制御装置１１０＞
ロボット制御装置１１０は、保持パラメータ推定装置１０から、開き幅を特定する情報を取得してよい。ロボット制御装置１１０は、後述するアプローチ領域への、エンドエフェクタ２Ｂの一部の変位に際して、推定した開き幅にエンドエフェクタ２Ｂを開くようロボット２を制御してよい。ロボット制御装置１１０は、更に、保持パラメータ推定装置１０から保持位置を特定する情報を取得してよい。ロボット制御装置１１０は、推定した保持位置でロボット２が保持対象物８０を保持するようにロボット２を制御してよい。

ロボット制御装置１１０は、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも１つのプロセッサを含んで構成されてよい。ロボット制御装置１１０の各構成部は、少なくとも１つのプロセッサを含んで構成されてもよい。ロボット制御装置１１０の各構成部のうち複数の構成部が１つのプロセッサで実現されてもよい。ロボット制御装置１１０の全体が１つのプロセッサで実現されてもよい。プロセッサは、ロボット制御装置１１０の種々の機能を実現するプログラムを実行しうる。プロセッサは、保持パラメータ推定装置１０で用いられるプロセッサと同一又は類似に構成されてよい。

ロボット制御装置１１０は、記憶部を備えてよい。記憶部は、保持パラメータ推定装置１０で用いられる記憶部と同一又は類似に構成されてよい。

ロボット制御装置１１０は、保持パラメータ推定装置１０を含んでもよい。ロボット制御装置１１０と保持パラメータ推定装置１０とは、別体として構成されてもよい。

（ロボット制御システム１００の動作例）
ロボット制御システム１００は、ロボット制御装置１１０によってロボット２を制御してロボット２に作業を実行させる。本実施形態において、ロボット２に実行させる作業は、保持対象物８０を保持するための動作を含む。更に、ロボット２に実行させる作業は保持対象物８０を保持する動作を含んでよい。ロボット制御システム１００において、保持パラメータ推定装置１０は、保持対象物８０へのエンドエフェクタ２Ｂの変位時の開き幅を推定する。ロボット制御装置１１０は、エンドエフェクタ２Ｂを推定した開き幅に開くようにロボット２を制御してよい。ロボット制御システム１００において、保持パラメータ推定装置１０は、更に、ロボット２による保持対象物８０の保持位置を推定してよい。ロボット制御装置１１０は、保持位置でロボット２が保持対象物８０を保持するようにロボット２を制御してよい。

制御部１２は、エンドエフェクタ２Ｂが２つ以上の指を保持部として有する構成において、保持部が保持対象物８０を把持する際に保持部が保持対象物８０に接触する位置の組み合わせを保持位置として推定してよい。制御部１２は、エンドエフェクタ２Ｂが吸着部を保持部として有する構成において、エンドエフェクタ２Ｂが保持対象物８０を吸着する際に吸着部が保持対象物８０に接触する位置を保持位置として推定してよい。

保持パラメータ推定装置１０は、インタフェース１４を介して、カメラ４から保持対象物８０を撮影した保持対象画像と保持対象物８０のデプスデータとを取得する。制御部１２は、保持対象画像とデプスデータとに基づいて保持対象物８０の外形及び位置を認識する。制御部１２は、図４に例示されるように、保持対象物８０をエンドエフェクタ２Ｂに取り付けられているカメラ４から見たときの、保持対象物８０の認識結果を表すマスク画像２０を生成する。マスク画像２０は、カメラ４から見て保持対象物８０が存在する領域を表す窓２２と、それ以外の領域を表すマスク２４とを含む。図４において、窓２２は、白塗りの領域として表されている。図４において、マスク２４は、右上がり斜線のハッチングが付された領域として表されている。なお、マスク画像２０においてマスク２４の部分は、図面記載の便宜上、ハッチングが付された領域として表されているが、現実の実施態様において黒塗りの領域として表されてよい。又は、マスク画像２０において、窓２２及びマスク２４の部分の色塗りは逆であってよい。又は、マスク画像２０において、窓２２及びマスク２４の部分それぞれの色塗り及びハッチングは逆であってよい。

制御部１２は、インタフェース１４を介して、エンドエフェクタ２Ｂに関する情報を取得する。エンドエフェクタ２Ｂに関する情報は、例えば、把持する保持部の間隔の最大値、保持部の太さ、及び保持部の幅等を特定する情報を含む。保持部の太さは、保持部の開閉方向における長さである。保持部の幅は、保持部の開閉方向に垂直な方向における長さである。制御部１２は、エンドエフェクタ２Ｂに関する情報に基づいてエンドエフェクタモデル３０を生成してもよい。エンドエフェクタモデル３０は、エンドエフェクタ２Ｂが存在しうる領域を示す。制御部１２は、インタフェース１４を介して、エンドエフェクタモデル３０を、エンドエフェクタ２Ｂに関する情報として取得してもよい。

保持部が２本の指を有するエンドエフェクタモデル３０は、図５Ａに示されるように、グリッパーの保持部が所定の間隔を空けて位置している範囲を表す保持部位置３２と、保持部位置３２以外の範囲を表す動作外範囲３８とを特定する保持部モデルを含む。なお、保持部が３本の指を有するエンドエフェクタモデル３０の場合は、エンドエフェクタモデル３０は、図６Ａに示されるように、グリッパーの保持部が所定の間隔を空けて位置している範囲を表す保持部位置３２と、保持部位置３２以外の範囲を表す動作外範囲３８とを特定する保持部モデルを含んでよい。つまり、保持部モデルは、グリッパーの保持部の開口幅を表す。保持部位置３２は、保持部が最大の間隔を空けて位置している範囲を表してもよい。この場合、保持部モデルは、保持部の最大開口幅を表す。図５Ａ、６Ａに示される保持部モデルは、保持部の最大開口幅を表しているとする。保持部位置３２は、白塗りの領域として表されている。動作外範囲３８は、右上がり斜線のハッチングが付された領域として表されている。なお、動作外範囲３８は、図面記載の便宜上、ハッチングが付された領域として表されているが、現実の実施態様において黒塗りの領域として表されてよい。又は、保持部位置３２及び動作外範囲３８の部分の色塗りは逆であってよい。又は、保持部位置３２及び動作外範囲３８の部分それぞれの色塗り及びハッチングは逆であってよい。

保持部が２本の指を有するエンドエフェクタモデル３０は、図５Ｂに示されるように、グリッパーの保持部が動作する範囲を表すストローク範囲３４を特定するストロークモデルを含む。なお、保持部が３本の指を有するエンドエフェクタモデル３０の場合は、エンドエフェクタモデル３０は、図６Ｂ又は図６Ｃに示されるように、グリッパーの保持部が動作する範囲を表すストローク範囲３４を特定するストロークモデルを含んでよい。ストローク範囲３４は、白塗りの領域として表されている。動作外範囲３８は、右上がり斜線のハッチングが付された領域として表されている。なお、動作外範囲３８は、図面記載の便宜上、ハッチングが付された領域として表されているが、現実の実施態様において黒塗りの領域として表されてよい。又は、ストローク範囲３４及び動作外範囲３８の部分の色塗りは逆であってよい。又は、ストローク範囲３４及び動作外範囲３８の部分それぞれの色塗り及びハッチングは逆であってよい。

エンドエフェクタモデル３０は、図５Ｃに示されるように、図５Ａの保持部モデルと図５Ｂのストロークモデルとを合わせた全体モデルを含む。全体モデルは、保持部の動作範囲３６を特定している。保持部の動作範囲３６は、保持部位置３２を含む。なお、図５Ｃにおいて、保持部の動作範囲３６のうち保持部部分が破線によって区別して示されているが、現実の実施態様においては区別されなくてもよい。また、本実施形態では、エンドエフェクタモデル３０は、保持部が最大の間隔（最大の開口幅）を開けて位置している範囲を表すとしているが、これに限られない。エンドエフェクタモデル３０は、グリッパーの保持部が任意の間隔（所定の間隔）を開けて位置している範囲を表すものであってよい。例えば、エンドエフェクタモデル３０は、エンドエフェクタ２Ｂが把持しようとする物体の大きさに応じたグリッパーの保持部の間隔を表すものとされてもよい。

制御部１２は、エンドエフェクタモデル３０として全体モデルだけ生成してもよい。この場合、保持部位置３２を特定する情報を全体モデルに関連づけることによって保持部位置３２が特定されてもよい。保持部位置３２を特定する情報は、保持部の特徴点を表す数値を含んでよい。

保持部が吸着部を有する構成において、エンドエフェクタモデル３０は、吸着部が保持対象物８０を吸着する際に他の物体と干渉する範囲を規定するモデルとして構成される。

制御部１２は、保持対象物８０のデプスデータに基づいて、保持対象物８０を保持する高さを設定する。具体的に、制御部１２は、図２に例示されるように、作業開始台６の上に配置されている保持対象物８０を保持する位置として、作業開始台６からの高さを設定する。図２において、保持対象物８０をエンドエフェクタ２Ｂの保持部で挟んで把持する位置が、保持点８２として表されている。作業開始台６からの保持点８２の高さはＨで表されている。制御部１２は、保持対象物８０を保持する高さとしてＨを設定する。制御部１２は、保持対象物８０のデプスデータに基づいて、保持対象物８０のうち作業開始台６から最も高い点までの距離より小さい値に、保持対象物８０を保持する高さを設定する。制御部１２は、保持対象物８０の高さの半分程度の値に、保持対象物８０を保持する高さを設定してもよい。

制御部１２は、保持対象物８０を保持する高さと、保持対象物８０のデプスデータとに基づいてマスク画像２０を生成してもよい。具体的に、制御部１２は、保持対象物８０を保持する高さの平面による保持対象物８０の断面形状を窓２２とするマスク画像２０を生成してもよい。

制御部１２は、保持対象物８０を保持させるためにエンドエフェクタ２Ｂの一部を変位させるときの開き幅を特定するためのアプローチマップを作成してよい。制御部１２は、保持対象画像、及びデプスデータに基づいてアプローチマップを作成してよい。

図７に示すように、アプローチマップ９０は、少なくともアプローチ領域９１を示してよい。アプローチマップ９０は、更に対象物領域９２、非アプローチ領域９３、及び第１の領域９４を示してよい。アプローチ領域９１は、保持対象物８０を保持する高さにおいて、エンドエフェクタ２Ｂを保持対象物８０以外の物体に干渉させずに開き得る領域である。対象物領域９２は、保持対象物８０の存在領域である。非アプローチ領域９３は、後述する第２の領域の外部領域であり、アプローチマップ９０の全体領域からアプローチ領域９１、対象物領域９２、及び第１の領域９４以外の全領域である。第１の領域９４は、保持対象物８０以外の物体、言換えると障害物の存在領域における保持対象物８０に面する外縁から保持対象物８０とは反対側を向く領域である。アプローチ領域９１は、白塗りの領域として表されている。対象物領域９２、非アプローチ領域９３、及び第１の領域９４は、右上がり斜線のハッチングが付された領域として表されている。対象物領域９２、非アプローチ領域９３、及び第１の領域９４は、図面記載の便宜上、ハッチングが付された領域として表されているが、現実の実施態様において黒塗りの領域として表されてよい。又は、アプローチ領域９１と、対象物領域９２、非アプローチ領域９３、及び第１の領域９４との部分の色塗りは逆であってよい。又は、アプローチ領域９１と、対象物領域９２、非アプローチ領域９３、及び第１の領域９４との部分それぞれの色塗り及びハッチングは逆であってよい。

制御部１２は、アプローチマップ９０を作成するために、マスク画像２０に基づいて、第２の領域を生成してよい。第２の領域は、保持対象物８０のみに着目して、保持対象物８０の周囲でエンドエフェクタ２Ｂを保持対象物８０に干渉させずに開き得る領域である。言換えると、第２の領域は、保持対象物８０の外縁から、エンドエフェクタ２Ｂの保持部の最大開口幅を有する領域であってよい。制御部１２は、マスク画像２０に対してエンドエフェクタモデル３０の畳み込みを実行することにより第２の領域を生成してよい。より具体的には、制御部１２は、マスク画像２０に含まれる窓２２に対して、エンドエフェクタモデル３０で特定される保持部の動作範囲３６の少なくとも一部が重なるように、保持部の動作範囲３６を移動させてよい。保持部の動作範囲３６の移動において、保持部の動作範囲３６を表す矩形は、例えば窓２２の左上の隅の点に矩形の少なくとも一部が重なるように種々の角度に回転して配置され得る。制御部１２は、保持部の動作範囲３６を移動させたときに保持部の動作範囲３６が通過する領域を第２の領域として生成してよい。図８において、保持部の動作範囲３６が移動するときに窓２２から最も遠い点が描く軌跡は、第２の領域の境界９５として表される。境界９５は、破線で表されている。

図９に示すように、制御部１２は、生成した第２の領域９６に、保持対象物８０のデプスデータに基づいて対象物領域９２を生成する。制御部１２は、保持対象物８０を保持する高さよりも高い位置において保持対象物８０が存在する範囲を対象物領域９２として生成する。また、制御部１２は、生成した第２の領域９６に、保持対象物８０以外の物体のデプスデータに基づいて障害物領域９７を配置する。制御部１２は、保持対象物８０を保持する高さよりも高い位置において保持対象物８０以外の物体が存在する範囲を障害物領域９７として生成する。

制御部１２は、対象物領域９２及び障害物領域９７に基づいて、第１の領域９４を生成する。第１の領域９４は、障害物領域９７を含む、障害物領域９７の外側に広がる領域であり、前述のように、障害物領域９７における保持対象物８０に面する外縁から保持対象物８０とは反対側を向く領域である。制御部１２は、例えば、対象物領域９２の中心Ｃ９２を通り、障害物領域９７に重なる直線を算出する。制御部１２は、中心Ｃ９２を軸に当該直線を回転させて、当該直線の障害物領域９７より外側の線分が通る軌跡を第１の領域９４として生成する。又は、制御部１２は、対象物領域９２の中心Ｃ９２を通り、障害物領域９７の外縁に一点において交わる２直線ＳＬを引く。図７、９に示すように、制御部１２は、当該２直線ＳＬ、第２の領域９６の外縁、及び障害物領域９７における対象物領域９２側の外縁に囲まれる領域を第１の領域９４として生成する。

制御部１２は、第２の領域９６から、対象物領域９２及び第１の領域９４を除外することによりアプローチ領域９１を生成する。図１０に示すように、制御部１２は、対象物領域９２を膨張させた領域９２ｅｘ及び第１の領域９４を膨張させた領域９４ｅｘの少なくとも一方を、第２の領域９６から除外してアプローチ領域９１を生成してよい。第２の領域９６から除外する対象物領域９２及び第１の領域９４は、保持部の幅方向に当該保持部の幅の半分以上の大きさ、且つ保持部の太さ方向に当該保持部の太さの半分以上の大きさで膨張されてよい。以下の説明において、対象物領域９２又は膨張させた領域９２ｅｘを、「対象物領域９２、９２ｅｘ」と呼ぶこともある。また、第１の領域９４又は膨張させた領域９４ｅｘを、「第１の領域９４、９４ｅｘ」と呼ぶこともある。

制御部１２は、マスク画像２０の窓２２の範囲内の任意の点における開き幅を推定する。任意の点は、例えば、エンドエフェクタ２Ｂに保持対象物８０を保持させるときのエンドエフェクタ２Ｂの基準となる位置である。窓２２の範囲内で選択した任意の点は、図１１に示されるように、アプローチマップ９０において、対象物領域９２、９２ｅｘに含まれるアプローチ位置７０に対応する。つまり、制御部１２は、マスク画像２０の窓２２の範囲内の任意の点をアプローチ位置７０として設定する。制御部１２は、アプローチ位置７０にエンドエフェクタモデル３０の中心を合わせて投影する。投影したエンドエフェクタモデル３０は、図１１において投影モデル７２ａ及び７２ｂとして表される。投影モデル７２ａは、エンドエフェクタモデル３０を、対象物領域９２、９２ｅｘの短辺方向に沿って回転させたモデルに対応する。投影モデル７２ｂは、エンドエフェクタモデル３０を、対象物領域９２、９２ｅｘの短辺方向から時計回りに４５度回転させたモデルに対応する。

制御部１２は、エンドエフェクタモデル３０に含まれる保持部位置３２が対象物領域９２、９２ｅｘに重なる場合にエンドエフェクタモデル３０を投影できないと判断する。図１２に示すように、投影モデル７２ａは投影モデル７２ａに含まれる保持部の投影位置７４ａが対象物領域９２、９２ｅｘに重ならない。したがって、制御部１２は、投影モデル７２ａをアプローチマップ９０に投影できる。一方で、投影モデル７２ｃは投影モデル７２ｃに含まれる保持部の投影位置７４ｃが対象物領域９２、９２ｅｘに重なる。したがって、制御部１２は、投影モデル７２ｃをアプローチマップ９０に投影できない。保持部位置３２が対象物領域９２、９２ｅｘに重なる場合にエンドエフェクタモデル３０を投影しないことによって、エンドエフェクタ２Ｂが保持対象物８０に接近する間にエンドエフェクタ２Ｂが保持対象物８０に衝突するアプローチ位置７０が判別される。エンドエフェクタ２Ｂが保持対象物８０に衝突するアプローチ位置７０を判別することにより、推定するために選択する任意の点として除外すべき位置が判別される。

また、制御部１２は、対象物領域９２と、第１の領域９４との間隔が、保持部の太さよりも短いと判定し得る場合にエンドエフェクタモデル３０を投影できないと判断する。当該間隔が保持部の太さよりも短いと判定し得るのは、対象物領域９２及び第１の領域９４のいずれかを膨張させたアプローチマップ９０においては、当該間隔が保持部の太さの１／２よりも短い場合である。又は、当該間隔が保持部の太さよりも短いと判定し得るのは、対象物領域９２及び第１の領域９４の両者を膨張させたアプローチマップ９０においては膨張させた領域９２ｅｘ、９４ｅｘが少しでも重なる場合である。このような構成により、エンドエフェクタ２Ｂに保持対象物８０を保持させるためにエンドエフェクタ２Ｂの一部を保持対象物８０に変位させる時に、エンドエフェクタ２Ｂが障害物に衝突するアプローチ位置７０が判別される。エンドエフェクタ２Ｂが障害物に衝突するアプローチ位置７０を判別することにより、開き幅を推定するために選択する任意の点として除外すべき位置が判別される。

制御部１２は、エンドエフェクタモデル３０において保持部位置３２が特定されていない構成において、エンドエフェクタモデル３０に関連づけられている保持部の特徴点に基づいて、エンドエフェクタモデル３０を投影できるか否かを判別する。

アプローチマップ９０に投影できるエンドエフェクタモデル３０の位置及び回転角度に対応するエンドエフェクタ２Ｂの位置は、アプローチマップ９０に適合する位置であるともいえる。制御部１２は、アプローチマップ９０に適合する各位置に対する開き幅を推定する位置であるともいえる。

制御部１２は、アプローチマップ９０にエンドエフェクタモデル３０を投影できた場合、アプローチマップ９０におけるアプローチ領域９１と、エンドエフェクタモデル３０におけるエンドエフェクタ２Ｂが存在しうる領域とに基づいて、開き幅を推定してよい。図１３に示すように、制御部１２は、開き幅の推定のために、保持部毎に存在可能領域９９を推定する。存在可能領域９９は、アプローチマップ９０へのエンドエフェクタモデル３０の重合わせにおいて、アプローチ領域９１と保持部の動作範囲３６とが重なる領域である。

制御部１２は、保持部の存在可能領域９９内の任意の地点を、開き幅に対応する、保持部の位置として推定してよい。制御部１２は、保持部毎に、言換えると各保持部に対応する各存在可能領域９９における保持部の位置を推定する。

制御部１２は、例えば、以下のような方法により、開き幅に対応する保持部の位置を推定してよい。図１４に示すように、制御部１２は、保持部毎に対応する存在可能領域９９の中心位置である第１中心位置ＣＰ１を算出する。制御部１２は、第１中心位置ＣＰ１を起点として、保持部の各々の所定の方向に沿って保持部を変位させたときに保持対象物８０及び保持対象物８０以外の物体と干渉するか否かを判別する。制御部１２は、第１中心位置ＣＰ１を起点として、対応する存在可能領域９９の端に到達するまで保持部を変位させる。すなわち、制御部１２は、存在可能領域９９の端に到達するまで保持部が通過する領域のうち、保持対象物８０及び当該保持対象物８０以外の物体と干渉しない任意の位置を、当該存在可能領域９９における開き幅に対応する保持部の位置として推定する。言換えると、制御部１２は、存在可能領域９９の端に到達するまでに保持部が通過する領域とアプローチ領域９１とが重なる領域の中で任意の位置を、当該存在可能領域９９における開き幅に対応する保持部の位置として推定する。より具体的には、制御部１２は、第１中心位置ＣＰ１を、所定の方向に沿って変位させる。更に、制御部１２は、第１中心位置ＣＰ１から変位させた点がアプローチ領域９１内に位置し得る任意の点を保持部の位置として推定する。

なお、エンドエフェクタ２Ｂが複数の保持部を有し、当該複数の保持部は同じ幅で開閉する構成においては、開き幅に相当する各保持部の位置は、全保持部において開き幅が同じになる位置に推定される。

図１５に示すように、任意の高さにおける断面が、本体８１及び鉤括弧部材８３を有する物体が保持対象物８０になることが考えられる。このような形状の保持対象物８０に対しては、図１６に示すように、アプローチ位置７０によっては、１つの保持部に対応する存在可能領域９９の第１中心位置ＣＰ１が、当該保持部の幅方向の中央から外れることがある。言換えると、第１中心位置ＣＰ１が、エンドエフェクタ２Ｂが存在しうる領域の中心位置（アプローチ位置７０）を通る、保持部の開閉方向に平行な可動直線ＡＬから外れることがある。制御部１２は、上述の例のように、第１中心位置ＣＰ１が可動直線ＡＬから外れる場合、第１中心位置ＣＰ１から可動直線ＡＬに下ろした垂線と当該可動直線ＡＬとの交点を第１中心位置ＣＰ１とみなして、上述するように、開き幅に対応する保持部の位置を推定してよい。

制御部１２は、第１中心位置ＣＰ１からエンドエフェクタモデル３０におけるエンドエフェクタ２Ｂが存在しうる領域、言換えると保持部の動作範囲３６の中心位置に向けて、保持部を最初に変位させてよい。制御部１２は、保持部を当該中心位置に向けて変位させる場合でアプローチ領域９１が存在しないとき、存在可能領域９９における第１中心位置ＣＰ１より外側においてアプローチ領域９１を探索してよい。

制御部１２は、例えば、制御部１２は、第１中心位置ＣＰ１を起点として所定の方向に沿って点を変位させながら、最初にアプローチ領域９１に到達した位置を、任意の位置として選択して、保持部の位置として推定してよい。例えば、図１４に示すように、任意の単一の保持部に対応する存在可能領域９９が可動直線ＡＬに沿った方向の全域に亘って保持部と同じ幅を有する場合、第１中心位置ＣＰ１を保持部の位置として推定してよい。

制御部１２は、アプローチ位置７０をマスク画像２０の窓２２の範囲内で走査するように移動させるとともに、各位置においてエンドエフェクタモデル３０を回転させてアプローチマップ９０に投影する。制御部１２は、エンドエフェクタモデル３０をアプローチマップ９０に投影できる、アプローチ位置７０、エンドエフェクタモデル３０の回転角度、エンドエフェクタ２Ｂの開き幅の組合せを抽出する。

制御部１２は、推定した開き幅に基づいて、開き幅モデルを作成してよい。開き幅モデルは、保持部の位置として推定された開き幅の範囲内でエンドエフェクタ２Ｂが存在しうる領域を特定する。図１７に示すように、開き幅モデル３１は、保持部の動作範囲３６の中心から開き幅に対応する保持部の位置ＷＰまでの長さで、保持部の幅を有する領域を、保持部毎に描くことにより生成される。

制御部１２は、開き幅モデル３１と、後述するルールマップとに基づいて、エンドエフェクタ２Ｂが保持対象物８０と接触する保持位置を推定してよい。制御部１２は、保持位置の推定のために、ルールマップを生成してよい。ルールマップは、保持対象物８０を保持する高さ毎に生成されてよい。ルールマップは２次元状に表現した画像の表示形態によってルールを特定してよい。制御部１２は、保持対象画像及びデプスデータの少なくとも一つに基づいてルールマップを生成してよい。制御部１２は、インタフェース１４を介して、ルールマップを外部機器から取得してよい。

ルールマップは、エンドエフェクタ２Ｂが保持に際して使用すべき、言換えると接触すべき保持対象物８０の位置、すなわち保持位置を規定するマップを含んでよい。ルールマップは、保持対象物８０を保持する高さに基づいて生成されるマップを含んでもよい。ルールマップは、例えば、周辺環境マップ４０（図１８参照）、物体マップ５０（図１９Ａ、１９Ｂ参照）、又は接触マップ６０（図２０参照）等に分類されてよい。制御部１２は、保持対象物８０の形状データ及び保持対象画像に対応づけられるデプスデータの少なくとも１つに基づくルールマップを取得してよい。

周辺環境マップ４０は、図１８に示すように、アプローチ領域４１、対象物領域４２、非アプローチ領域４３、及び第１の領域４４を特定してよい。周辺環境マップ４０は、膨張処理を施さないアプローチマップ９０と同一であってよい。したがって、周辺環境マップ４０におけるアプローチ領域４１、対象物領域４２、非アプローチ領域４３、及び第１の領域４４は、それぞれ、アプローチマップ９０におけるアプローチ領域９１、対象物領域９２、非アプローチ領域９３、及び第１の領域９４と同一であってよい。周辺環境マップ４０は、アプローチマップ９０と同じ方法により生成されてよい。

制御部１２は、生成した周辺環境マップ４０に対して境界を曖昧にするぼかし処理を実行してもよい。上述してきた手順で生成した周辺環境マップ４０に含まれる各領域は、マップ中の各座標における数値として区別され得る。制御部１２は、例えば、アプローチ領域４１に含まれる座標における数値として、その座標で特定される点がエンドエフェクタ２Ｂの動作範囲に含まれることを表す１を設定してよい。一方、制御部１２は、対象物領域４２、非アプローチ領域４３、及び第１の領域４４に含まれる座標における数値として、その座標で特定される点がエンドエフェクタ２Ｂの動作範囲に含まれないことを表す数値として０（ゼロ）を設定してよい。制御部１２は、１が設定されている領域と０が設定されている領域との境界から所定範囲内の点を特定する座標における数値を、０より大きくかつ１より小さい、例えば０．５等の値を設定する。制御部１２は、このように領域の境界を曖昧にする処理をぼかし処理として実行する。

また、上述してきた手順で生成した周辺環境マップ４０は、マップ中の各座標における色として区別され得る。制御部１２は、例えば、アプローチ領域４１に含まれる点を白で表し、それ以外の領域に含まれる点を黒で表してよい。制御部１２は、白で表される領域と黒で表される領域との境界から所定範囲内の点の色を、グレースケールで表してよい。制御部１２は、このように領域の境界を曖昧にする処理をぼかし処理として実行してもよい。各領域の色を黒、白及びグレーで表すことは、各領域に設定される数値を輝度値として表すことに相当する。

制御部１２がぼかし処理を実行することによって、エンドエフェクタ２Ｂの動作範囲の誤差、又は、保持対象物８０若しくは障害物の外形の誤差によってエンドエフェクタ２Ｂが予期せず物体に衝突する可能性が低減され得る。つまり、制御部１２は、ぼかし処理によって、種々のマージンを考慮して保持対象物８０に対するエンドエフェクタ２Ｂの位置を推定できる。ぼかし処理は、生成した周辺環境マップ４０に含まれる各領域の周辺部分に対して実行されてよい。ぼかし処理によって各領域が拡大される。

物体マップ５０は、仮に作業者が保持対象物８０を保持する場合に保持対象物８０のどの位置で保持対象物８０を保持するか判断するために参照する情報を表す。物体マップ５０は、例えば、保持対象物８０の形状、材質又は密度分布等の情報を表す。

例えば、保持対象物８０の中心に近づくほどルールに対して適正な保持位置となる保持対象物８０の存在が仮定される。このように仮定した保持対象物８０に関する物体マップ５０は、図１９Ａに示されるように、保持対象物８０を保持する高さの平面によって切断した場合に得られる断面５２において、保持対象物８０の中心に近いほどルールに対して適正な保持位置であることに対応する白に近い色で表され、中心から離れるほどルールに対して適正でない保持位置であることに対応する黒に近い色で表されるグレースケールで表されてよい。また、物体マップ５０は、図１９Ｂに示されるように、保持対象物８０を保持する位置を推定するルールとしてユーザが任意に設定したルールを特定するグレースケールで表されてよい。図１９Ｂに示す、保持対象物８０の中心に近づいていくことに従って、適正な把持位置となる物体マップ５０を作成する場合、保持対象物８０の断面５２の水平方向に沿って中心に近いほど、適正な保持位置であることに対応する白に近い色で表され、中心から離れるほど、適正でない保持位置であることに対応する黒に近い色で表されている。また、図１９Ｂの物体マップ５０は、断面５２の高さ方向に沿って同じ色で表されている。

図１９Ａ、１９Ｂにおいて、物体マップ５０の断面５２を囲む黒色の実線は、単に断面５２の輪郭を表す線であり、ルールを示すものではない。黒色の実線が描かれている座標が適正でない保持位置であることを表すものではない。

物体マップ５０は、保持対象物８０を保持する位置を仮定して、仮定した位置で保持することの適正さを評価する際に、白に近い色で表される領域の近くを保持することによって適正さの評価を表す適性値が大きくなるように構成されてよい。また、物体マップ５０は、周辺環境マップ４０のように、各座標の色に数値を対応づけることによって表されてもよい。制御部１２は、例えば白で表される座標に１を設定し、黒で表される座標に０を設定してよい。

制御部１２は、上述の例に限られず、種々のルールを特定するように、各座標に色又は数値を設定した物体マップ５０を生成してよい。制御部１２は、例えば、保持対象物８０の重心からの距離に応じて各座標に色又は数値を設定した物体マップ５０を生成してよい。制御部１２は、例えば、保持する位置として避けるべき位置又は保持する位置として禁止する位置を特定するように、各座標に色又は数値を設定した物体マップ５０を生成してよい。

制御部１２は、１つのルールを特定する物体マップ５０を混合することによって、複数のルールを特定する１つの物体マップ５０を生成してもよい。制御部１２は、複数の物体マップ５０を混合する場合、各物体マップ５０に重みづけ係数を設定して混合してよい。制御部１２は、例えば保持対象物８０の重心位置が重要である場合、重心位置を特定する物体マップ５０の重みづけ係数を大きく設定してよい。

物体マップ５０は、保持対象物８０自身の有する特性に基づき規定されてよい。物体マップ５０は、保持対象物８０の形状、材質、テクスチャ、重量、又は摩擦係数のいずれかに基づき規定されてよい。物体マップ５０は、保持対象物８０の保持位置についてユーザが任意に定めた規定に基づくものであってよい。例えば、保持対象物８０の部分のうち、接触することで破損又は変形しやすい部分、グリス等が付着している部分、滑りやすく保持に適さない部分など、様々な理由で保持位置とすべきでない部分がルールとして物体マップ５０に規定され得る。同様に、破損又は変形がしにくい部分、グリス等が付着していない部分、滑りにくい部分、その他、経験則に基づいて保持位置とすべき部分（保持しやすいとされる部分）がルールとして物体マップ５０に規定され得る。物体マップ５０を二次元状の画像として表すことで、保持対象物８０の保持位置として、どのようなルールが規定されているのか把握することが容易となる。物体マップ５０は、保持対象物８０の種類ごとに生成されてよい。

接触マップ６０は、エンドエフェクタ２Ｂの指と保持対象物８０の表面の状態との関係に基づいて定まるルールを表す。接触マップ６０は、物体マップ５０のように、仮に作業者が保持対象物８０を保持する場合に保持対象物８０のどの位置で保持対象物８０を保持するか判断するために参照する情報を表す。接触マップ６０は、エンドエフェクタ２Ｂの保持対象物８０との接触部分の形状と、保持対象物８０の形状とに基づき規定される。接触マップ６０は、エンドエフェクタ２Ｂが保持対象物８０と接触する位置としての適正さを表す。例えば、エンドエフェクタ２Ｂの保持対象物８０との接触部分の形状若しくは材質と、保持対象物８０の保持位置の形状若しくは材質との関係で保持位置とすべき部分、又は保持位置とすべきでない部分が接触マップ６０に規定され得る。より具体的には、エンドエフェクタ２Ｂと保持対象物８０との接触面積が小さくなる部分、エンドエフェクタ２Ｂと保持対象物８０との摩擦係数が所定値より小さい部分、又は、その他、経験則に基づいて使用するエンドエフェクタ２Ｂにとって保持しにくいとされる部分が、保持位置とすべきでない部分を表すルールとして接触マップ６０に規定され得る。同様に、エンドエフェクタ２Ｂと保持対象物８０との接触面積が大きくなる部分、エンドエフェクタ２Ｂと保持対象物８０との摩擦係数が所定値より大きい部分、又は、その他、経験則に基づいて使用するエンドエフェクタ２Ｂにとって保持しやすいとすべき部分が、保持位置とすべき部分を表すルールとして接触マップ６０に規定され得る。

接触マップ６０は、例えば、保持対象物８０をエンドエフェクタ２Ｂで保持するときの保持対象物８０の表面とエンドエフェクタ２Ｂの指との接触面積、又は、保持対象物８０の表面とエンドエフェクタ２Ｂの指との間に作用する摩擦力等を表す。仮に保持対象物８０の表面が凹凸を有する場合、エンドエフェクタ２Ｂの指の位置が少しずれただけで接触面積が大きく異なり得る。

接触マップ６０は、図２０に示されるように、保持対象物８０を保持する高さの平面によって切断した場合に得られる断面の外周６２において、各辺の中央に近いほど適正な保持位置であることに対応する白に近い色で表され、中心から離れて隅に近づくほど適正でない保持位置であることに対応する黒に近い色で表されるグレースケールで表されてよい。図２０に例示される接触マップ６０は、各辺の中央に近い位置を保持する場合に保持対象物８０の表面とエンドエフェクタ２Ｂの指との接触面積が大きくなり、隅に近い位置を保持する場合に接触面積が小さくなることを表している。

図２０において、接触マップ６０の外周６２を囲む黒色の実線は、単に外周６２の輪郭を表す線である。黒色の実線が描かれている座標が適正でない保持位置であることを表すものではない。

制御部１２は、１つのルールを特定する接触マップ６０を混合することによって、複数のルールを特定する１つの接触マップ６０を生成してもよい。制御部１２は、複数の接触マップ６０を混合する場合、各接触マップ６０に重みづけ係数を設定して混合してよい。制御部１２は、例えば保持対象物８０の表面とエンドエフェクタ２Ｂの指との接触面積が重要である場合、接触面積を特定する接触マップ６０の重みづけ係数を大きく設定してよい。

制御部１２は、生成したルールマップに基づいて、保持対象物８０を保持する位置を推定する。具体的に、制御部１２は、ルールマップに対して開き幅モデル３１を仮の保持位置として投影し、投影した位置における一致度を算出することによって仮の保持位置で実際に保持対象物８０を保持することの適正さを評価する。

制御部１２は、エンドエフェクタ２Ｂの開き幅とともに抽出したアプローチ位置７０及びエンドエフェクタ２Ｂの回転角度の組み合わせそれぞれにおいて、周辺環境マップ４０における一致度を算出する。具体的に、制御部１２は、抽出したアプローチ位置７０及び回転角度で開き幅モデル３１を、周辺環境マップ４０に投影する。制御部１２は、周辺環境マップ４０におけるアプローチ領域４１と開き幅モデル３１と重なる範囲の各座標に設定されている数値又は色の輝度の平均値を一致度として算出する。

周辺環境マップ４０に投影できる開き幅モデル３１の位置及び回転角度に対応するエンドエフェクタ２Ｂの位置は、周辺環境マップ４０に適合する位置であるともいえる。制御部１２は、周辺環境マップ４０に適合する位置の中から保持位置を推定するともいえる。

制御部１２は、エンドエフェクタ２Ｂの開き幅とともに抽出したアプローチ位置７０及びエンドエフェクタ２Ｂの回転角度の組み合わせそれぞれにおいて、物体マップ５０における一致度を算出する。具体的に制御部１２は、抽出したアプローチ位置７０及び回転角度で開き幅モデル３１を、物体マップ５０に投影する。制御部１２は、物体マップ５０における保持対象物８０の断面５２と開き幅モデル３１と重なる範囲の各座標に設定されている数値又は色の輝度値の平均値を一致度として算出する。

物体マップ５０は、保持対象物８０を保持する位置としての適正さを表す。物体マップ５０に投影する開き幅モデル３１の位置及び回転角度に対応するエンドエフェクタ２Ｂの位置は、物体マップ５０に適合する位置であるともいえる。制御部１２は、物体マップ５０に適合する位置の中から保持位置を推定するともいえる。

制御部１２は、エンドエフェクタ２Ｂの開き幅とともに抽出したアプローチ位置７０及びエンドエフェクタ２Ｂの回転角度の組み合わせそれぞれにおいて、接触マップ６０における一致度を算出する。具体的に制御部１２は、抽出したアプローチ位置７０及び回転角度で開き幅モデル３１を、接触マップ６０に投影する。制御部１２は、接触マップ６０における外周６２と開き幅モデル３１と重なる範囲の各座標に設定されている数値又は色の輝度値の平均値を一致度として算出する。

接触マップ６０は、エンドエフェクタ２Ｂの保持対象物８０との接触部分の、保持対象物８０と接触する位置としての適正さを表す。制御部１２は、接触マップ６０に投影する複数の開き幅モデル３１の位置及び回転角度に対応するエンドエフェクタ２Ｂの複数の位置の中から保持位置を推定するともいえる。

制御部１２は、開き幅モデル３１の各保持部位置３２それぞれがストローク範囲３４の方向に沿って外周６２に対して入射する角度を算出してよい。言い換えれば、制御部１２は、開き幅モデル３１のストローク範囲３４の方向に沿った線と外周６２との２つの交点それぞれにおける交差の角度を算出してよい。本実施形態において、制御部１２は、保持部位置３２が外周６２に対して垂直に入射する場合の入射角度を０度として算出する。制御部１２は、算出した角度を接触マップ６０における一致度の値に反映してよい。制御部１２は、角度が０度に近いほど一致度の値を大きい値として算出してよい。制御部１２は、例えば、接触マップ６０の外周６２のうち投影された開き幅モデル３１と重なる範囲の各座標に設定されている数値又は色の輝度値の平均値と、算出した角度のコサインの値（余弦値）との積を一致度として算出してもよい。

制御部１２は、外周６２が凹凸を有する場合、エンドエフェクタ２Ｂの保持部の太さ又は幅若しくは長さに基づいて外周６２を平坦化したモデルを生成し、平坦化したモデルに対して保持部位置３２が入射する角度を算出してもよい。

制御部１２は、アプローチ位置７０及び開き幅モデル３１の回転角度の組み合わせ毎に、各ルールマップにおいて算出した一致度を合算し、総合一致度を算出する。制御部１２は、各ルールマップにおいて算出した一致度に対して重みづけを行って合算してよい。制御部１２は、各ルールマップにおいて算出した一致度に対して行う重みづけを、全ての組み合わせにおいて同一とする。各ルールマップにおいて算出した一致度に対して適用される重みづけの係数は、マップ係数とも称される。マップ係数は、各マップについて定められてよい。

以上述べてきたように、制御部１２は、開き幅モデル３１とルールマップとに基づいて各保持位置について総合一致度を算出する。総合一致度は、各保持位置の適正さを表す適正値に対応する。また、ルールマップは、ルールマップの各位置（各座標）に割り当てた数値又は色の輝度値等によって、保持対象物８０を保持する位置としての適正さを表す。制御部１２は、エンドエフェクタモデル３０をルールマップに重ねた場合に各位置に割り当てた値を演算することによって、適正値を算出できる。

制御部１２は、アプローチ位置７０及びエンドエフェクタモデル３０の回転角度の各組み合わせについて算出した総合一致度を比較し、総合一致度が高い組み合わせを選択する。制御部１２は、選択した組み合わせのアプローチ位置７０及びエンドエフェクタモデル３０の回転角度に基づいて定まる、エンドエフェクタ２Ｂの指がストローク方向に沿って動いたときに保持対象物８０に入射する位置を、保持対象物８０を保持する位置として推定する。つまり、制御部１２は、エンドエフェクタモデル３０とルールマップとに基づいて保持位置を推定する。また、制御部１２は、適正値に基づいて保持位置を推定するともいえる。制御部１２は、推定した保持位置を、インタフェース１４を介してロボット制御装置１１０に出力する。

（保持パラメータ推定方法の手順例）
保持パラメータ推定装置１０の制御部１２は、図２１に例示されるフローチャートの手順を含む保持パラメータ推定方法を実行してもよい。保持パラメータ推定方法は、保持パラメータ推定装置１０の制御部１２を構成するプロセッサに実行させる保持位置推定プログラムとして実現されてもよい。保持パラメータ推定プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。

制御部１２は、エンドエフェクタ２Ｂに関する情報、保持対象物８０を撮影した保持対象画像、及び保持対象物８０のデプスデータを含むデータを取得する（ステップＳ１）。制御部１２は、エンドエフェクタモデル３０を生成する（ステップＳ２）。制御部１２は、保持対象物８０を保持する高さを推定する（ステップＳ３）。制御部１２は、マスク画像２０を生成する（ステップＳ４）。

制御部１２は、アプローチマップ９０と、周辺環境マップ４０、物体マップ５０、及び接触マップ６０等のルールマップとを作成する（ステップＳ５）。制御部１２は、アプローチマップ９０にエンドエフェクタモデル３０を投影する（ステップＳ６）。制御部１２は、アプローチマップ９０へのエンドエフェクタモデル３０の投影により、エンドエフェクタ２Ｂの開き幅を推定する（ステップＳ７）。制御部１２は、推定した開き幅に基づいて開き幅モデル３１を作成する（ステップＳ８）。制御部１２は、各ルールマップに開き幅モデル３１を投影する（ステップＳ９）。制御部１２は、各ルールマップと各ルールマップに投影した開き幅モデル３１との一致度を算出する（ステップＳ１０）。制御部１２は、総合一致度を算出するために、各ルールマップについて算出した一致度に重みづけを行う（ステップＳ１１）。制御部１２は、総合一致度が高くなるときの開き幅モデル３１の投影位置を選出し、選出した位置においてエンドエフェクタ２Ｂの保持部が保持対象物８０に入射する位置を保持位置として推定する（ステップＳ１２）。制御部１２は、ステップＳ１２の手順の実行後、図２１のフローチャートの手順の実行を終了する。

制御部１２は、マスク画像２０を生成するステップＳ４の手順を、ステップＳ２又はＳ３の前に実行してもよい。

（小括）
以上述べてきたように、本実施形態に係る保持パラメータ推定装置１０によれば、エンドエフェクタモデル３０と前記保持対象画像と前記デプスデータとに基づいて、保持対象物８０を保持させるために前記エンドエフェクタ２Ｂの一部を変位させるときの開き幅が推定される。保持のためにエンドエフェクタ２Ｂの一部を保持対象物８０に変位させるときのエンドエフェクタ２Ｂの開き幅が保持対象物８０の幅に近い場合、変位中に保持対象物に衝突する虞がある。一方、当該開き幅が広すぎる場合、エンドエフェクタ２Ｂの一部の保持対象物８０への変位後に、保持対象物８０を保持するまでの時間が長くなる。更に、当該開き幅が広すぎる場合、変位後にエンドエフェクタ２Ｂを保持のために閉じる動作において、保持対象物８０の周囲の障害物に衝突する虞がある。このような事象に対して、上述の構成を有する保持パラメータ推定装置１０は、変位時の開き幅を推定するので、エンドエフェクタ２Ｂを保持対象物８０に近づける時の適切な状態を推定し得る。したがって、保持パラメータ推定装置１０は、適切な開き幅となるようにロボット２を操作するパラメータを提供し得る。

また、本実施形態の保持パラメータ推定装置１０では、アプローチマップ９０におけるアプローチ領域９１は、保持対象物８０の存在領域及び第１の領域９４を、エンドエフェクタ２Ｂが有する保持部の幅方向に当該保持部の幅の半分以上の大きさ、且つ当該保持部の太さ方向に当該保持部の太さの半分以上の大きさで膨張させた領域を除外した領域である。このような構成により、保持パラメータ推定装置１０は、保持対象物８０及び保持対象物８０以外の物体と干渉する可能性の低い領域内で開き幅を推定させ得る。

また、本実施形態の保持パラメータ推定装置１０では、エンドエフェクタ２Ｂの保持部毎の存在可能領域９９の中心位置である第１中心位置ＣＰ１を算出し、保持部の各々についての所定の方向に沿って、第１中心位置ＣＰ１を起点として保持部を保持対象物８０へ向かって変位させた場合に、存在可能領域９９の端に到達するまでに保持部が通過する領域のうち、保持対象物８０及び保持対象物８０以外の物体と干渉しない任意の位置を、該存在可能領域９９における前記開き幅に対応する保持部の位置として推定する。このような構成により、保持パラメータ推定装置１０は、任意の位置における保持部の全領域の干渉の有無を判別することなく、一点のみで干渉の有無を判別し得る。したがって、保持パラメータ推定装置１０は、開き幅を高速に推定し得る。

また、本実施形態の保持パラメータ推定装置１０では、制御部１２は第１中心位置ＣＰ１が可動直線ＡＬから外れている場合、第１中心位置ＣＰ１から当該可動直線ＡＬに下ろした垂線と当該可動直線ＡＬの交点を第１中心位置ＣＰ１とみなして、開き幅に対応する保持部の位置を推定する。このような構成により、保持パラメータ推定装置１０は、保持部の移動可能な範囲内の最も内側における保持対象物８０の表面と、保持部の最大開き幅の間に保持対象物８０の一部等が位置する場合であっても、開き幅に対応する保持部の位置を可動直線ＡＬ上で推定し得る。

また、本実施形態の保持パラメータ推定装置１０によれば、保持対象物８０をロボット２のエンドエフェクタ２Ｂで保持するときの保持位置がルールマップに基づいて推定される。ルールマップに基づいて保持位置を推定することによって、作業者の経験等をルールマップに反映させることができる。例えば、作業者が種々の保持対象物８０を保持する場合に、保持対象物８０それぞれについて、どの位置で保持するか考えて保持する。作業者は、例えば、保持対象物８０の重心、保持対象物８０の周囲に存在する障害物、又は、保持対象物８０を持つ位置が広いこと等を考えて保持位置を決める。つまり、本実施形態に係る保持パラメータ推定装置１０によれば、作業者の考えをルールマップに反映し、各ルールマップにおける一致度を算出し、一致度に重みづけを行って算出した総合一致度に基づいて、把持位置が推定される。その結果、作業者が考える保持位置で、ロボット２に保持対象物８０を保持させることができる。つまり、物体の保持位置が簡易に人間の意図に沿った位置に推定され得る。

また、作業者が保持位置をルール化したルールマップを使用できる。その結果、学習が不要になる。また、新たなルールが発生した場合にルールマップを追加することによって、環境の変化に対応しやすくなる。例えば、保持対象物８０の保持を含む作業は、作業者又は作業現場の環境等に応じた種々の構成要素を含み得る。したがって、各構成要素に基づいて保持対象物８０の保持位置を推定して保持する必要がある。種々の構成要素を反映したルールマップを生成して一致度の算出対象に追加することによって、各作業者又は各現場における特殊なルール等にも対応が容易になる。

（他の実施形態）
以下、他の実施形態が説明される。

＜他の手法に基づく推定結果の利用＞
保持パラメータ推定装置１０は、他の手法に基づいて推定された保持対象物８０の保持位置を取得してよい。保持パラメータ推定装置１０は、取得した保持位置に対して本実施形態に係る保持パラメータ推定方法を実行することによって、取得した保持位置毎の開き幅を推定してよい。

具体的に、保持パラメータ推定装置１０の制御部１２は、インタフェース１４を介して他の手法に基づいて推定された保持対象物８０の保持位置を取得する。制御部１２は、取得した保持位置に対応する、アプローチ位置７０とエンドエフェクタモデル３０の回転角度との組み合わせを算出する。制御部１２は、取得した保持位置に対応する組み合わせでエンドエフェクタモデル３０をアプローチマップ９０に投影し、開き幅を推定する。更に、制御部１２は、推定した開き幅に基づいて開き幅モデル３１を作成してよい。制御部１２は、開き幅モデル３１を各ルールマップに投影し、各ルールマップにおける一致度を算出してよい。制御部１２は、各ルールマップにおける一致度に重みづけを行って合算し、総合一致度として算出してよい。制御部１２は、総合一致度の値が大きい組み合わせに対応する開き幅及び保持位置を選択してロボット制御装置１１０に出力してよい。

保持パラメータ推定装置１０は、取得した保持位置における総合一致度を算出して取得した保持位置の適正さを評価してもよい。制御部１２は、算出した総合一致度に基づいて、取得した保持位置が妥当であるか評価する。制御部１２は、例えば、算出した総合一致度が所定値以上となった場合に、取得した保持位置が妥当であると判定してよい。

保持パラメータ推定装置１０は、他の手法に基づいて推定された、エンドエフェクタ２Ｂの中心位置及び回転角度を取得してもよい。保持パラメータ推定装置１０は、取得したエンドエフェクタ２Ｂの中心位置をアプローチ位置７０とみなすことによってアプローチ位置７０と回転角度との組み合わせを算出し、本実施形態に係る保持パラメータ推定方法を実行できる。

保持パラメータ推定装置１０は、他の手法に基づいて推定された保持対象物８０の保持位置を取得することによって、一致度の算出対象とするアプローチ位置７０と回転角度との組み合わせの数を低減できる。その結果、計算負荷が低減され得る。

＜学習による重みづけの調整＞
保持パラメータ推定装置１０は、各ルールマップについて算出した一致度に対して重みづけを行って合算することによって、総合一致度を算出する。保持パラメータ推定装置１０は、推定した保持位置に対するアノテーションの情報に基づいて学習することによって、重みづけの係数を更新してよい。保持パラメータ推定装置１０は、重みづけの係数を更新することによって保持位置の推定精度を向上できる。

具体的に、保持パラメータ推定装置１０の制御部１２は、推定した保持位置をインタフェース１４によってユーザに通知してよい。制御部１２は、インタフェース１４によって、推定した保持位置に対するアノテーションとして保持位置を修正する入力をユーザから受け付ける。制御部１２は、ユーザによる修正の情報に基づいて、修正した保持位置をロボット制御装置１１０に出力してよい。制御部１２は、ユーザによる修正の情報に基づいて学習することによって重みづけの係数を更新し、保持位置の推定をやり直してもよい。

制御部１２は、複数の保持位置の候補を推定してインタフェース１４によってユーザに通知してよい。制御部１２は、総合一致度が所定値以上となる保持位置を候補として推定してよい。制御部１２は、インタフェース１４によって、推定した保持位置に対するアノテーションとして保持位置の候補から選択する入力をユーザから受け付ける。制御部１２は、ユーザが選択した保持位置をロボット制御装置１１０に出力してよい。制御部１２は、ユーザが選択した情報に基づいて学習することによって重みづけの係数を更新してもよい。

制御部１２は、総合一致度が所定値以上となる保持位置を、保持対象物８０を保持可能な候補位置として抽出し、ユーザに通知してよい。制御部１２は、インタフェース１４によって、候補位置に対するアノテーションとして、候補位置を修正する入力、又は、候補位置を選択する入力をユーザから受け付ける。制御部１２は、候補位置に対する修正又は選択の入力に基づいて、各候補位置の適正さを評価する。制御部１２は、ユーザの入力に基づいて保持位置としての適正さが高いと評価した候補位置について総合一致度の値が大きくなるように、重みづけの係数を更新してよい。制御部１２は、選択された候補位置を保持位置としてロボット制御装置１１０に出力してもよい。制御部１２は、修正された候補位置を保持位置としてロボット制御装置１１０に出力してもよい。

保持パラメータ推定装置１０の制御部１２は、図２２に示されるフローチャートの手順を実行してもよい。制御部１２は、例えば図２２のフローチャートの手順を実行することによって、保持位置の候補を選出する（ステップＳ２１）。制御部１２は、保持位置の候補をインタフェース１４に出力する（ステップＳ２２）。制御部１２は、ユーザによる修正の入力に基づいて保持位置を修正する（ステップＳ２３）。制御部１２は、修正内容を学習する（ステップＳ２４）。制御部１２は、学習結果に基づいて重みづけを更新する（ステップＳ２５）。制御部１２は、ステップＳ２５の手順の実行後、図２２のフローチャートの手順の実行を終了する。

以上述べてきたように、保持パラメータ推定装置１０は、ユーザによるアノテーションの内容に基づいて重みづけを更新できる。その結果、種々の作業環境に対応できるロバスト性が向上し得る。

保持パラメータ推定装置１０は、ルールマップを生成するために複数のマップに重みづけを実行して混合する。例えば、保持パラメータ推定装置１０は、複数の物体マップ５０を混合して１つの物体マップ５０を生成する。複数のマップに重みづけを実行して混合する場合において、保持パラメータ推定装置１０は、各マップに対する重みづけ係数をアノテーションに基づく学習によって更新してもよい。

保持パラメータ推定装置１０は、複数の保持位置に対するアノテーションの情報を取得し、アノテーションの情報に基づいて適正値を補正してもよい。

＜画像に基づくマップの生成＞
保持パラメータ推定装置１０は、カメラ４で撮影した保持対象画像に基づいて、ルールマップを生成してもよい。保持パラメータ推定装置１０の制御部１２は、例えば、保持対象画像に基づいて保持対象物８０の重心を推定し、重心位置を特定する物体マップ５０を生成してもよい。制御部１２は、例えば、保持対象画像に基づいて保持対象物８０の材質を推定し、保持対象物８０の表面とエンドエフェクタ２Ｂの保持部との間に作用する摩擦力を特定する接触マップ６０を生成してもよい。制御部１２は、保持対象物８０の色若しくは模様、又は、凹凸に関する情報に基づいて、保持対象物８０の材質を推定してもよい。

＜保持位置の高さの設定＞
保持パラメータ推定装置１０は、最初に保持対象物８０を保持する高さを設定し、設定した高さにおける開き幅及び保持位置を推定する。保持パラメータ推定装置１０は、保持対象物８０を保持する高さを変化させ、それぞれの高さにおいて保持パラメータ推定方法を実行し、総合一致度の値が最も大きくなるときの保持の高さと、アプローチ位置７０、及び回転角度の組み合わせとを、保持位置として開き幅とともに推定してもよい。このようにすることで、保持の安定性が向上し得る。

以上、保持パラメータ推定装置１０の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。

また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。

本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。

さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。

本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の領域は、第２の領域と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。

２ ロボット
２Ａ アーム
２Ｂ エンドエフェクタ
４ カメラ
５ ロボットの動作範囲
６ 作業開始台
７ 作業目標台
１０ 保持パラメータ推定装置
１２ 制御部
１４ インタフェース
２０ マスク画像
２２ 窓
２４ マスク
３０ エンドエフェクタモデル
３１ 開き幅モデル
３２ 保持部位置
３４ ストローク範囲
３６ 保持部の動作範囲
３８ 動作外範囲
４０ 周辺環境マップ
４１ アプローチ領域
４２ 対象物領域
４３ 非アプローチ領域
４４ 第１の領域
５０ 物体マップ
５２ 断面
６０ 接触マップ
６２ 外周
７０ アプローチ位置
７２ａ、７２ｂ、７２ｃ 投影モデル
７４ａ、７４ｃ 保持部の投影位置
８０ 保持対象物
８１ 本体
８２ 保持点
８３ 鉤括弧状部材
９０ アプローチマップ
９１ アプローチ領域
９２ 対象物領域
９３ 非アプローチ領域
９４ 第１の領域
９４ｅｘ 第１の領域を膨張させた領域
９５ 境界
９６ 第２の領域
９６ｅｘ 対象物領域を膨張させた領域
９７ 障害物領域
９８ 外部領域
９９ 存在可能領域
１００ ロボット制御システム
１１０ ロボット制御装置
ＡＬ 可動直線
ＣＰ１ 第１中心位置
Ｃ９２ 対象物領域の中心
ＳＬ 対象物領域の中心を通り且つ障害物領域の外縁に一点において交わる直線
ＷＰ 開き幅に対応する保持部の位置

Claims (14)

1. 任意の開き幅で保持対象物を保持する保持部を有するエンドエフェクタに関する情報、前記保持対象物を示す保持対象情報、及び前記保持対象物に関するデプスデータを取得する取得部と、
   前記情報に基づいて該エンドエフェクタが存在しうる領域を示すエンドエフェクタモデルを取得し、該エンドエフェクタモデルと前記保持対象情報と前記デプスデータとに基づいて、該保持対象物を保持させるために前記保持部の開き幅を推定する制御部と、を備え、
   前記保持対象情報は、前記保持対象物の領域を示す情報である
   保持パラメータ推定装置。
2. 請求項１に記載の保持パラメータ推定装置において、
   前記制御部は、
   前記保持対象情報及び前記デプスデータに基づいて、前記保持対象物を保持する高さにおいて、前記エンドエフェクタを該保持対象物以外の物体に干渉させずに開き得るアプローチ領域を示すアプローチマップを作成し、
   前記アプローチ領域と前記エンドエフェクタが存在しうる領域とに基づき、前記開き幅を推定する
   保持パラメータ推定装置。
3. 請求項２に記載の保持パラメータ推定装置において、
   前記アプローチ領域は、前記保持対象物の周囲で前記エンドエフェクタを保持対象物に干渉させずに開き得る領域から、前記保持対象物の存在領域と、該保持対象物以外の物体の存在領域における該保持対象物に面する外縁から前記保持対象物とは反対側を向く第１の領域とを除外した領域である
   保持パラメータ推定装置。
4. 請求項３に記載の保持パラメータ推定装置において、
   前記エンドエフェクタは、前記保持対象物を保持する際に前記保持対象物に接触させる保持部を有し、
   前記アプローチ領域は、前記保持対象物の存在領域及び前記第１の領域を、前記エンドエフェクタが有する保持部の幅方向に該保持部の幅の半分以上の大きさ、且つ該保持部の太さ方向に該保持部の太さの半分以上の大きさで膨張させた領域を除外した領域である
   保持パラメータ推定装置。
5. 請求項２から４のいずれか１項に記載の保持パラメータ推定装置において、
   前記制御部は、
   前記アプローチマップへの前記エンドエフェクタモデルの重合わせにおいて、前記アプローチ領域と前記エンドエフェクタモデルが重なる存在可能領域を、前記エンドエフェクタの保持部毎に推定し、
   前記保持部毎の前記存在可能領域の任意の地点を、該存在可能領域における前記開き幅に対応する保持部の位置として推定する
   保持パラメータ推定装置。
6. 請求項５に記載の保持パラメータ推定装置において、
   前記保持部は、所定の方向に沿って移動可能に構成されており、
   前記制御部は、
   前記エンドエフェクタの保持部毎の前記存在可能領域の中心位置である第１中心位置を算出し、
   前記保持部の各々についての前記所定の方向に沿って、前記第１中心位置を起点として前記保持部を保持対象物へ向かって変位させた場合に、前記存在可能領域の端に到達するまでに前記保持部が通過する領域のうち、前記保持対象物及び該保持対象物以外の物体と干渉しない任意の位置を、該存在可能領域における前記開き幅に対応する保持部の位置として推定する
   保持パラメータ推定装置。
7. 請求項６に記載の保持パラメータ推定装置において、
   前記制御部は、前記第１中心位置が、前記エンドエフェクタモデルにおける前記エンドエフェクタが存在しうる領域の中心位置を通る前記保持部の開閉方向に平行な可動直線から外れている場合、前記第１中心位置から該可動直線に下ろした垂線と該可動直線の交点を前記第１中心位置とみなして、前記開き幅に対応する保持部の位置を推定する
   保持パラメータ推定装置。
8. 請求項６に記載の保持パラメータ推定装置において、
   前記制御部は、前記第１中心位置から前記エンドエフェクタモデルにおける前記エンドエフェクタが存在しうる領域の中心位置に向けて変位させ、前記アプローチ領域が存在しない場合、前記第１中心位置より外側の前記存在可能領域において前記アプローチ領域を探索する
   保持パラメータ推定装置。
9. 請求項２から４のいずれか１項に記載の保持パラメータ推定装置において、
   前記エンドエフェクタの保持部は、対向して移動可能な少なくとも２の部材により形成されている、
   保持パラメータ推定装置。
10. 請求項１から４のいずれか１項に記載の保持パラメータ推定装置において、
    前記制御部は、
    前記開き幅の範囲内で前記エンドエフェクタが存在しうる領域を特定する開き幅モデルを作成し、
    前記保持対象情報に基づいて、前記エンドエフェクタが保持に使用すべき前記保持対象物の領域を規定するマップを含むルールマップを生成し、
    前記開き幅モデルと前記ルールマップとに基づいて、前記エンドエフェクタが前記保持対象物と接触する位置を保持位置として推定する
    保持パラメータ推定装置。
11. 請求項１０に記載の保持パラメータ推定装置において、
    前記制御部は、
    前記開き幅モデルと前記ルールマップとに基づいて、前記保持位置の適正さを表す適正値を複数の前記保持位置について算出し、
    前記適正値に基づいて前記保持位置を推定する
    保持パラメータ推定装置。
12. 請求項１１に記載の保持パラメータ推定装置において、
    前記開き幅モデル及び前記ルールマップは、各位置に割り当てた前記保持対象物を保持する位置としての適正さを示す値で表され、
    前記制御部は、前記開き幅モデルを前記ルールマップに重ねた場合に各位置に割り当てた値を演算することによって、前記適正値を算出する
    保持パラメータ推定装置。
13. 請求項１１に記載の保持パラメータ推定装置において、
    前記制御部は、前記ルールマップに含まれる複数の前記マップに基づく前記適正値と、各々の前記マップについて定めたマップ係数とに基づいて、前記ルールマップに基づく前記適正値を算出する
    保持パラメータ推定装置。
14. 保持対象物を保持する保持部を有するエンドエフェクタに関する情報、前記保持対象物を示す保持対象情報、及び前記保持対象物に関するデプスデータを取得し、
    前記情報に基づいて該エンドエフェクタが存在しうる領域を示すエンドエフェクタモデルを取得し、
    前記エンドエフェクタモデル、前記保持対象情報、及び前記デプスデータに基づいて、該保持対象物を保持させるために前記保持部の開き幅を推定し、
    前記保持対象情報は、前記保持対象物の領域を示す情報である
    保持パラメータ推定方法。