JP7637563B2 - 認識処理方法および認識処理装置 - Google Patents

Description

本発明は、認識処理方法および認識処理装置に係り、特に多種類の物品の認識処理におけるパラメータの決定技術に関する。

ピッキングロボットは、先端にグリッパーの付いたロボットアームを有し、センサで取得した情報に基づいて物品の仕分けやケースのパレタイズ・デパレタイズを行う知能ロボットの一つであり、例えば物流倉庫に使用されている。ピッキングロボットの性能は、センサで取得した情報を解析するための物体認識処理によって左右されるといってもよい。

物体認識処理として、センサで取得された画像データから特徴量を抽出し、その特徴量をもとに画像データ内の認識対象物体位置を推定する技術が広く用いられている。この特徴量の設計などに関連して、認識性能を左右する複数の調整可能なパラメータが存在することが一般的である。認識対象物品群に対する適切なパラメータ値は、認識対象物品群のモデルと、各物品に対してその物品が撮像されていてその物品位置が分かっている画像データ（以下、教示データ）を用意できれば、計算機で自動的に算出することができる。しかし、モデルや教示データは人手で作成して、用意する必要がある。特に教示データは、算出されるパラメータ値のロバスト性を保証するために各物品に対して多数枚求められる。そのため、各物品について画像の撮影と物品位置情報の付与を行わなければならず、多大な人手と作業コストを要する。例えば物流倉庫の場合、パラメータ決定を要する対象物品数が膨大となるので、パラメータ設定作業を効率的に行うことが求められる。

多種類の物品を対象とするパラメータ設定作業を効率的に行うために、その物品群をいくつかのクラスに分類し、そのクラスごとに適切なパラメータ値を設定する案が考えられる。例えば、特許文献１には、認識対象が分類されるクラスを識別し、そのクラスに対応するパラメータ値をその認識対象の適切なパラメータ値として決定して高精度の認識を可能とする、パラメータ設定方法が開示されている。

特開２０２０－６８００８号公報

特許文献１に記載のパラメータ設定は、人や自動車といった抽象度の高いパターンを想定している。そのため、どのようなパターンを用意して、認識対象をどのように分類するかを比較的容易に判断できる。しかし、同一パターン内での多様性が大きい場合は、同一のパラメータ値で高い認識性能を実現することは難しくなる。例えば、物流倉庫で取扱われる段ボール箱の場合、箱のサイズや模様が多岐に渡るため、パターンをさらに細分化する必要がある。しかし乍ら、パターンの細分化が進むと、適切なパターン分類は人間の感覚から離れてしまい、どのようなパターンを用意してどのように物品を分類するかが非自明となる。特に、新しい物品の適切なパラメータ値を決定するときに、パターンの情報を活用するためには、その物品が何れのパターンに分類されるかを適切に判定することが重要となる。

そこで、本発明の目的は、少ない教示データ量で、多種類の物品に対する物品認識処理のパラメータの決定を可能とすることにある。

本発明に係る認識処理方法の好ましい一例は、コンピュータが物品の認識処理を実行する認識処理方法であって、
複数の登録済み物品を含み、それぞれ代表パラメータ値を有する複数のパターンを記憶部に保管するステップと、
少なくとも、新規物品のモデルと、複数のシーン画像を有する新規物品の情報を受付けるステップと、
前記複数の各パターンの前記代表パラメータ値を用いて、前記新規物品の複数のシーン画像の認識処理を行う認識処理ステップと、
前記認識処理の結果、最もよいと判断された代表パラメータ値に対応する前記パターンを前記新規物品の最類似パターンとして選択するステップと、
選択された前記最類似パターンの前記代表パラメータ値を用いた前記新規物品の認識処理の結果が良好な場合、前記代表パラメータ値を前記新規物品の認識可能なパラメータ値として決定するステップと、を有する認識処理方法、である。

また、本発明に係る認識処置装置の好ましい例は、複数の登録済み物品を含みそれぞれ代表パラメータ値を有する複数のパターンを保管する記憶部と、
少なくとも、新規物品のモデルと、複数のシーン画像を有する新規物品の情報を受付ける受付部と、
前記複数の各パターンの前記代表パラメータ値を用いて、前記新規物品の複数のシーン画像の認識処理を行う認識処理部と、
前記認識処理部による認識処理の結果、最もよいと判断された代表パラメータ値に対応する前記パターンを、前記新規物品の最類似パターンとして選択する決定部と、
選択された前記最類似パターンの前記代表パラメータ値を用いた前記新規物品の認識処理の結果が良好な場合、前記代表パラメータ値を前記新規物品の認識可能なパラメータ値として出力する出力部と、を有する認識処理装置、である。
本発明はまた、コンピュータが上記認識処理方法を実行するプログラムとして把握され得る。

本発明によれば、少ない教示データ量で、多種類の物品に対する物品認識処理のパラメータの決定が可能となる。

実施例１による物品認識処理の概要を示す図である。 パラメータ算出の例を示す図である。 物品群のパターン分類の例を示す図である。 物品認識処理装置の機能ブロックを示す図である。 物品認識処理装置におけるパラメータ決定の処理動作を示す図である。 代表パラメータを用いた認識処理の例を示す図である。 代表パラメータを用いた認識処理の結果を判断する例を示す図である。 最類似パターンの代表パラメータ値に基づくパラメータ決定の例を示す図である。 シーン画像に物品位置情報を付与する方法の例を示す図である。 同時最適化の例を示す図である。 同時最適化の結果に基づくパラメータ決定の例を示す図である。 個別最適化の結果に基づくパラメータ決定の例を示す図である。 物品認識処理装置のハードウェアの構成例を示す図である。 実施例２によるパラメータ決定の処理動作を示す図である。 実施例２による最類似パターンの代表パラメータ値に基づくパラメータ決定およびパターン更新の例を示す図である。 実施例２による同時最適化の結果に基づくパラメータ決定およびパターン更新の例を示す図である。 実施例２による個別最適化の結果に基づくパラメータ決定およびパターン更新の例を示す図である。 実施例３によるパラメータ決定の処理動作を示す図である。 物品認識処理装置の適用例を示す斜視図である。

以下、図面を参照して本発明の好ましい実施形態を説明する。なお、実施例の説明に際して、複数の図面において同一の部位には同一符号を付して、重複する説明は省略することがある。

実施例１による物品認識処理装置におけるパラメータの決定の処理について説明する。

図１は、コンピュータの処理により実現される物品認識処理の概要を示している。
コンピュータは、認識対象物品（以下単に対象物品という）のモデルと、カメラ等の撮影手段により取得される対象物品を含むシーン画像と、認識処理のパラメータ値を入力データとして、認識処理を実行して、シーン画像中の対象物品の推定位置情報を出力データとして出力する。認識処理の処理手順や各データの詳細は用いられる認識手法に因る。物品のモデルはその物品を特徴付けるデータであり、物品のCADデータや物品の画像から抽出した特徴量などが含まれる。シーン画像は例えばRGB画像やDepth画像、もしくはその組といった形式を持つ画像である。シーン画像には一般的には一つ以上の対象物品が含まれるが、対象物品が含まれていなくても認識処理上の問題はない。

認識処理のパラメータ値θは、認識率や認識速度のような認識処理の性能を左右する値であり、一般に多次元のベクトル量として表現される。出力される推定位置情報としては、２次元画像上の物品位置に興味がある場合は画像のピクセル値集合、３次元空間上の物品位置姿勢に興味がある場合は３次元空間上の座標値集合、などが考えられる。それらは数値データであるが、図１に示すようにシーン画像上に表現できる場合もある。

認識の結果が成功か失敗かの判断は、シーン画像に物品位置情報が付与されている場合は、物品位置情報と出力される推定位置情報を比較することで可能となる。評価指標としては、２次元画像上の物品位置に興味がある場合はIoU（Intersection Over Union）、３次元空間上の物品位置姿勢に興味がある場合は平均二乗誤差、などがあり、その評価指標の値を閾値と比較する。

一方、シーン画像に物品位置情報が付与されていない場合、推定位置情報を人間に視認可能に表示装置に表示できるときは、オペレータがその表示を見て成否を判断することが可能である。この場合、シーン画像の物品位置情報は必要ないため、人手や作業コストが節約できる。

ここで、認識手法の一例を述べる。シーン画像中に含まれる対象物品の３次元位置姿勢を求めるために、シーン画像としてRGB画像とDepth画像の組を用いる。対象物品のモデルを作成するために、まず、対象物品を様々な方向から撮影して得た２次元画像からSIFT特徴点及びSIFT特徴量を計算する。SIFT（Scale-Invariant Feature Transform）は局所特徴量と呼ばれる画像特徴量の一種であり、SIFT特徴点は２次元画像のピクセル位置、SIFT特徴量は実ベクトル量として表現される。対象物品のCADモデルを用意し、得られたSIFT特徴点に対応するCADモデル上のデータ点に、対応するSIFT特徴量が紐づけられたものを、対象物品のモデルとして用いる。

コンピュータが、認識処理を実行すると、RGBシーン画像からSIFT特徴点及びSIFT特徴量が計算され、Depthシーン画像によりそれらのSIFT特徴点に対応する３次元座標値が得られる。そして、モデルとシーン画像の３次元特徴点の対応関係を特徴量の値に基づいて求め、その対応関係から両者をつなぐ変換行列を計算する。その変換行列が上記の推定位置情報に相当する。この認識手法では、SIFT特徴点・特徴量の計算に関係するパラメータ、３次元特徴点の対応関係から変換行列を求める際に関係するパラメータなどが認識処理のパラメータとなる。なお、本実施例の処理手順や効果は上記の認識手法に限定されない。

図２は、認識処理の適切なパラメータ値を算出する例を示す。
コンピュータは、対象物品のモデルと、それが含まれる複数枚のシーン画像と、シーン画像上の物品位置情報とを含む入力データを基に、最適化計算を実行して、出力データとして認識処理のパラメータ値を算出する。最適化計算は、パラメータ値に応じて値を返す評価関数を最大化するパラメータ値を用いる最適化手法の処理手順に従って実行する。これにより、評価関数の設計を通して目的に応じたパラメータ値を求めることが可能となる。例えば、評価関数を、入力した複数のシーン画像に対する認識率とすると、得られるパラメータ値は、入力した複数のシーン画像に対する認識率ができるだけ高くなることが期待される。さらに、認識処理速度に依存する項を加えることで、できるだけ高速な認識処理が可能なパラメータ値を算出することが可能である。

以下の説明では、入力した複数のシーン画像に対する認識率ができるだけ高くなるようなパラメータ値を得ることを目的とした評価関数を想定して説明する。この場合、一般的に、入力するシーン画像の多様性が大きいほど、得られるパラメータ値の適用範囲が広くなる（ロバスト性が高くなる）ことに注意する。つまり、ロバストなパラメータ値を得るためには、物品位置情報が付与されたシーン画像（教示データ）が多数枚必要となり、多大な人手や作業コストが発生する。後述するように、本実施例は、その教示データが少量でもロバスト性が高いパラメータを決定することを可能にする処理手順を含んでいる。

ここで、最適化手法の一例を述べる。最適化手法として、グリッドサーチやベイズ最適化が挙げられる。グリッドサーチは、例えば、パラメータ空間を適当な大きさのグリッドに分割し、各グリッド点に対応するパラメータ値での評価関数値を計算して、最大となるパラメータ値を選択する。ベイズ最適化は、既に計算済みのパラメータ値とその下での評価関数値に基づいて、より大きな評価関数値が得られることが期待される、パラメータ値を探索していく。認識処理のパラメータの最適化では、評価関数値を計算するために、あるパラメータ値を用いた認識処理を実行することが多く、演算コストが比較的大きい。そのため、できるだけ効率的な最適化手法が好ましい。なお、本実施例の処理手順や効果は、上記の最適化手法に限定されない。

図２の例では、入力データとして対象物品が１種類の場合を述べているが、２種類以上の物品でも構わない。後述の例において、異なる種類の物品群を同時に認識可能とするパラメータ値を求める際に上記の処理が用いられる。

図３は、物品群のパターン分類の一例を示す。図３の、横軸は複数の物品群における各物品パターン、縦軸はパラメータ値を表す。各物品の上側の縦棒は、物品ごとの要求認識性能を実現するパラメータ値の範囲を表す。ここでは簡単のため、パラメータとして１次元を想定しているが、２次元以上のものでも同様に考えることができる。図示の物品は、説明を分かりやすくするための例であり、実際のものを正確に反映しているわけではないことに留意して欲しい。要求認識性能によってそれを満たすパラメータ値は変化するが、一般に有限の幅を持つ。そのため、異なる物品同士でも同一のパラメータ値で要求認識性能を達成できる場合がある。本実施例ではこの点に着目して、要求認識性能を達成できる同一のパラメータ値が見出せる物品群を一つのパターンとする。図３の例では、パターン分けにより、５つの物品が、３つの物品から成るパターンＡと、２つの物品から成るパターンＢから成る２つのパターン群に分類される。ここで、各パターンに見出せる同一のパラメータ値を代表パラメータ値と称する。本実施例は、物品の適切なパラメータ値の決定に対する、このパターンの具体的な活用を提案する。

上記パターン分類に関して更に述べるに、本実施例におけるパターン分類は、一般に人間の感覚とは合致しない。換言すれば、要求認識性能を同時に達成するパラメータ値が存在する物品群を同一パターンとするという基準により、本パターン分類はパラメータ決定という目的にとって都合の良いパターン分類を行っていると言える。さらに、この明確な基準のために、後述するように、新規パラメータを設定する対象物品がどのパターンに分類されるかの判定を適切に行うことが可能である。次に、本パターン分類は一意ではない。できるだけ少ないパターン数にすることが重要であることが後で明らかとなるが、一意でないことで本実施例の効果が失われるわけではない。また、パターン分類は同じでも代表パラメータ値の選択に自由度がある。これも同様に本実施例の効果を失わせるわけではない。

図４は、物品認識処理装置の機能ブロックを示す。
受付部４０１は、新規物品の情報（例えばモデル情報やシーン画像）の入力を受け付ける。受付部は入力部と言ってもよい。認識処理部４０２は、受付部４０１による入力情報に対して物品の認識処理を行う。対象となる物品、シーン画像、パラメータ値は遷移元に応じて変わる。代表パラメータ値評価部４０３は、新規物品に対する代表パラメータ値の性能を評価する。代表パラメータ値ごとに、認識処理を実行し認識成否信号受付部の結果をもとに認識率を算出する。

最類似パターン決定部４０４は、複数のパターンに対応する各代表パラメータ値の間で認識率を比較して、認識率が最も高い代表パラメータ値に対応するパターンを最類似パターンとして決定する。認識率が要求値以上ならば最適パラメータ値出力部４０９へ出力し、認識率が要求値未満ならばアノテーション信号受付部４０６へ移行する。

認識成否信号受付部４０５は、認識処理部４０２による認識結果が成功か失敗かの信号を受け付ける。一例では、認識結果の画像を表示装置に表示し、その画像をオペレータが見て、認識結果の成否を判断し、その判断結果を入力部より受付ける。

アノテーション信号受付部４０６は、最類似パターンの代表パラメータ値での新規物品の失敗シーンの一部に対するアノテーション信号を受け付ける。そして、最適化部４０７による同時最適化の処理結果が要求値未満で認識性能評価部４０８から遷移した場合は、新規物品の正解シーンも対象に含める。アノテーション信号受付部４０６は、この段階でまだ正解情報が付与されていない新規物品の失敗シーンがある場合に、その一部に対するアノテーション信号を受け付けることができる。ここで、発明者は、同時最適化とは、新規物品の認識率が要求性能を満たさない場合、新規物品に対する最類似パターンを選択して、その最類似パターンに新規物品を追加して代表パラメータを置換える（更新する）こと、という（詳細は後述）。

最適化部４０７は、アノテーション信号受付部４０６で正解情報を付与された新規物品のシーン画像と最類似パターンの情報を用いて同時最適化を実行する。または、新規物品の情報に基づいて個別最適化を実行する。算出されたパラメータ値は認識性能評価部４０８で評価される。ここで、発明者は、個別最適化とは、新規物品の情報に基づいて要求性能を満たす新規パターンを作成すること、という（詳細は後述）。

認識性能評価部４０８は、最適化部４０７で算出されたパラメータ値の新規物品に対する認識率を評価し、要求値を満たすかどうかを確かめる。同時最適化の結果が要求値を満たさない場合、最適化部４０７に戻って個別最適化を実行する。

出力部４０９は、算出された新規物品の最適パラメータ値を出力して、例えば表示装置に表示する。なお、要求値未満の場合は認識不能と判断されて、最適化部４０７に戻ることになる。パターン情報ＤＢ４１０は、登録済み物品群の情報(例えばモデル情報やシーン画像)と、それらから抽出されるパターン情報を記憶する記憶部である。なお、物品認識処理装置のハードウェア構成については、図１３を参照して後述する。

図５は、物品認識処理装置におけるパラメータ決定の処理動作のフローチャートである。図５に示す処理手順により、新規物品のパラメータ決定が行われる。本実施例では、物品の認識処理を実行するために、少なくとも新規物品のモデルとシーン画像を含む入力情報を要求する。以下の説明では、１つ以上の物品のパラメータが決定されていて、その情報を基に物品のパターン分類が行われているものとする。

まず、受付部４０１が受け付けた入力情報に対して、認識処理部４０２が、複数のパターンの各代表パラメータ値を用いて、新規物品のシーン画像に対する新規物品の認識を行う（Ｓ０５）。認識処理部４０２の認識結果に基づき、認識成否信号受付部４０５からの信号に応じて、代表パラメータ評価部４０３が各代表パラメータ値に対する認識の結果を判断して、最も良いとみなされた代表パラメータ値を選択する（Ｓ１０）。なお、代表パラメータ値に対応するパターンを最類似パターンという。

ここでステップＳ０５－Ｓ１０の処理について、図６を参照して具体的に述べる。新規物品の各シーン画像に対して、複数のパターンＡ、Ｂ等の各代表パラメータ値による新規物品の認識処理を実行して、図６に示すような、推定位置情報の出力データが得られたとする。なお理解し易くするために、各推定位置情報を対応するシーン画像上に表わしている。なお、用意した新規物品の全てのシーン画像の認識処理を行っているが、必要に応じて一部のみに制限しても認識処理を行っても構わない。各推定位置情報に基づいて認識が成功したか失敗したかを判断して、各代表パラメータ値の認識性能の評価（すなわち認識率）が得られる。各パターンに対する評価を比較して評価が最も良いものを最類似パターンとして選択する。図６の例では、認識率０．９５のパターンＡが最類似パターンとして選択されている。

ここで、新規物品のシーン画像に物品位置情報が付与されていれば、代表パラメータ評価部４０３が、適切に設定された閾値を用いて認識成否の判断を自動で行うことができる。しかし、この段階では、新規物品のシーン画像に対して物品位置情報は必ずしも要求していない。そこで、本実施例では、例えば図７に示すような判断を採用する。すなわち、各推定位置情報を対応するシーン画像上に表現して、表示装置に表示する。オペレータがその表示を見て認識成否を判断して、その判断結果（成功か失敗）を入力部から入力する。

認識の結果が成功と判断された新規物品のシーン画像については、出力された推定位置情報を記憶部に保存しておき、以降そのシーン画像の物品位置情報として利用することができる。この処理により、そのシーン画像に対する新規物品の認識の結果の判断を自動で行うことが可能となる。なお、この時点で物品位置情報は最適なものとなっている保証はないため、以下の処理が重要となる。

図５に戻って、次に、最類似パターン決定部４０４が、ステップＳ１０で決定された最類似パターンの代表パラメータ値を用いた認識の結果が良好かを判断する（Ｓ２０）。これは、例えば予め設定された閾値と比較することで判断することができる。

ステップＳ２０で良好と判断された場合（Ｓ２０：ＹＥＳ）、新規物品を認識可能なパラメータ値を最類似パターンの代表パラメータ値として決定して、出力部４０９に出力する（Ｓ２１）。この場合、新規物品の適切なパラメータ値を、図２に示すような処理で算出する必要はなく、新規物品のシーン画像に物品位置情報を付与することなく決定できていることになる。図８はこの処理の一例を示しており、新規物品の最類似パターンとしてパターンＡが選択されている。図８に示すように、パターンＡの代表パラメータ値は、パターンＡの物品群の要求認識性能を満たすパラメータ範囲と新規物品の要求認識性能を満たすパラメータ範囲の両方に含まれる値となっている。

この段階で、仮に図５の以降の処理を行わない場合でも、既に少ない教示データ量でパラメータ決定を行うことができるという効果がある。以降の処理はその効果をさらに高めることができる。

ステップＳ２０で良好でないと判断された場合（Ｓ２０:ＮＯ）、アノテーション信号受付部４０６が、最類似パターンの代表パラメータ値を用いた認識処理において認識失敗と判断された新規物品のシーン画像の一部に対して、物品位置情報の付与を行う（Ｓ３０）。例えば図９に、シーン画像へ物品位置情報を付与する例を示す。図９に示すように、シーン画像を表示装置に表示して、オペレータがその表示を見て、適切な物品位置情報を入力部から入力することができる。例えば、シーン画像上のバウンディングボックスを考えている場合は、シーン画像上の４点を選択するだけでよい。

次に、最適化部４０７が新規物品のシーン画像と最類似パターンを用いてパラメータの算出を行う（Ｓ４０）。例えば、図１０に示すように、入力データとして、新規物品のモデルと物品位置情報が付与されているシーン画像に加えて、最類似パターンに関する情報を用いる。最類似パターンに関する情報として、具体的には、その最類似パターンに分類される物品のモデルやシーン画像、そこに付与されている物品位置情報、その物品のパラメータ決定の際に得られる中間データ、さらに最類似パターンの代表パラメータ値があげられる。この時点で、一般にパラメータ算出に利用可能な新規物品の物品位置情報が付与されているシーン画像は少ないため、それを補うために最も性質の近い最類似パターンの情報を援用する。この結果、新規物品の教示データが少なくても、算出されるパラメータ値は新規物品が十分に認識可能となるものとなっていることが期待できる。新規物品と最類似パターンの類似度が高いほど（例えば、ステップＳ１０で得られる最類似パターンの代表パラメータ値での新規物品の認識率が高いほど）、その可能性も高くなると考えられる。以下、このパラメータ算出を同時最適化という。

ここで、同時最適化の幾つかの具体例を述べる。第１の例は教示データの混合の例である。この例で想定している最適化処理では、入力したシーン画像の認識性能をできるだけ高めるようなパラメータ値を探索する。最類似パターンに分類される物品の教示データは、最類似パターンの代表パラメータ値を算出するための情報を含んでいると考えられる。一方、その代表パラメータ値を用いた認識の結果が成功と判断された新規物品のシーン画像は、もし適切な物品位置情報が与えられていれば、その代表パラメータ値を算出するための情報を少なくとも部分的には含んでいると考えられる。つまり、適切な物品位置情報が付与されていないそれらの新規物品のシーン画像の代わりに、最類似パターンに分類される物品の教示データを用いても、パラメータ算出においては同様の効果があると期待できる。最類似パターンの代表パラメータ値を用いた認識の結果が失敗と判断された新規物品のシーン画像の一部には、ステップＳ３０の処理で物品位置情報が付与されている。そこで、その物品位置情報と最類似パターンに分類される物品の教示データをパラメータ算出の入力データとすることで、新規物品の認識性能を十分に高くするパラメータ値が得られる。

同時最適化の第２の例は、パラメータ空間上の探索の範囲を最類似パターンの代表パラメータ値の近傍に制限する例である。この場合、入力する教示データは、最類似パターンの代表パラメータ値を用いた認識の結果が失敗と判断された新規物品のシーン画像である。シーン画像はステップＳ３０の処理で物品位置情報が付与されても構わない。最類似パターンの代表パラメータ値の近傍のパラメータ値は、最類似パターンの代表パラメータ値と同様に、最類似パターンの代表パラメータ値を用いた認識の結果が成功と判断された新規物品のシーン画像を正しく認識できることが期待される。そこで、成功と判断されたシーン画像の範囲内で入力教示データを正しく認識できるパラメータ値が見つかれば、それは新規物品の認識性能を十分に高くするパラメータ値である。
このように同時最適化により探索範囲を制限でき、演算コストを削減することができる。

次に、認識性能評価部４０８が、算出されたパラメータ値で新規物品の認識を十分にできるかを判断する（Ｓ５０）。ここでもし、物品位置情報が付与されていない新規物品のシーン画像に対する認識も考慮して判断する場合は、例えば図７に示したような方法を用いることができる。

ステップＳ５０で認識可能と判断された場合（Ｓ５０：ＹＥＳ）、算出されたパラメータ値を新規物品の認識可能なパラメータ値として決定する（Ｓ５１）。このように代表パラメータ値がそのままでは流用できない場合でも、適切なパラメータ値を算出する上で最も有用なパターンの情報を活用することで、新規物品のシーン画像に人手で付与する物品位置情報が少量であっても適切なパラメータ値を決定することができる。図１１はこの処理の一例を示しており、新規物品の最類似パターンとしてパターンＡが選択されている。図１１に示すように、パターンＡの代表パラメータ値は、新規物品の要求認識性能を満たすパラメータ範囲に含まれていないが、パターンＢの代表パラメータ値よりもパターンＡの代表パラメータ値の範囲に近くなっている。そして、同時最適化によって新規物品が認識可能なパラメータ値が、パターンＡの代表パラメータ値の比較的近傍に見出される。この段階でのパラメータ値で必ずしもパターンＡに分類される物品群が認識可能となる必要はない。

一方、ステップＳ５０で認識可能でないと判断された場合（Ｓ５０：ＮＯ）、新規物品のシーン画像で物品位置情報が付与されていないものの一部に対して、物品位置情報を付与する（Ｓ６０）。この実現方法として例えば、図９に示したような方法を用いることができる。

次にパラメータ算出を行う（Ｓ７０）。ここで、入力データとしては新規物品のモデルと物品位置情報が付与されている新規物品のシーン画像で十分である。この時点では、ステップＳ４０の処理時よりも利用可能な新規物品の教示データが多く、新規物品の認識性能を十分に高くするパラメータ値が算出される可能性は高くなっている。ここでは、この最適化を同時最適化と区別して個別最適化ということにする。

そして、認識性能評価部４０８が、算出されたパラメータ値で新規物品の認識を十分にできるかを判断する（Ｓ８０）。ここでもし、物品位置情報が付与されていない新規物品のシーン画像に対する認識も考慮して判断する場合は、例えば図７に示したような方法を用いることができる。

ステップＳ８０で認識可能と判断された場合（Ｓ８０：ＹＥＳ）、算出されたパラメータ値を新規物品の認識可能なパラメータ値として決定する（Ｓ８１）。図１２はこの処理の一例を示しており、新規物品の最類似パターンとしてパターンＡが選択されている。しかし、同時最適化で算出されたパラメータ値の性能が良くないため、新規物品の個別最適化で算出されたパラメータ値が新規物品を認識可能なパラメータ値として決定されている。

一方、ステップＳ８０で認識可能でないと判断された場合（Ｓ８０：ＮＯ）、その新規物品は現状想定している認識手法では十分な性能を達成できないこととなり、例えばパラメータ設定対象から除外して、一連の処理を終了する。

上記のように、本実施例に係るパラメータ決定の処理によれば、新規物品の適切なパラメータ値を決定する上で最も有用と期待される登録済み物品群内のパターンを選択し、その情報を活用することで、新規物品の教示データ量が少なくても適切なパラメータ決定が可能となる。

＜ハードウェア構成＞
図１３を参照して、物品認識処理装置のハードウェア構成例について説明する。物品認識処理装置１は、プロセッサ１０１、メモリ１０２、補助記憶装置１０３、入力装置１０４、出力装置１０５、及び通信IF（Interface）１０６が、内部バス１０７に接続されて構成されるコンピュータである。

プロセッサ１０１は、メモリ１０２に格納されているプログラムを実行して、適切なパラメータ算出処理を実現する。本実施例では、パラメータ算出処理に関する諸機能（図４参照）を実行するプログラムを想定するが、その他の種々のプログラムも実行されてよい。プログラム実行のための入力データや出力データは主にメモリ１０２に格納される。メモリ１０２は、例えば、変更する必要のないプログラムを格納するための不揮発性の記憶素子（例えば、ROM（Read Only Memory））と、実行するプログラム及びプログラム実行時に使用するデータを一時的に格納するための揮発性の記憶素子（例えば、RAM（Random Access Memory））とで構成されてよい。補助記憶装置１０３は、例えば磁気記憶装置（HDD：Hard Disk Drive）のような不揮発性の大容量な記憶装置を含み、プロセッサ１０１が実行するプログラム及びプログラム実行時に使用されるデータ（ＤＢ等を含むデータ）を記憶する。本実施例に係るパラメータ算出処理のプログラムは、予め補助記憶装置１０３に記憶されていて、そこから読みだされて、メモリ１０２にロードされて、プロセッサ１０１によって実行される。

入力装置１０４は、キーボードやマウスのような、オペレータからの入力を受け付ける入力部であり、プログラムの実行や入力データの指定などを可能とする。出力装置１０５は、情報を表示する表示装置や情報を印字するプリンタのような、プログラムの実行結果を可視的に出力する装置である。本実施例では、表示装置にオペレータが認識可能な形式で表示して、図８や図１０で示す処理を実現する。通信IF１０６は、認識処理装置１と他の装置とを接続して通信を制御するネットワークインターフェース装置である。

なお、このハードウェアの構成は、単体のコンピュータで構成してもよいし、あるいは、プロセッサ１０１、メモリ１０２、補助記憶装置１０３、入力装置１０４、出力装置１０５、通信IF１０６の、1または複数の構成部位が、ネットワークで接続された1または複数のコンピュータで構成されてもよい。

実施例２は、実施例１におけるパラメータ決定対象物品のパラメータ決定と同時にパターンの更新を行う。実施例１では、新規物品の登録時に既に利用可能なパターン分類の情報があることを前提としているが、実施例２ではその適切なパターン分類の情報を構築する具体的な方法を提示する。

図１４は、実施例２によるパラメータ決定処理手順の一例を示す。
実施例1に係る図５（パラメータ決定処理手順）に比べて、ステップＳ５００、Ｓ２１０，Ｓ５１０，Ｓ８１０が相違している。これらのステップの処理により、新規物品のパラメータ決定に加えて、新規物品の登録に伴う適切なパターン更新が可能となる。以下では、図５と同一の処理についてはその説明を省略して、図１４の特徴的な上記処理ステップによるパターン更新処理動作とその作用効果について述べる。

ステップＳ２１０では、新規物品を認識可能なパラメータ値として最類似パターンの代表パラメータ値が選択されるだけでなく、新規物品が分類されるパターンを最類似パターンとする。図１５にこの処理の一例を示す。新規物品の最類似パターンとしてパターンＡが選択されているため、新規物品を認識可能なパラメータ値としてパターンＡの代表パラメータ値が選択され、新規物品はパターンＡに追加される。

次にステップＳ５００では、ステップＳ４０の同時最適化により算出されたパラメータ値が新規物品に加えて最類似パターンに分類される物品群も同時に認識可能かどうかを判断する。ここで、物品位置情報が付与されていないシーン画像に対する認識も考慮して判断する場合は、例えば、図７に示す方法で実現することができる。

ステップＳ５１０では、ステップＳ５００で算出されたパラメータ値が新規物品に加えて最類似パターンに分類される物品群も同時に認識可能と判断された場合に行われる。そのパラメータ値を新規物品の認識可能なパラメータ値として決定するだけでなく、新規物品を最類似パターンに分類し、最類似パターンの代表パラメータ値を算出されたパラメータ値で置き換える。図１６にこの処理の一例を示す。新規物品の最類似パターンとしてパターンＡが選択されているが、その代表パラメータ値による新規物品の認識が良好ではないと判断されたため、同時最適化が行われ新たなパラメータ値が算出されている。その値は、パターンＡの物品群の要求認識性能を満たすパラメータ範囲と新規物品の要求認識性能を満たすパラメータ範囲の両方に含まれている値となっており、パターンＡの新しい代表パラメータ値とすることができる。そして、新規物品はパターンＡに分類される。

ステップＳ５００の判定により、このパターン更新は実施例２におけるパターン分類の基準を満たしている。さらに、このパターン更新は、パターンの数を変えずに新規物品を取り込むことができている。パターン数が増えると、ステップＳ２０やステップＳ５００における処理が増大するため、このパターン更新は好ましいといえる。また、代表パラメータ値も更新できるので、柔軟にパターン更新ができる。その際の代表パラメータ値は同時最適化により新規物品の教示データ量が少なくても算出できるという効果を奏する。

最後にステップＳ８１０では、ステップＳ７０の個別最適化で算出されたパラメータ値が新規物品を認識可能なパラメータ値として決定されるだけでなく、新規物品のみを所属物品とし、代表パラメータ値が算出されたパラメータ値である新規パターンが生成される。図１７にこの処理の一例を示す。新規物品の最類似パターンとしてパターンＡが選択されているが、その代表パラメータ値による新規物品の認識が良好ではないとみなされたため、同時最適化が行われ新たなパラメータ値が算出されている。同時最適化で算出されたパラメータ値は新規物品を十分に認識できている。しかし、パターンＡに分類される全ての物品を十分に認識することはできていないため、実施例２では個別最適化が行われる。個別最適化で算出されたパラメータ値は新規物品を十分に認識できているため、そのパラメータ値が新規物品を認識可能なパラメータ値として決定される。さらに、新規パターンＣが生成され、新規物品がそこに分類され、代表パラメータ値は個別最適化で算出されたものとなる。

ステップＳ８１０のパターン更新により、どのパターンにも分類されないと判断された新規物品は新しく生成したパターンに分類されることになる。特に、登録済み物品が一つもない状況からでも、パターンを構築することが可能となる。

ここで、上記パターン更新処理を行うための機能について説明する。図４を参照して、実施例１との相違する機能について述べる。認識性能評価部４０８は、最適化部で算出されたパラメータ値の新規物品に対する認識率を評価し、要求値を満たすかどうかを確かめる。同時最適化の場合は、新規物品だけでなく、最類似パターンに属する複数の物品（物品群）についても認識率を評価する。同時最適化の結果が要求値を満たさない場合は、アノテーション信号受付部４０６に戻る。

パターン情報ＤＢ４１０は、登録済み物品群の情報(モデル情報およびシーン画像)とそれらから抽出されるパターン情報を格納する。実施例２ではそれらの情報を、新規物品の最適パラメータを出力する際に適宜変更する。

以上、実施例２のパラメータ決定および更新によれば、新規物品の適切なパラメータ値を決定する上で最も有用と期待される登録済み物品群内のパターンを選択し、その情報を活用することで、新規物品の教示データ量が少なくても適切なパラメータ決定が可能となる。さらにその後のパラメータ決定対象物品にとって有用なパターンとなるようにパターンを更新するが可能となる。

実施例３は、実施例１のパラメータ決定において同時最適化の処理を繰り返すことができるパラメータ決定を提示する。図１８は、実施例３によるパラメータ決定処理手順の一例を示す。実施例１と対比すると、係る図４の処理手順に、新たにステップＳ５２が追加され、それによりループ処理を可能としている。ステップＳ５２以外およびそれを実現させる機能は、実施例１と実質的に同じであるためそれらの説明を省略する。

本実施例では、ステップＳ４０の同時最適化により算出されたパラメータ値がステップＳ５０で新規物品を十分には認識できないと判断された場合（Ｓ５０:ＮＯ）、新規物品のステップＳ２０で最類似パターンの代表パラメータ値による認識で認識失敗と判断された新規物品のシーン画像について、その全てに物品位置情報が付与されているかを判断する（Ｓ５２）。この判断の結果、全てに付与済みの場合（Ｓ５２：ＹＥＳ）、ステップＳ６０に移り、以後は実施例１と同様の処理手順となる。

一方、上記判断の結果、物品位置情報が付与されていないものがある場合（Ｓ５２：ＮＯ）、ステップＳ３０に戻り、物品位置情報が付与されていないシーン画像に対して、物品位置情報を付与することが可能となる。すなわち、ステップＳ４０で同時最適化が行われるが、前回の同時最適化との違いは、今回の方が新規物品の物品位置情報付与済みのシーン画像が増えていることである。そのため、算出されたパラメータ値が、ステップＳ５０において、新規物品を十分に認識できる可能性は高くなる。もし十分には認識できない場合、まだ物品位置情報を付与できるシーン画像が残っていれば、ステップＳ５２の処理で再びステップＳ３０に戻り、上述の処理を繰り返すことができる。繰り返し処理を抜ける可能性としては、ステップＳ５０で新規物品を十分に認識可能なパラメータ値が算出されたと判断される処理で（ステップＳ５１）、全ての失敗シーン画像に物品位置情報が付与済みであると判断される場合、またはステップＳ５１においてこれ以上同時最適化を行う必要性はないと判断される場合、である。

このように、実施例３によれば、実施例１と比べて、同時最適化の結果が良好になるまで徐々に新規物品への物品位置情報を付与できるため、できるだけ少ない教示データ作成コストで新規物品を十分に認識可能なパラメータ値が得られるという効果がある。

実施例４は、代表パラメータ値として複数の代表パラメータ（代表パラメータ値群という）を考慮する例である。

[実施例１の対応]
実施例１における認識処理（図５参照）では、各パターンに代表パラメータ値が一つずつ存在するとしている。一方、所属物品の認識性能を要求性能以上にするパラメータ値を複数個見出すことが可能であり、本実施例において各パターンに複数の代表パラメータ値を付与することが可能である。

例えば、最類似パターンの選択において、各パターンごとに全ての代表パラメータ値について新規物品の認識性能を評価し、最も認識性能の良い代表パラメータ値が属するパターンを最類似パターンとして選択する。パラメータ値評価の回数が増える分、演算コストや認識結果の判断に要するコストは増大するが、より粒度の細かい判定が可能となる。また、この場合、新規物品の最適パラメータ値の決定に際して活用する代表パラメータ値としては、最類似パターンの複数の代表パラメータ値の中でも最類似パターン選択時に着目した最も認識率の高い代表パラメータ値を採用することができる。

[実施例２の対応]
上記実施例１対応において、より粒度の細かい最類似パターンの選択及びより認識性能の高い最適パラメータ値の決定を実現するために、各パターンの代表パラメータ値を複数考慮する例について述べたが、実施例２対応においても同様の例を述べることができる。この場合、実施例１における変更点に加えて、パターン情報の更新に関する処理への変更が必要となる。例えば、ステップＳ５１０で最類似パターンの代表パラメータ値を変更する際に複数の代表パラメータ値の変更を行い、ステップＳ８１０で新規パターンを追加する際には代表パラメータ値を複数求めておく。前者については、ステップＳ４０とＳ５００を繰り返して必要個数の代表パラメータ値を求め、最類似パターンの既存代表パラメータ値と置き換えればよい。後者も同様に、ステップＳ７０とＳ８０を必要個数の代表パラメータ値が求まるまで繰り返せばよい。ここで、一つでも新しい代表パラメータ値が求まっていれば、代表パラメータ値となり得る他の値はその値の近くに存在することが期待できるため、探索範囲をその近傍に制限して演算コストの増大をある程度抑えることが可能である。

図１９を参照して、上記実施例１－４に係る物品認識処理装置をピッキングロボットの物品認識に適用した例について述べる。図１９において、物品認識処理装置１を実現するコンピュータは、入力装置１０４であるマウスと、出力装置１０５であるディスプレイを有している。物品認識処理装置１の通信ＩＦ１０６には通信線１９０１を介して、ロボット１９０２と、画像センサ１９０３が接続される。ロボット１９０２は物品認識処理装置１による認識の結果を受け取って所望の動作を行う。画像センサ１９０３はロボット１９０２の動作の対象となる物体１９３１や物体に対する作業シーンを撮像する。なお、センサやコンピュータは、ロボットの一部としてもよい。

図１９に示すロボットの動作が行われるまでの流れは例えば次のようである。まず、ロボット１９０２の本体またはその周辺に設置されているセンサ１９０３が取得した画像に対して、物品認識処理装置１が認識処理を実行して、認識の結果を得る。そして、コンピュータで認識の結果を適切なプログラムで解析し、適切なロボット動作を誘起する情報を得る。その情報を基にロボット１９０２に動作を行なわせる。例えば、認識対象の物体１９３１の把持、および把持した物体を所定の位置に移動させる。また、図１９の作業シーンは固定された状態で描かれているが、作業シーンを適宜変更することができる。特に実際の製造ラインのように刻々と変化する状況を用いることも可能である。

実施例１をこの適用例に適用した場合、次に効果が得られる。すなわち、ステップＳ１０などで発生する、認識の結果の成否判定をロボット１９０２の動作に基づいて判定できる。図７に示すように、認識結果を表示装置に表示する場合、オペレータが、本来は目的達成に不十分な精度でも認識成功、逆に十分な精度でも認識失敗と判断してしまう可能性は否定できない。そこで本適用例によれば、実際の目的の動作をロボットに行わせることで、より適切な判断が可能となる。

１：物品認識処理装置 １０１：プロセッサ
１０２：メモリ １０３：補助記憶装置
１０４：入力装置 １０５：出力装置
１０６：通信ＩＦ １０７：内部バス
４０１：受付部 ４０２：認識成否信号受付部
４０３：代表パラメータ値評価部 ４０４：最類似パターン決定部
４０５：パターン情報ＤＢ ４０６：アノテーション信号受付部
４０７：最適化部 ４０８：認識性能評価部
４０９：出力部 ４１０：記憶部

Claims (12)

1. コンピュータが物品の認識処理を実行する認識処理方法であって、
   複数の登録済み物品を含み、それぞれ代表パラメータ値を有する複数のパターンを記憶部に保管するステップと、
   少なくとも、新規物品のモデルと、複数のシーン画像を有する新規物品の情報を受付けるステップと、
   前記複数の各パターンの前記代表パラメータ値を用いて、前記新規物品の複数のシーン画像の認識処理を行う認識処理ステップと、
   前記認識処理の結果、最もよいと判断された代表パラメータ値に対応する前記パターンを前記新規物品の最類似パターンとして選択するステップと、
   選択された前記最類似パターンの前記代表パラメータ値を用いた前記新規物品の認識処理の結果が良好な場合、前記代表パラメータ値を前記新規物品の認識可能なパラメータ値として決定するステップと、
   を有する認識処理方法。
2. 前記最類似パターンの前記代表パラメータ値を用いた前記新規物品の認識処理（再認識処理）の結果が良好でない場合、
   前記認識処理の結果、失敗と判断された前記新規物品の前記複数のシーン画像の少なくとも１つを選択し、
   選択された前記シーン画像に物品位置情報を付与し、
   選択された前記シーン画像と、前記物品位置情報と、前記新規物品の前記モデルと、前記最類似パターンの前記代表パラメータ値または前記最類似パターンの前記代表パラメータ値を算出するための情報と、に基づいて、新たなパラメータ値を算出し、
   前記新規物品の前記モデルと、前記新たなパラメータ値を用いて、前記新規物品の前記複数のシーン画像に対して前記新規物品の認識処理を行い、
   前記認識処理の結果が良好な場合、前記新たなパラメータ値を前記新規物品の認識可能なパラメータ値として決定する、
   請求項１に記載の認識処理方法
3. 前記複数の各パターンは、パターン情報として、該パターンに分類される全ての前記登録済み物品のモデルと、該パターンに分類される全ての前記登録済み物品が撮像されている複数のシーン画像を少なくとも有し、
   前記最類似パターンの前記代表パラメータ値を用いた前記認識処理の結果、良好な場合、前記新規物品の前記モデルと、前記新規物品が撮像されている前記複数のシーン画像と、を前記最類似パターンの前記パターン情報に加えて、前記新規物品を前記最類似パターンに分類し、
   前記新規物品の前記モデルと、前記新たなパラメータ値を用いて、前記新規物品の前記複数のシーン画像に対して前記新規物品の認識処理（再認識処理）の結果が良好な場合、前記最類似パターンに分類される全ての登録済み物品のそれぞれについて、当該登録済み物品の前記モデルと、前記新たなパラメータ値とを用いて、当該登録済み物品が撮影されている前記複数のシーン画像に対して当該登録済み物品の認識処理を行い、
   前記最類似パターンに分類される全ての前記登録済み物品の認識処理の結果が良好な場合、前記新規物品の前記モデルと、前記新規物品が撮影されている前記複数のシーン画像を前記最類似パターンの前記パターン情報に追加し、
   前記新たなパラメータ値で前記最類似パターンの前記代表パラメータ値を置き換え、前記新規物品を前記最類似パターンに分類する、
   請求項２に記載の認識処理方法。
4. 全ての前記認識処理の実行の結果が良好でない場合、
   前記新規物品の前記複数のシーン画像の一部を選択し、
   選択された前記シーン画像それぞれに対して物品位置情報を付与し、
   前記新規物品の前記複数のシーン画像で物品位置情報が付与されているものの一部と、前記物品位置情報と、前記新規物品の前記モデルと、に基づいて、新たなパラメータ値を算出し、
   前記新規物品の前記モデルと、前記新たなパラメータ値を用いて、前記新規物品の前記複数のシーン画像に対して前記新規物品の認識処理（再認識処理）を実行し、
   前記再認識処理の結果が良好の場合、前記新たなパラメータ値を前記新規物品の認識可能なパラメータ値と決定し、
   前記新規物品の前記モデルと、前記新規物品が撮像されている前記複数のシーン画像とを少なくともパターン情報として保持し、前記新たなパラメータ値を代表パラメータ値とする新たなパターンを作成し、前記新規物品を前記新たなパターンに分類する、
   請求項３に記載の認識処理方法。
5. 前記物品のシーン画像に対する前記物品の推定位置情報を、前記シーン画像と共に表示装置に表示し、
   前記表示に基づく前記認識処理の結果を入力装置より入力させる、
   請求項１に記載の認識処理方法。
6. ロボットの物体認識処理のパラメータを決定対象としており、
   前記ロボットは、前記認識処理と、任意の物品のモデルと、任意のパラメータ値と、を用いて実行された、前記物品のシーン画像に対する前記物品の認識で推定された前記物品の推定位置情報に基づいて所定の動作を実行し、
   前記動作に基づいて、前記認識処理の結果を判断する、
   請求項１に記載の認識処理方法。
7. 前記再認識処理の結果が良好でなく、かつ前記最類似パターンの前記代表パラメータ値を用いた前記認識処理の結果が失敗と判断された前記新規物品の前記複数のシーン画像で物品位置情報が付与されていないものが存在する場合、請求項２に記載の処理を再度実行する、
   請求項２に記載の認識処理方法。
8. 前記複数の各パターンは、当該パターンに分類される複数の前記登録済み物品を認識可能とする複数のパラメータ値を持つ代表パラメータ値群であり、
   前記新規物品の前記複数のシーン画像に対して、前記複数の各パターンの前記代表パラメータ値群を用いて、前記新規物品の認識処理を実行し、
   前記認識処理の結果、最良の前記パラメータ値を有する前記代表パラメータ値群に対応する前記パターンを前記新規物品の最類似パターンとして選択し、
   前記最類似パターンの前記代表パラメータ値群に属する前記パラメータ値を用いた前記認識処理の結果が良好な場合、前記最類似パターンの前記代表パラメータ値群に属する前記パラメータ値を、前記新規物品の認識可能なパラメータ値と決定する、
   請求項１に記載の認識処理方法。
9. 複数の登録済み物品を含みそれぞれ代表パラメータ値を有する複数のパターンを保管する記憶部と、
   少なくとも、新規物品のモデルと、複数のシーン画像を有する新規物品の情報を受付ける受付部と、
   前記複数の各パターンの前記代表パラメータ値を用いて、前記新規物品の複数のシーン画像の認識処理を行う認識処理部と、
   前記認識処理部による認識処理の結果、最もよいと判断された代表パラメータ値に対応する前記パターンを、前記新規物品の最類似パターンとして選択する決定部と、
   選択された前記最類似パターンの前記代表パラメータ値を用いた前記新規物品の認識処理の結果が良好な場合、前記代表パラメータ値を前記新規物品の認識可能なパラメータ値として出力する出力部と、
   を有する認識処理装置。
10. 前記最類似パターンの前記代表パラメータ値を用いた前記新規物品の前記認識処理の結果が良好でない場合、
    前記認識処理の結果、失敗と判断された前記新規物品の前記複数のシーン画像の少なくとも１つを選択し、
    選択された前記シーン画像に物品位置情報を付与し、
    前記決定部は、選択された前記シーン画像と、前記物品位置情報と、前記新規物品の前記モデルと、前記最類似パターンの前記代表パラメータ値または前記最類似パターンの前記代表パラメータ値を算出するための情報と、に基づいて、新たなパラメータ値を算出し、
    前記認識処理部は、前記新規物品の前記モデルと、前記新たなパラメータ値を用いて、前記新規物品の前記複数のシーン画像に対して前記新規物品の認識処理を行い、
    前記決定部は、前記認識処理の結果が良好な場合、前記新たなパラメータ値を前記新規物品の認識可能なパラメータ値として決定する、
    請求項９に記載の認識処理装置
11. 前記複数の各パターンは、パターン情報として、該パターンに分類される全ての前記登録済み物品のモデルと、該パターンに分類される全ての前記登録済み物品が撮像されている複数のシーン画像を少なくとも有し、
    前記決定部は、前記最類似パターンの前記代表パラメータ値を用いた前記認識処理の結果、良好な場合、前記新規物品の前記モデルと、前記新規物品が撮像されている前記複数のシーン画像と、を前記最類似パターンの前記パターン情報に加えて、前記新規物品を前記最類似パターンに分類し、
    前記認識処理部は、前記新規物品の前記モデルと、前記新たなパラメータ値を用いて、前記新規物品の前記複数のシーン画像に対して前記新規物品の認識処理（再認識処理）の結果が良好な場合、前記最類似パターンに分類される全ての登録済み物品のそれぞれについて、当該登録済み物品の前記モデルと、前記新たなパラメータ値とを用いて、当該登録済み物品が撮影されている前記複数のシーン画像に対して当該登録済み物品の認識処理を行い、
    前記決定部は、前記最類似パターンに分類される全ての前記登録済み物品の認識処理の結果が良好な場合、前記新規物品の前記モデルと、前記新規物品が撮影されている前記複数のシーン画像を前記最類似パターンの前記パターン情報に追加し、
    前記新たなパラメータ値で前記最類似パターンの前記代表パラメータ値を置き換え、前記新規物品を前記最類似パターンに分類する、
    請求項１０に記載の認識処理装置。
12. 全ての前記認識処理の実行の結果が良好でない場合、
    前記新規物品の前記複数のシーン画像の一部を選択し、
    選択された前記シーン画像それぞれに対して物品位置情報を付与し、
    前記決定部は、前記新規物品の前記複数のシーン画像で物品位置情報が付与されているものの一部と、前記物品位置情報と、前記新規物品の前記モデルと、に基づいて、新たなパラメータ値を算出し、
    前記認識処理部は、前記新規物品の前記モデルと、前記新たなパラメータ値を用いて、前記新規物品の前記複数のシーン画像に対して前記新規物品の認識処理（再認識処理）を実行し、
    前記決定部は、前記再認識処理の結果が良好の場合、前記新たなパラメータ値を前記新規物品の認識可能なパラメータ値と決定し、
    前記新規物品の前記モデルと、前記新規物品が撮像されている前記複数のシーン画像とを少なくともパターン情報として保持し、前記新たなパラメータ値を代表パラメータ値とする新たなパターンを作成し、前記新規物品を前記新たなパターンに分類する、
    請求項１１に記載の認識処理装置。

Images