JP7436633B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に係り、特に、３次元センサにより取得された３次元データを用いて画像処理を行う画像処理装置及び画像処理方法に関する。

３次元センサにより取得された３次元データを用いて画像処理を行う画像処理装置としては、例えば、特許文献１及び特許文献２に記載された装置がある。

特許文献１には、３次元物体を、２次元の画像処理で検出する装置が記載されている。具体的には、特許文献１に記載の装置は、一対の撮像手段で３次元物体を撮像し、画像を細分した各領域について視差データを算出する。そして、その装置は、視差データに基づき、撮像手段からの距離に基づいて、各領域が対応するグレイスケール値を持つグレイスケール画像を生成する。３次元物体はモデル化され、モデルとグレイスケール画像中の画像領域との類似度を表す相関値を算出する。モデルは、撮像手段が位置する方向から３次元物体を見たときの形状的特徴を有する２次元画像であるとともに、２次元画像を細分した各領域は、３次元物体の対応する部分の撮像手段からの距離を表すグレイスケール値を有している。相関値は、モデルのグレイスケール値と、グレイスケール画像中の該画像領域のグレイスケール値とに基づいて算出される。そして、装置はモデルと最も高い相関値を持つ画像領域を、グレイスケール画像において検出することにより、３次元物体を検出する。

特許文献２には、３次元的な動きを高精度に検出できる動き検出装置が記載されている。具体的には、特許文献２の動き検出装置は、距離画像を取得する画像取得手段と、この画像取得手段で取得した距離画像を所定の大きさの小領域に分割する分割手段と、画像取得手段で連続して取得した距離画像間で、類似する小領域毎に平面方向の動きを検出する第１の検出手段と、小領域毎に奥行き情報を算出する算出手段と、この算出手段で算出された奥行き情報を基に類似する小領域間で奥行き方向の動きを検出する第２の検出手段とを具備している。

特開２００７－２１３３５３号公報 特開２０００－２２２５８５号公報

距離画像を３次元センサからの距離に基づいて作成し、距離画像に対して画像処理を行う場合、検出しようとする物体の面が３次元センサの光軸に対して垂直でないと、３次元センサから３次元センサの光軸に対して垂直でない面までの距離が一定にならないため、物体を検出しにくくなる。
このため、検出しようとする物体の面が３次元センサの光軸に対して垂直でない場合に物体を検出しやすくすることが望まれている。

（１） 本開示の第１の態様の画像処理装置は、３次元センサにより取得された３次元データに基づいて、該３次元データの中の各点と、基準面との間の距離を算出する距離算出部と、
前記距離算出部により算出された前記距離を基に計算された値を画素値とする距離画像を作成する距離画像作成部と、
前記距離画像に対して画像処理を行う画像処理部と、を備えた画像処理装置である。

（２） 本開示の第２の態様の画像処理方法は、３次元センサにより取得された３次元データに基づいて、該３次元データの中の各点と、基準面との間の距離を算出し、
算出された前記距離を基に計算された値を画素値とする距離画像を作成し、
前記距離画像に対して画像処理を行う、
画像処理装置の画像処理方法である。

本開示の態様によれば、３次元センサの光軸に対して物体が傾いていても、物体を検出しやすくなる。

本発明の一実施形態の画像処理装置の一構成例を示すブロック図である。 画像処理装置に含まれる３次元センサがワークを載置する載置面を検出する方法を示す図である。 ３次元センサとワークの配置、及び距離画像を載置面からの距離が輝度となるように変換した画像を示す図である。 ３次元センサとワークの表面の各点との間の距離を基に計算した値を画素値として距離画像を作成する場合を説明する図である。 本実施形態の画像処理部の動作を示すフローチャートである。 画像処理装置に含まれる３次元センサと載置面上に載置された六角柱のワークとを示す図である。

以下、本発明の実施形態について図面を用いて詳細に説明する。
図１は本発明の一実施形態の画像処理装置の一構成例を示すブロック図である。

図１に示すように、画像処理装置１０は、３次元センサ１０１、基準面算出部１０２、距離算出部１０３、距離画像作成部１０４、及び画像処理部１０５を備えている。
図１に示すように、３次元センサ１０１は、ワーク２０及びワーク２０が置かれる載置面３０を撮像し、３次元データを基準面算出部１０２及び距離算出部１０３に出力する。３次元データは、３次元点群又は距離画像を例示しているが、これに限定されない。他の任意の３次元データを適用してもよい。

ワーク２０は検出対象となる物体となる。載置面３０は例えば、ワーク２０が載置されるテーブルの面である。図１に示すように、載置面３０及びワーク２０は３次元センサ１０１の光軸に対して傾いて配置されている。ここでは、ワーク２０は台形台を例示する。

３次元センサ１０１としては、例えば、２つのカメラの画像間でマッチングを行うことで検出対象となるワーク２０との間の距離を計測するステレオカメラ、プロジェクタから投影するパターンの画像とカメラの画像との間でマッチングを行うことで検出対象となるワーク２０との間の距離を計測するステレオカメラを用いることができる。また、３次元センサ１０１は、プロジェクタからパターンを投影した条件で、２台のカメラの画像間でマッチングを行うことで検出対象となるワーク２０との間の距離を計測するステレオカメラを用いることもできる。

基準面算出部１０２は、３次元センサ１０１から出力される３次元データからワーク２０を検出するための基準面を求める。基準面は、基準面算出部１０２が３次元センサ１０１により出力される３次元データに基づいて求める代わりに、設計値を使う、別の計測方法で計測するなどの方法で求めることもできる。基準面は３次元センサ１０１と平行でない面であり、例えば、載置面３０、又は載置面３０と平行な平面とする。載置面３０と平行な平面には、載置面３０と接するワーク２０の面が含まれる。以下の説明では、基準面を載置面３０とした場合について説明する。

図２は画像処理装置に含まれる３次元センサがワーク２０を載置する載置面を検出する方法を示す図である。
基準面算出部１０２は、３次元センサ１０１により出力される３次元データに基づいて、３次元センサ１０１の３次元センサ１０１の３次元座標系における、３次元センサ１０１と載置面３０上の少なくとも３点、例えば図２に示す載置面３０上の３点Ａ_１，Ａ_２，Ａ_３の３次元座標を求める。基準面算出部１０２はワーク２０の周囲の載置面３０を検出し、載置面３０の３点Ａ_１，Ａ_２，Ａ_３を決定することができる。
基準面算出部１０２は、図２に示す載置面３０上の３点Ａ_１，Ａ_２，Ａ_３の３次元座標値から、３次元センサ１０１の３次元座標系（以下、「３次元座標系」という）における載置面３０の式を求めることができる。載置面３０の式はａＸ＋ｂＹ＋ｃＺ＋ｄ＝０で表すことができる。以下、３次元座標系における各軸の座標を「３次元座標」という。

距離算出部１０３は、３次元センサ１０１から出力される３次元データに基づいて求められる、ワーク２０及び載置面３０の表面の各点の３次元座標と、基準面算出部１０２から算出された載置面３０の式とに基づいて、載置面３０（基準面となる）とワーク２０の表面の各点との間の距離を算出することができる。
具体的には、３次元センサ１０１に対向するワーク２０の面の任意の点の３次元座標（Ｘ_０，Ｙ_０，Ｚ_０）からａＸ＋ｂＹ＋ｃＺ＋ｄ＝０で表される載置面３０までの距離は、数式１（以下の数１）で示される。

そうすることで、例えば図３に示すように、載置面３０とワーク２０の面２０ａとの間の距離は一定の距離Ｄ_１となる。

距離画像作成部１０４は、算出した載置面３０とワーク２０の表面の各点との間の距離を基に計算した値を画素値とする距離画像を作成する。図３では、ワーク２０の面２０ａの角の点Ｂの画素値をＤ１とした場合を示している。ここで、距離画像とは、物体の表面を計測した画像であって、撮像された画像上の各画素が、算出した載置面３０とワーク２０の表面の各点との間の距離を基に計算した値を画素値とする画像を意味する。

画像処理部１０５は、距離画像に対して画像処理を行う。
例えば、画像処理部１０５は、距離画像を、載置面３０とワーク２０の表面の各点との間の距離を基に計算した値（画素値）が輝度となる、画素値を階調で示す画像に変換する。画素値を階調で示す画像は、例えば、単色の有彩色の画像、グレイスケール画像である。
距離画像を、画素値を階調で示す画像に変換すると、図３に示すように、載置面３０からワーク２０の面２０ａまでの距離が一定の距離Ｄ_１であるため、ワーク２０の面２０ａの輝度は面内で同じ輝度になる。図３では画素値を階調で示す画像がグレイスケール画像である場合を示している。ワーク２０の面２０ａの輝度が面内で同じ輝度になることで、ワーク２０を検出しやすくなる。なお、本実施形態では、図３に示すように、載置面３０から最も距離が長い（載置面３０から遠い）ワーク２０の面２０ａの輝度が最も高くなるようにし、載置面３０から距離が短くなる（載置面３０に近づく）に従って輝度が低くなるようにしている。
比較のために、図４を用いて、３次元センサ１０１とワーク２０の表面の各点との間の距離を基に計算した値を画素値として距離画像を作成する場合について説明する。図４に示すように、３次元センサ１０１の３次元座標系（Ｘ，Ｙ，Ｚ）のＺ方向の、ワーク２０の面２０ａの角の点Ｂと３次元センサ１０１との間の距離Ｄ_２と、ワーク２０の面２０ａの角の点Ｃと３次元センサ１０１との間の距離Ｄ_３とでは距離が異なる。よって、ワーク２０の面２０ａと３次元センサ１０１との間の距離を基に計算した値を画素値とする距離画像を作成し、グレイスケール画像に変換してもワーク２０の面２０ａの輝度は面内で同じ輝度にならない。
さらに、画像処理部１０５は、変換されたグレイスケール画像等の、画素値を階調で示す画像に対して液晶表示装置等の表示装置に表示するための画像処理を行ってもよい。

図１に示した画像処理装置１０に含まれる３次元センサ１０１を除く機能ブロックを実現するために、画像処理装置１０は、ＣＰＵ（Central Processing Unit）等の演算処理装置を備えるコンピュータで構成することができる。また、画像処理装置１０は、アプリケーションソフトウェアやＯＳ（Operating System）等の各種の制御用プログラムを格納したＨＤＤ（Hard Disk Drive）等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置も備える。

そして、画像処理装置１０において、演算処理装置が補助記憶装置からアプリケーションソフトウェアやＯＳを読み込み、読み込んだアプリケーションソフトウェアやＯＳを主記憶装置に展開させながら、これらのアプリケーションソフトウェアやＯＳに基づいた演算処理を行なう。また、この演算結果に基づいて、画像処理装置１０が備える各種のハードウェアを制御する。これにより、本実施形態の機能ブロックは実現される。つまり、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。

次に、画像処理装置１０の動作について図５を用いて説明する。
ステップＳ１１において、３次元センサ１０１はワーク２０及びワーク２０が置かれる載置面３０を撮像し、３次元データを基準面算出部１０２及び距離算出部１０３に出力する。

ステップＳ１２において、基準面算出部１０２は、３次元データに基づいて、載置面３０上の少なくとも３点、例えば図３に示す載置面３０上の３点Ａ_１，Ａ_２，Ａ_３の３次元座標を求める。
そして、基準面算出部１０２は、３次元センサ１０１と図２に示す載置面３０上の３点Ａ_１，Ａ_２，Ａ_３の３次元座標から、３次元センサ１０１の座標系における載置面３０の式を求める。載置面３０の式はａＸ＋ｂＹ＋ｃＺ＋ｄ＝０で表すことができる。
基準面算出部１０２は、求めた載置面３０の式（ａＸ＋ｂＹ＋ｃＺ＋ｄ＝０）を距離算出部１０３に出力する。

ステップＳ１３において、距離算出部１０３は、３次元センサ１０１から出力される３次元データに基づいて求められる、ワーク２０及び載置面３０の表面の各点の３次元座標と、基準面算出部１０２から算出された載置面３０の式とに基づいて、載置面３０（基準面となる）とワーク２０の表面の各点との間の距離を算出する。
具体的には、３次元センサ１０１に対向するワーク２０の面の任意の点の３次元座標（Ｘ_０，Ｙ_０，Ｚ_０）からａＸ＋ｂＹ＋ｃＺ＋ｄ＝０で表される載置面３０までの距離は、上述した数式１（以下の数１）で示される。

ステップＳ１４において、距離画像作成部１０４は、算出した載置面３０とワーク２０の表面の各点との間の距離を基に計算した値を画素値とする距離画像を作成する。

ステップＳ１５において、画像処理部１０５は、距離画像に対して画像処理を行う。
例えば、上述したように、距離画像を、載置面３０とワーク２０の表面の各点との間の距離を基に計算した値が輝度となるグレイスケール画像に変換する。グレイスケール画像に変換すると、図３に示すように、載置面３０からワーク２０の面２０ａまでの距離が一定の距離Ｄ_１であるため、ワーク２０の面２０ａの輝度は面内で同じ輝度になる。

以上説明した本実施形態では、センサの光軸に対してワークが傾いている場合でもワークに対して正対した距離画像を得ることができるように、基準面となるワークの載置面を指定して、指定された載置面とワークの表面の各点との距離を基に計算した値を画素値とする距離画像を作成し、さらに画像処理を行う。すると、ワークを検出しやすくなる。

本実施形態の画像処理装置は、工作機械におけるテーブル上のワークの検出、ロボットのアームでワークを搬送する場合における、テーブル上のワークの検出等に用いることができる。

＜基準面を載置面以外の面とした例＞
以上説明した実施形態では基準面を、ワークを載置する載置面又は載置面に平行な面としたが、載置面及び載置面に平行な面以外の任意の面を基準面としてもよい。本例では、基準面を載置面及び載置面に平行な面以外の任意の面とした例について説明する。以下の説明では、ワークが六角柱である場合について説明する。

図６は、画像処理装置に含まれる３次元センサと載置面上に載置された六角柱のワークとを示す図である。
図６に示すように、基準面は載置面３０に対して傾いた六角柱のワーク２１の側面とされており、この基準面は３次元センサ１０１から撮像することができない。
そこで、基準面となる六角柱のワーク２１の側面の式を求めるために、３次元センサ１０１と同様な構成の他の３次元センサを、六角柱のワーク２１の側面を観測できるように配置する。他の３次元センサを設けることで、基準面算出部１０２は、他の３次元センサの座標系におけるワーク２１の側面の式を求めることができる。基準面算出部１０２は、３次元センサ１０１の座標系と他の３次元センサの座標系とのキャリブレーションを予め行うことで、他の３次元センサの座標系におけるワーク２１の側面の式を求め、この側面の式から３次元センサ１０１の座標系におけるワーク２１の側面の式を求めることができる。

距離算出部１０３は、載置面３０の式の代わりにワーク２１の側面の式を用いる点を除き既に説明した基準面を載置面とした例と同様に、３次元センサ１０１から出力される３次元データに基づいて算出される、ワーク２１及び載置面３０の表面の各点の３次元座標と、基準面算出部１０２から算出されたワーク２１の側面の式とに基づいて、ワーク２１の側面（基準面となる）とワーク２１の表面の各点との間の距離を算出する。
図６に示すように、基準面からワーク２１の面２１ａまでの距離は一定の距離Ｄ_４となる。

距離画像作成部１０４は、３次元センサ１０１から出力される３次元データに基づいて算出した、ワーク２１の側面とワーク２１の表面の各点との間の距離を基に計算した値を画素値とする距離画像を作成する。画像処理部１０５が、例えば、距離画像をグレイスケール画像に変換すると、基準面からワーク２１の面２１ａまでの距離が一定の距離Ｄ_４であるため、ワーク２１の面２１ａの輝度は面内で同じ輝度になる。ワーク２１の面２１ａの輝度が面内で同じ輝度になることで、ワーク２１を検出しやすくなる。

以上本発明に係る実施形態について説明したが、本実施形態の画像処理部の各構成部は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。例えば、電子回路により実現してもよい。また、上記各構成部のそれぞれの協働により行なわれる画像処理方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ読み取り可能な記録媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ読み取り可能な記録媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ読み取り可能な記録媒体の例は、磁気記録媒体（例えば、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ(Read Only Memory)、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。

上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

例えば、上述した実施形態では、物体として、工作機械における加工対象物であるワークを取り上げて説明したが、物体は、ワークに限定されず、例えば、ワーク以外の製品、商品又は、製品若しくは商品が挿入された段ボール等の包装資材であってもよい。

また、基準面となる載置面３０が予め決まっている場合には、基準面算出部１０２の代わりに載置面３０又はワーク２１の側面の式を記憶する基準面記憶部を設けてもよい。距離算出部１０３は３次元センサ１０１とワーク２０との間の距離画像を３次元センサ１０１から受けたときに、載置面３０又はワーク２１の側面の式を基準面記憶部から読みだして、載置面３０又はワーク２１の側面からの距離を画素値とする距離画像に変換してもよい。

また、３次元センサ１０１は画像処理装置１０内に設けなくともよく、画像処理装置１０外に設けてもよい。
さらに、ワークは台形台、六角柱に限定されず、他の形状、例えば、立方体、直方体であってもよい。

本開示による画像処理装置及び画像処理方法は、上述した実施形態を含め、次のような構成を有する各種各様の実施形態を取ることができる。

（１） 本開示の第１の態様は、３次元センサにより取得された３次元データに基づいて、該３次元データの中の各点と、基準面との間の距離を算出する距離算出部と、
前記距離算出部により算出された前記距離を基に計算された値を画素値とする距離画像を作成する距離画像作成部と、
前記距離画像に対して画像処理を行う画像処理部と、を備えた画像処理装置である。
この画像処理装置によれば、３次元センサの光軸に対して物体が傾いていても、物体を検出しやすくなる。

（２） 前記３次元データは物体の３次元データを含み、
前記基準面は、前記物体の載置面又は前記載置面と平行な面である上記（１）に記載の画像処理装置。

（３） 前記３次元データは物体の３次元データを含み、
前記基準面は、前記物体の面である上記（１）に記載の画像処理装置。

（４） 前記物体は、ワークである上記（２）又は上記（３）に記載の画像処理装置。

（５） 前記３次元センサを備えた上記（１）から（４）のいずれかに記載の画像処理装置。

（６） 前記基準面を前記３次元データに基づいて算出する基準面算出部を備えた上記（１）から（５）のいずれかに記載の画像処理装置。

（７） 前記画像処理は、前記距離画像を、前記画素値を階調で示す画像に変換する処理を含む上記（１）から（６）のいずれかに記載の画像処理装置。

（８） 前記画素値を階調で示す画像は、グレイスケール画像である上記（７）に記載の画像処理装置。

（９） 本開示の第２の態様は、３次元センサにより取得された３次元データに基づいて、該３次元データの中の各点と、基準面との間の距離を算出し、
算出された前記距離を基に計算された値を画素値とする距離画像を作成し、
前記距離画像に対して画像処理を行う、
画像処理装置の画像処理方法である。
この画像処理方法によれば、３次元センサの光軸に対して物体が傾いていても、物体を検出しやすくなる。

１０ 画像処理装置
２０、２１ ワーク
３０ 載置面
１０１ ３次元センサ
１０２ 基準面算出部
１０３ 距離算出部
１０４ 距離画像作成部
１０５ 画像処理部

Claims (6)

1. ３次元センサにより取得された、物体が載せられ、基準面である前記物体の載置面の３次元データに基づいて、前記基準面を算出する基準面算出部と、
   前記３次元センサにより取得された前記物体の３次元データに基づいて、前記物体の３次元データの中の各点と前記算出された基準面との間の距離を算出する距離算出部と、
   前記距離算出部により算出された前記距離を基に計算された値を画素値とする距離画像を作成する距離画像作成部と、
   前記距離画像に対して画像処理を行う画像処理部と、を備え、
   前記載置面は、前記３次元センサの光軸に対して垂直な方向から傾いており、
   前記基準面算出部は、前記３次元センサにより取得された、前記物体の周囲の前記基準面の３次元データに基づいて、前記基準面を算出する、画像処理装置。
2. 前記物体は、ワークである請求項１に記載の画像処理装置。
3. 前記３次元センサを備えた請求項１又は請求項２に記載の画像処理装置。
4. 前記画像処理は、前記距離画像を、前記画素値を階調で示す画像に変換する処理を含む請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記画素値を階調で示す画像は、グレイスケール画像である請求項４に記載の画像処理装置。
6. ３次元センサにより取得された、物体が載せられ、基準面である前記物体の載置面の３次元データに基づいて、前記基準面を算出し、
   前記３次元センサにより取得された前記物体の３次元データに基づいて、前記物体の３次元データの中の各点と前記算出された基準面との間の距離を算出し、
   算出された前記距離を基に計算された値を画素値とする距離画像を作成し、
   前記距離画像に対して画像処理を行う、
   画像処理装置の画像処理方法であって、
   前記載置面は、前記３次元センサの光軸に対して垂直な方向から傾いており、
   前記３次元センサにより取得された、前記物体の周囲の前記基準面の３次元データに基づいて、前記基準面を算出する、画像処理方法。

Images