JP7544342B2 - 三次元計測システムおよび三次元計測方法 - Google Patents

Description

本発明は、光沢面を有する対象物の三次元計測システムおよび三次元計測方法に関するものである。

三次元計測技術は、例えば、工場の製造ラインにおいて、ロボットハンドで対象物であるワークを把持する際、ワーク位置を認識するために用いられる。三次元計測技術として、例えば、プロジェクタからワークに対してパターン画像を投影し、カメラによりワークからの反射光を撮影して解析する方法が知られている。

特許文献１には、複数種類の符号化パターン画像からなる符号化パターン画像列を順に投影する投影部と、投影部にて符号化パターン画像が投影される対象物を順に撮像して、複数の撮影画像からなる撮影画像列を取得する撮像部と、符号化パターン画像列および撮影画像列を用いて、相互反射に対応した復号化を行う復号化部と、復号化部における復号化の結果および投影部と撮像部との幾何的関係を用いて、符号化パターン画像と撮影画像との対応付けを行うことで対象物の三次元形状を計測する計測部と、を備えた三次元形状計測システムが開示されている。

特開２０２０－０２０６４０号公報

しかしながら、光沢面を有する金属等の鏡面反射の割合が大きい対象物において、位相シフト法等のアクティブ三次元計測方法を用いる場合、計測精度が悪化する、または、計測が不可能になることが知られている。

そこで、本発明では、光沢面を有する対象物について高精度に三次元計測可能なシステムおよび方法を提供することを目的とする。

本発明の三次元計測システムは、
正弦波状のパターン光を、位相シフトしながら対象物に対して複数回照射する投影部と、
前記対象物で反射された反射光を撮影する撮像部と、
位相シフト法を用いて撮影画像から位相画像を生成する計測処理部と、
を有し、
前記計測処理部は、前記計測処理部が位相シフト法を実行する前および後の少なくとも一方の画像を、鏡面反射成分の影響を低減した画像を生成するように学習したＣＮＮに入力する。

本発明の三次元計測システムでは、前記計測処理部は、前記位相画像および前記位相画像をＣＮＮで処理した画像の一方からエピポーラ拘束条件を利用してさらなる位相画像を生成することが好ましい。

本発明の三次元計測システムでは、前記計測処理部は、
位相シフト法を用いて撮影画像から位相画像を生成し、
前記位相画像をＣＮＮに入力して、鏡面反射成分の影響を低減した位相画像を生成し、
鏡面反射成分の影響を低減した前記位相画像からエピポーラ拘束条件を利用してさらなる位相画像を生成し、
前記さらなる位相画像から三角測量の原理を用いて三次元点群を生成することが好ましい。

本発明の三次元計測方法では、
正弦波状のパターン光を、位相シフトしながら対象物に対して複数回照射し、
前記対象物で反射された反射光を撮影し、
位相シフト法を用いて撮影画像から位相画像を生成し、
位相シフト法を実行する前および後の少なくとも一方の画像を、鏡面反射成分の影響を低減した画像を生成するように学習したＣＮＮに入力する。

本発明により、光沢面を有する対象物について高精度に三次元計測可能なシステムおよび方法を提供することができる。

本発明の一実施形態による三次元計測システムの構成を示す図である。 本発明の一実施形態による三次元計測方法のフローを示す図である。 互いに位相シフトされた正弦波状のパターン光を示す。 本発明の一実施形態において構築したＣＮＮを示す。 エピポーラ拘束による修正を説明するための図である。 本発明の変形実施形態による三次元計測方法のフローを示す図である。 本実施例において、ＣＮＮの学習データを生成するためのシミュレータによって生成された２つのシーンを示す。 （ａ）はばら積みにした対象物の画像を示し、（ｂ）は本実施例により得られた三次元点群の画像を示す。

図１は、本発明の一実施形態による三次元計測システムの構成を示す図である。
三次元計測システム１０は、プロジェクタである投影部１と、カメラである撮像部２と、コンピュータである計測処理部３と、を有する。
投影部１は、正弦波状のパターン光を、位相シフトしながら対象物４に対して複数回照射する。撮像部２は、対象物４で反射された反射光を撮影する。

図２は、本発明の一実施形態による三次元計測方法のフローを示す図である。
ステップＳ１において、計測処理部３は、位相シフト法を用いて撮影画像から位相画像Ａを生成する。
ステップＳ２において、計測処理部３は、位相画像ＡをＣＮＮ（畳み込みニューラルネットワーク）に入力することで、鏡面反射成分の影響を低減した位相画像Ｂを生成する。
ステップＳ３において、計測処理部３は、位相画像Ｂからエピポーラ拘束条件を利用して位相画像Ｃを生成する。なお、このステップＳ３は、オプションであり、省略することができる。
ステップＳ４において、計測処理部３は、位相画像Ｃから三角測量の原理を用いて三次元点群を生成する。

第１に、位相シフト法について説明する。
図３（ａ）～（ｄ）は、互いに位相シフトされた正弦波状のパターン光を示す。
投影部１は、図３に示すような位相シフトされた複数の正弦波状のパターン光を対象物４に対して照射する。位相シフト法では、パターン光の数が多いほど、計測精度が向上するが、計算量も増加する。それゆえ、本実施形態では、４つのパターン光による４ｓｔｅｐ位相シフト法を用いているが、パターン光は、３つ以上であれば、任意の数とすることができる。

第２に、ＣＮＮについて説明する。
図４は、本発明の一実施形態において構築したＣＮＮを示す。
通常のＣＮＮでは、画像を畳み込む過程で局所情報が失われる。しかし、ばら積みにした対象物の三次元計測では、鏡面反射成分の影響により計測困難な画素の情報をその周囲の局所的な画像特徴から復元する必要がある。したがって、ＣＮＮの入力に近い上層で出力される局所的な画像特徴をＳｋｉｐ Ｃｏｎｎｅｃｔｉｏｎにより下層に直接伝達する必要がある。そこで、本実施形態では、Ｓｋｉｐ Ｃｏｎｎｅｃｔｉｏｎを有しており、画素単位で回帰問題を解くことが可能なＵｎｅｔをベースとしたＣＮＮを利用する。
このように、計測処理部３において、位相画像Ａから鏡面反射成分の影響を低減した位相画像Ｂを生成するようにＣＮＮをあらかじめ学習させる。
なお、Ｕｎｅｔを二段重ねた構造を有するＣＮＮを用いることもできる（後述する図６（ｃ）（ｄ）参照）。この場合、鏡面反射成分の影響をより精度よく低減することができる。

第３に、エピポーラ拘束について説明する。
図５は、エピポーラ拘束による修正を説明するための図である。
点Ｏ_Ｌにあるカメラで観測点ｘを撮影すると、観測点ｘは、カメラの投影面の点ｘ_Ｌに投影される。このとき、観測点ｘと点ｘ_Ｌの間の点ｘ_１、ｘ_２、ｘ_３は、点Ｏ_Ｒにあるプロジェクタの投影面のエピポーラ線に投影される。
このように、プロジェクタ・カメラシステムでは、任意のカメラ画素に対応するプロジェクタ画素は、対応するエピポーラ線上に存在するという条件があり、このエピポーラ線を、外部パラメータおよび内部パラメータを使って事前に計算することができる。
エピポーラ線から外れる点（位相）があった場合、計測処理部３は、当該点からエピポーラ線上に垂線を下ろし、当該垂線とエピポーラ線との交点を正しい点として修正する。

上述した実施形態では、計測処理部３は、位相シフト法、ＣＮＮおよびエピポーラ拘束の各ステップをこの順で実行している。最初に位相シフト法を用いて、撮影画像から位相画像Ａを生成し、位相画像ＡをＣＮＮに入力して、鏡面反射成分の影響を低減した位相画像Ｂを生成することにより、実環境で撮影する画像の枚数を減少することができる。
例えば、ＣＮＮの入力データとして、１００枚の画像を用いると仮定する。撮影画像をＣＮＮに入力する場合、１００枚の画像を撮影しなければならない。一方、最初に位相シフト法を用いて、撮影画像から位相画像を生成し、位相画像をＣＮＮに入力する場合、撮影画像とシミュレーションデータとを組み合わせて位相画像を生成するため、例えば、１０枚の画像を撮影すればよくなり（残りの９０枚はシミュレーションデータを用いる）、撮影の手間および時間を削減することができる。
ただし、各ステップの順番は上述した実施形態に限定されるものではなく、さまざまな変形が可能であり、以下その変形例を説明する。

図６（ａ）～（ｄ）は、本発明の変形実施形態による三次元計測方法のフローを示す図である。
図６（ａ）では、ＣＮＮを位相シフト法の前に実行する。すなわち、計測処理部３は、位相シフト法を実行する前の画像である撮影画像を、ＣＮＮに入力して、鏡面反射成分の影響を低減した画像を生成した後、位相シフト法を用いて位相画像Ａを生成する。
なお、本明細書において、「撮影画像から位相画像を生成する」という表現は、撮影画像から直接位相画像を生成する場合だけでなく、撮影画像を処理した画像（例えば図６（ａ）のように、撮影画像をＣＮＮにおいて処理した画像）から位相画像を生成する場合も含むものとする。

図６（ｂ）では、ＣＮＮをエピポーラ拘束の後に実行する。すなわち、計測処理部３は、位相シフト法を用いて撮影画像から位相画像Ａを生成し、エピポーラ拘束条件を利用して位相画像Ｂを生成し、位相画像ＢをＣＮＮに入力して、鏡面反射成分の影響を低減した位相画像Ｃを生成する。

図６（ｃ）では、２回のＣＮＮを実行する。すなわち、計測処理部３は、位相画像ＡをＣＮＮに入力して、鏡面反射成分の影響を低減した位相画像Ｂを生成し、位相画像ＢをＣＮＮに入力して、鏡面反射成分の影響をさらに低減した位相画像Ｃを生成する。

図６（ｄ）では、２回のＣＮＮを位相シフト法の前後に実行する。すなわち、計測処理部３は、撮影画像をＣＮＮに入力して、鏡面反射成分の影響を低減した画像を生成し、位相シフト法を用いて位相画像Ａを生成し、位相画像ＡをＣＮＮに入力して、鏡面反射成分の影響を低減した位相画像Ｂを生成する。

以下、本発明の実施例を説明する。
本実施例では、図２に示した順で各ステップを実行した。
本実施例で用いたプロジェクタおよびカメラの構成は、以下のとおりである。
プロジェクタ：Ｐａｎａｓｏｎｉｃ ＰＴ－ＶＭＺ５０Ｊ
解像度：１９２０×１０８０
有効光束：５０００ｌｍ
コントラスト：３，０００，０００：１
カメラ：Ｂａｕｍｅｒ ＶＣｘＵ－１２４
レンズ：ＶＳ ＴＥＣＨＮＯＬＯＧＹ ＶＳ－１６１４Ｈ１Ｎ
解像度：８００×６００
視野範囲：４００×３００ｍｍ
ＷＤ：５５０ｍｍ
空間解像度：０．５０×０．５０ｍｍ／ｐｉｘｅｌ
また、プロジェクタとカメラとの間の校正にはＺｈａｎｇの方法を用いた。校正試験結果は、以下のとおりである。

図７（ａ）（ｂ）は、本実施例において、ＣＮＮの学習データを生成するためのシミュレータによって生成された２つのシーンを示す。
シミュレータにはＢｌｅｎｄｅｒを利用し、Ｂｌｅｎｄｅｒの設定は、以下のとおりである。
メタリック：１．００
スペキュラー：０．５０
粗さ：０．３０
拡散反射回数：４
鏡面反射回数：４
レンダー数：１０２４本／ｐｉｘｅｌ

第１の実験として、位相シフト法、ＣＮＮおよびエピポーラ拘束による鏡面反射成分の影響低減をシミュレーションによって確認した。すなわち、位相シフト法により生成された位相画像Ａ、ＣＮＮにより生成された位相画像Ｂおよびエピポーラ拘束により生成された位相画像Ｃをそれぞれ三次元点群に変換した。
位相画像Ａから変換された三次元点群より位相画像Ｂから変換された三次元点群の方が精度が上昇し、さらに位相画像Ｃから変換された三次元点群の方が精度が上昇していることが目視で確認できた。
これは、ステップを経るごとに、鏡面反射成分の影響を低減できたことを意味する。

第２の実験として、シミュレーションによる計測精度誤差の評価を実施した。
従来法（本実施例からＣＮＮを取り除いた方法）では、平均が７．２１ｍｍであり、標準偏差（σ）が６．３９ｍｍであり、３σが１９．１７ｍｍであった。
本実施例では、平均が０．２１ｍｍであり、標準偏差（σ）が０．６８ｍｍであり、３σが１．６４ｍｍであった。
これにより、本実施例では、従来法と比較して計測精度が大きく向上していることが分かった。

第３の実験として、実環境において三次元計測を実施し、計測誤差を求めた。
図８（ａ）はばら積みにした対象物の画像を示し、図８（ｂ）は本実施例により得られた三次元点群の画像を示す。
作業台上の１つの対象物について、本実施例の方法により三次元点群を取得した。
対象物を１ｍｍ、５ｍｍ、１０ｍｍ移動し、各移動後の位置において同様に三次元点群を取得した。
移動前後の三次元点群をコンピュータで読み込み、画像上に表示し、手作業で重ね合わせた。
各三次元点群間の移動量を計算し、その移動量の平均値を計測誤差とした。
この環境における計測誤差は０．４ｍｍであり、本実施例では、計測誤差が小さいことが分かった。

１…投影部、２…撮像部、３…計測処理部、４…対象物、１０…三次元計測システム

Claims (2)

1. 三次元計測システムであって、
   正弦波状のパターン光を、位相シフトしながら対象物に対して複数回照射する投影部と、
   前記対象物で反射された反射光を撮影する撮像部と、
   位相シフト法を用いて撮影画像から位相画像を生成する計測処理部と、
   を有し、
   前記計測処理部は、
   位相シフト法を用いて撮影画像から位相画像を生成し、
   前記位相画像を、鏡面反射成分の影響を低減した画像を生成するように学習したＣＮＮに入力して、鏡面反射成分の影響を低減した位相画像を生成し、
   鏡面反射成分の影響を低減した前記位相画像からエピポーラ拘束条件を利用してさらなる位相画像を生成し、
   前記さらなる位相画像から三角測量の原理を用いて三次元点群を生成する、
   三次元計測システム。
2. 三次元計測方法であって、
   正弦波状のパターン光を、位相シフトしながら対象物に対して複数回照射し、
   前記対象物で反射された反射光を撮影し、
   位相シフト法を用いて撮影画像から位相画像を生成し、
   前記位相画像を、鏡面反射成分の影響を低減した画像を生成するように学習したＣＮＮに入力して、鏡面反射成分の影響を低減した位相画像を生成し、
   鏡面反射成分の影響を低減した前記位相画像からエピポーラ拘束条件を利用してさらなる位相画像を生成し、
   前記さらなる位相画像から三角測量の原理を用いて三次元点群を生成する、
   三次元計測方法。

Images