JP6907566B2

JP6907566B2 - ３次元形状計測装置、及び、プログラム

Info

Publication number: JP6907566B2
Application number: JP2017018223A
Authority: JP
Inventors: 晶佐波
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2017-02-03
Filing date: 2017-02-03
Publication date: 2021-07-21
Anticipated expiration: 2037-02-03
Also published as: JP2018124224A

Description

本発明は、対象物の３次元形状を計測する技術に関する。

対象物の３次元形状を取得するツールは様々なものが提案されているが、近年ではカメラの解像度の向上と、コンピュータの計算性能が向上したことにより、三角測量技術を応用し、大量の画像から形状および表面のテクスチャを生成する手法が広く使われるようになってきた。この手法の特徴は、複数視点から撮影された多数の画像だけを入力して形状および表面のテクスチャを生成できることにあり、画像処理技術の向上により、レーザースキャナを用いた３次元形状測定装置よりも安定した計測ができるようになってきている。このような手法の一例が特許文献１に記載されている。

特開平８−２５４４０９号公報

非接触で３次元形状を取得するセンサは光を使用するため、水槽のように光が屈折する物体に囲まれた対象物を計測することができない。即ち、水槽の中の対象物をカメラで撮影しても対象物の像は光の屈折によって歪みが生じるため、近年の画像ベースによる３次元形状のデジタル化技術も適用できない。

一方で、デジタルアーカイブのニーズの一つとして、劣化する対象物の、撮影時点での姿を記録することが求められる。劣化の原因としては、絵画に対する紫外線や、災害・事故による破損などの他、生体組織が腐ることもあげられる。現在は生体組織の保存としてホルマリンに代表される防腐液で封入されて保管されている。

このように、容器内に密閉された状態で保管されている対象物のデジタル化では、容器を開封して計測することができないため、容器内に密閉されたままで計測しなければならない。しかし、従来技術においては、槽の中の物体を測定するような場合、撮影された画像は水槽表面の光の屈折によって歪みが生じるため、三角測量の関係を満たさなくなり、その３次元形状を復元できないという問題があった。

本発明は、屈折により生じる画像の歪を除去し、対象物の３次元形状を計測することが可能な３次元形状計測装置を提供することを主な目的とする。

本発明の１つの観点では、マーカが付与されている透明体容器内に収容された対象物の３次元形状を計測する３次元形状計測装置は、複数の撮影位置において撮影された前記透明体容器の画像を取得する画像取得手段と、前記撮影画像に含まれる前記マーカの部分に基づいて、前記撮影位置を特定する撮影位置特定手段と、前記撮影位置及び前記マーカの部分に基づいて、前記透明体容器の透明面の位置を特定する透明面特定手段と、前記撮影位置と、前記透明面の位置とに基づいて、前記透明面により生じる歪を除去した対象物画像を生成する生成手段と、前記歪を除去した対象物画像に基づいて、前記対象物の３次元形状を計測する計測手段と、を備え、前記透明面特定手段は、前記撮影位置に基づいて前記マーカの部分の形状を特定し、当該マーカの部分により規定される面を前記透明面と決定する。

上記の３次元形状計測装置は、まず、複数の撮影位置において撮影された透明体容器の画像を取得し、撮影画像に含まれるマーカの部分に基づいて、撮影位置を特定する。次に、撮影位置及びマーカの部分に基づいて、透明体容器の透明面の位置を特定し、撮影位置と、透明面の位置とに基づいて、透明面により生じる歪を除去した対象物画像を生成する。そして、歪を除去した対象物画像に基づいて、対象物の３次元形状を計測する。ここで、透明面特定手段は、撮影位置に基づいて前記マーカの部分の形状を特定し、当該マーカの部分により規定される面を透明面と決定する。即ち、透明面の形状を特定できるようにマーカを透明面に付与しておき、マーカの部分に基づいて透明面が決定される。これにより、透明体容器内に液体などとともに収容された対象物の３次元形状を計測することができる。

上記の３次元形状計測装置の他の一態様では、前記生成手段は、前記撮影位置と、前記透明面の位置と、前記透明面での屈折率とに基づいて、前記透明面での屈折による歪を除去した画像の撮影位置を再計算する手段と、前記撮影位置で撮影された画像を、前記再計算された撮影位置から見た画像に変換することにより前記歪を除去した対象物画像を生成する手段と、を備える。この態様では、透明面での屈折による歪を除去した画像の撮影位置を求めることにより、歪を除去した対象物画像を得る。

好適には、前記マーカは、前記透明面の外周に沿って設けられる。好適な例では、前記マーカは、前記透明体容器に貼付された不透明なテープである。

本発明の他の観点では、コンピュータを備え、マーカが付与されている透明体容器内に収容された対象物の３次元形状を計測する３次元形状計測装置により実行されるプログラムは、複数の撮影位置において撮影された前記透明体容器の画像を取得する画像取得手段、前記撮影画像に含まれる前記マーカの部分に基づいて、前記撮影位置を特定する撮影位置特定手段、前記撮影位置及び前記マーカの部分に基づいて、前記透明体容器の透明面の位置を特定する透明面特定手段、前記撮影位置と、前記透明面の位置とに基づいて、前記透明面により生じる歪を除去した対象物画像を生成する生成手段、前記歪を除去した対象物画像に基づいて、前記対象物の３次元形状を計測する計測手段、として前記コンピュータを機能させ、前記透明面特定手段は、前記撮影位置に基づいて前記マーカの部分の形状を特定し、当該マーカの部分により規定される面を前記透明面と決定する。このプログラムをコンピュータで実行することにより、上記の３次元形状計測装置を実現することができる。

実施例に係る３次元形状計測装置の構成を示す。対象物を収容した透明体容器の一例を示す。３次元形状計測処理のフローチャートである。３次元形状計測処理における画像処理を説明する図である。３次元形状計測処理における画像処理を説明する他の図である。屈折により生じる歪を除去する方法を説明する図である。

以下、図面を参照しながら、本発明の実施の形態について説明する。
［構成］
図１は、実施例に係る３次元形状計測装置の構成を示す。３次元形状計測装置（以下、単に「計測装置」と呼ぶ。）２０は、透明体容器１０内に収容された対象物１２の３次元形状を計測し、テクスチャを取得する装置である。なお、計測装置２０は、例えば予め用意されたプログラムを実行するコンピュータ装置などにより構成することができる。

計測装置２０は、異なる位置に設置された２つのカメラ３０ａ、３０ｂに接続されている。カメラ３０ａ、３０ｂは、それぞれ透明体容器１０の画像を撮影し、撮影画像Ｉａ、Ｉｂを計測装置２０へ供給する。計測装置２０は、カメラ３０ａ、３０ｂから取得した撮影画像Ｉａ、Ｉｂに対して画像処理を行い、透明体容器１０内の対象物１２の３次元形状を計測する。なお、図１では、説明の便宜上２つのカメラ３０ａ、３０ｂを図示しているが、実際には、１つ又は複数のカメラ３０により異なる撮影位置で撮影した複数の撮影画像を計測装置２０に供給すればよい。例えば、１つのカメラを固定配置し、透明体容器１０をターンテーブル上に配置してターンテーブルを回転させることにより、複数の撮影画像を撮影するようなシステム構成としてもよい。

上記の構成において、カメラ３０ａ、３０ｂは本発明における画像取得手段の一例であり、計測装置２０は本発明における撮影位置特定手段、透明面特定手段、生成手段及び計測手段の一例である。

図２は、透明体容器１０の構成を示す。透明体容器１０は、例えば１０ｃｍ角の立法体のガラスキューブであり、その中に水と対象物１２を充填したものである。なお、透明体容器１０は、ガラスの代わりに透明なアクリルなどで構成してもよい。本実施例では、対象物１２は、球形のボールとしている。対象物１２は透明体容器１０のほぼ中央に位置しているが、図２においては、透明体容器１０を構成するガラス面１４での屈折により、対象物１２は中央より少し下よりに位置しているように見えている。

透明体容器１０の全ての辺には、例えば幅１ｃｍの不透明なマスキングテープ１３が貼り付けられている。マスキングテープ１３は、透明体容器１０のガラス面１４を特定するために設けられており、本発明におけるマーカの一例である。

［３次元形状計測方法］
次に、対象物１２の３次元形状の計測方法について説明する。図３は、３次元形状計測処理のフローチャートである。この処理は、計測装置２０により実行される。

まず、計測装置２０は、複数のカメラ位置からの撮影画像を取得する（ステップＳ１０）。具体的には、計測装置２０は、２つのカメラ３０ａ、３０ｂから撮影画像Ｉａ、Ｉｂを取得する。

次に、計測装置２０は、撮影画像中のマスキングテープ１３が貼付された部分（以下、「マスキングテープ部分」と呼ぶ。）の画素から、カメラ位置を計算する（ステップＳ１１）。図４（Ａ）は、２つのカメラ３０ａ、３０ｂで撮影された画像Ｉａ、Ｉｂの例を示す。透明体容器１０とカメラ３０ａ、３０ｂとの相対的な位置関係により、画像Ｉａ、Ｉｂでは対象物１２の位置が左右に少しずつずれている。計測装置２０は、まず、画像Ｉａ、Ｉｂからマスキングテープ部分の画素のみを取り出す。図４（Ｂ）は、マスキングテープ部分の画素のみを取り出した画像の例を示す。画像Ｉａからマスキングテープ部分の画素のみを取り出すと画像Ｉａ１が得られ、画像Ｉｂからマスキングテープ部分の画素のみを取り出すと画像Ｉｂ１が得られる。そして、計測装置２０は、複数の画像から３次元を復元する公知の技術を用いて、画像Ｉａ１及びＩｂ１から、これらの２枚の画像を撮影したカメラ３０ａ、３０ｂの位置と、マスキングテープ部分の形状とを計算により求める。図５（Ａ）は、得られたカメラ３０ａ、３０ｂの位置と、マスキングテープ部分の形状を空間上に模式的に示す。なお、この処理には、例えば市販ソフトウェア「ＰｈｏｔｏＳｃａｎ」などを用いることができる。

次に、計測装置２０は、２つのカメラ位置とマスキングテープ部分の形状とを利用し、マスキングテープ部分の形状が同一平面であると仮定して平面フィッティングを行い、マスキングテープ部分により規定されるガラス面１４の位置を算出する（ステップＳ１２）。具体的には、計測装置２０は、マスキングテープ部分の形状を構成する点群に対して最小二乗近似平面を計算し、ガラス面１４の位置を求める。図５（Ｂ）は、得られたガラス面１４の位置を模式的に示す。

こうして、ガラス面１４の位置が求められると、２つのカメラ位置とガラス面１４の位置とが定まるため、ガラス面１４に対するカメラ３０ａ、３０ｂの位置及び姿勢が決まる。よって、計測装置２０は、カメラ３０ａ、３０ｂから得られた画像Ｉａ、Ｉｂのそれぞれについて、マスキングテープ部分以外の領域における画像の歪を除去した対象物１２の画素から、カメラ位置を再計算する（ステップＳ１３）。以下、１つのカメラ位置に関する処理を説明する。

図６は、カメラ位置Ｐｏ及びガラス面１４を上方から見た平面図である。カメラ位置Ｐｏからガラス面１４を撮影すると、撮影した画像は、撮像平面Ｓｏ上の複数の画素の集合として得られる。カメラ位置Ｐｏから出射して撮像平面Ｓｏ上の各画素の位置を通過したレイ（光線）Ｒｏはガラス面１４に至り、ガラス面１４の内側（透明体容器１０の内部）が水であるためにガラス面１４で屈折する。即ち、レイＲｏは、入射角αでガラス面１４に入射してガラス面１４で屈折し、出射角βで出射するレイＲｏ’となってガラス面１４の内側を進んで対象物１２に至る。ここで、ガラス面１４の内側におけるレイＲｏ’をその進行方向と反対方向に延長して線分Ｒｘを作ると、撮像平面Ｓｏ上の各画素の位置を通過した複数のレイＲｏに対応する複数の線分Ｒｘは、結像位置Ｐｘに集まる。この結像位置Ｐｘは、ガラス面１４で屈折が生じない場合に撮影画像と同一の画像が得られるカメラ位置に相当する。言い換えると、結像位置Ｐｘは、ガラス面１４での屈折による歪を除去した後の対象物１２の画像（以下、「対象物画像」と呼ぶ。）から再計算されたカメラ位置となる。

具体的に、カメラ位置Ｐｏと、ガラス面１４の位置及び姿勢とはステップＳ１２で既知となっているので、計測装置２０は、撮像平面Ｓｏ上の各画素の位置を通るレイＲｘの方向を求め、レイＲｘとガラス面１４との交差点及び交差角（＝入射角α）を求める。ガラス面１４の内側の媒質が水であることからガラス面１４での屈折率は既知であるので、計測装置２０は、ガラス面１４での屈折率を用いて、入射角αから出射角βを求め、線分Ｒｘの方向を求める。計測装置２０は、この処理を撮影平面Ｓｏ上の全ての画素について行い、得られた複数の線分Ｒｘの交点を結像位置Ｐｘとして求める。こうして、計測装置２０は、再計算されたカメラ位置（結像位置）Ｐｘを得る。

こうして再計算されたカメラ位置Ｐｘが得られると、計測装置２０は、ガラス面１４での屈折による歪を除去した対象物画像を生成する（ステップＳ１４）。具体的には、計測装置２０は、カメラ位置Ｐｏと再計算されたカメラ位置Ｐｘとの位置関係、及び、カメラ位置Ｐｏと撮像平面Ｓｏ上の各画素との位置関係に基づいて、撮像平面Ｓｏ上の各画素を、再計算されたカメラ位置Ｐｘに対応する撮像平面Ｓｘ上に移動して、撮像平面Ｓｘ上に対象物画像を生成する。なお、この際、計測装置２０は、撮影画像のうちマスキングテープ部分を除いた画像について対象物画像を生成する。

以上の処理が複数のカメラ位置について行われ、ガラス面１４での屈折による歪を除去した複数の対象物画像が得られると、計測装置２０は、得られた複数の対象物画像から、対象物１２の３次元形状とテクスチャを生成する（ステップＳ１５）。この処理は、前述のステップＳ１１で用いた複数の画像から３次元を復元する公知の技術を用いて行うことができる。

以上のように、本実施例の３次元形状計測処理では、透明体容器１０のガラス面１４での屈折による歪を除去した対象物画像を生成し、対象物１２の３次元形状及びテクスチャを得ることができる。これにより、ガラスケースやアクリルケースなどの透明なケース内に液体とともに封入された対象物をケース外部に取り出すことなく、その３次元形状及びテクスチャを取得することができる。例えば博物館などに収蔵されているホルマリン漬けサンプルや、水族館の水槽の中の魚介類などの対象物の３次元形状及びテクスチャを取得することが可能となる。

［変形例］
上記の実施例では、ガラス面１４を特定するマーカとして、マスキングテープ１３をガラス面１４の全ての辺（１つのガラス面についてその４辺）に貼付しているが、マーカの付与方法はこれには限られない。例えば、ガラス面が平面であれば、１つのガラス面を特定するために、対象物１２と重ならない位置において最小で３か所にマーカを付与すれば、それらのマーカに基づいて１つのガラス面を特定することが可能である。

１０透明体容器
１２対象物
１３マスキングテープ
１４ガラス面
２０３次元形状計測装置
３０ａ、３０ｂカメラ

Claims

マーカが付与されている透明体容器内に収容された対象物の３次元形状を計測する３次元形状計測装置であって、
複数の撮影位置において撮影された前記透明体容器の画像を取得する画像取得手段と、
前記撮影画像に含まれる前記マーカの部分に基づいて、前記撮影位置を特定する撮影位置特定手段と、
前記撮影位置及び前記マーカの部分に基づいて、前記透明体容器の透明面の位置を特定する透明面特定手段と、
前記撮影位置と、前記透明面の位置とに基づいて、前記透明面により生じる歪を除去した対象物画像を生成する生成手段と、
前記歪を除去した対象物画像に基づいて、前記対象物の３次元形状を計測する計測手段と、
を備え、
前記透明面特定手段は、前記撮影位置に基づいて前記マーカの部分の形状を特定し、当該マーカの部分により規定される面を前記透明面と決定することを特徴とする３次元形状計測装置。
前記生成手段は、
前記撮影位置と、前記透明面の位置と、前記透明面での屈折率とに基づいて、前記透明面での屈折による歪を除去した画像の撮影位置を再計算する手段と、
前記撮影位置で撮影された画像を、前記再計算された撮影位置から見た画像に変換することにより前記歪を除去した対象物画像を生成する手段と、
を備えることを特徴とする請求項１に記載の３次元形状計測装置。
前記マーカは、前記透明面の外周に沿って設けられていることを特徴とする請求項１又は２に記載の３次元形状計測装置。
前記マーカは、前記透明体容器に貼付された不透明なテープであることを特徴とする請求項１乃至３のいずれか一項に記載の３次元形状計測装置。
コンピュータを備え、マーカが付与されている透明体容器内に収容された対象物の３次元形状を計測する３次元形状計測装置により実行されるプログラムであって、
複数の撮影位置において撮影された前記透明体容器の画像を取得する画像取得手段、
前記撮影画像に含まれる前記マーカの部分に基づいて、前記撮影位置を特定する撮影位置特定手段、
前記撮影位置及び前記マーカの部分に基づいて、前記透明体容器の透明面の位置を特定する透明面特定手段、
前記撮影位置と、前記透明面の位置とに基づいて、前記透明面により生じる歪を除去した対象物画像を生成する生成手段、
前記歪を除去した対象物画像に基づいて、前記対象物の３次元形状を計測する計測手段、
として前記コンピュータを機能させ、
前記透明面特定手段は、前記撮影位置に基づいて前記マーカの部分の形状を特定し、当該マーカの部分により規定される面を前記透明面と決定することを特徴とするプログラム。