以下に添付図面を参照しながら、本発明の実施形態(以下、本実施形態)について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
本実施形態は、立体的な対象物に計測用のパターンを投影した状態で、その対象物を複数の撮像装置で撮影し、撮影画像に基づいて対象物の三次元形状を計測する三次元計測装置に関する。文化財などの対象物を扱う場合には、対象物の損傷リスクを回避するため、三次元計測装置を移動させて対象物を計測領域に誘導する。
従来の三次元計測装置は、各撮像装置の光軸方向をレーザポインタの光点で表示し、光点が重なる位置を計測領域の指標として利用していた。三次元計測装置を固定し、対象物を自由に移動できる環境では、比較的容易に、光点が重なる位置を見つけることができる。しかし、三次元計測装置を移動させると光点を見失うことが多く、さらに、複数の光点を一点に重ねるには、かなりの時間がかかる。
文化財などの対象物を扱う現場では、その対象物を設置している環境で計測を実施することがあり、三次元計測装置を持って自由に移動することが困難な場面も少なくない。また、彫像の指先など、細かな部分に焦点を当てた計測を実施することがあり、このような細かな部分に複数の光点を重ねるのは難しい。特に、厚みが小さい(薄い)部分、及び細い部分では光点を重ねるのが非常に困難である。
本実施形態は、上記のような三次元計測の現場で生じうる課題を解決する三次元計測装置を提供することを目的とする。以下、本実施形態に係る三次元計測装置及びその三次元計測装置が実行する処理の流れについて順次説明する。
[1.三次元計測装置]
図1を参照しながら、三次元計測装置100について説明する。図1は、三次元計測装置の構成例を示した模式図である。図1に示した三次元計測装置100は、本実施形態に係る三次元計測装置の一例である。
図1に示すように、三次元計測装置100は、パターン投影機101、撮像装置102a、103a、レーザプロジェクタ102b、103b、及び制御装置105を有する。なお、撮像装置102aとレーザプロジェクタ102bとは一体に形成されてもよい。撮像装置103aとレーザプロジェクタ103bとは一体に形成されてもよい。制御装置105は、パターン投影機101と一体に形成されてもよい。
パターン投影機101と撮像装置102aとは、支持部材104aで物理的に接続されている。パターン投影機101と撮像装置103aとは、支持部材104bで物理的に接続されている。
制御装置105は、パターン投影機101、撮像装置102a、103a、及びレーザプロジェクタ102b、103bのそれぞれと電気的に接続されている。但し、制御装置105は、無線LAN(Local Area Network)又は近距離無線通信などの無線技術を利用して、パターン投影機101、撮像装置102a、103a、及びレーザプロジェクタ102b、103bのそれぞれと無線回線で接続されてもよい。
パターン投影機101は、計測用パターンを対象物に投影するためのプロジェクタである。計測用パターンは、例えば、ゼブラパターン、グリッドパターン、市松模様など、三次元計測に利用可能な任意のパターンである。パターン投影機101として利用可能なプロジェクタには、例えば、液晶プロジェクタ、DLP(Digital Light Processing)プロジェクタ、LCOS(Liquid Crystal On Silicon)プロジェクタなどがある。
但し、計測用パターンの種類、及びパターン投影機101として利用可能なプロジェクタの種類は上記の例に限定されない。例えば、光源にレーザ光を利用するレーザプロジェクタがパターン投影機101として利用されてもよい。以下では、説明の都合上、パターン投影機101の画角をt1と表記する場合がある。
撮像装置102a、103aは、例えば、レンズ、撮像素子、及びプロセッサ(例えば、CPU(Central Processing Unit)、DSP(Digital Signal Processor))などを有するデジタルカメラである。撮像装置102a、103aには、同じ焦点距離及び明るさのレンズが装着される。レンズの種類は、対象物の種類又は計測目的などに応じて決定される。撮像装置102a、103aは、レンズ交換式のデジタルカメラであってもよい。レンズの情報(焦点距離、開放F値など)は、撮像装置102a、103aから制御装置105に提供されうる。
以下では、説明の都合上、撮像装置102aの撮影画角をt2、光軸方向をL2と表記する場合がある。また、撮像装置103aの撮影画角をt3、光軸方向をL3と表記する場合がある。また、撮像装置102aの合焦範囲をD2、撮像装置103aの合焦範囲をD3と表記する場合がある。なお、ここで言う合焦範囲は、被写界深度に収まる奥行き方向(光軸に沿って被写体に向かう方向)の範囲を指す。
レーザプロジェクタ102b、103bは、レーザ光を光源とするレーザ光走査式プロジェクタである。レーザ光走査式プロジェクタは、レーザ光をスクリーン上で高速かつ二次元的に走査させることで、スクリーンに二次元パターンを表示させるタイプのプロジェクタである。レーザプロジェクタ102bから出力されるレーザ光の色は、レーザプロジェクタ103bから出力されるレーザ光と同じであってもよいし、異なっていてもよい。
レーザプロジェクタ102bの向きは、撮像装置102aの光軸方向を基準に設定される。例えば、レーザプロジェクタ102bは、撮像装置102aの光軸方向に垂直な面をスクリーンとみなして二次元パターンを描画できるように配置される。レーザプロジェクタ103bの向きは、撮像装置103aの光軸方向を基準に設定される。例えば、レーザプロジェクタ103bは、撮像装置103aの光軸方向に垂直な面をスクリーンとみなして二次元パターンを描画できるように配置される。
ここで、図1を参照しながら、計測領域と対象物の配置について説明する。図1には、一例として、計測領域10(太線で囲まれた領域)及び対象物20aが模式的に示されている。計測領域10は、主に光軸方向L2、L3、撮影画角t2、t3、及び合焦範囲D2、D3によって決まる。但し、対象物20aのうち、計測用パターンが投影されている部分を撮影するため、厳密に言えば、計測用パターンが投影される範囲を決めるパターン投影機101の画角t1にも依存する。
従って、光軸方向L2、L3、撮影画角t2、t3、合焦範囲D2、D3、及び画角t1から決定される計測領域10に対象物20aが配置されるように三次元計測装置100の位置を移動できれば、所望の計測結果が期待できる。しかし、計測領域10は目に見えない。そこで、三次元計測装置100は、レーザプロジェクタ102b、103bを利用して2つの二次元パターンを描画して、計測領域10に対象物20aが収まるように三次元計測装置100を移動する作業(以下、位置決め)を補助する。
パターン投影機101、撮像装置102a、103a、及びレーザプロジェクタ102b、103bの動作は、制御装置105により制御される。以下、制御装置105について説明し、その説明の中で、レーザプロジェクタ102b、103bを利用した二次元パターンの描画が位置決めに有効である理由について詳述する。
(制御装置のハードウェア)
まず、図2を参照しながら、制御装置105のハードウェアについて説明する。図2は、制御装置の機能を実現可能なハードウェアの構成例を示したブロック図である。
制御装置105が有する機能は、例えば、図2に示すハードウェア資源を用いて実現することが可能である。つまり、制御装置105が有する機能は、コンピュータプログラムを用いて図2に示すハードウェアを制御することにより実現される。
図2に示すように、このハードウェアは、主に、プロセッサ105a、メモリ105b、表示I/F(Interface)105c、通信I/F105d、及び接続I/F105eを有する。
プロセッサ105aは、例えば、CPU、DSP、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などである。メモリ105bは、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリなどの記憶装置である。
表示I/F105cは、LCD(Liquid Crystal Display)、ELD(Electro-Luminescence Display)などのディスプレイデバイスを接続するためのインターフェースである。例えば、表示I/F105cは、プロセッサ105a及び/又は表示I/F105cに搭載されたGPU(Graphic Processing Unit)により表示制御を実施する。なお、制御装置105にディスプレイデバイスが搭載されていてもよい。
通信I/F105dは、有線及び/又は無線のネットワークに接続するためのインターフェースである。通信I/F105dは、例えば、有線LAN、無線LAN、光通信ネットワーク、携帯電話ネットワークなどに接続される。
接続I/F105eは、外部デバイスを接続するためのインターフェースである。接続I/F105eは、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)などである。
接続I/F105eには、例えば、キーボード、マウス、タッチパネル、タッチパッドなどの入力インターフェースが接続されうる。また、接続I/F105eには、スピーカなどのオーディオデバイス及び/又はプリンタなどが接続されうる。また、接続I/F105eには、可搬性の記録媒体105fが接続されうる。記録媒体105fは、例えば、磁気記録媒体、光ディスク、光磁気ディスク、半導体メモリなどである。
上述したプロセッサ105aは、記録媒体105fに格納されたプログラムを読み出してメモリ105bに格納し、メモリ105bから読み出したプログラムに従って制御装置105の動作を制御することができる。なお、制御装置105の動作を制御するプログラムは、メモリ105bに予め格納されていてもよいし、通信I/F105dを介してネットワークからダウンロードされてもよい。
(制御装置の機能)
次に、図3を参照しながら、制御装置105の機能について、さらに説明する。図3は、制御装置が有する機能の一例を示したブロック図である。
図3に示すように、制御装置105は、記憶部151、ガイドパターン描画制御部152、計測用パターン投影制御部153、及び計測部154を有する。
なお、記憶部151の機能は、上記のメモリ105bなどを用いて実現可能である。ガイドパターン描画制御部152、計測用パターン投影制御部153、及び計測部154の機能は、上記のプロセッサ105aを用いて実現可能である。
記憶部151には、ガイドパターンの情報151a、計測用パターンの情報151b、及びレンズ情報151cが格納される。
ガイドパターンの情報151aは、位置決め用にレーザプロジェクタ102b、103bにより描画される二次元パターン(以下、ガイドパターン)の形状に関する情報である。なお、ガイドパターンの形状については、後段(図7及び図8の説明)において詳述する。計測用パターンの情報151bは、計測用パターンの形状に関する情報である。レンズ情報151cは、撮像装置102a、103aに装着されたレンズに関する情報(焦点距離、開放F値など)である。
ガイドパターン描画制御部152は、ガイドパターンの情報151aに含まれる少なくとも1つのガイドパターンのうち、レーザプロジェクタ102bで描画する第1のガイドパターンと、レーザプロジェクタ103bで描画する第2のガイドパターンとを特定する。例えば、第1のガイドパターン及び第2のガイドパターンは、位置決めを行う計測者より、或いは、三次元計測装置100の製造時に予め設定される。第1のガイドパターンと第2のガイドパターンとは同じガイドパターンであってもよいし、異なるガイドパターンであってもよい。
ガイドパターン描画制御部152は、第1のガイドパターンを描画するためのレーザ光の色(以下、第1の色)と、第2のガイドパターンを描画するためのレーザ光の色(以下、第2の色)とを特定する。第1の色と第2の色とは、同じ色であってもよいし、異なる色であってもよい。但し、レーザプロジェクタ102b、103bのそれぞれが出力可能なレーザ光の色が決まっている場合、ガイドパターン描画制御部152は、第1の色及び第2の色を特定する処理を省略する。
ガイドパターン描画制御部152は、レーザプロジェクタ102bを制御して、第1の色のレーザ光で第1のガイドパターンを描画する。ガイドパターン描画制御部152は、撮像装置102aの光軸方向L2に垂直な面(以下、第1の仮想スクリーン)を想定して第1のガイドパターンを描画する。つまり、第1の仮想スクリーンの位置に実際のスクリーンがあれば、そのスクリーン上に第1のガイドパターンが表示されるように、レーザプロジェクタ102bにより第1のガイドパターンが描画される。
また、ガイドパターン描画制御部152は、レーザプロジェクタ103bを制御して、第2の色のレーザ光で第2のガイドパターンを描画する。ガイドパターン描画制御部152は、撮像装置103aの光軸方向L3に垂直な面(以下、第2の仮想スクリーン)を想定して第2のガイドパターンを描画する。つまり、第2の仮想スクリーンの位置に実際のスクリーンがあれば、そのスクリーン上に第2のガイドパターンが表示されるように、レーザプロジェクタ103bにより第2のガイドパターンが描画される。
撮像装置102a、103aがレンズ交換式のデジタルカメラである場合、ガイドパターン描画制御部152は、レンズ情報151cに基づいて撮像装置102a、103aの撮影画角t2、t3を特定する。このとき、ガイドパターン描画制御部152は、撮影画角t2、t3として垂直画角及び水平画角を特定してもよい。
また、ガイドパターン描画制御部152は、撮影画角t2に基づいて、第1のガイドパターンの最も外側に位置する部分が撮影画角t2に収まるように第1のガイドパターンのサイズを調整する。また、ガイドパターン描画制御部152は、撮影画角t3に基づいて、第2のガイドパターンの最も外側に位置する部分が撮影画角t3に収まるように第2のガイドパターンのサイズを調整する。そして、ガイドパターン描画制御部152は、上述した方法で第1のガイドパターン及び第2のガイドパターンを描画する。
第1のガイドパターン及び第2のガイドパターンは、同時に、かつ継続的に描画される。第1のガイドパターン及び第2のガイドパターンが描画されている期間は、パターン投影機101による計測用パターンの投影、及び撮像装置102a、103aによる撮影は実施されない。ガイドパターンの描画を停止する操作が実行されると、ガイドパターン描画制御部152は、レーザプロジェクタ102b、103bの出力を停止する。
計測用パターン投影制御部153は、計測用パターンの情報151bから計測用パターンの形状を示す画像データを取得する。そして、計測用パターン投影制御部153は、パターン投影機101に画像データを入力し、パターン投影機101により計測用パターンを対象物に投影する。計測部154は、撮像装置102a、103aを制御して対象物を撮影し、撮影画像に基づいて対象物の三次元形状を計測する。
(位置決め)
ここで、図4及び図5を参照しながら、三次元計測装置100の位置決めについて、さらに説明する。図4は、三次元計測装置の位置決めについて説明するための第1の図である。図5は、三次元計測装置の位置決めについて説明するための第2の図である。
三次元計測装置100を移動して計測領域10内に対象物を収める作業の難しさは、三次元計測装置100と対象物との距離、及び三次元計測装置100の傾き(特にZ軸を回転軸とする回転方向)を計測者の手で適切に制御する難しさにある。
図4に示すように、三次元計測装置100を対象物20bに近づけ過ぎると(T1時点)、撮像装置102a、103aの光軸が対象物20bに交わらない。また、三次元計測装置100を対象物20bから遠ざけすぎた場合も(T2時点)、撮像装置102a、103aの光軸は対象物20bに交わらない。レーザポインタで光軸方向だけを指し示す従来方式では、計測者が、これらの状況で光点を見失う。
三次元計測装置100と対象物20bとの間の距離が適切だと(T3時点)、撮像装置102a、103aの光軸は対象物20bで交差する。Y軸を回転軸とする回転方向に三次元計測装置100が傾くと光軸は+Z方向又は-Z方向に傾く。対象物20bのZ方向の幅(高さ)が小さい場合、Z方向への傾きによって光軸が対象物20bと交わらなくなることがある。この場合も、レーザポインタで光軸方向だけを指し示す従来方式では、計測者が光点を見失う。
しかしながら、図5に示すように、本実施形態に係る三次元計測装置100は、レーザプロジェクタ102b、103bを用いて二次元パターン121、131を描画する。なお、図5の例では、十字に交わる二本の直線と、十字を囲む矩形の枠線とで形成される二次元パターンを例示しているが、二次元パターンの形状はこれに限定されない。二次元パターン121は、レーザプロジェクタ102bで描画される図形の一例である。二次元パターン131は、レーザプロジェクタ103bで描画される図形の一例である。
図4に示したようにT1時点では対象物20bに光軸が交わらないが、図5に示すように、二次元パターン121、131の一部が対象物20bと交わる。また、対象物20bに描画される二次元パターン121、131のサイズから、三次元計測装置100と対象物20bとが近すぎることを計測者が認識できる。つまり、一部の図形でも、適切な位置関係で表示される図形のサイズに比べて大きいか小さいかを認識することは可能であり、その認識に基づいて、近すぎるのか、遠すぎるのかを判定することができる。
T2時点では対象物20bに光軸が交わらないが、図5に示すように、二次元パターン121、131の一部が対象物20bと交わる。対象物20bに交わる部分のサイズ、及び、二次元パターン121、131の配置が逆であること(適切な位置であれば二次元パターン121が紙面の右側に位置すること)から、三次元計測装置100と対象物20bとが遠すぎることを計測者が認識できる。
ある程度、三次元計測装置100と対象物20bとが適切な位置関係にある場合(T3時点)、図5に示すように、二次元パターン121、131がほぼ一致する。このとき、二次元パターン121、131の傾き、サイズの相違、形状の歪みなどから、三次元計測装置100の傾きを計測者が把握できる。そのため、二次元パターン121、131の利用により、傾きを含めた三次元計測装置100の微調整も容易になる。このように、本実施形態に係る三次元計測装置100を適用すれば、従来の三次元計測装置に比べて格段に位置決めが容易になる。
(レンズ情報)
次に、図6を参照しながら、レンズ情報151cの利用について、さらに説明する。図6は、レンズ情報の一例を示した図表である。
図6に示すように、レンズ情報151cには、レンズ名、F値、合焦範囲、撮影画角などの情報が含まれる。レンズ名は、レンズの識別に利用される識別情報の一例である。F値は、レンズの明るさを示す指標であり、一般にレンズの焦点距離を有効口径で割った値として定義される。レンズ情報151cに含まれるF値は、絞り開放F値であってもよいが、図6の例では、計測時に適用される絞り設定に対応するF値(設定値)である。
合焦範囲は、撮像装置102a、103aでピントが合う範囲を示す。合焦範囲及び被写界深度は、被写体までの距離、レンズの焦点距離、撮像素子のサイズ、及びF値に基づいて計算できる。例えば、被写体までの距離を2m、レンズの焦点距離を90mm、撮像素子のサイズをフルサイズ(36mm×24mm)、F値を5.6に設定すると、合焦範囲は約1.9~約2.1m、被写界深度は約0.18mになる。
三次元計測の場合には、対象物を鮮明に捉える必要があるため、実効値として、余裕を持った合焦範囲がレンズ情報151cに設定される。
撮影画角は、レンズの焦点距離及び撮像素子のサイズに基づいて計算できる。一般にレンズの焦点距離が長いほど撮影画角は狭くなり、レンズの焦点距離が短いほど撮影画角は広くなる。撮像素子のサイズが大きいほど撮影画角は広くなり、撮像素子のサイズが小さいほど撮影画角は狭くなる。一般的な撮像素子は形状が横長であるため、撮影画角としては、撮像素子の対角線方向に対応する対角線画角、横方向(水平方向)に対応する水平画角、縦方向(垂直方向)に対応する垂直画角がある。
本実施形態に係る三次元計測装置100(ガイドパターン描画制御部152)は、レーザプロジェクタ102b、103bにより描画されるガイドパターンの形状(外枠のサイズなど)を撮影画角に合わせる調整を実施する。そのため、レンズ情報151cには、撮影画角として、水平画角及び垂直画角が記述される。
レンズ情報151cは、使用予定のレンズ及び事前に設定したF値に基づいて予め生成されてもよいし、レンズの換装時にガイドパターン描画制御部152により生成されてもよい。例えば、ガイドパターン描画制御部152は、撮像装置102a、103aからレンズの情報(焦点距離など)を取得し、事前設定されたF値及び対象物までの距離、そして、既知の撮像素子のサイズに基づいて合焦距離及び撮影画角を計算する。
上記のレンズ情報151cを利用すると、ガイドパターン描画制御部152は、撮像装置102a、103aの光軸から最も遠い位置に描画されるガイドパターンの構成部分を撮影画角の端に合わせること、或いは、撮影画角の内部に収めることが可能になる。
例えば、図5に示した二次元パターン121の場合、ガイドパターン描画制御部152は、中央で交差する2本の直線の交点を光軸に合わせる。また、ガイドパターン描画制御部152は、外枠を形成する4本の直線のうち、2本の縦線(撮像素子の縦方向に延びた直線)を垂直画角に合わせ、2本横線(撮像素子の横方向に延びた直線)を水平画角に合わせる。
図6に例示したレンズ情報151cのNo.1のレンズが撮像装置102aに装着されている場合、ガイドパターン描画制御部152は、水平方向に光軸から+11.25°の位置を通る縦線、及び水平方向に光軸から-11.25°の位置を通る縦線を描画し、垂直方向に光軸から+7.5°の位置を通る横線、及び垂直方向に光軸から-7.5°の位置を通る横線を描画する。このように、撮影画角に合わせてガイドパターンのサイズを調整することで、ガイドパターンから計測領域10を認識可能になる。
(ガイドパターンの例)
上記の説明では、矩形の外枠に十字の二本線を組み合わせた二次元パターン121、131を例示したが、本実施形態に係る三次元計測装置100に適用可能なガイドパターンの形状はこれに限定されない。
例えば、図7及び図8に示すような様々な形状のガイドパターンを適用することが可能である。図7は、ガイドパターンの例を示した第1の図表である。図8は、ガイドパターンの例を示した第2の図表である。なお、図7及び図8に示した図形はあくまでも例示であり、これらの図形の組み合わせ、これらの図形から切り取られる部分的な図形、その部分的な図形の組み合わせ、或いは、これらの図形から着想される任意の図形の適用についても本実施形態の技術的範囲に属する。
まず、図7を参照する。図7に示した15個の図形のうち、図形#01は円である。図形#01は楕円に変形できる。例えば、ガイドパターン描画制御部152は、ガイドパターンを楕円とする場合、水平画角に合わせて長軸を設定し、垂直画角に合わせて短軸を設定し、長軸と短軸との交点を光軸に一致させる。図形#02は、図形#01の一部である。円又は楕円は、中心又は中心を通る直線(長軸、短軸)に対して対称的な形状である。そのため、一部の形状から中心の位置を容易に推測することができる。
図形#3は、図形#01と同じ形状でサイズの異なる複数の図形を、中心を一致させて配置した図形である。図7には2つの円を同心円状に配置した例が示されているが、図形#03の変形例としては、3つ以上の円を同心円状に配置した図形や、2つ又は3つ以上の楕円を同心配置した図形がある。また、円と楕円とを組み合わせた図形や、図形#02のような部分図形の組み合わせも図形#03の変形例に含まれる。
図形#04は、図形#01と中心点とを組み合わせた図形である。図形#4の変形例としては、図形#02又は図形#03と中心点とを組み合わせた図形がある。図形#05は、図形#01の実線を鎖線又は点線で表現した図形である。図形#05の変形例としては、一点鎖線及び二点鎖線などの実線とは異なる線種で表現した図形がある。図形#06のように、図形#01-#04及びその変形例に対して、図形#05の表現を適用してもよい。
図形#07は、4本の直線で描かれた矩形の枠線と、中心で直交する2本の直線とを含む、所謂「田の字」型の図形である。図形#07の変形例としては、枠線の形状を縦長又は横長の長方形にした図形や、全体又は枠線を45°回転させた菱形の図形がある。また、中心で直交する2本の直線と枠線とが接しない図形、或いは、それら2本の直線が枠線と交差する図形も図形#07の変形例に含まれる。
図形#08は、中心で直交する2本の直線で形成された図形である。2本の直線の長さは、同じであってもよいし、異なっていてもよい。図形#08を適用する場合、ガイドパターン描画制御部152は、水平画角に合わせて横線の長さを調整し、垂直画角に合わせて縦線の長さを調整する。つまり、ガイドパターン描画制御部152は、中心から最も遠い図形上の点を水平画角及び垂直画角に基づいて設定する。
図形#09は、図形#07の枠線に相当する図形である。図形#09の変形例としては、図形#4と同様に図形#09と中心点とを組み合わせた図形がある。また、図形#03と同様に中心が一致するようにサイズの異なる複数の矩形を組み合わせた図形や、図形#02と同様に図形#09の第1象限及び第3象限に相当する部分を切り欠いた図形も図形#09の変形例に含まれる。
図形#10は、図形#08を45°回転させた図形である。2本の直線の長さは、同じであってもよいし、異なっていてもよい。図形#10を適用する場合、ガイドパターン描画制御部152は、水平画角又は垂直画角に合わせて2本の直線の端点の位置を設定する。図形#10の変形例としては、2本の直線を中心で直交させず、撮影画角に応じた角度で交わるように設定した図形がある。例えば、ガイドパターン描画制御部152は、水平画角及び垂直画角に合う矩形の頂点を結ぶ2本の対角線を設定できる。
図形#11は、中心で交わる3本以上の直線で形成された図形である。図形#12は、図形#11を形成する各線の頂点にドット(レーザ光の広がりで表現される点又は小径の円)を表示した図形である。図形#11を形成する各線の長さは、例えば、各線の交点を中心とする円又は楕円(図形#01及びその変形例)の内側に当接する長さに設定される。図形#13は、図形#08を形成する各線の頂点及び中心にドットを表示した図形である。
図形#14は、図形#03の一部を切り欠いた図形である。図形#14は、例えば、図形#03を図形#10の線で切断し、中心の上下に位置する4本の曲線を除去した図形である。図形#15は、図形#09の枠内に収まる長さの複数の直線により形成されたメッシュ状の図形である。図形#09の変形例としては、図形#01の枠内に収まるように形成したメッシュ状の図形がある。
次に、図8を参照する。図8には、9個の図形#16-#24が示されている。まず、図形#16-#21に注目する。図形#16-#21はいずれも、鉛直方向に沿って上方又は下方を指し示す図形(以下、指示図形)が含まれている。例えば、図形#16には、指示図形として、1つの頂点が鉛直上向きを指す三角形が含まれている。
図5を参照しながら既に説明したように、三次元計測装置100の位置を合わせる際、計測者は、対象物と三次元計測装置100との間の距離に加え、三次元計測装置100の傾き(Y-Z面内の回転)を調整する。このとき、図8に示した図形#16を適用すると、鉛直上向きを指し示す三角形の傾きを見ることで、計測者は、三次元計測装置100が右方向に傾いているのか、左方向に傾いているのかを容易に把握することが可能になる。これにより、計測者は、三次元計測装置100の傾きを容易に調整することができる。
図形#17には、指示図形として、1つの頂点が鉛直下向きを指す三角形が含まれている。ガイドパターンとして図形#17を採用した場合も同様に、計測者は、鉛直下向きを指し示す三角形の傾きから三次元計測装置100の傾き方向を容易に把握でき、その傾きを容易に調整することができる。なお、図形#16、#17では三角形を方向指示の指標としていたが、例えば、図形#18、#19のように先が丸い蒲鉾状の図形を方向指示の指標に利用することも可能である。
また、図形#16-#18は、外枠の矩形と、三角形又は蒲鉾状の図形とを組み合わせた図形であるが、図形#20、#21のように外枠の矩形を省略する変形が可能である。また、三角形に代えて矢印を方向指示の指標に利用する変形が可能である。また、三角形、蒲鉾状の図形、矢印、それらを変形した方向指示の指標は、外枠の矩形と接していなくてもよい。また、図形#16-#21及びそれらを変形した方向指示の指標となる図形は、図7に示した各図形の少なくとも一部と組み合わせてもよい。
次に、図8に示した図形#22-#24に注目し、複数の線分で形成される図形をガイドパターンとして利用する場合の好適な図形の設定方法について説明する。線分を含む図形は、これまで説明した図形の一部を切り取ること、或いは、複数の線分を組み合わせることにより生成されうる。
例えば、図形#22は、上下に延びる2本の線分、及び、左側にある線分の下端と右側にある線分の上端とを結ぶ斜めの線分を有する。ガイドパターンとして2本の線分が描画されると、計測者は、光軸方向に対応する基準点が存在する範囲を認識することができる。また、2本の線分の幅が広いか狭いかによって、計測者は、対象物と三次元計測装置100との間の距離が遠いか近いかを認識することができる。そのため、2本の線分だけを採用しても意味を成すが、ガイドパターンが斜めの線分を有することで、計測者は、ガイドパターンから基準点の位置を推測しやすくなる。
図形#22の場合、2本の線分は、基準点を通る上下に延びた直線(縦鎖線)に対して対称に配置されている。また、斜めの線分は、基準点を通るように設定されている。そのため、計測者は、2本の線分の中間に位置し、2本の線分に平行な直線(縦鎖線に対応する直線)を推測し、その直線と斜めの線分との交点を基準点として推測することができる。また、図形#22の場合、2本の線分と斜めの線分とが交わる部分が鉛直方向の指示指標となるため、計測者は、これを三次元計測装置100の傾き調整に利用できる。
また、図形#23、#24のように、基準点又は基準点を通る直線についての対称性を有する図形の一部を切り出す場合(図形#23、#24は図形#09からの切り出し)に、基準点を挟んで対向する位置にある複数の要素を切り出すことで、計測者は、基準点の位置を推測しやすくなる。言い換えると、基準点を通る一の直線(例えば、横鎖線)について対称な要素群と、他の直線(例えば、縦鎖線)について対称な要素群とがあれば、計測者は、2本の直線及びそれら直線の交点(基準点)を推定することができる。このとき、2本の直線は交差していればよく、直交していなくてもよい。
ここまで、図形#01-#24を例にガイドパターンの形状について説明したが、上記説明のように各図形には種々の変形が可能であり、ここで例示した図形の組み合わせ、その変形例についても当然に本実施形態の技術的範囲に属する。例えば、上記の説明で直線又は線分と表現した図形を点の集合で表現した図形に変形することが可能である。例えば、図形#24に示した4本の線分の頂点を含む点の集合は図形#24の一変形例である。
[2.処理フロー]
次に、図9を参照しながら、制御装置105が実行する処理の流れについて説明する。図9は、制御装置が実行する処理の流れを示したフロー図である。
(S101)ガイドパターン描画制御部152は、レンズ情報151cを参照し、対応レンズの撮影画角を取得する。なお、ガイドパターン描画制御部152は、撮像装置102a、103aを介してレンズから取得されるレンズの情報に基づいて撮影画角を計算してもよい。
(S102)ガイドパターン描画制御部152は、ガイドパターンの情報151aを参照し、レーザプロジェクタ102bで描画する第1のガイドパターンと、レーザプロジェクタ103bで描画する第2のガイドパターンとを決定する。第1のガイドパターンと第2のガイドパターンとは異なるガイドパターンであってもよい。また、第1のガイドパターン及び第2のガイドパターンは、事前に固定値として設定されてもよいし、計測者が計測時に設定できるようにしてもよい。
(S103)ガイドパターン描画制御部152は、第1のガイドパターン及び第2のガイドパターンの表現方法を決定する。第1のガイドパターンと第2のガイドパターンとを異なる表現にすると、第1のガイドパターンと第2のガイドパターンとが重なる部分で、注目している線が、いずれのガイドパターンの一部であるかを計測者が認識しやすくなる。表現方法としては、例えば、色、明滅、線の太さなどがある。
例えば、ガイドパターン描画制御部152は、レーザプロジェクタ102bから出力されるレーザ光の色(以下、第1の色)と、レーザプロジェクタ103bから出力されるレーザ光の色(以下、第2の色)とを決定する。第1の色と第2の色とは、同じであってもよいし、異なっていてもよい。また、第1の色及び第2の色は、事前に固定値として設定されてもよいし、計測者が計測時に設定できるようにしてもよい。
また、ガイドパターン描画制御部152は、第1のガイドパターン又は第2のガイドパターンを明滅させるか否かを決定する。例えば、第1の色と第2の色とが同じであっても、一方のガイドパターンが一定周期で明滅(例えば、1秒おきに0.5秒だけ消滅)すれば、注目している線が、いずれのガイドパターンの一部であるかを計測者が認識しやすくなる。明滅の有無は、事前に固定値として設定されてもよいし、計測者が計測時に設定できるようにしてもよい。
また、ガイドパターン描画制御部152は、第1のガイドパターンと第2のガイドパターンとで線の太さを変えるか否かを決定する。例えば、第1の色と第2の色とが同じで、ガイドパターンの明滅がない場合でも、線の太さが異なれば、注目している線が、いずれのガイドパターンの一部であるかを計測者が認識しやすくなる。線の太さを変えるか否かは、事前に固定値として設定されてもよいし、計測者が計測時に設定できるようにしてもよい。
上述した表現方法を適用できるか否かは、レーザプロジェクタ102b、103bの機能によるため、実施の態様に応じて、適用可能な表現方法が選択されうる。また、レーザプロジェクタ102b、103bに搭載されたレーザ光源の種類により、互いに異なる色のレーザ光が出力される仕様であれば、S103の処理は省略されてもよい。
(S104)ガイドパターン描画制御部152は、レーザプロジェクタ102bを制御して第1のガイドパターンを描画し、レーザプロジェクタ103bを制御して第2のガイドパターンを描画する。このとき、ガイドパターン描画制御部152は、レンズ情報151cから取得した撮影画角(水平画角、垂直画角)に合わせて第1のガイドパターン及び第2のガイドパターンの描画サイズを調整する。
(S105)ガイドパターン描画制御部152は、三次元計測装置100の位置決めが完了したか否かを判定する。例えば、計測者が位置決め完了の操作を行った場合、或いは、計測者が計測開始の操作を行った場合、ガイドパターン描画制御部152は、位置決めが完了したと判定する。位置決めが完了した場合、処理はS106へと進む。一方、位置決めが完了していない場合、処理はS104へと進み、ガイドパターンの描画を継続する。
(S106)ガイドパターン描画制御部152は、レーザプロジェクタ102b、103bを制御してレーザ光の出力を停止し、ガイドパターンの描画を終了する。また、ガイドパターン描画制御部152は、位置決めの完了を計測用パターン投影制御部153に通知する。
(S107)計測用パターン投影制御部153は、計測用パターンの情報151bから計測用パターンの画像データを取得する。また、計測用パターン投影制御部153は、取得した画像データをパターン投影機101に入力し、計測用パターンを投影する。計測用パターン投影制御部153は、計測用パターンの投影開始を計測部154に通知する。
(S108)計測部154は、撮像装置102a、103aを制御して、計測用パターンが投影された状態の対象物を撮像する。また、計測部154は、撮像装置102a、103aから出力される撮像データを取得し、取得した撮像データに基づいて対象物の三次元計測を実施する。
(S109)計測部154は、計測を継続するか否かを判定する。
例えば、計測者が三次元計測装置100を移動して別の角度から対象物を計測する場合など、別の位置からの三次元計測を継続する場合、計測部154は、計測者の操作(ガイドパターンの再表示操作など)に応じて、計測を継続すると判定する。この場合、計測部154は、計測の継続を計測用パターン投影制御部153及びガイドパターン描画制御部152に通知する。計測用パターン投影制御部153は、この通知に応じて計測用パターンの投影を停止する。また、処理はS104へと進む。
一方、ある対象物の三次元計測作業が完了して計測者が計測を終える場合、計測部154は、計測者の操作(三次元計測装置100の電源オフなど)に応じて、計測を継続しないと判定する。この場合、計測部154は、計測の終了を計測用パターン投影制御部153に通知する。計測用パターン投影制御部153は、この通知に応じて計測用パターンの投影を終了する。そして、図9に示した一連の処理は終了する。
上記のように、対象物に対して二次元的な広がりを持った目に見えるガイドパターンを表示することで、計測者がガイドパターンを見失うことが少なくなる。また、ガイドパターンのサイズから、計測者が三次元計測装置100と対象物との間の距離を容易に推測できるようになり、三次元計測装置100の位置調整が容易になる。また、ガイドパターンの傾きから三次元計測装置100の傾きを推測することが容易になり、三次元計測装置100の傾き調整が容易になる。その結果、計測者は、三次元計測装置100を効率良く移動させて容易に好適な撮影範囲へと対象物を導入することが可能になる。サイズが小さい物、細い物、複雑な凹凸がある物、或いはそれらの一部を対象にする場合には、上記のようなガイドパターンを目に見える形で表示することが特に有効である。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属する。
例えば、上記の説明では、ガイドパターンを表示する手段として、レーザ光走査式プロジェクタを例に挙げたが、レーザ光走査式プロジェクタ以外の任意の光源を適用することも可能である。ガイドパターンを表示する手段として、例えば、液晶やDMD(Digital Mirror Device)を利用して画像を投影するタイプのプロジェクタを適用することも可能である。このタイプのプロジェクタを適用する場合、撮像装置102a、103aの光軸が交わる位置の近傍に焦点を合わせることで、レーザ光走査式プロジェクタと同様に利用することが可能になる。但し、レーザ光のように線幅が狭く直進性の高い光を出力可能な光源を利用することで、焦点を合わせる手間を省略できるというメリットが得られる。
また、上記の説明では、撮像装置102a、103aに単焦点レンズを装着することを想定して説明したが、撮像装置102a、103aにズームレンズが装着されていてもよい。ズームレンズを適用する場合でも、計測に利用する焦点距離が設定されれば、単焦点レンズを適用する場合と同様に、合焦範囲及び撮影画角を計算することができ、上述した方法(レンズ情報151cに基づく制御)を同様に適用できる。
これらの変形例についても当然に本実施形態の技術的範囲に属する。