JP4814441B2

JP4814441B2 - ３次元情報取得装置

Info

Publication number: JP4814441B2
Application number: JP2001183735A
Authority: JP
Inventors: 和彦高橋
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2001-06-18
Filing date: 2001-06-18
Publication date: 2011-11-16
Anticipated expiration: 2021-06-18
Also published as: JP2003006616A

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元情報取得装置に関するものである。
【０００２】
【従来の技術】
ステレオ撮像系によって撮像された画像から撮影対象についての３次元情報を取得し、この３次元情報を用いて３次元表示（ポリゴン表示）を行なう技術が従来より知られている。例えば、特開平６−２１５１１１号公報には３次元情報の取得方法が開示されており、この取得した３次元情報に基づいて、ポリゴン表示を行うことができる。
【０００３】
ここで「ステレオ撮像系」とは、複数の視点からの撮像系を意味している。さらに１台の撮影装置をステレオコンバータ等を用いて複数視点の画像を得る物や、複数の撮像装置を使用したものも含む。また、「ステレオ撮像系によって撮像された画像」とは、複数の視点からの画像を意味する。複数の撮像装置からの複数の画像だけでなく、１枚の画像の中に複数の視点の画像が埋め込まれているものも含む。
【０００４】
【発明が解決しようとする課題】
上記した従来の３次元表示方法では、３次元情報を取得するポイント（対応点、測定点）の探索および３次元情報の取得において膨大な計算量が必要となり、高速描画処理、小型のシステムヘの導入を困難にしている。
【０００５】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、計算量を削減することが可能な３次元情報取得装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記の目的を達成するために、本発明は、相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて前記撮像対象の３次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる３次元表示を行う画像表示情報を取得する３次元情報取得装置であって、操作者が設定条件を入力するための入力手段と、前記ポリゴンあるいはワイヤフレームの各頂点を基準となる一方の画像面に所定間隔で設定する設定手段と、この頂点に対応する前記撮像画像上の点である測定点における３次元情報を算出する計算手段と、を有し、前記入力手段の設定に基づいて前記測定点を移動決定し、前記計算手段の算出結果に基づいて前記撮像対象の３次元画像表示情報を表示手段に出力する。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００１６】
図１は、本発明の３次元情報取得装置の構成を示す図であり、カメラ１００，１０１からなるステレオ撮像系１と、計算装置６と、表示装置７から構成される。カメラ１００，１０１は、相対距離，姿勢が既知である複数の視点として機能する。計算装置６は、カメラ１００，１０１により撮像対象を撮像した画像に基づいて前記撮像対象の３次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる３次元表示を行う画像表示情報を取得する。すなわち、計算装置６は、ポリゴンあるいはワイヤフレームの各頂点位置に対応する前記撮像画像上の点である測定点における３次元情報を算出し、この算出結果に基づいて前記撮像対象の３次元画像表示情報を表示装置７に出力する。
【００１７】
図２は、ステレオ立体視の基本的な概念を説明するための図である。異なる位置に置かれた２台のカメラ１００，１０１で構成されるステレオ撮像系１により同一の被撮影物４を撮影すると、左側のカメラ１００により撮影された被撮影物４は画面の右側の位置に撮影され、右側のカメラ１０１により撮影された被撮影物４は画面の左側の位置に撮影される。このとき同一の被撮影物４を撮影しても撮影位置が異なるので写り方が異なる。カメラ１００，１０１の位置関係があらかじめわかっているので、写り方の違いから被撮影物４までの距離を測定することができる。
【００１８】
図３は、複数のカメラ（ここではカメラ１００，１０１）から構成されるステレオ撮像系１により撮影される複数のステレオ画像２−０〜２−ｎ（以下、ステレオ画像２と称する）を示している。これら複数のステレオ画像２の中から基準画像３が選択される。
【００１９】
図４は、本実施形態の３次元情報取得装置の概略構成を示すブロック図であり、ステレオ撮像系１と、記憶装置５を有する計算装置６と、表示装置７と、キーボード８とから構成される。
【００２０】
（第１実施形態）
以下、図５，図６を参照して本発明の第１実施形態を説明する。この場合、既出の図を適宜参照するものとする。まず、複数のカメラから構成されるステレオ撮像系１により被撮影物４を撮像し、得られたステレオ画像２を記憶装置５に格納する（ステップＳ１）。次に、撮影により得られたステレオ画像２の中から基準画像３を決定する（ステップＳ２）。例えばここではステレオ画像２−１を基準画像とする。
【００２１】
次にこの基準画像３上で測距を行なうべき測定点ａ_x,yを決定する（ステップＳ３）。次に基準画像３上の測定点ａ_x,yに対する他のステレオ画像、ここではステレオ画像２−２上の対応点ｃ_x,yを探索して、基準画像３上の点がステレオ画像２−２上でどれほどずれ（視差）が存在するかを探索し、その結果と、ステレオ撮像系１の相対位置、姿勢、光学パラメータ等から測定点ａ_x,yまでの距離を三角測量の原理を用いて算出する（ステップＳ４）。算出した距離を記憶装置５に格納する（ステップＳ５）。
【００２２】
次に、被撮影物４を表示しうる測定が終了かどうかを判断し（ステップＳ７）、ＮＯの場合には、次に距離算出する測定点ａ_x,yの位置をｂの距離だけ離した測定点ａ_x+1,yに決定して（ステップＳ６）、ステップＳ４に戻って測定点ａ_x+1,yに対応する画像２−２上の対応点ｃ_x+1,yを探索して測定点ａ_x+1,yまでの距離を算出し、その情報を記憶装置５に格納する。ここで間隔ｂは、基準画像３上の測定点ａ_x,yとそれに隣接する測定点ａ_x+1,y間の距離ではなく、ポリゴン頂点の間隔（ポリゴン間隔）としたことを特徴とする。
【００２３】
以下同様に上記の処理をステップＳ７の判断がＹＥＳとなるまで繰り返し、対応点探索を行なった座標の情報と、算出された各点の距離情報とから被撮影物４を表示装置７に表示するためのポリゴン９の情報を生成する（ステップＳ８）。
【００２４】
上記した第１実施形態によれば、対応点の探索を行なう点の間隔をポリゴン頂点の間隔としたので測距計算量の削減が可能となり対応点探索が高速に行えるようになる。
【００２５】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば、間隔ｂと各測定点ａの距離の関係は同値ではなく定数倍の関係であっても良い。また、間隔ｂは入力手段としてのキーボード８などから入力して変更可能としても良い。カメラを３台以上使用してもよい。
【００２６】
（第２実施形態）
以下、図７を参照して本発明の第２実施形態を説明する。この場合、既出の図を適宜参照するものとする。まず、ステレオ撮像系１を構成するカメラ１００，１０１により被撮影物４を撮影して（ステップＳ１１）、得られたステレオ画像２を記憶装置５に格納する（ステップＳ１２）。次に格納した記憶画像のうちの１枚を基準画像３とする。図８は基準画像３の一例を示している。次に計算装置６は、この基準画像３のエッジ情報や、分散、曲率情報などに基づいて特徴点を抽出する。図９は上記の方法で抽出された特徴点（黒丸の部分）を示している。基準画像３の抽出された特徴点上に図１０（Ａ）に示すような測定点ａを設定し（ステップＳ１３）、この各測定点ａに対応する点を画像２（図１０（Ｂ））上から探索して、その視差量及びステレオ撮像系１の位置姿勢関係から各点までの距離を算出する（ステップＳ１４）。次に算出した結果を奥行き情報として記憶装置５に格納する（ステップＳ１５）。次に格納された奥行き情報から被撮影物４を表示するためのポリゴン９を生成して（ステップＳ１６）、表示装置７に表示する（ステップＳ１７、図１１）。
【００２７】
上記した第２実施形態によれば、基準画像３上の画像特徴（エッジ情報、輝度、色相の分散、曲率情報等）のある点を抽出し、それを測定点とする事で実画像に合わせて最適な測定点を設定することが可能となり、品質の良いポリゴン情報が生成される。
【００２８】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば、間隔ｂと各測定点ａの距離の関係は同値ではなく定数倍の関係であっても良い。画像特徴から特徴点を抽出する際の閾値は入力手段としてのキーボード８などから入力して変更可能としても良い。また、カメラを３台以上使用してもよい。
【００２９】
（第３実施形態）
以下、図１２を参照して本発明の第３実施形態を説明する。この場合、既出の図を適宜参照するものとする。まず、計算装置６により自らの処理能力と周辺機器との間の通信能力とをチェックする（ステップＳ２１）。次にこのときのチェック結果に基づいてポリゴン間隔ｂを決定する（ステップＳ２２）。
【００３０】
以下にポリゴン間隔ｂの決定の具体的な例を説明する。例えば、ポリゴン間隔ｂ＝１、すなわち、画面上の全ての点に対してステレオマッチングを行った場合に出力される情報量をＡとする。また、図５で説明した方法に従ってポリゴン生成を行ない、表示装置７の単位時間当たりの表示可能なポリゴン数をＢとする。さらに、計算装置６の処理速度をＣとする。
【００３１】
単位時間当たりにＢ以上のポリゴンを計算しても意味がないことを考慮すると、
【００３２】
【数１】

が成り立つので、ｂは
【００３３】
【数２】

【００３４】
の関係を満たす。式２を満たす最大の整数をｂとして決定する。ここで得られる解以上の間隔ｂを設定してもポリゴン品質が下がるだけで、表示速度は変わらない。
【００３５】
次に、ステレオ撮像系１を構成するカメラ１００，１０１により被撮影物４を撮影して（ステップＳ２３）、得られたステレオ画像２を記憶装置５に格納する（ステップＳ２４）。次に格納した記憶画像のうちの１枚を基準画像３とする。
【００３６】
次に、計算装置６は自らの処理能力と周辺機器との通信能力からポリゴン間隔ｂを決定し、この間隔ｂに基づいて各ポリゴンの頂点ａの座標を決定する。次に頂点ａに対応する点をステレオ画像２上から探索し、その視差量及びステレオ撮像系１の位置姿勢関係から各点までの距離を算出する（ステップＳ２５）。次に算出結果を記憶装置５に格納する（ステップＳ２６）。次に格納された各点の距離情報からポリゴン９を生成して（ステップＳ２７）、生成したポリゴン９を表示装置７に表示する（ステップＳ２８）。
【００３７】
第３実施形態では、距離ｂは、基準画像３上の測定点ａ_x+1,yは測定点ａ_x,yの隣のピクセルではなく、表示装置７の表示能力や計算装置６の処理能力、各装置間の通信速度から決定されることを特徴とする。したがって、必要以上の計算を行わない等、性能に最適なポリゴン設定が可能となる。例えば、計算装置６が２のべき乗の数に対して高速計算を行える回路を有している場合はポリゴン間隔ｂは２のべき乗となるように決定する。
【００３８】
２のべき乗にすると良い理由は以下の通りである。
【００３９】
１．現在殆どの計算装置の情報記録は２進数で構成されている為、保存情報が２のべき乗であるという前提がある事で計算処理の高速化、計算装置の簡略化が容易になる。
【００４０】
２．画像縮小の際も２のべき乗である事で１／２，１／４，１／８…等の縮小で補間を行う必要がなくなる。
【００４１】
３．ポリゴンにテクスチャマッピングを行う際にレンダリングピクセル面積とテクスチャのサイズが大きく異なると虚像が生じるという問題があり、それを解決する為にテクスチャの１辺を２のべき乗にし、それを複数（４×４，８×８，１６×１６，…）用意し、レンダリング面積に一番近いサイズを使用する事が一般に行われている。（Multum In Parvo Mapping）
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。例えば、計算装置の処理能力や周辺機器との通信能力から決定されるのはポリゴン間隔ｂではなく、測定点ａの個数でも良い。計算装置の処理能力や周辺機器との通信能力のチェックは前もって行っておいてその結果を記憶装置５に格納しておいても、処理開始時にチェックをおこなってもどちらでも良い。カメラを３台以上使用してもよい。
【００４２】
（第４実施形態）
以下、図１３，図１４を参照して本発明の第４実施形態を説明する。この場合、既出の図を適宜参照するものとする。まずステレオ撮像系１を構成するカメラ１００，１０１により被撮影物４を撮影して（ステップＳ３１）、得られたステレオ画像２を記憶装置５に格納する（ステップＳ３２）。次に格納した記憶画像のうちの１枚を基準画像３とする。
【００４３】
計算装置６は記憶装置５に格納されている縮小率でステレオ画像２を縮小したステレオ画像１０（図１４）を生成して（ステップＳ３３）、記憶装置５に格納する（ステップＳ３４）。計算装置６は公知の技術を用いてステレオ画像１０に対してステレオマッチングを行い、その視差量及びステレオ撮像系１の位置姿勢関係から各点までの距離を算出し（ステップＳ３５）、その結果を奥行き情報として記憶装置５に格納する（ステップＳ３６）。次に計算装置６は、算出された奥行き情報に基準画像３をテクスチャとして貼り付けたポリゴン９を生成して（ステップＳ３７）、表示装置７に表示する（ステップＳ３８）。
【００４４】
上記した第４実施形態によれば、測定点を間引いたのと同様の計算量削減効果があり、ポリゴン９に貼り付けるテクスチャは基準画像３のものを使用するので劣化がない。
【００４５】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。カメラを３台以上使用してもよい。縮小率は入力手段としてのキーボード８などから入力して変更可能としても良い。貼り付ける画像は縮小前の画像を使用するのであれば、ステレオ画像２間の合成画像を使用しても良い。
【００４６】
（第５実施形態）
以下、図１５を参照して本発明の第５実施形態を説明する。まず、計算装置６により自らの処理能力と周辺機器との間の通信能力とをチェックする（ステップＳ４１）。次にこのときのチェック結果に基づいて縮小率を決定する（ステップＳ４２）。次にステレオ撮像系１によって被撮影物４を撮像してステレオ画像２を取得し（ステップＳ４３）、記憶装置５に格納する（ステップＳ４４）。その中の１枚を基準画像３とする。
【００４７】
次にステップＳ４２で決定した縮小率でステレオ画像２を縮小したステレオ画像１０を生成して（ステップＳ４５）、記憶装置５に格納する（ステップＳ４６）。
【００４８】
次に計算装置８は公知の技術を用いて、ステレオ画像１０に対してステレオマッチングを行いその視差量及びステレオ撮像系１の位置姿勢関係から各点までの距離を算出して奥行き情報を生成し（ステップＳ４７）、これを記憶装置５に格納する（ステップＳ４８）。
【００４９】
次に計算装置８は、生成された奥行き情報に基準画像３をテクスチャとして貼り付けたポリゴン９を生成し（ステップＳ４９）、表示装置７に表示する（ステップＳ５０）。
【００５０】
上記した第５実施形態によれば、処理装置の性能に基づいて縮小率を決定する事で必要以上の計算を行わない等、性能に最適なポリゴン設定が可能となる。例えば、計算装置６が２のべき乗の数に対して高速計算を行える回路を有している場合は縮小率は２のべき乗分の１（１／２^ｎ）となるように決定する。
【００５１】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。貼り付ける画像は縮小前の画像を使用するのであれば、ステレオ画像２間の合成画像を使用しても良い。計算装置の処理能力や周辺機器との通信能力のチェックは前もって行っておいてその結果を記憶装置に格納しておいても、処理開始時にチェックをおこなってもどちらでも良い。カメラ３台以上使用してもよい。
【００５２】
（付記）
上記した具体的実施形態から以下のような構成の発明が抽出される。
【００５３】
１．
相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて、前記撮像対象の３次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる３次元表示を行う画像表示情報を取得する３次元情報取得装置であって、
前記ポリゴンあるいはワイヤフレームの各頂点位置に対応する前記撮像画像上の点である測定点における３次元情報を算出する計算手段を有し、
前記計算手段の算出結果に基づいて前記撮像対象の３次元画像表示情報を表示手段に出力する事を特徴とする３次元情報取得装置。
【００５４】
（作用）
ステレオ撮像系１によって得られた被撮影物４のステレオ画像２を記憶装置５に格納する。ステレオ画像２に対して、その中の一枚の画像（例えば左右ステレオ画像ならば左画像等）を基準画像３とする。計算装置６は基準画像３上の点ａ_x,yに対応するその他のステレオ画像２上の点ｃ_x,yを探索して、その視差とステレオ撮像系１の位置姿勢情報から点ａ_x,yまでの距離を三角測量の原理で算出し、その情報を記憶装置５に格納する。次の基準画像３上の測定点ａ_x+1,yをａ_x,yの隣りのピクセルではなく、予定している間隔ｂ_x,yだけ離して設定し、その測定点ａ_x+1,yに対応するステレオ画像２上の点ｃ_x+1,yを探索して点ａ_x+1,yまでの距離を算出し、その情報を記憶装置５に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物４を表示する為のポリゴン９情報が出力される。
【００５５】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第１実施形態に対応する。関連する図は図１〜図６である。
【００５６】
（効果）
対応点探索を行う点の間隔をポリゴン頂点の間隔とする事で実質的に探索すべき対応点の総数が減るため、計算量が減少する。
【００５７】
２．
前記測定点は、前記画像を処理した事により抽出された特徴点に基いて決定される事を特徴とする１．に記載の３次元情報取得装置。
【００５８】
（作用）
ステレオ撮像系１によって撮影された被撮影物４のステレオ画像２が記憶装置５に格納される。その中の一枚を基準画像３とする。計算装置６は基準画像３のエッジ情報や、分散、曲率情報などから特徴点を抽出する。抽出された点を測定点ａとし各点に対応する点をステレオ画像２上から探索し、その視差量及びステレオ撮像系１の位置姿勢関係から各点までの距離を算出し、その結果を奥行き情報として算出された情報から被撮影物４を表示する為のポリゴン９が生成される。
【００５９】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第２実施形態に対応する。関連する図は図１〜図４、図７〜図１１である。
【００６０】
（効果）
対応点探索を行う点の間隔を特徴点の間隔とする事で実質的に探索すべき対応点の総数が減るため、計算量が減少する。
【００６１】
３．
前記測定点は、「前記計算手段の計算処理能力」と「前記計算手段と周辺装置との通信能力」と「接続される表示手段の表示能力」とによって、または、前記３つの能力のいずれかあるいはその組み合わせによって決定される事を特徴とする１．に記載の３次元情報取得装置。
【００６２】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第３実施形態に対応する。関連する図は図１〜図４、図１２である。
【００６３】
（作用）
ステレオ撮像系１によって得られた被撮影物４のステレオ画像２を記憶装置５に格納する。ステレオ画像２に対してその中の一枚の画像（例えば左右ステレオ画像ならば左画像等）を基準画像３とする。計算装置６は基準画像３上の点ａ_x,yに対応するその他のステレオ画像２上の点ｃ_x,yを探索して、その視差とステレオ撮像系の位置姿勢情報から点ａ_x,yまでの距離を三角測量の原理で算出し、その情報を記憶装置５に格納する。次の基準画像３上の測定点ａ_x+1,yをａ_x,yの隣りのピクセルではなく、表示装置７の表示能力や計算装置６の処理能力、各装置間の通信速度から決定される間隔ｂ_x,yだけ離して設定し、その測定点ａ_x+1,yに対応するステレオ画像２上の点ｃ_x+1,yを探索して測定点ａ_x+1,yまでの距離を算出し、その情報を記憶装置５に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物４を表示する為のポリゴン９情報が出力される。
【００６４】
（効果）
装置の性能に合わせて計算量を変える事ができる。
【００６５】
４．
前記３次元情報取得装置は操作者が設定条件を入力するための入力手段をさらに有し、前記入力手段の設定に基づいて前記測定点を決定する事を特徴とする１．に記載の３次元情報取得装置。
【００６６】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第１，２，４実施形態が対応する。関連する図は図１〜図４（特に図４のキーボード８）である。
【００６７】
（作用）
ステレオ撮像系１によって得られた被撮影物４のステレオ画像２を記憶装置５に格納する。ステレオ画像２に対して、その中の一枚の画像（例えば左右ステレオ画像ならば左画像等）を基準画像３とする。計算装置６は基準画像３上の点ａ_x,yに対応するその他のステレオ画像２上の点ｃ_x,yを探索して、その視差とステレオ撮像系の位置姿勢情報から点ａ_x,yまでの距離を三角測量の原理で算出し、その情報を記憶装置５に格納する。次の基準画像３上の測定点ａ_x+1,yをａ_x,yの隣りのピクセルではなく、入力装置８によって入力された間隔ｂ_x,y（座標でも可）だけ離して設定し、その測定点ａ_x+1,yに対応するステレオ画像２上の点ｃ_x+1,yを探索して点ａ_x+1,yまでの距離を算出し、その情報を記憶装置５に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物４を表示する為のポリゴン９情報が出力される。
【００６８】
（効果）
操作者の望むポリゴン品質を設定できる。
【００６９】
５．
前記測定点間の距離は、前記撮像画像上において少なくとも４画素以上ある事を特徴とする１．に記載の３次元情報取得装置。
【００７０】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第３実施形態が対応する。関連する図は図１〜図６である。
【００７１】
（作用）
ステレオ撮像系１によって得られた被撮影物４のステレオ画像２を記憶装置５に格納する。ステレオ画像２に対して、その中の一枚の画像（例えば左右ステレオ画像ならば左画像等）を基準画像３とする。計算装置６は基準画像３上の点ａ_x,yに対応するその他のステレオ画像２上の点ｃ_x,yを探索して、その視差とステレオ撮像系の位置姿勢情報から測定点ａ_x,yまでの距離を三角測量の原理で算出し、その情報を記憶装置５に格納する。次の基準画像３上の測定点ａ_x+1,yをａ_x,yの隣りのピクセルではなく、入力している間隔ｂ_x,y（距離４画素以上）だけ離して設定し、その測定点ａ_x+1,yに対応するステレオ画像２上の点ｃ_x+1,yを探索して点ａ_x+1,yまでの距離を算出し、その情報を記憶装置５に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物４を表示する為のポリゴン９情報が出力される。
【００７２】
（効果）
対応点探索を行う点の間隔をポリゴン頂点の間隔（距離４画素以上）とする事で実質的に探索すべき対応点の総数が減るため、計算量が減少する。
【００７３】
６．
前記測定点間の距離は、２のべき乗画素である事を特徴とする１．に記載の３次元情報取得装置。
【００７４】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第３実施形態が対応する。関連する図は図１〜図６である。
【００７５】
（作用）
ステレオ撮像系１によって得られた被撮影物４のステレオ画像２を記憶装置５に格納する。ステレオ画像２に対して、その中の一枚の画像（例えば左右ステレオ画像ならば左画像等）を基準画像３とする。計算装置６は基準画像３上の測定点ａ_x,yに対応するその他のステレオ画像２上の点ｃ_x,yを探索して、その視差とステレオ撮像系の位置姿勢情報から測定点ａ_x,yまでの距離を三角測量の原理で算出し、その情報を記憶装置５に格納する。次の基準画像３上の測定点ａ_x+1,yをａ_x,yの隣りのピクセルではなく、予定している間隔ｂ_x,y（距離は２のべき乗）だけ離して設定し、その測定点ａ_x+1,yに対応するステレオ画像２上の点ｃ_x+1,yを探索して点ａ_x+1,yまでの距離を算出し、その情報を記憶装置５に格納する。以下同様にこの処理を繰り返し、対応点探索を行った座標の情報と算出された距離情報から被撮影物４を表示する為のポリゴン９情報が出力される。
【００７６】
（効果）
対応点探索を行う点の間隔をポリゴン頂点の間隔とする事で実質的に探索すべき対応点の総数が減るため、計算量が減少する。
【００７７】
また、頂点間隔を２のべき乗とする事でハードウェア上で高速処理を行う事が容易になる。
【００７８】
７．
前記計算手段は、前記３次元情報算出にあたり、前記測定点間距離に基づいた縮小率で前記撮像画像を縮小し、この縮小画像に対する測定点間距離を１画素として前記撮像対象の３次元情報を算出する事を特徴とする１．に記載の３次元情報取得装置。
【００７９】
（対応する発明の実施の形態）
この発明に関する実施の形態は上記した第４、５実施形態が対応する。関連する図は図１〜図４、図１３，図１４である。
【００８０】
（作用）
ステレオ撮像系１によって得られた被撮影物４のステレオ画像２を記憶装置５に格納する。ステレオ画像２に対して、その中の一枚の画像（例えば左右ステレオ画像ならば左画像等）を基準画像３とする。計算装置６は複数のステレオ画像２を縮小したステレオ画像１０を生成して記憶装置５に格納する。計算装置８は複数のステレオ画像１０に対して公知の技術を用いてステレオマッチングを行い立体情報を算出して記憶装置５に格納する。計算装置６は算出された立体情報からポリゴン９を生成し、その表面にはステレオ画像２を使用したポリゴン９の情報を出力する。
【００８１】
（効果）
縮小された画像に対してステレオマッチングを行う事は縮小しない画像に対して行う場合と比べて計算量が少なくてすみ、貼り付けるテクスチャは縮小前の物を使用する事で表示されるポリゴンの表面劣化は少なくてすむ。
【００８２】
８．
相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて、前記撮像対象の３次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる３次元表示を行う画像表示情報を取得する３次元情報取得方法であって、
前記ポリゴンあるいはワイヤフレームの各頂点位置に対応する前記撮像画像上の点である測定点における３次元情報を算出し、このときの算出結果に基づいて前記撮像対象の３次元画像表示情報を表示手段に出力する事を特徴とする３次元情報取得方法。
【００８３】
９．
前記測定点は、前記画像を処理した事により抽出された特徴点に基いて決定される事を特徴とする８．に記載の３次元情報取得方法。
【００８４】
１０．
前記測定点は、「前記計算手段の計算処理能力」と「前記計算手段と周辺装置との通信能力」と「接続される表示手段の表示能力」とによって、または、前記３つの能力のいずれかあるいはその組み合わせによって、決定される事を特徴とする８．に記載の３次元情報取得方法。
【００８５】
１１．
操作者が設定条件を入力するための入力手段をさらに有し、前記入力手段の設定に基づいて前記測定点を決定する事を特徴とする８．に記載の３次元情報取得方法。
【００８６】
１２．
前記測定点間の距離は、前記撮像画像上において少なくとも４画素以上ある事を特徴とする８．に記載の３次元情報取得方法。
【００８７】
１３．
前記測定点間の距離は、２のべき乗画素である事を特徴とする８．に記載の３次元情報取得方法。
【００８８】
１４．
前記３次元情報算出にあたり、前記測定点間距離に基づいた縮小率で前記撮像画像を縮小し、この縮小画像に対する測定点間距離を１画素として前記撮像対象の３次元情報を算出する事を特徴とする８．に記載の３次元情報取得方法。
【００８９】
１５．
相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて、前記撮像対象の３次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる３次元表示を行う画像表示情報を取得する３次元情報取得プログラムであって、
前記ポリゴンあるいはワイヤフレームの各項点位置に対応する前記撮像画像上の点である測定点における３次元情報を算出する機能と、
前記計算手段の算出結果に基づいて前記撮像対象の３次元画像表示情報を表示手段に出力する機能と、
を具備することを特徴とする３次元情報取得プログラム。
【００９０】
１６．
前記測定点は、前記画像を処理した事により抽出された特徴点に基いて決定される事を特徴とする１５．に記載の３次元情報取得プログラム。
【００９１】
１７．
前記測定点は、「前記計算手段の計算処理能力」と「前記計算手段と周辺装置との通信能力」と「接続される表示手段の表示能力」とによって、または、前記３つの能力のいずれかあるいはその組み合わせによって、決定される事を特徴とする１５．に記載の３次元情報取得プログラム。
【００９２】
１８．
操作者が設定条件を入力するための入力手段をさらに有し、前記入力手段の設定に基づいて前記測定点を決定する事を特徴とする１５．に記載の３次元情報取得プログラム。
【００９３】
１９．
前記測定点間の距離は、前記撮像画像上において少なくとも４画素以上ある事を特徴とする１５．に記載の３次元情報取得プログラム。
【００９４】
２０．
前記測定点間の距離は、２のべき乗画素である事を特徴とする１５．に記載の３次元情報取得プログラム。
【００９５】
２１．
前記３次元情報算出にあたり、前記測定点間距離に基づいた縮小率で前記撮像画像を縮小し、この縮小画像に対する測定点間距離を１画素として前記撮像対象の３次元情報を算出する事を特徴とする１５．に記載の３次元情報取得プログラム。
【００９６】
【発明の効果】
本発明によれば、対応点探索を行なう点の間隔をポリゴン頂点の間隔としたので、実質的に探索すべき対応点の総数が減ることにより計算量が減少し、さらに、操作者が入力した設定に基づいて３次元情報を算出する測定点を移動決定するようにしたので、操作者の望むポリゴン品質を設定できる、という効果を奏する。
【図面の簡単な説明】
【図１】本発明の３次元情報取得装置の構成を示す図である。
【図２】ステレオ立体視の基本的な概念を説明するための図である。
【図３】複数のカメラから構成されるステレオ撮像系１により撮影される複数の画像２−０〜２−ｎを示す図である。
【図４】本実施形態の３次元情報取得装置の概略構成を示すブロック図である。
【図５】本発明の第１実施形態に係る３次元情報取得方法を説明するためのフローチャートである。
【図６】本発明の第１実施形態に係る３次元情報取得方法を説明するための模式図である。
【図７】本発明の第２実施形態に係る３次元情報取得方法を説明するためのフローチャートである。
【図８】基準画像３の一例を示す図である。
【図９】本実施形態の方法により抽出された特徴点（黒丸の部分）を示す図である。
【図１０】基準画像３上の各測定点ａに対応する点を画像２上から探索する方法を説明する図である。
【図１１】格納された奥行き情報から生成されたポリゴン９を示す図である。
【図１２】本発明の第３実施形態に係る３次元情報取得方法を説明するためのフローチャートである。
【図１３】本発明の第４実施形態に係る３次元情報取得方法を説明するためのフローチャートである。
【図１４】ステレオ画像２とこのステレオ画像２を所定の縮小率で縮小して得られる縮小ステレオ画像１０を示す図である。
【図１５】本発明の第５実施形態に係る３次元情報取得方法を説明するためのフローチャートである。
【符号の説明】
１ステレオ撮像系
２（２−０〜２−ｎ）ステレオ画像
３基準画像
４被撮影物
５記憶装置
６計算装置
７表示装置
８キーボード
１０（１０−０〜１０−ｎ）縮小ステレオ画像
１００カメラ
１０１カメラ

Claims

相対距離、姿勢が既知である複数の視点から撮像対象を撮像した画像に基づいて前記撮像対象の３次元情報取得処理を行い、前記撮像対象のポリゴンあるいはワイヤフレームによる３次元表示を行う画像表示情報を取得する３次元情報取得装置であって、
操作者が設定条件を入力するための入力手段と、
前記ポリゴンあるいはワイヤフレームの各頂点を基準となる一方の画像面に所定間隔で設定する設定手段と、
この頂点に対応する前記撮像画像上の点である測定点における３次元情報を算出する計算手段と、
を有し、
前記入力手段の設定に基づいて前記測定点を移動決定し、
前記計算手段の算出結果に基づいて前記撮像対象の３次元画像表示情報を表示手段に出力することを特徴とする３次元情報取得装置。