JP3762382B2 - 画像処理方法及び装置 - Google Patents
画像処理方法及び装置 Download PDFInfo
- Publication number
- JP3762382B2 JP3762382B2 JP2003102140A JP2003102140A JP3762382B2 JP 3762382 B2 JP3762382 B2 JP 3762382B2 JP 2003102140 A JP2003102140 A JP 2003102140A JP 2003102140 A JP2003102140 A JP 2003102140A JP 3762382 B2 JP3762382 B2 JP 3762382B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- landmark
- template
- detection
- template image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、たとえばランドマーク等の、静止物体の特定点を画像から検出するための特定点検出方法及び装置に関する。
【０００２】
【従来の技術】
近年、現実空間に付加情報や仮想物体（以下、仮想画像と総称する）を重畳表示することを目的とした複合現実感（Mixed Reality、以下、ＭＲ技術）に関する研究が盛んに行われている。その中でも、ビデオシースルータイプのヘッドマウンティドディスプレイ（Head-Mounted Display、以下、ＨＭＤ）を観察者が装着して、ＨＭＤに内蔵または装着されたカメラによって撮影される現実画像に、現実空間と仮想空間を３次元的に位置合わせした状態で仮想画像を重畳描画し、その結果生成される複合現実感画像（以下、ＭＲ画像）をリアルタイムにＨＭＤに表示するシステム（本明細書において、このような装置をＭＲシステムと称することにする）が注目されている。
【０００３】
仮想画像と現実画像の位置合せは、ＭＲシステムにおける最大の技術課題であり、その実現には、カメラ視点の位置と方位姿勢の正確な計測が必要である。一般に、３次元位置の既知な複数（理論的には３点以上、安定的に解くためには６点以上）の点の撮影画像上における位置が得られれば、その対応関係からカメラ視点の位置と方位姿勢を求めることができる（本明細書において、このような点をランドマークと称することにする）。すなわち位置合わせの問題は、移動するカメラによって撮影された画像中から、如何に正確にランドマークを追跡あるいは検出し、その位置を得るかに帰着される。
【０００４】
本発明者らは、これまでにゲーム等の分野においてＭＲ技術の応用装置を開発してきた。これらの装置は、屋内での使用を前提としたものであった。
【０００５】
上述のような屋内の使用においては、特徴的なマーカ（赤や緑のような特徴的な色を単色または組み合わせて配置したものや、市松模様や同心円のような特徴的なパターンが用いられる場合が多い）を対象空間中に配置し、これらをランドマークとすることで、画像処理によるランドマークの検出を容易かつ安定的に行うことが可能となり、高精度な位置合わせが実現できる。
【０００６】
色に基づくマーカを用いる場合のマーカの検出方法としては、例えば、ある照明環境下においてマーカを撮影し、その画像中におけるマーカ領域の代表色を抽出しこれを保存しておくことで、撮影画像中におけるマーカ領域の代表色と同一色（あるいはその近傍色）をもつ領域としてマーカを検出する方法が知られている。また、パターンに基づくマーカを用いる場合のマーカ検出方法としては、例えば、ある照明環境下において各マーカを撮影し、その画像中におけるマーカの近傍領域をテンプレート画像として保存しておくことで、テンプレートマッチングによってマーカを検出することができる。すなわち、テンプレート画像と撮影画像の部分領域との間で類似度演算を行い、テンプレート画像に最も類似する部分領域の位置をマーカの位置として検出する。本明細書では、上記におけるマーカ領域の代表色やテンプレート画像といった、マーカを検出するための手掛りとして用いる画像特徴を総称して、「検出パラメータ」と呼ぶこととする。
【０００７】
一方、例えば、ＨＭＤに案内者の仮想画像を表示して、大学構内や観光地の案内を行うなど、屋外での使用を前提としたＭＲシステムに対しても要望が増加している。
【０００８】
屋外では環境中に人為的なマーカを貼ることが困難な場合が多い。このような状況下において観察者視点の位置と方位姿勢を計測する手法としては、カメラによって撮影される撮影画像内において、画像処理によって検出可能な特徴をもつ点（例えば構造物の角、構造物中のテクスチャの多い点、色味が局所的に変化している点等）をランドマークとして用いる手法が知られている。撮影画像からのランドマークの検出には、テンプレートマッチング技術を適用できる。
【０００９】
【発明が解決しようとする課題】
しかしながら、屋外環境においては、天候（晴／曇り／雨）や時間帯（朝／昼／夜）による環境光の変化によってランドマークの見え方（明るさや色味）に変化が生じる。このため、テンプレートマッチングによるランドマークの検出を行おうとした場合、検出パラメータとして予めマッチングのためのテンプレート画像を用意しておいても、環境光の変化によって正しいマッチングを行うことが出来ず、ランドマークの検出が行えなくなるという問題がある。したがって、視点の正しい位置と方位姿勢を得ることができず、現実画像と仮想画像の正しい位置合わせを行うことができないという問題が発生する。また、屋内環境において人為的なマーカを利用した場合であっても、照明環境が変化する場合には同様な問題が生じてしまう。
【００１０】
本発明は、上記の問題に鑑みてなされたものであり、撮影時の環境が変化して特定点として用いるランドマーク等の見え方が変化しても、撮影画像中から特定点を確実に検出可能とすることを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理方法は、例えば以下の工程を備える。すなわち、
現実空間内に配置されている複数の特定点を用いて撮影部の姿勢を算出する画像処理方法であって、
撮影画像から複数の特定点の夫々を検出するための検出パラメータを複数保持する保持工程と、
撮影部によって撮影された撮影画像を入力する入力工程と、
前記撮像画像の平均輝度を算出する平均輝度算出工程と、
前記保持されている複数の検出パラメータから、前記複数の特定点の夫々に対して、前記平均輝度に応じた検出パラメータを選択する選択工程と、
前記選択工程よって選択された検出パラメータを用いて、前記入力工程によって入力される撮影画像から特定点を検出する検出工程と、
前記検出された特定点の撮影画像における位置を用いて前記撮影部の姿勢を算出する算出工程とを有する。
【００１２】
また、上記の目的を達成するための本発明による画像処理装置は、例えば以下の構成を備える。すなわち、
現実空間内に配置されている複数の特定点を用いて撮影部の姿勢を算出する画像処理装置であって、
撮影画像から複数の特定点の夫々を検出するための検出パラメータを複数保持する保持部と、
撮影部によって撮影された撮影画像を入力する入力部と、
前記撮像画像の平均輝度を算出する平均輝度算出部と、
前記保持されている複数の検出パラメータから、前記複数の特定点の夫々に対して、前記平均輝度に応じた検出パラメータを選択する選択部と、
前記選択部よって選択された検出パラメータを用いて、前記入力部によって入力される撮影画像から特定点を検出する検出部と、
前記検出された特定点の撮影画像における位置を用いて前記撮影部の姿勢を算出する算出部とを有する。
【００１３】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【００１４】
＜第１実施形態＞
以下に説明する実施形態では、検出パラメータとして、テンプレートマッチングに用いるテンプレート画像を用い、このテンプレート画像を動的に更新することにより、ランドマークの検出精度を向上する。
【００１５】
図１は第１実施形態によるＭＲシステムの構成を説明するブロック図である。図１において、１０１は本発明の第２の撮影手段に相当する固定カメラであり、常にシーン中の同一地点が観測されるように、その設置位置、視点の方位姿勢、焦点距離等が固定されている。すなわち、固定カメラ１０１より得られる撮影画像（以下、固定視点画像ＩSという）上においては、検出対象であるランドマークＰi（iは１〜ランドマーク数）は、常に同一の座標（ｘi，ｙi）で撮影されている。
【００１６】
１０２はテンプレート画像作成モジュールであり、固定視点画像ＩSから、各ランドマークＰiに対応するテンプレート画像Ｔiを生成する。テンプレート画像の生成方法には後に説明するような種々の方法があるが、本実施形態では、ランドマークＰiの観測座標（ｘi，ｙi）は既知であるものと仮定する。また、テンプレート画像Ｔiは、（ｘi，ｙi）を中心とした一定範囲の矩形領域ＲiをＩSから抽出することで生成する。このテンプレート画像Ｔiは、後に説明するように、ランドマーク検出のためのテンプレートマッチング処理に用いられる。なお、このテンプレート画像Ｔiは、所定のタイミング、例えば固定カメラ１０１の１フレーム毎に更新される。
【００１７】
１１０は観察者が装着するＨＭＤであり、観察者視点カメラ１１１とディスプレイ１１２を備える。観察者視点カメラ１１１はＨＭＤ１１０に固定されており、その撮影画像は、観察者の視点位置、方向に対応した画像（以下、観察者視点画像Ｉという）となる。ここで、観察者カメラ１１１は第１の撮影手段の一態様に相当し、この観察者視点画像が、特定点（ランドマーク）検出の対象となる対象画像に相当する。
【００１８】
１１３はランドマーク検出モジュールであり、テンプレート画像作成モジュール１０２から提供されるテンプレート画像Ｔiを用いてテンプレートマッチングによる探索処理を行うことにより、観察者視点カメラ１１１より提供される観察者視点画像ＩからランドマークＰiを検出する。上述したようにテンプレート画像作成モジュール１０２は所定のタイミングでテンプレート画像を更新しているので、ランドマーク検出モジュールでは、観察者視点画像Ｉとほぼ同一時刻に撮影された（すなわち、観察者視点画像Ｉとほぼ同一光源環境下において撮影された）テンプレート画像を用いてテンプレートマッチングを行うことができる。したがって、屋外環境のように光源環境が動的に変化する状況下においても、常に安定したテンプレートマッチングを行うことが可能であり、ランドマーク位置の正確な検出が実現できる。
【００１９】
ランドマーク検出モジュール１１３はさらに、検出されたランドマークＰiの当該観察者視点画像Ｉ上の座標値（ｕi，ｖi）を求め、視点位置推定モジュール１１４へ送る。なお、（ｕi，ｖi）は、テンプレート画像と一致した領域の中心位置とする。
【００２０】
視点位置推定モジュール１１４では、ランドマーク検出モジュール１１３から提供される複数のランドマークの画像座標値と、予め計測し既知の情報として保持している実空間におけるランドマークの位置に基づいて、周知の方法により観察者の視点位置及び方位姿勢を算出する。なお，理論的には、観察者視点画像Ｉ上の３ヶ所のランドマークの座標値があれば、当該観察者視点画像の視点位置及び方位姿勢を算出することができる。
【００２１】
以上のようにして算出された視点位置及び方位姿勢は、仮想画像生成モジュール１１５に提供される。仮想画像生成モジュール１１５は、視点位置推定モジュール１１４から提供された視点位置及び方位姿勢から観察されるであろう仮想画像を観察者視点画像Ｉ上に重畳描画し、これをＨＭＤ１１０のディスプレイ１１２に表示する。この結果、現実空間と仮想空間が正確な位置合せのもとに融合されたＭＲ画像がディスプレイ１１２に表示され、観察者はこれを観察することになる。
【００２２】
なお、屋外で観察者が移動することを想定すると、固定カメラ１０１及びテンプレート画像作成モジュール１０２を含むユニット（固定部分）と、ＨＭＤ１１０及びランドマーク検出モジュール１１３を含むユニット（観察者に装着される部分）とは別体であることが好ましい。この場合、テンプレート画像作成モジュール１０２からランドマーク検出モジュール１１３へのテンプレート画像の送信は、有線或いは無線で行われる。
【００２３】
図２は第１の実施形態によるランドマーク検出処理の概要を説明する図である。２０１は固定カメラ１０１で撮影された固定視点画像ＩSであり、本例では７つのランドマーク（Ｐ1〜Ｐ7）が設定されている。前述のように、固定視点画像２０１中のランドマーク位置（ｘi，ｙi）は既知である。従って、テンプレート画像作成モジュール１０２は、固定視点画像２０１内の各ランドマーク位置（ｘi，ｙi）を中心とした所定領域Ｒ1〜Ｒ7を抽出することでテンプレート画像Ｔ1〜Ｔ7を生成することができる。このようにして、テンプレート画像作成モジュール１０２は、所定のタイミングで最新の固定視点画像ＩSを用いてテンプレート画像Ｔiを生成する。
【００２４】
ランドマーク検出モジュール１１３は、以上のようにして生成された、最新のテンプレート画像Ｔiを用いて、ＨＭＤ１１０が備える観察者視点カメラ１１１より得られる観察者視点画像Ｉ（２０２）にテンプレートマッチングを行い、ランドマークを検出する。
【００２５】
図３はテンプレート画像作成モジュール１０２によるテンプレート画像作成処理の手順を説明するフローチャートである。まずステップＳ３０１において、テンプレート画像の更新タイミングか否かを判定する。本実施形態では、テンプレート画像の更新タイミングを固定カメラ１０１のフレーム周期と一致させるものとするが、もちろんこれに限定されるものではない。例えば、所定の時間の経過毎にテンプレート画像の更新を行う、固定カメラ１０１が所定フレーム数の撮影を終える毎にテンプレート画像の更新を行う、前回のテンプレート画像の更新時の固定視点画像と現在の固定視点画像の平均輝度値の差が所定値以上になったときにテンプレート画像の更新を行う、或いはこれらのタイミングの組み合わせなど、種々の変形が可能であることは明らかであろう。
【００２６】
ステップＳ３０１においてテンプレート画像の更新タイミングであった場合は、ステップＳ３０２に進み、固定視点カメラ１０１からの固定視点画像ＩSを入力する。そして、ステップＳ３０３において、画像ＩSの中から、ランドマークＰiに対応する所定の矩形領域Ｒi（例えば(xi-n＜x＜xi+n,yi-n＜y＜yi+n;nは定数)を満たすような(x,y)）の画像を抽出し、これをテンプレート画像Ｔiとする。ステップＳ３０４では、ステップＳ３０３で得られたテンプレート画像Ｔiをランドマーク検出モジュール１１３に出力する。
【００２７】
ステップＳ３０５では、ランドマークＰiのすべてについてテンプレート画像の生成を終えたかどうかを判定し、未処理のランドマークがあれば、ステップＳ３０６で、そのランドマークに処理の対象を移し、ステップＳ３０３へ戻って上記処理を繰り返す。すべてのランドマークについてテンプレート画像の生成及び出力を終えたならば、ステップＳ３０５よりステップＳ３０１へ処理を戻し、次の更新タイミングを待つ。
【００２８】
以上の処理によって、所定のタイミングで（本実施形態ではフレーム単位で）更新されたテンプレート画像がランドマーク検出モジュール１１３へ提供されることになる。
【００２９】
なお、上記実施形態では、ステップＳ３０３において、画像ＩSから抽出した矩形領域Ｒiをそのままテンプレート画像Ｔiとしたが、テンプレート画像の生成方法はこれに限られるものではない。たとえば、過去複数フレームにおける固定視点画像ＩSから抽出した複数の矩形領域Ｒiを用いて、その平均画像や重み付き平均画像を作成し、これをテンプレート画像ＴIとしてもよい。この場合、固定視点画像ＩSに含まれるノイズ成分を取り除くことが期待できる。
【００３０】
また、上記実施形態では、ステップＳ３０４において、ステップＳ３０３で生成したテンプレート画像を全て出力してたが、テンプレート画像の出力方法はこれに限られるものではない。たとえば、最後に出力したテンプレート画像Ｔi’とステップＳ３０３で生成したテンプレート画像Ｔiとの相違度ｅを算出し、相違度が一定値以上の場合（ｅ≧ＴＨ1）にのみ光源環境が変化したと判断してテンプレート画像の出力を行ってもよい。この場合、不必要なデータ送信を省略することで、ネットワークのトラフィックを軽減させることができる。また、ランドマークと固定カメラ１０１の間に障壁物が進入し固定視点画像ＩS上でランドマークが観測されていない場合に、障壁物を撮影した誤った画像にテンプレート画像が更新されてしまうことを防ぐために、相違度が一定値以上の場合（ｅ≧ＴＨ2）はランドマークが隠蔽されていると判断し、テンプレート画像の出力を行わないとしてもよい。なお、テンプレート画像間の相違度の演算は、相互相関や画素値の差分絶対値の和等、周知の画像処理手法を用いることができる。
【００３１】
次に、ランドマーク検出モジュール１１３による処理を説明する。図４はランドマーク検出モジュールによるランドマークの検出手順を説明するフローチャートである。
【００３２】
ステップＳ４０１、Ｓ４０２は、上述のテンプレート画像作成モジュール１０２からテンプレート画像Ｔiが出力された場合に、テンプレートマッチングにおいて用いるためにこれをメモリに格納する処理である。なお、本実施形態では、上述の図３において１つのテンプレート画像が得られるごとにそのテンプレート画像が出力される（ステップＳ３０３、Ｓ３０４）ので、ステップＳ４０１、Ｓ４０２におけるテンプレート画像の更新は１つのテンプレート画像毎に行われることになる。ただし、テンプレート画像の更新手順はこれに限られるものではない。例えば、テンプレート画像作成モジュール１０２において固定視点画像ＩSに含まれる全てのランドマークに対するテンプレート画像の生成を終えてから、それらテンプレート画像を一括して出力するようにすれば、ランドマーク検出モジュール１１３においては、全テンプレート画像の更新が一括して行われることになる。
【００３３】
ステップＳ４０１においてテンプレート画像が受信されていない場合、或いはステップＳ４０２を終了したあと、処理はステップＳ４０３へ進み、観察者視点画像Ｉが入力されたか否かを判定する。上述のように観察者視点画像Ｉは観察者視点カメラ１１１より出力された画像データであり、ステップＳ４０４〜Ｓ４０７の処理によってこの観察者視点画像Ｉからランドマークが検出される。従って、本実施形態では、観察者視点カメラ１１１から観察者視点画像が入力される毎に（すなわちフレーム毎に）ランドマークの検出が行われることになる。
【００３４】
ステップＳ４０４では、テンプレート画像Ｔiを用いて観察者視点画像ＩからランドマークＰiを検出する。この検出処理には、周知のテンプレートマッチングの何れの手法を用いても良い。例えば、観察者視点画像Ｉ中の各画素（ｕj，ｖj）ごとに、その画素を中心としてテンプレート画像Ｔiと同サイズの領域を部分画像Ｑjとして抽出し、部分画像Ｑjとテンプレート画像Ｔiとの間で相違度ｅjを算出する。相違度の算出方法としては、両画像間の相互相関を求めても良いし、対応する画素同士の輝度値の差分値の絶対値の和を用いても良いし、入力画像がカラー画像の場合には、対応する画素同士のＲＧＢ距離の和を用いても良い。観察者視点画像Ｉ中の全ての画素（ｕj，ｖj）について部分画像Ｑjとテンプレート画像Ｔiとの間の相違度ｅjを求め、相違度ｅjを最小とする画素を（すなわち、テンプレート画像Ｔiと最も一致した部分画像Ｑjの中心座標（ｕj，ｖj）を）、観察者視点画像ＩにおけるランドマークＰiの検出位置（ｕi，ｖi）とする。
【００３５】
ステップＳ４０５では、座標（ｕi，ｖi）を、観察者視点画像ＩにおけるランドマークＰiの検出位置として、視点位置推定モジュール１１４へ出力する。なお、ステップＳ４０４において観察者視点画像Ｉにテンプレート画像Ｔiとマッチングする部分が存在しないと判断された場合（例えば、全ての相違度ｅjが設定した閾値を越えた場合）は、ランドマークＰiが観察者視点画像Ｉ上に存在しない旨の情報を出力するか、本処理をスキップする。ステップＳ４０６では、全てのランドマークＰiについて検出処理を終えたか否かを判定する。まだ未処理のランドマークがあれば、ステップＳ４０７へ進んで、未処理のランドマークＰiを検出対象とし、ステップＳ４０４以降の処理を繰り返す。全てのランドマークＰiについて処理を終えたならば、ステップＳ４０１へ戻る。
【００３６】
なお、テンプレート画像作成モジュール１０２とランドマーク検出モジュール１１３を同期して動作させることで、本発明はさらに効果を増す。すなわち、ステップＳ４０１においてテンプレート画像を受信したのちに、ステップＳ４０３において、受信したテンプレート画像の元となった固定視点画像ＩSと同一時刻に撮影された観察者視点画像Ｉを入力することで、観察者視点画像Ｉと同一光源環境下において撮影されたテンプレート画像を用いたテンプレートマッチングが可能となる。この処理を厳密に実現するためには、固定カメラ１０１と観察者視点カメラ１１１の撮像が電気的に同期されていることが望ましいことはいうまでもない。
【００３７】
また、上記実施形態では全てのランドマークについて検出処理を行うが、観察者視点位置の算出を可能にする所定数のランドマークが検出された時点で処理を打ち切るようにしてもよい。
【００３８】
また、上記処理では、テンプレート画像作成モジュール１０２が更新されたテンプレート画像を出力することによりランドマーク検出モジュール１１３におけるテンプレート画像の更新を行ったが、ランドマーク検出モジュールが１１３が、必要に応じてテンプレート画像作成モジュール１０２に格納された最新のテンプレート画像を読み込むようにしてもよい。その読み込みのタイミングは、例えば観察者視点画像Ｉが入力される毎、所定の時間間隔毎等となる。この場合、テンプレート画像作成モジュール１０２は自身の記憶媒体に作成したテンプレート画像を保持し、ランドマーク検出モジュール１１３からの要求により、最新のテンプレート画像がテンプレート画像作成モジュール１０２からランドマーク検出モジュール１１３へ送信される。
【００３９】
また、上記ステップＳ４０４においては、観察者視点画像Ｉの全体を走査してランドマークＰiを検出しているが、テンプレートマッチングの処理の効率化を図るための、周知の各種手法を適用することが可能である。一例を示せば次のとおりである。
【００４０】
図５はランドマーク検出処理時の探索領域を限定する方法を説明する図である。観察者視点画像Ｉの前フレーム（或いは過去のフレーム）での観察者カメラの位置姿勢や、前フレーム（或いは過去のフレーム）でのランドマークの検出位置等の情報を用いて、各ランドマーク毎に現フレームの観察者視点画像Ｉにおけるおおよその位置を推定し、その周辺の領域に探索領域を設定する。もちろん直前の視点位置推定モジュール１１４による位置データを用いてもよい。そして、現フレームの観察者視点画像Ｉにその探索領域が含まれるランドマークＰiについてのみ、その探索領域内での探索処理を行う。図５の例で説明すれば、（ａ）において示されるランドマークＰ1〜Ｐ7のそれぞれの探索領域が、観察者視点画像Ｉに対して（ｂ）に示されるように求められたとする。この場合、ステップＳ４０４では、Ｐ3〜Ｐ5の探索領域全てとＰ2の探索領域の観察者視点画像Ｉに含まれる部分について、対応するランドマークの探索を行うことになる。即ち、探索範囲の絞込により処理の高速化が実現される。
【００４１】
以上説明したように、第１の実施形態によれば、固定カメラ１０１で撮影した画像を用いてテンプレート画像の更新を行うので、環境の変化に追従して、環境に対応したテンプレート画像を得ることができる。このため、環境の変化によらず観察者視点画像Ｉから確実にランドマークを検出することが可能となるので、屋外環境における観察者の視点の位置及び方位姿勢を正確に求めることが可能になる。従って、特にＨＭＤ１１０が備えるディスプレイ１１２上にＭＲ画像を表示する場合の、現実空間と仮想空間との位置合せとして好適である。
【００４２】
なお、本実施形態では固定視点画像２０１における各ランドマークの位置は既知であり、例えばテンプレート画像作成モジュールの不図示のメモリに保持しておき、必要に応じて取得され、テンプレート画像作成モジュール１０２に供給されるものとする。このようなランドマークの位置の供給手段としては、これ以外にも次のような方法をとることができる。すなわち、不図示の入力手段によってオペレータが固定視点画像２０１上でランドマークの位置を直接指定してもよいし、何らかの方法で計測した３次元空間中の各ランドマークの位置と固定カメラ１０１のカメラパラメータ（少なくとも位置及び方位姿勢を含む）をメモリに保持しておき、この情報に基づいて、不図示のランドマーク位置算出手段（本発明の特定点位置算出手段に相当する）によって固定視点画像２０１上における各ランドマークの位置を算出するようにしてもよい。また、検出するランドマークが予め定められておらず、観察者画像２０２中の何らかの特徴点を追跡すれば良い用途の場合には、不図示の特徴抽出手段によって初期時刻において固定視点画像２０１上から顕著な画像特徴（例えばエッジ部分やテクスチャ性の強い部分）を持つ特徴点を自動的に抽出し、この位置をランドマークの位置としてもよい。
【００４３】
＜第２の実施形態＞
上記第１の実施形態では１台の固定カメラでテンプレート画像の更新を行うので、テンプレート画像の獲得範囲が限られ、観察者の移動および／又は見回し範囲が限定されてしまう。そこで、第２の実施形態では、複数台の固定カメラを設置して、観察者が広範囲に移動および／又は見回しできるようにする。ただし、複数台の固定カメラを用いるので、１つのランドマークに対して複数のテンプレート画像が存在する場合（以下、オーバーラップ有りの場合と称する）と、１つのランドマークに１台の固定カメラを割り当てることにより１つのテンプレート画像のみが存在するようにする場合（オーバーラップ無しの場合と称する）とが存在する。第２の実施形態では、オーバーラップ無しの場合について説明し、オーバーラップありの場合については第３の実施形態で説明することにする。
【００４４】
オーバーラップの無い場合、固定カメラを複数設けたＭＲシステムは、第１の実施形態と類似の構成で実現できる。図６は第２の実施形態によるＭＲシステムの構成を示すブロック図である。すなわち、テンプレート画像作成モジュール６０２は、複数台の固定カメラ６０１から得られる複数の固定視点画像より、それぞれについて予め決められた領域Ｒiのデータを抽出し、これをテンプレート画像Ｔiとして出力する。
【００４５】
ランドマーク検出モジュール６１３は、第１の実施形態と同様に、テンプレート画像作成モジュール６０２から送信されたテンプレート画像によって使用するテンプレート画像を更新し、そのテンプレート画像を用いて、観察者視点画像Ｉからランドマークの検出を行う。カメラ選択モジュール６１６は、視点位置推定モジュール６１４から得られた視点位置の近くにある所定台数の固定カメラを選択し、その選択結果をランドマーク検出モジュール６１３に通知する。後述するが、第２の実施形態では、処理効率を向上するために、視点位置推定モジュール６１４から出力される視点位置に基づいて、カメラ選択モジュール６１６がどの固定カメラからのテンプレート画像を使用するかを決定する。そして、その決定された固定カメラからのテンプレート画像を用いて、ランドマーク検出モジュール６１３がランドマークの検出のためのテンプレートマッチングを行う。
【００４６】
仮想画像生成モジュール１１５、ＨＭＤ１１０については第１の実施形態で説明したとおりである。
【００４７】
図７は第２の実施形態によるランドマーク検出処理の概要を説明する図である。複数台の固定カメラ６０１（Ａ〜Ｅ）によって得られた各固定視点画像ＩS1〜ＩS5上におけるランドマークＰ1〜Ｐ13の観測位置が定められており、その周辺の矩形領域Ｒ1〜Ｒ13を抽出することでそれぞれに対応するテンプレート画像Ｔ1〜Ｔ13が生成される。そして、これらテンプレート画像を用いて観察者視点画像Ｉからランドマークを検出すればよい。この場合の処理は、本質的には固定カメラが１台の場合と同様であり、１台のカメラの画角が広くなったものと考えればよく、図３及び図４で説明した処理手順によりランドマークの検出が行える。
【００４８】
以上のように、複数の固定カメラを設けた第２の実施形態においても、第１の実施形態と同様の処理で（すなわち、図６中のカメラ選択モジュール６１６が存在しない構成においても）観察者視点の位置及び方位姿勢を検出できる。ただし、ランドマークの数が多くなるので、毎回全てのランドマークに対して検出処理を行うと処理効率が低下する。従って、第２の実施形態では、ランドマーク検出モジュール６１３において検出の対象とするランドマークの数を予め限定しておくことで処理効率を向上させる。すなわち、カメラ選択モジュール６１６によって選択された固定カメラで観測されているランドマークのみに、検出の対象とするランドマークの絞り込みを行う。
【００４９】
これは、例えば、図４に示す処理において、図８に示すようにステップＳ８０１をステップＳ４０４の前に追加することで実現できる。観察者視点画像Ｉが入力されると、ステップＳ４０３からステップＳ８０１へ処理が進み、ランドマークＰiがカメラ選択モジュール６１６で選択された固定カメラで観測されているものであるかどうかを判断する。ここで、ランドマークＰiが選択された固定カメラで観測されているものでなければ、当該ランドマークの検出処理（ステップＳ４０４、Ｓ４０５）をスキップして、次のランドマークを検出すべくステップＳ４０６へ進む。一方、ランドマークＰiが選択された固定カメラで観測されているものであれば、そのランドマークを検出すべくステップＳ４０４へ進む。
【００５０】
なお、第２の実施形態においても、テンプレートマッチングの処理の効率化を図るための、周知の各種手法を適用することが可能である。例えば、第１の実施形態で述べた探索領域を限定する手法も有効である。特に、上述したような、使用するテンプレート画像の限定を行ってから探索領域を特定することで、不必要な探索領域の位置計算を不要にすることができ、効果的である。
【００５１】
図９は第２の実施形態における、ランドマーク検出処理時にテンプレート画像の探索領域を限定する方法を説明する図である。例えばカメラ選択モジュール６１６が、検出された視点位置に基づいて、図７に示した固定カメラＡ、Ｂ、Ｃを選択したとする。この場合、検出の対象となるのはランドマークＰ1〜Ｐ8であり、他のランドマークＰ9〜Ｐ13については考慮されない。そして、ステップＳ４０４では、これらのランドマークＰ1〜Ｐ8のうち、観察者視点画像にその探索領域が含まれるもの（図ではＰ2〜Ｐ6）についてのみ、対応するテンプレート画像Ｔ2〜Ｔ6を用いたテンプレートマッチングによって、ランドマークの検出処理が行われる。
【００５２】
以上のように、第２の実施形態によれば、複数の固定カメラを用いてテンプレート画像の更新を行うので、観察者のより広範囲な移動が許容される。
【００５３】
＜第３の実施形態＞
次に、複数の固定カメラを備えたことにより、１つの時点において、１つのランドマークに複数のテンプレート画像が存在する場合、すなわちオーバーラップのある場合を説明する。
【００５４】
図１０は、第３の実施形態による、オーバーラップのある場合のランドマーク検出処理の概要を説明する図である。固定カメラＦにはランドマークＰ1とＰ2が観測されており、その周辺に定められた矩形領域Ｒ1 F、Ｒ2 Fによってテンプレート画像Ｔ1 F、Ｔ2 Fが生成される。また、固定カメラＧにはランドマークＰ1〜Ｐ3が観測されており、その周辺に定められた矩形領域Ｒ1 G〜Ｒ3 Gによってテンプレート画像Ｔ1 G〜Ｔ3 Gが生成される。同様にして、固定カメラＨからはテンプレート画像Ｔ1 H〜Ｔ3 Hが得られる。ここで、例えばＴ1 FとＴ1 GとＴ1 Hは空間中の同一のランドマークＰ1に対応するテンプレート画像である。
【００５５】
このように、１つのランドマークに対して異なる固定カメラによって複数のテンプレート画像が得られている場合には、どのテンプレート画像を用いてランドマークを検出するかを決める必要がある。以下では、（１）テンプレートマッチングの結果が最良のものを用いる場合、（２）観察者位置に基づいて選択された固定カメラによって得られるテンプレート画像を用いる場合の２つについて説明する。なお、第３の実施形態では、たとえばカメラＦ，Ｇ，Ｈのそれぞれによって得られた撮影画像から取得されたテンプレート画像が図１６のように格納されているとする。たとえば、カメラＦの撮影画像からはランドマークＰ1〜Ｐ6のテンプレート画像Ｔ1 F〜Ｔ6 Fが、カメラＧの撮影画像からはランドマークＰ3〜Ｐ8のテンプレート画像Ｔ3 G〜Ｔ8 Gが、カメラＨの撮影画像からはランドマークＰ3〜Ｐ8のテンプレート画像Ｔ7 H〜Ｔ12 Hがそれぞれ取得され、格納されている。ここで、添え字番後が同じランドマークは同一のランドマークである。たとえば、ランドマークＰ6のテンプレート画像は、カメラＦとカメラＧの各撮影画像から取得されている。
【００５６】
（１）テンプレートマッチングの結果が最良のものを用いる場合について
図１１は、同一ランドマークに複数のテンプレート画像が存在した場合に、マッチングの結果が最良のものを用いてランドマーク検出を行う場合の手順を説明するフローチャートである。図１１では、図４のステップＳ４０４の部分に置き換わる処理を示している。
【００５７】
ステップＳ４０３において観察者視点画像Ｉが入力されると、ステップＳ１１００で固定カメラｊで得られたランドマークＰiのテンプレート画像Ｔi jを用いて観察者視点画像ＩからランドマークＰiを検出する。そして、ステップＳ１１０１で、このランドマークＰiが複数のテンプレート画像を有しており、既に別のテンプレート画像によって座標が算出されているか否かを判断する。別のテンプレート画像によって座標が算出されていない場合や、対応するテンプレート画像が複数存在しない場合には、ステップＳ１１０４で当該テンプレート画像によって求まる座標値とそのマッチング度をメモリに格納する。
【００５８】
一方、既に別のテンプレート画像によって座標が出力されている場合は、ステップＳ１１０２へ進み、メモリに格納されている別のテンプレート画像によるマッチング結果と今回のテンプレート画像によるマッチング結果とを比較する。そして、今回のテンプレート画像によるマッチングのほうが良好な結果であった場合（マッチング度が大きかった場合）は、ステップＳ１１０３へ進み、当該ランドマークのメモリに記憶されている座標を今回のテンプレート画像を用いて得られた座標値とマッチング度で置換する。たとえば、Ｔ6 Gについてマッチングを行ったときに、すでにＴ6 Fを用いたマッチングが実行されてそのマッチング度が格納されていた場合は、Ｔ6 Gを用いたときのマッチング度とＴ6 Fを用いたときのマッチング度が比較され、マッチング度の高い方を採用する。
【００５９】
次に、ステップＳ１１０５において、ランドマークＰiに対応する全てのテンプレート画像Ｔi jについて処理を終えていない場合には、ステップ１１０６へ進み、未処理のテンプレート画像Ｔi jを処理対象としてステップＳ４０４以降の処理を繰り返す。一方、ランドマークＰiに対応する全てのテンプレート画像Ｔi jについて処理を終えている場合には、ステップＳ４０５へ進み、メモリに格納された座標をランドマークＰiの検出位置としてランドマーク検出モジュールに対して出力する。以上のようにして、全てのテンプレート画像について処理を行うことで、１つのランドマークに複数のテンプレート画像が存在した場合には、最良のマッチング度を有するテンプレート画像による座標値が採用されることになる。
【００６０】
（２）観察者位置に基づいて選択された固定カメラによって得られるテンプレート画像を用いる場合について
図１２は、同一ランドマークに複数のテンプレート画像が存在した場合に、観察者位置に基づいて選択された固定カメラによって得られるテンプレート画像を用いてランドマーク検出を行う場合の手順を説明するフローチャートである。図１２では、図４のステップＳ４０４の前に追加される処理が示されている。
【００６１】
ステップＳ４０３において観察者視点画像Ｉが入力されると、ステップＳ１２０１において、これから検出処理を行うランドマークＰiに関して複数のテンプレート画像が存在するか否かを判定する。複数のテンプレート画像が存在しない場合は、当該ランドマークについて１つのテンプレート画像しか存在しないので、ステップＳ４０４へ進み、テンプレートマッチングによるランドマーク検出を行う。
【００６２】
一方、複数のテンプレート画像が存在する場合は、ステップＳ１２０２において、当該複数のテンプレート画像の中から観察者位置に最も近い固定カメラから得られたテンプレート画像を選択し、これを検出処理に用いるテンプレート画像Ｔiとして、ステップＳ４０４へ進む。たとえば、図１６において、観察者位置がカメラＦよりもカメラＧに近い状態であれば、ランドマークＰ3〜Ｐ6に関してはカメラＧで撮影された画像から得られるテンプレート画像Ｔ3 G〜Ｔ6 Gが採用される。
【００６３】
以上のようにして全てのテンプレート画像について処理を行うことで、１つのランドマークに複数のテンプレート画像が存在した場合には、観察者位置に最も近い固定カメラからのテンプレート画像が採用されて、ランドマークの検出が行われることになる。
【００６４】
以上のように第３の実施形態によれば、１つのランドマークに複数の固定カメラから得られる複数のテンプレート画像が存在した場合に、適切なテンプレート画像を選択することが可能となる。特に図１０に示したように、１つのランドマークを異なる方向から撮影して得られた複数の固定視点画像のそれぞれから得られるテンプレート画像を適切に用いることができるので、観察する方向によってランドマークの見え方が大きく違う場合（例えば、立体的な形状や、鏡面に近い反射特性であった場合）でも、適切にテンプレートマッチングを行える。
【００６５】
なお、第２の実施形態で説明したようなカメラ選択モジュール６１６との併用も可能である。この場合、図１１、図１２で説明した処理の対象となるランドマークが、カメラ選択モジュール６１６で選択された固定カメラから得られたランドマークのみとなる。
【００６６】
また、第３の実施形態においても、テンプレートマッチングの処理の効率化を図るための、周知の各種手法を適用することが可能であることはいうまでもない。
【００６７】
＜第４の実施形態＞
第１〜第３の実施形態では、固定カメラを用いて得られた固定視点画像より随時テンプレート画像を作成することにより、ランドマーク検出モジュール１１３で行われるテンプレートマッチングに用いるテンプレート画像を更新している。この手法によれば、各時点において撮影された画像が用いられてテンプレート画像が生成されるので、そのときそのときのランドマークの見え方がテンプレート画像に反映され、良好なテンプレートマッチングを行うことができる。しかしながら、１つまたは複数の固定カメラを用意しなければならず、装置規模が大きくなってしまう。そこで、第４の実施形態では、１つのランドマークについて予め複数種類のテンプレート画像を登録しておき、これを用いてテンプレート画像の更新を行う。
【００６８】
図１３Ａは第４の実施形態によるＭＲシステムの構成を示すブロック図である。１３０１はテンプレート画像格納部であり、複数のランドマークのそれぞれについて複数種類のテンプレート画像１３１０が登録されている。１３０２はテンプレート画像選択モジュールであり、テンプレート画像格納部１３０１に格納された複数のテンプレート画像のうち、各ランドマークについて１つのテンプレート画像を選択する。本例では、ＨＭＤ１１０に搭載された観察者視点カメラ１１１によるその時点の撮影画像より、平均輝度値算出モジュール１３０３によって平均輝度値に基づいて使用するテンプレート画像を選択する（後に詳述する）。従って、テンプレート画像格納部１３０１は、図１３Ｂに示すように輝度値の範囲によって使用すべきテンプレート画像が分類され、格納されている。なお、テンプレート画像を変更すべき輝度値はランドマーク毎に異なるので、図１３Ｂに示すように、輝度値範囲が異なっても同じテンプレート画像を用いる場合もある。例えば、ランドマーク＃１は輝度値範囲ＢでもＣでも同じテンプレート画像Ｔ1Bが用いられる。
【００６９】
ランドマーク検出モジュール１３１３は、テンプレート画像選択モジュール１３０２によって取得されたテンプレート画像を用いて、観察者視点画像Ｉについてテンプレートマッチングを行い、ランドマークを検出する。視点位置推定モジュール１１４、仮想画像生成モジュール１１５、ＨＭＤ１１０については第１の実施形態（図１）で説明したとおりである。
【００７０】
平均輝度値算出モジュール１３０３はＨＭＤ１１０に装着された観察者視点カメラ１１１からの撮影画像から平均輝度値を求め、その算出結果をテンプレート画像選択モジュール１３０２に提供する。テンプレート画像選択モジュール１３０２は、この平均輝度値に基づいてテンプレート画像格納部１３０１より各ランドマークのテンプレート画像を選択し、ランドマーク検出モジュール１３１３に出力する。
【００７１】
図１４は第４の実施形態によるテンプレート画像選択モジュールの処理手順を説明するフローチャートである。まず、ステップＳ１４０１において、平均輝度算出モジュール１３０３から平均輝度値を採り込む。そして、ステップＳ１４０２において、輝度値範囲が変更になったかどうかを判定する。例えば、現在使用されているテンプレート画像の輝度値範囲が範囲Ａの場合、ステップＳ１４０１で取り込まれた平均輝度値が他の輝度値範囲（Ｂ或いはＣ）に属するかどうかを判定する。輝度値範囲が変化した場合は、ステップＳ１４０３へ進み、新たな平均輝度値が属する輝度範囲に対応したテンプレート画像群を読み込む。そして、ステップＳ１４０４でそれらのテンプレート画像群をランドマーク検出モジュール１３１３に出力する。
【００７２】
以上のように第４の実施形態によれば、固定カメラを用いずに、予め用意した複数種類のテンプレート画像から適切なものが選択され、テンプレートマッチングに用いられるので、別途固定カメラを設けることなく、正確なテンプレートマッチングを実現できる。
【００７３】
なお、テンプレート画像の切り替えは、平均輝度値に限らず、朝、昼、夜の時間帯に応じて実行するようにすることもできる。或いは、観察者がマニュアルで晴、曇り、雨等の気象状態を入力し、これに応じてテンプレート画像選択モジュール１３０２がテンプレート画像の切り替えを行うようにすることも可能である。
【００７４】
なお、上記の例では、１つのテンプレート画像グループよりテンプレート画像を選択するが、複数の位置から観察されるランドマークに対応して、テンプレート画像グループを複数用意しておき、この中から使用すべきテンプレート画像グループを選択し、選択されたテンプレート画像グループから平均輝度値に従ってテンプレート画像を取得するようにしてもよい。この場合、複数のテンプレート画像グループは、上述した第２及び第３の実施形態の複数の固定カメラに対応づけて考えることができる。従って、観察者の位置からテンプレート画像グループを選択するように構成することが可能である。
【００７５】
更に、テンプレートマッチングにおける探索範囲の絞り込み（たとえば第１の実施形態の図５で説明した手法）が可能であることはいうまでもない。
【００７６】
＜第５の実施形態＞
上記第１乃至第３の実施形態においては、検出パラメータとしてテンプレート画像を定義し、ランドマーク検出にテンプレートマッチングを用いていたが、ランドマーク検出には必ずしもテンプレートマッチングを用いなくても良い。例えば、色特徴を用いたマーカ（カラーマーカ）をランドマークとして用いる場合には、ランドマークの検出は、検出パラメータとしてマーカの色特徴を表す色パラメータを定義し、特定色領域の抽出によって行うことができる。
【００７７】
図１５は、本実施形態によるＭＲシステムの構成を説明するブロック図である。図１５において、固定カメラ１０１、ＨＭＤ１１０、観察者カメラ１１１、ディスプレイ１１２、視点位置推定モジュール１１４、仮想画像生成モジュール１１５は第１の実施形態と同様である。
【００７８】
１５０２は色パラメータ抽出モジュールであり、固定視点画像ＩSから、各ランドマークＰiを検出するための色パラメータＣiを生成する。例えば、固定視点画像ＩS上におけるランドマークＰiの観測領域Ｒi（本実施形態では既知であり不図示の供給手段によって供給されるものと仮定する）内の各画素のＲＧＢ色空間における分布に基づいて、ＲＧＢ色空間におけるランドマークの存在範囲(赤の最小値Ｒmin,赤の最大値Ｒmax, 緑の最小値Ｇmin, 緑の最大値Ｇmax,青の最小値Ｂmin, 青の最大値Ｂmax)）を求め、これをランドマークの色特徴を表す色パラメータＣiとする。この色パラメータＣiは、所定のタイミング毎に後述のランドマーク検出モジュールへ出力される。
【００７９】
１５１３はランドマーク検出モジュールであり、色パラメータ抽出モジュール１５０２から提供される色パラメータＣiに基づいて、観察者視点画像Ｉから、色パラメータＣiで定義される色領域に含まれる画素を抽出することで、ランドマークＰiを検出する。以上によって、観察者視点画像Ｉとほぼ同一時刻に撮影された（すなわち、観察者視点画像Ｉとほぼ同一光源環境下において撮影された）固定カメラ画像ＩSに基づいて色パラメータＣiが定義できるので、屋外環境のように光源環境が動的に変化する状況下においても、常に安定したカラーマーカ検出を行うことが可能であり、ランドマーク位置の正確な検出が実現できる。なお、本実施例では色パラメータＣiとして、ＲＧＢ色空間におけるランドマークの存在範囲を用いたが、一般に色特徴抽出に用いられる何れの色空間や色特徴抽出法を用いても良いことはいうまでもなく、濃淡画像に対する輝度情報をパラメータとしてもよい。また、検出パラメータの種類はテンプレート画像や色特徴に限定されるものではなく、画像からランドマークを検出するためのいずれの検出パラメータを用いてもよい。
【００８０】
＜第６の実施形態＞
上記第１〜第５の実施形態においては、撮影画像上のランドマーク位置を検出したい観察者視点カメラは１台であったが、観察者視点カメラは必ずしも１台でなくてもよい。例えば、複数の観察者（ここではＡ〜Ｄの４人とする）それぞれに対応する観察者視点カメラ１１１Ａ〜１１１Ｄが存在し、それらによって撮影された観察者視点画像ＩＡ〜ＩＤ上におけるランドマーク位置を検出する場合には、それぞれに対応するランドマーク検出モジュール１１３Ａ〜１１３Ｄを設け、上記第１〜第４の実施形態と同様な構成のテンプレート画像作成モジュール１０２を用いて、これらのランドマーク検出モジュール１１３Ａ〜１１３Ｄそれぞれに対してテンプレート画像を更新すればよい。
【００８１】
以上説明したように、上記各実施形態によれば、撮影時の環境が変化して特定点の見え方が変化しても、撮影画像中からランドマークを正確に検出することが可能となる。また、各実施形態によれば、環境の変化に対して正確なランドマークの検出が保証されるので、ＭＲ技術において、仮想と現実の高精度な位置合せと、屋外での自由な移動との両立を達成することができる。
【００８２】
なお、上記実施形態１〜６では、ビデオシースルー方式のＭＲシステムへの応用を説明したが、視点位置の計測が必要な用途、例えば、光学シースルー方式のＭＲへの応用ももちろん可能であるし、カメラで撮影した画像中から静止物体の特定の箇所の座標を検出する用途であれば、ＭＲ以外の用途にも適用可能である。
【００８３】
【発明の効果】
以上説明したように、本発明によれば、撮影時の環境が変化して特定点の見え方が変化しても、撮影画像中から特定点を確実に検出することが可能となる。
【図面の簡単な説明】
【図１】第１実施形態によるＭＲシステムの構成を説明するブロック図である。
【図２】第１の実施形態によるランドマーク検出処理の概要を説明する図である。
【図３】テンプレート画像作成モジュール１０２によるテンプレート画像作成処理の手順を説明するフローチャートである。
【図４】ランドマーク検出モジュールによるランドマークの検出手順を説明するフローチャートである。
【図５】ランドマーク検出処理時に探索領域を限定する方法を説明する図である。
【図６】第２の実施形態によるＭＲシステムの構成を示すブロック図である。
【図７】第２の実施形態によるランドマーク検出処理の概要を説明する図である。
【図８】第２の実施形態における、検出の対象とするランドマークの制限を行う場合の処理を説明するフローチャートである。
【図９】第２の実施形態における、ランドマーク検出処理時に探索領域を限定する方法を説明する図である。
【図１０】第３の実施形態による、オーバーラップのある場合のランドマーク検出処理の概要を説明する図である。
【図１１】同一ランドマークに複数のテンプレート画像が存在した場合に、マッチングの結果が最良のものを用いてランドマーク検出を行う場合の手順を説明するフローチャートである。
【図１２】同一ランドマークに複数のテンプレート画像が存在した場合に、観察者位置に基づいて選択された固定カメラによって得られるテンプレート画像を用いてランドマーク検出を行う場合の手順を説明するフローチャートである。
【図１３Ａ】第４の実施形態によるＭＲシステムの構成を示すブロック図である。
【図１３Ｂ】テンプレート画像のデータ構成例を示す図である。
【図１４】第４の実施形態によるテンプレート画像選択モジュールの処理手順を説明するフローチャートである。
【図１５】第５実施形態によるＭＲシステムの構成を説明するブロック図である。
【図１６】第３の実施形態におけるテンプレート画像の格納状態を説明する図である。
【発明の属する技術分野】
本発明は、たとえばランドマーク等の、静止物体の特定点を画像から検出するための特定点検出方法及び装置に関する。
【０００２】
【従来の技術】
近年、現実空間に付加情報や仮想物体（以下、仮想画像と総称する）を重畳表示することを目的とした複合現実感（Mixed Reality、以下、ＭＲ技術）に関する研究が盛んに行われている。その中でも、ビデオシースルータイプのヘッドマウンティドディスプレイ（Head-Mounted Display、以下、ＨＭＤ）を観察者が装着して、ＨＭＤに内蔵または装着されたカメラによって撮影される現実画像に、現実空間と仮想空間を３次元的に位置合わせした状態で仮想画像を重畳描画し、その結果生成される複合現実感画像（以下、ＭＲ画像）をリアルタイムにＨＭＤに表示するシステム（本明細書において、このような装置をＭＲシステムと称することにする）が注目されている。
【０００３】
仮想画像と現実画像の位置合せは、ＭＲシステムにおける最大の技術課題であり、その実現には、カメラ視点の位置と方位姿勢の正確な計測が必要である。一般に、３次元位置の既知な複数（理論的には３点以上、安定的に解くためには６点以上）の点の撮影画像上における位置が得られれば、その対応関係からカメラ視点の位置と方位姿勢を求めることができる（本明細書において、このような点をランドマークと称することにする）。すなわち位置合わせの問題は、移動するカメラによって撮影された画像中から、如何に正確にランドマークを追跡あるいは検出し、その位置を得るかに帰着される。
【０００４】
本発明者らは、これまでにゲーム等の分野においてＭＲ技術の応用装置を開発してきた。これらの装置は、屋内での使用を前提としたものであった。
【０００５】
上述のような屋内の使用においては、特徴的なマーカ（赤や緑のような特徴的な色を単色または組み合わせて配置したものや、市松模様や同心円のような特徴的なパターンが用いられる場合が多い）を対象空間中に配置し、これらをランドマークとすることで、画像処理によるランドマークの検出を容易かつ安定的に行うことが可能となり、高精度な位置合わせが実現できる。
【０００６】
色に基づくマーカを用いる場合のマーカの検出方法としては、例えば、ある照明環境下においてマーカを撮影し、その画像中におけるマーカ領域の代表色を抽出しこれを保存しておくことで、撮影画像中におけるマーカ領域の代表色と同一色（あるいはその近傍色）をもつ領域としてマーカを検出する方法が知られている。また、パターンに基づくマーカを用いる場合のマーカ検出方法としては、例えば、ある照明環境下において各マーカを撮影し、その画像中におけるマーカの近傍領域をテンプレート画像として保存しておくことで、テンプレートマッチングによってマーカを検出することができる。すなわち、テンプレート画像と撮影画像の部分領域との間で類似度演算を行い、テンプレート画像に最も類似する部分領域の位置をマーカの位置として検出する。本明細書では、上記におけるマーカ領域の代表色やテンプレート画像といった、マーカを検出するための手掛りとして用いる画像特徴を総称して、「検出パラメータ」と呼ぶこととする。
【０００７】
一方、例えば、ＨＭＤに案内者の仮想画像を表示して、大学構内や観光地の案内を行うなど、屋外での使用を前提としたＭＲシステムに対しても要望が増加している。
【０００８】
屋外では環境中に人為的なマーカを貼ることが困難な場合が多い。このような状況下において観察者視点の位置と方位姿勢を計測する手法としては、カメラによって撮影される撮影画像内において、画像処理によって検出可能な特徴をもつ点（例えば構造物の角、構造物中のテクスチャの多い点、色味が局所的に変化している点等）をランドマークとして用いる手法が知られている。撮影画像からのランドマークの検出には、テンプレートマッチング技術を適用できる。
【０００９】
【発明が解決しようとする課題】
しかしながら、屋外環境においては、天候（晴／曇り／雨）や時間帯（朝／昼／夜）による環境光の変化によってランドマークの見え方（明るさや色味）に変化が生じる。このため、テンプレートマッチングによるランドマークの検出を行おうとした場合、検出パラメータとして予めマッチングのためのテンプレート画像を用意しておいても、環境光の変化によって正しいマッチングを行うことが出来ず、ランドマークの検出が行えなくなるという問題がある。したがって、視点の正しい位置と方位姿勢を得ることができず、現実画像と仮想画像の正しい位置合わせを行うことができないという問題が発生する。また、屋内環境において人為的なマーカを利用した場合であっても、照明環境が変化する場合には同様な問題が生じてしまう。
【００１０】
本発明は、上記の問題に鑑みてなされたものであり、撮影時の環境が変化して特定点として用いるランドマーク等の見え方が変化しても、撮影画像中から特定点を確実に検出可能とすることを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理方法は、例えば以下の工程を備える。すなわち、
現実空間内に配置されている複数の特定点を用いて撮影部の姿勢を算出する画像処理方法であって、
撮影画像から複数の特定点の夫々を検出するための検出パラメータを複数保持する保持工程と、
撮影部によって撮影された撮影画像を入力する入力工程と、
前記撮像画像の平均輝度を算出する平均輝度算出工程と、
前記保持されている複数の検出パラメータから、前記複数の特定点の夫々に対して、前記平均輝度に応じた検出パラメータを選択する選択工程と、
前記選択工程よって選択された検出パラメータを用いて、前記入力工程によって入力される撮影画像から特定点を検出する検出工程と、
前記検出された特定点の撮影画像における位置を用いて前記撮影部の姿勢を算出する算出工程とを有する。
【００１２】
また、上記の目的を達成するための本発明による画像処理装置は、例えば以下の構成を備える。すなわち、
現実空間内に配置されている複数の特定点を用いて撮影部の姿勢を算出する画像処理装置であって、
撮影画像から複数の特定点の夫々を検出するための検出パラメータを複数保持する保持部と、
撮影部によって撮影された撮影画像を入力する入力部と、
前記撮像画像の平均輝度を算出する平均輝度算出部と、
前記保持されている複数の検出パラメータから、前記複数の特定点の夫々に対して、前記平均輝度に応じた検出パラメータを選択する選択部と、
前記選択部よって選択された検出パラメータを用いて、前記入力部によって入力される撮影画像から特定点を検出する検出部と、
前記検出された特定点の撮影画像における位置を用いて前記撮影部の姿勢を算出する算出部とを有する。
【００１３】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【００１４】
＜第１実施形態＞
以下に説明する実施形態では、検出パラメータとして、テンプレートマッチングに用いるテンプレート画像を用い、このテンプレート画像を動的に更新することにより、ランドマークの検出精度を向上する。
【００１５】
図１は第１実施形態によるＭＲシステムの構成を説明するブロック図である。図１において、１０１は本発明の第２の撮影手段に相当する固定カメラであり、常にシーン中の同一地点が観測されるように、その設置位置、視点の方位姿勢、焦点距離等が固定されている。すなわち、固定カメラ１０１より得られる撮影画像（以下、固定視点画像ＩSという）上においては、検出対象であるランドマークＰi（iは１〜ランドマーク数）は、常に同一の座標（ｘi，ｙi）で撮影されている。
【００１６】
１０２はテンプレート画像作成モジュールであり、固定視点画像ＩSから、各ランドマークＰiに対応するテンプレート画像Ｔiを生成する。テンプレート画像の生成方法には後に説明するような種々の方法があるが、本実施形態では、ランドマークＰiの観測座標（ｘi，ｙi）は既知であるものと仮定する。また、テンプレート画像Ｔiは、（ｘi，ｙi）を中心とした一定範囲の矩形領域ＲiをＩSから抽出することで生成する。このテンプレート画像Ｔiは、後に説明するように、ランドマーク検出のためのテンプレートマッチング処理に用いられる。なお、このテンプレート画像Ｔiは、所定のタイミング、例えば固定カメラ１０１の１フレーム毎に更新される。
【００１７】
１１０は観察者が装着するＨＭＤであり、観察者視点カメラ１１１とディスプレイ１１２を備える。観察者視点カメラ１１１はＨＭＤ１１０に固定されており、その撮影画像は、観察者の視点位置、方向に対応した画像（以下、観察者視点画像Ｉという）となる。ここで、観察者カメラ１１１は第１の撮影手段の一態様に相当し、この観察者視点画像が、特定点（ランドマーク）検出の対象となる対象画像に相当する。
【００１８】
１１３はランドマーク検出モジュールであり、テンプレート画像作成モジュール１０２から提供されるテンプレート画像Ｔiを用いてテンプレートマッチングによる探索処理を行うことにより、観察者視点カメラ１１１より提供される観察者視点画像ＩからランドマークＰiを検出する。上述したようにテンプレート画像作成モジュール１０２は所定のタイミングでテンプレート画像を更新しているので、ランドマーク検出モジュールでは、観察者視点画像Ｉとほぼ同一時刻に撮影された（すなわち、観察者視点画像Ｉとほぼ同一光源環境下において撮影された）テンプレート画像を用いてテンプレートマッチングを行うことができる。したがって、屋外環境のように光源環境が動的に変化する状況下においても、常に安定したテンプレートマッチングを行うことが可能であり、ランドマーク位置の正確な検出が実現できる。
【００１９】
ランドマーク検出モジュール１１３はさらに、検出されたランドマークＰiの当該観察者視点画像Ｉ上の座標値（ｕi，ｖi）を求め、視点位置推定モジュール１１４へ送る。なお、（ｕi，ｖi）は、テンプレート画像と一致した領域の中心位置とする。
【００２０】
視点位置推定モジュール１１４では、ランドマーク検出モジュール１１３から提供される複数のランドマークの画像座標値と、予め計測し既知の情報として保持している実空間におけるランドマークの位置に基づいて、周知の方法により観察者の視点位置及び方位姿勢を算出する。なお，理論的には、観察者視点画像Ｉ上の３ヶ所のランドマークの座標値があれば、当該観察者視点画像の視点位置及び方位姿勢を算出することができる。
【００２１】
以上のようにして算出された視点位置及び方位姿勢は、仮想画像生成モジュール１１５に提供される。仮想画像生成モジュール１１５は、視点位置推定モジュール１１４から提供された視点位置及び方位姿勢から観察されるであろう仮想画像を観察者視点画像Ｉ上に重畳描画し、これをＨＭＤ１１０のディスプレイ１１２に表示する。この結果、現実空間と仮想空間が正確な位置合せのもとに融合されたＭＲ画像がディスプレイ１１２に表示され、観察者はこれを観察することになる。
【００２２】
なお、屋外で観察者が移動することを想定すると、固定カメラ１０１及びテンプレート画像作成モジュール１０２を含むユニット（固定部分）と、ＨＭＤ１１０及びランドマーク検出モジュール１１３を含むユニット（観察者に装着される部分）とは別体であることが好ましい。この場合、テンプレート画像作成モジュール１０２からランドマーク検出モジュール１１３へのテンプレート画像の送信は、有線或いは無線で行われる。
【００２３】
図２は第１の実施形態によるランドマーク検出処理の概要を説明する図である。２０１は固定カメラ１０１で撮影された固定視点画像ＩSであり、本例では７つのランドマーク（Ｐ1〜Ｐ7）が設定されている。前述のように、固定視点画像２０１中のランドマーク位置（ｘi，ｙi）は既知である。従って、テンプレート画像作成モジュール１０２は、固定視点画像２０１内の各ランドマーク位置（ｘi，ｙi）を中心とした所定領域Ｒ1〜Ｒ7を抽出することでテンプレート画像Ｔ1〜Ｔ7を生成することができる。このようにして、テンプレート画像作成モジュール１０２は、所定のタイミングで最新の固定視点画像ＩSを用いてテンプレート画像Ｔiを生成する。
【００２４】
ランドマーク検出モジュール１１３は、以上のようにして生成された、最新のテンプレート画像Ｔiを用いて、ＨＭＤ１１０が備える観察者視点カメラ１１１より得られる観察者視点画像Ｉ（２０２）にテンプレートマッチングを行い、ランドマークを検出する。
【００２５】
図３はテンプレート画像作成モジュール１０２によるテンプレート画像作成処理の手順を説明するフローチャートである。まずステップＳ３０１において、テンプレート画像の更新タイミングか否かを判定する。本実施形態では、テンプレート画像の更新タイミングを固定カメラ１０１のフレーム周期と一致させるものとするが、もちろんこれに限定されるものではない。例えば、所定の時間の経過毎にテンプレート画像の更新を行う、固定カメラ１０１が所定フレーム数の撮影を終える毎にテンプレート画像の更新を行う、前回のテンプレート画像の更新時の固定視点画像と現在の固定視点画像の平均輝度値の差が所定値以上になったときにテンプレート画像の更新を行う、或いはこれらのタイミングの組み合わせなど、種々の変形が可能であることは明らかであろう。
【００２６】
ステップＳ３０１においてテンプレート画像の更新タイミングであった場合は、ステップＳ３０２に進み、固定視点カメラ１０１からの固定視点画像ＩSを入力する。そして、ステップＳ３０３において、画像ＩSの中から、ランドマークＰiに対応する所定の矩形領域Ｒi（例えば(xi-n＜x＜xi+n,yi-n＜y＜yi+n;nは定数)を満たすような(x,y)）の画像を抽出し、これをテンプレート画像Ｔiとする。ステップＳ３０４では、ステップＳ３０３で得られたテンプレート画像Ｔiをランドマーク検出モジュール１１３に出力する。
【００２７】
ステップＳ３０５では、ランドマークＰiのすべてについてテンプレート画像の生成を終えたかどうかを判定し、未処理のランドマークがあれば、ステップＳ３０６で、そのランドマークに処理の対象を移し、ステップＳ３０３へ戻って上記処理を繰り返す。すべてのランドマークについてテンプレート画像の生成及び出力を終えたならば、ステップＳ３０５よりステップＳ３０１へ処理を戻し、次の更新タイミングを待つ。
【００２８】
以上の処理によって、所定のタイミングで（本実施形態ではフレーム単位で）更新されたテンプレート画像がランドマーク検出モジュール１１３へ提供されることになる。
【００２９】
なお、上記実施形態では、ステップＳ３０３において、画像ＩSから抽出した矩形領域Ｒiをそのままテンプレート画像Ｔiとしたが、テンプレート画像の生成方法はこれに限られるものではない。たとえば、過去複数フレームにおける固定視点画像ＩSから抽出した複数の矩形領域Ｒiを用いて、その平均画像や重み付き平均画像を作成し、これをテンプレート画像ＴIとしてもよい。この場合、固定視点画像ＩSに含まれるノイズ成分を取り除くことが期待できる。
【００３０】
また、上記実施形態では、ステップＳ３０４において、ステップＳ３０３で生成したテンプレート画像を全て出力してたが、テンプレート画像の出力方法はこれに限られるものではない。たとえば、最後に出力したテンプレート画像Ｔi’とステップＳ３０３で生成したテンプレート画像Ｔiとの相違度ｅを算出し、相違度が一定値以上の場合（ｅ≧ＴＨ1）にのみ光源環境が変化したと判断してテンプレート画像の出力を行ってもよい。この場合、不必要なデータ送信を省略することで、ネットワークのトラフィックを軽減させることができる。また、ランドマークと固定カメラ１０１の間に障壁物が進入し固定視点画像ＩS上でランドマークが観測されていない場合に、障壁物を撮影した誤った画像にテンプレート画像が更新されてしまうことを防ぐために、相違度が一定値以上の場合（ｅ≧ＴＨ2）はランドマークが隠蔽されていると判断し、テンプレート画像の出力を行わないとしてもよい。なお、テンプレート画像間の相違度の演算は、相互相関や画素値の差分絶対値の和等、周知の画像処理手法を用いることができる。
【００３１】
次に、ランドマーク検出モジュール１１３による処理を説明する。図４はランドマーク検出モジュールによるランドマークの検出手順を説明するフローチャートである。
【００３２】
ステップＳ４０１、Ｓ４０２は、上述のテンプレート画像作成モジュール１０２からテンプレート画像Ｔiが出力された場合に、テンプレートマッチングにおいて用いるためにこれをメモリに格納する処理である。なお、本実施形態では、上述の図３において１つのテンプレート画像が得られるごとにそのテンプレート画像が出力される（ステップＳ３０３、Ｓ３０４）ので、ステップＳ４０１、Ｓ４０２におけるテンプレート画像の更新は１つのテンプレート画像毎に行われることになる。ただし、テンプレート画像の更新手順はこれに限られるものではない。例えば、テンプレート画像作成モジュール１０２において固定視点画像ＩSに含まれる全てのランドマークに対するテンプレート画像の生成を終えてから、それらテンプレート画像を一括して出力するようにすれば、ランドマーク検出モジュール１１３においては、全テンプレート画像の更新が一括して行われることになる。
【００３３】
ステップＳ４０１においてテンプレート画像が受信されていない場合、或いはステップＳ４０２を終了したあと、処理はステップＳ４０３へ進み、観察者視点画像Ｉが入力されたか否かを判定する。上述のように観察者視点画像Ｉは観察者視点カメラ１１１より出力された画像データであり、ステップＳ４０４〜Ｓ４０７の処理によってこの観察者視点画像Ｉからランドマークが検出される。従って、本実施形態では、観察者視点カメラ１１１から観察者視点画像が入力される毎に（すなわちフレーム毎に）ランドマークの検出が行われることになる。
【００３４】
ステップＳ４０４では、テンプレート画像Ｔiを用いて観察者視点画像ＩからランドマークＰiを検出する。この検出処理には、周知のテンプレートマッチングの何れの手法を用いても良い。例えば、観察者視点画像Ｉ中の各画素（ｕj，ｖj）ごとに、その画素を中心としてテンプレート画像Ｔiと同サイズの領域を部分画像Ｑjとして抽出し、部分画像Ｑjとテンプレート画像Ｔiとの間で相違度ｅjを算出する。相違度の算出方法としては、両画像間の相互相関を求めても良いし、対応する画素同士の輝度値の差分値の絶対値の和を用いても良いし、入力画像がカラー画像の場合には、対応する画素同士のＲＧＢ距離の和を用いても良い。観察者視点画像Ｉ中の全ての画素（ｕj，ｖj）について部分画像Ｑjとテンプレート画像Ｔiとの間の相違度ｅjを求め、相違度ｅjを最小とする画素を（すなわち、テンプレート画像Ｔiと最も一致した部分画像Ｑjの中心座標（ｕj，ｖj）を）、観察者視点画像ＩにおけるランドマークＰiの検出位置（ｕi，ｖi）とする。
【００３５】
ステップＳ４０５では、座標（ｕi，ｖi）を、観察者視点画像ＩにおけるランドマークＰiの検出位置として、視点位置推定モジュール１１４へ出力する。なお、ステップＳ４０４において観察者視点画像Ｉにテンプレート画像Ｔiとマッチングする部分が存在しないと判断された場合（例えば、全ての相違度ｅjが設定した閾値を越えた場合）は、ランドマークＰiが観察者視点画像Ｉ上に存在しない旨の情報を出力するか、本処理をスキップする。ステップＳ４０６では、全てのランドマークＰiについて検出処理を終えたか否かを判定する。まだ未処理のランドマークがあれば、ステップＳ４０７へ進んで、未処理のランドマークＰiを検出対象とし、ステップＳ４０４以降の処理を繰り返す。全てのランドマークＰiについて処理を終えたならば、ステップＳ４０１へ戻る。
【００３６】
なお、テンプレート画像作成モジュール１０２とランドマーク検出モジュール１１３を同期して動作させることで、本発明はさらに効果を増す。すなわち、ステップＳ４０１においてテンプレート画像を受信したのちに、ステップＳ４０３において、受信したテンプレート画像の元となった固定視点画像ＩSと同一時刻に撮影された観察者視点画像Ｉを入力することで、観察者視点画像Ｉと同一光源環境下において撮影されたテンプレート画像を用いたテンプレートマッチングが可能となる。この処理を厳密に実現するためには、固定カメラ１０１と観察者視点カメラ１１１の撮像が電気的に同期されていることが望ましいことはいうまでもない。
【００３７】
また、上記実施形態では全てのランドマークについて検出処理を行うが、観察者視点位置の算出を可能にする所定数のランドマークが検出された時点で処理を打ち切るようにしてもよい。
【００３８】
また、上記処理では、テンプレート画像作成モジュール１０２が更新されたテンプレート画像を出力することによりランドマーク検出モジュール１１３におけるテンプレート画像の更新を行ったが、ランドマーク検出モジュールが１１３が、必要に応じてテンプレート画像作成モジュール１０２に格納された最新のテンプレート画像を読み込むようにしてもよい。その読み込みのタイミングは、例えば観察者視点画像Ｉが入力される毎、所定の時間間隔毎等となる。この場合、テンプレート画像作成モジュール１０２は自身の記憶媒体に作成したテンプレート画像を保持し、ランドマーク検出モジュール１１３からの要求により、最新のテンプレート画像がテンプレート画像作成モジュール１０２からランドマーク検出モジュール１１３へ送信される。
【００３９】
また、上記ステップＳ４０４においては、観察者視点画像Ｉの全体を走査してランドマークＰiを検出しているが、テンプレートマッチングの処理の効率化を図るための、周知の各種手法を適用することが可能である。一例を示せば次のとおりである。
【００４０】
図５はランドマーク検出処理時の探索領域を限定する方法を説明する図である。観察者視点画像Ｉの前フレーム（或いは過去のフレーム）での観察者カメラの位置姿勢や、前フレーム（或いは過去のフレーム）でのランドマークの検出位置等の情報を用いて、各ランドマーク毎に現フレームの観察者視点画像Ｉにおけるおおよその位置を推定し、その周辺の領域に探索領域を設定する。もちろん直前の視点位置推定モジュール１１４による位置データを用いてもよい。そして、現フレームの観察者視点画像Ｉにその探索領域が含まれるランドマークＰiについてのみ、その探索領域内での探索処理を行う。図５の例で説明すれば、（ａ）において示されるランドマークＰ1〜Ｐ7のそれぞれの探索領域が、観察者視点画像Ｉに対して（ｂ）に示されるように求められたとする。この場合、ステップＳ４０４では、Ｐ3〜Ｐ5の探索領域全てとＰ2の探索領域の観察者視点画像Ｉに含まれる部分について、対応するランドマークの探索を行うことになる。即ち、探索範囲の絞込により処理の高速化が実現される。
【００４１】
以上説明したように、第１の実施形態によれば、固定カメラ１０１で撮影した画像を用いてテンプレート画像の更新を行うので、環境の変化に追従して、環境に対応したテンプレート画像を得ることができる。このため、環境の変化によらず観察者視点画像Ｉから確実にランドマークを検出することが可能となるので、屋外環境における観察者の視点の位置及び方位姿勢を正確に求めることが可能になる。従って、特にＨＭＤ１１０が備えるディスプレイ１１２上にＭＲ画像を表示する場合の、現実空間と仮想空間との位置合せとして好適である。
【００４２】
なお、本実施形態では固定視点画像２０１における各ランドマークの位置は既知であり、例えばテンプレート画像作成モジュールの不図示のメモリに保持しておき、必要に応じて取得され、テンプレート画像作成モジュール１０２に供給されるものとする。このようなランドマークの位置の供給手段としては、これ以外にも次のような方法をとることができる。すなわち、不図示の入力手段によってオペレータが固定視点画像２０１上でランドマークの位置を直接指定してもよいし、何らかの方法で計測した３次元空間中の各ランドマークの位置と固定カメラ１０１のカメラパラメータ（少なくとも位置及び方位姿勢を含む）をメモリに保持しておき、この情報に基づいて、不図示のランドマーク位置算出手段（本発明の特定点位置算出手段に相当する）によって固定視点画像２０１上における各ランドマークの位置を算出するようにしてもよい。また、検出するランドマークが予め定められておらず、観察者画像２０２中の何らかの特徴点を追跡すれば良い用途の場合には、不図示の特徴抽出手段によって初期時刻において固定視点画像２０１上から顕著な画像特徴（例えばエッジ部分やテクスチャ性の強い部分）を持つ特徴点を自動的に抽出し、この位置をランドマークの位置としてもよい。
【００４３】
＜第２の実施形態＞
上記第１の実施形態では１台の固定カメラでテンプレート画像の更新を行うので、テンプレート画像の獲得範囲が限られ、観察者の移動および／又は見回し範囲が限定されてしまう。そこで、第２の実施形態では、複数台の固定カメラを設置して、観察者が広範囲に移動および／又は見回しできるようにする。ただし、複数台の固定カメラを用いるので、１つのランドマークに対して複数のテンプレート画像が存在する場合（以下、オーバーラップ有りの場合と称する）と、１つのランドマークに１台の固定カメラを割り当てることにより１つのテンプレート画像のみが存在するようにする場合（オーバーラップ無しの場合と称する）とが存在する。第２の実施形態では、オーバーラップ無しの場合について説明し、オーバーラップありの場合については第３の実施形態で説明することにする。
【００４４】
オーバーラップの無い場合、固定カメラを複数設けたＭＲシステムは、第１の実施形態と類似の構成で実現できる。図６は第２の実施形態によるＭＲシステムの構成を示すブロック図である。すなわち、テンプレート画像作成モジュール６０２は、複数台の固定カメラ６０１から得られる複数の固定視点画像より、それぞれについて予め決められた領域Ｒiのデータを抽出し、これをテンプレート画像Ｔiとして出力する。
【００４５】
ランドマーク検出モジュール６１３は、第１の実施形態と同様に、テンプレート画像作成モジュール６０２から送信されたテンプレート画像によって使用するテンプレート画像を更新し、そのテンプレート画像を用いて、観察者視点画像Ｉからランドマークの検出を行う。カメラ選択モジュール６１６は、視点位置推定モジュール６１４から得られた視点位置の近くにある所定台数の固定カメラを選択し、その選択結果をランドマーク検出モジュール６１３に通知する。後述するが、第２の実施形態では、処理効率を向上するために、視点位置推定モジュール６１４から出力される視点位置に基づいて、カメラ選択モジュール６１６がどの固定カメラからのテンプレート画像を使用するかを決定する。そして、その決定された固定カメラからのテンプレート画像を用いて、ランドマーク検出モジュール６１３がランドマークの検出のためのテンプレートマッチングを行う。
【００４６】
仮想画像生成モジュール１１５、ＨＭＤ１１０については第１の実施形態で説明したとおりである。
【００４７】
図７は第２の実施形態によるランドマーク検出処理の概要を説明する図である。複数台の固定カメラ６０１（Ａ〜Ｅ）によって得られた各固定視点画像ＩS1〜ＩS5上におけるランドマークＰ1〜Ｐ13の観測位置が定められており、その周辺の矩形領域Ｒ1〜Ｒ13を抽出することでそれぞれに対応するテンプレート画像Ｔ1〜Ｔ13が生成される。そして、これらテンプレート画像を用いて観察者視点画像Ｉからランドマークを検出すればよい。この場合の処理は、本質的には固定カメラが１台の場合と同様であり、１台のカメラの画角が広くなったものと考えればよく、図３及び図４で説明した処理手順によりランドマークの検出が行える。
【００４８】
以上のように、複数の固定カメラを設けた第２の実施形態においても、第１の実施形態と同様の処理で（すなわち、図６中のカメラ選択モジュール６１６が存在しない構成においても）観察者視点の位置及び方位姿勢を検出できる。ただし、ランドマークの数が多くなるので、毎回全てのランドマークに対して検出処理を行うと処理効率が低下する。従って、第２の実施形態では、ランドマーク検出モジュール６１３において検出の対象とするランドマークの数を予め限定しておくことで処理効率を向上させる。すなわち、カメラ選択モジュール６１６によって選択された固定カメラで観測されているランドマークのみに、検出の対象とするランドマークの絞り込みを行う。
【００４９】
これは、例えば、図４に示す処理において、図８に示すようにステップＳ８０１をステップＳ４０４の前に追加することで実現できる。観察者視点画像Ｉが入力されると、ステップＳ４０３からステップＳ８０１へ処理が進み、ランドマークＰiがカメラ選択モジュール６１６で選択された固定カメラで観測されているものであるかどうかを判断する。ここで、ランドマークＰiが選択された固定カメラで観測されているものでなければ、当該ランドマークの検出処理（ステップＳ４０４、Ｓ４０５）をスキップして、次のランドマークを検出すべくステップＳ４０６へ進む。一方、ランドマークＰiが選択された固定カメラで観測されているものであれば、そのランドマークを検出すべくステップＳ４０４へ進む。
【００５０】
なお、第２の実施形態においても、テンプレートマッチングの処理の効率化を図るための、周知の各種手法を適用することが可能である。例えば、第１の実施形態で述べた探索領域を限定する手法も有効である。特に、上述したような、使用するテンプレート画像の限定を行ってから探索領域を特定することで、不必要な探索領域の位置計算を不要にすることができ、効果的である。
【００５１】
図９は第２の実施形態における、ランドマーク検出処理時にテンプレート画像の探索領域を限定する方法を説明する図である。例えばカメラ選択モジュール６１６が、検出された視点位置に基づいて、図７に示した固定カメラＡ、Ｂ、Ｃを選択したとする。この場合、検出の対象となるのはランドマークＰ1〜Ｐ8であり、他のランドマークＰ9〜Ｐ13については考慮されない。そして、ステップＳ４０４では、これらのランドマークＰ1〜Ｐ8のうち、観察者視点画像にその探索領域が含まれるもの（図ではＰ2〜Ｐ6）についてのみ、対応するテンプレート画像Ｔ2〜Ｔ6を用いたテンプレートマッチングによって、ランドマークの検出処理が行われる。
【００５２】
以上のように、第２の実施形態によれば、複数の固定カメラを用いてテンプレート画像の更新を行うので、観察者のより広範囲な移動が許容される。
【００５３】
＜第３の実施形態＞
次に、複数の固定カメラを備えたことにより、１つの時点において、１つのランドマークに複数のテンプレート画像が存在する場合、すなわちオーバーラップのある場合を説明する。
【００５４】
図１０は、第３の実施形態による、オーバーラップのある場合のランドマーク検出処理の概要を説明する図である。固定カメラＦにはランドマークＰ1とＰ2が観測されており、その周辺に定められた矩形領域Ｒ1 F、Ｒ2 Fによってテンプレート画像Ｔ1 F、Ｔ2 Fが生成される。また、固定カメラＧにはランドマークＰ1〜Ｐ3が観測されており、その周辺に定められた矩形領域Ｒ1 G〜Ｒ3 Gによってテンプレート画像Ｔ1 G〜Ｔ3 Gが生成される。同様にして、固定カメラＨからはテンプレート画像Ｔ1 H〜Ｔ3 Hが得られる。ここで、例えばＴ1 FとＴ1 GとＴ1 Hは空間中の同一のランドマークＰ1に対応するテンプレート画像である。
【００５５】
このように、１つのランドマークに対して異なる固定カメラによって複数のテンプレート画像が得られている場合には、どのテンプレート画像を用いてランドマークを検出するかを決める必要がある。以下では、（１）テンプレートマッチングの結果が最良のものを用いる場合、（２）観察者位置に基づいて選択された固定カメラによって得られるテンプレート画像を用いる場合の２つについて説明する。なお、第３の実施形態では、たとえばカメラＦ，Ｇ，Ｈのそれぞれによって得られた撮影画像から取得されたテンプレート画像が図１６のように格納されているとする。たとえば、カメラＦの撮影画像からはランドマークＰ1〜Ｐ6のテンプレート画像Ｔ1 F〜Ｔ6 Fが、カメラＧの撮影画像からはランドマークＰ3〜Ｐ8のテンプレート画像Ｔ3 G〜Ｔ8 Gが、カメラＨの撮影画像からはランドマークＰ3〜Ｐ8のテンプレート画像Ｔ7 H〜Ｔ12 Hがそれぞれ取得され、格納されている。ここで、添え字番後が同じランドマークは同一のランドマークである。たとえば、ランドマークＰ6のテンプレート画像は、カメラＦとカメラＧの各撮影画像から取得されている。
【００５６】
（１）テンプレートマッチングの結果が最良のものを用いる場合について
図１１は、同一ランドマークに複数のテンプレート画像が存在した場合に、マッチングの結果が最良のものを用いてランドマーク検出を行う場合の手順を説明するフローチャートである。図１１では、図４のステップＳ４０４の部分に置き換わる処理を示している。
【００５７】
ステップＳ４０３において観察者視点画像Ｉが入力されると、ステップＳ１１００で固定カメラｊで得られたランドマークＰiのテンプレート画像Ｔi jを用いて観察者視点画像ＩからランドマークＰiを検出する。そして、ステップＳ１１０１で、このランドマークＰiが複数のテンプレート画像を有しており、既に別のテンプレート画像によって座標が算出されているか否かを判断する。別のテンプレート画像によって座標が算出されていない場合や、対応するテンプレート画像が複数存在しない場合には、ステップＳ１１０４で当該テンプレート画像によって求まる座標値とそのマッチング度をメモリに格納する。
【００５８】
一方、既に別のテンプレート画像によって座標が出力されている場合は、ステップＳ１１０２へ進み、メモリに格納されている別のテンプレート画像によるマッチング結果と今回のテンプレート画像によるマッチング結果とを比較する。そして、今回のテンプレート画像によるマッチングのほうが良好な結果であった場合（マッチング度が大きかった場合）は、ステップＳ１１０３へ進み、当該ランドマークのメモリに記憶されている座標を今回のテンプレート画像を用いて得られた座標値とマッチング度で置換する。たとえば、Ｔ6 Gについてマッチングを行ったときに、すでにＴ6 Fを用いたマッチングが実行されてそのマッチング度が格納されていた場合は、Ｔ6 Gを用いたときのマッチング度とＴ6 Fを用いたときのマッチング度が比較され、マッチング度の高い方を採用する。
【００５９】
次に、ステップＳ１１０５において、ランドマークＰiに対応する全てのテンプレート画像Ｔi jについて処理を終えていない場合には、ステップ１１０６へ進み、未処理のテンプレート画像Ｔi jを処理対象としてステップＳ４０４以降の処理を繰り返す。一方、ランドマークＰiに対応する全てのテンプレート画像Ｔi jについて処理を終えている場合には、ステップＳ４０５へ進み、メモリに格納された座標をランドマークＰiの検出位置としてランドマーク検出モジュールに対して出力する。以上のようにして、全てのテンプレート画像について処理を行うことで、１つのランドマークに複数のテンプレート画像が存在した場合には、最良のマッチング度を有するテンプレート画像による座標値が採用されることになる。
【００６０】
（２）観察者位置に基づいて選択された固定カメラによって得られるテンプレート画像を用いる場合について
図１２は、同一ランドマークに複数のテンプレート画像が存在した場合に、観察者位置に基づいて選択された固定カメラによって得られるテンプレート画像を用いてランドマーク検出を行う場合の手順を説明するフローチャートである。図１２では、図４のステップＳ４０４の前に追加される処理が示されている。
【００６１】
ステップＳ４０３において観察者視点画像Ｉが入力されると、ステップＳ１２０１において、これから検出処理を行うランドマークＰiに関して複数のテンプレート画像が存在するか否かを判定する。複数のテンプレート画像が存在しない場合は、当該ランドマークについて１つのテンプレート画像しか存在しないので、ステップＳ４０４へ進み、テンプレートマッチングによるランドマーク検出を行う。
【００６２】
一方、複数のテンプレート画像が存在する場合は、ステップＳ１２０２において、当該複数のテンプレート画像の中から観察者位置に最も近い固定カメラから得られたテンプレート画像を選択し、これを検出処理に用いるテンプレート画像Ｔiとして、ステップＳ４０４へ進む。たとえば、図１６において、観察者位置がカメラＦよりもカメラＧに近い状態であれば、ランドマークＰ3〜Ｐ6に関してはカメラＧで撮影された画像から得られるテンプレート画像Ｔ3 G〜Ｔ6 Gが採用される。
【００６３】
以上のようにして全てのテンプレート画像について処理を行うことで、１つのランドマークに複数のテンプレート画像が存在した場合には、観察者位置に最も近い固定カメラからのテンプレート画像が採用されて、ランドマークの検出が行われることになる。
【００６４】
以上のように第３の実施形態によれば、１つのランドマークに複数の固定カメラから得られる複数のテンプレート画像が存在した場合に、適切なテンプレート画像を選択することが可能となる。特に図１０に示したように、１つのランドマークを異なる方向から撮影して得られた複数の固定視点画像のそれぞれから得られるテンプレート画像を適切に用いることができるので、観察する方向によってランドマークの見え方が大きく違う場合（例えば、立体的な形状や、鏡面に近い反射特性であった場合）でも、適切にテンプレートマッチングを行える。
【００６５】
なお、第２の実施形態で説明したようなカメラ選択モジュール６１６との併用も可能である。この場合、図１１、図１２で説明した処理の対象となるランドマークが、カメラ選択モジュール６１６で選択された固定カメラから得られたランドマークのみとなる。
【００６６】
また、第３の実施形態においても、テンプレートマッチングの処理の効率化を図るための、周知の各種手法を適用することが可能であることはいうまでもない。
【００６７】
＜第４の実施形態＞
第１〜第３の実施形態では、固定カメラを用いて得られた固定視点画像より随時テンプレート画像を作成することにより、ランドマーク検出モジュール１１３で行われるテンプレートマッチングに用いるテンプレート画像を更新している。この手法によれば、各時点において撮影された画像が用いられてテンプレート画像が生成されるので、そのときそのときのランドマークの見え方がテンプレート画像に反映され、良好なテンプレートマッチングを行うことができる。しかしながら、１つまたは複数の固定カメラを用意しなければならず、装置規模が大きくなってしまう。そこで、第４の実施形態では、１つのランドマークについて予め複数種類のテンプレート画像を登録しておき、これを用いてテンプレート画像の更新を行う。
【００６８】
図１３Ａは第４の実施形態によるＭＲシステムの構成を示すブロック図である。１３０１はテンプレート画像格納部であり、複数のランドマークのそれぞれについて複数種類のテンプレート画像１３１０が登録されている。１３０２はテンプレート画像選択モジュールであり、テンプレート画像格納部１３０１に格納された複数のテンプレート画像のうち、各ランドマークについて１つのテンプレート画像を選択する。本例では、ＨＭＤ１１０に搭載された観察者視点カメラ１１１によるその時点の撮影画像より、平均輝度値算出モジュール１３０３によって平均輝度値に基づいて使用するテンプレート画像を選択する（後に詳述する）。従って、テンプレート画像格納部１３０１は、図１３Ｂに示すように輝度値の範囲によって使用すべきテンプレート画像が分類され、格納されている。なお、テンプレート画像を変更すべき輝度値はランドマーク毎に異なるので、図１３Ｂに示すように、輝度値範囲が異なっても同じテンプレート画像を用いる場合もある。例えば、ランドマーク＃１は輝度値範囲ＢでもＣでも同じテンプレート画像Ｔ1Bが用いられる。
【００６９】
ランドマーク検出モジュール１３１３は、テンプレート画像選択モジュール１３０２によって取得されたテンプレート画像を用いて、観察者視点画像Ｉについてテンプレートマッチングを行い、ランドマークを検出する。視点位置推定モジュール１１４、仮想画像生成モジュール１１５、ＨＭＤ１１０については第１の実施形態（図１）で説明したとおりである。
【００７０】
平均輝度値算出モジュール１３０３はＨＭＤ１１０に装着された観察者視点カメラ１１１からの撮影画像から平均輝度値を求め、その算出結果をテンプレート画像選択モジュール１３０２に提供する。テンプレート画像選択モジュール１３０２は、この平均輝度値に基づいてテンプレート画像格納部１３０１より各ランドマークのテンプレート画像を選択し、ランドマーク検出モジュール１３１３に出力する。
【００７１】
図１４は第４の実施形態によるテンプレート画像選択モジュールの処理手順を説明するフローチャートである。まず、ステップＳ１４０１において、平均輝度算出モジュール１３０３から平均輝度値を採り込む。そして、ステップＳ１４０２において、輝度値範囲が変更になったかどうかを判定する。例えば、現在使用されているテンプレート画像の輝度値範囲が範囲Ａの場合、ステップＳ１４０１で取り込まれた平均輝度値が他の輝度値範囲（Ｂ或いはＣ）に属するかどうかを判定する。輝度値範囲が変化した場合は、ステップＳ１４０３へ進み、新たな平均輝度値が属する輝度範囲に対応したテンプレート画像群を読み込む。そして、ステップＳ１４０４でそれらのテンプレート画像群をランドマーク検出モジュール１３１３に出力する。
【００７２】
以上のように第４の実施形態によれば、固定カメラを用いずに、予め用意した複数種類のテンプレート画像から適切なものが選択され、テンプレートマッチングに用いられるので、別途固定カメラを設けることなく、正確なテンプレートマッチングを実現できる。
【００７３】
なお、テンプレート画像の切り替えは、平均輝度値に限らず、朝、昼、夜の時間帯に応じて実行するようにすることもできる。或いは、観察者がマニュアルで晴、曇り、雨等の気象状態を入力し、これに応じてテンプレート画像選択モジュール１３０２がテンプレート画像の切り替えを行うようにすることも可能である。
【００７４】
なお、上記の例では、１つのテンプレート画像グループよりテンプレート画像を選択するが、複数の位置から観察されるランドマークに対応して、テンプレート画像グループを複数用意しておき、この中から使用すべきテンプレート画像グループを選択し、選択されたテンプレート画像グループから平均輝度値に従ってテンプレート画像を取得するようにしてもよい。この場合、複数のテンプレート画像グループは、上述した第２及び第３の実施形態の複数の固定カメラに対応づけて考えることができる。従って、観察者の位置からテンプレート画像グループを選択するように構成することが可能である。
【００７５】
更に、テンプレートマッチングにおける探索範囲の絞り込み（たとえば第１の実施形態の図５で説明した手法）が可能であることはいうまでもない。
【００７６】
＜第５の実施形態＞
上記第１乃至第３の実施形態においては、検出パラメータとしてテンプレート画像を定義し、ランドマーク検出にテンプレートマッチングを用いていたが、ランドマーク検出には必ずしもテンプレートマッチングを用いなくても良い。例えば、色特徴を用いたマーカ（カラーマーカ）をランドマークとして用いる場合には、ランドマークの検出は、検出パラメータとしてマーカの色特徴を表す色パラメータを定義し、特定色領域の抽出によって行うことができる。
【００７７】
図１５は、本実施形態によるＭＲシステムの構成を説明するブロック図である。図１５において、固定カメラ１０１、ＨＭＤ１１０、観察者カメラ１１１、ディスプレイ１１２、視点位置推定モジュール１１４、仮想画像生成モジュール１１５は第１の実施形態と同様である。
【００７８】
１５０２は色パラメータ抽出モジュールであり、固定視点画像ＩSから、各ランドマークＰiを検出するための色パラメータＣiを生成する。例えば、固定視点画像ＩS上におけるランドマークＰiの観測領域Ｒi（本実施形態では既知であり不図示の供給手段によって供給されるものと仮定する）内の各画素のＲＧＢ色空間における分布に基づいて、ＲＧＢ色空間におけるランドマークの存在範囲(赤の最小値Ｒmin,赤の最大値Ｒmax, 緑の最小値Ｇmin, 緑の最大値Ｇmax,青の最小値Ｂmin, 青の最大値Ｂmax)）を求め、これをランドマークの色特徴を表す色パラメータＣiとする。この色パラメータＣiは、所定のタイミング毎に後述のランドマーク検出モジュールへ出力される。
【００７９】
１５１３はランドマーク検出モジュールであり、色パラメータ抽出モジュール１５０２から提供される色パラメータＣiに基づいて、観察者視点画像Ｉから、色パラメータＣiで定義される色領域に含まれる画素を抽出することで、ランドマークＰiを検出する。以上によって、観察者視点画像Ｉとほぼ同一時刻に撮影された（すなわち、観察者視点画像Ｉとほぼ同一光源環境下において撮影された）固定カメラ画像ＩSに基づいて色パラメータＣiが定義できるので、屋外環境のように光源環境が動的に変化する状況下においても、常に安定したカラーマーカ検出を行うことが可能であり、ランドマーク位置の正確な検出が実現できる。なお、本実施例では色パラメータＣiとして、ＲＧＢ色空間におけるランドマークの存在範囲を用いたが、一般に色特徴抽出に用いられる何れの色空間や色特徴抽出法を用いても良いことはいうまでもなく、濃淡画像に対する輝度情報をパラメータとしてもよい。また、検出パラメータの種類はテンプレート画像や色特徴に限定されるものではなく、画像からランドマークを検出するためのいずれの検出パラメータを用いてもよい。
【００８０】
＜第６の実施形態＞
上記第１〜第５の実施形態においては、撮影画像上のランドマーク位置を検出したい観察者視点カメラは１台であったが、観察者視点カメラは必ずしも１台でなくてもよい。例えば、複数の観察者（ここではＡ〜Ｄの４人とする）それぞれに対応する観察者視点カメラ１１１Ａ〜１１１Ｄが存在し、それらによって撮影された観察者視点画像ＩＡ〜ＩＤ上におけるランドマーク位置を検出する場合には、それぞれに対応するランドマーク検出モジュール１１３Ａ〜１１３Ｄを設け、上記第１〜第４の実施形態と同様な構成のテンプレート画像作成モジュール１０２を用いて、これらのランドマーク検出モジュール１１３Ａ〜１１３Ｄそれぞれに対してテンプレート画像を更新すればよい。
【００８１】
以上説明したように、上記各実施形態によれば、撮影時の環境が変化して特定点の見え方が変化しても、撮影画像中からランドマークを正確に検出することが可能となる。また、各実施形態によれば、環境の変化に対して正確なランドマークの検出が保証されるので、ＭＲ技術において、仮想と現実の高精度な位置合せと、屋外での自由な移動との両立を達成することができる。
【００８２】
なお、上記実施形態１〜６では、ビデオシースルー方式のＭＲシステムへの応用を説明したが、視点位置の計測が必要な用途、例えば、光学シースルー方式のＭＲへの応用ももちろん可能であるし、カメラで撮影した画像中から静止物体の特定の箇所の座標を検出する用途であれば、ＭＲ以外の用途にも適用可能である。
【００８３】
【発明の効果】
以上説明したように、本発明によれば、撮影時の環境が変化して特定点の見え方が変化しても、撮影画像中から特定点を確実に検出することが可能となる。
【図面の簡単な説明】
【図１】第１実施形態によるＭＲシステムの構成を説明するブロック図である。
【図２】第１の実施形態によるランドマーク検出処理の概要を説明する図である。
【図３】テンプレート画像作成モジュール１０２によるテンプレート画像作成処理の手順を説明するフローチャートである。
【図４】ランドマーク検出モジュールによるランドマークの検出手順を説明するフローチャートである。
【図５】ランドマーク検出処理時に探索領域を限定する方法を説明する図である。
【図６】第２の実施形態によるＭＲシステムの構成を示すブロック図である。
【図７】第２の実施形態によるランドマーク検出処理の概要を説明する図である。
【図８】第２の実施形態における、検出の対象とするランドマークの制限を行う場合の処理を説明するフローチャートである。
【図９】第２の実施形態における、ランドマーク検出処理時に探索領域を限定する方法を説明する図である。
【図１０】第３の実施形態による、オーバーラップのある場合のランドマーク検出処理の概要を説明する図である。
【図１１】同一ランドマークに複数のテンプレート画像が存在した場合に、マッチングの結果が最良のものを用いてランドマーク検出を行う場合の手順を説明するフローチャートである。
【図１２】同一ランドマークに複数のテンプレート画像が存在した場合に、観察者位置に基づいて選択された固定カメラによって得られるテンプレート画像を用いてランドマーク検出を行う場合の手順を説明するフローチャートである。
【図１３Ａ】第４の実施形態によるＭＲシステムの構成を示すブロック図である。
【図１３Ｂ】テンプレート画像のデータ構成例を示す図である。
【図１４】第４の実施形態によるテンプレート画像選択モジュールの処理手順を説明するフローチャートである。
【図１５】第５実施形態によるＭＲシステムの構成を説明するブロック図である。
【図１６】第３の実施形態におけるテンプレート画像の格納状態を説明する図である。
Claims (5)
- 現実空間内に配置されている複数の特定点を用いて撮影部の姿勢を算出する画像処理方法であって、
撮影画像から複数の特定点の夫々を検出するための検出パラメータを複数保持する保持工程と、
撮影部によって撮影された撮影画像を入力する入力工程と、
前記撮像画像の平均輝度を算出する平均輝度算出工程と、
前記保持されている複数の検出パラメータから、前記複数の特定点の夫々に対して、前記平均輝度に応じた検出パラメータを選択する選択工程と、
前記選択工程よって選択された検出パラメータを用いて、前記入力工程によって入力される撮影画像から特定点を検出する検出工程と、
前記検出された特定点の撮影画像における位置を用いて前記撮影部の姿勢を算出する算出工程とを有することを特徴とする画像処理方法。 - 前記検出パラメータはテンプレート画像であることを特徴とする請求項 1 記載の画像処理方法。
- 前記平均輝度に応じて、前記選択工程による検出パラメータの選択の実行を制御することを特徴とする請求項１又は２に記載の画像処理方法。
- 現実空間内に配置されている複数の特定点を用いて撮影部の姿勢を算出する画像処理装置であって、
撮影画像から複数の特定点の夫々を検出するための検出パラメータを複数保持する保持部と、
撮影部によって撮影された撮影画像を入力する入力部と、
前記撮像画像の平均輝度を算出する平均輝度算出部と、
前記保持されている複数の検出パラメータから、前記複数の特定点の夫々に対して、前記平均輝度に応じた検出パラメータを選択する選択部と、
前記選択部よって選択された検出パラメータを用いて、前記入力部によって入力される撮影画像から特定点を検出する検出部と、
前記検出された特定点の撮影画像における位置を用いて前記撮影部の姿勢を算出する算出部とを有することを特徴とする画像処理装置。 - 現実空間内に配置されている複数の特定点を用いて撮影部の姿勢を算出する画像処理方法をコンピュータに実行させるための制御プログラムを格納した記憶媒体であって、前記画像処理方法が、
撮影画像から複数の特定点の夫々を検出するための検出パラメータを複数保持する保持工程と、
撮影部によって撮影された撮影画像を入力する入力工程と、
前記撮像画像の平均輝度を算出する平均輝度算出工程と、
前記保持されている複数の検出パラメータから、前記複数の特定点の夫々に対して、前記平均輝度に応じた検出パラメータを選択する選択工程と、
前記選択工程よって選択された検出パラメータを用いて、前記入力工程によって入力される撮影画像から特定点を検出する検出工程と、
前記検出された特定点の撮影画像における位置を用いて前記撮影部の姿勢を算出する算出工程とを有することを特徴とする記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003102140A JP3762382B2 (ja) | 2003-04-04 | 2003-04-04 | 画像処理方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003102140A JP3762382B2 (ja) | 2003-04-04 | 2003-04-04 | 画像処理方法及び装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001062222A Division JP3437555B2 (ja) | 2001-03-06 | 2001-03-06 | 特定点検出方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003319388A JP2003319388A (ja) | 2003-11-07 |
| JP3762382B2 true JP3762382B2 (ja) | 2006-04-05 |
Family
ID=29546088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003102140A Expired - Fee Related JP3762382B2 (ja) | 2003-04-04 | 2003-04-04 | 画像処理方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3762382B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5110793B2 (ja) * | 2005-12-28 | 2012-12-26 | 日立コンピュータ機器株式会社 | 帳票識別装置 |
| JP4550769B2 (ja) * | 2006-05-09 | 2010-09-22 | 日本電信電話株式会社 | 画像検出装置および画像検出方法 |
| JP2008017188A (ja) * | 2006-07-06 | 2008-01-24 | Nikon Corp | カメラ |
| JP4807623B2 (ja) * | 2006-07-25 | 2011-11-02 | カシオ計算機株式会社 | 撮像装置、撮像方法及び撮像プログラム |
| US8098894B2 (en) | 2008-06-20 | 2012-01-17 | Yahoo! Inc. | Mobile imaging device as navigator |
| JP5347834B2 (ja) | 2009-08-25 | 2013-11-20 | 株式会社ニコン | 画像追尾装置 |
| US20130196681A1 (en) * | 2012-01-31 | 2013-08-01 | Qualcomm Incorporated | Compensating for user occlusion in wi-fi positioning using mobile device orientation |
| JP2014203390A (ja) * | 2013-04-09 | 2014-10-27 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
| JP6077425B2 (ja) * | 2013-09-25 | 2017-02-08 | Kddi株式会社 | 映像管理装置及びプログラム |
| JP7115903B2 (ja) * | 2017-12-07 | 2022-08-09 | 株式会社ミツトヨ | アナログ測定工具の測定値の読み取り装置 |
| US10825216B2 (en) * | 2017-12-07 | 2020-11-03 | Mitutoyo Corporation | Apparatus for reading value measured with analog measuring tool |
| CN111265879B (zh) * | 2020-01-19 | 2023-08-08 | 百度在线网络技术（北京）有限公司 | 虚拟形象生成方法、装置、设备及存储介质 |
| WO2024190136A1 (ja) * | 2023-03-15 | 2024-09-19 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び記録媒体 |
-
2003
- 2003-04-04 JP JP2003102140A patent/JP3762382B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003319388A (ja) | 2003-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3437555B2 (ja) | 特定点検出方法及び装置 | |
| US8933965B2 (en) | Method for calculating light source information and generating images combining real and virtual images | |
| US9001116B2 (en) | Method and system of generating a three-dimensional view of a real scene for military planning and operations | |
| JP3762382B2 (ja) | 画像処理方法及び装置 | |
| US10481679B2 (en) | Method and system for optical-inertial tracking of a moving object | |
| WO2010130987A2 (en) | Image generation method | |
| CN109040738A (zh) | 利用直接几何建模的头戴式显示器校准 | |
| JPH10503627A (ja) | 改良型クロマキー・システム | |
| JPH10267671A (ja) | 景観ラベリング装置およびシステム | |
| JP2004265396A (ja) | 映像生成システム及び映像生成方法 | |
| US11043019B2 (en) | Method of displaying a wide-format augmented reality object | |
| JPH1186034A (ja) | 景観ラベル付ヒューマンナビゲーション装置およびシステム | |
| CN115004683A (zh) | 成像装置、成像方法和程序 | |
| CN208506731U (zh) | 图像展示系统 | |
| JP3053172B2 (ja) | 距離参照型景観ラベリング装置およびシステム | |
| CN108564654A (zh) | 三维大场景的画面进入方式 | |
| CA2710746A1 (en) | Method for displaying a virtual image | |
| JPH1166347A (ja) | 情報発信型景観ラベリング装置およびシステム | |
| JP3114862B2 (ja) | 相互利用型景観ラベリングシステム | |
| JP3156649B2 (ja) | 変形ラベル型景観ラベリング装置およびシステム | |
| JP3053169B2 (ja) | 景観ラベル利用型通信装置およびシステム | |
| JP2023026244A (ja) | 画像生成装置および画像生成方法、プログラム | |
| CN113192208A (zh) | 三维漫游方法及装置 | |
| JPH1131239A (ja) | 注視方向景観ラベリング装置およびシステム | |
| JPH1132250A (ja) | 音声案内型景観ラベリング装置およびシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050927 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060112 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3762382 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110120 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120120 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130120 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140120 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |