JP5961938B2 - モノスペクトル・マーカならびにその検出方法および装置 - Google Patents

Description

この発明は，同定，識別等のために用いられるモノスペクトル・マーカならびにその検出方法および装置に関する。

マーカはその配置位置やそれが取付けられた（または，それが表わされた）物体の位置の同定，それらの位置または物体の識別等のために古くから用いられてきた。最近では撮像装置により撮像された画像上におけるマーカを画像処理することにより，観測物体や撮像装置の位置，姿勢を推定する技術が検討されている。特に，仮想空間と現実空間の位置合わせのためのマーカとして，ARToolKit のマーカが一般に用いられる（非特許文献１）。ARToolKit のマーカは黒の矩形枠の内部に任意のパターンを描き加えて構成される。観測画像中で矩形枠の四隅の頂点を検出し，カメラに対するマーカの位置，姿勢を検出する。内部のパターンは，位置，姿勢を検出した後に既知パターンとの照合を行い，どのマーカが観測されているのかを識別するために使われる。

H. Kato, and M. Billinghurst,"Marker tracking and hmd calibration for a video-based augmented reality conferencing system, "International Workshop on Augmented Reality, pp.85〜94, 1999.

この白黒で構成されるマーカの問題点は，観測画像に生じる動きぶれや焦点ぼけに対処できないことである。これはマーカの位置，姿勢の検出のために，高周波成分であるエッジを利用することに依るものである。すなわち，観測画像に動きぶれや焦点ぼけが生じると，画像上の高周波成分は抑制され，エッジの位置を正しく検出することができない。

この発明は，動きぶれや焦点ぼけがある画像からでも抽出することができるマーカ（これをモノスペクトル・マーカと呼ぶ）を提供することを目的とするものである。

この発明はまた，上記のモノスペクトル・マーカの検出（同定または識別）方法および装置を提供することを目的とする。

この発明による第１の態様のモノスペクトル・マーカは，明るさに関連する値を表わす第１の要素と，色相に関連する値を表わす第２の要素を含む色空間を用いて，二次元表面を持つ媒体に表わされるマーカである。このマーカは上記第１の要素の値が基礎値である境界を持つマーカ領域を有し，少なくとも２つの独立した位置セグメントが上記マーカ領域内の所定位置に配置される。上記位置セグメントは中心位置を有し，この中心位置を通るすべての方向において，上記第１の要素の値が，上記中心位置でピークを示しかつこのピークの値と基礎値との間で単一周波数で変化するものである。上記位置セグメントの上記第２の要素が特定の色相を表わす値を持つものである。

明るさ（輝度，明度）に関連する第１の要素と，色相（色，色差）に関連する第２の要素を含む色空間（表色系）にはたとえば，色相（Hue），彩度（Saturation, Chroma ），明度（Brightness, Lightness, Value）の三成分からなるＨＳＶ色空間（ＨＳＢ色空間ともいう），輝度Ｙ（luminance）と色差Ｕ，Ｖ（chrominance）からなるＹＵＶ色空間，明度Ｌと赤の強さａ，黄の強さｂをもつＬａｂ色空間などがある。

明るさに関する第１の要素は，ＨＳＶ色空間では明度Ｖが相当し，ＹＵＶ色空間では輝度Ｙが相当し，Ｌａｂ色空間では明度Ｌが相当する。

色相に関する第２の要素は，ＨＳＶ色空間では色相Ｈが相当し，ＹＵＶ色空間では色差ＵまたはＶが相当し，Ｌａｂ色空間では赤の強さａまたは黄の強さｂが相当する。

ＨＳＶ色空間を用いた場合には，第３の要素である彩度Ｓも利用することができる。

マーカの媒体としては，紙，プラスチック等のシート，板状体，壁等の平面，物体（商品）の一表面（物体を梱包するダンボール箱等の一表面を含む）等がある。この場合には，モノスペクトル・マーカはこれらの媒体に印刷，描画，ペイント等により表わされるであろう。マーカの媒体としてはさらに，マーカを表示する表示画面でもよい。

マーカ領域を規定する境界（境界領域）はマーカの周囲を連続的に囲むもので（このために実施例では連結領域ともいう），第１の要素の値が基礎値であることにより特徴づけられる。基礎値とは，最も典型的には第１の要素の値の最小値であるが，最小値に近い値でもよい。

この発明によるモノスペクトル・マーカの特徴は，マーカ領域内に複数の相互に独立した位置セグメントが配置されている点にあり（「独立した」とは相互に離れた，または重ならないことを意味する），さらに，この位置セグメントが中心位置を有し，この中心位置を通るすべての方向において，第１の要素の値が単一周波数（単一空間周波数）で変化する点にある。さらに詳しく述べると，第１の要素の値は位置セグメントの中心位置でピークを示す。中心位置から離れたところでは第１の要素の値は上記の基礎値であり，中心に向かうにしたがって増大し，ピークに達する。この変化が単一周波数で表わされる。ピークの値とは一般的には第１の要素の値の最大値であるが，これに近い値でもよい。

単一周波数の値（周波数値）は，位置セグメントの中心位置を通るすべての方向で等しい値でもよいし，後述する実施例に示すように，角度方向に連続的に変化してもよい。単一周波数の値が角度方向に変化する場合には，後述するバンド・パス・フィルタの通過帯域に，単一周波数の値の変化に相当する周波数帯の広がりを考慮しなければならない。

位置セグメントはさらに第２の要素の値によって特徴づけられる。第２の要素の値は範囲を持っていてもよい。

以上説明した第１の態様のモノスペクトル・マーカは複数の位置セグメントのみによって特徴づけられるモノスペクトル・マーカであるが，モノスペクトル・マーカは位置セグメントとは異なるＩＤセグメントを備えることもできる。ＩＤセグメントは，特に，複数種類のモノスペクトル・マーカ（位置セグメントは同じでもよい）が存在する場合に，これらのモノスペクトル・マーカを互いに識別するために有効利用される。

すなわち，第２の態様のモノスペクトル・マーカは，上記マーカ領域内にさらに上記位置セグメントから離れてＩＤセグメントが配置され，上記ＩＤセグメントの上記第２の要素は上記位置セグメントの第２の要素の値とは異なる値を持つことを特徴とするものである。ＩＤセグメントの第１の要素の値は単一周波数をもって変化するものでもよいし，エッジを持つものでもよい。

上述したように，ARToolKit マーカはその検出のためにエッジを利用する。エッジは高周波成分を含むから動きぶれや焦点ぼけがあると，高周波成分が抑制され，エッジが正しく検出されにくくなる。この発明によるモノスペクトル・マーカにおいては，少なくともその位置セグメントの第１の要素の値は単一周波数（しかも，エッジのように高周波ではなく，低周波である）をもって変化するものであるから，動きぶれや焦点ぼけがあってもその影響を受けにくく，動きぶれや焦点ぼけがあっても検出することができる。

この発明は上述したモノスペクトル・マーカを検出する方法および装置を提供するものである。

第１の態様のモノスペクトル・マーカの検出方法は，第１の態様のモノスペクトル・マーカを含むシーンを撮像して得られる画像データを上記色空間の画像データに変換して，画素ごとに，少なくとも上記第１の要素の値と上記第２の要素の値とを取得し，上記第１の要素の値に対して，上記単一周波数に相当する周波数を含む通過帯域を持つバンド・パス・フィルタでフィルタリングしてこのバンド・パス・フィルタを通過する画素を特定し，上記第１の要素の値について上記マーカ領域（境界領域）を抽出し，上記第２の要素の値が上記特定の色相を表わす範囲内の値であるかどうかを判定し，上記第１の要素の値が上記バンド・パス・フィルタを通過し，かつ上記第２の要素の値が上記特定の色相を表わす範囲内にある画素の中で，上記第１の要素の値がピークを示す画素を特定して上記位置セグメントの中心位置候補を決定し，上記決定した中心位置候補のうち上記抽出したマーカ領域（境界領域）内に存在する中心位置候補の数があらかじめ定められた数と一致することによりモノスペクトル・マーカであると同定するものである。

第１の態様のモノスペクトル・マーカの検出装置は，第１の態様のモノスペクトル・マーカを含むシーンを撮像して得られる画像データを上記色空間の画像データに変換して，画素ごとに，少なくとも上記第１の要素の値と上記第２の要素の値とを取得する画像変換手段，上記単一周波数に相当する周波数を含む通過帯域を持つバンド・パス・フィルタを備え，このバンド・パス・フィルタで上記第１の要素の値をフィルタリングして該バンド・パス・フィルタを通過する画素を特定するフィルタリング手段，上記第１の要素の値について上記マーカ領域（境界領域）を抽出するマーカ領域（境界領域）抽出手段，上記第２の要素の値が上記特定の色相を表わす範囲内の値であるかどうかを判定する第２要素判定手段，上記フィルタリング手段により特定された画素であって，かつ上記第２要素判定手段により上記第２の要素の値が上記特定の色相を表わす範囲内にある画素の中で，上記第１の要素の値がピークを示す画素を特定して上記位置セグメントの中心位置候補を決定する中心位置候補決定手段，および上記中心位置候補決定手段により決定された中心位置候補のうち上記マーカ領域抽出手段により抽出されたマーカ領域（境界領域）内に存在する中心位置候補の数があらかじめ定められた数と一致することによりモノスペクトル・マーカであると同定するマーカ同定手段を備えるものである。

バンド・パス・フィルタの通過帯域は，撮像により得られる画像上におけるモノスペクトル・マーカのサイズ，モノスペクトル・マーカの位置セグメントを表わす第１の要素の値の単一周波数の値（単一周波数が変化する範囲），シーンにおけるモノスペクトル・マーカの姿勢（傾きの有無），撮像手段によるシーンの撮像角度等を考慮して，第１の要素の値によって表わされる位置セグメントの像が通過するように定められる。

動きぶれや焦点ぼけがあっても第１の要素の値によって表わされる位置セグメントの像は，上述のように，影響を受けにくいので，位置セグメントの中心位置を正しく抽出してモノスペクトル・マーカを同定することができる。第２の要素の値は位置セグメントの抽出に寄与する。なお，マーカ領域（境界領域）の抽出は第１の要素の値の基礎値付近のレベルの閾値処理により可能であるから，動きぶれや焦点ぼけの影響を受けにくい。

ここでモノスペクトル・マーカの同定とは，少なくとも一つのモノスペクトル・マーカの存在と位置を決定することを意味する。後述するモノスペクトル・マーカの識別とは，少なくとも２種のモノスペクトル・マーカが存在する場合に，これらを区別してその存在と位置を決定することを意味する。そして，検出は同定と識別の両方を含む概念である。

第２の態様のモノスペクトル・マーカを検出する方法は，モノスペクトル・マーカを含むシーンを撮像して得られる画像データを上記色空間の画像データに変換して，画素ごとに，少なくとも上記第１の要素の値と上記第２の要素の値とを取得し，上記第１の要素の値に対して，上記単一周波数に相当する周波数を含む通過帯域を持つバンド・パス・フィルタでフィルタリングしてこのバンド・パス・フィルタを通過する画素を特定し，上記第１の要素の値について上記マーカ領域（境界領域）を抽出し，上記第２の要素の値が上記特定の色相を表わす範囲内の値であるかどうかを判定し，上記第１の要素の値が上記バンド・パス・フィルタを通過し，かつ上記第２の要素の値が上記特定の色相を表わす範囲内にある画素の中で，上記第１の要素の値がピークを示す画素を特定して上記位置セグメントの中心位置候補を決定し，上記抽出されたマーカ領域内に存在する中心位置候補の数があらかじめ定められた数と一致する場合に，その中心位置候補を上記位置セグメントの中心位置としてこの中心位置に基づいて上記ＩＤセグメントの少なくとも中心位置を求め，求めた中心位置の上記第２の要素の値が所定の範囲内にあるかどうかにより，特定のモノスペクトル・マーカかどうかを判定するものである。

第２の態様のモノスペクトル・マーカの検出装置は，モノスペクトル・マーカを含むシーンを撮像して得られる画像データを上記色空間の画像データに変換して，画素ごとに，少なくとも上記第１の要素の値と上記第２の要素の値とを取得する画像変換手段，上記単一周波数に相当する周波数を含む通過帯域を持つバンド・パス・フィルタを備え，このバンド・パス・フィルタで上記第１の要素の値をフィルタリングして該バンド・パス・フィルタを通過する画素を特定するフィルタリング手段，上記第１の要素の値について上記マーカ領域（境界領域）を抽出するマーカ領域（境界領域）抽出手段，上記第２の要素の値が上記特定の色相を表わす範囲内の値であるかどうかを判定する第２要素判定手段，上記フィルタリング手段により特定された画素であって，かつ上記第２要素判定手段により上記第２の要素の値が上記特定の色相を表わす範囲内にある画素の中で，上記第１の要素の値がピークを示す画素を特定して上記位置セグメントの中心位置候補を決定する中心位置候補決定手段，および上記マーカ領域抽出手段により抽出されたマーカ領域（境界領域）内に存在する中心位置候補の数があらかじめ定められた数と一致する場合に，その中心位置候補を上記位置セグメントの中心位置としてこの中心位置に基づいて上記ＩＤセグメントの少なくとも中心位置を求め，求めた中心位置の上記第２の要素の値が所定の範囲内にあるかどうかにより，特定のモノスペクトル・マーカかどうかを判定するマーカ識別手段を備えるものである。

ＩＤセグメントの第２の要素の値を用いているから位置セグメントが同じ（その構成と位置が同じ）複数のモノスペクトル・マーカにおいてＩＤセグメントの第２の要素の値が異なるようにしておけば，これによって複数のモノスペクトル・マーカを識別することが可能となる。ＩＤセグメントの中心位置は位置セグメントの中心位置に基づいて求めているから，ＩＤセグメントの第１の要素が単一周波数を持つものでない場合であっても，ＩＤセグメントの第２の要素の値の取得が可能であり，動きぶれや焦点ぼけの影響を受けにくい。

上記いずれの検出方法，検出装置においても，撮像装置からモノスペクトル・マーカまでの距離が固定している場合には，一つのバンド・パス・フィルタで足りるが，撮像装置からモノスペクトル・マーカまでの距離がモノスペクトル・マーカに応じて異なる場合や変動する場合には，撮像装置からモノスペクトル・マーカまでの距離に応じて異なる通過帯域を持つ複数のバンド・パス・フィルタを用意しておいて，それらのバンド・パス・フィルタを用いて上記第１の要素の値をそれぞれフィルタリングしていずれかのバンド・パス・フィルタを通過する画素を特定する。

(A)はモノスペクトル・マーカの一例を示し，(B)，(C)，(D)はそれぞれ(A) のＬ１線に沿う明度Ｖ，色相Ｈ，彩度Ｓの値の変化を示す。 (A)はモノスペクトル・マーカの一例を示し，(B)，(C)，(D)はそれぞれ(A) のＬ２線に沿う明度Ｖ，色相Ｈ，彩度Ｓの値の変化を示す。 図１(A) に示すモノスペクトル・マーカのＬ１線に沿う明度Ｖのスペクトルを示すグラフである。 モノスペクトル・マーカの他の例を示す。 モノスペクトル・マーカのさらに他の例を示す。 モノスペクトル・マーカのさらに他の例を示す。 モノスペクトル・マーカのさらに他の例を示す。 モノスペクトル・マーカのさらに他の例を示す。 モノスペクトル・マーカが配置されたシーンの撮像により得られる画像の一例を示す。 モノスペクトル・マーカの検出システムの全体を示す機能ブロック図である。 (A)はバンド・パス・フィルタの通過周波数帯域を周波数領域で示し，(B)は空間領域で示すものである。 位置セグメントの中心画素を求める処理（モノスペクトル・マーカの同定処理）を示すフローチャートである。 図12のステップＳ12の位置セグメントの第１候補の画素を抽出する処理を説明するための機能ブロック図である。 ＩＤセグメントを利用したモノスペクトル・マーカの検出処理を示すフローチャートである。 ＩＤセグメントの中心位置を求める処理を説明するものである。

まずモノスペクトル・マーカの構成について説明する。

この実施例のモノスペクトル・マーカはＨＳＶ色空間（ＨＳＶ表色系）により表現される。ＨＳＶ色空間は色相（Hue），彩度（Saturation, Chroma）および明度（Brightness, Lightness, Value）の三つの成分からなる（ＨＳＢ色空間ともいわれる）。

明度Ｖを第１の要素とし（明るさに関連する値を表わす），その値を０〜 100％で表わす。

色相Ｈを第２の要素とし（色に関連する値を表わす），その値を０〜 360°で表わす。

彩度Ｓを第３の要素とし（鮮やかさに関連する値を表わす），その値を０〜 100％で表わす。

図１(A) および図２(A) はこの発明の実施例によるモノスペクトル・マーカの一例を示している（符号ＭＫ１で示す）。図１(A) と図２(A) は全く同じモノスペクトル・マーカを示す（線Ｌ１，Ｌ２の引いてある位置のみが異なる）。

モノスペクトル・マーカＭＫ１は正方形の境界を持つ。この境界の内側に幅の狭い正方形の枠状の境界領域（連結領域）ＢＤを有している。境界領域ＢＤは黒の領域である（Ｖ＝０，Ｈ＝０，Ｓ＝０）。境界領域ＢＤおよびその内部がマーカ領域である。境界領域ＢＤはマーカ領域の周囲を囲んでいる閉じた領域である。

境界領域ＢＤにより囲まれたマーカ領域の内部には，合計９個のセグメントが配置されている。正方形の四隅の位置に配置されている４つのセグメントを位置セグメントといい，それぞれＳp1，Ｓp2，Ｓp3，Ｓp4で表わす。これらの位置セグメントの中間およびマーカ領域内の中央に配置されているのがＩＤセグメントＳd1，Ｓd2，Ｓd3，Ｓd4，Ｓd5である（ＩＤ＝Identification）。

図１(B)，(C)，(D)に，図１(A)の最上段の３個のセグメントＳp1，Ｓd1，Ｓp2の中心を通る線Ｌ１に沿う明度Ｖ，色相Ｈ，彩度Ｓの値の変化を示す。同様に，図２(B)，(C)，(D)に，図２(A)の中段の３個のセグメントＳd2，Ｓd3，Ｓd4の中心を通る線Ｌ２に沿う明度Ｖ，色相Ｈ，彩度Ｓの値の変化を示す。

図１(B) において，明度Ｖは，左端の境界領域ＢＤの値０（最小値，基礎値）から線Ｌ１に沿って正弦波（余弦波）状に滑らかに変化し，それぞれセグメントＳp1，Ｓd1，Ｓp2の中心でピークを示し，これらのセグメントの中間で最小値を示し，右端の境界領域ＢＤに至っている。すなわち，明度Ｖの値の変化は線Ｌ１に沿って単一周波数（単一の空間周波数）によって表わされる。これがモノスペクトル・マーカの意義である。

この明度Ｖの変化の周波数スペクトルを図３に示す。マーカＭＫ１は充分に視認できる程度の大きさのものであるから，明度Ｖの変化は空間的に比較的緩やかであり単一周波数スペクトルは，相対的に低周波領域に現れる。

図１(C)の色相(H)についてみると，位置セグメントＳp1，Ｓp2の色相(H) の値は60°（黄色）であり，中央のＩＤセグメントＳd1の色相(H)の値は０°（赤色）である。

図１(D) の彩度Ｓについてみると，境界領域ＢＤを除くマーカ領域の内部では均一に最大値100 を示す。彩度Ｓは必ずしも最大値になくてもよいが，できるだけ高い値が好ましい。

図２(B) において，モノスペクトル・マーカＭＫ１の２段目の線Ｌ２に沿う明度Ｖもまた単一周波数を描く変化を示し，その周波数の値は図１(A) に示すものと同じである。図２(C) において，ＩＤセグメントＳd2，Ｓd3，Ｓd4の色相Ｈは，それぞれ， 120°（緑）， 180°（青），０°（赤）である。図２(D) において彩度Ｓは最大値を示す。

モノスペクトル・マーカＭＫ１の最下段のセグメントＳp3，Ｓd5，Ｓp4についても，その中心を通る線に沿う明度Ｖの変化は図１(B)，図２(B)に示すものと同じ周波数の正弦波状である。これらのセグメントＳp3，Ｓd5，Ｓp4の色相はそれぞれ60°（黄）， 180°（青），60°（黄）である。彩度Ｓは最大値を示す。

モノスペクトル・マーカＭＫ１の各セグメントの縦方向の並び（Ｓp1，Ｓd2，Ｓp3の並び，Ｓd1，Ｓd3，Ｓd5の並び，Ｓp2，Ｓd4，Ｓp4の並び）に沿う明度Ｖの変化も正弦波状に単一周波数を持ち，この単一周波数の周波数値は図１(B)，図２(B)に示すものと同一である。

対角線方向のセグメントの並び（Ｓp1，Ｓd3，Ｓp4の並び，Ｓp2，Ｓd3，Ｓp3の並び）に沿う明度Ｖの変化も単一周波数で正弦波状であるが，周波数は図１(B)，図２(B)に示す周波数の１／√２である。

モノスペクトル・マーカＭＫ１の各セグメント（Ｓp1〜Ｓp4，Ｓd1〜Ｓd5）においては，横方向（線Ｌ１，Ｌ２の方向）および縦方向（線Ｌ１，Ｌ２に直交する方向）の２方向（各セグメントの中心において直交する２方向）において，明度Ｖの値は同じ周波数値の単一周波数で変化する。各セグメントの中心を通るすべての方向において，明度Ｖの値は単一周波数で変化するが，その周波数は上記の直交する２方向から角度方向に離れるにしたがって低下し，回転した方向において上述のように上記直交する２方向の周波数の１／√２となる。

このように，各セグメントはその明度Ｖが各セグメントの中心を通るすべての方向について単一周波数で変化し，周波数は角度が異なると連続的に変化するがその周波数変化の幅は比較的狭い。

すべてのセグメントＳp1〜Ｓp4，Ｓd1〜Ｓd5は相互に独立している（離れている，または重ならない）。すなわち，各セグメント間において，セグメントの明度Ｖの値が０となる少なくとも１画素が存在する。

ＩＤセグメントＳd1〜Ｓd5についても明度Ｖの値の変化を単一周波数をもつものとしているが，後に例を示すように（図８），ＩＤセグメントについては明度Ｖは必ずしも単一周波数を持つ必要はなく，方形波のように不連続に変化するものでもよい。

このようなモノスペクトル・マーカＭＫ１は二次元表面を持つ媒体の表面上に表わされるか，または観測物体の表面上に直接に表わされる。媒体には，紙，プラスチック等のシートもしくは板状体，壁等の平面，表示画面を含む。

図４はモノスペクトル・マーカの他の例を示すものである。このモノスペクトル・マーカＭＫ２は，上述したモノスペクトル・マーカＭＫ１の最下段の３つのセグメントＳp3，Ｓd5，Ｓp4を取り出して幅のきわめて狭い長方形枠状の境界領域内に配置したものである。

図５は正三角形枠状の境界領域を有し，この境界領域内の正三角形の頂点に近い位置に３つの位置セグメントＳp7，Ｓp8，Ｓp9（色相はいずれも黄）を配置し，位置セグメントの間にＩＤセグメントＳd7（青），Ｓd8（赤），Ｓd9（青）を配置したものである。すべてのセグメントにおいて，その明度は，各セグメントの中心を通るすべての方向において，単一周波数の変化を示す。明度のピーク値は各セグメントの中心であり，中心を通るすべての方向において単一周波数の周波数値は等しい。

図６はさらに他のモノスペクトル・マーカの例を示すものである。このモノスペクトル・マーカＭＫ４は２つの位置セグメントＳp11とＳp12のみを含む。各位置セグメントＳp11，Ｓp12の明度Ｖの値はそれらの中心においてピーク値を示し， 360°の全方向においてすべて同じ単一周波数で変化し，最外周において明度の値が０となっている。この明度の値が０となっている部分が境界領域である。位置セグメントＳp11とＳp12の色相Ｈの値は60°（黄），彩度Ｓの値は 100％である。このように，モノスペクトル・マーカはＩＤセグメントを備えず，位置セグメントのみで構成してもよい。

図７はさらに他のモノスペクトル・マーカの例を示す。このモノスペクトル・マーカＭＫ５は，長方形枠の境界領域（連結領域）ＢＤと，この境界領域ＢＤ内にこの境界領域から離れて設けられた２つの位置セグメントＳp13，Ｓp14とから構成される。位置セグメントＳp13，Ｓp14の明度Ｖの値は，いずれも，直交する方向に同じ単一周波数で変化し（中心にピークがある），これらの方向から回転するにしたがい上記単一周波数よりも小さい単一周波数で変化する（45°回転した位置で１／√２倍に小さくなる）ものである。位置セグメントＳp13，Ｓp14の色相Ｈの値は60°（黄），彩度Ｓの値は 100％である。このように，境界領域ＢＤと位置セグメントＳp13，Ｓp14とは離れていてもよい。

図８に示すモノスペクトル・マーカＭＫ６では２つの位置セグメントＳp13とＳp14の間に，２つのＩＤセグメントＳd11，Ｓd12が設けられている。これらのＩＤセグメントＳd11，Ｓd12の明度Ｖの値は正弦波状に単一周波数で変化するものではなく，方形波状に不連続に変化するもので，100％一定である。ＩＤセグメントＳd11の色相Ｈの値は０°（赤），ＩＤセグメントＳd12の色相Ｈの値は180°（青）である。またこれらのＩＤセグメントＳd11，Ｓd12の彩度Ｓの値は 100％である。２つのＩＤセグメントＳd11，Ｓd12の位置セグメントＳp13，Ｓp14に対する相対的な位置はあらかじめ定められている（既知である）。

図10は上述したモノスペクトル・マーカを含むシーン（背景，風景，情景，場）を撮像し，これにより得られる画像データを解析してモノスペクトル・マーカを検出するシステム全体を示すものである。

このシステムは基本的にはデジタル・カメラ70と，マーカ検出装置10とから構成される。

マーカ検出装置10は一般的にはコンピュータ・システム（パーソナル・コンピュータＰＣ，その他のコンピュータ装置）により実現される。図10にはこのコンピュータ・システムが果たす機能（処理）がブロックの形で表現されている。すなわち，画像変換処理（手段）21，直流成分除去処理（手段）22，ｎ個のバンド・パス・フィルタ処理（手段）31，32，…，3n（以下，ＢＦＰ１，２，…，ｎと略す），マーカ抽出処理（手段）60はすべてコンピュータを動作させるソフトウェアによって実現されるものである。また，Ｖメモリ23，Ｖメモリ41，42，…，4n（以下，Ｖメモリ１，２，…，ｎと略す），Ｈメモリ51，Ｓメモリ52も機能的に分けて記載しているにすぎず，これらのメモリは実現的には一個ないしは数個のメモリにより実現されるものである。

図９はデジタル・カメラ70が撮像したシーンの画像の例を示すものである。このシーンは机80の上に電話機81，本82，コーヒーカップ83等が置かれ，さらに２つのモノスペクトル・マーカＭＫ11，ＭＫ12が置かれているものである。

デジタル・カメラ70から図９に示されるような画像を表わすＲＧＢ画像データが出力され，マーカ検出装置10に与えられる。

マーカ検出装置10において，画像変換処理21により，デジタル・カメラ70から入力する１画像分のＲＧＢ画像データがＨＳＶ色空間のＶ（明度），Ｈ（色相），Ｓ（彩度）のデータに変換される。このうちの明度Ｖの画像データに関しては，直流成分除去処理22により直流成分を除去し，直流成分除去後の明度ＶのデータをＶメモリ23に記憶する。後述するようにＢＰＦによるフィルタリングの前後の明度データを比較する処理において，直流成分の存在による影響を事前に取り除くためである。色相Ｈおよび彩度Ｓの画像データはそれぞれＨメモリ51，Ｓメモリ52に記憶される。

複数の異なる通過帯域が設定されているＢＰＦ１〜ｎが用意されている。これは次の理由による。モノスペクトル・マーカの大きさは一定であるが，撮像画像上に写るモノスペクトル・マーカの大きさは，モノスペクトル・マーカとカメラ70との間の距離に応じ変わる。上述のようにモノスペクトル・マーカの少なくとも位置セグメントの明度Ｖの値は単一周波数の空間周波数を有しているが，撮像画像上においてはモノスペクトル・マーカの画像の大きさによってその画像の単一周波数は変わる。撮像画像上のモノスペクトル・マーカの画像の大きさは予め分らないことが多いので，モノスペクトル・マーカの種々の画像の大きさに対応できるようにするために，複数の異なる通過帯域を持つＢＰＦが用意されている訳である。撮像画像上のモノスペクトル・マーカの画像の大きさが一定でかつあらかじめ分っている場合には，ＢＰＦは１つでもよい。

モノスペクトル・マーカの少なくとも位置セグメントにおいても，その明度Ｖの値の変化を表わす単一周波数の値は方向によって異なり，一つのモノスペクトル・マーカのもつ単一周波数は一定の幅（帯域）を持っている。そこでモノスペクトル・マーカの持つ単一周波数の帯域に対応させて各ＢＰＦ１，２，…，ｎには，図11(A) に示すように，一定幅の通過帯域を持たせる。一つのモノスペクトル・マーカの単一周波数は，図１(A)，図２(A)に示されるモノスペクトル・マーカの場合には，上述のように異なる２方向の単一周波数からその１／√２まで変化する。シーン（モノスペクトル・マーカ）を斜めに撮影したり，モノスペクトル・マーカが画像（ＸＹ平面）内で斜めに傾いている場合等を考慮すると，ＢＰＦの通過帯域の最小周波数ｆ１と最大周波数ｆ３とは，大体の目安としては，その比が１対２程度となろう。

ＢＰＦによるフィルタリングはウィンドウＷＤ（図９参照）をＶ画像データ上をスキャニングしながら行うことになる。このＢＰＦのウィンドウの大きさ（ウィンドウ・サイズ）（一辺の大きさ）は，図11(A)，(B)に示すようにＢＰＦの通過帯域の最小周波数ｆ１（空間領域の一周期Ｍ１が対応）と最大周波数ｆ３（空間領域の一周期Ｍ３が対応）との平均値ｆ２の一周期Ｍ２とする。

Ｖメモリ23のＶデータは複数のＢＰＦ１〜ｎによってそれぞれフィルタリングされ，そのフィルタリング結果はＶメモリ１〜ｎにそれぞれ記憶される。

これらのＶメモリ１〜ｎ，Ｈメモリ51，Ｓメモリ52に記憶されたデータを用いて，マーカ抽出処理60により，モノスペクトル・マーカが次のようにして抽出される。

図12を参照して，上述のように，複数の異なる通過帯域をもつＢＰＦ１〜ｎによりＶデータにフィルタリングをかける（ステップＳ11，フィルタリング手段）。その結果は，一画面（一画像）分のすべての画素についてＶメモリ１〜ｎに記憶される。

これらのＶメモリ１〜ｎに記憶されたすべてのデータを用いて，モノスペクトル・マーカの位置セグメントの候補（第１の候補）の画素を抽出する（ステップＳ12）。この処理を図13を用いて詳しく説明する。

ＢＰＦ１によるフィルタリングを行う前のＶデータ（Ｖメモリ23に記憶されている）とＢＰＦ１によるフィルタリング後のＶデータ（Ｖメモリ１に記憶されている）との差を算出し，その差分画像を得る（これを差分画像１とし，ある画素の差分画像データをｄ１（ｉ，ｊ）とする）。同じように，ＢＰＦ２，…，ｎによるフィルタリングを行う前のＶデータとＢＰＦ２，…，ｎによるフィルタリング後のＶデータ（Ｖメモリ２，…，ｎに記憶されている）との差を算出し，その差分画像をそれぞれ得る（これらを差分画像２，…，ｎとし，ある画素の差分画像データをｄ２（ｉ，ｊ），…，ｄｎ（ｉ，ｊ）とする）。

差分画像１〜ｎの特定の画素（ｉ，ｊ）に着目し，それらの差分データのうちの最小のものを求める。そして，この最小の差分データを所定の閾値（できるだけ小さい値とする）と比較し，所定の閾値よりも小さいものを明度Ｖに関して位置セグメントの候補（第１の候補）の画素とする。この処理は，一画像（撮像画像）のすべての画素について行なう。

ＢＰＦによるフィルタリングの前後のＶデータの差が小さいということは，その画素のＶデータはＢＰＦを通過したということを意味する。上述したように，撮像画像上のモノスペクトル・マーカの種々のサイズに応じた通過帯域をもつ複数のＢＰＦが用意されている。各画素ごとに，いずれかのＢＰＦを通過した画素かどうかが判定されることになる。

位置セグメントは上述のように単一周波数で変化する明度Ｖの値を持っているので，位置セグメントを表わす画素のＶデータであればいずれかのＢＰＦを通過することになる。これにより，位置セグメントに属する可能性の高い画素が抽出されることになる。これは，動きぶれや焦点ぼけがあっても影響を受けることは殆どない。

位置セグメントは上述のように特定の色相の値（上記の例ではＨ＝60°（黄））を持っている。位置セグメントに属する可能性のある第１候補の画素について，そのＨデータ（Ｈメモリ51内に記憶されている）が所定の許容範囲内にあるかどうかがチェックされる（ステップＳ13，第２要素判定手段）。Ｈデータがあらかじめ定めたＨの値の所定範囲内にあればその画素を位置セグメントに属する可能性のある候補（第２の候補）とする。このチェックにより，背景画像内に含まれるモノスペクトル・マーカ以外の画像の部分が殆ど排除される。

さらに彩度Ｓの値を用いて位置セグメントに属する画素かどうかのチェックが行なわれる。位置セグメントの画素の彩度は上述のように最大値， 100％に設定される。そこで，第２候補の画素のＳデータが所定の閾値（ 100％に近い値）を超えているかどうかがチェックされ，超えている画素を位置セグメントに属する候補（第３の候補）とする（ステップＳ14）。これにより背景中に存在する位置セグメントに似た性質をもつ画像部分が排除される。このステップＳ14の処理は必ずしも行なわなくてもよい。

このようにして，位置セグメントに属する画素の集合（ある範囲に集っている）が見い出されるので（第３の候補），この第３の候補の画素のＶデータの中で近傍の画素のＶの値よりも大きいもの，すなわちピークに相当する画素を見つける（ステップＳ15，位置セグメント中心位置候補決定手段）。上述のように，位置セグメントの明度Ｖの値は正弦波状に変化しており，位置セグメントの中心においてＶの値が最も高い。ステップＳ15の処理により，位置セグメントの中心位置が求まる。因みに水玉模様のように，明度Ｖの値が一定で変化しない領域をもつ画像部分ではピーク検出は失敗に終わる（ピークが検出できない）。

境界領域は黒で表わされている。したがって，明度Ｖを黒に近い閾値で弁別し，この閾値よりも低い値のＶデータを持つ画素を黒領域として抽出する。そして黒領域として抽出された画素が相互に連結（連続）し，かつ閉じた領域（閉ループ）を形成していれば，それはモノスペクトル・マーカの境界領域の可能性が高い。このようにして，境界領域を抽出する（ステップＳ16，マーカ領域（境界領域）抽出手段）。

ステップＳ16で抽出した境界領域の中に，ステップＳ15で判定した位置セグメントの中心位置候補の画素が存在するかどうかを判定し，存在する場合にはその個数を数える。図１(A)，図２(A)に示すモノスペクトル・マーカの場合には境界領域の中に４個の位置セグメントがある。そこで，上で数えた個数がモノスペクトル・マーカの位置セグメントの数と一致するかどうかを確認し，一致すれば，上記の中心位置候補の画素を位置セグメントの中心位置とする。この位置セグメントの中心位置は，図14に示す処理において，ＩＤセグメントの中心位置を求めるために用いられる。また，抽出した境界領域に存在する位置セグメントの中心位置の数が既知のモノスペクトル・マーカの位置セグメントの数と一致するということはその境界領域と位置セグメントはモノスペクトル・マーカのものであると判定できることを意味する（ステップＳ17，マーカ同定手段）。

このようにして，位置セグメントと境界領域の抽出のみで撮像画像の中からモノスペクトル・マーカを同定（特定）することができる。マーカ検出装置10からは，同定したモノスペクトル・マーカの位置を表わすデータ等が出力される。

図14は，位置セグメントに加えて，ＩＤセグメントを利用してモノスペクトル・マーカを識別する処理の例を示している。図12に示す処理は位置セグメントのみを用いてモノスペクトル・マーカを同定（シーンの画像中にモノスペクトル・マーカが存在することを判定しかつその画像上の位置を特定すること）している。この処理ではモノスペクトル・マーカにおける位置セグメントの中心の位置（中心画素の位置）が求められる。モノスペクトル・マーカの境界領域内に存在する位置セグメントの数によりモノスペクトル・マーカであると同定しているので，位置セグメントの数が等しい２つのモノスペクトル・マーカを識別することはできない。もっとも，２つのモノスペクトル・マーカにおける位置セグメントの色相の値が異なれば，色相の値により識別することは可能である。

図14に示す処理では，図12による処理の結果に基づき，さらにＩＤセグメントを利用することにより，モノスペクトル・マーカであることを一層高精度に同定するとともに，２以上のモノスペクトル・マーカが存在する場合に，それらの位置セグメントの位置と数が同じでもＩＤセグメントの位置，数または色相の値Ｈが異なれば，これらの２つ以上のモノスペクトル・マーカを相互に識別することができる。

図１(A)または図２(A)に示されるモノスペクトル・マーカＭＫ１を例にとると，このモノスペクトル・マーカＭＫ１では正方形の境界領域内の四隅に相当する位置に位置セグメントが配置され，これらの４つの位置セグメントの中間の位置に５つのＩＤセグメントが配置されている。図12における処理により４つの位置セグメントの中心位置（座標データ）が求められたので，これに基づいて，位置セグメントとの相対的位置関係を利用してＩＤセグメントの位置を求めることができる（ステップＳ21）。

たとえば図15に示すようにモノスペクトル・マーカが画像上で傾いている場合であっても（撮影角度によりモノスペクトル・マーカが平行四辺形，菱形，台形等のような形に多少変形していても），４つの位置セグメントＳp1，Ｓp2，Ｓp3，Ｓp4の中心位置を［０，１］，［１，１］，［０，０］［１，０］とする座標系においては，ＩＤセグメントＳd1，Ｓd2，Ｓd3，Ｓd4，Ｓd5の中心位置の座標は，それぞれ，［0.5，１］，［０，0.5］，［0.5，0.5］，［１，0.5］，［0.5，０］で表わされるから，図12の処理により検出した４つの位置セグメントの画像上の中心位置に基づき，上記座標系による変換を通してＩＤセグメントの画像上の中心位置（画素）を求めることができる。

ＩＤセグメントの中心位置の画像上の位置が得られれば，Ｈメモリ51に記憶した色相Ｈデータから，ＩＤセグメントの中心位置の色相Ｈの値を求めることができる（ステップＳ22）。この色相Ｈの値のすべてが，あらかじめ定めた色相Ｈの値（ＩＤセグメントＳd2（緑）ならＨ＝120，ＩＤセグメントＳd3（青）ならＨ＝180など）を中心とした許容範囲内にあれば（Ｈのパターン照合），それは所定のモノスペクトル・マーカであると判定される（ステップＳ23，マーカ識別手段）。もちろん，５つのＩＤセグメントの１つでもその色相Ｈが既知の範囲内になければそれはモノスペクトル・マーカであるとは判定されない。位置セグメントの中心位置は同じでも，ＩＤセグメントの位置や色相のパターンが異なる２種類以上のモノスペクトル・マーカの相互の識別も可能となる。マーカ検出装置10からは，識別したモノスペクトル・マーカを表わすデータや，その位置を表わすデータ等が出力される。

モノスペクトル・マーカはＨＳＶ色空間以外にも，ＹＵＶ色空間，Ｌａｂ色空間等を用いても表現可能である。ＹＵＶ色空間の場合には第１の要素として輝度Ｙを，第２の要素として色差ＵまたはＶを用いる。Ｌａｂ色空間の場合には，第１の要素として明度Ｌを，第２の要素として赤の強さａまたは黄の強さｂを用いる。

この発明によるモノスペクトル・マーカおよびその検出方法，装置は多くの分野で応用可能である一例としては，拡張現実マーカとして利用可能であり，この場合には，特に物体が移動する場合の拡張現実感実現で真価を発揮する（たとえば手術ナビゲーション，プラント保守，ロボット位置推定，各種ゲーム）。

10 マーカ検出装置
21 画像変換処理
22 直流成分除去処理
23，41，42，4n Ｖメモリ
31，32，3n バンド・パス・フィルタ（ＢＰＦ）
51 Ｈメモリ
52 Ｓメモリ
60 マーカ検出処理
70 デジタル・カメラ
Ｓ11 フィルタリング処理（手段）
Ｓ13 第２要素判定処理（手段）
Ｓ15 位置セグメント中心位置候補決定処理（手段）
Ｓ16 マーカ領域抽出処理（手段）
Ｓ17 マーカ同定処理（手段）
Ｓ23 マーカ識別処理（手段）
ＭＫ１，ＭＫ２，ＭＫ３，ＭＫ４，ＭＫ５，ＭＫ６，ＭＫ11，ＭＫ12 モノスペクトル・マーカ
Ｓp1，Ｓp2，Ｓp3，Ｓp4，Ｓp7，Ｓp8，Ｓp9，Ｓp11，Ｓp12，Ｓp13，Ｓp14 位置セグメント
Ｓd1，Ｓd2，Ｓd3，Ｓd4，Ｓd5，Ｓd7，Ｓd8，Ｓd9，Ｓd11，Ｓd12 ＩＤセグメント

Claims (7)

1. 明るさに関連する値を表わす第１の要素と，色相に関連する値を表わす第２の要素を含む色空間を用いて，二次元表面を持つ媒体に表わされるマーカであり，
   上記マーカは上記第１の要素の値が基礎値である境界を持つマーカ領域を有し，少なくとも２つの独立した位置セグメントが上記マーカ領域内の所定位置に配置され，
   上記位置セグメントは中心位置を有し，この中心位置を通るすべての方向において，上記第１の要素の値が，上記中心位置でピークを示しかつこのピークの値と基礎値との間で単一周波数で変化するものであり，
   上記位置セグメントの上記第２の要素が特定の色相を表わす値を持つ，
   ことを特徴とするモノスペクトル・マーカを含むシーンを撮像して得られる画像データを上記色空間の画像データに変換して，画素ごとに，少なくとも上記第１の要素の値と上記第２の要素の値とを取得し，
   上記第１の要素の値に対して，上記単一周波数に相当する周波数を含む通過帯域を持つバンド・パス・フィルタでフィルタリングしてこのバンド・パス・フィルタを通過する画素を特定し，
   上記第１の要素の値について上記マーカ領域を抽出し，
   上記第２の要素の値が上記特定の色相を表わす範囲内の値であるかどうかを判定し，
   上記第１の要素の値が上記バンド・パス・フィルタを通過し，かつ上記第２の要素の値が上記特定の色相を表わす範囲内にある画素の中で，上記第１の要素の値がピークを示す画素を特定して上記位置セグメントの中心位置候補を決定し，
   上記決定した中心位置候補のうち上記抽出したマーカ領域内に存在する中心位置候補の数があらかじめ定められた数と一致することによりモノスペクトル・マーカであると同定する，
   ことを特徴とするモノスペクトル・マーカの検出方法。
2. 上記モノスペクトル・マーカの上記マーカ領域内にさらに上記位置セグメントから離れてＩＤセグメントが配置され，上記ＩＤセグメントの上記第２の要素は上記位置セグメントの第２の要素の値とは異なる値を持つものであり，
   上記抽出されたマーカ領域内に存在する中心位置候補の数があらかじめ定められた数と一致する場合に，その中心位置候補を上記位置セグメントの中心位置としてこの中心位置に基づいて上記ＩＤセグメントの少なくとも中心位置を求め，求めた中心位置の上記第２の要素の値が所定の範囲内にあるかどうかにより，特定のモノスペクトル・マーカかどうかを判定する，
   ことを特徴とする請求項１に記載のモノスペクトル・マーカの検出方法。
3. 撮像装置からモノスペクトル・マーカまでの距離に応じて異なる通過帯域を持つ複数のバンド・パス・フィルタを用いて上記第１の要素の値をそれぞれフィルタリングしていずれかのバンド・パス・フィルタを通過する画素を特定する，請求項１または２に記載のモノスペクトル・マーカの検出方法。
4. 明るさに関連する値を表わす第１の要素と，色相に関連する値を表わす第２の要素を含む色空間を用いて，二次元表面を持つ媒体に表わされるマーカであり，
   上記マーカは上記第１の要素の値が基礎値である境界を持つマーカ領域を有し，少なくとも２つの独立した位置セグメントが上記マーカ領域内の所定位置に配置され，
   上記位置セグメントは中心位置を有し，この中心位置を通るすべての方向において，上記第１の要素の値が，上記中心位置でピークを示しかつこのピークの値と基礎値との間で単一周波数で変化するものであり，
   上記位置セグメントの上記第２の要素が特定の色相を表わす値を持つ，
   ことを特徴とするモノスペクトル・マーカを含むシーンを撮像して得られる画像データを上記色空間の画像データに変換して，画素ごとに，少なくとも上記第１の要素の値と上記第２の要素の値とを取得する画像変換手段，
   上記単一周波数に相当する周波数を含む通過帯域を持つバンド・パス・フィルタを備え，このバンド・パス・フィルタで上記第１の要素の値をフィルタリングして該バンド・パス・フィルタを通過する画素を特定するフィルタリング手段，
   上記第１の要素の値について上記マーカ領域を抽出するマーカ領域抽出手段，
   上記第２の要素の値が上記特定の色相を表わす範囲内の値であるかどうかを判定する第２要素判定手段，
   上記フィルタリング手段により特定された画素であって，かつ上記第２要素判定手段により上記第２の要素の値が上記特定の色相を表わす範囲内にある画素の中で，上記第１の要素の値がピークを示す画素を特定して上記位置セグメントの中心位置候補を決定する中心位置候補決定手段，および
   上記中心位置候補決定手段により決定された中心位置候補のうち上記マーカ領域抽出手段により抽出されたマーカ領域内に存在する中心位置候補の数があらかじめ定められた数と一致することによりモノスペクトル・マーカであると同定するマーカ同定手段，
   を備えるモノスペクトル・マーカの検出装置。
5. 上記モノスペクトル・マーカの上記マーカ領域内にさらに上記位置セグメントから離れてＩＤセグメントが配置され，上記ＩＤセグメントの上記第２の要素は上記位置セグメントの第２の要素の値とは異なる値を持つものであり，
   上記マーカ領域抽出手段により抽出されたマーカ領域内に存在する中心位置候補の数があらかじめ定められた数と一致する場合に，その中心位置候補を上記位置セグメントの中心位置としてこの中心位置に基づいて上記ＩＤセグメントの少なくとも中心位置を求め，求めた中心位置の上記第２の要素の値が所定の範囲内にあるかどうかにより，特定のモノスペクトル・マーカかどうかを判定するマーカ識別手段，
   をさらに備える請求項４に記載のモノスペクトル・マーカの検出装置。
6. 上記フィルタリング手段は，撮像装置からモノスペクトル・マーカまでの距離に応じて異なる通過帯域を持つ複数のバンド・パス・フィルタを備え，上記第１の要素の値を上記複数のバンド・パス・フィルタによりそれぞれフィルタリングしていずれかのバンド・パス・フィルタを通過する画素を特定するものである，請求項４または５に記載のモノスペクトル・マーカの検出装置。
7. 上記シーンを撮像する撮像装置をさらに備える請求項４から６のいずれか一項に記載のモノスペクトル・マーカの検出装置。