JP7377721B2 - マーカ検出装置およびそのプログラム、ならびに、マーカ発光装置 - Google Patents

Description

本発明は、マーカ検出装置およびそのプログラム、ならびに、マーカ発光装置に関する。

カメラの位置、姿勢および画角（以下、カメラパラメータ）を推定する手法は、３次元の形状および大きさが既知の物体や、３次元の位置関係が既知の複数のマーカを用いて行う手法が一般的である。この推定手法は、強校正と呼ばれる。
例えば、同一平面内に存在する位置関係が既知の４個以上の点を用いて、透視４点問題（Ｐ４Ｐ問題；Perspective 4-Point Problem）を解くことでカメラパラメータを推定することができる。
このＰ４Ｐ問題の解法を用いるカメラ校正手法では、カメラが撮像した画像上において、４個以上の点がどの像に対応するかを対応付ける必要がある。
一般に、形状や大きさが既知の矩形状のパターンを印刷した平面上のマーカを用いて、矩形状のパターンとともに印刷される識別用パターンによって、複数のマーカを区別する工夫がなされている。
また、３次元位置が既知の点付近にある３次元位置が未知のパターンを用いてカメラパラメータを推定する手法が開示されている（非特許文献１参照）。

三須俊枝，藤井真人，柴田正啓："校正制御点近傍のＳＩＦＴ特徴を用いるカメラパラメータ推定法"，第８回情報科学技術フォーラム（ＦＩＴ２００９）講演論文集，ｎｏ．３，Ｈ－０４９，ｐｐ．２０７－２１２（２００９年）．

強校正に用いるマーカとして、印刷されたパターン等、非発光のマーカを用いる場合、マーカに光が当たらなければ当該パターンを校正に用いることができない。
また、マーカに識別用パターンを含めても、識別用パターンの一部に影が落ちる等、均一な照明が得られない場合、識別誤りが生じることがある。
また、マーカに類似した模様の物体が校正すべきカメラの視野内に存在すると、誤認識を起こしてしまう。
このように、従来の手法では、マーカの検出および識別を頑健に行うことができないという問題がある。また、強校正以外にも、物体の位置検出等、少なくとも２以上のマーカを頑強に検出および識別する手法が望まれている。

本発明は、このような問題、要望に鑑み、マーカの検出や識別を頑強に行うことが可能なマーカ検出装置およびそのプログラム、ならびに、マーカ発光装置を提供することを課題とする。

前記課題を解決するため、本発明に係るマーカ検出装置は、複数のタイムスロットで構成された発光パターンの時間区間において、前記タイムスロットごとの発光パターンの変化を示す発光パターンベクトルの同一のマーカにおける内積が０より大きく、異なるマーカ間の前記内積が０以下となる発光パターンで発光する複数のマーカを撮像した映像から、前記マーカを検出するマーカ検出装置であって、相関演算部と、閾値処理部と、マーカ座標演算部と、を備える構成とした。

かかる構成において、マーカ検出装置は、相関演算部によって、発光パターンの時間区間ごとに、映像のフレーム画像の画素と、発光パターンごとの発光パターンベクトルとの間の相関を演算することで発光パターンごとの相関画像を生成する。
このとき、各マーカの発光パターンは、同一のマーカにおける発光パターンベクトルの内積が０より大きく、異なるマーカ間の発光パターンベクトル内積が０以下であるため、相関画像は、発光パターンと相関の強い画素の画素値が正または負で大きな値となる。

そして、マーカ検出装置は、閾値処理部によって、発光パターンごとの相関画像を予め定めた閾値で二値化する。これによって、マーカ検出装置は、マーカとそれ以外の領域とを区分した二値化画像を生成する。
そして、マーカ検出装置は、マーカ座標演算部によって、閾値処理部で生成された二値化画像において、マーカの領域の重心等の代表点を演算する。
これによって、マーカ検出装置は、発光パターンで識別されるマーカの位置を代表点の位置として検出する。

なお、マーカ検出装置は、コンピュータを、前記した各部として機能させるためのマーカ検出プログラムで動作させることができる。

また、前記課題を解決するため、本発明に係るマーカ発光装置は、マーカごとに予め定めた発光パターンで複数のマーカを発光するマーカ発光装置であって、前記複数のマーカとなる複数の発光素子を備えた発光部と、前記マーカごとの発光状態を制御する発光制御部と、を備える構成とした。

かかる構成において、マーカ発光装置は、発光制御部によって、複数のタイムスロットで構成された発光パターンの時間区間において、タイムスロットごとの発光パターンの変化を示す発光パターンベクトルの同一のマーカにおける内積が０より大きく、異なるマーカ間の内積が０以下となる発光パターンで、発光部のマーカの発光状態を制御する。
このような発光パターンでマーカの発光状態を制御することで、マーカを撮像した映像から、マーカの発光パターンと相関の強い画像上の位置を検出することが可能になる。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、マーカの発光によって、照明が均一でない環境であっても、マーカを検出することができる。また、本発明によれば、マーカの発光パターンによって、映像中のマーカの検出と識別とを頑健に行うことができる。

本発明の第１実施形態に係るマーカ発光装置およびマーカ検出装置の構成を示すブロック構成図である。 マーカの配置の一例を示す図である。 （ａ）～（ｆ）は、それぞれ異なるマーカの発光パターンを示す図である。 （ａ）～（ｄ）は、カメラが撮像する時系列のフレーム画像の例を示す。 （ａ）～（ｃ）は、相関演算部が生成する相関画像の例を示す図である。 閾値処理部の構成を示すブロック構成図である。 （ａ）～（ｆ）は、閾値処理部が生成する二値化画像の例を示す図である。 本発明の第１実施形態に係るマーカ検出装置の動作を示すフローチャートである 本発明の第２実施形態に係るマーカ検出装置の構成を示すブロック構成図である。 （ａ）～（ｄ）は、姿勢が変化する場合のカメラが撮像する時系列の画像の例を示す。 本発明の第３実施形態に係るマーカ発光装置の構成を示すブロック構成図である。 複数の発光体で構成されたマーカの例を示す図である。 （ａ）～（ｆ）は、ウォルシュ関数の時系列の変化を示す図である。 本発明の第３実施形態に係るマーカ検出装置の構成を示すブロック構成図である。 変形例に係るマーカ発光装置およびマーカ検出装置の構成を示すブロック構成図である。

以下、本発明の実施形態について図面を参照して説明する。
＜第１実施形態＞
［マーカ検出システム］
図１を参照して、本発明の第１実施形態に係るマーカ検出システムＳの概要について説明する。
マーカ検出システムＳは、２以上のマーカを、カメラが撮像した映像から検出し識別するものである。
マーカ検出システムＳは、マーカ発光装置１と、マーカ検出装置２と、カメラ３と、を備える。

マーカ発光装置１は、マーカごとに予め定めた発光パターンで複数のマーカを発光するものである。ここでは、マーカ発光装置１とマーカ検出装置２とを信号線４で接続し、マーカ発光装置１から、信号線４を介して、発光パターンを制御信号としてマーカ検出装置２に出力する。
マーカ検出装置２は、マーカ発光装置１が発光するマーカの発光パターンによって、カメラ３が撮像した映像から、マーカの位置を検出するものである。ここでは、マーカ検出装置２は、それぞれのマーカごとに、その位置を、映像を構成する時系列の画像中の座標として出力する。

カメラ３は、マーカ発光装置１が発光するマーカを撮像するビデオカメラである。なお、マーカ検出システムＳを、カメラ校正のために用いる場合、カメラ３は、校正対象のカメラとなる。
以下、マーカ発光装置１およびマーカ検出装置２について詳細に説明する。

［マーカ発光装置］
まず、図１を参照して、本発明の第１実施形態に係るマーカ発光装置１について説明する。
図１に示すように、マーカ発光装置１は、発光部１０と発光制御部１１とを備える。
発光部１０は、複数のマーカ１０１，…，１０６として複数の発光素子を備える。
マーカ１０１，…，１０６は、２つの発光状態で切り替えて光（可視光、赤外光、紫外光等の電磁波）を発光するものである。２つの発光状態とは、点滅の場合であれば点灯状態および消灯状態、輝度変化の場合であれば高輝度状態および低輝度状態等である。
ここでは、マーカを６個（１０１～１０６）、２つの発光状態を点滅とする例で説明する。

発光部１０を構成する発光素子であるマーカ１０１，…，１０６は、図２に示すように、カメラ３が撮像する空間内に配置される。
マーカ１０１，…，１０６は、発光制御部１１から出力される制御信号により発光状態を切り替える。

発光制御部１１は、マーカ１０１，…，１０６ごとの発光状態を制御するものである。この発光制御部１１は、予め定めた発光パターンで、発光部１０のマーカ１０１，…，１０６の発光状態を制御する。
ここでは、発光制御部１１は、２値の値をとる時間関数により定義される発光パターンを用いる。以下、時間関数をｗ_ｎ（ｔ）とする。なお、ｎはマーカを区別する符号（ここでは、１０１～１０６）であり、ｔは時刻である。ｗ_ｎ（ｔ）は、“＋１”および“－１”の２値をとる。

発光制御部１１は、マーカごとの時間関数ｗ_ｎ（ｔ）の値に応じて、例えば、“＋１”の場合は点灯、“－１”の場合は消灯するように、各マーカの発光状態を制御する。
時間関数ｗ_ｎ（ｔ）は、所定の時間周期でパターンが繰り返され、その時間周期に有限個のタイムスロット（一定の時間区間）を有し、各タイムスロットにおいて１つの発光状態を継続するような関数とする。
例えば、時間関数ｗ_ｎ（ｔ）は、カメラ３の撮像のフレームレートＦに同期したＭ個のタイムスロットを有し、周期Ｍ／Ｆの時間で反復するウォルシュ関数Ｗ_ｎで定義する以下の式（１）とする。

また、演算子％は剰余（以下の数式においても同じ）であり、整数ａおよび非零の整数ｂに対して、以下の式（２）の演算を行うものである。

また、Ｗ_ｎ（）は、定数関数を除くウォルシュ関数であって、例えば、タイムスロットの数をＭ＝４としたとき、Ｗ_１０１（）～Ｗ_１０６（）は、以下の式（３）とする。

この式（３）の値を有する前記式（１）の時間関数ｗ_ｎ（ｔ）を、図３のグラフで示す。
図３において、（ａ）はｗ_１０１（ｔ）、（ｂ）はｗ_１０２（ｔ）、（ｃ）はｗ_１０３（ｔ）、（ｄ）はｗ_１０４（ｔ）、（ｅ）はｗ_１０５（ｔ）、（ｆ）はｗ_１０６（ｔ）のそれぞれのタイムスロット４個分の時刻ｔにおける値を示している。
なお、（ｄ）～（ｆ）の各値は、（ａ）～（ｃ）の同じ時刻の値の符号を反転したものである。

ここで、前記式（１）で制御されるマーカ１０１，…，１０６の発光状態を図４に示す。図４は、カメラ３が撮像する映像の４フレーム周期で時系列に変化するフレーム画像を示し、（ａ）はＩ（４ｋ＋０）、（ｂ）はＩ（４ｋ＋１）、（ｃ）はＩ（４ｋ＋２）、（ｄ）はＩ（４ｋ＋３）のフレーム画像（ｋは整数）を示している。
図４（ａ）は、マーカ１０１，１０２，１０３が点灯し、マーカ１０４，１０５，１０６が消灯した状態を示している。図４（ｂ）は、マーカ１０１，１０５，１０６が点灯し、マーカ１０２，１０３，１０４が消灯した状態を示している。図４（ｃ）は、マーカ１０３，１０４，１０５が点灯し、マーカ１０１，１０２，１０６が消灯した状態を示している。図４（ｄ）は、マーカ１０２，１０４，１０６が点灯し、マーカ１０１，１０３，１０５が消灯した状態を示している。
このように、発光制御部１１は、予め定めた数のタイムスロットで、周期的に、マーカ１０１，…，１０６の発光状態を変えて発光させる。

発光制御部１１がマーカ１０１，…，１０６を制御する発光パターンは、同一のマーカにおける時間関数ｗ_ｎ（ｔ）の発光パターンベクトルの内積（自己相関）が“０”よりも大きく、異なるマーカ間の時間関数ｗ_ｍ（ｔ） （ｍ≠ｎ）における発光パターンベクトルの内積（相互相関）が“０”以下とする。
発光パターンベクトルは、タイムスロットごとの発光パターンの変化を示す数値列である。例えば、タイムスロットの数が４個で変化する図３（ａ）のｗ_１０１（ｔ）は、［＋１ ＋１ －１ －１］、図３（ｂ）のｗ_１０２（ｔ）は、［＋１ －１ －１ ＋１］、図３（ｃ）のｗ_１０３（ｔ）は、［＋１ －１ ＋１ －１］等である。

なお、時間関数ｗ_ｎ（ｔ）は、時間関数ｗ_ｍ（ｔ） （ｍ≠ｎ）との相互相関が、時間関数ｗ_ｎ（ｔ）の自己相関よりも十分低ければよく、例えば、相互相関が自己相関の０．５倍以下とすることが好ましい。
また、時間関数ｗ_ｎ（ｔ）は、ウォルシュ関数以外にも、疑似ランダム雑音系列、Ｍ系列等、２値（±１とする）の切り替えを周期的に行う関数であればよい。この場合、周期的に切り替わる２値のそれぞれに、マーカの発光状態を対応付ければよい。

なお、ここでは、発光部１０を６個のマーカ１０１，…，１０６で構成したが、マーカの数はこれに限定されない。マーカを増減させる場合、マーカごとに個別の発光パターンで発光させればよい。その場合、タイムスロットの数を増減してもよいし、符号を反転した信号（ここでは、ｗ_１０４（ｔ）～ｗ_１０６（ｔ））を使用しないこととしてもよい。

［マーカ検出装置：構成］
次に、図１を参照して、本発明の第１実施形態に係るマーカ検出装置２の構成について説明する。
図１に示すように、マーカ検出装置２は、相関演算部２０と、閾値処理部３０と、マーカ座標演算部４０と、を備える。

相関演算部２０は、発光パターンの時間区間ごとに、映像のフレーム画像の画素と、発光パターンごとの発光パターンベクトルとの間の相関を演算するものである。この演算結果は、発光パターンごとの相関として演算された画素値の画素で構成された相関画像となる。
ここでは、相関演算部２０は、乗算部２１と、積算部２２と、を備える。

乗算部２１は、発光パターンごとに、カメラ３から入力される映像のフレーム画像の画素値と、フレーム画像の時刻に対応して符号が変化する信号線４を介して入力される発光パターンの発光パターンベクトルの値とを乗算するものである。
ここでは、乗算部２１は、以下の式（４）に示すように、時刻ｔに入力されるフレーム画像Ｉ（ｔ）と、マーカごとの制御信号である時間関数ｗ_ｎ（ｔ）とを、個々の乗算器Ｍ_１～Ｍ_３で乗算することで、マーカごとの乗算結果ｐ_ｎ（ｔ）を生成する。

なお、乗算部２１は、マーカ発光装置１の発光制御部１１において、発光パターンとして、反転した発光パターンを用いている場合、反転していない発光パターンまたは反転した発光パターンのいずれかを用いればよい。
ここでは、反転していない発光パターンを示す関数ｗ_１０１（ｔ），ｗ_１０２（ｔ），ｗ_１０３（ｔ）を、それぞれ、乗算器Ｍ_１，Ｍ_２，Ｍ_３に入力し、フレーム画像Ｉ（ｔ）と乗算することで、乗算結果ｐ_１０１（ｔ），ｐ_１０２（ｔ），ｐ_１０３（ｔ）を生成する。
乗算部２１は、乗算結果ｐ_１０１（ｔ），ｐ_１０２（ｔ），ｐ_１０３（ｔ）を、積算部２２に出力する。

積算部２２は、乗算部２１で乗算された発光パターンごとの乗算結果を発光パターン時間区間ごとに積算するものである。この積算結果が相関画像となる。
ここでは、積算部２２は、以下の式（５）に示すように、乗算部２１で生成された乗算結果ｐ_ｎ（ｔ）を、発光パターンの繰り返しの基準であるタイムスロットＭ個（ここでは、４個）分に相当する時間区間で、画素位置ごとに和を演算することで、相関画像ｒ_ｎ（ｔ）を生成する。

なお、Ｌは、自然数であって典型的には“１”である。このＬは、積算部２２における積算数が、必ずしも発光パターンの繰り返しの基準であるタイムスロットの数に限定されず、その整数倍であってもよいことを意味する。
積算部２２は、生成した相関画像ｒ_１０１（ｔ），ｒ_１０２（ｔ），ｒ_１０３（ｔ）を、積算部２２に出力する。

ここで、図５を参照して、相関画像ｒ_ｎ（ｔ）の具体例について説明する。
図５は、前記式（５）の演算によって積算部２２が生成する相関画像を示す図であって、（ａ）は相関画像ｒ_１０１（ｔ）、（ｂ）は相関画像ｒ_１０２（ｔ）、（ｃ）は相関画像ｔ_１０３（ｔ）を示す。
図５に示すように、マーカ１０１は、相関画像ｒ_１０１（ｔ）のみにおいてマーカ像が現れ、そのマーカ像はマーカ１０１の輝度に応じた輝度が高い正の画素値となり、他の画素はそれよりも輝度が低い画素値となる。
また、マーカ１０２は、相関画像ｒ_１０２（ｔ）のみにおいてマーカ像が現れ、そのマーカ像はマーカ１０２の輝度に応じた輝度が高い正の画素値となり、他の画素はそれよりも輝度が低い画素値となる。
同様に、マーカ１０３は、相関画像ｒ_１０３（ｔ）のみにおいてマーカ像が現れ、そのマーカ像はマーカ１０３の輝度に応じた輝度が高い正の画素値となり、他の画素はそれよりも輝度が低い画素値となる。

マーカ１０４は、マーカ１０１の発光パターンの符号を判定させたものであるため、相関画像ｒ_１０１（ｔ）のみにおいてマーカ像が現れ、そのマーカ像はマーカ１０４の輝度に応じた輝度が低い負の画素値となり、他の画素はそれよりも輝度が高い画素値となる。
また、マーカ１０５は、マーカ１０２の発光パターンの符号を判定させたものであるため、相関画像ｒ_１０２（ｔ）のみにおいてマーカ像が現れ、そのマーカ像はマーカ１０５の輝度に応じた輝度が低い負の画素値となり、他の画素はそれよりも輝度が高い画素値となる。
同様に、マーカ１０６は、マーカ１０３の発光パターンの符号を判定させたものであるため、相関画像ｒ_１０３（ｔ）のみにおいてマーカ像が現れ、そのマーカ像はマーカ１０６の輝度に応じた輝度が低い負の画素値となり、他の画素はそれよりも輝度が高い画素値となる。
このように、相関演算部２０は、相関画像として、マーカの領域を輝度で識別可能な画像を生成する。
図１に戻って、マーカ検出装置２の構成について説明を続ける。

閾値処理部３０は、相関演算部２０で生成された発光パターンごとの相関画像を予め定めた閾値で二値化することで、マーカとそれ以外の領域とを区分した二値化画像を生成するものである。
閾値処理部３０は、抽出したいマーカの像が正の画素値となる相関画像ｒ_ｎ（ｔ）については、相関画像ｒ_ｎ（ｔ）の各画素の画素値が予め定めた正の閾値を超えた（または閾値以上）か否かを判定する。そして、閾値処理部３０は、閾値を超えた（または閾値以上の）場合には、二値化画像の当該画素位置の画素値を例えば“１”、それ以外の場合には、二値化画像の当該画素位置の画素値を例えば“０”とする。

また、閾値処理部３０は、抽出したいマーカの像が負の画素値となる相関画像ｒ_ｎ（ｔ）については、相関画像ｒ_ｎ（ｔ）の各画素の画素値が予め定めた負の閾値を超えた（または閾値以上）か否かを判定する。そして、閾値処理部３０は、閾値を超えた（または閾値以上の）場合には、二値化画像の当該画素位置の画素値を例えば“０”、それ以外の場合には、二値化画像の当該画素位置の画素値を例えば“１”とする。

例えば、閾値処理部３０は、図６に示す構成とすることができる。
図６に示すように、閾値処理部３０は、マーカの数に応じた複数の二値化部３１（３１_１，３１_２，３１_３，３１_４，３１_５，３１_６）を備える。
二値化部３１_１，３１_２，３１_３は、正の閾値で相関画像を二値化するものである。
ここでは、二値化部３１_１は、相関画像ｒ_１０１（ｔ）を入力し、閾値（＋θ）を超える画素値を“１”、閾値（＋θ）以下の画素値を“０”とすることで、二値化画像ｂ_１０１（ｔ）を生成する。
二値化部３１_２は、二値化部３１_１と同様の処理で、相関画像ｒ_１０２（ｔ）から二値化画像ｂ_１０２（ｔ）を生成する。
二値化部３１_３も、二値化部３１_１と同様の処理で、相関画像ｒ_１０３（ｔ）から二値化画像ｂ_１０３（ｔ）を生成する。

二値化部３１_４，３１_５，３１_６は、負の閾値で相関画像を二値化するものである。
ここでは、二値化部３１_４は、相関画像ｒ_１０１（ｔ）を入力し、閾値（－θ）以上の画素値を“０”、閾値（－θ）未満の画素値を“１”とすることで、二値化画像ｂ_１０４（ｔ）を生成する。
二値化部３１_５は、二値化部３１_４と同様の処理で、相関画像ｒ_１０２（ｔ）から二値化画像ｂ_１０５（ｔ）を生成する。
二値化部３１_６も、二値化部３１_４と同様の処理で、相関画像ｒ_１０３（ｔ）から二値化画像ｂ_１０６（ｔ）を生成する。

例えば、閾値処理部３０は、図５に示した相関画像ｒ_１０１（ｔ）～ｒ_１０３（ｔ）から、図７に示した二値化画像ｂ_１０１（ｔ）～ｂ_１０６（ｔ）を生成する。なお、図７中、点線で示した像は、マーカの位置を分かりやすく示したもので、実際の二値化画像には存在しない像である。
図７（ａ）に示すように、二値化画像ｂ_１０１（ｔ）には、マーカ１０１のみが明るく検出される。また、図７（ｂ）に示すように、二値化画像ｂ_１０２（ｔ）には、マーカ１０２のみが明るく検出される。また、図７（ｃ）に示すように、二値化画像ｂ_１０３（ｔ）には、マーカ１０３のみが明るく検出される。また、図７（ｄ）に示すように、二値化画像ｂ_１０４（ｔ）には、マーカ１０４のみが明るく検出される。また、図７（ｅ）に示すように、二値化画像ｂ_１０５（ｔ）には、マーカ１０５のみが明るく検出される。また、図７（ｆ）に示すように、二値化画像ｂ_１０６（ｔ）には、マーカ１０６のみが明るく検出される。
図１に戻って、マーカ検出装置２の構成について説明を続ける。
閾値処理部３０は、生成したマーカごとの二値化画像をマーカ座標演算部４０に出力する。

マーカ座標演算部４０は、閾値処理部３０で生成された二値化画像において、マーカの領域の代表点を演算するものである。代表点とは、画像領域の代表となる位置であって、当該領域の重心、平均等である。
ここでは、マーカ座標演算部４０は、各二値化画像において、マーカの像として検出された所定画素値（ここでは、“１”）の領域の重心をマーカ座標として算出する。
マーカ座標演算部４０は、二値化画像ｂ_ｎ（ｔ）の画像座標（ｘ，ｙ）における画素値をｂ_ｎ（ｔ；ｘ，ｙ）としたとき、以下の式（６）により、マーカであるはマーカｎの画像座標（ξ_ｎ，η_ｎ）をマーカ座標として算出する。

マーカ座標演算部４０は、算出したマーカごとのマーカ座標を検出結果として出力する。
以上説明したようにマーカ検出装置２を構成することで、マーカ検出装置２は、マーカの発光パターンによって、照明が均一でない環境であっても、マーカを検出し、各マーカを識別することができる。
なお、マーカ検出装置２は、コンピュータを、前記した各部として機能させるプログラム（マーカ検出プログラム）で動作させることができる。

［マーカ検出装置：動作］
次に、図８を参照（構成については適宜図１参照）して、本発明の第１実施形態に係るマーカ検出装置２の動作について説明する。なお、マーカ検出装置２には、マーカ発光装置１が所定発光パターンで複数のマーカを発光させた空間をカメラ３で撮像した映像が、入力されるものとする。また、マーカ検出装置２には、マーカ発光装置１がマーカを発光させる発光パターンの制御信号が、信号線４を介して入力されるものとする。

ステップＳ１において、相関演算部２０の乗算部２１は、カメラ３が撮像した映像のフレーム画像ごとに、マーカごとの発光パターンの制御信号を乗算することで、発光パターンごとの乗算結果を生成する。なお、マーカの発光パターンが互いに反転したパターンの場合、乗算部２１は、一方の発光パターンのみを用いて、乗算結果を生成する。

ステップＳ２において、相関演算部２０の積算部２２は、ステップＳ１で生成された乗算結果に対して、発光パターンの繰り返しの基準となる時間区間で、画素位置ごとに和を演算する。
これによって、相関演算部２０は、発光パターンの時間区間を基準として画素ごとの相関を示す相関画像（図５参照）を、発光パターンごとに生成する。

ステップＳ３において、閾値処理部３０は、ステップＳ２で生成された発光パターンごとの相関画像を閾値処理することで、マーカごとの二値化画像（図７参照）を生成する。
なお、マーカの発光パターンが互いに反転したパターンの場合、閾値処理部３０は、１つの相関画像から、２つの二値化画像を生成する。

ステップＳ４において、マーカ座標演算部４０は、ステップＳ３で生成されたマーカごとの二値化画像から、それぞれ、マーカの領域を示す所定画素値の領域の代表点（重心）の座標を算出する。
これによって、マーカ座標演算部４０は、マーカごとの画像上のマーカ座標を算出する。
以上の動作によって、マーカ検出装置２は、複数のマーカの発光パターンによって、マーカを撮像した映像から、マーカを検出するとともに、マーカの識別を行うことができる。

＜第２実施形態＞
［マーカ検出装置］
次に、図９を参照して、本発明の第２実施形態に係るマーカ検出装置２Ｂについて説明する。なお、マーカ発光装置は、図１で説明したマーカ発光装置１を用いることができる。

マーカ検出装置２Ｂは、マーカ検出装置２と同様、マーカ発光装置１が発光するマーカの発光パターンによって、カメラ３が撮像した映像から、マーカの位置を検出し識別するものである。ただし、マーカ検出装置２は、少なくとも、発光パターンの時間区間において、カメラ３の位置、姿勢および画角が一定である必要がある。それに対し、マーカ検出装置２Ｂは、カメラ３の位置、姿勢、画角等の動きを許容して、マーカを検出する。

図９に示すように、マーカ検出装置２Ｂは、相関演算部２０Ｂと、閾値処理部３０と、マーカ座標演算部４０と、を備える。閾値処理部３０およびマーカ座標演算部４０は、図１で説明したマーカ検出装置２と同じ構成であるため、同一の符号を付して説明を省略する。

相関演算部２０Ｂは、カメラ３の位置、姿勢および画角の変化を許容して、発光パターンの時間区間ごとに、映像のフレーム画像の画素と、発光パターンごとの発光パターンベクトルとの間の相関を演算することで、相関画像を生成するものである。
ここでは、相関演算部２０Ｂは、映像遅延部２３と、動き補償部２４と、信号遅延部２５と、乗算部２１Ｂと、積算部２２Ｂと、を備える。

映像遅延部２３は、カメラ３が撮像する映像を予め定めたフレーム単位で遅延させるものである。ここでは、複数の映像遅延部２３_１，２３_２，２３_３を備え、各映像遅延部２３が、映像を１フレーム遅延させる。
映像遅延部２３_１は、カメラ３から入力される映像を１フレーム遅延して、映像遅延部２３_２と、動き補償部２４_１とに出力する。
映像遅延部２３_２は、映像遅延部２３_１から入力される映像を１フレーム遅延して、映像遅延部２３_３と、動き補償部２４_２とに出力する。
映像遅延部２３_３は、映像遅延部２３_２から入力される映像を１フレーム遅延して、動き補償部２４_３に出力する。

動き補償部２４は、カメラ３から入力される映像と、映像遅延部２３で遅延された映像との間の映像の動きを推定し、推定した動き量に基づいて、映像遅延部２３で遅延された映像をフレーム画像ごとに動き補償するものである。ここでは、複数の動き補償部２４_１，２４_２，２４_３を備え、各動き補償部２４が、それぞれ、映像遅延部２３_１，２３_２，２３_３で遅延された映像の動き補償を行う。

動き補償部２４_１は、カメラ３から入力される映像と、映像遅延部２３_１で遅延された映像との間の画像の動きを推定し動き補償を行うことで、遅延された映像をカメラ３から入力される映像に位置合わせした動き補償映像を生成する。動き補償部２４_１は、生成した動き補償映像を、乗算部２１_２に出力する。
動き補償部２４_２は、カメラ３から入力される映像と、映像遅延部２３_２で遅延された映像との間の画像の動きを推定し動き補償を行うことで、遅延された映像をカメラ３から入力される映像に位置合わせした動き補償映像を生成する。動き補償部２４_２は、生成した動き補償映像を、乗算部２１_３に出力する。
動き補償部２４_３は、カメラ３から入力される映像と、映像遅延部２３_３で遅延された映像との間の画像の動きを推定し動き補償を行うことで、遅延された映像をカメラ３から入力される映像に位置合わせした動き補償映像を生成する。動き補償部２４_３は、生成した動き補償映像を、乗算部２１_４に出力する。

この各動き補償部２４における動き補償は、一般的な手法を用いればよい。
例えば、動き補償部２４は、画面全体を幾何変換するグローバル動き補償を行うものであってもよい。グローバル動き補償を行うことで、画面全体の大局的な動きを補償し、時刻の異なる画像間の細かな動きに影響されない頑健なマーカの検出および識別が可能になる。

また、例えば、動き補償部２４は、画面を部分領域ごとに幾何変換する局所的な動き補償を行うものであってもよい。この部分領域は、互いに重なりを有さなくてもよいし、重なりを有していてもよい。また、局所的な動き補償は、画像を複数の矩形領域に区切って、各矩形領域に対して個々の幾何変換を適用する。局所的な動き補償を行うことで、カメラ３の光学系に幾何学的な歪がある場合でも高精度な動き補償が可能になり、マーカの検出および識別の精度が向上する。
なお、グローバル動き補償や局所的な動き補償に用いる幾何変換には、併進、拡大・縮小、回転、せん断写像（シアー）、アフィン変換、ホモグラフィー変換、レンズ歪み補償の一つまたは複数の組み合わせが挙げられる。

また、各動き補償部２４における動き推定は、一般的な手法を用いればよい。
例えば、動き補償部２４は、入力した映像の画像間で、画素値列の誤差を最小化するように動きを推定するものであってもよいし、画像間の画素値列の相関を最大化するように動きを推定するものであってもよい。また、画素値列の誤差を最小化する手法は、ロバスト推定法を用いてもよい。
例えば、ロバスト推定法として、最小メジアン（ＬＭｅｄＳ；Least Median of Squares）を用いる場合、動き補償部２４は、入力した映像の画像間において画素値列の誤差を最小化する際に、画素ごとの二乗誤差を求め、その中央値が最小となるように、幾何変換のパラメータを算出することで動き推定し動き補償を行う。
これによって、マーカ以外の被写体の輝度や動きの変化、画像の雑音等の影響を抑えて動き補償の頑健性を高めることができ、頑健なマーカの検出および識別が可能になる。

例えば、図１０（ａ）～（ｄ）に示すように、時刻ｔのフレーム画像Ｉ（ｔ）、時刻ｔ－１のフレーム画像Ｉ（ｔ－１）、時刻ｔ－２のフレーム画像Ｉ（ｔ－２）、時刻ｔ－３のフレーム画像Ｉ（ｔ－３）としたとする。
このとき、動き補償部２４_１は、フレーム画像Ｉ（ｔ－１）に対して、フレーム画像Ｉ（ｔ）との誤差が最小となるように動き補償を行う。また、動き補償部２４_２は、フレーム画像Ｉ（ｔ－２）に対して、フレーム画像Ｉ（ｔ）との誤差が最小となるように動き補償を行う。また、動き補償部２４_３は、フレーム画像Ｉ（ｔ－３）に対して、フレーム画像Ｉ（ｔ）との誤差が最小となるように動き補償を行う。また、動き補償部２４_４は、フレーム画像Ｉ（ｔ－４）に対して、フレーム画像Ｉ（ｔ）との誤差が最小となるように動き補償を行う。

信号遅延部２５は、信号線４を介して入力される発光パターンの制御信号を予め定めたフレームの時間単位で遅延させるものである。ここでは、複数の信号遅延部２５_１，２５_２，２５_３を備え、各信号遅延部２５が、制御信号を１フレームに相当する時間遅延させる。この各信号遅延部２５における遅延量は、各映像遅延部２３の遅延量と同じである。

信号遅延部２５_１は、信号線４を介して入力される制御信号を１フレームに相当する時間遅延して、乗算部２１_２と、信号遅延部２５_２とに出力する。
信号遅延部２５_２は、信号遅延部２５_１で遅延された制御信号をさらに１フレームに相当する時間遅延して、乗算部２１_３と、信号遅延部２５_３とに出力する。
信号遅延部２５_３は、信号遅延部２５_２で遅延された制御信号をさらに１フレームに相当する時間遅延して、乗算部２１_４に出力する。

乗算部２１Ｂは、カメラ３から入力される映像のフレーム画像ごとに、信号線４を介して入力される発光パターンの制御信号を乗算するものである。ここでは、複数の乗算部２１_１，２１_２，２１_３，２１_４を備え、各乗算部２１が、順次、遅延された映像に対して、遅延された制御信号を乗算する。なお、乗算部２１_１，２１_２，２１_３，２１_４は、それぞれ、図１で説明した乗算部２１と同じ構成である。

乗算部２１_１は、時刻ｔに入力されたフレーム画像Ｉ（ｔ）と、制御信号である時間関数ｗ_ｎ（ｔ）とを、個々の乗算器Ｍ_１１～Ｍ_１３で乗算する。
乗算器Ｍ_１１は、フレーム画像Ｉ（ｔ）と関数ｗ_１０１（ｔ）とを乗算し、乗算結果（図中、〇Ａ）を積算部２２Ｂに出力する。なお、図中の丸で囲んだ文字Ａ，Ｂ，…等は、本明細書において、〇Ａ，〇Ｂ，…等と記載する。
乗算器Ｍ_１２は、フレーム画像Ｉ（ｔ）と関数ｗ_１０２（ｔ）とを乗算し、乗算結果（図中、〇Ｂ）を積算部２２Ｂに出力する。
乗算器Ｍ_１３は、フレーム画像Ｉ（ｔ）と関数ｗ_１０３（ｔ）とを乗算し、乗算結果（図中、〇Ｃ）を積算部２２Ｂに出力する。

乗算部２１_２は、時刻ｔ－１に入力されたフレーム画像Ｉ（ｔ－１）と、制御信号である時間関数ｗ_ｎ（ｔ－１）とを、個々の乗算器Ｍ_２１～Ｍ_２３で乗算する。
乗算器Ｍ_２１は、フレーム画像Ｉ（ｔ－１）と関数ｗ_１０１（ｔ－１）とを乗算し、乗算結果（図中、〇Ｄ）を積算部２２Ｂに出力する。
乗算器Ｍ_２２は、フレーム画像Ｉ（ｔ－１）と関数ｗ_１０２（ｔ－１）とを乗算し、乗算結果（図中、〇Ｅ）を積算部２２Ｂに出力する。
乗算器Ｍ_２３は、フレーム画像Ｉ（ｔ－１）と関数ｗ_１０３（ｔ－１）とを乗算し、乗算結果（図中、〇Ｆ）を積算部２２Ｂに出力する。

乗算部２１_３は、時刻ｔ－２に入力されたフレーム画像Ｉ（ｔ－２）と、制御信号である時間関数ｗ_ｎ（ｔ－２）とを、個々の乗算器Ｍ_３１～Ｍ_３３で乗算する。
乗算器Ｍ_３１は、フレーム画像Ｉ（ｔ－２）と関数ｗ_１０１（ｔ－２）とを乗算し、乗算結果（図中、〇Ｇ）を積算部２２Ｂに出力する。
乗算器Ｍ_３２は、フレーム画像Ｉ（ｔ－２）と関数ｗ_１０２（ｔ－２）とを乗算し、乗算結果（図中、〇Ｈ）を積算部２２Ｂに出力する。
乗算器Ｍ_３３は、フレーム画像Ｉ（ｔ－２）と関数ｗ_１０３（ｔ－２）とを乗算し、乗算結果（図中、〇Ｉ）を積算部２２Ｂに出力する。

乗算部２１_４は、時刻ｔ－３に入力されたフレーム画像Ｉ（ｔ－３）と、制御信号である時間関数ｗ_ｎ（ｔ－３）とを、個々の乗算器Ｍ_４１～Ｍ_４３で乗算する。
乗算器Ｍ_４１は、フレーム画像Ｉ（ｔ－３）と関数ｗ_１０１（ｔ－３）とを乗算し、乗算結果（図中、〇Ｊ）を積算部２２Ｂに出力する。
乗算器Ｍ_４２は、フレーム画像Ｉ（ｔ－３）と関数ｗ_１０２（ｔ－３）とを乗算し、乗算結果（図中、〇Ｋ）を積算部２２Ｂに出力する。
乗算器Ｍ_４３は、フレーム画像Ｉ（ｔ－３）と関数ｗ_１０３（ｔ－３）とを乗算し、乗算結果（図中、〇Ｌ）を積算部２２Ｂに出力する。

積算部２２Ｂは、乗算部２１Ｂで生成された乗算結果に対して、予め定めた時間区間で画素位置ごとに和を演算するである。この積算部２２Ｂは、同じマーカに対応する制御信号を乗算した乗算結果の総和を演算する。ここでは、積算部２２Ｂは、加算部２２_１と、加算部２２_２と、加算部２２_３と、を備える。

加算部２２_１は、乗算部２１_１の乗算器Ｍ_１１における乗算結果（〇Ａ）と、乗算部２１_２の乗算器Ｍ_２１における乗算結果（〇Ｄ）と、乗算部２１_３の乗算器Ｍ_３１における乗算結果（〇Ｇ）と、乗算部２１_４の乗算器Ｍ_４１における乗算結果（〇Ｊ）と、を加算するものである。
加算部２２_１は、加算結果を閾値処理部３０に出力する。

加算部２２_２は、乗算部２１_１の乗算器Ｍ_１２における乗算結果（〇Ｂ）と、乗算部２１_２の乗算器Ｍ_２２における乗算結果（〇Ｅ）と、乗算部２１_３の乗算器Ｍ_３２における乗算結果（〇Ｈ）と、乗算部２１_４の乗算器Ｍ_４２における乗算結果（〇Ｋ）と、を加算するものである。
加算部２２_２は、加算結果を閾値処理部３０に出力する。

加算部２２_３は、乗算部２１_１の乗算器Ｍ_１３における乗算結果（〇Ｃ）と、乗算部２１_２の乗算器Ｍ_２３における乗算結果（〇Ｆ）と、乗算部２１_３の乗算器Ｍ_３３における乗算結果（〇Ｉ）と、乗算部２１_４の乗算器Ｍ_４３における乗算結果（〇Ｌ）と、を加算するものである。
加算部２２_３は、加算結果を閾値処理部３０に出力する。
これによって、積算部２２Ｂは、図５に示したような発光パターンに対する画素ごとの相関を示す相関画像を生成することができる。

以上説明したようにマーカ検出装置２Ｂを構成することで、マーカ検出装置２Ｂは、マーカの発光パターンによって、照明が均一でない環境であっても、マーカを検出し、各マーカを識別することができる。さらに、マーカ検出装置２Ｂは、カメラ３の位置、姿勢および画角が不安定であっても、精度よくマーカを検出し識別することができる。
なお、マーカ検出装置２Ｂは、コンピュータを、前記した各部として機能させるプログラム（マーカ検出プログラム）で動作させることができる。

＜第３実施形態＞
［マーカ発光装置］
次に、図１１を参照して、本発明の第３実施形態に係るマーカ発光装置１Ｃについて説明する。
第１実施形態、第２実施形態のマーカ発光装置１（図１参照）は、マーカ１０１～１０６の点灯または消灯の２つの発光状態を予め定めた発光パターンで制御するものであった。
このマーカは、点灯および消灯以外に、異なる輝度、異なる色、または、それらの組み合わせごとの複数の発光状態で発光パターンを形成してもよい。
ここでは、消灯と３つの異なる色の発光とによって、４状態をとるタイムスロットで発光するマーカを例に説明する。
マーカ発光装置１Ｃは、消灯と３つの異なる色の発光状態によって、マーカを検出するための発光パターンを発光するものである。
図１１に示すように、マーカ発光装置１Ｃは、発光部１０Ｃと発光制御部１１Ｃとを備える。

発光部１０Ｃは、複数（ここでは、３６個とする）のマーカ１０１Ｃ，…，１３６Ｃを備える。
マーカ１０１Ｃ，…，１３６Ｃは、消灯、赤点灯、緑点灯および黄点灯の４つの発光状態を切り替えて光を発光するものである。

例えば、マーカ１０１Ｃは、図１２に示すように、赤（Ｒ）および緑（Ｇ）の発光体を１つの外装に封入した発光素子とする。
赤および緑の発光体をいずれも消灯した場合、マーカ１０１Ｃは消灯状態となる。また、赤の発光体のみを点灯した場合、マーカ１０１Ｃは赤点灯状態となる。また、緑の発光体のみを点灯した場合、マーカ１０１Ｃは緑点灯状態となる。また、赤および緑の発光体をいずれも点灯した場合、マーカ１０１Ｃは黄点灯状態となる。
マーカ１０１Ｃ，…，１３６Ｃは、発光制御部１１Ｃから出力される制御信号により発光状態を切り替える。

発光制御部１１Ｃは、予め定めた発光パターンで、発光部１０Ｃのマーカ１０１Ｃ，…，１３６Ｃの発光状態を制御するものである。
ここでは、発光制御部１１Ｃは、２値の値をとる時間関数により、発光パターンを生成する。以下、時間関数をｗ_ｐ ^（Ｒ）（ｔ），ｗ_ｐ ^（Ｇ）（ｔ）とする。なお、ｗ_ｐ ^（Ｒ）（ｔ）はマーカの赤（Ｒ）の発光体を制御する関数であり、ｗ_ｐ ^（Ｇ）（ｔ）はマーカの緑（Ｇ）の発光体を制御する関数である。また、ｐはマーカを区別する符号（ここでは、０～３５）であり、ｔは時刻である。ｗ_ｐ ^（Ｒ）（ｔ），ｗ_ｐ ^（Ｇ）（ｔ）は、それぞれ、“＋１（発光）”および“－１（消灯）”の２値をとる。
時間関数ｗ_ｐ ^（Ｒ）（ｔ），ｗ_ｐ ^（Ｇ）（ｔ）を、以下の式（７）で定義する。

式（７）の右辺の関数は、６個の時間関数ｗ_ｑ（ｔ）、（ｑ∈｛０，１，…，５））であって、例えば、図１３に示すウォルシュ関数である。この場合、マーカの赤および緑の発光に対して、それぞれ、６個の発光パターンを生成させることで、計３６の状態を表すことができる。

発光制御部１１Ｃは、式（７）に示す時間関数に基づいて発光部１０Ｃを制御するとともに、時間関数に基づいた発光パターンを制御信号として、信号線４を介して、後記するマーカ検出装置２Ｃに出力する。なお、信号線４_１は、時間関数ｗ_ｐ ^（Ｒ）（ｔ）に基づいた発光パターンを示す信号を送信する信号線であり、信号線４_２は、時間関数ｗ_ｐ ^（Ｇ）（ｔ）に基づいた発光パターンを示す信号を送信する信号線である。
これによって、マーカ発光装置１Ｃは、消灯と３つの異なる色の発光状態によって、３６個の発光パターンによるマーカの発光を行うことができる。

［マーカ検出装置］
次に、図１４を参照して、本発明の第３実施形態に係るマーカ検出装置２Ｃについて説明する。
マーカ検出装置２Ｃは、図１１で説明したマーカ発光装置１Ｃが発光するマーカの発光パターンによって、カメラ３Ｃが撮像したカラー映像から、マーカの位置を検出し識別するものである。

図１４に示すように、マーカ検出装置２Ｃは、相関演算部２０（２０_１，２０_２）と、閾値処理部３０（３０_１，３０_２）と、論理演算部５０と、マーカ座標演算部４０と、を備える。

相関演算部２０は、発光パターンの時間区間ごとに、映像のフレーム画像の画素と、発光パターンごとの発光パターンベクトルとの間の相関を演算することで、相関画像を生成するものである。
相関演算部２０は、カメラ３が撮像する色チャンネルのうち、２つの色チャンネルに対応して、２つの相関演算部２０_１，２０_２を備える。なお、相関演算部２０_１，２０_２は、それぞれ、入力するフレーム画像の色チャンネルが異なるだけで、図１で説明した相関演算部２０と同じものである。なお、相関演算部２０_１，２０_２は、図９で説明した相関演算部２０Ｂで構成してもよい。

相関演算部２０_１は、カメラ３Ｃが撮像した映像のうち、赤チャンネルの映像と、赤チャンネルに対応したマーカ発光装置１Ｃで生成される制御信号とを入力し、相関画像を生成するものである。
ここでは、相関演算部２０_１は、発光パターンの繰り返しの基準である４個のタイムスロットに相当する時間区間ごとに、３個の相関画像を生成する（図５参照）。相関演算部２０_１は、生成した相関画像を閾値処理部３０_１に出力する。

相関演算部２０_２は、カメラ３Ｃが撮像した映像のうち、緑チャンネルの映像と、緑チャンネルに対応したマーカ発光装置１Ｃで生成される制御信号とを入力し、相関画像を生成するものである。
ここでは、相関演算部２０_２は、発光パターンの繰り返しの基準である４個のタイムスロットに相当する時間区間ごとに、３個の相関画像を生成する（図５参照）。相関演算部２０_２は、生成した相関画像を閾値処理部３０_２に出力する。

閾値処理部３０は、相関演算部２０で生成された発光パターンごとの相関画像を予め定めた閾値で二値化することで、マーカとそれ以外の領域とを区分した二値化画像を生成するものである。
閾値処理部３０は、相関演算部２０_１，２０_２に対応して、２つの閾値処理部３０_１，３０_２を備える。なお、閾値処理部３０_１，３０_２は、図１で説明した閾値処理部３０と同じものである。

閾値処理部３０_１は、相関演算部２０_１で赤チャンネルの映像から生成された相関画像に対して閾値処理を行うことで、二値化画像を生成するものである。
ここでは、閾値処理部３０_１は、６個の二値化画像を生成する（図６参照）。閾値処理部３０_１は、生成した二値化画像を論理演算部５０に出力する。

閾値処理部３０_２は、相関演算部２０_２で緑チャンネルの映像から生成された相関画像に対して閾値処理を行うことで、二値化画像を生成するものである。
ここでは、閾値処理部３０_２は、６個の二値化画像を生成する（図６参照）。閾値処理部３０_２は、生成した二値化画像を論理演算部５０に出力する。

論理演算部５０は、閾値処理部３０_１で生成された複数の二値化画像と、閾値処理部３０_２で生成された複数の二値化画像との組み合わせにおいて、論理積を演算するものである。
ここでは、論理演算部５０は、閾値処理部３０_１で生成された６個の二値化画像と、閾値処理部３０_２で生成された６個の二値化画像との３６個の組み合わせで、論理積を演算する。
なお、論理演算部５０における論理積は、二値化画像同士の対応する画素位置ごとに画素値の最小値を選択すればよい。
これによって、論理演算部５０は、マーカごとに、当該マーカの像のみを抽出した画像を生成することができる。
論理演算部５０は、生成した二値化画像（ここでは、３６個の二値化画像）を、マーカ座標演算部４０に出力する。

マーカ座標演算部４０は、論理演算部５０で生成されたマーカごとの二値化画像から、マーカの画像上の代表点の座標をマーカ座標として算出するものである。
なお、マーカ座標演算部４０は、二値化画像の数が異なるだけで、図１で説明したマーカ座標演算部４０と同じものである。
これによって、マーカ検出装置２Ｃは、４個のタイムスロット、４発光状態（消灯状態を含む）、および、６種類の時間関数ｗ_ｑ（ｔ） （ｑ∈０，１，…，５）（図１３参照）に基づいて、最大で３６個のマーカの位置を検出し、識別することができる。
なお、マーカ検出装置２Ｃは、コンピュータを、前記した各部として機能させるプログラム（マーカ検出プログラム）で動作させることができる。

以上、本発明の実施形態について説明したが、本発明は、これらの実施形態に限定されるものではない。
例えば、ここでは、マーカの発光状態を、点灯および消灯の２種類の状態とした。
しかし、マーカの輝度値に応じて、発光状態を多状態としてもよい。また、色（赤、緑、青、シアン、マゼンタ、黄、白等）および輝度値に応じて、マーカの発光状態を多状態とすることとしてもよい。
その場合、マーカ検出装置２は、カメラ３が撮像するフレーム画像から特定の輝度範囲ごとの画像を生成する、あるいは、カメラ３が撮像するフレーム画像の色チャンネルごとに、特定の輝度範囲ごとの画像を生成する輝度別画像生成部（不図示）を備え、図１４で説明したマーカ検出装置２Ｃの複数の相関演算部２０に、輝度範囲ごとの画像を出力することとすればよい。
また、相関演算部２０および閾値処理部３０は、色チャンネルおよび輝度範囲ごとに、複数備えることとすればよい。
これによって、発光パターンの基準となる時間区間のタイムスロットに多値情報を載せることが可能になり、より多くのマーカを短時間で検出することが可能になる。

また、ここでは、マーカ発光装置１は、信号線４を介して、発光パターンを制御信号としてマーカ検出装置２に出力することとした。
しかし、図１５に示すように、マーカ検出装置２に、マーカ発光装置１の発光制御部１１と同じ発光パターンを生成する発光制御部６０を備え、発光制御部１１と発光制御部６０とで、同期して動作する構成としてもよい。
なお、この同期方法は、発光制御部１１および発光制御部６０のいずれか一方から他方へと有線または無線で同期のための信号を伝送してもよいし、外部に設けた同期用に信号源から同期信号を発光制御部１１および発光制御部６０に有線または無線により与えてもよい。あるいは、標準電波、ビーコン、測位衛星、天体からの電磁波等に基づいて、発光制御部１１および発光制御部６０を同期させてもよい。

１ マーカ発光装置
１０，０Ｃ 発光部
１０１，…，１０６ マーカ
１１，１１Ｃ 発光制御部
２，２Ｂ，２Ｃ マーカ検出装置
２０，２０Ｂ 相関演算部
２１，２２Ｂ 乗算部
２２，２２Ｂ 積算部
２３ 映像遅延部
２４ 動き補償部
２５ 信号遅延部
３０ 閾値処理部
３１ 二値化部
４０ マーカ座標演算部
５０ 論理演算部
６０ 発光制御部
３，３Ｃ カメラ

Claims (10)

1. 複数のタイムスロットで構成された発光パターンの時間区間において、前記タイムスロットごとの発光パターンの変化を示す発光パターンベクトルの同一のマーカにおける内積が０より大きく、異なるマーカ間の前記内積が０以下となる発光パターンで発光する複数のマーカを撮像した映像から、前記マーカを検出するマーカ検出装置であって、
   前記時間区間ごとに、前記映像のフレーム画像の画素と、前記発光パターンごとの発光パターンベクトルとの間の相関を演算することで前記発光パターンごとの相関画像を生成する相関演算部と、
   前記発光パターンごとの相関画像を予め定めた閾値で二値化することで、前記マーカとそれ以外の領域とを区分した二値化画像を生成する閾値処理部と、
   前記閾値処理部で生成された二値化画像において、前記マーカの領域の代表点を演算するマーカ座標演算部と、
   を備えることを特徴とするマーカ検出装置。
2. 前記相関演算部は、
   前記発光パターンごとに、前記映像のフレーム画像の画素値と、前記フレーム画像の時刻に対応して符号が変化する前記発光パターンベクトルの値とを乗算する乗算部と、
   前記乗算部で乗算された前記発光パターンごとの乗算結果を前記時間区間ごとに積算して前記相関画像を生成する積算部と、
   を備えることを特徴とする請求項１に記載のマーカ検出装置。
3. 前記相関演算部は、
   前記映像をフレーム単位で遅延させる映像遅延部と、
   前記フレーム画像の時刻に対応して前記発光パターンを示す制御信号を前記フレーム単位で遅延させる信号遅延部と、
   現時点のフレーム画像と、前記遅延されたフレーム画像とから映像の動きを推定し、前記遅延されたフレーム画像の動き補償を行う動き補償部と、
   前記動き補償されたフレーム画像において、当該フレーム画像の画素の画素値と、当該フレーム画像の時刻に対応して遅延された前記制御信号の値とを乗算する乗算部と、
   前記乗算部で乗算された同じ発光パターンに対応する乗算結果を前記時間区間ごとに加算して前記相関画像を生成する積算部と、
   を備えることを特徴とする請求項１に記載のマーカ検出装置。
4. 前記動き補償部は、グローバル動き補償、または、前記フレーム画像の部分領域ごとに動き補償を行うことを特徴とする請求項３に記載のマーカ検出装置。
5. 異なる輝度、異なる色、または、それらの組み合わせごとの複数の発光状態を示す発光パターンごとに前記相関画像を生成し、前記二値化画像を生成する複数の前記相関演算部および前記閾値処理部を備え、
   複数の前記閾値処理部で生成された二値化画像に対して、論理積演算を行うことで、発光パターンの組み合わせに係る前記マーカの領域を示す二値化画像を生成する論理演算部をさらに備えることを特徴とする請求項１から請求項４のいずれか一項に記載のマーカ検出装置。
6. コンピュータを、請求項１から請求項５のいずれか一項に記載のマーカ検出装置として機能させるためのマーカ検出プログラム。
7. マーカごとに予め定めた発光パターンで複数のマーカを発光するマーカ発光装置であって、
   前記複数のマーカとなる複数の発光素子を備えた発光部と、
   前記マーカごとの発光状態を制御する発光制御部と、を備え、
   前記発光制御部は、複数のタイムスロットで構成された発光パターンの時間区間において、前記タイムスロットごとの発光パターンの変化を示す発光パターンベクトルの同一のマーカにおける内積が０より大きく、異なるマーカ間の前記内積が０以下となる発光パターンで前記マーカの発光状態を制御することを特徴とするマーカ発光装置。
8. 前記発光状態は、異なる輝度、異なる色、または、それらの組み合わせである２以上の状態であることを特徴とする請求項７に記載のマーカ発光装置。
9. 前記発光パターンは、ウォルシュ関数、疑似ランダム雑音系列、または、Ｍ系列に基づいて、前記時間区間で符号が変化するパターンであることを特徴とする請求項７または請求項８に記載のマーカ発光装置。
10. 前記発光パターンの１以上は、他の発光パターンの符号を反転させたパターンであることを特徴とする請求項７から請求項９のいずれか一項に記載のマーカ発光装置。

Images