JP6430813B2 - 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 - Google Patents

Description

本発明は、検出対象の位置を検出する位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置に関する。

近年、パーソナルコンピュータ等の情報処理装置において、画像処理によって物体の位置を特定する技術が利用されている。下記の非特許文献１には、パーソナルコンピュータのディスプレイ装置の四隅にマーカーを取り付けて、カメラを用いて使用者を撮像し、得られた画像を基にして、使用者の角膜に映るそれらのマーカーの位置関係と虹彩輪郭と眼球モデルとからカメラに対する対象者の目の位置を求める技術が記載されている。さらに、この技術では、得られた画像におけるマーカーの位置の情報を基にして、ディスプレイの位置と方向を決定している。

C. Nitschke et al., "Display-cameracalibration using eye reflections and geometry constraints"; ComputerVision and Image Understanding, Vol.115, No.6, pp.835-853, Jun. 2011.

しかしながら、上記の非特許文献１に記載の技術では、カメラで撮像されたマーカーの位置関係と眼球モデルとを用いているため、対象物であるディスプレイの位置計算の精度が使用者によってばらつく傾向にある。また、位置計算の処理が複雑化し計算時間が長くなりがちである。

本発明は、上記課題に鑑みて為されたものであり、簡易な計算処理により対象物の位置計算の精度を高めることが可能な位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置を提供することを目的とする。

上記課題を解決するため、本発明の一形態にかかる位置検出装置は、発光体の位置を検出する位置検出装置であって、発光体に向けて配置された凸面を有する反射体を撮像する第１及び第２のカメラと、第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、反射体の三次元位置をステレオマッチングによって計算するとともに、第１及び第２の画像のそれぞれにおける発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、反射体の三次元位置と第１及び第２の画像における傾きとを基に発光体の位置を計算する情報処理部と、を備える。

或いは、本発明の他の形態にかかる位置検出方法は、発光体の位置を検出する位置検出方法であって、第１及び第２のカメラが、第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源を点灯させた状態で、発光体に向けて配置された凸面を有する反射体を撮像するステップと、情報処理部が、第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、反射体の三次元位置をステレオマッチングによって計算するとともに、第１及び第２の画像のそれぞれにおける発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、反射体の三次元位置と第１及び第２の画像における傾きとを基に発光体の位置を計算するステップと、を備える。

上記形態の位置検出装置或いは位置検出方法によれば、第１及び第２のカメラによって検出対象に向く凸面を有する反射体が撮像される。そして、情報処理部によって、得られた画像における第１及び第２の光源の反射点を基に、反射体の三次元位置が計算されるとともに、得られた画像における検出対象に取り付けられた発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きが特定される。さらに、情報処理部によって反射体の三次元位置と線の傾きとを使って発光体の位置が計算される。このように、第１及び第２のカメラによって得られた画像における２つの反射点を結ぶ線の傾きを使って検出対象の位置が計算されるので、高精度の位置検出結果を簡易な計算で得ることができる。

ここで、第１及び第２の光源は、それぞれ、反射体上の反射点が第１及び第２のカメラのピンホールと反射体とを結ぶ直線上に現れる程度において、第１及び第２のカメラの近傍に位置するように配置されている、こうすれば、位置検出結果の精度をさらに向上させることができる。

また、情報処理部は、発光体の三次元位置と第１の画像における傾きとを基に、第１の光源と反射体と発光体とを通る第１の平面を特定し、発光体の三次元位置と第２の画像における傾きとを基に、第２の光源と反射体と発光体とを通る第２の平面を特定した後に、第１及び第２の平面の交線を基に発光体の位置を計算することとしてもよい。この場合には、第１及び第２のカメラによって得られた画像における２つの反射点を結ぶ線の傾きを使って２つの平面が特定され、その２つの平面の交線によって検出対象の位置が計算されるので、反射体の形状に関係なく高精度の位置検出結果を簡易な計算で得ることができる。

また、第１及び第２のカメラは、位置が変更された１つ以上の反射体を連続的に２回以上撮像する方法、位置の異なる２つ以上の反射体を撮像する方法のいずれかの方法を用いるように動作し、情報処理部は、第１及び第２のカメラによって撮像された画像を基に、第１の光源と反射体と発光体とを通る第３の平面を特定し、第２の光源と反射体と発光体とを通る第４の平面を特定した後に、第１及び第２の平面の交線と第３及び第４の平面の交線とを基に発光体の位置を計算することとしてもよい。この場合には、第１及び第２のカメラによって得られた画像における２つの反射点を結ぶ線の傾きを使って４つの平面が特定され、それらから得られた２つの交線によって検出対象の位置が計算されるので、検出対象の三次元位置を高精度に得ることができる。

また、第１及び第２の光源は、それぞれ、第１及び第２のカメラの開口部近傍に設けられ、情報処理部は、第１及び第２の画像における第１及び第２の光源の反射点の位置を基に反射体の三次元位置をステレオマッチングにより計算することとしてもよい。この場合には、反射体の三次元位置をより単純な計算で得ることができるので、その結果、検出対象の位置をより簡易に得ることができる。

或いは、本発明の他の形態にかかる注視点検出装置は、発光体が取り付けられた表示画面上の対象者の注視点を検出する注視点検出装置であって、対象者の角膜球を撮像する第１及び第２のカメラと、第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、角膜球の三次元位置をステレオマッチングによって計算するとともに、第１及び第２の画像のそれぞれにおける発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、角膜球の三次元位置と第１及び第２の画像における傾きとを基に発光体の位置を計算する情報処理部と、情報処理部によって計算された発光体の位置を基に表示画面の位置を特定し、表示画面の位置を用いて注視点を検出する注視点計算部と、を備える。

上記形態の注視点検出装置によれば、表示画面の位置を高精度かつ簡易に得ることができ、その結果、その表示画面上の注視点を正確に得ることができる。

或いは、本発明の他の形態にかかる画像生成装置は、発光体が取り付けられた表示画面上に画像を表示させる画像生成装置であって、表示画面に向けて配置された凸面を有する反射体を撮像する第１及び第２のカメラと、第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、反射体の三次元位置をステレオマッチングによって計算するとともに、第１及び第２の画像のそれぞれにおける発光体の反射点と第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、反射体の三次元位置と第１及び第２の画像における傾きとを基に発光体の位置を計算する情報処理部と、情報処理部によって計算された発光体の位置を基に表示画面の位置を特定し、表示画面の位置を用いて表示画面上に画像を表示させる画像生成部と、を備える。

上記形態の画像生成装置によれば、表示画面の位置を高精度かつ簡易に得ることができ、その結果、その表示画面の位置に応じて表示画面上に適切な画像を表示させることができる。

本発明によれば、簡易な計算処理により対象物の位置計算の精度を高めることができる。

本発明の好適な一実施形態に係る注視点検出装置を示す斜視図である。 図１のカメラ１０のレンズ部分を示す平面図である。 図１の情報処理装置２０のハードウェア構成を示す図である。 図１の情報処理装置２０の機能構成を示すブロック図である。 図４の画像取得部２１によって制御された動作タイミングを示す図であり、（ａ）は、左カメラ１０_Ｌの光源１３_Ｌの点灯タイミングを示すタイミングチャート、（ｂ）は、右カメラ１０_Ｒの光源１３_Ｒの点灯タイミングを示すタイミングチャート、（ｃ）は、発光素子４０の点灯タイミングを示すタイミングチャート、（ｄ）は、左カメラ１０_Ｌの１フレームの撮像タイミングを示すタイミングチャート、（ｅ）は、右カメラ１０_Ｒの１フレームの撮像タイミングを示すタイミングチャートをそれぞれ示す図である。 （ａ）は、カメラ１０と対象者Ａの角膜球Ｃと発光素子４０との位置関係を示す図、（ｂ）は、右カメラ１０_Ｒによって得られた画像データのイメージを示す図、（ｃ）は、左カメラ１０_Ｌによって得られた画像データのイメージを示す図である。 図１の注視点検出装置で設定される座標系の位置関係を示す図である。 図１のカメラ１０によって得られる画像データのイメージを示す図である。 図４の位置計算部２２によって設定される仮想平面のイメージを示す図である。 本発明の変形例において、カメラ１０と対象者Ａの左右の角膜球Ｃ_Ｒ，Ｃ_Ｌと発光素子４０との位置関係を示す図である。 本発明の変形例にかかる情報処理装置２０Ａの機能構成を示すブロック図である。

以下、図面を参照しつつ本発明に係る位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

図１は、本発明の好適な一実施形態に係る注視点検出装置１の斜視図である。注視点検出装置１は、ディスプレイ装置の表示画面上の対象者の注視点を検出するコンピュータシステムであり、このシステムにより、本実施形態にかかる位置検出装置及び位置検出方法が実現される。対象者とは、注視点を検出する対象となる人であり、被験者ともいうことができる。注視点検出装置１の利用目的は様々なものが想定され、例えば、コンピュータシステムへのデータ入力、商品の興味の度合いの調査、運転者（対象者）の眠気の検出、及びよそ見運転の検出等が挙げられる。

同図に示すように、注視点検出装置１は、ステレオカメラとして機能する一対のカメラ（第１のカメラおよび第２のカメラ）１０と、情報処理装置２０と、情報処理装置２０から出力された情報を表示させるディスプレイ装置３０とを含んで構成される。以下では、必要に応じて、一対のカメラ１０を、対象者Ａの左側にある左カメラ１０_Ｌと、対象者Ａの右側にある右カメラ１０_Ｒとに区別する。本実施形態では、注視点検出装置１は、その利用目的が上記のように想定されるので、対象者Ａの視線の先にあるものはディスプレイ装置３０には限定されず、例えば自動車のフロントガラス等であってもよい。従って、ディスプレイ装置３０は注視点検出装置１の必須の要素ではない。それぞれのカメラ１０は、情報処理装置２０と有線または無線により接続され、カメラ１０と情報処理装置２０との間で各種のデータ又は命令が送受信される。

カメラ１０は、対象者Ａの瞳孔Ｂ、角膜球Ｃ、及びそれらの周辺を撮像するために用いられる。一対のカメラ１０は水平方向に沿って所定の間隔をおいて配置され、かつ、対象者Ａが確実に撮像できるように対象者Ａの顔より低い位置に設けられる。水平方向に対するカメラの仰角は、瞳孔Ｂ及び角膜球Ｃの確実な検出と対象者Ａの視野範囲の妨げの回避との双方を考慮して、例えば２０〜３０度の範囲に設定される。各カメラ１０に対しては予めＴｓａｉのカメラ較正手法等によりカメラ較正が行われ、カメラ１０の内部パラメータが決定される。さらに、予め規定された空間上の位置を決定するための世界座標系における外部パラメータ（位置、方向）が予め決定されている。

本実施形態では、カメラ１０は、インターレーススキャン方式の一つであるＮＴＳＣ方式のカメラである。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームの画像データは、奇数番目の水平画素ラインで構成される奇数フィールドと、偶数番目の水平画素ラインで構成される偶数フィールドとから構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮像されることで生成される。したがって、一つのフレームは、一対の奇数フィールドおよび偶数フィールドに相当する。なお、１つのフレームが奇数フィールドおよび偶数フィールドの両方を含むすべての水平画素ラインから構成されていてもよい。カメラ１０は、情報処理装置２０からの命令に応じて対象者Ａを撮像し、その結果生成した画像データを情報処理装置２０に出力する。

各カメラ１０の開口部周辺のレンズ部分を図２に模式的に示す。この図に示すように、カメラ１０では、対物レンズ１１が円形状の開口部１２に収容され、開口部１２近傍の外側に光源１３が設けられる。この光源１３は、カメラ１０の開口部１２に対する位置が既知であり、具体的には、リング状を構成する光源１３全体の中心と開口部１２の中心が一致するように設けられている。光源１３は、対象者Ａの顔に向けて照明光を照射するための機器であり、対象者Ａの角膜球Ｃの位置を特定するためのものでもある。光源１３は、複数の発光素子１３ａと複数の発光素子１３ｂとからなる。発光素子１３ａは、出力光の波長が８５０ｎｍの半導体発光素子（ＬＥＤ）であり、開口部１２の縁に沿って等間隔でリング状に配される。発光素子１３ｂは、出力光の波長が９４０ｎｍの半導体発光素子（ＬＥＤ）であり、発光素子１３ａの外側に等間隔でリング状に配される。従って、カメラ１０の光軸から発光素子１３ｂまでの距離は、該光軸から発光素子１３ａまでの距離よりも大きい。それぞれの発光素子１３ａ，１３ｂは、カメラ１０の光軸に沿って照明光を出射するように設けられる。なお、光源１３の配置は、図２に示す構成に限定されず、カメラをピンホールモデルとみなすことができれば他の配置であってもよい。以下では、必要に応じて、左カメラ１０_Ｌの開口部近傍に設けられる光源１３_Ｌと、右カメラ１０_Ｒの開口部近傍に設けられる光源１３_Ｒとに区別する。

図１に戻って、情報処理装置２０による位置検出の対象であるディスプレイ装置３０には、その表示画面３０ａの周辺に対象者Ａに向けて光を照射する１以上の発光素子（発光体）４０が取り付けられている。発光素子４０のディスプレイ装置３０に対する取り付け位置および個数は、任意の位置、任意の個数でよく、例えば、矩形の表示画面３０ａの周辺の四隅に４つ取り付けられる。発光素子４０の出力光の波長はカメラ１０で検出できる波長であれば任意の波長が選択されるが、対象者Ａに対する影響（まぶしさ等）を軽減させるという点で近赤外領域の波長が選択される。この１以上の発光素子４０は、情報処理装置２０によって発光タイミングが個別に制御可能に構成される。なお、本実施形態の発光体は、ディスプレイ装置３０と別個の素子である発光素子４０によって実現されているが、表示画面３０ａ上の所定位置に情報処理装置２０の制御によって発光点を表示させ、その発光点を発光体として機能させてもよい。

情報処理装置２０は、カメラ１０の制御と、ディスプレイ装置３０の位置の検出と、検出したディスプレイ装置３０の位置を基にした対象者Ａの注視点の検出とを実行するコンピュータである。情報処理装置２０は、据置型または携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、情報処理装置２０は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。

情報処理装置２０の一般的なハードウェア構成を図３に示す。情報処理装置２０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイ装置３０やプリンタなどの出力装置１０６とを備える。

後述する情報処理装置２０の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

図４に示すように、情報処理装置２０は機能的構成要素として画像取得部２１、位置計算部（情報処理部）２２、および注視点計算部２３を備える。画像取得部２１は、カメラ１０の撮影タイミングとカメラ１０の光源１３の発光タイミングとディスプレイ装置３０の発光素子４０の発光タイミングとを制御することで、カメラ１０から画像データを取得する機能要素である。位置計算部２２は、画像データを参照して各種計算処理を実行することにより、ディスプレイ装置３０の発光素子４０の位置を計算する機能要素である。注視点計算部２３は、画像データを参照して各種計算処理を実行することにより、対象者Ａの視線方向を検出し、位置計算部２２によって計算された発光素子４０の位置及び視線方向を基に、対象者Ａの表示画面３０ａ上の注視点を計算する機能要素である。視線とは、対象者Ａの瞳孔Ｂの中心と該対象者Ａの注視点（対象者が見ている点）とを結ぶ線である。情報処理装置２０による計算結果の出力先は何ら限定されない。例えば、情報処理装置２０は、計算結果を画像、図形、またはテキストで表示画面３０ａ上に表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。

以下、情報処理装置２０による、発光素子４０の位置計算処理及び注視点計算処理の詳細について説明する。

［発光素子４０の位置計算処理］

情報処理装置２０の画像取得部２１の制御により、各カメラ１０の撮影タイミングと当該カメラ１０の光源１３の発光タイミングとを同期させることによって、対象者Ａの瞳孔Ｂの周辺の画像が明瞳孔画像及び暗瞳孔画像として取得される。具体的には、各カメラの１フレームの撮影タイミング内で発光素子１３ａと発光素子１３ｂとが交互に点灯させることにより、奇数フィールドと偶数フィールドとに明瞳孔画像及び暗瞳孔画像が得られる。明瞳孔画像及び暗瞳孔画像の検出は、本発明者による国際公開２０１２／０７７７１３号公報に記載のメカニズムを利用している。

さらに、情報処理装置２０の画像取得部２１の制御により、左カメラ１０_Ｌと右カメラ１０_Ｒとにおいて交互に１フレームの画像が撮像されると同時に、ディスプレイ装置３０に取り付けられた発光素子４０が点灯される。図５には、画像取得部２１によって制御された動作タイミングを示しており、（ａ）は、左カメラ１０_Ｌの光源１３_Ｌの点灯タイミングを示すタイミングチャート、（ｂ）は、右カメラ１０_Ｒの光源１３_Ｒの点灯タイミングを示すタイミングチャート、（ｃ）は、発光素子４０の点灯タイミングを示すタイミングチャート、（ｄ）は、左カメラ１０_Ｌの１フレームの撮像タイミングを示すタイミングチャート、（ｅ）は、右カメラ１０_Ｒの１フレームの撮像タイミングを示すタイミングチャートをそれぞれ示している。このように、左カメラ１０_Ｌの光源１３_Ｌの点灯タイミングに合わせて左カメラ１０_Ｌで画像が取得され、右カメラ１０_Ｒの光源１３_Ｒの点灯タイミングに合わせて右カメラ１０_Ｒで画像が取得され、２つのカメラ１０_Ｌ，１０_Ｒの撮像時には、発光素子４０が点灯される。図５（ｃ）では、２つのカメラ１０_Ｌ，１０_Ｒの撮像タイミングに重なるように発光素子４０の点灯タイミングが設定されているが、それぞれのカメラ１０_Ｌ，１０_Ｒの撮像タイミングの一部に重なるように発光素子４０の点灯タイミングが設定されてもよい。なお、詳細には、それぞれのカメラ１０_Ｌ，１０_Ｒにおいては、１フレーム内において明瞳孔画像及び暗瞳孔画像が１つずつ得られる。

上記のタイミング制御の結果、画像取得部２１によってそれぞれのカメラ１０_Ｌ，１０_Ｒによって生成された画像データが取得される。そして、それぞれのカメラ１０によって生成された暗瞳孔画像の画像データを基に、位置計算部２２により、発光素子４０の位置計算処理が実行される。なお、位置計算処理は、明瞳孔画像の画像データを基に実行されてもよい。図６（ａ）には、カメラ１０と対象者Ａの角膜球Ｃと発光素子４０との位置関係を示しており、図６（ｂ）には、右カメラ１０_Ｒによって得られた画像データのイメージを示しており、図６（ｃ）には、左カメラ１０_Ｌによって得られた画像データのイメージを示している。このように、カメラ１０の前面には人間の角膜球Ｃが球面（凸面）を有する反射体として位置することになり、この角膜球Ｃを含む画像には、カメラ１０の光源１３の反射点と発光素子４０の反射点とが映ることになる。ここで、光源１３はリング状に配列されているが、角膜球Ｃ上では点状の反射点として映る。そして、角膜球Ｃ等の反射体の凸面の形状が（球面には限定されず）既知であれば、光の反射の法則から凸面に映る発光体の位置から反射体の中心から見た発光体の方向が分かる。なお、ここで角膜球Ｃは、角膜を一部とした球体として想定しているモデルであり、実際にカメラ１０の光源１３の反射点と発光素子４０の反射点とが映るのは角膜（凸面）であるが、本明細書ではこのモデルのことを、以後角膜球と記す。

すなわち、画像取得部２１によって取得された画像データ上には、図６（ｂ）又は図６（ｃ）に示すように、対象者Ａの角膜球Ｃの表面上に光源１３の反射点Ｒ_１と発光素子４０の反射点Ｒ_２とが現れる。ここで、左カメラ１０_Ｌに対する左カメラ１０_Ｌの光源１３_Ｌの位置、および右カメラ１０_Ｒに対する右カメラ１０_Ｒの光源１３_Ｒの位置は既知であり、左カメラ１０_Ｌの光源１３_Ｌと右カメラ１０_Ｒの光源１３_Ｒとは、それぞれ、左カメラ１０_Ｌと右カメラ１０_Ｒの位置に対して図６（ａ）に示す関係とみなせる程度において十分に近傍に位置するように配置されている。このため、これらの反射点Ｒ_１は、図６（ａ）に示すように、カメラ１０をピンホールモデルで考えた場合、カメラ１０_Ｒ，１０_ＬのピンホールＯ_Ｒ，Ｏ_Ｌのそれぞれと、角膜球Ｃの中心Ｃ_１とを結ぶ直線ＬＣ_１，ＬＣ_２上に現れる。

そこで、位置計算部２２は、２つのカメラ１０_Ｒ，１０_Ｌから得られた画像データを用いて、対象者Ａの角膜球Ｃの中心Ｃ_１の三次元位置をステレオマッチングによって計算する。ステレオマッチングとは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。

位置計算部２２がステレオマッチングを用いて角膜球Ｃの中心Ｃ_１の三次元座標を計算する際には、図７に示すような座標系を用いる。同図に示す世界座標系（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）は、２台のカメラ１０が共有する原点Ｏ_Ｗが例えばディスプレイ装置３０の画面中央に位置する座標系である。カメラ座標系（Ｘ，Ｙ，Ｚ）は、その原点Ｏ_Ｃが各カメラ１０の光学中心（ピンホール）とされ、Ｚ軸が光学中心から画像面に垂直に引いた光軸と平行とされた座標系である。画像座標系（Ｘ_Ｇ，Ｙ_Ｇ）は、カメラ１０の撮像素子が置かれる画像面に沿ってＸＹ平面と平行にされ、光軸と画像面の交点（画像中心）を原点Ｃ_ｉとする座標系である。点Ｐが目標点である角膜球Ｃの中心Ｃ_１の座標とすると、カメラ１０を用いた際の画像座標系への投影点（Ｘ_ｄ，Ｙ_ｄ）は、画像のゆがみにより理想的な投影点（Ｘ_ｕ，Ｙ_ｕ）からずれることになる。したがって、ステレオ法を用いた三次元位置計測を精度良く行うためには、目標点Ｐの世界座標とその画像座標との対応づけを記録したキャリブレーションデータを予め取得する必要がある。例えば、外部パラメータとしての世界座標に対するカメラ座標系の平行移動ベクトルおよび世界座標系に対するカメラ座標系の回転行列や、内部パラメータとしての焦点距離、画像中心座標、スケール係数、レンズひずみ係数、撮像素子間隔等がキャリブレーションデータとして予め取得され、位置計算部２２に記憶される。

位置計算部２２は、２台のカメラ１０からの画像データを基に検出した画像座標系における光源１３の反射点Ｒ_１の座標と、世界座標系における角膜球Ｃの中心Ｃ_１の座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、位置計算部２２は、２つの関係式から世界座標系における対象者Ａの角膜球Ｃの中心Ｃ_１の三次元座標を計算する。

さらに、位置計算部２２は、計算した角膜球Ｃの中心Ｃ_１の三次元座標と、各カメラ１０から取得した画像データを基に検出した画像座標系における発光素子４０の反射点Ｒ_２の座標とを基に、各カメラ１０のピンホール（光源１３の中心）と角膜球Ｃの中心Ｃ_１と発光素子４０とを通る平面を、各カメラ１０ごとに特定する。具体的には、位置計算部２２は、右カメラ１０_Ｒから、図８に示すような画像データが得られた際に、画像座標系における反射点Ｒ_１と反射点Ｒ_２とを結ぶ直線ＬＲ_１の水平線（Ｘ軸）からの傾きε_１を計算により特定する。そして、位置計算部２２は、図９に示すように、角膜球Ｃの中心Ｃ_１の三次元位置に基づいて、カメラ１０_ＲのピンホールＯ_Ｒを原点とし、その原点と中心Ｃ_１とを結ぶ基準線Ｏ_ＲＣ_１を法線とする仮想平面Ｘ’−Ｙ’を設定する。そして、位置計算部２２は、仮想平面Ｘ’−Ｙ’上で原点Ｏ_Ｒを通り水平軸Ｘ’との傾きがε_１となるような直線ＬＲ_２を決定する。このようにして決定した直線ＬＲ_２は、カメラ１０_ＲのピンホールＯ_Ｒと、角膜球Ｃの中心Ｃ_１と、発光素子４０とを通る平面上に位置することになる。このような性質を利用して、位置計算部２２は、決定した直線ＬＲ_２と角膜球Ｃの中心Ｃ_１とを通る平面ＰＬ_１の位置及び傾きを特定する。同様にして、位置計算部２２は、左カメラ１０_Ｌから得られた画像データを基に、カメラ１０_ＬのピンホールＯ_Ｌと、角膜球Ｃの中心Ｃ_１と、発光素子４０とを通る平面ＰＬ_２を特定する。

次に、位置計算部２２は、特定した平面ＰＬ_１と平面ＰＬ_２との交線ＬＩ_１を求め（図６（ａ））、この交線ＬＩ_１の位置及び傾きを基に、発光素子４０の位置を計算する。これは、交線ＬＩ_１が角膜球Ｃの中心Ｃ_１と発光素子４０とを通るという性質を利用している。例えば、発光素子４０の世界座標系におけるＺ_Ｗ座標の値が既知の場合には、発光素子４０の三次元位置を計算することができる。

さらに、位置計算部２２は、画像取得部２１によって連続したフレームで複数の発光素子４０を順次点灯させることによって得られた画像データを用いて、上述した位置計算処理を繰り返すこともできる。これにより、複数の発光素子４０の位置を連続的に計算することができる。

また、画像取得部２１によって１つのフレームで複数の発光素子４０を同時に点灯させることによって得られた画像データを用いて、複数の発光素子４０の反射点Ｒ_２毎に上述した位置計算処理を繰り返してもよい。ただし、複数の発光素子４０を同時に点灯させた場合には、発光素子４０の反射点Ｒ_２とカメラ１０の光源１３の反射点Ｒ_１との判別が難しくなる。そのような場合は、位置計算部２２は、テンプレートマッチング等の画像処理により反射点Ｒ_２と反射点Ｒ_１とを区別する。また、位置計算部２２は、幾何学的方法により反射点Ｒ_２と反射点Ｒ_１とを区別してもよい。例えば、位置計算部２２は、注視点計算部２３により計算された画像データ上の対象者Ａの瞳孔の中心座標を用いて、画像データ上の全ての反射点から計算された角膜球Ｃの中心Ｃ_１と瞳孔の中心座標とを通る候補ベクトルを計算する。そして、位置計算部２２は、候補ベクトルの方向及び長さが所定の範囲内である候補ベクトルを判別する。その結果、判別された候補ベクトルの計算に用いられた反射点をカメラ１０の光源１３の反射点Ｒ_１と判別し、それ以外の反射点を発光素子４０の反射点Ｒ_２と判別する。

［注視点計算処理］

情報処理装置２０の注視点計算部２３は、画像取得部２１によって取得される画像データと、位置計算部２２によって計算された発光素子４０の位置とを基に、対象者Ａの表示画面３０ａ上の注視点を計算する。すなわち、注視点計算部２３は、各カメラから得られた画像データを参照して、対象者Ａの瞳孔像を検出する。この瞳孔像の検出は明瞳孔画像と暗瞳孔画像の差分画像を用いて検出される。さらに、注視点計算部２３は、検出した瞳孔像の位置と画像データ上の光源１３の反射点Ｒ_１との位置とを利用して、対象者Ａの視線ベクトル（視線方向）を計算する。この視線方向の計算には、本発明者による国際公開２０１２／０７７７１３号公報に記載の注視点検出方法が用いられる。その後、注視点計算部２３は、発光素子４０の位置によって特定される表示画面３０ａの位置と、計算した視線ベクトルとの交点を対象者Ａの注視点として計算する。

以上説明した注視点検出装置１によれば、カメラ１０によって対象者Ａの角膜球Ｃが撮像され、位置計算部２２によって、得られた画像におけるカメラ１０に取り付けられた光源１３の反射点を基に、角膜球Ｃの三次元位置が計算される。それとともに、位置計算部２２によって、得られた画像における発光素子４０の反射点と光源１３の反射点とを結ぶ線の傾きが特定される。さらに、位置計算部２２によって角膜球Ｃの三次元位置と線の傾きとを使って発光素子４０の位置が計算される。このように、カメラ１０によって得られた画像における２つの反射点を結ぶ線の傾きを使って検出対象の位置が計算されるので、高精度の位置検出結果を簡易な計算で得ることができる。その結果、その表示画面上の注視点を正確に得ることができる。

また、カメラ１０によって得られた画像における２つの反射点を結ぶ線の傾きを使って２つの平面が特定され、その２つの平面の交線によって検出対象の位置が計算されるので、対象者Ａの角膜球Ｃの形状に関係なく高精度の位置検出結果を簡易な計算で得ることができる。さらに、光源１３がカメラ１０の開口部近傍に設けられており、位置計算部２２は、カメラ１０から得られた画像における光源１３の反射点の位置を基に角膜球Ｃの三次元位置を計算する。このような構成によって、角膜球Ｃの三次元位置をより単純な計算で得ることができるので、その結果、検出対象の位置をより簡易に得ることができる。

次に、本発明の実施形態の変形例について説明する。上記実施形態に係る注視点検出装置１では、撮像対象の反射体として１つの角膜球Ｃのみとしていたが、複数の反射体を撮像対象としてもよい。例えば、対象者Ａの左右の眼の角膜球Ｃ_Ｒ，Ｃ_Ｌを同時或いは連続的に撮像し、その結果得られた画像データを基に発光素子４０の三次元位置を計算してもよい。

すなわち、図１０に示すように、情報処理装置２０の画像取得部２１は、各カメラ１０_Ｒ，１０_Ｌから、対象者Ａの右の角膜球Ｃ_Ｒの周辺の画像データと左の角膜球Ｃ_Ｌの周辺の画像データとを取得する。そして、情報処理装置２０の位置計算部２２は、上述した実施形態と同様にして、右の角膜球Ｃ_Ｒの周辺の画像データを基に、カメラ１０の光源１３と右の角膜球Ｃ_Ｒの中心Ｃ_Ｒ１と発光素子４０とを通る２つの平面ＰＬ_１，ＰＬ_２とを特定し、２つの平面ＰＬ_１，ＰＬ_２の交線ＬＩ_１を求める。さらに、位置計算部２２は、左の角膜球Ｃ_Ｌの周辺の画像データを基に、カメラ１０の光源１３と左の角膜球Ｃ_Ｌの中心Ｃ_Ｌ１と発光素子４０とを通る２つの平面ＰＬ_３，ＰＬ_４とを特定し、２つの平面ＰＬ_３，ＰＬ_４の交線ＬＩ_２を求める。そして、位置計算部２２は、求めた２つの交線ＬＩ_１，ＬＩ_２の交点或いは最接近点を発光素子４０の三次元位置として計算する。このような変形例によれば、発光素子４０の位置が未知の場合であっても確実に三次元座標を導き出すことができる。

ここで、注視点検出装置１では、撮像対象の１つの角膜球Ｃ等の１つの反射体のみとし、その反射体の位置を変更させながら異なる位置に配置させた反射体を連続的に撮像するように機能してもよい。このように動作する注視点検出装置１によっても、各カメラ１０_Ｒ，１０_Ｌかにおいて連続的に得られた画像データを基に、上記と同様にして発光素子４０の三次元位置を計算することができる。

また、注視点検出装置１では、カメラ１０と光源１３の組み合わせがもう一組設けられていてもよい。この場合、情報処理装置２０において新たに設けられた光源１３と発光素子４０とを通る平面がさらに特定され、これらの平面から求められる交線を基にして交点や最接近点を求めることでさらに位置計算の精度を高めることができる。

また、注視点検出装置１の前面に位置する反射体としては対象者Ａの角膜球Ｃには限定されず、注視点検出装置１に向かい合う凸面を有する反射体であれば、球面ミラー、鉄球等であってもよい。この場合、平板上に複数の球面ミラーを配置された部材を用意し、その部材を注視点検出装置１に向けて配置させれば、発光素子４０の位置を精度よく計算することができる。ここで、複数の球面ミラーの間隔が既知であれば、それを拘束条件として、ステレオマッチングにより求めた各々の球面ミラーの３次元位置を補正することができ、ステレオマッチングで求めた球面ミラーの３次元位置を基にした光源位置推定の精度を上げることができる。

また、球面ミラー或いは対象者Ａの角膜球Ｃを注視点検出装置１の前面で移動させながら連続して画像データを取得するように注視点検出装置１を動作させてもよい。このような構成によれば、短時間で反射体から発光素子４０に向かう直線を多く求めることができるので、それらの総当たりの最接近点の平均値もしくは中間値を計算することにより、位置計算精度を向上させることができる。

さらに、注視点検出装置１の前面に配置される反射体は３つ以上であってもよい。例えば、３つの球面ミラーが注視点検出装置１の前面に配置された場合には、各球面ミラーの中心から発光素子４０までの直線が３本求まることになるので、情報処理装置２０の位置計算部２２は、それらの直線の最接近点を３組求め、それらの中点を発光素子４０の位置として求める。このように動作すれば、反射体の個数が増加するほど位置検出精度を向上させることができる。

図１１は、本発明の変形例に係る情報処理装置２０Ａの機能構成を示す図である。同図に示す情報処理装置２０Ａは、情報処理装置２０における注視点計算機能の代わりに（又はそれに加えて）、検出した発光素子４０の位置を基にして表示画面３０ａ上に表示される画像の位置を制御する機能を有する。具体的には、同図に示す画像生成部２３Ａは、検出された発光素子４０の位置を基に表示画面３０ａの位置を特定し、その位置に対応した画像を表示画面上３０ａ上に表示させるようにディスプレイ装置３０を制御する。例えば、ディスプレイの表示画面３０ａ上の対象者Ａに近い位置に特定の画像を表示させるように制御する。さらに、表示画面３０ａ上の対象者Ａの注視点の検出機能を有する場合には、その注視点上に特定の画像を表示させるように制御してもよい。

上記のような変形例では、ディスプレイ装置３０の代わりにプロジェクタ装置用のスクリーンや任意の立体物を位置検出の対象としてもよい。このような場合には、情報処理装置２０Ａは、計算した発光素子４０の位置を基にその対象物の位置を特定し、その位置に対応した画像を対象物に向けて投影する。これにより、対象物の位置に応じて対象物上に適切な画像を表示させることができる。

１…注視点検出装置、１０，１０_Ｌ，１０_Ｒ…カメラ、１３，１３_Ｌ，１３_Ｒ…光源、１３ａ，１３ｂ…発光素子、２０，２０Ａ…情報処理装置、２２…位置計算部（情報処理部）、２３…注視点計算部、２３Ａ…画像生成部、３０…ディスプレイ装置、３０ａ…表示画面、４０…発光素子（発光体）、Ａ…対象者、Ｃ，Ｃ_Ｒ，Ｃ_Ｌ…角膜球、ＬＣ_１，ＬＣ_２…直線、ＬＩ_１，ＬＩ_２…交線、ＰＬ_１，ＰＬ_２，ＰＬ_３，ＰＬ_４…平面、Ｒ_１，Ｒ_２…反射点。

Claims (10)

1. 発光体の位置を検出する位置検出装置であって、
   前記発光体に向けて配置された凸面を有する反射体を撮像する第１及び第２のカメラと、
   前記第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、
   前記第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、前記反射体の三次元位置をステレオマッチングによって計算するとともに、前記第１及び第２の画像のそれぞれにおける前記発光体の反射点と前記第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、前記反射体の三次元位置と第１及び第２の画像における前記傾きとを基に前記発光体の位置を計算する情報処理部と、
   を備える位置検出装置。
2. 前記第１及び第２の光源は、それぞれ、前記反射体上の反射点が前記第１及び第２のカメラのピンホールと前記反射体とを結ぶ直線上に現れる程度において、前記第１及び第２のカメラの近傍に位置するように配置されている、
   請求項１記載の位置検出装置。
3. 前記情報処理部は、前記発光体の三次元位置と第１の画像における前記傾きとを基に、前記第１の光源と前記反射体と前記発光体とを通る第１の平面を特定し、前記発光体の三次元位置と第２の画像における前記傾きとを基に、前記第２の光源と前記反射体と前記発光体とを通る第２の平面を特定した後に、前記第１及び第２の平面の交線を基に前記発光体の位置を計算する、
   請求項１又は２記載の位置検出装置。
4. 前記第１及び第２のカメラは、位置が変更された１つ以上の前記反射体を連続的に２回以上撮像する方法、位置の異なる２つ以上の前記反射体を撮像する方法のいずれかの方法を用いるように動作し、
   前記情報処理部は、前記第１及び第２のカメラによって撮像された画像を基に、前記第１の光源と前記反射体と前記発光体とを通る第３の平面を特定し、前記第２の光源と前記反射体と前記発光体とを通る第４の平面を特定した後に、前記第１及び第２の平面の交線と前記第３及び第４の平面の交線とを基に前記発光体の位置を計算する、
   請求項３記載の位置検出装置。
5. 前記第１及び第２の光源は、それぞれ、前記第１及び第２のカメラの開口部近傍に設けられ、
   前記情報処理部は、前記第１及び第２の画像における前記第１及び第２の光源の反射点の位置を基に前記反射体の三次元位置をステレオマッチングにより計算する、
   請求項１〜４のいずれか１項に記載の位置検出装置。
6. 前記反射体は球面体であり、前記反射体の三次元位置は前記球面体の中心である、
   請求項１〜５のいずれか１項に記載の位置検出装置。
7. 前記反射体は、人間の角膜である、
   請求項１〜６のいずれか１項に記載の位置検出装置。
8. 発光体の位置を検出する位置検出方法であって、
   第１及び第２のカメラが、前記第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源を点灯させた状態で、前記発光体に向けて配置された凸面を有する反射体を撮像するステップと、
   情報処理部が、前記第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、前記反射体の三次元位置をステレオマッチングによって計算するとともに、前記第１及び第２の画像のそれぞれにおける前記発光体の反射点と前記第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、前記反射体の三次元位置と第１及び第２の画像における前記傾きとを基に前記発光体の位置を計算するステップと、
   を備える位置検出方法。
9. 発光体が取り付けられた表示画面上の対象者の注視点を検出する注視点検出装置であって、
   前記対象者の角膜球を撮像する第１及び第２のカメラと、
   前記第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、
   前記第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、前記角膜球の三次元位置をステレオマッチングによって計算するとともに、前記第１及び第２の画像のそれぞれにおける前記発光体の反射点と前記第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、前記角膜球の三次元位置と第１及び第２の画像における前記傾きとを基に前記発光体の位置を計算する情報処理部と、
   前記情報処理部によって計算された前記発光体の位置を基に前記表示画面の位置を特定し、前記表示画面の位置を用いて前記注視点を検出する注視点計算部と、
   を備える注視点検出装置。
10. 発光体が取り付けられた表示画面上に画像を表示させる画像生成装置であって、
    前記表示画面に向けて配置された凸面を有する反射体を撮像する第１及び第２のカメラと、
    前記第１及び第２のカメラのそれぞれに対する位置が既知の第１及び第２の光源と、
    前記第１及び第２のカメラのそれぞれによって撮像された第１及び第２の画像を基に、前記反射体の三次元位置をステレオマッチングによって計算するとともに、前記第１及び第２の画像のそれぞれにおける前記発光体の反射点と前記第１及び第２の光源の反射点とを結ぶ線の傾きを特定し、前記反射体の三次元位置と第１及び第２の画像における前記傾きとを基に前記発光体の位置を計算する情報処理部と、
    前記情報処理部によって計算された前記発光体の位置を基に前記表示画面の位置を特定し、前記表示画面の位置を用いて前記表示画面上に画像を表示させる画像生成部と、
    を備える画像生成装置。

Images