JP4681629B2

JP4681629B2 - 表示デバイスのキャリブレーション方法及び装置

Info

Publication number: JP4681629B2
Application number: JP2008133515A
Authority: JP
Inventors: 智広山田; 考藤村; 匡伸阿部; 順一岸上
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2008-05-21
Filing date: 2008-05-21
Publication date: 2011-05-11
Anticipated expiration: 2028-05-21
Also published as: JP2009284175A

Description

本発明は、表示デバイスのキャリブレーション方法及び装置に係り、実世界の映像と仮想空間の映像を重ね合わせて表示するための表示デバイスのキャリブレーション方法及び装置に関する。具体的には、透過型ヘッドマウントディスプレイに代表されるメガネ型の装置の中で、メガネのフレーム部分にカメラを配置した装置の上下方向のキャリブレーション方法・装置に関するものである。

従来の透過型ヘッドマウントディスプレイは、図３１に示すように、プリズムとハーフミラーを用い、カメラと表示部（ＬＣＤ）を視線に対して、光学的に一致させるほう式がある（例えば、非特許文献１参照）。
A. Takagi, S. Yamazaki, Y. Saito and N. Taniguchi, "Development of a stereo video see-through HMD for AR systems," Proc. ISAR 2000, pp.68-77, 2000

しかしながら、上記従来の方式では、光学的に視線を一致させるため、光学系の配置を正確に調整する必要があり、装着方法の自由度がなく、例えば、通常のメガネのように、装着位置がずれてしまう場合の光学系の調整が困難であった。また、ミラーをプリズムの前方に設置するという構成のため、光学系を形成するためのスペースが大きくなり、例えば、通常のメガネのように、日常装着できる大きさで実装するのが困難であった。

ヘッドマウントディスプレイを利用したアプリケーションの中には、多少のずれ、例えば、カメラをメガネのフレームに相当する部分に取り付けた場合に、カメラと目の横の位置のずれについては許容できるアプリケーションもあると考えられる。多少の位置のずれを許容できるアプリケーションのためには、従来技術での光学系を用いた厳密なキャリブレーションではなく、キャリブレーション精度は荒くとも簡便なキャリブレーション方法が適する。

本発明は、上記の点に鑑みなされたもので、複雑な光学系を必要とせず、利用者の装着方法にばらつきがあった場合でも容易に実空間のオブジェクト位置とシースルーディスプレイ上のポインタの位置の調整が可能な表示デバイスのキャリブレーション方法及び装置を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、実世界の中のキャリブレーション用マーカを用い、透過型表示デバイスの装着者の顔の近傍、かつ、視線位置と略同じ高さに設置されたカメラを用いた、透過型表示デバイスのキャリブレーション方法であって、
記憶手段から少なくとも透過型表示デバイスの上端のいずれかの座標値と、下端のいずれかの座標値の２つの座標値をキャリブレーション用画像表示座標値として持つキャリブレーション用画像表示座標データを読み出して、該透過型表示デバイス上の、該キャリブレーション用画像表示座標データで指定される座標値にキャリブレーション用画像を表示し（ステップ１）、
実世界の中のキャリブレーション用マーカと表示デバイスに表示されたキャリブレーション用画像とが重なって見えるように顔の向きを変えることを該表示デバイスの装着者に指示し（ステップ２）、
実世界の中のキャリブレーション用マーカと表示デバイスに表示されたキャリブレーション用画像とが重なって見えることを示す情報を受信した時点で、カメラによるカメラ画像をキャプチャし（ステップ３，４）、
カメラ画像のキャプチャ画像から実世界の中のキャリブレーション用マーカを検出して該カメラ画像内でのマーカの座標値を算出し（ステップ５）、
透過型表示デバイスの上端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値、及び、透過型表示デバイスの下端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値を用いてカメラ画像での座標値と透過型表示デバイスの座標値とのキャリブレーションパラメータを算出する（ステップ６）。

図２は、本発明の原理構成図である。

本発明（請求項２）は、実世界の中のキャリブレーション用マーカを用い、透過型表示デバイス３の装着者の顔の近傍、かつ、視線位置と略同じ高さに設置されたカメラ４を用いた、透過型表示デバイス３のキャリブレーション装置であって、
少なくとも透過型表示デバイスの上端のいずれかの座標値と、下端のいずれかの座標値の２つの座標値をキャリブレーション用画像表示座標値として持つキャリブレーション用画像表示座標データを格納した記憶手段１７０と、
記憶手段１７０からキャリブレーション用画像表示座標データを読み出して、透過型表示デバイス３上の、該キャリブレーション用画像表示座標データで指定される座標値にキャリブレーション用画像を表示するキャリブレーション用画像表示制御手段１２０と、
実世界の中のキャリブレーション用マーカと透過型表示デバイス３に表示されたキャリブレーション用画像とが重なって見えるように顔の向きを変えることを該表示デバイスの装着者に指示する方向指示手段１６１と、
実世界の中のキャリブレーション用マーカと表示デバイスに表示されたキャリブレーション用画像とが重なって見えることを示す情報を受信した時点で、カメラによるカメラ画像をキャプチャする映像キャプチャ手段１１０と、
カメラ画像のキャプチャ画像から実世界の中のキャリブレーション用マーカを検出して該カメラ画像内でのマーカの座標値を算出するマーカ座標値算出手段１５０と、
透過型表示デバイスの上端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値、及び、透過型表示デバイス３の下端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値を用いてカメラ画像での座標値と透過型表示デバイス３の座標値とのキャリブレーションパラメータを算出するパラメータ算出手段１６０と、を有する。

上記のように、本発明によれば、カメラを視線位置と略同じ高さに設置し、キャリブレーションの方向を重畳表示に最も影響が発生する上下方向に限定し、オブジェクト選択を行うことで、複雑な光学系を組む必要がなく、実装スペースの削減が可能になる。また、マーカを使ったキャリブレーションにより、利用者の装着方法にばらつきが合った場開いでも、容易に実空間のオブジェクト位置とシースルーディスプレイ上のポインタの位置の調整が可能となる。

以下、図面と共に本発明の実施の形態を説明する。

［第１の実施の形態］
図３は、本発明の第１の実施の形態における装置構成を示す。

同図に示す装置は、カメラ４、シースルーディスプレイ３、制御部１００から構成される。

制御部１００は、映像キャプチャ部１１０、表示位置制御部１２０、オブジェクト画像抽出部１３０、ポインタ座標算出部１４０、マーカ座標算出部１５０、キャリブレーション部１６０、記憶部１７０から構成される。

記憶部１７０には、シースルーディスプレイ３の装着者が実世界の物体をポインティング際のポインティング動作を一連の画像から検出するために用いるポインティング特徴量、ポインティング動作が検出された座標値（あるいは画像領域）とポインタ座標値との関係（例：ポインティング動作が検出された画像領域の重心位置をポインタ座標値とする）と、そのポインティング動作に対応付けられたアクション（例１：座標値を決定、例：シースルーディスプレイ３に制御部１００が持つ操作メニューを表示）を予め記録する。検出対象となるポインティング動作は複数種類あってもよい。

制御部１００の映像キャプチャ部１１０は、カメラ４から入力された画像を解析可能なディジタル信号に変換し、カメラ画像として出力する。

ポインタ座標算出部１４０は、映像キャプチャ部１１０でキャプチャされたカメラ画像から記憶部１７０に記録されているポインティング特徴量を用いて、ポインティング動作を検出する。検出された動作と、画像内での検出位置（座標値や画像領域）に応じて、記憶部１７０に予め記録された情報に従ってポインタ座標値を算出する。

オブジェクト画像抽出部１３０は、ポインタ座標算出部１４０から座標情報を受け取り、受け取った座標値を用いてカメラ画像からオブジェクト画像を抽出視する。例えば、ポインタ座標算出部１４０から１つの座標のみを受け取った場合には、その座標の周囲の、予め定めた領域を抽出対象領域としてもよい。ポインタ座標算出部１４０から２つの座標値が与えられた場合、２つの座標値を対角の頂点として持つ矩形領域を抽出対象領域としてもよい。

表示位置制御部１２０は、ポインタ座標算出部１４０から受け取った座標値を、キャリブレーションにより求めた変換式を用いて表示用座標値に変換し、シースルーディスプレイ３に表示する。

マーカ座標算出部１５０は、映像キャプチャ部１１０でキャプチャされたカメラ画像からキャリブレーションに用いるマーカを検出する。検出されたキャリブレーションに用いるマーカの画像内での重心座標値を、マーカ座標値として出力する。

キャリブレーション部１６０は、キャリブレーションを行い、カメラ画像の中での座標位置と、シースルーディスプレイでの表示座標位置との対応関係式を算出する。

図４は、本発明の第１の実施の形態におけるキャリブレーション動作のフローチャートである。同図に示す動作は、カメラ画像での座標位置と、表示装置の座標位置との対応関係を算出するものである。

キャリブレーションに用いる実空間上のマーカの種類については、予め定めておいてもよい。例えば、画面中で明るい点光源をマーカに用いることを予め定めておいてもよい。また、シースルーディスプレイ３に初期設定用の画面を表示し、シースルーディスプレイ３の装着者がメニュー形式で選択してもよい。例えば、マーカの選択肢として、"明るい点光源"を含む複数の選択肢を表示し、シースルーディスプレイ３の装着者がメニューの中からマーカの種類を選択することにより、マーカの種類が選択される。

シースルーディスプレイ３の装着者が、制御部１００のメニューを用いて、キャリブレーションを開始することにより、キャリブレーションが開始する。以下、シースルーディスプレイ３の装着者がキャリブレーションに用いる種類を指定する場合でのキャリブレーションパラメータを算出する動作を説明する。

ステップ１０１）キャリブレーション部１６０は、キャリブレーションのための初期設定を実施する。

まず、キャリブレーション部１６０は、シースルーディスプレイ３の装着者（以下、ユーザと記す）が指定した、キャリブレーション用のマーカを検出するアルゴリズムを記憶部１７０から読み出し、マーカ座標算出部１５０に設定する。

次に、キャリブレーション部１６０は、記憶部１７０のキャリブレーション用データからキャリブレーション用画像データと、シースルーディスプレイ上でのキャリブレーション用画像表示座標値データを取得する。キャリブレーション用画像表示座標値データは、シースルーディスプレイ３の上端のいずれかの位置を示す座標値と、下端のいずれかの位置を示す座標値の２つの座標値を含む、２つ以上の座標値からなる。以後の、ステップ１０２からステップ１０５までの処理は、キャリブレーション用画像表示座標値データに含まれる、全ての座標値に対して実施される。

ステップ１０２）キャリブレーション部１６０は、表示位置制御部１２０にキャリブレーション用画像データと、シースルーディスプレイ３上でのキャリブレーション用画像表示財表値を受け渡す。表示位置制御部１２０がシースルーディスプレイ３にキャリブレーション用画像を表示する。

ステップ１０３）キャリブレーション部１６０は、シースルーディスプレイ３に表示されたキャリブレーション用画像と、実世界にあるキャリブレーション用マーカ（例えば、遠くの点光源）が重なって見えるように顔の向きを変えて、実世界にあるキャリブレーション用マーカ（例えば、遠くの点光源）が重なって見えたら予め定めた所定のアクションをとるよう、ユーザに指示する。ユーザへの指示方法としては、例えば、シースルーディスプレイに指示内容を示すメッセージを表示する。スピーカを備える装置の場合、スピーカを用いて音声で指示を与えてもよい。

ステップ１０４）キャリブレーション部１６０は、ユーザがシースルーディスプレイ３に表示されたキャリブレーション用画像と、実世界にあるキャリブレーション用マーカ（例えば、遠くの点光源）が重なって見える位置にあることを示す所定のアクションをとったことを示すコマンドを受信し、そのコマンドを受信した時点でのカメラ画像を映像キャプチャ部１１０から取得する。

キャリブレーション用画像と、実世界にあるキャリブレーション用マーカが重なって見える位置にあることを示す所定のアクションとしては、例えば、予めキャリブレーション用画像と、実世界にあるキャリブレーション用マーカが重なって見える位置にあることを示すポインティング動作を定めて、カメラ撮影範囲の中で、ユーザにこのポインティング動作を実施してもらうこととしてもよい。この場合、記憶部１７０のポインティング特徴量に、実世界にあるキャリブレーション用マーカが重なって見える位置にあることを示す所定のアクションに該当するポインティング特徴量を予め格納し、ポインタ座標算出部１４０でこのポインティング動作がなされたかどうか、及び、このポインティング動作が行われた座標値を検出する。キャリブレーション部１６０が、ポインタ座標算出部１４０よりポインティング動作がなされたかどうかと、このポインティング動作が行われた座標値を受け取る。キャリブレーション部１６０は、これらの情報を受け取ると、カメラ画像を映像キャプチャ部１１０から取得する。

ステップ１０５）キャリブレーション部１６０は、ステップ１０４で取得した画像をマーカ座標算出部１５０に入力して、マーカ座標算出部１５０からマーカ座標値を取得し、この値を出力する。なお、マーカ座標算出部１５０は、ステップ１０４でキャプチャされたカメラ画像の中から、記憶部１７０に格納されているマーカ特徴量を用いてマーカを抽出し、カメラ画像内でのマーカの座標値を出力とする。

ステップ１０６）ステップ１０２からステップ１０５までの処理を、キャリブレーション用画像表示座標値に含まれるすべての座標値に対して実施したかどうかを判断する。実施していないキャリブレーション用画像表示座標値がある場合には、ステップ１０２に戻る。全てのキャリブレーション用画像表示座標値に対してステップ１０２からステップ１０５までの処理を実施済みの場合は、ステップ１０７に移行する。

ステップ１０７）キャリブレーション用画像をシースルーディスプレイ３の上端に表示した場合、下端に表示した場合の２つの場合に対しての、ステップ１０２でキャリブレーション用画像を表示したシースルーディスプレイ３上での座標位置と、ステップ１０５で検出したカメラ画像でのマーカの座標位置の組み合わせ（２組の組み合わせ）を用いて、カメラ画像とシースルーディスプレイ３の座標の変換パラメタを算出する。

ステップ１０６で検出した全ての座標値のうち、キャリブレーション用画像をシースルーディスプレイ３の上端の座標値に表示した場合と、下端の座標値に表示した場合の２つの場合の映像キャプチャ部１１０で取得した画像上の座標値を算出する。

図５において、抽出した２つの座標値の、上端を（ｘｃ１，ｙｃ１）、下端を（ｘｃ２、ｙｃ２）とする。

また、シースルーディスプレイ３の表示デバイスの、鉛直方向の画素数をＮとする。このとき、キャリブレーション用パラメータα、βを、
α＝ｙｃ１
β＝│ｙｃ１−ｙｃ２│／Ｎ
として求める。

なお、シースルーディスプレイの表示デバイスの鉛直方向の画素数Ｎについては、予め記憶部１７０に格納しておくこととする。

このとき、シースルーディスプレイ３の（ｘｄ，ｙｄ）の座標値にポインタを表示する場合、シースルーディスプレイの装着者から見て、このポインタが重なって見える物体が、キャプチャ画像の中で写りこんでいる座標位置（ｘｃ，ｙｃ）は、
ｘｃ＝ｘｄ
ｙｃ=ｙｄ×β＋α
として求めることができる。

このα、βを求めることにより、カメラ座標系と、シースルーディスプレイの座標系のキャリブレーションが実現される。

［第２の実施の形態］
本発明のキャリブレーション技術を用いて表示デバイスのキャリブレーションを実施し、カメラ映像から人の指の特定の形状を検出する処理を加えることで、実空間の物体を選択し、選択された物体に関する情報を検索するアプリケーション（以下、実空間情報検索）に適用した例を示す。

図６は、本発明の第２の実施の形態におけるキャリブレーション装置の構成を示す。

同図に示す装置は、メガネ本体１、シースルーディスプレイ３、カメラ４、制御装置１０、無線通信装置２０から構成される。

ユーザは、メガネ本体１を装着し、シースルーディスプレイ３を通して、対象オブジェクト２を見る。カメラ４は、ユーザの効き目の近くに配置され、ユーザの効き目で見える画像に近い映像を撮影し、撮影された実空間情報を制御装置１０に送る。制御装置１０では、カメラ４で撮影されたユーザの指の動き情報あるいは無線通信装置２０から取得した加速度センサ情報を利用し、ユーザが選択したオブジェクト属性情報及びオブジェクト位置を含む画像情報を無線通信装置２０に送る。無線通信装置２０は、入手したオブジェクト属性情報、オブジェクト画像情報に加え、ＧＰＳ等により取得したユーザの位置情報、無線通信装置が内蔵している時刻情報のいずれかあるいは両方の情報を検索キーとして、遠隔地にあるサーバあるいは、無線通信装置２０が保持しているオブジェクト情報を検索する。検索結果は、制御装置１０に送信され、制御装置１０では、検索結果の表示画像を合成し、シースルーディスプレイ３に表示する。ユーザは、対象オブジェクトに関する検索結果を実際に見ている実空間にオーバレイした情報としてみることができる。

メガネの形状をしており、メガネのレンズ部分に透過型表示デバイスを設置した表示デバイス（「ビデオグラス」と呼ばれることもある）の市販製品としては以下のようなものがある。

・Video Eyeglasses （イスラエル、LUMUS社）
(http://www.lumus-optical.com/index.php?optioon=com_content&task=view&id=9&Itemid=15) "
・Eye-Trek （オリンパス社）
(http://www.watch.impress.co.jp/av/docs/20011010/olymus.htm)
次に、カメラ４、シースルーパネル（ディスプレイ）３の配置について説明する。

図７は、本発明のカメラ、シースルーパネルの配置の例を示す。同図に示すように、利用者の焦点位置とカメラの焦点位置を近くするため、カメラ４は効き目側に配置し、且つ、カメラ４の焦点位置は、利用者の目の焦点位置に近い奥行きになるように配置する。また、オブジェクト選択及びポインタ表示における上下方向の誤差を少なくするため、カメラの焦点位置、シースルーディスプレイ３の中心及び利用者の目の焦点位置は上下方向では一致するように配置する。オブジェクト選択においては、シースルーディスプレイ３とオブジェクトが存在する平面の上下方向の関係を利用し、シースルーディスプレイ上のポインタ位置と実時間のオブジェクト位置を一致させているため、上下方向の誤差を抑えることは有効である。

図８は、本発明の第２の実施の形態における制御装置と無線通信装置の構成を示す。

制御装置１０は、映像キャプチャ部１１、オブジェクト画像抽出部１２、ポインタ座標算出部１３、表示位置制御部１４、表示情報生成部１５からから構成される。

無線通信部２０は、検索制御部２１、GPS機能部２２、日時取得部２３、通信制御部２４から構成される。

制御装置１０の映像キャプチャ部１１は、カメラ４から入力された画像を解析可能なディジタル信号に変換する。

オブジェクト画像抽出部１２は、ポインタ座標算出部１３からの座標情報を使用し、検索対象となるオブジェクトのディジタル情報切り出す。

ポインタ座標算出部１３は、映像キャプチャ部１１から受け取ったディジタル情報からの指のアクションを検出し、ユーザが選択したオブジェクト位置、あるいは選択したメニュー位置を特定する機能を有する。

図９は、本発明の第２の実施の形態におけるポインタ座標算出部における指検出アルゴリズムを説明するための図（その１）である。

同図のイメージＡに示すように、撮影しているカメラの前方で、指先を閉じた後、イメージＢのように指の付け根の位置を大きく変えずに、オブジェクトを挟むように人差し指と親指を開く。このアクションは、指が背景に比べて前方にあり、かつ、背景に比べ、画像における変化量が大きいことから、イメージＡとイメージＢの間の動きについて、イメージＣに示すように、動き情報を検出することができる。イメージＣに示すように、動きが最大であった場所の終端（黒丸で示す部分）をオブジェクトの上端及び下端として抽出する。

なお、指の動き情報の検出には、例えば、「映情学技報、VIS2001-103, Vol.25, No. 85, pp.47-52 (2001)」で提案されている方法などを利用する（http://www.is.aist.go.jp/weavy/paper/distribution/2001/ITE2001-kurata.pdf）。

図１０は、本発明の第２の実施の形態におけるポインタ座標算出部における指検出アルゴリズムを説明するための図（その２）である。

図９に示すアルゴリズムとの違いは、指の動きを検出しやすいように、背景色との識別が容易なマーカを指に装着しているところにある。図９に示すイメージＡのように、視界を撮影しているカメラ前方で、指先を閉じた後、イメージＢのように指の付け根の位置を大きく変えずに、オブジェクトを挟むように人差し指と親指を開く。撮影した画像からイメージＣのようにマーカ部分を抽出し、マーカの上端、下端よりオブジェクトの上端と下端を検出することができる。

図１１は、本発明の第２の実施の形態におけるポインタ座標算出部のポインタ座標決定アルゴリズムを説明するための図である。

シースルーディスプレイ３に対して垂直方句をＸ軸、シースルーディスプレイ３に対して平行でかつ上下方向の軸をＹ軸として説明する。

（Ｘ０，Ｙ０）は目及びカメラ４の焦点位置であり、本説明においては、目及びカメラ４の焦点位置はＸ軸及びＹ軸上で略同じであると仮定する。Ｘ１はメガネ４に含まれルシースルーディスプレイ３のＸ軸上の位置を示している。Ｘ３はキャプチャ画像上のＸ軸上の位置を示している。Ｙ０は、焦点位置からシースルーディスプレイ３に下ろした垂線の延長線上のＹ軸上の位置を示している。（Ｘ３，Ｙ１）及び（Ｘ３，Ｙ２）は、オブジェクトの上端と下端の座標を示している。（Ｘ１，ｙ１）及び（Ｘ１，ｙ２）は、シースルーディスプレイ３上でのオブジェクトの上端と下端に対応する座標（Ｘ３，ｙｃ１）及び（Ｘ３，ｙｃ２）はカメラ４の画像をキャプチャした画像のうち、シースルーディスプレイ３の上端（Ｘ１，ａ１）及び下端（Ｘ１，ａ２）に対応するＸ３軸上の位置を示している。
カメラ画像は、メガネ本体１に付属のカメラ４により取得されている画像イメージを示している。

上記の図９、図１０に示すアルゴリズムにより検出された指の位置は、カメラ画像上の黒丸の位置に相当する。カメラ画像上の黒丸の位置と、シースルーディスプレイ３上の黒丸の位置の関係は、以下のようにして決定することができる。

Ｙ１＝ｙ１×β＋α
Ｙ２＝ｙ２×β＋α
なお、αとβは、第１の実施の形態で算出したものを用いる。本例では、N=│ａ₁−ａ₂│である。従って、表示するポインタ位置は、画像中の指の位置から以下のように算出することができる。

ｙ１＝（Ｙ１−α）／β
ｙ２＝（Ｙ２−α）／β
表示位置制御部１４は、ポインタ座標算出部１３から受け取った画像の表示位置の調整及び合成を行う。

表示情報生成部１５は、無線通信装置２０の検索制御部２１から受け取った検索結果の情報を画像情報に変換する。

無線通信装置２０の検索制御部２１は、制御装置１０のオブジェクト画像抽出部１２から受け取ったディジタル情報、GPS機能部２２から受け取った位置情報及び日時取得部２３から受け取った日時情報を使用し、オブジェクト情報の検索指示及び結果受け取りを行う。また、文字認識などの処理の指示を行う。

通信制御部２４は、検索制御部２１からの指示により、遠隔地にあるサーバとの通信を行う。

次に、上記の構成における動作を説明する。

図１３は、本発明の第２の実施の形態におけるオブジェクト選択のフローチャートであり、図１４は、当該動作の画面イメージであり、を説明するための図であり、同図（A）のＰ０は、指の出現を検出した時のポインタの初期位置を示す。同図（B）のＰ１、Ｐ２は指のアクションを検出して得られた人差し指及び親指の先端の位置、Ｐ３はマーク表示したエリアの画像をオブジェクト画像抽出部１２でキャプチャした画像を表示する位置を示す。

ステップ３０１）利用者が効き目の前方に指をかざすと、ポインタ座標算出部１３において、指の出現を検出し、表示位置制御部１４においてP０にポインタを表示する。

ステップ３０２）利用者は、人差し指と親指をポインタが見えている位置に移動させ、両指を合わせることにより、ポインタを仮想的につかむ。

ステップ３０３）親指と人差し指を閉じたまま、検索対象のオブジェクト位置までポインタを移動させ、オブジェクトの位置で指を開く。

ステップ３０４）ポインタ座標算出部１３において、指の開くアクションを検出し、人差し指及び親指の先端の位置から、上端P１、下端Ｐ２を決定する。

ステップ３０５）表示位置制御部１４は、上端P１、下端Ｐ２に囲まれた円形あるいは正方形のエリアにマークを表示する。

ステップ３０６）マーク表示したエリアの画像をオブジェクト画像抽出部１２でキャプチャする。

ステップ３０７）キャプチャした画像をＰ３位置に表示する。

図１４は、本発明の第２の実施の形態におけるオブジェクト検索動作のフローチャートであり、図１５、図１６は、オブジェクト検索のイメージ図である。図１５（Ａ）のＱ０は、対象オブジェクトの種別リストの選択画面の表示位置を示しており、図１５（Ｂ）のＱ１は、選択された所望のオブジェクト種別の背景色を変更して表示する位置を示している。図１６（Ｃ）のＲ０は、検索結果の表示位置を示している。図１６（Ｄ）のＲ１は選択した所望のオブジェクト候補の位置、Ｓ１は、オブジェクト情報の表示位置を示している。

ステップ４０１）上記の図１２の処理により、オブジェクトを選択後、利用者が再び指を閉じると、オブジェクト画像抽出部１２において、指を再び閉じるアクションを検出し、表示位置制御部１４において対象オブジェクトの種別リストの選択画面を表示位置Ｑ０に表示する。

ステップ４０２）利用者が指でポインタを掴み、ポインタをＱ０に移動させる。

ステップ４０３）利用者は、指を開いて、再び閉じることで、所望のオブジェクト種別Ｑ１を選択する。

ステップ４０４）無線通信装置２０の検索制御部２１は、日時取得部２３、ＧＰＳ機能部２２から現在の日時、場所を取得する。

ステップ４０５）無線通信装置２０の検索制御部２１は、オブジェクト種別から対象ＤＢを決定し、キャプチャ画像、日時、場所からオブジェクト情報を検索する。

ステップ４０６）制御装置２０の表示情報生成部１５は、検索制御部２１から検索結果を受け取ると、画像情報に変換し、シースルーディスプレイ３のＲ０の位置に類似度の高い順に候補を出力する。

ステップ４０７）指でポインタを掴み、ポインタをシースルーディスプレイ３のＲ１に移動させ、指を開いて、再び閉じることで、詳細情報をシースルーディスプレイ３のＳ１に表示する。

次に、オブジェクト種別として、文字あるは看板を選択した場合の動作を説明する。

図１７は、本発明の第２の実施の形態における文字認識動作のフローチャートであり、図１８、図１９は、文字認識のイメージ図である。図１８（Ａ）のＱ０は、対象オブジェクトの種別リストの選択画面の表示位置を示しており、同図（Ｂ）のＱ１は、選択された所望のオブジェクト種別の背景色を変更して表示する位置を示している。図１９（Ｃ）のＲ０は、検索結果の表示位置を示しており、同図（Ｄ）のＲ１は選択した所望のオブジェクト候補の位置、Ｓ１はオブジェクト情報の表示位置を示している。

ステップ５０１）対象オブジェクトを含む画像が表示され、指を再び閉じるアクションを検出し、対象オブジェクトの種別リストの選択画面を表示位置Ｑ０（図１８（Ａ））に表示する。

ステップ５０２）利用者は、指でポインタをつまみ、ポインタをＱ０に移動させる。

ステップ５０３）指を開いて、再び閉じることで所望のオブジェクト種別Ｑ１（看板、あるいはラベル（図１８（Ｂ））を選択する。

ステップ５０４）対象オブジェクト領域に対して文字認識を実施し、認識結果候補を信頼性の高い順にＲ０（図１９（Ｃ））に表示する。

ステップ５０５）Ｒ０のエリアに類似度の高い順に候補を表示する。

ステップ５０６）指でポインタをつまみ、ポインタをＲ１（図１９（Ｄ））に移動させる。

ステップ５０７）再び指を閉じることで、商品、店舗、駅などの検索を実施し、検索結果をＳ０（図１９（Ｄ））に表示する。

［第３の実施の形態］
本実施の形態は、前述の第２の実施の形態における図８の無線通信装置２０の構成に加速度センサ及び操作部を設けた点において、第２の実施の形態と異なる。

図２０は、本発明の第３の実施の形態における制御装置と無線通信装置の構成を示す。同図において、図８と同一構成部分には同一符号を付し、その説明を省略する。

図２０に示す無線通信装置２０は、図８の構成に、加速度センサ２５と操作部２６が付加された構成である。加速度センサ２５と操作部２６は、図２１に示すように、タッチパネル３４の下部に、利用者がポインタ位置を決定するための決定ボタン３１、ポインタ位置を解除し、再設定するためのキャンセルボタン３２、オブジェクト選択を最初からやり直すためのホームポジションボタン３３を有し、タッチパネル３４の上部に加速センサ２５とＧＰＳ機能部２２を設けた構成である。

図８におけるポインタ座標算出部１３は、指のアクションを検出し、ユーザが選択したオブジェクト位置、あるいは、選択したメニュー位置を特定していたが、本実施の形態では、加速度センサ２５からの動き情報により、ユーザが選択したオブジェクト位置、あるいは、選択したメニュー位置を特定する。

加速度センサ２５は、無線通信装置２０の動きを検出し、ポインタ座標算出部１３に送る。操作部２６は、ユーザが決定ボタン３１を押したことを検出し、操作情報をポインタ座標算出部１３に送る。ポインタ座標算出部１３では、加速度センサ２５からの動きをシースルーディスプレイ平面状の動きに射影変換する。

次に、本実施の形態におけるポインタ座標算出部１３の動作を説明する。

図２２は、本発明の第３の実施の形態におけるポインタ座標算出部におけるポインタ座標からの画像抽出範囲の決定アルゴリズムを示している。

図２０に示す構成の場合は、カメラ画像からポインタ位置を検出するのではなく、無線通信装置２０に付属している加速度センサ２５によりシースルーディスプレイ３に表示されているポインタを動かして、オブジェクトを選択するため、ポインタ位置から、カメラ画像上の対応するオブジェクト位置を決定する必要がある。（Ｘ０，Ｙ０）は目及びカメラ４の焦点位置であり、本発明においては、目及びカメラ４の焦点位置はＸ軸及びＹ軸上で、略同じであると仮定する。Ｘ１は、メガネ１に含まれるシースルーディスプレイ３のＸ軸上の位置を示している。Ｘ３はオブジェクトが存在するＸ軸上の位置を示している。Ｙ０は、焦点位置からシースルーディスプレイに下ろした垂線の延長線上のＹ軸上の位置を示している。（Ｘ３，Ｙ１）及び（Ｘ３，Ｙ２）は、オブジェクトの上端と下端の座標を示している。（Ｘ１，ｙ１）及び（Ｘ１，ｙ２）は、シースルーディスプレイ３上でのオブジェクトの上端と下端に対応する座標を示している。（Ｘ３，ｙｃ１）及び（Ｘ３，ｙｃ２）は、カメラ４の画像をキャプチャした画像のうち、シースルーディスプレイ３の上端（Ｘ１，ａ１）及び下端（Ｘ１，ａ２）に対応するＸ３軸上の位置を示している。カメラ画像は、カメラ４により取得されている画像イメージを示している。

（Ｘ１，ａ１）及び（Ｘ１，ａ２）は、利用者が無線通信装置２０の決定ボタンを押下することによって座標が決まる。カメラ画像上のオブジェクトの位置は以下のように算出される。

Ｙ１＝ｙ１×β＋α
Ｙ２＝ｙ２×β＋α
なお、αとβは第１の実施の形態で算出したものを用いる。本例では、N=│ａ₁−ａ₂│である。

図２３は、本発明の第２の実施の形態におけるオブジェクト選択時のフローチャートであり、図２４は、オブジェクト選択のイメージ図であり、図２４（Ａ）のＰ０は無線通信装置２０の決定ボタン３１を押下したときのポインタの初期位置を示す。同図（Ｂ）のＰ１、Ｐ２は、無線通信装置２０でポインタを移動させ、決定ボタン３１の押下で設定したオブジェクトの上端と下端の位置、Ｐ３はマーク表示したエリアの画像をオブジェクト画像抽出部１２でキャプチャした画像を表示する位置を示す。

ステップ６０１）ユーザが無線通信装置２０の決定ボタン３１を押下すると、Ｐ０（図２４（Ａ））にポインタを表示する。

ステップ６０２）加速度センサ２５付きの無線通信装置２０を動かすことにより、検索対象のオブジェクト位置までポインタを左右上下に移動させる。

ステップ６０３）加速度センサ２５から情報により、ポインタがその表示位置をＰ１（図２４（Ｂ））に移動させる。

ステップ６０４）オブジェクトの上端Ｐ１で無線通信装置２０の決定ボタン３１を押下して、オブジェクトの上端を決定する。

ステップ６０５）加速度センサ２５からの情報により、ポインタ画像の中心位置をＰ２（図２４（Ｂ））に移動する。

ステップ６０６）再び、加速度センサ２５付きの無線通信装置２０をオブジェクトの下端Ｐ２に移動させ、Ｐ２を決定し、選択されたエリアであることを示すために、Ｐ１，Ｐ２に囲まれた円形あるいは正方形のエリアにマークを表示する。

ステップ６０７）決定されたＰ１，Ｐ２に囲まれた領域の画像を対象オブジェクトとしてキャプチャし、キャプチャした画像をＰ３（図２４（Ｂ））位置に表示する。

ステップ６０８）Ｐ１，Ｐ２に囲まれた領域に選択したことを示すマークを表示する。

次に、オブジェクト検索動作時の例を説明する。

図２５は、本発明の第３の実施の形態におけるオブジェクト検索時のフローチャートであり、図２６，図２７はオブジェクト検索のイメージ図である。図２６（Ａ）のＱ０は、対象オブジェクトの種別リストの選択画面の表示位置を示している。図２６（Ｂ）のＱ１は、選択された所望のオブジェクト種別の背景色を変更して表示する位置を示している。図２７（Ｃ）のＲ０は検索結果の表示位置を示している。同図（Ｄ）のＲ１は、選択した所望のオブジェクト候補の位置、Ｓ１はオブジェクト情報の表示位置を示している。

ステップ７０１）対象オブジェクトを含む画像が表示されると、当該対象オブジェクトの種別リストの選択画面を表示位置Ｑ０（図２６（Ａ））に表示する。

ステップ７０２）加速度センサ２５付きの無線通信装置２０を移動させ、ポインタをＱ０に移動する。

ステップ７０３）無線通信装置２０の決定ボタン３１を押下して、所望のオブジェクト種別Ｑ１（図２６（Ｂ））を選択する。

ステップ７０４）検索制御部２１は、日時取得部２３、ＧＰＳ機能部２２から日時及び場所の情報を取得する。

ステップ７０５）検索制御部２１は、オブジェクト種別から対象ＤＢを決定し、キャプチャ画像、日時、場所から候補を検索する。

ステップ７０６）表示情報生成部１５は、Ｒ０（図２７（Ｃ））の位置に類似度の高い順に候補を出力する。

ステップ７０７）加速度センサ２５付き無線通信装置２０を移動させ、ポインタＲ０（図２７（Ｃ））の位置に類似度の高い順に候補を出力する。

ステップ７０８）無線通信装置２０を移動させ、ポインタをＲ１（図２７（Ｄ））に移動させ、無線通信装置２０の決定ボタン３１を押下すると、詳細情報をＳ０（図２７（Ｄ））に表示する。

次に、オブジェクト種別として文字あるいは看板を選択した場合について説明する。

図２８は、本発明の第３の実施の形態における文字認識動作のフローチャートであり、図２９、図３０は、文字認識動作時の画面イメージを示す。図２９（Ａ）のＱ０は対象オブジェクトの種別リストの選択画面の表示位置を示し、図２９（Ｂ）のＱ１は選択された所望のオブジェクト種別の背景色を変更して表示する位置を示し、図３０（Ｃ）のＲ０は、検索結果の表示位置を示し、図３０（Ｄ）のＲ１は選択した所望のオブジェクト候補の位置、Ｓ１はオブジェクト情報の表示位置を示している。

ステップ８０１）対象オブジェクトの種別リストの選択画面を表示位置Ｑ０（図２９（Ａ））に表示する。

ステップ８０２）加速度センサ２５付きの無線通信装置２０を移動させ、ポインタをＱ０に移動させる。

ステップ８０３）無線通信装置２０の決定ボタン３１を押下して所望のオブジェクト種別Ｑ１（看板あるいはラベル）を選択する。

ステップ８０４）オブジェクト画像抽出部１２は、対象オブジェクトエリアから看板あるいはラベル候補を抽出する。

ステップ８０５）対象オブジェクト領域に対して文字認識を実施し、認識結果候補を信頼性高い順にＲ０（図３０（Ｃ））に表示する。

ステップ８０６）加速度センサ２５付き無線通信装置２０を移動させ、ポインタをＲ１（図３０（Ｄ））に移動する。

ステップ８０７）無線通信装置２０の決定ボタン３１を押下すると、検索制御部２１において翻訳あるいは、商品、店舗、駅などの検索を実施する。

ステップ８０８）表示情報生成部１５は、Ｓ０（図３０（Ｄ））に翻訳結果や検索結果を表示する。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、キャリブレーション技術に適用可能である。

本発明の原理を説明するための図である。本発明の原理構成図である。本発明の第１の実施の形態におけるキャリブレーション装置構成図である。本発明の第１の実施の形態におけるキャリブレーション動作のフローチャートである。本発明の第１の実施の形態における座標値を説明するための図である。本発明の第２の実施の形態におけるキャリブレーション装置の構成図である。本発明の第２の実施の形態におけるカメラ、シースルーパネル配置の例である。本発明の第２の実施の形態における制御装置と無線通信装置の構成図である。本発明の第２の実施の形態におけるポインタ算出部における指検出アルゴリズムを説明するための図（その１）である。本発明の第２の実施の形態におけるポインタ算出部における指検出アルゴリズムを説明するための図（その２）である。本発明の第２の実施の形態におけるポインタ座標算出部のポインタ表示位置決定アルゴリズムを説明するための図である。本発明の第２の実施の形態におけるオブジェクト選択動作のフローチャートである。本発明の第２の実施の形態におけるオブジェクト選択動作の画面イメージである。本発明の第２の実施の形態におけるオブジェクト検索動作のフローチャートである。本発明の第２の実施の形態におけるオブジェクト検索動作の画面イメージ（ｓの１）である。本発明の第２の実施の形態におけるオブジェクト検索動作の画面イメージ（その２）である。本発明の第２の実施の形態における文字認識動作のフローチャートである。本発明の第２の実施の形態における文字認識動作の画面イメージ（その１）である。本発明の第２の実施の形態における文字認識動作の画面イメージ（その２）である。本発明の第３の実施の形態における制御装置と無線通信装置の構成図である。本発明の第３の実施の形態における無線通信装置の配置の例である。本発明の第３の実施の形態におけるポインタ位置からの画像抽出処理を説明するための図である。本発明の第３の実施の形態におけるオブジェクト選択時のフローチャートである。本発明の第３の実施の形態におけるオブジェクト選択動作の画面イメージである。本発明の第３の実施の形態におけるオブジェクト検索時のフローチャートである。本発明の第３の実施の形態におけるオブジェクト検索動作の画面イメージ（その１）である。本発明の第３の実施の形態におけるオブジェクト検索動作の画面イメージ（その２）である。本発明の第３の実施の形態における文字認識動作のフローチャートである。本発明の第３の実施の形態における文字認識動作の画面イメージ（その１）である。本発明の第３の実施の形態における文字認識動作の画面イメージ（その２）である。従来の透過型ヘッドマウントディスプレイの構成図である。

符号の説明

１メガネ本体
２対象オブジェクト
３透過型表示デバイス、シースルーディスプレイ
４カメラ
１０制御装置
１１映像キャプチャ部
１２オブジェクト画像抽出部
１３ポインタ座標算出部
１４表示位置制御部
１５表示情報性西部
２０無線通信装置
２１検索制御部
２２ＧＰＳ機能部
２３日時取得部
２４通信制御部
２５加速度センサ
２６操作部
３１決定ボタン
３２キャンセルボタン
３３ホームポジションボタン
３４タッチパネル
１００制御装置
１１０映像キャプチャ手段、映像キャプチャ部
１２０キャリブレーション用画像表示制御手段、表示位置制御部
１３０オブジェクト画像抽出部
１４０ポインタ座標算出部
１５０マーカ座標値算出手段、マーカ座標算出部
１６０パラメータ算出手段、キャリブレーション部
１６１方向指示手段
１７０記憶手段、記憶部

Claims

実世界の中のキャリブレーション用マーカを用い、透過型表示デバイスの装着者の顔の近傍、かつ、視線位置と略同じ高さに設置されたカメラを用いた、前記透過型表示デバイスのキャリブレーション方法であって、
記憶手段から少なくとも透過型表示デバイスの上端のいずれかの座標値と、下端のいずれかの座標値の２つの座標値をキャリブレーション用画像表示座標値として持つキャリブレーション用画像表示座標データを読み出して、該透過型表示デバイス上の、該キャリブレーション用画像表示座標データで指定される座標値にキャリブレーション用画像を表示し、
実世界の中のキャリブレーション用マーカと前記表示デバイスに表示された前記キャリブレーション用画像とが重なって見えるように顔の向きを変えることを該表示デバイスの装着者に指示し、
前記実世界の中のキャリブレーション用マーカと前記表示デバイスに表示されたキャリブレーション用画像とが重なって見えることを示す情報を受信した時点で、前記カメラによるカメラ画像をキャプチャし、
前記カメラ画像のキャプチャ画像から前記実世界の中のキャリブレーション用マーカを検出して該カメラ画像内でのマーカの座標値を算出し、
前記透過型表示デバイスの上端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値、及び、前記透過型表示デバイスの下端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値を用いて前記カメラ画像での座標値と前記透過型表示デバイスの座標値とのキャリブレーションパラメータを算出する
ことを特徴とする表示デバイスのキャリブレーション方法。
実世界の中のキャリブレーション用マーカを用い、透過型表示デバイスの装着者の顔の近傍、かつ、視線位置と略同じ高さに設置されたカメラを用いた、前記透過型表示デバイスのキャリブレーション装置であって、
少なくとも透過型表示デバイスの上端のいずれかの座標値と、下端のいずれかの座標値の２つの座標値をキャリブレーション用画像表示座標値として持つキャリブレーション用画像表示座標データを格納した記憶手段と、
前記記憶手段から前記キャリブレーション用画像表示座標データを読み出して、前記透過型表示デバイス上の、該キャリブレーション用画像表示座標データで指定される座標値にキャリブレーション用画像を表示するキャリブレーション用画像表示制御手段と、
実世界の中のキャリブレーション用マーカと前記透過型表示デバイスに表示された前記キャリブレーション用画像とが重なって見えるように顔の向きを変えることを該表示デバイスの装着者に指示する方向指示手段と、
前記実世界の中のキャリブレーション用マーカと前記表示デバイスに表示されたキャリブレーション用画像とが重なって見えることを示す情報を受信した時点で、前記カメラによるカメラ画像をキャプチャする映像キャプチャ手段と、
前記カメラ画像のキャプチャ画像から前記実世界の中のキャリブレーション用マーカを検出して該カメラ画像内でのマーカの座標値を算出するマーカ座標値算出手段と、
前記透過型表示デバイスの上端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値、及び、前記透過型表示デバイスの下端の座標値とその座標値に対応するカメラ画像内でのマーカの座標値を用いて前記カメラ画像での座標値と前記透過型表示デバイスの座標値とのキャリブレーションパラメータを算出するパラメータ算出手段と、
を有することを特徴とする表示デバイスのキャリブレーション装置。