JP6505354B2 - 表示装置 - Google Patents

Description

本発明は、透過型ディスプレイを備える表示装置に関する。

近年、透明な材料を用いることによって背後を見通すことが可能な透過型ディスプレイが実現されている。このような透過型ディスプレイを備えた表示装置の利用形態の一つとして、例えばユーザが透過型ディスプレイを通して視認した物体に関する情報をディスプレイ上に表示させる形態（拡張現実）が挙げられる。例えば特許文献１に記載の表示システムでは、透過型のヘッドマウントディスプレイが開示されている。この表示システムでは、利用者の視点からの奥行に応じて透過型ディスプレイに表示される仮想情報の端点位置を補正することにより、仮想情報の視認性の向上を図っている。

特開２０１１−４７８６６号公報

ところで、ユーザが透過型ディスプレイを通してどの物体を視認しているのかを装置側で判断するためには例えばカメラなどの撮像手段を用いることが考えられる。しかしながら、透過型ディスプレイの視認性を阻害しないためには、透過型ディスプレイの外側の領域に撮像手段を配置する必要がある。このため、ユーザが透過型ディスプレイを通して視認している物体の位置（視認位置）と、撮像手段が撮像する画像における物体の位置（撮像位置）との間にはズレが生じることとなる。このズレは、物体の距離が近い場合に特に顕著になるため、透過型ディスプレイを通して視認される物体の位置と、情報が表示される情報の位置とを対応させるための技術が必要となっている。

本発明は、上記課題の解決のためになされたものであり、透過型ディスプレイを通して視認される物体の位置に合わせて適切な位置に情報を表示させることができる表示装置を提供することを目的とする。

上記課題の解決のため、本発明に係る表示装置は、ユーザが背面側を視認可能な透過型ディスプレイを備えた表示装置であって、透過型ディスプレイの外側領域に配置された撮像手段と、撮像手段が取得した対象物の撮像データを情報提供サーバに送信する撮像データ送信手段と、撮像データの送信に応じて情報提供サーバから送信される対象物の関連情報を受信する関連情報受信手段と、関連情報受信手段が受信した関連情報の透過型ディスプレイでの表示位置を設定する表示位置設定手段と、表示位置設定手段によって設定された表示位置に基づいて関連情報を透過型ディスプレイに表示させる表示制御手段と、を備え、表示位置設定手段は、ユーザから撮像手段までの距離と、撮像手段から対象物までの距離と、撮像手段の画角とに基づいて、撮像手段の撮像面における対象物の座標から透過型ディスプレイ上での対象物の座標を推定することを特徴としている。

この表示装置では、ユーザから撮像手段までの距離と、撮像手段から対象物までの距離と、撮像手段の画角とに基づいて、撮像手段の撮像面における対象物の座標から透過型ディスプレイ上での対象物の座標を推定している。これにより、ユーザが透過型ディスプレイを通して視認している物体の位置（視認位置）と、撮像手段が撮像する画像における物体の位置（撮像位置）との間のズレが補正され、透過型ディスプレイを通して視認される対象物の位置に合わせて適切な位置に関連情報を表示させることができる。

また、撮像手段は、オートフォーカス機能を有し、当該機能を用いて撮像手段から対象物までの距離を取得することが好ましい。この場合、撮像手段から対象物までの距離を簡便に取得できる。

また、ユーザから撮像手段までの距離の較正を予め実行する較正手段を更に備えていることが好ましい。この場合、表示位置設定手段において、撮像手段の撮像面における対象物の座標から透過型ディスプレイ上での対象物の座標を推定する処理を簡単化できる。

本発明によれば、透過型ディスプレイを通して視認される物体の位置に合わせて適切な位置に情報を表示させることができる。

本発明に係る表示装置の一実施形態に係る正面図である。 図１に示した表示装置の機能的な構成要素を示すブロック図である。 ユーザ、表示装置、及び対象物の位置関係を示す図である。 ユーザが透過型ディスプレイを通して視認している対象物の座標を示す図である。 撮像部と対象物との位置関係を示す図である。 撮像面での対象物の座標を示す図である。 特異点データの一例を示す図である。 関連情報データベースに格納される情報の一例を示す図である。 表示装置の動作を示すフローチャートである。 表示位置の設定処理のフローチャートである。 情報提供サーバの動作を示すフローチャートである。

以下、図面を参照しながら、本発明に係る表示装置の好適な実施形態について詳細に説明する。

図１は、本発明に係る表示装置の一実施形態を示す正面図である。同図に示す表示装置１は、例えば正面視で略長方形の薄板状をなし、ユーザが背面側を視認可能な透過型ディスプレイ２と、透過型ディスプレイ２の側部（ここでは右側部）に設けられた本体部３とを有している。

表示装置１は、例えば本体部３を把持するユーザが透過型ディスプレイ２を通して数十ｃｍ〜数ｍ先の対象物Ｐを視認したときに、対象物Ｐの関連情報を透過型ディスプレイ２に表示させる情報表示機能を有している。関連情報としては、例えば地名、建造物名、人名、商品名、画像の解説など、対象物Ｐに関する各種の情報が挙げられる。

本体部３は、物理的には、ＣＰＵ（中央処理装置）、メモリといった記憶装置、及び各種データ通信装置を内蔵している。また、本体部３の筐体部分は、ユーザＫによる表示装置１の把持部となっており、筐体部分の背面側には、透過型ディスプレイ２の外側領域に位置するように撮像部４が設けられている。

図２は、図１に示した表示装置の機能的な構成要素を示すブロック図である。同図に示すように、表示装置１は、ネットワークＮを介して相互に情報通信可能に情報提供サーバ２１に接続されている。表示装置１は、機能的な構成要素として、撮像データ加工部１０１と、加工データ送信部１０２と、関連情報受信部１０３と、表示位置設定部１０４と、較正部１０５と、表示制御部１０６とを有している。

撮像部４は、対象物Ｐの撮像を行う部分であり、例えばオートフォーカス機能を有するカメラによって構成されている。撮像部４は、取得した対象物Ｐの撮像データを撮像データ加工部１０１に出力する。また、撮像部４は、撮像部４から対象物Ｐまでの距離をオートフォーカス機能によって取得し、取得した距離情報を表示位置設定部１０４に出力する。

撮像データ加工部１０１は、撮像部４で取得した撮像データを加工する部分である。より具体的には、撮像データ加工部１０１は、後述する情報提供サーバ２１の関連情報抽出部２０２での特異点抽出が実行可能となるように、撮像データのフォーマット変換（例えばｊｐｅｇ、ｐｎｇ、その他独自フォーマットへの変換）を行う。撮像データ加工部１０１は、フォーマット変換後の加工データを加工データ送信部１０２に出力する。なお、加工データには、撮像部４が撮像した地点を示す位置情報を含めてもよい。

加工データ送信部１０２は、加工データの送信を行う部分である。加工データは、撮像データ加工部１０１から受け取った加工データをネットワークＮを介して情報提供サーバ２１に送信する。また、関連情報受信部１０３は、加工データ送信部１０２による加工データの送信に応じて情報提供サーバ２１から送信される対象物Ｐの関連情報を受信する部分である。関連情報受信部１０３は、受け取った関連情報を表示制御部１０６に出力する。

表示位置設定部１０４は、透過型ディスプレイ２における関連情報の表示位置を設定する部分である。この表示位置設定部１０４は、ユーザが透過型ディスプレイ２を通して視認している対象物Ｐの位置（視認位置）と、撮像部４が撮像する画像における対象物Ｐの位置（撮像位置）との間のズレを補正すべく、撮像部４から対象物Ｐまでの距離と、ユーザＫから撮像部４までの距離と、撮像部４の画角とに基づいて、撮像部４の撮像面３０における対象物Ｐの座標から透過型ディスプレイ２上での対象物Ｐの座標を推定する。

図３に示すように、撮像部４から対象物Ｐまでの距離をＬ１、ユーザＫから撮像部４までの距離をＬ２とし、図４に示すように、ユーザによる対象物Ｐの視認位置の座標をＡ１（Ｘ，Ｙ）とする。このとき、撮像部４の位置と透過型ディスプレイ２の中心位置とが一致していないため、図５に示すように、撮像部４の画角をθとした場合に、図６に示すように、画角θで定まる撮像面３０上の対象物Ｐの撮像位置の座標Ａ２（ｘ，ｙ）は、Ａ１（Ｘ，Ｙ）と一致しない。

そこで、表示位置設定部１０４は、Ｌ１、Ｌ２、及びθに基づいて、撮像位置の座標Ａ２（ｘ，ｙ）を視認位置の座標Ａ１（Ｘ，Ｙ）に補正する補正値（α，β）を算出する。この補正値（α，β）は、透過型ディスプレイ２の中心位置に対する撮像部４の座標を（ａ，ｂ）とした場合に、（α，β）＝Δ×（１／Ｌ１）（ａ，ｂ）で算出される。Δは、Ｌ２及びθによって規定される係数であり、予め較正部１０５による較正によって求められる。表示位置設定部１０４は、算出した補正値を示す情報を表示制御部１０６に出力する。

較正部１０５は、ユーザＫから撮像部４までの距離の較正を予め実行する部分であり、補正値の算出に用いるΔを予め求めて表示位置設定部１０４に出力する部分である。較正部１０５は、撮像部４の正面に対象物Ｐが位置しているときの視認位置について、ユーザＫからの複数回の入力を受け付ける。これにより、（α１，β１）＝Δ×（１／Ｌ１_１）（ａ，ｂ）、（α２，β２）＝Δ×（１／Ｌ１ _２ ）（ａ，ｂ）…を順次取得し、取得したデータからΔの近似式を求めることで、Δを求めることができる。なお、視認位置の入力は、ユーザＫによる透過型ディスプレイ２のタップ入力とすることが好適である。

表示制御部１０６は、透過型ディスプレイ２に表示される画像等の制御を行う部分である。表示制御部１０６は、関連情報受信部１０３から関連情報を受け取ると、表示位置設定部１０４からの補正値の情報に基づいて透過型ディスプレイ２上に関連情報を表示させる。これにより、透過型ディスプレイ２には、ユーザＫが透過型ディスプレイ２を通して視認している対象物Ｐの近傍に（或いは対象物Ｐに重ねて）関連情報が表示される（図１参照）。

一方、情報提供サーバ２１は、物理的には、ＣＰＵ、メモリ、通信インタフェイス、ハードディスクといった格納部、ディスプレイといった表示部等を備えたコンピュータシステムである。情報提供サーバ２１は、図２に示すように、加工データ受信部２０１と、関連情報抽出部２０２と、関連情報データベース２０３と、関連情報送信部２０４とを有している。

加工データ受信部２０１は、表示装置１から加工データを受信する部分である。加工データ受信部２０１は、受信した加工データを関連情報抽出部２０２に出力する。

関連情報抽出部２０２は、関連情報データベース２０３から関連情報の抽出を行う部分である。関連情報抽出部２０２は、加工データ受信部２０１から加工データを受信すると、まず、図７に示すように、加工データの特異点Ｗを抽出する。特異点とは、色相・明度・彩度などが一定の閾値を超えた値を持つ点であり、特異点の抽出によって、対象物Ｐの輪郭等の把握が可能となっている。関連情報抽出部２０２は、特異点Ｗの抽出により、例えば抽出した特異点Ｗで構成される画像データ及び特異点Ｗそれぞれの座標等を含む情報（特異点データ）を取得する。

次に、関連情報抽出部２０２は、特異点データに基づいて関連情報データベース２０３を参照する。図８は、関連情報データベース２０３に格納される情報の一例を示す図である。同図に示す例では、関連情報データベース２０３には、特異点データ（ＡＡＡ）に関連付けて、関連情報（商品名Ａ、販売年月日Ｂ、…）が格納され、特異点データ（ＢＢＢ）に関連付けて、関連情報（地名Ｃ、建物名Ｄ、…）が格納されている。関連情報抽出部２０２は、特異点データに基づいて関連情報を抽出し、関連情報送信部２０４に出力する。

関連情報送信部２０４は、関連情報の送信を行う部分である。関連情報送信部２０４は、関連情報抽出部２０２から受け取った関連情報をネットワークＮを介して表示装置１に送信する。

続いて、上述した表示装置１の動作について説明する。

図９は、表示装置１の動作を示すフローチャートである。同図に示すように、まず、対象物Ｐの撮像データの取得がなされる（ステップＳ０１）。次に、撮像データのフォーマット変換がなされ、加工データが生成される（ステップＳ０２）。そして、生成された加工データが情報提供サーバに送信される（ステップＳ０３）。

加工データの送信の後、表示位置の設定処理が実施され、補正値に基づいて透過型ディスプレイ２における関連情報の表示位置が設定される（ステップＳ０４）。その後、情報提供サーバ２１から関連情報を受信し（ステップＳ０５）、透過型ディスプレイ２への関連情報の表示がなされる（ステップＳ０６）。

また、図１０は、表示位置の設定処理のフローチャートである。同図に示すように、表示位置の設定処理では、まず、撮像部４のオートフォーカスが起動する（ステップＳ１１）。次に、オートフォーカスによって対象物Ｐの焦点が合うか否かが判断される（ステップＳ１２）。対象物Ｐの焦点が合わない場合、補正値が（０，０）に設定され（ステップＳ１３）、当該座標が透過型ディスプレイ２における対象物Ｐの視認位置であると推定される（ステップＳ１６）。

ステップＳ１２において、対象物Ｐの焦点があった場合、撮像面３０上での対象物Ｐの座標及び撮像部４と対象物との距離の取得がなされる（ステップＳ１４）。そして、予め較正によって求めたΔ、及びカメラの画角と合わせて補正値の算出がなされ（ステップＳ１５）、補正値に基づく座標が透過型ディスプレイ２における対象物Ｐの視認位置であると推定される（ステップＳ１６）。

図１１は、情報提供サーバの動作を示すフローチャートである。同図に示すように、情報提供サーバ２１では、まず、表示装置１からの加工データの受信がなされる（ステップＳ２１）。次に、加工データに基づいて特異点データの取得がなされ（ステップＳ２２）、この特異点データに基づいて関連情報の抽出が行われる（ステップＳ２３）。そして、抽出された関連情報が表示装置１に送信される（ステップＳ２４）。

以上説明したように、表示装置１では、ユーザＫから撮像部４までの距離Ｌ１と、撮像部４から対象物Ｐまでの距離Ｌ２と、撮像部４の画角θとに基づいて、撮像部４の撮像面３０における対象物Ｐの座標から透過型ディスプレイ２上での対象物Ｐの座標を推定している。これにより、ユーザＫが透過型ディスプレイ２を通して視認している対象物Ｐの視認位置と、撮像部４が撮像する撮像面３０における対象物Ｐの撮像位置との間のズレが補正され、透過型ディスプレイ２を通して視認される対象物Ｐの位置に合わせて適切な位置に関連情報を表示させることができる。

また、表示装置１では、撮像部４のオートフォーカス機能を用いて撮像部４から対象物Ｐまでの距離Ｌ２を取得している。これにより、既存の機能を用いて撮像部４から対象物Ｐまでの距離Ｌ２を簡便に取得できる。さらに、表示装置１では、ユーザＫから撮像部４までの距離Ｌ１の較正を予め実行する較正部１０５を更に備えている。これにより、表示位置設定部１０４において、撮像位置から視認位置を推定する処理を簡単化できる。

なお、上記実施形態では、撮像データの取得後、加工データを情報提供サーバ２１に送信した後に表示位置の設定処理を行っているが、表示位置の設定処理は、加工データの生成前に行ってもよく、加工データの生成後、情報提供サーバ２１に加工データを送信する前に行ってもよい。この場合であっても、上記実施形態と同様の作用効果を奏する。

１…表示装置、２…透過型ディスプレイ、４…撮像部（撮像手段）、２１…情報提供サーバ、１０２…加工データ送信部（撮像データ送信手段）、１０３…関連情報受信部（関連情報受信手段）、１０４…表示位置設定部（表示位置設定手段）、１０５…較正部（較正手段）、１０６…表示制御部（表示制御手段）、Ｋ…ユーザ、Ｐ…対象物。

Claims (1)

1. ユーザが背面側を視認可能な透過型ディスプレイを備えた表示装置であって、
   前記透過型ディスプレイの外側領域に配置された撮像手段と、
   前記撮像手段が取得した対象物の撮像データを情報提供サーバに送信する撮像データ送信手段と、
   前記撮像データの送信に応じて前記情報提供サーバから送信される前記対象物の関連情報を受信する関連情報受信手段と、
   前記関連情報受信手段が受信した前記関連情報の前記透過型ディスプレイでの表示位置を設定する表示位置設定手段と、
   前記表示位置設定手段によって設定された表示位置に基づいて前記関連情報を前記透過型ディスプレイに表示させる表示制御手段と、
   前記ユーザから前記撮像手段までの距離の較正を予め実行し、補正値の算出に用いる前記ユーザから前記撮像手段までの距離に依存する係数を求めて前記表示位置設定手段に出力する較正手段と、を備え、
   前記表示位置設定手段は、
   前記撮像手段による前記対象物の撮像位置の座標を、前記ユーザによる前記対象物の視認位置の座標に補正する前記補正値を算出し、算出した前記補正値に基づく前記透過型ディスプレイ上での前記対象物の座標を、前記表示位置に設定し、
   前記補正値は、前記ユーザから前記撮像手段までの距離に依存する前記係数と前記撮像手段から前記対象物までの距離とを用いて算出され、
   前記較正手段は、前記表示位置設定手段による前記補正値の算出に先立つ前記撮像手段による前記対象物の撮像データの取得よりも前に、前記較正を実行することを特徴とする表示装置。

Images