JP6041016B2 - 眼鏡型端末 - Google Patents

Description

本発明は、身に着けて使用する眼鏡型端末に関するものである。

近年、身に着けて使用する端末、例えばグーグル社のグーグルグラスのような眼鏡型端末が開発・販売されている（例えば、特許文献１参照。）。このグーグルグラスは、眼鏡本体の右眼ガラスの眼前にプリズムを使用した極小型ディスプレイが配置され、グーグルグラスのユーザは現実の周囲の景色とともに、同時に、このディスプレイに表示される画面を視認することができる。この眼鏡型端末を着用して、例えば街を歩くと、ユーザは右目の視野内に浮かんで見える画面に表示される情報、例えば近辺の地図を見ながら歩くことができる。また、例えば、そのユーザの近辺にある商店やレストラン等は、そのユーザに対してその画面に広告を表示することも可能である。この眼鏡型端末を使用することにより、新たなデジタルライフが始まろうとしている。

特開平１１−９８２２７号公報

ところで、現在、開発・販売されている眼鏡型端末では、眼鏡型端末のユーザが表示される画面を操作するときには、音声により指示したり、或いは、眼鏡の柄の根元部分に設けられたタッチパッドをタップしたりしている。しかしながら、視認画面に対して文字入力を行う場合、例えば音声による操作では、言葉には同音異義語が多々あり、また発音には個人差があるので、誰でもが正確な文字入力を行うことができるわけではない。また、眼鏡の柄の部分に設けられたタッチパッドは、文字入力を行うことができるほど大きくはない。このため、従来の眼鏡型端末は視野内に表示される画面を用いて、例えばメールの文字入力等を行うことが困難であるという問題があった。

本発明は上記事情に基づいてなされたものであり、視野内に表示される画面に対して文字入力等の操作を容易且つ正確に行うことができる眼鏡型端末を提供することを目的とするものである。

上記の目的を達成するための本発明は、眼鏡本体部と、眼鏡本体部に設けられた、使用者に空中に浮かんでいるように見える視認画面に対応する元画面を表示する表示装置とを有し、使用者が眼鏡のように装着して使用する眼鏡型端末において、眼鏡本体部に設けられた、視認画面に対して使用者が指又は所定の入力指示具で操作を行ったときにその操作を行った指又は入力指示具を撮像する撮像装置と、使用者が視認画面に対して操作を行った指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた画像データに基づいて当該指又は入力指示具による操作がどのような内容の操作であるのかを判定する操作判定部と、使用者が視認画面に対して操作を行った指又は入力指示具を撮像装置が撮像したときに、その撮像して得られた画像データに基づいて撮像装置が撮像することができる範囲である撮像範囲における当該指又は入力指示具の位置データを生成する位置データ生成部と、使用者が視認画面における一又は複数の所定位置において指又は入力指示具で操作を行ったときに、操作判定部で各所定位置における操作が所定の操作であると判定された画像データに基づいて位置データ生成部で生成された当該指又は入力指示具の位置データを用いて、当該視認画面に関するデータを生成して基準データとして記憶部に記憶する基準データ生成部と、使用者が視認画面に対して指又は入力指示具で操作を行ったときに、操作判定部で判定して得られた当該指又は入力指示具による操作の内容に関するデータ及び位置データ生成部で生成された当該指又は入力指示具の位置データと、記憶部に記憶されている当該視認画面に関する基準データとに基づいて、当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う入力制御部と、を備えることを特徴とするものである。

本発明の眼鏡型端末では、入力制御部が、使用者が視認画面に対して指又は入力指示具で操作を行ったときに、操作判定部で判定して得られた当該指又は入力指示具による操作の内容に関するデータ及び位置データ生成部で生成された当該指又は入力指示具の位置データと、記憶部に記憶されている当該視認画面に関する基準データとに基づいて、当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う。このため、使用者は、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、本発明の眼鏡型端末を用いると、使用者は、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

また、上記の目的を達成するための本発明は、眼鏡本体部と、眼鏡本体部に設けられた、使用者に空中に浮かんでいるように見える視認画面に対応する元画面を表示する表示装置とを有し、使用者が眼鏡のように装着して使用する眼鏡型端末において、眼鏡本体部に設けられた、被写体に自動的にピントを合わせることができるオートフォーカス制御部を有し、オートフォーカス制御部により自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、その算出した距離データを当該撮像して得られた画像データとともに出力する撮像装置と、撮像装置で自動的にピントが合わせられた被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指又は入力指示具であるかどうかを判断して、指又は入力具が存在している画像データを抽出する画像データ抽出部と、使用者が視認画面に対して操作を行った指又は入力指示具を撮像装置が撮像したときに、画像データ抽出部で抽出された画像データに基づいて当該指又は入力指示具による操作がどのような内容の操作であるのかを判定する操作判定部と、使用者が視認画面に対して操作を行った指又は入力指示具を撮像装置が撮像したときに、操作判定部で指又は入力指示具による操作が所定の操作であると判定された画像データに基づいて、撮像範囲における当該指又は入力指示具の前記位置データを生成する位置データ生成部と、使用者が視認画面における少なくとも三つの所定位置において指又は入力指示具で操作を行ったときに、操作判定部で各所定位置における操作が所定の操作であると判定された画像データに基づいて位置データ生成部で生成された少なくとも三つの指又は入力指示具の位置データと、それら位置データを生成した際に用いた画像データとともに送られた距離データとを用いて、三次元空間内において当該視認画面に対応する画面である基準画面を特定するデータを生成して基準データとして記憶部に記憶する基準データ生成部と、基準データ生成部で基準データが生成された後に、使用者が視認画面に対して指又は入力指示具で操作を行った際に撮像装置で自動的にピントが合わせられた被写体を撮像したときに、操作判定部で指又は入力指示具による当該操作が所定の操作であると判定された画像データに基づいて位置データ生成部で生成された指又は入力指示具の位置データと、その指又は入力指示具の位置データを生成する際に用いた画像データと関連付けられている距離データと、記憶部に記憶されている当該視認画面に対応する基準画面を特定する基準データとに基づいて、当該指又は入力指示具が基準画面から予め定められた略一定の距離範囲以内に位置しているかどうかを判定する距離判定部と、使用者が視認画面に対して指又は入力指示具で操作を行った場合であって距離判定部で当該指又は入力指示具が基準画面から略一定の距離範囲以内に位置していると判定されたときに、操作判定部で判定して得られた当該指又は入力指示具による操作の内容に関するデータ、その判定で用いられた画像データに基づいて位置データ生成部で生成された当該指又は入力指示具の位置データと、その判定で用いられた画像データと関連付けられている距離データと、記憶部に記憶されている当該視認画面に対応する基準画面を特定する基準データとに基づいて、当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う入力制御部と、を備えることを特徴とするものである。

本発明の眼鏡型端末では、入力制御部が、使用者が視認画面に対して指又は入力指示具で操作を行った場合であって距離判定部で当該指又は入力指示具が基準画面から略一定の距離範囲以内に位置していると判定されたときに、操作判定部で判定して得られた当該指又は入力指示具による操作の内容に関するデータ、その判定で用いられた画像データに基づいて位置データ生成部で生成された当該指又は入力指示具の位置データと、その判定で用いられた画像データと関連付けられている距離データと、記憶部に記憶されている当該視認画面に対応する基準画面を特定する基準データとに基づいて、当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う。このため、使用者は、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、本発明の眼鏡型端末を用いると、使用者は、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。また、基準データ生成部が、基準データとして、三次元空間内において視認画面に対応する画面である基準画面を特定するデータを生成することにより、使用者が、視認画面に対する指での操作の際に、例えば視認画面の左側の二つの隅についてはその手前側の位置を操作し、視認画面の右側の二つの隅についてはその奥側の位置を操作するというような習癖を有する者であっても、その使用者の習癖に合った基準データを生成することができる。

本発明に係る眼鏡型端末によれば、視野内に表示される視認画面に対して文字入力や拡大や縮小等の各種の画面操作を容易且つ正確に行うことができる。

図１（ａ）は本発明の第一実施形態である眼鏡型端末の概略平面図、同図（ｂ）はその眼鏡型端末の概略右側面図である。 図２は第一実施形態の眼鏡型端末の概略斜視図である。 図３は第一実施形態の眼鏡型端末の概略ブロック図である。 図４は文字入力画面の一例を示す図である。 図５は文字入力画面に表示される検索画面の一例を示す図である。 図６は視認画面に対して行われるタッチ操作の態様を説明するための図である。 図７は視認画面に対して行われるタッチ操作の態様を説明するための図である。 図８は第一実施形態の眼鏡型端末において基準データの設定処理の手順を説明するためのフローチャートである。 図９は基準データを設定する処理の際に表示される元画面の例を示す図である。 図１０は第一実施形態の眼鏡型端末における文字入力の処理の手順を説明するためのフローチャートである。 図１１は第一実施形態の眼鏡型端末における画面表示の処理の手順を説明するためのフローチャートである。 図１２は本発明の第二実施形態である眼鏡型端末の概略ブロック図である。 図１３は本発明の第二実施形態の第一変形例である眼鏡型端末の概略ブロック図である。 図１４は第二実施形態の第一変形例においてずれ補正部が位置データのＸ座標を基準画面Ｋ上での位置データのＸ座標に換算する処理を説明するための図である。 図１５は第二実施形態の第一変形例においてずれ補正部が位置データのＹ座標を基準画面Ｋ上での位置データのＹ座標に換算する処理を説明するための図である。 図１６は本発明の第三実施形態である眼鏡型端末の概略ブロック図である。 図１７は第三実施形態において基準データを設定する処理の際に表示される基準データ設定用の元画面の例を示す図である。 図１８は第三実施形態の眼鏡型端末における文字入力の処理の手順を説明するためのフローチャートである。 図１９は第三実施形態の眼鏡型端末における画面表示の処理の手順を説明するためのフローチャートである。 図２０は元画面としてエアコンのリモコン画面を用い、そのリモコン画面に対応する視認画面に対してユーザが操作を行うときの様子を示す図である。 図２１（ａ）は本発明の第一実施形態の変形例である眼鏡型端末の概略平面図、同図（ｂ）はその眼鏡型端末の概略右側面図である。 図２２（ａ）は第一実施形態の変形例である眼鏡型端末の概略斜視図、同図（ｂ）はディスプレイ装置に元画面を投影している様子を説明するための概略図である。 図２３は本発明の第二実施形態の第二変形例である眼鏡型端末の概略平面図であって、ずれ補正部が位置データのＸ座標を基準画面Ｋ上での位置データのＸ座標に換算する処理を説明するための図である。 図２４は本発明の第二実施形態の第二変形例である眼鏡型端末の概略右側面図であって、ずれ補正部が位置データのＹ座標を基準画面Ｋ上での位置データのＹ座標に換算する処理を説明するための図である。

以下に、図面を参照して、本願に係る発明を実施するための形態について説明する。

［第一実施形態］
まず、本発明の第一実施形態である眼鏡型端末について説明する。図１（ａ）は本発明の第一実施形態である眼鏡型端末の概略平面図、同図（ｂ）はその眼鏡型端末の概略右側面図、図２は第一実施形態の眼鏡型端末の概略斜視図、図３は第一実施形態の眼鏡型端末の概略ブロック図である。

第一実施形態の眼鏡型端末は、ユーザ（使用者）が眼鏡のように装着して使用する、例えばグーグル社のグーグルグラスである。この眼鏡型端末１は、図１から図３に示すように、レンズ部を備える眼鏡本体部（眼鏡）１０と、眼鏡本体部１０に設けられたディスプレイ装置（表示装置）２０と、ユーザの前方を撮像するための撮像装置３０と、タッチパッド部４０と、マイク部５０と、スピーカ部６０と、制御部７０と、通信部８０と、記憶部９０とを備える。

眼鏡本体部１０は、図２に示すように、二つのレンズ部１１，１１を有する一般的な眼鏡である。レンズ部１１に取り付けるレンズは、視力を矯正するための凸レンズや凹レンズであってもよいし、視力矯正機能を持たないただのガラスやプラスチック等であってもよい。また、眼鏡本体部１０は、レンズ部１１に取り付けるレンズを省略したものであってもよい。

ディスプレイ装置２０は、透過型のプリズムディスプレイである。具体的に、ディスプレイ装置２０は、例えば液晶パネル（表示デバイス）を有する小型プロジェクタと、光学系と、ハーフミラーとを備える。ここで、ハーフミラーは、図１及び図２に示すように、眼鏡本体部１０における右眼用のレンズ部１１の前に配置されたプリズムの中に埋め込まれている。液晶パネルに表示された画像や映像は、光学系を介してハーフミラーに投影される。実際、このディスプレイ装置２０（ハーフミラー）には極小な画面が表示される。ユーザは、眼鏡型端末１を使用すると、ディスプレイ装置２０（ハーフミラー）に表示される極小な画面の像である半透明の画面を空中に浮かんでいるように見ることができる。この浮かんで見える半透明の画面は、ユーザにとっては、８フィート離れて視る２５インチの画面に相当するものである。第一実施形態では、この浮かんで見える画面が半透明である場合について説明するが、一般に、この画面は半透明でなくてもよい。また、第一実施形態では、この浮かんで見える画面が、図１及び図２に示すようにユーザの視野の右上の位置に表示される場合について説明するが、一般に、この画面は、ユーザの視野の中央や左上や右下等の位置に表示するようにしてもよい。なお、以下では、このディスプレイ装置２０（ハーフミラー）に表示される極小の画面のことを「元画面」、眼鏡型端末１を使用するユーザに空中に浮かんでいるように見える画面のことを「視認画面」とも称する。

具体的に、ディスプレイ装置２０には、文字入力画面等の各種の画面が表示される。図４は文字入力画面の一例を示す図である。図４に示すように、文字入力画面２００は、キーボード画像２１０と、入力した文字等を表示するための表示領域２２０とを有する。キーボード画像２１０には、各文字（記号を含む）と対応付けられた複数の文字キー画像と、特定の機能が付与された複数の機能キー画像とが設けられている。図４の例では、キーボード画像２１０における文字キー画像の配列として、ＱＷＥＲＴＹ配列を採用している。なお、キーボード画像２１０は、ひらがな５０音配列のキーボード画像、各国の言語のキーボード画像、テンキー画像、或いは携帯電話のキー配列と同様のキー画像等であってもよい。また、表示領域２２０には、例えば検索画面が表示される。図５は文字入力画面２００に表示される検索画面の一例を示す図である。この検索画面２２１は、インターネットのサイトを検索するためのものであり、キーワード入力部２２１１と、検索結果を表示する検索結果表示部２２１２とを有する。ユーザは、文字入力画面２００を視認画面Ｓとして見ているときに、そのキーボード画像２１０のキー画像を利用して、キーワード入力部２２１１にキーワードを入力することができる。

第一実施形態では、ユーザは視認画面Ｓに対して指でタッチ操作を行うことにより、各種の指示を制御部７０に与えることができる。そして、制御部７０は、その指示の内容を認識し、その認識した指示の内容に応じて、ディスプレイ装置２０に表示する元画面Ｍの制御を行うことになる。ここで、第一実施形態では、タッチ操作とは、通常のタッチパネルに対して行われるタッチ操作と同様に、タップ操作、ダブルタップ操作、長押し操作（ロングタップ）、ドラッグ操作、フリック操作、ピンチイン操作、ピンチアウト操作等の各種の操作をいうものとする。

撮像装置３０は、図１及び図２に示すように、ディスプレイ装置２０に隣接する眼鏡本体部１０の柄の部分に設けられている。この撮像装置３０は、図３に示すように、カメラ部３１と、画像処理部３２と、カメラ制御部３３とを備える。カメラ部３１はレンズや撮像素子を有するものである。画像処理部３２は、カメラ部３１で撮像して得られた画像データに基づいてその撮像した画像の色や階調の補正処理を行ったり、画像データの圧縮等の画像処理を行ったりするものである。カメラ制御部３３は、画像処理部３２を制御したり、制御部７０との間で画像データのやり取りを制御したりする。なお、本実施形態では、画像処理部３２は撮像装置３０に設けられている場合について説明するが、この画像処理部３２は、撮像装置３０ではなく、制御部７０に設けるようにしてもよい。

また、撮像装置３０は、この撮像装置３０が撮像することができる範囲である撮像範囲として、ユーザの視野の一部（或いは略全視野）を撮像することができる。特に、第一実施形態では、撮像装置３０は、ユーザが認識する視認画面Ｓの位置、具体的には、例えば、ユーザが手で視認画面Ｓに触ろうとして手を伸ばすときの手の指の位置であって当該撮像装置３０から奥行き方向に沿って略一定の距離だけ離れた位置にある被写体にピントが合うように構成されている。しかも、そのピントが合う範囲（被写界深度）は狭い範囲に制限されている。例えば、ピントが合う位置は撮像装置３０から約４０ｃｍ離れた位置に設定されており、その被写界深度は約５ｃｍの範囲である。但し、第一実施形態では、撮像装置３０がこのようにピントの合う範囲を狭い範囲に制限するのは、基準データの設定、文字入力、及び画面表示のための操作を行う場合に限られる。通常のカメラ撮影を行う場合やその他の状況にある場合には、ピントの合う範囲は狭い範囲に制限されない。なお、撮像装置３０としては、例えば、通常のカメラと同じように距離リング（ピントリング）を用いて手動で設定を変更することにより、ピントが合う位置を切り替えることができるものを用いるようにしてもよい。

また、第一実施形態では、撮像装置３０におけるピントが合う位置を、ユーザが認識する視認画面Ｓの位置に設定している。このため、ユーザが視認画面Ｓに対して指で操作を行っている場合、撮像装置３０は、その操作を行っている指をピントが合った状態で撮像することになる。撮像装置３０で撮像して得られた画像データは制御部７０に送られ、制御部７０により記憶部９０に記憶される。また、第一実施形態の撮像装置３０は、静止画像の撮影機能と動画像の撮影機能とを備えており、制御部７０は必要に応じて画像データとして静止画像データを取得したり、動画像データを取得したりすることができる。

眼鏡本体部１０の柄の部分には、図３に示すように、タッチパッド部４０、マイク部５０、骨伝導型のスピーカ部６０、各種のセンサ部、及びバッテリー部等が設けられている。なお、図１及び図２では、図を簡略化するため、これら各部は省略している。タッチパッド部４０は、ユーザがタッチ操作を行うことにより、制御部７０に各種の指示を与えるものである。マイク部５０は、眼鏡本体部１０を音声による指示で操作するために、ユーザの音声を入力するものである。マイク部５０から入力された音声情報は、制御部７０に送られ、制御部７０がその音声情報を解析することになる。また、スピーカ部６０は、骨の振動を利用してユーザに音声情報を伝えるものである。一般に、スピーカ部６０としては、骨の振動を利用してユーザに音声情報を伝えるものに限らず、通常のスピーカ、イヤホン、ヘッドホン等を用いるようにしてもよい。なお、各種のセンサ部及びバッテリー部等は本願発明とは直接関係がないので、本実施形態ではこれらについての詳細な説明は省略する。

制御部７０は、中央演算処理装置（ＣＰＵ）等を備えており、眼鏡型端末１の全般を制御する。例えば、制御部７０は、元画面Ｍをディスプレイ装置２０に表示するのを制御したり、撮像装置３０による撮像を制御したりする。また、制御部７０は、タッチパッド部４０が操作されたときに、その操作により指示された内容を認識し、その認識した内容に応じた処理を実行したり、マイク部５０から音声が入力されたときに、その入力された音声情報の内容を認識し、その認識した内容に応じた処理を実行したりする。更に、制御部７０は、スピーカ部６０により発する音声情報を制御する。具体的に、この制御部７０は、図３に示すように、表示制御部７１と、画像データ抽出部７２と、操作判定部７３と、位置データ生成部７４と、基準データ生成部７５と、入力制御部７６とを備える。

表示制御部７１は、ユーザがマイク部５０による音声指示、或いはタッチパッド部４０の操作による指示を行ったときに、その指示の内容に応じて、ディスプレイ装置２０に表示すべき元画面Ｍの内容を選択し、その選択した元画面Ｍの表示を制御する。これにより、ディスプレイ装置２０にはユーザの指示した元画面Ｍが表示され、ユーザはその元画面Ｍに対応する視認画面Ｓを見ることができる。

画像データ抽出部７２は、ユーザが視認画面Ｓに対して指で操作を行った際に撮像装置３０でピントが合った被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指であるかどうかを判断して、指が存在している画像データを抽出するものである。被写体が指であるかどうかを判断するには、一般の画像認識の方法が用いられる。第一実施形態では、撮像装置３０の被写界深度を狭い範囲に制限しているので、被写体が指であると判断されれば、当該指は撮像装置３０から奥行き方向に沿って略一定の距離だけ離れた位置にあると考えられる。このように、画像データ抽出部７２では、当該指が撮像装置３０から奥行き方向に沿って略一定の距離だけ離れた位置にある画像データが抽出される。また、操作判定部７３、位置データ生成部７４、基準データ生成部７５では、画像データ抽出部７２で抽出された画像データに基づいて処理が行われることになる。

操作判定部７３は、ユーザが視認画面Ｓに対して操作を行った指を撮像装置３０が撮像したときに、その撮像して得られた画像データであって画像データ抽出部７２で抽出されたものに基づいて当該指による操作がどのような内容の操作であるかを判定するものである。これにより、操作判定部７３は、当該指による操作が、タップ操作、ダブルタップ操作、長押し操作等のうちいずれの操作であるかを認識することができる。その認識した当該指による操作の内容に関するデータは記憶部９０に記憶される。

位置データ生成部７４は、ユーザが視認画面Ｓに対して操作を行った指を撮像装置３０が撮像したときに、その撮像して得られた画像データであって画像データ抽出部７２で抽出されたものに基づいて撮像装置３０の撮像範囲における当該指（指先）の位置データを生成するものである。ここで、本実施形態では、撮像装置３０の撮像範囲内において、図２に示すように、左右方向をＸ軸方向、上下方向Ｙ軸方向とするＸＹ座標系が設定されている。このＸＹ座標系の原点は、例えば撮像範囲における左下の点である。位置データ生成部７４は、このＸＹ座標系において指の位置データを取得する。なお、三次元的な位置データを得る必要がある場合には、このＸＹ座標系において奥行き方向にＺ軸方向をとり、これによりＸＹＺ座標系を構成することにする。

基準データ生成部７５は、ユーザが視認画面Ｓにおける一又は複数の所定位置において指で操作を行ったときに、操作判定部７３で各所定位置における操作が所定の操作であると判定された画像データに基づいて位置データ生成部７４で生成された当該指の位置データを用いて、当該視認画面Ｓに関するデータを生成するものである。この生成された視認画面Ｓに関するデータは基準データとして記憶部９０に記憶される。基準データとしては、視認画面Ｓの位置及び大きさを特定できるようなデータが用いられる。例えば、ユーザが視認画面Ｓの外枠の四隅に対して指で操作を行った場合には、四隅の各位置における指の位置データを基準データとして用いることができる。ここで、画像データ抽出部７２が抽出した画像データは、撮像装置３０からＺ軸方向に沿って略一定の距離だけ離れた位置にある指を撮像したものであるので、この四隅の各位置における指の位置データは、撮像装置３０からＺ軸方向に沿って略一定の距離だけ離れた位置においてＸＹ平面に平行な（略ユーザの身体と平行な）平面上での指の位置情報を表していると考えることができる。また、ユーザが視認画面Ｓの外枠の四隅のうち一箇所に対して指で操作を行った場合には、その一箇所における指の位置データと、当該視認画像Ｓに対応する元画像Ｍのデータから得られる視認画面Ｓの大きさ（例えば、予め算出又は測定した縦幅、横幅）に関するデータとを基準データとして用いることができる。

入力制御部７６は、ユーザが視認画面Ｓに対して指で操作を行ったときに、操作判定部７３で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部７４で生成された当該指の位置データと、記憶部９０に記憶されている当該視認画面Ｓに関する基準データとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置２０に表示する元画面Ｍの制御を行う。例えば、視認画面Ｓが図４に示す文字入力画面２００である場合、入力制御部７６は、その視認画面Ｓに関する基準データに基づいて、撮像装置３０の撮像範囲内でユーザが見ている当該文字入力画面２００の存在する範囲を認識することができる。このとき、入力制御部７６は、当該文字入力画面２００の構成が予め分かっているので、当該文字入力画面２００におけるキーボード画像２１０の範囲や、各文字キー画像の領域等も認識することができる。したがって、例えばユーザがキーボード画像２１０に対して指で文字キー画像のタッチ操作を行った場合、入力制御部７６は、その指の位置データから得られる指の位置が、キーボード画像２１０におけるどの文字キー画像の領域に対応するのかを調べることにより、操作された文字キーを特定することができる。

なお、入力制御部７６は、ユーザが視認画面Ｓに対して指で操作を行った際に当該指による操作に対応する入力指示の内容を認識する場合、まず、記憶部９０に記憶されている当該視認画面Ｓに関する基準データに基づいて、撮像装置３０の撮像範囲に相当する仮想平面上に、当該視認画面Ｓに対応する画面である基準画面を生成し、次に、位置データ生成部７４で生成された当該指の位置データが基準画面のどの位置に対応するのかを調べることにより、当該指で操作された視認画面Ｓ上の位置を特定するようにしてもよい。

通信部８０は、外部との間で情報の通信を行うものである。記憶部９０には、各種のプログラムやデータ等が記憶されている。記憶部９０に記憶されているプログラムには、例えば、基準データの設定処理を行うための基準データ設定処理用プログラムと、視認画面Ｓが文字入力画面２００である場合にその文字入力画面２００に対して行われた操作に基づいて文字入力の処理を行うための文字入力処理用プログラムと、視認画面Ｓに対して行われた操作に基づいて視認画面Ｓに対応する元画像Ｍの拡大・縮小や切替等の画面表示の処理を行うための画面表示処理用プログラムとが含まれている。また、記憶部９０に記憶されているデータには、例えば、各種の元画面Ｍの画像データ、各元画面Ｍに関するデータ（具体的には、当該元画面Ｍの大きさ、形状、内容、構成等を示すデータ）や、後述する基準データ設定用の元画面を作成する際に用いる各種の画像データが含まれる。更に、この記憶部９０は作業用のメモリとしても使用される。

第一実施形態の眼鏡型端末１では、ユーザが視認画面Ｓに対して指で操作を行ったときに、入力制御部７６は、操作判定部７３で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部７４で生成された当該指の位置データと、記憶部９０に記憶されている当該視認画面Ｓに対する基準データとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置２０に表示する元画面Ｍの制御を行う。このため、ユーザは、自己が見ている視認画面Ｓに対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。実際、ユーザが視認画面Ｓに対して指でタッチ操作を行うと、入力制御部７６は、その視認画面Ｓがタッチパネルに表示されているときと同様に、当該タッチ操作に対応する指示を認識することができる。例えば、入力制御部７６は、ユーザが視認画面Ｓに対して指でダブルタップ操作を行ったときに、その視認画面Ｓに対応する元画面Ｍを拡大又は縮小するという指示を認識し、ユーザが視認画面Ｓに対して指で長押し操作を行うと、元画面Ｍとしてオプションメニューの画面を表示するという指示を認識し、そして、ユーザが視認画面Ｓに対して指でドラッグ操作を行うと、元画面Ｍをスクロールして表示するという指示を認識する。また、ユーザが文字入力画面２００における文字キー画像に対して指でタッチ操作を行えば、入力制御部７６は、その文字入力画面２００がタッチパネルに表示されているときと同様に、当該操作に対応する指示、すなわち当該文字キーの入力指示を認識し、元画面Ｍにその入力指示された文字を表示する処理を行う。

なお、第一実施形態では、ユーザは、空中に浮いているように見える視認画面Ｓに対して指でタッチ操作を行うので、通常のタッチパネルに表示された画面に対してタッチ操作する場合には行うことのできない態様でタッチ操作を行うこともできる。図６及び図７は視認画面Ｓに対して行われるタッチ操作の態様を説明するための図である。通常、ユーザは、図６（ａ）に示すように、視認画面Ｓの正面側から一本の指でタッチ操作を行うが、図６（ｂ）に示すように、視認画面Ｓの裏面側から一本の指でタッチ操作を行うことができる。また、ユーザは、図７（ａ）に示すように、視認画面Ｓの正面側から複数の指でタッチ操作を行ったり、図７（ｂ）に示すように、視認画面Ｓの裏面側から複数の指でタッチ操作を行ったりすることができる。

次に、第一実施形態の眼鏡型端末１において基準データを設定する処理について説明する。図８は第一実施形態の眼鏡型端末１において基準データの設定処理の手順を説明するためのフローチャートである。

ユーザは、マイク部５０から音声で基準データの設定を行う旨を指示するか、或いはタッチパッド部４０を用いた操作等により基準データの設定を行う旨を指示する。制御部７０は、その指示を受けると、基準データ設定処理用プログラムを記憶部９０から読み出し、図８に示す処理フローにしたがって基準データの設定処理を行う。

まず、表示制御部７１は、現在、ディスプレイ装置２０に表示されている元画面Ｍにおける一又は複数の所定位置に例えば円の画像を追加することにより、新たな元画面Ｍ（基準データ設定用の元画面）を作成して、ディスプレイ装置２０に表示する（Ｓ１）。ここで、円の画像は、ユーザがその円の位置に対して指で操作を行うべきことを示す目印である。図９は基準データを設定する処理の際に表示される元画面Ｍの例を示す図である。この例では、元画面Ｍが文字入力画面２００である場合を示している。当初は、図９（ａ）に示す通常の文字入力画面２００がディスプレイ装置２０に表示されているが、ステップＳ１の処理が実行されると、図９（ｂ）に示す文字入力画面２０１（基準データ設定用の元画面）がディスプレイ装置２０に表示されることになる。この図９（ｂ）に示す文字入力画面２０１では、その四隅の位置に、円と数字とを示す画像が追加されている。図９（ｂ）に示す文字入力画面２０１がディスプレイ装置２０に表示されると、ユーザはその文字入力画面２０１に対応する視認画面Ｓ（基準データ設定用の視認画面）、すなわち図９（ｂ）に示す文字入力画面２０１と同じ内容の画面を見ることになる。なお、図９（ｂ）では、文字入力画面２０１の四隅に円の画像を表示しているが、図９（ｃ）に示すように、文字入力画面２０１のキーボード画像２１０の四隅に円の画像を表示するようにしてもよい。

ステップＳ１の処理後、制御部７０は、撮像装置３０の撮像動作を開始する（Ｓ２）。ユーザは、基準データ設定用の視認画面Ｓとして図９（ｂ）に示す文字入力画面２０１を見ると、この基準データ設定用の視認画面Ｓにおいて、数字が付された各円に対して数字の順番に指で所定の操作、例えばタップ操作を行う。ここで、ユーザが所定の操作を行うのは、制御部７０に対してユーザが操作している位置を知らせるためである。かかるユーザによる操作は撮像装置３０で撮像される。このとき、本実施形態では、撮像装置３０はピントが合った被写体を撮像する。そして、画像処理部３２がその撮像して得られた画像データに対して所定の画像処理を施し、その画像処理を施した画像データが制御部７０に送られる（Ｓ３）。

次に、画像データ抽出部７２は、撮像装置３０で撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する（Ｓ４）。ここで、撮像装置３０は、ピントが合った被写体を撮像して得られた画像データを画像データ抽出部７２に送っている。このため、画像データ抽出部７２は、当該指が撮像装置３０からＺ軸方向に沿って略一定の距離だけ離れた位置にある画像データを抽出することになる。その後、操作判定部７３は、画像データ抽出部７２で抽出された画像データに基づいて当該指による操作が所定の操作（ここでは、タップ操作）であるかどうかを判定する。操作判定部７３は、このような判定処理を行い、四つの円の全てに対する指によるタップ操作が正常に認識されたかどうかを判断する（Ｓ５）。例えば、予め定めた所定の時間内に指による操作がタップ操作であるという判定が一回、二回又は三回しかなされなかった場合や、予め定めた所定の時間内に画像データ抽出部７２から指が存在している画像データが送られてこなかった場合等には、操作判定部７３は、四つの円の全てに対する指によるタップ操作が正常に認識されなかったと判断する。操作判定部７３は、四つの円の全てに対する指によるタップ操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部９０に記憶すると共に、指によるタップ操作が正常に認識された旨の信号を表示制御部７１に送る。そして、表示制御部７１は、指によるタップ操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ６）。なお、このとき、表示制御部７１は、緑色ランプを示す画像とともに、或いはその画像に代えて、指によるタップ操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、制御部７０は、指によるタップ操作が正常に認識されたことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

ステップＳ６の処理の後、位置データ生成部７４は、操作判定部７３で各円における操作が所定の操作であると判定された画像データに基づいて、撮像装置３０の撮像範囲における各指（指先）の位置データ（ＸＹ座標）を生成する（Ｓ７）。そして、基準データ生成部７５は、こうして生成された四つの位置データを、現在表示されている視認画面Ｓに関する基準データとして記憶部９０に記憶する（Ｓ８）。かかる基準データは当該視認画面Ｓの位置及び大きさを特定するものであるので、制御部７０は、この基準データを用いると、撮像装置３０の撮像範囲内でユーザが見ている当該視認画面Ｓの存在する範囲を認識することができるようになる。ステップＳ８の処理がなされると、基準データの設定処理が終了する。

一方、ステップＳ５の処理において、操作判定部７３は、四つの円の全てに対する指によるタップ操作が正常に認識されていないと判断すると、その旨の信号を表示制御部７１に送る。そして、表示制御部７１は、指によるタップ操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ９）。ユーザは、この赤色ランプを示す画像を見ると、再度、基準データ設定用の視認画面Ｓにおいて各円に対して指でタップ操作を行わなければならない。なお、このとき、表示制御部７１は、赤色ランプを示す画像とともに、或いはその画像に代えて、指によるタップ操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、制御部７０は、指によるタップ操作が正常に認識されなかったことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

ステップＳ９の処理後、制御部７０は、今回のステップＳ５の処理が一回目の処理であるかどうかを判断する（Ｓ１０）。今回のステップＳ５の処理が一回目の処理であれば、ステップＳ２に移行する。これに対し、今回のステップＳ５の処理が一回目の処理でなければ、制御部７０は、今回のステップＳ５の処理が二回目の処理であるかどうかを判断する（Ｓ１１）。今回のステップＳ５の処理が二回目の処理であれば、ステップＳ２に移行し、一方、今回のステップＳ５の処理が二回目の処理でなければ、基準データの設定処理を終了する。すなわち、視認画面Ｓ中に赤色ランプが表示された場合、ユーザには、指による操作を行う機会がさらに二回与えられる。なお、それでも指による操作が正常に認識されなかった場合には、再度、基準データの設定処理を実行すればよい。

なお、第一実施形態では、上記のステップＳ５において、操作判定部７３が、各円に対する指による操作がタップ操作であるかどうかを判定し、四つの円の全てに対する指によるタップ操作が正常に認識されたかどうかを判断する場合について説明したが、操作判定部７３は、各円に対する指による操作が行われる度に、その操作がタップ操作であるかどうかを判定すると共にそのタップ操作が正常に認識されたかどうかを判断するようにしてもよい。この場合、表示制御部７１は、各円に対する指によるタップ操作が正常に認識されたと操作判定部７３が判断する度に、当該円に対するタップ操作が正常に認識されたことを意味する画像を元画面Ｍに表示し、一方、各円に対する指によるタップ操作が正常に認識されなかったと操作判定部７３が判断する度に、当該円に対するタップ操作が正常に認識されなかったことを意味する画像を元画面Ｍに表示することが望ましい。具体的に、各円に対するタップ操作が正常に認識されたことを意味する画像としては、例えば、当該円を反転表示した画像や、当該円の色を緑色で表示した画像等を挙げることができ、各円に対するタップ操作が正常に認識されなかったことを意味する画像としては、例えば、当該円の色を赤色で表示した画像等を挙げることができる。また、制御部７０は、各円に対するタップ操作が正常に認識されたことを意味する画像若しくは各円対するタップ操作が正常に認識されなかったことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

また、第一実施形態では、ユーザが視認画面Ｓにおける所定の四箇所に対して指で所定の操作を行い、四つの位置データを取得する場合について説明したが、ユーザが視認画面Ｓにおける所定の一箇所、二箇所又は三箇所に対して指で所定の操作を行うことにより、それらの位置データを取得するようにしてもよい。但し、この場合、視認画面Ｓの大きさに関するデータを、その視認画面Ｓに対応する元画面Ｍのデータ等から演算により予め算出して、記憶部９０に記憶しておく必要がある。そして、その取得した各位置データと視認画面Ｓの大きさに関するデータとが、基準データを構成することになる。

次に、第一実施形態の眼鏡型端末１における文字入力の処理について説明する。図１０は第一実施形態の眼鏡型端末１における文字入力の処理の手順を説明するためのフローチャートである。ここでは、予めディスプレイ装置２０に元画面Ｍとして文字入力画面２００が表示されているものとする。

ユーザは、マイク部５０から音声で文字入力を行う旨を指示するか、或いはタッチパッド部４０を用いた操作等により文字入力を行う旨を指示する。制御部７０は、その指示を受けると、文字入力処理用プログラムを記憶部９０から読み出し、図１０に示す処理フローにしたがって文字入力の処理を行う。なお、この文字入力の処理は、元画面Ｍとして文字入力画面２００がディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

まず、制御部７０は、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓに関する基準データが記憶部９０に記憶されているかどうかを判断する（Ｓ２１）。視認画面Ｓに関する基準データが記憶部９０に記憶されていなければ、制御部７０は、基準データ設定処理用プログラムを記憶部９０から読み出し、図８に示す処理フローにしたがって基準データの設定処理を行う（Ｓ２２）。その後、ステップＳ２１に移行する。なお、本実施形態では、視認画面Ｓに関する基準データが記憶部９０に記憶されていない場合に基準データの設定処理を実行することにしているが、視認画面Ｓに関する基準データが記憶部９０に記憶されている場合でも、ユーザから指示を受けたときに、基準データの設定処理を実行して、再度、基準データを生成するようにしてもよい。

一方、ステップＳ２１の処理において視認画面Ｓに関する基準データが記憶部９０に記憶されていると判断されると、制御部７０は、撮像装置３０の撮像動作を開始する（Ｓ２３）。ユーザは、視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。ここで、ユーザが所定の操作を行うのは、制御部７０に対してユーザが操作している位置を知らせるためである。かかるユーザによる操作は撮像装置３０で撮像され、その得られた画像データが画像処理部３２に送られる。そして、画像処理部３２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが制御部７０に送られる（Ｓ２４）。

次に、画像データ抽出部７２は、撮像装置３０で撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する（Ｓ２５）。すなわち、画像データ抽出部７２は、当該指が撮像装置３０からＺ軸方向に沿って略一定の距離だけ離れた位置にある画像データを抽出する。次に、操作判定部７３は、画像データ抽出部７２で抽出された画像データに基づいて当該指による操作が所定の操作（ここでは、タップ操作）であるかどうかを判定する。この判定は予め定めた所定の時間内に行われる。そして、操作判定部７３は、当該指による操作がタップ操作であれば、文字入力のための操作が正常に認識されたと判断し、一方、当該指による操作がタップ操作でなければ、文字入力のための操作が正常に認識されなかったと判断する（Ｓ２６）。操作判定部７３は、文字入力のための操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部９０に記憶すると共に、文字入力のための操作が正常に認識された旨の信号を表示制御部７１に送る。表示制御部７１は、その信号を受けると、文字入力のための操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ２８）。なお、表示制御部７１は、緑色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、上述したように、制御部７０は、文字入力のための操作が正常に認識されたことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

一方、操作判定部７３は、ステップＳ２６の処理において、予め定めた所定の時間内に文字入力のための操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部７１に送る。このとき例えば、予め定めた所定の時間内に画像データ抽出部７２から指が存在している画像データが送られてこなかった場合にも、操作判定部７３は、タップ操作が正常に認識されなかったと判断する。表示制御部７１は、その信号を受けると、文字入力のための操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ２７）。その後は、ステップＳ３２に移行する。なお、このとき、表示制御部７１は、赤色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、上述したように、制御部７０は、文字入力のための操作が正常に認識されなかったことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

ステップＳ２８の処理の後、位置データ生成部７４は、操作判定部７３で指による操作がタップ操作であると判定された画像データに基づいて、撮像装置３０の撮像範囲における当該指（指先）の位置データを生成する（Ｓ２９）。こうして生成された指の位置データは記憶部９０に記憶される。

次に、入力制御部７６は、操作判定部７３で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部７４で生成された当該指の位置データと、記憶部９０に記憶されている当該視認画面Ｓに関する基準データとに基づいて、当該指による操作に対応する入力指示の内容を認識する（Ｓ３０）。例えば、ユーザがキーボード画像２１０における文字キー画像に対して指でタップ操作を行った場合には、入力制御部７６は、その指の位置データから得られる指の位置が、キーボード画像２１０におけるどの文字キー画像の領域に対応するのかを調べることにより、今回のタップ操作が行われた文字キーを特定し、その特定した文字キーの入力が指示されたことを認識することができる。その後、入力制御部７６は、認識した入力指示の内容に関する信号を表示制御部７１に送り、表示制御部７１はその入力指示の内容に応じた元画面Ｍをディスプレイ装置２０に表示する（Ｓ３１）。

ステップＳ３１又はステップＳ２７の処理の後、制御部７０は、ユーザから文字入力を終了する旨の指示を受けたかどうかを判断する（Ｓ３２）。文字入力を終了する旨の指示を受けていれば、文字入力の処理が終了する。これに対し、文字入力を終了する旨の指示を受けていなければ、ステップＳ２３に移行し、文字入力の処理を継続する。なお、ユーザは、文字入力を終了する旨の指示を、例えば音声やタッチパッド部４０のタッチ操作により行う。

次に、第一実施形態の眼鏡型端末１における画面表示の処理について説明する。図１１は第一実施形態の眼鏡型端末１における画面表示の処理の手順を説明するためのフローチャートである。

ユーザは、マイク部５０から音声で画面表示のための操作を行う旨を指示するか、或いはタッチパッド部４０を用いた操作等により画面表示のための操作を行う旨を指示する。制御部７０は、その指示を受けると、画面表示処理用プログラムを記憶部９０から読み出し、図１１に示す処理フローにしたがって画面表示の処理を行う。なお、この画面表示の処理は、元画面Ｍがディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

まず、制御部７０は、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓに関する基準データが記憶部９０に記憶されているかどうかを判断する（Ｓ４１）。視認画面Ｓに関する基準データが記憶部９０に記憶されていなければ、制御部７０は、基準データ設定処理用プログラムを記憶部９０から読み出し、図８に示す処理フローにしたがって基準データの設定処理を行う（Ｓ４２）。その後、ステップＳ４１に移行する。なお、本実施形態では、視認画面Ｓに関する基準データが記憶部９０に記憶されていない場合に基準データの設定処理を実行することにしているが、視認画面Ｓに関する基準データが記憶部９０に記憶されている場合でも、ユーザから指示を受けたときに、基準データの設定処理を実行して、再度、基準データを生成するようにしてもよい。

一方、ステップＳ４１の処理において視認画面Ｓに関する基準データが記憶部９０に記憶されていると判断されると、制御部７０は、撮像装置３０の撮像動作を開始する（Ｓ４３）。ユーザは、視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作は撮像装置３０で撮像され、その得られた画像データが画像処理部３２に送られる。そして、画像処理部３２が画像データに対して所定の画像処理を施し、その画像処理を施した画像データが制御部７０に送られる（Ｓ４４）。

次に、画像データ抽出部７２は、撮像装置３０で撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する（Ｓ４５）。すなわち、画像データ抽出部７２は、当該指が撮像装置３０からＺ軸方向に沿って略一定の距離だけ離れた位置にある画像データを抽出する。次に、操作判定部７３は、画像データ抽出部７２で抽出された画像データに基づいて当該指による操作の内容を判定する。そして、操作判定部７３は、当該指による操作が正常に認識されたかどうかを判断する（Ｓ４６）。操作判定部７３は、当該指による操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部９０に記憶すると共に、当該指による操作が正常に認識された旨の信号を表示制御部７１に送る。表示制御部７１は、その信号を受けると、指による操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ４８）。なお、表示制御部７１は、緑色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、上述したように、制御部７０は、指による操作が正常に認識されたことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

一方、操作判定部７３は、ステップＳ４６の処理において、指による操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部７１に送る。このとき例えば、予め定めた所定の時間内に画像データ抽出部７２から指が存在している画像データが送られてこなかった場合にも、操作判定部７３は、タップ操作が正常に認識されなかったと判断する。表示制御部７１は、その信号を受けると、指による操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ４７）。その後は、ステップＳ５２に移行する。なお、このとき、表示制御部７１は、赤色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、上述したように、制御部７０は、指による操作が正常に認識されなかったことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

ステップＳ４８の処理の後、位置データ生成部７４は、操作判定部７３で指による操作の内容が判定された画像データに基づいて、撮像装置３０の撮像範囲における当該指（指先）の位置データを生成する（Ｓ４９）。こうして生成された指の位置データは記憶部９０に記憶される。

次に、入力制御部７６は、操作判定部７３で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部７４で生成された当該指の位置データと、記憶部９０に記憶されている当該視認画面Ｓに関する基準データとに基づいて、当該指による操作に対応する指示の内容を認識する（Ｓ５０）。例えば、ユーザが視認画面Ｓに対して指でダブルタップ操作を行った場合には、入力制御部７６は、今回の操作がダブルタップ操作であることを特定し、元画面Ｍを拡大（又は縮小）する旨の指示を受けたことを認識する。その後、入力制御部７６は、認識した指示の内容に関する信号を表示制御部７１に送り、表示制御部７１はその指示の内容に応じた元画面Ｍをディスプレイ装置２０に表示する（Ｓ５１）。

ステップＳ５１又はステップＳ４７の処理の後、制御部７０は、ユーザから画面表示のための操作を終了する旨の指示を受けたかどうかを判断する（Ｓ５２）。画面表示のための操作を終了する旨の指示を受けていれば、画面表示の処理が終了する。これに対し、画面表示のための操作を終了する旨の指示を受けていなければ、ステップＳ４３に移行し、画面表示の処理を継続する。なお、ユーザは、画面表示のための操作を終了する旨の指示を、例えば音声やタッチパッド部４０のタッチ操作により行う。

第一実施形態の眼鏡型端末では、入力制御部が、ユーザが視認画面に対して指で操作を行ったときに、操作判定部で判定して得られた当該指による操作の内容に関するデータ及び位置データ生成部で生成された当該指の位置データと、記憶部に記憶されている当該視認画面に関する基準データとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置に表示する元画面の制御を行う。このため、ユーザは、空中に浮かんでいるように見える視認画面に対して、通常のタッチパネルに表示された画面に対して操作するのと同様の操作を行うことにより、当該操作に対応する指示を入力することができる。したがって、第一実施形態の眼鏡型端末を用いると、ユーザは、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

［第一実施形態の変形例］
次に、本発明の第一実施形態の変形例である眼鏡型端末について説明する。図２１（ａ）は本発明の第一実施形態の変形例である眼鏡型端末の概略平面図、同図（ｂ）はその眼鏡型端末の概略右側面図である。図２２（ａ）はその眼鏡型端末の概略斜視図、同図（ｂ）はディスプレイ装置に元画面を投影している様子を説明するための概略図である。尚、本変形例において、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

第一実施形態の変形例である眼鏡型端末１ｄは、図２１及び図２２に示すように、レンズ部１１ａ，１１ｂを備える眼鏡本体部１０ｄと、ディスプレイ装置２０ｄと、撮像装置３０と、タッチパッド部４０と、マイク部５０と、スピーカ部６０と、制御部７０と、通信部８０と、記憶部９０とを備える。

この変形例の眼鏡型端末１ｄが第一実施形態の眼鏡型端末１と異なる点は、ディスプレイ装置２０ｄの構成に関する点だけである。具体的に、ディスプレイ装置２０ｄは、例えば液晶パネル（表示デバイス）を有する小型プロジェクタ２１と、光学系２２と、ハーフミラー２３とを備える。これらの構成要素のうち、ハーフミラー２３は、図２１及び図２２に示すように、眼鏡本体部１０ｄにおける右側のレンズ部１１ｂに埋め込まれている。液晶パネルに表示された元画面Ｍは、図２２に示すように、光学系を介してハーフミラー２３に投影される。

本変形例の眼鏡型端末１ｄの作用・効果は上記第一実施形態のものと同様である。したがって、本変形例の眼鏡型端末１ｄを用いると、視野内に表示される視認画面に対して文字入力や、拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。

［第二実施形態］
次に、本発明の第二実施形態である眼鏡型端末について説明する。図１２は本発明の第二実施形態である眼鏡型端末の概略ブロック図である。尚、第二実施形態において、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

第二実施形態の眼鏡型端末１ａは、図１２に示すように、レンズ部を備える眼鏡本体部１０と、眼鏡本体部１０に設けられたディスプレイ装置（表示装置）２０と、ユーザの前方を撮像するための撮像装置３０ａと、タッチパッド部４０と、マイク部５０と、スピーカ部６０と、制御部７０ａと、通信部８０と、記憶部９０とを備える。また、撮像装置３０ａは、カメラ部３１と、画像処理部３２と、カメラ制御部３３ａとを有し、制御部７０ａは、表示制御部７１と、画像データ抽出部７２ａと、操作判定部７３と、位置データ生成部７４と、基準データ生成部７５と、入力制御部７６とを有する。

第二実施形態の眼鏡型端末１ａが第一実施形態の眼鏡型端末と異なる点は、カメラ制御部３３ａがオートフォーカス制御部３３１を備えている点、及び、画像データ抽出部７２ａが、撮像装置３０ａから送られた画像データの中から、被写体が指であってその指が撮像装置３０ａからＺ軸方向に沿って略一定の距離だけ離れた位置にある画像データを抽出する点である。

オートフォーカス制御部３３１は、撮像範囲内における所定の位置にある被写体に自動的にピントを合わせるようにカメラ部３１を制御するものである。ここで、第二実施形態では、撮像装置３０ａは、撮像範囲内のどの位置においても、自動的にピントを合わせることができるように、多数のフォーカスポイントを有する。このため、ユーザが視認画面Ｓに対して指で操作を行っている場合、撮像装置３０ａは、その操作を行っている指に自動的にピントを合わせ、当該指をピントが合った状態で撮像することができる。また、オートフォーカス制御部３３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出する。この算出した距離データは当該画像データと関連付けられる。そして、撮像装置３０ａで撮像して得られた画像データとそれに関連付けられた距離データは制御部７０ａに送られる。なお、オートフォーカスの方式としては、被写体に赤外線・超音波などを照射し、その反射波が戻るまでの時間や照射角度により距離を検出するアクティブ方式、或いは、カメラ部３１のレンズで捉えた画像を利用して測距を行う位相差検出方式やコントラスト検出方式等のパッシブ方式のいずれであってもよい。

また、画像データ抽出部７２ａは、ユーザが視認画面Ｓに対して指で操作を行った際に撮像装置３０ａでピントが合った被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指であるかどうかを判断し、且つ、その撮像して得られた画像データに関連付けられた距離データに基づいて当該被写体が撮像装置３０ａからＺ軸方向に沿って予め定められた略一定の距離だけ離れているかどうかどうかを判断することにより、被写体が指であってその指が撮像装置３０ａからＺ軸方向に沿って略一定の距離だけ離れている画像データを抽出するものである。被写体が指であるかどうかを判断するには、第一実施形態の場合と同様に一般の画像認識の方法が用いられる。また、被写体が撮像装置３０ａからＺ軸方向に沿って略一定の距離だけ離れているかどうかを判断する際における略一定の距離というのは、撮像装置３０ａからユーザが認識する視認画面Ｓの位置までのＺ軸方向の距離である。例えば、ユーザが視認画面Ｓを撮像装置３０ａから約４０ｃｍ離れた位置に認識する場合、上記略一定の距離としては、撮像装置３０ａから約４０ｃｍ±５ｃｍの範囲内の距離に設定される。このように、画像データ抽出部７２ａは、視認画面Ｓが表示されている位置から極端に手前の位置や奥の位置で操作を行っている指の画像データを排除して、視認画面Ｓに対して適正な操作を行っている指の画像データを抽出することができる。なお、操作判定部７３、位置データ生成部７４、基準データ生成部７５では、画像データ抽出部７２ａで抽出された画像データに基づいて処理が行われる。

基準データ生成部７５は、第一実施形態と同様に、ユーザが視認画面Ｓにおける一又は複数の所定位置において指で操作を行ったときに、操作判定部７３で各所定位置における操作が所定の操作であると判定された画像データに基づいて位置データ生成部７４で生成された当該指の位置データを用いて、当該視認画面Ｓに関するデータを基準データとして生成する。例えば、ユーザが視認画面Ｓの外枠の四隅に対して指で操作を行った場合には、四隅の各位置における指の位置データを基準データとして用いることができる。上述のように、第二実施形態でも、画像データ抽出部７２ａが抽出した画像データは、撮像装置３０ａからＺ軸方向に沿って略一定の距離だけ離れた位置にある指を撮像したものであるので、この四隅の各位置における指の位置データは、撮像装置３０ａからＺ軸方向に沿って略一定の距離だけ離れた位置においてＸＹ平面に平行な（略ユーザの身体と平行な）平面上での指の位置情報を表していると考えることができる。

次に、第二実施形態の眼鏡型端末１ａにおいて基準データを設定する処理について説明する。

第二実施形態の眼鏡型端末１ａにおける基準データの設定処理の手順を説明するためのフローチャートは、図８に示す第一実施形態のものと同様である。第二実施形態における基準データの設定処理が第一実施形態における基準データの設定処理と異なるのは、撮像装置３０ａでの処理（ステップＳ２、Ｓ３）と、画像データ抽出部７２ａによる画像データの抽出処理（ステップＳ４）とである。したがって、以下では、図８に示すフローチャートを用いて、第二実施形態における基準データの設定処理のうち第一実施形態における基準データの設定処理と異なる事項について説明する。

ステップＳ１の処理後、制御部７０ａは、撮像装置３０ａの撮像動作を開始する（Ｓ２）。ユーザは、基準データ設定用の視認画面Ｓとして図９（ｂ）に示す文字入力画面２０１を見ると、この基準データ設定用の視認画面Ｓにおいて、数字が付された各円に対して数字の順番に指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置３０ａで撮像される。このとき、オートフォーカス制御部３３１は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部３１を制御し、撮像装置３０ａはピントが合った被写体を撮像する。また、オートフォーカス制御部３３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部３２に送られ、画像処理部３２は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは制御部７０ａに送られる（Ｓ３）。

ステップＳ４では、画像データ抽出部７２ａは、まず、撮像装置３０ａで撮像して得られた画像データに基づいて被写体が指であるかどうかを判断することにより、指が存在している画像データを抽出する。その後、画像データ抽出部７２ａは、その抽出した指が存在している画像データに関連付けられた距離データに基づいて当該被写体が撮像装置３０ａからＺ軸方向に沿って略一定の距離だけ離れているかどうかを判断することにより、被写体が指であってその指が撮像装置３０ａからＺ軸方向に沿って略一定の距離だけ離れている画像データを抽出する。なお、第二実施形態の基準データの設定処理において、ステップＳ５以下の各処理の内容は第一実施形態のものと同様である。

次に、第二実施形態の眼鏡型端末１ａにおける文字入力の処理について説明する。

第二実施形態の眼鏡型端末１ａにおける文字入力の処理の手順を説明するためのフローチャートは、図１０に示す第一実施形態のものと同様である。第二実施形態における文字入力の処理が第一実施形態における文字入力の処理と異なるのは、撮像装置３０ａでの処理（ステップＳ２３、Ｓ２４）と、画像データ抽出部による画像データの抽出処理（ステップＳ２５）とである。したがって、以下では、図１０に示すフローチャートを用いて、第二実施形態における文字入力の処理のうち第一実施形態における文字入力の処理と異なる事項について説明する。

ステップＳ２１の処理において視認画面Ｓに関する基準データが記憶部９０に記憶されていると判断されると、制御部７０ａは、撮像装置３０ａの撮像動作を開始する（Ｓ２３）。ユーザは、視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置３０ａで撮像される。このとき、オートフォーカス制御部３３１は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部３１を制御し、撮像装置３０ａはピントが合った被写体を撮像する。また、オートフォーカス制御部３３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部３２に送られ、画像処理部３２は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは制御部７０ａに送られる（Ｓ２４）。

ステップＳ２５では、画像データ抽出部７２ａは、まず、撮像装置３０ａで撮像して得られた画像データに基づいて被写体が指であるかどうかを判断することにより、指が存在している画像データを抽出する。その後、画像データ抽出部７２ａは、その抽出した指が存在している画像データに関連付けられた距離データに基づいて当該被写体が撮像装置３０ａからＺ軸方向に沿って略一定の距離だけ離れているかどうかを判断することにより、被写体が指であってその指が撮像装置３０ａからＺ軸方向に沿って略一定の距離だけ離れている画像データを抽出する。なお、第二実施形態の文字入力の処理において、ステップＳ２６以下の各処理の内容は第一実施形態のものと同様である。

次に、第二実施形態の眼鏡型端末１ａにおける画面表示の処理について説明する。

第二実施形態の眼鏡型端末１ａにおける画面表示の処理の手順を説明するためのフローチャートは、図１１に示す第一実施形態のものと同様である。第二実施形態における画面表示の処理が第一実施形態における画面表示の処理と異なるのは、撮像装置３０ａでの処理（ステップＳ４３、Ｓ４４）と、画像データ抽出部による画像データの抽出処理（ステップＳ４５）とである。したがって、以下では、図１１に示すフローチャートを用いて、第二実施形態における画面表示の処理のうち第一実施形態における画面表示の処理と異なる事項について説明する。

ステップＳ４１の処理において視認画面Ｓに関する基準データが記憶部９０に記憶されていると判断されると、制御部７０ａは、撮像装置３０ａの撮像動作を開始する（Ｓ４３）。ユーザは、視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作は撮像装置３０で撮像される。このとき、オートフォーカス制御部３３１は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部３１を制御し、撮像装置３０ａはピントが合った被写体を撮像する。また、オートフォーカス制御部３３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部３２に送られ、画像処理部３２は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは制御部７０ａに送られる（Ｓ２４）。

ステップＳ４５では、画像データ抽出部７２ａは、まず、撮像装置３０ａで撮像して得られた画像データに基づいて被写体が指であるかどうかを判断することにより、指が存在している画像データを抽出する。その後、画像データ抽出部７２ａは、その抽出した指が存在している画像データに関連付けられた距離データに基づいて当該被写体が撮像装置３０ａからＺ軸方向に沿って略一定の距離だけ離れているかどうかを判断することにより、被写体が指であってその指が撮像装置３０ａからＺ軸方向に沿って略一定の距離だけ離れている画像データを抽出する。なお、第二実施形態の画面表示の処理において、ステップＳ４６以下の各処理の内容は第一実施形態のものと同様である。

第二実施形態の眼鏡型端末は、第一実施形態の眼鏡型端末と同様の作用・効果を奏する。特に、第二実施形態では、撮像装置が、被写体に自動的にピントを合わせることができるオートフォーカス制御部を有し、オートフォーカス制御部により自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、その算出した距離データを当該撮像して得られた画像データとともに出力することにより、より正確に被写体である指（指先）にピントを合わせて、その被写体を撮像することができるので、制御部は、その撮像して得られた画像データ及び距離データに基づいて、より正確に基準データを生成したり、文字入力の処理等を行ったりすることができる。

尚、第二実施形態の眼鏡型端末においては、ディスプレイ装置として、第一実施形態の変形例におけるディスプレイ装置２０ｄを用いるようにしてもよい。この場合、このディスプレイ装置２０ｄは、図２１及び図２２に示すように、小型プロジェクタ２１と、光学系２２と、眼鏡本体部１０ｄにおける右側のレンズ部１１ｂに埋め込まれたハーフミラー２３とを備える。

［第二実施形態の第一変形例］
次に、本発明の第二実施形態の第一変形例である眼鏡型端末について説明する。図１３は本発明の第二実施形態の第一変形例である眼鏡型端末の概略ブロック図である。尚、本変形例において、上述した第二実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

第二実施形態の第一変形例である眼鏡型端末１ｂは、図１３に示すように、眼鏡本体部１０と、眼鏡本体部１０に設けられたディスプレイ装置２０と、ユーザの前方を撮像するための撮像装置３０ａと、タッチパッド部４０と、マイク部５０と、スピーカ部６０と、制御部７０ｂと、通信部８０と、記憶部９０とを備える。また、制御部７０ｂは、表示制御部７１と、画像データ抽出部７２ａと、操作判定部７３と、位置データ生成部７４ｂと、基準データ生成部７５と、入力制御部７６と、ずれ補正部７７ｂとを有する。

この第一変形例の眼鏡型端末１ｂが第二実施形態の眼鏡型端末１ａと異なる主な点は、制御部７０ｂがずれ補正部７７ｂを備えている点である。また、本変形例では、記憶部９０に記憶されている視認画面Ｓに関する基準データに基づいて得られる視認画面Ｓに対応する平面を「基準画面Ｋ」と称することにする。

ユーザは、例えば文字入力を行う際に、実際に操作する画面（以下、「操作画面Ｔ」とも称する。）を、基準データに基づいて得られる基準画面Ｋより手前に位置していたり、奥に位置していたりするように認識して、その操作画面Ｔに対して指による操作を行うことがある。すなわち、操作画面Ｔと基準画面Ｋとの間にずれが生ずることがある。このずれが大きいと、制御部７０ｂは、ユーザが指で操作したときに、その指の位置が基準画面Ｋ上でどの位置に対応するのかを正確に判断することができない可能性がある。ずれ補正部７７ｂは、ユーザが操作画面Ｔに対して指で操作して得られた指の位置データを基準画面Ｋ上での位置データに換算する処理を行うものである。ここで、ユーザが操作画面Ｔに対して指で操作して得られた指の位置データは位置データ生成部７４ｂにより生成されたものである。

次に、ずれ補正部７７ｂによる位置データの換算処理を詳しく説明する。この換算処理は、位置データのＸ座標、Ｙ座標に対して個別に行われる。図１４は第二実施形態の第一変形例においてずれ補正部７７ｂが位置データのＸ座標を基準画面Ｋ上での位置データのＸ座標に換算する処理を説明するための図、図１５は第二実施形態の第一変形例においてずれ補正部７７ｂが位置データのＹ座標を基準画面Ｋ上での位置データのＹ座標に換算する処理を説明するための図である。ここで、図１４及び図１５では、操作画面Ｔが基準画面Ｋよりも奥に位置しているとユーザが認識している場合を示している。

図１４及び図１５において、点Ｃｃはカメラ部３１の中心位置、点Ｍｃは元画面Ｍの中心位置、点Ｅｃはユーザの瞳の中心位置である。点ｐｃは基準画面Ｋの中心位置、点Ｐｃは操作画面Ｔの中心位置である。このとき、点Ｐｃ、点ｐｃ、点Ｍｃ、点Ｅｃは同一直線上にある。また、Ｗはカメラ部３１の中心位置と元画面Ｍの中心位置とのＸ軸方向の距離、Ｈはカメラ部３１の中心位置と元画面Ｍの中心位置とのＹ軸方向の距離、Ｌは元画面Ｍと基準画面ＫとのＺ軸方向の距離、αはユーザの瞳と元画面ＭとのＺ軸方向の距離である。Ｗ、Ｈ及びαの値は予め記憶部９０に記憶されており、Ｌの値は基準データを生成した際に求められており、記憶部９０に記憶されている。

いま、ユーザが操作画面Ｔ上の点Ｐを指で操作したとする。このとき、点Ｐと点Ｍｃとを結ぶ直線が基準画面Ｋと交わる点をｐ０、点Ｐと点Ｃｃとを結ぶ直線が基準画面Ｋと交わる点をｐ１とする。この第一変形例では、位置データ生成部７４ｂは、実際の指の位置を基準画面Ｋ上に射影したときのＸＹ座標を指の位置データとして取得する。したがって、位置データ生成部７４ｂは、点Ｐの位置データとして点ｐ１の位置データを算出している。また、点Ｐと元画面ＭとのＺ軸方向の距離、すなわち、操作画面Ｔと元画面ＭとのＺ軸方向の距離Ｚは、この点Ｐの位置データを生成した際に用いた画像データと関連付けられている距離データから得られる。点ｐ０は、操作画面Ｔ上の点Ｐに対応する基準画面Ｋ上の位置であるので、ずれ補正部７７ｂが行うべきことは、点ｐ１の位置データから点ｐ０の位置データを求めることである。尚、以下では、点Ｐの位置座標を（Ｘ，Ｙ）、点ｐ０の位置座標を（ｘ０，ｙ０）、点ｐｃの位置座標を（ｘｃ，ｙｃ）、点Ｐｃの座標を（Ｘｃ，Ｙｃ）、点ｐ１の位置座標を（ｘ１，ｙ１）とする。ここで、点ｐｃは基準画面Ｋの中心位置であるので、この位置座標（ｘｃ，ｙｃ）は既知であり、記憶部９０に記憶されている。また、点ｐｃと点Ｃｃとを結ぶ直線が操作画面Ｔを交わる点をＰｄとし、点Ｐｄと点ＰとのＸ軸方向の距離をｄＸ、点Ｐｄと点ＰとのＹ軸方向の距離をｄＹとする。

ｘ０をＸで表す式は次のようにして求めることができる。まず、図１４において、三角形ｐｃ−Ｐｄ−Ｐｃと三角形ｐｃ−Ｃｃ−Ｍｃに注目すると、ｄＸ：Ｗ＝（Ｚ−Ｌ）：Ｌより、
ｄＸ＝Ｗ×（Ｚ−Ｌ）／Ｌ
である。また、三角形Ｃｃ−Ｐｄ−Ｐと三角形Ｃｃ−ｐｃ−ｐ１に注目すると、｛（Ｘ−Ｘｃ）＋ｄＸ｝：（ｘ１−ｘｃ）＝Ｚ：Ｌより、
Ｘ−Ｘｃ＝（ｘ１−ｘｃ）×Ｚ／Ｌ−ｄＸ
＝（ｘ１−ｘｃ）×Ｚ／Ｌ−Ｗ×（Ｚ−Ｌ）／Ｌ
である。更に、三角形Ｅｃ−Ｐｃ−Ｐと三角形Ｅｃ−ｐｃ−ｐ０に注目すると、（Ｘ−Ｘｃ）：（ｘ０−ｘｃ）＝（Ｚ＋α）：（Ｌ＋α）より、
ｘ０−ｘｃ＝（Ｘ−Ｘｃ）×（Ｌ＋α）／（Ｚ＋α）
＝｛（ｘ１−ｘｃ）×Ｚ／Ｌ−Ｗ×（Ｚ−Ｌ）／Ｌ｝
×（Ｌ＋α）／（Ｚ＋α）
である。したがって、
ｘ０＝（ｘ０−ｘｃ）＋ｘｃ
＝｛（ｘ１−ｘｃ）×Ｚ／Ｌ−Ｗ×（Ｚ−Ｌ）／Ｌ｝
×（Ｌ＋α）／（Ｚ＋α）＋ｘｃ ・・・・（１）
となる。一方、図１５において同様に考えると、ｙ０をＹで表す式は、
ｙ０＝（ｙ０−ｙｃ）＋ｙｃ
＝｛（ｙ１−ｙｃ）×Ｚ／Ｌ−Ｈ×（Ｚ−Ｌ）／Ｌ｝
×（Ｌ＋α）／（Ｚ＋α）＋ｙｃ ・・・・（２）
となる。尚、上記（１）式、（２）式はともに、操作画面Ｔが基準画面Ｋよりも手前に位置しているとユーザが認識している場合にも成り立つ。

ずれ補正部７７ｂは、位置データ生成部７４ｂで生成された点ｐ１の位置データ（ｘ１，ｙ１）の値と、点Ｐと元画面ＭとのＺ軸方向の距離Ｚの値とを、上記（１）式、（２）式に代入することにより、点ｐ０の位置データ（ｘ０，ｙ０）を得ることができる。

入力制御部７６は、ユーザが指で操作を行ったときに、操作判定部７３で判定して得られた当該指による操作の内容に関するデータ、及び、ずれ補正部７７ｂで求められた当該指の位置データ（ｘ０，ｙ０）と、記憶部９０に記憶されている基準画面Ｋ（視認画面Ｓ）に関する基準データとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置２０に表示する元画面Ｍの制御を行う。

第二実施形態の第一変形例では、ユーザの指の位置が基準画面Ｋの位置より手前であったり、奥であったりして、ユーザが認識している操作画面Ｔと、基準画面Ｋとの間にずれが生じるような場合でも、すれ補正部が、基準画面Ｋ上におけるユーザの指の位置を求めて、入力制御部は、その指による指示の内容を正確に認識することができる。尚、本変形例におけるその他の効果は上記第二実施形態と同様である。

尚、第二実施形態の第一変形例では、位置データ生成部７４ｂが、実際にユーザが操作した指の位置を基準画面Ｋ上に射影したときのＸＹ座標を指の位置データとして取得しているが、第一実施形態及び第二実施形態でも同様に、位置データ生成部７４は、実際にユーザが操作した指の位置を基準画面Ｋ上に射影したときのＸＹ座標を指の位置データとして取得するようにしてもよい。

［第二実施形態の第二変形例］
次に、本発明の第二実施形態の第二変形例である眼鏡型端末について説明する。図２３は本発明の第二実施形態の第二変形例である眼鏡型端末の概略平面図であって、ずれ補正部が位置データのＸ座標を基準画面Ｋ上での位置データのＸ座標に換算する処理を説明するための図である。図２４はその眼鏡型端末の概略右側面図であって、ずれ補正部が位置データのＹ座標を基準画面Ｋ上での位置データのＹ座標に換算する処理を説明するための図である。ここで、図２３は図１４に対応するものであり、図２４は図１５に対応するものである。尚、本変形例において、上述した第二実施形態の第一変形例のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

第二実施形態の第二変形例である眼鏡型端末１ｅが第二実施形態の第一変形例である眼鏡型端末１ｂと異なる点は、ディスプレイ装置として、第一実施形態の変形例におけるディスプレイ装置２０ｄを用いた点である。すなわち、このディスプレイ装置２０ｄは、図２３及び図２４に示すように、小型プロジェクタ２１と、光学系２２と、眼鏡本体部１０ｄにおける右側のレンズ部１１ｂに埋め込まれたハーフミラー２３とを備える。

本変形例の眼鏡型端末１ｅについて、ずれ補正部７７ｂによる位置データの換算処理は、上述した第二実施形態の第一変形例のものと同様に行われる。尚、本変形例では、ハーフミラー２３がレンズ部１１ｂに埋め込まれているが、図２３及び図２４に示すように、各点（Ｃｃ，Ｍｃ，Ｅｃ，ｐｃ，Ｐｃ等）や各距離（Ｗ，Ｈ，Ｌ，α等）は第二実施形態の第一変形例におけるものと全く同じに定義される。

本変形例の眼鏡型端末１ｅの作用・効果は上記第二実施形態の第一変形例のものと同様である。

［第三実施形態］
次に、本発明の第三実施形態である眼鏡型端末について説明する。図１６は本発明の第三実施形態である眼鏡型端末の概略ブロック図である。尚、第三実施形態において、上述した第一実施形態のものと同一の機能を有するものには、同一の符号を付すことにより、その詳細な説明を省略する。

第三実施形態の眼鏡型端末１ｃは、図１６に示すように、レンズ部を備える眼鏡本体部１０と、眼鏡本体部１０に設けられたディスプレイ装置（表示装置）２０と、ユーザの前方を撮像するための撮像装置３０ｃと、タッチパッド部４０と、マイク部５０と、スピーカ部６０と、制御部７０ｃと、通信部８０と、記憶部９０とを備える。また、撮像装置３０ｃは、カメラ部３１と、画像処理部３２と、カメラ制御部３３ｃとを有し、制御部７０ｃは、表示制御部７１と、画像データ抽出部７２と、操作判定部７３と、位置データ生成部７４と、基準データ生成部７５ｃと、入力制御部７６ｃと、距離判定部７８ｃとを有する。

第三実施形態の眼鏡型端末１ｃが第一実施形態の眼鏡型端末と異なる主な点は、カメラ制御部３３ｃがオートフォーカス制御部３３１を備えている点、基準データ生成部７５ｃが視認画面に関するデータ（基準データ）として空間内における位置及び大きさを特定できるようなデータを生成する点、及び、制御部７０ｃが、ユーザが視認画面Ｓに対して指で操作を行ったときに、その指の位置が、基準データを用いて得られる視認画面Ｓを表す平面から略一定の距離以内だけ離れているかどうかを判定する距離判定部７８ｃを備えている点である。

オートフォーカス制御部３３１は、第二実施形態におけるオートフォーカス制御部と同じものであり、撮像範囲内における所定の位置にある被写体に自動的にピントを合わせるようにカメラ部６０を制御する。ここで、第三実施形態では、撮像装置３０ｃは、撮像範囲内のどの位置においても、自動的にピントを合わせることができるように、多数のフォーカスポイントを有する。このため、ユーザが視認画面Ｓに対して指で操作を行っている場合、撮像装置３０ｃは、その操作を行っている指に自動的にピントを合わせ、当該指をピントが合った状態で撮像することができる。また、オートフォーカス制御部３３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出する。この算出した距離データは当該画像データと関連付けられる。そして、撮像装置３０ｃで撮像して得られた画像データとそれに関連付けられた距離データは制御部７０ｃに送られる。なお、オートフォーカスの方式としては、被写体に赤外線・超音波などを照射し、その反射波が戻るまでの時間や照射角度により距離を検出するアクティブ方式、或いは、カメラ部３１のレンズで捉えた画像を利用して測距を行う位相差検出方式やコントラスト検出方式等のパッシブ方式のいずれであってもよい。

基準データ生成部７５ｃは、ユーザが視認画面Ｓにおける三つの所定位置、例えば視認画面Ｓの三つの隅において指で操作を行ったときに、操作判定部７３で各所定位置における操作が所定の操作であると判定した画像データに基づいて位置データ生成部７４が生成した当該各位置における指の位置データと、その指の位置データを生成した際に用いた画像データと関連付けられている距離データとを用いて、当該視認画面Ｓに関するデータとして三次元空間内における位置及び大きさを特定できるようなデータを生成し、基準データとして記憶部９０に記憶する。具体的には、上記各位置について、当該指の位置データ（二次元位置データ）と当該距離データ（一次元位置データ）とに基づいてＸＹＺ座標系における座標情報（三次元的なデータ）を構成し、上記三つの位置におけるＸＹＺ座標情報（三次元的なデータ）を基準データとして用いることができる。また、かかる基準データを用いると、ＸＹＺ座標系における視認画面Ｓを表す平面の方程式を算出することもできる。一般に、こうして特定される視認画面Ｓを表す平面は必ずしもＸＹ平面と平行になっているわけではない。なお、第三実施形態では、視認画面Ｓに関する基準データに基づいて得られる視認画面Ｓに対応する平面を「基準画面」と称することにする。

距離判定部７８ｃは、ユーザが視認画面Ｓに対して指で操作を行った際に撮像装置３０ｃでピントが合った被写体が撮像されたときに、操作判定部７３で当該指による操作が所定の操作であると判定された画像データに基づいて位置データ生成部７４で生成された指の位置データと、その指の位置データを生成する際に用いた画像データと関連付けられている距離データと、視認画面Ｓに関する基準データに基づいて得られる視認画面Ｓに対応する平面（基準画面）とに基づいて、当該指が当該視認画面Ｓに対応する平面（基準画面）から予め定められた略一定の距離以内に存在するかどうかを判定するものである。指が基準画面から略一定の距離以内に存在するかどうかを判断する際における略一定の距離というのは、ユーザが視認画面Ｓに対して操作を適正に行っていると認めることができる距離である。ここでは、上記略一定の距離を、例えば約５ｃｍに設定している。これにより、距離判定部７８ｃは、指が基準画面から略一定の距離よりも離れていると判定すると、ユーザが視認画面Ｓの位置から極端に手前の位置や奥の位置で操作を行っていると認識し、一方、指が基準画面から略一定の距離以内にあると判定すると、ユーザが視認画面Ｓに対して適正に操作を行っていると認識することになる。

入力制御部７６ｃは、ユーザが視認画面Ｓに対して指で操作を行った場合であって距離判定部７８ｃで当該指が基準画面から略一定の距離以内に存在すると判定されたときに、操作判定部７３で判定して得られた当該指による操作の内容に関するデータと、その判定で用いられた画像データに基づいて位置データ生成部７４で生成された当該指の位置データと、その判定で用いられた画像データと関連付けられている距離データと、記憶部９０に記憶されている当該視認画面Ｓに関する基準データとに基づいて、当該指による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、ディスプレイ装置２０に表示する元画面Ｍの制御を行う。

次に、第三実施形態の眼鏡型端末１ｃにおいて基準データを設定する処理について説明する。

第三実施形態の眼鏡型端末１ｃにおける基準データの設定処理の手順を説明するためのフローチャートは、図８に示す第一実施形態のものと同様である。第三実施形態における基準データの設定処理が第一実施形態における基準データの設定処理と異なるのは、撮像装置３０ｃでの処理（ステップＳ２、Ｓ３）と、基準データ生成部７５ｃによる基準データの生成処理（ステップＳ８）とである。したがって、以下では、図８に示すフローチャートを用いて、第三実施形態における基準データの設定処理のうち第一実施形態における基準データの設定処理と異なる事項について説明する。

まず、表示制御部７１は、基準データ設定用の元画面を作成して、ディスプレイ装置２０に表示する（Ｓ１）。図１７は基準データを設定する処理の際に表示される基準データ設定用の元画面Ｍの例を示す図である。図１７（ａ）の例では、基準データ設定用の元画面Ｍは文字入力画面２０１であり、その四隅の位置のうち三つの所定位置に円と数字とを示す画像が追加されている。なお、図１７（ａ）では、文字入力画面２０１の四隅のうち三つの所定位置に円の画像を表示しているが、図１７（ｂ）に示すように、文字入力画面２０１のキーボード画像２１０の四隅のうち三つの所定位置に円の画像を表示するようにしてもよい。ステップＳ１の処理後、制御部７０ｃは、撮像装置３０ｃの撮像動作を開始する（Ｓ２）。ユーザは、基準データ設定用の視認画面Ｓとして、図１７（ａ）に示すように、四隅の位置のうち三つの所定位置に円と数字とを示す画像が追加された文字入力画面２０１を見ると、この基準データ設定用の視認画面Ｓにおいて、数字が付された各円に対して数字の順番に指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置３０ｃで撮像される。このとき、オートフォーカス制御部３３１は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部３１を制御し、撮像装置３０ｃはピントが合った被写体を撮像する。また、オートフォーカス制御部３３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部３２に送られ、画像処理部３２は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは制御部７０ｃに送られる（Ｓ３）。

ステップＳ８では、基準データ生成部７５ｃは、ステップＳ７の処理において位置データ生成部７４で生成された、三つの所定位置における指の位置データと、その指の位置データを生成した際に用いた画像データと関連付けられている距離データとを用いて、現在表示されている視認画面Ｓに関する基準データを生成して記憶部９０に記憶する。

次に、第三実施形態の眼鏡型端末１ｃにおける文字入力の処理について説明する。図１８は第三実施形態の眼鏡型端末１ｃにおける文字入力の処理の手順を説明するためのフローチャートである。ここでは、予めディスプレイ装置２０に元画面Ｍとして文字入力画面２００が表示されているものとする。

ユーザは、マイク部５０から音声で文字入力を行う旨を指示するか、或いはタッチパッド部４０を用いた操作等により文字入力を行う旨を指示する。制御部７０ｃは、その指示を受けると、文字入力処理用プログラムを記憶部９０から読み出し、図１８に示す処理フローにしたがって文字入力の処理を行う。なお、この文字入力の処理は、元画面Ｍとして文字入力画面２００がディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

まず、制御部７０ｃは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓに関する基準データが記憶部９０に記憶されているかどうかを判断する（Ｓ１２１）。視認画面Ｓに関する基準データが記憶部９０に記憶されていなければ、制御部７０ｃは、基準データ設定処理用プログラムを記憶部９０から読み出し、基準データの設定処理を行う（Ｓ１２２）。その後、ステップＳ１２１に移行する。なお、本実施形態では、視認画面Ｓに関する基準データが記憶部９０に記憶されていない場合に基準データの設定処理を実行することにしているが、視認画面Ｓに関する基準データが記憶部９０に記憶されている場合でも、ユーザから指示を受けたときに、基準データの設定処理を実行して、再度、基準データを生成するようにしてもよい。

一方、ステップＳ１２１の処理において視認画面Ｓに関する基準データが記憶部９０に記憶されていると判断されると、制御部７０ｃは、撮像装置３０ｃの撮像動作を開始する（Ｓ１２３）。ユーザは、視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置３０ｃで撮像される。このとき、オートフォーカス制御部３３１は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部３１を制御し、撮像装置３０ｃはピントが合った被写体を撮像する。また、オートフォーカス制御部３３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部３２に送られ、画像処理部３２は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは制御部７０ｃに送られる（Ｓ１２４）。

次に、画像データ抽出部７２は、撮像装置３０ｃで撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する（Ｓ１２５）。次に、操作判定部７３は、画像データ抽出部７２で抽出された画像データに基づいて当該指による操作が所定の操作（ここでは、タップ操作）であるかどうかを判定する。この判定は予め定めた所定の時間内に行われる。そして、操作判定部７３は、当該指による操作がタップ操作であれば、文字入力のための操作が正常に認識されたと判断し、一方、当該指による操作がタップ操作でなければ、文字入力のための操作が正常に認識されなかったと判断する（Ｓ１２６）。操作判定部７３は、文字入力のための操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部９０に記憶すると共に、文字入力のための操作が正常に認識された旨の信号を表示制御部７１に送る。表示制御部７１は、その信号を受けると、文字入力のための操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ１２８）。なお、表示制御部７１は、緑色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、上述したように、制御部７０ｃは、文字入力のための操作が正常に認識されたことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

一方、操作判定部７３は、ステップＳ１２６の処理において、予め定めた所定の時間内に文字入力のための操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部７１に送る。このとき例えば、予め定めた所定の時間内に画像データ抽出部７２から指が存在している画像データが送られてこなかった場合にも、操作判定部７３は、タップ操作が正常に認識されなかったと判断する。表示制御部７１は、その信号を受けると、文字入力のための操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ１２７）。その後は、ステップＳ１３３に移行する。なお、このとき、表示制御部７１は、赤色ランプを示す画像とともに、或いはその画像に代えて、文字入力のための操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、上述したように、制御部７０ｃは、文字入力のための操作が正常に認識されなかったことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

ステップＳ１２８の処理の後、位置データ生成部７４は、操作判定部７３で指による操作がタップ操作であると判定された画像データに基づいて、撮像装置３０ｃの撮像範囲における当該指（指先）の位置データを生成する（Ｓ１２９）。こうして生成された指の位置データは記憶部９０に記憶される。

次に、距離判定部７８ｃは、位置データ生成部７４で生成された指の位置データと、その指の位置データを生成する際に用いた画像データと関連付けられている距離データと、記憶部９０に記憶されている当該視認画面Ｓに関する基準データとに基づいて、当該指が当該視認画面Ｓに対応する平面（基準画面）から予め定められた略一定の距離以内に存在するかどうかを判定する（Ｓ１３０）。距離判定部７８ｃは、指が基準画面から略一定の距離よりも離れていると判定すると、ユーザが視認画面Ｓに対して適正に操作を行っていないと判断し、その後、ステップＳ１２７に移行する。一方、ステップＳ１３０の処理において、距離判定部７８ｃは、指が基準画面から略一定の距離以内にあると判定すると、ユーザが視認画面Ｓに対して適正に操作を行っていると認識し、その後、ステップＳ１３１に移行する。

ステップＳ１３１では、入力制御部７６ｃは、操作判定部７３で判定して得られた当該指による操作の内容に関するデータと、位置データ生成部７４で生成された当該指の位置データと、その判定で用いられた画像データと関連付けられている距離データと、記憶部９０に記憶されている当該視認画面Ｓに関する基準データとに基づいて、当該指による操作に対応する入力指示の内容を認識する。例えば、ユーザがキーボード画像２１０における文字キー画像に対して指でタップ操作を行った場合には、入力制御部７６ｃは、その指の位置データから得られる指の位置が、キーボード画像２１０におけるどの文字キー画像の領域に対応するのかを調べることにより、今回のタップ操作が行われた文字キーを特定し、その特定した文字キーの入力が指示されたことを認識することができる。その後、入力制御部７６ｃは、認識した入力指示の内容に関する信号を表示制御部７１に送り、表示制御部７１はその入力指示の内容に応じた元画面Ｍをディスプレイ装置２０に表示する（Ｓ１３２）。

ステップＳ１３２又はステップＳ１２７の処理の後、制御部７０ｃは、ユーザから文字入力を終了する旨の指示を受けたかどうかを判断する（Ｓ１３３）。文字入力を終了する旨の指示を受けていれば、文字入力の処理が終了する。これに対し、文字入力を終了する旨の指示を受けていなければ、ステップＳ１２３に移行し、文字入力の処理を継続する。なお、ユーザは、文字入力を終了する旨の指示を、例えば音声やタッチパッド部４０のタッチ操作により行う。

次に、第三実施形態の眼鏡型端末１ｃにおける画面表示の処理について説明する。図１９は第三実施形態の眼鏡型端末１ｃにおける画面表示の処理の手順を説明するためのフローチャートである。

ユーザは、マイク部５０から音声で画面表示のための操作を行う旨を指示するか、或いはタッチパッド部４０を用いて画面表示のための操作を行う旨を指示する。制御部７０ｃは、その指示を受けると、画面表示処理用プログラムを記憶部９０から読み出し、図１９に示す処理フローにしたがって画面表示の処理を行う。なお、この画面表示の処理は、元画面Ｍがディスプレイ装置２０に表示されたときに自動的に実行されるようにしてもよい。

まず、制御部７０ｃは、現在、ディスプレイ装置２０に表示されている元画面Ｍに対応する視認画面Ｓに関する基準データが記憶部９０に記憶されているかどうかを判断する（Ｓ１４１）。視認画面Ｓに関する基準データが記憶部９０に記憶されていなければ、制御部７０ｃは、基準データ設定処理用プログラムを記憶部９０から読み出し、基準データの設定処理を行う（Ｓ１４２）。その後、ステップＳ１４１に移行する。なお、本実施形態では、視認画面Ｓに関する基準データが記憶部９０に記憶されていない場合に基準データの設定処理を実行することにしているが、視認画面Ｓに関する基準データが記憶部９０に記憶されている場合でも、ユーザから指示を受けたときに、基準データの設定処理を実行して、再度、基準データを生成するようにしてもよい。

一方、ステップＳ１４１の処理において視認画面Ｓに関する基準データが記憶部９０に記憶されていると判断されると、制御部７０ｃは、撮像装置３０ｃの撮像動作を開始する（Ｓ１４３）。ユーザは、視認画面Ｓに対して指で所望の操作を行う。かかるユーザによる操作は撮像装置３０ｃで撮像される。

一方、ステップＳ１４１の処理において視認画面Ｓに関する基準データが記憶部９０に記憶されていると判断されると、制御部７０ｃは、撮像装置３０ｃの撮像動作を開始する（Ｓ１４３）。ユーザは、視認画面Ｓである文字入力画面２００のキーボード画像２１０に対して指で所定の操作、例えばタップ操作を行う。かかるユーザによる操作は撮像装置３０ｃで撮像される。このとき、オートフォーカス制御部３３１は、撮像範囲内にある被写体に自動的にピントを合わせるようにカメラ部３１を制御し、撮像装置３０ｃはピントが合った被写体を撮像する。また、オートフォーカス制御部３３１は、自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、この算出した距離データを当該画像データと関連付ける。この撮像して得られた画像データは画像処理部３２に送られ、画像処理部３２は画像データに対して所定の画像処理を施す。そして、その画像処理を施した画像データとそれに関連付けられた距離データとは制御部７０ｃに送られる（Ｓ１４４）。

次に、画像データ抽出部７２は、撮像装置３０ｃで撮像して得られた画像データに基づいて、被写体が指であるかどうかを判断し、指が存在している画像データを抽出する（Ｓ１４５）。次に、操作判定部７３は、画像データ抽出部７２で抽出された画像データに基づいて当該指による操作の内容を判定する。そして、操作判定部７３は、当該指による操作が正常に認識されたかどうかを判断する（Ｓ１４６）。操作判定部７３は、当該指による操作が正常に認識されたと判断すると、当該指による操作の内容に関するデータを記憶部９０に記憶すると共に、当該指による操作が正常に認識された旨の信号を表示制御部７１に送る。表示制御部７１は、その信号を受けると、指による操作が正常に認識されたことを意味する緑色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ１４８）。なお、表示制御部７１は、緑色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されたことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、上述したように、制御部７０は、指による操作が正常に認識されたことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

一方、操作判定部７３は、ステップＳ１４６の処理において、指による操作が正常に認識されなかったと判断すると、その旨の信号を表示制御部７１に送る。このとき例えば、予め定めた所定の時間内に画像データ抽出部７２から指が存在している画像データが送られてこなかった場合にも、操作判定部７３は、タップ操作が正常に認識されなかったと判断する。表示制御部７１は、その信号を受けると、指による操作が正常に認識されなかったことを意味する赤色ランプを示す画像を元画面Ｍに追加して、ディスプレイ装置２０に表示する（Ｓ１４７）。その後は、ステップＳ１５３に移行する。なお、このとき、表示制御部７１は、赤色ランプを示す画像とともに、或いはその画像に代えて、指による操作が正常に認識されなかったことを意味する文字や図形を示す画像を元画面Ｍに追加するようにしてもよい。或いは、上述したように、制御部７０ｃは、指による操作が正常に認識されなかったことを意味する画像の表示とともに、若しくは当該画像の表示に代えて、特定の報知音をスピーカ部６０から発するようにしてもよい。

ステップＳ１４８の処理の後、位置データ生成部７４は、操作判定部７３で指による操作の内容が判定された画像データに基づいて、撮像装置３０ｃの撮像範囲における当該指（指先）の位置データを生成する（Ｓ１４９）。こうして生成された指の位置データは記憶部９０に記憶される。

次に、距離判定部７８ｃは、位置データ生成部７４で生成された指の位置データと、その指の位置データを生成する際に用いた画像データと関連付けられている距離データと、記憶部９０に記憶されている当該視認画面Ｓに関する基準データとに基づいて、当該指が当該視認画面Ｓに対応する平面（基準画面）から予め定められた略一定の距離以内に存在するかどうかを判定する（Ｓ１５０）。距離判定部７８ｃは、指が基準画面から略一定の距離よりも離れていると判定すると、ユーザが視認画面Ｓに対して適正に操作を行っていないと判断し、その後、ステップＳ１４７に移行する。一方、ステップＳ１５０の処理において、距離判定部７８ｃは、指が基準画面から略一定の距離以内にあると判定すると、ユーザが視認画面Ｓに対して適正に操作を行っていると認識し、その後、ステップＳ１５１に移行する。

ステップＳ１５１では、入力制御部７６ｃは、操作判定部７３で判定して得られた当該指による操作の内容に関するデータと、位置データ生成部７４で生成された当該指の位置データと、その判定で用いられた画像データと関連付けられている距離データと、記憶部９０に記憶されている当該視認画面Ｓに関する基準データとに基づいて、当該指による操作に対応する入力指示の内容を認識する。例えば、ユーザが視認画面Ｓに対して指でダブルタップ操作を行った場合には、入力制御部７６ｃは、今回の操作がダブルタップ操作であることを特定し、元画面Ｍを拡大（又は縮小）する旨の指示を受けたことを認識する。その後、入力制御部７６ｃは、認識した指示の内容に関する信号を表示制御部７１に送り、表示制御部７１はその指示の内容に応じた元画面Ｍをディスプレイ装置２０に表示する（Ｓ１５２）。

ステップＳ１５２又はステップＳ１４７の処理の後、制御部７０ｃは、ユーザから画面表示のための操作を終了する旨の指示を受けたかどうかを判断する（Ｓ１５３）。画面表示のための操作を終了する旨の指示を受けていれば、画面表示の処理が終了する。これに対し、画面表示のための操作を終了する旨の指示を受けていなければ、ステップＳ１４３に移行し、画面表示の処理を継続する。なお、ユーザは、画面表示のための操作を終了する旨の指示を、例えば音声やタッチパッド部４０のタッチ操作により行う。

第三実施形態の眼鏡型端末は、第一実施形態の眼鏡型端末と同様の作用・効果を奏する。特に、第三実施形態では、基準データ生成部が、基準データとして、視認画面Ｓについて空間内における位置及び大きさを特定できるようなデータを生成することにより、ユーザが、視認画面Ｓに対する指での操作の際に、例えば視認画面Ｓの左側の二つの隅についてはその手前側の位置を操作し、視認画面Ｓの右側の二つの隅についてはその奥側の位置を操作するというような習癖を有する者であっても、そのユーザの習癖に合った基準データを生成することができる。

尚、第三実施形態の眼鏡型端末においては、ディスプレイ装置として、第一実施形態の変形例におけるディスプレイ装置２０ｄを用いるようにしてもよい。この場合、このディスプレイ装置２０ｄは、図２１及び図２２に示すように、小型プロジェクタ２１と、光学系２２と、眼鏡本体部１０ｄにおける右側のレンズ部１１ｂに埋め込まれたハーフミラー２３とを備える。

［他の実施形態］
尚、本発明は上記の各実施形態及び各変形例に限定されるものではなく、その要旨の範囲内において種々の変形が可能である。

上記の各実施形態及び各変形例では、ユーザが視認画面に対して指で操作を行う場合について説明したが、例えば、ユーザはスタイラスやペン等の入力指示具を用いて視認画面に対して操作を行うようにしてもよい。

また、上記の各実施形態及び各変形例において、ユーザは、視認画面に対して指でタッチ操作を行う場合に、指先に所定のマークを付しておくようにしてもよい。マークとしては、円や四角形等の単純な図形や記号等を用いることができる。ここで、指先にマークを付す方法としては、マークを直接、指先に描く方法だけでなく、マークを記したシールを指先に貼り付ける方法、マークを記したサック又はリングを指先に装着する方法等を用いることができる。具体的に、図６（ａ），図７（ａ）に示すように、視認画面の表側から指でタッチ操作を行う場合には、マークを指の爪側に付しておくようにすればよい。一方、図６（ｂ），図７（ｂ）に示すように、視認画面の表側だけでなく裏側からも指でタッチ操作する場合には、マークを指の爪側と、指先又は指の腹側（指紋のある部分）との両側に付しておくようにすればよい。なお、視認画面の裏側からのみ指でタッチ操作を行う場合には、マークを指先又は指の腹側にだけ付しておくようにしてもよい。この場合、画像データ抽出部は、マークが存在している画像データを、指が存在している画像データとして抽出する。そして、操作判定部は、マークの動きに基づいて指による操作がどのような内容の操作であるかを判定し、位置データ生成部は、マークの位置データを指の位置データとして生成する。実際、画像データの解析・処理に際しては、指自体の認識よりも単純な図形等のマークの認識の方が容易且つ正確に行うことができるので、画像認識の精度の向上を図ることができる。

また、上記第一、第二及び第三の実施形態、及び第二実施形態の第一変形例では、ディスプレイ装置が眼鏡のレンズと別個に設けられている場合について説明したが、本発明は、これに限定されるものではなく、ディスプレイ装置はレンズと一体的に構成されているものであってもよい。

また、上記第一、第二及び第三の実施形態、及び第二実施形態の第一変形例では、ディスプレイ装置が、表示デバイスを有する小型プロジェクタと、光学系と、ハーフミラーとを備え、ハーフミラーが、眼鏡本体部のレンズ部の前に配置されたプリズムの中に埋め込まれている場合について説明したが、ハーフミラーを、プリズムと一体化し若しくはプリズムに貼り付けるようにしてもよい。更に、上記第一実施形態の変形例及び第二実施形態の第二変形例では、ディスプレイ装置が、表示デバイスを有する小型プロジェクタと、光学系と、ハーフミラーとを備え、ハーフミラーが、眼鏡本体部のレンズ部に埋め込まれている場合について説明したが、ハーフミラーを、レンズ部に貼り付け若しくはレンズ部と一体化するようにしてもよい。

また、上記の各実施形態及び各変形例では、ディスプレイ装置が、表示デバイスを有する小型プロジェクタと、光学系と、ハーフミラーとを備える場合について説明したが、ハーフミラーの代わりに、光（映像）の一部を反射するホログラムシート又はホログラムフィルムを用いるようにしてもよい。この場合、ホログラムシート又はホログラムフィルムは、眼鏡本体部のレンズ部の一部又は全部に貼り付けられ、又は眼鏡本体部のレンズ部に埋め込まれ若しくは眼鏡本体部のレンズ部と一体化される。これにより、小型プロジェクタからの画像や映像は、光学系を介してホログラムシート又はホログラムフィルムに投影され、ユーザはホログラムシート又はホログラムフィルムによって反射された画像や映像を見ることができる。

また、上記の各実施形態及び各変形例では、ディスプレイ装置に一つの元画面を表示する場合について説明したが、本発明は、これに限定されるものではなく、ディスプレイ装置に二つの元画面を表示するようにしてもよい。この場合、ユーザは二つの視認画面を空中に浮かんでいるように見ることになる。例えば、文字入力画面のキーボード画像を二つに分け、キーボード画像を右側キーボード画像と左側キーボード画像とから構成する場合には、ユーザは、右側キーボード画像と左側キーボード画像を空中に浮かんでいるように認識し、両手の指で文字の入力を行うことができる。

更に、上記の各実施形態及び各変形例において、二つのディスプレイ装置を設けて、各ディスプレイ装置に異なる元画面を表示するようにしてもよい。特に、一方のディスプレイ装置を右眼用のレンズ部の前に配置し、他方のディスプレイ装置を左眼用のレンズ部の前に配置すると、ユーザは、一方の視認画面を右目で認識し、他方の視認画面を左目で認識することになる。この場合、二つの撮像装置を設け、各撮像装置が各々の視認画面に対して操作を行う指を撮像するようにしてもよい。

また、上記の各実施形態及び各変形例では、撮像装置の撮像範囲内においてＸＹ座標系を設定し、そのＸＹ座標系の原点が撮像範囲における左下の点である場合について説明したが、ＸＹ座標系の原点は撮像範囲における任意の位置に設定することができる。例えば、ＸＹ座標系の原点は撮像範囲における左上の点であってもよい。

また、上記の第二実施形態では、被写体が撮像装置からＺ軸方向に沿って略一定の距離だけ離れているかどうかを画像データ抽出部が判断する際における略一定の距離を、撮像装置から約４０ｃｍ±５ｃｍの範囲内の距離に設定した場合について説明したが、本発明は、これに限定されるものではなく、上記略一定の距離は、例えば、３０ｃｍ±３ｃｍであってもよいし、或いは５０ｃｍ±６ｃｍ等であってもよい。また、ユーザが上記略一定の距離を自由に変更することができるようにしてもよい。同様に、上記の第三実施形態では、指が基準画面から略一定の距離以内に存在するかどうかを距離判定部が判断する際における略一定の距離を、約５ｃｍに設定した場合について説明したが、本発明は、これに限定されるものではなく、上記略一定の距離は、例えば３ｃｍ、６ｍｍ等であってもよい。また、ユーザが上記略一定の距離を自由に変更することができるようにしてもよい。

また、上記の第三実施形態では、基準データ生成部が、ユーザが視認画面における三つの所定位置、例えば視認画面の三つの隅において指で操作を行ったときに、当該各位置における指の位置データと、その指の位置データを生成した際に用いた画像データと関連付けられている距離データとを用いて、上記三つの位置におけるＸＹＺ座標情報を求め、その求めた三つの位置におけるＸＹＺ座標情報を基準データとする場合について説明したが、本発明は、これに限定されるものではなく、基準データ生成部は、使用者が視認画面における少なくとも三つの所定位置において指で操作を行ったときに、当該各位置における指の位置データと、その指の位置データを生成した際に用いた画像データとともに送られた距離データとを用いて、上記少なくとも三つの位置におけるＸＹＺ座標情報を求め、その求めた各位置におけるＸＹＺ座標情報に基づいて基準データを作成するようにしてもよい。例えば、基準データ生成部は、ユーザが例えば視認画面の四つの隅において指で操作を行ったときに、当該各位置における指の位置データと、その指の位置データを生成した際に用いた画像データと関連付けられている距離データとを用いて、上記四つの位置におけるＸＹＺ座標情報を求め、その求めた四つの位置におけるＸＹＺ座標情報に基づいて基準データを生成するようにしてもよい。なお、この場合、基準データ生成部は、上記四つの位置におけるＸＹＺ座標情報を求めたときに、上記四つの位置が同一平面上になければ、所定のアルゴリズムにより上記四つの位置からのずれが最も小さな平面を求め、この求めた平面に基づいて基準データを生成することが望ましい。

また、上記の第三実施形態では、基準データ生成部が、ユーザが視認画面における三つの所定位置において指で操作を行ったときに、各指の位置について、当該指の位置データ（二次元位置データ）と当該距離データ（一次元位置データ）とに基づいてＸＹＺ座標系における座標情報（三次元的なデータ）を構成し、上記三つの位置における三次元的なデータを基準データとして用いる場合について説明したが、例えば二つのカメラ部を設け、各カメラ部で被写体を撮像して得られる画像データ（立体画像データ）に基づいて当該被写体の三次元位置データを得ることができる場合には、基準データ生成部は、ユーザが視認画面における三つの所定位置において指で操作を行ったときに得られる各指の位置についての三次元位置データを基準データとして用いるようにしてもよい。

また、上記の第二実施形態又は第三実施形態では、オートフォーカス制御部が被写体に自動的にピントを合わせるように撮像装置を制御する場合について説明したが、オートフォーカス制御部は、撮像装置からＺ軸方向に沿って一定の距離以内にある被写体にだけ自動的にピントを合わせるように撮像装置を制御するようにしてもよい。例えば、撮像装置から１ｍ以内にある被写体にだけピントが合い、撮像装置から１ｍより遠いところにある被写体にはピントが合わないようにしてもよい。これにより、被写体にピントを合わせるように撮像装置を制御する処理、及び、撮像装置で撮像された画像データの中から指が存在している画像データを抽出する処理を迅速に行うことができる。

更に、上記の各実施形態及び各変形例では、基準データの設定、文字入力、及び画面表示のための操作を行う場合に、撮像装置での撮影時にピントの合う範囲を狭い範囲に制限する場合について説明したが、本発明はこれに限定されるものではなく、例えば本発明の眼鏡型端末の撮像装置を用いて通常のカメラ撮影を行う場合に、ピントが合う範囲を一定範囲に制限するようにしてもよい。例えば、通常のカメラ撮影を行う場合には、撮像装置から例えば１ｍより遠く離れた位置にある被写体にはピントが合わないようにしてもよい。また、上述した基準データの設定等のための操作を行っているときや通常のカメラ撮影を行っているときのように、ピントが合う範囲を一定範囲に制限しているときには、制限している旨を第三者に報知する報知手段を備えることが望ましい。この報知手段としては、例えば眼鏡本体部に設けたＬＥＤ等のライトを点灯して報知したり、眼鏡本体部にその旨のサイン等を表示して報知したりしてもよい。眼鏡型端末では、撮像装置で撮影された周りの人のプライバシーが侵害されるおそれがあり、問題となっているが、本発明では、撮像装置から例えば１ｍより遠く離れた位置にある被写体にはピントが合わないようにし、また、ピントが合う範囲を一定範囲に制限しているときには、制限している旨を第三者に報知する報知手段を備えることにより、従来の眼鏡型端末で懸念されているプライバシー問題を解決することが可能になる。更に、撮像装置は、本発明の眼鏡型端末がどのような状態にある場合でもピントが合う範囲を一定範囲に制限することができるものであってもよい。また、眼鏡型端末がどのような状態にある場合でもピントが合う範囲を一定範囲に制限している場合、ユーザが眼鏡型端末を装着し、上述した基準データの設定等のための操作や通常のカメラ撮影の操作以外の操作を行っているときにも、或いは、眼鏡型端末がスタンバイ状態のときにも、報知手段はピントが合う範囲を一定範囲に制限している旨を第三者に報知することが望ましい。加えて、例えば撮像装置が動作していないとき、或いは眼鏡型端末が動作していないときに、報知手段により動作していない旨の報知を行うようにすることが望ましい。このときの報知手段による報知は、上述したピントが合う範囲を一定範囲に制限している旨を第三者に報知するときのものと同様のものであってもよいし、例えばＬＥＤ等のライトの色を変えたりして異なるものにしてもよい。

また、上記の第二実施形態又は第三実施形態においては、文字入力の処理や画面表示の処理の際に、撮像装置が被写体である指を認識し、その認識した指に自動的且つ連続的にピントを合わせるようにしてもよい。

また、上記の各実施形態及び各変形例において、記憶部に、携帯電話、スマートフォン、タブレットやラップトップコンピュータ等の携帯端末についての操作画面や、パーソナルコンピュータ等の情報端末についての操作画面や、照明、テレビ、エアコンやセキュリティシステム等の家庭電気製品についてのリモコン画面や、カーステレオ、カーナビゲーションやエアコン等の電装装置についてのコントロールパネル画面を元画面として記憶しておくようにしてもよい。この場合、ユーザが、音声により又はタッチパッド部を用いた操作等を行うことにより元画面として上記操作画面等をディスプレイ装置に表示させ、その元画面に対応する視認画面に対して指で操作を行ったときに、制御部（遠隔制御部）はその操作の内容を示す指令信号（コマンド）を生成し、通信部を介してその生成した指令信号を上記携帯端末等に無線送信する。これにより、上記携帯端末等をリモートで操作することができる。すなわち、本発明の眼鏡型端末はエアコン等の遠隔制御可能な装置についてのリモートコントローラ（リモコン）として使用することもできる。図２０は元画面としてエアコンについてのリモートコントローラの操作部に対応する画面（リモコン画面）を用い、そのリモコン画面に対応する視認画面に対してユーザが操作を行うときの様子を示す図である。図２０に示すように、ユーザがその視認画面に対して設定温度を下げることを指示するボタンを指で操作すると、制御部は設定温度を下げる旨のコマンドを生成し、通信部を介してそのコマンドを赤外線通信によりエアコンに送信し、これにより、ユーザはエアコンの設定温度を容易に下げることができる。

また、上記の各実施形態及び各変形例では、本発明の眼鏡型端末を、ユーザが眼鏡をかけるように頭部に装着する場合について説明したが、本発明の眼鏡型端末は、表示装置や撮像装置等を備えるものであれば、耳にかけて使用する端末に限られるものではなく、頭部の例えば、後頭部、前頭部或いは頭頂部にかけて使用するもの、具体的には、ヘッドセット型端末やヘッドマウンテッドディスプレイ（ＨＭＤ）型端末であってもよい。

更に、本発明の眼鏡型端末は、眼鏡に取り付けるタイプのものであってもよい。この場合、本発明の眼鏡型端末を眼鏡に取り付けた後に、使用者がその眼鏡をかけることにより、本発明の眼鏡型端末が頭部に装着される。

以上説明したように、本発明の眼鏡型端末では、入力制御部が、使用者が視認画面に対して指又は入力指示具で操作を行ったときに、操作判定部で判定して得られた当該指又は入力指示具による操作の内容に関するデータ及び位置データ生成部で生成された当該指又は入力指示具の位置データと、記憶部に記憶されている当該視認画面に関する基準データとに基づいて、当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、表示装置に表示する元画面の制御を行う。このため、本発明の眼鏡型端末を用いると、使用者は、通常のスマートフォン端末やタブレット端末と同様に、視認画面に対して操作を行うことにより、文字入力の操作や拡大・縮小等の各種の画面操作を容易且つ正確に行うことができる。したがって、本発明は、使用者が眼鏡のように装着して使用する眼鏡型端末に適用することができる。

１，１ａ，１ｂ，１ｃ，１ｄ，１ｅ 眼鏡型端末
１０，１０ｄ 眼鏡本体部
１１，１１ａ，１１ｂ レンズ部
２０，２０ｄ ディスプレイ装置（表示装置）
２１ 小型プロジェクタ
２２ 光学系
２３ ハーフミラー
３０，３０ａ，３０ｃ 撮像装置
３１ カメラ部
３２ 画像処理部
３３，３３ａ,３３ｃ カメラ制御部
３３１ オートフォーカス制御部
４０ タッチパッド部
５０ マイク部
６０ スピーカ部
７０，７０ａ，７０ｂ，７０ｃ 制御部
７１ 表示制御部
７２，７２ａ 画像データ抽出部
７３ 操作判定部
７４，７４ｂ 位置データ生成部
７５，７５ｃ 基準データ生成部
７６，７６ｃ 入力制御部
７７ｂ ずれ補正部
７８ｃ 距離判定部
８０ 通信部
９０ 記憶部
２００ 文字入力画面
２０１ 文字入力画面（基準データ設定用の元画面）
２１０ キーボード画像
２２０ 表示領域
２２１ 検索画面
２２１１ キーワード入力部
２２１２ 検索結果表示部

Claims (13)

1. 眼鏡本体部と、前記眼鏡本体部に設けられた、使用者に空中に浮かんでいるように見える視認画面に対応する元画面を表示する表示装置とを有し、使用者が眼鏡のように装着して使用する眼鏡型端末において、
   前記眼鏡本体部に設けられた、前記視認画面に対して使用者が指又は所定の入力指示具で操作を行ったときにその操作を行った指又は入力指示具を撮像する撮像装置と、
   使用者が前記視認画面に対して操作を行った指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定する操作判定部と、
   使用者が前記視認画面に対して操作を行った指又は入力指示具を前記撮像装置が撮像したときに、その撮像して得られた画像データに基づいて前記撮像装置が撮像することができる範囲である撮像範囲における当該指又は入力指示具の位置データを生成する位置データ生成部と、
   使用者が前記視認画面における一又は複数の所定位置において指又は入力指示具で操作を行ったときに、前記操作判定部で前記各所定位置における操作が所定の操作であると判定された前記画像データに基づいて前記位置データ生成部で生成された当該指又は入力指示具の位置データを用いて、当該視認画面の位置及び大きさを特定するための当該視認画面に関するデータを生成して基準データとして記憶部に記憶する基準データ生成部と、
   使用者が前記視認画面に対して指又は入力指示具で操作を行ったときに、前記操作判定部で判定して得られた当該指又は入力指示具による操作の内容に関するデータ及び前記位置データ生成部で生成された当該指又は入力指示具の位置データと、前記記憶部に記憶されている当該視認画面に関する前記基準データと、当該視認画面に対応する前記元画面に関するデータとに基づいて、前記撮像範囲内で当該視認画面の範囲を特定し、当該指又は入力指示具による操作がその特定した当該視認画面の範囲内のどの位置で行われたのかを調べることにより、当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、前記表示装置に表示する前記元画面の制御を行う入力制御部と、
   を備えることを特徴とする眼鏡型端末。
2. 前記撮像装置は、使用者が認識する視認画面の位置にある被写体にピントが合うように構成されており、
   前記撮像装置でピントが合った被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指又は入力指示具であるかどうかを判断して指又は入力指示具が存在している画像データを抽出する画像データ抽出部が更に備えられており、
   前記操作判定部は、前記画像データ抽出部で抽出された画像データに基づいて当該画像データに存在している指又は入力指示具による操作がどのような内容の操作であるのかを判定するものであり、
   前記位置データ生成部は、前記操作判定部で指又は入力指示具による操作が所定の操作であると判定された画像データに基づいて、前記撮像範囲における当該指又は入力指示具の位置データを生成するものであることを特徴とする請求項１記載の眼鏡型端末。
3. 前記撮像装置は、被写体に自動的にピントを合わせることができるオートフォーカス制御部を有し、前記オートフォーカス制御部により自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、その算出した距離データを当該撮像して得られた画像データとともに出力するものであり、
   前記撮像装置で自動的にピントが合わせられた被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指又は入力指示具であるかどうかを判断し、また、当該画像データとともに送られた距離データに基づいて当該被写体が前記撮像装置から奥行き方向に沿って予め定められた略一定の距離だけ離れているかどうかを判定して、指又は入力指示具が存在している画像データであってその指又は入力指示具が前記撮像装置から奥行き方向に沿って略一定の距離だけ離れているものを抽出する画像データ抽出部が更に備えられており、
   前記操作判定部は、前記画像データ抽出部で抽出された画像データに基づいて当該画像データに存在している指又は入力指示具による操作がどのような内容の操作であるのかを判定するものであり、
   前記位置データ生成部は、前記操作判定部で指又は入力指示具による操作が所定の操作であると判定された画像データに基づいて、前記撮像範囲における当該指又は入力指示具の前記位置データを生成するものであることを特徴とする請求項１記載の眼鏡型端末。
4. 前記基準データ生成部は、四隅のうち少なくとも一箇所に所定の目印が付された前記元画面が前記表示装置に表示されている場合に、使用者が当該元画面に対応する前記視認画面における前記目印に対して指又は入力指示具で操作を行ったときに、前記位置データ生成部で生成された指又は入力指示具の位置データを用いて、当該視認画面に関する前記基準データを生成することを特徴とする請求項１、２又は３記載の眼鏡型端末。
5. 眼鏡本体部と、前記眼鏡本体部に設けられた、使用者に空中に浮かんでいるように見える視認画面に対応する元画面を表示する表示装置とを有し、使用者が眼鏡のように装着して使用する眼鏡型端末において、
   前記眼鏡本体部に設けられた、被写体に自動的にピントを合わせることができるオートフォーカス制御部を有し、前記オートフォーカス制御部により自動的にピントが合わせられた被写体を撮像したときに、その撮像した被写体までの距離データを算出し、その算出した距離データを当該撮像して得られた画像データとともに出力する撮像装置と、
   前記撮像装置で自動的にピントが合わせられた被写体が撮像されたときに、その撮像して得られた画像データに基づいて当該被写体が指又は入力指示具であるかどうかを判断して、指又は入力具が存在している画像データを抽出する画像データ抽出部と、
   使用者が前記視認画面に対して操作を行った指又は入力指示具を前記撮像装置が撮像したときに、前記画像データ抽出部で抽出された画像データに基づいて当該指又は入力指示具による操作が各種の操作のうちどのような内容の操作であるのかを判定する操作判定部と、
   使用者が前記視認画面に対して操作を行った指又は入力指示具を前記撮像装置が撮像したときに、前記操作判定部で指又は入力指示具による操作が所定の操作であると判定された画像データに基づいて、前記撮像装置が撮像することができる範囲である撮像範囲における当該指又は入力指示具の位置データを生成する位置データ生成部と、
   使用者が前記視認画面における少なくとも三つの所定位置において指又は入力指示具で操作を行ったときに、前記操作判定部で前記各所定位置における操作が所定の操作であると判定された前記画像データに基づいて前記位置データ生成部で生成された少なくとも三つの指又は入力指示具の位置データと、それら位置データを生成した際に用いた画像データとともに送られた距離データとを用いて、三次元空間内において当該視認画面に対応する画面である基準画面を特定するデータを生成して基準データとして記憶部に記憶する基準データ生成部と、
   前記基準データ生成部で前記基準データが生成された後に、使用者が前記視認画面に対して指又は入力指示具で操作を行った際に前記撮像装置で自動的にピントが合わせられた被写体を撮像したときに、前記操作判定部で指又は入力指示具による当該操作が所定の操作であると判定された画像データに基づいて前記位置データ生成部で生成された指又は入力指示具の位置データと、その指又は入力指示具の位置データを生成する際に用いた画像データと関連付けられている距離データと、前記記憶部に記憶されている当該視認画面に対応する基準画面を特定する基準データとに基づいて、当該指又は入力指示具が前記基準画面から予め定められた略一定の距離範囲以内に位置しているかどうかを判定する距離判定部と、
   使用者が前記視認画面に対して指又は入力指示具で操作を行った場合であって前記距離判定部で当該指又は入力指示具が前記基準画面から略一定の距離範囲以内に位置していると判定されたときに、前記操作判定部で判定して得られた当該指又は入力指示具による操作の内容に関するデータと、その判定で用いられた画像データに基づいて前記位置データ生成部で生成された当該指又は入力指示具の位置データと、その判定で用いられた画像データと関連付けられている距離データと、前記記憶部に記憶されている当該視認画面に対応する基準画面を特定する基準データと、当該視認画面に対応する前記元画面に関するデータとに基づいて、前記撮像範囲内で当該視認画面の範囲を特定し、当該指又は入力指示具による操作がその特定した当該視認画面の範囲内のどの位置で行われたのかを調べることにより、当該指又は入力指示具による操作に対応する入力指示の内容を認識し、その認識した入力指示の内容に応じて、前記表示装置に表示する前記元画面の制御を行う入力制御部と、
   を備えることを特徴とする眼鏡型端末。
6. 前記表示装置に表示される元画面は、キーボード画像と入力した文字を表示する表示領域とを有する文字入力画面であることを特徴とする請求項１乃至５の何れか一項記載の眼鏡型端末。
7. 前記表示装置に表示される元画面には遠隔制御可能な装置についてのリモートコントローラの操作部に対応する画面が含まれており、
   前記リモートコントローラの操作部に対応する画面に対して操作が行われたときにその操作の内容を示す指令信号を生成し、その生成した指令信号を前記遠隔制御可能な装置に無線送信する遠隔制御部を更に備えることを特徴とする請求項１乃至５の何れか一項記載の眼鏡型端末。
8. 前記撮像装置は、ピントが合う範囲を一定範囲に制限することができるものであり、ピントが合う範囲を一定範囲に制限している旨を第三者に報知する報知手段を有することを特徴とする請求項１又は５記載の眼鏡型端末。
9. 前記表示装置は、表示デバイスを有するプロジェクタと、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影されるハーフミラーとを備え、前記ハーフミラーは、前記眼鏡本体部のレンズ部の前に配置されたプリズムの中に埋め込まれ若しくは一体化され、又は前記眼鏡本体部のレンズ部の前に配置されたプリズムに貼り付けられていることを特徴とする請求項１乃至８の何れか一項記載の眼鏡型端末。
10. 前記表示装置は、表示デバイスを有するプロジェクタと、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影されるハーフミラーとを備え、前記ハーフミラーは、前記眼鏡本体部のレンズ部に貼り付けられ、又は前記眼鏡本体部のレンズ部に埋め込まれ若しくは一体化されていることを特徴とする請求項１乃至８の何れか一項記載の眼鏡型端末。
11. 前記表示装置は、表示デバイスを有するプロジェクタと、光学系と、前記表示デバイスに表示された前記元画面が前記光学系を介して投影されるホログラムシート又はホログラムフィルムとを備え、前記ホログラムシート又はホログラムフィルムは、前記眼鏡本体部のレンズ部に貼り付けられ、又は前記眼鏡本体部のレンズ部に埋め込まれ若しくは一体化されていることを特徴とする請求項１乃至８の何れか一項記載の眼鏡型端末。
12. 使用者の指先には所定のマークが付されており、前記操作判定部は、前記マークの動きに基づいて指による操作がどのような内容の操作であるかを判定し、前記位置データ生成部は、前記マークの位置データを指の位置データとして生成することを特徴とする請求項１乃至１０の何れか一項記載の眼鏡型端末。
13. 使用者が眼鏡のように装着して使用するのではなく、使用者が耳以外の頭部のいずれかの部位に装着して使用することを特徴とする請求項１乃至１２の何れか一項記載の眼鏡型端末。
    

Images