JP5646532B2 - 操作入力装置、操作入力方法、及び、プログラム - Google Patents

Description

本発明は、操作入力装置、操作入力方法、及び、プログラムに関する。

使用者が、操作対象機器と使用者との間に、操作対象機器と重ねて設定された仮想の平面上で、操作対象機器を操作できる操作入力装置が知られている（例えば、特許文献１、２参照）。
［特許文献１］ 特開２０１１−１７５６１７号公報
［特許文献２］ 特開２０１０−２４４４８０号公報

しかしながら、上記の装置では、仮想の平面と、操作対象機器とが使用者から見て重なるので、操作する使用者の手等の身体の一部が操作対象機器と重なり、操作対象機器の一部が身体によって遮られて、操作対象機器が見え難いという課題がある。

本発明の第１の態様においては、使用者の身体の３次元空間上の位置を検出する３次元センサから入力された前記身体の位置を示す３次元情報、及び、予め格納された操作対象機器の位置情報から、前記使用者の眼または頭の位置と前記操作対象機器の表示部の４隅とを結ぶ線分と前記表示部とで囲まれる空間を前記使用者が前記操作対象機器を見込む空間である見込空間として特定し、さらに、当該見込空間の外に一平面の位置を自動的に特定する平面特定部と、前記３次元センサにより検出される３次元情報から、前記平面特定部により特定された前記一平面の位置を基準にした前記使用者の身体の位置の変化を検知し、検知した変化から予め定められた操作を特定し、特定した操作に対応する選択信号を前記操作対象機器へ出力する操作特定部とを備える操作入力装置を提供する。

本発明の第２の態様においては、使用者の身体の３次元空間上の位置を検出する３次元センサから入力された前記身体の位置を示す３次元情報、及び、予め格納された操作対象機器の位置情報から、前記使用者の眼または頭の位置と前記操作対象機器の表示部の４隅とを結ぶ線分と前記表示部とで囲まれる空間を前記使用者が前記操作対象機器を見込む空間である見込空間として特定し、さらに、当該見込空間の外に一平面の位置を自動的に特定する平面特定ステップと、前記３次元センサにより検出される３次元情報から、前記平面特定ステップにおいて特定された前記一平面の位置を基準にした前記使用者の身体の位置の変化を検知し、検知した変化から予め定められた操作を特定し、特定した操作に対応する選択信号を前記操作対象機器へ出力する操作特定ステップとを備える操作入力方法を提供する。

本発明の第３の態様においては、使用者の身体の３次元空間上の位置を検出する３次元センサから入力された前記身体の位置を示す３次元情報、及び、予め格納された操作対象機器の位置情報から、前記使用者の眼または頭の位置と前記操作対象機器の表示部の４隅とを結ぶ線分と前記表示部とで囲まれる空間を前記使用者が前記操作対象機器を見込む空間である見込空間として特定し、さらに、当該見込空間の外に一平面の位置を自動的に特定する平面特定手順と、前記３次元センサにより検出される３次元情報から、前記平面特定手順において特定された前記一平面の位置を基準にした前記使用者の身体の位置の変化を検知し、検知した変化から予め定められた操作を特定し、特定した操作に対応する選択信号を前記操作対象機器へ出力する操作特定手順とをコンピュータに実行させるためのプログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

操作入力装置１６を備えるシステム１０の全体構成図である。 システム１０の制御系を説明するブロック図である。 記憶部４８に記憶されている操作テーブル５４の一例である。 操作入力装置１６による操作入力処理を説明するフローチャートである。 平面特定部４２によるステップＳ１０の平面特定処理を説明するフローチャートである。 平面領域２０の特定方法を説明する図である。 平面領域２０を説明するシステムの全体側面図である。 操作特定部４４によるステップＳ１２の操作特定処理を説明するフローチャートである。 表示部３６に表示される画像を説明する図である。 選択信号の入力方法を説明する図である。 ブックマークの表示画面の操作方法を説明する図である。 ブックマークの表示画面の操作方法を説明する図である。 メニュー画像６０の表示方法を説明する図である。

以下、本発明の実施の形態を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。

図１は、操作入力装置１６を備えるシステム１０の全体構成図である。図１に示すように、システム１０は、操作対象機器の一例である表示装置１２と、３次元センサ１４と、操作入力装置１６とを備える。

表示装置１２の一例は、液晶表示装置、有機ＥＬ表示装置等である。表示装置１２は、テレビ放送及びインターネット等により画像及び音声を取得し、当該画像及び音声を出力する。表示装置１２には、使用者１８が直接触って操作するボタン等の入力部２２が設けられる。

３次元センサ１４は、使用者１８の身体の３次元空間上の位置を検出する。３次元センサ１４の一例は、位相差オートフォーカスによる測距機能を有し、画像を撮像する撮像装置である。３次元センサ１４は、表示装置１２の画像の表示側に向けられている。これにより、３次元センサ１４は、表示装置１２に表示された画像を視聴している使用者１８の画像を取得する。また、３次元センサ１４は、使用者１８までの距離を測定する。３次元センサ１４は、取得した使用者１８の画像、及び、使用者１８までの距離を含む３次元情報を操作入力装置１６へと出力する。

操作入力装置１６は、３次元センサ１４から入力された使用者１８の画像、及び、使用者１８までの距離から、操作用の仮想平面である平面領域２０を、見込空間２１の外に特定する。見込空間２１は、使用者１８が表示装置１２を見込む空間である。見込空間２１の一例は、使用者１８の眼と表示装置１２の表示部の４隅とを結ぶ線分および表示部自体で囲まれる空間である。操作入力装置１６は、特定した平面領域２０内での使用者１８の身体の位置の変化により操作を特定して、操作に対応する選択信号を表示装置１２へと出力する。

図２は、システム１０の制御系を説明するブロック図である。図２に示すように、表示装置１２は、上記入力部２２に加え、制御部３２と、画像生成部３４と、表示面の一例である表示部３６と、通信部３８と、副表示部４０とを備える。

入力部２２は、上記ボタン等が使用者１８により押圧された場合に、当該ボタンに対応付けられた電源のオン・オフの切り替え等の入力を受け付け、制御部３２に出力する。

制御部３２は、表示装置１２の制御全般を司る。例えば、制御部３２は、操作入力装置１６及び入力部２２から出力された選択信号を取得して、画像生成部３４を制御する。

通信部３８は、テレビ放送を受信する。通信部３８は、さらにインターネット２４等を介してサーバ２６との間で画像等の情報を送信する。

画像生成部３４は、通信部３８が取得した画像及び音声を表示部３６に出力する。表示部３６は、画像生成部３４から入力された画像を表示するとともに、音声を出力する。

副表示部４０は、複数の表示灯を有する。副表示部４０は、複数の表示灯の点灯および消灯によって表示装置１２の種々の状態、例えば、表示装置１２の電源のオン・オフ状態等を表示する。

操作入力装置１６は、平面特定部４２と、操作特定部４４と、通知部４６と、記憶部４８とを有する。操作入力装置１６は、コンピュータであってもよく、上記各機能を実行するためのプログラムを外部または記憶部４８から読み込んで、当該各機構を実行してもよい。

平面特定部４２は、３次元センサ１４から入力された身体の位置を示す３次元情報、及び、予め記憶部４８に格納された機器座標５６から見込空間２１を特定する。平面特定部４２はさらに、使用者１８が空間上の平面を指定する動作を検知した場合に、見込空間２１の外に平面領域２０の位置を特定する。平面特定部４２は、特定した平面領域２０の位置を示す領域座標５２を記憶部４８に記憶する。尚、平面特定部４２は、使用者１８の指定によって特定した平面領域２０の領域座標５２が見込空間２１内である場合、表示または音声等により警告する。

操作特定部４４は、３次元センサ１４により検出される３次元情報から、平面特定部４２により特定された平面領域２０の位置を基準にした使用者１８の身体の位置の変化を検知する。操作特定部４４はさらに、検知した変化から予め定められた操作を操作テーブル５４に基づいて特定し、特定した操作に対応する選択信号を表示装置１２へ出力する。

この場合に例えば、操作特定部４４は、使用者１８の身体が、平面特定部４２により特定された平面領域２０と共有点を有している間の動作から操作を特定する。操作特定部４４は、共有点の有無を、平面領域２０の領域座標５２と、使用者１８の画像から算出した使用者１８の身体の座標とから判定する。操作特定部４４は、上記共有点が存在すると判断した場合に、その旨を示す存在情報を通知部４６に出力する。

通知部４６は、上記存在情報が操作特定部４４から入力されると、身体が平面領域２０内に存在している旨を使用者１８に通知する。この場合に、通知部４６は、音声等によって、存在している旨を通知してもよいし、表示装置１２の表示部３６及び副表示部４０への表示により通知してもよい。

記憶部４８は、平面特定部４２が特定した平面領域２０の位置を示す座標である領域座標５２を記憶する。記憶部４８はさらに、操作特定部４４が操作を特定するための判定条件を示す操作テーブル５４を記憶する。記憶部４８はさらに、表示装置１２の位置情報の一例として、見込空間２１を特定するための表示部３６の４隅の座標である機器座標５６を記憶する。

図３は、記憶部４８に記憶されている操作テーブル５４の一例である。図３に示すように、操作テーブル５４には操作と使用者１８の身体位置の変化の条件とが対応付けられている。さらに、操作と当該操作が特定された場合の出力の信号とが対応付けられている。

図３に示す例では、対象を押す押圧操作には、平面領域２０において法線方向の移動量の方が面内の移動量より大きいかまたは等しい、身体の位置の変化が対応付けられるとともに、選択信号が出力の信号として対応付けられている。また、表示をスクロールするスクロール操作には、平面領域２０において法線方向の移動量の方が面内の移動量より小さい、身体の位置の変化が対応付けられるとともに、スクロール信号が出力の信号として対応付けられている。

図４は、操作入力装置１６による操作入力処理を説明するフローチャートである。操作入力処理は、入力部２２の電源オンボタンが押圧されることにより開始される。まず、平面特定部４２が平面領域２０を特定する平面特定処理を実行する（Ｓ１０）。次に、操作特定部４４が、使用者１８の身体の変化に基づいて、操作を特定する操作特定処理を実行する（Ｓ１２）。

図５は、平面特定部４２によるステップＳ１０の平面特定処理を説明するフローチャートである。図６は、平面領域２０の特定方法を説明する図である。図７は、平面領域２０を説明するシステムの全体側面図である。

３次元センサ１４は予め定められたフレームレートで画像を撮像して、測距情報とともに３次元情報として平面特定部４２に入力し、平面特定部４２は当該３次元情報から使用者１８の顔が検出されたか否かを判定する（Ｓ２０）。これにより、平面特定部４２は、使用者１８が表示部３６の前面にいない、もしくは使用者１８が表示画面を向いていない場合に、使用者１８の両手を検出する動作を省くことができる。平面特定部４２は、顔が検出されたと判定するまで（Ｓ２０：Ｎｏ）、ステップＳ２０を繰り返す。

平面特定部４２は、顔が検出されたと判定した場合に（Ｓ２０：Ｙｅｓ）、当該画像上の使用者１８の身体、特に両手を検出する（Ｓ２２）。平面特定部４２は、検出した両手の動きから平面領域２０が指定されたか否かを判定する（Ｓ２４）。

平面領域２０が指定されたか旨は、使用者１８の手が予め定められた形または動きになっていることにより判定される。例えば、図６に示すように、使用者１８が手２８の人差し指及び親指を略直交させて立てるとともに、一方の手２８の親指と他方の手２８の人差し指とを平行にする形の画像を取得した場合に、平面特定部４２は平面領域２０が指定されたと判定する（Ｓ２４：Ｙｅｓ）。平面特定部４２は、平面が指定されたと判定するまで（Ｓ２４：Ｎｏ）、使用者１８の身体の検出を継続する。

平面特定部４２は平面領域２０が指定されたと判定した場合（Ｓ２４：Ｙｅｓ）、平面特定部４２は、使用者１８が指定した領域座標５２を算出する（Ｓ２６）。図６に示す例の場合、平面特定部４２は、画像から手２８の親指と人差し指の付け根の交点の座標を、画像内の位置および測距情報から算出して、当該交点を頂点とする長方形を特定する。平面特定部４２はさらに、当該長方形の厚みを設定して平面領域２０とする構成であってもよい。厚みの一例は、数ｃｍから数十ｃｍである。換言すれば、平面領域２０は、薄い直方体形状となる。平面特定部４２は、当該直方体の８個所の頂点の座標を領域座標５２として算出する。

平面特定部４２は、３次元情報から使用者１８の眼を検出する（Ｓ２８）。平面特定部４２は、検出した使用者１８の眼の座標、及び、記憶部４８に記憶されている機器座標５６から見込空間２１を特定する（Ｓ２９）。ここで、使用者１８の眼を検出する構成に限らず、使用者１８が画面全体を視認するために確保すべき視野空間領域である見込空間２１を特定する構成であれば、使用者１８の頭の形状（例えば、首から上の形状）を検出して、頭の位置と機器座標５６から見込空間２１を特定する構成であってもよい。

平面特定部４２は、ステップ２６で特定した平面領域２０が見込空間２１の外か否かを判定する（Ｓ３２）。この場合に平面特定部４２は、領域座標５２により特定される平面領域２０が上記見込空間２１と共有点を有しない場合に見込空間２１の外と判断し、共有点を有する場合に見込空間２１の内と判断する。

平面特定部４２は、領域座標５２が見込空間２１の内にあると判定した場合に（Ｓ３２：Ｎｏ）、音声または副表示部４０を用いた画像による警告を通知する（Ｓ３４）。この後、ステップＳ２０以降が繰り返される。一方、平面特定部４２は、領域座標５２が見込空間２１の外にある判定した場合に（Ｓ３２：Ｎｏ）、平面特定部４２は、領域座標５２として、平面領域２０の８個所の頂点の座標を記憶部４８に記憶させる（Ｓ３８）。以上により、図７に示すように、見込空間２１の外に、厚みを持った平面領域２０が特定される。

図８は、操作特定部４４によるステップＳ１２の操作特定処理を説明するフローチャートである。図９は、表示部３６に表示される画像を説明する図である。図１０は、選択信号の入力方法を説明する図である。図１１及び図１２は、ブックマークの表示画面の操作方法を説明する図である。

操作特定部４４は、メニューの表示信号を制御部３２に出力する（Ｓ４０）。これにより、制御部３２は、画像生成部３４にメニューの表示信号を出力して、画像生成部３４は、図９に示すようにメニュー画像６０を表示部３６に表示する。メニュー画像６０は、使用者１８にいずれかのメニューの選択を促す。表示部３６のメニュー画像６０が表示されている領域以外の領域には、インターネット等から取得した画像が表示される。

次に、操作特定部４４は、記憶部４８に記憶された領域座標５２に基づいて、使用者１８の身体位置が平面領域２０内か否かを判定する（Ｓ４２）。この場合に、３次元センサ１４は予め定められたフレームレートで画像を撮像して、測距情報とともに３次元情報として操作特定部４４に入力する。操作特定部４４は、使用者１８の身体位置を３次元情報から算出して、領域座標５２で特定される平面領域２０と共有点を有するか否かを判断する。

操作特定部４４は、使用者１８の身体位置が平面領域２０内でないと判定した場合に（Ｓ４２：Ｎｏ）、終了時間が経過するまで（Ｓ４４：Ｎｏ）、ステップＳ４２を繰り返す。操作特定部４４は、使用者１８の身体位置が平面領域２０内になく、ステップＳ４２を繰り返している間に、終了時間が経過したと判定した場合に（Ｓ４４：Ｙｅｓ）、操作特定処理を終了する。

一方、操作特定部４４は、使用者１８の身体位置が平面領域２０内にあると判定した場合に（Ｓ４２：Ｙｅｓ）、通知部４６がカーソル６２の表示信号を制御部３２へと出力する（Ｓ４６）。これにより、画像生成部３４は、図１０の上図に示すように、カーソル６２を表示部３６に表示させる。

図１０において、上図は表示部３６を示し、下図は平面領域２０を示す。下図において図示しているメニュー画像６０は、実際には平面領域２０に表示されないが、説明上図示している。

図１０の上図に示すように、操作特定部４４が表示部３６にメニュー画像６０を表示させた状態で、使用者１８が、例えば、図１０の下図のように、手２８の人差し指２９を平面領域２０内に置いたとする。この画像が、３次元センサ１４から操作特定部４４に入力されると、上記ステップＳ４２において、操作特定部４４が使用者１８の身体が平面領域２０内に存在すると判定する。

操作特定部４４が、使用者１８の身体が平面領域２０内に存在することを示す存在情報を通知部４６へと出力すると、通知部４６は、使用者１８の身体が平面領域２０内に存在している旨を通知するカーソル表示指示を制御部３２に出力する。これにより、制御部３２は、画像生成部３４にカーソル表示を指示する。これにより、図１０の上図に示すように、画像生成部３４は、平面領域２０内の人差し指２９の先端部分に対応する表示部３６の位置にカーソル６２を表示する。

この場合に、画像生成部３４は「対応する位置」を例えば、平面領域２０と表示部３６の大きさの比率に基づいて決める。この場合に、操作特定部４４は、平面領域２０の厚さ方向を無視した平面として左下端の座標を原点とする。また、操作特定部４４は、表示部３６の左下端の座標を原点とする。さらに、操作特定部４４は、平面領域２０に対する表示部３６の面積比を算出する。次に、操作特定部４４は、人差し指２９の平面領域２０内の座標に当該面積比の自乗根を掛け算して表示部３６内における対応する位置とする。例えば、平面領域２０内の人差し指２９の座標が（１、１）であって、面積比が４倍の場合、操作特定部４４は、表示部３６の座標（２、２）の位置にカーソルを表示する。なお、平面領域２０が表示部３６の相似形状でない場合、操作特定部４４は、平面領域２０に対する表示部３６の対応する辺同士の長さの比を算出し、平面領域２０内の座標に当該長さの比を掛け算して表示部３６内の対応する位置とする。

次に、操作特定部４４は、使用者１８の身体位置が平面領域２０内で変化したか否かを判定する（Ｓ４８）。当該変化は、例えば、予め定められた時間内における３次元情報を時系列で比較することにより算出される。操作特定部４４は、使用者１８の身体位置が平面領域２０内で変化していないと判定した場合に（Ｓ４８：Ｎｏ）、ステップＳ４４を実行する。

一方、操作特定部４４は、使用者１８の身体位置が平面領域２０内で変化していると判定した場合に（Ｓ４８：Ｙｅｓ）、当該変化が操作テーブル５４のいずれかの条件を満足するか否かを判断する（Ｓ５０）。図３に示す例においては、当該条件は法線移動距離と面内移動距離との比較により択一的にいずれかが満たされるので、当該例において、操作特定部４４は、身体位置の法線移動距離と面内移動距離とを算出して比較する（同ステップ）。以下、図５に示された条件の例で説明する。

身体位置の法線移動距離は、身体位置の移動距離のうち、平面領域２０の法線方向の成分により算出される。ここで、平面領域２０は、厚みを有するので、操作特定部４４は、厚み方向の身体位置の移動によって、法線移動距離を算出できる。尚、平面領域２０が、厚みを有さない場合、操作特定部４４は、例えば、平面領域２０を横切る指の直径または円周等の形状の変化によって、法線移動距離を算出する。身体位置の面内移動距離は、身体位置の移動距離のうち、平面領域２０の面内成分により算出される。

操作特定部４４は、身体位置の法線移動距離が面内移動距離以上である判定すると（Ｓ５０：Ｙｅｓ）、操作テーブル５４を参照して使用者１８の操作を押圧操作と判定して、選択信号を制御部３２へと出力し（Ｓ５２）、ステップＳ４２に戻る。この場合に、操作特定部４４は、平面領域２０における人差し指２９の面内位置と、表示部３６上のメニュー画像６０の各メニューの面内位置との関係に基づいて、いずれのメニューの選択信号かを特定する。

例えば、図１０状態から、使用者１８が人差し指２９を平面領域２０の法線方向に移動させたとする。操作特定部４４は、３次元センサ１４から人差し指２９が法線方向に移動する画像を取得すると、メニューのうちのブックマークを押圧した押圧操作と判定して、ブックマークの表示命令の選択信号を制御部３２に出力する。なお、操作特定部４４が出力する選択信号には、選択されたメニューに対応した命令、例えば電源のオン・オフ命令、ブックマークの表示命令等が含まれる。操作特定部４４は、法線方向の移動の向きを問わず押圧操作を特定してもよいし、法線方向の移動の向きを検出して、押圧操作と引込操作とを区別して特定してもよい。

制御部３２は、選択信号を取得すると、選択信号に対応する画像を画像生成部３４に表示させる。例えば、図１０に示すように、ブックマーク６６のボタンの押圧操作に関する選択信号が制御部３２に入力された場合、画像生成部３４は、図１１に示すように、ブックマーク６６のリストを表示部３６に表示させる。

一方、操作特定部４４は、身体位置の法線移動距離が面内移動距離未満と判定すると（Ｓ５０：Ｎｏ）、使用者１８の操作をスクロール操作と判定して、スクロール距離を含むスクロール信号を制御部３２へと出力し（Ｓ５４）、ステップ４２に戻る。例えば、図１１に示すようにブックマーク６６が表示されている状態で、上下方向のスクロール信号が制御部３２に入力されると、画像生成部３４は、ブックマーク６６のリストをスクロール距離に対応させて上下方向にスクロールさせる。

図１１において、上図は表示部３６を示し、下図は平面領域２０を示す。図１１は操作前の図であって、図１２は操作後の図である。上述したように、ブックマークの表示命令の選択信号が制御部３２に入力されると、制御部３２は、画像生成部３４にブックマークの表示命令を出力する。これにより、画像生成部３４は、図１１の上図に示すように、表示部３６にブックマーク６４のリストを表示する。

図１１の下図に実線で示すように、使用者１８が、例えば、人差し指２９を平面領域２０内に置いたとする。操作特定部４４は、人差し指２９の先端が平面領域２０内に配置されたと判定すると、人差し指２９の先端に対応する座標とともに、カーソル表示を指示する。これにより、画像生成部３４は、図１１の上図に示すように、人差し指２９の先端に対応する位置にカーソル６２を表示する。

次に、使用者１８が平面領域２０内における面方向に人差し指２９を移動させて、図１１の下図に点線で示す位置に人差し指２９が移動したとする。操作特定部４４は人差し指２９の移動距離及び移動方向を特定する。ここでいう移動方向は、平面領域２０の両辺に沿った２方向及び両辺と交差する斜め方向をも含む。操作特定部４４は、面内の移動距離が平面領域２０の法線方向の移動距離よりも長い場合、スクロール操作と判定する。操作特定部４４は、移動距離及び移動方向を含むスクロール信号を制御部３２に出力する。

ここで、スクロール信号に含まれる移動距離は、人差し指２９の移動距離と等しくてもよく、人差し指２９の移動距離と異ならせてもよい。スクロール信号に含まれる移動距離と人差し指２９の移動距離とを異ならせる場合、例えば、操作特定部４４は、平面領域２０に対する表示部３６の倍率を人差し指２９の移動距離に積算した値をスクロール信号に含まれる移動距離とする。制御部３２が、スクロール信号を画像生成部３４に出力する。

これにより、図１２に示すように、画像生成部３４は、スクロール信号に含まれる移動距離及び移動方向に対応する方向及び移動距離だけブックマーク６４のリストを表示部３６内で移動させる。また、画像生成部３４は、カーソル６２もスクロール信号に含まれる方向及び移動距離に対応させて移動させる。

図１３は、メニュー画像６０の表示方法の一例を説明する図である。図１３において、上図は表示部３６を示し、下図は平面領域２０を示す。図１３に示すように、画像生成部３４は、メニュー画像６０が不要な場合、メニュー画像６０の端部のみを表示部３６に表示させてもよい。または、画像生成部３４は、メニュー画像６０が不要な場合、メニュー画像６０を表示部３６から消去してもよい。メニュー画像６０が不要な場合とは、使用者１８がメニュー画像６０を不要な旨を指示した場合、使用者１８がメニュー画像６０を介して一定時間指示を入力しなかった場合等を含む。

図１３の上図に示す状態において、使用者１８が図１３の下図に示すように、平面領域２０内で人差し指２９を右側から左側に移動させたことを操作特定部４４が検出すると、操作特定部４４は、スクロール操作と判定する。この後、操作特定部４４は、移動距離及び移動方向を含むスクロール信号を制御部３２に出力する。この結果、画像生成部３４は、図９に示すように、メニュー画像６０を表示させる。

以上、本実施形態によれば、操作入力装置１６は、見込空間２１の外の使用者１８が指定した位置に操作用の仮想平面である平面領域２０を特定する平面特定部４２を備え、これにより、使用者１８は、自己の身体によって表示装置１２の表示部３６を遮ることなく、手もとを視認しなくとも表示内容を視聴しながら表示装置１２を操作することができる。

使用者１８が指定した平面領域２０が見込空間２１の内側の場合、平面特定部４２が警告する。これにより、使用者１８は、確実に見込空間２１の外に平面領域２０を設定できる。

操作入力装置１６では、操作特定部４４が、法線移動距離と面内移動距離との大小関係により、使用者１８の操作が押圧操作かスクロール操作かを判定している。これにより、使用者１８は、タブレット端末等を直接触って操作するのと同様の操作感覚で、表示装置１２を操作することができる。

操作入力装置１６では、平面特定部４２が厚みを有する平面領域２０を特定する。これにより、操作特定部４４は、平面領域２０を横切る使用者の身体の形状から算出するのではなく、使用者の法線方向の身体位置の移動から、使用者の身体位置の法線移動距離を容易に算出できる。

なお、図８から図１３に示す例において、使用者１８の身体として手２８の人差し指２９を検出しているが、身体はこれに限られない。手自体でもよいし、腕でもよく、身体の他の部分であってもよい。また、操作テーブル５４において、指を検出した場合と身体の他の部分を検出した場合とで、異なる操作が割り当てられていてもよい。

また、上記実施形態では、平面特定部４２が、使用者１８による空間上の一平面を指定する動作を検知した場合に、使用者１８が指定した位置に基づいて、平面領域２０の位置を特定する。これに代えて、平面特定部４２が、平面領域２０を自動で特定してもよい。この場合、平面特定部４２は、見込空間２１の外であって見込空間２１に対して予め定められた相対位置に、平面領域２０の位置を特定する。この場合に、平面特定部４２は、表示部３６に対して非平行な平面領域２０を特定することが好ましい。例えば、表示部３６の表示面が鉛直に直立している場合に、平面領域２０は水平に設定される。

上記実施形態では、平面特定部４２は３次元情報から検出された使用者１８の眼の位置に基づいて見込空間２１を特定した。これに代えて、平面特定部４２は３次元情報から使用者１８の顔を検出し、当該顔の位置に基づいて見込空間２１を特定してもよい。

また、上記実施形態では、３次元センサ１４は位相差オートフォーカスによる測距機能を有している。これに代えてまたはこれに加えて、３次元センサ１４は画像のコントラスト情報を用いたコントラストオートフォーカスによる測距機能を有していてもよい。

また、上記実施形態では、表示装置１２を操作対象機器の一例とした。操作対象機器は表示装置１２に限られず、他の装置、例えばエアコンディショナー、照明装置等であってもよい。

以上、本発明の実施の形態を説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ システム、１２ 表示装置、１４ ３次元センサ、１６ 操作入力装置、１８ 使用者、２０ 平面領域、２１ 見込空間、２２ 入力部、２４ インターネット、２６ サーバ、２８ 手、２９ 指、３２ 制御部、３４ 画像生成部、３６ 表示部、３８ 通信部、４０ 副表示部、４２ 平面特定部、４４ 操作特定部、４６ 通知部、４８ 記憶部、５２ 領域座標、５４ 操作テーブル、５６ 機器座標、６０ メニュー画像、６２ カーソル、６４ ブックマーク、６６ ブックマーク

Claims (3)

1. 使用者の身体の３次元空間上の位置を検出する３次元センサから入力された前記身体の位置を示す３次元情報、及び、予め格納された操作対象機器の位置情報から、前記使用者の眼または頭の位置と前記操作対象機器の表示部の４隅とを結ぶ線分と前記表示部とで囲まれる空間を前記使用者が前記操作対象機器を見込む空間である見込空間として特定し、さらに、当該見込空間の外に一平面の位置を自動的に特定する平面特定部と、
   前記３次元センサにより検出される３次元情報から、前記平面特定部により特定された前記一平面の位置を基準とした前記使用者の身体の位置の変化を検知し、検知した変化から予め定められた操作を特定し、特定した操作に対応する選択信号を前記操作対象機器へ出力する操作特定部と
   を備える操作入力装置。
2. 使用者の身体の３次元空間上の位置を検出する３次元センサから入力された前記身体の位置を示す３次元情報、及び、予め格納された操作対象機器の位置情報から、前記使用者の眼または頭の位置と前記操作対象機器の表示部の４隅とを結ぶ線分と前記表示部とで囲まれる空間を前記使用者が前記操作対象機器を見込む空間である見込空間として特定し、さらに、当該見込空間の外に一平面の位置を自動的に特定する平面特定ステップと、
   前記３次元センサにより検出される３次元情報から、前記平面特定ステップにおいて特定された前記一平面の位置を基準にした前記使用者の身体の位置の変化を検知し、検知した変化から予め定められた操作を特定し、特定した操作に対応する選択信号を前記操作対象機器へ出力する操作特定ステップと
   を備える操作入力方法。
3. 使用者の身体の３次元空間上の位置を検出する３次元センサから入力された前記身体の位置を示す３次元情報、及び、予め格納された操作対象機器の位置情報から、前記使用者の眼または頭の位置と前記操作対象機器の表示部の４隅とを結ぶ線分と前記表示部とで囲まれる空間を前記使用者が前記操作対象機器を見込む空間である見込空間として特定し、さらに、当該見込空間の外に一平面の位置を自動的に特定する平面特定手順と、
   前記３次元センサにより検出される３次元情報から、前記平面特定手順において特定された前記一平面の位置を基準にした前記使用者の身体の位置の変化を検知し、検知した変化から予め定められた操作を特定し、特定した操作に対応する選択信号を前記操作対象機器へ出力する操作特定手順と
   をコンピュータに実行させるためのプログラム。

Images