JP5873766B2 - 情報入力装置 - Google Patents

Description

この発明は、ユーザの指の動き等のジェスチャを用いて、例えばウエブページのリンクを選択操作する機能を備える情報入力装置に関する。

近年、インターネットにアクセスするためのブラウザ機能がパーソナル・コンピュータばかりでなくゲーム機やテレビジョン受信機等にも搭載され、テレビジョン受信機からインターネット上のウエブサイトを閲覧できるようになっている。
パーソナル・コンピュータは一般に卓上に設置されているので、キーボードや、マウス等のポインティングデバイスを使用してウエブサイトに対しアクセスすることができる。しかしながら、ゲーム機やテレビジョン受信機は離れた場所から見ることが多いため、マウス等のポインティングデバイスを接続して閲覧操作することは難しく、リモートコントローラによる操作に頼らざるを得ない。

しかし、テレビジョン受信機のディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示した場合、番組ごとのウエブサイトへのリンクが多数表示される。また、ニュースサイト等のウエブページを表示させた場合にも、ニュースのヘッドラインや各ジャンルへのリンクが多数表示される。一方、リモートコントローラは、一般に数字キーや機能キーの他には十字型のカーソルキーしか備えていない。このため、リモートコントローラを用いて上記多数のリンクを選択的に操作することは、非常に面倒である。

そこで、従来ではリンクごとに異なる向きの矢印タグを割り当てて表示し、この表示された矢印タグに従いリモートコントローラのカーソルキーを操作することで所望のリンクを選択操作できるようにする技術が提案されている。
ところが、ウエブページ上に存在するリンクの数は８０程度もあり、一方矢印タグは上下左右を示す４種類しかない。このため、上記多数のリンクを個別に識別するには上記４種類の矢印タグを３種類もしくは４種類組み合わせなければならない。このような場合、ユーザは所望のリンクを１つ選択するためにその都度カーソルキーを３回もしくは４回操作しなければならず、操作数が多くなり１つのリンクを選択するまでに多くの手間と時間を要する。また、タッチパネルでこの上下左右の方向キーを入力するのは従来のメカニカルなボタンを押すよりも操作が煩わしい。さらにカメラを用いた画像認識を用いた従来の入力方法では上下左右の入力を行うのも容易ではない。

一方、リモートコントローラを使わずに、手もしくは指のジェスチャによってテレビジョン受信機のメニュー項目を選択する方式が提案されている。このジェスチャ入力方式は、例えば入力対象のメニュー項目に対し予め対応付けられたジェスチャを一筆書き操作により入力するもので、直感的で自然な動きによってジェスチャ入力できる利点がある（例えば非特許文献１を参照）。

青木 良輔、唐津 豊、井原 雅行、前田 篤彦、渡部 智樹、小林 稔、鏡 慎吾：「大型ディスプレイ上のメニュー選択に適したカメラによる一筆書きジェスチャインタフェース」、ヒューマンインタフェース学会研究報告集2010，VOL.12，NO.9，35-42.

ところが、この一筆書きタグを用いたリンク選択装置では、ユーザは先ず一筆書きタグを表示するための操作を行ったのちリンクを選択するための操作を行うが、リンクを選択する際に、表示された一筆書きタグの図形の種別だけでなく終始点の位置を確認し、最後にその図形を描く必要がある。このため、ジェスチャ入力するタグの確認に手間と注意が必要となり、ユーザの負担が大きい。また、タグの種類が多数ある場合、従来のカーソルキーを使用してタグを入力する方式に比べ入力操作回数を減らすことができるものの、１個のタグを構成する図形の数が多いとこの図形を覚えるのが容易ではない。

また、タグの表示サイズやその線の太さによっては、当該タグにより表される一筆書き図形の始点位置を認識しにくくなる。また、始点位置を認識しやすくするために始点を大きな点で表すと、一筆書き図形の表示サイズが小さくなり図形の形状を認識し難くなる。

この発明は上記事情に着目してなされたもので、その目的とするところは、多数のリンク情報が表示されている状態であっても、同時に使用される一筆書きタグの種類を減らしてタグ情報を確認する際のユーザの負担を軽減して操作性を高め、しかも一筆書き図形の始点位置及び形状を認識し易くした情報入力装置を提供することにある。

上記目的を達成するためにこの発明の一観点は、図形判定手段と、表示領域選択手段と、タグ情報表示制御手段と、リンク情報選択手段とを備える。図形判定手段は、一筆書きにより描画された二次元図形データを取り込み、この取り込んだ二次元図形データの描画軌跡と終始点の座標から二次元図形の種類と描画方向を判定する。表示領域選択手段は、ディスプレイに表示された情報ページを複数の表示領域に分割し、上記図形判定手段により判定された二次元図形の描画方向をもとに、上記複数の表示領域の中から上記描画方向に対応する表示領域を選択する。タグ情報表示制御手段は、上記選択された表示領域に表示されているリンク情報に対し、一筆書きにより描かれる二次元図形の種類とその描画方向により表現される固有の図形タグ情報を割り当て、この図形タグ情報を前記リンク情報に関連付けた状態で上記選択された表示領域に表示させる。リンク情報選択手段は、上記図形タグ情報が表示された状態で、一筆書きにより二次元図形が描画された場合に、上記判定手段により判定された当該二次元図形の種類と描画方向を、前記選択された表示領域に表示中の図形タグ情報と照合し、両者が一致した場合に当該表示中の図形タグ情報が関連付けられたリンク情報を選択する。さらに、上記タグ情報表示制御手段は、上記図形タグ情報として、線幅が始点と終点とで異なりかつ始点から終点にかけて線形的又は段階的に変化するように設定された線状図形を生成して、上記情報ページに表示させる。

したがって、ディスプレイの表示画面に多数のリンク情報が同時に表示されている場合でも、ジェスチャ入力された一次元図形データの描画方向によりタグ情報を割り当てるべき表示領域が選択され、この選択された表示領域のリンク情報群に対してのみ図形タグ情報が割り当てられて表示される。このため、ディスプレイの表示画面に表示中の全てのリンク情報に同時にタグ情報を割り当てる場合に比べ、タグ情報の種類を減らすことができ、その分タグ情報を確認する際のユーザの負担を軽減することができる。

さらに、図形タグ情報として、図形を表す線幅が始点と終点とで異なりかつ始点から終点にかけて線形的又は段階的に変化するように設定された線状図形を用いている。このためユーザは、一筆書きジェスチャとして入力すべき図形の始点と当該図形の書き順を、同一の線幅で描かれた図形タグ情報を用いる場合に比べて簡単かつ明確に認識することが可能となる。

すなわちこの発明によれば、多数のリンク情報が表示されている状態であっても、同時に使用される一筆書きタグの種類を減らしてタグ情報を確認する際のユーザの負担を軽減して操作性を高め、しかも一筆書き図形の始点位置及び形状を認識し易くした情報入力装置を提供することができる。

この発明の一実施形態に係わる情報入力装置を含むシステムの概略構成図。 図１に示した情報処理装置の機能構成を示すブロック図。 図２に示した情報処理装置による全体の処理手順と処理内容を示すフローチャート。 図３に示したフローチャートにおける一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理の処理手順と処理内容を示すフローチャート。 ジェスチャ機能ＯＮのためのユーザの操作例を示す図。 ジェスチャ機能ＯＦＦのためのユーザの操作例を示す図。 図３に示したフローチャートにおける一筆書きジェスチャ認識処理の処理手順と処理内容を示すフローチャート。 図３に示したフローチャートにおける表示画面処理の処理手順と処理内容を示すフローチャート。 テレビジョン受信機のディスプレイに表示されたメニュー群の一例を示す図。 メニュー群に対し割り当てられた図形タグの表示例を示す図。 メニュー群に対し割り当てられた図形タグのより具体的な表示例を示す図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１は、この発明の一実施形態に係わる情報入力装置を用いた操作情報入力システムの概略構成図である。このシステムは、テレビジョン受信機２にカメラ４を装着すると共に、テレビジョン受信機２に情報処理装置３を接続したものとなっている。カメラ４は、ユーザ１の指の動きを用いたジェスチャを撮像し、その撮像画像データをＵＳＢケーブルを介してテレビジョン受信機２へ出力する。なお、ユーザ１の指先には、指先の動きをより認識し易くするために例えばＬＥＤ（Light Emitting Diode）を用いた発光マーカ６が装着される。

情報処理装置３は、情報入力装置としての機能を備えたもので、以下のように構成される。図２は、情報処理装置３の機能構成を示すブロック図である。情報処理装置３は、ジェスチャ認識処理を行うために必要な機能として、撮像画像取得ユニット１０と、データベース２０と、一筆書きジェスチャ認識処理ユニット３０と、リアルタイム処理発生ユニット４０と、表示画面処理ユニット５０を備えている。

データベース２０は、記憶媒体として例えばハードディスク又はＮＡＮＤ型フラッシュメモリを使用したもので、この発明を実施するために必要な記憶領域として、カメラ画像蓄積部２１と、一筆書き図形蓄積部２２と、操作内容蓄積部２３と、表示画像・映像蓄積部２４と、指位置蓄積部２５と、一筆書き図形タグ蓄積部２６を有している。

カメラ画像蓄積部２１は、指の位置検出ユニット１０によりカメラ４から取得された画像データを記憶するために用いられる。指位置蓄積部２５は、カメラ画像蓄積部２１に蓄積された画像データから検出された指の指示位置を表す座標と、当該画像データを撮像した時刻とを関連付けて格納するために用いられる。一筆書き図形蓄積部２２には、一筆書き図形の認識に用いる一筆書き図形のモデルが予め格納されている。操作内容蓄積部２３には、認識されたジェスチャの種類と方向に対応する操作内容を表す情報が予め格納されている。表示画像・映像蓄積部２４には、上記操作内容データベース２３に格納された操作内容を表す情報に対応付けて、表示画面に表示する画像や映像のデータが予め格納されている。

一筆書き図形タグ蓄積部２６には、装置で使用可能な全ての一筆書き図形タグ（Unicursal Figure Tag；ＵＦＴ）を表す情報が事前に格納されている。また一筆書き図形タグ蓄積部２６には、ウエブページに表示される複数のリンク情報と、これらのリンク情報に対し割り当てられたＵＦＴとが相互に関連付けて記憶される。ＵＦＴとは、一筆書きで描ける図形の種類と、当該図形の始点と終点とが一致する点（以後終始点と呼ぶ）の位置とを組み合わせることで表現されるタグ情報である。

リアルタイム処理発生ユニット４０は、タイマを使用して、例えば１６msecごとにイベント信号を発行する機能を有する。
撮像画像取得ユニット１０はカメラ画像取得部１１を備え、上記リアルタイム発生ユニットによりイベント信号が発行されるごとに、カメラ４から画像データを取得して、この画像データを上記カメラ画像蓄積部２１に記憶させる機能を有する。

一筆書きジェスチャ認識処理ユニット３０は、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０と、一筆書きジェスチャ認識処理部３２０を備えている。
このうち、先ず一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０は、指位置検出部３１１と、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断・切替部３１２を有する。指位置検出部３１１は、上記カメラ画像蓄積部２１に格納された画像データからマーカ５の描画点の位置座標、つまりユーザの指の指示位置を検出し、この検出された描画点の位置座標を上記指位置蓄積部２５に格納する。

一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断・切替部３１２は、以下の処理機能を有している。
(1) 一筆書きジェスチャ認識処理部３２０の機能がＯＦＦに設定されている状態で、カメラ４による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域（ジェスチャ開始領域）を設定する。そして、上記指位置検出部３１１により検出された発光マーカ５の描画点が上記ジェスチャ開始領域内に存在するか否かを判定し、存在すると判定された場合に上記一筆書きジェスチャ認識処理部３２０の機能をＯＮに設定すると共に、ジェスチャの終点を検出するための検出ゾーン（Detection zone）を上記ジェスチャの認識領域内に設定する機能。

(2) ジェスチャ認識処理部３２０の機能がＯＮに設定されている状態で、上記指位置検出部３１１により検出された発光マーカ５の描画点が上記ジェスチャ認識領域の外に出たか否かを判定し、ジェスチャ認識領域の外に出たことが検出された場合に、上記一筆書きジェスチャ認識処理部の機能をＯＮからＯＦＦに遷移させる機能。

一筆書きジェスチャ認識処理部３２０は、一筆書きジェスチャ入力判断部３２１と、一筆書き図形の方向識別部３２２と、一筆書き図形識別部３２３を有している。
一筆書きジェスチャ入力判断部３２１は、一筆書きジェスチャ認識処理部３２０の機能がＯＮの状態で、上記画像データから検出される描画点が上記ジェスチャ開始領域内に入ったことが検出されたときの位置座標をジェスチャの開始点として検出する。また、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻ったとき、このときの描画点の位置座標をジェスチャの終了点として検出する。

一筆書き図形の方向識別部３２２は、上記ジェスチャの終了点が検出された場合に、当該ジェスチャによる描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡を表す位置座標の集合をもとに当該描画軌跡の重心位置座標を求め、この描画軌跡の重心位置座標とジェスチャの描画開始点との関係をもとに、当該描画開始点に対する描画方向を識別する。

一筆書き図形識別部３２３は、上記描画点がジェスチャ開始領域外に出たのち上記検出ゾーン内に戻るまでの軌跡、つまりジェスチャにより描かれた図形の形状を表す情報を、上記一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで、上記ジェスチャにより描かれた図形の種類を識別する。

表示画面処理ユニット５０は、メニュー状態把握処理部５１と、一筆書き図形タグ表示部５２と、一筆書き図形削除部５３と、リンク選択部５４を有する。
メニュー状態把握処理部５１は、Ｗｅｂページに表示中のメニューの状態、つまりメニューに対しＵＦＴが割り当てられているか否かを、Unicursal Tag Flagをもとに判定する機能を有する。

一筆書き図形タグ表示部５２は、メニューに対しＵＦＴがまだ割り当てられていない状態で、ユーザの一筆書きジェスチャによるタグ表示操作に応じて上記メニューにＵＦＴを割り当て、このＵＦＴを上記メニューと関連付けて表示するもので、以下の処理機能を有する。

(1) テレビジョン受信機２の表示画面を上下左右の４つの表示領域に分割する処理。
(2) 一筆書きジェスチャにより描画された一次元図形データ（Unicursal Line）を取り込み、この取り込んだUnicursal Lineの描画軌跡とその終始点の座標から当該Unicursal Lineの描画方向を判定する機能。

(3) 上記(1) で分割された４つの表示領域のうち、上記(2) により判定されたUnicursal Lineの描画方向に対応する表示領域を選択し、この選択された表示領域に表示されているメニューに対し、上記一筆書き図形タグ蓄積部２６に記憶されている各ＵＦＴの中から予め定められた選択条件を満たすものを選択して割り当てる処理。選択条件は、分割された４つの表示領域ごとに、当該表示領域の表示画面中心からの方向と描画方向が同一方向となるようなＵＦＴを選択するように定められている。

(4) 上記割り当てられたＵＦＴを、上記メニューに関連付けた状態でテレビジョン受信機２の表示画面に表示させる処理。このとき、表示するＵＦＴは毛筆をモチーフとしたものを用いる。すなわち、図形を表す線の幅を、始点が最も太く終点が最も細くなりかつ始点から終点にかけて徐々に細くなるように設定した線状図形を用いる。

リンク選択部５４は、メニューに対しＵＦＴが表示された状態で、当該ＵＦＴにより表される一筆書き図形がジェスチャにより入力された場合に、この入力図形に対応するリンクを選択する機能を有する。具体的には、先に述べた一筆書き図形の方向識別部３２２及び一筆書き図形識別部３２３によりそれぞれ識別されたジェスチャ図形の描画方向と図形の種類をもとに、操作内容データベース２３から対応する操作内容を表す情報を読出す。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データを読出し、この表示データをもとにテレビジョン受信機２の表示画面を更新する。

一筆書き図形削除部５３は、上記リンク選択部５４によりリンク選択が行われた場合に、表示領域に表示中のＵＦＴのメニューに対する割り当てを解除すると共に、当該ＵＦＴの表示を消去する機能を有する。
なお、上記指の位置検出ユニット１０、一筆書きジェスチャ認識処理ユニット３０、リアルタイム処理発生ユニット４０及び表示画面処理ユニット５０の各処理機能は、図示しないプログラムメモリに格納されたアプリケーション・プログラムを中央処理ユニット（Central Processing Unit：ＣＰＵ）に実行させることにより実現される。

（動作）
次に、以上のように構成された情報処理装置３による、ジェスチャを用いた入力情報の認識動作を説明する。
図３は、その全体の処理手順と処理内容を示すフローチャートである。なお、ここではテレビジョン受信機２のディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示させ、このＥＰＧ情報に対しユーザ１がジェスチャにより番組の選択操作を行う場合を例にとって説明する。

（１）リアルタイムイベント発生処理
ジェスチャ入力モードが設定されると、ステップＳ１０によりリアルタイム処理発生ユニット４０が起動し、タイマの計時時間Ｔが予め設定された時間、例えば１６msecになるごとにステップＳ１１においてイベント信号が発生される。すなわち、ジェスチァ入力モードでは１６msec周期でイベント信号が発生される。なお、タイマの計時時間Ｔはイベント信号が発生されるごとにステップＳ１２でリセットされる。

（２）カメラ画像の取得及び指位置の検出処理
上記リアルタイム処理発生ユニット４０からイベント信号が発生されると、先ずステップＳ２０において撮像画像取得ユニット１０が起動し、そのカメラ画像取得部１１の制御の下で、カメラ４により撮像されたユーザ１の画像データが取り込まれてカメラ画像蓄積部２１に記憶される。

そして、上記カメラ画像蓄積部２１に新たな画像データが記憶されると、図４に示すステップＳ３１１において、上記画像データ中から発光マーカ５の輝点画像を検出する処理が行われる。そして、この検出された輝点画像の画像データ中の重心位置を示す座標が、ユーザ１の指の位置を表す描画点として指位置蓄積部２５に記憶される。以上の処理は上記１６msec周期で繰り返し行われ、この結果上記指位置蓄積部２５にはユーザ１の指の位置を表す描画点の位置座標の集合が、ユーザ１がジェスチャにより描いた図形を示すデータとして記憶される。なお、このときカメラ４の絞り値（Ｆ値）を大きく設定して受光光量を制限することで、発光マーカ５の光のみを検出しやすくするとよい。

（３）一筆書きジェスチャ認識機能のＯＮ／ＯＦＦ切替処理
上記指位置蓄積部２５に新たな指位置座標が記憶されるごとに、ステップＳ３０のステップＳ３１において一筆書きジェスチャ認識処理ユニット３０の一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０が起動され、この一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０の制御の下で以下のような処理が実行される。図４中のステップＳ３１２はその処理手順と処理内容を示すフローチャートである。

（３−１）一筆書きジェスチャ認識機能をＯＮする場合
先ずステップＳ３１２１により一筆書きジェスチャ認識処理部３２０の機能がＯＮであるか否かが判定される。そして、ここではまだＯＮになっていないのでステップＳ３１２６に移行し、カメラ４による撮像範囲、つまりジェスチャの認識領域内に、ジェスチャの始点判定領域（ジェスチャ開始領域）を設定する。例えば図５（ａ）に示すように、ジェスチャの認識領域Ｃの中央にジェスチャ開始領域Ｅ１を設定する。そして、上記指位置検出処理（ステップＳ３１１）により検出された発光マーカ５の描画点の位置座標が上記ジェスチャ開始領域Ｅ１内に存在するか否かを判定する。

この状態で、ユーザ１が指の位置を動かし、これにより図５（ａ）に示すように描画点の位置座標Ｐ０が破線Ｌ１に示すように上記ジェスチャ開始領域Ｅ１内に入ると、ステップＳ３１２７により上記一筆書きジェスチャ認識部３２０の機能をＯＮに設定する。またそれと共に、ステップＳ３１２８により図５（ｂ）に示すようにジェスチャの終点を検出するための検出ゾーン（Detection zone）Ｅ２を上記ジェスチャの認識領域Ｃ内に設定する。

このとき、検出ゾーンＥ２のサイズはジェスチャ開始領域Ｅ１より大きなサイズに設定される。このようにすると、ユーザ１によるユーザの指の位置が検出ゾーンＥ２内に戻った後に、震えなどにより当該検出ゾーンＥ２の境界付近で位置ずれを起こしたとしても、このときの指の位置座標、つまり終点の位置を、終点判定領域としての検出ゾーンＥ２内に安定的に留めることが可能となる。このため、検出ゾーンＥ２の境界上でいわゆるチャタリングのような現象が発生しても、これにより後述する描画の終了判定（入力判定）において誤認識が発生しないようにすることができる。

（３−２）一筆書きジェスチャ認識機能をＯＦＦする場合
上記一筆書きジェスチャ認識機能がＯＮとなった状態で、ユーザ１がジェスチャによるテレビジョン受信機２の操作を一旦中止するべく、指の位置を例えば図６（ａ）のＬ２に示すようにカメラ４の撮像範囲外、つまりジェスチャの認識領域Ｃの外へ移動させたとする。そうすると、一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部３１０は、ステップＳ３１２１により一筆書きジェスチャ認識処理部３２０の機能がＯＮであるか否かを判定し、ここではＯＮになっているのでステップＳ３１２２に移行する。そして、指位置検出処理（ステップＳ３１１）により検出された発光マーカ５の描画点の位置座標が、上記ジェスチャの認識領域Ｃの外に出たか否かを判定する。

この判定の結果、図６（ａ）の破線Ｌ２に示すように、発光マーカ５の描画点の位置座標が上記ジェスチャの認識領域Ｃの外に出ると、ステップＳ３１２３により一筆書きジェスチャ認識処理部３２０の機能をＯＦＦに遷移させる。かくして、ユーザ１は指の位置をカメラ４の撮像範囲外へ移動させるだけで、一筆書きジェスチャ認識機能をＯＦＦに戻すことが可能となる。

なお、一筆書きジェスチャ認識機能がＯＦＦに復帰すると、次のイベント信号発生（１６msec）時に、ステップＳ３１２５において図６（ｂ）に示すようにジェスチャの認識領域Ｃ内にジェスチャ開始領域Ｅ１が設定される。すなわち、一筆書きジェスチャ認識機能がＯＦＦになると、消去された検出ゾーンＥ２の代わりにそれよりも小さいジェスチャ開始領域Ｅ１が再設定される。

（４）一筆書きジェスチャ認識処理
上記一筆書きジェスチャ認識機能がＯＮとなった状態で、一筆書きジェスチャ認識処理部３２０は以下のようにジェスチャの認識処理を実行する。図７はその全体の処理手順と処理内容を示すフローチャートである。
すなわち、先ずステップＳ３２１において一筆書きジェスチャ入力判断部３２１が起動し、この一筆書きジェスチャ入力判断部３２１の制御の下で、ユーザ１の指に装着された発光マーカ５による描画点が上記検出ゾーンＥ２内に入ったか否かをステップＳ３２１１により判定する。そして、描画点が上記検出ゾーンＥ２内に入っていなければ、ステップＳ３２１４によりジェスチャ入力中か否かを示すジェスチャフラグ（Gesture Flag）を“TRUE”に設定し、以後イベントが発生するごとに描画点が検出ゾーンＥ２内に入るか否かを監視する処理を繰り返す。

（４−１）一筆書き図形の方向識別処理
さて、この状態でユーザ１の指に装着された発光マーカ５による描画点が上記検出ゾーンＥ２内に入ったことが検出されたとする。そうすると、ステップＳ３２１２によりジェスチャフラグが“TRUE”になっていることを確認した後、先ずステップＳ３２２により一筆書き図形の方向識別処理を実行する。

この一筆書き図形の方向識別処理は以下のように行われる。すなわち、先ず指位置蓄積部２５に記憶された指位置座標の集合を読み出し、この指位置座標の集合により表される指の描画軌跡を表す画像をもとに当該描画軌跡を表す画像の重心位置座標を算出する。そして、この算出された描画軌跡画像の重心位置座標と描画開始点における座標との関係から、当該描画開始点に対する上記描画軌跡の描画方向が上下左右の何れであるかを識別することにより行われる。

（４−２）一筆書き図形識別処理
次にステップＳ３２３により一筆書き図形識別処理を実行する。この一筆書き図形識別処理は、指位置蓄積部２５に記憶された指位置座標、つまり描画点の位置情報の集合を読み出し、この描画点の位置座標の集合により表される指の軌跡、つまりジェスチャにより描かれた図形の形状を、一筆書き図形蓄積部２２に記憶された一筆書き図形モデルと照合することで識別する。
そして、上記ジェスチャにより描かれた図形の描画方向及び図形形状の識別処理が終了すると、ステップＳ３２１３によりジェスチャフラグ（Gesture Flag）を“False”にリセットする。

（５）表示画面の更新処理
上記一筆書きジェスチャの認識処理が終了すると、ステップＳ４０において表示画像処理ユニット５０が起動され、この表示画像処理ユニット５０の制御の下で、表示画像の更新処理が以下のように行われる。
すなわち、上記一筆書き図形の方向識別部３２２及び一筆書き図形識別部３２３によりそれぞれ識別されたジェスチャ図形の描画方向及び図形の種類をもとに、操作内容データベース２３から対応する操作内容を表す情報が読出される。そして、この読み出された操作内容を表す情報をもとに、表示画像・映像蓄積部２４から対応する画像や映像の表示データが読出され、この表示データをもとにテレビジョン受信機２の表示画面が更新される。

（６）ＵＦＴの表示制御
ところで、上記一筆書きジェスチャによる入力操作が行われる前に、表示画面処理ユニット５０はステップＳ４０において、メニューに対するＵＦＴの割り当て及びその表示処理を以下のように実行する。図８はその処理手順と処理内容を示すフローチャートである。

（６−１）ＵＦＴの割り当て
表示画面処理ユニット５０は、先ずステップＳ４０１１により、メニュー状態把握処理部５１の制御の下でUnicursal Tag Flagが“TRUE”か否か、つまりＷｅｂページに表示中のメニューに対しＵＦＴが割り当てられているか否かを判定する。この判定の結果、ＵＦＴがまだ割り当てられていなければ、ステップＳ４０２により一筆書き図形タグ表示部５２を起動し、この一筆書き図形タグ表示部５２の制御の下で以下のようにＵＦＴの割り当て及び表示処理を実行する。

すなわち、先ずステップＳ４０２１により、ジェスチャによる左向き又は右向きのUnicursal Lineの入力操作が行われたか否かを判定する。左向きのUnicursal Lineの入力操作とは、ジェスチャにより指を左方向に直線状に移動させた後元の位置に戻す一次元図形を描く操作であり、また右向きのUnicursal Lineの入力操作とは、ジェスチャにより指を右方向に直線状に移動させた後元の位置に戻す一次元図形を描く操作である。これらの操作は、先に述べた指位置検出部３１１により検出された描画点の軌跡を、予め記憶しておいた基本操作パターンと照合することにより検出される。

上記左向き又は右向きのUnicursal Lineの入力操作が検出されると、次にステップＳ４０２２において、先ずテレビジョン受信機２の表示画面を上下左右の４つの表示領域に分割する。そして、上記入力されたUnicursal Lineの描画軌跡とその終始点の座標から当該Unicursal Lineの描画方向が左方向であるか右方向であるかを判定する。次に、上記分割された４つの表示領域のうち、上記判定されたUnicursal Lineの描画方向に対応する表示領域を選択し、この選択された表示領域に表示されているメニュー群に対し、一筆書き図形タグ蓄積部２６に記憶されている各ＵＦＴの中から、選択条件を満たすＵＦＴを選択して割り当てる。

例えば、いまテレビジョン受信機２の表示画面に図９に示すように複数のメニューが表示され、かつ表示画面が図中の一点鎖線に示すように４つの表示領域に分割されているものとする。この状態で、ユーザが左方向のUnicursal Lineを入力したとすると、上記４つの表示領域のうち表示画面の左側に位置する２つの表示領域を選択し、この選択された２つの表示領域に表示されている各メニューに対しそれぞれ異なるＵＦＴを割り当て、同時にこのＵＦＴをメニューの近傍に表示させる。

またこのとき、上記ＵＦＴには予め決められた選択条件を満たすものが選択され、割り当て及び表示される。すなわち、上記選択された２つの表示領域のうち、上側の表示領域については一筆書き図形の描画方向が上方向になるようなＵＦＴ、つまり終始点が下端に位置するＵＦＴが図１１に示したＵＦＴ群の中から選択され表示される。一方、下側の表示領域については一筆書き図形の描画方向が下方向になるようなＵＦＴ、つまり終始点が上端に位置するＵＦＴが図１１に示したＵＦＴ群の中から選択され表示される。

ところで、上記ＵＦＴの表示パターンとしては毛筆をモチーフとしたものが使用される。すなわち、図形を表す線の幅を、始点が最も太く終点が最も細くなりかつ始点から終点にかけて徐々に細くなるように設定した線状図形が用いられる。図１０はこのようにして選択されたＵＦＴの表示結果を示すものである。また、図１１にはＵＴＦのより具体的な表示例を示している。この図１１に示した表示例は、通信販売の商品メニュー表示画面を示したもので、商品の各メニューに対しそれぞれ毛筆をモチーフとした異なるＵＴＦが表示され、さらに選択されたメニューに該当する各商品に対応付けてそれぞれ毛筆をモチーフとした異なるＵＴＦが表示される。

同様に、ユーザが右方向のUnicursal Lineを入力した場合には、図９に示す４つの表示領域のうち、右側に位置する２つの表示領域に表示された各メニューに対し、それぞれ異なるＵＦＴが割り当てられ表示される。なお、この場合も上記２つの表示領域のうち上側の表示領域に表示されたメニューに対しては、終始点が下端に位置するＵＦＴが選択されて表示され、また下側の表示領域に表示されたメニューに対しては、終始点が上端に位置するＵＦＴが選択され表示される。この場合も、ＵＦＴの表示パターンとしては、線幅が始点において最も太くなると共に終点において最も細くなりかつ始点から終点にかけて徐々に細くなるように設定された、毛筆をモチーフとした線状図形を用いる。

以上のようにＵＦＴの割り当て及び表示が終了すると、一筆書き図形タグ表示部５２はステップＳ４０２３により、Unicursal Tag Flagをタグが割り当て済であることを示す“TRUE”に設定し、処理を終了する。
（６−２）リンク選択処理
上記したようにメニューにＵＦＴが割り当てられて表示された状態で、ユーザが所望のメニューを選択する場合には、当該メニューに割り当てられたＵＦＴにより表される図形を一筆書きジェスチャにより入力する。このとき、表示されているＵＴＦは、図９に示したように、線幅が始点において最も太くなると共に終点において最も細くなりかつ始点から終点にかけて徐々に細くなるように設定された、毛筆をモチーフとした線状図形である。このためユーザは、一筆書きジェスチャとして入力すべき図形の始点と当該図形の書き順を、同一の線幅で描かれたＵＦＴに比べて簡単かつ明確に認識することができる。

ユーザが、上記所望のメニューに割り当てられたＵＦＴにより表される図形を一筆書きジェスチャにより入力すると、この入力された図形は上記一筆書きジェスチャ認識処理部３２０により、図形の形状と描画方向をもとに認識される。
上記入力図形が認識されると表示画面処理ユニット５０は、ここではUnicursal Tag Flagが“TRUE”に設定されているため、ステップＳ４０３によりリンク選択部５４を起動する。そして、このリンク選択部５４の制御の下、先ずステップＳ４０３１により上記認識された入力図形の描画方向が上方向又は下方向かを判定し、上方向又は下方向のいずれかであればステップＳ４０３２によりリンク選択処理を行う。このリンク選択処理は、上記認識された入力図形の種類をもとに、一筆書き図形タグ蓄積部２６から当該入力図形（ＵＦＴ）に対応するリンク先情報を読出し、この読み出したリンク先情報に基づいてＷｅｂサイトにアクセスすることにより行われる。このリンク選択処理により、表示画面に表示されているページは更新される。

上記リンク選択処理が終了すると表示画面処理ユニット５０は、ステップＳ４０４により一筆書き図形削除部５３を起動し、この一筆書き図形削除部５３の制御の下、先ずステップＳ４０４１によりUnicursal Tag FlagをFALSEに設定する。そして、ステップＳ４０４２により、先の図形タグ表示処理（ステップＳ４０２）により各メニューに対し割り当てられたＵＦＴの割り当てを解除し、かつ当該ＵＦＴの表示を消去する。

（作用効果）
以上詳述したようにこの実施形態では、テレビジョン受信機２の表示画面に表示中のメニュー群に対し一筆書き図形タグ（ＵＦＴ）を割り当て表示させる機能と、この表示されたＵＦＴに応じジェスチャ入力が行われた場合に対応するリンク選択処理を行う機能とを備えている。このうち、ＵＦＴの割り当て表示機能は、テレビジョン受信機２の表示画面を上下左右の４つの表示領域に分割し、この状態で一筆書きジェスチャにより描画されたUnicursal Lineの描画方向を判定して、この判定されたUnicursal Lineの描画方向に対応する表示領域を上記分割された４つの表示領域の中から選択する。そして、この選択された表示領域に表示されているメニュー群に対し、一筆書き図形タグ蓄積部２６に記憶されている各ＵＦＴの中から予め定められた選択条件を満たすものを選択して割り当てると共に、割り当てられたＵＦＴを上記メニューに関連付けてテレビジョン受信機２の表示画面に表示させるようにしている。

したがって、テレビジョン受信機２の表示画面に多数のメニューが同時に表示されている場合でも、ジェスチャ入力されたUnicursal Lineの描画方向によりＵＦＴを割り当てるべき表示領域が選択され、この選択された表示領域のメニュー群に対してのみＵＦＴが割り当てられ表示される。このため、表示画面に表示中の全てのメニューに同時にＵＦＴを割り当て表示させる場合に比べ、ＵＦＴの種類を減らすことができ、その分ＵＦＴを確認する際のユーザの負担を軽減して操作性を高めることができる。

また、メニューに割り当てるＵＦＴを選択する際に、分割された４つの表示領域ごとに、当該表示領域の表示画面中心からの方向と描画方向が同一方向となるようなＵＦＴを選択するようにしている。このため、リンク情報に割り当てられるＵＦＴは、表示領域ごとに描画方向が一意に規定される。このため、ユーザはメニューの選択操作を行う際に、当該メニューに割り当てられたＵＦＴの形状のみを確認すればよく、当該ＵＦＴの描画方向（終始点）を確認する必要がない。したがって、ＵＦＴを確認する際のユーザの負担をさらに軽減することができ、これにより操作性をさらに高めることができる。

さらに、ＵＦＴとして、図形を表す線の幅を始点が最も太く終点が最も細くなりかつ始点から終点にかけて徐々に細くなるように設定した、毛筆をモチーフとした線状図形を用いている。このため、ユーザは、一筆書きジェスチャとして入力すべき図形の始点と当該図形の書き順を、同一の線幅で描かれたＵＦＴに比べて簡単かつ明確に認識することができる。

［その他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態では左向き又は右向きのUnicursal Lineの入力に応じて表示画面の左右いずれかの表示領域を選択し、この表示領域に表示されたメニューに対しＵＦＴを割り当てるようにした。しかしそれに限らず、上向き又は下向きのUnicursal Lineの入力に応じて表示画面の上下いずれかの表示領域を選択し、この表示領域に表示されたメニューに対しＵＦＴを割り当てるようにしてもよい。

またこの場合、その選択条件に従い、左側の表示領域に対しては一筆書き図形の描画方向が左方向になるようなＵＦＴ、つまり終始点が右端に位置するＵＦＴがＵＦＴ群の中から選択され表示される。一方、右側の表示領域については一筆書き図形の描画方向が右方向になるようなＵＦＴ、つまり終始点が左端に位置するＵＦＴがＵＦＴ群の中から選択され表示される。

さらに前記実施形態では、表示画面を上下左右に４分割し、これら４つの表示領域のうちの２つの表示領域に表示された各メニューに対し同時にＵＦＴを割り当てるようにした。しかしそれに限らず、表示画面を例えば６分割又は８分割というようにさらに多数に分割し、これらの分割された表示領域ごとにＵＦＴを割り当てるようにしてもよい。このようにすると、同時に表示されるＵＦＴの数をさらに少なくすることができ、これによりユーザの負担をさらに軽減して操作性をより一層高めることが可能となる。

さらに、ＵＦＴを割り当てる際に、複数のリンク情報のうちユーザにより選択される可能性が高いリンク情報に対し、１個の図形により表現されるＵＦＴを優先的に割り当てるようにしてもよい。また、図形数が同数の図形タグ情報が複数ある場合には、これらの図形タグ情報のうち楕円や円形のような丸みのある二次元図形を用いた図形タグ情報を、前記割り当て対象のリンク情報に対し優先的に割り当てるようにしてもよい。さらに、多角形のような角のある図形を用いた図形タグ情報の場合に、角の数が少ない図形を前記割り当て対象のリンク情報に対し優先的に割り当てるようにしてもよい。さらに、複数の二次元図形の組み合わせにより表現される図形タグ情報が複数ある場合には、これらの図形タグ情報のうち複数の図形の配置関係が点対称をなす図形タグ情報を、前記割り当て対象のリンクに対し優先的に割り当てるようにしてもよい。これらの選択条件を組み合わせることで、リンク情報のうち選択される可能性の高いリンク情報の選択操作を、より一層簡単かつ短時間に行うことが可能となる。

また前記実施形態では、ユーザが指を動かして空間に図形を描画し、この図形を描画する動き、つまりユーザのジェスチャをカメラにより撮像してその撮像画像データをテレビジョン受信機に取り込み、この取り込まれた図形をもとにジェスチャを認識するようにした。しかしそれに限るものではなく、タブレット型端末のタッチパネル上でユーザが指により図形を描画し、その軌跡を認識する場合であってもよい。

さらに、前記実施形態ではＵＴＦの表示パターンとして、線幅が始点において最も太く終点において最も細くなり、かつ始点から終点にかけて線形的に徐々に細くなるように設定された、毛筆をモチーフとした線状図形を用いたが、線幅が線形的ではなく段階的に変化する線状図形を用いてもよい。その他、ＵＦＴを表現する図形の種類やサイズ、線幅、線幅の変化の形態については、この発明の用紙を逸脱しない範囲で種々変形して実施できる。
その他、情報入力装置の種類や構成、図形の組み合わせの種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…ユーザ、２…テレビジョン受信機、３…情報処理装置、４…カメラ、５…発光マーカ、１０…撮像画像取得ユニット、１１…カメラ画像取得部、２０…データベース、２１…カメラ画像蓄積部、２２…一筆書き図形蓄積部、２３…操作内容データベース、２４…表示画像・映像蓄積部、２５…指位置蓄積部、２６…一筆書き図形タグ蓄積部、３０…一筆書きジェスチャ認識処理ユニット、３１０…一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ切替部、３１１…指位置検出部、３１２…一筆書きジェスチャ認識機能ＯＮ／ＯＦＦ判断・切替部、３２０…一筆書きジェスチャ認識処理部、３２１…一筆書きジェスチャ入力判断部、３２２…一筆書き図形の方向識別部、３２３…一筆書き図形識別部、４０…リアルタイム処理発生ユニット、５０…表示画面処理ユニット、５１…メニュー状態把握処理部、５２…一筆書き図形タグ表示部、５３…一筆書き図形削除部、５４…リンク選択部。

Claims (1)

1. 一筆書きにより描画された二次元図形データを取り込み、この取り込んだ二次元図形データの描画軌跡と終始点の座標から二次元図形の種類と描画方向を判定する図形判定手段と、
   ディスプレイに表示された情報ページを複数の表示領域に分割し、前記図形判定手段により判定された二次元図形の描画方向をもとに、前記複数の表示領域の中から前記描画方向に対応する表示領域を選択する表示領域選択手段と、
   前記選択された表示領域に表示されているリンク情報に対し、一筆書きにより描かれる二次元図形の種類とその描画方向により表現される固有の図形タグ情報を割り当て、この図形タグ情報を前記リンク情報に関連付けた状態で前記選択された表示領域に表示させるタグ情報表示制御手段と、
   前記図形タグ情報が表示された状態で、一筆書きにより二次元図形が描画された場合に、前記判定手段により判定された当該二次元図形の種類と描画方向を、前記選択された表示領域に表示中の図形タグ情報と照合し、両者が一致した場合に当該表示中の図形タグ情報が関連付けられたリンク情報を選択するリンク情報選択手段と
   を具備し、
   前記タグ情報表示制御手段は、前記図形タグ情報として、線幅が始点と終点とで異なりかつ始点から終点にかけて線形的又は段階的に変化するように設定された線状図形を生成し、前記情報ページに表示させることを特徴とする情報入力装置。

Images