JP4685708B2 - 携帯端末装置 - Google Patents

Description

本発明は、携帯電話機のような携帯端末装置に関し、特に、内蔵するカメラにより眼球の動きを検出して携帯端末の操作を可能とする携帯端末装置に関する。

現在普及している携帯電話機のような携帯端末装置の操作は、携帯電話機上に配列されたキーボタンなどを指で押すなどの動作により行われる。しかしながら、障害などにより指先が不自由な場合は、キー操作は困難である。

一方、近年の携帯電話機は、そのほとんどがカメラを内蔵しているため、そのカメラにより眼球の動きを検出し、眼球の動きを利用して、携帯電話機を操作する方法が提供されている。

例えば、下記特許文献１は、瞳孔位置の移動を検出して使用者の視線の移動方向を検出し、検出された使用者の視線の移動方向にポインティングデバイスを移動させ、ポインティングデバイスに向けて行った意思決定を検出する視線入力機能付携帯電話について開示している。また、下記特許文献２は、利用者の眼球を撮像し、撮像された画像から利用者の視線方向を検出し、該視線方向から入力すべき文字を特定する携帯端末装置について開示している。さらに、下記特許文献３も視線検出手段を有する電子機器について開示している。
特開２００４−２１８７０号公報 特開２００４−１９４２０７号公報 特開２００２−１３２５１７号公報

しかしながら、眼球を動かして、視線方向を意図する位置に合わせる動作は比較的困難であり、入力精度が低くなり、操作性が悪い。

特に、文字、数字、記号などの一覧を表示し、視線方向から文字などを選択する場合、表示する情報が多く、文字も小さくなるので、意図する文字の表示位置に視線を合わせるのは至難の業である。

そこで、本発明の目的は、眼球の動きを利用したより容易な手段で操作を可能とする携帯端末装置を提供することにある。

上記目的を達成するための本発明の第一の構成は、ユーザの眼球を撮像するカメラと、撮像された眼球の動きを検出する検出部と、前記検出部により検出された眼球の動きの回数をカウントするカウンタと、前記カウンタによりカウントされた回数に対応してあらかじめ決められた操作に対する処理を実行する制御部とを備えることを特徴とする電子装置である。

本発明の第二の構成は、上記第一の構成において、前記検出部は、眼球の動きの方向を検出し、前記カウンタは、眼球の動きの方向毎に眼球の動きの回数をカウントし、前記制御部は、前記検出部により検出された眼球の動きの方向と前記カウンタによりカウントされた回数に対応してあらかじめ決められた操作に対応する処理を実行することを特徴とする電子装置である。

本発明の第三の構成は、上記第二の構成において、前記制御部は、前記検出部により検出された眼球の動きの方向と前記カウンタによりカウントされた回数に対応して、数字又は文字を選択して入力する操作に対する処理を実行することを特徴とする電子装置である。

本発明によれば、眼球の動きの回数に応じた操作を可能とすることで、操作性と入力精度が向上し、指先が不自由なユーザであっても、容易に携帯端末装置を操作することができるようになる。

眼球の動きの回数と方向とにより、意図した数字又は文字などを容易に選択することができ、キーボタンを使用せずとも、数字又は文字などの入力が容易となる。

以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。

本発明の実施の形態例では、例えば携帯電話機である携帯端末装置に内蔵するカメラにより、眼球の動きの回数（及び方向）を検出し、その回数（及び方向）により携帯端末装置に対する操作又は入力を行う。

図１は、本発明の実施の形態における携帯端末装置のブロック構成例を示す図である。図１は、一例として携帯電話機の構成例であって、制御部１０は、携帯電話機１の有する通話機能、電子メール機能、インターネット接続機能、カメラ機能などすべての機能を制御し、CPU及びCPUにより実行されるプログラムを格納するメモリなどから構成される。本発明の実施の形態における眼球の動きの検出処理及び検出に伴う操作処理は、制御部１０によるソフトウェア処理として実行される。

キーボタン１１は、数字や文字を入力するための入力手段であり、スピーカ１２は音声出力手段、マイク１３は音声入力手段、ディスプレイ１４は表示手段である。なお、本発明は、キーボタン１１を用いずに、眼球の動きの回数により、数字や文字を入力する手法について提供するものである。

無線信号処理部１５は、アンテナ１６を介して基地局との間で送受信される信号を処理し、通話、電子メールやインターネット接続にかかる信号を取り扱う。電源１８は、携帯電話機１の構成要素に必要な電力を供給する。

カメラ１７は、例えば、CCD素子やCMOS素子などの撮像素子を備えて構成され、撮像された画像データは、制御部１０内のメモリに記憶することができる。制御部１０は、撮像された画像データに基づいて、眼球の動きを検出し、検出した眼球の動きの回数に対応する操作を実行する。

図２は、眼球の動き検出を説明する図である。眼球の黒目が眼球の中心位置から上方向、下方向、右方向、左方向に移動した４パターンをそれぞれ検出する。検出方法は、黒目が眼球の中心位置にある眼球の画像をあらかじめ携帯端末装置１の内蔵カメラ１７で撮像し、その画像を制御部１０内のメモリに記憶しておき、検出処理のとき、メモリに記憶されている眼球画像の黒目位置と、カメラ１７が撮像した眼球画像の黒目位置とを比較し、黒目位置が所定値以上離れている場合、眼球の動きを検出し、その方向を特定する。

黒目位置は、例えば、黒目部分データの輝度データと白目部分など他の部位における輝度データとの差異から、黒目の左右上下端の位置を決定し、黒目の各端位置の比較により、眼球の動きを検出する。黒目の各端位置から黒目の中心部の位置を求め、黒目の中心部の位置同士を比較してもよい。

図３は、本発明の第一の実施の形態例における眼球の動きの回数による操作処理について説明する図である。第一の実施の形態例では、眼球の動きの方向と回数に基づいて、携帯電話機の動作モードを決定する操作が行われる。

カメラ１７がユーザの眼球を撮像すると、縦方向眼球動作検出部Ｂ１が縦方向の眼球動作を検出すると、上方向眼球動作検出部Ｂ３は、縦方向における上方向の眼球動作を検出し、下方向眼球動作検出部Ｂ４は、縦方向における下方向の眼球動作を検出する。また、横方向眼球動作検出部Ｂ２が横方向の眼球動作を検出すると、右方向眼球動作検出部Ｂ５は、横方向における右方向の眼球動作を検出し、左方向眼球動作検出部Ｂ４は、横方向における左方向の眼球動作を検出する。

上方向眼球動作検出部Ｂ３が検出した上方向の眼球の動きの回数は、カウンタＣ１によりカウントされ、記憶される。同様に、カウンタＣ２、Ｃ３、Ｃ４は、それぞれ下方向眼球動作検出部Ｂ４が検出した下方向の眼球の動きの回数、右方向眼球動作検出部Ｂ５が検出した右方向の眼球の動きの回数、左方向眼球動作検出部Ｂ６が検出した左方向の眼球の動きの回数をカウントし、記憶する。各眼球動作検出部Ｂ１〜Ｂ６、カウンタＣ１〜Ｃ４及び後述の動作モード決定部Ｄ１は、制御部１０の機能である。

動作モード決定部Ｄ１は、カウンタＣ１〜Ｃ４に記憶される各回数を読み出して、図示されるように、各方向の回数をディスプレイ１４に表示する。各方向の回数に対応してあらかじめ決められた動作モードが表示されてもよい。そして、動作モード決定部Ｄ１は、眼球動作を検出せずに一定時間経過すると、各方向の回数を確定して、各回数に対応してあらかじめ決められた操作を決定し、当該操作に対する処理を実行する。決定された操作が実行されることで、カウンタの回数はリセットされる。

例えば、操作は携帯電話機の動作モードを決定する操作であって、携帯電話機が電話をかけるための電話モード、電子メールを送受信するための電子メールモード、内蔵カメラにより写真を撮像するためのカメラモード、インターネットに接続するためのインターネットモードなどの複数の動作モードを有する場合、上方向、下方向、右方向、左方向それぞれへの眼球の動きを１回検出した場合に、それぞれ電話モード、電子メールモード、カメラモード、インターネットモードにする。各方向への複数回数、及び複数方向への回数の組み合わせにより、動作モードに限らず、さらに細かい操作を規定してもよい。

図４は、本発明の第二の実施の形態例における眼球の動きの回数による操作処理について説明する図である。第二の実施の形態例では、眼球の動きの方向と回数に基づいて、電話モードにおいて、電話番号を入力して、電話を発信する操作が行われる。眼球動作検出部Ｂ１〜Ｂ６、カウンタＣ１〜Ｃ４の構成は、第一の実施の形態例と同様である。各眼球動作検出部Ｂ１〜Ｂ６、カウンタＣ１〜Ｃ４及び後述の発信処理部Ｄ２は、制御部１０の機能である。

発信処理部Ｄ２は、カウンタＣ１〜Ｃ４に記憶される各回数を読み出して、各方向の回数に応じた数字を選択し、図示されるように、選択された数字をディスプレイ１４に表示し、選択された数字により構成される電話番号への発信処理を実行する。

ディスプレイ１４には、上下左右方向それぞれの眼球の動きに割り当てられた操作及び操作に対応する情報が表示される。例えば、左右方向への眼球の動きは、後述する電話番号に対応する数字の選択操作であって、ディスプレイ１４の左右方向の表示位置には、「番号」と表示される。上方向への眼球の動きは、選択された数字を確定する操作であって、ディスプレイ１４の上方向表示位置には、「確定」と表示される。また、下方向への眼球の動きは、確定した数字による電話番号への発信操作であって、ディスプレイ１４の下方向表示位置には、「発信」と表示される。

図５は、眼球の動きにより数字を選択する方法について説明する図である。図５（ａ）に示されるように、左から順に１、２、３、４、５、６、７、８、９、０の数字が並んでおり、初期位置は０にあるものとする。数字選択操作では、眼球を左右方向に所定回数動かすことで、所望の数字の位置に移動し、数字を選択する。

図５（ｂ）に例示されるように、例えば、電話番号「０９０５７３４６２８８」に発信したい場合、各数字を以下のようにして選択する。

初期位置は０なので、まずこの状態で、上方向への眼球を動かすことにより、０を確定させる。続いて、左方向に眼球を１回動かすことにより、９が選択されるので（１）、この状態で上方向への眼球を動かすことにより、９を確定させる。次に、右方向に眼球を１回動かすことにより、再度０が選択されるので（２）、この状態で上方向への眼球を動かすことにより、０を確定させる。

次に、左方向への眼球の動きを５回連続して行うことにより、５が選択されるので（３）、この状態で上方向への眼球を動かすことにより、５を確定させる。そして、そこから、右方向への眼球の動きを２回連続して行うことにより、７が選択されるので（４）、この状態で上方向への眼球を動かすことにより、７を確定させる。続いて、７の位置から３の位置に移動するために、左方向への眼球の動きを４回連続して行う。これにより、３が選択されるので（５）、この状態で上方向への眼球を動かすことにより、３を確定させる。

次に、右方向に１回眼球を動かすことにより、４が選択されるので（６）、この状態で上方向に眼球を動かして、４を確定させる。さらに、右方向に２回眼球を動かすと、６が選択されるので（７）、この状態で、上方向に眼球を動かして、６を確定させる。続いて、左方向に４回連続して眼球を動かすことにより、６の位置から２の位置に移動し、２が選択されるので（８）、この状態で上方向に眼球を動かして、２を確定させる。そして、次に、右に６回連続眼球を動かして、８を選択し（９）、上方向に眼球を動かすことにより、８を確定させ、眼球を左右方向に動かすことなく、もう一回、眼球を上方向に動かすことにより、連続して８を確定させる。

こうして、電話番号の数字を確定させた後、下方向に一回眼球を動かす。これにより、発信操作が行われ、携帯電話機は、確定した数字で構成される電話番号に対する発信動作を行う。

このように、眼球の動きの方向と回数により数字を選択し、発信操作を行うことができるので、数字の選択が容易であり、入力精度が向上し、キーボタンを押すことができない場合でも、眼球の動きだけで容易に所望の電話番号に電話をかけることができる。

図６は、本発明の第三の実施の形態例における眼球の動きの回数による操作処理について説明する図である。第三の実施の形態例では、眼球の動きの方向と回数に基づいて、電子メールモードにおいて、文字を入力する操作が行われる。眼球動作検出部Ｂ１〜Ｂ６、カウンタＣ１〜Ｃ４の構成は、第一の実施の形態例と同様である。各眼球動作検出部Ｂ１〜Ｂ６、カウンタＣ１〜Ｃ４及び後述の文字選択部Ｄ３は、制御部１０の機能である。

文字選択部Ｄ３は、カウンタＣ１〜Ｃ４に記憶される各回数を読み出して、各方向の回数に対応した文字を選択し、図示されるように、選択された文字をディスプレイ１４に表示する。

ディスプレイ１４には、上下左右方向それぞれの眼球の動きに割り当てられた操作及び操作に対応する情報が表示される。例えば、左方向及び下方向への眼球の動きは、後述するように、行と列の指定により文字を選択する操作であって、ディスプレイ１４の左方向及び下方向の表示位置には、それぞれ「行」、「列」と表示する。上方向への眼球の動きは、選択された数字を確定する操作であって、ディスプレイ１４の上方向表示位置には、「確定」と表示される。また、右方向への眼球の動きは、確定した数字を削除する操作であって、ディスプレイ１４の右方向表示位置には、「削除」と表示される。

図７は、眼球の動きにより文字を入力する方法について説明する図である。図７（ａ）に示されるように、日本語の５０音がマトリックス状に配置され、行番号と列番号を指定することで、文字を選択することができる。初期位置は、行番号、列番号ともに０の文字「あ」であるものとする。文字選択操作では、眼球を左方向及び下方向に所定回数動かすことで、所望の文字の位置に移動し、文字を選択する。

図７（ｂ）に例示されるように、例えば、文字「ふじつうたろう」を入力したい場合、各文字を以下のようにして選択する。

初期位置は「あ」から「ふ」に移動するには、左方向に眼球を５回動かし、さらに下方向に眼球を２回動かすことにより、「ふ」の位置に到達し、この状態で、上方向に眼球を動かすことにより、「ふ」を確定させる。

第二の実施の形態例では、所望の数字の位置に移動し、数字を確定して、次の数字の位置に移動する場合、当該確定した数字の位置を基準として、次の数字の位置に移動する方式であったが、第三の実施の形態例では、文字を確定するごとに、基準位置は「あ」の位置に戻るものとする。従って、「ふ」の確定動作して、次の文字を選択する場合は、再度、初期位置「あ」から次の文字に移動する。

初期位置「あ」から次の文字「し」に移動するには、左方向に眼球を２回動かし、さらに下方向に眼球を１回動かすことにより、「し」の位置に到達する。この状態で上方向に眼球を動かすことにより、「し」を確定させる。

次の濁点「゛」は、図５（ａ）のマトリックスに示されるように、「わ」の下に配置されているので、眼球を左方向に９回、下方向に１回動かし、この状態で上方向に眼球を動かすことにより、濁点「゛」を確定させ、これにより、文字「じ」が入力される。

同様にして、文字「つ」は、眼球を左方向に３回、下方向に１回動かし、この状態で上方向に眼球を動かすことにより、入力される。文字「う」は、眼球を下方向に２回動かし、この状態で上方向に眼球を動かすことにより、入力される。文字「た」は、眼球を左方向に３回動かし、この状態で上方向に眼球を動かすことにより、入力される。文字「ろ」は、眼球を左方向に８回、下方向に４回動かし、この状態で上方向に眼球を動かすことにより、入力される。文字「う」は、眼球を下方向に２回動かし、この状態で上方向に眼球を動かすことにより、入力される。

入力文字を間違えた場合は、眼球を右方向に１回動かすことにより、直近に確定された文字が一つ削除されていく。右方向に連続して複数回眼球を動かすことにより、直近に確定された文字の順に眼球の動きの回数分削除されていく。

こうして文字入力終了後、眼球を上方向に２回連続動かすことにより、メールの送信操作が行われてもよい。

こうして、文字の入力が行われた後、上方向に２回連続して眼球を動かすことで、電子メールの送信操作がおこなれてもよい。これにより、携帯電話機は、入力した文字で構成される電子メールの送信動作を行う。

このように、眼球の動きの方向と回数により文字を選択、入力することができるので、文字の選択が容易であり、入力精度が向上し、キーボタンを押すことができない場合でも、眼球の動きだけで容易に文字入力が可能となる。

本発明の実施の形態例では、携帯電話機を例に説明するが、本発明は、携帯電話機の他に、PDA、ノート型パーソナルコンピュータなどの携帯端末装置にも適用可能である。さらに、携帯端末装置に限らず、カメラを内蔵する据置型のデスクトップ型パーソナルコンピュータなどの電子装置（携帯端末装置も含む）にも適用可能である。さらに、カメラも内蔵されるものに限らず、外付けで接続される構成であってもよい。この場合、電子装置は、カメラが撮像した眼球の画像データを受信する受信手段を有する。さらに、カメラが、眼球の動きの回数に応じた処理を実行する本発明の構成を備えていてもよい。

（付記１）
ユーザの眼球を撮像するカメラと、
撮像された眼球の動きを検出する検出部と、
検出された眼球の動きの回数をカウントするカウンタと、
前記眼球の動きの回数に対応してあらかじめ決められた操作に対する処理を実行する制御部とを備えることを特徴とする携帯端末装置。

（付記２）
付記１において、
検出部は、眼球の動きの方向を検出し、
前記カウンタは、眼球の動きの方向毎に眼球の動きの回数をカウントし、
前記制御部は、眼球の動きの方向と回数に対応してあらかじめ決められた操作に対応する処理を実行することを特徴とする携帯端末装置。

（付記３）
付記２において、
前記制御部は、眼球の動きの方向と回数に対応して、数字又は文字を選択して入力する操作に対する処理を実行することを特徴とする携帯端末装置。

（付記４）
ユーザの眼球を撮像するカメラと、
撮像された眼球の動きを検出する検出部と、
検出された眼球の動きの回数をカウントするカウンタと、
前記眼球の動きの回数に対応してあらかじめ決められた操作に対する処理を実行する制御部とを備えることを特徴とする電子装置。

（付記５）
カメラにより撮像されたユーザの眼球の画像データを受信する受信部と、
撮像された眼球の動きを検出する検出部と、
検出された眼球の動きの回数をカウントするカウンタと、
前記眼球の動きの回数に対応してあらかじめ決められた操作に対する処理を実行する制御部とを備えることを特徴とする電子装置。

（付記６）
ユーザの眼球を撮像する撮像部と、
撮像された眼球の動きを検出する検出部と、
検出された眼球の動きの回数をカウントするカウンタと、
前記眼球の動きの回数に対応してあらかじめ決められた操作に対する処理を実行する制御部とを備えることを特徴とするカメラ。

本発明の実施の形態における携帯端末装置のブロック構成例を示す図である。 眼球の動き検出を説明する図である。 本発明の第一の実施の形態例における眼球の動きの回数による操作処理について説明する図である。 本発明の第二の実施の形態例における眼球の動きの回数による操作処理について説明する図である。 眼球の動きにより数字を選択する方法について説明する図である。 本発明の第三の実施の形態例における眼球の動きの回数による操作処理について説明する図である。 眼球の動きにより文字を入力する方法について説明する図である。

符号の説明

１：携帯電話機、１０：制御部、１１：キー、１２：スピーカ、１３：マイク、１４：ディスプレイ、１５：無線信号処理部、１６：アンテナ、１７：カメラ、１８：電源

Claims (3)

1. ユーザの眼球を撮像するカメラと、
   撮像された眼球の動きを検出する検出部と、
   前記検出部により検出された眼球の動きの回数をカウントするカウンタと、
   前記カウンタによりカウントされた回数に対応してあらかじめ決められた操作に対する処理を実行する制御部とを備えることを特徴とする電子装置。
2. 請求項１において、
   前記検出部は、眼球の動きの方向を検出し、
   前記カウンタは、眼球の動きの方向毎に眼球の動きの回数をカウントし、
   前記制御部は、前記検出部により検出された眼球の動きの方向と前記カウンタによりカウントされた回数に対応してあらかじめ決められた操作に対応する処理を実行することを特徴とする電子装置。
3. 請求項２において、
   前記制御部は、前記検出部により検出された眼球の動きの方向と前記カウンタによりカウントされた回数に対応して、数字又は文字を選択して入力する操作に対する処理を実行することを特徴とする電子装置。

Images