JP4771183B2 - 操作装置 - Google Patents

Description

本発明は、操作装置に関する。

従来、カーナビゲーション装置のような車載機器の操作装置として、操作者の手をカメラで撮影し、その撮影データから指画像を抽出し、抽出した指画像域を車載機器のＧＵＩ入力画面（例えば、ナビ画面など）に重畳表示するタイプのものが提案されている。例えば、特許文献１には、車体の天井に取り付けたカメラを用いて、座席手元のスイッチパネルを操作する手の様子を撮影し、撮影した手とスイッチパネルとを、操作者の前方に対向配置された液晶パネルに表示する構成が開示されている。また、特許文献３には、撮影された手画像そのものではなく、その手画像の指よりも狭幅の直線状の指状画像を、撮影された手画像から特定される指先位置に貼り付け表示する構成が開示されている。

他方、手画像の指先位置を特定する方式として、指示する指が伸びた状態であると仮定し外接楕円近似にて指先点を決定する方式（特許文献２）、指を指先側斜め上方から撮影するとともに写り込む指腹部の輪郭を高次関数で近似し、その極点から指先点を決定する方式（特許文献３）、撮影画像の外接矩形を複数個の副矩形領域に分割し、各副矩形の画像面積率により指先座標を求めなくてもよい像形状か否かを判定する方式（特許文献４）等が種々提案されている。

特開２０００−３３５３３０号公報 特開２００８−１５２６２２号公報 特開２００８−１５８６７５号公報 特開平９−３５０６６号公報

特許文献２あるいは３の指先位置特定方式では、手以外のものが撮影された場合に、これを指先位置特定の対象から除外する方法が考慮されておらず、指先の誤検出を生じやすい問題がある。また、特許文献４の方式では、手の撮影方向が不定であり、副矩形領域毎の面積率や像領域の色により手の具体的形状、特に、どの向きに生じているかわからない指先領域を正確に特定することは困難であり、指先位置の特定精度を高めることができない問題がある。

例えば、撮影された手輪郭を表示画面に直接重畳表示する態様であれば、手以外のものが撮影されてしまった場合でも、自分の手と異なる形状のものが表示画面に写し出されるので、それほど違和感を感じることにはならない。しかし、特許文献３のごとく、指状画像を代替表示する場合、誤検出された指先位置にも指状画像が貼り込まれるので、操作者としては撮影範囲内に手を入れていないことを明らかに把握しているにもかかわらず、画面上に指画像が表れて違和感が非常に大きい問題がある。

本発明の課題は、手以外のものが撮影された場合において、比較的簡単なアルゴリズムにて、これを正確に除外することができ、ひいては、指先位置の特定精度を大幅に高めることができる操作装置を提供することにある。

課題を解決する手段及び発明の効果

上記の課題を解決するために、本発明の操作装置は、
撮影範囲に対し予め定められた挿入方向に挿入される操作者の手を撮影する撮影装置と、
撮影画像の挿入方向における先端領域を抽出する先端抽出手段と、
撮影範囲における先端領域の位置を画像先端位置として特定する画像先端位置特定手段と、
先端領域の寸法及び面積の少なくともいずれかに基づいて、画像先端位置が真の指先点を示すものであるか否かを判定する指先判定手段と、
先端位置が真の指先点と判定された場合に、先端位置の座標を真の指先点の座標として出力する指先点座標出力手段と、を備えたことを特徴とする。

上記本発明の操作装置に構成によると、撮影装置の撮影範囲には、予め定められた挿入方向に操作者の手が挿入されるようになっており、その挿入方向の先端に指先も位置する。そこで、撮影画像の挿入方向における先端領域を抽出し、その先端領域の寸法や面積が妥当な値になっているか否かに応じて、該先端領域が真の指先を示すものであるか否かをより正確に判定することができる。

先端抽出手段は、撮影画像を第一画像とし、該第一画像を挿入方向に平行移動して得られる画像を第二画像として、挿入方向の先端側に生ずる、それら第一画像と第二画像との非重なり領域を先端領域として抽出するものとして構成することができる。この構成によると、撮影画像を手の挿入方向（つまり、掌長方向）に平行移動して重ね合わせることにより、指先領域を両画像の非重なり領域として簡単に特定することができる。

この方法では、撮影範囲に挿入される手を掌面側から反射光により撮影することになるが、上記のような平行移動による第二画像との差分（非重なり領域）により指先領域を抽出・特定する方式であれば、特許文献２のごとく、斜め上方からの撮影により指腹を撮影する方式を採用せずとも、手の外形輪郭が明確に撮影できればよいので、撮影装置は、撮影範囲に対し掌面を下向きにして水平方向前方に差し出される手を下側から撮影するものとして構成できる。これにより、特許文献２のように、天井に設けたカメラと手との間に入り込む外乱光や異物の影響を受ける心配がない。特に、手の撮像側表面に照明光を投射する照明手段を設け、照明光の手による反射光に基づいて手像を撮影するように撮影装置を構成すれば、手像と背景との画像分離を容易に図ることができる。

当然、画像先端位置座標特定手段は、非重なり領域として特定される先端領域の位置を、指先点の候補となる画像の先端位置として特定することができる。非重なり領域の位置は、該領域と一定の幾何学的関係を充足する代表点により座標規定できるが、具体的には非重なり領域の幾何学的重心位置をその代表点として採用できる。ただし、代表点は幾何学的重心位置に限定されるものではない。

非重なり領域の寸法又は面積は、それが真の指先領域であるならば、人の指に対応した規定範囲内の値を示すはずであるから、逆にその規定範囲を逸脱する寸法又や面積を示す非重なり領域は、操作者の指先ではない領域（例えば手以外の撮影物や、手であっても指先ではない領域）として確実に除外判定することが可能である。つまり、指先判定手段は、抽出された先端領域をなす非重なり領域の寸法又は面積が規定範囲内にあるか否かに基づいて、該非重なり領域が真の指先領域であるか否かを判定するものとして構成することができる。

次に、撮影装置に関連して、操作者の手を撮影範囲に対し、挿入方向をガイド方向として該ガイド方向に規制しつつ挿入させる手ガイド部を設けることができる。これにより、撮影範囲に対する操作者の手の挿入方向をより一定化することができる。すると、撮影される操作者の指長手方向は、上記のガイド方向にほぼ常に平行な位置関係を示すことになり、非重なり領域の寸法は、そのガイド方向と直交する向きにおいて幅寸法とほぼ一致することとなる。そこで、抽出された非重なり領域の、ガイド方向と直交する向きの寸法を幅寸法として、指先判定手段は該幅寸法が規定範囲内にあるか否かに基づき、先端領域が真の指先領域であるか否かを判定することができる。これにより、非重なり領域の寸法測定方向を一定化すること、例えば、ガイド方向と直交（ただし、±３０゜程度の角度範囲であれば、真の直交方向からずれていても差し支えない）する方向に固定することができ、先端領域が真の指先領域であるか否かを判定するための測定アルゴリズムを大幅に簡略化することができる。

次に、特許文献４では、基本的に１本の指（例えば人差し指）により位置指示する状態を特定することを目的としている。そして、撮影画像の外接矩形を複数個の副矩形領域に分割し、各副矩形の画像面積率により手形状判定する方式では、例えば手の各指を開いていることは特定できても、個々の指先がどの位置にあるかまでは特定することができない。しかしながら、上記のように、撮影画像である第一画像と、その手挿入方向への平行移動画像である第二画像との非重なり領域により指先領域を抽出する方式を用いれば、先端抽出手段は、撮影範囲内に複数本の指が挿入されることにより、第一画像と第二画像との非重なり領域が複数分離して特定された場合に、それら複数の非重なり領域をそれぞれ指先領域の候補として抽出することができ、ひいては複数の指先領域を同時に位置入力に活用することも可能となるので、操作装置の入力の自由度を高めることができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。

また、指先判定手段は、撮影画像の総面積をＳとし、個々の非重なり領域から、撮影範囲の手の挿入側に位置する縁までの合計距離をｄとしてＳ／ｄの値を指幅として推定し、該Ｓ／ｄが規定範囲内にあるか否かに基づいて、非重なり領域が真の指先領域であるか否かを判定するように構成することができる。単に重なり領域の幅を直接特定するだけでなく、さらに撮影画像の総面積をＳとし、個々の非重なり領域から撮影範囲の手の挿入側に位置する縁までの合計距離をｄとして、Ｓ／ｄの値を指幅として推定することで、先端位置から撮影範囲の手の挿入側に位置する縁まで連続的につながった指画像を撮影画像が含んでいるか否かを特定でき、先端位置付近のみ断片的に検出される指ではない撮影物（例えば、貨幣等の小異物）を指と誤認する不具合を効果的に防止できる。同様に、指先判定手段は、撮影画像の総面積をＳとし、非重なり領域の個数をＮとして、Ｓ／Ｎの値を平均指面積として推定し、該Ｓ／Ｎが規定範囲内にあるか否かに基づいて、非重なり領域が真の指先領域であるか否かを判定することも可能である。

次に、本発明の操作装置には、撮影範囲と座標対応関係を有する画面領域を備えた表示装置と、画面領域にて、判定された真の指先点を識別可能に表示する指先点表示手段を設けることができる。撮影画像から特定される指先点を表示装置の画面に表示することで、手入力により特定される位置座標を画面上で直感的に把握することができ、グラフィックユーザーインターフェース（ＧＵＩ）の入力装置として有効活用することができる。

この場合、指先点表示手段は、撮影画像として得られる手画像を、そのまま、あるいは輪郭情報を少なくとも含む画像に加工して、撮影範囲と画面領域との対応関係に従い画面上に表示することができる。この場合、撮影画像の先端領域が真の指先領域として判定されなかった場合は、撮影画像の画面領域への表示を行なわないように構成することができる。

他方、指先点表示手段は、撮影画像とは別に用意された指示体画像データに基づき真の指先点を指示する指示体画像を画面領域に表示し、かつ、真の指先点と判定されなかった先端位置には指示体画像を表示しない指示体画像表示手段を有するものとして構成できる。この構成によると、指先点の把握を行ないやすくする等の目的で、指示体画像の表示内容を、撮影画像の内容とは無関係に自由に形成できる利点がある。また、真の指先点と判定されなかった先端位置に、そのような指示体画像を表示しないように構成することで、指以外の撮影物により誤検出された指先位置にも指示体画像が貼り込まれ、操作者としては撮影範囲内に手を入れていないことを明らかに把握しているにもかかわらず、画面上に指画像が表れて違和感が大きくなってしまう問題も根本的に生じない。

特に、指示体画像表示手段を、指示体画像として、撮影画像に含まれる実指像よりも狭幅となるものを表示するように構成すれば、撮影画像上での実指像の状態とは無関係に、個々の指を示す指示体画像を実指像よりも細くした形で画面上に確実に表示することができ、ひいては指像が過度に太く表示されることによる違和感の発生を防止することができる。

指示体画像としては、指の輪郭形状を模した模擬指画像又は個々の指を分離した形で撮影取得された人の実指画像を使用することができる。これにより、狭幅化しているにもかかわらず、実際の手に近いリアルな表現が可能となり、別データによる指示体画像を用いているにもかかわらず、自分の手を見ながら操作する実感を維持することができる。

また、本発明の操作装置には、撮影対象となる手までの撮影装置による撮影距離を一定に規制する撮影距離規制手段を設けることができる。この場合、撮影装置の撮影範囲は、撮影距離が規制された状態において、各指を伸ばして広げた状態の平均的な大人の掌の、人差し指、中指、薬指及び小指が形成する掌前端部の一部の指のみが撮影可能となる大きさに設定することができる。これにより、画面領域には、指の付け根よりも先の部分だけが表示されることになるので、指以外の掌部分の形状が表示に関与せず、指示体画像を用いた後述の表示処理の大幅な簡略化を図ることができる。

操作装置を自動車へ搭載する場合など、寸法上の制限要請が高く、撮影範囲が縮小された場合は、掌の指の全てではなく、人差し指、中指及び薬指のうち、２本の全体が少なくとも撮影可能であり、４本の全体は撮影不能な大きさに設定されるようなことがある。平均的な大人の掌の大きさを考慮した実寸にて表現すれば、撮影範囲が、掌の幅方向に長手方向が一致する長方形状に定められ、その長辺方向寸法が６０ｍｍ以上８０ｍｍ以下、短辺方向寸法が３０ｍｍ以上５５ｍｍ以下に調整されているような場合である。このとき、撮影範囲が縮小しても、対応する画面領域の寸法が同じであると、撮影された実指像の輪郭をそのまま表示する場合は、撮影範囲が縮小される分だけ実指像が大きく拡大されて表示されることとなる。例えば、表示装置が、位置入力装置の入力座標平面上に設定されたボタン操作領域に対応するソフトボタン画像を、画面領域の対応する座標位置に表示するものであり、撮影画像上の実指像を、画面領域上の対応する位置に座標上の寸法を保存しつつ仮想的に投影したとき、該実指像の仮想投影領域に対しソフトボタン画像が、指幅方向に複数包含される寸法ならびに配列間隔にて表示形成されてなる場合、手指が狙ったソフトボタンに正しく向けられているのか否かが非常にわかりにくく、当然、狙ったボタンの隣を押し違えたりする不具合も生じやすい。しかし、画面上に表示されるのが原指像よりも狭幅化された指示体画像であれば、指示体画像と重なるソフトボタンの配列個数が、原指像をそのまま採用する場合と比較して減じられるので、指示体画像先端近傍のボタンの密集感が軽減され、画面上に複数配置されたソフトボタンのどれを操作しているのかを容易に把握できる。その結果、狙ったボタンの隣を押し違えたりするといった不具合も生じにくくなり、操作性が格段に向上する。

次に、撮影距離規制手段は、撮影装置に対し一定の位置関係を充足するように固定配置され、撮影対象となる手を一方の板面側にて支持する透明支持板を有し、撮影装置は、透明支持板の他方の板面側から該透明支持板を介して手を撮影するものとして構成できる。透明支持板上に撮影すべき手を載置することにより、手撮影カメラまでの撮影距離を常に一定に保つことができる。

この透明支持板は、手撮影カメラの撮影範囲に対応した入力操作面が板面に設定された位置入力装置をなすものとして構成でき、表示装置は、指示体画像により、入力座標系に対応する画面領域上での入力位置を指示表示するものとして構成できる。これにより、操作者は、画面上の指示体画像により入力操作面上の指位置を把握でき、画面表示内容に従った入力操作を的確に実施できる。特に、表示装置の画面領域（画面）が操作者に対し、該操作者が入力操作面上の指を直視する向きから外れて配置されている構成（例えば、カーナビゲーションシステム等の車載用電子機器の操作装置の場合、操作者の着座する座席の左右脇（ないしその斜め前方）に入力操作面が配置され、表示装置の画面が該入力操作面よりも上方にて、操作者の前方ないし斜め前方に対向配置される構成）では、本発明の採用により、真の指先点を精度よく判定し、これを画面上に手元操作位置として表示することで、操作を行なう手元と画面との双方を同時に直視できないにもかかわらず、直感的でわかりやすい操作入力が可能となる。

特に、透明支持板を、板面に沿って画面領域に対応する入力座標系が設定されたタッチ式位置入力装置を構成するものとする場合、指先点座標出力手段は、先端位置が真の指先点と判定された場合に、少なくともタッチ式位置入力装置がタッチ入力を検出していない状態において、該先端位置の座標を指先点の座標として出力するように構成できる。

タッチ式位置入力装置は二次元入力面を有し、本来的にはマウスやトラックボールないしトラックパッドと同様の連続的な二次元位置検出が可能な入力デバイスである。しかし、メニュー選択や文字入力、あるいは地図上での位置選択といった操作が主体的となる場合（特に、車載電子機器の場合）は、画面上の個別のキー、ボタンあるいは地図上の所望位置等を狙ってタッチする操作が主体的となり、入力面との接触状態を保って連続的に指を動かす操作は、経過位置での誤入力を招きやすいため忌避される傾向にある。その結果、その入力形態は、入力と無関係な指の移動はパネル面から指を離して行ない、入力希望位置でのみパネル面に指を接触させる離散的なものとなる。このような入力形態となる要因は、タッチ入力装置の場合、タッチ操作面上での位置検出機構と希望位置での入力検出機構とがタッチ面への接触検出機構により一本化され、マウスのクリックボタンのように位置検出機構から分離構成された入力検出機構を持たない点にある。その結果、操作者の指が一旦タッチ操作面から離れてしまうと、指先点の連続的な追跡は不可能となる。しかし、上記の構成によると、少なくともタッチ式位置入力装置がタッチ入力を検出していない状態において、撮影画像に基づく前述の先端位置の座標を指先点の座標として出力することで、指がタッチ操作面から離れた場合も、その指先位置を常に把握することができるようになる。

また、本発明の操作装置においては、操作者の指先部分が撮影範囲の外へはみ出した場合に、撮影範囲内に残っている指部分の先端を真の指先領域と誤認する可能性がある。そこで、撮影範囲は、画面領域に対応する画面対応領域と、該画面対応領域の外周縁に沿って外側に所定幅で形成される画面外領域とを有するものとして形成できる。指先点座標出力手段は、画像先端位置座標特定手段による撮影画像の先端位置座標が画面対応領域内に位置することを条件として、先端位置の座標を指先点の座標として出力するように構成する。すなわち、操作者の手画像が画面外領域にまではみ出して撮影取得されている場合は、真の指先は明らかに、表示対照となる画面領域の外にあることが明確に把握できるので、この場合は、抽出された画像の先端位置の座標を指先点として認定せず、座標として出力しないように構成することで、上記の不具合を効果的に防止することができる。

なお、原指像とはデータ的に無関係な指示体画像を画面領域に対し、原指像から特定される指先点に後付けで貼り込む構成を採用する場合、指先位置のほかに指の方向を情報として特定する必要がある。これを前提に、指示体画像表示手段は、例えば、画面領域への指示体画像の表示位置を規定する表示座標平面上に指方向規定点を設定する指方向規定点設定手段と、設定された指方向規定点と指先点とに基づいて指示体画像の配置方向を決定する指示体配置方向決定手段とを備え、指示体画像の先端部の位置が指先点と一致し、かつ、決定された配置方向に該指示体画像の長手方向が沿うように、該指示体画像を画面領域上に表示するものとして構成することができる。指先端位置以外に、指長手方向の存在する別の一点を指方向規定点として指定することで、両点を結ぶ直線（以下、指直線ともいう）を指示体画像の配置方向として簡便かつ一義的に決定することができる。

手の各指骨は手首関節に向けて収束する形態に配列しているから、この手首に相当する位置を指方向規定点として利用することにより、指示体画像（特に、模擬指画像や実指画像）を、実際の手に近いリアルな形態で配置できる利点がある。カメラ等により取得される手の画像データは、掌の指先側をなす一部分なので、指方向規定点設定手段は、指方向規定点を、手首位置を想定した手首規定点として画面領域外に設定するように構成すればよい。操作装置として本発明の画像表示装置を活用する場合は、操作者は撮影領域に対して手前側から手を伸ばし入れる操作形態となるのが通常だから、画面領域にが、指を含む掌の画像が、該画面領域の下側に手首位置が外れる位置関係にて表示されることになる。

この場合、方向規定点設定手段は、表示座標平面上にて画面領域の上下方向（垂直方向）をＹ方向とし、これと直交する方向（左右方向ないし水平方向）をＸ方向として、Ｙ方向にて画面領域の下縁から一定長下側に離間した位置に手首規定点を設定することができる。この方法は、画面上の指先点の位置座標とは無関係に、手首規定点のＹ方向位置を画面領域の下縁を基準として固定的に定めるので、手首規定点の決定アルゴリズムを簡略化できる利点がある。また、上記手首規定点から見て実際の操作者の手寸法と整合した画面上の所定範囲内に指先点が存在する場合には、指示体画像の配置方向にかかるリアリティも比較的良好に確保できる。

しかし、Ｙ方向の入力位置が大きく変化しうる入力画面（例えばキーボード画面や地図画面など）が採用されている場合は、手首位置もＹ方向に大きく変動しうるので、表示座標平面上にて手首規定点を、特定された指先点と予め定められた位置関係を有するものとなるように設定するよう、指方向規定点設定手段を構成することが、指示体画像の配置方向のリアリティを高める上で望ましい。具体的には、画面領域に指を含む掌の画像を、該画面領域の下側に手首位置が外れる位置関係にて表示する前提にて、指方向規定点設定手段を、表示座標平面上にて画面領域の上下方向をＹ方向とし、これと直交する方向をＸ方向として、Ｙ方向にて画面領域内に特定された指先点から一定長下側に離間した位置に手首規定点を設定するとよい。

例えば座席への着座状態のように体の位置が固定となる場合において、入力操作面内で操作位置を変更する際の操作者の手及び腕の動きを分析すると、Ｘ方向に指先を移動する場合は、操作者の癖によっても多少の違いはあるが、肘関節の動きは比較的小さく、掌を、該掌の中央付近に位置する軸線周りに回転させる感覚で指先を移動させる動きが主体的となることが多く、指方向角度も該掌の回転角度ひいては指先点のＸ座標に応じて変化することになる。

従って、前述の指方向規定点設定手段は、指先点のＸ座標に応じて、指方向を決める手首規定点のＸ座標が変化するように該手首規定点を変更設定するように構成すると、指示体画像の配置方向にかかるリアリティをさらに高めることができる。例えば、画面領域の下方に（基準手首位置を示す）基準手首規定点を固定的に定め、指方向規定点設定手段を、原指像のＹ方向に対する傾斜角度が大きくなるほど、基準手首規定点からのＸ方向への変位量が大きくなるように手首規定点のＸ座標値を決定するものとして構成すると、Ｘ方向への手の操作移動形態をよりリアルに模写した指示体画像表示が可能となる。

上記のごとく、回転中心が掌の内側に存在する想定では、指先がＸ方向へ回転移動するに伴い、手首位置はその逆方向に回転移動することになる。従って、方向に対し右上がり形態に傾斜している原指像については、Ｘ方向にて基準手首規定点に対し左側に変位するように手首規定点のＸ座標値を決定し、Ｙ方向に対し左上がり形態に傾斜している原指像については、Ｘ方向にて基準手首規定点に対し右側に変位するように手首規定点のＸ座標値を決定するように、指方向規定点設定手段を構成するのが妥当である。

次に、指先点が画面領域上に複数特定される場合には、指方向規定点設定手段は、各指先点について共通の手首規定点を決定するものとして構成できる。これは各指の方向が手首側の一点に収束するという前提での、手首規定点決定にかかる近似アルゴリズムであり、複数の指示体画像の配置方向を比較的簡単に決定できる利点がある。この場合、指方向規定点設定手段は、画面領域上にてＹ方向における最も上側に指先点が位置する原指像を代表原指像として用い、該代表原指像のＹ方向に対する傾斜角度が大きくなるほど、基準手首規定点からのＸ方向への変位量が大きくなるように手首規定点のＸ座標値を決定するように構成することができる。

一方、実際の人の手では、各指骨は手首位置でも当然個別の幅を有しており、手首関節に対しＸ方向に互いに異なる位置に接続することとなる。従って、指先点が画面領域上に複数特定される場合は、指方向規定点設定手段を、手首規定点を各指先点について独立に決定するとともに、指示体画像の配置方向を、各指先点について対応する手首規定点を用いて決定するように構成することができる。この構成では、手首規定点を指毎に別々に決定しなければならないが、指示体画像の配置方向を、実際の手形態により忠実に反映した形で決定することが可能である。

具体的には、指方向規定点設定手段は、基準手首規定点よりもＸ方向右側に位置している指先点については、手首規定点のＸ座標を基準手首規定点よりも右側に設定し、基準手首規定点よりもＸ方向左側に位置している指先点については、手首規定点のＸ座標を基準手首規定点よりも左側に設定するように構成できる。この場合、基準手首規定点に対するＸ方向変位の大きい指先点ほど、基準手首規定点からのＸ方向への変位が大きくなるように手首規定点を設定すれば、実際の手形態への近似度をより高めることができる。

本発明の操作装置の車内取付形態の一例を示す斜視図。 その操作部の内部構造の一例を示す断面模式図。 図１の操作装置の電気的構成の一例を示すブロック図。 指先位置を決定する画像処理の流れを示す説明図。 指先位置特定処理の流れを示すフローチャート。 指先判定処理の詳細を示すフローチャート。 先端領域の幅の概念を説明する図。 複数の先端領域を分離するためのラベリング処理の概念を説明する図。 二値化された種々の撮影画像の例を示す説明図。 手以外の被写体の先端領域を非指先領域として除外する処理の例を説明する図。 被写体領域の面積と先端領域のＹ方向位置とに基づいて指幅推定演算を行なう概念を示す図。 表示画面外に指先がはみ出す場合の問題点を説明する図。 表示外撮影領域の導入により、図１２の問題を解決する概念を説明する図。 図１３の原理により、複数の先端領域のそれぞれについて真の指先領域であるか否かを判定する例を示す図。 先端領域のアスペクト比に基づいて真の指先領域であるか否かを判定する概念を説明する図。 先端領域のアスペクト比に基づいて真の指先領域であるか否かを判定する別例を示す図。 被写体領域の面積と先端領域の個数とに基づいての指先領域であるか否かを判定する概念を説明する図。 手首規定点及び指直線を決定する幾何学的な原理を説明する図。 図５で決定された指直線に沿って指示体画像を貼り付けた状態を示す説明図。 指示体画像の第一例を示す図。 同じく第二例を示す図。 同じく第三例を示す図。 入力操作面を縮小寸法とした場合の指画像と入力操作面との位置関係、及び該指画像を重畳した画面表示例を示す図。 指示体画像を重畳した画面表示例を示す図。 手首規定点を決定する第一の別例を説明する図。 手首規定点を決定する第二の別例を説明する図。 手首規定点を決定する第三の別例を説明する図。 手撮影カメラにより取得された手画像を重畳表示する実施形態を示す図。 本発明の操作装置の変形例を示す側面模式図。 その入力部の一例を拡大して示す斜視図。

以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本発明の画像表示装置の適用対象となる、車載用電子機器の操作装置の一例を示すものである。この操作装置１は、自動車の車室内において、インパネ中央部にモニタ（表示装置）１５が配置され、センターコンソールＣの、運転席２Ｄ及び助手席２Ｐのいずれからも操作可能な位置に操作部１２が配置されている。使用目的は特には限定されないが、例えばセンターコンソールに設けられたモニタ１５の画面を見ながら、カーナビゲーション装置やカーオーディオ装置の機能操作を行なうためのものである。

操作部１２は、入力操作面が上向きとなるように取り付けられている。該入力操作面を形成するのは周知のタッチパネル１２ａであり、抵抗膜方式、表面弾性波方式あるいは静電容量方式のいずれを採用してもよい。タッチパネル１２ａは、その基材が透明樹脂板あるいはガラス板等により透明入力支持板として構成され、操作者の指先によるタッチ操作を上面側にて支持しつつ受け付ける。そして、モニタ１５の画面領域に対応した入力座標系が板面に沿って設定される。

図２は、入力部１２の内部構造を模式的に示す断面図であり、筐体１２２ｅの上面に前述のタッチパネル１２ａが、入力操作面１０２ａ側が上となるように嵌め込まれている。筐体１２ｄの内部には、照明光源１２ｃ及び撮影光学系とともに手撮影カメラ（撮影装置）１２ｂが収容されており、撮影画像取得手段を構成している。照明光源１２ｃは、凸曲面形態のモールドにより素子直上側への輝度指向性を高めた発光ダイオード光源（従って、単色光源である）であり、タッチパネル１２ａの下面を取り囲む形態で複数配置されている。各照明光源１２ｃは、高輝度となるモールド先端側をタッチパネル１２ａの下面内側に向けそれぞれ傾けて取り付けてあり、入力操作面１０２ａ上の操作者の手Ｈの掌面による一次撮像反射光ＲＢ１が、タッチパネル１２ａを透過する形で下向きに生ずるようになっている。

撮影光学系は、第一反射部１２ｐと第二反射部１２ｒとを有する。第一反射部１２ｐは、タッチパネル１２ａの直下に対向配置されたプリズム板（三角柱状の微小プリズムを面内に並列に配置した透明材料板：以下、プリズム板１２ｐともいう）であり、操作者の手Ｈからの一次撮像反射光ＲＢ１を斜め上方に反射することにより、該プリズム板１２ｐとタッチパネル１２ａとの対向空間１２ｆの側方外側へ二次撮像反射光ＲＢ２として導く。第二反射部１２ｒは上記対向空間の側方外側に配置された平面反射鏡（以下、平面反射鏡１２ｒともいう）であり、上記二次撮像反射光ＲＢ２を側方へ反射することにより、対向空間１２ｆを挟んで第二反射部１２ｒの反対側に位置する手撮影カメラ１２ｂに対し三次撮像反射光ＲＢ３として導く。手撮影カメラ１２ｂは該三次撮像反射光ＲＢ３の焦点に対応する位置に設けられ、操作者の指を含む手Ｈの撮影画像を取得する。

プリズム板１２ｐは、図２内に拡大して示すように、ミラー基面ＭＢＰに対しそれぞれ等角度で傾斜する反射面を有したリブ状の微小プリズムを、ミラー基面ＭＢＰに沿って互いに平行となるように密接形成したものであり、ミラー基面ＭＢＰを傾けずとも、その法線方向に入射する光を（斜め）側方へ反射することができる。従って、側方反射のための第一反射部１２ｐをタッチパネル１２ａの下方に平行対向する形で配置でき、対向空間１２ｆの高さ方向寸法を大幅に縮小できる。

また、その対向空間１２ｆを側方から挟んで第二反射部１２ｒと手撮影カメラ１２ｂとを対向配置することで、手撮影カメラ１２ｂに直接入射する三次撮像反射光ＲＢを、対向空間１２ｆを横切る形で導くことができる。これにより、第二反射部１２ｒと手撮影カメラ１２ｂとを、タッチパネル１２ａの側縁に近接配置でき、かつ、手Ｈから手撮影カメラ１２ｂへの撮像反射光の入射経路が、対向空間１２ｆ内でいわば三つ折状に畳み込まれる形になるので、撮像光学系全体の大幅なコンパクト化と、筐体１２ｄの薄型化とが実現されている。特に、タッチパネル１２ａのサイズ（つまり、入力操作面１０２ａの縦横寸法）を縮小することで、入力部１２全体の劇的な小形化及び薄型化が実現し、図１のセンターコンソール部Ｃの幅が比較的小さい車両や、シフトレーバー前方の限られた取付スペースしか活用できない車両にも問題なく取り付けが可能となる。

タッチパネル１２の入力操作面１０２ａは、手撮影カメラ１２ｂの撮影範囲１０２ｂに対応しており、平均的な寸法の大人の手を想定した場合に、中指の指先端を含む長手方向の一部のみが入力操作面１０２ａ内に入るように、その上下方向（Ｙ方向）寸法が定められている（例えば、６０〜９０ｍｍ（具体例として７５ｍｍ））。これにより、モニタ１５の画面領域には、指の付け根よりも先の部分だけが表示されることになるので、指以外の掌部分の形状が表示に関与せず、指示体画像を用いた後述の表示処理の大幅な簡略化を図ることができる。また、入力操作面１０２ａの左右方向（Ｘ方向）寸法は１１０〜１３０ｍｍ（例えば、１２０ｍｍ）であり、手を乗せて各指を大きく開いた状態では、人差し指、中指、薬指及び小指が撮影範囲内となり、親指が撮影範囲外となっている。ただし、各指を適当に閉じれば全ての指を撮影範囲内に収めることも可能である。

図３は、操作装置１の電気的構成を示すブロック図である。操作装置１の制御主体をなすのは操作ＥＣＵ１０である。該操作ＥＣＵ１０は、ＣＰＵ１０１を主体とするコンピュータハードウェア基板として構成され、具体的には、ＣＰＵ１０１、ＲＡＭ１１０２、ＲＯＭ１０３、グラフィックコントローラ１１０、ビデオインターフェース１１２、タッチパネルインターフェース１１４、汎用入出力部１０４及びシリアル通信インターフェース１１６が内部バス１０５により相互接続された構造を有する。グラフィックコントローラ１１０には表示用ビデオＲＡＭ１１１及びモニタ１５が、ビデオインターフェース１１２には撮影用ビデオＲＡＭ１１３及び手撮影カメラ１２ｂが、タッチパネルインターフェース１１４にはタッチパネル１２ａが、そして、汎用入出力部１０４にはドライバ（駆動回路）１１５を介して照明光源１２ｃがそれぞれ接続されている。また、シリアル通信インターフェース１１６には、ＣＡＮ通信バスなどの車載用シリアル通信バス３０が接続され、これにネットワーク接続された他のＥＣＵ、具体的にはカーナビゲーション装置の制御を司るナビＥＣＵ２００と相互通信可能とされている。

ビデオインターフェース１１２には、手撮影カメラ１２ｂが取得するアナログもしくはデジタルの映像信号が継続的に入力されるとともに、撮影用ビデオＲＡＭ１１３内に画像フレームデータとして、所定の時間間隔で取り込まれる。撮影用ビデオＲＡＭ１１３の記憶内容は、新しい画像フレームデータが取り込まれる毎に随時更新される。

グラフィックコントローラ１１０は、通信インターフェース１１６を介してナビＥＣＵ２００から入力画面画像フレームデータを取得するとともに、ＣＰＵ１０１側からは指示体画像が所定位置に張り込まれた指示体画像フレームデータを取得し、表示用ビデオＲＡＭ１１１上にて周知のアルファブレンディング処理等によりフレーム合成し、モニタ１５に出力する。

タッチパネルインターフェース１１４は、タッチパネル１２ａの方式に応じた固有の駆動回路を有するとともに、タッチパネル１２ａからの信号入力状態に基づいて、入力操作面１０２ａへのタッチ操作による入力位置を検出し、その検出結果を位置入力座標情報として出力する。

なお、手撮影カメラ１２ｂの撮影範囲（撮影視野；ひいては、該手撮影カメラ１２ｂにより取得される撮影画像）、タッチパネル１２ｂの入力操作面、モニタ１５の画面領域（ひいては、その表示内容を決定する入力画面画像フレームデータ及び指示体画像フレームデータ）には、二次元座標対応関係が一義的に定められている。

また、ＲＯＭ１０３には、ＣＰＵ１０１が実行する以下のようなソフトウェアが格納されている。
・タッチパネル制御ソフトウェア１０３ａ：タッチパネルインターフェース１１４から入力位置座標を取得し、入力画面画像フレームデータとともにナビＥＣＵ２００から送られてくる、操作入力内容の判定参照情報（例えば、ソフトボタンの領域特定情報や、当該ソフトボタンがタッチ操作されたときに出力するべき操作コマンド内容等の情報を含む）を取得する。そして、該入力位置座標と取得した判定参照情報とに基づいて現在の操作入力内容を特定し、ナビＥＣＵ２００に対して対応する操作コマンドの実行指令出力を行なう。

・表示制御ソフトウェア１０３ｂ：グラフィックコントローラ１１０への入力画面画像フレームデータの取り込み指令を行なうとともに、後述の方法により作成した指示体画像フレームデータをグラフィックコントローラ１１０へ転送する。
・指先点演算ソフトウェア１０３ｃ（先端抽出手段、画像先端位置特定手段、指先判定手段）：ＲＡＭ１１０２の指先点演算処理メモリ１１０２ａを作業領域として動作する。手撮影カメラ１２ｂが撮影した操作者の手の撮影画像を二値化し、その実指像の指先位置を指先点として特定する演算、具体的には、二値化された撮影画像の挿入方向における先端領域ｔａの所定の代表点（ここでは幾何学的重心位置）を画像先端位置ｔｐ（指先点ｔｐ）として特定する演算を行なう。また、先端領域ｔａの寸法及び面積の少なくともいずれかに基づいて、画像先端位置ｔｐが真の指先点ｔｐを示すものであるか否かを判定する。なお、手の撮影画像の二値化処理は、ビデオインターフェースの出力段に画素の二値化回路を組み込んで事前に行なうようにしてもよい。
・指示体画像合成ソフトウェア１０３ｄ（指先点表示手段、指示体画像表示手段）：ＲＡＭ１１０２の指示体画像合成用メモリ１１０２ｂを作業領域として動作する。指示体画像データ１０３ｅに基づいて作成した指示体画像を、その指先位置が指先点と一致するように、指示体画像フレーム上に貼り付ける処理を行なう。

以下、操作装置１の動作について、撮影される手の指先点（指先位置）の特定処理を中心に、フローチャートを用いて説明する。該処理の要部は指先点演算ソフトウェア１０３ｃが担う。まず、モニタ１５の画面（領域）には、先行するコマンド入力（例えば別画面でのタッチ入力操作に基づく）により、図３２のキーボード入力画面（ただし手画像ＳＦは除く）が表示されているものとする（ただし、地図画面など、他の入力画面であってもよい）。

図５は指先点特定処理の流れ（一定のサイクルで反復して実行される）を示すものであり、上記の状態で、図２に示すように、タッチパネル１２ａの入力操作面１０２ａに手Ｈを近づけると、手撮影カメラ１２ｂは、照明光源１２ｃからの照明光の手による反射光に基づいて手像を撮影する。図５のＳ１０１で、その撮影画像を取り込む。手像の画素は反射光の受光により背景領域よりも明るく現れる。従って、図４のＡに示すように、画素の輝度を適当な閾値で二値化すれば、高輝度画素値（ここでは「１」とする）を示す領域を被写体領域（図中黒で表している）、低輝度画素値（ここでは「０」とする）を示す領域を背景領域（図中白で表している）として、互いに画像分離できる。Ｓ１０２では、この二値化された画像データを第一画像データ（Ａ）として保存する。

なお、Ｓ１０３では、第一画像データにおける被写体領域の面積率σを演算する。手撮影カメラ１２ｂの撮影範囲内に被写体が存在しない場合は、被写体領域の面積率σがある閾値σ_０未満となるので、この場合は以下の処理をスキップする。

次に、図５のＳ１０５では、該第一画像データを手像の掌長方向（Ｙ方向）に所定距離（例えば、中指第一関節より先を指先部分として、その２０％〜８０％（実距離にして５〜２０ｍｍ程度））だけ平行移動させて得られる画像データを、図４のＢに示す第二画像データとする。そして、Ｓ１０６では、図４のＣに示すように、両画像データを重ね合わせたときの指先側に現れる非重なり領域を手の挿入方向における先端領域（指先領域）ｔａとして特定する。取得された原画像データを手像の掌長方向に平行移動して重ね合わせることにより、指先領域を非重なり領域として簡単に特定することができる。また、一部の指が閉じて密着していても、丸みを帯びた指先領域は確実に分離して特定することが可能である。

図４のＣにおいては、第二画像データＢを、第一画像データＡを掌長方向（Ｙ方向）にて手首側へ後退移動させて作成しており、第一画像データＡの手像指先側に現れる非重なり領域が先端領域（指先領域）として特定される。撮影範囲（ひいてはモニタ１５の画面領域）との座標対応関係が保存される第一画像データＡ上にて指先領域を特定でき、後述の指先点、ひいては、画面領域上の対応座標点の特定処理を簡便に行なうことができる。

また、第一及び第二画像データはいずれも二値化されており、非重なり領域は、第一画像データと第二画像データとの画像差分を演算することで特定される。これにより、非重なり領域の画素を特定する処理は、第一及び第二画像データの対応する画素間の論理演算に転換できる（具体的には、対応画素間の排他的論理和が０になれば、それを非重なり領域の画素として特定できる）。なお、第一及び第二画像データの非重なり領域は、指の側面部分に細く生ずる場合がある。しかし、このような側面部分は、「１」となる画素のＸ方向の連続個数が所定値未満となる場合に、それら画素列を「０」反転する処理を行なえば、簡単に除去することができる。

次に、図５のＳ１０７においては、上記のように抽出された各指先領域に対し、図４のＤに示すような収縮処理が施される。具体的には、値が「１」となっている全ての画素について、これと一定の隣接関係にある画素（具体的には、上下左右の４画素、さらには、斜め隣接する４画素をこれに加えた８画素）に、着目画素と値が反転関係にある画素が１個でも含まれていれば、当該画素の値を「０」反転する処理を行なう。該処理は、必要に応じて複数回繰り返し実施してもよい。

そして、収縮処理後は、画像データ上において個々の先端領域に分離する処理を行なう。すなわち、図８に示すように、画像を所定の方向（例えばｘ方向）に走査し、「１」となっている画素の途切れが一定数（例えば３ビット）以上生じたか否かにより、同一の先端領域であるか別の先端領域であるかを判別しながら、各画素にラベリング符号（本実施例では、１、２、３‥‥等の数字で表している）を施してゆく。なお、走査２列目以降は、「０」画素の検出状態から「１」画素の検出に転じた時に、その「１」画素を取り囲む例えば８つの画素のラベリング状態を判別し、既に認識済の画素のラベリング符号が検出されれば、これと同一のラベリング符号を施し、何も検出されなければ新たなラベリング符号を施すようにする。そして、異なるラベリング符号が付された画素集合同士は、異なる先端領域として認識することとなる。

次に、Ｓ１０８に進み、分離・特定された各先端領域が真の指先領域であるか否かの判定処理を行なう（指先判定処理）。基本となるのは、図７に示すごとく、特定された先端領域ｔａの指幅方向の寸法（以下、単に「幅」とも称する）Ｌが、一般的な大人の幅寸法を基準に定められた規定範囲（上限値Ｗ_ｔｈ１、下限値Ｗ_ｔｈ２）内に存在することを必要条件として、真の指先領域と判定する処理である。図１に示すように、インパネに配置されたモニタ（表示装置）１５を見ながら、車長方向にてその後方側（着座した乗員から見れば手前側）のセンターコンソールＣ上に配置されたタッチパネル１２ａの操作入力面１０２ａ、ひいては、該操作入力面１０２ａ上の操作者の手を下側から撮影する手撮影カメラ１２ｂの撮影範囲１０２ｂに対し、該撮影範囲１０２ｂの後方縁側から前方に挿入される。従って、手の挿入方向は横長長方形状の撮影範囲１０２ｂの長辺と直交する向き（つまり、Ｙ方向）に想定され、指幅方向は操作入力面１０２ａの面内において該手の挿入方向と直交する向き、すなわち、撮影範囲１０２ｂの長辺と一致する向き（つまり、Ｘ方向）に定められている。つまり、先端領域ｔａの幅はＸ方向、すなわち、撮影範囲１０２ｂの長辺方向に固定的に測定されるようになっている。

図６は、指先判定処理の詳細の一例を示すフローチャートである。
Ｓ１では、分離・特定された個々の先端領域ｔａの幅Ｗが特定される。具体的には、先端領域ｔａの個々の構成画素のＸ座標のうち、最小の値をＸ_ｍｉｎ、最大の値をＸ_ｍａｘとして、Ｗ＝Ｘ_ｍａｘ−Ｘ_ｍｉｎにより計算することができる。Ｓ１００２では、上記のように特定された先端領域ｔａの幅Ｗが前述の規定範囲内にあるか否かが判定される。タッチパネル１２ａはセンターコンソールＣ上に配置されているが、その脇に着座した運転者や助手席乗員はセンターコンソールＣをしばしば物置代わりに利用する。このとき、手以外の物品がタッチパネル１２ａの操作入力面１０２ａ、つまり、撮影範囲１０２ｂ内に置かれたれば、当然、該物品が乗員の手の代わりに撮影される。

図９の上段は手が撮影された場合の、中段は携帯電話が撮影された場合の、下段は書類が撮影された場合の、各二値化画像を示している。携帯電話や書類の画像輪郭は手の画像輪郭よりもはるかに単純であり、形態的にも明らかに異なるが、特許文献２のごとく、輪郭線に外接する楕円近似を行なえば、形態的に複雑な手の画像輪郭は、より単純な形状である楕円形態に還元されてしまうため、携帯電話や書類など、もともと単純な形状の物品との区別をつけにくい問題がある。他方、特許文献３のように、指腹輪郭を高次関数で近似する手法では、近似により得られる高次関数の係数等から真正な指輪郭であるか否かを一義的に判定することが困難である。また、特許文献４のように、撮影画像の外接矩形を複数個の副矩形領域に分割し、各副矩形の画像面積率により指先座標を求めなくてもよい像形状か否かを判定する方式では、手以外の物品が撮影された場合でも、その画像面積率が手像の場合の画像面積率と偶発的に一致した場合は、区別がもはや不可能である。

しかし、撮影取得される第一画像と、そのＹ方向への平行移動により得られる第二画像との差分画像として抽出される先端領域ｔａの幅Ｗを用いた判定方式を採用すると、図１０の左に示すごとく、書類や本などが置かれた場合は、抽出・特定される先端領域ｔａの幅Ｗは、一般的な大人の幅寸法を基準に定められた規定範囲の上限値Ｗ_ｔｈ１を明らかに上回るので、非指先領域として確実に判定が可能である。また、図１０の右に示す携帯電話の場合は、突出したアンテナ部分に由来する第一先端領域ｔａ_１の幅Ｗ１は、アンテナが指より明らかに細いため規定範囲の下限値Ｗ_ｔｈ２を下回り、指より広幅の本体部分に由来する第二先端領域ｔａ_２の幅Ｗ２は規定範囲の上限値Ｗ_ｔｈ１を上回るため非指先領域として判定することができる。

なお、真の手が画像検出されている場合にあって、伸ばした状態の指が１本ないし２本（例えば、人差し指のみ、あるいは人差し指と中指など）であり、残余の指が曲げられた状態（例えば拳状に握った状態）になっている場合、閉じられている部分の先端領域の幅が規定範囲の上限値Ｗ_ｔｈ１を超え、伸ばした状態の指については幅が規定範囲内となるようなこともありえる。従って、複数の先端領域が抽出されうる形状の物品に合っては、該複数の先端領域の少なくとも１つについて幅が規定範囲内となっていれば、該先端領域を真の指先領域として判定するように構成することが可能である。

次に、非指先領域でありながら、その幅Ｗが規定範囲内に収まっているために真の指先領域として誤認されうる形状の物品がタッチパネルの入力操作面１０２ａ上に置かれる場合がある。例えば、図１１のＡは貨幣が入力操作面１０２ａ上に置かれた場合の二値化画像の状態を示している。ＢのごとくＹ方向に後退移動し、Ｃのごとく差分画像を求め、Ｄのごとく収縮処理を施したとき、貨幣の寸法が指幅に近接しているために、収縮処理後の先端領域ｔａの幅Ｗは規定範囲内となり、このままでは指先領域として誤判定される。

指と貨幣の画像上の違いは、指の場合は、指基端側の画像領域が撮影範囲１０２ｂの後端縁（手挿入側の縁）まで伸びる形となるのに対し、貨幣の場合は撮影範囲１０２ｂ内に孤立した円形領域となり、その円形領域の後端縁と撮影範囲１０２ｂの後端縁との間が被写体の背景領域（つまり、「０」画素領域）となる点にある。そこで、撮影画像の総面積をＳ（図１１のＡにおいてＳ１＋Ｓ２＋Ｓ３）とし、個々の非重なり領域ｔａから、撮影範囲１０２ｂの後端縁までの合計距離をｄ（図１１のＡにおいてＨ１＋Ｈ２＋Ｈ３）として、Ｓ／ｄの値を指幅として推定すると、上記のような誤判定を効果的に回避することができる。すなわち、貨幣の場合は、撮影範囲１０２ｂの後端縁側に上記背景領域が介在するために総面積Ｓが減少する。従って、Ｓ／ｄにより演算された推定指幅値が規定範囲の下限値Ｗ_ｔｈ１未満となれば、これを非指先領域として除外することができる。図６のフローチャートでは、Ｓ１００５とＳ１００６とにおいて上記原理に基づく判定を行なっている。

次に、図６のＳ１００７では、Ｓ１００２及びＳ１００６において除外判定されなかった先端領域ｔａについて代表点を決定する。本実施形態では、領域の幾何学的な重心位置Ｇを代表点として用いる。演算方法は周知であり、例えば先端領域を構成する全画素のＸ座標値及びＹ座標値の各総和を求め。それぞれ画素の個数で除することにより重心位置Ｇの座標を計算できる。なお、重心位置Ｇではなく、例えばＹ座標値が最大となる画素を代表点として採用することも可能である。

なお、タッチパネルの入力操作面１０２ａに実際に接触するのは、指先端からＸ方向に少し下がった指腹付近の領域であるから、図４（ないし図１１）のＦでは、Ｅで計算された重心位置をＹ方向へ所定距離オフセットさせ、これを指先点Ｇとして決定する。ただし、Ｅの重心位置をそのまま指先点Ｇとして用いてもよく、この場合は該Ｆの処理は不要である。

次に、撮影範囲１０２ｂに対する手の位置関係によっては、差分画像を用いた上記アルゴリズムにより決定される代表点が、真の指先点に対応しないケースが生じうる。具体的には、図１２の左上に示すごとく、指先部分が撮影範囲１０２ｂの外にはみ出して位置する場合である。撮影範囲１０２ｂと、タッチパネルの入力操作面１０２ａと、モニタ１５の画面との対応座標範囲が互いに一致している場合は、図１２の右上に示すように、真の指先位置が撮影範囲１０２ｂ（ひいては、入力操作面１０２ａ及びモニタ１５の画面）の外周縁領域に収まっている場合と、指先部分が撮影範囲１０２ｂの外にはみ出し、真の指先部分が画像的に途切れている場合とのいずれにおいても、差分画像から特定される先端領域は上記外周縁領域に収まる形となる。そして、指先部分がはみ出す図１２左上の場合についても、指の画像の一部分であることに変わりはなく、領域幅が前記規定範囲内に収まる可能性が高いから、上記外周縁領域に生ずる先端領域を真の指先領域として誤認することにつながる。

そこで、本実施形態においては、図１３に示すように、撮影範囲１０２ｂの有効座標範囲の外周縁領域を表示外撮影領域１０２ｅとして、モニタ１５の表示画面にかかる有効座標範囲の外側に延出形成する構成が採用されている（なお、ここでは入力操作面１０２ａの有効座標範囲はモニタ１５の表示画面の有効座標範囲は互いに一致させてある）。

図１３の左に示すごとく、画面外にはみ出す指部分はこの表示外撮影領域１０２ｅ内に被写体領域を形成するので、差分画像に基づいて特定される先端領域ｔａひいてはその代表点にて特定される指先位置ｔｐもこの表示外撮影領域１０２ｅ内に生ずる。他方、図１３の右に示すごとく、真の指先が表示外撮影領域１０２ｅ内に入り込まず画面の外周縁領域にとどまる場合は、先端領域ｔａひいては指先位置ｔｐも画面内に生ずる。従って、先端領域ｔａが表示外撮影領域１０２ｅ内に存在している場合はこれを真の指先として認識せず（無効）、表示外撮影領域１０２ｅ内に存在していない場合は真の指先として認識する（有効）ように処理が可能である。例えば、図１４のように、複数の指先位置ｔｐが特定される場合も、それぞれ表示外撮影領域１０２ｅ内に存在するか否かに基づき、有効／無効の判定を個別に行なうことができる。図６のフローチャートでは、Ｓ１００８〜Ｓ１０１０において上記原理に基づく判定を行なっている。なお、手挿入側となる表示画面のＹ方向後端縁については、撮影範囲１０２ｂの後端縁と一致させ、表示外撮影領域１０２ｅを特に形成しない構成とすることも可能である。

なお、先端領域ｔａが真の指先領域であるか否かを判定するアルゴリズムには、上記以外にも種々の方式を採用することができる。例えば、第二画像を得るための第一画像のＹ方向平行移動距離を一般的な大人の指幅値よりも小さく設定した場合、第一画像と第二画像との差分画像として得られる先端領域ｔａは、Ｘ方向寸法Ｗ_Ｘ（つまり、幅）がＹ方向寸法Ｗ_Ｙよりも大きい横長の領域となりやすい。そこで、先端領域ｔａのＸ／Ｙアスペクト比φ（≡Ｗ_Ｘ／Ｗ_Ｙ）が規定範囲内にあるか否かに基づいて真の指先領域であるか否かを判定することが可能である。例えば、図１０左に示す紙や書類の場合はφが極度に大きくなり、同じく右に示す携帯電話のアンテナ（指より細い）については、Ｘ方向寸法Ｗ_Ｘが不足する分だけφの値も小さくなるので、いずれも非指先領域として除外することが可能である。

なお、指がＹ方向に対して傾いて挿入される場合を考慮し、図１６に示すように、先端領域ｔａに外接する平行線対を、角度を変えながら種々生成し、最大となる平行線間距離をＷ_ｍａｘ、最小となる平行線間距離をＷ_ｍｉｎとして、上記アスペクト比φをＷ_ｍａｘ／Ｗ_ｍｉｎにより算出するようにしてもよい。

また、図１７に示すように、撮影画像の被写体領域（「１」画素領域）の総面積をＳとし、特定された先端領域（非重なり領域）ｔａの個数をＮとして、Ｓ／Ｎの値を平均指面積として推定し、該Ｓ／Ｎが規定範囲内にあるか否かに基づいて、先端領域ｔａが真の指先領域であるか否かを判定することも可能である。これは特に、手が撮影されたとき被写体領域が主として指領域のみにより形成されるよう、撮影領域のＹ方向寸法が指先端側の一部分のみを包含可能な値に設定されている場合に有効な手法であるといえる。

図５に戻り、上記のごとくＳ１０８の指先判定処理が終了すれば、Ｓ１０９にて、特定された各先端領域のいずれが真の指先領域として判定されたかを調べ、Ｓ１１０において、該真の指先領域についてのみ代表点の座標（重心座標Ｇ）を（真の）指先位置として記憶し、真の指先領域でないものについては破棄ないし無効化する。以上で指先位置特定処理を終了する。

図１８は、各指先位置（Ｇ_１〜Ｇ_５）が、入力操作面１０２ａ、ひいては画像フレーム上にて座標特定された状態を示している。そして、該画像フレーム上の各指先点Ｇ_１〜Ｇ_５に、実指像とはデータ的に無関係な指示体画像を順次貼り込んで、指示体画像フレームを作成する。この指示体画像は、実指像ＦＩよりも相対的に狭幅となるように作成される。例えば、１８歳以上の日本人全体の指幅分布にて、平均値を中心として９０％の対象者が包含される範囲の下限値に相当する指幅の、例えば５０％以上８０％以下となるように指示体画像の幅寸法を設定しておけば（例えば、人差し指の場合は、第一関節位置での指実寸換算にて７ｍｍ以上１４ｍｍ以下）、子供を除くほとんど全ての操作者に対して、指示体画像を実指像よりも相対的に狭幅とすることができる。

他方、真の指先領域として判定されなかった先端領域については、指先位置として記憶されず、結果として指示体画像の貼込みもなされない。これにより、指以外の撮影物により誤検出された指先位置にも指示体画像が貼り込まれ、操作者としては撮影範囲１０２ｂ内に手を入れていないことを明らかに把握しているにもかかわらず、画面上に指画像が表れて違和感が大きくなってしまう問題が根本的に生じない。

なお、図１４に示すように、表示外撮影領域１０２ｅにはみ出した指については、図６のアルゴリズムでは先端領域が真の指先領域として判定されず、その指先位置ｔｐ’は無効となるから、指示体画像の貼込みもなされない。しかし、表示外撮影領域１０２ｅ内の指先位置ｔｐ’を有効として指示体画像を貼り込み、画面上では指先が欠けた状態で指示体画像を表示させるように構成することも可能である。

指示体画像としては、指の輪郭形状を模した模擬指画像を使用できる。単純なものとしては、図２０に示すように、指先部分の輪郭を示す円弧図形２０１と、残余の部分の輪郭を示す矩形図形２０２とを組み合わせた模擬指画像を例示できる。指先部分を円弧とすることで、その円弧の中心点２０１ｇを、上記指先点に合わせ込むべき指先位置として活用しやすい利点がある。また、模擬指画像よりもさらに単純な指示図形、例えばポインタに類した矢印状の図形を表示することも可能である。

一方、図２１に示すように、実際の指をより精密に模した指輪郭線を折れ線や曲線（例えば、Ｂスプライン曲線やベジェ曲線）により表現した指輪郭画像データＳＦ１〜ＳＦ５を使用してもよい。該指輪郭画像データＳＦ_１〜ＳＦ_５は、指輪郭に対応して配列する一連のハンドリング点ＨＰにより規定されるベクトルアウトラインデータとして構成できる。

また、指示体画像として、個々の指を分離した形で事前に取得された人の実指画像（例えば、操作者本人の指画像や、手専門のパーツモデルから取得したモデル指画像を採用できる）を使用することも可能である。この場合、指撮影画像から周知のエッジ検出処理により輪郭線を抽出し、これを近似するベクトルアウトラインデータを作成することにより、図２１と同様の指輪郭画像データＳＦ_１〜ＳＦ_５を得ることができる。また、図２２に示すように、指撮影画像を二値化したビットマップ図形データを指示体画像ＳＦとして用いてもよい（この場合は、指輪郭線の抽出は不要である）。

図１９の右に示すように、指示体画像ＳＦの先端部には予め定められた位置に指示体指先点Ｇ’が定められており、図１９の右に示すように、この指示体指先点Ｇ’を各指先点（Ｇ_１〜Ｇ_５）に合わせこむ形で、画像フレーム上に指示体画像ＳＦを貼り込んでゆくことになる。しかし、この貼り込みを行なうためには、指先位置Ｇ’のほかに指の方向を情報として特定する必要がある。そこで、図１８に示すように、画像フレーム（表示座標平面）上に指先点（Ｇ_１〜Ｇ_５）とは別に指方向規定点Ｗを設定し、該指方向規定点Ｗと指先点Ｇを結ぶ直線を指直線（Ｌ_１〜Ｌ_５）として定める演算を行なう。図１９に示すように、各指示体画像ＳＦ_１〜ＳＦ_５は、指先位置Ｇ’が指先点（Ｇ_１〜Ｇ_５）と一致し、かつ、決定された指直線（Ｌ_１〜Ｌ_５）に該指示体画像ＳＦの長手方向基準線（指示体画像ＳＦ_１〜ＳＦ_５毎に予め定められている）が一致するように貼り込まれ、指示体画像フレームが作成される。

手の各指骨は手首関節に向けて収束する形態に配列しているから、図１８において指方向規定点Ｗは、この手首に相当する手首規定点（以下、手首規定点Ｗとも記す）として規定されている。前述のごとく、入力操作面１０２ａ（撮影範囲）が、掌の指先側をなす一部分だけが収まるように寸法設定されており、かつ、撮影範囲に対して手前側から手を伸ばし入れる形で操作がなされるので、手首規定点Ｗは画面領域の下側に外れた形で設定される。図１８においては、Ｙ方向にて画面領域の下縁から一定長Ｙ_０だけ下側に離間した位置に手首規定点Ｗが設定されている。画面上の指先点（Ｇ_１〜Ｇ_５）のＹ座標とは無関係に、手首規定点ＷのＹ方向位置を画面領域の下縁を基準として固定的に定めるので、手首規定点Ｗの決定アルゴリズムが簡略化できる。図１８において手首規定点ＷのＸ座標は、撮影範囲（入力操作面１０２ａ及びモニタ１５の画面）のＸ方向寸法の中央に固定されている。なお、画面領域のＹ方向高さをＬとしたとき、Ｙ_０＋Ｌ／２の値は、例えば１００ｍｍ以上２００ｍｍ以下に調整するとよい。

こうして図１９のごとく作成された指示体画像フレームはグラフィックコントローラ１１０に転送され、別途取得されている入力画面画像フレームデータと合成され、モニタ１５に表示される。入力画面画像フレームデータと指示体画像フレームデータとを合成する方法としては、指示体画像ＳＦのデータ形態により次にような手法を採用することができる。
（１）指示体画像データがはじめからビットマップデータにより記述されている場合は、対応する画素同士のアルファブレンディング処理により、指示体画像を入力画面上に透かし形態で重ね表示することができる。
（２）指示体画像データがベクトルアウトラインデータで記述されている場合は、指示体画像フレーム上で該データを用いて指示体画像の輪郭線を生成し、さらにその内部をラスタライジングしてビットマップ化し、その後は（１）と同様のアルファブレンディング処理を行なう。
（３）指示体画像データをなすベクトルアウトラインデータを用いて入力画面画像フレーム上に輪郭線を描画し、その内部に位置する入力画面画像の画素を抽出するとともに、該抽出された画素の設定値を一律にシフトさせる。

（１）〜（３）のいずれにおいても、指示体画像データの輪郭線を形成する画素については、指示体画像データ側のブレンド比を高めることで、輪郭線の強調された指示体画像を重畳表示できる。また、指示体画像データを、ビットマップデータもしくはベクトルアウトラインデータで記述された輪郭線のみの画像データとし、輪郭線のみを重ね表示することも可能である。

図１に示すように、モニタ１５の画面は、運転席２Ｄないし助手席２Ｐに着座する操作者から見て、タッチパネル１２ａ上の指を直視する向きから外れて配置されているから、操作を行なう手元とモニタ１５との双方を同時に直視することができない。従って、操作者は画面上の指示体画像は手元操作位置を把握するための唯一の情報源となる。本発明においては、撮影画像上での実指像の状態とは無関係に、個々の指を示す指示体画像ＳＦを該実指像よりも細くした形で画面上に確実に表示することができ、ひいては、撮影された実指像がそのまま太く拡大表示されて操作性に支障をきたす不具合を効果的に解消することができる。

該効果は、図４あるいは図１８に一点鎖線で示すように、撮影範囲１０２ｂ（ひいては、タッチパネルの入力操作面１０２ａ）が縮小された場合に、さらに顕著となる。人差し指、中指及び薬指のうち、２本の全体が少なくとも撮影可能であり、４本の全体は撮影不能な大きさに設定されている場合、つまり、図２３に示すように、人差し指、中指、薬指及び小指の全てが入るのではなく、人差し指、中指、薬指の３本、あるいは、人差し指と中指（もしくは中指と薬指）の２本が入る大きさに設定されている場合がこれに該当する。

この場合、撮影範囲１０２ｂ（入力操作面１０２ａ）の寸法を具体的な数値で表すと、Ｘ方向寸法は、６０ｍｍ以上８０ｍｍ以下（例えば７０ｍｍ）、Ｙ方向寸法が３０ｍｍ以上５５ｍｍ以下（例えば、４３ｍｍ）である。撮影範囲に収まる指の数は２本であるが、図２４に破線で示すように、もし、撮影された実指像ＦＩを二値化しただけでそのままモニタ１５の画面領域に表示しようとすると、撮影範囲が縮小される分だけ２本の実指像ＦＩが大きく拡大されて表示されることとなる。モニタ１５には、五十音入力用のソフトキーボードＫＢが表示されているが、ソフトボタンＳＢの数は５０を超え、拡大された実指像ＦＩの幅方向には３個を超えるソフトボタンＳＢの画像が重なっている（つまり、このソフトキーボードＫＢの表示画面には、撮影画像上の実指像ＦＩを、画面領域上の対応する位置に座標上の寸法を保存しつつ仮想的に投影したとき、該実指像ＦＩの仮想投影領域に対しソフトボタンＳＢ画像が、指幅方向に複数（具体的には、２個を超える数で）包含される寸法ならびに配列間隔にて表示形成されている）。これでは、手指が狙ったソフトボタンに正しく向けられているのか否かが非常にわかりにくく、当然、狙ったボタンの隣を押し違えたりする不具合も生じやすい。

しかし、図２４に実線で示すように、この実指像ＦＩよりも狭幅化した指示体画像ＳＦでこれを置き換え表示すれば、指示体画像ＳＦの幅方向に重なるソフトボタンＳＢの数は２個ないし１個に減じられ、指示体画像ＳＦ付近のボタンの密集感が軽減され、画面上に複数配置されたソフトボタンＳＢのどれを操作しているのかを容易に把握できる。その結果、狙ったボタンの隣を押し違えたりするといった不具合も生じにくくなり、操作性が格段に向上することは明らかである。

以下、手首規定点の設定方式にかかる種々の変形例について説明する。
まず、Ｙ方向の入力位置が大きく変化しうる場合は、それに伴なう手首位置のＹ方向変化も考慮する必要がある。この場合、図２５に示すように、表示座標平面上にて手首規定点Ｗを、特定された指先点Ｇと予め定められた位置関係を有するものとなるように設定すると、指示体画像ＳＦの配置方向のリアリティをより高めることができる。具体的には、Ｙ方向にて画面領域内に特定された指先点Ｇから一定長Ｙ_２（例えば、Ｙ_２は１００ｍｍ以上２００ｍｍ以下である）だけ下側に離間した位置に手首規定点Ｗを設定するとよい。

次に、図１のような配置形態の操作部１２を、座席２Ｄないし座席２Ｐから手元操作しようとした場合を考える。着座状態で、体の左（運転席２Ｄの場合）ないし右（助手席２Ｐの場合）脇の操作部１２上に置いた手をＹ方向に移動する場合は、肩関節及び肘関節を動かしながら前方に伸ばした下椀部を前後に移動させる動作が中心となる。その結果、入力操作面１０２ａ上で撮影される掌の動きは、Ｙ方向にほぼ平行移動する形に近く、入力に関与する指の方向（角度）もそれほど大きくは変化しない。しかし、手をＸ方向に移動する場合は手首の回転動が主体的となり、入力操作面１０２ａ上で撮影される掌の動きは、掌中央付近の軸線周りに手を回転させる形態に近くなる。その結果、指入力に関与する指の方向（角度）は、手の回転角度に応じて変化することになる。

そこで、図２６に示すごとく、指方向を決める手首規定点ＷのＸ座標を指先点ＧのＸ座標に応じて変化させる方式を採用すれば、上記のような手の動きを反映させる上で好都合である。図２６においては、画面領域（撮影範囲）の下方に、基準手首位置を示す基準手首規定点Ｗ_０を固定的に定め、実指像ＦＩのＹ方向に対する傾斜角度θが大きくなるほど、基準手首規定点Ｗ_０からのＸ方向への変位量が大きくなるように手首規定点ＷのＸ座標値を決定することができる。

図２６においては、撮影範囲（入力操作面１０２ａ及びモニタ１５の画面）のＸ方向寸法の中央に基準手首規定点Ｗ_０のＸ座標を定め、また、既に特定された複数の指先点のうち、指先位置が最も上方に位置するもの（図２６では、中指に対応する指先点Ｇ_３）を基準として、そこから一定値Ｙ_２だけ下方へ移動した位置に基準手首規定点Ｗ_０のＹ座標を定めている。

上記のごとく、回転中心が掌の内側に存在する想定では、指先がＸ方向へ回転移動するに伴い、手首位置はその逆方向に回転移動することになる。そこで、方向に対し右上がり形態に傾斜している実指像ＦＩについては、Ｘ方向にて基準手首規定点Ｗ０に対し左側に変位するように手首規定点ＷのＸ座標値を決定し、Ｙ方向に対し左上がり形態に傾斜している実指像ＦＩについては、Ｘ方向にて基準手首規定点Ｗ０に対し右側に変位するように手首規定点ＷのＸ座標値を決定する。具体的には、指先位置が最も上方に位置する実指像ＦＩ（指先点Ｇ_３に対応）を代表実指像として用い、該実指像ＦＩのＹ方向に対する傾斜角度（時計回りを正方向として定義する）θを求める。該傾斜角度θは、例えば実指像ＦＩを構成する画素点に最小二乗法を適用して得られる直線の勾配から計算することができる。求めるべき手首規定点Ｗの基準手首規定点Ｗ_０からのＸ方向変位（あるいは、Ｘ座標値そのものであってもよい）を各種θの値毎に事前に定め、図３のＲＯＭ１０３に記憶しておけば、計算されたθに対応するＸ方向変位は、該テーブルから読み出すことで容易に決定できる。図２６においては、手首規定点ＷのＹ座標は、基準手首規定点Ｗ_０のＹ座標と常に等しくなるように定めてある。つまり、手首規定点Ｗは、角度θに応じて、基準手首規定点Ｗ_０を通ってＸ軸と平行な直線上を動く形で設定されている。ただし、円弧状の経路に沿って手首規定点Ｗを定めてもよい。

なお、代表実指像としては、撮影範囲のＸ方向（またはＹ方向）の中心に最も近いＸ座標（またはＹ座標）を指先点として有するものを採用してもよい。また、複数の指先点（Ｇ_１〜Ｇ_５）のＸ座標及びＹ座標を平均化して得られる点を代表指先点として用いる形で手首規定点Ｗを定めてもよい。また、指先位置が奇数個の場合は中央にある実指像の指先点を、偶数個の場合は中央に近い２つの実指像を採用して、それらの指先点のＸ座標及びＹ座標を平均化して得られる点を、それぞれ代表指先点として定める方式も可能である。

次に、実際の人の手では、各指骨は手首位置でも当然個別の幅を有しており、手首関節に対しＸ方向に互いに異なる位置に接続することとなる。そこで、図２７に示すように、複数の指先点Ｇ_１〜Ｇ_５について独立な手首規定点Ｗ_１〜Ｗ_５を決定し、指示体画像の配置方向を、各指先点Ｇ_１〜Ｇ_５について対応する手首規定点Ｗ_１〜Ｗ_５を用いて決定することができる。具体的には、基準手首規定点Ｗ_０よりもＸ方向右側に位置している指先点Ｇ_１，Ｇ_２については、Ｘ座標が基準手首規定点Ｗ_０よりも右側に位置するように対応する手首規定点Ｗ_１，Ｗ_２を設定し、基準手首規定点Ｗ_０よりもＸ方向左側に位置している指先点Ｇ_３，Ｇ_４，Ｇ_５については、Ｘ座標が基準手首規定点Ｗ_０よりも左側に位置するように対応する手首規定点Ｗ_３，Ｗ_４，Ｗ_５を設定している。

なお、基準手首規定点Ｗ_０に対するＸ方向変位（ｈ１〜ｈ５）の大きい指先点ほど、対応する手首規定点のＸ座標は基準手首規定点Ｗ_０からのＸ方向への変位が大きくなるように定められている。具体的には、指先点の基準手首規定点Ｗ_０に対するＸ方向変位に一定の倍率係数ｋ（例えば、０．１≦ｋ≦０．３）を乗じた値を、手首規定点ＷのＸ座標にかかる基準手首規定点Ｗ_０からのＸ方向変位として算出している。

なお、撮影範囲１０２ｂあるいは入力操作面１０２ａが十分に大きい場合には、図２８に示すように、手撮影カメラ１２ｂが撮影する手の輪郭画像ＳＦ’をモニタ１５の画面上に重畳表示するようにしてもよい。この場合、画像上の先端領域を上記実施形態と同様に特定し、該先端領域が真の指先領域を示すものでなければ、手撮影カメラ１２ｂの撮影画像をモニタ１５の画面上に重畳する処理を回避するように構成できる。これにより、モニタ１５に手以外の物品が重畳表示されてしまう不具合を効果的に防止できる。

また、図２９は、操作者の手を手撮影カメラ１２ｂの撮影範囲１０２ｂに対し、挿入方向をガイド方向として該ガイド方向に規制しつつ挿入させる手ガイド部を設けた操作装置の構成例を示すものである。前述の先端領域（非重なり領域）の幅寸法は、そのガイド方向と直交する向きの寸法として規定される。図２０は、その入力部１２を拡大して示すものであり、筐体１２ｄの上面に、操作者の掌を乗せるためのパームレスト部１２ｐが形成されている。パームレスト部１２ｐの上面は、車両の前後方向（つまり、Ｙ方向）において中間が上向きに膨出した凸曲面状のガイド面１２０ｐとされ、手の掌長方向をＹ方向に一致させるように規制する働きをなす。そして、図２９に示すように、ガイド面１２０ｐ上に手を載せたとき、指の先端側部分がタッチパネル１２ａにかかるように（つまり、指の先端側部分が撮影されるように）、該ガイド面１２０ｐの先端側に続く形でタッチパネル１２ａが配置されている。また、ガイド面１２０ｐのＸ方向における両縁には、Ｙ方向に伸びるガイドリブ１２０ｑが形成されており、ガイド面１２０ｐ上の手指がタッチパネル１２ａつまり撮影範囲に対しＹ方向に規制しつつ挿入されるようになっている。これらガイド面１２０ｐとガイドリブ１２０ｑとが前述の手ガイド部を形成している。撮影範囲の寸法は図２３に示すものと同様である。

以上、本発明の画像表示装置を車載用電子機器の操作装置に適用した例について説明したが、本発明はこれに限定されるものではなく、例えば、パーソナルコンピュータ用のＧＵＩ入力デバイスなどにも適用可能である。

１ 操作装置
１０ 操作ＥＣＵ
１２ 入力部
１２ａ タッチパネル（撮影距離規制手段）
１２ｂ 手撮影カメラ（撮影装置）
１５ モニタ（表示装置、指先点座標出力手段）
１０１ ＣＰＵ（先端抽出手段、画像先端位置特定手段、指先判定手段）
ＳＦ 指示体画像
ｔａ 先端領域
Ｇ 重心位置（指先点）

Claims (31)

1. 撮影範囲に対し予め定められた挿入方向に挿入される操作者の手を撮影する撮影装置と、
   前記撮影画像の前記挿入方向における先端領域を抽出する先端抽出手段と、
   前記撮影範囲における前記先端領域の位置を画像先端位置として特定する画像先端位置特定手段と、
   前記先端領域の寸法及び面積の少なくともいずれかに基づいて、前記画像先端位置が真の指先点を示すものであるか否かを判定する指先判定手段と、
   前記先端位置が前記真の指先点と判定された場合に、前記先端位置の座標を前記真の指先点の座標として出力する指先点座標出力手段と、を備え、
   前記先端抽出手段は、前記撮影画像を第一画像とし、該第一画像を前記挿入方向に平行移動して得られる画像を第二画像として、前記挿入方向の先端側に生ずる、それら第一画像と第二画像との非重なり領域を前記先端領域として抽出するとともに、前記撮影範囲内に複数本の指が挿入されることにより、前記第一画像と前記第二画像との前記非重なり領域が複数分離して特定された場合に、それら複数の非重なり領域を、それぞれ前記指先領域の候補として抽出するものであり、
   前記指先判定手段は、前記撮影画像の総面積をＳとし、個々の前記非重なり領域から、前記撮影範囲の前記手の挿入側に位置する縁までの合計距離をｄとして、Ｓ／ｄの値を指幅として推定し、該Ｓ／ｄが規定範囲内にあるか否かに基づいて、前記非重なり領域が真の指先領域であるか否かを判定することを特徴とする操作装置。
2. 前記撮影装置は、前記撮影範囲に対し掌面を下向きにして水平方向前方に差し出される前記手を下側から撮影するものである請求項１記載の操作装置。
3. 前記手の撮像側表面に照明光を投射する照明手段が設けられ、前記撮影装置は、前記照明光の前記手による反射光に基づいて前記手像を撮影するものである請求項２記載の操作装置。
4. 前記画像先端位置座標特定手段は、前記非重なり領域として特定される前記先端領域の位置を前記先端位置として特定するものである請求項１ないし請求項３のいずれか１項に記載の操作装置。
5. 前記指先判定手段は、抽出された前記先端領域をなす前記非重なり領域の寸法又は面積が規定範囲内にあるか否かに基づいて、該非重なり領域が真の指先領域であるか否かを判定するものである請求項１ないし請求項４のいずれか１項に記載の操作装置。
6. 前記操作者の手を前記撮影範囲に対し、前記挿入方向をガイド方向として該ガイド方向に規制しつつ挿入させる手ガイド部が設けられ、
   抽出された前記非重なり領域の、前記ガイド方向と直交する向きの寸法を幅寸法として、前記指先判定手段は該幅寸法が規定範囲内にあるか否かに基づき、前記先端領域が真の指先領域であるか否かを判定するものである請求項５記載の操作装置。
7. 前記指先判定手段は、前記撮影画像の総面積をＳとし、前記非重なり領域の個数をＮとして、Ｓ／Ｎの値を平均指面積として推定し、該Ｓ／Ｎが規定範囲内にあるか否かに基づいて、前記非重なり領域が真の指先領域であるか否かを判定するものである請求項１ないし請求項６のいずれか１項に記載の操作装置。
8. 前記撮影範囲と座標対応関係を有する画面領域を備えた表示装置と、
   前記画面領域にて、判定された前記真の指先点を識別可能に表示する指先点表示手段を備える請求項１ないし請求項７のいずれか１項に記載の操作装置。
9. 前記指先点表示手段は、前記撮影画像とは別に用意された指示体画像データに基づき前記真の指先点を指示する指示体画像を前記画面領域に表示し、かつ、前記真の指先点と判定されなかった前記先端位置には前記指示体画像を表示しない指示体画像表示手段を備える請求項８記載の操作装置。
10. 前記指示体画像表示手段は、前記指示体画像として、前記撮影画像に含まれる実指像よりも狭幅となるものを表示する請求項９記載の操作装置。
11. 前記指示体画像として、指の輪郭形状を模した模擬指画像又は個々の指を分離した形で撮影取得された人の実指画像が使用される請求項１０記載の操作装置。
12. 撮影対象となる手までの前記撮影装置による撮影距離を一定に規制する撮影距離規制手段を有し、
    前記撮影装置の前記撮影範囲は、前記撮影距離が規制された状態において、各指を伸ばして広げた状態の平均的な大人の掌の、人差し指、中指、薬指及び小指が形成する掌前端部の一部の指のみが撮影可能となる大きさに設定されてなる請求項１１記載の操作装置。
13. 前記撮影範囲は、前記人差し指、中指及び薬指のうち、２本の全体が少なくとも撮影可能であり、４本の全体は撮影不能な大きさに設定されてなる請求項１２記載の操作装置。
14. 前記撮影範囲は、前記掌の幅方向に長手方向が一致する長方形状に定められており、その長辺方向寸法が６０ｍｍ以上８０ｍｍ以下、短辺方向寸法が３０ｍｍ以上５５ｍｍ以下に調整されてなる請求項１２又は請求項１３に記載の操作装置。
15. 前記表示装置は、前記位置入力装置の入力座標平面上に設定されたボタン操作領域に対応するソフトボタン画像を、前記画面領域の対応する座標位置に表示するものであり、
    前記撮影画像上の前記実指像を、前記画面領域上の対応する位置に座標上の寸法を保存しつつ仮想的に投影したとき、該実指像の仮想投影領域に対し前記ソフトボタン画像は、指幅方向に複数包含される寸法ならびに配列間隔にて表示形成されてなる請求項１４記載の操作装置。
16. 前記撮影距離規制手段は、前記撮影装置に対し一定の位置関係を充足するように固定配置され、撮影対象となる前記手を一方の板面側にて支持する透明支持板を有し、前記撮影装置は、前記透明支持板の他方の板面側から該透明支持板を介して前記手を撮影するものである請求項１２ないし請求項１５のいずれか１項に記載の操作装置。
17. 前記透明支持板は、前記板面に沿って前記画面領域に対応する入力座標系が設定されたタッチ式位置入力装置を構成するものであり、
    前記指先点座標出力手段は、前記先端位置が前記真の指先点と判定された場合に、少なくとも前記タッチ式位置入力装置がタッチ入力を検出していない状態において、該先端位置の座標を前記指先点の座標として出力するものである請求項１６記載の操作装置。
18. 前記撮影範囲は、前記画面領域に対応する画面対応領域と、該画面対応領域の外周縁に沿って外側に所定幅で形成される画面外領域とを有し、
    前記指先点座標出力手段は、前記画像先端位置座標特定手段による前記撮影画像の前記先端位置座標が前記画面対応領域内に位置することを条件として、前記先端位置の座標を前記指先点の座標として出力するものである請求項１７記載の操作装置。
19. 前記指示体画像表示手段は、
    前記画面領域への前記指示体画像の表示位置を規定する表示座標平面上に指方向規定点を設定する指方向規定点設定手段と、
    設定された指方向規定点と前記指先点とに基づいて前記指示体画像の配置方向を決定する指示体配置方向決定手段とを備え、
    前記指示体画像の先端部の位置が前記指先点と一致し、かつ、決定された前記配置方向に該指示体画像の長手方向が沿うように、該指示体画像を前記画面領域上に表示する請求項９ないし請求項１８のいずれか１項に記載の操作装置。
20. 前記指方向規定点設定手段は、前記指方向規定点を、手首位置を想定した手首規定点として前記画面領域外に設定する請求項１９に記載の操作装置。
21. 前記画面領域に前記指を含む掌の画像が、該画面領域の下側に手首位置が外れる位置関係にて表示されるものであり、
    前記指方向規定点設定手段は、前記表示座標平面上にて前記画面領域の上下方向をＹ方向とし、これと直交する方向をＸ方向として、前記Ｙ方向にて前記画面領域の下縁から一定長下側に離間した位置に前記手首規定点を設定する請求項２０記載の操作装置。
22. 前記指方向規定点設定手段は、前記表示座標平面上にて前記手首規定点を、特定された前記指先点と予め定められた位置関係を有するものとなるように設定する請求項２１記載の操作装置。
23. 前記画面領域に前記指を含む掌の画像が、該画面領域の下側に手首位置が外れる位置関係にて表示されるものであり、
    前記指方向規定点設定手段は、前記表示座標平面上にて前記画面領域の上下方向をＹ方向とし、これと直交する方向をＸ方向として、前記Ｙ方向にて前記画面領域内に特定された前記指先点から一定長下側に離間した位置に前記手首規定点を設定する請求項２２記載の操作装置。
24. 前記指方向規定点設定手段は、前記指先点のＸ座標に応じて前記手首規定点を、該手首規定点のＸ座標が可変となるように設定する請求項１９ないし請求項２３のいずれか１項に記載の操作装置。
25. 前記画面領域の下方に基準手首規定点が固定的に定められ、前記指方向規定点設定手段は、前記原指像の前記Ｙ方向に対する傾斜角度が大きくなるほど、前記基準手首規定点からのＸ方向への変位量が大きくなるように前記手首規定点のＸ座標値を決定する請求項２４記載の操作装置。
26. 前記指方向規定点設定手段は、前記Ｙ方向に対し右上がり形態に傾斜している前記原指像については、前記Ｘ方向にて前記基準手首規定点に対し左側に変位するように前記手首規定点のＸ座標値を決定し、前記Ｙ方向に対し左上がり形態に傾斜している前記原指像については、前記Ｘ方向にて前記基準手首規定点に対し右側に変位するように前記手首規定点のＸ座標値を決定する請求項２５記載の操作装置。
27. 前記指先点が前記画面領域上に複数特定された場合に、前記指方向規定点設定手段は、各指先点について共通の前記手首規定点を決定するものである請求項２０ないし請求項２６のいずれか１項に記載の操作装置。
28. 前記画面領域の下方に基準手首規定点が固定的に定められ、前記指先点が前記画面領域上に複数特定された場合に、前記指方向規定点設定手段は、前記画面領域上にて前記Ｙ方向における最も上側に指先点が位置する原指像を代表原指像として用い、該代表原指像の前記Ｙ方向に対する傾斜角度が大きくなるほど、前記基準手首規定点からのＸ方向への変位量が大きくなるように前記手首規定点のＸ座標値を決定する請求項２７記載の操作装置。
29. 前記指先点が前記画面領域上に複数特定された場合に、前記指方向規定点設定手段は、前記手首規定点を各指先点について独立に決定するものであり、前記指示体画像の前記配置方向が、各指先点について対応する手首規定点を用いて決定される請求項２０ないし請求項２８のいずれか１項に記載の操作装置。
30. 前記指方向規定点設定手段は、前記基準手首規定点よりもＸ方向右側に位置している前記指先点については、前記手首規定点のＸ座標を前記基準手首規定点よりも右側に設定し、前記基準手首規定点よりもＸ方向左側に位置している前記指先点については、前記手首規定点のＸ座標を前記基準手首規定点よりも左側に設定する請求項２９記載の操作装置。
31. 前記指方向規定点設定手段は、前記基準手首規定点に対するＸ方向変位の大きい前記指先点ほど、前記基準手首規定点からのＸ方向への変位が大きくなるように前記手首規定点を設定する請求項３０記載の操作装置。