JP4626658B2 - 表示装置、撮像装置および位置検出装置 - Google Patents

Description

本発明は、指やペンなどの検出対象物が接触した位置を検出する機能を備えた表示装置、撮像装置および位置検出装置に関する。

従来から、指やペンなどの検出対象物が表示装置の表示面に接触した位置を検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして抵抗膜方式が挙げられる。この方式では、パネル表面が、例えば、互いに対向するガラスとフィルムとの間に非常に小さなスペーサを挟み込んだ積層構造となっており、ガラスおよびフィルムの互いに向かい合う面に、透明な電極格子が設けられている。そして、指やペンでフィルムの表面に接触することで、フィルムがたわみ、フィルム面の透明電極とガラス面の透明電極とが互いに接触し、電流が流れるので、ガラス面、フィルム面それぞれの透明電極の抵抗による分圧比を測定することで、指やペンの位置を検出することができる。したがって、このようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。

しかし、このタイプのタッチパネルでは、位置情報を検出させるために指やペンを、パネルに圧力をかけて押す必要がある。そのため、押す力が弱いと正しく検出されないという問題があった。

そこで、最近では表示面上にこのようなタッチパネルを別途設けることなく、検出対象物の位置を検出することを可能とする技術が各種提案されている。例えば、特許文献１では、液晶表示ディスプレイにおいて、表示画素に隣接して受光素子を配置し、表示（発光）が休止した期間に、受光素子で受光を行うことが提案されている。このような表示装置を利用すれば、取り込んだ映像に基づいて、検出対象物の位置を検出することが可能である。したがって、このような表示装置を利用することで、表示面上にタッチパネルなどの部品を別途設けることなく、簡易な構成で検出対象物の位置を検出することが可能となる。

しかし、このような表示装置において検出対象物の映像などを取り込む際には、受光する光の輝度は、周囲の環境（明るさ）に左右されることとなる。そのため、特に、携帯用の電子機器などのように、周囲の環境が変化し易い表示装置に対して、検出対象物の位置などを検出する機能を持たせた場合には、周囲が暗い状況下と、周囲が明るい状況下では、受光条件が大きく異なり、均一の受光条件で検出対象物の位置などを検出するのは困難であった。

そこで、例えば、特許文献１では、液晶表示ディスプレイにおいて、表示面に検出対象物を近づけたり接触させたりしたときの撮像データの黒白の経時変化を検出し、かつ周囲の明るさを考慮に入れて検出対象物の位置を特定する方策が提案されている。また、この特許文献１では、ペンなどのように先の細いものを表示面に近づけたり接触させたりする場合には、撮像データの黒白の経時変化があまり大きくならないことを考慮して、ペン先を柔らかい材料で構成し、ペンが表示面に接触したときにペン先がつぶれて接触面積が変化する方策も提案されている。

特開２００４−３１８８１９号公報

しかし、上記特許文献１の方策では、撮像データの黒白の経時変化を検出することにより、検出対象物の位置を特定しているので、ペンなどのように先の細いもので表示面をなぞって文字や絵を書き込む際には、上記したような特殊なペンを用いなければならず、簡易性が損なわれるという問題があった。

本発明はかかる問題点に鑑みてなされたものであり、その目的は、簡易性を損なうことなく、ペンなどのように先の細いもので表示面をなぞって文字や絵を書き込むことの可能な表示装置、撮像装置および位置検出装置を提供することにある。

本発明の第１の表示装置は、画像の表示と受光とを同時または交互に行う装置であり、発光させて表示面に画像を表示させる複数の発光セルおよび表示面側から入射した光の受光を行う複数の受光セルを有するパネル部を備えている。この表示装置は、さらに、複数の受光セルから得られた撮像画像またはこの撮像画像に対して所定の処理がなされた画像のいずれか一方の各画素データの中からピーク値を検出すると共にこのピーク値を有するピーク画素の位置を検出するピーク検出部と、ピーク画素の画素データと、ピーク画素の周辺画素の画素データとの差分、または、ピーク画素の画素データを上記差分で除算することにより得られる取得値が第１閾値よりも大きい場合には表示面に検出対象物が接触していると判定し、上記差分または上記取得値が第１閾値以下の場合には表示面に検出対象物が接触していないと判定する判定部と、ピーク検出部における検出結果および判定部における判定結果を利用して表示面に接触する検出対象物の、表示面上の位置を導出する位置導出部とを備えている。

本発明の第１の撮像装置は、接触面側から入射した光の受光を行う複数の受光セルを有する第１パネル部を備えたものである。この撮像装置は、さらに、複数の受光セルから得られた撮像画像またはこの撮像画像に対して所定の処理がなされた画像のいずれか一方の各画素データの中からピーク値を検出すると共にこのピーク値を有するピーク画素の位置を検出するピーク検出部と、ピーク画素の画素データと、ピーク画素の周辺画素の画素データとの差分、または、ピーク画素の画素データを上記差分で除算することにより得られる取得値が第１閾値よりも大きい場合には接触面に検出対象物が接触していると判定し、上記差分または上記取得値が第１閾値以下の場合には接触面に検出対象物が接触していないと判定する判定部と、ピーク検出部における検出結果および判定部における判定結果を利用して接触面に接触する検出対象物の、接触面上の位置を導出する位置導出部とを備えている。
本発明の第１の位置検出装置は、表示面に画像を表示すると共に画像を取得することの可能なパネル部において取得した取得画像またはこの取得画像に対して所定の処理がなされた画像のいずれか一方の各画素データの中からピーク値を検出すると共にこのピーク値を有するピーク画素の位置を検出するピーク検出部と、ピーク画素の画素データと、ピーク画素の周辺画素の画素データとの差分、または、ピーク画素の画素データを上記差分で除算することにより得られる取得値が第１閾値よりも大きい場合には表示面に検出対象物が接触していると判定し、上記差分または上記取得値が第１閾値以下の場合には表示面に検出対象物が接触していないと判定する判定部と、ピーク検出部における検出結果および判定部における判定結果を利用して表示面に接触する検出対象物の、表示面上の位置を導出する位置導出部とを備えている。
本発明の第２の位置検出装置は、画像を取得することの可能なパネル部において取得した取得画像またはこの取得画像に対して所定の処理がなされた画像のいずれか一方の各画素データの中からピーク値を検出すると共にこのピーク値を有するピーク画素の位置を検出するピーク検出部と、ピーク画素の画素データと、ピーク画素の周辺画素の画素データとの差分、または、ピーク画素の画素データを上記差分で除算することにより得られる取得値が第１閾値よりも大きい場合には表示面に検出対象物が接触していると判定し、上記差分または上記取得値が第１閾値以下の場合には表示面に検出対象物が接触していないと判定する判定部と、ピーク検出部における検出結果および判定部における判定結果を利用して表示面に接触する検出対象物の、表示面上の位置を導出する位置導出部とを備えている。

本発明の第１の表示装置および第１の撮像装置ならびに本発明の第１および第２の位置検出装置では、判定部において、ピーク画素の画素データと、ピーク画素の周辺画素の画素データとの差分、または、ピーク画素の画素データを上記差分で除算することにより得られる取得値が第１閾値よりも大きい場合には表示面（接触面）に検出対象物が接触していると判定がされ、上記差分または上記取得値が第１閾値以下の場合には表示面（接触面）に検出対象物が接触していないと判定される。ここで、上記差分の大きさは、ピーク画素とその周辺画素との間の画素データの傾き（ピーク周辺傾き）の大きさに比例し、このピーク周辺傾きの大きさは、表示面（接触面）に接触する検出対象物の像（検出対象物が表示面（接触面）に接触している時に得られる撮像画像内に現れる検出対象物の像）の大きさに反比例するので、表示面（接触面）に接触する検出対象物の像が大きい場合には上記差分は小さくなり、表示面（接触面）に接触する検出対象物の像が小さい場合には上記差分は大きくなる。したがって、第１閾値を、検出対称物の像として予想される大きさに応じて適切に設定しておくことにより、上記差分と第１閾値との大小関係、または、上記取得値と第１閾値との大小関係から検出対称物の、表示面（接触面）上への接触・非接触を判定することが可能となる。

本発明の第２の表示装置は、画像の表示と受光とを同時または交互に行う装置であり、発光させて表示面に画像を表示させる複数の発光セルおよび表示面側から入射した光の受光を行う複数の受光セルを有するパネル部を備えている。複数の受光セルは、検出対称物の像として予想される大きさ当りに含まれる数が少なくとも４つとなるように配置されている。この表示装置は、さらに、複数の受光セルから得られた撮像画像またはこの撮像画像に対して所定の処理がなされた画像のいずれか一方の各画素データの中からピーク値を検出すると共にこのピーク値を有するピーク画素の位置を検出するピーク検出部と、ピーク画素と、ピーク画素の周辺画素とを含む画素領域において、各画素データの値が第１閾値を超える画素数（超越数）が、検出対称物の像として予想される大きさ当りに含まれる受光セルの数（予想数）以上となっている場合には表示面に検出対象物が接触していると判定し、上記超越数が上記予想数を下回っている場合には前記表示面に検出対象物が接触していないと判定する判定部と、この判定部における結果（検出結果および判定結果）を利用して表示面に接触する検出対象物の、表示面上の位置を導出する位置導出部とを備えている。

本発明の第２の撮像装置は、接触面側から入射した光の受光を行う複数の受光セルを有する第１パネル部を備えたものである。複数の受光セルは、検出対称物の像として予想される大きさ当りに含まれる数が少なくとも４つとなるように配置されている。この撮像装置は、さらに、複数の受光セルから得られた撮像画像またはこの撮像画像に対して所定の処理がなされた画像のいずれか一方の各画素データの中からピーク値を検出すると共にこのピーク値を有するピーク画素の位置を検出するピーク検出部と、ピーク画素と、ピーク画素の周辺画素とを含む画素領域において、各画素データの値が第１閾値を超える画素数（超越数）が、検出対称物の像として予想される大きさ当りに含まれる受光セルの数（予想数）以上となっている場合には接触面に検出対象物が接触していると判定し、上記超越数が上記予想数を下回っている場合には接触面に検出対象物が接触していないと判定する判定部と、この判定部における結果（検出結果および判定結果）を利用して接触面に接触する検出対象物の、接触面上の位置を導出する位置導出部とを備えている。

本発明の第２の表示装置および第２の撮像装置では、上記超越数が上記予想数以上となっている場合には接触面に検出対象物が接触していると判定され、上記超越数が上記予想数を下回っている場合には接触面に検出対象物が接触していないと判定される。ここで、上記予想数の大きさは、表示面（接触面）に接触する検出対象物の像（検出対象物が表示面（接触面）に接触している時に得られる撮像画像内に現れる検出対象物の像）の大きさに比例するので、表示面（接触面）に接触する検出対象物の像が大きい場合には上記予想数も大きくなり、表示面（接触面）に接触する検出対象物の像が小さい場合には上記予想数も小さくなる。したがって、上記予想数および第１閾値を、検出対称物の像として予想される大きさに応じて適切に設定しておくことにより、上記超越数と上記予想数との大小関係から検出対称物の、表示面（接触面）上への接触・非接触を判定することが可能となる。

本発明の第１の表示装置および第１の撮像装置ならびに本発明の第１および第２の位置検出装置によれば、上記差分と第１閾値との大小関係、または、上記取得値と第１閾値との大小関係から検出対称物の、表示面（接触面）上への接触・非接触を判定するようにしたので、検出対象物がペンなどのように先の細いものであったとしても、検出対称物の、接触時の表示面（接触面）上の位置を容易に検知することができる。これにより、ペンが表示面に接触したときにペン先がつぶれて接触面積が変化するような特殊なペンを用いる必要がなくなるので、簡易性を損なうことなく、ペンなどのように先の細いもので表示面（接触面）をなぞって文字や絵を書き込むことができる。

本発明の第２の表示装置および第２の撮像装置によれば、上記超越数と上記予想数との大小関係から検出対称物の、表示面（接触面）上への接触・非接触を判定するようにしたので、検出対象物がペンなどのように先の細いものであったとしても、検出対称物の、接触時の表示面（接触面）上の位置を容易に検知することができる。これにより、ペンが表示面に接触したときにペン先がつぶれて接触面積が変化するような特殊なペンを用いる必要がなくなるので、簡易性を損なうことなく、ペンなどのように先の細いもので表示面（接触面）をなぞって文字や絵を書き込むことができる。

以下、本発明を実施するための最良の形態（以下、単に実施の形態という。）について、図面を参照して詳細に説明する。

[第１の実施の形態]
図１は、本発明の第１の実施の形態に係る表示装置の全体構成を表すものである。この表示装置は、表示部１と、コントローラ２０と、表示信号生成部２１と、表示信号保持制御部２２と、表示信号ドライバ２３（発光セル駆動部）と、発光用スキャナ２４と、受光用スキャナ３１と、受光信号レシーバ３２と、受光信号保持部３３と、位置検出部３４とを備えている。この表示装置は、画像の表示と受光とを同時または交互に行うことの可能なものであり、表示データ２０Ａ（後述）に基づく画像を表示部１に表示すると共に、この表示部１に接触または近接する物体（検出対象物）の位置を検出するものである。

表示部１は、複数の各画素１１が表示部１の全面に渡ってマトリクス状に配置されたＬＣＤ（Liquid Crystal Display）からなり、後述するように線順次動作をしながら所定の図形や文字などの画像を表示するものである。

図２は、各画素１１の構成の一例を平面図で表したものである。各画素１１は、可視光を発する発光セル１２と、表示面１０（後述の図３参照）側から入射した光を受光する受光セル１３とにより構成されている。発光セル１２は、赤色発光する赤色発光セル１２Ｒと、緑色発光する緑色発光セル１２Ｇと、青色発光する青色発光セル１２Ｂとを有している。赤色発光セル１２Ｒは、赤色発光する部分である赤色発光素子１４Ｒと、この赤色発光素子１４Ｒを駆動するＴＦＴ（Thin Film Transistor）回路部１５Ｒとを有している。同様に、緑色発光セル１２Ｇは、緑色発光する部分である緑色発光素子１４Ｇと、この緑色発光素子１４Ｇを駆動するＴＦＴ回路部１５Ｇとを有している。また、青色発光セル１２Ｂは、青色発光する部分である青色発光素子１４Ｂと、この青色発光素子１４Ｂを駆動するＴＦＴ回路部１５Ｂとを有している。一方、受光セル１３は、可視光または非可視光を受光する部分である受光素子１６と、この受光素子１６を駆動する受光センサ回路部１７とを有している。受光素子１６は、例えばフォトダイオードなどから構成されている。なお、これら赤色発光素子１４Ｒ、緑色発光素子１４Ｇおよび青色発光素子１４ＢとＴＦＴ回路部１５との接続関係、ならびにＴＦＴ回路部１５と前述の表示信号ドライバ２３、発光用スキャナ２４、受光用スキャナ３１および受光信号レシーバ３２との接続関係の詳細については後述（図４）する。

図３は、図２におけるＡ−Ａ部分の矢視断面図であり、表示部１の断面構成の一例を表したものである。この表示部１は、光源１００上に、各発光素子（赤色発光素子１４Ｒ、緑色発光素子１４Ｇおよび青色発光素子１４Ｂ）を構成する積層構造を有するパネル部１１０を備えたものである。このパネル部１１０は、いわゆる液晶表示パネルであり、具体的には光源１００側から、偏光板１０１Ａと、透明基板１０２Ａと、回路部１０３と、絶縁層１０４と、透明画素電極１０５Ａと、液晶層１０６と、透明電極１０５Ｂと、カラーフィルタ１０７と、選択透過フィルタ１０８と、ブラックマトリクス１０９と、透明基板１０２Ｂと、偏光板１０１Ｂとから構成されている。すなわち、これら各発光素子（赤色発光素子１４Ｒ、緑色発光素子１４Ｇおよび青色発光素子１４Ｂ）は互いに対向する透明基板１０２Ａ，１０２Ｂの間に液晶層１０６を設けた液晶表示パネル内に設けられている。

光源１００は、可視光領域の光を上記した液晶素子へ向けて発するバックライトを有している。なお、受光素子１６が非可視光を主として受光する場合には、光源１００は、可視光領域の光を発するバックライトの他に、非可視光領域の光を上記した液晶素子へ向けて発するバックライトも有している。また、透明基板１０２Ａ，１０２Ｂは、いずれも、例えばガラス材料により構成されている。ただし、これら１０２Ａ，１０２Ｂをガラス材料の代わりに、透明なプラスチック材料などから構成してもよい。

回路部１０３は、図２に示したＴＦＴ回路部１５や受光素子回路部１７に対応する部分であり、各透明画素電極１０５Ａと電気的に接続されている。また、透明画素電極１０５Ａは各発光素子に配置されており、例えばＩＴＯ（Indium Tin Oxide；酸化インジウムスズ）などの透明材料から構成される。一方、透明電極１０５Ｂは透明電極１０５Ａと対向する共通電極であり、透明電極１０５Ａと同様に例えばＩＴＯなどの透明材料から構成される。また、絶縁層１０４は、各回路部１０３の間に形成されている。このような構成により、これら透明電極１０５Ａ，１０５Ｂ間に表示データに応じた電圧が印加され、光源１００からのバックライト光Ｌｏが液晶層１０６を透過または遮断されるようになっている。

カラーフィルタ１０７は、各発光セル１２（赤色発光セル１２Ｒ、緑色発光セル１２Ｇおよび青色発光セル１２Ｂ）に対応する領域に配置されており、液晶層１０６を透過したバックライト光Ｌｏのうち、自己の発光色に対応する波長領域の光を選択的に透過するものである。ブラックマトリクス１０８は、各カラーフィルタ１０７の間に配置されており、光源１００からのバックライト光Ｌｏを遮断して表示面１０側に射出させないようにするものである。

図４は、各画素１１における回路構成の一例を表したものである。各画素１１は、前述のように、赤色発光セル１２Ｒ、緑色発光セル１２Ｇおよび青色発光セル１２Ｂからなる発光セル１２と、受光セル１３とを有している。このうち、発光セル１２には、表示信号ドライバ２３に接続された表示データ供給線ＤＷと、発光用スキャナ２４に接続された発光用ゲート線ＧＷとが接続されている。具体的には、赤色発光セル１２Ｒには表示データ供給線ＤＷrと発光用ゲート線ＧＷとが、緑色発光セル１２Ｇには表示データ供給線ＤＷgと発光用ゲート線ＧＷとが、青色発光セル１２Ｂには表示データ供給線ＤＷbと発光用ゲート線ＧＷとが、それぞれ接続されている。一方、受光セル１３には、受光用スキャナ３１に接続された受光用ゲート線ＧＲおよび受光用リセット線ＲＲと受光信号レシーバ３２に接続されたデータ読み出し線ＤＲとが接続されている。

ここで、赤色発光セル１２Ｒは、前述の赤色発光素子１４Ｒと、この赤色発光素子１４Ｒを駆動する発光素子選択スイッチＳＷ１Ｒを含むＴＦＴ回路部１５Ｒとを有している。発光素子選択スイッチＳＷ１Ｒの一端は表示データ供給線ＤＷrに接続され、その他端は赤色発光素子１４Ｒの一端（具体的には、前述の透明画素電極１０５Ａ）に接続され、さらに、赤色発光素子１４Ｒの他端（具体的には、前述の透明電極１０５Ｂ）は接地されている。同様に、緑色発光セル１２Ｇは、前述の緑色発光素子１４Ｇと、この緑色発光素子１４Ｇを駆動する発光素子選択スイッチＳＷ１Ｇを含むＴＦＴ回路部１５Ｇとを有している。発光素子選択スイッチＳＷ１Ｇの一端は表示データ供給線ＤＷgに接続され、その他端は緑色発光素子１４Ｇの一端に接続され、さらに、緑色発光素子１４Ｇの他端は接地されている。また、青色発光セル１２Ｂは、前述の青色発光素子１４Ｂと、この青色発光素子１４Ｂを駆動する発光素子選択スイッチＳＷ１Ｂを含むＴＦＴ回路部１５Ｂとを有している。発光素子選択スイッチＳＷ１Ｂの一端は表示データ供給線ＤＷbに接続され、その他端は青色発光素子１４Ｂの一端に接続され、さらに、青色発光素子１４Ｂの他端は接地されている。また、発光素子選択スイッチＳＷ１Ｒ，ＳＷ１Ｇ，ＳＷ１Ｂはそれぞれ、発光用ゲート線ＧＷによってそのオンオフ動作が制御されるようになっている。なお、発光素子選択スイッチＳＷ１Ｒ，ＳＷ１Ｇ，ＳＷ１Ｂは、いずれも例えばＴＦＴなどのスイッチ素子から構成される。

一方、受光セル１３は、前述の受光素子１６（図４に示した例ではフォトダイオード）と、前述の受光素子回路部１７内に設けられた受光素子選択スイッチＳＷ２，ＳＷ３、バッファアンプＡＭＰおよび容量Ｃとを有している。受光素子１６の一端が電源線ＶＤＤに接続され、その他端がバッファアンプＡＭＰの入力端に接続されている。また、バッファアンプＡＭＰの出力端が受光素子選択スイッチＳＷ２の一端に接続され、受光素子選択スイッチＳＷ２の他端がデータ読出線ＤＲに接続されている。さらに、バッファアンプＡＭＰの入力端が受光素子選択スイッチＳＷ３の一端と、容量Ｃの一端とにそれぞれ接続され、受光素子選択スイッチＳＷ３および容量Ｃのそれぞれの他端が接地されている。また、受光素子選択スイッチＳＷ２は受光用ゲート線ＧＲによってそのオンオフ動作が制御されるようになっており、受光素子選択スイッチＳＷ３は受光用リセット線ＲＲによってそのオンオフ動作が制御されるようになっている。なお、受光素子選択スイッチＳＷ２，ＳＷ３は、いずれも例えばＴＦＴなどのスイッチ素子から構成される。

次に、表示装置における表示部１以外の構成（コントローラ２０、表示信号生成部２１、表示信号保持制御部２２、表示信号ドライバ２３、発光用スキャナ２４、受光用スキャナ３１、受光信号レシーバ３２、受光信号保持部３３および位置検出部３４）について説明する。

コントローラ２０は、位置検出部３４による検知結果に基づいて所定のアプリケーションソフト（図示せず）に応じた処理を実行するものであり、例えば、検知した検出対象物の位置座標（位置情報）を含む表示データ２０Ａを生成するものである。このようにして生成されたに表示データ２０Ａは、表示信号生成部２１へ出力される。

表示信号生成部２１は、コントローラ２０から供給される表示データ２０Ａに基づいて、例えば１画面ごと（１フィールドの表示ごと）に表示部１に表示するための表示信号２１Ａを生成するものである。このようにして生成された表示信号２１Ａは、表示信号保持制御部２２へ出力される。

表示信号保持制御部２２は、表示信号生成部２１から出力された表示信号２１Ａを１画面ごと（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）などから構成されたフィールドメモリに格納して保持するものである。この表示信号保持制御部２２はまた、各発光セル１２を駆動する表示信号ドライバ２３および発光用スキャナ２４と、各受光セル１３を駆動する受光用スキャナ３１と、表示部１の光源１００（後述）とが連動して動作するように制御する役割も果たしている。具体的には、発光用スキャナ２４に対しては発光タイミング制御信号２２Ａを、受光用スキャナ３１に対しては受光タイミング制御信号２２Ｂを、表示信号ドライバ２３に対してはフィールドメモリに保持されている１画面分の表示信号に基づく１水平ライン分の表示信号２２Ｃをそれぞれ出力するようになっている。より詳細には、表示信号保持制御部２２は、例えば図５，図６に示したように、１フレームごとに画像（動画像または静止画像）の表示を行う際に、各フレーム期間Ｔを１／２に分割し、その前半期間Ｔ１または後半期間Ｔ２に、光源１００を点灯させた状態で、発光タイミング制御信号２２Ａ表示信号２２Ｃを出力し各発光セル１２を１水平ラインごとに同期して例えば矢印Ｘ方向（図１参照）へ駆動（線順次駆動）させ、各フレーム期間の前半および後半のうち上記期間（表示期間）とは異なる期間（非表示期間）に、光源１００を点灯させた状態で、受光タイミング制御信号２２Ｂを出力し各受光セル１３を１水平ラインごとに例えば矢印Ｘ方向へ駆動（線順次駆動）させるようになっている。なお、各受光セル１３を、１フレーム周期で連続して駆動させる必要はなく、必要に応じて複数フレーム周期で断続的に駆動させるようにしてもよい。

表示信号ドライバ２３は、表示信号保持制御部２２から出力される１水平ライン分の表示信号２２Ｃに応じて、駆動対象の発光セル１２へ表示データ２０Ａを供給するものである。具体的には、表示部１の各画素１１に接続されたデータ供給線ＤＷを介して、発光用スキャナ２４により選択された画素１１の発光セル１２へ表示データ２０Ａに対応する電圧２３Ａを供給するようになっている。

発光用スキャナ２４は、表示信号保持制御部２２から出力される発光タイミング制御信号２２Ｂに応じて、駆動対象の発光セル１２を選択するものである。具体的には、表示部１の各画素１１に接続された発光用ゲート線ＧＷを介して駆動対象の可視光発光セル１２へ発光用選択信号２４Ａを供給し、発光素子選択スイッチＳＷ１Ｒ，ＳＷ１Ｇ，ＳＷ１Ｂを制御するようになっている。このようにして、この発光用選択信号２４Ａによってある画素１１の発光素子選択スイッチＳＷ１Ｒ，ＳＷ１Ｇ，ＳＷ１Ｂがオン状態となる電圧が発光素子選択スイッチＳＷ１Ｒ，ＳＷ１Ｇ，ＳＷ１Ｂに印加されると、その画素では表示信号ドライバ２３から供給された電圧２３Ａに対応した輝度の発光動作がなされるようになっている。このようにして、これら発光用スキャナ２４および表示信号ドライバ２３が連動して線順次動作することにより、任意の表示データに対応する画像が表示部１に表示されるようになっている。

受光用スキャナ３１は、表示信号保持制御部２２から出力される受光タイミング制御信号２２Ｂに応じて、駆動対象の受光セル１３を選択するものである。具体的には、表示部１の各画素１１に接続された受光用ゲート線ＧＲを介して駆動対象の受光セル１３へ受光用選択信号３１Ａを供給し、受光素子選択スイッチＳＷ２を制御すると共に、表示部１の各画素１１に接続された受光用リセット線ＲＲを介して駆動対象の受光セル１３へリセット信号３１Ｂを供給し、受光素子選択スイッチＳＷ３を制御するようになっている。つまり、リセット信号３１Ｂによってある画素１１の受光素子選択スイッチＳＷ３がオン状態となる電圧が受光素子選択スイッチＳＷ３に印加されると、その画素１１中の容量Ｃに蓄積された電荷がリセットされ、受光用選択信号３１Ａによってある画素１１の受光素子選択スイッチＳＷ２がオン状態となる電圧が受光素子選択スイッチＳＷ２に印加されると、その画素１１中の受光素子１６での受光量に対応して容量Ｃに蓄積された電荷がバッファアンプＡＭＰおよびデータ読み出し線ＤＲを介して受光信号レシーバ３２に受光信号１Ａとして出力されるようになっている。このようにして、可視光が受光セル１３によって受光される。

なお、この受光用スキャナ３１は、受光信号レシーバ３２および受光信号保持部３３に対してそれぞれ受光ブロック制御信号３１Ｃを出力し、これら受光動作に寄与する部分の動作を制御する役割も果たしている。

受光信号レシーバ３２は、受光用スキャナ３１から出力される受光ブロック制御信号３１Ｃに応じて、各受光セル１３から出力された１水平ライン分の受光信号１Ａを取得するものである。このようにして取得された１水平ライン分の受光信号１Ａは、受光信号保持部３３へ出力される。

受光信号保持部３３は、受光用スキャナ３１から出力される受光ブロック制御信号３１Ｃに応じて、受光信号レシーバ３２から出力される受光信号３２Ａを１画面ごと（１フィールドの表示ごと）の撮像画像３３Ａに再構成し、例えばＳＲＡＭなどから構成されるフィールドメモリ（図示せず）に格納して保持するものである。このようにしてフィールドメモリに格納された撮像画像３３Ａは、位置検出部３４へ出力される。なお、この受光信号保持部３３はメモリ以外の記憶素子を有していてもよく、例えば撮像画像３３Ａをアナログデータとして保持しておくようにしてもよい。

位置検出部３４は、受光信号保持部３３から出力される撮像画像３３Ａに対して所定の信号処理を行うことにより、表示面１０に接触あるいは近接する物体（検出対称物）の位置などを特定するものである。なお、上記のように受光信号保持部３３が撮像画像３３Ａをアナログデータとして保持している場合には、この位置検出部３４がアナログ／デジタル変換（Ａ／Ｄ変換）を行ってから信号処理を実行するように構成することが可能である。

図７は、位置検出部３４の各機能ブロックを表したものである。位置検出部３４は、図７に示したように、ＨＰＦ(High Pass Filter)部４１と、２値化部４２と、ピーク検出部４３と、判定部４４と、位置導出部４５とを有している。

ＨＰＦ部４１は、ペンなどの物体（検出対称物）を表示面１０に近づけたり接触させたりしたときに、表示面１０に近接または接触した手のひら（非検出対象物）の像（検出対象物が表示面１０に接触している時に得られる撮像画像３３Ａ内に現れる手のひら（非検出対象物）の像）を、撮像画像から除去するものである。このＨＰＦ部４１に撮像画像を通すことにより、撮像画像から手のひら（非検出対象物）の像が除去されたＨＰＦ画像４１Ａが得られる。これにより、判定部４４において手のひら（非検出対象物）を誤検出することを回避することができる。このようにして得られたＨＰＦ画像４１Ａは、２値化部４２へ出力される。

２値化部４２は、撮像画像３３Ａにおける所定の領域を抽出するマスクを作成するものである。この２値化部４２は、ＨＰＦ画像４１Ａの各画素データにおいて、所定の閾値を超える画素に対して例えば“１”を割り当てると共に、所定の閾値以下の画素に対して例えば“０”を割り当てることによりＨＰＦ画像４１Ａに対して２値化処理を行い、２値画像４２Ａを生成するようになっている。これにより、ピーク検出部４３において効率的に（短時間で）ピーク検出を行うことが可能となる。また、この２値化部４２は、必要に応じて、２値化処理により得られた２値画像４２Ａにおけるノイズを除去するようになっていてもよい。このノイズ除去は、例えば、２値画像４２Ａにおいて、周りを“０”で囲まれた孤立領域における“１”の画素数が、検出対称物の像（検出対象物が表示面１０に接触している時に得られる撮像画像３３Ａ内に現れる検出対象物の像）として予想される大きさ当りに含まれる画素数よりも大幅に小さい場合に、その孤立領域に含まれる各画素に対して“０”を割り当てることにより行われる。これにより、ピーク検出部４３において非検出対象のピークを誤検出するのをなくすることが可能となる。このようにして生成された２値画像４２Ａは、ピーク検出部４３へ出力される。

図８、図９は、ピーク検出部４３で撮像画像３３Ａから抽出された画像３３−１の各画素データＰ_１１〜Ｐ_５５の一例を模式的に表したものである。図８は、画像３３−１の各画素データＰ_１１〜Ｐ_５５がｘｙ平面においてマトリクス状に配置されている様子を表したものであり、図９は、画像３３−１の各画素データＰ_１１〜Ｐ_５５のプロファイルを斜視的に表したものである。なお、図８、図９には、画像３３−１として、ｘｙ座標の原点に最も近い画素３３ｅの座標が（ｉ，ｊ）となっている領域の画像が例示されている。

ピーク検出部４３は、撮像画像３３Ａの各画素データの中からピーク値Ｐｍ（輝度の最も明るい値）を検出すると共にこのピーク値Ｐｍを有するピーク画素３３ｍの位置を検出するものである。具体的には、ピーク検出部４３は、２値画像４２Ａをマスクとして、撮像画像３３Ａからマスクの開口（例えば、周りを“０”で囲まれた“１”の領域）に対応する領域の画像３３−１を抽出し、抽出した画像３３−１の各画素データ（図８、図９では、Ｐ_１１〜Ｐ_５５）の中からピーク値Ｐｍ（図８、図９では、Ｐｍ＝Ｐ_３３）を検出すると共に、このピーク値Ｐｍを有するピーク画素３３ｍの位置（図８，図９では、ピーク画素３３ｍのｘｙ座標（ｘ，ｙ）＝（ｉ＋２，ｊ＋２））を検出するようになっている。このようにして生成されたピーク画素３３ｍの位置は、ピーク位置情報４３Ａとして判定部４４へ出力される。

なお、ピーク値Ｐｍの検出ならびにピーク画素３３ｍの位置の検出を、上記したように撮像画像３３Ａの画素ごとに行うようにしてもよいが、例えば、図１０に示したように、撮像画像３３Ａに含まれる全ての画素データを互いに隣接する数画素ごとに平均化したのち、平均化により得られた各データの中からマスクの開口（例えば、周りを“０”で囲まれた“１”の領域）に対応する領域の画像３３−１を抽出し、抽出した画像３３−１の各画素データ（図１０では、Ａ_１１〜Ａ_３３）の中からピーク値Ｐｍを検出すると共に、このピーク値Ｐｍを有するピーク画素３３ｍの位置を検出するようにしてもよい。

また、位置検出部３４が、表示面１０に複数の検出対象物が接触する場合も想定している場合に、マスクの開口が複数存在するときには、ピーク検出部４３は、それぞれの開口に対応する領域の画像３３−１ごとに、ピーク値Ｐｍと、ピーク画素３３ｍの位置とを検出するようになっている。

判定部４４は、表示面１０に検出対象物が接触しているか否かを判定するものである。この判定部４４は、例えば、式（１）に示したように、ピーク位置情報４３Ａに対応する撮像画像３３Ａの画素（ピーク画素３３ｍ）の画素データ（図８、図９では、Ｐｍ＝Ｐ_３３）と、ピーク位置情報４３Ａに対応する撮像画像３３Ａの画素（ピーク画素３３ｍ）の周辺画素３３ｃ（後述）の画素データとの差分Δｐ（後述）が、所定の閾値ＴＨ１（第１閾値）よりも大きい場合には表示面１０に検出対象物が接触していると判定し、差分Δｐが閾値ＴＨ１以下の場合には表示面１０に検出対象物が接触していないと判定するようになっている。このようにして、表示面１０に検出対象物が接触していると判定した場合には、そのときのピーク位置情報４３Ａが、ピーク位置情報４４Ａとして位置導出部４５へ出力され、表示面１０に検出対象物が接触していないと判定した場合には、表示面１０に検出対象物が接触していないことを示す情報が、ピーク位置情報４４Ａとして位置導出部４５へ出力される。
Δｐ＞ＴＨ１…（１）

ここで、例えば、周辺画素３３ｃを、図１１の掛け線で示したように、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）に隣接する全ての画素とした場合には、差分Δｐは、例えば、式（２）に示したように、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）の画素データＰｍ（＝Ｐ_３３）から、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）に隣接する全ての画素の画素データＰｃ（＝Ｐ_２２、Ｐ_２３、Ｐ_２４、Ｐ_３２、Ｐ_３４、Ｐ_４２、Ｐ_４３、Ｐ_４４）の平均値を減じることにより得られる。
Δｐ＝Ｐ_３３−（Ｐ_２２＋Ｐ_２３＋Ｐ_２４＋Ｐ_３２＋Ｐ_３４＋Ｐ_４２＋Ｐ_４３＋Ｐ_４４）／８…（２）

また、例えば、周辺画素３３ｃを、図１２の掛け線で示したように、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）に隣接する全ての画素の外側に隣接する全ての画素とした場合には、差分Δｐは、例えば、式（３）に示したように、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）の画素データＰｍ（＝Ｐ_３３）から、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）に隣接する全ての画素の外側に隣接する全ての画素の画素データＰｃ（＝Ｐ_１１、Ｐ_１２、Ｐ_１３、Ｐ_１４、Ｐ_１５、Ｐ_２１、Ｐ_２５、Ｐ_３１、Ｐ_３５、Ｐ_４１、Ｐ_４５、Ｐ_５１、Ｐ_５２、Ｐ_５３、Ｐ_５４、Ｐ_５５）の平均値を減じることにより得られる。
Δｐ＝Ｐ_３３−（Ｐ_１１＋Ｐ_１２＋Ｐ_１３＋Ｐ_１４＋Ｐ_１５＋Ｐ_２１＋Ｐ_２５＋Ｐ_３１＋Ｐ_３５＋Ｐ_４１＋Ｐ_４５＋Ｐ_５１＋Ｐ_５２＋Ｐ_５３＋Ｐ_５４＋Ｐ_５５）／１６…（３）

また、例えば、周辺画素３３ｃを、図１３の掛け線で示したように、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）に隣接するいくつかの画素（例えば四隅の画素）とした場合には、差分Δｐは、例えば、式（４）に示したように、ピーク画素３３ｍの画素データＰｍ（＝Ｐ_３３）から、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）に隣接するいくつかの画素（例えば四隅の画素）の画素データＰｃ（＝Ｐ_２２、Ｐ_２４、Ｐ_４２、Ｐ_４４）の平均値を減じることにより得られる。
Δｐ＝Ｐ_３３−（Ｐ_２２＋Ｐ_２４＋Ｐ_４２＋Ｐ_４４）／４…（４）

なお、例えば、図１０に示したように、平均値（Ａ_１１〜Ａ_３３）の中から、ピーク値Ｐｍを検出すると共に、このピーク値Ｐｍを有するピーク画素３３ｍの位置を検出する場合には、周辺画素３３ｃを、例えば、図１４の掛け線で示したように、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）に隣接する全ての画素とした場合には、差分Δｐは、例えば、式（５）に示したように、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）の画素データＰｍ（＝Ａ_２２）から、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）に隣接する全ての画素の画素データＰｃ（＝Ａ_１１、Ａ_１２、Ａ_１３、Ｐ_２１、Ａ_２３、Ａ_３１、Ａ_３２、Ａ_３３）の平均値を減じることにより得られる。
Δｐ＝Ｐ_３３−（Ａ_１１＋Ａ_１２＋Ａ_１３＋Ｐ_２１＋Ａ_２３＋Ａ_３１＋Ａ_３２＋Ａ_３３）／８…（５）

ここで、差分Δｐの大きさは、例えば、図１５（Ａ），（Ｂ）に示したように、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）と、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）の周辺画素３３ｃとの間の画素データの傾き（ピーク周辺傾き３３ｓ）の大きさに比例し、このピーク周辺傾き３３ｓの大きさは、表示面１０に接触する検出対象物の像（検出対象物が表示面１０に接触している時に得られる撮像画像３３Ａ内に現れる検出対象物の像）の大きさに反比例する。そのため、表示面１０に接触する検出対象物の像が大きい場合には差分Δｐは小さくなり、表示面１０に接触する検出対象物の像が小さい場合には差分Δｐは大きくなる。したがって、閾値ＴＨ１を、検出対称物の像として予想される大きさに応じて適切に設定しておくことにより、差分Δｐと閾値ＴＨ１との大小関係から検出対称物の、表示面１０上への接触・非接触を判定することが可能となる。

なお、判定部４４は、さらに、式（６）に示したように、差分Δｐが所定の閾値ＴＨ２（＞ＴＨ１）よりも大きい場合に、表示面１０に検出対象物が接触していないと判定してもよい。
ＴＨ１＜Δｐ＜ＴＨ２…（６）

ここで、閾値ＴＨ２を適切に設定することにより、２値化部４２においてノイズ除去処理を行わなかった場合や、ノイズ除去処理を行ったものの、２値画像４２Ａ内にノイズが残留してしまっているような場合に、そのノイズの影響によって、誤って非検出対象の、表示面１０上への接触・非接触を判定してしまうのを防止することが可能となる。

なお、判定部４４は、例えば、式（７）に示したように、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）の画素データＰｍと、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）の周辺画素３３ｃの画素データＰｃとの差分Δｐの逆数（１／Δｐ）に、ピーク位置情報４３Ａに対応する画素（ピーク画素３３ｍ）の画素データＰｍを乗算して得られた値（Ｐｍ／Δｐ）が、所定の閾値ＴＨ３（第１閾値）よりも大きい場合には表示面１０に検出対象物が接触していると判定し、Ｐｍ／Δｐが閾値ＴＨ３以下の場合には表示面１０に検出対象物が接触していないと判定してもよい。
Ｐｍ／Δｐ＞ＴＨ３…（７）

なお、このようにした場合であっても、周辺画素３３ｃとして、図１１〜図４に示した画素を選択することが可能である。また、式（８）に示したように、Ｐｍ／Δｐが閾値ＴＨ３よりも大きな所定の閾値ＴＨ４よりも大きい場合に、表示面１０に検出対象物が接触していないと判定してもよい。
ＴＨ３＜Ｐｍ／Δｐ＜ＴＨ４…（８）

位置導出部４５は、判定部４４における検出結果および判定結果を利用して、表示面１０に接触する検出対象物の、表示面１０上の位置を導出するものである。例えば、この位置導出部４５は、図１６ならびに式（９），（１０）に示したように、判定部４４において表示面１０に検出対象物が接触していると判定されたときのピーク位置情報４４Ａに対応する撮像画像３３Ａの画素（ピーク画素３３ｍ）と、ピーク位置情報４４Ａに対応する撮像画像３３Ａの画素（ピーク画素３３ｍ）の周辺画素３３ｄとを含む画素領域αにおける重心位置（Ｘｇ，Ｙｇ）を検出し、この重心位置（Ｘｇ，Ｙｇ）から、表示面１０に接触する検出対象物の、表示面１０上の位置を導出するようになっている。このようにして導出された位置情報は、位置情報３４Ａとしてコントローラ２０へ出力される。

ここで、Ｐｘｙは、撮像画像３３Ａの座標（ｘ，ｙ）における画素データ（輝度値）である。Ｘ_１は画素領域αにおけるｘ座標の最小値であり、Ｘ_２は画素領域αにおけるｘ座標の最大値である。また、Ｙ_１は画素領域αにおけるｙ座標の最小値であり、Ｙ_２は画素領域αにおけるｙ座標の最大値である。

次に、本実施の形態の表示装置の動作の一例について詳細に説明する。

この表示装置では、コントローラ２０から供給される表示データ２０Ａに基づいて、表示信号ドライバ２３および発光用スキャナ２４から表示用の駆動信号（電圧２３Ａ、発光用選択信号２４Ａ）が生成され、この駆動信号により、表示部１において線順次表示駆動がなされ、画像が表示されると共に、受光用スキャナ３１から受光用の駆動信号（受光用選択信号３１Ａ）が生成され、この駆動信号により、表示部１において線順次受光駆動がなされ、画像が撮像される。

具体的には、例えば図５に示したように、１フレームごとに画像の表示を行う際に、各フレーム期間Ｔを１／２に分割し、その前半期間Ｔ１に、光源制御信号２２Ｄとして光源１００を点灯させる信号を出力して光源１００全体を点灯させると共に、この点灯期間（表示期間）に、表示用の駆動信号（電圧２３Ａ、発光用選択信号２４Ａ）が出力され、各発光セル１２および各受光セル１３が１水平ラインごとに同期して例えば矢印Ｘ方向（図１参照）へ駆動（線順次駆動）されて、そのフレーム期間の画像が表示される。さらに、各フレーム期間の後半期間Ｔ２に、光源制御信号２２Ｄとして光源１００を点灯させる信号を出力して、引き続き光源１００全体を点灯させると共に、この点灯期間（受光期間）に、受光用の駆動信号（受光用選択信号３１Ａ）が出力され、各受光セル１３が１水平ラインごとに例えば矢印Ｘ方向へ駆動（線順次駆動）されて、後半期間Ｔ２の撮像画像３３Ａが得られる。なお、各受光セル１３が複数フレーム周期で断続的に駆動されている場合には、各受光セル１３が駆動されたフレーム期間だけ撮像画像３３Ａが得られる。

そして、位置検出部３４において、受光信号保持部３３から出力される撮像画像３３Ａに基づいて信号処理が行われ、表示面１０に接触あるいは近接する物体（検出対称物）の位置が特定される。

具体的には、まず、ＨＰＦ部４１において、撮像画像３３Ａから手のひら（非検出対象物）の像が除去されて、ＨＰＦ画像４１Ａが生成される。続いて、２値化部４２において、ＨＰＦ画像４１Ａに対して２値化処理が行われることにより２値画像４２Ａが生成され、さらに、必要に応じて２値画像４２Ａにおけるノイズが除去される。次に、この２値画像４２Ａをマスクとして、撮像画像３３Ａからマスクの開口に対応する領域の画像３３−１が抽出され、抽出された画像３３−１の各画素データの中からピーク値Ｐｍが検出されると共に、このピーク値Ｐｍを有するピーク画素３３ｍの位置が検出される。そして、判定部４４において、表示面１０に検出対象物が接触しているか否かが判定される。判定部４４において、例えば、式（１）に示したように、差分Δｐが閾値ＴＨ１よりも大きい場合には表示面１０に検出対象物が接触していると判定され、差分Δｐが閾値ＴＨ１以下の場合には表示面１０に検出対象物が接触していないと判定される。また、例えば、式（７）に示したように、Ｐｍ／Δｐが閾値ＴＨ３よりも大きい場合には表示面１０に検出対象物が接触していると判定され、Ｐｍ／Δｐが閾値ＴＨ３以下の場合には表示面１０に検出対象物が接触していないと判定される。さらに、必要に応じて、判定部４４において、例えば、式（６）に示したように、差分Δｐが閾値ＴＨ２よりも大きい場合には表示面１０に検出対象物が接触していないと判定される。また、例えば、式（８）に示したように、Ｐｍ／Δｐが閾値ＴＨ４よりも大きい場合には表示面１０に検出対象物が接触していないと判定される。次に、位置導出部４５において、判定部４４における検出結果および判定結果を利用して、表示面１０に接触する検出対象物の、表示面１０上の位置が導出される。例えば、位置導出部４５において、図１６ならびに式（９），（１０）に示したように、画素領域αにおける重心位置（Ｘｇ，Ｙｇ）が検出され、この重心位置（Ｘｇ，Ｙｇ）から、表示面１０に接触する検出対象物の、表示面１０上の位置が導出される。そして、コントローラ２０において、位置導出部４５において導出された表示面１０上の位置情報３４Ａを含む表示データ２０Ａが生成され、表示信号ドライバ２３において、表示データ２０Ａに対応する電圧２３Ａが発光用スキャナ２４により選択された画素１１の発光セル１２へ供給される。その結果、ペンなどの検出対象物で表示面１０をなぞった線が表示面１０上にリアルタイムに表示される。このようにして、本実施の形態では、ペンなどの検出対象物で表示面１０をなぞることにより、表示面１０上に文字や絵などを書き込むことができる。

このように、本実施の形態では、１フレーム期間において画像の表示と受光が順次行われている時に受光期間に画像を撮像し、これにより得られた撮像画像３３Ａから差分Δｐを求め、この差分Δｐと閾値ＴＨ１との大小関係、またはＰｍ／Δｐと閾値ＴＨ３との大小関係に基づいて検出対象物の、表示面１０への接触・非接触を判定するようにしたので、検出対象物がペンなどのように先の細いものであったとしても、検出対称物の、接触時の表示面１０上の位置を容易に検知することができる。これにより、ペンが表示面１０に接触したときにペン先がつぶれて接触面積が変化するような特殊なペンを用いる必要がなくなるので、簡易性を損なうことなく、ペンなどのように先の細いもので表示面１０をなぞって文字や絵を書き込むことができる。

また、本実施の形態において、重心位置（Ｘｇ，Ｙｇ）から、表示面１０に接触する検出対象物の、表示面１０上の位置を導出するようにした場合には、ピーク位置情報４４Ａに対応する画素（ピーク画素３３ｍ）から、表示面１０に接触する検出対象物の、表示面１０上の位置を導出した場合と比べて、表示面１０に接触する検出対象物の、表示面１０上の位置を精度よく求めることが可能となる。

また、本実施の形態において、撮像画像３３Ａの各画素データの一部（画素領域α）を用いて、表示面１０に接触する検出対象物の、表示面１０上の位置を導出するようにした場合には、撮像画像３３Ａの全ての画素データを用いた場合と比べて、処理スピードを早くすることができる。

また、本実施の形態では、物体（検出対称物）の位置などを検出するうえで、例えばタッチパネルなどの部品を別途設ける必要がないので、表示装置の構成を簡素化することができる。

また、本実施の形態において、各受光セル１３を複数フレーム周期で断続的に駆動するようにした場合には、物体（検出対称物）の位置などを検出するのに要する消費電力を低く抑えることができる。

[第１の実施の形態の変形例]
上記実施の形態では、ピーク検出部４３は、撮像画像３３Ａの各画素データの中からピーク値Ｐｍを検出すると共にこのピーク値Ｐｍを有するピーク画素３３ｍの位置を検出していたが、図１７に示したように、撮像画像３３Ａの代わりにＨＰＦ画像４１Ａを取得し、取得したＨＰＦ画像４１Ａの各画素データの中からピーク値Ｐｍと、ピーク画素３３ｍの位置とを検出するようにしてもよい。なお、この場合に、例えば、ＨＰＦ画像４１Ａに含まれる全ての画素データを互いに隣接する数画素ごとに平均化したのち、平均化により得られた各データの中からマスクの開口（例えば、周りを“０”で囲まれた“１”の領域）に対応する領域の画像３３−１を抽出し、抽出した画像３３−１の各画素データ（図１０では、Ａ_１１〜Ａ_３３）の中からピーク値Ｐｍを検出すると共に、このピーク値Ｐｍを有するピーク画素３３ｍの位置を検出することも可能である。

また、上記実施の形態では、判定部４４が、撮像画像３３Ａにおける差分Δｐと閾値ＴＨ１との大小関係に基づいて検出対象物の、表示面１０への接触・非接触を判定する場合が例示されていたが、図１７に示したように、撮像画像３３Ａの代わりにＨＰＦ画像４１Ａを取得し、取得したＨＰＦ画像４１Ａにおける差分Δｐと閾値ＴＨ１との大小関係に基づいて検出対象物の、表示面１０への接触・非接触を判定するようにしてもよい。

また、上記実施の形態では、位置導出部４５は、判定部４４において表示面１０に検出対象物が接触していると判定されたときのピーク位置情報４４Ａに対応する撮像画像３３Ａの画素（ピーク画素３３ｍ）と、ピーク位置情報４４Ａに対応する撮像画像３３Ａの画素（ピーク画素３３ｍ）の周辺画素３３ｄとを含む画素領域αにおける重心位置（Ｘｇ，Ｙｇ）を検出する場合が例示されていたが、図１７に示したように、撮像画像３３Ａの代わりにＨＰＦ画像４１Ａを取得し、判定部４４において表示面１０に検出対象物が接触していると判定されたときのピーク位置情報４４Ａに対応するＨＰＦ画像４１Ａの画素（ピーク画素３３ｍ）と、ピーク位置情報４４Ａに対応するＨＰＦ画像４１Ａの画素（ピーク画素３３ｍ）の周辺画素３３ｄとを含む画素領域αにおける重心位置（Ｘｇ，Ｙｇ）を検出するようにしてもよい。

また、上記実施の形態では、表示部１は、各画素１１において、赤色発光セル１２Ｒ、緑色発光セル１２Ｇおよび青色発光セル１２Ｂからなる発光セル１２を有していたが、他の色を発するセルをさらに備えていてもよく、また、例えば図１８に示したように、これらの発光セルを全く有していなくてもよい。なお、表示部１が各画素１１において発光セルを全く有していない場合には、例えば図１８に示したように、各画素１１に発光セル１２を含むパネル部１２０（第２パネル部）を有する表示部２を、表示部１とは別体で備えると共に、受光用スキャナ３１の出力（受光用選択信号３１Ａ、リセット信号３１Ｂ）を表示部２に入力し、さらに、表示部２の出力（受光信号１Ａ）を、受光信号レシーバ３２に入力することが好ましい。

[第２の実施の形態]
本発明の第２の実施の形態に係る表示装置は、図１９に示したように、上記実施の形態の表示装置において、判定部４４の代わりに判定部４６を備えたものである。そこで、以下では、上記実施の形態との相違点について主に説明し、上記実施の形態との共通点についての説明を適宜省略するものとする。

判定部４６は、表示面１０に検出対象物が接触しているか否かを判定するものである。この判定部４４は、例えば、ピーク位置情報４３Ａに対応する撮像画像３３Ａの画素（ピーク画素３３ｍ）と、ピーク位置情報４３Ａに対応する撮像画像３３Ａの画素（ピーク画素３３ｍ）の周辺画素３３ｃとを含む画素領域において、図２０および式（１１）に示したように、各画素データの値が所定の閾値ＴＨ５（第１閾値）を超える画素数（超越数Ｎ１、図２０ではＮ１＝９）が、検出対称物の像として予想される大きさ当りに含まれる受光セル１３の数（予想数Ｎ２）以上となっている場合には表示面１０に検出対象物が接触していると判定し、超越数Ｎ１が予想数Ｎ２を下回っている場合には表示面１０に検出対象物が接触していないと判定するようになっている。このようにして、表示面１０に検出対象物が接触していると判定した場合には、そのときのピーク位置情報４３Ａが、ピーク位置情報４４Ａとして位置導出部４５へ出力され、表示面１０に検出対象物が接触していないと判定した場合には、表示面１０に検出対象物が接触していないことを示す情報が、ピーク位置情報４４Ａとして位置導出部４５へ出力される。なお、周辺画素３３ｃについては、上記図１１から図１４と同様にして選択することが可能である。
Ｎ１≧Ｎ２…（１１）

ここで、予想数Ｎ２の大きさは、表示面１０に接触する検出対象物の像（検出対象物が表示面１０に接触している時に得られる撮像画像内に現れる検出対象物の像）の大きさに比例するので、表示面１０に接触する検出対象物の像が大きい場合には予想数Ｎ２も大きくなり、表示面１０に接触する検出対象物の像が小さい場合には予想数Ｎ２も小さくなる。したがって、予想数Ｎ２および閾値ＴＨ５を、検出対称物の像として予想される大きさに応じて適切に設定しておくことにより、超越数Ｎ１と予想数Ｎ２との大小関係から検出対称物の、表示面１０上への接触・非接触を判定することが可能となる。

この表示装置では、判定部４６において、表示面１０に検出対象物が接触しているか否かが判定される。例えば、判定部４６において、式（１１）に示したように、超越数Ｎ１が予想数Ｎ２以上となっている場合には表示面１０に検出対象物が接触していると判定され、超越数Ｎ１が予想数Ｎ２を下回っている場合には表示面１０に検出対象物が接触していないと判定される。これにより、検出対象物がペンなどのように先の細いものであったとしても、検出対称物の、接触時の表示面１０上の位置を容易に検知することができる。これにより、ペンが表示面１０に接触したときにペン先がつぶれて接触面積が変化するような特殊なペンを用いる必要がなくなるので、簡易性を損なうことなく、ペンなどのように先の細いもので表示面１０をなぞって文字や絵を書き込むことができる。

[第２の実施の形態の変形例]
上記第２の実施の形態では、判定部４６が、撮像画像３３Ａにおける超越数Ｎ１と予想数Ｎ２との大小関係に基づいて検出対象物の、表示面１０への接触・非接触を判定する場合が例示されていたが、図２１に示したように、撮像画像３３Ａの代わりにＨＰＦ画像４１Ａを取得し、取得したＨＰＦ画像４１Ａにおける超越数Ｎ１と予想数Ｎ２との大小関係に基づいて検出対象物の、表示面１０への接触・非接触を判定するようにしてもよい。

また、上記第１の実施の形態の変形例で言及したような変形を、上記第２の実施の形態においても同様に行うことが可能である。

以上、実施の形態およびその変形例を挙げて本発明を説明したが、本発明は実施の形態等に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態では、各画素１１は、赤色発光セル１２Ｒ、緑色発光セル１２Ｇおよび青色発光セル１２Ｂからなる発光セル１２を有していたが、他の色を発するセルをさらに備えていてもよく、また、これらの発光セルのうち少なくとも１つのセルを備えていてもよい。

また、上記実施の形態では、表示部１は、光源１００上に液晶表示パネル（パネル部１１０）を備えている場合について説明していたが、表示部１が、互いに対向する透明基板の間に有機層を設けた有機ＥＬパネルのように、画素を構成する表示素子自体が発光する自発光型パネルを備えていてもよい。ただし、その場合には、受光期間において表示面１０側から入射する光は外光だけとなるので、撮像画像３３Ａの明暗を反転させたものを、位置検出部３４で用いることが好ましい。

本発明の第１の実施の形態に係る表示装置の全体構成を表すブロック図である。 図１における発光セルおよび受光セルの構成の一例を模式的に表す平面図である。 図１における発光素子の構成の一例を模式的に表す断面図である。 図１における各画素の構成の一例を模式的に表す回路図である。 検出対象物を線順次動作で検出する処理の一例を表すタイミング図である。 検出対象物を線順次動作で検出する処理の他の例を表すタイミング図である。 図１の位置検出部の構成の一例を模式的に表すブロック図である。 ピーク検出部で撮像画像から抽出された画像の各画素データがｘｙ平面においてマトリクス状に配置されている様子を模式的に表した模式図である。 ピーク検出部で撮像画像から抽出された画像の各画素データのプロファイルの一例を斜視的に表した分布図である。 撮像画像に含まれる全ての画素データを互いに隣接する数画素ごとに平均化することについて説明するための模式図である。 周辺画素の一例を模式的に表した模式図である。 周辺画素の他の例を模式的に表した模式図である。 周辺画素のその他の例を模式的に表した模式図である。 周辺画素の更にその他の例を模式的に表した模式図である。 図９に例示したプロファイルのｙ＝３におけるプロファイルの一例を表した分布図である。 重心位置を検出する際に用いる画素領域を模式的に表した模式図である。 図１の位置検出部の構成の他の例を模式的に表すブロック図である。 図１の表示装置の変形例を表すブロック図である。 本発明の第２の実施の形態に係る表示装置の位置検出部の構成の一例を模式的に表すブロック図である。 ピーク検出部で撮像画像から抽出された画像の各画素データのプロファイルの一例と、閾値との関係を模式的に表した模式図である。 図１９の位置検出部の構成の他の例を模式的に表すブロック図である。

符号の説明

１，２…表示部、１００…光源、１０１Ａ，１０１Ｂ…偏光板、１０２Ａ，１０２Ｂ…透明基板、１０３…回路部、１０４…絶縁層、１０５Ａ…透明画素電極、１０５Ｂ…透明電極、１０６…液晶層、１０７…カラーフィルタ、１０８…選択透過フィルタ、１０９…ブラックマトリクス、１０…表示面、１１…画素、１２…発光セル、１２Ｒ…赤色発光セル、１２Ｇ…緑色発光セル、１２Ｂ…青色発光セル、１３…受光セル、１４Ｒ…赤色発光素子、１４Ｇ…緑色発光素子、１４Ｂ…青色発光素子、１５，１５Ｒ，１５Ｇ，１５Ｂ…ＴＦＴ回路部、１６…受光素子、１７…受光素子回路部、２１…表示信号生成部、２２…表示信号保持制御部、２３…表示信号ドライバ、２４…発光用スキャナ、３１…受光用スキャナ、３２…受光信号レシーバ、３３…受光信保持部、３３−１…画像、３３Ａ…撮像画像、３３ｍ…ピーク画素、３３ｃ，３３ｄ…周辺画素、３３ｅ…ｘｙ座標の原点に最も近い画素、３３ｓ…ピーク周辺傾き、３４…位置検出部、３４Ａ…位置情報、４１…ＨＰＦ部、４１Ａ…ＨＰＦ画像、４２…２値化部、４２Ａ…２値画像、４３…ピーク検出部、４３Ａ，４４Ａ…ピーク位置情報、４４，４６…判定部、４５…位置導出部、Ｐｍ，Ｐｃ…画素データ、α…画素領域、ΔＰ…差分。

Claims (13)

1. 画像の表示と受光とを同時または交互に行う表示装置であって、
   発光させて表示面に画像を表示させる複数の発光セルおよび前記表示面側から入射した光の受光を行う複数の受光セルを有するパネル部と、
   前記複数の受光セルから得られた撮像画像またはこの撮像画像に対して所定の処理がなされた画像のいずれか一方の各画素データの中からピーク値を検出すると共にこのピーク値を有するピーク画素の位置を検出するピーク検出部と、
   前記ピーク画素の画素データと、前記ピーク画素の周辺画素の画素データとの差分、または、前記ピーク画素の画素データを前記差分で除算することにより得られる取得値が第１閾値よりも大きい場合には前記表示面に検出対象物が接触していると判定し、前記差分または前記取得値が前記第１閾値以下の場合には前記表示面に検出対象物が接触していないと判定する判定部と、
   前記ピーク検出部における検出結果および前記判定部における判定結果を利用して、前記表示面に接触する検出対象物の、前記表示面上の位置を導出する位置導出部と
   を備えたことを特徴とする表示装置。
2. 前記ピーク検出部は、前記撮像画像をＨＰＦ(High Pass Filter)に通して生成されたＨＰＦ画像に対して２値化処理を行って２値画像を生成し、この２値画像をマスクとして前記撮像画像または前記ＨＰＦ画像から所定の領域の画像を抽出し、抽出した画像の各画素データの中から前記ピーク値を検出する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記ピーク検出部は、前記複数の受光セルから得られた撮像画像またはこの撮像画像に対して所定の処理がなされた画像に含まれる全ての画素データを互いに隣接する数画素ごとに平均化したのち、平均化により得られた各データの中からピーク値を検出すると共にこのピーク値に対応する画素位置を検出する
   ことを特徴とする請求項１に記載の表示装置。
4. 前記判定部は、前記撮像画像または前記撮像画像をＨＰＦ(High Pass Filter)に通して生成したＨＰＦ画像のいずれか一方を用いて、前記ピーク画素の画素データと、前記ピーク画素の周辺画素の画素データとの差分を導出する
   ことを特徴とする請求項１に記載の表示装置。
5. 前記位置導出部は、前記判定部において前記表示面に検出対象物が接触していると判定されたときのピーク画素と、このピーク画素の周辺画素とを含む画素領域における重心位置を検出し、この重心位置から前記表示面に接触する検出対象物の、前記表示面上の位置を導出する
   ことを特徴とする請求項１に記載の表示装置。
6. 前記位置導出部で導出された前記表示面上の位置情報を含む表示データに応じた電圧を前記発光セルに印加する発光セル駆動部を備える
   ことを特徴とする請求項１に記載の表示装置。
7. 画像の表示と受光とを同時または交互に行う表示装置であって、
   発光させて表示面に画像を表示させる複数の発光セルと、検出対称物の像として予想される大きさ当りに含まれる数が少なくとも４つとなるように配置され、かつ前記表示面側から入射した光の受光を行う複数の受光セルとを有するパネル部と、
   前記複数の受光セルから得られた撮像画像またはこの撮像画像に対して所定の処理がなされた画像のいずれか一方の各画素データの中からピーク値を検出すると共にこのピーク値を有するピーク画素の位置を検出するピーク検出部と、
   前記ピーク画素と、前記ピーク画素の周辺画素とを含む画素領域において、各画素データの値が第１閾値を超える画素数が、検出対称物の像として予想される大きさ当りに含まれる前記受光セルの数以上となっている場合には前記表示面に検出対象物が接触していると判定し、各画素データの値が第１閾値を超える画素数が、検出対称物の像として予想される大きさ当りに含まれる前記受光セルの数を下回っている場合には前記表示面に検出対象物が接触していないと判定する判定部と、
   前記ピーク検出部における検出結果および前記判定部における判定結果を利用して、前記表示面に接触する検出対象物の、前記表示面上の位置を導出する位置導出部と
   を備えたことを特徴とする表示装置。
8. 接触面側から入射した光の受光を行う複数の受光セルを有する第１パネル部と、
   前記複数の受光セルから得られた撮像画像またはこの撮像画像に対して所定の処理がなされた画像のいずれか一方の各画素データの中からピーク値を検出すると共にこのピーク値を有するピーク画素の位置を検出するピーク検出部と、
   前記ピーク画素の画素データと、前記ピーク画素の周辺画素の画素データとの差分、または、前記ピーク画素の画素データを前記差分で除算することにより得られる取得値が第１閾値よりも大きい場合には前記接触面に検出対象物が接触していると判定し、前記差分または前記取得値が前記第１閾値以下の場合には前記接触面に検出対象物が接触していないと判定する判定部と、
   前記ピーク検出部における検出結果および前記判定部における判定結果を利用して、前記接触面に接触する検出対象物の、前記接触面上の位置を導出する位置導出部と
   を備えたことを特徴とする撮像装置。
9. 発光させて表示面に画像を表示させる複数の発光セルを有する第２パネル部と、
   前記位置導出部で導出された前記接触面上の位置情報を含む表示データに応じた電圧を前記発光セルに印加する発光セル駆動部と
   を備える
   ことを特徴とする請求項８に記載の撮像装置。
10. 検出対称物の像として予想される大きさ当りに含まれる数が少なくとも４つとなるように配置され、かつ接触面側から入射した光の受光を行う複数の受光セルを有する第１パネル部と、
    前記複数の受光セルから得られた撮像画像またはこの撮像画像に対して所定の処理がなされた画像のいずれか一方の各画素データの中からピーク値を検出すると共にこのピーク値を有するピーク画素の位置を検出するピーク検出部と、
    前記ピーク画素と、前記ピーク画素の周辺画素とを含む画素領域において、各画素データの値が第１閾値を超える画素数が、検出対称物の像として予想される大きさ当りに含まれる前記受光セルの数以上となっている場合には前記接触面に検出対象物が接触していると判定し、各画素データの値が第１閾値を超える画素数が、検出対称物の像として予想される大きさ当りに含まれる前記受光セルの数を下回っている場合には前記接触面に検出対象物が接触していないと判定する判定部と、
    前記ピーク検出部における検出結果および前記判定部における判定結果を利用して、前記接触面に接触する検出対象物の、前記接触面上の位置を導出する位置導出部と
    を備えたことを特徴とする撮像装置。
11. 発光させて表示面に画像を表示させる複数の発光セルを有する第２パネル部と、
    前記位置導出部で導出された前記接触面上の位置情報を含む表示データに対応する電圧を前記発光セルに印加する発光セル駆動部と
    を備える
    ことを特徴とする請求項１０に記載の撮像装置。
12. 表示面に画像を表示すると共に画像を取得することの可能なパネル部において取得した取得画像またはこの取得画像に対して所定の処理がなされた画像のいずれか一方の各画素データの中からピーク値を検出すると共にこのピーク値を有するピーク画素の位置を検出するピーク検出部と、
    前記ピーク画素の画素データと、前記ピーク画素の周辺画素の画素データとの差分、または、前記ピーク画素の画素データを前記差分で除算することにより得られる取得値が第１閾値よりも大きい場合には前記表示面に検出対象物が接触していると判定し、前記差分または前記取得値が前記第１閾値以下の場合には前記表示面に検出対象物が接触していないと判定する判定部と、
    前記ピーク検出部における検出結果および前記判定部における判定結果を利用して、前記表示面に接触する検出対象物の、前記表示面上の位置を導出する位置導出部と
    を備えたことを特徴とする位置検出装置。
13. 画像を取得することの可能なパネル部において取得した取得画像またはこの取得画像に対して所定の処理がなされた画像のいずれか一方の各画素データの中からピーク値を検出すると共にこのピーク値を有するピーク画素の位置を検出するピーク検出部と、
    前記ピーク画素の画素データと、前記ピーク画素の周辺画素の画素データとの差分、または、前記ピーク画素の画素データを前記差分で除算することにより得られる取得値が第１閾値よりも大きい場合には前記接触面に検出対象物が接触していると判定し、前記差分または前記取得値が前記第１閾値以下の場合には前記接触面に検出対象物が接触していないと判定する判定部と、
    前記ピーク検出部における検出結果および前記判定部における判定結果を利用して、前記接触面に接触する検出対象物の、前記接触面上の位置を導出する位置導出部と
    を備えたことを特徴とする位置検出装置。

Images