JP4826174B2 - 表示装置 - Google Patents

Description

本発明は、例えば、液晶表示ディスプレイやＥＬ（electro-luminescence）ディスプレイに適用して好適な表示装置に関し、特に、発光と並行して受光も可能な表示技術に関する。

従来、テレビジョン受像機などの表示装置の表示画面上に、その画面に触れることで操作が可能なタッチパネルを構成させる場合、表示装置とは別体のタッチパネルを表示画面上に重ねる構成としてあった。

別体のタッチパネルを使用する構成としては、例えば、画面の上に、透明で薄い入力検出装置を貼り付けたものがある。これは導電性フィルムを用いたタッチセンサで、圧力を検出する感圧式のものや、人体との接触で変化する静電容量式のものなどがある。また、電磁誘導式といわれるもので、特殊なペンを用いて位置を入力するものもある。これらは表示パネルの表面に特殊な位置検出用のパネルをもう一枚重ねた構造となる。

これら検出用のパネルを、表示パネルと重ね合わせて使用するものは、タッチの検出原理は簡単であるが、表示パネルの上に何らかの部材を重ねるために、必然的に表示品質の低下が起こる。また検出方法が主に容量変化を検出する方式であるため、２箇所以上の入力を同時に検出することは困難である。

表面にパネルを追加しないタッチパネルの方式には、光学式のものがある。パネルの上下左右に発光素子（発光ダイオードなど）と、フォトトランジスタを組み合わせて配置し、指などが遮光することにより、位置を検出するものである。このような光学式では表示品質の低下は起こらないが、表示装置の周囲に設置する装置が大掛かりとなり、携帯機器には不向きである。

これらの従来のタッチパネルの不都合を解決するために、近年、別体のタッチパネルを設けることなく、表示装置の画面がそのままタッチパネルとして機能するようにしたものが提案されている。特許文献１には、このような発光と受光を並行して行う表示装置についての開示がある。

このような発光と受光を並行して行う表示装置の例としては、例えば表示面に配置された画像表示用の発光素子での表示（発光）を、間欠的に行い、その発光が休止した期間に、発光素子に隣接して配置した受光素子に受光に応じた電荷を蓄積させて、表示（発光）が休止した期間に、受光素子で受光を行うことが提案されている。
特開２００４−１２７２７２号公報（図５）

ところで、従来から実用化されているタッチパネルは、ユーザが触れたボタンの操作を行うような、比較的単純な操作が大部分であり、高度な操作は困難であった。特許文献１に記載された表示装置の場合には、表示面に触れられた状態を画像として検出するので、複数個所の接触検出が可能であるが、従来、高度な入力操作を行うようなことについては、開発されていなかった。

本発明はかかる点に鑑みてなされたものであり、発光と受光を並行して同時（又は交互）に行うようにした上で、高度な操作ができるようにすることを目的とする。

本発明は、マトリクス状に配置された複数の表示素子で表示を行い、表示面に配置されたセンサが出力する検出信号に基づいて、表示面に接触又は近接した位置を判断する。この場合に、１フレーム期間内の発光期間を、第１の分割期間と第２の分割期間に分割し、第１の分割期間で表示駆動処理により表示素子に画素値を書込む処理を実行させ、第２の分割期間でセンサの検出信号を読み出す処理を実行させる。
そして、複数の表示素子を第１の群の表示素子と第２の群の表示素子に分割し、１フレーム期間に非発光期間を設定し、非発光期間についても第１の分割期間と第２の分割期間に分割し、発光期間の第１の分割期間で第１の群の表示素子に画素値を書込む書込み処理を行い、発光期間の第２の分割期間で複数の受光素子の受光信号を読み出す第１の読み出し処理を行う。そして、非発光期間の第１の分割期間で第２の群の表示素子に画素値を書込む書込み処理を行い、非発光期間の第２の分割期間で複数の受光素子の受光信号を読み出す第２の読み出し処理を行う。そして、位置検出部が、第１の読み出し処理で読み出した受光信号と、第２の読み出し処理で読み出した受光信号との差分の信号から、表示面に接触又は近接した位置を判断する。

本発明によると、表示画面を触れることによる高度な操作が可能になる。

以下、本発明の一実施の形態を、図１〜図１４を参照して説明する。

本例においては、液晶表示ディスプレイとして構成された表示装置に適用したものであり、その液晶表示ディスプレイを構成する各発光素子に隣接して受光素子を配置して、発光（表示）と受光（読み取り）とを並行して行えるように構成したものである。ここでは、発光と受光を並行して行える本例のディスプレイを、画像の入力（受光）と出力（表示）が同時に行えるディスプレイであるので、Ｉ／Ｏディスプレイと称する。また、後述するように本例のＩ／Ｏディスプレイは、画面を触れた状態である接触だけでなく、画面に近接した物体についても検出が可能であり、以下の説明で接触の検出と述べた場合には、特に説明がある場合を除いて、近接の検出をも含むようにしてある。

図１は、本例の表示装置の構成例を示すブロック図である。アプリケーションプログラム実行部１１は、そのアプリケーションプログラム実行部１１が実行中のアプリケーションに応じた画像を表示させる処理を行うと共に、ディスプレイパネルの接触を検出して、接触した表示箇所に応じた処理などを行うようにしてある。アプリケーションプログラム実行部１１は、通信部１１ａを備えて外部のネットワークを介して通信できる構成としてあり、制御部１１ｂがアプリケーションプログラムの実行処理を行う。アプリケーションプログラム実行部１１からの画像の表示の指示は、ディスプレイ表示信号処理回路１２に送られ、Ｉ／Ｏディスプレイパネル２０で画像を表示させるための駆動が行われる。

Ｉ／Ｏディスプレイパネル２０は、液晶表示ディスプレイとして構成され、ガラス基板などの透明な基板上に透明電極などが配置されて、表示エリア（センサエリア）２１に、複数の画素（表示素子）がマトリクス状に形成されたディスプレイであり、背面にバックライト（図示せず）が配置してある。本例のバックライトは、例えば複数の発光ダイオードが配列されたものを使用してあり、比較的高速でバックライトの点灯のオン・オフ制御ができるようにしてある。バックライトでの点灯のオン・オフ制御は、ディスプレイ表示信号処理回路１２での表示駆動に連動して行われる。ディスプレイ表示信号処理回路１２による液晶表示ディスプレイの駆動としては、ディスプレイを構成する画素電極に、駆動用の電圧信号を印加することで行われる。

Ｉ／Ｏディスプレイパネル２０は、表示素子とは別に複数の受光素子が配置してある。即ち、例えば、表示エリア（センサエリア）２１の各表示画素に隣接して、受光素子がマトリクス状に配置してあり、この受光素子への受光光量に対応して蓄積した信号電荷を、受光信号処理部１３からの駆動で読み出す構成としてある。

受光信号処理部１３で読み出されて判定された受光信号（後述する差分画像信号）は、入力情報解析部１４に送られて、接触状態などが画像として判定される。この判定を行う際には、１フレーム前の判定結果との差分を判断して、接触状態の変化についても検出するようにしてある。この場合、記憶装置１５を使用して、所定フレーム期間前からの接触位置の変化の情報を記憶するようにしてある。また、本例においては、複数箇所の同時接触についても判定するようにしてある。判定結果については、所定のメッセージとしてアプリケーションプログラム実行部１１に送られる。アプリケーションプログラム実行部１１では、実行中のアプリケーションに応じた所定の処理を行う。具体的な処理状態の例については後述する。

次に、図２を参照して、本例のＩ／Ｏディスプレイパネル２０のドライバの配置例を説明する。中央に透明な表示エリア（センサエリア）２１が配置されたＩ／Ｏディスプレイパネル２０は、図２に示すように、表示エリア２１の４つの端面に、表示用水平ドライバ２２、表示用垂直ドライバ２３、センサ用水平ドライバ２４、センサ用垂直ドライバ２５が配置してある。表示用水平ドライバ２２と表示用垂直ドライバ２３には、表示用のデータとして、表示信号と制御クロックとが供給されて、表示エリア２１にマトリクス状に配置された表示画素の駆動が行われる。センサ用水平ドライバ２４とセンサ用垂直ドライバ２５には、読み出し用のクロックが供給されて、そのクロックに同期して読み出された受光信号を、受光信号線を介して受光信号処理部１３に供給する。

図３は、表示エリア２１に配置された画素の１つの構成を示した図である。１つの画素３１が備える表示のための構成としては、ここでは水平方向にゲート電極３１ｈが配置してあり、垂直方向にドレイン電極３１ｉが配置してあり、両電極の交点にスイッチング素子３１ａが配置してあり、そのスイッチチング素子３１ａと画素電極３１ｂが接続してある。スイッチチング素子３１ａは、ゲート電極３１ｈを介して得られる信号によりオン・オフが制御され、ドレイン電極３１ｉを介して供給される信号により、画素電極３１ｂでの表示状態が設定される。

そして、画素電極３１ｂに隣接した位置に、受光センサ（受光素子）３１ｃが配置してあり、電源電圧ＶＤＤが供給される。この受光センサ（受光素子）３１ｃには、リセットスイッチ３１ｄとコンデンサ３１ｅが接続してあり、リセットスイッチ３１ｄでリセットされた後、コンデンサ３１ｅで受光量に対応した電荷を蓄積するようにしてある。その蓄積された電荷に比例した電圧が、読み出しスイッチ３１ｇがオンとなるタイミングで、バッファアンプ３１ｆを介して、信号出力用電極３１ｊに供給され、外部に出力される。リセットスイッチ３１ｄのオン・オフは、リセット電極３１ｋに得られる信号により制御され、読み出しスイッチ３１ｇのオン・オフは、読出し制御電極３１ｍに得られる信号により制御される。

図４は、画像の表示（発光）と受光とが、各フレーム期間に行われる状態を示した図である。図４の横軸は時間であり、縦軸は表示や受光を行う走査ライン（水平ライン）の位置を示してあり、表示信号の書き換えや受光信号の読出しは、ここでは１画面の最下段のラインから順に走査ラインを上に変化させて、最後に最上段のライン（１番目のライン）の走査を行う構成としてある。図４では、任意のフレーム位置である、ｎフレーム目の処理と、そのｎフレームの次のフレームであるｎ＋１ｎフレーム目の処理を示してあり、同様の処理が継続して行われる。

ここでは、１フレーム期間は、例えば１／６０秒としてあり、図４に示すように、その１フレーム期間を前半と後半に２等分して分けてあり、前半をバックライトを点灯させる期間としてあり、後半をバックライトを消灯させる期間としてある。そして、受光信号の読出しについては、点灯期間と消灯期間のそれぞれで行うようにしてある。

さらに、バックライトオンの期間と、バックライトオフの期間とを、それぞれ２等分してある。ｎフレーム目では、表示のための画素電極の駆動ラインＧ１は、バックライトオンの期間の前半に、画面の下半分の走査を行って、そのラインの表示状態を、そのフレーム期間の画像に書き換えさせ、バックライトオンの期間の後半では、走査ラインを変化させずに休止期間としてある。バックライトオフの期間の前半には、画面の上半分の走査を行って、そのラインの表示状態を、そのフレーム期間の画像に書き換えさせ、バックライトオフの期間の後半では、走査ラインを変化させずに休止期間としてある。

受光処理については、ｎフレーム目では、バックライトオンの期間の前半に、全てのラインの受光信号を順にリセットさせる処理ＲＳ１を行い、バックライトオンの期間の後半に、全てのラインの受光信号を順に読み出す処理ＲＤ１を行い、それぞれのセンサで一定期間蓄積した受光信号を読み出す。同様に、バックライトオフの期間の前半に、全てのラインの受光信号を順にリセットさせる処理ＲＳ２を行い、バックライトオフの期間の後半に、全てのラインの受光信号を順に読み出す処理ＲＤ２を行い、それぞれのセンサで一定期間蓄積した受光信号を読み出す。

このようにして、１フレーム当り、バックライトがオンでいわゆる自発光時の受光信号読出しと、バックライトがオフで消灯時の受光信号読出しの２回の読出しが行われる。その１フレームの２回の読出し信号は、受光信号処理部１３内のフレームメモリ（図示せず）に入力されて、各画素位置の信号ごとに差分が検出され、その差分の信号が、ノイズ除去された差分受光信号として、入力情報解析部１４に送られる。

図５は、本例の表示装置の形状の例を示した図である。ここでは、例えばユーザが携帯可能な小型・薄型の表示装置１０として構成させてあり、Ｉ／Ｏディスプレイパネル２０の表示エリア２１の表示面をユーザ（操作者）が指ｆ１、ｆ２などで触れることで、操作ができる構成としてある。

図６及び図７は、表示エリア２１の表示面を指で接触した場合の受光信号から検出される画像の例である。例えば図６に示すように、２つの指で同時に異なる個所を触れた場合には、２つの接触部４１，４２が検出される。また、例えば図７に示すように、４つの指で同時に異なる個所を触れた場合には、４つの接触部５１，５２，５３，５４が検出される。なお、受光信号の検出感度によっては、例えば表示面に指を近接させた状態でも、同様な検出が可能である。

この図６、図７に示すような受光画像からの接触位置の検出は、入力情報解析部１４で行われる。そして、入力情報解析部１４では、各フレーム毎の接触位置の変化を検出して、その検出した変化状態に応じたメッセージをアプリケーションプログラム実行部１１側に送るようにしてある。

図８のフローチャートは、各フレームにおける入力情報解析部１４での処理例を示した図で、ここではＮフレーム目の処理と、その次のＮ＋１フレーム目の処理を示してある。まず、Ｎフレームで、受光信号による画像を取得し（ステップＳ１１）、その受光画像を、直前のフレーム期間の画像と比較し（ステップＳ１２）、両受光画像の差分を算出し（ステップＳ１３）、その差分に基づいて前フレームからの接触位置の動きを判断し、接触状態の動きを解析する（ステップＳ１４）。この場合、接触位置が複数ある場合には、その複数の接触位置それぞれを判定して解析する。そして、記憶装置１５（図１）に記憶された所定フレーム期間前からの接触位置の変化の情報と照合し（ステップＳ１５）、制御部１１ｂへ送る接触位置の検出に関するメッセージを決定する（ステップＳ１６）。また、ステップＳ１１で受光画像を取得した場合には、その受光画像を一時保存して、次のフレームの処理に使用する（ステップＳ１７）。

そして次のＮ＋１フレームの受光画像を取得すると（ステップＳ２１）、その受光画像を、ステップＳ１７で一時保存した直前のフレーム期間の画像と比較し（ステップＳ２２）、両受光画像の差分を算出し（ステップＳ２３）、その差分に基づいて前フレームからの１つ又は複数の接触位置の動きを判断し、接触状態の動きを解析する（ステップＳ２４）。そして、記憶装置１５に記憶された所定フレーム期間前からの接触位置の変化の情報と照合し（ステップＳ２５）、アプリケーションプログラム実行部１１の制御部１１ｂへ送る接触位置の検出に関するメッセージを決定する（ステップＳ２６）。

このようにして、各フレーム期間毎に１つ又は複数の接触位置が判定されて、その判定したそれぞれの位置の変化状態に応じたアプリケーションプログラム実行部１１での表示などを行うアプリケーションプログラムの実行が可能になる。

次に、表示画面上の接触（又は近接）の検出に基づいて、アプリケーションプログラムの実行状態を変化させる処理例について、図９〜図１４を参照して説明する。図９の例は、表示エリア２１に比較的大きさの小さい所定形状の表示画像２１ａを表示させた状態で、ユーザの２つの指ｆ１、ｆ２で、その表示画像２１ａの左右の縁を触れた状態とし、その触れた位置の変化で、表示画像２１ａの表示サイズを変化させる表示処理を行うアプリケーションのプログラムを実行させた例としてある。

ここでは、図９に示した状態から指ｆ１、ｆ２で触れる位置を、矢印ａ，ｂで示すように動かしたとする。図１０は、指を動かす前の受光画像の例であり、２つの接触位置６１，６２が検出されている。図１１は、この図１０の状態から指を動かした後の受光画像（例えば図１０から数十フレーム後の画像）の例であり、接触位置６１′，６２′の間隔が離れている。

このように指ｆ１、ｆ２を動かすことで、例えば図１２に示すように、その指ｆ１、ｆ２の矢印ａ，ｂで示した動きが判定されて、その動きに連動して、表示サイズが左右に引き伸ばされた表示画像２１ｂとなり、画像のサイズを変化させるアプリケーションが実行される。表示画像２１ａから表示画像２１ｂへ変化させる処理は、アプリケーションプログラム実行部１１内で表示データを生成させる処理として実行される。このような表示画像を変化させる処理が、複数個所の接触位置の変化で行えることで、複数個所の接触位置の検出に基づいて高度なアプリケーションの実行が可能になる。

図１３の例では、例えば指ｆ１、ｆ２で接触させた状態で、一方の指ｆ２の接触位置だけを、矢印ｃで示すように、円を描くように移動させた操作例である。このような操作を行うことで、例えば表示画像を矢印ｃで示す軌跡で回転させて表示させるようにしてもよい。画像の回転中心は、指ｆ１で触れた位置に設定してもよい。

図１４の例では、３つの指ｆ１、ｆ２、ｆ３で表示エリア２１の表示面上を触れた状態としてある。この状態で、３つの指ｆ１、ｆ２、ｆ３の少なくとも１つを動かすことで、表示画像を変化させるような処理が可能となる。例えば、３つの指ｆ１、ｆ２、ｆ３をある１点に向けてほぼ同時に動かして、その動きの中心座標が求まる場合には、その中心座標位置に表示された画像を選択する処理を行うようにしてもよい。

ここまでは、表示画像の表示状態（表示形状など）を変化させる例について説明したが、複数箇所を同時に指やペンなどで触れて（又は近接させて）、その内の少なくとも１つの位置変化で、様々なアプリケーション処理を行うものに適用可能である。即ち、上述説明したものは、指やペンなどを２箇所以上画面に直接接触させ、その位置が移動（直線、円など任意）することで、ユーザの意図を入力する表示装置である。その入力によって行われる処理として、表示画像そのものを変化させる処理が可能である。また、表示するアプリケーションそのものが、ユーザ操作状態（即ち接触状態）によって変わるようにしてもよい。また、表示するアプリケーションの動作を変えるようにしてもよい。また、ユーザの意図を解析して、その解析された意図に応じた入力受付けを行うようにしてもよい。

なお、上述した実施の形態では、表示パネルとして、液晶ディスプレイを例として説明したが、受光素子を組み込むことが可能なディスプレイであれば、その他の構成のディスプレイにも本発明は適用可能である。

例えば、ＥＬディスプレイに適用することもできる。図１５は、入力（受光）と出力（表示）を行うディスプレイをＥＬディスプレイに適用した場合の各画素の構成例を示した図である。有機ＥＬディスプレイの発光素子４１を発光ダイオードとして示してあり、その発光ダイオード４１には、寄生容量４２が生じている。画像表示のために発光素子４１に、表示データ信号線４３から、表示データをスイッチＳＷ１を介して発光素子４１に供給するようにしてある。従って、表示期間（発光期間）は、スイッチＳＷ１をオンさせている期間で設定される。

そして、発光素子４１で発光が停止している期間には、表示パネルの表面に入射した光量に応じて、発光素子４１に生じた寄生容量４２に、電荷が蓄積する。その蓄積した電荷は、スイッチＳＷ２のオンで、受信データ信号線４５に読み出される。なお、受光期間の開始時には、リセット用のスイッチＳＷ３を一瞬オンさせて、寄生容量４２に発光時に蓄積した電荷を放出させる必要がある。スイッチＳＷ２のオンは、読み出しライン選択線４４に得られる信号で制御される。

このような有機ＥＬディスプレイタイプのＩ／Ｏディスプレイパネルを構成させることで、画像などを表示させながら、そのパネルに接触又は近接したことを検出する処理が可能である。この構成の場合には、例えば１フィールド期間内を２分割して、表示を行う期間と、受光を行う期間を設定することで、双方の処理が可能である。このような構成のＩ／Ｏディスプレイパネルを、図１に示したＩ／Ｏディスプレイパネル２０として使用することで、上述した実施の形態と同様の処理が可能である。

また、ここまでの実施の形態の説明では、図１などに示した構成の表示装置に、複数箇所の接触検出などに基づいて行うアプリケーションを予め組み込んであることを前提としたが、例えば、複数箇所の接触検出状態の変化に応じて、処理状態を変化させるアプリケーションプログラムを作成して、そのプログラムを図１に示した構成の表示装置にインストールして、上述した処理が行われるようにしてもよい。プログラムは、例えば図１に示した通信部１１ａでの通信で取得したり、或いは何らかの記憶媒体を使用して配付するようにしてもよい。

本発明の一実施の形態による表示装置の構成例を示すブロック図である。 本発明の一実施の形態による表示パネルの例を示す構成図である。 本発明の一実施の形態による画素構成例を示す接続図である。 本発明の一実施の形態による表示と受光のタイミング例を示すタイミング図である。 本発明の一実施の形態による装置形状例を示す斜視図である。 本発明の一実施の形態による受光画面例を示す説明図である。 本発明の一実施の形態による受光画面例を示す説明図である。 本発明の一実施の形態による各フレームでの処理例を示すフローチャートである。 本発明の一実施の形態による操作例を示す説明図である。 本発明の一実施の形態による受光画面例を示す説明図である。 本発明の一実施の形態による受光画面例を示す説明図である。 本発明の一実施の形態による操作例を示す説明図である。 本発明の一実施の形態による操作例を示す説明図である。 本発明の一実施の形態による操作例を示す説明図である。 本発明の他の実施の形態による画素構成例を示す接続図である。

符号の説明

１０…表示装置、１１…アプリケーションプログラム実行部、１１ａ…通信部、１１ｂ…制御部、１２…ディスプレイ表示信号処理回路、１３…受光信号処理部、１４…入力情報解析部、１５…記憶装置、２０…Ｉ／Ｏディスプレイパネル、２１…表示エリア（センサエリア）、２２…表示用水平ドライバ、２３…表示用垂直ドライバ、２４…センサ用水平ドライバ、２５…センサ用垂直ドライバ、３１，３２，３３…画素、３１ａ…スイッチチング素子、３１ｂ…画素電極、３１ｃ…センサ素子、３１ｄ…リセットスイッチ、３１ｅ…コンデンサ、３１ｆ…バッファアンプ、３１ｇ…読み出しスイッチ、４１…発光素子、４２…寄生容量、４３…表示データ信号線、４４…読み出しライン選択線、４５…受信データ信号線、ＳＷ１，ＳＷ２，ＳＷ３…スイッチ

Claims (3)

1. フレーム周期で画像の表示を行うと共に、その画像の表示面での表示と並行して受光を行う表示装置において、
   マトリクス状に配置された複数の表示素子と、
   前記表示面に入射した光の受光を行う複数の受光素子と、
   前記複数の表示素子のそれぞれに表示用の画素値を書き込む表示駆動部と、
   前記複数の受光素子で受光した受光信号を読み出す読み出し処理部と、
   １フレーム期間内の発光期間を、第１の分割期間と第２の分割期間に分割し、前記第１の分割期間で前記表示駆動部により前記表示素子に画素値を書込む処理を実行させ、前記第２の分割期間で前記読み出し処理部により前記複数の受光素子の受光信号を読み出す処理を実行させる制御部と、
   前記読み出し処理部で読み出した受光信号から、表示面に接触又は近接した位置を判断する位置検出部とを備え、
   前記制御部による制御として、
   前記複数の表示素子を第１の群の表示素子と第２の群の表示素子に分割し、
   １フレーム期間に非発光期間を設定し、非発光期間についても第１の分割期間と第２の分割期間に分割し、
   前記発光期間の第１の分割期間で前記第１の群の表示素子に画素値を書込む書込み処理を行い、前記発光期間の第２の分割期間で前記複数の受光素子の受光信号を読み出す第１の読み出し処理を行い、
   前記非発光期間の第１の分割期間で前記第２の群の表示素子に画素値を書込む書込み処理を行い、前記非発光期間の第２の分割期間で前記複数の受光素子の受光信号を読み出す第２の読み出し処理を行い、
   前記位置検出部は、前記第１の読み出し処理で読み出した受光信号と、前記第２の読み出し処理で読み出した受光信号との差分の信号から、表示面に接触又は近接した位置を判断する
   表示装置。
2. 前記発光期間の第１の分割期間で、前記受光素子の受光信号をリセットする第１のリセット処理を行い、
   前記非発光期間の第１の分割期間で、前記受光素子の受光信号をリセットする第２のリセット処理を行う
   請求項１記載の表示装置。
3. 前記表示面を背面から照明するバックライトを備え、
   前記発光期間は前記バックライトの発光である
   請求項１又は２に記載の表示装置。

Images