JP4788232B2 - 表示装置及び表示方法 - Google Patents

Description

本発明は、例えば、液晶表示ディスプレイに適用して好適な表示装置及び表示方法に関し、特に、発光と並行して受光も可能な表示技術に関する。

従来、テレビジョン受像機などの表示装置の表示画面上に、その画面に触れることで操作が可能なタッチパネルを構成させる場合、表示装置とは別体のタッチパネルを表示画面上に重ねる構成としてあった。

別体のタッチパネルを使用する構成としては、例えば、画面の上に、透明で薄い入力検出装置を貼り付けたものがある。これは導電性フィルムを用いたタッチセンサで、圧力を検出する感圧式のものや、人体との接触で変化する静電容量式のものなどがある。また、電磁誘導式といわれるもので、特殊なペンを用いて位置を入力するものもある。これらは表示パネルの表面に特殊な位置検出用のパネルをもう一枚重ねた構造となる。

これら検出用のパネルを、表示パネルと重ね合わせて使用するものは、タッチの検出原理は簡単であるが、表示パネルの上に何らかの部材を重ねるために、必然的に表示品質の低下が起こる。また検出方法が主に容量変化を検出する方式であるため、２箇所以上の入力を同時に検出することは困難である。

表面にパネルを追加しないタッチパネルの方式には、光学式のものがある。パネルの上下左右に発光素子（発光ダイオードなど）と、フォトトランジスタを組み合わせて配置し、指などが遮光することにより、位置を検出するものである。このような光学式では表示品質の低下は起こらないが、表示装置の周囲に設置する装置が大掛かりとなり、携帯機器には不向きである。

これらの従来のタッチパネルの不都合を解決するために、近年、別体のタッチパネルを設けることなく、表示装置の画面がそのままタッチパネルとして機能するようにしたものが提案されている。特許文献１には、このような発光と受光を並行して行う表示装置についての開示がある。

このような発光と受光を並行して行う表示装置の例としては、例えば表示面に配置された画像表示用の発光素子での表示（発光）を、間欠的に行い、その発光が休止した期間に、発光素子に隣接して配置した受光素子に受光に応じた電荷を蓄積させて、表示（発光）が休止した期間に、受光素子で受光を行うことが提案されている。
特開２００４−１２７２７２号公報（図５）

この種の発光と受光を同時に行う表示装置を構成させた場合、受光素子が検出する受光信号には、種々のノイズが加わり易い問題があった。ノイズが加わる要因としては、例えば、暗い室内で受光を検出する状態と、明るい日中の屋外で受光を検出する状態とでの受光条件の違いに起因するノイズや、表示装置そのものの構成から生じるノイズなど、種々のものがある。

表示装置の構成から生じるノイズの１つとして、受光素子に隣接して配置された表示用電極に印加される電圧が、受光素子での受光に影響を与えるノイズがある。即ち、例えば黒色を表示させるときに最大の電圧を各画素電極に加える構成の液晶表示ディスプレイで、１画面全体を黒色に表示させる際には、各画素電極に最大電圧が印加された状態となっているが、このような場合には、受光素子にも大きなノイズが加わる状態となっている。このようなノイズの発生は、後述する実施の形態で説明する寄生容量による問題である。このような状態では、受光信号のＳ／Ｎの低下を招く問題があり、良好な接触検出ができなくなる問題があった。

本発明はかかる点に鑑みてなされたものであり、発光と受光を並行して同時（又は交互）に行う場合における、ノイズの除去を簡単に行うことを目的とする。

本発明は、表示面での画像の表示と受光とを同時又は交互に行う場合において、所定状態で配置された複数の画素電極に、表示用の電圧信号の印加を行う場合に、所定単位ごとに＋の極性の電圧信号の印加と、−の極性の電圧信号の印加とを行い、複数の画素電極に隣接して配置された、表示面に入射した光の受光を行う複数の受光素子の受光信号から、印加される電圧信号が＋の極性の電圧信号の印加状態から−の極性の電圧信号の印加状態に変化した画素電極に隣接して配置された受光素子の受光信号を選択し、選択された受光信号に基づいて、表示面に接触又は近接した状態を検出するようにしたものである。

このようにしたことで、画素電極への駆動用電圧の印加があった場合に、隣接した受光素子との間で、その電圧信号による寄生容量が生じる場合があるが、その寄生容量の発生状態は、画素電極に印加される電圧の極性の変化状態によって大きく変動する特性があり、その変動を利用して、寄生容量の発生が少ない極性変化状態の画素電極に隣接した受光素子からの出力だけを選択して、接触又は近接検出に利用することで、ノイズの少ない接触又は近接の検出が可能になる。

本発明によると、ノイズの発生が少ない極性変化状態の画素電極に隣接した受光素子からの出力だけを選択して、接触又は近接検出に利用することで、ノイズの少ない接触又は近接の検出が可能になる。

以下、本発明の一実施の形態を、添付図面を参照して説明する。

本例においては、液晶表示ディスプレイとして構成された表示装置に適用したものであり、その液晶表示ディスプレイを構成する各発光素子に隣接して受光素子を配置して、発光（表示）と受光（読み取り）とを並行して行えるように構成したものである。ここでは、発光と受光を並行して行える本例のディスプレイを、画像の入力（受光）と出力（表示）が同時に行えるディスプレイであるので、Ｉ／Ｏディスプレイと称する。また、後述するように本例のＩ／Ｏディスプレイは、画面を触れた状態である接触だけでなく、画面に近接した物体についても検出が可能であり、以下の説明で接触の検出と述べた場合には、特に説明がある場合を除いて、近接の検出をも含むようにしてある。

図１は、本例の表示装置の構成例を示すブロック図である。アプリケーションプログラム実行部１１は、そのアプリケーション実行部１１が実行中のアプリケーションに応じた画像を表示させる処理を行うと共に、ディスプレイパネルの接触を検出して、接触した表示箇所に応じた処理などを行うようにしてある。アプリケーションプログラム実行部１１からの画像の表示の指示は、表示ドライブ回路１２に送られ、Ｉ／Ｏディスプレイパネル２０で画像を表示させるための駆動が行われる。

Ｉ／Ｏディスプレイパネル２０は、液晶表示ディスプレイとして構成され、ガラス基板などの透明な基板上に透明電極などが配置されて、表示エリア（センサエリア）２１に、複数の画素（表示素子）がマトリクス状に形成されたディスプレイであり、背面にバックライト１５が配置してある。本例のバックライト１５は、例えば複数の発光ダイオードが配列されたものを使用してあり、比較的高速でバックライトの点灯のオン・オフ制御ができるようにしてある。バックライト１５での点灯のオン・オフ制御は、表示ドライブ回路１２での表示駆動に連動して行われる。表示ドライブ回路１２による液晶表示ディスプレイの駆動としては、ディスプレイを構成する画素電極に、駆動用の電圧信号を印加することで行われるが、表示データの１フレーム周期で、それぞれの画素電極に印加する電圧の極性を変化させる、いわゆる交流駆動を行うようにしてある。それぞれの画素に印加する電圧の設定は、表示ドライブ回路１２で表示ライン（水平ライン）単位で行うようにしてあり、各ラインがいずれの極性であるのかを示すライン極性情報を、後述する受光ドライブ回路１３に送るようにしてある。ライン極性情報を使用した処理の詳細については後述する。

Ｉ／Ｏディスプレイパネル２０は、表示素子とは別に複数の受光素子が配置してある。即ち、例えば、表示エリア（センサエリア）２１の各表示画素に隣接して、受光素子がマトリクス状に配置してあり、この受光素子への受光光量に対応して蓄積した信号電荷を、受光ドライブ回路１３からの駆動で読み出す構成としてある。但し本例の場合には、後述するように、ノイズの影響の少ないラインの信号電荷だけを読み出すようにしてある。受光ドライブ回路１３は、内部にフレームメモリ１３ａを備えて、後述する受光信号の読み出し時に必要な判定処理に使用するようにしてある。

受光ドライブ回路１３で読み出されて判定された受光信号（後述する差分画像信号）は、画像処理部１４に送られて、接触状態などが画像として判定され、必要により接触中心の座標位置などが判定され、判定結果（座標データ、認識結果など）がアプリケーションプログラム実行部１１に送られる。アプリケーション実行部１１では、実行中のアプリケーションに応じた処理を行う。例えば、表示画像中に、接触を検出した箇所や範囲などを表示させる処理を行う。

次に、図２を参照して、本例のＩ／Ｏディスプレイパネル２０のドライバの配置例を説明する。中央に透明な表示エリア（センサエリア）２１が配置されたＩ／Ｏディスプレイパネル２０は、図２に示すように、表示エリア２１の４つの端面に、表示用水平ドライバ２２、表示用垂直ドライバ２３、センサ用水平ドライバ２４、センサ用垂直ドライバ２５が配置してある。表示用水平ドライバ２２と表示用垂直ドライバ２３には、表示用のデータとして、表示信号と制御クロックとが供給されて、表示エリア２１にマトリクス状に配置された表示画素の駆動が行われる。センサ用水平ドライバ２４とセンサ用垂直ドライバ２５には、読み出し用のクロックが供給されて、そのクロックに同期して読み出された受光信号を、受光信号線を介して受光ドライブ回路１３に供給する。

図３は、表示エリア２１に配置された画素の１つの構成を示した図である。１つの画素３１が備える表示のための構成としては、ここでは水平方向にゲート電極３１ｈが配置してあり、垂直方向にドレイン電極３１ｉが配置してあり、両電極の交点にスイッチチング素子３１ａが配置してあり、そのスイッチチング素子３１ａと画素電極３１ｂが接続してある。スイッチチング素子３１ａは、ゲート電極３１ｈを介して得られる信号によりオン・オフが制御され、ドレイン電極３１ｉを介して供給される信号により、画素電極３１ｂでの表示状態が設定される。

そして、画素電極３１ｂに隣接した位置に、受光センサ（受光素子）３１ｃが配置してあり、電源電圧ＶDDが供給される。この受光センサ（受光素子）３１ｃには、リセットスイッチ３１ｄとコンデンサ３１ｅが接続してあり、リセットスイッチ３１ｄでリセットされた後、コンデンサ３１ｅで受光量に対応した電荷を蓄積するようにしてある。その蓄積された電荷に比例した電圧が、読み出しスイッチ３１ｇがオンとなるタイミングで、バッファアンプ３１ｆを介して、信号出力用電極３１ｊに供給され、外部に出力される。リセットスイッチ３１ｄのオン・オフは、リセット電極３１ｋに得られる信号により制御され、読み出しスイッチ３１ｇのオン・オフは、読出し制御電極３１ｋに得られる信号により制御される。

ここまでが表示と受光のための画素３１の構成であるが、１つの画素に、受光センサ３１ｃと画素電極３１ｂとを隣接して設けた場合、図３に破線で接続を示すように、寄生容量３１ｘが生じて、画素電極３１ｂに印加される電圧に、受光センサ３１ｃ側が影響されてしまう。本例においては、後述する処理を行うことで、その影響が最終的に出力される受光検出信号に現れないようにしてある。

図４及び図５は、画像の表示（発光）と受光とが、各フレーム期間に行われる状態を示した図である。図４は、表示と受光を合わせて示してあり、図５は表示の走査（ａ）と受光の走査（ｂ）とを分けて示してある。図４及び図５の横軸は時間であり、縦軸は表示や受光を行う走査ライン（水平ライン）の位置を示してあり、表示信号の書き換えや受光信号の読出しは、ここでは１画面の最下段のラインから順に走査ラインを上に変化させて、最後に最上段のライン（１番目のライン）の走査を行う構成としてある。図４及び図５では、ｎフレーム目の処理と、そのｎフレームの次のフレームであるｎ＋１ｎフレーム目の処理を示してあり、同様の処理が継続して行われる。

ここでは、１フレーム期間は、例えば１／６０秒としてあり、図４に示すように、その１フレーム期間を前半と後半に２等分して分けてあり、前半をバックライトを点灯させる期間としてあり、後半をバックライトを消灯させる期間としてある。そして、受光信号の読出しについては、点灯期間と消灯期間のそれぞれで行うようにしてある。

さらに、バックライトオンの期間と、バックライトオフの期間とを、それぞれ２等分してある。例えば図５（ａ）に示すように、ｎフレーム目では、表示のための画素電極の駆動ラインＧ１は、バックライトオンの期間の前半に、画面の下半分の走査を行って、そのラインの表示状態を、そのフレーム期間の画像に書き換えさせ、バックライトオンの期間の後半では、走査ラインを変化させずに休止期間Ｓ１としてある。バックライトオフの期間の前半には、画面の上半分の走査を行って、そのラインの表示状態を、そのフレーム期間の画像に書き換えさせ、バックライトオフの期間の後半では、走査ラインを変化させずに休止期間Ｓ２としてある。

受光処理については、例えば図５（ｂ）に示すように、ｎフレーム目では、バックライトオンの期間の前半に、全てのラインの受光信号を順にリセットさせる処理ＲＳ１を行い、バックライトオンの期間の後半に、全てのラインの受光信号を順に読み出す処理ＲＤ１を行い、それぞれのセンサで一定期間蓄積した受光信号を読み出す。同様に、バックライトオフの期間の前半に、全てのラインの受光信号を順にリセットさせる処理ＲＳ２を行い、バックライトオフの期間の後半に、全てのラインの受光信号を順に読み出す処理ＲＤ２を行い、それぞれのセンサで一定期間蓄積した受光信号を読み出す。

このようにして、１フレーム当り、バックライトがオンでいわゆる自発光時の受光信号読出しと、バックライトがオフで消灯時の受光信号読出しの２回の読出しが行われる。その１フレームの２回の読出し信号は、受光ドライブ回路１３内で、フレームメモリ１３ａに入力されて、各画素位置の信号ごとに差分が検出され、その差分の信号が、ノイズ除去された差分受光信号として、画像処理部１４に送られる。

さらに本例においては、各画素の画素電極に印加される電圧信号が、直前のフィールド期間と現フィールド期間との間で、所定の極性変化があった画素についてだけ、図３に示した読み出しスイッチ３１ｇをオンとして、受光信号を読み出すようにしてある。

ここで、各画素の画素電極に印加される電圧信号について説明すると、既に説明したように液晶表示パネルの駆動電圧は交流駆動である。この交流駆動の詳細について説明すると、例えばあるフィールド期間では、図６（ａ）に示すように、第１水平ラインから順に、極性−の電圧信号、極性＋の電圧信号、極性−の電圧信号、‥‥と変化する。そして、次のフィールド期間では、図６（ｂ）に示すように、第１水平ラインから順に、極性＋の電圧信号、極性−の電圧信号、極性＋の電圧信号、‥‥と変化し、同じラインで見た場合に、１フィールド毎に印加される電圧の極性が変化する。

このような電圧変化がある場合において、＋の極性の電圧信号の印加状態から、−の極性の電圧信号の印加状態に変化した画素電極に隣接して配置された受光素子に蓄積した信号を読み出すようにしてある。−の極性の電圧信号の印加状態から、＋の極性の電圧信号の印加状態に変化した画素電極に隣接して配置された受光素子に蓄積した信号については読み出さない。

このようにして読み出す画素を選択することで、１水平ラインずつ間引いた信号が読み出し信号となるが、表示画素を構成する画素電極に印加される電圧信号の影響によるノイズの発生を抑えることができる。即ち、図３に示した寄生容量３１ｘの影響で、−の極性の電圧信号の印加状態から、＋の極性の電圧信号の印加状態に変化した画素電極に隣接したセンサ３１ｃには、ノイズが重畳されてしまう問題がある。特に、印加される電圧値が高い程ノイズ値が高くなってしまう。ここで、先に説明したように、そのノイズが発生する可能性のある、−の極性の電圧信号の印加状態から、＋の極性の電圧信号の印加状態に変化した画素電極に隣接したセンサ３１ｃの出力については読み出さず、ノイズの影響（寄生容量３１ｘの影響）のないセンサ３１ｃの出力だけを読み出すようにしたことで、表示電圧の影響を除去した受光信号の出力が得られる。全てのラインの信号を読み出す場合に比べて、受光信号が得られるライン数が半分になり、接触を検出する解像度が半分に低下することになるが、指などの接触や近接を検出するのには十分な解像度を有する。

ここで、ノイズが発生する原理について説明する。図６のラインＮに注目して説明する。いまディスプレイには、図６（ａ）の状態の画面が表示されているとする。すなわち、Ｎラインの画素電極にはマイナスの電圧がかかっている。次に、図６（ｂ）の状態にリフレッシュされる前に、センサのリセットスイッチ１３ｄが入ることで、センサ部分の容量はリセット電圧にセットされる。その後、図６（ｂ）の状態の画面になるので、Ｎラインにはプラス側の電圧が充電される。このとき、リセットスイッチ１３ｄはオープンなので、センサ部分の容量は寄生容量３１ｘ（図３参照）の影響で、もともとのリセット電圧に対して上昇する。ノーマリーホワイト液晶の場合、黒を表示する場合が最も電圧がかかる状態であるので、プラス側の黒の表示がきたときに、最も表示ノイズがでて、受光信号は高い電圧を示す。いまセンサ部分の電圧が高い（即ち強い光で明るい）という状態であるので、ノイズを受けたＮラインは光が当たったのと同じ状況になり、Ｓ／Ｎが悪くなる。反対に、Ｎラインを図６（ｂ）の状態から図６（ａ）の状態にリフレッシュするときは、センサ部分の容量はマイナス側に引っ張られるため、電気的なノイズで光があった状態にはならず、Ｓ／Ｎは維持できる。

Ｎ＋１ライン目は、Ｎラインとは逆の動きになる。これは図６に示すように、１ライン毎にプラス・マイナスの極性を反転させているからである。このように１ライン毎にプラス・マイナスの極性を反転させている液晶ディスプレイは、液晶表示ディスプレイとして一般的なものである。従って、Ｎラインでノイズが激しくＳ／Ｎが低下したときは、Ｎ＋１やＮ−１ラインではＳ／Ｎを維持できる。このように、Ｓ／Ｎが悪くなるラインと維持できるラインは1ライン毎に現れる。これは信号のプラス・マイナスで決まる問題であるので、ドライブ回路側でこの信号のプラス・マイナス情報を持てばＳ／Ｎの悪いラインの信号処理をやめて、Ｓ／Ｎが良い方のみを毎フィールド（フレーム）で選択して処理を行えるようになり、ノイズを除去できる。このようにしてノイズ除去を行うことで、ノイズ除去にかける回路負担やソフトウエアの負担を軽くすることが可能になる。

図７のフローチャートは、各画素での表示と受光の１フレーム期間での処理状態を示したものであり、左側は表示処理を示し、右側は受光処理を示す。フローチャートに従って説明すると、まず表示ドライブ回路１２の制御で実行される表示処理としては、１ライン毎の極性設定を行い（ステップＳ１１）、その設定した極性で各ラインの画素電極に、表示用の電圧信号を印加する（ステップＳ１２）。この処理を１フレームごとに繰り返す。

そして、受光ドライブ回路１３の制御で実行される受光処理としては、ステップＳ１１で設定した各ラインの極性情報を取得して判定し（ステップＳ２１）、＋の極性の電圧信号の印加状態から、−の極性の電圧信号の印加状態に変化したラインを選択し（ステップＳ２２）、そのラインのセンサが受光した信号を取り出し（ステップＳ２３）、その取り出したラインについて、バックライトオン時の受光信号とバックライトオフ時の受光信号との差分を検出して（ステップＳ２４）、その差分信号を、該当するラインの接触又は近接検出信号とする。ここまでの処理を１フレームごとに繰り返す。

図８は、表示される画像と、その画像によるノイズが受光信号に表れる状態の例を示した図である。図８(ａ)に示すようにテストパターンを表示パネルに表示させて、その表示パネルを図４に示すように駆動し、各画素に配置された受光センサで検出した信号状態を示したものが、図８（ｂ）である。この例では、何もパネルに接触していない状態を示してあり、受光状態の上半分については、ノイズ除去していない状態（即ち全てのラインの画素のセンサ出力を読み出した状態）を示してあり、下半分については、上述した本例の処理でノイズ除去した状態（即ち半分のラインの画素のセンサ出力を読み出した状態）を示す。

図８（ｂ）を見ると判るように、ノイズ除去していない上半分については、図８(ａ)のテストパターン画像の輝度に対応したライン状のノイズが発生しているが、ノイズ除去した下半分については、このようなノイズ成分がない良好な検出出力となっている。なお、ノイズが発生する位置については、使用する液晶表示パネルが、ノーマリーホワイト液晶パネルであるか、ノーマリーブラック液晶パネルであるかによって、異なる。即ち、画素電極に加わる電圧が高くなる位置が、これらの液晶パネルの種類によって逆であり、ノイズは電圧が高い位置に発生するために、パネル種類により異なる位置にノイズが発生することになる。

なお、上述した実施の形態の説明では、表示パネル内の画素に配置した受光センサの出力を読み出す読出しスイッチ（図３のスイッチ３１g）の制御で、ノイズのない画素の受光信号を読み出すようにしたが、例えば、受光信号の読出しについては全ての画素のセンサ出力を読み出すようにして、その後の回路（例えば図２の受光ドライブ回路１３内のフレームメモリ）での処理で、ノイズのある画素位置（ライン）の信号を除去するようにしても良い。

また、図３に示した受光センサ３１ｃとしては、種々の構成のセンサが使用可能である。即ち、例えばＰＮダイオード、ＰＩＮダイオード、ＴＦＴトランジスタなどの種々の素子構成が適用可能であり、受光信号を電圧として出力する種々のシステムにおいて有効である。

また、上述した実施の形態では、表示パネルとして、液晶ディスプレイを例として説明したが、受光素子を組み込むことが可能なディスプレイであれば、その他の構成のディスプレイにも本発明は適用可能である。

本発明の一実施の形態による表示装置の構成例を示すブロック図である。 本発明の一実施の形態による表示パネルの例を示す構成図である。 本発明の一実施の形態による画素構成例を示す接続図である。 本発明の一実施の形態による表示と受光のタイミング例を示すタイミング図である。 図４のタイミング図を表示（ａ）と受光（ｂ）で分解して詳細に示したタイミング図である。 本発明の一実施の形態による走査ラインの極性設定例を示す説明図である。 本発明の一実施の形態による各フレーム期間の処理例を示したフローチャートである。 一実施の形態による処理を実行しない場合のノイズ発生例を示した説明図である。

符号の説明

１１…アプリケーションプログラム実行部、１２…表示ドライブ回路、１３…受光ドライブ回路、１３ａ…フレームメモリ、１４…画像処理部、１５…バックライト、２０…Ｉ／Ｏディスプレイパネル、２１…表示エリア（センサエリア）、２２…表示用水平ドライバ、２３…表示用垂直ドライバ、２４…センサ用水平ドライバ、２５…センサ用垂直ドライバ、３１，３２，３３…画素、３１ａ…スイッチチング素子、３１ｂ…画素電極、３１ｃ…センサ素子、３１ｄ…リセットスイッチ、３１ｅ…コンデンサ、３１ｆ…バッファアンプ、３１ｇ…読み出しスイッチ、３１ｘ…寄生容量

Claims (3)

1. 画像の表示と受光とを同時又は交互に行う表示装置において、
   所定状態で配置されて、表示用の電圧信号が印加される複数の画素電極と、
   前記複数の画素電極に印加する電圧信号の極性を制御し、その極性の制御として、所定単位ごとに＋の極性の電圧信号の印加と、−の極性の電圧信号の印加とを行う制御部と、
   前記複数の画素電極に隣接して配置されて、表示面に入射した光の受光を行う複数の受光素子と、
   前記制御部の制御で、前記受光素子の受光信号の中から、印加される電圧信号が＋の極性の電圧信号の印加状態から−の極性の電圧信号の印加状態に変化した画素電極に隣接して配置された受光素子の受光信号を選択する選択部と、
   前記選択部で選択された受光信号に基づいて、表示面に接触又は近接した状態を検出する検出部とを備えた
   表示装置。
2. 請求項１記載の表示装置において、
   ＋の極性の電圧信号を印加する画素電極と、−の極性の電圧信号の印加する画素電極を、１ライン毎に設定するようにした
   表示装置。
3. 表示面での画像の表示と受光とを同時又は交互に行う表示方法において、
   所定状態で配置された複数の画素電極に、表示用の電圧信号の印加を行う場合に、所定単位ごとに＋の極性の電圧信号の印加と、−の極性の電圧信号の印加とを行い、
   前記複数の画素電極に隣接して配置された、表示面に入射した光の受光を行う複数の受光素子の受光信号から、印加される電圧信号が＋の極性の電圧信号の印加状態から−の極性の電圧信号の印加状態に変化した画素電極に隣接して配置された受光素子の受光信号を選択し、
   前記選択された受光信号に基づいて、表示面に接触又は近接した状態を検出する
   表示方法。