JP4703206B2 - 画像取込機能付き表示装置 - Google Patents

Description

本発明は、画素毎に光センサ素子を備え、光を媒介にして画面から情報の入力が可能な画像取込機能付き表示装置に関する。

画素毎に光センサ素子を備え、各光センサ素子により画面から入力された光を検出することにより画像を取り込む機能を備えた表示装置としては、例えば特許文献１に記載の技術が知られている。

この種の表示装置は、画面に人の指が近づいたときに、指で反射した画面からの光を光センサ素子により受光して受光量に応じた電流を流し、この電流を検知することで、画面上における指が位置する領域を認識可能な撮像画像を得る。
特開２００４−９３８９４号公報

しかしながら、従来の表示装置では、全ての光センサ素子の感度が単一であったため、外光が弱い場合と強い場合のいずれか一方で画像の読み取りができないという問題があった。

例えば、高感度センサを用いた場合、弱い外光下であれば、画面上の表示パターンが指で反射して光センサに入力されるので、その表示パターンを撮像画像として得ることができる。一方、強い外光下では外光(ガラス基板や偏光板等の界面での多重反射光)が指と画面との間に入り込み、センサが高感度ゆえに撮像画像は全面白になってしまう。

本発明は、上記に鑑みてなされたものであり、その目的とするところは、外光が強い場合でも弱い場合でも光による情報入力を実現し得る画像取込機能付き表示装置を提供することにある。

本発明に係る画像取込機能付き表示装置は、複数の画素を備えた画素領域と、画素毎に設けられた光センサ素子とを有し、受光感度が異なる２種以上の光センサ素子を画素領域上に配置したことを特徴とする。

本発明にあっては、受光感度が異なる２種以上の光センサ素子を画素領域上で規則的に配置したことで、外光が弱い場合には感度が高い方の光センサ素子により光情報入力が可能となるようにし、外光が強い場合には感度が低い方の光センサ素子により光情報入力が可能となるようにする。

光センサ素子を画素領域上で規則的に配置する際には、光センサ素子を行毎に感度を変えて配置するか、光センサ素子を列毎に感度を変えて配置することが望ましい。また、光センサ素子を市松状に感度を変えて配置してもよい。

ここで、感度が異なる複数の光センサ素子を画素領域上で魔方陣を構成するように配置することが望ましい。この場合、複数の光センサ素子の読取り値の平均値をもって魔方陣に含まれる注目画素の読み取り階調値とすることが望ましい。

また、感度が異なる複数の光センサ素子を画素領域上で１ラインおきにみて魔方陣を構成するように配置することが望ましい。この１ラインおきは、横１ラインおき、縦１ラインおき、横１ラインおき及び縦１ラインおき、のうちのいずれかとすることが望ましい。

本発明に係る画像取込機能付き表示装置によれば、外光が強い場合でも弱い場合でも光情報入力を実現できる。

以下、本発明を実施するための最良の形態について図面を用いて説明する。

図１は、第１の実施形態の画像取込機能付き表示装置における複数種の光センサ素子を配置した状態を示す平面図である。同図の表示装置は、複数の画素２１，２２を備えた画素領域２３と、画素毎に設けられた光センサ素子（図示せず）とを有し、受光感度が異なる２種以上の光センサ素子を画素領域２３上で規則的に配置した構成である。

光センサ素子は、例えば、ｐ領域、ｉ領域、ｎ領域を備えたゲート制御型のダイオードとする。低感度の光センサ素子は、例えばｐ+、ｐ-、ｎ-、ｎ+の領域をこの順に配置した構成とし、高感度の光センサ素子は、例えばｐ+、ｐ-、ｎ+の領域をこの順に配置した構成とする。この場合、低感度の光センサ素子ではｐ-、ｎ-の領域がｉ領域に相当し、高感度の光センサ素子ではｐ-の領域がｉ領域に相当する。ここで、ｐ+領域はｐ型不純物の濃度が高い領域であり、ｐ-領域はｐ型不純物の濃度が低い領域である。同様に、ｎ+領域はｎ型不純物の濃度が高い領域であり、ｎ-領域はｎ型不純物の濃度が低い領域である。

図１では、画素領域２３上で行毎に感度を変えて光センサ素子が配置された状態を示している。ここでは、一例として、低感度の光センサ素子を備えた画素２１が配列された行と、高感度の光センサ素子を備えた画素２２が配列された行とが１行ごとに交互に配置されている。

図２の断面図に示すように、本画像取込機能付き表示装置は、ガラス製のアレイ基板１とこれに対向配置された対向基板２との間隙に液晶層３を備える。アレイ基板１上では複数の走査線と複数の信号線とが交差するように配線され、各交差部に画素が配置される。各画素は、液晶層に電圧を印加するための画素電極、走査線に供給されてきた走査信号の指示によりオン・オフすることで信号線に供給されてきた映像信号を適切なタイミングで画素電極に印加するスイッチング素子、外部からの光を受光して電流に変換する光センサ素子４を備える。アレイ基板１の外側表面には偏光板５が配置され、対向基板２の外側表面には偏光板６が配置され、偏光板６の外側表面にバックライト７が配置される。

バックライト７が出力した光１１は、偏光板６、対向基板２、液晶層３、アレイ基板１、偏光板５を介して表示装置の外部へ出力される。そして、偏光板５の外側表面に人の指１０が近接してきたときに、光１１は指１０で反射される。指１０で反射された光１１は光センサ素子４により受光される。光センサ素子４は、受光量に応じた電流を流す。本画像取込機能付き表示装置は、この電流を検知することで、画面上における指が位置する領域を認識可能な撮像画像を得る。

次に、本画像取込機能付き表示装置の動作について説明する。図３に示すように、ここでは一例として、画面に市松状の表示パターンが表されている場合を想定する。

弱い外光下で画面に指１０が近接したときの撮像画像は図４のようになる。この場合、外光の影響が弱いので指１０は市松状の表示パターンを反射する。感度が高い方の光センサの撮像画像のみ抜き出すと、感度が高い方の光センサ素子ではこの反射光を検出できるので、図４（ａ）に示すように指が近接した領域における市松状の表示パターンが撮像画像として得られる。これに対し、感度が低い方の光センサの撮像画像のみ抜き出すと、感度が低い方の光センサ素子では光を検出できず、同図（ｂ）に示すように全面黒の撮像画像となる。実際には図４（ａ）と（ｂ）の双方の撮像画像が重畳した画像が得られるので、弱い外光下でも光情報入力を可能とすることができる。

一方、強い外光下で画面に指１０が近接したときの撮像画像は図５のようになる。この場合、外光の影響が強いため、感度が高い方の光センサ素子では、検出した受光量に応じて流す電流が多すぎるので、図５（ａ）に示すように全面白の撮像画像となる。これに対し、感度が低い方の光センサ素子のうち外光が直接入射する光センサ素子では、低感度とはいえ受光量に応じて流す電流量が多すぎるので撮像画像は白となるが、外光が指１０によって遮られ直接入射しない光センサ素子では、低感度ゆえ市松パターンの撮像画像は得られないが、少なくとも指が位置する領域については撮像画像は黒となる。実際には図５（ａ）と（ｂ）の双方の撮像画像が重畳した画像が得られる。適切な画像処理を行うことにより、強い外光下の場合には、指１０が位置する領域を認識可能な撮像画像が得られる。図５（ａ）と（ｂ）の双方の撮像画像が重乗した画像から市松パターンに近い部分を検出してもよいし、あるいは、図５（ａ）と（ｂ）の双方の撮像画像が重乗した画像を図５（ａ）と（ｂ）のそれぞれごとに分離して市松パターンに近い部分を検出してもよい。

したがって、本実施の形態によれば、受光感度が異なる２種以上の光センサ素子を画素領域上で規則的に配置したことで、外光が弱い場合には感度が高い方の光センサ素子によって光情報が入力された撮像画像が得られ、外光が強い場合には感度が低い方の光センサ素子によって光情報が入力された撮像画像が得られるので、外光が強い場合でも弱い場合でも光情報入力を実現することができる。

本実施の形態においては、光センサ素子を画素領域上で行毎に感度を変えて配置することとしたが、これに限られるものではない。以下、様々な変形例について説明する。

図６の平面図に示すように、第２の実施形態の画像取込機能付き表示装置は、光センサ素子を画素領域上で列毎に感度を変えて配置した構成である。同図では、一例として、低感度の光センサ素子を備えた画素２１が配列された列と、高感度の光センサ素子を備えた画素２２が配列された列とが交互に配置された状態を示している。このように光センサ素子を配置した場合も、第１の実施の形態と同様の効果を奏することができる。

図７の平面図に示すように、第３の実施形態の画像取込機能付き表示装置は、光センサ素子を画素領域上で市松状に感度を変えて配置した構成である。同図では、一例として、低感度の光センサ素子を備えた画素２１と、高感度の光センサ素子を備えた画素２２とが市松状に配置された状態を示している。このように光センサ素子を配置した場合も、第１の実施の形態と同様の効果を奏することができる。

図８の平面図に示すように、第４の実施形態の画像取込機能付き表示装置は、感度が異なる３種類の光センサ素子を規則的に配置した構成である。同図では、一例として、低感度の光センサ素子を備えた画素３１が配列された列と、中感度の光センサ素子を備えた画素３２が配列された列と、高感度の光センサ素子を備えた画素３３が配列された列とが交互に配置された状態を示している。このように光センサ素子を配置した場合も、第１の実施の形態と同様の効果を奏することができる。

なお、３種類以上の感度の光センサ素子を、行毎や列毎に感度を変えて配置するようにしてもよいし市松状に配置してもよい。

また、光センサ素子の感度は、光センサ素子がゲート制御型のダイオードの場合には、ゲート電極の電圧を変えることで調整することができ、また光センサ素子の幅と長さのうちの少なくとも一方を変えることでも調整することができる。

図９の平面図に示すように、第５の実施形態の画像取込機能付き表示装置は、感度が異なる複数の光センサ素子を、画素領域上で魔方陣を構成するように配置した構成である。ここでいう「魔方陣を構成」とは、感度が異なる光センサ素子を規則的に配置した一定数×一定数の画素領域を繰り返し配置することをいう。同図では、一例として９種類の光センサ素子が規則的に配置された３×３の画素領域を繰り返し配置した状態を示す。同図の数字は光センサ素子の感度を表している。数字に比例して一定の光に対してセンサに流れる光電流の値が大きくなる。

このような配置の場合、センサが読取った信号を、外部の信号処理部（不図示）において、次のように処理する。まず、注目画素を含む周囲９画素の読取り値（それぞれは０か１）の平均値をもって３×３の画素領域における中央の注目画素の階調値とする。これを全画素について行う。このようにして新たな多階調画像が得られる。こうして得た多階調画像はさまざまな環境光下において、指等による指示部が白つぶれたり黒つぶれたりすることが起こりにくく、読み取りを確実に行える確率が高まる。この画像について所定の画像処理をすることにより、正確な動作をさせることができる。例えば、この多階調画像をもとに座標検出等の動作を行うようにする。

図１０の平面図に示すように、第６の実施形態の画像取込機能付き表示装置は、感度が異なる９種類の光センサ素子を、横１ラインおきにみて３×３画素毎に魔方陣を構成するように配置した構成である。同図の数字は光センサ素子の感度を表している。数字に比例して一定の光に対して光センサ素子に流れる光電流の値が大きくなる。任意の３×３画素は魔方陣となっている。このような配置の場合、横１ラインおきに駆動をする際に、第５の実施形態と同様の効果が得られる。また、縦１ラインおきにみて３×３画素毎に魔方陣を構成するように配置した場合、縦１ラインおきの駆動をする際に同様の効果が得られる。

次に、画素の駆動極性を考慮した光センサ素子の配置について説明する。ここでは、横１ラインごとに画素の駆動極性が正と負で異なる場合を想定する。

図１１の極性分布図は、正極性の横ラインと負極性の横ラインが交互に配置された状態を示している。同図では、正極性を＋、負極性を−で示す。このような駆動極性では、第５実施形態のように、感度の異なる９種類の光センサ素子を３×３の画素領域に配置した場合、この画素領域内で正極性と負極性の数が異なるため、これらの階調値の平均値でもって３×３の画素領域における中央の注目画素の多階調値としても、正しい値は得られない。

そこで、第７の実施形態の画像取込機能付き表示装置では、感度が異なる複数の光センサ素子を、横１ラインおき及び縦１ラインおきにみて魔方陣を構成するように配置する。ここでは、一例として、図１２の平面図に示すように、９種類の光センサ素子を、横１ラインおき及び縦１ラインおきにみて３×３画素毎に魔方陣を構成するように配置する。同図では、正極性を斜線で示し、負極性を斜線なしで示している。

同図の画素領域４１についてみると、同図の数字を丸で囲んだ画素が、横１ラインおき及び縦１ラインおきにみたときの３×３画素に相当する。これらの画素の極性は、共通して正極性となっている。なお、同図の数字は光センサ素子の感度を表しており、数字に比例して一定の光に対して光センサ素子に流れる光電流の値が大きくなる点は、上記各実施の形態と同様である。

画素領域４１における中央の注目画素の多階調値を求める際には、数字を丸で囲んだ９個の画素の階調値の平均をとる。これらの画素の階調値は全て正極性なので、正しい多階調値が得られる。

同図の画素領域４２についてみると、数字を丸で囲んだ、横１ラインおき及び縦１ラインおきにみたときの３×３画素の極性は全て負極性となっている。よって、中央の注目画素の多階調値を求める際に、これらの画素の階調値の平均をとることで、正しい多階調値が得られる。本実施形態では３ｘ３画素で説明したが４ｘ４画素や８ｘ８画素でもよい。センサ用ＩＣの内部構成（所定範囲の画素の値を用いて一つの階調値を算出する部分）を考慮すると、魔方陣を４ｘ４画素で構成し、前記所定範囲を１６ｘ１６画素とする場合が効率よくＩＣのメモリを構成できる。ＩＣのメモリは８ｂｉｔで１ワードとして配置・構成されることがおおいからである。図１３は４ｘ４の魔方陣の一例である。図１４はこれを1行1列飛ばしにして用いる例である。加工精度からセンサのＷ長の最小値（例えば４ｕｍ）と開口率の制約からセンサのＷ長の上限値（例えば３６ｕｍ）としこの間を等差分割
ている。図１５は変形例である。センサのＷ長の最小値と最大値の間を等差９分割しそれより大きいＷ長に相当する部分は最大のＷ長としつつｐｉｎセンサのｉ層の長さを変えている。このようにすると低照度で反応しうるＷ長の大きいセンサを多くでき、ｉ層の長さを変えていることにより多少のプロセス変動により最適ｉ層が変化してもいずれかのセンサが最適ｉ層長に近い値となり適正に動作するようになり、製造マージンが広がる。図１６は図１５の空欄を埋めたものである。魔方陣を反転配置したりしてなるべく周期的な表示ムラ及び撮像ムラを避けるようにする。

このように、本実施の形態によれば、駆動極性の影響を排除して、正極性の画素についても負極性の画素についても正しい多階調値を得ることが可能となる。

上記各実施の形態によれば、感度が異なる複数の光センサ素子を配置したことで、暗い環境下では感度の高いセンサが反応し、明るい環境下では、感度が低いセンサが反応するので、結果としてダイナミックレンジが広い多階調値を得ることができる。また、環境光に応じた感度の光センサ素子が反応するので、撮像時間を短縮することができ、結果として単位時間当りの撮像フレーム数を増やすことができる。

携帯電話用液晶表示装置（ＬＣＤ）は透明アクリル板を保護板として組み合わせて用いることが多い。この場合、指は液晶セルを直接タッチするのでなく保護板表面にタッチすることになる。したがって液晶セルに内蔵された光センサは指の下であっても保護板と液晶セルの間、液晶セルのガラスの液晶界面と偏光板界面の間、バックライト表面とガラスの偏光板界面の間等の多重反射光（迷光）により光を感じて反応してしまうため「読取り結果が白い部分は外光」／「黒い部分が指」という単純な2値の読み取りでは強外光下で白トビして指の識別ができなくなる。指そのものは光源を有しないので強いＳ／Ｎ比を得ることは難しく特定の照度を閾値としてそれより上を白、それより下を黒として読みとり処理をする2値読取りでは指影が背景区別できなくなる（白トビする）場合が生じ問題となる。（この問題は保護板がなくてもガラス基板の厚みがあるので程度の差こそあれ上述の全ての実施形態で同様である）
そこで指の階調と背景の階調差を読取る構成が必要となる。読取り生データ（２値）を面積階調化処理することが考えられる。さらにセンサの水準数を増やすことにより白トビ対策を行うこととした。ここで、面積階調化処理とは注目画素の近傍の複数のセンサの2値出力の平均値を計算して新たな階調値とすることをいう。近傍の大きさは指などの指示物の大きさとセンサのピッチ等から最適化することができる。センサの水準数を増やすとは以下のことをいう。暗所で有効な比較的高感度なセンサのほかにわざと鈍感なセンサを複数水準混載し、より広い照度範囲下でそれぞれを機能させ白トビさせないようにする。このような点からも上述の各実施形態が有効である。また、複数の水準のセンサを内蔵した画素はどうしても形状が微小に異なる。これが規則配置されていると通常の表示をした際に周期的な表示ムラが見えやすくなる。また撮像画像に周期的なムラが生じることもある。したがってこれら複数のセンサを有した複数の画素は不規則は位置するのがよい。上述の魔方陣配置はその例の一つである。センサの水準は上述の例では１：２：…：９として説明したが厳密に等差の必要はない。また等比でもよい。水準数は９としたが限定されない。外光照度に対して反応するセンサの数の増加があればよい。外光照度が増加しているのに反応するセンサの増加が無い部分を有するとまずい。その領域では外光と指の階調差を読取れないからである。

同様のことは多階調Ａ／Ｄコンバータを用いてガラス基板上のセンサの出力を初めから多階調信号として読取ることによっても可能だが、本発明の構成（ガラス基板から２値のセンサ信号を出力して外部で面積階調化することによって多階調データにする）のほうがコスト面、設計容易性（ノイズ設計がシビアでない）の点で有利である。

第１実施形態の画像取込機能付き表示装置における複数種の光センサ素子を配置した状態を示す平面図である。 光センサ素子が光を受ける様子を示す画像取込機能付き表示装置の概略的な断面図である。 画面上の表示パターンの一例を示す図である。 弱い外光下における撮像画像の一例を示す図であり、同図（ａ）は高感度の光センサ素子による撮像画像、同図（ｂ）は低感度の光センサ素子による撮像画像である。 強い外光下における撮像画像の一例を示す図であり、同図（ａ）は高感度の光センサ素子による撮像画像、同図（ｂ）は低感度の光センサ素子による撮像画像である。 第２実施形態の表示装置における複数種の光センサ素子を配置した状態を示す平面図である。 第３実施形態の表示装置における複数種の光センサ素子を配置した状態を示す平面図である。 第４実施形態の表示装置における複数種の光センサ素子を配置した状態を示す平面図である。 第５実施形態の表示装置における複数種の光センサ素子を配置した状態を示す平面図である。 第６実施形態の表示装置における複数種の光センサ素子を配置した状態を示す平面図である。 画素駆動の極性が１行おきに異なる状態を示す極性分布図である。 第７実施形態の表示装置における複数種の光センサ素子を配置した状態を示す平面図である。 第７実施形態の表示装置における複数種の光センサ素子を配置した状態の他の例を示す平面図である。 第７実施形態の表示装置における複数種の光センサ素子を配置した状態の他の例を示す平面図である。 第７実施形態の表示装置における複数種の光センサ素子を配置した状態の他の例を示す平面図である。 第７実施形態の表示装置における複数種の光センサ素子を配置した状態の他の例を示す平面図である。

符号の説明

１…アレイ基板，２…対向基板
３…液晶層，４…光センサ素子
５，６…偏光板，７…バックライト
１０…指，２１，２２…画素
２３…画素領域
３１，３２，３３…画素
４１，４２…画素領域

Claims (5)

1. 複数の画素を備えた画素領域と、
   画素毎に設けられた光センサ素子とを有し、
   受光感度が異なる２種以上の光センサ素子を画素領域上に配置し、
   感度が異なる複数の光センサ素子を画素領域上で魔方陣を構成するように配置したことを特徴とする画像取込機能付き表示装置。
2. 複数の光センサ素子の読取り値の平均値をもって魔方陣に含まれる注目画素の読み取り階調値としたことを特徴とする請求項１記載の画像取込機能付き表示装置。
3. 複数の画素を備えた画素領域と、
   画素毎に設けられた光センサ素子とを有し、
   受光感度が異なる２種以上の光センサ素子を画素領域上に配置し、
   感度が異なる複数の光センサ素子を画素領域上で１ラインおきにみて魔方陣を構成するように配置したことを特徴とする画像取込機能付き表示装置。
4. 前記１ラインおきは、横１ラインおき、縦１ラインおき、横１ラインおき及び縦１ラインおき、のうちのいずれかであることを特徴とする請求項３記載の画像取込機能付き表示装置。
5. 反応する照度の異なる複数の種類のセンサを有する複数の画素を不規則に配置して画素グループを構成し、画素グループを表示領域内に繰り返し配置したことを特徴とする画像取込機能付き表示装置。