JP5260076B2 - 光起電力装置および機器 - Google Patents

Description

この発明は、固体撮像セルおよび光起電力装置および機器に係る発明であり、たとえば、赤外線リモコンによる制御およびユーザの動きに基づく制御が可能な機器に適用することができる。

家電機器を操作するリモコンとしては、赤外線リモコンが一般的である。近年、赤外線リモコンによる家電機器の操作でなく、撮像素子と画像認識機能とにより家電機器の操作を行う方法が研究されている（たとえば、非特許文献１）。当該非特許文献１では、人のジェスチャーを認識させることで、家電機器の操作を行う。

また、人のジェスチャーの認識率の問題、コスト面等の問題を考慮して、赤外線リモコンおよび人のジェスチャーの両方による操作が可能（便宜上、当該技術を両操作可能技術と称する）な、家電機器も開発されている。前記両操作可能技術の場合には、たとえば、最も操作の多い機能（テレビのチャンネル切り替えなど）のみをジェスチャー操作に対応させ、その他の操作は赤外線リモコンにより行う。

また、上記両操作可能技術においては、赤外線リモコンの赤外光信号を撮像素子で受光する技術を要する。当該技術としては、たとえば、特許文献１ないし特許文献６が存在する。

http://techon.nikkeibp.co.jp/article/NEWS/20071002/140058/ 特開平５−３４４４０１号公報 特開平６−２２１９４号公報 特開２００４−２２２２４２号公報 特開２００６−２３８１９３号公報 特開２００６−２７９８２３号公報 特開２００６−３０３８６７号公報

上記両操作可能技術を普及させるためには、当該両操作可能技術が既存の赤外線リモコンフォーマットにも対応できることが重要である。つまり、両操作可能技術が適用された家電機器が、キャリア周波数の最大値が４０ＫＨｚである一般的な赤外線リモコンによって操作可能であることを要する。

しかしながら、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー素子自身に赤外線リモコンからの信号受光機能を持たせている場合には、上記４０ＫＨｚのキャリア周波数を正確に検出するためには、当該ＣＭＯＳセンサーによる撮像フレームレートは、かなり大きな値（少なくとも８０ＫＨｚ以上）とする必要がある。当該かなり大きな値のフレームレートでの撮像も可能であるが、その場合には撮像画像において輝度が減少し、感度等において問題が生じる。つまり、前記ＣＭＯＳセンサーに関する技術の場合には、上記フレームレートの制約で、従来のリモコンフォーマットのキャリア周波数に対応できない。

また、通常、赤外線リモコンの１ビットの周期（５ＫＨｚ）を上記４０ＫＨｚのキャリア周波数に載せて送信している。ここで、赤外線リモコンによる制御の観点からは、キャリア周波数４０ＫＨｚまで認識する必要がなく、上記１ビットの情報（５ＫＨｚ）をＣＭＯＳセンサー側で検出できれば十分である。そこで、赤外線リモコンからの信号を受信する側において通常配置されている４０ＫＨｚの周波数のみを透過させるフィルタを取り除き、ＣＭＯＳセンサーによる撮像フレームレートを５ＫＨｚを超える程度とする構成を、想起することができる。

しかしながら、当該構成の場合には、上記フィルタの除去により、ＣＭＯＳセンサーは赤外線リモコンからの信号以外の光学ノイズをも検出してしまい、ノイズの影響が深刻化する。

このように、ＣＭＯＳセンサー素子自身に赤外線信号受光機能を持たせ、当該ＣＭＯＳセンサーを上記両操作可能技術に適用した場合には、既存の赤外線リモコンとの互換性が保たれない、という問題が生じる。

そこで、本発明は、撮像センサーとして機能できると共に、たとえば既存の赤外線リモコンからの信号も正確に検出できる、固体撮像セルおよび光起電力装置を提供することを目的とする。また、たとえば既存の赤外線リモコン操作による制御および人によるジェスチャーによる制御の両方に対応可能な、機器を提供することを目的とする。

上記の目的を達成するために、本発明に係る請求項１に記載の光起電力装置は、複数の固体撮像セルを備える光起電力装置であって、前記複数の固体撮像セルのそれぞれは、光電変換素子と、前記光電変換素子と共にＣＭＯＳセンサーを構成しており、前記光電変換素子から出力される電荷が入力され、第一の信号線に出力が伝達される撮像素子構成回路部と、前記光電変換素子から出力される電荷を第二の信号線に伝達するか否かの切替を行うことができるスイッチ部とを有し、前記光起電力装置は、前記複数の固体撮像セルの一部で構成された第一のセル群と、前記複数の固体撮像セルの残りの部分で構成された第二のセル群とが混在する第一のモードを有しており、前記第一のセル群に属する各前記固体撮像セルでは、前記スイッチ部の切替により、前記光電変換素子から出力される電荷が前記第二の信号線に伝達されず、前記第二のセル群に属する各前記固体撮像セルでは、前記スイッチ部の切替により、前記光電変換素子から出力される電荷が前記第二の信号線に伝達され、前記光起電力装置が前記第一のモードのときには、前記第一のセル群で撮像が行われて前記第一の信号線に撮像画像信号が伝達され、前記第二のセル群で赤外線信号が検出されて前記第二の信号線に伝達され、前記光起電力装置が、前記第一のセル群に属する各前記固体撮像セルによる撮像結果から得られる撮像データにおける、輝度の周期的変化があると判断したときには、前記第一のモードから、前記複数の固体撮像セルの全てにおいて、前記スイッチ部の切替により、前記光電変換素子から出力される電荷が前記第二の信号線に伝達されず、当該全てにおいて撮像が行われる第二のモードへ移行する。

また、本発明に係る請求項２に記載の光起電力装置は、本発明に係る請求項１に記載の光起電力装置であって、前記複数の固体撮像セルは、マトリクス状に配設されており、前記第一のモードにおいて、前記第一のセル群に属する各前記固体撮像セルと、前記第二のセル群に属する各前記固体撮像セルとは、市松模様状に配設されている。

また、本発明に係る請求項３に記載の光起電力装置は、本発明に係る請求項１または請求項２に記載の光起電力装置であって、前記第二のセル群に属する各前記固体撮像セルの出力は、前記第二の信号線により、互いに電気的に接続されている。

また、本発明に係る請求項４に記載の光起電力装置は、本発明に係る請求項１乃至請求項３のいずれか一つに記載の光起電力装置であって、８００ｎｍから９８０ｎｍまでの赤外線信号および４μｍから２０μｍまでの赤外線信号を透過させることができる赤外線透過フィルタをさらに備えている。

また、本発明に係る請求項５に記載の光起電力装置は、本発明に係る請求項１乃至請求項４のいずれか一つに記載の光起電力装置であって、前記第一の信号線に伝達される前記撮像画像信号に基づいて、制御対象を制御するための第一の制御信号を生成する第一の処理部と、前記第二の信号線に伝達される前記赤外線信号に基づいて、前記制御対象を制御するための第二の制御信号を生成する第二の処理部とを備える。

また、本発明に係る請求項６に記載の機器は、赤外線リモコンによる遠隔操作が可能な機器であって、請求項５に記載の光起電力装置と、前記光起電力装置からの前記第一及び第二の制御信号に基づいて前記制御対象を制御する制御部とを備え、前記光起電力装置が前記第一のモードである際には、前記第二のセル群で前記赤外線リモコンからの赤外線が検出される。

本発明の請求項１に記載の光起電力装置は、撮像センサーとして機能できると共に、たとえば既存の赤外線リモコンからの信号も正確に検出できるセンサーとしても機能できる。さらに、撮像素子構成回路部は、光電変換素子と共にＣＭＯＳセンサーを構成していることから、実用性に優れた光起電力装置を提供することができる。さらに、簡単なスイッチ操作により実現可能な第一のモード時には、光起電力装置は、たとえば人のジェスチャーを検知する検出部およびたとえば赤外線リモコンからの信号を検知する検出部として機能させることができる。さらに、光起電力装置では、撮像データにおける輝度の周期的変化は、主に人のジェスチャー操作の際に発生するため、人のジェスチャーを感知したときには、光起電力装置は、簡単なスイッチ動作により全ての固体撮像素子を撮像センサーに特化したセルとする第二モードへ移行させ、より高解像度の撮像をさせることができる。

また、本発明の請求項２に記載の光起電力装置では、当該光起電力装置の何れの領域にたとえば赤外線信号が入射されたとしても、赤外線信号を所定の領域に導く特別な部材を要する事無く、確実に当該信号を検出できる。

また、本発明の請求項３に記載の光起電力装置では、第二の信号線には、一の赤外線受光モジュール（ゲイン調整やキャリア（４０ＫＨｚ)のバンドパスフィルタ等）を設けるのみで済む。これにより、余分な赤外線受光モジュールが不要となり、コスト削減に繋がる。

また、本発明の請求項４に記載の光起電力装置では、赤外線リモコンの信号および人の体温からの赤外線信号のみを検出でき、余分なノイズ信号を除去することができる。これにより、各種信号の検出感度を向上できる。

また、本発明の請求項６に記載の機器では、たとえば、赤外線リモコンによる制御および人のジェスチャーによる制御の両方が、精度良く実行される。

以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。

＜実施の形態＞
図１に、本実施の形態に係る赤外線リモコンによる遠隔制御が可能な機器の一例である、表示装置１００を示す。

表示装置１００は、赤外線リモコン１０の操作による制御、および人のジェスチャーによる制御が可能である。表示装置１００は、光起電力装置２０および表示部３０を備えている。

赤外線リモコン１０は、たとえば既存の赤外線リモコンと同様に、当該リモコン１０からの制御信号を、４０ＫＨｚのキャリア周波数に変調して送信する。光起電力装置２０は、赤外線リモコン１０からの信号を検出できると共に、撮像センサーとしての機能（ジェスチャー認識機能）も有している。表示部３０には、所定のチャンネルに応じた放送番組等の画像を表示することができる。

図２は、光起電力装置２０の構成を機能ブロック的に示した図である。

図２に示すように、光起電力装置２０は、センサー部２１、赤外線信号処理部２２、ジェスチャー信号処理部２３、インターフェース２４から構成されている。

センサー部２１は、外部環境を撮像（より具体的に、人のジェスチャーを検出）することができると共に、赤外線リモコン１０からの信号も検出することができる。

赤外線信号処理部２２は、センサー部２１で検出した赤外線リモコン１０からの赤外線信号に対して、所定の周波数（たとえば４０ＫＨｚ）のみ透過させるフィルタリング処理、信号増幅処理、信号整形処理等を施す。そして、前記各処理後の信号を、制御信号として、インターフェース２４に転送する。

ジェスチャー信号処理部２３は、センサー部２１で検出したジェスチャー信号に基づき、当該検出したジェスチャー信号に対応する制御信号を生成する。たとえば、センサー部２１で撮像された撮像画像信号において、輝度の変化より、周期的な動きを検出したとする。このとき、ジェスチャー信号処理部２３は、当該検出結果を示す信号に基づいて、チャンネル局をアップまたはダウンさせる方向に変化させる制御信号を生成する。また、ジェスチャー信号処理部２３では、受信したジェスチャー信号に基づいて、後述するモード変更制御信号を生成することもできる。なお、前述した各制御信号は、インターフェース２４へと転送される。

インターフェース２４は、赤外線信号処理部２２で生成された制御信号およびジェスチャー信号処理部２３で生成された制御信号を、表示装置１００側の制御部（図示せず）へと伝送する。また、インターフェース２４は、ジェスチャーによる制御を表示装置側で行わないようにするための制御信号なども、上記制御部へと伝送する。ここで、当該制御部では、受信した前記制御信号に基づいて、チャンネルの変更、電源のオン、オフまたは後述するモード変更、ジェスチャー制御のオン・オフ等の制御を実施する。

図３は、図２のセンサー部２１の詳細構成を示す回路図である。

図３に示すように、センサー部２１は、マトリクス状に配列された複数の固体撮像セルＳｃにより構成されている。また、各固体撮像セルＳｃは、ジェスチャー信号が伝達するジェスチャー信号伝送ライン（第一の信号線と把握できる）Ｌ１、および赤外線信号が伝達される赤外線信号伝送ライン（第二の信号線と把握できる）Ｌ２と、電気的に接続されている。具体的に、各固体撮像セルＳｃにおいて、固体撮像セルＳｃの一方の出力部は、ジェスチャー信号伝送ラインＬ１に接続されている。他方、固体撮像セルＳｃの他方の出力部は、赤外線信号伝送ラインＬ２に接続されている。

また、各列毎に、ジェスチャー信号伝送ラインＬ１上には、列選択ゲートＧ１が配設されている。また、図３に示されているように、各赤外線信号伝送ラインＬ２上には、前記列選択ゲートＧ１に相当するトランジスタが配設されておらず、赤外線信号伝送ラインＬ２は、全て、電気的に接続されている。なお、ジェスチャー信号伝送ラインＬ１を伝送するジェスチャー信号は、図２に示したジェスチャー信号処理部２３へと出力される。他方、赤外線信号伝送ラインＬ２を伝送する赤外線信号は、図２に示した赤外線信号処理部２２へと出力される。

図４は、図３に示した固体撮像セルＳｃの内部構成を示す回路図である。

図４に示すように、各固体撮像セルＳｃは、光電変換素子ＰＤ１、撮像素子構成回路部Ｍａ、および選択ゲート（スイッチ部と把握できる）Ｇ１５により、構成されている。ここで、光電変換素子ＰＤ１は、光を電気エネルギーに変換する素子であり、たとえば埋め込みフォトダイオード等が存在する。なお、以下では、光電変換素子ＰＤ１をフォトダイオードＰＤ１として話を進める。

フォトダイオードＰＤ１は、光起電力効果を利用した（換言すれば、光を電荷に変換する）半導体素子である。具体的に、フォトダイオードＰＤ１のＰＮ接合に光が入射すると、Ｐ領域に正孔・Ｎ領域に電子が集まり、電圧（または電流）が生じる。当該電圧（または電流）を利用して、フォトダイオードＰＤ１は光センサーとして利用される。なお、フォトダイオードＰＤ１では、逆方向バイアスを印加して、光電流を取り出している。

また、図４に示すように、フォトダイオードＰＤ１の出力は、ノードＮ１で分岐されている。以降、撮像素子回路部Ｍａ（または、ジェスチャー信号伝送ラインＬ１）側に位置するフォトダイオードＰＤ１の出力部を、一方の出力部と称する。これに対して、選択ゲートＧ１５（または、赤外線信号伝送ラインＬ２）側に位置するフォトダイオードＰＤ１の出力部を、他方の出力部と称する。

撮像素子構成回路部Ｍａは、前記フォトダイオードＰＤ１と共に、固体撮像素子を構成する回路部である。たとえば、図４に示すように、フォトダイオードＰＤ１と撮像素子構成回路部Ｍａとにより、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーが構成される。なお、図４と異なるが、フォトダイオードＰＤ１と撮像素子構成回路部Ｍａとにより、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサーが構成されても良い。

また、図４に示すように、撮像素子構成回路部Ｍａは、フォトダイオードＰＤ１の一方の出力部とジェスチャー信号伝送ラインＬ１との間に配設されている。

ＣＭＯＳセンサーを構成する撮像素子構成回路部Ｍａは、転送ゲートＧ１１、リセットゲートＧ１２、フローティングディフュージョンゲートＧ１３、および選択ゲートＧ１４により構成されている。

フォトダイオードＰＤ１に対する光（赤外線も含む）の露光量に応じて光電変換された電荷を、当該フォトダイオードＰＤ１は蓄積する。転送ゲートＧ１１は、フォトダイオードＰＤ１に蓄積された電荷を、フローティングディフュージョンゲートＧ１３に転送することができる。フローティングディフュージョンゲートＧ１３は、フォトダイオードＰＤ１で光電変換され、転送ゲートＧ１１を介して転送されてきた電荷を、固定電位ＶＤＤに基づき電圧に変換することができる。選択ゲートＧ１４は、フローティングディフュージョンゲートＧ１３で変換された電圧を、ジェスチャー信号伝送ラインＬ１へ転送することができる。リセットゲートＧ１２は、固定電位ＶＤＤを利用して、フローティングディフュージョンゲートＧ１３およびフォトダイオードＰＤ１の電荷をリセットすることができる。

ＣＭＯＳセンサーの動作の概略について説明する。

まず、リセットゲートＧ１２および転送ゲートＧ１１を共にオン状態にする。これにより、フォトダイオードＰＤ１に蓄積された電荷およびフローティングディフュージョンゲートＧ１３に転送された電荷をリセットすることができる。次に、リセットゲートＧ１２および転送ゲートＧ１１を共にオフ状態にする。これにより、光が照射されたフォトダイオードＰＤ１には、電荷が蓄積され始める。

フォトダイオードＰＤ１の電荷蓄積開始から所定の時間が経過したとき、転送ゲートＧ１１をオンにする。これにより、フォトダイオードＰＤ１に蓄えられている電荷が、全て転送ゲートＧ１１を介して、フローティングディフュージョンゲートＧ１３に完全転送される。そして、読み出しまでの待機時間経過後に、選択ゲートＧ１４をオンにする。これにより、フローティングディフュージョンゲートＧ１３に転送された電荷に応じた、電圧信号がジェスチャー信号伝送ラインＬ１へ出力される。

次に、選択ゲートＧ１５について説明する。

選択ゲートＧ１５は、図４に示すように、上述したフォトダイオードＰＤ１の他方の出力部と赤外線信号伝送ラインＬ２との間に、配設されている。選択ゲートＧ１５のスイッチング状態に応じて、フォトダイオードＰＤ１で発生した電荷を、撮像素子構成回路部Ｍａを介してジェスチャー信号伝送ラインＬ１側（上記フォトダイオードＰＤ１の一方の出力部側）に出力するか、上記赤外線信号伝送ラインＬ２側（上記フォトダイオードＰＤ１の他方の出力部側）に出力されるかを切り替えることができる。

選択ゲートＧ１５がオフ状態であるときには、フォトダイオードＰＤ１の出力部から出力される電荷（フォトダイオードＰＤ１で蓄積された電荷）は、撮像素子構成回路部Ｍａを介して、ジェスチャー信号伝送ラインＬ１側に出力される。

これに対して、選択ゲートＧ１５がオン状態であるときには、フォトダイオードＰＤ１の出力部から出力される電荷（フォトダイオードＰＤ１で発生した電荷）は、赤外線信号伝送ラインＬ２側に出力される。つまり、選択ゲートＧ１５がオン状態であるときには、フォトダイオードＰＤ１で発生した電荷は、赤外線信号伝送ラインＬ２へと転送される。

なお、選択ゲートＧ１５がオン状態であるときには、転送ゲートＧ１１はオフ状態である。

よって、選択ゲートＧ１５がオフ状態であるときには、固体撮像セルＳｃは、図５に示す回路と等価となる。図５に示す等価回路構成となるときの固体撮像セルＳｃを、便宜上、撮像用フォトダイオードと称する。また、選択ゲートＧ１５がオン状態であるときには、固体撮像セルＳｃは、図６に示す回路と等価となる。図６に示す等価回路構成となるときの固体撮像セルＳｃを、便宜上、リモコン用フォトダイオードと称する。

ところで、光起電力装置２０は、アイドリングモード（第一のモードと把握できる）および詳細検出モード（第二のモードと把握できる）を有しており、光起電力装置２０は、上記各モードへの切替を行うことができる。

アイドリングモードとは、センサー部２１において、第一のセル群と第二のセル群とが混在しているモードである。

ここで、第一のセル群は、マトリクス状に配設されている複数の固体撮像セルＳｃの内の幾つかで構成されており、当該第一のセル群に属する各固体撮像セルＳｃは、図５に示す等価回路構成を有している。つまり、当該第一のセル群に属する各固体撮像セルＳｃでは、選択ゲートＧ１５がオフ状態であり、フォトダイオードＰＤ１から出力される電荷が、撮像素子構成回路部側（ジェスチャー信号伝送ラインＬ１側）に伝送される。

また、第二のセル群は、上記第一のセル群に属する固体撮像セルＳｃ以外で構成される。したがって、第二のセル群に属する各固体撮像セルＳｃは、図６に示す等価回路構成を有している。つまり、当該第二のセル群に属する各固体撮像セルＳｃでは、選択ゲートＧ１５はオン状態であり、フォトダイオードＰＤ１から出力される電荷が、赤外線信号伝送ラインＬ２側に伝送される。

センサー部２１において第一のセル群と第二のセル群とが混在する、アイドリングモード時の構成の一例を図７に示す。図７において、斜線の固体撮像セルＳｃ（図５の等価回路構成を有するセル）が、第一のセル群に属するセルである。また、図７において、砂地の固体撮像セルＳｃ（図６の等価回路構成を有するセル）が、第二のセル群に属するセルである。図７の例では、アイドリングモードにおいて、第一のセル群に属する各固体撮像セルＳｃ（図５の等価回路構成を有するセル）と、第二のセル群に属する各固体撮像セルＳｃ（図６の等価回路構成を有するセル）とは、市松模様状に配設されている。

なお、図７の回路構成と等価の回路構成を図８に示す。図８において、斜線の固体撮像セルＳｃ）が、第一のセル群に属するセルであり、砂地の固体撮像セルＳｃが、第二のセル群に属するセルである。図７、８に示すように、また上述したように、全ての固体撮像セルＳｃにおいて、フォトダイオードＰＤ１の他方の出力部同士は、赤外線信号伝送ラインＬ２により、共通に、電気的に接続されている。

光起電力装置２０が、所定の条件を満たすと判断したとき、上記アイドリングモードから、詳細検出モードへと移行する。

詳細検出モードとは、センサー部２１において、全ての固体撮像セルＳｃが上記第一のセル群に属する場合である。つまり、詳細検出モードでは、全ての固体撮像セルＳｃが図５に示す等価回路構成を有する。よって、詳細検出モードでは、全ての固体撮像セルＳｃでは、選択ゲートＧ１５がオフ状態であり、フォトダイオードＰＤ１から出力される電荷が、撮像素子構成回路部側（ジェスチャー信号伝送ラインＬ１側）に伝送される。

センサー部２１において、全ての固体撮像セルＳｃが第一のセル群に属する、詳細検出モード時の構成を図９に示す。図９において、斜線の固体撮像セルＳｃ（図５の等価回路構成を有するセル）が、第一のセル群に属するセルである。

なお、図９の回路構成と等価の回路構成を図１０に示す。図１０において、斜線の固体撮像セルＳｃが、第一のセル群に属するセルである。

また、所定の条件として、たとえば、アイドリングモード時において、第一のセル群に属する各固体撮像セルＳｃによる撮像結果から得られる撮像データにおける、輝度の周期的変化を採用できる。なお、アイドリングモードから詳細検出モードへは手動により移行するように、表示装置１００を構成しても良い。

次に、図１１に示すフローチャートに基づいて、アイドリングモードから詳細検出モードへの移行動作について説明する。

表示装置１００は、アイドリングモードである（ステップＳ１）。当該アイドリングモードのときには、図７，８に示す回路構成となる。つまり、第一のセル群に属する固体撮像セルＳｃは、ユーザのジェスチャーを検出し、第二のセル群に属する固体撮像セルＳｃは、赤外線リモコン１０からの赤外線信号を検出する。また、第一のセル群に属する固体撮像セルＳｃが検出したジェスチャー信号は、ジェスチャー信号伝送ラインＬ１を介して、ジェスチャー信号処理部２３へと伝送され、第二のセル群に属する固体撮像セルＳｃが検出した赤外線信号は、赤外線信号伝送ラインＬ２を介して、赤外線信号処理部２２へと伝送される。各処理部２２，２３において、各信号は所定の処理が実施された後、インターフェース２４から各信号に対応する制御信号が表示装置１００の制御部へと伝送される。したがって、アイドリングモードのときには、表示装置１００は、ユーザのジェスチャーの検出、および赤外線リモコン１０から赤外線信号の検出（赤外線信号に基づく制御とも把握できる）が実施される。

次に、表示装置１００が所定の条件を検出したか否かを判断する（ステップＳ２）。たとえば、第一のセル群に属する固体撮像セルＳｃにより撮像された撮像画像（撮像データ）において、ユーザのジェスチャーにより、周期的に輝度の変化を検出したか否かを判断する（ステップＳ２）。当該ステップＳ２の判断は、たとえばジェスチャー信号処理部２３において実施される。

表示装置１００が所定の条件を検出しなかったときには（ステップＳ２で「Ｎｏ」）、ステップＳ２の判断を繰り返し実行する。これに対して、表示装置１００が所定の条件を検出したときには（ステップＳ２で「Ｙｅｓ」）、アイドリングモードから詳細検出モードへと移行する（ステップＳ３）。たとえば、上記所定の条件を検出したジェスチャー信号処理部２３は、モード変更命令である制御信号を生成し、インターフェース２４を介して、表示装置１００側の制御部へと伝送する。当該制御信号を受信した制御部は、センサー部２１を構成する全ての固体撮像セルＳｃにおいて、選択ゲートＧ１５をオフにする制御を実施する。つまり、当該制御部の制御の下、センサー部２１は、図７，８に示した構成から、図９，１０に示した構成へと移行される。

図８と図１０との比較からも分かるように、詳細検出モードでは全ての固体撮像セルＳｃが撮像用フォトダイオードとなるので、当該詳細検出モードにおける撮像の解像度は、アイドリングモードにおける撮像の解像度よりも高くなる。たとえば、図８，１０を比較すると、第一のモードから第二のモードへと切り替わることにより、センサー部２１のダイサイズを大きくすること無く、画像認識に必要な解像度を約２倍程度向上させることができる。したがって、当該詳細検出モードのときには、センサー部２１は、ユーザのより詳細なジェスチャーをも検出することができる。

次に、詳細検出モード状態のセンサー部２１で検出されたジェスチャーに基づき、表示装置１００は所定の操作が制御される（ステップＳ４）。

たとえば、詳細検出モードにおいて、センサー部２１で撮像された撮像画像信号（撮像データ）における輝度の変化より、周期的な動きを、ジェスチャー信号処理部２３が検出したとする。このとき、ジェスチャー信号処理部２３は、当該検出結果に基づいて、チャンネル局をアップまたはダウンさせる方向に変化させる制御信号を生成する。

その後、前述した各制御信号は、インターフェース２４を介して、表示装置１００の制御部へと転送される。制御信号を受信した当該制御部では、受信した制御信号に基づいて、表示装置１００のチャンネルを変更する制御を実施する。

次に、ジェスチャー信号処理部２３は、詳細検出モード時にセンサー部２１で撮像された撮像画像信号（撮像データ）における輝度の変化より、ジェスチャーが終了したか否かを判定する（ステップＳ５）。

ジェスチャーが終了していないと判断した場合には（ステップＳ５で「Ｎｏ」）、表示装置１００はステップＳ４の処理を継続する。

これに対して、ジェスチャーが終了したと判断した場合には（ステップＳ５で「Ｙｅｓ」）、詳細検出モードからアイドリングモードへと戻る（ステップＳ６）。たとえば、上記ジェスチャーの終了を検出したジェスチャー信号処理部２３は、モード変更命令である制御信号を生成し、インターフェース２４を介して、表示装置１００側の制御部へと伝送する。当該制御信号を受信した制御部は、センサー部２１を構成する固体撮像セルＳｃの内、所定の固体撮像セルに対して、選択ゲートＧ１５をオンに切り替える制御を実施する。つまり、当該制御部の制御の下、センサー部２１は、図９，１０に示した構成から、たとえば図７，８に示した構成へと移行される。当該アイドリングモード時の表示装置１００は、上記の通り、人のジェスチャーを検出することも赤外線リモコン１０からの赤外線信号を検出することもできる。なおアイドリングモード時には、上記の通り、表示装置１００は、赤外線リモコン１０の操作に基づく制御が可能となる。

以上のように、本実施の形態に係る固体撮像セルＳｃでは、図４に示すように、撮像素子構成回路部Ｍａと、スイッチ部と把握できる選択ゲートＧ１５とを備えている。ここで、選択ゲートＧ１５は、フォトダイオードＰＤ１の出力部から出力される電荷を、ジェスチャー信号伝送ラインＬ１側に出力するか、赤外線信号伝送ラインＬ２側に出力するかの切替を行うことができる。そして、当該固体撮像セルＳｃを複数備えてることにより、光起電力装置２０は構成されている。

したがって、撮像機能に特化した素子とその他の機能（赤外線検出機能）に特化した素子とを、一つの固体撮像セルＳｃ内に設けることができる。よって、当該固体撮像セルＳｃ（光起電力装置２０）は、撮像センサーとして機能できると共に、既存の赤外線リモコン１０からの赤外線信号も正確に検出できるセンサーとしても機能できる。

また、撮像素子構成回路部Ｍａは、フォトダイオードＰＤ１と共に、ＣＭＯＳセンサーを構成している（図４参照）。したがって、簡便な回路構成でありおよび低コストである、実用性に優れた光起電力装置を提供することができる。

また、光起電力装置２０は、第一のモードを有している。そして、第一のセル群に属する各固体撮像セルＳｃでは、フォトダイオードＰＤ１から出力される電荷が、ジェスチャー信号伝送ラインＬ１側に伝送され、第二のセル群に属する各固体撮像セルＳｃでは、フォトダイオードＰＤ１から出力される電荷が、赤外線信号伝送ラインＬ２側に伝送される。

したがって、選択ゲートＧ１５の簡単なスイッチ操作により実現可能な第一のモード時には、光起電力装置２０は、たとえば人のジェスチャーを検知する検出部およびたとえば赤外線リモコン１０からの信号を検知する検出部としても機能させることができる。

また、光起電力装置２０が所定の条件を満たすと判断したとき、第二のモードへと移行する。したがって、簡単な選択ゲートＧ１５のスイッチ動作により、全ての固体撮像セルＳｃを撮像センサーに特化したセルとして機能させることができる。よって、所定の条件を満たすときには、第一のモードよりも高解像度の撮像が可能となる第二のモードへと移行できる。

また、光起電力装置２０において、複数の固体撮像セルＳｃは、マトリクス状に配設されており、第一のモードにおいて、第一のセル群に属する各固体撮像セルＳｃと、第二のセル群に属する各固体撮像セルＳｃとは、市松模様状に配設されている（図７，８参照）。

したがって、光起電力装置２０（具体的には、センサー部２０）の何れの領域に赤外線信号が入射されたとしても、赤外線信号を所定の領域に導く特別な部材を要する事無く、確実に当該赤外線信号を検出できることができる。

また、上述した、光起電力装置２０が所定の条件を満たすと判断したときというのは、第一のセル群に属する各固体撮像セルＳｃによる撮像結果から得られる撮像データにおける、輝度の周期的変化があると判断したときである。

撮像データにおける輝度の周期的変化は、主に人のジェスチャー操作の際に発生する。したがって、所定の条件を上記のように設定することにより、人のジェスチャーを感知したときに、光起動電力装置２０は、より高解像度の第二のモードへと移行することができる。

また、図３等に示すように、光起電力装置２０は、全ての固体撮像セルＳｃにおいて、フォトダイオードＰＤ１の他方の出力部同士は、赤外線信号伝送ラインＬ２により、共通に、電気的に接続されている。

したがって、たとえば幾つかの固体撮像セルＳｃを赤外線信号検知用として機能させる場合、当該第一のモードにおける赤外線信号伝送ラインＬ２に、たとえば図１２に示すような、一組の赤外線受光信号前処理回路（ゲイン調整アンプＡｐやキャリア（４０ＫＨｚ)のバンドパスフィルタＦｔ等）を設けることで行える。なお、図１２の構成において、ゲイン調整アンプＡｐから出力される赤外線リモコン１０からの信号は、その後デコードされる。

また、赤外線リモコン１０からの信号に対する可視光によるノイズの影響を低減するために、一般的な赤外線リモコンで使用されている赤外線波長８００ｎｍから９８０ｎｍを透過させることができる近赤外線透過フィルタを、前記第二のセル群前面にのみ、配設しても良い。

また、図示は省略するが、一般的な赤外線リモコンで使用されている赤外線波長８００ｎｍから９８０ｎｍと、人の体温より生じる赤外線波長４μｍから２０μｍに感度を有する光電変換素子であれば、８００ｎｍから９８０ｎｍまでの赤外線信号および４μｍから２０μｍまでの赤外線信号を透過させることができる赤外線透過フィルタを、上述した光起電力装置２０の前面の全面に配設しても良い。

当該赤外線透過フィルタを設けることにより、信号のデコード処理前に、赤外線リモコン１０の信号および人の体温からの赤外線信号のみを抽出でき、余分なノイズ信号を除去することができる。これにより、各種信号の検出感度を向上できる。

なお、上述した光起電力装置２０と、光起電力装置２０からインターフェース２４を通して送信される各種制御信号に基づいた制御を実施する制御部と、画像の表示を行う表示部３０とを、備える表示装置１００を構成する。

これにより、赤外線リモコン１０による制御および人のジェスチャーによる制御の両方が、精度良く実行される表示装置１００を提供できる。

つまり、表示装置１００に組み込まれるセンサー部２１を構成する各固体撮像セルＳｃは、選択ゲートＧ１５のスイッチングに応じて、撮像用フォトダイオードとして機能できると共に、リモコン用フォトダイオードとしても機能できる。したがって、既存システムの上位互換（ｕｐｐｅｒ ｃｏｍｐａｔｉｂｉｌｉｔｙ）の形態をとることで、表示装置１００全体の構成の単純化とコストの抑制を図ることができる。

なお、第一のモード時において、上記リモコン用フォトダイオードとして機能する固体撮像セルＳｃを、幾つかのグループにグループ分けしても良い。そして、たとえば、第一のグループに属する固体撮像セルＳｃをジェスチャー認識の補助のために活用し、第二のグループに属する固体撮像セルＳｃを赤外線リモコン１０から送信される信号の方向を検出するために活用する形態も採用できる。

たとえば、各グループ毎に、バックエンド処理を行う各種検出器等を配設する構成をとることができる。なお、一の高速読み出し可能なシリアル変換処理を行う時分割処理装置を、各グループ共通に配設しても良い。

なお、上記リモコン用フォトダイオードとして機能する固体撮像セルＳｃにおいて検出した信号の読み出し速度は、撮像用フォトダイオードとして機能する固体撮像セルＳｃにおいて検出した信号の読み出し速度よりも、高速または低速にすることも可能である。このため、上記グループ分けした各グループを、動き検出アルゴリズムや感度補償アルゴリズムなど、必要に応じて使い分けすることができる。

また、赤外線リモコン１０からの信号に対する感度・精度を高めるために、前記第一のセル群からの情報と、前記第二のセル群からの情報とを複合的に処理し、赤外線リモコンの検出精度を高めても良い。

本発明に係る表示装置１００の全体構成を示す図である。 光起電力装置の構成を示すブロック図である。 センサー部の構成を示す図である。 固体撮像セルの構成を示すブロック図である。 固体撮像セルＳｃが撮像用フォトダイオードとして機能する場合の構成示す回路図である。 固体撮像セルＳｃがリモコン用フォトダイオードとして機能する場合の構成示す回路図である。 第一のモード時におけるセンサー部の構成を示す図である。 第一のモード時におけるセンサー部の構成の等価図である。 第二のモード時におけるセンサー部の構成を示す図である。 第二のモード時におけるセンサー部の構成の等価図である。 モード移行の流れを示すフロー図である。 ジェスチャー信号伝送ラインにフィルタおよびアンプが配設される様子を示す図である。

符号の説明

１０ 赤外線リモコン
２０ 光起電力装置
２１ センサー部
２２ 赤外線信号処理部
２３ ジェスチャー信号処理部
２４ インターフェース
３０ 表示部
１００ 表示装置
Ｓｃ 固体撮像セル
Ｌ１ ジェスチャー信号伝送ライン
Ｌ２ 赤外線信号伝送ライン
ＰＤ１ 光電変換素子（フォトダイオード）
Ｍａ 撮像素子構成回路部
Ｇ１５ 選択ゲート

Claims (6)

1. 複数の固体撮像セルを備える光起電力装置であって、
   前記複数の固体撮像セルのそれぞれは、
   光電変換素子と、
   前記光電変換素子と共にＣＭＯＳセンサーを構成しており、前記光電変換素子から出力される電荷が入力され、第一の信号線に出力が伝達される撮像素子構成回路部と、
   前記光電変換素子から出力される電荷を第二の信号線に伝達するか否かの切替を行うことができるスイッチ部と
   を有し、
   前記光起電力装置は、前記複数の固体撮像セルの一部で構成された第一のセル群と、前記複数の固体撮像セルの残りの部分で構成された第二のセル群とが混在する第一のモードを有しており、
   前記第一のセル群に属する各前記固体撮像セルでは、前記スイッチ部の切替により、前記光電変換素子から出力される電荷が前記第二の信号線に伝達されず、
   前記第二のセル群に属する各前記固体撮像セルでは、前記スイッチ部の切替により、前記光電変換素子から出力される電荷が前記第二の信号線に伝達され、
   前記光起電力装置が前記第一のモードのときには、前記第一のセル群で撮像が行われて前記第一の信号線に撮像画像信号が伝達され、前記第二のセル群で赤外線信号が検出されて前記第二の信号線に伝達され、
   前記光起電力装置が、前記第一のセル群に属する各前記固体撮像セルによる撮像結果から得られる撮像データにおける、輝度の周期的変化があると判断したときには、前記第一のモードから、前記複数の固体撮像セルの全てにおいて、前記スイッチ部の切替により、前記光電変換素子から出力される電荷が前記第二の信号線に伝達されず、当該全てにおいて撮像が行われる第二のモードへと移行する、光起電力装置。
2. 請求項１に記載の光起電力装置であって、
   前記複数の固体撮像セルは、マトリクス状に配設されており、
   前記第一のモードにおいて、前記第一のセル群に属する各前記固体撮像セルと、前記第二のセル群に属する各前記固体撮像セルとは、市松模様状に配設されている、光起電力装置。
3. 請求項１または請求項２に記載の光起電力装置であって、
   前記第二のセル群に属する各前記固体撮像セルの出力は、前記第二の信号線により、互いに電気的に接続されている、光起電力装置。
4. 請求項１乃至請求項３のいずれか一つに記載の光起電力装置であって、
   ８００ｎｍから９８０ｎｍまでの赤外線信号および４μｍから２０μｍまでの赤外線信号を透過させることができる赤外線透過フィルタをさらに備える、光起電力装置。
5. 請求項１乃至請求項４のいずれか一つに記載の光起電力装置であって、
   前記第一の信号線に伝達される前記撮像画像信号に基づいて、制御対象を制御するための第一の制御信号を生成する第一の処理部と、
   前記第二の信号線に伝達される前記赤外線信号に基づいて、前記制御対象を制御するための第二の制御信号を生成する第二の処理部と
   を備える、光起電力装置。
6. 赤外線リモコンによる遠隔操作が可能な機器であって、
   請求項５に記載の光起電力装置と、
   前記光起電力装置からの前記第一及び第二の制御信号に基づいて前記制御対象を制御する制御部と
   を備え、
   前記光起電力装置が前記第一のモードである際には、前記第二のセル群で前記赤外線リモコンからの赤外線が検出される、機器。

Images