JP4347888B2 - 赤外線画像と通常画像を生成する方法及び画像生成装置 - Google Patents

Description

本発明は、画像生成装置に関するものである。具体的には、本発明は、デジタル画像生成装置とデジタル画像生成装置において画像を生成する方法に関するものである。

写真撮影の人気が継続的に拡大している。廉価なデジタルカメラの供給が改善されたことから、これは、特にデジタル写真撮影に当て嵌まる。又、携帯電話機の内蔵カメラも、写真撮影の人気の拡大に寄与している。

デジタル画像生成及び画像操作は、従来のフィルム写真撮影と比べて、多くの利点を具備している。デジタル画像は、電子的に実現及び操作可能であり、デジタル形態の画像は、いくつかの可能性を提供している。

デジタル画像生成装置は、光感応装置である画像生成センサを利用している。画像生成センサは、光を検出し、検出した光に比例した電流を出力する。センサは、通常、シリコン技術に基づいている。画像生成センサに伴う問題点は、可視光のみならず、赤外放射に対しても、敏感に反応するという点にある。赤外放射又は赤外光とは、通常、７８０ｎｍを上回る波長を具備する光として定義される。赤外光は、昼間の状態において、画像を歪ませる。赤外光が画像生成センサに到達すると、カラー画像のカラーバランスや白黒画像生成における明暗領域のバランスが歪む。従って、赤外光は、昼間の状態においては、画像生成センサの前面に赤外線遮断フィルタを配置することにより、画像生成センサに到達しないように遮断される。

しかしながら、しばしば、暗い状態において、可視光が非常に乏しいか、又はまったく存在しない場合には、赤外光を利用して画像を撮影可能である。外部赤外光源を利用することにより、画像生成の対象に画像生成プロセスについて気付かれることなしに、画像を撮影することができる。これは、例えば、盗難警報器として使用する監視カメラにおいて、特に有利であろう。

従って、画像生成装置は、昼間の状態においては、赤外光がセンサに到達しないように遮断すると共に、暗い状態においては、赤外線画像を生成可能である必要がある。従来技術による解決方法においては、着脱可能な赤外線遮断フィルタ又は漏洩赤外線フィルタが使用されている。赤外線フィルタは、カメラの対物レンズ内における別個の部品であってよい。暗い状態においては、赤外線フィルタは、カメラの対物レンズ又はセンサの前面から機械的に除去可能である。この除去は、自動的に又は手動で実現可能である。この解決方法の欠点は、この解決方法に必要な可動部品に起因して、極めて高価であり、且つ、長期的な耐久力が確実ではないという点にある。いくつかの赤外線フィルタによる解決方法においては、赤外光が、多少、センサへ透過する。例えば、暗い状態において外部赤外光源を使用する際には、赤外線フィルタは、光源から放射される光の波長を透過する一方で、その他のすべての波長を遮断するように設計される。この解決方法は、昼間の明るい状態と暗い状態の両方における妥協の産物であり、この結果得られる画像は、最適なものではない。

本発明の目的は、昼間の状態と暗い状態の両方における画像生成のための改善された解決方法を提供することにある。本発明の実施例によれば、レンズを具備する画像検知構造とピクセルを有する画像センサを有する画像生成装置が提供され、画像検知構造は画像を生成するべく構成されており、画像検知構造は、センサのピクセルのいくつかがすべての波長に露光し、センサのピクセルのいくつかが赤外線波長から遮断されるように、画像センサの前面に赤外線フィルタ構造を更に有しており、画像生成装置は、画像生成対象エリアの光量を検出する手段と、赤外線画像と通常画像のいずれを撮影するのかを判定する手段とを有する。

本発明の別の実施例によれば、画像生成装置内において画像ファイルを生成する方法が提供され、この方法は、センサのピクセルのいくつかがすべての波長に露光可能であり、センサのピクセルのいくつかが赤外線波長から遮断されるように、赤外線フィルタ構造を有するピクセルを有する画像センサを提供し、赤外線画像を撮影する際にはすべての波長に露光可能なセンサのピクセルを利用し、通常画像を撮影する際には赤外線波長から遮断されているセンサのピクセルを利用する、ステップを有している。

本発明の方法及び装置は、いくつかの利点を提供する。機械的に除去可能なフィルタと比べた場合に、この提案の解決方法は、可動部品を伴うことのない安定した解決方法を提供する。この解決方法は、付加的な部品が不要であり、関連する処理を通常の装置製造フェーズにおいて実行可能であるため、非常に費用効果に優れている。又、この解決方法は、通常画像の生成から赤外線画像の生成への、並びに、その逆の、非常に高速の切り換えを提供する。漏洩赤外線フィルタと比較した場合に、この提案の解決方法は、向上した画像品質を提供する。

以下、好適な実施例と添付の図面を参照し、本発明について更に詳細に説明する。

図１は、本発明のいくつかの実施例において利用可能な一般的なデジタル画像装置を示している。尚、本発明の実施例は、可能な構造の一例に過ぎない図１の装置以外のその他の種類のデジタルカメラにおいても利用可能であることに留意されたい。

図１の装置は、画像検知構造１００を有している。この画像検知構造は、レンズアセンブリと画像センサを有している。構造１００の構成については、後程詳述する。画像検知構造は、画像をキャプチャし、キャプチャした画像を電気的な形態に変換する。この装置１００によって生成された電気信号は、アナログ信号をデジタルの形態に変換するＡ／Ｄコンバータ１０２に入力される。信号プロセッサ１０４が、デジタル化された信号をコンバータから取得する。画像データは、信号プロセッサ内において処理され、画像ファイルが生成される。画像検知構造１００の出力信号には、ホワイトバランスの調整やカラー処理などの後処理を必要とする未加工の画像データが含まれている。信号プロセッサは、露光制御命令１０６を画像検知構造１００に付与する責任をも担っている。

本装置は、完成した画像を信号プロセッサが保存可能な画像メモリ１０８、データ及びプログラムの保存のためのワークメモリ１１０、ディスプレイ１１２、及び通常、キーボード又はユーザが入力を装置に付与するための対応する手段を有しているユーザインターフェイスを更に有することができる。

図２は、画像検知構造１００の一例を示している。この例においては、画像検知構造は、レンズ２００、画像センサ２０２アパーチュアプレイト２０４、カラーフィルタ構造２０６、及び赤外線フィルタ２０８を有している。

この結果、図２の画像検知構造は、画像センサ２０２上に画像を形成可能である。画像センサ２０２は、通常、そうである必要はないが、当業者には周知のＣＣＤ（電荷結合素子）又はＣＭＯＳ（相補形金属酸化膜半導体）センサなどの単一の半導体センサである。画像センサ２０２は、光を電流に変換する。図１に示されているように、この電気アナログ信号が、画像キャプチャ装置内において、Ａ／Ｄコンバータ１０２によってデジタルの形態に変換される。センサ２０２は、所与の数のピクセルを有している。センサ内のピクセルの数により、センサの解像度が決定される。それぞれのピクセルは、光に応答して電気信号を生成する。この画像生成装置のセンサ内のピクセルの数は、設計のパラメータである。通常、低コストの画像生成装置においては、ピクセルの数は、センサの長手方向と短手方向に沿って、６４０ｘ４８０であってよい。この解像度のセンサは、しばしば、ＶＧＡセンサと呼ばれている。一般に、センサ内のピクセルの数が多いほど、センサが生成可能な画像が詳細なものになる。

アパーチュアプレイト２０４が、レンズを通じてセンサに伝達される光の量を制御している。尚、このアパーチュアプレイトの構造は、実施例とは無関係であることに留意されたい。即ち、アパーチュアプレイトの開口値は、固定されていてもよく、計測値に基づいて自動的に又は手動によって調節することも可能である。

レンズ２００は、到来した光から画像をセンサ上に形成する。尚、このレンズの構造及び特性は、本発明の実施例とは無関係である。

画像センサ２０２は、光に敏感に反応し、光に露光した際に電気信号を生成する。但し、センサは、異なる色を相互に弁別することができない。従って、センサが生成するのは、白黒画像のみである。デジタル画像生成装置によるカラー画像の生成を実現するために、いくつかの解決方法が提案されている。当業者には、画像キャプチャ装置内において３つの基本色のみを使用してフルカラー画像を生成可能であることは周知である。一般的に使用される３つの好適な色の組み合わせは、赤、緑、及び青（ＲＧＢ）から構成されている。広く使用されている別の組み合わせは、シアン、マゼンタ、及びイエロー（ＣＭＹ）から構成されている。その他の組み合わせも可能である。３つの色を使用し、すべての色を合成可能であるが、４色目として鮮緑色を使用するＲＧＢＥなどのその他の解決方法も利用可能である。

単一レンズのデジタル画像キャプチャ装置において使用される１つの解決方法は、画像センサの前面に、例えば、ＲＧＢ又はＣＭＹ色の３色パターンから構成されたカラーフィルタアレイを提供する方法である。このような解決方法は、しばしば、ベイヤーマトリックス（Bayer Matrix）と呼ばれている。ＲＧＢのベイヤーマトリックスフィルタを使用する際には、水平方向において、１つおきにすべてのピクセルが緑フィルタによってカバーされ、且つ、１つおきにすべてのピクセルが、１つおきにすべてのライン上において、赤フィルタによってカバーされ、１つおきにすべてのライン上において、青フィルタによってカバーされるように、それぞれのピクセルが、通常、単一色のフィルタによってカバーされる。単一色のフィルタは、波長がその単一色の波長に対応している光を、そのフィルタの下のセンサピクセルに透過する。信号プロセッサは、すべてのピクセルがすべての３つの色の色値を受信するように、センサから受信した画像信号を補間する。この結果、カラー画像を生成可能である。

図３Ａは、ＲＧＢカラーマトリックスフィルタの一例を示している。図３Ａは、８ｘ８カラーフィルタアレイを示している。このフィルタは、画像センサ上の個々の８ｘ８ピクセルエリアをカバーする。赤フィルタは、文字「Ｒ」によって示されており、青フィルタは、文字「Ｂ」によって示されており、緑フィルタは、文字「Ｇ」によって示されている。一実施例においては、画像センサとカラーマトリックスフィルタのピクセルは、２ｘ２ピクセルのサブアレイにグルーピングされている。それぞれのサブアレイは、１つの赤フィルタ、１つの青フィルタ、及び２つの緑フィルタを有している。従って、図３Ａのアレイは、１６個のサブアレイを有している。例えば、第１ライン上において、アレイは、サブアレイ３００〜３０６を具備している。画像生成装置の信号プロセッサは、サブアレイ内のすべてのピクセルがすべての３つの色の色値を受信するように、それぞれのサブアレイのピクセルの信号を補間することによって、センサから受信した画像信号をサブアレイごとに処理する。この結果、カラー画像を生成可能である。

一実施例においては、アレイのピクセルのいくつかが、すべての波長に露光可能であり、センサアレイのピクセルのいくつかが、赤外線波長から遮断されるように、赤外線フィルタ構造２０８が、ピクセルセンサアレイの前面に配置されている。図３Ｂは、赤外線フィルタ構造の一例を示している。図３Ｂは、８ｘ８ピクセルの赤外線フィルタアレイを示している。従って、このフィルタアレイは、画像センサ上において個々の８ｘ８ピクセルのエリアをカバーする。フィルタは、赤外光を遮断するエリアと、赤外光を透過するエリアを有している。非遮断エリアがハッチングされている。この結果、最上位行においては、アレイは、赤外光を遮断するエリア３０８及び３１０と赤外光を透過するエリア３１２及び３１４を有している。この例においては、それぞれのエリアは、画像センサの２ｘ２ピクセルのエリアをカバーする。

図３Ａの例を参照すれば、赤外線フィルタ構造及びカラーマトリックスフィルタは、いずれも、画像センサの前面に位置し、これらは、互いに上下に配置可能である。図３Ｂのそれぞれの２ｘ２エリアは、図３Ａの２ｘ２のサブアレイをカバーする。従って、赤外光は、サブアレイ３０２及び３０６を透過するが、サブアレイ３００及び３０４からは遮断されている。

図３Ｃは、フィルタアレイが互いに上下に配置された例を示している。１つおきにすべてのカラーマトリックスフィルタのサブアレイが赤外光から遮断されている。赤外光から遮断されているサブアレイの下のピクセルは、通常画像を撮影する際に利用される。赤外光から遮断されていないサブアレイの下のピクセルは、赤外線画像を撮影する際に利用される。

カラーマトリックスフィルタを製造する際に、赤外線フィルタアレイについて考慮可能である。図３Ｄは、１つおきにすべての２ｘ２サブアレイがカラーフィルタ構造によってカバーされており、且つ、１つおきにすべてのサブアレイがカラーフィルタを具備していないＲＧＢカラーマトリックスフィルタの一例を示している。このカラーマトリックスフィルタ上に赤外線フィルタ構造を配置した場合には、赤外線画像を撮影する際に、赤外光から遮断されていないこれらのサブアレイを利用する。従って、これらのサブアレイには、カラーマトリックスフィルタが不要である。

一実施例においては、画像センサとカラーマトリックスフィルタのピクセルは、２ｘ２ピクセルのサブアレイにグルーピングされており、従って、それぞれのサブアレイは、４つのピクセルを有している。この実施例においては、サブアレイの３つのピクセルが、赤外線波長から遮断されており、カラー画像生成において利用され、１つのピクセルが、すべての波長に露光し、赤外線画像生成において利用される。図３Ｅ及び図３Ｆが、この実施例を示している。図３Ｅは、カラーマトリックスフィルタを示している。それぞれのサブアレイ内の１つの緑フィルタが省略されている。この結果、それぞれのサブアレイは、１つの赤、１つの青、及び１つの緑のフィルタを有している。図３Ｆは、赤外線フィルタ構造を示している。この構造は、それぞれのサブアレイごとに、３ピクセルのサイズの赤外線遮断エリアと、赤外光を透過する１ピクセルのサイズのエリアを有している。この赤外線透過エリアは、カラーマトリックスフィルタ上の省略された緑フィルタ上に配置されている。実際には、第２緑フィルタが赤外線通過フィルタによって置換されている。従って、赤外線遮断フィルタによってカバーされたそれぞれのサブアレイの３つのピクセルが、通常のカラー画像生成において利用され、赤外光に露光するピクセルが、赤外線画像生成において利用される。

サブアレイのサイズは、２ｘ２以外であってもよい。例えば、３ｘ３サブアレイによれば、それぞれの３つの色の３つのピクセルを有する３ｘ３カラーマトリックスフィルタを使用可能である。本発明の一実施例においては、対応する３ｘ３赤外線フィルタ構造は、赤外線遮断エリアと赤外線透過エリアを有している。

一実施例においては、画像生成装置は、画像生成対象のエリア内の光の量を検出し、赤外線画像又は通常画像のいずれを撮影するのかを判定するべく構成されている。図１を参照すれば、信号プロセッサ１０４は、画像センサ１００を使用して試験画像を撮影し、試験画像を分析して、画像センサの近傍における光の量を判定するべく構成されている。試験画像内の光の量が小さい場合には、信号プロセッサは、赤外線画像が必要であると判定する。一方、試験画像内の光の量が大きい場合には、信号プロセッサは、通常画像が良好な結果を付与することになると判定する。この方法は、人間とのやり取りなしに自動的に画像を撮影する監視カメラにおいて、特に有利である。

一実施例においては、画像生成装置は、フラッシュライト１１６又は赤外線波長の光源を有している。図１を参照すれば、信号プロセッサ１０４がフラッシュライト１１６の動作を制御している。赤外線画像が必要であると判定した場合には、信号プロセッサは、画像センサと同期した状態でフラッシュライトを使用し、赤外線画像を生成する。この動作モードは、画像生成について対象に気付かれることなしに自動的な画像の撮影を要する監査カメラにおいて、特に有利である。

一実施例においては、フラッシュライトは、通常のフラッシュライト又は赤外線及び通常のフラッシュライトの組み合わせに類似している。

図４は、本発明のいくつかの実施例において利用可能な別のデジタル画像生成装置を示している。この実施例は、例えば、監視カメラとして使用するのに適している。図４の装置は、レンズアセンブリと画像センサを有する画像検知構造１００を有している。本装置は、Ａ／Ｄコンバータ１０２と信号プロセッサｌ０４を更に有している。画像データが、信号プロセッサ内において処理され、画像ファイルが生成される。信号プロセッサが、露光制御命令１０６を画像検知構造１００に対して付与する。本装置は、図１との関連で説明したように、画像メモリ１０８、データ及びプログラムの保存のためのワークメモリ１１０、ディスプレイ１１２、フラッシュライト１１６、及びユーザインターフェイス１１４を更に有している。

本装置は、移動検出手段４０２を更に有している。移動検出手段は、本装置の前面の所望のエリア内における移動を検出するべく構成されている。この手段は、所望のエリアを監視し、移動が検出された際に、信号を信号プロセッサ１０４に送信する。信号プロセッサは、移動検出手段が装置の前面において移動を検出した際に、画像を撮影するべく構成されている。

移動検出手段４０２は、例えば、赤外線検出器などの当業者には周知の移動検出器を使用して実現可能である。

本装置は、通信手段４００を更に有している。この通信手段は、既定のアドレスに画像を伝送するべく構成されている。信号プロセッサは、移動検出器から信号を受信した後に、画像の撮影を完了すると、画像を既定のアドレスに送信するべく構成されている。通信手段は、例えば、セルラー無線システムのトランシーバを使用して実現可能である。画像は、マルチメディアメッセージ（ＭＭＳ）として別のトランシーバに送信可能である。又、通信手段は、有線モデム、ブルーツースなどの近距離無線送信器、又はワイヤレスローカルエリアネットワーク（ＷＬＡＮ）トランシーバを使用して実現することも可能である。或いは、通信手段は、その他のタイプのトランシーバを使用して実現することも可能である。

本装置のユーザは、ユーザインターフェイス１１４を使用し、信号プロセッサを介して、移動検出手段４０２と通信手段４００のパラメータをプログラム可能である。この対象のパラメータには、移動検出手段のカバレージエリア及び感度と画像伝送の際に使用する通信方法及びアドレスを含むことができる。

図５Ａは、本発明の一実施例を示すフローチャートである。この実施例は、図１の装置に関係している。ステップ５００において、本装置は、写真撮影対象のエリア内の光の量を検出する。ステップ５０２において、本装置は、検出した光の量に基づいて、赤外線画像又は通常画像のいずれを撮影するのかを選択する。光の量が小さい場合には、赤外線画像を撮影するほうが有用である。これは、すべての波長に露光する本装置のセンサのピクセルを利用することにより、ステップ５０４において撮影される。

十分な光が存在する場合には、通常のカラー画像が好ましい。これは、赤外線波長から遮断されている本装置のセンサのピクセルを利用することにより、ステップ５０６において撮影される。

図５Ｂは、本発明の別の実施例を示すフローチャートである。この実施例は、図４の装置に関係している。ステップ５０８において、移動検出手段が、監視対象のエリア内において移動を検出する。この検出に基づいて、画像生成プロセスが、信号プロセッサによって起動される。ステップ５１０において、本装置は、監視対象エリア内の光の量を検出する。ステップ５１２において、本装置は、検出した光の量に基づいて、赤外線画像又は通常画像のいずれを撮影するのかを選択する。光の量が小さい場合には、ステップ５１４において、すべての波長に露光する本装置のセンサのピクセルを利用することにより、赤外線画像を撮影するほうが有用である。

十分な光が存在している場合には、ステップ５１６において、赤外線波長から遮断されている本装置のセンサのピクセルを利用することにより、通常のカラー画像が撮影される。ステップ５１８において、撮影した画像が、通信手段によって既定のアドレスに伝送される。

以上、添付の図面に従って、一例を参照し、本発明について説明したが、本発明は、これに限定されるものではなく、添付の請求項の範囲内において、いくつかの方法で変更可能であることは明らかである。

一実施例の画像生成装置の一例を示した図である。 画像検知構造の一例を示した図である。 カラーマトリックスフィルタと赤外線フィルタアレイの例を示した図である。 カラーマトリックスフィルタと赤外線フィルタアレイの例を示した図である。 カラーマトリックスフィルタと赤外線フィルタアレイの例を示した図である。 カラーマトリックスフィルタと赤外線フィルタアレイの例を示した図である。 カラーマトリックスフィルタと赤外線フィルタアレイの例を示した図である。 カラーマトリックスフィルタと赤外線フィルタアレイの例を示した図である。 画像生成装置の別の例を示した図である。 本発明に係る実施例を示すフローチャートを示した図である。 本発明に係る実施例を示すフローチャートを示した図である。

Claims (15)

1. レンズを有する画像検知構造と、ピクセルを有する画像センサと、を有する画像生成装置において、
   前記画像検知構造は画像を生成するべく構成されており、
   前記画像検知構造は、前記センサの前記ピクセルのいくつかがすべての波長に露光し、前記センサの前記ピクセルのいくつかが赤外線波長から遮断されるように、前記画像センサの前面に赤外線フィルタ構造を更に有しており、
   前記画像生成装置は、画像生成対象エリアの光量を検出する手段と、赤外線画像と通常画像のいずれを撮影するのかを判定する手段とを有し、
   前記画像センサの前記ピクセルは、２ｘ２ピクセルのサブアレイにグルーピングされており、前記サブアレイが１つおきに赤外線波長から遮断されている、
   ことを特徴とする画像生成装置。
2. 前記センサの前記ピクセルの半分はすべての波長に露光し、前記センサの前記ピクセルの半分は赤外線波長から遮断される、 請求項１に記載の画像生成装置。
3. 前記画像検知構造は、前記画像センサの前面に、カラーフィルタ構造を更に有する、 請求項１に記載の画像生成装置。
4. 前記画像検知構造は、前記ピクセルの前面に、赤外線波長から遮断されたカラーフィルタ構造を更に有する、 請求項１に記載の画像生成装置。
5. 前記カラーフィルタ構造は、ベイヤーマトリックスフィルタである、 請求項１に記載の画像生成装置。
6. 前記サブアレイが１つおきにカラーマトリックスフィルタによってカバーされている、請求項１に記載の画像生成装置。
7. 画像センサエリアが２つの別個のエリアを有しており、
   前記赤外線フィルタ構造は第１エリアをカバーしており、カラーマトリックスフィルタが第２エリアをカバーしている、請求項１に記載の画像生成装置。
8. 前記装置は、赤外線画像を撮影する際に、すべての波長に露光可能な前記画像センサの前記ピクセルを利用するべく構成されている、請求項１に記載の画像生成装置。
9. 前記装置は、通常画像を撮影する際に、赤外線波長から遮断されている前記画像センサの前記ピクセルを利用するべく構成されている、 請求項１に記載の画像生成装置。
10. 赤外線波長のフラッシュライトを更に有する、請求項１に記載の画像生成装置。
11. 画像生成装置内において画像ファイルを生成する方法において、
    センサのピクセルのいくつかが、すべての波長に露光可能であり、前記センサの前記ピクセルのいくつかが、赤外線波長から遮断されるように、赤外線フィルタ構造を有するピクセルを有する画像センサを提供し、
    前記画像センサの前記ピクセルを、２ｘ２ピクセルのサブアレイにグルーピングし、前記サブアレイが１つおきに赤外線波長から遮断されている、
    赤外線画像を撮影する際に、すべての波長に露光可能な前記センサの前記ピクセルを利用し、
    通常画像を撮影する際に、赤外線波長から遮断されている前記センサの前記ピクセルを利用する、ステップを有することを特徴とする方法。
12. 画像生成装置内において画像ファイルを生成する方法において、
    センサのピクセルのいくつかが、すべての波長に露光可能であり、前記センサの前記ピクセルのいくつかが、赤外線波長から遮断されるように、赤外線フィルタ構造を有するピクセルを有する画像センサを提供し、
    赤外線画像を撮影する際に、すべての波長に露光可能な前記センサの前記ピクセルを利用し、
    通常画像を撮影する際に、赤外線波長から遮断されている前記センサの前記ピクセルを利用し、
    前記画像センサの前記ピクセルを２ｘ２ピクセルのサブアレイにグルーピングし、
    前記サブアレイを１つおきに前記赤外線フィルタ構造によってカバーし、
    前記サブアレイを１つおきにカラーマトリックスフィルタによってカバーする、ステップを有することを特徴とする方法。
13. 前記画像センサアレイをカラーフィルタ構造によってカバーするステップを更に有する、請求項１１または１２に記載の方法。
14. 赤外線波長から遮断された前記ピクセルをカラーフィルタ構造によってカバーするステップを更に有する、請求項１１または１２に記載の方法。
15. 光の量を検出し、
    前記検出結果に基づいて、赤外線画像又は通常画像のいずれを撮影するのかを選択する、ステップを更に有する、請求項１１または１２に記載の方法。

Images