JP4450464B2

JP4450464B2 - 赤外線撮像装置

Info

Publication number: JP4450464B2
Application number: JP2000005476A
Authority: JP
Inventors: 俊浩園田; 淳河合; 亮一佐藤; 康寿畠
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2000-01-14
Filing date: 2000-01-14
Publication date: 2010-04-14
Anticipated expiration: 2020-01-14
Also published as: JP2001194579A

Description

【０００１】
【発明の属する技術分野】
本発明は、赤外線撮像装置に関し、詳しくはオートフォーカス機能を有する赤外線撮像装置に関する。
【０００２】
【従来の技術】
被写体からの可視光線を用いる通常のビデオカメラでは、種々のオートフォーカス方式が提案され、製品化されている。例えば、カメラから被写体に向けて光（赤外線）を発射し、被写体で反射してカメラに戻ってきた光を受光して被写体までの距離を測定するアクティブ方式、被写体からの可視光の位相差を利用するパッシブ方式等がある。また、近年急激に普及してきたディジタルカメラでは、撮像素子から得られた映像信号の演算処理によりフォーカスが合った状態を検出するインナーフォーカス方式が多く用いられている。
【０００３】
インナーフォーカス方式は、例えば特開平３−２６８５８５８号公報に開示されているように、映像信号の輝度情報を高域通過フィルタ（ＨＰＦ）に通し、得られた高域成分からエッジ成分を抽出し、これを評価することによりフォーカスが合っているか否かを判断する。このインナーフォーカス方式は、撮像素子から得られた映像信号を利用してフォーカスの合否を検出するので、特別なセンサを必要とせず、しかもパララックス（視差）が少ないといった利点を有する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記のインナーフォーカス方式は、映像信号の輝度情報を用いてフォーカスの合否を判断するので、得られる映像のコントラストが少ない場合はさほど有効ではない。また、赤外線ビデオカメラは輝度情報ではなく温度情報を抽出して映像化するものであるから、上記のインナーフォーカス方式をそのまま赤外線ビデオカメラに適用することはできない。
【０００５】
輝度情報に代えて温度情報を用いることにより、インナーフォーカス方式を赤外線ビデオカメラに適用することが考えられる。しかし、赤外線ビデオカメラの精度上の問題があり、このため、フォーカスの合否に関して、温度境界におけるコントラスト（温度差）が、可視光線の輝度の場合ほど明確でないという問題がある。
【０００６】
そこで、本発明は、上記のような従来の問題を解決し、簡単な構成によって赤外線撮像装置のオートフォーカスを実現することを目的とする。
【０００７】
被写体を含む撮像対象からの赤外線をフォーカスレンズを介して赤外線検出センサに集光し、赤外線検出センサから得られた赤外線撮像情報を処理装置で処理して得られたイメージを表示画面に表示する赤外線撮像装置であって、前記フォーカスレンズを光軸方向に駆動するフォーカスレンズ駆動装置が設けられ、前記処理装置が、前記フォーカスレンズ駆動装置を制御することによって前記フォーカスレンズを光軸方向に所定ピッチで移動させながら、前記フォーカスレンズの位置のそれぞれの評価値として、当該位置における前記赤外線撮像情報に含まれる全画素または特定の領域の画素のうち、所定の温度範囲内にある温度の情報を有する画素の総数を算出し、前記各位置のうち、前記評価値が極大又は極小となる位置をベストフォーカスの位置と判定する、ことを特徴とする。このような構成により、赤外線撮像装置におけるインナーオートフォーカスが可能となる。
【０００８】
例えば被写体にフォーカスが合っていない状態では、被写体の周囲に被写体とほぼ同じ温度情報を有する画素で構成されたオーラ部が形成されるので、所定の温度範囲内にある温度の情報を有する画素の総数がベストフォーカス時より多くなる。したがって、所定の温度範囲内にある温度の情報を有する画素の総数（評価値）が極小となる位置をベストフォーカスの位置と判定することができる。
【０００９】
また、赤外線撮像情報の全領域のうちの特定の領域を設定する手段が赤外線撮像装置に備えられる。前記処理装置は、設定された前記特定の領域に含まれる全画素のうち、所定の温度範囲内にある温度の情報を有する画素の総数を前記評価値として算出し、該評価値が極大又は極小となる位置をベストフォーカスの位置と判定する。この構成によれば、画面の全領域ではなく、その一部、例えば中央部を評価値算出の対象領域として設定することができる。
【００１０】
更に好ましい構成として、所定の温度範囲として、フォーカスの対象となる被写体（例えば人体）の予測可能な温度範囲を設定する。
また、所定の温度範囲として、フォーカスの対象となる被写体（例えば人体）の予測可能な温度範囲を含まず、かつ、フォーカスの対象とならない非被写体（例えば背景となる物体）の予測可能な温度範囲を含まない温度範囲を設定する。
【００１１】
また、所定の温度範囲として、フォーカスの対象とならない非被写体の予測可能な温度範囲を設定する。前述のように、例えば被写体にフォーカスが合っていない状態では、被写体の周囲に被写体とほぼ同じ温度情報を有する画素で構成されたオーラ部が形成される。この結果、背景となる非被写体の温度範囲内にある温度の情報を有する画素の総数がベストフォーカス時より少なくなる。したがって、非被写体の予測可能な温度範囲を所定の温度範囲として設定した場合は、この温度範囲内にある温度の情報を有する画素の総数（評価値）が極大となる位置をベストフォーカスの位置と判定すればよい。
【００１２】
また、前記評価値が極大又は極小となる位置が複数得られたとき、それら複数の位置の中からベストフォーカスの位置を１つ選択する手段を備えている構成が好ましい。
【００１３】
また、処理装置が、画面を複数の領域に分割し、各領域ごとに所定の温度範囲内にある温度の情報を有する画素の総数を算出し、該算出結果に基づいて、フォーカスを合わせるべき領域を決定するフォーカス領域自動決定処理を更に実行することが好ましい。
【００１４】
更に好ましくは、所定の温度範囲として、フォーカスの対象となる被写体の予測可能な温度範囲を設定し、前記処理装置が、所定の温度範囲内にある温度の情報を有する画素の総数が最も多い領域を、フォーカスを合わせるべき領域として決定する。
【００１５】
また、処理装置が、所定の温度範囲内にある温度の情報を有する画素の総数を算出し、該算出結果に基づいて、フォーカスを合わせるべき複数の領域を選定して表示し、使用者が複数の領域の中から１つを決定するように構成してもよい。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の実施形態に係る赤外線撮像装置の全体構成を示すブロック図である。
赤外線撮像装置１０は、フォーカスレンズ１１、赤外線検出センサ１２、Ａ／Ｄ変換器１３、ディジタル信号処理回路１４、フォーカスレンズ駆動装置１５、表示装置１６を備えている。被写体の情報を含む赤外線がフォーカスレンズ１１を通って赤外線検出センサ（イメージセンサ）１２に結像する。赤外線検出センサ１２は、受光した赤外線情報を電気信号（アナログ信号）に変換しＡ／Ｄ変換器１３に与える。Ａ／Ｄ変換器１３はアナログ信号をディジタル信号に変換してディジタル信号処理回路１４に与える。
【００１７】
ディジタル信号処理回路１４はコンピュータ等で構成され、入力された赤外線撮像信号（ディジタル信号）から被写体のイメージを再現し、映像信号として表示装置１６へ出力する。表示装置１６は、ＣＲＴ、ＬＣＤ等で構成され、ディジタル信号処理回路１４から与えられる映像信号にしたがって被写体の赤外線によるイメージを画面に表示する。また、ディジタル信号処理回路１４は、Ａ／Ｄ変換器１３から入力されたディジタル信号（被写体の赤外線撮像信号）に基づいて、フォーカスレンズ駆動装置１５を介してフォーカスレンズ１１を駆動するオートフォーカス制御をも実行する。
【００１８】
図２は、赤外線撮像装置のオートフォーカス時の動作を示すブロック図である。デジタル信号処理回路１４は、フォーカスを合わせるために、フォーカスレンズを少しずつ移動させる指令２１をフォーカスレンズ駆動装置１５に与える。フォーカスレンズ駆動装置１５は与えられた指令にしたがって、フォーカスレンズ１１を光軸方向（矢印参照）に移動させる。フォーカスレンズ１１が移動すると、その結果、フォーカスレンズ１１を通って赤外線検出センサ１２に結像する被写体の赤外線撮像情報が変化する。この変化はＡ／Ｄ変換器１３を介してディジタル信号処理回路１４に与えられるディジタル信号に反映される。
【００１９】
デジタル信号処理回路１４は、与えられたディジタル信号（赤外線撮像情報）に基づいて以下に述べる評価値を計算する。フォーカスレンズの移動可能範囲又は指定された移動範囲内において、所定のピッチでフォーカスレンズ１１を移動させながら、各位置での評価値を計算する。その結果得られるフォーカスレンズの位置に対する評価値の変化から、例えば評価値が極大又は極小なる位置をベストフォーカス位置として求める。
【００２０】
上記の評価値として、例えば所定の温度範囲内にある画素の総数を求める。赤外線撮像情報は、被写体の各点（イメージの画素に対応する）の温度情報の集合として二次元のイメージを形成するものである。そこで、被写体の注目温度近傍において下限温度Ｔ_lower及び上限温度Ｔ_upperを設定し、この温度範囲内にある画素数の総和を評価値として下式（数１）から求める。
【００２１】
【数１】

【００２２】
式（数１）において、Ｅ（ｐ）はフォーカスレンズの位置（以下、レンズ位置という）ｐでの評価値、Ｘは映像の幅（横方向サイズ）、Ｙは映像の高さ（縦方向サイズ）、ｄ（ｘ，ｙ）は画素（ｘ，ｙ）での温度（に相当する値）である。関数ｆ（ｔ）は、温度ｔがＴ_lower≦ｔ≦Ｔ_upperのときｆ（ｔ）＝１、それ以外のときはｆ（ｔ）＝０となる。
【００２３】
したがって、上式（数１）によれば、温度が下限温度Ｔ_lowerから上限温度Ｔ_upperrの間にある画素の総数である評価値Ｅ（ｐ）が算出される。この評価値Ｅ（ｐ）が極小となる位置ｐをベストフォーカス位置とする。フォーカスがずれていると、図３に示すように、被写体３１の周りに被写体３１の温度に近いドーナッツ状のオーラ部３２が感知されやすくなる。このとき、下限温度Ｔ_lowerから上限温度Ｔ_upperrの温度範囲に対応する部分が被写体３１の輪郭内から、オーラ部３２の外縁まで広がり、この温度範囲内にある画素の総数が多くなる。それゆえ、上述のように、温度が下限温度Ｔ_lowerから上限温度Ｔ_upperrの間にある画素の総数である評価値Ｅ（ｐ）が極小となる位置ｐをベストフォーカスとすることにより、オートフォーカスが実行される。
【００２４】
上記の実施形態において、フォーカスがずれていると被写体の画素が他の部分（すなわち非被写体部）に分散すると考えることもできる。逆に非被写体部の画素が被写体に分散して現れる可能性も考えられ、この場合は式（数１）による簡単な計算のみでは、正確なフォーカスが得られないことになる。そこで、次式（数２）のように、注目温度の分散を考慮した評価値を計算することが望ましい。
【００２５】
【数２】

【００２６】
式（数２）では、注目温度の画素（ｘ，ｙ）と他の注目温度の画素（ｗ，ｚ）との距離が考慮されている。フォーカスが合えば被写体温度の分散が小さくなり、評価値Ｅ（ｐ）は一層小さくなる。したがって、評価値Ｅ（ｐ）が最小となる位置ｐをベストフォーカスとすることにより、オートフォーカスが実行される。
【００２７】
また、上記の実施形態は得られた赤外線映像の全体を対象として、各画素の情報から評価値を求めているが、評価値を求める対象領域を絞ってもよい。例えば図４に示すように、赤外線映像の全体のうち、左上のコーナ位置Ｐ_start（ｘ_start，ｙ_start）及び右下のコーナ位置Ｐ_end（ｘ_end，ｙ_end）で規定される矩形領域を評価値を求める対象領域とすれば、上式（数２）は下式（数３）のようになる。
【００２８】
【数３】

【００２９】
を評価式とすることができる。この場合も上述の処理と同じ処理によってオートフォーカスが実行される。
また、フォーカスの対象である被写体の温度範囲だけでなく、フォーカスの対象とならない非被写体（例えば背景となる物体）の温度範囲も分かっている場合は、更に精密な評価値の算出による正確なオートフォーカスが可能となる。すなわち、被写体の温度範囲をＴ_lower≦ｔ≦Ｔ_upperに設定し、非被写体の温度範囲をＲ_lower≦ｔ≦Ｒ_upperに設定した場合、下式（数４）から評価値Ｅ（ｐ）を求める。
【００３０】
【数４】

【００３１】
式（数４）において、関数Ｏ（ｔ）は、温度ｔが被写体の温度範囲にも非被写体の温度範囲にも含まれない場合、すなわち、ｔ＜Ｔ_lower又はＴ_upper＜ｔで、かつ、ｔ＜Ｒ_lower又はＲ_upper＜ｔのときにＯ（ｔ）＝１となり、それ以外の場合（被写体の温度範囲又は非被写体の温度範囲に含まれる場合）はＯ（ｔ）＝０となる。したがって、式（数４）はフォーカスが合えば実存しないはずの温度情報を有する画素の総数を算出していることになる。この算出結果である評価値Ｅ（ｐ）が極小となる位置ｐをベストフォーカスとすることにより、オートフォーカスが実行される。
【００３２】
また、非被写体の温度範囲のみが分かっている場合は、非被写体の温度範囲のみを設定して評価値を求め、オートフォーカスを実行することが可能である。つまり、非被写体の温度範囲をＲ_lower≦ｔ≦Ｒ_upperに設定した場合、式（数１）、式（数２）又は式（数３）におけるｆ（ｔ）を値ｔがＲ_lower＜ｔ＜Ｒ_upperのときｆ（ｔ）＝１、それ以外のときはｆ（ｔ）＝０として、評価値Ｅ（ｐ）を求める。この場合、フォーカスが合えば図３に示したオーラ部３２が小さくなり、その分だけ非被写体（被写体３１の背景部分）が広くなる。したがって、評価値Ｅ（ｐ）が極大となる位置ｐをベストフォーカスとすることにより、オートフォーカスが実行される。
【００３３】
例えば、面状の背景に対して被写体を含む複数の物体が撮像範囲に含まれる場合、上述のようにして求めた評価値の極小値又は極大値が、フォーカスレンズの光軸方向での移動に伴って複数現れることがある。この場合は、評価値Ｅ（ｐ）が極小値又は極大値になる複数の位置のうち、例えば撮像装置に最も近い物体に対応する位置をベストフォーカスとして決定するようにあらかじめ決めておく。あるいは、複数の位置をベストフォーカスの候補として画面に表示し、使用者がその時点で入力する条件（例えば撮像装置に最も近い、又は最も遠い物体を選択）にしたがってベストフォーカスの位置を選択するように構成してもよい。
【００３４】
次に、画面上のどの部分にフォーカスを合わせるかを決定するためのフォーカス領域自動決定方法の実施形態について説明する。
図５は、本発明によるフォーカス領域自動決定方法の一例を示している。画面５１を複数の領域（図５では１６個の領域）に分割する。そして、それぞれの領域内において、上述のような計算により所定温度範囲にある画素の総数を算出し、所定の温度範囲にある画素の総数が最も多い領域を、フォーカスを合わせるべき領域と決定する。図５の例では、被写体５２が主としてハッチングされた領域５３に存在している。したがって、被写体５２の温度が既知の場合は、その温度を含む範囲を上記の所定温度範囲として設定することにより、領域５３がフォーカスを合わせるべき領域と決定されることになる。
【００３５】
ただし、画面を分割する数、領域の形及び大きさは上記の例に限らず任意に決めることができる。中心領域に重みを与える方法を併用しても良い。
また、フォーカスの対象である被写体の温度範囲だけでなく、フォーカスの対象とならない非被写体（例えば背景となる物体）の温度範囲も分かっている場合は、オートフォーカス方法の実施形態で述べたのと同様に、被写体の温度範囲及び非被写体の温度範囲を指定してもよい。この場合、被写体の温度範囲にある画素の総数が最も多く、かつ、非被写体の温度範囲にある画素の総数が最も少ない領域を、フォーカスを合わせるべき領域と決定する。
【００３６】
更に、被写体の温度範囲内の温度情報を有する画素の総数が多い領域が画面内に複数存在する場合が考えられる。例えば図６に示すように、被写体５２の温度に近い温度の他の物体５４が画面内に存在する場合である。この場合は、領域５３のみならず領域５５も所定温度範囲（被写体の温度範囲）内の温度情報を有する画素の総数が多くなる。そして、上記の画素の総数が最も多い領域を選択したとき、領域５３が選択されずに領域５５が選択される可能性もある。このような場合は、フォーカスを合わせるべき領域を１つの領域まで自動的に絞り込むのではなく、複数の候補領域を画面上に提示し、使用者がポインティングデバイス等の入力装置を用いて最終的に１つの領域を選択するように構成することが好ましい。
【００３７】
以上、本発明の実施形態を説明したが、本発明は上記の実施形態に限らず、種々の形態で実施することが可能である。
【００３８】
【発明の効果】
以上に説明したように、本発明の赤外線撮像装置によれば、処理装置が、フォーカスレンズ駆動装置を制御することによってフォーカスレンズを光軸方向に所定ピッチで移動させながら、各フォーカスレンズ位置において赤外線撮像情報から温度に関する評価値を算出し、得られたフォーカスレンズ位置と評価値との関係からベストフォーカスを判定するので、特別な付加機構を設けることなくオートフォーカスが実現する。
【００３９】
特に、フォーカスの対象となる被写体の予測可能な温度範囲を設定し、この範囲内にある温度の情報を有する画素の総数を評価値として算出することにより、オートフォーカスが簡単な構成で実現される。
【００４０】
更に、フォーカスの対象とならない非被写体の温度範囲を予測可能である場合は、この温度範囲も設定することにより、オートフォーカスの精度を上げることができる。
【００４１】
また、画面を複数の領域に分割し、各領域ごとに所定の温度範囲内にある温度の情報を有する画素の総数を算出し、該算出結果に基づいて、フォーカスを合わせるべき領域を決定するフォーカス領域自動決定処理をも実行することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る赤外線撮像装置の全体構成を示すブロック図である。
【図２】赤外線撮像装置のオートフォーカス時の動作を示すブロック図である。
【図３】フォーカスが合っていないときに、被写体の周りに現れるドーナッツ状のオーラ部を示す図である。
【図４】赤外線映像の全体のうちの評価値を求める対象として設定される矩形領域を例示する図である。
【図５】本発明によるフォーカス領域自動決定方法の一例を示す図である。
【図６】被写体の温度に近い温度の他の物体が画面内に存在する状態を示す図である。
【符号の説明】
１０赤外線撮像装置
１１フォーカスレンズ
１２赤外線検出センサ
１３Ａ／Ｄ変換器
１４ディジタル信号処理回路（処理装置）
１５フォーカスレンズ駆動装置
１６表示装置

Claims

被写体を含む撮像対象からの赤外線をフォーカスレンズを介して赤外線検出センサに集光し、赤外線検出センサから得られた赤外線撮像情報を処理装置で処理して得られたイメージを表示画面に表示する赤外線撮像装置であって、
前記フォーカスレンズを光軸方向に駆動するフォーカスレンズ駆動装置が設けられ、
前記処理装置が、
前記フォーカスレンズ駆動装置を制御することによって前記フォーカスレンズを光軸方向に所定ピッチで移動させながら、前記フォーカスレンズの位置のそれぞれの評価値として、当該位置における前記赤外線撮像情報に含まれる全画素または特定の領域の画素のうち、所定の温度範囲内にある温度の情報を有する画素の総数を算出し、
前記各位置のうち、前記評価値が極大又は極小となる位置をベストフォーカスの位置と判定する、
ことを特徴とする赤外線撮像装置。