JP4320780B2

JP4320780B2 - 撮像装置

Info

Publication number: JP4320780B2
Application number: JP2005371753A
Authority: JP
Inventors: 孝豊田; 良純中尾; 康生政木
Original assignee: Funai Electric Co Ltd
Current assignee: Funai Electric Co Ltd
Priority date: 2005-12-26
Filing date: 2005-12-26
Publication date: 2009-08-26
Anticipated expiration: 2025-12-26
Also published as: JP2007174476A

Description

本発明は、画像センサを用いて撮像領域の画像を撮像する撮像装置に関する。

従来、ＣＭＯＳイメージセンサなどの画像センサを用いて、同一の撮像領域を異なる撮像条件の基で撮像し、撮像により得た複数の画像から、ダイナミックレンジの幅を広げた合成画像を生成する撮像装置が知られている。

特許文献１では、光源の発光量を異ならせて、同一の撮像領域を撮像し、撮像領域の暗い部分に関しては大きい発光量の基で撮像された画像データを適用し、撮像領域の明るい部分に関しては小さな発光量の基で撮像された画像データを適用し、ダイナミックレンジの幅を広げた合成画像を生成する撮像装置が開示されている。

また特許文献２では、画像データごとに露光時間を異ならせることで、撮像条件の異なる２つの画像データを得る撮像装置が開示されている。
特開２００３−３０９７６６号公報特許第３１１２３２５号

上記撮像装置では、同一の撮像領域を異なる撮像条件の基で撮像するためには、全画素から蓄積電荷を読み込む撮像フレーム処理を複数回行う必要があった。複数回の撮像フレーム処理を行う撮像装置としては、所定のフレームレートで動画処理を行うものが一般的であるが、複数の撮像フレーム処理の間には、所定の処理時間（垂直帰線期間など）が必要なこともあり、撮像フレーム処理間の処理時間の短縮化には限界があった。さらには、複雑な構成や複雑な信号処理が必要であった。

そこで本発明の目的は、短い処理時間で、また、簡易な構成で撮像条件の異なる画像同士を合成してダイナミックレンジの幅を広げた合成画像を生成できる撮像装置を提供することにある。

（１）複数の画素がマトリクス状に配列された画像センサと、前記画素に蓄積された電荷をリセットするために前記画像センサの水平行を垂直方向に順番に選択する行選択部と、前記行選択部により選択された水平行の各画素の露光後に電荷を読み出すことで撮像領域の画像を得る撮像部と、を備えた撮像装置において、前記画像センサの前記垂直方向に区分された複数の画素領域それぞれに、同一の撮像領域の画像を結像させる結像部と、前記行選択部により選択されている水平行の属する画素領域に応じて、撮像領域を照射する光源の発光量を制御する発光制御部と、を備え、前記撮像部は、各画素領域に結像されている画像を順番に得て、これらの画像を用いて合成画像を生成するものであり、前記発光制御部は、前記撮像部が得る各画像の画素領域毎に前記光源の発光量を異ならせるものである。

この構成では、水平行を順番に選択しながら、各画素の露光後の電荷を読み出すローリングシャッタ方式の電子シャッタ処理を用いる。また、画像センサの画素を水平行に垂直な方向（垂直方向）に並んだ画素領域に区分し、それぞれの画素領域に同一の撮像領域の画像を結像させるようにする。したがって、各画素領域の露光のタイミングに所定の時間差が生じ、ローリングシャッタ方式により順番に得る各画素領域の画像が、極めて短い時間に同一の撮像領域を撮像したものになる。そこで、各画素領域の露光タイミングに応じて光源の発光量を異ならせ、各画素領域の画像同士を合成する。

上記の各画素領域の露光のタイミングは、撮像装置のフレームレートや水平帰線期間などによらずに、水平行の間隔に従って定まるので、極めて短い時間差で複数の画像を取得でき、撮像フレーム処理間の処理時間を削減して、ダイナミックレンジの幅を広げた合成画像を生成できる。また、撮像フレーム処理を繰り返す必要も無いので、簡易な構成であってもダイナミックレンジの幅を広げた合成画像を生成できる。

（２）前記発光制御部は、いずれかの画素領域に属する全ての画素が露光している時間に、前記光源を発光させる。

これにより、画素領域ごとに、その画素領域に属する全ての画素における撮像条件、即ち、露光中の光源の発光量をほとんど均一にできる。したがって画素領域毎にほとんど均一な撮像条件の基に撮像された画像を得ることができる。

（３）前記発光制御部は、異なる画素領域に属する画素が同時に露光している時間に、前記光源の発光を禁止する。

これにより、画素領域ごとに、その画素領域に属する全ての画素の、撮像条件をほとんど均一にできる。したがって画素領域毎にほとんど均一な撮像条件の基に撮像された画像を得ることができる。

（４）前記行選択部がいずれかの画素領域に属する水平行を選択してから、別の画素領域に属する水平行を選択するまでの時間を、前記行選択部が同一の画素領域において水平行を順番に選択する時間よりも長くする遅延手段を有する。

この遅延手段としては、隣接する複数の画素領域を跨いだ水平行の選択に要する時間を、ローリングシャッタ方式で水平行を順番に選択する時間（水平帰線期間）よりも長くする遅延回路を行選択部に設けたり、画素領域としての読み込み処理を行わない水平行を、複数の画素領域の間にすくなくとも１ライン以上設けたりして実施すると好適である。

この発明の撮像装置は、極めて短い時間差で複数の画像を取得でき、撮像フレーム処理間の処理時間を削減して、ダイナミックレンジの幅を広げた合成画像を生成できる。

また、撮像フレーム処理を繰り返す必要も無いので、簡易な構成であってもダイナミックレンジの幅を広げた合成画像を生成できる。

また画素領域毎にほとんど均一な撮像条件の基に撮像された画像を得ることができる。

以下、本発明の実施形態について説明する。なお、以下の説明では、防犯カメラ用途に用いるものとして撮像装置を説明するが、本発明は様々な用途の撮像装置に実施することができる。

本実施形態の撮像装置は、外部の装置である赤外線センサからの検知信号が外部信号として入力され、赤外線センサの検知物体周辺の撮像領域の撮像を行い、同一の撮像領域を撮像した複数の画像からダイナミックレンジの幅を広げた合成画像を生成する。

ここで撮像装置１００の概略構成を図１に示す。撮像装置１００は、外部信号が入力され撮像を行うものであり、外部信号が入力されると垂直同期信号を画像センサ２に出力する。

光学系１は、画像センサ２の画素に同一の撮像領域の複数の画像を結像させる。画像センサ２は、垂直同期信号に従ってローリングシャッタ方式の撮像フレーム処理を開始し、赤外線センサの検知物体周辺の同一の撮像領域の複数の画像を取得する。発光制御部５は、画像センサ２から垂直同期信号が入力され、画像センサ２での各撮像領域の画像の露光タイミングに同期させた所定の発光制御信号を生成する。光源６は、発光制御部５により入力される発光制御信号により、発光を制御され、撮像領域を照射する。画像合成部４は、画像センサ２で取得した画像が入力され、合成画像を生成する。

ここで光学系１と画像センサ２の構成の一部を図２に示す。画像センサ２は、マトリクス状に行列配置した複数の画素（Ｐ１１〜Ｐ３７）と、垂直走査回路７と水平走査回路８とを備えている。なお、図示の都合により、ここでは画素数を少ないものとして説明するが、実際には数万以上の画素数であっても好適に実施できる。また図示する水平駆動線と垂直駆動線は、各々複数の信号線から構成され各種信号を入出力するが、ここでは、詳しい説明は除く、一般的な画像センサの構成を用いればよい。

画像センサ２の水平行（図２横方向）に並んだ複数の画素は、水平列毎に水平駆動線Ｙ１〜Ｙ７のいずれかに接続し、水平駆動線Ｙ１〜Ｙ７の一端を垂直走査回路７に接続している。また、画像センサ２の垂直列（図２縦方向）に並んだ複数の画素は、垂直列毎に垂直駆動線Ｘ１〜Ｘ３のいずれかに接続し、垂直駆動線Ｘ１〜Ｘ３の一端を水平走査回路８に接続している。垂直走査回路７は、本発明の行選択手段であり、水平駆動線Ｙ１〜Ｙ７に接続されている。また、水平走査回路８は、本発明の読み出し手段であり、垂直駆動線Ｘ１〜Ｘ３に接続されている。

また、ここでは画像センサ２は複数の画素を半導体基板上に一体に形成したものとしていて、複数の光学レンズＬ１，Ｌ２を、画像センサ２の基板面に対向させて配置している。光学レンズＬ１，Ｌ２は水平駆動線Ｙ４に接続された水平列を所定の間隔で挟むように画像センサ２の垂直列の方向に並べて配置している。なお、以下の説明では、光学レンズＬ１に対向する画素Ｐ１１，Ｐ１２，Ｐ１３，Ｐ２１，Ｐ２２，Ｐ２３，Ｐ３１，Ｐ３２，Ｐ３３を画素領域Ｑ１という。また、光学レンズＬ２に対向する画素Ｐ１５，Ｐ１６，Ｐ１７，Ｐ２５，Ｐ２６，Ｐ２７，Ｐ３５，Ｐ３６，Ｐ３７は画素領域Ｑ２という。光学レンズＬ１，Ｌ２は、画素領域Ｑ１と、画素領域Ｑ２とに同一の撮像領域の画像を結像する。

ここで、この画像センサ２は、ローリングシャッタ方式で撮像フレーム処理を行うので、画像センサ２の画素を垂直列の方向に並んだ画素領域Ｑ１と画素領域Ｑ２とは、露光のタイミングに所定の時間差が生じ、各画素領域Ｑ１，Ｑ２から順番に読み出す画像は、所定の極めて短い時間に同一の撮像領域を撮像したものになる。

なお、光学系１としては、上記光学レンズＬ１，Ｌ２のように同一の画像を複数の画素領域に結像させるものであればどのように配置してもよく、また、どのような構成でもよい。また、画素領域の境界の位置の画像センサ２に障壁を設けて、入射する光による迷光を遮蔽しても好適である。

また、図１に示すように発光制御部５には、画像センサ２から垂直同期信号を出力する。ここで、画像センサ２での各水平行の露光のタイミングと、発光制御部５で制御する光源６の発光タイミングとについて、図３の概念図を参照して説明する。
ローリングシャッタ方式の撮像フレーム処理では、各水平行が順番に選択され、選択された水平列の各画素をリセット動作させ、所定の露光時間の経過後に、各画素に蓄積された電荷電圧を読み出す。なお、以下では、同じ水平行の画素間での露光のタイミングのずれは無いものとして説明するが、画素間の露光タイミングをずらすようにしてもよい。

画像センサの各水平行は、図３に示す露光タイミングで露光する。各水平行は、それぞれ時間Ｐｚずれたタイミングで、時間Ｐｒだけ露光する。ここでは、水平駆動線Ｙ１に接続された水平行は時刻Ｔ０から時刻Ｔ２まで露光させる。水平駆動線Ｙ３に接続された水平行は時刻Ｔ１から時刻Ｔ３まで露光させる。水平駆動線Ｙ５に接続された水平行は時刻Ｔ２から時刻Ｔ４まで露光させる。水平駆動線Ｙ７に接続された水平行は、時刻Ｔ３から時刻Ｔ５まで露光させる。

したがって、水平駆動線Ｙ３に接続された水平行に電荷の蓄積を始めてから、水平駆動線Ｙ１に接続された水平行から電荷の読み出しを終えるまでの間の時間Ｔ１〜Ｔ２に、画素領域Ｑ１の全ての水平行の露光時間が重なる。また、画素領域Ｑ２のいずれの水平行も時刻Ｔ２の後に露光するので、時間Ｔ１〜Ｔ２には、画素領域Ｑ２のいずれの水平行の露光時間も重ならない。そこで、この時間Ｔ１〜Ｔ２に光源６を発光させることで、画素領域Ｑ１の水平行を均一な撮像条件で、即ち、それぞれの露光時間での光源の発光量をほとんど均一にして露光させることができる。このようにして、画素領域Ｑ１に属する全ての画素の撮像条件をほとんど均一にするとよい。また、画素領域Ｑ１からほとんど均一な撮像条件の基に撮像した画像を得ることができる。

また、水平駆動線Ｙ７に接続された水平行に電荷の蓄積を始めてから、水平駆動線Ｙ５に接続された水平行から電荷の読み出しを終えるまでの間の時間Ｔ３〜Ｔ４に、画素領域Ｑ２の全ての水平行の露光時間が重なる。また、画素領域Ｑ１のいずれの水平行も時刻Ｔ３の前に露光するので、時間Ｔ３〜Ｔ４には、画素領域Ｑ１のいずれの水平行の露光時間も重ならない。そこで、この時間Ｔ３〜Ｔ４に光源６を発光させることで、画素領域Ｑ２の水平行を均一な撮像条件で、即ち、それぞれの露光時間での光源の発光量をほとんど均一にして露光させることができる。このようにして、画素領域Ｑ２に属する全ての画素の撮像条件をほとんど均一にするとよい。また、画素領域Ｑ２からほとんど均一な撮像条件の基に撮像した画像を得ることができる。

このように、画素領域Ｑ１の電荷の読み出しタイミングを時刻Ｔ１、画素領域Ｑ２の電荷の読み出しタイミングを時刻Ｔ２とし、また、時間Ｔ１〜Ｔ２での光源６の発光量（発光強度）を、時間Ｔ３〜Ｔ４での光源６の発光量（発光強度）より多くするので、画素領域Ｑ１に結像する画像と画素領域Ｑ２に結像する画像とが、それぞれ異なる撮像条件で撮像される。したがって、撮像条件を異ならせて同じ撮像領域を撮像した複数の画像を、一度の撮像フレーム処理で取得できる。

なお、光源６の発光強度ではなく発光時間を異ならせることで、各画素領域での光源６の発光量を異ならせ、撮像条件を変えて同じ撮像領域を撮像した複数の画像を取得するようにしてもよい。また、例えば時間Ｔ１〜Ｔ２の光源６の発光量はそのままで、時間Ｔ３〜Ｔ４に光源を発光させないようにして、撮像条件を異ならせて同じ撮像領域を撮像した複数の画像を取得するようにしてもよい。

また水平駆動線Ｙ４に接続された水平行は、時間Ｔ１〜Ｔ２と時間Ｔ３〜Ｔ４とで露光することになり、画素領域Ｑ１や画素領域Ｑ２の水平行とは異なる撮像条件の基に撮像されることになる。したがって、いずれの画素領域にも属さない水平行が各画素領域（Ｑ１やＱ２）の前後に存在する場合には、その水平行の電荷電圧は読み飛ばすように、後段の画像合成部４で処理することで、各画像領域Ｑ１，Ｑ２などの画像をそれぞれ均一な撮像条件の基に撮像することができる。

このように画素領域Ｑ１，Ｑ２の間にいずれの画素領域にも属さない水平行を設けることで、ローリングシャッタ方式で水平行を順番に選択する時間Ｐｚ（水平帰線期間）よりも、画素領域Ｑ１の水平行の選択から画素領域Ｑ２の水平行の選択までにかかる時間Ｔ１〜Ｔ３を長くする（遅延させる）ことができる。

なお、いずれの画素領域にも属さない水平行を設ける以外にも、水平走査回路に遅延回路を設けるようにしても良い。いずれかの画素領域に属する水平行を選択してから、別の画素領域に属する水平行を選択するまでの時間を、水平帰線期間よりも長くする遅延回路によっても、画素領域を跨いだ行選択にかかる時間を遅延させることができる。

次に、画像合成部４での画像合成処理を、図４に基づいて説明する。

画像合成部４は、画素領域Ｑ１の画像と、画素領域Ｑ２の画像とが入力される。ここで、画素領域Ｑ１の画像のほうが、画素領域Ｑ２の画像よりも光源を大きな発光量で発光させて撮像されたものとする。

ここで、室内等の明るい領域Ｌと夜景等の暗い領域Ｄとが混在する画像を画素領域Ｑ１と画素領域Ｑ２とで撮像する場合に、画像合成部４は画素領域Ｑ１，Ｑ２で得た画像の撮像条件の最適な画素同士を合成してダイナミックレンジの幅の広い合成画像を取得する。光源を大きな発光量で発光させて撮像した画素領域Ｑ１からは、暗い領域Ｄを撮像した画素を抽出する。また、光源の発光量を小さくして撮像した画素領域Ｑ２からは、明るい領域Ｌを撮像した画素を抽出する。画像合成部４は、さらに、抽出した画素同士の信号レベルを調整して合成画像を生成する。

このように、画像合成部４は光源の発光量を異ならせ、異なる撮像条件で撮像した複数の画像を一度の撮像フレーム処理で取得し、これらの画像から撮像条件の最適な画素同士を抽出し、合成してダイナミックレンジの幅の広い合成画像を生成できる。

以上のようにこの撮像装置は、極めて短い時間差で複数の画像を取得でき、撮像フレーム処理間の処理時間を削減して、ダイナミックレンジの幅を広げた合成画像を生成できる。

なお、本実施形態では、画像センサ２を複数の画素領域Ｑ１，Ｑ２に区分したが、さらに多くの画素領域に区分するようにしても良い。その場合に、いずれか２つの画素領域の画像から合成画像を生成してもよく、また、さらに多くの画素領域の画像から合成画像を生成するようにしても良い。より多くの画像を用いて合成画像を生成することにより、合成画像のダイナミックレンジをさらに精緻に設定することもできる。

なお、上記した画像合成部４、発光制御部５での処理は、ＩＣやＣＰＵなどを用いたソフトウェア処理により実現してもよい。

また、上記以外にも、光学系として光学レンズに加えて光学絞りや光学フィルタなどを設けるようにしても好適である。

このように本発明は、本発明の要旨を逸脱しない限り、この実施例で示した以外の多様な実施例で実施できる。

実施形態の撮像装置の構成を説明する図である。実施形態の画像センサの構成を説明する図である。実施形態における発光と露光とのタイミングを説明する概念図である。実施形態における画像合成処理を説明する概念図である。

符号の説明

１−光学系
２−画像センサ
４−画像合成部
５−発光制御部
６−光源
７−垂直走査回路
８−水平走査回路
１００−撮像装置
Ｌ１，Ｌ２−光学レンズ
Ｐ−画素
Ｑ−画素領域
Ｔ−時刻
Ｘ−垂直駆動線
Ｙ−水平駆動線

Claims

複数の画素がマトリクス状に配列された画像センサと、前記画素に蓄積された電荷をリセットするために前記画像センサの水平行を垂直方向に順番に選択する行選択部と、前記行選択部により選択された水平行の各画素の露光後に電荷を読み出すことで撮像領域の画像を得る撮像部と、を備えた撮像装置において、
前記画像センサの前記垂直方向に区分された複数の画素領域それぞれに、同一の撮像領域の画像を結像させる結像部と、
前記行選択部により選択されている水平行の属する画素領域に応じて、撮像領域を照射する光源の発光量を制御する発光制御部と、前記行選択部が、いずれかの画素領域に属する水平行を選択してから、別の画素領域に属する水平行を選択するまでの時間を、前記行選択部が同一の画素領域において水平行を順番に選択する時間よりも長くする遅延手段と、を備え、
前記撮像部は、各画素領域に結像されている画像を順番に得て、これらの画像を用いて合成画像を生成するものであり、
前記発光制御部は、前記撮像部が得る各画像の画素領域毎に前記光源の発光量を異ならせ、いずれかの画素領域に属する全ての画素が露光している時間に、前記光源を発光させ、異なる画素領域に属する画素が同時に露光している時間に、前記光源の発光を禁止するものである撮像装置。
複数の画素がマトリクス状に配列された画像センサと、前記画素に蓄積された電荷をリセットするために前記画像センサの水平行を垂直方向に順番に選択する行選択部と、前記行選択部により選択された水平行の各画素の露光後に電荷を読み出すことで撮像領域の画像を得る撮像部と、を備えた撮像装置において、
前記画像センサの前記垂直方向に区分された複数の画素領域それぞれに、同一の撮像領域の画像を結像させる結像部と、
前記行選択部により選択されている水平行の属する画素領域に応じて、撮像領域を照射する光源の発光量を制御する発光制御部と、を備え、
前記撮像部は、各画素領域に結像されている画像を順番に得て、これらの画像を用いて合成画像を生成するものであり、
前記発光制御部は、前記撮像部が得る各画像の画素領域毎に前記光源の発光量を異ならせるものである撮像装置。
前記発光制御部は、いずれかの画素領域に属する全ての画素が露光している時間に、前記光源を発光させる請求項２に記載の撮像装置。
前記発光制御部は、異なる画素領域に属する画素が同時に露光している時間に、前記光源の発光を禁止する請求項２または請求項３に記載の撮像装置。
前記行選択部がいずれかの画素領域に属する水平行を選択してから、別の画素領域に属する水平行を選択するまでの時間を、前記行選択部が同一の画素領域において水平行を順番に選択する時間よりも長くする遅延手段を有する請求項２〜４のいずれかに記載の撮像装置。