JP5354701B2 - 撮像装置 - Google Patents

Description

本発明は、静止画を撮像する撮像装置に関し、さらに詳しくは手ぶれ補正技術に関する。

特許文献１において、プレビュー表示に用いられるプレビュー画像などのサイズの小さい画像（以下、「第一画像」と呼ぶ）と、撮像装置のユーザー等がシャッターを切ることによって得ることを目的とする画像（以下、「第二画像」と呼ぶ）とを利用して手ぶれ補正が可能である撮像装置の発明が開示されている。

通常の撮像装置においては、撮像時の周辺の明るさなどから露出制御が行なわれ、適正な露出にて撮像が行なわれるようになっている。しかしながら、露出制御により露光時間が長くなると手ぶれが発生する可能性が高くなる。それに対し、特許文献１においては、プレビュー画像などのサイズの小さい第一画像は、露出は適切であるが手ぶれが発生することを想定しており、一方、第二画像は手ぶれが軽減されるように露光時間を短くする。これにより、第二画像は、手ぶれはしていないものの露出不足の画像となるため、プレビュー画像などの適正露出の画像の輝度情報を利用して第二画像の輝度情報を補正する。

さらに、特許文献１においては、プレビュー画像などのサイズの小さい画像を画素加算により取得する方法も述べられている。画素加算とは、例えば、図２３に示すように４つの画素を１画素に変換する方法であり、変換する際には４つの画素の画素値を足し合わせた値を１画素の画素値にする。例えば、４００×４００画素の画像において画素加算を行なうと２００×２００画素の画像となる。この画素加算のメリットは、元の画像は明るさが不足している画像であっても４つの画素の画素値を足し合わせて１画素の画素値とするため、シャッター時間が短くても画素加算により生成された画像は明るさが確保された画像となる。また、例えば、高画素化ＣＣＤの場合、ＣＣＤ全体の大きさが大きくなるにつれて一つ一つの画素の大きさは小さくなっていくため一つ一つの画素に当たる光は少なくなっていく。すなわち、感度が低くなっていく。また、これを補正するために信号を増幅するとノイズも大きくなってしまうが、画素加算によれば、画像のサイズは小さくなるが信号を増幅することなく明るさを確保することができ、低照度環境下の様な光量不足な条件においても、ノイズが少ない良好な画像を得ることができる。

画素加算を用いないプレビュー画像などのサイズの小さい画像においても、サイズを小さくする際、隣接画素を加算平均処理した画像を用いる場合が多いため、手ぶれが発生することがあるが、画素加算と同様にノイズが少ない良好な画像を得ることができる。

特許文献１における第一画像と第二画像を用いて合成を行う場合の概略を図２４、及び図２５を用いて説明する。

図２４では、第一画像（２４０１）と第二画像（２４０２）の大きさが異なる場合を一例として示す。また、（ａ）は第一画像と第二画像との間で位置ずれが無い場合、（ｂ）は第一画像と第二画像との間で位置ずれがある場合を例示する。第一画像（２４０１）の高さをＰｈ、幅をＰｗで表し、第二画像（２４０２）の高さをＳｈ、幅をＳｗで表すとする。まず、（ａ）において、第一画像（２４０１）の画素（ｘ'，ｙ'）に対応する点が第二画像（２４０２）の画素（ｘ，ｙ）であるとすると、（ａ）においては位置ずれがないので、ｘ'＝αｘ，ｙ'＝βｙと表すことができる。ここで、αとβは第一画像と第二画像の水平方向、垂直方向の縮小率であり、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈである。また、（ｂ）においては、位置ずれの動き量を（Ｍｘ、Ｍｙ）とし、第一画像（２４０１）の画素（ｘ''，ｙ''）に対応する点が第二画像（２４０２）の画素（ｘ，ｙ）であるとすると、ｘ''＝αｘ＋Ｍｘ，ｙ''＝βｙ＋Ｍｙと表すことができる。このようにして、第一画像と第二画像における各画素同士の対応関係を求めることができる。よって、この対応関係を利用することにより、例えば、対応する各画素の輝度情報を比較して明るさを補正するなどして合成を行なうことができる。なお、位置ずれの動き量（Ｍｘ、Ｍｙ）は、ブロックマッチングやエッジ検出などによって検出することができる。

図２５は、前記「対応する各画素の輝度情報を比較して明るさを補正する」方法の具体例を示す。図２５にて説明のように、位置ずれの動き量を（Ｍｘ、Ｍｙ）、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈとすると、第一画像の画素（ｘ'，ｙ'）と第二画像の画素（ｘ，ｙ）との関係は、ｘ'＝αｘ＋Ｍｘ，ｙ'＝βｙ＋Ｍｙ（以下、「数式１」と呼ぶ）と表すことができる。通常、画素の明るさは露光時間の長さに比例して変化する（例えば、露光時間が２倍になれば、画素の明るさも２倍になる）ので、第一画像と第二画像の露光時間の比に応じて、第二画像の画像情報にて示される各画素における画素値（ＲＧＢ値など）を増加させれば、第二画像の明るさは第一画像と同じになる。しかしながら、ノイズも増幅されてしまうため、ここでは線形補間により第一画像の画素値との平均を取ってノイズ成分を減少させる方法にて画素値の補正を行なう場合を例示する。線形補間に関しては一般的によく知られているのでここでは詳述しない。数式１にて算出されるｘ'の整数部をｋ、小数部をｕ、ｙ'の整数部をｌ、小数部をｖとし、第一画像の画素（ｘ'，ｙ'）における画素値をＰｐ（ｘ'，ｙ'）とすると、Ｐｐ（ｘ'，ｙ'）＝Ｐｐ（ｋ＋ｕ，ｌ＋ｖ）＝Ｐｐ（ｋ，ｌ）（ｌ−ｕ）（ｌ−ｖ）＋Ｐｐ（ｋ＋１，ｌ）ｕ（ｌ−ｖ）＋Ｐｐ（ｋ，ｌ＋１）（ｌ−ｕ）ｌ＋Ｐｐ（ｋ＋１，ｌ＋１）ｋｌ、という式にて画素値Ｐｐ（ｘ'，ｙ'）が求められる。また、第二画像の輝度情報を補正する際の補正量は以下のように算出する。第一画像を得る際の露出制御にてほぼ適正露出に制御された露光時間（第一画像の露光時間）をＴｏ、第二画像を得る際の露出制御にて手ぶれが発生しにくく制御された露光時間（第二画像の露光時間）をＴｘとし、Ｔｒ＝Ｔｘ／Ｔｏとする。第二画像の画素（ｘ，ｙ）における画素値をＰｓ（ｘ，ｙ）とすると、補正される第二画像の輝度情報の画素値Ｐａ（ｘ，ｙ）は、Ｐａ（ｘ，ｙ）＝（Ｐｐ（ｘ'，ｙ'）＋Ｐｓ（ｘ，ｙ）・Ｔｒ）／２、という式で表される。これにより、第一画像の輝度情報である画素値Ｐｐ（ｘ'，ｙ'）と第二画像の輝度情報である画素値Ｐｓ（ｘ，ｙ）によって、第二画像の輝度情報を画素値Ｐａ（ｘ，ｙ）で補正することができる。

また、特許文献２においては、十分に光量がある明るい高照度環境下の場合は通常の撮影を行い、被写体像の輝度が低輝度被写体と判定され、且つカラー撮像素子の隣接するフィールドの出力画像同士を比較した結果、前記出力画像同士に差が少なく動きがなく、被写体の動きが少ないと判断された場合、前記各フィールドの同色の画素を加算することで、低照度下の被写体でも手ぶれ等を気にすることなく、Ｓ／Ｎの良好な写真が撮影できる撮像装置の発明が開示されている。
特願２００５−２０９２４９号 特開２００４−２３５９０１号公報

しかしながら、特許文献１の方法は、第一画像と第二画像を用いて合成を行う際、ノイズ成分を減少させるため、サイズを小さくすることで高周波成分が少なくなりボケ気味の第一画像と常に加算平均する為、十分に光量がある高照度環境下により第二画像の撮像条件が十分短い露光時間になり手ぶれが発生しない画像であっても補正を行うこととなり、補正により第二画像の高周波成分が少なくなり、手ぶれを抑える補正にも拘らず、エッジがボケ気味になり、画質劣化を招いていた。ちなみに上述の「十分に光量がある高照度環境下」とは、手ぶれが発生しない露光時間が１／６０秒より短い露光時間であるとした場合、撮像制御部が目的の画像を取得する際に必要となる露光時間が１／６０秒より短い露光時間で制御される状態を指す。

また、特許文献１の方法は、適正露出である第一画像と、露出不足であるが手ぶれが軽減された第二画像とを利用することにより、第二画像の輝度情報を第一画像の輝度情報を利用して補正することのみによって手ぶれの軽減された画像を得る際、第一画像の露光時間と第二画像の露光時間の比率を第二画像にかけてから、第一画像との平均をとって、露出を適正にする技術の例が開示されているが、この方法だと、実際の撮像部は画像処理プロセスでガンマ補正がかかり、輝度情報の線形特性が損なわれているので、単純にかけて合成すると、実際の輝度情報からずれた輝度情報が合成され、不自然になっていた。例え、ガンマ補正がかかっている分に対し逆特性のガンマ補正を施し、上記露光時間の比率の演算、平均を行い、その後ガンマ補正をかける方法も考えられるが、ハード・ソフトでの実現を考慮すると、著しく負荷のかかるものとなってしまう。

また、特許文献１の方法を用いないで特許文献２の方法を適用した場合は、十分に光量がある高照度環境下での手ぶれ補正によりボケることは無くなるが、通常撮影で手ぶれが発生するある一定の照度環境より暗くなると判断され（特許文献２では被写体像の輝度が低輝度被写体と判定されることを指す）、且つ被写体の動きが少ないと判断されるとすぐ3フィールドの加算を行うことにより、目的の画像のサイズが小さくなったり、加算により急に3倍の明るさになったり、加算により高周波成分が無くなり、使い勝手・画質の面で非常に悪いものになっていた。

特許文献１の方法において、十分に光量がある明るい高照度環境下の場合は通常の撮影を行い、通常撮影で手ぶれが発生するある一定の照度環境より暗い場合は手ぶれ補正を行うような制御を適用したとしても、手ぶれが発生するある一定の照度環境を境に、明るい時は高周波成分が多い高画質な画像、暗い時は高周波成分が急に少なくなった低画質な画像となり、少しの照度環境変化で大きく画質が変わり、不自然になっていた。

さらに、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、ある程度暗い低照度環境下において、第一画像を使用する合成比率を高め、ノイズを抑えたとしても、被写体に十分光が当っていない暗部においてはノイズ成分が目立ってしまう欠点があった。

さらにまた、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、ある程度暗い低照度環境下において、第一画像を使用する合成比率を高め、ノイズを抑えたとしても、撮像部の温度上昇状態によってはノイズを抑えきれず、通常使用に耐えがたい画質になっていた。

そこで、本発明においては、照度条件によって異なる撮像条件の制御が可能な撮像制御により、手ぶれが発生しそうな照度環境下においては、複数の画像の画像情報を部分的に利用して一の画像の画像情報を合成することで手ぶれを補正し、十分に光量がある高照度環境下においては、通常の撮像条件で撮像された画像をそのまま目的の画像とすることが可能である撮像装置を提案する。

また、本発明においては、手ぶれが発生しそうな照度環境下において、複数の画像の画像情報を部分的に利用して一の画像の画像情報を合成することで手ぶれを補正する際、複数画像間の合成比率を前記撮像条件に合わせて可変とすることで、ある一定の照度環境を境に、明るい時は高周波成分が多い高画質な画像、暗い時は高周波成分が急に少なくなった低画質な画像となり、少しの照度環境変化で大きく画質が変わり、不自然になってしまうことがない。

さらに、本発明においては、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、被写体に十分光が当っていない暗部においては、前記合成比率においてノイズが少ない第一画像を使用する重みをさらに大きくすることで、ノイズを抑えた良好な画質を得ることができる。

さらにまた、本発明においては、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、撮像部の温度上昇状態によって、前記合成比率をノイズが少ない第一画像を使用する重みをさらに大きくすることで、撮像部の温度が上がっていても、ノイズを抑えた良好な画質を得ることができる。

加えて、本発明においては、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、ノイズが少ない画像からエッジ情報を取得し、エッジ情報ではない領域においては、ノイズが少ない画像を使用する重みをさらに大きくした合成が可能であるため、エッジ情報ではない領域において、ノイズを抑えた良好な画質の画像を得ることができる。

さらに加えて、本発明においては、複数の画像から動き領域情報を取得し、動き領域においては、ノイズが少ない画像を使用した合成が可能であるため、動き領域において、ノイズを抑えた良好な画質の画像を得ることができる。

さらに加えてまた、本発明においては、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、輝度情報と色情報を別々に合成することが可能であるため、輝度ノイズや色ノイズの発生状況に応じて、発生ノイズを抑えた手ぶれ補正画像を得ることができる。

本発明の撮像装置においては、照度条件に応じて手ぶれを補正するための合成を行ったり、行なわなかったりすることが可能で、且つ、手ぶれを補正する際の複数の画像間における合成比率を照度条件に応じて可変することが可能であるため、状況に応じてノイズを抑えた最良の画質を保持しつつ、所望の手ぶれを抑えた画像を得ることができる。
また、照度条件により合成による手ぶれ補正を行なう場合は、照度条件が暗くなればなるほど、また温度条件が高温になればなるほど、ゲイン増幅によりノイズが増える傾向にあるが、被写体の状態（明部か暗部か、エッジ部かエッジ部でないか、動いている被写体か否か等）に合わせて適宜ノイズを抑える合成が可能となり、低照度でも高品位な撮影が可能となる。

実施形態１に係る撮像装置の機能ブロック図 実施形態１に係る撮像装置の機能ブロック図 第一制御手段にて制御される露出制御の一例を示す図 第二制御手段にて制御される露出制御の一例を示す図 合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を示す一例図 実施形態１に係る撮像装置の処理の流れを示すフロー図 撮像装置の具体的な構成を例示する図 実施形態２に係る撮像装置の機能ブロック図 実施形態２に係る第二制御手段にて制御される露出制御と、乗算係数制御を示す一例図 実施形態３に係る撮像装置の機能ブロック図 実施形態３にて制御される乗算係数制御を示す一例図 実施形態４に係る撮像装置の機能ブロック図 実施形態４にて制御される乗算係数制御を示す一例図 実施形態４に係る撮像装置の処理の流れを示すフロー図 実施形態５に係る撮像装置の機能ブロック図 ２次微分フィルターを説明する図 実施形態５にて制御される乗算係数制御を示す一例図 実施形態６に係る撮像装置の機能ブロック図 動き領域情報を生成する方法を説明する図 実施形態６にて制御される乗算係数制御を示す一例図 実施形態７に係る撮像装置の機能ブロック図 実施形態７に係る第二制御手段にて制御される露出制御と、乗算係数制御を示す一例図 画素加算を説明する図 合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を示す一例図 第二画像の輝度情報を補正する方法の具体例 実施形態７に係る第二制御手段にて制御される露出制御と、乗算係数制御を示す一例図

本発明を実施するための最良の形態について図面を用いて詳細に説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、以下の実施形態と請求項の関係は次の通りである。
なお実施形態１は、主に請求項１または２などについて説明する。実施形態２から７は、主に請求項１や２などの実施形態の変形例について説明する。
（実施形態１）

（実施形態１：概要）本実施形態は、照度条件に応じて手ぶれ補正の合成を行なうか否かを決定し、手ぶれ補正の合成を行う際は異なる撮像条件にて撮像された複数の画像を利用して手ぶれのない画像を合成するための撮像装置に関する。

（実施形態１：構成）本実施形態に係る撮像装置の機能ブロックを図１、図２に例示する。図１に例示する撮像装置（０１００）は、「撮像部」（０１０１）と、「制御部」（０１０２）と、「画像情報保持部」（０１０３）と、「合成部」（０１０４）と、を有している。

また、図２に例示するように、撮像装置（０２００）は、「撮像部」（０２０１）と、「制御部」（０２０２）と、「画像情報保持部」（０２０３）と、「合成部」（０２０４）と、を有しており、さらに、前記制御部（０２０２）は、「第一制御手段」（０２０６）、「第二制御手段」（０２０７）と、を有していてもよい。

なお、本件発明の構成要素である各部は、ハードウェア、ソフトウェア、ハードウェアとソフトウェアの両方のいずれかによって構成される。例えば、これらを実現する一例として、コンピュータを利用する場合には、ＣＰＵ、バス、メモリ、インタフェース、周辺装置などで構成されるハードウェアと、それらハードウェア上で実行可能なソフトウェアがある。ソフトウェアとしては、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インタフェースを介して入力されるデータの加工、保存、出力などにより各部の機能が実現される。さらに具体的には、図７は撮像装置のより具体的な構成を示す図であり、一例として、撮像部（０７０１）、ＣＰＵ（０７０２）、一時記憶メモリ（０７０３）、記憶装置（０７０４）、画像出力ユニット（０７０５）、モニタ（０７０６）等から構成されることを示している。また、前記撮像部（０７０１）は、内部的に「レンズ」（０７０７）、「ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）」（０７０８）、「ＣＤＳ／ＡＧＣ（Ｃｏｒｒｅｌａｔｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ ／Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）」（０７０９）、「Ａ／Ｄ変換器」（０７１０）、「画像処理プロセッサ」（０７１１）等から構成されることを示している。また、前記画像処理プロセッサ（０７１１）は、内部的に「ガンマ補正処理機構」（０７１２）を有していてもよい。（明細書の全体を通じて同様である。）

以下に、各構成要件の説明をする。

「撮像部」（０１０１）は、被写体を撮像する機能を有する。「撮像」とは、具体的には図７を例として、被写体からの光をレンズ（０７０７）などの光学系を通してＣＣＤ（０７０８）等の撮像素子で受光し、ＣＣＤ（０７０８）に含まれる雑音を低減するＣＤＳや、信号を増幅することで露光量低下を補う為の感度アップを行うＡＧＣを含むＣＤＳ／ＡＧＣ（０７０９）を経て、Ａ／Ｄ変換器（０７１０）などにより電気信号に変換して、さらに画像処理プロセッサ（０７１１）で露出制御やホワイトバランス制御やガンマ補正処理機構（０７１２）を経て、輝度・色信号処理が行なわれることで画像情報とすることを意味する。また、撮像部は、このような処理を実行するためのプログラムを含んでいてもよい。また、撮像部は撮像条件に基づいて撮像を実行する。「撮像条件」とは、具体的には、露光時間（「シャッタースピード」と同義）、複数画像間を撮像する撮像間隔、感度アップのためのゲイン条件（ＡＧＣの「ゲイン」と同義）、撮像部で加算平均や画素加算によるサイズ縮小を行なうか否かの縮小制御条件、手ぶれ補正を行なう為の合成用画像であるか否かの画像条件、サイズ条件（「縮小率」等により定義可能）、などが該当する。

「制御部」（０１０２）は、照度条件によって異なる露光時間条件やゲイン条件で構成される撮像条件により撮像の制御をする。「撮像条件により撮像の制御をする」とは、設定されている撮像条件を読み出し、読み出した撮像条件にて撮像部（０１０１）での撮像が行なわれるように制御することである。また、撮像条件を決定する機能をも有していてもよい。撮像条件を決定するとは、具体的には、露光時間や撮像間隔、加算平均や画素加算によるサイズ縮小制御の実行可否を決定すること等を意味する。例えば、従来のカメラのように周辺の明るさ等により適正露出の露光時間を算出して撮像時の露光時間として設定することや、露光時間を長くしても露光量低下が発生する場合にＡＧＣにより信号レベルを増幅させるゲイン制御を行うこと等が該当する。また、手ぶれ補正時は補正用の画像における正確な位置合わせやＳ／Ｎ、感度の改善のため、撮像部で加算平均や画素加算によるサイズ縮小を行なう制御等が含まれていてもよい。露光時間や撮像間隔、ゲイン制御は、加算平均や画素加算によるサイズ縮小制御を行う際は、あらかじめゲインを高めに制御し、その分露光時間を短くすることで手ぶれを軽減する設定を行ったり、適正露光時間の長さによって手ぶれを起こす可能性が高いと思われる場合、露光時間を短く設定し、その分ゲインをかけて適正露出に設定すること等が想定される。制御部の具体的な処理としては、例えば、図７における一時記憶メモリ（０７０３）や記憶装置（０７０４）などの所定の記憶領域に露光時間、撮像間隔などの値が格納されており、この所定の記憶領域から設定値を読み出し、読み出した設定値に応じて撮像部での撮像を制御する。また、制御部は、このような処理をＣＰＵ（０７０２）に実行させるためのプログラムを含んでいてもよい。

また、図２に例示するように、制御部（０２０２）は、「第一制御手段」（０２０６）と、「第二制御手段」（０２０７）と、を有していても構わない。

「第一制御手段」（０２０６）は、撮像する複数画像の一の画像である第一画像を、撮像する複数画像の他の画像より小さい画像サイズで、且つ、適正露出の画像となるように制御する機能を有する。「他の画像より小さい画像」とは、例えば、他の画像に対し、１／ｎのサイズであるとする。また、第一制御手段は、撮像する複数画像の一の画像である第一画像を、画素の加算平均や画素加算によって、撮像する複数画像の他の画像より小さい画像サイズとするようになっていてもよく、制御を行なう際、画素の加算平均や画素加算で改善されるＳ／Ｎに応じて、露光時間を短く制御するようになっていてもよい。

「第二制御手段」（０２０７）は、撮像する複数画像の他の一の画像である第二画像を、手ぶれが発生しないような短い露光時間で、且つ露出が適切になるようにゲインをかけて撮像するように制御する機能を有する。「手ぶれが発生しないような短い露光時間」とは、例えば、一般的に言われるように、露光時間が約１／６０秒（約１６ミリ秒）以下であれば手ぶれによるエッジの流れは識別不可能になるとした場合、１／６０秒の露光時間を指す。第二画像の撮像サイズは、撮影により得ることを目的とする画像のサイズである。

「画像情報保持部」（０１０３）は、制御部（０１０２）によって異なる撮像条件に制御されて撮像された一或いは複数の画像の画像情報を保持する機能を有する。「異なる撮像条件に制御されて撮像された一或いは複数の画像」とは、例えば、第一制御手段（０２０６）にて制御されて撮像された第一画像と第二制御手段（０２０７）にて制御されて撮像された第二画像、等が該当する。また、合成部（０１０４）では、複数画像の撮像位置がずれた場合には位置を合わせてから複数画像の合成を行う必要があるが、具体的な実施例は背景技術で述べられているので、ここでは割愛する。また、「画像情報」とは、画像を実現するための情報であって、具体的には、各画素のＲＧＢ値やＹＵＶ値などの数値で表される情報が挙げられる。ところで、輝度情報（Ｙ）、色情報（ＵＶ）はＲＧＢの値により表されることが一般的に知られており、おおよそ「Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ」（以下、「数式２」と呼ぶ）、「Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ」、「Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ」、という式により求められる。よって、輝度情報、色情報も画像情報に含まれると言うことができる。画像情報保持部は、具体的には、主に図７に例示した一時記憶メモリ（０７０３）や記憶装置（０７０４）などによって実現される。さらに、画像情報保持部は、画像情報を保持する処理をＣＰＵ（０７０２）に実行させるためのプログラムを含んでいてもよい。

「合成部」（０１０４）は、照度条件により、保持されている複数の画像の画像情報を部分的に利用して合成画像用の画像情報を合成し、又はその撮像条件により撮像された画像をそのまま出力する機能を有する。例えば、照度条件に応じて合成を行なうか否かを決定し、合成を行なう場合には、画像情報保持部（０１０３）から送られて来た第一画像に関する画像情報１と撮像条件１、及び画像情報２と撮像条件２から、画像情報を部分的に利用して一の画像の画像情報を合成する場合等が想定される。「前記複数の画像の画像情報を部分的に利用して」とは、合成する場合に画像情報のすべてを利用しなくともよい、という意味である。例えば、画像の一部のみを補正する場合であって、画像中のある一部分のみのＲＧＢ値やＹＵＶ値を補正して合成する場合などが想定される。また、「合成画像」とは、最終的に得ることを目的としている画像であり、ぶれの軽減された画像のことである。合成部は、例えば、撮像条件１、及び撮像条件２から、画像が複数枚あること、それぞれの画像が合成用の画像であること、第一画像が第二画像に対し１／ｎのサイズであること等を知り、画像情報を部分的に利用して合成画像用の画像情報を合成する。また、合成部はこのような処理をＣＰＵ（０７０２）に実行させるためのプログラムを含んでいてもよい。

（手ぶれが発生しうる照度条件下における制御の具体例）以下に、手ぶれが発生しうる照度条件下における制御の具体例を説明する。まず、図３を用いて第一制御手段が第一画像を適正露出にする制御について説明する。一般的に撮像環境の照度に応じて露出が適正露出となるように制御した場合には、手ぶれ等によってぶれが発生する可能性が高い。なぜならば、低照度環境における露出制御状態（３−３）は高照度環境における露出制御状態（３−１）に比べ、露光時間が長くなるため（グラフ３Ａ）、手ぶれが発生する可能性が高くなるからである。第一制御手段は前述の通り、他の画像より小さい画像を生成するように制御するため、小さい画像を生成する際、加算平均処理を用いればＳ／Ｎが改善されることが期待できる。加算平均処理にて改善されるノイズレベルは、加算する画素の数をｎとした場合、

倍になる為、Ｓ／Ｎの改善を期待しない場合は、

倍のゲインをかけてもゲインをかけた後のＳ／Ｎは加算平均前のＳ／Ｎと変わらないということになる。よって、第一画像においても手ぶれが軽減されることを優先する場合、

倍のゲインをかけ（グラフ３Ｂ）、その分露光時間を、

倍にしてもよい（グラフ３Ｃ）。すなわち、第一制御手段は、露出が適正で、且つなるべく手ぶれが軽減した画像を得るように撮像条件を制御する役目を果たす。

なお、第一制御手段が第二画像より小さい画像を生成するように制御する際、画素加算の制御を行う場合、平均処理は行なわれないので、適正露出の画像となるようにするため、ゲインをかけなくても、露光時間を１／ｎ倍にする必要がある。つまり画素加算の場合は、撮像環境の照度に応じて適正露出とした場合のＳ／Ｎと同等でよければ、露光時間を１／ｎ倍にでき、さらに手ぶれが軽減した画像を得ることが可能となる。

また、画素加算を用いずに加算平均処理によって小さい画像を生成する場合や、画素加算を用いて小さい画像を生成する場合、手ぶれが発生したエッジの幅が小さいとき、手ぶれが発生したエッジ画素を含めて加算平均や加算処理を行なうため、若干ではあるが、手ぶれが発生したエッジを無くし、手ぶれが軽減される効果が期待できる。

第一制御手段では、撮像条件として、例えば、露光時間は「手ぶれが軽減される露光時間」で、複数画像間を撮像する撮像間隔は「手ぶれが軽減される露光時間が実現できる最小の撮像間隔」で、感度アップのためのゲイン条件は「通常制御より、

倍（画素加算時はｎ倍）高い値」で、撮像部で行なわれる加算平均や画素加算によるサイズ縮小の有無は「サイズ縮小制御あり」で、手ぶれ補正を行なう為の合成用画像であるか否かの画像条件は「合成用画像１である」で、サイズ条件は「他の画像に対し１／ｎの縮小率」であり、これらの撮像条件が例えば撮像条件１として保持される。

次に、図４を用いて第二制御手段が適正露出にする制御について説明する。図４において「手ぶれが発生しないような短い露光時間」を１／６０秒とする。例えば、低照度環境下でも第二制御手段は１／６０秒の露光時間を維持し（グラフ４Ａ）、適正露出に足らない分ゲインをかけて適正露出にする（グラフ４Ｂ）。よって低照度環境下においては、第二制御手段によって得られる画像はＳ／Ｎの悪い上にかなりゲインがかけられる為、かなりノイズが多い画像になる。すなわち、第二制御手段は、第一制御手段と同様に露出は適正で、且つ手ぶれが極めて少ないが、照度条件によってはかなりノイズが多い画像が得られるように撮像条件を制御する役目を果たす。

第二制御手段では、撮像条件として、例えば、露光時間は「手ぶれが極めて少ない露光時間」で、複数画像間を撮像する撮像間隔は「手ぶれが極めて少ない露光時間が実現できる最小の撮像間隔」で、感度アップのためのゲイン条件は「かなり高い値」で、撮像部で行なわれる加算平均や画素加算によるサイズ縮小の有無は「サイズ縮小制御なし」で、手ぶれ補正を行なう為の合成用画像であるか否かの画像条件は「合成用画像２である」で、サイズ条件は「撮影により得ることを目的とする画像のサイズ」であり、これらの撮像条件が例えば撮像条件２として保持される。

次に、図５を用いて、合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を説明する。図５では、第一画像（０５０１）と第二画像（０５０２）の大きさが異なる場合を一例として示す。また、第一画像と第二画像との間で位置ずれがある場合もあるが、具体的な実施例は背景技術で述べられているので、ここでは記述しない。第一画像（０５０１）の高さをＰｈ、幅をＰｗで表し、第二画像（０５０２）の高さをＳｈ、幅をＳｗで表すとする。まず、第一画像（０５０１）の画素（ｘ'，ｙ'）に対応する点が第二画像（０５０２）の画素（ｘ，ｙ）であるとすると、ｘ'＝αｘ，ｙ'＝βｙと表すことができる。ここで、αとβは第一画像と第二画像の水平方向、垂直方向の縮小率であり、α＝Ｐｗ／Ｓｗ、β＝Ｐｈ／Ｓｈである。本実施例では、第一制御手段で得られる第一画像の露出レベル（＝輝度情報のレベル）と、第二制御手段で得られる第二画像の露出レベルは、第一制御手段、及び第二制御手段で適宜ゲイン制御等されることにより、同一の露出レベルであり、合成する際、輝度情報を補正する必要は無い。また、前述の通り、第一制御手段で得られる第一画像は、縮小処理や画素加算により手ぶれが軽減された画像であり、第二制御手段で得られる第二画像は、手ぶれは極めて少ないが適正露出を得るためゲインがかけられ非常にノイズの多い画像である。この二つの画像を合成するが、本例では単純な加算平均により合成するものとする。

第一画像の画素（ｘ'，ｙ'）における画素値をＰｐ（ｘ'，ｙ'）、第二画像の画素（ｘ，ｙ）における画素値をＰｓ（ｘ，ｙ）、手ぶれ補正を目的とする合成画像の画素（ｘ，ｙ）における画素値をＰ（ｘ，ｙ）、とすると、Ｐ（ｘ，ｙ）＝（Ｐｐ（ｘ'，ｙ'）＋Ｐｓ（ｘ，ｙ））／２で表される。これにより、第一輝度情報である画素値Ｐｐ（ｘ'，ｙ'）と第二輝度情報である画素値Ｐｓ（ｘ，ｙ）によって、第二輝度情報を画素値Ｐ（ｘ，ｙ）で補正することができる。

（手ぶれが極めて少ない照度条件下における制御の具体例）次に、手ぶれが極めて少ない照度条件下における制御の具体例を説明する。なお、上述の手ぶれが発生しうる照度条件下における制御の具体例で説明した内容と同一の部分については、説明を割愛し、異なる部分のみを説明する。

まず、制御部では、周辺の明るさ等により適正露出の露光時間として算出した露光時間等の情報が、「手ぶれが発生しうる露光時間」か「手ぶれが発生しない露光時間」かを判断する。具体的な例としては、例えば、図７における一時記憶メモリ（０７０５）や記憶装置（０７０６）などの所定の記憶領域に撮像部で得られた露光時間などの値が格納されており、ＣＰＵ（０７０２）は、この所定の記憶領域に設定値を読み込む。また、一時記憶メモリ（０７０３）や記憶装置（０７０４）には、「手ぶれが発生しうる露光時間」や「手ぶれが発生しない露光時間」の情報を持ち合わせており、ＣＰＵ（０７０２）は、読み込んだ設定値と照らし合わせることで、撮像部で得られた露光時間が「手ぶれが発生しうる露光時間」か「手ぶれが発生しない露光時間」かを判断する処理が実現されることになる。このような制御部での判断の結果、露光時間が「手ぶれが発生しない露光時間」以下、すなわち、例えば前述の例で約１／６０秒（約１６ミリ秒）以下であったとする。

この場合、第一制御手段は、撮像する画像の数を一とし、第一画像を適正露出の画像となるように制御することとなる。サイズ縮小制御は行わず、十分光量もあることからゲイン制御も行なう必要はないと思われる。すなわち、第一制御手段は、露出が適正で、ノイズが少なく、且つ手ぶれが極めて少ない画像を得るように撮像条件を制御する役目を果たす。

また、第一制御手段では、撮像条件として、例えば、露光時間は「手ぶれが極めて少ない露光時間」で、複数画像間を撮像する撮像間隔は「手ぶれが極めて少ない露光時間が実現できる最小の撮像間隔」で、感度アップのためのゲイン条件は「０」で、撮像部で行なわれる加算平均や画素加算によるサイズ縮小の有無は「サイズ縮小制御なし」で、手ぶれ補正を行なう為の合成用画像であるか否かの画像条件は「合成用ではない」で、サイズ条件は「撮影により得ることを目的とする画像のサイズ」であり、これらの撮像条件が例えば撮像条件１として保持される。

また、画像情報保持部は、この場合、制御部（０１０２）の第一制御手段によって制御されて撮像された一の画像の画像情報を保持することとなる。

さらに、合成部では、照度条件により合成は行わないことが判断できるため、画像情報１をそのまま目的の画像として出力する。

（実施形態１：処理の流れ）図６は、本実施形態に係る撮像装置における処理の流れを示すフロー図を例示する。撮像装置は、例えばユーザによりシャッターが切られる等して被写体を撮像する度に、図６のような処理を行う。

最初に、撮像条件を制御する。この処理は、制御部によって実行される（制御ステップ Ｓ０６０１）。次に、前記制御ステップ（Ｓ０６０１）にて制御された撮像条件から、目的の画像を得るために必要な露光時間が手ぶれが極めて少ない露光時間か否かを判断する。この処理は、制御部によって実行される（判断ステップ Ｓ０６０３）。

前記判断ステップ（Ｓ０６０３）に判断された結果において、手ぶれが極めて少ない露光時間では無い場合（図６におけるＮＯの矢印の方向に遷移）、第一画像を、手ぶれが軽減される露光時間で、且つ適正露出の画像となるようにゲインをかけて制御し、第二画像より小さい画像を生成するように制御する。この処理は、第一制御手段によって実行される（第一制御ステップ Ｓ０６０４）。次に、前記第一制御ステップ（Ｓ０６０４）にて制御された撮像条件にて撮像を行う。この処理は、撮像部によって実行される（第一画像撮像ステップ Ｓ０６０５）。次に、前記第一画像撮像ステップ（Ｓ０６０５）にて撮像された第一画像の画像情報を保持する。この処理は、画像情報保持部によって実行される（第一画像情報保持ステップ Ｓ０６０６）。次に、第二画像を、手ぶれが発生しない露光時間で、且つ露出が適切になるようにゲインをかけて撮像するように制御し、目的の画像と同じ撮像サイズで撮像するように制御する。この処理は、第二制御手段によって実行される（第二制御ステップ Ｓ０６０７）。次に、前記第二制御ステップ（Ｓ０６０７）にて制御された撮像条件にて撮像を行う。この処理は、撮像部によって実行される（第二画像撮像ステップ Ｓ０６０８）。次に、前記第二画像撮像ステップ（Ｓ０６０８）にて撮像された第二画像の画像情報を保持する。この処理は、画像情報保持部によって実行される（第二画像情報保持ステップ Ｓ０６０９）。次に、第一画像と第二画像を合成し、目的の画像を生成する。この処理は、合成部によって実行される（合成ステップ Ｓ０６１０）。

前記判断ステップ（Ｓ０６０３）に判断された結果において、手ぶれが極めて少ない露光時間である場合（図６におけるＹＥＳの矢印の方向に遷移）、第一画像を、手ぶれが極めて少ない露光時間で、且つ適正露出の画像となるように制御し、目的の画像と同じ撮像サイズで撮像するように制御する。この処理は、第一制御手段によって実行される（第一制御'ステップ Ｓ０６１１）。次に、前記第一制御'ステップ（Ｓ０６１１）にて制御された撮像条件にて撮像を行う。この処理は、撮像部によって実行される（第一画像'撮像ステップ Ｓ０６１２）。次に、前記第一画像'撮像ステップ（Ｓ０６１２）にて撮像された第一画像の画像情報を保持する。この処理は、画像情報保持部によって実行される（第一画像'情報保持ステップ Ｓ０６１３）。次に、第一画像をそのまま出力し、目的の画像を生成する。この処理は、合成部によって実行される（出力ステップ Ｓ０６１４）。

（実施形態１：効果）本実施形態に係る撮像装置においては、通常撮影で手ぶれが極めて少ない露光時間では撮影できる場合は、手ぶれが極めて少なく、且つゲイン増幅のないノイズを抑えた画像を得ることができ、通常撮影で手ぶれが極めて少ない露光時間では撮影できない場合は、異なる撮像条件にて撮像された複数の画像を利用して手ぶれの軽減された画像を得ることができるため、どのような照度条件でもノイズを抑えた画像を得ることができる。特に、手ぶれが軽減され、ノイズも少ない画像である第一画像と、ノイズは多いが手ぶれは極めて少ない第二画像とを合成することにより、ノイズが抑えられ、且つ手ぶれが軽減された画像を得ることができる。また、合成の際、第一画像も第二画像も適正露出であることから合成処理が簡素化され、目的の画像を得るまでに処理時間がかかりにくい。さらに、適正露出を得るために撮像部のガンマ補正手段でガンマ補正がかかる前のＡＧＣでゲイン増幅されるので、第一画像と第二画像の画像情報の線形特性が維持され、自然な画像合成処理が可能となる。
（実施形態２）

（実施形態２：概要）本実施形態は、異なる撮像条件にて撮像された複数の画像を利用して手ぶれのない画像を合成する際、手ぶれが発生するある一定の照度環境付近において、少しの照度環境変化で大きく画質が変わることなく、ノイズを抑えた手ぶれ補正画像を得ることが可能な撮像装置に関する。

（実施形態２：構成）本実施形態に係る撮像装置の機能ブロックを図８に例示する。本実施形態に係る撮像装置の構成は、実施形態１にて説明の図１、図２に係る撮像装置の構成に「第一合成比率可変合成手段」（０８０８）を加えた構成となる。図８においては、図２にて説明の撮像装置の構成に前記第一合成比率可変合成手段（０８０８）を加えた構成を例示している。撮像装置（０８００）は、「撮像部」（０８０１）と、「制御部」（０８０２）と、「画像情報保持部」（０８０３）と、「合成部」（０８０４）と、を有する。また、前記制御部（０８０２）は、「第一制御手段」（０８０６）と、「第二制御手段」（０８０７）と、を有する。また、前記合成部（０８０４）は、「第一合成比率可変合成手段」（０８０８）を有している。実施形態１で使用した図１、図２にて説明した構成要件と同じ構成要件に関しては、説明を割愛する。

「第一合成比率可変合成手段」（０８０８）は、合成比率を複数の画像の撮像条件のいずれか一又は二以上に合わせて可変とする機能を有する。具体的には、例えば、撮像条件を乗算係数に変換して（０８０９）得られた各乗算係数を入力し、乗算器（０８１０、０８１１）にて前記各乗算係数にて画像情報を乗算した後、加算器（０８１２）にて乗算された各画像情報を加算することで、画像を合成する。なお、乗算係数を乗算する際は、画素単位にて乗算する乗算係数を決定し乗算を行なうようになっていてもよい。

（手ぶれが発生しうる照度条件下における制御の具体例）本実施例においては、手ぶれが極めて少ない照度条件下における制御は、実施形態１と同様であり、図８を用いて、手ぶれが発生しうる照度条件下のみの制御の具体例を説明する。実施形態１で使用した図１、図２と同じ構成要件に関し、同様の制御がなされる構成要件については説明を割愛する。

合成部では、例えば、撮像条件を乗算係数に変換する際（０８０９）、第一画像に関する撮像条件１や第二画像に関する撮像条件２の露光条件やゲイン条件に応じて、第一画像に関する画像情報１に乗算する乗算係数１（図示しない）と、第二画像に関する画像情報２に乗算する乗算係数２（図示しない）が変化し、加算器（０８１２）にて、乗算された各画像情報を加算することで合成する。

図３、及び図９も併せ用いて、合成部にて第一画像と第二画像を用いて合成を行う場合の概略を説明する。図９は、制御部（０８０２）内の「第二制御手段」（０８０７）が、照度条件に対し、撮像する複数画像の他の一の画像である第二画像を、手ぶれが発生しない露光時間で、且つ露出が適切になるようにゲインをかけて撮像するように制御された状態を指し示している。また、取得した撮像条件を元に、乗算係数に変換する制御を指し示している。

まず、照度条件として、高照度環境下（図３：３−１）より若干暗くなった中照度環境下（図３：３−２）においては、第一制御手段（０８０６）における露光時間が約１／６０秒以上に制御されており、実施形態１で説明した「手ぶれが発生しうる照度条件下における制御」に相当する。第一制御手段（０８０６）の制御は、以降、実施形態１で説明した制御と同じであり、以下、第二制御手段（０８０７）の制御について説明する。

第二制御手段では、例えば、「手ぶれが発生しない露光時間」、つまり露光時間が約１／６０秒を維持することで、ぶれを抑えた露光時間の制御を行う（図９：９−２）。さらに第二制御手段（０８０７）は、露光時間が約１／６０秒を維持されることによる露出不足に対し、ゲインをかけて適正露出にする。さらに低照度環境方向に撮像環境が推移した場合、さらにゲインをかけて適正露出にするが、ある一定のゲイン値において、ゲイン増幅により増加するノイズによる画質劣化が認められるゲイン値に到達する（図９：ゲイン値Ａ）。

撮像条件を乗算係数に変換する際（０８０９）は、例えば、図９の上部に指し示すように、露光時間が約１／６０秒以上に制御されてから、ゲイン増幅により増加するノイズによる画質劣化が認められるゲイン値の制御状態までにおいて（図９：９−２で示される中照度における露出制御状態において）、乗算器１（０８１０）に係る乗算係数１（第一画像用）を０に、乗算器２（０８１１）に係る乗算係数２（第二画像用）を１に制御する。

合成部の第一合成比率可変合成手段（０８０８）では、撮像条件を乗算係数に変換して（０８０９）得られる乗算係数をもとに乗算器１（０８１０）、及び乗算器２（０８１１）で画像情報に対する乗算が行なわれ、加算器（０８１２）にて画像が合成される。

これにより、合成部（０８０８）では、画像情報２のみの情報を用いた合成処理が行われることとなり、画像情報２の特性である「手ぶれが極めて少なく、ノイズによる画質劣化が認められない画像」を主とした画像を得る制御が行われる。

次に上記照度条件よりさらに暗くなった低照度環境下においては、第二制御手段（０８０７）は、継続して「手ぶれが発生しない露光時間」、つまり露光時間が約１／６０秒を維持し、ぶれを抑えた露光時間の制御を行う（９−３）。この時第二制御手段（０８０７）は、露光時間が約１／６０秒を維持されることによる露出不足に対し、ゲイン増幅により増加するノイズによる画質劣化が認められるゲイン値の制御状態（９−４）よりさらにゲインをかけて適正露出にする。

撮像条件を乗算係数に変換する際（０８０９）は、図９の上部に指し示すように、ゲイン増幅により増加するノイズによる画質劣化が認められるゲイン値の制御状態から露出制御が最大になる制御状態までにおいて（９−３で示される低照度における露出制御状態において）、乗算器１（０８１０）に係る乗算係数１（第一画像用）を０から０．５へ、乗算器２（０８１１）に係る乗算係数２（第二画像用）を１から０．５へ徐々に変化するように係数を制御する。

合成部の第一合成比率可変合成手段では、撮像条件を乗算係数に変換して（０８０９）得られる乗算係数にもとに乗算器１（０８１０）、及び乗算器２（０８１１）で画像情報に対する乗算が行なわれ、加算器（０８１２）にて画像が合成される。

これにより、合成部では、照度が暗くなればなるほど、画像情報２の情報より画像情報１の情報を主に使用するような合成が行なわれ、画像情報２の特性である「手ぶれは極めて少ないが、ノイズによる画質劣化が認められ、ゲイン増幅によりノイズが増加し画質劣化が大きくなる画像」を使用する比率を弱め、画像情報１の特性である「手ぶれが抑えられ、サイズは小さいがノイズは少ない画像」を主とした画像を得る制御が行われる。

なお、本実施例では、第一合成比率可変合成手段（０８０８）の乗算器１（０８１０）、及び乗算器２（０８１１）は、ゲイン増幅により増加するノイズによる画質劣化が認められるゲイン値の制御状態から露出制御が最大になる制御状態までにおいて（図９：９−３で示される低照度における露出制御状態において）、乗算器１（０８１０）における乗算係数１を０から０．５へ、乗算器２（０８１１）における乗算係数２を１から０．５へ徐々に変化するように制御させるように説明をしたが、画像情報２のノイズ成分が多いときは、乗算器１（０８１０）に係る係数１を０から１へ、乗算器２（０８１１）における乗算係数２を１から０へ徐々に変化するように制御させても良い。取り得る乗算係数の変化の度合いは、画像情報１及び画像情報２の状態に応じて、適宜変更されるべきものであり、本実施例の値以外にて制御されても良い。

また、本実施例では、乗算器１（０８１０）に係る乗算係数１と乗算器２（０８１１）に係る乗算係数２に適用される乗算係数を別々に説明したが、乗算器２（０８１０）に係る乗算係数２は、１から乗算器１（０８１０）に係る乗算係数１を引いた値で定義しても良い。

（実施形態２：処理の流れ）本実施形態に係る撮像装置における処理の流れは、実施形態１における説明の図６に係る撮像装置の処理の流れと同様である。ただし、合成ステップ（Ｓ０６１０）における第一画像と第二画像の合成は、前述の通り、撮像条件に合わせて複数画像間の合成比率を可変とすることを特徴とする。

（実施形態２：効果）手ぶれが発生しうる照度環境下において、複数の画像の画像情報を部分的に利用して一の画像の画像情報を合成することで手ぶれを補正する際、複数画像間の合成比率を前記撮像条件に合わせて可変とすることで、ある一定の照度環境を境に、明るい時は高周波成分が多い高画質な画像、暗い時は高周波成分が急に少なくなった低画質な画像となり、少しの照度環境変化で大きく画質が変わり、不自然になってしまうことがない画像を得ることが出来る。
（実施形態３）

（実施形態３：概要）本実施形態は、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、被写体に十分光が当っていない暗部においては、ノイズが少ない画像を使用する重みをさらに大きくした合成が可能であるため、被写体に十分光が当っていない暗部において、ノイズを抑えた良好な画質の画像を得ることが可能な撮像装置に関する。

（実施形態３：構成）本実施形態に係る撮像装置の機能ブロックを図１０に例示する。本実施形態に係る撮像装置の構成は、実施形態１又は実施形態２にて説明の撮像装置の構成に「輝度情報取得手段」（１００８）と、「第二合成比率可変合成手段」（１００９）を加えた構成となる。図１０においては、実施形態１の図２にて説明の撮像装置の構成に前記輝度情報取得手段（１００８）と前記第二合成比率可変合成手段（１００９）を加えた構成を例示している。撮像装置（１０００）は、「撮像部」（１００１）と、「制御部」（１００２）と、「画像情報保持部」（１００３）と、「合成部」（１００４）と、を有する。また、前記制御部（１００２）は、「第一制御手段」（１００６）と、「第二制御手段」（１００７）と、を有する。また、前記合成部（１００４）は、「輝度情報取得手段」（１００８）と、「第二合成比率可変合成手段」（１００９）を有している。実施形態１又は２にて説明した構成要件と同じ構成要件に関しては、説明を割愛する。

「輝度情報取得手段」（１００８）は、前記画像情報保持部（１００３）で保持された一或いは複数の画像から輝度情報を取得する機能を有する。例えば、第一画像の第一輝度情報を取得する。「輝度情報」は、画像を構成するすべての画素における輝度情報であってもよいし、一部の画素のみの輝度情報であってもよい。また、輝度情報は数式２のようにＲＧＢの各値を用いて表されるので、輝度情報として、Ｙの値ではなくＲＧＢの値の組み合わせを輝度情報としてもよい。

また、撮像装置においては、輝度情報取得手段（１００８）で取得された輝度情報が高輝度であるか、中輝度であるか、低輝度であるか、等を判断することが可能であることを想定している。

「第二合成比率可変合成手段」（１００９）は、合成比率を前記輝度情報に合わせて可変とする機能を有する。具体的には、例えば、輝度情報を乗算係数に変換して（１０１０）得られた各乗算係数を入力し、乗算器（１０１１、１０１２）にて前記各乗算係数に画像情報が乗算された後、加算器（１０１３）にて加算され、合成する。

（手ぶれが発生しうる照度条件下における制御の具体例）本実施例においては、手ぶれが極めて少ない照度条件下における制御は、実施形態１と同様であり、図１０を用いて、手ぶれが発生しうる照度条件下で、且つノイズによる画質劣化が認められるゲイン制御の具体例のみを説明する。実施形態１で使用した図１又は図２と同じ構成要件に関し、同様の制御がなされる構成要件については説明を割愛する。

合成部は、例えば、合成と同時に第一画像の第一輝度情報を取得し、前記第一輝度情報から乗算係数に変換した（１０１０）後、乗算係数を第二合成比率可変合成手段（１００９）に送り、第二合成比率可変合成手段（１００９）は、前記各乗算係数に画像情報を乗算した後、加算器（１０１３）にて加算する。

図１１も併せ用いて、合成部にて第一画像と第二画像を用いて合成を行う場合の概略を説明する。図１１は、第一画像又は第二画像から取得した各画素における輝度情報を元に、乗算係数に変換する制御を指し示している。

まず輝度情報が高輝度から中輝度である画素の合成においては、例えば、図１１に指し示すように、乗算器１（１０１１）に係る乗算係数３（第一画像用：図１０では図示しない）を０に、乗算器２（１０１２）に係る乗算係数４（第二画像用：図１０では図示しない）を１に制御する。合成部（１００４）の第二合成比率可変合成手段（１００９）では、輝度情報から得られる乗算係数をもとに乗算器１（１０１１）、及び乗算器２（１０１２）で画像情報に対する乗算が行なわれ、加算器（１０１３）にて画像が合成される。これにより、合成部（１００４）は、画像情報２のみの情報を用いた合成処理（実際には画像情報２のみを単独で用いた画像の生成処理）が行われることとなり、画像情報２の特性である「ノイズによる画質劣化が認められるゲイン制御状態だが、高輝度部は信号レベルが高くノイズが見えにくい画素」を主とした合成制御が行われる。（１１−１）

次に輝度情報が中輝度から低輝度である画素の合成においては、例えば、図１１に指し示すように、乗算器１（１０１１）に係る乗算係数３（第一画像用）を０から０．５へ、乗算器２（１０１２）に係る乗算係数４（第二画像用）を１から０．５へ徐々に変化するように制御する。合成部（１００４）の第二合成比率可変合成手段（１００９）では、輝度情報から得られる乗算係数をもとに乗算器１（１０１１）、及び乗算器２（１０１２）で画像情報に対する乗算が行なわれ、加算器（１０１３）にて画像が合成される。これにより、合成部（１００４）は、輝度情報に応じた合成処理が行われ、輝度情報が低輝度になればなるほど、画像情報２の特性である「ノイズによる画質劣化が認められるゲイン制御状態で、低輝度部は信号レベルが低くよりノイズが見えやすい画素」をあまり使用せず、画像情報１の特性である「手ぶれが抑えられ、ノイズが少ないがサイズが小さいため高周波成分が少ない画素」を主とした合成制御が行われる。（１１−２）

なお、本実施例では、輝度情報から乗算係数を得る際（１０１０）、輝度情報が中輝度から低輝度である画素の合成において、乗算器１（１０１１）に係る乗算係数３を０から０．５へ、乗算器２（１０１２）に係る乗算係数４を１から０．５へ徐々に変化するように制御させる説明をしたが、画像情報２のノイズ成分が多いときは、乗算器１（１０１１）に係る乗算係数３を０から１へ徐々に変化するように制御し、乗算器２（１０１２）に係る乗算係数４を１から０へ徐々に変化するように制御させても良い。取り得る乗算係数の変化の度合いは、画像情報１及び画像情報２等の状態に応じて、適宜変更されるべきものであり、本実施例の値以外にて制御されても良い。

また、本実施例では、乗算器１（１０１１）に係る乗算係数３と乗算器２（１０１２）に係る乗算係数４に適用される乗算係数を別々に説明したが、乗算器２（１０１２）に係る乗算係数４は、１から乗算器１（１０１１）に係る乗算係数３を引いた値で定義しても良い。

さらに、例えば本実施形態を実施形態２にて説明した第一合成比率可変合成手段と併せて適用する場合には、実施形態２の乗算器２（０８１０）における乗算係数２に対し、本実施形態の乗算器２（１０１２）に係る乗算係数４を掛けた数値の平方根を乗算器２（１０１２）に適用する乗算係数'とし、乗算器１（１０１１）に適用する乗算係数は、１から前記乗算器２（１０１２）に適用する乗算係数'を引いた値で定義しても良い。

（実施形態３：処理の流れ）本実施形態に係る撮像装置における処理の流れは、実施形態１における説明の図６に係る撮像装置の処理の流れと同様である。ただし、合成ステップ（Ｓ０６１０）における第一画像と第二画像の合成は、前述の通り、輝度情報に合わせて複数画像間の合成比率を可変とすることを特徴とする。

（実施形態３：効果）本実施形態に係る撮像装置においては、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、輝度情報から被写体に十分光が当っていない暗部と判断された画素においては、前記合成比率をノイズが少ない第一画像を使用する重みをさらに大きくすることで、被写体に十分光が当っていない暗部において、ノイズを抑えた良好な画質を得ることができる。
（実施形態４）

（実施形態４：概要）本実施形態は、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、撮像部の温度上昇状態に応じて、ノイズが少ない画像を使用する重みをさらに大きくした合成が可能であるため、撮像部の温度が上がっていても、ノイズを抑えた良好な画質の画像を得ることが可能な撮像装置に関する。すなわち、ゲイン増幅によりノイズが発生するが、撮像部の温度上昇状態によってはノイズを抑えられない可能性があることを前提としている。

（実施形態４：構成）本実施形態に係る撮像装置の機能ブロックを図１２に例示する。本実施形態に係る撮像装置の構成は、実施形態１から３のいずれか一にて説明の撮像装置の構成に「温度取得部」（１２１３）と「温度情報保持部」（１２１４）と、「第三合成比率可変合成手段」（１２０９）を加えた構成となる。図１２においては、実施形態１の図２にて説明の撮像装置の構成に前記温度取得部（１２１３）と前記温度情報保持部（１２１４）と前記第三合成比率可変合成手段（１２０９）を加えた構成を例示している。撮像装置（１２００）は、「撮像部」（１２０１）と、「制御部」（１２０２）と、「画像情報保持部」（１２０３）と、「合成部」（１２０４）と、「温度取得部」（１２１３）と「温度情報保持部」（１２１４）と、を有する。また、前記制御部（１２０２）は、「第一制御手段」（１２０６）と、「第二制御手段」（１２０７）と、を有する。また、前記合成部（１２０４）は、「第三合成比率可変合成手段」（１２０９）を有している。実施形態１から３のいずれか一にて説明した構成要件と同じ構成要件に関しては、説明を割愛する。

「温度取得部」（１２１３）は、撮像部（１２０１）の温度を取得する機能を有する。撮像部の温度を取得する方法としては、例えば撮像部に隣接させた温度センサによって温度を測定する方法等が考えられる。また、温度センサの種類は特定のものに限られない。また「温度情報保持部」（１２１４）は、温度取得部（１２１３）で得られた温度情報を保持する機能を有する。

「第三合成比率可変合成手段」（１２０９）は、合成比率を前記温度情報に合わせて可変とする機能を有する。具体的には、例えば、温度情報保持部（１２１４）から得られる温度情報に応じて、複数の画像情報ごとに乗算器（１２１０、１２１１）で画像情報が乗算され、加算器（１２１２）にて乗算された各画像情報を加算することで、画像を合成する。

（手ぶれが発生しうる照度条件下における制御の具体例）本実施例においても、手ぶれが極めて少ない照度条件下における制御の状態は、実施形態１と同様であり、図１２を用いて、手ぶれが発生しうる照度条件下のみの制御の具体例を説明する。実施形態１で使用した図１又は図２と同じ構成要件に関し、同様の制御がなされる構成要件については説明を割愛する。

合成部は、例えば、温度情報保持部（１２１４）から得られる温度情報に応じて、第一画像に関する画像情報１に乗算する乗算係数５（図示しない）と、第二画像に関する画像情報２に乗算する乗算係数６（図示しない）を変化させ、加算器（１２１２）にて乗算された各画像情報を加算することで合成する。

図１３も併せ用いて、合成部にて第一画像と第二画像を用いて合成を行う場合の概略を説明する。図１３は、温度取得部（１２１３）で取得された温度情報を保持する温度情報保持部（１２１４）から得られる温度情報を元に、乗算係数に変換する制御を指し示している。

まず温度情報にて示される撮像部（１２０１）の温度が低温度（摂氏２５度程度）から中温度（摂氏２５度から３５度程度）の場合、例えば、図１３に指し示すように、乗算器１（１２１０）に係る乗算係数５（第一画像用）を０に、乗算器２（１２１１）に係る乗算係数６（第二画像用）を１に制御する。合成部（１２０４）の第三合成比率可変合成手段（１２０９）では、温度情報から得られる乗算係数をもとに乗算器１（１２１０）、及び乗算器２（１２１１）で画像情報に対する乗算が行なわれ、加算器（１２１２）にて画像が合成される。これにより、合成部（１２０４）は、画像情報２のみの情報を用いた合成処理が行われ、温度情報が低温度から中温度における画像情報２の特性である「手ぶれは極めて少なく、ゲイン増幅により量子雑音は増加しているが熱雑音ノイズは小さく、トータルのノイズは抑えられている画像」を主とした合成制御が行われる。（１３−１）

一般に光系のノイズnは、n＝量子雑音（Ｐ，Ｍ）＋熱雑音＋システム雑音となり、量子雑音は、入力光電力Ｐとセンサーの倍増率Ｍにより増大するが、熱雑音はこれに依存しない。従って、高照度環境下で、倍増率の高いセンサーを使用すると熱雑音は無視できる。

しかし、低照度環境下では、ゲイン増幅とともに熱雑音も増幅される為、ノイズは大きくなる。また撮像部の温度が高い場合、熱雑音は大きくなっており、ゲイン増幅とともに熱雑音はさらに増幅される特性がある。

次に温度情報にて示される撮像部（１２０１）の温度が中温度（摂氏２５度から３５度程度）から高温度（約摂氏３５度以上）の場合、例えば、図１３に指し示すように、乗算器１（１２１０）に係る乗算係数５（第一画像用）を０から０．５へ、乗算器２（１２１１）に係る乗算係数６（第二画像用）を１から０．５へ徐々に変化するように係数を制御する。合成部（１２０４）の第三合成比率可変合成手段（１２０９）では、温度情報から得られる係数をもとに乗算器１（１２１０）、及び乗算器２（１２１１）で画像情報に対する乗算が行なわれ、加算器（１２１２）にて画像が合成される。これにより、合成部（１２０４）は、温度情報に応じた合成処理が行われ、温度情報が高温になればなるほど、高温時の画像情報２の特性である「手ぶれは極めて少なく、量子雑音や高温により増加している熱雑音をゲイン増幅されることにより、トータルのノイズが大きくなっている画像」をあまり使用せず、画像情報１の特性である「手ぶれが抑えられ、加算平均処理や画素加算によりノイズは少ないが、サイズは小さいため高周波成分が少ない画素」を主とした合成制御が行われる。（１３−２）

なお、本実施例では、温度情報からから乗算係数を得る際（１２０８）、温度情報が中温度から高温度にある画像の合成において、乗算器１（１２１０）に係る乗算係数５を０から０．５へ、乗算器２（１２１１）に係る乗算係数６を１から０．５へ徐々に変化するように制御させる説明をしたが、高温時の画像情報２のノイズ成分が多いときは、乗算器１（１２１０）に係る乗算係数５を０から１へ徐々に変化するように制御し、乗算器２（１２１１）における乗算係数６を１から０へ徐々に変化するように制御させても良い。取り得る乗算係数の変化の度合いは、画像情報１及び画像情報２の状態に応じて、適宜変更されるべきものであり、本実施例の値以外にて制御されても良い。

また、本実施例では、乗算器１（１２１０）における乗算係数５と乗算器２（１２１１）における乗算係数６に適用される乗算係数を別々に説明したが、乗算器２（１２１１）における乗算係数６は、１から乗算器１（１２１０）における乗算係数５を引いた値で定義しても良い。

さらに、例えば本実施形態を実施形態２や実施形態３にて説明した第一合成比率可変合成手段や第二合成比率可変合成手段と併せて適用する場合には、他の実施形態の乗算器２における乗算係数の算出がされた各乗算係数に対し、本実施形態の乗算器２（１２１２）に係る乗算係数６を掛けた数値の平方根を乗算器２（１２１２）に適用する乗算係数'とし、乗算器１（１２１１）に適用する乗算係数は、１から前記乗算係数'を引いた値で定義しても良い。

（実施形態４：処理の流れ）本実施形態に係る撮像装置における処理の流れは、実施形態１における説明の図６に係る撮像装置の処理の流れと殆ど同じであり、異なる点のみ図１４を用いて説明する。

制御ステップ（Ｓ１４０１）までは、実施形態１における説明の図６に係る撮像装置の処理の流れと同じである。次に温度取得部は、撮像部の温度情報を取得する。この処理は、温度取得部によって実行される（温度情報取得ステップ Ｓ１４１５）。次に前記温度情報取得ステップ（Ｓ１４１５）にて取得された温度情報を保持する。この処理は、温度情報保持部によって実行される（温度情報保持ステップ Ｓ１４１６）。

以降、第二画像撮像ステップ（Ｓ１４０８）にて撮像された第二画像の画像情報を保持する、第二画像情報保持ステップ（Ｓ１４０９）までは、実施形態１における説明の図６に係る撮像装置の処理の流れと同じである。次に行なわれる合成ステップ（Ｓ１４１０）における第一画像と第二画像の合成においては、前述の通り、温度情報に合わせて複数画像間の合成比率を可変とすることを特徴とする。

（実施形態４：効果）本実施形態に係る撮像装置においては、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、撮像部の温度上昇状態に応じて、前記合成比率をノイズが少ない第一画像を使用する重みをさらに大きくすることで、撮像部の温度が上がっていても、ノイズを抑えた良好な画質を得ることができる。
（実施形態５）

（実施形態５：概要）本実施形態は、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、ノイズが少ない画像からエッジ情報を取得し、エッジではない領域においては、ノイズが少ない画像を使用する重みをさらに大きくした合成が可能であるため、エッジではない領域において、ノイズを抑えた良好な画質の画像を得ることが可能な撮像装置に関する。

（実施形態５：構成）本実施形態に係る撮像装置の機能ブロックを図１５に例示する。本実施形態に係る撮像装置の構成は、実施形態１から４のいずれか一にて説明の撮像装置の構成に「エッジ情報取得手段」（１５０８）と、「第四合成比率可変合成手段」（１５１０）を加えた構成となる。図１５においては、実施形態１の図２にて説明の撮像装置の構成に前記エッジ情報取得手段（１５０８）と前記第四合成比率可変合成手段（１５１０）を加えた構成を例示している。撮像装置（１５００）は、「撮像部」（１５０１）と、「制御部」（１５０２）と、「画像情報保持部」（１５０３）と、「合成部」（１５０４）と、と、を有する。また、前記制御部（１５０２）は、「第一制御手段」（１５０６）と、「第二制御手段」（１５０７）と、を有する。また、前記合成部（１５０４）は、「エッジ情報取得手段」（１５０８）と、「第四合成比率可変合成手段」（１５１０）を有している。実施形態１から４のいずれか一にて説明した構成要件と同じ構成要件に関しては、説明を割愛する。

「エッジ情報取得手段」（１５０８）は、前記画像情報保持部（１５０３）で保持された一或いは複数の画像からエッジ情報を取得する機能を有する。例えば、第一画像の画像情報１からエッジ情報を取得する。エッジ情報を取得する方法としては、代表的な例を挙げると、図１６に示すように、中心の数値を注目画素の重み（１６０１）とし、その周辺の数値は周辺画素の重みとする、３×３のマトリックスで構成される２次微分フィルター（ラプラシアンフィルター）を適用することで実現可能である。実際のエッジ情報としては、フィルター後の絶対値量が相当する。

「第四合成比率可変合成手段」（１５１０）は、合成比率を前記エッジ情報に合わせて可変とする機能を有する。具体的には、例えば、前記エッジ情報から乗算係数に変換して（１５０９）得られた各乗算係数を入力し、前記各乗算係数に画像情報が乗算器１（１５１１）、乗算器２（１５１２）にて乗算された後、加算器（１５１３）にて加算され、合成される。

（手ぶれが発生しうる照度条件下における制御の具体例）本実施例においては、手ぶれが極めて少ない照度条件下における制御の状態は、実施形態１と同様であり、図１５を用いて、手ぶれが発生しうる照度条件下で、且つノイズによる画質劣化が認められるゲイン制御の具体例のみを説明する。実施形態１で使用した図１又は図２と同じ構成要件に関し、同様の制御がなされる構成要件については説明を割愛する。

合成部は、例えば、合成と同時に第一画像のエッジ情報を取得し、前記エッジ情報から乗算係数に変換した後、乗算係数を第四合成比率可変合成手段（１５１０）に送り、第四合成比率可変合成手段（１５１０）は、前記各乗算係数に画像情報を乗算した後、加算器（１５１３）にて加算する。

図１７も併せ用いて、合成部にて第一画像と第二画像を用いて合成を行う場合の概略を説明する。図１７は、エッジ情報取得手段（１５０８）から得られたエッジ情報をもとに、乗算係数に変換する制御を指し示している。

まず、第一画像のエッジ情報が高周波から中周波である画素の合成においては、例えば、図１７（１７−１）に指し示すように、乗算器１（１５１１）に係る乗算係数７（第一画像用：図１５では図示しない）を０に、乗算器２（１５１２）に係る乗算係数８（第二画像用：図１５では図示しない）を１に制御する。合成部（１５０４）の第四合成比率可変合成手段（１５１０）では、エッジ情報から得られる乗算係数にもとに乗算器１（１５１１）、及び乗算器２（１５１２）で画像情報に対する乗算が行なわれ、加算器（１５１３）にて画像が合成される。これにより、合成部（１５０４）は、画像情報１においてエッジ情報が高周波から中周波である画素の部分に相当する画像情報２の情報はそのまま使用されるようになり、エッジ領域は画像情報２の特性である「手ぶれは極めて少ないが、ノイズによる画質劣化が認められ、ゲイン増幅によりノイズが増加し画質劣化が大きくなる画像」を主とした合成制御が行われる。

次に第一画像の第一エッジ情報が中周波から低周波である画素の合成においては、例えば、図１７（１７−２）に指し示すように、乗算器１（１５１１）に係る乗算係数７（第一画像用）を０から０．５へ、乗算器２（１５１２）に係る乗算係数８（第二画像用）を１から０．５へ徐々に変化するように乗算係数を制御する。合成部（１５０４）内の第四合成比率可変合成手段（１５０９）では、エッジ情報から得られる乗算係数にもとに乗算器１（１５１１）、及び乗算器２（１５１２）で画像情報に対する乗算が行なわれ、加算器（１５１３）にて画像が合成される。これにより、合成部（１５０４）は、画像情報１におけるエッジ情報が中周波から低周波になるほど、画像情報２の情報の使用を徐々に減じて、画像情報１の情報をより使用するようになり、エッジではない領域は画像情報１の特性である「手ぶれが抑えられ、加算平均処理や画素加算によりノイズは少ないが、サイズは小さいため高周波成分が少ない画像」を主とした合成制御が行われる。

なお、本実施例では、エッジ情報から乗算係数を得る際（１５０９）は、エッジ情報が中周波から低周波である画素の合成において、乗算器１（１５１１）に係る乗算係数７を０から０．５へ、乗算器２（１５１２）に係る乗算係数８を１から０．５に徐々に変化するように制御させる説明をしたが、画像情報２のノイズ成分が多いときは、乗算器１（１５１１）に係る乗算係数７を０から１へ徐々に変化するように制御し、乗算器２（１５１２）に係る乗算係数８を１から０へ徐々に変化するように制御させても良い。取り得る乗算係数の変化の度合いは、画像情報１及び画像情報２の状態に応じて、適宜変更されるべきものであり、本実施例の値以外にて制御されても良い。

また、本実施例では、乗算器１（１５１１）に係る乗算係数７と乗算器２（１５１２）に係る乗算係数８に適用される乗算係数を別々に説明したが、乗算器２（１５１２）に係る乗算係数７は、１から乗算器１（１５１１）に係る乗算係数１を引いた値で定義しても良い。

さらに、例えば本実施形態を実施形態２にて説明した第一合成比率可変合成手段などと併せて適用する場合、他の実施形態の乗算器２における乗算係数の算出がされた各乗算係数に対し、本実施形態の乗算器２（１５１２）に係る乗算係数８を掛けた数値の平方根を乗算器２（１５１２）に適用する乗算係数'とし、乗算器１（１５１１）に適用する乗算係数は、１から前記乗算係数'を引いた値で定義しても良い。

（実施形態５：処理の流れ）本実施形態に係る撮像装置における処理の流れは、実施形態１における説明の図６に係る撮像装置の処理の流れと同様である。ただし、合成ステップ（Ｓ０６１０）における第一画像と第二画像の合成は、前述の通り、エッジ情報に合わせて複数画像間の合成比率を可変とすることを特徴とする。

（実施形態５：効果）本実施形態に係る撮像装置においては、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、エッジ情報が高周波である場合は、画像情報２の特性である「手ぶれは極めて少ないが、ノイズによる画質劣化が認められ、ゲイン増幅によりノイズが増加し画質劣化が大きくなる画像」を主とした合成制御が行われ、エッジ情報が低周波である場合は、画像情報１の特性である「手ぶれが抑えられ、加算平均処理や画素加算によりノイズは少ないが、サイズは小さいため高周波成分が少ない画像」を主とした合成制御が行われ、非エッジ領域においてノイズを抑えた良好な画質を得ることができる。
（実施形態６）

（実施形態６：概要）本実施形態は、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、複数の画像から動き領域情報を取得し、動き領域においては、ノイズが少ない画像を使用した合成が可能であるため、動き領域において、ノイズを抑えた良好な画質の画像を得ることが可能な撮像装置に関する。

（実施形態６：構成）本実施形態に係る撮像装置の機能ブロックを図１８に例示する。本実施形態に係る撮像装置の構成は、実施形態１にて説明の図２に係る撮像装置の構成に「動き領域情報取得手段」（１８０８）と、「第五合成比率可変合成手段」（１８１０）を加えた構成となる。図１８においては、図２にて説明の撮像装置の構成に前記動き領域情報取得手段（１８０８）と前記第五合成比率可変合成手段（１８１０）を加えた構成を例示している。撮像装置（１８００）は、「撮像部」（１８０１）と、「制御部」（１８０２）と、「画像情報保持部」（１８０３）と、「合成部」（１８０４）と、を有する。また、前記制御部（１８０２）は、「第一制御手段」（１８０６）と、「第二制御手段」（１８０７）と、を有する。また、前記合成部（１８０４）は、「動き領域情報取得手段」（１８０８）と、「第五合成比率可変合成手段」（１８１０）を有している。実施形態１で使用した図２と同じ構成要件に関しては、説明を割愛する。

「動き領域情報取得手段」（１８０８）は、前記画像情報保持部（１８０３）で保持された複数の画像から動き領域情報を取得する機能を有する。動き領域情報取得手段は、具体的には、例えば、第一画像の画像情報１と第二画像の画像情報２から動き領域情報を取得する。

図１９を用いて、第一画像と第二画像を用いて動き領域情報を取得する方法の概略を説明する。図１９では、第一画像（１９０１）と第二画像（１９０２）の大きさが異なる場合を一例として示す。また、第一画像と第二画像との間で位置ずれがある場合もあるが、具体的な実施例は背景技術で述べられているので、ここでは記述しない。第一画像（１９０１）の高さをＰｈ、幅をＰｗで表し、第二画像（１９０２）の高さをＳｈ、幅をＳｗで表すとする。第二画像を基準とした第一画像の水平方向の縮小率をα、垂直方向の縮小率をβとした場合、α＝Ｓｗ／Ｐｗ、β＝Ｓｈ／Ｐｈである。

まず、動き領域情報取得手段は、第二画像（１９０２）に対し、前記水平方向の縮小率をα、垂直方向の縮小率をβとした画像の縮小化を縮小化手段（１９０３）で行い、縮小化された第二画像（１９０３）の生成を行なう。この際第二画像（１９０２）は、「手ぶれは極めて少ないが、ノイズによる画質劣化が認められ、ゲイン増幅によりノイズが増加し画質劣化が大きくなっている画像」の特性がある為、加算平均や画素加算によって得られる第一画像（１９０１）の周波数特性までＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）処理を施し、なるべく第一画像（１９０１）の周波数特性に近づけた状態で縮小化（間引き処理）を行うことで、縮小化された第二画像（１９０３）を生成した方が良い。

次に、動き領域情報取得手段は、前記縮小化された第二画像（１９０４）と第一画像（１９０１）の画像情報を減算器（１９０５）にて差分演算する。次に差分演算された画像情報を絶対値化手段（１９０６）にて絶対値化する。絶対値化された画像情報を２値化手段（１９０７）にて２値化し、動き領域情報（１９０８）を得る。「２値化手段」（１９０７）は、ある一定の閾値を持っており、絶対値化された画像情報が閾値以上ならば、動き領域として判定することで１の情報を生成する（動き領域情報１９０８における黒い領域）。絶対値化された画像情報が閾値以下ならば、動き領域ではないと判定することで０の情報を生成する（動き領域情報１９０８における白い領域）。なお、前記「動き領域情報取得手段」（１８０８）において生成された前記動き領域情報は、乗算係数に変換される。

「第五合成比率可変合成手段」（１８１０）は、前記動き領域情報から動き領域と判断された第二画像の動き領域においては、前記第一画像を使用し、前記動き領域情報から動き領域以外と判断された第二画像の非動き領域においては、前記第二画像を使用するように制御する機能を有する。例えば、得られた各乗算係数を入力し、前記各乗算係数に画像情報を乗算器１（１８１１）、乗算器２（１８１２）にて乗算した後、加算器（１８１３）にて加算し合成する。

（手ぶれが発生しうる照度条件下における制御の具体例）本実施例においては、手ぶれが極めて少ない照度条件下における制御の状態は、実施形態１と同様であり、図１８を用いて、手ぶれが発生しうる照度条件下で、且つノイズによる画質劣化が認められるゲイン制御の具体例のみを説明する。実施形態１で使用した図２と同じ構成要件に関し、同様の制御がなされる構成要件については説明を割愛する。

合成部は、例えば、合成と同時に第一画像の画像情報１と第二画像の画像情報２から動き領域情報を取得し、前記動き領域情報から乗算係数に変換した後、乗算係数は第五合成比率可変合成手段（１８１０）に送り、第五合成比率可変合成手段（１８１０）は、前記各乗算係数に画像情報を乗算した後、加算器（１８１３）にて加算する。

図２０も併せ用いて、合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を説明する。図２０は、動き領域情報取得手段（１８０８）から得られた動き領域情報をもとに、乗算係数に変換する制御を指し示している。

まず、前記動き領域情報が非動き領域と判定された画素の合成においては、例えば、図２０に指し示すように、乗算器１（１８１１）に係る乗算係数９（第一画像用：図１８では図示しない）を０に、乗算器２（１８１２）に係る乗算係数１０（第二画像用：図１８では図示しない）を１に制御する。合成部（１８０４）の第五合成比率可変合成手段（１８１０）では、動き領域情報から得られる乗算係数にもとに乗算器１（１８１１）、及び乗算器２（１８１２）で画像情報に対する乗算が行なわれ、加算器（１８１３）にて画像が合成される。これにより、合成部（１８０４）は、非動き領域と判定された領域については画像情報２のみを使用した合成が行なわれ、画像情報２の特性である「手ぶれは極めて少ないが、ノイズによる画質劣化が認められ、ゲイン増幅によりノイズが増加し画質劣化が大きくなる画像」を主とした合成制御が行われる。

次に前記動き領域情報が動き領域と判定された画素の合成においては、例えば、図２０に指し示すように、乗算器１（１８１１）に係る乗算係数９（第一画像用）を１に、乗算器２（１８１２）に係る乗算係数１０（第二画像用）を０に制御する。合成部（１８０４）の第五合成比率可変合成手段（１８１０）では、動き領域情報から得られる乗算係数にもとに乗算器１（１８１１）、及び乗算器２（１８１２）で画像情報に対する乗算が行なわれ、加算器（１８１３）にて画像が合成される。これにより、合成部（１８０４）は、動き領域と判定された領域については画像情報１のみを使用した合成が行なわれ、画像情報１の特性である「手ぶれが抑えられ、加算平均処理や画素加算によりノイズは少ないが、サイズは小さいため高周波成分が少ない画像」を主とした合成制御が行われる。

例えば、非動き領域は撮像条件に応じて合成比率を可変としたり、エッジ情報を元に合成される画像を使用することで、動き領域のノイズ成分がさらに改善された画像を得ることができる。

（実施形態６：処理の流れ）本実施形態に係る撮像装置における処理の流れは、実施形態１における説明の図６に係る撮像装置の処理の流れと同様である。ただし、合成ステップ（Ｓ０６１０）における第一画像と第二画像の合成は、前述の通り、動き情報に合わせて複数画像間の合成比率を可変とすることを特徴とする。

（実施形態６：効果）本実施形態に係る撮像装置においては、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、動き領域においては、画像情報１の特性である「手ぶれが抑えられ、加算平均処理や画素加算によりノイズは少ないが、サイズは小さいため高周波成分が少ない画像」を主とした合成制御が行われるため、ノイズを抑えた良好な画質を得ることができる。
（実施形態７）

（実施形態７：概要）本実施形態は、ある程度暗い低照度環境下において、第二画像は露光時間を短くしたことによる露出不足を補う為、ゲイン増幅がかかった状態で合成を行う場合、輝度情報と色情報を別々に合成することが可能であるため、輝度ノイズや色ノイズの発生状況に応じて、発生ノイズを抑えた手ぶれ補正画像を得ることが可能な撮像装置に関する。

（実施形態７：構成）本実施形態に係る撮像装置の機能ブロックを図２１に例示する。本実施形態に係る撮像装置の構成は、実施形態１から実施形態６のいずれか一にて説明の撮像装置の構成に「第六合成比率可変合成手段」（２１２２）を加えた構成となる。図２１においては、実施形態１の図２にて説明の撮像装置の構成に前記第六合成比率可変合成手段（２１２２）を加えた構成を例示している。撮像装置（２１００）は、「撮像部」（２１０１）と、「制御部」（２１０２）と、「画像情報保持部」（２１０３）と、「合成部」（２１０４）と、を有する。また、前記制御部（２１０２）は、「第一制御手段」（２１０６）と、「第二制御手段」（２１０７）と、を有する。また、前記合成部（２１０４）は、「第六合成比率可変合成手段」（２１２２）を有している。実施形態１から実施形態６のいずれか一にて説明した構成要件と同じ構成要件に関しては、説明を割愛する。

「第六合成比率可変合成手段」（２１２２）は、輝度成分と色成分を同一の合成比率で、又は別々の合成比率で合成する機能を有する。例えば、撮像条件から得られた各乗算係数（２１１２）を入力し、前記各乗算係数で画像情報１から得られた第一輝度情報（２１０８）と、画像情報２から得られた第二輝度情報（２１０９）を乗算した後、輝度加算器（２１１６）にて乗算された各輝度情報を加算することで、輝度情報を合成する。また、撮像条件から得られた各乗算係数を入力し、前記各乗算係数で画像情報１から得られた第一色情報（２１１０）と、画像情報２から得られた第二色情報（２１１１）を乗算した後、色加算器（２１２０）にて乗算された各色情報を加算することで、色情報を合成する。さらに、合成後の輝度情報と、合成後の色情報をさらに合成する（２１２１）。

（手ぶれが発生しうる照度条件下における制御の具体例）本実施例においては、手ぶれが極めて少ない照度条件下における制御の状態は、実施形態１と同様であり、図２１を用いて、手ぶれが発生しうる照度条件下のみの制御の具体例を説明する。実施形態１から実施形態６のいずれか一で説明した構成要件と同じ構成要件に関し、同様の制御がなされる構成要件については説明を割愛する。

合成部は、例えば、画像情報保持部（２１０３）から送られて来た第一画像に関する画像情報１と撮像条件１、及び画像情報２と撮像条件２から、画像情報を部分的に利用して一の画像の画像情報を合成する際に、輝度情報と色情報を別々に合成可能とする。

図２２、図２６も併せ用いて、合成部にて第一画像と第二画像を用いて合成を行なう場合の概略を説明する。図２２、図２６は、制御部（２１０２）の「第二制御手段」（２１０７）が、照度条件に対し、撮像する複数画像の他の一の画像である第二画像を、手ぶれが発生しない露光時間で、且つ露出が適切になるようにゲインをかけて撮像するように制御された状態を指し示している。また、取得した撮像条件を元に、乗算係数に変換する制御を指し示している。

まず、照度条件として、高照度環境下（２２−１、２６−１）より若干暗くなった中照度環境下においては、第一制御手段（２１０６）における露光時間が約１／６０秒以上に制御されており（２２−２、２６−２）、これは実施形態１で説明した「手ぶれが発生しうる照度条件下における制御」に相当する。第一制御手段（２１０６）の制御は、以降、実施形態１で説明した制御と同じであり、以下、第二制御手段（２１０７）の制御について説明する。

また、第二制御手段は、例えば、「手ぶれが発生しない露光時間」、つまり露光時間が約１／６０秒を維持することで、手ぶれを抑えた露光時間の制御を行う（２２−２、２６−２）。さらに第二制御手段（２１０７）は、露光時間が約１／６０秒を維持されることによる露出不足に対し、ゲインをかけて適正露出にする。さらに低照度環境方向に撮像環境が推移した場合、さらにゲインをかけて適正露出にするが、ある一定のゲイン値において、ゲイン増幅により増加するノイズによる画質劣化が認められるゲイン値に到達する（２２−４、２６−４）。

撮像条件を乗算係数に変換する際（２１１２）は、例えば、図２２、図２６の上部に指し示すように、露光時間が約１／６０秒以上に制御されてから、ゲイン増幅により増加するノイズによる画質劣化が認められるゲイン値の制御状態までにおいて（２２−２、２６−２で示される中照度における露出制御状態において）、輝度乗算器１（２１１４）に係る輝度乗算係数１（第一画像用：図２１では図示しない）を０に、輝度乗算器２（２１１５）に係る輝度乗算係数２（第二画像用：図２１では図示しない）を１に、色乗算器１（２１１８）に係る色乗算係数１（第一画像用：図２１では図示しない）を０に、色乗算器２（２１１９）（第二画像用：図２１では図示しない）に係る色乗算係数２を１に制御する。

また、合成部では、撮像条件を乗算係数に変換して（２１１２）得られる係数をもとに輝度乗算器１（２１１４）、及び輝度乗算器２（２１１５）で輝度情報に対する乗算が行なわれ、輝度加算器（２１１６）にて輝度情報が合成される。また、撮像条件を乗算係数に変換して（２１１２）得られる係数をもとに色乗算器１（２１１８）、及び色乗算器２（２１１９）で色情報に対する乗算が行なわれ、色加算器（２１２０）にて色情報が合成される。さらに、合成後の輝度情報と、合成後の色情報を合成する。これにより、合成部（２１０４）では、画像情報２のみの情報を用いた合成処理が行われることとなり、画像情報２の特性である「手ぶれが極めて少なく、ノイズによる画質劣化が認められない画像」を主とした画像を得る制御が行われる。

次に上記照度条件よりさらに暗くなった低照度環境下においては、第二制御手段（２１０７）は、継続して「手ぶれが発生しない露光時間」、つまり露光時間が約１／６０秒を維持し、ぶれを抑えた露光時間の制御を行う（２２−３、２６−３）。この時、第二制御手段（２１０７）は、露光時間が約１／６０秒を維持されることによる露出不足に対し、ゲイン増幅により増加するノイズによる画質劣化が認められるゲイン値の制御状態（ゲイン値Ｂ）よりさらにゲインをかけて適正露出にする。

撮像条件を乗算係数に変換する際（２１１２）は、例えば、図２２、図２６の上部に指し示すように、ゲイン増幅により増加するノイズによる画質劣化が認められるゲイン値の制御状態から露出制御が最大になる制御状態までにおいて（２２−３、２６−３で示される低照度における露出制御状態において）、輝度乗算器１（２１１４）に係る輝度乗算係数１（第一画像用）を０から０．５へ、輝度乗算器２（２１１５）に係る輝度乗算係数２（第二画像用）を１から０．５へ徐々に変化するように輝度乗算係数を制御する。また同様に色乗算器１（２１１８）に係る色乗算係数１（第一画像用）を０から１へ、色乗算器２（２１１９）に係る色乗算係数２（第二画像用）を１から０へ、徐々に変化するように色乗算係数を制御する。

合成部では、撮像条件を乗算係数に変換して（２１１２）得られる係数にもとに色乗算器１（２１１８）、及び色乗算器２（２１１９）で色情報に対する乗算が行なわれ、色加算器（２１２０）にて色情報が合成される。さらに、合成後の輝度情報と、合成後の色情報を合成する。これにより、合成部（２１０４）では、照度が暗くなればなるほど、画像情報２の情報より画像情報１の情報を主に使用するような合成が行なわれ、画像情報２の特性である「手ぶれは極めて少ないが、ノイズによる画質劣化が認められ、ゲイン増幅によりノイズが増加し画質劣化が大きくなる画像」を使用する比率を弱め、画像情報１の特性である「手ぶれが抑えられ、サイズは小さいがノイズは少ない画像」を主とした画像を得る制御が行われる。

上記制御において、画像情報２の色情報を使用する重みの変化は、照度が暗くなればなるほど、画像情報２の輝度情報を使用する重みの変化が大きくなっているため、低照度環境下においては、輝度情報より色情報の方が、ノイズの少ない画像情報１の情報を用いて合成する。これにより、画像情報２の色情報において色ノイズが多い場合、より色ノイズを抑えた手ぶれ補正画像を得ることが可能となる。

上述の実施例では、画像情報２の色情報において色ノイズが多い場合を説明したが、逆に色情報における色ノイズは少なく、輝度情報における輝度ノイズが多い場合は、取り得る乗算係数の変化の関係を逆にして、より輝度ノイズを抑えた手ぶれ補正画像を得るようにしても良い。

また上述の実施例では、画像情報１と画像情報２の合成比率を変化する照度条件において、輝度情報に対する乗算係数の制御と色情報に対する乗算係数の制御を同じ照度条件にしたが、ゲイン増幅により増加するノイズの量において輝度情報と色情報で差がある場合は、輝度情報に対する乗算係数の制御と色情報に対する乗算係数の制御を別々の照度条件で制御しても良い。

なお、取り得る乗算係数の変化の度合いは、画像情報１及び画像情報２の状態に応じて、適宜変更されるべきものであり、本実施例の値以外にて制御されても良い。

また、本実施形態では、輝度乗算器１（２１１４）に係る輝度乗算係数１と輝度乗算器２（２１１５）に係る輝度乗算係数２に適用される輝度乗算係数を別々に説明し、また色乗算器１（２１１８）に係る色乗算係数１と色乗算器２（２１１９）に係る色乗算係数２に適用される色乗算係数を別々に説明したが、輝度乗算器２（２１１５）に係る輝度乗算係数２は、１から輝度乗算器１（２１１４）に係る輝度乗算係数１を引いた値で定義し、また色乗算器２（２１１９）に係る色乗算係数２は、１から色乗算器１（２１１８）に係る色乗算係数１を引いた値で定義しても良い。

（実施形態７：処理の流れ）本実施形態に係る撮像装置における処理の流れは、実施形態１における説明の図６に係る撮像装置の処理の流れと同様である。ただし、合成ステップ（Ｓ０６１０）における第一画像と第二画像の合成は、前述の通り、撮像条件に合わせて輝度情報と色情報を別々に合成可能であることを特徴とする。

（実施形態７：効果）手ぶれが発生しそうな照度環境下において、複数の画像の画像情報を部分的に利用して一の画像の画像情報を合成することで手ぶれを補正する際、輝度情報と色情報を別々に合成することが可能であるため、輝度ノイズや色ノイズの発生状況に応じて、発生ノイズを抑えた手ぶれ補正画像を得ることが可能である。

０１００ 撮像装置
０１０１ 撮像部
０１０２ 制御部
０１０３ 画像情報保持部
０１０４ 合成部
０２０６ 第一制御手段
０２０７ 第二制御手段

Claims (2)

1. 撮像部と、
   照度条件によって異なる撮像条件である露光時間条件により撮像の制御が可能な制御部と、
   照度条件に応じて合成を行うか否かを決定し、前記決定に応じて複数の画像を合成し出力する、又は、その撮像条件により撮像された画像をそのまま合成せずに出力する合成部と、を有し、
   合成部は、
   前記撮像条件を乗算係数に変換して得られた各乗算係数を入力し、乗算器にて前記各乗算係数にて画像情報を乗算した後、加算器にて乗算された各画像情報を加算することで、複数の画像を利用して画像を合成する合成比率可変合成手段をさらに備え、
   前記照度条件に応じた合成を行うか否かの決定は、前記照度条件が所定の明るさより暗い場合には合成を行い、所定の明るさより明るい場合には合成を行わないという決定であることを特徴とする撮像装置。
2. 照度条件によって異なる撮像条件である露光時間条件による制御で撮影を行う制御撮影ステップと、
   照度条件に応じて合成を行うか否かを決定し、前記決定に応じて複数の画像を合成し出力する、又は、その撮像条件により撮像された画像をそのまま合成せずに出力する合成ステップと、
   を計算機に実行させるプログラムであって、
   合成ステップは、
   前記撮像条件を乗算係数に変換して得られた各乗算係数を入力し、乗算器にて前記各乗算係数にて画像情報を乗算した後、加算器にて乗算された各画像情報を加算することで、複数の画像を利用して画像を合成する合成比率可変合成サブステップをさらに備え、
   前記照度条件に応じた合成を行うか否かの決定は、前記照度条件が所定の明るさより暗い場合には合成を行い、所定の明るさより明るい場合には合成を行わないという決定であることを特徴とするプログラム。
   

Images