JP6732440B2

JP6732440B2 - 画像処理装置、画像処理方法、及びそのプログラム

Info

Publication number: JP6732440B2
Application number: JP2015237208A
Authority: JP
Inventors: 将人小川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-12-04
Filing date: 2015-12-04
Publication date: 2020-07-29
Anticipated expiration: 2035-12-04
Also published as: JP2017103695A

Description

本発明は、画像処理装置、画像処理方法、及びそのプログラムに関する。具体的には、画角の異なる複数の撮像装置によって撮像された撮像画像データを基に、所望の画角の画像データを生成する画像処理装置、画像処理方法、及びそのプログラムに関する。

従来、撮像画像の所望の領域を拡大する方法として、画像処理によりズームを実現する技術（電子ズーム）が知られている。電子ズームでは、ズーム倍率を大きくするほど拡大倍率も大きくなり、次第に解像感が損なわれてしまう問題があった。そこで、画角の異なる複数のカメラを用いることで、解像感を損なわずに画像処理によるズームを実現する技術がある（特許文献１参照）。特許文献１では、焦点距離が短くて画角が広いカメラと、焦点距離が長くて画角が狭いカメラとからなる撮像装置を用いて被写体を撮像する。画角の広い広角画像に画角の狭い望遠画像を所定の比率で縮小して合成することにより、解像感を損なわずに所望の仮想画角の画像データを生成することができる。

しかし、特許文献１には、カメラ特性のバラつきやシェーディングの影響により撮像画像間の色や明るさが異なり、合成した仮想画角画像に疑似的な輪郭（境界部における色や明るさの段差）が発生する問題がある。

上述した特許文献１の問題に対し、合成の境界部を補正することで疑似的な輪郭を目立たなくする方法がある（特許文献２参照）。特許文献２では、合成の境界部の画像データを、広角画像データから望遠画像データに徐々に近づくような補正データで置換することにより、境界部を補正する。すなわち、境界部における画像値を滑らかにすることで、段差を目立たなくする。

特開２０１４−２２５８４３号公報特許第４２９９５６１号公報

しかしながら、特許文献２は、合成の境界部に複雑なテクスチャが含まれる場合は補正処理が複雑になり、補正精度も低下するという課題があった。また、特許文献２の補正処理は、境界部における画像値を滑らかにすることで段差を目立たなくする処理であるが、境界部の段差を実質的に解消する処理ではない。撮像画像間の色や明るさの差が大きい場合は、特許文献２のように境界部を補正するだけでは不十分、という課題もある。

そこで、境界部だけではなく、画像全体で色合わせを行うことが考えられる。しかし、仮想画角画像の生成では、画角の広い広角画像の中央部に、画角の狭い望遠画像を所定の比率で縮小して合成するため、カメラ特性のバラつきなどによる色と明るさの段差に加え、シェーディングによる段差も発生する。これは、シェーディングによる影響が比較的少ない広角画像の中像高部に、シェーディングによる影響が大きい望遠画像の高像高部を合成すると合成の境界部においてシェーディングが余計に目立つためである。このようなシェーディングによる段差は、画像全体での色あわせにより解消することができない。

一方、シェーディングによる段差は、色合わせの前に画像全体の輝度が均一になるようシェーディング補正を行うことで対処可能ではあるが、このようなシェーディング補正を行うと、高像高部になるほど補正量が大きくなり、ノイズが増幅されてしまう。その結果、シェッディングによる段差は解消されても、ノイズによる段差が新たに発生してしまう。

本発明は、上述のような課題に鑑みてなされたものであり、共通の被写体を含む画角の異なる複数の撮像画像データを合成する際に発生する、合成の境界部の疑似的な輪郭を抑制することを目的とする。

本発明に係る画像処理装置は、共通の被写体を含む画角が異なる複数の画像データを用いて、合成画像データを生成するための画像処理装置であって、前記複数の画像データから、第１の画像データを基準画像データとして、前記第１の画像データよりも画角が狭い第２の画像データを補正対象画像データとして選択する選択手段と、前記補正対象画像データを複数の領域に分割する分割手段と、前記基準画像データに対する前記補正対象画像データの視差量を導出する導出手段と、前記補正対象画像データを分割して得られた領域毎に前記視差量を参照し、前記視差量に応じた前記基準画像データにおける対応領域との色合わせを行う色合わせ手段と、前記基準画像データにおいて前記色合わせ後の前記補正対象画像データを前記基準画像データに合成する合成領域を決定して、前記基準画像データにおける前記合成領域に前記補正対象画像データを合成することで、前記合成画像データを生成する合成手段とを有し、前記色合わせ手段は、前記補正対象画像データの領域毎の補正値を、当該領域の平均画素値が当該領域に対応する前記対応領域の平均画素値になるように算出する補正値算出手段と、前記補正値を基に前記補正対象画像データを補正する補正手段とを有することを特徴とする。

本発明は、共通の被写体を含む画角の異なる複数の撮像画像データを合成する際に発生する、合成の境界部の疑似的な輪郭を抑制する効果を奏する。

実施例１に係る複数の撮像部を備えた多眼方式の撮像装置の一例を示す図。多眼方式の撮像装置の内部構成の一例を示すブロック図。撮像部の内部構成の一例を示す図。実施例１に係る機能構成を示すブロック図。実施例１に係る画像合成を簡易的に示す図。実施例１に係る画像処理のフローチャート。画像データ間の視差量を説明するための図。実施例１における対応領域算出を説明するための図。実施例２に係る画像合成を簡易的に示す図。実施例２における合成処理順のバリエーションを示す図。

（実施例１）
本実施例では、広角画像に望遠画像を縮小して合成する際に発生する、境界部の疑似的な輪郭を抑制する方法について述べる。

図１は、画角の異なる複数の撮像部を備えた多眼方式による撮像装置の一例を示す図である。図１（ａ）に示すように、撮像装置１００はカラー画像データを取得する２個の撮像部１０１、１０２及び撮像ボタン１０３を備えている。図１（ｂ）に示すように撮像部１０１、１０２は、それぞれの光軸１０４、１０５が平行になるように配置されている。本実施例では、撮像部１０１と１０２の水平方向の間隔をＲ、撮像部１０１の水平画角をθ１、撮像部１０２の水平画角をθ２とする。なお、θ１＞θ２とし、撮像部１０２よりも撮像部１０１の方が画角が広いものとする。ユーザが撮像ボタン１０３を押下すると、撮像部１０１〜１０２が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換され、複数のデジタルデータ（撮像画像データ）が同時に得られる。撮像画像データには、撮像時のフォーカス設定などに基づき導出された撮像装置１００から被写体までの距離Ｌがタグ情報として付与されるものとする。

このような多眼方式の撮像装置により、共通の被写体を複数の視点位置から撮像した撮像画像群を得ることができる。なお、ここでは撮像部の数を２個としたが、撮像部の数は２個に限定されず、撮像装置が複数の撮像部を有する限りにおいてその数によらず本実施例は適用可能である。

図２は、撮像装置１００の内部構成を示すブロック図である。中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プラグラム等を格納している。

バス２０４は、各種データの転送経路となる。例えば、撮像部１０１〜１０２によって取得された撮像画像データは、このバス２０４を介して所定の処理部に送られる。操作部２０５はユーザの指示を受け取る。具体的にはボタンやモードダイヤルなどが含まれ、撮像指示やズーム指示を受け取ることができる。表示部２０６は撮像画像や文字の表示を行う。例えば、液晶ディスプレイが用いられる。また、表示部２０６はタッチスクリーン機能を有していても良い。その場合はタッチスクリーンを用いた撮像指示やズーム指示などのユーザ指示を操作部２０５の入力として扱うことも可能である。

表示制御部２０７は、表示部２０６に表示される画像や文字の表示制御を行う。撮像制御部２０８は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像部の制御を行う。デジタル信号処理部２０９は、バス２０４を介して受け取った撮像画像データに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。

エンコード部２１０は、撮像画像データをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部２１１は、撮像装置１００を、外部メモリ２１３（例えば、ＰＣ、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に結合するためのインターフェースである。

画像処理部２１２は、撮像部１０１、１０２で取得された撮像画像データ群或いは、デジタル信号処理部２０９から出力される撮像画像データ群を用いて画像合成などの画像処理を行う。

なお、撮像装置の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。

図３は、撮像部１０１の内部構成を示す図である。撮像部１０１は、レンズ３０１〜３０２、絞り３０３、シャッター３０４、光学ローパスフィルタ３０５、ｉＲカットフィルタ３０６、カラーフィルタ３０７、センサ３０８及びＡ／Ｄ変換部３０９を備える。レンズ３０１〜３０２は夫々、フォーカスレンズ３０１、ぶれ補正レンズ３０２である。センサ３０８は、例えばＣＭＯＳやＣＣＤなどのセンサであり、上記の各レンズでフォーカスされた被写体の光量を検知する。検知された光量はアナログ値としてセンサ３０８から出力され、Ａ／Ｄ変換部３０９によってデジタル値に変換されて、デジタルデータとなってバス２０４に出力される。なお、撮像部１０２についても同様の構成とすることができる。

図４は、画像処理部２１２に備えられる機能部を示す機能ブロック図である。図４に示すように、画像処理部２１２は、撮像画像データ取得部４００、基準画像データ選択部４０１、補正対象画像データ選択部４０２、視差量算出部４０３、画像位置合わせ部４０４、領域分割部４０５及び対応領域算出部４０６を備える。また、補正値算出部４０７、補正値整形部４０８、画素値補正部４０９及び画像合成部４１０を備える。各機能部は、ＣＰＵ２０１が制御プログラムを実行することにより実現される。

撮像画像データ取得部４００は、撮像部１０１、１０２によって撮像された複数の撮像画像データを取得する。あるいは、撮像画像データ取得部４００は、あらかじめＲＡＭ２０２や外部メモリ２１３等に記録された撮像画像データを取得するなどしてもよい。また、撮像画像データ取得部は撮像部１０１の画角θ１（または焦点距離ｆ１）、撮像部１０２の画角θ２（または焦点距離ｆ２）、及び撮像部１０１と撮像部１０２との間隔Ｒを含む撮像情報をＲＯＭ２０３や外部メモリ２１３などの記憶装置から取得する。

図５は、２眼の撮像装置を用いて撮像した画像について、広角画像に望遠画像を縮小して合成する処理を説明するための図である。撮像画像５０１は撮像部１０１で撮像した広角画像を、撮像画像５０２は撮像部１０２で撮像した望遠画像を示している。画像５０３は、撮像画像５０１の中央部に、撮像画像５０２を所定の比率で縮小した画像を貼り込むことで生成した仮想画角画像であり、画像５０４は本実施例の色合わせ処理を施した画像である。

なお、本実施例では、撮像画像５０１の画角と同じ画角の画像５０３を生成する例を説明するが、これに限定されず、別の画角の画像を生成してもよい。また、撮像画像５０１に撮像画像５０２を合成する際に、撮像画像５０１の中央部に、所定の比率で縮小した撮像画像５０２を貼り込むことにより画像合成を行う例を説明する。すなわち、撮像画像５０１の重み値として０を、撮像画像５０２の重み値として１を用いて画像合成を行う。しかし、これに限定されず、別の重みを用いて画像合成を行ってもよい。

基準画像データ選択部４０１は、撮像画像データ取得部４００で取得した複数の撮像画像データのうち、色合わせの基準となる撮像画像データ（以下、基準画像データ）を選択する。ここで、画像を貼りこまれる側の撮像画像５０１のデータを基準画像データとして選択する。補正対象画像データ選択部４０２は、撮像画像データ取得部４００で取得した複数の撮像画像データのうち、実際に色合わせを行う撮像画像データ（以下、補正対象画像データ）を選択する。ここで、画像を貼り込む側の撮像画像５０２のデータを補正対象画像データとして選択する。視差量算出部４０３は、基準画像データに対する補正対象画像データの視差量を画素毎に算出する。画像位置合わせ部４０４は、基準画像データと補正対象画像データの位置合わせを行って、補正対象画像を合成する（貼り込む）領域を決定する。領域分割部４０５は、補正対象画像データを領域分割する。対応領域算出部４０６は、分割した補正対象画像データの各領域に対応する基準画像データの領域を、視差量算出部４０３で算出した視差量を基に算出する。補正値算出部４０７は、補正対象画像データの領域の色の平均値が対応する基準画像データの領域の色の平均値になるように、補正対象画像データの領域毎の色の補正値を算出する。補正値整形部４０８は、補正値算出部４０７で算出した補正値に対して隣接領域間の補正値の差を小さくするような整形を行う。画素値補正部４０９は、補正値整形部４０８で整形を行った補正値を用いて補正対象画像データの各領域の色を補正する。画像合成部４１０は、画像位置合わせ部４０４で決定した補正対象画像データを合成する領域を基に、画素値補正部４０９で補正した補正対象画像データを基準画像データに合成する。

なお、本実施例において、上記の各機能部は撮像装置１００の画像処理部２１２に備えられるが、撮像装置１００と通信可能な画像処理装置に備えられてもよい。

図６は、本実施例に係る画像処理のフローチャートである。

ステップＳ６０１において、撮像画像データ取得部４００が複数の撮像画像データを取得する。また、撮像部１０１の画角θ１（または焦点距離ｆ１）、撮像部１０２の画角θ２（または焦点距離ｆ２）、及び撮像部１０１と撮像部１０２との間隔Ｒを含む撮像情報も取得する。

ステップＳ６０２において、基準画像データ選択部４０１が、画像を貼りこまれる側の広角画像データを基準画像データとして選択し、補正対象画像データ選択部４０２が、画像を貼り込む側の望遠画像データを補正対象画像データとして選択する。ここで、撮像画像５０１は基準画像、撮像画像５０２は補正対象画像である。

ステップＳ６０３において、視差量算出部４０３が、基準画像データに対する補正対象画像データの視差量を算出する。視差量は、補正対象画像データと基準画像データの間で対応点探索を行うことで求めることができる。

具体的に、まず、視差量算出部４０３は、ステップＳ６０１で取得した撮像部の画角（または焦点距離）などの撮像情報を基に、補正対象画像データを基準画像データと同じ撮像倍率になるように縮小する。例えば、図１（ｂ）に示す撮像部１０１、１０２の水平画角θ１、θ２を用いて表すと、水平方向の縮小比率はｔａｎ（θ２／２）／ｔａｎ（θ１／２）となる。次に、縮小した補正対象画像データの、基準画像データに対する視差量を画素毎に算出する。

図７は、画像データ間の視差量を説明するための図である。

３次元空間中の物体は、図７（ａ）に示すカメラモデルによって簡易的に表わすことができる。視点Ｏから観測した３次元空間中の点Ｐは、透視投影により視点Ｏと点Ｐを結んだ直線と投影面Ｉが交わる点ｐとして観測される。ｆはレンズ中心から投影面までの距離、すなわち焦点距離を表す。

次に、視点ＯＬ、ＯＲに設置した２つのカメラＣＬ、ＣＲにより３次元空間中の同一点Ｐを観測することを考える。図７（ｂ）に示すように、２つの視点ＯＬ、ＯＲから観測した点は、図７（ａ）のカメラモデルにより、それぞれの投影面ＩＬ、ＩＲに点ｐＬ、ｐＲとして投影される。この時、それぞれの視点と投影面に投影された点とを結んだ直線は点Ｐで交わる。視点ＯＬが投影面ＩＬに投影された点に対する点ｐＬの位置と、視点ＯＲが投影面ＩＲに投影された点に対する点ｐＲの位置との差分は、点Ｐの視差量となる。ｐＬ、ｐＲの位置を対応点探索で求める事ができれば、視差量を算出することができる。

ステップＳ６０４において、画像位置合わせ部４０４が、基準画像データと補正対象画像データの位置合わせを行う。すなわち、基準画像に補正対象画像を合成する（貼り込む）領域を決定する。なお、視差量算出部４０３にて対応点探索を実行しており、その結果を用いて位置合わせを行うことができる。それ以外にも、画像の特徴点を算出して位置合わせを行う、ＳＩＦＴ（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）などの既知の技術を用いても良い。ＳＩＦＴは、例えば米国特許第６７１１２９３号明細書に記載されている。

ステップＳ６０５において、領域分割部４０５が、補正対象画像データを領域分割する。補正対象画像データは、分割された領域毎に色の補正値を求め、基準画像データとの色合わせを行う。なお、補正値は、領域内の画素の平均値を基準画像データの対応領域内の画素の平均値に合わせる値とする。領域が大きすぎると、隣接する領域との補正値の差が大きくなり、領域間にあらたに疑似的な輪郭が発生してしまう。そのため、小さいサイズで領域分割することが望ましい。

一方、基準画像データの対応領域は視差量算出部４０３で算出した視差量を基に算出されており、視差量算出部４０３で算出した視差量には誤差が含まれることが多い。この誤差を投影面Ｉ上のピクセル数に換算した値をＥとし、Ｅよりも小さいサイズで領域分割してしまうと、対応領域算出部４０６で発生する対応領域の誤差が大きいため、補正後の画素値に誤差が大きくなってしまう。そのため、事前に視差量算出部４０３で発生する視差量の最大誤差Ｅｍａｘを見積もった上で、適切な領域サイズを決定することが望ましい。

ステップＳ６０６において、対応領域算出部４０６が、ステップＳ６０５で分割した補正対象画像データの各領域に対応する基準画像データの対応領域を、ステップＳ６０３で算出した視差量を基に算出する。

図８は、本実施例における対応領域算出を説明するための図である。撮像画像５０１は基準画像、撮像画像５０２は補正対象画像である。領域８０１は、画像位置合わせ部４０４にて位置合わせを行った結果の、撮像画像５０２を貼り込む領域を示している。視差マップ８０２は、ステップＳ６０３で算出した撮像画像５０１と撮像画像５０２の間の画素毎の視差量をマップ化したものである。視差マップ８０２では、画素が白いほど視差量が小さく、画素が黒いほど視差量が大きくなるように、視差量を表現している。以下、撮像画像５０２の領域８０３、８０４に対応する、撮像画像５０１の領域８０７、８０８の座標値を求める手順を説明する。

領域８０５は、領域８０３に対応する視差マップ８０２上の領域である。領域８０５内の平均視差量を求め、その値をＤ１とする。撮像装置の位置関係は図１の撮像部１０１と撮像部１０２の位置関係である。すなわち、撮像部１０１と撮像部１０２は同一水平線に位置する。そのため、領域８０７の座標値は、領域８０３よりも−ｘ方向にＤ１だけずれた場所として求められる。

同様に、領域８０６は、領域８０４に対応する視差マップ８０２上の領域である。領域８０６内の平均視差量を求め、その値をＤ２とした場合、領域８０８の座標値は、領域８０４よりも−ｘ方向にＤ２だけずれた場所として求められる。

なお、視差マップ８０２上の各画素で示す視差量は、その画素に対応する３次元空間中の点から撮像装置の投影面までの距離によって決まる。すなわち、距離が近いほど、視差量が大きくなる。領域８０５より距離の近い領域８０６は、相対的に大きい平均視差量を有する。従って、Ｄ１はＤ２より大きい。

以上のように、ステップＳ６０６では、補正対象画像データの各領域に対応する基準画像データの対応領域を、領域内の平均視差量を基に算出することにより、精度のよい対応領域を効率的に得ることができる。

ステップＳ６０７において、補正値算出部４０７が、ステップＳ６０５で分割した補正対象画像データの領域と、ステップＳ６０６で算出した基準画像データの対応領域とから、領域毎の色の補正値を算出する。

補正値は、領域分割部４０５で分割した領域内の画素の平均値と、対応領域算出部４０６で求めた対応領域内の画素の平均値との差分値として求めることができる。例えば、領域８０３の平均画素値（平均輝度値）が、Ｒ＝１１３，Ｇ＝７８，Ｂ＝５２であるとする。また、領域８０７の平均画素値（平均輝度値）が、Ｒ＝１０４，Ｇ＝６７，Ｂ＝４５であるとする。その場合、補正値は、Ｒ＝−９，Ｇ＝−１１，Ｂ＝−７となる。

また、補正値を差分値ではなく、割合として求めることもできる。その場合、補正値は、Ｒ＝１０４／１１３，Ｇ＝６７／７８，Ｂ＝４５／５２となる。

ステップＳ６０８において、ステップＳ８０５で分割した補正対象画像データの全領域において、補正値の算出が終了したかを判定する。終了した場合に、処理はステップＳ８０９に進み、終了していない場合に、処理はステップＳ８０６に戻る。ステップＳ６０６〜Ｓ６０８の処理により、ステップＳ６０５で分割した全領域の補正値は算出される。

ステップＳ６０９において、補正値整形部４０８が、ステップＳ６０８で算出した補正値を整形する。補正値は、分割領域のサイズが大きく、隣接領域間の補正値の差が大きいと、領域の境界部で疑似的な輪郭が発生する。これを抑制するためには、分割領域のサイズを小さくすることが望ましいが、視差量算出部４０３での誤差Ｅｍａｘよりも小さくすると、補正後の画素値の誤差が大きくなってしまう。この問題を解決するために、補正値整形部４０８にて補正値全体にガウシアンフィルタをかけ、隣接領域間の補正値の差を小さくするような整形を行う。ただし、フィルタを強くかけすぎてしまうと、補正値が平均化されてしまい、補正後の画素値の誤差が大きくなってしまう。そのため、領域の大きさに応じて適切なガウシアンフィルタを設定することが望ましい。

ステップＳ６１０において、画素値補正部４０９が、ステップＳ６０９で整形した補正値を基に、分割した領域毎に補正対象画像データの画素値を補正する。ステップＳ６０７で補正値を差分値として求めた場合には、補正対象画像データの画素値に、対応する領域の補正値を加算することで補正を行う。ステップＳ６０７で補正値を割合として求めた場合には、補正値を乗算することで補正を行う。

ステップＳ６１１において、画像合成部４１０が、画像位置合わせ部４０４で決定した補正対象画像データを合成する（貼り込む）領域を基に、ステップＳ６１０で補正した補正対象画像データを基準画像データに合成して、合成画像データを生成する。

以上のように、撮像部１０２で撮像した望遠画像データは複数の領域に分割され、分割領域毎に撮像部１０１で撮像した広角画像データの対応領域との色合わせが行われる。すなわち、撮像画像間の色合わせが行われ、しかもシェーディングによる影響が大きい望遠画像データの高像高部の領域は、シェーディングによる影響が比較的少ない広角画像データの中像高部の対応領域に色合わせるように補正される。これにより、画像合成時に発生する、シェーディングによる段差を含む合成の境界部における色と明るさの段差を補正することができる。その結果、合成の境界部の疑似的な輪郭を抑制することができる。

（実施例２）
本実施例では、３眼以上の撮像装置を用いて撮像を行い、画角が順次狭くなる複数の画像を合成する際の、境界部の色や明るさの段差を抑制する方法について述べる。

図９は３眼の撮像装置を用いて撮像した画像について、画角が順次狭くなる３つの画像を合成する処理を説明するための図である。画像９０１は広角の焦点距離の撮像装置で撮像した画像を、画像９０２は標準的な焦点距離の撮像装置で撮像した画像を、画像９０３は望遠の焦点距離の撮像装置で撮像した画像を表わす。画像９０４は画像９０１〜９０３を合成した仮想画角画像であり、画像９０５は本実施例の色合わせ処理を施した画像である。

図１０は、画像９０１〜９０３を合成する際の合成処理順のバリエーションを示す図である。

図１０（ａ）では、始めに標準画角の画像９０２を基準画像とし、望遠画像９０３を補正対象画像として画像合成を行うことにより、画像１００１を生成する。次に広角画像９０１を基準画像とし、画像１００１を補正対象画像として画像合成を行うことにより、画像１００２を得る。この手順では、望遠画像９０３が画像１００１生成時と、画像１００２生成時とに２回補正されてしまう。補正回数は多いほど元画像からかけ離れていくことになるため、図１０（ａ）の手順で補正を行うのは望ましくない。

図１０（ｂ）では、始めに広角画像９０１を基準画像とし、望遠画像９０３を補正対象画像として画像合成を行うことにより、画像１００３を得る。次に画像１００３を基準画像とし、標準画角の画像９０２を補正対象画像として画像合成を行うことにより、画像１００４を得る。この手順では、画像１００３生成時に、基準画像と補正対象画像の解像度が大きく異なるため、視差量算出部４０３にて誤差が発生しやすくなる。その結果、視差量の最大誤差Ｅｍａｘが大きくなり、領域分割部４０５での領域サイズを大きくしなければならなくなる。従って、図１０（ｂ）の手順で補正を行うのは望ましくない。

図１０（ｃ）は本実施例における合成処理順を示す図である。図１０（ｃ）では、始めに広角画像９０１を基準画像とし、標準画角の画像９０２を補正対象画像として画像合成を行うことにより、画像１００５を得る。次に画像１００５を基準画像とし、望遠画像９０３を補正対象画像として画像合成（２回目の画像合成）を行うことにより、画像１００６を得る。図１０（ｃ）に示す本実施例の手順では、図１０（ａ）の手順の場合に同じ画像に複数回の補正がかかる問題は発生しない。また、図１０（ｂ）の手順の場合に解像度が大きく異なる問題も発生しない。以上のように、本実施例の合成処理順により、合成の境界部の色や明るさの段差を抑制しつつ、高品質な合成画像を得ることができる。

本実施例では、３眼構成での合成処理順について説明したが、３眼以上の構成にも適用可能である。具体的には、基準画像データ選択部４０１では、焦点距離が広角側の撮像部によって撮像されたものから順に選択し、補正対象画像データ選択部４０２では、基準画像データの次に望遠側の画像を選択するように合成処理順を設定すれば良い。

以上により、３眼以上の撮像装置を用いた場合でも、境界部の疑似的な輪郭を抑制することができる。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims

共通の被写体を含む画角が異なる複数の画像データを用いて、合成画像データを生成するための画像処理装置であって、
前記複数の画像データから、第１の画像データを基準画像データとして、前記第１の画像データよりも画角が狭い第２の画像データを補正対象画像データとして選択する選択手段と、
前記補正対象画像データを複数の領域に分割する分割手段と、
前記基準画像データに対する前記補正対象画像データの視差量を導出する導出手段と、
前記補正対象画像データを分割して得られた領域毎に前記視差量を参照し、前記視差量に応じた前記基準画像データにおける対応領域との色合わせを行う色合わせ手段と、
前記基準画像データにおいて前記色合わせ後の前記補正対象画像データを合成する合成領域を決定して、前記基準画像データにおける前記合成領域に前記補正対象画像データを合成することで、前記合成画像データを生成する合成手段とを有し、
前記色合わせ手段は、
前記補正対象画像データの領域毎の補正値を、当該領域の画素値の平均が当該領域に対応する前記対応領域の画素値の平均と等しくなるように算出する補正値算出手段と、前記補正値を基に前記補正対象画像データを補正する補正手段と
を有することを特徴とする画像処理装置。
前記補正値は、前記領域の画素値の平均と前記対応領域の画素値の平均との差分であることを特徴とする請求項１に記載の画像処理装置。
前記補正値は、前記領域の画素値の平均に対する前記対応領域の画素値の平均の割合であることを特徴とする請求項１に記載の画像処理装置。
前記色合わせ手段は、前記補正値算出手段で算出した補正値を、隣接領域間の補正値の差が小さくなるように整形する整形手段をさらに有し、
前記補正手段は、前記整形手段で整形した補正値を基に、前記補正対象画像データを補正
することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記基準画像データに対する前記補正対象画像データの視差量を画素毎に算出する視差
量算出手段と、
前記領域における前記視差量の平均値を基に、前記対応領域を算出する対応領域算出手
段と
をさらに有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記分割手段は、前記視差量算出手段の視差量算出における誤差を基に決定されたサイ
ズで、前記補正対象画像データを分割することを特徴とする請求項５に記載の画像処理装
置。
前記第１の画像データは広角画像データであり、前記第２の画像データは望遠画像デー
タであることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記選択手段は、前記合成画像データを２回目の画像合成における基準画像データとし
て、前記第２の画像データよりも画角が狭い第３の画像データを前記２回目の画像合成に
おける補正対象画像データとして選択することを特徴とする請求項１乃至６のいずれか１
項に記載の画像処理装置。
前記第１の画像データは広角画像データであり、前記第２の画像データは標準画角の画
像データであり、前記第３の画像データは望遠画像データであることを特徴とする請求項
８に記載の画像処理装置。
前記画素値は輝度値であることを特徴とする請求項１乃至９のいずれか１項に記載の画
像処理装置。
前記複数の画像データは、画角の異なる撮像部によって前記共通の被写体を同時に撮像
した撮像画像データであることを特徴とする請求項１乃至１０のいずれか１項に記載の画
像処理装置。
共通の被写体を含む画角が異なる複数の画像データを用いて、合成画像データを生成す
るための画像処理装置であって、
前記複数の画像データから、第１の画像データを基準画像データとして、前記第１の画
像データよりも画角が狭い第２の画像データを補正対象画像データとして選択する選択手
段と、
前記補正対象画像データを複数の領域に分割する分割手段と、
前記補正対象画像データを分割して得られた領域毎に、前記基準画像データにおける対
応領域との色合わせを行う色合わせ手段と、
前記色合わせ後の前記補正対象画像データを前記基準画像データに合成して、前記合成
画像データを生成する合成手段と
を有し、
前記色合わせ手段は、
前記補正対象画像データの領域毎の補正値を、当該領域の画素値の平均が当該領域に対応
する前記対応領域の画素値の平均と等しくなるように算出する補正値算出手段と、前記補
正値を基に前記補正対象画像データを補正する補正手段と
前記基準画像データに対する前記補正対象画像データの視差量を画素毎に算出する視差
量算出手段と、
前記領域における前記視差量の平均値を基に、前記対応領域を算出する対応領域算出手
段と
を有することを特徴とする画像処理装置。
共通の被写体を含む画角が異なる複数の画像データを用いて、合成画像データを生成す
るための画像処理装置であって、
前記複数の画像データから、第１の画像データを基準画像データとして、前記第１の画
像データよりも画角が狭い第２の画像データを補正対象画像データとして選択する選択手
段と、
前記補正対象画像データを複数の領域に分割する分割手段と、
前記補正対象画像データを分割して得られた領域毎に、前記基準画像データにおける対
応領域との色合わせを行う色合わせ手段と、
前記色合わせ後の前記補正対象画像データを前記基準画像データに合成して、前記合成
画像データを生成する合成手段と
を有し、
前記色合わせ手段は、
前記補正対象画像データの領域毎の補正値を、当該領域の画素値の平均が当該領域に対応
する前記対応領域の画素値の平均と等しくなるように算出する補正値算出手段と、前記補
正値を基に前記補正対象画像データを補正する補正手段と
を有し、
前記選択手段は、前記合成画像データを２回目の画像合成における基準画像データとし
て、前記第２の画像データよりも画角が狭い第３の画像データを前記２回目の画像合成に
おける補正対象画像データとして選択することを特徴とする画像処理装置。
基準画像データと、前記基準画像データと共通の被写体を含み、前記基準画像データよりも画角が狭い補正対象画像データを合成するための画像処理装置であって、
前記基準画像データに対する前記補正対象画像データの視差量を導出する導出手段と、
前記補正対象画像データを分割して得られた領域毎に前記視差量を参照し、前記基準画像データにおける対応領域を算出する算出手段と、
前記補正対象画像データにおける各領域に対して、前記基準画像データにおける前記対応領域に基づいて色合わせをする色合わせ手段と、
前記基準画像データにおいて、前記色合わせ後の前記補正対象画像データを合成する合成領域を決定して、前記基準画像データにおける前記合成領域に前記補正対象画像データを合成することで、合成画像データを生成する合成手段を有することを特徴とする画像処理装置。
共通の被写体を含む画角が異なる複数の画像データを用いて、合成画像データを生成するための画像処理方法であって、
前記複数の画像データから、第１の画像データを基準画像データとして、前記第１の画像データよりも画角が狭い第２の画像データを補正対象画像データとして選択する選択工程と、
前記補正対象画像データを複数の領域に分割する分割工程と、
前記基準画像データに対する前記補正対象画像データの視差量を導出する導出工程と、
前記補正対象画像データを分割して得られた領域毎に前記視差量を参照し、前記視差量
に応じた前記基準画像データにおける対応領域との色合わせを行う色合わせ工程と、
前記基準画像データにおいて前記色合わせ後の前記補正対象画像データを合成する合成
領域を決定して、前記基準画像データにおける前記合成領域に前記補正対象画像データを
合成することで、前記合成画像データを生成する合成工程と
を含み、
前記色合わせ工程は、
前記補正対象画像データの領域毎の補正値を、当該領域の画素値の平均が当該領域に対
応する前記対応領域の画素値の平均と等しくなるように算出する補正値算出工程と、前記
補正値を基に前記補正対象画像データを補正する補正工程と
を含むことを特徴とする画像処理方法。
コンピュータを、請求項１乃至１４のいずれか１項に記載の画像処理装置として機能さ
せるためのプログラム。