JP3639620B2

JP3639620B2 - Image composition apparatus and image processing method

Info

Publication number: JP3639620B2
Application number: JP21253494A
Authority: JP
Inventors: 光太郎矢野; 克己飯島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-09-06
Filing date: 1994-09-06
Publication date: 2005-04-20
Anticipated expiration: 2020-04-20
Also published as: JPH0879623A

Description

【０００１】
【産業上の利用分野】
本発明は画像合成装置及び画像処理方法に係わり、特に、複数の撮像系から出力される複数の画像を合成して任意のアスペクト比のパノラマ画像を生成するために用いて好適なものである。
【０００２】
【従来の技術】
従来、テレビあるいはビデオの画面のアスペクト比を変える（例えばＮＴＳＣの４対３と、ＨＤあるいはＥＤ２の１６対９のコンバージョン）方式としては、出力時に上下または左右をトリミングする方式が知られている。
【０００３】
これらの方式は、撮像した画像の一部を用いる方式である。このため、４対３のイメージセンサを用いたＮＴＳＣカメラで撮像し、４対３のＮＴＳＣ用のモニタで出力する場合は画質的には問題ないが、水平画角が１／３も減少してしまう欠点があった。
【０００４】
また、複数の画像を入力して座標変換処理を行い、変換後の各々の画像を合成して画界の広い画像を出力する画像合成装置が、特開平５−１１０９２６号公報等で提案されている。
【０００５】
しかしながら、上記従来例においても所定のアスペクト比の画像を得る方法は示されておらず、合成後の画像を上述したようにトリミングする方式を適用すると画質的な劣化が生じる問題があった。
【０００６】
上述のような問題点を解決するために、本願の出願人は、複数の撮像系を用いて画界の一部をオーバーラップして撮像する装置において、上記各撮像系から出力される複数の画像信号を視点位置と光軸の方向が上記各撮像系からの視点の位置ずれ量と光軸の輻輳角で定義される撮像系から任意の物体距離、結像倍率で定義される状態で出力される一つの画像信号になるよう合成変換する撮像装置を以前に提案した。上記提案の撮像装置によれば、画質劣化が少なく、しかも輻輳の際に生じた歪みが補正された画像を得ることができる。
【０００７】
以下、上記従来例について簡単に説明する。図２は、撮像装置の基本配置を示す図であり、１０Ｌ、１０Ｒの２組の撮像系により構成されている。
図中１は共通の被写体平面、１１Ｌおよび１１Ｒは等価な仕様を有する第１および第２の撮像光学系であり、一般的にはズームレンズが用いられる。
【０００８】
次いで、１２Ｌおよび１２Ｒは、同様に等価な仕様を有するイメージセンサであり、サチコン等の撮像管またはＣＣＤ等の固体撮像素子が用いられる。これらの光軸ＬＬおよびＬＲは、選定したアスペクト比の画面に応じて各々の撮像画界の所定量がオーバーラップする条件を満たすように、被写体面１の法線Ｏ−Ｏ’に対して対称に角度θほど傾斜した状態に配置する（但し、点Ｏは被写体面１上の点。）。
【０００９】
なお、角度２θを輻輳角と呼ぶ。また、２Ｌおよび２Ｒはそれぞれイメージセンサ１２Ｌおよび１２Ｒに共役な物体面で、被写体平面１に対してそれぞれ角度θだけ傾いている。
【００１０】
点ＯＬおよびＯＲは、それぞれ光軸ＬＬおよびＬＲと被写体平面１との交点であり、点ＣＬおよびＣＲはそれぞれの第１の撮像光学系１１Ｌおよび第２の撮像光学系１１Ｒの主点（詳しくは被写体側の主点）である。それぞれの撮像光学系１１Ｌおよび１１Ｒには、変倍群および合焦群があり、これらを駆動する駆動系、光軸方向の位置情報を得るためのエンコーダが設けられている。
【００１１】
また、撮像系を光軸を含む平面内で回転する機構系、駆動系、回転角を検出するエンコーダがそれぞれの撮像系１１Ｌおよび１１Ｒに設けられている。
そして、所定のアスペクト比の画像が得られるよう輻輳角制御系がそれぞれのエンコーダの出力信号に応じた輻輳角の制御目標値を設定し、輻輳制御を行っている。
【００１２】
以下、画像合成の方法について図２、図３を用いて説明する。
図２で撮像光学系１１Ｌおよび１１Ｒの結像倍率をβ、物体距離（ＯＬ−ＣＬおよびＯＲ−ＣＲの距離）をｚとし、それぞれの主点、ＣＬ、ＣＲは距離２ｄ（基線長）だけ離れて配置されているとする。
【００１３】
そして、被写体面１からＯ−Ｏ’上にＯ’側に距離ｚ’だけ離れた位置に視点をとり、その視点での仮想的な結像倍率がβ’となるように仮想的な像面（すなわち視点と像面との距離β’ｚ’）をとる時、第１および第２のイメージセンサの像面が合成された仮想像面の様子は図３のようになる。
【００１４】
図３で、点ＡＬ、ＢＬ、ＣＬ、ＤＬは、それぞれイメージセンサ１２Ｌの像面の対角上の点である。また、点ＡＲ、ＢＲ、ＣＲ、ＤＲはそれぞれイメージセンサ１２Ｒの像面の対角上の点であり、それぞれ仮想像面上の点ＡＬ’、ＢＬ’、ＣＬ’、ＤＬ’、ＡＲ’、ＢＲ’、ＣＲ’、ＤＲ’に対応する。
【００１５】
また、点ＥＬ、ＦＬ、ＥＲ、ＦＲは、図示のようにそれぞれ第１および第２のイメージセンサの像面上のオーバーラップの中心となる水平上下辺上の点であり、仮想像面上では点Ｅ’、Ｆ’に対応し、一致する。本出願人が先に提案した上記従来例では、輻輳のある複数のイメージセンサ上の画像を撮像系のパラメータと被写体の距離情報を用いて幾何変換処理を施すことにより、１つの仮想像面上の画像に合成して、輻輳により生じる歪みが補正された合成画像を得ている。
【００１６】
図５は、上記従来例の画像合成装置の構成を示す図である。画像メモリＬ２１、画像メモリＲ２２は左画像および右画像をデジタル画像データとして記憶しておく記憶部、パラメータ記憶部２３は複眼撮像装置２０のパラメータである基線長、輻輳角、結像倍率、物体距離および出力画像の仮想撮像系の結像倍率、物体距離を記憶しておく記憶部である。
【００１７】
対応点抽出部３０は、まず画像メモリＬ２１の小領域をテンプレートとして格納し、テンプレートに位置オフセットをかけて平行移動させて、画像メモリＲ２２の画像データとのテンプレートマッチングを行い、左画像の座標に対応する右画像の座標を検出する。
【００１８】
距離情報算出部３１では、対応点抽出部３０の対応点情報である左画像および右画像の座標とパラメータ記憶部２３に記憶されている基線長、輻輳角、結像倍率、物体距離、出力画像の仮想撮像系の結像倍率、物体距離のパラメータより、距離データと出力画像面内の座標を計算して距離情報メモリ２５に格納する。
【００１９】
また、上記距離情報メモリ２５には距離情報として、距離の逆数の値が格納される。
さらに、距離情報補間部３２では、対応点抽出部３０で対応点が検出できず、そのため距離情報が求まらない領域での距離情報の補間が行われる。
【００２０】
一方、アドレス発生部２６は出力する画像の二次元座標を順次発生し、座標変換部２７に送る。座標変換部２７はパラメータ記憶部２３に記憶されている複眼撮像系のパラメータと距離情報補間部３２から出力される距離データとからアドレス発生部２６で発生したアドレスを変換し、画像メモリＬ２１、画像メモリＲ２２に記憶されている左画像および右画像の二次元座標を求める。
【００２１】
画像データ補間部２８は、座標変換部２７の変換後の二次元座標によって、画像メモリＬ２１、画像メモリＲ２２に記憶されている左画像および右画像のデータから補間処理を行い、出力用画像メモリ２９に補間した画像データを出力する。画像がオーバーラップする領域において左右画像の補間データから出力用の画像データを求めるには、例えば補間データを平均して出力する。以上述べたシステム全体の動作の制御は、図示しないシステム制御部によって行われる。
【００２２】
【発明が解決しようとする課題】
しかしながら、本出願人が以前に提案した上記従来例では、撮像系を構成する光学系の光軸付近と周辺との光量比が著しく異なる場合には、以下の問題点が生じる。
【００２３】
すなわち、画像がオーバーラップする領域において同一被写体を撮像した場合でも、例えば図３において点ＧＬ、ＧＲが左右各撮像系の像面上で対応する点である時、画像面上での左右それぞれの撮像系の光軸からの距離ｒＬ、ｒＲが異なると画像信号のレベル差が生じ、上述したような合成処理を行うとオーバーラップ領域で画像むらが生じ、合成画像の画質が劣化するという問題点があった。この画質劣化を完全に除去するには光軸付近と周辺との光量比が１である撮像系で入力した画像から合成する必要がある。
【００２４】
上記問題点を解決するための手段として、左右各撮像系で撮像した画像を撮像系の光量分布特性に従い、光軸付近と周辺との光量比が１となるように光量分布の補正をあらかじめ行い、上記従来例に示したような画像合成を行うことが考えられる。
【００２５】
しかし、合成出力する画像の領域が左右各撮像系の画像の領域を全て含まないような場合には、あらかじめ行う光量分布の補正が合成出力する画像の領域外でも行われることとなり、補正領域に無駄な領域が生じる。
【００２６】
本発明は上述の問題点にかんがみ、撮像系を構成する光学系の光軸付近と周辺との光量比が著しく異なる場合でも画像むらが生じないようにして高画質の合成画像が得られるようにすることを第１の目的とする。
【００２７】
また、撮像系を構成する光学系の光軸付近の周辺との光量比が著しく異なる場合でも、あたかも光軸付近と周辺との光量比が１である撮像系からの入力画像から合成したのと同等な、画像むらがなくて高画質の合成画像が得られるようにすることを第２の目的とする。
【００２８】
【課題を解決するための手段】
本発明の画像合成装置は、複数の撮像系を有し、これらの撮像系の輻輳により画界の一部をオーバーラップして撮像する画像合成装置において、被写体の距離情報及び前記各撮像系のパラメータを用いて前記各撮像系によって撮像された各画像の座標を求める座標変換処理を行う座標変換処理部と、前記座標変換処理部より出力された前記各画像の座標と、前記各撮像系の撮像パラメータとから光量補正係数を決定する光量補正係数決定部と、前記各撮像系からそれぞれ出力される画像信号を前記座標変換処理部より出力された前記各画像の座標に応じて補間し、前記光量補正係数を用いてそれぞれの補間値から一つの画像信号に合成する画像データ補間部とを画像合成変換処理部に設け、前記複数の撮像系から出力される複数の画像信号を前記画像合成変換処理部により一つの画像信号に合成するようにしたことを特徴とする。
【００２９】
また、本発明の他の特徴とするところは、前記光量補正係数決定部は、前記各撮像系において前記座標変換処理部の出力から前記各撮像系の撮像パラメータごとに前記各撮像系の光量分布特性を相殺するように光量補正係数を決定することにある。
また、本発明のその他の特徴とするところは、前記画像データ補間部は、前記座標変換処理部の出力に応じた補間値と前記光量補正係数決定部により決定された光量補正係数とを乗じて、前記各撮像系の画像データがオーバーラップする領域においては前記乗算結果の平均値を出力し、それ以外の領域においては前記乗算の結果一つ算出された方の値を出力することにある。
【００３０】
本発明の画像処理方法は、複数の撮像系の輻輳により画界の一部をオーバーラップして撮像した複数の画像を合成するための画像処理方法であって、前記複数の画像に対応する被写体の距離情報及び前記各撮像系のパラメータを用いて前記各撮像系によって撮像された各画像の座標を求める座標変換処理を行う座標変換処理工程と、前記座標変換処理工程より出力された前記各画像の座標と、前記各撮像系の撮像パラメータとから光量補正係数を決定する光量補正係数決定工程と、前記各撮像系からそれぞれ出力される画像信号を前記座標変換処理工程より出力された前記各画像の座標に応じて補間し、前記光量補正係数を用いてそれぞれの補間値から一つの画像信号に合成する画像データ補間工程と、を含むことを特徴とする。
また、本発明の他の特徴とするところは、前記光量補正係数決定工程は、前記各撮像系において前記座標変換処理工程の出力から前記各撮像系の撮像パラメータごとに前記各撮像系の光量分布特性を相殺するように光量補正係数を決定することにある。
また、本発明のその他の特徴とするところは、前記画像データ補間工程は、前記座標変換処理部の出力に応じた補間値と前記光量補正係数決定工程により決定された光量補正係数とを乗じて、前記各撮像系の画像データがオーバーラップする領域においては前記乗算結果の平均値を出力し、それ以外の領域においては前記乗算の結果一つ算出された方の値を出力することにある。
【００３１】
【作用】
本発明は上記技術手段を有するので、複数の撮像系から出力される複数の画像信号を一つの画像信号に合成変換する際に、被写体の距離情報と、各撮像系のパラメータとを用いて各撮像系によって撮像された各画像の座標を求める座標変換処理を行うとともに、座標変換処理の結果得られる出力と、上記各撮像系の撮像パラメータとから光量を補正する光量補正係数を決定し、さらに、上記座標変換処理の結果得られる出力に応じて上記各撮像系からそれぞれ出力される画像信号を補間し、上記光量補正係数を用いてそれぞれの補間値から一つの画像信号が合成するので、撮像系を構成する光学系の光軸付近と周辺との光量比が著しく異なる場合においても、画像むらのない、高画質の合成画像が得られるとともに、合成出力する画像の領域が左右各撮像系の画像の領域を全て含まないような場合にも、補正領域に無駄な領域が生じないようになる。
【００３２】
また、他の特徴によれば、上記撮像系において上記座標変換処理の結果得られる出力から上記撮像系の撮像パラメータごとに上記撮像系の光量分布特性を相殺するように光量補正係数を決定することにより、光軸付近と周辺との光量比が１である撮像系からの入力画像から合成したのと同様な画像むらがなくて、高画質の合成画像が得られる。
【００３３】
また、他の特徴によれば、上記撮像系から出力される画像信号の上記座標変換処理の結果得られる出力に応じた補間値と上記光量補正係数を乗じて、上記撮像系の画像データがオーバーラップする領域においては上記乗算結果の平均値を出力し、それ以外の領域においては上記乗算の結果一つ算出された方の値を出力するようにしたので、オーバーラップする領域においても、オーバーラップしない領域においても補間値を良好に求めることができる。
【００３４】
【実施例】
以下、本発明の画像合成装置及び画像処理方法の一実施例を図面を参照して説明する。
図１は、本発明の第１の実施例の画像合成装置の構成図である。図１において、複眼撮像装置２０は、図２に基本配置を示した撮像系であり、所定のアスペクト比の画像が得られるよう輻輳角θが制御されて、左画像および右画像が同時に撮像されるようになされている。それ以外の部分が画像合成処理を行う画像合成変更処理部であり、以下その部分について構成、動作を説明する。
【００３５】
左画像メモリＬ２１、右画像メモリＲ２２は左画像および右画像をデジタル画像データとして記憶しておく記憶部、パラメータ記憶部２３は複眼撮像装置２０のパラメータである基線長、輻輳角、結像倍率、物体距離および出力画像の仮想撮像系の結像倍率、物体距離を記憶しておく記憶部である。
【００３６】
対応点抽出部３０は、まず左画像メモリＬ２１の小領域をテンプレートとして格納し、テンプレートに位置オフセットをかけて平行移動させて、右画像メモリＲ２２の画像データとのテンプレートマッチングを行い、左画像の座標に対応する右画像の座標を検出する。
【００３７】
距離情報算出部３１では、対応点抽出部３０の対応点情報である左画像および右画像の座標とパラメータ記憶部２３に記憶されている基線長、輻輳角、結像倍率、物体距離、出力画像の仮想撮像系の結像倍率、物体距離のパラメータより、距離データと出力画像面内の座標を計算して距離情報メモリ２５に格納する。
【００３８】
距離情報メモリ２５には距離情報として距離の逆数の値が格納される。距離情報補間部３２では対応点抽出部３０で対応点が検出できず、そのため距離情報が求まらない領域での距離情報の補間が行われる。
【００３９】
一方、アドレス発生部２６は出力する画像の二次元座標を順次発生し、座標変換部２７に送る。座標変換部２７はパラメータ記憶部２３に記憶されている複眼撮像系のパラメータと、距離情報補間部３２から出力される距離データとからアドレス発生部２６で発生したアドレスを変換し、左画像メモリＬ２１、右画像メモリＲ２２に記憶されている左画像および右画像の二次元座標を求める。
【００４０】
以上の処理は、本出願人が以前に提案した従来例と同じものである。本実施例では出力用画像メモリ２９に出力する画像データを補間する画像データ補間部２８の処理と、新たに光量補正係数決定部２４を設けた点が異なる。
【００４１】
光量補正係数決定部２４は、座標変換部２７の変換後の左画像および右画像の二次元座標をそれぞれ（ｘＬ，ｙＬ）、（ｘＲ，ｙＲ）とすると、まずそれぞれの座標の光軸からの距離の２乗にあたる値ｒ２Ｌ、ｒ２Ｒを、下記の▲１▼式により算出する。
ｒ２Ｌ＝ｘＬ²＋ｙＬ²、ｒ２Ｒ＝ｘＲ²＋ｙＲ²．．．▲１▼
【００４２】
そして、パラメータ記憶部２３に記憶されている複眼撮像系のパラメータのうち、撮像系の結像倍率β、物体距離ｚ、絞り値Ａと、▲１▼式の出力とからあらかじめ光量補正係数決定部２４内に記憶されている参照テーブルにより左画像および右画像の光量補正係数ｗＬ、ｗＲが決定される。
【００４３】
上記参照テーブルには結像倍率β、物体距離ｚ、絞り値Ａ、光軸からの距離の２乗に対する補正係数の値ｗが４次元配列として記憶されており、一つの結像倍率β、物体距離ｚ、絞り値Ａに対する断面をグラフで表現すると、図４の実線で示した関係となるように光軸での値を１として光軸からの距離の２乗ｒ２が大きくなるに従い、増加するようになる。
【００４４】
詳しくは、撮像系の光軸からの距離の２乗ｒ２に対する光量分布特性が、図４の破線で示した関係である時、実線の関係と破線の関係の積が１となる。これにより、上記各撮像系の撮像パラメータごとに、上記各撮像系の光量分布特性が相殺されるように光量補正係数が決定される。
【００４５】
なお、撮像系のパラメータである結像倍率β、物体距離ｚ、絞り値Ａごとに上記関係の参照テーブルを持っているのは、撮像系の光軸からの距離に対する光量分布特性は撮像系の光学系が本実施例のようにズームレンズ系である場合、一般的に、結像倍率β、物体距離ｚ、絞り値Ａで異なるからである。
【００４６】
したがって、結像倍率β、物体距離ｚ、絞り値Ａで撮像系の光軸からの距離に対する光量分布特性がほとんど変わらない場合、あるいは上記撮像系のパラメータが変化しない撮像系である場合には参照テーブルは光軸からの距離の２乗に対する補正係数の値が１次元配列として記憶されているものである。
【００４７】
画像データ補間部２８では座標変換部２７の変換後の左画像および右画像の二次元座標によって、左画像メモリＬ２１、右画像メモリＲ２２に記憶されている左画像および右画像のデータからそれぞれ双線形補間により補間処理を行い、左画像からの補間値ｇＬと右画像からの補間値ｇＲを求める。
【００４８】
そして、光量補正係数決定部２４の左画像および右画像の光量補正係数ｗＬ、ｗＲから出力画像での補間値ｇが▲２▼式により算出され、出力用画像メモリ２９に出力される。
ｇ＝（ｗＬ・ｇＬ＋ｗＲ・ｇＲ）／２・・・▲２▼
【００４９】
この時、各撮像系からの画像がオーバーラップしない領域では、画像データの補間値はどちらか一方の画像からしか求まらないので、光量補正係数と画像データの補間値との乗算結果により算出された方の値を出力画像での補間値ｇとして出力用画像メモリ２９に出力する。
なお、以上述べたシステム全体の動作の制御は、図示しないシステム制御部によって行われる。
【００５０】
本実施例の光量補正係数決定部２４は、座標変換部２７の変換後の左画像および右画像の二次元座標から光軸からの距離の２乗にあたる値ｒ２Ｌ、ｒ２Ｒを、上記▲１▼式により算出している。
【００５１】
しかし、本実施例の撮像系のようなズームレンズ系では一般に光学系は光軸に関して回転対称であり、光量分布特性も回転対称となるので像面の全ての座標から個別の光量補正係数を決定するよりも本実施例のように光軸からの距離に一対一に対応する量をまず算出した後、その算出値に基いて光量補正係数を決定する方式は、参照テーブルに必要な記憶領域を少なくできる点で都合が良い。なお、距離の２乗にあたる値の代わりに距離を算出し、その算出値に基いて光量補正係数を決定しても同等の効果が得られる。
【００５２】
次に、本発明の画像合成装置の第２の実施例について説明する。この第２の実施例の構成は、図１に示したものと同じであり、光量補正係数決定部２４以外の処理および動作は本発明の第１実施例と同じである。以下では本実施例の光量補正係数決定部２４の動作について説明する。
【００５３】
光量補正係数決定部２４は、座標変換部２７の変換後の左画像および右画像の二次元座標をそれぞれ（ｘＬ，ｙＬ）、（ｘＲ，ｙＲ）とすると、まずそれぞれの座標の光軸からの距離の２乗にあたる値ｒ２Ｌ、ｒ２Ｒを、上述の▲１▼式により算出する。
【００５４】
そして、パラメータ記憶部２３に記憶されている複眼撮像系のパラメータのうち撮像系の結像倍率β、物体距離ｚ、絞り値Ａと上記▲１▼式の出力とからあらかじめ光量補正係数決定部２４内に記憶されている左画像および右画像の参照テーブルにより左画像および右画像の光量補正係数ｗＬ、ｗＲが決定される。
【００５５】
本実施例では左画像と右画像で別々の参照テーブルが用意されており、結像倍率β、物体距離ｚ、絞り値Ａ、光軸からの距離の２乗に対する補正係数の値が４次元配列として記憶されている。
【００５６】
なお、上述したように、本実施例では左画像と右画像で別々の参照テーブルを持っているので、光量補正係数決定部２４の記憶部の必要容量は大きくなる。しかし、本実施例の場合には、左撮像系と右撮像系のイメージセンサの感度の違いを吸収できるので、特に左撮像系と右撮像系のイメージセンサの感度が大きく異なる時には、第１の実施例に比べて輝度むらのない合成画像が得られる。
【００５７】
【発明の効果】
上述したように、請求項１、４に記載の発明によれば、複数の撮像系の輻輳により画界の一部をオーバーラップして撮像した複数の画像を合成する際に、被写体の距離情報と上記各撮像系のパラメータとを用いて各撮像系によって撮像された各画像の座標を求める座標変換処理を行うとともに、上記座標変換処理の結果得られる上記各画像の座標と、上記各撮像系の撮像パラメータとから光量補正係数を決定し、さらに、上記座標変換処理の結果得られる上記各画像の座標に応じて上記各撮像系からそれぞれ出力される画像信号を補間し、上記光量補正係数を用いてそれぞれの補間値から一つの画像信号に合成するようにしたので、撮像系を構成する光学系の光軸付近と周辺との光量比が著しく異なる場合においても、画像むらのない、高画質の合成画像が得られる。また、合成出力する画像の領域が左右各撮像系の画像の領域を全て含まないような場合にも、補正領域に無駄な領域が生じないようにすることができる。
【００５８】
また、請求項２、５に記載の発明によれば、上記座標変換処理の結果得られる出力から上記撮像系の撮像パラメータごとに上記撮像系の光量分布特性を相殺するよう光量補正係数を決定するようにしたので、あたかも光軸付近と周辺との光量比が１である撮像系からの入力画像から合成したような画像むらのない、高画質の合成画像が得られる。
【００５９】
また、請求項３、６に記載の発明によれば、上記撮像系から出力される画像信号の上記座標変換処理の結果得られる出力に応じた補間値と上記光量補正係数を乗じて、上記撮像系の画像データがオーバーラップする領域においては上記乗算結果の平均値を出力し、それ以外の領域においては上記乗算の結果一つ算出された方の値を出力するようにしたので、オーバーラップする領域においても、或いはオーバーラップしない領域においても補間値を容易に、かつ確実に求めることができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す画像合成装置の構成を示すブロック図である。
【図２】複眼撮像系の基本配置を示す図である。
【図３】画像合成変換処理の様子を示す図である。
【図４】光量補正係数決定部の参照テーブルを説明する特性図である。
【図５】従来の画像合成装置の構成を示すブロック図である。
【符号の説明】
１共通の被写体平面
２Ｌ、２Ｒイメージセンサ面に共役な物体面
１１Ｌ、１１Ｒ撮像光学系
１２Ｌ、１２Ｒイメージセンサ
２０複眼撮像装置
２１左画像メモリＬ
２２右画像メモリＲ
２３パラメータ記憶部
２４光量補正係数決定部
２５距離情報メモリ
２６アドレス発生部
２７座標変換部
２８画像データ補間部
２９出力用画像メモリ
３０対応点抽出部
３１距離情報算出部
３２距離情報補間部
ＬＬ、ＬＲ撮像系の光軸[0001]
[Industrial application fields]
The present invention relates to an image synthesis apparatus and an image processing method, and is particularly suitable for use in generating a panoramic image having an arbitrary aspect ratio by synthesizing a plurality of images output from a plurality of imaging systems.
[0002]
[Prior art]
Conventionally, as a method of changing the aspect ratio of a television or video screen (for example, NTSC 4 to 3 and HD or ED2 16 to 9 conversion), a method of trimming the top and bottom or the left and right at the time of output is known.
[0003]
These methods are methods that use a part of a captured image. For this reason, there is no problem in image quality when an image is captured by an NTSC camera using a 4 to 3 image sensor and output by a 4 to 3 NTSC monitor, but the horizontal angle of view is reduced by 1/3. There was a drawback.
[0004]
Also, an image synthesizing apparatus that inputs a plurality of images, performs coordinate transformation processing, synthesizes the converted images, and outputs an image with a wide field of view is proposed in Japanese Patent Laid-Open No. 5-110926. Yes.
[0005]
However, the conventional example does not show a method for obtaining an image having a predetermined aspect ratio, and there is a problem that image quality deterioration occurs when the method of trimming the combined image as described above is applied.
[0006]
In order to solve the above-described problems, the applicant of the present application uses a plurality of imaging systems to overlap a part of the image field and capture a plurality of images output from each imaging system. Outputs image signals in a state defined by an arbitrary object distance and imaging magnification from an imaging system in which the viewpoint position and optical axis direction are defined by the viewpoint position deviation from each imaging system and the convergence angle of the optical axis. Previously, an image pickup device that combined and converted so as to be a single image signal was proposed. According to the proposed imaging apparatus, it is possible to obtain an image in which the image quality is less deteriorated and the distortion generated at the time of congestion is corrected.
[0007]
The conventional example will be briefly described below. FIG. 2 is a diagram showing a basic arrangement of the imaging apparatus, and is configured by two sets of imaging systems of 10L and 10R.
In the figure, 1 is a common object plane, 11L and 11R are first and second imaging optical systems having equivalent specifications, and a zoom lens is generally used.
[0008]
Next, 12L and 12R are image sensors having equivalent specifications in the same manner, and an imaging tube such as Sachicon or a solid-state imaging device such as CCD is used. These optical axes LL and LR are symmetric with respect to the normal line OO ′ of the object plane 1 so that a predetermined amount of each imaging field overlaps according to a screen having a selected aspect ratio. Are arranged so as to be inclined at an angle θ (however, the point O is a point on the subject surface 1).
[0009]
The angle 2θ is referred to as the convergence angle. Further, 2L and 2R are object planes conjugate to the image sensors 12L and 12R, respectively, and are inclined with respect to the subject plane 1 by an angle θ.
[0010]
The points OL and OR are the intersections of the optical axes LL and LR and the subject plane 1, respectively, and the points CL and CR are the principal points of the first imaging optical system 11L and the second imaging optical system 11R (in detail) The main point on the subject side). Each of the imaging optical systems 11L and 11R has a zooming group and a focusing group, and a drive system for driving them and an encoder for obtaining position information in the optical axis direction are provided.
[0011]
Further, a mechanism system that rotates the imaging system in a plane including the optical axis, a drive system, and an encoder that detects a rotation angle are provided in each of the imaging systems 11L and 11R.
Then, the convergence angle control system sets a convergence angle control target value corresponding to the output signal of each encoder so as to obtain an image with a predetermined aspect ratio, and performs congestion control.
[0012]
Hereinafter, an image composition method will be described with reference to FIGS.
In FIG. 2, the imaging magnification of the imaging optical systems 11L and 11R is β, the object distance (OL-CL and OR-CR distance) is z, and the principal points CL and CR are separated by a distance 2d (baseline length). Are arranged.
[0013]
A viewpoint is taken at a position z ′ away from the object plane 1 on OO ′ on the O ′ side by a distance z ′, and a virtual image plane is set so that a virtual imaging magnification at the viewpoint becomes β ′. When taking (that is, the distance β′z ′ between the viewpoint and the image plane), the virtual image plane in which the image planes of the first and second image sensors are combined is as shown in FIG.
[0014]
In FIG. 3, points AL, BL, CL, and DL are points on the diagonal of the image plane of the image sensor 12L. The points AR, BR, CR, DR are diagonal points on the image plane of the image sensor 12R, and points AL ′, BL ′, CL ′, DL ′, AR ′, BR on the virtual image plane, respectively. Corresponds to ', CR', DR '.
[0015]
Further, the points EL, FL, ER, and FR are points on the horizontal upper and lower sides that are the centers of overlap on the image planes of the first and second image sensors, respectively, as shown in the figure, and on the virtual image plane. Corresponding to the points E ′ and F ′, they coincide. In the above-mentioned conventional example previously proposed by the present applicant, images on a plurality of congested image sensors are subjected to geometric transformation processing using imaging system parameters and subject distance information on one virtual image plane. And a composite image in which distortion caused by convergence is corrected is obtained.
[0016]
FIG. 5 is a diagram showing the configuration of the conventional image synthesizing apparatus. The image memory L21 and the image memory R22 are storage units that store the left image and the right image as digital image data, and the parameter storage unit 23 is a baseline length, a convergence angle, an imaging magnification, and an object distance that are parameters of the compound eye imaging device 20. And a storage unit for storing the imaging magnification and the object distance of the virtual imaging system of the output image.
[0017]
The corresponding point extraction unit 30 first stores a small area of the image memory L21 as a template, translates the template by applying a position offset, performs template matching with the image data of the image memory R22, and sets the coordinates of the left image. The coordinates of the corresponding right image are detected.
[0018]
In the distance information calculation unit 31, the coordinates of the left image and the right image that are the corresponding point information of the corresponding point extraction unit 30, the baseline length, the convergence angle, the imaging magnification, the object distance, and the output image stored in the parameter storage unit 23. Based on the imaging magnification and object distance parameters of the virtual imaging system, distance data and coordinates in the output image plane are calculated and stored in the distance information memory 25.
[0019]
The distance information memory 25 stores a reciprocal value of distance as distance information.
Furthermore, in the distance information interpolation unit 32, the corresponding point cannot be detected by the corresponding point extraction unit 30, and therefore the distance information is interpolated in a region where the distance information cannot be obtained.
[0020]
On the other hand, the address generation unit 26 sequentially generates two-dimensional coordinates of the output image and sends them to the coordinate conversion unit 27. The coordinate conversion unit 27 converts the address generated by the address generation unit 26 from the parameters of the compound eye imaging system stored in the parameter storage unit 23 and the distance data output from the distance information interpolation unit 32, and the image memory L21, image The two-dimensional coordinates of the left image and the right image stored in the memory R22 are obtained.
[0021]
The image data interpolation unit 28 performs interpolation processing from the left image data and the right image data stored in the image memory L21 and the image memory R22 based on the two-dimensional coordinates after the conversion by the coordinate conversion unit 27, and outputs an image memory 29 for output. The interpolated image data is output. In order to obtain output image data from the interpolation data of the left and right images in a region where the images overlap, for example, the interpolation data is averaged and output. Control of the operation of the entire system described above is performed by a system control unit (not shown).
[0022]
[Problems to be solved by the invention]
However, in the above-described conventional example previously proposed by the present applicant, the following problems occur when the light amount ratio between the vicinity of the optical axis and the periphery of the optical system constituting the imaging system is significantly different.
[0023]
That is, even when the same subject is imaged in the region where the images overlap, for example, when the points GL and GR in FIG. 3 correspond to points on the image planes of the left and right imaging systems, If the distances rL and rR from the optical axis of the imaging system are different, a difference in level of the image signal occurs. If the above-described combining process is performed, image unevenness occurs in the overlap region, and the image quality of the combined image deteriorates. was there. In order to completely eliminate the image quality deterioration, it is necessary to synthesize from an image input by an imaging system in which the light amount ratio between the vicinity of the optical axis and the periphery is 1.
[0024]
As a means for solving the above problems, the light quantity distribution is corrected in advance so that the light quantity ratio between the vicinity of the optical axis and the periphery is 1 according to the light quantity distribution characteristics of the imaging system for the images taken by the left and right imaging systems. It is conceivable to perform image synthesis as shown in the conventional example.
[0025]
However, if the area of the image to be synthesized output does not include all the areas of the left and right imaging systems, the correction of the light amount distribution performed in advance will be performed outside the area of the image to be synthesized and output. A useless area is generated.
[0026]
In view of the above-described problems, the present invention can obtain a high-quality composite image without causing image unevenness even when the light amount ratio between the vicinity of the optical axis and the periphery of the optical system constituting the imaging system is significantly different. This is the first purpose.
[0027]
In addition, even when the light quantity ratio between the optical system and the vicinity of the optical axis of the optical system constituting the imaging system is significantly different, it is as if synthesized from the input image from the imaging system where the light quantity ratio between the optical axis and the periphery is 1. A second object is to obtain an equivalent, high-quality composite image without image unevenness.
[0028]
[Means for Solving the Problems]
An image composition apparatus according to the present invention includes a plurality of image capturing systems, and in the image composition apparatus that captures images by overlapping a part of an image field due to the congestion of these image capturing systems, the distance information of a subject and each image capturing system A coordinate conversion processing unit that performs coordinate conversion processing to obtain coordinates of each image captured by each imaging system using parameters, coordinates of each image output from the coordinate conversion processing unit, and A light amount correction coefficient determining unit for determining a light amount correction coefficient from the imaging parameters, and interpolating the image signal output from each imaging system according to the coordinates of each image output from the coordinate conversion processing unit, An image data interpolation unit that synthesizes each interpolation value into one image signal using a light amount correction coefficient is provided in the image synthesis conversion processing unit, and a plurality of image signals output from the plurality of imaging systems are provided. Characterized in that as synthesized into one image signal by the serial image combining conversion processing unit.
[0029]
Another feature of the present invention is that the light amount correction coefficient determination unit is configured to obtain a light amount distribution of each imaging system for each imaging parameter of each imaging system from an output of the coordinate conversion processing unit in each imaging system. The purpose is to determine the light quantity correction coefficient so as to cancel out the characteristics.
Another feature of the present invention is that the image data interpolation unit multiplies the interpolation value according to the output of the coordinate conversion processing unit and the light amount correction coefficient determined by the light amount correction coefficient determination unit. The average value of the multiplication results is output in a region where the image data of the respective imaging systems overlap, and the value calculated by one of the multiplication results is output in other regions.
[0030]
An image processing method of the present invention is an image processing method for combining a plurality of images captured by overlapping a part of an image field due to congestion of a plurality of imaging systems, and a subject corresponding to the plurality of images A coordinate conversion processing step of performing a coordinate conversion process for obtaining coordinates of each image captured by each imaging system using the distance information of the image and the parameters of each imaging system, and each image output from the coordinate conversion processing step A light amount correction coefficient determining step for determining a light amount correction coefficient from the coordinates of the image pickup system and the imaging parameters of the respective image pickup systems, and the respective images output from the coordinate conversion processing step as image signals respectively output from the respective image pickup systems. And an image data interpolation step of interpolating each interpolation value into one image signal using the light amount correction coefficient.
Another feature of the present invention is that the light amount correction coefficient determination step includes the light amount distribution of each imaging system for each imaging parameter of each imaging system from the output of the coordinate conversion processing step in each imaging system. The purpose is to determine the light quantity correction coefficient so as to cancel out the characteristics.
Another feature of the present invention is that the image data interpolation step multiplies the interpolated value according to the output of the coordinate conversion processing unit and the light amount correction coefficient determined by the light amount correction coefficient determination step. The average value of the multiplication results is output in a region where the image data of the respective imaging systems overlap, and the value calculated by one of the multiplication results is output in other regions.
[0031]
[Action]
Since the present invention includes the above technical means, when combining and converting a plurality of image signals output from a plurality of imaging systems into a single image signal, Coordinate conversion processing for obtaining the coordinates of each image captured by the imaging system is performed, and a light amount correction coefficient for correcting the light amount is determined from the output obtained as a result of the coordinate conversion processing and the imaging parameters of each imaging system, and The image signal output from each imaging system is interpolated according to the output obtained as a result of the coordinate conversion process, and one image signal is synthesized from each interpolation value using the light amount correction coefficient. Even if the light quantity ratio between the optical axis and the periphery of the optical system constituting the system is significantly different, a high-quality composite image without image unevenness can be obtained, and the area of the image to be synthesized and output When the left and right need not include all of the area of the image of each imaging system also becomes wasted space is not generated in the correction region.
[0032]
According to another feature, the light quantity correction coefficient is determined so as to cancel out the light quantity distribution characteristics of the imaging system for each imaging parameter of the imaging system from the output obtained as a result of the coordinate conversion process in the imaging system. Thus, there is no image unevenness similar to that synthesized from an input image from an imaging system in which the light amount ratio between the vicinity of the optical axis and the periphery is 1, and a high-quality synthesized image can be obtained.
[0033]
According to another feature, the image data of the imaging system is overrun by multiplying the interpolation value corresponding to the output obtained as a result of the coordinate conversion processing of the image signal output from the imaging system and the light amount correction coefficient. Since the average value of the multiplication results is output in the overlapping region and the value calculated by one of the multiplication results is output in the other regions, the overlapping region is also output. The interpolated value can be obtained satisfactorily even in the non-performing area.
[0034]
【Example】
Hereinafter, an embodiment of an image composition device and an image processing method according to the present invention will be described with reference to the drawings.
FIG. 1 is a configuration diagram of an image composition apparatus according to a first embodiment of the present invention. In FIG. 1, a compound eye imaging device 20 is an imaging system whose basic arrangement is shown in FIG. 2, and a convergence angle θ is controlled so that an image with a predetermined aspect ratio is obtained, and a left image and a right image are simultaneously captured. It is made so that. The other part is an image composition change processing unit that performs image composition processing, and the configuration and operation of this part will be described below.
[0035]
The left image memory L21 and the right image memory R22 are storage units for storing the left image and the right image as digital image data, and the parameter storage unit 23 is a baseline length, a convergence angle, an imaging magnification, which are parameters of the compound eye imaging device 20, This is a storage unit for storing the object distance, the imaging magnification of the virtual imaging system of the output image, and the object distance.
[0036]
The corresponding point extraction unit 30 first stores a small area of the left image memory L21 as a template, translates the template by applying a position offset, performs template matching with the image data of the right image memory R22, and performs the left-hand image of the left image. The coordinates of the right image corresponding to the coordinates are detected.
[0037]
In the distance information calculation unit 31, the coordinates of the left image and the right image that are the corresponding point information of the corresponding point extraction unit 30, the baseline length, the convergence angle, the imaging magnification, the object distance, and the output image stored in the parameter storage unit 23. Based on the imaging magnification and object distance parameters of the virtual imaging system, distance data and coordinates in the output image plane are calculated and stored in the distance information memory 25.
[0038]
The distance information memory 25 stores a reciprocal value of distance as distance information. In the distance information interpolation unit 32, the corresponding point cannot be detected by the corresponding point extraction unit 30, and therefore distance information is interpolated in an area where distance information cannot be obtained.
[0039]
On the other hand, the address generation unit 26 sequentially generates two-dimensional coordinates of the output image and sends them to the coordinate conversion unit 27. The coordinate conversion unit 27 converts the address generated by the address generation unit 26 from the compound-eye imaging system parameters stored in the parameter storage unit 23 and the distance data output from the distance information interpolation unit 32, and the left image memory L21. Then, the two-dimensional coordinates of the left image and the right image stored in the right image memory R22 are obtained.
[0040]
The above processing is the same as the conventional example previously proposed by the present applicant. This embodiment is different from the processing of the image data interpolating unit 28 for interpolating the image data output to the output image memory 29 and the point that a light amount correction coefficient determining unit 24 is newly provided.
[0041]
When the two-dimensional coordinates of the left image and the right image after the conversion by the coordinate conversion unit 27 are (xL, yL) and (xR, yR), respectively, the light amount correction coefficient determination unit 24 first determines the coordinates from the optical axis. Values r2L and r2R corresponding to the square of the distance are calculated by the following equation (1).
^{^{r2L = xL 2 + yL 2,}} r2R = xR 2 + yR 2. . . ▲ 1 ▼
[0042]
Among the parameters of the compound eye imaging system stored in the parameter storage unit 23, the light quantity correction coefficient determination unit is determined in advance from the imaging magnification β, the object distance z, the aperture value A of the imaging system, and the output of equation (1). The light quantity correction coefficients wL and wR of the left image and the right image are determined by the reference table stored in the image 24.
[0043]
The reference table stores an imaging magnification β, an object distance z, an aperture value A, and a correction coefficient value w for the square of the distance from the optical axis as a four-dimensional array. When the cross section with respect to the distance z and the aperture value A is expressed in a graph, the value on the optical axis is set to 1 so that the relationship indicated by the solid line in FIG. It becomes like this.
[0044]
Specifically, when the light quantity distribution characteristic with respect to the squared distance r2 of the distance from the optical axis of the imaging system is the relationship indicated by the broken line in FIG. 4, the product of the solid line relationship and the broken line relationship is 1. Thereby, the light quantity correction coefficient is determined for each imaging parameter of each imaging system so that the light quantity distribution characteristics of each imaging system are offset.
[0045]
It should be noted that a reference table having the above relationship is provided for each imaging system parameter imaging magnification β, object distance z, and aperture value A because the light quantity distribution characteristic with respect to the distance from the optical axis of the imaging system is that of the imaging system. This is because when the optical system is a zoom lens system as in the present embodiment, it generally differs depending on the imaging magnification β, the object distance z, and the aperture value A.
[0046]
Therefore, refer to the case where the light quantity distribution characteristics with respect to the distance from the optical axis of the imaging system hardly change with the imaging magnification β, the object distance z, and the aperture value A, or when the imaging system does not change the parameters of the imaging system. The table stores a correction coefficient value for the square of the distance from the optical axis as a one-dimensional array.
[0047]
The image data interpolation unit 28 is bilinear from the left image data and the right image data stored in the left image memory L21 and the right image memory R22 according to the two-dimensional coordinates of the left image and the right image after the conversion by the coordinate conversion unit 27, respectively. Interpolation processing is performed by interpolation to obtain an interpolation value gL from the left image and an interpolation value gR from the right image.
[0048]
Then, an interpolation value g in the output image is calculated from the light amount correction coefficients wL and wR of the left image and the right image of the light amount correction coefficient determination unit 24 by the equation (2), and is output to the output image memory 29.
g = (wL · gL + wR · gR) / 2 (2)
[0049]
At this time, in an area where the images from the respective imaging systems do not overlap, the interpolation value of the image data can be obtained from only one of the images, and thus is calculated by the multiplication result of the light amount correction coefficient and the interpolation value of the image data. The obtained value is output to the output image memory 29 as the interpolation value g in the output image.
Note that the control of the operation of the entire system described above is performed by a system control unit (not shown).
[0050]
The light quantity correction coefficient determination unit 24 according to the present embodiment uses values r2L and r2R corresponding to the square of the distance from the optical axis from the two-dimensional coordinates of the left image and the right image after the conversion by the coordinate conversion unit 27 as expressed by the above equation (1). It is calculated by.
[0051]
However, in the zoom lens system such as the imaging system of the present embodiment, the optical system is generally rotationally symmetric with respect to the optical axis, and the light quantity distribution characteristic is also rotationally symmetric, so individual light quantity correction coefficients are determined from all the coordinates of the image plane. Rather than calculating the amount corresponding to the distance from the optical axis on a one-to-one basis as in the present embodiment, the method for determining the light amount correction coefficient based on the calculated value is based on the storage area required for the reference table. Convenient in that it can be reduced. The same effect can be obtained by calculating the distance instead of the value corresponding to the square of the distance and determining the light quantity correction coefficient based on the calculated value.
[0052]
Next, a second embodiment of the image composition apparatus of the present invention will be described. The configuration of the second embodiment is the same as that shown in FIG. 1, and the processes and operations other than the light amount correction coefficient determination unit 24 are the same as those of the first embodiment of the present invention. Hereinafter, the operation of the light amount correction coefficient determination unit 24 of the present embodiment will be described.
[0053]
When the two-dimensional coordinates of the left image and the right image after the conversion by the coordinate conversion unit 27 are (xL, yL) and (xR, yR), respectively, the light amount correction coefficient determination unit 24 first determines the coordinates from the optical axis. Values r2L and r2R corresponding to the square of the distance are calculated by the above-described equation (1).
[0054]
Then, among the parameters of the compound eye imaging system stored in the parameter storage unit 23, the light amount correction coefficient determination unit 24 in advance from the imaging magnification β, the object distance z, the aperture value A of the imaging system, and the output of the above expression (1). The light quantity correction coefficients wL and wR for the left image and the right image are determined by the left image and right image reference tables stored therein.
[0055]
In this embodiment, separate reference tables are prepared for the left image and the right image, and the imaging magnification β, the object distance z, the aperture value A, and the correction coefficient value for the square of the distance from the optical axis are arranged in a four-dimensional array. Is remembered as
[0056]
As described above, since the left image and the right image have separate reference tables as described above, the required capacity of the storage unit of the light amount correction coefficient determination unit 24 increases. However, in the case of the present embodiment, since the difference in sensitivity between the image sensors of the left imaging system and the right imaging system can be absorbed, particularly when the sensitivity of the image sensors of the left imaging system and the right imaging system is greatly different, Compared with the embodiment, a composite image having no luminance unevenness is obtained.
[0057]
【The invention's effect】
As described above, according to the first and fourth aspects of the present invention, when combining a plurality of images captured by overlapping a part of the image field due to the congestion of a plurality of imaging systems, the distance information of the subject And coordinates of each image captured by each imaging system using the parameters of each imaging system and the coordinates of each image obtained as a result of the coordinate conversion processing, and each imaging system The light quantity correction coefficient is determined from the imaging parameters, and further, the image signal output from each imaging system is interpolated according to the coordinates of each image obtained as a result of the coordinate conversion process, and the light quantity correction coefficient is determined. Since each interpolated value is combined into a single image signal, even if the light intensity ratio between the vicinity of the optical axis and the periphery of the optical system making up the imaging system is significantly different, there is no unevenness in the image. The composite image is obtained. Further, even when the image area to be synthesized and output does not include all the image areas of the left and right imaging systems, it is possible to prevent a useless area from being generated in the correction area.
[0058]
According to the second and fifth aspects of the present invention, the light amount correction coefficient is determined from the output obtained as a result of the coordinate conversion process so as to cancel out the light amount distribution characteristic of the imaging system for each imaging parameter of the imaging system. As a result, a high-quality composite image without image unevenness as if synthesized from an input image from an imaging system in which the light amount ratio between the vicinity of the optical axis and the periphery is 1 is obtained.
[0059]
According to the third and sixth aspects of the present invention, the imaging signal is obtained by multiplying the interpolation value corresponding to the output obtained as a result of the coordinate conversion processing of the image signal output from the imaging system and the light amount correction coefficient. The average value of the multiplication results is output in the region where the image data of the system overlaps, and the value calculated by one of the multiplication results is output in the other regions. Interpolation values can be obtained easily and reliably even in regions or regions that do not overlap.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image composition device according to an embodiment of the present invention.
FIG. 2 is a diagram showing a basic arrangement of a compound eye imaging system.
FIG. 3 is a diagram illustrating a state of an image composition conversion process.
FIG. 4 is a characteristic diagram illustrating a reference table of a light amount correction coefficient determination unit.
FIG. 5 is a block diagram illustrating a configuration of a conventional image composition device.
[Explanation of symbols]
1 Object plane 11L, 11R conjugate to common object plane 2L, 2R image sensor surface Imaging optical system 12L, 12R Image sensor 20 Compound eye imaging device 21 Left image memory L
22 Right image memory R
23 Parameter storage unit 24 Light amount correction coefficient determination unit 25 Distance information memory 26 Address generation unit 27 Coordinate conversion unit 28 Image data interpolation unit 29 Output image memory 30 Corresponding point extraction unit 31 Distance information calculation unit 32 Distance information interpolation units LL and LR Optical axis of imaging system

Claims

In an image synthesizing apparatus that has a plurality of imaging systems and captures images by overlapping a part of the image field due to the congestion of these imaging systems,
A coordinate conversion processing unit that performs coordinate conversion processing for obtaining coordinates of each image captured by each imaging system using the distance information of the subject and the parameters of each imaging system;
A light amount correction coefficient determination unit that determines a light amount correction coefficient from the coordinates of each image output from the coordinate conversion processing unit and the imaging parameters of each imaging system;
Interpolate the image signals output from each imaging system according to the coordinates of each image output from the coordinate conversion processing unit, and synthesize the respective interpolated values into one image signal using the light amount correction coefficient. An image data interpolating unit to be provided in the image composition conversion processing unit,
An image synthesizing apparatus characterized in that a plurality of image signals output from the plurality of imaging systems are synthesized into one image signal by the image synthesis conversion processing unit.

The light amount correction coefficient determination unit determines a light amount correction coefficient so as to cancel out the light amount distribution characteristic of each imaging system for each imaging parameter of each imaging system from the output of the coordinate conversion processing unit in each imaging system. The image synthesizing device according to claim 1.

The image data interpolation unit multiplies the interpolation value according to the output of the coordinate conversion processing unit and the light amount correction coefficient determined by the light amount correction coefficient determination unit to overlap the image data of each imaging system 2. The image synthesizing apparatus according to claim 1, wherein an average value of the multiplication results is output in one and a value calculated as a result of the multiplication is output in other regions.

An image processing method for combining a plurality of images captured by overlapping a part of an image field due to congestion of a plurality of imaging systems,
A coordinate conversion processing step for performing a coordinate conversion process for obtaining coordinates of each image captured by each imaging system using the distance information of the subject corresponding to the plurality of images and the parameters of each imaging system;
A light amount correction coefficient determining step for determining a light amount correction coefficient from the coordinates of each image output from the coordinate conversion processing step and the imaging parameters of each imaging system;
Interpolate the image signals output from each imaging system in accordance with the coordinates of the images output from the coordinate conversion processing step, and combine the interpolated values into one image signal using the light amount correction coefficient. An image data interpolation step,
An image processing method comprising:

The light amount correction coefficient determination step determines a light amount correction coefficient so as to cancel out the light amount distribution characteristic of each imaging system for each imaging parameter of each imaging system from the output of the coordinate conversion processing step in each imaging system. The image processing method according to claim 4.

The image data interpolation step multiplies the interpolation value according to the output of the coordinate conversion processing unit and the light amount correction coefficient determined by the light amount correction coefficient determination step to overlap the image data of each imaging system 5. The image processing method according to claim 4, wherein an average value of the multiplication results is output in step, and a value calculated as a result of the multiplication is output in other regions.