JP3639620B2 - 画像合成装置及び画像処理方法 - Google Patents
画像合成装置及び画像処理方法 Download PDFInfo
- Publication number
- JP3639620B2 JP3639620B2 JP21253494A JP21253494A JP3639620B2 JP 3639620 B2 JP3639620 B2 JP 3639620B2 JP 21253494 A JP21253494 A JP 21253494A JP 21253494 A JP21253494 A JP 21253494A JP 3639620 B2 JP3639620 B2 JP 3639620B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging system
- output
- light amount
- correction coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は画像合成装置及び画像処理方法に係わり、特に、複数の撮像系から出力される複数の画像を合成して任意のアスペクト比のパノラマ画像を生成するために用いて好適なものである。
【０００２】
【従来の技術】
従来、テレビあるいはビデオの画面のアスペクト比を変える（例えばＮＴＳＣの４対３と、ＨＤあるいはＥＤ２の１６対９のコンバージョン）方式としては、出力時に上下または左右をトリミングする方式が知られている。
【０００３】
これらの方式は、撮像した画像の一部を用いる方式である。このため、４対３のイメージセンサを用いたＮＴＳＣカメラで撮像し、４対３のＮＴＳＣ用のモニタで出力する場合は画質的には問題ないが、水平画角が１／３も減少してしまう欠点があった。
【０００４】
また、複数の画像を入力して座標変換処理を行い、変換後の各々の画像を合成して画界の広い画像を出力する画像合成装置が、特開平５−１１０９２６号公報等で提案されている。
【０００５】
しかしながら、上記従来例においても所定のアスペクト比の画像を得る方法は示されておらず、合成後の画像を上述したようにトリミングする方式を適用すると画質的な劣化が生じる問題があった。
【０００６】
上述のような問題点を解決するために、本願の出願人は、複数の撮像系を用いて画界の一部をオーバーラップして撮像する装置において、上記各撮像系から出力される複数の画像信号を視点位置と光軸の方向が上記各撮像系からの視点の位置ずれ量と光軸の輻輳角で定義される撮像系から任意の物体距離、結像倍率で定義される状態で出力される一つの画像信号になるよう合成変換する撮像装置を以前に提案した。上記提案の撮像装置によれば、画質劣化が少なく、しかも輻輳の際に生じた歪みが補正された画像を得ることができる。
【０００７】
以下、上記従来例について簡単に説明する。図２は、撮像装置の基本配置を示す図であり、１０Ｌ、１０Ｒの２組の撮像系により構成されている。
図中１は共通の被写体平面、１１Ｌおよび１１Ｒは等価な仕様を有する第１および第２の撮像光学系であり、一般的にはズームレンズが用いられる。
【０００８】
次いで、１２Ｌおよび１２Ｒは、同様に等価な仕様を有するイメージセンサであり、サチコン等の撮像管またはＣＣＤ等の固体撮像素子が用いられる。これらの光軸ＬＬおよびＬＲは、選定したアスペクト比の画面に応じて各々の撮像画界の所定量がオーバーラップする条件を満たすように、被写体面１の法線Ｏ−Ｏ’に対して対称に角度θほど傾斜した状態に配置する（但し、点Ｏは被写体面１上の点。）。
【０００９】
なお、角度２θを輻輳角と呼ぶ。また、２Ｌおよび２Ｒはそれぞれイメージセンサ１２Ｌおよび１２Ｒに共役な物体面で、被写体平面１に対してそれぞれ角度θだけ傾いている。
【００１０】
点ＯＬおよびＯＲは、それぞれ光軸ＬＬおよびＬＲと被写体平面１との交点であり、点ＣＬおよびＣＲはそれぞれの第１の撮像光学系１１Ｌおよび第２の撮像光学系１１Ｒの主点（詳しくは被写体側の主点）である。それぞれの撮像光学系１１Ｌおよび１１Ｒには、変倍群および合焦群があり、これらを駆動する駆動系、光軸方向の位置情報を得るためのエンコーダが設けられている。
【００１１】
また、撮像系を光軸を含む平面内で回転する機構系、駆動系、回転角を検出するエンコーダがそれぞれの撮像系１１Ｌおよび１１Ｒに設けられている。
そして、所定のアスペクト比の画像が得られるよう輻輳角制御系がそれぞれのエンコーダの出力信号に応じた輻輳角の制御目標値を設定し、輻輳制御を行っている。
【００１２】
以下、画像合成の方法について図２、図３を用いて説明する。
図２で撮像光学系１１Ｌおよび１１Ｒの結像倍率をβ、物体距離（ＯＬ−ＣＬおよびＯＲ−ＣＲの距離）をｚとし、それぞれの主点、ＣＬ、ＣＲは距離２ｄ（基線長）だけ離れて配置されているとする。
【００１３】
そして、被写体面１からＯ−Ｏ’上にＯ’側に距離ｚ’だけ離れた位置に視点をとり、その視点での仮想的な結像倍率がβ’となるように仮想的な像面（すなわち視点と像面との距離β’ｚ’）をとる時、第１および第２のイメージセンサの像面が合成された仮想像面の様子は図３のようになる。
【００１４】
図３で、点ＡＬ、ＢＬ、ＣＬ、ＤＬは、それぞれイメージセンサ１２Ｌの像面の対角上の点である。また、点ＡＲ、ＢＲ、ＣＲ、ＤＲはそれぞれイメージセンサ１２Ｒの像面の対角上の点であり、それぞれ仮想像面上の点ＡＬ’、ＢＬ’、ＣＬ’、ＤＬ’、ＡＲ’、ＢＲ’、ＣＲ’、ＤＲ’に対応する。
【００１５】
また、点ＥＬ、ＦＬ、ＥＲ、ＦＲは、図示のようにそれぞれ第１および第２のイメージセンサの像面上のオーバーラップの中心となる水平上下辺上の点であり、仮想像面上では点Ｅ’、Ｆ’に対応し、一致する。本出願人が先に提案した上記従来例では、輻輳のある複数のイメージセンサ上の画像を撮像系のパラメータと被写体の距離情報を用いて幾何変換処理を施すことにより、１つの仮想像面上の画像に合成して、輻輳により生じる歪みが補正された合成画像を得ている。
【００１６】
図５は、上記従来例の画像合成装置の構成を示す図である。画像メモリＬ２１、画像メモリＲ２２は左画像および右画像をデジタル画像データとして記憶しておく記憶部、パラメータ記憶部２３は複眼撮像装置２０のパラメータである基線長、輻輳角、結像倍率、物体距離および出力画像の仮想撮像系の結像倍率、物体距離を記憶しておく記憶部である。
【００１７】
対応点抽出部３０は、まず画像メモリＬ２１の小領域をテンプレートとして格納し、テンプレートに位置オフセットをかけて平行移動させて、画像メモリＲ２２の画像データとのテンプレートマッチングを行い、左画像の座標に対応する右画像の座標を検出する。
【００１８】
距離情報算出部３１では、対応点抽出部３０の対応点情報である左画像および右画像の座標とパラメータ記憶部２３に記憶されている基線長、輻輳角、結像倍率、物体距離、出力画像の仮想撮像系の結像倍率、物体距離のパラメータより、距離データと出力画像面内の座標を計算して距離情報メモリ２５に格納する。
【００１９】
また、上記距離情報メモリ２５には距離情報として、距離の逆数の値が格納される。
さらに、距離情報補間部３２では、対応点抽出部３０で対応点が検出できず、そのため距離情報が求まらない領域での距離情報の補間が行われる。
【００２０】
一方、アドレス発生部２６は出力する画像の二次元座標を順次発生し、座標変換部２７に送る。座標変換部２７はパラメータ記憶部２３に記憶されている複眼撮像系のパラメータと距離情報補間部３２から出力される距離データとからアドレス発生部２６で発生したアドレスを変換し、画像メモリＬ２１、画像メモリＲ２２に記憶されている左画像および右画像の二次元座標を求める。
【００２１】
画像データ補間部２８は、座標変換部２７の変換後の二次元座標によって、画像メモリＬ２１、画像メモリＲ２２に記憶されている左画像および右画像のデータから補間処理を行い、出力用画像メモリ２９に補間した画像データを出力する。画像がオーバーラップする領域において左右画像の補間データから出力用の画像データを求めるには、例えば補間データを平均して出力する。以上述べたシステム全体の動作の制御は、図示しないシステム制御部によって行われる。
【００２２】
【発明が解決しようとする課題】
しかしながら、本出願人が以前に提案した上記従来例では、撮像系を構成する光学系の光軸付近と周辺との光量比が著しく異なる場合には、以下の問題点が生じる。
【００２３】
すなわち、画像がオーバーラップする領域において同一被写体を撮像した場合でも、例えば図３において点ＧＬ、ＧＲが左右各撮像系の像面上で対応する点である時、画像面上での左右それぞれの撮像系の光軸からの距離ｒＬ、ｒＲが異なると画像信号のレベル差が生じ、上述したような合成処理を行うとオーバーラップ領域で画像むらが生じ、合成画像の画質が劣化するという問題点があった。この画質劣化を完全に除去するには光軸付近と周辺との光量比が１である撮像系で入力した画像から合成する必要がある。
【００２４】
上記問題点を解決するための手段として、左右各撮像系で撮像した画像を撮像系の光量分布特性に従い、光軸付近と周辺との光量比が１となるように光量分布の補正をあらかじめ行い、上記従来例に示したような画像合成を行うことが考えられる。
【００２５】
しかし、合成出力する画像の領域が左右各撮像系の画像の領域を全て含まないような場合には、あらかじめ行う光量分布の補正が合成出力する画像の領域外でも行われることとなり、補正領域に無駄な領域が生じる。
【００２６】
本発明は上述の問題点にかんがみ、撮像系を構成する光学系の光軸付近と周辺との光量比が著しく異なる場合でも画像むらが生じないようにして高画質の合成画像が得られるようにすることを第１の目的とする。
【００２７】
また、撮像系を構成する光学系の光軸付近の周辺との光量比が著しく異なる場合でも、あたかも光軸付近と周辺との光量比が１である撮像系からの入力画像から合成したのと同等な、画像むらがなくて高画質の合成画像が得られるようにすることを第２の目的とする。
【００２８】
【課題を解決するための手段】
本発明の画像合成装置は、複数の撮像系を有し、これらの撮像系の輻輳により画界の一部をオーバーラップして撮像する画像合成装置において、被写体の距離情報及び前記各撮像系のパラメータを用いて前記各撮像系によって撮像された各画像の座標を求める座標変換処理を行う座標変換処理部と、前記座標変換処理部より出力された前記各画像の座標と、前記各撮像系の撮像パラメータとから光量補正係数を決定する光量補正係数決定部と、前記各撮像系からそれぞれ出力される画像信号を前記座標変換処理部より出力された前記各画像の座標に応じて補間し、前記光量補正係数を用いてそれぞれの補間値から一つの画像信号に合成する画像データ補間部とを画像合成変換処理部に設け、前記複数の撮像系から出力される複数の画像信号を前記画像合成変換処理部により一つの画像信号に合成するようにしたことを特徴とする。
【００２９】
また、本発明の他の特徴とするところは、前記光量補正係数決定部は、前記各撮像系において前記座標変換処理部の出力から前記各撮像系の撮像パラメータごとに前記各撮像系の光量分布特性を相殺するように光量補正係数を決定することにある。
また、本発明のその他の特徴とするところは、前記画像データ補間部は、前記座標変換処理部の出力に応じた補間値と前記光量補正係数決定部により決定された光量補正係数とを乗じて、前記各撮像系の画像データがオーバーラップする領域においては前記乗算結果の平均値を出力し、それ以外の領域においては前記乗算の結果一つ算出された方の値を出力することにある。
【００３０】
本発明の画像処理方法は、複数の撮像系の輻輳により画界の一部をオーバーラップして撮像した複数の画像を合成するための画像処理方法であって、前記複数の画像に対応する被写体の距離情報及び前記各撮像系のパラメータを用いて前記各撮像系によって撮像された各画像の座標を求める座標変換処理を行う座標変換処理工程と、前記座標変換処理工程より出力された前記各画像の座標と、前記各撮像系の撮像パラメータとから光量補正係数を決定する光量補正係数決定工程と、前記各撮像系からそれぞれ出力される画像信号を前記座標変換処理工程より出力された前記各画像の座標に応じて補間し、前記光量補正係数を用いてそれぞれの補間値から一つの画像信号に合成する画像データ補間工程と、を含むことを特徴とする。
また、本発明の他の特徴とするところは、前記光量補正係数決定工程は、前記各撮像系において前記座標変換処理工程の出力から前記各撮像系の撮像パラメータごとに前記各撮像系の光量分布特性を相殺するように光量補正係数を決定することにある。
また、本発明のその他の特徴とするところは、前記画像データ補間工程は、前記座標変換処理部の出力に応じた補間値と前記光量補正係数決定工程により決定された光量補正係数とを乗じて、前記各撮像系の画像データがオーバーラップする領域においては前記乗算結果の平均値を出力し、それ以外の領域においては前記乗算の結果一つ算出された方の値を出力することにある。
【００３１】
【作用】
本発明は上記技術手段を有するので、複数の撮像系から出力される複数の画像信号を一つの画像信号に合成変換する際に、被写体の距離情報と、各撮像系のパラメータとを用いて各撮像系によって撮像された各画像の座標を求める座標変換処理を行うとともに、座標変換処理の結果得られる出力と、上記各撮像系の撮像パラメータとから光量を補正する光量補正係数を決定し、さらに、上記座標変換処理の結果得られる出力に応じて上記各撮像系からそれぞれ出力される画像信号を補間し、上記光量補正係数を用いてそれぞれの補間値から一つの画像信号が合成するので、撮像系を構成する光学系の光軸付近と周辺との光量比が著しく異なる場合においても、画像むらのない、高画質の合成画像が得られるとともに、合成出力する画像の領域が左右各撮像系の画像の領域を全て含まないような場合にも、補正領域に無駄な領域が生じないようになる。
【００３２】
また、他の特徴によれば、上記撮像系において上記座標変換処理の結果得られる出力から上記撮像系の撮像パラメータごとに上記撮像系の光量分布特性を相殺するように光量補正係数を決定することにより、光軸付近と周辺との光量比が１である撮像系からの入力画像から合成したのと同様な画像むらがなくて、高画質の合成画像が得られる。
【００３３】
また、他の特徴によれば、上記撮像系から出力される画像信号の上記座標変換処理の結果得られる出力に応じた補間値と上記光量補正係数を乗じて、上記撮像系の画像データがオーバーラップする領域においては上記乗算結果の平均値を出力し、それ以外の領域においては上記乗算の結果一つ算出された方の値を出力するようにしたので、オーバーラップする領域においても、オーバーラップしない領域においても補間値を良好に求めることができる。
【００３４】
【実施例】
以下、本発明の画像合成装置及び画像処理方法の一実施例を図面を参照して説明する。
図１は、本発明の第１の実施例の画像合成装置の構成図である。図１において、複眼撮像装置２０は、図２に基本配置を示した撮像系であり、所定のアスペクト比の画像が得られるよう輻輳角θが制御されて、左画像および右画像が同時に撮像されるようになされている。それ以外の部分が画像合成処理を行う画像合成変更処理部であり、以下その部分について構成、動作を説明する。
【００３５】
左画像メモリＬ２１、右画像メモリＲ２２は左画像および右画像をデジタル画像データとして記憶しておく記憶部、パラメータ記憶部２３は複眼撮像装置２０のパラメータである基線長、輻輳角、結像倍率、物体距離および出力画像の仮想撮像系の結像倍率、物体距離を記憶しておく記憶部である。
【００３６】
対応点抽出部３０は、まず左画像メモリＬ２１の小領域をテンプレートとして格納し、テンプレートに位置オフセットをかけて平行移動させて、右画像メモリＲ２２の画像データとのテンプレートマッチングを行い、左画像の座標に対応する右画像の座標を検出する。
【００３７】
距離情報算出部３１では、対応点抽出部３０の対応点情報である左画像および右画像の座標とパラメータ記憶部２３に記憶されている基線長、輻輳角、結像倍率、物体距離、出力画像の仮想撮像系の結像倍率、物体距離のパラメータより、距離データと出力画像面内の座標を計算して距離情報メモリ２５に格納する。
【００３８】
距離情報メモリ２５には距離情報として距離の逆数の値が格納される。距離情報補間部３２では対応点抽出部３０で対応点が検出できず、そのため距離情報が求まらない領域での距離情報の補間が行われる。
【００３９】
一方、アドレス発生部２６は出力する画像の二次元座標を順次発生し、座標変換部２７に送る。座標変換部２７はパラメータ記憶部２３に記憶されている複眼撮像系のパラメータと、距離情報補間部３２から出力される距離データとからアドレス発生部２６で発生したアドレスを変換し、左画像メモリＬ２１、右画像メモリＲ２２に記憶されている左画像および右画像の二次元座標を求める。
【００４０】
以上の処理は、本出願人が以前に提案した従来例と同じものである。本実施例では出力用画像メモリ２９に出力する画像データを補間する画像データ補間部２８の処理と、新たに光量補正係数決定部２４を設けた点が異なる。
【００４１】
光量補正係数決定部２４は、座標変換部２７の変換後の左画像および右画像の二次元座標をそれぞれ（ｘＬ，ｙＬ）、（ｘＲ，ｙＲ）とすると、まずそれぞれの座標の光軸からの距離の２乗にあたる値ｒ２Ｌ、ｒ２Ｒを、下記の▲１▼式により算出する。
ｒ２Ｌ ＝ ｘＬ2 ＋ｙＬ2 、 ｒ２Ｒ ＝ ｘＲ2 ＋ｙＲ2 ．．．▲１▼
【００４２】
そして、パラメータ記憶部２３に記憶されている複眼撮像系のパラメータのうち、撮像系の結像倍率β、物体距離ｚ、絞り値Ａと、▲１▼式の出力とからあらかじめ光量補正係数決定部２４内に記憶されている参照テーブルにより左画像および右画像の光量補正係数ｗＬ、ｗＲが決定される。
【００４３】
上記参照テーブルには結像倍率β、物体距離ｚ、絞り値Ａ、光軸からの距離の２乗に対する補正係数の値ｗが４次元配列として記憶されており、一つの結像倍率β、物体距離ｚ、絞り値Ａに対する断面をグラフで表現すると、図４の実線で示した関係となるように光軸での値を１として光軸からの距離の２乗ｒ２が大きくなるに従い、増加するようになる。
【００４４】
詳しくは、撮像系の光軸からの距離の２乗ｒ２に対する光量分布特性が、図４の破線で示した関係である時、実線の関係と破線の関係の積が１となる。これにより、上記各撮像系の撮像パラメータごとに、上記各撮像系の光量分布特性が相殺されるように光量補正係数が決定される。
【００４５】
なお、撮像系のパラメータである結像倍率β、物体距離ｚ、絞り値Ａごとに上記関係の参照テーブルを持っているのは、撮像系の光軸からの距離に対する光量分布特性は撮像系の光学系が本実施例のようにズームレンズ系である場合、一般的に、結像倍率β、物体距離ｚ、絞り値Ａで異なるからである。
【００４６】
したがって、結像倍率β、物体距離ｚ、絞り値Ａで撮像系の光軸からの距離に対する光量分布特性がほとんど変わらない場合、あるいは上記撮像系のパラメータが変化しない撮像系である場合には参照テーブルは光軸からの距離の２乗に対する補正係数の値が１次元配列として記憶されているものである。
【００４７】
画像データ補間部２８では座標変換部２７の変換後の左画像および右画像の二次元座標によって、左画像メモリＬ２１、右画像メモリＲ２２に記憶されている左画像および右画像のデータからそれぞれ双線形補間により補間処理を行い、左画像からの補間値ｇＬと右画像からの補間値ｇＲを求める。
【００４８】
そして、光量補正係数決定部２４の左画像および右画像の光量補正係数ｗＬ、ｗＲから出力画像での補間値ｇが▲２▼式により算出され、出力用画像メモリ２９に出力される。
ｇ ＝ （ｗＬ・ｇＬ＋ｗＲ・ｇＲ）／２ ・・・▲２▼
【００４９】
この時、各撮像系からの画像がオーバーラップしない領域では、画像データの補間値はどちらか一方の画像からしか求まらないので、光量補正係数と画像データの補間値との乗算結果により算出された方の値を出力画像での補間値ｇとして出力用画像メモリ２９に出力する。
なお、以上述べたシステム全体の動作の制御は、図示しないシステム制御部によって行われる。
【００５０】
本実施例の光量補正係数決定部２４は、座標変換部２７の変換後の左画像および右画像の二次元座標から光軸からの距離の２乗にあたる値ｒ２Ｌ、ｒ２Ｒを、上記▲１▼式により算出している。
【００５１】
しかし、本実施例の撮像系のようなズームレンズ系では一般に光学系は光軸に関して回転対称であり、光量分布特性も回転対称となるので像面の全ての座標から個別の光量補正係数を決定するよりも本実施例のように光軸からの距離に一対一に対応する量をまず算出した後、その算出値に基いて光量補正係数を決定する方式は、参照テーブルに必要な記憶領域を少なくできる点で都合が良い。なお、距離の２乗にあたる値の代わりに距離を算出し、その算出値に基いて光量補正係数を決定しても同等の効果が得られる。
【００５２】
次に、本発明の画像合成装置の第２の実施例について説明する。この第２の実施例の構成は、図１に示したものと同じであり、光量補正係数決定部２４以外の処理および動作は本発明の第１実施例と同じである。以下では本実施例の光量補正係数決定部２４の動作について説明する。
【００５３】
光量補正係数決定部２４は、座標変換部２７の変換後の左画像および右画像の二次元座標をそれぞれ（ｘＬ，ｙＬ）、（ｘＲ，ｙＲ）とすると、まずそれぞれの座標の光軸からの距離の２乗にあたる値ｒ２Ｌ、ｒ２Ｒを、上述の▲１▼式により算出する。
【００５４】
そして、パラメータ記憶部２３に記憶されている複眼撮像系のパラメータのうち撮像系の結像倍率β、物体距離ｚ、絞り値Ａと上記▲１▼式の出力とからあらかじめ光量補正係数決定部２４内に記憶されている左画像および右画像の参照テーブルにより左画像および右画像の光量補正係数ｗＬ、ｗＲが決定される。
【００５５】
本実施例では左画像と右画像で別々の参照テーブルが用意されており、結像倍率β、物体距離ｚ、絞り値Ａ、光軸からの距離の２乗に対する補正係数の値が４次元配列として記憶されている。
【００５６】
なお、上述したように、本実施例では左画像と右画像で別々の参照テーブルを持っているので、光量補正係数決定部２４の記憶部の必要容量は大きくなる。しかし、本実施例の場合には、左撮像系と右撮像系のイメージセンサの感度の違いを吸収できるので、特に左撮像系と右撮像系のイメージセンサの感度が大きく異なる時には、第１の実施例に比べて輝度むらのない合成画像が得られる。
【００５７】
【発明の効果】
上述したように、請求項１、４に記載の発明によれば、複数の撮像系の輻輳により画界の一部をオーバーラップして撮像した複数の画像を合成する際に、被写体の距離情報と上記各撮像系のパラメータとを用いて各撮像系によって撮像された各画像の座標を求める座標変換処理を行うとともに、上記座標変換処理の結果得られる上記各画像の座標と、上記各撮像系の撮像パラメータとから光量補正係数を決定し、さらに、上記座標変換処理の結果得られる上記各画像の座標に応じて上記各撮像系からそれぞれ出力される画像信号を補間し、上記光量補正係数を用いてそれぞれの補間値から一つの画像信号に合成するようにしたので、撮像系を構成する光学系の光軸付近と周辺との光量比が著しく異なる場合においても、画像むらのない、高画質の合成画像が得られる。また、合成出力する画像の領域が左右各撮像系の画像の領域を全て含まないような場合にも、補正領域に無駄な領域が生じないようにすることができる。
【００５８】
また、請求項２、５に記載の発明によれば、上記座標変換処理の結果得られる出力から上記撮像系の撮像パラメータごとに上記撮像系の光量分布特性を相殺するよう光量補正係数を決定するようにしたので、あたかも光軸付近と周辺との光量比が１である撮像系からの入力画像から合成したような画像むらのない、高画質の合成画像が得られる。
【００５９】
また、請求項３、６に記載の発明によれば、上記撮像系から出力される画像信号の上記座標変換処理の結果得られる出力に応じた補間値と上記光量補正係数を乗じて、上記撮像系の画像データがオーバーラップする領域においては上記乗算結果の平均値を出力し、それ以外の領域においては上記乗算の結果一つ算出された方の値を出力するようにしたので、オーバーラップする領域においても、或いはオーバーラップしない領域においても補間値を容易に、かつ確実に求めることができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す画像合成装置の構成を示すブロック図である。
【図２】複眼撮像系の基本配置を示す図である。
【図３】画像合成変換処理の様子を示す図である。
【図４】光量補正係数決定部の参照テーブルを説明する特性図である。
【図５】従来の画像合成装置の構成を示すブロック図である。
【符号の説明】
１ 共通の被写体平面
２Ｌ、２Ｒ イメージセンサ面に共役な物体面
１１Ｌ、１１Ｒ 撮像光学系
１２Ｌ、１２Ｒ イメージセンサ
２０ 複眼撮像装置
２１ 左画像メモリＬ
２２ 右画像メモリＲ
２３ パラメータ記憶部
２４ 光量補正係数決定部
２５ 距離情報メモリ
２６ アドレス発生部
２７ 座標変換部
２８ 画像データ補間部
２９ 出力用画像メモリ
３０ 対応点抽出部
３１ 距離情報算出部
３２ 距離情報補間部
ＬＬ、ＬＲ 撮像系の光軸
【産業上の利用分野】
本発明は画像合成装置及び画像処理方法に係わり、特に、複数の撮像系から出力される複数の画像を合成して任意のアスペクト比のパノラマ画像を生成するために用いて好適なものである。
【０００２】
【従来の技術】
従来、テレビあるいはビデオの画面のアスペクト比を変える（例えばＮＴＳＣの４対３と、ＨＤあるいはＥＤ２の１６対９のコンバージョン）方式としては、出力時に上下または左右をトリミングする方式が知られている。
【０００３】
これらの方式は、撮像した画像の一部を用いる方式である。このため、４対３のイメージセンサを用いたＮＴＳＣカメラで撮像し、４対３のＮＴＳＣ用のモニタで出力する場合は画質的には問題ないが、水平画角が１／３も減少してしまう欠点があった。
【０００４】
また、複数の画像を入力して座標変換処理を行い、変換後の各々の画像を合成して画界の広い画像を出力する画像合成装置が、特開平５−１１０９２６号公報等で提案されている。
【０００５】
しかしながら、上記従来例においても所定のアスペクト比の画像を得る方法は示されておらず、合成後の画像を上述したようにトリミングする方式を適用すると画質的な劣化が生じる問題があった。
【０００６】
上述のような問題点を解決するために、本願の出願人は、複数の撮像系を用いて画界の一部をオーバーラップして撮像する装置において、上記各撮像系から出力される複数の画像信号を視点位置と光軸の方向が上記各撮像系からの視点の位置ずれ量と光軸の輻輳角で定義される撮像系から任意の物体距離、結像倍率で定義される状態で出力される一つの画像信号になるよう合成変換する撮像装置を以前に提案した。上記提案の撮像装置によれば、画質劣化が少なく、しかも輻輳の際に生じた歪みが補正された画像を得ることができる。
【０００７】
以下、上記従来例について簡単に説明する。図２は、撮像装置の基本配置を示す図であり、１０Ｌ、１０Ｒの２組の撮像系により構成されている。
図中１は共通の被写体平面、１１Ｌおよび１１Ｒは等価な仕様を有する第１および第２の撮像光学系であり、一般的にはズームレンズが用いられる。
【０００８】
次いで、１２Ｌおよび１２Ｒは、同様に等価な仕様を有するイメージセンサであり、サチコン等の撮像管またはＣＣＤ等の固体撮像素子が用いられる。これらの光軸ＬＬおよびＬＲは、選定したアスペクト比の画面に応じて各々の撮像画界の所定量がオーバーラップする条件を満たすように、被写体面１の法線Ｏ−Ｏ’に対して対称に角度θほど傾斜した状態に配置する（但し、点Ｏは被写体面１上の点。）。
【０００９】
なお、角度２θを輻輳角と呼ぶ。また、２Ｌおよび２Ｒはそれぞれイメージセンサ１２Ｌおよび１２Ｒに共役な物体面で、被写体平面１に対してそれぞれ角度θだけ傾いている。
【００１０】
点ＯＬおよびＯＲは、それぞれ光軸ＬＬおよびＬＲと被写体平面１との交点であり、点ＣＬおよびＣＲはそれぞれの第１の撮像光学系１１Ｌおよび第２の撮像光学系１１Ｒの主点（詳しくは被写体側の主点）である。それぞれの撮像光学系１１Ｌおよび１１Ｒには、変倍群および合焦群があり、これらを駆動する駆動系、光軸方向の位置情報を得るためのエンコーダが設けられている。
【００１１】
また、撮像系を光軸を含む平面内で回転する機構系、駆動系、回転角を検出するエンコーダがそれぞれの撮像系１１Ｌおよび１１Ｒに設けられている。
そして、所定のアスペクト比の画像が得られるよう輻輳角制御系がそれぞれのエンコーダの出力信号に応じた輻輳角の制御目標値を設定し、輻輳制御を行っている。
【００１２】
以下、画像合成の方法について図２、図３を用いて説明する。
図２で撮像光学系１１Ｌおよび１１Ｒの結像倍率をβ、物体距離（ＯＬ−ＣＬおよびＯＲ−ＣＲの距離）をｚとし、それぞれの主点、ＣＬ、ＣＲは距離２ｄ（基線長）だけ離れて配置されているとする。
【００１３】
そして、被写体面１からＯ−Ｏ’上にＯ’側に距離ｚ’だけ離れた位置に視点をとり、その視点での仮想的な結像倍率がβ’となるように仮想的な像面（すなわち視点と像面との距離β’ｚ’）をとる時、第１および第２のイメージセンサの像面が合成された仮想像面の様子は図３のようになる。
【００１４】
図３で、点ＡＬ、ＢＬ、ＣＬ、ＤＬは、それぞれイメージセンサ１２Ｌの像面の対角上の点である。また、点ＡＲ、ＢＲ、ＣＲ、ＤＲはそれぞれイメージセンサ１２Ｒの像面の対角上の点であり、それぞれ仮想像面上の点ＡＬ’、ＢＬ’、ＣＬ’、ＤＬ’、ＡＲ’、ＢＲ’、ＣＲ’、ＤＲ’に対応する。
【００１５】
また、点ＥＬ、ＦＬ、ＥＲ、ＦＲは、図示のようにそれぞれ第１および第２のイメージセンサの像面上のオーバーラップの中心となる水平上下辺上の点であり、仮想像面上では点Ｅ’、Ｆ’に対応し、一致する。本出願人が先に提案した上記従来例では、輻輳のある複数のイメージセンサ上の画像を撮像系のパラメータと被写体の距離情報を用いて幾何変換処理を施すことにより、１つの仮想像面上の画像に合成して、輻輳により生じる歪みが補正された合成画像を得ている。
【００１６】
図５は、上記従来例の画像合成装置の構成を示す図である。画像メモリＬ２１、画像メモリＲ２２は左画像および右画像をデジタル画像データとして記憶しておく記憶部、パラメータ記憶部２３は複眼撮像装置２０のパラメータである基線長、輻輳角、結像倍率、物体距離および出力画像の仮想撮像系の結像倍率、物体距離を記憶しておく記憶部である。
【００１７】
対応点抽出部３０は、まず画像メモリＬ２１の小領域をテンプレートとして格納し、テンプレートに位置オフセットをかけて平行移動させて、画像メモリＲ２２の画像データとのテンプレートマッチングを行い、左画像の座標に対応する右画像の座標を検出する。
【００１８】
距離情報算出部３１では、対応点抽出部３０の対応点情報である左画像および右画像の座標とパラメータ記憶部２３に記憶されている基線長、輻輳角、結像倍率、物体距離、出力画像の仮想撮像系の結像倍率、物体距離のパラメータより、距離データと出力画像面内の座標を計算して距離情報メモリ２５に格納する。
【００１９】
また、上記距離情報メモリ２５には距離情報として、距離の逆数の値が格納される。
さらに、距離情報補間部３２では、対応点抽出部３０で対応点が検出できず、そのため距離情報が求まらない領域での距離情報の補間が行われる。
【００２０】
一方、アドレス発生部２６は出力する画像の二次元座標を順次発生し、座標変換部２７に送る。座標変換部２７はパラメータ記憶部２３に記憶されている複眼撮像系のパラメータと距離情報補間部３２から出力される距離データとからアドレス発生部２６で発生したアドレスを変換し、画像メモリＬ２１、画像メモリＲ２２に記憶されている左画像および右画像の二次元座標を求める。
【００２１】
画像データ補間部２８は、座標変換部２７の変換後の二次元座標によって、画像メモリＬ２１、画像メモリＲ２２に記憶されている左画像および右画像のデータから補間処理を行い、出力用画像メモリ２９に補間した画像データを出力する。画像がオーバーラップする領域において左右画像の補間データから出力用の画像データを求めるには、例えば補間データを平均して出力する。以上述べたシステム全体の動作の制御は、図示しないシステム制御部によって行われる。
【００２２】
【発明が解決しようとする課題】
しかしながら、本出願人が以前に提案した上記従来例では、撮像系を構成する光学系の光軸付近と周辺との光量比が著しく異なる場合には、以下の問題点が生じる。
【００２３】
すなわち、画像がオーバーラップする領域において同一被写体を撮像した場合でも、例えば図３において点ＧＬ、ＧＲが左右各撮像系の像面上で対応する点である時、画像面上での左右それぞれの撮像系の光軸からの距離ｒＬ、ｒＲが異なると画像信号のレベル差が生じ、上述したような合成処理を行うとオーバーラップ領域で画像むらが生じ、合成画像の画質が劣化するという問題点があった。この画質劣化を完全に除去するには光軸付近と周辺との光量比が１である撮像系で入力した画像から合成する必要がある。
【００２４】
上記問題点を解決するための手段として、左右各撮像系で撮像した画像を撮像系の光量分布特性に従い、光軸付近と周辺との光量比が１となるように光量分布の補正をあらかじめ行い、上記従来例に示したような画像合成を行うことが考えられる。
【００２５】
しかし、合成出力する画像の領域が左右各撮像系の画像の領域を全て含まないような場合には、あらかじめ行う光量分布の補正が合成出力する画像の領域外でも行われることとなり、補正領域に無駄な領域が生じる。
【００２６】
本発明は上述の問題点にかんがみ、撮像系を構成する光学系の光軸付近と周辺との光量比が著しく異なる場合でも画像むらが生じないようにして高画質の合成画像が得られるようにすることを第１の目的とする。
【００２７】
また、撮像系を構成する光学系の光軸付近の周辺との光量比が著しく異なる場合でも、あたかも光軸付近と周辺との光量比が１である撮像系からの入力画像から合成したのと同等な、画像むらがなくて高画質の合成画像が得られるようにすることを第２の目的とする。
【００２８】
【課題を解決するための手段】
本発明の画像合成装置は、複数の撮像系を有し、これらの撮像系の輻輳により画界の一部をオーバーラップして撮像する画像合成装置において、被写体の距離情報及び前記各撮像系のパラメータを用いて前記各撮像系によって撮像された各画像の座標を求める座標変換処理を行う座標変換処理部と、前記座標変換処理部より出力された前記各画像の座標と、前記各撮像系の撮像パラメータとから光量補正係数を決定する光量補正係数決定部と、前記各撮像系からそれぞれ出力される画像信号を前記座標変換処理部より出力された前記各画像の座標に応じて補間し、前記光量補正係数を用いてそれぞれの補間値から一つの画像信号に合成する画像データ補間部とを画像合成変換処理部に設け、前記複数の撮像系から出力される複数の画像信号を前記画像合成変換処理部により一つの画像信号に合成するようにしたことを特徴とする。
【００２９】
また、本発明の他の特徴とするところは、前記光量補正係数決定部は、前記各撮像系において前記座標変換処理部の出力から前記各撮像系の撮像パラメータごとに前記各撮像系の光量分布特性を相殺するように光量補正係数を決定することにある。
また、本発明のその他の特徴とするところは、前記画像データ補間部は、前記座標変換処理部の出力に応じた補間値と前記光量補正係数決定部により決定された光量補正係数とを乗じて、前記各撮像系の画像データがオーバーラップする領域においては前記乗算結果の平均値を出力し、それ以外の領域においては前記乗算の結果一つ算出された方の値を出力することにある。
【００３０】
本発明の画像処理方法は、複数の撮像系の輻輳により画界の一部をオーバーラップして撮像した複数の画像を合成するための画像処理方法であって、前記複数の画像に対応する被写体の距離情報及び前記各撮像系のパラメータを用いて前記各撮像系によって撮像された各画像の座標を求める座標変換処理を行う座標変換処理工程と、前記座標変換処理工程より出力された前記各画像の座標と、前記各撮像系の撮像パラメータとから光量補正係数を決定する光量補正係数決定工程と、前記各撮像系からそれぞれ出力される画像信号を前記座標変換処理工程より出力された前記各画像の座標に応じて補間し、前記光量補正係数を用いてそれぞれの補間値から一つの画像信号に合成する画像データ補間工程と、を含むことを特徴とする。
また、本発明の他の特徴とするところは、前記光量補正係数決定工程は、前記各撮像系において前記座標変換処理工程の出力から前記各撮像系の撮像パラメータごとに前記各撮像系の光量分布特性を相殺するように光量補正係数を決定することにある。
また、本発明のその他の特徴とするところは、前記画像データ補間工程は、前記座標変換処理部の出力に応じた補間値と前記光量補正係数決定工程により決定された光量補正係数とを乗じて、前記各撮像系の画像データがオーバーラップする領域においては前記乗算結果の平均値を出力し、それ以外の領域においては前記乗算の結果一つ算出された方の値を出力することにある。
【００３１】
【作用】
本発明は上記技術手段を有するので、複数の撮像系から出力される複数の画像信号を一つの画像信号に合成変換する際に、被写体の距離情報と、各撮像系のパラメータとを用いて各撮像系によって撮像された各画像の座標を求める座標変換処理を行うとともに、座標変換処理の結果得られる出力と、上記各撮像系の撮像パラメータとから光量を補正する光量補正係数を決定し、さらに、上記座標変換処理の結果得られる出力に応じて上記各撮像系からそれぞれ出力される画像信号を補間し、上記光量補正係数を用いてそれぞれの補間値から一つの画像信号が合成するので、撮像系を構成する光学系の光軸付近と周辺との光量比が著しく異なる場合においても、画像むらのない、高画質の合成画像が得られるとともに、合成出力する画像の領域が左右各撮像系の画像の領域を全て含まないような場合にも、補正領域に無駄な領域が生じないようになる。
【００３２】
また、他の特徴によれば、上記撮像系において上記座標変換処理の結果得られる出力から上記撮像系の撮像パラメータごとに上記撮像系の光量分布特性を相殺するように光量補正係数を決定することにより、光軸付近と周辺との光量比が１である撮像系からの入力画像から合成したのと同様な画像むらがなくて、高画質の合成画像が得られる。
【００３３】
また、他の特徴によれば、上記撮像系から出力される画像信号の上記座標変換処理の結果得られる出力に応じた補間値と上記光量補正係数を乗じて、上記撮像系の画像データがオーバーラップする領域においては上記乗算結果の平均値を出力し、それ以外の領域においては上記乗算の結果一つ算出された方の値を出力するようにしたので、オーバーラップする領域においても、オーバーラップしない領域においても補間値を良好に求めることができる。
【００３４】
【実施例】
以下、本発明の画像合成装置及び画像処理方法の一実施例を図面を参照して説明する。
図１は、本発明の第１の実施例の画像合成装置の構成図である。図１において、複眼撮像装置２０は、図２に基本配置を示した撮像系であり、所定のアスペクト比の画像が得られるよう輻輳角θが制御されて、左画像および右画像が同時に撮像されるようになされている。それ以外の部分が画像合成処理を行う画像合成変更処理部であり、以下その部分について構成、動作を説明する。
【００３５】
左画像メモリＬ２１、右画像メモリＲ２２は左画像および右画像をデジタル画像データとして記憶しておく記憶部、パラメータ記憶部２３は複眼撮像装置２０のパラメータである基線長、輻輳角、結像倍率、物体距離および出力画像の仮想撮像系の結像倍率、物体距離を記憶しておく記憶部である。
【００３６】
対応点抽出部３０は、まず左画像メモリＬ２１の小領域をテンプレートとして格納し、テンプレートに位置オフセットをかけて平行移動させて、右画像メモリＲ２２の画像データとのテンプレートマッチングを行い、左画像の座標に対応する右画像の座標を検出する。
【００３７】
距離情報算出部３１では、対応点抽出部３０の対応点情報である左画像および右画像の座標とパラメータ記憶部２３に記憶されている基線長、輻輳角、結像倍率、物体距離、出力画像の仮想撮像系の結像倍率、物体距離のパラメータより、距離データと出力画像面内の座標を計算して距離情報メモリ２５に格納する。
【００３８】
距離情報メモリ２５には距離情報として距離の逆数の値が格納される。距離情報補間部３２では対応点抽出部３０で対応点が検出できず、そのため距離情報が求まらない領域での距離情報の補間が行われる。
【００３９】
一方、アドレス発生部２６は出力する画像の二次元座標を順次発生し、座標変換部２７に送る。座標変換部２７はパラメータ記憶部２３に記憶されている複眼撮像系のパラメータと、距離情報補間部３２から出力される距離データとからアドレス発生部２６で発生したアドレスを変換し、左画像メモリＬ２１、右画像メモリＲ２２に記憶されている左画像および右画像の二次元座標を求める。
【００４０】
以上の処理は、本出願人が以前に提案した従来例と同じものである。本実施例では出力用画像メモリ２９に出力する画像データを補間する画像データ補間部２８の処理と、新たに光量補正係数決定部２４を設けた点が異なる。
【００４１】
光量補正係数決定部２４は、座標変換部２７の変換後の左画像および右画像の二次元座標をそれぞれ（ｘＬ，ｙＬ）、（ｘＲ，ｙＲ）とすると、まずそれぞれの座標の光軸からの距離の２乗にあたる値ｒ２Ｌ、ｒ２Ｒを、下記の▲１▼式により算出する。
ｒ２Ｌ ＝ ｘＬ2 ＋ｙＬ2 、 ｒ２Ｒ ＝ ｘＲ2 ＋ｙＲ2 ．．．▲１▼
【００４２】
そして、パラメータ記憶部２３に記憶されている複眼撮像系のパラメータのうち、撮像系の結像倍率β、物体距離ｚ、絞り値Ａと、▲１▼式の出力とからあらかじめ光量補正係数決定部２４内に記憶されている参照テーブルにより左画像および右画像の光量補正係数ｗＬ、ｗＲが決定される。
【００４３】
上記参照テーブルには結像倍率β、物体距離ｚ、絞り値Ａ、光軸からの距離の２乗に対する補正係数の値ｗが４次元配列として記憶されており、一つの結像倍率β、物体距離ｚ、絞り値Ａに対する断面をグラフで表現すると、図４の実線で示した関係となるように光軸での値を１として光軸からの距離の２乗ｒ２が大きくなるに従い、増加するようになる。
【００４４】
詳しくは、撮像系の光軸からの距離の２乗ｒ２に対する光量分布特性が、図４の破線で示した関係である時、実線の関係と破線の関係の積が１となる。これにより、上記各撮像系の撮像パラメータごとに、上記各撮像系の光量分布特性が相殺されるように光量補正係数が決定される。
【００４５】
なお、撮像系のパラメータである結像倍率β、物体距離ｚ、絞り値Ａごとに上記関係の参照テーブルを持っているのは、撮像系の光軸からの距離に対する光量分布特性は撮像系の光学系が本実施例のようにズームレンズ系である場合、一般的に、結像倍率β、物体距離ｚ、絞り値Ａで異なるからである。
【００４６】
したがって、結像倍率β、物体距離ｚ、絞り値Ａで撮像系の光軸からの距離に対する光量分布特性がほとんど変わらない場合、あるいは上記撮像系のパラメータが変化しない撮像系である場合には参照テーブルは光軸からの距離の２乗に対する補正係数の値が１次元配列として記憶されているものである。
【００４７】
画像データ補間部２８では座標変換部２７の変換後の左画像および右画像の二次元座標によって、左画像メモリＬ２１、右画像メモリＲ２２に記憶されている左画像および右画像のデータからそれぞれ双線形補間により補間処理を行い、左画像からの補間値ｇＬと右画像からの補間値ｇＲを求める。
【００４８】
そして、光量補正係数決定部２４の左画像および右画像の光量補正係数ｗＬ、ｗＲから出力画像での補間値ｇが▲２▼式により算出され、出力用画像メモリ２９に出力される。
ｇ ＝ （ｗＬ・ｇＬ＋ｗＲ・ｇＲ）／２ ・・・▲２▼
【００４９】
この時、各撮像系からの画像がオーバーラップしない領域では、画像データの補間値はどちらか一方の画像からしか求まらないので、光量補正係数と画像データの補間値との乗算結果により算出された方の値を出力画像での補間値ｇとして出力用画像メモリ２９に出力する。
なお、以上述べたシステム全体の動作の制御は、図示しないシステム制御部によって行われる。
【００５０】
本実施例の光量補正係数決定部２４は、座標変換部２７の変換後の左画像および右画像の二次元座標から光軸からの距離の２乗にあたる値ｒ２Ｌ、ｒ２Ｒを、上記▲１▼式により算出している。
【００５１】
しかし、本実施例の撮像系のようなズームレンズ系では一般に光学系は光軸に関して回転対称であり、光量分布特性も回転対称となるので像面の全ての座標から個別の光量補正係数を決定するよりも本実施例のように光軸からの距離に一対一に対応する量をまず算出した後、その算出値に基いて光量補正係数を決定する方式は、参照テーブルに必要な記憶領域を少なくできる点で都合が良い。なお、距離の２乗にあたる値の代わりに距離を算出し、その算出値に基いて光量補正係数を決定しても同等の効果が得られる。
【００５２】
次に、本発明の画像合成装置の第２の実施例について説明する。この第２の実施例の構成は、図１に示したものと同じであり、光量補正係数決定部２４以外の処理および動作は本発明の第１実施例と同じである。以下では本実施例の光量補正係数決定部２４の動作について説明する。
【００５３】
光量補正係数決定部２４は、座標変換部２７の変換後の左画像および右画像の二次元座標をそれぞれ（ｘＬ，ｙＬ）、（ｘＲ，ｙＲ）とすると、まずそれぞれの座標の光軸からの距離の２乗にあたる値ｒ２Ｌ、ｒ２Ｒを、上述の▲１▼式により算出する。
【００５４】
そして、パラメータ記憶部２３に記憶されている複眼撮像系のパラメータのうち撮像系の結像倍率β、物体距離ｚ、絞り値Ａと上記▲１▼式の出力とからあらかじめ光量補正係数決定部２４内に記憶されている左画像および右画像の参照テーブルにより左画像および右画像の光量補正係数ｗＬ、ｗＲが決定される。
【００５５】
本実施例では左画像と右画像で別々の参照テーブルが用意されており、結像倍率β、物体距離ｚ、絞り値Ａ、光軸からの距離の２乗に対する補正係数の値が４次元配列として記憶されている。
【００５６】
なお、上述したように、本実施例では左画像と右画像で別々の参照テーブルを持っているので、光量補正係数決定部２４の記憶部の必要容量は大きくなる。しかし、本実施例の場合には、左撮像系と右撮像系のイメージセンサの感度の違いを吸収できるので、特に左撮像系と右撮像系のイメージセンサの感度が大きく異なる時には、第１の実施例に比べて輝度むらのない合成画像が得られる。
【００５７】
【発明の効果】
上述したように、請求項１、４に記載の発明によれば、複数の撮像系の輻輳により画界の一部をオーバーラップして撮像した複数の画像を合成する際に、被写体の距離情報と上記各撮像系のパラメータとを用いて各撮像系によって撮像された各画像の座標を求める座標変換処理を行うとともに、上記座標変換処理の結果得られる上記各画像の座標と、上記各撮像系の撮像パラメータとから光量補正係数を決定し、さらに、上記座標変換処理の結果得られる上記各画像の座標に応じて上記各撮像系からそれぞれ出力される画像信号を補間し、上記光量補正係数を用いてそれぞれの補間値から一つの画像信号に合成するようにしたので、撮像系を構成する光学系の光軸付近と周辺との光量比が著しく異なる場合においても、画像むらのない、高画質の合成画像が得られる。また、合成出力する画像の領域が左右各撮像系の画像の領域を全て含まないような場合にも、補正領域に無駄な領域が生じないようにすることができる。
【００５８】
また、請求項２、５に記載の発明によれば、上記座標変換処理の結果得られる出力から上記撮像系の撮像パラメータごとに上記撮像系の光量分布特性を相殺するよう光量補正係数を決定するようにしたので、あたかも光軸付近と周辺との光量比が１である撮像系からの入力画像から合成したような画像むらのない、高画質の合成画像が得られる。
【００５９】
また、請求項３、６に記載の発明によれば、上記撮像系から出力される画像信号の上記座標変換処理の結果得られる出力に応じた補間値と上記光量補正係数を乗じて、上記撮像系の画像データがオーバーラップする領域においては上記乗算結果の平均値を出力し、それ以外の領域においては上記乗算の結果一つ算出された方の値を出力するようにしたので、オーバーラップする領域においても、或いはオーバーラップしない領域においても補間値を容易に、かつ確実に求めることができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示す画像合成装置の構成を示すブロック図である。
【図２】複眼撮像系の基本配置を示す図である。
【図３】画像合成変換処理の様子を示す図である。
【図４】光量補正係数決定部の参照テーブルを説明する特性図である。
【図５】従来の画像合成装置の構成を示すブロック図である。
【符号の説明】
１ 共通の被写体平面
２Ｌ、２Ｒ イメージセンサ面に共役な物体面
１１Ｌ、１１Ｒ 撮像光学系
１２Ｌ、１２Ｒ イメージセンサ
２０ 複眼撮像装置
２１ 左画像メモリＬ
２２ 右画像メモリＲ
２３ パラメータ記憶部
２４ 光量補正係数決定部
２５ 距離情報メモリ
２６ アドレス発生部
２７ 座標変換部
２８ 画像データ補間部
２９ 出力用画像メモリ
３０ 対応点抽出部
３１ 距離情報算出部
３２ 距離情報補間部
ＬＬ、ＬＲ 撮像系の光軸
Claims (6)
- 複数の撮像系を有し、これらの撮像系の輻輳により画界の一部をオーバーラップして撮像する画像合成装置において、
被写体の距離情報及び前記各撮像系のパラメータを用いて前記各撮像系によって撮像された各画像の座標を求める座標変換処理を行う座標変換処理部と、
前記座標変換処理部より出力された前記各画像の座標と、前記各撮像系の撮像パラメータとから光量補正係数を決定する光量補正係数決定部と、
前記各撮像系からそれぞれ出力される画像信号を前記座標変換処理部より出力された前記各画像の座標に応じて補間し、前記光量補正係数を用いてそれぞれの補間値から一つの画像信号に合成する画像データ補間部とを画像合成変換処理部に設け、
前記複数の撮像系から出力される複数の画像信号を前記画像合成変換処理部により一つの画像信号に合成するようにしたことを特徴とする画像合成装置。 - 前記光量補正係数決定部は、前記各撮像系において前記座標変換処理部の出力から前記各撮像系の撮像パラメータごとに前記各撮像系の光量分布特性を相殺するように光量補正係数を決定することを特徴とする請求項１に記載の画像合成装置。
- 前記画像データ補間部は、前記座標変換処理部の出力に応じた補間値と前記光量補正係数決定部により決定された光量補正係数とを乗じて、前記各撮像系の画像データがオーバーラップする領域においては前記乗算結果の平均値を出力し、それ以外の領域においては前記乗算の結果一つ算出された方の値を出力することを特徴とする請求項１に記載の画像合成装置。
- 複数の撮像系の輻輳により画界の一部をオーバーラップして撮像した複数の画像を合成するための画像処理方法であって、
前記複数の画像に対応する被写体の距離情報及び前記各撮像系のパラメータを用いて前記各撮像系によって撮像された各画像の座標を求める座標変換処理を行う座標変換処理工程と、
前記座標変換処理工程より出力された前記各画像の座標と、前記各撮像系の撮像パラメータとから光量補正係数を決定する光量補正係数決定工程と、
前記各撮像系からそれぞれ出力される画像信号を前記座標変換処理工程より出力された前記各画像の座標に応じて補間し、前記光量補正係数を用いてそれぞれの補間値から一つの画像信号に合成する画像データ補間工程と、
を含むことを特徴とする画像処理方法。 - 前記光量補正係数決定工程は、前記各撮像系において前記座標変換処理工程の出力から前記各撮像系の撮像パラメータごとに前記各撮像系の光量分布特性を相殺するように光量補正係数を決定することを特徴とする請求項４に記載の画像処理方法。
- 前記画像データ補間工程は、前記座標変換処理部の出力に応じた補間値と前記光量補正係数決定工程により決定された光量補正係数とを乗じて、前記各撮像系の画像データがオーバーラップする領域においては前記乗算結果の平均値を出力し、それ以外の領域においては前記乗算の結果一つ算出された方の値を出力することを特徴とする請求項４に記載の画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21253494A JP3639620B2 (ja) | 1994-09-06 | 1994-09-06 | 画像合成装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21253494A JP3639620B2 (ja) | 1994-09-06 | 1994-09-06 | 画像合成装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0879623A JPH0879623A (ja) | 1996-03-22 |
| JP3639620B2 true JP3639620B2 (ja) | 2005-04-20 |
Family
ID=16624272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21253494A Expired - Fee Related JP3639620B2 (ja) | 1994-09-06 | 1994-09-06 | 画像合成装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3639620B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8023016B2 (en) | 2004-12-22 | 2011-09-20 | Panasonic Corporation | Imaging device and manufacturing method thereof |
-
1994
- 1994-09-06 JP JP21253494A patent/JP3639620B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0879623A (ja) | 1996-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3192875B2 (ja) | 画像合成方法および画像合成装置 | |
| JP2888713B2 (ja) | 複眼撮像装置 | |
| US5682198A (en) | Double eye image pickup apparatus | |
| DE69313694T2 (de) | Bildaufnahmevorrichtung mit mehreren Linsen und Korrektur von Falschregistrierung | |
| JP4297111B2 (ja) | 撮像装置、画像処理方法及びそのプログラム | |
| TWI524306B (zh) | 圖像轉換和多視圖輸出系統及方法 | |
| JP5596972B2 (ja) | 撮像装置の制御装置および制御方法 | |
| JP4262305B2 (ja) | 自己立体映像ビデオ装置 | |
| JP3107929B2 (ja) | 複眼撮像装置 | |
| JP4976310B2 (ja) | 撮像装置 | |
| KR101077584B1 (ko) | 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법 | |
| WO2015081870A1 (zh) | 一种图像处理方法、装置及终端 | |
| US10349040B2 (en) | Storing data retrieved from different sensors for generating a 3-D image | |
| JPH08116490A (ja) | 画像処理装置 | |
| JPH08336165A (ja) | 複眼撮像装置 | |
| JP2007259436A (ja) | 最適化された映像合成方法 | |
| JPH07303207A (ja) | 撮像装置 | |
| JP4436488B2 (ja) | ステレオ映像取得装置 | |
| JP3639620B2 (ja) | 画像合成装置及び画像処理方法 | |
| JP3412945B2 (ja) | 画像合成装置及び撮影装置 | |
| JP2883264B2 (ja) | 複眼撮像装置 | |
| US7801441B2 (en) | Method and an apparatus for the taking of an image, in particular by a CCD sensor | |
| JPH05344422A (ja) | 複眼撮像装置 | |
| JP3093447B2 (ja) | 複眼撮像装置 | |
| JP3725606B2 (ja) | 撮影装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041012 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050117 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080121 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100121 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110121 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120121 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130121 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |