JP3412945B2 - 画像合成装置及び撮影装置 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】本発明は、複数の画像を合成して
任意のアスペクト比のパノラマ画像を得るようにした画
像合成装置及び撮影装置に関し、特に被写体が近距離か
ら遠距離にかけて広い範囲に分布している場合に被写体
の距離情報を用いて座標変換処理を行うことにより、高
画質の合成画像を得るようにした画像合成装置及び撮影
装置に関するものである。 【０００２】 【従来の技術】従来より、テレビ或はビデオの画像のア
スペクト比を換える方式（例えばＮＴＳＣの４対３とＨ
Ｄ或はＥＤ２の１６対９とのコンバージョン）として、
出力時に画像の上下または左右をトリミングする方式が
知られている。 【０００３】しかしなから、これらの方式は、撮像した
画像の一部を用いる方式である為、画界が減少してしま
うという欠点があった。 【０００４】例えば、１６対９のイメージセンサを用い
たＨＤカメラで撮像した画像情報を、４対３のＮＴＳＣ
用のモニタで出力する場合、画質的には問題ないが、水
平の画界が１／３も減少してしまう欠点があった。 【０００５】該欠点を解決するため本出願人は、特願平
５−２２３５４４号において、複数の撮像系で各々、画
界の一部をオーバーラップさせて撮像し、各画像を座標
変換処理して合成することにより、画界の広い画像を得
るようにした複眼撮像装置を提案している。 【０００６】同提案では、複数の撮像系を用いて画界の
一部をオーバーラップさせて共通の被写体を撮像する装
置において、該複数の撮像系からの視点の位置ずれ量と
光軸の輻輳角とで視点位置と光軸の方向とが定義される
撮像系を想定し、該仮想の撮像系で撮影されたような、
任意の物体距離及び結像倍率で定義される状態で出力さ
れる一つの画像信号を、合成変換することにより、画質
劣化の少ない、しかも輻輳の際に生じた歪みが補正され
た画像を得るようにしている。 【０００７】図１０は該複眼撮像装置の撮像系の説明図
であり、２つの撮像系１０Ｌ，１０Ｒを用いたときの配
置を示している。 【０００８】図中、１は撮像系１０Ｌ，１０Ｒで撮影し
ようとする被写体平面、１１Ｌ及び１１Ｒは各々等価な
仕様の左側撮像光学系と右側撮像光学系であり、一般的
にはズームレンズが用いられている。 【０００９】１２Ｌ及び１２Ｒは各々等価な仕様の左側
イメージセンサと右側イメージセンサであり、サチコン
等の撮像管又はＣＣＤ等の固体撮像素子を用いている。 【００１０】ＬＬ及びＬＲは各々、撮像光学系１１Ｌ，
１１Ｒの光軸、２Ｌ，２Ｒは各々、イメージセンサ１２
Ｌ，１２Ｒに共役な撮像系１０Ｌ，１０Ｒの物体面であ
る。 【００１１】撮像系１０Ｌ，１０Ｒは、選定したアスペ
クト比に応じて、各々の画界を所要量オーバーラップす
るように、光軸ＬＬ及びＬＲを同一平面内で被写体面１
の法線Ｏ−Ｏ′に対して対称にθ程傾斜した状態に配置
されている。（但し、点Ｏは被写体面１上の点） このとき、２θを輻輳角と称する。また、物体面２Ｌ及
び２Ｒは夫々被写体平面１に対してθ程傾いている。 【００１２】点ＯＬ及びＯＲは夫々、光軸ＬＬ及びＬＲ
と被写体平面１との交点であり、点ＣＬ及びＣＲは夫
々、撮像光学系１１Ｌ及び１１Ｒの主点（詳しくは被写
体側の主点、以下視点とも称する）である。 【００１３】夫々の撮像光学系１１Ｌ及び１１Ｒには、
変倍レンズ群及び合焦レンズ群があり、これらを駆動す
る駆動系、光軸方向の位置情報を得るためのエンコー
ダ、撮像系を該撮像系の光軸を含む平面内で回転する機
構系、駆動系、そして回転角等を検出するエンコーダ等
が夫々に設けられている。 【００１４】そして所望のアスペクト比の画像が得られ
るよう輻輳角制御系が夫々のエンコーダの出力信号に応
じた輻輳角の制御目標値を設定し、輻輳制御を行ってい
る。 【００１５】次に画像合成の方法について図１０、図３
を用いて説明する。 【００１６】図１０に示すように、撮像光学系１１Ｌ及
び１１Ｒの結像倍率をβ、物体距離（ＯＬ−ＣＬ及びＯ
Ｒ−ＣＲの距離）をｚとし、夫々の主点ＣＬ、ＣＲは距
離２ｄ（基線長又は視点の位置ずれ量と称する）だけ離
れて配置されている。 【００１７】そして被写体面１上から法線Ｏ−Ｏ′方向
のＯ′側に向かって距離ｚ′離れた位置に視点をとり、
その視点での仮想的な結像倍率がβ′となるように仮想
的な像面（即ち視点と像面との距離がβ′ｚ′）をとる
とき、第１のイメージセンサ１２Ｌの像面ＬＩ、第２の
イメージセンサ１１Ｒ上の像面ＲＩ及び仮想像面ＩＬＲ
を図３に示している。（但し、図３ではβ＜０，β′＞
０の時の様子を図示している。） 図３において、点ＡＬ，ＢＬ，ＣＬ，ＤＬは夫々、第１
のイメージセンサ１２Ｌの像面ＬＩの対角上の点であ
り、ＡＲ，ＢＲ，ＣＲ，ＤＲは夫々、第２のイメージセ
ンサ１２Ｒの像面ＲＩの対角上の点である。 【００１８】これらの点は夫々、仮想像面ＩＬＲ上の点
ＡＬ′，ＢＬ′，ＣＬ′，ＤＬ′，ＡＲ′，ＢＲ′，Ｃ
Ｒ′，ＤＲ′に対応している。 【００１９】また、点ＥＬ，ＦＬ，ＥＲ，ＦＲは同図に
示すように、像面ＬＩ，ＲＩのオーバーラップの中心と
なる上下辺上の点であり、仮想像面ＩＬＲ上では点
Ｅ′，Ｆ′に対応し、一致している。 【００２０】このとき像面ＬＩ，ＲＩ，ＩＬＲの中心を
夫々原点とし、水平方向をｘ軸、垂直方向をｙ軸とし
て、各像面ＬＩ，ＲＩ，ＩＬＲにおける像点の座標を定
義すると、像面ＬＩ上の像点（ｘ１，ｙ１）は仮想像面
ＩＬＲ上で式で表される像点（ｘ１′，ｙ１′）に対
応する。 【００２１】 【数２】 同様に像面ＲＩ上の像点（ｘ２，ｙ２）は仮想像面ＩＬ
Ｒ上で式で表される像点（ｘ２′，ｙ２′）に対応す
る。 【００２２】 【数３】 従って、，式に示すような幾何変換処理を施し、オ
ーバーラップさせた領域で該複数の画像を合成すること
により、輻輳のある複数のイメージセンサ１２Ｌ，１２
Ｒ上の画像を１つの仮想像面ＩＬＲ上の画像として得ら
れるようにしている。 【００２３】この他、特開平５−１１０９２６号公報等
では、オーバーラップして撮影した複数の画像を夫々、
座標変換処理し変換後の各画像を合成することにより、
歪曲収差を補正した高精度な画像を得る画像合成装置が
提案されている。 【００２４】 【発明が解決しようとする課題】上記特願平５−２２３
５４４号において、被写体が広い範囲に分布している場
合、例えば人物等の主要な被写体までの距離と、背景ま
での距離とが著しく異なるとき（以下、距離分布を有す
ると称す）、以下の問題点が生じることがあった。 【００２５】例えば、図４に示す物体距離ｚと異なる距
離に物体Ａがあるような場合を想定したとき、，式
の幾何変換処理を行うと、物体距離ｚと物体Ａまでの距
離の差の分だけ仮想像面ＩＬＲ上での物体Ａの位置がズ
レてしまう。 【００２６】そこで、物体Ａ上の或る点ａ１までの距離
をｚＡ、該点の各イメージセンサ１２Ｌ，１２Ｒ上での
座標を各々（ｘ１，ｙ１），（ｘ２，ｙ２）としたと
き、位置ズレが発生しない理想的な像点の、仮想像面Ｉ
ＬＲ上の座標（ｘ１″，ｙ１″），（ｘ２″，ｙ２″）
を求めると、夫々以下に示す，式のようになる。 【００２７】 【数４】従って、物体距離ｚと被写体中の各点までの距離との差
により画像のズレが生じ、そのズレ量が夫々次式のよう
になる。 【００２８】 Δｘ１＝ｘ１″−ｘ１′，Δｙ１＝ｙ１″−ｙ１′ Δｘ２＝ｘ２″−ｘ１′，Δｙ２＝ｙ２″−ｙ２′ このため、物体Ａの点ａ１は、例えば図５に示すように
理想的な位置ａに対して、ｘ方向にΔｘ１、Δｘ２、ｙ
方向にΔｙ１、Δｙ２だけズレが生じて、出力画像の画
質が劣化することがあるという問題点があった。本発明
は、複数の画像を座標変換して合成する際、距離情報に
基づいた座標変換を行うことにより、画質劣化が少なく
高精度な画像が得られる画像合成装置及び撮影装置の提
供を目的としている。 【００２９】 【課題を解決するための手段】請求項１の発明の撮影装
置は、光学系Ｌ１により撮像素子Ｓ１上に被写体像を形
成して撮影する第１の撮像系と、光学系Ｌ２により撮像
素子Ｓ２上に被写体像を形成して撮影する第２の撮像系
と、を有する撮影手段により被写体を、該第１の撮像系
で得られる撮影画像Ｇ１と該第２の撮像系から得られる
撮影画像Ｇ２の一部がオーバーラップするように撮影
し、画像合成変換処理手段により、該撮影画像Ｇ１と該
撮影画像Ｇ２とを合成変換処理して１つの出力画像を得
る際、該出力画像に係る倍率β´と物体距離ｚ´とを設
定し、該第１の撮像系の撮影方向と該第２の撮像系の撮
影方向との相対的な傾き角を２θとし、該傾き角２θの
二等分線上に主点Ｃｏを定め、該出力画像の座標を、該
出力画像の中心を原点とし所定方向をＸ′軸、該Ｘ′軸
と直交する方向をＹ′軸としたときの、該座標（Ｘ´、
Ｙ′）で示す出力画像上の点に対応する被写体上の点か
ら主点Ｃｏまでの距離Ｚを距離検出部で検出し、該撮影
画像Ｇ１の座標を、該撮影画像Ｇ１の中心を原点とし
Ｘ′軸に相当する方向をＸＬ、該Ｙ′軸に相当する方向
をＹＬで示し、該撮影画像Ｇ２の座標を、該撮影画像Ｇ
２の中心を原点としＸ′軸に相当する方向をＸＲ、該
Ｙ′軸に相当する方向をＹＲで示し、該光学系Ｌ１の被
写体側主点と該光学系Ｌ２の被写体側主点との距離を２
ｄ、該光学系Ｌ１及び該光学系Ｌ２の結像倍率をβ、該
光学系Ｌ１及び該光学系Ｌ２の物体距離をｚ、としたと
き、該画像合成変換処理手段では座標（Ｘ′、Ｙ′）の
画像データを 【数２】を略満足する、座標（ＸＬ、ＹＬ）及び（ＸＲ、ＹＲ）
の画像データから補間して求めていることを特徴として
いる。 【００３０】 【００３１】 【００３２】 【００３３】 【実施例】図１は本発明の実施例１の要部ブロック図、
図２は本実施例における複眼撮影手段の基本配置を示す
説明図である。 【００３４】同図において、２０は複眼撮影手段であ
り、２つの撮影系１０Ｌ，１０Ｒを有し、任意のアスペ
クト比の出力画像が得られるよう画界の一部をオーバー
ラップさせて撮影している。 【００３５】４０は画像合成変換処理手段であり、後述
のように撮影系１０Ｌ，１０Ｒからの撮影画像を合成変
換し、該合成変換した画像を出力している。 【００３６】１は該出力した画像を撮影する撮像系を想
定したときの仮想の物体面である。 【００３７】撮影系１０Ｌ，１０Ｒは、各々等価な仕様
の、左側撮像光学系１１Ｌ，右側撮像光学系１１Ｒと、
左側イメージセンサ１２Ｌ，右側イメージセンサ１２Ｒ
とを有しており、該撮像光学系１１Ｌ，１１Ｒにはズー
ムレンズを用いている。 【００３８】ＬＬ及びＬＲは各々、撮像光学系１１Ｌ、
１１Ｒの光軸（撮影方向）、２Ｌ、２Ｒは各々、撮像系
１０Ｌ、１０Ｒの物体面である。そしてＣＬ、ＣＲは夫
々、撮像光学系１１Ｌ、１１Ｒの主点（詳しくは被写体
側の主点）であり、該主点ＣＬ、ＣＲの間隔（基線長）
は２ｄである。 【００３９】複眼撮影手段２０には、撮像光学系１１
Ｌ，１１Ｒの変倍レンズ群及び合焦レンズ群を駆動する
駆動系や、該変倍レンズ群及び合焦レンズ群の光軸方向
の位置情報を得るためのエンコーダ、そして撮像系１０
Ｌ，１０Ｒを光軸ＬＬ，ＬＲを含む平面内で回転する機
構系、駆動系、そして回転角等を検出するエンコーダ等
が設けられている。 【００４０】複眼撮影手段２０は、撮像系１０Ｌの撮影
方向と撮像系１０Ｒの撮影方向と（図２中、光軸ＬＬ，
ＬＲと同じ）が略同一の平面内（水平面内）において相
対的な傾きを有するように配置しており、各撮影方向が
像側の点Ｏ′に輻輳するときの、輻輳角（∠ＣＬＯ′Ｃ
Ｒ）を、上記各エンコーダからの出力信号に基づき輻輳
角制御系で、所望のアスペクト比の出力画像が得られる
ように制御目標値を設定し、制御を行っている。 【００４１】該出力した画像を撮影する撮像系を想定し
たときの仮想の物体面１は輻輳角２θの二等分線Ｏ−
Ｏ′を法線とする平面（但し点Ｏは被写体平面１の中心
点）である。そして該点Ｏから仮想の主点Ｃｏまでの距
離をｚ′、このときの結像倍率をβ′としている。 【００４２】２１は画像メモリＬであり、撮像系１０Ｌ
からの左画像をデジタル画像データとして記憶しておく
記憶部、同様に２２は画像メモリＲであり、撮像系１０
Ｒからの右画像をデジタル画像データとして記憶してお
く記憶部である。 【００４３】２３はパラメータ記憶部であり、複眼撮影
手段２０のパラメータである撮像系１０Ｌ，１０Ｒの基
線長２ｄ、輻輳角θ、結像倍率β及び物体距離ｚ、並び
に出力画像の仮想撮像系の結像倍率β′及び物体距離
ｚ′等を記憶している。 【００４４】２４は被写体までの距離を計測する三次元
計測手段であり、例えば図６に示すような光レーダ型と
なっている。 【００４５】三次元計測手段２４はパルスレーザ２４１
からのレーザ光を、ビームスプリッタ２４２，２４３を
透過させて対象物体（被写体）に照射し、該対象物体で
反射された反射光をビームスプリッタ２４３で偏向して
計時回路２４４に導光し検出した時間と、パルスレーザ
２４１からの光束をビームスプリッタ２４２で偏向し計
時回路２４４に導光して検出した時間と、の時間差から
変換回路２４５によって、主点Ｃｏから対象物体までの
距離Ｚを求めている。そして、上記パルスレーザ２４１
のレーザ光を二次元的に走査することにより、被写体全
体に亘る距離Ｚ（距離情報）を得ている。 【００４６】２５は距離情報メモリであり、該三次元計
測手段２４で得た距離情報を記憶している。２６はアド
レス発生部であり、出力する画像のアドレス（図３
（Ｃ）に示すｘ，ｙ軸で定める座標）を順次発生し、座
標変換部２７に送っている。 【００４７】座標変換部２７ではパラメータ記憶部２３
に記憶されている各パラメータと、距離情報メモリ２５
に記憶されている距離データＺとに基づいて、アドレス
発生部２６で発生させたアドレスから、左画像及び右画
像の二次元座標を求めている。 【００４８】２８は画像データ補間部であり、座標変換
部２７で求めた二次元座標のデータを、画像メモリＬ２
１及び画像メモリＲ２２に記憶されている左眼画像及び
右画像のデータを補間処理して求め、出力用画像メモリ
２９に出力している。 【００４９】これらの各要素２１，２２，２３，２４，
２５，２６，２７，２８，２９は画像合成変換処理手段
４０の一要素を構成している。 【００５０】複眼撮影手段２０からなるシステム全体の
制御は、不図示のシステム制御部によって行われてい
る。 【００５１】本実施例では、出力画像のアスペクト比
と、該出力画像を撮影する撮像系を想定したときの仮想
物体面（被写体面１）を予め設定し、該アスペクト比の
出力画像が得られるように撮像系１０Ｌ，１０Ｒの各物
体面をオーバーラップさせ、被写体面１を有し該出力画
像を得られるような撮像系の物体距離ｚ′及び結像倍率
β′を仮定し、画像合成変換処理手段４０で、撮像系１
０Ｌ，１０Ｒからの撮影画像を距離情報に基づいて座標
変換処理しつつ合成することにより、画像劣化が少なく
特に広い画界を有した画像を得られるようにしている。 【００５２】次に、座標変換部２７における合成変換処
理について説明する。座標変換部２７はアドレス発生部
２６から送られてきた出力画像面内の座標を（ｘ′，
ｙ′）とすると、左画像及び右画像の座標（ｘＬ，ｙ
Ｌ）、（ｘＲ，ｙＲ）は，式の逆変換（θ→−θ，
ｄ→−ｄとしたもの）、即ち上述の，式により求ま
る。 【００５３】従って、複眼撮影手段２０のパラメータで
ある基線長２ｄ、輻輳角θ、結像倍率β及び物体距離
ｚ、並びに仮想撮像系のパラメータである結像倍率β′
及び物体距離ｚ′をパラメータ記憶部２３から、また距
離情報Ｚを出力画像面内の座標（ｘ′，ｙ′）に応じて
距離情報メモリ２５から読み出し、，式の計算を行
って、左画像及び右画像の座標（ｘＬ，ｙＬ），（ｘ
Ｒ，ｙＲ）を画像データ補間部２８に送っている。 【００５４】次に本発明の実施例２について説明する。
図７は本実施例の構成を示すブロック図であり、図中、
図１と比べ略同一の要素には同符号を付して一部説明を
省略している。 【００５５】本実施例では図１の実施例１と比べ距離情
報を入力画像のオーバーラップ領域から対応点を抽出し
て算出している点が異なっている。 【００５６】３０は対応点抽出部であり、画像メモリＬ
２１，画像メモリＲ２２に記憶された画像のオーバーラ
ップ領域から対応点を抽出している。３１は距離情報算
出部であり、該対応点の各画像上での座標と、パラメー
タ記憶部２３に記憶された各パラメータと、に基づいて
距離情報を算出している。３２は距離情報補間部であ
り、オーバーラップしていない領域の距離情報を補間処
理により求めている。 【００５７】対応点抽出部３０では、画像メモリＬ２１
の小領域をテンプレートとして設定し、該テンプレート
に位置オフセットをかけて、平行移動させて、画像メモ
リＲ２２の画像データとのテンプレートマッチング（テ
ンプレートと画像メモリＲ２２の画像データとの照合）
を行ない、左画像の座標（ｘＬ，ｙＬ）に対応する右画
像の座標（ｘＲ，ｙＲ）を検出している。 【００５８】距離情報算出部３１では、対応点抽出部３
０の対応点情報である左画像及び右画像の座標（ｘＬ，
ｙＬ），（ｘＲ，ｙＲ）とパラメータ記憶部２３に記憶
されている基線長２ｄ、輻輳角θ、結像倍率β、物体距
離ｚ、出力画像の仮想撮像系の結像倍率β′、物体距離
ｚ′より、距離データＺと出力画像面内の座標（Ｘ′，
Ｙ′）を算出して距離情報メモリ２５に格納している。
尚、本実施例では距離情報メモリ２５に距離情報として
１／Ｚの値を格納している。 【００５９】この距離情報メモリ２５に格納される距離
情報データは出力画像面内の一部の領域のデータであ
り、図８に示す仮想像面上の斜線で示された領域のデー
タは左画像と右画像のオーバーラップした領域ではない
ため対応点抽出部３０で対応点が検出できず距離情報が
求まらない。 【００６０】距離情報補間部３２では、このような領域
の距離情報について、予め算出されたオーバーラップ部
の距離情報から補間している。 【００６１】図８に示す距離情報の求まらない領域は、
オーバーラップ部の外側で左側部分（図でＯＬで示す領
域）、オーバーラップ部の外側で右側部分（図でＯＲで
示す領域、オーバーラップ部の内側で左側部分（図でＩ
Ｌで示す領域）、オーバーラップ部の内側で右側部分
（図でＩＲで示す領域）に分けられる。 【００６２】距離情報補間部３２での補間はＯＬ領域で
は右側のオーバーラップ部の距離情報データから、ＯＲ
領域では左側のオーバーラップ部の距離情報データから
行われる。 【００６３】また、ＩＬ領域ではこの場合、背景部分に
当たると考えられるので距離情報の遠い方のオーバーラ
ップ部の距離情報データ（即ち右側のオーバーラップ部
の距離情報データ）から補間が行われ、同様にＩＲ領域
では距離情報の遠い方のオーバーラップ部の距離情報デ
ータ（即ち左側のオーバーラップ部の距離情報データ）
から補間が行われる。 【００６４】図９は補間処理の様子を示した図であり、
図８の破線ＰＰ′での断面を示している。図９におい
て、実線部分が予め距離情報の算出されているデータで
あり、点線部分が補間部である。 【００６５】このほか補間の方法としては、最も近い水
平方向のオーバーラップ部の距離情報をそのまま割り当
てても良い。このとき、オーバーラップ部の境界で距離
情報が著しく異なる場合には、該境界での（即ちｙ方向
での）距離情報の平均値又は中央値を割り当てると良
い。 【００６６】更に、オーバーラップ部の距離情報データ
から距離Ｚの分布をスプライン関数等で関数近似し、補
間を行っても良い。 【００６７】この場合には距離情報の補間処理が複雑に
なるが、滑らかに距離情報が補間でき、更に良好な出力
画像を得られるようにしている。 【００６８】本実施例ではこのようにして求められた距
離情報を用い、座標変換部２７で，式に基づいて座
標変換を行っている。 【００６９】尚、結像倍率β′、物体距離ｚ′は任意の
係数であり、例えば結像倍率β′を−１、物体距離ｚ′
を１とした場合、 【００７０】 【数６】 となる。 【００７１】また、本発明に係る画像合成装置として
は、上述のような複眼撮影手段の各パラメータを、随
時、該複眼撮影手段のエンコーダ等から求めて合成変換
処理するものの他、予め撮影した撮影画像を各パラメー
タと共に記憶された記憶媒体から該撮影画像及び各パラ
メータを再生する際に合成変換処理するもの、そして各
パラメータを予め定めた所定の方式で撮影しておき、該
方式に則っとり合成変換処理するものであっても良い。 【００７２】 【発明の効果】本発明によれば、複数の画像を座標変換
して合成する際、距離情報に基づいた座標変換を行うこ
とにより、画質劣化が少なく高精度な画像が得られる画
像合成装置及び撮影装置を達成することができる。

【図面の簡単な説明】 【図１】 本発明の実施例１の要部ブロック図 【図２】 本発明の実施例１の複眼撮影手段の説明図 【図３】 撮影光学系の像面と仮想像面の説明図 【図４】 従来の複眼撮影手段において被写体が広い距
離分布を持つ場合の説明図 【図５】 従来の画像合成変換処理で生じる画像の位置
ズレの説明図 【図６】 三次元計測手段の説明図 【図７】 本発明の実施例２の要部ブロック図 【図８】 仮想像面における距離情報の補間処理の説明
図 【図９】 距離情報の補間の状態の説明図 【図１０】 従来の複眼撮影手段の説明図 【符号の説明】 ＬＬ，ＬＲ 光軸 １０Ｌ，１０Ｒ 撮像系 １１Ｌ，１１Ｒ 撮像光学系 １２Ｌ，１２Ｒ イメージセンサ ２Ｌ，２Ｒ 物体面 ２４１ パルスレーザ ２４２，２４３ ビームスプリッタ ２４４ 計時回路 ２４５ 変換回路 ２０ 複眼撮影手段 ２１，２２ 画像メモリ ２３ パラメータ記憶部 ２４ 三次元計測手段 ２５ 距離情報メモリ ２６ アドレス発生部 ２７ 座標変換部 ２８ 画像データ補間部 ２９ 出力用メモリ ３０ 対応点抽出部 ３１ 距離情報算出部 ３２ 距離情報補間部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−18857（ＪＰ，Ａ) 特開 平７−79379（ＪＰ，Ａ) 特開 平７−135605（ＪＰ，Ａ) 特開 平５−344422（ＪＰ，Ａ) 特開 平５−110926（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/225 - 5/232 H04N 5/262 - 5/265

Claims (1)

1. (57)【特許請求の範囲】【請求項１】 光学系Ｌ１により撮像素子Ｓ１上に被写
   体像を形成して撮影する第１の撮像系と、光学系Ｌ２に
   より撮像素子Ｓ２上に被写体像を形成して撮影する第２
   の撮像系と、を有する撮影手段により被写体を、該第１
   の撮像系で得られる撮影画像Ｇ１と該第２の撮像系から
   得られる撮影画像Ｇ２の一部がオーバーラップするよう
   に撮影し、 画像合成変換処理手段により、該撮影画像Ｇ１と該撮影
   画像Ｇ２とを合成変換処理して１つの出力画像を得る
   際、該出力画像に係る倍率β´と物体距離ｚ´とを設定
   し、 該第１の撮像系の撮影方向と該第２の撮像系の撮影方向
   との相対的な傾き角を２θとし、該傾き角２θの二等分
   線上に主点Ｃｏを定め、 該出力画像の座標を、該出力画像の中心を原点とし所定
   方向をＸ′軸、該Ｘ′軸と直交する方向をＹ′軸とした
   ときの、該座標（Ｘ´、Ｙ′）で示す出力画像上の点に
   対応する被写体上の点から主点Ｃｏまでの距離Ｚを距離
   検出部で検出し、該撮影画像Ｇ１の座標を、該撮影画像
   Ｇ１の中心を原点としＸ′軸に相当する方向をＸＬ、該
   Ｙ′軸に相当する方向をＹＬで示し、該撮影画像Ｇ２の
   座標を、該撮影画像Ｇ２の中心を原点としＸ′軸に相当
   する方向をＸＲ、該Ｙ′軸に相当する方向をＹＲで示
   し、該光学系Ｌ１の被写体側主点と該光学系Ｌ２の被写
   体側主点との距離を２ｄ、該光学系Ｌ１及び該光学系Ｌ
   ２の結像倍率をβ、該光学系Ｌ１及び該光学系Ｌ２の物
   体距離をｚ、としたとき、 該画像合成変換処理手段では座標（Ｘ′、Ｙ′）の画像
   データを 【数１】 を略満足する、座標（ＸＬ、ＹＬ）及び（ＸＲ、ＹＲ）
   の画像データから補間して求めていることを特徴とする
   撮影装置。