JP5190882B2

JP5190882B2 - 複眼撮影装置およびその制御方法並びにプログラム

Info

Publication number: JP5190882B2
Application number: JP2008286227A
Authority: JP
Inventors: 真樹小濱
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-11-07
Filing date: 2008-11-07
Publication date: 2013-04-24
Anticipated expiration: 2028-11-07
Also published as: JP2010114712A

Description

本発明は、被写体を異なる位置から撮影することにより、３次元表示が可能な複数の画像を取得する複眼撮影装置およびその制御方法並びに複眼撮影装置の制御方法をコンピュータに実行させるためのプログラムに関するものである。

複数の画像を組み合わせて３次元表示することにより、視差を利用して立体視できることが知られている。このような立体視は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を３次元表示することにより生成することができる。

また、このような３次元表示を行うための撮影を行う、複数の撮影部を有する複眼カメラが提案されている。このような複眼カメラは、所定の間隔にて配置された複数の撮影部を備え、複数の撮影部が取得した画像から３次元表示用画像を生成し、生成した３次元表示用画像をモニタに３次元表示することができる。

このような複眼カメラにおいては、複数の撮影部における焦点位置および露出等の撮影条件が一致しないと、複数の画像間において明るさが異なったり、合焦する被写体が異なったりするため、３次元表示を行った際に、適切に立体視を行うことができない。このため、複数の撮影部が撮影した画像において重複する領域を用いて、各撮影部の焦点位置を検出する手法が提案されている（特許文献１参照）。また、複数の撮影部のうちの１つの撮影部の合焦動作を行い、他の撮影部についてはその１つの撮影部と同様の合焦動作を行う手法も提案されている（特許文献２参照）。
特開平７−６７０２３号公報特開平７−１５７４９号公報

しかしながら、特許文献１に記載された手法においては、各撮影部の画角に複数の被写体が含まれる場合、各撮影部が撮影した画像の重複範囲が大きいと、重複範囲に複数の被写体が含まれる可能性がある。このような場合、各撮影部において異なる被写体に合焦するように焦点位置が決定されてしまうおそれがある。また、特許文献２に記載された手法においては、撮影部間の光学系の個体差により、１つの撮影部の焦点位置と他の撮影部の焦点位置とが必ずしも一致しない場合があるため、他の撮影部において、１つの撮影部と同一の被写体に合焦しないおそれがある。

本発明は上記事情に鑑みなされたものであり、複数の撮影部を備えた複眼撮影装置において、共通する被写体を用いて撮影条件を決定できるようにすることを目的とする。

本発明による複眼撮影装置は、互いに異なる位置において撮影を行うことにより、３次元表示が可能な複数の画像を取得する複数の撮影手段と、
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから所定被写体を検出する被写体検出手段と、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された１つの所定被写体を、前記撮影条件を決定するための基準被写体に決定し、該基準被写体における少なくとも１つの特徴点を検出する特徴点検出手段と、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定する被写体決定手段と、
前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定する撮影条件決定手段とを備えたことを特徴とするものである。

「特徴点」とは、所定被写体に固有の特徴を表すものであり、例えば所定被写体を顔とした場合、左右目頭、左右目尻および左右口角等を特徴点として用いることができる。また、所定被写体に含まれるエッジを含む領域を特徴点として用いることもできる。

なお、本発明による複眼撮影装置においては、前記撮影条件が焦点位置である場合、前記撮影条件決定手段を、前記基準被写体および前記対応被写体に合焦するように、前記複数の撮影手段のそれぞれの焦点位置を決定する手段としてもよい。

また、本発明による複眼撮影装置においては、前記撮影条件が露出条件である場合、前記撮影条件決定手段を、前記基準被写体および前記対応被写体が所定の明るさとなるように、前記複数の撮影手段のそれぞれの露出値を決定する手段としてもよい。

また、本発明による複眼撮影装置においては、前記所定被写体を人物の顔としてもよい。

本発明による複眼撮影装置の制御方法は、互いに異なる位置において撮影を行うことにより、３次元表示が可能な複数の画像を取得し、
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから所定被写体を検出し、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された１つの所定被写体を、前記撮影条件を決定するための基準被写体に決定し、
該基準被写体における少なくとも１つの特徴点を検出し、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定し、
前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定することを特徴とするものである。

なお、本発明による複眼撮影装置の制御方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、撮影条件を決定するために複数の撮影手段が取得した複数の画像のそれぞれから所定被写体が検出され、複数の画像のそれぞれから複数の所定被写体が検出された場合に、複数の画像のうちの基準となる基準画像から検出された１つの所定被写体が、撮影条件を決定するための基準被写体に決定される。そして、基準被写体における少なくとも１つの特徴点が検出され、基準画像以外の他の画像から検出された所定被写体において、特徴点に対応する対応点を探索することにより、他の画像において基準被写体に対応する対応被写体が決定され、基準被写体および対応被写体に基づいて、複数の撮影手段のそれぞれの撮影条件が決定される。これにより、各撮影手段においては共通する被写体を用いて撮影条件が決定されるため、各撮影手段が取得した画像においては、共通する被写体に焦点位置を合わせたり、共通する被写体の露出を一致させたりすることができる。したがって、複数の画像を用いて３次元表示を行った場合に、共通する被写体を良好に立体視することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による複眼撮影装置を適用した複眼カメラの内部構成を示す概略ブロック図である。図１に示すように本実施形態による複眼カメラ１は、２つの撮影部２１Ａ，２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。なお、撮影部２１Ａ，２１Ｂは、所定の基線長および輻輳角を持って被写体を撮影可能なように配置されている。

図２は撮影部２１Ａ，２１Ｂの構成を示す図である。図２に示すように、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂ、ズームレンズ１１Ａ，１１Ｂ、絞り１２Ａ，１２Ｂ、シャッタ１３Ａ，１３Ｂ、ＣＣＤ１４Ａ，１４Ｂ、アナログフロントエンド（ＡＦＥ）１５Ａ，１５ＢおよびＡ／Ｄ変換部１６Ａ，１６Ｂをそれぞれ備える。また、撮影部２１Ａ，２１Ｂは、フォーカスレンズ１０Ａ，１０Ｂを駆動するフォーカスレンズ駆動部１７Ａ，１７Ｂ、ズームレンズ１１Ａ，１１Ｂを駆動するズームレンズ駆動部１８Ａ，１８Ｂ、および絞り１２Ａ，１２Ｂを駆動する絞り駆動部１９Ａ，１９Ｂを備える。

フォーカスレンズ１０Ａ，１０Ｂは被写体に焦点を合わせるためものであり、モータとモータドライバとからなるフォーカスレンズ駆動部１７Ａ，１７Ｂによって光軸方向に移動可能である。フォーカスレンズ駆動部１７Ａ，１７Ｂは、後述する撮影制御部２２が行うＡＦ処理により決定された焦点位置を表す合焦データに基づいてフォーカスレンズ１０Ａ，１０Ｂの移動を制御する。

ズームレンズ１１Ａ，１１Ｂは、ズーム機能を実現するためのものであり、モータとモータドライバとからなるズームレンズ駆動部１８Ａ，１８Ｂによって光軸方向に移動可能である。ズームレンズ駆動部１８Ａ，１８Ｂは不図示のズームレバーが操作されることによるＣＰＵ３４からの指示に基づいて、ズームレンズ１１Ａ，１１Ｂの移動を制御する。

絞り１２Ａ，１２Ｂは、撮影制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、絞り駆動部１９Ａ，１９Ｂにより絞り径の調整が行われる。

シャッタ１３Ａ，１３Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタ速度に応じて駆動される。

ＣＣＤ１４Ａ，１４Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、ＣＣＤ１４Ａ，１４Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ１５Ａ，１５Ｂは、ＣＣＤ１４Ａ，１４Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部１６Ａ，１６Ｂは、ＡＦＥ１５Ａ，１５Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。

撮影制御部２２は、ＡＦ処理部２２ＡおよびＡＥ処理部２２Ｂからなる。ＡＦ処理部２２Ａは入力部３５に含まれるレリーズボタンの半押し操作により撮影部２１Ａ，２１Ｂがプレ撮影を行うことにより取得したプレ画像に基づいて、プレ画像上の合焦領域を決定するとともにフォーカスレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２１Ｂに出力する。ＡＥ処理部２２Ｂは、プレ画像に基づいて絞り値およびシャッタ速度を露出値として決定し、撮影部２１Ａ，２１Ｂに出力する。

また、撮影制御部２２は、レリーズボタンの全押し操作により、撮影部２１Ａ，２１Ｂに対して第１および第２の画像Ｇ１，Ｇ２の本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部２２は、撮影部２１Ａに対して撮影範囲を確認させるための、第１および第２の画像Ｇ１，Ｇ２よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を行う。

なお、撮影制御部２２のＡＦ処理部２２Ａは、スルー画像の撮影中においてもＡＦ処理を行う。この場合のＡＦ処理は、プレ画像に基づくＡＦ処理と比較して、簡易な演算により行われるものである。

画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部２３における処理後の第１および第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施され、後述するように３次元表示のために第１および第２の画像Ｇ１，Ｇ２の本画像から生成された３次元表示用画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、３次元表示を行うための３次元画像ファイルを生成する。この３次元画像ファイルは、第１および第２の画像Ｇ１，Ｇ２の画像データおよび３次元表示用画像の画像データを含むものとなる。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。

フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして３次元画像ファイル等の書き込みと読み込みの制御を行う。

内部メモリ２７は、複眼カメラ１において設定される各種定数、およびＣＰＵ３４が実行するプログラム等を記憶する。

表示制御部２８は、撮影時においてフレームメモリ２５に格納された第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたり、記録メディア２９に記録されている第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたりする。また、表示制御部２８は、後述するように３次元処理が行われた第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示したり、記録メディア２９に記録されている３次元画像ファイルをモニタ２０に３次元表示することも可能である。なお、２次元表示と３次元表示との切り替えは自動で行ってもよく、後述する入力部３５を用いての撮影者からの指示により行ってもよい。ここで、３次元表示が行われている場合、レリーズボタンが押下されるまでは、第１および第２の画像Ｇ１，Ｇ２のスルー画像がモニタ２０に３次元表示される。

なお、表示モードが３次元表示に切り替えられた場合には、後述するように第１および第２の画像Ｇ１，Ｇ２の双方が表示に用いられ、２次元表示に切り替えられた場合は第１および第２の画像Ｇ１，Ｇ２のいずれか一方が表示に用いられる。

また、本実施形態による複眼カメラ１は３次元処理部３０を備える。３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示させるために、第１および第２の画像Ｇ１，Ｇ２に３次元処理を行う。ここで、本実施形態における３次元表示としては、公知の任意の方式を用いることができる。例えば、第１および第２の画像Ｇ１，Ｇ２を並べて表示して裸眼平衡法により立体視を行う方式、またはモニタ２０にレンチキュラーレンズを貼り付け、モニタ２０の表示面の所定位置に画像Ｇ１，Ｇ２を表示することにより、左右の目に第１および第２の画像Ｇ１，Ｇ２を入射させて３次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ２０のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ２０の表示面に第１および第２の画像Ｇ１，Ｇ２をバックライトの左右への分離にあわせて交互に表示することにより、３次元表示を実現するスキャンバックライト方式等を用いることができる。

なお、モニタ２０は３次元表示の方式に応じた加工がなされている。例えば、３次元表示の方式がレンチキュラー方式の場合には、モニタ２０の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ２０の表示面に取り付けられている。

また、本実施形態による複眼カメラ１は顔検出部３１、特徴点検出部３２および被写体決定部３３を備える。

顔検出部３１は、テンプレートマッチングによる手法、あるいは顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、第１および第２の画像Ｇ１，Ｇ２から顔を検出し、検出した顔を囲む所定範囲の領域を顔領域として検出する。ここで、顔領域は、ＡＥ処理およびＡＦ処理により、顔の明るさを適切にしたり、顔に合焦させたりするための撮影条件を決定するために使用される領域である。なお、第１および第２の画像Ｇ１，Ｇ２に複数の人物が含まれる場合、顔検出部３１は、すべての顔領域を検出する。

特徴点検出部３２は、顔検出部３１が１つの画像から複数の顔領域を検出した場合、第１および第２の画像Ｇ１，Ｇ２のうちの基準となる第１の画像Ｇ１から検出した複数の顔領域のうちの１つの顔領域を基準顔領域に決定し、基準顔領域から顔を構成する主要な顔部品の位置を顔の特徴点として検出する。ここで、特徴点検出部３２は、第１の画像Ｇ１の最も中心に位置する顔領域または最も大きい顔領域を基準顔領域に決定する。本実施形態においては、画像Ｇ１の最も中心に近い位置にある顔領域を基準顔領域に決定するものとする。例えば、図３に示すように第１の画像Ｇ１から３つの顔領域Ｆ１〜Ｆ３が検出された場合、最も中心に近い位置にある顔領域Ｆ３を基準顔領域ＢＦ０に決定する。

なお、特徴点検出部３２は、具体的には、各顔部品のテンプレートを用いたテンプレートマッチングによる手法、あるいは顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔部品毎の判別器を用いる手法等により、例えば左右目頭、左右目尻および左右口角の計６個の特徴点の位置を特徴点として検出する。例えば、図３に示すように基準顔領域ＢＦ０である顔領域Ｆ３から６個の特徴点Ｔ１〜Ｔ６を検出する。なお、これらの６個の特徴点の他、左右小鼻および上唇等を特徴点に加えてもよい。

被写体決定部３３は、基準顔領域ＢＦ０に含まれる特徴点Ｔ１〜Ｔ６に対応する対応点の探索を、第２の画像Ｇ２から検出されたすべての顔領域に対して順次行い、対応点が探索された顔領域を基準顔領域ＢＦ０に対応する対応顔領域ＣＦ０に決定する。例えば、図４に示すように第２の画像Ｇ２から３つの顔領域Ｆ１１〜Ｆ１３が検出された場合、左側に位置する顔領域Ｆ１１から順に、特徴点Ｔ１〜Ｔ６に対応する対応点を探索する。なお、対応点の探索は、特徴点Ｔ１〜Ｔ６を中心とする所定範囲の領域を基準顔領域ＢＦ０から切り出し、切り出した領域をテンプレートとして、各顔領域Ｆ１１〜Ｆ１３とのテンプレートマッチングを行い、相関値が所定のしきい値以上となる顔領域Ｆ１１〜Ｆ１３上の画素を探索することにより行う。

ここで、図４に示すように第２の画像Ｇ２から顔領域Ｆ１１〜Ｆ１３が検出された場合、最も中心に近い位置にある顔領域は顔領域Ｆ１２であるが、基準顔領域ＢＦ０に対応する対応顔領域ＣＦ０は顔領域Ｆ１３となる。なお、対応点が検出されなかった場合、被写体決定部３３は、第２の画像Ｇ２における最も中心に近い顔領域Ｆ１２を対応顔領域ＣＦ０に決定する。

被写体決定部３３は、基準顔領域ＢＦ０および対応顔領域ＣＦ０の位置を表す情報を撮影制御部２２に出力する。撮影制御部２２は、基準顔領域ＢＦ０および対応顔領域ＣＦ０に基づいて、撮影部２１Ａ，２１Ｂの本撮影時における撮影条件を決定する。具体的には、撮影制御部２２のＡＦ処理部２２Ａは、第１の画像Ｇ１における基準顔領域ＢＦ０および第２の画像Ｇ２における対応顔領域ＣＦ０に合焦するように、撮影部２１Ａ，２１Ｂのフォーカスレンズ１０Ａ，１０Ｂの焦点位置を決定する。また、撮影制御部２２のＡＥ処理部２２Ｂは、第１の画像Ｇ１における基準顔領域ＢＦ０および第２の画像Ｇ２における対応顔領域ＣＦ０の明るさがあらかじめ定められた所定の明るさとなるように、露出値すなわち絞り値およびシャッタ速度を決定する。

ＣＰＵ３４は、レリーズボタン等を含む入力部３５からの信号に応じて複眼カメラ１の各部を制御する。

データバス３６は、複眼カメラ１を構成する各部およびＣＰＵ３４に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。

次いで、本実施形態において行われる処理について説明する。図５は本実施形態において行われる処理を示すフローチャートである。なお、本発明は第１および第２の画像Ｇ１，Ｇ２のプレ画像を用いて撮影条件を決定する処理に特徴を有するため、以降の説明においては、プレ画像が撮影されて撮影条件が決定されるまでの処理についてのみ説明する。

レリーズボタンが半押し操作され、撮影部２１Ａ，２１Ｂが第１および第２の画像Ｇ１，Ｇ２のプレ画像を取得することによりＣＰＵ３４が処理を開始し、まず、顔検出部３１が第１および第２の画像Ｇ１，Ｇ２から顔領域を検出する（ステップＳＴ１）。次いで、ＣＰＵ３４は各画像Ｇ１，Ｇ２から顔領域が複数検出されたか否かを判定し（ステップＳＴ２）、ステップＳＴ２が否定されると、その旨の情報を撮影制御部２２に出力する。撮影制御部２２は、第１および第２の画像Ｇ１，Ｇ２に基づいて撮影条件を決定し（ステップＳＴ３）、処理を終了する。

ステップＳＴ２が肯定されると、特徴点検出部３２が、第１の画像Ｇ１から検出された複数の顔領域のうちの基準となる基準顔領域ＢＦ０を決定し（ステップＳＴ４）、基準顔領域ＢＦ０の特徴点Ｔ１〜Ｔ６を検出する（ステップＳＴ５）。次いで、被写体決定部３３が、第２の画像Ｇ１から検出された複数の顔領域のうち、処理対象となる顔領域を最初の顔領域に決定し（ステップＳＴ６）、特徴点Ｔ１〜Ｔ６に対応する対応点の探索を行う（ステップＳＴ７）。そして対応点が探索されたか否かを判定し（ステップＳＴ８）、ステップＳＴ８が否定されると、すべての顔領域について対応点の探索が終了したか否かを判定し（ステップＳＴ９）、ステップＳＴ９が否定されると処理の対象を次の顔領域に変更し（ステップＳＴ１０）、ステップＳＴ７に戻る。

ステップＳＴ８が肯定されると、現在処理の対象となっている顔領域を基準顔領域ＢＦ０に対応する対応顔領域ＣＦ０に決定し（ステップＳＴ１１）、基準顔領域ＢＦ０および対応顔領域ＣＦ０の位置を表す情報を撮影制御部２２に出力する。撮影制御部２２は第１の画像Ｇ１の基準顔領域ＢＦ０および第２の画像Ｇ２の対応顔領域ＣＦ０に基づいて撮影条件を決定し（ステップＳＴ１２）、処理を終了する。

なお、ステップＳＴ９が肯定されると、基準顔領域ＢＦ０に対応する対応顔領域ＣＦ０が第２の画像Ｇ２に存在しないことから、被写体決定部３３は、第２の画像Ｇ２における最も中心に近い顔領域を対応顔領域ＣＦ０に決定し（ステップＳＴ１３）、基準顔領域ＢＦ０および対応顔領域ＣＦ０の位置を表す情報を撮影制御部２２に出力する。撮影制御部２２はステップＳＴ１２の処理を行い、処理を終了する。

このように、本実施形態によれば、プレ撮影により取得された第１の画像Ｇ１から検出した顔領域のうちの基準となる基準顔領域ＢＦ０を決定し、基準顔領域ＢＦ０から特徴点Ｔ１〜Ｔ６を検出し、同様にプレ撮影により取得された第２の画像Ｇ２から検出された顔領域において、特徴点Ｔ１〜Ｔ６に対応する対応点を探索することにより、第２の画像Ｇ２において基準顔領域ＢＦ０に対応する対応顔領域ＣＦ０を決定し、基準顔領域ＢＦ０および対応顔領域ＣＦ０に基づいて、撮影部２１Ａ，２１Ｂの本撮影時の撮影条件を決定するようにしたものである。このため、撮影部２１Ａ，２１Ｂにおいては共通する被写体を用いて撮影条件が決定されることとなり、その結果、各撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２の本画像においては、共通する被写体に焦点位置を合わせたり、共通する被写体の露出を一致させたりすることができる。したがって、複数の画像を用いて３次元表示を行った場合に、共通する被写体を良好に立体視することができる。

なお、上記実施形態においては、複眼カメラ１に２つの撮影部２１Ａ，２１Ｂを設け、２つの画像Ｇ１，Ｇ２を用いて３次元表示を行っているが、３以上の撮影部を設け、３以上の画像を用いて３次元表示を行う場合にも本発明を適用することができる。この場合、３以上の撮影部により取得された複数の画像のうち、１つの画像を基準画像として基準顔領域ＢＦ０を決定し、他の画像に対して順次対応顔領域ＣＦ０を決定するようにすればよい。

また、上記実施形態においては顔領域を検出しているが、自動車および動物の顔等、顔以外の被写体を検出し、被写体が第１および第２の画像Ｇ１，Ｇ２においてそれぞれ複数検出された場合に、上記と同様に基準となる被写体およびこれに対応する被写体を決定し、基準となる被写体および対応する被写体に基づいて撮影条件を決定するようにしてもよい。

また、上記実施形態においては、プレ撮影により取得された第１および第２の画像Ｇ１，Ｇ２のプレ画像を用いて撮影条件を決定しているが、動画像撮影時のように撮影条件の決定を動的に行う場合、スルー画像を用いて撮影条件を決定するようにしてもよい。

以上、本発明の実施形態について説明したが、コンピュータを、上記の顔検出部３１、特徴点検出部３２および被写体決定部３３に対応する手段として機能させ、図５に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の実施形態による複眼撮影装置を適用した複眼カメラの内部構成を示す概略ブロック図撮影部の構成を示す図第１の画像における顔領域および特徴点の検出を説明するための図第２の画像における顔領域の検出を説明するための図本実施形態において行われる処理を示すフローチャート

符号の説明

１複眼カメラ
２１Ａ，２１Ｂ撮影部
２２撮影制御部
２８表示制御部
３０３次元処理部
３１顔検出部
３２特徴点検出部
３３被写体決定部

Claims

互いに異なる位置において撮影を行うことにより、３次元表示が可能な複数の画像を取得する複数の撮影手段と、
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから、人物の顔である所定被写体を検出する被写体検出手段と、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された１つの所定被写体を、前記撮影条件を決定するための基準被写体に決定し、該基準被写体における少なくとも１つの特徴点を検出する特徴点検出手段と、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定する被写体決定手段と、
前記基準被写体および前記対応被写体を特定した後に、前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定するに際し、前記撮影条件が焦点位置である場合、前記基準被写体および前記対応被写体に合焦するように、前記複数の撮影手段のそれぞれの焦点位置を決定する撮影条件決定手段とを備えたことを特徴とする複眼撮影装置。
互いに異なる位置において撮影を行うことにより、３次元表示が可能な複数の画像を取得し、
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから人物の顔である所定被写体を検出し、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された１つの所定被写体を、前記撮影条件を決定するための基準被写体に決定し、
該基準被写体における少なくとも１つの特徴点を検出し、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定し、
前記基準被写体および前記対応被写体を特定した後に、前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定するに際し、前記撮影条件が焦点位置である場合、前記基準被写体および前記対応被写体に合焦するように、前記複数の撮影手段のそれぞれの焦点位置を決定することを特徴とする複眼撮影装置の制御方法。
互いに異なる位置において撮影を行うことにより、３次元表示が可能な複数の画像を取得する手順と、
撮影条件を決定するために前記複数の撮影手段が取得した前記複数の画像のそれぞれから人物の顔である所定被写体を検出する手順と、
前記複数の画像のそれぞれから複数の前記所定被写体が検出された場合に、該複数の画像のうちの基準となる基準画像から検出された１つの所定被写体を、前記撮影条件を決定するための基準被写体に決定する手順と、
該基準被写体における少なくとも１つの特徴点を検出する手順と、
前記基準画像以外の他の画像から検出された前記所定被写体において、前記特徴点に対応する対応点を探索することにより、前記基準被写体に対応する対応被写体を決定する手順と、
前記基準被写体および前記対応被写体を特定した後に、前記基準被写体および前記対応被写体に基づいて、前記複数の撮影手段のそれぞれの前記撮影条件を決定するに際し、前記撮影条件が焦点位置である場合、前記基準被写体および前記対応被写体に合焦するように、前記複数の撮影手段のそれぞれの焦点位置を決定する手順とを有する複眼撮影装置の制御方法をコンピュータに実行させることを特徴とするプログラム。