JP5704885B2 - 撮影機器、撮影方法及び撮影制御プログラム - Google Patents

Description

本発明は、３次元画像の撮影を可能にする撮影機器、撮影方法及び撮影制御プログラムに関する。

近年、デジタルカメラなどの撮影機能付き携帯機器は、画像処理を駆使して、様々な苦手撮影シーンを克服している。また、近年、映画産業では、臨場感を重んじた３Ｄ（３次元）化の波があり、テレビ業界もそれに追随して３Ｄ表示機器は普及傾向にある。

デジタルカメラ等の民生用の撮影機器においても、３Ｄ撮影可能な装置が開発されている。画像を立体的情報を含んで撮影記録し、これを再生観察する方式には多種多様な提案がある。立体視を可能にするためには、右目用の右画像と左目用の左画像、即ち、左右両眼の視点に対応する視差を持った２画像を撮像する必要がある。

例えば、特許文献１においては、２Ｄ撮影用のレンズを用い、水平にずらした２回の撮影によって、立体画像を得る手法が開示されている。なお、右画像を撮像する撮像装置と左画像を撮像する撮像装置の２つの撮像装置を同時に用いて３Ｄ画像を得る装置も商品化されている。

ところで、近年、撮影機器においては、シーン判別を行い、シーンに応じて最適な撮影を行う撮影の自動化が行われている。この種の撮影機器においては、撮像しようとする画像から顔検出、動検出、明るさ検出等を行い、シーンに応じた露出、ピント合わせ、画像処理を行うようになっている。

特表２００７−５０４５１１号

しかしながら、従来、シーン判別を行っても、どのような被写体が３Ｄ撮影に有効であるかを判別することはできず、また、どのような３Ｄ画像が自然で目に優しいかを判別することもできない。このため、従来の撮影機器においては、目に優しく自然な３Ｄ画像を得るための撮影方法を撮影者に提示して最適な３Ｄ画像を得るための撮影支援を行うことはできないという問題があった。

本発明は見やすい３Ｄ画像を得るための撮影支援を行うことを可能にすることができる撮影機器、撮影方法及び撮影制御プログラムを提供することを目的とする。

本発明の撮影機器は、撮像部と、上記撮像部で得られる画像を表示する表示部と、上記撮像部で得られる画像中に並んだ各被写体までの距離の分布に基づいて３Ｄ撮影の有効無効を判定するものであって、上記撮像部で得られる画像の２次元平面において略直線的に列んだ検出点の位置とこれらの検出点に対応する被写体までの距離とが相関を有するか否かによって上記３Ｄ撮影の有効無効を判定する判定部と、上記判定部による３Ｄ撮影の有効無効の判定結果に基づいて３Ｄ撮影が適していることを示す表示又は３Ｄ撮影が適していないことを示す表示を表示する表示制御部とを具備し、
また、本発明の撮影機器は、撮像部と、上記撮像部で得られる画像を表示する表示部と、上記撮像部で得られる画像中に並んだ各被写体までの距離の分布を求めて、求めた上記距離の分布に基づいて３Ｄ撮影の有効無効を判定するものであって、上記撮像部で得られる画像の２次元平面において略直線的に列んだ検出点の位置とこれらの検出点に対応する被写体までの距離とが相関を有するか否かによって上記３Ｄ撮影の有効無効を判定する判定部と、上記判定部による３Ｄ撮影の有効無効の判定結果によって３Ｄ撮影が適していることが示された場合には、３Ｄ撮影のための撮影支援を行い、３Ｄ撮影が適していないことが示された場合には、２Ｄ撮影処理を行う制御部とを具備し、
また、本発明の撮影方法は、撮像部で得られる画像を表示部に表示する第１の表示制御ステップと、上記撮像部で得られる画像中に並んだ各被写体までの距離の分布を求めて、求めた上記距離の分布に基づいて３Ｄ撮影の有効無効を判定するものであって、上記撮像部で得られる画像の２次元平面において略直線的に列んだ検出点の位置とこれらの検出点に対応する被写体までの距離とが相関を有するか否かによって上記３Ｄ撮影の有効無効を判定する判定ステップと、上記判定ステップにおける３Ｄ撮影の有効無効の判定結果に基づいて３Ｄ撮影が適していることを示す表示又は３Ｄ撮影が適していないことを示す表示を上記表示部に表示する第２の表示制御ステップとを具備し、
また、本発明の撮影制御プログラムは、コンピュータに、撮像部で得られる画像を表示部に表示する第１の表示制御ステップと、上記撮像部で得られる画像中に並んだ各被写体までの距離の分布を求めて、求めた上記距離の分布に基づいて３Ｄ撮影の有効無効を判定するものであって、上記撮像部で得られる画像の２次元平面において略直線的に列んだ検出点の位置とこれらの検出点に対応する被写体までの距離とが相関を有するか否かによって上記３Ｄ撮影の有効無効を判定する判定ステップと、上記判定ステップにおける３Ｄ撮影の有効無効の判定結果に基づいて３Ｄ撮影が適していることを示す表示又は３Ｄ撮影が適していないことを示す表示を上記表示部に表示する第２の表示制御ステップと、を実行させる。

本発明によれば、見やすい３Ｄ画像を得るための撮影支援を行うことを可能にすることができるという効果を有する。

本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図。 第１の実施の形態における３Ｄ撮影の撮影支援を説明するための説明図。 距離判定部１１ｃの判定方法の一例を説明するための説明図。 基準被写体判定部１１ｄの判定方法の一例を説明するための説明図。 基準被写体の判定を説明するためのフローチャート。 第１の実施の形態の動作を説明するためのフローチャート。 距離判定部１１ｃの他の構成を示す説明図。 距離判定部１１ｃの他の構成を示す説明図。 本発明の第２の実施の形態において採用される３Ｄ撮影支援の方法を説明するためのフローチャート。 第２実施の形態において３Ｄ撮影に適した画像であるか否かの判定方法を説明するための説明図。 ３Ｄ相関判定部１１ｅにおける判定方法を説明するための説明図。 ３Ｄ効果判定部１１ｅが判定に用いる検出点の列を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図である。

本実施の形態においては、目に優しい自然な３Ｄ画像を得るために、撮影範囲内の手前の被写体の視差を０とし、遠方の被写体が奥行き方向に見えるように、３Ｄ表示に用いる左画像及び右画像の撮影を支援する。例えば、本実施の形態においては、撮影範囲内の手前の被写体を検出し、この手前の被写体の撮影範囲内の位置を左右画像で一致させるように、撮影支援を行うようになっている。

撮影機器１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部２を有している。本実施の形態においては、２回の撮影によって左右画像を得ることを前提としており、撮像部２としては、１つの光学系のみを有する２Ｄ撮影用の撮影レンズを採用可能である。なお、撮像部２として２つの光学系を有する３Ｄ撮影用の撮影レンズを採用してもよい。

撮影機器１０の前面に設けた図示しない撮影レンズを含む光学系からの被写体の光学像は、撮像部２を構成する撮像素子の撮像面に結像するようになっている。この撮像部２は、信号処理及び制御部１１によって駆動制御される。信号処理及び制御部１１は、撮像部２に撮像素子の駆動信号を出力すると共に、撮像素子が光学像を光電変換して得た画像信号を取り込む。

信号処理及び制御部１１は、撮像素子の光電変換によって得られた画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。信号処理及び制御部１１は、画像信号及び音声信号等の記録に際して、符号化処理を施して圧縮した画像情報及び音声情報等を出力することもできるようになっている。

また、撮影機器１０には、操作判定部３、時計部４も配設されている。時計部４は信号処理及び制御部１１が用いる時間情報を発生する。操作判定部３は、撮影機器１０に設けられた撮影開始終了ボタンや撮影モード設定等の図示しない各種スイッチに対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部１１に出力するようになっている。信号処理及び制御部１１は、操作信号に基づいて、各部を制御する。

また、撮影機器１０には、表示制御部１１ａ及び記録再生制御部１１ｂが設けられている。記録再生制御部１１ｂは、信号処理及び制御部１１からの画像情報及び音声情報を記録部９に与えて記録することができるようになっている。記録部９は記録再生制御部１１ｂに制御されて、記録及び再生を行う。記録部９としては、例えばカードインターフェースを採用することができ、記録部９はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。また、記録部９は、記録媒体に記録された画像情報及び音声情報を読み出して信号処理及び制御部１１の記録再生制御部１１ｂに供給することができる。信号処理及び制御部１１は、記録再生制御部１１ｂによって再生された記録部９からの画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。

表示制御部１１ａは、撮像部２からの撮像画像や記録再生制御部１１ｂからの再生画像を表示部６に与えて、これらの画像を表示させるようになっている。また、表示制御部１１ａは、図示しないマイクロホンによって取得した音声や記録再生制御部１１ｂからの再生音声を音声発生部７に与えて音響出力することもできるようになっている。また、表示制御部１１ａは、撮影機器１０の操作を行うためのメニュー表示等を表示部６に表示させることもできるようになっている。

本実施の形態においては、表示部６としては、３Ｄ表示が可能なパララックスバリア方式やレンチキュラ方式等の視差分割方式を採用した表示部である。視差分割方式においては、３Ｄ表示用のメガネ等を用いることなく、３Ｄ表示が可能である。

表示制御部１１ａは、記録部９に記録されている３Ｄ画像である左画像及び左画像が再生された場合には、これらの右画像及び左画像を表示部６の対応する画素に表示させるように、表示制御を行う。これにより、撮像した３Ｄ画像を表示部６に立体表示することができ、撮影者は、表示部６の表示画面上において立体撮影効果を確認することが可能である。

なお、表示制御部１１ａは、左右画像として同一の画像を表示部６に与えることにより、２Ｄ表示を行うこともできる。

本実施の形態においては、３Ｄ撮影の有効性を判定し、目に優しく自然な３Ｄ画像の撮影支援のために、信号処理及び制御部１１には、距離判定部１１ｃ、基準被写体判定部１１ｄ及び３Ｄ効果判定部１１ｅが設けられている。また、記録部９は、３Ｄ撮影における撮影支援を可能にするための仮記録部９ａを有している。仮記録部９ａには、記録再生制御部１１ｂによって３Ｄ撮影による左右画像の一方が記録される。

図２は本実施の形態における３Ｄ撮影の撮影支援を説明するための説明図である。図２（ａ）は撮影者２１が手に撮影機器１０を持ち、所定の撮影範囲２２を撮影する様子を示しており、図２（ｂ）には、撮影機器１０の表示部６の表示画面６ａに、所定の撮影範囲２２がスルー画２２ａとして表示されていることを示している。図２（ａ）の撮像範囲２２には、被写体として手前（被写体までの距離が近い）に建物２３ａ、中間に樹木２３ｂ、遠方に山２３ｃが撮影され得る状態を示している。

本実施の形態においては、距離判定部１１ｃは、撮影範囲２２中の各被写体までの距離を求める。距離判定部１１ｃからの距離判定結果は、基準被写体判定部１１ｄに与えられる。基準被写体判定部１１ｄは、距離判定結果に基づいて撮影範囲２２中の手前側（被写体までの距離が近い）の被写体を検出し、検出結果を表示制御部１１ａ及び３Ｄ効果判定部１１ｅに与える。

図３は距離判定部１１ｃの判定方法の一例を説明するための説明図である。

距離判定部１１ｃは、図３（ａ）に示すように、撮像部２の撮像面２ａに丸印にて示す複数の検出点２ｃを設定する。図３（ａ）は検出点２ｃが９個の例を示しているが、検出点の数は適宜設定可能である。距離判定部１１ｃは、図３（ｂ）に示すように、撮像部２の前方側に設けられた撮影レンズ２ｂを進退させながら、矢印にて示す被写体光学像を撮像面２ａ上に結像させ、撮像面２ａ上の各検出点２ｃにおけるコントラストを求める。

図３（ｃ）は横軸に撮影レンズの繰り出し量をとり縦軸にコントラストをとって、３つの検出点におけるコントラストの変化を特性曲線Ａ〜Ｃによって示している。なお、図３（ｃ）では図面の簡略化のために、３つの検出点に対応する特性曲線Ａ〜Ｃのみを示している。繰り出し量は被写体までの距離に対応しており、図３（ｃ）の各特性曲線の最も高いコントラストが得られる繰り出し量によって、被写体までの距離を検出することができる。繰り出し量が大きいほど、被写体までの距離が近いことを示しており、図３（ｃ）の例では、特性曲線Ｃに対応する検出点における被写体が最も手前の被写体であることが分かる。

本実施の形態においては、上述したように、３Ｄ撮影においては左右画像を別々に撮影する。左右画像のうち先に撮像する一方の画像（以下、基準画像という）を基準にして、他方の画像の撮像範囲を決定するように支援を行う。この場合において、基準被写体判定部１１ｄは、基準画像中の特定の絵柄部分（基準被写体）を基準に、基準被写体において視差が０となるように、後から撮像する画像中の基準被写体部分が基準画像中の基準被写体に重なるように、撮影支援を行う。

本実施の形態においては、基準被写体判定部１１ｄは、基準被写体として、距離判定部１１ｃの判定結果を元に、最も距離が近い手前側の所定のサイズ以上の被写体を選択するようになっている。

図４は基準被写体判定部１１ｄの判定方法の一例を説明するための説明図である。

図４は撮像面２ａ上に丸印にて示す９つの検出点ＬＬ，ＣＬ，ＲＬ，ＬＣ，ＣＣ，ＲＣ，ＬＨ，ＣＨ，ＲＨを設定した場合の例である。基準被写体判定部１１ｄは、各検出点までの距離の検出結果が与えられ、検出結果を比較する。基準被写体判定部１１ｄは、隣接する検出点であって、測距結果が略等しい検出点については、同一被写体を撮像して得られたものであり、且つ２つの検出点に跨る程度の比較的大きいサイズの被写体であると判定する。

図４（ａ）乃至（ｅ）の塗りつぶした検出点は、距離判定部１１ｃによって測距結果が略等しいと判定された検出点を示している。即ち、図４（ａ）は２つの検出点ＬＬ，ＣＬ同士は略等距離であると判定された例である。同様に、図４（ｂ）は２つの検出点ＣＬ，ＲＬ同士が、図４（ｃ）は２つの検出点ＬＬ，ＬＣ同士が、図４（ｄ）は２つの検出点ＲＬ，ＲＣ同士が、図４（ｅ）は２つの検出点ＣＬ，ＣＣ同士が略等距離であると判定された例である。

基準被写体判定部１１ｄは、例えば、図５に示すフローチャートに従って、基準被写体を判定する。図５のステップＳ１において、基準被写体判定部１１ｄは、検出点ＬＬ，ＣＬ同士が略等距離にあるか否かを判定する。基準被写体判定部１１ｄは、隣り合う検出点ＬＬ，ＣＬ同士が略等距離である場合には、これらの検出点ＬＬ，ＣＬが同一被写体に対応すると判定する。

同様に、基準被写体判定部１１ｄは、ステップＳ２〜Ｓ５において、検出点ＬＬ，ＣＬ同士、検出点ＣＬ，ＲＬ同士、検出点ＬＬ，ＬＣ同士、検出点ＲＬ，ＲＣ同士、検出点ＣＬ，ＣＣ同士が略等距離にあるか否かを判定する。

一般的には、撮影範囲中の手前側の被写体は撮影範囲の下側に撮像され、遠方の被写体は撮影範囲の上側に撮像される。そこで、基準被写体判定部１１ｄは、撮影範囲の下側の検出点において、隣接する検出点同士が略等距離であるか否かを判定することにより、手前側の所定サイズ以上の被写体が存在するか否かを判定するようになっている。このように、手前側の被写体を撮影範囲の全域から求めるのではなく、手前側の被写体が撮影範囲の下側に存在するものと仮定することで、基準被写体判定の演算量を低減することができる。

基準被写体判定部１１ｄは、ステップＳ１〜Ｓ５のいずれかのステップにおいて隣接する検出点が略等距離であると判定した場合には、手前側に所定サイズ以上の被写体が存在するものとして、当該検出点の周囲の輪郭を検出し、検出した輪郭によって囲まれる部分を基準被写体として設定する（ステップＳ７）。基準被写体判定部１１ｄは、ステップＳ１〜Ｓ５のいずれのステップにおいても隣接する検出点が略等距離でないと判定した場合には、基準被写体が存在しないものとする（ステップＳ６）。基準被写体判定部１１ｄは、判定結果を３Ｄ効果判定部１１ｅ及び表示制御部１１ｂに与える。

３Ｄ効果判定部１１ｅは、手前側に所定のサイズ以上の被写体である基準被写体が存在する場合には３Ｄ撮影が有効であると判定し、基準被写体が存在しない場合には、３Ｄ撮影は有効ではないと判定する。３Ｄ効果判定部１１ｅは、表示制御部１１ａを制御して、３Ｄ撮影の有効無効の判定結果を表示部６にアドバイス表示として表示させる。

現在の撮影範囲が３Ｄ撮影に適している場合には、表示制御部１１ａは、基準被写体判定部１１ｄからの判定結果に基づいて、スルー画表示中の撮像画像に基準被写体を示す表示を表示させるようになっている。図２（ｂ）はこの場合における表示画面６ａ上の表示例を示している。図２（ｂ）の例では、図２（ａ）の撮像範囲２２中の手前側の被写体である建物２３ａに、基準被写体であることを示す強調表示２４（斜線部）が表示されている。

また、本実施の形態においては、上述したように、手前側の被写体（基準被写体）を視差０とし、遠方の被写体を奥行き方向に見せるように撮影を行う。図２（ｂ）の矢印（３Ｄ）２５は、３Ｄ撮影が有効であることを示すと共に、遠方の被写体を奥行き方向に見せるために、後から撮像する画像を撮影機器１０をいずれに向けて撮像すればよいかを示している。図２（ｂ）の状態で撮影を行うと、撮影画像は、記録再生制御部１１ｂによって、仮記録部９ａに記録される。なお、図２（ｃ）はこの撮影時の撮影範囲の画像を示している。

なお、図２の例では、手前側に所定のサイズ以上の被写体がある例を示したが、このような被写体が撮影範囲中に存在しない場合には、３Ｄ効果判定部１１ｅは、表示制御部１１ａを制御して、現在の撮影範囲が３Ｄ撮影には適していないことを示すメッセージ表示を表示させるようにしてもよい。

更に、３Ｄ効果判定部１１ｅは、手前側に所定のサイズ以上の被写体（基準被写体）がある場合には３Ｄ撮影に適した撮影が可能であるものと判断し、表示制御部１１ａを制御して、撮影者に３Ｄ撮影を行うか否かを選択するための表示を表示させる。図２（ｄ）はこのような選択表示として再撮影？と記述した選択表示２６を表示させた例を示している。

例えば、表示部６とタッチパネル８とが共通の画面を有する場合には、撮影者は、再撮影？の選択表示２６の表示位置をタッチすることで、３Ｄ撮影の指示を行うことができる。なお、３Ｄ撮影の指示は、操作判定部３の操作判定結果によって得ることも可能である。

３Ｄ撮影の指示が行われた場合には、表示制御部１１ａは、図２（ｅ）に示すように、スルー画上に、基準被写体を示す表示２７（斜線部）を表示させる。例えば、図２（ｂ）の状態で撮影した１枚目の画像を透明表示しながら基準被写体を示す表示２７を強調表示してもよい。或いは、１枚目の画像中の基準被写体部分のみを抽出して表示するようにしてもよい。

撮影者は、基準被写体の表示２７に対応するスルー画中の基準被写体部分を、基準被写体の表示２７に重なるように、撮影範囲２２’を決定する。この場合には、撮影範囲２２’中における建物２３ａの位置は撮影範囲２２中における建物２３ａの位置と同じとなるが、撮影範囲２２’中における樹木２３ｂ’、山２３ｃ’の位置は撮影範囲２２中における樹木２３ｂ、山２３ｃの位置とはずれる。

図２（ｆ）はこの場合のスルー画２２ａ’を示している。表示制御部１１ａは、スルー画２２ａ’中の基準被写体に対応する絵柄部分と、記録された画像中の基準被写体の部分とが略一致した場合には、図２（ｆ）に示す３ＤＯＫと記述した表示２８を表示してもよい。撮影者はこの表示を確認することで、自然で目に優しい３Ｄ画像を得るための撮影範囲２２’になったことを認識することができる。

撮影者が撮影操作を行うと、記録再生制御部１１ｂは、この撮影操作による２枚目の撮像画像と仮記録部９ａに記録されている１回目の撮像画像とを対応させて記録部９に記録する。

なお、図２の例では、１枚目の撮像前のスルー画時に、アドバイス表示を表示する例を示しているが、１枚目の画像を撮影した後に、アドバイス表示を表示するようにしてもよい。

次に、このように構成された実施の形態の動作について図６のフローチャートを参照して説明する。

撮影機器１０に電源が投入されると、信号処理及び制御部１１は、図６のステップＳ１１において、撮影モードであるか否かを判定する。撮影モードでない場合には、信号処理及び制御部１１は、ステップＳ１２において再生モードであるか否かを判定する。

信号処理及び制御部１１は、ステップＳ１２において再生モードが指示されたものと判定すると、ステップＳ１２から処理をステップＳ１３に移行して、記録部９によって記録されたファイルの一覧の情報を読み出し、ファイル一覧表示を表示部６に表示させる。

ファイル一覧の表示時に、ユーザがファイル選択を行うと（ステップＳ１４）、信号処理及び制御部１１は、選択されたファイルを記録再生制御部１１ｂを介して読み出し、復号化処理を行って、画像信号及び音声信号を再生する（ステップＳ１５）。信号処理及び制御部１１は、再生した画像信号及び音声信号を表示部６に与えて表示させる。

なお、ファイル一覧表示時に、終了操作が行われた場合には、信号処理及び制御部１１は、処理をステップＳ１４からステップＳ１６に移行して再生モードを終了する。

信号処理及び制御部１１は、ステップＳ１１において撮影モードが指示されているものと判定した場合には、ステップＳ２１においてスルー画を表示する。即ち、信号処理及び制御部１１は、撮像部２からの撮像画像を取込み、所定の信号処理を施した後、表示制御部１１ａによって表示部６に出力する。こうして、表示部６の表示画面上においてスルー画が表示される。

本実施の形態においては、ステップＳ２４において撮影が行われる前に、信号処理及び制御部１１は、ステップＳ２３において３Ｄ撮影のためのアドバイス表示を行う。即ち、距離判定部１１ｃは、スルー画中の各被写体までの距離を求める。距離判定部１１ｃからの距離判定結果は、基準被写体判定部１１ｄに与えられる。基準被写体判定部１１ｄは、距離判定結果に基づいてスルー画中の手前側において所定のサイズ以上の被写体である基準被写体を検出し、検出結果を３Ｄ効果判定部１１ｄに与える。

この所定のサイズは、無意識に写真を干渉した時に、自然と、その被写体に眼が行くようなサイズを想定しており、画面内の他のものと大きさを比べて決まるものである場合が多い。つまり、撮像範囲内の他の被写体が小さい場合は、それよりも大きい被写体であれば、まず、そこに眼が行って、それを基準にして、他の小さい被写体に眼を移すような鑑賞が行われる。このような場合、所定サイズは、他の被写体との比較によって決定される。例えば、基準被写体判定部１１ｄは、撮像範囲内の被写体を検出してサイズを比較し、サイズの平均よりも大きい被写体を所定サイズ以上と判定してもよく、最大サイズの被写体を基準被写体として選択するようにしてもよい。また、所定のサイズをユーザが指定するようにしてもよい。

なお、ここで被写体とは、顔検出などで代表される技術で、輪郭やコントラスト、色などの特徴的な画像情報によって、人物や動物、花や木、空や雲、山、さらには建物を特定した結果や、同じ距離にあるひとかたまりと検出された検出物を個々の被写体とする。

また、風景のように、なだらかな山並みを手前にした建物の例のように、建物のコントラストが高く、明るさが明るい場合、彩度が高い場合、山は大きいが、手前の建物の方に眼が行く。こうした場合も、本実施の形態では手前側の所定サイズ以上の被写体とする。この場合は、重力によって、手前のものは山よりも下にあることが多いので、画面下部で、画面の大きさの１０分の１以上の被写体があれば、『画中の手前側において所定サイズ以上』という条件を満たすものとする。

画面の遠方が一点に集中していく、「一点透視画法」の絵の表現を、我々は見慣れているが、この一点に向かって並ぶものは、画面周辺からだんだん遠くになるに従い小さくなると見やすい遠近関係となる。また、モナリザの絵のように画面中央に人物の被写体がある場合も、この画面内の手前に被写体があると、手前の被写体を基準として、人物の両脇などを背景として把握しやすい。つまり、このような場合も、『画中の手前側において所定サイズ以上』として扱うことが出来る。

３Ｄ効果判定部１１ｄは、スルー画中に基準被写体が存在すると判定した場合には、図２（ｂ）に示す強調表示２４及びアドバイス表示２５を表示させる（ステップＳ２３）。撮影者は、表示部６のスルー画上に表示されたこれらの表示２４，２５によって、現在スルー画として表示されている撮影範囲の画像は３Ｄ撮影に適していると共に、いずれの被写体を基準にしていずれの方向に撮影範囲を移動させて２枚目の画像を撮像すれば、自然で目に優しい３Ｄ画像が得られるかを認識することができる。

ここで、撮影者がレリーズボタンを押すと、処理はステップＳ２２からステップＳ２４に移行して撮影が行われる。信号処理及び制御部１１は、ステップＳ２５において、撮影操作が３Ｄ撮影における２枚目の画像に対するものであるか否かを判定する。

１枚目の画像の撮影操作であった場合には、表示制御部１１ａは、次のステップＳ２６において、図２（ｄ）に示す選択表示２６を表示させる。撮影者は選択表示２６に対して３Ｄ撮影又は２Ｄ撮影の指示を行う。信号処理及び制御部１１は、ステップＳ２７において、３Ｄ撮影が指示されたか否かを判定する。撮影者が３Ｄ撮影を指示していない場合には、撮像部２からの撮像画像に対して所定の信号処理を施し符号化して画像ファイル化した後、記録部９に与えて記録する（ステップＳ３１）。

信号処理及び制御部１１は、ステップＳ２７において撮影者が３Ｄ撮影を指示したものと判定した場合には、撮像部２からの撮像画像に対して所定の信号処理を施し符号化した後、仮記録部９ａに記録する（ステップＳ２８）。

次に、信号処理及び制御部１１は、ステップＳ２９において基準被写体部分を強調表示する。これにより、例えば、図２（ｅ）に示す基準被写体の表示２７が表示される。

次に、撮影者は、図２（ｅ）に示すように、スルー画２２’中の基準被写体の部分を基準被写体の表示２７に重ねる。スルー画２２’中の基準被写体の部分が基準被写体の表示２７に重なると、信号処理及び制御部１１は、ステップＳ２３において、３ＤＯＫと記述した表示２８を表示する。撮影者はこの状態でレリーズボタンを押す。

この操作は、３Ｄ撮影の２枚目の撮像操作であるので、信号処理及び制御部１１は、処理をステップＳ２５からステップＳ３０に移行して、画像ペア化する。即ち、信号処理及び制御部１１は、撮像部２からの撮像画像に対して所定の信号処理を施し、この撮像画像と仮記録部９ａからの画像とをペア化して、記録部９に記録する（ステップＳ３１）。なお、信号処理及び制御部１１は、ペア化した左右画像を符号化した後記録部９に記録してもよい。

更に、記録再生制御部１１ｂは、撮影した３Ｄ画像を再生して、表示制御部１１ａにより表示部６に立体表示させることができる。撮影者は、表示部６の表示を見ることで、３Ｄ撮影の効果を確認することができる。

信号処理及び制御部１１は、ステップＳ３２において、電源オフ操作が行われたか否かを判断する。信号処理及び制御部１１は、電源オフ操作が行われた場合には、ステップＳ３３において電源オフ処理を行い、電源オフ操作が行われていない場合には、ステップＳ３４において撮影モード・再生モードの変更操作を受け付けて処理をステップＳ１１に戻す。

なお、信号処理及び制御部１１は、３Ｄ効果判定部１１ｄが３Ｄ撮影に適しないと判断した場合には、通常の撮影処理を行う。

このように本実施の形態においては、撮影範囲内の画像が３Ｄ撮影に適しているか否かを判断しこの判断結果をアドバイス表示すると共に、自然で目に優しい３Ｄ撮影を可能にするための撮影の仕方をアドバイス表示しており、ユーザは、簡単に、自然で目に優しい見やすい３Ｄ画像を得ることができる。

（変形例）
図７及び図８は距離判定部１１ｃの他の構成を示す説明図である。

図７は瞳分割位相差法を採用した距離測定を示している。図７（ａ）に示すように、撮像部２の撮像面２ａ１には、焦点検出用の画素２ｄ（斜線部）が所定の間隔で設けられている。図７（ｂ）は、これらの画素２ｄには前方にマイクロレンズ２ｆが配置され、被写体からの光束（矢印）が結像レンズ２ｇの各レンズ部２ｇｌ，２ｇｒ及びマイクロレンズ２ｆを介して入射されることを示している。画素２ｄは、２つの分割画素２ｄｌ，２ｄｒに分割されており、各分割画素２ｄｌ，２ｄｒには、同一被写体について異なる方向からの光束が入射される。

被写体までの距離は、１ラインの全ての画素２ｄの分割部２ｄｌの出力と、１ラインの全ての画素２ｄの分割部２ｄｒの出力とを比較することで求められる。結像レンズ２ｇが合焦位置に位置する場合には、１ライン全ての分割画素２ｄｌにより得られる第１の信号と１ライン全ての分割画素２ｄｒにより得られる第２の信号とは一致する。

しかし、結像レンズ２ｇが合焦位置に位置しない場合には、第１の信号と第２の信号とは、デフォーカス量及びデフォーカス方向に応じて位相がずれる。即ち、第１の信号と第２の信号との位相差は、被写体までの距離に対応する。距離判定部１１ｃは、第１の信号と第２の信号との位相差とレンズの位置に基づいて、被写体までの距離を求めることができる。

図８は撮像部２として３Ｄ撮影用の撮影レンズを採用した場合の例を示している。

図８の例では、撮像部２は右目用として撮影レンズ２Ｒ１及び撮像面２Ｒ２を備え、左目用として撮影レンズ２Ｌ１及び撮像面２Ｌ２を備えている。２つの被写体３１，３２からの光束（矢印）は、撮影レンズ２Ｒ１を通過して撮像面２Ｒ２に結像すると共に、撮影レンズ２Ｌ１を通過して撮像面２Ｌ２に結像する。各被写体３１，３２からの光束が結像する撮像面２Ｌ２，２Ｒ２上の位置の差は、被写体３１，３２までの距離Ｌ１，Ｌ２に対応しており、撮影レンズ２Ｌ１，２Ｒ１の既知の基線長Ｂとの演算によって、距離Ｌ１，Ｌ２を算出することができる。

以上、これらの距離検出以外にも、被写体の大小関係で距離を求める方法もある。同一の被写体であれば、当該被写体までの距離が近い程撮像範囲中のサイズは大きくなり、当該被写体までの距離が大きいほど撮像範囲中のサイズは小さくなる。従って、撮像範囲内の比較的大きな被写体は近距離にあり、比較的小さい被写体は遠距離にあると考えられる。

（第２の実施の形態）
図９は本発明の第２の実施の形態において採用される３Ｄ撮影支援の方法を説明するためのフローチャートである。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。本実施の形態は３Ｄ効果判定部１１ｅの判定方法が第１の実施の形態と異なる。

第１の本実施の形態においては、目に優しい自然な３Ｄ画像を得るために、撮影範囲内の手前の被写体の視差を０とし、遠方の被写体が奥行き方向に見えるように、３Ｄ表示に用いる左画像及び右画像の撮影を支援することを可能にした。本実施の形態においては、更に、撮影範囲内の各被写体の２次元上の位置と距離との相関を考慮して、撮影範囲の画像が３Ｄ表示に適しているか否かを判定するようになっている。

図１０は本実施の形態において３Ｄ撮影に適した画像であるか否かの判定方法を説明するための説明図である。

図１０（ａ）は撮像部２の撮像面２ａ上に結像される撮影範囲内の画像を示している。図１０（ａ）に示す撮像範囲内には、手前側に建物の被写体４１ａ，４１ｂが位置し、遠方に山の被写体４１ｃが位置する。図１０（ａ）の丸印は撮像面２ａ上に設定した検出点を示している。図１０（ｂ）は図１０（ａ）の３つの被写体４１ａ，４１ｂ，４１ｃに対応する３つの検出点における画面内の水平位置と各検出点に対応する被写体までの距離との関係を示している。

本実施の形態においても、手前側の比較的大きな被写体における視差を０とし、遠方の被写体が奥行き方向に見えるように撮影を行うことを支援する。図１０（ａ）においては、斜線部の被写体４１ａが基準被写体と判定されているものとする。

図１０（ｃ）はこのような撮影を行った場合において、人が視線を左から右に移動させながら撮像画像を見る場合の視差の変化を説明するためのものである。図１０（ｃ）は左、中、右の図が夫々図１０（ａ）の被写体４１ａ〜４１ｃを見る場合の様子を示している。

図１０（ｃ）では左右の眼４３の塗りつぶし部分で視線が変化している様子を示しており、図１０（ａ）に示す画像については、人が視線を左から右に移動させるに従って、被写体は表示画面４４の位置から奥行き方向に見えるように変化する。即ち、人は、被写体４１ａについては表示画面４４の表面に見えるように感じ、被写体４１ｂについては表示画面４４の表面からΔｚ１だけ奥に見えるように感じ、被写体４１ｃについては表示画面４４の表面からΔｚ２（＞Δｚ１）だけ奥に見えるように感じる。

図１０（ｄ）はこの場合における目の動きと人間が感じる奥行き感との変化を示している。図１０（ｄ）に示すように、目の動きと奥行き感とは相関を有して変化する。このように、近い被写体を基準にして、そこから次第に遠い被写体に視線を移して見ることが可能な画像については、遠近感を比較的簡単に感じることができ、眼が疲れないと考えられる。

そこで、本実施の形態においては、このように、目の動きと奥行き感とが相関を有して変化することが可能な画像について、３Ｄ表示に適した画像と判定するようになっている。

図１１は３Ｄ相関判定部１１ｅにおける判定方法を説明するための説明図である。本実施の形態においても、３Ｄ相関判定部１１ｅは、手前側に所定のサイズ以上の被写体（基準被写体）が存在することを３Ｄ撮影に適した画像であると判定する条件の１つとする。

更に、本実施の形態においては、目の動きと奥行き感とが相関を有して変化するような画像を判定するために、３Ｄ相関判定部１１ｅは、２次元平面において略直線的に列んだ検出点の位置とこれらの検出点に対応する被写体までの距離とが相関を有するか否かを判定し、相関を有する場合に３Ｄ表示に適した画像と判定する。

図１１は丸印によって撮像面２ａ上に設定した各検出点を示している。図１１では、塗りつぶした検出点同士は、その検出点を含む被写体までの距離が略等しいことを示している。即ち、図１１（ａ）乃至（ｅ）はいずれも手前側に十分なサイズの被写体があると判定される例を示している。

図１１（ａ）乃至（ｅ）は矢印によって、２次元平面において略直線的に並んだ検出点の列を示している。例えば、図１１（ａ）は２次元平面で垂直方向に並んだ３つの検出点ＬＬ，ＬＣ，ＬＨの列を示しており、図１１（ｂ）は２次元平面で斜め方向に並んだ３つの検出点ＬＬ，ＣＣ，ＲＨの列を示しており、図１１（ｃ）は２次元平面で水平方向に並んだ３つの検出点ＬＬ，ＣＬ，ＲＬの列を示している。更に、図１１（ｄ），（ｅ）は２次元平面で比較的直線的に並んだ３つの検出点ＣＬ，ＬＣ，ＬＨの列と３つの検出点ＣＬ，ＲＣ，ＲＨの列を示している。

３Ｄ相関判定部１１ｅは、図１１（ａ）乃至（ｅ）に例示したように、２次元平面で比較的直線的に並んだ検出点の列のいずれかにおいて、一番手前の被写体に対応する検出点を基準にしてこの検出点から離れた検出点ほど対応する被写体までの距離が大きい場合に、３Ｄ表示に適した画像であると判定するようになっている。

なお、図１１の例は、撮像面２ａに３×３個の検出点を設定した例を示しているが、検出点の数は適宜設定可能である。また、３Ｄ相関判定部１１ｅは、基準となる検出点からの距離が次第に大きくなる検出点を選択して、判定に用いる検出点の列を設定すればよい。なお、３Ｄ相関判定部１１ｅは、便宜的には、比較的直線的に並んだ検出点の列として、例えば、２次元平面上において、検出点同士を結ぶ直線が９０度以上折れ曲がらないことを条件として選択してもよい。例えば、図１１では検出点ＣＣ，ＬＣ，ＣＨの列についても３Ｄ効果の判定に用いてもよい。また、例えば、検出点数が多い場合には、隣接していない検出点を用いた列であってもよい。

次に、図９を参照して３Ｄ効果判定部１１ｅの動作について説明する。図１２は図９のフローを説明するための説明図である。

図９のステップＳ４１において、距離判定部１１ｃは各検出点における被写体までの距離を求める。基準被写体判定部１１ｄは、距離判定部１１ｃの判定結果を用いて、基準被写体を求める。３Ｄ効果判定部１１ｅは、ステップＳ４２において、基準被写体があるか否かを判定する。基準被写体が存在しない場合には、撮像範囲は３Ｄ撮影には適しない画像であると判断して処理を終了する。

基準被写体が存在する場合には、３Ｄ効果判定部１１ｅは、次のステップＳ４３において起点ポイントを決定する。３Ｄ効果判定部１１ｅは、起点ポイントとして、各検出点の列中の最も下方に位置する検出点、即ち、手前の被写体に対応する検出点を設定する。

次に、３Ｄ効果判定部１１ｅは、ステップＳ４３において、距離判定部１１ｃの判定結果を用いて、起点ポイントとなる検出点の撮像面上で上の検出点における被写体が、起点ポイントの検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。更に、３Ｄ効果判定部１１ｅは、ステップＳ４４において、距離判定部１１ｃの判定結果を用いて、ステップＳ４３で調べた検出点の撮像面上で上又は斜め上の検出点における被写体が、ステップＳ４３の検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。

図１２は３Ｄ効果判定部１１ｅが判定に用いる検出点の列を説明するためのものであり、矢印によって検出点の列を示している。ステップＳ４４，Ｓ４５は、図１２（ａ）に示す７つの列について、上方ほど遠方の被写体に対応する検出点があるか否かを判定する手順である。即ち、これらのステップＳ４４，Ｓ４５によって例えば図１１（ａ）の検出点の列において、各検出点の位置と各検出点に含まれる被写体までの距離とに相関があるか否かを判定することができる。

３Ｄ効果判定部１１ｅは、ステップＳ４４，Ｓ４５において、上方の検出点ほど被写体までの距離が大きいことを検出すると、ステップＳ４６において、３Ｄ撮影のために、基準被写体を強調表示し、更にアドバイス表示２５を表示する（ステップＳ４７）。

３Ｄ効果判定部１１ｅは、ステップＳ４４において、起点ポイントの上の検出点が起点ポイントの検出点の被写体よりも遠方の被写体に対応するものでない場合には、処理をステップＳ５１に移行する。３Ｄ効果判定部１１ｅは、ステップＳ５１において、距離判定部１１ｃの判定結果を用いて、撮像面両端の起点ポイントとなる検出点の撮像面上で右又は左の検出点における被写体が、起点ポイントの検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。更に、３Ｄ効果判定部１１ｅは、ステップＳ５２において、距離判定部１１ｃの判定結果を用いて、ステップＳ５１で調べた検出点の撮像面上で同方向又は同方向斜め上に隣接する検出点における被写体が、ステップＳ５１の検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。

即ち、ステップＳ５１，Ｓ５２は、図１２（ｂ）に示す２つの列又は図１２（ｃ）に示す２つの列について、遠方の被写体に対応する検出点があるか否かを判定する手順である。即ち、これらのステップＳ５１，Ｓ５２によって例えば図１１（ｃ）の検出点の列において、各検出点の位置と各検出点に含まれる被写体までの距離とに相関があるか否かを判定することができる。

３Ｄ効果判定部１１ｅは、ステップＳ５１において、撮像面両端の起点ポイントの右又は左の検出点が遠方の被写体に対応するものでない場合には、処理をステップＳ５３に移行する。３Ｄ効果判定部１１ｅは、ステップＳ５３において、距離判定部１１ｃの判定結果を用いて、起点ポイントとなる検出点の撮像面上で右斜め上の検出点における被写体が、起点ポイントの検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。更に、３Ｄ効果判定部１１ｅは、ステップＳ５４において、距離判定部１１ｃの判定結果を用いて、ステップＳ５３で調べた検出点の撮像面上で上又は右斜め上の検出点における被写体が、ステップＳ５３の検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。

即ち、ステップＳ５３，Ｓ５４は、図１２（ｄ）に示す２つの列について、遠方の被写体に対応する検出点があるか否かを判定する手順である。これらのステップＳ５３，Ｓ５４によって例えば図１１（ｂ），（ｅ）の検出点の列において、各検出点の位置と各検出点に含まれる被写体までの距離とに相関があるか否かを判定することができる。

３Ｄ効果判定部１１ｅは、ステップＳ５３において、撮像面両端の起点ポイントの右斜め上の検出点が遠方の被写体に対応するものでない場合には、処理をステップＳ５５に移行する。３Ｄ効果判定部１１ｅは、ステップＳ５５において、距離判定部１１ｃの判定結果を用いて、起点ポイントとなる検出点の撮像面上で左斜め上の検出点における被写体が、起点ポイントの検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。更に、３Ｄ効果判定部１１ｅは、ステップＳ５６において、距離判定部１１ｃの判定結果を用いて、ステップＳ５５で調べた検出点の撮像面上で上又は左斜め上の検出点における被写体が、ステップＳ５５の検出点における被写体よりも遠方に位置する被写体であるか否かを判定する。

即ち、ステップＳ５５，Ｓ５６は、図１２（ｅ）に示す２つの列について、遠方の被写体に対応する検出点があるか否かを判定する手順である。これらのステップＳ５５，Ｓ５６によって例えば図１１（ｄ）の検出点の列において、各検出点の位置と各検出点に含まれる被写体までの距離とに相関があるか否かを判定することができる。

３Ｄ効果判定部１１ｅは、ステップＳ５２，Ｓ５４，Ｓ５６において、起点ポイントの検出点からの距離が大きい検出点ほど被写体までの距離が大きいことを検出すると、ステップＳ４６において、３Ｄ撮影のために、基準被写体を強調表示し、更にアドバイス表示２５を表示する（ステップＳ４７）。

また、３Ｄ効果判定部１１ｅは、ステップＳ４５，Ｓ５２，Ｓ５４〜Ｓ５６においてＮＯ判定となった場合には、ステップＳ５７において別の起点ポイントがあるか否かを判定する。別起点ポイントがある場合には、処理をステップＳ４３に戻して別の起点ポイントについてステップＳ４４〜Ｓ４７，Ｓ５１〜Ｓ５６の処理を繰り返す。

なお、図９の例は図１１に示す３×３の検出点を設定した場合の例を示している。また、図９の例は検出点の列が９０度以上折れ曲がらない列のみを選択した例である。検出点の数が異なる場合等においては、図９と異なる判定方法も考えられる。

本実施の形態における他の作用は第１の実施の形態と同様である。

このように本実施の形態においては、手前に所定サイズ以上の被写体があるか否かだけでなく、画面上における被写体の２次元平面における位置と被写体までの距離とが相関を有する画像であるか否かに基づいて、３Ｄ撮影に適した画像であるか否かを判定しており、目に優しい自然な３Ｄ画像を得るための撮影支援が可能である。

２…撮像部、３…操作判定部、６…表示部、８…タッチパネル、９…記録部、９ａ…仮記録部、１０…撮影機器、１１…信号処理及び制御部、１１ａ…表示制御部、１１ｂ…記録再生制御部、１１ｃ…距離判定部、１１ｄ…基準被写体判定部、１１ｅ…３Ｄ効果判定部。

Claims (4)

1. 撮像部と、
   上記撮像部で得られる画像を表示する表示部と、
   上記撮像部で得られる画像中に並んだ各被写体までの距離の分布に基づいて３Ｄ撮影の有効無効を判定するものであって、上記撮像部で得られる画像の２次元平面において略直線的に列んだ検出点の位置とこれらの検出点に対応する被写体までの距離とが相関を有するか否かによって上記３Ｄ撮影の有効無効を判定する判定部と、
   上記判定部による３Ｄ撮影の有効無効の判定結果に基づいて３Ｄ撮影が適していることを示す表示又は３Ｄ撮影が適していないことを示す表示を表示する表示制御部と、
   を具備したことを特徴とする撮影機器。
2. 撮像部と、
   上記撮像部で得られる画像を表示する表示部と、
   上記撮像部で得られる画像中に並んだ各被写体までの距離の分布を求めて、求めた上記距離の分布に基づいて３Ｄ撮影の有効無効を判定するものであって、上記撮像部で得られる画像の２次元平面において略直線的に列んだ検出点の位置とこれらの検出点に対応する被写体までの距離とが相関を有するか否かによって上記３Ｄ撮影の有効無効を判定する判定部と、
   上記判定部による３Ｄ撮影の有効無効の判定結果によって３Ｄ撮影が適していることが示された場合には、３Ｄ撮影のための撮影支援を行い、３Ｄ撮影が適していないことが示された場合には、２Ｄ撮影処理を行う制御部と、
   を具備する撮影機器。
3. 撮像部で得られる画像を表示部に表示する第１の表示制御ステップと、
   上記撮像部で得られる画像中に並んだ各被写体までの距離の分布を求めて、求めた上記距離の分布に基づいて３Ｄ撮影の有効無効を判定するものであって、上記撮像部で得られる画像の２次元平面において略直線的に列んだ検出点の位置とこれらの検出点に対応する被写体までの距離とが相関を有するか否かによって上記３Ｄ撮影の有効無効を判定する判定ステップと、
   上記判定ステップにおける３Ｄ撮影の有効無効の判定結果に基づいて３Ｄ撮影が適していることを示す表示又は３Ｄ撮影が適していないことを示す表示を上記表示部に表示する第２の表示制御ステップと、
   を具備したことを特徴とする撮影方法。
4. コンピュータに、
   撮像部で得られる画像を表示部に表示する第１の表示制御ステップと、
   上記撮像部で得られる画像中に並んだ各被写体までの距離の分布を求めて、求めた上記距離の分布に基づいて３Ｄ撮影の有効無効を判定するものであって、上記撮像部で得られる画像の２次元平面において略直線的に列んだ検出点の位置とこれらの検出点に対応する被写体までの距離とが相関を有するか否かによって上記３Ｄ撮影の有効無効を判定する判定ステップと、
   上記判定ステップにおける３Ｄ撮影の有効無効の判定結果に基づいて３Ｄ撮影が適していることを示す表示又は３Ｄ撮影が適していないことを示す表示を上記表示部に表示する第２の表示制御ステップと、
   を実行させるための撮像制御プログラム。

Images