JP5814566B2 - 撮像装置、撮像方法及び撮像装置の制御プログラム - Google Patents

Description

本発明は、例えば主要被写体である人物の顔部を自分自身で撮影するという所謂自分撮りにより取得した画像データを装置本体の背面に設けられた撮像部により取得した画像データに合成することを可能とする撮像装置に関する。

かかる撮像装置の技術としては、例えば特許文献１がある。この特許文献１は、筐体の第一の表面に第一のカメラを搭載し、筐体の第一の表面の裏側の第二の表面にも第二のカメラを搭載し、第一のカメラで自分の顔を撮影したり、第二のカメラで自分が見ている風景を撮影したり、両者を同時に撮影したり、第一のカメラと第二のカメラで撮影したそれぞれの画像を合成して合成写真を撮影することを開示する。

特開２００４−１４７０４６号公報

しかしながら、特許文献１は、第一のカメラと第二のカメラとで撮影したそれぞれの画像を合成しているが、ただ単に、第一のカメラと第二のカメラとで撮影した各画像を合成しただけでは、これら画像の合成写真を鑑賞するに際し、第一のカメラで撮影した自分の顔と第二のカメラで撮影した風景とが不自然に合成させている印象を与えることがある。例えば、画像中に写っている影の方向がそれぞれの画像で異なっていることがある。又、カメラを持った撮影者であるユーザが第一のカメラにより例えばユーザの家族を撮影し、これと同時にカメラを持ったユーザが第一の表面の裏面の第二のカメラにより自分撮りを行い、これら撮影により取得された各画像を合成した合成写真を鑑賞するに際にも、筐体の第一の表面の第一のカメラとその裏面の第二のカメラにより撮影を行うために、例えばユーザと家族との太陽光の照射される方向が異なるために不自然な印象を与えることがある。又、合成写真中、ユーザと家族との配置位置等の構図に不自然な印象を与えることもある。

本発明の目的は、装置本体の表面から撮像を行って取得した撮像画像データとその背面から撮像を行って取得した撮像画像データの一部分の画像データとを合成しても、不自然な印象を与えることのない合成画像データを取得できる撮像装置、撮像方法及び撮像装置の制御プログラムを提供することにある。

本発明の主要な局面に係る撮像装置は、第１の主要被写体を撮像して第１の撮像画像データを取得する第１の撮像部と、前記第１の撮像部とは異なる位置に設けられ、第２の主要被写体を撮像して第２の撮像画像データを取得する第２の撮像部と、前記第１の撮像画像データから前記第１の主要被写体を検出し、前記第２の撮像画像データから前記第２の主要被写体を検出する主要被写体検出部と、前記第１の主要被写体と前記第２の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第１の撮像画像データと前記第２の撮像画像データとの合成適合性を判定する合成判定部と、前記合成判定部の判定結果に従って前記第１の撮像画像データと前記第２の撮像画像データとの合成画像データを作成する画像処理制御部と、装置本体の姿勢を検出する姿勢センサとを具備し、前記合成判定部は、前記姿勢センサにより検出された前記装置本体の姿勢に基づいて前記第１の主要被写体と前記第２の主要被写体とが前記合成条件として同一高さ位置であるか否かを判定する。
本発明の主要な局面に係る撮像装置は、第１の主要被写体を撮像して第１の撮像画像データを取得する第１の撮像部と、前記第１の撮像部とは異なる位置に設けられ、第２の主要被写体を撮像して第２の撮像画像データを取得する第２の撮像部と、前記第１の撮像画像データから前記第１の主要被写体を検出し、前記第２の撮像画像データから前記第２の主要被写体を検出する主要被写体検出部と、前記第１の主要被写体と前記第２の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第１の撮像画像データと前記第２の撮像画像データとの合成適合性を判定する合成判定部と、前記合成判定部の判定結果に従って前記第１の撮像画像データと前記第２の撮像画像データとの合成画像データを作成する画像処理制御部とを具備し、前記第２の撮像部は、前記第２の主要被写体を撮像して視差を有する少なくとも２つの視差画像データを含む前記第２の撮像画像データを取得する。
本発明の主要な局面に係る撮像方法は、第１の撮像部の撮像により取得された第１の撮像画像データから第１の主要被写体を検出し、前記第１の撮像部とは異なる位置に設けられた第２の撮像部の撮像により取得された第２の撮像画像データから第２の主要被写体を検出し、前記第１の主要被写体と前記第２の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第１の撮像画像データと前記第２の撮像画像データとの合成適合性を判定し、前記合成適合性の判定結果に従って前記第１の撮像画像データと前記第２の撮像画像データとの合成画像データを作成し、前記第１と前記第２の主要被写体との撮像を行う装置本体の姿勢を姿勢センサにより検出し、前記合成適合性の判定では、前記姿勢センサにより検出された前記装置本体の姿勢に基づいて前記第１の主要被写体と前記第２の主要被写体とが前記合成条件として同一高さ位置であるか否かを判定する。
本発明の主要な局面に係る撮像方法は、第１の撮像部の撮像により取得された第１の撮像画像データから第１の主要被写体を検出し、前記第１の撮像部とは異なる位置に設けられ、第２の主要被写体を撮像して視差を有する少なくとも２つの視差画像データを含む第２の撮像画像データを取得する第２の撮像部の撮像により取得された前記第２の撮像画像データから前記第２の主要被写体を検出し、前記第１の主要被写体と前記第２の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第１の撮像画像データと前記第２の撮像画像データとの合成適合性を判定し、前記合成適合性の判定結果に従って前記第１の撮像画像データと前記第２の撮像画像データとの合成画像データを作成する。
本発明の主要な局面に係る撮像装置の制御プログラムは、コンピュータに、第１の主要被写体を第１の撮像部により撮像させて第１の撮像画像データを取得させる第１の撮像機能と、前記第１の撮像部とは異なる位置に設けられた第２の撮像部により第２の主要被写体を撮像させて第２の撮像画像データを取得させる第２の撮像機能と、前記第１の撮像画像データから前記第１の主要被写体を検出させ、前記第２の撮像画像データから前記第２の主要被写体を検出させる主要被写体検出機能と、前記第１の主要被写体と前記第２の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定させることによって前記第１の撮像画像データと前記第２の撮像画像データとの合成適合性を判定させる合成判定機能と、前記合成判定機能の判定結果に従って前記第１の撮像画像データと前記第２の撮像画像データとの合成画像データを作成させる画像処理制御機能とを有し、前記合成判定機能は、姿勢センサにより検出された、前記第１と前記第２の主要被写体との撮像を行う装置本体の姿勢に基づいて前記第１の主要被写体と前記第２の主要被写体とが前記合成条件として同一高さ位置であるか否かを判定させることを実現させる。
本発明の主要な局面に係る撮像装置の制御プログラムは、コンピュータに、第１の主要被写体を第１の撮像部により撮像させて第１の撮像画像データを取得させる第１の撮像機能と、前記第１の撮像部とは異なる位置に設けられ、第２の主要被写体を撮像して視差を有する少なくとも２つの視差画像データを含む第２の撮像画像データを取得する第２の撮像部により第２の主要被写体を撮像させて第２の撮像画像データを取得させる第２の撮像機能と、前記第１の撮像画像データから前記第１の主要被写体を検出させ、前記第２の撮像画像データから前記第２の主要被写体を検出させる主要被写体検出機能と、前記第１の主要被写体と前記第２の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定させることによって前記第１の撮像画像データと前記第２の撮像画像データとの合成適合性を判定させる合成判定機能と、前記合成判定機能の判定結果に従って前記第１の撮像画像データと前記第２の撮像画像データとの合成画像データを作成させる画像処理制御機能とを実現させる。

本発明によれば、装置本体の表面から撮像を行って取得した撮像画像データとその背面から撮像を行って取得した撮像画像データの一部分の画像データとを合成しても、不自然な印象を与えることのない合成画像データを取得できる撮像装置、撮像方法及び撮像装置の制御プログラムを提供できる。

本発明に係る撮像装置の第１の実施の形態を示すブロック構成図。 同装置の外観を示す図。 同装置を用いてのユーザの自分撮りの様子を示す図。 同装置における背面撮像部の概略構成図。 同装置におけるユーザの画像データのみを切り出す作用を説明するための摸式図。 同装置により合成画像データを作成するための撮像状況の一例を示す図。 同装置により合成が不適当であると判定される影部の反転の一例を示す摸式図。 同装置により右手にカメラ本体を持って撮影したときの２つの撮像画像データから切り出されるユーザの顔部の画像データを示す模式図。 同装置における全身像の母親及び子と顔部だけのユーザとのバランスの極端に悪いと感じる画像データを示す模式図。 同装置により取得される第１の撮像画像データ中にユーザの顔部の画像データを合成するためのスペースが存在するか否かの判定を説明するための摸式図。 同装置における画像合成が適当である場合の判定を説明するための図。 同装置における画像合成が適当である場合の判定を説明するための図。 同装置における画像合成が適当である場合の判定を説明するための図。 同装置により取得される母親及び子の画像にユーザの画像を合成した合成画像データを示す図。 同装置により取得されるユーザの右手を画像の構図から外して右手を隠すようにした合成画像データを示す図。 同装置により取得されるユーザの右手の画像データ部分を切り出した合成画像データを示す図。 同装置における撮影時の最適な傾き状態を示す図。 同装置における撮影時のカメラ本体の不最適な傾き状態の一例を示す図。 同装置における撮影時のカメラ本体の不最適な傾き状態の他の例を示す図。 同装置における画像合成を含むカメラ制御フローチャート。 同装置におけるスライド移動の制御フローチャート。 同装置におけるユーザの画像のスライド移動の操作を示す図。 同装置におけるユーザの画像のスライド移動を示す図。 同装置の機能を簡略化したブロック構成図。 本発明に係る撮像装置の第２の実施の形態を示すブロック構成図。 同装置の外観を示す図。 同装置における主撮像部と背面撮像部とにより第１のタイミングで同時に撮像を行うときの撮像状態を示す図。 同装置における主撮像部と背面撮像部とにより第２のタイミングで同時に撮像を行うときの撮像状態を示す図。 同装置における主撮像部によりタイミングＴ１の撮像により取得される第１の撮像画像データを示す図。 同装置における主撮像部によりタイミングＴ２の撮像により取得される第１の撮像画像データを示す図。 同装置におけるユーザの画像のスライド移動の操作を示す図。 同装置におけるユーザの画像のスライド移動を示す図。

以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は撮像装置（カメラ）のブロック構成図を示し、図２（ａ）（ｂ）は本装置の外観図を示し、このうち図２（ａ）は正面外観図を示し、同図（ｂ）は背面外観図を示す。
装置本体（カメラ本体）１には、マイクロコンピュータを搭載する画像処理制御部２が設けられている。この画像処理制御部２は、予め記憶されているカメラ制御プログラムを実行することにより、写真撮影を行うときのシャッタ動作や露光処理、絞り調整、画像処理等の一連の動作制御を行って撮像画像データを取得するための撮像制御、記録された撮像画像データの再生動作の制御等を行う。この画像処理制御部２には、第１の撮像部としての主撮像部３と、第２の撮像部としての背面撮像部４と、操作部５と、記録部６と、表示部７と、タッチパネル８と、姿勢センサとしての加速度センサ９と、時計部１０とが接続されている。
カメラ本体１の正面には、図２（ａ）に示すように撮像部（以下、主撮像部と称する）３のレンズ光学系３ａが設けられ、かつカメラ本体１の上部には、操作部５としてのレリーズボタン５ａが設けられている。
カメラ本体１の背面には、図２（ｂ）に示すように表示部７と、背面撮像部４とが設けられている。
主撮像部３は、人物等の第１の主要被写体を含む被写体からの光像を撮像して第１の画像信号を出力する。この主撮像部３は、例えば撮影を行うユーザの家族等を撮像する。この主撮像部３は、フォーカスレンズを含むレンズ光学系と、絞りと、シャッタと、レンズ光学系から絞り、シャッタを通った被写体からの光像を画像信号に変換する撮像素子とを有する。
背面撮像部４は、例えば自分撮りに使用するもので、ユーザ等の人物等の第２の主要被写体を含む被写体からの光像を撮像して第２の画像信号を出力する。この背面撮像部４は、例えば撮影を行うユーザ自身を撮像する自分撮りに用いられる。この背面撮像部４は、３次元（３Ｄ）用の一対の撮像部、すなわち左右（ＬＲ）の各撮像部４ａ、４ｂを有する。これら撮像部４ａ、４ｂは、視差を持つ左右（ＬＲ）の２つの視差画像データを取得するための２つの第２の画像信号を出力する。

操作部５は、ユーザの操作を受けるもので、例えば電源ボタン、レリーズボタン５ａ、再生ボタン、動画ボタン、自分撮りボタン等を備え、動画モード又は静止画モードの切り替え、自分撮りモードへの切り替え、自分撮り及び画像合成モードへの切り替え、絞りの調整等を行う。

記録部６は、撮影時に画像処理制御部２により取得された撮像画像データ、すなわち主撮像部３から出力される第１の画像信号を画像処理して取得される第１の撮像画像データと、背面撮像部４から出力される互いに視差を有する第２の画像信号を画像処理して取得される２つの視差画像データとを記録する。

表示部７は、撮影時に取得された撮像画像データを表示したり、記録された撮像画像データを再生表示する。この表示部７は、例えば液晶ディスプレイから成る。この液晶ディスプレイの上面には、タッチパネル８が設けられている。このタッチパネル８は、ユーザのタッチ操作を受け、このタッチ位置に対応するタッチ位置信号を出力する。

カメラ本体の移動や姿勢を検出するために、加速度センサ９を設けており、カメラを動かす時にかかる加速度の大きさや向きが分かるように３軸のものを想定している。
この加速度センサ９は、重力加速度に応じた信号も出力するので、カメラ本体の傾きなど姿勢を判定することも可能である。

カメラ本体の移動を検出する場合、地磁気センサなどを併用し、カメラの向けられている方位を判定し、移動検出時の補助としても良い。

時計部１０は、計時の経過をカウントする。
上記画像処理制御部２は、主撮像部３から出力される第１の画像信号を画像処理して第１の撮像画像データを取得し、背面撮像部４から出力される互いに視差を有する第２の画像信号を画像処理して２つの視差画像データを取得し、このうち２つの視差画像データを画像処理して第２の主要被写体の画像データを切り出し、第１の撮像画像データと切り出された第２の主要被写体の画像データとを合成して合成画像データを作成する。この画像処理制御部２は、仮記録部２１と、顔検出部２２と、人物像切出し部２３と、合成判定部２４と、合成部２５とを有する。
仮記録部２１は、主撮像部３の撮像によって取得された第１の撮像画像データや、背面撮像部４の撮像によって取得された２つの視差画像データを一時的に記録する。

顔検出部２２は、第１の撮像画像データ中から第１の主要被写体として人物等の顔部を検出する。なお、顔検出部２２は、人物等の顔部の各パーツ、例えば眼部、鼻部、口部等の配置を検出するものである。
人物像切出し部２３は、２つの視差画像データから第２の主要被写体の画像データを切り出す。
ここで、人物像切出し部２３によるユーザ自身の顔部の画像データの切り出しについて説明する。
図３はユーザＨの自分撮りの様子を示す。ユーザＨは、例えば右手でカメラ本体１を持って自分撮りしている。カメラ本体１は、背面撮像部４である左右（ＬＲ）の各撮像部４ａ、４ｂの各画角４ａ−ｇ、４ｂ−ｇを示す。

図４は背面撮像部４の概略構成図を示す。この背面撮像部４は、上記の通り３Ｄ用のカメラであって、２つの撮影レンズ３０、３１と、２つの撮像素子３２、３３とを有する。これら撮影レンズ３０、３１は、間隔Ｘ１だけずれて配置されている。
図５に示す２つの撮像画像データＫ１、Ｋ２は、それぞれ視差画像データであり、間隔Ｘ１だけずれた各撮影レンズ３０、３１の各場所から例えば撮影を行うユーザＨの画像を示している。これら撮像画像データＫ１、Ｋ２は、各撮影レンズ３０、３１の間隔Ｘ１に対応する視差を持つ。ユーザＨと背景Ｂの距離とに差がある場合、三角測量の原理に従ってユーザＨと背景Ｂとの各像がそれぞれ各撮影レンズ３０、３１を通して各撮像素子３２、３３に入射する相対位置が異なる。すなわち、一方の撮像素子３２上においてユーザＨと背景Ｂの各入射位置の差がＸ１１であり、他方の撮像素子３３上においてユーザＨと背景Ｂの各入射位置の差がＸ１２であり、これらＸ１１、Ｘ１２が撮影レンズ３０、３１の間隔Ｘ１に対応する視差となる。これらＸ１１、Ｘ１２は、互いに異なり、Ｘ１１≠Ｘ１２の関係となる。

従って、当該３Ｄ用の背面撮像部４によって視差を有する撮影を行って図５に示すような例えば２つの撮像画像データＫ１、Ｋ２を取得する。図５に示すように２つの撮像画像データＫ１、Ｋ２のユーザＨの顔部の画像データの位置を揃えて配置すると、２つの撮像画像データＫ１、Ｋ２においてユーザＨの各画像データは一致度が高いが、背景部は一致度が低くなる。従って、一致度が高い部分の画像データを２つの撮像画像データＫ１、Ｋ２のうちいずれか一方から切り出せば、ユーザＨの顔部の画像データＬのみを切り出すことが可能である。

画像合成部２５は、人物像切出し部２３により切り出されたユーザＨの顔部の画像データＬを予め設定された合成条件に従って主撮像部３の撮像により取得された第１の撮像画像データに合成する。
合成判定部２４は、第１の撮像画像データを取得するときの合成条件として例えばユーザＨの家族を含む第１の撮像画像データの構図に基づき、当該第１の撮像画像データに対して人物像切出し部２３により切り出されたユーザＨの顔部の画像データＬを合成可能か否かを判定する。

この合成判定部２４は、合成条件としてユーザＨの顔部等の影部の位置、第１の撮像画像データ内での例えばユーザＨの家族の位置に基づくユーザＨの顔部等の合成スペースの有無、ユーザＨの顔部を撮像して取得されているか否か、又は例えばユーザＨの家族の顔部とユーザＨの顔部とが同一高さ位置で撮像されているか否かの少なくとも１つを判定する。

ここで、合成が不適当である場合の判定について説明する。先ず、第１の合成判定である。
図６は合成画像データを作成するための撮像状況の一例を示す。ここでは利用シーンをわかり易くするために、ユーザＨは、母親Ｍとその子Ｃとで家族を構成する父親Ｆである。以下、ユーザＨは、父親ＦであるとしてユーザＦとして称する。ユーザＦは、カメラ本体１を持ち、主撮像部３を母親Ｍ及び子Ｃに向けて第１の撮像画像データを取得し、これと同時に背面撮像部４としての左右（ＬＲ）の各撮像部４ａ、４ｂをユーザＦ自身に向けて２つの視差画像データ、例えば図５に示す２つの撮像画像データＫ１、Ｋ２を取得する。このときの撮影状況は、太陽から強い照度の太陽光の照射を受け、図面上のユーザＦ、母親Ｍ及び子Ｃの顔部の斜め右下部にそれぞれ影部３０ｈ、３０ｍ、３０ｃが作られている。

かかる撮影状況での撮影により取得された母親Ｍとその子Ｃとを含む第１の撮像画像データに対して２つの撮像画像データＫ１、Ｋ２から切り出したユーザＦの顔部の画像データを合成すると、この合成画像データＧ１中において、図７に示すように母親Ｍ及び子Ｃの各影部３０ｍ、３０ｃとユーザＦの影部３０ｈとの位置が反転してしまい、母親Ｍ及び子Ｃの各影部３０ｍ、３０ｃは顔部の斜め右下部に形成されているが、ユーザＦの影部３０ｈは顔部の斜め左下部に反転して形成され、不自然である。
従って、合成判定部２４は、例えば図７に示す合成画像データＧ１中において、母親Ｍ及び子Ｃの各影部３０ｍ、３０ｃの位置と、ユーザＦの影部３０ｈの位置とを検出し、これら各影部３０ｍ、３０ｃ、３０ｈの各位置を母親Ｍ、子Ｃ及びユーザＦの各顔部の位置と対比し、各影部３０ｍ、３０ｃ、３０ｈの各位置が反転していないか否かを判定し、反転していれば、合成が不適当であると判定する。なお、合成判定部２４は、輝度レベルが周囲よりも所定の輝度レベル以下に低下している部分を各影部３０ｍ、３０ｃ、３０ｈとして検出する。又、母親Ｍ、子Ｃ及びユーザＦの各顔部の位置は、それぞれ顔検出部２２によって検出される。また、影の傾きも、顔の左右の明るさ分布を比較することで判定可能である。

次に、第２の合成判定についての説明である。ユーザＦは、例えば図６に示すように右手にカメラ本体１を持って撮影の操作をすると、２つの撮像画像データＫ１、Ｋ２から切り出されるユーザＦの顔部の画像データは、例えば図８に示すように右腕Ｆｒを突き出したような上半身の画像となる。
一方、第１の撮像画像データが図９に示すように母親Ｍ及び子Ｃが全身像を撮像した取得したものであると、その合成画像データＧ２は、全身像の母親Ｍ及び子Ｃと顔部だけのユーザＦとで主要被写体としてバランスが極端に悪いと感じる画像となるおそれがある。
従って、合成判定部２４は、例えば図９に示す合成画像データＧ２中において、母親Ｍ及び子Ｃの顔部の各位置と、ユーザＦの顔部の位置とを検出し、これら顔部の各位置が水平方向に略同一高さに存在するか否かを判定し、略同一高さに存在しなければ、合成が不適当であると判定する。なお、水平方向は、加速度センサ９によるカメラ本体１の姿勢の検出結果から得られる。

次に、第３の合成判定である。図１０は第１の撮像画像データＳ１の一例の模式図を示す。この第１の撮像画像データＳ１は、画像データ内の殆どが母親Ｍ及び子Ｃにより占められている。このため、当該第１の撮像画像データＳ１中には、ユーザＦの顔部の画像データを合成するためのスペースが存在しない。
従って、合成判定部２４は、例えば図１０に示す第１の撮像画像データＳ１中において、母親Ｍ及び子Ｃの画像データの占める割合を算出してユーザＦの顔部の画像データを合成するためのスペースの領域を算出し、これらスペースの領域とユーザＦの顔部の画像データの占める領域とを対比して、第１の撮像画像データＳ１中にユーザＦの顔部の画像データを合成するためのスペースが存在するか否かを判定し、スペースが存在しなければ、合成が不適当であると判定する。

次に、画像合成が適当である場合の判定について図１１乃至図１３を参照して具体的に説明する。
図１１に示すように主撮像部３の撮像により取得される例えば母親Ｍ及び子Ｃの第１の撮像画像データＳ２は、背面撮像部４の撮像によって取得されるユーザＦの顔部の画像データと同様に、母親Ｍ及び子Ｃの各上半身を撮影して取得したものであることが好ましい。母親Ｍ及び子Ｃの各上半身は、それぞれの顔部の高さの３倍程度である。
従って、図１２に示すように母親Ｍの顔部の中心部から画像データの下端までの距離をＹｆとし、母親Ｍの顔部の高さをＤｆとすると、上記距離Ｙｆは、
Ｙｆ≦２．５Ｄｆ …（１）
程度まで許可するものとする。

図１２に示すように合成画像データＧ３には、ユーザＦの肩幅Ｈｋの画像データを合成するための幅スペースが必要である。ユーザＦの肩幅Ｈｋを母親Ｍの顔部の高さＤｆの倍程度とすると、母親Ｍの例えば左側には、
Ｈｋ≒２×Ｄｆ …（２）
以上の幅スペースが必要である。この必要な条件を満たすためには、
Ｘｆ＞３×Ｄｆ …（３）
の条件が必要である。なお、Ｘｆは、画像データの例えば左端と母親Ｍの顔部の中心部との間の距離である。

従って、顔検出部２２は、母親Ｍの顔部の中心部の位置を検出する。
合成判定部２４は、顔検出部２２によって検出された母親Ｍの顔部の中心部の位置を受け取り、母親Ｍの顔部の中心部と当該同第１の撮像画像データＳ２の左端との距離Ｘｆを求めると共に、母親Ｍの顔部の高さ（長さ）Ｄｆを求める。この合成判定部２４は、上記式（３）の条件満たすか否かを判定し、条件満たせば、第１の撮像画像データＳ１中にユーザＦの顔部の画像データを合成するためのスペースが存在するものと判定する。

図１３は母親Ｍ、子Ｃの画像にユーザＦの画像を合成した合成画像データＧ４を示す。この合成画像データＧ４における母親Ｍ、子Ｃの画像は、例えば上記図１１に示す母親Ｍ、子Ｃの画像よりも小さく写っている。このような合成画像データＧ４を作成するには、合成判定部２４は、ユーザＦの顔部の画像データを合成する前に、例えば第１の撮像画像データ中にユーザＦの顔部の画像データを合成するためのスペースが存在するか否かを判定し、スペースが存在すると判定すると、ユーザＦの顔部の画像データを縮小し、母親Ｍ、子Ｃの画像の大きさに合わせて第１の撮像画像データ中に合成する。

図１４は母親Ｍ、子Ｃの画像にユーザＦの画像を合成した合成画像データＧ５を示す。この合成画像データＧ５におけるユーザＦは、カメラ本体１を持つ例えば右手Ｆｒが不自然となって写る。このような場合、図１５に示す合成画像データＧ６のようにユーザＦの右手Ｆｒを画像の構図から外し、右手Ｆｒを隠すように画像処理すれば、ユーザＦの右手Ｆｒの不自然さが解消される。

この場合、ユーザＦの顔部の高さＤｆ１は、母親Ｍの顔部の高さＤｆと等しく（Ｄｆ１＝Ｄｆ）し、さらに、画像データの例えば左端とユーザＦの顔部の中心部との間の距離Ｘｆ１とユーザＦの顔部の高さＤｆ１とを等しくし（Ｘｆ１＝Ｄｆ１）、画像データの例えば下端とユーザＦの顔部の中心部との距離Ｙｆと画像データの例えば下端と母親Ｍの顔部の中心部との距離Ｙｆ１とを等しくし（Ｙｆ＝Ｙｆ１）することで不自然さを解消できるが、さらに、ユーザＦが撮影することを想定して、これらの関係Ｄｆ１＝Ｄｆ、Ｘｆ１＝Ｄｆ１、Ｙｆ１＝Ｙｆを少し大きくする、例えば１．１倍にすれば、すなわち
Ｄｆ１＝１．１×Ｄｆ
Ｘｆ１＝１．１×Ｄｆ１
Ｙｆ１＝１．１×Ｙｆ
とすれば、確実にユーザＦの右手Ｆｒの不自然さを解消できる。この場合、母親Ｍ、子Ｃの画像は、肩部から顔部を写したものであるものとする。

従って、合成判定部２４は、
Ｄｆ１＝１．１×Ｄｆ
Ｘｆ１＝１．１×Ｄｆ１
Ｙｆ１＝１．１×Ｙｆ
の関係となるように図１４に示す合成画像データＧ５を画像処理する。
なお、図１５に示す合成画像データＧ６において、画像データの例えば下端とユーザＦの顔部の中心部との距離ＹｆとユーザＦの顔部の高さ（長さ）Ｄｆ１とが等しければ（Ｙｆ＝Ｄｆ１）、ユーザＦの右手Ｆｒが画像の構図から外れ、ユーザＦの右手Ｆｒの不自然さが解消される。

又、上記図１４に示すようにユーザＦの右手Ｆｒが不自然な合成画像データＧ５であっても、図１６に示すように当該合成画像データＧ５内において、ユーザＦの右手Ｆｒが画像の構図の画像データ部分Ｇ５ａを切り出せば、ユーザＦの右手Ｆｒの不自然さを解消した合成画像データを得ることができる。

次に、合成画像データを作成するためのカメラ本体１の傾きについて図１７乃至図１９を参照して説明する。
図１７は撮影時のカメラ本体１の最適な傾き状態を示す。カメラ本体１の撮影光軸Ｑは、ユーザＦと母親Ｍ、子Ｃとに対して直線上に配置され、ユーザＦと母親Ｍ、子Ｃとがカメラ本体１を介して対面するように配置されるのがよい。最良にの撮影状況は、カメラ本体１が傾かず、ユーザＦと母親Ｍ、子Ｃとが略同一高さ位置で、かつカメラ本体１の撮影光軸Ｑが水平に配置されるのがよい。カメラ本体１の撮影光軸Ｑが水平に配置されるのは、画像処理制御部２によって加速度センサ９から出力される方位信号からカメラ本体１の傾きを求めることにより判定可能である。

これに対して図１８は撮影時のカメラ本体１の不最適な傾き状態の一例を示す。カメラ本体１の撮影光軸Ｑは水平に配置されているが、ユーザＦと子Ｃとでは、互いの身長が異なり、例えばカメラ本体１の高さ位置を子Ｃに合わせると、カメラ本体１は、主撮像部３により子Ｃの顔部を撮像できる。しかしながら、背面撮像部４は、ユーザＦに対して胸部を撮像するものとなり、ユーザＦの顔部を撮像できるものでなく、不自然である。
従って、合成判定部２４は、主撮像部３の撮像により取得された子Ｃの顔部の撮像画像データと、背面撮像部４の撮像により取得されたユーザＦの胸部の画像データとの相違を検出することにより合成が不適当であることを判定する。

図１９は撮影時のカメラ本体１の不最適な傾き状態の他の例を示す。カメラ本体１の撮影光軸Ｑは水平に対して傾いて配置されている。このカメラ本体１の傾きθは、身長差のあるユーザＦと子Ｃとの各顔部を直線上に結ぶために形成されている。この場合、主撮像部３の撮像により取得される子Ｃの顔部の画像データには、例えば地面が撮像される。このため、合成画像データを作成すると、ユーザＦの顔部が例えば地面上に配置されることがあり、不自然となる。
従って、画像処理制御部２は、加速度センサ９から出力される方位信号からカメラ本体１の傾きθを求め、カメラ本体１の傾きθがあれば、合成が不適当であることを判定する。

画像処理制御部２は、上記合成判定部２４の判定の結果、第１の撮像画像データに対する人物像切出し切出部２３により切り出されたユーザＦの顔部の画像データの合成が不可能であれば、当該不可能な旨を報知する、例えば表示部７にユーザＦの顔部の画像データの合成が不可能である旨を表示する。
画像処理制御部２は、顔検出部２２により検出された母親Ｍ、子Ｃの位置に基づいて人物像切出し切出部２３により切り出されたユーザＦの顔部の画像データを合成可能か否かを判定する。
画像処理制御部２は、加速度センサ９から出力される方位信号からカメラ本体１の姿勢、例えばカメラ本体１の傾きθを求め、このカメラ本体１の傾きθに基づいて母親Ｍ、子ＣとユーザＦとが同一高さ位置で撮像されているか否かを判定する。

合成部２５は、合成判定部２４の判定の結果、合成可能である判定結果が出されると、仮記録部２１に記録されている第１の撮像画像データに、人物像切出し切出部２３により切り出されたユーザＦの顔部の画像データを合成する。
画像処理制御部２は、人物像切出し切出部２３により切り出されたユーザＦの顔部の画像データを拡大、縮小して第１の撮像画像データに合成する。
画像処理制御部２は、人物像切出し切出部２３により切り出されたユーザＦの顔部の画像データを第１の撮像画像データ中にスライド移動可能である。

次に、カメラを用いた画像合成を含むカメラ制御について図２０に示すカメラ制御フローチャートに従って説明する。
ユーザによる操作部５の操作によりカメラ本体１の動作モードが設定される。画像処理制御部２は、ステップＳ１０１において、操作部５に対するユーザ操作の各種ボタンを読み取り、動作モードが撮影モードか否かを判定する。この判定の結果、撮影モードであれば、画像処理制御部２は、ステップＳ１０２において、カメラ本体１の背面に設けられている背面撮像部（ＬＲの各撮像部４ａ、４ｂ）４の撮像により取得される２つの視差画像データ中に例えばユーザＦの顔部の画像があるか否かを判定する。

この判定の結果、２つの視差画像データ中に例えばユーザＦの顔部の画像がなければ、合成判定部２４は、人物像切出し切出部２３により切り出されたユーザＦの顔部の画像データを、主撮像部３の撮像により取得された第１の撮像画像データに合成することが不可能であると判定する。

画像処理制御部２は、ステップＳ１０３において、主撮像部３から出力される画像信号を画像処理し、スルー画像として表示部７に表示する。
画像処理制御部２は、ステップＳ１０４において、ユーザの操作部５に対する操作により撮影開始指示がなされたか否かを判定する。この判定の結果、撮影開始指示がなされると、画像処理制御部２は、ステップＳ１０５において、例えば静止画の撮影の場合、撮像部２を動作させることで静止画像データを取得する静止画撮影を実行する。動画撮影の場合、画像処理制御部２は、同ステップＳ１０５において、主撮像部３を連続動作させて動画像データを取得する動画撮影を実行する。
静止画撮影又は動画撮影の終了後、画像処理制御部２は、ステップＳ１０６において、静止画又は動画の画像ファイルを作成し、作成した画像ファイルを記録部６に記録する。画像ファイルの作成後、画像処理制御部２は、静止画又は動画のデータを表示部７に表示する。

次に、画像処理制御部２は、ステップＳ１０８において、ユーザによる操作部５の操作により電源オフの指示がなされたか否かを判定する。電源オフの指示があれば、画像処理制御部２は、カメラ制御を終了する。電源オフの指示が無ければ、画像処理制御部２は、ステップＳ１０１に戻る。

カメラ１の動作モードが撮影モードでなければ、画像処理制御部２は、ステップＳ１０１からステップＳ１１１に移り、再生モードであるか否かを判定する。この判定の結果、再生モードであれば、画像処理制御部２は、ステップＳ１１２において、記録部６に記録されている静止画及び動画の各ファイルを表示部７上に一覧表示（サムネイル表示）する。これら静止画及び動画の各ファイルのいずれかが表示部７上でユーザのタッチにより選択されると、タッチパルネ８は、ステップＳ１１３において、タッチ位置に対応するタッチ位置信号を出力する。

画像処理制御部２は、ステップＳ１１４において、タッチパルネ８からのタッチ位置信号から表示部７上に一覧表示されている静止画及び動画の各ファイルからタッチにより選択された静止画又は動画を表示部７に再生する。
ユーザのタッチにより静止画及び動画のファイルの選択がなければ、画像処理制御部２は、ステップＳ１１５において、再生モードを終了し、次のステップＳ１０８において、電源オフの指示がなされたか否かを判定する。電源オフの指示がなければ、画像処理制御部２は、ステップＳ１０９において、再度、撮影モード又は再生モードの変更操作の受付を行い、ステップＳ１０１に戻る。

一方、画像処理制御部２は、ステップＳ１０２において、カメラ本体１の背面に設けられている背面撮像部（ＬＲの各撮像部４ａ、４ｂ）４の撮像により取得される２つの視差画像データ中に例えばユーザＦの顔部の画像が存在すれば、ステップＳ１２１に移り、加速度センサ９から出力される方位信号からカメラ本体１の姿勢、例えばカメラ本体１の傾きθを求め、カメラ本体１に傾きが水平であるか否かを判定する。
この判定の結果、上記２つの視差画像データ中に例えばユーザＦの顔部の画像が存在し、かつカメラ本体１の傾きθが水平であり、例えば上記図１７に示すように撮影時のカメラ本体１が最適な傾き状態、すなわちカメラ本体１が傾かず、ユーザＦと母親Ｍ、子Ｃとが略同一高さ位置で、かつカメラ本体１の撮影光軸Ｑが水平に配置されていると、画像処理制御部２は、ステップＳ１２２において、カメラ本体１の前方、すなわち主撮像部３の撮像により取得される第１の撮像画像データ、例えば図１１に示す第１の撮像画像データＳ２中に人物が存在するか否かを判定する。ここでは母親Ｍ、子Ｃが存在すると判定する。
なお、カメラ本体１に傾きが水平でなければ、画像処理制御部２は、ステップＳ１２７に移り、カメラ本体１に傾きが水平でない旨の警告を例えば表示部７に表示したり、当該警告を音声により発する。

このように母親Ｍ、子Ｃが存在すると、画像処理制御部２は、ステップＳ１２３において、第１の撮像画像データＳ２中において一番高い位置の顔部の高さ位置を判定する。ここで、顔検出部２２は、第１の撮像画像データＳ１中から母親Ｍ、子Ｃの各顔部を検出する。画像処理制御部２は、顔検出部２２により検出された母親Ｍ、子Ｃの各顔部の高さ、その位置を求め、これら顔部の高さ、その位置から第１の撮像画像データＳ１中において一番高い位置の顔部、ここでは母親Ｍの高さ、その位置を判定する。

画像処理制御部２は、ステップＳ１２４において、例えば図１２に示すように母親Ｍの顔部の中心部から画像データの下端までの距離をＹｆとし、母親Ｍの顔部の高さ（長さ）をＤｆとしたときの上記距離Ｙｆが上記式（１）のＹｆ≦２．５Ｄｆを満たすか否かを判定する。
この判定の結果、上記式（１）を満たせば、画像処理制御部２は、ステップＳ１２５において、図１１に示す第１の撮像画像データＳ２中において左端に存在する人物、ここでは母親Ｍの顔部の位置を判定する。母親Ｍの顔部の位置は、上記顔検出部２２により検出済みである。

画像処理制御部２は、ステップＳ１２６において、上記図１２に示すように合成画像データＧ３中においてユーザＦの肩幅Ｈｋの画像データを合成するための幅スペースを必要とするために、上記式（３）のＸｆ＞３×Ｄｆを満たすか否かを判定する。
この判定の結果、上記式（３）を満たせば、画像処理制御部２は、ステップＳ１３１において、人物像切出し部２３に対してユーザＦの顔部の画像データの切り出しを指令する。この人物像切出し部２３は、背面撮像部（ＬＲの各撮像部４ａ、４ｂ）４の撮像により取得される２つの視差画像データからユーザＦの顔部の画像データを切り出す。画像合成部２５は、人物像切出し部２３により切り出されたユーザＨの顔部の画像データを主撮像部３の撮像により取得された第１の撮像画像データに合成する。
画像処理制御部２は、切り出したユーザＦの顔部の画像データから当該ユーザＦの顔部の高さ（長さ）Ｄｆ１を母親Ｍの顔部の高さ（長さ）をＤｆの１．１倍、すなわち、
Ｄｆ１＝１．１×Ｄｆ
に合わせる。

画像処理制御部２は、ステップＳ１３２において、例えば図１２の合成画像データＧ６に示すようにユーザＦの顔部の高さ（長さ）Ｄｆ１を母親Ｍの顔部の高さ（長さ）Ｄｆと等しく（Ｄｆ１＝Ｄｆ）し、さらに、画像データの例えば左端とユーザＦの顔部の中心部との間の距離Ｘｆ１とユーザＦの顔部の高さ（長さ）Ｄｆ１とを等しくし（Ｘｆ１＝Ｄｆ１）、画像データの例えば下端とユーザＦの顔部の中心部との距離Ｙｆと画像データの例えば下端と母親Ｍの顔部の中心部との距離Ｙｆ１とを等しくし（Ｙｆ＝Ｙｆ１）する。これにより、図１２又は図１５に示すようにユーザＦの右手Ｆｒを画像の構図から外し、右手Ｆｒを隠すように画像処理することで、ユーザＦの右手Ｆｒの不自然さが解消される合成画像データＧ３となる。
画像処理制御部２は、ステップＳ１３３において、図１２又は図１３に示す合成画像データＧ３を画像処理し、スルー画像として表示部７に表示する。
画像処理制御部２は、ステップＳ１３４において、例えば図２２に示す合成画像データＧ７中において、ユーザＦの画像をスライド移動するか否かを判定する。

図２１はスライド移動の制御フローチャートを示す。ユーザＦは、図２２に示すように表示部７の画面上においてスライド移動しようとするユーザＦの画像上をタッチする。タッチパネル８は、ユーザのタッチを受け、このタッチ位置に対応するタッチ位置信号を出力する。
画像処理制御部２は、ステップＳ２０１において、タッチパネル８からのタッチ位置信号から表示部７の画像上でタッチされた位置を求め、このタッチ位置がユーザＦの顔部の画像上に対応するか否かを判定する。

この判定の結果、タッチ位置がユーザＦの顔部の画像上に対応すれば、画像処理制御部２は、ステップＳ２０２において、タッチパネル８からのタッチ位置信号からタッチ位置のスライド移動を追跡する。すなわち、ユーザＦは、タッチ位置を例えば図２３に示すように所望の位置に移動する。画像処理制御部２は、タッチ位置のスライド移動に追従してユーザＦの画像を合成画像データＧ３の画像上でスライド移動する。

ユーザＦの画像のスライド移動後、画像処理制御部２は、ステップＳ２０２において、ユーザＦの画像データを合成するための幅スペースを有するか否かを判定するために、上記式（３）に示すＸｆ＞３×Ｄｆの条件を満たすか否かを判定する。
この判定の結果、当該Ｘｆ＞３×Ｄｆの条件を満たせば、画像処理制御部２は、ステップＳ２０２において、スライド移動した後の位置で、ユーザＦの画像データを合成画像データＧ３の画像上に合成し、ステップＳ１０４に移る。

上記Ｘｆ＞３×Ｄｆの条件を満たさなければ、画像処理制御部２は、ステップＳ２０３に移り、例えば図１５に示すように合成画像データＧ６において、画像データの例えば下端とユーザＦの顔部の中心部との距離ＹｆがユーザＦの顔部の高さ（長さ）Ｄｆ１よりも小さいか否か（Ｙｆ≦Ｄｆ１）を判定する。この判定の結果、当該Ｙｆ≦Ｄｆ１を満たせば、画像処理制御部２は、ステップＳ２０２において、スライド移動した後の位置で、ユーザＦの画像データを合成画像データＧ３の画像上に合成する。Ｙｆ≦Ｄｆ１を満たさなければ、画像処理制御部２は、ステップＳ２０５において、合成が不可能である旨の警告を例えば表示部７に表示したり、当該警告を音声により発する。

図２４は当該カメラ本体１の機能を簡略化したブロック構成図を示す。このカメラ本体１は、画像処理制御部２と、主撮像部３と、背面撮像部４と、操作部５と、表示部７と、人物像切出し部２３と、合成部２５とを有する。画像処理制御部２は、第１の撮像画像データ中におけるユーザＦの顔部の画像データの合成位置を決定する。
背面撮像部４は、３Ｄのカメラ用に２つの撮像素子３２、３３等を有するものでなく、１つの撮像素子を備えるものでも良い。１つの撮像素子を備えるカメラ本体１であれば、後述するように異なるタイミングで互いに視差を持つ２つの視差画像データを取得するようにすればよい。

このように上記第１の実施の形態によれば、主撮像部３により例えばユーザＦの家族を撮像した第１の撮像画像データを取得し、背面撮像部４により例えばユーザＦを撮像した視差を持つ２つの視差画像データを取得し、これら視差画像データからユーザＦの顔部の画像データを切り出し、この切り出したユーザＦの顔部の画像データを予め設定された合成条件に従ってユーザＦの家族を撮像した第１の撮像画像データに合成する。合成条件としては、例えばユーザＦの家族を含む第１の撮像画像データの構図、ユーザＦの顔部等の影部の位置、第１の撮像画像データ内での例えばユーザＦの家族の位置に基づくユーザＦの顔部等の合成スペースの有無、ユーザＦの顔部を撮像して取得されているか否か、又は例えばユーザＦの家族の顔部とユーザＦの顔部とが同一高さ位置で撮像されているか否かなどである。これにより、画像の合成写真を鑑賞するに際し、例えばユーザＦとその家族（母親Ｍ、子Ｃ）や風景とが不自然に合成されることなく、ユーザＦを家族（母親Ｍ、子Ｃ）や風景に馴染んだ印象を与える合成写真を得ることができ、さらにユーザと家族との配置位置等にも自然な構図の印象を与えることができる。

又、具体的に、合成が不適当であることの判定ができる。
第１に、合成判定部２４は、例えば図７に示す合成画像データＧ１中において、母親Ｍ及び子Ｃの各影部３０ｍ、３０ｃの位置と、ユーザＦの影部３０ｈの位置とを対比し、各影部３０ｍ、３０ｃ、３０ｈの各位置が反転していれば、合成が不適当であると判定する。
第２に、合成判定部２４は、例えば図９に示す合成画像データＧ２中において、母親Ｍ及び子Ｃの顔部の各位置と、ユーザＦの顔部の位置とが水平方向に略同一高さに存在するか否かを判定し、略同一高さに存在しなければ、合成が不適当であると判定する。
第３に、合成判定部２４は、例えば図１０に示す第１の撮像画像データＳ１中において、例えばユーザＦの顔部の画像データを合成するためのスペースの領域とユーザＦの顔部の領域とを対比して、第１の撮像画像データＳ１中にユーザＦの顔部の画像データを合成するためのスペースが存在するか否かを判定し、スペースが存在しなければ、合成が不適当であると判定する。

次に、合成が適当である場合の判定ができる。
合成判定部２４は、母親Ｍの顔部の中心部と当該同第１の撮像画像データＳ２の左端との距離Ｘｆを求め、かつ母親Ｍの顔部の高さ（長さ）Ｄｆを求め、上記式（３）の条件（Ｘｆ＞３×Ｄｆ）満たせば、第１の撮像画像データＳ１中にユーザＦの顔部の画像データを合成するためのスペースが存在するものと判定し、ユーザＦの顔部の画像データを合成することができる。
ユーザＦのカメラ本体１を持つ例えば不自然な右手Ｆｒは、右手Ｆｒを隠すように画像処理することにより、ユーザＦの右手Ｆｒの不自然さを解消できる。この場合、ユーザＦの顔部の高さＤｆ１と、母親Ｍの顔部の高さ（長さ）Ｄｆと、画像データの例えば左端とユーザＦの顔部の中心部との間の距離Ｘｆ１、ユーザＦの顔部の高さ（長さ）Ｄｆ１と、画像データの例えば下端とユーザＦの顔部の中心部との距離Ｙｆと、画像データの例えば下端と母親Ｍの顔部の中心部との距離Ｙｆ１との関係を、Ｄｆ１＝１．１×Ｄｆ、Ｘｆ１＝１．１×Ｄｆ１、Ｙｆ１＝１．１×Ｙｆとすることにより、確実にユーザＦの右手Ｆｒの不自然さを解消できる。

次に、カメラ本体１の最適な傾き状態を判定できる。すなわち、カメラ本体１の撮影光軸Ｑは、ユーザＦと母親Ｍ、子Ｃとに対して直線上に配置され、ユーザＦと母親Ｍ、子Ｃとがカメラ本体１を介して対面するように配置されるのが最良に撮影状況である。従って、画像処理制御部２は、加速度センサ９から出力される方位信号からカメラ本体１の傾きθを求め、カメラ本体１の傾きθがあれば、合成が不適当であることを判定できる。

次に、本発明の第２の実施の形態について図面を参照して説明する。
図２５は撮像装置（カメラ）のブロック構成図を示し、図２６（ａ）（ｂ）は本装置の外観図を示し、このうち同図（ａ）は正面外観図を示し、同図（ｂ）は背面外観図を示す。なお、図１及び図２（ａ）（ｂ）と同一部分には同一符号を付してその詳しい説明は省略する。
背面撮像部３０は、２次元用のカメラであり、主撮像部３と同様に、人物等の第２の主要被写体を含む被写体からの光像を撮像して第２の画像信号を出力する。この背面撮像部３０は、例えば撮影を行うユーザＦ自身を撮像する。この背面撮像部３０は、フォーカスレンズを含むレンズ光学系と、絞りと、シャッタと、レンズ光学系から絞り、シャッタを通った被写体からの光像を画像信号に変換する撮像素子とを有する。

表示部３１は、撮影時に取得された撮像画像データを表示したり、記録された撮像画像データを再生表示する。この表示部３１は、例えば液晶ディスプレイから成る。この液晶ディスプレイの上面には、タッチパネル８が設けられている。この表示部３１は、視差を持つ左右（ＬＲ）の各画像データを同時に表示することにより３次元（３Ｄ）表示をすることが可能である。
ガイダンス操作ボタン３２は、主撮像部３の撮像により取得された第１の撮像画像データと背面主撮像部３０の撮像により取得された第２の撮像画像データとを合成するときの操作方法のガイダンスを例えば表示器６に表示するためのユーザの操作用のボタンである。この操作方法のガイダンスでは、背面撮像部３０により撮像を行うときに、例えばガイダンス「カメラ本体を横にずらして再度撮影してください」を表示器６に表示する。このガイダンス「カメラ本体を横にずらして再度撮影してください」は、スピーカ等の鳴動機により音声により報知してもよい。移動は、加速度センサや地磁気センサで判定すれば良い。

次に、カメラを用いた画像合成を含むカメラ制御について説明する。
画像処理制御部２は、操作部５に対するユーザ操作の各種ボタンを読み取り、画像合成モードに設定されていると、主撮像部３と背面撮像部３０とで同時に撮像を行う。これら主撮像部３と背面撮像部３０とは、図２７に示すように例えばタイミングＴ１時にレリーズボタンが押し操作されると、このときに同時に撮像を行う。主撮像部３は例えばユーザＦの家族である母親Ｍ、子Ｃを撮像し、これと同時に、背面撮像部３０は、例えばユーザＦの顔部を撮像する。

この撮像が終了し、ガイダンス操作ボタン３２が押し操作されると、画像処理制御部２は、表示器６に例えばガイダンス「カメラ本体を横にずらして再度撮影してください」を表示する。ユーザＦは、ガイダンスに従い、例えば図２８に示すようにカメラ本体１を矢印方向に水平に移動する。水平移動が終了し、タイミングＴ１の後のタイミングＴ２時にレリーズボタンが押し操作されると、このときに主撮像部３と背面撮像部３０とは、同時に撮像を行う。主撮像部３は例えばユーザＦの家族である母親Ｍ、子Ｃを撮像し、これと同時に背面撮像部３０は、例えばユーザＦの顔部を撮像する。

主撮像部３により各タイミングＴ１、Ｔ２の撮像により取得される各第１の撮像画像データは、互いに視差を有する。この視差は、各タイミングＴ１、Ｔ２での主撮像部３の各撮像位置の間隔に対応する。図２９はタイミングＴ１の撮像により取得される第１の撮像画像データＪ１を示し、図３０はタイミングＴ２の撮像により取得される第１の撮像画像データＪ２を示す。これら第１の撮像画像データＪ１、Ｊ２では、画像中において母親Ｍ、子Ｃの位置が異なる。
背面撮像部３０により各タイミングＴ１、Ｔ２の撮像により取得される各第２の撮像画像データも、各タイミングＴ１、Ｔ２での背面撮像部３０の各撮像位置の間隔に対応する視差を有する。

画像処理制御部２は、主撮像部３による各タイミングＴ１、Ｔ２での撮像により取得された第１の撮像画像データＪ１、Ｊ２から母親Ｍ、子Ｃの画像データを切り出す。これと共に画像処理制御部２は、背面撮像部３０による各タイミングＴ１、Ｔ２での撮像により取得された各第１の撮像画像データからユーザＦの顔部の画像データを切り出す。
従って、母親Ｍ、子Ｃの画像データとユーザＦの顔部の画像データとは、それぞれを切り出されるので、それぞれ例えば第１の撮像画像データＪ１と分離可能で、当該第１の撮像画像データＪ１上で移動可能である。

従って、画像処理制御部２は、上記図２１に示すスライド移動の制御フローチャートに従ってユーザＦの画像データを第１の撮像画像データＪ１上でスライド移動する。すなわち、ユーザＦは、図３１に示すように表示部７の画面上においてスライド移動しようとするユーザＦの画像上をタッチする。ユーザＦは、タッチ位置を例えば図３２に示すように所望の位置にスライド移動する。
このとき、画像処理制御部２は、ユーザＦの画像データを合成するための幅スペースを有するか否かを判定するために、上記式（３）に示すＸｆ＞３×Ｄｆの条件を満たすか否かを判定する。この判定の結果、当該Ｘｆ＞３×Ｄｆの条件を満たせば、画像処理制御部２は、スライド移動した後の位置で、ユーザＦの画像データを合成画像データＧ３の画像上に合成する。

このように上記第２の実施の形態によれば、背面主撮像部３０を２次元用のカメラとし、カメラ本体１を横方向にずらし、かつ異なるタイミングＴ１、Ｔ２で撮像を行うので、主撮像部３と背面撮像部３０とでそれぞれ視差を持つ２つの第１、第２の撮像画像データを取得でき、これら画像データからユーザＦの顔部の画像データ、母親Ｍ、子Ｃの画像データを切り出すことができる。これにより、切り出したユーザＦの顔部の画像データを予め設定された合成条件に従ってユーザＦの家族を撮像した第１の撮像画像データに合成でき、上記第１の実施の形態と同様の効果を奏することができる。
又、ユーザＦの顔部の画像データ、母親Ｍ、子Ｃの画像データを切り出すことができるので、例えばユーザＦの腕部の画像データを母親Ｍ、子Ｃの画像データの背後に隠す合成や、後ろに並んだように重ねた合成ができる。
以上説明したものは、第２画像から背景を除去したものの合成になっていたが、背景から分離された人物を加工して、痩身させたりメイクしたり、アバター化して合成してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１：装置本体（カメラ本体）、２：画像処理制御部、３：主撮像部、３ａ：レンズ光学系、４：背面撮像部、５：操作部、５ａ：レリーズボタン、６：記録部、７：表示部、８：タッチパネル、９：加速度センサ、１０：時計部、２１：仮記録部、２２：顔検出部、２３：人物像切出し部、２４：合成判定部、２５：画像合成部、３０：背面撮像部、３１：表示部、３２：ガイダンス操作ボタン。

Claims (10)

1. 第１の主要被写体を撮像して第１の撮像画像データを取得する第１の撮像部と、
   前記第１の撮像部とは異なる位置に設けられ、第２の主要被写体を撮像して第２の撮像画像データを取得する第２の撮像部と、
   前記第１の撮像画像データから前記第１の主要被写体を検出し、前記第２の撮像画像データから前記第２の主要被写体を検出する主要被写体検出部と、
   前記第１の主要被写体と前記第２の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第１の撮像画像データと前記第２の撮像画像データとの合成適合性を判定する合成判定部と、
   前記合成判定部の判定結果に従って前記第１の撮像画像データと前記第２の撮像画像データとの合成画像データを作成する画像処理制御部と、
   装置本体の姿勢を検出する姿勢センサと、
   を具備し、
   前記合成判定部は、前記姿勢センサにより検出された前記装置本体の姿勢に基づいて前記第１の主要被写体と前記第２の主要被写体とが前記合成条件として同一高さ位置であるか否かを判定する、
   することを特徴とする撮像装置。
2. 第１の主要被写体を撮像して第１の撮像画像データを取得する第１の撮像部と、
   前記第１の撮像部とは異なる位置に設けられ、第２の主要被写体を撮像して第２の撮像画像データを取得する第２の撮像部と、
   前記第１の撮像画像データから前記第１の主要被写体を検出し、前記第２の撮像画像データから前記第２の主要被写体を検出する主要被写体検出部と、
   前記第１の主要被写体と前記第２の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第１の撮像画像データと前記第２の撮像画像データとの合成適合性を判定する合成判定部と、
   前記合成判定部の判定結果に従って前記第１の撮像画像データと前記第２の撮像画像データとの合成画像データを作成する画像処理制御部と、
   を具備し、
   前記第２の撮像部は、前記第２の主要被写体を撮像して視差を有する少なくとも２つの視差画像データを含む前記第２の撮像画像データを取得する、
   することを特徴とする撮像装置。
3. 前記第２の撮像部の撮像により取得された前記第２の撮像画像データから前記第２の主要被写体の画像データを切り出す切出部を有し、
   前記画像処理制御部は、前記合成判定部の判定結果に従って前記第１の撮像画像データと前記切出部により切り出された前記第２の主要被写体の画像データとを合成して前記合成画像データを作成する、
   ことを特徴とする請求項１又は２記載の撮像装置。
4. 前記主要被写体検出部は、前記第１と前記第２の主要被写体として顔部を検出し、
   前記合成判定部は、前記合成条件として前記主要被写体検出部により検出された前記顔部の影部の位置、前記顔部の合成スペースの有無、複数の前記顔部の各位置が同一高さであるか否か、のうち少なくとも１つを判定する、
   ことを特徴とする請求項１又は２記載の撮像装置。
5. 前記画像処理制御部は、前記第１の撮像画像データに対する前記切出部により切り出された前記第２の主要被写体の画像データの合成が不可能であれば、当該不可能な旨を報知することを特徴とする請求項３記載の撮像装置。
6. 前記合成判定部は、前記切出部により切り出された前記第２の主要被写体の画像データを拡大又は縮小して前記第１の撮像画像データに合成することを特徴とする請求項３記載の撮像装置。
7. 第１の撮像部の撮像により取得された第１の撮像画像データから第１の主要被写体を検出し、前記第１の撮像部とは異なる位置に設けられた第２の撮像部の撮像により取得された第２の撮像画像データから第２の主要被写体を検出し、
   前記第１の主要被写体と前記第２の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第１の撮像画像データと前記第２の撮像画像データとの合成適合性を判定し、
   前記合成適合性の判定結果に従って前記第１の撮像画像データと前記第２の撮像画像データとの合成画像データを作成し、
   前記第１と前記第２の主要被写体との撮像を行う装置本体の姿勢を姿勢センサにより検出し、
   前記合成適合性の判定では、前記姿勢センサにより検出された前記装置本体の姿勢に基づいて前記第１の主要被写体と前記第２の主要被写体とが前記合成条件として同一高さ位置であるか否かを判定する、
   ことを特徴とする撮像方法。
8. 第１の撮像部の撮像により取得された第１の撮像画像データから第１の主要被写体を検出し、
   前記第１の撮像部とは異なる位置に設けられ、第２の主要被写体を撮像して視差を有する少なくとも２つの視差画像データを含む第２の撮像画像データを取得する第２の撮像部の撮像により取得された前記第２の撮像画像データから前記第２の主要被写体を検出し、
   前記第１の主要被写体と前記第２の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定することによって前記第１の撮像画像データと前記第２の撮像画像データとの合成適合性を判定し、
   前記合成適合性の判定結果に従って前記第１の撮像画像データと前記第２の撮像画像データとの合成画像データを作成する、
   ことを特徴とする撮像方法。
9. コンピュータに、
   第１の主要被写体を第１の撮像部により撮像させて第１の撮像画像データを取得させる第１の撮像機能と、
   前記第１の撮像部とは異なる位置に設けられた第２の撮像部により第２の主要被写体を撮像させて第２の撮像画像データを取得させる第２の撮像機能と、
   前記第１の撮像画像データから前記第１の主要被写体を検出させ、前記第２の撮像画像データから前記第２の主要被写体を検出させる主要被写体検出機能と、
   前記第１の主要被写体と前記第２の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定させることによって前記第１の撮像画像データと前記第２の撮像画像データとの合成適合性を判定させる合成判定機能と、
   前記合成判定機能の判定結果に従って前記第１の撮像画像データと前記第２の撮像画像データとの合成画像データを作成させる画像処理制御機能と、
   を有し、
   前記合成判定機能は、姿勢センサにより検出された、前記第１と前記第２の主要被写体との撮像を行う装置本体の姿勢に基づいて前記第１の主要被写体と前記第２の主要被写体とが前記合成条件として同一高さ位置であるか否かを判定させる、
   を実現させる撮像装置の制御プログラム。
10. コンピュータに、
    第１の主要被写体を第１の撮像部により撮像させて第１の撮像画像データを取得させる第１の撮像機能と、
    前記第１の撮像部とは異なる位置に設けられ、第２の主要被写体を撮像して視差を有する少なくとも２つの視差画像データを含む第２の撮像画像データを取得する第２の撮像部により第２の主要被写体を撮像させて第２の撮像画像データを取得させる第２の撮像機能と、
    前記第１の撮像画像データから前記第１の主要被写体を検出させ、前記第２の撮像画像データから前記第２の主要被写体を検出させる主要被写体検出機能と、
    前記第１の主要被写体と前記第２の主要被写体とから得られたデータが予め設定された合成条件に適合するか否かを判定させることによって前記第１の撮像画像データと前記第２の撮像画像データとの合成適合性を判定させる合成判定機能と、
    前記合成判定機能の判定結果に従って前記第１の撮像画像データと前記第２の撮像画像データとの合成画像データを作成させる画像処理制御機能と、
    を実現させる撮像装置の制御プログラム。

Images