JP4775205B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は、例えば観光地等、視点位置や視線方向等によってある程度の被写体の位置関係等を特定することができる所定の被写体を撮影するのに好適な撮像装置、撮像方法及びプログラムに関する。

従来、旅行者が観光地に行った際に天候が悪い場合にはその観光地特有の風景や名所等を背景とするきれいな記念写真を残すことができないことに鑑みて、カラーディスプレイ、操作パネル、撮影用のディジタルカメラ、ビデオ再生器やディジタルカメラ用のディスクを駆動するディスクドライバー、料金支払い用の自動キャシュレジスタ、撮影用のブース、予め格納された複数の名所や記念物の背景画像の画像データ、カメラで撮影した人物画像と選択された背景画像とを合成してカラー印刷するカラープリンタ等を有する画像合成装置のような技術が考えられていた。（例えば、特許文献１）
特開平０９−３４１４４４号公報

しかしながら上記特許文献１に記載された類の技術では、予め用意した背景画像を固定的に用いるため、どうしても背景が画一的になりがちであり、ユーザが所望するような構図、画角で自由に撮影することができないという不具合があった。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、観光地等に行かずとも、その場所でユーザが自由に構図や画角等を選定した合成画像を撮影することが可能な撮像装置、撮像方法及びプログラムを提供することにある。

請求項１記載の発明は、被写体の画像を撮影する撮像手段と、被写体となりうる実世界内の物体の外観を表す３次元データを、実世界内の位置と方位とに対応付けて記憶した記憶手段と、上記実世界内の位置を任意に指定する位置指定手段と、上記実世界内における装置本体の方位を検出する方位検出手段と、上記位置指定手段で指定された位置を視点位置とするとともに上記方位検出手段で検出された方位を視線方向として、上記記憶手段に記憶される３次元データから実世界内の物体の仮想画像を生成する仮想画像生成手段と、上記仮想画像生成手段による仮想画像の生成に用いた方位と同じ方位に装置本体を向けたときに上記撮像手段で撮影された被写体の画像と、上記仮想画像生成手段で得た仮想画像とを透過的に重ね合わせた合成画像を作成する画像合成手段と、を具備したことを特徴とする。

請求項１記載の発明によれば、観光地等に行かずとも、予め３次元データを記憶してある場所についてユーザが自由に視点位置及び視線方向等を指定することで、自動的に構図等を選定した合成画像を気軽に表示し、撮影することができる。

（第１の実施の形態）
以下本発明をデジタルカメラに適用した場合の第１の実施の形態について図面を参照して説明する。

図１はその外観構成を示すもので、図１（Ａ）が主にこのデジタルカメラ１０の左斜め上方から見た前方側、図１（Ｂ）がデジタルカメラ１０の右斜め上方から見た背面側の各斜視図である。

デジタルカメラ１０の前面側にズーム機構を有する撮影レンズ１１が取付けられ、右端のグリップ部上端面にレリーズキー１２が配設されると共に、同グリップ部内には方位・３次元傾斜角センサ１３が内在される。

また、デジタルカメラ１０の上面には、右端側よりモード切替ダイヤル１４、液晶表示部１５、ペンタプリズム部のポップアップ式内蔵フラッシュ１６及び外付けフラッシュ用ホット端子１７、ＧＰＳ受信アンテナ１８等が配設される。

ＧＰＳ受信アンテナ１８は、後述する如く図示しない複数（原理上は４つ以上）のＧＰＳ衛星からの到来電波を受信してこのデジタルカメラ１０の現在位置を３次元座標（緯度／経度／高度）で正確な現在時刻の情報と共に検出するべく設けられる。

さらにデジタルカメラ１０の背面側には、光学ファインダ１９、カーソルキー２０、数値入力キー２１、及びモニタ表示部とタッチパネル機能を兼ねた電子ファインダ２２が設けられる。

電子ファインダ２２は、バックライト付きのカラー液晶パネルと透明タッチパネルとが一体にして構成され、その基部が２軸ヒンジ機構とされることで表示面／タッチ面を所定の範囲内で任意に可動させることができる。

加えて、デジタルカメラ１０のグリップ部を形成する背面右端乃至右側面の外面は、このデジタルカメラ１０の電源となる電池及び記録媒体となるメモリカードを収納する収納部のカバー２３を兼ねている。

次に図２によりこのデジタルカメラ１０の電子回路の構成について説明する。

上記撮影レンズ１１は、複数の光学レンズ群の光軸中に絞り機構１１ａとシャッタ機構１１ｂとが挿入されるもので、これらを介して得られた撮影光は例えばＣＣＤで構成される撮像素子３１で結像される。

この撮像素子３１は、ドライバ３２により走査駆動されて光像に対応した画素毎の電荷を出力するもので、これがゲイン調整、サンプルホールドされた後にＡ／Ｄ変換器３３でデジタル化されて画像データが形成され、映像信号処理３４に送られる。

映像信号処理３４は、原色系のカラー画像データを輝度色差系の同データに変換し、γ補正等のプロセス処理を施した上で処理後の画像データをバッファメモリとなる画像メモリ３５に保持させる。

この画像メモリ３５に保持された画像データを撮影制御回路３６が読出し、ＣＰＵで構成される主制御回路３７へ送出する。

撮影制御回路３６はまた、上記撮影レンズ１１中の特にフォーカスレンズ及びズームレンズの位置を検出するレンズ位置検出部３８からの検出信号を受け、レンズ駆動部３９に駆動信号を送出して上記各レンズの位置を制御する他、シャッタ・絞り駆動部４０に制御信号を送出して上記撮影レンズ１１中の絞り機構１１ａ及びシャッタ機構１１ｂの動作を制御する。

また、上記撮影レンズ１１の一部を介して測光・測距センサ４１に光が入射され、その検出信号が色温度検出部４２、測光部４３、及び測距部４４へ出力される。

これら色温度検出部４２、測光部４３、測距部４４は、測光・測距センサ４１の検出信号から光像の色温度、光量、及び被写体までの距離をそれぞれ検出、測定し、その結果を共に上記撮影制御回路３６へ出力する。

さらに撮影制御回路３６は、上記内蔵フラッシュ１６を発光駆動する、大容量コンデンサを含んだフラッシュ駆動部４５、及び該内蔵フラッシュ１６での発光照射角度を可変するべく、内蔵フラッシュ１６を構成するキセノン放電管とそのリフレクタとの間隔を可変する照射角駆動部４６に対しても制御信号を送出する。

主制御回路３７は、上記撮影制御回路３６の他に、音声復号化部４７、音声符号化部４８、姿勢検出部４９、ＧＰＳレシーバ５０、入力回路５１、座標入力回路５２、表示メモリ５３、表示駆動部５４、画像処理部５５、圧縮符号化／伸長復号化部５６、画像データメモリ５７、プログラムメモリ５８、データメモリ５９、外部メモリインタフェース６０、入出力インタフェース６１、及び電源制御部６２とも接続される。

音声復号化部４７は、与えられた音声データを復号化してデジタル値の音声信号を得、これをＤ／Ａ変換器６３を介してアナログ化した上でデジタルカメラ１０の背面側に配設されたスピーカ６４により拡声放音させる。

一方、デジタルカメラ１０の前面側に配設されたマイクロホン６５より入力された音声は、Ａ／Ｄ変換器６６でサンプリングされてデジタル化された後に、音声符号化部４８で所定の変調方式による符号化が実行され、主制御回路３７へ出力される。

姿勢検出部４９は、上記方位・３次元傾斜角センサ１３より得られるθｙａｗ、θｐｉｔｃｈ、θｒｏｌｌの各信号によりその時点でデジタルカメラ１０の正面が向いている方位と姿勢とを検出し、その検出結果を主制御回路３７へ出力する。

ＧＰＳレシーバ５０は、上記ＧＰＳ受信アンテナ１８で受信された複数のＧＰＳ衛星からの到来電波により、原子時計に基づく正確な現在時刻と現在位置の３次元座標（緯度／経度／高度）とを算出して主制御回路３７へ出力する。

入力回路５１は、上記レリーズキー１２、モード切替ダイヤル１４、カーソルキー２０、数値入力キー２１を含む各種キーの操作を受付けてその操作信号を主制御回路３７へ出力する。

座標入力回路５２は、上記電子ファインダ２２の一部を構成するタッチパネル２２ａでのタッチに基づく２次元座標データを生成して主制御回路３７へ出力する。

表示メモリ５３は、主制御回路３７から与えられる画像データを保持して表示駆動部５４に読出すことで、表示駆動部５４が電子ファインダ２２を構成するカラー液晶パネルでなる表示部２２ｂを駆動表示する。

画像処理部５５は、画像データに対するホワイトバランス、コントラスト、シャープネス等の変換や輝度補正、モノクロ／セピア処理等の各種画像処理を主制御回路３７からの制御に基づいて実行する。

圧縮符号化／伸長復号化部５６は、画像記録時の例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格に基づくＤＣＴ（離散コサイン変換）やエントロピー符号化としてのハフマン符号化等により原画像データを圧縮する一方で、画像再生時には上記データ圧縮とは逆の手順で圧縮されているデータを伸長する。

画像データメモリ５７は、上記圧縮符号化／伸長復号化部５６でのデータ圧縮／伸長時の画像データを一時的に保持する。

プログラムメモリ５８は、後述する動作時に主制御回路３７が実行する動作プログラムや同プログラムで使用する定数などのデータ等を固定的に記憶する。

データメモリ５９は、主制御回路３７のワークエリアとして使用される他、仮想被写体の位置データ、仮想被写体の視位置計算データ、コンピュータグラフィック（ＣＧ）描画用モデルデータ、‥‥等、後述する動作時に使用する各種データを記憶する。

外部メモリインタフェース６０は、このデジタルカメラ１０に記録媒体として装着されるメモリカード６７と主制御回路３７との間で画像データの送受を行なう。

入出力インタフェース６１は、このデジタルカメラ１０に設けられる、例えばＵＳＢ端子でなる入出力端子６８と主制御回路３７との間に通信部６９と共に配置され、画像データを含む各種データの送受を行なう。

電源制御部６２は、このデジタルカメラ１０の電源となる電池７０からの供給電圧を受け、これを安定化して上記主制御回路３７へ与える一方で、電池７０のモニタ管理等を行なう。

なお、上記入出力端子６８を介してこのデジタルカメラ１０をインターネット環境下にあるパーソナルコンピュータと接続することで、地図情報、地理情報、観光情報等を適宜必要なデータベースからダウンロードし、上記データメモリ５９に保持しておくことができる。

次いで上記実施の形態の動作について説明する。
まず、図３乃至図５により本実施の形態の動作の概要を示す。
すなわち本実施の形態では、任意の位置を指定することで、その位置に存在する山や地形、建物、橋等の建造物を含む仮想の被写体の地理情報をデータ化して予めデータメモリ５９に記憶しておき、撮影時のデジタルカメラ１０の位置や向き、傾斜等のデータを入力する。

これらを基に、カメラ視野範囲内の仮想の被写体の位置座標（経度λ_n、緯度φ_n、高度ｈ_n）から仮想の被写体の視位置（方位Ａｚ_n、高度角ψ_n）を推測計算する（Ｓ０１）。

また、このデジタルカメラ１０の向き（方位θｙａｗ、仰角θｐｉｔｃｈ、傾斜角θｒｏｌｌ）と撮影画角θ（またはデジタルズームの場合には表示画角θ’＝θ／Ｍｄ）に応じて、視野範囲内の仮想の被写体の３次元シミュレーション画像を図５（Ａ）に示すように生成する（Ｓ０２）。

一方で、撮像素子３１で得られる実際の被写体像をＡ／Ｄ変換及び各種プロセス処理を施して実際の被写体のスルー画像を作成する（Ｓ０３）。

このとき、特定の撮影条件として、例えばデジタルカメラ１０から被写体までの距離を５［ｍ］以内と設定しておくことにより、撮影画像全面をＡＦ機能により走査して実際の被写体として５［ｍ］以内にあるもののみを選択し、輪郭抽出処理と合わせて背景にあたる部分の画像を容易に省略することができるので、後述する合成画像に適した実被写体の画像を取得することができる。

加えて、上記輪郭抽出処理により、特に人物と思われる形状部分のみを抽出し、それ以外の領域を除外するものとしてもよい。

しかして、実際の被写体のスルー画像上に対し、仮想の被写体の３次元シミュレーション画像の輪郭を半透過処理した上で重畳して電子ファインダ２２で表示させることで（Ｓ０４）、図５（Ｂ）に示すような合成画像を得ることができる。

図５（Ｂ）では、シミュレーションで描画した仮想の被写体Ｖ１，Ｖ２の輪郭を実際の被写体像Ｒ１，Ｒ２と共に表示している例を示す。同図では、電子ファインダ２２上に実際の被写体Ｒ１，Ｒ２とシミュレーションで得た仮想の被写体Ｖ１，Ｖ２とを合成表示している他に、右端側でカメラの高度角ψとの指針仰角の目盛りを表示し、同時にカメラの方位角Ａｚの指針と目盛りを表示している。

このような表示状態にあってレリーズキー１２の操作による撮影の指示があるのを待機し、指示があった時点でこれを判断して（Ｓ０５）、図５（Ｃ）に示すように実際の被写体像の画像を撮影する（Ｓ０６）。

こうして得られた実際の被写体像の画像と、仮想被写体のシミュレーション合成画像とを合成処理することにより、（Ｓ０７）、図５（Ｄ）に示すような画像を得ることができる。

しかるに、こうして得られた合成画像のデータを圧縮符号化／伸長復号化部５６にてデータ圧縮して符号化した後に、合わせて被写体情報、仮想被写体情報等を符号化して添付して１つのデータファイル化し、外部メモリインタフェース６０を介して記録媒体であるメモリカード６７に記録して（Ｓ０８）、以上で一連の撮影に係る動作を完了する。

図６及び図７は、上述したこのデジタルカメラ１０で仮想被写体との合成画像を撮影する合成撮影モード時に実行する制御の具体的な処理内容を示すメインルーチンであり、その制御動作は主として主制御回路３７がプログラムメモリ５８に記憶されている動作プログラムや定数等の固定データに基づいて実行する。

その当初には、撮影モードや撮影条件等をユーザが任意に設定する（ステップＡ０１）。

この設定に基づき、仮想被写体との合成撮影モードが設定されたか否かを判断する（ステップＡ０２）。

ここで仮想被写体との合成撮影モードが設定されていると判断した場合にのみ、次にこのデジタルカメラ１０の現在位置または仮想位置の座標を経度λ_０、緯度φ_０、及び高度ｈ_０として入力するか、あるいは予め用意された仮想位置の先端を行なう（ステップＡ０３）。

図８は、ＧＰＳを用いて現在位置の入力を行なう測位処理の内容を示すサブルーチンである。その当初には、ＧＰＳレシーバ５０がすでに起動されて動作中であるか否かを判断する（ステップＢ０１）。

ここで、まだ起動されておらず動作中ではないと判断した場合にのみ、あらためてＧＰＳレシーバ５０での動作を起動させ（ステップＢ０２）、その後起動が完了して測位が可能となるのを待機する（ステップＢ０３）。

このステップＢ０３で起動が完了したと判断した場合、もしくは上記ステップＢ０１ですでに起動されていると判断した場合に、次いでＧＰＳ受信アンテナ１８を用いて複数のＧＰＳ衛星からの到来電波を受信し、まず測位信号中の疑似乱数列ＰＲＮ（Ｐｓｅｕｄｏ−Ｒａｍｄｏｍ Ｎｏｉｓｅ）によるコードを受信復調して疑似距離を計測する（ステップＢ０４）。

次いで、各ＧＰＳ衛星の天体歴情報、及び起動データを取得し（ステップＢ０５）、各ＧＰＳ衛星の位置及び現在位置からの距離を算出する（ステップＢ０６）。

そして、この算出結果から、現在デジタルカメラ１０が位置している正確な３次元座標、すなわち経度λ_０、緯度φ_０、及び高度ｈ_０を現在時刻と共に算出する（ステップＢ０７）。

これら各座標値に基づき、測地系座標への変換処理を行ない（ステップＢ０８）、結果としてこのデジタルカメラ１０の位置する現在位置を取得して、主制御回路３７へ出力し（ステップＢ０９）、以上で図８のサブルーチンを終了する。

図６のメインルーチンでは、ステップＡ０３での位置の入力または選択に基づき、位置の座標を経度λ_０、緯度φ_０、及び高度ｈ_０として保持した後に、方位・３次元傾斜角センサ１３、姿勢検出部４９を用いてこのデジタルカメラ１０の向き（方位、仰俯角、傾斜角など）を検出する（ステップＡ０４）。

次いで、保持した位置とデジタルカメラ１０の向きとから、ファインダ視野に入る概略の被写体位置範囲を設定する（ステップＡ０５）。

この設定内容に基づき、データメモリ５９に記憶している地理情報中から１つの被写体の位置座標（経度λ、緯度φ、高度ｈ）を読出す（ステップＡ０６）。

読出した１つの仮想被写体の位置座標により、カメラの現在位置に基づいて視野内での視位置を算出する（ステップＡ０７）。

図９は、このステップＡ０７のサブルーチンの内容を示すもので、図１０はその概念を示す模式図である。まず上記ステップＡ０３で得たデジタルカメラ１０の位置の座標（経度λ_０、緯度φ_０、及び高度ｈ_０）を入力し（ステップＣ０１）、次に直前の上記ステップＡ０６で得た仮想被写体の位置座標（経度λ、緯度φ、高度ｈ）を入力する（ステップＣ０２）。

これら各位置座標により、入力または選択した位置と仮想被写体の各位置座標から次式
x＝(r+h)^*cos(φ)^*cos(λ)
y＝(r+h)^*cos(φ)^*sin(λ)
z＝(r+h)^*sin(φ)^*
（但し、ｒ：当該地点の地球半径。）
に従って地心中心の直交座標ＸＹＺに変換する（ステップＣ０３）。

こうして得た直交座標ＸＹＺを、Ｚ軸の周りに現在地の経度λ_０だけ回転し、次式
x'＝x*cosλ_０+y*sinλ_０
y'＝-x*sinλ_０+y*cosλ_０
z'＝z
により直交座標Ｘ’Ｙ’Ｚ’に変換する（ステップＣ０４）。

次に、直交座標Ｘ’Ｙ’Ｚ’を、今度はＹ軸の周りに（π／２−φ_０）だけ回転し、次式
x"＝x'*cos(π/2-φ_０)-z'*sin(π/2-φ_０)
y"＝y'
z"＝x'*sin(π/2-φ_０)+z'*cos(π/2-φ_０)h)
-(R+h_０)
により直交座標Ｘ”Ｙ”Ｚ”に変換する（ステップＣ０５）。

現在地から被写体の地点までの距離Ｒ、方位角Ａｚ、及び高度角ψを次式
X＝x"-x"_０
Y＝y"-y"_０
Z＝z"-z"_０
R＝√(X²+Y²+Z²)
Az＝tan^-1(Y/X)
ψ＝sin^-1(Z/R)
により求め（ステップＣ０６）、求めた各地点までの距離Ｒ、方位角Ａｚ、及び高度角ψを出力して（ステップＣ０７）、以上で図９のサブルーチンを一旦終了し、上記図６の処理に戻る。

図６のメインルーチンでは、求めた被写体の視位置（距離Ｒ、方位角Ａｚ、及び高度角ψ）を画像データメモリ５７に記憶した後（ステップＡ０８）、視野範囲内に位置するすべての仮想被写体に対して視位置の計算を行なったか否か、換言すればまだ同様の計算を行なうべき仮想被写体があるか否かを判断する（ステップＡ０９）。

まだ計算を行なっていない仮想被写体があると判断すると、上記ステップＡ０６からの処理に戻り、新たな仮想被写体に対する視位置の計算を実行する。

こうしてステップＡ０６〜Ａ０９の処理を必要な仮想被写体の数だけ繰返し実行することで、デジタルカメラ１０の視野範囲内に位置するすべての仮想被写体の視位置を算出し終えると、ステップＡ０９でこれを判断して続くステップＡ１０に至る。

なお、上記ステップＡ０２で撮影モードが仮想被写体との合成撮影モードではないと判断した場合には、上記ステップＡ０３〜Ａ０９の処理は行なわない。

ステップＡ１０では、測光・測距センサ４１、色温度検出部４２、及び測光部４３により測光処理とホワイトバランス調整処理とを実行する。その後、撮影レンズ１１中のズームレンズ及びフォーカスレンズを必要により適宜移動させるズーム処理及びＡＦ処理を実行する（ステップＡ１１）。

以上で被写体像全体に対する適正な撮影状態が得られるので、その時点で撮像素子３１で撮像し、画像メモリ３５に保持している被写体像を電子ファインダ２２にてスルー画像として表示する（ステップＡ１２）。

ここで再び、撮影モードが仮想被写体との合成撮影モードであるか否かを判断する（ステップＡ１３）。

仮想被写体との合成撮影モードであると判断した場合にのみ、その時点での撮影レンズ１１の焦点距離（ｆ）と撮像素子３１のサイズ（Ｘ’）、及びデジタルズーム倍率（Ｍｄ）により電子ファインダ２２で表示すべき被写体像の撮影画角（θ）を算出する（ステップＡ１４）。
なお、当該画角θは、次式
撮影画角θ＝2tan^-1(X'/2f)
表示及び記録画角θ'＝θ/Md
で求められる。

こうして得た結果に基づき、カメラの向きと表示画角に対して、視野に入る仮想被写体の像位置を計算し、視位置の被写体情報を合成（または３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）描画）した後に輪郭化処理し、実際に得られる被写体像上に重畳して電子ファインダ２２で表示する（ステップＡ１５）。

図１１は、このとき電子ファインダ２２で表示するために生成する、３次元ＣＧ描画処理の詳細を示し、図１２にその各処理段階での描画モデルを示す。

その処理当初には、まず視野に入る被写体の地図情報を基に３次元のモデリング処理を施す（ステップＤ０１）。

このモデリング処理としては、図示する如く地理座標・等高線モデル、ワイヤーフレーム・モデル、サーフェス・モデル、ソリッドモデル等を施すことで（ステップＤ０２〜Ｄ０５）、地図情報から３次元空間内の凹凸を忠実に再現したモデルを得る。図１２（Ａ）−１は地理座標・等高線モデル、図１２（Ａ）−２はワイヤーフレーム・モデルの例を示す。

こうして得た３次元モデルに対してレンダリング処理を施すことで、現実に肉眼で見える視野範囲の被写体情報を描画する。
すなわち、まず投影・座標変換処理（ステップＤ０６）により上記３次元モデルを現在位置から見た２次元画像として透視投影処理する。

図１２（Ｂ）がこの２次元の透視投影画像を例示するもので、具体的には平行投影処理（ステップＤ０７）または透視投影処理（ステップＤ０８）を実行する。座標変換では、ローカル座標系で指定した形状をワールド座標系に配置し、視点位置、視軸方向にある支点座標系をワールド座標系で決定した上で、このワールド座標系の位置を視軸上にあるｕｖｎ座標系（視野窓の座標系）の位置に変換する。

その後、該投影処理により得た２次元画像中から、視野範囲に合わせたクリッピング処理（ステップＤ０９）を実行することで、図１２（Ｃ）に示すように視野窓内に必要な部分のみを切出す。

さらに、図１２（Ｄ）に示す如く、現在の視点位置から画面に現れる部分を決定し、視野に入らない部分、すなわち各被写体の背後の位置となる隠れ線、隠れ面の各消去処理（ステップＤ１０）を実行する。

この消去処理としては、Ｚソート法（ステップＤ１１）、Ｚバッファ法（ステップＤ１２）、スキャンライン法（ステップＤ１３）、及びレイ・トレーシング法（ステップＤ１４）のいずれかを用いる。

次に、比較の当たり具合や反射、透過の様子を計算し、設定ライティング条件に基づいて、被写体表面の明暗や陰影付けを行なうシェーディング処理、及び地面にできる影を描画するシャドウイング処理を実行する（ステップＤ１５）。

これらの処理内容としては、フラット・シェーディング法（ステップＤ１６）、グーロー・シェーディング法（ステップＤ１７）、フォン・シェーディング法（ステップＤ１８）、レイ・トレーシング法（ステップＤ１９）、及びラジオシティ法（ステップＤ０２）のいずれかを用いる。

図１２（Ｅ）は、この時点で得られる画像を例示するもので、シェーディング処理により陰影を付加した上で、被写体情報、地理情報等も重畳表示している状態を示す。

さらに、被写体画像の各表面に模様や細かな凹凸等を貼り付けるマッピング処理を行なうことで（ステップＤ２１）、画像により現実感を与えるものとしてもよい。このマッピング手法としては、テクスチャ・マッピング法（ステップＤ２２）、バンプ・マッピング法（ステップＤ２３）、透明マッピング法（ステップＤ２４）、反射マッピング法（ステップＤ２５）、及び環境マッピング法（ステップＤ２６）等のいずれか少なくとも１つを用いる。

最後に、上記一連のデジタル処理に伴う境界線部分のギザギザなどを滑らかにするアンチ・エリアシング処理などを行ない（ステップＤ２７）、以上で一連の３次元ＣＧ描画処理の処理を終了する。

なお、仮想被写体の３次元ＣＧ表示に際しては、デジタルカメラ１０の向きに応じた表示を行なうものとしてもよい。
図１３は、デジタルカメラ１０の向き（方位角θyaw）に応じた仮想被写体の視位置の表示を説明するものである。図１３（Ａ）はデジタルカメラ１０の方位角（θyaw）が７０°（略西南西）である場合、図１３（Ｂ）は同９０°（真西）である場合、図１３（Ｃ）は同１１０°（略西北西）である場合のそれぞれの電子ファインダ２２での表示例を示している。ここでは、電子ファインダ２２中の中央にフォーカスエリアＦＡを表示すると共に、中心となる方位角θyaw及び仰角θpitchの目盛りを合わせて表示している。

また、図１４及び図１５は、デジタルカメラ１０の傾斜（仰角θpitch）に応じた仮想被写体の視位置の表示例を示すものである。図１４（Ａ）はデジタルカメラ１０の仰角（θpitch）が＋７０°である場合、図１４（Ｂ）は同＋４０°である場合、図１５（Ａ）は同＋２０°である場合、図１５（Ｂ）は同０°の場合それぞれの電子ファインダ２２での表示例を示している。ここでは、電子ファインダ２２中の中央にフォーカスエリアＦＡを表示すると共に、中心となる方位角θyaw及び仰角θpitchの目盛りを合わせて表示している。ここでは、電子ファインダ２２中の中央にフォーカスエリアＦＡを表示すると共に、中心となる方位角θyaw及び仰角θpitchの目盛りを合わせて表示している。

図１６〜図１９により、このような視位置座標を算出する場合について説明する。
図１６（Ａ）に示す如く、ＸＹＺ空間において仮想被写体の視位置を、方位角Ａｚ、高度角（仰角）ψで表すものとする。このとき、図１６（Ｂ）に示すようにデジタルカメラ１０の向きをｕｖｗ空間（ｗ軸がカメラ光軸）でθyaw，θpitch，θrollで表す。このうち、θrollがデジタルカメラ１０を左右にも傾けた状態での角度を示す。

上記視位置（方位角Ａｚ、高度角ψ）をｕｖｗ空間中でのカメラ座標に変換し、カメラの向き（θyaw，θpitch，θroll）に応じた像位置を算出する場合の内容を図１７に示す。

図１７（Ａ）はその側面図であり、仮想被写体の視位置、デジタルカメラ１０の無機、及びレンズ焦点距離に応じて、撮像面上の像位置Ｐ′(ｕ′，ｖ′，ｗ′)を計算し、さらに電子ファインダ２２の表示座標(Ｓｘ，Ｓｙ)に換算する。

仮想被写体の視位置を方位角Ａｚ、高度角ψ、カメラの向きをθyaw，θpitch，θrollとすると、上記側面図からわかるように、半径１の球面上の視位置Ｐ(ｘ，ｙ，ｚ)は図１７（Ａ）で示すように求められる。

さらに図１７（Ｂ）はその上面図であり、これから半径１の球面上の視野中心のＷ方向からの距離ｕ，ｖを求めると、図示する如くｕ，ｖ，ｕ’，ｖ’を算出することができる。

この仮想被写体の像がθrollだけ傾斜したサイズを横Ｗｖ、縦Ｈｖとし、このサイズで液晶表示パネル等で構成される電子ファインダ２２で表示される時、表示されるべき位置座標（Ｓｘ，Ｓｙ）は、図１８に示すように
u_r＝u'cos(θ_roll)+v'sin(θ_roll)
v_r＝-u'sin(θ_roll)+v'cos(θ_roll)
Sx＝Wv/2＋u_r
Sy＝Hv/2−v_r
となる。なお、撮影レンズ１１による倒立像を電子ファインダ２２では正立像で表示する。

次に、図１９により撮影レンズ１１の焦点距離ｆと撮影画角θとの関係を示す。図１９（Ａ）に示すように、レンズの焦点距離ｆあるいは光学ズームの倍率Ｍを変えると、上記図１８での表示位置の計算でも示したように、撮影レンズ１１の撮影画角が変化するために、天体の表示位置や表示範囲が変わる。撮影レンズ１１の結像面のイメージサイズをＸ’とすると、図示する如く
X'/2f＝tan(θ/2)の関係により
撮像画角θ＝2tan^-1(X'/2f)
被写界範囲X＝X'×L/f
となる。

なお、光学ズームではなくデジタルズーム機能の実行時には、撮影レンズ１１での撮像画角は変わらないが、記録画角または電子ファインダ２２視野での表示画角（θ’）は変化するため、デジタルズーム倍率をＭｄ（Ｍｄ≧１）とすると、
θ'＝θ/M
となり、天体の視位置の狭い範囲が、電子ファインダ２２ではＭｄ倍に拡大して表示されることとなる。

上述の天体の視位置の電子ファインダ２２上での表示位置も、上記撮影レンズ１１の焦点距離ｆ（または光学ズーム倍率Ｍ）だけでなく、デジタルズーム倍率Ｍｄに合わせて、像位置Ｐ’(ｕ’，ｖ’)となる天体の視位置を
Ｐ’(Ｍｄ＊ｕ’，Ｍｄ＊ｖ’)
に相当する位置に変換して表示する必要がある。

図１９（Ｂ）は、撮像素子３１として１／２．５インチ型のＣＣＤを用いた場合の横方向の画角を示すもので、焦点距離ｆ［ｍｍ］、光学ズーム倍率Ｍ、デジタルズーム倍率Ｍｄ、撮影画角θ［°］及び表示・記録画角θ’［°］の関係を例示している。

図２０は、焦点距離ｆ（ズーム倍率Ｍ）及び画角に応じて、仮想被写体の視位置の表示画面の範囲が可変する状態を例示するものである。

図２０（ａ）は焦点距離が６［ｍｍ］（光学ズーム倍率１倍）、図２０（ｂ）は焦点距離が１８［ｍｍ］（光学ズーム倍率３倍）、図２０（ｃ）は焦点距離が３０［ｍｍ］（光学ズーム倍率５倍）の場合の電子ファインダ２２の表示視野を左側のズーム倍率用のインジケータと共に示すものであり、図２０（Ａ）〜図２０（Ｃ）はそれぞれ上記各焦点距離（光学ズーム倍率）における実際の表示内容を例示するものである。

このように、撮影レンズ１１でのズーム倍率を可変する操作を行なうことにより、撮影画角が可変することで、これに連動して電子ファインダ２２で表示される範囲も自動的に可変設定されることとなる。

最後に、図２１によりファインダ視野に入る仮想被写体の範囲の設定例を示す。
上記図６及び図７の仮想被写体の計算処理において、すべての仮想被写体の視位置を計算して、その中から視野範囲に入る視位置の天体を表示するものとすると、デジタルカメラ１０に備えられる主制御回路３７が実行しなければならない計算の時間と量が膨大なものとなってしまう。そのため、予め視野範囲に入り得る仮想被写体のみを計算することとすれば、計算の時間と量を大幅に削減できる。

図２１によりそのような範囲を限定した計算を行なう場合について説明する。まず、図２１（Ａ）に示すように電子ファインダ２２の視野ＦＶを定義するものとする。すなわち、電子ファインダ２２の横方向のサイズをＷｆ、縦方向のサイズをＨｆ、横画角をθ_Ｗ、縦画角をθ_Ｈ、対角画角をθ_Ｄとし、ファインダの四隅の各座標を図示のように定義するものとする。

図２１（Ｂ）に示す如く、視野ＦＶに天頂Ｚを含まない場合には、方位角Ａｚ、高度各ψが図中にハッチングで示した扇形の範囲にある座標を次式
(θyaw-θ_Ｗ/2)≦Az≦(θyaw+θ_Ｗ/2)、且つ
(θpitch-√(θ_Ｗ ²+θ_Ｈ ²)/2)≦ψ≦(θpitch+√(θ_Ｗ ²+θ_Ｈ ²)/2)
により逆算して、その仮想被写体の範囲のみを計算すればよい。

また、図２１（Ｃ）に示す如く、視野ＦＶに天頂Ｚを含む場合には、同様に図中にハッチングで示した円形の範囲にある座標を次式
(θpitch-√(θ_Ｗ ²+θ_Ｈ ²)/2)≦ψ≦90°
により逆算して、その仮想被写体の範囲のみを計算すればよい。

なお、上記図２１（Ｂ），（Ｃ）の場合にあって、デジタルズーム倍率Ｍｄが１を越えている場合には、
θ_Ｗ＝θ_Ｗ/Md、且つ
θ_Ｈ＝θ_Ｈ/Md
であるものとして計算する必要がある。

こうして視野ＦＶに入る可能性のある範囲のみ天体の計算を行なうことで、主制御回路３７の負担を大幅に軽減することができる。

しかして、上記図７のメインルーチンでは、上記ステップＡ１５で視位置に応じた合成画像を輪郭化処理し、実際に得られる被写体像上に重畳して電子ファインダ２２で表示しながら、レリーズキー１２の操作による撮影指示があるか否かを判断する（ステップＡ１６）。

ここでレリーズキー１２の操作がないと判断した場合には、レリーズキー１２以外のキー操作あるいは表示に係る処理を実行する一方で（ステップＡ１９）、レリーズキー１２が操作されたと判断した場合には、その時点で設定されている撮影条件に従った撮影処理を実行し（ステップＡ１７）、撮影により得た画像データを上記輪郭化する前の仮想被写体の合成画像データに重畳した画像データを得た上で（ステップＡ１８）、この画像データを圧縮符号化／伸長復号化部５６にてデータ圧縮して符号化し、撮影条件や撮影時の被写体情報等を添付してファイル化した上でメモリカード６７に記録し（ステップＡ１９）、以上で上記図６及び図７の一連の処理を一旦終了して、次の撮影に備えるべく再び始めからの処理に戻る。

このように、本発明の第１の実施の形態によれば、実際の観光地等に行かずとも、予めデータメモリ５９に３次元データを記憶してある場所について、このデジタルカメラ１０のユーザが自由に視点位置及び視線方向等を指定することで、自動的に構図等を選定した合成画像を気軽に電子ファインダ２２にて表示し、撮影することができる。

また、上記図１３や図１４，図１５、図１６〜図１８、図１９，図２０とそれらの説明でも示したように、デジタルカメラ１０に方位・３次元傾斜角センサ１３を内蔵するものとし、一旦デジタルカメラ１０の位置や撮影方向を設定し、電子ファインダ２２にて仮想被写体を含む合成画像を表示している状態でも、デジタルカメラ１０の向きを変えれば、それに応じてカメラの視野の方向や仮想被写体の向きも自動的に変えて電子ファインダ２２で表示される。

そのため、視点位置や視線方向、ズーム倍率（撮影画角）等を変えることで、電子ファインダ２２に表示される仮想被写体の内容を対応して変化させることができ、表示内容を確認しながら自由に構図や画角などを変えて合成撮影を行なうことができる。

特に、データメモリ５９から実在する地形や建造物等の物体の３次元データを読出して仮想被写体として用いることで、よりリアルな背景画像を得ることができる。

図２２及び図２３は、仮想被写体との合成撮影モード時に、デジタルカメラ１０の位置または仮想被写体の位置の選択と合成を行なう第１の操作例を示す。ここでは、階層的な位置検索を行なうものとし、位置設定として当初に図２２（Ａ）に示すようなメルカトル法による世界地図、あるいは図２２（Ｂ）に示すような地球儀の画像から図２２（Ｃ）に示すように国や地域を選択する。

その後、図２２（Ｄ）に示すように都道府県等の地域を選択し、さらに市町村などの詳細な地域を選択することで、図２２（Ｅ）に示すようにある程度地点を特定することのできる地図が表示できるようになる。

この状態から所番地などの地点や建物等を選択することで、図２３（Ａ）に示すような３次元ＣＧ画像データによる仮想被写体が得られるので、撮影したい風景を任意選択する。

しかして、選択した地点、方向、画角の仮想風景を背景として、図２３（Ｂ）に示すように実際の被写体像との合成撮影を行なうことで、図２３（Ｄ）に示すような画像を得、その画像データが画像データメモリ５７に記録されるものとなる。

または、上記図２２（Ｃ）の状態から図２２（Ｆ）に示すように都道府県等の地域を選択することで、予め３次元ＣＧ画像データが記憶されている地域のみを図中に示す「旗」等によりマーク表示することで、図２２（Ｇ）に示すようにある程度地点を特定することのできる地図が表示できるようになる。

この状態から諸番地などの地点や建物等を選択することで、図２３（Ｃ）に示すような３次元ＣＧ画像データによる仮想被写体が得られるので、撮影したい風景を任意選択するものとしてもよい。

その場合も、選択した地点、方向、画角の仮想風景を背景として、上記図２３（Ｂ）に示すように実際の被写体像との合成撮影を行なうことで、図２３（Ｄ）に示すような画像を得、その画像データが画像データメモリ５７に記録されるものとなる。

続く図２４及び図２５は、通常の撮影モードから複数用意されたシーン選択プログラムの１つとして仮想被写体の合成撮影モードを選択可能とした場合の第２の操作例を示す。
ここでは、シーン選択プログラム（ＳＰ）の第３番目「ＳＰ３」に図２４（Ａ）に示す如く「風景と人物」を写すモード、第４番目「ＳＰ４」に図２４（Ｂ）に示す如く「仮想風景を背景に写す」モードがある場合を例示する。

上記図２４（Ｂ）に示すモードを選択することで、次に図２４（Ｃ）に示すように背景となる風景の検索を操作に移行する。この場合、図示する如く国とその中の地域とを予め用意された候補の中から選択指示することで、対応する風景の地名や建物名等がリスト表示されるもので、ここでは国として「日本」、地域として「東京」を選択することで、「丸の内と官庁街」「東京駅」‥‥等を候補の一部として表示している。

このような候補のリスト表示状態から、所定のキー操作を行なうことで、図２４（Ｄ）に示すように「東京」の地図上に予め用意した風景を表す名所旧跡、観光地図等をイラスト化して表示するものとしてもよい。

しかして、上記図２４（Ｃ）に示した状態から、国として「フランス」、地域として「パリ」を選択することで、図２４（Ａ）に示すように該当する風景の候補の一部がリスト表示されることとなる。

上記図２４（Ｄ）の表示と同様に、このような候補のリスト表示状態から、所定のキー操作を行なうことで、図２５（Ｂ）に示すように「パリ」の地図上に予め用意した風景を表す名所旧跡、観光地図等をイラスト化して表示することができるものとしてもよい。

しかるに、上記図２５（Ａ）に示したリスト表示の状態、あるいは上記図２５（Ｂ）に示したイラスト地図の表示状態から候補を１つ選択し、選択した地点、視線方向、画角を設定した上で実際の被写体像との合成撮影を行なうことで、図２５（Ｃ）に示すような画像データを得、画像データメモリ５７に記録することができる。

このように、このデジタルカメラ１０のユーザは、実際の観光地等に行かずとも、予めデータメモリ５９に３次元データを記憶してある場所について、自由に視点位置及び視線方向等の条件を指定することで、自動的に構図等を選定した合成画像を気軽に電子ファインダ２２にて表示し、撮影することができる。

なお、データメモリ５９に記憶される３次元ＣＧ画像データは、上記図２の入出力端子６８にパーソナルコンピュータ等の外部機器を接続してインターネット等からダウンロードすることにより、適宜必要な内容を更新して記憶しておくことができる。

（第２の実施の形態）
以下本発明をデジタルカメラに適用した場合の第２の実施の形態について図面を参照して説明する。
なお、その外観構成に関しては上記図１に示したものと、電子回路の構成については上記図２に示したものとそれぞれ基本的にほぼ同様であるので、同一部分には同一符号を用いるものとして、ここではその図示と説明とを省略する。
なお、データメモリ５９には、地形や建造物等の物体のみならず、人物や自動車等の移動体の３次元ＣＧ画像データが予め記憶されているものとする。

次に上記実施の形態の動作について説明する。
図２６及び図２７により本実施の形態の動作の概要を示す。
すなわち本実施の形態では、任意の位置を指定することで、その位置に存在する山や地形、建物、橋等の建造物を含む固定物体の仮想の被写体（図では「仮想被写体Ａ」と称する）をその地理情報と共にデータ化して予めデータメモリ５９に記憶しておく一方で、人物や自動車など、位置等に関係しない移動体の仮想の被写体（図では「仮想被写体Ｂ」と称する）の形状モデルデータ等も合わせて予めデータメモリ５９に記憶しておき、撮影時にこれら２種類の仮想の被写体のデータを必要に応じて読出すものとする。

合成撮影モード時には、まず上記固定物体の仮想の被写体を指定するべく、ＧＰＳレシーバ５０と方位・３次元傾斜角センサ１３で得られるデジタルカメラ１０の位置、向き、傾斜等の設定データを用い、カメラ視野範囲内の仮想の被写体の位置座標（経度λ_n、緯度φ_n、高度ｈ_n）から固定物体の仮想の被写体の視位置（方位Ａｚ_n、高度角ψ_n）を推測計算する（Ｓ５１）。

合わせて、データメモリ５９に記憶している複数の移動体の仮想的な被写体のデータについて、その個数を含めた任意の選択を始めとして、カメラ視野内の任意の位置に設定姿勢で配置して、その視位置を計算する（Ｓ５２）。

また、このデジタルカメラ１０の向き（方位θｙａｗ、仰角θｐｉｔｃｈ、傾斜角θｒｏｌｌ）と撮影画角θ（またはデジタルズームの場合には表示画角θ’＝θ／Ｍｄ）に応じて、視野範囲内の上記固定的及び移動体双方の仮想の被写体の３次元シミュレーション画像を図２６（Ａ）に示すように生成する（Ｓ５３）。

一方で、撮像素子３１で得られる実際の被写体像をＡ／Ｄ変換及び各種プロセス処理を施して実際の被写体のスルー画像を作成する（Ｓ５４）。

このとき、特定の撮影条件として、例えばデジタルカメラ１０から被写体までの距離を５［ｍ］以内と設定しておくことにより、撮影画像全面をＡＦ機能により走査して実際の被写体として５［ｍ］以内にあるもののみを選択し、輪郭抽出処理と合わせて背景にあたる部分の画像を容易に省略することができるので、後述する合成画像に適した実被写体（前景）の画像を取得することができる。

加えて、上記輪郭抽出処理により、特に人物と思われる形状部分のみを抽出し、それ以外の領域を除外するものとしてもよい。

しかして、実際の被写体のスルー画像上に対し、上記双方の仮想の被写体の３次元シミュレーション画像の輪郭を半透過処理した上で重畳して電子ファインダ２２で表示させることで（Ｓ５５）、図２７（Ｂ）に示すような合成画像を得ることができる。

図２７（Ｂ）では、シミュレーションで描画した仮想の被写体Ｖ１１，Ｖ１２の輪郭を実際の被写体像Ｒ１１と共に表示している例を示す。同図では、電子ファインダ２２上に実際の被写体Ｒ１１とシミュレーションで得た仮想の被写体Ｖ１１，Ｖ１２とを合成表示している他に、右端側でカメラの高度角ψとの指針仰角の目盛りを表示し、同時にカメラの方位角Ａｚの指針と目盛りを表示している。

このような表示状態にあってレリーズキー１２の操作による撮影の指示があるのを待機し、指示があった時点でこれを判断して（Ｓ５６）、図２７（Ｃ）に示すように実際の被写体像の画像を撮影する（Ｓ５７）。

こうして得られた実際の被写体像の画像と、上記２種類の仮想の被写体のシミュレーション合成画像とを合成処理することにより（Ｓ５８）、図２７（Ｄ）に示すような画像を得ることができる。

しかるに、こうして得られた合成画像のデータを圧縮符号化／伸長復号化部５６にてデータ圧縮して符号化した後に、合わせて被写体情報、仮想被写体情報等を符号化して添付して１つのデータファイル化し、外部メモリインタフェース６０を介して記録媒体であるメモリカード６７に記録して（Ｓ５９）、以上で一連の撮影に係る動作を完了する。

図２８は、上記図２６及び図２７での処理中で行なわれる、仮想被写体との合成撮影処理の詳細を示し、図３０にその各処理段階での描画モデルを示す。

その処理当初には、まず撮影条件及び仮想ライティングの条件などを設定する（ステップＥ０１）。

次いで、設定した内容に基づき、必要により内蔵フラッシュ１６を発光駆動して実際の被写体の撮影処理を実行する（ステップＥ０２）。得た実際の被写体の画像データ中から、予め設定しておいた撮影条件として、被写体までの距離により画像中の主要被写体を含む前景部分のみを抽出し、撮影画像全面をＡＦ機能により走査して実際の被写体として５［ｍ］以内にある領域のみを抽出する（ステップＥ０３）。

図２９（Ａ）は、上記ステップＥ０２での撮影処理により得た実際の被写体の画像データであり、その画像データ中から主要被写体を含む前景領域のみを抽出した結果を図２９（Ｂ）に示す。

一方で、設定した固定物体及び移動体の各仮想被写体の仮想モデルを、デジタルカメラ１０の設定位置、向き等に応じて配置し、３次元の形状や空間を定義する（ステップＥ０４）。図２９（Ｃ）はワイヤーフレーム・モデル、図２９（Ｄ）はソリッドモデルの例を示すものである。

こうして得た３次元モデルに対してレンダリング処理を施すことで、現実に肉眼で見える視野範囲の被写体情報を描画する。
すなわち、まず投影・座標変換処理（ステップＥ０５）により上記３次元モデルを現在の視点位置及び視線方向から見た２次元画像として透視投影処理する。

図２９（Ｅ）がこの２次元の透視投影画像を例示するもので、具体的には平行投影処理または透視投影処理を実行する。座標変換では、ローカル座標系で指定した形状をワールド座標系に配置し、視点位置、視軸方向にある支点座標系をワールド座標系で決定した上で、このワールド座標系の位置を視軸上にあるｕｖｎ座標系（視野窓の座標系）の位置に変換する。

その後、該投影処理により得た２次元画像中から、視野範囲に合わせたクリッピング処理（ステップＥ０６）を実行することで、図２９（Ｆ）に示すように視野窓内に必要な部分のみを切出す。

さらに、現在の視点位置から画面に現れる部分を決定し、視野に入らない部分、すなわち各被写体の背後の位置となる隠れ線、隠れ面の各消去処理（ステップＥ０７）を実行する。

この消去処理としては、Ｚソート法、Ｚバッファ法、スキャンライン法、及びレイ・トレーシング法のいずれかを用いる。

次に、比較の当たり具合や反射、透過の様子を計算し、設定ライティング条件に基づいて、被写体表面の明暗や陰影付けを行なうシェーディング処理、及び地面にできる影を描画するシャドウイング処理を実行する（ステップＥ０８）。

これらの処理内容としては、フラット・シェーディング法、グーロー・シェーディング法、フォン・シェーディング法、レイ・トレーシング法、及びラジオシティ法のいずれかを用いる。

図２９（Ｇ）は、この時点で得られる画像を例示するもので、シェーディング処理により陰影を付加した状態を示す。さらに、被写体画像の各表面に模様や細かな凹凸等を貼り付けるマッピング処理を行なうことで、画像により現実感を与えるものとしてもよい。このマッピング手法としては、テクスチャ・マッピング法、バンプ・マッピング法、透明マッピング法、反射マッピング法、及び環境マッピング法等のいずれか少なくとも１つを用いる。

こうして得た仮想の被写体の画像上に、上記ステップＥ０３で得た、撮影した画像から抽出した前景となる実際の被写体の画像を合成することで、図２９（Ｈ）に示すような合成画像データを得る（ステップＥ０９）。

こうして得た合成画像データに関し、上記一連のデジタル処理に伴う合成による境界線部分のギザギザなどを滑らかにするアンチ・エリアシング処理などを行ない（ステップＥ１０）、合成画像としての不自然さを除去することで、以上で一連の３次元ＣＧ描画処理と合成処理とを終了して、合成された画像データを符号化し、合わせて被写体情報、仮想被写体情報等を符号化して添付して１つのデータファイル化し、外部メモリインタフェース６０を介して記録媒体であるメモリカード６７に記録して（ステップＥ１１）、以上で一連の処理を完了する。

次に、上記合成画像中に仮想の被写体として用いる形状モデルデータについても説明しておく。
図３０は、データメモリ５９に記憶されているＣＧ描画用の形状モデルデータの構成を最も単純な立方体を例にとって示すものである。

図３０（Ａ）−１は、ワイヤーフレームモデルのデータ構造を示すものである。ワイヤーフレームモデルは、各頂点と稜線に番号を付与して、図３０（Ａ）−２に示すように各頂点の座標を記憶する頂点テーブルと、図３０（Ａ）−３に示すように稜線の２端点の頂点番号を記憶する稜線（辺）テーブルとで形状を定義する構造となる。

図３０（Ｂ）−１は、ソリッドモデルのデータ構造を示すものである。ソリッドモデルは、多面体を基本にして構成され、形状データは頂点座標と面を構成する頂点番号で定義する構造となる。図３０（Ｂ）−２は面テーブルである。

その他、ポリゴンや多面体の頂点座標などで面を定義するサーフェスモデル、あるいは立方体や球、円柱などの基本的な３次元形状の組合せ（論理演算）で形状を定義するＣＳＧ（Ｃｏｎｓｔｒｕｃｔｉｖｅ Ｓｏｌｉｄ Ｇｅｏｍｅｔｒｙ）モデルなど、その他のモデルにより形状モデルを定義し、あるいは形状モデルデータを設定記憶するものとしてもよい。

図３１は、実際にデータメモリ５９に記憶される複数の形状モデルデータの一部を例示するものであり、ここではワイヤーフレームモデルを用いた場合を示している。

このように記憶されている形状モデルデータをデータメモリ５９から読出した上で、仮想の被写体としての２次元描画画像を作成する過程を図３２に示す。

すなわち、図３２（Ａ）に示すようにデータメモリ５９から選択した形状モデルデータを読出すと、その構成に基づいて展開し、図３２（Ｂ）に示すような描画画像を得る。このモデルデータの表面に対して上述した如くレンダリング処理として上記図２８のステップＥ０５〜Ｅ０８に示したような処理過程を施し、色柄、テクスチャ、陰影などを貼付することで、図３２（Ｃ）に示すような２次元描画画像を得ることができる。

このように本発明の第２の実施の形態によれば、地形や建造物等、その位置が定まっている固定物体のみならず、人物や自動車、動物などの移動体を仮想の被写体として実際の被写体と合成した画像を撮影し、記録することができるものとした。

そのため、合成後の画像に画一的ではない変化を与えることができ、より多彩で楽しみに富んだデジタルカメラを提供することができる。

なお、上記した第１及び第２の実施の形態は、いずれも本発明をデジタルカメラに適用した場合について説明したものであるが、本発明はこれに限るものではなく、例えばカメラ機能を有する携帯電話機、カメラ機能と通信機能を有するＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ：個人向け携帯情報端末）やポータブルタイプのパーソナルコンピュータなど、各種小型電子機器にも同様に適用することができることは勿論である。

その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。

さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明の第１の実施の形態に係るデジタルカメラの外観構成を示す斜視図。 同実施の形態に係るデジタルカメラの電子回路の構成を示すブロック図。 同実施の形態に係る撮影動作全体の概要を示す図。 同実施の形態に係る撮影動作全体の概要を示す図。 同実施の形態に係る撮影動作全体の概要を示す図。 同実施の形態に係るカメラの撮影制御内容の詳細を示すフローチャート。 同実施の形態に係るカメラの撮影制御内容の詳細を示すフローチャート。 同実施の形態に係るＧＰＳによる測位処理のより詳細な処理内容を示すサブルーチンのフローチャート。 同実施の形態に係る仮想被写体の視位置の算出処理のより詳細な処理内容を示すサブルーチンのフローチャート。 同実施の形態に係る図９の概念を示す模式図。 同実施の形態に係る３次元ＣＧ描画処理の詳細を示す図。 同実施の形態に係る３次元ＣＧ描画処理の各処理段階での描画モデルを示す図。 同実施の形態に係るデジタルカメラの向き（方位角）に応じて仮想被写体の視位置の表示を説明する図。 同実施の形態に係るデジタルカメラの傾斜（仰角）に応じて仮想被写体の視位置の表示を説明する図。 同実施の形態に係るデジタルカメラの傾斜（仰角）に応じて仮想被写体の視位置の表示を説明する図。 同実施の形態に係る視位置座標の算出処理を説明する図。 同実施の形態に係る視位置座標の算出処理を説明する図。 同実施の形態に係る視位置座標の算出処理を説明する図。 同実施の形態に係る視位置座標の算出処理を説明する図。 同実施の形態に係る焦点距離（ズーム倍率）及び画角に応じて仮想被写体の視位置の表示画面の範囲が可変する状態を例示する図。 同実施の形態に係るファインダ視野に入る仮想被写体の範囲の設定例を示す図。 同実施の形態に係る仮想被写体との合成撮影モード時の第１の操作例を示す図。 同実施の形態に係る仮想被写体との合成撮影モード時の第１の操作例を示す図。 同実施の形態に係る仮想被写体との合成撮影モード時の第２の操作例を示す図。 同実施の形態に係る仮想被写体との合成撮影モード時の第２の操作例を示す図。 本発明の第２の実施の形態に係る撮影動作全体の概要を示す図。 同実施の形態に係る撮影動作全体の概要を示す図。 同実施の形態に係る仮想被写体との合成撮影処理の内容を示すフローチャート。 同実施の形態に係る３次元ＣＧ描画処理の各処理段階での描画モデルを示す図。 同実施の形態に係る形状モデルデータの構成を立方体を例にとって示す図。 同実施の形態に係るデータメモリに記憶される仮想被写体としての形状モデルデータの一部を例示する図。 同実施の形態に係る形状モデルデータから仮想の被写体となる２次元描画画像を生成する過程を例示する図。

符号の説明

１０…デジタルカメラ、１１…撮影レンズ、１２…レリーズキー、１３…方位・３次元傾斜角センサ、１４…モード切替ダイヤル、１５…液晶表示部、１６…内蔵フラッシュ、１７…外付けフラッシュ用ホット端子、１８…ＧＰＳ受信アンテナ、１９…光学ファインダ、２０…カーソルキー、２１…数値入力キー、２２…電子ファインダ、２３…カバー、３１…撮像素子、３２…ドライバ、３３…Ａ／Ｄ変換器、３４…映像信号処理、３５…画像メモリ、３６…撮影制御回路、３７…主制御回路、３８…レンズ位置検出部、３９…レンズ駆動部、４０…シャッタ・絞り駆動部、４１…測光・測距センサ、４２…色温度検出部、４３…測光部、４４…測距部、４５…フラッシュ駆動部、４６…照射角駆動部、４７…音声復号化部、４８…音声符号化部、４９…姿勢検出部、５０…ＧＰＳレシーバ、５１…入力回路、５２…座標入力回路、５３…表示メモリ、５４…表示駆動部、５５…画像処理部、５６…圧縮符号化／伸長復号化部、５７…画像データメモリ、５８…プログラムメモリ、５９…データメモリ、６０…外部メモリインタフェース（Ｉ／Ｆ）、６１…入出力（Ｉ／Ｏ）インタフェース、６２…電源制御部、６３…Ｄ／Ａ変換器、６４…スピーカ、６５…マイクロホン、６６…Ａ／Ｄ変換器、６７…メモリカード、６８…入出力端子、６９…通信部、７０…電池。

Claims (10)

1. 被写体の画像を撮影する撮像手段と、
   被写体となりうる実世界内の物体の外観を表す３次元データを、実世界内の位置と方位とに対応付けて記憶した記憶手段と、
   上記実世界内の位置を任意に指定する位置指定手段と、
   上記実世界内における装置本体の方位を検出する方位検出手段と、
   上記位置指定手段で指定された位置を視点位置とするとともに上記方位検出手段で検出された方位を視線方向として、上記記憶手段に記憶される３次元データから実世界内の物体の仮想画像を生成する仮想画像生成手段と、
   上記仮想画像生成手段による仮想画像の生成に用いた方位と同じ方位に装置本体を向けたときに上記撮像手段で撮影された被写体の画像と、上記仮想画像生成手段で得た仮想画像とを透過的に重ね合わせた合成画像を作成する画像合成手段と、
   を具備したことを特徴とする撮像装置。
2. 上記画像合成手段で得た合成画像を表示する表示手段と、
   画像の記録を指示する指示手段と、
   上記指示手段で指示されたタイミングで上記画像合成手段より得られる合成画像を記録する記録手段と
   を具備したことを特徴とする請求項１記載の撮像装置。
3. 上記位置指定手段は、上記指定された実世界内の位置を保持し、
   上記方位検出手段は、上記実世界内における装置本体の方位を逐次検出し、
   上記仮想画像生成手段は、上記位置指定手段で保持された位置を視点位置とするとともに上記方位検出手段で逐次検出される方位を視線方向として、上記記憶手段に記憶される３次元データから実世界内の物体の仮想画像を逐次生成し、
   上記表示手段は、上記画像合成手段で逐次生成される合成画像を逐次表示する
   ことを特徴とする請求項２記載の撮像装置。
4. 上記仮想画像生成手段は、上記指示手段で画像の記録が指示されるまでの間は、上記実世界内の物体の輪郭だけを仮想画像として生成し、上記指示手段で画像の記録が指示されたときは、上記実世界内の物体の輪郭以外を含む仮想画像を生成することを特徴とする請求項３記載の撮像装置。
5. 上記撮像手段による被写体の画像中から人物部分の画像領域を特定する画像特定手段をさらに具備し、
   上記画像合成手段は、上記画像特定手段で特定した人物部分の画像領域のみを上記仮想画像生成手段で得た仮想画像と重ね合わせることを特徴とする請求項４記載の撮像装置。
6. 上記撮像手段による被写体の画像中から所定距離以内にある被写体の画像領域を特定する画像特定手段をさらに具備し、
   上記画像合成手段は、上記画像特定手段で特定した所定距離以内にある被写体の画像領域のみを上記仮想画像生成手段で得た仮想画像と重ね合わせる
   ことを特徴とする請求項４記載の撮像装置。
7. 上記記憶手段は、実世界内の物体として地形及び建造物を含む固定物体の外観を表す３次元データを位置情報と対応付けて記憶することを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
8. 上記記憶手段は、実世界内の物体として生物及び乗り物を含む移動物体の外観を表す３次元データを位置情報と対応付けて記憶することを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
9. 被写体の画像を撮影する撮像部を備えた撮像装置での撮像方法であって、
   被写体となりうる実世界内の物体の外観を表す３次元データを、実世界内の位置と方位とに対応付けて記憶する記憶工程と、
   上記実世界内の位置を任意に指定する位置指定工程と、
   上記実世界内における装置本体の方位を検出する方位検出工程と、
   上記位置指定工程で指定された位置を視点位置とするとともに上記方位検出工程で検出された方位を視線方向として、上記記憶工程で記憶される３次元データから実世界内の物体の仮想画像を生成する仮想画像生成工程と、
   上記仮想画像生成工程による仮想画像の生成に用いた方位と同じ方位に装置本体を向けたときに上記撮像部で撮影された被写体の画像と、上記仮想画像生成工程で得た仮想画像とを透過的に重ね合わせた合成画像を作成する画像合成工程と、
   を有したことを特徴とする撮像方法。
10. 被写体の画像を撮影する撮像部を備えた撮像装置に内蔵されたコンピュータが実行するプログラムであって、
    被写体となりうる実世界内の物体の外観を表す３次元データを、実世界内の位置と方位とに対応付けて記憶する記憶ステップと、
    上記実世界内の位置を任意に指定する位置指定ステップと、
    上記実世界内における装置本体の方位を検出する方位検出ステップと、
    上記位置指定ステップで指定された位置を視点位置とするとともに上記方位検出ステップで検出された方位を視線方向として、上記記憶ステップで記憶される３次元データから実世界内の物体の仮想画像を生成する仮想画像生成ステップと、
    上記仮想画像生成ステップによる仮想画像の生成に用いた方位と同じ方位に装置本体を向けたときに上記撮像部で撮影された被写体の画像と、上記仮想画像生成ステップで得た仮想画像とを透過的に重ね合わせた合成画像を作成する画像合成ステップと、
    をコンピュータに実行させることを特徴とするプログラム。

Images