JP4787209B2 - 画像処理装置、方法およびプログラム - Google Patents

Description

本発明は所望の出力系に対応した多視点画像の抽出に関する。

特許文献１によると、複数の入力視点で撮像された被写体の立体画像データをファイルシステム本体で並列に、もしくは、順次に記録媒体に記録し、記録媒体に記録された立体画像データのうち任意の視点の立体画像データを読み取って各入力視点ごとに分けてフレームメモリＦＭ（ＦＭ₁ 〜ＦＭ_N ）に書き込み、このフレームメモリＦＭ（ＦＭ₁ 〜ＦＭ_N ）より同期して並列出力される各視点の立体画像データに基づいて立体画像を立体画像表示装置に表示する。
特開平６−２７４５７９号公報

立体視を実現する再生方式には、左右２眼分の視点画像を使用する方式や、２眼分より多くの視点数を必要とするレンチキュラ方式など、多用な再生方式が存在する。個々の再生方式が必要とする視点数は様々であり、汎用的な立体画像データとして、より多視点から画像データを撮像することが望まれる。

しかし、視点数が多いままの画像データでは、所望の再生方式が必要とはしない視点画像も含まれることになるので、画像データの流通や記録媒体の効率的利用の観点では好ましくない。

特許文献１では、記録媒体に記録する立体画像データは撮像された全ての入力視点の画像データであり、表示装置の再生方式によっては読み取る必要がない視点画像データも含まれてしまう。このため、記録媒体に記録した視点画像データが、所望の表示装置では不要なデータを含み、立体画像再生時に、読み取り処理に時間がかかるという問題があった。

そこで本発明は、元の多視点画像データから、所望の再生方式で必要な視点の画像のみを含んだ画像ファイルを、簡便に生成・保存することを目的とする。

本発明に係る画像処理装置は、３以上の視点から撮影された多視点画像データであるマスタ画像を取得するマスタ画像取得部と、所望の多視点画像の出力形式で必要な視点を決定する視点決定部と、視点決定部の決定した視点に従い、マスタ画像から必要な視点画像を抽出する抽出部と、抽出部の抽出した視点画像を所望の記録媒体に記録する記録部と、を備える。

この発明によると、所望の出力形式で必要とする視点画像のみを含んだ画像データを簡便に生成保存することができる。

視点決定部は、所望の出力形式において視点画像が充足すべき出力条件を示す所望視点情報を読み取り、所望視点情報に従って所望の出力形式で必要な視点を決定してもよい。

こうすると、所望視点の決定を容易に行うことができる。

所望視点情報は、所望の出力形式の識別情報と、出力形式で必要とされる視点数の情報とを記述する。

この所望視点情報を用いることで、所望視点決定がさらに容易になる。

識別情報は、出力形式の種類を示す情報、想定視認距離、視差情報、表示領域サイズのうち少なくとも１つを含む。

視点数の情報は、最小必要視点数、推奨視点数、最大使用視点数のうち少なくとも１つを含む。

所望視点情報の有無を検知する所望視点情報検知部と、所望視点情報検知部が検知した所望視点情報の数を検知する所望視点情報数検知部と、所望視点情報数検知部が２以上の所望視点情報を検知したことに応じ、２以上の所望視点情報の中から任意の所望視点情報の選択を受け付ける所望視点情報選択部と、を備え、視点決定部は、所望視点情報選択部が選択を受け付けた所望視点情報を読み取り、所望視点情報に従って所望の出力形式で必要な視点を決定してもよい。

抽出部は、マスタ画像取得部が取得したマスタ画像に含まれる視点数が、所望の出力系が必要とする視点数を満足しているか否かを判断し、マスタ画像に含まれる視点数が、所望の出力系が必要とする視点数を満足していると判断した場合、視点決定部の決定した視点に従い、マスタ画像から必要な視点画像を抽出してもよい。

こうすると、必要な視点数のみを含む画像ファイルを生成できる。

抽出部は、マスタ画像に含まれる視点数が、所望の出力系が必要とする視点数を満足していないと判断した場合、マスタ画像から視点画像を抽出しない旨の通知を行ってもよい。

こうすると、必要な視点数を含まない画像ファイルの生成を防ぐことができる。

記録部は、抽出部の抽出した視点画像を、マスタ画像と区別可能に配置して記録媒体に記録してもよい。

所望視点情報は可搬性記録媒体に記録されていてもよい。

本発明に係る画像処理方法は、３以上の視点から撮影された多視点画像データであるマスタ画像を取得するステップと、所望の多視点画像の出力形式で必要な視点を決定するステップと、決定した視点に従い、マスタ画像から必要な視点画像を抽出するステップと、抽出した視点画像を記録媒体に記録するステップと、を含む。

所望の出力形式において視点画像が充足すべき出力条件を示す所望視点情報を読み取り、所望視点情報に従って所望の出力形式で必要な視点を決定するステップをさらに含んでもよい。

所望視点情報は、所望の出力形式の識別情報と、出力形式で必要とされる視点数の情報とを記述する。

識別情報は、出力形式の種類を示す情報、想定視認距離、視差情報、表示領域サイズのうち少なくとも１つを含む。

視点数の情報は、最小必要視点数、推奨視点数、最大使用視点数のうち少なくとも１つを含む。

所望視点情報の有無を検知するステップと、検知した所望視点情報の数を検知するステップと、２以上の所望視点情報を検知したことに応じ、２以上の所望視点情報の中から任意の所望視点情報の選択を受け付けるステップと、選択を受け付けた所望視点情報を読み取り、所望視点情報に従って所望の出力形式で必要な視点を決定するステップと、をさらに含んでもよい。

取得したマスタ画像に含まれる視点数が、所望の出力系が必要とする視点数を満足しているか否かを判断し、マスタ画像に含まれる視点数が、所望の出力系が必要とする視点数を満足していると判断した場合、決定した視点に従い、マスタ画像から必要な視点画像を抽出するステップをさらに含んでもよい。

マスタ画像に含まれる視点数が、所望の出力系が必要とする視点数を満足していないと判断した場合、マスタ画像から視点画像を抽出しない旨の通知を行うステップをさらに含んでもよい。

抽出した視点画像を、マスタ画像と区別可能に配置して記録媒体に記録するステップをさらに含んでもよい。

所望視点情報は可搬性記録媒体に記録されていてもよい。

上記の画像処理方法をコンピュータに実行させるプログラムも本発明に含まれる。

この発明によると、所望の出力形式で必要とする視点画像のみを含んだ画像データを簡便に生成保存することができる。

図１は、カメラ１の電気的構成を示す。カメラ１にはユーザがこのカメラ１を使用するときに種々の操作を行うための操作部７０が設けられている。この操作部７０には、カメラ１を作動させるための電源投入用の電源スイッチ、オート撮影やマニュアル撮影等を選択するためのモードダイヤル、各種のメニューの設定や選択あるいはズームを行うための十字キー、閃光発光用スイッチ、および十字キーで選択されたメニューの実行やキャンセル等を行うための情報位置指定キーが備えられている。操作部７０への適宜操作により、電源のオン／オフ、各種モード（撮影モード、再生モード等）の切り替え、ズーミングなどが行われる。

また、カメラ１には、本体ＣＰＵ６２と、システムメモリ１２８と、表示用のＬＣＤ制御部１４８とが備えられている。本体ＣＰＵ６２は、このカメラ１全体の制御を行う。システムメモリ１２８には、このカメラ１固有の固体データやプログラム等が格納されている。

表示用のＬＣＤ制御部１４８は、デジタル信号処理回路３１から得られたカラー映像信号ＹＣを３色のＲＧＢ信号に変換して画像表示ＬＣＤ１０に出力する。

操作部７０からのズーム操作に応じて、第１〜第４光学系１１ａ〜１１ｄ（以下単に第１〜第４光学系１１で表すこともある）は、ＮＥＡＲ側（繰り出し側）、あるいはＩＮＦ側（繰り込み側）に移動し、ズーム倍率を変化させる。この移動は内蔵のモータで駆動される。第１〜第４光学系１１にそれぞれ内蔵された絞りは、ＡＥ（Auto Exposure）動作時に開口値（絞り値）を変化させて光束を制限し、露出調整を行う。第１〜第４光学系１１にそれぞれ内蔵されたフォーカスレンズは、ＡＦ（Auto Focus）動作時にＮＥＡＲ側、あるいはＩＮＦ側に移動されて合焦位置を変え、ピント調整を行う。この移動は操作部７０のレリーズボタンの半押し状態が検出されたときに開始され、第１〜第４光学系１１にそれぞれ対応する絞り／フォーカス／ズーム制御部１６ａ〜１６ｄで制御される。

第１〜第４イメージセンサ（ＣＣＤ）１４ａ〜１４ｄは、それぞれ第１〜第４光学系１１のレンズによって結像された被写体光を受光し、受光量に応じた光電荷を蓄積する。第１〜第４イメージセンサ１４ａ〜１４ｄの光電荷蓄積・転送動作は、それぞれＴＧ１８ａ〜１８ｄによって制御され、ＴＧ１８ａ〜１８ｄから入力されるタイミング信号（クロックパルス）により、電子シャッタ速度（光電荷蓄積時間）が決定される。第１〜第４イメージセンサ１４ａ〜１４ｄは、撮影モード時には、１画面分の画像信号を所定周期ごとに取得する。

第１〜第４光学系１１ａ〜１１ｄは、基本的に連動して動作を行うが、各々個別に動作させることも可能である。なお、イメージセンサとして、ＣＣＤの他、ＣＭＯＳが用いられる。

第１〜第４イメージセンサ（ＣＣＤ）１４ａ〜１４ｄから出力された撮像信号は、それぞれアナログ信号処理回路２０ａ〜２０ｄにて相関二重サンプリングおよびクランプされ、Ａ／Ｄ変換器３０ａ〜３０ｄに入力される。Ａ／Ｄ変換器３０ａ〜３０ｄは、入力された画像データをアナログ信号からデジタル信号に変換する。Ａ／Ｄ変換器３０ａ〜３０ｄを通して、第１イメージセンサ１４ａ〜１４ｄの撮像信号は、それぞれ第１〜第４画像データとして出力される。

デジタル信号処理回路３１は、Ａ／Ｄ変換器３０ａ〜ｄから入力された第１〜第４画像データのそれぞれに対し、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施す。システムメモリ１２８は、ＲＡＭを備えており、デジタル信号処理回路３１で各種画像処理が施された第１〜４画像データを一時的に格納する。

積算回路１９ａ〜１９ｄは、Ａ／Ｄ変換器３０ａ〜ｄから入力された第１〜第４画像データの各々からＡＦ評価値およびＡＥ評価値を算出する。ＡＦ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。輝度値の高周波成分とは、隣接する画素間の輝度差（コントラスト）を所定領域内について足し合わせたものである。また、ＡＥ評価値は、各画像データの全領域または所定領域（例えば中央部）について輝度値を積算することにより算出され、画像の明るさを表す。ＡＦ評価値およびＡＥ評価値は、周知のＡＦ動作およびＡＥ動作においてそれぞれ使用される。

システムメモリ１２８に記憶された画像データは、デジタル信号処理回路３１により輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。処理されたＹＣ信号はフレームメモリ３２に格納される。

フレームメモリ３２に記憶された第１〜第４画像データのＹＣ信号は、ＬＣＤ制御部１４８によって読み出される。ＬＣＤ制御部１４８は、第１〜第４画像データのＹＣ信号を所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換した上で、画像表示ＬＣＤ１０での立体表示を行うための立体画像データに合成する。あるいは、ＬＣＤ制御部１４８は、第１〜第４画像データを、単なる平面映像信号に変換してもよい。撮影モード時にＬＣＤ１０が電子ビューファインダとして使用される際には、合成された立体画像データが、ＬＣＤ制御部１４８を介してＬＣＤ１０にスルー画として表示される。

デジタル信号処理回路３１は、システムメモリ１２８に記憶された第１〜第４画像データに対して、静止画ではＪＰＥＧ、動画ではＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４方式等の所定の圧縮形式に従って圧縮処理を施す。圧縮処理された各画像データは、カードスロット４０に挿入されてカードＩ／Ｆ３９経由で接続されたメモリカード３８その他の記録メディアに記録される。

画像差分演算回路６３は、各イメージセンサ（ＣＣＤ）１４ａ〜１４ｄにより取得した複数の多視点画像のうち、所望の１つの基準画像と、それ以外の視点画像との差分情報を求める。その基準画像と各視点画像ごとの差分情報とを対応づけて記録しておけば、複数の視点画像をそのまま記録しなくても、基準画像と各差分情報とをそれぞれ加算することで、基準画像以外の各視点画像を再現できる。

このようにしてメモリカード３８に記録された第１〜第４画像データをＬＣＤ１０に再生表示する場合、メモリカード３８の各画像データは、デジタル信号処理回路３１に読み出され、伸張処理が行われ、平面画像データあるいは立体画像データに変換された後、ＬＣＤ制御部１４８を介してＬＣＤ１０に再生画像として表示される。

ＬＣＤ１０は、画像撮影時には電子ビューファインダとして使用される。ＬＣＤ１０は、パララックスバリア式、あるいはレンチキュラーレンズ式の３Ｄモニタを採用してもよく、画像再生時には撮影によって得られた画像データの立体表示を行う。

ＬＣＤ１０の詳細な構造は図示しないが、好適には、ＬＣＤ１０は、その表面にパララックスバリア表示層を備えている。ＬＣＤ１０は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能にする。

なお、立体視を可能にする表示装置の構成は、スリットアレイシートを用いるパララックス方式に限られる必然性はなく、レンチキュラーレンズシートを用いるレンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用されてもよい。

本体ＣＰＵ６２は、複眼カメラ１の全体の動作を統括的に制御する。本体ＣＰＵ６２には、レリーズボタン５、操作部７０、システムメモリ１２８、不揮発性メモリ１４６が接続されている。不揮発性メモリ１４６は、各種制御用のプログラムや設定情報などを格納している。本体ＣＰＵ６２は、このプログラムや設定情報に基づいて各種処理を実行する。

操作部７０に含まれる不図示のレリーズボタンは２段押しのスイッチ構造となっている。撮影モード中に、レリーズボタンが軽く押圧（半押し）されると、ＡＦ動作およびＡＥ動作が行われ撮影準備処理がなされる。この状態でさらにレリーズボタンが強く押圧（全押し）されると、撮影処理が行われ、画像記録指示の入力に応じ、１画面分の画像データがシステムメモリ１２８からメモリカード３８に転送されて記録される。

また、カメラ１は、バッテリ６８が着脱可能な構成となっている。バッテリ６８は充電可能な二次電池、例えばニカド電池、ニッケル水素電池、リチウムイオン電池で構成される。バッテリ６８は使い切り型の一次電池、例えばリチウム電池、アルカリ電池で構成してもよい。バッテリ６８は図示しない電池収納室に装填することにより、カメラ１の各回路と電気的に接続される。

ＤＣ−ＤＣコンバータ７１は、カメラ１の各回路と電気的に接続されており、バッテリ６８を供給元として、カメラ１の各回路に電源を供給する。この電源供給のオンオフは、電源スイッチ６９による押圧操作に応じ、電源制御部６７が制御する。

タイマ１５・カレンダ時計１７は計時専用のチップであり、バッテリ６８からの給電がオフされていてもバックアップ電池から電源供給を受けて継続的に動作する。

ストロボ制御部１３８は、ストロボ４４を発光させるためにバッテリ６８からの電力の供給を受けて図示しない閃光発光用のコンデンサを充電したり、ストロボ４４の発光を制御する。

カメラ１は、コネクタ５１およびＵＳＢケーブル（図示せず）を介し、後述するパソコン１００などの他の電子機器と接続される。ＵＳＢドライバ５０は、ＵＳＢデータ通信を制御する。

ＯＳＤ信号発生回路１４８ａは、各種のメッセージやアイコンの映像信号を生成し、ＬＣＤ１０に供給する。ＯＳＤ信号発生回路１４８ａから供給された映像信号は、デジタル信号処理回路からの撮像データと混合され、ＬＣＤ１０に出力される。

上記各ブロックは、バス１０４によって互いに接続されている。

なお、多視点画像は、上述のような複眼カメラ１で取得する必然性はなく、単眼カメラを用いたモーションステレオ法による連続撮影で取得してもよい。

図２はパソコン１００のブロック図である。

パソコン１００は、主として各構成要素の動作を制御する中央処理装置（ＣＰＵ）１０２と、装置の制御プログラムが格納されたり、プログラム実行時の作業領域となる主メモリ１０６と、パソコン１００のオペレーティングシステム（ＯＳ）、パソコン１００に接続された周辺機器のデバイスドライバ、各種のコンテンツ（映像コンテンツやプリント物）に適合するよう多視点画像の中から所望の視点画像を抽出したり、あるいは視点画像の内容を編集する処理のプログラムを含む各種のアプリケーションソフト、ユーザの画像等が格納されるハードディスク装置１０８と、ＣＤ−ＲＯＭ装置１１０と、表示用データを一時記憶する表示メモリ１１６と、この表示メモリ１１６からの画像データ、文字データ等により画像や文字等を表示するＣＲＴモニタや液晶モニタ等のモニタ装置１１８と、キーボード１２０と、位置入力装置としてのマウス１２２と、マウス１２２の状態を検出してモニタ装置１１８上のマウスポインタの位置やマウス１２２の状態等の信号をＣＰＵ１０２に出力するマウスコントローラ１２４と、インターネット等のネットワーク３０と接続される通信インターフェース１３２と、メモリカード３８が着脱されるカード挿入口を有するカードインターフェース１１２と、上記各構成要素を接続するバス１０４と、カメラ１とＵＳＢ接続するカメラ接続Ｉ／Ｆ１３４から構成されている。

ハードディスク装置１０８に格納されている、画像抽出・編集処理のアプリケーションソフトは、該アプリケーションソフトが記録されたＣＤ−ＲＯＭをパソコン１００のＣＤ−ＲＯＭ装置１１０にセットすることにより、パソコン１００にインストールすることができる。

モニタ装置１１８は、多視点画像を立体視可能にする構成が採用されていてもよい。

図３はハードディスク装置１０８に記憶されている多視点画像データを格納した画像ファイルのディレクトリ構造を示す。例えば図３（ａ）のように、カメラ１から取得した未編集の多視点画像データを格納したファイル（マスタファイル）と、ＣＰＵ１０２でマスタファイル中の多視点画像データに各種編集処理が施されて得られた編集済みの多視点画像データを格納したファイル（編集済みファイル）に、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤ０００１．Ｆ３Ｄ」という異なるファイル名を付与する。編集済みファイルのファイル名中の識別情報「ＡＢＣＤ０００１」は、マスタファイルにも同じ識別情報が付与されており両者に関連性があることを示す。拡張子「ＪＰＧ」あるいは「Ｆ３Ｄ」は、マスタファイルと編集済みファイルとを区別する情報である。

あるいは、図３（ｂ）のように、マスタファイルと、編集済みファイルに、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤ０００３．ＪＰＧ」という、異なるファイル名を付与する。なお、既存の任意画像ファイルの名称が「ＡＢＣＤ０００２．ＪＰＧ」だと、これと重複しないよう「ＡＢＣＤ０００３．ＪＰＧ」が編集済みファイルに付与されている。両ファイルの名称中には、両ファイルを関連付ける情報は入っていない。

あるいは、図３（ｃ）のように、マスタファイルと、編集済みファイルに、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「Ｆ３Ｄ＿０００１．ＪＰＧ」という、異なるファイル名を付与する。両ファイルの名称中には、両ファイルを関連付ける識別情報「０００１」が含まれている。

あるいは、図３（ｄ）のように、マスタファイルと、編集済みファイルに、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤ０００１＿Ｆ３Ｄ．ＪＰＧ」という、異なるファイル名を付与する。編集済みデータのファイル名は、マスタファイル「ＡＢＣＤ０００１．ＪＰＧ」との関連性を示す識別情報「ＡＢＣＤ０００１」と、編集済みファイルであることを示す識別情報「＿Ｆ３Ｄ」が組み合わされている。

あるいは、図３（ｅ）のように、３Ｄ表示用に編集されたデータを格納した編集済みファイルには「ＡＢＣＤ０００１．Ｆ３Ｄ」、３Ｄプリント用に編集されたデータを格納した編集済みファイルには「Ｐ３Ｄ＿０００２．ＪＰＧ」のように、コンテンツの出力系統（例えば、レンチキュラプリント、３Ｄ−ＬＣＤ ディスプレイ、２眼プロジェクタ）に応じた、マスタファイルと異なる名称を付与する。

このような編集済みファイルへのファイル名付与は、ＣＰＵ１０２が、マスタファイルのファイル名に基づき、かつ、図３（ａ）〜（ｅ）のうちいずれか１つの命名規則に基づいて行う。

図４は、ハードディスク装置１０８に記憶されている多視点画像データを格納した所望視点画像ファイルのディレクトリ構造を示す。

例えば図４（ａ）のように、カメラ１から取得した未編集の多視点画像データを格納したファイル（マスタファイル）と、ＣＰＵ１０２でマスタファイル中の多視点画像から抽出した、所望の出力系に対応した視点を示す情報を格納したファイル（所望視点情報ファイル）に、それぞれ、「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤＥＯＵＴ．ＩＮＩ」という異なるファイル名を付与する。所望視点情報ファイルのファイル名中の識別情報「ＡＢＣＤＥ」は、所望の出力系を示す。拡張子「ＪＰＧ」あるいは「ＩＮＩ」は、マスタファイルと所望視点情報ファイルとを区別する情報である。

あるいは、図４（ｂ）のように、「１００ＡＢＣＤＥ」、「１０１＿Ｆ３ＤＦ」、「１０２＿Ｐ−３Ｄ」といった出力系ごとのサブディレクトリを設け、そのサブディレクトリの下に、それぞれ、各出力系の所望視点情報ファイル「ＡＢＣＤＯＵＴ．ＤＥＦ」、「Ｆ３ＤＦ＿ＯＵＴ．ＤＥＦ」、「Ｐ−３Ｄ＿ＯＵＴ．ＤＥＦ」を配置する。なお、出力系ごとのサブディレクトリの下に、出力系ごとのマスタファイル「ＡＢＣＤ０００１．ＪＰＧ」、「ＡＢＣＤ０００１．Ｆ３Ｄ」などを格納してもよい。

図５は所望視点情報ファイルに格納される所望視点情報の詳細を例示する。このファイルには、出力系統の種類（例えば、レンチキュラプリント、３Ｄ−ＬＣＤ ディスプレイ、２眼プロジェクタ）、当該出力系統における画像の想定表示幅、画像の想定表示高さ、画像の想定視認距離、想定視差、最小視点数、推奨視点数、最大使用視点数、画像データ拡張子、出力ファイル形式が格納される。これらの情報は、特定の種類の出力系統で、効果的な立体視を可能とするための視点画像の出力条件を示す。なお、所望視点情報は、テキストでそのまま記述しなくてもよく、それらの識別情報で代替してもよい。

所望視点情報ファイルは、出力系統がディスプレイであればディスプレイのメーカ、出力系統がレンチキュラプリントであればプリントサービスの提供者など、出力系統の種類に応じて然るべき者が予め統一規格化したファイルであるものとする。

図６は、所望視点情報に従ってマスタファイルから抽出された視点画像を格納した抽出後画像データファイルの概念説明図である。

この図では、ｎ個（カメラ１ではｎ＝４）の視点画像を含むマスタファイルから、「視点２」および「視点４」という２つの視点画像が選択・抽出されている。ｎ個の視点画像から所望の視点画像を選択する基準は、所望視点情報ファイルに示されており、以下具体的に説明する。

図７はパソコン１００による視点画像抽出処理の流れを示す。この処理の各段階は、ハードディスク装置１０８に保存されている多視点画像抽出処理プログラムによって規定されている。この処理は、ハードディスク装置１０８にマスタファイルが格納された後に開始する。なお、この処理は、パソコン１００以外の装置、例えばカメラ１で行ってもよい。また、多視点画像抽出処理プログラムは、もともとハードディスク装置１０８に存在してもよいし、ネットワーク３０経由で配信されたものでもよい。

Ｓ１では、ＣＰＵ１０２は、ハードディスク装置１０８から、所望視点情報ファイルの検索を試みる。そして、所望視点情報ファイルの存在を確認したか否かを判断する。所望視点情報ファイルの存在を確認した場合はＳ２、所望視点情報ファイルの存在を確認しない場合はＳ１２に進む。

Ｓ２では、ＣＰＵ１０２は、所望視点情報ファイルの数をカウントする。そして、所望視点情報ファイルの数が１つかあるいは２以上であるかを判断する。所望視点情報ファイルの数が１つの場合はＳ４、所望視点情報ファイルの数が２つ以上の場合はＳ３に進む。

Ｓ３では、ＣＰＵ１０２は、所望視点決定画面をモニタ装置１１８に表示し、キーボード１２０やマウス１２２から所望の所望視点情報ファイルの選択を受け付ける。図８に例示する所望視点情報ファイル選択画面では、出力系の種類の一覧Ｌを表示し、この中から、所望の出力系に対応する所望視点情報ファイルをカーソルＣＳで選択させる。ここでは、「Lenticular」という出力系に対し、「ＡＢＣＤＥＯＵＴ．ＤＥＦ」の所望視点情報ファイルがカーソルＣＳで選択されている。

Ｓ４では、ＣＰＵ１０２は、所望視点情報ファイルの数が１つだけの場合はその所望視点情報ファイルから、２つ以上の場合はＳ４で選択された所望視点情報ファイル（例えば「ＡＢＣＤＥＯＵＴ．ＤＥＦ」）から、所望視点情報を読み取る。

Ｓ５では、読み取った所望視点情報に基づいて視点画像の抽出方法を決定する。例えば、所望視点情報の最小視点数かそれ以上（好ましくは推奨視点数）の視点画像をマスタファイルから抽出するよう決定する。

Ｓ６では、視点画像の抽出元となる所望のマスタファイルをユーザに選択させる。マスタファイルの選択は各種の方法が採用されうる。例えば、所望の多視点画像（例えば「ＡＢＣＤ０００１．ＪＰＧ」）の閲覧操作を実行後、所望視点画像抽出実行画面を呼び出す操作が行われた場合、閲覧操作の対象となった多視点画像をマスタファイルに選択する。

Ｓ７では、所望視点画像抽出実行画面を表示し、選択されたマスタファイルの取り込みを実行する。図９に例示する所望視点画像抽出実行画面では、ファイル名「ＡＢＣＤ０００１．ＪＰＧ」のマスタファイルが選択され、このマスタファイルに格納された各視点画像が取り込まれて画像表示ボックスＩＭＰに表示される。なお、画面サイズの制約上全ての視点画像を表示できない場合は、左右スクロールボタンの押下に応じ、視点番号に沿って順次視点画像がボックスＩＭＰにスクロール表示される。

Ｓ８では、入力されたマスタファイルの視点画像の数（入力視点数）が、Ｓ４で読み込まれた所望視点情報で示される最小視点数以上であるか否かを判断する。入力視点数≧最小視点数である場合はＳ９、入力視点数＜最小視点数である場合はＳ１１に進む。

Ｓ９では、決定された視点画像の抽出方法に基づいて、選択されたマスタファイルから、所望の出力系の出力条件に適合する視点画像を抽出する（図６参照）。図９に例示する所望視点画像抽出実行画面では、抽出実行ボタン２０５の押下に応じ、図８のカーソルＣＳで選択された出力系に対応する視点画像を抽出する。

Ｓ１０では、抽出した視点画像を格納した抽出後画像データファイルがハードディスク装置１０８に記録される。なお、図９に例示する所望視点画像抽出実行画面では、抽出後画像データファイルが「ＡＢＣＤ０００１．Ｆ３Ｄ」というファイル名で保存されることが示されている。

Ｓ１１では、入力されたマスタファイルが、最小視点数を充足しない旨のエラーをモニタ装置１１８に表示する。そして、視点画像の抽出は行わず、処理を終える。このため、所望の出力系が必要とする視点数に足りない抽出後データファイルが生成されるのを防げる。

Ｓ１２では、所望視点決定画面をモニタ装置１１８に表示する。図１０（ａ）に例示する所望視点決定画面では、入力ファイル選択ボタン２０１が設けられており、これを押すと、図１０（ｂ）のファイル選択ダイアログボックスが開く。このダイアログボックスでは、ハードディスク装置１０８に格納されているマスタファイル（図３参照）のファイル名の一覧が表示されており、マウス１２２の操作でユーザがその中から所望のファイル名を選択できる。図１０（ｂ）では「ＡＢＣＤ０００１．ＪＰＧ」のファイル名を有するマスタファイルが選択されている。

Ｓ１３では、ファイル選択ダイアログボックスで選択されたマスタファイルから視点画像を読み出し、所望視点決定画面に表示する。図１０（ａ）では、マスタファイル「ＡＢＣＤ０００１．ＪＰＧ」から読み出された多視点画像が、画像表示ボックスＩＭＰに表示されている。なお、画面サイズの制約上全ての視点画像を表示できない場合は、左右スクロールボタンの押下に応じて、視点番号に沿って順次視点画像がボックスＩＭＰにスクロール表示される。

Ｓ１４では、画像表示ボックスＩＭＰに表示された各視点画像から、所望の出力用の視点画像の視点数および当該視点数分の視点画像をユーザに選択させる。例えば、図１０（ａ）に示すように、出力視点数として「２」が指定された場合、画像表示ボックスＩＭＰの所望の視点画像に、２つのカーソルＣＳ１・ＣＳ２を合わせることができ、２つの視点画像にカーソルが合った状態で「出力ファイル指定」２０２を押下すると、カーソルＣＳ１・ＣＳ２の合った視点画像が、出力画像表示ボックスＯＵＴに表示される。

なお、完全にユーザ操作のみに依存して出力用の視点画像を選択させてもよいが、所定の出力条件（表示幅や高さや視差など）が確保された視点画像のみをユーザが選択可能なようにカーソルの移動選択操作を制限し、出力条件に適合しないその他の視点画像の選択は禁止してもよい。

Ｓ１５では、図１０（ｃ）に例示するようなファイル指定ダイアログボックスを開き、出力画像表示ボックスＯＵＴの視点画像を格納すべき抽出後画像データファイルのファイル名（「ＡＢＣＤ０００１＿Ｆ３Ｄ．ＪＰＧ」など）をユーザに入力させる。

Ｓ１６では、マスタファイルから、カーソルＣＳの合った視点画像を抽出する。この処理は、所望視点決定画面の「抽出実行」ボタン２０３の押下に応じて開始する。

Ｓ１７では、Ｓ１６で抽出された視点画像を、Ｓ１５で指定されたファイル名の付与された抽出後画像データファイルに格納し、メモリカード３８あるいはハードディスク装置１０８に記録する。

なお、上記処理をカメラ１で実行する場合、マスタファイルそのものを作る前に、各視点での撮影で得られた各視点画像を入力ファイルの代わりに用いてもよい。つまり、Ｓ９・Ｓ１６における所望の視点画像の抽出元は、１つのマスタファイルにまとめられたものである必要はなく、個別の画像データでもよい。

以上の処理によると、ある特定の種類の出力系統に対応した所望視点情報ファイルが存在していれば、その所望視点情報に基づいて、その出力系統での立体視に適した視点画像が、入力されたマスタファイルから抽出され、抽出後画像データファイルとして記録される。後は、その抽出後画像データファイルを、その出力系統によって出力、例えばレンチキュラプリントとしてプリント出力したり、ディスプレイに表示映像として出力すれば、立体視に適した状態で画像が視覚できる。

抽出後画像データファイルは、立体視に必要な意味のある視点画像のみを含んでおり、実際には使用されないような視点画像も含んだマスタファイルそのものを出力系統で用いるよりも、格段に効率がよい。また、所望視点情報に基づいて視点画像が抽出されるから、必要な視点の抽出が容易である。

カメラのブロック図 パソコンのブロック図 ハードディスクにおけるマスタファイルおよび編集済みファイルの配置の態様を示す図 所望視点情報ファイルの配置の一例を示す図 所望視点情報の一例を示す図 マスタファイルから選択された所望視点情報の一例を示す図 多視点画像編集処理のフローチャート 所望視点情報ファイル選択画面の一例を示す図 所望視点画像抽出実行画面の一例を示す図 所望視点決定画面の一例を示す図

符号の説明

１：カメラ、１１：光学系、１０：ＬＣＤ、６２：本体ＣＰＵ、３８：メモリカード、１００：パソコン、１０２：ＣＰＵ、１０８：ハードディスク装置

Claims (17)

1. ３以上の視点から撮影された多視点画像データであるマスタ画像を取得するマスタ画像取得部と、
   所望の多視点画像の出力形式で必要な視点を決定する視点決定部と、
   前記視点決定部の決定した視点に従い、前記マスタ画像から必要な視点画像を抽出する抽出部と、
   前記抽出部の抽出した視点画像を所望の記録媒体に記録する記録部と、
   を備え、
   前記視点決定部は、前記所望の出力形式において前記視点画像が充足すべき出力条件を示す所望視点情報を読み取り、前記所望視点情報に従って前記所望の出力形式で必要な視点を決定し、
   前記所望視点情報の有無を検知する所望視点情報検知部と、
   前記所望視点情報検知部が検知した所望視点情報の数を検知する所望視点情報数検知部と、
   前記所望視点情報数検知部が２以上の所望視点情報を検知したことに応じ、前記２以上の所望視点情報の中から任意の所望視点情報の選択を受け付ける所望視点情報選択部と、
   を備え、
   前記視点決定部は、前記所望視点情報選択部が選択を受け付けた所望視点情報を読み取り、前記所望視点情報に従って前記所望の出力形式で必要な視点を決定し、
   前記記録部の記録した視点画像には、前記所望の出力形式に応じた、前記マスタ画像と異なる名称が付与される画像処理装置。
2. 前記所望視点情報は、前記所望の出力形式の識別情報と、前記出力形式で必要とされる視点数の情報とを記述する請求項１に記載の画像処理装置。
3. 前記識別情報は、前記出力形式の種類を示す情報、想定視認距離、視差情報、表示領域サイズのうち少なくとも１つを含む請求項２に記載の画像処理装置。
4. 前記視点数の情報は、最小必要視点数、推奨視点数、最大使用視点数のうち少なくとも１つを含む請求項２または３に記載の画像処理装置。
5. 前記抽出部は、前記マスタ画像取得部が取得したマスタ画像に含まれる視点数が、前記所望の出力形式が必要とする視点数を満足しているか否かを判断し、前記マスタ画像に含まれる視点数が、前記所望の出力形式が必要とする視点数を満足していると判断した場合、前記視点決定部の決定した視点に従い、前記マスタ画像から必要な視点画像を抽出する請求項１〜４のいずれかに記載の画像処理装置。
6. 前記抽出部は、前記マスタ画像に含まれる視点数が、前記所望の出力形式が必要とする視点数を満足していないと判断した場合、前記マスタ画像から視点画像を抽出しない旨の通知を行う請求項５に記載の画像処理装置。
7. 前記記録部は、前記抽出部の抽出した視点画像を、前記マスタ画像と区別可能に配置して前記記録媒体に記録する請求項１〜６のいずれかに記載の画像処理装置。
8. 前記所望視点情報はハードディスク装置に記録されている請求項１〜７のいずれかに記載の画像処理装置。
9. 所望の多視点画像の出力形式において前記視点画像が充足すべき出力条件を示す所望視点情報の有無を検知するステップと、
   前記検知した所望視点情報の数を検知するステップと、
   ２以上の所望視点情報を検知したことに応じ、前記２以上の所望視点情報の中から任意の所望視点情報の選択を受け付けるステップと、
   前記選択を受け付けた所望視点情報を読み取り、前記所望視点情報に従って前記所望の出力形式で必要な視点を決定するステップと、
   ３以上の視点から撮影された多視点画像データであるマスタ画像を取得するステップと、
   前記決定した視点に従い、前記マスタ画像から必要な視点画像を抽出するステップと、
   前記抽出した視点画像を記録媒体に記録するステップと、
   前記記録した視点画像に、前記所望の多視点画像の出力形式に応じた、前記マスタ画像と異なる名称を付与するステップと、
   を含む画像処理方法。
10. 前記所望視点情報は、前記所望の出力形式の識別情報と、前記出力形式で必要とされる視点数の情報とを記述する請求項９に記載の画像処理方法。
11. 前記識別情報は、前記出力形式の種類を示す情報、想定視認距離、視差情報、表示領域サイズのうち少なくとも１つを含む請求項１０に記載の画像処理方法。
12. 前記視点数の情報は、最小必要視点数、推奨視点数、最大使用視点数のうち少なくとも１つを含む請求項１０または１１に記載の画像処理方法。
13. 前記取得したマスタ画像に含まれる視点数が、前記所望の出力形式が必要とする視点数を満足しているか否かを判断し、前記マスタ画像に含まれる視点数が、前記所望の出力形式が必要とする視点数を満足していると判断した場合、前記決定した視点に従い、前記マスタ画像から必要な視点画像を抽出するステップをさらに含む請求項１０〜１２のいずれかに記載の画像処理方法。
14. 前記マスタ画像に含まれる視点数が、前記所望の出力形式が必要とする視点数を満足していないと判断した場合、前記マスタ画像から視点画像を抽出しない旨の通知を行うステップをさらに含む請求項１３に記載の画像処理方法。
15. 前記抽出した視点画像を、前記マスタ画像と区別可能に配置して前記記録媒体に記録するステップをさらに含む請求項９〜１４のいずれかに記載の画像処理方法。
16. 前記所望視点情報はハードディスク装置に記録されている請求項９〜１５のいずれかに記載の画像処理方法。
17. 所望の多視点画像の出力形式において前記視点画像が充足すべき出力条件を示す所望視点情報の有無を検知する機能と、
    前記検知した所望視点情報の数を検知する機能と、
    ２以上の所望視点情報を検知したことに応じ、前記２以上の所望視点情報の中から任意の所望視点情報の選択を受け付ける機能と、
    前記選択を受け付けた所望視点情報を読み取り、前記所望視点情報に従って前記所望の出力形式で必要な視点を決定する機能と、
    ３以上の視点から撮影された多視点画像データであるマスタ画像を取得する機能と、
    前記決定した視点に従い、前記マスタ画像から必要な視点画像を抽出する機能と、
    前記抽出した視点画像を記録媒体に記録する機能と、
    前記記録した視点画像に、前記所望の多視点画像の出力形式に応じた、前記マスタ画像と異なる名称を付与する機能と、
    をコンピュータに実現させるプログラム。

Images