JP4803155B2 - 複数の画像データのパノラマ合成 - Google Patents

Description

本発明は、複数の画像データの中からその一部を選別する技術に関する。

近年、デジタルスチルカメラ（ＤＳＣ）を用いて写真を撮影し、その写真を表す画像データをコンピュータ内に保存することが日常的に行われるようになってきた。また、複数の画像データを合成して連続する１つの画像を表す画像データを生成するパノラマ画像合成処理と呼ばれる処理も行われている。このようなパノラマ画像合成処理の内容は、たとえば特許文献１に開示されている。

特開２００２−１７０１１１号公報

しかし、従来は、パノラマ画像合成処理に利用する画像データをユーザが手動で選別する必要があった。この選別作業の負担は、デジタルスチルカメラが使用する記録媒体の容量の増加により、多くの画像データが格納できるようになるにつれて大きくなってきた。

この発明は、従来技術における上述の課題を解決するためになされたものであり、パノラマ画像の生成に利用可能な画像データを選別する際におけるユーザの負担を軽減する技術を提供することを目的とする。

上述の課題の少なくとも一部を解決するため、本発明は、画像データと前記画像データの属性情報である画像属性情報とを含む複数の画像ファイルの中からパノラマ画像の生成に利用可能な画像ファイルを選別する画像ファイル選別装置であって、前記画像属性情報は、撮影時の地理的位置を表す位置情報を含み、前記画像ファイル選別装置は、前記位置情報を前記各画像ファイルから読み出す画像属性情報読み出し部と、前記読み出された位置情報に応じて、撮影時の地理的位置が相互に所定の距離以下であると決定された複数の画像ファイルを、前記パノラマ画像の生成に利用可能な画像ファイルとして選別する画像ファイル選別部とを備えることを特徴とする。

本発明の画像ファイル選別装置によれば、撮影時の地理的位置が相互に所定の距離以下と決定された複数の画像ファイルがパノラマ画像の生成に利用可能な画像ファイルとして自動的に選別されるので、パノラマ画像の生成に利用可能な画像データを選別する際におけるユーザの負担を軽減することができる。

上記画像ファイル選別装置において、前記画像属性情報は、さらに撮影時の画像の方向を表す画像方向情報を含み、前記画像属性情報読み出し部は、さらに前記画像方向情報を前記各画像ファイルから読み出し、前記画像ファイル選別部は、前記画像属性情報に応じて前記画像データに記録された領域である撮影領域の重複量を決定し、前記決定された重複量が所定の値以上の画像ファイルを前記パノラマ画像の生成に利用可能な画像ファイルであるか否かを判定する

こうすれば、パノラマ画像の合成に利用できる可能性がより高い複数の画像ファイルを選別することができる。

上記画像ファイル選別装置において、前記画像ファイル選別部は、前記画像属性情報に応じて、前記複数の画像データの生成に用いられた光学系の焦点距離を前記各画像データ毎に決定する焦点距離決定部と、前記決定された焦点距離に応じて、前記画像データの幅方向の画角を前記画像ファイル毎に算出する画角算出部と、前記画角と前記画像方向情報とに応じて、前記画像データに記録された領域である撮影領域を画像ファイル毎に算出する撮影領域算出部と、前記算出された複数の撮影領域に応じて、幅方向に相互に重複する撮影領域を所定の大きさ以上有する画像データを含む画像ファイルを、前記パノラマ画像の生成に利用可能な画像ファイルであると判定する合成可否判定部とを備えるようにすることが好ましい。

こうすれば、画像範囲が幅方向に相互に重複する領域を有する画像データを有する画像ファイルが選別されるので、パノラマ画像の合成に利用できる可能性が極めて高い複数の画像ファイルを選別することができる。

上記画像ファイル選別装置において、前記画像属性情報は、さらに撮影レンズの実焦点距離を表すレンズ焦点距離と、前記光学系の焦点面における解像度の単位を規定する焦点面解像度単位と、前記焦点面解像度単位あたりの画像の幅方向の画素数を表す焦点面の幅の解像度とを含んでおり、前記画像属性情報読み出し部は、さらに前記レンズ焦点距離と前記焦点面解像度単位と前記焦点面の幅の解像度とを前記各画像ファイルから読み出し、前記焦点距離決定部は、前記レンズ焦点距離を前記焦点距離に決定し、前記画角算出部は、前記焦点面解像度単位を前記焦点面の幅の解像度で除した値に前記画像データの幅方向の画素数を乗ずることにより画像の幅方向の長さを算出し、前記算出された画像の幅方向の長さと前記レンズ焦点距離とに応じて前記画像データの幅方向の画角を前記画像ファイル毎に算出するようにしても良いし、
前記画像属性情報は、さらに３５ｍｍフィルムカメラに換算した焦点距離の値である３５ｍｍ換算レンズ焦点距離を含んでおり、前記焦点距離決定部は、前記３５ｍｍ換算レンズ焦点距離を前記焦点距離として決定し、前記画角算出部は、３５ｍｍフィルムサイズの画像の幅方向の長さと前記レンズ焦点距離とに応じて前記画像データの幅方向の画角を前記画像ファイル毎に算出するようにしても良い。

上記画像ファイル選別装置において、前記画像ファイル選別部は、前記画像方向情報に応じて前記画像方向間の角度を算出し、前記算出された角度に応じて前記撮影領域の重複量を決定するようにすることが好ましい。

こうすれば、画像方向が取得できる場合において、簡易に本発明を適用することができる。

上記画像ファイル選別装置において、前記画像ファイル選別部は、前記前記撮影領域の重複量が所定の大きさ以上であり、かつ所定の大きさ以下である複数の画像ファイルを前記パノラマ画像の生成に利用可能な画像ファイルであると判定する

こうすれば、パノラマ画像の撮影を意図していない画像データを有する画像ファイルの選別を排除することができる。すなわち、同一の被写体を何度も撮影するような場合があるが、このようにして撮影された画像データを選別の対象から排除することができる。

上記画像ファイル選別装置において、前記画像属性情報は、さらに撮影時の時間を表す時間情報を含み、前記画像属性情報読み出し部は、さらに前記時間情報を前記各画像ファイルから読み出し、前記画像ファイル選別部は、前記時間情報に応じて、相互に所定の時間以下であって、かつ所定の時間以上の間隔で撮影された複数の画像ファイルを選別するようにすることが好ましい。

パノラマ画像合成用の写真は短時間に連続して撮影される場合が多いので、こうすれば、パノラマ画像の合成に利用できる可能性がより高い複数の画像ファイルを選別することができる。

上記画像ファイル選別装置において、前記画像属性情報は、さらに撮影時に使用された露出プログラムのクラスを表す露出プログラム情報と、撮影時の露出時間を表す露出時間情報と、撮影時のシャッタースピードを表すシャッタースピード情報と、撮影時の絞り値を表す絞り値情報とを含み、前記画像属性情報読み出し部は、さらに前記露出プログラム情報と前記露出時間情報と前記シャッタースピード情報と前記絞り値情報とを前記各画像ファイルから読み出す機能を有し、前記画像ファイル選別部は、撮影時に使用された露出プログラムのクラスがマニュアルである場合には、前記露出時間、前記シャッタースピード、および前記絞り値のうちの読み出された情報のいずれもが同一である複数の画像ファイルを選別するようにすることが好ましい。

パノラマ画像合成用の写真は露出プログラムをマニュアルに設定して同一の露出で撮影することが好ましいので、このような条件で撮影された画像はパノラマ画像の合成に利用する意図で撮影されたと推測できる。よって、こうすれば、より高い確率でパノラマ画像の合成に利用する意図で撮影された画像ファイルを選別することができる。

なお、本発明は、種々の態様で実現することが可能であり、たとえば画像ファイル選別方法、その方法または画像ファイル選別装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の態様で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．画像処理システムの構成：
Ｂ．画像ファイルの構成：
Ｃ．画像ファイルの選別処理：
Ｄ．変形例：

Ａ．画像処理システムの構成：
図１は、本発明の一実施例としての画像処理システム１０を示す説明図である。画像処理システム１０は、画像ファイルを生成する入力装置としてのデジタルスチルカメラ１２と、デジタルスチルカメラ１２で生成された画像ファイルの表示制御を行う画像表示制御装置としてのパーソナルコンピュータＰＣと、画像を表示するディスプレイ１４と、画像を媒体に出力する出力装置としてのカラープリンタ２０とを備えている。

デジタルスチルカメラ１２、パーソナルコンピュータＰＣ、およびカラープリンタ２０は、相互にケーブルＣＶで接続可能である。ケーブルＣＶにより接続されている場合には、デジタルスチルカメラ１２等は、ケーブルＣＶを経由して画像ファイルを送受信することが可能である。ケーブルＣＶで接続されていない場合にも、デジタルスチルカメラ１２等は、メモリカードＭＣを用いて画像ファイルのやりとりを行うことができる。

図２は、画像データを生成する入力装置としてのデジタルスチルカメラ１２の構成の概略を示すブロック図である。デジタルスチルカメラ１２は、光学レンズを通して電荷結合素子（ＣＣＤ）上にイメージを結像することにより、電気的に静止画を記録するカメラである。

デジタルスチルカメラ１２は、画像データを生成するための回路群と、測位のための回路群と、これらを制御する制御回路１２４とを備えている。画像データを生成するための回路群には、光学回路１２１や画像取得回路１２２、画像処理回路１２３といった各回路が含まれている。測位のための回路群には、ＧＰＳ回路１２８やＧＰＳアンテナ１２９、携帯電話インターフェース回路１２５とが含まれている。デジタルスチルカメラ１２は、さらに、ユーザインターフェースとしての選択・決定ボタン１２６と、撮影画像のプレビューやユーザインターフェースとして用いられる液晶ディスプレイ１２７とを備えている。

画像データを生成するための各回路は以下の機能を有している。光学回路１２１は、ＣＣＤを用いて光信号を電気信号に変換する。画像取得回路１２２は、光学回路１２１を制御することにより画像を取得して画像データを生成する。画像処理回路１２３は、このようにして生成された画像データの加工処理を行う。

測位のための各回路等は以下の機能を有している。ＧＰＳ（ＧＬＯＢＡＬ ＰＯＳＩＴＩＯＮＩＮＧ ＳＹＳＴＥＭ）アンテナ１２９は、ＧＰＳ衛星からの電波を受信する。ＧＰＳ回路１２８は、この電波を解析することによりデジタルスチルカメラ１２の地理的位置を表す位置情報を取得する。近年では、ＧＰＳ測位システムの能力が向上しているため、たとえばオフィスビルの窓から離れた中心部の部屋でも数メートルといった精度で位置情報を取得することができる。

携帯電話インターフェース回路１２５は、携帯電話が取得した位置情報をＧＰＳ回路に入力する。携帯電話による位置情報の取得は、基地局の電波を利用することにより行われるので、たとえば地下街のようなＧＰＳ電波の受信が極めて困難な場所でも位置情報の取得が可能である。このような測位方式には、たとえば米クアルコム社のｇｐｓＯｎｅ（商標）という方式がある。

デジタルスチルカメラ１２による撮影処理（画像データの取得処理）は、（１）ＧＰＳデータの更新、（２）ユーザによる撮影モードの設定、（３）撮像（画像データの入力）、（４）画像処理、（５）画像ファイルの記録の順に行われる。

ＧＰＳデータの更新は、液晶ディスプレイ１２７や選択・決定ボタン１２６といったユーザインターフェースを用いて行われる。ユーザにより更新の指示が行われると、ＧＰＳ回路１２８が起動され、ＧＰＳ衛星からの電波に応じて位置情報が生成される。位置情報が生成されると、画像取得回路１２２が有する図示しない不揮発性メモリにこの情報が格納されるとともに、液晶ディスプレイ１２７には「ＧＰＳ＿ＯＫ」の表示がなされる。

このように、ユーザからの指示に応じて、位置情報を更新するようにしているのは、位置情報の取得に消費される電力を節約してデジタルスチルカメラ１２が備えるバッテリーの電力消費を削減させるためである。ただし、位置情報を常時更新するようなモードを設けるようにすることがさらに好ましい。このような運用が望まれる場合も想定されるからである。

なお、位置情報を常時更新するようなモードにおいて、撮影時に位置情報が取得できなかった場合には、時間的に前後に撮影された画像ファイルＧＦの位置情報に基づいて撮影位置が推定されるようにすることが好ましい。

携帯電話ＰＰがデジタルスチルカメラ１２に接続されている場合には、さらに携帯電話ＰＰからの情報をも用いて位置情報が生成される。ただし、ＧＰＳ衛星からの電波が受信されない場合には、携帯電話ＰＰからの情報のみを用いて位置情報が生成される。

撮像は、位置情報の取得と撮影モードの設定との後に、ユーザがシャッターを押すことにより行われる。シャッターが押されると、画像取得回路１２２は、光学回路１２１を制御して入力された光を電気信号に変換することにより元画像を生成する。元画像データが生成されると、この画像データに保存用の画像処理が施される。

この画像処理は、メモリカードＭＣに保存するための前処理である。一般に、元画像データは写真画像の保存に適したＪＰＥＧ形式に変換される。ＪＰＥＧ形式に変換された後、この変換された画像データに撮影情報ＰＩが加えられて画像ファイルが生成される。

撮影情報ＰＩとは、撮影条件を表す情報であり、撮影された位置を表す位置情報と、撮影された時間を表す時間情報とを含んでいる。位置情報は、前述のように画像取得回路１２２が有する不揮発性メモリに格納されている情報である。デジタルスチルカメラ１２における撮影処理は、画像ファイルをメモリカードＭＣに記録することにより完了する。なお、画像ファイルの構成については後述する。

図３は、画像データを出力する出力装置としてのコンピュータＰＣとカラープリンタ２０の構成の概略を示すブロック図である。コンピュータＰＣは、メモリカードＭＣから画像ファイルを読み出すことが可能なスロット２２と、カラープリンタ２０に印刷を行わせるための印刷データを生成するための印刷データ生成回路２３とを備えている。

印刷データ生成回路２３は、印刷データ生成のための演算処理を実行する演算処理装置（ＣＰＵ）２３１と、ＣＰＵ２３１において実行されるプログラムやＣＰＵ２３１における演算処理結果その他のデータを格納するハードディスク２３２と、これらのプログラムやデータを一時的に格納するランダムアクセスメモリ（ＲＡＭ）２３３とを備えている。印刷データ生成回路２３は、さらに印刷データの生成に先立って行われる画像処理や画像ファイルの分類を行う機能をも有する。

コンピュータＰＣのハードディスク２３２には、各画像ファイルの管理に用いられる画像管理ファイルと、後述する地理情報データベースと、画像ファイルの整理とアルバムの生成が可能なパノラマ画像合成処理ソフトとが格納されている。これらの役割については後述する。

カラープリンタ２０は、カラー画像の出力が可能なプリンタである。カラープリンタ２０は、たとえば、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色のインクを印刷媒体上に吐出してドットパターンを形成し、これにより印刷画像を形成するインクジェット方式のプリンタである。

Ｂ．画像ファイルの構造：
図４は、本発明の各実施例における画像ファイルＧＦの構造の概略を示す説明図である。画像ファイルＧＦは、デジタルスチルカメラ用画像ファイルフォーマット規格（Exif）に従ったファイル構造を有している。この規格は、日本電子情報技術産業協会（ＪＥＩＴＡ）によって定められている。この規格では、画像データとして圧縮タイプのＪＰＥＧデータを格納するJPEG-Exifファイルを、Exifファイル（Exif規格のファイル）に含めることが規定されている。

画像ファイルＧＦは、圧縮データの先頭を示すＳＯＩマーカセグメント１０１と、Exifの付属情報を格納するＡＰＰ１マーカセグメント１０２と、Exif拡張データを格納するＡＰＰ２マーカセグメント１０３と、量子化テーブルを定義するＤＱＴマーカセグメント１０４と、ハフマンテーブルを定義するＤＨＴマーカセグメント１０５と、リスタートマーカの挿入間隔を定義するＤＲＩマーカセグメント１０６と、フレームに関する各種パラメータを示すＳＯＦマーカセグメント１０７と、スキャンに関する各種パラメータを示すＳＯＳマーカセグメント１０８と、圧縮データの終了を示すＥＯＩマーカセグメント１０９と、画像データ格納領域１１０とを含んでいる。

ＡＰＰ１マーカセグメント１０２は、ＡＰＰ１マーカ１０２１と、Exif識別コード１０２２と、ＴＩＦＦヘッダその他の付属情報１０２３と、サムネイル画像１０２４とを格納している。この付属情報１０２３は、ファイルヘッダ（ＴＩＦＦヘッダ）を含むTIFFの構造を取っており、Exif-JPEGでは、圧縮画像データに関する付属情報を格納する０th IFDと、撮影情報ＰＩや音声情報を始めとするExif固有の付属情報を格納するExif IFDと、ＧＰＳの測定情報を格納を格納するＧＰＳ Ｉｎｆｏ ＩＦＤと、サムネイル画像に関する付属情報を格納する１st IFDとを含んでいる。ＧＰＳ Ｉｎｆｏ ＩＦＤは、０th IFDに格納されているTIFFヘッダからのオフセットでポイントされる。ＧＰＳ Ｉｎｆｏ ＩＦＤでは、各情報を特定するためにタグが用いられており、各情報はタグ名によって呼ばれることがある。

図５は、画像ファイルＧＦのＥｘｉｆ ＩＦＤに格納される付属情報の一例を示す説明図である。付属情報には、バージョンに関するタグや撮影条件に関するタグを含む各種のタグが含まれている。撮影条件に関するタグには、露出時間やレンズＦ値、ＩＳＯ感度、シャッタースピード、絞り値、露出プログラム、露出時間、レンズ焦点距離、輝度値、光源、測光方式その他の各パラメータ値が既定のオフセットに従って撮影情報ＰＩとして格納されている。

図６は、画像ファイルＧＦのＧＰＳ Ｉｎｆｏ ＩＦＤに格納される付属情報の構成を示す説明図である。この付属情報には、撮影時における緯度や経度といった地理的位置を表す位置情報（タグ番号：１〜４）に加えて、撮影した画像の方向（タグ番号：１６〜１７）や撮影時の速度、時間(Ｃｏｏｒｄｉｎａｔｅｄ Ｕｎｉｖｅｒｓａｌ Ｔｉｍｅ:協定世界時)を表す情報をも含めることが可能である。これらの付属情報を含む撮影情報ＰＩの記録は、前述のようにデジタルスチルカメラ１２において撮影時に行われる。

Ｃ．画像ファイルの選別処理：
図７は、コンピュータＰＣにおけるパノラマ画像の合成処理の処理ルーチンを示すフローチャートである。パノラマ画像の合成処理は、パノラマ画像の合成に利用可能な画像ファイルＧＦの選別する処理（ステップＳ１１０〜Ｓ１６０）と、選別された複数の画像ファイルＧＦがそれぞれ有する複数の画像データを合成して１つのパノラマ画像を生成する処理（ステップＳ１７０）とを含んでいる。

ステップＳ１１０では、ユーザは、メモリカードＭＣからハードディスク２３２の所定の領域に各画像ファイルＧＦをコピーした後に、パノラマ画像合成処理ソフトを起動する。パノラマ画像合成処理が起動されると、パノラマ画像合成処理ソフトの起動ウィンドウＷ１（図８）が表示される。

ウィンドウＷ１には、ハードディスク２３２の所定の領域に複製された各画像ファイルＧＦのサムネイル画像が表示されている。サムネイル画像は、画像ファイルＧＦから読み出されたサムネイル画像データ１０２４（図４）を用いて表示されたものである。このウィンドウＷ１において、ユーザが画像選択メニューから「自動選択」を選択すると、これらの複数の画像ファイルＧＦの中からパノラマ画像合成処理に利用可能な画像ファイルＧＦを自動的に選択するための処理が開始される。

なお、画像選択メニューから「手動選択」を選択すると、ユーザが選択した複数の画像ファイルＧＦを用いてパノラマ画像合成処理が行われる。なお、図７では、図を分かりやすくするために「手動選択」がユーザによって選ばれた場合のルーチンは省略してある。

ステップＳ１２０では、ＣＰＵ２３１は、各画像ファイルＧＦから撮影情報ＰＩを読み出す。読み出される撮影情報ＰＩには、各画像が撮影された地理的位置を表す情報やレンズ焦点距離、撮影した画像の方向といった情報が含まれる。地理的位置を表す情報は、撮影時における緯度や経度といった情報である。撮影した画像の方向は、撮影時におけるデジタルスチルカメラ１２の方向を表す情報である。これらの情報は、いずれもＧＰＳ Ｉｎｆｏ ＩＦＤに格納されていた情報である。レンズ焦点距離は、撮影レンズの実焦点距離としてＥｘｉｆ ＩＦＤに格納されていた情報である。

ステップＳ１３０では、ＣＰＵ２３１は、各画像ファイルＧＦから読み出された地理的位置を表す情報に応じて位置関係決定処理を行う。位置関係決定処理とは、各画像ファイルＧＦの画像が撮影された時の地理的位置が相互に所定の距離以下である複数の画像ファイルを選別する処理である。

具体的には、たとえばＣＰＵ２３１が位置情報に応じて各撮影位置間の距離を算出し、算出された距離が１０ｍ以内である複数の画像ファイルＧＦを選別するように構成できる。この場合、選別された複数の画像ファイルＧＦの最大の距離は１０ｍを超えるようにしても良い。たとえば２つの画像ファイルＧＦ１、ＧＦ２の距離と２つの画像ファイルＧＦ２、ＧＦ３の距離のいずれも９ｍであり、これらの画像ファイルのうち２つの画像ファイルＧＦ１、ＧＦ３の距離が１８ｍであるように選別するようにしても良い。

ステップＳ１４０では、ＣＰＵ２３１は、各画像ファイルＧＦから読み出された撮影した画像の方向とレンズ焦点距離に応じて撮影領域計算処理を行う。撮影領域計算処理とは、撮影した画像の方向と、レンズ焦点距離を用いて算出された幅方向の画角とから、画像データに記録された撮影領域を計算する処理である。ここで幅方向の画角をレンズ焦点距離から算出する方法は以下のとおりである。

図９は、撮影時のレンズ焦点距離が異なる２つの画像データの画角を示す説明図である。図９（ａ）は、レンズ焦点距離が比較的に短い場合の画角を示しており、図９（ｂ）は、レンズ焦点距離が比較的に長い場合の画角を示している。これらの図は、デジタルスチルカメラ１２の光学系と撮像素子との間の位置関係を示したものである。この光学系はレンズＬとして示されている。撮像素子は、平面の受光面をするＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）として構成されている。

レンズＬは、デジタルスチルカメラ１２の光学系が有する複数のレンズを、同一の効果を有する１枚のレンズに置き換えたものである。レンズＬの中心は主点と呼ばれ、主点を通り光軸Ｌａｘｉｓに垂直な面は主平面と呼ばれる。レンズＬに関しては、さらに被写体からの光を結像する結像面が定義されている。結像面は、主平面から光軸方向に、レンズ焦点距離だけ離れた位置に定義されている。

撮像素子は、この結像面に受光面を一致させるように配置されている。これにより物体面上の被写体からの光がレンズＬを通って撮像素子の受光面上に結像されることになる。

図９（ａ）（ｂ）から分かるように、画角は、撮像素子の受光面のサイズとレンズ焦点距離とに応じて定まる。たとえば図９（ａ）（ｂ）の例では、レンズ焦点距離が比較的に短い場合（図９（ａ））の画角は、レンズ焦点距離が比較的に長い場合よりも大きくなっている。

画角の算出は、レンズ焦点距離と撮像素子の受光面のサイズと用いて三角関数を用いて行うことができる。レンズ焦点距離は、Ｅｘｉｆ ＩＦＤから読み出された情報をそのまま用いることができる。受光面のサイズは、焦点面解像度単位や焦点面の幅の解像度と、画像データの幅方向の画素数といったＥｘｉｆ ＩＦＤから読み出された情報を用いて算出することができる。画像データの幅方向の画素数は、画像データの幅方向の画素数を実際にカウントして求めても良いし、ＪＰＥＧマーカとして画像ファイルＧＦに格納された画像の幅の長さを用いて求めても良い。

受光面のサイズの算出は、具体的には、以下のようにして行うことができる。
（１）焦点面解像度単位を焦点面の幅の解像度で除する。これにより撮像素子の受光面における各画素のサイズが算出できる。
（２）撮像素子の受光面における各画素のサイズに画像データの幅方向の画素数を乗ずる。これにより撮像素子の受光面における幅方向の長さが算出できる。

ＣＰＵ２３１は、このようにして算出された画角と撮影した画像の方向とを用いて各画像ファイルＧＦが有する画像データの撮影時の撮影領域を計算することができる。

図１０は、撮影時のレンズ焦点距離が異なる２つの画像データの撮影領域Ｆ１、Ｆ２を示す説明図である。図１０（ａ）は、被写体Ｖｉｅｗのうちの２つの画像データの撮影領域である撮影領域Ｆ１、Ｆ２を示している。なお、以下の説明において、撮影領域Ｆ１の画像データを有する画像ファイルを画像ファイルＧＦ１とし、撮影領域Ｆ２の画像データを有する画像ファイルを画像ファイルＧＦ２とする。

図１０（ｂ）は、２つの撮影領域を情報から見た図を示している。Ｎ、Ｅ、Ｗ、およびＳは、それぞれ北方向、東方向、南方向、および西方向を示している。画像ファイルＧＦ１、ＧＦ２がそれぞれ有する画像データＩＭ１、ＩＭ２の撮影時の画像の方向Ｌａｘｉｓ１、Ｌａｘｉｓ２は、ＧＰＳ Ｉｎｆｏ ＩＦＤから読み出された画像方向情報に応じて決定されたものである。２つの画像データＩＭ１、ＩＭ２は、それぞれレンズ焦点距離Ｒ１、Ｒ２で撮影されて生成されたデータである。

ステップＳ１５０では、ＣＰＵ２３１は、算出された各画像データの撮影領域に応じて合成可否判定処理を行う。合成可否判定処理とは、各画像ファイルが合成可能な画像データを有しているか否かを判定する処理である。合成可能な画像データか否かの判定は、幅方向に相互に重複する撮影領域が所定のサイズであるか否かで行われる。たとえば図１０（ｂ）に示される例では、角度θが所定の角度（たとえば１０度）以上であれば合成可能と判定される。閾値となる所定の角度は、後述するパノラマ画像合成処理（ステップＳ１７０）において望まれる重複部分の大きさに応じて決定することが好ましい。

ステップＳ１６０では、ＣＰＵ２３１は、選別された複数の画像ファイルＧＦが有する画像をディスプレイ１４に表示する。ディスプレイ１４に表示するのは、選別された複数の画像データを用いてパノラマ画像合成処理をするか否かの最終判断をユーザに許容するためである。

図１１は、選別された複数の画像を表示するパノラマ画像合成処理ソフトのウィンドウＷ２を示す説明図である。候補１〜候補４は、パノラマ画像の生成に利用できる可能性がある複数の画像ファイルの各グループである。「候補」としているのは、パノラマ画像の生成に利用できるか否かの最終判断はユーザが行うからである。本図では、候補１として自動的に選別された複数の画像が示されている。

候補１として示されている画像は、２つの画像ファイルＧＦ１、ＧＦ２の各画像である。各画像のサイズは、被写体のサイズがほぼ同一となるように調整されている。このように各画像のサイズを調整したのは、これらの画像を用いてパノラマ画像合成処理が可能であるか否かの判断を容易とするためである。被写体のサイズを同一とするような画像のサイズの調整は、レンズ焦点距離を用いて行うことができる。

ユーザは、パノラマ合成が可能と判断したら、「合成する」と表示されたボタンＢＴＮを押すことにより、パノラマ画像合成処理をコンピュータＰＣに開始させることができる（ステップＳ１７０）。

図１２は、２つの画像が合成されてパノラマ画像が生成される様子を示す説明図である。図１２（ａ）は、被写体と各画像の撮影領域Ｆ１、Ｆ２とを示している。図１２（ｂ）は、パノラマ画像合成処理によって生成されたパノラマ画像ＰＩＣＴを示している。

２つの画像を合成してパノラマ画像を生成する方法については、特許文献１に開示されている方法その他の公知の方法を利用することができる。ただし、本実施例では、解像度調整処理とトリム処理とがパノラマ画像合成処理の前に行われる。

解像度調整処理とは、各画像における同一の被写体のサイズを等しくした状態で２つの画像の解像度を同一にする処理である。図から分かるように、撮影領域Ｆ１を有する画像データと撮影領域Ｆ２を有する画像データとは、画素数が同一であるが撮影領域の広さが異なる。

このため、被写体のサイズを等しくすると、解像度に相違が生ずることになる。具体的には、撮影領域Ｆ２を有する画像データの被写体のサイズが撮影領域Ｆ１を有する画像データのものと等しくなるように、たとえば一方を拡大すると、その画像の解像度が低下することになる。この低下した解像度を補間処理その他の処理によって高くする処理が解像度調整処理である。

トリム処理とは、画像の形を矩形にするために画像の一部を削除する処理である。具体的には、撮影領域Ｆ２を有する画像データの上下の領域を削除して、撮影領域Ｆ１を有する画像データに高さ方向の長さに合わせて、パノラマ画像ＰＩＣＴ（図１２（ｂ））を矩形としている。

このように、本実施例では、各画像ファイルＧＦに含まれる位置情報やレンズ焦点距離、撮影した画像の方向といった情報に応じて、パノラマ画像合成処理に利用可能である可能性が極めて高い画像ファイルＧＦが自動的に選別されるので、パノラマ画像の生成に利用可能な画像データを選別する際におけるユーザの負担を軽減することができる。

Ｆ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｆ−１．上記実施例では、画像ファイルの分類に利用される地理的位置を表す位置情報は、米国が運用しているＧＰＳ衛星からの電波や携帯電話の基地局の電波を利用して生成されているが、たとえば欧州が開発予定のＧＰＳシステム（ガリレオ）を利用して生成するようにしても良い。一般に、本発明で画像ファイルの選択に利用される位置情報は、撮影時における地球上の絶対的な位置を表すものであれば良い。

Ｆ−２．上記実施例では、画像データの幅方向の画素数を実際にカウントして求められた画素数、あるいはＪＰＥＧマーカとして画像ファイルＧＦに格納された画像数と、レンズ焦点距離と各画素の大きさとに応じて、画像データの幅方向の画角が算出されているが、たとえば３５ｍｍフィルムサイズの幅方向の長さと、各画像ファイルＧＦのＥＸＩＦ ＩＦＤに格納された３５ｍｍ換算レンズ焦点距離とに応じて、画像の幅方向の画角を算出するようにしても良い。

Ｆ−３．上記実施例では、撮影時の位置情報と画像の方向とレンズ焦点距離とに応じて、パノラマ画像合成処理に利用できるか否かを判断しているが、たとえばレンズ焦点距離の情報が得られない場合には、画像方向が相互に所定の角度以下である複数の画像ファイルを選別するようにしても良い。

また、画像方向が相互に所定の角度以下であるというだけでなく、さらに所定の角度以上である複数の画像ファイルを選別するようにすることが好ましい。こうすれば、パノラマ画像の撮影を意図していない画像データを有する画像ファイルの選別を排除することができる。すなわち、同一の被写体を何度も撮影するような場合があるが、このようにして撮影された画像データを選別の対象から排除することができる。

Ｆ−４．上記変形例では、撮影時の位置情報と画像の方向とに応じて、パノラマ画像合成処理に利用できるか否かを判断しているが、画像の方向の情報が得られない場合には、各画像データの撮影位置間の距離が所定の距離以下である複数の画像ファイルを選別するようにしても良い。

Ｆ−５．上記実施例では、各画像データの撮影位置間の距離を算出し、その距離に応じて画像ファイルを選別しているが、たとえば緯度と経度とが所定の差（たとえば緯度と経度の差が１秒）である画像ファイルＧＦを選別するようにしても良い。本発明に使用する画像ファイル選別部は、一般に、撮影時の地理的位置が相互に所定の距離以下であると決定された複数の画像ファイルを、パノラマ画像の生成に利用可能な画像ファイルとして選別できるものであれば良い。

Ｆ−６．上記実施例や変形例において、画像ファイルの選別は、撮影時に使用された露出プログラムのクラスがマニュアルである場合には、撮影時の露出時間、シャッタースピード、および絞り値のうち画像ファイルから読み出された情報のいずれもが同一である複数の画像ファイルを選別するようにすることが好ましい。

パノラマ画像合成用の写真の撮影は露出プログラムをマニュアルに設定して同一の露出で撮影することが好ましいので、このような条件で撮影された画像はパノラマ画像の合成に利用する意図で撮影されたと推測できる。よって、こうすれば、より高い確率でパノラマ画像の合成に利用する意図で撮影された画像ファイルを選別することができる。

ここで、撮影時に使用された露出プログラムのクラス、撮影時の露出時間、シャッタースピード、および絞り値は、いずれもＥＸＩＦ ＩＦＤに格納されている画像属性情報である。

Ｆ−７．上記実施例や変形例において、さらに相互に所定の時間以下であって、かつ所定の時間以上の間隔で撮影された複数の画像ファイルを選別するようにすることが好ましい。

パノラマ画像合成用の写真は一定の時間に連続して撮影される場合が多いので、こうすれば、パノラマ画像の合成に利用できる可能性がより高い複数の画像ファイルを選別することができる。また、所定の時間以上の間隔とすることにより連続して同一の被写体を撮影した画像ファイルＧＦを選別の対象から排除することができる。

Ｆ−８．上記実施例では、パノラマ合成に利用可能である可能性が高い画像ファイルＧＦを自動的に選択し、パノラマ画像合成処理を実際に行うか否かの最終判断はユーザに委ねているが、パノラマ画像合成処理まで自動的に行うようにしても良い。また、前者と後者の選択をユーザに委ねることがより好ましい。

Ｆ−９．上記各実施例では、パーソナルコンピュータが画像ファイル選別装置として機能しているが、たとえばカラープリンタやデジタルカメラが画像ファイル選別装置の機能を有するようにしても良い。

本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の一実施例としての画像処理システムを示す説明図。 画像データを生成する入力装置としてのデジタルスチルカメラの構成の概略を示すブロック図。 画像データを出力する出力装置としてのコンピュータＰＣとカラープリンタの構成の概略を示すブロック図。 本発明の実施例における画像ファイルＧＦの構造の概略示す説明図。 画像ファイルＧＦのExif IFDに格納される付属情報の一例を示す説明図。 画像ファイルＧＦのＧＰＳ Ｉｎｆｏ ＩＦＤに格納される付属情報の構成を示す説明図。 コンピュータＰＣにおけるパノラマ画像の合成処理の処理ルーチンを示すフローチャート。 本発明の実施例におけるパノラマ画像合成処理ソフトの起動時のウィンドウＷ１を示す説明図。 撮影時のレンズ焦点距離が異なる２つの画像データの画角を示す説明図。 撮影時のレンズ焦点距離が異なる２つの画像データの撮影領域Ｆ１、Ｆ２を示す説明図。 選別された複数の画像を表示するパノラマ画像合成処理ソフトのウィンドウＷ２を示す説明図。 ２つの画像が合成されてパノラマ画像が生成される様子を示す説明図。

符号の説明

１０...画像処理システム
１２...デジタルスチルカメラ
１４...ディスプレイ
２０...カラープリンタ
２２...スロット
２３...印刷データ生成回路
１１０...画像データ格納領域
１２１...光学回路
１２２...画像取得回路
１２３...画像処理回路
１２４...制御回路
１２５...携帯電話インターフェース回路
１２６...決定ボタン
１２７...液晶ディスプレイ
１２８...ＧＰＳ回路
１２９...ＧＰＳアンテナ
１２９...アンテナ
２３１...ＣＰＵ
２３２...ハードディスク

Claims (3)

1. 画像データと前記画像データの属性情報である画像属性情報とを含む複数の画像ファイルから所定の画像ファイルを選別する、パノラマ画像生成のための画像ファイル選別装置であって、
   前記画像属性情報は、撮影時の地理的位置を表す位置情報を含み、
   前記画像ファイル選別装置は、
   前記画像データの表す画像を表示可能な表示部と、
   前記位置情報を前記各画像ファイルから読み出す画像属性情報読み出し部と、
   前記読み出された位置情報に基づいて、撮影時の地理的位置が相互に所定の距離以下であると決定された複数の画像ファイルを、前記所定の画像ファイルとして選別し、該選別された複数の画像ファイルの表す複数の画像を前記表示部に表示する制御部と、
   前記表示された複数の画像を用いてパノラマ画像を生成するか否かの指示を受け付ける受付手段と、
   を備え、
   前記受付手段が前記表示された複数の画像を用いてパノラマ合成を行う旨の指示を受け付けた場合、前記表示された複数の画像を用いて作成したパノラマ画像を前記表示部に表すことを特徴とする画像ファイル選別装置。
2. 前記制御部は、前記複数の画像における被写体のサイズが同一となるように各画像のサイズを調整し前記表示部に表示することを特徴とする請求項１に記載の画像ファイル選別装置。
3. 画像データと前記画像データの属性情報である画像属性情報とを含む複数の画像ファイルから所定の画像ファイルを選別する、パノラマ画像生成のための画像ファイル選別方法であって、
   前記画像属性情報は、撮影時の地理的位置を表す位置情報を含み、
   前記画像ファイル選別方法は、
   前記画像データの表す画像を表示する工程と、
   前記位置情報を前記各画像ファイルから読み出す工程と、
   前記読み出された位置情報に基づいて、撮影時の地理的位置が相互に所定の距離以下であると決定された複数の画像ファイルを、前記所定の画像ファイルとして選別し、該選別された複数の画像ファイルの表す複数の画像を表示する工程と、
   前記表示された複数の画像を用いてパノラマ画像を生成するか否かの指示を受け付ける工程と、
   前記表示された複数の画像を用いてパノラマ合成を行う旨の指示を受け付けた場合、前記表示された複数の画像を用いて作成したパノラマ画像を表示する工程と、
   を備えることを特徴とする画像ファイル選別方法。

Images