JP5598569B2 - パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット - Google Patents

Description

本発明は画像を複数回に分けて撮影し、撮影した画像を結合することで、画角の小さなレンズ・モジュールからなるカメラ・モジュールを備える電子機器においても画角の大きなパノラマ画像を撮影可能とするための技術に関する。

ディジタル・カメラ付き小型電子機器向けのカメラ・モジュールは、一般的に小型化を優先するため小型のレンズ・モジュールを使用することが多く、画角の小さな画像のみ撮影可能である。このような小型のレンズ・モジュールを備えるディジタル・カメラを用いて、風景写真などの広角な撮影対象を撮影したい場合、複数回に分けて撮影した、部分的に重なり合った複数の画像を、一枚の画像に結合することで実現される。

部分的に重なり合った画像において結合すべき位置を特定する必要があるため、複数の画像を撮影する際、撮影者はファインダ画面上に表示されるガイドに従い、装置を正確な方向に合わせた上で撮影操作を行うことを繰り返すことで結合対象の複数の画像を得る。

下記特許文献１では、部分的に重なり合った複数の画像間の、設定された位置合わせ量と接合部分とに基づき、複数の画像を貼り合わせる技術が開示されている。

特開２００４−２３６９１０号公報

従来の技術において、画像を複数回に分けて撮影し、撮影した画像を結合することで、画角の小さなレンズ・モジュールからなるカメラ・モジュールを備える電子機器においても画角の大きな画像を撮影可能とするための処理を行う際、撮影者はファインダ画面上に表示されるガイドに従い、装置を正確な方向に合わせた上で撮影操作を行うことを繰り返す必要があり、操作が煩雑であることに加えて、操作に不慣れな撮影者が装置を正確な方向に合わせることに失敗した場合は、接合部の画像がずれた結合画像となる場合があった。

また、動画として撮影した連続画像からパノラマ画像を合成することも考えられるが、動画の連続画像中には様々な動きの人物又は物体等が入り込んでくるため、単純に隣接画像を合成するだけではうまくパノラマ画像を合成できない可能性が大きい。

本発明の課題は、結合対象の画像を撮影する際に、より簡略化された手順で撮影可能となり、撮影者の負担を軽減することおよび、操作に不慣れな撮影者によるずれた結合画像となる撮影手順の失敗を軽減することにある。

本発明は、カメラ・モジュールにて撮影した連続画像からパノラマ画像を合成するための装置又は方法、また当該パノラマ撮影装置を搭載したカメラユニットを前提とする。
以下は、本発明をパノラマ撮影装置として実現した場合の態様について示す。

動きベクトル算出手段（２０１）は、撮影中の連続画像の位置差分情報を取得する。
動きベクトル品質判定手段（２０２）は、動きベクトル算出手段が取得した位置差分情報の有用性を判断する。

動き量算出手段（２０３）は、動きベクトル品質判定手段によって画像の動き量算出可能と判断された場合に画像の動き量を算出する。この動き量算出手段は、例えば、カメラ・モジュールから入力された連続画像のマクロブロックごとの動きベクトルを元に画像間の動き量を算出する。また、上記動き量算出手段は、例えば、動き量を算出する際に、マクロブロックごとの動きベクトルの平均値を求め、平均値に対して一定以上の誤差を持つ動きベクトルは動き量の算出対象より除外する。また、上記動き量算出手段は、例えば、動き量を算出する際に、有効な動きベクトルが少なく動き量が算出不能である場合に、以前の画像において算出した動き量を再利用することによって算出不能であった動き量を補完する。

画像選択手段（２０５）は、動き量を元に処理対象の画像を選択する。この画像選択手段は、例えば、動き量算出手段が算出した一定の動き量が累計された場合に、結合対象の画像を選択する。

画像結合手段（２０６）は、画像選択手段が選択する部分的に重なり合った複数の画像を用いて重なり合う部分を結合し1枚の画像に合成する。

本発明によれば、結合対象の画像を撮影する際に、より簡略化された手順で撮影可能であり、撮影者の負担を軽減することおよび、操作に不慣れな撮影者によるずれた結合画像となる撮影手順の失敗を軽減することが可能である。

特に、動画として撮影された連続画像から、様々な動きをする人物・物体等を動きベクトルを介して適切に処理しながら、最適なパノラマ画像を合成することが可能となる。

本発明の実施形態によるディジタル・カメラ・モジュールおよび画像処理プロセッサを備える電子機器の構成を示す図である。 本発明の実施形態によるディジタル・カメラ・モジュールおよび画像処理プロセッサを備える電子機器の撮影操作を示す図である。 動きベクトル算出部の入力画像および出力結果について示す図である。 動きベクトル品質判定部によって実行される、画像の動き量が算出可能かどうかを判定するための動作フローチャートである。 動き量算出部によって実行される、画像の動き量を算出するための動作フローチャートである。 動き量算出補完部によって実行される、画像の動き量を算出するための動作フローチャートである。 画像選択部によって実行される、連続画像から結合対象となる画像を選択し、結合対象画像間の位置関係を算出するための動作フローチャートである。 動き量算出部、および動き量算出補完部、および画像選択部、および画像結合部、によって実行される実行される連続画像の動き量の算出、および結合対象の画像の選択、および動き量累計値の算出、および画像の結合を示す動作説明図である。

以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
図面において、同様の構成要素には同じ参照番号が付されている。
図１は、本実施形態による、カメラ・モジュール１０を備える電子機器１の構成を示している。電子機器１は、さらに画像処理プロセッサ（ＣＰＵ）２０と、記録部３０と、入力装置４０１（例えばキー）およびディスプレイ４０２に結合されたユーザ・インタフェース（Ｉ／Ｆ）４０と、を備えている。

カメラ・モジュール１０は、レンズ・モジュール１０１、撮像用のＣＣＤ／ＣＭＯＳセンサ１０２、アナログ−ディジタル変換器（ＡＤＣ）１０３、ディジタル信号プロセッサ（ＤＳＰ）１０４、からなる。

画像処理プロセッサ２０は、画像中のマクロブロックと呼ぶ小矩形範囲ごとに前画像に対する位置差分を算出する動きベクトル算出部２０１、画像選択の計算対象となる動きベクトルを取捨選択し、動き量が算出可能かどうかを判定する動きベクトル品質判定部２０２、動きベクトル情報より画像の動き量を算出する動き量算出部２０３、動き量算出のために必要な情報が得られなかった場合に過去の算出履歴より動き量を推定する動き量算出補完部２０４、算出された動き量より動き量累計値および結合対象の画像を決定する画像選択部２０５、結合対象の画像の重なり合う部分を接合し1枚の画像に結合する画像結合部２０６、からなる。画像処理プロセッサ２０は、例えば集積回路として少なくとも一部がハードウェアの形態で実装されていてもよく、またはプロセッサ上で動作するプログラムとして少なくとも一部がソフトウェアの形態で実装されていてもよい。

記録部３０は、連続画像領域３０１、選択画像および動き量累計値領域３０２、結合画像領域３０３を備える。連続画像領域３０１はカメラ・モジュール１０にて一定時間間隔
ごとに取得した複数の画像が格納される。選択画像および動き量累計値領域３０２は結合対象となる複数の画像および、画像間の相対位置を示す動き量累計値を格納する。結合画像領域３０３は画像処理された出力画像を格納する。

ユーザ・インタフェース４０は、キーを含む入力装置４０１とディスプレイ４０２に結合されており、撮影者のキー入力をカメラ・モジュール１０に供給し、撮影画像および処理済みの画像をディスプレイ４０２に表示する。

図１において、カメラ・モジュール１０は撮影者による撮影開始ボタン押下に対して連続的な複数画像の撮影を開始し、連続画像領域３０１に前記複数画像データを格納する。撮影者は連続画像を撮影の間、電子機器１を平行移動させることにより、風景写真などの広角な撮影対象の画像をカメラ・モジュール１０に入力する。動きベクトル算出部２０１は入力された連続画像について画像中のマクロブロックと呼ぶ16x16画素の区画ごとに、動きベクトルと呼ぶ前画像との位置差分情報を算出する。動きベクトル品質判定部２０２は全マクロブロックの動きベクトルについて、処理に必要な動きベクトルのみを取捨選択し、動き量が算出可能かどうかを判定する。動き量算出部２０３は動きベクトル品質判定部２０２において選択された動きベクトルを元に、画像の動き量を算出する。動き量算出補完部２０４は取捨選択された結果、有効な動きベクトルが少ない場合に、過去に算出した動き量を用いて処理を行う。画像選択部２０５は動き量を累計し、一定の動き量が累計された時点での画像を結合対象として選択する。画像結合部２０６は選択された結合対象画像を結合し、出力結果となる広角な画像を結合画像領域３０３に格納する。

図２は本実施形態による電子機器１の撮影操作を図示したものである。電子機器１は撮影者による撮影開始ボタン押下に対して連続的な複数画像の撮影を開始し、連続画像領域３０１に撮影された複数の画像データを格納する。撮影者は連続画像撮影の間、電子機器１を平行移動させることにより、風景写真などの広角な撮影対象の画像をカメラ・モジュール１０に入力する。図中の(a)〜(c)はそれぞれ撮影開始時の電子機器１の位置、撮影中の電子機器１の位置、撮影終了時点の電子機器１の位置である。

図３は動きベクトル算出部２０１の入力画像および出力結果について図示したものである。動きベクトル算出部は連続画像領域３０１からの連続画像の入力を元に、マクロブロックと呼ぶ16x16画素の区画ごとに、動きベクトルと呼ぶ2次元値を持つ前画像(d)と現画像(e)との位置差分情報を算出する。マクロブロックによっては動きベクトルが算出不能である場合もあり、動きベクトルを算出不能であるマクロブロックをイントラマクロブロックと呼ぶ。(f)はマクロブロックに区画された画像とマクロブロックごとの動きベクトルを示す。

図４は、本実施形態による、画像処理プロセッサ２０の動きベクトル品質判定部２０２、によって実行される、画像の動き量が算出可能かどうかを判定するためのフローチャートを示している。

ステップＳ５０１〜Ｓ５０２において、動きベクトル品質判定部２０２は動きベクトル算出部２０１の処理の結果得られる画像中のマクロブロック毎の動きベクトルを読みだす。マクロブロックによっては動きベクトルを持たないイントラマクロブロックである場合があり、また、撮影中に動きのある撮影対象がフレームインする場合があるため、画像の上下左右端のマクロブロックおよびイントラマクロブロックは画像の動き量の算出には用いない。ステップＳ５０３において、動き量の算出に必要な一定数以上のマクロブロックが存在するか判定する。ステップＳ５０３において動き量の算出に必要な一定数以上のマクロブロックが存在しないと判定された場合、ステップＳ５０８において対象の画像の動き量は算出不能であると判定する。

ステップＳ５０３において動き量の算出に必要な一定数以上のマクロブロックが存在すると判定された場合、対象の画像の動き量は算出可能であると判定し、ステップＳ５０４〜Ｓ５０５において画像中の上下左右端以外かつイントラマクロブロックでないマクロブロックの動きベクトルの平均値μおよび、分散値ρを算出する。平均値μから±ρの範囲を超えた動きベクトルを持つマクロブロックについては、映像のノイズや撮影中に動きのある撮影対象がフレームインしたことによるものであると判断し、画像の動き量の算出には用いない。ステップＳ５０６において、動き量の算出の対象となる、動きベクトルがμ±ρの範囲にあるマクロブロックが一定数以上存在するか判定する。ステップＳ５０６において動き量の算出に必要な一定数以上のマクロブロックが存在しないと判定された場合、ステップＳ５０８において対象の画像の動き量は算出不能であると判定する。ステップＳ５０６において動き量の算出に必要な一定数以上のマクロブロックが存在すると判定された場合、ステップＳ５０７において対象の画像の動き量は算出可能であると判定する。

図５は本実施形態による、画像処理プロセッサ２０の動き量算出部２０３、によって実行される、画像の動き量を算出するためのフローチャートを示している。
動きベクトル品質判定部２０２によって画像の動き量が算出可能であると判定された場合に、動き量検出部２０３は画像の動き量の算出を行う。ステップＳ５１１において、動き量検出部２０３は画像中のマクロブロック毎の動きベクトルを読みだす。ステップＳ５１１において、マクロブロックによっては動きベクトルを持たないイントラマクロブロックである場合があり、また、撮影中に動きのある撮影対象がフレームインする場合があるため、画像の上下左右端のマクロブロックおよびイントラマクロブロックは画像の動き量の算出には用いない。ステップＳ５１２において画像中の上下左右端以外かつイントラマクロブロックでないマクロブロックの動きベクトルの平均値μおよび、分散値ρを算出する。平均値μから±ρの範囲を超えた動きベクトルを持つマクロブロックについては、映像のノイズや撮影中に動きのある撮影対象がフレームインしたことによるものであると判断し、画像の動き量の算出には用いない。ステップＳ５１３〜Ｓ５１４において、動きベクトルがμ±ρの範囲にあるマクロブロックの動きベクトルの平均値μ'を算出し、μ'を対象の画像の動き量とする。

図６は本実施形態による、画像処理プロセッサ２０の動き量算出補完部２０４、によって実行される、画像の動き量を算出するためのフローチャートを示している。
動きベクトル品質判定部２０２によって画像の動き量は算出不能であると判定された場合に、動き量算出補完部２０４は画像の動き量の算出を行う。撮影時、動き量の算出が不能となるような被写体を撮影した場合においても、撮影者は一定の速度で電子機器１を平行移動させていると仮定し、前画像において算出した動き量を用いて処理を継続する。ステップＳ５２０〜Ｓ５２１において、前画像において動き量検出部２０３または動き量算出補完部２０４にて算出された動き量を読み出し、現画像の動き量として適用する。

図７は本実施形態による、画像処理プロセッサ２０の画像選択部２０５、によって実行される、連続画像から結合対象となる画像を選択し、結合対象画像間の位置関係を
算出するためのフローチャートを示している。

画像選択部２０５は連続画像から結合対象となる画像の選択、および動き量算出部２０３、および動き量算出補完部２０４、によって算出された画像の動き量をもとに結合対象画像間の位置関係を示す動き量累計値の算出を行う。ステップＳ５３０にて連続画像の先頭画像を取得する。ステップＳ５３１にて動き量累計値を初期化する。先頭画像についてはステップＳ５３７にて結合対象画像として選択される。以降の画像についてはステップＳ５３２にて動き量累計値を初期化する。ステップＳ５３３〜Ｓ５３５にて、次画像および画像の動き量を取得し、画像の動き量を動き量累計値に加算する。ステップＳ５３６〜Ｓ５３７にて、動き量累計値が一定値Vs以上となった時点での画像が結合対象として選択される。Vsは結合対象の画像の大きさと画像の結合に必要な画像間の部分的に重なり合った領域の大きさの差分に対応する。動き量累計値がVsに満たない場合は再度ステップＳ５３３に戻り、次画像を取得する。ステップＳ５３８にて、期待する一定枚数以上の画像を選択したと判断した場合に処理が完了する。

図８は本実施形態による、画像処理プロセッサ２０の動き量算出部２０３、および動き量算出補完部２０４、によって実行される連続画像の動き量の算出、および画像選択部２０５、によって実行される結合対象の画像の選択および動き量累計値の算出、および画像結合部２０６によって実行される画像の結合を図示したものである。

図中(g)は、連続画像および動き量算出部２０３、および動き量算出補完部２０４、によって実行される連続画像の動き量算出結果について図示したものである。図中(h)〜(j)は、画像選択部２０５によって実行される結合対象の画像の選択結果を図示したものである。図中(k)は、画像選択部２０５によって実行される動き量累計値の算出結果について図示したものである。図中(l)は、画像結合部２０６によって実行される画像の結合結果となる結合画像について図示したものである。

以上説明した実施形態は典型例として挙げたに過ぎず、その各実施形態の構成要素を組み合わせること、その変形およびバリエーションは当業者にとって明らかであり、当業者であれば本発明の原理および請求の範囲に記載した発明の範囲を逸脱することなく上述の実施形態の種々の変形を行えることは明らかである。

１ 電子機器
２０ 画像処理プロセッサ
３０ 記録部
４０ ユーザ・インタフェース
２０１ 動きベクトル算出部
２０２ 動きベクトル品質判定部
２０３ 動き量算出部
２０４ 動き量算出補完部
２０５ 画像選択部
２０６ 画像結合部

Claims (4)

1. カメラ・モジュールにて撮影した連続画像からパノラマ画像を合成するための装置であって、
   前記連続画像のマクロブロックごとの位置差分情報を取得する動きベクトル算出手段と、
   該動きベクトル算出手段が取得した前記位置差分情報の有用性を、前記連続画像のマクロブロックのうちで画像の動き量の算出に使用可能とするものの個数に基づき判断する動きベクトル品質判定手段と、
   該動きベクトル品質判定手段によって画像の動き量算出可能と判断された場合に画像の動き量を算出する動き量算出手段と、
   前記動き量を元に処理対象の画像を選択する画像選択手段と、
   該画像選択手段が選択する部分的に重なり合った複数の画像を用いて重なり合う部分を結合し１枚の画像に合成する画像結合手段と、
   を含む
   ことを特徴とするパノラマ撮影装置。
2. 前記動き量算出手段は、前記連続画像のマクロブロックごとの動きベクトルを元に画像間の動き量を算出し、
   前記画像選択手段は、前記動き量算出手段が算出した一定の動き量が累計された場合に、前記結合対象の画像を選択する、
   ことを特徴とする請求項１に記載のパノラマ撮影装置。
3. 前記動き量算出手段は、前記動き量を算出する際に、マクロブロックごとの動きベクトルの平均値を求め、平均値に対して一定以上の誤差を持つ動きベクトルは動き量の算出対象より除外する、
   ことを特徴とする請求項１に記載のパノラマ撮影装置。
4. 前記動き量算出手段は、前記動き量を算出する際に、有効な動きベクトルが少なく動き量が算出不能である場合に、以前の画像において算出した動き量を再利用することによって算出不能であった動き量を補完する、
   ことを特徴とする請求項１に記載のパノラマ撮影装置。