JP4127080B2

JP4127080B2 - Imaging apparatus and method

Info

Publication number: JP4127080B2
Application number: JP2003056242A
Authority: JP
Inventors: 雅晴鈴木; 伸俊小山; 真一森本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-03
Filing date: 2003-03-03
Publication date: 2008-07-30
Anticipated expiration: 2023-03-03
Also published as: JP2004266668A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する撮像装置及び方法に関する。
【０００２】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。
【０００３】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録し、監視を行うことを可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平１０−１０８１６３号公報
【特許文献２】
特開２０００−２４３０６２号公報
【０００５】
【発明が解決しようとする課題】
撮像したパノラマ画像について、単独のユーザのみならず複数のユーザがネットワークを介して同時に視認できるシステムが昨今において望まれている。特に百貨店等の商品売り場や立ち入り禁止区域等のような広範囲の状況については、複数のユーザが同時に管理する必要があり、特に事件発生後において、既に蓄積してあるパノラマ画像につき各人が事後的な確認を望む場合もある。
【０００６】
しかしながら、上述したモニタリングシステムや撮像装置は、あくまでユーザが単独で被写体を撮像してパノラマ画像を生成する際に好適なものであるため、複数のユーザによる被写体の同時撮影や、撮影内容の事後的な確認が困難であった。
【０００７】
また、上述したモニタリングシステムや撮像装置では、蓄積したパノラマ画像をデジタルズームにより拡大処理、単位画像を連結する処理や、ズーム値にあわせて画素を間引く処理等が必要となり、精細な画質を維持できず、特に単位画像の連結部を拡大する場合に境界が画面上に表示されてしまい、画質を悪化させる要因にもなっていた。
【０００８】
さらに、撮影画角をあまりに小さく設定すると、小サイズの単位画像を多数貼り合わせて一枚の全体画像を構成する必要が生じ、撮影枚数が増加し、ひいては撮影時間が長期化してしまうという問題点もあった。
【０００９】
そこで本発明は上述した問題点に鑑みて案出されたものであり、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができる撮像装置及び方法において、特に撮影時間の大幅な短縮化を図ることを目的とする。
【００１０】
【発明を解決するための手段】
本発明者は、上述した問題点を解決するために、異なる２以上の撮影画角で、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体に記録し、また記録媒体に記録されている、互いに異なる時点で生成された２つの全体画像の輝度成分を比較し、これに基づいて、撮影範囲に存在する被写体の動きが活発な領域を含み、かつ、撮影画角のより小さい単位画像を、上記撮影範囲を撮像することにより得られた複数の単位画像の中から、撮像する単位画像として優先的に選択し、また、撮影画角のより小さい単位画像である撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を撮影範囲を撮像することにより得られた複数の単位画像の中から優先的に選択する撮像装置及び方法を発明した。
【００１１】
すなわち、本発明を適用した撮像装置は、異なる２以上の撮影画角で、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成する撮像手段と、撮像された単位画像を上記撮影画角毎に階層化して記録媒体に記録する記録手段と、上記記録媒体に記録されている、互いに異なる時点で生成された２つの全体画像の輝度成分を比較する比較手段とを備え、上記撮像手段は、上記比較手段により比較された輝度成分に応じて、上記撮影範囲に存在する被写体の動きが活発な領域を含み、かつ、撮影画角のより小さい単位画像を、上記撮影範囲を撮像することにより得られた複数の単位画像の中から、撮像する単位画像として優先的に選択することを特徴とする。
【００１２】
また、本発明を適用した撮像装置は、異なる２以上の撮影画角で、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成する撮像手段と、撮像された単位画像を上記撮像画角毎に階層化して記録媒体へ記録する記録手段と、上記全体画像を表示する全体画像表示手段と、上記全体画像表示手段に表示される全体画像において、ユーザが画像領域を指定するための指定手段とを備え、上記撮像手段は、上記撮影範囲を撮像することにより得られた複数の単位画像の中から、撮影画角のより小さい単位画像である撮像する単位画像として、上記指定手段により指定された画像領域を含む単位画像を優先的に選択することを特徴とする。
【００１３】
すなわち、本発明を適用した撮像方法は、異なる２以上の撮影画角で、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成し、撮像された単位画像を上記撮影画角毎に階層化して記録媒体に記録し、上記記録媒体に記録されている互いに異なる時点で生成された２つの全体画像の輝度成分を比較し、比較した輝度成分に応じて、上記撮影範囲に存在する被写体の動きが活発な領域を含み、かつ、撮影画角のより小さい単位画像を、上記撮影範囲を撮像することにより得られた複数の単位画像の中から、撮像する単位画像として優先的に選択することを特徴とする。
【００１４】
また、本発明を適用した撮像方法は、異なる２以上の撮影画角で、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成し、撮像された単位画像を上記撮像画角毎に階層化して記録媒体へ記録し、上記全体画像を表示する撮像方法であって、ユーザにより指定された画像領域を含む単位画像を、上記撮影範囲を撮像することにより得られた複数の単位画像の中から、撮影画角のより小さい単位画像である撮像する単位画像として優先的に選択することを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した撮像システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、音声信号を受信するマイク１２と、カメラユニット２より伝送された画像信号に所定の処理を施す画像入出力部１３と、マイク１２より伝送された音声信号に所定の処理を施す音声入出力部１４と、少なくとも画像入出力部１３及び音声入出力部１４に接続され、上記画像信号を処理するための演算処理部１５と、演算処理部１５に接続され、上記画像信号を記録するサーバ５３と、ユーザが本システム１を制御するための操作部１６と、演算処理部１５に接続され、各種情報を表示するためのディスプレイ６と、他のユーザがアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、端末装置９に対して各種情報を送受信するためのネットワーク８とを備えている。
【００１６】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００１７】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、演算処理部１５等による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、演算処理部１５等による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。
【００１８】
画像入出力部１３、音声入出力部１４、演算処理部１５、サーバ５３並びに操作部１６は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器１００により一体化して構成してもよい。この電子機器１００によれば、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの電子機器１００は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれをディスプレイ６に表示するように制御する。この電子機器１００は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて、画像や音声を送信する。
【００１９】
ネットワーク８は、例えば電子機器１００と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Integrated Services Digital Network）／Ｂ（broadband）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの撮像システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Local Area Network）で構成してもよい。さらにこのネットワーク８は、静止画像に加えて動画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Moving Picture Experts Group）データを始めとする動画像がある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク８には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、端末装置９による要求を受けて、自身に格納してある所定の情報を送信する。
【００２０】
端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して電子機器１００から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの撮像システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、電子機器１００から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを電子機器１００に対して送信する。なお端末装置９のブロック構成については、後述する電子機器１００の構成を引用し、説明を省略する。
【００２１】
次に、本発明を適用した撮像システム１におけるカメラユニット２,電子機器１００の構成について詳細に説明する。
【００２２】
図２は、カメラユニット２,電子機器１００の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに電子機器１００の各構成要素が接続されている。
【００２３】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するTilt部３ａ、Pan部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像入出力部１３へ送信するためのＩＥＥＥ(Institute of Electrical and Electronics Engineers)１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ(Global Positioning System)受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００２４】
また画像入出力部１３は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２とを備えている。
【００２５】
また演算処理部１５は、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続されるメモリカード６１並びに時計６２とを備えている。
【００２６】
また操作部１６は、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０を備えている。
【００２７】
Tilt部３ａ並びにPan部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００２８】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。
【００２９】
撮像部２４は、例えばＣＣＤ（Charge Coupled Device ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００３０】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００３１】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００３２】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号を上述した図示しないネットワークサーバに記録するように制御することにより、サーバ５３を図示しないネットワークサーバに代替することも可能となる。
【００３３】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。また、この画像圧縮部５４は、ＣＰＵ５６による制御に従い、サーバ５３に記録されている画像を読み出して、動画像を生成する。ちなみにこの動画像を生成する際の圧縮方法としては、例えばＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００等に基づき実行してもよい。
【００３４】
グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００３５】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、電子機器１００内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。
【００３６】
音声入出力部１２は、マイク１２から入力された音声信号を符号化する。この音声入出力部１２により符号化された音声信号についても、上述の如く画像信号と同様にサーバ５３へ供給され、記録されることになる。
【００３７】
次に本発明を適用した撮像システム１における撮像動作について説明をする。
【００３８】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００３９】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Tilt部３ａ並びにPan部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００４０】
同様にＣＰＵ５６は、Tilt部３ａ並びにPan部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００４１】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。
【００４２】
ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。
【００４３】
図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この電子機器１００は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また電子機器１００は、パノラマ状の全体画像（パノラマ画像）の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７０に表示させてもよい。
【００４４】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。さらにこの拡大画像表示部７１には、後述する方法により生成した動画を表示してもよい。
【００４５】
また表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を縮小して表示させるためのＷＩＤＥボタン７２、撮影倍率を拡大して表示させるためのＺＯＯＭボタン７３が表示される。また、この表示画面４５には、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御部７５、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン７６等も表示される。
【００４６】
また、ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０,７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【００４７】
次に、本発明を適用した撮像装置において、異なる２以上の撮影画角で画像を撮像する場合につき説明をする。
【００４８】
カメラユニット２は、図５に示すように、黒枠で示される同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する。撮像により得られる単位画像を撮影画角毎に合成することにより、全体画像と同一内容の単位画像の集合を図５に示すように幾層にも亘って作成することができる。以下、各撮影画角に応じた単位画像の集合をLayerという。Layerの番号は、撮影画角の大きい順からｎ、ｎ＋１、ｎ＋２、・・、と増加するものとする。すなわち撮影画角の大きいLayerｎでは、撮影画角の小さいLayerｎ＋１と比較して、少ない単位画像数で全体画像を合成することができる。ちなみに、単位画像のサイズ、画素数は各Layer間において同等である。
【００４９】
図６は、Layerの倍率を順に１、２、４、８倍に設定して撮像する例を示している。図６は、図５で示すような各Layerを水平方向又は垂直方向から表示したものであり、倍率１倍のLayer１は、１枚の単位画像で構成され、倍率２倍のLayer２は、２×２枚の単位画像で構成され、また倍率４倍のLayer３は、４×４枚の単位画像で構成され、倍率８倍のLayer４は８×８枚の単位画像で構成される。
【００５０】
図７は、上述の撮影倍率からなる各Layerにつき、単位画像を撮像する手順を示している。先ずステップＳ１１において、ＣＰＵ５６は、レンズ制御部２３に対して駆動信号を送信することにより、カメラ部４の撮影画角を倍率１倍に相当するｕ１に調整し、撮影方向を撮影範囲の中心位置に合わせる。次にステップＳ１２へ移行し、カメラ部４は、かかる撮影画角ｕ１で、撮影範囲全体を表示することができる１枚の全体画像を撮像する。この撮像された全体画像に基づく画像信号は、Layer１として順次サーバ５３へ記録されることになる。
【００５１】
次にカメラ部４は、ＣＰＵ５６による制御に基づき、撮影画角を倍率２倍に相当するｕ２に調整する（ステップＳ１３）。またカメラ部４は、ステップＳ１４において、ＣＰＵ５６による制御に基づき、撮影方向を、撮影範囲左上に位置する座標（１，１）に合わせて撮像を実行する。カメラ部４は、撮影方向を順次１画枠分毎にシフトさせて、Layer２を構成する全ての単位画像につき撮像を実行する。撮像された単位画像に基づく画像信号は、Layer２として順次サーバ５３へ記録される。
【００５２】
同様にカメラ部４は、撮影画角を倍率４倍に相当するｕ３、また倍率８倍に相当するｕ４に調整して、撮影方向を順次シフトさせて撮像を実行する。得られた単位画像に基づく画像信号は、Layer３、Layer４として順次サーバ５３に記録され、最終的には、各Layerを構成する画像が全てサーバ５３に記録されている状態となる。
【００５３】
次に、このサーバ５３内に階層化して記録されている各画像信号のうち、Layer１を構成する全体画像に基づく画像信号が最初に読み出され、グラフィックコントローラ５５を経てディスプレイ６等上の全体画像表示部７０に表示される。ユーザは、この全体画像表示部７０に表示されている全体画像において、所望の画像領域につき拡大表示を望む場合には、上述の如くマウス６０等を用いて当該画像領域を指定することができる。
【００５４】
図８は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００５５】
先ずステップＳ２１においてユーザによる画像領域の指定を受けた場合には、ステップＳ２２へ移行し、ＣＰＵ５６は、例えば図９に示すように、ユーザにより指定された画像領域３０のサイズｑと、Layer１における全体画像の画サイズｙとの比を求める。
【００５６】
次にステップＳ２３へ移行し、ＣＰＵ５６は、サーバ５３に階層化して記録されている各Layerから一のLayerを選択する。このステップＳ２３におけるLayerの選択は、ステップＳ２２において演算したサイズ比から倍率ｋを計算し、かかる倍率ｋに最も近い撮影倍率のLayerを選択する。例えば、ｑとｙとの比が、１：２．３である場合、倍率ｋは２．３となり、かかる倍率ｋに最も近い撮影倍率で撮像されたLayerは、Layer２であるため、これを選択することになる。すなわち、このステップＳ２３において、ＣＰＵ５６は、指定された画像領域３０のサイズに応じて最も適切なLayerを選択する。
【００５７】
次にステップＳ２４へ移行し、ＣＰＵ５６は、ユーザにより指定された画像領域に応じて、Layer２を構成する単位画像から最適なものを選択する。Layer２を構成する単位画像の座標は、図９に示すように（１,１）、（２,１）、（１,２）、（２,２）の４つである。このうち、Layer１において指定された画像領域３０に示される画像は、このLayer２における画像領域３１に示される画像に相当する。このため、ＣＰＵ５６は、Layer２を構成する単位画像のうち、画像領域３１が存在する座標（１,２）に位置する単位画像を選択し、これをサーバ５３から読み出す。なお、ＣＰＵ５６は、ステップＳ２３を省略して、ステップＳ２２において求めたサイズ比から、最適な単位画像を直接選択してもよい。
【００５８】
次にステップＳ２５へ移行し、ＣＰＵ５６は、選択した座標（１,２）の単位画像につき、図１０に示すように画像領域３１を含む選択領域４２を抽出する。またＣＰＵ５６は、この抽出した選択領域４２につき、拡大画像表示部７１のサイズに合うように例えばデジタルズームを利用して拡大処理を実行する。
【００５９】
以上の操作を実行することにより、ユーザから指定された画像領域を拡大画像表示部７１に拡大表示させることができる。
【００６０】
なお、図９に示すようにLayer１を構成する全体画像と、倍率が２倍であるLayer２を構成する単位画像の画素数、サイズは同等であり、同じ画像領域を示している画像領域３０と画像領域３１では、画像領域３１の方が多くの画素により構成されている。このため、指定された画像領域３０のサイズに応じて、最適なLayerを選択し、かかるLayerにある一の単位画像から選択領域４２を抽出することにより、高画質な拡大画像を生成することができる。上述した例においても、Layer２に基づいて拡大処理を実行することにより、Layer１に基づいて拡大処理を実行する場合と比較して、ディジタルズームに依存せずにより高画質の拡大画像が生成されることになる。
【００６１】
ちなみに、Layer数を増やすことにより、隣接するLayerの倍率差を小さくすることができるため、ユーザにより指定される画像領域に対して、より適切な単位画像を選択することができ、拡大画像の鮮明度をさらに向上させることができる。
【００６２】
また本発明では、同一の撮影範囲を異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像して画像信号を生成し、生成した画像信号に基づき、全体画像或いは単位画像を、撮影画角毎に階層化してサーバ５３へ予め記録しておく。そして全体画像において指定された画像領域に応じてサーバ５３から最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを表示する。
【００６３】
このため、本発明では、全体画像表示部７０において、Layer１を構成する１枚の拡大画像を表示すれば足り、また拡大画像表示部７１に表示される拡大画像は、あくまで一枚の単位画像を拡大、縮小して生成されるため、単位画像を互いに貼り合わせてパノラマ状の拡大画像を合成する必要はなくなる。従って、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることなく、拡大画像の鮮明度をさらに向上させることができる。またシームレスな拡大画像を生成するための煩雑な処理を省略することも可能となり、さらに、パノラマ画像全体を合成するために必要となるメモリを他の用途に有効活用することができるため、コストパフォーマンスに優れたアプリケーションを提供することも可能となる。
【００６４】
また、本発明では、ユーザから所望の画像領域が指定された場合に、既に記録してある単位画像を拡大すれば足りるため拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００６５】
なお、本発明では、最も近い撮影倍率のLayerを選択する場合に限定されるものではなく、他のいかなる方法でLayerを選択してもよい。
【００６６】
本発明に係る撮像システム１では、端末装置９のユーザに対して拡大画像を提供することができる。即ち、本発明を適用した撮像システム１では、電子機器１００を操作するユーザに加えて、ネットワーク８に接続されている端末装置９を操作するユーザに対しても、適切な単位画像を選択し、これを送信することができる。また、ネットワーク８に対して複数の端末装置９を接続することにより、複数のユーザに対して同時に各単位画像を送信することも可能となる。
【００６７】
次に、この表示画面４５における拡大画像表示部７１において、ユーザにより指定された画像位置へ拡大画像をシフトさせて表示する場合につき説明をする。
【００６８】
ユーザによる画像位置の指定前に、カメラユニット２並びに電子機器１００は、以下に説明する処理を実行する。
【００６９】
カメラユニット２は、互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する。図１１に示すように、一画枠毎に撮像する単位画像１０１に加えて、水平方向に半画枠分シフトさせた単位画像１０２、垂直方向に半画枠分シフトさせた単位画像１０３、水平−垂直方向にそれぞれ半画枠分シフトさせた単位画像１０４をさらに撮像する。すなわち、カメラユニット２は、互いに撮影方向の異なる４種類の単位画像１０１,１０２,１０３,１０４を順次撮像する。
【００７０】
サーバ５３は、各単位画像１０１,１０２,１０３,１０４につき、隣接する他の単位画像と互いに連関させてこれを記録する。全体画像表示部７０には、サーバ５３に記録されている単位画像１０１等を合成した全体画像、又は撮影画角ｕ１により撮影した全体画像が表示される。拡大画像表示部７１には、このサーバ５３に記録されている一の単位画像が拡大されて表示される。
【００７１】
この拡大画像表示部７１に単位画像１０４が表示されている場合において、拡大画像表示部７１に表示されている画像は、図１２に示すように、隣接する他の単位画像１０１、１０２、１０３と一部重複した内容となる。ユーザは、この拡大画像表示部７１に表示されている単位画像１０４に基づく拡大画像につき、マウス６０等を用いて所望の画像位置を指定することができる。
【００７２】
図１３は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００７３】
先ずステップＳ４１において、ユーザから拡大画像表示部７１に示される単位画像１０４のうち所望の画像位置が指定された場合にはステップＳ４２へ移行し、ＣＰＵ５６は、拡大画像をシフトさせて表示する必要性につき判断する。このときＣＰＵ５６は、指定された画像位置に対して、最短の画像中心を有する単位画像が、現在拡大画像表示部７１に表示されている単位画像１０４であるか否かにつき先ず判断する。
【００７４】
図１４に示すように、水平方向の長さがｓであり、垂直方向の長さがｔである拡大画像表示部７１において、指定された画像位置に対して、単位画像１０４の画像中心が最短となる領域は、斜線で示される水平方向の長さがｓ／２であり、垂直の長さｔ／２である領域である。この領域の境界を以下、仮想境界という。
【００７５】
すなわち、指定された画像位置が仮想境界内である場合には、単位画像１０４の画像中心が最短となるため、拡大画像をシフトする必要はないものと判別する。一方、指定された画像位置が仮想境界の外側である場合には、隣接する他の単位画像の画像中心が最短となることを示唆しており、さらにステップＳ４３へ移行する。
【００７６】
ステップＳ４３において、ＣＰＵ５６は、指定された画像位置につき、最短の画像中心を有する単位画像を選択する。このとき図１４に示すように、指定された画像位置が領域Ａ、Ｃ、Ｆ、Ｈに含まれる場合には、それぞれ左上、右上、左下、右下に隣接する単位画像１０１の画像中心が最短となるため、これを選択する。また指定された画像位置が領域Ｂ、Ｇに含まれる場合には、それぞれ上、下に隣接する単位画像１０２の画像中心が最短となるため、これを選択する。さらに指定された画像位置が、領域Ｄ、Ｅに含まれる場合には、それぞれ左、右に隣接する単位画像１０３の画像中心が最短となるため、これを選択する。ＣＰＵ５６により選択された単位画像は、サーバ５３から読み出されて拡大画像として拡大画像表示部７１へ表示されることになる。ちなみに、これらの隣接する各単位画像１０１,１０２,１０３は、上述の如く、単位画像１０４に互いに連関されてサーバ５３に記録されているため、ＣＰＵ５６は、かかる隣接する各単位画像１０１,１０２,１０３を容易に参照し、また読み出すことができる。
【００７７】
このように本発明では、指定された画像位置に応じて、拡大画像表示部７１に表示されている単位画像と互いに重複画像領域を形成する他の単位画像のうち最適なものを選択し、当該選択した他の単位画像を拡大して表示することができる。
【００７８】
これにより、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることがなくなり、拡大画像の鮮明度をさらに向上させることができ、さらには単位画像を互いに貼り合わせることにより、シームレスな全体画像を生成するための煩雑な処理を一切省略することができる。
【００７９】
また隣接する単位画像１０１,１０２,１０３,１０４の画像中心の間隔を狭く設定することができるため、拡大画像表示部７０に表示される拡大画像を細かいピッチでシフトさせることができる。
【００８０】
また、ユーザから所望の画像位置が指定された場合に、既に記録してある単位画像を拡大することにより対処することができるため、拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００８１】
また撮像システム１において、ネットワーク８を介して接続されている端末装置９により、画像位置が指定された場合にも、サーバ５３に記録されている最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを送信することにより、複数のユーザに対して所望の拡大画像を同時に提供することもできる。
【００８２】
ちなみに上述した例では、指定された画像位置に対して、最短の画像中心を有する単位画像を選択する場合に限定するものではなく、他のいかなる方法で単位画像を選択してもよい。
【００８３】
また、上述した例では、水平、垂直方向に半画枠分シフトさせて隣接する単位画像を撮像する場合について説明をしたが、かかる場合に限定されるものではない。隣接する単位画像間において互いに重複領域が生じるように撮影方向を制御すれば、いかなるものであってもよく、また一の単位画像に隣接する単位画像の数をさらに増加させてもよい。
【００８４】
ちなみに上述の構成からなる撮像システム１は、以下に説明するアプリケーションに対しても適用することができる。
【００８５】
カメラユニット２並びに電子機器１００は、ユーザから要求され得る撮影画角、撮影方向に応じて、上述の如く、全体画像、単位画像を撮像し、これを予めサーバ５３に記録しておく。また電子機器１００は、端末装置９による要求に応じて、サーバ５３から単位画像を読み出して、これを当該端末装置９に対して送信する。
【００８６】
端末装置９を操作する各ユーザは、この端末ディスプレイ１０に表示される全体画像表示部７０を視認して、所望の画像位置を指定し、また、ＷＩＤＥボタン７２、ＺＯＯＭボタン７３を介して、撮影倍率の拡大、縮小、さらには、撮影方向指定部７５を介して撮影方向を指定する。端末装置９はかかるユーザの指定操作に応じて、単位画像送信要求を電子機器１００へ送信する。
【００８７】
電子機器１００は、端末装置９から送信される単位画像送信要求に基づき、サーバ５３に記録されている単位画像を読み出す。例えば、撮影倍率を拡大する旨の要求信号が送信された場合には、撮影画角の大きい単位画像が記録されているLayerから読み出し処理を行い、これを端末装置９へ送信する。また撮影方向を水平方向に変更する旨の要求信号が表示された場合には、かかる水平方向にシフトさせた座標上の単位画像を読み出し、これを端末装置９に送信する。端末装置９に送信された単位画像は、拡大画像表示部７１に表示される。
【００８８】
ユーザは、送信された単位画像を視認した上で、さらに撮影倍率や撮影方向の変更を電子機器１００に対して要求することができる。
【００８９】
すなわち、このアプリケーションでは、ユーザから要求される可能性のある撮影画角、撮影方向毎に、単位画像を予めサーバ５３に記録しておき、ユーザからの要求に応じて、サーバ５３に記録されている最適な単位画像を順次読み出し、これを各端末装置９に送信する。これにより本発明では、端末装置９から送信される単位画像送信要求に基づき、その都度カメラ部４の撮影倍率、撮影方向を変更しなくても、ユーザに対して、あたかも自分自身でカメラ部４を制御している雰囲気を実感させることができる。
【００９０】
なおカメラ部４は、所定の時間間隔で上述した撮像を実行することにより、サーバ５３には、撮像された斬新な画像が順次記録されることになる。このためユーザは、電子機器１００にアクセスすることにより、カメラ部４で撮像された単位画像をリアルタイムに取得することができ、撮影チャンスを逃すこともなくなり、作業効率を向上させることができる。
【００９１】
またカメラ部４は、隣接する単位画像間で互いに重複画像領域が生じるように撮像を実行し、サーバ５３は、かかる重複画像領域が形成される単位画像を互いに連関させて記録するようにしてもよい。これによりユーザは、端末装置９に表示される単位画像につき、所望の撮影方向につき細かいピッチでシフトさせることができ、また拡大画像表示部７１を介してシームレスな拡大画像を視認することができる。
【００９２】
なお、このネットワーク８に対して複数の端末装置９を接続することにより、１台のカメラユニット２を複数のユーザが擬似的に同時制御することができる。ちなみに、複数のユーザが同時に、同一の撮影倍率、撮影方向へ変更することを要求しても、サーバ５３に記録されている単位画像を複数の端末装置９へ送信することで対応することができる。
【００９３】
またサーバ５３において、所定の時間間隔で順次記録される各単位画像を長年にわたり蓄積することにより、各ユーザは、過去に撮影した単位画像を取得することもできる。これにより、本発明に係る撮像システム１では、カメラユニット２を百貨店の商品売り場等に設置しておくことで、過去に生じた盗難事件の捜査等についても適用することが可能となる。
【００９４】
なお本発明は、上述した実施の形態に限定されるものではない。例えば、撮影画角の小さいLayerにおいて撮像する単位画像を減らすことにより、撮影時間を大幅に短縮させてもよい。
【００９５】
単位画像の撮像枚数は、図５に示すように、撮影画角の大きいLayerｎに対して、撮影画角のより小さいLayerｎ＋１、Layerｎ＋２へと進むにつれて増えてゆく。即ち、撮影時間の大半は、この撮影画角の小さいLayerｎ＋２における単位画像の撮像に費やされることになる。このため、本発明では、このLayerｎ＋２における単位画像の撮像を必要最小限に抑え込むことにより、撮影時間の短縮化を図る。
【００９６】
即ち、ＣＰＵ５６は、Layerｎ＋２における単位画像のうち、何れの単位画像を撮像し、何れの単位画像の撮像をスキップするかにつき決定する。換言すれば、Layerｎ＋２における単位画像のうち、撮像すべき必要最小限の単位画像の選択を行う。この単位画像の選択には、被写体の活発な動きを異なる時点で撮像した画像の輝度成分差に基づいて識別し、動き検出された領域を含む単位画像を優先的に選択する方法と、ユーザにより指定された領域を含む単位画像を優先的に選択する方法がある。
【００９７】
先ず、動き検出された領域を含む単位画像を優先的に選択する手順につき、図１５を用いて説明をする。
【００９８】
先ずＳ５１において、カメラ部４は、上述した撮像動作を実行する。このステップＳ５１における撮像動作において、カメラ部４は、いずれかのLayerにおける全体画像を取得できれば足り、撮影画角の異なる幾層にも亘るLayerの全体画像を取得する必要はない。カメラ部４は、この全体画像の取得を所定の時間間隔を置いて実行する。これにより、同一の撮影範囲につき、異なる時点で撮像された複数の全体画像を取得することができる。
【００９９】
次に、ステップＳ５２へ移行し、演算処理部１５は、取得した全体画像を表示画面４５へ表示する。このとき、この表示する全体画像を動画像で表示してもよい。
【０１００】
次にステップＳ５３へ移行し、演算処理部１５は、異なる時点で撮像された複数の全体画像間で輝度成分の差分値を求める。演算処理部１５は、この輝度成分の差分値につき、例えば、新たに取得した全体画像と、その直前に取得した全体画像の２枚を抽出して、各画素毎にこれを求める。これにより、輝度成分の差分値が大きい画像領域については、被写体の動きが活発な領域として、動き検出されることになる。一方、輝度成分の差分値が小さい画像領域については、被写体の動きがない領域として、動き検出されることはない。
【０１０１】
次にステップＳ５４へ移行し、演算処理部１５は、優先的に撮像を実行する撮影領域を判別する。このステップＳ５４において、演算処理部１５は、例えば、予め所定の閾値を設定し、求めた輝度成分の差分値が閾値を超える場合には、動き検出された領域であると判別し、一方、求めた輝度成分の差分値が閾値以下の場合には、被写体の動きがない領域として判別する。
【０１０２】
次にステップＳ５５へ移行し、カメラ部４は、演算処理部１５からの制御に基づいて、撮影画角の大きいLayerｎにおける単位画像を撮像する。このステップＳ５５では、Layerｎを構成する全ての単位画像を取得することができるように、撮像を行う。これにより、このLayerｎにおける単位画像を貼り合わせることにより全体画像を構成することができるため、ユーザは、最低でも撮影範囲全体を視認することが可能となる。
【０１０３】
次にステップＳ５６へ移行し、カメラ部４は、Layerｎ＋１における単位画像を撮像する。このステップＳ５６において、カメラ部４は、Layerｎ＋１を構成する全ての単位画像を取得することができるように撮像を実行してもよいし、ステップＳ５４において動き検出された領域を含む単位画像のみを取得することができるように撮像を実行してもよい。このLayerｎ＋１における単位画像の撮像を終了した後、ステップＳ５７へ移行する。
【０１０４】
ステップＳ５７において、カメラ部４は、Layerｎ＋２における単位画像の撮像を実行する。このとき演算処理部１５は、ステップＳ５７において、撮像すべき必要最小限の単位画像を選択する。この単位画像の選択では、上述の動き検出された領域を含む単位画像を優先して行うようにする。
【０１０５】
即ち、このステップＳ５６〜ステップＳ５７において、動き検出された領域を含む単位画像を選択し、これについてのみ撮像を実行することにより、単位画像の撮像枚数を抑えることができる。特に撮影画角が小さい場合には、撮影画角が大きい場合と比較して被写体の動きを捉えることができる割合が減少するため、選択する単位画像の数も極力抑えることができる。換言すれば、撮影画角のより小さいLayerｎ＋１、Layerｎ＋２へと進むにつれて撮影枚数を徐々に抑えることができる。このため、撮影画角の小さいLayerｎ＋２における単位画像の撮像枚数を極力抑えることができる結果、撮影時間の短縮化が可能となる。
【０１０６】
また、動き検出された領域は、監視システム１により撮影範囲内を監視するユーザにとって、特に拡大画像表示部７１を介して表示を望む領域でもあるため、撮影画角の小さい単位画像を予め撮像してサーバ５３へ記録する必要性が出てくる。従って、かかる領域を含む単位画像のみLayerｎ＋２における撮像を実行することにより、必要最小限の単位画像を確保しつつ、ユーザが望む高品質な拡大画像を提供することが可能となる。
【０１０７】
例えば、撮影画角の広角なLayerから順に、Layer１、Layer２、Layer３として、それぞれを構成する単位画像数が、順に３、１９０、３４００としたとき、従来では、全て撮影することができるため２時間以上の時間を費やしていた。しかし、本発明を適用した撮像システム１において、Layer３を構成する単位画像数を、例えば１〜数千枚まで削減することにより、撮影時間を５〜２時間まで短縮化することができる。
【０１０８】
なお、上述した手順では、取得した全体画像に基づき、輝度成分の差分値を求める場合につき説明をしたが、かかる場合に限定されるものではなく、例えば各Layerにおける単位画像間で輝度成分の差分値を求めるようにしてもよい。
【０１０９】
次に、ユーザにより指定された領域を含む単位画像を優先的に選択する手順につき、図１６を用いて説明をする。
【０１１０】
先ずステップＳ６１において、カメラ部４は、ステップＳ５１と同様の撮像動作を実行する。
【０１１１】
次にステップＳ６２へ移行し、演算処理部１５は、表示画面４５を介して、所望の画像領域の指定を促す。ユーザは、撮影を望む画像領域を操作部１６を用いて指定する。
【０１１２】
次にステップＳ６３へ移行し、演算処理部１５は、ステップＳ６２において指定された画像領域に基づいて、優先的に撮像を実行する撮影領域を判別する。
【０１１３】
次にステップＳ６４へ移行し、カメラ部４は、演算処理部１５からの制御に基づいて、撮影画角の大きいLayerｎにおける単位画像を撮像する。このステップＳ６５では、上述したステップＳ５５と同様に、Layerｎを構成する全ての単位画像を取得することができるように、撮像を行う。これにより、このLayerｎにおける単位画像を貼り合わせることにより全体画像を構成することができるため、ユーザは、最低でも撮影範囲全体を視認することが可能となる。
【０１１４】
次にステップＳ６５へ移行し、カメラ部４は、Layerｎ＋１における単位画像を撮像する。このステップＳ６５において、カメラ部４は、Layerｎ＋１を構成する全ての単位画像を取得することができるように撮像を実行してもよいし、ステップＳ６３において判別した撮影領域を含む単位画像を優先して取得することができるように撮像を実行してもよい。このLayerｎ＋１における単位画像の撮像を終了した後、ステップＳ６６へ移行する。
【０１１５】
ステップＳ６６において、カメラ部４は、Layerｎ＋２における単位画像の撮像を実行する。このとき演算処理部１５は、このステップＳ６６において、撮像すべき必要最小限の単位画像を選択する。この単位画像の選択では、ステップＳ６３において判別した撮影領域を含む単位画像を優先して行うようにする。
【０１１６】
即ち、このステップＳ６５〜ステップＳ６６において、ユーザより指定された領域を含む単位画像を選択し、これについてのみ撮像を実行することにより、同様に単位画像の撮像枚数を抑えることができる。
【０１１７】
以上詳細に説明したように、本発明を適用した撮像システム１では、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化してサーバ５３へ記録し、またサーバ５３に記録されている互いに異なる時点で生成された二つの全体画像の輝度成分を比較し、これに基づいて撮影画角の小さいLayerｎ＋１、Layerｎ＋２等における単位画像から、撮像する単位画像を選択する。また、本発明を適用した撮像装置及び方法では、撮影画角の小さいLayerｎ＋１、Layerｎ＋２等における単位画像から、撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する。
【０１１８】
これにより、本発明を適用した撮像システム１では、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができ、さらには、単位画像の撮像枚数を極力抑えることができる結果、撮影時間の大幅な短縮化が可能となる。
【０１１９】
なお、本発明は、上述した処理をコンピュータに実行させるためのプログラムや、かかるプログラムが記録された記録媒体に適用してもよいことは勿論である。
【０１２０】
【発明の効果】
以上詳細に説明したように、本発明を適用した撮像装置及び方法では、異なる２以上の撮影画角で、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体に記録し、また記録媒体に記録されている、互いに異なる時点で生成された２つの全体画像の輝度成分を比較し、これに基づいて、撮影範囲に存在する被写体の動きが活発な領域を含み、かつ、撮影画角のより小さい単位画像を、上記撮影範囲を撮像することにより得られた複数の単位画像の中から、撮像する単位画像として優先的に選択する。また、本発明を適用した撮像装置及び方法では、撮影画角のより小さい単位画像である撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を撮影範囲を撮像することにより得られた複数の単位画像の中から優先的に選択する。
【０１２１】
これにより、本発明を適用した撮像装置及び方法では、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができ、さらには、単位画像の撮像枚数を極力抑えることができる結果、撮影時間の大幅な短縮化が可能となる。
【図面の簡単な説明】
【図１】本発明を適用した撮像システムの構成を示す図である。
【図２】カメラユニット,電子機器のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】ディスプレイ上の表示画面の構成例を示す図である。
【図５】同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する例を示す図である。
【図６】 Layerの倍率を順に１、２、４、８倍に設定して撮像する例を示す図である。
【図７】各Layerにつき、単位画像を撮像する手順を示すフローチャートである。
【図８】ユーザによる指定操作を受けて拡大画像を表示するまでの手順を示すフローチャートである。
【図９】階層化して記録されている各Layerから一のLayerを選択する例を示す図である。
【図１０】抽出した選択領域につき拡大処理を実行する例を示す図である。
【図１１】互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する例を示す図である。
【図１２】互いに重複領域が生じるように撮影方向を制御した場合において、拡大画像表示部に表示される拡大画像の例を示す図である。
【図１３】ユーザにより画像位置が指定された場合に、拡大画像を表示するまでの手順を示すフローチャートである。
【図１４】指定された画像位置につき、最短の画像中心を有する単位画像を選択する例につき説明するための図である。
【図１５】動き検出された領域を含む単位画像を優先的に選択する手順を示すフローチャートである。
【図１６】ユーザにより指定された領域を含む単位画像を優先的に選択する手順を示すフローチャートである。
【符号の説明】
１撮像システム、２カメラユニット、３パンチルタ部、４カメラ部、６ディスプレイ、８ネットワーク、９ユーザ端末、１０端末ディスプレイ、１１ネットワークサーバ、２１コントローラバス、２２レンズ部、２３レンズ制御部、２４撮像部、２５ＩＥＥＥ１３９４インターフェース、２８ＧＰＳ受信部、２９メタデータ生成部、５１バッファメモリ、５２エンコーダ、５３サーバ、５４画像圧縮部、５５グラフィックコントローラ、５６ＣＰＵ、５８Ｉ／Ｏポート、５９キーボード、６０マウス、６１メモリカード、６２時計、１００電子機器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus and method for monitoring a wide range of situations via a panoramic image obtained by sequentially changing imaging directions.
[0002]
[Prior art]
Conventionally, an electronic still camera that has been widely used converts the light that has passed through the lens by imaging a subject into an image signal from a solid-state imaging device such as a CCD, and records this on a recording medium. An image signal can be reproduced. Many electronic still cameras include a monitor that can display a captured still image, and a specific one of the still images recorded so far can be selected and displayed. In this electronic still camera, the image signal supplied to the monitor corresponds to the subject for each screen. For this reason, images displayed at the same time are in a narrow range, and a wide range of situations cannot be monitored simultaneously.
[0003]
For this reason, surveillance cameras that can monitor a wide range of situations by capturing a panoramic image composed of a plurality of unit images by capturing a subject while sequentially shifting the shooting direction of the camera are widely used. . In particular, in recent years, a technique has also been proposed in which a plurality of video signals are reduced / combined to form a video signal of one frame (see, for example, Patent Document 1), and surveillance video is obtained from a plurality of installed surveillance video cameras. There has also been proposed a centralized monitoring and recording system that can collect and record on a recording medium such as a video tape and perform monitoring (see, for example, Patent Document 2).
[0004]
[Patent Document 1]
JP-A-10-108163
[Patent Document 2]
JP 2000-243062 A
[0005]
[Problems to be solved by the invention]
In recent years, there has been a demand for a system in which a plurality of users as well as a single user can view a captured panoramic image simultaneously via a network. In particular, it is necessary for multiple users to manage a wide range of situations such as department stores and other areas where entry is prohibited. You may want to check it.
[0006]
However, since the monitoring system and the imaging apparatus described above are suitable for the user to capture a subject alone and generate a panoramic image, the simultaneous photographing of the subject by a plurality of users and the a posteriori of the contents of the photographing are performed. Confirmation was difficult.
[0007]
In addition, the above-described monitoring system and image pickup apparatus require processing for enlarging the accumulated panoramic image by digital zoom, processing for connecting unit images, processing for thinning out pixels in accordance with the zoom value, and so on, so that fine image quality cannot be maintained. In particular, the boundary is displayed on the screen when the connecting portion of unit images is enlarged, which has been a factor of deteriorating image quality.
[0008]
Furthermore, if the shooting angle of view is set too small, it is necessary to combine a large number of small-sized unit images to form one whole image, which increases the number of shots and, in turn, increases the shooting time. There was also.
[0009]
Therefore, the present invention has been devised in view of the above-described problems, and particularly in an imaging apparatus and method that allows a plurality of users to enlarge or reduce a desired image area while maintaining fine image quality. The purpose is to greatly shorten the shooting time.
[0010]
[Means for Solving the Invention]
In order to solve the above-described problems, the inventor has two or more different shooting angles of view, To create overlapping image areas By capturing the shooting range by sequentially changing the shooting direction, an entire image composed of a plurality of unit images is generated at predetermined time intervals, and this is layered for each shooting angle of view and recorded on a recording medium. Recorded on a recording medium , Compare the luminance components of two whole images generated at different points in time, and based on this, A unit image that captures a unit image that includes an active area of a subject existing in the shooting range and has a smaller shooting angle of view from a plurality of unit images obtained by imaging the shooting range. As preferential Select and also Unit image with a smaller angle of view Unit image to be captured As A unit image containing the image area specified by the user Precedence among multiple unit images obtained by imaging the shooting range Invented an imaging apparatus and method to select.
[0011]
That is, the imaging apparatus to which the present invention is applied has two or more different shooting angles of view. To create overlapping image areas By imaging the shooting range by sequentially changing the shooting direction, imaging means for generating an entire image composed of a plurality of unit images at predetermined time intervals, and the captured unit images are hierarchized for each shooting angle of view. Recording means for recording on a recording medium, and comparing means for comparing the luminance components of two whole images generated at different times recorded on the recording medium, wherein the imaging means comprises: Depending on the luminance component compared, A unit that captures a unit image that includes an active area of a subject existing in the shooting range and has a smaller shooting angle of view from a plurality of unit images obtained by imaging the shooting range. Priority as image Select It is characterized by .
[0012]
An imaging apparatus to which the present invention is applied has two or more different shooting angles of view, To create overlapping image areas By imaging the shooting range by sequentially changing the shooting direction, an imaging unit that generates an entire image composed of a plurality of unit images at a predetermined time interval, and the captured unit images are hierarchized for each imaging angle of view. Recording means for recording on a recording medium and the whole image Whole image display means for displaying And above Whole image display means In the entire image displayed on the display unit, the image capturing unit includes a specifying unit for the user to specify an image area. From a plurality of unit images obtained by imaging the shooting range, Unit image to be captured, which is a unit image with a smaller angle of view As A unit image including the image area specified by the specifying means Preferentially Select It is characterized by .
[0013]
That is, the imaging method to which the present invention is applied has two or more different shooting angles of view, To create overlapping image areas By capturing the shooting range by sequentially changing the shooting direction, an entire image composed of a plurality of unit images is generated at a predetermined time interval, and the captured unit images are hierarchized for each shooting angle of view on a recording medium. Record and compare the luminance components of two whole images generated at different times recorded on the recording medium, and according to the compared luminance components, A unit that captures a unit image that includes an active area of a subject existing in the shooting range and has a smaller shooting angle of view from a plurality of unit images obtained by imaging the shooting range. Priority as image Select It is characterized by .
[0014]
The imaging method to which the present invention is applied has two or more different shooting angles of view, To create overlapping image areas By capturing the shooting range by sequentially changing the shooting direction, an entire image composed of a plurality of unit images is generated at a predetermined time interval, and the captured unit images are hierarchized for each shooting angle of view to a recording medium. Record and display the whole image An imaging method for A unit image containing the image area specified by the user A unit image having a smaller shooting angle of view out of a plurality of unit images obtained by imaging the shooting range. Unit image to be captured As preferential It is characterized by selecting.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. An imaging system 1 to which the present invention is applied includes, for example, as shown in FIG. 1, a camera unit 2 that images a subject and generates an image signal, a microphone 12 that receives an audio signal, and an image transmitted from the camera unit 2. The image input / output unit 13 that performs predetermined processing on the signal, the audio input / output unit 14 that performs predetermined processing on the audio signal transmitted from the microphone 12, and at least the image input / output unit 13 and the audio input / output unit 14 are connected. An arithmetic processing unit 15 for processing the image signal, a server 53 connected to the arithmetic processing unit 15 for recording the image signal, an operation unit 16 for the user to control the system 1, and an arithmetic processing. Connected to the unit 15, a display 6 for displaying various information, a terminal device 9 for other users to execute applications, and a terminal display connected to the terminal device 9 And b 10, and a network 8 to transmit and receive various information to the terminal device 9.
[0016]
The camera unit 2 includes a pantilter unit 3 and a camera unit 4 that are integrally formed. The pantilter unit 3 is configured as a turntable for freely changing the shooting direction with respect to, for example, two axes of pan and tilt.
[0017]
The camera unit 4 is disposed on a turntable that constitutes the pantilter unit 3 and images a subject while adjusting the shooting direction in the horizontal direction or the vertical direction according to control by the arithmetic processing unit 15 or the like. Further, the camera unit 4 captures an image of the subject by enlarging or reducing the imaging magnification by sequentially changing the imaging angle of view in accordance with control by the arithmetic processing unit 15 or the like.
[0018]
The image input / output unit 13, the audio input / output unit 14, the arithmetic processing unit 15, the server 53, and the operation unit 16 may be configured integrally with an electronic device 100 such as a personal computer (PC). According to the electronic apparatus 100, the image signal transmitted from the camera unit 2 is recorded, and the recorded image signal is displayed to the user via the display 6. In addition, when a desired image region or image position is designated by the user, the electronic device 100 performs control so that an optimum one is selected from the recorded image signals and displayed on the display 6. The electronic device 100 also serves as a so-called central control device for controlling the entire network 8, and transmits images and sounds in response to requests from other terminal devices 9.
[0019]
The network 8 includes, for example, an Internet network connected to the electronic device 100 via a telephone line, ISDN (Integrated Services Digital Network) / B (broadband) -ISDN connected to a TA / modem, and the like. It is a public communication network that enables bidirectional transmission and reception. Incidentally, when the imaging system 1 is operated in a certain narrow area, the network 8 may be configured by a LAN (Local Area Network). Further, the network 8 may be capable of transmitting a moving image in addition to a still image. In such a case, based on the Internet protocol (IP), for example, moving pictures including MPEG (Moving Picture Experts Group) data are continuously transmitted from one channel, and still image data is transmitted from another channel for a certain period of time. Will be sent every time. Note that a network server (not shown) may be connected to the network 8. This network server (not shown) manages Internet information, for example, and receives predetermined requests from the terminal device 9 and transmits predetermined information stored in itself.
[0020]
The terminal device 9 is a PC for a user who stands by at each home or company to acquire an image from the electronic device 100 via the network 8 and execute a desired process. By connecting a plurality of terminal devices 9 to the network 8, it becomes possible to simultaneously provide an application of the imaging system 1 to a plurality of users. The terminal device 9 displays an image acquired from the electronic device 100 on the terminal display 10. In addition, the terminal device 9 generates a request signal in response to a designation operation by the user and transmits it to the electronic device 100. In addition, about the block structure of the terminal device 9, the structure of the electronic device 100 mentioned later is quoted, and description is abbreviate | omitted.
[0021]
Next, the configuration of the camera unit 2 and the electronic device 100 in the imaging system 1 to which the present invention is applied will be described in detail.
[0022]
FIG. 2 is a configuration diagram of the camera unit 2 and the electronic device 100. In FIG. 2, each component of the camera unit 2 and the electronic device 100 is connected to a common controller bus 21.
[0023]
The pantilter unit 3 constituting the camera unit 2 includes a tilt unit 3a and a pan unit 3b that control a turntable for changing the imaging direction. The camera unit 4 constituting the camera unit 2 includes a lens control unit 23 mainly for changing the angle of view of the lens unit 22, and an imaging unit 24 disposed at a position orthogonal to the optical axis of the lens unit 22. An IEEE (Institute of Electrical and Electronics Engineers) 1394 interface 25 for transmitting the image signal generated by the imaging unit 24 to the image input / output unit 13 and a GPS (Global Positioning) for detecting the current position of the camera unit 2 System) receiving unit 28 and metadata generating unit 29 attached to GPS receiving unit 28. Incidentally, the IEEE 1394 interface 25 may be replaced with Ethernet (registered trademark).
[0024]
The image input / output unit 13 includes a buffer memory 51 connected to the IEEE 1394 interface 25 and an encoder 52 connected to the buffer memory 51.
[0025]
The arithmetic processing unit 15 is also connected to the image compression unit 54 for compressing the image read from the server 53, and the graphic controller 55 that is connected to the server 53 and the image compression unit 54 and generates an image to be displayed on the display 6. A CPU 56 for controlling each unit via the controller bus 21, a memory card 61 and a clock 62 connected to the I / O port 58, respectively.
[0026]
The operation unit 16 includes a keyboard 59 and a mouse 60 for the user to specify a desired image area and image position from the image displayed on the display 6.
[0027]
The Tilt unit 3a and the Pan unit 3b rotate a stepping motor configured as a drive source for the turntable based on a drive signal from the CPU 56. Thereby, the photographing direction of the camera unit 4 placed on the turntable can be changed to the horizontal direction or the vertical direction.
[0028]
The lens control unit 23 performs an automatic aperture control operation and an automatic focus control operation on the lens unit 22 based on the drive signal from the CPU 56. The lens control unit 23 changes the shooting angle of view for the subject based on the drive signal. As a result, the camera unit 4 can also adjust the shooting magnification sequentially to capture the subject.
[0029]
The imaging unit 24 is configured by a solid-state imaging device such as a CCD (Charge Coupled Device), for example, forms an object image incident through the lens unit 22 on the imaging surface, generates an image signal by photoelectric conversion, This is transmitted to the IEEE 1394 interface 25.
[0030]
The GPS receiver 28 detects the installation location and shooting direction of the camera unit 2 based on a signal transmitted by the GPS system. By providing the GPS receiving unit 28, particularly when a plurality of camera units 2 are installed, it is possible to control both shooting directions in conjunction with each other. The output signal from the GPS receiving unit 28 is supplied to the metadata generating unit 29, and metadata including position information such as latitude, longitude, azimuth, altitude, time, various parameters, etc. is generated based on the positioning result by GPS. Is done. The metadata generation unit 29 supplies the generated position information and metadata to the encoder 52. In the present invention, the configuration of the GPS receiving unit 28 and the metadata generating unit 29 may be omitted.
[0031]
The buffer memory 51 temporarily stores an image signal supplied from the IEEE 1394 interface 25 based on a control signal from the CPU 56. The image signal temporarily stored in the buffer memory 51 is supplied to the encoder 52, and is compressed and encoded based on a standard such as JPEG (Joint Photographic Experts Group). Incidentally, the encoder 52 may add position information and metadata supplied from the metadata generation unit 29 to an image signal to be compressed and encoded. The encoder 52 outputs the compressed and encoded image signal to the server 53 or the image compression unit 54. Note that the processing in the encoder 52 is omitted when compression encoding is not performed on the supplied image signal.
[0032]
The server 53 sequentially records the image signal output from the encoder 52 in association with the position information and metadata. Incidentally, the server 53 may be replaced with, for example, a hard disk or a removable disk-shaped recording medium. The image signal recorded in the server 53 is read out to the image compression unit 54 and the graphic controller 55 based on control by the CPU 56. By controlling the image signal recorded in the server 53 to be recorded in the memory card 61, the user can also transfer the captured image to another PC. Further, by controlling the image signal recorded in the server 53 to be recorded in the network server (not shown), the server 53 can be replaced with a network server (not shown).
[0033]
The image compression unit 54 generates a compressed image or a thumbnail image for each JPEG format image signal read from the server 53. In addition, the image compression unit 54 reads an image recorded in the server 53 and generates a moving image in accordance with control by the CPU 56. Incidentally, as a compression method for generating this moving image, it may be executed based on, for example, MPEG, Motion-JPEG, Motion-JPEG2000 or the like.
[0034]
The graphic controller 55 executes a painting process on the display 6 based on the image signal read from the server 53 or the image signal output from the image compression unit 54. The graphic controller 55 controls contrast and luminance in the display 6 based on control by the CPU 56.
[0035]
The CPU 56 controls a drive signal for driving the pantilter unit 3 and the lens control unit 23 and each unit in the electronic device 100 when an image area and an image position are designated by the user via the keyboard 59 and the mouse 60. A control signal for transmitting is transmitted via the controller bus 21. The CPU 56 receives a predetermined request signal from the terminal device 9, selects an optimal still image, moving image, or various information recorded in the server 53, and transmits this to the terminal device 9. To control.
[0036]
The audio input / output unit 12 encodes the audio signal input from the microphone 12. The audio signal encoded by the audio input / output unit 12 is also supplied to the server 53 and recorded in the same manner as the image signal as described above.
[0037]
Next, an imaging operation in the imaging system 1 to which the present invention is applied will be described.
[0038]
FIG. 3 shows a case where the camera unit 2 captures an image within a shooting range indicated by a black frame with a shooting angle of view u. In order to capture the entire imaging range with the imaging angle of view u, it is necessary to shift the imaging direction sequentially in the horizontal or vertical direction. If the size of the shooting range can be expressed by i × j times the size of a frame (hereinafter referred to as a unit image) obtained by imaging at an arbitrary shooting angle of view u, at least i × j shooting directions are set. There is a need to. An entire image representing the entire imaging range can be synthesized by pasting i × j unit images captured at the imaging angle of view u.
[0039]
Here, the coordinates (M, N) of each unit image in the photographing range are 1, 2,..., M, i from the left end in the horizontal direction, and 1, 2,. .., J, the CPU 56 sends a drive signal to the Tilt unit 3a and the Pan unit 3b, so that the shooting direction of the camera unit 4 is first matched with the coordinates (1, 1) located at the upper left. Perform imaging. An image signal based on the unit image generated by imaging the coordinates (1, 1) is temporarily stored in the buffer memory 51, and is compressed and encoded by the encoder 52 based on the JPEG standard. This image signal is simultaneously recorded with position information and metadata indicating the shooting direction transmitted from the GPS 28 and recorded in the server 53.
[0040]
Similarly, the CPU 56 transmits a drive signal to the Tilt unit 3a and the Pan unit 3b, thereby shifting the shooting direction of the camera unit 4 to the right by one frame and taking an image in accordance with the coordinates (2, 1). Execute. An image signal generated by taking an image of the coordinates (2, 1) is also recorded in the server 53. Based on the control by the CPU 56, the camera unit 4 executes imaging by sequentially changing the imaging direction in the horizontal direction as coordinates (3, 1), (4, 1)... (I, 1).
[0041]
After the imaging of the first row is completed, the camera unit 4 adjusts the shooting direction to the coordinates (1, 2) of the second row based on the control by the CPU 56, executes the imaging, and then sequentially in the horizontal direction. Imaging is performed while shifting. When such an operation is repeated and imaging is finished up to the coordinates (i, j), the server 53 enters a state in which image signals based on i × j unit images taken for each coordinate are recorded.
[0042]
Incidentally, the image signal based on each unit image recorded in the server 53 is sequentially read out by the image compression unit 54 and reduced so as to fit the size of the display screen of the display 6. Each reduced unit image is displayed on the display 6 via the graphic controller 15. By displaying all the i × j unit images recorded in the server 53 on the display 6, one whole image is synthesized. By executing the above imaging operation at regular intervals, it is possible to acquire an entire image showing the latest situation of the imaging range.
[0043]
FIG. 4 shows an example in which the entire image synthesized by pasting together the captured i × j unit images is displayed on the entire image display unit 70 of the display 6. The electronic device 100 may cause the entire image display unit 70 to display a boundary between the unit images constituting the entire image, or may display only a seamless entire image. In addition, the electronic device 100 causes the entire image display unit 70 to display one entire image captured at a shooting angle of view that can capture the entire shooting range as an alternative to the panoramic entire image (panoramic image). Also good.
[0044]
Incidentally, the display screen 45 is further provided with an enlarged image display unit 71 for displaying an enlarged image obtained by enlarging the unit image. The enlarged image display unit 71 may enlarge and display one unit image designated by the user among unit images constituting the entire image displayed on the entire image display unit 70. A moving image may be sequentially displayed for each unit image shooting direction. Thereby, the user can also confirm in real time the situation of the shooting direction in the specified unit image. Further, the enlarged image display unit 71 may display a moving image generated by a method described later.
[0045]
The display screen 45 also displays a WIDE button 72 for displaying the unit image displayed on the enlarged image display unit 71 at a reduced shooting magnification and a ZOOM button 73 for displaying the enlarged shooting magnification. Is done. The display screen 45 also includes a shooting direction control unit 75 for adjusting the shooting direction of the camera unit 4 in the horizontal and vertical directions, an image signal based on a unit image at a desired address for setting of various modes and a server. A setting button 76 and the like for recording are also displayed.
[0046]
Further, the user can designate a desired image area and image position using the keyboard 59 and the mouse 60 for the entire image display unit 70 and the enlarged image display unit 71. The display units 70 and 71 may further display a line of sight and a pointer for executing the above-described designation operation in conjunction with the movement of the mouse 60 or the like.
[0047]
Next, the case where an image pickup apparatus to which the present invention is applied picks up images at two or more different shooting angles will be described.
[0048]
As shown in FIG. 5, the camera unit 2 performs imaging by controlling the shooting direction at two or more different shooting angles of view for the same shooting range indicated by a black frame. By synthesizing unit images obtained by imaging for each shooting angle of view, a set of unit images having the same contents as the whole image can be created over several layers as shown in FIG. Hereinafter, a set of unit images corresponding to each shooting angle of view is referred to as a layer. It is assumed that the layer number increases in the order from the largest shooting angle of view, such as n, n + 1, n + 2,. That is, in Layer n with a large shooting angle of view, the entire image can be synthesized with a smaller number of unit images than Layer n + 1 with a small shooting angle of view. Incidentally, the size of the unit image and the number of pixels are the same between the layers.
[0049]
FIG. 6 shows an example in which the layer magnification is set to 1, 2, 4, and 8 times in order. FIG. 6 shows each layer as shown in FIG. 5 displayed in the horizontal or vertical direction. Layer 1 with a magnification of 1 is composed of one unit image, and Layer 2 with a magnification of 2 is 2 ×. Layer 3 composed of two unit images and 4 × magnification is composed of 4 × 4 unit images, and Layer 4 of 8 × magnification is composed of 8 × 8 unit images.
[0050]
FIG. 7 shows a procedure for capturing a unit image for each layer having the above-described photographing magnification. First, in step S11, the CPU 56 transmits a drive signal to the lens control unit 23 to adjust the shooting angle of view of the camera unit 4 to u1 corresponding to 1 × magnification, and the shooting direction is the center position of the shooting range. To match. Next, the process proceeds to step S 12, and the camera unit 4 captures one entire image that can display the entire imaging range at the imaging angle of view u 1. The image signal based on the captured whole image is sequentially recorded in the server 53 as Layer1.
[0051]
Next, based on the control by the CPU 56, the camera unit 4 adjusts the shooting angle of view to u2 corresponding to double magnification (step S13). In step S 14, the camera unit 4 performs imaging in accordance with the shooting direction in accordance with the coordinates (1, 1) located at the upper left of the shooting range based on the control by the CPU 56. The camera unit 4 sequentially shifts the shooting direction for each image frame, and executes imaging for all unit images constituting the Layer 2. Image signals based on the captured unit images are sequentially recorded in the server 53 as Layer2.
[0052]
Similarly, the camera unit 4 adjusts the shooting angle of view to u3 corresponding to a magnification of 4 and u4 corresponding to a magnification of 8 times, and executes imaging by sequentially shifting the shooting direction. Image signals based on the obtained unit images are sequentially recorded on the server 53 as Layer 3 and Layer 4, and finally, all images constituting each Layer are recorded on the server 53.
[0053]
Next, among the image signals recorded hierarchically in the server 53, an image signal based on the entire image constituting Layer 1 is first read out, and the entire image on the display 6 or the like is passed through the graphic controller 55. It is displayed on the display unit 70. When the user desires to enlarge the desired image area in the entire image displayed on the entire image display unit 70, the user can designate the image area using the mouse 60 or the like as described above.
[0054]
FIG. 8 shows a procedure until the enlarged image is displayed in response to the designation operation by the user.
[0055]
First, when an image area is designated by the user in step S21, the process proceeds to step S22, and the CPU 56, for example, as shown in FIG. 9, the size q of the image area 30 designated by the user and the entire layer 1 A ratio with the image size y of the image is obtained.
[0056]
Next, the process proceeds to step S 23, and the CPU 56 selects one layer from each layer recorded hierarchically in the server 53. In the selection of the layer in step S23, the magnification k is calculated from the size ratio calculated in step S22, and the layer having the imaging magnification closest to the magnification k is selected. For example, when the ratio of q to y is 1: 2.3, the magnification k is 2.3, and the layer captured at the photographing magnification closest to the magnification k is Layer 2, so this is selected. Will do. That is, in this step S23, the CPU 56 selects the most appropriate layer according to the size of the designated image area 30.
[0057]
Next, the process proceeds to step S24, where the CPU 56 selects an optimum one from the unit images constituting Layer 2 in accordance with the image area designated by the user. As shown in FIG. 9, the coordinates of the unit image constituting Layer 2 are (1, 1), (2, 1), (1, 2), and (2, 2). Among these, the image shown in the image area 30 designated in Layer 1 corresponds to the image shown in the image area 31 in Layer 2. For this reason, the CPU 56 selects a unit image located at the coordinates (1, 2) where the image region 31 exists from the unit images constituting the Layer 2 and reads out the unit image from the server 53. The CPU 56 may omit step S23 and directly select an optimum unit image from the size ratio obtained in step S22.
[0058]
Next, the process proceeds to step S25, and the CPU 56 extracts the selection area 42 including the image area 31 as shown in FIG. 10 for the unit image of the selected coordinates (1, 2). Further, the CPU 56 executes an enlargement process using the digital zoom, for example, so as to match the size of the enlarged image display unit 71 for the extracted selection area 42.
[0059]
By executing the above operations, the image area designated by the user can be enlarged and displayed on the enlarged image display unit 71.
[0060]
As shown in FIG. 9, the entire image constituting Layer 1 and the unit image constituting Layer 2 having a magnification of 2 have the same number of pixels and the same size, and the image area 30 and the image showing the same image area In the region 31, the image region 31 is composed of more pixels. For this reason, it is possible to generate a high-quality enlarged image by selecting an optimum layer according to the size of the designated image region 30 and extracting the selection region 42 from one unit image in the layer. it can. Also in the example described above, by executing the enlargement process based on Layer 2, a high-quality enlarged image can be generated without depending on the digital zoom as compared with the case of executing the enlargement process based on Layer 1. become.
[0061]
By the way, by increasing the number of layers, the difference in magnification between adjacent layers can be reduced, so that a more appropriate unit image can be selected for the image area specified by the user, and the enlarged image becomes clearer. The degree can be further improved.
[0062]
In the present invention, the same shooting range is captured by controlling the shooting direction at two or more different shooting angles of view to generate an image signal, and an entire image or a unit image is shot based on the generated image signal. Each field of view is hierarchized and recorded in the server 53 in advance. Then, an optimal unit image is selected from the server 53 in accordance with the image area designated in the entire image, and an enlarged image is generated based on the selected unit image and displayed.
[0063]
Therefore, in the present invention, it is sufficient to display one enlarged image constituting Layer 1 in the entire image display unit 70, and the enlarged image displayed in the enlarged image display unit 71 is only one unit image. Since it is generated by enlarging or reducing, it is not necessary to combine unit images with each other to synthesize a panoramic enlarged image. Accordingly, the boundary generated by connecting the unit images is not displayed on the enlarged image display unit 71, and the sharpness of the enlarged image can be further improved. In addition, it is possible to omit complicated processing for generating a seamless enlarged image, and the memory required for synthesizing the entire panoramic image can be effectively used for other purposes. It is also possible to provide an excellent application.
[0064]
Further, according to the present invention, when a desired image area is designated by the user, it is sufficient to enlarge an already recorded unit image, so that an enlarged image can be quickly provided, and the camera unit 4 is controlled each time. Thus, it is not necessary to take an image, and labor can be reduced.
[0065]
In the present invention, the present invention is not limited to the selection of the layer with the closest shooting magnification, and the layer may be selected by any other method.
[0066]
In the imaging system 1 according to the present invention, an enlarged image can be provided to the user of the terminal device 9. That is, in the imaging system 1 to which the present invention is applied, in addition to a user who operates the electronic device 100, an appropriate unit image is selected for a user who operates the terminal device 9 connected to the network 8, This can be sent. In addition, by connecting a plurality of terminal devices 9 to the network 8, each unit image can be simultaneously transmitted to a plurality of users.
[0067]
Next, the case where the enlarged image is shifted to the image position designated by the user and displayed on the enlarged image display unit 71 on the display screen 45 will be described.
[0068]
Before the user designates the image position, the camera unit 2 and the electronic device 100 execute processing described below.
[0069]
The camera unit 2 executes imaging by controlling the shooting direction so that overlapping areas are generated. As shown in FIG. 11, in addition to the unit image 101 captured for each image frame, the unit image 102 shifted by the half image frame in the horizontal direction, the unit image 103 shifted by the half image frame in the vertical direction, the horizontal -Further image the unit images 104 each shifted in the vertical direction by half-frames. That is, the camera unit 2 sequentially captures four types of unit images 101, 102, 103, and 104 having different shooting directions.
[0070]
The server 53 records each unit image 101, 102, 103, 104 in association with another adjacent unit image. The overall image display unit 70 displays an overall image obtained by combining the unit images 101 and the like recorded in the server 53 or an entire image taken with the shooting angle of view u1. In the enlarged image display unit 71, one unit image recorded in the server 53 is enlarged and displayed.
[0071]
In the case where the unit image 104 is displayed on the enlarged image display unit 71, the image displayed on the enlarged image display unit 71 is similar to the other unit images 101, 102, 103 adjacent to each other as shown in FIG. The contents are partially duplicated. The user can specify a desired image position for the enlarged image based on the unit image 104 displayed on the enlarged image display unit 71 using the mouse 60 or the like.
[0072]
FIG. 13 shows a procedure from receiving a designation operation by the user until displaying an enlarged image.
[0073]
First, in step S41, when a desired image position is designated from the unit images 104 shown on the enlarged image display unit 71 by the user, the process proceeds to step S42, and the CPU 56 needs to shift and display the enlarged image. Judge. At this time, the CPU 56 first determines whether or not the unit image having the shortest image center with respect to the designated image position is the unit image 104 currently displayed on the enlarged image display unit 71.
[0074]
As shown in FIG. 14, in the enlarged image display unit 71 whose horizontal length is s and whose vertical length is t, the image center of the unit image 104 is the shortest with respect to the designated image position. Is a region having a horizontal length of s / 2 indicated by hatching and a vertical length of t / 2. Hereinafter, the boundary of this region is referred to as a virtual boundary.
[0075]
That is, when the designated image position is within the virtual boundary, the image center of the unit image 104 is the shortest, and it is determined that there is no need to shift the enlarged image. On the other hand, if the designated image position is outside the virtual boundary, it is suggested that the image center of another adjacent unit image is the shortest, and the process proceeds to step S43.
[0076]
In step S43, the CPU 56 selects a unit image having the shortest image center for the designated image position. At this time, as shown in FIG. 14, when the designated image positions are included in the areas A, C, F, and H, the image centers of the unit images 101 adjacent to the upper left, upper right, lower left, and lower right are respectively the shortest. This is selected. Further, when the designated image position is included in the regions B and G, the image centers of the unit images 102 adjacent to the upper and lower sides are the shortest, so this is selected. Further, when the designated image position is included in the regions D and E, the image centers of the unit images 103 adjacent to the left and right are respectively the shortest, so this is selected. The unit image selected by the CPU 56 is read from the server 53 and displayed on the enlarged image display unit 71 as an enlarged image. Incidentally, since each of these adjacent unit images 101, 102, and 103 is linked to the unit image 104 and recorded in the server 53 as described above, the CPU 56 does not have such adjacent unit images 101, 102, 103. 103 can be easily referenced and read out.
[0077]
As described above, according to the present invention, according to the designated image position, the optimum one of the unit images displayed on the enlarged image display unit 71 and the other unit images that form an overlapping image area is selected, and Other selected unit images can be enlarged and displayed.
[0078]
Thereby, the boundary generated by connecting the unit images is not displayed on the enlarged image display unit 71, the sharpness of the enlarged image can be further improved, and further, the unit images are bonded to each other. Therefore, it is possible to omit complicated processes for generating a seamless whole image.
[0079]
Further, since the interval between the image centers of the adjacent unit images 101, 102, 103, and 104 can be set narrow, the enlarged image displayed on the enlarged image display unit 70 can be shifted with a fine pitch.
[0080]
Further, when a desired image position is designated by the user, it can be dealt with by enlarging a unit image that has already been recorded, so that an enlarged image can be provided quickly, and each time the camera unit 4 It is no longer necessary to control an image to capture an image, and labor can be reduced.
[0081]
In the imaging system 1, even when an image position is designated by the terminal device 9 connected via the network 8, the optimum unit image recorded in the server 53 is selected, and the selected unit image is selected. A desired enlarged image can be provided to a plurality of users at the same time by generating an enlarged image based on the above and transmitting it.
[0082]
Incidentally, in the above-described example, the present invention is not limited to the case where the unit image having the shortest image center is selected for the designated image position, and the unit image may be selected by any other method.
[0083]
In the above-described example, the case where the adjacent unit images are picked up by shifting the half-image frame in the horizontal and vertical directions has been described. Any direction may be used as long as the shooting direction is controlled so that overlapping regions are formed between adjacent unit images, and the number of unit images adjacent to one unit image may be further increased.
[0084]
Incidentally, the imaging system 1 having the above-described configuration can be applied to an application described below.
[0085]
The camera unit 2 and the electronic device 100 capture the whole image and the unit image as described above according to the photographing angle of view and photographing direction that can be requested by the user, and record them in the server 53 in advance. Further, the electronic device 100 reads a unit image from the server 53 in response to a request from the terminal device 9 and transmits it to the terminal device 9.
[0086]
Each user who operates the terminal device 9 visually recognizes the entire image display unit 70 displayed on the terminal display 10 and designates a desired image position, and also takes a picture through the WIDE button 72 and the ZOOM button 73. The enlargement / reduction of the magnification, and the shooting direction is designated via the shooting direction designation unit 75. The terminal device 9 transmits a unit image transmission request to the electronic device 100 in response to the user's specifying operation.
[0087]
The electronic device 100 reads the unit image recorded in the server 53 based on the unit image transmission request transmitted from the terminal device 9. For example, when a request signal for enlarging the shooting magnification is transmitted, a reading process is performed from the layer in which the unit image having a large shooting angle of view is recorded, and this is transmitted to the terminal device 9. When a request signal for changing the shooting direction to the horizontal direction is displayed, the unit image on the coordinates shifted in the horizontal direction is read and transmitted to the terminal device 9. The unit image transmitted to the terminal device 9 is displayed on the enlarged image display unit 71.
[0088]
The user can request the electronic device 100 to change the shooting magnification and the shooting direction after visually confirming the transmitted unit image.
[0089]
That is, in this application, unit images are recorded in the server 53 in advance for each shooting angle of view and shooting direction that may be requested by the user, and are recorded in the server 53 in response to a request from the user. The optimum unit images are sequentially read out and transmitted to each terminal device 9. Thus, in the present invention, based on the unit image transmission request transmitted from the terminal device 9, it is as if the camera unit 4 itself to the user without changing the shooting magnification and shooting direction of the camera unit 4 each time. You can feel the atmosphere that controls.
[0090]
Note that the camera unit 4 executes the above-described imaging at predetermined time intervals, whereby the captured novel images are sequentially recorded on the server 53. For this reason, the user can acquire the unit image imaged with the camera part 4 in real time by accessing the electronic device 100, does not miss a photography opportunity, and can improve work efficiency.
[0091]
In addition, the camera unit 4 performs imaging so that adjacent unit images generate overlapping image areas, and the server 53 records unit images in which the overlapping image areas are formed in association with each other. Good. Thus, the user can shift the unit image displayed on the terminal device 9 with a fine pitch in a desired shooting direction, and can visually recognize a seamless enlarged image via the enlarged image display unit 71.
[0092]
It should be noted that by connecting a plurality of terminal devices 9 to the network 8, a plurality of users can simultaneously control one camera unit 2 in a pseudo manner. Incidentally, even if a plurality of users request to change to the same shooting magnification and shooting direction at the same time, it is possible to respond by transmitting the unit images recorded in the server 53 to the plurality of terminal devices 9. .
[0093]
In addition, by accumulating unit images that are sequentially recorded at predetermined time intervals in the server 53 over many years, each user can also acquire unit images taken in the past. As a result, in the imaging system 1 according to the present invention, the camera unit 2 is installed in a department store or the like so that it can be applied to investigations of theft cases that have occurred in the past.
[0094]
The present invention is not limited to the above-described embodiment. For example, the shooting time may be greatly shortened by reducing the number of unit images to be picked up in a layer with a small shooting angle of view.
[0095]
As shown in FIG. 5, the number of unit images to be captured increases as Layern + 1 and Layern + 2 have smaller shooting angles of view with respect to Layern having a larger shooting angle of view. That is, most of the photographing time is spent on capturing unit images in Layern + 2 where the photographing angle of view is small. For this reason, in the present invention, the photographing time is shortened by minimizing the number of unit images in Layer n + 2.
[0096]
That is, the CPU 56 determines which of the unit images in Layern + 2 is to be captured and which unit image is to be skipped. In other words, the minimum necessary unit image to be imaged is selected from the unit images in Layern + 2. The selection of unit images includes a method of identifying active movement of a subject based on luminance component differences of images captured at different points in time, and preferentially selecting a unit image including a motion-detected region, and by a user. There is a method of preferentially selecting a unit image including a designated area.
[0097]
First, a procedure for preferentially selecting a unit image including a motion-detected region will be described with reference to FIG.
[0098]
First, in S51, the camera unit 4 executes the above-described imaging operation. In the imaging operation in step S51, it is sufficient for the camera unit 4 to be able to acquire the entire image in any one of the layers, and it is not necessary to acquire the entire image of the layer over several layers having different shooting angles of view. The camera unit 4 executes the acquisition of the entire image at a predetermined time interval. Thereby, it is possible to acquire a plurality of whole images taken at different time points for the same shooting range.
[0099]
Next, the process proceeds to step S 52, and the arithmetic processing unit 15 displays the acquired whole image on the display screen 45. At this time, the entire image to be displayed may be displayed as a moving image.
[0100]
Next, the process proceeds to step S 53, and the arithmetic processing unit 15 obtains a luminance component difference value between a plurality of whole images captured at different times. For the difference value of the luminance component, the arithmetic processing unit 15 extracts two images, for example, a newly acquired entire image and an entire image acquired immediately before it, and obtains this for each pixel. As a result, motion detection is performed on an image region having a large difference value of luminance components as an active region of the subject. On the other hand, motion detection is not performed on an image region having a small luminance component difference value as a region where there is no subject motion.
[0101]
Next, the process proceeds to step S54, and the arithmetic processing unit 15 determines an imaging region in which imaging is preferentially executed. In this step S54, for example, the arithmetic processing unit 15 sets a predetermined threshold value in advance, and if the calculated difference value of the luminance component exceeds the threshold value, it is determined that the region is a motion detected region, while the calculated value is obtained. If the difference value of the luminance component is less than or equal to the threshold value, it is determined that there is no movement of the subject.
[0102]
Next, the process proceeds to step S55, and the camera unit 4 captures a unit image in Layern having a large shooting angle of view based on the control from the arithmetic processing unit 15. In step S55, imaging is performed so that all unit images constituting Layern can be acquired. Thereby, since the whole image can be constituted by pasting unit images in this Layer n, the user can visually recognize the entire photographing range at least.
[0103]
In step S56, the camera unit 4 captures a unit image in Layern + 1. In step S56, the camera unit 4 may perform imaging so that all unit images constituting Layern + 1 can be acquired, or acquire only unit images including the region in which motion is detected in step S54. Imaging may be performed so that it can be performed. After capturing the unit image in Layer n + 1, the process proceeds to step S57.
[0104]
In step S57, the camera unit 4 executes unit image capturing in Layern + 2. At this time, the arithmetic processing unit 15 selects the minimum necessary unit image to be imaged in step S57. In selecting the unit image, the unit image including the above-described motion-detected region is preferentially performed.
[0105]
That is, in step S56 to step S57, by selecting a unit image including a motion-detected region and performing imaging only for this, the number of unit images to be captured can be suppressed. In particular, when the shooting angle of view is small, the rate at which the movement of the subject can be captured is reduced compared to when the shooting angle of view is large, and therefore the number of unit images to be selected can be suppressed as much as possible. In other words, the number of shots can be gradually suppressed as the process proceeds to Layern + 1 and Layern + 2 with smaller shooting field angles. For this reason, as a result of suppressing the number of unit images to be captured as much as possible in Layern + 2 having a small shooting angle of view, the shooting time can be shortened.
[0106]
In addition, since the region where the motion is detected is also a region desired to be displayed via the enlarged image display unit 71 for the user who monitors the photographing range by the monitoring system 1, a unit image with a small photographing angle of view is captured in advance. Need to be recorded in the server 53. Therefore, by executing imaging in Layern + 2 only for the unit image including such a region, it is possible to provide a high-quality enlarged image desired by the user while securing the minimum necessary unit image.
[0107]
For example, when the number of unit images constituting each of layers 1, 2, and 3 is set to 3, 190, and 3400 in order from the wide-angle layer of the shooting angle of view, conventionally, all of the images can be captured for 2 hours. I spent more time. However, in the imaging system 1 to which the present invention is applied, the shooting time can be shortened to 5 to 2 hours by reducing the number of unit images constituting the Layer 3 to, for example, 1 to thousands.
[0108]
In the above-described procedure, the case where the difference value of the luminance component is obtained based on the acquired whole image has been described. However, the present invention is not limited to such a case. For example, the difference of the luminance component between unit images in each layer A value may be obtained.
[0109]
Next, a procedure for preferentially selecting a unit image including an area designated by the user will be described with reference to FIG.
[0110]
First, in step S61, the camera unit 4 executes an imaging operation similar to that in step S51.
[0111]
Next, the process proceeds to step S62, and the arithmetic processing unit 15 prompts the user to specify a desired image area via the display screen 45. The user designates an image area desired to be photographed using the operation unit 16.
[0112]
Next, the process proceeds to step S63, and the arithmetic processing unit 15 determines an imaging area in which imaging is preferentially executed based on the image area specified in step S62.
[0113]
Next, the process proceeds to step S 64, and the camera unit 4 captures a unit image in Layern having a large shooting angle of view based on control from the arithmetic processing unit 15. In step S65, as in step S55 described above, imaging is performed so that all unit images constituting Layern can be acquired. Thereby, since the whole image can be constituted by pasting unit images in this Layer n, the user can visually recognize the entire photographing range at least.
[0114]
In step S65, the camera unit 4 captures a unit image in Layern + 1. In step S65, the camera unit 4 may perform imaging so that all unit images constituting Layern + 1 can be acquired, or the unit image including the imaging region determined in step S63 is prioritized. Imaging may be performed so that it can be acquired. After capturing the unit image in Layer n + 1, the process proceeds to step S66.
[0115]
In step S66, the camera unit 4 executes unit image capturing in Layern + 2. At this time, the arithmetic processing unit 15 selects the minimum necessary unit image to be imaged in step S66. In the selection of the unit image, the unit image including the photographing area determined in step S63 is preferentially performed.
[0116]
That is, in step S65 to step S66, by selecting a unit image including an area designated by the user and performing imaging only for this, the number of unit images to be captured can be similarly reduced.
[0117]
As described above in detail, in the imaging system 1 to which the present invention is applied, an entire image composed of a plurality of unit images is obtained by imaging the imaging range by sequentially changing the imaging direction at two or more different imaging angles of view. Are generated at predetermined time intervals, and are layered for each shooting angle of view, recorded in the server 53, and the luminance components of two whole images generated at different times recorded in the server 53 are compared. Based on this, a unit image to be picked up is selected from unit images in Layern + 1, Layern + 2, etc. with a small shooting angle of view. In addition, in the imaging apparatus and method to which the present invention is applied, a unit image including an image region designated by the user is selected as a unit image to be captured from unit images in Layern + 1, Layern + 2, etc. with a small shooting angle of view.
[0118]
Thereby, in the imaging system 1 to which the present invention is applied, a plurality of users can enlarge or reduce a desired image area while maintaining a fine image quality, and further suppress the number of unit images to be captured as much as possible. As a result, the photographing time can be greatly shortened.
[0119]
Of course, the present invention may be applied to a program for causing a computer to execute the processing described above, or a recording medium on which such a program is recorded.
[0120]
【The invention's effect】
As described above in detail, in the imaging apparatus and method to which the present invention is applied, at two or more different shooting angles of view, To create overlapping image areas By capturing the shooting range by sequentially changing the shooting direction, an entire image composed of a plurality of unit images is generated at predetermined time intervals, and this is layered for each shooting angle of view and recorded on a recording medium. Recorded on a recording medium , Compare the luminance components of two whole images generated at different points in time, and based on this, A unit image that captures a unit image that includes an active area of a subject existing in the shooting range and has a smaller shooting angle of view from a plurality of unit images obtained by imaging the shooting range. As preferential select. In the imaging apparatus and method to which the present invention is applied, Unit image with a smaller angle of view Unit image to be captured As A unit image containing the image area specified by the user Precedence among multiple unit images obtained by imaging the shooting range select.
[0121]
Thereby, in the imaging apparatus and method to which the present invention is applied, a plurality of users can enlarge or reduce a desired image area while maintaining a fine image quality, and further suppress the number of unit images to be captured as much as possible. As a result, the photographing time can be greatly shortened.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of an imaging system to which the present invention is applied.
FIG. 2 is a block configuration diagram of a camera unit and an electronic device.
FIG. 3 is a diagram for describing a case where a camera unit captures an image within a shooting range indicated by a black frame at a shooting angle of view u.
FIG. 4 is a diagram illustrating a configuration example of a display screen on a display.
FIG. 5 is a diagram illustrating an example in which imaging is executed by controlling the shooting direction at two or more different shooting angles of view for the same shooting range.
FIG. 6 is a diagram illustrating an example in which imaging is performed by sequentially setting the layer magnification to 1, 2, 4, and 8 times.
FIG. 7 is a flowchart illustrating a procedure for capturing a unit image for each layer.
FIG. 8 is a flowchart showing a procedure until a magnified image is displayed in response to a designation operation by a user.
FIG. 9 is a diagram illustrating an example in which one layer is selected from each layer recorded in a layered manner.
FIG. 10 is a diagram illustrating an example in which an enlargement process is executed for an extracted selection region.
FIG. 11 is a diagram illustrating an example in which imaging is performed by controlling the imaging direction so that overlapping areas are generated.
FIG. 12 is a diagram illustrating an example of an enlarged image displayed on the enlarged image display unit when the shooting direction is controlled so that overlapping areas are generated.
FIG. 13 is a flowchart illustrating a procedure until an enlarged image is displayed when an image position is designated by a user.
FIG. 14 is a diagram for explaining an example of selecting a unit image having the shortest image center for a designated image position.
FIG. 15 is a flowchart illustrating a procedure for preferentially selecting a unit image including a region in which motion is detected.
FIG. 16 is a flowchart showing a procedure for preferentially selecting a unit image including an area designated by a user.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Imaging system, 2 Camera unit, 3 Pantilta part, 4 Camera part, 6 Display, 8 Network, 9 User terminal, 10 Terminal display, 11 Network server, 21 Controller bus, 22 Lens part, 23 Lens control part, 24 Imaging part , 25 IEEE 1394 interface, 28 GPS receiver, 29 metadata generator, 51 buffer memory, 52 encoder, 53 server, 54 image compressor, 55 graphic controller, 56 CPU, 58 I / O port, 59 keyboard, 60 mouse, 61 Memory card, 62 Clock, 100 Electronic equipment

Claims

Imaging means for generating an entire image composed of a plurality of unit images at predetermined time intervals by sequentially changing the shooting direction so that overlapping image areas are generated at two or more different shooting angles of view. When,
Recording means for layering the captured unit images for each shooting angle of view and recording them on a recording medium;
Comparing means for comparing the luminance components of two whole images generated at different times recorded on the recording medium,
The imaging means includes a unit image including a region where the movement of the subject existing in the shooting range is active and having a smaller shooting angle of view in the shooting range according to the luminance component compared by the comparison means. An imaging apparatus , wherein a unit image to be captured is preferentially selected from a plurality of unit images obtained by imaging.

The comparison means calculates a difference value of luminance components for each pixel of the two entire images,
The imaging means preferentially selects a unit image including an area where the movement of a subject existing in the imaging range is active as the unit image to be captured based on the difference value calculated by the comparison means. The imaging apparatus according to claim 1.

The comparison means calculates a difference value of luminance components for each pixel of the two entire images,
The image capturing unit captures a unit image including a unit image including an image region in which a difference value calculated by the comparing unit exceeds a predetermined threshold as a unit image including an active region of a subject existing in the image capturing range. The imaging device according to claim 1, wherein the imaging device is preferentially selected.

The imaging means comprises a plurality of
Based on the positioning results of the global positioning system, the shooting direction of each of the above imaging means is controlled in conjunction with each other.
The imaging apparatus according to claim 1.

Imaging means for generating an entire image composed of a plurality of unit images at predetermined time intervals by sequentially changing the shooting direction so that overlapping image areas are generated at two or more different shooting angles of view. When,
Recording means for layering the captured unit images for each imaging angle of view and recording them on a recording medium;
Whole image display means for displaying the whole image ;
In the entire image to be displayed on the upper Symbol entire image display unit, and a designation means for the user to specify an image area,
The image pickup unit is configured to select an image region specified by the specifying unit as a unit image to be picked up from a plurality of unit images obtained by picking up the shooting range. An imaging apparatus characterized by preferentially selecting a unit image to be included.

It further comprises an enlarged image display means for displaying an enlarged image,
The enlarged image display means calculates a magnification from the size of the image area designated by the designation means and the size of each whole image made up of a plurality of unit images included in the photographing range, and shoots close to the calculated magnification. and the recording medium or al selection unit image that is at the specified image area by the specifying means of the unit images included in the whole image taken at a magnification, generating the enlarged image based on the unit image the selected The image pickup apparatus according to claim 5, wherein the image pickup apparatus is displayed.

The imaging means comprises a plurality of
Based on the positioning results of the global positioning system, the shooting direction of each of the above imaging means is controlled in conjunction with each other.
The imaging apparatus according to claim 5.

By capturing the shooting range by sequentially changing the shooting direction so that overlapping image areas are generated at two or more different shooting angles of view, an entire image composed of a plurality of unit images is generated at predetermined time intervals,
The captured unit images are layered for each shooting angle of view and recorded on a recording medium,
Comparing the luminance components of two whole images generated at different times recorded on the recording medium,
A plurality of units obtained by capturing an image of a unit image including a region where the movement of a subject existing in the imaging range is active and having a smaller imaging angle of view in accordance with the compared luminance component An imaging method characterized by preferentially selecting a unit image to be captured from among images .

Calculate the difference value of the luminance component for each pixel of the two whole images,
9. The imaging method according to claim 8 , wherein a unit image including an area where the movement of a subject existing in the imaging range is active is preferentially selected as the unit image to be captured based on the calculated difference value. .

Calculate the difference value of the luminance component for each pixel of the two whole images,
Preferentially selecting a unit image including an image region in which the calculated difference value exceeds a predetermined threshold as a unit image including a region where the movement of a subject existing in the shooting range is active as the unit image to be captured. The imaging method according to claim 8 , wherein:

By capturing the shooting range by sequentially changing the shooting direction so that overlapping image areas are generated at two or more different shooting angles of view, an entire image composed of a plurality of unit images is generated at predetermined time intervals,
The captured unit images are hierarchized for each imaging angle of view and recorded on a recording medium,
An imaging method for displaying the entire image ,
A unit image including an image area specified by the user is preferentially selected as a unit image to be captured, which is a unit image having a smaller shooting angle of view, from among a plurality of unit images obtained by capturing the shooting range. An imaging method characterized by selecting.

The magnification is calculated from the size of the specified image area and the size of the whole image composed of a plurality of unit images included in the shooting range, and the unit image included in the whole image shot at a shooting magnification close to the calculated magnification claim of, the unit image present in the designated image area and whether et selection the recording medium, based on the unit image corresponding selected to generate the enlarged image, and displaying this in 11. The imaging method according to 11.