JP4512763B2 - 画像撮影システム - Google Patents

Description

本発明は、撮影対象のプライバシを保護しつつ画像を撮影する画像撮影システムに関する。

デジタルビデオ機器の発展やカメラ機能付き携帯電話の普及により、誰もが何時でも何処でも映像や画像を撮影することが可能になりつつある。そのようなセンサ群によって獲得された大量の映像情報を統合することで、様々なイベントの認識・理解や、観察者の状況・要求に応じた情報提示を目的とした知的映像メディアに関する研究が活発に行われている（たとえば、非特許文献１を参照）。

これらの研究により、時空間を隔てたユーザ間の円滑なコミュニケーションや、周囲の環境情報の共有の実現が期待される。しかし、被写体の肖像権侵害や自由な振舞いの規制といったプライバシに関する問題を考慮することなく、イベントの撮影・記録・伝送・提示を行うシステムを構築した場合、そのシステムはユーザにとって非常に不都合なものになると考えられる。特に、被写体の許可なく映像を撮影・配布したとして訴訟が起こることも珍しくない。

このような問題を解決するために、映像中でプライバシを侵害する可能性がある領域にぼかし等の画像処理を施し、その視覚情報量を減少させることでプライバシを保護する手法が用いられている。

例えば、イギリスでは、数百万台の監視カメラを街中に配置し、それらの映像を用いて実際に犯罪を解決した実績があるが、映像中の人家の窓などの領域は“プライベートゾーン”と呼ばれ、黒塗りつぶし処理を施すことによりプライバシの問題を回避している。

このような監視映像撮影・提示システムで利用されているカメラは撮影空間に固定され、プライバシを保護すべき領域が静止している。このため、撮影映像上で画像処理を施す領域は変化しないが、撮影用カメラやプライバシを保護したい被写体が移動しているには、画像処理を施す領域もまた動的に変化することになる。

ところが、膨大な映像データを取り扱う知的映像メディアでは、手動によりこの領域変化に対応することは現実的ではない、という問題があった。

また、プライバシ保護のための画像撮影の他の手法としては、撮影した画像上で被写体の身体や顔を検出し、その領域にぼかし処理を施す手法がある。この場合、撮影画像を前景領域と背景領域に分割した結果を用いて検出処理を行うことが多い（たとえば、非特許文献２を参照）。しかしながら、カメラを移動させながら撮影した映像では、背景差分処理やフレーム間差分処理を用いて領域分割を行うことは困難である。
A.Pentland, "Looking at People: Sensing for Ubiquitous and Wearable Computing", IEEE Trans. On Pattern Analysis and Machine Intelligence, Vol. 22(1), pp.107-118, 2000。 H.Murase, S.K.Nayer, "Parametric Eigenspace Representation for Visual Learning and Recognition", Workshop on Geometric Method in Computer Vision, SPIE, pp.378-391, 1993.

したがって、監視カメラのような用途でも、撮影される領域中で、プライバシを保護する対象物（被写体）が移動する場合や撮影用のカメラそのものが移動するような場合でも、実時間でプライバシ保護のための画像処理を施す領域を動的に変化させることが望ましい。

一方で、プライバシの保護を優先させれば、上述のようにプライバシを保護したい被写体については、当該被写体を特定可能な画像情報部分については「ぼかし処理」などを行うとしても、場合によっては、後から当該ぼかし処理が施された領域の画像情報部分を再現したいという要求がある場合もありうる。たとえば、監視カメラならば、犯罪にかかわる画像が撮影されていることが事後的にわかった場合に、当該ぼかし処理が施された領域の画像情報部分をぼかし処理を解除して再現したい、というような要求がある場合などである。

本発明は、上記のような問題点を解決するためになされたものであって、その目的は、撮影された画像において、選択的に、プライバシ保護の必要な領域に、ぼかし処理等の画像処理を施すことが可能な画像撮影システムを提供することである。

本発明の他の目的は、プライバシ保護のために、通常は、ぼかし処理等の画像処理を施している領域を、所定の権限を有するユーザは、事後的に当該画像処理を解除した画像を閲覧することが可能な画像撮影装システムを提供することである。

このような目的を達成するために、本発明の画像撮影装システムは、撮影を行なう３次元空間内において、移動する複数の撮影対象者の位置をそれぞれ検出するための３次元位置検出手段を備え、３次元空間には、予め位置が特定された複数のＬＥＤタグが配置されており、３次元空間内を移動する状態において、撮影対象者の画像を撮影するための移動撮影手段と、撮影された画像中において、プライバシを保護するための画像処理の対象となる撮影対象者画像のうち顔領域を候補領域として検出する保護領域候補検出手段と、検出された候補領域のうちプライバシ保護の対象となる保護領域を検出するための隠蔽部分検出手段とを備え、隠蔽部分検出手段は、複数の撮影対象者のうち識別標識を付けていない撮影対象者に対応する候補領域を保護領域として検出し、隠蔽部分検出手段により特定された保護領域に対して、選択的にプライバシを保護するための画像処理を行った保護画像データを生成するための保護画像生成手段とを備え、保護画像生成手段は、移動撮影手段により撮影された画像中に存在するＬＥＤタグが点滅により送出するＩＤ情報に基づいて、移動撮影手段の校正を行なって移動撮影手段についての射影行列を導出し、保護領域が撮影された画像中のいずれの部分に投影されるかを算出して特定し、画像処理を実行する。

好ましくは、隠蔽部分検出手段は、保護領域に対応する画像データを選択的に抽出する保護領域分離手段を含み、保護領域分離手段により抽出された保護領域に対応する画像データを暗号化して暗号化画像データを生成するための保護領域暗号化手段をさらに備える。

好ましくは、保護画像生成手段の出力である保護画像データを圧縮して圧縮画像データを生成するための画像圧縮手段と、圧縮画像データおよび暗号化画像データとを受けて、対応する画像を再生するための画像閲覧手段とをさらに備え、画像閲覧手段は、ユーザの認証を行って、認証されたユーザに対して、圧縮画像データを伸張した画像と、暗号化画像データを復号した画像とを再構成した画像を再生して出力する画像再構成手段を含む。

好ましくは、保護領域暗号化手段は、保護領域に対応する画像データを未圧縮で暗号化する。

好ましくは、保護画像データと暗号化画像データとは、別々のファイルとして出力される。

好ましくは、保護画像データと暗号化画像データとを統合して１つのファイルとして出力する出力画像生成手段をさらに備える。

本発明の画像撮影システムでは、実時間でプライバシ保護のための画像処理を施す領域を動的に変化させることが可能である。さらに、本発明では、ぼかし処理等の画像処理を施した画像部分を、所定の認証が行われたユーザのみが、当該画像処理を解除して閲覧することが可能である。

（発明の基本的な構成と動作）
以下、図面を参照して本発明の実施の形態について説明する。

本発明では、動的に変化する映像入力に対しても、プライバシを保護しつつ、イベントの認識・理解や観察者の状況・要求に応じた情報提示を実現するための映像獲得方式を提供する。以下では、このようなシステムをステルスビジョン（Stealth Vision）システムと呼ぶ。本発明のステルスビジョンシステムでは、プライバシを保護したい領域（プライバシ保護領域）を３次元モデルとして設定し、それをキャリブレーション済の移動カメラ等で撮影した映像上に射影することにより、移動カメラ中の移動物体において画像処理を行う領域を適切に設定する。

［本発明のシステム構成］
図１は、本発明の画像撮影システムを用いたステルスビジョンシステム１０００の一例を示す概念図である。

図１を参照して、システム１０００は、撮影が行われる室内などの３次元空間を上部から俯瞰して撮影するための天井カメラ１０と、天井カメラ１０からの映像に基づいて、後に説明するように、撮影対象物、たとえば、被写体４および６を追跡し、上記３次元空間内で、プライバシ保護を行うためにぼかし（モザイク処理を含む）等の画像処理を行う領域（以下、「プライバシ保護領域」と呼ぶ）を特定するための３次元位置検出ユニットとして動作するコンピュータ１００と、コンピュータ１００から上記プライバシ保護領域を特定するための信号を出力する通信装置２００とを備える。特に限定されないが、たとえば、通信装置２００は、無線装置とすることが可能である。

システム１０００は、さらに、撮影者２が保持して被写体４および６を撮影する移動カメラ２０と、移動カメラ２０からの撮影信号をキャプチャし、記録媒体にプライバシが保護された画像データを記録するためのプライバシ保護モバイル映像生成装置３００とを備える。プライバシ保護モバイル映像生成装置３００としては、たとえば、大容量の記録媒体にデータを記録することが可能なモバイルコンピュータを使用することができる。なお、図１では、コンピュータ１００とプライバシ保護モバイル映像生成装置３００とは、別体として記載されているが、天井カメラ１０からの映像信号が、たとえば、無線により送信され、プライバシ保護モバイル映像生成装置３００が、これを受信して上記３次元位置検出ユニットとしても機能できるのであれば、コンピュータ１００とプライバシ保護モバイル映像生成装置３００とは、撮影者２にとってウエアラブルな１体の装置とすることも可能である。

システム１０００は、さらに、後に説明するように、カメラの校正を行うために、上記３次元空間中に配置されたＬＥＤ−ＩＤ（Light Emitting Diode-ID）タグ３０と、被写体４および６のうち、プライバシ保護のための画像処理を行う被写体６を特定するために、被写体４および６の体にそれぞれ装着されたタグ４０を備える。タグ４０としては、たとえば、ＲＦＩＤ（Radio Frequency-Identification）タグを用いることができる。コンピュータ１００は、通信装置２００により、このＲＦタグの３次元空間内の位置を特定可能なものとする。この場合、ＲＦタグによる位置の特定精度は、天井カメラ１０による撮影画像から求める位置精度ほど高い必要はない。

なお、以下の説明では、カメラ２０は、移動カメラであるものとして説明するが、カメラ２０自体も、被写体を撮影するための固定カメラであってもかまわない。

図２は、コンピュータ１００の構成をブロック図形式で示す図である。

図２を参照してこのコンピュータ１００は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）等のディスク媒体上の情報を読込むための光学ドライブ１０８およびフレキシブルディスク（Flexible Disk、以下ＦＤ）１１６に情報を読み書きするためのＦＤドライブ１０６を備えたコンピュータ本体１０２と、コンピュータ本体１０２に接続された表示装置としてのディスプレイ１０３と、同じくコンピュータ本体１０２に接続された入力装置としてのキーボード１１０およびマウス１１２とを含む。

さらに、図２に示されるように、このコンピュータ１００を構成するコンピュータ本体１０２は、光学ドライブ１０８およびＦＤドライブ１０６に加えて、それぞれバスＢＳに接続されたＣＰＵ（Central Processing Unit ）１２０と、ＲＯＭ（Read Only Memory) およびＲＡＭ （Random Access Memory）を含むメモリ１２２と、直接アクセスメモリ装置、たとえば、ハードディスク１２４と、通信装置２００とデータの授受を行うための通信インタフェース１２８とを含んでいる。光学ドライブ１０８には、たとえばＣＤ−ＲＯＭ１１８が装着される。ＦＤドライブ１０６にはＦＤ１１６が装着される。

なお、ＣＤ−ＲＯＭ１１８は、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体であれば、他の媒体、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disc）やメモリカードなどでもよく、その場合は、コンピュータ本体１０２には、これらの媒体を読取ることが可能なドライブ装置が設けられる。

なお、画像データの記録媒体として、ハードディスク１２４、あるいは、他の大容量の記録媒体を用いることで、プライバシ保護モバイル映像生成装置３００を、基本的には、コンピュータ１００と同様の構成を有するモバイルコンピュータにより実現することができる。もちろん、プライバシ保護モバイル映像生成装置３００を、汎用のモバイルコンピュータの代わりに、専用のハードウェアで構成してもよい。

［移動カメラを用いたステルスビジョンシステム］
ステルスビジョンシステム１０００は、不特定の移動する人物・物体を移動カメラ２０によって撮影し、さらに照明条件の変化や物体同士の隠れなどの問題も加わるため、映像上での見え方情報を用いた検出手法で、これを実現することは一般には困難である。

そこで、この問題を解決するために、図１に示したとおり、本発明では、複数台のカメラを用いて３次元空間中でプライバシ保護領域を設定する。本発明では、推定した被写体の奥行き情報を利用するため、撮影画像上で物体同士による重なりが発生した場合でも適切なぼかし領域を設定する事が可能である。また、この設定処理には映像上での見え方情報を一切用いないため、物体の移動や姿勢や照明条件の変化による見え方の変化に影響されないという利点がある。

図３は、図１に示したシステム１０００の構成および動作の概要を示すための機能ブロック図である。

上述のとおり、システム１０００は、３次元位置検出ユニットとプライバシ保護モバイル映像生成装置３００とを備える。

３次元位置検出ユニットでは、３次元空間に取り付けた少なくとも１台の据置きカメラ、たとえば、天井カメラ１０を用いて撮影空間の３次元モデルリングを行う。もし、モデリングされた３次元領域において、プライバシ保護のために映像の撮影が許可されていない場合、その領域をプライバシ保護領域とする。

プライバシ保護モバイル映像生成装置３００では、移動カメラ２０のキャリブレーションを行い、モバイル画像キャプチャ部３０２により移動カメラ２０から画像を取得して、プライバシ保護画像生成部３０４により３次元空間と撮影された画像面の間の射影関係を推定する。この射影関係を用いてプライバシ保護領域が画像上のどこに写り込むかを求め、推定領域に画像処理を施すことで、プライバシの保護を実現する。プライバシ保護画像生成部３０４により生成されたプライバシ保護画像データは、記録媒体に記録される。

［被写体のプライバシ保護映像の生成手法］
（プライバシ保護領域の設定）
撮影対象物体の３次元形状を復元する場合、多数のカメラによって撮影した映像にステレオ処理などを適用することにより、物体同士の隠れの問題（オクルージョン）を解決することができるものの、計算処理コストが大きくなるという問題がある。

本発明では、実時間での動作するステルスビジョンシステムを実現するために、多数台のカメラではなく、図１に示す空間を上方から見下ろすように撮影する一台のカメラ（天井カメラ１０）により、プライバシ保護領域の推定を行う。

ステルスビジョンシステムの撮影対象は、地面上をほぼ直立した状態で移動する物体であるため、上方からの映像中では物体同士の隠れの問題が起こりにくいというメリットがある。

図４は、このような天井カメラ１０の撮影画像からプライバシ保護領域の推定を行う手続を示す概念図である。

天井カメラ画像上の２次元座標情報（ｕ，ｖ）から３次元位置（Ｘ，Ｙ，Ｚ）を推定するために、全ての物体がある高さＹの平面上に存在すると仮定する。撮影対象が３次元空間内を立って移動する人間であれば、このような仮定は十分現実を反映したものとなる。

この平面と天井カメラ画像面の間の２次元射影変換行列Ｈから、以下の式（１）に示すように、画像上の２次元座標情報から３次元空間での位置を推定する。

λ［Ｘ Ｚ １］^T＝Ｈ_n［ｕ ｖ １］^T …（１）
なお、このような推定方法については、たとえば、文献１：T.Koyama, I.Kitahara, Y.Ohta, “Live Mixed-Reality 3D Video in Soccer Stadium”, Proc. Of IEEE and ACM Int. Symposium on Mixed and Augmented Reality(ISMAR2003), pp178-187, (2003)に開示されている。

式（１）を用いる処理において、対象物の２次元座標は、背景の除去と前景領域のラベリングというような簡単な画像処理により評価できる。このため、このような処理は実時間処理に適している。また、計算負荷を減少させるために、プライバシ保護領域は、対象物の少なくとも一部（たとえば、被写体の顔）の周りを囲む箱状の領域であるものとする。この箱状の領域の大きさは撮影対象ごとに適切に変化させるものとする。したがって、被写体の顔のプライバシ保護領域を獲得する場合は、式（１）において、被写体は、たとえば、地面からの高さ１．５ｍの領域に存在すると仮定し、その結果算出された３次元位置の周囲に３０ｃｍ立方の箱状の領域を設定することで実現することができる。

なお、本実施の形態では、実時間処理に主眼を置いたため、プライバシ保護領域として計算量の少ない箱状の形状を採用しているが、本発明で設定するプライバシ保護領域は、これに限るものではない。計算コストが許すのであれば、多視のカメラによって撮影された映像に３次元形状復元処理を適用することで、プライバシ保護領域の正確な３次元形状を設定することが可能である。この形状を利用することで、後段のぼかし処理の精度の向上が期待できる。

（移動カメラの校正）
以下では、移動カメラ２０の校正の手続について、簡単に説明する。

なお、カメラの校正については、たとえば、文献２：徐 剛、辻 三郎著「３次元ビジョン」、共立出版、１９９８年４月２０日初版に詳しく開示されている。

移動カメラの校正の方法としては、第１には、移動カメラの位置と方向というようなカメラの外部変数を、磁気／赤外線を用いた３次元位置センサ群により抽出するという方法がある。射影行列は、カメラの内部変数と外部変数とを組み合わせることで得られる。

第２の方法としては、３次元座標と２次元座標との多数のペアにより、射影行列を評価する、という方法である。

第１の方法では、安定に射影行列を得られるものの、利用可能な受信センサの個数のために観測可能な領域が制限される。

第２の方法では、移動カメラ自体が受信センサであるために、３次元空間中に配置される標識を増やすことで、容易に観測可能な領域を拡大することができる。しかしながら、実際問題としては、標識の２次元座標を正確に抽出するのは困難であるために、一般には、射影行列を安定に得ることが難しい。

本発明では、図１に示したとおり、３次元空間内に標識として、ＬＥＤ−ＩＤタグ３０を配置している。このＬＥＤ−ＩＤタグ３０は、たとえば、底面の大きさが３ｃｍ×４ｃｍ程度で作成できるために、撮影の行われる３次元空間内のどこにでも容易に配置できる。

このＬＥＤ−ＩＤタグ３０は、各々が、点滅するパターンにより、自身のＩＤ番号を送出しており、これにより、画像中に映っているＬＥＤ−ＩＤタグ３０がいずれのタグであるかを特定できる。カメラの内部変数については、予め求めておき、キャプチャされた画像中で、ＬＥＤ−ＩＤタグ３０を検出し、そのＩＤ番号をデコードして特定する。このＩＤ番号により、予め求めておいた当該ＬＥＤ−ＩＤタグ３０の３次元座標を参照することができる。コンピュータ１００の記憶装置には、予めこのようなＩＤ番号と３次元座標とが関連付けられて格納されているものとする。

キャプチャされた画像中に、少なくとも３つのＬＥＤ−ＩＤタグ３０が存在すれば、それらの３次元座標から、カメラの外部変数を求めることができる。このようにして求めた外部変数と内部変数とを組み合わせれば、射影行列を求めることができる。

（システム１０００の動作）
以下、３次元位置検出ユニットとして動作するコンピュータ１００の動作およびプライバシ保護モバイル映像生成装置３００の動作について、説明する。

図５は、コンピュータ１００の動作を説明するためのフローチャートである。

図５を参照して、まず、天井カメラ１０の校正が行われる（ステップＳ１００）。この場合、たとえば、式（１）の適用にあたり、被写体のプライバシ保護領域が地面から１．５ｍの高さにあると仮定するのであれば、１．５ｍの高さの校正用の複数の棒を３次元空間内に所定間隔で垂直に立てて配置しておく。この校正用の棒の先端に色つきのマーカをつけておき、このマーカにより、天井カメラ１０の校正を行うことができる。

続いて、ＲＦＩＤタグ４０と天井カメラ１０からの画像データとに基づいて、プライバシ保護の対象物が撮影する３次元空間内に存在するかを検知する（ステップＳ１０２）。

プライバシ保護対象物が存在する場合、式（１）にしたがって、３次元空間内でのプライバシ保護領域（箱型の領域）を算出する（ステップＳ１０６）。続いて、通信装置２００を介して、プライバシ保護モバイル映像生成装置３００のプライバシ保護画像生成部３０４に対して、算出されたプライバシ保護領域に関する情報を通知する（ステップＳ１０８）。ステップＳ１０４において、プライバシ保護対象物が存在しないと判断したときは、その旨を示す情報が通知される。

操作者から処理の終了が指示されていなければ、処理は再び、ステップＳ１０２に復帰する。

図６は、プライバシ保護モバイル映像生成装置３００の動作を説明するためのフローチャートである。

図６を参照して、まず、移動カメラ２０により映像信号がキャプチャされる（ステップＳ２００）。続いて、上述したＬＥＤ−ＩＤタグ３０を用いた移動カメラの校正が行われる（ステップＳ２０２）。

プライバシ保護領域が通知されていれば（ステップＳ２０４）、２次元画像中でプライバシ保護領域に相当する部分のぼかし処理を行う（ステップＳ２０６）。

ここで、上述したようなプライバシ保護領域を算出するステップで推定した箱状のプライバシ保護領域と、移動カメラの校正処理により算出された射影変換行列Ｐを用いて、移動カメラで撮影した画像上においてプライバシを保護する画像処理（ぼかし処理等）を行う手順について述べる。

前述したように対象空間の被写体のすくなくとも１部は、箱状の領域として表現されている。その領域の８頂点を以下に示す式（２）により移動カメラによって撮影した画像上に投影し、それらの点同士を結んだ凸領域Ｒｎを画面上で被写体の観測領域とする。

λ［ｕ_n ｖ_n １］^T＝Ｐ［Ｘ_n Ｙ_n Ｚ_n １］^T …（２）
（ｎ＝１，…、８）
この観測領域において、画像の解像度を低下させるぼかし処理や、均一の色で塗りつぶす処理等を施すことで、被写体の見え方情報を低下させ、プライバシの保護を実現する。

このようぼかし処理を行った後の画像データ、または、プライバシ保護領域が通知されていなければキャプチャされた画像データそのままを、画像データとして出力し記録媒体に記録する（ステップＳ２０８）。

操作者から処理の終了が指示されていなければ、処理は再び、ステップＳ２００に復帰する。

図７は、以上のようにしてプライバシ保護処理された画像の例を示す図である。

図７に示すとおり、画面中央よりの人物の顔領域には、この人物の顔部分の大きさの変化に合わせて、モザイク処理が施される。

（実施の形態１）
以上の説明では、タグ（ＲＦＩＤタグ）４０がつけられている人物の顔領域にぼかし処理を行うものとして説明した。ただし、現実の応用場面、たとえば、所定の施設内での監視カメラにおいて撮影される画像に、プライバシ保護が必要な場合は、むしろ、当該施設で働く従業員等、すなわち、撮影された画像上においてプライバシ保護が必ずしも必要ない被写体には、タグ４０がついているものの、当該施設の来館者等には、タグ４０がつけられていない場合が多い。

この場合は、図５のステップＳ１０２の処理で、カメラ２０により撮影された画像において、まず、顔に相当する画像領域部分を周知の方法で検出しておき、このようなカメラ２０からの画像情報に基づく顔の検出結果とタグ４０からの情報と天井カメラ１０からの画像データとに基づいて、プライバシ保護の対象物が撮影する３次元空間内に存在するかを検知する。すなわち、カメラ２０の画像において検出された顔のうち、タグ４０のついていない被写体について、プライバシ保護領域が存在するものと判断することになる。

以下では、このようなタグ４０のついていない被写体について、ぼかし処理を行う変形例について説明する。また、特に限定はされないが、以下では、カメラ２０は固定して撮影するものとする。

図８は、このようにして撮影された画像において、プライバシ保護処理を行うための画像処理装置３０６の構成を説明するための概略ブロック図である。

なお、被写体４，６のうち被写体６が、タグ４０をつけているものとする。

図８では、カメラ２０により、被写体を含む画像が撮影されるとともに、タグ検出部２２により撮影範囲内にタグ４０が存在するかが、検出される。また、図示しない天井カメラ１０も設置されているものとする。

特に限定されないが、画像処理装置３０６の各機能も、コンピュータ上で実行されるソフトウェアにより実現することが可能である。

画像処理装置３０６においては、まず、撮影された画像において、顔領域検出部３１０が顔領域の検出を行い、隠蔽部分選択部３１２は、タグ検出部２２からの情報、および必要に応じて天井カメラ１０からの画像情報を処理する３次元位置検出ユニット（図示せず）からの情報に基づいて、ぼかし処理を行う部分（プライバシ保護領域）を撮影された画像中において特定する。

続いて、顔領域隠蔽画像生成部３１４は、特定されたプライバシ保護領域について、上述したのと同様に、３次元空間内でのプライバシ保護領域（たとえば、箱型の領域）を算出して、２次元画像中でプライバシ保護領域に相当する部分のぼかし処理を行う。変換画像出力部３１８からは、ぼかし処理が行われた画像が出力される。

以上のような構成により、タグ４０のついていない被写体について、プライバシ保護のためのぼかし処理を行うことができる。これにより、本来の目的から外れて収集されてしまうプライバシ情報を保護するために、目的となる必要な情報（情報を収集する対象となる人たちまたは情報を収集することが許容される人たちの画像など）は残しつつ、プライバシ上問題となる部分（情報収集対象者以外の顔画像など）だけを隠蔽することが可能となる。

なお、タグ４０としては、ＲＦＩＤタグの代わりに、ＬＥＤ−ＩＤタグをもちいてもよく、この場合は、カメラ２０で撮影された画像情報により、被写体がＬＥＤ−ＩＤタグを装着しているか否かを検出できる。

（実施の形態２）
実施の形態１では、単に、プライバシ保護領域について、ぼかし処理を行った画像を生成して出力する構成について説明した。

ただし、上述したとおり、場合によっては、プライバシ保護領域についてぼかし処理を行った画像について、事後的に、当該プライバシ保護領域に対して行ったぼかし処理を解除して、閲覧したい場合がある。

そこで、実施の形態２では、このような閲覧が可能な画像撮影システムについて説明する。

図９は、このような実施の形態２の画像撮影システムにおいて使用される画像処理装置３０６の構成を説明するための概略ブロック図である。

図９においては、図８と同一部分には同一参照符号を付している。なお、図９においては、説明の簡単のために、プライバシ保護領域の存在する被写体のみを示している。

なお、図においては、カメラ２０は高解像度の画像（たとえば、ハイビジョン画質の画像）を撮影可能なものとする。

図９を参照して、被写体４の画像は、カメラ２０により撮影され、画像処理装置３０６の顔領域検出部３１０において、周知の方法により顔が検出される。一方、タグ検出部２２からの情報および天井カメラ（図示せず）からの情報等により、撮影領域内においてプライバシ保護領域の存在する被写体の顔領域の画像情報が選択的に、顔領域分離部３１３において抽出される。

顔領域分離部３１３での抽出処理が終わった後の画像には、顔領域隠蔽画像生成部３１４が、特定されたプライバシ保護領域について、上述したのと同様に、３次元空間内でのプライバシ保護領域（たとえば、箱型の領域）を算出して、２次元画像中でプライバシ保護領域に相当する部分のぼかし処理を行う。顔領域隠蔽画像生成部３１４で処理された画像は、画像圧縮部３１６において圧縮処理が行われた後に、変換画像出力部３１８から、ぼかし処理が行われた画像が出力される。

一方、顔領域分離部３１３で抽出されたプライバシ保護領域に対応する画像については、暗号化鍵生成部３２２により生成された暗号化鍵により、顔領域画像暗号化部３２０において暗号化処理が施される。特に限定されないが、この暗号化鍵生成部３２２により生成される暗号化鍵は、１つの撮影動作（カメラオンからオフまで）ごとに生成されることとしてもよいし、所定の時間間隔ごとに更新されるとしてもよい。いずれにしても、顔領域画像暗号化部３２０から出力される情報には、暗号化された顔領域画像情報とともに、当該顔領域画像情報の暗号化を行った暗号化鍵を特定可能な情報も含まれるものとする。顔領域画像暗号化部３２０の出力は、暗号情報蓄積部３２４に蓄積される。

図１０は、変換画像出力部３１８から出力される圧縮画像ファイル(顔画像の隠蔽された圧縮画像)と、暗号情報蓄積部３２４に蓄積される暗号化ファイル（暗号化された顔情報）とを模式的に示す概念図である。

圧縮画像ファイルと暗号化ファイルとは、たとえば、撮影がされた時間情報などにより、相互に関連付けられているものとする。

図１１は、実施の形態２の画像撮影システムにおいて使用される画像閲覧装置４００の構成を説明するための概略ブロック図である。

図１１を参照して、画像閲覧装置４００は、変換画像出力部３１８からの圧縮画像ファイルデータを受ける変換画像入力部４１０と、変換画像入力部４１０からの圧縮画像ファイルデータを伸張処理するための圧縮画像伸張部４２０とを備える。

画像閲覧装置４００は、さらに、暗号情報蓄積部３２４から、ユーザが認証された場合に暗号化ファイルデータを受け取る暗号情報入力部４１２と、暗号化鍵生成部３２２から暗号化鍵を受け取り、当該暗号化鍵により暗号化されている顔領域画像情報を、ユーザが認証された場合に復号処理するための顔領域画像復号部４１４と、ユーザの認証が行われていない場合は、圧縮画像伸張部４２０からの情報をそのまま出力し、一方、ユーザの認証が行われている場合は、圧縮画像伸張部４２０からの情報と顔画像復号部４１４からの復号情報とを統合して画像を再構成するための画像再構成部４２４と、ユーザからの認証情報を受けて、当該ユーザを認証するか否かを決定する認証情報入力部４２６と、画像再構成部４２４からの出力を画像として表示するための画像出力部４３０とを備える。

図９〜図１１のような構成とすることにより、撮影された画像の中から、映っている人を自動的に抽出し、その部分だけを隠蔽する画像収集装置において、プライバシ上問題のある領域（プライバシ保護領域、たとえば顔の部分）の画像のみを分離し、当該プライバシ上問題のある部分の画像を、隠蔽後の画像とは別の、隠蔽後画像と関連付けられた情報として保存し、緊急時（犯罪などの発生で元の画像が必要となった場合）には、所定の認証を受けたユーザには、元の画像が復元可能となる。

なお、図９に示した構成においても、図８に示した場合と同様に、画像中に映っている人が誰であるかの認識を行い、プライバシ上問題がないと識別された人については、プライバシ上問題のある領域の画像の加工を行わず、それ以外の人のプライバシ上問題のある領域のみを隠蔽するとの動作を行うことが可能である。

さらに、顔領域画像については、撮影された高画質の画像データを圧縮することなく暗号化していることになり、プライバシ上問題のある領域の画像を、それ以外の部分よりも高解像度な画像として保存するので、事後的に、所定の認証を受けたユーザが、元の画像を復元した際に、プライバシの保護領域として隠蔽された領域に移っている人物を特定することが容易となる。

（実施の形態３）
実施の形態２においては、プライバシ保護領域を暗号化したデータについては、圧縮画像データとは別ファイルとして保存する構成としていた。

しかしながら、圧縮画像データとプライバシ保護領域を暗号化したデータとを同一ファイルの別領域に格納しておくことも可能である。

たとえば、動画像をモーションＪＰＥＧのような１フレームごとに符号化する画像符号化方式により符号化している場合は、圧縮画像データについては、本来のＪＰＥＧの圧縮画像データ本体として格納しておき、プライバシ保護領域の暗号化データについては、コメント領域のように通常は画像再生時に再生されない領域に格納しておくことができる。また、時間軸方向に圧縮する画像符号化方式であっても、基本的には、各フレームごとに、当該符号化方式に適合する形式で、プライバシ保護領域の暗号化データを、通常は画像再生時に再生されない領域に格納しておく。

図１２は、このような実施の形態３の画像撮影システムにおいて使用される画像処理装置３０６の構成を説明するための概略ブロック図である。

図１２においては、図９と同一部分には同一参照符号を付している。以下では、主として、図９の構成との相違点について説明する。

図１２に示した画像処理装置３０６では、顔領域分離部３１３で抽出されたプライバシ保護領域に対応する画像については、暗号化鍵生成部３２２により生成された暗号化鍵により、顔領域画像暗号化部３２０において暗号化処理が施された暗号化データは、画像圧縮部３１６で生成された圧縮画像データとともに、出力画像生成部３１７に与えられる。

出力画像生成部３１７は、圧縮画像データと暗号化データとを統合化して１つの圧縮画像ファイルとし、変換画像出力部３１８に与える。ただし、圧縮画像ファイル中において、コメント部に格納される暗号化された顔情報については、圧縮はされていないものとする。顔画像部分については、もともと画像領域が大きくはないので、このようにしても、データサイズ自体は大きくはならない。

その他の構成および動作は、図９に示した構成と同様であるので、その説明は繰り返さない。

図１３は、出力画像生成部３１７により生成される圧縮画像ファイルの構成を示す概念図である。

１つの画像ファイルの本体部分（データ部）には、顔画像の隠蔽された圧縮画像データが格納されるとともに、当該ファイルのコメント部のように通常は画像再生時に再生されない領域に暗号化された顔情報が格納されている。

図１４は、実施の形態３の画像撮影システムにおいて使用される画像閲覧装置４０６の構成を説明するための概略ブロック図である。

図１４においても、図１１と同一部分には同一参照符号を付している。以下では、主として、図１１の構成との相違点について説明する。

図１４を参照して、変換画像入力部４１０では、入力された圧縮画像データを、データ部とコメント部に分離し、圧縮画像データは、当該圧縮画像データを伸張処理するための圧縮画像伸張部４２０に与え、暗号化データは、顔領域画像復号部４１４に与える。

以後の処理は、図１１の画像閲覧装置４００の動作と同様である。

以上のような構成によっても、実施の形態２の画像撮影システムと同様の効果を奏することが可能である。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の画像撮影装置を用いたステルスビジョンシステム１０００の一例を示す概念図である。 コンピュータ１００の構成をブロック図形式で示す図である。 図１に示したシステム１０００の構成および動作の概要を示すための機能ブロック図である。 天井カメラ１０の撮影画像からプライバシ保護領域の推定を行う手続を示す概念図である。 コンピュータ１００の動作を説明するためのフローチャートである。 プライバシ保護モバイル映像生成装置３００の動作を説明するためのフローチャートである。 プライバシ保護処理された画像の例を示す図である。 プライバシ保護処理を行うための画像処理装置３０６の構成を説明するための概略ブロック図である。 実施の形態２の画像撮影システムにおいて使用される画像処理装置３０６の構成を説明するための概略ブロック図である。 変換画像出力部３１８から出力される圧縮画像ファイルと、暗号情報蓄積部３２４に蓄積される暗号化ファイルとを模式的に示す概念図である。 実施の形態２の画像撮影システムにおいて使用される画像閲覧装置４００の構成を説明するための概略ブロック図である。 実施の形態３の画像撮影システムにおいて使用される画像処理装置３０６の構成を説明するための概略ブロック図である。 出力画像生成部３１７により生成される圧縮画像ファイルの構成を示す概念図である。 実施の形態３の画像撮影システムにおいて使用される画像閲覧装置４０６の構成を説明するための概略ブロック図である。

符号の説明

１００ コンピュータ、１０２ コンピュータ本体、１０３ ディスプレイ、１０６ ＦＤドライブ、１０８ 光学ドライブ、１１０ キーボード、１１２ マウス、１１４ 無線通信装置、１１８ ＣＤ−ＲＯＭ、１２０ ＣＰＵ、１２２ メモリ、１２４ ハードディスク、１２８ 通信インタフェース、２００ 通信装置、３００ プライバシ保護モバイル映像生成装置、１０００ 画像撮影システム。

Claims (6)

1. 撮影を行なう３次元空間内において、移動する複数の撮影対象者の位置をそれぞれ検出するための３次元位置検出手段を備え、前記３次元空間には、予め位置が特定された複数のＬＥＤタグが配置されており、
   前記３次元空間内を移動する状態において、前記撮影対象者の画像を撮影するための移動撮影手段と、
   撮影された画像中において、プライバシを保護するための画像処理の対象となる撮影対象者画像のうち顔領域を候補領域として検出する保護領域候補検出手段と、
   前記検出された候補領域のうち前記プライバシ保護の対象となる保護領域を検出するための隠蔽部分検出手段とを備え、前記隠蔽部分検出手段は、複数の前記撮影対象者のうち識別標識を付けていない撮影対象者に対応する前記候補領域を前記保護領域として検出し、
   前記隠蔽部分検出手段により特定された前記保護領域に対して、選択的にプライバシを保護するための前記画像処理を行った保護画像データを生成するための保護画像生成手段とを備え、
   前記保護画像生成手段は、前記移動撮影手段により撮影された前記画像中に存在する前記ＬＥＤタグが点滅により送出するＩＤ情報に基づいて、前記移動撮影手段の校正を行なって前記移動撮影手段についての射影行列を導出し、前記保護領域が前記撮影された画像中のいずれの部分に投影されるかを算出して特定し、前記画像処理を実行する、画像撮影システム。
2. 前記隠蔽部分検出手段は、前記保護領域に対応する画像データを選択的に抽出する保護領域分離手段を含み、
   前記保護領域分離手段により抽出された前記保護領域に対応する画像データを暗号化して暗号化画像データを生成するための保護領域暗号化手段をさらに備える、請求項１記載の画像撮影システム。
3. 前記保護画像生成手段の出力である前記保護画像データを圧縮して圧縮画像データを生成するための画像圧縮手段と、
   前記圧縮画像データおよび前記暗号化画像データとを受けて、対応する画像を再生するための画像閲覧手段とをさらに備え、
   前記画像閲覧手段は、
   ユーザの認証を行って、認証されたユーザに対して、前記圧縮画像データを伸張した画像と、前記暗号化画像データを復号した画像とを再構成した画像を再生して出力する画像再構成手段を含む、請求項２記載の画像撮影システム。
4. 前記保護領域暗号化手段は、前記保護領域に対応する画像データを未圧縮で暗号化する、請求項３記載の画像撮影システム。
5. 前記保護画像データと前記暗号化画像データとは、別々のファイルとして出力される、請求項２記載の画像撮影システム。
6. 前記保護画像データと前記暗号化画像データとを統合して１つのファイルとして出力する出力画像生成手段をさらに備える、請求項２記載の画像撮影システム。