JP7122815B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮像画像における所定の被写体の隠蔽技術に関する。

近年、監視カメラが広く設置されるようになっている。このような監視カメラが用いられるシステムは、撮像された人物の動きを特定することにより、防犯、マーケティング分析、サービス向上を行うことができる点で有用である。その一方で、このようなシステムでは、撮像された人物に関するプライバシーが保護されることが重要である。特許文献１には、背景画像と、シルエット化した（隠蔽した）前景画像とを重畳する手法が記載されている。また、特許文献２には、人物領域を抽出して、その特性に応じたマスク画像を重畳表示させる手法が記載されている。

特開２０１６－１１５２１４号公報 特開２０１５－２２２８８１号公報

特許文献１では、前景画像を抽出する際に背景差分法が用いられるが、プライバシー保護対象人物（以下では「対象人物」と呼ぶ。）の影に影響を受けてしまいうる。例えば、対象人物がスポットライトに照らされて影ができた場合、対象人物と同様にその影も前景として抽出されてしまう。このため、陰までシルエット化され、映像中のシルエットが人物なのか影なのかの判別が容易でなくなる。同様に、特許文献２でも、影領域にマスク画像が重畳表示されてしまいうる。同様に、人物が保持している物体についても影と同様にシルエット化されてしまいうる。また、隠蔽の対象が人物以外である場合も、同様に、その対象以外の物体や影がシルエット化されてしまいうる。

本発明は上記課題に鑑みなされたものであり、撮像された画像の適切な領域を隠蔽した画像を生成可能とする技術を提供することを目的とする。

本発明の一態様による画像処理装置は、撮像によって得られた入力画像において前景物が写っている前景領域を抽出する抽出手段と、所定の対象物体の一部の大きさと当該所定の対象物体の全体の大きさとの比率の情報を、当該一部が写っている位置と、当該一部の大きさに対する前記所定の対象物体の全体の大きさの比率とを対応付ける情報を参照することによって、取得する取得手段と、前記前景領域のうち、前記所定の対象物体が写っている第１の領域を特定する特定手段であって、前記所定の対象物体の前記一部に関連する特徴が含まれる前記入力画像における第２の領域を検出し、前記比率の情報に基づいて、前記第２の領域を拡張することによって、前記入力画像から前記所定の対象物体が写っている第３の領域を特定し、前記前景領域かつ前記第３の領域の領域を、前記前景領域の中で所定の対象物体が写っている第１の領域として特定する特定手段と、前記前景領域のうち、前記所定の対象物体が写っていない第４の領域の少なくとも一部を抽象化せずに前記第１の領域を抽象化した出力画像を生成して出力する出力手段と、を有する。

本発明によれば、撮像された画像の適切な領域を隠蔽した画像を生成することができる。

画像処理装置の構成例を示すブロック図である。 画像処理装置の第１の機能構成例を示すブロック図である。 画像処理装置によって実行される処理の流れの例を示す図である。 画像処理装置の第２の機能構成例を示すブロック図である。 カメラが斜めに設置されている場合の撮像の状態を示す概略図である。 図５において撮像された画像の例を示す図である。 画像処理装置の第３の機能構成例を示すブロック図である。 比率マップの例を示す図である。 画像処理装置の第４の機能構成例を示すブロック図である。 画像処理装置の第５の機能構成例を示すブロック図である。

以下、添付の図面を参照して、本発明の実施の形態について詳細に説明する。なお、以下の実施形態は一例に過ぎず、本発明を説明される形態に限定することは意図されていない。例えば、後述する装置構成のうちの一部または全部が用いられずに、同様の機能を実現する任意の構成に置き換えられてもよい。また、後述する処理の順序の変更や処理ステップの置き換えや省略がなされてもよい。

（ハードウェア構成）
図１に、本実施形態に係る画像処理装置１０１のハードウェア構成例を示す。画像処理装置１０１は、一例において、汎用のコンピュータであり、そのハードウェア構成として、例えば、記憶部１０２、制御部１０３、機能部１０４、入力部１０５、出力部１０６、及び、インタフェース（Ｉ／Ｆ）１０７を含む。なお、画像処理装置１０１は、後述の機能を実現する専用のハードウェアによって実現されてもよい。

記憶部１０２は、ＲＯＭ、ＲＡＭの両方、または、それらのいずれか一方により構成され、後述する各種動作を行うためのプログラムや、各種処理で用いられるパラメータ等の各種情報を記憶する。ここで、ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの頭字語であり、ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの頭字語である。なお、記憶部１０２として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体が用いられてもよい。また、記憶部１０２は、複数のメモリ等によって構成されてもよい。

制御部１０３は、ＣＰＵ、または、ＭＰＵにより構成され、記憶部１０２に記憶されたプログラムを実行することにより、画像処理装置１０１全体を制御する。なお、制御部１０３は、記憶部１０２に記憶されたプログラムとＯＳとの協働により画像処理装置１０１全体を制御するようにしてもよい。ここで、ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの、ＭＰＵはＭｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの、ＯＳはＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの、頭字語である。また、制御部１０３は、マルチコア等の複数のプロセッサによって構成されてもよい。また、制御部１０３として、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＤＳＰ（デジタルシグナルプロセッサ）、ＡＳＩＣ（特定用途向け集積回路）等が用いられてもよい。また、制御部１０３は、機能部１０４を制御して、撮像等の所定の処理を実行しうる。

機能部１０４は、画像処理装置１０１が所定の処理を実行するためのハードウェアである。例えば、画像処理装置１０１が、監視カメラ等のカメラを含む場合、機能部１０４は撮像部であり、撮像処理を行う。入力部１０５は、ユーザからの各種操作の受付を行う。出力部１０６は、ユーザに対して各種出力を行う。ここで、出力部１０６による出力とは、視覚出力、音声出力、振動出力等の少なくとも１つを含む。なお、出力部１０６は、画像処理装置１０１内に含まれる装置を用いて情報を提示してもよいが、外部の装置（例えば表示装置、スピーカ）に情報提示させるようにしてもよい。なお、タッチパネルのように入力部１０５と出力部１０６の両方を１つのモジュールで実現するようにしてもよい。

Ｉ／Ｆ１０７は、外部の装置との通信インタフェース等のインタフェースである。例えば、画像処理装置１０１は、外部の監視カメラから、Ｉ／Ｆ１０７を通じて映像データを取得する。Ｉ／Ｆ１０７は、例えば有線通信インタフェース又は無線通信インタフェースでありうる。また、Ｉ／Ｆ１０７は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースでありうる。

以下では、このような構成を有する画像処理装置１０１の機能構成例と、画像処理装置１０１が実行する処理の流れのいくつかの例について説明する。以下で説明する画像処理装置１０１は、撮像された入力画像において、前景領域のうちの人物が写っている第１の領域を特定する。そして、画像処理装置１０１は、その第１の領域を抽象化（例えばシルエット化）する一方で、その前景領域のうちの人物が写っていない第２の領域について、少なくともその一部をシルエット化せずに生成した出力画像を出力する。これにより、影領域の少なくとも一部がシルエット化されないようにすることができる。なお、以下で説明する画像処理装置１０１によれば、影の一部が人物の一部としてシルエット化されることはありうるが、その場合であってもシルエット化される影領域は低減されるため、過剰なシルエット化を防ぐことは可能となる。

なお、以下では、シルエット化の対象物が人物である場合について説明するが、この対象物は人物でなくてもよい。例えば全ての前景物体をシルエット化の対象としてもよい。この場合、各物体の特徴に基づいて、影ではない物体の領域が特定される。

＜実施形態１＞
本実施形態では、撮像によって得られた入力画像と、その入力画像の撮像範囲において人物が存在しない場合の背景画像とを比較して、前景物が存在する画像内の前景領域が特定される。また、前景領域中の人物が写っている第１の領域が特定され、前景領域中の第１の領域外である第２の領域については、抽象化対象（匿名化対象）から除去される。これにより、これにより、人物の領域を隠蔽しながら、影の領域を隠蔽することがなくなり、不必要に多くの領域が隠蔽されてしまうことを防ぐことができる。なお、第１の領域の特定においては、例えば、人物（頭部等）の特徴に基づいて人物が写っていると判定される第３の領域（人体枠）を特定し、第３の領域かつ前景領域によって得られる領域を第１の領域とする。これにより、ポスターに写っている人物などが誤って第１の領域に含められることを防ぐことができる。また、第３の領域の特定においては、例えば、頭部の特徴に基づいて頭部が写っている第４の領域（頭部領域）を特定し、頭部の大きさと人体全体の大きさの比率の情報に基づいて第４の領域が拡張されることによって得られる領域が第３の領域とされる。これによれば、従来技術による頭部領域の特定に基づいて、容易に人体枠を決定することが可能となる。

（機能構成）
図２は、本実施形態に係る画像処理装置１０１の機能構成例を示すブロック図である。画像処理装置１０１は、その機能として、例えば、画像取得部２０１、背景画像取得部２０２、前景抽出部２０３、頭部検出部２０４、人体比率取得部２０５、人体枠生成部２０６、影除去部２０７、隠蔽画像生成部２０８、及び合成部２０９を有する。なお、人体比率取得部２０５は、例えば、体型情報取得部２１０を含む。

画像取得部２０１は、例えば監視カメラによって監視対象の領域が撮像されることによって得られた画像データを取得する。以下では、この画像データを「入力画像」と呼ぶ。

背景画像取得部２０２は、画像取得部２０１で取得された画像と同じ撮像領域において人物等の前景物が存在しない状態の背景画像を取得する。背景画像は、前景物が存在しない状態で撮像された画像であってもよいし、複数の画像に基づく画像処理によって又は学習によって生成された画像であってもよい。例えば、背景画像は、監視システムが稼働させる前に撮像された画像として事前に用意されうる。また、システム管理者が前景物が存在しないタイミングを指定し、そのタイミングで撮像された画像を背景画像としてもよい。また、使用される背景画像が背景物体に対する光の当たり方等に応じて時間経過に従って変化するように、時間ごとに複数の背景画像が用意されてもよい。また、背景画像は、例えば、時間経過によっても変動しない物体を背景物体として扱うことにより、複数の画像から生成されうる。この場合、例えば、複数の画像の平均値（例えば現在時刻や所定時刻に近いほど大きい重みを付した加重平均値）を算出することによって背景画像が得られうる。また特許文献１に記載の手法に基づいて背景画像が逐次的に更新されてもよい。また、例えば、複数の画像を用いて背景画像を生成するための機械学習を行い、学習によって得られた関数に画像取得部２０１によって取得された画像を入力することにより、背景画像が生成されうる。さらに、入力された画像が背景画像であるか否かを判定するための機械学習を行い、学習によって得られた関数に画像取得部２０１によって取得された画像を入力することにより、その画像が背景画像であるか否かを判定させてもよい。この場合、背景画像取得部２０２は、関数に入力した画像のうち、背景画像であると判定された画像を取得する。

前景抽出部２０３は、画像取得部２０１で取得した入力画像と背景画像取得部２０２で取得した背景画像とを比較することにより、前景領域を抽出する。前景抽出部２０３は、例えば、前景領域を「１」とし、背景領域を「０」とするマスク画像を生成する。前景抽出部２０３は、例えば、背景差分法を用いて、画素ごとに、背景画像と入力画像の差分値が閾値以上の場合は前景を表す「１」を設定し、閾値未満の場合は背景を表す「０」を設定することにより、このようなマスク画像を生成することができる。なお、マスク画像は２値でなくてもよい。例えば、背景画像と入力画像の差分値に応じた値をマスク画像として設定されてもよい。前景抽出部２０３は、背景差分法のみならず、他の手法によって前景領域を特定してもよい。例えば、機械学習を用いて、入力画像から前景領域を特定してもよい。また、前景抽出部２０３は、マスク画像を生成せずに、前景領域を特定する情報を保持するだけであってもよい。

頭部検出部２０４は、画像取得部２０１から取得した入力画像において、人の頭部が写っているか否かを判定し、頭部が写っている場合は、その頭部の画像上での位置とサイズ（頭部が写っている領域の縦横の大きさ）を取得する。なお、頭部の位置は、一例において、手足等の人体から最も離れた頭頂部などの位置として特定されてもよいし、頭部として検出された領域の中心として特定されてもよい。人の頭部の検出処理は、公知の画像処理技術を用いて実現可能である。例えば、頭部検出部２０４は、人の頭部の特徴（例えば顔や顔のパーツ、帽子やヘアアクセサリ等の頭部と関連する物体の特徴）を用いて、パターンマッチングにより人の頭部を検出しうる。なお、隠蔽対象が人物でない場合は、その隠蔽対象物体の特徴又はその隠蔽対象物体に関連する物体の特徴を用いて、同様の検出処理を行うことができる。なお、頭部検出部２０４は、例えば、人物の顔の領域を特定するための機械学習により得られた関数に入力画像を入力することによって、頭部領域を特定してもよい。なお、頭部検出部２０４は、前景抽出部２０３が抽出した前景領域において頭部の検出を行うようにしてもよい。すなわち、頭部検出部２０４は、例えば人物の写真が飾られている場合など、背景に人物が含まれていても、それを検出せず、前景の領域からのみ、頭部（人物）を検出するようにしてもよい。

人体比率取得部２０５は、頭部検出部２０４で検出した画像上の頭部の大きさと、体型情報取得部２１０によって取得された身長と身幅に関する情報とに基づいて、画像上の頭部部分の大きさと人体全体の大きさとの比率を取得する。体型情報取得部２１０は、例えば、頭部の大きさと頭部を含めた人体の大きさの比率の統計的又は経験的情報を取得しうる。例えば、この比率が１対７である場合、人体比率取得部２０５は、この比率の情報を人体枠生成部２０６に出力する。なお、この比率は、年齢によって変動することが一般的に知られているため、体型情報取得部２１０は、年齢ごとの比率の情報を取得しうる。この場合、頭部検出部２０４は、例えば、頭部を検出する際に参照した顔のモデル等によって年齢推定を行い、その結果を人体比率取得部２０５に出力しうる。そして、人体比率取得部２０５は、この年齢推定値に応じた人体比率を出力する。なお、人体比率取得部２０５は、例えば、機械学習によって得られた関数に入力画像や頭部領域の大きさの情報を入力することによって人体比率を特定してもよい。

人体枠生成部２０６は、頭部検出部２０４から取得した頭部位置の座標及び頭部領域のサイズと、人体比率取得部２０５から取得した人体の比率とに基づいて、頭部を基準として足方向に頭部領域を拡張した範囲を規定する枠を、人体枠として生成する。すなわち、人体枠生成部２０６は、頭部検出部２０４によって検出された頭部領域を基準として、人体比率に基づいてその頭部に付随する胴体及び手足部分を含む領域を特定し、それを人体枠として生成する。

影除去部２０７は、前景抽出部２０３が抽出した前景領域のうち、人体枠生成部２０６で生成された人体枠の外にある領域を、隠蔽対象から外す。例えば、影除去部２０７は、前景抽出部２０３が生成したマスク画像のうち、人体枠の外にある領域において前景を表す「１」の値が設定されている画素について、その設定値を「０」に更新する。これによれば、マスク画像が、前景領域のうち人体枠以外の領域についての値が背景を示す値に設定されるため、隠蔽対象から外されることとなる。すなわち、人体枠が頭部と人体比率から特定されるため人物に付随する影は、前景抽出部２０３によって前景として抽出されうるものの、（少なくともその一部が）隠蔽対象に含まれなくなる。また、影除去部２０７は、人体枠ではない領域を前景から除去するように前景抽出部２０３において管理されている前景領域を示す情報を修正してもよい。すなわち、マスク画像が用いられなくてもよい。

隠蔽画像生成部２０８は、影除去部２０７で影の部分が除去されたマスク画像について、前景を示す「１」が設定されている領域を、例えば任意のＲＧＢ値で塗りつぶした又はテクスチャが付与されたシルエット画像を生成する。なお、他の形式でこの領域をマスクした画像を生成してもよい。例えば、前景にモザイク処理を施したモザイク画像や、前景にぼかし処理を施したぼかし画像、前景が除去されている背景画像に合成する場合は前景の輪郭を抽出したアウトライン画像であってもよい。また、隠蔽画像生成部２０８は、マスク画像ではない情報によって影領域が除去された前景領域を示す情報に基づいて、シルエット画像を生成してもよい。

合成部２０９は、背景画像取得部２０２で取得した背景画像に対して、隠蔽画像生成部２０８によって生成されたシルエット画像をαブレンドにより合成することによって合成画像を生成して出力する。なお、αブレンドを行う際には、透過率に応じたα（０．０≦α≦１．０）を用いて、各画素のＲＧＢ値が計算される。

なお、本実施形態において、合成部２０９は、背景画像とシルエット画像とをブレンディングするが、入力画像をシルエット画像とブレンディングしてもよい。すなわち、人物（隠蔽対象物）以外の前景物が画像中に含まれる状態の画像であって、隠蔽対象物が隠蔽されている画像が生成されてもよい。

また、上述の構成は一例に過ぎず、これらの機能部の全てを有しなくてもよい。例えば機械学習によって頭部を含む人物の領域を特定することができる場合、頭部検出部２０４、人体比率取得部２０５、人体枠生成部２０６が省略され、それに代えて１つの人物領域特定部が配置されてもよい。

（処理の流れ）
続いて、画像処理装置１０１が実行する処理の流れの一例について図３を用いて説明する。画像処理装置１０１は、まず、入力画像と背景画像を取得する（Ｓ３０１、Ｓ３０２）。その後、画像処理装置１０１は、例えば入力画像と背景画像とを用いた背景差分法によって前景領域を抽出し（Ｓ３０３）、例えばマスク画像を生成する。そして、画像処理装置１０１は、入力画像内に頭部が含まれているか否かを判定し、頭部が含まれている場合はその頭部の画像上での位置とサイズを取得する（Ｓ３０４）。画像処理装置１０１は、頭部に対する画像上の人体比率を決定する（Ｓ３０５）。そして、画像処理装置１０１は、Ｓ３０４で取得した頭部位置の座標とＳ３０５で決定した人体の比率とから、頭部を基準として足方向に頭部領域を拡張した枠を人体枠として特定する（Ｓ３０６）。その後、画像処理装置１０１は、Ｓ３０６で特定された人体枠の外にある領域を、Ｓ３０３で抽出された前景領域から除去する（Ｓ３０７）。そして、画像処理装置１０１は、Ｓ３０７において人体枠外の領域が除去された前景領域を塗りつぶしたシルエット画像を生成し（Ｓ３０８）、そのシルエット画像をＳ３０２で取得された背景画像に合成して、出力画像を生成する（Ｓ３０９）。

以上のように、本実施形態によれば、前景領域であっても人物領域以外の領域はシルエット化されないため、不必要なシルエット化が行われることがなくなる。なお、上述のように、本実施形態では人物を隠蔽対象物とする場合について説明したが、これに限られず、任意の隠蔽対象物に対して、同様の処理が適用可能である。すなわち、前景領域のうち、隠蔽対象物そのもの及び影以外のその対象物に付随する物体が写っている領域を隠蔽領域として、影の領域を隠蔽対象からは外すように制御を行うことができる。この場合、隠蔽対象物と影以外のその対象物が写っている領域を特定する際の基準データ等が異なるが、その他の点は、上述の構成や手法をそのまま適用することができる。

＜実施形態２＞
本実施形態では、カメラで撮像された人物の位置によって人体比率が一定でない場合に人体枠を特定する処理について説明する。例えば、監視カメラが図５のように斜め下を向いて設置されていた場合、頭部が写る大きさと人体の大きさの比率が、画像中の位置に応じて異なりうる。例えば、図５のような監視カメラの場合、画像中の上部に人物が写っている場合、すなわち、監視カメラと人物との水平方向での距離が離れた位置に人物が存在していた場合には、頭部に対する人体の比率は大きくなる。一方、監視カメラの真下など、画像中の下部に人物が写っている場合、すなわち、監視カメラと人物との水平方向での距離が近い場合には、頭部に対する人体の比率は小さくなる。また、全方位カメラが天井に設置されている場合は、画像中心付近に人物が写っている場合は、カメラと人物との水平方向での距離が近い場合に対応するため、頭部に対する人体の比率が小さくなり、画像内の人物位置が外側に行くほどその比率は大きくなる。

これに対して、本実施形態では、カメラの設置角と内部パラメータとに基づいて、カメラと対象人物とのなす角を特定し、頭部に対する人体の比率を修正する。これによって、カメラで撮像された人物の位置によって人体比率が一定でない場合に人体枠を適切に特定することを可能とする。

図４に、本実施形態に係る画像処理装置１０１の機能構成例を示す。なお、図２と同様の構成については、共通の参照番号を付してその説明を省略する。本実施形態に係る画像処理装置１０１は、カメラ設置情報取得部４０１、及びカメラ内部パラメータ取得部４０２を有する。また、人体比率取得部２０５は、体型情報取得部２１０に加えて、人体比率修正部４０３を有する。これらの機能部によって、Ｓ３０５の処理が変更される。

カメラ設置情報取得部４０１は、カメラの地面に対する設置角度の情報を取得する。カメラ内部パラメータ取得部４０２は、カメラの焦点距離、画像中心、画像サイズ、レンズ歪み等の内部パラメータを取得する。これらの内部パラメータは公知の画像処理技術を用いて取得する。人体比率修正部４０３は、画像上での人物の頭部の座標と、カメラの設置角度と、カメラの内部パラメータとを用いて、体型情報取得部２１０から得られる人体比率の修正を行う。

例えば、図５に示すように、体型情報取得部２１０から得られた縦方向の比率をＨとし、カメラを斜め下向きに設置した時の画像中心と地面とのなす角をθとし、画像中心方向を示す線と、カメラの中心と対象人物の頭部位置とを結ぶ線とのなす角をφとする。この場合、図６のようにカメラに写る対象人物の人体比率Ｈ’は、
Ｈ’＝Ｈ×ｃｏｓ（θ－φ）
のように算出することができる。同様に、横方向についても人体比率を算出することができる。

以上のように、カメラを斜めに設置した等のカメラの設置状況を考慮して、人体比率が特定される。これにより、過剰に大きい人体枠が生成されることを防ぎ、影等の不必要な領域がシルエット化されることを防ぐことができる。

＜実施形態３＞
実施形態２では、カメラの設置状況に応じた計算が行われることにより、適切な人体比率と人体枠を特定することを可能とする手法について説明した。本実施形態では、人体比率を簡易に修正する手法について説明する。図７に、本実施形態に係る画像処理装置１０１の機能構成例を示す。なお、図２と同様の構成については、共通の参照番号を付してその説明を省略する。本実施形態に係る画像処理装置１０１は、比率マップ取得部７０１を有し、人体比率取得部２０５は、比率マップ参照部７０２を有する。

比率マップ取得部７０１は、画像取得部２０１で取得された画像と同じ撮像領域又は類似する撮像領域における比率マップを取得する。比率マップは、図８に示すように、入力画像の各画素または各ブロックの位置と人体の比率情報とを対応付ける情報である。図８の比率マップは、ブロック位置と比率とを対応付ける情報として規定されており、各ブロックに割り当てられた数値は、それぞれ横比率と縦比率とを示す。なお、図８の比率マップでは、下の領域ほど水平方向におけるカメラとの距離が近い位置に対応し、上の領域ほど水平方向におけるカメラとの距離が離れた位置に対応している。図８に示されるように、水平方向におけるカメラとの距離が離れるほど、縦比率の値が大きくなる。なお、図８の比率マップは、ブロックごとの比率情報を規定する場合について示しているが、これに限られず、任意の画素単位や任意の形状の領域ごとに比率情報が規定されてもよい。例えば、カメラの水平位置を基準とする同心円又は同心円弧によって実質的に区分される領域ごとに比率情報が規定されうる。比率マップは、例えば、手動で作成されうる。例えば、人物が写った状態で撮像した画像において頭部検出処理を行い、その頭部領域のサイズと位置を獲得すると共に、その画像中の人体領域をＵＩ等で矩形指定し、人体領域の大きさと位置を獲得する。そして、頭部位置と人体領域の位置とを関連付けると共に、頭部領域のサイズと人体のサイズとから人体比率を特定し、その人物が写っている画像上の位置に対応する比率マップのブロックに、特定した情報が書き込まれる。これをすべてのブロックが埋まるまで繰り返されることによって。比率マップが作成される。

比率マップ参照部７０２は、比率マップ取得部７０１によって取得された比率マップを参照する機能を有する。人体比率取得部２０５は、頭部検出部２０４によって検出された頭部の位置に応じて、人体比率を特定する。例えば、図８の例においては、頭部領域８０１の位置に対して比率マップを参照すると、その位置に対応付けられている横比率と縦比率は、それぞれ２．０と２．５である。同様に、頭部領域８０２の位置に対して比率マップを参照すると、その位置に対応付けられている横比率と縦比率は、それぞれ２．０と１．５である。人体比率取得部２０５は、これらの特定した比率を人体枠生成部２０６に出力する。人体枠生成部２０６は、取得した値に応じて、頭部検出部２０４によって頭部領域として指定された領域を拡張する。例えば、人体枠生成部２０６は、頭部領域８０１に対して、頭頂部を中心として左右に２．０倍に領域を拡張すると共に、縦方向には頭頂部と反対方向（すなわち人体の方向）に２．５倍に領域を拡張して、人体枠８０３を生成する。同様に、人体枠生成部２０６は、頭部領域８０２に対して、頭頂部を中心として左右に２．０倍に領域を拡張すると共に、縦方向には頭頂部と反対方向（すなわち人体の方向）に１．５倍に領域を拡張して、人体枠８０４を生成する。なお、人体枠生成部２０６は、縦方向において、頭頂部を基準としてその反対方向に領域を拡張しなくてもよく、例えば、図８の例などのように立っている人物であれば撮像された映像の下方向に足が向いている場合、その足が向く方向に領域を拡張しうる。

本実施形態によれば、カメラの設定値等の情報に基づく演算を行うことなく人体枠の特定を行うことができる。また、比率マップの特定も、例えば撮像された画像に基づいてユーザが人体枠を手動で指定することによって容易に作成することができる。このように、カメラの設定値等の情報を用いることがなくなるため、カメラの設定等に詳しくないユーザであっても、容易に比率マップを用意し、上述の手法を適用することが可能となる。

なお、比率マップは、例えば人物の推定年齢ごとに用意されうる。これによれば、推定年齢ごとに適した領域を人体枠として特定することができるため、不必要に多くの領域が人体枠として確保されることや、撮影された画像における人体部分が人体枠に入りきらないことを予防することができる。

＜実施形態４＞
実施形態２及び３では、撮像された画像における人物の位置に応じて、人体枠を生成する例について説明した。本実施形態では、人物が存在する領域を三次元で把握して、その三次元領域を画像取得部２０１で取得された画像と同じ撮像範囲における二次元領域に投影することにより、人体枠を生成する。図９に、本実施形態に係る画像処理装置１０１の機能構成例を示す。なお、図２と同様の構成については、共通の参照番号を付してその説明を省略する。本実施形態に係る画像処理装置１０１は、頭部検出部２０４、人体比率取得部２０５、及び人体枠生成部２０６が省略され、一方で、距離取得部９０１、三次元人体位置取得部９０２、三次元人体枠生成部９０３、及び二次元人体枠生成部９０４を有する。

距離取得部９０１は、画像取得部２０１で取得された画像と同じ撮像範囲における距離画像を取得する。距離画像は、例えば、複数のカメラによって撮像された複数の画像に基づいて生成されてもよいし、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式などの他の手法によって生成されてもよい。なお、画像取得部２０１で取得される画像を撮像するカメラや距離画像生成用のカメラは、その視線方向が地面に対して水平となるように設置されうる。ただし、実施形態２で説明したように視線方向が地面に対して水平でない場合には、例えば、三次元での剛体変換行列を用いて、距離画像を取得することができる。

三次元人体位置取得部９０２は、画像取得部２０１によって取得された入力画像に対して画像処理を用いて二次元的な人体位置を特定し、距離取得部９０１によって得られた距離データと対応付けることで、三次元空間上の人体の位置を取得する。例えば、上述の頭部検出部２０４と同様にして二次元での人体位置を特定し、その人体位置と距離取得部９０１によって得られた距離データとを用いて、対象人物の頭部の三次元位置が取得される。

三次元人体枠生成部９０３は、三次元人体位置取得部９０２で得られた三次元空間での人体位置を取得し、人体が存在する三次元領域を推定する。例えば、頭部を中心に半径５０ｃｍで、地面までの高さ（すなわち、身長の高さ）を有する円柱状の三次元人体枠が生成される。

二次元人体枠生成部９０４は、三次元人体枠生成部９０３によって生成された三次元人体枠を、画像取得部２０１で撮像される画像の撮像領域における二次元領域へ再投影し、二次元的な人体枠を生成する。

このように、人体領域を三次元的に特定して、その三次元人体領域を入力画像と同じ撮像領域にマッピングすることによって、人体枠を正確に特定することができる。これにより、不必要に多くの領域が人体枠として確保されることや、撮影された画像における人体部分が人体枠に入りきらないことを予防することができる。また、例えば、画像取得部２０１が取得した入力画像では体の部分のみが撮像されており、上述の実施形態において頭部が検出されない場合であっても、三次元で人物を認識して投影することにより、人体枠を適切に決定することができる。さらに、自体領域を三次元的に特定することにより、ポスターなどが人物として特定される確率が低くなるため、前景領域中の人体枠を直接的に発見することができる。

なお、人体位置取得のためのカメラは、画像取得部２０１が取得する入力画像を撮像するカメラと共通であってもよいし、別個に用意されてもよい。すなわち、人体の三次元位置を特定することができれば、画像取得部２０１が取得する入力画像と同じ撮像範囲において、その人体が撮像される領域を特定することができるため、その入力画像を撮像するカメラによって人体位置を取得する必要はない。

＜実施形態５＞
本実施形態では、上述の各実施形態においては影領域としてシルエット化されない領域のうち、その一部をシルエット化するためのユーザ設定を受け付けるようにする。本実施形態に係る画像処理装置１０１は、図１０に示すように、非影除去領域設定部１００１を有する。非影除去領域設定部１００１は、前景領域のうち影としてシルエット化の対象領域から外れてしまう領域をシルエット化の対象領域に留めるための設定処理を行う。例えば、頭部が検出されなかった場合の人体部分をシルエット化するための設定処理を行う。非影除去領域設定部１００１は、例えば、影除去を行わない領域のユーザによる指定をＵＩ等を通じて受け付ける。そして、影除去部２０７は、前景抽出部２０３によって特定された前景領域のうち、人体枠及び非影除去領域設定部１００１によって設定された影除去を行わない領域以外の領域を、シルエット化の対象から除去する。

これにより、シルエット化されるべき領域が、例えば頭部が検出されないことによって人体枠として検出されなかったとしても、その領域がシルエット化対象から除かれることを防ぐことができる。

上述の各実施形態によれば、撮像された画像の前景物が写っている領域のうち、人物等の所定の対象物体が含まれる領域をシルエット化し、影領域等の、所定の対象物体ではない領域の少なくとも一部をシルエット化しないような処理が行われる。すなわち、上述の人体枠は人物が含まれる領域であるため、その人体枠かつ前景領域によって特定される領域がシルエット化され、人体枠以外の領域は、前景領域であってもシルエット化されない。なお、人体枠は、一例において上述のように矩形領域として特定されうるため、場合によっては影の一部もシルエット化されうるが、シルエット化される影は少なくなるため、そのシルエットが人物であるか否かの判定が容易になる。

なお、上述の実施形態では、人物の一部である頭部やその一部に関連する物体（例えば帽子）の特徴が含まれる領域を特定し、その領域を人体比率等に基づいて拡張することによって人体枠を特定したが、これに限られない。例えば、人物等の隠蔽対象物体の全体が含まれる領域が一度に特定されてもよい。例えば、胴体部分も含む人体領域を一括して検出するための特定の関数を機械学習によって生成し、その関数に上述の入力画像を入力することによって、人体領域が一括して特定されうる。なお、機械学習には、既存の任意のアルゴリズムが用いられうる。

上述の実施形態では、前景領域中の人物等の所定の対象物体が写っている領域を抽象化することによって隠蔽した画像を生成する手法について説明した。この手法は、前景物体の強調表示や発見にも使用可能である。すなわち、上述の抽象化対象領域をその領域を囲む枠線などによって表示する等の用途にも使用可能である。これらの用途においても、単に前景領域が強調されると影領域まで強調されるが、本実施形態によれば、影領域については所定の対象物体の写った領域と異なる扱いがなされるため、影領域が強調されることはなくなる。なお、抽象化や匿名化の対象として、人や顔、車、動物などの種々のオブジェクトに上述の実施形態は適用することが可能である。

上述の各実施形態では、画像処理装置１０１について説明したが、必ずしも１つの装置によって上述の実施形態が具現化される必要はない。すなわち、１つ以上の装置によって上述の各処理を分担して実行するシステムによって構成されてもよい。システムは、一例において、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等によって構成されうる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：画像処理装置、１０２：記憶部、１０３：制御部、１０５：入力部、１０６：出力部、１０７：外部Ｉ／Ｆ、２０１：画像取得部、２０２：背景画像取得部、２０３：前景抽出部、２０４：頭部検出部、２０５：人体比率取得部、２０６：人体枠生成部、２０７：影除去部、２０８：隠蔽画像生成部、２０９：合成部

Claims (13)

1. 撮像によって得られた入力画像において前景物が写っている前景領域を抽出する抽出手段と、
   所定の対象物体の一部の大きさと当該所定の対象物体の全体の大きさとの比率の情報を、当該一部が写っている位置と、当該一部の大きさに対する前記所定の対象物体の全体の大きさの比率とを対応付ける情報を参照することによって、取得する取得手段と、
   前記前景領域のうち、前記所定の対象物体が写っている第１の領域を特定する特定手段であって、前記所定の対象物体の前記一部に関連する特徴が含まれる前記入力画像における第２の領域を検出し、前記比率の情報に基づいて、前記第２の領域を拡張することによって、前記入力画像から前記所定の対象物体が写っている第３の領域を特定し、前記前景領域かつ前記第３の領域の領域を、前記前景領域の中で所定の対象物体が写っている第１の領域として特定する特定手段と、
   前記前景領域のうち、前記所定の対象物体が写っていない第４の領域の少なくとも一部を抽象化せずに前記第１の領域を抽象化した出力画像を生成して出力する出力手段と、
   を有することを特徴とする画像処理装置。
2. 撮像によって得られた入力画像において前景物が写っている前景領域を抽出する抽出手段と、
   所定の対象物体の一部の大きさと当該所定の対象物体の全体の大きさとの比率の情報を取得する取得手段と、
   前記前景領域のうち、前記所定の対象物体が写っている第１の領域を特定する特定手段であって、前記所定の対象物体の前記一部に関連する特徴が含まれる前記入力画像における第２の領域を検出し、前記比率の情報に基づいて、前記第２の領域を拡張することによって、前記所定の対象物体が写っている第３の領域を特定し、前記前景領域かつ前記第３の領域の領域を、前記前景領域の中で所定の対象物体が写っている第１の領域として特定する特定手段と、
   前記前景領域のうち、前記所定の対象物体が写っていない第４の領域の少なくとも一部を抽象化せずに前記第１の領域を抽象化した出力画像を生成して出力する出力手段と、
   を有し、
   前記取得手段は、前記入力画像が撮像された際のカメラの向きと前記所定の対象物体の前記一部が写っている位置とに基づいて、前記比率を修正する修正手段をさらに有する、ことを特徴とする画像処理装置。
3. 前記所定の対象物体の前記一部は人物の頭部であり、前記第２の領域は当該頭部が含まれる領域であり、前記第３の領域は前記頭部を含む人体が写っている領域である、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 画像処理装置であって、
   撮像によって得られた入力画像において前景物が写っている前景領域を抽出する抽出手段と、
   所定の対象物体の一部の大きさと当該所定の対象物体の全体の大きさとの比率の情報を取得する取得手段と、
   前記前景領域のうち、前記所定の対象物体が写っている第１の領域を特定する特定手段であって、前記所定の対象物体の前記一部に関連する特徴が含まれる前記入力画像における第２の領域を検出し、前記比率の情報に基づいて、前記第２の領域を拡張することによって、前記所定の対象物体が写っている第３の領域を特定し、前記前景領域かつ前記第３の領域の領域を、前記前景領域の中で所定の対象物体が写っている第１の領域として特定する特定手段と、
   前記前景領域のうち、前記所定の対象物体が写っていない第４の領域の少なくとも一部を抽象化せずに前記第１の領域を抽象化した出力画像を生成して出力する出力手段と、
   を有し、
   前記所定の対象物体の前記一部は人物の頭部であり、前記第２の領域は当該頭部が含まれる領域であり、前記第３の領域は前記頭部を含む人体が写っている領域であり、
   前記画像処理装置は、前記第２の領域に写っている人物の年齢を推定する推定手段をさらに有し、
   前記取得手段は、前記推定手段によって推定された年齢に応じた前記比率の情報を取得し、
   前記特定手段は、前記推定手段によって推定された年齢に応じた前記比率の情報に基づいて、前記第２の領域を拡張することにより、前記第３の領域を特定する、
   ことを特徴とする画像処理装置。
5. 前記出力手段は、前記入力画像に対応する背景画像または当該入力画像に、前記第１の領域を塗りつぶしたシルエット画像を合成することによって、前記出力画像を生成する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記出力手段は、前記入力画像に対応する背景画像または当該入力画像に、前記第１の領域を塗りつぶしたマスク画像を透過して合成することによって、前記出力画像を生成する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
7. 前記出力手段は、前記入力画像に対応する背景画像または当該入力画像に、前記第１の領域にモザイク処理を施したモザイク画像を合成することによって、前記出力画像を生成する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
8. 前記出力手段は、前記入力画像に対応する背景画像または当該入力画像に、前記第１の領域をぼかしたぼかし画像を合成することによって、前記出力画像を生成する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
9. 前記第１の領域ではない領域のうち抽象化されるべき領域を設定する設定手段をさらに有する、
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 画像処理装置による画像処理方法であって、
    撮像によって得られた入力画像において前景物が写っている前景領域を抽出する抽出工程と、
    所定の対象物体の一部の大きさと当該所定の対象物体の全体の大きさとの比率の情報を、当該一部が写っている位置と、当該一部の大きさに対する前記所定の対象物体の全体の大きさの比率とを対応付ける情報を参照することによって、取得する取得工程と、
    前記前景領域のうち、前記所定の対象物体が写っている第１の領域を特定する特定工程であって、前記所定の対象物体の前記一部に関連する特徴が含まれる前記入力画像における第２の領域を検出し、前記比率の情報に基づいて、前記第２の領域を拡張することによって、前記入力画像から前記所定の対象物体が写っている第３の領域を特定し、前記前景領域かつ前記第３の領域の領域を、前記前景領域の中で所定の対象物体が写っている第１の領域として特定する特定工程と、
    前記前景領域のうち、前記所定の対象物体が写っていない第４の領域の少なくとも一部を抽象化せずに前記第１の領域を抽象化した出力画像を生成して出力する出力工程と、
    を有することを特徴とする画像処理方法。
11. 画像処理装置による画像処理方法であって、
    撮像によって得られた入力画像において前景物が写っている前景領域を抽出する抽出工程と、
    所定の対象物体の一部の大きさと当該所定の対象物体の全体の大きさとの比率の情報を取得する取得工程と、
    前記前景領域のうち、前記所定の対象物体が写っている第１の領域を特定する特定手段であって、前記所定の対象物体の前記一部に関連する特徴が含まれる前記入力画像における第２の領域を検出し、前記比率の情報に基づいて、前記第２の領域を拡張することによって、前記所定の対象物体が写っている第３の領域を特定し、前記前景領域かつ前記第３の領域の領域を、前記前景領域の中で所定の対象物体が写っている第１の領域として特定する特定工程と、
    前記前景領域のうち、前記所定の対象物体が写っていない第４の領域の少なくとも一部を抽象化せずに前記第１の領域を抽象化した出力画像を生成して出力する出力工程と、
    を有し、
    前記取得工程は、前記入力画像が撮像された際のカメラの向きと前記所定の対象物体の前記一部が写っている位置とに基づいて、前記比率を修正する修正工程をさらに有する、ことを特徴とする画像処理方法。
12. 画像処理装置による画像処理方法であって、
    撮像によって得られた入力画像において前景物が写っている前景領域を抽出する抽出工程と、
    所定の対象物体の一部の大きさと当該所定の対象物体の全体の大きさとの比率の情報を取得する取得工程と、
    前記前景領域のうち、前記所定の対象物体が写っている第１の領域を特定する特定手段であって、前記所定の対象物体の前記一部に関連する特徴が含まれる前記入力画像における第２の領域を検出し、前記比率の情報に基づいて、前記第２の領域を拡張することによって、前記所定の対象物体が写っている第３の領域を特定し、前記前景領域かつ前記第３の領域の領域を、前記前景領域の中で所定の対象物体が写っている第１の領域として特定する特定工程と、
    前記前景領域のうち、前記所定の対象物体が写っていない第４の領域の少なくとも一部を抽象化せずに前記第１の領域を抽象化した出力画像を生成して出力する出力工程と、
    を有し、
    前記所定の対象物体の前記一部は人物の頭部であり、前記第２の領域は当該頭部が含まれる領域であり、前記第３の領域は前記頭部を含む人体が写っている領域であり、
    前記画像処理方法は、前記第２の領域に写っている人物の年齢を推定する推定工程をさらに有し、
    前記取得工程では、前記推定工程において推定された年齢に応じた前記比率の情報が取得され、
    前記特定工程では、前記推定工程において推定された年齢に応じた前記比率の情報に基づいて、前記第２の領域を拡張することにより、前記第３の領域が特定される、
    ことを特徴とする画像処理方法。
13. コンピュータを、請求項１から９のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images