JP5693162B2 - 画像処理システム、撮像装置、画像処理装置及びそれらの制御方法、プログラム - Google Patents

Description

本発明は、ネットワークで介して撮像装置と画像処理装置とが接続されて構成される画像処理システムに関するものである。

監視およびモニタリングシステムでは、ネットワークカメラ等の撮像装置で撮像した撮像画像を画像解析処理することにより画像中の物体を検出する技術がある。

このような技術の一種として、画像中に人体領域あるいは顔領域が存在するかを検出する手法がある。これは、入力画像から特徴ベクトル等の特徴量を検出し、これに対して人体や顔等の検出対象物体の特徴量を保持した認識辞書を用いて比較を行う。そして、比較の結果として類似度や評価値とも称される尤度を検出することで、検出対象物体を検出する手法が知られている。この特徴量と認識辞書を用いる方法では、尤度が所定の閾値以上の場合に検出対象物が検出されたと見なし検出の判定を行うことができる。検出時には検出イベントとしてネットワーク上の他の機器に送信して、その他の機器で利用することが可能である。

また、画像中の物体検出の他の例として、非特許文献１では、局所領域の位置関係を確率モデルで表現し、人間の顔や自動車の認識を学習によって行う例が記載されている。

このような画像から物体を検出する技術を監視装置等のシステムに応用する提案もなされている。特許文献１の「侵入物体監視装置」では、物体検出時に画像並びに検出したイベント情報をネットワークを介して監視装置に送信し表示させることで、物体検出イベント発生時の監視を行うという提案がなされている。このような監視システムでは、画像を入力として検出処理を行う際に、その検出処理の実行場所は様々である。

特許文献２の「ネットワーク機器、ネットワークシステムおよび監視カメラシステム」では、カメラの停止・非停止状態に応じて端末側で検出処理をするという提案がなされており、検出処理の実行場所を切り替えることも可能である。同様に、特許文献３の「分散型画像処理装置」では、処理すべき画像フレームのみ第２画像処理装置側で詳細処理を行うという提案がなされている。

特開平７−２８８８０２号公報 特開２００８−１８７３２８号公報 特開２００７−２３３４９号公報

「一般物体認識の現状と今後」情報処理学会論文誌：コンピュータビジョンとイメージメディア, Vol48, No.SIG16(CVIM19)

しかしながら、カメラは、汎用のパーソナルコンピュータやサーバと異なり、一般的にＣＰＵやメモリ等のハードウェア資源に制約があり、その処理性能は低い。そのため、処理性能の低いカメラで、人体検出等の処理負荷の高い検出を行う場合や高解像度の画像を処理する場合ではリアルタイム処理が困難となることがある。また、パターン認識等の認識辞書と比較するような検出方式の場合では、検出対象物体の認識辞書の搭載量にも制限があるため、高精度に検出が行えない場合がある。

一方で、カメラから撮像画像やそのメタデータを受信して、画像処理サーバ等のサーバで検出処理を行う場合に、カメラの接続数が多くなるとサーバに負荷が集中し処理しきれなくなってしまうこともある。

本発明は上記の課題を解決するためになされたものであり、ネットワークカメラとネットワークを介して接続される画像処理装置で構成される、物体検出を行うための画像処理システムにおいて物体検出精度を向上させることを目的とする。

上記の目的を達成するための本発明によるが画像処理システムは以下の構成を備える。即ち、
ネットワークを介して撮像装置と画像処理装置とが接続されて構成される、物体検出を行うための画像処理システムであって、
前記撮像装置は、
画像を撮像する撮像手段と、
前記撮像手段で撮像した撮像画像から得られる検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する第１尤度検出手段と、
１）前記第１尤度検出手段で検出した尤度が所定の基準を満たす場合、前記検出対象の物体領域を、前記所定の種類の物体として検出して該物体領域についての特定済の物体情報を生成し、２）前記第１尤度検出手段で検出した尤度が所定の基準を満たさない場合、前記検出対象の物体領域を、前記画像処理装置において再度の物体検出を行うために用いられる暫定の物体情報を生成する第１物体検出手段と、
前記撮像画像から得られる検出対象の物体領域それぞれについて生成された前記特定済の物体情報あるいは前記暫定の物体情報を統合した統合物体情報を前記ネットワークを介して前記画像処理装置へ送信する送信手段とを備え、
前記画像処理装置は、
前記ネットワークを介して前記撮像装置から統合物体情報を受信する受信手段と、
前記統合物体情報に含まれる暫定の物体情報によって指定される検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する第２尤度検出手段と、
前記第２尤度検出手段で検出した尤度が所定の基準を満たす場合、前記検出対象の物体領域を、前記所定の種類の物体として検出して該物体領域についての特定済の物体情報を生成する第２物体検出手段と、
前記統合物体情報に含まれる特定済の物体情報と、前記第２物体検出手段で生成した特定済の物体情報を結合した特定済の物体情報を出力する出力手段と
を備えることを特徴とする画像処理システム。

本発明によれば、ネットワークカメラとネットワークを介して接続される画像処理装置で構成される、物体検出を行うための画像処理システムにおいて物体検出精度を向上させることができる。

実施形態１の画像処理システムの全体構成図である。 実施形態１のネットワークカメラの内部構成を示すブロック図である。 実施形態１の画像処理装置の内部構成を示すブロック図である。 実施形態１のネットワークカメラの処理手順を示すフローチャートである。 実施形態１の画像処理装置の処理手順を示すフローチャートである。 実施形態２の画像処理装置の内部構成を示すブロック図である。 実施形態２の画像処理装置の処理手順を示すフローチャートである。 実施形態１の特定済の物体情報と暫定の物体情報の検出例を説明するための図である。 実施形態１特定済の物体情報と暫定の物体情報の検出例を説明するための図である。 実施形態１の物体情報のデータ構造を示す図である。 実施形態２の物体情報のデータ構造を示す図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
実施形態１では、ネットワークカメラ側で撮像画像データの特徴量と認識辞書とを比較し、人体等の検出対象物体の尤度を検出する物体検出処理を行い、その検出した尤度に従い検出結果と特徴量を画像処理装置へ送信する。これらを受信した画像処理装置側では特徴量を利用して物体再検出処理を行う。

図１は実施形態１の画像処理システムの全体構成図である。

図１において、１０１及び１０２はネットワークカメラである。１０３は画像処理装置、１０４は表示装置である。ネットワークカメラ１０１及び１０２と画像処理装置１０３並びに表示装置１０４は、ネットワーク１０５を介して接続される。ここで、ネットワーク１０５は、専用ネットワークでもインターネットを使用してもよい。

ネットワークカメラ１０１または１０２は、画像処理装置１０３に対して撮像画像や検出結果を送信する。ここで、検出結果とは、検出した物体情報や、その物体が人体や顔等の、指定した種類の物体であるかの情報や検出処理で使用される尤度や特徴量等のデータである。

画像処理装置１０３は、ＰＣ（パーソナルコンピュータ）等の情報処理装置である。画像処理装置１０３は、ネットワークカメラ１０１または１０２から、画像データや検出結果を受信し、その受信した画像データや検出結果を、または物体再検出処理の検出結果を表示装置１０４に対し出力する。

図２は実施形態１のネットワークカメラの内部構成を示すブロック図である。

図２において、２０１はレンズや撮像素子からなる撮像部であり、撮像画像データを特徴量検出部２０４へ送信する処理や画像データ処理部２０２へ送信する処理を行う。画像データ処理部２０２は、画像データの符号化処理を行う。符号化方式としては、ＪＰＥＧやＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の方式がある。符号化画像データは、ＨＴＴＰやＲＴＰ等の通信方式で、通信インタフェース（Ｉ／Ｆ）２０９を通じて、画像処理装置１０３へ送信される。

２０３は物体検出処理部であり、特徴量検出部２０４、尤度検出部２０５、物体検出部２０７から構成される。特徴量検出部２０４は、画像データの特徴量の検出処理を行う。ここでの特徴量とは、画像の特徴を示すデータであり、後述する人体尤度検出時に利用する内部処理用のデータである。尤度検出部２０５は、認識辞書２０６に登録されている特徴量を利用し、検出対象物体（指定した種類の物体）の確からしさを示す尤度の検出を行う。また、尤度検出部２０５は、その尤度に基づいて、検出対象物体に対する指標を生成しても良い。この指標とは、指定した種類の物体であることを示す第１の指標、検出対象物体が指定した種類の物体かもしれないことを示す第２の指標、検出対象物体が指定した種類の物体でないことを示す第３の指標がある。

認識辞書２０６は、事前に登録された一般的な人体の特徴量を保持している。人体の特徴量とは、頭部の形状や、肩の頭部との相対位置や出具合等を示す情報であり、人体としての特徴を示す情報である。

実施形態１では、特に、尤度検出部２０５は、認識辞書２０６に保持されている特徴量と入力画像の特徴量とを比較し、その比較結果に基づいて、入力画像中から人体位置とその人体尤度の検出を行う。人体尤度とは、検出物体が人体である確からしさを示す度合いのことであり、０から１００までの範囲をとる。人体尤度が１００に近いほど人体の可能性が高く０に近くなるほど人体としての可能性は低くなることを示す。

尚、実施形態１では、検出対象物体は人体としているが、顔やその他の物体でもよく、事前にこれらの特徴量を認識辞書２０６に保持しておくことで、人体以外の物体及び尤度検出を行うことも可能である。

物体検出部２０７は、尤度検出部２０５で検出した人体尤度と所定の閾値を比較し検出対象物体を検出する。

検出結果生成部２０８は、物体検出部２０７の検出結果に基づいて、統合物体情報の生成を行い、それを検出結果として出力する。物体情報には、物体が人体であると特定された特定済の物体情報と、所定の基準に満たない物体情報（暫定の物体情報）が含まれる。特定済の物体情報とは、検出対象物体の尤度が所定の第１の閾値以上であり、検出対象物体が検出物体であると特定した情報である。つまり、ここでは、人体であるという情報である。一方、所定の基準に満たない物体情報（暫定の物体情報）とは、画像処理装置１０３側で、物体再検出処理を行うために必要となる物体関連情報である。この物体関連情報には、特徴量（更には、尤度）・物体領域情報（物体領域の位置を示す領域データ、及びその物体領域に対応する部分画像データ等）がある。

２０９は通信インタフェース（Ｉ／Ｆ）であり、画像データ処理部２０２からの符号化画像データや検出結果生成部２０８の検出結果を送信する。

ここで、図８と図９を用いて、特定済の物体情報と暫定の物体情報の検出例を示す。

図８において、８０１は撮像画像である。撮像画像８０１中には、物体Ａ（８０２）、物体Ｂ（８０３）、物体Ｃ（８０４）が含まれている。ここで、特徴量検出部２０４、尤度検出部２０５及び認識辞書２０６を用いることで、物体Ａ、Ｂ、Ｃのそれぞれの、ＩＤ、位置（外接矩形）、人体尤度、人体判定結果、特徴量が図９のように算出される。

ここでは、所定の閾値として、閾値ａ：８０.０、閾値ｂ：５０.０と設定されているとする。物体Ａは第１の閾値以上（閾値ａ以上）であるため人体と判定される（人体判定結果：○）。物体Ｂは第１の閾値未満（閾値ａ未満）かつ第２の閾値以上（閾値ｂ以上）であるため人体らしき物体と判定される（人体判定結果：△）。物体Ｃは第２の閾値未満（閾値ｂ未満）であるため人体ではないと判定される（人体判定結果：×）。

図３は実施形態１の画像処理装置の内部構成を示すブロック図である。

図３において、３０１は通信インタフェース（Ｉ／Ｆ）であり、ネットワーク１０５から統合物体情報を含む検出結果を受信する。検出データ処理部３０２は、検出結果に含まれる統合物体情報の内、特定済の物体情報を検出結果結合部３０８へ送信し、暫定の物体情報を尤度検出部３０４へ送信する。３０３は物体検出処理部であり、尤度検出部３０４と物体検出部３０６から構成される。

尚、ネットワークカメラ１０１あるいは１０２の尤度検出部２０５及び物体検出部２０７を第１尤度検出部及び第１物体検出部とすると、画像処理装置１０３の尤度検出部３０４及び物体検出部３０６は、第２尤度検出部及び第２物体検出部となる。

尤度検出部３０４は、認識辞書３０５に登録されている特徴量を利用して、検出対象物体の尤度検出を行う。認識辞書３０５は、ネットワークカメラ１０１や１０２の認識辞書２０６と比較して記録容量は大きく、多くの特徴量を保持しており、より正確な物体検出が可能である。多くの特徴量とは、例えば、多方向の人体の特徴量等であるが、詳しくは後述する。物体検出部３０６は、尤度検出部３０４で検出した尤度を基に、検出対象物体を検出物体とする処理を行う。このように、物体検出部３０６は、ネットワークカメラ１０１や１０２が実行した検出対象物体に対して、再度の物体検出処理（物体再検出処理）を実行する。

尚、ネットワークカメラ１０１あるいは１０２の認識辞書２０６を第１認識辞書とすると、画像処理装置１０３の認識辞書３０５は、第２認識辞書となる。

３０７は検出結果生成部３０７であり、物体情報の生成を行い、それを検出結果として出力する。３０８は検出結果結合部であり、ネットワークカメラ１０１や１０２側で人体と検出した検出結果と、画像処理装置１０３側で人体と検出した検出結果の結合処理を行う。この結合処理では、ネットワークカメラ１０１あるいは１０２と、画像処理装置１０３とそれぞれで行った物体検出処理によって得られた検出結果から、人体と特定された物体のみの検出結果を結合する。これにより、出力としては人体と特定された物体のみが物体（人体）検出の検出結果となる。

３０９は出力制御部であり、検出結果結合部３０８の検出結果の出力を行う。３１０はカメラ設定部であり、ネットワークカメラ１０１あるいは１０２に対し物体検出の閾値等の各種設定をネットワーク１０５を介して行う。

尚、実施形態１では、ネットワークカメラ１０１あるいは１０２に設定される閾値は所定の閾値としているが、ネットワーク１０５で通信される画像処理装置１０３のＣＰＵやネットワーク帯域等の性能に応じて閾値を変更するようにしてもかまわない。これにより、処理能力の高い画像処理装置と接続するネットワークカメラは、人体検出処理の人体らしき物体となる検出閾値範囲を広く設定して、物体再検出処理を画像処理装置側に割り当てることで、ネットワークカメラ側の処理を省力化することができる。一方で、処理能力の低い画像処理装置と接続する場合は、人体らしき物体となる検出閾値範囲を狭め、画像処理装置側と比べてネットワークカメラ側で処理を多く分担させるようにすることが可能である。

図４は実施形態１のネットワークカメラの処理手順を示すフローチャートである。

図４において、ステップＳ４０１で、撮像部２０１より入力される画像データを、画像データ処理部２０２及び特徴量検出部２０４がそれぞれ取得する。尚、画像データ処理部２０２では、取得した画像データの画像処理として、符号化を行う。ステップＳ４０２で、特徴量検出部２０４が、入力された画像データから得られる物体領域（群）の内、選択した物体領域の特徴量を検出する。

ステップＳ４０３で、尤度検出部２０５が、検出した特徴量と認識辞書２０６を比較し、画像データから人体と推定される物体領域と、その物体領域における人体の確からしさである尤度の検出を行う。ここで、ステップＳ４０３において、認識辞書２０６に、人体の特徴量に加えて顔の特徴量を登録しておくことで、検出物体が顔であるかの尤度を検出するようにしてもよい。このように、認識辞書２０６を検出対象物体の種類（人体、顔等）に対応する認識辞書に切り替えるあるいは共用することで任意の種類の物体を検出することも可能である。ここで、さらに、認識辞書２０６として性別や年齢、服装等の特徴量を含めることで、より詳細な人体検出を行えるようにしてもよい。

ステップＳ４０４で、物体検出部２０７が、ステップＳ４０３で検出した尤度について、第１の閾値ａ（８０．０）を基準に分類を行う。尤度が第１の閾値ａ以上であると判定した場合（ステップＳ４０５でＹＥＳ）、画像の物体領域を特定済の物体情報（人体）として検出する。ステップＳ４０５で、物体検出部２０７が、人体として検出された物体の物体情報（人体情報）を生成する。人体情報とは、物体ＩＤ、物体領域、その位置、人体判定結果、特徴量等である。また、認識辞書２０６の種類を増やすことで性別や年齢、服装等を得られた場合は、これらのデータ項目を人体情報に追加するようにしてもよい。

一方、尤度が第１の閾値ａ未満であると判定した場合（ステップＳ４０５でＮＯ）、ステップＳ４０６で、物体検出部２０７が、ステップＳ４０３で検出した尤度について、第２の閾値ｂ（５０.０）を基準に分類を行う。尤度が第２の閾値ｂ未満であると判定した場合（ステップＳ４０６でＮＯ）、ステップＳ４０８に進む。一方、尤度が第２の閾値ｂ以上であると判定した場合（ステップＳ４０６でＹＥＳ）、画像の物体領域を所定の基準を満たない物体情報として検出する。ここで第２の閾値ｂは、第１の閾値ａと比較して低く設定している。ステップＳ４０７で、物体検出部２０７が、物体領域に関する暫定の物体情報の生成を行う。ここでの暫定の物体情報とは、ネットワークで受信した側（画像処理装置１０３）が物体再検出処理を行うために必要となる物体関連情報である。この物体関連情報には、特徴量（更には、尤度）・物体領域情報（例えば、物体領域の位置を示す領域データ及びその物体領域に対応する部分画像データ）を含む情報がある。

ステップＳ４０８で、画像中で検出された各物体領域について処理が終了したか否かを判定する。処理が終了していない場合（ステップＳ４０８でＮＯ）、次の処理対象の物体領域を選択して、その特徴量を検出するために、ステップＳ４０２に戻る。一方、処理が終了している場合（ステップＳ４０８でＹＥＳ）、ステップＳ４０９に進む。

ステップＳ４０９で、検出結果生成部２０８が、特定済の物体情報（人体と特定された人体情報）と、複数の人体らしき物体領域の情報を含む暫定の物体情報とを統合した物体情報（統合物体情報）を検出結果として生成する。つまり、統合物体情報は、第１の閾値ａ以上の物体領域について人体であると判定された特定済の物体情報と、第２の閾値ｂ以上、第１の閾値ａ未満の物体領域について人体であるかもしれないと判定された暫定の物体情報を含んでいる。

図８と図９を用いて説明すると、物体Ａは人体尤度が第１の閾値ａより高いため、特定済の物体情報となる。物体Ａについては、人体領域の位置、人体尤度９０．０、人体判定結果（指標として、人体であることを示す第１の指標「○」）、特徴量８１０からなる特定済の物体情報が生成される。ここで、物体領域（人体領域）の位置は、例えば、図８の物体Ａの領域を規定する左上頂点座標（ｘ１，ｙ１）−右下頂点座標（ｘ２，ｙ２）＝（２００，１５０）−（４００，６５０）となる。

物体Ｂは人体尤度が第２の閾値ｂ以上であり第１の閾値ａ未満であるため、人体かもしれない物体として、暫定の物体情報となる。物体Ｂについては、人体領域の位置、人体尤度７０．０、人体判定結果（指標として、人体かもしれないことを示す第２の指標「△」）、特徴量５１０からなる暫定の物体情報が生成される。ここで、物体領域の位置は、例えば、図８の物体Ｂの領域を規定する左上頂点座標（ｘ１，ｙ１）−右下頂点座標（ｘ２，ｙ２）＝（６００，１００）−（７００，３００））となる。

物体Ｃは人体尤度が第２の閾値ｂに満たないため、人体でないと判定され、物体情報も物体関連情報も生成されない。但し、その物体情報として生成することも可能であり、その場合、物体Ｃについては、人体領域の位置、人体尤度２０．０、人体判定結果（指標として、人体でないことを示す第３の指標「×」）、特徴量３１０からなる物体情報が生成される。ここで、物体領域の位置は、例えば、図８の物体Ｃの領域を規定する左上頂点座標（ｘ１，ｙ１）−右下頂点座標（ｘ２，ｙ２）＝（５５０，５００）−（７００，６００））となる。

図１０（ａ）は実施形態１の物体情報のデータ構造を示す図である。図１０（ａ）に示されるように、物体情報としては、特定済の物体情報と、暫定の物体情報とで、それぞれ管理されるデータ項目が異なる。特定済の物体情報では、データ項目として、「物体ＩＤ」と「物体領域」が管理される。暫定の物体情報では、データ項目として、「物体ＩＤ」と「物体領域」に加えて、更に、「特徴量」と「人体尤度」が管理される。但し、「人体尤度」は必須ではなく、データ量削減のために管理しないようにすることもできる。

尚、実施形態１においては、画像中の物体領域を特定する領域として外接矩形を用いているが、物体領域の位置を把握できる構成であれば、多角形や曲線、該当ピクセル等のどのようなデータであっても構わない。

図４の説明に戻る。

ステップＳ４１０で、ステップＳ４０８で生成した検出結果（統合物体情報）と画像データ処理部２０２が生成した画像データを通信インタフェース２０９を介してネットワーク１０５に送信する。

図５は実施形態１の画像処理装置の処理手順を示すフローチャートである。

図５において、ステップＳ５０１で、ネットワーク１０５から、検出結果（統合物体情報と画像データ）を通信インタフェース３０１を介して受信する。尚、検出結果に含まれる画像データは、用途や目的に応じて、出力制御部３０９を介して出力しても良いし、出力しなくても良い。ステップＳ５０２で、検出データ処理部３０２が、検出結果に含まれる統合物体情報の分離処理を行う。分離処理は、統合物体情報から、特定済の物体情報と暫定の物体情報とに分離する。この分離処理後、検出データ処理部３０２は、特定済の物体情報を検出結果結合部３０８へ送信し、暫定の物体情報を尤度検出部３０４へ送信する。

ステップＳ５０３で、検出データ処理部３０２が、統合物体情報に含まれる単数または複数の物体情報（特定済の物体情報あるいは暫定の物体情報）を１つ選択し、その物体情報に特徴量が含まれているか否か判定する。特徴量が含まれていないと判定した場合（ステップＳ５０３でＮＯ）、その物体情報は特定済の物体情報であるため、検出データ処理部３０２は、その物体情報を検出結果結合部３０８へ送信する。一方、特徴量が含まれていると判定した場合（ステップＳ５０３でＹＥＳ）、その物体情報は暫定の物体情報であるため、ステップＳ５０４へ進む。

次に、ステップＳ５０４で、尤度検出部３０４が、暫定の物体情報に含まれる特徴量と認識辞書３０５を比較し、物体領域における尤度を検出する。認識辞書３０５は、ネットワークカメラ１０１や１０２の認識辞書２０６と比較して記録容量は大きく、多くの特徴量を保持しておりより正確な物体検出が可能である。

具体的には、ネットワークカメラ１０１や１０２の認識辞書２０６は正面方向（人体の指定された基準から指定された角度以内の方向）の人体の特徴量を保持している。一方、画像処理装置１０３の認識辞書３０５は横向き、後ろ向き、斜め上方から等の多方向（人体の指定された基準から指定された異なる複数の角度以内の方向）の人体の特徴量を保持している。

これにより、画像処理装置１０３ではより高精度な人体検出が可能となる。認識辞書３０５に顔の特徴量を保持した場合も同様であり、ネットワークカメラ１０１や１０２の物体検出処理だけでは正面方向の顔しか検出できない場合でも、画像処理装置１０３では正面方向以外の方向の顔を検出することが可能となる。

また、ネットワークカメラ１０１や１０２の認識辞書２０６に特定の個人の顔の特徴量を保持させ、画像処理装置１０３の認識辞書３０５に複数種類の個人の顔の特徴量を保持させても良い。

尚、ステップＳ５０４では、物体情報に更に尤度が含まれる場合、その尤度が所定値以上の場合のみ、その物体情報に対する尤度検出処理を行うようにしてもよい。これにより、画像処理装置１０３側の検出精度や処理能力に応じて所定値を設定することで画像処理装置の負荷の軽減や処理速度の向上を図ることも可能である。

ここで、物体情報に尤度が含まれる場合の物体情報のデータ構造例を図１０（ｂ）に示す。図１０（ｂ）では物体情報として、物体ＩＤ、その物体領域、特徴量に加えて、人体尤度を含んでいる。図１０（ｂ）のように、図１０（ａ）と比較して、特定済の物体情報と暫定の物体情報を区別することなく、検出物体毎に尤度を加えて物体情報とする構造にすることもできる。また、ここでは、尤度を数値ではなく３段階の指標（○、△、×）で人体の確からしさを示している。このように数値ではなく尤度を示す指標であればどのような形式でも構わない。

ステップＳ５０５で、物体検出部３０６が、ステップＳ５０４で検出した尤度について、所定の閾値ｃ（第３の閾値未満）を基準に分類を行う。尤度が閾値ｃ未満（第３の閾値未満）であると判定した場合（ステップＳ５０５でＮＯ）、処理対象の物体情報が示す物体は人体でないと判定し、その物体情報は破棄して、ステップＳ５０７に進む。一方、尤度が閾値ｃ以上（第３の閾値以上）であると判定した場合（ステップＳ５０５でＹＥＳ）、ステップＳ５０６で、検出結果生成部３０７が、物体情報を人体の物体情報（特定済の物体情報）として生成する。

尚、第３の閾値ｃは、第１の閾値ａと同じでも良いし、ある程度の許容を認めるのであれば、第３の閾値ｃは、第２の閾値ｂ＜＜第３の閾値ｃ＜第１の閾値ａ（第３の閾値は、第１の閾値以下かつ第２の閾値より大きい）としても良い。いずれにしても、用途や目的に応じて、その値を設定することができる。

ステップＳ５０７で、統合物体情報に含まれる全物体情報の処理が終了したか否かを判定する。処理が終了していない場合（ステップＳ５０７でＮＯ）、次の処理対象の物体情報を選択して、その特徴量の有無を判定するために、ステップＳ５０３に戻る。一方、処理が終了している場合（ステップＳ５０７でＹＥＳ）、ステップＳ５０８に進む。

ステップＳ５０８で、検出結果結合部３０８が、ネットワークカメラ１０１や１０２で人体と検出した検出結果（特定済の物体情報）と、画像処理装置１０３で人体と検出した検出結果（特定済の物体情報）の結合を行う。ステップＳ５０９で、出力制御部３０９が、検出結果を出力する。ステップＳ５１０で、各ネットワークカメラから受信した画像中の全ての物体情報について処理が終了したか否かを判定する。処理が終了していない場合（ステップＳ５１０でＮＯ）、次の画像を処理するために、ステップＳ５０１へ戻る。一方、処理が終了している場合（ステップＳ５１０でＹＥＳ）、終了する。

以上説明したように、実施形態１によれば、ネットワークカメラは検出対象物体の特徴量と尤度を検出する。そして、ネットワークカメラは、検出結果として、特定済の物体情報と共に、尤度が所定の閾値の範囲内の検出対象物体に関しては中間処理データである特徴量を含む暫定の物体情報を画像処理装置に送信する。ネットワークから物体情報を含む検出結果を受信した画像処理装置は、特徴量を含む物体情報を利用して物体再検出処理を行う。これにより、ネットワークカメラと画像処理装置における検出処理の負荷を分散するとともに、高い精度で検出対象物体の物体検出処理を実行することができる。

＜実施形態２＞
実施形態２では、ネットワークカメラは、物体検出処理として、尤度や特徴量の検出を省略して、物体領域の検出のみを実行する。そのため、ネットワークカメラは、検出結果として、物体領域情報（物体領域の位置を示す領域データ）のみを含む物体情報と画像データを画像処理装置に送信する。一方、画像処理装置では、受信する画像データと物体情報から、必要な物体領域に対応する画像データの尤度、特徴量を検出して、最終的な物体情報を検出する物体検出処理を実行する。実施形態２の構成は、特に、ネットワークカメラの処理性能が低い場合に有効である。

実施形態２は、実施形態１と構成は同様であるため説明を省略し、相違部分を中心に説明する。

実施形態２においても、ネットワークカメラは図２の構成をとる。図２において、画像データ処理部２０２では撮像画像データを符号化し、通信インタフェース２０９で送信する。実施形態２では、撮像画像データ全体を符号化して送信する。

検出結果生成部２０８では、統合物体情報を生成する。実施形態２における統合物体情報とは、ネットワークを介して受信する画像処理装置１０３側が物体検出処理に必要となる物体関連情報であり、具体的には、特定済の物体情報についても暫定の物体情報についても、「物体ＩＤ」と「物体領域」で構成される。実施形態１の図１０の統合物体情報に含まれる暫定の物体情報と比較して、特徴量や人体尤度は含まれない。

図１１（ａ）は実施形態２の物体情報のデータ構造を示す図である。図１１（ａ）では、物体情報として特定済の物体情報と、暫定の物体情報がある。実施形態２では、画像処理装置１０３側に送信するデータとしては、この物体情報と画像データがある。

図６は実施形態２の画像処理装置の内部構成を示すブロック図である。

図６において、６０１は通信インタフェース（Ｉ／Ｆ）であり、ネットワーク１０５から物体情報を含む検出結果を受信する。画像データ処理部６０２は、検出結果に含まれる物体情報の内、特定済の物体情報を検出結果結合部６１０へ送信し、暫定の物体情報を特徴量検出部６０５へ送信する。

画像データ処理部６０２は、受信した符号化画像データの復号化を行う。また、さらに、物体検出処理部６０４からの要求に応じて画像データから物体領域に対応する部分画像データを抽出して、特徴量検出部６０５へ提供する。

物体検出処理部６０４は、特徴量検出部６０５、尤度検出部６０６、物体検出部６０８から構成される。特徴量検出部６０５は、画像データの特徴量の検出処理を行う。尤度検出部６０６は、認識辞書６０７に登録されている特徴量を利用し、検出対象物体の尤度検出を行う。また、尤度検出部６０６は、その尤度に基づいて、検出対象物体に対する指標を生成しても良い。この指標とは、指定した種類の物体であることを示す第１指標、検出対象物体が指定した種類の物体かもしれないことを示す第２指標、検出対象物体が指定した種類の物体でないことを示す第３指標がある。

認識辞書６０７は、事前に登録された一般的な人体の特徴量を保持している。物体検出部６０８は、尤度検出部６０６で検出した人体尤度と所定の閾値を比較し検出対象物体を検出する。検出結果生成部６０９は、特定済の物体情報を生成する。特定済の物体情報とは、検出対象物体の尤度が所定の第１の閾値以上であり、検出対象物体が検出物体であると特定した情報である。つまり、ここでは、人体であるという情報である。

６１０は検出結果結合部であり、ネットワークカメラ１０１や１０２側で人体と検出した検出結果と、画像処理装置側で人体と検出した検出結果の結合処理を行う。この結合処理では、ネットワークカメラ１０１あるいは１０２と、画像処理装置１０３とそれぞれで行った物体検出処理によって得られた検出結果から、人体と特定された物体のみの検出結果を結合する。これにより、出力としては人体と特定された物体のみが物体（人体）検出の検出結果となる。

６１１は出力制御部であり、検出結果結合部６１０の検出結果の出力と画像データの出力を行う。６１２はカメラ設定部であり、ネットワークカメラ１０１あるいは１０２に対し物体検出の閾値等の設定をネットワーク１０５を介して行う。

図７は実施形態２の画像処理装置の処理手順を示すフローチャートである。

図７において、ステップＳ７０１で、ネットワークから画像データと、検出結果（統合物体情報）を受信する。ステップＳ７０２で、検出データ処理部６０３が、検出結果に含まれる統合物体情報の分離処理を行う。分離処理は、統合物体情報から、特定済の物体情報と暫定の物体情報とを分離する。この分離処理後、検出データ処理部６０３は、特定済の物体情報を検出結果結合部６１０へ送信し、暫定の物体情報を特徴量検出部６０５へ送信する。

ステップＳ７０３で、検出データ処理部６０３が、統合物体情報に含まれる単数または複数の物体情報（特定済の物体情報あるいは暫定の物体情報）を１つ選択し、その物体情報が暫定の物体情報であるか否かを判定する。暫定の物体情報でないと判定した場合（ステップＳ７０３でＮＯ）、その物体情報は特定済の物体情報であるため、検出データ処理部６０３は、その物体情報を検出結果結合部６１０へ送信する。一方、暫定の物体情報であると判定した場合（ステップＳ７０３でＹＥＳ）、その物体情報は暫定の物体情報であるため、ステップＳ７０４へ進む。

ステップＳ７０４で、特徴量検出部６０５が、受信した画像データから、暫定の物体情報に含まれる物体領域情報（物体位置を示す領域データ）に対応する画像データ（部分画像データ）を画像データ処理部６０２から取得する。ステップＳ７０５で、特徴量検出部６０５が、取得した物体領域に対応する画像データに対して、その特徴量を検出する。

尚、実施形態２では、画像処理装置１０３側で撮像画像の画像データから物体領域に対応する画像データを取得する処理としているが、これに限定されない。例えば、ネットワークカメラ側で物体領域に対応する画像データを撮像画像から抽出しておき、物体情報に含めて送信するようにしてもよい。

この場合の物体情報のデータ構成例を図１１（ｂ）に示す。このような物体領域の画像データのみを送受信する構成をとった場合、ネットワークカメラから撮像画像全体の符号化画像データ（全領域の符号化画像データ）を送信しなくてもよい。

ステップＳ７０６で、尤度検出部６０６が、ステップＳ７０５で検出した特徴量と認識辞書６０７を比較し、物体領域における尤度を検出する。ステップＳ７０７で、ステップＳ７０６で検出した尤度について、第１の閾値ａを基準に分類を行う。尤度が第１の閾値ａ未満であると判定した場合（ステップＳ７０７でＮＯ）、処理対象の物体情報が示す物体は人体でないと判定し、その物体情報は破棄して、ステップＳ７０９に進む。一方、尤度が第１の閾値ａ以上であると判定した場合（ステップＳ７０７でＹＥＳ）、ステップＳ７０８で、検出結果生成部６０９が、物体情報を人体の物体情報（特定済の物体情報）として生成する。

ステップＳ７０９で、統合物体情報に含まれる全物体情報の処理が終了したか否かを判定する。処理が終了していない場合（ステップＳ９０７でＮＯ）、次の処理対象の物体情報を選択して、特定済の物体情報であるか暫定の物体情報であるかを判定するために、ステップＳ７０３に戻る。一方、処理が終了している場合（ステップＳ７０９でＹＥＳ）、ステップＳ７１０に進む。

ステップＳ７１０で、検出結果結合部６１０が、ネットワークカメラ１０１や１０２で人体と検出した検出結果（特定済の物体情報）と、画像処理装置１０３で人体と検出した検出結果（特定済の物体情報）の結合を行う。ステップＳ７１１で、出力制御部３０９が、画像データと検出結果を出力する。ステップＳ７１２で、各ネットワークカメラから受信した画像中の全ての物体情報について処理が終了したか否かを判定する。処理が終了していない場合（ステップＳ７１２でＮＯ）、次の画像を処理するために、ステップＳ７０１へ戻る。一方、処理が終了している場合（ステップＳ７１２でＹＥＳ）、終了する。

以上説明したように、実施形態２によれば、ネットワークカメラは検出物体の物体領域を検出し、検出結果として、特定済の物体情報と共に、物体領域情報を含む物体情報と、画像データを画像処理装置に送信する。物体情報と画像データを含む検出結果を受信した画像処理装置は、物体領域情報を含む物体情報を利用して、物体検出処理を行う。これにより、特に、ネットワークカメラの処理性能が低い場合に、その処理負荷を軽減して、システム全体として効率的かつ精度良く物体検出処理を実行することができる。

尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (15)

1. ネットワークを介して撮像装置と画像処理装置とが接続されて構成される、物体検出を行うための画像処理システムであって、
   前記撮像装置は、
   画像を撮像する撮像手段と、
   前記撮像手段で撮像した撮像画像から得られる検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する第１尤度検出手段と、
   １）前記第１尤度検出手段で検出した尤度が所定の基準を満たす場合、前記検出対象の物体領域を、前記所定の種類の物体として検出して該物体領域についての特定済の物体情報を生成し、２）前記第１尤度検出手段で検出した尤度が所定の基準を満たさない場合、前記検出対象の物体領域を、前記画像処理装置において再度の物体検出を行うために用いられる暫定の物体情報を生成する第１物体検出手段と、
   前記撮像画像から得られる検出対象の物体領域それぞれについて生成された前記特定済の物体情報あるいは前記暫定の物体情報を統合した統合物体情報を前記ネットワークを介して前記画像処理装置へ送信する送信手段とを備え、
   前記画像処理装置は、
   前記ネットワークを介して前記撮像装置から統合物体情報を受信する受信手段と、
   前記統合物体情報に含まれる暫定の物体情報によって指定される検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する第２尤度検出手段と、
   前記第２尤度検出手段で検出した尤度が所定の基準を満たす場合、前記検出対象の物体領域を、前記所定の種類の物体として検出して該物体領域についての特定済の物体情報を生成する第２物体検出手段と、
   前記統合物体情報に含まれる特定済の物体情報と、前記第２物体検出手段で生成した特定済の物体情報を結合した特定済の物体情報を出力する出力手段と
   を備えることを特徴とする画像処理システム。
2. 前記撮像装置は、
   前記撮像画像から得られる検出対象の物体領域の特徴量を検出する特徴量検出手段を更に備え、
   前記第１物体検出手段は、前記検出対象の物体領域の特徴量を含む、前記特定済の物体情報あるいは前記暫定の物体情報を生成する
   ことを特徴とする請求項１に記載の画像処理システム。
3. 前記第１物体検出手段は、前記検出対象の物体領域に対応する部分画像データを含む、前記特定済の物体情報あるいは前記暫定の物体情報を生成する
   ことを特徴とする請求項１に記載の画像処理システム。
4. 前記撮像装置の前記第１尤度検出手段の尤度検出に用いる第１認識辞書と、前記画像処理装置の前記第２尤度検出手段の尤度検出に用いる第２認識辞書とは異なる
   ことを特徴とする請求項１に記載の画像処理システム。
5. 前記第１認識辞書は、人体または顔の指定された基準から指定された角度以内の方向についての人体または顔の特徴量を保持し、
   前記第２認識辞書は、人体または顔の指定された基準から異なる複数の角度以内の方向それぞれについての人体または顔の特徴量を保持している
   ことを特徴とする請求項４に記載の画像処理システム。
6. 前記第１認識辞書は、特定の個人の顔の特徴量を保持し、
   前記第２認識辞書は、複数種類の特定の個人の顔の特徴量を保持している
   ことを特徴とする請求項４に記載の画像処理システム。
7. ネットワークを介して画像処理装置に接続された、物体検出を行うための撮像装置であって、
   画像を撮像する撮像手段と、
   前記撮像手段で撮像した撮像画像から得られる検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する第１尤度検出手段と、
   １）前記第１尤度検出手段で検出した尤度が所定の基準を満たす場合、前記検出対象の物体領域を、前記所定の種類の物体として検出して該物体領域についての特定済の物体情報を生成し、２）前記第１尤度検出手段で検出した尤度が所定の基準を満たさない場合、前記検出対象の物体領域に対して前記画像処理装置において再度の物体検出を行うために用いられる暫定の物体情報を生成する第１物体検出手段と、
   前記撮像画像から得られる検出対象の物体領域それぞれについて生成された前記特定済の物体情報あるいは前記暫定の物体情報を統合した統合物体情報を前記ネットワークを介して前記画像処理装置へ送信する送信手段と
   を備えることを特徴とする撮像装置。
8. 所定の種類の物体としての確からしさが所定の基準を満たす物体領域を前記所定の種類の物体として検出して、該物体領域について特定済みの物体情報を生成し、所定の種類の物体としての確からしさが所定の基準を満たさない物体領域に対して再度の物体検出を行うために用いられる暫定の物体情報を生成し、前記特定済みの物体情報と前記暫定の物体情報を統合した統合物体情報を送信する撮像装置に、ネットワークを介して接続された、物体検出を行うための画像処理装置であって、
   前記ネットワークを介して前記撮像装置から統合物体情報を受信する受信手段と、
   前記統合物体情報に含まれる暫定の物体情報によって指定される検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する第２尤度検出手段と、
   前記第２尤度検出手段で検出した尤度が所定の基準を満たす場合、前記検出対象の物体領域を、前記所定の種類の物体として検出して該物体領域についての特定済の物体情報を生成する第２物体検出手段と、
   前記統合物体情報に含まれる特定済の物体情報と、前記第２物体検出手段で生成した特定済の物体情報を結合した特定済の物体情報を出力する出力手段と
   を備えることを特徴とする画像処理装置。
9. 前記第２尤度検出手段は、前記撮像装置が前記所定の種類の物体を検出するために用いる第１認識辞書とは異なる第２認識辞書を用いて、前記検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する
   ことを特徴とする請求項８に記載の画像処理装置。
10. ネットワークを介して画像処理装置に接続された、物体検出を行うための撮像装置の制御方法であって、
    撮像画像から得られる検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する第１尤度検出工程と、
    １）前記第１尤度検出工程で検出した尤度が所定の基準を満たす場合、前記検出対象の物体領域を、前記所定の種類の物体として検出して該物体領域についての特定済の物体情報を生成し、２）前記第１尤度検出工程で検出した尤度が所定の基準を満たさない場合、前記検出対象の物体領域に対して前記画像処理装置において再度の物体検出を行うために用いられる暫定の物体情報を生成する第１物体検出工程と、
    前記撮像画像から得られる検出対象の物体領域それぞれについて生成された前記特定済の物体情報あるいは前記暫定の物体情報を統合した統合物体情報を前記ネットワークを介して前記画像処理装置へ送信する送信工程と
    を備えることを特徴とする撮像装置の制御方法。
11. 所定の種類の物体としての確からしさが所定の基準を満たす物体領域を前記所定の種類の物体として検出して、該物体領域について特定済みの物体情報を生成し、所定の種類の物体としての確からしさが所定の基準を満たさない物体領域に対して再度の物体検出を行うために用いられる暫定の物体情報を生成し、前記特定済みの物体情報と前記暫定の物体情報を統合した統合物体情報を送信する撮像装置に、ネットワークを介して接続された、物体検出を行うための画像処理装置の制御方法であって、
    前記ネットワークを介して前記撮像装置から統合物体情報を受信する受信工程と、
    前記統合物体情報に含まれる暫定の物体情報によって指定される検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する第２尤度検出工程と、
    前記第２尤度検出工程で検出した尤度が所定の基準を満たす場合、前記検出対象の物体領域を、前記所定の種類の物体として検出して該物体領域についての特定済の物体情報を生成する第２物体検出工程と、
    前記統合物体情報に含まれる特定済の物体情報と、前記第２物体検出工程で生成した特定済の物体情報を結合した特定済の物体情報を出力する出力工程と
    を備えることを特徴とする画像処理装置の制御方法。
12. 前記第２尤度検出工程は、前記撮像装置が前記所定の種類の物体を検出するために用いる第１認識辞書とは異なる第２認識辞書を用いて、前記検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する
    ことを特徴とする請求項１１に記載の画像処理装置の制御方法。
13. ネットワークを介して画像処理装置に接続された、物体検出を行うための撮像装置の制御をコンピュータに機能させるためのプログラムであって、
    前記コンピュータを、
    撮像画像から得られる検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する第１尤度検出手段と、
    １）前記第１尤度検出手段で検出した尤度が所定の基準を満たす場合、前記検出対象の物体領域を、前記所定の種類の物体として検出して該物体領域についての特定済の物体情報を生成し、２）前記第１尤度検出手段で検出した尤度が所定の基準を満たさない場合、前記検出対象の物体領域に対して前記画像処理装置において再度の物体検出を行うために用いられる暫定の物体情報を生成する第１物体検出手段と、
    前記撮像画像から得られる検出対象の物体領域それぞれについて生成された前記特定済の物体情報あるいは前記暫定の物体情報を統合した統合物体情報を前記ネットワークを介して前記画像処理装置へ送信する送信手段と
    して機能させることを特徴とするプログラム。
14. 所定の種類の物体としての確からしさが所定の基準を満たす物体領域を前記所定の種類の物体として検出して、該物体領域について特定済みの物体情報を生成し、所定の種類の物体としての確からしさが所定の基準を満たさない物体領域に対して再度の物体検出を行うために用いられる暫定の物体情報を生成し、前記特定済みの物体情報と前記暫定の物体情報を統合した統合物体情報を送信する撮像装置に、ネットワークを介して接続された、物体検出を行うための画像処理装置の制御をコンピュータに機能させるためのプログラムであって、
    前記コンピュータを、
    前記ネットワークを介して前記撮像装置から統合物体情報を受信する受信手段と、
    前記統合物体情報に含まれる暫定の物体情報によって指定される検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する第２尤度検出手段と、
    前記第２尤度検出手段で検出した尤度が所定の基準を満たす場合、前記検出対象の物体領域を、前記所定の種類の物体として検出して該物体領域についての特定済の物体情報を生成する第２物体検出手段と、
    前記統合物体情報に含まれる特定済の物体情報と、前記第２物体検出手段で生成した特定済の物体情報を結合した特定済の物体情報を出力する出力手段と
    して機能させることを特徴とするプログラム。
15. 前記第２尤度検出手段は、前記撮像装置が前記所定の種類の物体を検出するために用いる第１認識辞書とは異なる第２認識辞書を用いて、前記検出対象の物体領域について、所定の種類の物体としての確からしさを示す尤度を検出する
    ことを特徴とする請求項１４に記載のプログラム。

Images