JP6554820B2 - 画像処理プログラム、画像処理装置、及び画像処理方法 - Google Patents

Description

開示の技術は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。

近年、オフィスやショッピングセンター、商店街等様々な場所に設置された監視カメラ等で撮像された映像に写る検出対象を検出することが行われている。

検出対象として人物を検出する技術として、人物の身体の一部や全部を検出するための複数の検出器を適用して、画像から人物を検出する技術が知られている。

特開２０１３−４５４３３号公報

画像中に写っている複数の検出対象が部分的に重なっており、手前側の検出対象により、奥の検出対象の一部分が遮蔽されている場合がある。画像中に写っている複数の検出対象が重なり合い、他の検出対象により部分的に遮蔽が生じている検出対象が存在している場合、検出対象を適切に検出できない場合が有った。

開示の技術は一つの側面として、画像中に写っている複数の検出対象が重なり合い、他の検出対象により部分的に遮蔽が生じている検出対象が存在している場合でも、検出対象を精度よく検出できるようにすることを目的とする。

１つの態様では、撮像装置により撮像された画像に写っている複数の検出対象各々の第１の部分を、前記第１の部分に対応する第１の検出領域により検出対象候補として各々検出する。また、検出した複数の検出対象候補のうち、他の検出対象により遮蔽されていない検出対象に対応する検出対象候補に対しては、前記第１の部分を含む第２の部分に対応する第２の検出領域により検出対象を検出する。また、検出した複数の検出対象候補のうち、他の検出対象により遮蔽されている検出対象に対応する検出対象候補に対しては、第３の検出領域により検出対象を検出する。第３の検出領域は、前記第１の部分を含む第３の部分に対応し、かつ、前記第２の検出領域と予め定められた量以上重複しない領域である。

一つの側面として、画像中に写っている複数の検出対象が重なり合い、他の検出対象により部分的に遮蔽が生じている検出対象が存在している場合でも、検出対象を精度よく検出できる、という効果を有する。

本実施形態に係る人物検出システムの一例の概略構成図である。 本実施形態に係る画像処理装置の一例の機能的な概略構成を表す機能ブロック図である。 本実施形態に係る検出器ＤＢに記憶される検出器の具体例を説明するための図である。 本実施形態に係る画像処理装置として機能するコンピュータの一例の概略構成を示すブロック図である。 本実施形態に係る画像処理装置で行われる画像処理の一例を示すフローチャートである。 本実施形態に係る人物候補検出部が、変換した画像の一例の模式図である。 図６に示した画像から検出した人物候補の一例の模式図である。 図６に示した画像から検出した人物候補を順序付けした順番の一例の模式図である。 図６に示した画像における人物候補の検証に用いる検出領域（検出器）の決定方法について説明するための図である。 図６に示した画像における人物候補の検証に用いる検出領域（検出器）の決定方法について説明するための図である。 図６に示した画像における複数の人物候補の各々に対応する検出領域を説明するための図である。

以下、図面を参照して開示の技術の一例を詳細に説明する。

図１は、本実施形態に係る画像処理システム１０の一例の概略構成図である。図１に示すように、画像処理システム１０は、撮像装置１２と、画像処理装置１４と、を備える。撮像装置１２と、画像処理装置１４とは、ネットワーク１６を介して接続されている。なお、画像処理システム１０が備える撮像装置１２の数は、図１に示すように１個に限らず、２個以上であってもよい。

図１に示した画像処理システム１０は、撮像装置１２が撮像した映像に写っている人物を検出する機能を有する。

撮像装置１２は、所定のエリアの映像を撮像する機能を有しており、いわゆる監視カメラである。本実施形態の撮像装置１２は、常に監視エリアの動画像を撮像しており、撮像した映像（動画像）は、ネットワーク１６を介して画像処理装置１４に出力される。

画像処理装置１４は、撮像装置１２が撮像した映像中の人物（具体的には、人物を表す画像）を検出する機能を有する。

図２には、本実施形態の画像処理装置１４の一例の機能的な概略構成を表す機能ブロック図を示す。

図２に示すように、画像処理装置１４は、映像取得部２０、映像ＤＢ（Data Base）２２、人物候補検出部２４、人物候補順序付け部２６、検出領域決定部２８、人物検出部３０、検出器ＤＢ３２、検出結果ＤＢ３４、及び表示部３６を備える。人物候補検出部２４は、開示の技術の第１検出部の一例である。人物候補順序付け部２６、検出領域決定部２８、及び人物検出部３０は、開示の技術の第２検出部の一例である。

映像取得部２０は、撮像装置１２が撮像した映像を撮像装置１２から取得する機能を有する。映像取得部２０が取得した映像は、映像ＤＢ２２に記憶される。

人物候補検出部２４は、撮像装置１２が撮像した動画像である映像をフレーム毎の画像（静止画像）に変換する。また、人物候補検出部２４は、変換した画像全体に対して、検出器ＤＢ３２に記憶されている検出器のうち、検出領域が最も小さな検出器を適用して、人物（人物画像）の候補である人物候補を検出する機能を有する。

人物候補順序付け部２６は、人物候補検出部２４が検出した人物候補を、撮像した際に撮像装置１２に近い側（以下「手前側」という）の順（撮像装置１２に近い順）に順序付けする機能を有する。

検出領域決定部２８は、人物候補検出部２４が検出した人物候補のうちの１個に対して人物であるか否かを検証するための検出領域（検出器）を決定する機能を有する。本実施形態の検出領域決定部２８は、手前側に写る人物によって、奥側に写る人物の身体の一部分が遮蔽されてしまう場合（画像に写る人物の重複）を考慮して、検出領域（検出器）を決定する機能を有する。

人物検出部３０は、検出領域決定部２８が決定した検出器を用いて、対応する人物候補が人物であるか否かの検証を行うことにより、人物（人物画像）を検出する機能を有する。人物検出部３０の検出結果は、検出結果ＤＢ３４に記憶される。

表示部３６は、検出した人物に関する情報等を表示する機能を有する。

本実施形態の画像処理装置１４は、画像から人物（人物画像）を検出するために、複数の検出器を用いる。複数の検出器は、人体の身体のうち対応する範囲が互いに異なる検出領域が設定されており、設定されている検出領域の広さ（面積）が互いに異なっている。複数の検出器は、検出器ＤＢ３２に記憶されている。そのため、検出器ＤＢ３２は、複数の検出器を記憶する機能を有する。

図３には、本実施形態の検出器ＤＢ３２に記憶された検出器（検出領域）の具体例を説明するための図を示す。図３に示すように、本実施形態の検出器ＤＢ３２には、具体例として、検出領域の広さ（面積）が互いに異なる５つの検出器が記憶されている。

検出器（検出器）１２０は、人物の頭部（首から上）を検出するためのものであり、頭部を含む領域を検出領域とした検出器である。検出器（検出器）１２２は、人物の肩から上を検出するためのものであり、肩から上部分を含む領域を検出領域とした検出器である。検出器１２４（検出器）は、人物のバストアップを検出するためのものであり、バストアップ部分を含む領域を検出領域とした検出器である。検出器１２６（検出器）は、人物の上半身（腰から上）を検出するためのものであり、上半身部分を含む領域を検出領域とした検出器である。検出器（検出器）１２８は、人物の全身を検出するためのものであり、全身を含む領域を検出領域とした検出器である。検出器（検出器）１２０〜１２８は、いずれも人物の頭部を含んでいる。

また、検出器１２２は、検出器１２０の検出領域を含んでいる。検出器１２４は、検出器１２０及び検出器１２２の検出領域を含んでいる。検出器１２６は、検出器１２０、検出器１２２、及び検出器１２４の検出領域を含んでいる。検出器１２８は、検出器１２２、検出器１２４、及び検出器１２６の検出領域を含んでいる。

また、本実施形態では、検出器１２０〜１２８は、共通に含まれる頭部の大きさを同一とした場合の各検出領域の幅（図３中の左右方向、人物の肩幅方向）が、同一である。

本実施形態の検出器１２０が、開示の技術の第１の検出器の一例であり、検出器１２０の検出領域が開示の技術の第１の検出領域の一例であり、頭部が、開示の技術の第１の部分の一例である。また、本実施形態の検出器１２０〜１２８が、開示の技術の第２の検出器の一例であり、検出器１２０〜１２８の検出領域が開示の技術の第２の検出領域及び第３の検出領域の一例である。また、検出器１２０〜１２８のそれぞれの検出領域に含まれる人体の部分が開示の技術の第２の部分及び第３の部分に対応する。

なお、画像処理装置１４が人物の検出に用いる検出器は、検出器１２０〜１２８に限らない。本実施形態の画像処理装置１４においては、人物の頭部を含んでいればよく、その他の身体の部分については、特に限定されない。また、検出器の数も、複数であればよく、特に限定されるものではない。

なお、画像処理装置１４は、例えば図４に示すコンピュータ５０で実現することができる。コンピュータ５０は、ＣＰＵ（Central Processing Unit）５２、入出力インターフェース（Ｉ／Ｆ）５４、ネットワークＩ／Ｆ５６、メモリ５８、及び不揮発性の記憶部６０を備える。ＣＰＵ５２、入出力Ｉ／Ｆ５４、ネットワークＩ／Ｆ５６、メモリ５８、及び記憶部６０は、バス８０を介して互いに接続されている。ネットワークＩ／Ｆ５６は、ネットワーク１６を介して撮像装置１２と接続される。

記憶部６０はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記憶媒体としての記憶部６０には、コンピュータ５０を画像処理装置１４として機能させるため画像処理プログラム６２が記憶されている。ＣＰＵ５２は、画像処理プログラム６２を記憶部６０から読み出してメモリ５８に展開し、画像処理プログラム６２が有する各プロセスを順次実行する。

画像処理プログラム６２は、映像取得プロセス６４、人物候補検出プロセス６６、人物候補順序プロセス６８、検出領域決定プロセス７０、及び人物検出プロセス７２を有する。

また、記憶部６０の映像ＤＢ記憶領域７４は、映像ＤＢ２２が記憶される記憶領域として機能する。また、記憶部６０の検出器ＤＢ記憶領域７６は、検出器ＤＢ３２が記憶される記憶領域として機能する。また、記憶部６０の検出結果ＤＢ記憶領域７８は、検出結果ＤＢ３４が記憶される記憶領域として機能する。

ＣＰＵ５２は、映像取得プロセス６４を実行することで、映像取得部２０として動作する。また、ＣＰＵ５２は、人物候補検出プロセス６６を実行することで、人物候補検出部２４として動作する。また、ＣＰＵ５２は、人物候補順序プロセス６８を実行することで、人物候補順序付け部２６として動作する。また、ＣＰＵ５２は、検出領域決定プロセス７０を実行することで、検出領域決定部２８として動作する。また、ＣＰＵ５２は、人物検出プロセス７２を実行することで、人物検出部３０として動作する。

これにより、画像処理プログラム６２を実行したコンピュータ５０が、画像処理装置１４として機能する。

なお、コンピュータ５０は、いわゆるデスクトップ型のパーソナルコンピュータに限定されない。コンピュータ５０は、ラップトップ型のパーソナルコンピュータであってもよいし、タブレット端末やスマートフォンに代表されるＰＤＡ（Personal Digital Assistants：携帯情報端末装置）等であってもよい。

なお、画像処理装置１４は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に、本実施形態に係る画像処理装置１４による作用について説明する。

画像処理装置１４の映像取得部２０は、撮像装置１２が撮像した映像をネットワーク１６を介して取得し、画像処理を行う前に、予め映像ＤＢ２２に記憶させておく。映像取得部２０が映像を取得して映像ＤＢ２２に記憶させるタイミングは特に限定されない。このようなタイミングとしては、例えば、１０分毎や数時間毎等、所定の時間毎のタイミング等が挙げられる。また例えば、撮像装置１２が撮像するタイミングに応じて、撮像した映像をリアルタイムに取得するようにしてもよい。

本実施形態の画像処理装置１４では、映像ＤＢ２２に映像が記憶されている状態で、画像処理が実行される。本実施形態の画像処理装置１４で行われる画像処理について説明する。図５には、本実施形態の画像処理装置１４で行われる画像処理の一例のフローチャートを示す。

本実施形態の画像処理装置１４では、図５に示した画像処理は、予め定められたタイミング、もしくは画像から人物の検出を行うことを所望するユーザが指示したタイミングで実行される。予め定められたタイミングは、特に限定されないが、例えば、１０分毎や数時間毎等、所定の時間毎のタイミング等が挙げられる。また例えば、所定の時間毎等ではなく、映像取得部２０が撮像装置１２から映像を取得して映像ＤＢ２２に記憶させるのに連動して行うようにしてもよい。

ステップＳ１００で人物候補検出部２４は、映像（画像）中から人物候補を検出する。具体的には、人物候補検出部２４は、映像ＤＢ２２から映像を読み出してフレーム毎の画像（静止画像）に変換する。図６には、本実施形態の人物候補検出部２４が、変換した画像の一例の模式図を示す。図６は、４人の人物（人物１０２、１０４、１０６、１０８）が写った画像１００を示している。４人の人物は、人物１０２、人物１０４、人物１０６、及び人物１０８の順で、手前側にいる。また、人物１０６は、体の一部が人物１０２の後に隠れている。以下では、具体例として、図６に示した模式図に写る人物を検出する場合について説明する。

人物候補検出部２４は、画像全体に対して、検出器ＤＢ３２に記憶されている検出器のうち検出領域が最も小さな検出器を適用して、人物（人物画像）の候補である人物候補を検出する。本実施形態では、人物の頭部を検出するための検出器１２０の検出領域が最も小さいため、検出器１２０を適用して、画像１００から人物候補を検出する。図７には、図６に示した画像１００から検出した人物候補の一例の模式図を示す。図６に示すように、画像１００からは、検出器１２０により、人物候補１３２、１３４、１３６、１３７、１３８の、５つの人物候補が検出される。人物候補１３２、１３４、１３６、１３８は、それぞれ人物１０２、１０４、１０６、１０８の頭部に対応している。人物候補１３７は、実際には人物が写っていないが、検出器１２０により検出された人物候補である。

なお、検出器を用いて人物候補を検出する方法は特に限定されず、例えば、下記文献に記載されている方法を用いればよい。

C. P. Papageorgiou、M. Oren、and T. Poggio、A general framework for object detection、IEEE Computer Vision and Pattern Recognition、pp.511-562、1998.。

N. Dalal and B. Triggs、Histograms of Oriented Gradients for Human Detection、IEEE Computer Vision and Pattern Recognition、pp.886-893、2005.。

次のステップＳ１０２で人物候補順序付け部２６は、検出された人物候補を、順序付けする。本実施形態の人物候補順序付け部２６では、撮像装置１２が人物を撮像した際に、手前側にいる人物順に、該人物に対応する人物画像を順序付けする。人物候補順序付け部２６が、人物候補を順序付けする具体的な方法は特に限定されない。

例えば、本実施形態の画像処理装置１４では、撮像装置１２が人物を撮像した際の、人物に対する位置及び向きに応じて画像中のいずれの位置から順に順序付けを行うか、順序づけを行う順番が定められている。本実施形態では、具体例として、人物を検出する画像は、天井等上部に設置された撮像装置１２により、斜め下向きに人物を撮像した場合の画像であり、撮像された際に手前側に位置した人物は、画像の下側に写っている。そのため、人物候補検出部２４は、例えば画像中の位置が下側の人物候補から昇順に人物候補を順序付けする。

なお、撮像装置１２の位置及び向きと、順序づけを行う順番とを予め対応付けておき、人物候補順序付け部２６が撮像装置１２の位置及び向きに応じて当該対応付けから順序付けを行う順番を取得してもよい。また、撮像装置１２の位置及び向きは、予め画像処理装置１４内に記憶されていてもよいし、撮像装置１２から取得してもよい。

また、順序付けを行う順番を、撮像装置１２により撮影された画像等により、実験的に予め得ておき、画像処理装置１４内に当該順番を記憶させておいてもよい。

また、上記に限らず、一般的に、手前側の人物ほど、写る人物画像が大きくなる傾向があるため、人物画像の大きさ、特に所定の部分の大きさに応じて順序づけを行う順番を判断し、当該順番に基づいて人物候補を順序付けしてもよい。

図８には、図６に示した画像１００から検出した人物候補を順序付けした順番の一例の模式図を示す。図８に示すように、人物候補１３２、人物候補１３４、人物候補１３６、人物候補１３７、及び人物候補１３８の順で、順序１〜５に順序付けされる。

次のステップＳ１０４で検出領域決定部２８は、個々の人物候補を識別するための変数、ｎ＝１とし、次のステップＳ１０６へ移行する。

ステップＳ１０６で検出領域決定部２８は、人物候補の検証に用いる検出領域（検出器）を決定する。具体的には、本実施形態の検出領域決定部２８は、手前側の人物による遮蔽の有無及びその範囲を考慮して、奥側の人物に対する人物候補の検証に用いる検出領域及び検出器を決定する。なお、本実施形態では、検出領域の広さと、検出器とは、一対一の対応関係を有するため、検出領域を決定することにより、一義的に検出器が決定される。

本画像処理の開始後、初めてステップＳ１０６を実行する場合は、検出領域決定部２８が順序１の人物候補の検証に用いる検出領域（検出器）を決定する場合である。そのためここでは、順序１の人物候補１３２の検証に用いる検出領域（検出器）の具体的な決定方法について説明する。

図９には、図６に示した画像１００における人物候補１３２の検証に用いる検出領域（検出器）の決定方法について説明するための図を示す。なお、図９に図示した検出領域１２１、１２３、１２５、１２７、１２９は、それぞれ検出器１２０、１２２、１２４、１２６、１２８の検出領域を表している。また、図９では、図示の便宜上、検出領域１２１〜１２９の幅を異ならせて記載しているが、上述したように、各検出領域の幅は同一である。

まず、検出領域決定部２８は、人物候補１３２に対して各検出器１２０〜１２８を適用した場合の検出領域の範囲を推定する。具体的には、図９に示すように、人物候補１３２に対して、上記ステップＳ１００で人物候補を検出した際の頭部部分と、検出器１２０〜１２８の各検出器の頭部部分とが一致するように、各検出器の検出領域の範囲を当てはめる。

次に、検出領域決定部２８は、検出領域１２１〜１２９のうちから、画像１００内に収まり、かつ、最も検出領域が広いものを選択する。順序１の人物候補１３２の検出領域（検出器）を決定する場合は、人物候補１３２の身体（画像）が他の人物（人物画像）により遮られることはないため、ここでは、人物による遮蔽を考慮せずに、検出領域（検出器）を決定する。なお、この際、検出領域と他の人物との重なりが所定の割合以下であることが好ましい。なお、所定の割合は、検出精度や検出器の特徴により予め実験的に得ておけばよい。

図９に示した具体例では、検出領域決定部２８は、検出領域１２５を選択し、検出領域１２５に対応する検出器１２４を検出器として決定する。

次のステップＳ１０８で人物検出部３０は、人物候補に対して、人物（人物画像）であるか否かの検証を行う。具体的には、人物検出部３０は、決定した検出領域に対して、決定した検出器を用いて人物（人物画像）の検出を行う。なお、本ステップ、及び上記ステップＳ１００では、いずれも検出器を用いて画像から人物の一部分または全部の画像を検出しているが、検出器を用いた具体的な検出方法の詳細については異なっていてもよい。

なお、本実施形態の人物検出部３０は、上記ステップＳ１００で検出した全ての人物候補に対して検証が終了するまで、個々の人物候補に対する検証結果を、一旦、画像処理装置１４内の記憶部（図示省略）等に記憶させておく。

人物候補１３２の場合、検出領域決定部２８は、検出器１２２を用いて検証を行う。これにより、人物候補１３２は、人物（人物画像）であるとの検証結果が得られる。

次のステップＳ１１０で人物検出部３０は、変数ｎをインクリメントしてｎ＝ｎ＋１とし、次のステップＳ１１２へ移行する。

ステップＳ１１２で人物検出部３０は、変数ｎが、検出した人物候補数よりも大きいか否かを判断する。画像１００の場合は、検出した人物候補の数が５であるため、ｎ＞５であるか否かを判断する。否定判定となった場合は、ステップＳ１０６に戻り、上記ステップＳ１０６〜Ｓ１１０の処理を繰り返す。

上記ステップＳ１０６〜Ｓ１１０の処理を繰り返すことにより、人物候補１３４〜１３８について、検出領域（検出器）の決定、及び検出器による検証が行われ、人物（人物画像）であるか否かの検出結果が得られる。

ここでは、上記繰り返される処理のうち、手前側の人物１０２に遮蔽された奥側の人物１０６に対応する人物候補１３６に対する、ステップＳ１０６及びＳ１０８の処理について説明する。

ステップＳ１０６で検出領域決定部２８は、人物候補１３６の検証に用いる検出領域（検出器）を決定する。

図１０には、図６に示した画像１００における人物候補１３６の検証に用いる検出領域（検出器）の決定方法について説明するための図を示す。なお、図１０には、人物候補１３２の検証に用いられた検出器１２４の検出領域を検出領域１２５Ａとして図示している。

まず、検出領域決定部２８は、人物候補１３６に対して各検出器１２０〜１２８を適用した場合の検出領域の範囲を推定する。具体的には、図１０に示すように、人物候補１３６に対して、上記ステップＳ１００で人物候補を検出した際の頭部部分と、検出器１２０〜１２８の各検出器の頭部部分とが一致するように、各検出器の検出領域の範囲を当てはめる。

次に、検出領域決定部２８は、検出領域１２１〜１２９のうちから、画像１００内に収まり、検出領域１２５Ａと予め定められた量以上重複せず、かつ、最も検出領域が広いものを選択する。ここで「予め定められた量」とは、用いられる検出器の特徴や、画像の画質、及び所望の検出精度等に応じて、実験的に定められる量である。なお、各人物候補に対して決定される検出領域は、互いに重複しないことが好ましい。

図１０に示した具体例では、検出領域決定部２８は、検出領域１２３を選択し、検出領域１２３に対応する検出器１２２を検出器として決定する。

次のステップＳ１０８で人物検出部３０は、人物候補１３６に対して、検出器１２２を用いて人物（人物画像）の検出を行う。これにより、人物候補１３６は、人物（人物画像）であるとの検出結果が得られる。

このように、本実施形態の画像処理装置１４では、他の人物により遮蔽されている人物に対応する人物候補及び他の人物により遮蔽されていない人物に対応する人物候補のいずれも、人物（人物画像）か否かについて検出結果が得られる。

図１１には、図６に示した画像１００における人物候補１３２〜１３８の各々に対応する検出領域を説明するための図を示す。図１１に示した検出領域１２５Ａは、人物候補１３２の検証に用いた検出器１２４の検出領域に対応している。検出領域１２７Ａは、人物候補１３４の検証に用いた検出器１２６の検出領域に対応している。検出領域１２３Ａは、人物候補１３６の検証に用いた検出器１２２の検出領域に対応している。検出領域１２３Ｂは、人物候補１３７の検証に用いた検出器１２２の検出領域に対応している。また、検出領域１２９Ａは、人物候補１３８の検証に用いた検出器１２８の検出領域に対応している。

図１１に示すように、検出領域１２３Ａ、検出領域１２３Ｂ、検出領域１２５Ａ、検出領域１２７Ａ、及び検出領域１２９Ａの各々は、互いに重なり会うことがない。
一方、上記ステップＳ１１２で肯定判定となった場合は、ステップＳ１１４へ移行する。

ステップＳ１１４で人物検出部３０は、画像中の人物の総数を最終結果として出力した後、本処理を終了する。

画像１００では、人物候補１３２、１３４、１３６、１３８からは人物が検出され、人物候補１３７からは人物が検出されない。そのため、画像１００中の人物の総数は「４」となり、最終結果が「４」となる。

なお、本実施形態では、最終結果の出力先を検出結果ＤＢ３４としており、最終結果を検出結果ＤＢ３４に記憶させる。なお、最終結果をどのように記憶させるかは特に限定されず、検出元の画像や映像を特定する情報に対応付けて、画像中の人物の総数を記憶させればよい。また、人物の総数とともに、検出した人物の画像の位置を表す情報を記憶させてもよい。また、人物検出部３０は、ユーザ等の所望に応じて検出結果を表示部３６に表示してもよい。

以上説明したように、本実施形態の画像処理装置１４は、人物候補検出部２４により、撮像装置１２により撮像された画像に写っている複数の人物各々の頭部を、検出領域が最も小さな検出器１２０により人物候補として各々検出する。また、人物候補順序付け部２６は、複数の人物候補を、手前側から順に順序付けする。また、検出領域決定部２８は、他の人物により遮蔽されていない人物に対応する人物候補に対しては、頭部を含み、画像の範囲内であり、範囲が最も大きな検出領域（検出器）を決定する。検出領域決定部２８は、他の人物により遮蔽されている人物に対応する検出対象候補に対しては、頭部を含みかつ、手前側の人物に応じた人物候補を検出する際の検出領域と予め定められた量以上重複しない検出領域（検出器）を決定する。さらに、人物検出部３０は、検出領域決定部２８が検出した検出領域（検出器）を用いて、対応する人物候補を検証し、人物（人物画像）の検出を行う。

このように、本実施形態の画像処理装置１４は、検出領域決定部２８が、手前側の人物に対応する人物候補から順に、検出領域（検出器）を決定する。そして、検出領域決定部２８は、他の人物により身体の一部分が遮蔽されている人物は、手前側の人物の検出領域が予め定められた量以上重複しない検出領域（検出器）を決定する。

一般的に、画像から、検出器を用いて人物（人物画像）を検出する場合、人物の身体部分が多く含まれる検出器を用いて検出を行う方が、多くの特徴量を利用できるため、検出精度が高くなる。

しかしながら、手前側の人物に遮蔽されている奥側の人物を検出する場合、手前側の人物が多く検出領域内に入る状態で検出器を用いて奥側の人物の検出を行った場合、遮蔽された部分は、モデルと一致しないため、検出精度が低下する。

これに対して本実施形態の画像処理装置１４では、人物同士の遮蔽を考慮して検出領域を決定する。そのため、遮蔽が生じている人物を検出器で検出する際に、遮蔽されている部分を不用意に利用することなく、遮蔽されていない部分を用いて検出するため、検出精度が向上する。また、画像処理装置１４では、検出領域を、他の検出領域と予め定められた量以上重複しない範囲内で、可能な限り広く決定するため、多くの特徴量を利用することができるので、検出精度が向上する。

従って、本実施形態の画像処理装置１４によれば、画像中に写っている複数の人物が重なり合い、他の人物により部分的に遮蔽が生じている人物が存在している場合でも、画像中に写っている人物を精度よく検出できる。

なお、本実施形態では、検出領域決定部２８が各人物候補に対する検出領域（検出器）を決定する際に、各検出器の頭部部分が一致するように各検出器の検出領域の範囲を当てはめているが、検出領域の範囲の当てはめ方は限定されない。結果として、各検出器に共通する頭部部分が一致すればよく、例えば、各検出器の、左右何れかの端部の位置が一致するように、各検出器の検出領域の範囲を当てはめてもよい。

また、本実施形態では、検出対象が人物である場合について説明したが、検出対象は、人物に限定されず、他の生物や無機物であってもよく、検出対象に応じた検出器が検出器ＤＢ３２に記憶されていればよい。

なお、本実施形態では、画像処理プログラム６２が記憶部６０に予め記憶（インストール）されている態様を説明したが、画像処理プログラム６２を記憶媒体に記録された形態で提供することも可能である。記憶媒体としては、例えば、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等が挙げられる。

以上の上記実施形態に関し、更に以下の付記を開示する。

（付記１）
コンピュータに、
撮像装置により撮像された画像に写っている複数の検出対象各々の第１の部分を、前記第１の部分に対応する第１の検出領域により検出対象候補として各々検出し、
検出した複数の検出対象候補のうち、他の検出対象により遮蔽されていない検出対象に対応する検出対象候補に対しては、前記第１の部分を含む第２の部分に対応する第２の検出領域により検出対象を検出し、
検出した複数の検出対象候補のうち、他の検出対象により遮蔽されている検出対象に対応する検出対象候補に対しては、前記第１の部分を含む第３の部分に対応し、かつ、前記第２の検出領域と予め定められた量以上重複しない第３の検出領域により検出対象を検出する、
ことを含む処理を実行させる画像処理プログラム。

（付記２）
前記第１の検出領域により検出を行う第１の検出器を用いて、前記検出対象候補を検出し、
検出領域の広さが互いに異なる複数の第２の検出器のうち、前記第２の検出領域により検出を行う第２の検出器を用いて、他の検出対象により遮蔽されていない検出対象を検出し、前記第３の検出領域により検出を行う第３の検出器を用いて、他の検出対象により遮蔽されている検出対象を検出する、
付記１に記載の画像処理プログラム。

（付記３）
他の検出対象により遮蔽されているか否かは、前記撮像装置が検出対象を撮像した際の、検出対象に対する位置及び向きに応じる
付記１または付記２に記載の画像処理プログラム。

（付記４）
撮像装置により撮像された画像に写っている複数の検出対象各々の第１の部分を、前記第１の部分に対応する第１の検出領域により検出対象候補として各々検出する第１検出部と、
検出した複数の検出対象候補のうち、他の検出対象により遮蔽されていない検出対象に対応する検出対象候補に対しては、前記第１の部分を含む第２の部分に対応する第２の検出領域により検出対象を検出し、
検出した複数の検出対象候補のうち、他の検出対象により遮蔽されている検出対象に対応する検出対象候補に対しては、前記第１の部分を含む第３の部分に対応し、かつ、前記第２の検出領域と予め定められた量以上重複しない第３の検出領域により検出対象を検出する第２検出部と、
を備えた画像処理装置。

（付記５）
前記第２検出部は、前記第１の検出領域により検出を行う第１の検出器を用いて、前記検出対象候補を検出し、
検出領域の広さが互いに異なる複数の第２の検出器のうち、前記第２の検出領域により検出を行う第２の検出器を用いて、他の検出対象により遮蔽されていない検出対象を検出し、前記第３の検出領域により検出を行う第３の検出器を用いて、他の検出対象により遮蔽されている検出対象を検出する、
付記４に記載の画像処理装置。

（付記６）
他の検出対象により遮蔽されているか否かは、前記撮像装置が検出対象を撮像した際の、検出対象に対する位置及び向きに応じる
付記４または付記５に記載の画像処理装置。

（付記７）
コンピュータにより、
撮像装置により撮像された画像に写っている複数の検出対象各々の第１の部分を、前記第１の部分に対応する第１の検出領域により検出対象候補として各々検出し、
検出した複数の検出対象候補のうち、他の検出対象により遮蔽されていない検出対象に対応する検出対象候補に対しては、前記第１の部分を含む第２の部分に対応する第２の検出領域により検出対象を検出し、
検出した複数の検出対象候補のうち、他の検出対象により遮蔽されている検出対象に対応する検出対象候補に対しては、前記第１の部分を含む第３の部分に対応し、かつ、前記第２の検出領域と予め定められた量以上重複しない第３の検出領域により検出対象を検出する、
ことを含む画像処理方法。

（付記８）
前記第１の検出領域により検出を行う第１の検出器を用いて、前記検出対象候補を検出し、
検出領域の広さが互いに異なる複数の第２の検出器のうち、前記第２の検出領域により検出を行う第２の検出器を用いて、他の検出対象により遮蔽されていない検出対象を検出し、前記第３の検出領域により検出を行う第３の検出器を用いて、他の検出対象により遮蔽されている検出対象を検出する、
付記７に記載の画像処理方法。

（付記９）
他の検出対象により遮蔽されているか否かは、前記撮像装置が検出対象を撮像した際の、検出対象に対する位置及び向きに応じる
付記７または付記８に記載の画像処理方法。

１０ 人物検出システム
１２ 撮像装置
１４ 画像処理装置
２４ 人物候補検出部
２６ 人物候補順序部
２８ 検出領域決定部
３０ 人物検出部
５０ コンピュータ
５２ ＣＰＵ
６０ 記憶部
６２ 画像処理プログラム

Claims (4)

1. コンピュータに、
   撮像装置により撮像された画像に写っている複数の検出対象各々の第１の部分を、前記第１の部分に対応する第１の検出領域により検出対象候補として各々検出し、
   他の検出対象により遮蔽されているか否かを、前記撮像装置が検出対象を撮像した際の、検出対象に対する位置及び向きに応じて判定し、
   検出した複数の検出対象候補のうち、他の検出対象により遮蔽されていない検出対象に対応する検出対象候補に対しては、前記第１の部分を含む第２の部分に対応する第２の検出領域により検出対象を検出し、
   検出した複数の検出対象候補のうち、他の検出対象により遮蔽されている検出対象に対応する検出対象候補に対しては、第２の検出領域により検出対象を検出した後、前記第１の部分を含む第３の部分に対応し、かつ、前記第２の検出領域と予め定められた量以上重複しない第３の検出領域により検出対象を検出する、
   ことを含む処理を実行させる画像処理プログラム。
2. 前記第１の検出領域により検出を行う第１の検出器を用いて、前記検出対象候補を検出し、
   検出領域の広さが互いに異なる複数の第２の検出器のうち、前記第２の検出領域により検出を行う第２の検出器を用いて、他の検出対象により遮蔽されていない検出対象を検出し、前記第３の検出領域により検出を行う第３の検出器を用いて、他の検出対象により遮蔽されている検出対象を検出する、
   請求項１に記載の画像処理プログラム。
3. 撮像装置により撮像された画像に写っている複数の検出対象各々の第１の部分を、前記第１の部分に対応する第１の検出領域により検出対象候補として各々検出する第１検出部と、
   他の検出対象により遮蔽されているか否かを、前記撮像装置が検出対象を撮像した際の、検出対象に対する位置及び向きに応じて判定し、検出した複数の検出対象候補のうち、他の検出対象により遮蔽されていない検出対象に対応する検出対象候補に対しては、前記第１の部分を含む第２の部分に対応する第２の検出領域により検出対象を検出し、
   検出した複数の検出対象候補のうち、他の検出対象により遮蔽されている検出対象に対応する検出対象候補に対しては、第２の検出領域により検出対象を検出した後、前記第１の部分を含む第３の部分に対応し、かつ、前記第２の検出領域と予め定められた量以上重複しない第３の検出領域により検出対象を検出する第２検出部と、
   を備えた画像処理装置。
4. コンピュータにより、
   撮像装置により撮像された画像に写っている複数の検出対象各々の第１の部分を、前記第１の部分に対応する第１の検出領域により検出対象候補として各々検出し、
   他の検出対象により遮蔽されているか否かを、前記撮像装置が検出対象を撮像した際の、検出対象に対する位置及び向きに応じて判定し、
   検出した複数の検出対象候補のうち、他の検出対象により遮蔽されていない検出対象に対応する検出対象候補に対しては、前記第１の部分を含む第２の部分に対応する第２の検出領域により検出対象を検出し、
   検出した複数の検出対象候補のうち、他の検出対象により遮蔽されている検出対象に対応する検出対象候補に対しては、第２の検出領域により検出対象を検出した後、前記第１の部分を含む第３の部分に対応し、かつ、前記第２の検出領域と予め定められた量以上重複しない第３の検出領域により検出対象を検出する、
   ことを含む画像処理方法。

Images