JP7622837B2 - 物体検出装置および方法 - Google Patents

Description

本発明は、入力画像の中から物体を検出する物体検出装置および方法に関するものである。

物体検出装置は、入力画像の中から、その画像に含まれる物体の位置（物体を囲む四角い枠の位置）と、属性（人、車などの物体の種別）と、信頼度とから成るメタデータを検出する装置である。

近年、深層学習結果に基づいてメタデータを検出するＹＯＬＯ（You Only Look Once）やＳＳＤ（Single Shot multibox Detector）などの方法が提案され、監視カメラやエッジコンピューティングにおけるＡＩ（Artificial Intelligence）画像処理等への利用が検討されている（非特許文献１、非特許文献２参照）。これら深層学習に基づく物体検出方法では、入力画像サイズに制約がある。例えば、ＹＯＬＯｖ３（非特許文献１）では、幅３２０画素×高さ３２０画素、幅４１６画素×高さ４１６画素、幅６０８画素×高さ６０８画素のいずれかである。

上記のような入力画像サイズの制約下で、フルＨＤ（Full High Definition）や４Ｋ等の高精細画像に対して深層学習に基づく物体検出を行うために、従来は、入力画像を制約画像サイズに縮小して物体検出を行っていた。この縮小により、物体の特徴的な部位も縮小されるため、入力画像に含まれる小さな物体の検出が困難になる。入力画像を分割して分割画像毎に物体検出を行う方法も開示されている（非特許文献３参照）。しかしながら、分割画像を跨ぐような大きな物体については特徴的な部位も分割されるため、大きな物体の検出が困難であった。

高精細画像内の大小両方の物体を検出可能にするために、入力画像を制約画像サイズに縮小して画像全体に対して物体検出を行う全体処理と、入力画像を分割して分割画像毎に物体検出を行う分割処理の両方を行い、全体処理の結果と分割処理の結果とを合成して最終的な物体検出結果を得る方法が考えられる。この物体検出方法を図１７を用いて説明する。

全体処理では、深層学習結果に基づく物体検出処理で対応可能な画像サイズに入力画像を縮小するために、画像スケーリング処理を行った後、検出処理を行って縮小画像内に含まれる物体を検出する。検出した物体の位置を示す四角枠（以下、ＢＢ）には、ＢＢの中心座標（Ｘ，Ｙ）、ＢＢの高さ（Ｈ）、ＢＢの幅（Ｗ）の情報が少なくとも含まれる。これらの情報は、縮小画像に対するものであるため、縮小前の元画像にマッピングするためにＢＢのスケーリング（メタデータスケーリング）を行う。スケーリング後の検出物体群について、信頼度が予め設定された信頼度閾値以上の物体を選別して、後段の合成処理に進む。

一方、分割処理では、入力画像を分割した後、分割画像毎に検出処理を行って、各分割画像に含まれる物体を検出する。検出した物体の位置を示すＢＢは、分割画像に対するものであるため、分割前の元画像にマッピングするためのメタデータ調整を行う。調整後、全体処理と同様に、信頼度が信頼度閾値以上の物体のみを選別して、後段の合成処理に進む。

合成処理では、全体処理で検出されなかった物体を、分割処理で検出された物体で補間する。補間対象物体の選別においては、全体処理で検出された物体と、分割処理で検出された物体との一致判定を行い、一致しない物体を補間対象として出力する。補間処理で検出された物体との合成処理では、各分割画像に対するメタデータ選別処理の出力結果と全体処理の出力結果とを合わせて、最終的な物体検出結果として出力する。

図１７で説明した方法により、深層学習に基づく物体検出方法における入力画像制約サイズを上回る高精細画像についても、大小両方の物体を一度に検出することが可能になる。しかしながら、４Ｋ（３８４０画素×２１６０画素）等の超高精細画像においては、分割処理における画像分割数が多くなり、計算量が膨大になるという課題がある。例えば、ＹＯＬＯｖ３の場合においては、入力画像制約サイズが最大のＹＯＬＯにおいても、最大で分割画像数が１８個となり、計算量が膨大となる。

計算量を削減するために、物体検出を実行する画像のフレームと物体を追跡する画像のフレームとに分ける方法の適用（非特許文献４）が考えられる。物体を追跡するフレームでは、物体検出を実行するフレームによって得られたＢＢの位置を、動きベクトル値に基づいて補正する。非特許文献４に開示された方法の適用により、物体検出を実行するフレームが間引かれるため、フレーム毎に物体検出を実行する場合よりも計算量を削減することが可能となる。

しかしながら、信頼度が信頼度閾値近傍の物体群、隣接している物体群、および一部が隠れている物体群については、物体の検出結果自体が安定しない。このため、物体の検出が可能であったフレームを、フレームの間引きによって失ってしまい、物体を検出し難くなるという問題が生じる。

Joseph Redmon et.al，"YOLOv3:An Incremental Improvement"，２０１８年，＜https://arxiv.org/abs/1804.02767＞ Wei Liu et.al，"SSD:Single Shot MultiBox Detector"，２０１６年，＜https://arxiv.org/pdf/1512.02325.pdf＞ Vit Ruzicka et.al，"Fast and accurate object detection in high resolution 4K and 8K video using GPUs"，2018 IEEE High Performance extreme Computing Conference (HPEC) 氏家 隆之他，"動画像コーデックにおける動きベクトルを用いたＣＮＮ物体検出の負荷緩和"，情報処理学会研究報告，Ｖｏｌ．２０１８－ＣＶＩＭ－２１０，Ｎｏ．４，２０１８年

本発明は、上記課題を解決するためになされたもので、物体検出の取りこぼしの発生を抑えつつ、計算量削減を実現することを目的とする。

本発明の物体検出装置は、入力画像を分割して複数の分割画像を出力するように構成された分割部と、フレーム毎に前記入力画像の全体をスケーリングして得られる縮小画像に対して物体検出処理を行うように構成された全体処理部と、前記複数の分割画像のうち物体検出の対象となるフレーム毎の分割画像をＮ（Ｎは分割画像総数以上の整数）フレームの周期で前もって決定して、決定した分割画像の予約を行うように構成された割当処理部と、前記割当処理部による予約の結果に基づいて、前記複数の分割画像のうち物体検出の対象となる一部の分割画像をフレーム毎に選択して出力するように構成された第１の選択処理部と、前記第１の選択処理部から出力された分割画像の各々に対して物体検出処理を行うように構成された分割処理部と、前記分割処理部による物体検出結果を記憶するように構成された保持部と、前記割当処理部による予約の結果に基づいて、物体検出を実行しない分割画像について、前記保持部に記憶されている過去の物体検出結果をフレーム毎に選択して出力するように構成された第２の選択処理部と、前記全体処理部による物体検出結果と前記分割処理部による物体検出結果と前記第２の選択処理部から出力された物体検出結果とをフレーム毎に合成することで最終的な物体検出結果を得るように構成された合成処理部とを備えることを特徴とするものである。

また、本発明の物体検出装置の１構成例において、前記割当処理部は、前記全体処理部による物体検出結果に基づいて前記分割画像毎の検出物体数の推定値をフレーム毎に算出し、前記推定値のフレーム間の差分絶対値に基づいて前記分割画像毎の検出物体数のフレーム間での揺らぎの推定値を算出し、前記周期内の検出物体数の揺らぎの推定値の平均値を前記分割画像毎に算出するように構成された推定揺らぎ算出部と、前記分割画像毎の検出物体数の揺らぎの推定値の平均値に基づいて、物体検出を実行する回数が各分割画像に比例分配されるように、次の周期における物体検出の対象となるフレーム毎の分割画像の予約を前記第１の選択処理部に対して行うように構成された分割画像割当処理部とを備えることを特徴とするものである。
また、本発明の物体検出装置の１構成例において、前記分割画像割当処理部は、全ての前記分割画像が次の周期の間に少なくともＭ（Ｍは１以上の整数）回、物体検出の対象として選択されるように決定した後、残りの割当可能なフレームに対して、前記分割画像毎の検出物体数の揺らぎの推定値の平均値に基づいて、物体検出を実行する回数が各分割画像に比例分配されるように、次の周期における物体検出の対象となるフレーム毎の分割画像を決定することを特徴とするものである。
また、本発明の物体検出装置の１構成例において、前記推定揺らぎ算出部は、前記全体処理部によって検出された物体群の内、前記全体処理部によって算出された信頼度が閾値未満かつ閾値／α（αは２以上の実数）以上である物体の検出物体数を、物体が位置する分割画像毎に集計することにより、前記分割画像毎の検出物体数の推定値を算出することを特徴とするものである。

また、本発明の物体検出装置の１構成例は、前記分割処理部による最新の物体検出結果と過去の物体検出結果とに基づいて前記入力画像が変化したかどうかを判定するように構成されたシーン変動検出処理部をさらに備え、前記割当処理部は、前記入力画像が変化したと判定されたときに、前記予約を取り消して初期状態に戻すことを特徴とするものである。

また、本発明の物体検出方法は、入力画像を分割して複数の分割画像を出力する第１のステップと、フレーム毎に前記入力画像の全体をスケーリングして得られる縮小画像に対して物体検出処理を行う第２のステップと、前記複数の分割画像のうち物体検出の対象となるフレーム毎の分割画像をＮ（Ｎは分割画像総数以上の整数）フレームの周期で前もって決定して、決定した分割画像の予約を行う第３のステップと、前記第３のステップによる予約の結果に基づいて、前記複数の分割画像のうち物体検出の対象となる一部の分割画像をフレーム毎に選択して出力する第４のステップと、前記第４のステップで出力された分割画像の各々に対して物体検出処理を行う第５のステップと、前記第５のステップによる物体検出結果を記憶する第６のステップと、前記第３のステップによる予約の結果に基づいて、物体検出を実行しない分割画像について、前記第６のステップによって記憶された過去の物体検出結果をフレーム毎に選択して出力するように構成された第７のステップと、前記第２のステップによる物体検出結果と前記第５のステップによる物体検出結果と前記第７のステップによって出力された物体検出結果とをフレーム毎に合成することで最終的な物体検出結果を得る第８のステップとを含むことを特徴とするものである。

本発明によれば、複数の分割画像のうち物体検出の対象となるフレーム毎の分割画像をＮフレームの周期で前もって決定して、決定した分割画像の予約を行う割当処理部と、割当処理部による予約の結果に基づいて、複数の分割画像のうち物体検出の対象となる一部の分割画像をフレーム毎に選択して出力する第１の選択処理部とを設けることにより、物体検出の取りこぼしの発生を抑えつつ、計算量を削減することができる。

図１は、本発明の第１の実施例に係る物体検出装置の構成を示すブロック図である。 図２は、本発明の第１の実施例に係る物体検出装置によって処理される分割画像を説明するための図である。 図３は、本発明の第１の実施例における分割画像の検出物体数の推定値の算出処理を説明するフローチャートである。 図４は、本発明の第１の実施例に係る割当処理部による割当処理の例を示す図である。 図５は、本発明の第１の実施例に係る分割画像割当処理部の動作を説明するフローチャートである。 図６は、本発明の第１の実施例に係る分割画像割当処理部による予約処理を説明するフローチャートである。 図７は、本発明の第１の実施例に係る分割画像割当処理部による予約処理の具体例を説明する図である。 図８は、本発明の第１の実施例に係る物体検出装置による物体検出処理の流れを説明するフローチャートである。 図９は、本発明の第１の実施例に係る全体処理部による全体処理の詳細を説明するフローチャートである。 図１０は、本発明の第１の実施例に係る割当処理部による割当処理の詳細を説明するフローチャートである。 図１１は、本発明の第１の実施例に係る分割処理部による物体検出処理の詳細を説明するフローチャートである。 図１２は、本発明の第１の実施例に係る合成処理部による合成処理の詳細を説明するフローチャートである。 図１３は、本発明の第１の実施例に係る合成処理部によるメタデータ選別処理の詳細を説明するフローチャートである。 図１４は、本発明の第２の実施例に係る物体検出装置の構成を示すブロック図である。 図１５は、本発明の第２の実施例に係るシーン変動検出処理部の動作を説明するフローチャートである。 図１６は、本発明の第１、第２の実施例に係る物体検出装置を実現するコンピュータの構成例を示すブロック図である。 図１７は、従来の物体検出方法を説明する図である。

［第１の実施例］
以下、本発明の実施例について図面を参照して説明する。図１は本発明の第１の実施例に係る物体検出装置の構成を示すブロック図である。物体検出装置は、入力画像に対して物体検出処理を実行する。そして物体検出装置は、物体検出処理による物体検出結果をメタデータで出力する。物体検出装置は、入力画像に含まれる物体の位置情報、物体の属性情報、および信頼度を少なくとも含むメタデータを出力する。

物体検出装置は、分割部１と、選択処理部２と、全体処理部３と、分割処理部４と、割当処理部５と、保持部６と、選択処理部７と、合成処理部８とを備える。

全体処理部３は、画像スケーリング処理部３０と、物体検出処理部３１と、メタデータスケーリング処理部３２と、信頼度フィルタ処理部３３とを備えている。
分割処理部４は、画像スケーリング処理部４０と、物体検出処理部４１と、メタデータ調整処理部４２と、信頼度フィルタ処理部４３とを備えている。
割当処理部５は、推定揺らぎ算出部５０と、分割画像割当処理部５１とを備えている。

全体処理部３の画像スケーリング処理部３０は、深層学習結果に基づく物体検出処理に入力可能な画像サイズまで入力画像を縮小するスケーリング処理を実行する。画像スケーリング処理部３０は、入力画像の幅および高さの比を維持したまま、画像サイズを縮小することができる。縮小方法としては、例えば双線形補間法がある。

全体処理部３の物体検出処理部３１は、画像スケーリング処理部３０によって縮小された入力画像を入力として、所定の深層学習に基づく学習済みの物体検出モデルの演算を行う。物体検出処理部３１は、縮小された入力画像を、予め用意された物体検出モデルに入力として与え、物体検出モデルの演算を行い、入力画像に含まれる物体の属性値とＢＢ（Bounding Box）とを含む属性情報の集合を、入力画像のメタデータとして生成する。

属性値は、物体の固有の姿、形、性質を表す。属性値の例としては、例えば「ｄｏｇ」、「ｂｉｃｙｃｌｅ」、「ｃａｒ」などがある。
ＢＢ（Bounding Box）は、例えば検出された物体に外接して、その物体を囲うことが可能な最小の矩形の範囲を有する。入力画像のメタデータに含まれるＢＢの情報としては、ＢＢの中心座標（Ｘ，Ｙ）、ＢＢの高さ（Ｈ）、ＢＢの幅（Ｗ）の情報が少なくとも含まれる。

物体検出処理部３１は、例えば、事前に外部のサーバなどの演算装置で学習された畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いたＹＯＬＯなどの物体検出モデルを用いて、入力画像に含まれる物体を検出する。

全体処理部３のメタデータスケーリング処理部３２は、物体検出処理部３１によって生成された入力画像のメタデータに含まれるＢＢを、縮小前の入力画像のサイズに対応するように拡大するスケーリング処理を行う。このスケーリング処理を行う理由は、物体検出処理部３１が生成したメタデータは、縮小された入力画像に対するものだからである。メタデータスケーリング処理部３２は、例えば、双線形補間法を用いて、入力画像のメタデータに含まれるＢＢのスケーリングを行う。

例えば、入力画像の幅をＷ_in、高さをＨ_inとし、画像スケーリング処理部３０で縮小された入力画像の幅をＷ_det、高さをＨ_detとする。この場合、メタデータスケーリング処理部３２は、入力画像のメタデータに含まれるＢＢの中心座標（Ｘ_bb，Ｙ_bb）を（Ｘ_bb×Ｗ_in／Ｗ_det，Ｙ_bb×Ｈ_in／Ｈ_det）にスケーリングし、ＢＢの幅Ｗ_bb、高さＨ_bbをそれぞれＷ_bb×Ｗ_in／Ｗ_det、Ｈ_bb×Ｈ_in／Ｈ_detにスケーリングすることで、元の入力画像にＢＢをマッピングする。

全体処理部３の信頼度フィルタ処理部３３は、メタデータスケーリング処理部３２によってスケーリング処理された検出物体群から、信頼度が予め設定された信頼度閾値Ｔｈ以上の物体を選別する。信頼度フィルタ処理部３３は、信頼度が信頼度閾値Ｔｈ以上の物体のメタデータＭＤ２を合成処理部８に送る。また、信頼度フィルタ処理部３３は、信頼度が信頼度閾値Ｔｈ未満の物体のメタデータＭＤ３を割当処理部５に送る。

分割処理部４の分割部１は、入力画像を複数の分割画像に分割する。入力画像の幅方向の分割数をＮ_w、高さ方向の分割数をＮ_hとする。例えば図２に示す例では、入力画像がＮ_w＝２、Ｎ_h＝２の、合計４つの分割画像に分割されている。

選択処理部２は、分割部１によって分割された複数の分割画像のうち一部の分割画像を選択的に出力する。この選択処理部２の処理の詳細については後述する。

分割処理部４の画像スケーリング処理部４０は、選択処理部２から出力された複数の分割画像の各々を、深層学習に基づく物体検出モデルに入力することができる指定の画像サイズに縮小するスケーリング処理を行う。画像スケーリング処理部４０は、後述の物体検出処理部４１が用いる物体検出モデルの入力画像のサイズに対応するように、各分割画像の幅と高さとの比などのパラメータ値を維持したまま画像サイズを縮小する。

分割処理部４の物体検出処理部４１は、画像スケーリング処理部４０によって縮小された分割画像を入力として、所定の深層学習に基づく学習済みの物体検出モデルの演算を分割画像毎に行う。物体検出処理部４１は、縮小された分割画像を、予め用意された物体検出モデルに入力として与え、物体検出モデルの演算を行い、分割画像に含まれる物体の属性値とＢＢとを含む属性情報の集合を、分割画像のメタデータとして生成する。分割画像のメタデータに含まれるＢＢの情報としては、ＢＢの中心座標（Ｘ，Ｙ）、ＢＢの高さ（Ｈ）、ＢＢの幅（Ｗ）の情報が少なくとも含まれる。

物体検出処理部４１は、例えば、事前に外部のサーバなどの演算装置で学習された畳み込みニューラルネットワーク（ＣＮＮ）を用いたＹＯＬＯなどの物体検出モデルを用いて、分割画像に含まれる物体を検出する。

ここで、入力画像の幅をＷ_in、高さをＨ_inとして、予め用意された物体検出モデルに入力することができる指定の画像サイズの幅をＷ_det、高さをＨ_detとする。この場合、入力画像の幅方向の分割数Ｎ_w、高さ方向の分割数Ｎ_hは、以下の式（１）、式（２）で与えられる。Ｎ_w＿_maxは入力画像の幅方向の分割数の上限値、Ｎ_h＿_maxは、入力画像の高さ方向の分割数の上限値である。
Ｎ_w＝ｍｉｎ（Ｎ_w＿_max，ｃｅｉｌｉｎｇ（Ｗ_in／Ｗ_det））・・・（１）
Ｎ_h＝ｍｉｎ（Ｎ_h＿_max，ｃｅｉｌｉｎｇ（Ｈ_in／Ｈ_det））・・・（２）

式（１）、式（２）のｃｅｉｌｉｎｇ（）は、数値を指定された桁数で切り上げる関数を意味している。ｍｉｎ（Ｎ_w＿_max，ｃｅｉｌｉｎｇ（Ｗ_in／Ｗ_det））は、Ｎ_w＿_maxとｃｅｉｌｉｎｇ（Ｗ_in／Ｗ_det）とのうち小さい方の値をとることを意味する。

分割処理部４のメタデータ調整処理部４２は、物体検出処理部４１によって検出されたＢＢを、分割前の元画像、つまり入力画像にマッピングするためのメタデータの調整処理を、物体検出処理部４１に入力された分割画像毎に行う。Ｎ_div個の分割画像［ｉ］［ｊ］（０≦ｉ≦Ｎ_w－１，０≦ｊ≦Ｎ_h－１）で検出されたＢＢの中心座標を（ｘ_bb＿_div，ｙ_bb＿_div）、幅をｗ_bb＿_div、高さをｈ_bb＿_divとし、元画像の座標への調整後のＢＢの中心座標を（ｘ_bb，ｙ_bb）、幅をｗ_bb、高さをｈ_bbとする。

メタデータ調整処理部４２は、物体検出処理部４１によって検出されたＢＢを以下の各式に基づいて入力画像へマッピングする。

ｘ_bb＝ｘ_bb＿_div×ｆｌｏｏｒ（Ｗ_in／Ｎ_w）＋ｆｌｏｏｒ（Ｗ_in／Ｎ_w）×ｉ
・・・（３）
ｙ_bb＝ｙ_bb＿_div×ｆｌｏｏｒ（Ｈ_in／Ｎ_h）＋ｆｌｏｏｒ（Ｈ_in／Ｎ_h）×ｊ
・・・（４）
ｗ_bb＝ｗ_bb＿_div×ｆｌｏｏｒ（Ｗ_in／Ｎ_w） ・・・（５）
ｈ_bb＝ｈ_bb＿_div×ｆｌｏｏｒ（Ｈ_in／Ｎ_h） ・・・（６）

式（３）～式（６）のｆｌｏｏｒ（）は、数値を指定された桁数で切り捨てる関数を意味している。
分割処理部４の信頼度フィルタ処理部４３は、メタデータ調整処理部４２によってメタデータが調整された後の検出物体群から、信頼度が予め設定された信頼度閾値Ｔｈ以上の物体を選別する。信頼度フィルタ処理部４３によって選別された物体のメタデータＭＤ１は合成処理部８に出力されると共に、保持部６によって記憶される。

選択処理部７は、保持部６によって記憶されている過去の検出結果のうち、一部の検出結果を選択的に出力する。この選択処理部７の処理の詳細については後述する。

合成処理部８は、全体処理部３で検出されなかった物体を、分割処理部４で検出された物体で補間する処理を行う。合成処理部８は、全体処理部３で検出された物体と、分割処理部４で検出された物体との一致判定を行い、一致しない物体を補間対象として決定するメタデータ選別処理を行う。このメタデータ選別処理について説明する。

合成処理部８は、複数の分割画像のうちの１枚の分割画像のメタデータＭＤ１と、全体画像のメタデータＭＤ２とを比較し、全体画像のメタデータＭＤ２の属性値が分割画像のメタデータＭＤ１の属性値と一致するか否かを判断する。一致する場合には、合成処理部８は、重複度を計算する。具体的には、合成処理部８は、全体画像のメタデータＭＤ２に含まれるＢＢと、分割画像のメタデータＭＤ１に含まれるＢＢとで重複した面積を、分割画像のメタデータＭＤ１に含まれるＢＢの面積で除算して得られる重複度を算出する。合成処理部８は、このような一致／不一致の判断と重複度の算出とを分割画像毎に行う。

そして、合成処理部８は、重複度が、予め設定された閾値を上回る場合には、分割画像のメタデータＭＤ１の属性情報と全体画像のメタデータＭＤ２の属性情報とが同一の属性情報であると判断し、同じ属性情報を分割画像のメタデータＭＤ１から除去する。

さらに、合成処理部８は、メタデータ選別処理後の分割画像のメタデータＭＤ１と、全体画像のメタデータＭＤ２とを合わせて、最終的な物体検出結果として出力するメタデータ合計処理を行う。つまり、合成処理部８は、重複する属性情報が排除された分割画像のメタデータＭＤ１で全体画像のメタデータＭＤ２を補間して、入力画像のメタデータＭＤを生成する。

次に、割当処理部５と選択処理部２，７の動作について説明する。割当処理部５は、全体処理部３の物体検出結果に基づいて、物体検出を実行するフレームレートを分割画像毎に動的に制御する。具体的には、割当処理部５は、分割画像毎の検出物体数の揺らぎを全体処理部３の処理結果から推定し、推定揺らぎが大きい分割画像（物体検出が不安定な分割画像）の物体検出を実行するフレームの間引き率を低くする。また、割当処理部５は、推定揺らぎが小さい分割画像（物体検出が安定した分割画像）のフレームの間引き率を高くする。これにより、フレームの間引きに伴う物体検出のし難さを回避し、安定的な物体検出を維持しつつ、計算量の削減を実現する。検出物体数の揺らぎが小さい分割画像においても、物体の移動等に伴う変化に追従できるように、間引くフレーム数には上限を設ける。なお、全体処理部３は、入力画像に対する物体検出処理を毎フレーム実行する。

分割処理部４は、各分割画像の物体検出処理を実行する度に物体検出結果を保持部６に記録しておく。合成処理部８は、物体検出を実行した分割画像群については最新の物体検出結果を用い、物体検出を実行しなかった分割画像群については保持部６に記憶されている過去の物体検出結果を用いて、全体画像の物体検出結果との合成処理を行うことで、最終的な物体検出結果を得る。

上記の推定揺らぎは、全体処理部３の検出結果から以下の手順で得る。まず、割当処理部５の推定揺らぎ算出部５０は、全体処理部３の物体検出結果から全体処理部３の信頼度フィルタ処理部３３によって除外された物体群の内、信頼度をα倍（αは２以上の実数）した時に信頼度閾値Ｔｈ以上となる物体群を抽出する。具体的には、信頼度フィルタ処理部３３からは、信頼度が信頼度閾値Ｔｈ未満の物体のメタデータＭＤ３が出力される。推定揺らぎ算出部５０は、信頼度が信頼度閾値Ｔｈ未満の物体群のうち、信頼度をα倍した時に信頼度閾値Ｔｈ以上となる物体群を抽出する。

次に、推定揺らぎ算出部５０は、抽出した物体群の各々について中心座標がいずれの分割画像の座標範囲内に位置するかを確認する。そして、推定揺らぎ算出部５０は、抽出した物体の中心座標を含む分割画像の検出物体数の推定値をインクリメントする。例えば、推定揺らぎ算出部５０は、抽出した物体の中心座標が分割画像＃０の座標範囲内に位置する場合、分割画像＃０の検出物体数の推定値をインクリメントする。このような検出物体数の推定値のインクリメントを、抽出した物体毎に行い、各分割画像の検出物体数の推定値を得る。

図３は、分割画像の検出物体数の推定値の算出処理を説明するフローチャートである。推定揺らぎ算出部５０は、変数Ｉｍを０に設定する（図３ステップＳ１０１）。変数Ｉｍは、各分割画像に割り当てられる番号であり、０から（Ｎ_div－１）の値をとる。推定揺らぎ算出部５０は、変数Ｉｍが分割画像総数Ｎ_div未満であるかどうか判断する（図３ステップＳ１０２）。変数Ｉｍが分割画像総数Ｎ_div未満でなければ（ステップＳ１０２においてＮｏ）、推定揺らぎ算出部５０は、一連の検出物体数推定値算出処理を終了する。

推定揺らぎ算出部５０は、変数Ｉｍが分割画像総数Ｎ_div未満の場合（ステップＳ１０２においてＹｅｓ）、番号Ｉｍの分割画像の検出物体数の推定値Ｎｏｂｊ［Ｉｍ］を０に設定する（図３ステップＳ１０３）。

推定揺らぎ算出部５０は、変数ｎｏを０に設定する（図３ステップＳ１０４）。変数ｎｏは、全体処理部３によって検出された、信頼度が信頼度閾値Ｔｈ未満の各物体に割り当てられる番号である。推定揺らぎ算出部５０は、変数ｎｏが抽出メタ数未満かどうかを判断する（図３ステップＳ１０５）。抽出メタ数とは、全体処理部３によって検出された、信頼度が信頼度閾値Ｔｈ未満の物体の数である。

推定揺らぎ算出部５０は、変数ｎｏが抽出メタ数以上である場合（ステップＳ１０５においてＮｏ）、変数Ｉｍを１つインクリメントする（図３ステップＳ１０６）。ステップＳ１０６の処理が終わると、推定揺らぎ算出部５０は、ステップＳ１０２の処理に戻る。

一方、変数ｎｏが抽出メタ数未満の場合（ステップＳ１０５においてＹｅｓ）、推定揺らぎ算出部５０は、信頼度が信頼度閾値Ｔｈ未満の物体群のうち、番号ｎｏの物体の中心座標が番号Ｉｍの分割画像の座標範囲内にあるかどうかを判定する（図３ステップＳ１０７）。なお、各分割画像の境界線上の座標はいずれか１つの分割画像のみの座標とし、重複することがないようにする。

推定揺らぎ算出部５０は、番号ｎｏの物体の中心座標が番号Ｉｍの分割画像の座標範囲内にある場合（ステップＳ１０７においてＹｅｓ）、番号ｎｏの物体の信頼度に所定の係数αを乗じたものを、期待信頼値として算出する（図３ステップＳ１０８）。ここで、係数αは、全体処理と比較して、分割処理による物体の特徴的な部位の縮小緩和によって信頼度が向上する割合を表す値である。

推定揺らぎ算出部５０は、ステップＳ１０８で求めた期待信頼値が信頼度閾値Ｔｈ以上かどうかを判定する（図３ステップＳ１０９）。推定揺らぎ算出部５０は、期待信頼値が信頼度閾値Ｔｈ以上の場合（ステップＳ１０９においてＹｅｓ）、番号Ｉｍの分割画像の検出物体数の推定値Ｎｏｂｊ［Ｉｍ］を１つインクリメントする（図３ステップＳ１１０）。

続いて、推定揺らぎ算出部５０は、変数ｎｏを１つインクリメントし（図３ステップＳ１１１）、ステップＳ１０５に戻る。推定揺らぎ算出部５０は、番号ｎｏの物体の中心座標が番号Ｉｍの分割画像の座標範囲内にない場合（ステップＳ１０７においてＮｏ）、あるいは期待信頼値が信頼度閾値Ｔｈ未満の場合は（ステップＳ１０９においてＮｏ）、ステップＳ１１１まで処理をスキップする。

こうして、推定揺らぎ算出部５０は、図３に示した一連の処理を実行することで、各分割画像の検出物体数の推定値Ｎｏｂｊを得ることができる。

次に、推定揺らぎ算出部５０は、各分割画像の検出物体数の推定値Ｎｏｂｊと直前のフレームにおける各分割画像の検出物体数の推定値Ｎｏｂｊとの差分絶対値を分割画像毎に算出することで、分割画像毎の推定揺らぎ値を得る。

ここで、上記の係数αは、同一物体について全体画像で検出された信頼度と分割画像で検出された信頼度との比である。本実施例において、αは予め定められた単一の実数値であるが、分割画像の座標範囲毎に異なる値としても良い。また、分割画像の検出物体数の推定値と実際の検出物体数との誤差に基づいてαを補正してもよい。

フレームの間引き率の制御は、各分割画像に対する物体検出を実行する、フレームおよび演算コアの割当を、Ｎフレームの周期（Ｎは分割画像総数Ｎ_div以上の整数）で決定することで実現する。ここで、演算コアとは、物体検出処理部４１として機能する演算コアのことであり、計算量削減のために、演算コア数は分割画像総数Ｎ_divよりも少ない数とする。つまり、物体検出処理部４１と画像スケーリング処理部４０とメタデータ調整処理部４２と信頼度フィルタ処理部４３とは、それぞれ演算コア数分だけ設けられることになる。

図４は割当処理の例を示す図である。ここでは、分割画像総数Ｎ_div＝４、Ｎ＝４、物体検出処理部４１として機能する演算コアの数を２とする。図４の縦軸はフレームの間引き率Ｆｒ、横軸はフレーム番号である。図４の例では、フレームの間引き率Ｆｒの上限Ｆｒ_maxを０．７５としている。初期状態においてはフレームの間引き率Ｆｒは分割画像間で均等である。

まず、推定揺らぎ算出部５０は、１周期（例えば番号＃０～＃３のフレーム）内のフレーム毎に各分割画像の検出物体数の揺らぎの推定値を全体処理部３の処理結果から算出し、この揺らぎの推定値の１周期分の累積値を分割画像毎に算出する。各分割画像の検出物体数の揺らぎの推定値の算出方法は上記で説明したとおりである。

そして、推定揺らぎ算出部５０は、１周期内の末尾フレーム（例えば番号＃３のフレーム）に到達すると、分割画像毎の揺らぎの推定値の累積値をＮ（＝４）で除算することで、１周期内の検出物体数の揺らぎの推定値の平均値Ｅ_ave［Ｉｍ］を分割画像毎に算出する。

割当処理部５の分割画像割当処理部５１は、推定揺らぎ算出部５０によって算出された分割画像毎の検出物体数の揺らぎの推定値の平均値Ｅ_ave［Ｉｍ］に基づいて、物体検出を実行する回数（割当量）が各分割画像に比例分配されるように、次の周期における物体検出の対象となるフレーム毎の演算コアおよび分割画像の予約を選択処理部２に対して行う。

上記のように、検出物体数の揺らぎの推定値の平均値Ｅ_ave［Ｉｍ］が小さい分割画像は、フレームの間引き率Ｆｒが高くなる。一方、検出物体数の揺らぎの推定値の平均値Ｅ_ave［Ｉｍ］が大きい分割画像は、フレームの間引き率Ｆｒが低くなる。このようにして、分割画像毎のフレームの間引き率Ｆｒの動的制御を実現する。

図５は分割画像割当処理部５１の動作を説明するフローチャートである。最初に、分割画像割当処理部５１は、割当可能量Ｊ_nを設定する（図５ステップＳ２００）。割当可能総量Ｊ_totalは、Ｎと演算コア数とを乗算して得られる整数値であり、１周期内で実行可能な物体検出の回数である。上記の例ではＮ＝４、演算コア数が２であるから、割当可能総量Ｊ_totalは８である。ステップＳ２００の時点では、割当可能量Ｊ_nは割当可能総量Ｊ_totalと等しい値に設定される。

分割画像割当処理部５１は、各分割画像の割当量Ｊ［Ｉｍ］を０に設定する（図５ステップＳ２０１）。割当量Ｊ［Ｉｍ］は、１周期内に１つの分割画像について物体検出を実行する回数を分割画像毎に定めた値である。

次に、分割画像割当処理部５１は、全ての分割画像の割当量Ｊ［Ｉｍ］を、フレームの間引き率Ｆｒの上限Ｆｒ_maxに相当する最小割当量Ｊ_minに設定する（図５ステップＳ２０２）。これにより、全ての分割画像のフレームの間引き率Ｆｒが上限Ｆｒ_maxに設定されることになる。本実施例では、最小割当量Ｊ_minをＭとする。Ｍは予め定められた１以上の整数である。最小割当量Ｊ_minをＭと設定することで、全ての分割画像が１周期の間に少なくともＭ回、物体検出の対象として選択される。

分割画像割当処理部５１は、各分割画像の割当量Ｊ［Ｉｍ］を最小割当量Ｊ_minに設定したため、現在の割当可能量Ｊ_nから、Ｎ_div×Ｊ_minの乗算結果を減じた値を、最新の割当可能量Ｊ_nとして更新する（図５ステップＳ２０３）。

続いて、分割画像割当処理部５１は、全ての分割画像について検出物体数の揺らぎの推定値の平均値Ｅ_ave［Ｉｍ］が０か否かを確認する（図５ステップＳ２０４）。検出物体数の揺らぎの推定値の平均値Ｅ_ave［Ｉｍ］が全ての分割画像で０の場合は、全ての分割画像の検出物体数の揺らぎがないことを意味している。そこで、分割画像割当処理部５１は、残りの割当可能量Ｊ_n（実行可能な物体検出の回数）を、各分割画像の割当量Ｊ［Ｉｍ］に均等に分配する（図５ステップＳ２０５）。

分割画像割当処理部５１は、ステップＳ２０５の均等分配では、各分割画像の割当量Ｊ［Ｉｍ］を次式のように算出する。
Ｊ_new［Ｉｍ］＝Ｊ_old［Ｉｍ］＋Ｆｌｏｏｒ（Ｊ_n／Ｎ_div）・・・（７）

Ｊ_old［Ｉｍ］は分配前の各分割画像の割当量、Ｊ_new［Ｉｍ］は分配後の各分割画像の割当量である。また、分割画像割当処理部５１は、少なくとも一部の分割画像について検出物体数の揺らぎの推定値の平均値Ｅ_ave［Ｉｍ］が０でない場合（ステップＳ２０４においてＮｏ）、残りの割当可能量Ｊ_nを、揺らぎの推定値の平均値Ｅ_ave［Ｉｍ］の比で重み付けして各分割画像の割当量Ｊ［Ｉｍ］に分配する（図５ステップＳ２０６）。

分割画像割当処理部５１は、ステップＳ２０６の比例分配では、各分割画像の割当量Ｊ［Ｉｍ］を次式のように算出する。
Ｊ_new［Ｉｍ］＝Ｊ_old［Ｉｍ］
＋ｍｉｎ（Ｎ，Ｆｌｏｏｒ（Ｊ_n×（Ｅ_ave［Ｉｍ］／ΣＥ_ave［Ｉｍ］））
・・・（８）

式（８）のΣＥ_ave［Ｉｍ］は全ての分割画像の検出物体数の揺らぎの推定値の平均値の総和であることは言うまでもない。ｍｉｎ（Ｎ，Ｆｌｏｏｒ（Ｊ_n×（Ｅ_ave［Ｉｍ］／ΣＥ_ave［Ｉｍ］））は、ＮとＦｌｏｏｒ（Ｊ_n×（Ｅ_ave［Ｉｍ］／ΣＥ_ave［Ｉｍ］）とのうちどちらか小さい方の値をとることを意味する。

なお、ステップＳ２０５またはＳ２０６によって分配しきれなかった未割当量（残りの割当可能量Ｊ_nから各分割画像の割当量Ｊ［Ｉｍ］の総和を減算して得られる値）が発生することが有り得る。この場合、分割画像割当処理部５１は、Ｎを超えない範囲で、全分割画像に未割当量を均等分配してもよいし、割当量Ｊ［Ｉｍ］が大きい分割画像あるいは小さい分割画像に未割当量を分配するようにしてもよい。

分割画像割当処理部５１は、ステップＳ２０５またはＳ２０６によって各分割画像の割当量Ｊ［Ｉｍ］が決定すると、割当量Ｊ［Ｉｍ］が大きい分割画像から順番に、物体検出処理を実行する演算コアの予約および物体検出処理の対象となる分割画像とフレームの予約を選択処理部２，７に対して行う（図５ステップＳ２０７）。

図６はステップＳ２０７の予約処理を説明するフローチャートである。最初に、分割画像割当処理部５１は、各分割画像の予約完了フラグを０にセットする（図６ステップＳ３００）。続いて、分割画像割当処理部５１は、各分割画像の予約完了フラグが１かどうかを判定する（図６ステップＳ３０１）。

ここでは、各分割画像の予約完了フラグが０のため、ステップＳ３０２に進む。分割画像割当処理部５１は、予約完了フラグが０の分割画像の中で割当量Ｊ［Ｉｍ］が最大の分割画像を予約対象として探索する（図６ステップＳ３０２）。探索した予約対象の分割画像の番号をｉ、割当量をＪ［ｉ］とする。

そして、分割画像割当処理部５１は、予約対象の分割画像についてＮ_dフレーム毎にＪ［ｉ］／Ｎ_d回だけ物体検出処理が実行されるように、未予約の演算コアを予約対象の分割画像の物体検出処理用として予約する（図６ステップＳ３０３）。Ｎ_dは１以上Ｎ未満の整数である。ただし、この予約においては、フレーム毎に同一分割画像の予約は１回までとする。

分割画像割当処理部５１は、予約が終わった番号ｉの分割画像の予約完了フラグを１にセットし（図６ステップＳ３０４）、ステップＳ３０１に戻る。
こうして、予約完了フラグが０（予約未了）の分割画像を割当量Ｊ［Ｉｍ］が大きい順に予約対象として、演算コアの割当を行う。

全ての分割画像の予約完了フラグが１になった時点で（ステップＳ３０１においてＹｅｓ）、予約処理（ステップＳ２０７）が終了する。
なお、分割画像割当処理部５１は、ステップＳ３０３においてＮ_dフレーム毎に予約する際において、このＮ_dフレームの期間内に未予約の演算コアが存在しない場合には、次のＮ_dフレームの期間内の未予約の演算コアを予約対象の分割画像の物体検出処理用として予約すればよい。

図４と図７を用いて予約処理の具体例を説明する。図４の１周期（番号＃０～＃３のフレーム）の検出物体数の揺らぎの推定値の平均値Ｅ_ave［Ｉｍ］の算出結果から、次の周期（番号＃４～＃７のフレーム）の演算コアを分割画像の物体検出処理用として予約する場合に、番号＃０の分割画像の割当量Ｊ［０］が１、番号＃１の分割画像の割当量Ｊ［１］が４、番号＃２の分割画像の割当量Ｊ［２］が２、番号＃３の分割画像の割当量Ｊ［３］が１であるとする。Ｎ_dは２とする。

まず、分割画像割当処理部５１は、割当量Ｊ［１］が最大の番号＃１の分割画像について、番号＃４～＃５のフレームで番号＃０の演算コアを２回予約し、さらに番号＃６～＃７のフレームで番号＃０の演算コアを２回予約する。次に、分割画像割当処理部５１は、割当量Ｊ［２］が２番目に大きい番号＃２の分割画像について、番号＃４～＃５のフレームで番号＃１の演算コアを１回予約し、さらに番号＃６～＃７のフレームで番号＃１の演算コアを１回予約する。

続いて、分割画像割当処理部５１は、割当量Ｊ［０］，Ｊ［３］が同一の番号＃０，＃３の分割画像のうち、番号が小さい方の分割画像から予約を行う。具体的には、分割画像割当処理部５１は、番号＃０の分割画像について、番号＃４～＃５のフレームで番号＃１の演算コアを１回予約する。最後に、分割画像割当処理部５１は、番号＃３の分割画像について、番号＃４～＃５のフレームで演算コアを予約しようとするが、番号＃４～＃５のフレームに未予約の演算コアが既にないため、番号＃６～＃７のフレームで番号＃１の演算コアを１回予約する。図７は以上の予約結果を示している。

次に、予約処理に応じた選択処理部２，７と分割処理部４と保持部６と合成処理部８の動作について説明する。

分割画像割当処理部５１による予約処理により、次周期では、フレーム毎に分割画像を選択して物体検出処理を実行する。選択処理部２は、例えば図７の番号＃４のフレームに対する予約結果に基づいて、番号＃０の演算コア（番号＃０の物体検出処理部４１）とこの演算コアに対応する画像スケーリング処理部４０とメタデータ調整処理部４２と信頼度フィルタ処理部４３とによって番号＃１の分割画像に対する物体検出処理が実行されるように、番号＃１の分割画像を番号＃０の演算コアに対応する画像スケーリング処理部４０に出力する。

また、選択処理部２は、番号＃４のフレームに対する予約結果に基づいて、番号＃１の演算コア（番号＃１の物体検出処理部４１）とこの演算コアに対応する画像スケーリング処理部４０とメタデータ調整処理部４２と信頼度フィルタ処理部４３とによって番号＃２の分割画像に対する物体検出処理が実行されるように、番号＃２の分割画像を番号＃１の演算コアに対応する画像スケーリング処理部４０に出力する。

番号＃１，＃２の分割画像についての物体検出結果であるメタデータＭＤ１は、合成処理部８と保持部６とに出力される。保持部６は、メタデータＭＤ１を記憶する。

選択処理部７は、番号＃４のフレームに対する予約結果に基づいて、番号＃４のフレームに対して物体検出処理を実行しない番号＃０，＃３の分割画像については、保持部６に記憶されている番号＃０，＃３の分割画像の過去の物体検出結果（メタデータＭＤ１）のうち最新の検出結果をそれぞれ、番号＃４のフレームに対する検出結果として合成処理部８に出力する。

合成処理部８は、信頼度フィルタ処理部４３から出力された、番号＃１，＃２の分割画像のメタデータＭＤ１と、選択処理部７から出力された、番号＃０，＃３の分割画像のメタデータＭＤ１とに対して上記のメタデータ選別処理を行う。そして、合成処理部８は、メタデータ選別処理後のメタデータＭＤ１と、番号＃４のフレームに対する全体処理部３の物体検出結果（メタデータＭＤ２）とを合成して、最終的な物体検出結果であるメタデータＭＤを出力する。

次に、選択処理部２は、図７の番号＃５のフレームに対する予約結果に基づいて、番号＃０の演算コア（番号＃０の物体検出処理部４１）とこの演算コアに対応する画像スケーリング処理部４０とメタデータ調整処理部４２と信頼度フィルタ処理部４３とによって番号＃１の分割画像に対する物体検出処理が実行されるように、番号＃１の分割画像を番号＃０の演算コアに対応する画像スケーリング処理部４０に出力する。

また、選択処理部２は、番号＃５のフレームに対する予約結果に基づいて、番号＃１の演算コア（番号＃１の物体検出処理部４１）とこの演算コアに対応する画像スケーリング処理部４０とメタデータ調整処理部４２と信頼度フィルタ処理部４３とによって番号＃０の分割画像に対する物体検出処理が実行されるように、番号＃０の分割画像を番号＃１の演算コアに対応する画像スケーリング処理部４０に出力する。

番号＃１，＃０の分割画像についての物体検出結果であるメタデータＭＤ１は、合成処理部８と保持部６とに出力される。
選択処理部７は、番号＃５のフレームに対する予約結果に基づいて、番号＃５のフレームに対して物体検出処理を実行しない番号＃２，＃３の分割画像については、保持部６に記憶されている番号＃２，＃３の分割画像の過去の物体検出結果（メタデータＭＤ１）のうち最新の検出結果をそれぞれ、番号＃５のフレームに対する検出結果として合成処理部８に出力する。

合成処理部８は、信頼度フィルタ処理部４３から出力された、番号＃１，＃０の分割画像のメタデータＭＤ１と、選択処理部７から出力された、番号＃２，＃３の分割画像のメタデータＭＤ１とに対して上記のメタデータ選別処理を行う。そして、合成処理部８は、メタデータ選別処理後のメタデータＭＤ１と、番号＃５のフレームに対する全体処理部３の物体検出結果（メタデータＭＤ２）とを合成して、最終的な物体検出結果であるメタデータＭＤを出力する。
以降のフレームに対しても同様の処理を実施すればよい。

次に、本実施例の物体検出装置の処理の流れを図８のフローチャートを用いて説明する。まず、物体検出装置には入力画像が入力される（図８ステップＳ４００）。例えば、図示しない外部のカメラなどで撮影された画像が物体検出装置に入力される。

全体処理部３は、入力画像全体に対して物体検出を行う全体処理を実行する（図８ステップＳ４０１）。

割当処理部５は、複数の分割画像のうち物体検出の対象となるフレーム毎の分割画像をＮフレームの周期で前もって決定して、決定した分割画像の予約を行う割当処理を実行する（図８ステップＳ４０２）。

分割処理部４の分割部１は、入力画像を複数の分割画像に分割する（図８ステップＳ４０３）。
選択処理部２は、割当処理部５の決定に基づいて、処理対象のフレームの全ての分割画像のうち、物体検出処理を実行する分割画像を画像スケーリング処理部４０に出力する（図８ステップＳ４０４）。

分割処理部４の画像スケーリング処理部４０と物体検出処理部４１とメタデータ調整処理部４２と信頼度フィルタ処理部４３とは、選択処理部２から出力された分割画像に対して物体検出処理を実行する（図８ステップＳ４０５）。

なお、上記の説明から明らかなように、割当処理部５は、次の周期の割当を決定する。したがって、選択処理部２と画像スケーリング処理部４０と物体検出処理部４１とメタデータ調整処理部４２と信頼度フィルタ処理部４３とは、１つ前の周期の全体処理部３の処理結果に基づいて、分割画像に対して物体検出処理を実行する。

選択処理部７は、物体検出処理を実行しない分割画像の過去の物体検出結果を、保持部６に記憶されている物体検出結果の中から選択して合成処理部８に出力する（図８ステップＳ４０６）。

合成処理部８は、全体処理部３から出力された物体検出結果と分割処理部４から出力された物体検出結果と選択処理部７から出力された過去の物体検出結果とを合わせる合成処理を行う（図８ステップＳ４０７）。そして、合成処理部８は、最終的な物体検出結果であるメタデータＭＤを出力する（図８ステップＳ４０８）。物体検出装置は、以上の図８の処理を入力画像のフレーム毎に行う。

図９はステップＳ４０１の全体処理の詳細を説明するフローチャートである。全体処理部３の画像スケーリング処理部３０は、入力画像に対するスケーリング処理を実行する（図９ステップＳ５００）。

全体処理部３の物体検出処理部３１は、画像スケーリング処理部３０によって縮小された入力画像全体に対する物体検出処理を実行する（図９ステップＳ５０１）。

全体処理部３のメタデータスケーリング処理部３２は、物体検出処理部３１によって生成された入力画像のメタデータに含まれるＢＢを、縮小前の入力画像のサイズに対応するように拡大するスケーリング処理を実行する（図９ステップＳ５０２）。

全体処理部３の信頼度フィルタ処理部３３は、信頼度が信頼度閾値Ｔｈ以上の物体の検出結果（メタデータＭＤ２）を合成処理部８に送り、信頼度が信頼度閾値Ｔｈ未満の物体の検出結果（メタデータＭＤ３）を割当処理部５に送る（図９ステップＳ５０３）。

図１０はステップＳ４０２の割当処理の詳細を説明するフローチャートである。割当処理部５の推定揺らぎ算出部５０は、信頼度が信頼度閾値Ｔｈ未満の物体の検出結果に基づいて、各分割画像の検出物体数の推定値Ｎｏｂｊをフレーム毎に算出する（図１０ステップＳ６００）。この処理の詳細は図３で説明したとおりである。

推定揺らぎ算出部５０は、各分割画像の検出物体数の推定値Ｎｏｂｊと直前のフレームにおける各分割画像の検出物体数の推定値Ｎｏｂｊとの差分絶対値を分割画像毎に算出することで、分割画像毎の検出物体数のフレーム間での揺らぎの推定値を算出する（図１０ステップＳ６０１）。

そして、推定揺らぎ算出部５０は、１周期内の検出物体数の揺らぎの推定値の平均値Ｅ_ave［Ｉｍ］を分割画像毎に算出する（図１０ステップＳ６０２）。

割当処理部５の分割画像割当処理部５１は、推定揺らぎ算出部５０によって算出された各分割画像の検出物体数の揺らぎの推定値の平均値Ｅ_ave［Ｉｍ］に基づいて、各分割画像の割当量Ｊ［Ｉｍ］を算出する（図１０ステップＳ６０３）。

分割画像割当処理部５１は、割当量Ｊ［Ｉｍ］が大きい分割画像から順番に、物体検出処理を実行する演算コアおよびフレームの予約を選択処理部２，７に対して行う（図５ステップＳ２０７）。分割画像割当処理部５１の処理の詳細は図５、図６で説明したとおりである。

図１１はステップＳ４０５の分割画像に対する物体検出処理の詳細を説明するフローチャートである。
分割処理部４の画像スケーリング処理部４０は、選択処理部２から出力された複数の分割画像の各々を指定の画像サイズに縮小するスケーリング処理を実行する（図１１ステップＳ７００）。

分割処理部４の物体検出処理部４１は、画像スケーリング処理部４０によって縮小された分割画像に対する物体検出処理を実行する（図１１ステップＳ７０１）。

分割処理部４のメタデータ調整処理部４２は、物体検出処理部４１によって検出されたＢＢを、分割前の入力画像にマッピングするためのメタデータの調整処理を、物体検出処理部４１に入力された分割画像毎に行う（図１１ステップＳ７０２）。

分割処理部４の信頼度フィルタ処理部４３は、メタデータ調整処理部４２によってメタデータが調整された後の検出結果のうち、信頼度が信頼度閾値Ｔｈ以上の物体の検出結果（メタデータＭＤ１）を合成処理部８と保持部６とに出力する（図１１ステップＳ７０３）。

保持部６は、信頼度フィルタ処理部４３から出力されたメタデータＭＤ１を記憶する（図１１ステップＳ７０４）。

図１２はステップＳ４０７，４０８の合成処理の詳細を説明するフローチャートである。合成処理部８は、分割処理部４から出力された物体検出結果（メタデータＭＤ１）と選択処理部７から出力された物体検出結果（メタデータＭＤ１）とに対してメタデータ選別処理を実行する（図１２ステップＳ８００）。

ここで、ステップＳ８００のメタデータ選別処理の流れについて、図１３のフローチャートを参照してより詳細に説明する。
まず、合成処理部８に、全体処理部３から出力された物体検出結果（メタデータＭＤ２）が入力される（図１３ステップＳ９００）。また、合成処理部８には、分割処理部４から出力された物体検出結果（メタデータＭＤ１）と選択処理部７から出力された物体検出結果（メタデータＭＤ１）とが入力される（図１３ステップＳ９０１）。

次に、合成処理部８は、全体画像のメタデータＭＤ２の属性値が分割画像のメタデータＭＤ１の属性値と一致するか否かを判定する（図１３ステップＳ９０２）。合成処理部８は、メタデータＭＤ２と、メタデータＭＤ２と属性値が一致するメタデータＭＤ１との重複度を計算する（図１３ステップＳ９０３）。具体的には、合成処理部８は、メタデータＭＤ２に含まれるＢＢと、メタデータＭＤ１に含まれるＢＢとで重複した面積を、メタデータＭＤ１に含まれるＢＢの面積で除算して得られる値を重複度とする。

なお、ステップＳ９０２において、全体画像のメタデータＭＤ２に含まれる属性値が分割画像のメタデータＭＤ１に含まれる属性値と一致しない場合には（ステップＳ９０２においてＮｏ）、同じ分割画像のメタデータＭＤ１に含まれる別の属性情報についての処理が行われる。

次に、合成処理部８は、ステップＳ９０３で算出した重複度が予め設定された閾値を上回る場合（図１３ステップＳ９０４においてＹｅｓ）、分割画像のメタデータＭＤ１の属性情報と全体画像のメタデータＭＤ２の属性情報とが同一の属性情報であると判断し、同じ属性情報をメタデータＭＤ１から除去する（図１３ステップＳ９０５）。つまり、分割画像と全体画像とで検出された物体の属性値が同じであり、かつ、その物体が入力画像において対応する位置関係にあるメタデータの属性情報が分割画像のメタデータＭＤ１から排除される。

一方、重複度が閾値以下の場合（ステップＳ９０４においてＮｏ）、処理を終了する。こうして、合成処理部８は、複数の分割画像の各々について、図１３のメタデータ選別処理を実行する。

次に、合成処理部８は、メタデータ選別処理後のメタデータＭＤ１と全体画像のメタデータＭＤ２とを合成して、最終的な物体検出結果であるメタデータＭＤを出力する（図１２ステップＳ８０１）。

以上のようにして、本実施例では、物体検出の取りこぼしの発生を抑えつつ、計算量を削減することができる。

本実施例では、割当の結果、あるフレームにおいて非選択となった分割画像の検出結果を保持部６に記憶されている過去の検出結果としている。これに対して別の例として、各分割画像における物体の動きベクトル値を毎フレーム算出し、上記の非選択となった分割画像に対する過去の検出結果を、算出した動きベクトル値で補正（過去の検出結果におけるＢＢの中心座標を動きベクトル値で補正）するようにしてもよい。

［第２の実施例］
次に、本発明の第２実施例について説明する。図１４は本発明の第２の実施例に係る物体検出装置の構成を示すブロック図である。本実施例の物体検出装置は、分割部１と、選択処理部２，７と、全体処理部３と、分割処理部４と、割当処理部５ａと、保持部６と、合成処理部８とを備える。

分割部１と選択処理部２，７と全体処理部３と分割処理部４と保持部６と合成処理部８については第１の実施例で説明したとおりである。
本実施例の割当処理部５ａは、推定揺らぎ算出部５０と、分割画像割当処理部５１ａと、シーン変動検出処理部５２とを備えている。

本実施例の物体検出装置は、第１の実施例と同様に物体検出処理を行うが、周期内で入力画像が急激に変化した場合に予約済みの演算コアおよびフレームをキャンセルして初期状態に戻す点が第１の実施例と異なる。この処理のために、本実施例では、割当処理部５ａにシーン変動検出処理部５２を設けている。

図１５はシーン変動検出処理部５２の動作を説明するフローチャートである。シーン変動検出処理部５２は、分割処理部４から出力された最新の検出結果に含まれる物体と同一の属性値を有する物体を、保持部６に記憶されている過去の検出結果の中から探索する（図１５ステップＳ１０００）。

そして、シーン変動検出処理部５２は、最新の検出結果と過去の検出結果とに含まれる同一の属性値の物体のＩｏＵ（Intersection over Union）を算出する（図１５ステップＳ１００１）。ＩｏＵは、最新の検出結果に含まれる物体のＢＢの領域と過去の検出結果に含まれる物体のＢＢの領域との共通の面積を、最新の検出結果に含まれる物体のＢＢの領域と過去の検出結果に含まれる物体のＢＢの領域との和集合で割った値である。シーン変動検出処理部５２は、このようなＩｏＵの算出を、同一の属性値を有する物体毎に算出する。

シーン変動検出処理部５２は、物体毎に算出したＩｏＵの平均値が予め定められた閾値β未満の状態がγフレーム（γは予め定められた２以上の整数）連続して発生したかどうかを判定する（図１５ステップＳ１００２）。シーン変動検出処理部５２は、このような判定をフレーム毎に行う。

シーン変動検出処理部５２は、ＩｏＵの平均値が閾値β未満の状態がγフレーム連続して発生した場合（ステップＳ１００２においてＹｅｓ）、入力画像に急激な変化が発生したと判定し、判定結果を分割画像割当処理部５１ａに通知する（図１５ステップＳ１００３）。

シーン変動検出処理部５２からの通知を受けた分割画像割当処理部５１ａは、選択処理部２，７に対して行った演算コアおよびフレームの予約を全て取り消して初期状態（予約無し）に戻す（図１５ステップＳ１００４）。そして、分割画像割当処理部５１ａは、入力画像に急激な変化が発生したと判定結果がでたフレームを周期の起点（例えば図４の例では、番号＃０，＃４，＃８のフレーム）に再設定し、図１０の処理を再開する（図１５ステップＳ１００５）。その他の構成は第１の実施例で説明したとおりである。

第１、第２の実施例で説明した物体検出装置は、ＣＰＵ（Central Processing Unit）、記憶装置及びインタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このコンピュータの構成例を図１６に示す。コンピュータは、ＣＰＵ２００と、記憶装置２０１と、インタフェース装置（Ｉ／Ｆ）２０２とを備えている。ＣＰＵ２００は、複数の演算コアを備えている。

Ｉ／Ｆ２０２には、例えばカメラ等が接続される。このようなコンピュータにおいて、本発明の物体検出方法を実現させるためのプログラムは、記憶装置２０１に格納される。ＣＰＵ２００は、記憶装置２０１に格納されたプログラムに従って第１、第２の実施例で説明した処理を実行する。

本発明は、画像処理技術に適用することができる。

１…分割部、２…選択処理部、３…全体処理部、４…分割処理部、５，５ａ…割当処理部、６…保持部、７…選択処理部、８…合成処理部、３０…画像スケーリング処理部、３１…物体検出処理部、３２…メタデータスケーリング処理部、３３…信頼度フィルタ処理部、４０…画像スケーリング処理部、４１…物体検出処理部、４２…メタデータ調整処理部、４３…信頼度フィルタ処理部、５０…推定揺らぎ算出部、５１，５１ａ…分割画像割当処理部、５２…シーン変動検出処理部。

Claims (6)

1. 入力画像を分割して複数の分割画像を出力するように構成された分割部と、
   フレーム毎に前記入力画像の全体をスケーリングして得られる縮小画像に対して物体検出処理を行うように構成された全体処理部と、
   前記複数の分割画像のうち物体検出の対象となるフレーム毎の分割画像をＮ（Ｎは分割画像総数以上の整数）フレームの周期で前もって決定して、決定した分割画像の予約を行うように構成された割当処理部と、
   前記割当処理部による予約の結果に基づいて、前記複数の分割画像のうち物体検出の対象となる一部の分割画像をフレーム毎に選択して出力するように構成された第１の選択処理部と、
   前記第１の選択処理部から出力された分割画像の各々に対して物体検出処理を行うように構成された分割処理部と、
   前記分割処理部による物体検出結果を記憶するように構成された保持部と、
   前記割当処理部による予約の結果に基づいて、物体検出を実行しない分割画像について、前記保持部に記憶されている過去の物体検出結果をフレーム毎に選択して出力するように構成された第２の選択処理部と、
   前記全体処理部による物体検出結果と前記分割処理部による物体検出結果と前記第２の選択処理部から出力された物体検出結果とをフレーム毎に合成することで最終的な物体検出結果を得るように構成された合成処理部とを備えることを特徴とする物体検出装置。
2. 請求項１記載の物体検出装置において、
   前記割当処理部は、
   前記全体処理部による物体検出結果に基づいて前記分割画像毎の検出物体数の推定値をフレーム毎に算出し、前記推定値のフレーム間の差分絶対値に基づいて前記分割画像毎の検出物体数のフレーム間での揺らぎの推定値を算出し、前記周期内の検出物体数の揺らぎの推定値の平均値を前記分割画像毎に算出するように構成された推定揺らぎ算出部と、
   前記分割画像毎の検出物体数の揺らぎの推定値の平均値に基づいて、物体検出を実行する回数が各分割画像に比例分配されるように、次の周期における物体検出の対象となるフレーム毎の分割画像の予約を前記第１の選択処理部に対して行うように構成された分割画像割当処理部とを備えることを特徴とする物体検出装置。
3. 請求項２記載の物体検出装置において、
   前記分割画像割当処理部は、全ての前記分割画像が次の周期の間に少なくともＭ（Ｍは１以上の整数）回、物体検出の対象として選択されるように決定した後、残りの割当可能なフレームに対して、前記分割画像毎の検出物体数の揺らぎの推定値の平均値に基づいて、物体検出を実行する回数が各分割画像に比例分配されるように、次の周期における物体検出の対象となるフレーム毎の分割画像を決定することを特徴とする物体検出装置。
4. 請求項２または３記載の物体検出装置において、
   前記推定揺らぎ算出部は、前記全体処理部によって検出された物体群の内、前記全体処理部によって算出された信頼度が閾値未満かつ閾値／α（αは２以上の実数）以上である物体の検出物体数を、物体が位置する分割画像毎に集計することにより、前記分割画像毎の検出物体数の推定値を算出することを特徴とする物体検出装置。
5. 請求項１乃至４のいずれか１項に記載の物体検出装置において、
   前記分割処理部による最新の物体検出結果と過去の物体検出結果とに基づいて前記入力画像が変化したかどうかを判定するように構成されたシーン変動検出処理部をさらに備え、
   前記割当処理部は、前記入力画像が変化したと判定されたときに、前記予約を取り消して初期状態に戻すことを特徴とする物体検出装置。
6. 入力画像を分割して複数の分割画像を出力する第１のステップと、
   フレーム毎に前記入力画像の全体をスケーリングして得られる縮小画像に対して物体検出処理を行う第２のステップと、
   前記複数の分割画像のうち物体検出の対象となるフレーム毎の分割画像をＮ（Ｎは分割画像総数以上の整数）フレームの周期で前もって決定して、決定した分割画像の予約を行う第３のステップと、
   前記第３のステップによる予約の結果に基づいて、前記複数の分割画像のうち物体検出の対象となる一部の分割画像をフレーム毎に選択して出力する第４のステップと、
   前記第４のステップで出力された分割画像の各々に対して物体検出処理を行う第５のステップと、
   前記第５のステップによる物体検出結果を記憶する第６のステップと、
   前記第３のステップによる予約の結果に基づいて、物体検出を実行しない分割画像について、前記第６のステップによって記憶された過去の物体検出結果をフレーム毎に選択して出力するように構成された第７のステップと、
   前記第２のステップによる物体検出結果と前記第５のステップによる物体検出結果と前記第７のステップによって出力された物体検出結果とをフレーム毎に合成することで最終的な物体検出結果を得る第８のステップとを含むことを特徴とする物体検出方法。

Images