JP7478306B2 - 画像解析装置、画像解析システム及び画像解析方法 - Google Patents

Description

本発明は、画像解析装置、画像解析システム及び画像解析方法に関し、特に、撮影された画像を解析して、物体を検知する画像解析装置、画像解析システム及び画像解析方法に関する。

撮影した画像を解析するための手法は多く存在する。例えば、画像を入力とした物体認識・属性識別・解析・予測などのタスクに対して、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ（ＤＬ）などのＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の適用が進んでいる。このような機能を製品やシステムに組み込むことで人の仕事を代替して人件費の削減や商品の付加価値向上を図ることができる。これらは、製品やシステムの販売促進に寄与するため、多くの企業がＡＩに対し高い関心を抱いている。

ＤＬなどのＡＩでは教師有り学習が多く用いられる。ある問題に対する入力画像と画像を入力した結果として期待する出力信号のペアの集合を用いて、入力画像から正しい出力信号を出力するという問題を解くモデルを学習する。入力画像と期待する出力のペアを学習データと呼ぶ。実用上では未知の入力画像に対しても適切な結果を出力（推論）する汎化性能が求められる。代表的な手法としてはニューラルネットワークが存在する。

一方、特許文献１には、表示端末が、監視カメラから通知された特定の物体情報を表示すると共に、管理者からの操作指示により監視カメラからの位置情報／時刻情報を元に近接する監視カメラに制御信号を送信して特定の物体情報に基づく追跡を行う監視カメラシステムが開示されている。

特許第６４０３７８４号公報

物体認識の処理では、検知／非検知の判定に確信度（ＡＩの推論結果がどのくらい確実であるかの統計的な尺度）を用いることができる。例えば、確信度が６０％以上であれば検知、６０％未満を非検知とする、というように確信度に閾値を設け、検知／非検知の判定をする。

しかし、上述した従来の画像を解析する方法では、運用環境においては、検知対象物体の確信度の低下にともなう推論精度低下の原因となる様々な事象が存在する。ここでの事象は、例えば、学習データ収集時の撮影環境、背景、画角、時間帯などの違いや、学習データに含まれない物体の存在などである。具体的には、物体認識のタスクにおいて、検知対象物体が他の物体に一部隠れることで推論精度が低下し、検知対象物体の見逃しが発生する恐れがある。

また、動画やライブ映像での運用時に、単一フレームではなく複数フレームのＡＩの推論結果を利用して物体をトラッキングして検知／非検知を判定し、検知対象の見逃しを抑えることもできる。しかしこれらの手法でも、判定対象となる複数フレーム間にて検知条件やトラッキング条件を満たす必要がある。このため、一度検知したりトラッキングしたりした物体であっても、検知対象物体が他の物体で遮蔽されるなどして、学習したモデルでは検知できないフレームが続く場合は、見逃してしまうことが想定される。

遮蔽された検知対象物体を見逃さないためには、学習したモデルでは検知できないフレームに対して検知対象物体が遮蔽されていることを検知し、推論結果を補正して検知できる仕組みが必要となる。しかし推論結果を補正して検知と判定するだけでは、検知対象物体が既に検知範囲外に出ているにもかかわらず検知状態と判定し、誤報が発生することも想定される。そのため、検知対象物体の遮蔽を検知し推論結果の補正をするとともにその補正による誤報を防ぐ仕組みが必要となる。

また、特許文献１には、特定の物体情報に基づく追跡を行う技術が開示されているが、上記のように検知対象物体が遮蔽されている場合についての検知の方法については記載されていない。

本発明は、上記課題に鑑みて、遮蔽されている物体についてのより正確な検知が可能な画像解析装置、画像解析システム及び画像解析方法を提供することを目的とする。

上記目的を達成するため、代表的な本発明の画像解析装置の一つは、撮影した画像を取得する画像取得部と、前記画像取得部により取得した入力画像に対して解析結果を出力する画像処理部と、補正条件に用いるデータを取得する補正用データ取得部とを備え、前記画像処理部は、検知対象物体の検知の条件に基づき前記検知対象物体が画像内に存在していると判定するイベント発生の状態と、検知対象物体の非検知の条件に基づき前記検知対象物体が画像内に存在しないと判定するイベントなしの状態と、前記補正条件を用いて前記検知対象物体が遮蔽されていると判定するニュートラルの状態とを、判別し、前記ニュートラルの状態から前記イベント発生の状態への遷移の条件は、前記イベントなしの状態から前記イベント発生の状態への遷移の条件よりも緩く設定されており、前記補正条件は、前記イベント発生の状態を満たさなくなった画像のフレームと背景画像の差分領域が、前記検知対象物体を最後に検知したフレームにおける検知対象物体の検知枠より大きい場合に満たす条件であることを特徴とする。

さらに本発明の画像解析方法の一つは、処理装置を用いて画像解析を行う画像解析方法であって、撮影した画像を取得するステップと、補正条件に用いるデータを取得するステップと、検知対象物体の検知の条件に基づき前記検知対象物体が画像内に存在していると判定するイベント発生の状態と、検知対象物体の非検知の条件に基づき前記検知対象物体が画像内に存在しないと判定するイベントなしの状態と、前記補正条件を用いて前記検知対象物体が遮蔽されていると判定するニュートラルの状態とを、判別するステップとを備え、前記ニュートラルの状態から前記イベント発生の状態への遷移の条件は、前記イベントなしの状態から前記イベント発生の状態への遷移の条件よりも緩く設定されており、前記補正条件は、前記イベント発生の状態を満たさなくなった画像のフレームと背景画像の差分領域が、前記検知対象物体を最後に検知したフレームにおける検知対象物体の検知枠より大きい場合に満たす条件であることを特徴とする。

本発明によれば、画像解析装置、画像解析システム及び画像解析方法において、遮蔽されている物体についてのより正確な検知をすることができる。
上記以外の課題、構成及び効果は、以下の実施形態により明らかにされる。

図１は、本発明の画像解析システムの一例を示すシステム構成図である。 図２は、本発明の画像解析装置の一例を示すハードウェア構成図である。 図３は、本発明の画像解析装置の一例を示す機能ブロック図である。 図４は、図３における画像処理部の一例を示す機能ブロック図である。 図５は、補正条件を用いない場合の処理の流れの一例を説明する第１の例の図である。 図５は、補正条件を用いない場合の処理の流れの一例を説明する第２の例の図である。 図７は、本発明の画像解析装置の第１の補正条件による処理の流れを説明する第１の例の図である。 図８は、本発明の画像解析装置の第１の補正条件による処理の流れを説明する第２の例の図である。 図９は、本発明の画像解析装置の第１の補正条件による処理の流れを説明する第３の例の図である。 図１０は、本発明の画像解析装置の第２の補正条件による処理の流れを説明する第１の例の図である。 図１１は、本発明の画像解析装置の第２の補正条件による処理の流れを説明する第２の例の図である。 図１２は、本発明の画像解析装置の状態遷移の例を説明する図である。 図１３は、補正条件がない場合と本発明の画像解析装置の結果を比較した一例である。 図１４は、本発明に係る画像解析装置の処理フローチャートの一例を示す。

本発明を実施するための形態を説明する。

（システム構成）
図１は、本発明の画像解析システムの一例を示すシステム構成図である。

解析サーバ１０１とカメラ１０２、データベースサーバ１０３が、ネットワーク１０４にて接続されている。ネットワーク１０４は各サーバを結ぶデータ通信可能な回線である。専用線、イントラネット、インターネット等のＩＰネットワーク等、回線の種類は問わない。カメラ１０２で取得した映像データは解析サーバ１０１にて解析され、出力結果はデータベースサーバ１０３に記憶される。なお図１の構成は一例であり、カメラ１０２上でＡＩの推論と画像解析システムの処理を行う等様々な変形が可能である。

解析サーバ１０１は、画像の解析を行う画像解析装置として適用でき、その構成や処理の内容は後述する。

カメラ１０２は、レンズや絞りを介して撮像素子に入射光を結像して情報を得るカメラの構成を適用できる。ここでの撮像素子の例としては、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等があげられる。カメラ１０２は、映像として、例えば、１秒間に３フレーム（３ｆｐｓ）以上等で撮影して、その情報は、解析サーバ１０１やデータベースサーバ１０３へ送られる。カメラ１０２は、状況に応じて複数設置可能であり、様々な場所に配置可能である。例えば、監視カメラとして監視箇所に配置する等である。

データベースサーバ１０３は、カメラ１０２で撮影した画像や解析サーバ１０１の処理のために必要な情報、解析サーバ１０１の処理結果等を記録する装置である。記録するための装置としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＤＤＳ（Ｄｉｇｉｔａｌ Ｄａｔａ Ｓｔｏｒａｇｅ）等、必要に応じて適した方式を適用できる。

（画像解析装置のハードウェア構成）
図２は、本発明の画像解析装置の一例を示すハードウェア構成図である。図２を用いて解析サーバ１０１のハードウェア構成例を説明する。

ハードウェアとしては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置を備えた電子計算機システムにより構成され、それぞれの機能が実行されるようになっている。処理装置としては、ＣＰＵの他に、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ）やＦｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＧＰＵ）などを適用してもよい。解析サーバ１０１は、プロセッサ部２０１、主記憶部２０２、補助記憶部２０３、入出力インターフェース部２０４、表示インターフェース部２０５、ネットワークインターフェース部２０６を含み、これらはバス２０７により結合されている。入出力インターフェース部２０４は、キーボードやマウス等の入力装置２０８に接続されてユーザインタフェースを提供する。表示インターフェース部２０５は、表示出力装置２０９に接続される。ネットワークインターフェース部２０６は解析サーバ１０１とネットワーク１０４を接続するためのインターフェースである。

補助記憶部２０３は通常、ＨＤＤやフラッシュメモリなどの不揮発性メモリで構成され、解析サーバ１０１が実行するプログラムやプログラムが処理対象とするデータ等を記憶する。主記憶部２０２はＲＡＭで構成され、プロセッサ部２０１の命令により、プログラムやプログラムの実行に必要なデータ等を一時的に記憶する。プロセッサ部２０１は、補助記憶部２０３から主記憶部２０２にロードしたプログラムを実行する。なお、図２の構成は一例であり、様々な変形が可能である。

（画像解析装置の機能ブロック）
図３は、本発明の画像解析装置の一例を示す機能ブロック図である。図３を用いて解析サーバ１０１の機能ブロックを説明する。

解析サーバ１０１は補助記憶部２０３、画像取得部３０１、補正用データ取得部３０２、画像処理部３０３、記憶制御部３０４、表示制御部３０５で構成される。画像取得部３０１は補助記憶部２０３から得られる信号を画像として取得する。補正用データ取得部３０２は補助記憶部２０３から得られる信号を画像、または時系列データとして取得する。画像処理部３０３は画像取得部３０１により得られた画像と補正用データ取得部３０２により得られたデータを入力として、ＡＩ推論処理、遮蔽検知処理を行いその結果からシステムの状態を判定する。記憶制御部３０４は画像処理部３０３の結果を用いて出力結果の記憶制御を行い補助記憶部２０３に保存する。表示制御部３０５は画像処理部３０３の結果や補助記憶部２０３に保存された情報の表示を制御し、表示出力装置２０９に出力する。

画像取得部３０１においては画像データが記憶されている映像記憶装置などから入力された映像信号から画像データとして取得する。この画像データにおいてはノイズやフリッカなどの影響を低減するために前処理として平滑化フィルタや輪郭強調フィルタや濃度変換などの処理を施してもよい。また用途に応じてＲＧＢカラーやＹＵＶ、モノクロなどのデータ形式を選択してもよい。さらには処理コスト低減のために所定の大きさで画像データに縮小処理を施してもよい。

図４は、図３における画像処理部３０３の一例を示す機能ブロック図である。次に図４を用いて画像処理部３０３の機能ブロックを説明する。

画像処理部３０３はＡＩ推論処理部４０１と遮蔽検知処理部４０２、推論結果補正部４０３で構成される。ＡＩ推論処理部４０１は画像取得部３０１で取得した入力画像に対してＡＩを用いた推論処理（例：物体検知）を行う。また遮蔽検知処理部４０２は画像取得部３０１で取得した入力画像および補正用データ取得部３０２で取得した補正用データ（背景画像や直前のフレームの画像、推論結果等）を用いて、補正条件を元に検知対象物体の有無を決定する。推論結果補正部４０３では、ＡＩ推論処理部４０１および遮蔽検知処理部４０２で得られた結果を用いて最終的な画像解析システムの判定を決定し、その結果を記憶制御部３０４に出力する。

ＡＩによる推論処理は、例えば、ニューラルネットワークやディープラーニング等を用いて特徴量を抽出する処理等であり、画像内の検知対象に関する特徴量などから、確信度を推定できる。具体例としては、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）等を用いることができる。

（補正条件を用いない場合の処理）
図５、６は、補正条件を用いない場合の処理の流れの一例を説明する図である。図５では、「イベントなし」から「イベント発生」に遷移する例を示している。図６では、「イベント発生」から「イベントなし」に遷移する例を示している。

補正条件を用いない場合の処理は「イベントなし」（第１の状態）と、「イベント発生」（第２の状態）の２つの状態を判定可能である。ここでの「イベントなし」の状態は、検知対象物体の非検知の条件に基づき検知対象物体である人が画像内に存在が確認されない状態である。「イベント発生」の状態は、検知対象物体の検知の条件に基づき検知対象物体である人が画像内に存在していると判定される状態である。動画やライブ映像での運用時において、ＡＩの推論結果を用いて第１の条件である「検知イベント発生条件」と第２の条件である「検知イベント継続条件」を組み合わせた遷移条件に基づいてシステムを状態遷移させることでシステムとしての検知結果を決定する。

ここで、「検知イベント発生条件」（第１の条件）は、「イベントなし」の状態から「イベント発生」の状態へ移行する条件である。「検知イベント継続条件」（第２の条件）は、「イベント発生」の状態から「イベント発生」が継続するための条件である。図５、６の具体的な条件例において、「検知イベント発生条件」（第１の条件）は、物体検知時の確信度６０％以上のフレームが連続３枚中３枚存在する場合である。また、「検知イベント継続条件」（第２の条件）は、物体検知時の確信度６０％以上のフレームが連続３枚中１枚存在する場合である。

図５、６では、時系列的に連続したフレームに対して物体検知処理をかける。図５の例では、最初は「イベントなし」の状態である。そして、画像のフレーム１２、１３、１４において、検知対象である検知枠で囲まれた人の確信度が８０％、８５％、８５％で推移している。この場合、物体検知時の確信度６０％以上のフレームが連続３枚中３枚存在することになり、第１の条件である「検知イベント発生条件」を満たす。このため、フレーム１４において、「イベントなし」の状態から「イベント発生」の状態に移行する。これ以降第２の条件である「検知イベント継続条件」を満たす場合、「イベント発生」状態となる。

図６の例では、最初は「イベント発生」の状態である。フレーム２２、２３、２４において、検知対象である人の確信度が得られていない。この場合、物体検知時の確信度６０％以上のフレームが連続３枚中１枚も存在せず、第２の条件である「検知イベント継続条件」を満たさない。このため、フレーム２４において、「イベント発生」の状態から「イベントなし」状態に移行する。以降、第１の条件の「検知イベント発生条件」を満たすまで「イベントなし」の状態となる。

（第１の補正条件による処理）
図７～９は、本発明の画像解析装置の第１の補正条件による処理の流れを説明する図である。図７では、「イベントなし」から「イベント発生」に遷移する例を示している。図８では、「イベント発生」、「ニュートラル」、「イベント発生」の順に遷移する例を示している。図９では、「イベント発生」から「イベントなし」に遷移する例を示している。ここでの処理は、画像解析装置である解析サーバ１０１で行われる。

図７～９の第１の補正条件による処理では、補正条件を用いない図５、６と比べて「イベントなし」（第１の状態）と「イベント発生」（第２の状態）に加えて、「ニュートラル」（第３の状態）を備える点が異なる。「ニュートラル」は、検知対象物体である人が遮蔽されていると判定する状態である。ここでの処理は、補助情報（トラッキング技術等による解析結果）を用いてＡＩの推論結果を補正する。さらに、第１の条件と第２の条件に加えて、第３の条件である補正条件を組み合わせた処理を行う。このような遷移条件に基づいてシステムを状態遷移させる。

図７～９では、トラッキング（追跡）時に検知対象物体を最後に検知したフレームにおいて、その物体の位置が事前に設定した補正範囲内であれば「補正条件」（第３の条件）を満たすとする。この場合、「検知対象物体の遮蔽あり」と判定して推論結果を補正するものとする。ここでの補正範囲の設定は、あらかじめ範囲を設定しておくことも可能である。例えば、固定カメラであれば、あらかじめ範囲を想定できる。また、補正範囲は、検知対象物体の移動状態から補正範囲を算出してもよい。そのフレームまでの移動量で検知対象物体が、画面の外へでていないことを推定して、補正範囲を決めることが可能である。例えば、それまでのフレームでの検知対象物体の移動速度がゆっくりなら、先のフレームでも画面内に存在している可能性が高いため、その移動速度に応じて補正範囲を広く設定する。

図７～９の具体的な条件例について説明する。「検知イベント発生条件」（第１の条件）は、物体検知時の確信度６０％以上のフレームが連続３枚中３枚存在する場合である。また、「検知イベント継続条件」（第２の条件）は、物体検知時の確信度６０％以上のフレームが連続３枚中１枚存在する場合である。また「補正条件」（第３の条件）は、トラッキング時に検知対象物体を最後に検知したフレームにおいて、その物体の位置が事前に設定した補正範囲内であれば条件を満たすとする。さらに、「補正条件」（第３の条件）を満たした場合「ニュートラル」（第３の状態）に遷移する。この場合、補正フレームである３フレーム以内に「検知イベント継続条件」（第２の条件）を満たす場合は「イベント発生」状態にし、３フレーム以内に「検知イベント継続条件」を満たさない場合は「イベントなし」状態に遷移する。

図７～９では、時系列的に連続したフレームに対して物体検知処理をかける。図７の例では、最初は「イベントなし」の状態である。そして、画像フレーム３２、３３、３４において、検知対象である検知枠で囲まれた人の確信度が８０％、８５％、８５％で推移している。この場合、物体検知時の確信度６０％以上のフレームが連続３枚中３枚存在することになり、第１の条件である「検知イベント発生条件」を満たす。このため、フレーム３４において、「イベントなし」の状態から「イベント発生」状態に移行する。

図８の例では、最初のフレーム４１は「イベント発生」の状態である。フレーム４２、４３、４４で検知対象である人の確信度が得られていないため確信度が６０％未満である。フレーム４２、４３は、「検知イベント継続条件」（第２の条件）を満たすため、「イベント発生」となる。そして、フレーム４４においては、第２の条件である「検知イベント継続条件」を満たさない。さらに、トラッキング時に最後に検知した物体は、確信度６０％以上である、フレーム４１の物体４１ａとなる。ここでの物体４１ａは、設定された補正範囲４１ｂ内に存在する。このため、フレーム４４は、「補正条件」（第３の条件）を満たし、「ニュートラル」状態（第３の状態）に移行する。この「ニュートラル」状態にて補正フレーム（図７～９では３フレーム）以内に「検知イベント継続条件」（第２の条件）を満たした場合、「イベント発生」状態に移行する。図８では、フレーム４５において、確信度８０％で検知対象物体が検知されるため、「検知イベント継続条件」を満たすことになる。

図９では、フレーム５１において、物体５１ａは、設定された補正範囲５１ｂ内に存在しない。このため、フレーム５４で「検知イベント継続条件」（第２の条件）を満たさなくなった場合に「補正条件」（第３の条件）を満たさない。すなわち、フレーム５４では、第２の条件と第３の条件の両方を満たさないため、「ニュートラル」状態を介さず「イベントなし」状態に移行する。

（第２の補正条件による処理）
図１０、１１は、本発明の画像解析装置の第２の補正条件による処理の流れを説明する図である。図１０では、「イベント発生」「ニュートラル」「イベント発生」の順に遷移する例を示している。図１１では、「イベント発生」「ニュートラル」「イベントなし」の順に遷移する例を示している。ここでの処理は、画像解析装置である解析サーバ１０１で行われる。

図１０、１１の第２の補正条件による処理では、図７～９の第１の補正条件と同様に、「イベントなし」（第１の状態）、「イベント発生」（第２の状態）、「ニュートラル」（第３の状態）を備える。ここでの処理は、補助情報（背景差分技術等による解析結果）を用いてＡＩの推論結果を補正する。

また図１０、１１の第２の補正条件による処理は、補正方法として背景差分技術を用いたＡＩの推論結果の補正例である。ここでは、第２の条件である「検知イベント継続条件」を満たさなくなったフレームにて事前に撮影した背景画像との差分を取り、ある閾値で２値化する。その差分領域が最後に検知対象物体を検知したフレームの検知枠の領域よりも大きい場合、「対象物体の遮蔽あり」と判定する。この場合、そのフレームは、「補正条件」（第３の条件）を満たし、「ニュートラル」状態に遷移する。

図１０、１１の具体的な条件例について説明する。「検知イベント発生条件」（第１の条件）は、物体検知時の確信度６０％以上のフレームが連続３枚中３枚存在する場合である。また、「検知イベント継続条件」（第２の条件）は、物体検知時の確信度６０％以上のフレームが連続３枚中１枚存在する場合である。また「補正条件」（第３の条件）は、「検知イベント継続条件」を満たさなくなったフレームと背景画像の差分領域が、最後に検知した物体の検知枠より大きい場合は条件を満たすとする。さらに、「補正条件」（第３の条件）を満たした場合「ニュートラル」（第３の状態）に移行する。この場合、「検知対象物体の遮蔽あり」と判定して推論結果を補正するものとする。そして、補正フレームである３フレーム以内に「検知イベント継続条件」（第２の条件）を満たす場合は「イベント発生」状態に遷移し、３フレーム以内に「検知イベント継続条件」を満たさない場合は「イベントなし」状態に遷移する。

図１０の例では、最初のフレーム６１は「イベント発生」の状態である。フレーム６２、６３、６４で検知対象である人の確信度が得られていないので確信度が６０％未満である。フレーム６２、６３は、「検知イベント継続条件」（第２の条件）を満たすため、「イベント発生」となる。そして、フレーム６４においては、第２の条件である「検知イベント継続条件」を満たさない。ここで、「補正条件」（第３の条件）を満たすかどうかが判定される。まず、事前に撮影された背景画像である検知前画像６８と、今、判定しようとしているフレーム６４の差分をとる。すると、フレーム６４には、木しか映っていなかった検知前画像６８と比べて、車と人が追加で写っている。このため、この車と人の部分が差分に相当して、差分画像６９において白で表示されている。この白の面積は、イベントが発生していたフレーム６１の枠で囲まれた検知対象物体の人の面積よりも、車と人が写っている分、大きくなる。このため、人の前に大きい遮蔽物があったことが推定され、「補正条件」を満たすと判断される。これにより、「ニュートラル」状態に移行する。この「ニュートラル」状態にて補正フレーム（図１０、１１では３フレーム）以内に「検知イベント継続条件」（第２の条件）を満たした場合、「イベント発生」状態に移行する。図１０では、フレーム６５において、確信度８０％で検知対象物体が検知されるため、「検知イベント継続条件」を満たし、「イベント発生」状態に遷移する。

図１１では、フレーム７１～７４の処理は、図１０と同様であり、フレーム７４では、「補正条件」（第３の条件）を満たし、「ニュートラル」状態に移行する。しかし、フレーム７４以降に２フレーム分は、検知対象物体の検知がなされていないため確信度が６０％未満となる。このため、「ニュートラル」状態にて補正フレーム（図１０、１１では３フレーム）以内に「検知イベント継続条件」を満たさない。このため、フレーム７５では、「イベントなし」状態に移行する。

図７～１１以外の検知対象物体の遮蔽を検知する例について説明する。「検知イベント継続条件」（第２の条件）を満たさなくなったフレーム画像と最後に検知対象物体を検知したフレーム画像を入力して、検知対象物体の遮蔽の有無をディープラーニングで判定してもよい。ここで、検知対象物体が遮蔽されていると判定されれば、「補正条件」を満たすとして、図７～１１と同様の処理を行うことができる。例えば、検知対象物体である人の前に車が通過した場合等である。また、この他、対象物体検知の検知枠が徐々に小さくなった時に「対象物体の遮蔽あり」と判定してもよい。遮蔽物があった場合に検知枠がだんだん小さくなってくることが想定される。その際に、所定以上、検知枠が小さくなった場合に、検知対象物体が遮蔽されていると判定して、「補正条件」を満たすとして、図７～１１と同様の処理を行うことができる。

（状態遷移の説明）
図１２は、本発明の画像解析装置の状態遷移の例を説明する図である。

矢印１は、「イベント発生」を継続することを示す。ここでの条件は、「検知イベント継続条件」（第２の条件）が該当する。

矢印２は、「イベント発生」から「ニュートラル」へ遷移することを示す。ここでの条件は、「検知イベント継続条件」（第２の条件）を満たさず、「補正条件」（第３の条件）を満たす場合が該当する。

矢印３は、「ニュートラル」から「イベント発生」へ遷移することを示す。ここでの条件は、補正フレーム以内に「検知イベント継続条件」（第２の条件）を満たす場合が該当する。

矢印４は、「ニュートラル」から「イベントなし」へ遷移することを示す。ここでの条件は、補正フレーム以内に「検知イベント継続条件」（第２の条件）を満たさない場合が該当する。

矢印５は、「イベント発生」から「イベントなし」へ遷移することを示す。ここでの条件は、「検知イベント継続条件」（第２の条件）及び「補正条件」（第３の条件）を満たさない場合が該当する。この場合は、「ニュートラル」を介さずに、「イベント発生」から「イベントなし」へ遷移する。

矢印６は、「イベントなし」から「イベント発生」へ遷移することを示す。ここでの条件は、「検知イベント発生条件」（第１の条件）を満たす場合が該当する。

矢印７は、「イベントなし」を継続することを示す。ここでの条件は、「検知イベント発生条件」（第１の条件）を満たさない場合が該当する。

ここで、「検知イベント継続条件」（第１の条件）は、「検知イベント発生条件」（第２の条件）よりも達成が容易な緩い条件である。例えば、「検知イベント発生条件」が、物体検知時の検知対象物体の確信度Ｘ％以上のフレームが連続Ｎ枚中Ｍ枚存在する場合（Ｎ、Ｍは整数でＮ≧Ｍ）として、「検知イベント継続条件」は、物体検知時の検知対象物体の確信度Ｙ％以上のフレームが連続Ｎ枚中Ｐ枚存在する場合（Ｐは整数でＭ＞Ｐ）とする等である。また、両者の確信度は同じでもよいし、変更することも可能である。この場合Ｘ≧Ｙが好ましい。このように所定以上の確信度におけるフレームの出現確率を下げることで条件を緩くできる。

ここで、矢印３で示した、「イベント発生」から「ニュートラル」へ遷移するための条件は、上記に限らず、「検知イベント発生条件」（第１の条件）よりも達成が容易な緩い条件であればよい。このため、「検知イベント継続条件」とは関係なしに、「検知イベント発生条件」よりも緩い条件を設定することができる。例えば、「検知イベント発生条件」が、物体検知時の確信度Ｘ％以上のフレームが連続Ｎ枚中Ｍ枚存在する場合（Ｎ、Ｍは整数でＮ≧Ｍ）として、「ニュートラル」から「イベント発生」へ遷移するための条件は、物体検知時の確信度Ｚ％以上のフレームが連続Ｎ枚中Ｑ枚存在する場合（Ｑは整数でＭ＞Ｑ）とする等である。この場合、矢印４の条件は、この条件を満たさない場合となる。また、両者の確信度は同じでもよいし、変更することも可能である。この場合Ｘ≧Ｚが好ましい。このように所定以上の確信度におけるフレームの出現確率を下げることで条件を緩くできる。

（比較例）
図１３は、補正条件がない場合と本発明の画像解析装置の結果を比較した一例である。図１３の表を用いて本発明の画像解析装置の結果（補正条件ありの手法）と補正条件なしの手法の比較について述べる。前提として、フレームｎｏ．１からフレームｎｏ．１５まで検知対象物体が画面上の検知範囲内に存在しており、フレームｎｏ．５における検知対象物体が補正条件を満たすとする。図中、「〇」がイベント発生、「×」がイベントなし、「△」がニュートラルの状態を示す。

補正条件なしの場合、第１の条件である「検知イベント発生条件」を満たすまで、フレームｎｏ．１、ｎｏ．２は、「イベントなし」の状態である。その後、ｎｏ．７までは、「検知イベント継続条件」を満たし「イベント発生」の状態となる。フレームｎｏ．８からフレームｎｏ．１３までは、第２の条件である「検知イベント継続条件」を満たさなくなる。このため、フレームｎｏ．８からフレームｎｏ．１３まで画像の状態が「イベントなし」の状態に遷移し、失報が発生する。ｎｏ．１４、ｎｏ．１５では、「検知イベント発生条件」を満たし「イベント発生」の状態となる。

これに対して本発明の画像解析装置（補正条件ありの手法）では、ｎｏ．７までは、補正条件なしの手法と同様である。一方、第３の条件である「補正条件」を満たすフレームｎｏ．８では「ニュートラル」状態に遷移する。この状態で、物体検知確信度６０％以上の物体があるフレームｎｏ．９で「検知イベント継続条件」（第２の条件）を満たして「イベント発生」状態に遷移する。この状態はｎｏ．１５まで続く。このことで、ｎｏ．９～１３の失報を防ぐことができる。

（フローチャート）
図１４に本発明の画像解析装置の処理フローチャートの一例を示す。

初めに解析サーバ１０１のプロセッサ部２０１が補助記憶部２０３から主記憶部２０２にロードしたプログラムを実行して画像解析のシステムを起動する。画像解析のシステムはＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）でユーザーが結果を確認できるようにしてもよいし、「イベント発生」、「イベントなし」、「ニュートラル」の状態のみを確認できるようにしてもよい。

また第１の条件である「検知イベント発生条件」、第２の条件である「検知イベント継続条件」、第３の条件である「補正条件」、物体検知の閾値、補正範囲等は予め用意した設定ファイルを読み込んで設定してもよい。また、ユーザーがＧＵＩで選択できるようにしてもよい。なお、「検知イベント継続条件」（第２の条件）は「検知イベント発生条件」（第１の条件）より条件達成が容易であることが望ましい。また「補正条件」（第３の条件）は１つでもよいし、複数の条件を組み合わせて判定してもよい。

システムを起動後、ステップ１００１ではユーザーが検知対象とする物体および検知に使用するカメラ１０２を選択する。なお、検知対象とする物体の種類やカメラの数は１つでも複数でもよい。なお以降は検知対象とする物体およびカメラの数は１つの場合の例を説明する。

ステップ１００２では、カメラ１０２から取得した画像を読み込む。ここで、カメラ１０２のフレームレートや画像サイズ等は、事前にカメラ１０２側で設定しておいてもよいし、ユーザーがＧＵＩで任意に選択できるようにしてもよい。

ステップ１００３では、終了コマンドが実行されたかどうかを判定する。終了コマンドが実行された場合、画像解析のシステムを終了する。実行されていない場合はステップ１００４に進む。ここで、終了コマンドはキーボードの操作でもよいし、ＧＵＩ上の操作でもよい。

ステップ１００４では、読み込んだ画像を用いてＡＩの推論処理を行い、その結果を出力する。ここでのＡＩの推論処理はすでに説明した処理を用いることができる。

ステップ１００５では、システムの状態がどの状態かを判定し、その後の処理を決定する。システムの状態が「イベントなし」の場合、ステップ１００６に進む。一方、「イベント発生」の状態または「ニュートラル」の状態の場合、ステップ１００７に進む。

ステップ１００６では、ＡＩの推論結果が「検知イベント発生条件」（第１の条件）を満たすかどうかを判定し、「検知イベント発生条件」を満たす場合はステップ１００７に進み、満たさない場合はステップ１００２に進んで次のフレームの画像の読み込みを実施する。

ステップ１００７では、ＡＩの推論結果が「検知イベント継続条件」（第２の条件）を満たすかどうかを判定し、「検知イベント継続条件」を満たす場合はステップ１００８に、満たさない場合はステップ１０１０に進む。

ステップ１００８では、画像解析システムの状態を「イベント発生」に遷移する。

ステップ１００９では、ユーザーに対してイベントの発生通知を行う。ここで、発生通知はＧＵＩ上で行ってもよいし、ネットワーク１０４を介する等して小型端末にイベント発生通知が届くようにしてもよい。イベントの発生通知を完了したらステップ１００２に進んで次のフレームの画像の読み込みを実施する。

ステップ１０１０では、画像解析システムの状態がどの状態かを判定し、その後の処理を決定する。画像解析システムの状態が「イベント発生」の場合、ステップ１０１１に進む。一方、「ニュートラル」の状態の場合、ステップ１０１２に進む。

ステップ１０１１では、背景差分技術やトラッキング技術等を用いて「補正条件」（第３の条件）を満たすかどうかを判定し、「補正条件」を満たす場合はステップ１０１３に進み、満たさない場合はステップ１０１５に進む。

ステップ１０１２では、「補正条件」を満たすかどうかを判定し、「補正条件」を満たす場合はステップ１０１３に進み、「補正条件」を満たさない場合はステップ１０１５に進む。

ステップ１０１３では、画像解析システムの状態を「ニュートラル」に遷移する。

ステップ１０１４では、ユーザーに対して「ニュートラル」状態であることを知らせるため、警告通知を行う。ここで、警告通知はＧＵＩ上で行ってもよいし、ネットワーク１０４を介する等して小型端末にイベント発生通知が届くようにしてもよい。警告通知を完了したらステップ１００２に進んで次のフレームの画像の読み込みを実施する。

ステップ１０１５では、画像解析システムの状態を「イベントなし」に遷移し、ステップ１００２に進んで次のフレームの画像の読み込みを実施する。

なお上記の全体処理の説明は具体的操作の一例であり、これに限るものではない。

（効果）
以上のように、上記の実施形態では、「検知イベント発生条件」よりも緩い条件（例えば「検知イベント継続条件」）を満たすと即座に「イベント発生」状態へ遷移する「ニュートラル」状態を有するようにした。これにより、ＡＩの推論結果を補正することで遮蔽された検知対象物体に対して、物体検知の処理をより的確に行うことができる。同時に、検知対象物体が検知範囲外に出ているにもかかわらず「イベント発生」状態に留まり続ける誤報を防ぐことができる。このことで、失報や誤報を防ぐことができ、より精度の高い画像解析の処理を行うことが可能となる。

さらに、「ニュートラル」に移行する場合の条件として「補正条件」を設けることで、遮蔽された検知対象物体があることを、より正確に推定することが可能となる。すなわち、検知対象物体が、画面外に出ている状態であると誤認識することを防止できる。この時の補正条件は、トラッキング技術を用いた補正範囲の設定や、背景差分技術を用いることで、より適した補正条件とすることができる。

本発明の適用が想定される状況としては、動画やライブ映像での運用時に、検知対象物体を一部もしくは全部隠すような遮蔽物が含まれることが挙げられる。また検知対象物体の輝度・色合いの変化も撮影環境による遮蔽であると捉えることで、輝度・色合いが変化しやすい屋外等の環境にも適用可能である。

以上の様に、本発明の実施形態について説明してきたが、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

例えば、上記の実施形態では、ＡＩによる推論処理を用いることを説明した。しかし、ＡＩによる推論処理を用いる以外のトラッキングの画像解析方法でも、上記の実施形態に適用することが可能である。この場合、この画像解析により検出する検知対象物体を同様に扱えばよい。

また、解析サーバ１０１とカメラ１０２は別部材として説明したが、これらは一体に構成してもよい。すなわち、ネットワーク１０４を介さずカメラ１０２側に解析サーバ１０１の機能を有し画像解析装置として構成することができる。

１０１…解析サーバ、１０２…カメラ、１０３…データベースサーバ、１０４…ネットワーク、２０１…プロセッサ部、２０２…主記憶部、２０３…補助記憶部、２０４…入出力インターフェース部、２０５…表示インターフェース部、２０６…ネットワークインターフェース部、２０７…バス、２０８…入力装置、２０９…表示出力装置、３０１…画像取得部、３０２…補正用データ部、３０３…画像処理部、３０４…記憶制御部、３０５…表示制御部、４０１…ＡＩ推論処理部、４０２…遮蔽検知処理部、４０３…推論結果補正部

Claims (8)

1. 撮影した画像を取得する画像取得部と、前記画像取得部により取得した入力画像に対して解析結果を出力する画像処理部と、補正条件に用いるデータを取得する補正用データ取得部とを備え、
   前記画像処理部は、検知対象物体の検知の条件に基づき前記検知対象物体が画像内に存在していると判定するイベント発生の状態と、検知対象物体の非検知の条件に基づき前記検知対象物体が画像内に存在しないと判定するイベントなしの状態と、前記補正条件を用いて前記検知対象物体が遮蔽されていると判定するニュートラルの状態とを、判別し、前記ニュートラルの状態から前記イベント発生の状態への遷移の条件は、前記イベントなしの状態から前記イベント発生の状態への遷移の条件よりも緩く設定されており、
   前記補正条件は、前記イベント発生の状態を満たさなくなった画像のフレームと背景画像の差分領域が、前記検知対象物体を最後に検知したフレームにおける検知対象物体の検知枠より大きい場合に満たす条件であることを特徴とする画像解析装置。
2. 撮影した画像を取得する画像取得部と、前記画像取得部により取得した入力画像に対して解析結果を出力する画像処理部と、補正条件に用いるデータを取得する補正用データ取得部とを備え、
   前記画像処理部は、検知対象物体の検知の条件に基づき前記検知対象物体が画像内に存在していると判定するイベント発生の状態と、検知対象物体の非検知の条件に基づき前記検知対象物体が画像内に存在しないと判定するイベントなしの状態と、前記補正条件を用いて前記検知対象物体が遮蔽されていると判定するニュートラルの状態とを、判別し、前記ニュートラルの状態から前記イベント発生の状態への遷移の条件は、前記イベントなしの状態から前記イベント発生の状態への遷移の条件よりも緩く設定されており、
   前記イベントなしの状態から前記イベント発生の状態への遷移の条件は、前記検知対象物体の確信度が所定以上のフレームが連続Ｎ枚中Ｍ枚存在することを条件とし、前記ニュートラルの状態から前記イベント発生の状態への遷移の条件は、前記検知対象物体の確信度が所定以上のフレームが連続Ｎ枚中Ｑ枚存在することを条件とし、ここで、Ｎ、Ｍ、Ｑは整数であり、Ｎ≧ＭとＭ＞Ｑの条件を満たすことを特徴とする画像解析装置。
3. 請求項１又は請求項２に記載の画像解析装置において、
   前記イベント発生の状態を継続する条件は、前記イベントなしの状態から前記イベント発生の状態へ遷移する条件よりも緩く設定され、
   前記ニュートラルの状態へは、前記イベント発生の状態を継続できなくなったときに、前記補正条件を満たす場合に前記イベント発生の状態から遷移することを特徴とする画像解析装置。
4. 請求項２に記載の画像解析装置において、
   前記補正条件は、検知対象物体を最後に検知した画像のフレームにおいて、その物体の位置が事前に設定した補正範囲内である場合に満たす条件であることを特徴とする画像解析装置。
5. カメラと、当該カメラで撮影した画像を取得する請求項１又は請求項２に記載の画像解析装置とを備え、
   前記カメラと前記画像解析装置は、ネットワークを介して通信可能であることを特徴とする画像解析システム。
6. 処理装置を用いて画像解析を行う画像解析方法であって、
   撮影した画像を取得するステップと、
   補正条件に用いるデータを取得するステップと、
   検知対象物体の検知の条件に基づき前記検知対象物体が画像内に存在していると判定するイベント発生の状態と、検知対象物体の非検知の条件に基づき前記検知対象物体が画像内に存在しないと判定するイベントなしの状態と、前記補正条件を用いて前記検知対象物体が遮蔽されていると判定するニュートラルの状態とを、判別するステップとを備え、
   前記ニュートラルの状態から前記イベント発生の状態への遷移の条件は、前記イベントなしの状態から前記イベント発生の状態への遷移の条件よりも緩く設定されており、
   前記補正条件は、前記イベント発生の状態を満たさなくなった画像のフレームと背景画像の差分領域が、前記検知対象物体を最後に検知したフレームにおける検知対象物体の検知枠より大きい場合に満たす条件であることを特徴とする画像解析方法。
7. 処理装置を用いて画像解析を行う画像解析方法であって、
   撮影した画像を取得するステップと、
   補正条件に用いるデータを取得するステップと、
   検知対象物体の検知の条件に基づき前記検知対象物体が画像内に存在していると判定するイベント発生の状態と、検知対象物体の非検知の条件に基づき前記検知対象物体が画像内に存在しないと判定するイベントなしの状態と、前記補正条件を用いて前記検知対象物体が遮蔽されていると判定するニュートラルの状態とを、判別するステップとを備え、
   前記ニュートラルの状態から前記イベント発生の状態への遷移の条件は、前記イベントなしの状態から前記イベント発生の状態への遷移の条件よりも緩く設定されており、
   前記イベントなしの状態から前記イベント発生の状態への遷移の条件は、前記検知対象物体の確信度が所定以上のフレームが連続Ｎ枚中Ｍ枚存在することを条件とし、前記ニュートラルの状態から前記イベント発生の状態への遷移の条件は、前記検知対象物体の確信度が所定以上のフレームが連続Ｎ枚中Ｑ枚存在することを条件とし、ここで、Ｎ、Ｍ、Ｑは整数であり、Ｎ≧ＭとＭ＞Ｑの条件を満たすことを特徴とする画像解析方法。
8. 請求項６又は請求項７に記載の画像解析方法において、
   前記イベント発生の状態を継続する条件は、前記イベントなしの状態から前記イベント発生の状態へ遷移する条件よりも緩く設定され、
   前記ニュートラルの状態へは、前記イベント発生の状態を継続できなくなったときに、
   前記補正条件を満たす場合に前記イベント発生の状態から遷移することを特徴とする画像解析方法。

Images