JP7652285B2

JP7652285B2 - 画像に対するａｉ推論システム

Info

Publication number: JP7652285B2
Application number: JP2023562088A
Authority: JP
Inventors: 顕至田仲; 勇輝有川; 猛伊藤; 直樹三浦; 健坂本
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2021-11-22
Filing date: 2021-11-22
Publication date: 2025-03-27
Anticipated expiration: 2041-11-22
Also published as: WO2023089815A1; US20240414351A1; JPWO2023089815A1

Description

本発明は、カメラで撮影した画像に対し、イベントが起きた時間のみ推論を行うイベント駆動型のＡＩ推論システムに関するものである。

カメラで取得した動画に対しＡＩ（Artificial Intelligence）推論を適用することが
考えられている。ＡＩ推論に必要な計算量、メモリ量は、高精度な推論ほど大きくなることが知られている。そのため、エンコードした動画をカメラなどから送信し、サーバなどでデコードの後に推論する方法が一般的に用いられている。

しかしながら、カメラで取得された動画の全てのフレームに推論が必要なユースケースは少ない。その理由は、例えば防犯カメラであれば、フレーム内に人物が映り込んでいる時だけ推論すればよいためである。つまり、フレーム内に人物が映り込んでいない時に推論するのは無駄なコストである。そこで、イベントが起きた時間のみ推論を行うイベント駆動型推論が提案されている（非特許文献１）。

イベント駆動型推論では、デコード後のフレームに軽量な、コストの低い推論を適用し、より高精度な推論が必要か否かを判断する。高精度な推論実行の判断には、Confidence
for the predicted class（以下、信頼度）を用いることが一般的で、信頼度が高ければ高精度な推論を実行する。信頼度は、ＮＮ（Neural Network）モデルが、自身の出力をどの程度の確率で正しいと判断しているかを示す値である（非特許文献２）。

例えば、前述の防犯カメラの例では、図６に示すようにカメラ１００で取得され、エンコーダ回路１０１によって符号化された画像のフレームを例えばサーバ側のデコーダ回路１０２で復号する。そして、復号された画像のフレームに対して第１の推論処理部１０３で人物検知の推論を実行し、信頼度が一定以上のフレームにのみ、不審者か否かの顔認識推論を第２の推論処理部１０４で実行する。このような、２段階の推論は多層推論と呼ばれる。

イベント駆動型の多層推論は、１層目の推論をコストの低いモデルを用いて行うことで、高精度の推論を実行する時間を減らし、トータルのコストを削減する技術である。イベント駆動形の多層推論では、１層目の推論の結果、２層目の推論が実施されないことがあるが、カメラからのストリーム配信は常に動作しており、エンコード・デコードのコストを削減することができないという課題があった。

江田毅晴他，"ＩＯＷＮ時代のＡＩサービスを支える高効率イベント駆動型推論"，ＮＴＴ技術ジャーナル，２０２０年１２月号 "person-detection-retail-0002"，インテル，２０１８年，＜https://docs.openvinotoolkit.org/2018_R5/person-detection-retail-0002.html＞

本発明は、上記課題を解決するためになされたもので、従来よりも消費電力を削減することが可能なＡＩ推論システムを提供することを目的とする。

本発明のＡＩ推論システムは、カメラによって撮影された画像を符号化するように構成されたエンコーダ回路と、前記エンコーダ回路によって符号化された画像を復号するように構成されたデコーダ回路と、前記デコーダ回路によって復号された画像に対して第１の推論の処理をフレーム毎に実行するように構成された第１の推論処理部と、前記第１の推論の信頼度の値を前記第１の推論処理部から受け取り、前記信頼度の値が所定の閾値を超える画像のフレームに対してのみ、前記第１の推論よりも高精度な第２の推論の処理を実行するように構成された第２の推論処理部と、前記信頼度の値が前記閾値以下のときに、前記エンコーダ回路と前記デコーダ回路のそれぞれのフレームレートを初期値から低速値に低減するように構成されたフレームレート制御部とを備えることを特徴とするものである。

また、本発明のＡＩ推論システムの１構成例において、前記エンコーダ回路と前記デコーダ回路とは、カメラ毎に設けられ、前記フレームレート制御部は、複数のカメラのうち前記信頼度の値が前記閾値以下の画像を出力したカメラに対応する前記エンコーダ回路と前記デコーダ回路のそれぞれのフレームレートを初期値から低速値に低減することを特徴とするものである。
また、本発明のＡＩ推論システムの１構成例において、前記エンコーダ回路と前記デコーダ回路とは、カメラ毎に設けられ、前記フレームレート制御部は、複数のカメラのうち少なくとも１つの第１のカメラが、前記信頼度の値が前記閾値を超えた画像を出力したときに、前記第１のカメラと予め定められた位置関係にある第２のカメラに対応する前記エンコーダ回路と前記デコーダ回路のそれぞれのフレームレートを初期値のままとし、前記第１のカメラと予め定められた位置関係にない第３のカメラが、前記信頼度の値が前記閾値以下の画像を出力したときに、前記第３のカメラに対応する前記エンコーダ回路と前記デコーダ回路のそれぞれのフレームレートを前記低速値に低減することを特徴とするものである。

本発明によれば、第１の推論の信頼度の値が閾値以下のときにエンコーダ回路とデコーダ回路のそれぞれのフレームレートを初期値から低速値に低減するので、従来のイベント駆動型の多層推論と比較して消費電力を削減することができる。

図１は、本発明の実施例に係るＡＩ推論システムの構成を示すブロック図である。図２は、本発明の実施例に係るＡＩ推論システムのエンコーダ回路とデコーダ回路と第１の推論処理部と第２の推論処理部の動作を説明するフローチャートである。図３は、本発明の実施例に係るＡＩ推論システムのフレームレート制御部の動作を説明するフローチャートである。図４は、本発明の実施例に係るＡＩ推論システムの別の構成を示すブロック図である。図５は、本発明の実施例に係るＡＩ推論システムを実現するコンピュータの構成例を示すブロック図である。図６は、イベント駆動型の多層推論を説明する図である。

以下、本発明の実施例について図面を参照して説明する。図１は本発明の実施例に係るＡＩ推論システムの構成を示すブロック図である。ＡＩ推論システムは、監視カメラ１００と、監視カメラ１００のエンコーダ回路１０１によって符号化された画像を復号するデコーダ回路１０２と、復号された画像のフレームに対して人物検知の推論処理を実行する第１の推論処理部１０３と、第１の推論処理部１０３による推論の信頼度の値を第１の推論処理部１０３から受け取り、信頼度の値が所定の閾値を超える画像のフレームに対してのみ、人物の顔認識推論処理を実行する第２の推論処理部１０４と、第１の推論処理部１０３が出力した信頼度の値が前記閾値以下の場合に、エンコーダ回路１０１とデコーダ回路１０２のそれぞれのフレームレートを低下させるフレームレート制御部１０５とを備えている。

デコーダ回路１０２と第１の推論処理部１０３と第２の推論処理部１０４とフレームレート制御部１０５とは、監視カメラ１００から離れた位置にある例えばサーバ装置の内部に設けられる。

図２はエンコーダ回路１０１とデコーダ回路１０２と第１の推論処理部１０３と第２の推論処理部１０４の動作を説明するフローチャート、図３はフレームレート制御部１０５の動作を説明するフローチャートである。

エンコーダ回路１０１は、監視カメラ１００によって撮影された画像を符号化する（図２ステップＳ１００）。
デコーダ回路１０２は、エンコーダ回路１０１によって符号化された画像を復号する（図２ステップＳ１０１）。

第１の推論処理部１０３は、復号された画像に対して人物検知の推論処理を画像のフレーム毎に実行する（図２ステップＳ１０２）。
第２の推論処理部１０４は、第１の推論処理部１０３から出力された信頼度の値が所定の閾値を超えたとき（図２ステップＳ１０３においてＹＥＳ）、信頼度の値が閾値を超えたフレームに対して、フレーム中に存在する人物の顔認識推論処理を実行する（図２ステップＳ１０４）。

エンコーダ回路１０１とデコーダ回路１０２と第１の推論処理部１０３と第２の推論処理部１０４とは、ステップＳ１００～Ｓ１０４の処理をフレーム毎に実行する。

一方、フレームレート制御部１０５は、第１の推論処理部１０３から出力された信頼度の値が上記の閾値以下のとき（図３ステップＳ２００においてＮＯ）、エンコーダ回路１０１とデコーダ回路１０２からのストリーム出力を一旦停止させる（図３ステップＳ２０１）。

続いて、フレームレート制御部１０５は、エンコーダ回路１０１とデコーダ回路１０２のそれぞれのクロック生成回路にアクセスして、クロック生成回路のレジスタに設定されているクロック周波数の値を書き替えることで、エンコーダ回路１０１とデコーダ回路１０２のそれぞれのフレームレートを初期値から所定の低速値に低減する（図３ステップＳ２０２）。

そして、フレームレート制御部１０５は、エンコーダ回路１０１とデコーダ回路１０２をリセットして、ストリーム出力を再開させる（図３ステップＳ２０３）。
こうして、信頼度の値が閾値以下となったフレームの次のフレームから、低速のフレームレートで符号化と復号が行われる。

また、フレームレート制御部１０５は、第１の推論処理部１０３から出力された信頼度の値が閾値を超えたときに（ステップＳ２００においてＹＥＳ）、エンコーダ回路１０１とデコーダ回路１０２のそれぞれのフレームレートが低速値に設定されている場合には（図３ステップＳ２０４においてＹＥＳ）、エンコーダ回路１０１とデコーダ回路１０２からのストリーム出力を一旦停止させる（図３ステップＳ２０５）。

続いて、フレームレート制御部１０５は、エンコーダ回路１０１とデコーダ回路１０２のそれぞれのクロック生成回路にアクセスして、クロック生成回路のレジスタに設定されているクロック周波数の値を書き替えることで、エンコーダ回路１０１とデコーダ回路１０２のそれぞれのフレームレートを低速値から初期値に戻す（図３ステップＳ２０６）。

そして、フレームレート制御部１０５は、エンコーダ回路１０１とデコーダ回路１０２をリセットして、ストリーム出力を再開させる（図３ステップＳ２０７）。
こうして、信頼度の値が閾値以下となった後に閾値よりも大となった場合には、信頼度の値が閾値以下となったフレームの次のフレームから、通常のフレームレートで符号化と復号が行われる。フレームレート制御部１０５は、ステップＳ２００～Ｓ２０７の処理をフレーム毎に実行する。

以上のように、本実施例では、第１の推論処理部１０３による推論の信頼度の値が閾値以下のときに第２の推論処理部１０４による高精度な推論を止めると同時に、エンコーダ回路１０１とデコーダ回路１０２のフレームレートを低減するので、従来のイベント駆動型の多層推論と比較して消費電力をさらに削減することができる。

監視カメラ１００のフレームレートはたかだか６０ＦＰＳ（frames per second）程度
なので、フレーム間は１６．６ミリ秒程度の間隔がある。したがって、この間隔以内の時間でステップＳ２００～Ｓ２０７の処理を完了させるようにすれば、フレームの欠落は発生しない。フレームレートを低下させると、エンコーダ回路１０１とデコーダ回路１０２におけるデータ移動に要していたコスト（例えばＤＲＡＭ（Dynamic Random Access Memory）アクセス）などが低減されるので、消費電力が削減される。

また、図４の例に示すように、ＡＩ推論システムに複数台の監視カメラ１００－１～１００－４が接続されているユースケースなどでは、監視カメラ１００－１～１００－４毎に上記の図２、図３の処理を行い、監視カメラ１００－１～１００－４毎にエンコーダ回路１０１－１～１０１－４とデコーダ回路１０２－１～１０２－４のフレームレートを個別に変化させるようにしてもよい。図４の例では、エンコーダ回路１０１－１～１０１－４とデコーダ回路１０２－１～１０２－４とは、監視カメラ１００－１～１００－４毎に設けられている。

また、図４の構成において、フレームレート制御部１０５は、各監視カメラ１００－１～１００－４のうち少なくとも１つのカメラの画像について推論の信頼度の値が閾値を超えたとき、信頼度の値が閾値を超えた画像を出力したカメラに対応するエンコーダ回路１０１とデコーダ回路１０２のそれぞれのフレームレートを初期値のままとするだけでなく、このカメラと予め定められた位置関係にあるカメラに対応するエンコーダ回路１０１とデコーダ回路１０２のそれぞれのフレームレートも初期値のままとする。また、フレームレート制御部１０５は、信頼度の値が閾値を超えた画像を出力したカメラと予め定められた位置関係になく、かつ信頼度の値が閾値以下の画像を出力したカメラについて、対応するエンコーダ回路１０１とデコーダ回路１０２のそれぞれのフレームレートを低速値にする。

例えば図４の例では、人物２００に距離が最も近い監視カメラ１００－２から出力された画像に対する推論の信頼度が最も高い値になったとする。このとき、フレームレート制御部１０５は、信頼度の値が閾値を超えた画像を出力した監視カメラ１００－２に対応するエンコーダ回路１０１－２とデコーダ回路１０２－２のそれぞれのフレームレートを初期値のままとする。

さらに、フレームレート制御部１０５は、監視カメラ１００－２から所定距離の範囲内に設置された監視カメラ１００－１，１００－３については、推論の信頼度の如何を問わずに、対応するエンコーダ回路１０１－１，１０１－３とデコーダ回路１０２－１，１０２－３のフレームレートを初期値のままとする。

また、フレームレート制御部１０５は、監視カメラ１００－２から所定距離の範囲外に設置され、信頼度の値が閾値以下の画像を出力した監視カメラ１００－４に対応するエンコーダ回路１０１－４とデコーダ回路１０２－４のそれぞれのフレームレートを低速値にする。また、フレームレート制御部１０５は、監視カメラ１００－２から所定距離の範囲外に設置されている場合でも、信頼度の値が閾値を超えた画像を出力した監視カメラについては、対応するエンコーダ回路１０１とデコーダ回路１０２のフレームレートを初期値のままとする。

各監視カメラ１００－１～１００－４の位置関係を示す情報は、予めフレームレート制御部１０５に設定されている。
こうして、各監視カメラ１００－１～１００－４の位置関係に応じてフレームレートを変化させることで、ＡＩ推論システム全体の消費電力の最適化が可能になる。

本実施例で説明した第１の推論処理部１０３と第２の推論処理部１０４とフレームレート制御部１０５とは、ＣＰＵ（Central Processing Unit）、記憶装置および外部とのイ
ンタフェースを備えたコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。このコンピュータの構成例を図５に示す。

コンピュータは、ＣＰＵ３００と、記憶装置３０１と、インタフェース装置（Ｉ／Ｆ）３０２とを備えている。Ｉ／Ｆ３０２には、エンコーダ回路１０１－１～１０１－４とデコーダ回路１０２等が接続される。このようなコンピュータにおいて、本発明の方法を実現させるためのプログラムは記憶装置３０１に格納される。ＣＰＵ３００は、記憶装置３０１に格納されたプログラムに従って本実施例で説明した処理を実行する。

本発明は、ＡＩ推論の効率化の技術に適用することができる。

１００，１００－１～１００－４…監視カメラ、１０１，１０１－１～１０１－４…エンコーダ回路、１０２，１０２－１～１０２－４…デコーダ回路、１０３…第１の推論処理部、１０４…第２の推論処理部、１０５…フレームレート制御部。

Claims

カメラによって撮影された画像を符号化するように構成されたエンコーダ回路と、
前記エンコーダ回路によって符号化された画像を復号するように構成されたデコーダ回路と、
前記デコーダ回路によって復号された画像に対して第１の推論の処理をフレーム毎に実行するように構成された第１の推論処理部と、
前記第１の推論の信頼度の値を前記第１の推論処理部から受け取り、前記信頼度の値が所定の閾値を超える画像のフレームに対してのみ、前記第１の推論よりも高精度な第２の推論の処理を実行するように構成された第２の推論処理部と、
前記信頼度の値が前記閾値以下のときに、前記エンコーダ回路と前記デコーダ回路のそれぞれのフレームレートを初期値から低速値に低減するように構成されたフレームレート制御部とを備えることを特徴とするＡＩ推論システム。
請求項１記載のＡＩ推論システムにおいて、
前記エンコーダ回路と前記デコーダ回路とは、カメラ毎に設けられ、
前記フレームレート制御部は、複数のカメラのうち前記信頼度の値が前記閾値以下の画像を出力したカメラに対応する前記エンコーダ回路と前記デコーダ回路のそれぞれのフレームレートを初期値から低速値に低減することを特徴とするＡＩ推論システム。
請求項１記載のＡＩ推論システムにおいて、
前記エンコーダ回路と前記デコーダ回路とは、カメラ毎に設けられ、
前記フレームレート制御部は、複数のカメラのうち少なくとも１つの第１のカメラが、前記信頼度の値が前記閾値を超えた画像を出力したときに、前記第１のカメラと予め定められた位置関係にある第２のカメラに対応する前記エンコーダ回路と前記デコーダ回路のそれぞれのフレームレートを初期値のままとし、前記第１のカメラと予め定められた位置関係にない第３のカメラが、前記信頼度の値が前記閾値以下の画像を出力したときに、前記第３のカメラに対応する前記エンコーダ回路と前記デコーダ回路のそれぞれのフレームレートを前記低速値に低減することを特徴とするＡＩ推論システム。