JP7613484B2 - データ処理装置、データ処理方法、及びデータ処理プログラム - Google Patents

Description

開示の技術は、データ処理装置、データ処理方法、及びデータ処理プログラムに関する。

多層ニューラルネットワークと深層学習を用いた様々なデータ処理技術が開発されている。その応用範囲は認識および検出など様々な分野に広がっている。例えば、物体検出は、入力画像の中から、その画像に含まれる物体の位置（物体を囲む四角い枠）と属性（人、車などの物体の種別）、及び各物体の認識精度とから成るメタデータを検出する技術である。物体検出については、近年、深層学習の結果に基づいてメタデータを検出する技術がある。例えば、非特許文献１には、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）が開示されている。また、非特許文献２には、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）が開示されている。これらの技術は、自動運転、及び監視カメラなどのリアルタイム性を必要とする物体検出システムへの適用が検討されている。

自動運転及び監視カメラなどの物体検出装置は、ネットワークトラフィック負荷分散及びセキュリティ保護の観点から、ネットワークのエッジ、すなわち端末側に搭載されることも検討されている。物体検出装置をネットワークのエッジに搭載するには、装置の小型化及び低電力化が必要不可欠である。

小型化及び低電力化を実現するために、深層学習に基づく物体検出処理をハードウェアで実装し、かつ、演算器が扱う各データのデータビット幅を削減する構成が提案されている（非特許文献３参照）。各データとしては、入力、出力（特徴マップ）、重み（カーネル）、及びバイアスが挙げられる。一般的にソフトウェアで深層学習の推論処理を実行する場合、積和演算に用いられる各データは３２ビット浮動小数点データとして扱われる。なぜなら、各データの値のとりうる範囲が広く、画像ごと、又は畳み込みニューラルネットワークを構成するＣｏｎｖｏｌｕｔｉｏｎ層などの層ごとに、その範囲が異なるからである。非特許文献３においては、統計情報を用いて畳み込みニューラルネットワークの各層におけるデータビット幅をあらかじめ決定し、８～１６ビットまで削減することにより、回路規模と電力を削減する効果が得られることが報告されている。

また、これらのアプローチに対して、各データ幅を一律に固定小数点数ｎビット（ｎ＜３２）とし、入力される画像ごと及び層ごとに小数点位置を動的に制御する手法が開示されている（非特許文献４参照）。

Joseph Redmon et.al, "YOLOv3: An Incremental Improvement",https://arxiv.org/abs/1804.02767 Wei Liu et.al, " SSD: Single Shot MultiBox Detector",https://arxiv.org/pdf/1512.02325.pdf Zhisheng Li et.al, "Laius: An 8-Bit Fixed-Point CNN Hard ware Inference Engine," 2017 IEEE International Symposium on Parallel and Distributed Processing with Applications and 2017 IEEE International Conference on Ubiquitous Computing and Communications (ISPA/IUCC), Guangzhou, 2017, pp. 143-150, doi: 10.1109/ISPA/IUCC.2017.00030. 八田彩希、鵜澤寛之、吉田周平、新田高庸、"物体検出AI推論用ハードウェア向け動的小数点位置制御手法の提案"、電子情報通信学会、2020年9月．

しかしながら、小数点位置を動的に制御する手法は、全画素値に対して演算を行う構成であった。また、例え同値の特徴マップの値が連続しても常時演算を実行していた。そのため、消費電力の低減が困難である、という課題があった。

開示の技術は、上記の点に鑑みてなされたものであり、出力の同値率を高めることによって可能となる演算のスキップにより、消費電力を低減できるデータ処理装置、データ処理方法、及びデータ処理プログラムを提供することを目的とする。

本開示の第１態様は、データ処理装置であって、多層ニューラルネットワークを構成する複数の層のそれぞれに対応して、Ｎビット（Ｎは２以上の自然数）の固定長データの小数点位置を設定するように構成されており、前記固定長データの小数点位置を設定する小数点位置制御部と、前記小数点位置制御部によって前記小数点位置が設定された前記Ｎビットの固定長データに対して、前記多層ニューラルネットワークの処理アルゴリズムに従って、連続して入力される処理対象データの各々に対し、前記多層ニューラルネットワークを構成する前記複数の層のそれぞれに対応する演算処理を行うように構成されており、演算処理において処理時点の前記処理対象データの飽和率に応じて増加する同値データを判定して、前記同値データの２回目以降の演算処理をスキップすると共に、演算処理において処理時点の前記処理対象データ内の物体の検出数、物体を囲む枠、属性、及び当該属性の認識精度を含むメタデータを検出する検出演算部と、前記検出演算部の前記層ごとの演算処理の過程において、前記小数点位置によって定まる値域の上限値（全ｂｉｔ列１時の値）を超えた回数である上限カウンタ値、及び前記値域の下限値（全ｂｉｔ列のうち、ＬＳＢのみ１時の値）を下回った回数である下限カウンタ値をカウントするカウンタ部と、飽和率制御部と、認識精度合成部とを含み、前記小数点位置制御部は、第１制御として、前記上限カウンタ値が第１閾値の範囲内、前記下限カウンタ値が第２閾値の範囲内にそれぞれ収まるように、層ごとに移動させた小数点位置を決定して、前記検出演算部による処理時点の前記処理対象データに対する演算処理を行わせ、前記飽和率制御部は、前記小数点位置制御部によって繰り返される第２制御として、前記第１制御の結果に対して、カウントされる前記下限カウンタ値の大きさに比例する下限飽和率を増加させるような制御として、少なくとも前記小数点位置を移動させる指示を前記小数点位置制御部に対して行い、前記小数点位置制御部は、前記第２制御として、前記飽和率制御部からの前記指示と前記メタデータとに基づいて、所定の判定を行い、層ごとに移動させた前記小数点位置を決定し、前記検出演算部による処理時点の前記処理対象データに対する演算処理を行わせ、前記認識精度合成部は、前記第２制御として、前記検出演算部の演算処理で得られる前記認識精度を、記憶されている精度の高い方の認識精度に置き換える。

本開示の第２態様は、データ処理方法であって、多層ニューラルネットワークを構成する複数の層のそれぞれに対応して、Ｎビット（Ｎは２以上の自然数）の固定長データの小数点位置を設定するように構成されており、前記固定長データの小数点位置を設定し、前記小数点位置が設定された前記Ｎビットの固定長データに対して、前記多層ニューラルネットワークの処理アルゴリズムに従って、連続して入力される処理対象データの各々に対し、前記多層ニューラルネットワークを構成する前記複数の層のそれぞれに対応する演算処理を行うように構成されており、演算処理において処理時点の前記処理対象データの飽和率に応じて増加する同値データを判定して、前記同値データの２回目以降の演算処理をスキップすると共に、演算処理において処理時点の前記処理対象データ内の物体の検出数、物体を囲む枠、属性、及び当該属性の認識精度を含むメタデータを検出し、前記層ごとの演算処理の過程において、前記小数点位置によって定まる値域の上限値を超えた回数である上限カウンタ値、及び前記値域の下限値を下回る回数である下限カウンタ値をカウントし、第１制御として、前記上限カウンタ値が第１閾値の範囲内、前記下限カウンタ値が第２閾値の範囲内にそれぞれ収まるように、層ごとに移動させた小数点位置を決定して、処理時点の前記処理対象データに対する演算処理を行わせ、繰り返される第２制御として、前記第１制御の結果に対して、カウントされる前記下限カウンタ値の大きさに比例する下限飽和率を増加させるような制御として、少なくとも前記小数点位置を移動させる指示を行い、前記第２制御として、前記指示と前記メタデータとに基づいて、所定の判定を行い、層ごとに移動させた前記小数点位置を決定し、処理時点の前記処理対象データに対する演算処理を行わせ、前記第２制御として、演算処理で得られる前記認識精度を、記憶されている精度の高い方の認識精度に置き換える、処理をコンピュータが実行することを特徴とする。

開示の技術によれば、出力の同値率を高めることによって可能となる演算のスキップにより、消費電力を低減することができる。

参考例に係る物体検出装置の構成を示す図である。 参考例におけるＣＮＮの一例を示す図である。 参考例の検出演算部における畳み込み演算のフローを示す図である。 参考例の小数点位置制御部の小数点位置制御フローの流れを示す図である。 参考例の初期小数点位置を決定するための処理の一例となるフローを示す図である。 参考例のカウンタを用いた各層の小数点位置を決定するための処理の一例となるフローを示す。 本開示の各実施形態の物体検出装置のハードウェア構成を示すブロック図である。 本開示の各実施形態の物体検出装置の構成を示すブロック図である。 本開示の実施形態の検出演算部において、カーネルデータを１ストライドずつずらしていき１ｃｈ分の積和演算処理を行う例を示す図である。 第１実施形態における下限飽和率を最適化するための制御方法の概要について示す図である。 第１実施形態の小数点位置制御部の小数点位置制御フロー（下限飽和値制御フロー）の流れを示す図である。 第２実施形態の小数点位置制御部の小数点位置制御フロー（下限飽和値制御フロー）の流れを示す図である。 第３実施形態の小数点位置制御部の小数点位置制御フロー（下限飽和値制御フロー）の流れを示す図である。

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

まず、本開示の実施形態について説明する前に、本開示の技術の前提となる非特許文献４の技術について、参考例としての構成及び作用を説明する。
［参考例］
参考例では、データ処理装置に相当する物体検出装置を例に説明する。物体検出装置は、映像から連続して入力される一連の複数の入力画像（以下、画像と省略して記載する場合がある）を受け付けて処理を行う。物体検出装置は、当該画像に含まれる物体の検出数、物体を囲む枠、属性、及び当該属性の認識精度を含むメタデータを検出することにより物体検出を行う装置である。ここで物体の位置は、画像内における物体の中心の座標又は物体を囲む四角い枠によって表される。また、属性は、人、又は車などの物体の種別であり、カテゴリーと呼ばれることもある。また、認識精度は、例えば、検出された物体が特定の属性を有する確率である。なお、映像から連続して入力される一連の複数の入力画像（画像）が本開示の技術の「連続して入力される処理対象データの各々」の一例である。

図１に示すように、参考例に係る物体検出装置１０は、検出演算部１０１と、小数点位置制御部１０２と、カウンタ部１０３とから構成される。検出演算部１０１は、入力された画像に対して深層学習の推論処理に基づく演算処理を行うように構成されている。小数点位置制御部１０２は、検出演算部１０１における演算対象となる、固定長データの小数点の位置（以下、単に「小数点位置」という）を決定する。カウンタ部１０３は、上限カウンタ及び下限カウンタの総称である。カウンタ部１０３は、検出演算部１０１による演算処理の過程において、データが小数点位置制御部１０２によって設定された小数点位置によって定まる値域の上限及び下限を超えた回数をそれぞれ層ごとにカウントするように構成されている。データが小数点位置制御部１０２によって設定された小数点位置によって定まる値域の上限を超えた回数、及び上限を超えた回数がカウンタ部１０３でカウントされる。

検出演算部１０１は、ハードウェアとしては、多層ニューラルネットワークの処理アルゴリズムに従って、多層ニューラルネットワークを構成する複数の層のそれぞれに対応する演算処理を行うように構成された演算処理回路である。検出演算部１０１における多層ニューラルネットワークによる処理は、典型的には、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いている。

図２は参考例におけるＣＮＮの一例を示す図である。ＣＮＮは、畳み込み層（ＣＯＮＶ１，ＣＯＮＶ２＿１，ＣＯＮＶ２＿２）と、畳み込み処理の結果をダウンサイジングする「プーリング（Ｐｏｏｌｉｎｇ）」処理を行うプーリング層（Ｐｏｏｌｉｎｇ１，Ｐｏｏｌｉｎｇ２）とが交互に配置されている。畳み込み層は、入力された画像に対して所定のフィルタを畳み込む。また、ＣＮＮは、特徴マップを作成する「特徴抽出パート」と、複数の全結合層（ＦＣ：Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ Ｌａｙｅｒｓ；ＦＣ１，ＦＣ２）により、特徴マップから入力された画像に含まれる物体を特定する「識別パート」からなる。特徴抽出パートでは、画像に対してフィルタを畳み込む演算が行われる。また、識別パートでは、特徴マップの各画素の値に重みを乗じて和をとる積和演算と、その積和演算の結果にバイアスを加えて活性化関数に入力し、その出力を得る演算が繰り返される。なお、活性化関数としては、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）などが用いられる。重み及び活性化関数のパラメータの値は、学習によって決定することができる。また、図２において、「ＢＲＡＭ」は、各層における演算結果を記憶するブロックＲＡＭ（Ｂｌｏｃｋ ＲＡＭ）を表している。

検出演算部１０１は、深層学習に基づく物体検出アルゴリズムを用いて、推論処理の畳み込み演算及び結合処理を行って、入力された画像に含まれるメタデータを出力する。物体検出アルゴリズムは、例えばＹＯＬＯ（非特許文献１）又はＳＳＤ（非特許文献２）などである。

参考例の検出演算部１０１が多層ニューラルネットワークの各層で扱うデータは、例えば、入力、出力（特徴マップ）、重み（カーネル）、及びバイアス等は、３２ビットよりも小さなビット幅を有する固定長データである。固定長データは、層ごとに異なる小数点位置を有することが可能なデータ構造となっている。より具体的には、参考例において、検出演算部１０１は、例えば、８ビットのビット幅を有する固定長データに対して、多層ニューラルネットワークを構成する複数の層のそれぞれに対応する演算処理を行い、かつ、扱うデータの小数点位置は、後述する小数点位置制御部１０２によって層ごとに設定される。

図３に、検出演算部１０１における畳み込み演算のフローを示す。例えば、入力を８ビット、重みを８ビットとした場合、その積和演算で得られる結果は最大１６ビットとなる。検出演算部１０１は、１６ビットの計算結果に対してバイアスを加算し、活性化関数をかけ、１６ビットの途中特徴マップとする。特徴マップは次の層における入力になるため、１６ビットの途中入力マップを８ビット幅まで小さくし、次層入力用の特徴マップとする。なお、層の数や活性化関数、バイアス加算の方法は、使用する物体検出アルゴリズムごとに適宜選択されるものであり、参考例の技術を限定するものではない。

［小数点位置制御部］
小数点位置制御部１０２は、上述したように、多層ニューラルネットワークを構成する複数の層のそれぞれに対応して、検出演算部１０１における演算対象となる固定長データの小数点位置を決定する処理回路である。

参考例においては、小数点位置制御部１０２が、カウンタ部１０３の値に基づいて各層の小数点位置を更新し、検出演算部１０１に通知する。検出演算部１０１は、当該通知に基づいて各層の小数点位置を変更する。カウンタ部１０３を用いれば、複数の層を１度に最適化することが可能である。

［小数点位置制御フローの概要］
物体検出装置１０の作用は、小数点位置制御部１０２の小数点位置制御フローによって説明される。図４は、小数点位置制御部１０２の小数点位置制御フローの流れを示す図である。図４の小数点位置制御フローは基本フローであり、各サブルーチンについては後述する。以下の説明において、ｉ番目の層に対応して設定される固定長データの小数点位置を、単に「ｉ層の小数点位置」（ただしｉは、ｉ＞０の整数）という場合がある。

図４のフローにおいて、最適な小数点位置を決定する処理は、大きく分けて２つのステップ（Ｓｔｅｐ ＡおよびＳｔｅｐ Ｃ）からなり、小数点位置が決定された後は、画像種別等に大きな変化があるまで待機する処理（Ｓｔｅｐ Ｅ、Ｓｔｅｐ Ｆ）となる。

まず、最初に、多層ニューラルネットワークを構成する層毎に小数点位置の初期値（初期小数点位置ｎｏｐｔ＿ｆｉｒｓｔ）を決定し、その初期値に基づいて設定された小数点位置の固定長データを用いて物体検出を行う（Ｓｔｅｐ Ａ）。そして、この物体検出の結果として得られた物体の総検出数（Ｎｄ）及び“犬”、“人間”などの検出属性（Ｎｏｂｊ）を保存する（Ｓｔｅｐ Ｂ）。次に、各層の小数点位置（ｎｏｐｔ＿ｉ，０＜ｉ）をチューニングして最適な小数点位置を決定する（Ｓｔｅｐ Ｃ）。

各層の小数点位置をチューニングした後、各層の小数点位置を検出演算部１０１に通知して、物体検出処理を行い、得られた検出結果（Ｎｄ、Ｎｏｂｊ）を確定する（Ｓｔｅｐ Ｄ）。その後は、画像変化の待ち状態に入り（Ｓｔｅｐ Ｅ、Ｓｔｅｐ Ｆ）、画像に大きな変化がなければ（Ｓｔｅｐ Ｆ：ＮＯ）、画像変化チェック（Ｓｔｅｐ Ｅ）を継続する。画像に大きな変化があった場合に（Ｓｔｅｐ Ｆ：ＹＥＳ）、Ｓｔｅｐ Ａに戻り、最適化処理を再スタートする。

画像変化チェック（Ｓｔｅｐ Ｅ）では、（Ａ）総検出数Ｎｄを用いた判定処理、又は（Ｂ）検出された物体の属性（Ｎｏｂｊ）を用いた判定処理の何れかにより、画像変化をチェックすればよい。

（Ａ）総検出数Ｎｄを用いた判定処理では、小数点位置を移動する前と後の総検出数を比較する。なお、小数点位置を移動する前の総検出数とは、図４のＳｔｅｐ Ｂ又はＳｔｅｐ Ｄでの総検出数である。比較において、変化率が０のとき“変化なし”、総検出数の変化率が０以上で検出数閾値を超えない場合に“小さな変化”、総検出数の変化率が検出数閾値を超える場合に、“大きな変化”があったと識別すればよい。

（Ｂ）検出された物体の属性（Ｎｏｂｊ）を用いた判定処理では、新たな属性が加わった場合に、その属性Ｎｏｂｊの物体の検出数が総検出数Ｎｄに対してどの程度の割合なのかを判定し、“変化なし”、“小さな変化”又は“大きな変化”を識別する。

以下に、上述した小数点位置制御フローにおける、初期小数点位置（ｎｏｐｔ＿ｆｉｒｓｔ）の決定（Ｓｔｅｐ Ａ）、及びｉ層の小数点位置（ｎｏｐｔ＿ｉ）の決定（Ｓｔｅｐ Ｃ）の処理について、それぞれ詳しく説明する。

［Ｓｔｅｐ Ａ：初期小数点位置（ｎｏｐｔ＿ｆｉｒｓｔ）の決定］
図５に、初期小数点位置（ｎｏｐｔ＿ｆｉｒｓｔ）を決定するための処理の一例となるフローを示す。この決定手法では、小数点位置を変えながら、すべての層の小数点位置を共通にすることによって各層に対応する演算処理において用いられる固定長データの値域と最小ステップ幅を共通にして物体検出を行う。そして、検出結果が最も良い小数点位置ｎを全層に共通する初期小数点位置ｎｏｐｔ＿ｆｉｒｓｔとする。

具体的には、まず、すべての層の小数点位置ｎを初期値ｎｉｎｉｔから最大値ｎｍａｘまで順に変化させながら入力画像毎に物体検出を行い、小数点位置ごとに総検出数Ｎｄと認識精度Ａを保存する（Ｓｔｅｐ Ａ１）。そして、小数点位置ごとに得られた総検出数Ｎｄと認識精度Ａとから、検出された物体１つあたりの認識精度Ａ、すなわち認識精度Ａの平均値（ΣＡ／Ｎｄ）を求める。そして、認識精度Ａの平均値が最も大きくなる小数点位置ｎを初期小数点位置ｎｏｐｔ＿ｆｉｒｓｔとする（Ｓｔｅｐ Ａ２）。なお、初期値ｎｉｎｉｔ及び最大値ｎｍａｘは、装置の設計者が決めるものであり、参考例の技術を限定するものではない。

また、初期小数点位置（ｎｏｐｔ＿ｆｉｒｓｔ）の決定手法の一例として、複数の入力画像を用いて初期値を決定する手法を説明したが、参考例においては、これに限ることはない。例えば、あらかじめ物体検出シミュレータ等を用いて複数の画像について出力結果である特徴マップの値域を解析し、その解析結果に基づいて決定してもよい。また、参考例において、“検出結果が一番良い小数点位置”の定義を“認識精度の平均値が最も大きくなる小数点の位置”としたが、これに限ることはない。例えば、“検出数が最も多くなる小数点位置”を“検出結果が一番良い小数点位置”としても良い。

［Ｓｔｅｐ Ｃ：ｉ層の小数点位置（ｎｏｐｔ＿ｉ）の決定］
図６に、カウンタ部１０３を用いた各層の小数点位置（ｎｏｐｔ＿ｉ）を決定するための処理の一例となるフローを示す。ここで、カウンタ部１０３の値は、上限カウンタ値及び下限カウンタ値である。上限カウンタ値は、各層において扱う固定長データがその層の小数点位置によって定まる値域の上限値（全ｂｉｔ列１時の値）を超えた回数である。また、下限カウンタ値は、各層において扱う固定長データがその層の小数点位置によって定まる値域の下限値（全ｂｉｔ列のうち、ＬＳＢ（最下位ビット）のみ１時の値）を下回った回数である。

Ｓｔｅｐ Ｃでは、まず、初期値ｎｉｎｉｔとして物体検出を行った結果、上限カウンタ値と下限カウンタ値とが、それぞれ第１閾値ＵＰｔｈと第２閾値ＵＮｔｈ（ＵＰｔｈ≧０、ＵＮｔｈ≧０）よりも小さい結果をとなった層を判別する。この層については、「小数点位置が最適化されている層」とみなして、その層の小数点位置は変更せずにそのままとし、次のＳｔｅｐ Ｃ２ａで当該層以外の層に対して小数点位置制御を行う（Ｓｔｅｐ Ｃ１ａ）。

このとき、閾値ＵＰｔｈ及びＵＮｔｈ（≧０）は層ごとに設定可能な数値とする。図６のＳｔｅｐ Ｃ２ａでは、「最適化されていない層」の小数点位置を変更する。具体的には、これらの層の上限カウンタ値、及び下限カウンタ値が上述した条件に収まるようにする。すなわち、上限カウンタ値が第１閾値ＵＰｔｈ未満となり、下限カウンタ値が第２閾値ＵＮｔｈ未満となるように、画像が入力されるごとに最適化されていない層の小数点位置を変更する。

例えば、まずは上限値に着目し、上限カウンタ値が第１閾値ＵＰｔｈより小さくなるように小数点位置を変更する。上限値とは第１閾値ＵＰｔｈを超えている値であり、下限値とは第２閾値ＵＮｔｈを超えている値である。上限カウンタ値について最適化された後に下限カウンタ値を第２閾値ＵＮｔｈより小さくなるように変更する。上限カウンタ値及び下限カウンタ値が収束した場合、その小数点位置を最適な位置ｎｏｐｔ＿ｉとして図４に示すＳｔｅｐ Ｄへ遷移する。上限カウンタ値、及び下限カウンタ値に基づいて制御した結果、いずれかの閾値以下にしかならない層については、層ごとにあらかじめいずれの条件（ＵＰｔｈより小さくするか、ＵＮｔｈより小さくするか）を優先するか決定しておき、優先する条件に当てはまった場合を「最適化された小数点位置」とする。

また、検出演算部１０１からの出力されるメタデータを用いて、カウンタ部１０３の値及びメタデータを用いる手法を組み合わせて、小数点位置を変更してもよい。映像内の物体検出をする場合、連続して入力される画像内の物体は少しずつ変化し、短時間で全て変化することは稀である。よってメタデータを用いる手法では、各層の小数点位置を入力画像１枚のみの検出結果から制御するのではなく、複数枚の入力画像に対する物体検出の結果（メタデータ）を用いて各層の小数点位置を算出する処理を繰り返す。これにより少しずつ層ごとの小数点位置を最適化できる。

カウンタ部１０３とメタデータとを組み合わせる場合には、カウンタ部１０３の値によって小数点位置を最適化する過程において得られた検出結果（Ａ，Ｎｄ）を保存し、保存した結果の中で最良の結果をもたらす小数点位置を選ぶようにすればよい。以上が参考例についての説明である。

［本開示の実施形態の概要］
本開示の実施形態の手法は、非特許文献４及び参考例における課題を解決するためになされた手法である。その目的は回路の小型化を達成するために演算に用いるデータをｎビットとし、層ごと及び画像ごとの小数点位置制御によって、認識精度を維持しながら、低電力化を実現することである。

そのため本開示では、演算結果が最大値を上回る（すなわち上限飽和が起きる）又は最小値を下回る（すなわち下限飽和が起きる）時に、上回った結果及び下回った結果は全て最大値及び最小値として同値データになる点に着目した。飽和を意図的に発生させることができれば、演算結果の同値率が高くなる。同値率とは、全画素数に対して結果が同値の割合である。また、演算結果の絶対値が小さい下限値は、認識精度に大きく影響しない点を利用し、下限飽和率を高めることで特徴マップ（前の層からの出力）の同値率を向上させ、演算スキップを実行する。下限飽和率とは、演算対象の特徴マップのデータのうち、下限値が飽和している（下限の閾値を超えている）データの割合である。よって下限飽和率はカウントされる下限カウンタ値の大きさに比例する。すなわち、下限飽和率が増加することにより、同値率を増加させることができる。同値率とは、演算された積和演算結果が同値データになる割合である。また、演算スキップ実行中は回路のクロックを停止することで、低電力化を達成する。更に、同値率の向上により認識精度に劣化が生じ得るが、劣化を補うために当該認識精度の結果を、下限飽和率を高める前の認識精度の結果に置き換える処理を行う。

以上により、認識精度の劣化を抑えながら特徴マップの同値率を高め、演算スキップによって低電力化を実現する。また特徴マップの同値率を高めると、同値が連続する部分の演算については再度演算することなく、１度算出した演算結果を用いることが可能となるため、平均的な演算速度を向上させることも可能となる。

［本開示の第１実施形態］
参考例を元に、以下、本開示の第１実施形態の構成及び作用について説明する。なお、参考例の処理部と同一名称の処理部については同様の処理が可能なものとして説明を省略する。

図７は、本開示の各実施形態の物体検出装置２０のハードウェア構成を示すブロック図である。物体検出装置２０が、本開示の技術のデータ処理装置の一例である。

図７に示すように、物体検出装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、物体検出装置２０の各種処理を実行するための物体検出プログラムが格納されている。物体検出プログラムが、本開示の技術のデータ処理プログラムの一例である。

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。

通信インタフェース１７は、端末等の他の機器と通信するためのインタフェースである。当該通信には、例えば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。

次に、物体検出装置２０の各機能構成について説明する。図８は、本開示の各実施形態の物体検出装置２０の構成を示すブロック図である。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された物体検出プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。

図８に示すように、物体検出装置２０は、検出演算部２０１と、小数点位置制御部２０２と、カウンタ部２０３と、飽和率制御部２０４と、認識精度合成部２０５とを含んで構成されている。なお、検出演算部２０１は、多くの積和演算を実行することから、しばしばマルチコアＣＰＵ又はＧＰＵ（グラフィックス処理装置）を用いて実現される。なお、検出演算部２０１を、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって実現してもよい。

検出演算部２０１は、参考例の検出演算部１０１と同様の演算処理が可能な演算処理回路である。検出演算部２０１は、演算処理において処理時点の画像の飽和率に応じて増加する同値データを判定して、同値データの２回目以降の演算処理をスキップする。このように演算スキップを行うことにより、検出演算部２０１の処理は同値率を考慮することになる。また、演算処理において処理時点の画像内の物体の検出数、物体を囲む枠、属性、及び当該属性の認識精度を含むメタデータ（検出結果）を検出する。メタデータは、後述する飽和率制御部２０４を用いた下限飽和率を最適化する処理において用いる。

検出演算部２０１では、参考例に示した基本的な畳み込み演算に加えさらに、カーネルサイズ単位での演算スキップ及びスキップ中のクロックゲートを行う。図９に５×５の入力データと３×３のカーネルデータを１ストライドずつずらしていき１ｃｈ分の積和演算処理を行う例を示す。１スライドずらすとは、カーネルサイズを１単位スライドすることである。また、入力データは前層で得られた出力の特徴マップである。図９での入力値太枠で囲まれた領域が第１入力値、入力値点線太枠で囲まれた領域が第２入力値である。カーネルサイズ単位の演算スキップとは、３×３のカーネルの大きさに該当する第１入力値が全て同値かつ、１ストライドずらした次の演算対象となる第２入力値、も全て同値だった場合に、カーネルサイズ単位で可能となる演算のスキップである。図９では、１回目の演算結果を保存しておけば、２回目の演算は保存した値を用いることで演算がスキップできることを示している。まず、カーネルサイズ単位で同値の有無を判定し、全て同値の場合はその積和演算を行い、値を記憶する。次にカーネルをずらした時に、ずらした分の値が全て同値か否かを判定し、同値の場合は保持していた演算結果を用い、その間クロックを停止することで電力を低減させる。例えば図９に示す５×５の入力データと３×３のカーネルデータを１ストライドで１ｃｈ分の積和演算を行う場合、入力データのうち、４行目までが全て同値（Ｉ００）である。そのため、第１の演算結果となるｆ００（＝Ｉ００×（ｋ００＋ｋ０１＋ｋ０２＋ｋ１０＋ｋ１１＋ｋ１２＋ｋ２０＋ｋ２１＋ｋ２２））は積和演算結果の２行目まで全て同値となる。この例では２行目までの全６回の計算のうち、１回目を除く２～６回目の演算がスキップ可能となる。なお、層数、活性化関数、及びバイアス加算の方法は使用する物体検出アルゴリズムごとに異なり、本開示で規定するものではない。

小数点位置制御部２０２と、飽和率制御部２０４とは連携して制御が行われる。連携による下限飽和率の最適化の処理については作用の説明において詳しく説明するものとし、ここでは機能構成についてのみ記載する。

小数点位置制御部２０２は、上記参考例と同様の処理によって、小数点位置を決定して演算処理を行わせる第１制御を行う（後述する１ｓｔステップの処理である）。小数点位置制御部２０２は、第１制御として、上限カウンタ値が第１閾値の範囲内、下限カウンタ値が第２閾値の範囲内にそれぞれ収まるように、層ごとの小数点位置を移動させた小数点位置を決定する。そして、第１制御として、検出演算部２０１による処理時点の画像に対する演算処理を行わせる。

また、小数点位置制御部２０２は、第２制御を繰り返し行うことにより下限飽和率の最適化を行う（後述する２ｎｄステップの処理である）。小数点位置制御部２０２は、飽和率制御部２０４からの指示とメタデータとに基づいて、所定の判定を行い、層ごとの小数点位置を移動させた小数点位置を決定し、検出演算部２０１による処理時点の画像に対する演算処理を行わせる。

カウンタ部２０３は、機能構成としては参考例のカウンタ部１０３と同様である。カウンタ部２０３は、検出演算部２０１の層ごとの演算処理の過程において、小数点位置によって定まる値域の上限値を超えた回数である上限カウンタ値、及び値域の下限値を超えた回数である下限カウンタ値をカウントする。

飽和率制御部２０４は、小数点位置制御部２０２からの指示により動作する。ここでの指示は、第１制御の結果を受け付けることでもよい。飽和率制御部２０４は、第１制御の結果に対して、下限飽和率を増加させるような制御を行う。制御としては、少なくとも小数点位置を移動させる指示を小数点位置制御部２０２に対して行うが、制御の具体的な内容は作用で説明する。

認識精度合成部２０５は、小数点位置制御部２０２の判定に応じて、検出演算部２０１の演算処理で得られる第２制御における認識精度を、記憶されている精度の高い方の第１制御における認識精度に置き換え、検出結果として出力する。

作用について説明する前に、下限飽和率を最適化するための制御方法を説明する。図１０は、第１実施形態における下限飽和率を最適化するための制御方法の概要について示す図である。制御フローは大きく２ステップに分かれ、１ｓｔステップでは、まず、閾値を用いて層ごとに適切な小数点位置を決定する（標準小数点位置決定）。２ｎｄステップでは、１ｓｔステップで決定した小数点位置から下限飽和率が増加するように、下限の第２閾値をΔＵＮｔｈ分ずつ少しずつ大きくする（下限飽和率向上）。これにより下限飽和率を可能な限り大きくし、最大の飽和率が得られる小数点位置を定常状態として動作させる（同値率定常区間）。そして、検出結果に変化が生じた場合は１ｓｔステップに戻す。

次に、物体検出装置２０の作用について説明する。本実施形態の物体検出装置２０の作用は、参考例と同様に小数点位置制御部２０２の小数点位置制御フローによって説明される。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から物体検出プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、小数点位置制御フローの処理が行なわれる。作用における小数点位置制御フローが、本開示の技術のデータ処理方法の一例である。

［第１実施形態の小数点位置制御フロー］
図１１は、第１実施形態の小数点位置制御部２０２の小数点位置制御フロー（下限飽和値制御フロー）の流れを示す図である。なお、ステップＳ１００及びステップＳ１０２の処理が、本開示の技術の第１制御の一例であり、以降のステップの処理が第２制御の一例である。小数点位置制御フロー内において、第２制御の箇所が下限飽和値制御フローである。なお、以下、第１閾値及び第２閾値などの用語に付した符号については必要な場合にのみ表記するものとし、適宜省略する。

ステップＳ１００では、ＣＰＵ１１が、上限カウンタ値が第１閾値の範囲内、下限カウンタ値が第２閾値の範囲内にそれぞれ収まるように、層ごとに移動させた小数点位置を決定する。本ステップの処理は、小数点位置制御部２０２及びカウンタ部２０３の連携により実行する。なお本ステップの処理は、参考例におけるＳｔｅｐ Ａ～Ｓｔｅｐ Ｃまでの処理と同様の処理により実現することができる。参考例のＳｔｅｐ Ｃに相当する本実施形態の処理について以下に説明する。

上限カウンタ値及び下限カウンタ値は、各層の演算結果がデータビット幅と小数点位置で決定される値域の絶対値をはみ出した回数を計測したカウンタ値である。これらのカウンタ値が大きくなると上限値若しくは下限値、又は０に丸めこまれる数値が多くなり、認識精度が低下する。これらのカウンタ値を小さくするために小数点位置を移動させるが、データビット幅には限りがあるため、小数点位置を変更しても全層においてカウンタ値＝０にすることは困難である。そこで、層ごとに初期の第１閾値ＵＰｔｈ＿ｆｉｒｓｔ及び第２閾値ＵＮｔｈ＿ｆｉｒｓｔを設け、その閾値以内にカウンタ値が収まるように小数点位置を制御することによって、認識精度を劣化させずに物体検出が可能となる。

物体検出によって得られた上限カウンタ値及び下限カウンタ値と設定された第１閾値及び第２閾値をそれぞれ比較し、層ごとに下記（Ａ）～（Ｃ）のように小数点位置を変更することで、標準小数点位置を決定する。

（Ａ）上限カウンタ値＜第１閾値ＵＰｔｈ＿ｆｉｒｓｔかつ下限カウンタ値＜第２閾値ＵＮｔｈ＿ｆｉｒｓｔの場合には、小数点位置を変更せず、そのままとする。（Ｂ）上限カウンタ値≧第１閾値ＵＰｔｈ＿ｆｉｒｓｔである場合には、小数点位置をＬＳＢ側に１移動する。（Ｃ）上限カウンタ値＝０かつ下限カウンタ値≧ＵＮｔｈ＿ｆｉｒｓｔである場合には、小数点位置をＭＳＢ（最上位ビット）側に１移動する。この操作を、複数枚の画像で繰り返し、上限カウンタ値が第１閾値内に収まり、かつ、下限カウンタ値が第２閾値内に収まるように小数点位置を変更する。なお閾値内に収まらない層に対しては、上限カウンタ値が第１閾値内におさまるように制御する。

ステップＳ１０２では、ＣＰＵ１１が、ステップで決定された小数点位置により物体検出処理を行い、得られた検出結果として検出数Ｎｄ、属性Ｎｏｂｊ、物体の位置を示す枠、及び認識精度を確定し、保存する。

次に２ｎｄステップとして、物体検出数が変更しない範囲で下限飽和率を増加させる。

ステップＳ１０４では、ＣＰＵ１１が、小数点位置制御部２０２として飽和率制御部２０４に指示を出し、所定の層の第２閾値ＵＮｔｈをΔＵＮｔｈ分増加させる（ＵＮｔｈ＝ＵＮｔｈ＋ΔＵＮｔｈ）。ここで所定の層は全層とするが、あらかじめ取り決めておいた指定した層であってもよい。
ステップＳ１０６では、ＣＰＵ１１が、第２閾値ＵＮｔｈを大きくした上で、カウンタ値が閾値内に収まるように小数点位置を変更し、物体検出を行う。ここでは、２枚の入力画像を用いて２回物体検出を行い、それぞれの画像に対する物体検出において次のように小数点位置を変更する。（１）：全層の小数点位置をＬＳＢ側に１移動し、物体検出を行う。ＬＳＢ側への移動は下限飽和率を増やす方向である。（２）：（１）において検出した結果得られた下限カウンタ値が第２閾値ＵＮｔｈよりも大きくなった層はＭＳＢ側に１移動して元に戻し、物体検出を行う。なお、検出結果として得られた、検出数Ｎｄ、属性Ｎｏｂｊ、物体の位置を示す枠、及び認識精度を保存する。本ステップの処理は、小数点位置制御部２０２及び検出演算部２０１の連携により実行する。

ステップＳ１０８では、ＣＰＵ１１が、ステップＳ１０６の上記（２）での検出結果のうち、検出数と属性とをステップＳ１０２で記憶したものと比較し、変化があるか否かを判定する。変化がない場合にはステップＳ１１０へ移行し、変化がある場合にはステップＳ１２０へ移行する。

ステップＳ１１０では、ＣＰＵ１１が、ステップＳ１０２得られた物体の位置を示す枠と、ステップＳ１０６で得られた物体の位置を示す枠との面積の重複度が位置閾値以上であるか否かを判定する。なお、重複度は２回の物体検出の各検出で得られる物体の位置を示す枠を重ねた時に重なる面積を示す。重複度が位置閾値以上の場合、画像変化がなく、誤検出が発生しない範囲で第２閾値を増加できたと判定し、ステップＳ１１２へ移行する。重複度が位置閾値以上でない場合、画像変化があったとして、ステップＳＳ１２０へ移行する。

ステップＳ１１２では、ＣＰＵ１１が、各物体の認識精度を第１制御（ステップＳ１０２）の認識精度に置き換えて検出結果として出力する。この処理は、小数点位置制御部２０２は認識精度合成部２０５に対して精度を置き換えるように指示を出すことにより実行する。本ステップの終了後はステップＳ１０４に戻り、これを検出数と属性とが変化するまで繰り返す。これにより、図１０に示した下限飽和率向上の処理が行われる。

ステップＳ１２０では、ＣＰＵ１１が、各物体の認識精度を第１制御（ステップＳ１０２）の認識精度に置き換え、新物体に対しては得られた認識精度を検出結果として出力する。このようにして、検出され続けている物体に対しての認識精度を維持する。

ステップＳ１２２では、ＣＰＵ１１が、小数点位置制御部２０２として飽和率制御部２０４に指示を出し、所定の層の第２閾値ＵＮｔｈをΔＵＮｔｈ分減少させる（ＵＮｔｈ＝ＵＮｔｈ－ΔＵＮｔｈ）。

ステップＳ１２４では、ＣＰＵ１１が、第２閾値ＵＮｔｈを小さくした上で、カウンタ値が閾値内に収まるように小数点位置を変更し、物体検出を行う。検出結果として得られた、検出数Ｎｄ、属性Ｎｏｂｊ、物体の位置を示す枠、及び認識精度を保存する。本ステップの処理は、小数点位置制御部２０２及び検出演算部２０１の連携により実行する。

ステップＳ１２６では、ＣＰＵ１１が、ステップＳ１２４の検出数と属性とをステップＳ１０２で記憶したものと比較し、検出数と属性とが同じであるか否かを判定する。同じである場合にはステップＳ１２８へ移行し、同じでない場合にはステップＳ１００の処理に戻る。この判定により、同じである場合には、前のステップＳ１０８による判定結果は誤検出の発生による変化であり、ひとつ前の段階の第２閾値であれば認識精度は維持されると判断できる。

ステップＳ１２８では、ＣＰＵ１１が、ステップＳ１２２で減少させた第２閾値を定常閾値として用いるように決定する。これにより定常閾値によって物体検出が行われるようになり、結果として物体検出における下限飽和率が向上すると共に、同値率が向上する。

ステップＳ１３０では、ＣＰＵ１１が、画像変化チェックを行う。画像変化チェックは例えば、参考例と同様に検出数及び属性で判定すればよい。また、これに限ることはなく、例えばタイムアウトを用いて、一定時間の経過により画像変化しているものと扱っても良い。

ステップＳ１３２では、ＣＰＵ１１が、画像変化チェックにおいて、画像変化が大きい場合はステップＳ１００の処理に戻り、画像変化が大きくない場合はステップＳ１３０及び本ステップを繰り返す。以上により、認識精度を劣化させずに下限飽和率を高めることが可能となる。

上記の作用に示したように、飽和率制御部２０４は、所定の層の第２閾値ＵＮｔｈをΔＵＮｔｈ分増加させるように指示する（ステップＳ１０４）。また、小数点位置制御部２０２は、指示により増加させた第２閾値ＵＮｔｈに基づき検出演算部２０１に演算処理を行わせ（ステップＳ１０４）、演算結果におけるメタデータの第１制御に対する変化を判定する第１判定を行う（ステップＳ１０６～ステップＳ１１０）。変化していないと判定した場合に、第２閾値の増加を繰り返す（ステップＳ１０４～ステップＳ１１２）。また、飽和率制御部２０４は、第１判定において変化していると判定した場合に、所定の層の第２閾値を減少させるように指示する（ステップＳ１２０、及びステップＳ１２２）。また、小数点位置制御部２０２は、指示により減少させた第２閾値ＵＮｔｈに基づき検出演算部２０１に演算処理を行わせ、演算結果におけるメタデータの第１制御に対する変化を判定する第２判定を行う（ステップＳ１２４）。第２判定において変化していないと判定した場合に第２閾値を定常閾値とし、変化していると判定した場合に第１制御に戻る（ステップＳ１２６）。

以上説明したように本実施形態の物体検出装置２０によれば、出力の同値率を高めることによって可能となる演算のスキップにより、消費電力を低減できる。

［本開示の第２実施形態］
第２実施形態は、第２閾値を変化させずに小数点位置の移動によって下限飽和率を向上させる態様である。第１実施形態では、最適な小数点位置決定後、第２閾値を増加していくことで飽和に達する画素データを増やす手法であった。この場合、第２閾値を増加してから小数点位置を決定するので入力画像を少なくとも２枚使用する必要があった。第２実施形態の第１実施形態との差分は２ｎｄステップにおいて同値率を向上させる手法として閾値を増加させるのではなく、直接小数点位置を変更することである。第２実施形態においては、１枚の入力画像で同値率を向上させる手法について示す。なお、第２実施形態の構成は第１実施形態と同様であるため説明を省略し、作用における処理の差分に関してのみ説明する。

図１２に第２実施形態における小数点位置制御フロー（下限飽和値制御フロー）を示す。第１実施形態と異なる点としてはステップＳ１０４及びステップＳ１２４がない点である。

第２実施形態ではステップＳ１０２の後に、ステップＳ２００に移行する。ステップＳ２００では、ＣＰＵ１１が、所定の層の小数点位置をＬＳＢ側に１移動して物体検出を行い、検出結果を保存する。ステップＳ２００の後はステップＳ１０８へ移行する。また、ステップＳ１２０の後に、ステップＳ２０２に移行する。ステップＳ２０２では、ＣＰＵ１１が、所定の層の小数点位置をＭＳＢ側に１移動して物体検出を行い、検出結果を保存する。ステップＳ２０２の後はステップＳ１２６へ移行する。以上により、より短時間で飽和率を高めることが可能となり、長時間で観察した際の平均電力を低下することが可能となる。

上記の作用に示したように、飽和率制御部２０４は、指示において所定の層の小数点位置を最下位ビット側にａビット（ａ＞０）移動するように指示する（ステップＳ２００）。また、小数点位置制御部２０２は、指示に基づき下位ビット側に移動させた移動後の小数点位置を用いて、検出演算部２０１に演算処理を行わせる（ステップＳ２００）。また、演算結果におけるメタデータの前記第１制御に対する変化を判定する第１判定を行う（ステップＳ１０６～ステップＳ１１０）。飽和率制御部２０４は、第１判定において変化していると判定した場合に、所定の層の小数点位置を最上位ビット側にａビット（ａ＞０）移動させるように指示する（ステップＳ２０２）。また、小数点位置制御部２０２は、に基づき最上位ビット側に移動させた移動後の小数点位置を用いて、検出演算部２０１に演算処理を行わせ、演算結果におけるメタデータの第１制御に対する変化を判定する第２判定を行う（ステップＳ１２４）。第２判定において変化していないと判定した場合に第２閾値を定常閾値とし、変化していると判定した場合に第１制御に戻る（ステップＳ１２６）。

以上説明したように本実施形態の物体検出装置２０によれば、同値率向上の過程を効率化できる。

［本開示の第３実施形態］
第３実施形態は、同値率向上の過程においても、一定期間ごとに最適な小数点位置での物体検出を行い、結果を上書きしていく態様である。第１実施形態及び第２実施形態においては、同値率を高めている間に置き換える認識精度（ステップＳ１１２）は第１制御で決定された小数点位置で検出を行った際の認識精度であった。しかし、この場合、同値率を高めている過程で、処理時点の画像において実際の検出対象の物体が増加していたとしても、同値率を高めたことが理由で検出されない物体が存在している恐れがある。そのため、本実施形態では同値率を高める過程においても、一定期間ごとに最適な小数点位置での物体検出を行い、結果を上書きしていく。

図１３に第３実施形態における小数点位置制御フロー（下限飽和値制御フロー）を示す。第２実施形態と異なる点としてはステップＳ１１２の後にステップＳ３００に移行する点である。

ステップＳ３００では、一定期間が経過したか否かを判定する。一定期間が経過している場合にはステップＳ３０２へ移行し、一定期間が経過していない場合にはステップＳ１０４に戻る。

ステップＳ３０２では、ＣＰＵ１１が、ステップＳ１０２で用いた小数点位置、すなわち第１制御において決定した小数点位置に変更して物体検出を行い、検出結果を上書き保存する。これにより、ステップＳ１０２の検出結果を更新する。

ステップＳ３０４では、ＣＰＵ１１が、ステップＳ２００で移動させた際の小数点位置に、小数点位置を戻し、ステップＳ２００に戻る。

上記の作用により、小数点位置制御部２０２は、所定の判定を行った後に、所定の条件を満たすか否かを判定する（ステップＳ３００）。小数点位置制御部２０２は、第１制御において決定された小数点位置を用いて、検出演算部２０１に、演算処理の時点における処理対象データについて、メタデータを再び求めさせる。認識精度合成部２０５は、第１制御において求められていたメタデータを、再び求めたメタデータで上書きする（ステップＳ３０２）。

以上説明したように本実施形態の物体検出装置２０によれば、同値率向上の過程においても、精度を落とすことなく、物体検出を行える。

なお、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各種処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記各実施形態では、物体検出プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

以上の実施形態に関し、更に以下の付記を開示する。

（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
多層ニューラルネットワークを構成する複数の層のそれぞれに対応して、Ｎビット（Ｎは２以上の自然数）の固定長データの小数点位置を設定するように構成されており、前記固定長データの小数点位置を設定し、
前記小数点位置が設定された前記Ｎビットの固定長データに対して、前記多層ニューラルネットワークの処理アルゴリズムに従って、連続して入力される処理対象データの各々に対し、前記多層ニューラルネットワークを構成する前記複数の層のそれぞれに対応する演算処理を行うように構成されており、演算処理において処理時点の前記処理対象データの飽和率に応じて増加する同値データを判定して、前記同値データの２回目以降の演算処理をスキップすると共に、演算処理において処理時点の前記処理対象データ内の物体の検出数、物体を囲む枠、属性、及び当該属性の認識精度を含むメタデータを検出し、
前記層ごとの演算処理の過程において、前記小数点位置によって定まる値域の上限値を超えた回数である上限カウンタ値、及び前記値域の下限値を下回った回数である下限カウンタ値をカウントし、
第１制御として、前記上限カウンタ値が第１閾値の範囲内、前記下限カウンタ値が第２閾値の範囲内にそれぞれ収まるように、層ごとに移動させた小数点位置を決定して、処理時点の前記処理対象データに対する演算処理を行わせ、
繰り返される第２制御として、前記第１制御の結果に対して、カウントされる前記下限カウンタ値の大きさに比例する下限飽和率を増加させるような制御として、少なくとも前記小数点位置を移動させる指示を行い、
前記第２制御として、前記指示と前記メタデータとに基づいて、所定の判定を行い、層ごとに移動させた前記小数点位置を決定し、処理時点の前記処理対象データに対する演算処理を行わせ、
前記第２制御として、演算処理で得られる前記認識精度を、記憶されている精度の高い方の認識精度に置き換える、
ように構成されているデータ処理装置。

（付記項２）
データ処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
多層ニューラルネットワークを構成する複数の層のそれぞれに対応して、Ｎビット（Ｎは２以上の自然数）の固定長データの小数点位置を設定するように構成されており、前記固定長データの小数点位置を設定し、
前記小数点位置が設定された前記Ｎビットの固定長データに対して、前記多層ニューラルネットワークの処理アルゴリズムに従って、連続して入力される処理対象データの各々に対し、前記多層ニューラルネットワークを構成する前記複数の層のそれぞれに対応する演算処理を行うように構成されており、演算処理において処理時点の前記処理対象データの飽和率に応じて増加する同値データを判定して、前記同値データの２回目以降の演算処理をスキップすると共に、演算処理において処理時点の前記処理対象データ内の物体の検出数、物体を囲む枠、属性、及び当該属性の認識精度を含むメタデータを検出し、
前記層ごとの演算処理の過程において、前記小数点位置によって定まる値域の上限値を超えた回数である上限カウンタ値、及び前記値域の下限値を下回った回数である下限カウンタ値をカウントし、
第１制御として、前記上限カウンタ値が第１閾値の範囲内、前記下限カウンタ値が第２閾値の範囲内にそれぞれ収まるように、層ごとに移動させた小数点位置を決定して、処理時点の前記処理対象データに対する演算処理を行わせ、
繰り返される第２制御として、前記第１制御の結果に対して、カウントされる前記下限カウンタ値の大きさに比例する下限飽和率を増加させるような制御として、少なくとも前記小数点位置を移動させる指示を行い、
前記第２制御として、前記指示と前記メタデータとに基づいて、所定の判定を行い、層ごとに移動させた前記小数点位置を決定し、処理時点の前記処理対象データに対する演算処理を行わせ、
前記第２制御として、演算処理で得られる前記認識精度を、記憶されている精度の高い方の認識精度に置き換える、
非一時的記憶媒体。

２０ 物体検出装置
２０１ 検出演算部
２０２ 小数点位置制御部
２０３ カウンタ部
２０４ 飽和率制御部
２０５ 認識精度合成部

Claims (7)

1. 多層ニューラルネットワークを構成する複数の層のそれぞれに対応して、Ｎビット（Ｎは２以上の自然数）の固定長データの小数点位置を設定するように構成されており、前記固定長データの小数点位置を設定する小数点位置制御部と、
   前記小数点位置制御部によって前記小数点位置が設定された前記Ｎビットの固定長データに対して、前記多層ニューラルネットワークの処理アルゴリズムに従って、連続して入力される処理対象データの各々に対し、前記多層ニューラルネットワークを構成する前記複数の層のそれぞれに対応する演算処理を行うように構成されており、演算処理において処理時点の前記処理対象データの飽和率に応じて増加する同値データを判定して、前記同値データの２回目以降の演算処理をスキップすると共に、演算処理において処理時点の前記処理対象データ内の物体の検出数、物体を囲む枠、属性、及び当該属性の認識精度を含むメタデータを検出する検出演算部と、
   前記検出演算部の前記層ごとの演算処理の過程において、前記小数点位置によって定まる値域の上限値を超えた回数である上限カウンタ値、及び前記値域の下限値を下回った回数である下限カウンタ値をカウントするカウンタ部と、
   飽和率制御部と、認識精度合成部とを含み、
   前記小数点位置制御部は、第１制御として、前記上限カウンタ値が第１閾値の範囲内、前記下限カウンタ値が第２閾値の範囲内にそれぞれ収まるように、層ごとに移動させた小数点位置を決定して、前記検出演算部による処理時点の前記処理対象データに対する演算処理を行わせ、
   前記飽和率制御部は、前記小数点位置制御部によって繰り返される第２制御として、所定の層の前記第２閾値を増加させるように指示し、
   前記小数点位置制御部は、前記第２制御として、増加させた前記第２閾値に基づき前記検出演算部に演算処理を行わせ、演算結果における前記メタデータの前記第１制御に対する変化を判定する第１判定を行い、前記第１判定において変化していないと判定した場合に、前記第２閾値を増加させることを繰り返し、
   前記認識精度合成部は、前記第２制御として、前記検出演算部の演算処理で得られる前記認識精度を、記憶されている精度の高い方の認識精度に置き換え、
   前記飽和率制御部は、前記第１判定において変化していると判定した場合に、所定の層の前記第２閾値を減少させるように指示し、
   前記小数点位置制御部は、減少させた前記第２閾値に基づき前記検出演算部に演算処理を行わせ、演算結果における前記メタデータの前記第１制御に対する変化を判定する第２判定を行い、前記第２判定において変化していないと判定した場合に当該第２閾値を定常閾値とし、変化していると判定した場合に前記第１制御に戻る、
   データ処理装置。
2. 多層ニューラルネットワークを構成する複数の層のそれぞれに対応して、Ｎビット（Ｎは２以上の自然数）の固定長データの小数点位置を設定するように構成されており、前記固定長データの小数点位置を設定する小数点位置制御部と、
   前記小数点位置制御部によって前記小数点位置が設定された前記Ｎビットの固定長データに対して、前記多層ニューラルネットワークの処理アルゴリズムに従って、連続して入力される処理対象データの各々に対し、前記多層ニューラルネットワークを構成する前記複数の層のそれぞれに対応する演算処理を行うように構成されており、演算処理において処理時点の前記処理対象データの飽和率に応じて増加する同値データを判定して、前記同値データの２回目以降の演算処理をスキップすると共に、演算処理において処理時点の前記処理対象データ内の物体の検出数、物体を囲む枠、属性、及び当該属性の認識精度を含むメタデータを検出する検出演算部と、
   前記検出演算部の前記層ごとの演算処理の過程において、前記小数点位置によって定まる値域の上限値を超えた回数である上限カウンタ値、及び前記値域の下限値を下回った回数である下限カウンタ値をカウントするカウンタ部と、
   飽和率制御部と、認識精度合成部とを含み、
   前記小数点位置制御部は、第１制御として、前記上限カウンタ値が第１閾値の範囲内、前記下限カウンタ値が第２閾値の範囲内にそれぞれ収まるように、層ごとに移動させた小数点位置を決定して、前記検出演算部による処理時点の前記処理対象データに対する演算処理を行わせ、
   前記飽和率制御部は、前記小数点位置制御部によって繰り返される第２制御として、所定の層の前記小数点位置を最下位ビット側にａビット（ａ＞０）移動させるように指示し、
   前記小数点位置制御部は、前記第２制御として、最下位ビット側に移動させた移動後の前記小数点位置を用いて、前記検出演算部に演算処理を行わせ、演算結果における前記メタデータの前記第１制御に対する変化を判定する第１判定を行い、前記第１判定において変化していないと判定した場合に、前記最下位ビット側への移動を繰り返し、
   前記認識精度合成部は、前記第２制御として、前記検出演算部の演算処理で得られる前記認識精度を、記憶されている精度の高い方の認識精度に置き換え、
   前記飽和率制御部は、前記第１判定において変化していると判定した場合に、所定の層の前記小数点位置を最上位ビット側にａビット（ａ＞０）移動させように指示し、
   前記小数点位置制御部は、最上位ビット側に移動させた移動後の前記小数点位置を用いて、前記検出演算部に演算処理を行わせ、演算結果における前記メタデータの前記第１制御に対する変化を判定する第２判定を行い、前記第２判定において変化していないと判定した場合に当該第２閾値を定常閾値とし、変化していると判定した場合に前記第１制御に戻る、
   データ処理装置。
3. 前記小数点位置制御部は、前記第１判定を行った後に、所定の条件を満たす場合に、前記第１制御において決定された前記小数点位置を用いて、前記検出演算部に、演算処理の時点における前記処理対象データについて、前記メタデータを再び求めさせ、
   前記認識精度合成部は、前記第１制御において求められていた前記メタデータを、再び求めた前記メタデータで上書きする請求項１又は請求項２に記載のデータ処理装置。
4. 前記検出演算部は、前記演算処理のスキップを実行中は回路のクロックを停止する請求項１～請求項３の何れか１項に記載のデータ処理装置。
5. 多層ニューラルネットワークを構成する複数の層のそれぞれに対応して、Ｎビット（Ｎは２以上の自然数）の固定長データの小数点位置を設定するように構成されており、前記固定長データの小数点位置を設定し、
   前記小数点位置が設定された前記Ｎビットの固定長データに対して、前記多層ニューラルネットワークの処理アルゴリズムに従って、連続して入力される処理対象データの各々に対し、前記多層ニューラルネットワークを構成する前記複数の層のそれぞれに対応する演算処理を行うように構成されており、演算処理において処理時点の前記処理対象データの飽和率に応じて増加する同値データを判定して、前記同値データの２回目以降の演算処理をスキップすると共に、演算処理において処理時点の前記処理対象データ内の物体の検出数、物体を囲む枠、属性、及び当該属性の認識精度を含むメタデータを検出し、
   前記層ごとの演算処理の過程において、前記小数点位置によって定まる値域の上限値を超えた回数である上限カウンタ値、及び前記値域の下限値を下回った回数である下限カウンタ値をカウントし、
   第１制御として、前記上限カウンタ値が第１閾値の範囲内、前記下限カウンタ値が第２閾値の範囲内にそれぞれ収まるように、層ごとに移動させた小数点位置を決定して、処理時点の前記処理対象データに対する演算処理を行わせ、
   繰り返される第２制御として、所定の層の前記第２閾値を増加させるように指示し、
   前記第２制御として、増加させた前記第２閾値に基づき演算処理を行わせ、演算結果における前記メタデータの前記第１制御に対する変化を判定する第１判定を行い、前記第１判定において変化していないと判定した場合に、前記第２閾値を増加させることを繰り返し、
   前記第２制御として、演算処理で得られる前記認識精度を、記憶されている精度の高い方の認識精度に置き換え、
   前記第１判定において変化していると判定した場合に、所定の層の前記第２閾値を減少させるように指示し、
   減少させた前記第２閾値に基づき演算処理を行わせ、演算結果における前記メタデータの前記第１制御に対する変化を判定する第２判定を行い、前記第２判定において変化していないと判定した場合に当該第２閾値を定常閾値とし、変化していると判定した場合に前記第１制御に戻る、
   処理をコンピュータに実行させるデータ処理方法。
6. 多層ニューラルネットワークを構成する複数の層のそれぞれに対応して、Ｎビット（Ｎは２以上の自然数）の固定長データの小数点位置を設定するように構成されており、前記固定長データの小数点位置を設定し、
   前記小数点位置が設定された前記Ｎビットの固定長データに対して、前記多層ニューラルネットワークの処理アルゴリズムに従って、連続して入力される処理対象データの各々に対し、前記多層ニューラルネットワークを構成する前記複数の層のそれぞれに対応する演算処理を行うように構成されており、演算処理において処理時点の前記処理対象データの飽和率に応じて増加する同値データを判定して、前記同値データの２回目以降の演算処理をスキップすると共に、演算処理において処理時点の前記処理対象データ内の物体の検出数、物体を囲む枠、属性、及び当該属性の認識精度を含むメタデータを検出し、
   前記層ごとの演算処理の過程において、前記小数点位置によって定まる値域の上限値を超えた回数である上限カウンタ値、及び前記値域の下限値を下回った回数である下限カウンタ値をカウントし、
   第１制御として、前記上限カウンタ値が第１閾値の範囲内、前記下限カウンタ値が第２閾値の範囲内にそれぞれ収まるように、層ごとに移動させた小数点位置を決定して、処理時点の前記処理対象データに対する演算処理を行わせ、
   繰り返される第２制御として、所定の層の前記小数点位置を最下位ビット側にａビット（ａ＞０）移動させるように指示し、
   前記第２制御として、最下位ビット側に移動させた移動後の前記小数点位置を用いて、演算処理を行わせ、演算結果における前記メタデータの前記第１制御に対する変化を判定する第１判定を行い、前記第１判定において変化していないと判定した場合に、前記最下位ビット側への移動を繰り返し、
   前記第２制御として、演算処理で得られる前記認識精度を、記憶されている精度の高い方の認識精度に置き換え、
   前記第１判定において変化していると判定した場合に、所定の層の前記小数点位置を最上位ビット側にａビット（ａ＞０）移動させように指示し、
   最上位ビット側に移動させた移動後の前記小数点位置を用いて、演算処理を行わせ、演算結果における前記メタデータの前記第１制御に対する変化を判定する第２判定を行い、前記第２判定において変化していないと判定した場合に当該第２閾値を定常閾値とし、変化していると判定した場合に前記第１制御に戻る、
   処理をコンピュータに実行させるデータ処理方法。
7. コンピュータを、請求項１～請求項４の何れか１項に記載のデータ処理装置の各部として機能させるためのデータ処理プログラム。