JP7670142B2 - 順伝播装置、学習装置、処理方法、及びプログラム - Google Patents

Description

本開示は、順伝播装置、学習装置、情報処理システム、処理方法、及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。

深層ニューラルネットワーク（DNN：Deep Neural Network）による動画像認識や自然言語処理に関する技術開発が活発に行われている。特に、画像認識分野では、DNNの一種である畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）が高い認識精度を達成している。上述した画像認識分野としては、例えば、物体の種類と座標位置を推定する物体認識、画像のピクセル単位で物体の種類を推定する意味的領域分割、人間の関節点の座標を推定する人物姿勢推定などが挙げられる。

大量の学習データを用いて大規模なサーバで訓練することで、CNNは高い認識を達成することができる。一方でCNNの推論では、エッジデバイスやモバイル端末など電力の限られた環境下でリアルタイムに処理を実行する必要がある。CNNは主に畳み込み層から構成されている。畳み込み層では、多くの積和演算を繰り返す必要がある。

膨大な積和演算が必要なCNNを高速に処理するために、様々な研究が行われてきた。例えば、非特許文献１は、二つのCNNを用いることによる、三次元物体検出の高速化を提案した。この文献は、一つ目のCNNである意味的領域分割CNNで物体周辺の画像領域を示すマスクを推論し、二つ目のCNNである物体検出CNNで物体周辺の画像領域のみ畳み込み演算を行う手法を提案した。この手法は、全てのピクセルで同じ回数だけ積和演算を行う通常の物体検出器と比較して、１％前後の認識精度の劣化をともなうものの２．７倍の高速化を実現した。また、非特許文献２は、２層から３層ごとに物体周辺の画像領域を推論するマスクユニットを提案した。この技術では、姿勢推定の評価において、この技術を用いない場合と比較して、認識精度の劣化なしに１．６倍の高速化を実現した。また、特許文献１乃至３は、入力特徴マップのピクセル値が０の場合の積和演算を省略することで積和演算数を削減した畳み込みのハードウェア回路について提案を行った。

Mengye Ren et al., "SBNet: Sparse Blocks Network for Fast Inference", Computer Vision and Pattern Recognition Conference (CVPR) 2018. Thomas Verelst et al., "Dynamic Convolutions: Exploiting Spatial Sparsity for Faster Inference", CVPR 2020.

米国特許出願公開第２０１９／０２０５７４０号明細書 米国特許出願公開第２０２０／００８２２５４号明細書 米国特許出願公開第２０２０／００１２６０８号明細書

このように、ニューラルネットワークを高速に処理する技術の提案が求められている。そこで、本明細書に開示される実施形態が達成しようとする目的の１つは、畳み込み層における積和演算の一部を省略した高速な処理を実現することが可能な新規な技術を提供することである。

本開示の第１の態様にかかる順伝播装置は、
ニューラルネットワークの順伝播装置であって、
二値マスクを生成するマスク生成手段と、
前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う層実行手段と、
を有し、
前記マスク生成手段は、
入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数のヒートマップを生成し、
ヒートマップの値を座標毎に合計することにより、検知対象の種類の数のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成する。

本開示の第２の態様にかかる学習装置は、
ニューラルネットワークの順伝播装置のための学習装置であって、
前記順伝播装置で生成される、前記ニューラルネットワークの検知対象の種類の数の第１のヒートマップを取得する第１のヒートマップ取得手段と、
前記検知対象の正解ラベルに基づいて生成された前記検知対象の種類の数の第２のヒートマップを取得する第２のヒートマップ取得手段と、
前記第１のヒートマップと前記第２のヒートマップの差分を計算する損失計算手段と、
計算された前記差分に基づいて、前記順伝播装置で前記第１のヒートマップを生成するための畳み込み層の重みの値を更新する更新手段と
を有し、
前記順伝播装置は、二値マスクを生成して、生成した前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う装置であり、
前記順伝播装置は、前記二値マスクの生成の処理において、
入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数の前記第１のヒートマップを生成し、
前記検知対象の種類の数の前記第１のヒートマップの値を座標毎に合計することにより、前記検知対象の種類の数の前記第１のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成する。

本開示の第３の態様にかかる情報処理システムは、
ニューラルネットワークの順伝播装置と、
前記順伝播装置のための学習装置と
を備え、
前記順伝播装置は、
二値マスクを生成するマスク生成手段と、
前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う層実行手段と、
を有し、
前記マスク生成手段は、
入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数の第１のヒートマップを生成し、
検知対象の種類の数の前記第１のヒートマップの値を座標毎に合計することにより、検知対象の種類の数の前記第１のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成し、
前記学習装置は、
前記順伝播装置で生成される、前記ニューラルネットワークの検知対象の種類の数の前記第１のヒートマップを取得する第１のヒートマップ取得手段と、
前記検知対象の正解ラベルに基づいて生成された前記検知対象の種類の数の第２のヒートマップを取得する第２のヒートマップ取得手段と、
前記第１のヒートマップと前記第２のヒートマップの差分を計算する損失計算手段と、
計算された前記差分に基づいて、前記順伝播装置で前記第１のヒートマップを生成するための前記畳み込み層の重みの値を更新する更新手段と
を有する。

本開示の第４の態様にかかる処理方法は、
ニューラルネットワークの順伝播装置の処理方法であって、
二値マスクを生成し、
前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行い、
前記二値マスクの生成の処理において、
入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数のヒートマップを生成し、
ヒートマップの値を座標毎に合計することにより、検知対象の種類の数のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成する。

本開示の第５の態様にかかるプログラムは、
ニューラルネットワークの順伝播装置のコンピュータに、
二値マスクを生成するマスク生成ステップと、
前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う層実行ステップと、
を実行させ、
前記マスク生成ステップにおいて、
入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数のヒートマップを生成し、
ヒートマップの値を座標毎に合計することにより、検知対象の種類の数のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成する。

本開示によれば、畳み込み層における積和演算の一部を省略した高速な処理を実現することが可能な新規な技術を提供できる。

実施の形態１にかかる順伝播装置の構成の一例を示すブロック図である。 層実行部による、一層のスパース畳み込み層の計算を示す模式図である。 層実行部による、複数層のスパース畳み込み層の計算を示す模式図である。 二値マスク生成部及び層実行部の構成例を示すブロック図である。 二値マスク生成部及び層実行部の構成例を示すブロック図である。 マスクユニットの具体的な構成例を示すブロック図である。 実施の形態１にかかる学習装置の構成の一例を示すブロック図である。 損失の計算を説明するための模式図である。 ヒートマップ生成部による正解ヒートマップの生成例について示す模式図である。 実施の形態１にかかる学習装置の動作例を示すフローチャートである。 実施の形態１にかかる順伝播装置及び学習装置のハードウェア構成の一例を示すブロック図である。 実施の形態２にかかる情報処理システムの構成の一例を示すブロック図である。

実施の形態について説明する前に、まず、畳み込み層における演算について説明する。上述した通り、CNNは主に畳み込み層から構成されている。ここで、X(x,y,z)を(x,y,z)座標における入力特徴マップXのピクセル値、F(x,y,z,w)を重みFの値、B(z)をバイアスBの値、f_actを活性化関数、Z(x,y,z)を出力特徴マップZのピクセル値とする。また、入力特徴マップX(x,y,z)および出力特徴マップZ(x,y,z)の(x,y,z)座標はxが幅方向の位置、yが高さ方向の位置、zがチャネル方向の位置を示している。このとき、幅方向のサイズ及び高さ方向のサイズがいずれもKであるカーネルの畳込み層、すなわちカーネルサイズK×Kの畳み込み層は以下の式で定義される。

＜式（１）＞

ここで、K'、X、Z、F、Bは以下を満たす。

なお、Wは特徴マップの幅であり、Hは特徴マップの高さである。また、C_inは入力特徴マップ数、C_outは出力特徴マップ数である。畳み込み層では、入力特徴マップと重みとの積和演算(MAC: Multiply ACcumulation)の結果にバイアスが加算され、さらに活性化関数が適用される。活性化関数f_actは一般的にReLU（Rectified Linear Unit）関数などが用いられる。

通常の畳み込み層では、乗算とΣによる加算を別々に数えると、一つの出力特徴マップのピクセル値Z(x,y,z)に対して2KKC_in回の積和演算が必要である。畳み込み層では、各座標位置

で同じ回数の積和演算（具体的には2KKC_in回の積和演算）を繰り返すため、全体で2KKC_inHWC_out回の積和演算が必要である。

CNNでは、畳み込み層に含まれる膨大な数の積和演算が実行時間を大きくする原因となっている。本実施の形態では、これらの積和演算の一部を省略することにより、畳み込み層の計算の高速化を行う。具体的には、CNNを高速に処理するために、特徴マップの背景部分に対応する積和演算を省略する。

＜実施の形態１＞
まず、実施の形態にかかる順伝播装置１００について説明する。順伝播装置１００は、ニューラルネットワークの順伝播装置であって、当該ニューラルネットワークを用いて、例えば、物体認識、意味的領域分割、人物姿勢推定といった画像認識などを行うための装置である。

順伝播装置１００は、図１に示すように二値マスク生成部１０１と層実行部１０２とを有する。順伝播装置１００はスパースCNN重み９０を用いて二値マスク生成部１０１及び層実行部１０２のパラメタを設定した後、入力画像９１を用いてスパースCNNの順伝播計算を行い、出力結果９２を出力する。ここで、推論フェーズにおいては、スパースCNN重み９０（すなわち、後述するマスクユニット１１０及び層実行部１０２の各層の重み）として、後述する学習装置２００によって学習された重みが用いられる。

二値マスク生成部１０１は、マスクユニット１１０（図４、図５、図６参照）と呼ばれるネットワークを実行し、二値マスクを生成する。層実行部１０２は、スパース畳み込み層を含むニューラルネットワークの各層の計算を実行する。層実行部１０２がスパース畳み込み層を実行する場合には、二値マスクを用いて、画像における前景部分についてのみ積和演算を行う。

ここで、図２及び図３を用いて層実行部１０２でスパース畳み込み層を計算する方法について説明する。図２では、二値マスク生成部１０１で作られる二値マスクを用いて、層実行部１０２がスパース畳み込み層(SpConv: Sparse Convolutional Layer)を一層だけ実行する例が示されている。二値マスクは、各座標がそれぞれ０または１のいずれかの値を取る二次元画像であり、本実施の形態では１（非ゼロ値)が計算を実施するピクセル、０（ゼロ値）が計算を省略するピクセルとする。二値マスクMのサイズは、出力特徴マップZのサイズと同じである。なお、ここでは、畳み込みのストライドの大きさが１としているため（入力特徴マップXと出力特徴マップZのサイズが等しいため）、二値マスクMのサイズは、入力特徴マップXのサイズとも同じである。

層実行部１０２で行われる二値マスクを使用したスパース畳み込みの一層は以下の式で定義できる。

＜式（２）＞

ただし、Yは計算過程の一時的な計算値であり、Mは二値マスクである。また、式（２）における他のシンボルは、式（１）と同様である。スパース畳み込み層では、M(x,y)が非ゼロ値の座標(x,y)の出力特徴マップZ(x,y,z)の計算では、通常の畳み込みと同様に、2KKC_in回の積和演算が行われる。一方で、M(x,y)がゼロ値の座標の出力特徴マップに対しては、積和演算が行われず、出力特徴マップの値は０となる。このように、層実行部１０２は、二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う。つまり、層実行部１０２は、二値マスクにおいて所定値（ゼロ値）以外の値を有する座標について積和演算を行ない、二値マスクにおいて所定値（ゼロ値）を有する座標について積和演算を省略することでスパース畳み込み層の演算を行う。

なお、実数値（例えば、浮動小数点数）を取る

を用いて、以下の式（３－１）のように、M_f(x,y)をY(x,y,z)に乗じて、M(x,y)が非ゼロ値の座標(x,y)の出力特徴マップを計算してもよい。

＜式（３－１）＞

ここで、例えば、M_fの値としては、前景領域（Mが非ゼロの画像領域）のうち、比較的重要な画像領域に対して大きい値が設定され、比較的重要でない画像領域に対しては小さい値が設定される。M_fの値は、具体的には、例えば、後述する解像度調整部１１３が出力するマップの値（二値化される前のマップの値）を用いて設定されてもよい。M_fを乗じることは、前景領域内のさらに注目すべき領域を際立たせる役割を持っており、精度向上に繋がる。

また、実数値を取る

を用いて、以下の式（３－２）のように、M_f'(z)をY(x,y,z)に乗じて、M(x,y)が非ゼロ値の座標(x,y)の出力特徴マップを計算してもよい。

＜式（３－２）＞

ここで、例えば、M_f'の値としては、比較的重要なチャネルに対して大きい値が設定され、比較的重要でないチャネルに対しては小さい値が設定される。M_f'を乗じることは、前景領域内のさらに注目すべきチャネルを際立たせる役割を持っており、精度向上に繋がる。なお、M_f及びM_f'は、後述するマスクヒートマップに対して畳み込み層及びプーリング層の計算を行って算出してもよい。

図２で示した例では、二値マスク生成部１０１は、畳み込み層の一層ごとに、後述する畳み込み層実行部１１１から二値化部１１４までの所定の一連の処理により生成された二値マスクを供給している。しかしながら、二値マスクの生成に要する時間を抑制するために、図３に示すように畳み込み層の複数層ごとに（例えば、２層又は３層ごとに）、上述した所定の一連の処理により生成される二値マスクを供給してもよい。すなわち、図３に示すように、連続する複数の畳み込み層からなるグループ（ブロック）ごとに上述した所定の一連の処理により生成される二値マスクが供給されてもよい。なお、図３では、畳み込み層の２層ごとに所定の一連の処理により生成されたマスクが供給される例を示している。

図３に示した例では、１つめの畳み込み層が各(x,y）平面において３８個の入力ピクセルと重みを使用して畳み込みを行ない、１６個の出力ピクセルが計算されている。そして、２つめの畳み込み層では１６個の入力ピクセルと重みを使用して２個の出力ピクセルが計算されている。つまり、図３で示した例では、最終層は２つのピクセルを計算するだけでよいが、そのためには、その一つ前の層で１６個のピクセルを計算している必要がある。このように、入力層に近ければ近いほど、大きな画像領域を計算しなければならない。このため、所定の一連の処理により生成された二値マスクと、この二値マスクにおける非ゼロの画像領域を拡張した二値マスクが、以下に述べるように用いられる。なお、以下の説明では、二値マスクにおける非ゼロの画像領域を拡張することにより得られる二値マスクを拡張した二値マスクと称すこととする。

複数の層ごとに所定の一連の処理により生成された二値マスクMを供給する場合、この二値マスクMは、グループ内の最終層（図３の例では、第二層）のスパース畳み込み層に使用される。上述の通り、最終層よりも一つ前の層の畳み込みでは、最終層で用いる二値マスクMにおける非ゼロの画像領域よりも大きな画像領域と重みとの積和演算を計算しなければならず、二値マスクMは使用できない。そのため、二値マスク生成部１０１は、畳み込みのカーネルサイズやストライドに応じて最終層の二値マスクMを拡張した二値マスクM'を生成する。ただし、拡張した二値マスクは、後述する畳み込み層実行部１１１から二値化部１１４までの所定の一連の処理を行わずに、拡張対象の二値マスクについて拡張処理を行うことで生成される。この拡張処理において、二値マスク生成部１０１は、拡張した二値マスクM'として、拡張対象の二値マスクMに対応する出力特徴マップを計算するために必要な入力特徴マップのピクセルの座標(x,y)が非ゼロ値となっている二値マスクを生成する。

二値マスク生成部１０１は、グループ内の層の数が３個の場合には、拡張した二値マスクM'を拡張対象の二値マスクとして用いて、さらなる拡張処理を行うことにより、拡張した二値マスクM''を生成する。同様に、二値マスク生成部１０１は、グループ内の層の数が４個の場合には、拡張した二値マスクM''を拡張対象の二値マスクとして用いて、さらなる拡張処理を行うことにより、拡張した二値マスクM'''を生成する。このように、二値マスク生成部１０１は、グループ内の層の数に応じた回数だけ拡張処理を繰り返し、層の数より１つ少ない数の拡張した二値マスクを生成する。

二値マスク生成部１０１について、図４から図６を用いて説明する。図４及び図５は、二値マスク生成部１０１及び層実行部１０２の構成例を示すブロック図である。図４及び図５では、マスクユニット１１０及びスパース畳み込み層（SpConv）１２０への入力特徴マップの供給、及び、スパース畳み込み層（SpConv）１２０へのマスクユニット１１０が生成した二値マスクの供給が示されている。また、図６は、マスクユニット１１０の具体的な構成例を示すブロック図である。

図４に示すように二値マスク生成部１０１はm個（mは１以上の整数）のマスクユニット１１０を備え、各マスクユニット１１０の計算を行う。マスクユニット１１０への入力は、このマスクユニット１１０が供給する二値マスクを用いるスパース畳み込み層１２０のグループ内で最初に実行されるスパース畳み込み層１２０へ入力される入力特徴マップである。なお、グループは、必ずしも複数のスパース畳み込み層１２０を含んでいなくてもよく、グループに含まれるスパース畳み込み層１２０が１つであってもよい。マスクユニット１１０は、スパース畳み込み層１２０のグループに対し、このグループのスパース畳み込み層１２０の出力特徴マップの解像度（高さH及び幅Wで規定される解像度）に応じた二値マスクMを出力する。また、マスクユニット１１０は、高さH、幅Wを有するJ枚のマスクヒートマップ

を出力する。マスクヒートマップは、二値マスク生成部１０１の後述する畳み込み層実行部１１１によって生成される、高さH、幅Wの二次元画像であり、後述する学習装置２００のマスク損失計算部２０６において、損失関数の計算に使用される。

図６は、マスクユニット１１０の内部構造の一例を示すブロック図である。図６に示すように、各マスクユニット１１０は、畳み込み層実行部１１１、合計処理部１１２、解像度調整部１１３、二値化部１１４、及び拡張マスク生成部１１５を含む。

畳み込み層実行部１１１は、入力特徴マップに対して畳み込みを実行し、J枚の特徴マップ（マスクヒートマップ）を出力する。すなわち、畳み込み層実行部１１１は、入力特徴マップからJ枚の二値画像を生成するよう設計された畳み込み層を実行する。後述する学習装置２００のマスク損失計算部２０６において、畳み込み層実行部１１１が出力するマスクヒートマップと正解のヒートマップとの特徴マップ数を一致させる必要がある。このため、畳み込み層実行部１１１が出力するマスクヒートマップの特徴マップ数Jは、順伝播装置１００のニューラルネットワークの検知対象の種類の数と等しい。ここで、検知対象の種類の数は、具体的には、順伝播装置１００によって人物姿勢推定を行う場合、例えば、ニューラルネットワークによって座標が検知される人間の関節点の種類の数である。また、順伝播装置１００によって物体検出を行う場合、検知対象の種類の数は、ニューラルネットワークによる物体検出で用いられるクラスの数（物体の種類の数）である。また、順伝播装置１００によって意味的領域分割を行う場合、検知対象の種類の数は、ニューラルネットワークによる意味的領域分割で用いられるクラスの数（意味の種類の数）である。このように、畳み込み層実行部１１１は、入力特徴マップに対して畳み込み層の演算を行うことにより、ニューラルネットワークの検知対象の種類の数のマスクヒートマップを生成する。

なお、順伝播装置１００が推論を行う際、マスクユニット１１０がJ枚のヒートマップを生成するための畳み込み層の重みの値は、後述するように、正解ラベルに基づいて生成されたヒートマップを用いて機械学習された値である。すなわち、推論フェーズにおいて、畳み込み層実行部１１１が実行する畳み込み層の重みの値は、正解ラベルに基づいて生成されたヒートマップを用いて機械学習された値である。

合計処理部１１２は、畳み込み層実行部１１１が生成したJ枚の特徴マップ（マスクヒートマップ）の値を座標毎に合計する。これにより合計処理部１１２は、J枚の特徴マップ（マスクヒートマップ）を１枚の特徴マップ（マスクヒートマップ）に合成した特徴マップ（本開示において合成ヒートマップと称すことがある）を生成する。合計処理部１１２の合計処理では、例えば、J枚の特徴マップの合計を以下の式（４）のように算出する。

＜式（４）＞

ただし、M_hを合計処理部１１２に入力される入力特徴マップ（マスクヒートマップ）、Z'を合計処理部１１２から出力される出力特徴マップとする。なお、合計処理は式（４）に示されるような単純な合計ではなくてもよい。例えば、合計処理部１１２は、J枚の特徴マップに重みを付けて重み付総和を計算してもよい。例えば、比較的重要でないクラス（データセットで出現回数の少ないクラス）に対し小さい値の重みが設定され、比較的重要なクラス（データセットで出現回数の少ないクラス）に対し大きい値の重みが設定される。比較的重要でないクラスは、例えば、後述する学習装置２００が用いるデータセットにおける出現回数が他のクラスよりも少ないクラスであり、予め特定することが可能である。同様に、比較的重要なクラスは、データセットにおける出現回数が他のクラスよりも多いクラスであり、予め特定することが可能である。なお、重要ではないことが予めわかっているクラスについては、このクラスを無視すべく、重みの値として０が設定されてもよい。このように重み付総和が計算されることにより、重要でないクラスの画像領域の計算を省略できる場合があり、さらなる高速化が可能になる。

解像度調整部１１３は、スパース畳み込み層の解像度に応じて、合計処理部１１２が出力した特徴マップ（合成ヒートマップ）の解像度を変更する。すなわち、合計処理の後、解像度調整部１１３による解像度調整処理によって、合成ヒートマップの解像度を、要求解像度（マスクユニット１１０が二値マスクを供給する各スパース畳み込み層１２０の出力特徴マップの解像度）に変更する。例えば、解像度調整部１１３は、解像度調整部１１３の入力特徴マップ（合計処理部１１２の出力特徴マップ）の高さH及び幅Wよりも大きなマスクを生成する場合には、最近傍補完などを用いてアップサンプリング（アップコンバート）を行う。また、解像度調整部１１３は、入力特徴マップの高さH及び幅Wよりも小さなマスクを生成する場合には平均値プーリングや最大値プーリングなどを用いてダウンサンプリング（ダウンコンバート）を行う。なお、要求解像度は、スパース畳み込み層１２０のパラメタから特定することが可能である。また、解像度調整部１１３は、解像度の調整が必要ない場合、処理を省略することができる。

このように、解像度調整部１１３により様々な解像度の特徴マップを生成することが可能であるため、一つのマスクユニット１１０で様々な解像度に対応することができる。これにより、一つのマスクユニット１１０は、より多くのスパース畳み込み層（例えば十層程度）へ二値マスクを供給することができる。

二値化部１１４は、解像度調整が行われたマスク（合成ヒートマップ）の各座標の値を所定の閾値γを用いて二値化することにより二値マスクを生成する。二値化部１１４による二値化処理は、解像度調整が行われたマスクをM_inとして以下の式（５）で定義される。なお、解像度調整が不要である場合には、二値化部１１４は、合計処理部１１２が出力したマスクをM_inとする。

＜式（５）＞

拡張マスク生成部１１５は、二値化部１１４が生成した二値マスクに対して、上述した拡張処理を行うことにより、二値化部１１４が生成した二値マスクにおける非ゼロの画像領域を拡張した二値マスクを生成する。このように、拡張マスク生成部１１５は、畳み込み層実行部１１１から二値化部１１４までの一連の処理を再度行うことにより二値マスクを生成するのではなく、二値化部１１４が出力した二値マスクを用いて、新たな二値マスクを生成する。なお、上述した通り、拡張マスク生成部１１５は、拡張処理により得られた二値マスクに対して拡張処理を行うことにより、さらに新たな二値マスクを生成してもよい。

上述した通り、二値化部１１４が出力する二値マスクは、図３の第二層のように、連続するスパース畳み込み層１２０の最終層の演算のために生成される。そして、拡張マスク生成部１１５は、二値化部１１４によって生成された二値マスクから、最終層の前段のスパース畳み込み層の演算のための二値マスクを生成する。また、必要に応じて、拡張マスク生成部１１５は、さらに前段のスパース畳み込み層の演算のための二値マスクを生成する。このような構成によれば、各スパース畳み込み層のための二値マスクの生成処理に要する時間を抑制することができる。

二値化部１１４及び拡張マスク生成部１１５は、生成した二値マスクをスパース畳み込み層１２０に供給する。なお、スパース畳み込み層１２０は、図４のように直列で接続されていることに限らず、例えば図５のように並列で接続されていてもよく、マスクユニット１１０はあらゆるCNNの構造に対して二値マスクを生成して供給することができる。

次に、順伝播装置１００のための学習装置２００について説明する。学習装置２００は、順伝播装置１００のマスクユニット１１０の畳み込み層実行部１１１が実行する畳み込み層のパラメタと、層実行部１０２が実行するニューラルネットワークのパラメタを学習する。

図７は、学習装置２００の構成の一例を示すブロック図である。学習装置２００は、スパースCNNのモデル構造９３とデータセット９４を入力として用い、学習済み重み９５を出力する。スパースCNNのモデル構造９３は、二値マスク生成部１０１のマスクユニット１１０の構造を表すデータと層実行部１０２が実行するCNN構造を表すデータを含む。また、データセット９４は、正解ラベルが与えられた画像データである。学習済み重み９５は、マスクユニット１１０の畳み込み層実行部１１１で用いられる重みの学習済みの値及び層実行部１０２が実行するCNNで用いられる重みの学習済みの値を含む。

図７に示すように、初期化部２０１、前処理部２０２、順伝播部２０３、損失計算部２０４、ヒートマップ生成部２０５、マスク損失計算部２０６、パラメタ更新部２０７、学習終了判定部２０８を有する。学習装置２００による学習は、ヒートマップ生成部２０５による処理とマスク損失計算部２０６による処理を含む点で、一般的な学習手順と特に異なっている。

初期化部２０１は、スパースCNNの重みなどのパラメタの初期化を行う。初期化部２０１による初期化は、層実行部１０２により実行されるスパース畳み込み層１２０の重みだけではなく、マスクユニット１１０の畳み込み層実行部１１１における重みなどスパースCNNの全ての学習パラメタの初期化である。

前処理部２０２は、学習のために学習装置２００に入力される入力画像（データセット９４に含まれる画像）に対して、所定の前処理（例えば、画像の回転処理、歪み補正処理など）を行う。

順伝播部２０３は、前処理部２０２による前処理が行われた入力画像と、スパースCNNのモデル構造９３（すなわち、順伝播装置１００）とを用いて、順伝播装置１００における順伝播処理を行う。これにより、各スパース畳み込み層１２０の計算や各マスクユニット１１０の計算などの順伝播処理が行われる。

次に、図８を参照しつつ、損失計算部２０４、ヒートマップ生成部２０５、及びマスク損失計算部２０６について説明する。図８は、損失の計算を説明するための模式図である。

損失計算部２０４は、第１の損失関数Loss_mainの計算を行う。第１の損失関数Loss_mainは、CNNにおいて一般的に算出される損失関数と同様である。第１の損失関数Loss_mainは、データセット９４に含まれる正解ラベルと層実行部１０２が出力する出力特徴マップ（すなわち、順伝播装置１００が出力する出力特徴マップ）とを用いて損失（loss）を算出する損失関数である。

ヒートマップ生成部２０５は、第２の損失関数Loss_maskの計算に必要な正解ヒートマップ

を生成する。第２の損失関数Loss_maskは、マスクユニット１１０の重みを学習するために計算される損失関数であり、後述するマスク損失計算部２０６によって計算される。ヒートマップ生成部２０５は、正解ラベルにより特定される座標の位置に対応するように二次元正規分布を配置することにより、正解ヒートマップを生成する。より詳細には、ヒートマップ生成部２０５は、二次元の正規分布が配置されたヒートマップ（二次元画像）であって、検知対象の位置において正規分布の最大値が存在するようなヒートマップを生成する。

図９は、ヒートマップ生成部２０５による正解ヒートマップの生成例について示す模式図である。例えば、順伝播装置１００によって人物姿勢推定を行う場合、正解ラベルに示される関節点座標に、二次元の正規分布の最大値が重なるように正規分布を配置することで、正解ヒートマップ

を生成できる。すなわち、この場合、ヒートマップ生成部２０５は、人物姿勢推定のための正解ラベルに示される人間の関節点の座標において、二次元正規分布の最大値が存在するヒートマップを正解ヒートマップとして生成する。なお、人物姿勢推定の場合、正解ヒートマップの特徴マップ数Jは検知対象の関節点の数と同じである。すなわち、各関節点に対応する特徴マップが生成される。

また、例えば、順伝播装置１００によって物体検出を行う場合、正解ラベルに示される矩形（物体を囲むバウンディングボックス）にあわせて二次元正規分布を変形するとともに、バウンディングボックス内の位置（重心）に正規分布の最大値が重なるように正規分布を配置することで正解ヒートマップ

を生成できる。二次元正規分布の変形では、分散の調整が行われる。例えば、図９に示すように、人に対応する矩形は縦長であるため、人の検出についての正解ヒートマップの生成では、y方向の分散を大きくするよう二次元正規分布が変形される。このように、順伝播装置１００によって物体検出を行う場合、ヒートマップ生成部２０５は、物体検出のための正解ラベルに示される矩形領域内において、二次元正規分布の最大値が存在するヒートマップを正解ヒートマップとして生成する。なお、物体検出の場合、正解ヒートマップの特徴マップ数Jは物体検出で用いられるクラスの数（物体の種類の数）と同じである。すなわち、各クラスに対応する特徴マップが生成される。

また、順伝播装置１００によって意味的領域分割を行う場合、ヒートマップ生成部２０５は、まず、正解ラベルに示される各物体の物体領域からこの物体領域を囲む矩形を算出する。そして、ヒートマップ生成部２０５は、この矩形にあわせて二次元正規分布を変形するとともに、矩形内の位置（重心）に正規分布の最大値が重なるように正規分布を配置し、さらに正解ラベルに応じてトリミングをすることで正解ヒートマップ

を生成する。すなわち、ヒートマップ生成部２０５は、正解ラベルに示される物体領域の外側に対応する座標の値がゼロであるヒートマップを生成する。なお、順伝播装置１００によって意味的領域分割を行う場合における、ヒートマップ生成部２０５による二次元正規分布の変形処理は、順伝播装置１００によって物体検出を行う場合におけるそれと同じである。このように、順伝播装置１００によって意味的領域分割を行う場合、ヒートマップ生成部２０５は、次のような処理をする。ヒートマップ生成部２０５は、意味的領域分割のための正解ラベルに示される領域を囲む矩形領域内において、二次元正規分布の最大値が存在するとともに、正解ラベルに示される領域の外側の値をゼロに設定したヒートマップを正解ヒートマップとして生成する。なお、意味的領域分割の場合、正解ヒートマップの特徴マップ数Jは意味的領域分割で用いられるクラスの数（意味の種類の数）と同じである。すなわち、各クラスに対応する特徴マップが生成される。

マスク損失計算部２０６は、第２の損失関数Loss_maskの計算を行う。図８に示すように、Loss_maskは、スパースCNN（順伝播装置１００）に含まれるm個のマスクユニット１１０が生成したマスクヒートマップ

とヒートマップ生成部２０５が生成した正解ヒートマップ

を用いて計算される。マスク損失計算部２０６は、第２の損失関数Loss_maskの計算として、マスクユニット１１０が生成したマスクヒートマップとヒートマップ生成部２０５が生成した正解ヒートマップの差分を計算する。マスク損失計算部２０６は、例えば、平均二乗誤差（MSE: Mean Squared Error）を用いて、以下の式（６）のように表されるLoss_maskを計算する。

＜式（６）＞

ここで、

は、m個のマスクユニット１１０のうちのj番目のマスクユニット１１０のマスクヒートマップであり、

である。

スパースCNNの全体の損失関数Loss_allは、以下の式（７）に示されるように、Loss_mainとLoss_maskの重み付き和で定義する。

＜式（７）＞

ここで、α（０＜α）は、Loss_maskとLoss_mainのバランスを調整するためのパラメタである。本実施の形態のように、正解ラベルを用いて算出されるLoss_maskを用いることで、畳み込みを実行するピクセルを表す二次元の二値マスクの学習を、精度よく行うことができる。

パラメタ更新部２０７は、式（７）で示される損失関数を用いて誤差逆伝播を行い、スパースCNNの重みなどのパラメタを更新する。
また、学習終了判定部２０８は、所定の学習終了条件が満たされたか否かを判定し、学習終了条件が満たされた場合、学習されたパラメタ（重み）の値を出力するよう制御する。

図１０は、学習装置２００の動作例を示すフローチャートである。以下、図１０を参照しつつ、上述した学習装置２００の構成要素の処理の流れについて説明する。

ステップＳ１において、学習の実施に先だって、学習装置２００は、スパースCNNのモデル構造９３を記憶装置から読み出す。次に、ステップＳ２において、初期化部２０１がパラメタ（重み）の初期化を行う。次に、ステップＳ３において、前処理部２０２が、入力画像に対して、所定の前処理を行う。次に、ステップＳ４において、順伝播部２０３は、前処理が行われた入力画像と、スパースCNNのモデル構造９３とを用いて、順伝播処理を行う。ステップＳ５において、損失計算部２０４が、第１の損失関数Loss_mainの計算を行う。そして、ステップＳ６において、ヒートマップ生成部２０５は、データセット９４に含まれる正解ラベルに基づいて、正解ヒートマップを生成する。ステップＳ７において、マスク損失計算部２０６が、第２の損失関数Loss_maskの計算を行う。その後、ステップＳ８において、パラメタ更新部２０７が、誤差逆伝播を行うことによりパラメタを更新する。次に、ステップＳ９において、学習終了判定部２０８は、所定の学習終了条件が満たされたか否かを判定する。例えば、学習終了判定部２０８は、予め設定した回数、一連の処理が繰り返されたか否かを判定する。所定の学習終了条件が満たされていない場合、処理はステップＳ３に戻る。これにより、データセット９４内の様々な画像に対して一連の処理が繰り返されることとなる。所定の学習終了条件が満たされた場合には、処理はステップＳ１０に進む。ステップＳ１０において、学習装置２００は、スパースCNNの重み（マスクユニット１１０の畳み込み層の重み及び層実行部１０２のスパース畳み込み層の重み）等のパラメタを学習済み重み９５として出力する。したがって、順伝播装置１００が推論を行う際には、学習装置２００により学習された重みが用いられる。

次に、順伝播装置１００及び学習装置２００のハードウェア構成の例について説明する。図１１は、順伝播装置１００及び学習装置２００のハードウェア構成の一例を示すブロック図である。図１１に示すように、順伝播装置１００及び学習装置２００は、入出力インタフェース３０１、メモリ３０２、及びプロセッサ３０３を含む。

入出力インタフェース３０１は、必要に応じて他の装置と通信可能に接続するためのインタフェースである。

メモリ３０２は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ３０２は、プロセッサ３０３により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）、及び各種処理に用いるデータなどを格納するために使用される。

プロセッサ３０３は、メモリ３０２からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述した各構成要素の処理を行う。プロセッサ３０３は、例えば、マイクロプロセッサ、ＭＰＵ(Micro Processor Unit)、又はＣＰＵ(Central Processing Unit)などであってもよい。プロセッサ３０３は、複数のプロセッサを含んでもよい。
このように、順伝播装置１００及び学習装置２００は、コンピュータとしての機能を備えている。

プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

以上、実施の形態について説明した。本実施の形態によれば、二値マスク生成部１０１により生成された二値マスクによって、スパース畳み込み層１２０における積和演算の一部を省略した高速な処理を実現することが可能になる。より詳細には、検知対象が存在する領域（すなわち、前景領域）について積和演算を行ない、その他の領域（背景領域）については積和演算を省略することが可能になる。また、特に、二値マスクの生成のためのパラメタは、正解ラベルを用いて学習されている。より詳細には、正解データに示される物体の形状に基づいて生成されたヒートマップと、ニューラルネットワークが生成したヒートマップとを比較することにより、検知対象の形状に対応する二値マスクを生成するニューラルネットワークの学習が行われる。このため、精度よく前景領域を特定することが可能となる。また、上述の通り、マスクユニット１１０は、解像度調整部１１３及び拡張マスク生成部１１５を備えており、処理負荷を抑制しつつ様々な二値マスクを生成できる。このため、二値マスクの生成に要する時間を抑えることができる。また、本実施の形態では、二値マスクは、CNNモデルよりも簡易な構造であるマスクユニット１１０により生成されるため、CNNモデルにより二値マスクを生成する場合に比べ処理速度を向上することができる。

＜実施の形態２＞
次に、実施の形態２について説明する。実施の形態２は、実施の形態１の特徴的な要素から構成される実施の形態である。図１２は、実施の形態２にかかる情報処理システム１の構成の一例を示すブロック図である。情報処理システム１は、ニューラルネットワークの順伝播装置２と、順伝播装置２のための学習装置３とを備える。

順伝播装置２は、二値マスクを生成するマスク生成部４と、二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う層実行部５とを含んで構成されている。特に、マスク生成部４は、次のように二値マスクを生成する。マスク生成部４は、入力特徴マップに対して畳み込み層の演算を行うことにより、所定数の第１のヒートマップを生成する。ここで、所定数とは、ニューラルネットワークの検知対象の種類の数である。次に、マスク生成部４は、上記所定数の第１のヒートマップの値を座標毎に合計することにより、上記所定数の第１のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成する。そして、マスク生成部４は、合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより二値マスクを生成する。

学習装置３は、第１のヒートマップ取得部６と、第２のヒートマップ取得部７と、損失計算部８と、更新部９とを含んで構成されている。第１のヒートマップ取得部６は、順伝播装置２で生成される上記所定数の第１のヒートマップを取得する。第２のヒートマップ取得部７は、検知対象の正解ラベルに基づいて生成された上記所定数の第２のヒートマップを取得する。損失計算部８は、第１のヒートマップ取得部６が取得した第１のヒートマップと第２のヒートマップ取得部７が取得した第２のヒートマップの差分を計算する。そして、更新部９は、損失計算部８により計算された差分に基づいて、順伝播装置２で第１のヒートマップを生成するための畳み込み層の重みの値を更新する。

本実施の形態によれば、学習装置３により二値マスクを生成するための学習が行われ、順伝播装置２はこの二値マスクを用いて、積和演算の一部を省略した高速な処理を実現することが可能になる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
ニューラルネットワークの順伝播装置であって、
二値マスクを生成するマスク生成手段と、
前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う層実行手段と、
を有し、
前記マスク生成手段は、
入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数のヒートマップを生成し、
ヒートマップの値を座標毎に合計することにより、検知対象の種類の数のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成する
順伝播装置。
（付記２）
検知対象の種類の数のヒートマップを生成するための前記畳み込み層の重みの値は、正解ラベルに基づいて生成されたヒートマップを用いて機械学習された値である
付記１に記載の順伝播装置。
（付記３）
前記マスク生成手段は、さらに、前記スパース畳み込み層の解像度に応じて、前記合成ヒートマップの解像度を変更する
付記１又は２に記載の順伝播装置。
（付記４）
前記マスク生成手段は、連続する前記スパース畳み込み層の最終層の演算のために前記二値マスクを生成し、さらに、生成された前記二値マスクから、前記最終層の前段の前記スパース畳み込み層の演算のための二値マスクを生成する
付記１乃至３のいずれか一項に記載の順伝播装置。
（付記５）
前記検知対象の種類の数は、前記ニューラルネットワークによって座標が検知される人間の関節点の種類の数である
付記１乃至４のいずれか一項に記載の順伝播装置。
（付記６）
前記検知対象の種類の数は、前記ニューラルネットワークによる物体検出で用いられるクラスの数である
付記１乃至４のいずれか一項に記載の順伝播装置。
（付記７）
前記検知対象の種類の数は、前記ニューラルネットワークによる意味的領域分割で用いられるクラスの数である
付記１乃至４のいずれか一項に記載の順伝播装置。
（付記８）
ニューラルネットワークの順伝播装置のための学習装置であって、
前記順伝播装置で生成される、前記ニューラルネットワークの検知対象の種類の数の第１のヒートマップを取得する第１のヒートマップ取得手段と、
前記検知対象の正解ラベルに基づいて生成された前記検知対象の種類の数の第２のヒートマップを取得する第２のヒートマップ取得手段と、
前記第１のヒートマップと前記第２のヒートマップの差分を計算する損失計算手段と、
計算された前記差分に基づいて、前記順伝播装置で前記第１のヒートマップを生成するための畳み込み層の重みの値を更新する更新手段と
を有し、
前記順伝播装置は、二値マスクを生成して、生成した前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う装置であり、
前記順伝播装置は、前記二値マスクの生成の処理において、
入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数の前記第１のヒートマップを生成し、
前記検知対象の種類の数の前記第１のヒートマップの値を座標毎に合計することにより、前記検知対象の種類の数の前記第１のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成する
学習装置。
（付記９）
前記正解ラベルにより特定される座標の位置に対応するように二次元正規分布を配置することにより、前記第２のヒートマップとしてのヒートマップを生成する正解ヒートマップ生成手段をさらに有する
付記８に記載の学習装置。
（付記１０）
前記正解ヒートマップ生成手段は、前記ニューラルネットワークを用いた人物姿勢推定のための正解ラベルに示される人間の関節点の座標において、前記二次元正規分布の最大値が存在するヒートマップを前記第２のヒートマップとして生成する
付記９に記載の学習装置。
（付記１１）
前記正解ヒートマップ生成手段は、前記ニューラルネットワークを用いた物体検出のための正解ラベルに示される矩形領域内において、前記二次元正規分布の最大値が存在するヒートマップを前記第２のヒートマップとして生成する
付記９に記載の学習装置。
（付記１２）
前記正解ヒートマップ生成手段は、前記ニューラルネットワークを用いた意味的領域分割のための正解ラベルに示される領域を囲む矩形領域内において、前記二次元正規分布の最大値が存在するとともに、前記正解ラベルに示される前記領域の外側の値をゼロに設定したヒートマップを前記第２のヒートマップとして生成する
付記９に記載の学習装置。
（付記１３）
ニューラルネットワークの順伝播装置と、
前記順伝播装置のための学習装置と
を備え、
前記順伝播装置は、
二値マスクを生成するマスク生成手段と、
前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う層実行手段と、
を有し、
前記マスク生成手段は、
入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数の第１のヒートマップを生成し、
検知対象の種類の数の前記第１のヒートマップの値を座標毎に合計することにより、検知対象の種類の数の前記第１のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成し、
前記学習装置は、
前記順伝播装置で生成される、前記ニューラルネットワークの検知対象の種類の数の前記第１のヒートマップを取得する第１のヒートマップ取得手段と、
前記検知対象の正解ラベルに基づいて生成された前記検知対象の種類の数の第２のヒートマップを取得する第２のヒートマップ取得手段と、
前記第１のヒートマップと前記第２のヒートマップの差分を計算する損失計算手段と、
計算された前記差分に基づいて、前記順伝播装置で前記第１のヒートマップを生成するための前記畳み込み層の重みの値を更新する更新手段と
を有する
情報処理システム。
（付記１４）
前記学習装置は、前記正解ラベルにより特定される座標の位置に対応するように二次元正規分布を配置することにより、前記第２のヒートマップとしてのヒートマップを生成する正解ヒートマップ生成手段をさらに有する
付記１３に記載の情報処理システム。
（付記１５）
ニューラルネットワークの順伝播装置の処理方法であって、
二値マスクを生成し、
前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行い、
前記二値マスクの生成の処理において、
入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数のヒートマップを生成し、
ヒートマップの値を座標毎に合計することにより、検知対象の種類の数のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成する
処理方法。
（付記１６）
ニューラルネットワークの順伝播装置のコンピュータに、
二値マスクを生成するマスク生成ステップと、
前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う層実行ステップと、
を実行させ、
前記マスク生成ステップにおいて、
入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数のヒートマップを生成し、
ヒートマップの値を座標毎に合計することにより、検知対象の種類の数のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成する
プログラムが格納された非一時的なコンピュータ可読媒体。

１ 情報処理システム
２ 順伝播装置
３ 学習装置
４ マスク生成部
５ 層実行部
６ 第１のヒートマップ取得部
７ 第２のヒートマップ取得部
８ 損失計算部
９ 更新部
９１ 入力画像
９２ 出力結果
９３ モデル構造
９４ データセット
１００ 順伝播装置
１０１ 二値マスク生成部
１０２ 層実行部
１１０ マスクユニット
１１１ 畳み込み層実行部
１１２ 合計処理部
１１３ 解像度調整部
１１４ 二値化部
１１５ 拡張マスク生成部
１２０ スパース畳み込み層
２００ 学習装置
２０１ 初期化部
２０２ 前処理部
２０３ 順伝播部
２０４ 損失計算部
２０５ ヒートマップ生成部
２０６ マスク損失計算部
２０７ パラメタ更新部
２０８ 学習終了判定部
３０１ 入出力インタフェース
３０２ メモリ
３０３ プロセッサ

Claims (10)

1. ニューラルネットワークの順伝播装置であって、
   二値マスクを生成するマスク生成手段と、
   前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う層実行手段と、
   を有し、
   前記マスク生成手段は、
   入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数に対応する複数のヒートマップを生成し、
   ヒートマップの値を座標毎に合計することにより、前記複数のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
   前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成する
   順伝播装置。
2. 前記複数のヒートマップを生成するための前記畳み込み層の重みの値は、正解ラベルに基づいて生成された前記検知対象の種類の数に対応する複数のヒートマップを用いて機械学習された値である
   請求項１に記載の順伝播装置。
3. 前記マスク生成手段は、さらに、前記スパース畳み込み層の解像度に応じて、前記合成ヒートマップの解像度を変更する
   請求項１又は２に記載の順伝播装置。
4. 前記マスク生成手段は、連続する前記スパース畳み込み層の最終層の演算のために前記二値マスクを生成し、さらに、生成された前記二値マスクから、前記最終層の前段の前記スパース畳み込み層の演算のための二値マスクを生成する
   請求項１乃至３のいずれか一項に記載の順伝播装置。
5. 前記検知対象の種類の数は、前記ニューラルネットワークによって座標が検知される人間の関節点の種類の数である
   請求項１乃至４のいずれか一項に記載の順伝播装置。
6. 前記検知対象の種類の数は、前記ニューラルネットワークによる物体検出で用いられるクラスの数である
   請求項１乃至４のいずれか一項に記載の順伝播装置。
7. 前記検知対象の種類の数は、前記ニューラルネットワークによる意味的領域分割で用いられるクラスの数である
   請求項１乃至４のいずれか一項に記載の順伝播装置。
8. ニューラルネットワークの順伝播装置のための学習装置であって、
   前記順伝播装置で生成される、前記ニューラルネットワークの検知対象の種類の数に対応する複数の第１のヒートマップを取得する第１のヒートマップ取得手段と、
   前記検知対象の正解ラベルに基づいて生成された前記検知対象の種類の数に対応する複数の第２のヒートマップを取得する第２のヒートマップ取得手段と、
   前記第１のヒートマップと前記第２のヒートマップの差分を計算する損失計算手段と、
   計算された前記差分に基づいて、前記順伝播装置で前記第１のヒートマップを生成するための畳み込み層の重みの値を更新する更新手段と
   を有し、
   前記順伝播装置は、二値マスクを生成して、生成した前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う装置であり、
   前記順伝播装置は、前記二値マスクの生成の処理において、
   入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数に対応する複数の前記第１のヒートマップを生成し、
   前記複数の第１のヒートマップの値を座標毎に合計することにより、前記複数の第１のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
   前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成する
   学習装置。
9. ニューラルネットワークの順伝播装置の処理方法であって、
   二値マスクを生成し、
   前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行い、
   前記二値マスクの生成の処理において、
   入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数に対応する複数のヒートマップを生成し、
   ヒートマップの値を座標毎に合計することにより、前記複数のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
   前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成する
   処理方法。
10. ニューラルネットワークの順伝播装置のコンピュータに、
    二値マスクを生成するマスク生成ステップと、
    前記二値マスクの各座標の値にしたがってスパース畳み込み層の演算を行う層実行ステップと、
    を実行させ、
    前記マスク生成ステップにおいて、
    入力特徴マップに対して畳み込み層の演算を行うことにより、前記ニューラルネットワークの検知対象の種類の数に対応する複数のヒートマップを生成し、
    ヒートマップの値を座標毎に合計することにより、前記複数のヒートマップを１枚のヒートマップに合成した合成ヒートマップを生成し、
    前記合成ヒートマップの各座標の値を所定の閾値を用いて二値化することにより前記二値マスクを生成する
    プログラム。

Images