JP7719617B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、畳み込み処理に関するものである。

近年、深層学習の進歩により、画像認識の精度が上がっている。畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：ＣＮＮ）は深層学習に用いられる手法として知られている。

ＣＮＮでは、複数のレイヤが階層的に接続されており、各レイヤの中に複数枚の特徴画像が存在する。図２にレイヤの数が４で、各レイヤの中に特徴画像が４枚あるＣＮＮの構成例を示す。ＣＮＮでは、学習した係数（重み係数）と特徴画像の画素（特徴データ）を用いて畳み込み処理を行う。畳み込み処理は積和演算であり、複数の乗算と累積加算とを含む。図２に示している矢印は積和演算を意味している。

現レイヤにおける特徴画像は、前レイヤにおける特徴画像と前レイヤに対応する係数とを用いて計算する。現レイヤにおける１枚の特徴画像を計算するためには、前レイヤにおける複数枚の特徴画像の情報が必要である。現レイヤにおける特徴画像を求めるための積和演算は以下の（式１）に従って行われる。

ここで、ｎは現レイヤ中の特徴画像のインデックスであり、ｍ（ｍ＝１～Ｍ）は前レイヤ中の特徴画像のインデックスである。Ｏ_ｉ，ｊ（ｎ）は、現レイヤにおけるインデックス＝ｎの特徴画像中の位置（ｉ，ｊ）における特徴データ（積和演算結果）を示す。Ｉ_ｉ，ｊ（ｍ）は、前レイヤにおけるインデックス＝ｍの特徴画像Ｉ（ｍ）中の位置（ｉ，ｊ）における特徴データを示す。Ｃ_ｘ，ｙ（ｍ，ｎ）は、現レイヤにおけるインデックス＝ｎの特徴画像と前レイヤにおけるインデックス＝ｍの特徴画像中の位置（ｘ、ｙ）の特徴データとの間の係数を示す。（式１）では、係数（Ｃ_０，０（ｍ，ｎ）～Ｃ_{Ｘ－１，Ｙ－１}（ｍ，ｎ））は（Ｘ×Ｙ）個あり、特徴画像によって異なる。Ｘ，Ｙは参照範囲を示す変数である。現レイヤの特徴データを計算するための積和演算回数は（Ｍ×Ｘ×Ｙ）回である。

上記の積和演算（フィルタ処理）を行った後に、ＣＮＮのネットワーク構造に基づき、積和演算結果Ｏ_ｉ，ｊ（ｎ）を用いて活性化処理やプーリング等の処理を行って、現レイヤの特徴画像を求める。

ＣＮＮは画像分割等のアプリケーションにも適用されている。非特許文献１に記載の拡張畳み込み処理（Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）は、少ない演算コストで画像分割の精度を向上させるための技術である。拡張畳み込み処理を行う場合、積和演算は以下の（式２）に従って行われる。

ここで、変数Ｒは拡張畳み込み処理の倍率である。変数Ｒが１の場合、（式２）は（式１）と同じ式になる。変数Ｒの値が大きいほど、前レイヤの特徴画像における参照範囲が広い。拡張した後に、参照範囲は（Ｘ×Ｙ）から〔Ｒ×（Ｘ－１）＋１〕×〔Ｒ×（Ｙ－１）＋１〕になる。この演算では、係数を飛ばさずに処理するが、特徴画像の特徴データを（Ｒ－１）個おきに処理するため、水平方向または垂直方向の特徴データを飛ばしながら参照する。

フィルタ処理における積和演算（（式２））で使用する係数（重み係数）Ｃを、後述する（式４）の拡大後（拡張後）のフィルタにおける係数Ｃ’に置き換えた積和演算を以下の（式３）に示す。

式（３）において式（１）や式（２）と共通する変数については上記の通りであるから、その説明は省略する。係数Ｃ’_ｘ，ｙ（ｍ，ｎ）を以下の式（４）に示す。

ｘ，ｙがＲの倍数の場合、係数Ｃ’_ｘ，ｙ（ｍ，ｎ）の値は係数Ｃ_{ｘ／Ｒ，ｙ／Ｒ}（ｍ，ｎ）と同じであり、有意の値（有効係数）である。一方、ｘ，ｙがＲの倍数ではない場合、係数Ｃ’_ｘ，ｙ（ｍ，ｎ）の値は０になり、計算が省略されることを意味する。ここで、

は床関数であり、Ｘ以下の最大の整数を出力する。ＣＮＮは積和演算の回数が多いため、携帯端末や車載機器等の組み込みシステムに適用する場合、特徴データと係数の転送量を削減し、積和演算を効率的に行い、全体的な処理時間を短縮しなければならない。特許文献１と特許文献２では、複数の特徴データを並列に処理する構成が提案されている。

US2020／0410036 US10861123

Huikai Wu, Junge Zhang, Kaiqi Huang, Kongming Liang, and Yizhou Yu. FastFCN: Rethinking dilated convolution in the backbone for semantic segmentation, 2019. CoRR, abs／1903.11816.

拡張畳み込み処理（Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）は少ない演算コストで高い認識精度を得ることができるが、参照するデータの座標とメモリのアドレス等が連続ではないため、ハードウェアでの処理効率が低下する可能性がある。

特許文献１に記載の手法では、シストリックアレイ構成を用いて出力データを並列に計算する。ネットワークのパラメータを参照しながら（式４）で示すゼロの係数を利用して、非特許文献１に記載の拡張畳み込み処理を行うことは可能ではあるが、特徴画像Ｉ（ｍ）の特徴データを飛ばしながら参照することができない。

特許文献２に記載の手法では、複数の異なる特徴データと共通の係数を用いて出力データを並列に計算する。非特許文献１に記載の拡張畳み込み処理を実行する場合、（式４）で示すゼロの係数を利用することが可能である。各画素と各係数が一筆書きして読み出されているのであれば、拡張畳み込み処理を効率的に行うことが可能である。ただし、特徴画像Ｉ（ｍ）の特徴データを飛ばしながら参照することができないため、全てのゼロの係数の処理を省略できるわけではない。本発明では、畳み込み演算を行う場合に、特徴画像における画素を飛ばしながら参照することで処理時間を削減するための技術を提供する。

本発明の一様態は、特徴画像の画素ごとの画素情報が格納されたメモリとマルチプレクサとを有する２次元配置された画素格納部群のうち特定の画素格納部から前記画素情報を取得する第１取得手段と、
前記第１取得手段が取得した画素情報に基づく畳み込み演算を行う演算手段と
を備え、
前記画素格納部は、前記特徴画像における隣接画素を格納した画素格納部および前記特徴画像における非隣接画素を格納した画素格納部と接続されており、前記マルチプレクサの選択により画素格納部間で画素情報をシフト可能であり、
前記第１取得手段が取得済みの画素情報に対し前記特徴画像において非隣接の画素情報を取得するときには、前記特定の画素格納部が有する前記マルチプレクサは、該非隣接画素を格納した画素格納部から前記特定の画素格納部へ画素情報をシフトするように選択し、
前記第１取得手段が取得済みの画素情報に対し前記特徴画像において隣接した画素情報を取得するときには、前記特定の画素格納部が有する前記マルチプレクサは、該隣接画素を格納した画素格納部から前記特定の画素格納部へ画素情報をシフトするように選択する
ことを特徴とする。

本発明によれば、畳み込み演算を行う場合に、特徴画像における画素を飛ばしながら参照することで処理時間を削減することができる。

ＣＮＮ処理部１３０５の動作のフローチャート。 ＣＮＮの構成例を示す図。 処理部４０６の構成例を示すブロック図。 ＣＮＮ処理部１３０５の構成例を示すブロック図。 処理部３０９の構成例を示す図。 格納部３０６の構成例を示す図。 格納部３０５の構成例を示す図。 画素と位置の対応関係を示す図。 フィルタ係数と位置の対応関係を示す図。 画素の転送パターンおよびその方向、係数の転送パターンおよびその方向を示す図。 画素転送と係数転送の例を示す図。 ＣＮＮと畳み込み処理の例を示す図。 画像処理装置のハードウェア構成例を示すブロック図。 画素セット、係数フィルタ、畳み込み処理結果を示す図。 ステップＳ１０８における処理の詳細を示すフローチャート。 格納部３０６の構成例を示すブロック図。 係数フィルタの拡張例を示す図。 カスケード接続した拡張畳み込み処理を畳み込みニューラルネットワークに適用した例を示す図。 カスケード接続した拡張畳み込み処理の係数フィルタの例を示す図。 画像分割処理のための畳み込みニューラルネットワークの一例を示す図。 ＣＮＮ処理部１３０５の構成例を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
まず、階層型ニューラルネットワーク（上記のＣＮＮなど）における畳み込み演算を実行する画像処理装置のハードウェア構成例について、図１３のブロック図を用いて説明する。本実施形態に係る画像処理装置には、ＰＣ（パーソナルコンピュータ）、タブレット端末装置、スマートフォンなどのコンピュータ装置が適用可能である。また、以下に画像処理装置が行うものとして説明する各処理を実施可能な構成であれば、画像処理装置の構成は図１３に示した構成に限らず、如何なる構成を採用しても良い。

入力部１３０１は、キーボード、マウス、タッチパネル画面などのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ１３０６に対して入力することができる。なお、入力部１３０１は画像処理装置が有することに限らない。

データ保存部１３０２は、ハードディスクドライブなどの大容量情報記憶装置である。データ保存部１３０２には、ＯＳ（オペレーティングシステム）や、画像処理装置が行うものとして説明する各処理をＣＰＵ１３０６に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。データ保存部１３０２に保存されているコンピュータプログラムやデータは、ＣＰＵ１３０６による制御に従って適宜ＲＡＭ１３０８にロードされ、ＣＰＵ１３０６による処理対象となる。

なお、データ保存部１３０２には、フレキシブルディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ、メモリーカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード、ＵＳＢメモリ等のメモリ装置を適用しても良い。

また、データ保存部１３０２は画像処理装置が有することに限らず、例えば、ＬＡＮやインターネットなどの有線および／または無線のネットワーク上に設けてもよい。その場合、画像処理装置は通信部１３０３を介して該データ保存部１３０２にアクセスして、該データ保存部１３０２に対してコンピュータプログラムやデータの読み書きを行う。通信部１３０３は、上記のネットワークを介して外部装置との間のデータ通信を行う。

表示部１３０４は、液晶画面やタッチパネル画面を有し、ＣＰＵ１３０６による処理結果を画像や文字などでもって表示する。なお、表示部１３０４は画像処理装置が有することに限らない。また、表示部１３０４は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。また、入力部１３０１と表示部１３０４とを一体化させてタッチパネル画面を構成しても良い。

ＣＮＮ処理部１３０５は、ＲＡＭ１３０８に格納されている処理対象の画像（入力画像）をＣＮＮの入力層に入力して該ＣＮＮの各レイヤにおける演算処理を行い、該演算処理の結果をＲＡＭ１３０８やデータ保存部１３０２に格納する。

ＣＰＵ１３０６は、ＲＡＭ１３０８やＲＯＭ１３０７に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１３０６は、画像処理装置全体の動作制御を行うと共に、画像処理装置が行うものとして説明する各処理を実行もしくは制御する。

なお、ＲＡＭ１３０８へのコンピュータプログラムやデータの格納方法については特定の格納方法に限らず、例えば、通信部１３０３を介して外部装置から受信したコンピュータプログラムやデータを一旦データ保存部１３０２に保存した後にＲＡＭ１３０８に格納しても良い。また、通信部１３０３を介して外部装置から受信したコンピュータプログラムやデータを直接ＲＡＭ１３０８に格納しても良い。

ＣＰＵ１３０６は、ＣＮＮ処理部１３０５によりＲＡＭ１３０８もしくはデータ保存部１３０２に格納された「入力画像に対する演算処理の結果」を用いて、該入力画像に関する様々な処理を行うことができる。「入力画像に関する様々な処理」としては、例えば、該入力画像からの顔検出、該入力画像における顔認識、該入力画像における顔の数の計数、などがある。ＣＰＵ１３０６は、このような「入力画像に関する様々な処理」を含む様々な処理の結果をＲＡＭ１３０８やデータ保存部１３０２に格納する。なお、図１３では、ＣＰＵ１３０６の数を１としているが、２以上であっても良い。

ＲＯＭ１３０７には、画像処理装置の設定データ、画像処理装置の起動に係るコンピュータプログラムやデータ、画像処理装置の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

ＲＡＭ１３０８は、データ保存部１３０２やＲＯＭ１３０７からロードされたコンピュータプログラムやデータを格納するためのエリア、ＣＮＮ処理部１３０５から出力された演算処理の結果を格納するためのエリア、を有する。またＲＡＭ１３０８は、通信部１３０３によって外部装置から受信したコンピュータプログラムやデータを格納するためのエリア、ＣＰＵ１３０６や画像処理部１３０９が各種の処理を実行する際に用いるワークエリア、を有する。このようにＲＡＭ１３０８は、各種のエリアを適宜提供することができる。

画像処理部１３０９は、ＣＰＵ１３０６から画像処理の指示を受けると、ＲＡＭ１３０８やデータ保存部１３０２に格納されている画像に対し、該画像の各画素の画素値のレンジ調整等の画像処理を行う。

入力部１３０１、データ保存部１３０２、通信部１３０３、表示部１３０４、ＣＮＮ処理部１３０５、ＣＰＵ１３０６、ＲＯＭ１３０７、ＲＡＭ１３０８、画像処理部１３０９は何れも、システムバス１３１０に接続されている。

次に、ＣＮＮの構成例を図２を用いて説明する。図２に示すＣＮＮは、４つのレイヤ（レイヤ１、レイヤ２、レイヤ３、レイヤ４）を有する。レイヤ１は４つの特徴画像（特徴画像（１，１）、（１，２）、（１，３）、（１，４））を有し、レイヤ２は４つの特徴画像（特徴画像（２，１）、（２，２）、（２，３）、（２，４））を有する。レイヤ３は４つの特徴画像（特徴画像（３，１）、（３，２）、（３，３）、（３，４））を有し、レイヤ４は４つの特徴画像（特徴画像（４，１）、（４，２）、（４，３）、（４，４））を有する。

レイヤ１では、特徴画像（１，１）、（１，２）、（１，３）、（１，４）のそれぞれについて係数フィルタを用いた（式２）の積和演算を行うことで、レイヤ２の特徴画像（２，１）、（２，２）、（２，３）、（２，４））を出力特徴画像として生成する。

レイヤ２では、特徴画像（２，１）、（２，２）、（２，３）、（２，４）のそれぞれについて係数フィルタを用いた（式２）の積和演算を行うことで、レイヤ３の特徴画像（３，１）、（３，２）、（３，３）、（３，４））を出力特徴画像として生成する。

レイヤ３では、特徴画像（３，１）、（３，２）、（３，３）、（３，４）のそれぞれについて係数フィルタを用いた（式２）の積和演算を行うことで、レイヤ４の特徴画像（４，１）、（４，２）、（４，３）、（４，４））を出力特徴画像として生成する。

また、レイヤ１における拡張畳み込み処理倍率Ｒは１に設定されており、レイヤ２における拡張畳み込み処理倍率Ｒは２に設定されており、レイヤ３における拡張畳み込み処理倍率Ｒは４に設定されている。拡張前の係数フィルタのサイズは３ｘ３であり、各レイヤでは、拡張前の係数フィルタを該レイヤに対応する拡張畳み込み処理倍率に応じて拡張した拡張後の係数フィルタを用いて特徴画像との積和演算を行う。

各レイヤにおける係数フィルタの拡張例を図１７の左側に示す。レイヤ１では、枠１７０１内に示す如く、拡張前の係数フィルタ（左側の係数フィルタＣｘ、ｙ）を拡張畳み込み処理倍率Ｒ＝１に応じて拡張した拡張後の係数フィルタ（右側の係数フィルタＣ’ｘ、ｙ）を用いて特徴画像との（式２）の積和演算を行う。Ｒ＝１の場合、拡張前の係数フィルタと拡張後の係数フィルタとでサイズは変わっていない。

レイヤ２では、枠１７０２内に示す如く、拡張前の係数フィルタ（左側の係数フィルタＣｘ、ｙ）を拡張畳み込み処理倍率Ｒ＝２に応じて拡張した拡張後の係数フィルタ（右側の係数フィルタＣ’ｘ、ｙ）を用いて特徴画像との（式２）の積和演算を行う。拡張後の係数フィルタは、拡張前の係数フィルタにおける係数間に１つの無為の係数（例えば「０」の係数）を挿入することで得られる５×５の係数フィルタである。

レイヤ３では、枠１７０３内に示す如く、拡張前の係数フィルタ（左側の係数フィルタＣｘ、ｙ）を拡張畳み込み処理倍率Ｒ＝４に応じて拡張した拡張後の係数フィルタ（右側の係数フィルタＣ’ｘ、ｙ）を用いて特徴画像との（式２）の積和演算を行う。拡張後の係数フィルタは、拡張前の係数フィルタにおける係数間に３つの無為の係数を挿入することで得られる９×９の係数フィルタである。このように、拡張畳み込み処理倍率Ｒは、ＣＮＮにおけるレイヤごとに異なる。

図１２にＣＮＮと畳み込み処理の例を示す。レイヤ１にある４枚の特徴画像１２０１の同じ位置から特徴データを抽出して係数フィルタとの積和演算の結果を計算する。その結果が次のレイヤであるレイヤ２の同じ位置の特徴データになり、該特徴データを有する特徴画像１２０２が得られる。

上記のＣＮＮ処理部１３０５の構成例を図４のブロック図に示す。図４に示した機能部はハードウェアで実装しても良いし、ソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このコンピュータプログラムはデータ保存部１３０２に保存される。ＣＮＮ処理部１３０５の動作について、図１のフローチャートに従って説明する。

ステップＳ１０１では、制御部４０１は、拡張前の係数フィルタ、入力特徴画像（図２の例ではレイヤ１の特徴画像）、ＣＮＮの構造に関する情報（構造情報）をデータ保存部１３０２やＲＡＭ１３０８から読み出して、データ保持部４０８に格納する。構造情報には、例えば、積和演算の計算量、レイヤの数、特徴画像のサイズ、各レイヤにおける特徴画像の枚数等が含まれている。

そして制御部４０１による制御のもとで、ステップＳ１０３～Ｓ１１１の処理が、ＣＮＮにおけるレイヤごとに行われる。図２の例では、まずレイヤ１を対象レイヤとし、該レイヤ１についてステップＳ１０３～Ｓ１１１の処理が行われる。次に、レイヤ２を対象レイヤとし、該レイヤ２についてステップＳ１０３～Ｓ１１１の処理が行われる。次に、レイヤ３を対象レイヤとし、該レイヤ３についてステップＳ１０３～Ｓ１１１の処理が行われる。

ステップＳ１０３では、読み出し部４０５は、制御部４０１による制御のもとで、対象レイヤに対応する拡張畳み込み処理倍率Ｒをデータ保持部４０８から取得する。読み出し部４０５は、対象レイヤがレイヤ１であれば拡張畳み込み処理倍率Ｒとして「１」を取得し、対象レイヤがレイヤ２であれば拡張畳み込み処理倍率Ｒとして「２」を取得し、対象レイヤがレイヤ３であれば拡張畳み込み処理倍率Ｒとして「４」を取得する。

このようにして、レイヤごとに拡張畳み込み処理倍率Ｒを設定することができる。なお、拡張畳み込み処理倍率はレイヤごとに設定することに限らず、例えば出力特徴画像ごとに設定しても良いし、出力特徴画像のグループごとに設定しても良い。

そして制御部４０１による制御のもとで、ステップＳ１０５～Ｓ１１１の処理が、対象レイヤにて生成する出力特徴画像（対象レイヤに後続する次のレイヤ（次に対象レイヤとなるレイヤ）の特徴画像）ごとに行われる。図２の例では、対象レイヤがレイヤ１の場合は、まず特徴画像（２，１）を生成するべくステップＳ１０５～Ｓ１１１の処理を行い、次に、特徴画像（２，２）を生成するべくステップＳ１０５～Ｓ１１１の処理を行う。同様にして、次に特徴画像（２，３）を生成するべくステップＳ１０５～Ｓ１１１の処理を行い、次に、特徴画像（２，４）を生成するべくステップＳ１０５～Ｓ１１１の処理を行う。ステップＳ１０５では、制御部４０１は、処理部４０６が有する格納ユニット５０３（図５）に保持されている畳み込み演算処理結果を０に初期化する。

そして制御部４０１による制御のもとで、ステップＳ１０７～Ｓ１０８の処理が、対象レイヤにおける特徴画像ごとに行われる。図２の例では、対象レイヤがレイヤ１の場合は、まず特徴画像（１，１）を対象特徴画像とし、該対象特徴画像についてステップＳ１０７～Ｓ１０８の処理を行う。次に、特徴画像（１，２）を対象特徴画像とし、該対象特徴画像についてステップＳ１０７～Ｓ１０８の処理を行う。次に、特徴画像（１，３）を対象特徴画像とし、該対象特徴画像についてステップＳ１０７～Ｓ１０８の処理を行う。次に、特徴画像（１，４）を対象特徴画像とし、該対象特徴画像についてステップＳ１０７～Ｓ１０８の処理を行う。

ステップＳ１０７では、制御部４０１は、対象レイヤがレイヤ１であれば、データ保持部４０８に格納されている入力特徴画像を対象特徴画像として保持部４０２に転送し、データ保持部４０８に格納されている拡張前の係数フィルタを保持部４０４に転送する。一方、対象レイヤがレイヤＡ（Ａは２以上の整数）である場合には、レイヤＡについて処理部４０７が生成済みの特徴画像が対象特徴画像として保持部４０２に転送して格納されており、拡張前の係数フィルタは保持部４０４に転送済みであるため、ステップＳ１０７は省略しても良い。

ステップＳ１０８では、処理部４０６は制御部４０１による制御のもとで、保持部４０２に保持されている対象特徴画像、読み出し部４０５が読み出した拡張畳み込み処理倍率Ｒ、保持部４０４に保持されている係数フィルタ、を用いて畳み込み演算処理を行う。ステップＳ１０８における処理の詳細については、図１５を用いて後述する。

処理がステップＳ１１０に進んだ時点では、処理対象のレイヤにおける全ての特徴画像について畳み込み演算処理が行われており、該畳み込み演算処理の結果（畳み込み演算処理結果）が格納ユニット５０３（図５）に格納されている。然るにステップＳ１１０では、処理部４０７は、制御部４０１による制御のもとで、格納ユニット５０３に格納されているそれぞれの畳み込み演算処理結果に基づいて以下の（式５）に基づく演算処理を行うことで活性化処理を行う。

ここで、ｆ（ｘ）は活性化関数であり、ｘは畳み込み演算処理結果である。ここでは活性化関数をReLU（Rectified Linear Unit）を用いて実現しているが、活性化関数はReLUに限定されるものではなく、他の非線形の関数、または量子化関数で実現しても良い。また、処理部４０７は、レイヤの情報に応じて、活性化処理の結果に基づいてプーリング処理を行い、必要に応じて出力特徴画像のサイズを調整する。

ステップＳ１１１では、制御部４０１は、ステップＳ１１０で求めた活性化・プーリング処理の結果（出力特徴画像）を、対象レイヤに後続する次のレイヤ（次に対象レイヤとなるレイヤ）の特徴画像として保持部４０２に格納する。

次に、上記のステップＳ１０８における処理の詳細について、図１５のフローチャートに従って説明する。処理部４０６の構成例を図３のブロック図に示す。以下では、保持部４０２には、対象特徴画像が、６画素ｘ６画素のサイズを有する画素ブロック（画素セット）単位で読み出し可能に格納されているものとする。例えば、制御部４０１は、対象特徴画像を複数の画素セット（隣接する画素セットと重複部分を有しながら）に分割し、それぞれの画素セットを保持部４０２に格納する。以下では、図１４（ａ）に示す如く、画素セット１４０１中の位置（ｉ、ｊ）（１≦ｉ、ｊ≦６）における画素（特徴データ）をＤ_ｉ、ｊと表記する。

また以下では、保持部４０４には、３ｘ３のサイズの係数フィルタが格納されているものとする。以下では、図１４（ｂ）に示す如く、係数フィルタ中の（ｉ、ｊ）（１≦ｉ、ｊ≦３）における係数をＣ_ｉ、ｊと表記する。

本実施形態では、演算器は４つあり、共通の係数に対して異なる画素の画素値を並列に乗算し、図１４（ｃ）に示す如く、異なる位置の４つの畳み込み処理結果（Ｏ_１，１、Ｏ_１，２、Ｏ_２，１、～Ｏ _２，２ ）を並列に計算する。

以下では、ステップＳ１５０３～Ｓ１５１２の処理が、対象特徴画像における画素セットごとに行われる。ステップＳ１５０３では、制御部３１１は、画素の転送パターンを規定する関数（式８）、係数の転送パターンを規定する関数（式９）、転送する画素の間隔を規定する関数（式１０）、転送する係数の間隔を規定する関数（式１１）、を設定部３０１に設定する。（式８）～（式１１）については後述する。

ステップＳ１５０４では、制御部３１１は、保持部４０２に格納されている対象特徴画像において未選択の画素セットのうち１つの画素セットを選択画素セットとして選択し、該選択画素セットを保持部４０２から読み出して格納部３０６に格納する。また制御部３１１は、保持部４０４に保持されている係数フィルタのうち対応する係数フィルタを選択係数フィルタとして選択し、該選択係数フィルタを保持部４０４から読み出して格納部３０５に格納する。

ステップＳ１５０５では、制御部３１１は、畳み込み処理の結果の初期値を設定し、係数の処理順序を示す変数ｍ（本実施形態以降で用いる変数ｍは（式４）以前で用いた変数ｍとは異なる）を１に初期化することで、処理部４０６の初期化を行う。畳み込み処理の結果の初期値は入力特徴画像と関係があり、最初の入力特徴画像を処理する場合には、畳み込み処理の結果の初期値は０に設定し、それ以降の特徴画像を処理する場合は、畳み込み処理の結果の初期値は、前の特徴画像の処理結果になる。

ステップＳ１５０６では、係数フィルタのカーネルを走査させて、選択画素セットと選択係数フィルタとを用いた積和演算により畳み込み処理（拡張畳み込み処理）が行われる。本実施形態では、以下の（式６），（式７）を計算することで畳み込み処理結果を取得する。

ここで、ｉは水平方向における位置を示すインデックス、ｊは垂直方向における位置を示すインデックス、である。Ｄｘ（ｍ）は画素セットにおいて変数ｍに対応する水平位置を返す関数、Ｄｙ（ｍ）は画素セットにおいて変数ｍに対応する垂直位置を返す関数である。Ｃｘ（ｍ）は選択係数フィルタにおいて変数ｍに対応する水平位置を返す関数、Ｃｙ（ｍ）は選択係数フィルタにおいて変数ｍに対応する垂直位置を返す関数である。ステップＳ１５０６における処理の詳細については後述する。

ステップＳ１５１２では、処理部３０９は、ステップＳ１５０６において該処理部３０９が行った積和演算により得られる４つの畳み込み処理結果（Ｏ_１，１、Ｏ_１，２、Ｏ_２，１、Ｏ _２，２）をメモリ３１０に格納する。処理部４０７は、このメモリ３１０に格納されている畳み込み処理結果を用いて活性化処理およびプーリング処理を行う。

次に、上記のステップＳ１５０６における処理の詳細について説明する。ステップＳ１５０６では、ステップＳ１５０８～Ｓ１５１０の処理が、選択係数フィルタにおける係数の個数分繰り返される。

ステップＳ１５０８では、転送制御部３０７は、設定部３０１に設定した（式８）の関数および（式１０）の関数を格納部３０６に転送する。そして転送制御部３０７は、格納部３０６に転送されたこれらの関数を用いて、選択画素セット中の位置（Ｄｘ（ｍ）、Ｄｙ（ｍ））における画素Ｄ_{Ｄｘ（ｍ）、Ｄｙ（ｍ）}を取得する。転送制御部３０４は、設定部３０１に設定した（式９）の関数および（式１１）の関数を格納部３０５に転送する。そして転送制御部３０４は、格納部３０５に転送されたこれらの関数を用いて、選択係数フィルタ中の位置（Ｃｘ（ｍ）、Ｃｙ（ｍ））における係数Ｃ_{Ｃｘ（ｍ）、Ｃｙ（ｍ）}を取得する。

格納部３０６の構成例について図６を用いて説明する。格納部３０６は複数の画素格納ユニットを有する。画素格納ユニットは２種類（画素格納ユニットＡと画素格納ユニットＢ）あり、それぞれが周りの画素格納ユニットと接続されており、２次元的に配置されている。画素格納ユニットＡは処理部３０９と接続されており、画素格納ユニットＢは処理部３０９と接続されていない。画素格納ユニットＡおよび画素格納ユニットＢは、画素を格納するための画素格納メモリとマルチプレクサとを有する。

図６では、格納部３０６は３６個の画素格納ユニットを有し、拡張畳み込み処理倍率Ｒが１または２の処理をサポート可能である。ブロック６０１内の画素格納ユニットＡ以外の画素格納ユニットＢの構成を破線６０３中に示す。１つの画素格納ユニットＢは１つの画素を格納することができる。画素格納ユニットＢは、設定部３０１に保持されている（式８）の関数および（式１０）の関数に基づき、自身の周囲（自身の１つ上、１つ下、１つ左、１つ右、２つ上、２つ下、２つ左、２つ右）の８つの画素格納ユニットに保持されている画素を選択して、自身の画素格納メモリに格納する。また、１つの画素格納ユニットＢは並列に周りの８つの画素格納ユニットに画素を供給することが可能である。演算器は４並列であり、並列に処理する４つの画素が異なるため、ブロック６０１内の画素格納ユニットＡ（画素格納ユニット１－１、１－２、２－１、２－２）は４つある。画素格納ユニットＡの構成を破線６０２中に示す。画素格納ユニットＡの構成は画素格納ユニットＢの構成と同じであり、１つの画素格納ユニットＡは１つの画素を格納することができる。画素格納ユニットＡは設定部３０１に保持されている（式８）の関数および（式１０）の関数に基づき、自身の周囲（自身の１つ上、１つ下、１つ左、１つ右、２つ上、２つ下、２つ左、２つ右）の８つの画素格納ユニットに保持されている画素を選択して、自身の画素格納メモリに格納する。また、１つの画素格納ユニットは並列に周りの８つの画素格納ユニットと格納部３０６の出力先に画素を供給することが可能である。拡張畳み込み処理倍率Ｒが１の場合、上記の「自身の周囲」として「自身の１つ上、１つ下、１つ左、１つ右」が選択され、拡張畳み込み処理倍率Ｒが２の場合、上記の「自身の周囲」として「自身の２つ上、２つ下、２つ左、２つ右」が選択される。

格納部３０５の構成例について、図７を用いて説明する。格納部３０５は複数の係数格納ユニットを有する。係数格納ユニットは２種類（係数格納ユニットＡと係数格納ユニットＢ）あり、それぞれが周りの係数格納ユニットと接続されており、２次元的に配置されている。係数格納ユニットＡは処理部３０９と接続されており、係数格納ユニットＢは処理部３０９と接続されていない。係数格納ユニットＡおよび係数格納ユニットＢは、係数を格納するための係数格納メモリとマルチプレクサとを有する。

図７では、格納部３０５は９個の係数格納ユニットを有し、破線７０１に囲まれた係数格納ユニットＡ以外の係数格納ユニットＢの構成を破線７０３中に示す。１つの係数格納ユニットＢは１つの係数を格納することができる。係数格納ユニットＢは設定部３０１に設定されている（式９）の関数および（式１１）の関数に基づき、自身の周囲（自身の１つ上、１つ下、１つ左、１つ右）の４つの係数格納ユニットに保持されている係数を選択して、自身の係数格納メモリに格納する。また、１つの係数格納ユニットＢは並列に周りの４つの係数格納ユニットに係数を供給することが可能である。演算器は４並列であるが、並列に処理する係数は同じであるため、破線７０１内の係数格納ユニットＡ（係数格納ユニット１－１）は１つある。係数格納ユニットＡの構成を破線７０２中に示す。係数格納ユニットＡの構成は係数格納ユニットＢの構成と同じであり、１つの係数格納ユニットＡは１つの係数を格納することができる。係数格納ユニットＡは設定部３０１に保持されている（式９）の関数および（式１１）の関数に基づき、自身の周囲（自身の１つ上、１つ下、１つ左、１つ右）の４つの係数格納ユニットに保持されている係数を選択して、自身の係数格納メモリに格納する。また、１つの係数格納ユニットは並列に周りの４つの係数格納ユニットと格納部３０５の出力先に係数を供給することが可能である。ここで、（式８）～（式１１）を以下に示す。

Ｄｘ（１）、Ｄｙ（１）、Ｃｘ（１）、Ｃｙ（１）にはそれぞれ初期値が設定されている。変数ｍの値が１の場合は、Ｄｘ（ｍ）、Ｄｙ（ｍ）、Ｃｘ（ｍ）、Ｃｙ（ｍ）として、それぞれＤｘ（１）、Ｄｙ（１）、Ｃｘ（１）、Ｃｙ（１）を用いる。変数ｍの値が２以上の場合には、Ｄｘ（ｍ）、Ｄｙ（ｍ）、Ｃｘ（ｍ）、Ｃｙ（ｍ）は（式８）～（式１１）に従って求める。Ｉｘ（）、Ｊｘ（）は水平方向に対するシフト関数、Ｉｙ（）、Ｊｙ（）は垂直方向に対するシフト関数である。Ｐ_Ｄ（）、Ｐ _Ｃ （）については後述する。

ステップＳ１５０９では、転送制御部３０７は、ステップＳ１５０８で取得した４つの画素（本実施形態では、演算器は４並列であり、これにより並列に取得して転送された４つの画素）を処理部３０９に転送する。また、転送制御部３０４は、ステップＳ１５０８で取得した１つの係数を処理部３０９に転送する。

処理部３０９の構成例について、図５のブロック図を用いて説明する。図５に示す如く、処理部３０９は、乗算器５０１、加算器５０２、格納ユニット５０３、のセットを（Ｍ×Ｎ）個有しており、（Ｍ×Ｎ）個の画素と１個の係数による積和演算を並列に処理することが可能である。本実施形態では、演算器は４並列であり、（Ｍ×Ｎ）は４である。ステップＳ１５０５で処理結果の初期値を設定したので、変数ｍが１の場合、格納ユニット５０３にはこの初期値が格納されている。

ステップＳ１５１０では、処理部３０９は、乗算器５０１と加算器５０２とを用いて「画素と係数との乗算」および「乗算結果の累積演算」を行うことで、上記の（式６）および（式７）の積和演算（畳み込み処理）を行う。そして処理部３０９は、該畳み込み処理の結果を格納ユニット５０３に格納する。本実施形態では、演算器は４並列なので、（式６）に示した画素と係数の積（Ｐ_{ｉ，ｊ，ｍ}，ｉ＝１，２，ｊ＝１，２）を並列に計算し、計算された積を処理結果（Ｏ_ｉ，ｊ，ｉ＝１，２，ｊ＝１，２）に並列に加算することができる。

そして、ステップＳ１５１０の終了時点で、変数ｍの値が係数フィルタにおける係数の個数（ＸｘＹ＝９）に達していない場合には、制御部３１１により変数ｍの値を１つインクリメントして再度、ステップＳ１５０８～Ｓ１５１０の処理を繰り返す。一方、ステップＳ１５１０の終了時点で、変数ｍの値が係数フィルタにおける係数の個数（ＸｘＹ＝９）に達している場合には、処理はステップＳ１５１２に進む。

＜拡張畳み込み処理の処理例＞
ここでは、１つの画素セットと１つの係数フィルタの積和演算（ステップＳ１５０６）の処理例について説明する。積和演算を開始する前に、ステップＳ１５０５で処理部４０６を初期化したため、畳み込み処理結果Ｏ_１，１～Ｏ_２，２は初期値になる。変数ｍの値を１に設定してから、ステップＳ１５０８に進む。

（式８）におけるＰ_Ｄ（ｍ）、（式９）におけるＰ_Ｃ（ｍ）については、変数ｍの値が１の場合、Ｐ_Ｃ（ｍ）、Ｐ_Ｄ（ｍ）、Ｉｘ（）、Ｉｙ（）を計算せずに、（Ｄｘ（１）、Ｄｙ（１））＝（Ｃｘ（１）、Ｃｙ（１））＝（１，１）に設定する。

ステップＳ１５０８では、転送制御部３０７は、画素Ｄ_１，１と係数Ｃ_１，１を取得する。図８に示す如く、変数ｍの値が１の場合、画素セット８０１の中の４個の画素（Ｄ_１，１～Ｄ_２，２）を取得する。破線８０２は、図６の格納部３０６に格納された画素の例を示しており、３６個の画素格納ユニットは３６個の画素（Ｄ_１，１～Ｄ_６，６）を格納している。

図９に示す如く、変数ｍの値が１の場合、係数フィルタ９０１の中の１個の係数（Ｃ_１，１）を取得する。破線９０２は図６の格納部３０５に格納された係数の例を示しており、９個の係数格納ユニットは９個の係数（Ｃ_１，１～Ｃ_３，３）を格納している。

画素の転送パターン（ｍ、Ｐ_Ｄ（ｍ）、Ｉｘ（Ｐ_Ｄ（ｍ）），Ｉｙ（Ｐ_Ｄ（ｍ）），方向、Ｄｘ（ｍ）、Ｄｙ（ｍ））と係数の転送パターン（ｍ、Ｐ_Ｃ（ｍ）、Ｊｘ（Ｐ_Ｃ（ｍ）），Ｊｙ（Ｐ_Ｃ（ｍ）），方向、Ｃｘ（ｍ）、Ｃｙ（ｍ））と方向の例について図１０を用いて説明する。図６に示す如く、出力に繋がっている画素格納ユニットは４個あるが、ここでは左上の画素格納ユニット１－１のみで説明する。画素格納ユニット１－１は出力結果（Ｏ_１，１）に対応しており、画素転送の開始位置は左上である。図７に示したように、出力に繋がっている係数格納ユニットは係数格納ユニット１－１である。係数転送の開始位置は左上である。

画素転送と係数転送の例（畳み込み処理倍率Ｒ＝２）について、図１１を用いて説明する。変数ｍの値が１の場合、Ｄ_１，１とＣ_１，１の積を初期値に加算し、（式６）でＯ_１，１を計算する。図１１に示したＯ_１，２、Ｏ_２，１、Ｏ_２，２についてもＯ_１，１と同様の方法で取得可能であるため、その説明は省略する。本実施形態では、４つの畳み込み処理結果を並列に計算することが可能である。その後、変数ｍの値を２に変更して、ステップＳ１５０８に進む。

変数ｍの値が２以上の場合、Ｐ_Ｄ（２）は０であり、Ｉｘ（Ｐ_Ｄ（２））およびＩｙ（Ｐ_Ｄ（２））は（２，０）である。そして上記の（式８）および（式１０）から（Ｄｘ（２）、Ｄｙ（２））を（３，１）として求める。図６に示したように、シフト関数の値は８種類あり、破線６０２または破線６０３の構成で入力画素を直接的に選択することができるので、処理速度が速い。

Ｐ_Ｃ（２）は０であり、Ｉｘ（Ｐ_Ｃ（２））およびＩｙ（Ｐ_Ｃ（２）））は（１，０）である。そして上記の（式９）および（式１１）から（Ｃｘ（２）、Ｃｙ（２））を（２，１）として求める。図７に示したように、シフト関数の値は４種類あり、破線７０２または破線７０３の構成で係数を直接的に選択することができるので、処理速度が速い。

ステップＳ１５０８では、転送制御部３０７は、選択画素セット中の画素Ｄ_３、１を取得する。転送制御部３０４は、係数フィルタ中の係数Ｃ_２、１を取得する。図８に示す如く、変数ｍの値が２の場合、画素セット８０３の中の４個の画素（Ｄ_２，１～Ｄ_３，２）を出力画素として取得する。シフト関数の値は拡張畳み込み処理倍率Ｒに応じて異なる。

破線８０２は、拡張畳み込み処理倍率Ｒが１の場合に図６の格納部３０６が保持する画素を示す。出力画素のシフト方向は右であるため、格納部３０６の中の画素格納ユニット１－１は画素格納ユニット２－１から画素を選択し、図６の画素格納メモリに保持する。画素格納ユニット１－１にある画素は画素格納ユニット２－１にある画素に置き換えられ、破線８０２の状態が破線８０４の状態に変更される。

破線８０８は、拡張畳み込み処理倍率Ｒが２の場合に図６の格納部３０６が保持する画素を示す。８０５および８０６に示す如く、出力画素のシフト方向は右であるため、格納部３０６の中の画素格納ユニット１－１は画素格納ユニット３－１から画素を選択し、図６の画素格納メモリに保持する。画素格納ユニット１－１にある画素は画素格納ユニット３－１にある画素に置き換えられ、破線８０７の状態が破線８０８の状態に変更される。

このように、本実施形態によれば、読み出されたデータと隣接するデータ以外のデータ（読み出されたデータから行方向に２つ以上離れたデータ）を次に読み出し可能である。つまり、特徴画像から互いに非隣接の画素を取得可能である。

図９に示す如く、変数ｍの値が２の場合、係数フィルタ９０３の中の１個の係数（Ｃ_２，１）を出力係数として取得する。シフト関数による処理は拡張畳み込み処理倍率Ｒと関係がない。

破線９０２（９０１に対応する）は、図７に示した格納部３０５が保持する係数を示す。出力係数のシフト方向は右であるため、格納部３０５の中の係数格納ユニット１－１は係数格納ユニット２－１からの係数を選択し、図８の係数格納メモリに保持する。係数格納ユニット１－１にある係数は係数格納ユニット２－１にある係数に置き換えられ、破線９０２の状態が破線９０４の状態に変更する。

係数の転送パターン（ｍ、Ｐ_Ｄ（ｍ）、Ｉｘ（Ｐ_Ｄ（ｍ）），Ｉｙ（Ｐ_Ｄ（ｍ）），方向、Ｄｘ（ｍ）、Ｄｙ（ｍ））と係数の転送パターン（ｍ、Ｐ_Ｃ（ｍ）、Ｊｘ（Ｐ_Ｃ（ｍ）），Ｊｙ（Ｐ_Ｃ（ｍ）），方向、Ｃｘ（ｍ）、Ｃｙ（ｍ））と方向の例について図１０を用いて説明する。図１０に示す如く、格納ユニット１－１は出力結果（Ｏ_１，１）に対応しており、画素のシフト方向は右である。ここで、係数のシフト方向は右である。

画素転送と係数転送の例（畳み込み処理倍率Ｒ＝２）について、図１１を用いて説明する。変数ｍの値が２の場合、Ｄ_３，１とＣ_２，１の積を、先に計算したＤ_１，１とＣ_１，１の積に加算し、（式６）でＯ_１，１を計算する。図１１に示したＯ_１，２、Ｏ_２，１、Ｏ_２，２についてもＯ_１，１と同様の方法で取得可能であるため、その説明は省略する。

その後、変数ｍの値を３に変更し、ステップＳ１５０８に進む。図１０、１１、１２に示したように、転送パターンに基づき、（式６）～（式１１）で出力結果Ｏ_１，１～Ｏ_２，２を計算する。このようにして、乗算と累積加算を繰り返す。変数ｍの値が９に達すると、出力結果（Ｏ_１，１、Ｏ_１，２、Ｏ_２，１、Ｏ_２，２）は拡張畳み込み処理の結果としてメモリ３１０に格納されている。

このように、本実施形態では、転送パターンや拡張畳み込み処理倍率等に基づき、画素と係数のシフト量と方向を選択するので、それぞれ効率よく転送することができる。また、１つの画素格納ユニット及び係数格納ユニットがそれぞれ隣接する８つのユニットからデータを受け取ることにより、ゼロの係数による無駄な演算がなくなり、積和演算に必要な画素と係数を全部出力することができる。そのため、拡張畳み込み処理を効率的に行うことが可能である。

［第２の実施形態］
本実施形態以降では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとして説明する。本実施形態では、階層的な画素格納ユニットを用いて複数の拡張畳み込み処理倍率Ｒで処理する。

階層的な画素格納ユニットで構成される格納部３０６の構成例について、図１６のブロック図を用いて説明する。図１６の例では階層が３つあり、階層の変数はＸ_０、Ｘ_１、Ｘ_２の３つある。３つの階層の画素格納ユニットから画素を選択し、第１の実施形態で説明した図６の構成と同じスループットで画素を出力することができる。複数の画素格納ユニットは複数のマルチプレクサを有する。ここでの階層はＣＮＮの階層と関係がない。

第１階層１６０１では、２種類のシフト量（１または０）がある。画素格納ユニットＡＡ１６０４には、第２階層１６０２において同位置の画素選択ユニットＡＢ１６０５と、画素格納ユニットＡＡ１６０４と上下左右に隣接する画素格納ユニットと、が接続されている。第２階層１６０２の同位置の画素選択ユニットＡＢ１６０５が選択される場合は、階層の変数Ｘ_０の値が０になるが、そうでない場合、変数Ｘ_０の値が１になる。

第２階層１６０２では、２種類のシフト量（２または０）がある。画素選択ユニットＡＢ１６０５には、第３階層１６０３において同位置の画素選択ユニットＡＣ１６０６と、画素選択ユニットＡＢ１６０５と上下左右に隣接しない画素選択ユニットと、が接続されている。第３階層１６０３の同位置の画素選択ユニットＡＣ１６０６が選択される場合は、階層の変数Ｘ_１の値が０になるが、そうでない場合、変数Ｘ_１の値が１になる。

第３階層１６０３では、２種類のシフト量（４または０）がある。画素選択ユニットＡＣ１６０６には、第１階層１６０１において同位置の画素格納ユニットＡＡ１６０４と、画素選択ユニットＡＣ１６０６と上下左右に隣接しない画素選択ユニットと、が接続されている。第１階層１６０１において同位置の画素格納ユニットＡＡ１６０４が選択される場合は、階層の変数Ｘ_２の値が０になるが、そうでない場合、変数Ｘ_２の値が１になる。

式１０でＩｘ（）とＩｙ（）を計算する場合、拡張畳み込み処理倍率Ｒは以下の（式１２）により計算される。

これによれば、拡張畳み込み処理倍率Ｒの最大値が７になり、１～７の７種類の拡張畳み込み処理倍率Ｒをサポート可能である。拡張畳み込み処理倍率Ｒに基づいて、読み出されたデータの水平方向の間隔または垂直方向の間隔を決定できる。

階層数がＨの場合、拡張畳み込み処理倍率Ｒの最大値が（２^Ｈ－１）になり、１～（２^Ｈ－１）の（２^Ｈ－１）種類の拡張畳み込み処理倍率をサポート可能である。本実施形態に係るＣＮＮ処理部１３０５の構成例を図２１のブロック図に示す。ここでは、階層を示す変数をＸ_ｉ（ｉ＝１，…，Ｈ）とする。この場合、拡張畳み込み処理倍率Ｒは、以下の（式１３）に基づいて求めることができる。

このように、本実施形態によれば、階層的な画素格納ユニットはＨ倍の回路コストで（２^Ｈ－１）種類の拡張畳み込み処理倍率Ｒをサポートできるため、少ないハードウェアのコストで柔軟性を高くできるというメリットがある。

［第３の実施形態］
第１の実施形態および第２の実施形態では、ＣＮＮに適用した例について説明したが、これに限らず、ＣＮＮ以外のアプリケーション（画像処理等のアプリケーション）に適用しても良い。

第１の実施形態および第２の実施形態では、２次元データを取り扱うＣＮＮに適用した例について説明したが、これに限らず、１次元データや３次元以上のデータを取り扱うＣＮＮに適用しても良い。

第１の実施形態では、画素格納ユニットを３６個有する例について説明したが、アプリケーションに応じて、水平方向と垂直方向の画素格納ユニットの個数を決定し、様々な入力データサイズに対応するようにしても良い。

第１の実施形態では、拡張畳み込み処理倍率Ｒが１または２の処理をサポート可能である例について説明したが、図６に示す画素格納ユニットの入力を増やして、拡張畳み込み処理倍率Ｒが３以上の処理をサポートするようにしても良い。

第１の実施形態および第２の実施形態では、水平方向と垂直方向で画素（データ）を転送する例について説明したが、２次元でのデータ転送に限定されるわけでなく、簡略化した１次元または３次元以上でのデータ転送で実現しても良い。

第２の実施形態では、第１階層１６０１、第２階層１６０２で上下左右の画素格納ユニットから選択した結果を次の階層に転送する例について説明したが、４方向（上下左右）毎に階層的な画素格納ユニットを設けても良い。

第１の実施形態では、拡張前の係数フィルタのサイズが３×３である場合における畳み込み処理について説明したが、拡張前の係数フィルタのサイズは３×３に限らず、２×２等の任意のサイズであっても良い。

図１７の右側に、拡張前の係数フィルタのサイズが２×２である場合における、係数フィルタの拡張例を示す。枠１７０４内に示す如く、拡張前の係数フィルタ（左側の係数フィルタＣｘ、ｙ）を拡張畳み込み処理倍率Ｒ＝１に応じて拡張することで、拡張後の係数フィルタ（右側の係数フィルタＣ’ｘ、ｙ）を得る。Ｒ＝１の場合、拡張前の係数フィルタと拡張後の係数フィルタとでサイズは変わっていない。

枠１７０５内に示す如く、拡張前の係数フィルタ（左側の係数フィルタＣｘ、ｙ）を拡張畳み込み処理倍率Ｒ＝２に応じて拡張することで、拡張後の係数フィルタ（右側の係数フィルタＣ’ｘ、ｙ）を得る。拡張後の係数フィルタは、拡張前の係数フィルタにおける係数間に１つの無為の係数を挿入することで得られる３×３の係数フィルタである。

枠１７０６内に示す如く、拡張前の係数フィルタ（左側の係数フィルタＣｘ、ｙ）を拡張畳み込み処理倍率Ｒ＝４に応じて拡張することで、拡張後の係数フィルタ（右側の係数フィルタＣ’ｘ、ｙ）を得る。拡張後の係数フィルタは、拡張前の係数フィルタにおける係数間に３つの無為の係数を挿入することで得られる５×５の係数フィルタである。

また、拡張前の係数フィルタのサイズが２×２の場合には、座標のインデックスを修正して、以下の（式１４）を用いてＯ_ｉ，ｊ（ｎ）を求めるようにしても構わない。この式での拡張畳み込み処理倍率Ｒは２の倍数である。

拡張前の係数フィルタのサイズが２×２の場合、カスケード接続した２つの係数フィルタを用いて、サイズが３×３の係数フィルタに近似することができる。図１９にカスケード接続した拡張畳み込み処理の係数フィルタの例を示す。

拡張畳み込み処理倍率Ｒが２の場合、係数フィルタのサイズは２×２から３×３に拡張される。係数が０の位置が同じであるため、カスケード接続した係数フィルタは、サイズが３×３から５×５に拡張された係数フィルタに近似できる。

拡張畳み込み処理倍率Ｒが４の場合、係数フィルタのサイズは２×２から５×５に拡張される。係数が０の位置が同じであるため、カスケード接続した係数フィルタは、サイズが５×５から９×９に拡張された係数フィルタに近似できる。

図１８にカスケード接続した拡張畳み込み処理を畳み込みニューラルネットワークに適用した例を示す。畳み込み処理レイヤは２層あり、特徴画像は３セット（Ｃ１枚、Ｃ１枚、Ｃ２枚、またはＣ１枚、Ｃ２枚、Ｃ２枚）ある。深さ方向畳み込み処理（Ｄｅｐｔｈｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ）と併用する場合、カスケード接続した拡張畳み込み処理の係数フィルタにおける係数が８×Ｃ１個、４×Ｃ１×（Ｃ２＋１）個、４×（Ｃ１＋１）×Ｃ２個ある。深さ方向畳み込み処理と併用しない場合、カスケード接続した拡張畳み込み処理の係数フィルタにおける係数が４×（Ｃ１＋Ｃ２）×Ｃ２個、または４×（Ｃ１＋Ｃ２）×Ｃ１個ある。サイズが３×３から５×５に拡張された係数フィルタにおける係数が９×Ｃ１×Ｃ２個ある。特徴画像の枚数Ｃ１、Ｃ２を調整し、カスケード接続した拡張畳み込み処理の係数の個数を近似する対象より小さくすることができるため、係数削減の効果がある。

画像分割処理のための畳み込みニューラルネットワークの一例を図２０に示す。この畳み込みニューラルネットワークにカスケード接続した拡張畳み込み処理が含まれている。第１の実施形態もしくは第２の実施形態の構成で拡張前のフィルタサイズが２×２の拡張畳み込み処理を行い、図２０に示す畳み込みニューラルネットワークを実現することができる。

なお、第１の実施形態および第２の実施形態では、特徴画像を画素セット単位で処理する例について説明したが、特徴画像を１つの画素セットとして上記の処理を行っても良い。

また、上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の構成／送信先／送信元／格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１３０１：入力部 １３０２：データ保存部 １３０３：通信部 １３０４：表示部 １３０５：ＣＮＮ処理部 １３０６：ＣＰＵ １３０７：ＲＯＭ １３０８：ＲＡＭ １３０９：画像処理部 １３１０：システムバス

Claims (12)

1. 特徴画像の画素ごとの画素情報が格納されたメモリとマルチプレクサとを有する２次元配置された画素格納部群のうち特定の画素格納部から前記画素情報を取得する第１取得手段と、
   前記第１取得手段が取得した画素情報に基づく畳み込み演算を行う演算手段と
   を備え、
   前記画素格納部は、前記特徴画像における隣接画素を格納した画素格納部および前記特徴画像における非隣接画素を格納した画素格納部と接続されており、前記マルチプレクサの選択により画素格納部間で画素情報をシフト可能であり、
   前記第１取得手段が取得済みの画素情報に対し前記特徴画像において非隣接の画素情報を取得するときには、前記特定の画素格納部が有する前記マルチプレクサは、該非隣接画素を格納した画素格納部から前記特定の画素格納部へ画素情報をシフトするように選択し、
   前記第１取得手段が取得済みの画素情報に対し前記特徴画像において隣接した画素情報を取得するときには、前記特定の画素格納部が有する前記マルチプレクサは、該隣接画素を格納した画素格納部から前記特定の画素格納部へ画素情報をシフトするように選択する
   ことを特徴とする画像処理装置。
2. さらに、
   係数フィルタから係数を取得する第２取得手段を備え、
   前記演算手段は、前記第１取得手段が取得した画素情報と前記第２取得手段が取得した係数とに基づく畳み込み演算を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記演算手段は、階層型ニューラルネットワークにおけるレイヤごとに、該レイヤにおける特徴画像から前記第１取得手段が取得した画素情報と、該レイヤにおける係数フィルタから前記第２取得手段が取得した係数と、に基づく畳み込み演算を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１取得手段は、前記レイヤごとに設定されている値、前記レイヤごとの特徴画像に設定される値、前記レイヤごとの特徴画像のグループに設定される値、の何れかに応じて、前記特徴画像から取得する画素情報を選択することを特徴とする請求項３に記載の画像処理装置。
5. 前記第１取得手段は、前記レイヤごとに設定されている値、前記レイヤごとの特徴画像に設定される値、前記レイヤごとの特徴画像のグループに設定される値、の何れかに応じた間隔で、前記特徴画像から互いに非隣接の画素情報を取得することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記第２取得手段は、前記レイヤごとに設定されている値、前記レイヤごとの特徴画像に設定される値、前記レイヤごとの特徴画像のグループに設定される値、の何れかに応じた間隔で、前記係数フィルタから互いに非隣接の係数を取得することを特徴とする請求項３ないし５の何れか１項に記載の画像処理装置。
7. 前記間隔は、水平方向における間隔もしくは垂直方向における間隔であることを特徴とする請求項５または６に記載の画像処理装置。
8. 前記非隣接の画素情報は、水平方向もしくは垂直方向において互いに非隣接の画素情報であることを特徴とする請求項１ないし７の何れか１項に記載の画像処理装置。
9. 前記演算手段は、画素と係数との積和演算を行う手段を複数、有することを特徴とする請求項２ないし８の何れか１項に記載の画像処理装置。
10. 前記特定の画素格納部は複数あり、
    前記第１取得手段が前記特定の画素格納部から取得した前記画素情報を前記演算手段へ並列に供給することを特徴とする請求項１ないし９の何れか１項に記載の画像処理装置。
11. 画像処理方法であって、
    特徴画像の画素ごとの画素情報が格納されたメモリとマルチプレクサとを有する２次元配置された画素格納部群のうち特定の画素格納部から前記画素情報を取得する第１取得工程と、
    前記第１取得工程で取得した画素情報に基づく畳み込み演算を行う演算工程と
    を備え、
    前記画素格納部は、前記特徴画像における隣接画素を格納した画素格納部および前記特徴画像における非隣接画素を格納した画素格納部と接続されており、前記マルチプレクサの選択により画素格納部間で画素情報をシフト可能であり、
    前記第１取得工程では、取得済みの画素情報に対し前記特徴画像において非隣接の画素情報を取得するときには、前記特定の画素格納部が有する前記マルチプレクサに、該非隣接画素を格納した画素格納部から前記特定の画素格納部へ画素情報をシフトするように選択させ、
    前記第１取得工程では、取得済みの画素情報に対し前記特徴画像において隣接した画素情報を取得するときには、前記特定の画素格納部が有する前記マルチプレクサに、該隣接画素を格納した画素格納部から前記特定の画素格納部へ画素情報をシフトするように選択させる
    ことを特徴とする画像処理方法。
12. コンピュータを、請求項１ないし１０の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。