JP7107544B2

JP7107544B2 - Information processing device, control method, and program

Info

Publication number: JP7107544B2
Application number: JP2018004709A
Authority: JP
Inventors: 剛早川; 裕二栗田; 純一気屋村; 安利深谷
Original assignee: NEC Solution Innovators Ltd
Current assignee: NEC Solution Innovators Ltd
Priority date: 2018-01-16
Filing date: 2018-01-16
Publication date: 2022-07-27
Anticipated expiration: 2038-01-16
Also published as: JP2019125128A

Description

本発明はニューラルネットワークに関する。 The present invention relates to neural networks.

機械学習を利用したデータ解析が行われている。機械学習のモデルの一形態として、ニューラルネットワークが広く利用されている。ニューラルネットワークは、ニューロンと呼ばれる処理単位を複数層につなぎ合わせた構成を持つ。ニューラルネットワークには、Convolutional Neural Network（CNN）、Recurrent Neural Network、Recursive Neural Network などといった様々な形態がある。 Data analysis using machine learning is performed. Neural networks are widely used as one form of machine learning models. A neural network has a configuration in which processing units called neurons are connected in multiple layers. Neural networks have various forms such as Convolutional Neural Network (CNN), Recurrent Neural Network, Recursive Neural Network, and the like.

ニューラルネットワークを利用したデータ解析に関する先行技術文献には、例えば特許文献１と２がある。特許文献１や２には、CNN を利用した画像解析に関する技術が開示されている。 Prior art documents relating to data analysis using neural networks include, for example, Patent Documents 1 and 2. Patent Documents 1 and 2 disclose techniques related to image analysis using CNN.

特開２００５－３４６４７２号公報JP 2005-346472 A 特開２０１７－１８７９５４号公報JP 2017-187954 A

Josh Patterson 及び Adam Gibson、「Deep Learning: A Practitioner's Approach」、Oreilly & Associates Inc.、２０１７年８月１９日Josh Patterson and Adam Gibson, "Deep Learning: A Practitioner's Approach," Oreilly & Associates Inc., August 19, 2017.

本発明者は、CNN における解析処理に高速化の余地があることを見出した。本発明の目的の一つは、ニューラルネットワークを利用した解析処理を高速化する技術を提供することである。 The inventors have found that there is room for speeding up analysis processing in CNN. One of the objects of the present invention is to provide a technique for speeding up analysis processing using a neural network.

本発明の情報処理装置は、１）二次元データを取得し、二次元データ内のデータ領域である第１ブロックについて Convolutional Neural Network（CNN）の特徴量抽出層の処理を実行して、第１ブロック内の複数の画像領域それぞれの特徴量を示す特徴量情報を生成する特徴量抽出手段と、２）第１ブロックの中から複数の第２ブロックを抽出し、各第２ブロックについて、特徴量情報に含まれるその第２ブロックの特徴量を用いて、CNN の全結合層の処理を実行する全結合処理手段と、を有する。
特徴量抽出手段は、第１の方向における大きさが第２ブロックの大きさの整数倍になるように第１ブロックを変形し、変形後の第１ブロックについて特徴量情報の生成を行う。
全結合処理手段は、変形後の第１ブロックから第２ブロックを抽出する。
第１ブロックに含まれる各第２ブロックは、少なくとも１つの他の第２ブロックとその一部のデータ領域が第１の方向とは異なる第２の方向の端部で重複している。 The information processing apparatus of the present invention 1) acquires two-dimensional data, executes processing of a feature amount extraction layer of a Convolutional Neural Network (CNN) for a first block that is a data area in the two-dimensional data, and performs first 2) feature quantity extraction means for generating feature quantity information indicating the feature quantity of each of a plurality of image regions in a block; fully connected processing means for performing fully connected layer processing of the CNN using the feature amount of the second block included in the information.
The feature quantity extraction means deforms the first block so that the size in the first direction is an integral multiple of the size of the second block, and generates feature quantity information for the deformed first block.
The full connection processing means extracts the second block from the transformed first block.
Each second block included in the first block overlaps with at least one other second block in a part of the data area thereof at the end in the second direction different from the first direction .

本発明の制御方法はコンピュータによって実行される。当該制御方法は、１）二次元データを取得し、二次元データ内のデータ領域である第１ブロックについて Convolutional Neural Network（CNN）の特徴量抽出層の処理を実行して、第１ブロック内の複数の画像領域それぞれの特徴量を示す特徴量情報を生成する特徴量抽出ステップと、２）第１ブロックの中から複数の第２ブロックを抽出し、各第２ブロックについて、特徴量情報に含まれるその第２ブロックの特徴量を用いて、CNN の全結合層の処理を実行する全結合処理ステップと、を有する。
特徴量抽出ステップでは、第１の方向における大きさが第２ブロックの大きさの整数倍になるように第１ブロックを変形し、変形後の第１ブロックについて特徴量情報の生成を行う。
全結合処理ステップでは、変形後の第１ブロックから第２ブロックを抽出する。
第１ブロックに含まれる各第２ブロックは、少なくとも１つの他の第２ブロックとその一部のデータ領域が第１の方向とは異なる第２の方向の端部で重複している。
The control method of the present invention is executed by a computer. The control method is as follows: 1) Acquire two-dimensional data, perform processing of the feature amount extraction layer of Convolutional Neural Network (CNN) for the first block, which is a data area in the two-dimensional data, 2) extracting a plurality of second blocks from the first blocks, and extracting a plurality of second blocks included in the feature information for each of the second blocks; and a fully-connected processing step of performing fully-connected layer processing of the CNN using the features of the second block obtained.
In the feature quantity extraction step, the first block is deformed so that the size in the first direction is an integral multiple of the size of the second block, and feature quantity information is generated for the deformed first block.
In the full connection processing step, the second block is extracted from the transformed first block.
Each second block included in the first block overlaps with at least one other second block in a part of the data area thereof at the end in the second direction different from the first direction .

本発明のプログラムは、コンピュータに、本発明の制御方法が有する各ステップを実行させる。 The program of the present invention causes a computer to execute each step of the control method of the present invention.

本発明によれば、ニューラルネットワークを利用した解析処理を高速化する技術が提供される。 ADVANTAGE OF THE INVENTION According to this invention, the technique of speeding up the analysis process using a neural network is provided.

情報処理装置が処理するデータを例示する図である。FIG. 3 is a diagram illustrating data processed by an information processing device; 情報処理装置における解析処理の様子を例示する図である。It is a figure which illustrates the mode of the analysis process in an information processing apparatus. 既存の CNN で図２の第１ブロックを処理する様子を例示する図である。3 is a diagram illustrating how an existing CNN processes the first block of FIG. 2; FIG. 実施形態１の情報処理装置の機能構成を例示する図である。2 is a diagram illustrating the functional configuration of the information processing apparatus according to Embodiment 1; FIG. 情報処理装置を実現するための計算機を例示する図である。It is a figure which illustrates the computer for implement|achieving an information processing apparatus. 情報処理装置の利用環境を例示する図である。It is a figure which illustrates the usage environment of an information processing apparatus. 実施形態１の情報処理装置によって実行される処理の流れを例示するフローチャートである。4 is a flowchart illustrating the flow of processing executed by the information processing apparatus of Embodiment 1; 第２ブロックの大きさに合わせて第１ブロックを変形する様子を例示する図である。It is a figure which illustrates a mode that a 1st block is deform|transformed according to the size of a 2nd block. 間引き処理を例示する図である。FIG. 10 is a diagram illustrating thinning processing;

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, in all the drawings, the same constituent elements are denoted by the same reference numerals, and the description thereof will be omitted as appropriate. Moreover, in each block diagram, each block does not represent a configuration in units of hardware, but a configuration in units of functions, unless otherwise specified.

［実施形態１］
＜概要＞
図１及び図２は、実施形態１の情報処理装置（図４に示す情報処理装置２０００）の概要を説明するための図である。以下で説明する情報処理装置２０００の動作は、情報処理装置２０００の理解を容易にするための例示であり、情報処理装置２０００の動作は以下の例に限定されるわけではない。情報処理装置２０００の動作の詳細やバリエーションについては後述する。 [Embodiment 1]
<Overview>
1 and 2 are diagrams for explaining an overview of the information processing apparatus (the information processing apparatus 2000 shown in FIG. 4) according to the first embodiment. The operation of the information processing apparatus 2000 described below is an example for facilitating understanding of the information processing apparatus 2000, and the operation of the information processing apparatus 2000 is not limited to the following example. Details and variations of the operation of the information processing apparatus 2000 will be described later.

図１は、情報処理装置２０００が処理するデータを例示する図である。情報処理装置２０００は二次元データ（行列データ）１０を扱う。例えば二次元データ１０は画像データである。画像データは、画素の位置（x 座標と y 座標の組み合わせ）に対応づけて、その画素の値を示す行列データである。 FIG. 1 is a diagram illustrating data processed by an information processing apparatus 2000. As shown in FIG. The information processing device 2000 handles two-dimensional data (matrix data) 10 . For example, the two-dimensional data 10 is image data. The image data is matrix data indicating pixel values in association with pixel positions (x-coordinate and y-coordinate combinations).

第１ブロック２０は、二次元データ１０の一部又は全体のデータ領域である。すなわち、第１ブロック２０のサイズは、二次元データ１０のサイズと同一又はそれ以下である。第２ブロック３０は、第１ブロック２０の一部の画像領域である。すなわち、第１ブロック２０のサイズは、第２ブロック３０のサイズよりも大きい。そのため第１ブロック２０からは、互いに位置が異なる複数の第２ブロック３０を抽出することができる。二次元データ１０が画像データである場合、第１ブロック２０は二次元データ１０の一部又は全体の画像領域であり、第２ブロック３０は第１ブロック２０内の一部の画像領域である。 The first block 20 is a data area of part or all of the two-dimensional data 10 . That is, the size of the first block 20 is the same as or smaller than the size of the two-dimensional data 10 . A second block 30 is a partial image area of the first block 20 . That is, the size of the first block 20 is larger than the size of the second block 30 . Therefore, it is possible to extract a plurality of second blocks 30 having different positions from each other from the first block 20 . When the two-dimensional data 10 is image data, the first block 20 is a partial or entire image area of the two-dimensional data 10 , and the second block 30 is a partial image area within the first block 20 .

情報処理装置２０００は、第１ブロック２０から複数の第２ブロック３０を抽出し、これら複数の第２ブロック３０について解析処理を行う。ここで、各第２ブロック３０は、少なくとも１つの第２ブロック３０とその一部が重複する。例えば情報処理装置２０００は、第２ブロック３０と同じ大きさを持つスライディングウインドウを第１ブロック２０内で移動させながら、各位置におけるスライディングウインドウ内のデータ領域を第２ブロック３０として抽出する。スライディングウインドウのずらし量は、そのずらし方向における第２ブロック３０の大きさ（例えばずらし方向が横方向であれば、第２ブロック３０の横幅）よりも小さい。 The information processing device 2000 extracts a plurality of second blocks 30 from the first block 20 and performs analysis processing on the plurality of second blocks 30 . Here, each second block 30 partially overlaps with at least one second block 30 . For example, the information processing device 2000 extracts the data area within the sliding window at each position as the second block 30 while moving a sliding window having the same size as the second block 30 within the first block 20 . The shift amount of the sliding window is smaller than the size of the second block 30 in the shift direction (for example, if the shift direction is the horizontal direction, the width of the second block 30).

例えば二次元データ１０が画像データであれば、第２ブロック３０について行われる解析処理は、第２ブロック３０に人や物などのオブジェクトが含まれていないかどうかを判定する処理や、第２ブロック３０に含まれているオブジェクトを特定する処理などの画像解析処理である。 For example, if the two-dimensional data 10 is image data, the analysis process performed on the second block 30 includes a process of determining whether the second block 30 contains an object such as a person or an object, a process of determining whether the second block 30 image analysis processing, such as processing to identify objects contained in 30;

概念的には、情報処理装置２０００は、多層で構成されたニューラルネットワークを用いて解析処理を行う。なお、ここでいう解析処理には、ニューラルネットワークを学習させるためにトレーニングデータを解析する処理と、学習済みのニューラルネットワークを利用して新たなデータを解析する処理の双方が含まれる。情報処理装置２０００が利用するニューラルネットワークは、少なくとも、特徴量抽出層と全結合層を有する。この特徴量抽出層と全結合層で行われる処理はそれぞれ、ニューラルネットワークの一形態である CNN の特徴量抽出層と全結合層で行われる処理に相当する（非特許文献１参照）。特徴量抽出層では、入力された二次元データから特徴量を抽出する処理（以下、特徴量抽出処理）が行われる。全結合層では、特徴量抽出層からの出力を用いた判定や分類等の解析処理（以下、全結合処理）が行われる。例えば二次元データ１０が画像データである場合、全結合層では、特徴量抽出処理で抽出された特徴量を用いて、第２ブロック３０に所定のオブジェクトが含まれているか否かを判定する処理や、第２ブロック３０に含まれているオブジェクトの種類を特定（分類）する処理などが行われる。 Conceptually, the information processing apparatus 2000 performs analysis processing using a multilayered neural network. Note that the analysis processing here includes both processing of analyzing training data for learning a neural network and processing of analyzing new data using a trained neural network. A neural network used by the information processing apparatus 2000 has at least a feature extraction layer and a fully connected layer. The processing performed in the feature quantity extraction layer and fully connected layer respectively correspond to the processing performed in the feature quantity extraction layer and fully connected layer of CNN, which is a form of neural network (see Non-Patent Document 1). In the feature amount extraction layer, a process of extracting a feature amount from the input two-dimensional data (hereinafter referred to as a feature amount extraction process) is performed. In the fully connected layer, analysis processing such as determination and classification using the output from the feature quantity extraction layer (hereinafter referred to as fully connected processing) is performed. For example, when the two-dimensional data 10 is image data, the fully connected layer uses the feature amount extracted by the feature amount extraction process to determine whether or not the second block 30 includes a predetermined object. Also, processing for identifying (classifying) the types of objects included in the second block 30 is performed.

ここで情報処理装置２０００は、第１ブロック２０について特徴量抽出処理を行った後に、第１ブロック２０に含まれる複数の第２ブロック３０それぞれについて全結合層処理を行う。図２は、情報処理装置２０００における解析処理の様子を例示する図である。情報処理装置２０００はまず、第１ブロック２０について特徴量抽出処理を行う。その結果、第１ブロック２０に含まれる複数のデータ領域それぞれについての特徴量を示す情報（以下、特徴量情報）が生成される。特徴量情報には、第１ブロック２０に含まれる複数の第２ブロック３０それぞれについての特徴量が含まれることとなる。 Here, the information processing apparatus 2000 performs fully connected layer processing on each of the plurality of second blocks 30 included in the first block 20 after performing the feature amount extraction processing on the first block 20 . FIG. 2 is a diagram illustrating how analysis processing is performed in the information processing apparatus 2000. As illustrated in FIG. The information processing device 2000 first performs feature quantity extraction processing on the first block 20 . As a result, information (hereinafter referred to as feature amount information) indicating feature amounts for each of the plurality of data areas included in the first block 20 is generated. The feature amount information includes feature amounts for each of the plurality of second blocks 30 included in the first block 20 .

例えば図２において、第１ブロック２０から抽出される第２ブロック３０は、第２ブロック３０－１から第２ブロック３０－３の３つである。情報処理装置２０００は、第１ブロック２０を対象とした特徴量抽出処理により、特徴量情報４０を生成する。特徴量情報４０には、第２ブロック３０－１の特徴量、第２ブロック３０－２の特徴量、及び第２ブロック３０－３の特徴量が含まれている。 For example, in FIG. 2, the second blocks 30 extracted from the first block 20 are the three second blocks 30-1 to 30-3. The information processing apparatus 2000 generates feature amount information 40 by performing feature amount extraction processing on the first block 20 . The feature amount information 40 includes the feature amount of the second block 30-1, the feature amount of the second block 30-2, and the feature amount of the second block 30-3.

情報処理装置２０００は、第１ブロック２０について生成された特徴量情報４０を利用して、第１ブロック２０に含まれる複数の第２ブロック３０それぞれについて全結合処理を行う。図２の例において、情報処理装置２０００は、１）特徴量情報４０に含まれる第２ブロック３０－１の特徴量を利用して、第２ブロック３０－１についての全結合処理を行い、２）特徴量情報４０に含まれる第２ブロック３０－２の特徴量を利用して、第２ブロック３０－２についての全結合処理を行い、３）特徴量情報４０に含まれる第２ブロック３０－３の特徴量を利用して、第２ブロック３０－３についての全結合処理を行う。 The information processing apparatus 2000 uses the feature amount information 40 generated for the first block 20 to perform a full combination process for each of the plurality of second blocks 30 included in the first block 20 . In the example of FIG. 2, the information processing apparatus 2000 performs 1) full combination processing for the second block 30-1 using the feature amount of the second block 30-1 included in the feature amount information 40, and 2) ) using the feature amount of the second block 30-2 included in the feature amount information 40, performing a full combination process for the second block 30-2; 3, the full combination processing is performed for the second block 30-3.

＜作用・効果＞
既存の CNN と比較しながら、情報処理装置２０００によってもたらされる作用効果について説明する。既存の CNN では、全結合処理の対象となるデータ領域ごとに特徴量抽出処理が行われる。図３は、既存の CNN で図２の第１ブロック２０を処理する様子を例示する図である。図３では、第２ブロック３０－１、第２ブロック３０－２、及び第２ブロック３０－３について個々に特徴量抽出処理が行われる。そして、第２ブロック３０－１から抽出された特徴量、第２ブロック３０－２から抽出された特徴量、第２ブロック３０－３から抽出された特徴量のそれぞれを用いて、第２ブロック３０－１、第２ブロック３０－２、及び第２ブロック３０－３についての全結合処理がそれぞれ行われる。 <Action/effect>
Effects brought about by the information processing apparatus 2000 will be described while comparing with the existing CNN. In existing CNNs, feature quantity extraction processing is performed for each data region to be fully connected. FIG. 3 is a diagram illustrating how an existing CNN processes the first block 20 of FIG. In FIG. 3, feature quantity extraction processing is performed individually for the second block 30-1, the second block 30-2, and the second block 30-3. Then, using the feature amount extracted from the second block 30-1, the feature amount extracted from the second block 30-2, and the feature amount extracted from the second block 30-3, the second block 30 -1, the second block 30-2, and the second block 30-3 are fully combined.

ここで前述したように、第２ブロック３０は他の第２ブロック３０と一部が重複している。例えば図２と図３では、第２ブロック３０－１の一部と第２ブロック３０－２の一部が互いに重複している。そのため、第２ブロック３０－１と第２ブロック３０－２について個々に特徴量抽出処理を行うと、これらの重複部分については、特徴量抽出処理が複数回（図３では２回）実行されることになる。同様に、第２ブロック３０－２と第２ブロック３０－３についても、その重複部分について特徴量抽出処理が複数回実行される。このように既存の CNN では、同じデータ領域について特徴量を複数回抽出することになるため、処理に無駄が生じている。 As described above, the second block 30 partially overlaps with other second blocks 30 . For example, in FIGS. 2 and 3, a portion of the second block 30-1 and a portion of the second block 30-2 overlap each other. Therefore, if the feature amount extraction process is performed individually for the second block 30-1 and the second block 30-2, the feature amount extraction process is performed a plurality of times (two times in FIG. 3) for these overlapping portions. It will be. Similarly, for the second block 30-2 and the second block 30-3, the feature quantity extraction process is executed multiple times for the overlapping portion. In this way, existing CNNs extract features multiple times for the same data region, resulting in wasteful processing.

これに対し、本実施形態の情報処理装置２０００は、全結合層処理が行われる単位である第２ブロック３０よりも大きい単位の第１ブロック２０についてまとめて特徴抽出処理が行われる。そして、その結果生成される特徴量情報から、複数の第２ブロック３０それぞれについての特徴量を参照することで、各第２ブロック３０についての全結合処理が実行される。この方法によれば、第１ブロック２０に含まれる複数の第２ブロック３０については、特徴量抽出処理が重複して行われることがない。よって、既存の CNN と比較し、二次元データの解析を効率的に行うことができ、二次元データの解析処理に要する時間を削減できるという効果や、二次元データの解析に要する計算機資源を削減できるという効果がもたらされる。 On the other hand, the information processing apparatus 2000 of the present embodiment collectively performs the feature extraction processing on the first blocks 20 that are larger than the second blocks 30 that are the units on which the fully connected layer processing is performed. Then, by referring to the feature amount for each of the plurality of second blocks 30 from the feature amount information generated as a result, the full connection processing for each of the second blocks 30 is executed. According to this method, feature amount extraction processing is not performed redundantly for the plurality of second blocks 30 included in the first block 20 . Therefore, compared to existing CNNs, 2D data analysis can be performed efficiently, the time required for 2D data analysis processing can be reduced, and the computer resources required for 2D data analysis can be reduced. It has the effect of being able to

以下、本実施形態の情報処理装置２０００についてさらに詳細に説明する。 The information processing apparatus 2000 of this embodiment will be described in further detail below.

＜情報処理装置２０００の機能構成の例＞
図４は、実施形態１の情報処理装置２０００の機能構成を例示する図である。情報処理装置２０００は特徴量抽出部２０２０及び全結合処理部２０４０を有する。特徴量抽出部２０２０は二次元データ１０を取得する。特徴量抽出部２０２０は、取得した二次元データ１０内の第１ブロック２０について特徴量抽出処理を実行し、第１ブロック２０について特徴量情報４０を生成する。前述したように、特徴量情報４０は、第１ブロック２０内に含まれる全ての第２ブロック３０の特徴量に関する情報を含む。 <Example of Functional Configuration of Information Processing Device 2000>
FIG. 4 is a diagram illustrating the functional configuration of the information processing apparatus 2000 according to the first embodiment. The information processing device 2000 has a feature amount extraction unit 2020 and a full connection processing unit 2040 . A feature quantity extraction unit 2020 acquires the two-dimensional data 10 . The feature amount extraction unit 2020 executes feature amount extraction processing for the first block 20 in the acquired two-dimensional data 10 and generates feature amount information 40 for the first block 20 . As described above, the feature amount information 40 includes information regarding feature amounts of all the second blocks 30 included in the first block 20 .

全結合処理部２０４０は、各第２ブロック３０について、特徴量情報４０に含まれるその第２ブロック３０の特徴量を用いて全結合処理を実行する。前述したように、各第２ブロック３０は、少なくとも１つの他の第２ブロック３０とその一部のデータ領域が重複する。 The full combination processing unit 2040 executes full combination processing for each second block 30 using the feature amount of the second block 30 included in the feature amount information 40 . As described above, each second block 30 partially overlaps the data area with at least one other second block 30 .

＜情報処理装置２０００のハードウエア構成＞
情報処理装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、情報処理装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。 <Hardware Configuration of Information Processing Device 2000>
Each functional configuration unit of the information processing apparatus 2000 may be implemented by hardware (eg, hardwired electronic circuit) that implements each functional configuration unit, or may be implemented by a combination of hardware and software (eg, combination of an electronic circuit and a program for controlling it, etc.). A case where each functional component of the information processing apparatus 2000 is implemented by a combination of hardware and software will be further described below.

図５は、情報処理装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）やサーバマシンなどである。また、計算機１０００は組み込みシステムであってもよい。計算機１０００は、情報処理装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。 FIG. 5 is a diagram illustrating a computer 1000 for realizing the information processing apparatus 2000. As shown in FIG. Computer 1000 is any computer. For example, the computer 1000 is a personal computer (PC), a server machine, or the like. Computer 1000 may also be an embedded system. The computer 1000 may be a dedicated computer designed to implement the information processing apparatus 2000, or may be a general-purpose computer.

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、及び入出力インタフェース１１００を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、及び入出力インタフェース１１００が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。 Computer 1000 has bus 1020 , processor 1040 , memory 1060 , storage device 1080 and input/output interface 1100 . The bus 1020 is a data transmission path through which the processor 1040, memory 1060, storage device 1080, and input/output interface 1100 mutually transmit and receive data. However, the method of connecting processors 1040 and the like to each other is not limited to bus connection.

プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。なお、プロセッサ１０４０だけでなく、計算機１０００全体を FPGA などの集積回路で実現してもよい。 The processor 1040 is various processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an FPGA (Field-Programmable Gate Array). Note that not only the processor 1040 but also the entire computer 1000 may be realized by an integrated circuit such as FPGA.

メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。 The memory 1060 is a main memory implemented using a RAM (Random Access Memory) or the like. The storage device 1080 is an auxiliary storage device implemented using a hard disk, SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。 The input/output interface 1100 is an interface for connecting the computer 1000 and input/output devices. For example, the input/output interface 1100 is connected to an input device such as a keyboard and an output device such as a display device.

ストレージデバイス１０８０は、情報処理装置２０００の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。 The storage device 1080 stores program modules that implement each functional component of the information processing apparatus 2000 . The processor 1040 reads each program module into the memory 1060 and executes it, thereby realizing the function corresponding to each program module.

＜情報処理装置２０００の利用例＞
情報処理装置２０００の理解を容易にするため、情報処理装置２０００の利用環境を例示する。図６は、情報処理装置２０００の利用環境を例示する図である。図６では、車両６０にカメラ７０及び情報処理装置２０００が設けられている。ただし情報処理装置２０００は、必ずしも車両６０に常設される据え置き型の計算機として実現される必要は無く、車両６０から取り外し可能な可搬型の計算機として実現されてもよい。 <Usage Example of Information Processing Device 2000>
In order to facilitate understanding of the information processing device 2000, an example of the usage environment of the information processing device 2000 will be given. FIG. 6 is a diagram illustrating a usage environment of the information processing device 2000. As shown in FIG. In FIG. 6, a vehicle 60 is provided with a camera 70 and an information processing device 2000 . However, the information processing apparatus 2000 does not necessarily have to be implemented as a stationary computer that is permanently installed in the vehicle 60 , and may be implemented as a portable computer that can be removed from the vehicle 60 .

情報処理装置２０００は、カメラ７０によって生成される画像データを二次元データ１０として取得し、その画像データについて画像解析を行う。例えば情報処理装置２０００は、車両の周囲の環境を構成する種々の情報を得るために利用される。具体的には、標識、信号、看板、建物、歩行者、又は他の車両などを認識するために利用される。 The information processing device 2000 acquires image data generated by the camera 70 as the two-dimensional data 10, and performs image analysis on the image data. For example, the information processing device 2000 is used to obtain various information that constitutes the environment around the vehicle. Specifically, it is used to recognize signs, traffic lights, billboards, buildings, pedestrians, or other vehicles.

車両の周囲の環境は時間と共に変化する。そのため情報処理装置２０００は、カメラ７０によって生成される映像を構成する画像データ（動画フレーム）それぞれを画像解析する必要がある。すなわち、各画像データを短い時間で画像解析する必要がある。この点、前述したように、本実施形態の情報処理装置２０００によれば、二次元データの解析に要する時間を削減することができる。そのため情報処理装置２０００は、図６に示す利用環境のように、短時間で二次元データを解析する必要がある環境において、特に好適である。 The environment around the vehicle changes with time. Therefore, the information processing apparatus 2000 needs to perform image analysis on each of the image data (moving image frames) forming the image generated by the camera 70 . That is, it is necessary to image-analyze each image data in a short time. In this regard, as described above, according to the information processing apparatus 2000 of this embodiment, the time required for analyzing two-dimensional data can be reduced. Therefore, the information processing apparatus 2000 is particularly suitable in an environment where it is necessary to analyze two-dimensional data in a short period of time, such as the usage environment shown in FIG.

また、情報処理装置２０００を車両に載せる際には、情報処理装置２０００を実現する計算機を小型化することが好ましい。この点、前述したように、情報処理装置２０００によれば、二次元データの解析に要する計算機資源を削減できるため、情報処理装置２０００を実現する計算機のサイズを小さくすることができる。そのため、情報処理装置２０００は、図６に示す利用環境のように、二次元データの解析に利用される計算機のサイズを小さくすることが求められる環境において、特に好適である。 Further, when the information processing device 2000 is mounted on a vehicle, it is preferable to reduce the size of the computer that implements the information processing device 2000 . In this respect, as described above, according to the information processing apparatus 2000, the computer resources required for analyzing the two-dimensional data can be reduced, so the size of the computer that implements the information processing apparatus 2000 can be reduced. Therefore, the information processing apparatus 2000 is particularly suitable in an environment such as the usage environment shown in FIG. 6 in which a reduction in the size of a computer used for analysis of two-dimensional data is required.

＜処理の流れ＞
図７は、実施形態１の情報処理装置２０００によって実行される処理の流れを例示するフローチャートである。情報処理装置２０００は、二次元データ１０を取得する（Ｓ１０２）。ループ処理Ａ（Ｓ１０４からＳ１１４）は、二次元データ１０に含まれる第１ブロック２０それぞれについて実行されるループ処理である。Ｓ１０４において、特徴量抽出部２０２０は、二次元データ１０から１つの第１ブロック２０を選択する。ここで選択された第１ブロック２０を第１ブロックｉと呼ぶ。なお、処理すべき全ての第１ブロック２０を対象として既にループ処理Ａが実行されている場合、情報処理装置２０００の処理は終了する。 <Process flow>
FIG. 7 is a flowchart illustrating the flow of processing executed by the information processing apparatus 2000 of the first embodiment. The information processing device 2000 acquires the two-dimensional data 10 (S102). A loop process A (S104 to S114) is a loop process executed for each of the first blocks 20 included in the two-dimensional data 10. FIG. In S<b>104 , the feature quantity extraction unit 2020 selects one first block 20 from the two-dimensional data 10 . The first block 20 selected here is called the first block i. If the loop processing A has already been executed for all the first blocks 20 to be processed, the processing of the information processing device 2000 ends.

特徴量抽出部２０２０は、第１ブロックｉについて特徴抽出処理を行う（Ｓ１０６）。 The feature amount extraction unit 2020 performs feature extraction processing on the first block i (S106).

ループ処理Ｂ（Ｓ１０８からＳ１１２）は、第１ブロックｉに含まれる第２ブロック３０それぞれについて実行されるループ処理である。全結合処理部２０４０は、第１ブロックｉの中から、第２ブロック３０を１つ抽出する。ここで抽出される第２ブロック３０を第２ブロックｊと呼ぶ。なお、第１ブロックｉに含まれる全ての第２ブロック３０について既にループ処理Ｂが実行されている場合、図５の処理はＳ１１４に進む。 A loop process B (S108 to S112) is a loop process executed for each of the second blocks 30 included in the first block i. The full combination processing unit 2040 extracts one second block 30 from the first block i. The second block 30 extracted here is called a second block j. Note that if the loop process B has already been executed for all the second blocks 30 included in the first block i, the process of FIG. 5 proceeds to S114.

全結合処理部２０４０は、第２ブロックｊについて全結合処理を行う（Ｓ１１０）。Ｓ１１２はループ処理Ｂの終端であるため、図７の処理はＳ１０８に戻る。 The full connection processing unit 2040 performs full connection processing for the second block j (S110). Since S112 is the end of the loop process B, the process of FIG. 7 returns to S108.

Ｓ１１４はループ処理Ｂの終端であるため、図７の処理はＳ１１４からＳ１０６に戻る。 Since S114 is the end of loop processing B, the processing in FIG. 7 returns from S114 to S106.

情報処理装置２０００によって実行される処理の流れは図７に示した流れに限定されない。例えば二次元データ１０全体を第１ブロック２０として扱う場合には、Ｓ１０６からＳ１１２をループ処理とする必要はない。その他にも例えば、情報処理装置２０００は、同一の第１ブロック２０に含まれる複数の第２ブロック３０について全結合処理を並列又は並行に処理してもよい。なお、並列処理や並行処理を実現する具体的な手法には、既存の技術を利用することができる。例えば、情報処理装置２０００を構成するプロセッサ１０４０をマルチコアプロセッサにしたり、情報処理装置２０００に複数のプロセッサ１０４０を設けたりすることが考えられる。また、情報処理装置２０００を複数の計算機で実現してもよい。同様に、複数の第２ブロック３０についての一連の処理を並列又は並行に行ってもよい。 The flow of processing executed by the information processing apparatus 2000 is not limited to the flow shown in FIG. For example, when the entire two-dimensional data 10 is handled as the first block 20, there is no need to loop processing from S106 to S112. In addition, for example, the information processing device 2000 may perform fully connected processing in parallel or in parallel for a plurality of second blocks 30 included in the same first block 20 . Note that existing techniques can be used for parallel processing and specific methods for realizing parallel processing. For example, the processor 1040 configuring the information processing device 2000 may be a multi-core processor, or the information processing device 2000 may be provided with a plurality of processors 1040 . Also, the information processing apparatus 2000 may be realized by a plurality of computers. Similarly, a series of processes for multiple second blocks 30 may be performed in parallel or in parallel.

情報処理装置２０００が図７の一連の処理を実行するタイミングは様々である。例えば情報処理装置２０００は、定期的に図７の一連の処理を実行する。その他にも例えば、情報処理装置２０００は、他の装置から送信された二次元データ１０を受信したことに応じ、Ｓ１０４以降の処理を実行するように構成されていてもよい。 The timing at which the information processing apparatus 2000 executes the series of processes in FIG. 7 varies. For example, the information processing device 2000 periodically executes the series of processes shown in FIG. In addition, for example, the information processing apparatus 2000 may be configured to execute the processes after S104 in response to receiving the two-dimensional data 10 transmitted from another apparatus.

＜二次元データ１０の取得：Ｓ１０２＞
特徴量抽出部２０２０は二次元データ１０を取得する（Ｓ１０２）。ここで、情報処理装置２０００が二次元データ１０を取得する方法は様々である。例えば特徴量抽出部２０２０は、二次元データ１０を生成する装置から二次元データ１０を取得する。例えば二次元データ１０が画像データである場合、二次元データ１０を生成する装置はカメラである。 <Acquisition of two-dimensional data 10: S102>
The feature amount extraction unit 2020 acquires the two-dimensional data 10 (S102). There are various methods for the information processing device 2000 to acquire the two-dimensional data 10 . For example, the feature quantity extraction unit 2020 acquires the two-dimensional data 10 from a device that generates the two-dimensional data 10 . For example, if the two-dimensional data 10 is image data, the device that generates the two-dimensional data 10 is a camera.

その他にも例えば、特徴量抽出部２０２０は、二次元データ１０が記憶されている記憶装置から二次元データ１０を取得してもよい。その他にも例えば、特徴量抽出部２０２０は、他の装置によって送信される二次元データ１０を受信することで、二次元データ１０を取得してもよい。 Alternatively, for example, the feature quantity extraction unit 2020 may acquire the two-dimensional data 10 from a storage device in which the two-dimensional data 10 is stored. Alternatively, for example, the feature quantity extraction unit 2020 may acquire the two-dimensional data 10 by receiving the two-dimensional data 10 transmitted from another device.

＜第１ブロック２０について＞
第１ブロック２０が二次元データ１０の全体である場合、特徴量抽出部２０２０は、二次元データ１０の全体を第１ブロック２０として処理する。一方、第１ブロック２０が二次元データ１０の一部である場合、特徴量抽出部２０２０は、二次元データ１０から第１ブロック２０を抽出する。例えば特徴量抽出部２０２０は、第１ブロック２０を定める情報（二次元データ１０内における第１ブロック２０の位置及び大きさを定める情報）を取得し、その情報に基づいて第１ブロック２０を抽出する。 <Regarding the first block 20>
When the first block 20 is the entire two-dimensional data 10 , the feature extraction unit 2020 processes the entire two-dimensional data 10 as the first block 20 . On the other hand, if the first block 20 is part of the two-dimensional data 10 , the feature quantity extraction unit 2020 extracts the first block 20 from the two-dimensional data 10 . For example, the feature amount extraction unit 2020 acquires information that defines the first block 20 (information that defines the position and size of the first block 20 in the two-dimensional data 10), and extracts the first block 20 based on that information. do.

二次元データ１０から抽出する第１ブロック２０は、１つであってもよいし、複数であってもよい。後者の場合、例えば特徴量抽出部２０２０は、第１ブロック２０のサイズのスライディングウインドウを利用して、二次元データ１０から第１ブロック２０を順次抽出していく。スライディングウインドウのずらし量は任意である。 The number of the first blocks 20 extracted from the two-dimensional data 10 may be one or plural. In the latter case, for example, the feature amount extraction unit 2020 sequentially extracts the first blocks 20 from the two-dimensional data 10 using a sliding window of the size of the first blocks 20 . The amount of shift of the sliding window is arbitrary.

＜特徴量抽出処理＞
特徴量抽出部２０２０は、第１ブロック２０について特徴量抽出処理を行う。前述したように、特徴量抽出部２０２０が行う特徴量抽出処理は、CNN における特徴量抽出層で実行される処理に相当する。具体的には、特徴量抽出部２０２０は、CNN における畳み込み層（Convolution layer）の処理を第１ブロック２０に対して行う。すなわち特徴量抽出部２０２０は、第１ブロック２０に対して、特徴量抽出に利用するフィルタを畳み込むことで、第１ブロック２０に含まれる複数のデータ領域それぞれから特徴量を抽出し、特徴量情報４０を生成する。例えばフィルタとしては、エッジを検出するためのエッジ検出フィルタなどが利用できる。第１ブロック２０に対して畳み込むフィルタは、予め特徴量抽出部２０２０からアクセス可能な記憶装置（例えばストレージデバイス１０８０）に記憶させておく。 <Feature amount extraction processing>
The feature quantity extraction unit 2020 performs feature quantity extraction processing on the first block 20 . As described above, the feature amount extraction process performed by the feature amount extraction unit 2020 corresponds to the process performed in the feature amount extraction layer in CNN. Specifically, the feature quantity extraction unit 2020 performs the processing of the convolution layer in the CNN on the first block 20 . That is, the feature amount extraction unit 2020 extracts feature amounts from each of the plurality of data regions included in the first block 20 by convolving the first block 20 with a filter used for feature amount extraction, and extracts feature amount information. 40 is generated. For example, an edge detection filter for detecting edges can be used as the filter. A filter to be convolved with respect to the first block 20 is stored in advance in a storage device (for example, the storage device 1080) accessible from the feature quantity extraction unit 2020. FIG.

また、特徴量抽出処理では、畳み込み層の処理に加え、CNN におけるプーリング層（Pooling Layer）の処理を行ってもよい。プーリング層では、畳み込み層で得られた特徴量情報４０のサイズを減らす処理が行われる。例えば、特徴量情報４０の複数の領域それぞれについて、その領域内の複数の特徴量を１つの代表値に置き換える処理を行うことで、特徴量情報４０のサイズを減らすことができる。なお、プーリング層において行われる具体的な処理については、既存の技術を利用することができる。 In addition to the processing of the convolutional layer, the processing of the pooling layer in the CNN may be performed in the feature amount extraction processing. In the pooling layer, processing for reducing the size of the feature amount information 40 obtained in the convolution layer is performed. For example, the size of the feature amount information 40 can be reduced by performing a process of replacing a plurality of feature amounts in each of the plurality of areas of the feature amount information 40 with one representative value. Existing technology can be used for the specific processing performed in the pooling layer.

特徴量抽出部２０２０は、生成した特徴量情報を記憶装置（例えばストレージデバイス１０８０）に記憶させる。なお、情報処理装置２０００を FPGA として構成する場合、特徴量抽出部２０２０は、FPGA に内蔵されている記憶装置に特徴量情報を記憶させることが好適である。 The feature amount extraction unit 2020 stores the generated feature amount information in a storage device (for example, the storage device 1080). Note that when the information processing apparatus 2000 is configured as an FPGA, the feature amount extraction unit 2020 preferably stores the feature amount information in a storage device built into the FPGA.

＜＜第１ブロック２０の変形＞＞
ここで特徴量抽出部２０２０は、特徴量抽出処理を行う前に第２ブロック３０の大きさに基づいて第１ブロック２０を変形し、変形後の第１ブロック２０について特徴量抽出処理を行ってもよい。図８は、第２ブロック３０の大きさに合わせて第１ブロック２０を変形する様子を例示する図である。例えば特徴量抽出部２０２０は、いずれか一つの方向（以下、第１の方向）について、第１ブロック２０の大きさが第２ブロック３０の大きさと同じになるように、第１ブロック２０を分割する。例えば図８では、y 軸方向について第１ブロック２０の大きさが第２ブロック３０の大きさと同じ dy になるように、第１ブロック２０を複数のデータ領域に分割している。すなわち、第１ブロック２０の縦幅が第２ブロック３０の縦幅と同一になるように変形している。 <<Deformation of first block 20>>
Here, the feature amount extraction unit 2020 transforms the first block 20 based on the size of the second block 30 before performing the feature amount extraction process, and performs the feature amount extraction process on the transformed first block 20. good too. FIG. 8 is a diagram illustrating how the first block 20 is deformed according to the size of the second block 30. As shown in FIG. For example, the feature amount extraction unit 2020 divides the first block 20 so that the size of the first block 20 is the same as the size of the second block 30 in any one direction (hereinafter referred to as the first direction). do. For example, in FIG. 8, the first block 20 is divided into a plurality of data areas so that the size of the first block 20 in the y-axis direction is the same as the size of the second block 30 dy. That is, the vertical width of the first block 20 is deformed to be the same as the vertical width of the second block 30 .

その後、特徴量抽出部２０２０は、上記分割で得られた複数のデータ領域を、第１の方向とは異なる方向において連結する。例えば図８では、元の第１ブロック２０を分割することで得られた複数のデータ領域を、x 軸方向において連結する。こうすると、全結合処理部２０４０は、スライディングウインドウを利用して第１ブロック２０から第２ブロック３０を抽出する際、スライディングウインドウを一つの方向（図８では x 方向）に移動するだけで、第１ブロック２０全体から第２ブロック３０を抽出できるようになる。 After that, the feature quantity extraction unit 2020 connects the plurality of data regions obtained by the division in a direction different from the first direction. For example, in FIG. 8, a plurality of data areas obtained by dividing the original first block 20 are connected in the x-axis direction. In this way, when extracting the first block 20 to the second block 30 using the sliding window, the full connection processing unit 2040 only needs to move the sliding window in one direction (the x direction in FIG. 8). It becomes possible to extract the second block 30 from the entire one block 20 .

なお、第１ブロック２０を分割する方向（例えば図８における y 軸方向）において、第１ブロック２０の大きさが第２ブロック３０の大きさの整数倍にならないこともある。この場合、例えば特徴量抽出部２０２０は、第１ブロック２０の分割方向における末端（図８の例では最も下）のデータ領域についてゼロパディング等の手法を適用することで、第１ブロック２０の分割方向において、第１ブロック２０の大きさが第２ブロック３０の大きさの整数倍になるように調整する。 Note that the size of the first block 20 may not be an integral multiple of the size of the second block 30 in the direction of dividing the first block 20 (for example, the y-axis direction in FIG. 8). In this case, for example, the feature amount extraction unit 2020 applies a technique such as zero padding to the data area at the end (lowest in the example of FIG. 8) in the division direction of the first block 20, thereby dividing the first block 20. In terms of direction, the size of the first block 20 is adjusted to be an integral multiple of the size of the second block 30 .

第２ブロック３０の大きさに基づいて第１ブロック２０を変形する方法は、上述の方法に限定されない。例えば特徴量抽出部２０２０は、第１ブロック２０の大きさと第２ブロック３０の大きさとに基づき、第１ブロック２０の画素を所定の規則で間引く処理を行ってもよい。図９は、間引き処理を例示する図である。図９の y 方向において、第１ブロック２０の大きさは第２ブロック３０の大きさの N 倍である。そこで、特徴量抽出部２０２０は、y 方向について、連続する N 画素ごとに N-1 画素を間引く処理を行う。これにより、y 方向について、第１ブロック２０のサイズが第２ブロック３０のサイズと同一になる。特徴量抽出部２０２０は、間引き処理後の第１ブロック２０において、スライディングウインドウを x 方向に移動することで、第２ブロック３０を抽出していく。 The method of deforming the first block 20 based on the size of the second block 30 is not limited to the method described above. For example, the feature amount extraction unit 2020 may thin out the pixels of the first block 20 according to a predetermined rule based on the size of the first block 20 and the size of the second block 30 . FIG. 9 is a diagram illustrating the thinning process. In the y direction of FIG. 9, the size of the first block 20 is N times the size of the second block 30 . Therefore, the feature amount extraction unit 2020 thins out N−1 pixels from every N consecutive pixels in the y direction. This makes the size of the first block 20 the same as the size of the second block 30 in the y direction. The feature amount extraction unit 2020 extracts the second block 30 by moving the sliding window in the x direction in the first block 20 after the thinning process.

なお、上述の例では、スライディングウインドウを移動させる方向（図９の x 方向）については画素が間引かれていない。しかし、特徴量抽出部２０２０は、スライディングウインドウを移動させる方向についても画素を間引いてもよい。例えば特徴量抽出部２０２０は、スライディングウインドウを移動させる方向についての間引きを、他方の方向についての間引きと同様に行う（例えば図９のケースでは、x 方向についても、連続する N 画素ごとに N-1 画素を間引く）。 In the above example, pixels are not thinned out in the direction in which the sliding window is moved (the x direction in FIG. 9). However, the feature quantity extraction unit 2020 may also thin out pixels in the direction in which the sliding window is moved. For example, the feature quantity extraction unit 2020 performs thinning in the direction in which the sliding window is moved in the same manner as thinning in the other direction (for example, in the case of FIG. 9, in the x direction, N− 1 pixel is thinned out).

なお、上述のいずれの変形を利用しても、全結合処理部２０４０で行われる処理は同一である。そのため、FPGA 等のハードウエアで情報処理装置２０００を実装する際に、計算機資源を抑えることができる。 It should be noted that the processing performed by the full combination processing unit 2040 is the same regardless of which modification described above is used. Therefore, when implementing the information processing device 2000 with hardware such as FPGA, it is possible to reduce computer resources.

＜全結合処理＞
全結合処理部２０４０は、第１ブロック２０から複数の第２ブロック３０を抽出する。例えば前述したように、全結合処理部２０４０は、スライディングウインドウを利用して、第１ブロック２０から第２ブロック３０を抽出する。なお、特徴量抽出部２０２０が第１ブロック２０を第２ブロック３０の大きさに基づいて変形した後に特徴量抽出処理を行う場合、全結合処理部２０４０は、変形後の第１ブロック２０から第２ブロック３０の抽出を行う。 <Full connection processing>
The full combination processing section 2040 extracts a plurality of second blocks 30 from the first block 20 . For example, as described above, the full connection processing unit 2040 extracts the second block 30 from the first block 20 using a sliding window. Note that when the feature amount extraction unit 2020 performs the feature amount extraction process after transforming the first block 20 based on the size of the second block 30, the full combination processing unit 2040 transforms the transformed first block 20 into the 2 blocks 30 are extracted.

さらに全結合処理部２０４０は、特徴量抽出部２０２０によって生成された特徴量情報に含まれる各第２ブロック３０の特徴量を利用して、各第２ブロック３０について全結合処理を行う。前述したように、全結合処理部２０４０が行う全結合処理は、CNN の全結合層で行われる処理に相当する。全結合処理を実現する具体的な手法については、目的に応じた既存の手法を利用することができる。なお、全結合処理部２０４０は、特徴量情報が記憶されている記憶装置から特徴量情報を読み出して利用する。 Furthermore, the full combination processing unit 2040 performs full combination processing for each second block 30 using the feature amount of each second block 30 included in the feature amount information generated by the feature amount extraction unit 2020 . As described above, the fully connected processing performed by the fully connected processing unit 2040 corresponds to the processing performed in the fully connected layer of CNN. As a specific technique for realizing the all-joint processing, an existing technique can be used according to the purpose. Note that the full combination processing unit 2040 reads and uses the feature amount information from the storage device in which the feature amount information is stored.

なお、記憶領域の使用量を削減するため、不要となったデータを記憶装置から適宜削除することが好適である。例えば特徴量抽出部２０２０が第１ブロック２０を変形する場合、情報処理装置２０００は、変形後の第１ブロック２０を表すデータを、変形後の第１ブロック２０を利用した特徴量抽出処理を終えたタイミングで削除することが好適である。また、情報処理装置２０００は、全結合処理に用いる特徴量情報を、その特徴量情報を用いた全結合処理を終えたタイミングで削除することが好適である。 In order to reduce the usage of the storage area, it is preferable to appropriately delete unnecessary data from the storage device. For example, when the feature amount extraction unit 2020 transforms the first block 20 , the information processing apparatus 2000 converts the data representing the transformed first block 20 into a feature amount extraction process using the transformed first block 20 . It is preferable to delete at the appropriate timing. Also, the information processing apparatus 2000 preferably deletes the feature amount information used for the all-joint process at the timing when the all-joint process using the feature amount information is finished.

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 Although the embodiments of the present invention have been described above with reference to the drawings, these are examples of the present invention, and various configurations other than those described above can also be adopted.

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１．二次元データを取得し、前記二次元データ内のデータ領域である第１ブロックについて Convolutional Neural Network（CNN）の特徴量抽出層の処理を実行して、前記第１ブロック内の複数の画像領域それぞれの特徴量を示す特徴量情報を生成する特徴量抽出手段と、
前記第１ブロックの中から複数の第２ブロックを抽出し、各前記第２ブロックについて、前記特徴量情報に含まれるその第２ブロックの特徴量を用いて、CNN の全結合層の処理を実行する全結合処理手段と、を有し、
前記第１ブロックに含まれる各前記第２ブロックは、少なくとも１つの他の第２ブロックとその一部のデータ領域が重複する、情報処理装置。
２．前記全結合処理手段は、前記第１ブロックについて特徴量情報を生成する処理が完了した後に、前記全結合層の処理を実行する、１．に記載の情報処理装置。
３．前記特徴量抽出手段が実行する処理は、CNN の畳み込み層の処理及びプーリング層の処理を含む、１．又は２．に記載の情報処理装置。
４．前記特徴量抽出手段は、第１の方向における大きさが前記第２ブロックの大きさと同じになるように前記第１ブロックを変形し、前記変形後の第１ブロックについて前記特徴量情報の生成を行い、
前記全結合処理手段は、前記変形後の第１ブロックから前記第２ブロックを抽出する、１．乃至３．いずれか一つに記載の情報処理装置。
５．前記全結合処理手段は、前記第２ブロックと同じサイズのスライディングウインドウを前記変形後の第１ブロック内で移動させ、前記スライディングウインドウ内のデータ領域を前記第２ブロックとして抽出することで、前記変形後の第１ブロックから複数の前記第２ブロックを抽出し、
前記スライディングウインドウを移動させる方向は、前記第１の方向とは異なる方向である、４．に記載の情報処理装置。
６．前記特徴量抽出手段と前記全結合処理手段はハードウエア回路で実装される、１．乃至５．いずれか一つに記載の情報処理装置。
７．前記ハードウエア回路は FPGA（Field-Programmable Gate Array）である、６．に記載の情報処理装置。
８．前記特徴量抽出手段は、前記特徴量情報を前記 FPGA に内蔵された記憶装置に記憶させ、
前記全結合処理手段は、前記記憶装置から前記特徴量情報を読み出して、前記全結合層の処理を実行する、７．に記載の情報処理装置。 Some or all of the above-described embodiments can also be described in the following supplementary remarks, but are not limited to the following.
1. Acquiring two-dimensional data, performing processing of a feature amount extraction layer of a Convolutional Neural Network (CNN) for a first block that is a data region in the two-dimensional data, and processing each of a plurality of image regions in the first block a feature quantity extraction means for generating feature quantity information indicating the feature quantity of
A plurality of second blocks are extracted from the first blocks, and for each of the second blocks, the feature amount of the second block included in the feature amount information is used to perform fully connected layer processing of the CNN. and a fully coupled processing means for
The information processing device, wherein each of the second blocks included in the first block partially overlaps with at least one other second block.
2. 1. The fully-connected processing means executes the process of the fully-connected layer after the process of generating feature amount information for the first block is completed. The information processing device according to .
3. 1. The processing executed by the feature extraction means includes CNN convolution layer processing and pooling layer processing. or 2. The information processing device according to .
4. The feature amount extracting means deforms the first block so that the size in the first direction is the same as the size of the second block, and generates the feature amount information for the first block after the deformation. do,
1. The full combination processing means extracts the second block from the modified first block. to 3. The information processing device according to any one of the above.
5. The fully connected processing means moves a sliding window having the same size as that of the second block within the first block after deformation, and extracts a data region within the sliding window as the second block, thereby performing the deformation. extracting a plurality of said second blocks from a subsequent first block;
4. The direction in which the sliding window is moved is different from the first direction; The information processing device according to .
6. 1. The feature quantity extraction means and the all-connection processing means are implemented by hardware circuits. to 5. The information processing device according to any one of the above.
7. 5. The hardware circuit is an FPGA (Field-Programmable Gate Array); The information processing device according to .
8. The feature quantity extraction means stores the feature quantity information in a storage device incorporated in the FPGA,
7. The fully-connected processing means reads the feature amount information from the storage device and executes processing of the fully-connected layer; The information processing device according to .

９．コンピュータによって実行される制御方法であって、
二次元データを取得し、前記二次元データ内のデータ領域である第１ブロックについて Convolutional Neural Network（CNN）の特徴量抽出層の処理を実行して、前記第１ブロック内の複数の画像領域それぞれの特徴量を示す特徴量情報を生成する特徴量抽出ステップと、
前記第１ブロックの中から複数の第２ブロックを抽出し、各前記第２ブロックについて、前記特徴量情報に含まれるその第２ブロックの特徴量を用いて、CNN の全結合層の処理を実行する全結合処理ステップと、を有し、
前記第１ブロックに含まれる各前記第２ブロックは、少なくとも１つの他の第２ブロックとその一部のデータ領域が重複する、制御方法。
１０．前記全結合処理ステップにおいて、前記第１ブロックについて特徴量情報を生成する処理が完了した後に、前記全結合層の処理を実行する、９．に記載の制御方法。
１１．前記特徴量抽出ステップにおいて実行する処理は、CNN の畳み込み層の処理及びプーリング層の処理を含む、９．又は１０．に記載の制御方法。
１２．前記特徴量抽出ステップにおいて、第１の方向における大きさが前記第２ブロックの大きさと同じになるように前記第１ブロックを変形し、前記変形後の第１ブロックについて前記特徴量情報の生成を行い、
前記全結合処理ステップにおいて、前記変形後の第１ブロックから前記第２ブロックを抽出する、９．乃至１１．いずれか一つに記載の制御方法。
１３．前記全結合処理ステップにおいて、前記第２ブロックと同じサイズのスライディングウインドウを前記変形後の第１ブロック内で移動させ、前記スライディングウインドウ内のデータ領域を前記第２ブロックとして抽出することで、前記変形後の第１ブロックから複数の前記第２ブロックを抽出し、
前記スライディングウインドウを移動させる方向は、前記第１の方向とは異なる方向である、１２．に記載の制御方法。 9. A control method implemented by a computer, comprising:
Acquiring two-dimensional data, performing processing of a feature amount extraction layer of a Convolutional Neural Network (CNN) for a first block that is a data region in the two-dimensional data, and processing each of a plurality of image regions in the first block a feature amount extraction step of generating feature amount information indicating the feature amount of
A plurality of second blocks are extracted from the first blocks, and for each of the second blocks, the feature amount of the second block included in the feature amount information is used to perform fully connected layer processing of the CNN. and a fully coupled processing step for
The control method, wherein each of the second blocks included in the first block partially overlaps with at least one other second block.
10. 9. In the fully connected processing step, after the processing of generating feature amount information for the first block is completed, the processing of the fully connected layer is executed; The control method described in .
11. 9. The processing executed in the feature quantity extraction step includes processing of a convolution layer and processing of a pooling layer of CNN; or 10. The control method described in .
12. In the feature amount extraction step, the first block is deformed so that the size in the first direction is the same as the size of the second block, and the feature amount information is generated for the deformed first block. do,
8. extracting the second block from the first block after the deformation in the full connection processing step; 11. A control method according to any one of the preceding claims.
13. In the full connection processing step, a sliding window having the same size as that of the second block is moved within the first block after deformation, and a data region within the sliding window is extracted as the second block, thereby performing the deformation. extracting a plurality of said second blocks from a subsequent first block;
12. The direction in which the sliding window is moved is different from the first direction. The control method described in .

１４．９．乃至１３．いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。 14. 9. to 13. A program that causes a computer to execute each step of the control method described in any one.

１０二次元データ
２０第１ブロック
３０第２ブロック
４０特徴量情報
６０車両
７０カメラ
１０００計算機
１０２０バス
１０４０プロセッサ
１０６０メモリ
１０８０ストレージデバイス
１１００入出力インタフェース
２０００情報処理装置
２０２０特徴量抽出部
２０４０全結合処理部 10 two-dimensional data 20 first block 30 second block 40 feature amount information 60 vehicle 70 camera 1000 computer 1020 bus 1040 processor 1060 memory 1080 storage device 1100 input/output interface 2000 information processing device 2020 feature amount extraction section 2040 fully coupled processing section

Claims

Acquiring two-dimensional data, performing processing of a feature amount extraction layer of a Convolutional Neural Network (CNN) for a first block that is a data region in the two-dimensional data, and processing each of a plurality of image regions in the first block A feature quantity extraction means for generating feature quantity information indicating the feature quantity of
A plurality of second blocks are extracted from the first blocks, and for each of the second blocks, the feature amount of the second block included in the feature amount information is used to perform fully connected layer processing of the CNN. and a fully coupled processing means for
The feature amount extraction means deforms the first block so that the size in the first direction is an integral multiple of the size of the second block, and extracts the feature amount information for the first block after the deformation. generate,
The full combination processing means extracts the second block from the deformed first block,
Each of the second blocks included in the first block overlaps at least one other second block with a partial data area thereof at an end in a second direction different from the first direction . , information processing equipment.

2. The information processing apparatus according to claim 1, wherein said fully-connected processing means executes processing of said fully-connected layer after completion of processing for generating feature amount information for said first block.

3. The information processing apparatus according to claim 1, wherein the processing executed by said feature extraction means includes processing of a convolution layer and processing of a pooling layer of CNN.

The fully connected processing means moves a sliding window having the same size as that of the second block within the first block after deformation, and extracts a data region within the sliding window as the second block, thereby performing the deformation. extracting a plurality of said second blocks from a subsequent first block;
4. The information processing apparatus according to claim 1 , wherein a direction in which said sliding window is moved is a direction different from said first direction.

5. The information processing apparatus according to any one of claims 1 to 4 , wherein said feature extraction means and said fully connected processing means are implemented by hardware circuits.

6. The information processing apparatus according to claim 5 , wherein said hardware circuit is an FPGA (Field-Programmable Gate Array).

The feature quantity extraction means stores the feature quantity information in a storage device incorporated in the FPGA,
7. The information processing apparatus according to claim 6 , wherein said fully-connected processing means reads said feature amount information from said storage device and executes processing of said fully-connected layer.

A control method implemented by a computer, comprising:
Acquiring two-dimensional data, performing processing of a feature amount extraction layer of a Convolutional Neural Network (CNN) for a first block that is a data region in the two-dimensional data, and processing each of a plurality of image regions in the first block a feature amount extraction step of generating feature amount information indicating the feature amount of
A plurality of second blocks are extracted from the first blocks, and for each of the second blocks, the feature amount of the second block included in the feature amount information is used to perform fully connected layer processing of the CNN. and a fully coupled processing step for
In the feature amount extraction step, the first block is deformed so that the size in the first direction is an integer multiple of the size of the second block, and the feature amount information is generated for the first block after the deformation. and
In the full combination processing step, the second block is extracted from the deformed first block,
Each of the second blocks included in the first block overlaps at least one other second block with a partial data area thereof at an end in a second direction different from the first direction . , control method.

A program that causes a computer to execute each step of the control method according to claim 8 .