JP7639832B2

JP7639832B2 - 情報処理装置、画像処理ユニット、方法及びプログラム

Info

Publication number: JP7639832B2
Application number: JP2022575295A
Authority: JP
Inventors: ダーシットバギャニー
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2020-06-15
Filing date: 2020-06-15
Publication date: 2025-03-05
Anticipated expiration: 2040-06-15
Also published as: US12462330B2; US20230222621A1; JP2023528933A; WO2021255796A1

Description

本開示は、情報処理装置、画像処理ユニット、情報処理方法、および非一時的なコンピュータ可読媒体に関する。

ロボット、インテリジェント車両、監視、検査システムなどのようなリアルタイムビジョンシステムには、画像処理システム（ＩＰシステム）が搭載されている。

画像処理システムのハードウェアアーキテクチャは非特許文献１（ＮＰＬ１）で説明されている。非特許文献１で言及されているハードウェアアーキテクチャは、画像処理システムのエネルギー効率の良いハードウェアアーキテクチャであり、非特許文献１では特徴抽出操作の実行が提案されている。

"FIXYNN: EFFICIENT HARDWARE FOR MOBILE COMPUTER VISION VIA TRANSFER LEARNING" Paul N. Whatmough, Chuteng Zhou, Patrick Hansen, Shreyas Kolala Venkataramanaiah, Jae-sun Seo, Matthew Mattina, Proceedings of the 2nd SysML Conference, Palo Alto, CA, USA, 2019.

通常のＩＰシステムは、画像処理ロジック（ＩＰＬ）の上流にあるラインバッファを備える。一般に、大きなサイズのラインバッファは、並列処理によるスループットの向上に役立つ。しかしながら、リアルタイムアプリケーションにおけるＩＰシステムのラインバッファのハードウェアアーキテクチャは、大きなシリコン領域を必要とし、望ましくない。

非特許文献１では、ハードウェアアーキテクチャは、ラインバッファのハードウェアアーキテクチャが大きな領域を占有するため、面積効率が良くないという問題があった。

本開示の目的は、回路領域を削減することができる情報処理装置、画像処理ユニット、情報処理方法および非一時的なコンピュータ可読媒体を提供することにある。

第１の例の態様では、情報処理装置は、入力画像データの１列のデータを全体として格納するように構成された複数のメモリと、１つのメモリを選択することで、選択されたメモリから１列のデータの一部を取得するように構成された複数のマルチプレクサと、１列のデータの一部を格納する１つのメモリを選択するように構成されたコントローラを備える。

第２の例の態様では、画像処理ユニットは、入力画像データの１列のデータを全体として格納するように構成された複数のメモリと、１つのメモリを選択することで、選択されたメモリから１列のデータの一部を取得するように構成された複数のマルチプレクサと、１列のデータの一部を格納する１つのメモリを選択するように構成されたコントローラを備える。

第３の例の態様では、情報処理方法は、入力画像データの１列のデータを複数のメモリ全体に格納し、１つのメモリを選択することで、選択されたメモリから１列のデータの一部を取得し、１列のデータの一部を格納する１つのメモリを選択することを備える。

第４の例の態様は、入力画像データの１列のデータを複数のメモリ全体に格納し、１つのメモリを選択することで、選択されたメモリから１列のデータの一部を取得し、１列のデータの一部を格納する１つのメモリを選択することをコンピュータに実行させるプログラムを格納する非一時的なコンピュータ可読媒体である。

本開示によれば、回路領域を削減することができる情報処理装置、画像処理ユニット、情報処理方法および非一時的なコンピュータ可読媒体を提供することができる。

図１は、画像処理システム１００の構成を示す構成図である。図２は、画像処理ユニット１２０の構成を示す構成図である。図３は、画像ピクセルデータ１１１の構成を示す図である。図４は、ラインバッファ１３０の構成を示す構成図である。図５は、セレクタ１３２とシフトレジスタ１３３を示す構成図である。図６は、セレクタ１３２とラインバッファコントローラ１３４を示す構成図である。図７は、ラインバッファ２３０の構成を示す構成図である。図８は、ラインバッファ１３０のＳＲＡＭメモリラインにおけるデータフローのフェーズに関するタイミング図である。図９は、各フェーズにおけるＳＲＡＭメモリライン２３５の状態のリストである。図１０は、各フェーズでマルチプレクサ２３６によって選択されたＳＲＡＭメモリライン２３５のリストである。図１１は、ラインバッファ３３０の構成を示す構成図である。図１２は、セレクタ３３２とラインバッファコントローラ３３４の接続を示す構成図である。図１３は、本開示の実施の形態１の構成を示す構成図である。図１４は、本開示の実施の形態２の構成を示す構成図である。図１５は、ラインバッファ３０の構成を示す構成図である。図１６は、セレクタ３２とシフトレジスタ３３を示す構成図である。図１７は、セレクタ３２とラインバッファコントローラ３４を示す構成図である。図１８は、参照ラインバッファとラインバッファ３０のパラメータのリストである。図１９は、参照ラインバッファとラインバッファ３０のサイズのリストである。図２０は、ラインバッファ４０の構成を示す構成図である。図２１は、ラインバッファ４０のＳＲＡＭメモリラインにおけるデータフローのフェーズに関するタイミング図である。図２２は、各フェーズでのＳＲＡＭメモリライン４５の状態のリストである。図２３は、各フェーズでマルチプレクサ４６によって選択されたＳＲＡＭメモリライン４５のリストである。図２４は、実施形態にかかる情報処理装置の構成図である。

（ＩＰシステムの概要）
本開示による実施形態を説明する前に、参照ＩＰシステムの概要を、図１から図１２を参照して説明する。

図１にＩＰシステム１００の構成を示す。ソース画像１１０に対して画像処理タスクを実行するＩＰシステム１００のブロック図である。ＩＰシステム１００は、ソース画像１１０を入力として取り込み、１つ以上の画像処理動作を行い、目的画像１１２を出力する。

画像処理システム(以下、ＩＰシステム）１００は、図１に示すように、１つ以上の画像処理ユニット１２０（ＩＰＵ）を有する。ＩＰＵ１２０は、画像ピクセルデータ１１１を入力として取り込み、処理する。その後、処理したデータを次のＩＰＵ１２０に出力する。画像ピクセルデータ１１１は、前のＩＰＵ１２０で処理されたものか、ソース画像１１０そのものである。

ＩＰＵ１２０のブロック図を図２に示す。ＩＰＵ１２０は、画像処理ロジック（ＩＰＬ）１２１とラインバッファ１３０を有する。ＩＰＬ１２１は、画像変更動作、画像特徴抽出動作などを含む、いくつかの種類の画像処理動作を行うことができる。画像変更動作には、画像ピクセルデータ１１１に対する色補間、画像鮮鋭化、色補正などの動作が含まれていてもよい。画像特徴抽出動作には、画像ピクセルデータ１１１に対する畳み込み、逆畳み込み（deconvolution）などの動作が含まれていてもよい。画像特徴抽出動作のシーケンスがソース画像１１０に対して実行される場合、ＩＰシステム１００は畳み込みニューラルネットワークモデルとも呼ばれる。

最初のＩＰＵ１２０の入力となる画像ピクセルデータ１１１がソース画像１１０であり、残りのＩＰＵ２０の入力となる画像ピクセルデータ１１１が中間画像ピクセルデータである。特定のＩＰＵ１２０における高さＨ、幅Ｗの画像ピクセルデータ１１１において、ＩＰＬ１２１はＫ＊Ｋのピクセルデータを一度に処理し、ストライドＳで画像ピクセルデータ１１１にわたってスライドするが、ここでカーネルサイズＫとストライドサイズＳは１以上であって、Ｈ及びＷ以下である。図３は、画像ピクセルデータ１１１の構成を示す。画像ピクセルデータ１１１はＨ個の列のピクセルで構成されており、各ピクセル列の幅はＷである。図３では、Ｋは３に等しく、Ｈより小さい。

ラインバッファ１３０の主なタスクは、画像ピクセルデータ１１１をバッファすることである。ＩＰＬ１２１によって画像ピクセルデータ１１１に対する画像処理動作が実行される間、一部またはすべてのピクセルデータがＩＰＬ１２１によって再利用される。ピクセルデータの再利用を容易にするため、ラインバッファ１３０は画像ピクセルデータ１１１をバッファする。

図４に示すように、ラインバッファ１３０は、バッファメモリ１３１、セレクタ１３２、シフトレジスタ１３３、ラインバッファコントローラ１３４を有する。ラインバッファ１３０のバッファメモリ１３１の機能は、画像ピクセルデータ１１１を格納することである。バッファメモリ１３１は、ＳＲＡＭ（Static Random-Access Memory）、シフトレジスタなどのメモリ要素で構成することができる。バッファメモリ１３１は、１番目からＭ番目までの複数のバッファメモリライン１３５を含む。各バッファメモリライン１３５はＳＲＡＭを含んでもよい。

一般的にラインバッファ１３０の構成では、１つのバッファメモリライン１３５が画像ピクセルデータ１１１の１列のピクセルを格納する。１列のピクセルは、書き込みクロックを使用してバッファメモリに書き込まれ、読み出しクロックを使用して読み取られる。

特定のＩＰＵ１２０では、ラインバッファ１３０内の各バッファメモリライン１３５のサイズは、ピクセルデータの観点からはＷに等しい。バッファメモリライン１３５の数は、次のＩＰＬ１２１のＫと次のＩＰＵのＩＰＬのＳの合計に等しい。図４にはＭ（＝Ｋ＋Ｓ）個のバッファメモリライン１３５がある。ラインバッファ１３０のバッファメモリ１３１に格納されているピクセルデータの総数は、バッファメモリ１３１の合計サイズとも呼ばれ、ＷとＫ及びＳの合計との積、すなわちＷ＊（Ｋ＋Ｓ）（＝Ｗ＊Ｍ）に等しい。

このような大容量バッファメモリの問題は、チップ上の大容量バッファメモリが必要とするシリコン領域が非常に大きいことである。一般に、バッファメモリ１３１の占有面積を削減するためには、デュアルポートＳＲＡＭメモリよりもシングルポートＳＲＡＭメモリの方が望ましい。

セレクタ１３２はマルチプレクサ１３６を複数有する。マルチプレクサ１３６の機能は、その時の対応する選択信号に基づいて、複数のバッファメモリライン１３５のピクセルから、１つのバッファメモリライン１３５だけのピクセルを選択することである。このため、（Ｋ＋Ｓ）ｘ１は、ラインバッファ１３０で使用されるマルチプレクサ１３６のサイズである。ラインバッファ１３０のマルチプレクサ１３６の数はＫに等しい。図３に示すように、すべてのＫ個のマルチプレクサ１３６は、すべてのＫ＋Ｓ（＝Ｍ）個のバッファメモリライン１３５から入力を受けている。

すべてのＫ個のマルチプレクサ１３６は、Ｋ個のバッファメモリライン１３５のピクセルのみを出力する（すなわち、１個のマルチプレクサに１個のバッファメモリラインとなる）。したがって、すべてのマルチプレクサ１３６から出力されるピクセルの総数はＫ個のピクセルとなる。マルチプレクサ１３６の出力として与えられるＫ個のピクセルは、シフトレジスタ１３３で蓄積される。

図５に示すように、シフトレジスタ１３３は、出力ピクセルをＫ＊Ｋのピクセルとして格納する。シフトレジスタ１３３からのＫ＊ＫのピクセルがＩＰＬ１２１で読み出されることにより、画像処理動作がなされる。シフトレジスタ１３３のサイズは、ピクセルデータの観点ではＫ＊Ｋに等しい。

図４に戻ると、ラインバッファコントローラ１３４は、すべてのバッファメモリライン１３５に対して、ＡＬ＿１からＡＬ＿Ｍまでのアドレスライン信号を生成する。ラインバッファコントローラ１３４が生成するアドレスライン信号の総数は、バッファメモリライン１３５の数、すなわちＫとＳの和（＝Ｍ）に等しい。さらに、各アドレスライン信号はアドレス０からＷ－１を示す。

さらに、ラインバッファコントローラ１３４は、図３に示すように、すべてのバッファメモリライン１３５に対して、ＲＷ＿１からＲＷ＿Ｍまでの読み出し信号を生成する。各読み出し信号は、各バッファメモリライン１３５の読み出しまたは書き込み状態を決定する。ラインバッファコントローラ１３４が生成する読み出し信号の総数は、バッファメモリライン１３５の数、すなわちＭに等しい。

また、ラインバッファコントローラ１３４は、ラインバッファ１３０内の全マルチプレクサ１３６のための選択信号（制御信号）Ｓを生成する。ラインバッファコントローラ１３４が生成する選択信号Ｓの総数は、マルチプレクサ１３６の数、すなわちＫに等しい。さらに具体的には、図６に示すように、ラインバッファコントローラ１３４は、各マルチプレクサ１３６に選択信号Ｓ＿１～Ｓ＿Ｋを送信する。

前述のように、ラインバッファ１３０の入力からバッファメモリ１３１、セレクタ１３２、シフトレジスタ１３３を経てラインバッファ１３０の出力に至るまでの画像ピクセルデータ１１１のフローに要求される必要な信号は、ラインバッファコントローラ１３４によって生成される。

バッファメモリライン全体の読み出しまたは書き込みの合計時間を１フェーズと呼ぶ。１フェーズのサイクル数は、バッファメモリライン全体の読み出しまたは書き込みに必要なサイクル数に等しい。フェーズの総数はバッファメモリラインの数、すなわちＫ＋Ｓ（＝Ｍ）に等しい。

フェーズの発生はラウンドロビン方式で行われる。特定のフェーズでラインバッファコントローラ１３４が生成する信号の値は、その特定のフェーズが繰り返されたときに同じとなる。バッファメモリライン１３５が特定のサイクルで高レベルの読み出し信号を有する場合、バッファメモリライン１３５は読み出し状態にあると言われ、読み出し信号が低レベルの場合、バッファメモリライン１３５は書き込み状態にあると言われる。

最初に、画像ピクセルデータ１１１の最初の列がバッファメモリライン１３５のいずれか１つに書き込まれる。次に、画像ピクセルデータ１１１の連続する列が、バッファメモリライン１３５のいずれかに各フェーズで書き込まれる。画像ピクセルデータ１１１のＫ個の列がバッファメモリ１３１に書き込まれるとすぐに、セレクタ１３２はＫ個の各バッファメモリライン１３５からＫ個のピクセルを出力する。

バッファメモリ１３１に書き込まれた画像ピクセルデータ１１１の最初のピクセルからバッファメモリ１３１から読み出された最初のピクセルまでのサイクル数をバッファメモリ１３１のレイテンシと呼ぶ。レイテンシサイクル数が少ないほど、シフトレジスタ１３３がＫ＊Ｋのピクセルを蓄積するのが早く、ＩＰＬ１２１が画像処理動作を行うのが早くなる。前述のように、画像ピクセルデータを格納するために使用されるバッファメモリは、ＳＲＡＭベースのバッファメモリ、シフトレジスタベースのバッファメモリなどにすることができる。

Ｋ＝３、Ｓ＝１（すなわち、Ｍ＝４）のラインバッファの構成例のサンプルを図７に示す。ラインバッファ２３０の構成は、シングルポートＳＲＡＭメモリベースのバッファメモリ２３１、セレクタ２３２、ピクセルデータの観点でサイズ３ｘ３のシフトレジスタ２３３、およびラインバッファコントローラ２３４を有する。

バッファメモリ２３１は、４個のＳＲＡＭメモリライン２３５Ａ～２３５Ｄを含む。さらに、セレクタ２３２は、３個の４ｘ１マルチプレクサ２３６Ａ～２３６Ｃを含む。

最初の３つのフェーズでは、この例のラインバッファ２３０は、３個のＳＲＡＭメモリライン２３５Ａ、２３５Ｂ、および２３５Ｃの画像ピクセルデータ２１１の３列をバッファする。３個のＳＲＡＭメモリラインに３列（つまり、各ＳＲＡＭメモリラインに１列）書き込むために必要なサイクル数は３＊Ｗサイクル、すなわち３フェーズである。

図８に示すように、第１フェーズでは、画像ピクセルデータ２１１の第１列全体がＳＲＡＭ－１メモリライン２３５Ａに書き込まれる。同様に、第２及び第３フェーズでは、図８に示すように、画像データの第２及び第３列がそれぞれＳＲＡＭ－２２３５ＢとＳＲＡＭ－３２３５Ｃのメモリラインに書き込まれる。

第３フェーズでは、画像ピクセルデータ２１１の第３列の１つのピクセルをＳＲＡＭ－３メモリライン２３５Ｃに書き込んだ１つのサイクルの後、マルチプレクサ２３６が読み出すために必要な全ての３つのピクセル（画像ピクセルデータ２１１の３列のそれぞれから１つのピクセル）がＳＲＡＭメモリライン２３５で利用可能となる。しかしながら、シングルポートＳＲＡＭメモリベースのバッファメモリが使用され、ＳＲＡＭ－３メモリライン２３５Ｃは書き込み状態であるため、第３フェーズのマルチプレクサではＳＲＡＭ－３メモリライン２３５Ｃからの読み出し動作を開始できない。

３＊Ｗサイクル後の次のサイクル、すなわち第４フェーズから、３個のマルチプレクサが、ラインバッファ２３０内の３個のＳＲＡＭメモリライン、すなわちＳＲＡＭ－１２３５Ａ、ＳＲＡＭ－２２３５Ｂ、およびＳＲＡＭ－３２３５Ｃメモリラインから３つのピクセルを出力する。同じフェーズで、Ｓ＝１であるため、ラインバッファ２３０はＳＲＡＭ－４メモリライン２３５Ｄ内の画像ピクセルデータ２１１の次の列をバッファする。

すべてのフェーズで、対応するＳＲＡＭメモリライン全体が書き込まれるまで、任意の１つのＳＲＡＭメモリラインは書き込み状態のままになる。図９に、各フェーズのラインバッファ２３０のＳＲＡＭメモリライン２３５の状態を示す。図９において、「Ｒ」は読み出し状態、「Ｗ」は書き込み状態を意味する。第１フェーズでは、ＳＲＡＭ＿１メモリライン２３５Ａは書き込み状態であり、ＳＲＡＭメモリライン２３５Ｂ～２３５Ｄは読み出し状態である。第２フェーズでは、ＳＲＡＭ＿２メモリライン２３５Ｂは書き込み状態であり、ＳＲＡＭメモリライン２３５Ａ、２３５Ｃ、２３５Ｄは読み出し状態である。第３フェーズでは、ＳＲＡＭ＿３メモリライン２３５Ｃは書き込み状態であり、ＳＲＡＭメモリライン２３５Ａ、２３５Ｂ、２３５Ｄは読み出し状態である。第４フェーズでは、ＳＲＡＭ＿４メモリライン２３５Ｄは書き込み状態であり、ＳＲＡＭメモリライン２３５Ａ～２３５Ｃは読み出し状態である。

書き込み状態では、ラインバッファ２３０のラインバッファコントローラ２３４で読み出し信号が生成される。アドレスライン信号は、それぞれのＳＲＡＭメモリラインの最初のアドレスから最後のアドレスに送られる。フェーズの総数は４に等しい。マルチプレクサの数は、図７に示すように３に等しい。

図１０は、マルチプレクサが連続フェーズで選択したＳＲＡＭメモリライン２３５を示している。図１０において、「ＭＵＸ１」はマルチプレクサ２３６Ａ、「ＭＵＸ２」はマルチプレクサ２３６Ｂ、「ＭＵＸ３」はマルチプレクサ２３６Ｃを意味する。第１フェーズでは、マルチプレクサ２３６ＡがＳＲＡＭ＿２メモリライン２３５Ｂを選択し、マルチプレクサ２３６ＢがＳＲＡＭ＿３メモリライン２３５Ｃを選択し、マルチプレクサ２３６ＣがＳＲＡＭ＿４メモリライン２３５Ｄを選択する。第２フェーズでは、マルチプレクサ２３６ＡがＳＲＡＭ＿３メモリライン２３５Ｃを選択し、マルチプレクサ２３６ＢがＳＲＡＭ＿４メモリライン２３５Ｄを選択し、マルチプレクサ２３６ＣがＳＲＡＭ＿１メモリライン２３５Ａを選択する。第３フェーズでは、マルチプレクサ２３６ＡがＳＲＡＭ＿４メモリライン２３５Ｄを選択し、マルチプレクサ２３６ＢがＳＲＡＭ＿１メモリライン２３５Ａを選択し、マルチプレクサ２３６ＣがＳＲＡＭ＿２メモリライン２３５Ｂを選択する。第４フェーズでは、マルチプレクサ２３６ＡがＳＲＡＭ＿１メモリライン２３５Ａを選択し、マルチプレクサ２３６ＢがＳＲＡＭ＿２メモリライン２３５Ｂを選択し、マルチプレクサ２３６ＣがＳＲＡＭ＿３メモリライン２３５Ｃを選択する。このようにして、各マルチプレクサはＳＲＡＭメモリラインの１つを順番に選択する。

シフトレジスタ２３３は、マルチプレクサから３つのピクセルデータを入力として取り込む。シフトレジスタ２３３は３ｘ３のピクセルを蓄積し、ＩＰＬ１２１によって読み出される。Ｓ＝１のストライドで、ＩＰＬ１２１はシフトレジスタ２３３から３ｘ３のピクセルを連続的に読み出す。ストライドＳは画像ピクセルデータのストライドであり、特に次のレイヤのストライドである。次のレイヤはシフトレジスタ２３３に接続されたものである。つまり、このレイヤは複数のマルチプレクサ２３６の出力に接続されている。ラインバッファ２３０の構成では、３＊Ｗサイクルは、マルチプレクサのうちの１つが、ＳＲＡＭラインメモリ２３５の１つからピクセルデータを出力するまでのレイテンシ時間である。

図１１と１２は、ＩＰＵで使用されているラインバッファの構成の別の変形例を示している。図１１のラインバッファ３３０には、図４のラインバッファ１３０とは異なり、シフトレジスタが存在しない。ＩＰＬ３２１は、図１１と１２に示すように、マルチプレクサを介してラインバッファ３３０のバッファメモリ３３１からＫ＊Ｋのピクセルデータを直接読み取る。

バッファメモリ３３１は、複数のバッファメモリライン３３５Ａ、３３５Ｂ、３３５Ｃを有する。ラインバッファ３３０の各バッファメモリラインの幅は、ピクセルデータの観点からＷ／Ｋに等しい。バッファメモリラインの数は、図１１の「Ｆ」で示されており、Ｓ＊ＫとＫ＊Ｋの和、すなわち（Ｋ＊Ｋ＋Ｓ＊Ｋ）に等しい。

ラインバッファ３３０のバッファメモリ３３１に格納されているピクセルデータの総数は、バッファメモリ３３１の合計サイズとも呼ばれ、ＷとＫ及びＳの合計との積、すなわち、Ｗ＊（Ｋ＋Ｓ）に等しい。ラインバッファ２３０のバッファメモリのサイズは、ラインバッファ３３０のバッファメモリのサイズと同じである。

ラインバッファはＩＰシステムにおけるキーロジックの一つであり、ラインバッファ２３０または３３０は、ＩＰシステムにおいて画像ピクセルデータをバッファするために使用される。

この構成の第１の問題は、ＩＰＵの中間画像データをバッファするために使用されるラインバッファの構成が、ＩＰシステムで大きなシリコン領域を必要とすることである。つまり、この構成は面積効率が良くない。大きなシリコン領域を製造するためのコストは大きく、そのような領域は大きな電力予算を必要とする。第１の問題の理由は、バッファメモリが画像ピクセルデータの１列の全幅を格納することで、非常に大きな領域を必要とするためである。

具体的には、１つのレイヤにラインバッファが形成され、それがApplication Specific Integrated Circuit（ＡＳＩＣ）内の隣接する２つのレイヤを接続しており、次のレイヤのカーネルサイズがＫ、次のレイヤの入力フレームのｍｉｎ（高さ、幅）がＤ、次のレイヤのストライドがＳ、前のレイヤのチャネルサイズがＣに等しいとする。この場合、ピクセルに関しては、ラインバッファ内の１つのＳＲＡＭラインのサイズがＤ＊Ｃ、ラインバッファ内のＳＲＡＭラインの合計サイズがＤ＊Ｃ＊（Ｋ＋Ｓ）となる。そのため、ＡＳＩＣ内でこのようなサイズのラインバッファが占有する領域が大きく、このようなＡＳＩＣはコストがかかる。

この構成の第２の問題は、ＩＰシステムのラインバッファのレイテンシが大きいことである。第２の問題の理由は、すべてのＩＰＵで、十分な中間画像ピクセルデータがラインバッファにバッファされるまで、後続のＩＰＬが処理の開始を待機するためである。

以下、添付図面を参照して、本開示の実施形態を詳細に説明する。これらの実施形態は、ロボット、インテリジェント車両、監視、検査システムなどのような、ＩＰシステムを展開するシステムおよび装置に適用できる。

（実施の形態１）
まず、実施の形態１にかかる情報処理装置１を、図１３を参照して説明する。

本開示の実施の形態１である図１３を参照すると、情報処理装置１は、ＩＰＵ１０を含む。情報処理装置１は、例えば、コンピュータ又は機械である。ＩＰＵ１０は、例えばチップ回路又は集積回路であり、入力された画像データを処理する。ＩＰＵ１０は、複数のメモリ１１Ａ及び１１Ｂ、複数のマルチプレクサ１２Ａ及び１２Ｂ、コントローラ１３を有する。入力画像データは、情報処理装置１の内部または外部に格納することができる。

メモリ１１Ａ及び１１Ｂは、入力画像データの１列のデータを全体として格納するように構成される。つまり、各メモリには、入力画像の１列未満のデータが格納される。この実施形態では、「入力画像の１列のデータ」は、列の長さが入力画像データの幅Ｗまたは入力画像データの高さＨのいずれかであってもよいことを意味する。

たとえば、メモリ１１Ａと１１Ｂのサイズの合計が１であってもよい。メモリ１１Ａとメモリ１１Ｂのサイズは同じでもよい。つまり、各メモリ１１Ａ、１１Ｂは、入力画像の１列のデータの半分を格納してもよい。しかしながら、メモリ１１Ａとメモリ１１Ｂのサイズは等しくなくてもよい。例えば、メモリ１１Ａは入力画像の１列のデータの２／３を格納し、メモリ１１Ｂは入力画像の１列のデータの１／３を格納してもよい。

マルチプレクサ１２Ａおよび１２Ｂは、１つのメモリを選択することで、選択されたメモリから１列のデータの一部を取得するように構成される。コントローラ１３は、１列のデータの一部を格納する１つのメモリを選択するように構成されている。例えば、コントローラ１３は、メモリ１１Ａおよび１１Ｂに信号を送信して、それらを書き込み状態にする。

さらに具体的には、入力画像データの１列のデータを半分に、すなわち、２つの等しいデータ部分に分割し、コントローラ１３の制御により、１つのデータ部分をメモリ１１Ａおよび１１Ｂのそれぞれに格納させることができる。しかしながら、１列のデータの分割方法はこの例に限らない。たとえば、入力画像データの１列のデータが、１列のデータの２／３の部分と、１列のデータの１／３の別の部分に分割されてもよい。

次に、本実施形態の効果について説明する。前述のように、参照ＩＰシステムでは、Ｋ＋Ｓ個のバッファメモリラインがあり、バッファメモリの合計サイズがＷ＊（Ｋ＋Ｓ）に等しく、Ｋはカーネルサイズ、Ｓはストライドサイズ、Ｗは画像ピクセルデータの幅（すなわち、１つのバッファメモリのサイズ）である。しかしながら、実施の形態１では、１つのメモリのサイズは、幅Ｗまたは高さＨ未満である。Ｋについては、メモリの数を増やす必要があるが、Ｓについては、この限りではない。結論として、実施の形態１のメモリの合計サイズは、参照ＩＰシステムのメモリの合計サイズよりも小さくすることができる。そのため、ＩＰＵ１０の回路領域の削減に役立つ。

例えば、入力画像データの１列のデータが２分割、すなわち、２つの等しいデータ部分に分割され、その１つのデータ部分がメモリ１１Ａおよび１１Ｂのそれぞれに格納され、メモリ１１Ａおよび１１Ｂのサイズが両方ともＷ／２である場合、メモリの合計サイズは（Ｗ／２）＊（２Ｋ＋Ｓ）に等しくなる。参照ＩＰシステムのバッファメモリの合計サイズと比較すると、メモリの合計サイズをＤ１だけ減らすことができる。
（１）Ｄ１＝Ｗ＊（Ｋ＋Ｓ）－（Ｗ／２）＊（２Ｋ＋Ｓ）=Ｗ＊Ｓ／２
（１）の式では、ＷとＳの値は常に正であるため、Ｄ１は常に正である。

実施の形態１では、入力画像データの１列のデータを格納する２個のメモリ１１Ａおよび１１Ｂがある。しかしながら、上記のデータを格納するメモリが２個よりも多く（３個、４個・・・）あってもよい。例えば、ＩＰＵ１０には３個のメモリがあり、３個のメモリのサイズの合計が１列のデータであってもよい。３個のメモリのそれぞれに、入力画像の１列のデータの１／３が格納されてもよい。しかしながら、１個のメモリに入力画像の１列のデータの半分を格納し、他の２個のメモリのそれぞれに入力画像の１列のデータの１／４を格納してもよい。１列のデータの分割方法は、これらの例に限定されない。

また、上記の効果が継続する条件では、メモリ１１Ａと１１Ｂのサイズの合計が、入力画像データの１列を超えてもよい。例えば、入力画像データの１列のデータが半分、つまり２つの等しいデータ部分に分割され、１つのデータ部分が各メモリ１１Ａおよび１１Ｂに格納される場合、１個のメモリのサイズはＷ／２から（Ｗ／２）＊Ｗ＊（Ｋ＋Ｓ）/（（２Ｋ＋Ｓ）＊（Ｗ／２））までであってもよい。Ｎが１より大きい正の整数である、Ｎ個のメモリについても同じことが言える。

情報処理装置１は、本実施形態で説明した複数のＩＰＵ１０を備えていてもよい。この構成により、情報処理装置１は複雑な画像処理を行うことができる。

実施の形態１では、同一のＩＰＵ１０に複数のメモリ１１Ａおよび１１Ｂ、複数のマルチプレクサ１２Ａおよび１２Ｂ、コントローラ１３が搭載されている。しかしながら、これらの構成要素は、情報処理装置１内のいくつかのユニット又はチップに搭載されていてもよい。

（実施の形態２）
本開示の実施の形態２を、添付図面を参照して以下で説明する。

図１４を参照すると、情報処理装置２はＩＰＵ２０を備え、ＩＰシステムで構成されている。ＩＰＵ２０は、例えばチップ回路又は集積回路であり、画像ピクセルデータ２１を処理する。ＩＰＵ２０は、画像ピクセルデータ２１を入力として取り込み、それを処理した後、処理されたデータを出力する。画像ピクセルデータ２１は、前のＩＰＵで処理されたもの、またはソース画像そのものである。

図１４には、ＩＰＵ２０のブロック図が示される。ＩＰＵ２０は、ＩＰＬ２２とラインバッファ３０を有する。ＩＰＬ２２は、画像変更動作、画像特徴抽出動作などを含む、いくつかの種類の画像処理動作を実行してもよい。画像変更動作には、画像ピクセルデータ２１に対する色補間、画像鮮鋭化、色補正などの動作が含まれていてもよい。画像特徴抽出動作は、画像ピクセルデータ２１に対する畳み込み、逆畳み込みなどの動作が含まれていてもよい。

ＩＰＵ２０の高さＨ、幅Ｗの画像ピクセルデータ２１において、ＩＰＬ２２はＫ＊Ｋのピクセルデータを一度に処理し、ストライドＳで画像ピクセルデータ２１にわたってスライドするが、ここでカーネルサイズＫとストライドサイズＳは１以上であって、Ｈ及びＷ以下である。また、Ｓは次のレイヤのストライドである。次のレイヤはシフトレジスタ３３に接続されたものである。つまり、このレイヤは複数のマルチプレクサ３６の出力に接続されている。画像ピクセルデータ２１は、図３に示す画像ピクセルデータ２１と同じ構成を有する。画像ピクセルデータ２１は、Ｈ個の列のピクセルで構成され、各列のピクセルの幅はＷである。

ラインバッファ３０の主なタスクは、画像ピクセルデータ２１をバッファすることである。ＩＰＬ２２によって画像ピクセルデータ２１に対する画像処理動作が実行される間、一部またはすべてのピクセルデータがＩＰＬ２２によって再利用される。ピクセルデータの再利用を容易にするため、ラインバッファ３０は画像ピクセルデータ２１をバッファする。

図１５と１６において、ラインバッファ３０は、バッファメモリ３１、セレクタ３２、シフトレジスタ３３、ラインバッファコントローラ３４を有する。さらに、バッファメモリ３１は、複数のバッファメモリライン３５を有する。各バッファメモリライン３５のサイズは、各バッファメモリライン１３５のサイズをＮで割ったものである。セレクタ３２は、複数のバッファメモリライン３５を有する。画像ピクセルは、書き込みクロックを使用してバッファメモリライン３５に書き込まれ、読み出しクロックを使用して読み取られる。

バッファメモリ３１は、画像ピクセルデータ２１を格納する。ラインバッファ３０のバッファメモリ３１のサイズは、Ｗ、Ｋ、Ｓだけでなく、パーティションＮの係数にも依存する。Ｎの値は正の整数で、常に１より大きい。ラインバッファ３０のシングルバッファメモリライン３５では、格納できるピクセルデータの数は、ＷとＮの比（すなわちＷ／Ｎ）の上限値に等しい。そのため、画像ピクセルデータ２１の一列がＮ個のバッファラインに格納される。簡単のために、この実施の形態２では、前のレイヤのチャネルサイズは１に等しいが、このチャネルサイズは任意のチャネルサイズにすることができる。

バッファメモリライン３５からの出力として与えられるＫ個のピクセルは、シフトレジスタ３３によって蓄積される。シフトレジスタ３３からのＫ＊ＫのピクセルがＩＰＬ２２で読み出されることにより、画像処理動作がなされる。シフトレジスタ３３のサイズは、ピクセルデータの観点ではＫ＊Ｋに等しい。

ラインバッファコントローラ３４は、図１５に示すように、ラインバッファ３０内のすべてのバッファメモリライン３５に対して、アドレスライン信号と読み出し信号を生成する。ラインバッファコントローラ３４が生成するＡＬ＿１からＡＬ＿Ｍまでのアドレスライン信号の総数は、バッファメモリライン３５の数、すなわちＭ＝Ｎ＊Ｋ＋Ｓと等しい。同様に、ラインバッファコントローラ３４が生成するＲＷ＿１からＲＷ＿Ｍまでの読み出し信号の総数は、バッファメモリラインの数、すなわちＭ＝Ｎ＊Ｋ＋Ｓと等しい。それぞれの読み出し信号は、各バッファメモリライン３５の読み出し又は書き込み状態を決定する。

さらに、ラインバッファコントローラ３４は、バッファメモリライン３５ごとに選択信号（制御信号）を生成する。ラインバッファコントローラ３４が生成する選択信号の総数は、マルチプレクサ３６の数、すなわちＫに等しい。また、各アドレスライン信号は、分割された一列の画像データを格納するためのアドレス０から（Ｗ／Ｎ）－１を示す。

マルチプレクサ３６の機能は、対応する選択信号に基づいて、複数のバッファメモリライン３５のピクセルから一度に１つだけのバッファメモリラインのピクセルを選択することである。各マルチプレクサのサイズは（Ｎ＊Ｋ＋Ｓ）ｘ１である。マルチプレクサの数は参照例と変わらないものであり、すなわちＫに等しい。

すべてのＫ個のマルチプレクサ３６は、すべてのＮ＊Ｋ＋Ｓ個のバッファメモリラインからの入力を有する。Ｋ個のマルチプレクサ３６は、Ｋ個のバッファメモリライン３５からのピクセルのみを出力する（すなわち、１個のマルチプレクサ３６に１個のバッファメモリライン３５となる）。したがって、すべてのマルチプレクサ３６から合計でＫピクセルが出力される。

ラインバッファ３０の入力からバッファメモリ３１、セレクタ３２、シフトレジスタ３３を経由してラインバッファ３０の出力までの画像ピクセルデータ２１のフローに要求される必要な信号は、ラインバッファコントローラ３４が生成する。バッファメモリライン３５全体の読み出しまたは書き込みの合計時間を１フェーズと呼ぶ。ラインバッファ３０のフェーズ数は、バッファメモリライン３５の数、すなわちＭ＝Ｎ＊Ｋ＋Ｓに等しい。１フェーズのサイクル数は、バッファメモリライン全体の読み出しまたは書き込みに必要なサイクル数、すなわち（Ｗ／Ｎ）に等しい。

フェーズの発生はラウンドロビン方式で行われる。特定のフェーズでラインバッファコントローラ３４が生成する信号の値は、その特定のフェーズが繰り返されたときに同じとなる。

バッファメモリライン３５の数は、前のＩＰＵのＩＰＬ２２のＳと、次のＩＰＬ２２のＮとＫの積と、の合計（すなわちＮ＊Ｋ＋Ｓ）に等しい。したがって、ラインバッファ３０のバッファメモリ３１に格納されているピクセルデータの総数は、バッファメモリ３１の合計サイズとも呼ばれ、Ｗ／ＮとＳ＋（Ｎ＊Ｋ）の積に等しい(すなわち（Ｗ／Ｎ）＊（Ｎ＊Ｋ＋Ｓ））。

ラインバッファ３０のバッファメモリ３１のサイズとラインバッファ１３０のバッファメモリ１３１のサイズをピクセルデータについて比較すると、バッファメモリのサイズをＤＳだけ減らすことができる。
（２）ＤＳ＝Ｗ＊（Ｋ＋Ｓ）－（Ｗ／Ｎ）＊（Ｎ＊Ｋ＋Ｓ）＝Ｗ＊Ｓ＊（１－（１／Ｎ））
（２）の式では、ＷとＳの値は常に正であり、パーティションＮの係数は常に１より大きい正の整数である。したがってＤＳは常に正である。よって、Ｎ、Ｓ、Ｋ、Ｗのすべての値について、ラインバッファ３０のバッファメモリ３１のサイズは、ラインバッファ１３０のバッファメモリ１３１のサイズより常に小さい。

図１８に、ラインバッファ３０のバッファメモリ３１のパラメータと参照ラインバッファ１３０のバッファメモリ１３１のパラメータの関係を示す。図１８に示すように、バッファメモリ１３１のＫ、Ｗ、Ｓは、それぞれバッファメモリ３１のＮ＊Ｋ、Ｗ／Ｎ、Ｓに対応する。また、バッファメモリ１３１のサイズはＷ＊（Ｋ＋Ｓ）であり、これは、バッファメモリ３１のサイズである（Ｗ／Ｎ）＊（Ｎ＊Ｋ＋Ｓ）に対応する。

図１９に、ラインバッファ３０のバッファメモリ３１のサイズと参照ラインバッファ１３０のバッファメモリ１３１のサイズとの比較を、いくつかのサンプル値とともに示す。図１９には４つの例がある；（ａ）Ｋ＝３、Ｓ＝１、Ｗ＝１００、Ｎ＝２,（ｂ）Ｋ＝３、Ｓ＝１、Ｗ＝１００、Ｎ＝４,（ｃ）Ｋ＝３、Ｓ＝２、Ｗ＝１００、Ｎ＝２,（ｄ）Ｋ＝５、Ｓ＝１、Ｗ＝１００、Ｎ＝２である。前述のように、バッファメモリ３１のサイズは（Ｗ／Ｎ）＊（Ｓ＋Ｎ＊Ｋ）で計算されるのに対し、バッファメモリ１３１のサイズはＷ＊（Ｋ＋Ｓ）で計算される。

（ａ）では、バッファメモリ３１のサイズが３５０であるのに対し、バッファメモリ１３１のサイズは４００である。前者のサイズは後者の８７．５０％に縮小されている。（ｂ）では、バッファメモリ３１のサイズが３２５であるのに対し、バッファメモリ１３１のサイズは４００である。前者のサイズは後者の８１．２５％に縮小されている。（ｃ）では、バッファメモリ３１のサイズが４００であるのに対し、バッファメモリ１３１のサイズは５００である。前者のサイズは後者の８０．００％に縮小されている。（ｄ）では、バッファメモリ３１のサイズが５５０であるのに対し、バッファメモリ１３１のサイズは６００である。前者のサイズは後者の９１．６７％に縮小される。これらの例から、Ｎの値が大きいほど、ラインバッファ３０のバッファメモリ３１のサイズが小さくなるといえる。

Ｋ＝３、Ｓ＝１、Ｎ＝２のラインバッファのサンプル例を図２０に示す。ラインバッファ４０の構成は、シングルポートＳＲＡＭメモリベースのバッファメモリ４１、セレクタ４２、ピクセルデータについてサイズ３ｘ３のシフトレジスタ４３、およびラインバッファコントローラ４４を有する。バッファメモリ４１はＳＲＡＭメモリライン４５Ａから４５Ｇを有し、セレクタ４２は３個の７ｘ１マルチプレクサ４６Ａから４６Ｃを有する。

ラインバッファ４０は、６フェーズにおいて、６個のＳＲＡＭメモリラインで３列の画像ピクセルデータ２１をバッファする。各フェーズはＷ／２サイクルである。６個のＳＲＡＭメモリラインに３列書き込む（つまり、２つのＳＲＡＭメモリラインに１列が書き込まれる）ために必要なサイクル数は、６＊Ｗ／２サイクル、すなわち６フェーズである。

図２１に、ラインバッファ４０の各ＳＲＡＭメモリライン４５のデータフローのフェーズについてのタイミング図を示す。第１フェーズでは、画像ピクセルデータ２１の第１列の左半分がＳＲＡＭ－１メモリライン４５Ａに書き込まれる。第２フェーズでは、画像ピクセルデータ２１の第１列の右半分がＳＲＡＭ－２メモリライン４５Ｂに書き込まれる。図２１において、「１Ｌ（ｗ）」は前者の状態、「１Ｒ（ｗ）」は後者の状態を意味する。

第３フェーズでは、画像ピクセルデータ２１の第２列の左半分がＳＲＡＭ－３メモリライン４５Ｃに書き込まれる。第４フェーズでは、画像ピクセルデータ２１の第２列の右半分がＳＲＡＭ－４メモリライン４５Ｄに書き込まれる。図２１において、「２Ｌ（ｗ）」は前者の状態、「２Ｒ（ｗ）」は後者の状態を意味する。

第５フェーズでは、画像ピクセルデータ２１の第３列の左半分がＳＲＡＭ－５メモリライン４５Ｅに書き込まれる。図２１における「３Ｌ（ｗ）」はこの状態を意味する。第５フェーズでは、画像ピクセルデータ２１の第３列の１つのピクセルを書き込む１サイクルの後、読み出すマルチプレクサに必要なすべての３つのピクセル（画像ピクセルデータ２１の３列のそれぞれから１つずつ）がＳＲＡＭメモリラインで利用可能となる。しかしながら、シングルポートＳＲＡＭメモリベースのバッファメモリが使用され、ＳＲＡＭ－５メモリライン４５Ｅは書き込み状態であるため、第５フェーズのマルチプレクサではＳＲＡＭ－５メモリライン４５Ｅからの読み出し動作を開始できない。第１フェーズから第５フェーズまでは、ＳＲＡＭメモリラインの１つがアクティブモードで、他のラインは非アクティブモードである。

第６フェーズでは、画像ピクセルデータ２１の第３列の右半分がＳＲＡＭ－６メモリライン４５Ｆに書き込まれる。図２１における「３Ｒ（ｗ）」はこの状態を意味する。さらに、第６フェーズの開始とともに、３個のＳＲＡＭメモリライン４５Ａ、４５Ｃ、４５Ｅが読み出し状態になり、その３個のメモリライン４５が同時に３つのピクセルを出力する。図２１において、「１Ｌ（ｒ）」、「２Ｌ（ｒ）」、「３Ｌ（ｒ）」はこれらの状態を意味する。また、「１Ｌ（ｒ）」、「２Ｌ（ｒ）」、「３Ｌ（ｒ）」は、分割された１列のデータにおいて、同じ左側である。このため、ラインバッファ４０のＳＲＡＭメモリラインのレイテンシサイクルは５＊Ｗ／２サイクルとなる。第６フェーズでは、ＳＲＡＭメモリライン４５Ａ、４５Ｃ、４５Ｅ、４４Ｆがアクティブモードで、その他は非アクティブモードである。第６フェーズでは、画像ピクセルデータの同一列（第３列）のピクセルデータの読み出しと書き込み動作を重複させることができる。

第７フェーズでは、画像ピクセルデータ２１の第４列の左半分がＳＲＡＭ－７メモリライン４５Ｇに書き込まれる。図２１における「４Ｌ（ｗ）」はこの状態を意味する。さらに、第７フェーズの開始とともに、３個のＳＲＡＭメモリライン４５Ｂ、４５Ｄ、４５Ｆが読み出し状態となり、その３個のメモリライン４５が同時に３つのピクセルを出力する。図２１において、「１Ｒ（ｒ）」、「２Ｒ（ｒ）」、「３Ｒ（ｒ）」はこれらの状態を意味する。また、「１Ｒ（ｒ）」「２Ｒ（ｒ）」「３Ｒ（ｒ）」は、分割された１列のデータにおいて、同じ右側である。第７フェーズでは、メモリライン４５Ｂ、４５Ｄ、４５Ｆ、４５Ｇはアクティブモードで、その他は非アクティブモードである。そのため、ラインバッファコントローラ３４は、分割された１列のデータを１フェーズで取得し、１列のデータを２（Ｎ）フェーズで取得するように、マルチプレクサ３６用の選択信号を生成する。

次の第１フェーズでは、画像ピクセルデータ２１の第４列の右半分がＳＲＡＭ－１メモリライン４５Ａに書き込まれる。図２１における「４Ｒ（ｗ）」はこの状態を意味する。さらに、第１フェーズの開始とともに、３個のＳＲＡＭメモリライン４５Ｃ、４５Ｅ、４５Ｇが読み出し状態となり、その３個のメモリライン４５は３つのピクセルを出力する。図２１において、「２Ｌ（ｒ）」、「３Ｌ（ｒ）」、「４Ｌ（ｒ）」はこれらの状態を意味する。第１フェーズでは、画像ピクセルデータの同一列（第４列）のピクセルデータの読み出しと書き込み動作を重複させることができる。

次の第２フェーズでは、ＳＲＡＭ－２メモリライン４５Ｂが書き込み状態になる。図２１における「５Ｌ（ｗ）」はこの状態を意味する。さらに、第２フェーズの開始とともに、３個のＳＲＡＭメモリライン４５Ａ、４５Ｄ、４５Ｆが読み出し状態となり、その３個のメモリライン４５が３つのピクセルを出力する。図２１において、「２Ｒ（ｒ）」、「３Ｒ（ｒ）」、「４Ｒ（ｒ）」はこれらの状態を意味する。

前述のように、バッファメモリ３１のバッファメモリライン３５を分割することで、ラインバッファコントローラ３４に対して、画像ピクセルデータ２１の同一列のピクセルデータの読み出しと書き込みの動作を重複させるための柔軟性が提供される。読み出しと書き込みの動作が重複するという利点により、ラインバッファ３０で必要なバッファメモリ３１の合計サイズは、ラインバッファ１３０で必要なバッファメモリ１３１の合計サイズよりも小さくなる。さらに、画像ピクセルデータ２１の同一列のピクセルデータの重複する読み出しおよび書き込み動作の別の利点は、マルチプレクサがバッファメモリラインを読み取るために待機するのに必要なサイクル数が減少することである。

図２２は、各フェーズにおけるラインバッファ４０内のＳＲＡＭメモリライン４５の状態を示している。図２２において、「Ｒ」は読み出し状態、「Ｗ」は書き込み状態を意味する。第１フェーズでは、ＳＲＡＭ＿１メモリライン４５Ａは書き込み状態であり、他のＳＲＡＭメモリラインは読み出し状態である。第２フェーズでは、ＳＲＡＭ＿２メモリライン４５Ｂは書き込み状態であり、他のＳＲＡＭメモリラインは読み出し状態である。第３フェーズでは、ＳＲＡＭ＿３メモリライン４５Ｃは書き込み状態であり、他のＳＲＡＭメモリラインは読み出し状態である。第４フェーズでは、ＳＲＡＭ＿４メモリ４５Ｄは書き込み状態であり、他のＳＲＡＭメモリラインは読み出し状態である。第５フェーズでは、ＳＲＡＭ＿５メモリ４５Ｅは書き込み状態であり、他のＳＲＡＭメモリラインは読み出し状態である。第６フェーズでは、ＳＲＡＭ＿６メモリ４５Ｆは書き込み状態であり、他のＳＲＡＭメモリラインは読み出し状態である。第７フェーズでは、ＳＲＡＭ＿７メモリ４５Ｇは書き込み状態であり、他のＳＲＡＭメモリラインは読み出し状態である。

書き込み状態では、ラインバッファコントローラ４４によって読み出し信号が生成される。アドレスライン信号は、それぞれのＳＲＡＭメモリラインの最初のアドレスから最後のアドレスに送られる。マルチプレクサ４６の数は３であり、各マルチプレクサのサイズは、図２０に示されるように７ｘ１である。

図２３に、連続するフェーズでマルチプレクサ４６が選択したＳＲＡＭメモリライン４５を示す。図２３において、「ＭＵＸ１」はマルチプレクサ４６Ａ、「ＭＵＸ２」はマルチプレクサ４６Ｂ、「ＭＵＸ３」はマルチプレクサ４６Ｃを意味する。第１フェーズでは、マルチプレクサ４６ＡがＳＲＡＭ＿３メモリライン４５Ｃを選択し、マルチプレクサ４６ＢがＳＲＡＭ＿５メモリライン４５Ｅを選択し、マルチプレクサ４６ＣがＳＲＡＭ＿７メモリライン４５Ｇを選択する。第２フェーズでは、マルチプレクサ４６ＡがＳＲＡＭ＿４メモリライン４５Ｄを選択し、マルチプレクサ４６ＢがＳＲＡＭ＿６メモリライン４５Ｆを選択し、マルチプレクサ４６ＣがＳＲＡＭ＿１メモリライン４５Ａを選択する。第３フェーズでは、マルチプレクサ４６ＡがＳＲＡＭ＿５メモリライン４５Ｅを選択し、マルチプレクサ４６ＢがＳＲＡＭ＿７メモリライン４５Ｇを選択し、マルチプレクサ４６ＣがＳＲＡＭ＿２メモリライン４５Ｂを選択する。第４フェーズでは、マルチプレクサ４６ＡがＳＲＡＭ＿６メモリライン４５Ｆを選択し、マルチプレクサ４６ＢがＳＲＡＭ＿１メモリライン４５Ａを選択し、マルチプレクサ４６ＣがＳＲＡＭ＿３メモリライン４５Ｃを選択する。第５フェーズでは、マルチプレクサ４６ＡがＳＲＡＭ＿７メモリライン４５Ｇを選択し、マルチプレクサ４６ＢがＳＲＡＭ＿２メモリライン４５Ｂを選択し、マルチプレクサ４６ＣがＳＲＡＭ＿４メモリライン４５Ｄを選択する。第６フェーズでは、マルチプレクサ４６ＡがＳＲＡＭ＿１メモリライン４５Ａを選択し、マルチプレクサ４６ＢがＳＲＡＭ＿３メモリライン４５Ｃを選択し、マルチプレクサ４６ＣがＳＲＡＭ＿５メモリライン４５Ｅを選択する。第７フェーズでは、マルチプレクサ４６ＡがＳＲＡＭ＿２メモリライン４５Ｂを選択し、マルチプレクサ４６ＢがＳＲＡＭ＿４メモリライン４５Ｄを選択し、マルチプレクサ４６ＣがＳＲＡＭ＿６メモリライン４５Ｆを選択する。

このように、フェーズが１つ増加すると、マルチプレクサ４６は次のＳＲＡＭメモリライン４５を選択する。さらに、１つのフェーズでは、マルチプレクサ４６Ｂは、マルチプレクサ４６Ａによって選択されたＳＲＡＭメモリラインから２（＝Ｎ）メモリライン離れたＳＲＡＭメモリラインを選択する。同様に、１つのフェーズでは、マルチプレクサ４６Ｃは、マルチプレクサ４６Ｂによって選択されたＳＲＡＭメモリラインから２（＝Ｎ）メモリライン離れたＳＲＡＭメモリラインを選択する。

図２３より、ラインバッファ４０の各マルチプレクサ４６が連続したフェーズで選択したＳＲＡＭメモリライン４５は、図１０に示すラインバッファ２３０の各マルチプレクサが連続したフェーズで選択したＳＲＡＭメモリラインとは異なることに注意する必要がある。図２０に示すように、シフトレジスタ４３はＳＲＡＭメモリライン４５から３つの画像ピクセルデータ２１を入力する。シフトレジスタ４３は３ｘ３のピクセルを蓄積し、そのピクセルはＩＰＬ２２によってラインバッファ４０から読み出される。Ｓ＝１のストライドで、ＩＰＬ２２はシフトレジスタ４３から３ｘ３のピクセルを連続的に読み出し、画像処理動作を実行する。

参照例のラインバッファ２３０のレイテンシサイクルと比較して、ラインバッファ４０のレイテンシサイクルはＷ／２サイクル少ない。レイテンシサイクルの改善は、ラインバッファ４０で確認される。ＩＰシステムに複数のＩＰＵ２０を搭載することができるため、レイテンシサイクルについての総合性能の向上は、ＩＰＵ２０の数とＷ／２の積に等しい。

ラインバッファ３０のバッファメモリ３１のレイテンシサイクルとラインバッファ１３０のバッファメモリ１３１のレイテンシサイクルをピクセルデータについて比較すると、レイテンシサイクルをＤＬだけ減らすことができる。
（３）ＤＬ＝Ｗ＊Ｋ－（Ｗ＊（Ｋ－１）＋Ｗ／Ｎ）＝Ｗ＊（Ｎ－１）／Ｎ
（３）の式では、Ｗの値は常に正であり、パーティションＮの係数は常に１より大きい正の整数である。したがって、ＤＬは常に正である。よって、Ｎ、Ｋ、Ｗのすべての値について、ラインバッファ３０のバッファメモリ３１のレイテンシサイクルは、参照例のラインバッファ１３０のバッファメモリ１３１のレイテンシサイクルよりも常に小さいことが証明される。

レイテンシサイクルの改善は、ラインバッファ３０で確認できる。ＩＰシステムに複数のＩＰＵ２０を搭載することができるため、レイテンシサイクルについての総合性能の向上は、ＩＰＵ２０の数とＷ＊（Ｎ－１）／Ｎの積に等しい。

このため、本開示は、面積効率の良い構成だけでなく、レイテンシサイクルの観点からの性能の改善も提供する。

上記で説明したように、前のレイヤのチャンネルサイズは任意のチャンネルサイズにすることができる。さらに、幅Ｗを次のレイヤの入力フレームのｍｉｎ（高さ、幅）に置き換えることもできる。ラインバッファが１つのレイヤで形成され、それがApplication Specific Integrated Circuit（ＡＳＩＣ）で隣接する２つのレイヤを接続しているとすると、次のレイヤのカーネルサイズはＫ、次のレイヤの入力フレームのｍｉｎ（高さ、幅）はＤ、次のレイヤのストライドはＳ、前のレイヤのチャネルサイズはＣと等しくなる。この場合、ピクセルについては、ラインバッファ内の１つのＳＲＡＭラインのサイズは（Ｄ／Ｎ）＊Ｃ、ラインバッファ内のＳＲＡＭラインの合計サイズは（Ｄ／Ｎ）＊Ｃ＊（Ｎ＊Ｋ＋Ｓ）となる。この例の効果は、前に説明したものと類似している。さらに、Ｄは入力画像の高さまたは幅のいずれかに置き換えることができ、これは次のレイヤの入力フレームの高さまたは幅として定義できる。

さらに、上記の効果が継続する条件では、ＳＲＡＭメモリライン４５のサイズの合計がＷ／２を超えてもよい。例えば、図２０では、１つのＳＲＡＭメモリライン４５のサイズはＷ／２から（Ｗ／２）＊Ｗ＊（Ｋ＋Ｓ）／（（２Ｋ＋Ｓ）＊Ｗ／２）までであってもよい。

（実施の形態３）
上記のように、実施の形態２のラインバッファの構成は、マルチプレクサからの出力を蓄積するシフトレジスタ４３を含んでいる。しかしながら、このシフトレジスタは必須の構成要素ではない。実施の形態３では、ラインバッファはバッファメモリ、マルチプレクサ、およびラインバッファコントローラを有するが、シフトレジスタは有さない。

ラインバッファは、Ｎ個の小さな部分に分割されたバッファメモリラインを有する。バッファメモリのバッファメモリラインの幅は、ピクセルデータについてはＷ／（Ｋ＊Ｎ）に等しい。バッファメモリラインの数は、Ｓ＊ＫとＫ＊Ｋ＊Ｎの合計、すなわち（Ｋ＊Ｋ＊Ｎ+Ｓ＊Ｋ）に等しい。ラインバッファのバッファメモリに格納されているピクセルデータの総数は、バッファメモリの合計サイズとも呼ばれ、Ｗ／ＮとＳ＋Ｎ＊Ｋの積に等しい（すなわち（Ｗ／Ｎ）＊（Ｓ＋Ｎ＊Ｋ））。実施の形態３のバッファメモリのサイズと実施の形態２のバッファメモリのサイズは、ピクセルデータについて同じである。

ピクセルデータについて、ラインバッファ３３０のバッファメモリ３０１のサイズと比較した実施の形態３のバッファメモリのサイズの減少は、式（２）に示される。前述のように、ＷとＳの値は常に正であり、パーティションＮの係数は常に１より大きい正の整数である。ラインバッファ３３０のバッファメモリ３０１のサイズと実施の形態３のバッファメモリのサイズとの差は常に正である。したがって、Ｎ、Ｓ、Ｋ、Ｗのすべての値について、実施の形態３のバッファメモリのサイズは、常にラインバッファ３３０のバッファメモリ３０１のサイズより小さいことが証明される。

一般に、ラインバッファ３３０のレイテンシサイクルと比較すると、本実施形態のレイテンシサイクルは、式（３）に示すようにＷ＊（Ｎ－１）／Ｎサイクル少ない。実施の形態３では、レイテンシサイクルの改善が確認される。ＩＰシステムに複数のＩＰＵ２０を搭載することができるため、レイテンシサイクルについての総合性能の向上は、ＩＰＵ２０の数とＷ＊（Ｎ－１）／Ｎの積に等しい。

次に、上記の複数の実施形態で説明した情報処理装置の構成例を、図２４を参照して以下に説明する。

図２４は、情報処理装置の構成例を示すブロック図である。情報処理装置９１は、図２４に示すように、プロセッサ９２とメモリ９３を備えている。

プロセッサ９２は、上記の実施形態のシーケンス図やフローチャートを参照して説明した情報処理装置９１により実行される処理を、メモリ９３からソフトウェア（コンピュータプログラム）をロードして実行することにより実行する。プロセッサ９２は、例えば、マイクロプロセッサ、ＭＰＵ（Micro Processing Unit）またはＣＰＵ（Central Processing Unit）であってもよい。プロセッサ９２は、複数のプロセッサを含んでもよい。

メモリ９３は、揮発性メモリと不揮発性メモリの組み合わせによって構成される。メモリ９３は、プロセッサ９２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ９２は、Ｉ／Ｏインターフェイス（不図示）を介してメモリ９３にアクセスしてもよい。

図２４に示した例では、メモリ９３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ９２は、メモリ９３からソフトウェアモジュール群を読み込み、読み込んだソフトウェアモジュールを実行することで、上記の実施形態で説明した情報処理装置によって行われる処理を行うことができる。

図２４を参照して以上で説明したように、上記の実施形態の情報処理装置に含まれる各プロセッサは、命令群を含む１または複数のプログラムを実行して、図面を参照して上述されたアルゴリズムをコンピュータに実行させる。

また、情報処理装置９１は、ネットワークインタフェースを有してもよい。ネットワークインタフェースは、通信システムを構成する他のネットワークノード装置との通信に使用される。ネットワークインタフェースは、例えば、ＩＥＥＥ８０２．３シリーズに準拠したネットワークインタフェースカード（ＮＩＣ）を含んでもよい。情報処理装置９１は、ネットワークインタフェースを用いて、入力特徴マップを受信してもよいし、出力特徴マップを送信してもよい。

上記の例では、任意の種類の非一時的なコンピュータ可読媒体を使用することで、プログラムが格納され、コンピュータに提供されることができる。非一時的なコンピュータ可読媒体には、任意の種類の有形記憶媒体が含まれる。非一時的なコンピュータ可読媒体の例には、磁気記憶媒体（フロッピーディスク、磁気テープ、ハードディスクドライブなど）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（compact disc read only memory）、ＣＤ－Ｒ（compact disc recordable）、ＣＤ－Ｒ／Ｗ（compact disc rewritable）、及び半導体メモリ（マスクＲＯＭ、ＰＲＯＭ（programmable ROM）、ＥＰＲＯＭ（erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory）などといったもの）が含まれる。プログラムは、任意の種類の一時的なコンピュータ可読媒体を使用してコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、有線通信回線（例えば電線、光ファイバー）または無線通信回線を介してコンピュータにプログラムを提供することができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、本発明はこれに限定されない。
（付記１）
入力画像データの１列のデータを全体として格納するように構成された複数のメモリと、
１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得するように構成された複数のマルチプレクサと、
前記１列のデータの一部を格納する１つの前記メモリを選択するように構成されたコントローラと、
を備える情報処理装置。
（付記２）
前記１列のデータの一部は前記１列のデータがＮで分割されたものであり、Ｎは１より大きい正の整数である、
付記１に記載の情報処理装置。
（付記３）
前記メモリの数は（Ｎ＊Ｋ）＋Ｓであり、Ｋは前記マルチプレクサの数、Ｓは前記複数のマルチプレクサの出力に接続されたレイヤのストライドである、
付記２に記載の情報処理装置。
（付記４）
前記メモリはシングルポートである、
付記１から３のいずれか１項に記載の情報処理装置。
（付記５）
前記マルチプレクサの出力を格納するように構成されたシフトレジスタをさらに備える、
付記１から４のいずれか１項に記載の情報処理装置。
（付記６）
前記１列のデータの一部の読み出し動作と前記１列のデータの別の一部の書き込み動作は、異なるメモリにおいて同じフェーズで行われる、
付記１から５のいずれか１項に記載の情報処理装置。
（付記７）
前記コントローラは、前記分割された１列のデータを１フェーズで取得し、前記１列のデータをＮフェーズで取得するように、前記マルチプレクサへの制御信号を生成する、
付記２又は３に記載の情報処理装置。
（付記８）
入力画像データの１列のデータを全体として格納するように構成された複数のメモリと、
１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得するように構成された複数のマルチプレクサと、
前記１列のデータの一部を格納する１つの前記メモリを選択するように構成されたコントローラと、
を備える画像処理ユニット。
（付記９）
前記１列のデータの一部は前記１列のデータがＮで分割されたものであり、Ｎは１より大きい正の整数である、
付記８に記載の画像処理ユニット。
（付記１０）
入力画像データの１列のデータを複数のメモリ全体に格納し、
１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得し、
前記１列のデータの一部を格納する１つの前記メモリを選択すること、
を備える画像処理方法。
（付記１１）
入力画像データの１列のデータを複数のメモリ全体に格納し、
１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得し、
前記１列のデータの一部を格納する１つの前記メモリを選択すること、
をコンピュータに実行させるプログラムを格納する非一時的なコンピュータ可読媒体。

なお、本開示は、上記の実施形態に限定されるものではなく、本開示の趣旨及び範囲を逸脱することなしに適宜変更することができる。

１、２情報処理装置
１０、２０画像処理ユニット
１１メモリ
１２マルチプレクサ
１３コントローラ
２１画像ピクセルデータ
２２画像処理ロジック
３０、４０ラインバッファ
３１、４１バッファメモリ
３２、４２セレクタ
３３、４３シフトレジスタ
３４、４４ラインバッファコントローラ
３５バッファメモリライン
４５ＳＲＡＭメモリライン
３６、４６マルチプレクサ

Claims

入力画像データの１列のデータを全体として格納するように構成された複数のメモリと、
１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得するように構成された複数のマルチプレクサと、
前記１列のデータの一部を格納する１つの前記メモリを選択するように構成されたコントローラと、を備え、
前記１列のデータの一部は前記１列のデータがＮで分割されたものであり、Ｎは１より大きい正の整数であって、
前記メモリの数は（Ｎ＊Ｋ）＋Ｓであり、Ｋは前記マルチプレクサの数、Ｓは前記複数のマルチプレクサの出力に接続されたレイヤのストライドである、
情報処理装置。
入力画像データの１列のデータを全体として格納するように構成された複数のメモリと、
１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得するように構成された複数のマルチプレクサと、
前記１列のデータの一部を格納する１つの前記メモリを選択するように構成されたコントローラと、
前記マルチプレクサの出力を格納するように構成されたシフトレジスタと、
を備える情報処理装置。
入力画像データの１列のデータを全体として格納するように構成された複数のメモリと、
１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得するように構成された複数のマルチプレクサと、
前記１列のデータの一部を格納する１つの前記メモリを選択するように構成されたコントローラと、を備え、
前記１列のデータの一部の読み出し動作と前記１列のデータの別の一部の書き込み動作は、異なるメモリにおいて同じフェーズで行われる、
情報処理装置。
前記メモリはシングルポートである、
請求項１から３のいずれか１項に記載の情報処理装置。
入力画像データの１列のデータを全体として格納するように構成された複数のメモリと、
１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得するように構成された複数のマルチプレクサと、
前記１列のデータの一部を格納する１つの前記メモリを選択するように構成されたコントローラと、を備え、
前記１列のデータの一部は前記１列のデータがＮで分割されたものであり、Ｎは１より大きい正の整数であって、
前記コントローラは、前記分割された１列のデータを１フェーズで取得し、前記１列のデータをＮフェーズで取得するように、前記マルチプレクサへの制御信号を生成する、
情報処理装置。
入力画像データの１列のデータを全体として格納するように構成された複数のメモリと、
１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得するように構成された複数のマルチプレクサと、
前記１列のデータの一部を格納する１つの前記メモリを選択するように構成されたコントローラと、を備え、
前記１列のデータの一部は前記１列のデータがＮで分割されたものであり、Ｎは１より大きい正の整数であって、
前記メモリの数は（Ｎ＊Ｋ）＋Ｓであり、Ｋは前記マルチプレクサの数、Ｓは前記複数のマルチプレクサの出力に接続されたレイヤのストライドである、
画像処理ユニット。
入力画像データの１列のデータを複数のメモリ全体に格納し、
１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得し、
前記１列のデータの一部を格納する１つの前記メモリを選択すること、を備え、
前記１列のデータの一部は前記１列のデータがＮで分割されたものであり、Ｎは１より大きい正の整数であって、
前記メモリの数は（Ｎ＊Ｋ）＋Ｓであり、Ｋは、１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得する複数のマルチプレクサの数、Ｓは前記複数のマルチプレクサの出力に接続されたレイヤのストライドである、
画像処理方法。
入力画像データの１列のデータを複数のメモリ全体に格納すること、
１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得すること、及び
前記１列のデータの一部を格納する１つの前記メモリを選択すること、を備える方法であり、
前記１列のデータの一部は前記１列のデータがＮで分割されたものであり、Ｎは１より大きい正の整数であって、
前記メモリの数は（Ｎ＊Ｋ）＋Ｓであり、Ｋは、１つの前記メモリを選択することで、前記選択されたメモリから前記１列のデータの一部を取得する複数のマルチプレクサの数、Ｓは前記複数のマルチプレクサの出力に接続されたレイヤのストライドである、
方法をコンピュータに実行させるプログラム。