JP7480436B2 - 画像処理装置および車両 - Google Patents

Description

本開示は、撮像画像に基づいて物体認識を行う画像処理装置、および、そのような画像処理装置を備えた車両に関する。

撮像装置により得られた撮像画像には、様々な物体の画像が含まれる。例えば特許文献１には、そのような撮像画像に基づいて物体認識を行う画像処理装置が開示されている。

特開２０１８－９７７６６号公報

ところで、このような画像処理装置では、処理モデルの軽量化を図ったり、モデル性能を担保したりすることが、求められている。処理モデルの軽量化を図りつつモデル性能を担保することが可能な画像処理装置、および、そのような画像処理装置を備えた車両を提供することが望ましい。

本開示の一実施の形態に係る第１の画像処理装置は、撮像画像に含まれる特徴量を抽出する抽出部と、その特徴量に基づいて物体を識別する物体識別部と、を備えたものである。抽出部は、撮像画像に基づいて、２次元配置された複数のフィルタ値を有するフィルタを用いた畳み込み演算を行うことにより、特徴量を抽出する。また、フィルタにおける複数のフィルタ値がそれぞれ、所定方向に沿った対称軸を中心として、線対称の値に設定されている。
本開示の一実施の形態に係る第２の画像処理装置は、１または複数のプロセッサと、この１または複数のプロセッサに通信可能に接続される１または複数のメモリと、を備えたものである。１または複数のプロセッサは、撮像画像に含まれる特徴量を抽出することと、その特徴量に基づいて物体を識別することと、を行うと共に、撮像画像に基づいて、２次元配置された複数のフィルタ値を有するフィルタを用いた畳み込み演算を行うことにより、特徴量を抽出する。また、フィルタにおける複数のフィルタ値がそれぞれ、所定方向に沿った対称軸を中心として、線対称の値に設定されている。

本開示の一実施の形態に係る車両は、上記本開示の一実施の形態に係る画像処理装置と、上記物体識別部による物体の識別結果を利用して、車両制御を行う車両制御部と、を備えたものである。

本開示の一実施の形態に係る車両の概略構成例を表すブロック図である。 図１に示した車両の外観構成例を模式的に表す上面図である。 図１に示したステレオカメラが生成した左画像および右画像の一例を表す模式図である。 撮像画像において設定される画像領域の一例を表す模式図である。 畳み込み演算に用いられるフィルタの更新処理の概要について説明するための模式図である。 図１に示した特徴量抽出部における畳み込み演算および活性化関数の適用例を表す模式図である。 図６に示した畳み込み演算の具体的な処理例を表す模式図である。 図６に示した活性化関数の具体的な構成例を表す模式図である。 比較例に係るフィルタの構成例を表す模式図である。 比較例に係るフィルタを用いた場合の物体認識結果の一例を表す模式図である。 実施の形態に係るフィルタにおけるフィルタ値の更新処理例を表す模式図である。 実施の形態に係るフィルタの構成例を表す模式図である。 実施例等に係るデータセットの構成例を表す模式図である。 実施例等に係る機械学習モデルの構成例を表す模式図である。 比較例、参考例および実施例に係る物体認識結果の一例を表す図である。 比較例、参考例および実施例に係る物体認識結果の他の例を表す図である。 比較例および実施例に係るパラメータ数の一例を表す図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態（畳み込み演算の際のフィルタにおけるフィルタ値の設定例）
２．実施例（具体的な物体認識結果の例）
３．変形例

＜１．実施の形態＞
［構成］
図１は、本開示の一実施の形態に係る車両（車両１０）の概略構成例を、ブロック図で表したものである。図２は、図１に示した車両１０の外観構成例を、模式的に上面図で表したものである。

車両１０は、図１に示したように、ステレオカメラ１１、画像処理装置１２および車両制御部１３を備えている。なお、この図１では、車両１０の駆動力源（エンジンやモータなど）等の図示については、省略している。この車両１０は、例えば、ハイブリッド自動車（ＨＥＶ）や電気自動車（ＥＶ：Electric Vehicle）などの電動車両、あるいは、ガソリン車により構成されている。

（Ａ．ステレオカメラ１１）
ステレオカメラ１１は、例えば図２に示したように、車両１０の前方を撮像することにより、互いに視差を有する一組の画像（左画像ＰＬおよび右画像ＰＲ）を生成するカメラである。このステレオカメラ１１は、図１，図２に示したように、左カメラ１１Ｌおよび右カメラ１１Ｒを有している。

左カメラ１１Ｌおよび右カメラ１１Ｒはそれぞれ、例えば、レンズおよびイメージセンサを含んでいる。左カメラ１１Ｌおよび右カメラ１１Ｒは、例えば図２に示したように、車両１０におけるフロントガラス１９の上部近傍に、車両１０の幅方向に沿って所定距離だけ離間して、配置されている。これらの左カメラ１１Ｌおよび右カメラ１１Ｒは、互いに同期して撮像動作を行うようになっている。具体的には図１に示したように、左カメラ１１Ｌは左画像ＰＬを生成し、右カメラ１１Ｒは右画像ＰＲを生成する。左画像ＰＬは複数の画素値を含み、右画像ＰＲは複数の画素値を含んでいる。これらの左画像ＰＬおよび右画像ＰＲは、図１に示したように、ステレオ画像ＰＩＣを構成している。

図３は、このようなステレオ画像ＰＩＣの一例を表したものである。具体的には、図３（Ａ）は、左画像ＰＬの一例を示しており、図３（Ｂ）は、右画像ＰＲの一例を示している。なお、図３中に示したｘ，ｙはそれぞれ、ｘ軸，ｙ軸を表している。この例では、車両１０が走行している走行路における車両１０の前方に、他車両（先行車両９０）が走行している。左カメラ１１Ｌは先行車両９０を撮像することにより左画像ＰＬを生成し、右カメラ１１Ｒは先行車両９０を撮像することにより右画像ＰＲを生成する。

ステレオカメラ１１は、このような左画像ＰＬおよび右画像ＰＲを含む、ステレオ画像ＰＩＣを生成するようになっている。また、ステレオカメラ１１は、所定のフレームレート（例えば６０［ｆｐｓ］）にて撮像動作を行うことにより、一連のステレオ画像ＰＩＣを生成するようになっている。

（Ｂ．画像処理装置１２）
画像処理装置１２は、ステレオカメラ１１から供給されたステレオ画像ＰＩＣに基づいて、各種の画像処理（車両１０の前方の物体の認識処理等）を行う装置である。この画像処理装置１２は、図１に示したように、画像メモリ１２１、特徴量抽出部１２２および物体識別部１２３を有している。

このような画像処理装置１２は、例えば、プログラムを実行する１または複数のプロセッサ（ＣＰＵ：Central Processing Unit）と、これらのプロセッサに通信可能に接続される１または複数のメモリと、を含んで構成される。また、このようなメモリは、例えば、処理データを一時的に記憶するＲＡＭ（Random Access Memory）、および、プログラムを記憶するＲＯＭ（Read Only Memory）等により構成される。

なお、上記した特徴量抽出部１２２は、本開示における「抽出部」の一具体例に対応している。

（画像メモリ１２１）
画像メモリ１２１は、図１に示したように、ステレオ画像ＰＩＣに含まれる左画像ＰＬおよび右画像ＰＲをそれぞれ、一旦記憶するメモリである。また、画像メモリ２１は、このようにして記憶された左画像ＰＬおよび右画像ＰＲの少なくとも一方を、撮像画像Ｐとして、特徴量抽出部１２２に対して順次供給するようになっている（図１参照）。

（特徴量抽出部１２２）
特徴量抽出部１２２は、画像メモリ１２１から読み出された撮像画像Ｐ（ここでは、左画像ＰＬおよび右画像ＰＲのうちの一方の画像）における１または複数の画像領域Ｒに含まれる、特徴量Ｆを抽出するものである（図１参照）。この特徴量Ｆは、詳細は後述するが（図７）、行列状に配置（２次元配置）された複数の画素における画素値により構成されている。なお、このような特徴量Ｆとしては、例えば、ＲＧＢ（Red, Green, Blue）特徴量やＨＯＧ（Histograms of Oriented Gradients）特徴量等が挙げられる。

特徴量抽出部１２２は、詳細は後述するが、ＤＮＮ（Deep Neural Network）等の学習済みモデルを用いて（機械学習を利用して）、撮像画像Ｐにおいて上記した画像領域Ｒを設定したり、上記した特徴量Ｆを抽出するようになっている。また、画像領域Ｒを設定する際には、特徴量抽出部１２２は、例えば、撮像画像Ｐ内の物体を識別すると共に、その識別した物体の座標を出力することにより、矩形領域である画像領域Ｒを設定するようになっている。

図４は、そのような画像領域Ｒの一例を、模式的に表したものである。この図４に示した例では、撮像画像Ｐにおいて、２つの車両にそれぞれ、画像領域Ｒが設定されている。なお、この例では、車両に画像領域Ｒが設定されているが、この例には限定されず、例えば、人、ガードレール、壁などにも、画像領域Ｒが設定されるようにしてもよい。

ここで、図５～図８を参照して、特徴量抽出部１２２による、撮像画像Ｐに含まれる（１または複数の画像領域Ｒにおける）特徴量Ｆの抽出処理について、詳細に説明する。

図５は、後述する畳み込み演算に用いられるフィルタＦＬの更新処理の概要について、模式的に表したものである。図６は、特徴量抽出部１２２における後述する畳み込み演算および活性化関数の適用例を、模式的に表したものである。図７は、図６に示した畳み込み演算の具体的な処理例を、模式的に表したものである。図８は、図６に示した活性化関数の具体的な構成例を、模式的に表したものである。

まず、例えば図５に示したように、特徴量抽出部１２２では、入力された撮像画像Ｐにおいて、後述するフィルタＦＬを用いた畳み込み演算等が行われることで、機械学習による物体認識の推論結果（上記した画像領域Ｒ内での特徴量Ｆの抽出結果等）が、得られる。この推論結果と、物体認識の正解データとは随時比較され（図５中の破線の矢印ＣＦ参照）、これらの推論結果と正解データとの差分が小さくなるように、フィルタＦＬのパラメータ（後述する各フィルタ値）の更新処理が、随時行われる。つまり、そのような機械学習によるフィルタＦＬの更新時ごとに、そのフィルタＦＬにおける各フィルタ値に対する更新処理が随時実行され、機械学習の学習済みモデルが生成される。

このようにして、従来のルールベース開発のように具体的な処理数式を規定するではなく、機械学習用の教師データと対応する正解データとを大量に準備しておき、上記した更新処理を繰り返すことで、最終的には、正解データと同じ推論結果が得られることになる。

そして、例えば図６に示したように、特徴量抽出部１２２は、このようにして得られた学習済みモデルを用いて、入力された撮像画像Ｐに基づく各種演算処理を複数回繰り返して行うことにより、撮像画像Ｐにおける各画像領域Ｒ内で物体認識（特徴量Ｆの抽出等）を行う。具体的には、特徴量抽出部１２２は、そのような各種演算処理として、上記したフィルタＦＬを用いた畳み込み演算ＣＮと、活性化関数ＣＡを用いた演算とを、交互に複数回繰り返すようになっている（図６参照）。

ここで、例えば図７に示したように、上記した畳み込み演算ＣＮは、以下のようにして行われる。すなわち、特徴量抽出部１２２は、まず、行列状に２次元配置された複数の画素ＰＸを有する撮像画像Ｐにおいて、所定の大きさ（この例では３画素×３画素）の領域を設定する。また、特徴量抽出部１２２は、設定したこの領域における９個の画素値（この例では、「０」または「１」の値）に対して、フィルタＦＬにおける９個のフィルタ値を、重み係数として重みづけ加算する。これにより、その領域での特徴量Ｆの値が、得られる（この例では、「４」の値）。なお、図７に示した例では、フィルタＦＬにおけるフィルタ値（「×０」または「×１」として記載）は、行列状に２次元配置されており、（行方向（ｘ軸方向）に沿って３個×列方向（ｙ軸方向）に沿って３個）＝９個となっている。そして、特徴量抽出部１２２は、撮像画像Ｐにおいて、上記した領域を１画素分ずつずらしながら順次設定し、設定した各領域において、上記したフィルタＦＬを用いた重みづけ加算を個別に行うことにより、各領域での特徴量Ｆの値を順次算出する。これにより、例えば図７に示したように、行列状に２次元配置された複数の画素ＰＸを有する、特徴量Ｆが抽出されることになる。なお、例えば図６に示した複数回の畳み込み演算ＣＮではそれぞれ、上記したフィルタＦＬが、個別に設定されるようになっている。

また、例えば図８に示したように、上記した活性化関数ＣＡを用いた演算は、以下のようにして行われる。すなわち、入力値（各畳み込み演算ＣＮによって得られた特徴量Ｆにおける各画素ＰＸの値）に対して、例えば図８に示したような活性化関数ＣＡが適用されることで、そのような活性化関数ＣＡの適用後の出力値が、得られることになる。なお、この図８の例では、入力値が所定値未満の場合、出力値が固定値（例えば「０」など）に設定され、入力値が所定値以上の場合、その入力値の大きさに応じて出力値が線形的に増加するように、出力値が設定されている。

なお、このような各種演算処理が複数回繰り返して行われることで得られた、最終的な特徴量Ｆは、特徴量抽出部１２２から物体識別部１２３に対して、供給されるようになっている（図１参照）。

（物体識別部１２３）
物体識別部１２３は、特徴量抽出部１２２にて抽出された特徴量Ｆに基づき、撮像画像Ｐ（前述した１または複数の画像領域Ｒの各々）における、物体を識別するものである。すなわち、例えば、画像領域Ｒの画像が車両を示す場合には、特徴量Ｆは車両の特徴を含み、画像領域Ｒの画像が人を示す場合には、特徴量Ｆは人の特徴を含むことから、物体識別部１２３は、そのような特徴量Ｆに基づいて、各画像領域Ｒにおける物体を識別する。

そして、物体識別部１２３は、各画像領域Ｒに対して、その物体が何であるかを示すカテゴリを付与する。具体的には、物体識別部１２３は、画像領域Ｒの画像における物体が車両である場合には、その画像領域Ｒに対して、車両を示すカテゴリを付与し、画像領域Ｒの画像における物体が人である場合には、その画像領域Ｒに対して、人を示すカテゴリを付与するようになっている。

（Ｃ．車両制御部１３）
車両制御部１３は、物体識別部１２３による物体の識別結果（画像処理装置１２における物体認識結果）を利用して、車両１０における各種の車両制御を行うものである（図１参照）。具体的には、車両制御部１３は、そのような物体の識別結果（物体認識結果）の情報に基づき、例えば、車両１０の走行制御や、車両１０における各種部材の動作制御などを、行うようになっている。

このような車両制御部１３は、画像処理装置１２と同様に、例えば、プログラムを実行する１または複数のプロセッサ（ＣＰＵ）と、これらのプロセッサに通信可能に接続される１または複数のメモリと、を含んで構成される。また、このようなメモリも、画像処理装置１２と同様に、例えば、処理データを一時的に記憶するＲＡＭ、および、プログラムを記憶するＲＯＭ等により構成される。

［動作および作用・効果］
続いて、本実施の形態における動作および作用・効果について、比較例と比較しつつ詳細に説明する。

（Ａ．比較例）
図９は、比較例に係る一般的なフィルタＦＬｃの構成例を、模式的に表したものである。また、図１０は、比較例に係るフィルタＦＬｃを用いた場合の物体認識結果（物体識別結果）の一例を、模式的に表したものである。

まず、図９に示した比較例のフィルタＦＬｃでは、後述する本実施の形態のフィルタＦＬ（図１１，図１２）とは異なり、複数のフィルタ値Ｖｆがそれぞれ、任意に設定されている。具体的には、後述する本実施の形態のフィルタＦＬとは異なり、この比較例のフィルタＦＬｃにおける各フィルタ値Ｖｆは、所定の対称軸Ａｓを中心とした、線対称（左右対称）の値とはなっていない（図９中の破線の矢印参照）。

ところで、前述したＤＮＮにおける畳み込み演算では、一般的に、以下のような課題がある。

すなわち、まず、前述したように、畳み込み演算用のフィルタは一般に、複数回の畳み込み演算ごとに個別に設けられるため、各フィルタに設定されるパラメータ数（フィルタ値Ｖｆが示す値の個数）が、学習済みモデル全体では、膨大なものとなる（例えば数百万個のオーダー）。したがって、画像処理（物体認識）の際の処理モデル（学習済みモデル）の軽量化が困難となり、例えば組み込み等の小規模ハードウェアへの実装難易度が、高くなってしまう。なお、例えば、モデルサイズ自体を縮小したり、畳み込み演算の精度を下げるなどの手法も考えられるが、モデル性能（認識性能）とのトレードオフがある。

また、車両の走行環境（左側走行環境または右側走行環境）は一般に、国によって異なっていることから、物体認識の性能は左右対称になっているのが望ましいが、一般的なＤＮＮでの畳み込み演算では、そのような物体認識の性能は、左右非対称となってしまう。したがって、そのような左側走行環境の場合と右側走行環境の場合との双方について、機械学習の際に個別の評価作業が必要となり、評価工数が増大してしまうことになる。なお、例えば、左右反転させた人工画像（左右反転画像）を機械学習させる等の手法も考えられるが、その手法を用いた場合でも、厳密な左右対称性は得らないことから、結局は、評価工数が増大してしまうことになる。

具体的には、例えば図１０に示したように、元の撮像画像Ｐにおいて、車両の走行環境が左側走行環境である場合（図１０（Ａ）参照）、上記した人工的な左右反転画像ＰＬＲ（図１０（Ｂ）参照）では、物体認識結果が以下のようになる。なお、これらの図１０（Ａ），図１０（Ｂ）ではそれぞれ、物体認識の際に設定された各画像領域Ｒにおいて、認識された車両の前方部分を実線で示し、認識された車両の後方部分を破線で示している。

ここで、図１０（Ａ）に示した元の撮像画像Ｐにおける物体認識結果では、例えば破線の丸で示した領域内の画像領域Ｒのように、認識された車両の前方部分と後方部分とが、正確に認識されている。一方、図１０（Ｂ）に示した左右反転画像ＰＬＲにおける物体認識結果では、元の撮像画像Ｐの場合とは異なり、部分的に不正確な認識結果が、得られている。具体的には、例えば図１０（Ｂ）中の破線の丸で示した領域内の画像領域Ｒのように、認識された車両の前方部分と後方部分とが、前後逆になってしまっている。つまり、この図１０の例では、物体認識の性能が、左右対称になっていないことが分かる。

このようにして、比較例に係るフィルタＦＬｃを用いた場合、画像処理（物体認識）の際の処理モデル（学習済みモデル）の軽量化を図ることや、モデル性能（認識性能）を担保することが、困難であると言える。

（Ｂ．本実施の形態）
そこで、例えば図１１，図１２に示したように、本実施の形態のフィルタＦＬでは、上記比較例のフィルタＦＬｃとは異なり、複数のフィルタ値Ｖｆが、以下のように設定されている。なお、図１１は、本実施の形態のフィルタＦＬにおけるフィルタ値Ｖｆの更新処理例を、模式的に表したものであり、図１２は、本実施の形態のフィルタＦＬの構成例を、模式的に表したものである。

まず、例えば図１２に示したように、本実施の形態のフィルタＦＬでは、複数のフィルタ値Ｖｆがそれぞれ、所定方向（この例ではｙ軸方向）に沿った対称軸Ａｓを中心として、線対称の値に設定されている。具体的には、この例では、そのような線対称が、対称軸Ａｓを中心とした左右対称（ｘ軸方向に沿った対称）となっており、複数のフィルタ値Ｖｓが、左右対称の値に設定されている（図１２中の破線の矢印参照）。

また、このような各フィルタ値Ｖｆにおける左右対称の設定は、例えば図１１に示したようにして、行われるようになっている。すなわち、前述した機械学習によるフィルタＦＬの更新時（図５参照）ごとに、複数のフィルタ値Ｖｆに対する更新処理が随時実行されることによって、そのフィルタＦＬにおける複数のフィルタ値Ｖｆがそれぞれ、上記した線対称の値に設定されるようになっている。具体的には、例えば図１１中の破線の矢印および計算式（除算の式）で示したように、この場合におけるフィルタ値Ｖｆの更新処理は、以下のようになっている。すなわち、上記した対称軸Ａｓを中心とした２つの線対称位置（この例では左右対称位置）におけるフィルタ値Ｖｆをそれぞれ、その２つの線対称位置におけるフィルタ値Ｖｆ同士の平均値に更新する処理となっている。このような更新処理により、例えば図１１中に示したように、前述した比較例のフィルタＦＬｃのように、複数のフィルタ値Ｖｆが線対称とはなっていない（各フィルタ値Ｖｆが任意に設定されている）構成が、上記したような線対称を示すフィルタＦＬに、更新されることになる。

また、本実施の形態のフィルタＦＬでは、例えば図１１，図１２に示したように、複数のフィルタ値Ｖｆが左右対称の値に設定されていることで、物体識別部１２３による物体の識別結果（物体認識結果）に関し、左右対称性が担保されるようになっている。具体的には、例えば、車両１０の走行環境が左側走行環境である場合における、物体識別部１２３による物体の識別結果と、車両１０の走行環境が右側走行環境である場合における、物体識別部１２３による物体の識別結果とに関して、左右対称性が担保されるようなっている。これにより、例えば前述した図１０の比較例の場合とは異なり、本実施の形態では、以下のようになる。すなわち、例えば図１０（Ｂ）に示したような、左右反転画像ＰＬＲにおける物体認識結果においても、前述した比較例の場合とは異なり、図１０（Ａ）に示した元の撮像画像Ｐにおける物体認識結果と、同様の結果が得られることになる。

（Ｃ．作用・効果）
このようにして本実施の形態では、２次元配置された複数のフィルタ値Ｖｆを有するフィルタＦＬを用いた畳み込み演算が行われることにより、撮像画像Ｐに含まれる特徴量Ｆが抽出される。そして、このフィルタＦＬにおける複数のフィルタ値Ｖｆがそれぞれ、所定方向に沿った対称軸Ａｓを中心として、線対称の値に設定されている。

これにより本実施の形態では、例えば、複数のフィルタ値Ｖｆが線対称とはなっていない（各フィルタ値Ｖｆが任意に設定されている）、上記比較例の場合と比べ、フィルタＦＬに含まれるパラメータ数（フィルタ値Ｖｆが示す値の個数）が、削減される。具体的には、前述した図１１，図１２の例では、比較例のフィルタＦＬｃと比べ、本実施の形態のフィルタＦＬでは、そのようなパラメータ数が約半分まで削減されることになる。また、抽出した特徴量Ｆに基づく物体識別（物体認識）の際に、本実施の形態では例えば前述したように、上記比較例の場合とは異なり、線対称の性能が担保されることになる。よって、本実施の形態では、画像処理（物体認識）の際の処理モデル（学習済みモデル）の軽量化を図りつつ、モデル性能（認識性能）を担保することが可能となる。

また、本実施の形態では、前述した機械学習によるフィルタＦＬの更新時ごとに、複数のフィルタ値Ｖｆに対する更新処理が随時実行されることによって、フィルタＦＬにおける複数のフィルタ値Ｖｆがそれぞれ、線対称の値に設定されることから、以下のようになる。すなわち、各フィルタ値Ｖｆを線対称の値に設定する処理を、容易に行うことが可能となる。

更に、本実施の形態では、上記した各フィルタ値Ｖｆに対する更新処理が、上記した対称軸Ａｓを中心とした２つの線対称位置におけるフィルタ値Ｖｆをそれぞれ、２つの線対称位置におけるフィルタ値Ｖｆ同士の平均値に更新する処理であることから、以下のようになる。すなわち、各フィルタ値Ｖｆを線対称の値に設定する処理を、更に容易に行うことが可能となる。

加えて、本実施の形態では、画像処理装置１２が車両１０に搭載されたものであると共に、上記した各フィルタ値Ｖｆにおける線対称が、上記した対称軸Ａｓを中心とした左右対称となっている。そして、複数のフィルタ値Ｖｆが左右対称の値に設定されていることで、前述したように、車両１０における左側走行環境の場合と右側走行環境の場合とにおいて、物体識別部１２３による物体の識別結果に関し、左右対称性が担保されるようにしたので、以下のようになる。すなわち、そのような左側走行環境の場合と右側走行環境の場合との双方について、物体識別性能の左右対称性が担保されることから、利便性を向上させることが可能となると共に、機械学習の際の評価作業を共通化することができ、評価工数を削減することが可能となる。

＜２．実施例＞
続いて、上記実施の形態に係る具体的な実施例について、前述した比較例の場合等と適宜比較しつつ、詳細に説明する。

図１３は、実施例等に係るデータセットＤＳの構成例を、模式的に表したものである。図１４は、実施例等に係る機械学習モデル（ＤＮＮにおける学習済みモデル）の構成例を、模式的に表したものである。図１５，図１６はそれぞれ、比較例、参考例および実施例に係る物体認識結果（後述する評価（１），（２）の結果）の一例を、表したものである。具体的には、図１５では、横軸がエポック数（Epoch）、縦軸が正解率（Accuracy）に設定されており、比較例、参考例および実施例の各々において、「val（validationデータ）」の場合と「train（trainデータ）」の場合とについて、示している。一方、図１６では、横軸がエポック数（Epoch）、縦軸が、元の撮像画像での正解率と左右反転画像での正解率との差分の絶対値（｜Original Accuracy － Flipped Accuracy｜）に設定されている。また、図１７は、比較例および実施例に係るパラメータ数（後述する評価（３）の結果）の一例を、表したものである。

なお、これらの図１３～図１６中に示した、比較例、参考例および実施例とはそれぞれ、以下のような機械学習による物体認識手法となっている。
・比較例：一般的な機械学習による物体認識手法
（図９，図１０に示した比較例のフィルタＦＬｃを用いた畳み込み演算の例）
・参考例：元の撮像画像に加えて左右反転画像も機械学習させた場合の物体認識手法
・実施例：本実施の形態のフィルタＦＬを用いた畳み込み演算を利用した物体認識手法
（図１１，図１２の例を参照）

まず、これらの実施例等（比較例、参考例および実施例）における機械学習による物体認識では、図１３中に模式的に示した、公知のデータセットＤＳ（Fashion-MNISTデータセット）の衣服画像を使用し、１０クラス分の分類問題を扱うようにした。また、これらの実施例等に係る機械学習モデルとしては、図１４に示したモデルを使用した。すなわち、前述した畳み込み演算ＣＮと活性化関数ＣＡとを交互に組み合わせた、合計（２０＋１）層のニューラルネットワークを使用した。そして、これらの実施例等について、以下説明する３種類の評価（評価（１）～（３））を実施した。

最初に、図１５に示した評価（１）の結果では、実施例および参考例ではそれぞれ、比較例と比べて正解率が高くなっており、高性能な物体認識結果が得られていることが分かる。また、実施例および参考例では、ほぼ同等の性能が得られているが、実施例のほうが参考例と比べ、若干高性能となっており、実施例において、最も高性能な物体認識結果が得られている。

次に、図１６に示した評価（２）の結果では、上記した正解率の差分（元の撮像画像での正解率と左右反転画像での正解率との差分の絶対値）が、比較例では、実施例および参考例と比べ、大幅に大きくなっていることが分かる。これは、比較例は一般的な機械学習であることから、前述したように、物体認識の性能が、左右非対称になっているためである。一方、参考例では、上記した正解率の差分が小さいものの、完全には「０」となっておらず、物体認識の性能が、完全には左右対称になっていないことが分かる。これらの比較例および参考例に対し、実施例では、上記した正解率の差分が、完全に常時「０」となっており、物体認識の性能が、完全に左右対称になっている（左右対称性が担保されている）ことが分かる。

続いて、図１７に示した評価（３）の結果では、前述したように、実施例では比較例と比べ、畳み込み演算の際に用いられるフィルタに含まれるパラメータ数（フィルタ値Ｖｆが示す値の個数）が、削減されていることが分かる（図１７中の破線の矢印参照）。具体的には、この例では、比較例におけるパラメータ数が「３４９５０」、実施例におけるパラメータ数が「２２１３４」となっており、実施例では比較例と比べ、パラメータ数が約６３％まで、削減されている。

以上のことから、本実施例では比較例等と比べ、前述したように、物体認識における線対称（左右対称）の性能が、担保されると共に、上記したパラメータ数が約半分まで削減されることが、実際に確認された。なお、上記した実施例等において使用したデータセットは、あくまでも一例であり、他のデータセットを使用した場合においても、比較例、参考例および実施例において、同様の評価結果（物体認識結果）が得られた。

＜３．変形例＞
以上、実施の形態および実施例を挙げて本開示を説明したが、本開示はこれらの実施の形態等に限定されず、種々の変形が可能である。

例えば、車両１０や画像処理装置１２における各部材の構成（形式、形状、配置、個数等）については、上記実施の形態等で説明したものには限られない。すなわち、これらの各部材における構成については、他の形式や形状、配置、個数等であってもよい。また、上記実施の形態等で説明した各種パラメータの値や範囲、大小関係等についても、上記実施の形態等で説明したものには限られず、他の値や範囲、大小関係等であってもよい。

具体的には、例えば上記実施の形態等では、ステレオカメラ１１が車両１０の前方を撮像するように構成されていたが、このような構成には限定されず、例えばステレオカメラ１１が、車両１０の側方や後方を撮像するように構成してもよい。また、上記実施の形態等では、ステレオカメラ１１を用いた場合の例について説明したが、この例には限られず、例えば単眼のカメラを用いて、上記実施の形態等で説明した各種処理を行うようにしてもよい。

また、例えば、上記実施の形態等では、車両１０や画像処理装置１２において行われる各種処理について、具体例を挙げて説明したが、これらの具体例には限られない。すなわち、他の手法を用いて、これらの各種処理を行うようにしてもよい。具体的には、例えば、前述したフィルタ値の設定手法や、フィルタ値の更新処理の手法については、上記実施の形態等で説明した手法には限られず、他の手法を用いるようにしてもよい。より具体的には、例えば、上記実施の形態等では、ｙ軸方向（列方向）に沿った対称軸を中心とした線対称（左右対称）の場合を、例に挙げて説明したが、この例には限られない。すなわち、例えば、ｘ軸方向（行方向）に沿った対称軸を中心とした線対称（上下対称）の場合や、斜め方向に沿った対称軸を中心とした線対称の場合などであってもよい。また、上記実施の形態等では、フィルタ値の更新処理が随時実行されることによって、フィルタ値が線対称に設定される場合を、例に挙げて説明したが、この例には限られず、他の手法を用いて、フィルタ値が線対称に設定されるようにしてもよい。加えて、上記実施の形態等では、畳み込み演算を複数回繰り返して行う場合を、例に挙げて説明したが、この例には限られない。すなわち、例えば、畳み込み演算を１回だけ行うと共に、他の演算手法を組み合わせて行うことによって、特徴量を抽出するようにしてもよい。

更に、上記実施の形態等で説明した一連の処理は、ハードウェア（回路）で行われるようにしてもよいし、ソフトウェア（プログラム）で行われるようにしてもよい。ソフトウェアで行われるようにした場合、そのソフトウェアは、各機能をコンピュータにより実行させるためのプログラム群で構成される。各プログラムは、例えば、上記コンピュータに予め組み込まれて用いられてもよいし、ネットワークや記録媒体から上記コンピュータにインストールして用いられてもよい。

また、上記実施の形態等では、画像処理装置１２が車両に搭載されている場合の例について説明したが、この例には限られず、そのような画像処理装置１２が、例えば、車両以外の移動体や、移動体以外の装置に設けられているようにしてもよい。

更に、これまでに説明した各種の例を、任意の組み合わせで適用させるようにしてもよい。

なお、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、また、他の効果があってもよい。

また、本開示は、以下のような構成を取ることも可能である。
（１）
撮像画像に含まれる特徴量を抽出する抽出部と、
前記特徴量に基づいて物体を識別する物体識別部と
を備え、
前記抽出部は、前記撮像画像に基づいて、２次元配置された複数のフィルタ値を有するフィルタを用いた畳み込み演算を行うことにより、前記特徴量を抽出し、
前記フィルタにおける前記複数のフィルタ値がそれぞれ、所定方向に沿った対称軸を中心として、線対称の値に設定されている
画像処理装置。
（２）
機械学習による前記フィルタの更新時ごとに、前記複数のフィルタ値に対する更新処理が随時実行されることによって、
前記フィルタにおける前記複数のフィルタ値がそれぞれ、前記線対称の値に設定されるようになっている
上記（１）に記載の画像処理装置。
（３）
前記更新処理が、前記対称軸を中心とした２つの線対称位置における前記フィルタ値をそれぞれ、前記２つの線対称位置における前記フィルタ値同士の平均値に更新する処理である
上記（２）に記載の画像処理装置。
（４）
前記画像処理装置が、車両に搭載されたものであると共に、
前記線対称が、前記対称軸を中心とした左右対称であり、
前記複数のフィルタ値が、前記左右対称の値に設定されていることにより、
前記車両の走行環境が左側走行環境である場合における、前記物体識別部による前記物体の識別結果と、
前記車両の走行環境が右側走行環境である場合における、前記物体識別部による前記物体の識別結果と
に関して、左右対称性が担保されるようなっている
上記（１）ないし（３）のいずれかに記載の画像処理装置。
（５）
上記（１）ないし（４）のいずれかに記載の画像処理装置と、
前記物体識別部による前記物体の識別結果を利用して、車両制御を行う車両制御部と
を備えた車両。
（６）
１または複数のプロセッサと、
前記１または複数のプロセッサに通信可能に接続される１または複数のメモリと
を備え、
前記１または複数のプロセッサは、
撮像画像に含まれる特徴量を抽出することと、
前記特徴量に基づいて物体を識別することと
を行うと共に、
前記撮像画像に基づいて、２次元配置された複数のフィルタ値を有するフィルタを用いた畳み込み演算を行うことにより、前記特徴量を抽出し、
前記フィルタにおける前記複数のフィルタ値がそれぞれ、所定方向に沿った対称軸を中心として、線対称の値に設定されている
画像処理装置。

Claims (6)

1. 撮像画像に含まれる特徴量を抽出する抽出部と、
   前記特徴量に基づいて物体を識別する物体識別部と
   を備え、
   前記抽出部は、前記撮像画像に基づいて、２次元配置された複数のフィルタ値を有するフィルタを用いた畳み込み演算を行うことにより、前記特徴量を抽出し、
   機械学習による前記フィルタの更新時ごとに、前記複数のフィルタ値に対する更新処理が随時実行されることによって、前記フィルタにおける前記複数のフィルタ値がそれぞれ、所定方向に沿った対称軸を中心として、線対称の値に設定されており、
   前記更新処理が、前記対称軸を中心とした２つの線対称位置における前記フィルタ値をそれぞれ、前記２つの線対称位置における前記フィルタ値同士の平均値に更新する処理である
   画像処理装置。
2. （削除）
3. （削除）
4. 前記画像処理装置が、車両に搭載されたものであると共に、
   前記線対称が、前記対称軸を中心とした左右対称であり、
   前記複数のフィルタ値が、前記左右対称の値に設定されていることにより、
   前記車両の走行環境が左側走行環境である場合における、前記物体識別部による前記物体の識別結果と、
   前記車両の走行環境が右側走行環境である場合における、前記物体識別部による前記物体の識別結果と
   に関して、左右対称性が担保されるようなっている
   請求項１に記載の画像処理装置。
5. 請求項１または請求項４に記載の画像処理装置と、
   前記物体識別部による前記物体の識別結果を利用して、車両制御を行う車両制御部と
   を備えた車両。
6. １または複数のプロセッサと、
   前記１または複数のプロセッサに通信可能に接続される１または複数のメモリと
   を備え、
   前記１または複数のプロセッサは、
   撮像画像に含まれる特徴量を抽出することと、
   前記特徴量に基づいて物体を識別することと
   を行うと共に、
   前記撮像画像に基づいて、２次元配置された複数のフィルタ値を有するフィルタを用いた畳み込み演算を行うことにより、前記特徴量を抽出し、
   機械学習による前記フィルタの更新時ごとに、前記複数のフィルタ値に対する更新処理が随時実行されることによって、前記フィルタにおける前記複数のフィルタ値がそれぞれ、所定方向に沿った対称軸を中心として、線対称の値に設定されており、
   前記更新処理が、前記対称軸を中心とした２つの線対称位置における前記フィルタ値をそれぞれ、前記２つの線対称位置における前記フィルタ値同士の平均値に更新する処理である
   画像処理装置。

Images