JP7672801B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は、情報処理装置及び情報処理方法に関する。

画像認識の手法の１つに、機械学習により生成された学習モデルを用いるものがある。特許文献１及び特許文献２には、学習モデルを用いた撮像画像の認識に関する技術が開示されている。

特許文献１には、学習モデルの生成に用いた画像の撮像条件と、処理対象の画像の撮像条件とに基づいて、処理対象の画像を変換してから学習モデルに入力する手法が開示されている。

特許文献２には、魚眼レンズ等の画像中の被写体に歪みが生じるレンズを含む撮像装置によって撮像された画像を用いた学習モデルの生成手法が開示されている。この手法では、歪みのある撮像画像を均等画像に変換してから関連情報を付与し、その後、均等画像を歪み画像に変換することにより学習用のデータを生成する。

特開２０１９－１２５１１６号公報 特開２０１９－１１７５７７号公報

特許文献１の手法においては、画像認識を行うごとに撮像した画像に対して変換処理を行う必要があるため、画像認識時の処理負荷が大きい。したがって、用途によっては、特許文献１の手法の適用が困難な場合もある。

特許文献２の手法においては、変換処理は画像認識時ではなく学習時に行われているため、上述の処理負荷が大きくなることは低減できる。しかしながら、画像認識用の撮像装置を用いて学習用の画像を撮像していることから、収集できる画像の量に制約があり、学習モデルの精度が十分に得られない場合がある。

本発明は、処理負荷を低減でき、且つ、高精度な学習モデルを生成し得る情報処理装置及び情報処理方法を提供することを目的とする。

本発明の一観点によれば、第１光学特性を有する光学系を備えた第１撮像装置により取得された第１画像に対して画像認識を行うための学習モデルを生成する情報処理装置であって、学習用の第２画像を変換して前記第１光学特性に基づく歪特性を有する第３画像を生成する変換部と、前記第３画像に基づいて前記学習モデルを生成する生成部と、前記第１画像に対して画像認識を行う画像認識部とを有し、前記第２画像は、前記第１光学特性とは異なる第２光学特性を有する光学系を備えた第２撮像装置により取得された画像であり、複数の前記第３画像のそれぞれは、前記第１画像の中の位置に応じた歪特性を有し、前記生成部は、複数の前記第３画像に基づいて、前記第１画像の中の位置に応じた複数の前記学習モデルを生成し、前記画像認識部は、複数の前記学習モデルのうちの少なくとも１つをスキップして、前記第１画像の一部の領域に対する画像認識を省略することを特徴とする情報処理装置が提供される。

本発明の他の一観点によれば、第１光学特性を有する光学系を備えた第１撮像装置により取得された第１画像に対して画像認識を行うための学習モデルを生成する情報処理方法であって、学習用の第２画像を変換して前記第１光学特性に基づく歪特性を有する第３画像を生成するステップと、前記第３画像に基づいて前記学習モデルを生成するステップと、前記第１画像に対して画像認識を行うステップとを有し、前記第２画像は、前記第１光学特性とは異なる第２光学特性を有する光学系を備えた第２撮像装置により取得された画像であり、前記第３画像を生成するステップは、互いに異なる歪特性を有する複数の前記第３画像を生成し、複数の前記第３画像のそれぞれは、前記第１画像の中の位置に応じた歪特性を有し、前記学習モデルを生成するステップは、複数の前記第３画像に基づいて、前記第１画像の中の位置に応じた複数の前記学習モデルを生成し、前記画像認識を行うステップは、複数の前記学習モデルのうちの少なくとも１つをスキップし、前記第１画像の一部の領域に対する画像認識を省略することを特徴とする情報処理方法が提供される。

本発明は、処理負荷を低減でき、且つ、高精度な学習モデルを生成し得る情報処理装置及び情報処理方法が提供される。

第１実施形態に係る画像認識システムの全体構成を示すブロック図である。 第１実施形態に係る撮像装置の概略構成を示すブロック図である。 第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 第１実施形態に係る情報処理装置の機能ブロック図である。 第１実施形態に係る情報処理装置における学習処理の概略を示すフローチャートである。 第１実施形態に係る情報処理装置における画像認識に用いられ得るニューラルネットワークを概念的に示す図である。 第１実施形態に係る情報処理装置における画像認識処理の概略を示すフローチャートである。 第２実施形態に係る情報処理装置における学習処理の概略を示すフローチャートである。 第２実施形態に係る情報処理装置における画像変換の一例を説明する図である。 第３実施形態に係る情報処理装置における学習処理の概略を示すフローチャートである。 第４実施形態による画像認識システム及び移動体の構成例を示す図である。

以下、図面を参照しつつ、本発明の実施形態を説明する。複数の図面にわたって同一の要素又は対応する要素には共通の符号が付されており、その説明は省略又は簡略化されることがある。

［第１実施形態］
本実施形態の画像認識システムは、撮像した画像に対して画像認識を行い、認識結果を出力するシステムである。画像認識システムの用途の一例としては、撮像範囲内に監視対象物があるか否か等を自動的に判定する自動監視システムが挙げられる。画像認識システムは、典型的には、動画像又は連続画像に基づいて繰り返し認識処理を行うことによりリアルタイムでの画像認識を実現するものであり得る。

また、本実施形態の画像認識システムは、学習用画像を用いて学習モデルの生成を行う機械学習の機能を有している。この機能により生成された学習済みの学習モデルは、上述の画像認識に用いられる。なお、学習用画像は、あらかじめ画像認識システムに設けられているデータベースに記憶されている。

図１は、本実施形態に係る画像認識システムの全体構成を示すブロック図である。画像認識システムは、互いに通信可能に接続された撮像装置１０及び情報処理装置２０を有している。撮像装置１０は、設置されている箇所の周辺を撮影して画像を取得する装置である。撮像装置１０は、例えば、監視カメラ、デジタルスチルカメラ、デジタルカムコーダ、スマートフォン、車載カメラ、観測衛星等であり得る。撮像装置１０は、広範囲の画像認識を行うため、魚眼レンズ等の画角が広いレンズを用いたものであることが望ましい。情報処理装置２０は、ＰＣ、サーバ等のコンピュータであり、撮像装置１０から取得した画像を用いた画像処理等の演算処理を行う。情報処理装置２０は、撮像装置１０を制御して撮像を行わせる機能を有していてもよい。

なお、画像認識システムの装置構成は、図１に示すものに限定されない。例えば、画像認識システムは、撮像装置１０及び情報処理装置２０の機能を有する一体型の画像認識装置であってもよい。また、撮像装置１０及び情報処理装置２０の少なくとも一方が複数設けられていてもよい。例えば、撮像装置１０が複数設けられていることにより、複数の撮影範囲を並行して撮影可能であってもよい。また、例えば、情報処理装置２０が複数設けられていることにより、本実施形態の画像処理等を複数の装置が連携して行うものであってもよい。また、情報処理装置２０が学習モデルの生成を行う学習装置と、学習モデルを用いて画像認識を行う画像認識装置に分かれていてもよい。また、画像認識システムは、撮像装置１０及び情報処理装置２０以外の装置を更に有していてもよい。例えば、画像認識システムは、全体を制御する制御装置を更に有していてもよく、この場合、撮像装置１０及び情報処理装置２０は、制御装置の制御に応じて画像認識の処理を行うものであってもよい。

図２は、本実施形態に係る撮像装置１０の概略構成を示すブロック図である。撮像装置１０は、図２に示すように、光電変換装置１０１、レンズ１０２、絞り１０３、バリア１０４、信号処理部１０５、タイミング発生部１１１、全体制御・演算部１１０を有している。撮像装置１０は、また、メモリ部１０６、記録媒体制御Ｉ／Ｆ（Interface）部１０９、外部Ｉ／Ｆ部１０７を有している。

光電変換装置１０１は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の固体撮像素子である。光電変換装置１０１は、典型的には複数の行及び複数の列をなすように配された複数の画素を有する２次元エリアセンサであり、複数の画素の各々が入射光に応じた信号を出力する。レンズ１０２は、被写体の光学像を光電変換装置１０１の撮像領域に結像するためのものである。上述のように、レンズ１０２は、魚眼レンズ等の画角が広いレンズであり得る。絞り１０３は、レンズ１０２を通った光量を可変にするためのものである。バリア１０４は、レンズ１０２の保護のためのものである。

信号処理部１０５は、光電変換装置１０１より出力される信号に対して、所望の処理、補正、データ圧縮等を行うものである。信号処理部１０５には、デジタルシグナルプロセッサ等の回路が含まれる。信号処理部１０５は、光電変換装置１０１と同じ基板に搭載されていてもよいし、別の基板に搭載されていてもよい。また、信号処理部１０５の一部の機能が光電変換装置１０１と同じ基板に搭載され、信号処理部１０５の他の一部の機能が別の基板に搭載されていてもよい。また、光電変換装置１０１は、デジタル信号ではなく、ＡＤ変換前のアナログ信号を出力するものであってもよい。その場合、信号処理部１０５には、ＡＤ変換器が更に含まれ得る。

タイミング発生部１１１は、光電変換装置１０１及び信号処理部１０５に、各種タイミング信号を出力するためのものである。全体制御・演算部１１０は、撮像装置１０の全体の駆動及び演算処理を司る制御部である。ここで、タイミング信号等の制御信号は撮像装置１０の外部から入力されてもよく、撮像装置１０は、少なくとも光電変換装置１０１と、光電変換装置１０１から出力された信号を処理する信号処理部１０５とを有していればよい。

メモリ部１０６は、画像データを一時的に記憶するためのフレームメモリ部である。記録媒体制御Ｉ／Ｆ部１０９は、記録媒体１０８への記録或いは記録媒体１０８からの読み出しを行うためのインターフェース部である。外部Ｉ／Ｆ部１０７は、外部の情報処理装置２０等と通信するためのインターフェース部である。記録媒体１０８は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体である。記録媒体１０８は、撮像装置１０に内蔵されていてもよく、着脱可能であってもよい。

図３は、本実施形態に係る情報処理装置２０のハードウェア構成を示すブロック図である。情報処理装置２０は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ（Hard Disk Drive）２０４、通信Ｉ／Ｆ２０５、入力装置２０６及び出力装置２０７を有している。これらの各部はバス等を介して相互に接続される。

ＣＰＵ２０１は、ＲＯＭ２０３及びＨＤＤ２０４に記憶されたプログラムをＲＡＭ２０２に読み出して実行し、演算処理、情報処理装置２０の各部の制御等を行うプロセッサである。ＣＰＵ２０１が行う処理は、学習モデルの生成、画像認識等を含み得る。

ＲＡＭ２０２は、揮発性の記憶媒体であり、ＣＰＵ２０１がプログラムを実行する際のワークメモリとして機能する。ＲＯＭ２０３は、不揮発性の記憶媒体であり、情報処理装置２０の動作に必要なファームウェア等を記憶する。ＨＤＤ２０４は、不揮発性の記憶媒体であり、本実施形態の学習処理、画像認識等の処理に用いられるプログラム、画像データ等を記憶する。

通信Ｉ／Ｆ２０５は、Ｗｉ－Ｆｉ（登録商標）、イーサネット（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に基づく通信装置である。通信Ｉ／Ｆ２０５は、撮像装置１０、他のコンピュータ等との通信に用いられる。

入力装置２０６は、情報処理装置２０に情報を入力するための装置であり、典型的には、ユーザが情報処理装置２０を操作するためのユーザインターフェースである。入力装置２０６の例としては、キーボード、ボタン、マウス、タッチパネル等が挙げられる。

出力装置２０７は、情報処理装置２０が外部に情報を出力する装置であり、典型的には、ユーザに情報を提示するためのユーザインターフェースである。出力装置２０７の例としては、ディスプレイ、スピーカ等が挙げられる。

なお、上述の情報処理装置２０の構成は一例であり、適宜変更可能である。例えば、情報処理装置２０に搭載され得るプロセッサの例としては、上述のＣＰＵ２０１に加えて、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等が挙げられる。また、これらのプロセッサが複数設けられていてもよく、複数のプロセッサが分散して処理を行ってもよい。また、ＨＤＤ２０４における画像データ等の情報を記憶する機能は、情報処理装置２０内ではなく、他のデータサーバに設けられていてもよい。また、ＨＤＤ２０４は、光ディスク、光磁気ディスク、ＳＳＤ（Solid State Drive）等の記憶媒体であってもよい。

図４は、本実施形態に係る情報処理装置２０の機能ブロック図である。情報処理装置２０は、学習用画像記憶部２１１、第１歪情報記憶部２１２、第２歪情報記憶部２１３、変換パラメータ算出部２１４、画像変換部２１５、学習モデル生成部２１６、画像取得部２２１、画像認識部２２２及び学習モデル記憶部２２３を有している。

ＣＰＵ２０１は、プログラムを実行することにより、所定の演算処理を行う。また、ＣＰＵ２０１は、プログラムを実行することにより、情報処理装置２０内の各部を制御する。これらの処理により、ＣＰＵ２０１は、変換パラメータ算出部２１４、画像変換部２１５、学習モデル生成部２１６、画像取得部２２１及び画像認識部２２２の機能を実現する。

ＨＤＤ２０４は、学習用画像、第１歪情報、第２歪情報及び学習モデルを記憶するデータベースとして機能する。これにより、ＨＤＤ２０４は、学習用画像記憶部２１１、第１歪情報記憶部２１２、第２歪情報記憶部２１３及び学習モデル記憶部２２３として機能する。

なお、図４に記載されている機能ブロックの一部は情報処理装置２０の外部の装置に設けられていてもよく、図４に記載されている機能ブロックは複数の装置の協働により実現されるものであってもよい。例えば、図４に記載されている機能ブロックが学習装置と画像認識装置とにより実現されてもよい。この場合、学習装置は、学習用画像記憶部２１１、第１歪情報記憶部２１２、第２歪情報記憶部２１３、変換パラメータ算出部２１４、画像変換部２１５及び学習モデル生成部２１６を有し得る。また、画像認識装置は、画像取得部２２１、画像認識部２２２及び学習モデル記憶部２２３を有し得る。また、別の変形例としては、学習用画像記憶部２１１、第１歪情報記憶部２１２、第２歪情報記憶部２１３及び学習モデル記憶部２２３の機能の一部又は全部が情報処理装置２０の外部のデータサーバにより実現されていてもよい。

図５は、第１実施形態に係る情報処理装置２０における学習処理の概略を示すフローチャートである。本学習処理は、学習モデルを生成する処理であり、学習モデルを用いた画像認識処理に先立って、ユーザからの開始操作等に基づいてあらかじめ行われる。なお、本学習処理は、学習が完了している既存の学習モデルに対して追加学習を行うものであってもよい。

なお、学習用画像は、学習用画像記憶部２１１にあらかじめ記憶されているものとするが、学習時に情報処理装置２０が情報処理装置２０の外のデータベースから取得してもよい。学習用画像は、典型的には、識別すべき対象物を様々なシチュエーションで撮像することにより得られた多数の画像を含むビッグデータ群である。したがって、学習用画像は、通常は撮像装置１０とは別の撮像装置により撮像された画像である。対象物の種別等の関連情報の設定が学習に必要な場合には、この関連情報はあらかじめ学習用画像に対応付けられて学習用画像記憶部２１１に記憶されているものとする。関連情報とは、例えば、画像に含まれている物体の名称等であり得る。

ステップＳ１１において、変換パラメータ算出部２１４は、第１歪情報記憶部２１２に記憶されている第１歪情報と、第２歪情報記憶部２１３に記憶されている第２歪情報とを取得する。そして、変換パラメータ算出部２１４は、第１歪情報及び第２歪情報に基づいて変換パラメータを算出する。

ここで、第１歪情報は、撮像装置１０（第１撮像装置）の光学系の光学特性（第１光学特性）に起因して、撮像装置１０で撮像される画像（第１画像）に生じる歪特性に関する情報である。より具体的には、第１歪情報は、撮像装置１０で用いられているレンズ１０２の歪みに関する情報であり得る。第１歪情報は、画像認識に用いられる予定の撮像装置１０に応じて、あらかじめ第１歪情報記憶部２１２に記憶されている。

また、第２歪情報は、学習用画像（第２画像）の撮像に用いられた撮像装置（第２撮像装置）の光学系の光学特性（第２光学特性）に起因して画像に生じる歪特性に関する情報である。より具体的には、第２歪情報は、学習用画像の撮像に用いられた撮像装置のレンズの歪みに関する情報であり得る。第２歪情報は、本処理の学習に用いられる学習用画像に応じて、あらかじめ第２歪情報記憶部２１３に記憶されている。なお、第２歪情報は、学習用画像に対応付けられて記憶されていてもよく、その場合、変換パラメータ算出部２１４は、学習用画像記憶部２１１から第２歪情報を取得してもよい。

本ステップの処理により生成される変換パラメータは、後述の画像変換における変換の態様、程度等を示すものである。変換パラメータ算出部２１４は、学習用画像の歪みを撮像装置１０により撮影される画像の歪みに近づけるように変換パラメータを算出する。また、この変換パラメータは、画像の回転角度、拡大・縮小の程度、輝度変更等のパラメータを含んでいてもよい。

ステップＳ１２において、画像変換部２１５（変換部）は、学習用画像記憶部２１１に記憶されている学習用画像と、ステップＳ１１において算出された変換パラメータとを取得する。そして、画像変換部２１５は、変換パラメータに基づいて、学習用画像を変換する。なお、この処理における変換は、例えば、射影方式が異なるレンズ間の射影方式変換を行う幾何学変換であり得る。また、変換時に画素値の補完処理を行ってもよい。なお、ステップＳ１２において変換される学習用画像の個数は後述の学習モデルの生成に必要な個数であればよく、一般的には複数である。

ステップＳ１３において、学習モデル生成部２１６（生成部）は、変換後の学習用画像（第３画像）に基づいて学習モデルを生成する。本実施形態で用いられ得る学習モデルは、例えば、図６に例示されるようなニューラルネットワークであり得る。図６は、本実施形態に係る情報処理装置２０における画像認識に用いられ得るニューラルネットワークを概念的に示す図である。

図６に示されているニューラルネットワークは、複数のノード３０を有している。複数のノード３０は、入力層、中間層及び出力層をなしている。入力層には、画像データが入力される。各ノード３０は、複数の他のノード３０からの入力値と重み付け係数とバイアス値とを含む活性化関数による演算を行い、演算結果を次の層のノード３０に出力する。出力層のノード３０は、前段の中間層からの入力に基づいてニューラルネットワークの演算結果を出力する。この出力は、入力された画像データに関する何らかの判定結果を意味するものであり得る。判定結果の具体例としては、例えば、入力された画像中に対象物があるか否か、対象物の位置、対象物の種別等であり得る。

なお、ニューラルネットワークの例では、学習モデルとは、ニューラルネットワークの構造と、活性化関数に含まれる重み付け係数及びバイアス値に相当し、学習とは、重み付け係数とバイアス値を適切に決定することに相当する。

ニューラルネットワークの学習方法の一例を説明する。あらかじめ正解値が設定されている学習用画像を準備しておく。そして、入力層に学習用画像を入力したときに設定されている正解値が出力層のノード３０から出力されるように、各ノード３０の重み付け係数とバイアス値の最適化を行う。この最適化手法の一例としては逆誤差伝搬法が挙げられる。このような学習処理を多数の学習用画像を用いて行うことにより、学習用画像以外の未知の画像に対しても適切な画像認識を行うことができる学習モデルを生成することができる。

なお、本実施形態で用いられ得る学習モデルは上述の例のようなニューラルネットワークを用いるものに限定されず、例えば、ランダムフォレスト、サポートベクタマシン等であってもよい。また、図６に示されているニューラルネットワークの構造は説明の都合上簡略化されたものであり、実際の層数、ノード数等は図示されているものよりもはるかに大規模なものであり得る。

ステップＳ１４において、学習モデル記憶部２２３は、ステップＳ１３において生成された学習モデルを記憶する。次に、学習済みの学習モデルを用いた画像認識処理について説明する。

図７は、第１実施形態に係る情報処理装置２０における画像認識処理の概略を示すフローチャートである。本画像認識処理は、学習モデルを用いて撮像装置１０により撮像された画像を認識する処理である。本画像認識システムが自動監視システムのように撮像と認識を繰り返し行うものである場合には、本処理は、撮像装置１０により撮像が行われるごとに繰り返し実行される。あるいは、本処理は、ユーザからの開始操作に基づいて実行されるものであってもよい。

ステップＳ２１において、画像取得部２２１は、撮像装置１０によって撮像された画像を取得する。ステップＳ２２において、画像認識部２２２は、学習モデル記憶部２２３に記憶されている学習モデルを用いて、ステップＳ２１において取得された画像の認識を行う。例えば、画像認識部２２２で用いられる学習モデルが図６のようなニューラルネットワークである場合には、本処理は、入力層に画像データを入力して、出力層から演算結果を出力させる処理であり得る。ステップＳ２３において、情報処理装置２０は、画像認識部２２２における演算結果を外部に出力する。なお、画像取得部２２１は、図４に示されているように、距離センサ４０の出力を更に取得して、処理に用いてもよい。

本実施形態の学習処理による効果をより詳細に説明する。一般的に、画像認識のための機械学習において精度を向上させるためには、学習用画像を多く準備することが有効である。そのためには、学習専用に多数の画像を撮像して学習用画像を準備する手法では得られる画像の数に限界があるため、いわゆるビッグデータ等とも呼ばれる既存の画像を活用することが望ましい。しかしながら、画像認識に用いられる撮像装置の光学特性が学習用画像の撮像に用いられた撮像装置の光学特性と異なっていると、同じ物体であっても形状等が異なって撮像されるため、画像認識の精度が低下するおそれがある。特に、自動監視等の用途の撮像装置には魚眼レンズ等の画角が広く、歪みの大きいレンズが用いられることが多いのに対し、既存の画像は中心射影方式の一般的なレンズを用いた撮像装置で撮像されることが多い。このようなケースでは、レンズの差による画像の歪みの差の影響が顕著になることがある。

そこで、本実施形態では、学習用画像を変換して、画像認識に用いられる撮像装置１０の光学系の光学特性に基づく歪特性を有する画像で学習を行っている。これにより、撮像装置１０で取得される画像の歪特性を考慮した学習が行われる。したがって、本実施形態によれば、高精度な学習モデルを生成し得る情報処理装置及び情報処理方法が提供される。

また、本実施形態では、画像認識に用いられる撮像装置１０の光学系の光学特性に加えて、学習用画像を撮像した撮像装置の光学系の光学特性も変換時に考慮されている。したがって、学習用画像と、撮像装置１０で取得される画像の間の歪特性の差を考慮した学習が行われている。これにより、学習モデルの精度が更に向上されている。

［第２実施形態］
本実施形態の画像認識システムは、学習処理において、１つの学習用画像に対して、レンズの領域に応じて複数の異なる変換を行う点が第１実施形態と相違する。すなわち、本実施形態では、互いに異なる歪特性を有する変換後の学習用画像が複数生成される。以下では、第１実施形態との相違点について説明するものとし、第１実施形態と共通する部分についての説明は省略又は簡略化する。

図８は、第２実施形態に係る情報処理装置における学習処理の概略を示すフローチャートである。本実施形態の学習処理は、レンズ１０２を複数の領域に分割し、レンズ１０２の領域ごとに、対応する学習用画像の変換を行うループ処理を含んでいる。このループ処理はステップＳ３１、Ｓ１１、Ｓ１２を含む。ループ処理が１周するごとに１つの領域に対応する学習用画像の変換が行われる。ループ処理のループカウンタ変数をｋとする。

ステップＳ３１において、変換パラメータ算出部２１４は、レンズ１０２の複数の領域のうちのｋ番目のレンズ領域に対応する第１歪情報を第１歪情報記憶部２１２から取得する。第１歪情報は、レンズ領域ごとに異なるものであり得る。なお、レンズ領域ごとの第１歪情報は、あらかじめ第１歪情報記憶部２１２に記憶されているものとするが、変換パラメータの算出の際にレンズの射影方式を示す理論式とレンズ領域の座標から計算により算出してもよい。

ステップＳ１１、Ｓ１２は、第１歪情報がレンズ１０２の全体ではなく、その一部であるｋ番目のレンズ領域に対応するものである点を除き第１実施形態と同様であるため、説明を省略する。すべてのレンズ領域の変換が完了するとループ処理は終了する。このループ処理では、１つの学習用画像に対してレンズ領域の個数分の異なる変換処理が行われ、レンズ領域の個数の分だけ変換後の学習用画像が得られる。その後、第１実施形態と同様にステップＳ１３、Ｓ１４の処理が行われる。これらの処理により、レンズ１０２の複数の領域の各々に対応して異なる第１歪情報を用いた変換が行われ、各変換に対応した多数の学習用画像により学習モデルが生成される。

本実施形態のレンズ領域ごとの変換処理について、具体例を挙げつつより詳細に説明する。図９（ａ）乃至図９（ｆ）は、第２実施形態に係る情報処理装置２０における画像変換の一例を説明する図である。なおこの具体例の説明においては、撮像装置１０のレンズ１０２は、等立体角射影方式等の射影方式による、画角１８０°の魚眼レンズであるものとする。また、学習用画像は、被写体と像が相似形状になるような、中心射影方式の射影方式によるレンズを用いた撮像装置で撮像されたものとする。

図９（ａ）は、魚眼レンズを用いた撮像装置１０により撮影される画像及びその分割方法を模式的に示す図である。魚眼レンズの光軸が鉛直方向を向いているとき、撮像範囲は天球の全面となる。このとき、撮影される画像の各画素の座標は、天球の全面の座標を平面上の円に射影したものとなる。この射影方式に起因して、撮影される画像内の被写体の歪みは天球の地表に近い位置（図９（ａ）では円の外周に近い位置）ほど大きくなり、天頂に近い位置（図９（ａ）では円の中心に近い位置）ほど小さくなる。また、被写体の画像は、撮影される画像内の位置に応じて異なる角度に回転する。そこで、図９（ａ）に示されるように、複数の中心線及び複数の同心円によって領域を分割する。図９（ａ）に示す画像において各領域に対応するレンズの範囲が、図８において述べたレンズ領域に相当する。

次に、図９（ｂ）から図９（ｆ）を参照して、学習用画像の変換処理による画像の変形について説明する。図９（ｂ）は、変換前の学習用画像の例を示している。図９（ｂ）の画像は、認識の対象物として飛行物体の画像が含まれている長方形ＡＢＣＤをなしている。図９（ｂ）の画像では、被写体と像が相似形状であることから実際の飛行物体の形状が正しく反映されているものとする。

図９（ｃ）は、図９（ａ）の領域Ｐ１に対応する学習用画像の変形を示す図である。図９（ｄ）は、この学習用画像の変形に伴う飛行物体の画像の変形を示す図である。領域Ｐ１において、長方形ＡＢＣＤを中心射影方式から等立体角射影方式に変換すると、図９（ｃ）のように長方形ＡＢＣＤは、１５８°程度の回転と、各辺が歪む変形を受ける。これにより、図９（ｄ）のように、飛行物体の画像の形状も同様の回転及び変形を受けることとなる。

また、図９（ｅ）は、図９（ａ）の領域Ｐ２に対応する学習用画像の変形を示す図である。図９（ｆ）は、この学習用画像の変形に伴う飛行物体の画像の変形を示す図である。領域Ｐ２において、長方形ＡＢＣＤを中心射影方式から等立体角射影方式に変換すると、図９（ｅ）のように長方形ＡＢＣＤは、２３°程度の回転と、長方形から扇形への変形を受ける。これにより、図９（ｆ）のように、飛行物体の画像の形状も同様の回転及び変形を受けることとなる。図９（ｄ）及び図９（ｆ）の比較により理解できるように、領域に応じて変形の態様と程度が異なっている。

魚眼レンズを用いて飛行物体等の物体の撮像を行う場合には、等立体角射影方式等の射影方式の性質に起因して、画像内の位置によって画像の変形の態様と程度が変化することを考慮すべきである。魚眼レンズの全面にわたって同じ歪みを与えるような変形では、この影響を考慮することが困難である。そこで、本実施形態では、ステップＳ１１、Ｓ１２における学習用画像の変換において、画像内の位置、すなわち、レンズ領域の位置に応じて変換パラメータを異ならせることで、レンズ内の位置による変形の態様と程度の違いを考慮した変換を可能にしている。したがって、本実施形態によれば、より高精度な学習モデルを生成し得る情報処理装置及び情報処理方法を提供することができる。

［第３実施形態］
本実施形態の画像認識システムは、学習処理において、レンズ領域に応じた複数の異なる変換により得られた画像を用いて複数の学習モデルを生成する点が第２実施形態と相違する。以下では、第２実施形態との相違点について説明するものとし、第２実施形態と共通する部分についての説明は省略又は簡略化する。

図１０は、第２実施形態に係る情報処理装置における学習処理の概略を示すフローチャートである。本実施形態の学習処理は、レンズ１０２を複数の領域に分割し、レンズ１０２の領域ごとに対応する学習用画像の変換を行い、更にこれに対応した学習モデルを生成するループ処理を含んでいる。このループ処理はステップＳ３１、Ｓ１１、Ｓ１２、Ｓ１３、Ｓ１４を含む。ループ処理が１周するごとに１つの領域に対応する学習用画像の変換及び学習モデルの生成が行われる。ループ処理のループカウンタ変数をｋとする。

ステップＳ３１、Ｓ１１、Ｓ１２、Ｓ１３、Ｓ１４の具体的な内容は第２実施形態と概ね同様であるため説明を省略する。第２実施形態とは異なり、本実施形態では、ステップＳ１３、Ｓ１４もループ処理内に含まれている。これにより、本実施形態では、レンズ領域に応じた複数の学習モデルが生成される。

画像認識処理の際には、図７におけるステップＳ２２において、レンズ領域ごとに異なる学習モデルを用いた画像認識を行う点が第１実施形態との相違点であるが、その他の点は同様である。なお、この画像認識は、レンズ領域ごとに行われるため複数回の処理となるが、この複数回の処理は、直列処理であってもよく、並列処理であってもよく、直列処理と並列処理を組み合わせたものであってもよい。

以上のように、本実施形態では、第２実施形態と同様に、レンズ領域の位置に応じて変換パラメータを異ならせることで、上述の変形の態様と程度の違いを考慮した変換が行われる。したがって、第２実施形態と同様の効果が得られる。更に本実施形態では、領域ごとに別の学習モデルが生成されることから、複数の学習モデルの各々を個別に見たときには、別の領域の学習用画像が学習に用いられない。したがって、学習モデルの認識精度が向上する。したがって、本実施形態によれば、より高精度な学習モデルを生成し得る情報処理装置及び情報処理方法を提供することができる。

なお、本実施形態においては、領域ごとに細分化された個別の学習モデルを有していることから、レンズ１０２の全領域にわたって画像認識を行うのではなく、一部の領域では画像認識を行わないという処理も可能である。例えば、撮像装置１０の撮影範囲内に識別対象物が存在しないことがわかっている範囲がある場合には、その領域を除いた領域だけで学習モデルを準備して、画像認識時にはその領域をスキップして画像認識を行ってもよい。この手法では、一部の領域の画像認識を省略できるため、処理負荷を軽減することができる。画像認識をスキップする領域は、事前に選択されていてもよく、過去の画像との差分検出により差がないとされた領域を選択してもよい。

［第４実施形態］
本発明の第４実施形態による画像認識システム及び移動体について、図１１を用いて説明する。図１１（ａ）及び図１１（ｂ）は、本実施形態による画像認識システム６００及び移動体の構成を示す図である。

図１１（ａ）は、車載カメラに関する画像認識システム６００の一例を示したブロック図である。画像認識システム６００は、第１乃至第３実施形態で述べた撮像装置１０を有する。また、画像認識システム６００は、第１乃至第３実施形態で述べた情報処理装置２０により生成された学習モデルを備え、撮像装置１０により撮像された画像に対する画像認識を行なう画像認識部６１２を有する。ここで、画像認識部６１２が行う画像認識の出力結果は、対象物との衝突可能性に関連する情報である。例えば、画像認識システム６００は、撮像装置１０とは別に距離センサ４０を有し、距離センサの結果と撮像装置１０の結果と画像認識部６１２に入力する。画像認識部６１２は両者の結果をマージする。そして、画像認識システム６００は、最適な回避行動をとることができる。

画像認識システム６００は、画像認識部６１２により算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部６１８を有する。ここで、画像認識部６１２は、対象物までの距離情報を取得する距離情報取得手段（あるいは距離情報取得回路）の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。

衝突判定部６１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、ＦＰＧＡ、ＡＳＩＣ等によって実現されてもよい。更に、これらの組合せによって実現されてもよい。

画像認識システム６００は車両情報取得装置６２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、画像認識システム６００は、衝突判定部６１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御手段（制御回路）である制御ＥＣＵ６３０と接続されている。

また、画像認識システム６００は、衝突判定部６１８での判定結果に基づいて、ドライバーへ警報を発する警報装置６４０とも接続されている。例えば、衝突判定部６１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ６３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置６４０は、音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を画像認識システム６００の撮像装置１０で撮像する。図１１（ｂ）に、車両前方（撮像範囲６５０）を撮像する場合の画像認識システム６００を示す。車両情報取得装置６２０は、所定の動作を行うように画像認識システム６００又は撮像装置１０に指示を送る。このような構成により、測距の精度をより向上させることができる。車両は更に距離情報に基づいて移動体である車両を制御する制御手段を備え得る。

上述の例では他の車両と衝突しない制御を説明したが、画像認識システム６００は、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、画像認識システム６００は、車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

本実施形態によれば、高精度な学習モデルを備えた画像認識部６１２を用いることにより、より高性能な画像認識システム６００及び移動体を提供することができる。

［変形実施形態］
本発明は、上述の実施形態に限らず種々の変形が可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

上述の第２実施形態において、撮像装置１０のレンズ１０２の例として、等立体角射影方式の魚眼レンズを例示したが、投影方式はこれに限定されるものではない。投影方式は、例えば、等距離射影方式、正射影方式、立体射影方式等であってもよい。

上述の実施形態の説明においては、学習用画像は撮像装置１０とは異なる撮像装置で撮像されていることを前提としているが、学習用画像の一部に撮像装置１０で撮像された画像が含まれていてもよい。例えば、本実施形態の画像認識システムの運用時に、撮像装置１０で撮像された画像を学習用画像に追加してもよい。なお、これらの場合には、この画像に対しては画像変換の処理は必須ではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。

１０ 撮像装置
２０ 情報処理装置
２１１ 学習用画像記憶部
２１２ 第１歪情報記憶部
２１３ 第２歪情報記憶部
２１４ 変換パラメータ算出部
２１５ 画像変換部
２１６ 学習モデル生成部

Claims (8)

1. 第１光学特性を有する光学系を備えた第１撮像装置により取得された第１画像に対して画像認識を行うための学習モデルを生成する情報処理装置であって、
   学習用の第２画像を変換して前記第１光学特性に基づく歪特性を有する第３画像を生成する変換部と、
   前記第３画像に基づいて前記学習モデルを生成する生成部と、
   前記第１画像に対して画像認識を行う画像認識部とを有し、
   前記第２画像は、前記第１光学特性とは異なる第２光学特性を有する光学系を備えた第２撮像装置により取得された画像であり、
   複数の前記第３画像のそれぞれは、前記第１画像の中の位置に応じた歪特性を有し、
   前記生成部は、複数の前記第３画像に基づいて、前記第１画像の中の位置に応じた複数の前記学習モデルを生成し、
   前記画像認識部は、複数の前記学習モデルのうちの少なくとも１つをスキップして、前記第１画像の一部の領域に対する画像認識を省略することを特徴とする情報処理装置。
2. 前記変換部は、前記第２光学特性に更に基づいて前記第２画像の歪特性を変換する
   ことを特徴とする請求項１に記載の情報処理装置。
   置。
3. 前記第１撮像装置の光学系は、魚眼レンズを含む
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記変換部において行われる変換処理は、前記第２画像の射影方式を変換する幾何学変換を含む
   請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 請求項１乃至４のいずれか１項に記載の情報処理装置により生成された前記学習モデルを有する画像認識装置と、
   前記第１撮像装置と、
   を有することを特徴とする画像認識システム。
6. 移動体であって、
   請求項１乃至４のいずれか１項に記載の情報処理装置により生成された前記学習モデルを有する画像認識装置と、
   前記画像認識装置による画像認識の結果に基づいて前記移動体を制御する制御手段と、
   を有することを特徴とする移動体。
7. 第１光学特性を有する光学系を備えた第１撮像装置により取得された第１画像に対して画像認識を行うための学習モデルを生成する情報処理方法であって、
   学習用の第２画像を変換して前記第１光学特性に基づく歪特性を有する第３画像を生成するステップと、
   前記第３画像に基づいて前記学習モデルを生成するステップと、
   前記第１画像に対して画像認識を行うステップとを有し、
   前記第２画像は、前記第１光学特性とは異なる第２光学特性を有する光学系を備えた第２撮像装置により取得された画像であり、
   前記第３画像を生成するステップは、互いに異なる歪特性を有する複数の前記第３画像を生成し、
   複数の前記第３画像のそれぞれは、前記第１画像の中の位置に応じた歪特性を有し、
   前記学習モデルを生成するステップは、複数の前記第３画像に基づいて、前記第１画像の中の位置に応じた複数の前記学習モデルを生成し、
   前記画像認識を行うステップは、複数の前記学習モデルのうちの少なくとも１つをスキップし、前記第１画像の一部の領域に対する画像認識を省略することを特徴とする情報処理方法。
8. コンピュータに、請求項７に記載の情報処理方法を実行させるためのプログラム。

Images