JP7401246B2 - 撮像装置、撮像装置の制御方法、及びプログラム - Google Patents

Description

本発明は、撮像時に用いられる撮像パラメータの制御技術に関する。

撮像装置において、所望の画像を取得することを可能とする撮像パラメータを制御する技術として、画像に対して認識処理を実行し、得られた認識結果を基にして撮像パラメータを制御する技術が広く提案されている。特許文献１には、監視装置等のカメラが撮像した画像を用いた人物の顔認識結果を基に、その人物の顔を確認し易くするようにカメラの上下方向、水平方向、回転方向等の撮影方向、及び画角の少なくとも一つの撮像パラメータを決定する技術が開示されている。

特開２０１４－６４０８３号公報

前述した画像認識結果に基づく撮像パラメータ制御技術の場合、認識処理を適用する対象となる画像は既に取得済みの画像である。このため、画像認識結果を基に撮像パラメータを制御した場合、当該撮像パラメータを反映した上で新たに取得した画像において、認識対象物の画像上の位置および画素レベルの輝度データは、既に変化している可能性が有る。この場合、顔画像のような所望の画像を取得するために制御した撮像パラメータの値は、その撮像パラメータを基に新たに撮像される画像に対して適当でない値となってしまってしまうことが有り得る。つまり、その撮像パラメータは、新たに撮像される画像に対して適合していない可能性がある。

そこで、本発明は、撮像パラメータを基に撮像される画像に対して、より適合した撮像パラメータを決定可能にすることを目的とする。

本発明の撮像装置は、画像の画素または領域毎に撮像パラメータを設定可能な撮像センサを備え、動く物体を撮像した画像を取得する撮像手段と、前記取得された画像を基に前記撮像手段によって、前記物体が動いた後に撮像される画像を予測した予測画像を生成する画像生成手段と、前記画像生成手段で生成された予測画像に対して画像認識処理を実行する画像認識手段と、前記画像認識処理によって得られる前記予測画像内の前記物体の位置に基づいて、前記画素または領域毎に前記撮像センサの前記撮像パラメータを決定するパラメータ決定手段と、前記決定した撮像パラメータを前記撮像センサに対して前記画素または領域毎に設定するパラメータ設定手段と、を有し、前記撮像手段は、前記パラメータ設定手段で設定されたパラメータに従って画像を取得することを特徴とする。

本発明によれば、撮像パラメータを基に撮像される画像に対して、より適合した撮像パラメータを決定することができる。

実施形態１に係る撮像装置の構成例を示す図である。 実施形態１に係る処理フローチャートである。 実施形態１に係る予測画像生成処理を実現する構成例を示す図である。 実施形態１に係る画像認識処理を実現する構成例を示す図である。 実施形態１に係る画像認識処理の説明図である。 実施形態２に係る処理フローチャートである。 実施形態２に係る画像認識処理を実現する構成例を示す図である。 実施形態２に係る画像認識処理（物体認識処理）の説明図である。 実施形態２に係る画像認識処理（物体姿勢認識処理）の説明図である。 実施形態２に係る人体頭部中心位置の算出方法の説明図である。 実施形態２に係る撮像領域の説明図である。 実施形態３に係る処理フローチャートである。 実施形態３に係る画像認識処理の説明図である。 実施形態４に係る撮像装置の構成例を示す図である。 実施形態４に係る処理フローチャートである。 実施形態５に係る撮像装置の構成例を示す図である。 実施形態５に係る処理フローチャートである。

以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
＜実施形態１＞
まず、本発明に係る実施形態１について説明する。図１は、本実施形態に係る撮像装置の構成例を示すブロック図である。

図１に示すように、本実施形態の撮像装置は、画像センサ部１０、画像生成部２０、画像認識部３０、パラメータ決定部４０、パラメータ設定部５０、ＲＡＭ８０、画像バス１２０、およびＣＰＵバス１７０を有する。さらに撮像装置は、ブリッジ１３０、ＤＭＡＣ（Direct Memory Access Controller）７０、ＣＰＵ（Central Processing Unit）１４０、ＲＯＭ１５０、及びＲＡＭ１６０を有している。画像センサ部１０、画像生成部２０、画像認識部３０、パラメータ決定部４０、パラメータ設定部５０及びＤＭＡＣ７０は、画像バス１２０を介して互いに接続されている。またＣＰＵ１４０、ＲＯＭ１５０及びＲＡＭ１６０は、ＣＰＵバス１７０を介して互いに接続されている。ブリッジ１３０は、画像バス１２０とＣＰＵバス１７０との間のデータ転送を可能にする。

画像センサ部１０は、光学系、撮像センサ、撮像センサを制御するドライバー回路、撮像センサにて取得された撮像信号をデジタル信号に変換するＡ／Ｄ変換回路、および、デジタル信号に変換された撮像信号を画像として現像する現像回路等を備えている。撮像センサは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサからなる。

ここで、画像センサ部１０は、撮像センサの動作特性を決定する撮像パラメータを制御する機能を有する。撮像パラメータを制御する機能は、画像センサ部１０内の例えばドライバー回路が担っている。撮像パラメータは、露光パラメータ、フォーカスパラメータ、ダイナックレンジパラメータ、ゲインパラメータ、フレームレートパラメータ、撮像領域パラメータ、解像度パラメータ等からなる。露光パラメータは、撮像センサにおける露光時間等を制御するパラメータである。フォーカスパラメータは、撮像センサ上でフォーカス用の画素等の動作を制御するパラメータである。ゲインパラメータは、撮像センサにより撮像された信号のゲインを制御するパラメータである。フレームレートパラメータは、撮像センサにおける撮像時のフレームレートを制御するパラメータである。撮像領域パラメータは、撮像センサ上で撮像する領域を制御するパラメータである。解像度パラメータは、撮像センサの解像度を制御するパラメータである。撮像パラメータによる制御機能の具体例については後述する。

画像生成部２０は、画像センサ部１０により取得された少なくとも１枚の画像データから、将来の画像として予測される予測画像を生成する機能を有する。画像生成部２０における予測画像生成機能の詳細については後述する。
画像認識部３０は、画像生成部２０によって生成された予測画像に対して所定の画像認識処理を実行する機能を有する。なお実施形態１では、画像認識部３０が画像認識処理として領域分割処理を実行する場合に関して説明する。画像認識部３０における画像認識処理機能（領域分割処理機能）の詳細については後述する。

パラメータ決定部４０は、画像認識部３０による認識結果を基に、画像センサ部１０の撮像センサを制御するための撮像パラメータの種類およびその値を決定する。パラメータ決定部４０における撮像パラメータ決定機能の詳細については後述する。
パラメータ設定部５０は、パラメータ決定部４０により決定された撮像パラメータの値を、画像センサ部１０に対して設定する。パラメータ設定部５０における撮像パラメータ設定機能の詳細については後述する。

ＤＭＡＣ７０は、画像センサ部１０、画像生成部２０、画像認識部３０、パラメータ決定部４０、パラメータ設定部５０、及びＣＰＵバス１７０との間のデータ転送を司る。
ＲＯＭ（Read Only Memory）１５０は、ＣＰＵ１４０が実行するプログラム、ＣＰＵ１４０の動作を規定する命令、パラメータデータ、重み係数等を格納している。
ＣＰＵ１４０は、ＲＯＭ１５０から、それらプログラムや命令、パラメータデータ等を読み出しつつ、当該撮像装置の全体の動作を制御したり、様々な演算を行ったりする。なお、ＣＰＵ１４０はブリッジ１３０を介して画像バス１２０上のＲＡＭ８０にアクセスすることも可能である。
ＲＡＭ１６０は、ＣＰＵ１４０が撮像装置を制御等する際に、当該ＣＰＵ１４０の作業領域として使用される。

次に、図１に示した構成を有する撮像装置の動作について説明する。
図２は、本実施形態に係る撮像装置の動作を示すフローチャートである。なお図２に示した処理フロー全体の制御は、事前に設定されたプログラムに基づいてＣＰＵ１４０により実行される。

先ずステップＳ１８０において、ＣＰＵ１４０は、撮像処理の開始に先立ち、撮像装置における各種初期化処理を実行する。例えば、ＣＰＵ１４０は、画像認識部３０および画像生成部２０の動作に必要な重み係数をＲＯＭ１５０からＲＡＭ１６０に転送すると共に、画像認識部３０および画像生成部２０の動作を定義する為の各種レジスタ設定を行う。具体的には、ＣＰＵ１４０は、画像認識部３０および画像生成部２０内の制御部に存在する複数のレジスタに所定の値を設定する。同様に、ＣＰＵ１４０は、画像センサ部１０に対しても動作に必要な値を書き込む。この時、画像センサ部１０の撮像センサを制御するための撮像パラメータの値としては、事前に決定された所定の初期値またはユーザが設定した初期値が設定される。

次にステップＳ１８１において、画像センサ部１０は、撮像処理を実行して撮像画像データを取得する。
続いてステップＳ１８２において、画像生成部２０は、画像センサ部１０にて取得された画像データを内部のフレームバッファにフレーム単位で格納する。ここで、本実施形態の場合、画像生成部２０は、５フレーム分の画像データが入力されてから、１フレーム分の予測画像の生成および出力を開始するものとする。このため、画像生成部２０は、画像センサ部１０からフレーム単位で画像データを取得し、ステップＳ１８３において予測画像の生成を開始するか判定する。画像生成部２０は、５フレーム分の画像データを取得できた場合には、ステップＳ１８３において予測画像の生成を開始し、１フレーム分の予測画像を生成して出力する。一方、画像生成部２０は、５フレーム分の画像データが取得できていない場合には、予測画像の生成を開始せずに、画像センサ部１０によるステップＳ１８１の画像取得処理に戻す。なお本実施形態において、画像生成部２０は、次のフレームの画像データを取得するまでの間に、既にフレームバッファに格納された画像データに対して、所定の処理（特徴抽出処理など、予測画像生成に必要な各種の処理）を実行するものとする。画像生成部２０における予測画像生成処理の詳細については後述する。

ステップＳ１８３で予測画像の生成処理が開始されて予測画像が生成されると、ＣＰＵ１４０は、画像認識部３０にて行われるステップＳ１８４に処理を進める。
ステップＳ１８４に進むと、画像認識部３０は、画像生成部２０で生成された予測画像を用いた画像認識処理を行う。本実施形態の場合、画像認識部３０は、画像認識処理を実行し、画像生成部２０で生成された予測画像を複数の領域に分割した分割領域の単位で画像認識結果を出力する。そして、画像認識部３０は、画像認識処理の結果として、画像（予測画像）上における、分割領域の座標値（画像上の画素の位置を示す座標値）を出力する。

次にステップＳ１８５の撮像パラメータ決定処理として、パラメータ決定部４０は、画像センサ部１０の動作特性を決定する前述した撮像パラメータの値を決定する。本実施形態の場合、パラメータ決定部４０は、ステップＳ１８４の画像認識処理による認識結果として算出された、画像上における分割領域の座標値の情報と、ステップＳ１８２の画像生成処理で生成された予測画像とに基づいて、撮像パラメータの値を決定する。撮像パラメータ値の決定方法の具体例については後述する。

次にステップＳ１８６の撮像パラメータ設定処理として、パラメータ設定部５０は、ステップＳ１８５で決定された撮像パラメータの値を、画像センサ部１０に対して設定する。
ステップＳ１８６による撮像パラメータの設定が完了すると、ＣＰＵ１４０は、ステップＳ１８７において終了通知の発行（例えばユーザによる終了指示に基づく、ＣＰＵ１４０に対する割り込み信号）を確認する。ＣＰＵ１４０は、終了通知が発行されていない場合には撮像装置の処理をステップＳ１８１の画像取得処理に戻して、ステップＳ１８１以降の処理を継続させる。一方、ＣＰＵ１４０は、終了通知の発行を確認すると、図２のフローチャートの処理を終了する。

なお前述の説明では、画像生成部２０は、５フレーム分の画像データが入力されてから、１フレーム分の予測画像の出力を開始するものとしたが、この例に限定されるものではない。例えば、画像生成部２０は、過去の任意のｎフレーム分の画像データが入力されてから１フレーム分の予測画像の出力を開始するものであっても良い。この場合の過去の任意のｎフレーム分の"ｎ"は１以上の値である。例えば"ｎ"が１である場合、画像生成部２０は過去の１フレーム分の画像データを基に、予測画像を生成することになる。また本実施形態において、画像生成部２０は、１フレーム分の予測画像を出力するものとしたが、複数フレーム分の予測画像を生成して出力するものであっても良い。複数フレーム分の予測画像は、時系列順の複数のフレームの予測画像であっても良いし、同フレーム時間に相当する複数の予測画像であっても良い。同フレーム時間に相当する複数の予測画像は、例えば撮像で取得された画像から予測される確率順（例えば予測される確率が高い順）の複数パターンの予測画像であっても良い。

次に、前述した画像生成部２０で実行される画像生成処理に関して、図３を用いて詳細に説明する。図３は、予測画像を生成する画像生成処理を実現するニューラルネットワーク（以下、ＮＮと表記する）の構成を模式的に示した図である。
なお、本実施形態で用いるＮＮ（ニューラルネットワーク）に関しては、下記の参考文献１において詳細に開示されているものを適用可能であり、画像生成部２０は、当該ＮＮを適用して、複数フレームの画像データを基に予測画像を生成する機能を有する。本実施形態では、画像生成処理の実現方法として、参考文献１に開示されている手法を適用することを想定しているが、この手法に限定されるものではない。例えば下記の参考文献２に開示されるような手法が用いられてもよい。また本実施形態における画像生成処理の実現方法は、それら参考文献１や参考文献２に開示された手法だけでなく、その他の手法を用いるものであっても構わない。

参考文献１：Xingjian Shi, Zhourong Chen, Hao Wang, Dit-Yan Yeung, "Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting", arXiv 2015

参考文献２：William Lotter, Gabriel Kreiman, David Cox, "Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning", arXiv 2017

画像生成部２０は、画像センサ部１０から入力された画像データＸ_tを、内部のフレームバッファに一旦格納した後、図３に示すように、畳み込みＬＳＴＭモジュールに入力する。畳み込みＬＳＴＭモジュールは、時系列データに対して、時系列情報を含んだ処理を実行するＮＮである。畳み込みＬＳＴＭモジュールは、広く利用されているＬＳＴＭ（long short-term memory）を時系列画像データに拡張したものである。前述の参考文献１には、畳み込みＬＳＴＭに関して詳細に説明されている。

畳み込みＬＳＴＭにおける処理は、以下の式（１）で表される。前述したように、畳み込みＬＳＴＭは、時系列画像データを使用して事前に学習することにより、所望の出力を得ることが可能なＮＮある。本実施形態においては、式（１）に基づいて、過去の５フレーム分の時系列画像データＸ₀～Ｘ₄から次のフレームの予測画像Ｘ₅を生成するように、事前に学習が行われる。

ここで、式（１）中の各記号が示す内容は以下の通りである。なお、アダマール積については式（１）中に記載している。
Ｘ：入力データ
Ｃ：セル出力データ
Ｈ：隠れ層の状態
ｉ：入力ゲート
ｆ：忘却ゲート
ｏ：出力ゲート
ｔ：時間（フレーム）
Ｗ_xo：入力荷重マトリクス（出力ゲート）
Ｗ_ho：状態荷重マトリクス（出力ゲート）
Ｗ_co：セル出力荷重マトリクス（出力ゲート）
ｂ_o：バイアス（出力ゲート）
Ｗ_xc：入力荷重マトリクス（セル出力）
Ｗ_hc：状態荷重マトリクス（セル出力）
ｂ_c：バイアス（セル出力）
Ｗ_xf：入力荷重マトリクス（忘却ゲート）
Ｗ_hf：状態荷重マトリクス（忘却ゲート）
Ｗ_cf：セル出力荷重マトリクス（忘却ゲート）
ｂ_f：バイアス（忘却ゲート）
Ｗ_xi：入力荷重マトリクス（入力ゲート）
Ｗ_hi：状態荷重マトリクス（入力ゲート）
Ｗ_ci：セル出力荷重マトリクス（入力ゲート）
ｂ_i：バイアス（入力ゲート）
＊：畳み込み演算

本実施形態の画像生成部２０は、前述したように畳み込みＬＳＴＭを用いて構成されているものとしたが、これに限るものではない。予測画像を生成する手法に関しては、前述の手法以外にも非特許文献２など様々な手法が提案されており、他の手法が用いられても構わない。

図３に示したＮＮの構成において、畳み込みＬＳＴＭは、過去の５フレーム分の画像を基にして１フレーム分の予測画像を出力する。なお図３の例においても、画像生成処理として、過去の任意のｎフレーム分の画像を基にして１レーム分の予測画像を出力するものであっても良いし、複数フレーム分の予測画像を出力するものであっても良い。畳み込みＬＳＴＭによって生成された画像は、一旦フレームバッファに格納され、図２におけるステップＳ１８４の画像認識処理に入力される。

次に、前述した画像認識部３０で実行されるステップＳ１８４の画像認識処理に関して、図４を用いて詳細に説明する。図４は、入力された予測画像に対して、所定の画像認識処理を実現するＮＮの構成例を模式的に示した図である。
図４に示すＮＮは、階層型畳み込みＮＮ（ニューラルネットワーク）モジュール１９０と階層型逆畳み込みＮＮモジュール１９１とで構成され、各層は畳み込み演算素子４０１～４０８により構成されている。この図４に示したようなＮＮに関しては、下記の参考文献３に詳細に開示されているものである。画像認識部３０は、図４のようなＮＮにより、入力された予測画像データに対して、画像内の物体毎の画像認識処理（認識結果として分割領域を得る処理）を実行する機能を有する。

参考文献３：Hyeonwoo Noh, Seunghoon Hong, Bohyung Han, "Learning Deconvolution Network for Semantic Segmentation", ICCV 2015

画像認識部３０は、入力された予測画像データを内部のフレームバッファに一旦格納した後、図４に示す階層型畳み込みＮＮモジュール１９０に入力し、更に階層型逆畳み込みＮＮモジュール１９１に入力する。階層型畳み込みＮＮモジュール１９０と階層型逆畳み込みＮＮモジュール１９１とから構成されるＮＮは、画像処理に広く利用されている。特に本実施形態のように、領域分割が適用される例は、参考文献３において詳細に説明されている。

階層型畳み込みＮＮモジュール１９０における処理は、以下の式（２）で表される。

ここで式（２）中の各記号が示す内容は以下の通りである。
ｘ：入力データ
ｙ：出力データ
ｗ：畳み込みフィルタ
ｖ：畳み込みフィルタの高さ
ｈ：畳み込みフィルタの幅
ｍ：前段層特徴面インデックス
ｎ：後段層特徴面インデックス
ｉ：前段層演算位置y座標
ｊ：前段層演算位置x座標
ｉ'：前段層演算位置y座標
ｊ'：後段層演算位置x座標
ｋ：畳み込みフィルタy座標
ｌ(t)：畳み込みフィルタx座標

また階層型逆畳み込みＮＮモジュール１９１は、式（３）で表される。

ここで式（３）中の各記号が示す内容は以下の通りである。
ｘ：入力データ（前段層特徴面にゼロ値を挿入して拡大したデータ）
ｙ：出力データ
ｗ：逆畳み込みフィルタ
ｖ：逆畳み込みフィルタの高さ
ｈ：逆畳み込みフィルタの幅
ｍ：前段層特徴面インデックス
ｎ：後段層特徴面インデックス
ｉ：前段層演算位置y座標
ｊ：前段層演算位置x座標
ｉ'：前段層演算位置y座標
ｊ'：後段層演算位置x座標
ｋ：逆畳み込みフィルタy座標
ｌ(t)：逆畳み込みフィルタx座標

本実施形態では、これら階層型畳み込みＮＮモジュール１９０と階層型逆畳み込みＮＮモジュール１９１から構成されるＮＮに対し、領域分割に関する教師データを有する画像データを用いた事前学習が行われることにより、所望の出力を得ることが可能となる。学習処理に関しては、一般的な学習手法を適用することが可能であり、詳細な学習手法に関する説明は省略する。

なお本実施形態における画像認識部３０は、前述したように階層型畳み込みＮＮモジュール１９０と階層型逆畳み込みＮＮモジュール１９１とから構成されるＮＮを用いて構成するものとしたが、この例に限られるものではない。領域分割を伴う画像認識処理を実現する手法に関しては、これ以外にも参考文献３を含む様々な手法が提案されており、その他の手法を用いたものであっても構わない。

前述した図２のステップＳ１８４の画像認識処理において、画像認識部３０は、入力された予測画像に対して領域分割処理を実行し、予測画像内の物体毎に定義される分割領域を認識結果として算出する処理を行う。具体的には、画像認識部３０は、図５に示すように、予測画像５００の中に含まれる物体の各領域の境界線５１０に相当する画素の座標を出力する。

次に、前述したパラメータ決定部４０で実行されるステップＳ１８５の撮像パラメータ決定処理に関して説明する。
パラメータ決定部４０は、まず、予測画像内の物体毎に定義された領域情報と、予想画像のデータとを基にして、図５に示す予測画像５００の中の各領域内の輝度値の平均値を算出する。

ここで撮像パラメータとして例えば露光パラメータを決定する場合、パラメータ決定部４０は、各領域内の輝度値の平均値のレンジに対応して事前に決定した適切な露光時間の値をＬＵＴ（ルックアップテーブル）として保持している。パラメータ決定部４０は、このＬＵＴを用い、算出された輝度値の平均値を基にして、画像センサ部１０の撮像センサの各領域に対応する画素回路毎の露光時間を決める露光パラメータを決定する。

また撮像パラメータとして例えばダイナミックレンジパラメータを決定する場合、パラメータ決定部４０は、前述のように算出した輝度値の平均値を基にして、画像センサ部１０の撮像センサの各領域に対応する画素回路毎のダイナミックレンジを決定する。この場合、パラメータ決定部４０は、各領域内の輝度値の平均値のレンジに対応して事前に決定した適切なダイナミックレンジの値をＬＵＴとして保持している。そして、パラメータ決定部４０は、そのＬＵＴを用い、算出された輝度値の平均値を基にして、画像センサ部１０の撮像センサの各領域に対応する画素回路毎のダイナミックレンジを決めるダイナミックレンジパラメータを決定する。

また撮像パラメータとして例えばゲインパラメータを決定する場合、パラメータ決定部４０は、前述のように算出した輝度値の平均値を基にして、画像センサ部１０の撮像センサの出力値に対して各領域に対応する画素毎にゲイン値を決定する。この場合、パラメータ決定部４０は、各領域内の輝度値の平均値のレンジに対応して事前に決定した適切なゲイン値をＬＵＴとして保持している。そして、パラメータ決定部４０は、そのＬＵＴを用い、算出された輝度値の平均値を基にして、画像センサ部１０の撮像センサの各領域に対応する画素毎にゲイン値を決めるゲインパラメータを決定する。

その後、ステップＳ１８５の撮像パラメータ決定処理において、パラメータ決定部４０は、前述したように決定した撮像パラメータをステップＳ１８６の撮像パラメータ設定処理に対して出力する。
なお、フォーカスパラメータ、フレームレートパラメータ、撮像領域パラメータ、解像度パラメータについては後述する他の実施形態において説明する。

また本実施形態では、前述したように分割領域毎に撮像パラメータを決定する例を挙げて説明したが、この例に限定されるものではない。撮像パラメータ決定処理は、特定の領域より決定された撮像パラメータを全領域に対して使用する撮像パラメータとして決定する処理でであっても良い。例えば図５において、予測画像５００の中の自動車の領域から決定された撮像パラメータを全領域に対する撮像パラメータとするものであっても良い。また、前述した分割領域毎に撮像パラメータを決定する場合と、全領域について使用する撮像パラメータを決定する場合とを切り替えても良い。例えば、所定のフレーム周期のみで全領域について使用する撮像パラメータを決定し、それ以外では分割領域毎に撮像パラメータを決定しても良い。

次に、パラメータ設定部５０で実行されるステップＳ１８６の撮像パラメータ設定処理に関して説明する。
パラメータ設定部５０は、パラメータ決定部４０から入力された撮像パラメータを、画像センサ部１０に対して設定するような撮像パラメータ設定機能を有する。
撮像パラメータとして露光パラメータが入力された場合、パラメータ設定部５０は、露光パラメータによって領域毎に決定された露光時間を基にして、ドライバー回路の、撮像センサの画素毎の露光時間制御に関わるレジスタに、露光時間を設定する。

またダイナミックレンジパラメータが入力された場合、パラメータ設定部５０は、領域毎に決定されたダイナミックレンジを基にして、ドライバー回路の、絶像センサの画素毎のダイナミックレンジ制御に関わるレジスタに、ダイナミックレンジの値を設定する。

またゲインパラメータが入力された場合、パラメータ設定部５０は、領域毎に決定されたゲイン値を基にして、ドライバー回路の、画像センサの画素毎のゲイン値制御に関わるレジスタに、ゲイン値を設定する。

そして画像センサ部１０は、前述したようにレジスタに設定された値（露光時間を示す値、ダイナミックレンジの値、およびゲイン値）に基づいて、ドライバー回路が撮像センサの動作を制御する。
なお本実施形態における撮像センサは、画素毎に露光時間、ダイナミックレンジ、およびゲイン値を制御可能な構成を有しており、それら露光時間、ダイナミックレンジ、およびゲイン値の設定を行うことができるとする。すなわち本実施形態における撮像センサは、画素毎にフォトダイオードのリセットタイミングを設定可能な構成を取ることにより、画素毎に露光時間を制御することが可能である。また、撮像センサは、画素毎に独立したＡ／Ｄ変換回路を構成することにより、ダイナミックレンジおよびゲイン値を画素毎に制御することが可能である。

また撮像パラメータ決定処理において、例えば特定の領域より決定された撮像パラメータを全領域に対して使用する撮像パラメータとして決定された場合、パラメータ設定部５０は、入力された撮像パラメータを撮像センサの全領域に対して設定する。具体的には、ドライバー回路の、撮像センサの全領域の制御に関わるレジスタに、それぞれの撮像パラメータを設定する。

以上説明したように、本実施形態の撮像装置は、過去の撮像画像から予測画像を生成し、その予測画像に対する画像認識処理結果を基にして撮像パラメータを制御する。これにより、実施形態の撮像装置によれば、過去の画像から推測した画像認識処理結果を基にして、将来の画像に対する撮像パラメータを制御する場合に生じ得る、撮像パラメータの不適合を防止することができる。すなわち本実施形態によれば、将来の画像に適合した撮像パラメータの制御を実現することが可能である。例えば、画像内の物体毎の領域が画像フレーム毎に変化する場合、過去の画像から得られる物体毎の領域は、将来の画像においてずれてしまう可能性があり、結果として撮像パラメータの調整領域もずれてしまうことが有り得る。これに対し、本実施形態の撮像装置では、予測画像の画像認識処理結果を基にして物体毎の領域の撮像パラメータを決定するため、画像内で物体毎の領域が画像フレーム毎に変化する場合でも、より適切な撮像パラメータを設定することが可能となる。

なお前述したように、実施形態１では、予測画像に対する認識結果を基にして撮像センサの撮像パラメータを制御するが、予測画像の生成方法、予測画像に対する認識処理手法、認識処理結果に基づく撮像パラメータの決定および設定手法に特に限定はない。特に、認識処理結果に基づく撮像パラメータの決定および設定手法に関しては、下記の参考文献４のように認識処理結果に基づく手法が多数開示されており、それらは本実施形態における予測画像に対する認識処理結果に基づく手法に対しても同様に適用可能である。

参考文献４：特開２０１１－１３００３１号公報

＜実施形態２＞
次に、実施形態２について説明する。
実施形態１では、画像認識処理の結果を基に分割領域（又は画像全体の領域）に対する撮像パラメータを設定する例を挙げた。これに対し、実施形態２の場合は、図１に示した画像認識部３０が、画像認識処理として物体認識処理を実行する点と、パラメータ決定部４０が、物体認識処理で決定された認識対象物体の領域に対して所定の撮像パラメータを決定する点が、実施形態１と相違する。以下、実施形態１と相違する部分についてのみ説明を行い、その他の部分に関しては実施形態１と同様であるため説明を省略する。

本実施形態の撮像装置において、図１の画像認識部３０は、画像生成部２０で生成された予測画像から、事前に設定された特定の物体を認識するような画像認識処理機能を有する。事前に設定された特定物体は、本実施形態では人体とするが、その他、自動車、自転車または信号機等、事前に学習した任意の物体を認識することが可能である。

図６は、本実施形態における撮像装置の動作を示すフローチャートである。
図６において、ステップＳ１８０からステップＳ１８３の処理は、前述した実施形態１において述べた処理と同様であるため、それらの詳細な説明は省略する。

実施形態２の場合、ステップＳ１８３で予測画像の生成処理が開始されて予測画像が生成されると、ＣＰＵ１４０は、画像認識部３０にて行われるステップＳ１８８に処理を進める。
ステップＳ１８８の物体認識処理に進むと、画像認識部３０は、画像生成部２０にて生成された予測画像に対して、人体の認識処理を実行する。そして、画像認識部３０は、画像認識処理の結果として、認識された人体に対して推定された矩形領域の画像上の座標値（左上画素位置と右下画素位置）を出力する。予測画像から人体を認識する処理の詳細は後述する。ステップＳ１８８の処理後は、ステップＳ１８５に進む。

ステップＳ１８５の撮像パラメータ決定処理に進むと、パラメータ決定部４０は、ステップＳ１８８の物体認識処理で得られた人体の矩形領域の座標値の情報と、ステップＳ１８２の画像生成処理で生成された予測画像とを基に、撮像パラメータ値を決定する。撮像パラメータ値の決定方法の詳細は後述する。

続いて、実施形態２の画像認識部３０で実行されるステップＳ１８８の画像認識処理に関して、図７を用いて詳細に説明する。図７は、入力された予測画像（Ｘ）に対して、所定の画像認識処理を実現するＮＮの構成例を模式的に示した図である。

本実施形態における画像認識処理は、認識処理技術として広く応用されている階層型畳み込みＮＮにより構成されており、前述の実施形態１で説明したＮＮに含まれる図４の階層型畳み込みＮＮモジュール１９０と同様の演算処理を実行する。階層型畳み込みＮＮモジュールの各層は畳み込み演算素子７０１～７０４により構成されている。

画像認識部３０は、入力された予測画像データを内部のフレームバッファに一旦格納した後、階層型畳み込みＮＮモジュールに入力し、人体を認識する処理を実行する。ここで、階層型畳み込みＮＮモジュールにおける処理は、一般的な物体認識処理と同様に、画像内の所定領域を順に走査することにより実行される。

階層型畳み込みＮＮにおける処理は、実施形態１における階層型畳み込みＮＮにおける処理と同様に式（２）で表される。実施形態２の場合、人体の画像上の位置およびサイズに関する教師データを有する画像データを使用して事前に学習することにより、画像中の人体を認識することが可能である。

なお本実施形態における画像認識部３０は、階層型畳み込みＮＮモジュールを用いて構成するものとしたがこれに限るものではなく、特定の物体を認識する手法は、これ以外にも様々な手法が提案されており、他の手法が用いられても良い。

図６のステップＳ１８８の物体認識処理において、画像認識部３０は、入力された予測画像に対して人体を認識する処理を実行し、その予測画像内の人体位置・サイズを推定する。具体的には、画像認識部３０は、図８に示すように、予測画像８００から、認識された人体に対して推定された矩形領域８１０の画像上の座標値（左上画素位置８１１と右下画素位置８１２）を出力する。

また、画像認識部３０は、ステップＳ１８８の画像認識処理として、人体認識処理に加えて、さらに人体姿勢認識処理を実行することも可能である。人体姿勢認識処理は、前述した階層型畳み込みＮＮモジュールによって演算することが可能である。この場合、ステップＳ１８８の物体認識処理において、画像認識部３０は、前述のように推定した矩形領域の画像上の座標値に加えて、図９に示すように予測画像９００から人体各部位の位置９１０～９１５を示す各座標値を算出する。図９の例では、予測画像９００の人体の頭部中心位置９１１、胴体中心位置９１０、左手位置９１２、右手位置９１３、左足位置９１４、右足位置９１５のぞれぞれの座標値が出力される。なお、認識する対象は人体の姿勢に限るものではなく、任意の物体の姿勢を認識する物体姿勢認識処理が実行されても良い。例えば自動車の姿勢を認識する場合は、ヘッドランプ位置、タイヤ位置、ルーフ位置等の各部位を認識することができる。

次に、実施形態２においてパラメータ決定部４０で実行されるステップＳ１８５の撮像パラメータ決定処理に関して説明する。
パラメータ決定部４０は、図８の予測画像８００内の人体に関して推定された矩形領域８１０の画像上の座標値（左上画素位置８１１と右下画素位置８１２）の情報と、予測画像８００のデータを基にして、各領域内の輝度値の平均値を算出する。

露光パラメータを決定する場合、パラメータ決定部４０は、各領域内の輝度値の平均値のレンジに対応して事前に決定した適切な露光時間をＬＵＴとして保持している。そして、パラメータ決定部４０は、そのＬＵＴを用い、算出した輝度値の平均値を基にして、画像センサ部１０の撮像センサの各領域に対応する画素回路毎の露光時間を決めることで露光パラメータを決定する。

またダイナミックレンジパラメータを決定する場合、パラメータ決定部４０は、前述のように算出した輝度値の平均値を基にして、画像センサ部１０の撮像センサの各領域に対応する画素回路毎のダイナミックレンジを決定する。この場合、パラメータ決定部４０は、各領域内の輝度値の平均値のレンジに対応して事前に決定した適切なダイナミックレンジをＬＵＴとして保持している。そして、パラメータ決定部４０は、そのＬＵＴを用い、算出した輝度値の平均値を基にして、画像センサ部１０の画像センサの各領域に対応する画素回路毎のダイナミックレンジを決めることでダイナミックレンジパラメータを決定する。

またゲインパラメータを決定する場合、パラメータ決定部４０は、前述のように算出した輝度値の平均値を基にして、画像センサ部１０の撮像センサの出力値に対して、各領域に対応する画素毎にゲイン値を決定する。この場合、パラメータ決定部４０は、各領域内の輝度値の平均値のレンジに対応して事前に決定した適切なゲイン値をＬＵＴとして保持している。パラメータ決定部４０は、そのＬＵＴを用い、算出した輝度値の平均値を基にして、画像センサ部１０の撮像センサの各領域に対応する画素毎にゲイン値を決めることでゲインパラメータを決定する。

実施形態２においても、パラメータ決定部４０は、前述したようにして決定された各撮像パラメータを、ステップＳ１８６の撮像パラメータ設定処理として、パラメータ設定部５０に送る。

また実施形態２の場合、パラメータ決定部４０は、人体に対して推定された矩形領域の画像上の座標値（左上画素位置と右下画素位置）を基に、撮像パラメータとして、撮像領域パラメータ（撮像センサで撮像する領域）を決定することも出来る。そして、パラメータ設定部５０によって撮像領域パラメータが設定された場合、画像センサ部１０は、後述するように、その撮像領域パラメータにより定義される領域の画像のみを取得することになる。

また実施形態２において、パラメータ決定部４０は、人体に対して推定された矩形領域の画像上の座標値（左上画素位置と右下画素位置）を基にして、フォーカスを合わせる画素位置を算出することもできる。例えば、パラメータ決定部４０は、人体頭部の中心位置、例えば図１０に示すように人体に対して推定された矩形領域１０１１の上部から１／１０で且つ左右の中心位置１０１０を算出し、それを基に、フォーカス位置を決めるフォーカスパラメータを決定する。そして、パラメータ設定部５０によってフォーカスパラメータが設定された場合、画像センサ部１０は、そのフォーカスパラメータにより設定されるフォーカス位置でフォーカスを合わせを行うことが可能となる。

実施形態２において、画像認識部３０は、人体認識処理に加えてさらに人体姿勢認識処理を実行した場合、事前に設定された部位、またはユーザに指定された部位に基づいて、入力された人体各部位の座標値の中から一つを選択することもできる。この場合、パラメータ決定部４０は、事前に設定された部位、またはユーザに指定された部位（例えば人体頭部中心位置）を、フォーカス位置を決めるフォーカスパラメータとして決定することも可能である。

実施形態２の場合も、パラメータ設定部５０は、図６のステップＳ１８６の撮像パラメータ設定処理として、パラメータ決定部４０にて決定された撮像パラメータを、画像センサ部１０に対して設定する。

例えば撮像領域パラメータを設定する場合、パラメータ設定部５０は、パラメータ決定部４０にて決定された撮像領域パラメータに基づき、画像センサ部１０のドライバー回路の、撮像センサの撮像領域制御に関わるレジスタに、撮像領域（ＲＯＩ）を設定する。

またフォーカスパラメータを設定する場合、パラメータ設定部５０は、パラメータ決定部４０にて決定されたフォーカスパラメータに基づき、ドライバー回路の撮像センサのオートフォーカス制御に関わるレジスタに、フォーカスパラメータを設定する。
なお、パラメータ設定部５０で実行される、これら以外の撮像パラメータ設定処理に関しては、前述の実施形態１と同様であるため、それらの説明は省略する。

そして画像センサ部１０では、前述の実施形態１と同様に、レジスタに設定された値に基づいて、ドライバー回路が撮像センサの動作を制御する。
なお、本実施形態における撮像センサは、前述同様に、画素毎に露光時間、ダイナミックレンジ、およびゲイン値を制御することが可能な構成を有するものとする。また、本実施形態における撮像センサは、設定された撮像領域に基づき、当該領域のみ撮像する機能を有する。例えば図１１に示すように、実施形態２おける撮像センサは、ドライバー回路の制御に基づき、予測画像から認識した人体領域（図１１中の黒色矩形で囲まれた領域１１１０）のみを撮像し、画像データとして取得する。また本実施形態の撮像センサは、設定されたフォーカス位置に基づき、光学系の制御を含んだオートフォーカス処理を実現する機能を有する。

以上説明したように、実施形態２の撮像装置は、過去の画像から生成した予測画像に対する画像認識結果を基に、将来の画像に対する撮像パラメータを制御する。これにより、前述の実施形態１同様に、過去の画像における認識結果を基にして将来の画像に対する撮像パラメータを制御する場合に生じ得る、撮像パラメータの不適合を防止することができる。実施形態２のように人物の画像認識を行う場合、人体等の物体の位置・サイズが画像フレーム毎に変化すると、過去の画像から推測される人体等の領域は、将来の画像においてずれてしまう可能性があり、撮像パラメータの調整範囲もずれる可能性がある。また、画像中の人体等のサイズおよび姿勢が変化する場合は、過去の画像から推定した領域に基づく特定部位の位置、および物体の姿勢に基づく特定部位の位置も、将来の画像においてずれてしまう可能性がある。これに対し、本実施形態では、予測画像を基にして将来の画像における人体等の領域および姿勢を推定できるため、人体等の位置・サイズおよび姿勢が画像フレーム毎に変化する場合でも、領域および姿勢に対して適切な撮像パラメータを設定可能となる。

なお本実施形態では、予測画像に対する認識結果を基にして画像センサ部の撮像パラメータを制御するが、実施形態１と同様、予測画像の生成方法、予測画像に対する認識処理手法、認識処理結果に基づく撮像パラメータの決定および設定手法は限定されない。認識処理結果に基づく撮像パラメータの決定および設定手法に関しては、認識処理結果に基づく各種手法を、本実施形態における測画像の認識処理結果に基づく手法にも適用可能である。

＜実施形態３＞
次に実施形態３について説明する。実施形態３は、画像認識部３０が、認識処理としてどのようなシーン（場面）か認識するシーン認識処理を実行する点と、パラメータ決定部４０が、シーン認識処理で認識されたシーンに応じて所定の撮像パラメータを決定する点が実施形態２と相違する。以下、実施形態２と相違する部分についてのみ説明を行い、その他の構成等に関しては実施形態２と同様であるため説明を省略する。

実施形態２の撮像装置は、図１の画像認識部３０が、画像生成部２０にて生成された予測画像から、事前に設定された特定のシーンを認識する。本実施形態の場合、事前に設定された特定のシーンは、例えば"歩行者の飛び出し"とするが、その他に"自動車の飛び出し"、"自転車の飛び出し"または"歩行者の転倒"等、事前に学習した任意のシーンでも良い。画像認識部３０は、これら特定のシーンを認識する画像認識処理を行う。

図１２は、本実施形態における撮像装置の動作を示すフローチャートである。
図１２におけるステップＳ１８０からステップＳ１８３までの処理、およびステップＳ１８５からステップＳ１８７の処理は実施形態２と同様であるため、詳細な説明を省略する。

実施形態３の場合、ステップＳ１８３で予測画像の生成処理が開始されて予測画像が生成されると、ＣＰＵ１４０は、画像認識部３０にて行われるステップＳ１８９に処理を進める。
ステップＳ１８９のシーン認識処理に進むと、画像認識部３０は、画像生成部２０にて生成された予測画像に対して、"歩行者の飛び出し"シーンの認識処理を実行する。画像認識部３０は、画像認識処理の結果として、"歩行者の飛び出し"シーンの画像認識について真／偽（True／False）フラグと、認識されたシーンに対して推定された矩形領域の画像上の座標値（左上画素位置と右下画素位置）とを出力する。ステップＳ１８９の処理後は、ステップＳ１８５に進む。

ステップＳ１８５の撮像パラメータ決定処理に進むと、パラメータ決定部４０は、ステップＳ１８９のシーン認識処理で算出された、特定のシーンの認識結果の情報（真／偽フラグ：True/Falseフラグ）に基づいて撮像パラメータ値を決定する。本実施形態における撮像パラメータ値は、画像センサ部１０において取得する画像のフレームレートの値とする。フレームレートパラメータ値の決定方法の詳細は後述する。

次に前述した画像認識部３０で実行されるシーン認識処理に関して、詳細に説明する。
本実施形態におけるシーン認識処理は、認識処理技術として広く応用されている階層型畳み込みＮＮによって行われ、実施形態２で説明した図７に示す階層型畳み込みＮＮと同様の演算処理により実行される。

画像認識部３０は、入力された予測画像のデータをフレームバッファに一旦格納した後、階層型畳み込みＮＮモジュールに入力し、"歩行者の飛び出し"シーンを認識する処理を実行する。階層型畳み込みＮＮモジュールにおける処理は、実施形態２における階層型畳み込みＮＮにおける処理と同様に、式（２）で表される。実施形態３の場合は、"歩行者の飛び出し"シーンに関する教師データを有する画像データを使用して事前に学習することにより、画像中の"歩行者の飛び出し"シーンを認識することが可能である。

なお本実施形態における画像認識部３０は、階層型畳み込みＮＮモジュールを用いて構成するものとしたが、この例に限るものではなく、特定のシーンを認識する手法はこれ以外の様々な手法が用いられてもよい。

前述したようにステップＳ１８９のシーン認識処理において、画像認識部３０は、入力された予測画像に対して"歩行者の飛び出し"シーンを認識する処理を実行し、予測画像内に当該シーンが存在するかどうかを推定する。画像認識部３０は、図１３に示すように予測画像１３００内に"歩行者の飛び出し"シーンが存在するかを示す真／偽フラグと、認識されたシーンで推定された矩形領域１３１０の画像上の座標値（左上画素位置１３１１と右下画素位置１３１２）とを出力する。

次に、パラメータ決定部４０で実行される撮像パラメータ決定処理に関して説明する。
パラメータ決定部４０は、予測画像内の"歩行者の飛び出し"シーンの有無に関して推定された真／偽フラグと、認識されたシーンに対して推定された矩形領域の画像上の座標値の情報とを基に、画像センサ部１０で取得する画像のフレームレートを決定する。

パラメータ決定部４０は、"歩行者の飛び出し"シーンの有無（真／偽フラグ）に対応して事前に決定した画像のフレームレートをＬＵＴとして保持しており、シーンの有無を基にして、画像センサ部１０の撮像センサのフレームレートを決定する。例えば、予測画像において"歩行者の飛び出し"シーンが認識された（真フラグが入力された）場合、パラメータ決定部４０は、画像センサ部１０の通常動作時のフレームレート（６０ｆｐｓ）から２４０ｆｐｓへ変更することを決める。そして、パラメータ決定部４０は、その変更後のフレームレートパラメータを決定する。

パラメータ設定部５０は、前述のように決定された撮像パラメータ（フレームレートパラメータ）を、ステップＳ１８６の撮像パラメータ設定処理において画像センサ部１０に設定する。
なお本実施形態では、撮像パラメータ決定処理で決定する撮像パラメータを画像センサ部１０の撮像センサのフレームレートとした、これには限定されない。例えば"歩行者の飛び出し"シーンに対して推定された矩形領域の画像上の座標値の情報を基に、実施形態２と同様に、画像センサ部１０の撮像センサの各領域に対応する画素回路毎の露光時間、ダイナミックレンジおよびゲイン値が決定されてもよい。
図１２のステップＳ１８６においてパラメータ設定部で実行される撮像パラメータ設定処理に関しては、実施形態２と同様であるため、説明を省略する。

シーン認識処理の場合も、過去の画像から推定したシーンの有無およびシーンが認識された領域は、将来の画像におけるシーンの有無およびシーンの認識領域と異なる可能性が有り、その結果、撮像パラメータの調整が実際のシーンに適合しなくなることがある。これに対し、本実施形態の場合、予測画像を基にして特定のシーンの有無およびシーンの領域を決定するため、シーンが画像フレーム毎に変化する場合でも、より適切なシーンの有無および領域に対して、撮像パラメータを設定することが可能となる。また、パラメータ決定部４０は、認識されたシーンに応じて、撮像パラメータの中の特定の撮像パラメータの値を制御するようなパラメータ決定処理を行っても良い。例えば、"歩行者の飛び出し"シーンが認識された場合に、前述のようにフレームレートを上げるフレームレートパラメータを決定する例の他に、歩行者の領域を読み出すような撮像領域パラメータを決定するようにしても良い。さらにその他にも、"歩行者の飛び出し"シーンが認識された場合に、撮像センサにおける解像度を上げるように制御する解像度パラメータを決定してもよい。

なお実施形態３においても、前述同様に、予測画像の生成方法、予測画像に対する認識処理手法、認識処理結果に基づく撮像パラメータの決定および設定手法は限定されない。特に、認識処理結果に基づく撮像パラメータの決定および設定手法、予測画像に対する認識処理結果に基づく手法は、実施形態２と同様に様々な手法を適用することが可能である。

＜実施形態４＞
次に実施形態４について説明する。
図１４は、実施形態４に係る撮像装置の構成例を示したブロック図である。図１の構成例と比較してわかるように、図１４に示した実施形態４の撮像装置は、図１の構成にベクトル算出部２００が追加されている。

ここで、ベクトル算出部２００は、画像センサ部１０にて撮像された画像から、動きベクトルを検出（算出）する動きベクトル検出機能を有する。そして、実施形態４の画像生成部２１０は、入力された画像データと、その画像データからベクトル算出部２００が検出（算出）した動きベクトルとを基に、予測画像を生成する機能を有する。ベクトル算出部２００、および画像生成部２１０以外の他の各部に関しては、実施形態１と同様の機能を有するものとして詳細な説明を省略する。

次に、図１４に示した構成を有する実施形態４の撮像装置の動作について説明する。図１５は、本実施形態に係る撮像装置の動作を示すフローチャートである。
図１５のステップＳ１８０とステップＳ１８１、およびステップＳ１８３からステップＳ１８７までの各処理は、実施形態１と同様であるため、詳細な説明を省略する。
実施形態４の場合、ステップＳ１８１の処理後、ＣＰＵ１４０は、ベクトル算出部２００にて行われるステップＳ２０１に処理を進める。

ステップＳ２０１に進むと、ベクトル算出部２００は、動きベクトル算出処理として、画像センサ部１０で取得された、時間的に連続した２フレーム分の画像データを基にして、動きベクトルを算出する処理を実行する。そして、ベクトル算出部２００は、動きベクトル算出処理の結果として、画像の各画素位置における動きベクトル（動きの方向と、動きの大きさの情報を含む）を出力する。

続いてステップＳ２０２に進むと、画像生成部２１０は、まず画像センサ部１０で取得された画像データ、およびベクトル算出部２００で算出された動きベクトルデータとを、内部のフレームバッファにフレーム単位で格納する。そして、画像生成部２１は、それら画像データと動きベクトルデータとを基に予測画像を生成する。

以下、画像生成部２１０で実行されるステップＳ２０２の画像生成処理に関して説明する。画像生成部２１０は、画像センサ部１０から入力された画像データと、ベクトル算出部２００で算出された動きベクトルデータとを基に、予測画像を生成する点が、前述の実施形態１～３とは異なっている。

実施形態４の画像生成部２１０における画像生成処理は、実施形態１～３で説明した畳み込みＬＳＴＭを行うＮＮモジュールの入力端子を拡張することで容易に実現される。画像生成部２１０で実行される演算および学習処理は、実施形態１～３と同様である。なお本実施形態では、画像生成処理の実現方法として、前述の参考文献１に開示されている手法を用いることを想定しているが、これに限定するものではないことは実施形態１～３と同様である。

実施形態４の場合、過去の画像および動きベクトルから予測画像を生成し、予測画像に対する認識結果を基にして、将来の画像に対する撮像パラメータを制御する。実施形態４の場合も、過去の画像から生成した認識結果を基にして、将来の画像に対する撮像パラメータを制御する場合に生じ得る、撮像パラメータの不適合を防止することができる。

なお本実施形態では、実施形態１の構成に対して更にベクトル算出部（動きベクトル算出処理）が追加された例に関して説明を行ったが、実施形態２および実施形態３に対しても同様にベクトル算出部（動きベクトル算出処理）が追加されてもよい。これらの例に関しては、本実施形態から容易に拡張可能なものとして、詳細な説明を省略する。

また本実施形態では、ベクトル算出部２００によって動きベクトルデータを算出し、画像生成部２１０の入力データとして与える例に関して説明を行ったが、画像生成部２１０において将来の画像における動きベクトルデータを予測（算出）することも可能である。参考文献５には、将来の画像における予測動きベクトルデータを算出する手法が開示されており、この手法を用いて本実施形態における画像生成部を実現することも可能である。

参考文献５：Xiaodan Liang, Lisa Lee, Wei Dai, Eric P. Xing, "Dual Motion GAN for Future-Flow Embedded Video Prediction", ICCV 2017

また本実施形態の変形例として、画像認識部３０に対して、予測画像と共に予測した動きベクトルの情報を入力することも可能である。これは、実施形態１～３で説明した画像認識部３０の入力端子をさらに予測動きベクトル情報の入力用に拡張することで容易に実現される。

本実施形態によれば、画像データに加えて動きベクトルデータを用いて予測画像を生成することにより、特に動きを伴う画像の予測画像精度が向上するため、より将来の画像に適合した撮像パラメータの設定が可能となる。

＜実施形態５＞
次に実施形態５について説明する。図１６は、実施形態５に係る撮像装置の構成例を示したブロック図である。
図１の構成例と比較してわかるように、図１６に示した実施形態５の撮像装置は、実施形態１～３における画像認識部３０とＲＡＭ８０が複数設けられて構成されている。図１６の画像認識部３０Ａは実施形態１で説明した画像認識処理（領域分割処理）を担当し、画像認識部３０Ｂは実施形態２の画像認識処理（物体認識処理）を担当し、画像認識部３０Ｃは実施形態３の画像認識処理（シーン認識処理）を担当する。

また、図１７は、実施形態５の係る撮像装置の動作を示すフローチャートを示す。図１７に示したフローチャートの場合、実施形態１～３において、画像認識処理として説明したステップＳ１８４の領域分割処理、ステップＳ１８８の物体認識処理、およびステップＳ１８９のシーン認識処理が全て含まれている。

図１７において、ステップＳ１８３で予測画像が生成されると、ＣＰＵ１４０は、ステップＳ１８４の画像認識処理（領域分割処理）、ステップＳ１８８の画像認識処理（物体認識処理）、ステップＳ１８９の画像認識処理（シーン認識処理）に処理を進める。

ステップＳ１８４では画像認識部３０Ａが画像認識処理（領域分割処理）を実行し、ステップＳ１８３では画像認識部３０Ｂが画像認識処理（物体認識処理）を実行し、ステップＳ１８９では画像認識部３０Ｃが画像認識処理（シーン認識処理）を実行する。そして、それらステップＳ１８４、ステップＳ１８８、およびステップＳ１８９の後、パラメータ決定部４０にて行われるステップＳ１８５に処理が進められる。ステップＳ１８４、ステップＳ１８８、ステップＳ１８９の各画像認識処理は、前述の各実施形態でそれぞれ説明したのと同様の処理であるため、説明を省略する。なお、実施形態５において、ステップＳ１８８の物体認識処理に加えて、さらに物体姿勢認識処理を実行することが可能であることも実施形態２と同様である。

また、図１７のステップＳ１８５の撮像パラメータ決定処理及びステップＳ１８６の撮像パラメータ設定処理で行われる処理は、実施形態１～３で説明した処理から適宜一部の処理を実行する処理でも良いし、複数の処理を組み合わせた処理でも良い。例えば、背景領域（例えば空領域）のダイナミックレンジに関しては、実施形態１で説明した処理により撮像パラメータの値を決定してもよい。また例えば、人体領域のダイナミックレンジに関しては、実施形態２で説明した処理により撮像パラメータの値を決定してもよい。さらに、フレームレートに関しては、実施形態３で説明した手法により撮像パラメータの値を決定する処理でもよい。また、実施形態５の撮像装置においても、ベクトル算出部を追加して、実施形態４と同様に動きベクトルデータを基に処理を実行することも当然可能である。

このように、実施形態５に係る撮像装置は、まず画像生成部２０によって予測画像を生成し、その予測画像に対して画像認識部３０Ａ，３０Ｂ，３０Ｃがそれぞれ画像認識処理を実行する。そして、パラメータ決定部４０が、それらの画像認識処理の実行結果に応じて撮像パラメータを決定する。また実施形態５の場合、画像認識処理として複数種類の処理が実行される。また実施形態５の場合は、一旦予測画像を生成すれば、その生成した予測画像に対して適用される画像認識処理が前述した実施形態１～４のようにそれぞれ限定されることはない。このため、実施形態５の場合は、実施形態１～４、さらには本実施形態における各画像認識処理以外の処理を実行することも可能となる。例えば、前述した画像認識処理とは異なる認識処理として、人物や自動車等の異常行動を検知する移動行動検知処理等を実行することも可能となる。また実施形態５においても、実行する画像認識処理に対応して、実施形態１～４で説明した撮像パラメータ、またはその他の撮像パラメータを制御することができる。この場合も、実施形態１～４で説明した撮像パラメータは一例であり、本発明は撮像パラメータの種類は特に限定されるものではない。

前述した各実施形態の画像処理装置の構成または各フローチャートの処理は、ハードウェア構成により実現されてもよいし、例えばＣＰＵが本実施形態に係るプログラムを実行することによりソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。

本発明に係る制御処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０：画像センサ部、２０：画像生成部、３０：画像認識部、４０：パラメータ決定部、５０：パラメータ設定部、８０，１６０：ＲＡＭ、１４０：ＣＰＵ、１５０：ＲＯＭ

Claims (11)

1. 画像の画素または領域毎に撮像パラメータを設定可能な撮像センサを備え、動く物体を撮像した画像を取得する撮像手段と、
   前記取得された画像を基に前記撮像手段によって、前記物体が動いた後に撮像される画像を予測した予測画像を生成する画像生成手段と、
   前記画像生成手段で生成された予測画像に対して画像認識処理を実行する画像認識手段と、
   前記画像認識処理によって得られる前記予測画像内の前記物体の位置に基づいて、前記画素または領域毎に前記撮像センサの前記撮像パラメータを決定するパラメータ決定手段と、
   前記決定した撮像パラメータを前記撮像センサに対して前記画素または領域毎に設定するパラメータ設定手段と、
   を有し、
   前記撮像手段は、前記パラメータ設定手段で設定されたパラメータに従って画像を取得することを特徴とする撮像装置。
2. 前記画像認識手段は、前記予測画像の中の所定の物体を認識する物体認識処理を実行することを特徴とする請求項１に記載の撮像装置。
3. 前記画像認識手段は、前記予測画像を基に、前記物体が特定の動きをする特定のシーンを認識するシーン認識処理を実行し、
   前記パラメータ決定手段は、前記シーン認識処理で認識された前記特定のシーンにおける前記予測画像内の前記物体の位置に基づいて、前記画素または領域毎に前記撮像センサの前記撮像パラメータを決定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記画像認識手段は、複数の異なる画像認識処理を実行することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記画像生成手段は、前記撮像手段によって取得された複数枚の画像から、前記予測画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記画像生成手段は、複数の予測画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記画像生成手段は、ニューラルネットワークを利用して前記予測画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記画像認識手段は、ニューラルネットワークを利用して前記画像認識処理を実行することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記パラメータ決定手段が決定する撮像パラメータは、露光パラメータ、フォーカスパラメータ、ダイナックレンジパラメータ、ゲインパラメータ、フレームレートパラメータ、撮像領域パラメータ、解像度パラメータの中の、一つまたは複数の撮像パラメータであることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 画像の画素または領域毎に撮像パラメータを設定可能な撮像センサによって、動く物体を撮像した画像を取得する撮像工程と、
    前記取得された画像を基に前記撮像センサによって、前記物体が動いた後に撮像される画像を予測した予測画像を生成する画像生成工程と、
    前記画像生成工程で生成された予測画像に対して画像認識処理を実行する画像認識工程と、
    前記画像認識処理によって得られる前記予測画像内の前記物体の位置に基づいて、前記画素または領域毎に前記撮像センサの前記撮像パラメータを決定するパラメータ決定工程と、
    前記決定した撮像パラメータを前記撮像センサに対して前記画素または領域毎に設定するパラメータ設定工程と、
    を有し、
    前記撮像工程では、前記パラメータ設定工程で設定されたパラメータに従って画像を取得することを特徴とする撮像装置の制御方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載の撮像装置が有する各手段として機能させるためのプログラム。

Images