JP7661977B2 - 画像処理装置、画像処理方法、プログラム、及び画像処理システム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、プログラム、及び画像処理システムに関する。

従来、車載カメラで撮影された画像に基づいて、車両の後方、及び周囲の画像をナビゲーション装置の表示部等に表示する技術が知られている。これらは、例えば、それぞれ、バックモニタ、及びアラウンドビューモニタ等とも称されている。

また、従来、車載カメラで撮影された画像に基づいて、運転支援、及び自動運転を行う技術も知られている。

特開２０１１－０５５４３７号公報

しかしながら、従来技術では、車両が夜間に街灯の下を移動する等により、カメラの画角の一部に光源が存在する場合、ハレーション（フレア、ゴースト）が生じる場合がある。

一側面では、各フレームの明るさを適切に補正できる技術を提供することを目的とする。

一つの案では、画像処理装置が、移動体に搭載され、前記撮像装置の前記移動体における取り付け位置に基づいて設定された第１領域を含む第１画像を取得する取得部と、前記移動体の移動面に対する垂直方向で前記第１領域よりも下側の第２領域の明るさを、前記第１領域の明るさに基づいて補正し、前記第１領域の明るさを補正していない第２画像を生成する生成部と、前記第２画像を出力する出力部と、を有する。

一側面によれば、各フレームの明るさを適切に補正することができる。

実施形態に係る制御システムの構成について説明する図である。 実施形態に係る移動体の構成の一例について説明する図である。 実施形態に係る画像処理装置、及び制御装置のハードウェア構成例について説明する図である。 実施形態に係る画像処理装置、及び制御装置の構成の一例を示す図である。 実施形態に係る画像処理装置による画像の補正処理の一例を示すフローチャートである。 実施形態に係る今回の処理対象のフレームの明るさの目標値を算出する処理の一例について説明する図である。 実施形態に係る画素の明るさに応じて補正量を調整する処理の一例について説明する図である。 実施形態に係るハレーション検出用領域の一例について説明する図である。 実施形態に係る出力画像の一例について説明する図である。 実施形態に係る撮像装置の構成の一例について説明する図である。 実施形態に係る撮像装置の構成の一例について説明する図である。 実施形態に係る撮像装置の構成の一例について説明する図である。 実施形態に係る画像処理装置をアナログ回路で実現する場合の例について説明する図である。

以下、図面を参照して、本開示の実施形態を説明する。

＜全体構成＞
図１は、実施形態に係る制御システム５００の構成について説明する図である。図１の例では、制御システム５００は、移動体１、及びサーバ５０を有する。移動体１、及びサーバ５０の数は、図１の例に限定されない。

移動体１とサーバ５０は、例えば、５Ｇ（5th Generation、第５世代移動通信システム）、４Ｇ、ＬＴＥ（Long Term Evolution）、３Ｇ等の携帯電話網、無線ＬＡＮ（Local Area Network）、及びインターネット等のネットワークを介して通信を行う。

移動体１は、例えば、車輪により陸上を走行する車両、脚等で移動するロボット、航空機、無人航空機（ドローン(drone)）等の移動する機械である。なお、車両には、例えば、自動車、自動二輪車（モーターバイク(motorbike)）、車輪で移動するロボット、鉄道を走行する鉄道車両等が含まれる。なお、自動車には、道路を走行する自動車、路面電車、建設の用途に用いられる建設車両、軍事用の軍用車両、荷役運搬用の産業車両、農業用車両等も含まれる。

サーバ５０は、例えば、移動体１の自動運転等に必要な各種のサービスを移動体１に提供する。

≪撮像装置の配置例≫
図１では、自動車である移動体１を真上から見た場合の外観が示されている。図１の例では、移動体１は、撮像装置１２Ａ、撮像装置１２Ｂ、撮像装置１２Ｃ、撮像装置１２Ｄ、及び撮像装置１２Ｅ（以下で、区別する必要がない場合は、単に「撮像装置１２」と称する。）を有する。

撮像装置１２は、画像を撮影する装置である。撮像装置１２は、例えば、カメラでもよい。

撮像装置１２Ａは、移動体１から見た後方（通常時の進行方向とは逆方向）を撮影する撮像装置（後方カメラ、リアカメラ、バックビューカメラ）である。撮像装置１２Ｂは、移動体１から見た左方を撮影する撮像装置（左方カメラ）である。撮像装置１２Ｃは、移動体１から見た右方を撮影する撮像装置（右方カメラ）である。撮像装置１２Ｄ、及び撮像装置１２Ｅは、移動体１から見た前方（通常時の進行方向）を撮影する撮像装置（前方カメラ）である。

撮像装置１２は、例えば、運転者の運転操作を支援する先進運転支援システム（ＡＤＡＳ、Advanced driver-assistance systems）または、自動運転用の画像を撮影する撮像装置でもよい。また、撮像装置１２は、例えば、移動体１を真上から見たような画像を生成する全方位モニタ（アラウンドビュー、パノラミックビュー、マルチビュー、トップビュー）用の画像を撮影する各カメラでもよい。また、撮像装置１２は、例えば、移動体１の外部等の画像を記録するドライブレコーダ用の撮像装置でもよい。

撮像装置１２Ａは、例えば、ルームミラー（バックミラー）モニタに表示させる画像を撮影するカメラでもよい。また、撮像装置１２Ａは、例えば、移動体１が後方に移動（バック）する際に、ナビゲーション装置１８の画面に表示させる画像を撮影するカメラでもよい。

撮像装置１２Ｂは、例えば、左側のサイドミラーモニタに表示させる画像を撮影するカメラでもよい。撮像装置１２Ｃは、例えば、右側のサイドミラーモニタに表示させる画像を撮影するカメラでもよい。

図１の例では、撮像装置１２Ｄは、移動体１の前面（移動体１が前進する場合の先端面）に設けられている。また、撮像装置１２Ｅは、移動体１のフロントガラスの内側である室内に設けられている。この場合、撮像装置１２Ｅは、例えば、室内の後写鏡（ルームミラー、バックミラー）の付近、フロントガラスの内側、及びダッシュボード等に設けられてもよい。

なお、移動体１から見た前方（通常時の進行方向）を撮影する撮像装置１２Ｄ、及び撮像装置１２Ｅは、複数のカメラを有するステレオカメラでもよい。また、移動体１は、撮像装置１２Ｄ、及び撮像装置１２Ｅのいずれか一方のみを有してもよい。

＜移動体１の構成＞
図２は、実施形態に係る移動体１の構成の一例について説明する図である。図２の例では、移動体１は、画像処理装置１０、制御装置１１、撮像装置１２、ＥＣＵ１３、無線通信装置１４、センサ１５、駆動装置１６、ランプ装置１７、ナビゲーション装置１８、及び表示装置１９を有する。

これら各部は、例えば、ＣＡＮ（Controller Area Network）、及びイーサネット（登録商標）等の内部ネットワーク（例えば、車載ネットワーク）により接続されている。

画像処理装置１０は、撮像装置１２により各時点で撮影された画像（フレーム）に基づいて、ハンチングを低減するように明るさを補正した画像を生成する。また、画像処理装置１０は、生成した画像を、外部または内部の記録装置に記録してもよい。

制御装置１１は、移動体１の各部を制御するコンピュータ（情報処理装置）である。制御装置１１は、画像処理装置１０により生成された画像に基づいて、移動体１の外部の物体を認識する。なお、当該物体には、例えば、他の車両、歩行者、自転車、白線、道路の側壁、及び障害物等が含まれてもよい。

また、制御装置１１は、画像処理装置１０により生成された各時点の画像に基づいて、認識した物体を追跡する。制御装置１１は、検知した物体（認識した物体、及び追跡している物体）に基づいて、移動体１のＥＣＵ（Electronic Control Unit）１３等を制御することにより、移動体１の移動等を制御する。

制御装置１１は、移動体１の移動等を制御することにより、例えば、運転者（ユーザ、ドライバ、搭乗者）が主制御系統（加速、操舵、制動等）の操作を行うレベル０から、無人運転を行うレベル５までのいずれかのレベルの自動運転を実現してもよい。

ＥＣＵ１３は、移動体１の各装置を制御する装置である。なお、ＥＣＵ１３は、複数のＥＣＵを有してもよい。無線通信装置１４は、例えば、携帯電話網等の無線通信により、サーバ５０、及びインターネット上のサーバ等の、移動体１の外部の装置との通信を行う。

センサ１５は、各種の情報を検出するセンサである。センサ１５は、例えば、移動体１の現在の位置情報を取得する位置センサを含んでもよい。なお、位置センサは、例えば、ＧＰＳ（Global Positioning System）等の衛星測位システムを利用するセンサでもよい。

また、センサ１５は、移動体１の速度を検出する速度センサを含んでもよい。なお、速度センサは、例えば、車輪の車軸の回転数を測定するセンサでもよい。また、センサ１５は、移動体１の加速度を検出する加速度センサを含んでもよい。また、センサ１５は、移動体１のヨー軸角速度（ヨーレート）を検出するヨー軸角速度センサを含んでもよい。

また、センサ１５は、運転者、及び制御装置１１による移動体１の操作量等を検出する操作センサを含んでもよい。なお、操作センサには、例えば、アクセルペダルの踏み込み量を検出するアクセルセンサ、ハンドル（ステアリング・ホイール）の回転角度を検出するステアリングセンサ、ブレーキペダルの踏み込み量を検出するブレーキセンサ、ギアの位置を検出するシフト位置センサ等が含まれてもよい。

駆動装置１６は、移動体１を移動させるための各種装置である。駆動装置１６には、例えば、エンジン、操舵装置（ステアリング）、及び制動装置（ブレーキ）等が含まれてもよい。

ランプ装置１７は、移動体１に搭載された各種灯具である。ランプ装置１７には、例えば、前照灯（ヘッドランプ、ヘッドライト）、右左折や進路変更（レーンチェンジ）の際にその方向を周囲に示すための方向指示器（ウインカー）のランプ、移動体１の後部に設けられ、ギアがリバースレンジの際に点灯するバックライト、及びブレーキランプ等が含まれてもよい。

ナビゲーション装置１８は、目的地への経路を音声、及び表示により案内する装置（カーナビ）である。ナビゲーション装置１８には、地図情報が記録されていてもよい。また、ナビゲーション装置１８は、移動体１の現在位置の情報を、カーナビサービスを提供する外部サーバに送信し、移動体１の周辺の地図情報を当該外部サーバから取得してもよい。なお、地図情報には、例えば、交差点等の結節点を示すノード、及びノード間の道路区間であるリンクの情報等が含まれてもよい。

表示装置１９は、画像処理装置１０により生成された画像等を表示する。表示装置１９は、例えば、移動体１が後進（バック）する際に、移動体１の後方等が撮影された画像を表示してもよい。なお、表示装置１９は、例えば、ナビゲーション装置１８から出力される画像を表示してもよい。

＜コンピュータのハードウェア構成＞
図３は、実施形態に係る画像処理装置１０、及び制御装置１１のハードウェア構成例について説明する図である。以下では、画像処理装置１０を例として説明する。制御装置１１のハードウェア構成は、画像処理装置１０のものと同様でもよい。

図３の例では、画像処理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、及びインタフェース装置１００５等を有する。

画像処理装置１０での処理を実現する情報処理プログラムは、記録媒体１００１によって提供される。情報処理プログラムを記録した記録媒体１００１がドライブ装置１０００にセットされると、情報処理プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、情報処理プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされた情報処理プログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って処理を実行する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。

なお、記録媒体１００１の一例としては、ＣＤ－ＲＯＭ、ＤＶＤディスク、又はＵＳＢメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置１００２の一例としては、ＨＤＤ（Hard Disk Drive）又はフラッシュメモリ等が挙げられる。記録媒体１００１及び補助記憶装置１００２のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。

なお、画像処理装置１０は、例えば、アナログ回路、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）等の集積回路により実現されてもよい。

＜画像処理装置１０、及び制御装置１１の構成＞
次に、図４を参照し、画像処理装置１０、及び制御装置１１の構成について説明する。図４は、実施形態に係る画像処理装置１０、及び制御装置１１の構成の一例を示す図である。

≪画像処理装置１０≫
画像処理装置１０は、取得部１０１、決定部１０２、生成部１０３、及び出力部１０４を有する。これら各部は、画像処理装置１０にインストールされた１以上のプログラムと、画像処理装置１０のＣＰＵ１００４等のハードウェアとの協働により実現されてもよい。

取得部１０１は、他の装置からデータを取得する。取得部１０１は、例えば、撮像装置１２で撮影された画像を当該撮像装置１２から取得する。

決定部１０２は、取得部１０１により取得された画像の所定領域（ハレーション検出用領域。「第１領域」の一例。）の明るさに基づいて、画像の明るさの補正量を決定する。

生成部１０３は、移動体１の移動面に対する垂直方向でハレーション検出用領域よりも下側の領域の明るさを、決定部１０２により決定された補正量に従って補正した画像（補正後の画像、出力画像）を生成する。

出力部１０４は、生成部１０３により生成された画像を表示装置１９及び制御装置１１等に出力する。

≪制御装置１１≫
制御装置１１は、記憶部１１１、認識部１１２、追跡部１１３、及び制御部１１４を有する。これら各部は、制御装置１１にインストールされた１以上のプログラムと、制御装置１１のＣＰＵ等のハードウェアとの協働により実現されてもよい。

記憶部１１１は、各種の情報を記憶する。記憶部１１１は、例えば、サーバ５０により配信された学習済みモデルを記憶する。

認識部１１２は、記憶部１１１に記憶されている学習済みモデル、及び画像処理装置１０により出力された画像等に基づいて、当該画像に写されている物体を認識する。認識部１１２は、例えば、当該物体の種別、及び移動体１との相対的な位置（距離）等を認識してもよい。なお、認識部１１２は、物体の種別として、例えば、車両、自動二輪車、自転車、人間、その他等の種別に分類してもよい。

追跡部１１３は、画像処理装置１０により各時点で出力された画像に基づいて認識部１１２により認識された物体を、当該各時点に渡って追跡する。

制御部１１４は、移動体１と、追跡部１１３により追跡されている各物体との距離に基づいて、移動体１を制御する。

＜処理＞
次に、図５から図９を参照し、画像処理装置１０による画像の補正処理について説明する。図５は、実施形態に係る画像処理装置１０による画像の補正処理の一例を示すフローチャートである。図６は、実施形態に係る今回の処理対象のフレームの明るさの目標値を算出する処理の一例について説明する図である。図７は、実施形態に係る画素の明るさに応じて補正量を調整する処理の一例について説明する図である。図８は、実施形態に係るハレーション検出用領域の一例について説明する図である。図９は、実施形態に係る出力画像の一例について説明する図である。

なお、以下の処理は、例えば、撮像装置１２により画像（フレーム）が撮影される度に実行されてもよい。この場合、例えば、撮像装置１２により１秒間に６０回（６０ｆｐｓ）画像（フレーム）が撮影される場合、以下の処理は、１秒間に６０回実行される。

ステップＳ１において、画像処理装置１０の取得部１０１は、撮像装置１２により撮影された画像（以下で、適宜「今回の処理対象のフレーム」とも称する。）を取得する。ここで、画像処理装置１０は、横の画素数がＮ１、縦の画素数がＭの、Ｎ１×Ｍの画面解像度の画像を取得する。この場合、画像処理装置１０は、例えば、１９２０×１２００の画面解像度であるＷＵＸＧＡ（Wide Ultra-XGA）の画像を取得してもよい。

続いて、画像処理装置１０の決定部１０２は、当該画像における所定領域（ハレーション検出用領域）の明るさ（輝度）を算出する（ステップＳ２）。ハレーション検出用領域は、例えば、ハレーション検出用領域に街灯等の光源が写り込むとハレーションが発生する領域である。なお、ハレーション検出用領域は、移動体１に画像処理装置１０が搭載されて出荷される際に、予め設定されていてもよい。ハレーション検出用領域は、例えば、移動体１の種別（例えば、車種）に応じて設定されてもよい。これにより、例えば、移動体１のフロントガラス内面での再反射によってハレーション（フレア、ゴースト）が生じる場合に、車種等毎のフロントガラスの形状及び材質と、撮像装置１２Ｅ等の取り付け位置等に応じて、ハレーション検出用領域を設定できる。なお、図８、及び図９の例では、ハレーション検出用領域８０２は、移動体１の移動面に対する垂直方向で上側の領域に設定されている。ハレーション検出用領域８０２の縦の画素数は、例えば、入力画像の縦の画素数の所定割合（例えば、５％）でもよい。また、ハレーション検出用領域８０２の横の画素数は、例えば、入力画像の横の画素数と同一でもよい。

ここで、画像処理装置１０は、ハレーション検出用領域に含まれる各画素の値の代表値を、ハレーション検出用領域の明るさとして算出してもよい。この場合、画像処理装置１０は、平均値、中央値、または最頻値（画素値のヒストグラムにおける出現頻度のピーク）を、当該代表値としてもよい。なお、当該各画素の値は、例えば、ＲＧＢの各ビットの値の合計値でもよい。

また、画像処理装置１０は、ハレーション検出用領域に含まれる各画素の値の最大値を、ハレーション検出用領域の明るさとして算出してもよい。また、画像処理装置１０は、ハレーション検出用領域に含まれる各画素の値の合計値を、ハレーション検出用領域の明るさとして算出してもよい。

続いて、画像処理装置１０の決定部１０２は、今回の処理対象のフレームのハレーション検出用領域の明るさに基づいて、今回の処理対象のフレームに対する明るさの補正量を決定する（ステップＳ３）。ここで、画像処理装置１０は、以前に取得している各フレームと、今回の処理対象のフレームとの明るさの変動量を低減するように、今回の処理対象のフレームに対する明るさの補正量を決定してもよい。

この場合、画像処理装置１０は、例えば、現在までの所定期間内（例えば、直近の１秒間）に取得している各フレームにおけるハレーション検出用領域の明るさに基づいて、所定のフィルタ関数により今回の処理対象のフレームに対する明るさの目標値を算出してもよい。そして、画像処理装置１０は、当該目標値と今回の処理対象のフレームのハレーション検出用領域の明るさとの比の値を、補正用の係数としてもよい。

この場合、画像処理装置１０は、当該所定のフィルタ関数として、有限インパルス応答（ＦＩＲ、Finite Impulse Response）フィルタを用いて、今回の処理対象のフレームに対する明るさの移動平均を算出してもよい。そして、画像処理装置１０は、今回の処理対象のフレームに対する移動平均の値を目標値とし、当該目標値と、今回の処理対象のフレームにおけるハレーション検出用領域の明るさとの比の値を補正用の係数として算出してもよい。また、画像処理装置１０は、当該所定のフィルタ関数として、無限インパルス応答（ＩＩＲ、Infinite Impulse Response）フィルタを用いてもよい。

図６の例では、各時点で取得（撮影）されたフレームにおけるハレーション検出用領域の明るさの推移６０１と、所定のフィルタ関数を用いて算出された目標値（例えば、移動平均）６０２が示されている。また、今回の処理対象のフレームが取得（撮影）された時点（現時点）６１１、及び今回の処理対象のフレームに対する明るさの補正量６１２が示されている。なお、補正量６１２は、今回の処理対象のフレームの元の明るさと、今回の処理対象のフレームに対する目標値との差である。

また、画像処理装置１０は、図７に示すように、今回の処理対象のフレームの各画素の明るさに応じて、当該各画素に対する目標値の補正用の係数の値を調整してもよい。図７の例では、画像処理装置１０は、明るさが閾値７０１未満の画素値については補正せず、明るさが閾値７０１以上の画素値について、明るさが大きくなるに従って補正用の係数が大きくなるように、調整後の補正用の係数７０３を決定している。これにより、例えば、今回の処理対象のフレームのうち、暗い領域の明るさの補正量を低減することができる。

図７の例では、明るさが閾値７０１未満の画素値に対する補正用の係数の値は１である。また、ハレーション検出用領域の明るさと等しい明るさの場合の補正用の係数は、目標値７１１と今回の処理対象のフレームのハレーション検出用領域の明るさとの比の値とされている。

また、画像処理装置１０は、今回の処理対象のフレームのうち補正後の画像に含まれる領域の各領域（「第３領域」の一例。）について、ハレーション検出用領域からの距離に応じて補正用の係数の値を決定してもよい。この場合、画像処理装置１０は、ハレーション検出用領域からの画素上の距離が近くなる（間の画素数が少なくなる）に従って補正用の係数が大きくなるように、補正用の係数を決定してもよい。これにより、例えば、今回の処理対象のフレームのうち、ハレーションの影響を受けにくいと考えられる、ハレーション検出用領域から離れている領域については、明るさの補正量を低減させることができる。

この場合、画像処理装置１０は、例えば、今回の処理対象のフレームのうち補正後の画像に含まれる領域を、横方向に所定数（例えば３つ）の領域に分割し、一番下側の領域については補正用の係数の値を１（補正無し）としてもよい。そして、中間の領域については、一番上側の領域の補正用の係数の値よりも１に近い値としてもよい。

続いて、画像処理装置１０の生成部１０３は、今回の処理対象のフレームに基づいて、決定部１０２により決定された補正量に従って明るさを補正した画像（補正後の画像、出力画像）を生成する（ステップＳ４）。ここで、画像処理装置１０は、今回の処理対象のフレームのうち、補正後の画像に含まれる領域の各画素の画素値を、当該画素値に補正用の係数を乗算した値で更新することにより、補正後の画像を生成してもよい。

画像処理装置１０は、今回の処理対象のフレームのうち、ハレーション検出用領域を含まない矩形（長方形）の領域のみに対して補正を行い、当該領域のみを含む補正後の画像を生成してもよい。これにより、ハレーション検出用領域の各画素に対しては補正の処理を行わないため、処理速度を向上できる。この場合、画像処理装置１０は、図８に示すように、Ｎ１×Ｍの画面解像度である今回の処理対象のフレーム（入力画像）の全領域８０１のうち、ハレーション検出用領域８０２を除く、横の画素数がＮ２、縦の画素数がＭの、Ｎ２×Ｍの領域８０３を補正し、補正後の領域８０３を補正後の画像（出力画像）として生成する。この場合、画像処理装置１０は、例えば、１９２０×１０８０の画面解像度であるＦＨＤ（Full-HD）の画像を生成してもよい。

なお、図８に示すように、今回の処理対象のフレームのうち補正後の画像に含まれる領域８０３は、移動体１の移動面（例えば、路面）に対する垂直方向（移動体１が車両等である場合は鉛直方向）でハレーション検出用領域よりも下側に位置する。

続いて、画像処理装置１０の出力部１０４は、生成部１０３により生成された画像を出力する（ステップＳ５）。図９の例では、移動体１が道路９０１を走行している際に移動体１の斜め上方向に街灯９０２が存在するため、撮像装置１２により撮像された画像のハレーション検出用領域８０２に街灯９０２が写り込んでいる。この場合、上述したステップＳ１からステップＳ５の処理により、領域８０３が補正されて補正後の画像として出力される。なお、図８の全領域８０１において、ハレーション検出用領域８０２及び領域８０３が配置されない領域があるが、このような領域を設けないものとしてもよい。また、ハレーション検出用領域８０２や領域８０３の端が全領域８０１の端まで配置されたり、ハレーション検出用領域８０２と領域８０３とが、その間に間隔がないように配置されたりしてもよい。

（撮像装置１２について）
次に、図１０Ａから１０Ｃを参照し、実施形態に係る撮像装置の構成の一例について説明する。図１０Ａから１０Ｃは、実施形態に係る撮像装置の構成の一例について説明する図である。

撮像装置１２は、ハレーション検出用領域に写り込む街灯等の光源からの光を拡散させて撮像する機構を有してもよい。これにより、例えば、当該機構がない場合には街灯等の光源からの光を撮像する画素における画素値がダイナミックレンジ（露光可能な光の範囲）を超える場合であっても、当該機構により光が拡散されるため各画素値をダイナミックレンジ以下とすることができる。そのため、上述した図５のステップＳ１からステップＳ５の処理により、より適切に補正することができる。

この場合、撮像装置１２は、図１０Ａに示すように、レンズ１２１から入射される光を電気信号に変換するイメージセンサ１２２のセンサ面のうち、ハレーション検出用領域１２３を撮像する部分の前方に、拡散板１２４を有してもよい。なお、拡散板１２４は、光を拡散する部材であり、例えば、ガラス、アクリル、またはフィルム等の基盤の表面に凹凸が設けられていてもよい。

なお、図１０Ａの例では、レンズ１２１から入射される光は、レンズ１２１により上下が反転されているため、ハレーション検出用領域１２３を撮像する部分は、イメージセンサ（撮像素子）１２２のセンサ面の下方に位置している。

また、撮像装置１２は、図１０Ｂに示すように、レンズ１２１の前方であって、レンズ１２１からハレーション検出用領域１２３に入射される光が通過する位置に、拡散板１２５を有してもよい。なお、拡散板１２５は、光を拡散する部材であり、例えば、ガラス、アクリル、またはフィルム等の基盤の表面に凹凸が設けられていてもよい。

また、撮像装置１２は、図１０Ｃに示すように、レンズ１２１の前方に、レンズ１２１からハレーション検出用領域１２３に入射される光を広角で集光する広角レンズ１２６を有してもよい。

なお、撮像装置１２は、上述した光拡散ガラス等を有しない一般的な撮像装置でもよい。この場合、移動体１は、撮像装置１２として、ダイナミックレンジが高い（例えば、２４ｂｉｔ）イメージセンサを有する撮像装置を用いてもよい。

また、画像処理装置１０は、ダイナミックレンジが低い（例えば、１２ｂｉｔ）イメージセンサを有する撮像装置１２により露出を変えながら複数のフレームを撮影させ、それらを合成することで高いダイナミックレンジのフレームを入力画像として生成してもよい。

（アナログ回路で実施する例）
画像処理装置１０の各機能部の処理のうち少なくとも一部は、例えば、アナログ回路により実行されてもよい。図１１は、実施形態に係る画像処理装置１０をアナログ回路で実現する場合の例について説明する図である。図１１の例では、画像処理装置１０は、配線１１０１、増幅回路１１０１Ａ、決定回路１１１１、配線１１０２、増幅回路１１０２Ａ、配線１１０３、及び配線１１０４を有する。また、決定回路１１１１は、微分回路１１１２、及び積分回路１１１３を有する。

図１１の例では、イメージセンサ１２２のセンサ面のうちハレーション検出用領域１２３を撮影する撮像素子からの信号が配線１１０１、及び増幅回路１１０１Ａ（例えば、ラインアンプ）を介して決定回路１１１１に入力される。決定回路１１１１では、微分回路１１１２により明るさの時間変化を検出し、積分回路１１１３（ローパスフィルタ）により明るさの変化のうち低周波成分を遮断する。

また、イメージセンサ１２２のセンサ面のうちハレーション検出用領域１２３以外の領域（例えば、図８の領域８０３）を撮影する撮像素子からの信号が１以上の配線１１０２及び増幅回路１１０２Ａ（例えば、ラインアンプ）を介して出力される。

また、増幅回路１１０２Ａには、ハレーション検出領域１２３の撮像素子からの信号に基づく制御信号（フィードバック電流）が配線１１０３を介して決定回路１１１１から入力される。増幅回路１１０２Ａは、ハレーション検出領域１２３の撮像素子からの信号（例えば、電流値の時間変化）に基づいて、ハレーション検出領域１２３以外の領域の撮像素子の出力の増幅を調整する。より具体的には、ハレーション検出領域１２３でハレーションが生じた場合、増幅回路１１０２Ａに入力されるフィードバック電流が変動し、それに基づいて増幅回路１１０２Ａにおける増幅量が変動することにより、出力される画像の明るさを低減させる。これにより、ハレーションの発生を抑制することができる。

＜変形例＞
画像処理装置１０、及び制御装置１１の各機能部は、例えば１以上のコンピュータにより提供されるクラウドコンピューティングにより実現されていてもよい。また、画像処理装置１０、及び制御装置１１を一体の装置として構成してもよい。また、画像処理装置１０、及び撮像装置１２を一体の装置として構成してもよい。また、画像処理装置１０の各種処理をサーバ５０にて行う構成としてもよい。また、移動体１は半導体装置を有し、１つの半導体装置に画像処理装置１０及び制御装置１１が含まれてもよい。また、移動体１は複数の半導体装置を有し、その１つの半導体装置に画像処理装置１０が含まれ、別の１つの半導体装置に制御装置１１が含まれてもよい。

＜本開示の効果＞
従来、移動体１が夜間に街灯の下を移動する等により、フロントガラス等の移動体１の筐体のガラス、及び撮像装置１２のレンズでの再反射等によってハレーション（フレア、ゴースト）が生じる場合がある。

本開示によれば、各フレームの明るさを適切に補正することができる。そのため、例えば、全方位モニタ及びバックモニタ等に各フレームによる動画を表示させる際に、ハレーションにより明るさが変動すること（ハンチング）を低減できる。また、例えば、ゴーストを低減すること等により、画像に基づく物体の検出精度を向上させることができると考えられる。

また、フレーム全体に基づいて補正量を決定する場合、フレーム全体の明るさを算出する必要がある。さらに、画像処理装置１０がフレームの全画素の画素値が撮像装置１２から入力されてメモリに蓄積されるまでは今回の処理対象のフレームに対する処理を行うことができない。

一方、本開示の技術では、フレームの各画素のうち、ハレーション検出用領域の各画素のみに基づいて補正量を決定するため、フレーム全体に基づいて補正量を決定する場合と比較してより高速（低レンテンシ）に補正処理を実行できる。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

５００ 制御システム
１ 移動体
１０ 画像処理装置
１０１ 取得部
１０２ 決定部
１０３ 生成部
１０４ 出力部
１１ 制御装置
１１１ 記憶部
１１２ 認識部
１１３ 追跡部
１１４ 制御部
１２Ａ 撮像装置
１２Ｂ 撮像装置
１２Ｃ 撮像装置
１２Ｄ 撮像装置
１２Ｅ 撮像装置
１４ 無線通信装置
１５ センサ
１６ 駆動装置
１７ ランプ装置
１８ ナビゲーション装置
１９ 表示装置
５０ サーバ

Claims (8)

1. 移動体に搭載された撮像装置により撮像され、前記撮像装置の前記移動体における取り付け位置に基づいて設定された第１領域を含む第１画像を取得する取得部と、
   前記移動体の移動面に対する垂直方向で前記第１領域よりも下側の第２領域の明るさを、前記第１領域の明るさに基づいて補正し、前記第１領域の明るさを補正していない第２画像を生成する生成部と、
   前記第２画像を出力する出力部と、
   を有し、
   前記生成部は、
   前記第２領域を含み、前記第１領域を含まない前記第２画像を生成する、
   画像処理装置。
2. 移動体に搭載された撮像装置により撮像された第１画像を取得する取得部と、
   前記移動体の移動面に対する垂直方向で前記第１画像の第１領域よりも下側の第２領域の明るさを、前記第１領域の明るさに基づいて補正した第２画像を生成する生成部と、
   前記第２画像を出力する出力部と、
   を有し、
   前記生成部は、
   前記第２領域を含み、前記第１領域を含まない前記第２画像を生成する、
   画像処理装置。
3. 前記生成部は、
   前記第２領域に含まれる各画素の明るさに基づいて、当該各画素の明るさを補正する、
   請求項１又は２に記載の画像処理装置。
4. 前記生成部は、
   前記第１領域から、前記第２領域に含まれる第３領域までの距離に基づいて、前記第３領域の明るさを補正する、
   請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記第１領域は、拡散板を介して前記撮像装置により撮像される、
   請求項１から４のいずれか一項に記載の画像処理装置。
6. 画像処理装置が、
   移動体に搭載された撮像装置により撮像され、前記撮像装置の前記移動体における取り付け位置に基づいて設定された第１領域を含む第１画像を取得する処理と、
   前記移動体の移動面に対する垂直方向で前記第１領域よりも下側の第２領域の明るさを、前記第１領域の明るさに基づいて補正し、前記第１領域の明るさを補正していない第２画像を生成する処理と、
   前記第２画像を出力する処理と、
   を実行し、
   前記生成する処理は、前記第２領域を含み、前記第１領域を含まない前記第２画像を生成する、
   画像処理方法。
7. 画像処理装置に、
   移動体に搭載された撮像装置により撮像され、前記撮像装置の前記移動体における取り付け位置に基づいて設定された第１領域を含む第１画像を取得する処理と、
   前記移動体の移動面に対する垂直方向で前記第１領域よりも下側の第２領域の明るさを、前記第１領域の明るさに基づいて補正し、前記第１領域の明るさを補正していない第２画像を生成する処理と、
   前記第２画像を出力する処理と、
   を実行させ、
   前記生成する処理は、前記第２領域を含み、前記第１領域を含まない前記第２画像を生成する、
   プログラム。
8. 画像処理装置と、移動体に搭載される撮像装置とを含む画像処理システムであって、
   前記画像処理装置は、
   前記撮像装置により撮像され、前記撮像装置の前記移動体における取り付け位置に基づいて設定された第１領域を含む第１画像を取得する取得部と、
   前記移動体の移動面に対する垂直方向で前記第１領域よりも下側の第２領域の明るさを、前記第１領域の明るさに基づいて補正し、前記第１領域の明るさを補正していない第２画像を生成する生成部と、
   前記第２画像を出力する出力部と、
   を有し、
   前記生成部は、前記第２領域を含み、前記第１領域を含まない前記第２画像を生成する、
   画像処理システム。

Images