JP6477444B2 - 表示制御装置及び表示制御プログラム - Google Patents

Description

本発明は、表示制御装置及び表示制御プログラムに関する。

車両に搭載された車載カメラで車両の周辺における所定の範囲を繰り返し撮影し、撮影画像を車両の上方から見下ろす視点の画像に鳥瞰変換し、その鳥瞰変換後の画像である鳥瞰画像を車両内の表示部に表示させる技術が知られている。

このような技術において、最新の撮影画像の鳥瞰画像と過去の撮影画像の鳥瞰画像とを合成した画像を表示部に表示することで、車両の周辺の画像表示範囲を広げる技術である履歴合成技術が知られている。特許文献１には、この履歴合成技術において、表示部の画像における自車両の影が車両の移動とともに拡大してしまうことを抑制する技術が開示されている。

特許文献１に記載の技術では、車載カメラが車両の後方を撮影するリアカメラであり、リアルＡ領域と、リアルＢ領域と、履歴Ｃ領域と、が記憶部上に設けられる。リアルＡ領域は、車両の後方を前後方向に分割したうちの車両からより離れた方の所定の範囲の画像を保存するための領域であり、リアルＢ領域は、車両により近い方の所定の範囲の画像を保存するための領域である。履歴Ｃ領域は、車載カメラの撮影範囲外の鳥瞰画像を保存するための領域である。

リアルＢ領域に影がある場合、リアルＢ領域と同じ範囲の鳥瞰画像を保存するための履歴Ｂ領域内の鳥瞰画像が車両の現在の周辺の配置を反映するよう、車両の移動量に基づいて、リアルＡ領域内に保存された鳥瞰画像を用いて履歴Ｂ領域内に鳥瞰画像を構成する。さらに、車両の移動量に基づいて、履歴Ｂ領域内に保存された鳥瞰画像を用いて履歴Ｃ領域内に鳥瞰画像を構成する。

このように、影がある場合は、リアルＡ領域の鳥瞰画像、つまり影のない可能性が高い画像に基づいて構成された履歴Ｂ領域の鳥瞰画像を用いて履歴合成を行うので、表示部の画像における自車両の影が車両の移動とともに拡大してしまうことが抑制される。

特開２０１３−２４６４９３号公報

履歴合成技術における前述した拡大の問題は、車両の影に限られず、車両の照射光についても起こり得る。車両の照射光としては、例えばヘッドランプの照射光やテールランプの照射光などが挙げられる。

このような照射光は、影に比べてより遠方にまで及ぶ。そのため、例えば前述した特許文献１に記載のような構成では、車両の照射光がリアルＢ領域の鳥瞰画像だけでなくリアルＡ領域の鳥瞰画像にも映る可能性がある。この場合、リアルＡ領域の鳥瞰画像に基づいて構成された履歴Ｂ領域の鳥瞰画像を用いて履歴合成を行っても、表示部の画像における車両の照射光が車両の移動とともに拡大してしまう。

本発明は、履歴合成技術において、表示部の画像上で車両の照射光が拡大することを抑制することを目的とする。

本発明の一側面は、車両の周辺における所定の範囲の撮影画像を車両内の表示部（４０）に表示する表示制御装置（５０）であって、取得部（Ｓ２１，Ｓ４１）と、第１の画像作成部（Ｓ２３，Ｓ４３）と、第２の画像作成部（Ｓ２６）と、算出部（Ｓ２４，Ｓ４４）と、除去履歴作成部（Ｓ２５，Ｓ２７，Ｓ２８）と、除去表示作成部（Ｓ２９）と、除去表示処理部（Ｓ３０）と、を備える。取得部は、車両に搭載された車載カメラ（１１０，１２０）から撮影画像を繰り返し取得する。第１の画像作成部は、撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する。第２の画像作成部は、撮影画像の鳥瞰画像であって、撮影画像に映った車両の照射光（７０，７１）が除去された鳥瞰画像である除去鳥瞰画像を逐次作成する。算出部は、車両の移動量を算出する。除去履歴作成部は、第２の画像作成部により逐次作成される除去鳥瞰画像を移動量に基づいて位置をずらしつつ合成した鳥瞰画像である除去履歴画像を作成する。除去表示作成部は、除去履歴画像と最新の撮影鳥瞰画像とを合成した鳥瞰画像である除去表示画像を作成する。除去表示処理部は、除去表示画像を表示部に表示させる。第２の画像作成部は、照射光が映った撮影画像と、照射光による撮影画像の画素値の変化を表す画像である第１の差分用画像と、の差分を表す画像を鳥瞰変換した画像、及び、照射光が映った撮影鳥瞰画像と、照射光による撮影鳥瞰画像の画素値の変化を表す画像である第２の差分用画像（８０，８１）と、の差分を表す画像、の少なくとも一方を除去鳥瞰画像として作成する。

また、本発明の別の側面は、車両の周辺における所定の範囲の撮影画像を車両内の表示部（４０）に表示する表示制御装置（５０）としてコンピュータを機能させるための表示制御プログラムであって、取得部（Ｓ２１，Ｓ４１）、第１の画像作成部（Ｓ２３，Ｓ４３）、第２の画像作成部（Ｓ２６）、算出部（Ｓ２４，Ｓ４４）、除去履歴作成部（Ｓ２５，Ｓ２７，Ｓ２８）、除去表示作成部（Ｓ２９）、及び、除去表示処理部（Ｓ３０）、としてコンピュータを機能させる。取得部は、車両に搭載された車載カメラ（１１０，１２０）から撮影画像を繰り返し取得する。第１の画像作成部は、撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する。第２の画像作成部は、撮影画像の鳥瞰画像であって、撮影画像に映った車両の照射光（７０，７１）が除去された鳥瞰画像である除去鳥瞰画像を逐次作成する。算出部は、車両の移動量を算出する。除去履歴作成部は、第２の画像作成部により逐次作成される除去鳥瞰画像を移動量に基づいて位置をずらしつつ合成した鳥瞰画像である除去履歴画像を作成する。除去表示作成部は、除去履歴画像と最新の撮影鳥瞰画像とを合成した鳥瞰画像である除去表示画像を作成する。除去表示処理部は、除去表示画像を表示部に表示させる。第２の画像作成部は、照射光が映った撮影画像と、照射光による撮影画像の画素値の変化を表す画像である第１の差分用画像と、の差分を表す画像を鳥瞰変換した画像、及び、照射光が映った撮影鳥瞰画像と、照射光による撮影鳥瞰画像の画素値の変化を表す画像である第２の差分用画像（８０，８１）と、の差分を表す画像、の少なくとも一方を除去鳥瞰画像として作成する。

このような構成によれば、表示部の画像上で車両の照射光が拡大することを抑制することができる。すなわち、仮に、車両の照射光が映った撮影鳥瞰画像を車両の移動量に基づいて位置をずらしつつ合成した鳥瞰画像を作成する場合、その鳥瞰画像における車両の照射光が車両の移動とともに拡大される。したがって、そのような鳥瞰画像に最新の撮影鳥瞰画像を合成して表示部に表示すると、表示部の画像における車両の照射光が車両の移動とともに拡大してしまう。

これに対して、車両の照射光が除去された除去鳥瞰画像を車両の移動量に基づいて位置をずらしつつ合成した除去履歴画像を基に除去表示画像を作成する構成によれば、表示部の画像上で車両の照射光が拡大することを抑制することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

表示制御システムの構成を示すブロック図である。 差分処理で作成される、表示部に表示される鳥瞰画像を表す図である。 表示制御処理のフローチャートである。 表示制御処理における差分処理のフローチャートである。 表示制御処理におけるマスク処理のフローチャートである。 フロントカメラの撮影画像の鳥瞰画像からヘッドランプの光の影響を差し引くための差分用画像を表す図である。 リアカメラの撮影画像の鳥瞰画像からテールランプの光の影響を差し引くための差分用画像を表す図である。 履歴画像を説明する図である。 引きずられるように拡大されたヘッドランプの光が現れた鳥瞰画像を表す図である。 マスク処理で作成される、表示部に表示される鳥瞰画像を表す図である。

以下、図面を参照しながら、発明を実施するための形態を説明する。
［１．構成］
図１に示す表示制御システム１は、車両に搭載され、撮影部１０、移動情報出力部２０、記憶部３０、表示部４０及び画像処理部５０を備える。以下では、表示制御システム１が搭載された車両を「自車両」という。

撮影部１０は、フロントカメラ１１０及びリアカメラ１２０を備える。
フロントカメラ１１０は、自車両の前部（例えばフロントガラス内側の上部における中央）に搭載された車載カメラである。フロントカメラ１１０は、自車両の周辺における自車両の前方の所定の範囲を撮影する。

リアカメラ１２０は、自車両の後部（例えば自車両の後端における車幅方向の中央）に搭載された車載カメラである。リアカメラ１２０は、自車両の周辺における自車両の後方の所定の範囲を撮影する。

フロントカメラ１１０及びリアカメラ１２０は、所定の周期（例えば３０フレーム／秒）で繰り返し撮影を行い、撮影の結果得た撮影画像を画像処理部５０へ出力する。
移動情報出力部２０は、自車両に搭載されたセンサ類により検出された移動情報を画像処理部５０へ出力するように構成された装置である。本実施形態において、移動情報とは、自車両の移動量を算出するために必要な情報である。ここでいう移動量とは、所定期間における自車両の位置及び向きの変化を意味する。移動情報には、車輪のパルスカウンタ、ステアリング角又はヨーレートの情報、シフトレンジの情報などが含まれる。

記憶部３０は、画像などの情報を記憶可能に構成された装置、いわゆるメモリである。
表示部４０は、画像を表示可能に構成された装置、いわゆるディスプレイである。表示部４０は、表示された画像を自車両のドライバが視認できるような位置に設けられる。表示部４０は、ディスプレイに直接触れて操作を行うためのタッチパネルを備える。

画像処理部５０は、ＣＰＵ５１０、ＲＯＭ５２０、ＲＡＭ５３０等を構成要素とするマイクロコンピュータを備える。画像処理部５０、具体的にはＣＰＵ５１０は、非遷移的実体的記録媒体であるＲＯＭ５２０に記録されているプログラムに従い、後述する表示制御処理等を実行する。

［２．処理］
次に、画像処理部５０が実行する表示制御処理について説明する。
まず、表示制御処理の概要について説明する。表示制御処理は、自車両を中心とする鳥瞰画像、換言すれば、撮影部１０の撮影範囲である自車両の前方及び後方に加え、撮影部１０の撮影範囲外である自車両の左右の側方を含む自車両の全周囲を表す鳥瞰画像を、表示部４０に表示するための処理である。鳥瞰画像とは、自車両の上方から真下又は斜め下に見下ろす視点の画像である。表示部４０に表示される鳥瞰画像である表示鳥瞰画像のうち、撮影部１０の撮影範囲外の部分である履歴部分は、履歴画像を用いて構成される。図２の表示鳥瞰画像に示すように、履歴部分６０は、自車両を示すアイコン６１の左右の側方に位置している。図２では、説明の便宜上、履歴部分６０を表す点線を示しているが、この点線は実際には表示部４０に表示されない。履歴画像とは、撮影画像に基づき逐次作成される鳥瞰画像を、自車両の移動量に基づいて位置をずらしつつ合成した鳥瞰画像である。

このように作成される履歴画像は、例えば自車両の照射光が映った鳥瞰画像を用いて作成されると、実際には履歴部分に存在しない照射光が履歴部分に現れてしまう。そして、表示鳥瞰画像において、自車両の移動に伴い照明光の部分が引きずられるように拡大してしまう。そこで、表示制御処理では、照明光等が履歴部分に現れないようにするための画像処理として、差分処理及びマスク処理のうち一方が選択的に実行される。

差分処理では、照射光が映った撮影画像の鳥瞰画像から照射光の影響のみを差し引いて照射光が除去された鳥瞰画像を作成し、当該鳥瞰画像を基に履歴画像を作成することにより、照射光が履歴部分に現れないようにする。

一方、マスク処理では、照射光が映った撮影画像の鳥瞰画像を基に履歴画像を作成し、履歴画像における照射光が表示された領域をマスクすることにより、照射光が履歴部分に現れないようにする。

次に、表示制御処理の詳細について図３〜図５を用いて説明する。表示制御処理は、自車両のイグニッションスイッチがオンである期間において、自車両のヘッドランプ及びテールランプの少なくとも一方が点灯されることにより開始される。なお、以下の説明では、撮影画像の鳥瞰画像を「撮影鳥瞰画像」という。

Ｓ１１で、画像処理部５０は、差分用画像があるか否かを判定する。ここでいう差分用画像とは、差分処理で使用される画像であって、自車両の照射光による撮影鳥瞰画像の画素値の変化を表す画像である。換言すれば、差分用画像とは、自車両の照射光の有無による撮影鳥瞰画像における画素値の差分を表す画像である。

つまり、差分用画像とは次のような画像である。すなわち、撮影対象が同一の画像であっても、照射光の有無により照射光が映る部分の画素値が変化する。ここでいう画素値とは、画像を構成する画素ごとの値であり、本実施形態では輝度値である。このため、照射光の有無のみが異なる２つの画像について、照射光が映っている画像を構成する各画素の画素値から、照射光が映っていない画像を構成する各画素の画素値を差し引くことで、照射光の影響のみが現れた画像が得られる。この画像が差分用画像である。このような差分用画像を用いれば、照射光が映っている画像から差分用画像を差し引くことで、照射光が映っていないかのような画像を生成することができる。

また、本実施形態では、図２に示すように、フロントカメラ１１０に映る照射光としてヘッドランプの光７０が想定され、リアカメラ１２０に映る照射光としてテールランプの光７１が想定される。このため、図６に示すような、フロントカメラ１１０の撮影画像の鳥瞰画像からヘッドランプの光７０の影響を差し引くための差分用画像８０と、図７に示すような、リアカメラ１２０の撮影画像の鳥瞰画像からテールランプの光７１の影響を差し引くための差分用画像８１と、が用意されている。前者の差分用画像８０は、ヘッドランプの光７０が現れている部分８０ａを有し、後者の差分用画像８１は、テールランプの光７１が現れている部分８１ａを有している。

これらの差分用画像８０，８１は、記憶部３０に設けられた記憶領域である差分領域３１０にあらかじめ記憶されている。なお、差分領域３１０に記憶された差分用画像８０，８１は、例えばディーラーで更新することができる。

Ｓ１１では、画像処理部５０は、差分領域３１０に上記２種類の差分用画像８０，８１の両方が記憶されている場合に差分用画像があると判定し、２種類の差分用画像８０，８１の少なくとも一方が記憶されていない場合に差分用画像がないと判定する。差分用画像がないと判定される場合としては、例えば、記憶部３０を交換するときに差分用画像が記憶されていない記憶部に交換した場合などが考えられる。画像処理部５０は、差分用画像があると判定した場合は、処理をＳ１２へ移行させる。

Ｓ１２で、画像処理部５０は、差分処理及びマスク処理のいずれが選択されているかを判定する。本実施形態では、差分処理及びマスク処理は、ユーザが表示部４０のタッチパネルを操作することで選択可能であり、画像処理部５０はユーザの操作状況に基づいてＳ１２の判定を行う。画像処理部５０は、差分処理が選択されていると判定した場合は、処理をＳ１３へ移行させる。

Ｓ１３で、画像処理部５０は、照射光が映った画像と差分用画像８０，８１との差分量を変更する操作がユーザにより行われたか否かを判定する。差分量を変更する操作があるのは例えば次のような場合である。すなわち、差分用画像８０，８１との差分を算出する際、常に適切な分量だけ画素値が差し引かれるとは限らない。具体的には、同一の差分用画像８０，８１を用いて差分を算出する場合、自車両周辺の明るさによっては画素値を引きすぎたり引き足りなかったりする場合がある。このような場合、表示部４０に画素値が適切ではない違和感のある画像が表示されてしまう。このＳ１３及び後述するＳ１４は、このような違和感のある画像を見たユーザが、差分量を変更するための処理である。本実施形態では、差分量を変更するためのユーザインタフェースが表示部４０に表示され、ユーザによる当該インタフェースの操作に基づいてＳ１３の判定が行われる。

また、表示部４０への画像の表示は後述する差分処理のＳ３０で行われる。そのため、後述するように通常複数周期実行されるＳ１２〜Ｓ１７において、１周期目のＳ１３では、差分量を変更する操作が行われたとは判定されないことが想定される。

画像処理部５０は、差分量を変更する操作が行われたと判定した場合は、処理をＳ１４へ移行させる。
Ｓ１４で、画像処理部５０は、差分量を変更する。具体的には、画像処理部５０は、差分用画像８０，８１の画素値を変更する。本実施形態では、差分用画像８０，８１において、照射光が現れている部分８０ａ，８１ａのみ０でない画素値を有し、それ以外の部分では画素値が０である。画像処理部５０は、差分用画像８０，８１の画素値の倍率を変更（例えば０．９倍、１．１倍等に）して、照射光の映った部分のみの画素値を実質的に変更する。このように画素値が変更された差分用画像８０，８１を用いることで、照射光が映った画像と差分用画像８０，８１との差分量が変更される。

Ｓ１５で、画像処理部５０は、図４に示すフローチャートに従い差分処理を実行する。差分処理の詳細については後述する。
一方、画像処理部５０は、前述したＳ１３で差分量を変更する操作が行われていないと判定した場合は、前述したＳ１４を飛ばし、前述のＳ１５の処理を実行する。画像処理部５０は、Ｓ１５の処理を実行すると、処理をＳ１７へ移行させる。

一方、画像処理部５０は、前述したＳ１２でマスク処理が選択されていると判定した場合は、処理をＳ１６へ移行させる。
Ｓ１６で、画像処理部５０は、図５に示すフローチャートに従いマスク処理を実行する。また、前述したＳ１１で差分用画像がないと判定された場合には、ユーザによる選択に関係なく、Ｓ１６でマスク処理が実行される。マスク処理の詳細については後述する。画像処理部５０は、Ｓ１６の処理を実行すると、処理をＳ１７へ移行させる。

Ｓ１７では、画像処理部５０は、終了条件が成立したか否かを判定する。画像処理部５０は、自車両のイグニッションスイッチがオフである場合、及び、ヘッドランプ及びテールランプの両方が消灯している場合、に終了条件が成立したと判定する。

画像処理部５０は、終了条件が成立したと判定した場合に、表示制御処理を終了する。一方、画像処理部５０は、終了条件が成立していないと判定した場合に、前述したＳ１２へ戻り、Ｓ１２以降の処理を実行する。

次に、差分処理について図４を用いて説明する。
Ｓ２１で、画像処理部５０は、フロントカメラ１１０及びリアカメラ１２０のそれぞれから最新の撮影画像を１枚取得する。

Ｓ２２で、画像処理部５０は、移動情報出力部２０から移動情報を取得する。
Ｓ２３で、画像処理部５０は、Ｓ２１で取得した最新の撮影画像に周知の鳥瞰変換を施して、フロントカメラ１１０及びリアカメラ１２０の撮影画像のそれぞれについて撮影鳥瞰画像を作成する。画像処理部５０は、作成した撮影鳥瞰画像から表示鳥瞰画像の作成に必要となる部分を切り出し、切り出した画像を、記憶部３０に設けられた記憶領域であるリアル領域３２０に記憶する。なお、以下では、フロントカメラ１１０による撮影画像の鳥瞰画像を「前方撮影鳥瞰画像」といい、リアカメラ１２０による撮影画像の鳥瞰画像を「後方撮影鳥瞰画像」という。

Ｓ２４で、画像処理部５０は、Ｓ２２で取得した移動情報に基づいて自車両の移動量を算出する。本実施形態でいう自車両の移動量とは、前回の撮影画像の取得タイミングから今回の撮影画像の取得タイミングまでの期間、つまり撮影画像の取得間隔における自車両の位置及び向きの変化を意味する。

Ｓ２５で、画像処理部５０は、Ｓ２４で算出した自車両の移動量に基づき、履歴領域３３０に記憶された履歴画像を移動させる。
ここでいう履歴領域３３０は、記憶部３０に設けられた、履歴画像を記憶するための記憶領域である。図８に示すように、履歴領域３３０は、自車両の前方及び後方だけでなく自車両の左右側方を含む範囲である車両周辺範囲６２よりも一回り大きい範囲を記憶できるように設計される。図８では、説明の便宜上、自車両を示すアイコン６１が表されているが、本実施形態では、実際には履歴領域３３０にアイコン６１は記憶されていない。また、Ｓ２５では、履歴画像の自車両を基準とした位置が変化するように履歴画像が移動される。なお、履歴画像は、後述するＳ２８で履歴領域３３０に画像が記憶されることで生成されるため、１周期目のＳ２５では移動の対象が存在しないことになる。

Ｓ２６で、画像処理部５０は、除去鳥瞰画像を作成する。ここでいう除去鳥瞰画像とは、撮影鳥瞰画像であって撮影画像に映った照射光が除去された鳥瞰画像である。除去鳥瞰画像は、照射光が映った撮影鳥瞰画像と差分用画像８０，８１との差分を算出することにより作成される。換言すれば、除去鳥瞰画像は、照射光が映った撮影鳥瞰画像と差分用画像８０，８１との差分を表す画像として作成される。本実施形態では、前方撮影鳥瞰画像であって、フロントカメラ１１０による撮影画像に映ったヘッドランプの光が除去された鳥瞰画像である前方除去鳥瞰画像と、後方撮影鳥瞰画像であって、リアカメラ１２０による撮影画像に映ったテールランプの光が除去された鳥瞰画像である後方除去鳥瞰画像と、が作成可能である。

本実施形態では、前方撮影鳥瞰画像及び後方撮影鳥瞰画像に照射光が映っているか否かはヘッドランプ及びテールランプのスイッチのオンオフに基づき判定される。つまり、ヘッドランプのスイッチがオンである場合には、前方撮影鳥瞰画像にヘッドランプの光７０が映っていると判定され、ヘッドランプのスイッチがオフである場合には、前方撮影鳥瞰画像にヘッドランプの光７０が映っていないと判定される。後方撮影鳥瞰画像についての判定も同様である。

そして、前方撮影鳥瞰画像及び後方撮影鳥瞰画像のうち照射光が映っていると判定されたものについては除去鳥瞰画像が作成され、照射光が映っていないと判定されたものについては除去鳥瞰画像が作成されない。また、前述したＳ１４で差分用画像８０，８１の画素値が変更された場合には、変更後の差分用画像８０，８１を用いて差分が算出される。

Ｓ２７で、画像処理部５０は、Ｓ２６で作成した最新の除去鳥瞰画像から表示鳥瞰画像の作成に必要となる部分を切り出す。また、画像処理部５０は、前方撮影鳥瞰画像及び後方撮影鳥瞰画像のうちＳ２６で除去鳥瞰画像を作成しなかったものについては、その最新の撮影鳥瞰画像から表示鳥瞰画像の作成に必要となる部分を切り出す。

Ｓ２８で、画像処理部５０は、Ｓ２７で切り出した画像を履歴領域３３０に記憶する。履歴領域３３０に履歴画像が記憶されていない状態（例えば第１周期目の処理）では、Ｓ２８の処理は、切り出した画像を履歴画像として記憶する処理となる。一方、図８に示すように、履歴領域３３０に履歴画像６５が記憶されている状態（例えば第２周期目以降の処理）では、履歴画像６５に切り出した最新の画像６３，６４を上書きすることで、履歴画像６５を更新する処理となる。最新の画像６３，６４は、それぞれ履歴領域３３０における現在の自車両の前方及び後方に相当する位置に記憶される。

このように、差分処理では、自車両の移動量に基づき履歴画像６５を移動させる処理及び除去鳥瞰画像から切り出した画像を移動後の履歴画像６５に上書きする処理が実行される。そして、これらの処理が繰り返し実行されることで、履歴領域３３０において、逐次作成される除去鳥瞰画像を自車両の移動量に基づいて位置をずらしつつ合成した鳥瞰画像である除去履歴画像が履歴画像として作成される。

前述したように、切り出された２つの画像のうちの一方が照射光が映っていない撮影鳥瞰画像である場合もある。本実施形態では、除去鳥瞰画像のみを用いて作成された履歴画像だけでなく、除去鳥瞰画像及び照射光が映っていない撮影鳥瞰画像の両方も用いて作成された履歴画像も除去履歴画像という。なお、除去履歴画像は、照射光が映った撮影鳥瞰画像を基に作成した履歴画像と比較して、照射光の影響が軽減された画像となっている。

Ｓ２９で、画像処理部５０は、除去履歴画像と最新の撮影鳥瞰画像とを合成した鳥瞰画像である除去表示画像を表示鳥瞰画像として作成する。具体的には、まず、画像処理部５０は、履歴領域３３０に記憶された除去履歴画像６５から車両周辺範囲６２に含まれる部分を切り出し、切り出した画像を記憶部３０に設けられた記憶領域である表示領域３４０に記憶する。そして、画像処理部５０は、リアル領域３２０から読み出した、フロントカメラ１１０及びリアカメラ１２０のそれぞれについての最新の撮影鳥瞰画像を表示領域３４０に記憶し、除去履歴画像に上書きする。本実施形態では、この上に更に自車両を示すアイコン６１が記憶されて、図２に示すような除去表示画像が作成される。

Ｓ３０で、画像処理部５０は、表示領域３４０に記憶された除去表示画像を表示部４０に表示する。Ｓ３０の処理を実行すると、差分処理を終了する。
次に、マスク処理について図５のフローチャートを用いて説明する。

マスク処理におけるＳ４１〜Ｓ４５は、前述した差分処理のＳ２１〜Ｓ２５と同様であるため、説明を省略する。
Ｓ４６で、画像処理部５０は、Ｓ４３で作成した最新の前方撮影鳥瞰画像及び最新の後方撮影鳥瞰画像のそれぞれから表示鳥瞰画像の作成に必要となる部分を切り出す。

Ｓ４７で、画像処理部５０は、切り出した画像を履歴領域３３０に記憶する。履歴領域３３０に履歴画像が記憶されている状態においては、Ｓ４７の処理は、履歴画像としての撮影履歴画像に最新の撮影鳥瞰画像を上書きすることで、撮影履歴画像と最新の撮影鳥瞰画像とを合成する処理である。

ここでいう撮影履歴画像とは、Ｓ４３で逐次作成される撮影鳥瞰画像を自車両の移動量に基づいて位置をずらしつつ合成した鳥瞰画像であり、履歴領域３３０内で履歴画像として作成される。この撮影履歴画像では、合成される前方撮影鳥瞰画像及び後方撮影鳥瞰画像のうちの少なくとも一方には照射光が映っているため、照射光が引きずられるように拡大され得る。撮影履歴画像は、Ｓ４７で最新の撮影鳥瞰画像と合成されることにより更新される。

Ｓ４８で、画像処理部５０は、履歴領域３３０に記憶された撮影履歴画像から車両周辺範囲６２に含まれる部分を切り出して表示領域３４０に記憶する。
Ｓ４９で、画像処理部５０は、撮影履歴画像における図９に示す撮影履歴部分６６において、照射光が占める領域（以下「光領域」という。）を検出し、検出した時点の光領域を記憶する。

ここでいう撮影履歴部分６６は、表示領域３４０に記憶された撮影履歴画像のうち過去の撮影鳥瞰画像を用いて構成された部分、換言すれば、撮影履歴画像における、最新の撮影鳥瞰画像と合成する前の撮影履歴画像が現れる部分である。つまり、Ｓ４９では、引きずられるように拡大された照射光が映り得る部分、換言すれば、過去の撮影鳥瞰画像に映っていた照射光が現れ得る部分において、光領域の検出が行われる。なお、撮影履歴部分６６は、後述するように、表示鳥瞰画像の履歴部分となる部分である。

本実施形態では、光領域の検出は次のように行われる。すなわち、撮影履歴部分６６の一部に対して、色相と輝度に基づいて領域分割を行い、分割された複数の領域のうち、互いに隣接する領域であって、色相の差が所定のしきい値以下でありかつ輝度の差が所定値以上となっている２つの領域を抽出する。そして、抽出した２つの領域のうち輝度の高い方を光領域とし、輝度の低い方を非光領域とする。そして、色情報の空間における当該光領域から非光領域へのベクトルを光源の色情報として特定する。そして、撮影履歴部分６６の全領域について、色相と輝度に基づいて領域分割を行い、隣接する領域間の色相の差が光源の色相と所定の範囲内で一致する場合に、それら隣接する領域のうち、輝度の高い方を、光領域であると特定する。

例えば、ヘッドランプが点灯した状態で自車両が真っ直ぐに前進している状況では、図９に示すように、撮影履歴部分６６における、自車両を示すアイコン６１の左右の側部近傍の位置に、引きずられるように拡大されたヘッドランプの光７２が現れる。そして、Ｓ４８の処理が実行されることにより、当該ヘッドランプの光７２が検出される。

なお、本実施形態の表示制御処理では、Ｓ４９の処理は、履歴領域３３０において撮影履歴画像が自車両の移動とともに拡大された結果、撮影履歴部分６６が過去の撮影履歴画像で完全に満たされたことを条件として、一度だけ実行される。表示鳥瞰画像の履歴部分が過去の鳥瞰画像で完全に満たされたか否かは、例えば、表示制御処理開始後の自車両の移動量に基づき判定されてもよい。

Ｓ５０では、画像処理部５０は、図１０に示すような、撮影履歴部分６６におけるＳ４９で記憶した光領域を含む領域がマスクされた鳥瞰画像であるマスク表示画像を表示鳥瞰画像として作成する。画像処理部５０は、Ｓ４９で記憶した光領域を含む領域を、表示部４０上で視認された際に意図的に除去されていることが分かる色（例えば黒色）で塗りつぶすことにより、当該領域をマスクする。

前述したように、本実施形態では、Ｓ４９は一度だけ実行され、実行時の光領域が記憶される。Ｓ５０では、画像処理部５０は、Ｓ４９で記憶した光領域をＳ５０の処理を実行する度に繰り返し参照する。そして、画像処理部５０は、参照した光領域を含むようにあらかじめ決められた条件に従い決定した領域をマスクする。ここでいう条件とは、例えば、光領域を包含する最小の長方形を基準として所定量拡大した長方形を、マスクされる領域であるマスク領域とするといった条件であり、光領域に対してマスク領域が一義的に決定される条件である。そのため、後述するＳ５１でマスク表示画像を表示部４０に表示した際に、マスク領域は、表示部４０の画面上で自車両の移動とともに変化せず、固定される。このように表示部４０の画面上でマスク領域を固定するのは、Ｓ５０の処理が周期的に実行されることにより、表示部４０の画面上でマスク領域が目まぐるしく変化することを回避するためである。なお、本実施形態では、マスクされた撮影履歴画像の上に自車両を示すアイコン６１が上書きされる。また、Ｓ４９で光領域が記憶されるまでは、撮影履歴画像がマスクされない。

本実施形態では、照射光を含む最小限の領域よりもやや大きめにマスク領域が設定される。自車両が横方向に曲がって移動した場合、表示鳥瞰画像の履歴部分に現れた照射光が、自車両が前後方向のみに移動した場合とは異なる位置に現れ得るからである。

例えば、前述した図９に示すような自車両が真っ直ぐ前進している状況では、図１０に示すように、自車両の左右の側部に隣接した２つの長方形状の領域であって自車両の前後方向と長手方向の長さが同一である領域がマスクされることで、マスク領域９０が形成される。このマスク領域９０の左右方向の幅は、図９に示すヘッドランプの光７２の左右方向の幅よりもやや大きく設定される。

Ｓ５１で、画像処理部５０は、Ｓ５０で作成したマスク表示画像を表示部４０に表示する。Ｓ５１の処理を実行すると、マスク処理を終了する。
［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。

（３ａ）本実施形態では、画像処理部５０は、自車両の照射光が除去された鳥瞰画像である除去鳥瞰画像を作成する。具体的には、画像処理部５０は、照射光が映った撮影鳥瞰画像と差分用画像８０，８１との差分を算出し、この差分を表す画像として除去鳥瞰画像を作成する。そして、画像処理部５０は、逐次作成した除去鳥瞰画像を基に作成した除去履歴画像を用いて、表示部４０に表示される除去表示画像を作成する。このように、照射光が映った撮影履歴画像を基に作成される履歴画像に代えて照射光が除去された除去鳥瞰画像を基に作成される除去履歴画像を用いて表示部４０に表示する鳥瞰画像を生成するため、表示部４０の画像上で照射光が拡大することを抑制することができる。

（３ｂ）本実施形態では、画像処理部５０は、ユーザによる操作に基づいて、撮影鳥瞰画像と差分用画像８０，８１との差分量を変更する。したがって、差分を算出する際に画素値を引きすぎたり引き足りなかったりした場合に、差分量を調整することができる。

（３ｃ）本実施形態では、画像処理部５０は、差分処理に代えてマスク処理を実行することができる。マスク処理では、画像処理部５０は、逐次作成した撮影鳥瞰画像を基に撮影履歴画像を作成する。そして、画像処理部５０は、撮影履歴画像と最新の撮影鳥瞰画像とを合成した鳥瞰画像であって、当該鳥瞰画像における合成前の撮影履歴画像が現れた部分である履歴部分に現れた照射光がマスクされた鳥瞰画像であるマスク表示画像を作成する。そして、このように作成されるマスク表示画像が表示部４０に表示される。したがって、引きずられるように拡大された照射光が表示部４０上の画像に表示されることを抑制することができる。

また、マスク処理では、自車両周辺の明るさ等によらず、光領域を含む領域を一律に黒色等で塗りつぶすため、差分処理で行われるユーザによる差分量の調整を不要とすることができる。

なお、本実施形態では、表示部４０が表示部に相当し、画像処理部５０が表示制御装置に相当し、フロントカメラ１１０及びリアカメラ１２０が車載カメラに相当する。また、ヘッドランプの光７０及びテールランプの光７１が車両の照射光に相当し、引きずられるように拡大されたヘッドランプの光７２が除去対象に相当し、差分用画像８０，８１が第２の差分用画像に相当し、Ｓ１４が差分変更部としての処理に相当する。また、Ｓ２１及びＳ４１が取得部としての処理に相当し、Ｓ２３及びＳ４３が第１の画像作成部としての処理に相当し、Ｓ２４及びＳ４４が算出部としての処理に相当し、Ｓ２６が第２の画像作成部としての処理に相当し、Ｓ２５，Ｓ２７及びＳ２８が除去履歴作成部としての処理に相当する。また、Ｓ２９が除去表示作成部としての処理に相当し、Ｓ３０が除去表示処理部としての処理に相当し、Ｓ４５，Ｓ４６及びＳ４７が撮影履歴作成部としての処理に相当し、Ｓ５０がマスク表示作成部としての処理に相当し、Ｓ５１がマスク表示処理部としての処理に相当する。

［４．他の実施形態］
以上、本発明を実施するための形態について説明したが、本発明は前述の実施形態に限定されることなく、種々変形して実施することができる。

（４ａ）上記実施形態では、画像処理部５０は、撮影画像に鳥瞰変換を施した後に差分用画像８０，８１との差分を算出したが、差分を算出するタイミングはこれに限られない。画像処理部は、例えば、鳥瞰変換を施す前に差分を算出してもよい。つまり、画像処理部は、照射光が映った撮影画像と、照射光による撮影画像の画素値の変化を表す画像である差分用画像、換言すれば、照射光の有無による撮影画像における画素値の差分を表す画像である差分用画像と、の差分を算出してもよい。この場合、除去鳥瞰画像は、照射光が映った撮影画像と差分用画像との差分を表す画像を鳥瞰変換した画像として作成されてもよい。

（４ｂ）上記実施形態では、画像処理部５０は、あらかじめ記憶部３０に記憶された差分用画像８０，８１を使用したが、使用される差分用画像はこれに限られない。画像処理部は、例えば、自車両の運転時に差分用画像を生成し、生成した差分用画像を使用してもよい。この場合において、画像処理部は、例えば、ヘッドランプ等が点灯された直前及び直後の撮影画像、つまり照射光の有無を除き撮影対象がほぼ同じである２つの撮影画像又はそれらの鳥瞰画像の差分を表す画像を差分用画像として使用してもよい。

（４ｃ）上記実施形態では、車両の照射光としてヘッドランプの光７０及びテールランプの光７１を例示したが、車両の照射光はこれに限られない。例えば、照射光は、ブレーキランプの光等であってもよい。

（４ｄ）上記実施形態では、マスク処理において、照射光を含む最小限の領域よりもやや大きめにマスク領域が設定されたが、マスク領域はこれに限られない。例えば、照射光のみを含む領域をマスク領域として設定してもよい。

（４ｅ）上記実施形態では、画像処理部５０は、光領域を一度だけ検出して記憶し、記憶した光領域を含むような決定された領域をマスクすることで、マスク表示画像を作成した。しかし、マスク表示画像の作成方法はこれに限られない。

例えば、画像処理部は、最新の撮影鳥瞰画像において光領域を検出し、検出した光領域を含む領域をマスクする。そして、画像処理部は、マスクされた最新の撮影鳥瞰画像を用いて履歴画像を作成し、このように作成した履歴画像から切り出した車両周辺範囲６２に含まれる部分に最新の撮影鳥瞰画像を上書きすることで、マスク表示画像を作成してもよい。つまり、光領域がマスク領域に置き換えられた表示鳥瞰画像を表示してもよい。

また、例えば、表示制御処理の開始当初は、表示部４０に表示される表示鳥瞰画像の履歴部分において自車両の移動に伴い現れる過去の撮影鳥瞰画像ごとに光領域を検出し、光領域を含む領域をマスクする。そして、表示部４０の画像上で、表示鳥瞰画像の履歴部分が過去の鳥瞰画像で完全に満たされると、その時点でのマスク領域が維持されるようにしてもよい。つまり、上記実施形態では、撮影履歴画像の撮影履歴部分６６が過去の撮影履歴画像で完全に満たされるまでマスクされた表示鳥瞰画像が表示されなかったが、撮影履歴画像で完全に満たされる前にもマスクされた表示鳥瞰画像を表示してもよい。

また、例えば、画像処理部は、光領域を検出せず、換言すれば、表示鳥瞰画像の履歴部分における照射光の現れ方によらず、あらかじめ決められた領域をマスクすることでマスク表示画像を作成してもよい。

（４ｆ）上記実施形態では、マスクされることで除去される除去対象として自車両の照射光を例示したが、除去対象はこれに限られない。除去対象は、例えば、自車両の影であってもよい。

（４ｇ）上記実施形態では、画像処理部５０は、差分処理及びマスク処理の両方を実行したが、実行される処理はこれに限られず、画像処理部は、マスク処理を実行せずに差分処理のみを実行してもよい。

（４ｈ）上記実施形態では、画像処理部５０は、Ｓ１１において、２種類の差分用画像８０，８１の両方ともが記憶されている場合に限り差分用画像があると判定したが、判定基準はこれに限られない。画像処理部は、例えば、２種類の差分用画像８０，８１の両方が記憶されている場合に加え、２種類の差分用画像８０，８１のうちいずれか一方のみが記憶されている場合にも、差分用画像があると判定してもよい。この場合において、ヘッドランプの光及びテールランプの光のうち、差分用画像がある方の影響を差し引くための差分処理が実行されてもよい。

（４ｉ）上記実施形態では、自車両にはフロントカメラ１１０及びリアカメラ１２０が搭載されていたが、カメラの搭載状況はこれに限られない。自車両には、例えば、フロントカメラ１１０及びリアカメラ１２０のうちいずれか一方のみが搭載されてもよい。

また、例えば、フロントカメラ１１０及びリアカメラ１２０に加え、自車両の左右の側部にも１台ずつカメラを設け、計４台のカメラが搭載されてもよい。この場合において、例えば、４台のカメラのいずれにも異常がない場合は、履歴合成を行わず、４台のカメラのいずれかに画面固着等の異常が発生した場合に、異常が発生したカメラによる撮影画像の鳥瞰画像を埋めるべく履歴合成を行ってもよい。

（４ｊ）上記実施形態では、表示部として、自車両内に設けられたディスプレイである表示部４０を例示したが、表示装置はこれに限定されるものではない。表示装置の他の例としては、例えばＨＵＤ（ヘッドアップディスプレイ）などが挙げられる。

（４ｋ）上記実施形態で、画像処理部５０が実行する機能の一部又は全部を、１つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。
（４ｌ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（４ｍ）前述した画像処理部５０の他、当該画像処理部５０を構成要素とするシステム、当該画像処理部５０としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実体的記録媒体、撮影画像又は撮影鳥瞰画像に映った照射光等を差分又はマスクすることにより除去する方法など、種々の形態で本発明を実現することもできる。

１…表示制御システム、１０…撮影部、２０…移動情報出力部、３０…記憶部、４０…表示部、５０…画像処理部、６２…車両周辺範囲、８０，８１…差分用画像、９０…マスク領域、１１０…フロントカメラ、１２０…リアカメラ、３１０…差分領域、３２０…リアル領域、３３０…履歴領域、３４０…表示領域。

Claims (5)

1. 車両の周辺における所定の範囲の撮影画像を前記車両内の表示部（４０）に表示する表示制御装置（５０）であって、
   前記車両に搭載された車載カメラ（１１０，１２０）から前記撮影画像を繰り返し取得する取得部（Ｓ２１，Ｓ４１）と、
   前記撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する第１の画像作成部（Ｓ２３，Ｓ４３）と、
   前記撮影画像の鳥瞰画像であって、前記撮影画像に映った前記車両の照射光（７０，７１）が除去された鳥瞰画像である除去鳥瞰画像を逐次作成する第２の画像作成部（Ｓ２６）と、
   前記車両の移動量を算出する算出部（Ｓ２４，Ｓ４４）と、
   前記第２の画像作成部により逐次作成される前記除去鳥瞰画像を前記移動量に基づいて位置をずらしつつ合成した鳥瞰画像である除去履歴画像を作成する除去履歴作成部（Ｓ２５，Ｓ２７，Ｓ２８）と、
   前記除去履歴画像と最新の前記撮影鳥瞰画像とを合成した鳥瞰画像である除去表示画像を作成する除去表示作成部（Ｓ２９）と、
   前記除去表示画像を前記表示部に表示させる除去表示処理部（Ｓ３０）と、
   を備え、
   前記第２の画像作成部は、前記照射光が映った前記撮影画像と、前記照射光による前記撮影画像の画素値の変化を表す画像である第１の差分用画像と、の差分を表す画像を鳥瞰変換した画像、及び、前記照射光が映った前記撮影鳥瞰画像と、前記照射光による前記撮影鳥瞰画像の画素値の変化を表す画像である第２の差分用画像（８０，８１）と、の差分を表す画像、の少なくとも一方を前記除去鳥瞰画像として作成し、
   前記第１の画像作成部により逐次作成される前記撮影鳥瞰画像を前記移動量に基づいて位置をずらしつつ合成した鳥瞰画像である撮影履歴画像を作成する撮影履歴作成部（Ｓ４５，Ｓ４６，Ｓ４７）と、
   前記撮影履歴画像と最新の前記撮影鳥瞰画像とを合成した鳥瞰画像であって、当該鳥瞰画像における合成前の前記撮影履歴画像が現れた部分である撮影履歴部分（６６）に現れた所定の除去対象（７２）が占める領域を含む領域が所定色で塗りつぶされることによりマスクされた鳥瞰画像であるマスク表示画像を作成するマスク表示作成部（Ｓ５０）と、
   前記マスク表示画像を前記表示部に表示させるマスク表示処理部（Ｓ５１）と、
   を更に備える、表示制御装置。
2. 請求項１に記載の表示制御装置であって、
   前記マスク表示画像におけるマスクされる領域は、前記表示部の画面上に固定される、表示制御装置。
3. 請求項１又は請求項２に記載の表示制御装置であって、
   ユーザによる操作に基づいて、前記撮影画像と前記第１の差分用画像との差分量及び前記撮影鳥瞰画像と前記第２の差分用画像との差分量の少なくとも一方を変更する差分変更部（Ｓ１４）を更に備える、表示制御装置。
4. 請求項１から請求項３までのいずれか１項に記載の表示制御装置であって、
   前記車両には、前記車両の周辺における前記車両の前方の所定の範囲を撮影するフロントカメラ（１１０）と、前記車両の周辺における前記車両の後方の所定の範囲を撮影するリアカメラ（１２０）と、が前記車載カメラとして搭載され、
   前記第２の画像作成部は、前記フロントカメラによる撮影画像である前方撮影画像の鳥瞰画像であって、前記前方撮影画像に映った前記照射光が除去された鳥瞰画像である前方除去鳥瞰画像と、前記リアカメラによる撮影画像である後方撮影画像の鳥瞰画像であって、前記後方撮影画像に映った前記照射光が除去された鳥瞰画像である後方除去鳥瞰画像と、を作成する、表示制御装置。
5. 車両の周辺における所定の範囲の撮影画像を前記車両内の表示部（４０）に表示する表示制御装置（５０）としてコンピュータを機能させるための表示制御プログラムであって、
   前記車両に搭載された車載カメラ（１１０，１２０）から前記撮影画像を繰り返し取得する取得部（Ｓ２１，Ｓ４１）、
   前記撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する第１の画像作成部（Ｓ２３，Ｓ４３）、
   前記撮影画像の鳥瞰画像であって、前記撮影画像に映った前記車両の照射光（７０，７１）が除去された鳥瞰画像である除去鳥瞰画像を逐次作成する第２の画像作成部（Ｓ２６）、
   前記車両の移動量を算出する算出部（Ｓ２４，Ｓ４４）、
   前記第２の画像作成部により逐次作成される前記除去鳥瞰画像を前記移動量に基づいて位置をずらしつつ合成した鳥瞰画像である除去履歴画像を作成する除去履歴作成部（Ｓ２５，Ｓ２７，Ｓ２８）、
   前記除去履歴画像と最新の前記撮影鳥瞰画像とを合成した鳥瞰画像である除去表示画像を作成する除去表示作成部（Ｓ２９）、及び、
   前記除去表示画像を前記表示部に表示させる除去表示処理部（Ｓ３０）、
   としてコンピュータを機能させ、
   前記第２の画像作成部は、前記照射光が映った前記撮影画像と、前記照射光による前記撮影画像の画素値の変化を表す画像である第１の差分用画像と、の差分を表す画像を鳥瞰変換した画像、及び、前記照射光が映った前記撮影鳥瞰画像と、前記照射光による前記撮影鳥瞰画像の画素値の変化を表す画像である第２の差分用画像（８０，８１）と、の差分を表す画像、の少なくとも一方を前記除去鳥瞰画像として作成し、
   前記第１の画像作成部により逐次作成される前記撮影鳥瞰画像を前記移動量に基づいて位置をずらしつつ合成した鳥瞰画像である撮影履歴画像を作成する撮影履歴作成部（Ｓ４５，Ｓ４６，Ｓ４７）と、
   前記撮影履歴画像と最新の前記撮影鳥瞰画像とを合成した鳥瞰画像であって、当該鳥瞰画像における合成前の前記撮影履歴画像が現れた部分である撮影履歴部分（６６）に現れた所定の除去対象（７２）が占める領域を含む領域が所定色で塗りつぶされることによりマスクされた鳥瞰画像であるマスク表示画像を作成するマスク表示作成部（Ｓ５０）と、
   前記マスク表示画像を前記表示部に表示させるマスク表示処理部（Ｓ５１）と、
   を更に備える、表示制御プログラム。

Images