JP5960466B2 - 画像処理装置、撮像装置、車両の運転支援装置、及び画像処理方法 - Google Patents

Description

本発明は、車両周辺を撮像して生成される連続したフレームの撮像画像データにオーバレイ画像データを重畳させる画像処理装置、撮像装置、車両の運転支援装置、及び画像処理方法に関する。

車両の走行時に、車両に搭載した撮像装置で撮像した車両周辺の撮像画像を車内に設置された表示装置に表示する運転支援装置が知られている。運転者は表示装置に表示される撮像画像を確認することで、車両周辺の障害物を認識しながら走行でき、また、駐車時には駐車区画内へ的確にかつ容易に駐車することができる。さらに、かかる運転支援装置の一例では、車両周辺の撮像画像だけでなく、運転を支援するための指標となる画像が撮像画像に重畳して表示される（たとえば、特許文献１、２）。撮像画像に重畳される画像（以下、オーバレイ画像という）は、たとえば、車両の進路予測ガイド線である。かかるオーバレイ画像を撮像画像に重畳して表示することで、運転者は、車両と対象物との距離や横幅をより的確かつ容易に把握できる。

特開２００５−０７３２０３号公報 特開２００８−１９３５２１号公報

オーバレイ画像は、その目的から、背景の撮像画像に対しできるだけ目立つ態様であることが望ましい。そこで、一般的に、オーバレイ画像には運転者が視認し易い色、たとえば、黄色や赤色などが付される。しかしながら、オーバレイ画像が重畳される箇所の背景色がオーバレイ画像の色と近似していると、オーバレイ画像が視認し難くなるおそれがある。特に、運転者が色覚異常を有し、視認が困難な色がオーバレイ画像に用いられている場合には、オーバレイ画像の視認が一層困難になる。

そこで、上記問題点に鑑みてなされた本発明の目的は、背景色や運転者の色覚の如何によらず視認が容易なオーバレイ画像を撮像画像に重畳させる、画像処理装置、撮像装置、運転支援装置、及び画像処理方法を提供することにある。

上記課題を解決するため、本発明の一態様に係る画像処理装置は、車両周辺を撮像して生成される連続したフレームの撮像画像データに重畳させるオーバレイ画像データの色を、１以上の第１のフレームのときの第１の色とこれに続く１以上の第２のフレームのときの第２の色とが異なるように決定する画像色決定部と、前記第１、及び第２のフレームの前記撮像画像データの所定の位置にそれぞれ決定された前記第１、及び第２の色の前記オーバレイ画像データを交互に重畳させて、当該連続したフレームの撮像画像データに対応する画像を表示する表示装置に順次出力する画像合成部とを有する。

前記第１、及び第２の色は、色相、明度、及び彩度のいずれか一つ以上が異なるように決定される。

さらに別の好ましい態様によれば、前記第１、及び第２の色が互いの補色になるように決定される。

さらに別の好ましい態様によれば、前記画像色決定部は、選択可能な前記第１、及び第２の色の複数の組合せを有する。

本発明の別の態様に係る撮像装置は、上記の画像処理装置と、車両周辺を撮像し、前記画像処理装置に入力する前記撮像画像データを生成する撮像部とを有する。

本発明のさらに別の態様に係る運転支援装置は、上記の撮像装置と、前記撮像装置とともに車両に搭載され、前記撮像装置から出力される連続したフレームの撮像画像データに対応する画像を表示する表示装置とを有する。

本発明は、上述したような装置に実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。なお、方法やプログラムの各ステップは、データの処理においては必要に応じて、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）などの演算処理装置を使用するものであり、入力したデータや加工・生成したデータなどをＨＤＤ（Hard Disk Drive）、メモリなどの記憶装置に格納するものである。

たとえば、本発明を方法として実現した画像処理方法は、車両周辺を撮像して生成される連続したフレームの撮像画像データに重畳させるオーバレイ画像データの色を、１以上の第１のフレームのときの第１の色とこれに続く１以上の第２のフレームのときの第２の色とが異なるように決定する工程と、前記第１、及び第２のフレームの前記撮像画像データの所定の位置にそれぞれ決定された前記第１、及び第２の色の前記オーバレイ画像データを交互に重畳させて、当該連続したフレームの撮像画像データに対応する画像を表示する表示装置に順次出力する工程とを有する。

本発明によれば、背景色や運転者の色覚の如何によらず視認が容易なオーバレイ画像を撮像画像に重畳させることができる。

本実施形態における車両の運転支援装置の構成を示す図である。 撮像画像に重畳されるオーバレイ画像の例を示す図である。 オーバレイ画像データの色について説明する図である。 オーバレイ画像データの色について説明する図である。 マンセル色相環を示す図である。 画像処理部５の詳細な構成を示す図である。 画像処理部５の動作手順を説明するためのフローチャート図である。 色選択の手順を示すフローチャート図である。 選択されるオーバレイ画像データの色の組合せの例である。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する

図１は本実施形態における車両の運転支援装置の構成を示す図である。車両に搭載される運転支援装置１は、車両周辺を撮像する撮像装置１０と、撮像画像を表示する表示装置９とを有する。また、運転支援装置１は、運転者の操作入力を受け付ける入力装置７を備えてもよい。そして、撮像装置１０は、撮像光学系２と、撮像部３と、メモリ（記憶部）４と、画像処理部５と、コントローラ部６とを有する。撮像装置１０は、たとえば、車両の後部に設置され、車両後方の周辺画像を撮像する。

撮像光学系２は、光（すなわち、車両周辺の光学像）を撮像部３へ入射させる光学部材である。たとえば、撮像光学系２は、一または複数のレンズを含む。また、撮像光学系２は、レンズのほかにフィルタ等の他の光学部材を含んでいてもよく、これらの複数の光学部材は互いに光軸が一致するように配置されている。

撮像部３は、車両に搭載され、撮像光学系２を介して車両周辺の撮像画像を撮像するものであり、たとえば、撮像光学系２で結像された光学像を電気信号に変換する２次元状に配置された撮像素子、たとえばＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを有する。撮像部３は、たとえば、たとえば数十ミリ秒ごとに連続して撮像を行い、各撮像動作ごとに２次元状の画素に対応する画素信号を出力する。ここで、１回の撮像により、１フレームの撮像画像が撮像される。そして、連続した撮像動作により、一連のフレームの撮像画像からなる動画像が撮像される。撮像部３と画像処理部５との間には、撮像部３のアナログ出力をデジタル信号に変換するＡ／Ｄ変換器（図示略）が設けられる。そして、デジタル信号に変換された撮像画像データは、フレームごとの画素データ群である。よって、連続したフレームの撮像画像データが、画像処理部５に入力される。

画像処理部５は、撮像画像データにオーバレイ画像データを重畳させ、表示装置９に出力する「画像処理装置」に対応する。画像処理部５は、たとえばＭＰＵ（Micro Processor Unit）やＬＳＩ（Large Scale Integration）により構成される。

メモリ４は、撮像画像データに重畳させるオーバレイ画像データを記憶する。オーバレイ画像データは、たとえば、車両の進路予測ガイド線に対応する画像データである。ここで、ガイド線とは、車両の走行を支援するために撮像画像に重畳表示されるもので、たとえば車両の進路予測軌跡を示すガイド線、車両からの距離を示すガイド線、車幅を示すガイド線等である。なお、ガイド線は直線状であっても曲線状であってもよい。また、ガイド線は、複数のパターンがメモリ４に予め記憶されていてもよいし、車両の操舵角、左右輪回転速度差、車両の速度等の車両の挙動によって変化させるようにしてもよい。

コントローラ部６は、入力装置７からの命令信号や、車両に備えられる各種センサからのセンサ信号を取得し、これに応答して撮像部３や画像処理部５の動作を制御するための制御信号を、撮像部３や画像処理部５に出力する。入力装置７からの命令信号は、たとえば、ガイド線画像の表示命令や、ガイド線画像（すなわちオーバレイ画像）の色の設定信号などである。コントローラ部６は、たとえばＭＰＵ（Micro Processor Unit）やＬＳＩ（Large Scale Integration）により構成される。

入力装置７は、運転席近傍に設置されて運転者の各種操作入力を受け付け、これに対応する命令信号を生成するものであり、たとえばキーボードやタッチパネル等が用いられる。なお、入力装置７からの命令信号は回線８を介してコントローラ部６に送信される。回線８は、ＣＡＮ（Controller Area Network）等の車内ネットワークを用いてもよいし、専用回線を用いてもよい。

表示装置９は、運転席近傍に設置されて撮像画像を運転者に表示する。表示装置９は、たとえば、液晶ディスプレイとその駆動回路とを有し、画像処理部５が出力するオーバレイ画像データが重畳された撮像画像データに対応する撮像画像を表示する。表示装置９は、連続したフレームの撮像画像データを連続して表示することで、動画像を表示する。

図２は、撮像画像に重畳されるオーバレイ画像の例を示す図である。ここでは車両後方の撮像画像２０にオーバレイ画像２１としてガイド線が重畳された例が示される。オーバレイ画像２１は、撮像画像２０における所定の位置に重畳される。所定の位置は、たとえば、撮像画像２０内での車両の進行方向に対応する位置である。運転者は、オーバレイ画像２１すなわちガイド線により、撮像画像２０における車両の進行方向を認識することができる。

図３は、オーバレイ画像データの色について説明する図である。本実施形態では、画像処理部５は、オーバレイ画像データの色を、第１のフレームのときの第１の色とこれに続く第２のフレームのときの第２の色とが異なるように決定する。たとえば、撮像部３から入力される撮像画像データのフレームに順番を割り当てたとき、奇数フレームの撮像画像データ２０ａに重畳させるオーバレイ画像データ２１ａを第１の色３ａ、偶数フレームの撮像画像データ２０ｂに重畳させるオーバレイ画像データ２１ｂを第２の色３ｂというように決定する。色３ａ、３ｂは、たとえば、表示装置９が表示する画像の色空間、たとえば、ＲＧＢ（Red、Green、Blue）色空間における階調値である。なお、ここでは、色３ａ、３ｂの違いをハッチングパターンの違いで示す。

撮像画像データ２０ａ、２０ｂに対応する画像を交互に表示することで、運転者は、奇数フレームのときのオーバレイ画像と偶数フレームのときのオーバレイ画像の残像が互いに重複した画像を視認する。よって、このとき、奇数フレームのときのオーバレイ画像と偶数フレームのときのオーバレイ画像の中間色（たとえば、ＲＧＢ階調値の中間値の色）が視認される。よって、たとえば、一方の色が撮像画像における背景色と近似する視認し難い色の場合であっても、反対色が背景色と異なる視認しやすい色であれば、運転者は、中間色のオーバレイ画像を視認でき、背景色の如何によらず、運転者は本来のガイド線を認識することができる。

また、運転者が色弱などの色覚異常を有し、色相の違いを明度とて視認する場合であっても、運転者は視認し易い方の色を認識できるので、視認し難い方の色のときには視認した色の残像により、本来のオーバレイ画像を認識できる。

上述の説明では、１フレームごとにオーバレイ画像データ２１ａ、２１ｂの色を切り替える例を示したが、複数フレームごとにオーバレイ画像データ２１ａ、２１ｂの色を切り替えてもよい。すなわち、ｍ個（ｍは２以上の整数）の第１のフレームにオーバレイ画像データ２１ａを重畳させ、続くｍ個の第２のフレームにオーバレイ画像データ２１ｂを重畳させることが可能である。または、第１、及び第２のフレームの個数が異なってもよい。オーバレイ画像データ２１ａ、２１ｂの色３ａ、３ｂを交互に切り替えることで、運転者は中間色または視認し易い方の色のオーバレイ画像を視認でき、本来のオーバレイ画像を認識できる。

さらに、上記のように残像を利用することで色の視認を可能にすることで、フレーム内では同じ位置にオーバレイ画像データを重畳させることができる。換言すれば、オーバレイ画像が重畳される撮像画像の面積を最小限とすることができ、撮像画像の視認可能な面積を最大化できる。

本実施形態の好ましい態様では、オーバレイ画像データ２１ａ、２１ｂの色３ａ、３ｂは、色相、明度、及び彩度のいずれか一つ以上が異なるように決定される。たとえば、オーバレイ画像データ２１ａの色３ａを基準色としたとき、撮像画像の背景色が灰色で基準色３ａが赤色であり、かつその背景色と基準色３ａの明度が一致する場合、基準色３ａと対をなす反対色３ｂを、図４（Ａ）に示すように、色相および明度は基準色３ａと同一のまま彩度のみ変更することが可能である。または、図４（Ｂ）に示すように、反対色３ｂを、色相および彩度は基準色３ａと同一のまま明度のみ変更することが可能である。さらに、図４（Ｃ）に示すように、反対色３ｂを、色相が基準色３ａと同一のまま、彩度及び明度を変更することが可能である。さらに、色相、彩度、及び明度のすべてを変更してもよい。

そうすることで、運転者は基準色３ａと反対色３ｂの中間色、または視認し易い方の色を視認でき、本来のオーバレイ画像を認識できる。

本実施形態のさらに好ましい態様では、オーバレイ画像データ２１ａ、２１ｂの色３ａ、３ｂは互いの補色である。補色とは、色相環で反対に位置する色の関係をいう。補色関係を有する色相の選択には、たとえば図５に示すマンセル色相環を用いることができる。マンセル色相環は、５色の基本色（赤、黄、緑、青、紫）とそれらの中間色（黄赤、黄緑、青緑、青紫、赤紫）との計１０色で分割し、それらの色の間もさらに分割して円形に並べたものである。この色相環を用いて、赤と青緑の組み合わせ、黄赤と青の組み合わせ、黄と青紫の組み合わせ等のように正反対に位置する色相を選択することができる。なお、本実施形態では、色相環にて正反対に位置しなくても正反対に近い位置の色も補色に含まれる。たとえば、赤と緑の組み合わせ、赤と青の組み合わせ等としてもよい。また、補色関係を有する色の選択においては、他の色相データを用いてもよいことはもちろんである。

オーバレイ画像データ２１ａ、２１ｂの色３ａ、３ｂが互いの補色であることにより、たとえば、運転者が色弱などの色覚異常を有し補色関係を明度とて視認する場合であっても、運転者は視認し易い方の色を認識でき、本来のオーバレイ画像を認識できる。

図６は、上述した画像処理を行う画像処理部５の詳細な構成を示す図である。画像処理部５は、オーバレイ画像データ２１ａ、２１ｂの色を決定する画像色決定部６０と、撮像画像データ２０ａ、２０ｂの所定の位置にそれぞれ決定された色のオーバレイ画像データ２１ａ、２１ｂを重畳させて表示装置９に出力する画像合成部６２とを有する。画像色決定部６０、画像合成部６２は、たとえば、メモリ４に格納される処理プログラムを実行するプロセッサにより構成される。

画像色決定部６０は、たとえば、奇数フレームの撮像画像データ２０ａが入力されるとオーバレイ画像データ２１ａを、偶数フレームの撮像画像データ２０ｂが入力されるとオーバレイ画像データ２１ｂを、メモリ４から読み出す。ここで、メモリ４には、予め、異なる色を有するオーバレイ画像データ２１ａ、２１ｂが格納されている。

画像合成部６２は、撮像画像データのフレームの順番に応じた切替信号をセレクタ６４に出力し、セレクタ６４に、メモリ４から読み出されたオーバレイ画像データ２１ａ、２１ｂのいずれかを選択して画像合成部６２に入力させる。たとえば、セレクタ６４は、奇数フレームのときにはオーバレイ画像データ２１ａを、偶数フレームのときにはオーバレイ画像データ２１ｂを画像合成部６２に入力する。そして、画像合成部６２は、撮像画像データ２０ａ、２０ｂの所定の位置にそれぞれオーバレイ画像データ２１ａ、２１ｂを重畳させて、表示装置９に順次出力する。

または、次のような構成とすることも可能である。たとえば、画像色決定部６０は、撮像画像データのフレームの順番に基づき重畳させるオーバレイ画像データの色を決定する。このとき、たとえば、メモリ４に予め色の組合せのマップデータを格納しておき、これを読み出すようにしてもよい。そして、画像色決定部６０は、メモリ４から色が特定されないオーバレイ画像データを読み出して、決定した色情報とともに画像合成部６２に渡す。そして、画像合成部６２は、撮像画像データにオーバレイ画像データを重畳させるときに、決定された色を設定する。

さらに、画像色決定部６０は、撮像画像データにおけるオーバレイ画像データが重畳される箇所周辺の背景色に基づいて、オーバレイ画像データの色を決定してもよい。たとえば、画像色決定部６０は、撮像画像データにおけるオーバレイ画像データの重畳箇所周辺の画素の色を取得する。そして、画像色決定部６０は、たとえば、背景色とオーバレイ画像データの色の組合せのマップデータから、背景色に対応する色を読み出して、オーバレイ画像データの色を決定する。かかるマップデータは、メモリ４に予め格納される。マップデータでは、たとえば、背景色の補色に対応するオーバレイ画像データの基準色が対応付けられ、さらに、その基準色と色相、明度、及び彩度のいずれか１つ以上が異なる対の色が対応付けられる。

図７は、本実施形態における画像処理部５の動作手順を説明するためのフローチャート図である。図７に示す手順は、たとえば、１フレームの撮像画像データが入力されるごとに実行される。

画像色決定部６０は、撮像画像データが入力され（Ｓ７０２）、フレームが奇数か偶数かを判断する（Ｓ７０４）。奇数フレームのとき、画像色決定部６０は、奇数フレーム用の色３ａを有するオーバレイ画像データ２１ａをメモリ４から読み出す（Ｓ７０６）。または、画像色決定部６０は、画像合成部６２に奇数フレーム用の色３ａを設定してもよい。そして、画像合成部６２は、奇数フレームの撮像画像データ２０ａに、色３ａを有するオーバレイ画像データ２１ａを合成して出力する（Ｓ７０８）。一方、偶数フレームのとき、画像色決定部６０は、偶数フレーム用の色３ｂを有するオーバレイ画像データ２１ｂをメモリ４から読み出す（Ｓ７１０）。そして、画像合成部６２は、偶数フレームの撮像画像データ２０ｂに、色３ｂを有するオーバレイ画像データ２１ｂを合成して出力する（Ｓ７１２）。

なお、上述した手順において、手順Ｓ７０２とＳ７０４の間に、画像色決定部６０が撮像画像データの背景色に基づいてオーバレイ画像データ２１ａ、２１ｂの色を決定する手順を挿入してもよい。その場合、手順Ｓ７０６、７１０では、画像色決定部６０は、オーバレイ画像データをメモリ４から読み出す代わりに、画像合成部６２に奇数または偶数フレーム用の、決定した色を設定する。

上述のように、本実施形態によれば、背景色や運転者の色覚の如何によらず視認が容易なオーバレイ画像を撮像画像に重畳させることができる。

[変形例]
本実施形態の変形例では、画像色決定部６０は、運転者が選択可能な、オーバレイ画像データ２１ａ、２１ｂ複数の組合せを有する。かかる組合せは、予めメモリ４に格納される。かかる変形例によれば、運転者が自らの好みや色覚に応じて、視認し易い色の組合せを選択できる。よって、より視認が容易なオーバレイ画像を撮像画像に重畳させることができる。

図８は、色選択の手順を示すフローチャート図である。図８の手順は、たとえば、運転者が入力装置７から、色設定を指示入力したときに実行される。画像色決定部６０は、メモリ４から読み出した組合せを表示装置９に表示させる（Ｓ８０）。

図９は、表示される色の組合せの例である。パターン番号ごとに、基準色（たとえば奇数フレーム用の色）とその対となる反対色（偶数フレーム用の色）の例が示される。

図８に戻り、運転者が入力装置７により任意の組合せを選択する（たとえば、図９のパターン番号を選択する）と、画像色決定部６０は、選択に対応する信号が入力される（Ｓ８２）。すると、画像色決定部６０は、選択された組合せを、オーバレイ画像データ２１ａ、２１ｂの色として決定する（Ｓ８４）。

かかる変形例によれば、運転者が自らの好みや色覚に応じて、視認し易い色の組合せを選択できる。よって、より視認が容易なオーバレイ画像を撮像画像に重畳させることができる。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である

以上、説明したとおり、本実施形態によれば、背景色や運転者の色覚の如何によらず視認が容易なオーバレイ画像を撮像画像に重畳させることができる。

１：運転支援装置
１０：撮像装置
５：画像処理部
６０：画像色決定部
６２：画像合成部
２０ａ、２０ｂ：撮像画像データ、
２１ａ、２１ｂ：オーバレイ画像データ

Claims (8)

1. 車両周辺を撮像して生成される連続したフレームの撮像画像データに重畳させるオーバレイ画像データの色を、１以上の第１のフレームのときの第１の色とこれに続く１以上の第２のフレームのときの第２の色とが異なるように決定する画像色決定部と、
   前記第１、及び第２のフレームの前記撮像画像データの所定の位置にそれぞれ決定された前記第１、及び第２の色の前記オーバレイ画像データを交互に重畳させて、当該連続したフレームの撮像画像データに対応する画像を表示する表示装置に順次出力する画像合成部とを有する画像処理装置。
2. 請求項１において、
   前記第１、及び第２の色は、色相、明度、及び彩度のいずれか一つ以上が異なるように決定される
   画像処理装置。
3. 請求項２において、
   前記第１、及び第２の色が互いの補色になるように決定される
   画像処理装置。
4. 請求項１乃至３のいずれかにおいて、
   前記画像色決定部は、選択可能な前記第１、及び第２の色の複数の組合せを有する画像処理装置。
5. 請求項１乃至３のいずれかにおいて、
   前記画像色決定部は、前記撮像画像の色に基づいて、前記第１の色を決定する画像処理装置。
6. 請求項１乃至５のいずれかに記載の画像処理装置と、
   車両周辺を撮像し、前記画像処理装置に入力する前記撮像画像データを生成する撮像部とを有する撮像装置。
7. 請求項６に記載の撮像装置と、
   前記撮像装置とともに車両に搭載され、前記撮像装置から出力される連続したフレームの撮像画像データに対応する画像を表示する表示装置と
   を有する車両の運転支援装置。
8. 車両周辺を撮像して生成される連続したフレームの撮像画像データに重畳させるオーバレイ画像データの色を、１以上の第１のフレームのときの第１の色とこれに続く１以上の第２のフレームのときの第２の色とが異なるように決定する工程と、
   前記第１、及び第２のフレームの前記撮像画像データの所定の位置にそれぞれ決定された前記第１、及び第２の色の前記オーバレイ画像データを交互に重畳させて、当該連続したフレームの撮像画像データに対応する画像を表示する表示装置に順次出力する工程とを有する画像処理方法。

Images