JP4900372B2

JP4900372B2 - 車両用周辺監視装置

Info

Publication number: JP4900372B2
Application number: JP2008310109A
Authority: JP
Inventors: 宗昭松本; 岳人原田; 久仁一仲山
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2008-12-04
Filing date: 2008-12-04
Publication date: 2012-03-21
Anticipated expiration: 2028-12-04
Also published as: JP2010132145A

Description

本発明は、車両周辺に存在する障害物を検知して表示させる車両用周辺監視装置に関するものである。

従来から、車両の周辺の状況を撮像した画像を表示部に表示することによって、車両周辺の障害物の存在などをドライバーに知らせる技術が知られている。

また、近年では、車両の周辺の状況を撮像した画像に障害物の検知情報を重畳表示する技術も提案されている。例えば、特許文献１には、障害物検知センサが検知した検知情報を、路面上から垂直方向に起立するシンボルに変換し、車両周辺を撮像するカメラで撮像された画像にこのシンボルを重畳させて表示する技術が開示されている。
特開２００５−４５６０２号公報

しかしながら、特許文献１に開示の技術では、モニタ表示中の障害物の検知距離とモニタ表示中の障害物が障害物検知センサの検知範囲のどこにあたるかという検知範囲とを示すシンボルがモニタ表示中の障害物に重畳して表示されるだけであるので、ユーザにとって障害物の大きさを認識しづらい。よって、特許文献１に開示の技術では、障害物の大きさの識別がユーザにとって困難であるという問題点を有していた。

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、車両周辺に存在する障害物を検知して表示させる場合に、障害物の大きさの識別をユーザがより容易に行うことが可能になる車両用周辺監視装置を提供することにある。

請求項１の車両用周辺監視装置は、上記課題を解決するために、車両の周辺を撮像する撮像部と、前記車両の周辺の障害物を、電磁波および音波のうちのいずれかの波の反射によって得られる反射波を利用して検知する障害物センサと、前記撮像部によって撮像された画像を表示させる表示部と、を備え、前記障害物センサで障害物を検知した場合に、当該障害物を示すマークを前記画像に重畳して表示させる車両用周辺監視装置であって、前記障害物センサで一旦障害物を検知した場合に、当該障害物の検知データを経時的に取得する検知データ取得部と、前記検知データ取得部で経時的に取得した前記検知データを累積して記憶する累積記憶部と、前記累積記憶部に記憶されている新旧の複数の前記検知データをもとに、この新旧の複数の前記検知データに対応する新旧の複数の前記マークを前記画像に重畳して表示させるとともに、前記マークの新旧の区別が可能となるように個々の前記マークを変化させて表示させながら、且つ、当該障害物を検知した障害物センサで得られた反射波の大きさに応じた大きさで前記マークを表示させる表示制御部を備えていることを特徴としている。

これによれば、電磁波や音波といった波が障害物に反射されて戻ってくることによって得られる反射波の大きさは、障害物の大きさと距離とにほぼ比例するので、障害物センサで得られる反射波の大きさに応じてマークを大きく表示させることは、撮像画像中での障害物の大きさに比例した大きさで障害物を示すマークを表示することになる。よって、以上の構成によれば、車両周辺に存在する障害物を検知して表示させる場合に、障害物の大きさの識別をユーザがより容易に行うことが可能になる。

従って、以上の構成によれば、車両周辺に存在する障害物を検知して表示させる場合に、障害物の大きさの識別をユーザがより容易に行うことが可能になる。

これによれば、障害物センサで検知した障害物について、この障害物を示す新旧の複数のマークを新旧の区別が可能となるように個々に変化させ、撮像部によって撮像された画像（以下、撮像画像と呼ぶ）に重畳して表示させるので、障害物の経時的な移動にともなって変化するマークが撮像画像に重畳して表示される。よって、これらのマークによって、障害物の移動方向を表現することが可能になる。

また、障害物センサで得られる反射波の大きさに応じてマークを大きく表示させることは、撮像画像中での障害物の大きさに比例した大きさで障害物を示すマークを表示することになるので、以上の構成によれば、車両周辺に存在する障害物を検知して表示させる場合に、障害物の大きさの識別をユーザがより容易に行うことが可能になる。

従って、以上の構成によれば、車両周辺に存在する障害物を検知して表示させる場合に、自車両に対する障害物の移動方向の区別とともに障害物の大きさの識別をユーザがより容易に行うことが可能になる。

また、請求項２の車両用周辺監視装置では、前記検知データは、前記障害物センサで検知した障害物から得られた反射波の大きさの情報、ならびに前記障害物センサで検知した障害物の距離および位置の情報であることを特徴としている。

この請求項２のように、障害物センサで反射波の大きさの情報を得るとともに障害物の距離および位置の情報を検知し、反射波の大きさの情報、ならびに距離および位置の情報を検知データとする態様としてもよい。

また、マークの新旧の区別が可能となるように個々のマークを変化させて表示させる態様としては、例えば、請求項３および４の態様がある。

これにより、障害物が自車両に接近してきている場合には、自車両側のマークほど大きく表示することによって、障害物が接近しているかのように表現することが可能になり、障害物が自車両から遠ざかっていっている場合には、自車両側のマークほど小さく表示することによって、障害物が遠ざかっているかのように表現することが可能になる。

また、請求項３の車両用周辺監視装置では、より古い前記マークほど透過率が高くなるように個々の前記マークの透過率を変化させて表示させることによって前記マークの新旧の区別を可能とすることを特徴としている。

これにより、障害物が自車両に接近してきている場合には、自車両側のマークほど透過率を低く表示することによって、障害物が接近しているかのように表現することが可能になり、障害物が自車両から遠ざかっていっている場合には、自車両側のマークほど透過率を高く表示することによって、障害物が遠ざかっているかのように表現することが可能になる。

また、請求項４の車両用周辺監視装置では、個々の前記マークの色相、彩度、および明度のうちの少なくともいずれかを変化させて表示させることによって前記マークの新旧の区別を可能とすることを特徴としている。

これによれば、障害物が自車両に接近してきている場合には、例えば自車両側のマークほど色相を危険色にしたり、彩度を上げたり、明度を高くしたりして表示することによって、障害物が接近しているかのように表現することが可能になる。一方、障害物が自車両から遠ざかっていっている場合には、例えば自車両側のマークほど色相を安全色にしたり、彩度を下げたり、明度を低くしたりして表示することによって、障害物が遠ざかっているかのように表現することが可能になる。

また、請求項５の車両用周辺監視装置では、前記障害物センサは、それぞれ検知エリアが異なる複数個の距離センサであるとともに、前記表示制御部は、前記距離センサの指向性の中心の軸を、前記マークを表示させる領域である検知エリア軸として、検知エリア軸上の、前記距離センサで検知した障害物の距離に従った箇所に前記マークを表示させるとともに、前記複数個の距離センサのうちのいずれの距離センサで障害物を検知したかに応じて、前記マークを表示させる検知エリア軸を決定することを特徴としている。

これによれば、複数個の距離センサのうちのいずれの距離センサで障害物を検知したかに応じて、この複数個の距離センサにそれぞれ対応する複数の検知エリア軸の少なくともいずれかの軸上の、距離センサで検知した障害物の距離に従った箇所に障害物を示すマークを表示させることになる。また、検知エリア軸は、距離センサの設置場所および設置方向に従って固定されるものであるので、撮像部の設置場所および撮像方向が固定されている場合には、撮像画像中での位置が予め決まる。以上の構成によれば、撮像画像中での障害物を示すマークを表示させる場所を予め一部の領域に限定しながら、このマークによって撮像画像中での障害物を示すことが可能になる。その結果、撮像画像中での障害物の位置を正確に求めて撮像画像中のこの位置に相当する箇所にマークを重畳して表示させる処理に比べ、より単純な演算によって撮像画像中に障害物を示すマークを重畳させることが可能になる。

また、請求項６の車両用周辺監視装置では、前記表示制御部は、さらに、前記距離センサの各検知エリアの重なりの中心の軸も前記検知エリア軸として、検知エリア軸上の、前記距離センサで検知した障害物の距離に従った箇所に前記マークを表示させるとともに、前記複数個の距離センサのうちのいずれの距離センサで障害物を検知したかに応じて、前記マークを表示させる検知エリア軸を決定することを特徴としている。

これによれば、複数の距離センサの各検知エリアの重なりの中心の軸も検知エリア軸として用いて障害物を示すマークを表示させることが可能となるので、この検知エリア軸上の箇所に表示されるマークによって、より正確に障害物の位置を示すことが可能になる。

以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された車両用周辺監視装置１００の全体構成を示したブロック図である。図１に示す車両用周辺監視装置１００は、車両に搭載されるものであり、障害物センサ１、カメラ２、ディスプレイ３、制御装置４、および記憶装置５を備え、ＣＡＮ（Controller Area Network）などの通信プロトコルに準拠した車内ＬＡＮで各々接続されている。なお、車両用周辺監視装置１００を搭載している車両を以降では自車両と呼ぶ。

障害物センサ１は、車両後部周辺の障害物を検知するものである。障害物センサ１は、例えば車両後部のリヤバンパーに複数設置され、車両後部周辺の障害物を検知する。

なお、本実施形態では、障害物センサ１として超音波センサを用いるものとする。以降では、図２中のＳ１〜Ｓ４に示すように、超音波センサＳ１〜Ｓ４が車両後部のリヤバンパーに４つ設置される場合を例として説明を行う。超音波センサＳ１〜Ｓ４は、超音波を送波し、その反射波を受信することで障害物との距離を検知するために用いられる距離センサである。また、超音波センサＵＳ１〜ＵＳ４は、発信した超音波の交流パルス信号（以下、発信パルス信号と呼ぶ）の情報と受信した反射波の交流パルス信号（以下、受信パルス信号と呼ぶ）の情報とを制御装置４に出力する。超音波センサＵＳ１〜ＵＳ４は、例えば一定時間の間隔を空けて順番に超音波を送波する。例えば５０ｍｓｅｃの間隔を空けて超音波センサＵＳ１、超音波センサＵＳ２、超音波センサＵＳ３、超音波センサＵＳ４の順に超音波を送波する。これにより、どの超音波センサから送波された超音波の反射波を受信したのかを区別することができる。また、超音波センサＵＳ１、超音波センサＵＳ２、超音波センサＵＳ３、超音波センサＵＳ４からの超音波の送波のタイミングは制御装置４によって制御されるものとする。なお、以降では、超音波センサＵＳ１、超音波センサＵＳ２、超音波センサＵＳ３、超音波センサＵＳ４の順に超音波の送波が行われて再度超音波センサＵＳ１に戻って一巡することを１セットとする。

カメラ２は車両後部に設置され、車両後部周辺の状況を撮像するものである。よって、カメラ２は請求項の撮像部として機能する。また、カメラ２は、撮像によって得られた車両後部周辺の画像データを制御装置４に出力する。なお、カメラ２は、例えば撮像範囲に超音波センサＵＳ１〜ＵＳ４の各検知エリアが包含されるように設置される。

ディスプレイ３は、カメラ２で撮像された画像に基づく画像を表示するものである。よって、ディスプレイ３は、請求項の表示部として機能する。また、ディスプレイ３は、後述する重畳画像も表示するものである。なお、ディスプレイ３として、カーナビゲーション装置のディスプレイを利用する構成であってもよい。

制御装置４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、バックアップＲＡＭ等（いずれも図示せず）よりなるマイクロコンピュータを主体として構成され、ＲＯＭに記憶された各種の制御プログラムを実行することで各種の処理を実行するものである。制御装置４は、超音波センサＵＳ１〜ＵＳ４から出力された発信パルス信号の情報と受信パルス信号の情報とに基づいて、障害物までの距離を求めるとともに障害物の位置を決定する。障害物までの距離については、発信パルス信号の情報と受信パルス信号の情報とをもとに、超音波を送波してから反射波を受信するまでにかかった時間を算出することによって求める。また、障害物の位置については、発信パルス信号の情報と受信パルス信号の情報とをもとに、超音波センサから送波した超音波の反射波をどの超音波センサで受信したかに従って決定する。なお、障害物の位置については、仮想的な複数の検知エリア軸のうちのいずれかの検知エリア軸を選択することによって決定する。よって、検知エリア軸の情報が障害物の位置の情報に相当する。

ここで、検知エリア軸と障害物の位置の決定の処理とについて説明を行う。まず、検知エリア軸は、撮像画像中での障害物の大まかな存在位置を示すために仮想的に設けられる軸であって、本実施形態では、超音波センサの指向性の中心の軸および検知エリアが異なる複数の超音波センサの各指向性の重なりの中心の軸を検知エリア軸として用いる。なお、ここで言うところの中心とは、水平方向および垂直方向のいずれについても中心であることを示している。

詳しく述べると、図２に示すように、超音波センサＵＳ１のセンサ検知エリアＳＡ１の中心の軸を検知エリア軸Ａ１、超音波センサＵＳ２のセンサ検知エリアＳＡ２の中心の軸を検知エリア軸Ａ２、超音波センサＵＳ３のセンサ検知エリアＳＡ３の中心の軸を検知エリア軸Ａ３、そして、超音波センサＵＳ４のセンサ検知エリアＳＡ４の中心の軸を検知エリア軸Ａ４としている。また、図２に示すように、超音波センサＵＳ１のセンサ検知エリアＳＡ１と超音波センサＵＳ２のセンサ検知エリアＳＡ２との重なりである隣接センサ検知エリアＳＣＡ１の中心の軸を検知エリア軸ＣＡ１、超音波センサＵＳ２のセンサ検知エリアＳＡ２と超音波センサＵＳ３のセンサ検知エリアＳＡ３との重なりである隣接センサ検知エリアＳＣＡ２の中心の軸を検知エリア軸ＣＡ２、そして、超音波センサＵＳ３のセンサ検知エリアＳＡ３と超音波センサＵＳ４のセンサ検知エリアＳＡ４との重なりである隣接センサ検知エリアＳＣＡ３の中心の軸を検知エリア軸ＣＡ３としている。なお、センサ検知エリアＳＡ１〜ＳＡ４は、それぞれ超音波センサＵＳ１〜ＵＳ４の指向性に相当している。

また、障害物の位置の決定については、超音波センサＵＳ１から送波した超音波の反射波を超音波センサＵＳ１で受信し、且つ、この反射波の大きさが所定の閾値以上であった場合に、検知エリア軸Ａ１を選択する。また、超音波センサＵＳ１から送波した超音波の反射波を超音波センサＵＳ２で受信し、且つ、この反射波の大きさが所定の閾値以上であった場合に、検知エリア軸ＣＡ１を選択する。また、超音波センサＵＳ２から送波した超音波の反射波を超音波センサＵＳ１で受信し、且つ、この反射波の大きさが所定の閾値以上であった場合に、検知エリア軸ＣＡ１を選択する。さらに、超音波センサＵＳ２から送波した超音波の反射波を超音波センサＵＳ２で受信し、且つ、この反射波の大きさが所定の閾値以上であった場合に、検知エリア軸Ａ２を選択する。また、超音波センサＵＳ２から送波した超音波の反射波を超音波センサＵＳ３で受信し、且つ、この反射波の大きさが所定の閾値以上であった場合に、検知エリア軸ＣＡ２を選択する。また、超音波センサＵＳ３から送波した超音波の反射波を超音波センサＵＳ２で受信し、且つ、この反射波の大きさが所定の閾値以上であった場合に、検知エリア軸ＣＡ２を選択する。さらに、超音波センサＵＳ３から送波した超音波の反射波を超音波センサＵＳ３で受信し、且つ、この反射波の大きさが所定の閾値以上であった場合に、検知エリア軸Ａ３を選択する。また、超音波センサＵＳ３から送波した超音波の反射波を超音波センサＵＳ４で受信し、且つ、この反射波の大きさが所定の閾値以上であった場合に、検知エリア軸ＣＡ３を選択する。また、超音波センサＵＳ４から送波した超音波の反射波を超音波センサＵＳ３で受信し、且つ、この反射波の大きさが所定の閾値以上であった場合に、検知エリア軸ＣＡ３を選択する。そして、超音波センサＵＳ４から送波した超音波の反射波を超音波センサＵＳ４で受信し、且つ、この反射波の大きさが所定の閾値以上であった場合に、検知エリア軸Ａ４を選択する。

なお、反射波の大きさとは、受信パルス信号のピークの高さとする構成であってもよいし、受信パルス信号のピークの所定の高さにおける幅とする構成であってもよい。以降では、反射波の大きさとして受信パルス信号のピークの高さを用いる場合を例に挙げて説明を行うものとする。また、ここで言うところの所定の閾値とは、受信パルス信号のピークが障害物由来のものであるかを判定するための閾値であって、上述のそれぞれの場合に応じて任意に設定可能なものである。例えば、同一超音波センサにて超音波の送波と反射波の受信とを行った場合には、その超音波センサのセンサ検知エリアの中心の軸付近の障害物を検知可能であって、その超音波センサと隣接している超音波センサとの隣接センサ検知エリアの中心の軸付近の障害物を検知しない程度の値に設定されるものとしてもよく。また、互いに隣り合わせに並んでいる超音波センサの一方で超音波の送波を行い、他方で反射波の受信を行った場合には、それらの超音波センサの隣接センサ検知エリアの中心の軸付近の障害物を検知可能であって、それらの超音波センサのセンサ検知エリアの中心の軸付近の障害物を検知しない程度の値に設定されるものとしてもよい。

また、制御装置４は、障害物を検知した超音波センサで得られた反射波の大きさをもとに障害物の大きさを決定する。なお、障害物を検知してその障害物までの距離を求めるとともにその障害物の大きさを決定する処理（以下、障害物検知処理と呼ぶ）については、同一超音波センサにて超音波の送波と反射波の受信とを行う組み合わせ、および互いに隣り合わせに並んでいる超音波センサの一方で超音波の送波を行い、他方で反射波の受信を行う組み合わせごとに行われるものとする。ここで、図３を用いて、制御装置４での障害物検知処理のフローについての説明を行う。図３は、制御装置４での障害物検知処理のフローを示すフローチャートである。なお、本フローは、例えばシフトレバーが後退位置（Ｒ）に入ったことをシフトポジションセンサ（図示せず）で検出したときに開始される。

まず、ステップＳ１では、初期化を行ってステップＳ２に移る。ステップＳ２では、超音波センサから超音波を送波してステップＳ３に移る。なお、超音波センサから超音波を送波するタイミングは、超音波センサＵＳ１〜ＵＳ４のそれぞれでの超音波の送波がかぶらないように一定時間ずつずらすものとする。

ステップＳ３では、超音波センサから送波された超音波の反射波を受信し、ステップＳ４に移る。なお、この受信は、超音波を送波した超音波センサと同一の超音波センサで行われる場合と、超音波を送波した超音波センサと隣り合わせに並んでいる超音波センサで行われる場合とがある。例えば、超音波センサＵＳ１から超音波を送波した場合には、超音波センサＵＳ１で受信する場合と超音波センサＵＳ２で受信する場合とのフローが存在する。

ステップＳ４では、閾値の設定および判定カウンタの上限値（以下、判定カウンタ上限値と呼ぶ）の設定を行って、ステップＳ５に移る。ここで言うところの閾値とは、前述した所定の閾値を示す。よって、ステップＳ４では、同一超音波センサにて超音波の送波と反射波の受信とを行った場合、および異なる超音波センサにて超音波の送波と反射波の受信とを行った場合のそれぞれに応じた閾値が設定される。なお、超音波センサＵＳ１〜ＵＳ４のそれぞれに応じて異なる閾値が設定される構成であってもよい。また、判定カウンタとは、超音波の送波、反射波の受信、および後述の閾値との比較といった一連の処理を繰り返した回数を示すものであって、判定カウンタ上限値とは、受信パルス信号のピークがノイズ由来のものでなく障害物由来のものであることを確定させるために上述の一連の処理を繰り返すことが必要な回数を示す。判定カウンタ上限値は、例えば３とする。

ステップＳ５では、ステップＳ３で受信した反射波をもとに受信パルス信号のピークの高さ（以下、受信レベルと呼ぶ）を演算し、ステップＳ６に移る。なお、反射波の大きさを受信パルス信号のピークの所定の高さにおける幅とする場合には、ステップＳ５では、ステップＳ３で受信した反射波をもとに受信パルス信号のピークの所定の高さにおける幅を演算することになる。なお、ステップＳ５のフローをステップＳ４のフローの前に行う構成であってもよい。

ステップＳ６では、受信パルス信号のピークの高さが閾値以上か否かの判定を行う。そして、閾値以上と判定した場合（ステップＳ６でＹｅｓ）には、ステップＳ８に移る。また、閾値以上と判定しなかった場合（ステップＳ６でＮｏ）には、ステップＳ７に移る。

ステップＳ７では、設定した判定カウンタ上限値をクリアするとともに障害物までの距離のデータ（以下、距離データと呼ぶ）として空（データなし）を記憶装置５に格納する。また、後述するように判定カウンタの値の加算が行われていた場合には、この値もクリアする。そして、ステップＳ２に戻ってフローを繰り返す。

ステップＳ８では、発信パルス信号の情報と受信パルス信号の情報とに基づいて、障害物までの距離を演算して求め、ステップＳ９に移る。ステップＳ９では、判定カウンタの値を１つ加算し、ステップＳ１０に移る。

ステップＳ１０では、判定カウンタの値が判定カウンタ上限値に達したか否かの判定を行う。そして、判定カウンタ上限値に達したと判定した場合（ステップＳ１０でＹｅｓ）には、障害物を検知したものと確定してステップＳ１２に移る。また、判定カウンタ上限値に達したと判定しなかった場合（ステップＳ１０でＮｏ）には、ステップＳ１１に移る。ステップＳ１１では、超音波の送波と反射波の受信とを再度行い、ステップＳ５に戻ってフローを繰り返す。

ステップＳ１２では、求めた障害物までの距離データおよびその障害物についての受信レベルのデータ（以下、受信レベルデータと呼ぶ）を記憶装置５に格納し、ステップＳ２に戻ってフローを繰り返す。なお、距離データおよび受信レベルデータは、前述したようにして選択された検知エリア軸ごとに記憶装置５に格納されるものとする。一例としては、超音波センサＵＳ１から送波した超音波の反射波を超音波センサＵＳ１で受信した場合のフローでは、距離データおよび受信レベルデータは検知エリア軸Ａ１を示す情報と対応付けて記憶装置５に格納される。また、超音波センサＵＳ１から送波した超音波の反射波を超音波センサＵＳ２で受信した場合のフローでは、距離データおよび受信レベルデータは検知エリア軸ＣＡ１を示す情報と対応付けて記憶装置５に格納される。つまり、超音波センサで一旦障害物を検知した場合に、当該障害物の距離データ、受信レベルデータ、および検知エリア軸の情報を経時的に取得し、記憶装置５に格納することになる。よって、制御装置４は、請求項の検知データ取得部としても機能する。

記憶装置５へのデータの格納については、例えば前述の１セットごとに繰り返して行われるものとし、この１セットの間に障害物の検知が行われている場合には、前述したように距離データ、受信レベルデータ、および検知エリア軸の情報が格納され、この１セットの間に障害物の検知が行われていない場合には、例えばデータが存在しないことを示す情報が格納される。

なお、本実施形態では、ステップＳ４の閾値の設定および判定カウンタの上限値の設定をステップＳ３の反射波の受信の後に行う構成を示したが、必ずしもこれに限らない。例えば、反射波の受信の前に閾値の設定および判定カウンタの上限値の設定を行う構成であってもよく、ステップＳ１の初期化時に閾値の設定および判定カウンタの上限値の設定も同時に行う構成であってもよい。また、閾値の設定および判定カウンタの上限値の設定については、ノイズを監視し、ノイズの状況に応じて設定する構成としてもよい。

なお、本フローは、シフトレバーが後退位置（Ｒ）以外の位置に入ったことをシフトポジションセンサで検出したときに終了する。

図１に戻って、記憶装置５は、電気的に記憶データの書き換えが可能なメモリであって、制御装置４で経時的に取得した検知データ（つまり、前述の障害物の距離データ、受信レベルデータ、および検知エリア軸の情報）を累積して記憶する。よって、記憶装置５は、請求項の累積記憶部として機能する。また、記憶装置５は、検知エリア軸別にそれぞれ過去数回分の検知データを記憶しているものとし、新しい検知データが記憶されるごとに古い検知データから消去されるものとする。

また、制御装置４は、障害物を検知したものと確定した場合に、重畳表示処理を行う。ここで、図４を用いて、制御装置４での重畳表示処理のフローについての説明を行う。図４は、制御装置４での重畳表示処理のフローを示すフローチャートである。なお、本フローも、例えばシフトレバーが後退位置（Ｒ）に入ったことをシフトポジションセンサで検出したときに開始される。

まず、ステップＳ２１では、カメラ２から現時点での撮像画像のデータを取得し、ステップＳ２２に移る。ステップＳ２２では、記憶装置５から過去数回分の情報を読み出し、ステップＳ２３に移る。なお、本実施形態では、例として過去５回分の情報を読み出すものとする。具体的には、検知エリア軸Ａ１〜Ａ４および検知エリア軸ＣＡ１〜ＣＡ３の７つの軸ごとの過去５回分の情報を読み出す。

ステップＳ２３では、読み出した過去５回分の情報をもとに、自車両に対する障害物の相対的な移動状況（以下、障害物状況と呼ぶ）を判断し、ステップＳ２４に移る。詳しくは、記憶装置５に格納されている最新の情報が障害物の距離データ、受信レベルデータ、および検知エリア軸の情報であった場合に、読み出した新旧の距離データをもとに、障害物が自車両に対して接近してきているのか、遠ざかっているのか、停止しているのかを判断する。また、記憶装置５に格納されている過去５回分の距離データが存在しないことを示す情報であった場合には、障害物状況の判断は行わない。

ステップＳ２４では、表示マーク決定処理を行ってステップＳ２５に移る。表示マーク決定処理では、読み出した過去５回分の情報と障害物状況とをもとに、検知エリア軸Ａ１〜Ａ４および検知エリア軸ＣＡ１〜ＣＡ３の７つの軸について、撮像画像中に重畳して表示させるマーク（以下、表示マークと呼ぶ）を決定する。表示マークの決定としては、読み出した検知エリア軸の情報をもとに、表示マークを表示させる検知エリア軸を選択する。また、過去５回分の距離データをもとに、選択された検知エリア軸上の当該距離データに従った箇所に表示マークを表示させることを決定する。さらに、障害物状況をもとに、例えば障害物が自車両に対して接近してきているときには表示マークを危険色（赤色など）で表示させることを決定し、障害物が自車両に対して遠ざかっているときには表示マークを安全色（青色など）で表示させることを決定し、障害物が自車両に対して停止しているときには表示マークを中間色（黄色など）で表示させることを決定する。

また、表示マーク決定処理では、受信レベルデータをもとに、受信レベルが大きいほど大きさが大きくなるように表示マークの大きさを決定する。なお、受信レベルの大きさと表示マークの表示の大きさとを予め対応付けたテーブルを参照するなどすることによって、受信レベルの大きさに応じた表示マークの大きさを決定する構成とすればよい。また、表示マークの大きさとしては、最大でも、異なる検知エリア軸上の表示マーク同士が重ならない程度の大きさとすればよい。

さらに、表示マーク決定処理では、最新の検知データに基づく表示マークの大きさは、前述したように受信レベルの大きさに応じた大きさに決定する一方、より古い検知データに基づく表示マーク（つまり、より古い表示マーク）については、より古い検知データに基づく表示マークほど最新の検知データに基づく表示マークの大きさよりも小さくなるように新旧の表示マークの大きさを決定する。また、表示マーク決定処理では、より古い検知データに基づく表示マークほど透過率が高くなるように新旧の表示マークの透過率を決定する。

なお、検知エリア軸Ａ１〜Ａ４および検知エリア軸ＣＡ１〜ＣＡ３の７つの軸ごとに読み出される最新の情報が、検知データが存在しないことを示す情報であった場合には、その検知エリア軸については表示マークを表示させないことになる。

ステップＳ２５では、ステップＳ２４で決定した表示マークを撮像画像に重畳した重畳画像を作成し、この重畳画像のデータをディスプレイ３に出力し、ステップＳ２１に戻ってフローを繰り返す。また、撮像画像中にマークを重畳して表示させる方法自体は周知の方法を用いればよい。なお、ディスプレイ３では、この重畳画像のデータに従った重畳画像が表示される。

以上のように、制御装置４は、記憶装置５に記憶されている新旧の複数の検知データをもとに、この新旧の複数の検知データに対応する新旧の複数の表示マークを撮像画像に重畳して表示させるとともに、表示マークの新旧の区別が可能となるように個々の表示マークを変化させて表示させる。よって、制御装置４は、請求項の表示制御部としても機能する。

続いて、図５〜図７（ｃ）を用いて、ディスプレイ３での重畳画像の表示についての説明を行う。図５は、撮像画像中での検知エリア軸を仮想的に示した図である。また、図６（ａ）〜図７（ｃ）は、撮像画像中に表示マークを重畳した重畳画像の一例を示した図である。なお、本実施形態では、表示マークは楕円形であるものとする。

撮像画像中での表示マークを表示させる箇所は、図５に示すように、検知エリア軸Ａ１〜Ａ４および検知エリア軸ＣＡ１〜ＣＡ３に相当する箇所である。また、検知エリア軸Ａ１〜Ａ４および検知エリア軸ＣＡ１〜ＣＡ３に相当する図５中の７つの線は、撮像画像中での検知エリア軸を仮想的に示したものであって、重畳画像では表示されないものとする。なお、重畳画像中で検知エリア軸も表示させる構成としても構わない。

例えば、障害物の大きさが１本の検知エリア軸に対応する程度に小さい場合には、図６（ａ）に示すように、１本の検知エリア軸の軸上に該当する箇所にのみ表示マークを表示させることになる。また、障害物の大きさが自車両の左右方向に幅広くまたがる（つまり、数本の検知エリア軸に対応する）程度に大きい場合には、図６（ｂ）に示すように、数本の検知エリア軸の軸上に該当する箇所に表示マークを表示させることになる。なお、図６（ａ）および図６（ｂ）は、自車両に障害物が接近してきている場合の例であるので、自車両側の表示マークほど大きく表示するとともに透過率を低く表示することになる。また、自車両の左右方向に障害物が移動している場合には、図６（ｃ）に示すように、障害物が向かっている方向の表示マークほど大きく表示するとともに透過率を低く表示することになる。なお、重畳画像は、図６（ａ）および図６（ｂ）に示すような撮像画像と同様の視点の画像であってもよいし、鉛直方向から地上面を見下ろした視点の画像に撮像画像を変換することによって、図６（ｃ）に示すような鳥瞰画像としてもよい。

さらに、壁のように自車両の左右方向に幅広くまたがる障害物を検知した場合には、図７（ａ）〜図７（ｃ）に示すように、複数の検知エリア軸分の表示マークが表示されることになる。なお、図７（ａ）は、自車両が壁に接近していっている場合の重畳画像の表示例であり、図７（ｂ）は、自車両が壁に対して停止している場合の重畳画像の表示例であり、図７（ｃ）は、自車両が壁から遠ざかっていっている場合の重畳画像の表示例である。また、図７（ａ）〜図７（ｃ）に示す重畳画像は鳥瞰画像である。

電磁波や音波といった波が障害物に反射されて戻ってくることによって得られる反射波の大きさは、障害物の大きさと距離とにほぼ比例する。以上の構成によれば、障害物センサで得られる反射波の大きさをもとに得られた受信レベルの大きさに応じてマークを大きく表示させるので、撮像画像中での障害物の大きさに比例した大きさで表示マークを表示することになる。よって、以上の構成によれば、車両周辺に存在する障害物を検知して表示させる場合に、障害物の大きさの識別をユーザがより容易に行うことが可能になる。

また、以上の構成によれば、障害物センサ１（つまり、超音波センサＵＳ１〜ＵＳ４）で検知した障害物について、この障害物を示す新旧の複数の表示マークを新旧の区別が可能となるように個々の大きさおよび透過率を変化させ、カメラ２の撮像画像に重畳してディスプレイ３に表示させるので、障害物の経時的な移動にともなって大きさおよび透過率が変化する表示マークが撮像画像に重畳して表示される。具体的には、障害物が自車両に接近してきている場合には、自車両側の表示マークほど大きく表示することによって、障害物が接近しているかのように表現することが可能になり、障害物が自車両から遠ざかっていっている場合には、自車両側の表示マークほど小さく表示することによって、障害物が遠ざかっているかのように表現することが可能になる。また、障害物が自車両に接近してきている場合には、自車両側の表示マークほど透過率を低く表示することによって、障害物が接近しているかのように表現することが可能になり、障害物が自車両から遠ざかっていっている場合には、自車両側の表示マークほど透過率を高く表示することによって、障害物が遠ざかっているかのように表現することが可能になる。よって、これらの表示マークの変化によって、障害物の移動方向を表現することが可能になる。従って、以上の構成によれば、自車両周辺に存在する障害物を検知して表示させる場合に、自車両に対する障害物の移動方向の区別をユーザがより容易に行うことが可能になる。

さらに、以上の構成によれば、超音波センサＵＳ１〜ＵＳ４のうちのいずれの超音波センサから送波した超音波の反射波をいずれの超音波センサで受信したかに応じて、それぞれ対応する検知エリア軸Ａ１〜Ａ４および検知エリア軸ＣＡ１〜ＣＡ３の７つの軸の少なくともいずれかの軸上の、超音波センサで検知した障害物の距離に従った箇所に表示マークを表示させることになる。なお、検知エリア軸Ａ１〜Ａ４および検知エリア軸ＣＡ１〜ＣＡ３は、超音波センサＵＳ１〜ＵＳ４の設置場所および設置方向に従って固定されるものであるので、カメラ２の設置場所および撮像方向が固定されている場合には、撮像画像中での位置が予め決まる。よって、以上の構成によれば、撮像画像中での表示マークを表示させる場所を予め一部の領域（つまり、検知エリア軸Ａ１〜Ａ４および検知エリア軸ＣＡ１〜ＣＡ３の７つの軸上）に限定しながら、この表示マークによって撮像画像中での障害物を示すことが可能になる。なお、車載のディスプレイとしては、６．５〜８インチ程度の小型のものが主流あるので、表示マークの表示位置を検知エリア軸上に限った場合であっても、ユーザにとって実際には、対象となる障害物から表示マークが大きく離れて見えることがない。その結果、撮像画像中での障害物の位置を正確に求めて撮像画像中のこの位置に相当する箇所に表示マークを重畳して表示させる処理に比べ、より単純な演算によって撮像画像中に障害物の位置を表す表示マークを重畳させて表示することが可能になる。

なお、本実施形態では、より古い表示マークほど大きさが小さくなるように個々の表示マークの大きさを決定するとともに、より古い表示マークほど透過率が高くなるように個々の表示マークの透過率を決定することによって障害物の移動方向を表現可能とする構成を示したが、必ずしもこれに限らない。例えば、表示マークの大きさの変化のみで障害物の移動方向を表現する構成としてもよいし、表示マークの透過率の変化のみで障害物の移動方向を表現する構成としてもよい。

また、表示マークの色（詳しくは、色相、彩度、および明度のうちの少なくともいずれか）を変化させることによって障害物の移動方向を表現する構成としてもよい。具体例としては、自車両側のマークほど色相を危険色にしたり、彩度を上げたり、明度を高くしたりして表示することによって、障害物が接近しているかのように表現し、障害物が自車両から遠ざかっていっている場合には、自車両側のマークほど色相を安全色にしたり、彩度を下げたり、明度を低くしたりして表示する構成とすればよい。また、大きさの変化、透過率の変化、色の変化を組み合わせて障害物の移動方向を表現する構成としてもよい。

さらに、本実施形態では、制御装置４で判断した障害物状況をもとに、自車両に対する障害物の相対的な移動状況に応じて表示マークの色相を使い分ける構成を示したが、必ずしもこれに限らない。例えば、制御装置４で障害物状況を判断せず、自車両に対する障害物の相対的な移動状況に応じて表示マークの色相を使い分けない構成としてもよい。

なお、本実施形態では、表示マークの形状を楕円形とする構成を示したが、必ずしもこれに限らない。例えば、円形、矩形、星形、多角形等の他の形状とする構成であってもよい。

また、本実施形態では、障害物センサ１として超音波センサを４つ設置する構成を示したが、必ずしもこれに限らない。例えば、４つよりも少ない数の超音波センサを設置する構成であってもよいし、４つよりも多い数の超音波センサを設置する構成であってもよい。なお、超音波センサの設置数の増減に応じて検知エリア軸の数も増減することになる。

さらに、本実施形態では、障害物センサ１を車両後部に設置して自車両の後部周辺に存在する障害物を検知するとともに、カメラ２で車両後部周辺の状況を撮像して車両後部の重畳画像を表示させる構成を示したが、必ずしもこれに限らない。例えば、障害物センサ１を車両前部に設置して自車両の前部周辺に存在する障害物を検知するとともに、カメラ２で車両前部周辺の状況を撮像して車両前部の重畳画像を表示させる構成であってもよいし、障害物センサ１を車両側部に設置して自車両の側部周辺に存在する障害物を検知するとともに、カメラ２で車両側部周辺の状況を撮像して車両側部の重畳画像を表示させる構成であってもよい。また、これらを組み合わせた構成であってもよい。なお、車両前部や車両側部の重畳画像を表示させる場合にも、車両後部の重畳画像を表示させるのと同様にして行えばよい。

なお、本実施形態では、受信レベルの大きさに応じた大きさの表示マークによって障害物の大きさを表現するとともに、表示マークの大きさの変化、透過率の変化、色の変化などによって障害物の移動方向を表現する構成を示したが、必ずしもこれに限らない。例えば、表示マークの大きさの変化、透過率の変化、色の変化などによって障害物の移動方向を表現する構成を省き、受信レベルの大きさに応じた大きさの表示マークによって障害物の大きさを表現する構成のみとしてもよい。

また、本実施形態では、障害物センサ１として超音波ソナーを用いているが、必ずしもこれに限らない。例えば、障害物センサ１としてミリ波レーダーやレーザーレーダーを適用する構成であってもよいし、画像認識技術を用いて障害物を認識する装置を障害物センサ１に適用する構成であってもよい。

なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

車両用周辺監視装置１００の概略的な構成を示すブロック図である。障害物センサ１の設置例とカメラ２の撮像範囲の一例を示す図である。制御装置４での障害物検知処理のフローを示すフローチャートである。制御装置４での重畳表示処理のフローを示すフローチャートである。撮像画像中での検知エリア軸を仮想的に示した図である。（ａ）〜（ｃ）は、撮像画像中に表示マークを重畳した重畳画像の一例を示した図である。（ａ）〜（ｃ）は、撮像画像中に表示マークを重畳した重畳画像の一例を示した図である。

符号の説明

１障害物センサ（距離センサ）、２カメラ（撮像部）、３ディスプレイ（表示部）、４制御装置（検知データ取得部、表示制御部）、５記憶装置（累積記憶部）、１００車両用周辺監視装置

Claims

車両の周辺を撮像する撮像部と、
前記車両の周辺の障害物を、電磁波および音波のうちのいずれかの波の反射によって得られる反射波を利用して検知する障害物センサと、
前記撮像部によって撮像された画像を表示させる表示部と、を備え、
前記障害物センサで障害物を検知した場合に、当該障害物を示すマークを前記画像に重畳して表示させる車両用周辺監視装置であって、
前記障害物センサで一旦障害物を検知した場合に、当該障害物の検知データを経時的に取得する検知データ取得部と、
前記検知データ取得部で経時的に取得した前記検知データを累積して記憶する累積記憶部と、
前記累積記憶部に記憶されている新旧の複数の前記検知データをもとに、この新旧の複数の前記検知データに対応する新旧の複数の前記マークを前記画像に重畳して表示させるとともに、前記マークの新旧の区別が可能となるように個々の前記マークを変化させて表示させながら、且つ、当該障害物を検知した障害物センサで得られた反射波の大きさに応じた大きさで前記マークを表示させる表示制御部を備えていることを特徴とする車両用周辺監視装置。
前記検知データは、前記障害物センサで検知した障害物から得られた反射波の大きさの情報、ならびに前記障害物センサで検知した障害物の距離および位置の情報であることを特徴とする請求項１に記載の車両用周辺監視装置。
より古い前記マークほど透過率が高くなるように個々の前記マークの透過率を変化させて表示させることによって前記マークの新旧の区別を可能とすることを特徴とする請求項１または２に記載の車両用周辺監視装置。
個々の前記マークの色相、彩度、および明度のうちの少なくともいずれかを変化させて表示させることによって前記マークの新旧の区別を可能とすることを特徴とする請求項１〜３のいずれか１項に記載の車両用周辺監視装置。
前記障害物センサは、それぞれ検知エリアが異なる複数個の距離センサであるとともに、
前記表示制御部は、前記距離センサの指向性の中心の軸を、前記マークを表示させる領域である検知エリア軸として、検知エリア軸上の、前記距離センサで検知した障害物の距離に従った箇所に前記マークを表示させるとともに、
前記複数個の距離センサのうちのいずれの距離センサで障害物を検知したかに応じて、前記マークを表示させる検知エリア軸を決定することを特徴とする請求項２〜４のいずれか１項に記載の車両用周辺監視装置。
前記表示制御部は、さらに、前記距離センサの各検知エリアの重なりの中心の軸も前記検知エリア軸として、検知エリア軸上の、前記距離センサで検知した障害物の距離に従った箇所に前記マークを表示させるとともに、
前記複数個の距離センサのうちのいずれの距離センサで障害物を検知したかに応じて、前記マークを表示させる検知エリア軸を決定することを特徴とする請求項５に記載の車両用周辺監視装置。