JP4600999B2

JP4600999B2 - 車両周囲監視装置

Info

Publication number: JP4600999B2
Application number: JP2005373624A
Authority: JP
Inventors: 久之渡辺
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2005-12-26
Filing date: 2005-12-26
Publication date: 2010-12-22
Anticipated expiration: 2025-12-26
Also published as: JP2007180622A

Description

本発明は、車両に搭載した複数のカメラにより車外周辺を撮影し、その撮影画像を処理することにより、車両の上方から車両の周囲をカメラで撮影しているような画像を表示し、例えば運転者が狭い車庫や駐車場に容易に車両を操縦して入れることができる等の、運転者に対して車両の周囲を監視できる情報を提示することができるようにした車両周囲監視装置に関するものである。

車両を狭い車庫や駐車場に入れるとき、運転者は細心の注意を必要とし、時には周囲の物体と自車両をこする等の事故を発生することもある。また、車両を車庫や駐車場から出すときも、周囲の物体や人間には十分注意する必要がある。更に、車庫や駐車場の出入り以外にも、極めて狭い道路の走行時や狭い道路での対向車とのすれ違いにおける周囲の物体との接触や、溝に車輪が落ちないようにする、等の車両の周囲に十分注意を要する場合も多い。

その対策として、近年車両に広く搭載されるようになっている、車両の後方を撮影してモニタに表示して、車庫入れや駐車を容易にする後方撮影用カメラ、車両の前方両側を撮影して車両が見通しの悪い狭い道路から出るときに、先方の道路を走行する車両等を確認する車両側方撮影用カメラ等の、車外撮影カメラを利用し、車両周囲の状況を監視し、充分確認しながら運転することも行われている。

しかしながら、このような車外撮影カメラとして魚眼レンズ等を利用した超広角カメラを用いたとしても、例えば車両を後退させながら車庫入れ等を行うとき、車両後方周囲に障害物があるときには、車両の後退とともに障害物が車両に近接し、後方撮影用カメラの視界外になり、その障害物の状態を知ることができなくなる。その対策として、車両の両側にも超広角カメラを設け、前記のような後方撮影用カメラの視界外部分を側方撮影カメラの撮影画像に切り替えて見ることができるようにすることも考えられる。

しかしながら、上記のような超広角カメラの画像では、撮影画像の中心部と周辺部とでは物体の見え方が大きく異なり、単に撮影画像を見ているだけでは、その物体と車両との位置関係が明確ではなく、予期しない衝突やこすりを生じることがある。特に後方撮影用カメラでの画像から側方撮影用カメラの画像に切り換えたとしても、そのときに画面に表示される障害物等の物体の画像は大きく異なり、実際の物体の状態を把握することは容易ではない。

そのため、車外撮影用カメラで撮影した画像を処理し、あたかも車両の上方に設置したカメラから車両を中心とした周囲を撮影しているような画像を形成してモニタに表示することが提案されている。そのような車外撮影用カメラを複数用いる際には、車両の後方を撮影する後方撮影用カメラ、車両の右側を撮影する車両右側撮影用カメラ、車両の左側を撮影する車両左側撮影用カメラ、車両の前側を撮影する車両前方撮影用カメラの合計４個のカメラを搭載して、これらのカメラの全ての画像を合成し、あたかも車両の真上に設けたカメラにより車両の全周囲を撮影しているようにモニタに表示することも提案されている。

一方、車両走行時の安全運転を補助するため、車両のコーナー部分から電波や光を車外に発射して反射波をとらえ、車両に近接する物体が存在することを検出するコーナーセンサーが用いられている。このコーナーセンサーによれば、センサーから発射した電波や光の反射を検出することにより、実際に車両の走行に障害になる物体を検出することができ、前記のような車外撮影カメラによって障害物を撮影しそれを目視するよりも確実に検出することができる特徴を備えている。

なお、車両に搭載した後方を撮影するカメラによる撮影画像を用い、車両上方から見た平面画像で表示するに際して、撮影画像を一時的に記憶し、車両の移動に合わせてそのデータを用いることにより、現在の視野外の画像も表示するようにした技術は特許文献１に開示されている。
特開２００３−１９１８１０号公報

前記のように、車外を撮影するカメラの画像により、車両の上方から見た平面図のような画像を形成して表示するシステムにおいては、運転者が車外の様子を自車両中心の画像によって見ることができるので、その画像を見ながら車庫入れ等の障害物の多い狭い空間を、安全に運転することができる利点がある。

しかしながら、車外を撮影するカメラを魚眼レンズのような広角レンズを用いて撮影しても、カメラの直下の部分は撮影することができない。即ち、図６（ａ）（ｂ）に示すように、車両５１の周囲を撮影するために、車両の進行方向に対して左側に配置して主として左側下方を撮影する左側部カメラ５２と、右側に配置して主として右側下方を撮影する右側部カメラ５３と、車両の後方に配置して主として後方を撮影する後方カメラ５４と、車両の前方に配置して主として前方を撮影する前方カメラ５５の４個のカメラを搭載しているとき、各カメラにより撮影した画像は同図（ｂ）の撮影画像範囲５０に合成して表示される。ここで、図６（ｂ）の撮影画像範囲５０から明らかなように、車両に近接した範囲である車両近接撮影範囲外部分５６はカメラの撮影範囲外となる。但し、カメラに撮影されていない部分を空白に表示することは画面上見栄えが悪いので、適宜ぼかし処理を行って目立たないようにすることも行われる。

そのため、カメラの撮影画像を見ながらハンドルを操舵しているとき、図６（ａ）のように障害物５７が存在するとき、車両の後退と共にこの障害物が次第に車両に近接してくると、車両近接撮影範囲外部分５６内に入るとき、図６（ｂ）のように撮影画像範囲５０には障害物５７が表示されないこととなる。このとき、運転者は障害物が存在することを記憶して対処した運転を行っていないと、画面中には見えない障害物に衝突することとなる。特に前記のように車両近接撮影範囲外部分にぼかし処理を行っているときには、障害物が無くなったようにも見えてしまい、突然に障害物に衝突することも考えられる。

したがって本発明は、車外を撮影するカメラの画像を処理して車両の上方から見た平面図のように表示する車両周囲監視装置において、カメラによっては撮影することができない車両の近接部分に存在する障害物を確実に利用者に知らせることができ、またカメラで撮影されていない車両近接撮影範囲外部分を明瞭に示すようにした車両周囲監視装置を提供することを主たる目的とする。

本発明に係る車両周囲監視装置は、前記課題を解決するため、車外を撮影するカメラと、車両に近接する障害物を検出するコーナーセンサーと、前記カメラの撮影画像により車両の上方を視点とした画像を形成する車両上方視点画像形成手段と、コーナーセンサーにより障害物を検出した信号を入力するコーナーセンサー障害物検出信号入力手段と、前記車両上方視点画像形成手段による画像における、前記障害物を検出したコーナーセンサー設置位置に対応した部分に、障害物を検出したことを示す表示を行うコーナーセンサー障害物検出表示手段と、前記車両上方視点画像形成手段による画像の車両に近接した撮影範囲外部分における外側に、輪郭線を描く近接撮影範囲外部分輪郭線表示手段とを備え、前記コーナーセンサー障害物検出表示手段は、障害物を検出したコーナーセンサーの障害物検出範囲に対応し、前記近接撮影範囲外部分輪郭線表示手段で描いた車両に近接した撮影範囲外部分を示す輪郭線内の部分に、障害物位置を示す表示を行うことを特徴とする。

車外を撮影するカメラの画像を処理して車両の上方を視点とする画像を表示する車両周囲監視装置において、カメラによっては撮影することができない車両の近接部分に存在する障害物を、コーナーセンサーの障害物検出表示をカメラ撮影画像に重ねて表示することにより、確実に且つ違和感なく利用者に知らせることができ、また車両に近接していてカメラで撮影されていない範囲を明瞭に示すことができる。

本発明は、車外を撮影するカメラの画像を処理して車両の上方から見た平面図のように表示する車両周囲監視装置において、カメラによっては撮影することができない車両の近接部分に存在する障害物を確実に利用者に知らせることができ、またカメラで撮影されていない車両近接撮影範囲外部分を明瞭に示すようにするという目的を、車外を撮影するカメラと、車両に近接する障害物を検出するコーナーセンサーと、前記カメラの撮影画像により車両の上方を視点とした画像を形成する車両上方視点画像形成手段と、コーナーセンサーにより障害物を検出した信号を入力するコーナーセンサー障害物検出信号入力手段と、前記車両上方視点画像形成手段による画像における、前記障害物を検出したコーナーセンサー設置位置に対応した部分に、障害物を検出したことを示す表示を行うコーナーセンサー障害物検出表示手段とを備えることによって実現した。

本発明の実施例を図面に沿って説明する。図１は本発明の実施例の機能ブロック図である。なお、同図における各機能部は、各機能を行う手段ということもできる。図１に示す実施例においては図３（ａ）（ｂ）に示すように、車両１の周囲を撮影するために、車両の進行方向に対して左側のサイドミラーに配置して、主として左側下方を撮影する左側部カメラ２と、右側のサイドミラーに配置して主として右側下方を撮影する右側部カメラ３と、車体の後方に配置して主として後方を撮影する後方カメラ４と、車体の前方に配置して主として前方を撮影する前方カメラ５の４個のカメラを搭載した例を示している。これらのカメラは十分に広角撮影することができるカメラが用いられる。

更にこの車両１には、車両１の各角部に近接する障害物を検出するため、電波或いは光を発射して反射波を検出するコーナーセンサーを備え、図示実施例においては車両右側の前方角部に設けた右前角部コーナーセンサー６、車両左側の前方角部に設けた左前角部コーナーセンサー７、車両右側の後方角部に設けた右後角部コーナーセンサー８、車両左側の後方角部に設けた左後角部コーナーセンサー９とを備えた例を示している。

なお、図１の実施例においては車両の前後左右を撮影する４個のカメラを備え、車両の前後左右の角部の障害物を検出する４個のコーナーセンサーを備えた例を示したが、必ずしも全てを備える必要はなく、これらのうち本発明を実施するために必要な任意のものを選択して用いることができる。

図１に示す車両周囲監視装置においては、車外監視機器信号入力部１０にカメラ画像入力部１１と、コーナーセンサー信号入力部１２とを備え、カメラ画像入力部１１には、車両１に取り付けた各カメラに対応した、左側部カメラ画像入力部１３、右側部カメラ画像入力部１４、後方カメラ画像入力部１５、前方カメラ画像入力部１６とを備えている。また、コーナーセンサー信号入力部１２には、車両１に取り付けた各コーナーセンサーに対応した、左後角部コーナーセンサー信号入力部１７、右後角部コーナーセンサー信号入力部１８、左前角部コーナーセンサー信号入力部１９、右前角部コーナーセンサー信号入力部２０を備えている。

カメラ画像入力部１１に入力した各カメラの画像は、車両上方視点画像形成部２１において、車両１の上方に視点を配置した撮影画像のような画像を形成し、また画像合成する。図３に示す実施例においては、同図（ｃ）に示すように、各カメラで撮影した画像を合成することにより、合成画像３１が得られる。その画像データはコーナーセンサー障害物検出表示部２６において、後述するコーナーセンサーによって障害物を検出したときの表示のためにも用いられる。

図１のコーナーセンサー障害物信号入力部２２においては、コーナーセンサー信号入力部１７〜２０のいずれかで障害物を検出したときにその信号を入力し、コーナーセンサー障害物検出表示部２６に対して、コーナーセンサーを特定して出力する。図３に示す例においては、同図（ｄ）に示すように、右前角部コーナーセンサー６では右前角部コーナーセンサー検出範囲２７に示す部分を障害物検出範囲としており、同様に左前角部コーナーセンサー７では左前角部コーナーセンサー検出範囲２８に示す部分を障害物検出範囲とし、また右後角部コーナーセンサー８では右後角部コーナーセンサー検出範囲２９を障害物検出範囲とし、また左後角部コーナーセンサー９では左後角部コーナーセンサー検出範囲３０を障害物検出範囲としている。このとき、各コーナーセンサーの信号によって自車位置から障害物までの距離が得られる際には、その信号も出力する。

車両上方視点画像形成部２１で合成した画像中において、広角のカメラを用いてもカメラの配置及び設置の関係上、車両に近接した部分は撮影することができないので、その部分はカメラによる撮影範囲外となる。この近接撮影範囲外部分においても、モニタに表示する画面上ではその部分が不自然とならないように、ぼかし画像等を合成することも行われる。そのため利用者にとっては実際にカメラによって撮影されている画像部分と、撮影範囲外となっている部分との境界が不明瞭となり、車両に近接した物体の存在に気がつかずに運転し、障害物と衝突することも考えられる。そのため、近接撮影範囲外部分輪郭線表示部２３においては、この近接撮影範囲外の部分に輪郭線を表示する処理を行う。

図１に示す実施例においては、本発明を種々の態様で実施することができるように、コーナーセンサー障害物検出表示形式設定部２５を備え、Ａとして示しているように、図４（ａ）のコーナーセンサー障害物検出表示設定例Ａにおいて、予め設定入力がなされている車両１の合成画像において、各コーナーセンサーが存在する位置に対応して、障害物検出表示部としての障害物検出マーク表示部３２〜３５を設定している。

図４（ａ）において各カメラの合成画像は合成画像表示部３１として示されており、この部分に周囲の合成画像が表示されている。また、車両に近接した部分には、前記図６と同様に車両近接撮影範囲外部分３７が存在する。更に、同図において車両１は後退しており、その後退方向に障害物３８が存在する例を示している。

図１に示すコーナーセンサー障害物検出表示形式設定部２５には更に、Ｂとして示しているように、図５（ａ）のコーナーセンサー障害物検出表示設定例Ｂにおいて、各コーナーセンサーが存在する位置に対応して、障害物検出表示部としての障害物検出位置表示部３８〜４１を設定している。この障害物検出位置表示部は、車両近接撮影範囲外部分３７における角部に配置する。

図１におけるコーナーセンサー障害物検出表示形式設定部２５には、前記のようなＡ、Ｂの２種類の表示形式を備え、コーナーセンサー障害物検出表示形式選択部２４において利用者が予めいずれかを選択することにより、コーナーセンサー障害物検出表示部２６における表示形式をＡ、Ｂのいずれかが選択され、コーナーセンサーによって障害物を検出したことを表示する。

それにより、例えば前記図４のコーナーセンサー障害物検出表示設定例Ａにおいては、図４（ａ）に示すように車両後退時に障害物３６が存在するとき、この状態では合成画像表示部３１内に存在することにより図示するように障害物３６が表示されるのに対して、車両が後退することによって同図（ｂ）に示すように障害物３６は車両近接撮影範囲外部分３７内に入り、カメラの撮影画像には表示されなくなる。それに対して、この障害物３６は右後角部コーナーセンサー検出範囲２９に入り、右後角部コーナーセンサー８によって障害物として検出される。

その結果、図１におけるコーナーセンサー障害物検出信号入力部２２においては、右後角部コーナーセンサー８で障害物を検出したことを入力し、コーナーセンサー障害物検出表示部２６にその信号を出力することにより、コーナーセンサー障害物検出表示部２６では、図４（ａ）の４個の障害物検出マーク表示部３２〜３５のうち、右後の障害物検出マーク表示部３４を選択してそのマーク表示部を例えば赤色に点灯或いは点滅する等のマーク表示によって、運転者に対して、カメラ撮影画像中には存在しないが、この部分に障害物が存在することを警報表示する。その際には、従来のコーナーセンサーと同様に、種々のビープ音等で警報音を出力する。また、上記警報表示及び警報音は、障害物が車両に近接している程度に応じて表示の色を変え、或いは点滅間隔を変え、またビープ音の間隔を変える等の手法を採用することができる。

一方、コーナーセンサー障害物検出表示形式選択部２４において、コーナーセンサー障害物検出表示形式設定部２５におけるＢの形式を選択していたときには、図５（ａ）の障害物３６が車両の後退により車両近接撮影範囲外部分３７内に入るとき、前記と同様に右後角部コーナーセンサー検出範囲２９に入ることにより障害物として検出される。その結果、図５（ｃ）に示すように、図５（ａ）の４個の障害物検出位置表示部３８〜４１のうち、右後の障害物検出位置表示部４０が前記の例と同様に赤色に点灯或いは点滅し、ビープ音を出力する等によって運転者に警報を発する。それにより利用者はこの三角表示位置に障害物が存在することを知ることができる。

この表示は前記図４（ｃ）の表示が特定のコーナーセンサーが単に障害物を検出したことを示すのと異なり、障害物が障害物検出位置表示部の位置近傍に存在することを示すことができる。特にその位置は、車両に近接していてカメラによる合成画像中には本来表示されていない部分を示す輪郭線Ｒ内に設定しているので、カメラの撮影画像範囲内に障害物が存在しないときには、この三角形の表示位置部分に障害物が存在することを示すこととなる。

図１に示す機能ブロック図からなる本発明による車両周囲監視装置は、コーナーセンサー障害物検出表示形式設定部２５を備えてＡ、Ｂ２種類の表示形式の中から任意のものを選択する例を示したが、いずれか１つのみしか備えなくても良い。また、コーナーセンサーを４個設けた例を示したが、更に多くのコーナーセンサーを用いることもでき、その際には各コーナーセンサーの配置している部分に障害物検出マーク表示部を設け、或いは障害物検出位置表示部を設ける。

本発明による車両周囲監視装置は、上記のような機能ブロックからなり、上記のような機能を行うものであるが、その作動に際しては例えば図２に示す作動フローによって順に作動させることができる。図２に示す車外周囲監視処理の例においては、最初カメラ画像の入力を行い（ステップＳ１）、次いでそのカメラ画像によって車両上方視点画像形成処理を行い（ステップＳ２）、その後この画像の表示処理を行う（ステップＳ３）。これらの処理は図１の車両上方視点画像形成部２１が、車外監視機器信号入力部１０におけるカメラ画像入力部１１に入力された各カメラの画像処理を行い表示出力することにより行われる。

次いでコーナーセンサー信号の入力を行い（ステップＳ４）、その後この信号の入力によってコーナーセンサーが障害物を検出したか否かを判別する（ステップＳ５）。ここでコーナーセンサーが障害物を検出していないと判別したときには、再びステップＳ１に戻って前記作動を繰り返す。ステップＳ５においていずれかのコーナーセンサーが障害物を検出したと判別したときには、障害物を検出したコーナーセンサーに対応する位置に、障害物を検出した表示処理を行い（ステップＳ６）、その処理の後に再びステップＳ１に戻って前記作動を繰り返す。これらの作動は図１のコーナーセンサー障害物検出表示部２６がコーナーセンサー障害物検出信号入力部２２で入力したコーナーセンサー信号入力部１２の信号に対応して表示処理をすることにより行われる。このような処理を行うことにより、カメラに写らない車両近傍部分でも、コーナーセンサーにより障害物を検知した部分に、障害物を検出したマークや、障害物が存在する位置を示す画像を重ね合わせることで、利用者が画面を見た際に違和感なく障害物が存在することが判るようにすることができる。

本発明は上記の実施例以外に種々の態様で実施することができ、例えばコーナーセンサーは車外を撮影するカメラに対応して設置し、右ハンドルの車両の運転者にとって死角になりやすい左コーナー部分を重点的に表示するため、図３における左側部カメラ２と後方カメラ４のみによって合成画像を表示しているときには、左後角部コーナーセンサー９のみを設ける等、カメラの撮影画像に対応して任意のコーナーセンサーのみを備え、或いは任意のコーナーセンサーのみを選択して前記障害物警報表示を行うようにしても良い。

本発明の実施例の機能ブロック図である。同実施例の作動フロー図である。同実施例におけるカメラによる撮影画像とコーナーセンサーの検出範囲を示す説明図である。本発明においてコーナーセンサーにより障害物を検出したときにおける表示作動を示す図である。他の表示作動を示す図である。従来の車外撮影カメラ画像により車直上視点の画像を形成する例を示す図である。

符号の説明

１車両
２〜５カメラ
６〜９コーナーセンサー
１０車外監視機器信号入力部
１１カメラ画像入力部
１２コーナーセンサー信号入力部
２１車両上方視点画像形成部
２２コーナーセンサー障害物検出信号入力部
２３近接撮影範囲外部分輪郭線表示部
２４コーナーセンサー障害物検出表示形式選択部
２５コーナーセンサー障害物検出表示形式設定部
２６コーナーセンサー障害物検出表示部

Claims

車外を撮影するカメラと、
車両に近接する障害物を検出するコーナーセンサーと、
前記カメラの撮影画像により車両の上方を視点とした画像を形成する車両上方視点画像形成手段と、
コーナーセンサーにより障害物を検出した信号を入力するコーナーセンサー障害物検出信号入力手段と、
前記車両上方視点画像形成手段による画像における、前記障害物を検出したコーナーセンサー設置位置に対応した部分に、障害物を検出したことを示す表示を行うコーナーセンサー障害物検出表示手段と、
前記車両上方視点画像形成手段による画像の車両に近接した撮影範囲外部分における外側に、輪郭線を描く近接撮影範囲外部分輪郭線表示手段とを備え、
前記コーナーセンサー障害物検出表示手段は、障害物を検出したコーナーセンサーの障害物検出範囲に対応し、前記近接撮影範囲外部分輪郭線表示手段で描いた車両に近接した撮影範囲外部分を示す輪郭線内の部分に、障害物位置を示す表示を行うことを特徴とする車両周囲監視装置。