JP3606223B2 - 車両側方映像生成方法及び車両側方映像生成装置 - Google Patents
車両側方映像生成方法及び車両側方映像生成装置 Download PDFInfo
- Publication number
- JP3606223B2 JP3606223B2 JP2001130231A JP2001130231A JP3606223B2 JP 3606223 B2 JP3606223 B2 JP 3606223B2 JP 2001130231 A JP2001130231 A JP 2001130231A JP 2001130231 A JP2001130231 A JP 2001130231A JP 3606223 B2 JP3606223 B2 JP 3606223B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- side image
- data
- image generation
- approaching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両における左右両側方の映像に基づいて接近車両を検出し、検出した接近車両を容易に視認すべく、該接近車両を映す側方映像を拡大表示する映像を生成するための車両側方映像生成方法及び車両側方映像生成装置に関するものである。
【０００２】
【従来の技術】
従来、信号が設置されていない交差点へ車両を進入させる場合、ドライバは、車両の側方から接近してくる他の車両を車窓外に視線を投じて確認する必要があり、特に、ドライバからの視野範囲が狭小な場所などでは交差点への進入が困難となり、確認作業の煩瑣さ、及び危険性を伴うものであった。この問題に対処すべく、車両の側方を撮像して車両内部に備えたモニタに表示することにより、表示された映像を用いて接近車両等を把握し、交差点へ進入する場合の確認の煩瑣さ及び危険性を回避するための装置が開示されている（特開平６−１７１４２６号、特開平１０−２２９５１２号参照）。
【０００３】
前記装置によれば、車両前部にプリズムを突設させ、該プリズムを用いて車両の左右両側方映像を光学的に一つに合成した映像を、ＣＣＤカメラ等の撮像部を用いて撮像し、撮像した映像を車両内部に設置したモニタにて表示すべくなしてある。
【０００４】
ところで、前記モニタは、近年普及が激しいカーナビゲーションシステムにて用いられるモニタを併用することが考えられる。しかしながら前記装置では、ナビゲーション情報及び左右両側方映像の何れをモニタにて表示するかは、ドライバのスイッチ操作により決定される。従って、交差点へ進入する都度スイッチ操作を行うのは煩瑣である。
【０００５】
上記問題を解決することを目的とする装置が開示されている（特開平１１−５５６５６号、特開平１１−２４９５５６号参照）。該装置によれば、車速センサを用いることにより、停止時又は低速時に左右両側方映像をモニタにて表示し、又は、カーナビゲーションシステムを用いて交差点の位置を認識し、交差点へ接近した場合に左右両側方映像をモニタにて表示すべくなしてある。
【０００６】
【発明が解決しようとする課題】
しかしながら前記装置では、交差点へ接近する他の車両が存在するか否かに拘わらず、停止時、低速時、又は交差点への接近時に、モニタの表示は左右両側方映像に切り替わってしまう。また、車速センサとして用いられ、磁力に基づいて検出を行う車輪速センサ等では、略停止状態での速度を正確に検出することは困難である。
【０００７】
接近車両の存否を判定すべく、撮像部にて撮像した映像を画像処理し、モニタの隣り合う画素の輝度に基づきエッジ検出を行うことにより、接近車両の存否を判定し、接近車両が存在する場合に警告を行うものが開示されているが（特開平１１−３０６４９９号参照）、エッジ検出により接近車両の存否を判定するため、接近車両以外の静止物であっても映像上にて輝度差が大きい物体を車両として検出する場合がある。
【０００８】
更に、例えば左折すべく交差点へ進入した車両のドライバにとっては、進入車線における右側方から接近してくる他の車両が存在するか否かが問題であり、必ずしも左側方の映像を必要とはしない。しかしながら前記装置の何れにおいても、接近車両の存否に基づき何れか一側方の映像のみをモニタにて全画面表示する機能を有していない。
【０００９】
本発明は、上述したような事情に鑑みてなされたものであり、本発明に係る車両側方映像生成装置が備えられた車両（第１車両）に設置された撮像部によって撮像された左右両側方映像に関する映像データに基づき、前記左右両側方映像に表示される車両（第２車両）を検出し、該第２車両を検出した場合に該第２車両を表示する左右何れか一方の側方映像をモニタに拡大表示すべく表示データを生成することにより、第２車両が存在しない場合にモニタ表示せず、第２車両を検出した場合にのみモニタにて映像を表示することができ、更に、第２車両を表示する側の側方映像を拡大表示することができる車両側方映像生成方法及び車両側方映像生成装置を提供することを目的とする。
【００１０】
また例えば、第１車両が交差点へ進入する際に側方を視認するために停止したとき、又は低速になったときに第２車両の検出を行い、第２車両が接近してくる場合にモニタにて側方映像を表示することにより、停止時、低速時、又は交差点への接近時に、接近車両の存否に拘わらずモニタにて左右両側方映像が表示されることがない車両側方映像生成方法及び車両側方映像生成装置を提供することを目的とする。
【００１１】
また、所定時間を空けて取得した２つの映像データに基づき、夫々の映像データのうちモニタの各画素に対応する画素データの輝度に関する時間差分値を生成し、該時間差分値を所定の閾値（差分閾値）により２値化した２値データを生成し、該２値データにより第１車両の速度の検出、及び移動体の検出を行うことにより、略停止状態での速度をより正確に検出でき、また、静止物を移動体として誤検出することがない車両側方映像生成方法及び車両側方映像生成装置を提供することを目的とする。
【００１２】
更に、接近してくる第２車両が第１車両へ到達する到達予測時間を算出し、算出した到達予測時間が所定の閾値以下である場合に、警告情報を出力することにより、交差点への進入時等にドライバに対して接近車両の存在を認識させることができ、危険性を回避させることができる車両側方映像生成方法及び車両側方映像生成装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
第１発明に係る車両側方映像生成方法は、第１車両に設けた撮像部が撮像する左右両側方映像に関する映像データに基づき、接近する第２車両の存在を示す警告情報を生成して出力する車両側方映像生成方法において、前記映像データに基づき、前記左右両側方映像にて前記第１車両に接近する前記第２車両が存在するか否かを判定し、前記第２車両が存在すると判定した場合は該第２車両が前記第１車両に到達するまでの到達予測時間を算出し、該到達予測時間が所定の閾値以下であるか否かを判定し、前記到達予測時間が前記閾値以下であると判定した場合は警告情報を出力し、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち表示する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成し、生成した時間差分値を所定の差分閾値に基づき２値化した２値データを生成し、生成した２値データに基づき前記第２車両を検出し、前記第１車両が具備する車外ライトの点灯状況を示すライト信号を受信し、受信したライト信号に基づき前記差分閾値を補正することを特徴とする。
【００１４】
第１発明に係る車両側方映像生成方法による場合は、左右両側方映像に関する映像データに基づき、接近してくる第２車両が存在すると判定した場合に、到達予測時間を算出し、該到達予測時間が所定の閾値以下である場合に警告情報を出力することにより、例えば、交差点へ第１車両が進入する場合に、第２車両が近傍に接近していることをドライバに認識させることができ、交差点への進入時の危険性を回避させることができる。
また、所定時間を空けて撮像された２つの映像データの夫々が有する画素データの輝度に関する差分値（時間差分値）を生成して２値化した２値データに基づいて移動体を検出することにより、前記所定時間中に移動した物体のみを検出することができ、静止物を車両と誤検出することを防止することができる。
さらに、第１車両が有する車外ライトの点灯状況を示すライト信号に基づいて、前記時間差分値を２値化する場合の差分閾値を補正することにより、ライトを点灯しない昼間に撮像する映像と、ライトを点灯する夜間に撮像する映像とのコントラストの差による移動体の検出誤差を抑制することができる。
【００１５】
第２発明に係る車両側方映像生成装置は、第１車両における左右両側方の映像である左右両側方映像に関する映像データに基づき、表示部にて表示すべく前記第１車両における側方の映像である側方映像に関する表示データを生成するために用いる車両側方映像生成装置において、前記映像データに基づき、前記左右両側方映像に表示される第２車両を検出する手段を備え、前記第２車両を検出する手段は、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち前記表示部が有する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成する手段と、生成した時間差分値を所定の差分閾値に基づいて２値化した２値データを生成する手段と、生成した２値データに基づき移動体を検出する手段とを備え、前記第１車両が具備する車外ライトの点灯状況を示すライト信号を受信する手段と、受信したライト信号に基づき前記差分閾値を補正する手段とをさらに備えることを特徴とする。
【００１６】
第２発明に係る車両側方映像生成装置による場合は、接近する第２車両を検出し、第２車両が存在する側方の映像を拡大表示するための表示データを生成することにより、例えば、青信号時の交差点を直進して通過する場合など、不必要時に側方映像が表示されることを防止することができる。
また、所定時間を空けて撮像された２つの映像データの夫々が有する画素データの輝度に関する差分値（時間差分値）を生成して２値化した２値データに基づいて移動体を検出することにより、前記所定時間中に移動した物体のみを検出することができ、静止物を車両と誤検出することを防止することができる。
さらに、第１車両が有する車外ライトの点灯状況を示すライト信号に基づいて、前記時間差分値を２値化する場合の差分閾値を補正することにより、ライトを点灯しない昼間に撮像する映像と、ライトを点灯する夜間に撮像する映像とのコントラストの差による移動体の検出誤差を抑制することができる。
【００１９】
第３発明に係る車両側方映像生成装置は、第２発明に係る車両側方映像生成装置において、前記第１車両の移動速度を検出する手段と、検出した前記移動速度が所定の速度閾値以下であるか否かを判定する手段と、速度閾値以下であると判定した場合に前記第２車両の検出を行う手段とを更に備えることを特徴とする。
【００２０】
第３発明に係る車両側方映像生成装置による場合は、検出した第１車両の移動速度が所定の閾値（速度閾値）以下であると判定した場合に、移動体の検出を行うことにより、第１車両の移動速度に基づき、例えば第１車両が交差点へ進入して停止した場合に他の移動体の検出、及び側方映像のモニタでの表示を可能とすることができる。
【００２１】
第４発明に係る車両側方映像生成装置は、第３発明に係る車両側方映像生成装置において、前記第１車両の移動速度を検出する手段は、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち前記表示部が有する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成する手段と、生成した時間差分値を所定の差分閾値に基づいて２値化した２値データを生成する手段と、生成した２値データに基づき移動速度を検出する手段とを備えることを特徴とする。
【００２２】
第４発明に係る車両側方映像生成装置による場合は、第１車両の移動速度を検出する際に、時間差分値を生成して２値化した２値データに基づき、移動速度を検出することにより、第１車両が停止しているか否かをより正確に判定することができる。
【００２５】
第５発明に係る車両側方映像生成装置は、第２乃至第４発明の何れかに係る車両側方映像生成装置において、同時的に取得した左右夫々の側方映像における隣接する画素に対する画素データに関する輝度の空間差分値を生成する手段と、生成した空間差分値に基づき前記差分閾値を補正する手段を更に備えることを特徴とする。
【００２６】
第５発明に係る車両側方映像生成装置による場合は、左右夫々の側方映像にて隣接画素の画素データの輝度に関する差分値（空間差分値）を生成し、該空間差分値に基づいて前記差分閾値を補正することにより、左右何れかの側方が逆光となるなどして左右夫々の側方映像におけるコントラストが比較的大きく異なる場合であっても、移動体の検出誤差を抑制することができる。
【００２７】
第６発明に係る車両側方映像生成装置は、第２乃至第５発明の何れかに係る車両側方映像生成装置において、検出された前記移動体の最下部が、予め設定された路面領域内に存在するか否かを判定する手段と、存在すると判定した場合に前記移動体を前記第２車両であると判定する手段とを更に備えることを特徴とする。
【００２８】
第６発明に係る車両側方映像生成装置による場合は、検出した移動体の最下部が、路面領域内に存在すると判定した場合に、前記移動体を第２車両と判断することにより、空中を浮遊する木の葉、高架上を走行する電車等を車両として誤検出することを防止することができる。
【００２９】
第７発明に係る車両側方映像生成装置は、第６発明に係る車両側方映像生成装置において、前記第１車両が具備するステアリングの回転角度に関する角度信号を受信する手段と、受信した角度信号に基づき前記路面領域を補正する手段とを更に備えることを特徴とする。
【００３０】
第７発明に係る車両側方映像生成装置による場合は、第１車両のステアリングの回転角度に基づき前記路面領域を補正することにより、交差点へ進入する場合等における第１車両の進入角度に応じて路面領域を補正でき、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【００３１】
第８発明に係る車両側方映像生成装置は、第６又は第７発明に係る車両側方映像生成装置において、前記映像データにて前記左右両側方映像に含まれる車道及び歩道の境界を示す境界線に関する境界線データを検出する手段と、検出した境界線データに基づき前記路面領域を補正する手段とを更に備えることを特徴とする。
【００３２】
第８発明に係る車両側方映像生成装置による場合は、車道及び歩道の境界を示す境界線が左右両側方映像内に撮像されている場合は、前記境界線に基づいて路面領域を補正することにより、前記境界線を有する路面に関して路面領域をより正確に補正することができ、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【００３３】
第９発明に係る車両側方映像生成装置は、第６乃至第８発明の何れかに係る車両側方映像生成装置において、前記左右両側方映像における色相に関する色相データを生成する手段と、生成した色相データに基づき前記路面領域を補正する手段とを更に備えることを特徴とする。
【００３４】
第９発明に係る車両側方映像生成装置による場合は、左右両側方映像における色相データに基づいて路面領域を補正することにより、色相が比較的均一な領域を路面領域として補正することができ、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【００３５】
第１０発明に係る車両側方映像生成装置は、第２乃至第９発明の何れかに係る車両側方映像生成装置において、検出された前記移動体の移動方向を算出する手段と、算出した移動方向が所定の範囲内にあるか否かを判定する手段と、所定の範囲内にあると判定した場合に前記移動体を前記第２車両であると判定する手段とを更に備えることを特徴とする。
【００３６】
第１０発明に係る車両側方映像生成装置による場合は、検出した移動体の移動方向が所定範囲内にある場合に第２車両と判断することにより、車道を横断する方向に移動する移動体を車両として誤検出することを防止することができる。
【００３７】
第１１発明に係る車両側方映像生成装置は、第１０発明に係る車両側方映像生成装置において、前記移動方向に基づき、前記移動体が接近しているか否かを判定する手段と、接近していると判定した場合に、前記表示データを生成する手段とを更に備えることを特徴とする。
【００３８】
第１１発明に係る車両側方映像生成装置による場合は、移動体の移動方向に基づき、第２車両が接近しているか否かを判定することにより、接近する第２車両が存在する場合にのみ表示データを生成することができる。
【００３９】
第１２発明に係る車両側方映像生成装置は、第１１発明に係る車両側方映像生成装置において、接近していると判定した前記移動体に関し、到達予測時間を算出する手段を更に備えることを特徴とする。
【００４０】
第１２発明に係る車両側方映像生成装置による場合は、接近する第２車両が第１車両へ到達する時間に関する到達予測時間を算出することにより、交差点への進入時等における危険性を判定することができる。
【００４１】
第１３発明に係る車両側方映像生成装置は、第１１又は第１２発明に係る車両側方映像生成装置において、前記到達予測時間が所定の時間閾値以下であるか否かを判定する手段と、時間閾値以下であると判定した場合に警告信号を出力する手段とを備えることを特徴とする。
【００４２】
第１３発明に係る車両側方映像生成装置による場合は、到達予測時間が所定の閾値（時間閾値）以下である場合に警報信号を出力することにより、ドライバに対して危険を認識させることができる。
【００４３】
第１４発明に係る車両側方映像生成装置は、第１１乃至第１３発明の何れかに係る車両側方映像生成装置において、接近していると判定した前記移動体を前記表示部にて識別可能に表示するための識別データを生成する手段を更に備えることを特徴とする。
【００４４】
第１４発明に係る車両側方映像生成装置は、接近してくる第２車両を表示部にて識別可能に表示すべく識別データを生成することにより、例えば、接近してくる第２車両をデフォルメ表示し、又は、マーキングするなどしてドライバが認識しやすくさせることができる。
【００４５】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
図１は、本発明に係る車両側方映像生成装置１の構成を示すブロック図である。車両側方映像生成装置１はＡ／Ｄ変換器１１を備え、ＣＣＤカメラ等を用いて構成された撮像部２１との間にて通信可能に接続されている。また、Ｄ／Ａ変換器１７及び該Ｄ／Ａ変換器１７に接続された映像切替部１８を備え、該映像切替部１８は、液晶ディスプレイを用いて構成されたモニタ２２及びカーナビゲーションシステム等を実現する外部装置２３との間にて通信可能に接続されている。
【００４６】
なお、本実施の形態におけるモニタ２２は、前記カーナビゲーションシステムにて用いられる液晶ディスプレイを併用している場合について説明するが、専用のディスプレイを用いて構成してもよいことは言うまでもない。
【００４７】
撮像部２１とＡ／Ｄ変換器１１との間における信号の伝送にはアナログ信号が用いられており、この場合、Ａ／Ｄ変換器１１は、ＲＧＢデコーダ（例えば、三菱電機製Ｍ５２０４２）及び３チャンネルＡ／Ｄコンバータ（例えば、ＳＯＮＹ製ＣＸＤ２３０３）を組み合わせて構成する。また他に、ビデオデコーダ（例えば、沖電気製ＭＳＭ７６６４ＢＴＢ）１チップにより構成するなど、種々の構成にて実現することができる。
【００４８】
また、Ｄ／Ａ変換器１７から映像切替部１８を介してモニタ２２との間にて行われる信号の伝送もアナログ信号が用いられており、この場合、Ｄ／Ａ変換器１７は、３チャンネルＤ／Ａコンバータ（例えば、ＳＯＮＹ製ＣＸＤ２３０４）及びＲＧＢエンコーダ（例えば、富士通製ＭＢ３５１６Ａ）を組み合わせて構成する。また他に、ビデオエンコーダ（例えば、沖電気製ＭＳＭ７６５４ＧＡ）１チップにより構成するなど、種々の構成により実現することができる。なお、モニタ２２がＮＴＳＣコンポジット入力対応のものでなく、アナログＲＧＢ入力対応のものである場合、Ｄ／Ａ変換器１７はＲＧＢエンコーダを省略した構成にすることができる。
【００４９】
アナログ信号は、モニタ２２における走査ラインに対応する複数の画素にて表示すべきＲＧＢ値（赤、緑、青信号成分）又はＹＵＶ値（輝度信号成分、色信号成分）を有しており、モニタ２２にてインターレース表示できるようになっている。
【００５０】
Ａ／Ｄ変換器１１は停止判定部１２に接続されており、撮像部２１にて撮像されてＡ／Ｄ変換器１１へ入力された映像データは更に前記停止判定部１２へ入力される。停止判定部１２は本発明に係る車両側方映像生成装置１を搭載する車両（第１車両）の移動速度を検出し、停止しているか否かの判定を行う機能を有しており、入力された映像データを画像処理し、更に、車速センサから取得する車速信号、ブレーキのオン／オフを示すブレーキ信号等に基づき判定を行う。また、第１車両が停止状態であると判定した場合には映像切替部１８へその旨を示す信号を出力すべくなしてある。
【００５１】
また、Ａ／Ｄ変換器１１は接近車両検出部１３に接続されており、Ａ／Ｄ変換器１１から出力された映像データは接近車両検出部１３へ入力される。接近車両検出部１３は、入力された映像データを画像処理し、後述する路面領域の補正、フレーム間差分、２値化、移動体の移動方向判定等を行うことにより接近してくる車両（第２車両）の検出を行う。また、路面領域の補正に用いるため、車外ライトのオン／オフを示すライト信号、ステアリングの回転角度を示すステア信号が入力され、また、モニタ２２に表示する映像をドライバの要求に応じて切り替えるためのスイッチ信号が入力されるようになっている。更に、接近する第２車両を検出した場合に、ドライバへ報知するための警告信号を出力し、また、モニタ２２が外部装置２３に接続しているときにＤ／Ａ変換器１７の出力がモニタ２２にて表示されるべくその旨を示す信号が映像切替部１８へ出力されるようになっている。
【００５２】
更に、Ａ／Ｄ変換器１１は映像選択部１４に接続されており、Ａ／Ｄ変換器１１から出力された映像データは映像選択部１４へ入力される。また、該映像選択部１４へは、接近車両検出部１３が接近してくる第２車両を検出した場合に、撮像部２１にて撮像される左右両側方映像における左右何れの側方にて第２車両が検出されたかを示す信号が入力される。映像選択部１４は、接近車両検出部１３から入力された信号に基づき、Ａ／Ｄ変換器１１から入力された映像データにおいて、モニタ２２が有する複数の画素に対応する画素データの選択を行う。即ち、左右何れか側方に第２車両が検出された場合、第２車両が検出された側方の映像に関する画素データを選択し、選択した画素データを映像保持部１５へ出力する。
【００５３】
映像保持部１５は、入力された画素データのうち、モニタ２２における１ライン分の映像に相当する量のデータを保持することができ、入力された順序にてデータを出力するＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）構造になっている。
【００５４】
映像保持部１５から出力されたデータは、映像生成部１６へ入力される。また、映像生成部１６へは、接近車両検出部１３が接近してくる第２車両を検出した場合に、該第２車両に関するデータと、左右何れの側方に第２車両が検出されたかを示す信号とが入力される。映像生成部１６は、前記信号に基づき、第２車両が検出された側方の映像をモニタ２２にて拡大表示するため、映像保持部１５から入力された左右何れか側方の映像に関する画素データを補完する補完データを生成する。また、モニタ２２にて第２車両を識別しやすくするため、接近車両検出部１３から入力された第２車両に関するデータに基づき、該第２車両を映像上にてＣＧ表示、マーキング表示するための識別データを生成する。更に、前記画素データ、補完データ及び識別データを用い、モニタ２２上にて表示するための表示データを生成する。
【００５５】
映像生成部１６にて生成された表示データは、Ｄ／Ａ変換器１７及び映像切替部１８を介してモニタ２２へ出力される。映像切替部１８には、停止判定部１２から第１車両が停止状態であることを示す信号が入力され、接近車両検出部１３から接近してくる第２車両を検出したことを示す信号が入力される。映像切替部１８は、停止判定部１２及び／又は接近車両検出部１３から信号が入力された場合はＤ／Ａ変換器１７を介して入力される表示データをモニタ２２へ出力し、また、信号が入力されない場合は、カーナビゲーションシステム等の外部装置２３をモニタ２２に接続可能とすることにより、モニタ２２における表示モードを切り替える。
【００５６】
なお、上述した停止判定部１２及び接近車両検出部１３はＣＰＵ（ＳＨ７７５０）等により実現可能であり、また、映像選択部１４、映像保持部１５及び映像生成部１６は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｅｄ ＩＣ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等により容易に実現することができる。
【００５７】
また、上述した構成では、撮像部２１から送信する映像に関する信号としてアナログ信号を用いる場合について説明したが、前記Ａ／Ｄ変換器１１及びＤ／Ａ変換器１７に替えてディジタル入出力回路を備えることにより、撮像部２１が撮像した映像に関するディジタル信号をそのまま送信することができる。
【００５８】
この場合、撮像部２１、モニタ２２及びディジタル入出力回路のインタフェースには、例えば、物理層及びリンク層の規格としてＩＥＥＥ１３９４などのプロトコルを使用し、また、撮像部２１及びディジタル入出力回路の間でのデータの送受信では、１３９４−ｂａｓｅｄ Ｄｉｇｉｔａｌ Ｃａｍｅｒａ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｖｅｒ．１．２に従ってＹＵＶ４：２：２フォーマットの映像信号を用いればよい。
【００５９】
次に、上述した構成をなす本発明に係る車両側方映像生成装置１の動作について、図２に示すフローチャートを用いて説明する。
初めに、スイッチ信号に基づくモニタ２２における表示状態、及び、外部装置２３とモニタ２２との接続状態等のモードチェックを行い（Ｓ１）、撮像部２１にて撮像した映像をＡ／Ｄ変換器１１へ取り込む（Ｓ２）。Ａ／Ｄ変換器１１へ取り込まれた映像に関する映像データを用い、接近車両検出部１３は、フレーム間差分で得られる差分映像を２値化する際の差分閾値の補正を行う（Ｓ３）。
【００６０】
差分閾値を補正する場合、第１車両に備えられた車外ライトが点灯しているか否かを示すライト信号を用いて補正を行う。即ち、車外ライトが点灯している場合は、夜間の標準の差分閾値を用い、また、車外ライトが点灯していない場合は、昼間の標準の差分閾値を用いるよう補正する。なお、夜間及び昼間の標準の差分閾値は予め算出しておいたものを用いる。
【００６１】
また、左右それぞれの側方映像において、一方が逆光等となっていることによりそれぞれの側方映像間にてコントラストに比較的大きな差が生じている場合は、統計処理に基づき差分閾値の補正を行う。即ち、入力された映像データ中にて隣接画素における輝度の差分値を算出し、該差分値を有する画素数をリストアップしたヒストグラムを作成する。該ヒストグラムにおいて画素数が最大である差分値Ｄｍ を基にし、標準の差分閾値Ｔ０ に対して補正された差分閾値Ｔ１ を以下の式（１）により算出する。
Ｔ１ ＝Ｔ０ ＋Ａ（Ｄｍ −Ｄ０ ） ・・・（１）
なお、式（１）中、Ａは定数、Ｄ０ は標準状態において作成したヒストグラムにて画素数が最大となる差分値である。
【００６２】
次に第１車両の速度の検出を行い（Ｓ４）、停止判定部１２にて第１車両が停止（速度Ｖ＝０）しているか否かを判定する（Ｓ５）。第１車両が停止していると判定した場合は、接近する第２車両の存否を判定すべく左右両側方映像にて路面領域の補正を行う（Ｓ６）。速度検出及び停止判定は、Ａ／Ｄ変換器１１から入力された映像データ、車速センサ、ブレーキ信号、ナビゲーション情報、レーンマーカ、路車間通信等を利用して行う。以下、これらを利用する場合について夫々説明する。
【００６３】
映像データに基づいて速度検出及び停止判定を行う場合について説明する。
第１車両が移動している場合、周辺の静止物は相対的に後方へ移動し、左側方映像では右から左へ平行移動し、右側方映像では左から右へ平行移動するように表示される。従って、時刻ｔ及び時刻ｔ＋ｎでの映像中の同一平行位置にある所定領域（ブロック）において、輝度値に関する情報の変化を検出することにより、第１車両が停止しているか否かを判定することができる。
【００６４】
初めに、時刻ｔにおいて左側方映像及び右側方映像の夫々について特徴点をブロック単位（例えば、８画素×８画素）で数点設定する。特徴点としては、輝度値の差に基づくエッジ抽出によりエッジ点を算出し、算出したエッジ点を特徴点とするが、この他、予め決められた位置に特徴点を設定してもよい。
【００６５】
次に、時刻ｔ＋ｎにおいて、時刻ｔにて設定した特徴点の探索を行う。即ち、時刻ｔにて設定した特徴点の位置から、左側方映像では左へ、右側方映像では右へ１画素ずつ所定画素数分だけ探索し、時刻ｔにて設定した特徴点が有する輝度値と、探索するブロックが有する輝度値との差分和を算出し、算出した差分和が最小となるブロックを、時刻ｔにて設定した特徴点が移動した場所とみなす。
【００６６】
時刻ｔから時刻ｔ＋ｎの間に前記特徴点が移動している場合は、第１車両が移動しているとみなす。また、前記特徴点が移動していない場合、即ち、時刻ｔにて設定した特徴点と同位置のブロックにおいて、時刻ｔ＋ｎにて輝度値の差分和が最小となった場合、第１車両は停止していると判定する。
【００６７】
車速センサから得られる車速信号に基づき速度検出及び停止判定を行う場合について説明する。
車速信号に基づき速度検出を行う場合、所定の速度（例えば、５ｋｍ／ｈ）以下であるか否かの詳細な判定を行うことができる。ただし、一般の車輪速センサを車速センサとして使用する場合、主として磁気検出により車速を算出するため、第１車両が略停止状態であるときなど極低速を検出することが困難である。従って、極低速を検出可能なホールＩＣ素子等を使用した車輪速センサを用いることにより停止判定を行う。
【００６８】
映像データ、車速信号、及びブレーキ信号に基づき速度検出及び停止判定を行う場合について説明する。
極低速までを車速センサからの車速信号により速度検出し、極低速以下において映像データに基づく速度検出を行うことにより、停止判定の信頼性を向上させることができる。この場合のセンサ信号としては、車輪速センサからの信号、又は、エンジンＥＣＵからの信号の何れでもよい。また、ブレーキ信号を組み合わせることにより、特に、停止状態から移動し始める場合の判定の信頼性を向上させることができる。
【００６９】
ナビゲーション情報を利用して速度検出及び停止判定を行う場合について説明する。
映像データ、車速信号、及びブレーキ信号に基づき車速検出及び停止判定を行う場合、例えば渋滞時などに交差点以外の単路部などにて停止した場合であっても、第２車両を検出すべく路面領域の補正（Ｓ６）が行われる可能性がある。従って、ナビゲーション情報に基づき交差点の検出を行った結果、第１車両が交差点に位置し、更に映像データ及び車速信号等により速度検出を行い第１車両が停止していると判定した場合にのみ、ステップ６での路面領域の補正を行う。
【００７０】
なお、ナビゲーション情報を提供するカーナビゲーションシステムに自立航法が備えられており、ナビゲーション情報から車速情報を取得できる場合は、該車速情報及び映像データに基づいて速度検出を行うこともできる。
【００７１】
レーンマーカを利用して速度検出及び停止判定を行う場合について説明する。交差点の手前に、電波マーカ又は磁気マーカ等のレーンマーカが敷設されており、第１車両がレーンマーカ検出器を備えている場合、前記レーンマーカを検出することにより第１車両が交差点に進入したことを検出することができる。従って、レーンマーカ検出器による交差点への進入を検出し、更に映像データ及び車速信号等により速度検出を行い第１車両が停止していると判定した場合にのみ、ステップ６での路面領域の補正を行う。
【００７２】
路車間通信を利用して速度検出及び停止判定を行う場合について説明する。
交差点の手前に、光ビーコン又はＤＳＲＣ等の路車間通信装置が設置されている場合、第１車両との間にて無線によって通信することにより、交差点への接近を検出することができる。従って、路車間通信により交差点への進入を検出し、更に映像データ及び車速信号等に基づき速度検出を行い第１車両が停止していると判定した場合にのみ、ステップ６での路面領域の補正を行う。
【００７３】
また上述したものの他に、映像データを利用し、左右両側方映像に「止まれ」の標識、交差点に設置されたミラー等が認識された場合に、第１車両が交差点へ接近していると判定することができる。従って、映像データを利用して「止まれ」の標識等を認識し、更に映像データ及び車速信号等に基づき速度検出を行い第１車両が停止していると判定した場合にのみ、ステップ６での路面領域の補正を行うようにしてもよい。
【００７４】
次にステップ６での路面領域の補正について説明する。
左右両側方映像中における路面領域は予め設定されているが、交差点への第１車両の進入角度により、左右両側方映像中の実際の路面領域との間で誤差が生じる。図３は、進入道路に対して直角に交差点へ進入した場合の左右両側方映像（ａ）及びその時の第１車両の交差点への進入状況（ｂ）を説明するための模式図である。また、図４は、進入道路に対して左へ傾いて交差点へ進入した場合の左右両側方映像（ａ）及びその時の第１車両の交差点への進入状況（ｂ）を説明するための模式図である。
【００７５】
直角に進入する場合と比較して左へ傾いて進入する場合、実際の路面領域は、右側方映像では進入道路の消失点が下方に位置し、左側方映像では進入道路の消失点が上方に位置する（図３（ａ）及び図４（ａ）参照）。また、進入道路に対して右へ傾いて進入する場合は逆に、右側方映像では消失点が上方に位置し、左側方映像では消失点が下方に位置する。従って、予め路面領域を設定した場合は、第１車両の姿勢により、実際の路面領域との間に誤差を生じる場合がある。
【００７６】
前記誤差を解消するために接近車両検出部１３にて路面領域の補正を行う。補正する方法としては、車線方向に対する車両の傾きとステアリングの回転角度との間に相関関係があると仮定してステア信号に基づき補正する方法、左右両側方映像にて白線（車道及び歩道の境界線）の位置を検出して該白線の傾きに基づき補正する方法、及び、カラー画像におけるＨＳＩ信号中の色相（Ｈ）により左右両側方映像中の路面領域を検出してこれに基づき補正する方法、等がある。
【００７７】
ステア信号に基づき路面領域を補正する場合について説明する。
交差点にて左折する場合、ドライバはステアリングを左へ回転させ、右折する場合はステアリングを右へ回転させ、これに伴い、第１車両の姿勢は進入道路に対して左向き、右向きとなる。この様に、ステアリングの回転角度と第１車両の姿勢との間には相関関係が成立する。
【００７８】
従って、ステア信号に基づき路面領域を補正することができる。ステア信号が示すステアリングの回転角度と補正量との関係は、予め実験での計測により、撮像された左右量側方映像における各画素位置と位置補正量との関係を示す変換テーブルとして作成しておき、該変換テーブルを参照することにより路面領域を補正する。
【００７９】
白線の位置に基づき路面領域を補正する場合について説明する。
市街地などでは車道及び歩道の境界を表す白線が整備されており、撮像部２１にて撮像した左右両側方映像に表示される白線を検出することにより、路面領域を補正することができる。
【００８０】
予め設定された路面領域の中央線上等に探索点を数点設定し、該探索点を起点として、撮像された左右両側方映像上を上下方向にエッジ探索を行う。即ち、上下画素間の輝度の差分値が最大となる画素であるエッジ点を探索する。探索の結果得られたエッジ点の位置に基づき、最小２乗法等の直線近似により白線位置を算出する。算出した白線位置を用いて、予め設定された路面領域を補正する。
【００８１】
色相に基づき路面領域を補正する場合について説明する。
路面、空などのように色相が均一的なものの場合、撮像される左右両側方映像に関するＲＧＢ値に基づいて色相値を算出することにより、実際の路面領域を推定することができる。以下の式（２）又は式（３）を用いることにより、ＲＧＢ値を用いて色相値（Ｈ）を算出する。
【００８２】
【数１】
【００８３】
【数２】
【００８４】
上記式（２）又は式（３）を用いて算出した色相値により、実際の路面領域を推定し、推定した路面領域に基づき、予め設定された路面領域を補正する。
【００８５】
ステップ６における路面領域の補正を行った後、左右両側方映像中の移動体を検出するために、時刻ｔ及び時刻ｔ＋ｎなど、所定時間（例えば、ｎ＝１００ｍｓ、２００ｍｓ）を空けて撮像した２つの左右両側方映像を用いて夫々のフレーム間にて輝度に関する差分値（時間差分値）を算出し、該時間差分値を所定の閾値（差分閾値）に基づき２値化する（Ｓ７）。
【００８６】
ステップ５にて第１車両は停止（Ｖ＝０）と判定されているため、所定の時間ｎの間に撮像される他の静止物の輝度はほとんど変化がない。これに対し、他の車両などの移動体が所定の時間ｎの間に存在する領域では輝度が比較的大きく変化する。従って、時刻ｔ及び時刻ｔ＋ｎにて撮像した夫々の左右両側方映像にて輝度の時間差分値を算出し、算出した時間差分値を所定の差分閾値に基づいて２値化することにより、時間ｎの間に移動体が移動した領域、即ち動領域を抽出する（Ｓ８）。
【００８７】
なお、既に説明したように、輝度に関する時間差分値は時間帯（昼間、夜間）、逆光などの日照状態により値が異なってくるため、ライト信号、及びコントラストに関する統計処理等を用いて適宜補正する。
【００８８】
ステップ８にて動領域の抽出を行うが、移動体が車両である場合、背景と車両との間では輝度に関する時間差分値が大きく異なるのに対し、時刻ｔでの車両の存在領域と時刻ｔ＋ｎでの前記車両の存在領域との間で重複する領域では、輝度に関する時間差分値が比較的小さくなる場合がある。図５は、時刻ｔ及び時刻ｔ＋ｎでの車両の存在領域（ａ）及び抽出された動領域（ｂ）を説明するための模式図である。図５（ａ）に示すように、時刻ｔでの車両の存在領域Ａ１と、時刻ｔ＋ｎでの車両の存在領域Ａ２との間における重複する領域Ａ３では、輝度に関する時間差分値が小さくなる。従って、２値化した場合は、図５（ｂ）に示すように重複していない存在領域Ａ４，Ａ４のみが動領域として抽出される。そこで、２値データを用い存在領域Ａ４，Ａ４近傍にて上下左右に値１の画素（輝度に関する時間差分値が差分閾値以上の画素）を探索することにより、重複する領域Ａ３を含む移動体の動領域Ａ５を抽出する。
【００８９】
ステップ８にて移動体の動領域を抽出した後、抽出した移動体のうち車両の可能性が低いものをノイズとして除去する（Ｓ９）。即ち、抽出した動領域における下端が、ステップ６にて補正した路面領域内に存在する移動体は車両と推定することができ、また、抽出した動領域における下端が、路面領域内に存在しない移動体は車両ではないと推定でき、ノイズとして除去することができる。
【００９０】
図６は、動領域の下端と路面領域との関係により行うノイズの除去を説明するための模式図である。図６における左右両側方映像では、左上に原点を有し、右方向にｘ軸、下方向にｙ軸が設定されている。また、左側方映像における路面領域は、路面上方境界線が、
ｙ＝ａ１ ｘ＋ｂ１
路面下方境界線が、
ｙ＝ａ２ ｘ＋ｂ２
となっており、右側方映像における路面領域は、路面上方境界線が、
ｙ＝ａ３ ｘ＋ｂ３
路面下方境界線が、
ｙ＝ａ４ ｘ＋ｂ４
となっている。
【００９１】
従って、左側方映像の場合は、移動体の動領域の下端座標（ｘ１ ，ｙ１ ）が下記不等式を共に満たす場合に、前記移動体を車両と判定する。
ｙ＞ａ１ ｘ＋ｂ１
ｙ＜ａ２ ｘ＋ｂ２
また、右側方映像の場合は、移動体の動領域の下端座標（ｘ２ ，ｙ２ ）が下記不等式を共に満たす場合に、前記移動体を車両と判定する。
ｙ＞ａ３ ｘ＋ｂ３
ｙ＜ａ４ ｘ＋ｂ４
【００９２】
次に、ステップ９にてノイズ除去を行った結果、残った動領域が示す移動体の輪郭を抽出する（Ｓ１０）。即ち、ステップ８にて抽出した移動体の動領域は、時刻ｔ及び時刻ｔ＋ｎの左右両側方映像に基づいて抽出しているため、最新の時刻である時刻ｔ＋ｎにおける実際の車両位置とは時間ｎだけ誤差が生じているため、時刻ｔ＋ｎでの移動体のより正確な輪郭を抽出する。図７は、移動体に関して抽出された動領域（ａ）と、移動体の実際の輪郭（ｂ）との一例を示す模式図である。
【００９３】
時刻ｔ＋ｎにおける左右両側方映像において、抽出された動領域Ａ５の近傍にてエッジ抽出を行うことにより移動体の輪郭をより正確に抽出することができる。具体的には、動領域Ａ５の垂直方向の輪郭上にて数点の輪郭代表点を設定し、設定した各輪郭代表点において左右方向に探索し（図７（ａ）参照）、隣接画素間の輝度の差分値が最大となるエッジ点を抽出する。抽出したエッジ点に基づき、最小２乗法を用いて移動体の垂直方向の輪郭線を算出することにより移動体の輪郭Ａ６を抽出する（図７（ｂ）参照）。なお、動領域の水平方向の輪郭上に輪郭代表点を設定し、上下方向にエッジ探索を行ってもよい。
【００９４】
次に、ステップ１０にて抽出した時刻ｔ＋ｎでの輪郭Ａ６に対応する移動体の移動方向を判定し、これに基づき車両である可能性が低い移動体をノイズとして更に除去する（Ｓ１１）。図８は、移動体の移動方向を予測してノイズを除去する処理を説明するための模式図である。時刻ｔ＋ｎにて移動体の輪郭Ａ６を抽出した場合と同様にして時刻ｔにおいても該移動体の輪郭を抽出している。従って、時刻ｔでの移動体の輪郭と、時刻ｔ＋ｎでの移動体の輪郭Ａ６とに基づき、時刻ｔ＋ｎでの移動体が有する速度ベクトルｖ７を予測し、該予測に基づき時刻ｔ＋２ｎでの前記移動体の位置Ａ７を予測する。
【００９５】
時刻ｔ＋２ｎに、予測した位置Ａ７近傍において前記移動体が存在するか否かを探索する。探索の結果、予測した位置Ａ７の近傍に移動体の輪郭Ａ８を抽出できた場合、輪郭Ａ８及び時刻ｔ＋ｎに抽出した輪郭Ａ６に基づき、速度ベクトルｖ８を算出する。
【００９６】
算出した速度ベクトルｖ８と、予測した速度ベクトルｖ７とにおいて絶対値、方向などを比較することにより、輪郭Ａ６が示す移動体と輪郭Ａ８が示す移動体とが同一のものか否かを判定する。また、輪郭Ａ６及び輪郭Ａ８の形状、サイズなどを比較して同一の移動体を示しているか否かを判定する。
【００９７】
予測した位置Ａ７に最も近い移動体であっても、輪郭Ａ６が示す移動体と同一のものではない場合があるため、前述した比較を行う際の夫々のパラメータについて評価関数を作成し、評価関数の値を最大とする移動体を、輪郭Ａ６が示す移動体と同一のものとする。
【００９８】
更に、算出した速度ベクトルｖ８が路面領域の方向、即ち、路面上方境界線及び路面下方境界線が有する夫々の方向ベクトルの範囲内であるか否かを判定し、範囲外である場合は、速度ベクトルｖ８を有する移動体をノイズとして除去する。範囲内にある移動体に関しては、速度ベクトルｖ８の向きにより接近しているか否かを判定し、接近している移動体のみ後述する警告・表示の対象とする。
【００９９】
なお、時刻ｔ＋２ｎにて抽出した輪郭Ａ８に対応する時刻ｔ＋ｎでの移動体が存在しない場合、時刻ｔ＋２ｎの段階では移動体としてリストアップするが、後述する警告・表示の対象とはせず、時刻ｔ＋３ｎにて対応する移動体が存在する場合に警告・表示の対象とする。
【０１００】
次に、車両として検出された移動体のうち接近してくる第２車両について、第１車両までの到達予測時間を算出する（Ｓ１２）。即ち、検出された車両のうち、速度ベクトルに基づき接近している第２車両であるか否かを判定し、左側方映像又は右側方映像の夫々において、撮像部２１の画角、設置高、俯角などに基づき、モニタ２２内座標を、第１車両を中心とした実座標へ変換し、第２車両と第１車両との距離、及び第２車両の速度を算出する。更に算出した距離及び速度に基づき、第２車両が第１車両へ到達するまでの到達予測時間を算出する。
【０１０１】
算出した到達予測時間が所定の閾値以下である場合は、接近車両検出部１３は、ドライバへの警告のため警告信号を出力すると共に、接近してくる第２車両をマーキングするための処理を行い（Ｓ１３）、モニタ２２にて表示する（Ｓ１４）。
【０１０２】
出力した警告信号は、ブザー、計器パネルに設置されたＬＥＤ、又は、オーディオ等へ入力される。ブザー又はオーディオへ入力された場合は警告音によりドライバへ報知し、計器パネルに設置されたＬＥＤへ入力された場合は該ＬＥＤの点灯によりドライバへ報知することができる。なお、オーディオへ入力された場合は、第２車両の接近側のスピーカから例えば「左方向（右方向）に注意して下さい」などのメッセージを出力するようにしてもよく、また、計器パネルに設置されたＬＥＤを点灯させる場合は、左右を夫々示すべくＬＥＤを設置し、第２車両の接近側を示すようにＬＥＤを点灯させてもよい。
【０１０３】
図９は、接近してくる第２車両をマーキングしたものをモニタ２２にて表示した映像の一例を示す模式図である。図９（ａ）は接近してくる第２車両を矩形枠にてマーキングしたものを示し、図９（ｂ）は接近してくる第２車両の上部にマーキングしたものを示している。
【０１０４】
接近してくる第２車両のマーキングとしては、図９に示したものの他、種々のものがある。例えば、前記第２車両をＣＧ化し、更に比較的大きく表示することにより、ドライバは第２車両を容易に識別することが可能となる。
【０１０５】
また、背景映像をモノクロに表示し、前記第２車両のみをカラー表示することによっても、ドライバは第２車両を容易に識別することができる。この場合、背景映像をモノクロ表示するには、映像保持部１５の出力、又は映像選択部１４の出力の何れかの映像データを用いてモノクロデータに変換する。モノクロデータへの変換は下式により行い、また、ＡＳＩＣ又はＦＰＧＡなどにより容易に実現することができる。
Ｒ１ ＝０．２９９Ｒ０ ＋０．５８７Ｇ０ ＋０．１１４Ｂ０
Ｇ１ ＝０．２９９Ｒ０ ＋０．５８７Ｇ０ ＋０．１１４Ｂ０
Ｂ１ ＝０．２９９Ｒ０ ＋０．５８７Ｇ０ ＋０．１１４Ｂ０
なお、上式中、Ｒ０ ，Ｇ０ ，Ｂ０ は変換前のＲＧＢ値であり、Ｒ１ ，Ｇ１ ，Ｂ１ は変換後のＲＧＢ値である。
【０１０６】
また、第２車両をカラー表示する場合は、接近車両検出部１３に入力される映像データに関するＲＧＢ値をグラフィックメモリに記録し、ステップ１１にて車両として残された移動体の輪郭内部に、グラフィックメモリに記録されたＲＧＢ値を書き込むことにより実現することができる。
【０１０７】
また、第２車両以外の背景映像の輝度を落とすことにより、第２車両を容易に識別可能とすることができる。この場合、背景映像に関する映像データにおけるＲＧＢ値をＹＣｂＣｒ値（Ｙは輝度値、Ｃｂ，Ｃｒは色信号）に変換し、Ｙの値をより小さい値Ｙ１に変換し、再度ＲＧＢ値に変換することにより、背景映像の輝度を落とすことができる。この輝度値の変換はモノクロデータの変換の場合と同様、映像保持部１５の出力、又は映像選択部１４の出力の何れかの映像データを用いて行う。
【０１０８】
なお、ＲＧＢ値からＹＣｂＣｒ値への変換は以下の式により行うことができ、ＡＳＩＣ又はＦＰＧＡなどにより容易に実現することができる。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｂ＝−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ
Ｃｒ＝０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ
【０１０９】
また他に、第２車両以外の背景映像を２値化して表示することにより、第２車両を容易に識別可能とすることができる。即ち、ＲＧＢ値に基づき輝度値（Ｙ値）を算出し、Ｙ値が所定の閾値以上である場合は、白色として（Ｒ，Ｂ，Ｇ）＝（２５５，２５５，２５５）に設定し、閾値より小さい場合は黒色として、（Ｒ，Ｂ，Ｇ）＝（０，０，０）に設定する。
【０１１０】
閾値の設定としては、左右両側方映像の輝度に関するヒストグラムを使用して行う。左右両側方映像の輝度に関してヒストグラムを算出した場合、空領域及び路面領域においてピークを得ることができるため、夫々のピークの間にて閾値を設定することにより、空領域と路面領域とを識別できる２値化された背景映像を表示することができる。
【０１１１】
なお、ヒストグラムの算出は、映像切替部１８にて外部装置２３の出力から左右両側方映像の出力へと切り替えられたときに１度行えばよい。また、ＲＧＢ値からのＹ値の算出、ヒストグラムの算出、及び閾値による背景映像の２値化は、映像保持部１５の出力、又は映像選択部１４の出力の何れかの映像データを用いて行えばよく、ＡＳＩＣ又はＦＰＧＡにより実現可能であり、ＣＰＵを用いて行えば更に容易に実現することができる。
【０１１２】
また、接近してくる第２車両をモニタ２２での映像によりドライバが識別可能であるマーキングであれば、上述したものの他、どのようなものであってもよい。
【０１１３】
更に、ステップ１４におけるモニタ２２での表示においては、接近してくる第２車両が撮像されている左右何れかの側方映像のみを拡大して全画面表示することも可能である。この場合、接近車両検出部１３から映像選択部１４へ、何れの側方映像に接近してくる第２車両が存在するかを示す信号が送信される。映像選択部１４は、受信した信号に示された側方映像に関する映像データを画素単位で選択する。即ち、左側方映像中に第２車両が表示されている場合であれば、Ａ／Ｄ変換器１１から入力された映像データのうち、各１ライン毎に１〜３２０画素に対応する画素データを選択し、右側方映像中に第２車両が表示されている場合であれば、３２１〜６４０画素に対応する画素データを選択する。
【０１１４】
次に、映像選択部１４は、選択した画素データを映像保持部１５へ出力する。映像保持部１５は、入力された画素データを１画素ずつ１ライン単位で映像生成部１６へ送信し、映像生成部１６は、左右何れかの側方映像を拡大した映像をモニタ２２にて表示すべく前記画素データを補完するための補完データを生成する。
【０１１５】
画素データ及び補完データにより、左右何れかの側方映像を拡大表示するための表示データを生成し、該表示データが示す映像に、前述したマーキングをオーバレイ表示する。図１０は、右側方から接近してくる第２車両にマーキングして拡大表示した映像の一例を示す模式図である。
【０１１６】
また、ステップ５にて第１車両が停止状態でないと判定した場合であり、更に第１車両の移動速度Ｖが、０＜Ｖ＜αであると判定した場合は（Ｓ１５）、ステップ６以降ステップ１３までの処理は行わず、左右両側方映像をモニタ２２にて表示する（Ｓ１４）。また、ステップ１５にて第１車両の移動速度Ｖが、Ｖ＞αであると判定した場合は、モニタ２２は外部装置２３に接続された状態を維持する。なお、速度αは、例えばα＝５ｋｍ／ｈなどと適宜値を予め設定しておく。
【０１１７】
本実施に係る警報情報生成方法及び車両側方映像生成装置１によれば、撮像した左右両側方映像に関する映像データに基づき、接近してくる第２車両を検出し、該第２車両の到達予測時間を算出し、該到達予測時間が所定の閾値以下であると判定した場合に、前記第２車両を容易に識別可能にモニタ２２にて表示し、オーディオ等の音声情報による警告を行い、また、前記第２車両が含まれている側方映像のみをモニタ２２にて拡大表示するため、例えば、交差点へ第１車両が進入する場合であり、更に、接近車両が近傍に存在する場合にのみ、即ち、ドライバが必要とする場合にのみモニタ２２にて側方映像を表示でき、視覚及び聴覚を通じて接近車両を容易に認識させることができ、第２車両との衝突等の危険性を回避することができる。
【０１１８】
また、第１車両の停止判定を行うため、特に、左右両側方映像に基づきフレーム間差分を行い２値化した２値データに基づき停止判定を行うため、更に正確に交差点での停止状態を検出することができ、不必要時にモニタ２２にて側方映像を表示することがない。
【０１１９】
また、接近する第２車両を検出するに際し、輝度に関して得たフレーム間差分値を２値化した２値データに基づいて検出するため、静止物を車両として誤検出することなく、従来に比してより正確に移動体のみを検出することができる。
【０１２０】
また、２値化する際に、ライト信号、輝度に関する空間差分値に基づき閾値を補正するため、夜間及び昼間でのコントラストの違い、又は、逆光時における左右夫々の側方映像のコントラストの違い等を補正でき、第２車両の誤検出を抑制することができる。
【０１２１】
また、検出した移動体の最下部が路面領域内に存在しない場合は、該移動体をノイズとして除去するため、第２車両の検出精度を向上させることができる。また、前記路面領域をステア信号、車道及び歩道の境界線、色相データ等に基づき補正するため、第１車両の姿勢に拘わらず比較的正確に路面領域を設定することができ、更に、移動体の速度ベクトルと路面領域の上下境界線の方向ベクトルとを用いた車両判定を行うため、ノイズの除去を的確に行うことが可能である。
【０１２２】
【発明の効果】
第１発明に係る車両側方映像生成方法による場合は、例えば、交差点へ第１車両が進入する場合に、第２車両が近傍に接近していることをドライバに認識させることができ、交差点への進入時の危険性を回避させることができる。
また、所定時間中に移動した物体のみを検出することができ、静止物を車両と誤検出することを防止することができる。
さらに、ライトを点灯しない昼間に撮像する映像と、ライトを点灯する夜間に撮像する映像とのコントラストの差による移動体の検出誤差を抑制することができる。
【０１２３】
第２発明に係る車両側方映像生成装置による場合は、例えば、青信号時の交差点を直進して通過する場合など、不必要時に側方映像が表示されることを防止することができる。
また、所定時間中に移動した物体のみを検出することができ、静止物を車両と誤検出することを防止することができる。
さらに、ライトを点灯しない昼間に撮像する映像と、ライトを点灯する夜間に撮像する映像とのコントラストの差による移動体の検出誤差を抑制することができる。
【０１２５】
第３発明に係る車両側方映像生成装置による場合は、第１車両の移動速度に基づき、例えば第１車両が交差点へ進入して停止した場合に他の移動体の検出、及び側方映像のモニタでの表示を可能とすることができる。
【０１２６】
第４発明に係る車両側方映像生成装置による場合は、第１車両が停止しているか否かをより正確に判定することができる。
【０１２８】
第５発明に係る車両側方映像生成装置による場合は、左右何れかの側方が逆光となるなどして左右夫々の側方映像におけるコントラストが比較的大きく異なる場合であっても、移動体の検出誤差を抑制することができる。
【０１２９】
第６発明に係る車両側方映像生成装置による場合は、空中を浮遊する木の葉、高架上を走行する電車等を車両として誤検出することを防止することができる。
【０１３０】
第７発明に係る車両側方映像生成装置による場合は、交差点へ進入する場合等における進入角度に応じて路面領域を補正でき、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【０１３１】
第８発明に係る車両側方映像生成装置による場合は、前記境界線を有する路面に関して路面領域をより正確に補正することができ、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【０１３２】
第９発明に係る車両側方映像生成装置による場合は、色相が比較的均一な領域を路面領域として補正することができ、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【０１３３】
第１０発明に係る車両側方映像生成装置による場合は、車道を横断する方向に移動する移動体を車両として誤検出することを防止することができる。
【０１３４】
第１１発明に係る車両側方映像生成装置による場合は、接近する第２車両が存在する場合にのみ表示データを生成することができる。
【０１３５】
第１２発明に係る車両側方映像生成装置による場合は、交差点への進入時等における危険性を判定することができる。
【０１３６】
第１３発明に係る車両側方映像生成装置による場合は、ドライバに対して危険を認識させることができる。
【０１３７】
第１４発明に係る車両側方映像生成装置は、例えば、接近してくる第２車両をデフォルメ表示し、又は、マーキングするなどしてドライバが認識しやすくさせることができる。
【図面の簡単な説明】
【図１】本発明に係る車両側方映像生成装置の構成を示すブロック図である。
【図２】本発明に係る車両側方映像生成装置１の動作を説明するためのフローチャートである。
【図３】進入道路に対して直角に交差点へ進入した場合の左右両側方映像（ａ）及びその時の第１車両の交差点への進入状況（ｂ）を説明するための模式図である。
【図４】進入道路に対して左へ傾いて交差点へ進入した場合の左右両側方映像（ａ）及びその時の第１車両の交差点への進入状況（ｂ）を説明するための模式図である。
【図５】時刻ｔ及び時刻ｔ＋ｎでの車両の存在領域（ａ）及び抽出された動領域（ｂ）を説明するための模式図である。
【図６】動領域の下端と路面領域との関係により行うノイズの除去を説明するための模式図である。
【図７】移動体の抽出された動領域（ａ）と、移動体の実際の輪郭（ｂ）との一例を示す模式図である。
【図８】移動体の移動方向を予測してノイズを除去する処理を説明するための模式図である。
【図９】接近してくる第２車両をマーキングしたものをモニタにて表示した映像の一例を示す模式図である。
【図１０】右側方から接近してくる第２車両にマーキングして拡大表示した映像の一例を示す模式図である。
【符号の説明】
１ 車両側方映像生成装置
１１ Ａ／Ｄ変換器
１２ 停止判定部
１３ 接近車両検出部
１４ 映像選択部
１５ 映像保持部
１６ 映像生成部
１７ Ｄ／Ａ変換器
１８ 映像切替部
【発明の属する技術分野】
本発明は、車両における左右両側方の映像に基づいて接近車両を検出し、検出した接近車両を容易に視認すべく、該接近車両を映す側方映像を拡大表示する映像を生成するための車両側方映像生成方法及び車両側方映像生成装置に関するものである。
【０００２】
【従来の技術】
従来、信号が設置されていない交差点へ車両を進入させる場合、ドライバは、車両の側方から接近してくる他の車両を車窓外に視線を投じて確認する必要があり、特に、ドライバからの視野範囲が狭小な場所などでは交差点への進入が困難となり、確認作業の煩瑣さ、及び危険性を伴うものであった。この問題に対処すべく、車両の側方を撮像して車両内部に備えたモニタに表示することにより、表示された映像を用いて接近車両等を把握し、交差点へ進入する場合の確認の煩瑣さ及び危険性を回避するための装置が開示されている（特開平６−１７１４２６号、特開平１０−２２９５１２号参照）。
【０００３】
前記装置によれば、車両前部にプリズムを突設させ、該プリズムを用いて車両の左右両側方映像を光学的に一つに合成した映像を、ＣＣＤカメラ等の撮像部を用いて撮像し、撮像した映像を車両内部に設置したモニタにて表示すべくなしてある。
【０００４】
ところで、前記モニタは、近年普及が激しいカーナビゲーションシステムにて用いられるモニタを併用することが考えられる。しかしながら前記装置では、ナビゲーション情報及び左右両側方映像の何れをモニタにて表示するかは、ドライバのスイッチ操作により決定される。従って、交差点へ進入する都度スイッチ操作を行うのは煩瑣である。
【０００５】
上記問題を解決することを目的とする装置が開示されている（特開平１１−５５６５６号、特開平１１−２４９５５６号参照）。該装置によれば、車速センサを用いることにより、停止時又は低速時に左右両側方映像をモニタにて表示し、又は、カーナビゲーションシステムを用いて交差点の位置を認識し、交差点へ接近した場合に左右両側方映像をモニタにて表示すべくなしてある。
【０００６】
【発明が解決しようとする課題】
しかしながら前記装置では、交差点へ接近する他の車両が存在するか否かに拘わらず、停止時、低速時、又は交差点への接近時に、モニタの表示は左右両側方映像に切り替わってしまう。また、車速センサとして用いられ、磁力に基づいて検出を行う車輪速センサ等では、略停止状態での速度を正確に検出することは困難である。
【０００７】
接近車両の存否を判定すべく、撮像部にて撮像した映像を画像処理し、モニタの隣り合う画素の輝度に基づきエッジ検出を行うことにより、接近車両の存否を判定し、接近車両が存在する場合に警告を行うものが開示されているが（特開平１１−３０６４９９号参照）、エッジ検出により接近車両の存否を判定するため、接近車両以外の静止物であっても映像上にて輝度差が大きい物体を車両として検出する場合がある。
【０００８】
更に、例えば左折すべく交差点へ進入した車両のドライバにとっては、進入車線における右側方から接近してくる他の車両が存在するか否かが問題であり、必ずしも左側方の映像を必要とはしない。しかしながら前記装置の何れにおいても、接近車両の存否に基づき何れか一側方の映像のみをモニタにて全画面表示する機能を有していない。
【０００９】
本発明は、上述したような事情に鑑みてなされたものであり、本発明に係る車両側方映像生成装置が備えられた車両（第１車両）に設置された撮像部によって撮像された左右両側方映像に関する映像データに基づき、前記左右両側方映像に表示される車両（第２車両）を検出し、該第２車両を検出した場合に該第２車両を表示する左右何れか一方の側方映像をモニタに拡大表示すべく表示データを生成することにより、第２車両が存在しない場合にモニタ表示せず、第２車両を検出した場合にのみモニタにて映像を表示することができ、更に、第２車両を表示する側の側方映像を拡大表示することができる車両側方映像生成方法及び車両側方映像生成装置を提供することを目的とする。
【００１０】
また例えば、第１車両が交差点へ進入する際に側方を視認するために停止したとき、又は低速になったときに第２車両の検出を行い、第２車両が接近してくる場合にモニタにて側方映像を表示することにより、停止時、低速時、又は交差点への接近時に、接近車両の存否に拘わらずモニタにて左右両側方映像が表示されることがない車両側方映像生成方法及び車両側方映像生成装置を提供することを目的とする。
【００１１】
また、所定時間を空けて取得した２つの映像データに基づき、夫々の映像データのうちモニタの各画素に対応する画素データの輝度に関する時間差分値を生成し、該時間差分値を所定の閾値（差分閾値）により２値化した２値データを生成し、該２値データにより第１車両の速度の検出、及び移動体の検出を行うことにより、略停止状態での速度をより正確に検出でき、また、静止物を移動体として誤検出することがない車両側方映像生成方法及び車両側方映像生成装置を提供することを目的とする。
【００１２】
更に、接近してくる第２車両が第１車両へ到達する到達予測時間を算出し、算出した到達予測時間が所定の閾値以下である場合に、警告情報を出力することにより、交差点への進入時等にドライバに対して接近車両の存在を認識させることができ、危険性を回避させることができる車両側方映像生成方法及び車両側方映像生成装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
第１発明に係る車両側方映像生成方法は、第１車両に設けた撮像部が撮像する左右両側方映像に関する映像データに基づき、接近する第２車両の存在を示す警告情報を生成して出力する車両側方映像生成方法において、前記映像データに基づき、前記左右両側方映像にて前記第１車両に接近する前記第２車両が存在するか否かを判定し、前記第２車両が存在すると判定した場合は該第２車両が前記第１車両に到達するまでの到達予測時間を算出し、該到達予測時間が所定の閾値以下であるか否かを判定し、前記到達予測時間が前記閾値以下であると判定した場合は警告情報を出力し、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち表示する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成し、生成した時間差分値を所定の差分閾値に基づき２値化した２値データを生成し、生成した２値データに基づき前記第２車両を検出し、前記第１車両が具備する車外ライトの点灯状況を示すライト信号を受信し、受信したライト信号に基づき前記差分閾値を補正することを特徴とする。
【００１４】
第１発明に係る車両側方映像生成方法による場合は、左右両側方映像に関する映像データに基づき、接近してくる第２車両が存在すると判定した場合に、到達予測時間を算出し、該到達予測時間が所定の閾値以下である場合に警告情報を出力することにより、例えば、交差点へ第１車両が進入する場合に、第２車両が近傍に接近していることをドライバに認識させることができ、交差点への進入時の危険性を回避させることができる。
また、所定時間を空けて撮像された２つの映像データの夫々が有する画素データの輝度に関する差分値（時間差分値）を生成して２値化した２値データに基づいて移動体を検出することにより、前記所定時間中に移動した物体のみを検出することができ、静止物を車両と誤検出することを防止することができる。
さらに、第１車両が有する車外ライトの点灯状況を示すライト信号に基づいて、前記時間差分値を２値化する場合の差分閾値を補正することにより、ライトを点灯しない昼間に撮像する映像と、ライトを点灯する夜間に撮像する映像とのコントラストの差による移動体の検出誤差を抑制することができる。
【００１５】
第２発明に係る車両側方映像生成装置は、第１車両における左右両側方の映像である左右両側方映像に関する映像データに基づき、表示部にて表示すべく前記第１車両における側方の映像である側方映像に関する表示データを生成するために用いる車両側方映像生成装置において、前記映像データに基づき、前記左右両側方映像に表示される第２車両を検出する手段を備え、前記第２車両を検出する手段は、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち前記表示部が有する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成する手段と、生成した時間差分値を所定の差分閾値に基づいて２値化した２値データを生成する手段と、生成した２値データに基づき移動体を検出する手段とを備え、前記第１車両が具備する車外ライトの点灯状況を示すライト信号を受信する手段と、受信したライト信号に基づき前記差分閾値を補正する手段とをさらに備えることを特徴とする。
【００１６】
第２発明に係る車両側方映像生成装置による場合は、接近する第２車両を検出し、第２車両が存在する側方の映像を拡大表示するための表示データを生成することにより、例えば、青信号時の交差点を直進して通過する場合など、不必要時に側方映像が表示されることを防止することができる。
また、所定時間を空けて撮像された２つの映像データの夫々が有する画素データの輝度に関する差分値（時間差分値）を生成して２値化した２値データに基づいて移動体を検出することにより、前記所定時間中に移動した物体のみを検出することができ、静止物を車両と誤検出することを防止することができる。
さらに、第１車両が有する車外ライトの点灯状況を示すライト信号に基づいて、前記時間差分値を２値化する場合の差分閾値を補正することにより、ライトを点灯しない昼間に撮像する映像と、ライトを点灯する夜間に撮像する映像とのコントラストの差による移動体の検出誤差を抑制することができる。
【００１９】
第３発明に係る車両側方映像生成装置は、第２発明に係る車両側方映像生成装置において、前記第１車両の移動速度を検出する手段と、検出した前記移動速度が所定の速度閾値以下であるか否かを判定する手段と、速度閾値以下であると判定した場合に前記第２車両の検出を行う手段とを更に備えることを特徴とする。
【００２０】
第３発明に係る車両側方映像生成装置による場合は、検出した第１車両の移動速度が所定の閾値（速度閾値）以下であると判定した場合に、移動体の検出を行うことにより、第１車両の移動速度に基づき、例えば第１車両が交差点へ進入して停止した場合に他の移動体の検出、及び側方映像のモニタでの表示を可能とすることができる。
【００２１】
第４発明に係る車両側方映像生成装置は、第３発明に係る車両側方映像生成装置において、前記第１車両の移動速度を検出する手段は、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち前記表示部が有する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成する手段と、生成した時間差分値を所定の差分閾値に基づいて２値化した２値データを生成する手段と、生成した２値データに基づき移動速度を検出する手段とを備えることを特徴とする。
【００２２】
第４発明に係る車両側方映像生成装置による場合は、第１車両の移動速度を検出する際に、時間差分値を生成して２値化した２値データに基づき、移動速度を検出することにより、第１車両が停止しているか否かをより正確に判定することができる。
【００２５】
第５発明に係る車両側方映像生成装置は、第２乃至第４発明の何れかに係る車両側方映像生成装置において、同時的に取得した左右夫々の側方映像における隣接する画素に対する画素データに関する輝度の空間差分値を生成する手段と、生成した空間差分値に基づき前記差分閾値を補正する手段を更に備えることを特徴とする。
【００２６】
第５発明に係る車両側方映像生成装置による場合は、左右夫々の側方映像にて隣接画素の画素データの輝度に関する差分値（空間差分値）を生成し、該空間差分値に基づいて前記差分閾値を補正することにより、左右何れかの側方が逆光となるなどして左右夫々の側方映像におけるコントラストが比較的大きく異なる場合であっても、移動体の検出誤差を抑制することができる。
【００２７】
第６発明に係る車両側方映像生成装置は、第２乃至第５発明の何れかに係る車両側方映像生成装置において、検出された前記移動体の最下部が、予め設定された路面領域内に存在するか否かを判定する手段と、存在すると判定した場合に前記移動体を前記第２車両であると判定する手段とを更に備えることを特徴とする。
【００２８】
第６発明に係る車両側方映像生成装置による場合は、検出した移動体の最下部が、路面領域内に存在すると判定した場合に、前記移動体を第２車両と判断することにより、空中を浮遊する木の葉、高架上を走行する電車等を車両として誤検出することを防止することができる。
【００２９】
第７発明に係る車両側方映像生成装置は、第６発明に係る車両側方映像生成装置において、前記第１車両が具備するステアリングの回転角度に関する角度信号を受信する手段と、受信した角度信号に基づき前記路面領域を補正する手段とを更に備えることを特徴とする。
【００３０】
第７発明に係る車両側方映像生成装置による場合は、第１車両のステアリングの回転角度に基づき前記路面領域を補正することにより、交差点へ進入する場合等における第１車両の進入角度に応じて路面領域を補正でき、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【００３１】
第８発明に係る車両側方映像生成装置は、第６又は第７発明に係る車両側方映像生成装置において、前記映像データにて前記左右両側方映像に含まれる車道及び歩道の境界を示す境界線に関する境界線データを検出する手段と、検出した境界線データに基づき前記路面領域を補正する手段とを更に備えることを特徴とする。
【００３２】
第８発明に係る車両側方映像生成装置による場合は、車道及び歩道の境界を示す境界線が左右両側方映像内に撮像されている場合は、前記境界線に基づいて路面領域を補正することにより、前記境界線を有する路面に関して路面領域をより正確に補正することができ、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【００３３】
第９発明に係る車両側方映像生成装置は、第６乃至第８発明の何れかに係る車両側方映像生成装置において、前記左右両側方映像における色相に関する色相データを生成する手段と、生成した色相データに基づき前記路面領域を補正する手段とを更に備えることを特徴とする。
【００３４】
第９発明に係る車両側方映像生成装置による場合は、左右両側方映像における色相データに基づいて路面領域を補正することにより、色相が比較的均一な領域を路面領域として補正することができ、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【００３５】
第１０発明に係る車両側方映像生成装置は、第２乃至第９発明の何れかに係る車両側方映像生成装置において、検出された前記移動体の移動方向を算出する手段と、算出した移動方向が所定の範囲内にあるか否かを判定する手段と、所定の範囲内にあると判定した場合に前記移動体を前記第２車両であると判定する手段とを更に備えることを特徴とする。
【００３６】
第１０発明に係る車両側方映像生成装置による場合は、検出した移動体の移動方向が所定範囲内にある場合に第２車両と判断することにより、車道を横断する方向に移動する移動体を車両として誤検出することを防止することができる。
【００３７】
第１１発明に係る車両側方映像生成装置は、第１０発明に係る車両側方映像生成装置において、前記移動方向に基づき、前記移動体が接近しているか否かを判定する手段と、接近していると判定した場合に、前記表示データを生成する手段とを更に備えることを特徴とする。
【００３８】
第１１発明に係る車両側方映像生成装置による場合は、移動体の移動方向に基づき、第２車両が接近しているか否かを判定することにより、接近する第２車両が存在する場合にのみ表示データを生成することができる。
【００３９】
第１２発明に係る車両側方映像生成装置は、第１１発明に係る車両側方映像生成装置において、接近していると判定した前記移動体に関し、到達予測時間を算出する手段を更に備えることを特徴とする。
【００４０】
第１２発明に係る車両側方映像生成装置による場合は、接近する第２車両が第１車両へ到達する時間に関する到達予測時間を算出することにより、交差点への進入時等における危険性を判定することができる。
【００４１】
第１３発明に係る車両側方映像生成装置は、第１１又は第１２発明に係る車両側方映像生成装置において、前記到達予測時間が所定の時間閾値以下であるか否かを判定する手段と、時間閾値以下であると判定した場合に警告信号を出力する手段とを備えることを特徴とする。
【００４２】
第１３発明に係る車両側方映像生成装置による場合は、到達予測時間が所定の閾値（時間閾値）以下である場合に警報信号を出力することにより、ドライバに対して危険を認識させることができる。
【００４３】
第１４発明に係る車両側方映像生成装置は、第１１乃至第１３発明の何れかに係る車両側方映像生成装置において、接近していると判定した前記移動体を前記表示部にて識別可能に表示するための識別データを生成する手段を更に備えることを特徴とする。
【００４４】
第１４発明に係る車両側方映像生成装置は、接近してくる第２車両を表示部にて識別可能に表示すべく識別データを生成することにより、例えば、接近してくる第２車両をデフォルメ表示し、又は、マーキングするなどしてドライバが認識しやすくさせることができる。
【００４５】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
図１は、本発明に係る車両側方映像生成装置１の構成を示すブロック図である。車両側方映像生成装置１はＡ／Ｄ変換器１１を備え、ＣＣＤカメラ等を用いて構成された撮像部２１との間にて通信可能に接続されている。また、Ｄ／Ａ変換器１７及び該Ｄ／Ａ変換器１７に接続された映像切替部１８を備え、該映像切替部１８は、液晶ディスプレイを用いて構成されたモニタ２２及びカーナビゲーションシステム等を実現する外部装置２３との間にて通信可能に接続されている。
【００４６】
なお、本実施の形態におけるモニタ２２は、前記カーナビゲーションシステムにて用いられる液晶ディスプレイを併用している場合について説明するが、専用のディスプレイを用いて構成してもよいことは言うまでもない。
【００４７】
撮像部２１とＡ／Ｄ変換器１１との間における信号の伝送にはアナログ信号が用いられており、この場合、Ａ／Ｄ変換器１１は、ＲＧＢデコーダ（例えば、三菱電機製Ｍ５２０４２）及び３チャンネルＡ／Ｄコンバータ（例えば、ＳＯＮＹ製ＣＸＤ２３０３）を組み合わせて構成する。また他に、ビデオデコーダ（例えば、沖電気製ＭＳＭ７６６４ＢＴＢ）１チップにより構成するなど、種々の構成にて実現することができる。
【００４８】
また、Ｄ／Ａ変換器１７から映像切替部１８を介してモニタ２２との間にて行われる信号の伝送もアナログ信号が用いられており、この場合、Ｄ／Ａ変換器１７は、３チャンネルＤ／Ａコンバータ（例えば、ＳＯＮＹ製ＣＸＤ２３０４）及びＲＧＢエンコーダ（例えば、富士通製ＭＢ３５１６Ａ）を組み合わせて構成する。また他に、ビデオエンコーダ（例えば、沖電気製ＭＳＭ７６５４ＧＡ）１チップにより構成するなど、種々の構成により実現することができる。なお、モニタ２２がＮＴＳＣコンポジット入力対応のものでなく、アナログＲＧＢ入力対応のものである場合、Ｄ／Ａ変換器１７はＲＧＢエンコーダを省略した構成にすることができる。
【００４９】
アナログ信号は、モニタ２２における走査ラインに対応する複数の画素にて表示すべきＲＧＢ値（赤、緑、青信号成分）又はＹＵＶ値（輝度信号成分、色信号成分）を有しており、モニタ２２にてインターレース表示できるようになっている。
【００５０】
Ａ／Ｄ変換器１１は停止判定部１２に接続されており、撮像部２１にて撮像されてＡ／Ｄ変換器１１へ入力された映像データは更に前記停止判定部１２へ入力される。停止判定部１２は本発明に係る車両側方映像生成装置１を搭載する車両（第１車両）の移動速度を検出し、停止しているか否かの判定を行う機能を有しており、入力された映像データを画像処理し、更に、車速センサから取得する車速信号、ブレーキのオン／オフを示すブレーキ信号等に基づき判定を行う。また、第１車両が停止状態であると判定した場合には映像切替部１８へその旨を示す信号を出力すべくなしてある。
【００５１】
また、Ａ／Ｄ変換器１１は接近車両検出部１３に接続されており、Ａ／Ｄ変換器１１から出力された映像データは接近車両検出部１３へ入力される。接近車両検出部１３は、入力された映像データを画像処理し、後述する路面領域の補正、フレーム間差分、２値化、移動体の移動方向判定等を行うことにより接近してくる車両（第２車両）の検出を行う。また、路面領域の補正に用いるため、車外ライトのオン／オフを示すライト信号、ステアリングの回転角度を示すステア信号が入力され、また、モニタ２２に表示する映像をドライバの要求に応じて切り替えるためのスイッチ信号が入力されるようになっている。更に、接近する第２車両を検出した場合に、ドライバへ報知するための警告信号を出力し、また、モニタ２２が外部装置２３に接続しているときにＤ／Ａ変換器１７の出力がモニタ２２にて表示されるべくその旨を示す信号が映像切替部１８へ出力されるようになっている。
【００５２】
更に、Ａ／Ｄ変換器１１は映像選択部１４に接続されており、Ａ／Ｄ変換器１１から出力された映像データは映像選択部１４へ入力される。また、該映像選択部１４へは、接近車両検出部１３が接近してくる第２車両を検出した場合に、撮像部２１にて撮像される左右両側方映像における左右何れの側方にて第２車両が検出されたかを示す信号が入力される。映像選択部１４は、接近車両検出部１３から入力された信号に基づき、Ａ／Ｄ変換器１１から入力された映像データにおいて、モニタ２２が有する複数の画素に対応する画素データの選択を行う。即ち、左右何れか側方に第２車両が検出された場合、第２車両が検出された側方の映像に関する画素データを選択し、選択した画素データを映像保持部１５へ出力する。
【００５３】
映像保持部１５は、入力された画素データのうち、モニタ２２における１ライン分の映像に相当する量のデータを保持することができ、入力された順序にてデータを出力するＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）構造になっている。
【００５４】
映像保持部１５から出力されたデータは、映像生成部１６へ入力される。また、映像生成部１６へは、接近車両検出部１３が接近してくる第２車両を検出した場合に、該第２車両に関するデータと、左右何れの側方に第２車両が検出されたかを示す信号とが入力される。映像生成部１６は、前記信号に基づき、第２車両が検出された側方の映像をモニタ２２にて拡大表示するため、映像保持部１５から入力された左右何れか側方の映像に関する画素データを補完する補完データを生成する。また、モニタ２２にて第２車両を識別しやすくするため、接近車両検出部１３から入力された第２車両に関するデータに基づき、該第２車両を映像上にてＣＧ表示、マーキング表示するための識別データを生成する。更に、前記画素データ、補完データ及び識別データを用い、モニタ２２上にて表示するための表示データを生成する。
【００５５】
映像生成部１６にて生成された表示データは、Ｄ／Ａ変換器１７及び映像切替部１８を介してモニタ２２へ出力される。映像切替部１８には、停止判定部１２から第１車両が停止状態であることを示す信号が入力され、接近車両検出部１３から接近してくる第２車両を検出したことを示す信号が入力される。映像切替部１８は、停止判定部１２及び／又は接近車両検出部１３から信号が入力された場合はＤ／Ａ変換器１７を介して入力される表示データをモニタ２２へ出力し、また、信号が入力されない場合は、カーナビゲーションシステム等の外部装置２３をモニタ２２に接続可能とすることにより、モニタ２２における表示モードを切り替える。
【００５６】
なお、上述した停止判定部１２及び接近車両検出部１３はＣＰＵ（ＳＨ７７５０）等により実現可能であり、また、映像選択部１４、映像保持部１５及び映像生成部１６は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｅｄ ＩＣ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等により容易に実現することができる。
【００５７】
また、上述した構成では、撮像部２１から送信する映像に関する信号としてアナログ信号を用いる場合について説明したが、前記Ａ／Ｄ変換器１１及びＤ／Ａ変換器１７に替えてディジタル入出力回路を備えることにより、撮像部２１が撮像した映像に関するディジタル信号をそのまま送信することができる。
【００５８】
この場合、撮像部２１、モニタ２２及びディジタル入出力回路のインタフェースには、例えば、物理層及びリンク層の規格としてＩＥＥＥ１３９４などのプロトコルを使用し、また、撮像部２１及びディジタル入出力回路の間でのデータの送受信では、１３９４−ｂａｓｅｄ Ｄｉｇｉｔａｌ Ｃａｍｅｒａ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｖｅｒ．１．２に従ってＹＵＶ４：２：２フォーマットの映像信号を用いればよい。
【００５９】
次に、上述した構成をなす本発明に係る車両側方映像生成装置１の動作について、図２に示すフローチャートを用いて説明する。
初めに、スイッチ信号に基づくモニタ２２における表示状態、及び、外部装置２３とモニタ２２との接続状態等のモードチェックを行い（Ｓ１）、撮像部２１にて撮像した映像をＡ／Ｄ変換器１１へ取り込む（Ｓ２）。Ａ／Ｄ変換器１１へ取り込まれた映像に関する映像データを用い、接近車両検出部１３は、フレーム間差分で得られる差分映像を２値化する際の差分閾値の補正を行う（Ｓ３）。
【００６０】
差分閾値を補正する場合、第１車両に備えられた車外ライトが点灯しているか否かを示すライト信号を用いて補正を行う。即ち、車外ライトが点灯している場合は、夜間の標準の差分閾値を用い、また、車外ライトが点灯していない場合は、昼間の標準の差分閾値を用いるよう補正する。なお、夜間及び昼間の標準の差分閾値は予め算出しておいたものを用いる。
【００６１】
また、左右それぞれの側方映像において、一方が逆光等となっていることによりそれぞれの側方映像間にてコントラストに比較的大きな差が生じている場合は、統計処理に基づき差分閾値の補正を行う。即ち、入力された映像データ中にて隣接画素における輝度の差分値を算出し、該差分値を有する画素数をリストアップしたヒストグラムを作成する。該ヒストグラムにおいて画素数が最大である差分値Ｄｍ を基にし、標準の差分閾値Ｔ０ に対して補正された差分閾値Ｔ１ を以下の式（１）により算出する。
Ｔ１ ＝Ｔ０ ＋Ａ（Ｄｍ −Ｄ０ ） ・・・（１）
なお、式（１）中、Ａは定数、Ｄ０ は標準状態において作成したヒストグラムにて画素数が最大となる差分値である。
【００６２】
次に第１車両の速度の検出を行い（Ｓ４）、停止判定部１２にて第１車両が停止（速度Ｖ＝０）しているか否かを判定する（Ｓ５）。第１車両が停止していると判定した場合は、接近する第２車両の存否を判定すべく左右両側方映像にて路面領域の補正を行う（Ｓ６）。速度検出及び停止判定は、Ａ／Ｄ変換器１１から入力された映像データ、車速センサ、ブレーキ信号、ナビゲーション情報、レーンマーカ、路車間通信等を利用して行う。以下、これらを利用する場合について夫々説明する。
【００６３】
映像データに基づいて速度検出及び停止判定を行う場合について説明する。
第１車両が移動している場合、周辺の静止物は相対的に後方へ移動し、左側方映像では右から左へ平行移動し、右側方映像では左から右へ平行移動するように表示される。従って、時刻ｔ及び時刻ｔ＋ｎでの映像中の同一平行位置にある所定領域（ブロック）において、輝度値に関する情報の変化を検出することにより、第１車両が停止しているか否かを判定することができる。
【００６４】
初めに、時刻ｔにおいて左側方映像及び右側方映像の夫々について特徴点をブロック単位（例えば、８画素×８画素）で数点設定する。特徴点としては、輝度値の差に基づくエッジ抽出によりエッジ点を算出し、算出したエッジ点を特徴点とするが、この他、予め決められた位置に特徴点を設定してもよい。
【００６５】
次に、時刻ｔ＋ｎにおいて、時刻ｔにて設定した特徴点の探索を行う。即ち、時刻ｔにて設定した特徴点の位置から、左側方映像では左へ、右側方映像では右へ１画素ずつ所定画素数分だけ探索し、時刻ｔにて設定した特徴点が有する輝度値と、探索するブロックが有する輝度値との差分和を算出し、算出した差分和が最小となるブロックを、時刻ｔにて設定した特徴点が移動した場所とみなす。
【００６６】
時刻ｔから時刻ｔ＋ｎの間に前記特徴点が移動している場合は、第１車両が移動しているとみなす。また、前記特徴点が移動していない場合、即ち、時刻ｔにて設定した特徴点と同位置のブロックにおいて、時刻ｔ＋ｎにて輝度値の差分和が最小となった場合、第１車両は停止していると判定する。
【００６７】
車速センサから得られる車速信号に基づき速度検出及び停止判定を行う場合について説明する。
車速信号に基づき速度検出を行う場合、所定の速度（例えば、５ｋｍ／ｈ）以下であるか否かの詳細な判定を行うことができる。ただし、一般の車輪速センサを車速センサとして使用する場合、主として磁気検出により車速を算出するため、第１車両が略停止状態であるときなど極低速を検出することが困難である。従って、極低速を検出可能なホールＩＣ素子等を使用した車輪速センサを用いることにより停止判定を行う。
【００６８】
映像データ、車速信号、及びブレーキ信号に基づき速度検出及び停止判定を行う場合について説明する。
極低速までを車速センサからの車速信号により速度検出し、極低速以下において映像データに基づく速度検出を行うことにより、停止判定の信頼性を向上させることができる。この場合のセンサ信号としては、車輪速センサからの信号、又は、エンジンＥＣＵからの信号の何れでもよい。また、ブレーキ信号を組み合わせることにより、特に、停止状態から移動し始める場合の判定の信頼性を向上させることができる。
【００６９】
ナビゲーション情報を利用して速度検出及び停止判定を行う場合について説明する。
映像データ、車速信号、及びブレーキ信号に基づき車速検出及び停止判定を行う場合、例えば渋滞時などに交差点以外の単路部などにて停止した場合であっても、第２車両を検出すべく路面領域の補正（Ｓ６）が行われる可能性がある。従って、ナビゲーション情報に基づき交差点の検出を行った結果、第１車両が交差点に位置し、更に映像データ及び車速信号等により速度検出を行い第１車両が停止していると判定した場合にのみ、ステップ６での路面領域の補正を行う。
【００７０】
なお、ナビゲーション情報を提供するカーナビゲーションシステムに自立航法が備えられており、ナビゲーション情報から車速情報を取得できる場合は、該車速情報及び映像データに基づいて速度検出を行うこともできる。
【００７１】
レーンマーカを利用して速度検出及び停止判定を行う場合について説明する。交差点の手前に、電波マーカ又は磁気マーカ等のレーンマーカが敷設されており、第１車両がレーンマーカ検出器を備えている場合、前記レーンマーカを検出することにより第１車両が交差点に進入したことを検出することができる。従って、レーンマーカ検出器による交差点への進入を検出し、更に映像データ及び車速信号等により速度検出を行い第１車両が停止していると判定した場合にのみ、ステップ６での路面領域の補正を行う。
【００７２】
路車間通信を利用して速度検出及び停止判定を行う場合について説明する。
交差点の手前に、光ビーコン又はＤＳＲＣ等の路車間通信装置が設置されている場合、第１車両との間にて無線によって通信することにより、交差点への接近を検出することができる。従って、路車間通信により交差点への進入を検出し、更に映像データ及び車速信号等に基づき速度検出を行い第１車両が停止していると判定した場合にのみ、ステップ６での路面領域の補正を行う。
【００７３】
また上述したものの他に、映像データを利用し、左右両側方映像に「止まれ」の標識、交差点に設置されたミラー等が認識された場合に、第１車両が交差点へ接近していると判定することができる。従って、映像データを利用して「止まれ」の標識等を認識し、更に映像データ及び車速信号等に基づき速度検出を行い第１車両が停止していると判定した場合にのみ、ステップ６での路面領域の補正を行うようにしてもよい。
【００７４】
次にステップ６での路面領域の補正について説明する。
左右両側方映像中における路面領域は予め設定されているが、交差点への第１車両の進入角度により、左右両側方映像中の実際の路面領域との間で誤差が生じる。図３は、進入道路に対して直角に交差点へ進入した場合の左右両側方映像（ａ）及びその時の第１車両の交差点への進入状況（ｂ）を説明するための模式図である。また、図４は、進入道路に対して左へ傾いて交差点へ進入した場合の左右両側方映像（ａ）及びその時の第１車両の交差点への進入状況（ｂ）を説明するための模式図である。
【００７５】
直角に進入する場合と比較して左へ傾いて進入する場合、実際の路面領域は、右側方映像では進入道路の消失点が下方に位置し、左側方映像では進入道路の消失点が上方に位置する（図３（ａ）及び図４（ａ）参照）。また、進入道路に対して右へ傾いて進入する場合は逆に、右側方映像では消失点が上方に位置し、左側方映像では消失点が下方に位置する。従って、予め路面領域を設定した場合は、第１車両の姿勢により、実際の路面領域との間に誤差を生じる場合がある。
【００７６】
前記誤差を解消するために接近車両検出部１３にて路面領域の補正を行う。補正する方法としては、車線方向に対する車両の傾きとステアリングの回転角度との間に相関関係があると仮定してステア信号に基づき補正する方法、左右両側方映像にて白線（車道及び歩道の境界線）の位置を検出して該白線の傾きに基づき補正する方法、及び、カラー画像におけるＨＳＩ信号中の色相（Ｈ）により左右両側方映像中の路面領域を検出してこれに基づき補正する方法、等がある。
【００７７】
ステア信号に基づき路面領域を補正する場合について説明する。
交差点にて左折する場合、ドライバはステアリングを左へ回転させ、右折する場合はステアリングを右へ回転させ、これに伴い、第１車両の姿勢は進入道路に対して左向き、右向きとなる。この様に、ステアリングの回転角度と第１車両の姿勢との間には相関関係が成立する。
【００７８】
従って、ステア信号に基づき路面領域を補正することができる。ステア信号が示すステアリングの回転角度と補正量との関係は、予め実験での計測により、撮像された左右量側方映像における各画素位置と位置補正量との関係を示す変換テーブルとして作成しておき、該変換テーブルを参照することにより路面領域を補正する。
【００７９】
白線の位置に基づき路面領域を補正する場合について説明する。
市街地などでは車道及び歩道の境界を表す白線が整備されており、撮像部２１にて撮像した左右両側方映像に表示される白線を検出することにより、路面領域を補正することができる。
【００８０】
予め設定された路面領域の中央線上等に探索点を数点設定し、該探索点を起点として、撮像された左右両側方映像上を上下方向にエッジ探索を行う。即ち、上下画素間の輝度の差分値が最大となる画素であるエッジ点を探索する。探索の結果得られたエッジ点の位置に基づき、最小２乗法等の直線近似により白線位置を算出する。算出した白線位置を用いて、予め設定された路面領域を補正する。
【００８１】
色相に基づき路面領域を補正する場合について説明する。
路面、空などのように色相が均一的なものの場合、撮像される左右両側方映像に関するＲＧＢ値に基づいて色相値を算出することにより、実際の路面領域を推定することができる。以下の式（２）又は式（３）を用いることにより、ＲＧＢ値を用いて色相値（Ｈ）を算出する。
【００８２】
【数１】
【数２】
上記式（２）又は式（３）を用いて算出した色相値により、実際の路面領域を推定し、推定した路面領域に基づき、予め設定された路面領域を補正する。
【００８５】
ステップ６における路面領域の補正を行った後、左右両側方映像中の移動体を検出するために、時刻ｔ及び時刻ｔ＋ｎなど、所定時間（例えば、ｎ＝１００ｍｓ、２００ｍｓ）を空けて撮像した２つの左右両側方映像を用いて夫々のフレーム間にて輝度に関する差分値（時間差分値）を算出し、該時間差分値を所定の閾値（差分閾値）に基づき２値化する（Ｓ７）。
【００８６】
ステップ５にて第１車両は停止（Ｖ＝０）と判定されているため、所定の時間ｎの間に撮像される他の静止物の輝度はほとんど変化がない。これに対し、他の車両などの移動体が所定の時間ｎの間に存在する領域では輝度が比較的大きく変化する。従って、時刻ｔ及び時刻ｔ＋ｎにて撮像した夫々の左右両側方映像にて輝度の時間差分値を算出し、算出した時間差分値を所定の差分閾値に基づいて２値化することにより、時間ｎの間に移動体が移動した領域、即ち動領域を抽出する（Ｓ８）。
【００８７】
なお、既に説明したように、輝度に関する時間差分値は時間帯（昼間、夜間）、逆光などの日照状態により値が異なってくるため、ライト信号、及びコントラストに関する統計処理等を用いて適宜補正する。
【００８８】
ステップ８にて動領域の抽出を行うが、移動体が車両である場合、背景と車両との間では輝度に関する時間差分値が大きく異なるのに対し、時刻ｔでの車両の存在領域と時刻ｔ＋ｎでの前記車両の存在領域との間で重複する領域では、輝度に関する時間差分値が比較的小さくなる場合がある。図５は、時刻ｔ及び時刻ｔ＋ｎでの車両の存在領域（ａ）及び抽出された動領域（ｂ）を説明するための模式図である。図５（ａ）に示すように、時刻ｔでの車両の存在領域Ａ１と、時刻ｔ＋ｎでの車両の存在領域Ａ２との間における重複する領域Ａ３では、輝度に関する時間差分値が小さくなる。従って、２値化した場合は、図５（ｂ）に示すように重複していない存在領域Ａ４，Ａ４のみが動領域として抽出される。そこで、２値データを用い存在領域Ａ４，Ａ４近傍にて上下左右に値１の画素（輝度に関する時間差分値が差分閾値以上の画素）を探索することにより、重複する領域Ａ３を含む移動体の動領域Ａ５を抽出する。
【００８９】
ステップ８にて移動体の動領域を抽出した後、抽出した移動体のうち車両の可能性が低いものをノイズとして除去する（Ｓ９）。即ち、抽出した動領域における下端が、ステップ６にて補正した路面領域内に存在する移動体は車両と推定することができ、また、抽出した動領域における下端が、路面領域内に存在しない移動体は車両ではないと推定でき、ノイズとして除去することができる。
【００９０】
図６は、動領域の下端と路面領域との関係により行うノイズの除去を説明するための模式図である。図６における左右両側方映像では、左上に原点を有し、右方向にｘ軸、下方向にｙ軸が設定されている。また、左側方映像における路面領域は、路面上方境界線が、
ｙ＝ａ１ ｘ＋ｂ１
路面下方境界線が、
ｙ＝ａ２ ｘ＋ｂ２
となっており、右側方映像における路面領域は、路面上方境界線が、
ｙ＝ａ３ ｘ＋ｂ３
路面下方境界線が、
ｙ＝ａ４ ｘ＋ｂ４
となっている。
【００９１】
従って、左側方映像の場合は、移動体の動領域の下端座標（ｘ１ ，ｙ１ ）が下記不等式を共に満たす場合に、前記移動体を車両と判定する。
ｙ＞ａ１ ｘ＋ｂ１
ｙ＜ａ２ ｘ＋ｂ２
また、右側方映像の場合は、移動体の動領域の下端座標（ｘ２ ，ｙ２ ）が下記不等式を共に満たす場合に、前記移動体を車両と判定する。
ｙ＞ａ３ ｘ＋ｂ３
ｙ＜ａ４ ｘ＋ｂ４
【００９２】
次に、ステップ９にてノイズ除去を行った結果、残った動領域が示す移動体の輪郭を抽出する（Ｓ１０）。即ち、ステップ８にて抽出した移動体の動領域は、時刻ｔ及び時刻ｔ＋ｎの左右両側方映像に基づいて抽出しているため、最新の時刻である時刻ｔ＋ｎにおける実際の車両位置とは時間ｎだけ誤差が生じているため、時刻ｔ＋ｎでの移動体のより正確な輪郭を抽出する。図７は、移動体に関して抽出された動領域（ａ）と、移動体の実際の輪郭（ｂ）との一例を示す模式図である。
【００９３】
時刻ｔ＋ｎにおける左右両側方映像において、抽出された動領域Ａ５の近傍にてエッジ抽出を行うことにより移動体の輪郭をより正確に抽出することができる。具体的には、動領域Ａ５の垂直方向の輪郭上にて数点の輪郭代表点を設定し、設定した各輪郭代表点において左右方向に探索し（図７（ａ）参照）、隣接画素間の輝度の差分値が最大となるエッジ点を抽出する。抽出したエッジ点に基づき、最小２乗法を用いて移動体の垂直方向の輪郭線を算出することにより移動体の輪郭Ａ６を抽出する（図７（ｂ）参照）。なお、動領域の水平方向の輪郭上に輪郭代表点を設定し、上下方向にエッジ探索を行ってもよい。
【００９４】
次に、ステップ１０にて抽出した時刻ｔ＋ｎでの輪郭Ａ６に対応する移動体の移動方向を判定し、これに基づき車両である可能性が低い移動体をノイズとして更に除去する（Ｓ１１）。図８は、移動体の移動方向を予測してノイズを除去する処理を説明するための模式図である。時刻ｔ＋ｎにて移動体の輪郭Ａ６を抽出した場合と同様にして時刻ｔにおいても該移動体の輪郭を抽出している。従って、時刻ｔでの移動体の輪郭と、時刻ｔ＋ｎでの移動体の輪郭Ａ６とに基づき、時刻ｔ＋ｎでの移動体が有する速度ベクトルｖ７を予測し、該予測に基づき時刻ｔ＋２ｎでの前記移動体の位置Ａ７を予測する。
【００９５】
時刻ｔ＋２ｎに、予測した位置Ａ７近傍において前記移動体が存在するか否かを探索する。探索の結果、予測した位置Ａ７の近傍に移動体の輪郭Ａ８を抽出できた場合、輪郭Ａ８及び時刻ｔ＋ｎに抽出した輪郭Ａ６に基づき、速度ベクトルｖ８を算出する。
【００９６】
算出した速度ベクトルｖ８と、予測した速度ベクトルｖ７とにおいて絶対値、方向などを比較することにより、輪郭Ａ６が示す移動体と輪郭Ａ８が示す移動体とが同一のものか否かを判定する。また、輪郭Ａ６及び輪郭Ａ８の形状、サイズなどを比較して同一の移動体を示しているか否かを判定する。
【００９７】
予測した位置Ａ７に最も近い移動体であっても、輪郭Ａ６が示す移動体と同一のものではない場合があるため、前述した比較を行う際の夫々のパラメータについて評価関数を作成し、評価関数の値を最大とする移動体を、輪郭Ａ６が示す移動体と同一のものとする。
【００９８】
更に、算出した速度ベクトルｖ８が路面領域の方向、即ち、路面上方境界線及び路面下方境界線が有する夫々の方向ベクトルの範囲内であるか否かを判定し、範囲外である場合は、速度ベクトルｖ８を有する移動体をノイズとして除去する。範囲内にある移動体に関しては、速度ベクトルｖ８の向きにより接近しているか否かを判定し、接近している移動体のみ後述する警告・表示の対象とする。
【００９９】
なお、時刻ｔ＋２ｎにて抽出した輪郭Ａ８に対応する時刻ｔ＋ｎでの移動体が存在しない場合、時刻ｔ＋２ｎの段階では移動体としてリストアップするが、後述する警告・表示の対象とはせず、時刻ｔ＋３ｎにて対応する移動体が存在する場合に警告・表示の対象とする。
【０１００】
次に、車両として検出された移動体のうち接近してくる第２車両について、第１車両までの到達予測時間を算出する（Ｓ１２）。即ち、検出された車両のうち、速度ベクトルに基づき接近している第２車両であるか否かを判定し、左側方映像又は右側方映像の夫々において、撮像部２１の画角、設置高、俯角などに基づき、モニタ２２内座標を、第１車両を中心とした実座標へ変換し、第２車両と第１車両との距離、及び第２車両の速度を算出する。更に算出した距離及び速度に基づき、第２車両が第１車両へ到達するまでの到達予測時間を算出する。
【０１０１】
算出した到達予測時間が所定の閾値以下である場合は、接近車両検出部１３は、ドライバへの警告のため警告信号を出力すると共に、接近してくる第２車両をマーキングするための処理を行い（Ｓ１３）、モニタ２２にて表示する（Ｓ１４）。
【０１０２】
出力した警告信号は、ブザー、計器パネルに設置されたＬＥＤ、又は、オーディオ等へ入力される。ブザー又はオーディオへ入力された場合は警告音によりドライバへ報知し、計器パネルに設置されたＬＥＤへ入力された場合は該ＬＥＤの点灯によりドライバへ報知することができる。なお、オーディオへ入力された場合は、第２車両の接近側のスピーカから例えば「左方向（右方向）に注意して下さい」などのメッセージを出力するようにしてもよく、また、計器パネルに設置されたＬＥＤを点灯させる場合は、左右を夫々示すべくＬＥＤを設置し、第２車両の接近側を示すようにＬＥＤを点灯させてもよい。
【０１０３】
図９は、接近してくる第２車両をマーキングしたものをモニタ２２にて表示した映像の一例を示す模式図である。図９（ａ）は接近してくる第２車両を矩形枠にてマーキングしたものを示し、図９（ｂ）は接近してくる第２車両の上部にマーキングしたものを示している。
【０１０４】
接近してくる第２車両のマーキングとしては、図９に示したものの他、種々のものがある。例えば、前記第２車両をＣＧ化し、更に比較的大きく表示することにより、ドライバは第２車両を容易に識別することが可能となる。
【０１０５】
また、背景映像をモノクロに表示し、前記第２車両のみをカラー表示することによっても、ドライバは第２車両を容易に識別することができる。この場合、背景映像をモノクロ表示するには、映像保持部１５の出力、又は映像選択部１４の出力の何れかの映像データを用いてモノクロデータに変換する。モノクロデータへの変換は下式により行い、また、ＡＳＩＣ又はＦＰＧＡなどにより容易に実現することができる。
Ｒ１ ＝０．２９９Ｒ０ ＋０．５８７Ｇ０ ＋０．１１４Ｂ０
Ｇ１ ＝０．２９９Ｒ０ ＋０．５８７Ｇ０ ＋０．１１４Ｂ０
Ｂ１ ＝０．２９９Ｒ０ ＋０．５８７Ｇ０ ＋０．１１４Ｂ０
なお、上式中、Ｒ０ ，Ｇ０ ，Ｂ０ は変換前のＲＧＢ値であり、Ｒ１ ，Ｇ１ ，Ｂ１ は変換後のＲＧＢ値である。
【０１０６】
また、第２車両をカラー表示する場合は、接近車両検出部１３に入力される映像データに関するＲＧＢ値をグラフィックメモリに記録し、ステップ１１にて車両として残された移動体の輪郭内部に、グラフィックメモリに記録されたＲＧＢ値を書き込むことにより実現することができる。
【０１０７】
また、第２車両以外の背景映像の輝度を落とすことにより、第２車両を容易に識別可能とすることができる。この場合、背景映像に関する映像データにおけるＲＧＢ値をＹＣｂＣｒ値（Ｙは輝度値、Ｃｂ，Ｃｒは色信号）に変換し、Ｙの値をより小さい値Ｙ１に変換し、再度ＲＧＢ値に変換することにより、背景映像の輝度を落とすことができる。この輝度値の変換はモノクロデータの変換の場合と同様、映像保持部１５の出力、又は映像選択部１４の出力の何れかの映像データを用いて行う。
【０１０８】
なお、ＲＧＢ値からＹＣｂＣｒ値への変換は以下の式により行うことができ、ＡＳＩＣ又はＦＰＧＡなどにより容易に実現することができる。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｂ＝−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ
Ｃｒ＝０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ
【０１０９】
また他に、第２車両以外の背景映像を２値化して表示することにより、第２車両を容易に識別可能とすることができる。即ち、ＲＧＢ値に基づき輝度値（Ｙ値）を算出し、Ｙ値が所定の閾値以上である場合は、白色として（Ｒ，Ｂ，Ｇ）＝（２５５，２５５，２５５）に設定し、閾値より小さい場合は黒色として、（Ｒ，Ｂ，Ｇ）＝（０，０，０）に設定する。
【０１１０】
閾値の設定としては、左右両側方映像の輝度に関するヒストグラムを使用して行う。左右両側方映像の輝度に関してヒストグラムを算出した場合、空領域及び路面領域においてピークを得ることができるため、夫々のピークの間にて閾値を設定することにより、空領域と路面領域とを識別できる２値化された背景映像を表示することができる。
【０１１１】
なお、ヒストグラムの算出は、映像切替部１８にて外部装置２３の出力から左右両側方映像の出力へと切り替えられたときに１度行えばよい。また、ＲＧＢ値からのＹ値の算出、ヒストグラムの算出、及び閾値による背景映像の２値化は、映像保持部１５の出力、又は映像選択部１４の出力の何れかの映像データを用いて行えばよく、ＡＳＩＣ又はＦＰＧＡにより実現可能であり、ＣＰＵを用いて行えば更に容易に実現することができる。
【０１１２】
また、接近してくる第２車両をモニタ２２での映像によりドライバが識別可能であるマーキングであれば、上述したものの他、どのようなものであってもよい。
【０１１３】
更に、ステップ１４におけるモニタ２２での表示においては、接近してくる第２車両が撮像されている左右何れかの側方映像のみを拡大して全画面表示することも可能である。この場合、接近車両検出部１３から映像選択部１４へ、何れの側方映像に接近してくる第２車両が存在するかを示す信号が送信される。映像選択部１４は、受信した信号に示された側方映像に関する映像データを画素単位で選択する。即ち、左側方映像中に第２車両が表示されている場合であれば、Ａ／Ｄ変換器１１から入力された映像データのうち、各１ライン毎に１〜３２０画素に対応する画素データを選択し、右側方映像中に第２車両が表示されている場合であれば、３２１〜６４０画素に対応する画素データを選択する。
【０１１４】
次に、映像選択部１４は、選択した画素データを映像保持部１５へ出力する。映像保持部１５は、入力された画素データを１画素ずつ１ライン単位で映像生成部１６へ送信し、映像生成部１６は、左右何れかの側方映像を拡大した映像をモニタ２２にて表示すべく前記画素データを補完するための補完データを生成する。
【０１１５】
画素データ及び補完データにより、左右何れかの側方映像を拡大表示するための表示データを生成し、該表示データが示す映像に、前述したマーキングをオーバレイ表示する。図１０は、右側方から接近してくる第２車両にマーキングして拡大表示した映像の一例を示す模式図である。
【０１１６】
また、ステップ５にて第１車両が停止状態でないと判定した場合であり、更に第１車両の移動速度Ｖが、０＜Ｖ＜αであると判定した場合は（Ｓ１５）、ステップ６以降ステップ１３までの処理は行わず、左右両側方映像をモニタ２２にて表示する（Ｓ１４）。また、ステップ１５にて第１車両の移動速度Ｖが、Ｖ＞αであると判定した場合は、モニタ２２は外部装置２３に接続された状態を維持する。なお、速度αは、例えばα＝５ｋｍ／ｈなどと適宜値を予め設定しておく。
【０１１７】
本実施に係る警報情報生成方法及び車両側方映像生成装置１によれば、撮像した左右両側方映像に関する映像データに基づき、接近してくる第２車両を検出し、該第２車両の到達予測時間を算出し、該到達予測時間が所定の閾値以下であると判定した場合に、前記第２車両を容易に識別可能にモニタ２２にて表示し、オーディオ等の音声情報による警告を行い、また、前記第２車両が含まれている側方映像のみをモニタ２２にて拡大表示するため、例えば、交差点へ第１車両が進入する場合であり、更に、接近車両が近傍に存在する場合にのみ、即ち、ドライバが必要とする場合にのみモニタ２２にて側方映像を表示でき、視覚及び聴覚を通じて接近車両を容易に認識させることができ、第２車両との衝突等の危険性を回避することができる。
【０１１８】
また、第１車両の停止判定を行うため、特に、左右両側方映像に基づきフレーム間差分を行い２値化した２値データに基づき停止判定を行うため、更に正確に交差点での停止状態を検出することができ、不必要時にモニタ２２にて側方映像を表示することがない。
【０１１９】
また、接近する第２車両を検出するに際し、輝度に関して得たフレーム間差分値を２値化した２値データに基づいて検出するため、静止物を車両として誤検出することなく、従来に比してより正確に移動体のみを検出することができる。
【０１２０】
また、２値化する際に、ライト信号、輝度に関する空間差分値に基づき閾値を補正するため、夜間及び昼間でのコントラストの違い、又は、逆光時における左右夫々の側方映像のコントラストの違い等を補正でき、第２車両の誤検出を抑制することができる。
【０１２１】
また、検出した移動体の最下部が路面領域内に存在しない場合は、該移動体をノイズとして除去するため、第２車両の検出精度を向上させることができる。また、前記路面領域をステア信号、車道及び歩道の境界線、色相データ等に基づき補正するため、第１車両の姿勢に拘わらず比較的正確に路面領域を設定することができ、更に、移動体の速度ベクトルと路面領域の上下境界線の方向ベクトルとを用いた車両判定を行うため、ノイズの除去を的確に行うことが可能である。
【０１２２】
【発明の効果】
第１発明に係る車両側方映像生成方法による場合は、例えば、交差点へ第１車両が進入する場合に、第２車両が近傍に接近していることをドライバに認識させることができ、交差点への進入時の危険性を回避させることができる。
また、所定時間中に移動した物体のみを検出することができ、静止物を車両と誤検出することを防止することができる。
さらに、ライトを点灯しない昼間に撮像する映像と、ライトを点灯する夜間に撮像する映像とのコントラストの差による移動体の検出誤差を抑制することができる。
【０１２３】
第２発明に係る車両側方映像生成装置による場合は、例えば、青信号時の交差点を直進して通過する場合など、不必要時に側方映像が表示されることを防止することができる。
また、所定時間中に移動した物体のみを検出することができ、静止物を車両と誤検出することを防止することができる。
さらに、ライトを点灯しない昼間に撮像する映像と、ライトを点灯する夜間に撮像する映像とのコントラストの差による移動体の検出誤差を抑制することができる。
【０１２５】
第３発明に係る車両側方映像生成装置による場合は、第１車両の移動速度に基づき、例えば第１車両が交差点へ進入して停止した場合に他の移動体の検出、及び側方映像のモニタでの表示を可能とすることができる。
【０１２６】
第４発明に係る車両側方映像生成装置による場合は、第１車両が停止しているか否かをより正確に判定することができる。
【０１２８】
第５発明に係る車両側方映像生成装置による場合は、左右何れかの側方が逆光となるなどして左右夫々の側方映像におけるコントラストが比較的大きく異なる場合であっても、移動体の検出誤差を抑制することができる。
【０１２９】
第６発明に係る車両側方映像生成装置による場合は、空中を浮遊する木の葉、高架上を走行する電車等を車両として誤検出することを防止することができる。
【０１３０】
第７発明に係る車両側方映像生成装置による場合は、交差点へ進入する場合等における進入角度に応じて路面領域を補正でき、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【０１３１】
第８発明に係る車両側方映像生成装置による場合は、前記境界線を有する路面に関して路面領域をより正確に補正することができ、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【０１３２】
第９発明に係る車両側方映像生成装置による場合は、色相が比較的均一な領域を路面領域として補正することができ、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【０１３３】
第１０発明に係る車両側方映像生成装置による場合は、車道を横断する方向に移動する移動体を車両として誤検出することを防止することができる。
【０１３４】
第１１発明に係る車両側方映像生成装置による場合は、接近する第２車両が存在する場合にのみ表示データを生成することができる。
【０１３５】
第１２発明に係る車両側方映像生成装置による場合は、交差点への進入時等における危険性を判定することができる。
【０１３６】
第１３発明に係る車両側方映像生成装置による場合は、ドライバに対して危険を認識させることができる。
【０１３７】
第１４発明に係る車両側方映像生成装置は、例えば、接近してくる第２車両をデフォルメ表示し、又は、マーキングするなどしてドライバが認識しやすくさせることができる。
【図面の簡単な説明】
【図１】本発明に係る車両側方映像生成装置の構成を示すブロック図である。
【図２】本発明に係る車両側方映像生成装置１の動作を説明するためのフローチャートである。
【図３】進入道路に対して直角に交差点へ進入した場合の左右両側方映像（ａ）及びその時の第１車両の交差点への進入状況（ｂ）を説明するための模式図である。
【図４】進入道路に対して左へ傾いて交差点へ進入した場合の左右両側方映像（ａ）及びその時の第１車両の交差点への進入状況（ｂ）を説明するための模式図である。
【図５】時刻ｔ及び時刻ｔ＋ｎでの車両の存在領域（ａ）及び抽出された動領域（ｂ）を説明するための模式図である。
【図６】動領域の下端と路面領域との関係により行うノイズの除去を説明するための模式図である。
【図７】移動体の抽出された動領域（ａ）と、移動体の実際の輪郭（ｂ）との一例を示す模式図である。
【図８】移動体の移動方向を予測してノイズを除去する処理を説明するための模式図である。
【図９】接近してくる第２車両をマーキングしたものをモニタにて表示した映像の一例を示す模式図である。
【図１０】右側方から接近してくる第２車両にマーキングして拡大表示した映像の一例を示す模式図である。
【符号の説明】
１ 車両側方映像生成装置
１１ Ａ／Ｄ変換器
１２ 停止判定部
１３ 接近車両検出部
１４ 映像選択部
１５ 映像保持部
１６ 映像生成部
１７ Ｄ／Ａ変換器
１８ 映像切替部
Claims (14)
- 第１車両に設けた撮像部が撮像する左右両側方映像に関する映像データに基づき、接近する第２車両の存在を示す警告情報を生成して出力する車両側方映像生成方法において、前記映像データに基づき、前記左右両側方映像にて前記第１車両に接近する前記第２車両が存在するか否かを判定し、前記第２車両が存在すると判定した場合は該第２車両が前記第１車両に到達するまでの到達予測時間を算出し、該到達予測時間が所定の閾値以下であるか否かを判定し、前記到達予測時間が前記閾値以下であると判定した場合は警告情報を出力し、
所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち表示する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成し、生成した時間差分値を所定の差分閾値に基づき２値化した２値データを生成し、生成した２値データに基づき前記第２車両を検出し、
前記第１車両が具備する車外ライトの点灯状況を示すライト信号を受信し、受信したライト信号に基づき前記差分閾値を補正することを特徴とする車両側方映像生成方法。 - 第１車両における左右両側方の映像である左右両側方映像に関する映像データに基づき、表示部にて表示すべく前記第１車両における側方の映像である側方映像に関する表示データを生成するために用いる車両側方映像生成装置において、前記映像データに基づき、前記左右両側方映像に表示される第２車両を検出する手段を備え、
前記第２車両を検出する手段は、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち前記表示部が有する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成する手段と、生成した時間差分値を所定の差分閾値に基づいて２値化した２値データを生成する手段と、生成した２値データに基づき移動体を検出する手段とを備え、
前記第１車両が具備する車外ライトの点灯状況を示すライト信号を受信する手段と、受信したライト信号に基づき前記差分閾値を補正する手段とを更に備えることを特徴とする車両側方映像生成装置。 - 前記第１車両の移動速度を検出する手段と、検出した前記移動速度が所定の速度閾値以下であるか否かを判定する手段と、速度閾値以下であると判定した場合に前記第２車両の検出を行う手段とを更に備えることを特徴とする請求項２に記載の車両側方映像生成装置。
- 前記第１車両の移動速度を検出する手段は、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち前記表示部が有する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成する手段と、生成した時間差分値を所定の差分閾値に基づいて２値化した２値データを生成する手段と、生成した２値データに基づき移動速度を検出する手段とを備えることを特徴とする請求項３に記載の車両側方映像生成装置。
- 同時的に取得した左右夫々の側方映像における隣接する画素に対する画素データに関する輝度の空間差分値を生成する手段と、生成した空間差分値に基づき前記差分閾値を補正する手段を更に備えることを特徴とする請求項２乃至４の何れか一項に記載の車両側方映像生成装置。
- 検出された前記移動体の最下部が、予め設定された路面領域内に存在するか否かを判定する手段と、存在すると判定した場合に前記移動体を前記第２車両であると判定する手段とを更に備えることを特徴とする請求項２乃至５の何れか一項に記載の車両側方映像生成装置。
- 前記第１車両が具備するステアリングの回転角度に関する角度信号を受信する手段と、受信した角度信号に基づき前記路面領域を補正する手段とを更に備えることを特徴とする請求項６に記載の車両側方映像生成装置。
- 前記映像データにて前記左右両側方映像に含まれる車道及び歩道の境界を示す境界線に関する境界線データを検出する手段と、検出した境界線データに基づき前記路面領域を補正する手段とを更に備えることを特徴とする請求項６又は７に記載の車両側方映像生成装置。
- 前記左右両側方映像における色相に関する色相データを生成する手段と、生成した色相データに基づき前記路面領域を補正する手段とを更に備えることを特徴とする請求項６乃至８の何れか一項に記載の車両側方映像生成装置。
- 検出された前記移動体の移動方向を算出する手段と、算出した移動方向が所定の範囲内にあるか否かを判定する手段と、所定の範囲内にあると判定した場合に前記移動体を前記第２車両であると判定する手段とを更に備えることを特徴とする請求項２乃至９の何れか一項に記載の車両側方映像生成装置。
- 前記移動方向に基づき、前記移動体が接近しているか否かを判定する手段と、接近していると判定した場合に、前記表示データを生成する手段とを更に備えることを特徴とする請求項１０に記載の車両側方映像生成装置。
- 接近していると判定した前記移動体に関し、到達予測時間を算出する手段を更に備えることを特徴とする請求項１１に記載の車両側方映像生成装置。
- 前記到達予測時間が所定の時間閾値以下であるか否かを判定する手段と、時間閾値以下であると判定した場合に警告信号を出力する手段とを備えることを特徴とする請求項１１又は１２に記載の車両側方映像生成装置。
- 接近していると判定した前記移動体を前記表示部にて識別可能に表示するための識別データを生成する手段を更に備えることを特徴とする請求項１１乃至１３の何れか一項に記載の車両側方映像生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001130231A JP3606223B2 (ja) | 2001-04-26 | 2001-04-26 | 車両側方映像生成方法及び車両側方映像生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001130231A JP3606223B2 (ja) | 2001-04-26 | 2001-04-26 | 車両側方映像生成方法及び車両側方映像生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002321579A JP2002321579A (ja) | 2002-11-05 |
| JP3606223B2 true JP3606223B2 (ja) | 2005-01-05 |
Family
ID=18978641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001130231A Expired - Fee Related JP3606223B2 (ja) | 2001-04-26 | 2001-04-26 | 車両側方映像生成方法及び車両側方映像生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3606223B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9569685B2 (en) | 2014-07-10 | 2017-02-14 | Kyungpook National University Industry-Academic Cooperation Foundation | Image processing apparatus and method for detecting partially visible object approaching from side using equi-height peripheral mosaicking image, and driving assistance system employing the same |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4657765B2 (ja) | 2005-03-09 | 2011-03-23 | 三菱自動車工業株式会社 | ノーズビューシステム |
| JP4739833B2 (ja) * | 2005-06-30 | 2011-08-03 | クラリオン株式会社 | 車両停止検出装置、カーナビゲーション装置 |
| JP4892965B2 (ja) * | 2005-12-26 | 2012-03-07 | 住友電気工業株式会社 | 移動体判定システム、移動体判定方法、及びコンピュータプログラム |
| JP4800078B2 (ja) * | 2006-03-23 | 2011-10-26 | 本田技研工業株式会社 | 車両周辺監視システム |
| JP4930046B2 (ja) * | 2006-12-26 | 2012-05-09 | 日産自動車株式会社 | 路面判別方法および路面判別装置 |
| JP2009105741A (ja) * | 2007-10-24 | 2009-05-14 | Denso Corp | 車載周辺監視装置 |
| JP2011118482A (ja) | 2009-11-30 | 2011-06-16 | Fujitsu Ten Ltd | 車載装置および認知支援システム |
| JP5813944B2 (ja) * | 2010-12-06 | 2015-11-17 | 富士通テン株式会社 | 画像表示システム、画像処理装置及び画像表示方法 |
| JP5794378B2 (ja) * | 2012-02-16 | 2015-10-14 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
| JP6775285B2 (ja) | 2015-09-24 | 2020-10-28 | アルパイン株式会社 | 後側方車両検知警報装置 |
| JP7122806B2 (ja) * | 2017-02-24 | 2022-08-22 | コニカミノルタ株式会社 | 物体接近検知装置および物体接近検知方法 |
| US11837084B2 (en) * | 2019-05-13 | 2023-12-05 | Nippon Telegraph And Telephone Corporation | Traffic flow estimation apparatus, traffic flow estimation method, traffic flow estimation program, and storage medium storing traffic flow estimation program |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2995813B2 (ja) * | 1990-07-26 | 1999-12-27 | オムロン株式会社 | 交通流速度計測方法 |
| JPH06341837A (ja) * | 1993-06-01 | 1994-12-13 | Matsushita Electric Ind Co Ltd | 車間距離計測装置、カメラ位置補正装置及び衝突警告装置 |
| JPH0721488A (ja) * | 1993-07-02 | 1995-01-24 | Omron Corp | 交通流異常監視支援装置 |
| JP3044156B2 (ja) * | 1993-10-27 | 2000-05-22 | シャープ株式会社 | 車載用監視カメラ装置 |
| JPH08223566A (ja) * | 1995-02-10 | 1996-08-30 | Hitachi Ltd | 車両用周囲状況認識装置 |
| JPH08329394A (ja) * | 1995-05-29 | 1996-12-13 | Daihatsu Motor Co Ltd | 先行車走行レーン検出装置 |
| JPH1024801A (ja) * | 1996-07-10 | 1998-01-27 | Nec Eng Ltd | 車載用側方確認装置 |
| JPH1196376A (ja) * | 1997-09-24 | 1999-04-09 | Oki Electric Ind Co Ltd | 移動物体追跡装置及び方法 |
| JP4723703B2 (ja) * | 1999-06-25 | 2011-07-13 | 富士通テン株式会社 | 車両の運転支援装置 |
| JP2001039247A (ja) * | 1999-07-27 | 2001-02-13 | Ichikoh Ind Ltd | 車両用確認装置 |
| JP2001195699A (ja) * | 2000-01-14 | 2001-07-19 | Yazaki Corp | 車両用周辺監視装置及び、車両用衝突危険判断処理プログラムを記録した記録媒体 |
-
2001
- 2001-04-26 JP JP2001130231A patent/JP3606223B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9569685B2 (en) | 2014-07-10 | 2017-02-14 | Kyungpook National University Industry-Academic Cooperation Foundation | Image processing apparatus and method for detecting partially visible object approaching from side using equi-height peripheral mosaicking image, and driving assistance system employing the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002321579A (ja) | 2002-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4093208B2 (ja) | 車両用走路判定装置 | |
| JP4321821B2 (ja) | 画像認識装置及び画像認識方法 | |
| JP5316713B2 (ja) | 車線逸脱防止支援装置、車線逸脱防止方法、記憶媒体 | |
| JP3606223B2 (ja) | 車両側方映像生成方法及び車両側方映像生成装置 | |
| CN101198996A (zh) | 路面标示识别系统 | |
| WO2010134680A1 (ko) | 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치 | |
| JP2008182652A (ja) | カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法 | |
| JP2008222153A (ja) | 合流支援装置 | |
| JP5937832B2 (ja) | 車載カメラ用露出制御装置 | |
| JP2570378B2 (ja) | 車両用標識認識装置 | |
| JP2009139306A (ja) | 路面標示認識装置 | |
| JP5192009B2 (ja) | 車両の周辺監視装置 | |
| JP5226641B2 (ja) | 車両用障害物検出装置 | |
| JP4792948B2 (ja) | 車車間通信システム | |
| JP5192007B2 (ja) | 車両の周辺監視装置 | |
| JP4802686B2 (ja) | 車車間通信システム | |
| JP2010191666A (ja) | 車両の周辺監視装置 | |
| JP6720063B2 (ja) | 画像処理装置、撮像装置、および表示システム | |
| JP4162868B2 (ja) | 対象物抽出装置 | |
| JP2006024120A (ja) | 車両用画像処理システム及び画像処理装置 | |
| JP4710575B2 (ja) | 車車間通信システム | |
| JP2007018451A (ja) | 道路区画線検出装置 | |
| JP2000003438A (ja) | 標識認識装置 | |
| JP2006078635A (ja) | 前方道路標示制御装置および前方道路標示制御プログラム | |
| JP4715479B2 (ja) | 車車間通信システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040914 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040927 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071015 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081015 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091015 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121015 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |