JP7740139B2 - 表示制御装置、表示装置、表示システム、車両、表示制御方法及びプログラム - Google Patents

Description

本発明は、表示制御装置、表示装置、表示システム、車両、表示制御方法及びプログラムに関する。

従来、車両のフロントウインドシールド等に画像を投射することで、ＡＲ（Augmented Reality）画像の虚像を車両の前景に重畳表示するヘッドアップディスプレイ等の表示装置が知られている（例えば、特許文献１参照）。

特許文献１には、自車両の運転者に対して注意喚起を行う必要のある注意対象物を検出し、注意対象物から自車両までの距離を算出する注意対象物検出部と、注意対象物検出部で検出された注意対象物について運転者に注意喚起を行う注意マークを、運転者から見て、フロントガラス上で注意対象物から所定距離だけ離れた位置に隣接表示する表示制御部とを備え、表示制御部は、注意対象物から自車両までの距離に応じて所定距離を変化させて注意マークの表示位置を変更し、注意対象物が検出されてから注意マークを表示するまでの時間差に応じて、注意マークの表示位置を補正し、さらに注意対象物が検出されたときの自車両の速度に応じて、所定距離を補正する技術が開示されている。

上記構成によれば、注意対象物が検出されてから注意マークを表示するまでの時間差に応じて、注意マークの表示位置が補正され、さらに注意対象物が検出されたときの自車両の速度に応じて、所定距離が補正されるので、注意マークを表示するまでの時間差及び自車両の速度に関係なく、注意マークを適正な位置に表示することができる。

特許６２７８２２２号公報

しかしながら、特許文献１に記載された技術は、注意対象物が検出されてから注意マークを表示するまでの時間差と、注意対象物が検出されたときの自車両の速度とに応じて、注意マークの注意対象物からの距離を変化させて表示位置を補正するものであり、注意対象物と注意マークとの間に依然として位置ズレが発生してしまうため、改善の余地がある。

本発明は、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することを目的とする。

請求項１に係る表示制御装置は、車両の周辺の物標を検知する物標検知部の検知情報に基づいて、前記物標の位置に関する位置情報を取得する位置情報取得部と、前記車両の速度に関する速度情報を取得する速度情報取得部と、前記車両に前記物標が接近する接近方向を取得する接近方向取得部と、前記速度情報取得部が取得した前記速度情報に基づいて、前記位置情報取得部が取得した前記位置情報に対して、前記接近方向取得部が取得した前記接近方向にオフセットするオフセット部と、前記オフセット部がオフセットした前記位置情報に基づいて、車室内に設けられた表示領域に重畳表示され、前記物標に対する注意を促すマークを生成するマーク生成部と、を備える。

請求項１に係る表示制御装置によれば、速度情報に基づいて、位置情報取得部が取得した物標の位置に対してオフセットした位置にマークを生成することで、位置情報取得部が取得した物標の位置に対して、速度に応じてオフセットした位置に、物標に対する注意を促すマークが生成される。そのため、物標検知部が物標を検知してから、マーク生成部がマークを生成するまでの処理時間により発生する、重畳表示されるマークと実際の物標との位置ずれを補正することができる。しかも、物標が接近する接近方向に、位置情報取得部が取得した物標の位置をオフセットすることで、重畳表示されるマークと実際の物標との位置ずれが発生する方向に、位置情報取得部が取得した物標の位置がオフセットされる。そのため、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。その結果、重畳表示されるマークの位置を実際の物標の位置に近づけることができる。

請求項２に係る表示制御装置は、請求項１に記載の表示制御装置において、前記接近方向取得部が取得した前記接近方向が、前記車両の進行方向に対して傾斜した傾斜方向である場合、前記速度情報を前記物標に対する前記車両の相対速度に関する情報とする。

請求項２に係る表示制御装置によれば、速度情報を物標に対する車両の相対速度とすることで、この相対速度に基づいて、位置情報取得部が取得した物標の位置に対してオフセット部がオフセットするオフセット距離が適切に設定される。そのため、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレをより適切に補正することができる。

請求項３に係る表示制御装置は、請求項１又は請求項２に記載の表示制御装置において、前記オフセット部は、前記物標検知部が前記物標を検知してから、前記マーク生成部が前記マークを生成するまでにかかる処理時間に基づいて、前記オフセット部が前記位置情報をオフセットするオフセット距離を調整する。

請求項３に係る表示制御装置によれば、物標検知部が物標を検知してから、マーク生成部がマークを生成するまでにかかる処理時間に基づいて、位置情報取得部が取得した物標の位置をオフセットするオフセット距離を調整することで、処理時間が長い場合は、オフセット距離が大きくされ、処理時間が短い場合は、オフセット距離が小さくされる。そのため、処理時間に応じて、位置情報取得部が取得した物標の位置に対してオフセット部がオフセットするオフセット距離が適切に設定される。その結果、重畳表示されるマークの位置を、処理時間に応じた適切な位置に補正することができる。

請求項４に係る表示制御装置は、請求項１から請求項３までのいずれか１項に記載の表示制御装置において、前記位置情報取得部は、レーダの検知情報に基づいて、前記車両の進行方向における前記物標の位置に関する位置情報を取得し、カメラのカメラ画像に基づいて、前記車両の進行方向に直交した直交方向における前記物標の位置に関する位置情報を取得する。

請求項４に係る表示制御装置によれば、車両の進行方向における物標の位置情報がレーダの検知情報によって取得され、車両の進行方向に直交した直交方向における物標の位置情報がカメラのカメラ画像に基づいて取得される。そのため、より正確な物標の位置情報が取得される。その結果、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレをより適切に補正することができる。

請求項５に係る表示制御装置は、請求項１から請求項４までのいずれか１項に記載の表示制御装置において、前記マーク生成部は、前記位置情報取得部が取得した位置情報に基づいて、前記マークの大きさを変化させる。

請求項５に係る表示制御装置によれば、位置情報取得部が取得した位置情報に基づいて、マークの大きさを変化させることで、車両と物標との距離が近い場合、マークの大きさを大きくし、車両と物標との距離が遠い場合、マークの大きさを小さくすることができる。そのため、物標との距離に応じて、適切な大きさのマークを重畳表示することができる。その結果、乗員は、物標との距離をマークの大きさから認識することができる。

請求項６に係る表示装置は、請求項１から請求項５のいずれか１項に記載の表示制御装置と、車室内に設けられた表示領域に前記マークを重畳表示させる画像を出力する出力部と、前記出力部が出力する画像が重畳表示される表示領域と、を備える。

請求項６に係る表示装置によれば、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。

請求項７に係る表示システムは、請求項６に記載の表示装置と、前記車両の周辺の前記物標を検知する物標検知部と、を備える。

請求項７に係る表示システムによれば、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。

請求項８に係る車両は、請求項７に記載の表示システムと、前記表示領域を構成するウインドシールドと、を備える。

請求項８に係る車両によれば、ウインドシールドの表示領域にマークが表示されるので、乗員は、視線を車両前方に向けた状態で、マークを認識する。そのため、乗員は、運転中に、視線を車両前方からそらさずに、マークを認識することができる。

請求項９に係る表示制御方法は、車両の周辺の物標を検知する物標検知部の検知情報に基づいて、前記物標の位置に関する位置情報を取得し、前記車両の速度に関する速度情報を取得し、前記車両に前記物標が接近する接近方向を取得し、前記速度情報に基づいて、前記位置情報に対して、前記接近方向にオフセットし、オフセットした前記位置情報に基づいて、車室内に設けられた表示領域に重畳表示され、前記物標に対する注意を促すマークを生成する。

請求項９に係る表示制御方法によれば、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。

請求項１０に係るプログラムは、車両の周辺の物標を検知する物標検知部の検知情報に基づいて、前記物標の位置に関する位置情報を取得し、前記車両の速度に関する速度情報を取得し、前記車両に前記物標が接近する接近方向を取得し、前記速度情報に基づいて、前記位置情報に対して、前記接近方向にオフセットし、オフセットした前記位置情報に基づいて、車室内に設けられた表示領域に重畳表示され、前記物標に対する注意を促すマークを生成する処理をコンピュータに実行させる。

請求項１０に係るプログラムによれば、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。

本発明によれば、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。

第１実施形態に係る表示システムが搭載された車両を示す俯瞰図である。 第１実施形態に係る表示システムが搭載された車両を車室内から車両前方側を見た状態を概略的に示す概略図である。 第１実施形態に係る表示システムのハードウェア構成を示すブロック図である。 第１実施形態に係る表示制御装置の機能構成を示すブロック図である。 第１実施形態に係る表示システムが搭載された車両を示す俯瞰図であり、物標の接近方向が車両進行方向である場合を示す図である。 第１実施形態に係る表示システムが搭載された車両を示す俯瞰図であり、物標の接近方向が車両進行方向に対して傾斜した傾斜方向である場合を示す図である。 第１実施形態に係る表示装置の表示領域の表示例を示す図であり、物標の接近方向が車両進行方向である場合を示す図である。 第１実施形態に係る表示装置の表示領域の表示例を示す図であり、物標の接近方向が車両進行方向に対して傾斜した傾斜方向である場合を示す図である。 第１実施形態に係る表示装置の表示領域の表示例を示す図であり、物標が遠い位置にいる場合を示す図である。 第１実施形態に係る表示制御装置の表示処理の流れを示すフローチャートである。 比較例の表示装置の表示例を示す図であり、物標の接近方向が車両進行方向である場合を示す図である。 比較例の表示装置の表示例を示す図であり、物標の接近方向が車両進行方向に対して傾斜した傾斜方向である場合を示す図である。 第２実施形態に係る表示装置の表示例を示す図である。

〔第１実施形態〕
以下、第１実施形態に係る表示システムについて、図面を参照して説明する。なお、図１に記載された矢印ＦＲは車両前方側を示しており、矢印ＲＨは車両右方側を示している。また、第１実施形態では、車両１０は、車両前方に速度Ｖ１で走行している例を説明する。

［表示システムが搭載された車両の構成］
図１に示されるように、車両１０には、物標検知部としてのカメラ１２と、物標検知部としてのレーダ１４と、が設けられている。カメラ１２は、車両１０の前側のバンパに取り付けられ、車両前方を撮影する。カメラ１２は、画角１２Ａを有するように構成することができる。

レーダ１４は、車両１０の前側のバンパに取り付けられている。レーダ１４は、送信した送信波が車両１０の周辺の物標９０にあたり、反射した反射波を受信することで、車両１０と物標９０との距離と、車両１０に対する物標９０の方向を検知する。すなわち、レーダ１４は、車両１０に対する物標９０の位置情報を検知する。レーダ１４は、カメラ１２の画角１２Ａより小さい画角１４Ａを有している。

物標９０としては、車両の前方を走行する前方車両９２（図１参照）、歩行者９４（図６参照）や自転車、対向車線を走行する対向車、駐停車している車両、その他の障害物とすることができる。

図２に示されるように、車両１０における車室内の前側には、インストルメントパネル１８と、ウインドシールド（フロントガラスとも称する）２２と、が設けられている。

（インストルメントパネル）
インストルメントパネル１８は、車幅方向に延在して設けられている。インストルメントパネル１８の車両右側には、ステアリングホイール２０が設けられている。第１実施形態では、一例として、車両１０は、車両右側にステアリングホイール２０が設けられた右ハンドル車として構成されている。

インストルメントパネル１８には、表示領域としての第１表示領域Ｇ１を有する出力部としての第１表示部２８と、表示領域としての第２表示領域Ｇ２を有する出力部としての第２表示部３０と、が設けられている。

第１表示部２８は、インストルメントパネル１８の車両右側であって、ステアリングホイール２０の車両前方側に配置されている。第１表示部２８は、例えば、走行速度を表示するスピードメータ、方向指示、警告等が表示されるメータディスプレイとして構成される。

第２表示部３０は、インストルメントパネル１８の車両幅方向中央に配置されている。第２表示部３０は、例えば、ナビゲーションシステムが出力する画像が表示されるセンターディスプレイとして構成される。

（ウインドシールド）
ウインドシールド２２は、フロントピラー２４によって支持されている。フロントピラー２４は、車室内の車両前側であって、車両右側及び車両左側に配置され、略車両上下方向に延在している。

ウインドシールド２２には、表示領域としての第３表示領域Ｇ３を有する第３表示部３２が設けられている。そして、インストルメントパネル１８の内部に設置された表示制御装置３５から出力された情報に基づいて、出力部としての投射部５１から投影された画像が、ウインドシールド２２の第３表示部３２に投影される。これにより、乗員（ドライバー）Ｈ（図１参照）の前方に、この画像が虚像として重畳表示されるようになっている。

表示制御装置３５と投射部５１と第３表示部３２とを備える表示装置３４は、ヘッドアップディスプレイ装置を構成する。投射部５１から投射された画像が投影される第３表示部３２は、ヘッドアップディスプレイ装置の投影面を構成する。

図１に示されるように、投射部５１は、画角１２Ａより小さい画角５１Ａを有するように構成されている。投射部５１の画角５１Ａは、乗員ＨのアイポイントＥを原点として構成されている。投射部５１の画角５１Ａとは、第３表示領域Ｇ３に画像が表示可能な角度範囲である。

図３に示されるように、表示装置３４とカメラ１２とレーダ１４と車速センサ１５とは、表示システム１６を構成する。

［表示システムのハードウェア構成］
図３に示されるように、表示システム１６は、カメラ１２が撮影したカメラ画像と、レーダ１４が検知した検知情報と、車速センサ１５が測定した測定情報とが、表示制御装置３５に入力され、表示制御装置３５で処理された処理情報が、第１表示部２８、第２表示部３０及び投射部５１に出力されるようになっている。

カメラ１２は、車両前方を撮影する。カメラ１２が撮影した車両前方のカメラ画像は、表示制御装置３５に入力される。レーダ１４は、車両前方の物標９０の位置情報を検知する。レーダ１４が検知した検知情報は、表示制御装置３５に入力される。車速センサ１５は、車両１０の速度Ｖ１（図１参照）を測定する。車速センサ１５が測定した車両１０の速度Ｖ１の情報は、表示制御装置３５に入力される。

表示制御装置３５は、種々の制御を行うＥＣＵ（Electronic Control Unit）として構成される。表示制御装置３５は、ＣＰＵ（Central Processing Unit）３６と、ＲＯＭ（Read Only Memory）３８と、ＲＡＭ（Random Access Memory）４０と、ストレージ４２と、通信インターフェース（通信Ｉ／Ｆ）４４と、入出力インターフェース（入出力Ｉ／Ｆ）４６と、を含んで構成されている。各構成は、バス４８を介して相互に通信可能に接続されている。

ＣＰＵ３６は、中央演算処理装置であり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ３６は、ＲＯＭ３８又はストレージ４２からプログラムを読み出し、ＲＡＭ４０を作業領域としてプログラムを実行する。また、ＣＰＵ３６は、ＲＯＭ３８又はストレージ４２に記録されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。

ＲＯＭ３８は、各種プログラムおよび各種データを格納する。ＲＡＭ４０は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ４２は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する非一時的記録媒体である。第１実施形態では、ＲＯＭ３８又はストレージ４２には、後述する表示処理を行うための表示プログラム等が格納されている。

入出力インターフェース４６には、第１表示部２８、第２表示部３０、投射部５１、カメラ１２、レーダ１４及び車速センサ１５が接続されている。

［表示制御装置の機能構成］
第１実施形態の表示制御装置３５の機能について説明する。

図４に示されるように、表示制御装置３５は、機能的には、位置情報取得部５４と、速度情報取得部５６と、接近方向取得部５８と、処理時間推定部６０と、オフセット部６２と、マーク生成部６４と、を備えている。

（位置情報取得部）
位置情報取得部５４は、車両１０の周辺の物標９０の位置に関する位置情報を取得する。具体的には、位置情報取得部５４は、レーダ１４の検知情報に基づいて、車両１０の進行方向における物標９０の位置情報を検知する。また、位置情報取得部５４は、カメラ１２のカメラ画像に基づいて、車両１０の進行方向に直交した直交方向における物標９０の位置情報を検知する。なお、レーダ１４の検知情報及びカメラ１２のカメラ画像の少なくとも一方に基づいて、車両１０の進行方向及び直交方向における物標９０の位置情報を検知してもよい。

ここで、車両１０を俯瞰して見た状態において、車両進行方向をｙ軸とし、車両進行方向に直交する方向をｘ軸としたｘｙ座標系を想定する。図５に示されるように、車両１０の前方に、前方車両９２が前方に向かって走行している場合、位置情報取得部５４は、レーダ１４の検知情報に基づいて、車両１０の進行方向における前方車両９２の位置Ｐ１のｙ座標を検知する。すなわち、位置情報取得部５４は、レーダ１４の検知情報に基づいて、前方車両９２の位置Ｐ１（ｙ１）を取得する。なお、図５において、前方車両９２は、前方に向かって速度Ｖ２で走行している。

図６に示されるように、車両１０の左斜め前方に、歩行者９４が車両右方向に移動している場合、位置情報取得部５４は、レーダ１４の検知情報に基づいて、車両１０の進行方向における歩行者９４の位置Ｐ１のｙ座標と、カメラ１２のカメラ画像に基づいて、車両１０の進行方向に直交した直交方向における歩行者９４の位置Ｐ１のｘ座標を検知する。

すなわち、位置情報取得部５４は、レーダ１４の検知情報と、カメラ１２のカメラ画像とに基づいて、歩行者９４の位置Ｐ１（ｘ１，ｙ１）を取得する。なお、図６において、歩行者９４は、車両右方向に速度Ｖ３で移動している。

（速度情報取得部）
速度情報取得部５６は、車両１０の速度に関する速度情報を取得する。この速度情報には、車両１０の絶対速度の情報と、車両１０の物標９０に対する相対速度の情報が含まれる。

具体的には、図５に示されるように、車両１０の前方に、前方車両９２が前方に向かって走行している場合、速度情報取得部５６は、車速センサ１５の測定情報に基づいて、車両１０の絶対速度である速度Ｖ１を取得する。

図６に示されるように、車両１０の左斜め前方に、歩行者９４が車両右方向に移動している場合、速度情報取得部５６は、カメラ１２により撮影された複数のカメラ画像に基づいて、歩行者９４の位置情報の推移を算出し、この推移に基づいて、車両１０に対する歩行者９４の相対速度を取得する。言い換えると、速度情報取得部５６は、カメラ１２のカメラ画像を時系列に並べた際の歩行者９４の位置の変化に基づいて、車両１０に対する歩行者９４の相対速度を取得することができる。

なお、車両１０の左斜め前方に、歩行者９４が車両右方向に移動している場合、速度情報取得部５６は、レーダ１４により検知された複数の検知情報に基づいて、歩行者９４の位置情報の推移を算出し、この推移に基づいて、車両１０に対する歩行者９４の相対速度を取得することもできる。

（接近方向取得部）
接近方向取得部５８は、車両１０に物標９０が接近する接近方向を取得する。具体的には、接近方向取得部５８は、カメラ１２により撮影された複数のカメラ画像に基づいて、物標９０の位置情報の推移を算出し、この推移に基づいて、車両１０に対する物標９０の接近方向を取得する。なお、接近方向取得部５８は、レーダ１４により検知された複数の検知情報に基づいて、物標９０の位置情報の推移を算出し、この推移に基づいて、車両１０に対する物標９０の接近方向を取得することもできる。

図５に示されるように、車両１０の前方に、前方車両９２が前方に向かって走行している場合、接近方向取得部５８は、レーダ１４により検知された複数の検知情報に基づいて、車両１０に対する前方車両９２の接近方向を車両１０の進行方向として取得する。なお、車両１０の前方に、前方車両９２が前方に向かって走行している場合、接近方向取得部５８は、カメラ１２により撮影された複数のカメラ画像に基づいて、車両１０に対する前方車両９２の接近方向を車両１０の進行方向として取得することもできる。

なお、接近方向を車両１０の進行方向とする場合とは、前方車両９２が、車両幅方向において車両１０と異なる位置において、前方車両９２が前方又は後方に向かって走行している場合も含むものとする。すなわち、接近方向を車両１０の進行方向とする場合とは、前方車両９２が車両幅方向において車両１０と同じ位置において、前方車両９２が前方又は後方に向かって走行している場合と、車両幅方向において車両１０と異なる位置において、前方車両９２が前方又は後方に向かって走行している場合が含まれるものとする。

図６に示されるように、車両１０の左斜め前方に、歩行者９４が車両右方向に移動している場合、接近方向取得部５８は、カメラ１２により撮影された複数のカメラ画像に基づいて、車両１０に対する歩行者９４の接近方向を車両１０の進行方向に対して傾斜した傾斜方向として取得することができる。車両１０の進行方向に対して傾斜した傾斜方向には、車両１０の進行方向に対して直交した方向を含むものとする。

なお、車両１０の左斜め前方に、歩行者９４が車両右方向に移動している場合、接近方向取得部５８は、レーダ１４により検知された複数の検知情報に基づいて、車両１０に対する歩行者９４の接近方向を車両１０の進行方向に対して傾斜した傾斜方向として取得することもできる。

（処理時間推定部）
処理時間推定部６０は、カメラ１２が物標９０を撮影し、又はレーダ１４が物標９０を検知してから、マーク生成部６４が物標９０に対する注意を促すマークＭ１（図５参照）を生成するまでにかかる処理時間を推定する。具体的には、処理時間推定部６０は、ＣＰＵ３６の負荷に応じて、処理時間を推定することができる。例えば、処理時間推定部６０は、ＣＰＵ３６の負荷が大きいほど、処理時間を長く推定することができる。

また、処理時間推定部６０は、接近方向取得部５８が取得した接近方向が、車両１０の進行方向である場合、車両１０の進行方向に対して傾斜した傾斜方向である場合と比較して、処理時間を短く推定することもできる。また、処理時間推定部６０は、速度情報取得部５６が取得した速度情報が遅いほど、処理時間を短く推定することもできる。

（オフセット部）
オフセット部６２は、速度情報取得部５６が取得した速度情報に基づいて、位置情報取得部５４が取得した物標９０の位置Ｐ１に対して、接近方向取得部５８が取得した接近方向にオフセットする。

具体的には、オフセット部６２は、以下の計算式（１）に基づいて、オフセットするオフセット距離を設定する。
オフセット距離［ｍ］＝速度［Ｋｍ］×物標座標係数 ・・・（１）
物標座標係数＝０．００００５

ここで、物標座標係数は、カメラ１２が物標９０を撮影し、又はレーダ１４が物標９０を検知してから、マーク生成部６４が物標９０に対する注意を促すマークＭ１（図５参照）を生成するまでにかかる処理時間を考慮した係数である。物標座標係数は、例えば、車両１０の速度Ｖ１が時速６０ｋｍで、物標９０に接近した場合であって、処理時間が２００ミリ秒と推定したときに、オフセット距離は、３～５ｍになるように設定することができる。

なお、オフセット部６２は、処理時間推定部６０が推定した処理時間に応じて、位置情報取得部５４が取得した位置Ｐ１をオフセットするオフセット距離を調整することができる。具体的には、処理時間推定部６０が推定した処理時間が短い場合は、処理時間が長い場合と比較して、オフセット部６２がオフセットするオフセット距離を短くすることができる。すなわち、物標座標係数は、処理時間推定部６０が推定した処理時間に応じて、変動させることができる。

さらに詳細には、図５に示されるように、車両１０の前方に、前方車両９２が前方に向かって走行している場合、オフセット部６２は、速度情報取得部５６が取得した車両１０の絶対速度である速度Ｖ１に基づいて、位置情報取得部５４が取得した位置Ｐ１（ｙ１）に対して、接近方向取得部５８が取得した接近方向である車両１０の進行方向に、オフセット距離Ｌ１だけオフセットする。この場合にオフセットされた位置は、位置Ｐ２（ｙ２）とする。

図６に示されるように、車両１０の左斜め前方に、歩行者９４が車両右方向に移動している場合、オフセット部６２は、速度情報取得部５６が取得した車両１０に対する歩行者９４の相対速度に基づいて、位置情報取得部５４が取得した位置Ｐ１（ｘ１，ｙ１）に対して、接近方向取得部５８が取得した車両１０の進行方向に対して傾斜した傾斜方向に、オフセット距離Ｌ２だけオフセットする。この場合にオフセットされた位置は、位置Ｐ２（ｘ２，ｙ２）とする。

（マーク生成部）
マーク生成部６４は、オフセット部６２がオフセットした位置Ｐ２に基づいて、物標９０に対する注意を促すマークＭ１（図５参照）を生成する。

具体的には、図５に示されるように、車両１０の前方に、前方車両９２が前方に向かって走行している場合、マーク生成部６４は、オフセット部６２がオフセットした位置Ｐ２（ｙ２）に、前方車両９２に対する注意を促すマークＭ１を生成する。

そして、図３に示されるように、マーク生成部６４で生成されたマークＭ１の画像情報は、投射部５１に出力され、投射部５１から投射された画像が、ウインドシールド２２の第３表示部３２に投影される。

具体的には、図７に示されるように、車両１０の前方に、前方車両９２が前方に向かって走行している場合、マークＭ１が、第３表示部３２の第３表示領域Ｇ３に、虚像として重畳表示される。すなわち、マークＭ１が、ウインドシールド２２の前景に、虚像として重畳表示される。

図６に示されるように、車両１０の左斜め前方に、歩行者９４が車両右方向に移動している場合、マーク生成部６４は、オフセット部６２がオフセットした位置Ｐ２（ｘ２，ｙ２）に、歩行者９４に対する注意を促すマークＭ１を生成する。

そして、図８に示されるように、車両１０の左斜め前方に、歩行者９４が車両右方向に移動している場合、マークＭ１が、第３表示部３２の第３表示領域Ｇ３に、虚像として重畳表示される。すなわち、マークＭ１が、ウインドシールド２２の前景に、虚像として重畳表示される。

マーク生成部６４は、車両１０の速度Ｖ１を表示するマークを生成し、図７及び図８に示されるように、車両１０の速度Ｖ１を表示する第２マークＭ２が、第３表示部３２の第３表示領域Ｇ３に重畳表示されてもよい。

なお、マーク生成部６４は、位置情報取得部５４が取得した位置情報に基づいて、マークＭ１の大きさを変化させてもよい。具体的には、図９に示されるように、マーク生成部６４は、車両１０からの物標９０の距離が遠いほど、マークＭ１の大きさを小さくすることができる。

［表示制御装置による表示処理の流れ］
表示制御装置３５による表示処理の流れを図１０に示すフローチャートに基づいて説明する。

図１０に示されるように、表示処理を開始すると、位置情報取得部５４は、レーダ１４の検知情報と、カメラ１２のカメラ画像とに基づいて、物標９０の位置Ｐ１を取得する（ステップＳ１０１）。

次いで、接近方向取得部５８は、車両１０に物標９０が接近する接近方向を取得する（ステップＳ１０２）。

次いで、表示制御装置３５は、接近方向取得部５８が取得した接近方向が、車両１０の進行方向である否かを判断する（ステップＳ１０３）。接近方向取得部５８が取得した接近方向が、車両１０の進行方向である場合（ステップＳ１０３でＹＥＳ）、速度情報取得部５６は、車速センサ１５の測定情報に基づいて、車両１０の絶対速度である速度Ｖ１を取得する（ステップＳ１０４）。

次いで、オフセット部６２は、速度情報取得部５６が取得した車両１０の絶対速度である速度Ｖ１に基づいて、位置情報取得部５４が取得した位置Ｐ１に対して、接近方向取得部５８が取得した接近方向である車両進行方向にオフセットする（ステップＳ１０５）。なお、オフセット部６２は、処理時間推定部６０が推定した処理時間に基づいて、オフセット距離を調整することができる。

次いで、マーク生成部６４は、オフセット部６２がオフセットした位置Ｐ２に、マークＭ１を生成する（ステップＳ１０６）。

次いで、マーク生成部６４が生成したマークＭ１の情報が、投射部５１に出力され、マークＭ１が、第３表示部３２の第３表示領域Ｇ３に、虚像として重畳表示され（ステップＳ１０７）、表示処理を終了する。

一方、ステップＳ１０３において、接近方向取得部５８が取得した接近方向が、車両１０の進行方向に対して傾斜した傾斜方向である場合（ステップ１０３でＮＯ）、速度情報取得部５６は、物標９０に対する車両１０の相対速度を取得する（ステップＳ１０８）。

次いで、オフセット部６２は、速度情報取得部５６が取得した車両１０の相対速度に基づいて、位置情報取得部５４が取得した位置Ｐ１に対して、接近方向取得部５８が取得した接近方向である傾斜方向にオフセットする（ステップＳ１０９）。なお、オフセット部６２は、処理時間推定部６０が推定した処理時間に基づいて、オフセット距離を調整することができる。

次いで、マーク生成部６４は、オフセット部６２がオフセットした位置Ｐ２に、マークＭ１を生成する（ステップＳ１１０）。

次いで、マーク生成部６４が生成したマークＭ１の情報が、投射部５１に出力され、マークＭ１が、第３表示部３２の第３表示領域Ｇ３に、虚像として重畳表示され（ステップＳ１１１）、表示処理を終了する。

［第１実施形態の作用］
次に、第１実施形態の作用及び効果について説明する。

第１実施形態の表示制御装置３５は、車両１０の前方の物標９０を撮影するカメラ１２のカメラ画像、及び車両１０の前方の物標９０を検知するレーダ１４の検知情報の少なくとも一方に基づいて、物標９０の位置に関する位置情報を取得する位置情報取得部５４と、車両１０の速度に関する速度情報を取得する速度情報取得部５６と、車両１０に物標９０が接近する接近方向を取得する接近方向取得部５８と、速度情報取得部５６が取得した速度情報に基づいて、位置情報取得部５４が取得した位置Ｐ１に対して、接近方向取得部が取得した接近方向にオフセットするオフセット部６２と、オフセット部６２がオフセットした位置Ｐ２に、車室内に設けられた第３表示領域Ｇ３に重畳表示され、物標９０に対する注意を促すマークＭ１を生成するマーク生成部６４と、を備える（図４参照）。

ところで、カメラ１２が物標９０を撮影し、又はレーダ１４が物標９０を検知してから、マーク生成部６４が物標９０に対する注意を促すマークＭ１（図５参照）を生成するまでには、通信や描画等による処理時間がかかる。そのため、この処理時間によりタイムラグが発生して、図１１及び図１２に示されるように、物標９０に対する注意を促すマークＭ０が重畳表示される位置と、実際の物標９０の位置との間で、位置ズレが生じてしまう、という問題がある。この位置ズレは、車両１０の走行速度が速いほど顕著なものとなる。

第１実施形態では、速度情報に基づいて、位置情報取得部５４が取得した物標９０の位置Ｐ１に対してオフセットした位置Ｐ２にマークＭ１を生成することで、位置情報取得部５４が取得した物標９０の位置に対して、速度に応じてオフセットした位置Ｐ２に、物標９０に対する注意を促すマークＭ１が重畳表示される。そのため、カメラ１２が物標９０を撮影し、又はレーダ１４が物標９０を検知してから、マーク生成部６４が物標９０に対する注意を促すマークＭ１（図５参照）を生成するまでの処理時間により発生する、重畳表示されるマークＭ１と実際の物標９０との位置ずれを補正することができる。

しかも、物標９０が接近する接近方向に、位置情報取得部５４が取得した物標９０の位置をオフセットすることで、重畳表示されるマークＭ１と実際の物標９０との位置ずれが発生する方向に、位置情報取得部５４が取得した物標９０の位置Ｐ１がオフセットされる。

そのため、物標９０に対する注意を促すマークＭ１が重畳表示される位置と、実際の物標９０の位置との間で発生する位置ズレを適切に補正することができる。その結果、重畳表示されるマークＭ１の位置を実際の物標９０の位置に近づけることができる。

第１実施形態の表示制御装置３５では、接近方向取得部５８が取得した接近方向が、車両１０の進行方向である場合、速度情報を車両１０の絶対速度である速度Ｖ１とする（図５参照）。

速度情報を車両１０の絶対速度とすることで、車両１０の速度を検知することにより、速度情報が取得されることになる。そのため、速度情報を車両１０の物標９０に対する相対速度とする場合と比較して、速やかに速度情報を取得することができる。その結果、位置情報取得部５４が取得した物標９０の位置Ｐ１に対して、オフセット部６２がオフセットする時間を短縮することができる。また、表示制御装置３５に搭載されたＣＰＵの負荷も軽減することができる。

そのため、物標９０に対する注意を促すマークＭ１が重畳表示される位置と、実際の物標９０の位置との間で発生する位置ズレをより適切に補正することができる。

第１実施形態の表示制御装置３５では、接近方向取得部５８が取得した接近方向が、車両１０の進行方向に対して傾斜した傾斜方向である場合、速度情報を物標９０に対する車両１０の相対速度に関する情報とする（図６参照）。

速度情報を物標９０に対する車両１０の相対速度とすることで、この相対速度に基づいて、位置情報取得部５４が取得した物標９０の位置に対してオフセット部６２がオフセットするオフセット距離が適切に設定される。そのため、物標９０に対する注意を促すマークＭ１が重畳表示される位置と、実際の物標９０の位置との間で発生する位置ズレをより適切に補正することができる。

第１実施形態の表示制御装置３５では、オフセット部６２は、カメラ１２が物標９０を撮影し、又はレーダ１４が物標９０を検知してから、マーク生成部６４が物標９０に対する注意を促すマークＭ１（図５参照）を生成するまでにかかる処理時間に基づいて、位置情報取得部５４が取得した物標９０の位置Ｐ１をオフセットするオフセット距離を調整する。

カメラ１２が物標９０を撮影し、又はレーダ１４が物標９０を検知してから、マーク生成部６４が物標９０に対する注意を促すマークＭ１（図５参照）を生成するまでにかかる処理時間に基づいて、位置情報取得部５４が取得した物標９０の位置Ｐ１をオフセットするオフセット距離を調整することで、処理時間が長い場合は、オフセット距離が長くされ、処理時間が短い場合は、オフセット距離が短くされる。そのため、処理時間に応じて、位置情報取得部５４が取得した物標９０の位置に対してオフセット部６２がオフセットするオフセット距離が適切に設定される。その結果、重畳表示されるマークＭ１の位置を、処理時間に応じた適切な位置に補正することができる。

第１実施形態の表示制御装置３５では、位置情報取得部５４は、レーダ１４の検知情報に基づいて、車両１０の進行方向における物標９０の位置に関する位置情報を取得し、カメラ１２のカメラ画像に基づいて、車両１０の進行方向に直交した直交方向における物標９０の位置に関する位置情報を取得する（図１参照）。

車両１０の進行方向における物標９０の位置情報がレーダ１４の検知情報によって取得され、車両１０の進行方向に直交した直交方向における物標９０の位置情報がカメラ１２のカメラ画像に基づいて取得される。そのため、より正確な物標９０の位置情報が取得される。その結果、物標９０に対する注意を促すマークＭ１が重畳表示される位置と、実際の物標９０の位置との間で発生する位置ズレをより適切に補正することができる。

第１実施形態の表示制御装置３５では、マーク生成部６４は、位置情報取得部５４が取得した位置Ｐ１に基づいて、マークＭ１の大きさを変化させる（図９参照）。

位置情報取得部５４が取得した位置Ｐ１に基づいて、マークＭ１の大きさを変化させることで、車両１０と物標９０との距離が近い場合、マークＭ１の大きさを大きくし、車両１０と物標９０との距離が遠い場合、マークＭ１の大きさを小さくすることができる。そのため、物標９０との距離に応じて、適切な大きさのマークＭ１を重畳表示することができる。その結果、乗員Ｈは、物標９０との距離をマークＭ１の大きさから認識することができる。

第１実施形態の表示システム１６は、表示装置３４と、車両１０の前方の物標９０を撮影するカメラ１２と、車両１０の前方の物標９０を検知するレーダ１４と、を備える（図３参照）。

表示装置３４と、カメラ１２と、レーダ１４とを備える表示システム１６によって、物標に対する注意を促すマークが重畳表示される位置と、実際の物標の位置との間で発生する位置ズレを適切に補正することができる。その結果、重畳表示されるマークの位置を実際の物標の位置に近づけることができる。

第１実施形態の車両１０では、ウインドシールド２２に第３表示領域Ｇ３を有する（図２参照）。

ウインドシールド２２の第３表示領域Ｇ３にマークＭ１が表示されるので、乗員Ｈは、視線を前方に向けた状態で、マークＭ１を認識することができる。そのため、乗員Ｈは、運転中に、視線を前方からそらさずに、マークＭ１を認識することができる。

〔第２実施形態〕
第２実施形態の表示システムは、物標に対する注意を促すマークを重畳表示する表示領域が異なる点で、第１実施形態の表示システムと相違する。

以下、第２実施形態の表示システムの構成を説明する。なお、第１実施形態で説明した内容と同一乃至均等な部分の説明については、同一用語又は符号を用いて説明する。

第２実形態では、図１３に示されるように、第２表示部３０の第２表示領域Ｇ２に、物標９０に対する注意を促すマークＭ１を重畳表示させる。

第２表示領域Ｇ２の上側には、カメラ１２が撮影したカメラ画像Ｆが表示され、第２表示領域Ｇ２の下側には、ナビゲーションシステムにより、マップ上に現在の車両１０の位置１０Ａと、目的地までのルート（案内経路）Ｒが表示されている。

マーク生成部６４が生成したマークＭ１の画像の情報が出力部としての第２表示部３０に出力され、第２表示領域Ｇ２にマークＭ１が重畳表示される。

このような構成であっても、第１実施形態の表示システムと同様の作用効果を奏することができる。

以上、本発明の表示システムを、上記実施形態に基づき説明してきた。しかし、具体的な構成については、これら実施形態に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更などは許容される。

上記実施形態では、カメラ１２は、車両前方を撮影し、レーダ１４は、車両前方の物標９０の位置情報を検知する例を示した。しかし、カメラとレーダは、この態様に限定されるものではなく、車両の周囲を撮影又は検知してもよい。

上記実施形態では、位置情報取得部５４は、レーダ１４の検知情報と、カメラ１２のカメラ画像とに基づいて、物標９０の位置情報を取得する例を示した。しかし、位置情報取得部は、この態様に限定されず、例えば、レーダ、カメラ、ＬｉＤＡＲ及びソナーの少なくとも一つの検知情報に基づいて、物標の位置情報を取得してもよい。

上記実施形態では、速度情報取得部５６は、カメラ１２により撮影された複数のカメラ画像又はレーダ１４により検知された複数の検知情報に基づいて、車両１０に対する歩行者９４の相対速度を取得する例を示した。しかし、速度情報取得部は、この態様に限定されず、例えば、レーダ、カメラ、ＬｉＤＡＲ及びソナーの少なくとも一つの検知情報に基づいて、車両に対する物標の相対速度を取得してもよい。また、速度情報取得部は、車間距離の情報に基づいて相対速度を取得してもよい。

上記実施形態では、接近方向取得部５８は、カメラ１２により撮影された複数のカメラ画像又はレーダ１４により検知された複数の検知情報に基づいて、車両１０に対する物標９０の接近方向を取得する例を示した。しかし、接近方向取得部５８は、この態様に限定されず、例えば、レーダ、カメラ、ＬｉＤＡＲ及びソナーの少なくとも一つの検知情報に基づいて、車両に対する物標の接近方向を取得してもよい。

上記実施形態では、オフセット部６２は、処理時間推定部６０が推定した処理時間に応じて、位置情報取得部５４が取得した位置Ｐ１をオフセットするオフセット距離を調整する例を示した。しかし、オフセット部は、処理時間推定部が推定した処理時間に応じて、オフセット距離を調整しなくてもよい。

第１実施形態では、マーク生成部６４が生成したマークＭ１の画像を、ウインドシールド２２の第３表示部３２に投影する例を示した。第２実施形態では、マーク生成部６４が生成したマークＭ１の画像を、第２表示部３０に表示する例を示した。しかし、マーク生成部が生成したマークの画像を、第１表示部２８に表示させてもよいし、インストルメントパネルの上面に設けられたコンバイナに投影してもよい。

上記実施形態では、本発明の表示システムを、前方に走行している車両１０に対して適用する例を示した。しかし、本発明の表示システムは、カーブを走行中の車両や、曲がり角を走行中の車両に適用することもできる。

１０ 車両
１２ カメラ（物標検知部の一例）
１４ レーダ（物標検知部の一例）
１６ 表示システム
２２ ウインドシールド
３４ 表示装置
３５ 表示制御装置
５１ 投射部
５４ 位置情報取得部
５６ 速度情報取得部
５８ 接近方向取得部
６２ オフセット部
６４ マーク生成部
９０ 物標
Ｇ３ 第３表示領域（表示領域の一例）
Ｍ１ マーク

Claims (10)

1. 車両の周辺の物標を検知する物標検知部の検知情報に基づいて、前記物標の位置に関する位置情報を取得する位置情報取得部と、
   前記車両の速度に関する速度情報を取得する速度情報取得部と、
   前記車両に前記物標が接近する接近方向を取得する接近方向取得部と、
   前記速度情報取得部が取得した前記速度情報に基づいて、前記位置情報取得部が取得した前記位置情報に対して、前記接近方向取得部が取得した前記接近方向にオフセットするオフセット部と、
   前記オフセット部がオフセットした前記位置情報に基づいて、車室内に設けられた表示領域に重畳表示され、前記物標に対する注意を促すマークを生成するマーク生成部と、
   を備える表示制御装置。
2. 前記接近方向取得部が取得した前記接近方向が、前記車両の進行方向に対して傾斜した傾斜方向である場合、前記速度情報を前記物標に対する前記車両の相対速度に関する情報とする
   請求項１に記載の表示制御装置。
3. 前記オフセット部は、前記物標検知部が前記物標を検知してから、前記マーク生成部が前記マークを生成するまでにかかる処理時間に基づいて、前記オフセット部が前記位置情報をオフセットするオフセット距離を調整する
   請求項１に記載の表示制御装置。
4. 前記位置情報取得部は、レーダの検知情報に基づいて、前記車両の進行方向における前記物標の位置に関する位置情報を取得し、カメラのカメラ画像に基づいて、前記車両の進行方向に直交した直交方向における前記物標の位置に関する位置情報を取得する
   請求項１に記載の表示制御装置。
5. 前記マーク生成部は、前記位置情報取得部が取得した位置情報に基づいて、前記マークの大きさを変化させる
   請求項１に記載の表示制御装置。
6. 請求項１から請求項５のいずれか１項に記載の表示制御装置と、
   車室内に設けられた表示領域に前記マークを重畳表示させる画像を出力する出力部と、
   前記出力部が出力する画像が重畳表示される表示領域と、
   を備える表示装置。
7. 請求項６に記載の表示装置と、
   前記車両の周辺の前記物標を検知する物標検知部と、
   を備える表示システム。
8. 請求項７に記載の表示システムと、
   前記表示領域を構成するウインドシールドと、
   を備える車両。
9. 車両の周辺の物標を検知する物標検知部の検知情報に基づいて、前記物標の位置に関す
   る位置情報を取得し、
   前記車両の速度に関する速度情報を取得し、
   前記車両に前記物標が接近する接近方向を取得し、
   前記速度情報に基づいて、前記位置情報に対して、前記接近方向にオフセットし、
   オフセットした前記位置情報に基づいて、車室内に設けられた表示領域に重畳表示され、前記物標に対する注意を促すマークを生成する
   表示制御方法。
10. 車両の周辺の物標を検知する物標検知部の検知情報に基づいて、前記物標の位置に関する位置情報を取得し、
    前記車両の速度に関する速度情報を取得し、
    前記車両に前記物標が接近する接近方向を取得し、
    前記速度情報に基づいて、前記位置情報に対して、前記接近方向にオフセットし、
    オフセットした前記位置情報に基づいて、車室内に設けられた表示領域に重畳表示され、前記物標に対する注意を促すマークを生成する
    処理をコンピュータに実行させるプログラム。