JP6595401B2 - 表示制御装置 - Google Patents

Description

本開示は、車両に搭載されたカメラによって撮影された画像を車両内に備えられた表示装置に表示させる表示制御装置に関する。

車両に搭載されたカメラで車両の周辺における所定の範囲を撮影し、撮影された撮影画像を車両内に備えられたディスプレイ等の表示装置に表示させる技術が知られている。
このような技術において、撮影画像内に存在する障害物を示す情報を撮影画像と共に表示させる技術である障害物検出表示技術が知られている。例えば、特許文献１には、表示装置に車両後部の映像を表示させると共に、バックソーナーにより検出された障害物の方向や距離を表す図柄を表示する技術が開示されている。

特開２０００−１４２２８４号公報

特許文献１に記載の技術によれば、撮影画像と共に表示される図柄の位置や色によって、運転者が障害物のおおよその方向や距離を知ることができるとされている。しかしながら、図柄の位置や色といった情報だけでは、その障害物がどのような形状でどちらを向いているのといった、具体的な性状を把握するには不十分である。

本開示は、このような問題を解決するためになされたものであり、車両の周辺における撮影範囲に存在する障害物の形状や傾きといった性状を、運転者が容易に把握できるようにするための情報を表示する技術を提供することを目的とする。

本開示に一態様に係る表示制御装置は、車両に搭載されたカメラ（１１）によって車両の周辺における所定の範囲が撮影された映像に基づいて作成された画像を、車両内に備えられた表示装置（１３）に表示させるように構成されている。この表示制御装置は、画像取得部（１４，Ｓ２００，Ｓ２０２）と、障害物特定部（１４，Ｓ２０６）と、制御部（１４，Ｓ２０６）とを備える。なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

画像取得部は、カメラにより撮影された映像に基づく画像である周辺画像を取得するように構成されている。周辺画像は、カメラにより撮影された映像をそのまま表す画像、あるいはカメラにより撮影された映像を別の視点からの画像(例えば、鳥瞰画像等)に座標変換した画像である。障害物特定部は、画像取得部により取得された周辺画像に映る範囲から特定された障害物について、障害物が車両と向き合う部分の路面方向における傾きを少なくとも含む前記障害物の形状を特定するように構成されている。

制御部は、障害物特定部により特定された障害物について、当該障害物を示す図柄として作成した指示画像を前記周辺画像上の当該障害物に対応する位置に重畳した重畳画像を作成し、その作成された重畳画像を表示装置に表示させるように構成されている。さらに、制御部は、障害物特定部により特定された障害物の傾きに応じて、指示画像の性状を可変にするように構成されている。

このように構成された表示制御装置によれば、障害物の傾きを少なくとも含む形状に応じて、その障害物を示す図柄である指示画像の性状を自在に変化させることができる。そして、周辺画像上に重畳される指示画像を車両の運転者が見ることで、その障害物の形状や傾きを運転者が容易に把握することができる。

車載表示システムの概略構成を表すブロック図。 距離測定処理の手順を表すフローチャート。 障害物表示処理の手順を表すフローチャート。 図４Ａ、図４Ｂ、図４Ｃは、重畳画像の表示例を表す図。 図５Ａ、図５Ｂ、図５Ｃは、重畳画像の時系列の推移を表す図。 図６Ａ、図６Ｂ、図６Ｃ、図６Ｄ、図６Ｅ、図６Ｆは、指示画像の変種を表す図。 重畳画像の表示例を表す図。 重畳画像の表示例を表す図。 重畳画像の表示例を表す図。 図１０Ａは、検出された障害物の境界を表す図。図１０Ｂは、重畳画像の表示例を表す図。 図１１Ａは、遠距離における重畳画像の表示例を表す図。図１１Ｂは、近距離における重畳画像の表示例を表す図。図１１Ｃは、至近距離における重畳画像の表示例を表す図。 重畳画像の表示例を表す図。 重畳画像の表示例を表す図。 図１４Ａ、図１４Ｂは、重畳画像の表示例を表す図。 図１５Ａ、図１５Ｂは、重畳画像の表示例を表す図。 重畳画像の表示例を表す図。 重畳画像の表示例を表す図。 図１８Ａは、遠距離における重畳画像の表示例を表す図。図１８Ｂは、近距離における重畳画像の表示例を表す図。図１８Ｃは、至近距離における重畳画像の表示例を表す図。 図１９Ａは、周辺車両を含む原画像に自車両の画像を配置した図。図１９Ｂは、実際に検知された周辺車両の境界線を表す図。図１９Ｃは、検知線に合わせて車両を表すアイコンを配置した図。図１９Ｄは、周辺車両の原画像に車両を表すアイコンを重畳した図。図１９Ｅは、周辺車両の原画像に車両を表す透明色のアイコンを重畳した図。 周辺車両の原画像に車両を表すアイコンを重畳した図。

以下、本開示の実施形態を図面に基づいて説明する。なお、本開示は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［車載表示システム構成の説明］
実施形態の車載表示システム１０の構成について、図１を参照しながら説明する。車載表示システム１０は、車両１に搭載され、カメラにより撮影された映像に基づいて作成した画像を表示することで運転を支援するシステムである。図１に例示されるとおり、車載表示システム１０は、画像処理部１４と、この画像処理部１４に接続されるカメラ１１、測距部１２及び表示部１３とを有する。

カメラ１１は、車両１の前方や側方、後方等の周辺に向けて設置された撮像装置である。カメラ１１は、車両１の周辺領域を撮影し、撮影された映像を表す画像（以下、撮影画像ともいう）のデータを画像処理部１４に出力するように構成されている。測距部１２は、カメラ１１によって撮影される範囲を走査することにより、走査された範囲に存在する障害物（例えば、他の車両、歩行者、建造物の壁や柱等）と車両１との距離及び方向を表す情報を取得するように構成されたセンサである。測距部１２は、例えば、超音波ソナーや、ミリ波レーダ、レーザレーダ、ステレオカメラ、単眼カメラ、周辺監視カメラ等により具現化される。この測距部１２により得られる測定結果により、障害物の位置や、境界の形状、面の傾き、およその幅を認識することができる。

表示部１３は、画像処理部１４により供給される画像情報を表示するように構成されたディスプレイである。この表示部１３は、例えば、車両１のインストルメントパネルのような、車両１の運転者から視認しやすい場所に設けられる。

画像処理部１４は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ、入出力インタフェース等を中心に構成された情報処理装置である。画像処理部１４は、例えば、コンピュータシステムとしての機能が集約されたマイクロコントローラ等により具現化される。画像処理部１４の機能は、ＣＰＵがＲＯＭや半導体メモリ等の非遷移的実体的記憶媒体に格納されたプログラムを実行することにより実現される。なお、画像処理部１４を構成するマイクロコントローラの数は１つでも複数でもよい。なお、画像処理部１４の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を論理回路やアナログ回路等を組合せたハードウェアを用いて実現してもよい。

画像処理部１４は、上述のプログラムに従って、距離測定処理及び障害物表示処理を実行する。これらの処理についての詳細な説明については後述する。
［距離測定処理の説明］
画像処理部１４が実行する距離測定処理の手順について、図２のフローチャートを参照しながら説明する。この距離測定処理は、車載表示システム１０の稼働中において所定の制御周期ごとに繰返し実行される。

Ｓ１００では、画像処理部１４は、測距部１２を用いて車両１の周辺に存在する障害物との距離を測定し、障害物に関する位置情報を取得する。具体的には、画像処理部１４は、測距部１２を構成するレーダやソナー等の検知波によって車両１の周辺を連続的に走査し、障害物からの反射波を受信することによって、走査された範囲に存在する障害物の距離の分布を表す位置情報を取得する。あるいは、ステレオカメラや単眼カメラ、周辺監視カメラ等によって撮影された画像から物体との距離を認識する周知の画像認識技術により、障害物との距離の分布を表す位置情報を取得してもよい。

Ｓ１０２では、画像処理部１４は、Ｓ１００において取得された位置情報、すなわち、車両１と障害物との距離の分布を表す情報を画像処理部１４内のメモリに格納する。Ｓ１０２の後、画像処理部１４はＳ１００に戻る。

［障害物表示処理の説明］
画像処理部１４が実行する障害物表示処理の手順について、図３のフローチャートを参照しながら説明する。この距離測定処理は、車載表示システム１０の稼働中において上述の距離測定処理と並行して所定の制御周期ごとに繰返し実行される。

Ｓ２００では、画像処理部１４は、カメラ１１から１フレーム分の最新の撮影画像を取得する。Ｓ２０２では、画像処理部１４は、Ｓ２００において取得された撮影画像を周知の鳥瞰変換処理の技法を用いて座標変換することにより、カメラ１１の撮影画像を車両１の上方に設定された視点から俯瞰した状態を模擬した鳥瞰画像に変換する。

Ｓ２０４では、画像処理部１４は、上述の距離測定処理（図２参照）において取得された最新の位置情報をメモリから読込む。Ｓ２０６では、画像処理部１４は、Ｓ２０４において読込まれた位置情報、及びＳ２０２において作成された鳥瞰画像に映っている障害物に形状に応じて、鳥瞰画像上に存在する障害物を指示すための図柄である指示画像を作成する。ここで作成される指示画像の具体的な性状については後述する。Ｓ２０８では、画像処理部１４は、Ｓ２０６において作成された指示画像を、Ｓ２０２において作成された鳥瞰画像上に映る障害物に対応する位置に重畳した重畳画像を作成し、その作成された重畳画像を表示部１３に表示させる。

なお、画像処理部１４は、カメラ１１による撮影画像内や測距部１２によって特定された障害物の形状や傾き、位置、色彩等の状態に応じて、障害物の画像上に重畳する指示画像の性状を変えて重畳画像を作成するように構成されている。ここでいう指示画像の性状とは、例えば、図柄の形、大きさ、傾き、点滅、色彩、濃度、透明度等である。以下、障害物の画像上に重畳される指示画像の具体的な応用例について、図４〜２０を参照しながら説明する。

（図４：応用例１）
図４Ａ，４Ｂ，４Ｃは、表示部１３に表示される重畳画像の一例である。これらの重畳画像には、車両１（すなわち、自車両）の外観を表す仮想的な画像である車両画像１０１が配置されている。以下、他の応用例おいて説明する重畳画像についても同様に、車両画像１０１が配置されているものとする。この車両画像１０１は、カメラ１１による撮影画像が鳥瞰変換されるときに、画像処理部１４によって描き込まれるものとする。また、重畳画像には、鳥瞰画像に映っている障害物を指し示す図柄である指示画像が、画像処理部１４によって描き込まれている。

図４Ａの事例では、車両画像１０１の正面側に細長い柱状の障害物の画像２０１が映っている状況を想定している。図４Ａの事例において、画像処理部１４は、障害物画像２０１の幅と同程度の幅の板状の図柄で構成される指示画像３０１を作成する。そして、画像処理部１４は、鳥瞰画像上の障害物画像２０１の位置に合わせて指示画像３０１を重畳させることによって重畳画像を作成する。

図４Ｂの事例では、車両画像１０１の正面側に車両１と同程度の幅の壁状の障害物の画像２０２が映っている状況を想定している。図４Ｂの事例において、画像処理部１４は、映っている障害物の幅に応じて図４Ａの事例よりも幅の広い板状の図柄で構成される指示画像３０２を作成する。そして、画像処理部１４は、鳥瞰画像上の障害物画像２０２の位置に合わせて指示画像３０２を重畳させることによって重畳画像を作成する。

図４Ｃの事例では、車両画像１０１の斜め前方に、車両画像１０１の正面方向に対して面が傾いた状態で相対している壁状の障害物の画像２０３が映っている状況を想定している。図４Ｃの事例において、画像処理部１４は、画像処理部１４は、車両画像１０１の正面方向に対する障害物画像２０３の傾きに合わせて、面が傾いた板状の図柄で構成される指示画像３０３を作成する。そして、画像処理部１４は、鳥瞰画像上の障害物画像２０３の位置に合わせて指示画像３０３を重畳させることによって重畳画像を作成する。

図４Ａ，４Ｂ，４Ｃの各事例において、画像処理部１４は、障害物が車両１と向き合う部分の路面方向における傾きに応じて、板状の図柄からなる指示画像の向きを可変にするように構成されている。具体的は、画像処理部１４は、測距部１２により取得された位置情報で表される障害物の境界の形状に基づいて、障害物が車両１と向き合う部分の路面方向における傾きを認識する。そして、画像処理部１４は、鳥瞰画像の座標系において障害物の傾きと同じ傾きとなる幾何学的な図柄で構成される指示画像を作成し、その指示画像を障害物画像上に重畳する。

（図５：応用例２）
画像処理部１４は、障害物の画像に重ねて表示する指示画像を周期的に点滅させる構成であってもよい。また、図５Ａ，５Ｂ，５Ｃに例示されるように、車両１と障害物との距離の遠近に応じて指示画像を点滅させる周期の長短を変えてもよい。このようにすることで、運転者が障害物との距離を的確に把握することができる。

図５Ａの事例は、車両１と障害物との距離が比較的遠い状況において、画像処理部１４が表示する重畳画像の時系列である。図５Ａの事例において、画像処理部１４は、障害物画像２０４上に重畳した指示画像３０４を比較的長い周期で点滅させる重畳画像を表示させる。

図５Ｂの事例は、車両１と障害物との距離が比較的近い（すなわち、図５Ａの事例よりも近い）状況において、画像処理部１４が表示する重畳画像の時系列である。図５Ｂの事例において、画像処理部１４は、障害物画像２０４上に重畳した指示画像３０４を図５Ａの事例より比較的短い周期で点滅させる重畳画像を表示させる。

図５Ｃの事例は、車両１と障害物との距離が非常に近い（すなわち、図５Ｂの事例よりも更に近い）状況において、画像処理部１４が表示する重畳画像の時系列である。図５Ｃの事例において、画像処理部１４は、障害物画像２０４上に重畳した指示画像３０４を連続的に表示させる、あるいは図５Ｂの事例より更に短い周期で点滅させる重畳画像を表示させる。

（図６：応用例３）
画像処理部１４は、図６Ａ，６Ｂ，６Ｃ，６Ｄ，６Ｅ，６Ｆに例示されるように、様々な形状の図形や、記号、アイコン、文字情報からなる指示画像を障害物の画像上に重畳する構成であってもよい。

図６Ａの事例は、障害物画像２０５の面に沿って板状の図柄で構成された指示画像３０５が重畳された重畳画像の一例である。図６Ｂの事例は、障害物画像２０５の面に沿って折線状の図柄で構成された指示画像３０６が重畳された重畳画像の一例である。図６Ｃの事例は、障害物画像２０５の面に沿って波線状の図柄で構成された指示画像３０７が重畳された重畳画像の一例である。

図６Ｄの事例は、障害物画像２０５の面に沿って点列状の図柄で構成された指示画像３０８が重畳された重畳画像の一例である。図６Ｅの事例は、障害物画像２０５の面に沿って、注意喚起を促す旨の記号を含むアイコンで構成された指示画像３０９が重畳された重畳画像の一例である。図６Ｆの事例は、障害物画像２０５の面に沿って、障害物までの距離を表す文字情報で構成された指示画像３１０が重畳された重畳画像の一例である。

（図７：応用例４）
画像処理部１４は、車両１が進むと予測される進路や車長の前後方向の範囲に該当する障害物を対象に指示画像を配置する構成であってもよい。その場合、他の範囲については、たとえ障害物が検知されていても指示画像を表示させなくてもよい。具体的には、画像処理部１４は、車両１の操舵状況を表す車両情報を取得する等して車両１の進路を予測し、予め登録されている車両１の車幅や車長等の情報に基づいて、鳥瞰画像上における予測進路の範囲や車長の前後方向の範囲を特定する。

図７の事例は、車両１が左方向に曲がる進路が予測された状況において表示される重畳画像の一例である。図７の事例では、障害物画像２０６のうち、車両１が左方向へ曲がる予測進路における軌跡の範囲と、車両１の車幅を正面方向に投影した範囲とに該当する横方向の範囲に沿って指示画像３１１が配置されている。このようにすることで、車両１が接触する可能性のある範囲に障害物を運転者に対して分かりやすく提示できる。

（図８：応用例５）
画像処理部１４は、車両１と障害物とが接触する可能性を考慮して、車両１の車幅を基準とする範囲に該当する障害物を対象に指示画像を配置する構成であってもよい。その場合、図８に例示されるように、車両１の車幅よりやや広い範囲まで、指示画像を配置する構成であってもよい。

図８の事例は、車両１の斜め前方に障害物が存在する状況において表示される重畳画像の一例である。図８の事例では、障害物画像２０７のうち、車両１の車幅を正面方向に投影した範囲を左右に所定距離だけ拡大した表示範囲に該当する部分において、指示画像３１２が配置されている。このようにすることで、車両１が接触する可能性のある範囲に障害物を運転者に対して分かりやすく提示できる。

（図９：応用例６）
画像処理部１４は、測距部１２のレーダやソナーにより検知された障害物の形状を表す境界線（以下、検知線ともいう）について、検知線の幅よりも広い範囲に当該障害物に係る指示画像を配置する構成であってもよい。具体的には、画像処理部１４は、測距部１２により取得された位置情報で表される障害物の検知線の幅を特定し、その検知線の幅を基準にして指示画像を配置する範囲を特定する。

図９の事例は、車両の前方に障害物が存在する状況において表示される重畳画像の一例である。図９の事例では、障害物画像２０８のうち実際に検知された検知線の幅を左右に所定距離だけ拡大した表示範囲に該当する部分に、指示画像３１３が配置されている。このようにすることで、検知線の幅よりも実際の障害物の幅が大きい場合であっても、障害物の規模を運転者に的確に提示することができる。

（図１０：応用例７）
画像処理部１４は、測距部１２のレーダやソナーにより検知された障害物について、鳥瞰画像から画像認識により障害物の境界を認識し、その認識された境界に沿って当該障害物に係る指示画像を配置する構成であってもよい。

具体的には、図１０Ａに例示されるとおり、画像処理部１４は、鳥瞰画像に映っている障害物画像２０９の検知線周辺の画像領域からエッジ等の特徴量を抽出し、抽出された特徴量に基づいて障害物の縦方向の境界を検出する。そして、図１０Ｂに例示されるとおり、画像処理部１４は、障害物画像２０９の境界に沿った幅の指示画像３１４を、障害物画像２０９に重畳する。このようにすることで、検知線の幅よりも実際の障害物の幅が大きい場合であっても、障害物の規模を運転者に的確に提示することができる。

（図１１：応用例８）
画像処理部１４は、車両１と障害物との距離の遠近に応じて障害物の画像に重畳する指示画像の性状（例えば、形状、大きさ、色彩、透過率等）を変える構成であってもよい。このようにすることで、運転者が障害物との距離を的確に把握することができる。

図１１Ａの事例は、車両１と障害物との距離が比較的遠い状況において、画像処理部１４が表示する重畳画像の一例である。図１１Ａの事例において、画像処理部１４は、障害物画像２１０上に比較的小さな形状の指示画像３１５を重畳した重畳画像を表示させる。

図１１Ｂの事例は、車両１と障害物との距離が比較的近い（すなわち、図１１Ａの事例よりも近い）状況において、画像処理部１４が表示する重畳画像の一例である。図１１Ｂの事例において、画像処理部１４は、図１１Ａの事例よりも比較的大きな形状の指示画像３１６を障害物画像２１０上に重畳した重畳画像を表示させる。このとき、画像処理部１４は、指示画像３１６の色彩や透過率を図１１Ａの指示画像３１５よりも強調的な態様に変えてもよい。

図１１Ｃの事例は、車両１と障害物との距離が非常に近い（すなわち、図１１Ｂの事例よりも更に近い）状況において、画像処理部１４が表示する重畳画像の一例である。図１１Ｃの事例において、画像処理部１４は、図１１Ｂの事例よりも更に大きな形状の指示画像３１７を障害物画像２１０上に重畳した重畳画像を表示させる。このとき、画像処理部１４は、指示画像３１７の色彩や透過率を図１１Ｂの指示画像３１６よりも強調的な態様に変えてもよい。

（図１２：応用例９）
画像処理部１４は、障害物の画像に重畳する指示画像を、障害物の上方に相当する方向に向かって重畳画像の表示範囲の外縁まで引き伸ばした態様で描画する構成であってもよい。具体的には、図１２に例示されるように、画像処理部１４は、障害物画像２１１上に配置する指示画像３１８について、障害物画像２１１の上方に相当する方向に向かって重畳画像の表示範囲の上端部まで引き伸ばした形状で描画する。このようにすることで、障害物の高さを強調する態様にて運転者に障害物に関する指示画像を提示できる。

（図１３：応用例１０）
画像処理部１４がカメラ１１による撮影画像を鳥瞰画像へと変換する際に生じる画像の歪み（例えば、中心から遠いほど画像が放射状に引き伸ばされる）を考慮し、鳥瞰画像上の障害物の画像に重畳する指示画像の形状を放射状に引き伸ばすように構成してもよい。具体的には、図１３に例示されるように、画像処理部１４は、障害物画像２１１上に重畳する指示画像３１８を、カメラ１１の位置に相当する鳥瞰画像上の画像位置を中心として放射状に引き伸ばした形状で描画する。このようにすることで、運転者に与える違和感を低減することができる。

（図１４：応用例１１）
画像処理部１４は、障害物の画像に重畳する指示画像を、障害物の下端側を強調する態様で描画する構成であってもよい。具体的には、図１４Ａ，１４Ｂに例示されるように、画像処理部１４は、指示画像３２０，３２１を構成する図柄の色彩や濃淡、透過率を障害物画像２１３の上端側から下端側にかけて連続的又は段階的に変化させて描画することで、障害物画像２１３の下端側を強調する。このようにすることで、車両１と接触する可能性がある障害物の下側の部位を強調する態様で、指示画像を表示させることができる。

（図１５：応用例１２）
画像処理部１４は、撮影された画像から障害物の色を認識し、認識された障害物の色の補色の相当する色を用いた指示画像を描画する構成であってもよい。具体的には、図１５Ａ，１５Ｂに例示されるように、障害物画像２１４，２１５の色と補色の関係となる図柄で構成された指示画像３２２，３２３を障害物画像２１４，２１５上に重畳する。このようにすることで、障害物画像と指示画像とを互いに引き立たせて、運転者による視認性を向上させることができる。

（図１６：応用例１３）
画像処理部１４は、測距部１２により検知された障害物が斜面であると推定した場合、検知された障害物の境界を表す検知線よりも車両１寄りの範囲にも指示画像を配置する構成であってもよい。

例えば、測距部１２のレーダやソナーにより上り坂等の斜面が検知された場合、レーダやソナーによる縦方向の検知範囲の下限よりも下方の領域において、検知されていない斜面が車両１に向かって続いている可能性がある。そこで、図１６に例示されるように、画像処理部１４は、障害物として検出された斜面の画像２１６について、実際の検知線よりも車両画像１０１寄りの領域を含む範囲に指示画像３２４を配置する。このようにすることで、測距部１２のレーダやソナーにより検知されない斜面の部位に対する運転者の注意を喚起できる。

（図１７：応用例１４）
画像処理部１４は、障害物の画像に重畳する指示画像について、測距部１２により実際に検知された領域を他の領域よりも強調する態様で描画する構成であってもよい。具体的には、図１７に例示されるように、画像処理部１４は、障害物画像２１７上に板状の図柄で構成される指示画像３２５Ａを表示させると共に、測距部１２のレーダやソナーにより検出された領域に相当する画像領域に強調画像３２５Ｂを表示させる。この強調画像３２５Ｂは、指示画像３２５Ａよりも強調的な色彩や濃度、透過率を用いて描画された図柄で構成されているものとする。このようにすることで、障害物の境界に対する運転者の注意を喚起できる。

（図１８：応用例１５）
画像処理部１４は、車両１と障害物との距離の遠近に応じて、重畳画像に車両１と障害物との距離の目安となる方眼状の線（以下、グリット線という）を表示させる構成であってもよい。また、車両１と障害物との距離の遠近に応じて、グリット線の升目の細かさを可変にしてもよい。このようにすることで、運転者が障害物との距離を的確に把握することができる。

図１８Ａの事例は、車両１と障害物との距離が比較的遠い状況において、画像処理部１４が表示する重畳画像の一例である。図１８Ａの事例において、画像処理部１４は、障害物画像２１８上に指示画像３１５を重畳した重畳画像を表示させる。ただし、この距離においては、車両１と障害物との距離の目安となるグリット線は表示しない。

図１８Ｂの事例は、車両１と障害物との距離が比較的近い（すなわち、図１８Ａの事例よりも近い）状況において、画像処理部１４が表示する重畳画像の一例である。図１８Ｂの事例において、画像処理部１４は、指示画像３２７を障害物画像２１８上に重畳すると共に、比較的大まかな升目で構成されたグリット線を車両画像１０１及び障害物画像２１８の周囲に描画した重畳画像を表示させる。

図１８Ｃの事例は、車両１と障害物との距離が非常に近い（すなわち、図１８Ｂの事例よりも更に近い）状況において、画像処理部１４が表示する重畳画像の一例である。図１８Ｃの事例において、画像処理部１４は、指示画像３２８を障害物画像２１８上に重畳すると共に、図１８Ｂの事例よりも細かい升目で構成されたグリット線を車両画像１０１及び障害物画像２１８の周囲に描画した重畳画像を表示させる。

（図１９：応用例１６）
画像処理部１４は、測距部１２により検知された障害物が車両であると推定した場合、車両を模したアイコンで構成された指示画像を、障害物として検出された車両の向きや大きさに合わせて重畳表示する構成であってもよい。このようにすることで、車両１の周辺に存在する他車両を運転者が的確に認識することができる。

図１９Ａの事例は、カメラ１１による撮影画像から作成された鳥瞰画像において、車両１に相当する車両画像１０１の周辺に、２台の他車両の画像４０１，４０２が映っている状況を表している。図１９Ｂは、図１９Ａに例示される状況下で測距部１２により実際に検知された他車両の境界を表す検知線を表している。

画像処理部１４は、図１９Ｃに例示されるとおり、検知線の形状や傾きに沿って、車両を模したアイコンからなる指示画像５０１，５０２を作成する。なお、図１９Ｃの事例において作成される指示画像５０１，５０２は、不透明な色を用いて描画されているものとする。そして、画像処理部１４は、図１９Ｄに例示されるとおり、作成された指示画像５０１，５０２を他車両の画像４０１，４０２にそれぞれ重畳した重畳画像を表示させる。

あるいは、画像処理部１４は、図１９Ｄに例示されるように、車両の図柄を輪郭のみで表した内部が透明の指示画像６０１，６０２を、他車両の画像４０１，４０２に重畳する構成であってもよい。

（図２０：応用例１７）
画像処理部１４は、車両を模したアイコンで構成された指示画像を描画する際、指示画像を重ねる対象である他車両の原画像から取得した単一の代表色を用いる構成であってもよい。具体的には、画像処理部１４は、図２０に例示されるように、鳥瞰画像に映っている他車両の画像４０３の中から特定の色を抽出し、その抽出された色を用いて描画した指示画像５０３を他車両の画像４０３上に重ねて表示させる。このようにすることで、障害物として検知された他車両に複雑な図柄が描かれている場合や、立体駐車場のグレーチングを通った光等を受けて複雑な模様を呈する場合であっても、単純で見やすい態様にて指示画像を表示させることができる。

［効果］
実施形態の車載表示システムによれば、以下の効果を奏する。
車両１の周辺において検知された障害物の傾きや大きさ等の形状に応じて、その障害物を示す図柄である指示画像の向きや形状等の性状を自在に変えることができる。また、障害物との距離に応じて指示画像の大きさや色彩、点滅等の表示態様を自在に変えることができる。このようにして障害物の画像上に指示画像が重畳された重畳画像を車両の運転者が見ることで、その障害物の状態を容易に把握することができる。

［特許請求の範囲に記載の構成との対応］
実施形態の各構成と、特許請求の範囲に記載の構成との対応は次のとおりである。
画像処理部１４が、表示制御装置に相当する。画像処理部１４が実行するＳ２００及びＳ２０２の処理が、画像取得部としての処理に相当する。画像処理部１４が実行するＳ２０６の処理が、障害物特定部及び制御部としての処理に相当する。

［変形例］
上記各実施形態における１つの構成要素が有する機能を複数の構成要素に分担させたり、複数の構成要素が有する機能を１つの構成要素に発揮させたりしてもよい。また、上記各実施形態の構成の一部を省略してもよい。また、上記各実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が、本開示の実施形態である。

例えば、上述の応用例１（図４参照）では、障害物の向きや幅に応じて、障害物の画像に重畳する指示画像の傾きや幅等の形状を可変する事例について説明した。さらに、障害物の傾きに応じて、指示画像の色や模様等の性状を変化させる構成であってもよい。

また、上述の実施形態では、カメラ１１による撮影画像を鳥瞰画像に変換した上で、変換された鳥瞰画像上の障害物の画像に対して指示画像を重畳する事例について説明した。鳥瞰画像に限らず、カメラ１１による撮影画像そのものに指示画像を重畳してもよい。あるいは、鳥瞰画像とは別の視点の画像に変換された画像に指示画像を重畳してもよい。

上述した画像処理部１４としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体等、種々の形態で本開示を実現することもできる。

１…車両、１０…車載表示システム、１１…カメラ、１２…測距部、１３…表示部、１４…画像処理部。

Claims (16)

1. 車両に搭載されたカメラ（１１）によって前記車両の周辺における所定の範囲が撮影された映像に基づいて作成された画像を、前記車両内にある表示装置（１３）に表示させる表示制御装置であって、
   前記カメラにより撮影された映像に基づく画像である周辺画像を取得するように構成された画像取得部（１４，Ｓ２００，Ｓ２０２）と、
   前記画像取得部により取得された周辺画像に映る範囲から特定された障害物について、前記障害物が前記車両と向き合う部分の路面方向における傾きを少なくとも含む前記障害物の形状を特定するように構成された障害物特定部（１４，Ｓ２０６）と、
   前記障害物特定部により特定された障害物について、当該障害物を示す図柄として作成した指示画像を前記周辺画像上の当該障害物に対応する位置に重畳した重畳画像を作成し、その作成された重畳画像を前記表示装置に表示させるように構成された制御部（１４，Ｓ２０６）とを備え、
   前記制御部は、前記障害物特定部により特定された前記障害物の傾きに応じて、前記指示画像の性状を可変にするように構成されている、表示制御装置。
2. 車両に搭載されたカメラ（１１）によって前記車両の周辺における所定の範囲が撮影された映像に基づいて作成された画像を、前記車両内にある表示装置（１３）に表示させる表示制御装置であって、
   前記カメラにより撮影された映像に基づく画像である周辺画像を取得するように構成された画像取得部（１４，Ｓ２００，Ｓ２０２）と、
   前記画像取得部により取得された周辺画像に映る範囲から特定された障害物について、当該障害物の形状、傾き、及び色彩の少なくとも何れかを特定するように構成された障害物特定部（１４，Ｓ２０６）と、
   前記障害物特定部により特定された障害物について、当該障害物を示す図柄として作成した指示画像を前記周辺画像上の当該障害物に対応する位置に重畳した重畳画像を作成し、その作成された重畳画像を前記表示装置に表示させるように構成された制御部（１４，Ｓ２０６）とを備え、
   前記制御部は、前記障害物特定部により特定された前記障害物の形状、傾き、及び色彩の少なくとも何れかの状態に応じて、前記指示画像の性状を可変にするように構成されている、表示制御装置。
3. 請求項１又は請求項２に記載の表示制御装置において、
   前記制御部は、前記障害物特定部により特定された前記障害物の傾きに合わせて、前記指示画像を傾けた態様で表示させるように構成されている、表示制御装置。
4. 請求項１ないし請求項３の何れか１項に記載の表示制御装置において、
   前記制御部は、前記障害物と前記車両との距離を測定するように構成された測距部（１２）により測定された距離に応じて、その障害物に対して重畳する指示画像の表示態様を可変にするように構成されている、表示制御装置。
5. 請求項１ないし請求項４の何れか１項に記載の表示制御装置において、
   前記制御部は、前記障害物特定部により特定された障害物のうち、前記車両が進行すると予測される軌跡上の範囲、及び前記車両の車幅を前記車両の前方又は後方に投影した範囲に存在する障害物の画像上に前記指示画像を配置するように構成されている、表示制御装置。
6. 請求項１ないし請求項４の何れか１項に記載の表示制御装置において、
   前記制御部は、前記障害物特定部により特定された障害物のうち、前記車両の車幅を一定量拡張した範囲を前記車両の前方又は後方に投影した範囲に存在する障害物の画像上に前記指示画像を配置するように構成されている、表示制御装置。
7. 請求項１ないし請求項６の何れか１項に記載の表示制御装置において、
   前記制御部は、前記障害物特定部により特定された障害物の境界を拡張した範囲に前記指示画像を配置するように構成されている、表示制御装置。
8. 請求項１ないし請求項７の何れか１項に記載の表示制御装置において、
   前記障害物特定部は、前記車両の周辺に存在する障害物を検知する対物センサ（１２）により障害物が検知された範囲に対応する前記周辺画像の画像部分を基準とする周辺画像の特徴量に基づいて、前記周辺画像上における当該障害物の境界を特定するように構成されており、
   前記制御部は、前記障害物特定部によって特定された前記障害物の境界に沿って前記指示画像を配置するように構成されている、表示制御装置。
9. 請求項１ないし請求項８の何れか１項に記載の表示制御装置において、
   前記制御部は、前記指示画像が前記障害物の上方に相当する方向に向かって前記重畳画像の表示範囲の外縁部まで達するように、前記指示画像を描画するように構成されている、表示制御装置。
10. 請求項１ないし請求項９の何れか１項に記載の表示制御装置において、
    前記画像取得部は、前記カメラによって撮影された映像を鳥瞰によって表される画像に変更した鳥瞰画像を前記周辺画像として取得するように構成されており、
    前記制御部は、前記鳥瞰画像上に前記指示画像を重畳して表示するものであって、前記カメラの位置を中心に放射状に広がる形状の前記指示画像を描画するように構成されている、表示制御装置。
11. 請求項１ないし請求項１０の何れか１項に記載の表示制御装置において、
    前記制御部は、前記障害物の下端側を上端側よりも強調して表示する態様の前記指示画像を描画するように構成されている、表示制御装置。
12. 請求項１ないし請求項１１の何れか１項に記載の表示制御装置において、
    前記制御部は、前記指示画像に用いる標準の表示色が前記障害物の色と同系色に該当する場合、前記標準の表示色とは異なる表示色を用いて前記指示画像を描画するように構成されている、表示制御装置。
13. 請求項１ないし請求項１２の何れか１項に記載の表示制御装置において、
    前記制御部は、前記障害物が斜面に該当する場合、前記指示画像を前記障害物が検出された領域よりも前記車両寄りの範囲に延長して配置するように構成されている、表示制御装置。
14. 請求項１ないし請求項１３の何れか１項に記載の表示制御装置において、
    前記制御部は、障害物を検知する対物センサにより障害物が検知された範囲に対応する前記周辺画像の画像部分を、前記障害物に対応する他の画像部分よりも強調して表示する態様の前記指示画像を描画するように構成されている、表示制御装置。
15. 請求項１ないし請求項８の何れか１項に記載の表示制御装置において、
    前記障害物特定部は、他車両を前記障害物として認識するように構成されており、
    前記制御部は、前記障害物特定部により認識された他車両について、前記周辺画像上の前記他車両に対応する位置に、車両を表す図柄である前記指示画像を前記他車両の傾きに合わせて配置するように構成されている、表示制御装置。
16. 請求項１５に記載の表示制御装置において、
    前記制御部は、前記指示画像として、一部に透明色を用いて描画した車両の図柄、又は前記周辺画像から認識された前記他車両の色を用いて描画した車両の図柄を用いるように構成されている、表示制御装置。

Images