JP7345114B2 - 車両用表示制御装置、表示制御方法、およびプログラム - Google Patents

Description

本開示は、車両用表示制御装置、表示制御方法、およびプログラムに関する。

近年、車両に積載したカメラが撮像した画像を処理し、車両の運転者に提示することで、運転を支援する車両用表示装置が普及し始めている。例えば、車両に設けられたサイドミラーに代えてカメラで撮影した画像を車内の表示装置に表示するような構成の車両がある。

特許文献１では、車載のカメラにて撮影された画像を表示する際に、画像のうち、車両から近い領域はそのまま表示し、遠い領域はぼかして表示する構成が開示されている。これにより、運転者が表示画像を参照した際に距離感を把握しやすくしている。

国際公開第２０１５／１６２９１０号

一方、所定の状況下において、特許文献１のように表示画像の一部をぼかした場合、運転者による周辺の視認を妨げる可能性がある。

本開示は、上述した従来の事情に鑑みて案出され、車両または車両周辺の状況に応じて、運転者に車両の周辺環境のより適切な視認を促す画像表示を提供する車両用表示制御装置、表示制御方法、およびプログラムを提供することを目的とする。

本開示は、車両内に設置された表示部に表示させる表示画像を制御する車両用表示制御装置であって、前記車両に設置された１以上の撮像部により撮像された撮影画像に前記車両の乗員の視認を妨げるための処理を行い、前記表示画像を生成する画像処理部と、前記車両の状態を示す情報および前記車両の周辺環境の情報を取得する取得部と、前記取得部にて取得された情報に基づき、前記車両が第１の状況か否かを判定する状況判定部と、を備え、前記画像処理部は、前記状況判定部にて前記車両が前記第１の状況であると判定された場合、前記撮影画像に対する前記処理の適用を禁止、または、前記処理の適用の程度を減じた前記表示画像を生成して前記表示部に表示させる、車両用表示制御装置を提供する。

また、本開示は、車両内に設置された表示部に表示させる表示画像を制御する表示制御方法であって、前記車両に設置された１以上の撮像部によって撮像された撮影画像に前記車両の乗員の視認を妨げるための処理を行い、前記表示部に表示させる表示画像を生成し、前記車両の状態を示す情報および前記車両の周辺環境の情報を取得し、取得された前記情報に基づき、前記車両が第１の状況か否かを判定し、前記車両が前記第１の状況であると判定された場合、前記撮影画像に対する前記処理の適用が禁止、または、前記処理の適用の程度を減じた前記表示画像を生成して前記表示部に表示させる、表示制御方法を提供する。

また、本開示は、車両に設置されたコンピュータである表示制御装置に、車両に設置された１以上の撮像部によって撮像された撮影画像に前記車両の乗員の視認を妨げるための処理を行い、前記車両に設置された表示部に表示させる表示画像を生成するステップと、前記車両の状態を示す情報および前記車両の周辺環境の情報を取得するステップと、取得された前記情報に基づき、前記車両が第１の状況か否かを判定するステップと、前記車両が前記第１の状況であると判定された場合、前記撮影画像に対する前記処理の適用が禁止、または、前記処理の適用の程度を減じた前記表示画像を生成して前記表示部に表示させるステップと、を実行させるための、プログラムを提供する。

なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記憶媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

本開示によれば、車両または車両周辺の状況に応じて、運転者に車両の周辺環境のより適切な視認を促す画像表示を提供することが可能となる。

実施の形態１に係る車両の内部構成例を示す図 図１に示すカメラ群のそれぞれの配置例を示す車両上面図 図１に示す表示部の表示画像の構成例を示す図 実施の形態１に係るカメラの視野範囲（画角）の切り替え例を説明するための上面図 実施の形態１に係る表示部の表示画像の切り替え例を説明するための概念図 実施の形態１に係る表示部の表示画像の切り替え例を説明するための図 実施の形態１に係る表示部の表示画像の切り替え例を説明するための図 実施の形態１に係る表示制御装置の処理手順例のフローチャート

以下、添付図面を適宜参照しながら、本開示に係る車両用表示制御装置、表示制御方法、およびプログラムを具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、あるいは、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されない。

＜実施の形態１＞
［車両および表示制御装置の構成概要］
図１～図３を参照して、実施の形態１に係る車両１の構成について説明する。図１は、実施の形態１に係る車両１の内部構成例を示す図である。図２は、図１に示すカメラ群１０６のそれぞれの配置例を示す車両上面図である。図３は、図１に示す表示部１１２の表示画像例を示す図である。なお、以下の説明において、車両１は、実施の形態１に係る車両用表示制御装置の一例としての表示制御装置１００が設置される自車両を示す。

図１に示すように、車両１は、実施の形態１に係る表示制御装置１００、カメラ群１０６、ナビゲーション装置１１１、表示部１１２、センサ群１１３、および報知装置１１４を含んで構成される。カメラ群１０６およびセンサ群１１３は、車両１の走行環境に関する各種情報を取得する。

実施の形態１に係る車両１は、４つの車輪のそれぞれを有する四輪車であり、前車軸で回転支持される一対の前車輪と、後車軸で回転支持される一対の後車輪と、を有する。また、実施の形態１に係る車両１は、カメラモニタリングシステム（ＣＭＳ：Ｃａｍｅｒａ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）を備える。すなわち、車両１は、車両１の後方を確認するためのバックミラー、および車両１の左右方向を確認するためのサイドミラーを備えない、いわゆるミラーレス車両として構成される。ミラーレス車両としての車両１は、撮像部であるカメラ群１０６によって車両１の後方および左右方向を撮影し、車両１の内部に配置された表示部１１２が備えるディスプレイ（不図示）に撮影された撮影画像が表示される。これにより、車両１は、運転者に車両１の後方および左右方向を視認可能に構成される。また、カメラ群１０６は、車両１の内部を撮影する。カメラ群１０６によって撮影された撮影画像は、車両１の各種制御に用いられる。なお、実施の形態１に係る車両１は、上述したバックミラーおよびサイドミラーを備えてもよい。

以下の説明では、ＣＭＳとして、従来のバックミラーが設置される位置に１つの表示部１１２を設置し、その表示部１１２が備えるディスプレイ上に車両１の周辺に関する撮影画像を画像処理して生成された表示画像を表示する構成を例に挙げて説明する。しかし、この構成に車両１の構成を、限定するものではない。例えば、従来のサイドミラーに対応する複数の表示部１１２を、車両１の車内の左右前方に設置し、周辺の撮影画像を画像処理して生成された複数の表示画像それぞれを、左右前方に設置された複数の表示部１１２それぞれに表示するような構成であってもよい。

なお、実施の形態１に係る車両１が備える駆動原動機（不図示）の一例は電動モータであるが、これに限定されず内燃機関またはそれの組み合わせであってもよい。駆動原動機は、回転機構を有し、その回転機構を回転駆動させることで車両１に運動エネルギーを付加して車両１を走行させる。また、車両１が備える制動機構（不図示）は、車輪を制動させるための機構であり、例えば変速機およびブレーキ機構などである。制動機構は、車輪の駆動軸（不図示）に減速用のトルク（制動力）を付加することで車両１を加速、減速、または停止させる。

図１および図２に示すように、撮像部および取得部の一例としてのカメラ群１０６は、右カメラ１０７、左カメラ１０８、後方カメラ１０９、および車内カメラ１１０を少なくとも含んで構成される。右カメラ１０７、左カメラ１０８、後方カメラ１０９、および車内カメラ１１０のそれぞれは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）もしくはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有して構成されており、所定の撮像対象物を撮像した撮像情報を表示制御装置１００に送信する。撮像情報には、撮影画像の他、撮影した際の属性情報（設定情報、日時、場所など）が含まれてよい。

右カメラ１０７および左カメラ１０８それぞれは、車両１のサイドドアの前端部に車幅方向外方に突設される一対のカメラ支持部によって固定支持される。右カメラ１０７および左カメラ１０８のそれぞれは、その光軸が車両１の左右方向でかつ後方、つまり車両１の斜め後ろに向けて配置される。右カメラ１０７および左カメラ１０８のそれぞれは、車両１の左右方向に所定角範囲で広がる画角で車両１の左右方向に位置する撮像対象物を撮像する。

後方カメラ１０９は、例えば車両１の後部のバンパよりも上方に設置される。後方カメラ１０９は、その光軸が車両１の車体の後方の路面を向けて設置され、車両１の後方に向けて所定角範囲で広がる画角で後方に位置する撮像対象物を撮像する。

車内カメラ１１０は、車両１の内部を撮影するためのカメラである。車内カメラ１１０は、少なくとも車両１の運転者が画角内に位置するように設置され、運転者を含めた車両１の内部を撮影する。図２の例の場合、車両１は、右ハンドルの構成であり、車内カメラ１１０が運転席の正面に設置されている。なお、車両１は、左ハンドルの構成を有する車両であってもよいことは言うまでもない。

なお、上記のカメラの他、カメラ群１０６には前方カメラとして機能する複眼カメラ（不図示）がさらに含まれてもよい。複眼カメラは、例えば車両１のフロントガラスの上端部に近接した位置で、車両１の内部に設置される。複眼カメラの光軸は、車両１の前方の路面に向けて配置され、車両１の前方を所定角範囲で広がる画角視野で前方に位置する撮像対象物を撮像する。また、複眼カメラは、複数のカメラセンサ（撮像素子）のそれぞれを備える。そのため、複眼カメラは、例えば三角測量の原理に基づく車両１の前方を撮影した複数の距離画像のそれぞれを生成し、それらの複数の距離画像のそれぞれに基づいて、車両１の前方の障害物を含む撮像対象物を認識する。複眼カメラは、車両１（つまり、複眼カメラの設置位置）と認識された撮像対象物との間の距離を計測する。すなわち、複眼カメラは、異なる撮像位置から同じ物体（撮像対象物）を撮像し、複数のカメラセンサのそれぞれの撮影画像上で結像された結像点が、撮像された物体との間の距離によって変化することを利用して複眼カメラと物体との間の距離および車両１に対する物体の位置を特定することが可能である。

このように、実施の形態１に係る車両１には右カメラ１０７、左カメラ１０８、後方カメラ１０９、および車内カメラ１１０が配置される。車両１は、右カメラ１０７、左カメラ１０８、後方カメラ１０９、および車内カメラ１１０によって撮像された複数の撮影画像のそれぞれに基づいて、車両１の周囲における走行環境に関する各種情報を取得する。

取得部の一例としてのナビゲーション装置１１１は、例えば車載ディスプレイ装置であって、車両１の走行時または停車時に車両１の現在位置および目的地までの経路を表示し、車両１の運転者をガイドする。ナビゲーション装置１１１により実行される目的地までの経路のガイドは、地図情報あるいは指示情報などが車載ディスプレイ装置に同時に表示されて行われる。また、ナビゲーション装置１１１は、運転者または同乗者により入力操作された目的地の情報に基づいて、車両１の進路（つまり、目的地までの経路の少なくとも一部）、車両１の進行方向における道路の幅、車線構成、道路の回転半径、および標高の変化の情報などの道路情報を含む地理情報を取得して、表示制御装置１００に送信する。地図情報または地理情報は、例えば、ナビゲーション装置１１１が備える外部とデータ通信可能に接続された通信装置（不図示）を介して最新のデータが取得される。ナビゲーション装置１１１は、既存の地図情報または地理情報を、適時取得された最新の地図情報または地理情報に上書きして更新し、ナビゲーション装置１１１におけるメモリ（不図示）に記録・管理する。

表示部の一例としての表示部１１２は、上述したようにＣＭＳの一部分を構成し、例えばその１つとして車両１の車内に配置されるディスプレイを有して構成され、表示制御装置１００により生成された表示画像を表示する。表示部１１２のディスプレイは、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）もしくは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）を用いて構成される。表示部１１２のディスプレイは、例えば、従来の車両においてバックミラーが配置される位置にそのバックミラーの代わりとして車体のルーフから懸下される支持具を介して固定支持されて設置されてよい。図２に、実施の形態１に係る表示部１１２のディスプレイの配置位置の例を示す。

表示部１１２は、右カメラ１０７、左カメラ１０８、および後方カメラ１０９によって撮像された撮像情報（撮影画像）のそれぞれを用いて表示制御装置１００により生成された画面を一箇所に集約して車両１の運転者に表示する。具体的には、図３に示すように、表示部１１２のディスプレイは、従来のバックミラーの形状と同様に、車両幅方向（左右方向）に延在する長尺板状に形成され、その表示画像は左右方向で３分割される。

なお、ディスプレイが複数設置される場合、表示部１１２は、右カメラ１０７、左カメラ１０８、および後方カメラ１０９によって撮像された撮像情報（撮影画像）のそれぞれを用いて表示制御装置１００により生成された１枚あるいは複数枚の表示画像を、ディスプレイの数およびディスプレイの設置位置に対応して表示してよい。例えば、表示部１１２が車両１の前方左右に、従来のサイドミラーのそれぞれの機能を実現するために配置される場合、車両１の前方右側に配置された表示部１１２は、右カメラ１０７および後方カメラ１０９によって撮像された複数の撮影画像のそれぞれを用いて表示制御装置１００により生成された表示画像を表示する。同様に、車両１の前方左側に配置された表示部１１２は、左カメラ１０８および後方カメラ１０９によって撮像された複数の撮影画像のそれぞれを用いて表示制御装置１００により生成された表示画像を表示する。

具体的には、表示部１１２のディスプレイは、複数の表示領域のそれぞれを有する。ディスプレイの左側の画面３０１には、左カメラ１０８にて撮影された撮影画像に基づいて生成された表示画像が表示される。ディスプレイの右側の画面３０３には右カメラ１０７にて撮影された撮影画像に基づいて生成された表示画像が表示される。ディスプレイの中央の画面３０２には後方カメラ１０９にて撮影された撮影画像に基づいて生成された表示画像が表示される。これら３つの画面３０１～３０３のそれぞれには、単に撮影画像それぞれが表示されるのではなく、右カメラ１０７、左カメラ１０８、および後方カメラ１０９の互いの画角の重畳領域が合成されてあたかも１つの画像となるように生成された表示画像が表示されてよい。

なお、図３に示す画面の分割例では、表示部１１２のディスプレイは、右カメラ１０７、左カメラ１０８、および後方カメラ１０９それぞれに対応して、３つの領域が同じサイズにて分割するように示されているが、これは便宜的に示したものに過ぎない。したがって、右カメラ１０７、左カメラ１０８、および後方カメラ１０９それぞれにて撮影した撮影画像を１つの表示画像に合成した後、その表示画像を、画面３０１、３０２、３０３のサイズに合わせて分割したうえで各画面に表示するような構成であってもよい。また、表示部１１２のディスプレイは、図３に示すように画面を分割することなく、右カメラ１０７、左カメラ１０８、後方カメラ１０９それぞれにて撮影された撮影画像を１の表示画像として合成し、その１つの表示画像を表示するような構成であってもよい。このような表示画像の表示（提供）により、車両１の運転者は、車両１の左右方向および後方の状況を容易かつ即時に把握することが可能となる。

取得部の一例としてのセンサ群１１３は、例えば、加速度センサ、ジャイロセンサ、レーダ、気温センサ、車速センサ、音センサ（マイク）、地磁気センサ、雨滴センサ、荷重センサ、浸水センサなどを含んで構成される。レーダは、例えばミリ波レーダ、ソナーレーダ、ライダ（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）を用いて構成される。なお、センサ群１１３に含まれる各種センサは、後述する状況を検知するために上記以外の種類が含まれてもよく、また、同種のセンサが検知位置に対応して車両１の複数の位置に設けられてよい。

加速度センサは、所定の軸方向における車両１の加速度を測定する。ジャイロセンサは、例えば、車両１の所定の軸方向に対する回転を測定し、測定結果を表示制御装置１００に送信する。加速度センサによって測定された測定結果は、例えば、車両１の進行方向の変化を検知する際に用いられる。レーダは、超音波もしくはミリ波等の電磁波を限られた角度範囲で走査しながら照射し、その反射光を受光して照射の開始時点と反射光の受光時点との時間差を測定する。これにより、レーダは、車両１と障害物と距離さらには車両１から見た障害物の方向を検知できる。レーダは、測定結果を表示制御装置１００に送信する。

気温センサは、車両１の車外の気温を測定し、測定結果を表示制御装置１００に送信する。気温センサは、例えばサーミスタの電気回路により構成される。サーミスタは、温度によって抵抗値が変化する。車速センサは、車両１の車輪の回転速度を測定し、計測結果を表示制御装置１００に送信する。例えば、車速センサは、車輪または駆動軸とともに回転するロータのパルス周期を測定し、その測定したパルス周期（つまり、パルスの単位時間当たりの数）に基づいて車輪の回転速度を測定する。

音センサは、マイクにより構成され、車両１の周辺における音を収音または振動を拾って音声信号に変換し、変換された音声信号を表示制御装置１００に送信する。雨滴センサは、フロントガラスまたはカメラが備えるレンズなどの検知領域への雨滴の付着度合いを測定し、測定結果を表示制御装置１００に送信する。雨滴センサは、例えば、検知領域に向けて発光する発光素子と検知領域によって反射した反射光を受光する受光素子とを有する光学式のセンサであってよい。荷重センサは、車両１の座席に設置され、乗員の有無、または座席における体重移動などを検知し、検知結果を表示制御装置１００に送信する。浸水センサは、例えば、車両１の室内空間、エンジンルームなどに設置され、水の侵入を検知し、測定結果を表示制御装置１００に送信する。

報知部の一例としての報知装置１１４は、車両１の乗員（例えば、運転者）に対して、各種情報の報知を行う。報知装置１１４は、例えば、視覚的な報知を行うためのＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、聴覚的な報知を行うためのスピーカなどを備える。なお、報知の方法は特に限定するものではなく、上記以外の構成を備えてもよい。また、報知装置１１４は、表示部１１２と一体に構成されてよい。

実施の形態１に係る表示制御装置１００は、画像処理部１０１、視線検知部１０２、状況判定部１０３、画像制御部１０４、および車内通信部１０５、を含んで構成される。表示制御装置１００は、車両１の内部に備えられ、表示部１１２および報知装置１１４の表示制御を行う。表示制御装置１００は、カメラ群１０６、ナビゲーション装置１１１、およびセンサ群１１３などから送信された各種のデータおよび検知情報に基づいて、表示部１１２、および報知装置１１４を制御する。これにより、実施の形態１に係る車両１の表示制御を実現する。

また、実施の形態１に係る表示制御装置１００は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により構成され、処理部および記憶部を含み、処理部が記憶部に記憶保持される各種プログラムを読み出して実行することにより、後述する各種機能を適宜実現する。処理部は、実施の形態１ではプロセッサであるが、その他、コントローラ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）といった他の用語に読み替えられてもよい。記憶部は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、またはこれらの組み合わせによって構成され、ＥＣＵが有する機能を実現するためのプログラムおよびデータなどの情報を記憶保持する。ＲＡＭは、例えば揮発性メモリによって構成される。

なお、表示制御装置１００は実施の形態１に係る機能を実現すればよく、その他、マイコン、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などによって構成されてもよい。また、上述したナビゲーション装置１１１の一部または全部のそれぞれも表示制御装置１００と同様に個別のＥＣＵによって構成されてよい。あるいは、表示制御装置１００、およびナビゲーション装置１１１が１つのＥＣＵによって構成されてもよい。

画像処理部１０１は、カメラ群１０６から送信された撮像情報を取得してカメラ群１０６が備える複数のカメラのそれぞれについて、カメラ同士の画角の重畳領域を合成して表示画像を生成する。画像処理部１０１は、カメラ群１０６のそれぞれで撮影した複数の撮影画像をあたかも１つの画像に見えるような表示画像を生成し、表示部１１２に表示できる。この表示により、運転者は、自らの視線を大きく変更することなく車両１の周辺状況を一見して容易かつ即時に把握することが可能である。また、画像処理部１０１では、視線検知部１０２、状況判定部１０３、および画像制御部１０４などで撮像情報を利用可能にするため、前処理として画像処理が実行される。

視線検知部１０２は、カメラ群１０６から送信され、車内カメラ１１０により撮像された撮像情報を取得する。視線検知部１０２は、取得された撮像情報に含まれる運転者の顔画像に基づき、運転者の眼球移動から運転者の視線を導出し、その視線の向きを特定する。視線検知の方法は、公知の方法を用いてよく、特に限定するものではない。また、視線検知部１０２は、運転者の顔の向き、顔または頭部の動きといった挙動を併せて検知してよい。

状況判定部１０３は、カメラ群１０６から送信された撮像情報、および、センサ群１１３から送信された測定情報を車両１の走行環境の情報として取得する。状況判定部１０３は、これら取得された撮像情報および測定情報を含む各種情報に基づいて、車両１の周囲における状況を判定する。ここで判定される状況の詳細については後述する。

画像処理部の一例としての画像制御部１０４は、状況判定部１０３の判定結果に基づいて、表示部１１２のディスプレイにて表示される表示画像の制御を行う。具体的には、画像処理部１０１にて生成された表示画像を表示部１１２に送信し、表示部１１２のディスプレイに表示させる。また、画像制御部１０４は、状況判定部１０３の判定結果に基づいて、カメラ群１０６の撮影に関する設定を切り替える制御指示を生成して送信する。

車内通信部１０５は、通信ネットワーク（例えばＣＡＮ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）およびＥｔｈｅｒｎｅｔ（登録商標）を介するデータの送受信を制御して、車両１の構成部品間を双方向で通信可能に接続する。例えば、車内通信部１０５は、通信ネットワークを通じてカメラ群１０６から送信された撮像情報、およびセンサ群１１３から送信された測定情報を送受信する。そして、車内通信部１０５は、その受信された撮像情報および測定情報の各種情報を表示制御装置１００の画像処理部１０１、視線検知部１０２、状況判定部１０３、および画像制御部１０４に適宜出力する。表示制御装置１００の画像処理部１０１、視線検知部１０２、状況判定部１０３、および画像制御部１０４は、車内通信部１０５から出力された測定情報および撮像情報の各種情報に基づいて、車両１の表示に関する各種の処理または制御を行う。

なお、図１の構成では、実施の形態１に係る車両１の構成のみを示したが、その他、車両１の走行制御に関する部位をさらに含んでいてよい。ここでの走行制御としては、自動運転、走行支援に関する制御などが含まれてよい。

図４は、実施の形態１に係るカメラ群１０６の視野範囲（画角）の切り替え例を説明するための上面図である。実施の形態１に係る車両１は、表示制御装置１００の画像制御部１０４による指示に基づき、右カメラ１０７および左カメラ１０８による視野範囲の切り替えが行われる。なお、実施の形態１においては、後方カメラ１０９の視野範囲の切り替えは行われないものとして説明するが、これに限定するものではない。

角度４０１は、表示制御装置１００による制御指示に基づいて、視野範囲を広げた時の右カメラ１０７および左カメラ１０８の画角を示す。角度４０２は、表示制御装置１００による制御指示に基づいて、視野範囲を狭めた時の右カメラ１０７および左カメラ１０８の画角を示す。実施の形態１において右カメラ１０７および左カメラ１０８は、通常時には角度４０２の画角が用いられ、視野範囲拡大時に角度４０１の画角が用いられるものとして説明する。なお、図４においては、車両１の左右方向における画角の切り替え例を示したが、車両１の上下方向の画角を併せて切り替えるような構成であるとする。また、実施の形態１では、２つの視野範囲の例を挙げて説明したが、これに限定するものではなく、より多くの段階（例えば、３段階以上）にて視野範囲（画角）が切り替えられるような構成であってもよい。

視野範囲が切り替えられた場合、画像処理部１０１は、切り替え後の各カメラの画角に応じて撮影画像に車両１のより広範囲の状況を表示可能な表示画像を生成するための変換処理を行う。そして、画像処理部１０１は、通常時よりも車両１の周辺についてより広範囲を視認可能な１つの表示画像として、表示部１１２のディスプレイに表示させる。視野範囲拡大時には、右カメラ１０７および左カメラ１０８の視野範囲（画角）に応じて、後方カメラ１０９の撮影画像のうちディスプレイに表示される領域を変更し、少なくとも複数のカメラによって撮像された撮影画像同士の画角の重畳領域における倍率が同一または近似するように制御する。なお、右カメラ１０７および左カメラ１０８の撮影画像に対しては後方カメラ１０９の撮影画像よりも横方向の倍率が小さくなるように、表示画像の生成処理が行われてよい。

図５は、実施の形態１に係る表示部の表示画像の切り替え例を説明するための図である。図５の上側は、通常時の表示部１１２のディスプレイに表示される表示画像の構成を示す。図３にて説明したような構成により、表示制御装置１００は、左画像５０１、後方画像５０２、および右画像５０３を１つのカメラにより撮像されたような１つの画像となるように表示画像を生成し、表示部１１２に送信して表示させる。また、図５の下側は、視野範囲拡大時の表示部１１２のディスプレイに表示される表示画像の構成を示す。右カメラ１０７および左カメラ１０８の視野範囲（画角）が広がることにより、表示部１１２のディスプレイには、車両１の周辺領域の範囲が通常時よりも広い表示画像が表示される。実施の形態１では、表示部１１２のディスプレイは、通常時の左画像５０１、後方画像５０２、および右画像５０３を含むように、左画像５０４、後方画像５０５、および右画像５０６が表示される。視野範囲拡大時における各画像の生成処理の内容は異なってよい。例えば、通常時においては、表示制御装置１００は、右カメラ１０７、左カメラ１０８、および後方カメラ１０９それぞれにて撮影された撮影画像を同じ倍率にて変換した左画像５０１、後方画像５０２、および右画像５０３を生成してよい。一方、視野範囲拡大時では、表示制御装置１００は、右カメラ１０７、および左カメラ１０８にて撮影された撮影画像を、後方カメラ１０９にて撮影された撮影画像よりも横方向の倍率が小さくなるように変換した、左画像５０４、後方画像５０５、および右画像５０６を生成してよい。

右カメラ１０７および左カメラ１０８は、表示制御装置１００から送信された制御指示に基づいて視野範囲（画角）を広げることにより、撮像された撮影画像に含まれる周辺の領域の範囲が広くなる。表示制御装置１００は、視野範囲（画角）を広げて撮影された撮影画像の全部または一部を切り出すことで、表示部１１２のディスプレイに表示される表示画像を生成する。なお、表示制御装置１００は、撮影画像の切り出しの他、不透過のマスクを撮影画像に適用することで表示範囲を制限し、表示部１１２のディスプレイに表示される表示画像を生成してもよい。表示制御装置１００は、撮影画像から切り出す範囲を広げることで、表示部１１２のディスプレイに表示される表示画像にて示される車両１の周辺の領域の範囲がより広くなる。また、表示制御装置１００は、視野範囲（画角）を広げることで、表示部１１２のディスプレイに表示しようとする切り出し範囲の自由度を高くできる。以下の説明では、表示部１１２のディスプレイに表示される表示画像に含まれる車両１の周辺の領域の範囲を広げる処理を視野範囲拡大処理と称する。一方、表示部１１２のディスプレイに表示される表示画像に含まれる車両１の周辺の領域の範囲を狭める処理を視野範囲低減処理と称する。

なお、上述したように、実施の形態１では、表示制御装置１００は、後方カメラ１０９の視野範囲（画角）の切り替えは行われていないものとする。そのため、後方カメラ１０９は、通常時と視野範囲拡大時とのいずれにおいても、右カメラ１０７あるいは左カメラ１０８が撮影を行う視野範囲（画角）に対応した撮影画像が取得できるような視野範囲（画角）で撮影が行われているものとする。

図６Ａおよび図６Ｂは、実施の形態１に係る表示部１１２の表示画像の切り替え例を説明するための図である。図６Ａおよび図６Ｂを参照して、右カメラ１０７の撮影画像に基づく表示画像の切り替え例を説明する。図６Ａは通常時の表示例を示し、図６Ｂは視野範囲拡大時の表示例を示す。通常時に表示される表示画像は、視野範囲拡大時の表示画像の一部分に相当し、視野範囲拡大時の方がより広範囲の表示が行われる。一方、通常時の表示画像は、視野範囲拡大時の表示画像に比べ、所定の部分領域を拡大して表示した構成となる。

実施の形態１において、画像制御部１０４は、右カメラ１０７、および左カメラ１０８にて撮影された撮影画像に視認性低減処理を適用した表示画像を生成して表示部１１２に送信し、生成された表示画像を表示部１１２のディスプレイに表示させることができる。実施の形態１では、画像制御部１０４は、一例として、車両１からの距離に応じて、撮影画像に含まれる領域に対して視認性低減処理を行うものとする。視認性低減処理を適用する領域を特定するための距離の閾値は、予め固定値として規定された値を用いてもよいし、車両１の走行速度に応じて切り替えられてもよい。もしくは、そのほかの基準に基づいて、視認性低減処理が適用される領域が決定されてもよい。

視認性低減処理は、撮影画像に対して視認性を低下させる処理である。画像制御部１０４は、視認性低減処理として、例えば、撮影画像の輝度、明度、もしくは彩度の変更、解像度の低減、コントラストの低減、所定のマスクの重畳、鮮明度を低下させるためのフィルタの適用のいずれかもしくはこれらのうちの組み合わせを適用する処理を行う。視認性低減処理は、いわゆるボカシ処理であってもよい。

図６Ａに示す表示画像では、車両１の一部がオブジェクト６０１として表示されている。画像制御部１０４は、車両１からの距離に応じて、領域６０２と領域６０３に分割し、通常時は領域６０３に対して視認性低減処理が適用される。

表示画像のうち視認性低減処理を適用された領域は、表示画像が不鮮明となり、運転者が視認しにくくなる。その結果、例えば、表示画像は、表示画像における遠近感の補強（つまり、遠い方の景色領域にボカシ処理を適用）、不要な視覚刺激の低減（例えば、輝度、明度あるいは彩度の変更処理を適用）、および視認性低減処理が適用されていない位置への視線誘導などの効果を得ることができる。

表示部１１２のディスプレイは、運転者に対して各種情報を提供するための表示を含めてよい。例えば、図６Ｂに示す表示画像では、表示制御装置１００は、表示画像において視野範囲（画角）が拡大している（つまり、通常時よりも車両１の周辺についてより広範囲の状況を示す）状態であることを示すアイコン６１１、および注目すべき範囲、後述する要注意対象を示すフレーム６１２などを表示させてよい。そのほか、表示制御装置１００は、運転者に視認を促すアイコンなどを表示部１１２のディスプレイに表示させてよい。例えば、車両１の右側にてより大きなサイレン音を検知した場合、表示制御装置１００は、図３に示す表示部１１２のディスプレイにおいて右側の画面３０３の周囲を強調表示させるような構成であってもよい。

なお、表示制御装置１００によって行われる視野範囲低減処理および視認性低減処理のいずれの処理も、表示部１１２のディスプレイにおいて、乗員（特に運転者）による周辺状況の広範囲の視認を妨げる（制限する）処理となる。実施の形態１における表示制御装置１００は、車両１がおかれた状況に応じて、車両１の周辺について広範囲の視認が可能な表示画像の提示が望ましいか、または一定程度広範囲の視認が制限された表示画像の提示が望ましいかの変化に着目し、乗員に対して提示される表示画像への視認を妨げる処理の適用を切り替える。

［車両の状況について］
実施の形態１に係る車両１は、周辺環境または車両１の状態に応じて視野範囲の切り替え、または視認性低減処理の有無の切り替えを行う。ここでは、車両１の状況として、「通常状況」、「要注意状況」、および「危機的状況」の３つを例に挙げて説明する。

通常状況は、通常の車両１の走行状態を意味し、車両１が後述するような要注意状況または危機的状況でない状況として扱う。なお、実施の形態１では、車両１が前進していることを前提として説明を行う。そのため、後退時の走行については、以下の説明に係る通常状況の走行状態からは除くものとする。

第１の状況の一例としての要注意状況は、車両１の周辺もしくは自車両にて注意を要する事象が発生している状況を示し、カメラ群１０６にて取得された撮像情報、またはセンサ群１１３にて取得された各種測定情報に基づいて、表示制御装置１００により識別される。より具体的には、表示制御装置１００は、カメラ群１０６から送信された撮像情報、またはセンサ群１１３から送信された各種測定情報に基づいて、サイレン音、ブレーキ音、または衝突音を検知した場合、要注意対象の接近を検知した場合、緊急地震速報を受信した場合、周辺車両のハザードランプ、ブレーキランプの点灯を検知した場合、後続車両、対向車などのパッシング、クラクションを検知した場合、自車両の急減速、急加速など所定の速度変化を検知した場合、他車両の所定速度以上による接近を検知した場合、所定の走行領域（例えば、合流点、車線が減少する位置）への接近を検知した場合、所定の領域（例えば、駐車場、多差路交差点、複合交差点）への侵入を検知した場合、運転者の所定の挙動（例えば、頭部の移動、座席における体重移動）を検知した場合、所定の走行領域（例えば、高速道路）における所定値以上の舵角による走行を検知した場合、所定の走行領域（例えば、高速道路）におけるＵターン走行を検知した場合、もしくは、自車両または他車両の逆走を検知した場合などが挙げられる。

上記の要注意対象とは、車両１の運転者が注意を要する対象である。要注意対象は、警察車両、救急車などの緊急車両の他、例えば、自車両が停車または急減速している際の後続車両、自車両に対してパッシングやクラクションを行っている後続車両、対向車など、後方の撮影画像で読み取り可能な道路標識や路面標示（後方の撮影画像で表示が読み取り可能な場合車両１は逆走中である）、または逆走中であることを警告する表示などが挙げられる。要注意対象として判断する基準は、車両１の走行状態などに応じて変動してよい。

第２の状況の一例としての危機的状況は、車両１に危機的な事象が発生している、もしくは、発生している可能性が高い状況を示し、カメラ群１０６にて取得された撮像情報、またはセンサ群１１３にて取得された各種測定情報に基づいて、表示制御装置１００により識別される。より具体的には、表示制御装置１００は、自車両にて衝撃を検知した場合、自車両の転覆、横転、もしくは縦回転を検知した場合、走行中の道路の方向と比較して車両１の進行方向が所定の範囲外であることを検知した場合、自車両のスリップ、スピン、駆動輪の空転、もしくは車輪のロックを検知した場合、自車両内への浸水、自車両の入水または落水を検知した場合などが挙げられる。

例えば、表示制御装置１００は、車両１の四輪の回転数（車輪速）を比較し、回転数の差異が所定の閾値以上であれば、車輪の空転が生じていると判定してよい。表示制御装置１００は、加速度センサが示す車両１の減速度と、車輪の回転数（車輪速）にて示される減速度が異なっていた場合には、車両１がスリップしていると判定してよい。表示制御装置１００は、地磁気センサによる車体の向きの変化度合いが所定の閾値を超えた場合には、車両１がスピンしていると判定してよい。表示制御装置１００は、直線道路を走行している際に加速度センサが所定の閾値以上の横Ｇ（Ｇｒａｖｉｔｙ）を検知した場合には、車両１がスピンしていると判定してよい。

また、表示制御装置１００は、加速度センサが所定の閾値以上の加速度を検知した場合には、車両１にて衝突が発生したと判定してよい。表示制御装置１００は、加速度センサが示す加速度の方向がロール軸周りの回転方向である場合には、車両１が横転したと判定してよい。表示制御装置１００は、加速度センサが定常的な荷重を車両１の底面方向以外の方向にて検知した場合には、車両１が横転したと判定してよい。表示制御装置１００は、浸水センサが水の存在を検知した場合には、車両１の落水、入水、もしくは浸水が発生したと判定してよい。

なお、上記の要注意状況と危機的状況の分類は一例であり、これに限定するものではない。また、各場合を判定するために利用する情報は、特に限定するものではなく、上述したカメラ群１０６またはセンサ群１１３に含まれる部位にて取得された他の情報、ナビゲーション装置１１１にて提供される地図情報に加え、他の情報が用いられてもよい。

要注意状況の一例として挙げた車両１のＵターン走行および逆走について説明する。例えば、車両１が、中央分離帯で分離された反対車線がある道路でＵターンする時に、誤って中央分離帯で分離された反対車線に入らずにＵターンすると逆走になる。この類の逆走は、運転者が反対車線の存在に気付かなかったり、中央分離帯の向こうに見える反対車線を、走ってきた道路の反対車線ではなく別の道路であると誤認したりすることで生じる。そのため表示制御装置１００は、車両１がＵターンする時には、運転者が車両１の周辺状況を最大限に確認できるよう、視認性低減処理を禁止もしくは抑制した表示画像を生成して、表示部１１２のディスプレイに表示させるべきである。

運転者が、周辺状況を見落としたり誤認したりして逆走になる類例として、片側２車線の道の左側にある店舗に入った車が店舗を出て引き返す時に、手前の車道の追い越し車線に入る例がある。また、逆走になる類例として、片側一車線道路から中央分離帯のある片側二車線道路に突き当たるＴ字路で、片側一車線道路と誤認して右折する例、あるいは高速道路のパーキングエリアに入った車が、パーキングエリアを出る時に入る時と同じ道を通って本線に戻って逆走する例がある。

高速道路の場合は、ナビゲーション装置１１１の機能により車両１の位置をＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）で追跡して現在走行中の高速道路の位置と照合し、許された方向と逆方向に移動している場合に警告することが可能であると想定される。一方、一般道の場合は、中央分離帯で隔てられた正しい走行位置と、逆走している追い越し車線との位置の違いを判別できず、ナビゲーション装置１１１では適切な警告ができないことが想定される。ＧＮＳＳによらない逆走の検知方法としては、車両後方の撮影画像を画像処理し、道路標識、路面標示が読み取れる場合は逆走と判定する方式がある。

表示制御装置１００は、何らかの手段で自車両の逆走を検知した場合には、視認性低減処理を禁止した表示画像を生成して、表示部１１２のディスプレイに表示させ、運転者に周辺状況を最大限に見せることが望ましい。これは、逆走が生じた場合に、運転者が周辺状況をより早く把握することで、重大事故になる危険性を抑制することが可能であると想定されるためである。しかし、逆走が生じた後では重大事故になる危険性があるため、逆走が始まる前に予防した方が更によい。そのため、表示制御装置１００は、逆走の開始後に警告を与えることは無論であるが、逆走の開始前に、運転者が周辺状況を最大限に確認できるよう、視認性低減処理を禁止もしくは抑制した表示画像を生成して表示部１１２のディスプレイに表示させ、運転者に周辺状況の見落し、または誤認を抑制して、逆走を予防する方が望ましい。つまり、逆走の引き金となる車両１の動作を検出した時点で、視認性低減処理を禁止もしくは抑制した画像を表示する方がよい。

逆走の引き金となる車両１の動作としては、Ｕターンと、道路外、狭い道から本線道路への進入が挙げられる。表示制御装置１００は、車両１が狭い道から本線道路へ進入する場合は、本線道路に進入する角度が直角に近い時に右折してよいと運転者が誤認しやすいため、自車両の進路と本線道路の成す角度が閾値以上であるか否かを判定してよい。表示制御装置１００は、車両１が道路外から誤って手前の車道の追い越し車線に入って逆走を始める場合も同様に、道路外から遠い側の車線に入るために侵入角が大きくなるため、自車両の進路と本線道路の成す角度が閾値以上であるか否かを判定してよい。

上述したように、要注意状況および危機的状況においては、運転者は、通常時に比べてより広範囲での周辺状況の認知を要することが想定される。言い換えると、運転者により広範囲での周辺の確認を促す場合、表示制御装置１００は、視認性低減処理の禁止または解除による表示画像の生成を行う。なお、視認性低減処理の省略（禁止）は、視認性低減処理を適用していた領域（例えば、図６Ａの領域６０３）全体の視認性低減処理の適用を禁止することに限定するものではない。例えば、表示制御装置１００は、当該領域において要注意対象の範囲を特定可能である場合、特定された範囲における視認性低減処理を禁止するような構成であってもよい。

撮影画像に対して視認性低減処理の適用を禁止する範囲は、要注意状況または危機的状況の内容に応じて切り替えてもよい。例えば、表示制御装置１００は、新たに検知した要注意対象の位置または方向が特定できる場合には、視認性低減処理を適用していた領域のうち、要注意対象の位置または方向に対応する領域の視認性低減処理の適用を禁止した上で表示画像を生成する。それ以外の場合には、撮影画像全体に対する視認性低減処理の適用を禁止した表示画像を生成するような構成であってよい。

新たに検知した要注意対象の方向が特定できない場合とは、例えば、表示制御装置１００は、緊急車両によるサイレン音を検知したが、緊急車両が備える回転灯の明滅を検知できず、緊急車両が位置する方向が特定できない場合が相当する。この場合、表示制御装置１００は、撮影画像全体に対する視認性低減処理の適用を禁止した表示画像を生成して表示部１１２のディスプレイに表示させる。その後、表示制御装置１００は、緊急車両の回転灯の明滅を検知した時点で、回転灯の方向に視線誘導する表示制御（例えば、ＬＥＤの点灯、回転灯の方向を示すアイコン、回転灯が検知された領域を示すフレームなど）または回転灯の位置または方向に対応する領域の視認性低減処理の適用を禁止した表示画像の生成処理に切り換えればよい。

また、表示制御装置１００は、自車両がスリップ／スピン／衝突したこと検知し、車両１の向きが通常時の走行方向と違っている場合は、後続車両が突っ込んでくる（走行してくる）と想定される方向（自車両から見た方向）が特定できない。そのため、表示制御装置１００は、撮影画像全体に対する視認性低減処理の適用を禁止した表示画像を生成して、表示部１１２のディスプレイに表示させることで、可能な限り広範囲を運転者が視認できるように制御することが望ましい。

また、例えば、車両１が走行中に合流点、車線減少箇所に接近した場合、側方または後側方から接近してきた他車に割り込まれたり、逆に、自車両が割り込んだりすることが想定される。また、車両１が走行中に合流点、車線減少箇所に接近した場合、合流で速度低下した四輪車の間を、二輪車がすり抜けて追い越すこともある。そのため、運転者は、車両１の後方にも注意を向ける必要がある。したがって、表示制御装置１００は、撮影画像全体に対する視認性低減処理の適用を禁止した表示画像を生成し、表示部１１２のディスプレイに表示させることで、可能な限り広範囲を運転者が視認できるように制御することが望ましい。

また、自車両が落水または水没した場合、運転者は、自車から脱出した後の避難ルートを探すことが想定される。そのため、表示制御装置１００は、撮影画像全体に対する視認性低減処理の適用を禁止した上で表示画像を生成して表示部１１２のディスプレイに表示することで、運転者が可能な限り車両１の周辺において広範囲が視認できるように制御することが望ましい。

また、レンズ（不図示）の汚れ（着雪、氷結、結露を含む）によりカメラ群１０６に含まれる各カメラの視界が妨げられている場合を考える。レンズの汚れは、洗浄機能（不図示）により視界を回復できる事がある。但し、表示制御装置１００は、汚れた状態のレンズを用いて撮影した撮影画像に視認性低減処理を適用した表示画像を生成する場合、レンズの洗浄が必要なことに運転者が気付くのが遅れたり、気付かなかったりすることがある。特に、汚れで不鮮明になっている部分（領域）に対して、視認性低減処理を適用した場合、運転者は汚れに気付きにくい。例えば、運転者は、右左折のために広範囲を確認する必要がある状況となり、視認性低減処理の適用を禁止した場合に、レンズが汚れて視界が妨げられていることに気付いても、レンズの洗浄が間に合わず、盲目状態で右左折して事故を引き起こす可能性がある。よって、撮影画像の輝度またはコントラストが低下してレンズの汚れが疑われる場合は、表示制御装置１００は、撮影画像全体に対する視認性低減処理の適用を禁止した表示画像を生成して表示部１１２のディスプレイに表示することで、運転者がレンズの汚れを認識できるように制御することが望ましい。

また、降雪、霧などの車両１の周辺の視認性が低下する天候条件、または気象条件に起因して撮影画像のコントラストが低下している場合、撮影画像の視覚刺激が下がっている。そのため、表示制御装置１００は、撮影画像に視認性低減処理を適用した表示画像を生成する必要は無い。また、降雪あるいは霧の時は、遠方の視認性が低下していることにより遠近感が得られるため、表示制御装置１００は、遠近感を得る目的で撮影画像に視認性低減処理を適用した表示画像を生成する必要は無い。

また、撮影画像全体が不明瞭であったり、真っ暗であったりして画像の品質が低い場合には、表示制御装置１００は、視認性低減処理を適用した表示画像を生成する必要はない。

さらに、図４にて説明した視野範囲拡大処理と、視認性低減処理の禁止制御との併用について説明する。

例えば、車両１にて衝突、スリップなどが生じた結果に、自車両の向きが道路の進行方向と大きく違っている場合を想定する。このような場合、ＣＭＳにより表示される画像は、道路の進行方向の反対側とは大きく違った方向となりうる。この状況において、自車両に対する脅威は、道路上を走る後続車が突っ込んでくることが挙げられる。このような場合、表示制御装置１００は、ＣＭＳが自車両の後方の狭い範囲を表示するよりも、自車両の左右を含む広範囲を表示可能な表示画像を生成した方が、運転者が脅威をより早期に認識し、適切に対処できる可能性が高くなる。そのため、このような場合には、表示制御装置１００は、視認性低減処理の適用の禁止制御と併せて、視野範囲拡大処理を行った表示画像の生成を行うことが望ましい。

また、車両１が転覆し、各カメラの路面に対するピッチ角が通常と大きく違っている場合を想定する。このような場合、表示制御装置１００は、ＣＭＳにて自車両の後方の狭い範囲を表示する表示画像を表示させると、表示画像に空、路面しか表示されていないことが生じうる。このような場合には、表示制御装置１００は、ＣＭＳに表示される表示画像に含まれる各カメラの撮影画像の領域を左右方向および上下方向にも広げる（つまり、各カメラによって撮像された撮影画像のうち表示画像として切り出される範囲を広くする）。そして、表示制御装置１００は、例えば撮影画像の切り出し範囲外において水平方向から突っ込んでくるような後続車両を含めた表示画像を生成してＣＭＳに表示させる。これにより、運転者は、後続車両の脅威をより早期に認識し、適切に対処できる可能性が高くなる。そのため、このような場合には、表示制御装置１００は、視認性低減処理の適用の禁止制御と併せて、視野範囲拡大処理を行った表示画像を生成することが望ましい。

また、車両１が岸壁などから水中に転落した場合を想定する。このような場合、車両１は、車両１のエンジンを積んだ側が下がって傾き、車両１は水平な状態にならない。この時、表示制御装置１００は、撮影画像のうち車両１の後方の上下左右においてより広範囲を含んで切出した表示画像を生成して送信し、ＣＭＳに表示させる。これにより運転者は、岸壁など車両１が来た方向の状況を視認できる。その結果、運転者は、例えば転落などの状況をより早期に把握して適切に避難できる可能性が高くなる。よって、このような場合には、表示制御装置１００は、視認性低減処理の適用の禁止と併せて、視野範囲拡大処理を行った表示画像を生成することが望ましい。

なお、転覆、横転、または落水に至らなくても、車両１の変形、または衝撃によって、カメラ群１０６の取り付け角が大きくずれることが起こりうる。このような場合には、表示制御装置１００は、各カメラによって撮像された撮影画像のそれぞれの上下左右においてより広範囲を含んで切り出した表示画像を生成して送信し、生成された表示画像をＣＭＳに表示する。これにより、運転者は状況をより早期に把握して適切に対処できる可能性が高くなる。よって、このような場合には、表示制御装置１００は、視認性低減処理の適用の禁止と併せて、視野範囲拡大処理を行った表示画像を生成することが望ましい。

また、道路の氷結などで、車両１がスピンしている場合を想定する。このような場合、ＣＭＳにて表示される表示画像が車両１の回転に従って横方向に流れるため、運転者は、表示画像上に何が表示されているのかを把握しにくくなる。この時、表示制御装置１００は、各カメラによって撮像された撮影画像のうち車両１の左右方向を含むより広範囲を含んで切り出して生成した表示画像をＣＭＳに表示し、車両１の左右方向の視野範囲を拡大させる。これにより、表示制御装置１００は、ＣＭＳ上において表示される表示画像の横方向に流れる速さを運転者に遅く感じさせることができる。その結果、運転者は、表示画像上に何が表示されているかを把握しやすくなる。例えば、走行中に道路の進行方向に対して１８０度近く車両１が回転した場合、ＣＭＳは、道路の進行方向の状況を示す表示画像が表示されることとなる。運転者は、その方向に障害物があるか否かを画面から把握できれば、耐衝撃姿勢を取るなど、より適切な対応ができる可能性が高くなる。よって、このような場合には、表示制御装置１００は、視認性低減処理の適用の禁止と併せて、視野範囲拡大処理を行った表示画像を生成することが望ましい。

［フローチャート］
次に、図７を参照して、実施の形態１に係る車両１の表示制御装置１００の処理のフローチャートについて説明する。図７は、実施の形態１に係る表示制御装置１００の処理手順例のフローチャートである。

上述したように表示制御装置１００は、ナビゲーション装置１１１の地図情報、地理情報（道路情報を含む）、カメラ群１０６の撮像情報、およびセンサ群１１３の測定情報などを車両１の走行環境に関する各種情報として取得可能であるとする。

表示制御装置１００は、カメラ群１０６の撮像情報およびセンサ群１１３の測定情報に基づく姿勢異常情報および自車異常情報を要求する（Ｓ７０１）。ここでの姿勢異常情報は、上述した危機的状況に該当する旨を示す情報であり、特に車両１の姿勢が異常状態を示す情報である。例えば、姿勢異常情報は、検知したロール角またはピッチ角に基づいて車両１の転覆、横転、縦回転を示す情報、あるいは車両１の進行方向または走行中の道路の方向に対して、検知したヨー角が所定の範囲を超える値を超えることにより異常を示す情報などが挙げられる。なお、姿勢異常情報は上記に限定するものではなく、他の情報であってよい。また、ここでの自車異常情報は、上述した危機的状況に該当する旨を示す情報であり、特に車両１にて異常状態が発生したことを示す情報である。例えば、自車異常情報は、自車両が衝撃を検知したことを示す情報、直前の車速と駆動輪の回転数の不一致で駆動輪の空転を検知したことを示す情報、直前の車速がゼロでなく、かつ全車輪が停止していることを示す情報、車輪の回転数に顕著な不一致があることを示す情報、浸水、入水、または落水を検知したことを示す情報などが挙げられる。なお、自車異常情報は、上記に限定するものではなく、カメラ群１０６またはセンサ群１１３にて検知された情報にて特定される車両１の状態を示す他の情報であってよい。なお、以下の説明では、姿勢異常情報および自車異常情報をまとめて異常情報とも称する。

表示制御装置１００は、ステップＳ７０１の工程にて異常情報を取得したか否かを判定する（Ｓ７０２）。異常情報を取得したと判定した場合（Ｓ７０２、ＹＥＳ）、表示制御装置１００の処理は、ステップＳ７０５へ進む。一方、異常情報を取得しなかったと判定した場合（Ｓ７０２、ＮＯ）、表示制御装置１００の処理は、ステップＳ７０３へ進む。

表示制御装置１００は、カメラ群１０６の撮像情報およびセンサ群１１３の測定結果に基づく周辺注意情報および乗員注意情報を要求する（Ｓ７０３）。ここでの周辺注意情報は、上述した要注意状況に該当する旨を示す情報であり、特に車両１の周辺において運転者の注意を要する事象が発生したことを示す情報である。例えば、周辺注意情報は、サイレン音、ブレーキ音、クラクション、警笛音、衝突音の検知したことを示す情報、緊急車両の回転灯を検知したことを示す情報、ハザードランプの点滅を検知したことを示す情報、走行位置が所定の位置であることを示す情報などが挙げられる。ここでの所定の位置としては、例えば、駐車場、ロータリー、多差路交差点、および複合交差点などが挙げられる。また、乗員注意情報は、上述した要注意状況に該当する旨を示す情報であり、特に乗員による所定の動作が行われたことを示す情報である。例えば、乗員注意情報は、運転者の頭部または眼球が所定の範囲以上の動きを検出したことを示す情報、運転者の体重移動が所定の範囲外へ行われたことを検出したことを示す情報、運転者が周囲を確認しようとする顕著な動きを行ったことを示す情報などが挙げられる。なお、以下の説明では、周辺注意情報および乗員注意情報をまとめて注意情報とも称する。

表示制御装置１００は、ステップＳ７０３の工程にて注意情報を取得したか否かを判定する（Ｓ７０４）。注意情報を取得したと判定した場合（Ｓ７０４、ＹＥＳ）、表示制御装置１００の処理は、ステップＳ７０６へ進む。一方、注意情報を取得しなかったと判定した場合（Ｓ７０４、ＮＯ）、表示制御装置１００は、本処理フローを終了する。この場合、車両１は、通常状況であるものとし、表示部１１２のディスプレイにおける表示は、通常の表示（右カメラ１０７および左カメラ１０８の視野範囲（画角）は角度４０２、視認性低減処理が適用可能）にて実施可能であるとする。

表示制御装置１００は、右カメラ１０７、および左カメラ１０８の視野範囲（画角）が拡大状態となるようにモードの変更を行う（Ｓ７０５）。具体的には、表示制御装置１００は、図４に示すように右カメラ１０７、および左カメラ１０８の視野範囲（画角）が角度４０２から角度４０１となるように制御する。そして、表示制御装置１００は、拡大した視野範囲に基づいて、表示部１１２のディスプレイに表示される表示画像に含まれる車両１の周囲の範囲がより広くなるように視野範囲拡大処理を行う。

表示制御装置１００は、視認性低減処理を禁止状態とするように変更を行う（Ｓ７０６）。

表示制御装置１００は、カメラ群１０６の撮像情報またはセンサ群１１３の各種測定結果に基づいて、要注意対象の特定処理を行う（Ｓ７０７）。表示制御装置１００は、姿勢異常情報、自車異常情報、または乗員注意情報が取得されていた場合、車両１に接近する物体を要注意対象として撮影画像にて特定する。また、表示制御装置１００は、接近する物体を検知したことを示す周辺注意情報が取得されていた場合、車両１に接近する物体を要注意対象として撮影画像にて特定する。表示制御装置１００は、所定の音を検知したことを示す周辺注意情報が取得されていた場合、当該所定の音の方向を特定する。表示制御装置１００は、ランプ、灯火を検知したことを示す周辺注意情報が取得されていた場合、点滅光の方向を特定する。なお、連続して撮像された撮影画像のそれぞれにおいて、物体の位置が概ね変わらず、時間と共に大きくなる物体について、車両１に接近しているものとして判定してよい。一方、表示制御装置１００は、連続して撮像された撮影画像のそれぞれにおいて、時間と共に大きくなると同時に、左右のどちらか一方に移動する物体については、自車両に衝突しないと考えられるため、車両１に接近する物体から除外してもよい。

表示制御装置１００は、ステップＳ７０７の工程にて要注意対象を特定したか否かを判定する（Ｓ７０８）。要注意対象を特定したと判定した場合（Ｓ７０８、ＹＥＳ）、表示制御装置１００の処理は、ステップＳ７０９へ進む。一方、要注意対象を特定しなかったと判定した場合（Ｓ７０８、ＮＯ）、表示制御装置１００の処理は、ステップＳ７１０へ進む。

表示制御装置１００は、特定した要注意対象を表示部１１２のディスプレイにて強調表示処理（例えば、要注意対象をフレームで囲う処理）を行う（Ｓ７０９）。併せて、表示制御装置１００は、要注意対象が特定され、車両１に接近している旨を運転者に報知する。例えば、表示制御装置１００は、要注意対象が他車両などの物体である場合には、その物体を図６Ｂに示すようなフレーム６１２で囲って強調して表示し、さらにそのフレーム６１２内の輝度などを変動させてもよい。また、表示制御装置１００は、警戒対象が音である場合には、その音が発している方向を表示画像に示すような表示（例えば、矢印などのアイコンによる示唆）を行ってもよいし、音声信号をその音が発している側に設置されたスピーカ（不図示）に送信して音声出力させることにより、運転者にその方向を報知してもよい。

表示制御装置１００は、カメラ群１０６の撮像情報およびセンサ群１１３の測定情報に基づく姿勢異常情報、自車異常情報、周辺注意情報、および乗員注意情報を再度要求する（Ｓ７１０）。ここでの取得処理は、ステップＳ７０１およびステップＳ７０３の工程と同じであってよい。また、ここでは未取得の情報が取得されるものとする。

表示制御装置１００は、ステップＳ７１０の工程にて異常情報または注意情報を取得したか否かを判定する（Ｓ７１１）。表示制御装置１００は、予め設定された所定時間（例えば、１０秒）連続して異常情報および注意情報のいずれも再取得しなかったか否かを判定する。表示制御装置１００は、所定時間連続して異常情報および注意情報のいずれも取得しない場合には、ステップＳ７０１またはステップＳ７０３の工程にて取得された情報にて示される異常または注意を要する事象は解消したと判定する。なお、ステップＳ７１１の工程では、表示制御装置１００は、乗員注意情報についてはすでに一度乗員に注意を促しているため、判定の対象から除いてもよい。異常情報または注意情報を再取得したと判定した場合（Ｓ７１１、ＹＥＳ）、表示制御装置１００の処理は、ステップＳ７０９にて行った警戒対象の強調表示／報知を終了する（Ｓ７１２）。一方、異常情報および注意情報を取得しなかったと判定した場合（Ｓ７１１、ＮＯ）表示制御装置１００の処理は、ステップＳ７０７へ戻り、以降の処理を繰り返す。

表示制御装置１００は、ステップＳ７０５およびステップＳ７０６にて変更したモードを初期化する（Ｓ７１３）。具体的には、表示制御装置１００は、図４に示すように右カメラ１０７、左カメラ１０８の視野範囲（画角）が角度４０１から角度４０２となるように制御する。また、表示制御装置１００は、視認性低減処理の禁止状態を解除する。そして、本処理フローが終了する。

以上により、実施の形態１に係る表示制御装置１００は、車両１に設置されたカメラ群１０６の撮影画像に画像処理を行い、表示部１１２に表示させる画像を生成する画像処理部１０１と、各種情報を取得するカメラ群１０６、ナビゲーション装置１１１、およびセンサ群１１３と、取得された情報に基づき、車両１が要注意状況であるか否かを判定する状況判定部１０３とを備える。また、画像制御部１０４は、表示部１１２に表示する画像に対し車両１の乗員の視認を妨げるための処理を適用可能である。さらに、画像制御部１０４は、状況判定部１０３にて車両１が要注意状況であると判定した場合、撮影画像に対する視認を妨げるための処理の適用を禁止、または、視認を妨げるための処理の適用の程度を減ずる。

なお、本実施の形態ではステップＳ７０５で視野範囲を拡大し、ステップＳ７０６で視認性低減処理を禁止しているが、これを逆にして、ステップＳ７０５で視認性低減処理を禁止し、ステップＳ７０６で視野範囲を拡大するようにしてもよい。この順序の変更により、異常情報がある時は順序に関らず両方が実施されるので変化は無いが、注意情報がある時は視野範囲拡大だけを行うようになる。これは視認性と視野範囲のどちらを重く見るかによって、つまり設計思想によって適用を変更すべき部分である。図７とは異なるフローになるが、注意情報がある時は視野範囲拡大と視認性低減処理の制限を限定的に行い、異常情報がある時は視野範囲拡大と視認性低減処理の制限を最大限に行うようにしてもよい。または、異常情報と注意情報を区別せず、どちらであっても視野範囲拡大と視認性低減処理の禁止の両方を行う適用にしてもよい。

これにより、表示制御装置１００は、車両１の状況に応じて、運転者に周辺環境の適切な視認を促す表示画像を提供することが可能となる。

また、状況判定部１０３はさらに、車両１が危機的状況であるか否かを判定する。画像処理部１０１は、状況判定部１０３にて車両１が危機的状況であると判定された場合、撮影画像に対する視認を妨げるための処理の適用を禁止、または、要注意状況であると判定された場合に撮影画像に適用される視認を妨げる処理の程度よりもさらに適用する程度を減ずる。これにより、表示制御装置１００は、車両１の状況に応じて、運転者に対して周辺環境のさらに適切な視認を促す表示画像を提供することが可能となる。

また、状況判定部１０３は、車両１に対する衝撃を検知した場合、車両１の転覆、横転、または縦回転を検知した場合、走行中の道路の方向と比較して車両１の進行方向が所定の範囲外であることを検知した場合、車両１のスリップ、スピン、駆動輪の空転、または車輪のロックを検知した場合、車両１の浸水、入水、または落水を検知した場合、の少なくともいずれかの場合に、危機的状況であると判定する。これにより、表示制御装置１００は、車両１の具体的な危機的状況に応じて、運転者に対して周辺環境のさらに適切な視認を促す表示画像を提供することが可能となる。

また、状況判定部１０３は、サイレン音、ブレーキ音、クラクション、警笛音、または衝突音を検知した場合、回転灯またはハザードランプ点滅を検知した場合、走行位置が駐車場内、ロータリー内、多差路交差点内、または複合交差点内であることを検知した場合、車内の画像による運転者の頭部または眼球の所定の挙動を検知した場合、運転者の所定の体重移動を検知した場合、の少なくともいずれかの場合に、要注意状況であると判定する。これにより、表示制御装置１００は、車両１の具体的な要注意状況に応じて、運転者に対して周辺環境のさらに適切な視認を促す表示画像を提供することが可能となる。

また、画像制御部１０４は、撮影画像に対する視認を妨げるための処理の適用を禁止、または、視認を妨げるための処理の適用の程度を減ずる場合、表示部１１２に表示する画像において、車両１に接近する物体、または、車両１が接近する物体に視線誘導を行うように表示画像の表示を制御する。これにより、表示制御装置１００は、運転者に対して要注意対象をより適切に認識させることが可能となる。

また、表示制御装置１００は、撮影画像に対する視認を妨げる処理の適用を禁止、または、視認を妨げる処理の適用の程度を減ずる場合、カメラ群１０６、ナビゲーション装置１１１、およびセンサ群１１３にて取得した情報にて特定される車両１に接近する物体、または、車両１が接近する物体の方向を音声にて報知する報知装置１１４をさらに備える。これにより、表示制御装置１００は、運転者に対して要注意対象をより適切に認識させることが可能となる。

また、画像制御部１０４は、視認を妨げる処理として、撮影画像の一部を切り出して表示部１１２に表示する画像とする処理を行う。これにより、表示制御装置１００は、運転者に対してより適切な視野範囲の表示画像を提供することができる。

また、画像制御部１０４は、視認を妨げる処理として、撮影画像に対する輝度、明度、または彩度の変更、解像度の低減、コントラストの低減、またはマスクの重畳のうちの少なくともいずれかの処理を行う。これにより、表示制御装置１００は、運転者に対してより適切な視認性を有する表示画像を提供することができる。

＜その他の実施形態＞
また、上述した１以上の実施の形態の機能を実現するためのプログラムおよびアプリケーションを、ネットワークまたは記憶媒体等を用いてシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

また、１以上の機能を実現する回路（例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））によって実現してもよい。

以上、図面を参照しながら各種の実施形態について説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に相当し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施形態における各構成要素を任意に組み合わせてもよい。

本開示は、車両の状況に応じて、車両または車両周辺の状況に応じて、運転者に車両の周辺環境のより適切な視認を促す表示画像を提供する車両用表示制御装置、表示制御方法、およびプログラムとして有用である。

１ 車両
１００ 表示制御装置
１０１ 画像処理部
１０２ 視線検知部
１０３ 状況判定部
１０４ 画像制御部
１０５ 車内通信部
１０６ カメラ群
１０７ 右カメラ
１０８ 左カメラ
１０９ 後方カメラ
１１０ 車内カメラ
１１１ ナビゲーション装置
１１２ 表示部（ヒューマンマシンインターフェース）
１１３ センサ群
１１４ 報知装置

Claims (6)

1. 車両内に設置された表示部に表示させる表示画像を制御する車両用表示制御装置であって、
   前記車両に設置された１以上の撮像部により撮像された撮影画像に前記車両の乗員の視認を妨げるための処理を行い、前記表示画像を生成する画像処理部と、
   前記車両の状態を示す情報および前記車両の周辺環境の情報を取得する取得部と、
   前記取得部にて取得された情報に基づき、前記車両が第１の状況か否かを判定する状況判定部と、を備え、
   前記状況判定部は、サイレン音、ブレーキ音、クラクション、警笛音、または衝突音を検知した場合、回転灯またはハザードランプ点滅を検知した場合、走行位置が駐車場内、ロータリー内、多差路交差点内、または複合交差点内であることを検知した場合、車内の撮影画像による運転者の頭部または眼球の所定の挙動を検知した場合、前記運転者の所定の体重移動を検知した場合、の少なくともいずれかの場合に、前記第１の状況であると判定し、
   前記画像処理部は、前記状況判定部にて前記車両が前記第１の状況であると判定された場合、前記撮影画像に対する前記処理の適用を禁止、または、前記処理の適用の程度を減じた前記表示画像を生成して前記表示部に表示させる、
   車両用表示制御装置。
2. 前記状況判定部はさらに、前記車両に衝撃を検知した場合、前記車両の転覆、横転、または縦回転を検知した場合、走行中の道路の方向と比較して前記車両の進行方向が所定の範囲外であることを検知した場合、前記車両のスリップ、スピン、駆動輪の空転、または車輪のロックを検知した場合、前記車両の浸水、入水、または落水を検知した場合、の少なくともいずれかの場合に、前記車両が前記第１の状況とは異なる第２の状況であると判定し、
   前記画像処理部は、前記状況判定部にて前記車両が前記第２の状況であると判定された場合、前記表示画像に前記処理の適用を禁止、または、前記第１の状況であると判定した場合に前記表示画像に適用される前記処理の程度よりもさらに適用する程度を減じた前記表示画像を生成する、
   請求項１に記載の車両用表示制御装置。
3. 前記画像処理部は、前記撮影画像に対する前記処理の適用を禁止、または、前記処理の適用の程度を減ずる場合、前記表示画像において、前記車両に接近する物体、または、前記車両が接近する物体に視線誘導を行うように前記表示画像の表示を制御する、
   請求項１または２に記載の車両用表示制御装置。
4. 前記撮影画像に対する前記処理の適用を禁止、または、前記処理の適用の程度を減ずる場合、前記取得部にて取得された前記情報にて特定される前記車両に接近する物体、または、前記車両が接近する物体の方向を音声にて報知する報知部をさらに備える、
   請求項１～３のうちいずれか一項に記載の車両用表示制御装置。
5. 前記画像処理部は、前記処理として、前記撮影画像の一部を切り出して前記表示画像を生成する、
   請求項１～４のうちいずれか一項に記載の車両用表示制御装置。
6. 前記画像処理部は、前記処理として、前記撮影画像に対する輝度、明度、または彩度の変更、解像度の低減、コントラストの低減、またはマスクの重畳のうちの少なくともいずれかを行う、
   請求項１～５のうちいずれか一項に記載の車両用表示制御装置。

Images