以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。
(第1実施形態)
以下、本実施形態にかかる駐車支援制御装置を含むリモート駐車システムについて説明する。図1に示すように、リモート駐車システムは、電子キー1、遠隔操作機2、アンテナ/チューナ3、周辺監視センサ4、駐車支援制御装置の制御部を構成する各種ECU5~8、各種アクチュエータ9を有している。各種ECU5~8としては、ボデーECU5、画像ECU6、コックピットECU7、自動駐車ECU8が備えられている。これら各種ECU5~8とアンテナ/チューナ3、周辺監視センサ4および各種アクチュエータ9とは、直接もしくは車内LAN(Local Area Network)を介して通信可能に接続されている。リモート駐車システムは、これら各部を制御することにより、駐車支援として操作者の遠隔操作に基づくリモート駐車を行っている。なお、駐車支援には、駐車経路を表示して指し示す支援や、駐車中にアナウンスを行う支援など、様々なものがあるが、ここではリモート駐車を含めた各種駐車に係わる支援を駐車支援と呼ぶこととする。
電子キー1は、自身の車両(以下、自車という)におけるドアの開閉やエンジン始動停止などの自車の起動スイッチのオンオフを制御するための認証データを有したものであり、自車の操作者に所持される。ここでは操作者と呼んでいるが、典型的には操作者は自車を運転する運転者と同一人物となる。具体的には、電子キー1は、アンテナ/チューナ3を通じてボデーECU5と無線通信を行えるようになっており、ボデーECU5からの認証データの送信要求を受信し、送信要求を受け取ると認証データを送信するようになっている。また、電子キー1は、操作者の操作に基づいてLock/Unlock信号を送信することで、ドアの自動施開錠を行うことも可能になっている。
遠隔操作機2は、スマートフォンやタブレットのような携帯通信端末によって構成され、自車の外部に持ち出せる機器である。遠隔操作機2は、タッチパネル式の表示画面2aを備えており、表示画面2aを通じて操作者がリモート駐車の操作などを行えるようになっていて、その操作に対応する操作信号をコックピットECU7に伝える。また、遠隔操作機2は、GPS(Global Positioning System)に基づく自身の位置情報をコックピットECU7に伝えることもできる。
例えば、遠隔操作機2では、リモート駐車の実行指示、リモート駐車の継続指示、リモート駐車の停止指示、画像切替え指示などを行えるようになっている。一例を挙げると、遠隔操作機2の表示画面2aを通じてリモート駐車のアプリケーションを実行すると、リモート駐車の実行ボタンが表示され、その実行ボタンを押下するとリモート駐車の実行指示となる。また、実行ボタンを押下し続けるとリモート駐車の継続指示となり、実行ボタンの押下をやめるとリモート駐車の停止指示となる。操作者が障害物の写っている画像を表示したい場合に押下する画像切替えボタンも表示画面2aに表示されるようになっており、画像切替えボタンを押下すると画像切替え指示となる。
アンテナ/チューナ3は、電子キー1とボデーECU5との無線通信を実現するためのもので、電子キー1に対してボデーECU5から伝えられる送信要求を含む信号を送信したり、電子キー1からの認証データを含む信号を受信して認証データを抽出したりする。
周辺監視センサ4は、自車の周辺環境を監視する自律センサである。例えば、周辺監視センサ4は、歩行者や他車両などの移動する動的物標および路上の構造物などの静止している静的物標といった自車周辺の立体物を検知対象物として検知する。ここでは、周辺監視センサ4として、自車周囲の所定範囲を撮像する周辺監視カメラ41、自車周囲の所定範囲に探査波を送信するソナー42が備えられている。各周辺監視センサ4は、例えば駐車支援を行う際に、それぞれに決められた制御周期毎に立体物の検知を行っている。
周辺監視カメラ41は、撮像装置に相当するもので、自車の周辺画像を撮影し、その撮像データをセンシング情報として画像ECU6へ出力する。ここでは、周辺監視カメラ41として、車両前方、後方、左右側方の画像を撮影する前方カメラ、後方カメラ、左側方カメラ、右側方カメラを備えている場合を例に挙げて説明するが、これに限るものではない。周辺監視カメラ41の撮像データを解析することで「立体物」を検知したり、撮像データを用いてリモート駐車時に遠隔操作機2の表示画面2aに表示させる画像生成を行ったりできるようになっている。
なお、「立体物」とは、周辺監視センサ4によって検出される立体構造体、人、自転車などの三次元に空間的な広がりを持つ物体のことである。「障害物」とは、「立体物」のうち、駐車支援制御を行うときに自車の移動に対して障害となり得るものを意味している。「立体物」であっても、自車よりも高い位置にある壁や乗り越えられる程度の高さの段差など、自車の移動に対して障害とならないものについては「障害物」に含めなくても良い。
ソナー42は、探査波センサに相当するものである。ソナー42は、所定のサンプリング周期毎に、探査波として超音波を出力すると共にその反射波を取得することで得られた物標との相対速度や相対距離および物標が存在する方位角などの位置の測定結果をセンシング情報として自動駐車ECU8へ逐次出力する。ソナー42は、物体を検知した場合には、その検知した位置の座標である検知座標をセンシング情報に含めて出力している。物体の検知座標については、移動三角測量法を用いて特定しており、自車の移動に伴って物体までの距離が変化することから、サンプリング周期毎の測定結果の変化に基づいて特定している。
ここではソナー42を1つのみ図示しているが、実際には、車両に対して複数箇所に備えられる。ソナー42としては、例えば前後のバンパーに車両左右方向に複数個並べて配置されたフロントソナーや、車両の側方位置に配置されたサイドソナーが挙げられる。
なお、ここでは探査波センサとしてソナー42を例に挙げるが、探査波センサとしては、ミリ波レーダやLIDAR(Light Detection and Ranging)なども挙げられる。ミリ波レーダは、探査波としてミリ波を用いた測定、LIDARは、探査波としてレーザ光を用いた測定を行うものであり、共に、例えば車両の前方などの所定範囲内に探査波を出力し、その出力範囲内において測定を行う。
また、本実施形態では、周辺監視センサ4として、周辺監視カメラ41、ソナー42を備えたもの例に挙げるが、これらのうちの少なくとも周辺監視カメラ41によって周辺監視が行えれば良く、すべて備えていなくても良い。
各種ECU5~8は、駐車支援制御装置の制御部を構成するものであり、CPU、ROM、RAM、I/Oなどを備えたマイクロコンピュータによって構成されている。各種ECU5~8は、本実施形態では複数に分かれた構成として記載されているが、各種ECU5~8の少なくとも一部が1つのECUで構成されていても良いし、少なくとも一部が更に複数に分かれた構成とされていても良い。各種ECU5~8が協働して、もしくは、各ECU5~8のうちの少なくとも一部によって駐車支援制御装置の制御部を構成している。
ボデーECU5は、アンテナ/チューナ3を介しての電子キー1との間の通信や、自動駐車ECU8やコックピットECU7などとの通信が行えるようになっている。ボデーECU5は、電子キー1との通信に基づいて、電子キー1が自車の真正のものであるか否かを判定するキー認証を行う。また、ボデーECU5は、キー認証結果に基づいて、ドアのLock/Unlock制御を行ったり、自車を発進可能な起動状態にするイグニッションスイッチ等の起動スイッチの制御を行う。また、リモート駐車の開始時には、ボデーECU5は、コックピットECU7もしくは自動駐車ECU8からリモート駐車の操作の内容を示す操作信号を受け取って、電子キー1に認証データの送信要求を出す。そして、ボデーECU5は、電子キー1から送信されてきた認証データを用いたキー認証に基づいて電子キー1が自車の真正のものであると起動スイッチをオンする。本実施形態の場合、ボデーECU5は、後述するように駐車支援制御を実行する実行モードであるか実行しない非実行モードであるかが自動駐車ECU8から送られてくるようになっており、実行モードのときにのみ起動スイッチをオンする。また、ボデーECU5は、キー認証の結果をコックピットECU7に伝えている。これにより、コックピットECU7にて、キー認証の結果が遠隔操作機2に伝えられると共に、画像ECU6への画像生成の指示が可能になり、さらに、自動駐車ECU8に操作信号を送ることによるリモート駐車の操作指示が可能になる。具体的には、ボデーECU5は、各種制御を実行する機能部として、キー認証部5aおよび電源制御部5bを有した構成とされている。
キー認証部5aは、予め照合用識別情報を記憶しており、照合用識別情報と電子キー1から送られてきた情報とを照合することでキー認証を行い、電子キー1が自車の真正のものであることを確認する。ボデーECU5は、キー認証部5aでのキー認証の結果、電子キー1が自車の真正のものであることが確認された場合、操作者がドアノブに触れるとドアを開錠可能にする等のLock/Unlock制御を行っている。
電源制御部5bは、起動スイッチのオンオフの制御を行う。例えば、電源制御部5bは、キー認証部5aで電子キー1が自車の真正のものであることが確認され、かつ、車室内に備えられたプッシュスイッチが押下されると、起動スイッチをオンさせて自車を発進可能状態にする。また、電源制御部5bは、コックピットECU7からリモート駐車の操作信号として起動スイッチをオンさせることを指示する起動指令信号や停止させることを指示する停止指令信号を受け取る。また、電源制御部5bは、自動駐車ECU8から駐車支援制御を実行する実行モードであるか実行しない非実行モードであるかの情報を受け取る。そして、電源制御部5bは、起動指令信号もしくは停止指令信号を受け取ったときに、キー認証によって電子キー1が自車の真正のものであることが確認されており、かつ、実行モードであるという情報を受け取っていれば起動スイッチのオンオフを制御する。
画像ECU6は、周辺監視カメラ41から撮像データを入力し、自車の周辺画像を生成したり、周辺画像と重ね合わせて、もしくは周辺画像とは別にHMI(Human Machine Interface)表示を作成したりする。例えば、画像ECU6は、コックピットECU7や自動駐車ECU8などとの通信も行えるようになっており、コックピットECU7や自動駐車ECU8から送られてくるデータに基づいて、状況に応じた画像を生成している。具体的には、画像ECU6は、各種制御を実行する機能部として、画像認識部6a、画像生成部6bおよびHMI表示部6cを有した構成とされている。
画像認識部6aは、周辺監視カメラ41から入力される撮像データから自車の周辺の画像認識を行っている。
画像生成部6bは、画像認識部6aでの画像認識結果に基づいて自車の周辺画像を生成する。例えば、画像生成部6bは、操作者が自身の運転によって駐車を行う場合(以下、通常駐車時という)の画像と、操作者が遠隔操作機2を用いてリモート駐車を行うリモート駐車時とで様々な画像を生成するようにしている。画像生成部6bは、リモート駐車時にコックピットECU7から画像要求が出されるため、その画像要求を受け取るとリモート駐車時の画像生成を行うようになっている。コックピットECU8からの画像要求のタイミングについては、リモート駐車中常時とされているのではなく、所定のイベントが発生したときとされており、常時とされている場合と比較して画像要求の頻度が低くなっている。この画像要求のタイミングについては後で詳細に説明する。また、画像生成部6bは、遠隔操作機2の操作に基づく要求があった場合に、もしくは、自動駐車ECU8がソナー42の検出信号に基づいて障害物を検知して画像切替え要求を出してきた場合に、その要求に応じた画像を生成するようにしている。
一例を挙げると、通常駐車時には、画像生成部6bは、図2に示すような自車Vを真上から見た画像であるトップビュー画像を生成する。また、リモート駐車時には、画像認識部7bは、通常駐車時のようなトップビュー画像の生成も行っているが、障害物が検知された際に障害物を映し出す画像を障害物画像として生成している。図3に示すように、自車Vの周辺に障害物100が存在する場合にはトップビュー画像中にその障害物100が映し出されるが、より操作者に障害物100の存在を知らしめるために、障害物画像を生成している。
障害物画像については、トップビュー画像ではない別の角度から見た画像としても良いし、トップビュー画像中に障害物100に相当する表示を映し出した画像(以下、障害物トップビュー画像という)としてもよい。障害物画像をトップビュー画像とは別のものとする場合、例えば図4に示すように障害物100を周辺監視カメラ41から見た拡大画像(以下、障害物拡大画像という)とすることができる。障害物画像を障害物トップビュー画像とする場合、例えば図5に示すように障害物100の代わりの表示、例えば障害物100を示すドット表示もしくはマークなどとした代替表示120とすることもできる。なお、代替表示120を用いる場合には、その障害物100を示すドット表示もしくはマークについては、次に説明するHMI表示部6cにてHMI表示として作成される。そして、画像切替え要求により、トップビュー画像と障害物画像の切替えが行えるようになっている。これら画像生成部6bが作成する画像については後で詳細に説明する。
HMI表示部6cは、自動駐車ECU8に備えられる後述するHMI制御部8eからHMI制御に基づいて送られてくる情報、本実施形態の場合はソナー42での障害物の検知結果を示す障害物情報を反映するHMI表示を作成するものである。例えば、HMI表示は、画像生成部6bが生成する画像に障害物の検知結果を示す情報を重畳させるようにした画像とされる。一例を挙げると、障害物の検知結果を示す情報として、障害物が存在する場所での障害物の代わりの表示、自車のうち障害物から最短距離の場所から障害物に向けた距離表示を、画像生成部6bが生成する画像に重畳させる。障害物が存在する場所での障害物の代わりの表示としては、上記したような障害物を示すドット表示もしくはマークなどの代替表示120が挙げられる。HMI表示部6cは、これら障害物を示すドット表示もしくはマークなどの障害物の代替表示120や距離表示などをHMI表示として作成しており、HMI表示をトップビュー画像に重畳したものが代替表示120を用いた障害物トップビュー画像となる。
コックピットECU7は、メータ情報、ナビゲーション情報、車両情報、マルチメディア情報などを扱っており、扱っている各種情報に基づいて、メータ装置よるメータ表示やナビゲーション装置のディスプレイを通じてのナビゲーション表示などを行っている。
また、コックピットECU7は、ボデーECU5や画像ECU6および自動駐車ECU8と、更には遠隔操作機2と通信可能とされている。このため、コックピットECU7は、画像ECU6に対して、画像要求や画像切替えの要求を出したり、画像ECU6から送られてくる画像データを受信して遠隔操作機2やナビゲーション装置のディスプレイに伝えたりしている。また、コックピットECU7は、遠隔操作機2からのリモート駐車の操作信号に加えて、遠隔操作機2の位置情報などを受信したり、遠隔操作機2へ車両状態や生成画像情報を送信したりしている。そして、コックピットECU7は、遠隔操作機2から送られてきた位置情報と、GPSに基づいて検出される自車の位置情報に基づいて、遠隔操作機2を所持する操作者が自車に対してどの位置に存在しているかを検出している。これにより、コックピットECU7は、操作者の位置からの自車の向きなどを把握している。そして、コックピットECU7は、操作者の位置からの自車の向きなどを把握すると、トップビュー画像や障害物画像の画像要求や画像切替え要求の際には、操作者の位置からの向きと対応した画像を要求する。つまり、コックピットECU7から、画像ECU6がトップビュー画像や障害物画像を生成するために用いる画像の向きや表示範囲を特定するためのデータを含めた画像要求や画像切替え要求が出される。
さらに、コックピットECU7は、リモート駐車の開始を指示する操作信号を受け取ったことを自動駐車ECU8に伝えたり、自動駐車ECU8からリモート駐車を実行する実行モードであるか実行しない非実行モードであるかに関する情報を受け取ったりしている。また、コックピットECU7は、遠隔操作機2からリモート駐車を実行する旨の操作信号を受け取ると、ボデーECU5と通信を行ってキー認証を行わせると共にキー認証の結果を受け取る。そして、コックピットECU7は、電子キー1が自車の真正のものであった場合、遠隔操作機2からのリモート駐車を実行する旨の操作信号に応じて画像ECU6に対して画像要求を出したり、リモート駐車中の操作の内容を自動駐車ECU8に伝えたりしている。
また、コックピットECU7は、リモート駐車中に遠隔操作機2で画像切替えを要求する操作が行われると、画像切替え要求を画像ECU6に出すようになっている。加えて、コックピットECU7は、自動駐車ECU8から障害物情報を取得し、障害物が自車の周辺に存在している場合や近づいてきている場合にも、画像切替え要求を出すようになっている。さらに、障害物画像として障害物拡大画像を用いる場合には、コックピットECU7は、障害物を映し出すことができる周辺監視カメラ41がどれであるかを特定し、その周辺監視カメラ41の撮像データを用いた画像を指定して画像切替え要求を出すこともできる。自動駐車ECU8は、ソナー42での測定結果に基づいて障害物が自車に対するどの位置に存在するかを把握しており、それが障害物情報としてコックピットECU7に伝えられる。このため、コックピットECU7は、障害物情報から障害物を映し出すことができる周辺監視カメラ41がどれであるかを特定することができる。
自動駐車ECU8は、リモート駐車を含む駐車支援時に、周辺監視センサ4での検出結果やソナー42の測定結果となるセンシング情報を入力し、そのセンシング情報に基づいて駐車支援のための各種制御を行う。駐車支援については、駐車支援を行う際にドライバが押下する図示しない駐車支援スイッチが押下された場合や、遠隔操作機2からリモート駐車の指示が出された場合など、駐車支援を行うことの指示が出されると実行される。自動駐車ECU8は、駐車支援の指示が出されると、周辺監視センサ4のセンシング情報に基づいて駐車可能なフリースペースを認識すると共に、自動駐車時の自車の現在位置から駐車予定位置までの駐車経路を生成し、その駐車経路に従った経路追従制御を行う。具体的には、自動駐車ECU8は、各種制御を実行する機能部として、モード選択部8a、空間認識部8b、経路生成部8c、電源制御部8d、HMI制御部8eおよび経路追従制御部8fを有した構成とされている。
モード選択部8aは、駐車支援制御を実行する実行モードであるか、実行しない非実行モードであるかのモード選択を行う。例えば、操作者の運転により駐車を行う際に駐車支援スイッチが押下された場合には、周辺監視カメラ41やソナー42が機能しているかなどの状態チェックが為される。そして、駐車支援を実行できる状態であれば実行モード、実行できない状態であれば非実行モードが選択される。また、操作者の運転ではなく、操作者が自車から降りて遠隔操作機2を通じて自車のリモート駐車を行う場合にも、上記状態チェックが為され、駐車支援を実行できる状態であれば実行モード、実行できない状態であれば非実行モードが選択される。モード選択部8aでモード選択が行われると、電源制御部8dからボデーECU5に選択されたモードが伝えられる。そして、実行モードが選択されていれば、電源制御部5bが起動スイッチをオンさせ、自動駐車ECU8の他の機能部による各種演算や各種制御が実行されるようになっている。
空間認識部8bは、周辺監視センサ4からセンシング情報を入力し、そのセンシング情報に基づいて、駐車しようとしている自車の周辺環境の認識、具体的には自車の周辺に存在する立体物の認識を行う。また、空間認識部8bは、立体物の認識結果に基づいて、自車を駐車させるためのフリースペース認識を行う。
具体的には、空間認識部8bは、センシング情報として、周辺監視カメラ41からの撮像データやソナー42での探査波による測定結果を入力し、撮像データの画像解析と探査波による測定結果に基づいて立体物認識を行っている。立体物認識では、動的物標や静的物標といった自車周辺に存在する立体物を検知対象物として認識する。この立体物認識によって認識された検知対象物となる立体物のうちの障害物、好ましくはそのうちの静的物標の形状などに基づいて、後述する経路生成が行われると共に、障害物の有無の判定などが行われる。
周辺監視カメラ41から入力される撮像データは、その周辺の様子が映し出されたものであるため、その画像を解析すれば、立体物の有無を認識できる。また、認識された立体物の形状もしくは画像のオプティカルフローに基づいて、その立体物が動的物標であるか静的物標であるかを判別できると共に、立体物の位置、つまり自車に対する立体物の位置や距離、高さを検出できる。また、ソナー42のセンシング情報からも、立体物の有無、立体物の位置や距離を検出できると共に、その立体物が動的物標であるか静的物標であるかを判別できる。なお、ここでは、空間認識部8bが周辺監視カメラ41からの画像データの解析とソナー42での探査波による測定結果の双方に基づいて立体物認識を行っているが、いずれか一方のみでも立体物認識は可能である。ただし、双方を用いることでより精度良い立体物認識を行うことが可能となる。
また、空間認識部8bは、上記した立体物認識の結果を利用して、周辺監視カメラ41からの撮像データに映し出される駐車場の中から、フリースペースとなっている場所を認識するフリースペース認識を行う。フリースペースは、駐車場の中で他車両が駐車していない場所であって、自車が駐車可能な面積、形状となっている駐車スペースを意味している。駐車場の中に駐車スペースが複数ある場合に限らず、1つのみある場合も含まれる。このフリースペースとして認識された場所が駐車予定位置に設定される。
さらに、空間認識部8bは、ソナー42の測定結果に基づいて障害物を認識した場合には、その障害物の位置や障害物の形状などの障害物に関する情報である障害物情報をコックピットECU7に伝える。これにより、コックピットECU7は、障害物が有ることを認識し、障害物を映し出すことができる周辺監視カメラ41がどれであるかを特定したり、障害物を障害物画像の画像生成を行わせるための画像切替え要求を出したりするようになっている。
経路生成部8cは、立体物認識およびフリースペース認識の結果に基づいて経路生成を行ったり、駐車経路に対応する目標車速生成を行ったりする。具体的には、経路生成部8cは、立体物認識で認識されている障害物を避けつつ、自車の現在位置からフリースペース認識によって認識された駐車予定位置への移動経路を演算し、その演算結果が示す経路を駐車経路として生成する。また、経路生成部8cは、経路生成を行う際に何らかの制約条件が有る場合には、その制約条件を満たすように駐車経路を生成する。例えば、経路生成部8cは、所定範囲内において切り返しが最小数となるような駐車経路を生成する。また、駐車時の向き、つまり駐車予定位置への進入方向について制約条件がある場合には、それを制約条件に入れて駐車経路を算出する。例えば、駐車予定位置に自車を前向きに移動させて駐車する前向き駐車の場合もしくは後ろ向きに移動させて駐車する後ろ向き駐車の場合には、その駐車時の自車の向きを制約条件とする。駐車時の自車の向きについては、周辺監視カメラ41の撮像データ中に「前向き駐車」または「後ろ向き駐車」などの情報が記載された看板が含まれていた場合や駐車時の向きを指示するマークなどが含まれていた場合に、その情報を制約条件に含める。また、ユーザが駐車時の自車の向きを設定するための設定スイッチなどがある場合には、その設定スイッチの設定状態に応じて駐車時の自車の向きを制約条件に含めることもできる。
なお、駐車経路の生成の際に立体物認識で認識された立体物で構成される障害物を避けるようにしているが、そのうちの静的物標のみを避けるようにして駐車経路を生成するようにしている。動的物標については移動していくため、動的物標との衝突の危険性が無くなってから自車を移動させれば良く、その場合には静的物標のみを考慮した駐車経路を生成すれば足りる。
また、経路生成部8cは、算出された駐車経路に沿って自車を移動させる際の経路中の各所での目標車速を設定する。目標車速の設定手法については様々考えられるが、例えば一定車速としたり、旋回半径に応じた上限制御車速を設けたりして目標車速を決めている。
電源制御部8dは、モード選択部8aにてモード選択が行われると、それに基づいてボデーECU5の電源制御部5bに起動スイッチのオンオフを制御させるべく、ボデーECU5に対して選択されたモードを伝える。
HMI制御部8eは、画像ECU6におけるHMI表示部6cに、ソナー42のセンシング情報を反映させた画像を作成させるためのHMI制御を行う。例えば、HMI制御部8eは、ソナー42のセンシング情報に基づいて、障害物が存在する場所を示す情報や、自車のうち障害物から最短距離の場所から障害物までの距離を示す情報などを障害物情報としてHMI表示部6cに送っている。
経路追従制御部8fは、自車の加減速制御や操舵制御などの車両運動制御を行うことで経路追従制御を行う部分である。経路追従制御部8fは、経路生成部8cが生成した駐車経路および目標車速に追従して、自車が移動して駐車予定位置に駐車できるように、各種アクチュエータ9に制御信号を出力する。ここでは、自動駐車ECU8を1つのECUによって構成し、そのECU内に経路追従制御部8fを備えた構成としているが、自動駐車ECU8が複数のECUの組み合わせによって構成されていても良く、経路追従制御部8fがそれらのECUで構成されていても良い。複数のECUとしては、例えば、操舵制御を行う操舵ECU、加減速制御を行うパワーユニット制御ECUおよびブレーキECU等が挙げられる。
具体的には、経路追従制御部8fは、図示しないが、自車に搭載されたアクセルポジションセンサ、ブレーキ踏力センサ、舵角センサ、車輪速センサ、シフトポジションセンサ等の各センサから出力される検出信号を取得している。そして、経路追従制御部8fは、取得した検出信号より各部の状態を検出し、駐車経路および目標車速に追従して自車を移動させるべく、各種アクチュエータ9に対して制御信号を出力する。
各種アクチュエータ9は、自車の走行や停止に係わる各種走行制御デバイスであり、電子制御スロットル91、ブレーキアクチュエータ92、EPS(Electric Power Steering)モータ93、トランスミッション94等がある。これら各種アクチュエータ9が経路追従制御部8fからの制御信号に基づいて制御され、自車の走行方向や舵角、制駆動トルクが制御される。それにより、駐車経路および目標車速に従って自車を移動させて駐車予定位置Pbに駐車させるという経路追従制御を含む駐車支援制御を実現する。
なお、自車を現在位置から駐車予定位置に移動させる際には、その経路に追従して自車を移動させるようにすれば良いが、自車の移動中に人や他車が近づいてくることもあり得る。その場合には、動的物標が駐車経路と車幅から推定される自車の移動予定軌跡の範囲外に動的物標が出るまで自車の移動を停止したりして、自車が動的物標と衝突しないようにすることになる。また、最初に駐車経路を算出した際には認識できていなかった静的物標が存在している場合もあり得る。このため、駐車経路に追従して自車が移動している途中にも、空間認識部8bによる立体物認識を継続している。そして、駐車経路に追従して自車が移動した場合に静的物標が衝突し得る場所に存在していれば、駐車経路の再生成を行うようにしている。
以上のようにして、本実施形態にかかるリモート駐車システムが構成されている。続いて、このようにして構成されたリモート駐車システムの作動について、図6~図11を参照して説明する。リモート駐車システムは、各種ECU6~8により、リモート駐車以外の各種制御も実行しており、例えば操作者が自身の運転に基づいて駐車を行うような場合の駐車支援も行っているが、ここではリモート駐車に絞ってリモート駐車システムの作動を説明する。
図6は、リモート駐車の一例を示したもので、並列駐車スペースが備えられている場合に、フリースペースに自車Vを操作者110がリモート駐車する状況を例に挙げたものである。図6では、フリースペースを1つ空けて2台の車両V1、V2が並んで駐車している状況において、現在位置Paから駐車予定位置Pbとなるフリースペースにリモート駐車する状況を示している。図7は、リモート駐車中に自車Vに対して障害物100が近づいてきたときの様子を示している。
図8は、遠隔操作機2で実行する操作制御処理のフローチャート、図9は、コックピットECU7で実行する制御処理のフローチャートである。また、図10は、画像ECU6で実行する画像処理のフローチャート、図11は、自動駐車ECU8が実行する自動駐車処理のフローチャートである。各図のフローチャートに示される各処理は各ECUにおいて所定の制御周期毎に実行される。ここでは、各処理について、リモート駐車が行われると想定される車両停止時の起動スイッチがオフの際に実行されるようにしているが、起動スイッチがオンの際に実行されても良い。
まず、遠隔操作機2では、図8に示すように、ステップS100において、リモート駐車の実行を指示する操作が行われたか否かが判定される。例えば、操作者が遠隔操作機2の表示画面2aを通じてリモート駐車のアプリケーションを実行すると、リモート駐車の実行ボタンが表示されるようになっている。この実行ボタンが押下されると、リモート駐車の実行の指示が出されたと判定している。
続くステップS110では、GPSに基づいて位置情報を取得する。そして、ステップS120では、無線通信を介して、リモート駐車の操作の内容を示す操作信号と共に、ステップS110で取得した位置情報をコックピットECU7に送信する処理を行う。リモート駐車を開始する際には、リモート駐車の操作の内容として、リモート駐車の実行指示が遠隔操作機2からコックピットECU7に伝えられることになる。
リモート駐車の実行指示に基づいてリモート駐車が実行されると、ステップS130において、コックピットECU7から送られてくる画像ECU6での生成画像情報を受信し、その生成画像情報が示す画像表示を行う。そして、ステップS140に進み、リモート駐車が終了したか否かを判定し、肯定判定されるまではステップS110~S130の処理を繰り返す。
例えば、図2~図5に示すように、表示画面2a内における四隅のいずれかなど、画像表示の妨げにならない場所に実行ボタン2bや画像切替えボタン2cが表示される。そして、操作者が実行ボタン2bを押し続けている場合には、ステップS120において、操作信号としてリモート駐車継続中を示す情報が継続して送信されることでリモート駐車が継続され、リモート駐車中の画像表示が継続される。また、実行ボタン2bを離すと、リモート駐車が停止されるようになっているが、改めて実行ボタン2bが押下されると再びリモート駐車継続中を示す情報が継続して送信されるようになっている。また、操作者が画像切替えボタン2cを押下すると、ステップS120において、操作信号として画像切替えを示す旨の信号が送信され、トップビュー画像と障害物画像の表示切替えが行われる。そして、リモート駐車によって自車が駐車予定位置に到達した旨の信号が自動駐車ECU8からコックピットECU7を介して送られてきたり、操作者が遠隔操作機2を通じてリモート駐車の終了指示を出したりするとリモート駐車が終了したと判定する。このようにして、リモート駐車の終了と判定されると、ステップS150に進んでリモート駐車中の画面表示を終了し、処理を終了する。
一方、自車側では、コックピットECU7は、図9に示すように、ステップS200において、リモート駐車の操作信号、つまりリモート駐車の実行指示を受信したか否かを判定している。このため、図8のステップS120で遠隔操作機2からリモート駐車の実行指示が送信されると、ステップS200で肯定判定される。そして、ステップS210に進み、リモート駐車の実行指示に対応する起動指令信号をボデーECU5に伝えると共に、自動駐車ECU8に対してリモート駐車の操作信号としてリモート駐車の実行指示を送る。これにより、モード選択部8aにて実行モードであるか非実行モードであるかのモード選択が行われ、その選択結果がボデーECU5に伝えられる。そして、ボデーECU5から電子キー1に対して認証データの送信要求が送信され、電子キー1から認証データがボデーECU5に返信されると、キー認証部5aでキー認証が行われ、そのキー認証の結果がコックピットECU7に伝えられる。また、キー認証の結果、電子キー1が自車の真正のものであり、自動駐車ECU8から伝えられたモードが実行モードであると、電源制御部5bが自車の起動スイッチをオンする。
さらに、コックピットECU7は、ステップS220でキー認証結果を受信したのち、ステップS230において、受信したキー認証結果に基づいて電子キー1が真正のものであるか否かを判定する。ここで否定判定されれば自車に対するリモート駐車の実行指示ではないため処理を終了し、肯定判定されるとステップS240に進む。
ステップ240では、所定のイベントが発生したか否かを判定する。ここでいう所定のイベントとは、遠隔操作機2の表示画面2aを通じてリモート駐車の様子を操作者に視認できるようにするタイミングに至ったことを意味している。本実施形態の場合、所定のイベントを、所定の時間間隔もしくは所定の距離間隔になったタイミング、画面要求もしくは画面切替え要求があったタイミング、および、障害物が検知されたタイミングとしている。
所定の時間間隔もしくは所定の距離間隔については、リモート駐車の開始指示があってリモート駐車を開始してから一定周期毎もしくは一定距離走行する毎に設定されるタイミングである。所定の時間間隔もしくは所定の距離間隔については、操作者にリモート駐車の様子を定期的に視認させるために設定される。例えば、所定の時間間隔もしくは所定の距離間隔については、リモート駐車時の車速に応じた値に設定され、車速が高いほど所定の時間間隔については短く、所定の距離間隔についても短く設定される。例えば、車速が1~2km/hとされる場合、所定の時間間隔については1秒程度、所定の距離間隔については50cm程度とすることができる。所定の時間間隔になったタイミングと所定の距離間隔になったタイミングのいずれか一方が所定のイベントの1つとして設定され、所定の時間間隔毎もしくは所定の距離間隔毎に本処理で肯定判定されるようになっている。
画面要求もしくは画面切替え要求があったタイミングについては、上記の通り、操作者がリモート駐車の実行のための操作や画像切替えを指示する操作を行ったときに、遠隔操作機2からの操作信号を受信したコックピットECU7から出されたタイミングである。画面要求もしくは画面切替え要求があったタイミングについては、操作者の要求に対応できるように設定される。
障害物が検知されたタイミングは、ソナー42の測定結果に基づいて自動駐車ECU8が障害物を検知したときに、自動駐車ECU8からその旨を伝えられたコックピットECU7から画像切替え要求が出されたタイミングである。障害物が検知されたタイミングについては、操作者に障害物に対する注意を喚起するために設定される。
そして、このように設定される所定のイベントが発生した場合には、ステップS250に進んで画像ECU6に対して画像要求や画像切替え要求を出し、その後、ステップ260に進んで自動駐車ECU8にリモート駐車の操作の内容を示す操作信号を伝える。
これらステップS250、S260の処理が実行されると、画像ECU6や自動駐車ECU8が各種処理を実行する。そして、ステップS270に進み、画像ECU6から生成画像情報を取得すると、コックピットECU7から遠隔操作機2に車両状態情報と共に生成画像情報が送信される。これらステップS240~S270の処理がステップS280でリモート駐車の終了指示を受信したと判定されるまで継続される。
なお、コックピットECU7に対して、リモート駐車によって自車が駐車予定位置に到達したことが自動駐車ECU8から伝えられたり、操作者がリモート駐車の終了指示の操作を行ったことが遠隔操作機2から伝えられると、ステップS280で肯定判定される。その場合、ステップS290に進み、リモート駐車の終了処理を行う。これにより、例えばコックピットECU7からボデーECU5、画像ECU6および自動駐車ECU8にリモート駐車の終了指示を示す信号が出力され、ボデーECU5が起動スイッチをオフすると共に、各ECU6、7、8も処理を終了する。
図9のステップS250で所定のイベントが発生したときに画像要求や画像切替え要求が出されると、画像ECU6において、それに応じた画像生成を行うための処理が実行される。まず、図10のステップS300で、画像要求が出されたか否かが判定されており、画像要求が出されると、ステップS310以降の処理を行う。
ステップS310では、画像切替え要求が出されたか否かを判定している。操作者が遠隔操作機2を通じて画像切替えの操作を行ったり、もしくは、自動駐車ECU8がソナー42の検出信号に基づいて障害物を検知したりすると、コックピットECU7から画像切替え要求が出されるようになっている。また、操作者が遠隔操作機2を通じて画像切替えの操作を行ったのち、再び元の画像に戻す操作を行うと、画像切替え要求が行われない状態となるようになっている。ここで、否定判定されればステップS320に進み、肯定判定されればステップS330に進む。
ステップS320では、周辺監視カメラ41からの撮像データを取得し、トップビュー画像を生成する。上記したように、周辺監視カメラ41として、車両前方、後方、左右側方の画像を撮影する前方カメラ、後方カメラ、左側方カメラ、右側方カメラがあるため、各周辺監視カメラ41からの撮像データを合成して、トップビュー画像を生成している。その後、ステップS340に進み、トップビュー画像をコックピットECU7に伝える。これにより、図9のステップS270でコックピットECU7から生成画像情報としてトップビュー画像情報が送信され、遠隔操作機2の表示画面2aを通じてトップビュー画像が表示されることになる。例えば、図6に示すような状況の場合、図2に示すような画像がトップビュー画像として表示される。精製画像情報が送信されるのが所定のイベントが発生したタイミングのみとなるため、動画のような表示とはならず、スライドショーのような表示になるが、操作者が表示画面2aを通じて自車の周囲の様子を把握することができる。このように、画像切替え要求が出されなかった場合には、操作者が自車を運転して駐車するような場合にも行われるトップビュー画像を表示することで、リモート駐車の様子を確認できるようにしている。
一方、ステップS330では、周辺監視カメラ41からの撮像データを取得し、障害物画像を生成する。HMI制御部8eからHMI表示部6cに障害物画像を生成するために用いる障害物情報が伝えられている。画像ECU6は、その障害物情報に基づき、障害物画像を生成する。
例えば、障害物画像を障害物トップビュー画像とする場合、障害物情報に障害物が自車に対してどの位置に存在しているかが示されているため、トップビュー画像中に障害物を示すドット表示もしくはマークの代替表示120を重畳する。また、障害物画像を障害物拡大画像とする場合には、障害物情報に障害物が自車に対してどの位置に存在しているかが示されているため、障害物を映し出していると想定される周辺監視カメラ41の撮像データから障害物拡大画像を生成する。
なお、このように障害物が検知された場合に、所定のイベントが発生したとして、障害物画像が表示される。このとき、障害物の検知中に常時表示を行うようにしても良いが、必ずしも常時表示する必要はない。つまり、障害物の検知中という限定的な条件で常時表示を行うことを想定すれば、動画などの大容量データを送る期間が短いと考えられるため、伝送設備の高コスト化は抑制されるものの、高コストにはなる。このため、障害物が検知された場合にも、障害物画像の表示が行われるタイミングが所定の時間間隔もしくは所定の距離間隔毎となるようにすると、伝送設備の高コスト化を更に抑制できて好ましい。また、障害物画像の表示については、障害物が検知されていない通常状態と比較してより高頻度に表示されるのが好ましい。このため、障害物が検知されていないときに設定される所定の時間間隔もしくは所定の距離間隔と比較して、障害物が検知されたときに設定される所定の時間間隔もしくは所定の距離間隔の方が短くなるようにすると良い。
そして、ステップS330において障害物画像が生成されると、ステップS350に進み、障害物画像をコックピットECU7に送信して処理を終了する。これにより、図9のステップS260でコックピットECU7から生成画像情報として障害物画像情報が送信され、遠隔操作機2の表示画面2aに障害物画像が表示されることになる。例えば、図7に示すように障害物100が近づいてきたような状況の場合、障害物拡大画像を用いる場合であれば図4に示すような画像が障害物画像として表示される。また、障害物トップビュー画像を用いる場合であれば図5に示すような障害物100を代替表示120とした画像が障害物画像として表示される。
このように、画像切替え要求が出された場合には、トップビュー画像ではなく障害物画像を表示することで、操作者に障害物を的確に把握できるようにしている。なお、障害物が検知されているときには画像切替え要求が出されたままの状態となり、障害物画像が表示されることになるが、障害物が検知されなくなると画像切替え要求が出されなくなる。この場合には、再びステップS310で否定判定される。これにより、障害物画像の表示からトップビュー画像の表示に切り替わることになる。
さらに、自動駐車ECU8では、リモート駐車の操作の内容を示す操作信号を受信すると、図11のステップS400において、操作信号がリモート駐車の実行指示を示しているか否かを判定する。ここで肯定判定されると、ステップS410に進んでモード選択処理が実行される。モード選択処理では、駐車支援制御を実行する実行モードであるか、実行しない非実行モードであるかのモード選択を行う。例えば、周辺監視カメラ41やソナー42の状態チェックを行い、駐車支援を実行できる状態であれば実行モード、実行できない状態であれば非実行モードを選択する。
その後、ステップS420に進み、モード選択処理で選択されたのが実行モードであるか否かを判定する。そして、実行モードであればステップS430に進んでボデーECU5に対して実行モードであることを伝えたのち、ステップS440に進んで駐車支援としてリモート駐車処理を行う。リモート駐車処理では、空間認識部8bによる立体物の認識および障害物の検知、フリースペース認識、経路生成、経路追従制御が実行される。そして、経路追従制御により、経路生成で生成された駐車経路および目標車速に追従して自車Vが移動して駐車予定位置に駐車できるように、各種アクチュエータ9に制御信号が出力され、各種アクチュエータ9が制御される。また、このときにHMI制御が行われ、障害物が検知されると、その検知結果となる障害物情報を逐一画像ECU6に伝えるようにしている。さらに、ソナー42の検出信号に基づいて障害物が検知されると、自動駐車ECU8からコックピットECU7にそれが伝えられ、コックピットECU7から画像切替え要求が出される。
そして、ステップS450に進み、リモート駐車継続中であるか否かを判定し、継続中であればステップS440の処理が継続して実行される。また、リモート駐車継続中ではない場合、例えば操作者が遠隔操作機2を通じてリモート駐車の停止指示を行った場合やリモート駐車によって自車Vが駐車予定位置Pbに到達した場合には、処理を終了する。
一方、ステップS420で否定判定された場合、つまりモード選択で非実行モードが選択されていた場合には、ステップS460に進んでボデーECU5に対して非実行モードであることを伝える。この場合には、リモート駐車を行えないため、そのまま処理を終了する。
以上説明したように、本実施形態では、リモート駐車中に車両側から遠隔操作機2側に生成画像情報を常時伝えるのではなく、所定のイベントが発生したときにのみ、静止画像(換言すれば単画像)として伝えるようにしている。このため、動画(換言すれば映像信号)などの大容量データを送信する場合と比較して、本実施形態の伝送形態のリモート駐車システムとすることで、伝送設備の低コスト化を図ることが可能となる。
また、障害物が検知された場合には、遠隔操作機2の表示画面2aを通じて障害物画像を表示することで、より操作者に障害物を認識させることが可能となる。障害物画像として、障害物を周辺監視カメラ41から見た障害物拡大画像とすれば、障害物がより鮮明に表示されるため、より確実に操作者に障害物を認識させることができる。同様に、障害物画像として、トップビュー画像に障害物をドット表示もしくはマークなどの代替表示として重畳した障害物トップビュー画像とした場合にも、単なるトップビュー画像と比較して障害物を認識し易くできるため、より確実に操作者に障害物を認識させることができる。
また、障害物が検知された場合に障害物画像を常時表示させるようにすることもできるが、この場合にも所定の時間間隔もしくは所定の距離間隔毎に表示させるようにすることで、障害物の検知時に間についても伝送設備の低コスト化を図ることが可能となる。さらに、障害物が検知されていないときに設定される所定の時間間隔もしくは所定の距離間隔と比較して、障害物が検知されたときに設定される所定の時間間隔もしくは所定の距離間隔の方が短くなるようにすることもできる。このようにすると、障害物の検知時には、障害物が検知されていないときと比較して、より高頻度で表示されるようにでき、より詳細に障害物の状況を操作者に把握させることが可能となる。
(第2実施形態)
第2実施形態について説明する。本実施形態は、第1実施形態に対して画像の表示形態を変更したものであり、その他については第1実施形態と同様であるため、第1実施形態と異なる部分についてのみ説明する。
第1実施形態では、リモート駐車時において障害物が検知されていないときにはトップビュー画像を表示し、障害物が検知されると障害物画像を表示するようにしている。これに対して、所定のイベントが発生したタイミングを所定の時間間隔もしくは所定の距離間隔毎のみとし、それらのタイミングの際にトップビュー画像のみを表示する形態としても良い。
このような表示形態としても、リモート駐車中に車両側から遠隔操作機2側に生成画像情報を常時伝えるのではなく、所定のイベントが発生したときにのみ伝えられる。このため、第1実施形態と同様、伝送設備の低コスト化を図ることが可能となる。
なお、このようにする場合、第1実施形態のように、障害物を認識し易くした障害物画像を表示しないことになるが、トップビュー画像中にも障害物が映し出されることから、障害物を認識することはできる。また、このような表示形態とする場合であっても、障害物が検知された場合には、検知されていないときよりも画像表示を行う時間間隔もしくは距離間隔を短くすることができる。その場合、障害物が検知された際により高頻度に画像表示が行われるため、より操作者に注意を喚起することが可能となる。
(第3実施形態)
第3実施形態について説明する。本実施形態も、第1実施形態に対して画像の表示形態を変更したものであり、その他については第1実施形態と同様であるため、第1実施形態と異なる部分についてのみ説明する。
第1実施形態では、リモート駐車時において障害物が検知されていないときにはトップビュー画像を表示し、障害物が検知されると障害物画像を表示するようにしている。これに対して、所定のイベントが発生したタイミングを障害物が検知された場合のみとし、障害物が検知された場合にのみ画像表示が行われるようにしても良い。その場合の画像の表示形態としては、トップビュー画像を表示する形態としても良いし、障害物画像を表示する形態としても良い。また、トップビュー画像と障害物画像を交互に表示する形態としても良い。
そして、障害物が検知された際にのみ画像表示を行う形態とする場合にも、所定の時間間隔もしくは所定の時間間隔毎に表示を行うようにすることで、より伝送設備の低コスト化を図ることが可能となる。
(第4実施形態)
第4実施形態について説明する。本実施形態は、第1、第3実施形態に対して画像の表示タイミングを変更したものであり、その他については第1、第3実施形態と同様であるため、第1、第3実施形態と異なる部分についてのみ説明する。
上記第1、第3実施形態において、自車と障害物との距離に応じて、もしくは自車と障害物とが衝突するまでに掛る時間である衝突余裕時間(以下、TTCという)に応じて、障害物画像を表示させるためのイベントの間隔を設定することができる。具体的には、自車と障害物の距離が短くなるほど、もしくはTTCが短くなるほど高頻度で障害物画像が表示されるように、所定の時間間隔もしくは所定の距離間隔が短くなるようにする。このようにすれば、自車と障害物との衝突の危険度が高くなるほど高頻度に障害物画像を表示させることができ、より操作者に障害物を認識させることが可能となる。
(他の実施形態)
本開示は、上記した実施形態に準拠して記述されたが、当該実施形態に限定されるものではなく、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
上記第1実施形態では、リモート駐車時に、トップビュー画像と障害物画像とが切り替り、いずれか一方のみが表示されるようにしたが、表示画面2aの一部をトップビュー画像、残りの全部もしくは一部に障害物画像を表示することで、両方の画像を表示しても良い。
また、障害物画像として、第1実施形態で説明した代替表示120を用いる障害物トップビュー画像としても良いし、障害物拡大画像としても良いが、これらを切替えボタン2cにて選択的に切り替えて、もしくは交互に切り替えて表示できるようにしても良い。また、障害物が複数存在する場合もあり得る。その場合は、操作者の位置からの自車の向きとの関係から死角位置が分かるため、死角位置側を優先して障害物画像の表示を行うようにすると好ましい。
また、リモート駐車に関しては、運転者が自車から降りた後に操作者となって行うことが想定されるため、キー認証に基づいて電子キー1が自車の真正なものである場合にのみ、起動スイッチがオンされるようにした。しかしながら、これも一例を挙げたに過ぎず、キー認証を行うことなく、操作者が遠隔操作機2を通じてリモート駐車の開始指示の要求を出したときに自動的に起動スイッチがオンされるようにしても良い。また、起動スイッチをオフすること無くオンしたままの状態で自車Vから操作者が降りてリモート駐車が行われるようにしても良い。
なお、本開示に記載の駐車支援制御装置の制御部およびその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサおよびメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。