以下、この発明に係る走行支援制御装置について、これが組み込まれた駐車施設との関係において好適な実施形態を挙げ、添付の図面を参照しながら詳細に説明する。
図1は、この実施形態に係る走行支援制御装置10が組み込まれた駐車施設12を示す概略平面図、図2は、自動運転走行が可能な制御対象車両(単に、車両ともいう。)100に取り付けられている各種センサの概略位置を示す概略平面図、図3は、走行支援制御装置10と車両100とからなる駐車支援システム14の構成を示すブロック図である。
なお、既に駐車中の車両100aも同様の構成であるが、煩雑を回避するために、基本的には、車両100を例として説明する。
図2に示すように、車両100の重心近傍にヨーレートセンサ22が設置されている。ヨーレートセンサ22の出力(ヨーレート:角速度)を積分することにより車両100の向き、すなわち車両方向を検出することができる。このため、ヨーレートセンサ22は、車両方向センサとして機能する。車両方向センサとしては、ヨーレートセンサ22に代替して、地磁気センサや各種ジャイロを利用することができる。
車両100のステアリングシャフト(不図示)に操舵角センサ28が設置されている。操舵角センサ28により前輪30(右前輪30Rと左前輪30L)の(車両100の)舵角が検出される。
車両100の後輪24(右後輪24Rと左後輪24L)に近接して車輪速センサ26(右車輪速センサ26Rと左車輪速センサ26L)が設置されている。車輪速センサ26に基づき車速が検出されると共に、前後輪30、24の径を参照して移動距離が検出される。従って、車輪速センサ26は、距離センサとしても機能する。
図示しないダッシュボード等にGPSセンサ32(位置検出センサ)が設置されている。GPSセンサ32により車両100の位置(緯度、経度、高さ)が検出される。GPSセンサ32は車両100の位置センサとして機能するが、位置センサとしては、GPSセンサ32に代替して、あるいはGPSセンサ32と併用して、一定の距離あるいは一定の時間毎の走行距離と走行方位を車輪速センサ26とヨーレートセンサ22(車輪速センサ26とヨーレートセンサ22とにより位置検出センサが形成される。)により検出して座標原点からの自車位置を、いわゆる慣性航法により算出することもできる。なお、慣性航法の場合、スタート点位置、例えば、図1に示す入庫位置(入庫スペース、入庫空間)102(入庫位置102A、入庫位置102Bのいずれか)を前記座標原点に設定する。
また、車両100の図示しないシフトノブの近傍にはシフト位置センサ34(前進・後進検出センサ)が設置されている。シフト位置センサ34により車両100の前進又は後進を検出することができる。
図3に示すように、自動運転走行に必要な上記の各種センサをまとめてセンサ50という。この場合、慣性航法による自車位置は、車内LAN等の車内通信線54で相互に接続されている統括ECU52により計算され、慣性航法が実行される。なお、ECUは、電子制御装置(Electronic Control Unit)であって、マイクロコンピュータを含む計算機であり、CPU(中央処理装置)、メモリであるROM(EEPROMも含む。)、RAM(ランダムアクセスメモリ)、その他、A/D変換器、D/A変換器等の入出力装置、計時部としてのタイマ等を有しており、CPUがROMに記録されているプログラムを読み出し実行することで各種機能実現部(機能実現手段)、例えば制御部、演算部、及び処理部等として機能する。
統括ECU52は、自動運転ECU56に電気的に接続されると共に、車内通信線54を通じて、操舵制御ECU58、ブレーキECU60、及び駆動力ECU62に接続されている。統括ECU52と自動運転ECU56にて自動運転ユニット57が構成されるが、1つのECUにまとめてもよい。
自動運転ECU56の記憶部には、車両100の種別等を記憶する車両識別情報記憶部(車両種別情報記憶部ともいう。)64が設けられ、この車両識別情報記憶部64には、当該車両100の3次元モデル(ここでは、外形形状を示す3次元ワイヤフレームモデルやサーフェイスモデルで、実体は、そのモデルのデータからなる。)Dmと3次元モデルDm中での後輪車軸の中点位置座標であるモデル基準位置座標Cmの他、車両100の外接直方体に対応する車両100の大きさ(全長、全幅、全高)の寸法と、ホイールベース長と、トレッド幅が、車両100の種別を規定する情報(データ)として予め記憶されている。車両100の最小回転半径を前記情報に含めておいてもよい。
なお、図1及び図2において、車両100、100a中に描いている符号Cm´は、3次元モデルDm中のモデル基準位置座標Cmではなく、実際の車両100、100aの後輪車軸25(図2参照)の中点位置座標である実車両基準位置座標Cm´を表している。
駐車施設12の入口116近傍に設置されている駐車支援制御装置120が車両100の種別等を取得する(後述する。)ために、車両100の3次元モデルDmとモデル基準位置座標Cmと、実車両基準位置座標Cm´と、大きさ(全長と、全幅と、全高)(車両寸法)と、ホイールベース長と、トレッド幅等とからなる情報を自動運転ECU56の車両識別情報記憶部64に直接的に記憶しておいてもよいが、これに代替して、駐車支援制御装置120がこれらの情報を間接的に得るための、車両のメーカー名、車両の名称、車両のグレードを車両100の種別として車両識別情報記憶部64に記憶しておいてもよい。これら車両のメーカー名、車両の名称、及び車両のグレードからなる車両100の識別情報を利用して、駐車支援制御装置120は、いわゆるインターネット上のビッグデータあるいは該当サーバ装置から前記インターネットを経由して当該車両100の3次元モデルDmとモデル基準位置座標Cmと、後輪車軸25の中点位置座標である実車両基準位置座標Cm´と、大きさ(全長と、全幅と、全高)(車両寸法)と、ホイールベース長と、トレッド幅及び最小回転半径等を取得することができる。
車両100の識別情報には、上述した車両100の3次元モデルDmとモデル基準位置座標Cmと、実車両位置座標Cm´と、大きさ(全長と、全幅と、全高)(車両寸法)と、ホイールベース長と、トレッド幅と、最小回転半径の他に、前後オーバーハング、最大重量、及びナンバープレート情報{プレートの大きさ、プレート上の登録番号等の表示(文字・数字等)}を含めてもよい。なお、ナンバープレート情報は、駐車支援制御装置120が、インフラカメラ106(後述)による画像情報である撮影画像から認識し取得することもできる。
操舵制御ECU58は、車両100の操舵機構(不図示)を駆動制御して、この実施形態では前輪30の舵角を制御する。ブレーキECU60は、前後輪30、24の全4輪をそれぞれ独立にブレーキ制御し、停止を含めた車両100の挙動を制御する。
駆動力ECU62は、それぞれ不図示のエンジン及び(又は)モータを駆動制御してトランスミッションを通じて又は直接的に車両100の前輪30及び又は後輪24に回転駆動力を付与して車両100を走行させる制御を行う。
センサ50の情報は、統括ECU52、操舵制御ECU58、ブレーキECU60及び駆動力ECU62において、必要とされるものが共用される。
統括ECU52は、自動運転ECU56に電気的に接続されている。
図1に示すように、この実施形態において、車両100が自動運転される所定領域(所定エリア)である駐車施設12は、例えば、数10m四方の路面104を有し、略四角形の路面104の四隅に、広角な固定カメラであるインフラカメラ(監視カメラ)106(106a、106b、106c、106d)が設置されている。
インフラカメラ106は、それぞれのインフラカメラ106a〜106dの視線(光軸)が、略四角形の路面104の対角線上内側下方を向くように取り付けられ、それぞれのインフラカメラ106が、駐車施設12の入口116(116A、116B)近傍を含む路面104の略全域を撮影できるように構成され、設置調整されている。換言すれば、各インフラカメラ106a〜106dにより、駐車施設12の入口116近傍の車両100や、駐車施設12内の車両100(駐車中の車両を含む。)を含む移動体を全て撮影(広角撮影)でき、追跡乃至監視することができるようになっている。
インフラカメラ106は、乗降端末等の駐車支援制御装置120に電気的に接続されている(図3参照)。インフラカメラ106と駐車支援制御装置120とによりこの実施形態に係る走行支援制御装置10が構成される。この実施形態では、インフラカメラ106で撮影された後述する撮影画像108に対して、各種の画像処理等が、駐車支援制御装置120により実行される。なお、インフラカメラ106aには、日射量を検出する日射センサ151が設けられ、検出された日射量情報(日射量信号)は、駐車支援制御装置120に供給されるようになっている。
駐車支援制御装置120は、計算機を含んで構成され、前記したECUと同様に、CPU、メモリであるROM(EEPROMも含む。)、RAM(ランダムアクセスメモリ)等の記憶部118、その他、A/D変換器、D/A変換器等の入出力装置、計時部としてのタイマ等を有しており、CPUが記憶部118のROMに記録されているプログラムを読み出し実行することで各種機能実現部(機能実現手段)として機能する。
この実施形態において、駐車支援制御装置120は、インフラカメラ106により取得された画像情報に基づき所定領域である駐車施設12内での制御対象車両100の自動運転走行を支援する走行支援部152と、インフラカメラ106により取得された前記画像情報に基づき、制御対象車両100の位置を把握する位置把握部154と、位置把握部154により把握された制御対象車両100の前記位置に基づき、インフラカメラ106により取得された前記画像情報から少なくとも制御対象車両領域を除外する制御対象車両領域除外部(対象車両領域除外部)156と、光源(太陽や駐車施設12に設置された灯火)からの光の照射によって制御対象車両100によりできる影部領域を推定し、推定した前記影部領域をインフラカメラ106により取得された前記画像情報から除外する影部領域除外部158と、カレンダタイマ160とを備える。この実施形態のカレンダタイマ160は、日時等を計時するタイマと、タイマによって計時された日時に基づく暦情報と、将来の日時に対応させた太陽光の照射時間、照射方向の太陽光照射情報を内蔵している。さらに、記憶部118には、駐車施設12に設置された図示していない灯火の灯火時間及び照射方向の灯火情報が記憶されている。
ここで、走行支援制御装置10(インフラカメラ106と駐車支援制御装置120)の基本的な機能、動作について説明する。
例えば、図4に示すように、駐車施設12の路面104上に配置された車両100を撮影したとき、図5に模式的に示すように、インフラカメラ106a、106b、106c、106dに対応してそれぞれ画像情報である撮影画像(車両抽出用画像ともいう。)108a、108b、108c、108dが抽出され、撮影画像108(108a〜108d)から駐車支援制御装置120の画像処理、ここでは、公知のフレーム間差分法等により、移動体である車両100を検出して車両100を切り出した画像情報である撮影画像(車両画像)110(110a、110b、110c、110d)を取得することができる。なお、フレーム間差分法に限らず、予め、規定の光量下でインフラカメラ106により車両100等の移動体の存在しない入口116を含む路面104の撮影画像(基準撮影画像という。)を撮影しておき、移動体が進入した際の撮影画像108を光量補正した上で前記基準撮影画像との差分画像(差分法による画像)から移動体である車両100等を切り出す(検出する)こともできる。光量補正は、インフラカメラ106又は駐車支援制御装置120で実行することができる。
駐車支援制御装置120は、車両100を切り出したとき、当該車両100の種別を検出(認識、追跡)するために当該車両100の大きさを表す外接直方体を設定し、車両寸法(全長と、全幅と、全高)を検出する。また、同時に、タイヤホイールとタイヤを検出し、ホイールベース長と、トレッド幅を得る。必要に応じて、前後オーバーハングを得る。なお、車両100が入口116又は入庫位置102に位置するときには、車両100の大きさを表す外接直方体を表す車両寸法(全長と、全幅と、全高)、及びホイールベース長と、トレッド幅を最小限情報として必ず取得し自己の記憶部118に記憶することができるようにインフラカメラ106の視野を予め調整している。
その際、入口116及び入庫位置102を除く路面104上では、外接直方体が仮に検出できない場合でも、車両100の上面、側面、前面、及び背面の少なくとも1面(上面視等の1面視)が検出できるので、検出した一面とホイールベース長又はトレッド幅に基づき入庫位置102から駐車位置(駐車区画又は駐車位置空間ともいう。)121〜125まで自動走行する車両100を追跡することができる。
図5に示すように、インフラカメラ106aによる撮影画像110aでは、車両100の右前部と右側面を確認(追跡)することができ、この撮影画像110aから駐車支援制御装置120によりタイヤホイールの形状、前輪30と後輪24との間のホイールベース長、前後オーバーハング、及び前面のエムブレムから前輪30Rのタイヤホイールまでの距離等の車両100の種別を表す特徴点パターン(特徴点又は特徴パターンともいう。)(車両100の種別)を抽出することができる。
インフラカメラ106bによる撮影画像110bでは、車両100の後部と後部上面を確認(追跡)することができ、この撮影画像110bから駐車支援制御装置120により後部バンパーに埋め込まれたリフレクタの形状、リフレクタ間の距離、リフレクタとエムブレム間の距離、及び後輪24R、24L間のトレッド幅等の車両100の特徴点パターン(車両100の種別)を抽出することができる。
インフラカメラ106cによる撮影画像110cでは、車両100の前部を確認(追跡)することができ、この撮影画像110cから駐車支援制御装置120により前輪30R、30L間のトレッド幅、前面のエムブレムと前輪30までの距離、フロントランプの形状、及びエムブレムとナンバープレートとの間の距離等の車両100の特徴点パターン(車両100の種別)を抽出することができる。
インフラカメラ106dによる撮影画像110dでは、車両100の左前部と左側面を確認することができ、この撮影画像110dから駐車支援制御装置120によりタイヤホイールの形状、ホイールベース長、及び前面のエムブレムから前輪30Lのタイヤホイールまでの距離等の車両100の特徴点パターン(車両100の種別)を抽出することができる。
さらに、例えば、図6に示すように、駐車施設12の路面104内に、ボールや人等の予め記憶している車両100の外観形状と明らかに異なる、車両100に対する移動障害物112(本例では移動するボール)、移動障害物114(本例では、人)が入ってきた場合、インフラカメラ106の撮影画像108に基づき、上述した差分法等によりこれら移動障害物112、114を駐車支援制御装置120により検出(認識)することができる。
図1に示すように、路面104上には、駐車施設12の入庫位置(入庫区画又は入庫位置空間ともいう。)102(102A、102B)を示す四角形(一辺が開口の四角形)の白線の区画の他、駐車位置121〜125を示す四角形の白線の区画、及びT字状の白線のガイドライン128が引かれており、これら区画やライン情報の位置情報(座標情報又は地図情報ともいう。)は、予め駐車支援制御装置120の記憶部118に記憶されている。
さらに、駐車支援制御装置120の記憶部118には、入庫位置102A、102Bに車両100が入庫したとき、入庫した車両100の種別{車両100の大きさ(全長と、全幅と、全高)(車両寸法)と、ホイールベース長と、トレッド幅(正確には、操舵輪、通常、前輪30のトレッド幅)}に応じた各移動経路が予め生成され、記憶部118に記憶される。また、最小回転半径は、ホイールベース長とトレッド幅に基づき予め設定(記憶)し、又は計算(予測)できるようにしている。なお、記憶部118は、駐車支援制御装置120の記憶部118ではなく、通信回線で駐車支援制御装置120に接続される外部サーバ(外部配信部)の記憶部とし、この記憶部に記憶しておいて読み出すようにしてもよい。
駐車支援制御装置120は、インフラカメラ106の撮影画像108、110により取得される、入口116及び入庫位置102に位置する車両100、及び路面104内のいずれの位置に存在する車両100の外接直方体の大きさ(全長と、全幅と、全高)あるいは外接直方体の一面、ホイールベース長、及びトレッド幅を前記車両の種別と比較する(いわゆるパターンマッチングする)ことにより当該車両100を検出(追跡)することができる。
駐車施設12の駐車支援制御装置120と車両100の自動運転ECU56とは、DSRC方式(狭域無線通信方式)等の双方向無線通信により情報の伝送を行うようになっている。
この実施形態に係る走行支援制御装置10は、基本的には以上のように構成され、機能、動作するものであり、次に、より詳しい動作について図7に示すフローチャートに基づいて詳しく説明する。
ステップS1にて、駐車支援制御装置120による初期処理が実行される。
この初期処理では、車両100が入庫位置102に入ったことがインフラカメラ106の撮影画像108から駐車支援制御装置120の位置把握部154により検出されると、走行支援部152により車両100の種別が認識される。
車両100の種別の認識は、インフラカメラ106から車両100を撮影した撮影画像108を受信したとき、駐車支援制御装置120の走行支援部152が、車両100の種別を問い合わせるリクエスト信号を車両100の自動運転ユニット57に送信する。自動運転ユニット57は、前記リクエスト信号を受信したとき、車両識別情報記憶部64に記憶されている車両100の種別{車両100の外接直方体に対応する車両100の3次元モデルDmと3次元モデルDm中でのモデル基準位置座標Cmの他、大きさ(全長と、全幅と、全高)の寸法と、ホイールベース長と、トレッド幅}を駐車支援制御装置120に送信し、駐車支援制御装置120の走行支援部152は、受信した車両100の種別を認識し記憶部118に記憶する。
車両100が、例えば、図1に示すように、入庫位置102Bに入ったこと、入っていることが検出されると、ステップS1の初期処理が終了するので、次に、ステップS2にて、インフラカメラ106からの撮影画像108に基づき、又は、自動運転ユニット57からのシフト位置センサ34による情報に基づき、駐車支援制御装置120の走行支援部152により、車両100の向き(後進向きか前進向きか)が検出される。
次いで、ステップS3にて、駐車支援制御装置120に設置されている自動駐車開始ボタン(不図示)が車両100から降車した運転者等により押された等の操作結果により発生する駐車支援開始信号を受信したか否かが駐車支援制御装置120により判定される。
駐車支援開始信号を受信したとき(ステップS3:YES)、ステップS4にて、駐車支援制御装置120の走行支援部152は、ステップS1にて選択した空き駐車位置(ここでは、駐車位置124とする。)までの移動経路を、入庫位置102Bに入庫している車両100の種別に基づき、生成乃至選択する。
ここでは、例えば、図8に示すように、入庫位置102Bから駐車位置124までの移動経路130が走行支援部152により生成される。移動経路130は、基本的には、車両100のステアリングの舵角(直進では0[deg])と、この舵角を維持した車両100の走行距離との組み合わせの積算値として計算される。
なお、移動経路130は、駐車施設12の路面104上、例えば、路面104の図1、図8上、左上隅が、インフラカメラ106、図示しない光源(太陽や灯火)、及び車両100等の対象物が配置されるワールド座標の原点とされてX−Z平面上で規定される。ワールド座標の原点からみて右方向をX軸、下方向(奥行き方向)をZ軸、垂直上方向をY軸としている。
なお、制御対象であり対象物の車両100の3次元モデルDmは、個々にローカル座標系を形成するが、ローカル座標系の座標原点は、上述したモデル基準位置座標Cmであり、図8に示すように、車両100の後ろ方向をz軸、後輪車軸25に平行する方向をx軸、垂直上方向をy軸としている。この場合、図8では、車両100の実基準位置座標Cm´にモデル基準位置座標Cmを一致させた状態を示している。
次いで、ステップS5にて、駐車支援制御装置120の走行支援部152から車両100の自動運転ECU56に対して自動走行開始指示及び移動経路130の情報(前記積算値)が送信される。
車両100側の自動運転ECU56は、ステップS31にて、自動走行開始指示待ちの状態とされており、自動走行開始指示を受信したとき(ステップS31:YES)、ステップS32にて自動走行制御及び車両位置・方向検出処理を順次(所定走行距離毎あるいは所定時間毎)行う。
すなわち、ステップS32にて、車両位置は、操舵角センサ28と車輪速センサ26とヨーレートセンサ22の各出力に基づく慣性航法による走行の結果又はGPSセンサ32の順次受信位置により検出乃至算出する。慣性航法による走行軌跡の算出は、統括ECU52により実行され、算出結果が自動運転ECU56を介して駐車支援制御装置120の位置把握部154に順次送信される。車両方向は、シフト位置センサ34によるシフト位置(前進位置、後進位置)により統括ECU52により検出される。
次いで、ステップS33にて、検出結果に基づく車両100の方向(前進位置に対応する前向き走行方向か、後進位置に対応する後ろ向き走行方向)と、車両位置が順次自動運転ECU56を介して駐車支援制御装置120に送信される。
送信後、ステップS34にて、自動運転ECU56は、駐車支援制御装置120から自動走行終了指示を受信したか否かを判定し、受信していない場合には(ステップS34:NO)、ステップS32に戻り、ステップS32の処理を続行する。
一方、車両位置・方向の情報の受信により、車両100の自動走行(自動駐車のための走行)を検出した駐車支援制御装置120の位置把握部154は、ステップS6の車両認識・追跡処理を行う。
図9は、ステップS6の車両認識・追跡処理の詳細フローチャートである。
ステップS6aにて、駐車支援制御装置120は、自動運転ECU56からの車両位置・方向の情報を受信(取得)すると、次のステップS6bにて、インフラカメラ106からの撮影画像(上述した図5に示した撮影画像110a、110b、110c、110d等)に基づき、車両100の相対的な姿勢(各インフラカメラ106から見た車両100の見え方)を確定する。
次いで、ステップS6cにて、ステップS6bで確定した姿勢から車両100の側面が見える撮影画像110があるか否かを判定し、側面が見える撮影画像110がある場合には(ステップS6c:YES)、ステップS6dにて、基本的には存在する筈である側面が見える撮影画像110から上述した側面に係る車両100の種別を判別する特徴点パターン(タイヤホイールの形状、ホイールベース長等)を抽出し、ステップS6eにて、抽出した特徴点パターン(車両100の種別)が前回抽出した特徴点パターン(車両100の種別)と一致するか否かをパターンマッチングにより判定し、一致しないときには(ステップS6e:NO)、ステップS6fにて自動運転を中断させる。なお、ステップS6fにて、自動運転を中断させたときには、駐車支援制御装置120は、メンテナンス要員等にその旨を連絡する。この場合、メンテナンス要員によるいわゆるオフライン処理にて、故障原因を調査し、復旧させる。なお、実際上、ステップS6cの判定は、車両100が駐車施設12の路面104上のどの場所に位置していても4つのインフラカメラ106のいずれかの撮影画像108、110によって検出される筈であるので、通常、このステップS6cの判定は肯定的になる(成立する)。
ステップS6eにて、今回抽出した特徴点パターン(車両100の種別)が前回抽出した特徴点パターン(車両100の種別)と一致しているときには、ステップS6gにて、駐車支援制御装置120の位置把握部154は、自己の駐車施設12の地図を参照し、パターンマッチングに供した今回の撮影画像108、110に基づき、車両100の路面104上の現在位置(現在位置座標)を検出する(現在位置検出処理)。
このステップS6gでは、位置把握部154による現在位置検出処理と同時に、対象車両領域除外部156、影部領域除外部158、及びカレンダタイマ160により後述する制御対象車両領域除外処理及び影部領域除外処理を実行する。
次いで、図7のフローチャートに戻り、そのステップS7にて、現在位置が目標の駐車位置124であるか否かを判定し、駐車位置124ではない場合には(ステップS7:NO)、ステップS8にて、ステップS6gにて検出した現在位置を自動運転ECU56に送信する。なお、このとき、現在位置ではなく、あるいは現在位置と一緒に、指示した移動経路130に対する現在位置の位置ずれ量(偏差)を送信するようにしてもよい。
一方、図9のステップS6cにて、側面が見えなかったときには(ステップS6c:NO)、ステップS6hにて、車両100の前面が見える撮影画像108、110があるか否かを判定し、前面が見える撮影画像108、110がある場合には(ステップS6h:YES)、ステップS6iにて、ステップS6dの処理と同様に、撮影画像108、110から前面に係る特徴点パターン(エムブレムと前輪30までの距離等)(車両100の種別)を抽出し、ステップS6eにて、抽出した特徴点パターン(車両100の種別)が前回抽出した特徴点パターン(車両100の種別)と一致するか否かをパターンマッチングにより判定し、以降、ステップS8(図7)での位置送信処理を行う。
ステップS6hにて、前面が見えなかったときには(ステップS6h:NO)、後面が見える筈であるので、ステップS6jにて、ステップS6dの処理と同様に、インフラカメラ106の撮影画像110から後面に係る特徴点パターン(リフレクタ間の距離とリフレクタ形状等)(車両100の種別)を抽出し、ステップS6eにて、抽出した特徴点パターン(車両100の種別)が前回抽出した特徴点パターン(車両100の種別)と一致するか否かをパターンマッチングにより判定し、以降、ステップS8での位置送信処理を行う。
次いで、駐車支援制御装置120の位置把握部154から自動運転ECU56を介して現在の車両位置又は移動経路130からのずれ量(偏差)を受領した統括ECU52は、再び、ステップS32にて、上述した自動走行制御及び車両位置・方向検出処理を順次(所定走行距離毎あるいは所定時間毎)行う。
ただし、ステップS32の2回目以降の処理において、移動経路130と現在位置との間の位置ずれ量(偏差)を補正する距離補正処理及び舵角補正処理を行う。
以下、ステップS33にて車両位置・方向の送信処理を行い、ステップS6で車両認識・追跡処理を行う。
このようにして、ステップS7の判定が肯定的になった(ステップS7:YES)場合、すなわち、図10に示すように、移動経路130を辿った(移動経路130に沿った)走行軌跡上で車両100の現在位置が駐車位置124になった(位置した)場合、図7に示すように、ステップS9にて、駐車支援制御装置120は、自動走行終了指示を送信する。
ステップS34にて自動走行終了指示を受信した自動運転ECU56は、ステップS35にて統括ECU52を通じて自動走行を終了させ、駐車支援制御装置120に自動走行を終了した旨を送信してイグニッションスイッチ等のメインスイッチをオフ状態にする。
なお、この実施形態に係る駐車支援システム14では、駐車施設12の路面104上の全ての移動体を検出することが可能であるので、図10に示すように、入庫位置102A、102Bから略同時に2台の車両100b(入庫位置102Aに入庫された他車両を100bとする。)、100を移動経路130b、130等に沿って駐車位置125、124に自動走行(2台同時協調自動走行)させて駐車させることができる。
このように2台の車両100、100bを移動経路130、130bに沿って駐車位置124、125に駐車支援制御装置120を通じて自動走行させて駐車させる場合等においては、自車両100以外の他車両100bを障害物として検知し、同一時刻近傍に同一位置で2台の車両100、100b同士が一部でも重なる(衝突する)可能性がある場合には、重なる可能性がない状態になるまで一方の車両(車両100又は車両100b)を停止させて他方の車両(車両100b又は車両100)のみを移動させ、重なる可能性がなくなった状態にて、停止させた一方の車両100又は車両100bを再走行させる衝突回避処理を行うことで、車両100、100bの干渉乃至衝突を回避することができる。
つまり、車両100、100bの自動運転走行中には、最小限、車両100、100bの移動経路130、130bの近傍を連続的に(常時)監視し、車両100、100b同士、及び車両100、100bと他の障害物との干渉乃至衝突を回避させる必要がある。
ところが、インフラカメラ106を利用して自動走行させている場合には、自動走行させている車両100、100b自体を障害物(移動障害物)と誤認識してしまう可能性があることが分かった。実際上、自動走行させている車両が車両100の1台だけであっても、インフラカメラ106を利用して自動走行させているときに、その1台の車両100を移動障害物と誤認識してしまう可能性もあることが分かった。
そこで、この実施形態では、自動走行させている車両100、100b自体を障害物(移動障害物)と誤認識してしまう可能性を回避するために、ステップS6gでの位置把握部154による現在位置検出処理(現在位置把握処理)と同時に、対象車両領域除外部156による制御対象車両領域除外処理を実施し、さらに、必要に応じて影部領域除外部158による影部領域除外処理を実施している。
まず、図11に示すフローチャートを参照して、対象車両領域除外部156による制御対象車両領域除外処理を説明する。
例えば、図12に示すように、自動運転走行による駐車動作中の制御対象車両100自体がインフラカメラ106による画像(映像)上に映り込んでいる場合には、画像情報である撮影画像(画面)202{画面は、図示しない画像メモリ(フレームバッファ)を利用して生成}内で移動しているために、障害物として誤認識(誤検出)してしまう。
この誤認識を解消するために、まず、対象車両領域除外部156は、ステップS6g1にて、位置把握部154により把握している車両100の原点対応位置である実車両基準位置座標Cm´と走行支援部152により把握している車両100の向き(車両100の進んでいる方向ベクトル)を参照する。
次に、対象車両領域除外部156は、ステップS6g2にて、記憶部118から外形形状を示す3次元モデルのデータを読み出し、図13Aに示すように、車両100の向きを参照して、インフラカメラ106から見た3次元モデルDmの透視変換を行い、透視図を生成する。
次いで、対象車両領域除外部156は、ステップS6g3の車両画像と3次元モデルの重畳処理にて、図13Aに示す透視図上の3次元モデルDmを拡大縮小処理して撮影画像202中の車両100と同じ大きさにすると共に、図12に示す撮影画像202上の制御対象車両100に互いの向きを合わせ、且つ制御対象車両100の後輪車軸25(図2参照)の中点位置座標である実車両基準位置座標Cm´と3次元モデルDmのモデル基準位置座標Cmとを一致させて重畳する。
図13Bは、透視変換後の3次元モデルDmを制御対象車両100に重畳した状態を示している(実際には、画像メモリであるフレームバッファ上で重畳する)。このように、駐車場座標系、この場合、インフラカメラ106の座標と視点の向きを含むワールド座標系XYZ上での車両100の実車両基準位置座標Cm´(原点対応位置)と向き、対象物座標系xyzでの車両100のモデル基準位置座標Cm(原点対応位置)と向き、及びインフラカメラ106のレンズ特性から車両100の既知の3次元モデルDmをインフラカメラ106の映像(画像)に重ねて表示することができる。なお、図13Bの撮影画像202の処理画像は、実際には、自動運転走行には使用されない中間画像である。
次いで、対象車両領域除外部156は、ステップS6g4にて、図13Cに示すように、重ねて表示した3次元モデルDmの外形内(境界面内)の障害物を、ハッチングで表示した非検出領域(非検出マスク領域)300に設定する。
最後に、走行支援部152は、ステップS6g5にて、図13Cの撮影画像202の処理画像を参照し、非検出領域300以外の残りの領域(駐車施設12の路面104上の領域)での移動体を障害物(移動障害物)として認識し、車両100の自動運転走行の支援を行う。
なお、図12、図13B、図13Cでは、予め記憶部118に記憶されていない円錐型の標識であるコーン302も映出されているが、仮に、2次元画面上でマスクすることを考えると、コーン302が撮影画像202上、車両100の手前で重なっている場合、コーン302も一緒にマスクされてしまう。もちろん、車両100の手前に人等の障害物が重なっている場合にも、一緒にマスクされてしまう。障害物をマスクしてしまうと、障害物との衝突回避処理を行うことができなくなる。
これに対して、この実施形態では、上述したように、3次元モデルDmの透視変換後の透視図を撮影画像202上の車両100に重畳するように処理(図13B参照)しているので、車両100の手前にコーン302や図示しない人等が映出されていても、図13Cに示すように、コーン302や前記人等を障害物として検出することができる。
次に、図14に示すフローチャートを参照して、影部領域推定部としての機能も有する影部領域除外部158を利用した対象車両領域除外部156による制御対象車両領域除外処理を前提とした影部領域除外処理を説明する。
なお、図14に示すフローチャート中、ステップS6g1〜ステップS6g4の処理及びステップS6g5の処理内容は、図11のフローチャートを参照して説明した同一ステップの処理内容と同様であるので、その詳細な説明を省略する。
例えば、図15に示すように、自動運転走行による駐車動作中の制御対象車両100自体がインフラカメラ106による画像情報である撮影画像204(映像)上に映り込んでいてさらに車両100の手前に図示しない光源(太陽や灯火)による車両100の影206が映り込んでいる場合を考える。
この場合、上述したステップS6g1〜ステップS6g4までの車両100の3次元モデルDmの重畳による非検出領域300(図13C参照)の設定処理を行っても、図16Aに示すように、影206の部分が残り、影206の部分を障害物(移動障害物)として誤認識(誤検出)してしまう可能性が残る。
そこで、影部領域除外部158は、ステップS6g11にて、図16Bに示すように、3次元モデルDmの各頂点を通る光源方向からの光のベクトル(不図示)が路面(平面)104に交差する点でサーフェイスモデル等の3次元の影モデルSmを生成する。
図17の模式図を参照して影モデルSmの生成処理につき太陽304(平行光光源)を例として説明すると、光源からの光の照射方向は、カレンダタイマ160による年月日日時と現在位置(駐車施設12)の既知の緯度経度で太陽304からの平行光の照射方向をカレンダタイマ160から得る。なお、灯火(点光源)の場合には、駐車施設12のインフラ情報から図示しない灯火からの照射方向を得る。
次いで、図17に示すように、模式的に直方体で描いた3次元モデルDmの各頂点を通る光源方向からの光のベクトルが路面(平面)104に交差する点で影モデルSmを生成することができる。
そこで、影部領域除外部158での影モデルSmの作成後に、対象車両領域除外部156は、ステップS6g12にて、図16Cに示すように、3次元モデルDmと影モデルSmを合わせた外形内(境界面内)の障害物を、ハッチングで表示した非検出領域(非検出マスク領域)306に改めて設定する。
走行支援部152は、ステップS6g12処理後のステップS6g5にて、非検出領域306以外の残りの領域(駐車施設12の路面104上の領域)での移動体を障害物(移動障害物)として認識して、車両100の自動運転走行の支援を行う。
なお、影モデルSmを非検出領域306に適用するか否かの判断は、車両100の以外のインフラカメラ106aに設けられた外光を検出する日射センサ(外光センサ)151の出力により行うこともできる。日射センサ151により影がでていないと判断される閾値光量以下の受光光量であって、曇天等であることが検出されれば、影モデルSmの適用が不要になるので、例えば、太陽304が低い場合に影が長く大きくなった場合であっても非検出領域300を、影モデルSmを考慮した非検出領域306に大きくする必要がなくなり、車両100周辺の障害物の検出精度を向上させることができる。
また、影モデルSmを非検出領域306に適用するか否かの判断は、車両100に設けた外光を検出する不図示の日射センサ(外光センサ)の出力により行うこともできる。
[実施形態のまとめ及び変形例]
以上説明したように、この実施形態に係る走行支援制御装置10は、自動運転走行が可能な制御対象車両100以外に配置されたインフラカメラ106が、制御対象車両100を含む所定領域としての駐車施設12を撮像して画像情報、例えば撮影画像202、204を取得する。走行支援部152は、インフラカメラ106により取得された前記画像情報に基づき駐車施設12内での制御対象車両100の前記自動運転走行を支援する。位置把握部154は、インフラカメラ106により取得された前記画像情報に基づき、制御対象車両100の位置を把握する。制御対象車両領域除外部としての対象車両領域除外部156は、位置把握部154により把握された制御対象車両100の前記位置に基づき、インフラカメラ106により取得された前記画像情報から少なくとも制御対象車両100の領域を除外する。
そして、前記の走行支援部152は、対象車両領域除外部156により前記画像情報から制御対象車両100の領域を非検出領域300として除外した駐車施設12内での障害物(車両100a、100b、コーン302等)を認識しながら制御対象車両100の前記自動運転走行の支援を行う。インフラカメラ106は、所定領域(駐車施設12)中、制御対象車両100の走行可能領域全体を撮影できればよいので、1台のインフラカメラ106を利用して処理を行うことが可能である。
この構成によれば、制御対象車両100以外に配置された少なくとも1つのインフラカメラ106により取得された画像情報に基づき制御対象車両100の自動運転走行を支援する所定領域(駐車施設12)内で、制御対象車両100を除外するようにしたので、制御対象車両100を障害物(車両100a、100b、コーン302等)に誤認識する可能性が防止される。
この場合、位置把握部154は、インフラカメラ106により取得された前記画像情報に基づき、制御対象車両100の前記位置を把握する際、制御対象車両100から該制御対象車両100の車両識別情報を取得し、取得した前記車両識別情報を参照して、前記画像情報から制御対象車両100の前記位置を把握することができる。
このように、位置把握部154は、制御対象車両100から該制御対象車両100の前記車両識別情報を取得し、取得した前記車両識別情報を参照して、前記画像情報から前記制御対象車両100の前記位置を把握するようにしたので、前記画像情報から前記制御対象車両100を正しく認識することができる。
位置把握部154は、インフラカメラ106により取得された前記画像情報に基づき、制御対象車両100の前記位置を把握する際、制御対象車両100から該制御対象車両100の自己位置情報(車両100の自己位置は、操舵角センサ28と車輪速センサ26とヨーレートセンサ22の各出力に基づく慣性航法による走行の結果又はGPSセンサ32の順次受信位置により検出乃至算出することができる。)を受信し、受信した前記自己位置情報を参照して、前記画像情報から前記制御対象車両100の前記位置を把握するようにしてもよい。この場合にも、前記画像情報から前記制御対象車両100を正しく認識することができる。
なお、対象車両領域除外部156は、インフラカメラ106により取得された前記画像情報から少なくとも制御対象車両100の領域を除外する際、制御対象車両100から該制御対象車両100の車両識別情報を取得し、取得した前記車両識別情報を参照して除外するようにしてもよい。この場合、前記画像情報から非検出領域300である制御対象車両領域を正確に除外することができる。
さらに、光源(太陽304又は灯火)からの光の照射によって制御対象車両100によりできる影部領域としての影206を推定し、推定した前記影部領域としての影206をインフラカメラ106により取得された前記画像情報から除外する影部領域除外部158を備えることが好ましい。影部領域除外部158は、光の照射によって制御対象車両100によりできる前記影部領域である影206を推定し、推定した前記影部領域としての影206をインフラカメラ106により取得された前記画像情報から除外するようにしたので、制御対象車両100及び影部領域としての影206を障害物と誤認識する可能性が防止される。
走行支援部152は、対象車両領域除外部156及び影部領域除外部158により前記画像情報から制御対象車両100の領域と影206の領域とを非検出領域306として除外した駐車施設12内での障害物を認識しながら制御対象車両100の前記自動運転走行の支援を行う。
この場合、影部領域除外部158は、前記光の照射によって制御対象車両100によりできる前記影部領域としての影206を推定する際、制御対象車両100から該制御対象車両100の前記車両識別情報を取得し、取得した前記車両識別情報により前記制御対象車両100の車両形状を認識し、認識した前記車両形状に応じて前記影部領域としての影206を推定するように構成することで、前記影部領域としての影206を正確に除外することができる。
なお、影部領域除外部158は、前記光の照射によって制御対象車両100によりできる前記影部領域としての影206を推定する際、カレンダタイマ160による時刻に応じて制御対象車両100の前記影部領域としての影206を推定するようにしてもよい。このように構成すれば、日射時間・日射方向が既知の光源である太陽光等を原因として制御対象車両100によりできる前記影部領域としての影206を正確に推定することができる。
また、影部領域除外部158は、所定領域(駐車施設12)を照明する灯火に応じて制御対象車両100の前記影部領域としての影206を推定するようにしてもよい。このように構成すれば、灯火時間及び光の照射方向が既知の前記灯火よって制御対象車両100によりできる前記影部領域としての影206を正確に推定することができる。
さらに、影部領域除外部158は、インフラカメラ106と前記光源と制御対象車両100との位置関係に基づき、前記光源からの前記光の照射によってできる前記影部領域としての影206の発生の有無を検証するようにしてもよい。この構成によれば、前記影部領域としての影206の発生の有無を確実に認識することができる。
なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。