JP6439287B2 - 運転支援装置、運転支援方法、画像補正装置、画像補正方法 - Google Patents

Description

本発明は、車載カメラで撮影された画像に基づいて運転を支援する技術に関する。

車載カメラで車両周辺を撮像し、その画像に基づいて運転支援を実行する技術が知られている。例えば、道路上に描かれたレーンマークを車載カメラで撮影することによって車両の車線逸脱を監視し、該車線逸脱が検出された場合はその旨を運転者に報知する技術や、複数の車載カメラを互いに異なる方向に向けて設置し、複数の車載カメラが撮影したそれぞれの画像を車両上方から見た複数の鳥瞰画像に変換すると共に互いに繋ぎ合わせて表示することで、車両の周辺を上方から見た画像を表示する技術（例えば、特許文献１）等が存在する。

このような技術においては、車載カメラによってレーンマークや他車両等の対象物が撮影されると、その撮影画像内における対象物の位置（画像内位置）に基づいて、運転支援を実行する。従って、当然ながら、車両からの相対位置のうち予め定められた相対位置を撮影した画像が必要となる。そこで、車載カメラの取り付け位置や取り付け角度（姿勢）は、予め定められた相対位置が撮影されるように、前もって調節されている。

特開２０１２−１７５３１４号公報

しかし、上述した従来技術では、車載カメラの姿勢を前もって調節しても、予め定められた相対位置が撮影されず、運転支援を適切に行うことができないという問題があった。すなわち、車載カメラの姿勢の調節を行った後であっても、乗員が搭乗したり荷物を積載したりすることで車両にかかる荷重が変化すると、車両の姿勢が変化し、これに伴って、車載カメラの姿勢も変化してしまう。このような場合は、予め定められた相対位置が撮影されなくなってしまうので、運転支援を適切に行うことができないという問題があった。

この発明は、従来の技術が有する上述した課題に鑑みてなされたものであり、車載カメラの画像に基づく運転支援を適切に実行することができる技術の提供を目的とする。

上述した課題を解決するために、本発明の運転支援装置は、車両のドアおよびトランクの全てが閉鎖され、且つ車両が走行を開始すると、車両の複数箇所に取り付けられたハイトセンサーの検出結果に基づいて車両の姿勢を検出し、この車両の姿勢に基づいて、車載カメラが撮影した画像を補正する。そして、この補正された画像に基づいて運転支援を実行する。

車両にかかる荷重が変化すると、車両が置かれた路面に対しての車両の姿勢が変化し、該車両の姿勢変化に伴って、車載カメラの姿勢が変化する。この点、本発明は、ハイトセンサーの検出結果に基づいて車両の姿勢を検出するので、車両にかかる荷重に応じて変化する車両の姿勢（ひいては車載カメラの姿勢）を検出することができる。そして、この車両の姿勢に基づいて車載カメラで撮影された画像を補正して、この補正された画像に基づいて運転支援を実行する。従って、車載カメラの画像に基づく運転支援を適切に実行することが可能となる。

運転支援装置１０の構成を示す説明図である。 制御装置１３によって実行される合成画像表示処理を示すフローチャートである。 不具合の生じていない合成画像を例示する説明図である。 不具合の生じた合成画像を例示する説明図である。 制御装置１３によって実行されるカメラ姿勢検出処理を示すフローチャートである。 車載カメラ１１ａ〜１１ｄの姿勢の内容を概念的に示す説明図である。 車載カメラ１１ａ〜１１ｄのロールの変化量、ピッチの変化量を検出する方法を概念的に示す説明図である。 車載カメラ１１ａ〜１１ｄのロールの変化量、ピッチの変化量を検出する方法を概念的に示す説明図である。 車両１が剛体でない場合における車載カメラ１１ａ〜１１ｄのロールの変化量、ピッチの変化量を検出する方法を概念的に示す説明図である。 車載カメラ１１ａ〜１１ｄの上下位置の変化量を検出する方法を概念的に示す説明図である。 変形例における制御装置１３によって実行されるカメラ姿勢検出処理を示すフローチャートである。 加えて実行されるカメラ姿勢検出処理を示すフローチャートである。

以下では、上述した本願発明の内容を明確にするために運転支援装置の実施例について説明する。
Ａ．装置構成 ：
図１には、車両１に設けられた運転支援装置１０の構成が示されている。なかでも、図１（ａ）には、運転支援装置１０が有する車載カメラ１１ａ〜１１ｄおよびハイトセンサー１２ａ〜１２ｄの配設位置が概念的に示されている。図１（ａ）に示すように、本実施例の運転支援装置１０では、車両１の前後左右に車載カメラ１１ａ〜１１ｄが設けられている。これらの車載カメラ１１ａ〜１１ｄは、それぞれ車両１の前方、後方、左方、右方のやや路面側（車両からの相対位置のうち、互いに異なる相対位置）を撮影するように取り付け位置および取り付け角度が調節されている。また、車両１の前部の左右および後部の左右には、ハイトセンサー１２ａ〜１２ｄが設けられている。これらのハイトセンサー１２ａ〜１２ｄは、それぞれ自己が取り付けられた位置における車両１の車高を検出することが可能である。尚、ハイトセンサー１２ａ〜１２ｄとしては、車体に対するサスペンションアームの上下変位量を用いる間接式ハイトセンサーや、路面との距離を超音波やレーザーで直接計測する直接式ハイトセンサー等を利用することができる。

また、図１（ｂ）には、本実施例の運転支援装置１０において、上述した車載カメラ１１ａ〜１１ｄおよびハイトセンサー１２ａ〜１２ｄと連携する制御装置１３が概念的に示されている。制御装置１３は、ＣＰＵやメモリ、各種コントローラー等が搭載された基板を有しており、運転席前方のインストルメントパネルの奥側に設置されている。
制御装置１３内部をそれぞれの機能を有する機能ブロックに分類すると、制御装置１３は、車両１のドアやトランクの開放および閉鎖を検出する開閉検出部１４、ハイトセンサー１２ａ〜１２ｄが検出する車高に基づいて車載カメラ１１ａ〜１１ｄの姿勢が所定量以上変化したことを検出する変化有無検出部１５、ハイトセンサー１２ａ〜１２ｄが検出する車高に基づいて車載カメラ１１ａ〜１１ｄの姿勢を検出するカメラ姿勢検出部１６、車載カメラ１１ａ〜１１ｄが撮影した車両周辺の画像それぞれを車両１上方から見た画像に視点変換（座標変換）する画像視点変換部１７、それぞれ視点変換された画像を合成して表示部３０に表示する画像合成部１８、車両１の車速を判断する車速判断部１９、種々のデータやプログラム等が記憶される記憶部２０等から構成される。

尚、表示部としては、運転席前方のインストルメントパネルに設けられた液晶表示器等が採用される。また、カメラ姿勢検出部１６が本発明における「姿勢検出手段」に対応し、画像視点変換部１７および記憶部２０が本発明における「取得手段」に対応し、画像視点変換部１７が本発明における「補正手段」に対応し、画像合成部１８および表示部３０が本発明における「運転支援実行手段」に対応している。また、制御装置１３が本発明における「画像補正装置」に対応している。

次に、上述したような運転支援装置１０において行われる処理について説明する。以下では、先ず、車両１の周辺状況を上方から見た画像（合成画像）を表示部３０に表示する「合成画像表示処理」について説明する。

Ｂ．運転支援装置１０において行われる処理 ：
Ｂ−１．合成画像表示処理 ：
図２には、本実施例の運転支援装置１０において行われる合成画像表示処理のフローチャートが示されている。尚、本実施例の運転支援装置１０において行われる処理は、実際には、制御装置１３内部のＣＰＵがＲＯＭに記憶されたプログラムを実行することによって行われるが、以下では、制御装置１３または上述した機能ブロック１４〜２０を実行主体として説明する。また、合成画像表示処理は、ＡＣＣ電源が投入された後、タイマ割り込み処理として（例えば６０分の１秒毎に）繰り返し行われる。

図２に示す合成画像表示処理を開始すると、制御装置１３の車速判断部１９は、車両１が低速走行中であるか否かを判断する（Ｓ１００）。例えば、車速センサー（図示省略）から送信される車速パルスに基づいて、車速が１０Ｋｍ／ｈ以下であるか否かを判断する。Ｓ１００の判断処理の結果、車両１が低速走行中でないと判断された場合は（Ｓ１００：ｎｏ）、そのまま図２に示す合成画像表示処理を終了する。ここで、図２に示す合成画像表示処理は、車両１の周辺のうち車両１に近接した領域の状況を表示する処理である。従って、車両１が低速走行中でない場合は、車両１に近接した領域の状況を表示しても、該状況は瞬時に切り換わってしまい、運転者に有意な情報とならないので、そのまま図２に示す合成画像表示処理を終了する。

これに対して、車両１が低速走行中である場合は（Ｓ１００：ｙｅｓ）、画像視点変換部１７は、車載カメラ１１ａ〜１１ｄそれぞれが撮影した画像（以下、「撮影画像」という）を車載カメラ１１ａ〜１１ｄから読み出して、一旦、記憶部２０に記憶する（Ｓ１０２）。そして、車載カメラ１１ａ〜１１ｄの姿勢に対応させて（車載カメラ１１ａ〜１１ｄの姿勢を考慮して）、記憶部２０に記憶された撮影画像をそれぞれ車両１上方から見た画像（鳥瞰画像）に視点変換（座標変換）する（Ｓ１０４）。
尚、以下で利用する理想的な姿勢とは車載カメラ１１ａ〜１１ｄの取り付け設計値であり、出荷時の姿勢とは車載カメラ１１ａ〜１１ｄの取り付け時（出荷時）の実測値であり、これらは車載カメラ１１ａ〜１１ｄの車両に対する姿勢を示す値である。これに対して、実際の姿勢（テンポラリーな姿勢）とは、車両１にかかる荷重によって変化した後の車載カメラ１１ａ〜１１ｄの姿勢の実測値であり、これは車載カメラ１１ａ〜１１ｄの路面に対する姿勢を示す値である。
車両１の出荷前には車載カメラ１１ａ〜１１ｄの取り付け位置や取り付け角度は調節されているものの、車載カメラ１１ａ〜１１ｄを理想的な姿勢（設計値）で（例えば、理想的なロールやピッチから１°たりともずれないように）取り付けることは困難である。そこで、車両１の出荷前には、車載カメラ１１ａ〜１１ｄそれぞれの出荷時の姿勢が記憶部２０に予め記憶されている。そして、Ｓ１０４の処理では、車載カメラ１１ａ〜１１ｄそれぞれの実際の姿勢に対応する視点変換処理（出荷時の姿勢を考慮した視点変換処理）を行うことで、車両１の四方それぞれにおける（車載カメラ１１ａ〜１１ｄそれぞれに対応する）鳥瞰画像を生成する。こうして、車両１の四方それぞれにおける鳥瞰画像を生成したら（Ｓ１０４）、画像合成部１８は、これらの画像を合成した画像（以下「合成画像」という）を表示部３０に表示する。こうして、合成画像を表示部３０に表示したら、図２に示す合成画像表示処理を終了する。

図３には、Ｓ１０８の処理で表示される合成画像の一例が示されている。図３に示すように、本実施例の合成画像では、表示部３０の中心に「車両１を上方から見た車両画像」が表示され、車両画像の前方に車載カメラ１１ａの鳥瞰画像が表示され、車両画像の後方に車載カメラ１１ｂの鳥瞰画像が表示され、車両画像の左方に車載カメラ１１ｃの鳥瞰画像が表示され、車両画像の右方に車載カメラ１１ｄの鳥瞰画像が表示される。

図３に示す合成画像の例では、車両１後方の左に存在するレーンマークが、車載カメラ１１ｂの鳥瞰画像および車載カメラ１１ｃの鳥瞰画像に跨がって写り込んでいる。とはいえ、この合成画像の例では、車載カメラ１１ｂの鳥瞰画像と車載カメラ１１ｃの鳥瞰画像とのつなぎ目でレーンマークがズレることなく表示されている。これは、上述したように、車両１出荷前に車載カメラ１１ａ〜１１ｄ（ここでは車載カメラ１１ｂ，１１ｃ）の出荷時の姿勢が記憶部２０に記憶され、該実際の姿勢に対応する視点変換処理を行うことで、それぞれの鳥瞰画像を生成したためである。
同様に、車両１後方の右に存在するレーンマークも、車載カメラ１１ｂの鳥瞰画像および車載カメラ１１ｄの鳥瞰画像に跨がって写り込んでいるものの、これらの鳥瞰画像同士のつなぎ目でレーンマークがズレることなく表示されている。もちろん、これも、車両１出荷前に車載カメラ１１ａ〜１１ｄ（ここでは車載カメラ１１ｂ，１１ｄ）の実際の姿勢が記憶部２０に記憶され、該実際の姿勢に対応する視点変換処理を行うことで、それぞれの鳥瞰画像を生成したためである。

以上のように本実施例の運転支援装置１０では、車両１出荷前に車載カメラ１１ａ〜１１ｄの実際の姿勢が記憶部２０に記憶され、該実際の姿勢に対応する視点変換処理を行うことで、車載カメラ１１ａ〜１１ｄによる鳥瞰画像同士で画像のズレが生じないようにしている。もっとも、車両１出荷前の車載カメラ１１ａ〜１１ｄの出荷時の姿勢が記憶されていたとしても、車両１出荷後に車載カメラ１１ａ〜１１ｄの姿勢（実際の姿勢）が変化することがある。すなわち、車両１の出荷後に、車両１に乗員が搭乗したり荷物が積載されたりすると、車両１にかかる荷重が変化することで車両１の姿勢は変化し、それに伴って、車載カメラ１１ａ〜１１ｄの姿勢も変化する。このように車載カメラ１１ａ〜１１ｄの姿勢が変化したにも拘わらず、車両１出荷前に記憶された車載カメラ１１ａ〜１１ｄの出荷時の姿勢に対応する鳥瞰画像を生成すると、車載カメラ１１ａ〜１１ｄの鳥瞰画像同士で画像のズレが生じてしまう虞がある。例えば、図４に示すように、車載カメラ１１ｃの鳥瞰画像に写り込んだレーンマークと、車載カメラ１１ｂの鳥瞰画像に写り込んだレーンマークとが、同一のレーンマークであるにも拘わらず、互いにズレて表示されてしまう虞がある。

そこで、本実施例の運転支援装置１０では、「搭乗する乗員や積載される荷物によって車両１にかかる荷重（以下、単に「積載荷重」という）」が確定したことを検出すると、該荷重によって変化する車両１の姿勢、すなわち、車載カメラ１１ａ〜１１ｄの実際の姿勢を新たに検出する。すなわち、記憶部２０に記憶されている車載カメラ１１ａ〜１１ｄの姿勢を補正する。以下では、「積載荷重」が確定したことに伴って、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出（補正）する「カメラ姿勢検出処理」について説明する。

Ｂ−２．カメラ姿勢検出処理 ：
図５には、本実施例の運転支援装置１０において行われるカメラ姿勢検出処理のフローチャートが示されている。このカメラ姿勢検出処理は、ＡＣＣ電源が投入された後、タイマ割り込み処理として（例えば６０分の１秒毎に）繰り返し行われる。

図５に示すカメラ姿勢検出処理を開始すると、制御装置１３は先ず、荷重確定済フラグがＯＮに設定されているか否かを判断する（Ｓ２００）。荷重確定済フラグは、上述の「搭乗する乗員や積載される荷物によって車両１にかかる荷重（積載荷重）」が既に確定済みであることを示すフラグであって、記憶部２０の所定アドレスにその記憶領域が確保されている。従って、Ｓ２００の判断処理では、当然ながら、「積載荷重」が既に確定済みであるか否かが判断される。

Ｓ２００の判断処理の結果、「積載荷重」が未だ確定済みでないと判断された場合は（Ｓ２００：ｎｏ）、続いて、開閉検出部１４が、車両１のドアやトランクが開放しているか否かの情報（開閉情報）を読み出す（Ｓ２０２）。例えば、カーテシスイッチ等のドアやトランクの開閉を検出するセンサーから送信される「開閉信号」を受信する。そして、この開閉信号に基づいて、ドアやトランクが開放しているか否かの情報（開閉情報）を読み出す。こうして、開閉情報を読み出したら（Ｓ２０２）、該開閉情報に基づいて、車両１のドアおよびトランクの全てが閉鎖されたか否かを判断する（Ｓ２０４）。

Ｓ２０４の判断処理の結果、車両１のドアおよびトランクが未だ全ては閉鎖されていないと（何れかが開放されていると）判断された場合は（Ｓ２０４：ｎｏ）、Ｓ２０２およびＳ２０４の処理を繰り返す。すなわち、車両１のドアおよびトランクの全てが閉鎖されるまで待機する。
そして、車両１のドアおよびトランクの全てが閉鎖された場合は（Ｓ２０４：ｙｅｓ）、荷重確定済フラグをＯＮに設定する（Ｓ２０６）。
ここで、車両１のドアおよびトランクの全てが閉鎖された場合は、車両１の走行を開始するにあたって、全ての乗員が搭乗し、且つ、全ての荷物が積載されたことが推定される。すなわち、「積載荷重」が確定されたことが推定される。そこで、車両１のドアおよびトランクの全てが閉鎖された場合は（Ｓ２０４：ｙｅｓ）、荷重確定済フラグをＯＮに設定する（Ｓ２０６）。また、「積載荷重」が確定されたことに伴って、車両１の姿勢が確定し、車載カメラ１１ａ〜１１ｄの実際の姿勢も確定したことが推定される。そこで、荷重確定済フラグをＯＮに設定した後は（Ｓ２０６）、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出（補正）するための処理（Ｓ２０８〜Ｓ２１２）を行う。

この処理では先ず、車載カメラ１１ａ〜１１ｄの実際の姿勢を前回検出（補正）した時点（「積載荷重」が確定した時点）から、該姿勢が所定量以上変化したか否かを、変化有無検出部１５が判断する。詳しくは、ハイトセンサー１２ａ〜１２ｄが検出する（それぞれの位置における）車高を読み出すとともに、これら車高を記憶部２０に記憶する（Ｓ２０８）。そして、「今回読み出した車高」と「車載カメラ１１ａ〜１１ｄの実際の姿勢を前回検出（補正）した時点の車高」とを、それぞれのハイトセンサー１２ａ〜１２ｄについて比較する（Ｓ２１０）。その結果、ハイトセンサー１２ａ〜１２ｄのうち１以上のハイトセンサーについて、「今回読み出した車高」と「車載カメラ１１ａ〜１１ｄの実際の姿勢を前回検出（補正）した時点の車高」との差分が所定の閾値ΔＳｔｈ以上である場合は（Ｓ２１０：ｙｅｓ）、車載カメラ１１ａ〜１１ｄの実際の姿勢が所定量以上変化したと判断する。つまり、ハイトセンサー１２ａ〜１２ｄが設けられた位置のうち、少なくとも１箇所以上の車高がΔＳｔｈ以上変化した場合は、車両１の姿勢もある程度変化するので、これに伴って、車載カメラ１１ａ〜１１ｄの実際の姿勢も所定量以上変化したと判断する。

尚、ＡＣＣ電源が投入されてから初めてＳ２１０の処理を行う場合において、「車載カメラ１１ａ〜１１ｄの実際の姿勢を前回検出した時点の車高」が記憶されていなければ、出荷前に記憶部２０に記憶された車高を「車載カメラ１１ａ〜１１ｄの実際の姿勢を前回検出した時点の車高」とする。

Ｓ２１０の判断処理の結果、車載カメラ１１ａ〜１１ｄの実際の姿勢が所定量以上変化したと判断された場合は（Ｓ２１０：ｙｅｓ）、カメラ姿勢検出部１６は、ハイトセンサー１２ａ〜１２ｄが検出する車高に基づいて現在の車両の姿勢を検出することによって、現在の車載カメラ１１ａ〜１１ｄの実際の姿勢を検出する（Ｓ２１２）。そして、検出した車載カメラ１１ａ〜１１ｄの実際の姿勢を記憶部２０に記憶する。これによって、図２の視点変換処理（Ｓ１０４）に反映される（考慮される）車載カメラ１１ａ〜１１ｄの実際の姿勢が補正される。尚、この車載カメラ１１ａ〜１１ｄの実際の姿勢を検出する処理（Ｓ２１２）については、後に詳しく説明する。

こうして、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出したら（Ｓ２１２）、図５に示すカメラ姿勢検出処理を終了する。このように車載カメラ１１ａ〜１１ｄの実際の姿勢が検出された後に実行される合成画像表示処理（図２）では、Ｓ２１２の処理で検出された車載カメラ１１ａ〜１１ｄの実際の姿勢に対応する視点変換処理が行われる（図２のＳ１０４）。
尚、Ｓ２１０の判断処理で、車載カメラ１１ａ〜１１ｄの実際の姿勢が所定量以上変化していないと判断された場合は（Ｓ２１０：ｎｏ）、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出する必要は無いことから、Ｓ２１２の処理は行わないまま、図５に示すカメラ姿勢検出処理を終了する。

以上のように、本実施例の運転支援装置１０は、ハイトセンサー１２ａ〜１２ｄの検出結果に基づいて車載カメラ１１ａ〜１１ｄの実際の姿勢を検出するので、車両１にかかる「積載荷重」に応じて変化する車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することができる。そして、この車載カメラ１１ａ〜１１ｄの実際の姿勢に対応する視点変換処理を行うので、合成画像において、鳥瞰画像同士の繋ぎ目における画像のズレを解消することが可能となる。

また、本実施例の運転支援装置１０は、車両１のドアおよびトランクの全てが閉鎖されると、「積載荷重」すなわち車載カメラ１１ａ〜１１ｄの実際の姿勢が確定されたと推定して、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出する。従って、車載カメラ１１ａ〜１１ｄの実際の姿勢が確定したタイミングで車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することができるので、制御装置１３の処理負担を軽減しながらも、車載カメラ１１ａ〜１１ｄの姿勢変化による鳥瞰画像同士の繋ぎ目における画像のズレを適切に解消することが可能となる。

尚、図３および図４を用いて前述した説明では、説明の便宜上、レーンマークが写り込んでいる画像が車載カメラに１１ｂ〜１１ｄに撮影された場合について説明したが、本実施例の運転支援装置１０では、当然ながら、該画像にレーンマーク等の特定の対象物が写り込んでいる必要は無い。

以上は、Ｓ２００の判断処理で、荷重確定済フラグがＯＮに設定されていない場合、すなわち、「積載荷重」が未だ確定済みでない場合（Ｓ２００：ｎｏ）の処理について説明した。これに対して、荷重確定済フラグがＯＮに設定されている場合、すなわち、「積載荷重」が既に確定済みである場合は（Ｓ２００：ｎｏ）、先ず、開閉検出部１４が、車両１のドアやトランクが開放しているか否かの情報（開閉情報）を読み出す（Ｓ２１４）。そして、該開閉情報に基づいて、車両１のドアおよびトランクのうち少なくとも１つが開放されたか否かを判断する（Ｓ２１６）。

その結果、車両１のドアおよびトランクのうち少なくとも１つが開放された場合は（Ｓ２１６：ｙｅｓ）、荷重確定済フラグをＯＦＦに設定する（Ｓ２１８）。
ここで、一旦「積載荷重」が確定した後であっても（確定したと推定された後であっても）、再びドアが開放されて乗員の乗降が行われたり、再びトランクが開放されて荷物の積み卸しが行われたりすると、「積載荷重」が変化する場合がある（ひいては、車両１の姿勢が変化し、車載カメラ１１ａ〜１１ｄの実際の姿勢も変化する場合がある）。そこで、車両１のドアおよびトランクのうち少なくとも１つが開放された場合は（Ｓ２１６：ｙｅｓ）、車両１のドアおよびトランクの全てが再び閉鎖されるまでは、「積載荷重」を未確定とすべく、荷重確定済フラグをＯＦＦに設定する（Ｓ２１８）。

こうして、荷重確定済フラグをＯＦＦに設定したら（Ｓ２１８）、図５に示すカメラ姿勢検出処理を終了する。このように荷重確定済フラグがＯＦＦに設定された状態で、次に図５に示すカメラ姿勢検出処理が行われると、Ｓ２００の処理で「積載荷重」が未だ確定済みでないと判断されて（Ｓ２００：ｎｏ）、上述したＳ２０４〜Ｓ２１２の処理が実行される。すなわち、車両１のドアおよびトランクの全てが再び閉鎖されることで「積載荷重」が確定したら車載カメラ１１ａ〜１１ｄの実際の姿勢が検出される。そして、車載カメラ１１ａ〜１１ｄの実際の姿勢が検出された後に実行される合成画像表示処理（図２）では、検出された車載カメラ１１ａ〜１１ｄの実際の姿勢に対応する視点変換処理が行われる（図２のＳ１０４）。

尚、Ｓ２１６の判断処理で、車両１のドアおよびトランクの全てが閉鎖されたままであると判断された場合は（Ｓ２１６：ｎｏ）、「積載荷重」は変化しないので、荷重確定済フラグをＯＮに設定したまま（Ｓ２１８の処理を省略して）、図５に示すカメラ姿勢検出処理を終了する。

以上のように、本実施例の運転支援装置１０は、一旦は車載カメラの実際の姿勢が検出された後であっても、再度、車両１のドアおよびトランクの何れかが開放されて閉鎖されると、「積載荷重」すなわち車載カメラ１１ａ〜１１ｄの実際の姿勢に変化があったと推定して、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出し直す。従って、車載カメラ１１ａ〜１１ｄの実際の姿勢が変化したタイミングで該姿勢を検出することができるので、制御装置１３の処理負担を軽減しながらも、合成画像において、鳥瞰画像同士の繋ぎ目における画像のズレを解消することが可能となる。

Ｂ−３．車載カメラの実際の姿勢の検出方法 ：
次に、ハイトセンサー１２ａ〜１２ｄが検出する車高に基づいて車載カメラ１１ａ〜１１ｄの実際の姿勢を検出（演算）する方法、すなわち、図５に示すカメラ姿勢検出処理におけるＳ２１２の内容について説明する。

本実施例の運転支援装置１０では、各車載カメラ１１ａ〜１１ｄの実際の姿勢として、出荷前の姿勢からのロールの変化量、ピッチの変化量、上下位置の変化量を検出する。すなわち、図６に示すように、前後に設けられた車載カメラ１１ａ，１１ｂであれば、車両１の左右方向を軸とした回転角度（ピッチ）の変化量（ΔＰａ，ΔＰｂ）、車両１の前後方向を軸とした回転角度（ロール）の変化量（ΔＲａ，ΔＲｂ（図示省略））、上下位置の変化量（ΔＨａ，ΔＨｂ）を検出する。また、左右に設けられた車載カメラ１１ｃ，１１ｄであれば、車両１の前後方向を軸とした回転角度（ピッチ）の変化量（ΔＰｃ，ΔＰｄ）、車両１の左右方向を軸とした回転角度（ロール）の変化量（ΔＲｃ（図示省略），ΔＲｄ）、上下位置の変化量（ΔＨｃ，ΔＨｄ）を検出する。当然ながら、これらの変化量を検出する方法としては、種々の方法を採用可能である。
以下では、先ず、各車載カメラ１１ａ〜１１ｄについて、ロールの変化量およびピッチの変化量を検出する方法について例示する。

Ｂ−３−１．車載カメラのロールの変化量、ピッチの変化量の検出方法 ：
図７および図８には、車載カメラ１１ａ〜１１ｄのロールの変化量、ピッチの変化量を検出する方法が概念的に示されている。尚、図７および図８では、図を見易くするため、車両１を簡略化して（直方形で）示している。

車両１を剛体として捉えると、図７（ａ）に示すハイトセンサー１２ａと１２ｂを通る仮想軸Ａ（またはハイトセンサー１２ｃと１２ｄを通る仮想軸Ｂ）のピッチの変化量と、車載カメラ１１ｃと１１ｄを通る仮想軸Ｃのピッチの変化量は一致する。従って、仮想軸Ａ（または仮想軸Ｂ）のピッチの変化量を算出することで、車載カメラ１１ｃ，１１ｄのピッチの変化量（ΔＰｃ，ΔＰｄ）を算出することができる。
同様に、ハイトセンサー１２ａと１２ｂを通る仮想軸Ａ（またはハイトセンサー１２ｃと１２ｄを通る仮想軸Ｂ）のピッチの変化量と、車載カメラ１１ａを通る仮想軸Ｄのピッチの変化量は一致する。また、仮想軸Ａ（または仮想軸Ｂ）のピッチの変化量と、車載カメラ１１ｂを通る仮想軸Ｅのピッチの変化量は一致する。従って、仮想軸Ａ（または仮想軸Ｂ）のピッチの変化量を算出することで、車載カメラ１１ａ，１１ｂのロールの変化量（ΔＲａ，ΔＲｂ）を算出することもできる。尚、仮想軸Ａ（または仮想軸Ｂ）のピッチの変化量は、車両１自体のロール（車両の姿勢）の変化量でもあることから、以下ではこの変化量をΔＣａｒＲと表す。

図７（ｂ）に示すように、仮想軸Ａ（または仮想軸Ｂ）のピッチの変化量（車両１自体のロールの変化量ΔＣａｒＲ）は、左右のハイトセンサー１２ａ−１２ｂ（１２ｃ−１２ｄ）間の左右方向の距離（Ｙ１）と、ハイトセンサー１２ａが検出する車高の変化量（ΔＳａ）と、ハイトセンサー１２ｂが検出する車高の変化量（ΔＳｂ）とを利用して次の式で求めることができる。
ΔＣａｒＲ＝ａｒｃｔａｎ（Ｙ１／｜ΔＳａ−ΔＳｂ｜） …（１）
このようにして求められた仮想軸Ａ（または仮想軸Ｂ）のピッチの変化量（車両１自体のロールの変化量ΔＣａｒＲ）を、上述したように、車載カメラ１１ｃ，１１ｄのピッチの変化量（ΔＰｃ，ΔＰｄ）および車載カメラ１１ａ，１１ｂのロールの変化量（ΔＲａ，ΔＲｂ）とする。

また、車両１を剛体として捉えると、図８（ａ）に示すハイトセンサー１２ａと１２ｃを通る仮想軸Ｆ（またはハイトセンサー１２ｂと１２ｄを通る仮想軸Ｇ）のピッチの変化量と、車載カメラ１１ａと１１ｂを通る仮想軸Ｈのピッチの変化量は一致する。従って、仮想軸Ｆ（または仮想軸Ｇ）のピッチの変化量を算出することで、車載カメラ１１ａ，１１ｂのピッチの変化量（ΔＰａ，ΔＰｂ）を算出することができる。
同様に、ハイトセンサー１２ａと１２ｃを通る仮想軸Ｆ（またはハイトセンサー１２ｂと１２ｄを通る仮想軸Ｇ）のピッチの変化量と、車載カメラ１１ｃを通る仮想軸Ｉのピッチの変化量は一致する。また、仮想軸Ｆ（または仮想軸Ｇ）のピッチの変化量と、車載カメラ１１ｄを通る仮想軸Ｊのピッチの変化量は一致する。従って、仮想軸Ｆ（または仮想軸Ｇ）のピッチの変化量を算出することで、車載カメラ１１ｃ，１１ｄのロールの変化量（ΔＲｃ，ΔＲｄ）を算出することができる。尚、仮想軸Ｆ（または仮想軸Ｇ）のピッチの変化量は、車両１自体のピッチ（車両の姿勢）の変化量でもあることから、以下ではこの変化量をΔＣａｒＰと表す。

図８（ｂ）に示すように、仮想軸Ｆ（または仮想軸Ｇ）のピッチの変化量（車両１自体のピッチの変化量ΔＣａｒＰ）は、前後のハイトセンサー１２ｂ−１２ｄ（１２ａ−１２ｃ）間の前後方向の距離（Ｙ２）と、ハイトセンサー１２ｂが検出する車高の変化量（ΔＳｂ）と、ハイトセンサー１２ｄが検出する車高の変化量（ΔＳｄ）とを利用して次の式で求めることができる。
ΔＣａｒＰ＝ａｒｃｔａｎ（Ｙ２／｜ΔＳｂ−ΔＳｄ｜） …（２）
このようにして求められた仮想軸Ｆ（または仮想軸Ｇ）のピッチの変化量（車両１自体のピッチの変化量ΔＣａｒＰ）を、上述したように、車載カメラ１１ａ，１１ｂのピッチの変化量（ΔＰａ，ΔＰｂ）および車載カメラ１１ｃ，１１ｄのロールの変化量（ΔＲｃ，ΔＲｄ）とする。

ここで、車両１が剛体でないと捉えると、上述の式（１）（２）の算出結果と車載カメラ１１ａ〜１１ｄのロールやピッチとが一致しない場合がある。すなわち、車両１が荷重によって変形する場合は、ねじれが生じて、仮想軸Ａ（または仮想軸Ｂ）のピッチと仮想軸Ｃ〜Ｅのピッチが一致しない場合がある。このような場合は、当然ながら、仮想軸Ａ（または仮想軸Ｂ）のピッチと、車載カメラ１１ｃ，１１ｄのピッチの変化量（ΔＰｃ，ΔＰｄ）および車載カメラ１１ａ，１１ｂのロールの変化量（ΔＲａ，ΔＲｂ）とは異なることとなる。同様に、車両１が荷重によって変形する場合は、ねじれが生じて、仮想軸Ｆ（または仮想軸Ｇ）のピッチと仮想軸Ｈ〜Ｊのピッチが一致しない場合がある。このような場合も、当然ながら、仮想軸Ｆ（または仮想軸Ｇ）のピッチと、車載カメラ１１ａ，１１ｂのピッチの変化量（ΔＰａ，ΔＰｂ）および車載カメラ１１ｃ，１１ｄのロールの変化量（ΔＲｃ，ΔＲｄ）とは異なることとなる。

そこで、車両１が剛体でないと捉える場合は、図９（ａ）（ｂ）に示すように、各車載カメラを通る各仮想軸Ｃ〜Ｅ，Ｈ〜Ｊ上の特定位置（図中の☆印）における車高の変化量を推定し、各仮想軸Ｃ〜Ｅ，Ｈ〜Ｊのピッチを直接的に算出する。そして、このように直接的に算出された各仮想軸Ｃ〜Ｅ，Ｈ〜Ｊのピッチを、近似的に、車載カメラ１１ａ〜１１ｄのロールやピッチの変化量とする。
すなわち、各ハイトセンサー１２ａ〜１２ｄが検出する車高の変化量と、各ハイトセンサー１２ａ〜１２ｄから各特定位置（図中の☆印）までの（水平方向の）距離に基づいて、各特定位置における車高の変化量を算出する。そして、（１）（２）式におけるＹ１、Ｙ２を「同じ仮想軸上における特定位置同士の（水平方向の）距離」に置き換え、ΔＳａ，ΔＳｂ，ΔＳｄを「それぞれの該特定位置における車高の変化量」に置き換えて、各仮想軸Ｃ〜Ｅ，Ｈ〜Ｊのピッチを算出し、この算出した各仮想軸Ｃ〜Ｅ，Ｈ〜Ｊのピッチを、近似的に、車載カメラ１１ａ〜１１ｄのロールやピッチの変化量とする。

尚、車両１を剛体でないと捉える場合は、上述した方法以外にも、仮想軸Ａ，Ｂのピッチと、仮想軸Ａ，Ｂから仮想軸Ｃ〜Ｅまでの距離とに基づいて、仮想軸Ｃ〜Ｅのピッチを近似的に算出する方法を採用してもよいし、仮想軸Ｆ，Ｇのピッチと、仮想軸Ｆ，Ｇから仮想軸Ｈ〜Ｊまでの距離とに基づいて、仮想軸Ｈ〜Ｉのピッチを近似的に算出する方法を採用してもよい。

Ｂ−３−２．車載カメラの上下位置の変化量の検出方法 ：
図１０には、前後の車載カメラ１１ａ，１１ｂの上下位置の変化量ΔＨａ，ΔＨｂを検出する方法が概念的に示されている。前後の車載カメラ１１ａ，１１ｂの上下位置の変化量ΔＨａ，ΔＨｂを検出するには、先ず、図１０（ａ）に示すように、「前後の車載カメラ１１ａ，１１ｂを通る仮想軸Ｈ」の複数の特定位置（図中の☆印）における「上下位置の変化量ΔＳａｂ，ΔＳｃｄ」を算出する。ここでは、仮想軸Ｈ上における前後方向の位置（座標）がハイトセンサー１２ａ，１２ｂと同じ位置、および、仮想軸Ｈ上における前後方向の位置（座標）がハイトセンサー１２ｃ，１２ｄと同じ位置を特定位置としている。そして、この特定位置における上下位置の変化量は、車載カメラ１１ａ，１１ｂと、ハイトセンサー１２ａ〜１２ｄとの左右方向の位置関係に基づいて算出することができる。例えば、左右方向において、車載カメラ１１ａがハイトセンサー１２ａ，１２ｂの中間にある場合は、特定位置における上下位置の変化量ΔＳａｂは、ハイトセンサー１２ａ，１２ｂの検出結果の平均として算出することができる。

こうして、「前後の車載カメラ１１ａ，１１ｂを通る仮想軸Ｈ」の複数の特定位置（図中の☆印）における「車高の変化量ΔＳａｂ，ΔＳｃｄ」を算出したら、仮想軸Ｈにおける車載カメラ１１ａ，１１ｂに対応する位置の車高（図中の太線矢印）の変化量（すなわち、車載カメラ１１ａ，１１ｂの上下位置の変化量ΔＨａ，ΔＨｂ）を算出する。この変化量は、相似の関係を利用して、ハイトセンサー１２ｂ−１２ｄ間（またはハイトセンサー１２ａ−１２ｃ間）の前後方向の距離Ｙ２、車載カメラ１１ａからハイトセンサー１２ｂ（またはハイトセンサー１２ａ）までの前後方向の距離Ｙ３、車載カメラ１１ｂからハイトセンサー１２ｄ（またはハイトセンサー１２ｃ）までの前後方向の距離Ｙ４、特定位置における車高の変化量ΔＳａｂ，ΔＳｃｄを利用して、相似関係に基づいて算出する。すなわち、図１０（ｂ）に示す例であれば、次の（３）（４）式で算出することができる。
ΔＨａ＝ΔＳｃｄ＋（（Ｙ２＋Ｙ３）（ΔＳａｂ−ΔＳｃｄ））／Ｙ２ …（３）
ΔＨｂ＝ΔＳｃｄ−（Ｙ４（ΔＳａｂ−ΔＳｃｄ））／Ｙ２ …（４）

尚、左右の車載カメラ１１ｃ，１１ｄの上下位置の変化量ΔＨｃ，ΔＨｄについても、上述した前後の車載カメラ１１ａ，１１ｂと同様に算出することが可能である。
以上のように、本実施例の運転支援装置１０では、各車載カメラ１１ａ〜１１ｄの実際の姿勢として、出荷前の姿勢からのロールの変化量、ピッチの変化量、上下位置の変化量を検出する。

Ｃ．変形例 ：
図１１には、変形例におけるカメラ姿勢検出処理のフローチャートが示されている。変形例のカメラ姿勢検出処理では、図１１のＳ３００の処理（図中の太枠で示す処理）を上述した実施例のカメラ姿勢検出処理（図５）に追加して行う。すなわち、上述した実施例では、ドアおよびトランクが全て閉鎖されたら車両１にかかる荷重（積載荷重）が確定したとして、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することとした。これに対して、変形例では、ドアおよびトランクが全て閉鎖され、且つ、車両１の走行が開始されたら（Ｓ３００：ｙｅｓ）、車両１にかかる荷重（積載荷重）が確定したとして、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出する。これにより、次の様な効果を奏することができる。

ドアおよびトランクが全て閉鎖されたとしても、実際には乗員の搭乗や荷物の積載が完了しておらず、車両１にかかる荷重が確定していない場合がある。このように車両１にかかる荷重が確定していない場合であっても、ドアおよびトランクが全て閉鎖されるたびに車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することとすると、制御装置１３の処理負担が大きくなる虞がある。この点、車両１が走行を開始すれば、乗員の搭乗や荷物の積載が完了し、車両１にかかる荷重が確定した可能性がより大きいと推定することができる。そこで、ドアおよびトランクが全て閉鎖され、且つ、車両１の走行が開始された場合に、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することとすると、車両１にかかる荷重が確定した可能性がより大きくなってから、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することができるので、制御装置１３の処理負担を更に軽減することが可能となる。

尚、上述した実施例および変形例のカメラ姿勢検出処理に加えて、図１２に示すようなカメラ姿勢検出処理を行ってもよい。すなわち、ＡＣＣ電源が投入された場合や（Ｓ３００：ｙｅｓ）、ドアおよびトランクが全て閉鎖されたか否かに拘わらず車両１の走行が開始された場合にも（Ｓ３０４：ｙｅｓ）、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することとしてもよい（Ｓ３０２、Ｓ３０６）。こうすると、更に確実に車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することができる。

以上、実施例および変形例の運転支援装置について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

例えば、車載カメラ１１ａ〜１１ｄの実際の姿勢の演算方法としては、上述した実施例で挙げた方法の他に、種々の方法を採用することが可能である。例えば、車載カメラ１１ａ〜１１ｄと同じ位置にハイトセンサーを設けることによって、演算処理を単純化することができる（ハイトセンサーの値をそのまま車載カメラ１１ａ〜１１ｄの上下位置の変化量とする等）。

また、上述した実施例および変形例では、カメラ姿勢検出部１６は、ドアおよびトランクが全て閉鎖された場合に、あるいは、ドアおよびトランクが全て閉鎖され、且つ、車両１の走行が開始された場合に、車両１にかかる荷重が確定したと推定して、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することとした。これに限らず、カメラ姿勢検出部１６は、単に車両１の走行が開始された場合に、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することとしてもよい。

さらに、カメラ姿勢検出部１６は、踏み込まれていたブレーキペダルが踏み込まれる前の状態に復帰した場合や、サイドブレーキが解除された場合に、車両１にかかる荷重が確定したと推定して、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することとしてもよい。このような場合は、走行を開始する直前にブレーキが解除されたと推定することができるので、その後に乗員が搭乗したり荷物が積載されたりする可能性が低く、ひいては、車両１にかかる荷重が確定した可能性が大きい。そこで、ブレーキが解除された場合に車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することとすると、車両１にかかる荷重が確定した可能性がより大きくなってから、車載カメラ１１ａ〜１１ｄの実際の姿勢を検出することができるので、制御装置１３の処理負担を更に軽減することが可能となる。

また、上述した実施例および変形例では、鳥瞰画像を繋ぎ合わせた合成画像を表示することで運転支援を実行する構成とした。これに限らず、車載カメラが撮影した画像を車載カメラ（車両）の実際の姿勢に基づいて補正し、該補正した画像に基づいて、車両とレーンマークとの位置関係を検出することとしてもよい。そして、車両とレーンマークとの位置関係から車両の車線逸脱を監視し、該車線逸脱が検出されると警報を出力したり、ステアリングを自動制御したりすることで、運転支援を実行するとしてもよい。また、車載カメラが撮影した画像を車載カメラ（車両）の実際の姿勢に基づいて補正し、該補正した画像に基づいて、車両と障害物との位置関係を検出することとしてもよい。そして、車両と障害物との位置関係から車両の障害物への接近を監視し、該接近が検出されると警報を出力したり、ブレーキを自動制御したりすることで、運転支援を実行するとしてもよい。

１…車両、 １０…運転支援装置、 １１ａ〜１１ｄ…車載カメラ、
１２ａ〜１２ｄ…ハイトセンサー、 １３…制御装置、
１４…開閉検出部、 １５…変化有無検出部、 １６…カメラ姿勢検出部、
１７…画像視点変換部、 １８…画像合成部、 １９…車速判断部、
２０…記憶部、 ３０…表示部

Claims (4)

1. 車載カメラ（１１ａ〜１１ｄ）が所定の角度で取り付けられた車両（１）に設けられて、前記車載カメラが撮影した画像に基づいて運転支援を実行する運転支援装置（１０）であって、
   前記車両の複数箇所に取り付けられて、取り付けられた箇所での車高を検出するハイトセンサー（１２ａ〜１２ｄ）と、
   前記車両のドアおよびトランクの全てが閉鎖され、且つ前記車両が走行を開始すると、前記ハイトセンサーの検出結果に基づいて前記車両の姿勢を検出する姿勢検出手段（１６）と、
   前記車載カメラが撮影した画像を取得する取得手段（１７、２０）と、
   前記取得手段が取得した前記画像を、前記姿勢検出手段が検出した前記車両の姿勢に基づいて補正する補正手段（１７）と、
   前記補正手段によって補正された前記画像に基づいて、運転支援を実行する実行手段（１８、３０）と
   を備える運転支援装置。
2. 請求項１に記載の運転支援装置であって、
   前記姿勢検出手段は、
   前記車両のドアおよびトランクの全てが閉鎖され、且つ前記車両が走行を開始すると、
   前記車両の複数箇所に取り付けられたハイトセンサーが検出する車高のうち１つ以上の車高が所定の閾値以上変化したか否かを判断する判断処理を行い、
   該判断処理の結果、前記所定の閾値以上変化したと判断した場合に、前記ハイトセンサーの検出結果に基づいて前記車両の姿勢を検出する手段である運転支援装置。
3. 車載カメラ（１１ａ〜１１ｄ）が所定の角度で取り付けられた車両（１）に設けられて、前記車載カメラが撮影した画像を補正する画像補正装置（１３）であって、
   前記車両の複数箇所に取り付けられて、取り付けられた箇所での車高を検出するハイトセンサー（１２ａ〜１２ｄ）と、
   前記車両のドアおよびトランクの全てが閉鎖され、且つ前記車両が走行を開始すると、前記ハイトセンサーの検出結果に基づいて前記車両の姿勢を検出する姿勢検出手段（１６）と、
   前記車載カメラが撮影した画像を取得する取得手段（１７、２０）と、
   前記取得手段が取得した前記画像を、前記姿勢検出手段が検出した前記車両の姿勢に基づいて補正する補正手段（１７）と、
   を備える画像補正装置。
4. 請求項３に記載の画像補正装置であって、
   前記姿勢検出手段は、
   前記車両のドアおよびトランクの全てが閉鎖され、且つ前記車両が走行を開始すると、
   前記車両の複数箇所に取り付けられたハイトセンサーが検出する車高のうち１つ以上の車高が所定の閾値以上変化したか否かを判断する判断処理を行い、
   該判断処理の結果、前記所定の閾値以上変化したと判断した場合に、前記ハイトセンサーの検出結果に基づいて前記車両の姿勢を検出する手段である画像補正装置。

Images