JP3841142B2 - 車両用撮像装置 - Google Patents
車両用撮像装置 Download PDFInfo
- Publication number
- JP3841142B2 JP3841142B2 JP2000038597A JP2000038597A JP3841142B2 JP 3841142 B2 JP3841142 B2 JP 3841142B2 JP 2000038597 A JP2000038597 A JP 2000038597A JP 2000038597 A JP2000038597 A JP 2000038597A JP 3841142 B2 JP3841142 B2 JP 3841142B2
- Authority
- JP
- Japan
- Prior art keywords
- angle
- imaging
- reference line
- vehicle
- lateral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両用撮像装置に係り、詳しくは、車両に搭載された撮像装置の撮像中心、即ち光軸のずれを補正する技術に関する。
【０００２】
【関連する背景技術】
近年、車両にＣＣＤカメラ等の撮像装置を搭載し、車両前方の状況、例えば路面上の白線や先行車を当該撮像装置により判定し、自車が車線を外れないよう、或いは自車と先行車との車間距離が一定に保たれるよう走行を制御するシステムが開発され実用化されている。
【０００３】
しかしながら、このようなＣＣＤカメラ等の撮像装置は、走行中の振動等により当該撮像装置の取付け状態が変化する等して撮像中心、即ち光軸がずれることがあり、このように光軸がずれると、上記制御を適正に継続することができず好ましいことではない。また、このように光軸がずれた場合には、撮像装置の取付け状態を修正すればよいのであるが、当該修正作業は容易なものではなく、車両走行中に光軸がずれたような場合には、即座に対応できないという問題があった。
【０００４】
そこで、車両走行中に光軸がずれたような場合であっても当該光軸のずれを補正によって修正することができるよう、撮像手段により所定の領域を撮像し、該撮像データに基づく走行車線の消失点位置と予め設定された消失点位置とのずれ量に応じて消失点位置の座標補正を行う技術が特開平９−１８９５１７号公報に開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記公報に開示された技術では、走行車線の消失点位置を求めるため、車両は長い直線路を走行している必要があり、車両がカーブを走行している場合や車線に対して斜行しているような場合には、上記ずれ量を正確に算出できず、適正な補正を行うことができないという問題がある。実際問題として、そのような長い直線路は少なく、上記公報に開示の技術は現実的なものとはいえない。
【０００６】
本発明はこのような問題点を解決するためになされたもので、その目的とするところは、車両走行中であっても走行路の状況に拘わらず容易且つ適正に光軸補正可能な車両用撮像装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記した目的を達成するために、請求項１の発明では、車両前方及び後方の所定領域を撮像する前方撮像手段及び後方撮像手段と、前記各撮像手段からの情報に基づき、車両が走行する走行車線と略平行な基準線を設定する基準線設定手段と、前記基準線と前記両撮像手段の各撮像中心方向とのなす横ずれ角を検出する横ずれ角検出手段と、前記各撮像手段の重心から前記基準線に沿ってそれぞれ所定距離の位置に前記基準線と直交するよう仮想設定される各基準面と前記各撮像中心方向との交点の前記基準線からの横ずれ量を前記各撮像手段毎にそれぞれ算出する横ずれ量算出手段と、前記両横ずれ量の差と前記各基準面間の距離とに基づき、前記各交点間を結ぶ仮想基準線と前記基準線とのなす基準横角度を算出する基準横角度算出手段と、前記横ずれ角から前記基準横角度を減算して学習補正角を算出する学習補正角算出手段と、前記学習補正角算出手段の算出結果に基づき、前記撮像中心方向を補正する撮像中心方向補正手段とを備えることを特徴としている。
【０００８】
つまり、本発明では、前方撮像手段及び後方撮像手段の２個の撮像手段を用い、これら撮像手段の各撮像中心方向と走行車線に略平行な基準線とのなす角を横ずれ角として求め、また、各撮像手段の重心から基準線に沿ってそれぞれ所定距離の位置に基準線と直交するよう仮想設定される各基準面と各撮像中心方向との交点の基準線からの横ずれ量を各撮像手段毎にそれぞれ算出し、両横ずれ量の差と各基準面間の距離とに基づいて各交点間を結ぶ仮想基準線と基準線とのなす基準横角度を算出し、さらに、上記横ずれ角から基準横角度を減算して学習補正角を算出し、該学習補正角に基づいて撮像中心方向を補正するようにしている。
【０００９】
そして、このように各撮像中心方向を補正すると、横ずれ角が変更されてさらに基準横角度が変化し学習補正角が更新されることになるが、この学習補正角の更新は横ずれ角と基準横角度とが一致するまで継続されることになり、これにより撮像中心方向が適正なものに学習補正される。
即ち、本発明によれば、車両がカーブを走行している場合や車線に対して斜行しているような場合であっても、撮像中心方向の学習補正が容易且つ適正に実施される。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態を添付図面に基づき説明する。
図１を参照すると、本発明に係る車両用撮像装置の概略構成図が示されている。
同図に示すように、車両用撮像装置は、前方カメラであるＣＣＤカメラ（前方撮像手段）１０と後方カメラであるＣＣＤカメラ（後方撮像手段）２０とが車両１に搭載され、これらＣＣＤカメラ１０とＣＣＤカメラ２０からの撮像情報が電子コントロールユニット（ＥＣＵ）３０に入力されるように構成されている。そして、さらに、ＥＣＵ３０を介して当該撮像情報がディスプレイ４０に平面画像として出力されるようにされている。
【００１１】
詳しくは、ＣＣＤカメラ１０は車両１の中心軸線ＣＬと撮像中心線（撮像中心方向）、即ち光軸とが一致するよう車両１のルーフ中央先端部下面に締結具等により固定されており、ＣＣＤカメラ２０もやはり車両１の前後軸線ＣＬと撮像中心線、即ち光軸とが一致するよう車両１のルーフ中央後端部下面に締結具等により固定されている。つまり、ＣＣＤカメラ１０とＣＣＤカメラ２０は、ウィンドシールドガラスまたはリヤウィンドウガラスを透して車両前方或いは車両後方を撮像可能に車両１の室内側に取り付けられており、工場出荷時には、ともに光軸が中心軸線ＣＬ上に乗るよう調整されている。なお、ＣＣＤカメラ１０、２０は室外に取り付けられていてもよい。
【００１２】
ＥＣＵ３０についても室内側に設けられており、ディスプレイ４０は例えばインストルメントパネル中央に設けられている。なお、ディスプレイ４０上の画像は、例えば、ＣＣＤカメラ１０からの車両前方の映像とＣＣＤカメラ２０の車両後方の映像とを切り換えて表示可能であり、通常はＣＣＤカメラ１０からの車両前方の映像が表示されている。
【００１３】
そして、このように構成された撮像装置では、路面上の白線や先行車を認識し判定することが可能とされており、これらの情報は各種走行制御に用いられる。例えば、ここでは説明を省略するが、これらの情報は、車両１が車線を外れないよう自車を案内する車線逸脱防止制御や、先行車との車間距離が一定に保たれるよう自車を案内する車間距離制御に利用される。
【００１４】
ところで、このような車両用撮像装置では、上述したように、車両走行中の振動や外力等によってＣＣＤカメラ１０やＣＣＤカメラ２０の取付け状態が変化し、光軸がずれることがある。このように光軸がずれると、上記車線逸脱防止制御や車間距離制御等を正確に実施できないことになり好ましいことではない。
そこで、本発明では、このような状況であっても車線逸脱防止制御や車間距離制御を良好に継続可能なよう、ＣＣＤカメラ１０やＣＣＤカメラ２０の光軸がずれても、これらを適正に補正する光軸学習を行うようにしている。以下、本発明に係る光軸学習の学習手順について説明する。
【００１５】
図２を参照すると、ＥＣＵ３０が実行する本発明に係る光軸学習のルーチンがフローチャートで示されており、さらに図３乃至図５を参照すると、ＣＣＤカメラ１０とＣＣＤカメラ２０の光軸がずれた場合の光軸学習の学習手法が、例えばＣＣＤカメラ１０，２０からの撮像情報に基づきＥＣＵ３０で演算処理された車両上視図（平面図）に基づいて模式的に示されている。詳しくは、図３が光軸学習の学習開始状態を、図４が学習中期を、図５が学習完了状態をそれぞれ示している。
【００１６】
図３乃至図５中の符号Ｗは走行車線を示す白線を示しており、符号Ｓは当該白線Ｗ、即ち走行車線と略平行となるよう設定される基準線を示している（基準線設定手段）。また、符号ＸはＣＣＤカメラ１０の重心から基準線Ｓに沿って所定距離（所定位置）Ｌfだけ車両前方に基準線Ｓに直交するよう仮想設定される前方基準面であり、符号Ｙは同様にＣＣＤカメラ２０の重心から基準線Ｓに沿って所定距離（所定位置）Ｌrだけ車両後方に基準線Ｓに直交するよう仮想設定される後方基準面である。
【００１７】
そして、図３乃至図５に示すように、ここでは、例えば車両１が走行車線に対して斜行している場合、即ち車両１が前後軸線ＣＬで見て白線Ｗ（即ち基準線Ｓ）に対し角度θを有して走行している場合を想定して説明する。
なお、これら図３乃至図５では、理解し易いよう、ＣＣＤカメラ１０やＣＣＤカメラ２０の取付け状態の変化量、つまり光軸のずれ量については大きく誇張して示してある。
【００１８】
図３の学習開始状態から説明すると、図２のステップＳ１０において、先ず、前方カメラであるＣＣＤカメラ１０からの撮像情報に基づき、ＣＣＤカメラ１０の光軸の基準線Ｓからの横ずれ角θftを検出する（横ずれ角検出手段）。
次のステップＳ１２では、横ずれ角θftと後述する学習補正角θfcとの差から学習後の横ずれ角θfを求める。しかしながら、この学習開始時点では学習補正角θfcは値０であるので、学習後の横ずれ角θfは即ち横ずれ角θftとなる。
【００１９】
そして、ステップＳ１４では、横ずれ角θfに基づき、基準線Ｓから前方基準面ＸとＣＣＤカメラ１０の光軸との交点、即ち前方基準点ａまでの距離、つまり横ずれ量ｅfを算出する（横ずれ量算出手段）。
次のステップＳ１６では、上記同様にして、後方カメラであるＣＣＤカメラ２０からの撮像情報に基づき、ＣＣＤカメラ２０の光軸の基準線Ｓからの横ずれ角θrtを検出する。そして、ステップＳ１８では、やはり上記同様にして横ずれ角θrtを学習後の横ずれ角θrに設定する。さらに、ステップＳ２０では、横ずれ角θrに基づき、基準線Ｓから後方基準面ＹとＣＣＤカメラ２０の光軸との交点、即ち後方基準点ｂまでの横ずれ量ｅrを算出する。
【００２０】
そして、前方基準点ａと後方基準点ｂとが設定されると、図中に破線で示すように前方基準点ａと後方基準点ｂとを結ぶ仮想基準線Ｕが仮想設定され、ステップＳ２２では、この仮想基準線Ｕと基準線Ｓとのなす横方向角度、即ち基準横角度θfrを横ずれ量ｅf，ｅrを用いて次の近似式(1)より算出する（基準横角度算出手段）。
【００２１】
θfr＝（ｅf−ｅr）／Ｌfr …(1)
ここに、Ｌfrは前方基準面Ｘと後方基準面Ｙ間の距離である。
このように、ＣＣＤカメラ１０の光軸の横ずれ角θf、ＣＣＤカメラ２０の光軸の横ずれ角θr、基準横角度θfrが求められたら、ステップＳ２４及びステップＳ２６において、図６（ａ）、（ｂ）に示すブロック図により横ずれ角θf及び横ずれ角θrから基準横角度θfrを減算し、当該減算結果に基づいて学習補正角θfc及び学習補正角θrcを求める。つまり、次式(2)、(3)により学習補正角θfc及び学習補正角θrcをそれぞれ求める（学習補正角算出手段）。
【００２２】
θfc＝θfc＋Ｋf・（θf−θfr）・ＤＴ …(2)
θrc＝θrc＋Ｋr・（θr−θfr）・ＤＴ …(3)
ここに、Ｋf 、Ｋrはそれぞれ学習ゲインであり、ＤＴは当該学習ルーチンの実行周期である。
このようにして学習補正角θfc及び学習補正角θrcが求められたら、ステップＳ１０に戻り、当該ルーチンを繰り返し実行する。
【００２３】
つまり、ステップＳ１０において再びＣＣＤカメラ１０の光軸の基準線Ｓからの横ずれ角θftを検出し、ステップＳ１２において、図４の学習中期の図に示すように、横ずれ角θftと上記学習補正角θfcとの差より学習後の横ずれ角θf（θf＝θft−θfc）を求め、ＣＣＤカメラ１０の光軸を補正する（撮像中心方向補正手段）。そして、ステップＳ１４において、やはり図４に示すように、学習後の横ずれ角θfに基づき、新たに設定される前方基準点ａまでの横ずれ量ｅfを算出する。
【００２４】
同様に、ステップＳ１６において再びＣＣＤカメラ２０の光軸の基準線Ｓからの横ずれ角θrtを検出し、ステップＳ１８において、図４に示すように、横ずれ角θrtと上記学習補正角θrcとの差より学習後の横ずれ角θr（θr＝θrt−θrc）を求め、ＣＣＤカメラ２０の光軸を補正する（撮像中心方向補正手段）。そして、ステップＳ２０において、当該学習後の横ずれ角θrに基づき、新たに設定される後方基準点ｂまでの横ずれ量ｅrを算出する。
【００２５】
そして、ステップＳ２２において、新たに設定される前方基準点ａと後方基準点ｂとを結ぶ新たな仮想基準線Ｕと基準線Ｓとの横方向角度、即ち基準横角度θfrを新たな横ずれ量ｅf，ｅrを用いて上記近似式(1)より再び算出し、ステップＳ２４及びステップＳ２６において、上式(2)、(3)により学習補正角θfc及び学習補正角θrcを更新する。
【００２６】
このように、学習補正角θfc及び学習補正角θrcに基づいてＣＣＤカメラ１０，２０の光軸を補正するようにすると、図３と図４との比較により明らかなように、仮想基準線Ｕは前後軸線ＣＬに重なる側に変化する。つまり、基準横角度θfrが、学習後の横ずれ角θf及び横ずれ角θrに一致するよう、ひいては車両１の前後軸線ＣＬと基準線Ｓとのなす角度θに近づくように変化する。このことは、ＣＣＤカメラ１０，２０の各光軸が車両１の前後軸線ＣＬに徐々に一致するよう補正されることを意味する。
【００２７】
そして、当該学習ルーチンが繰り返し実行され、学習が進むと、いずれ学習後の横ずれ角θf及び横ずれ角θrが基準横角度θfrに一致することになり、つまり上式(2)、(3)の（θf−θfr）、（θr−θfr）の項が値０となり、最終的にステップＳ２４及びステップＳ２６における学習補正角θfc及び学習補正角θrcは常に一定の値に収束し、当該光軸の補正が完了した状態となる。
【００２８】
光軸の補正、即ち光軸学習が完了すると、図５の学習完了状態の図に示すように、学習後の横ずれ角θf及び横ずれ角θrが基準横角度θfr、ひいては角度θと完全に一致することになる。つまり、当該光軸学習が完了すると、仮想基準線Ｕと車両１の前後軸線ＣＬとが平行になり、ＣＣＤカメラ１０，２０の各光軸の方向が当該前後軸線ＣＬの方向と完全に一致することになる。
【００２９】
そして、これら学習補正角θfc及び学習補正角θrcをエンジンＯＦＦ時にＥＣＵ３０に記憶し次回の初期値とすれば、次回は最初から正しい光軸で制御を開始することができることになる。なお、この場合であっても、再び車両の振動等により光軸がずれた場合には、上記同様に光軸を正しい方向に補正することができることはいうまでもない。
【００３０】
図７を参照すると、学習補正角θfc及び学習補正角θrcがそれぞれの真値に収束する学習過程の実験データがタイムチャートで示されているが、本発明の車両用撮像装置によれば、当該学習補正を実施することにより、このように、学習補正角θfc及び学習補正角θrcが各真値に速やか且つ正確に収束し、ＣＣＤカメラ１０，２０の光軸補正が極めて適正に行われることとなる。
【００３１】
つまり、前方カメラであるＣＣＤカメラ１０と後方カメラであるＣＣＤカメラ２０の２台の撮像手段を用いることにより、制御上重要となるＣＣＤカメラ１０の光軸を常に適正なものに維持しておくことが可能となる。
特に、本発明に係る光軸学習では、学習を車両１付近の情報のみで実施できることになるので、車両１がカーブを走行している場合や上記実施形態のように車線に対して斜行しているような場合であっても、走行路の状況に拘わらず常に光軸補正を行うことが可能である。
【００３２】
これにより、車両１が走行中にＣＣＤカメラ１０，２０の光軸がずれた場合であっても、速やかに補正を行って車線逸脱防止制御や車間距離制御を誤作動なく常に良好に継続することが可能とされる。
ところで、上記実施形態では、図３乃至図５に示すように、検出される横ずれ角θft，θrtが常時同一であるものとしているが、学習ルーチンを繰り返し実行する毎に検出される横ずれ角θft，θrtは本来的には時々刻々変化するものである。しかしながら、このように検出する毎に横ずれ角θft，θrtが変化したとしても、上記各式から明らかなように、その変化は学習補正角θfc及び学習補正角θrcに対し何ら影響を与えるものではなく、検出される横ずれ角θft，θrtに拘わらず、光軸補正は常に良好に継続実施される。
【００３３】
また、上記実施形態では、ＣＣＤカメラ１０，２０の各光軸が同一側にずれた場合を例に光軸学習手順を説明したが、上記学習手法によれば、当然ながら、ＣＣＤカメラ１０，２０の各光軸が互いに異なる側にずれた場合であっても上記同様に良好に光軸を補正可能である。
【００３４】
【発明の効果】
以上詳細に説明したように、本発明の請求項１の車両用撮像装置によれば、前方撮像手段及び後方撮像手段の２個の撮像手段を用い、これら撮像手段の各撮像中心方向と走行車線に略平行な基準線との横ずれ角を求め、基準線と直交するよう仮想設定される各基準面と各撮像中心方向との交点の基準線からの横ずれ量を各撮像手段毎にそれぞれ算出し、両横ずれ量の差と各基準面間の距離とに基づいて各交点間を結ぶ仮想基準線と基準線とのなす基準横角度を算出し、さらに、上記横ずれ角から基準横角度を減算して学習補正角を算出し、該学習補正角に基づいて撮像中心方向を補正するようにしたので、車両がカーブを走行している場合や車線に対して斜行しているような場合であっても、撮像中心方向の学習補正を容易且つ適正に実施することができる。
【００３５】
従って、車両走行中に撮像中心方向がずれた場合であっても、速やかに撮像中心方向の補正を行って撮像中心方向を適正に維持することができる。
【図面の簡単な説明】
【図１】本発明に係る車両用撮像装置を示す概略構成図である。
【図２】本発明に係る光軸学習のルーチンを示すフローチャートである。
【図３】光軸学習の学習開始状態を示す模式図である。
【図４】光軸学習の学習中期を示す模式図である。
【図５】光軸学習の学習完了状態を示す模式図である。
【図６】学習補正角θfc（ａ）及び学習補正角θrc（ｂ）を求めるブロック図である。
【図７】学習補正角θfc及び学習補正角θrcがそれぞれの真値に収束する学習過程の実験データを示すタイムチャートである。
【符号の説明】
１ 車両
１０ ＣＣＤカメラ（前方撮像手段）
２０ ＣＣＤカメラ（後方撮像手段）
３０ 電子コントロールユニット（ＥＣＵ）
４０ ディスプレイ
ＣＬ 中心軸線
Ｓ 基準線
Ｕ 仮想基準線
Ｗ 白線
Ｘ 前方基準面
Ｙ 後方基準面
【発明の属する技術分野】
本発明は、車両用撮像装置に係り、詳しくは、車両に搭載された撮像装置の撮像中心、即ち光軸のずれを補正する技術に関する。
【０００２】
【関連する背景技術】
近年、車両にＣＣＤカメラ等の撮像装置を搭載し、車両前方の状況、例えば路面上の白線や先行車を当該撮像装置により判定し、自車が車線を外れないよう、或いは自車と先行車との車間距離が一定に保たれるよう走行を制御するシステムが開発され実用化されている。
【０００３】
しかしながら、このようなＣＣＤカメラ等の撮像装置は、走行中の振動等により当該撮像装置の取付け状態が変化する等して撮像中心、即ち光軸がずれることがあり、このように光軸がずれると、上記制御を適正に継続することができず好ましいことではない。また、このように光軸がずれた場合には、撮像装置の取付け状態を修正すればよいのであるが、当該修正作業は容易なものではなく、車両走行中に光軸がずれたような場合には、即座に対応できないという問題があった。
【０００４】
そこで、車両走行中に光軸がずれたような場合であっても当該光軸のずれを補正によって修正することができるよう、撮像手段により所定の領域を撮像し、該撮像データに基づく走行車線の消失点位置と予め設定された消失点位置とのずれ量に応じて消失点位置の座標補正を行う技術が特開平９−１８９５１７号公報に開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記公報に開示された技術では、走行車線の消失点位置を求めるため、車両は長い直線路を走行している必要があり、車両がカーブを走行している場合や車線に対して斜行しているような場合には、上記ずれ量を正確に算出できず、適正な補正を行うことができないという問題がある。実際問題として、そのような長い直線路は少なく、上記公報に開示の技術は現実的なものとはいえない。
【０００６】
本発明はこのような問題点を解決するためになされたもので、その目的とするところは、車両走行中であっても走行路の状況に拘わらず容易且つ適正に光軸補正可能な車両用撮像装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記した目的を達成するために、請求項１の発明では、車両前方及び後方の所定領域を撮像する前方撮像手段及び後方撮像手段と、前記各撮像手段からの情報に基づき、車両が走行する走行車線と略平行な基準線を設定する基準線設定手段と、前記基準線と前記両撮像手段の各撮像中心方向とのなす横ずれ角を検出する横ずれ角検出手段と、前記各撮像手段の重心から前記基準線に沿ってそれぞれ所定距離の位置に前記基準線と直交するよう仮想設定される各基準面と前記各撮像中心方向との交点の前記基準線からの横ずれ量を前記各撮像手段毎にそれぞれ算出する横ずれ量算出手段と、前記両横ずれ量の差と前記各基準面間の距離とに基づき、前記各交点間を結ぶ仮想基準線と前記基準線とのなす基準横角度を算出する基準横角度算出手段と、前記横ずれ角から前記基準横角度を減算して学習補正角を算出する学習補正角算出手段と、前記学習補正角算出手段の算出結果に基づき、前記撮像中心方向を補正する撮像中心方向補正手段とを備えることを特徴としている。
【０００８】
つまり、本発明では、前方撮像手段及び後方撮像手段の２個の撮像手段を用い、これら撮像手段の各撮像中心方向と走行車線に略平行な基準線とのなす角を横ずれ角として求め、また、各撮像手段の重心から基準線に沿ってそれぞれ所定距離の位置に基準線と直交するよう仮想設定される各基準面と各撮像中心方向との交点の基準線からの横ずれ量を各撮像手段毎にそれぞれ算出し、両横ずれ量の差と各基準面間の距離とに基づいて各交点間を結ぶ仮想基準線と基準線とのなす基準横角度を算出し、さらに、上記横ずれ角から基準横角度を減算して学習補正角を算出し、該学習補正角に基づいて撮像中心方向を補正するようにしている。
【０００９】
そして、このように各撮像中心方向を補正すると、横ずれ角が変更されてさらに基準横角度が変化し学習補正角が更新されることになるが、この学習補正角の更新は横ずれ角と基準横角度とが一致するまで継続されることになり、これにより撮像中心方向が適正なものに学習補正される。
即ち、本発明によれば、車両がカーブを走行している場合や車線に対して斜行しているような場合であっても、撮像中心方向の学習補正が容易且つ適正に実施される。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態を添付図面に基づき説明する。
図１を参照すると、本発明に係る車両用撮像装置の概略構成図が示されている。
同図に示すように、車両用撮像装置は、前方カメラであるＣＣＤカメラ（前方撮像手段）１０と後方カメラであるＣＣＤカメラ（後方撮像手段）２０とが車両１に搭載され、これらＣＣＤカメラ１０とＣＣＤカメラ２０からの撮像情報が電子コントロールユニット（ＥＣＵ）３０に入力されるように構成されている。そして、さらに、ＥＣＵ３０を介して当該撮像情報がディスプレイ４０に平面画像として出力されるようにされている。
【００１１】
詳しくは、ＣＣＤカメラ１０は車両１の中心軸線ＣＬと撮像中心線（撮像中心方向）、即ち光軸とが一致するよう車両１のルーフ中央先端部下面に締結具等により固定されており、ＣＣＤカメラ２０もやはり車両１の前後軸線ＣＬと撮像中心線、即ち光軸とが一致するよう車両１のルーフ中央後端部下面に締結具等により固定されている。つまり、ＣＣＤカメラ１０とＣＣＤカメラ２０は、ウィンドシールドガラスまたはリヤウィンドウガラスを透して車両前方或いは車両後方を撮像可能に車両１の室内側に取り付けられており、工場出荷時には、ともに光軸が中心軸線ＣＬ上に乗るよう調整されている。なお、ＣＣＤカメラ１０、２０は室外に取り付けられていてもよい。
【００１２】
ＥＣＵ３０についても室内側に設けられており、ディスプレイ４０は例えばインストルメントパネル中央に設けられている。なお、ディスプレイ４０上の画像は、例えば、ＣＣＤカメラ１０からの車両前方の映像とＣＣＤカメラ２０の車両後方の映像とを切り換えて表示可能であり、通常はＣＣＤカメラ１０からの車両前方の映像が表示されている。
【００１３】
そして、このように構成された撮像装置では、路面上の白線や先行車を認識し判定することが可能とされており、これらの情報は各種走行制御に用いられる。例えば、ここでは説明を省略するが、これらの情報は、車両１が車線を外れないよう自車を案内する車線逸脱防止制御や、先行車との車間距離が一定に保たれるよう自車を案内する車間距離制御に利用される。
【００１４】
ところで、このような車両用撮像装置では、上述したように、車両走行中の振動や外力等によってＣＣＤカメラ１０やＣＣＤカメラ２０の取付け状態が変化し、光軸がずれることがある。このように光軸がずれると、上記車線逸脱防止制御や車間距離制御等を正確に実施できないことになり好ましいことではない。
そこで、本発明では、このような状況であっても車線逸脱防止制御や車間距離制御を良好に継続可能なよう、ＣＣＤカメラ１０やＣＣＤカメラ２０の光軸がずれても、これらを適正に補正する光軸学習を行うようにしている。以下、本発明に係る光軸学習の学習手順について説明する。
【００１５】
図２を参照すると、ＥＣＵ３０が実行する本発明に係る光軸学習のルーチンがフローチャートで示されており、さらに図３乃至図５を参照すると、ＣＣＤカメラ１０とＣＣＤカメラ２０の光軸がずれた場合の光軸学習の学習手法が、例えばＣＣＤカメラ１０，２０からの撮像情報に基づきＥＣＵ３０で演算処理された車両上視図（平面図）に基づいて模式的に示されている。詳しくは、図３が光軸学習の学習開始状態を、図４が学習中期を、図５が学習完了状態をそれぞれ示している。
【００１６】
図３乃至図５中の符号Ｗは走行車線を示す白線を示しており、符号Ｓは当該白線Ｗ、即ち走行車線と略平行となるよう設定される基準線を示している（基準線設定手段）。また、符号ＸはＣＣＤカメラ１０の重心から基準線Ｓに沿って所定距離（所定位置）Ｌfだけ車両前方に基準線Ｓに直交するよう仮想設定される前方基準面であり、符号Ｙは同様にＣＣＤカメラ２０の重心から基準線Ｓに沿って所定距離（所定位置）Ｌrだけ車両後方に基準線Ｓに直交するよう仮想設定される後方基準面である。
【００１７】
そして、図３乃至図５に示すように、ここでは、例えば車両１が走行車線に対して斜行している場合、即ち車両１が前後軸線ＣＬで見て白線Ｗ（即ち基準線Ｓ）に対し角度θを有して走行している場合を想定して説明する。
なお、これら図３乃至図５では、理解し易いよう、ＣＣＤカメラ１０やＣＣＤカメラ２０の取付け状態の変化量、つまり光軸のずれ量については大きく誇張して示してある。
【００１８】
図３の学習開始状態から説明すると、図２のステップＳ１０において、先ず、前方カメラであるＣＣＤカメラ１０からの撮像情報に基づき、ＣＣＤカメラ１０の光軸の基準線Ｓからの横ずれ角θftを検出する（横ずれ角検出手段）。
次のステップＳ１２では、横ずれ角θftと後述する学習補正角θfcとの差から学習後の横ずれ角θfを求める。しかしながら、この学習開始時点では学習補正角θfcは値０であるので、学習後の横ずれ角θfは即ち横ずれ角θftとなる。
【００１９】
そして、ステップＳ１４では、横ずれ角θfに基づき、基準線Ｓから前方基準面ＸとＣＣＤカメラ１０の光軸との交点、即ち前方基準点ａまでの距離、つまり横ずれ量ｅfを算出する（横ずれ量算出手段）。
次のステップＳ１６では、上記同様にして、後方カメラであるＣＣＤカメラ２０からの撮像情報に基づき、ＣＣＤカメラ２０の光軸の基準線Ｓからの横ずれ角θrtを検出する。そして、ステップＳ１８では、やはり上記同様にして横ずれ角θrtを学習後の横ずれ角θrに設定する。さらに、ステップＳ２０では、横ずれ角θrに基づき、基準線Ｓから後方基準面ＹとＣＣＤカメラ２０の光軸との交点、即ち後方基準点ｂまでの横ずれ量ｅrを算出する。
【００２０】
そして、前方基準点ａと後方基準点ｂとが設定されると、図中に破線で示すように前方基準点ａと後方基準点ｂとを結ぶ仮想基準線Ｕが仮想設定され、ステップＳ２２では、この仮想基準線Ｕと基準線Ｓとのなす横方向角度、即ち基準横角度θfrを横ずれ量ｅf，ｅrを用いて次の近似式(1)より算出する（基準横角度算出手段）。
【００２１】
θfr＝（ｅf−ｅr）／Ｌfr …(1)
ここに、Ｌfrは前方基準面Ｘと後方基準面Ｙ間の距離である。
このように、ＣＣＤカメラ１０の光軸の横ずれ角θf、ＣＣＤカメラ２０の光軸の横ずれ角θr、基準横角度θfrが求められたら、ステップＳ２４及びステップＳ２６において、図６（ａ）、（ｂ）に示すブロック図により横ずれ角θf及び横ずれ角θrから基準横角度θfrを減算し、当該減算結果に基づいて学習補正角θfc及び学習補正角θrcを求める。つまり、次式(2)、(3)により学習補正角θfc及び学習補正角θrcをそれぞれ求める（学習補正角算出手段）。
【００２２】
θfc＝θfc＋Ｋf・（θf−θfr）・ＤＴ …(2)
θrc＝θrc＋Ｋr・（θr−θfr）・ＤＴ …(3)
ここに、Ｋf 、Ｋrはそれぞれ学習ゲインであり、ＤＴは当該学習ルーチンの実行周期である。
このようにして学習補正角θfc及び学習補正角θrcが求められたら、ステップＳ１０に戻り、当該ルーチンを繰り返し実行する。
【００２３】
つまり、ステップＳ１０において再びＣＣＤカメラ１０の光軸の基準線Ｓからの横ずれ角θftを検出し、ステップＳ１２において、図４の学習中期の図に示すように、横ずれ角θftと上記学習補正角θfcとの差より学習後の横ずれ角θf（θf＝θft−θfc）を求め、ＣＣＤカメラ１０の光軸を補正する（撮像中心方向補正手段）。そして、ステップＳ１４において、やはり図４に示すように、学習後の横ずれ角θfに基づき、新たに設定される前方基準点ａまでの横ずれ量ｅfを算出する。
【００２４】
同様に、ステップＳ１６において再びＣＣＤカメラ２０の光軸の基準線Ｓからの横ずれ角θrtを検出し、ステップＳ１８において、図４に示すように、横ずれ角θrtと上記学習補正角θrcとの差より学習後の横ずれ角θr（θr＝θrt−θrc）を求め、ＣＣＤカメラ２０の光軸を補正する（撮像中心方向補正手段）。そして、ステップＳ２０において、当該学習後の横ずれ角θrに基づき、新たに設定される後方基準点ｂまでの横ずれ量ｅrを算出する。
【００２５】
そして、ステップＳ２２において、新たに設定される前方基準点ａと後方基準点ｂとを結ぶ新たな仮想基準線Ｕと基準線Ｓとの横方向角度、即ち基準横角度θfrを新たな横ずれ量ｅf，ｅrを用いて上記近似式(1)より再び算出し、ステップＳ２４及びステップＳ２６において、上式(2)、(3)により学習補正角θfc及び学習補正角θrcを更新する。
【００２６】
このように、学習補正角θfc及び学習補正角θrcに基づいてＣＣＤカメラ１０，２０の光軸を補正するようにすると、図３と図４との比較により明らかなように、仮想基準線Ｕは前後軸線ＣＬに重なる側に変化する。つまり、基準横角度θfrが、学習後の横ずれ角θf及び横ずれ角θrに一致するよう、ひいては車両１の前後軸線ＣＬと基準線Ｓとのなす角度θに近づくように変化する。このことは、ＣＣＤカメラ１０，２０の各光軸が車両１の前後軸線ＣＬに徐々に一致するよう補正されることを意味する。
【００２７】
そして、当該学習ルーチンが繰り返し実行され、学習が進むと、いずれ学習後の横ずれ角θf及び横ずれ角θrが基準横角度θfrに一致することになり、つまり上式(2)、(3)の（θf−θfr）、（θr−θfr）の項が値０となり、最終的にステップＳ２４及びステップＳ２６における学習補正角θfc及び学習補正角θrcは常に一定の値に収束し、当該光軸の補正が完了した状態となる。
【００２８】
光軸の補正、即ち光軸学習が完了すると、図５の学習完了状態の図に示すように、学習後の横ずれ角θf及び横ずれ角θrが基準横角度θfr、ひいては角度θと完全に一致することになる。つまり、当該光軸学習が完了すると、仮想基準線Ｕと車両１の前後軸線ＣＬとが平行になり、ＣＣＤカメラ１０，２０の各光軸の方向が当該前後軸線ＣＬの方向と完全に一致することになる。
【００２９】
そして、これら学習補正角θfc及び学習補正角θrcをエンジンＯＦＦ時にＥＣＵ３０に記憶し次回の初期値とすれば、次回は最初から正しい光軸で制御を開始することができることになる。なお、この場合であっても、再び車両の振動等により光軸がずれた場合には、上記同様に光軸を正しい方向に補正することができることはいうまでもない。
【００３０】
図７を参照すると、学習補正角θfc及び学習補正角θrcがそれぞれの真値に収束する学習過程の実験データがタイムチャートで示されているが、本発明の車両用撮像装置によれば、当該学習補正を実施することにより、このように、学習補正角θfc及び学習補正角θrcが各真値に速やか且つ正確に収束し、ＣＣＤカメラ１０，２０の光軸補正が極めて適正に行われることとなる。
【００３１】
つまり、前方カメラであるＣＣＤカメラ１０と後方カメラであるＣＣＤカメラ２０の２台の撮像手段を用いることにより、制御上重要となるＣＣＤカメラ１０の光軸を常に適正なものに維持しておくことが可能となる。
特に、本発明に係る光軸学習では、学習を車両１付近の情報のみで実施できることになるので、車両１がカーブを走行している場合や上記実施形態のように車線に対して斜行しているような場合であっても、走行路の状況に拘わらず常に光軸補正を行うことが可能である。
【００３２】
これにより、車両１が走行中にＣＣＤカメラ１０，２０の光軸がずれた場合であっても、速やかに補正を行って車線逸脱防止制御や車間距離制御を誤作動なく常に良好に継続することが可能とされる。
ところで、上記実施形態では、図３乃至図５に示すように、検出される横ずれ角θft，θrtが常時同一であるものとしているが、学習ルーチンを繰り返し実行する毎に検出される横ずれ角θft，θrtは本来的には時々刻々変化するものである。しかしながら、このように検出する毎に横ずれ角θft，θrtが変化したとしても、上記各式から明らかなように、その変化は学習補正角θfc及び学習補正角θrcに対し何ら影響を与えるものではなく、検出される横ずれ角θft，θrtに拘わらず、光軸補正は常に良好に継続実施される。
【００３３】
また、上記実施形態では、ＣＣＤカメラ１０，２０の各光軸が同一側にずれた場合を例に光軸学習手順を説明したが、上記学習手法によれば、当然ながら、ＣＣＤカメラ１０，２０の各光軸が互いに異なる側にずれた場合であっても上記同様に良好に光軸を補正可能である。
【００３４】
【発明の効果】
以上詳細に説明したように、本発明の請求項１の車両用撮像装置によれば、前方撮像手段及び後方撮像手段の２個の撮像手段を用い、これら撮像手段の各撮像中心方向と走行車線に略平行な基準線との横ずれ角を求め、基準線と直交するよう仮想設定される各基準面と各撮像中心方向との交点の基準線からの横ずれ量を各撮像手段毎にそれぞれ算出し、両横ずれ量の差と各基準面間の距離とに基づいて各交点間を結ぶ仮想基準線と基準線とのなす基準横角度を算出し、さらに、上記横ずれ角から基準横角度を減算して学習補正角を算出し、該学習補正角に基づいて撮像中心方向を補正するようにしたので、車両がカーブを走行している場合や車線に対して斜行しているような場合であっても、撮像中心方向の学習補正を容易且つ適正に実施することができる。
【００３５】
従って、車両走行中に撮像中心方向がずれた場合であっても、速やかに撮像中心方向の補正を行って撮像中心方向を適正に維持することができる。
【図面の簡単な説明】
【図１】本発明に係る車両用撮像装置を示す概略構成図である。
【図２】本発明に係る光軸学習のルーチンを示すフローチャートである。
【図３】光軸学習の学習開始状態を示す模式図である。
【図４】光軸学習の学習中期を示す模式図である。
【図５】光軸学習の学習完了状態を示す模式図である。
【図６】学習補正角θfc（ａ）及び学習補正角θrc（ｂ）を求めるブロック図である。
【図７】学習補正角θfc及び学習補正角θrcがそれぞれの真値に収束する学習過程の実験データを示すタイムチャートである。
【符号の説明】
１ 車両
１０ ＣＣＤカメラ（前方撮像手段）
２０ ＣＣＤカメラ（後方撮像手段）
３０ 電子コントロールユニット（ＥＣＵ）
４０ ディスプレイ
ＣＬ 中心軸線
Ｓ 基準線
Ｕ 仮想基準線
Ｗ 白線
Ｘ 前方基準面
Ｙ 後方基準面
Claims (1)
- 車両前方及び後方の所定領域を撮像する前方撮像手段及び後方撮像手段と、
前記各撮像手段からの情報に基づき、車両が走行する走行車線と略平行な基準線を設定する基準線設定手段と、
前記基準線と前記両撮像手段の各撮像中心方向とのなす横ずれ角を検出する横ずれ角検出手段と、
前記各撮像手段の重心から前記基準線に沿ってそれぞれ所定距離の位置に前記基準線と直交するよう仮想設定される各基準面と前記各撮像中心方向との交点の前記基準線からの横ずれ量を前記各撮像手段毎にそれぞれ算出する横ずれ量算出手段と、
前記両横ずれ量の差と前記各基準面間の距離とに基づき、前記各交点間を結ぶ仮想基準線と前記基準線とのなす基準横角度を算出する基準横角度算出手段と、
前記横ずれ角から前記基準横角度を減算して学習補正角を算出する学習補正角算出手段と、
前記学習補正角算出手段の算出結果に基づき、前記撮像中心方向を補正する撮像中心方向補正手段と、
を備えたことを特徴とする車両用撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000038597A JP3841142B2 (ja) | 2000-02-16 | 2000-02-16 | 車両用撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000038597A JP3841142B2 (ja) | 2000-02-16 | 2000-02-16 | 車両用撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001225709A JP2001225709A (ja) | 2001-08-21 |
| JP3841142B2 true JP3841142B2 (ja) | 2006-11-01 |
Family
ID=18562309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000038597A Expired - Lifetime JP3841142B2 (ja) | 2000-02-16 | 2000-02-16 | 車両用撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3841142B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3617502B2 (ja) | 2002-04-11 | 2005-02-09 | 日産自動車株式会社 | 車線逸脱防止装置 |
| JP2006232112A (ja) * | 2005-02-25 | 2006-09-07 | Mazda Motor Corp | 車両の障害物認識装置 |
| JP5375958B2 (ja) | 2009-06-18 | 2013-12-25 | 富士通株式会社 | 画像処理装置および画像処理方法 |
| JP6260233B2 (ja) * | 2013-12-02 | 2018-01-17 | 富士通株式会社 | 情報処理装置、カメラ取付角度の推定方法、及びプログラム |
-
2000
- 2000-02-16 JP JP2000038597A patent/JP3841142B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001225709A (ja) | 2001-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7571053B2 (en) | Lane deviation prevention apparatus | |
| JP3818653B2 (ja) | 車両用走行支援装置 | |
| JP4235026B2 (ja) | 駐車支援装置 | |
| CN102549631B (zh) | 车辆周围监视装置 | |
| US9610976B2 (en) | Lane departure prevention control system for vehicle | |
| US20030045973A1 (en) | Motor vehicle parking support unit and method thereof | |
| JP2018180941A (ja) | 傾斜検出装置 | |
| KR101481134B1 (ko) | 자율 주행 차량의 센서융합을 통한 곡률반경 추정시스템 및 방법 | |
| JP2008143430A (ja) | 駐車支援装置 | |
| JP2007290557A (ja) | 駐車支援装置及び駐車支援方法 | |
| JP6567936B2 (ja) | 操舵支援制御装置 | |
| WO2005111966A1 (ja) | 車両用走行区分線認識装置 | |
| JP5150958B2 (ja) | 車両走行支援装置、車両、車両走行支援プログラム | |
| JPH1040499A (ja) | 車両の外界認識装置 | |
| JP2019051822A (ja) | 駐車支援装置 | |
| US20050269145A1 (en) | Steering assistance method and device for a motor vehicle | |
| JP3841142B2 (ja) | 車両用撮像装置 | |
| CN110645994A (zh) | 一种车载实景增强导航系统及方法 | |
| JP2022060077A (ja) | 自動操舵制御装置 | |
| JP3402054B2 (ja) | 道路白線認識装置 | |
| JP4670528B2 (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
| JP2010012838A (ja) | 駐車支援装置、及び駐車支援方法 | |
| JP6759132B2 (ja) | ヘッドアップディスプレイ装置及び表示制御方法 | |
| JPH11337310A (ja) | 車両用位置検出装置 | |
| JPH11198714A (ja) | 自動車用ヘッドライトの配光制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060501 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060719 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060801 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3841142 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090818 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100818 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100818 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110818 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120818 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130818 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130818 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140818 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |