Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4086759B2 - Road model estimation apparatus and method - Google Patents
[go: Go Back, main page]

JP4086759B2 - Road model estimation apparatus and method - Google Patents

Road model estimation apparatus and method Download PDF

Info

Publication number
JP4086759B2
JP4086759B2 JP2003374383A JP2003374383A JP4086759B2 JP 4086759 B2 JP4086759 B2 JP 4086759B2 JP 2003374383 A JP2003374383 A JP 2003374383A JP 2003374383 A JP2003374383 A JP 2003374383A JP 4086759 B2 JP4086759 B2 JP 4086759B2
Authority
JP
Japan
Prior art keywords
road
filter
imaging
road model
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003374383A
Other languages
Japanese (ja)
Other versions
JP2004178566A (en
Inventor
基 増田
憲一 山田
敏夫 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihatsu Motor Co Ltd
Original Assignee
Daihatsu Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihatsu Motor Co Ltd filed Critical Daihatsu Motor Co Ltd
Priority to JP2003374383A priority Critical patent/JP4086759B2/en
Publication of JP2004178566A publication Critical patent/JP2004178566A/en
Application granted granted Critical
Publication of JP4086759B2 publication Critical patent/JP4086759B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

この発明は、走行中の道路モデルを推定する道路モデルの推定装置及びその推定方法に関する。   The present invention relates to a road model estimation apparatus and a method for estimating a road model during traveling.

従来、走行中の車両に搭載したカメラにより車両前方を撮像して得られる画像を処理し、走行中の道路の直線路、カーブ路を示す道路曲率などの所定の道路パラメータを導出してその道路モデルを推定することが行われている。   Conventionally, an image obtained by imaging the front of a vehicle with a camera mounted on a traveling vehicle is processed, and a predetermined road parameter such as a road curvature indicating a straight road or a curved road of the traveling road is derived to obtain the road. A model is being estimated.

この場合、カルマンフィルタを用いて、その状態方程式の状態推定量としての車両のレーンマーカに対する横変位、レーンマーカが描く曲線の道路曲率、車両のヨー角、車両のピッチ角の道路パラメータを導出し、これらのパラメータ及び撮像部の取付位置の地上高さを用いて道路モデルを推定する(例えば、特許文献1参照。)。
特開2002−109695号公報(第3−6頁)
In this case, the Kalman filter is used to derive the lateral displacement of the vehicle lane marker as the state estimator of the state equation, the road curvature of the curve drawn by the lane marker, the vehicle yaw angle, and the vehicle pitch angle road parameters. A road model is estimated using the parameters and the ground height of the mounting position of the imaging unit (see, for example, Patent Document 1).
JP 2002-109695A (pages 3-6)

ところが、従来の手法では、カルマンフィルタを用いており、このカルマンフィルタは外乱に弱く、モデル化誤差が大きくなるという不都合があるため、カルマンフィルタを用いて導出した道路パラメータから推定される道路モデルが信頼性に欠けるものとなり、この結果を追従走行等の制御に使用する場合には安定した制御を行うことができないという問題点があった。   However, in the conventional method, a Kalman filter is used, and this Kalman filter is vulnerable to disturbance and has a disadvantage that a modeling error becomes large. When this result is used for control such as follow-up running, there is a problem that stable control cannot be performed.

そこで、本発明は、より信頼性の高い道路モデルの推定が行えるようにすることを目的とし、さらには、その推定処理の演算の簡素化、高速化を図ることも目的とする。   In view of the above, the present invention has an object to make it possible to estimate a road model with higher reliability, and to further simplify and speed up the calculation of the estimation process.

上記した目的を達成するために、請求項1にかかる本発明の道路モデルの推定装置は、車両に搭載され車両前方を撮像する撮像部と、前記撮像部による撮像画像の全画素の濃度値を微分処理して走行中の道路に形成されているレーンマーカを含むエッジ画像を形成する形成部と、前記形成部により形成された前記エッジ画像から複数のレーンマーカ候補点の座標を求め、これらに対してH∞フィルタを適用して走行中の道路モデルを定める道路パラメータを導出する導出部とを備え、前記導出部は、逆行列を含まない下記数3の対角行列式にしたがって前記H∞フィルタの演算を行うようにしたことを特徴としている。 In order to achieve the above-described object, a road model estimation apparatus according to a first aspect of the present invention includes an imaging unit that is mounted on a vehicle and images the front of the vehicle, and density values of all pixels of an image captured by the imaging unit. A forming unit that forms an edge image including a lane marker formed on a running road by differentiating, and obtains coordinates of a plurality of lane marker candidate points from the edge image formed by the forming unit, and for these A derivation unit that derives a road parameter that determines a road model that is running by applying an H∞ filter, and the derivation unit includes a diagonal determinant of Formula 3 that does not include an inverse matrix: It is characterized by performing calculations.

Figure 0004086759
Figure 0004086759

また、請求項にかかる本発明の道路モデルの推定装置は、走行中の道路モデルを推定する道路モデルの推定装置であって、車両に搭載され車両前方を撮像する撮像部と、前記撮像部による撮像画像の全画素の濃度値を微分処理して走行中の道路に形成されているレーンマーカを含むエッジ画像を形成する形成部と、前記形成部により形成された前記エッジ画像から複数のレーンマーカ候補点の座標を求め、これらに対してH∞フィルタを適用して走行中の道路モデルを定める道路パラメータを導出する導出部とを備え、前記導出部は、逆行列を含まない下記数6の対角行列式にしたがって前記H∞フィルタの演算を行うようにしたことを特徴としている。 A road model estimation apparatus according to a second aspect of the present invention is a road model estimation apparatus for estimating a running road model, the imaging section being mounted on a vehicle and imaging the front of the vehicle, and the imaging section A forming unit for differentiating density values of all pixels of the captured image by the image forming unit to form an edge image including a lane marker formed on a running road, and a plurality of lane marker candidates from the edge image formed by the forming unit A derivation unit that obtains the coordinates of the points and derives road parameters that apply a H∞ filter to determine the road model during traveling, and the derivation unit includes the following equation 6 that does not include an inverse matrix: The H∞ filter is calculated according to an angle determinant.

Figure 0004086759
Figure 0004086759

つぎに、請求項にかかる本発明の道路モデルの推定方法は、走行中の道路モデルを推定する道路モデルの推定方法であって、車両に搭載された撮像部により車両前方を撮像する撮像工程と、前記撮像工程による撮像画像の全画素の濃度値を微分処理して走行中の道路に形成されているレーンマーカを含むエッジ画像を形成する形成工程と、前記形成工程で形成された前記エッジ画像から複数のレーンマーカ候補点の座標を求め、これらに対してH∞フィルタを適用して走行中の道路モデルを定める道路パラメータを導出する導出工程とを備え、前記導出工程は、逆行列を含まない下記数9の対角行列式にしたがって前記H∞フィルタの演算を行うことを特徴としている。 Next, a road model estimation method according to a third aspect of the present invention is a road model estimation method for estimating a running road model, and an imaging step of imaging the front of the vehicle by an imaging unit mounted on the vehicle. And forming an edge image including a lane marker formed on a running road by differentiating density values of all pixels of the image captured in the imaging process, and the edge image formed in the formation process And a derivation step of deriving road parameters for determining a road model that is running by applying the H∞ filter to the coordinates of a plurality of candidate lane marker points from the lane marker, and the derivation step does not include an inverse matrix The calculation of the H∞ filter is performed according to the diagonal determinant of the following equation (9).

Figure 0004086759
Figure 0004086759

また、請求項にかかる本発明の道路モデルの推定方法は、走行中の道路モデルを推定する道路モデルの推定方法であって、車両に搭載された撮像部により車両前方を撮像する撮像工程と、前記撮像工程による撮像画像の全画素の濃度値を微分処理して走行中の道路に形成されているレーンマーカを含むエッジ画像を形成する形成工程と、前記形成工程で形成された前記エッジ画像から複数のレーンマーカ候補点の座標を求め、これらに対してH∞フィルタを適用して走行中の道路モデルを定める道路パラメータを導出する導出工程とを備え、前記導出工程は、逆行列を含まない下記数12の対角行列式にしたがって前記H∞フィルタの演算を行うことを特徴としている。 A road model estimation method according to a fourth aspect of the present invention is a road model estimation method for estimating a running road model, the imaging step of imaging the front of the vehicle with an imaging unit mounted on the vehicle, and A forming step of differentiating density values of all pixels of the picked-up image in the image pickup step to form an edge image including a lane marker formed on a running road, and the edge image formed in the forming step A derivation step of obtaining coordinates of a plurality of candidate lane marker points and deriving road parameters for determining a road model by applying an H∞ filter to the lane marker candidate points, wherein the derivation step does not include an inverse matrix The H∞ filter is calculated according to the diagonal determinant of Formula 12.

Figure 0004086759
Figure 0004086759

まず、請求項1、の発明によれば、H∞フィルタを適用して走行中の道路モデルを定める道路パラメータが導出される。その際、逆行列を含まないH∞フィルタの演算が、観測行列を時不変の行列Hとする具体的な前記数3、数9の対角行列式にしたがって行行われる。 First, according to the first and third aspects of the present invention, road parameters for determining a road model during traveling are derived by applying an H∞ filter. At that time, the calculation of the H∞ filter that does not include the inverse matrix is performed according to the specific diagonal determinants of Equations 3 and 9 in which the observation matrix is the time-invariant matrix H.

この場合、従来のカルマンフィルタを用いる場合と比較して、H∞フィルタが外乱に強くモデル化誤差を抑制できる特性を有することから、従来より信頼性の高い道路モデルを推定することができ、この推定結果を追従走行に使用する場合には安定した追従走行を行うことができる。しかも、H∞フィルタの演算が逆行列を含まないので、逆行列を含む演算を行う場合に比して演算負担が少なくなり、演算時間が大幅に減少し、推定処理の演算の簡素化、高速化を図ることができる。 In this case, since the H∞ filter has a characteristic that is strong against disturbance and can suppress a modeling error as compared with the case where the conventional Kalman filter is used, it is possible to estimate a road model with higher reliability than the conventional method. When the result is used for follow-up running, stable follow-up running can be performed. Moreover, since the calculation of the H∞ filter does not include an inverse matrix, the calculation burden is reduced as compared with the case of performing an operation including an inverse matrix, the calculation time is significantly reduced, the calculation of the estimation process is simplified, and the operation speed is high. Can be achieved.

また、請求項2、4の発明によれば、逆行列を含まないH∞フィルタの演算を、観測行列を時変の行列Hとする具体的な前記数6、数12の対角行列式にしたがって行い、請求項1、の発明の効果を奏することができる。 Further, according to the inventions of claims 2 and 4, the diagonal determinants of the above-mentioned formulas 6 and 12 are used for the calculation of the H∞ filter that does not include the inverse matrix and the observation matrix is the time-varying matrix H k. The effects of the inventions of claims 1 and 3 can be obtained.

つぎに、本発明をより詳細に説明するため、その一実施形態について、図1〜図12にしたがって詳述する。   Next, in order to describe the present invention in more detail, an embodiment thereof will be described in detail with reference to FIGS.

図1はブロック図、図2ないし図11はそれぞれ動作説明図であり、図12は動作説明用のフローチャートである。   FIG. 1 is a block diagram, FIGS. 2 to 11 are operation explanatory diagrams, and FIG. 12 is a flowchart for explaining operations.

<<全体説明>>
まず、装置構成、及び、この構成に基づく撮影から道路モデルを推定するまでの一連の処理について説明する。
<< Overall explanation >>
First, an apparatus configuration and a series of processes from photographing based on this configuration to estimating a road model will be described.

図1に示すように、自車に撮像部としてのCCDカメラ1が搭載され、このCCDカメラ1により自車の前方が撮像され、得られた撮像画像がビデオキャプチャボード2を介してマイクロコンピュータから成るECU3に取り込まれて処理される。   As shown in FIG. 1, a CCD camera 1 as an imaging unit is mounted on the own vehicle, the front of the own vehicle is imaged by the CCD camera 1, and the obtained captured image is transmitted from a microcomputer via a video capture board 2. It is taken in by the ECU 3 and processed.

なお、CCDカメラ1による撮像処理が本発明における撮像工程に相当する。また、ECU3は、例えば、画像処理・推定処理ECU、その処理結果に基づいて車両1の走行制御、警報の処理を行うアクチュエータECU、警報ECUとして動作する。   The imaging process by the CCD camera 1 corresponds to the imaging process in the present invention. The ECU 3 operates as, for example, an image processing / estimation processing ECU, an actuator ECU that performs traveling control of the vehicle 1 and processing of an alarm based on the processing result, and an alarm ECU.

さらに、ECU3がCCDカメラ1による毎フレームの撮像画像を取り込むと、このECU3は、その画像処理・推定処理ECU動作により、取り込んだ画像の全画素の濃度値を微分2値化処理してエッジ画像を形成し、形成したエッジ画像から、道路に形成されているレーンマーカ(白線)に対応するレーンマーカ候補点を複数抽出し、抽出した複数のレーンマーカ候補点の座標を求め、これらに対してH∞フィルタを適用して、すなわち、H∞フィルタリングを実行して道路モデルを定める道路パラメータを導出する。   Further, when the ECU 3 captures a captured image of each frame by the CCD camera 1, the ECU 3 performs differential binarization processing on the density values of all pixels of the captured image by the image processing / estimation processing ECU operation, thereby performing edge image processing. Are extracted, a plurality of lane marker candidate points corresponding to the lane marker (white line) formed on the road are extracted from the formed edge image, the coordinates of the extracted plurality of lane marker candidate points are obtained, and H∞ filter is obtained for these , That is, H∞ filtering is performed to derive road parameters that define a road model.

このとき、ECU3は、車両のピッチ角及びCCDカメラ1の地上高さを用いて、車両のレーンマーカに対する横方向変位、レーンマーカが描く曲線の道路曲率、車両のヨー角について推定を行って道路パラメータを演算する。   At this time, the ECU 3 uses the pitch angle of the vehicle and the ground height of the CCD camera 1 to estimate the lateral displacement of the vehicle with respect to the lane marker, the road curvature of the curve drawn by the lane marker, and the yaw angle of the vehicle. Calculate.

なお、ECU3による前記のエッジ画像の形成処理が形成部の処理及び形成工程に相当し、ECU3による前記の道路パラメータの導出処理が導出部の処理及び導出工程に相当する。   The edge image forming process by the ECU 3 corresponds to the forming part process and forming process, and the road parameter deriving process by the ECU 3 corresponds to the deriving part process and deriving process.

つぎに、前記の道路パラメータの導出について、具体的に説明する。   Next, the derivation of the road parameters will be specifically described.

まず、CCDカメラ1の撮像面における画像座標系x−yと、実際の道路面に対応する道路座標系X−Y−Zとの関係は図2に示すようになっており、画像座標系のx軸、y軸は、道路座標系のX軸、Y軸に対して平行であり、道路座標系の中心はCCDカメラ1のレンズの中心及び撮像面の中心と一致する。   First, the relationship between the image coordinate system xy on the imaging surface of the CCD camera 1 and the road coordinate system XYZ corresponding to the actual road surface is as shown in FIG. The x-axis and y-axis are parallel to the X-axis and Y-axis of the road coordinate system, and the center of the road coordinate system coincides with the center of the lens of the CCD camera 1 and the center of the imaging surface.

なお、図2のfはCCDカメラ1のレンズの焦点距離、h0 はCCDカメラ1の取付位置までの地上高さである。   In FIG. 2, f is the focal length of the lens of the CCD camera 1, and h0 is the height above the CCD camera 1 mounting position.

このような配置において、道路座標系と画像座標系との間には、つぎの数13の式のような関係が成立する。   In such an arrangement, the following relationship is established between the road coordinate system and the image coordinate system.

Figure 0004086759
Figure 0004086759

さらに、このように道路座標系を設定した場合、道路構造を示す道路モデルは、つぎの数14のX、Yの2式に示すように、X、Yに関して独立な多項式で近似できることはよく知られている。   Further, when the road coordinate system is set in this way, it is well known that the road model indicating the road structure can be approximated by independent polynomials with respect to X and Y as shown in the following two equations X and Y. It has been.

ただし、数14の2式は、高速道路のように曲率が小さく滑らかに変化し、道路の縦断勾配は一定で、横断勾配は存在しないことを仮定している。   However, Equation (2) assumes that the curvature is small and smoothly changes as in an expressway, the longitudinal gradient of the road is constant, and there is no crossing gradient.

Figure 0004086759
Figure 0004086759

そして、数13、数14の式を整理すると、つぎの数15の式が得られ、この式は、撮像面中のレーンマーカ候補点の座標値(x,y)と車両挙動でもある道路モデルパラメータ(ρ、ψ、yc)との関係を示している。   Then, rearranging the formulas (13) and (14) gives the following formula (15), which is the road model parameter that is also the coordinate value (x, y) of the lane marker candidate point on the imaging surface and the vehicle behavior. The relationship with (ρ, ψ, yc) is shown.

Figure 0004086759
Figure 0004086759

そして、図3に示すように、ρは道路曲率、ψは車両のヨー角、yc は車両のレーンマーカに対する横変位である。   As shown in FIG. 3, ρ is the road curvature, ψ is the vehicle yaw angle, and yc is the lateral displacement of the vehicle with respect to the lane marker.

また、図4に示すように、数15の式中のfは上記した焦点距離、WL は道路幅、h0 はCCDカメラ1の地上高さ、βはCCDカメラ1の俯角つまり車両のピッチ角であり、これらは既知としている。   As shown in FIG. 4, f in the equation 15 is the focal length, WL is the road width, h0 is the ground height of the CCD camera 1, and β is the depression angle of the CCD camera 1, that is, the pitch angle of the vehicle. Yes, these are known.

そして、画像処理によって得られたレーンマーカ候補点の画像座標値(x,y)に基づき、H∞フィルタの推定演算(フィルタリング)で道路モデル及び車両挙動、つまり道路パラメータ(ρ,ψ,yc )を、つぎのように推定する。   Then, based on the image coordinate values (x, y) of the lane marker candidate points obtained by the image processing, the road model and the vehicle behavior, that is, the road parameters (ρ, ψ, yc) are calculated by the estimation calculation (filtering) of the H∞ filter. The estimation is as follows.

いま、時刻kの画像フレーム中に検出されたi番目(i=0、1、…、i)のレーンマーカ候補点の座標を(posx(i)、posy(i))と表記するとして、推定すべき状態変数を、x=(ρ、ψ、yc とし、H∞フィルタが白色ガウス雑音によって駆動されるものとすると、その状態方程式は、つぎの数16の式で示される。 Assume that the coordinates of the i-th (i = 0, 1,..., I) lane marker candidate point detected in the image frame at time k are expressed as (posx (i), posy (i)). When the power state variable is x k = (ρ k , ψ k , y c k ) t and the H∞ filter is driven by white Gaussian noise, the state equation is expressed by the following equation (16). .

Figure 0004086759
Figure 0004086759

さらに、この数16の式を離散方程式に変換し、数15の式をH∞フィルタの出力方程式とすると、このH∞フィルタの状態空間モデルは、つぎの数17の状態変数(状態ベクトル)xk+1、観測値(観測ベクトル)yの2式(状態方程式、出力方程式)で表され、式中のF、G、Hは前記状態空間モデルの状態遷移行列、駆動行列、観測行列であり、vは観測雑音(未知雑音)、wはシステム雑音(既知雑音)である。 Further, when the equation of the equation 16 is converted into a discrete equation and the equation of the equation 15 is used as an output equation of the H∞ filter, the state space model of the H∞ filter can be expressed by the following state variable (state vector) x k + 1 and observation value (observation vector) y k are represented by two expressions (state equation, output equation), and F, G, and H in the expression are a state transition matrix, a drive matrix, and an observation matrix of the state space model, v k is observation noise (unknown noise), and w k is system noise (known noise).

なお、レーンマーカ候補点のy座標(図2参照)は固定値とすることができるので、ここでは、観測行列Hは時不変であるとする。   Since the y coordinate (see FIG. 2) of the lane marker candidate point can be a fixed value, it is assumed here that the observation matrix H is time-invariant.

Figure 0004086759
Figure 0004086759

そして、上記した数17の状態変数xk+1及び観測値yについてのH∞フィルタのフィルタリングのアルゴリズムは、H∞フィルタのフィルタ特性(レベル)を設定する制御パラメータγ>0に基づいてH∞ノルムを最小にするフィルタを構築するものであり、つぎの数18〜数20の式で与えられる。 Then, the filtering algorithm of the H∞ filter for the state variable x k + 1 and the observed value y k of Equation 17 described above is based on the control parameter γ f > 0 that sets the filter characteristic (level) of the H∞ filter. A filter that minimizes the norm is constructed and is given by the following equations (18) to (20).

このとき、推定値を示す^を付した誤差の共分散行列Pk|k−1は、数21に示す不等式(存在条件)、すなわちフィルタ存在条件式を満たす必要がある。 At this time, the error covariance matrix P k | k−1 with ^ indicating the estimated value needs to satisfy the inequality (existence condition) shown in Equation 21, that is, the filter existence condition expression.

Figure 0004086759
Figure 0004086759

Figure 0004086759
Figure 0004086759

Figure 0004086759
Figure 0004086759

Figure 0004086759
Figure 0004086759

そして、数18〜数20の式にしたがってフィルタリングの演算を行うH∞フィルタにより状態変数x=(ρk、ψk、ycの推定をシミュレーションしたところ、つぎの結果が得られた。 Then, when the estimation of the state variables x k = (ρ k, ψ k, y c k ) t was simulated by the H∞ filter that performs the filtering operation according to the equations (18) to (20), the following results were obtained. .

なお、このシミュレーションでは、車速を40km/hで一定とし、道路幅WL を3.15m、CCDカメラ1の地上高さh0 を1.25m、CCDカメラ1のピッチ角を9.5゜とし、図5に示すように、車両が直線コースの中央を直進走行し、時間2sの手前から左側(+側)に1.3m横変位した後、中央に復帰して再び直進走行する場合におけるレーンマーカ候補点の座標をECU3のH∞フィルタに入力してフレーム毎に計算し、その性能を評価したものである。   In this simulation, the vehicle speed is constant at 40 km / h, the road width WL is 3.15 m, the ground height h0 of the CCD camera 1 is 1.25 m, and the pitch angle of the CCD camera 1 is 9.5 °. As shown in FIG. 5, the lane marker candidate points when the vehicle travels straight in the center of the straight course, laterally displaces 1.3 m from the front of time 2s to the left (+ side), then returns to the center and travels straight again. Are input to the H∞ filter of the ECU 3 and calculated for each frame, and the performance is evaluated.

また、図5は上から順番に道路曲率ρ、ヨー角ψ、車両の横変位yc のシミュレーションデータを表わしている。   FIG. 5 shows simulation data of road curvature ρ, yaw angle ψ, and lateral displacement yc of the vehicle in order from the top.

そして、推定誤差の分散σv=0でノイズ(誤差)が存在しない場合の結果を図6に、σv=4のノイズがある場合の結果を図7に、カメラピッチ角を9.5゜から7.5゜に変化させてσv=4のノイズがある場合の結果を図8にそれぞれ示す。 FIG. 6 shows the result when noise (error) does not exist when variance of estimation error σv 2 = 0, FIG. 7 shows the result when noise of σv 2 = 4, and the camera pitch angle is 9.5 °. FIG. 8 shows the results when there is noise of σv 2 = 4 by changing the angle from 7.5 ° to 7.5 °.

なお、比較のために、カルマンフィルタを用いた場合の推定結果も各図に同時に示し、図6〜8中の1点鎖線が図5に示す真値、実線がH∞フィルタの推定結果、破線がカルマンフィルタの推定結果を表わしている。   For comparison, the estimation results when the Kalman filter is used are also shown in each figure. The dashed line in FIGS. 6 to 8 is the true value shown in FIG. 5, the solid line is the estimation result of the H∞ filter, and the broken line is It shows the estimation result of the Kalman filter.

図6の結果より、H∞フィルタ及びカルマンフィルタ共に、ヨー角ψ及び車両横変位yc の推定ではほぼ真値通りとなっているのに対し、曲率ρの推定では特にカルマンフィルタによる結果の誤差が際だって大きくなっていることがわかる。これは、直線路に対して曲率を考慮した道路モデルを適用したために生じたモデル誤差によるものであると考えられる。一方、H∞フィルタでは、モデル化誤差に対してロバストな特性を有することから、ほぼ真値に等しい値を推定していることがわかる。   From the results of FIG. 6, both the H∞ filter and the Kalman filter are almost true values in the estimation of the yaw angle ψ and the vehicle lateral displacement yc, whereas in the estimation of the curvature ρ, the error due to the Kalman filter is particularly significant. You can see that it is getting bigger. This is considered to be due to a model error caused by applying a road model in consideration of curvature to a straight road. On the other hand, the H∞ filter has a characteristic robust to the modeling error, and thus it can be seen that a value almost equal to the true value is estimated.

また、図7の結果より、ノイズレベルに応じて推定結果のバラツキが大きくなるが、H∞フィルタの方が、より真値に近い推定結果を示していることがわかる。とくにカルマンフィルタによる横変位yc の推定には遅れが存在するが、H∞フィルタによる横変位yc の推定には遅れがなく、H∞フィルタが入力に対する追従性に優れていることがわかる。   Further, from the result of FIG. 7, it can be seen that the variation of the estimation result increases according to the noise level, but the H∞ filter shows an estimation result closer to the true value. In particular, there is a delay in the estimation of the lateral displacement yc by the Kalman filter, but there is no delay in the estimation of the lateral displacement yc by the H∞ filter, and it can be seen that the H∞ filter is excellent in followability to the input.

さらに、図8は車両の走行中に発生するピッチング運動による劣化を調べたもので、その結果より、モデル化誤差が存在しても、H∞フィルタの方がカルマンフィルタと比較して良好な推定結果を示していることがわかる。   Further, FIG. 8 shows the deterioration due to the pitching motion that occurs during the traveling of the vehicle. From the result, even if there is a modeling error, the H∞ filter is better than the Kalman filter. It can be seen that

つぎに、実際に車両に搭載したCCDカメラ1の図9に示す撮像画像からレーンマーカ候補点を検出した場合について説明する。   Next, a case where a lane marker candidate point is detected from the captured image shown in FIG. 9 of the CCD camera 1 actually mounted on the vehicle will be described.

まず、レーンマーカ候補点の検出は、入力画像(図9参照)をECU3により微分処理して2値化し、図10に示すような微分2値化画像(エッジ画像)を取得し、その2値化画像を水平方向にスキャンし、レーンマーカの幅に相当する画素数分の連続した白点が存在すれば、それをレーンマーカ候補点とすることで行った。   First, lane marker candidate points are detected by binarizing the input image (see FIG. 9) by the ECU 3 to obtain a binarized binarized image (edge image) as shown in FIG. The image was scanned in the horizontal direction, and if there were continuous white spots corresponding to the number of pixels corresponding to the width of the lane marker, this was performed as a lane marker candidate point.

なお、前記の微分処理にはソルベフィルタを使用した。また、実験走行中、フレーム20〜60の間、フレーム70〜120の間に2回左側へ1.3m程度ふらつき走行を行った。このとき、道路幅WL は3.15m、CCDカメラ1の地上高さh0 は1.25m、CCDカメラ1のピッチ角βは9.5゜としている。   A sorbet filter was used for the differentiation process. Further, during the test run, the run was performed about 1.3 m to the left between the frames 20 to 60 and the frames 70 to 120. At this time, the road width WL is 3.15 m, the ground height h0 of the CCD camera 1 is 1.25 m, and the pitch angle β of the CCD camera 1 is 9.5 °.

図11はその推定結果を示し、実線がH∞フィルタ、1点鎖線が比較のためのカルマンフィルタを表わし、これよりヨー角ψでの推定誤差は大きいが、車両横変位yc に関しては良好に推定されていることがわかる。   FIG. 11 shows the estimation results. The solid line represents the H∞ filter and the one-dot chain line represents the Kalman filter for comparison. The estimation error at the yaw angle ψ is larger than this, but the vehicle lateral displacement yc is estimated well. You can see that

また、画像処理によるレーンマーカ候補点の検出では、影やノイズの影響によって入力値が劣化するためその影響が懸念されるが、図11に示すように、フレーム110付近において影による外乱が発生した場合、カルマンフィルタの推定誤差は非常に大きくなっているのに対し、H∞フィルタでは、このような外乱が存在する場合であっても、比較的安定して推定を行っていることがわかる。   In addition, in the detection of lane marker candidate points by image processing, the input value deteriorates due to the influence of shadows and noise, but there is a concern about the influence. However, as shown in FIG. It can be seen that the estimation error of the Kalman filter is very large, whereas the H∞ filter performs the estimation relatively stably even when such a disturbance exists.

すなわち、この実施形態の場合、H∞フィルタを適用して走行中の道路モデルを定める道路パラメータを導出するため、従来のカルマンフィルタを用いる場合と比較して、H∞フィルタのロバストな特性に基づき、外乱に強くモデル化誤差を抑制できることから、より信頼性の高い道路モデルの推定を行うことができる。   That is, in the case of this embodiment, in order to derive the road parameters that determine the road model that is running by applying the H∞ filter, compared to the case of using the conventional Kalman filter, based on the robust characteristics of the H∞ filter, Since the modeling error can be suppressed strongly against disturbance, a more reliable road model can be estimated.

そのため、このH∞フィルタによる道路パラメータの推定結果に基づき、ECU3がアクチュエータECU、警報ECUとして動作することにより、例えば、追従走行の制御、警報を正確に行うことができ、安心感を与える、安全で安定した追従走行が実現する。   For this reason, the ECU 3 operates as the actuator ECU and the alarm ECU based on the road parameter estimation result by the H∞ filter, so that, for example, the follow-up running control and the alarm can be performed accurately, giving a sense of security. Realizes stable follow-up driving.

<<制御パラメータγの決定>>
つぎに、前記数21のフィルタ存在条件式の制御パラメータγの決定について説明する。
<< Determination of control parameter γ f >>
Next, the determination of the control parameter γ f of the filter existence conditional expression of Equation 21 will be described.

前記のH∞フィルタによってフィルタリングの演算をする際、数21のフィルタ存在条件式の制御パラメータγを小さくする程、推定精度は向上するが、フィルタ存在条件式を満たすことが難しくなるため、制御パラメータγをどのように決定して設定するかが、フィルタ設計上、極めて重要である。 When the filtering operation is performed by the H∞ filter, the estimation accuracy is improved as the control parameter γ f of the filter existence conditional expression (21 ) is decreased. However, it is difficult to satisfy the filter existence conditional expression. How to determine and set the parameter γ f is extremely important for filter design.

そして、H∞フィルタの理論の分野では、「γ‐イテレーション」と呼ばれる手法により、制御パラメータγを適当な値に初期設定した後、前記数21のフィルタ存在式を満足することを確認しながら制御パラメータγを少しずつ小さくすることをくり返し、制御パラメータγを最適値に決定して設定することが知られている。 Then, in the field of H∞ filter theory, after initializing the control parameter γ f to an appropriate value by a technique called “γ-iteration”, while confirming that the filter existence formula of the formula 21 is satisfied. It is known to repeatedly reduce the control parameter γ f little by little and determine and set the control parameter γ f to an optimum value.

しかしながら、H∞フィルタを道路モデルの推定に適用する場合、制御パラメータγの適当な初期値を定めることは難しく、制御パラメータγを少しずつ小さくする演算をくり返すと、ECU3の計算量負担が極めて大きくなり、演算に時間がかかり、迅速に推定することができなくなり、実用的でない。 However, when applying the H∞ filter for estimation of the road model, to define the appropriate initial value of the control parameter gamma f is difficult, when repeating the operation to reduce the control parameter gamma f slightly, computational burden ECU3 Becomes extremely large, takes time for calculation, and cannot be estimated quickly, which is not practical.

そこで、制御パラメータγを、つぎに説明するように、演算のくり返し等を行うことなく、迅速に最適値に決定して設定する。 Therefore, the control parameter γ f is quickly determined and set to the optimum value without repeating the calculation as described below.

まず、前記数21のフィルタ存在条件式を、観測雑音vを用いて、つぎの数22の式に変形する。 First, the filter presence condition of the number 21, by using the observation noise v k, deformed equation of the number of the next 22.

Figure 0004086759
Figure 0004086759

この数22の式の観測雑音vは、^を付した誤差の共分散行列Pk|k−1が実対称行列であって、観測雑音vも実対称行列になることから、つぎの数23の対角化の式に示すように、対角化可能である。 The observation noise v k in the equation (22) is such that the error covariance matrix P k | k−1 with ^ is a real symmetric matrix, and the observation noise v k is also a real symmetric matrix. Diagonalization is possible, as shown in the diagonalization equation of Equation 23.

Figure 0004086759
Figure 0004086759

なお、数23の式において、U=(v、v、…、v)であり、観測雑音vの固有値をλ、(i=1、2、…、N)とすると、vは固有値λに対する固有ベクトルである。但し、ノルム‖v‖=1とする。 In Equation 23, when U = (v 1 , v 2 ,..., V N ) and the eigenvalue of the observation noise v k is λ i , (i = 1, 2,..., N), v i is an eigenvector for the eigenvalue λ i . However, the norm ‖v i ‖ = 1.

そして、数22、数23の2式より、数21のフィルタ存在条件式は、つぎの数24の不等式に変形できる。   Then, from the two expressions of Expressions 22 and 23, the filter existence conditional expression of Expression 21 can be transformed into the following inequality of Expression 24.

Figure 0004086759
Figure 0004086759

さらに、種々の推定問題の観測行列と同様、観測行列Hを単位行列Iとすることができ、また、UU=Iであることから、数24の式は、単位行列Iを用いたつぎの数25の不等式と等価である。 Further, similarly to the observation matrix of various estimation problems, the observation matrix H can be the unit matrix I, and U t U = I. This is equivalent to the inequality of number 25.

Figure 0004086759
Figure 0004086759

そして、数25の不等式が成立するには、その左辺が正定行列となる必要があり、この正定行列の必要十分条件は、その固有値がすべて正であることである。   In order to hold the inequality of Equation 25, the left side must be a positive definite matrix, and the necessary and sufficient condition for this positive definite matrix is that all of its eigenvalues are positive.

この正定行列の必要十分条件と数25の式とにより、制御パラメータγを決定する、前記の数2(数5)の決定式、すなわち、つぎの数26の固有値λの不等式からなる制御パラメータγの決定式を導出することができ、この決定式は、定数εによって不等式となる。 The control parameter γ f is determined based on the necessary and sufficient condition of the positive definite matrix and the formula (25). The control formula (2) (the formula 5), that is, the control consisting of the following inequality λ i inequality A determinant of the parameter γ f can be derived, and this determinant becomes an inequality with a constant ε.

Figure 0004086759
Figure 0004086759

そして、ECU3は、制御パラメータγを決定して設定する際、前記の「γ‐イテレーション」と呼ばれる手法による演算のくり返しを行うことなく、数26の決定式の演算から、直ちに制御パラメータγを決定して設定する。そのため、この実施形態の場合、ECU3の計算量負担が少なく、迅速に制御パラメータγを決定し、道路モデルを迅速に推定することができる。 Then, ECU 3, the control parameter when setting determines the gamma f, wherein the "γ- iteration" and repeated without performing the computation by a method called, from the calculation of the number 26 determination formulas immediately control parameter gamma f Determine and set. Therefore, in the case of this embodiment, the calculation amount burden of the ECU 3 is small, and the control parameter γ f can be determined quickly and the road model can be estimated quickly.

<<フィルタリングの演算>>
つぎに、H∞フィルタのフィルタリングの演算について説明する。
<< Filtering operation >>
Next, the filtering operation of the H∞ filter will be described.

まず、H∞フィルタのフィルタリングのアルゴリズムは、前記したように、制御パラメータγに基づいてH∞ノルムを最小にするフィルタを構築するものであり、基本的には、前記の数18〜数20の式で与えられた演算をECU3が行うものである。 First, the filtering algorithm of the H∞ filter is to construct a filter that minimizes the H∞ norm based on the control parameter γ f as described above. The ECU 3 performs the calculation given by the following equation.

そして、数19の式はフィルタ方程式であり、数20の(a)式、(b)式はいわゆるリカッチ方程式であり、とくに、このリカッチ方程式の演算においては、(b)式で行列Re、kを求め、(a)式で逆行列R−1 e、kを求める必要がある。 Equation (19) is a filter equation, and Equations (a) and (b) are so-called Riccati equations. In particular, in the operation of this Riccati equation, a matrix R e, It is necessary to obtain k and to obtain the inverse matrix R −1 e, k using equation (a).

この場合、例えば、観測ベクトルyの次数を10とし、状態変数xの次数を3とすると、すなわち、未知数が3個で観測データが10個とすると、行列Re、kの次数が3×13になって演算するデータ量が極めて多くなり、前記の逆行列の演算のデータ量は著しく多くなる。 In this case, for example, if the order of the observation vector y k is 10 and the order of the state variable x k is 3, that is, if the unknown is 3 and the observation data is 10 , the order of the matrix Re, k is 3 The amount of data to be calculated becomes x13 and the amount of data to be calculated becomes extremely large.

一般に、逆行列の演算量は、そのサイズの3乗に比例し、例えば、3×3の行列の逆演算と13×13の行列の逆演算の演算量O(N)の比は、O(3):O(13)=O(27):O(2197)であり、後者の演算量が前者の演算量の80倍程度になる。 In general, the amount of computation of the inverse matrix is proportional to the cube of its size. For example, the ratio of the amount of computation O (N 3 ) between the inverse operation of the 3 × 3 matrix and the inverse operation of the 13 × 13 matrix is O (3 3 ): O (13 3 ) = O (27): O (2197), and the latter calculation amount is about 80 times the former calculation amount.

そして、逆行列の演算を行わないようにして演算量を少なくし、計算時間の短縮を図るため、この実施形態にあっては、つぎに説明するようにする。   Then, in order to reduce the calculation amount and reduce the calculation time by not performing the inverse matrix calculation, this embodiment will be described next.

すなわち、行列Hを時不変とすることから、つぎの数27の式の行列Dを用いて前記数20の(a)式、(b)式のリカッチ方程式を整理すると、数28の式を得ることができる。   That is, since the matrix H is time-invariant, when the Riccati equations of the equations (a) and (b) of the equation (20) are arranged using the matrix D of the following equation (27), the equation of the equation (28) is obtained. be able to.

Figure 0004086759
Figure 0004086759

Figure 0004086759
Figure 0004086759

この数28の式の「{ }」の部分に逆行列補題(逆行列の補助定理)を適用すると、つぎの数29の式を得る。   When the inverse matrix lemma (inverse matrix lemma) is applied to the part of “{}” in Equation 28, the following Equation 29 is obtained.

Figure 0004086759
Figure 0004086759

さらに、観測雑音vの行列は前記の数22の式で表すことができ、このとき、観測雑音vは実対称行列であって前記数23の式に示したように対角化可能であることから、数29の式は数30の式で表すことができる。 Further, the matrix of the observation noise v k can be expressed by the equation (22). At this time, the observation noise v k is a real symmetric matrix and can be diagonalized as shown in the equation (23). Therefore, the formula 29 can be expressed by the formula 30.

Figure 0004086759
Figure 0004086759

そして、つぎの数31の2式の行列A、Bを数30の式の両辺に乗算して数32の式を得、この数32の式を整理すると、数33の式を得ることができる。   Then, by multiplying the two matrices A and B of the following equation 31 by both sides of the equation 30 to obtain the equation 32, the equation 32 can be obtained by rearranging the equation 32. .

Figure 0004086759
Figure 0004086759

Figure 0004086759
Figure 0004086759

Figure 0004086759
Figure 0004086759

したがって、逆行列を含む数20のリカッチ方程式を、逆行列を含まない数33の対角行列式で定式化できることが判明した。   Therefore, it has been found that the Ricacci equation of the number 20 including the inverse matrix can be formulated by the diagonal determinant of the number 33 not including the inverse matrix.

そこで、ECU3は、数20のリカッチ方程式の演算をする代わりに、数34の対角行列式の定式演算を行ってフィルタリングを行い、状態変数x=(ρk、ψk、ycを推定する。 Therefore, instead of calculating the Riccati equation of Formula 20, the ECU 3 performs the filtering by performing the formula calculation of the diagonal determinant of Formula 34, and the state variables x k = (ρ k, ψ k, y c k ) t Is estimated.

この場合、逆行列の演算を含む数20のリカッチ方程式の演算を行う場合に比してECU3の演算負担が少なくなり、その演算時間が大幅(概算で1/2程度)に減少して迅速に状態変数x=(ρk、ψk、ycを推定することができる。 In this case, the calculation burden on the ECU 3 is reduced as compared with the case of calculating the number 20 Riccati equation including the calculation of the inverse matrix, and the calculation time is greatly reduced (about 1/2) and quickly. State variables x k = (ρ k, ψ k, y c k ) t can be estimated.

なお、ECU3の画像処理・推定処理ECUとしての動作は、例えば、図12のステップS1〜S3のフローチャートに示すようになる。   The operation of the ECU 3 as the image processing / estimation processing ECU is, for example, as shown in the flowchart of steps S1 to S3 in FIG.

<<観測行列が時変の場合>>
前記の実施形態においては、観測行列Hを時不変とし、行列F、G、H等を時不変の行列(定数行列)としたが、例えば推定結果を追従走行の車線逸脱防止の制御等に用いるような場合は、H∞フィルタとして、観測行列Hが時変で、行列F、G、H等が時変(時間変化する)の行列になる時変システムが必要になり、この時変システムの場合にも、本発明は同様に適用することができる。
<< When the observation matrix is time-varying >>
In the above-described embodiment, the observation matrix H is time-invariant and the matrices F, G, H, etc. are time-invariant matrices (constant matrix). In such a case, a time-varying system in which the observation matrix H is time-varying and the matrices F, G, H, etc. are time-varying (time-varying) is required as an H∞ filter. Even in this case, the present invention can be similarly applied.

<制御パラメータγの決定>
時変システムの場合、時刻kを用いることにより、状態方程式、出力方程式は、数17に代わるつぎの数34の2式で表される。
<Determination of control parameter γ f >
In the case of a time-varying system, by using the time k, the state equation and the output equation are expressed by the following two equations 34 instead of equation 17.

Figure 0004086759
Figure 0004086759

さらに、この数34の2式で表されるH∞フィルタのフィルタリングのアルゴリズムは、状態変数xの観測誤差を含む符号〜を付した線形結合zk|kの数35の式及び、数18〜数20の式に代わる数36、数37、数38の式で与えられる。 Further, the filtering algorithm of the H∞ filter represented by the two expressions of Expression 34 is expressed by Expression 35 of the linear combination z k | k with a sign ˜ including the observation error of the state variable x k and Expression 18 ## EQU20 ## Expressions 36, 37, and 38 are substituted for the expression (20).

Figure 0004086759
Figure 0004086759

Figure 0004086759
Figure 0004086759

Figure 0004086759
Figure 0004086759

Figure 0004086759
Figure 0004086759

また、前記の数21のフィルタ存在式は、つぎの数39のフィルタ存在条件式に置き換えることができる。   In addition, the filter existence formula of the equation (21) can be replaced with the following filter existence condition equation of the equation (39).

Figure 0004086759
Figure 0004086759

さらに、数22の式の観測雑音vは、時変の場合、つぎの数40の式で示される。 Further, the observation noise v k in the formula 22 is expressed by the following formula 40 in the case of time variation.

Figure 0004086759
Figure 0004086759

そして、数23の対角化の式と数40の式とに基づき、数24に対応するつぎの数41のフィルタ存在条件式としての不等式が得られる。   Then, based on the diagonalization expression of Expression 23 and the expression of Expression 40, an inequality as a filter existence condition expression of Expression 41 corresponding to Expression 24 is obtained.

Figure 0004086759
Figure 0004086759

そして、この数41のフィルタ存在式についても、制御パラメータγの決定式は前記数26の固有値の不等式で表される。 Also, with respect to the filter existence formula of Formula 41, the determination formula of the control parameter γ f is expressed by the inequality of the eigenvalue of Formula 26.

したがって、時変システムの場合も、ECU3は、演算のくり返しを行うことなく、数26の不等式の演算から、直ちに制御パラメータγを決定して設定することができる。 Accordingly, even in the case of a time-varying system, the ECU 3 can immediately determine and set the control parameter γ f from the calculation of the inequality of Equation 26 without repeating the calculation.

<H∞フィルタのフィルタリングの演算>
つぎに、この時変システムの場合、リカッチ方程式は、数20の(a)式、(b)式に代わる数38の(a*)式、(b*)式になる。
<Filtering operation of H∞ filter>
Next, in the case of this time-varying system, the Riccati equation becomes an equation (a *) and an equation (b *) in the equation 38 instead of the equations (a) and (b) in the equation 20.

そして、この数38の(a*)式、(b*)式の場合も、(b*)式に行列Re、kが含まれ、(a*)式に逆行列R−1 e、kが含まれるが、数27の式の行列Dに代わるつぎの数42の行列Dを用いて数38の(a*)式、(b*)式のリカッチ方程式を整理すると、数28の式に代わる数43の式が得られる。 In the case of Equations (a *) and (b *) in Expression 38, the matrix R e, k is included in the (b *) equation, and the inverse matrix R −1 e, k is included in the (a *) equation. but are number 38 (a *) equation using the matrix D k number 42 following an alternative to expression of matrix D having 27, and rearranging the Riccati equation of (b *) type, number 28 the formula Equation 43 in place of is obtained.

Figure 0004086759
Figure 0004086759

Figure 0004086759
Figure 0004086759

そして、数43の式の「{ }」の部分に逆行列補題(逆行列の補助定理)を適用すると、つぎの数44の式を得る。   Then, when the inverse matrix lemma (inverse matrix lemma) is applied to the part of “{}” in Expression 43, the following Expression 44 is obtained.

Figure 0004086759
Figure 0004086759

さらに、時変システムの場合、前記数40の式の観測雑音vも実対称行列であり、前記数23の式の対角化が可能であり、数40の式の観測雑音vを用いることにより、数44の式はつぎの数45の式で表すことができる。 Further, in the case of a time-varying system, the observation noise v k in the equation (40) is also a real symmetric matrix, and the equation (23) can be diagonalized, and the observation noise v k in the equation (40) is used. Thus, the formula 44 can be expressed by the following formula 45.

Figure 0004086759
Figure 0004086759

そして、数31の2式に対応するつぎの数46の2式の行列A、Bを数45の式の両辺に乗算して数47の式を得、この数47の式を整理すると、数48の式を得ることができる。 Then, the two formulas A k and B k of the following formula 46 corresponding to the formula 2 are multiplied by both sides of the formula 45 to obtain the formula 47, and the formula 47 is rearranged. , 48 can be obtained.

Figure 0004086759
Figure 0004086759

Figure 0004086759
Figure 0004086759

Figure 0004086759
Figure 0004086759

したがって、時変システムの場合も、逆行列を含む数38のリカッチ方程式を、逆行列を含まない数48の対角行列式で定式化することができ、ECU3が数48の対角行列式の定式演算を行って状態変数x=(ρk、ψk、ycを推定する。 Therefore, even in the case of a time-varying system, the Riccati equation of the number 38 including the inverse matrix can be formulated by the diagonal determinant of the number 48 not including the inverse matrix, and the ECU 3 can formulate the diagonal determinant of the number 48. Formula operations are performed to estimate the state variables x k = (ρ k, ψ k, y c k ) t .

そして、逆行列の演算を行わないため、数38のリカッチ方程式の演算を行う場合に比してECU3の演算負担が少なくなり、その演算時間が大幅に減少して演算時間が大幅に少なくなって迅速に状態変数x=(ρk、ψk、ycの推定を行うことができる。 Since the inverse matrix is not calculated, the calculation burden on the ECU 3 is reduced as compared with the case of calculating the Riccati equation of Equation 38, the calculation time is greatly reduced, and the calculation time is greatly reduced. The state variable x k = (ρ k, ψ k, y c k ) t can be estimated quickly.

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。   The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention.

ところで、H∞フィルタによる推定結果の適用範囲は、上記した追従走行等の制御に限定されるものではなく、その他の車両走行時における種々の走行補助の制御にも適用できるのは勿論である。   By the way, the application range of the estimation result by the H∞ filter is not limited to the control such as the follow-up traveling described above, and it is needless to say that it can be applied to various travel assist controls during other vehicle travels.

この発明の一実施形態のブロック図である。It is a block diagram of one embodiment of this invention. この発明の一実施形態の動作説明図である。It is operation | movement explanatory drawing of one Embodiment of this invention. この発明の一実施形態の動作説明図である。It is operation | movement explanatory drawing of one Embodiment of this invention. この発明の一実施形態の動作説明図である。It is operation | movement explanatory drawing of one Embodiment of this invention. この発明の一実施形態の動作説明図である。It is operation | movement explanatory drawing of one Embodiment of this invention. この発明の一実施形態の動作説明図である。It is operation | movement explanatory drawing of one Embodiment of this invention. この発明の一実施形態の動作説明図である。It is operation | movement explanatory drawing of one Embodiment of this invention. この発明の一実施形態の動作説明図である。It is operation | movement explanatory drawing of one Embodiment of this invention. この発明の一実施形態の動作説明図である。It is operation | movement explanatory drawing of one Embodiment of this invention. この発明の一実施形態の動作説明図である。It is operation | movement explanatory drawing of one Embodiment of this invention. この発明の一実施形態の動作説明図である。It is operation | movement explanatory drawing of one Embodiment of this invention. この発明の一実施形態の動作説明用のフローチャートである。It is a flowchart for operation | movement description of one Embodiment of this invention.

符号の説明Explanation of symbols

1 CCDカメラ(撮像部)
3 ECU(形成部、導出部)
1 CCD camera (imaging part)
3 ECU (Forming part, Deriving part)

Claims (4)

走行中の道路モデルを推定する道路モデルの推定装置であって、
車両に搭載され車両前方を撮像する撮像部と、
前記撮像部による撮像画像の全画素の濃度値を微分処理して走行中の道路に形成されているレーンマーカを含むエッジ画像を形成する形成部と、
前記形成部により形成された前記エッジ画像から複数のレーンマーカ候補点の座標を求め、これらに対してH∞フィルタを適用して走行中の道路モデルを定める道路パラメータを導出する導出部とを備え、
前記導出部は、逆行列を含まない下記数3の対角行列式にしたがって前記H∞フィルタの演算を行うようにしたことを特徴とする道路モデルの推定装置。
Figure 0004086759
A road model estimation device for estimating a road model during traveling,
An imaging unit mounted on the vehicle for imaging the front of the vehicle;
A forming unit that forms an edge image including a lane marker formed on a running road by differentiating density values of all pixels of the image captured by the imaging unit;
A derivation unit for obtaining coordinates of a plurality of lane marker candidate points from the edge image formed by the forming unit, and deriving road parameters for determining a road model that is running by applying an H∞ filter to the coordinates;
The derivation unit performs the calculation of the H∞ filter according to a diagonal determinant of the following formula 3 that does not include an inverse matrix:
Figure 0004086759
走行中の道路モデルを推定する道路モデルの推定装置であって、
車両に搭載され車両前方を撮像する撮像部と、
前記撮像部による撮像画像の全画素の濃度値を微分処理して走行中の道路に形成されているレーンマーカを含むエッジ画像を形成する形成部と、
前記形成部により形成された前記エッジ画像から複数のレーンマーカ候補点の座標を求め、これらに対してH∞フィルタを適用して走行中の道路モデルを定める道路パラメータを導出する導出部とを備え、
前記導出部は、逆行列を含まない下記数6の対角行列式にしたがって前記H∞フィルタの演算を行うようにしたことを特徴とする道路モデルの推定装置。
Figure 0004086759
A road model estimation device for estimating a road model during traveling,
An imaging unit mounted on the vehicle for imaging the front of the vehicle;
A forming unit that forms an edge image including a lane marker formed on a running road by differentiating density values of all pixels of the image captured by the imaging unit;
A derivation unit for obtaining coordinates of a plurality of lane marker candidate points from the edge image formed by the forming unit, and deriving road parameters for determining a road model that is running by applying an H∞ filter to the coordinates;
The road derivation apparatus is characterized in that the derivation unit performs the calculation of the H∞ filter according to a diagonal determinant of the following formula 6 that does not include an inverse matrix.
Figure 0004086759
走行中の道路モデルを推定する道路モデルの推定方法であって、A road model estimation method for estimating a road model during traveling,
車両に搭載された撮像部により車両前方を撮像する撮像工程と、An imaging step of imaging the front of the vehicle with an imaging unit mounted on the vehicle;
前記撮像工程による撮像画像の全画素の濃度値を微分処理して走行中の道路に形成されているレーンマーカを含むエッジ画像を形成する形成工程と、A forming step of forming an edge image including a lane marker formed on a running road by differentiating density values of all pixels of the captured image in the imaging step;
前記形成工程で形成された前記エッジ画像から複数のレーンマーカ候補点の座標を求め、これらに対してH∞フィルタを適用して走行中の道路モデルを定める道路パラメータを導出する導出工程とを備え、Obtaining the coordinates of a plurality of lane marker candidate points from the edge image formed in the forming step, and deriving a road parameter for determining a road model that is running by applying an H∞ filter thereto,
前記導出工程は、逆行列を含まない下記数9の対角行列式にしたがって前記H∞フィルタの演算を行うことを特徴とする道路モデルの推定方法。The derivation step performs the calculation of the H∞ filter according to a diagonal determinant of the following formula 9 that does not include an inverse matrix:
Figure 0004086759
Figure 0004086759
走行中の道路モデルを推定する道路モデルの推定方法であって、A road model estimation method for estimating a road model during traveling,
車両に搭載された撮像部により車両前方を撮像する撮像工程と、An imaging step of imaging the front of the vehicle with an imaging unit mounted on the vehicle;
前記撮像工程による撮像画像の全画素の濃度値を微分処理して走行中の道路に形成されているレーンマーカを含むエッジ画像を形成する形成工程と、A forming step of forming an edge image including a lane marker formed on a running road by differentiating density values of all pixels of the captured image in the imaging step;
前記形成工程で形成された前記エッジ画像から複数のレーンマーカ候補点の座標を求め、これらに対してH∞フィルタを適用して走行中の道路モデルを定める道路パラメータを導出する導出工程とを備え、Obtaining the coordinates of a plurality of lane marker candidate points from the edge image formed in the forming step, and deriving a road parameter for determining a road model that is running by applying an H∞ filter thereto,
前記導出工程は、逆行列を含まない下記数12の対角行列式にしたがって前記H∞フィルタの演算を行うことを特徴とする道路モデルの推定方法。The road model estimation method, wherein the derivation step performs the calculation of the H∞ filter according to a diagonal determinant of the following formula 12 that does not include an inverse matrix.
Figure 0004086759
Figure 0004086759
JP2003374383A 2002-11-05 2003-11-04 Road model estimation apparatus and method Expired - Lifetime JP4086759B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003374383A JP4086759B2 (en) 2002-11-05 2003-11-04 Road model estimation apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002321539 2002-11-05
JP2003374383A JP4086759B2 (en) 2002-11-05 2003-11-04 Road model estimation apparatus and method

Publications (2)

Publication Number Publication Date
JP2004178566A JP2004178566A (en) 2004-06-24
JP4086759B2 true JP4086759B2 (en) 2008-05-14

Family

ID=32715961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003374383A Expired - Lifetime JP4086759B2 (en) 2002-11-05 2003-11-04 Road model estimation apparatus and method

Country Status (1)

Country Link
JP (1) JP4086759B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5258859B2 (en) * 2010-09-24 2013-08-07 株式会社豊田中央研究所 Runway estimation apparatus and program

Also Published As

Publication number Publication date
JP2004178566A (en) 2004-06-24

Similar Documents

Publication Publication Date Title
US11488308B2 (en) Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN101369346B (en) A Tracking Method of Adaptive Window for Video Moving Target
KR100985805B1 (en) Image Stabilization Device and Method Using Adaptive Kalman Filter
US9947077B2 (en) Video object tracking in traffic monitoring
US9536147B2 (en) Optical flow tracking method and apparatus
US7062071B2 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image using optical flow
US8803950B2 (en) Three-dimensional face capturing apparatus and method and computer-readable medium thereof
CN107424177B (en) Positioning correction long-range tracking method based on continuous correlation filter
JP6901803B2 (en) A learning method and learning device for removing jittering from video generated by a swaying camera using multiple neural networks for fault tolerance and fracture robustness, and a test method and test device using it.
CN108229475B (en) Vehicle tracking method, system, computer device and readable storage medium
CN107564034A (en) The pedestrian detection and tracking of multiple target in a kind of monitor video
CN101366279A (en) Adaptive motion search range
CN110895807B (en) System, operating aid method and operating device for evaluating an image
CN105574894A (en) Method and system for screening moving object feature point tracking results
JP2020052585A (en) Lane line recognition device
US7221789B2 (en) Method for processing an image captured by a camera
KR101869266B1 (en) Lane detection system based on extream learning convolutional neural network and method thereof
JP5062531B2 (en) Image processing apparatus and image processing method
CN101127121A (en) A Target Tracking Algorithm Based on Adaptive Initial Search Point Prediction
JP4086759B2 (en) Road model estimation apparatus and method
CN113221739B (en) Vehicle distance measurement method based on monocular vision
CN114897939A (en) Multi-target tracking method and system based on deep path aggregation network
CN101127120B (en) A Target Tracking Algorithm Effectively Suppressing Template Drift
US20250220145A1 (en) Parallax information generation device, parallax information generation method, and parallax information generation program
CN117037268B (en) Object 6D attitude estimation method and system for stacked scene

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071023

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080219

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130228

Year of fee payment: 5