JP6651877B2 - Three-dimensional object detection device for vehicles - Google Patents
Three-dimensional object detection device for vehicles Download PDFInfo
- Publication number
- JP6651877B2 JP6651877B2 JP2016018776A JP2016018776A JP6651877B2 JP 6651877 B2 JP6651877 B2 JP 6651877B2 JP 2016018776 A JP2016018776 A JP 2016018776A JP 2016018776 A JP2016018776 A JP 2016018776A JP 6651877 B2 JP6651877 B2 JP 6651877B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- dimensional object
- vertical
- image
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、自車両の周囲に存在する立体物を検出する車両用立体物検出装置に係る。 The present invention relates to a vehicle three-dimensional object detection device that detects a three-dimensional object existing around a host vehicle.
車両用立体物検出装置は、左右に隔置された二つのカメラにより自車両の前方を撮像する撮像装置と、撮像装置により撮像された画像に基づいて視差画像を生成し、視差画像を処理して自車両の前方に存在する立体物を検出する画像処理装置と、を有している。画像処理装置における視差画像の処理及び立体物の検出の要領について、従来種々の提案がなされている。 The three-dimensional object detection device for a vehicle generates an parallax image based on an image captured by the imaging device and an imaging device that captures an image in front of the own vehicle by two cameras separated from each other on the left and right, and processes the parallax image. And an image processing device for detecting a three-dimensional object existing in front of the host vehicle. Conventionally, various proposals have been made on the points of processing of a parallax image and detection of a three-dimensional object in an image processing apparatus.
例えば、下記の特許文献１には、視差画像に基づいて作成された垂直座標-視差の図において、分布する画素から道路面の画素を抽出して除去し、垂直座標が変化しても視差が変化しない画像部分を立体物の領域として検出する立体物検出装置が記載されている。なお、道路面の画素は垂直座標の変化に伴って視差が変化する画像部分として特定される。 For example, in the following Patent Document 1, in a vertical coordinate-parallax diagram created based on a parallax image, pixels on the road surface are extracted and removed from the distributed pixels, and even if the vertical coordinates change, the parallax is reduced. A three-dimensional object detection device that detects an unchanged image portion as a three-dimensional object region is described. It should be noted that the pixels on the road surface are specified as image portions where the parallax changes with the change in the vertical coordinates.
〔発明が解決しようとする課題〕
特許文献１に記載されているような従来の立体物検出装置においては、立体物の検出精度が道路面の検出精度に依存する。そのため、道路面の検出が不正確である場合には、立体物が実際に存在していても立体物が検出されないという検出失敗及び立体物が実際には存在しないのにも拘らず立体物が検出されるという誤検出が生じることがある。
[Problems to be solved by the invention]
In the conventional three-dimensional object detection device as described in Patent Literature 1, the three-dimensional object detection accuracy depends on the road surface detection accuracy. Therefore, when the detection of the road surface is inaccurate, the detection failure that the three-dimensional object is not detected even if the three-dimensional object actually exists, and the three-dimensional object is detected despite the fact that the three-dimensional object does not actually exist. There is a case where a false detection that the detection is performed occurs.
また、特許文献１に記載されているような従来の立体物検出装置においては、垂直座標-視差の図において分布する画素から道路面の画素が除去され、残存する画像部分が立体物の領域として検出される。そのため、実際には複数の立体物が存在するにも拘らず一つの立体物しか検出されない場合がある。 Further, in a conventional three-dimensional object detection device as described in Patent Document 1, pixels on a road surface are removed from pixels distributed in a vertical coordinate-parallax diagram, and a remaining image portion is used as a three-dimensional object region. Is detected. Therefore, only one three-dimensional object may be detected in spite of the fact that a plurality of three-dimensional objects exist.
本発明の課題は、道路面の検出精度に依存せずに、従来に比して高精度に、自車両の周囲に存在する立体物を検出することができるよう改良された車両用立体物検出装置を提供することである。 SUMMARY OF THE INVENTION An object of the present invention is to improve a three-dimensional object detection for a vehicle that can detect a three-dimensional object existing around the own vehicle with higher accuracy than before without depending on detection accuracy of a road surface. It is to provide a device.
〔課題を解決するための手段及び発明の効果〕
本発明によれば、左右に隔置された少なくとも二つのカメラにより自車両の周囲を撮像する撮像装置と、撮像装置により撮像された画像に基づいて視差画像を生成し、視差画像を処理して自車両の周囲に存在する立体物を検出する画像処理装置と、を有する車両用立体物検出装置が提供される。
[Means for Solving the Problems and Effects of the Invention]
According to the present invention, an image capturing apparatus that captures an image around the host vehicle by at least two cameras separated from each other on the left and right, and a parallax image is generated based on an image captured by the image capturing apparatus, and the parallax image is processed. An image processing device that detects a three-dimensional object existing around the host vehicle is provided.
画像処理装置は、
視差画像を水平方向に隣接する複数の部分縦長視差画像に分割する視差画像分割部と、
各部分縦長視差画像における複数の垂直座標について、各垂直座標より下側に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする下側ヒストグラムを作成する下側ヒストグラム作成部と、
各部分縦長視差画像における複数の垂直座標について、各垂直座標より上側に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする上側ヒストグラムを作成する上側ヒストグラム作成部と、
複数の垂直座標について下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量を算出する重なり量算出部と、
部分縦長視差画像毎に、画像の下端及び上端の一方から他方へ向けて重なり量の変化を求め、重なり量が極小値から増大する垂直座標を立体物の上下方向の一端の位置とし、重なり量が減少して極小値になる垂直座標を立体物の上下方向の他端の位置とし、この位置判定を垂直座標が下端及び上端の他方に至るまで繰り返す位置判定部と、
を有する。
The image processing device
A parallax image dividing unit that divides the parallax image into a plurality of horizontally elongated partial vertical parallax images,
For a plurality of vertical coordinates in each partial vertically long parallax image, based on the parallax of each pixel existing below each vertical coordinate, a lower histogram in which the horizontal axis is parallax and the vertical axis is the total number of pixels of the same parallax is obtained. A lower histogram creating unit to be created;
For a plurality of vertical coordinates in each partial vertical parallax image, based on the parallax of each pixel existing above each vertical coordinate, create an upper histogram in which the horizontal axis is parallax and the vertical axis is the total number of pixels of the same parallax. An upper histogram creating unit;
An overlap amount calculation unit that calculates an overlap amount of pixel distributions in the lower histogram and the upper histogram for a plurality of vertical coordinates,
For each partial vertical parallax image, determine the change in the amount of overlap from one of the lower and upper ends of the image to the other, and use the vertical coordinate at which the amount of overlap increases from the minimum value as the position of one end of the three-dimensional object in the vertical direction, and calculate the amount of overlap. A position determination unit that decreases the vertical coordinate at which the minimum value decreases to the position of the other end in the vertical direction of the three-dimensional object, and repeats this position determination until the vertical coordinate reaches the other of the lower end and the upper end,
Having.
上記の構成によれば、各垂直座標より下側に存在する各画素の視差に基づいて、下側ヒストグラムが作成され、各垂直座標より上側に存在する各画素の視差に基づいて、上側ヒストグラムが作成される。そして、複数の垂直座標について下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量が算出される。 According to the above configuration, a lower histogram is created based on the parallax of each pixel existing below each vertical coordinate, and an upper histogram is generated based on the parallax of each pixel existing above each vertical coordinate. Created. Then, for a plurality of vertical coordinates, the overlap amount of the pixel distribution in the lower histogram and the upper histogram is calculated.
道路のように自車両からの距離が増大するにつれて視差が連続的に小さくなる対象物の場合には、ヒストグラムにおける視差は垂直座標の変化に応じて連続的に変化する。よって、下側ヒストグラム及び上側ヒストグラムの境目となる垂直座標が道路のような対象物の領域にあるときには、該対象物の画素は下側ヒストグラム及び上側ヒストグラムの一方にのみ現れる。従って、下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量は０又は小さい。 In the case of an object whose parallax continuously decreases as the distance from the host vehicle increases, such as a road, the parallax in the histogram changes continuously according to a change in vertical coordinates. Therefore, when the vertical coordinate serving as the boundary between the lower histogram and the upper histogram is in the area of the object such as a road, the pixel of the object appears in only one of the lower histogram and the upper histogram. Therefore, the overlapping amount of the pixel distribution in the lower histogram and the upper histogram is 0 or small.
これに対し、他車両のような立体物の場合には、ヒストグラムにおける垂直座標が変化しても視差は変化しない。よって、下側ヒストグラム及び上側ヒストグラムの境目となる垂直座標が他車両のような立体物の領域にあるときには、該立体物の画素は下側ヒストグラム及び上側ヒストグラムの両方に現れる。従って、下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量は大きい。 On the other hand, in the case of a three-dimensional object such as another vehicle, the parallax does not change even if the vertical coordinates in the histogram change. Therefore, when the vertical coordinate serving as the boundary between the lower histogram and the upper histogram is in the region of a three-dimensional object such as another vehicle, the pixels of the three-dimensional object appear in both the lower histogram and the upper histogram. Therefore, the overlapping amount of the pixel distribution in the lower histogram and the upper histogram is large.
画像処理装置は、部分縦長視差画像毎に、画像の下端及び上端の一方から他方へ向けて重なり量の変化を求め、重なり量が極小値から増大する垂直座標を立体物の上下方向の一端の位置とし、重なり量が減少して極小値になる垂直座標を立体物の上下方向の他端の位置とする。そして、画像処理装置は、この位置判定を垂直座標が下端及び上端の他方に至るまで繰り返し行う。 The image processing device obtains a change in the amount of overlap from one of the lower end and the upper end of the image toward the other for each partial portrait parallax image, and calculates the vertical coordinate at which the amount of overlap increases from the minimum value at one end in the vertical direction of the three-dimensional object. The vertical coordinate at which the overlap amount decreases and reaches the minimum value is defined as the position of the other end of the three-dimensional object in the vertical direction. Then, the image processing apparatus repeatedly performs this position determination until the vertical coordinate reaches the other of the lower end and the upper end.
よって、下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量の判定によって、立体物の下端及び上端の位置を判定することができ、立体物の下端及び上端の位置の判定を立体物毎に行うことができる。また、立体物の下端又は上端の視差に基づいて、自車両から立体物までの距離を判定することができ、下端の垂直座標と上端の垂直座標との差に基づいて立体物の上下方向の大きさを特定することができる。更に、全ての部分縦長視差画像について下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量の判定を行うことにより、立体物の水平方向の大きさ及び自車両から見た立体物の外形を特定することができる。従って、自車両の周囲に複数の立体物が存在する場合にも、それらを区別して立体物を検出し、立体物までの距離、立体物の大きさ及び外形を推定することができる。 Therefore, the position of the lower end and the upper end of the three-dimensional object can be determined by determining the overlap amount of the pixel distribution in the lower histogram and the upper histogram, and the determination of the lower end and the upper end position of the three-dimensional object is performed for each three-dimensional object. be able to. Also, based on the parallax of the lower end or upper end of the three-dimensional object, the distance from the vehicle to the three-dimensional object can be determined, and the vertical direction of the three-dimensional object can be determined based on the difference between the vertical coordinate of the lower end and the vertical coordinate of the upper end. The size can be specified. Further, by determining the overlap amount of the pixel distributions in the lower histogram and the upper histogram for all the partial vertical parallax images, the horizontal size of the three-dimensional object and the outer shape of the three-dimensional object viewed from the own vehicle are specified. be able to. Therefore, even when there are a plurality of three-dimensional objects around the own vehicle, the three-dimensional objects can be detected while distinguishing them, and the distance to the three-dimensional object, the size and the outer shape of the three-dimensional object can be estimated.
また、上記構成によれば、ヒストグラムにおいて分布する画素から道路面の画素が抽出され除去されることにより立体物が検出される訳ではない。よって、立体物の検出精度は道路面の検出精度に依存せず、道路面の検出が不正確であることに起因して立体物の検出失敗及び実際には存在しない立体物の誤検出が生じることがないので、このことによっても従来に比して高精度に自車両の周囲に存在する立体物を検出することができる。 Further, according to the above configuration, a three-dimensional object is not detected by extracting and removing pixels on the road surface from pixels distributed in the histogram. Therefore, the detection accuracy of the three-dimensional object does not depend on the detection accuracy of the road surface, and the detection of the three-dimensional object fails and the erroneous detection of the three-dimensional object that does not actually exist occurs due to the inaccurate detection of the road surface. Therefore, a three-dimensional object existing around the host vehicle can be detected with higher accuracy than before.
以下に添付の図を参照しつつ、本発明の好ましい実施形態について詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
図１は、乗用車に適用された本発明の実施形態にかかる車両用立体物検出装置１０を示す概略構成図、図２は立体物検出装置１０のブロック図である。立体物検出装置１０は車両１２に搭載され、自車両１２の前方を撮像する撮像装置１４と、画像処理装置１６とを有している。画像処理装置１６は、後に詳細に説明するように、撮像装置１４により撮像された画像に基づいて視差画像を生成し、視差画像を処理して自車両１２の前方に存在する立体物を検出し、検出結果を表示装置１８に表示する。 FIG. 1 is a schematic configuration diagram illustrating a vehicle three-dimensional object detection device 10 according to an embodiment of the present invention applied to a passenger car. FIG. 2 is a block diagram of the three-dimensional object detection device 10. The three-dimensional object detection device 10 is mounted on a vehicle 12 and includes an imaging device 14 that captures an image of the front of the vehicle 12 and an image processing device 16. The image processing device 16 generates a parallax image based on the image captured by the imaging device 14 and processes the parallax image to detect a three-dimensional object existing in front of the host vehicle 12 as described in detail later. Then, the detection result is displayed on the display device 18.
図２に示されているように、撮像装置１４は、左右に隔置された二つのカメラ１４Ｌ及び１４Ｒと、これらのカメラにより撮像された画像を当技術分野において公知の要領にて補正する画像補正部２０と、を有しいている。画像処理装置１６は、視差画像生成部２２と、視差画像分割部２４と、下側ヒストグラム作成部２６及び上側ヒストグラム作成部２８と、重なり量算出部３０と、位置判定部３２と、を有しいている。 As shown in FIG. 2, the imaging device 14 includes two cameras 14 </ b> L and 14 </ b> R spaced apart from each other, and an image that corrects images captured by these cameras in a manner known in the art. And a correction unit 20. The image processing device 16 includes a parallax image generation unit 22, a parallax image division unit 24, a lower histogram creation unit 26 and an upper histogram creation unit 28, an overlap amount calculation unit 30, and a position determination unit 32. Have been.
なお、図１には詳細に示されていないが、画像処理装置１６は、ＣＰＵ、ＲＯＭ、ＲＡＭ及び入出力ポート装置を有し、これらが双方向性のコモンバスにより互いに接続された一般的な構成を有するマイクロコンピュータであってよい。また、後に詳細に説明するように、視差画像生成部２２、視差画像分割部２４、下側ヒストグラム作成部２６及び上側ヒストグラム作成部２８、重なり量算出部３０及び位置判定部３２の機能は、ＲＯＭに記憶されＣＰＵによって実行される制御プログラムのそれぞれ対応するステップにより達成される。なお、視差画像生成部２２は撮像装置１４の一部であってもよい。 Although not shown in detail in FIG. 1, the image processing apparatus 16 has a general configuration in which a CPU, a ROM, a RAM, and an input / output port device are connected to each other by a bidirectional common bus. May be a microcomputer having. Further, as described in detail later, the functions of the parallax image generation unit 22, the parallax image division unit 24, the lower histogram generation unit 26 and the upper histogram generation unit 28, the overlap amount calculation unit 30, and the position determination unit 32 are implemented by a ROM. Are achieved by corresponding steps of a control program stored in the CPU and executed by the CPU. Note that the parallax image generation unit 22 may be a part of the imaging device 14.
次に、図３に示されたフローチャートを参照して実施形態における立体物検出制御ルーチンについて説明する。なお、図３は、上述のようにＣＰＵによって実行される制御プログラムを示すフローチャートである。また、図３に示されたフローチャートによる制御は、図には示されていないイグニッションスイッチがオンであるときに所定の時間毎に繰返し実行される。 Next, a three-dimensional object detection control routine in the embodiment will be described with reference to the flowchart shown in FIG. FIG. 3 is a flowchart showing a control program executed by the CPU as described above. The control according to the flowchart shown in FIG. 3 is repeatedly executed at predetermined time intervals when an ignition switch (not shown) is turned on.
まず、ステップ１０においては、カメラ１４Ｌ及び１４Ｒにより撮像され画像補正部２０により補正された画像の信号が、撮像装置１４から読み込まれる。 First, in step 10, a signal of an image captured by the cameras 14 </ b> L and 14 </ b> R and corrected by the image correction unit 20 is read from the imaging device 14.
ステップ２０においては、読み込まれた画像信号に基づいて当技術分野において公知の要領にて視差画像が生成される。よって、ステップ２０により視差画像生成部２２の機能が達成される。 In step 20, a parallax image is generated based on the read image signal in a manner known in the art. Therefore, the function of the parallax image generation unit 22 is achieved by step 20.
図４は、視差画像４０の一例であり、道路４２上に二つの立体物４４及び４６が存在し、立体物４４及び４６は自車両１２から見て部分的に重なって見える位置に位置している。図４に示されているように、視差画像の左上の隅が垂直座標ｖ及び水平座標ｕの原点であり、図４で見て下方ほど垂直座標ｖの値が大きく、右方ほど水平座標ｕの値が大きい。また、画像の濃度（画素の密度）が高いほど、視差が小さく、従って自車両１２から画素に対応する対象部までの距離が大きい。 FIG. 4 is an example of a parallax image 40, in which two three-dimensional objects 44 and 46 exist on a road 42, and the three-dimensional objects 44 and 46 are located at positions where the three-dimensional objects 44 and 46 appear to partially overlap when viewed from the host vehicle 12. I have. As shown in FIG. 4, the upper left corner of the parallax image is the origin of the vertical coordinate v and the horizontal coordinate u, the lower the vertical coordinate v in FIG. Is large. Also, the higher the image density (pixel density), the smaller the parallax, and therefore the greater the distance from the vehicle 12 to the target portion corresponding to the pixel.
ステップ３０においては、視差画像４０が水平方向に隣接する複数の部分縦長視差画像４８に分割される。図４に示された破線の矩形５０は、視差画像４０を複数の部分縦長視差画像４８に分割する際に使用される分割ブロックを示している。分割ブロック５０の横幅は３〜７画素程度の大きさである。分割ブロック５０が視差画像４０の左端から右端まで適用されることにより、視差画像４０が互いに同一の横幅及び高さを有する複数の部分縦長視差画像４８に分割される。よって、ステップ３０により視差画像分割部２４の機能が達成される。 In step 30, the parallax image 40 is divided into a plurality of partial vertically long parallax images 48 adjacent in the horizontal direction. A dashed rectangle 50 shown in FIG. 4 indicates a divided block used when dividing the parallax image 40 into a plurality of partial vertically long parallax images 48. The width of the divided block 50 is about 3 to 7 pixels. By applying the division block 50 from the left end to the right end of the parallax image 40, the parallax image 40 is divided into a plurality of partial vertical parallax images 48 having the same horizontal width and height. Therefore, the function of the parallax image dividing unit 24 is achieved by step 30.
ステップ４０においては、各部分縦長視差画像４８について、部分縦長視差画像４８の各画素が垂直座標ｖと視差（画素値）との関係を示す垂直座標−視差空間に変換される。図５及び図６は、全ての部分縦長視差画像４８についての垂直座標−視差空間５２を示しており、灰色の部分が画素を示している。図５及び図６に示されているように、垂直座標−視差空間５２においては、道路４２は右下がりに傾斜した直線をなし、立体物４４及び４６は上下方向に延在する直線をなす。そして、各部分縦長視差画像４８の垂直座標−視差空間５２における複数の垂直座標について、各垂直座標より下側（垂直座標ｖの値が小さい側）に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする下側ヒストグラム５４が作成される。よって、ステップ４０により下側ヒストグラム作成部２６の機能が達成される。 In step 40, for each partial vertical parallax image 48, each pixel of the partial vertical parallax image 48 is converted into a vertical coordinate-parallax space indicating the relationship between the vertical coordinate v and the parallax (pixel value). FIGS. 5 and 6 show the vertical coordinate-disparity space 52 for all the partial vertically long parallax images 48, and gray portions indicate pixels. As shown in FIGS. 5 and 6, in the vertical coordinate-parallax space 52, the road 42 forms a straight line inclined downward and the three-dimensional objects 44 and 46 form a straight line extending in the vertical direction. Then, with respect to a plurality of vertical coordinates in the vertical coordinate-parallax space 52 of each partial vertical parallax image 48, based on the parallax of each pixel existing below the vertical coordinate (the side where the value of the vertical coordinate v is smaller), the horizontal coordinate is obtained. A lower histogram 54 is created in which the axis is parallax and the vertical axis is the total number of pixels having the same parallax. Therefore, the function of the lower histogram creating unit 26 is achieved by step 40.
ステップ５０においては、各部分縦長視差画像４８の垂直座標−視差空間における複数の垂直座標について、各垂直座標より上側（垂直座標ｖの値が大きい側）に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする上側ヒストグラム５６が作成される。よって、ステップ５０により上側ヒストグラム作成部２８の機能が達成される。 In step 50, for a plurality of vertical coordinates in the vertical coordinate-parallax space of each partial vertical parallax image 48, based on the parallax of each pixel existing above the vertical coordinate (the side where the value of the vertical coordinate v is larger), An upper histogram 56 is created in which the horizontal axis is parallax and the vertical axis is the total number of pixels having the same parallax. Therefore, the function of the upper histogram creating unit 28 is achieved by step 50.
図５の破線より上側の棒グラフ状のビンにより示される図は、ある垂直座標（境目）より下側のヒストグラム５４を示し、図５の破線（境目）より下側の棒グラフ状のビンにより示される図は、上記垂直座標より上側のヒストグラム５６を示している。図５は垂直座標が特定の位置である場合について下側のヒストグラム５４及び上側のヒストグラム５６を示しているが、下側のヒストグラム５４及び上側のヒストグラム５６は垂直座標−視差空間５２の上端から下端までの複数の垂直座標について作成される。 The diagram shown by the bar-shaped bin above the broken line in FIG. 5 shows the histogram 54 below a certain vertical coordinate (boundary), and is shown by the bar-shaped bin below the broken line (boundary) in FIG. The figure shows the histogram 56 above the vertical coordinates. FIG. 5 shows the lower histogram 54 and the upper histogram 56 when the vertical coordinate is a specific position. The lower histogram 54 and the upper histogram 56 are from the upper end to the lower end of the vertical coordinate-disparity space 52. Created for multiple vertical coordinates up to
ステップ６０においては、当技術分野において公知の平滑化技術を使用して、下側のヒストグラム５４及び上側のヒストグラム５６が平滑化される。例えば、ヒストグラムの各ビンについて、当該ビンの高さと両隣のビンの高さとの平均値が当該ビンの平滑化後の高さとされる。なお、立体物は垂直座標−視差空間５２において必ずしも垂直に延在する線となる訳ではなく、多少の視差ブレが生じるので、ヒストグラムの平滑化は、視差ブレがある場合にも画素の分布の重なり量の算出が良好に行われるようにするために行われる。 In step 60, lower histogram 54 and upper histogram 56 are smoothed using smoothing techniques known in the art. For example, for each bin of the histogram, the average value of the height of the bin and the height of the bins on both sides is set as the height of the bin after smoothing. Note that a three-dimensional object does not necessarily become a line extending vertically in the vertical coordinate-parallax space 52, and some parallax blur occurs. Therefore, the smoothing of the histogram is performed even when parallax blur occurs. This is performed so that the calculation of the overlap amount is performed well.
ステップ７０においては、複数の垂直座標の全てについて平滑化された後の下側ヒストグラム５４及び上側ヒストグラム５６における画素の分布の重なり量が算出される。具体的には、例えば各視差について、重なり量が算出されるべき垂直座標（境目）の上側及び下側のビンのうち低い方の高さが重なり量Ａとして算出される。よって、ステップ７０により重なり量算出部３０の機能が達成される。 In step 70, the amount of overlap of the pixel distribution in the lower histogram 54 and the upper histogram 56 after smoothing all of the plurality of vertical coordinates is calculated. Specifically, for each parallax, for example, the lower one of the bins above and below the vertical coordinate (boundary) where the overlap amount is to be calculated is calculated as the overlap amount A. Therefore, the function of the overlap amount calculation unit 30 is achieved by step 70.
例えば、図５においては、境目が道路４２の垂直座標にあるため、境目の上側及び下側の一方にしかビンが存在しない（画素の分布の重なりが存在しない）。よって、図７に示されているように、重なり量Ａは０である。これに対し、図６においては、境目が立体物４４の垂直座標にあるので、境目の上側及び下側の両方にビンが存在する（画素の分布の重なりが存在する）。よって、上側及び下側のビンのうち低い方の高さが重なり量Ａとされる。 For example, in FIG. 5, since the boundary is at the vertical coordinate of the road 42, there is a bin only on one of the upper side and the lower side of the boundary (there is no overlap of the pixel distribution). Therefore, as shown in FIG. 7, the overlap amount A is 0. On the other hand, in FIG. 6, since the boundary is located at the vertical coordinate of the three-dimensional object 44, bins exist on both the upper side and the lower side of the boundary (the pixel distribution overlaps). Therefore, the lower one of the upper and lower bins is set as the overlap amount A.
ステップ８０においては、垂直座標−視差空間５２の下端から上端へ向けて重なり量Ａの変化が求められる。特に、重なり量Ａが極小値である０から増大する垂直座標が立体物の上下方向の下端の位置とされ、重なり量Ａが減少して極小値０になる垂直座標が立体物の上端の位置とされる。この位置判定は、垂直座標が垂直座標−視差空間５２の上端に到達するまで繰り返される。よって、ステップ８０により位置判定部３２の機能が達成される。 In step 80, a change in the overlapping amount A from the lower end to the upper end of the vertical coordinate-parallax space 52 is determined. In particular, the vertical coordinate at which the overlapping amount A increases from 0, which is the minimum value, is the lower end position in the vertical direction of the three-dimensional object, and the vertical coordinate at which the overlapping amount A decreases to the minimum value of 0 is the upper end position of the three-dimensional object. It is said. This position determination is repeated until the vertical coordinate reaches the upper end of the vertical coordinate-parallax space 52. Therefore, the function of the position determination unit 32 is achieved by step 80.
図７は、複数の垂直座標の全てについて行われた上述の画素の分布の重なり量Ａの算出結果に基づいて、垂直座標−視差空間５２（左半分）と共に、垂直座標ｖと画素の分布の重なり量Ａとの関係のグラフ（右半分）を示している。図７のグラフにおいて、下側の重なり量Ａが大きい領域Ａ１が自車両１２に近い側の立体物４４の画像領域と判定され、上側の重なり量Ａが大きい領域Ａ２が自車両１２から遠い側の立体物４６の画像領域と判定される。 FIG. 7 shows the vertical coordinate v and the distribution of the pixel distribution along with the vertical coordinate-disparity space 52 (left half) based on the calculation result of the overlap amount A of the pixel distribution described above performed for all of the plurality of vertical coordinates. The graph (right half) of the relationship with the overlap amount A is shown. In the graph of FIG. 7, the lower area A1 in which the overlapping amount A is large is determined as the image area of the three-dimensional object 44 closer to the host vehicle 12, and the upper area A2 in which the overlapping amount A is large is closer to the host vehicle 12. Is determined as the image area of the three-dimensional object 46.
このようにして、画素の分布の重なり量Ａの判定によって、立体物４４などの下端及び上端の位置が立体物毎に判定される。また、立体物の下端又は上端の視差に基づいて、自車両１２から立体物４４などまでの距離が判定され、下端の垂直座標と上端の垂直座標との差に基づいて立体物の上下方向の大きさが特定される。更に、全ての部分縦長視差画像について画素の分布の重なり量Ａが判定されることにより、立体物の水平方向の大きさ及び自車両１２から見た立体物４４などの外形が特定される。従って、自車両１２の前方に複数の立体物が存在する場合にも、それらを区別して立体物を検出し、立体物までの距離、立体物の大きさ及び外形を推定することができる。 In this way, the positions of the lower end and the upper end of the three-dimensional object 44 and the like are determined for each three-dimensional object by the determination of the overlapping amount A of the pixel distribution. Further, based on the parallax of the lower end or the upper end of the three-dimensional object, the distance from the host vehicle 12 to the three-dimensional object 44 or the like is determined, and the vertical direction of the three-dimensional object is determined based on the difference between the vertical coordinate of the lower end and the vertical coordinate of the upper end. The size is specified. Further, by determining the overlapping amount A of the pixel distribution for all the partial portrait parallax images, the horizontal size of the three-dimensional object and the outer shape of the three-dimensional object 44 viewed from the host vehicle 12 are specified. Therefore, even when there are a plurality of three-dimensional objects in front of the host vehicle 12, the three-dimensional objects can be detected by distinguishing them, and the distance to the three-dimensional object, the size and the outer shape of the three-dimensional object can be estimated.
ステップ９０においては、ステップ７０における判定結果に基づいて自車両１２の前方に立体物が存在するか否かの情報、立体物が存在する場合には立体物までの距離、立体物の大きさ及び外形などに関する情報が出力され、それらの情報が表示装置１８に表示される。 In step 90, information on whether or not a three-dimensional object exists in front of the host vehicle 12 based on the determination result in step 70, the distance to the three-dimensional object if there is a three-dimensional object, the size of the three-dimensional object, Information on the outer shape and the like is output, and the information is displayed on the display device 18.
以上の説明から解るように、実施形態によれば、ステップ２０において、視差画像４０が生成され、ステップ３０において、視差画像４０が水平方向に隣接する複数の部分縦長視差画像４８に分割される。ステップ４０において、各部分縦長視差画像４８について、部分縦長視差画像４８の各画素が垂直座標ｖと視差との関係を示す垂直座標−視差空間５２に変換される。そして、垂直座標−視差空間５２における複数の垂直座標について、各垂直座標より下側に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする下側ヒストグラム５４が作成される。 As can be understood from the above description, according to the embodiment, in step 20, the parallax image 40 is generated, and in step 30, the parallax image 40 is divided into a plurality of partial vertically long parallax images 48 adjacent in the horizontal direction. In step 40, for each partial vertical parallax image 48, each pixel of the partial vertical parallax image 48 is converted into a vertical coordinate-parallax space 52 indicating the relationship between the vertical coordinate v and the parallax. Then, for a plurality of vertical coordinates in the vertical coordinate-parallax space 52, based on the parallax of each pixel existing below each vertical coordinate, the horizontal axis is the parallax, and the vertical axis is the total number of pixels of the same parallax. A side histogram 54 is created.
同様に、ステップ５０において、垂直座標−視差空間５２における複数の垂直座標について、各垂直座標より上側に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする上側ヒストグラム５６が作成される。ステップ６０において、下側ヒストグラム５４及び上側ヒストグラム５６が平滑化される。 Similarly, in step 50, for a plurality of vertical coordinates in the vertical coordinate-parallax space 52, based on the parallax of each pixel existing above each vertical coordinate, the horizontal axis is the parallax, and the vertical axis is the pixel of the same parallax. An upper histogram 56 as the total number is created. In step 60, the lower histogram 54 and the upper histogram 56 are smoothed.
ステップ７０において、複数の垂直座標の全てについて平滑化された後の下側ヒストグラム５４及び上側ヒストグラム５６における画素の分布の重なり量Ａが算出され、垂直座標−視差空間５２の下端から上端へ向けて重なり量Ａの変化が求められる。更に、ステップ８０において、重なり量Ａが極小値である０から増大する垂直座標が立体物の上下方向の下端の位置とされ、重なり量Ａが減少して極小値０になる垂直座標が立体物の上端の位置とされる。この位置判定は、垂直座標が垂直座標−視差空間の上端に到達するまで繰り返される。 In step 70, the overlap amount A of the pixel distribution in the lower histogram 54 and the upper histogram 56 after smoothing for all of the plurality of vertical coordinates is calculated, and from the lower end to the upper end of the vertical coordinate-disparity space 52. A change in the overlap amount A is determined. Further, in step 80, the vertical coordinate at which the overlapping amount A increases from 0, which is the minimum value, is set as the position of the lower end in the vertical direction of the three-dimensional object. Is located at the upper end. This position determination is repeated until the vertical coordinate reaches the upper end of the vertical coordinate-parallax space.
よって、立体物の下端及び上端の位置の判定を立体物毎に行うことができる。また、立体物の下端又は上端の視差に基づいて、自車両から立体物までの距離を判定することができ、下端の垂直座標と上端の垂直座標との差に基づいて立体物の上下方向の大きさを特定することができる。更に、全ての部分縦長視差画像について下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量の判定を行うことにより、立体物の水平方向の大きさ及び自車両から見た立体物の外形を特定することができる。従って、実施形態によれば、自車両１２の前方に複数の立体物が存在する場合にも、それらを区別して立体物を検出し、立体物までの距離、立体物の大きさ及び外形を推定することができる。 Therefore, the determination of the positions of the lower end and the upper end of the three-dimensional object can be performed for each three-dimensional object. Further, based on the parallax of the lower end or the upper end of the three-dimensional object, the distance from the host vehicle to the three-dimensional object can be determined, and the vertical direction of the three-dimensional object can be determined based on the difference between the vertical coordinates of the lower end and the upper end. The size can be specified. Further, by determining the overlapping amount of the pixel distributions in the lower histogram and the upper histogram for all the partial portrait parallax images, the horizontal size of the three-dimensional object and the outer shape of the three-dimensional object viewed from the own vehicle are specified. be able to. Therefore, according to the embodiment, even when there are a plurality of three-dimensional objects in front of the host vehicle 12, the three-dimensional objects are detected by distinguishing them, and the distance to the three-dimensional object, the size and the outer shape of the three-dimensional object are estimated. can do.
また、実施形態によれば、前述の特許文献１に記載された立体物検出装置のように、ヒストグラムにおいて分布する画素から道路面の画素が抽出され除去されることにより立体物が検出される訳ではない。よって、立体物の検出精度は道路面の検出精度に依存せず、道路面の検出が不正確であることに起因して立体物の検出失敗及び実際には存在しない立体物の誤検出が生じることがない。従って、従来に比して高精度に自車両の前方に存在する立体物を検出することができる。 According to the embodiment, as in the three-dimensional object detection device described in Patent Document 1, a three-dimensional object is detected by extracting and removing pixels on a road surface from pixels distributed in a histogram. is not. Therefore, the detection accuracy of the three-dimensional object does not depend on the detection accuracy of the road surface, and the detection of the three-dimensional object fails and the erroneous detection of the three-dimensional object that does not actually exist occurs due to the inaccurate detection of the road surface. Nothing. Therefore, it is possible to detect a three-dimensional object existing in front of the vehicle with higher accuracy than before.
特に、実施形態によれば、ステップ６０において、下側ヒストグラム５４及び上側ヒストグラム５６が平滑化され、ステップ７０において、平滑化された後の下側ヒストグラム５４及び上側ヒストグラム５６における画素の分布の重なり量Ａが算出される。よって、垂直座標−視差空間５２において立体物に多少の視差ブレが生じている場合にも、ヒストグラムの平滑化によって視差ブレの影響が低減されるので、ヒストグラムの平滑化が行われない場合に比して、重なり量を良好に算出し、立体物を良好に検出することができる。 In particular, according to the embodiment, in step 60, the lower histogram 54 and the upper histogram 56 are smoothed, and in step 70, the overlap amount of the pixel distribution in the lower histogram 54 and the upper histogram 56 after the smoothing is performed. A is calculated. Therefore, even when a slight amount of parallax blur occurs in the three-dimensional object in the vertical coordinate-parallax space 52, the effect of parallax blur is reduced by smoothing the histogram. Then, the amount of overlap can be favorably calculated, and the three-dimensional object can be favorably detected.
以上においては、本発明を特定の実施形態について詳細に説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の範囲内にて他の種々の実施形態が可能であることは当業者にとって明らかであろう。 In the above, the present invention has been described in detail with respect to a specific embodiment. However, the present invention is not limited to the above embodiment, and various other embodiments are possible within the scope of the present invention. That will be apparent to those skilled in the art.
例えば、上述の実施形態においては、撮像装置１４の二つのカメラ１４Ｌ及び１４Ｒは、自車両１２の前方を撮像し、視差画像は自車両１２の前方の画像である。しかし、二つのカメラは、必要に応じて自車両１２の後方を撮像するようになっていてもよく、更には自車両１２の側方を撮像するようになっていてもよい。 For example, in the above-described embodiment, the two cameras 14L and 14R of the imaging device 14 image the front of the host vehicle 12, and the parallax image is an image in front of the host vehicle 12. However, the two cameras may be configured to image the rear of the host vehicle 12 as necessary, or may be configured to image the side of the host vehicle 12.
また、上述の実施形態においては、ステップ７０において、垂直座標−視差空間の下端から上端へ向けて重なり量Ａの変化が求められるようになっている。しかし、重なり量Ａの変化は垂直座標−視差空間の上端から下端へ向けて求められるよう修正されてもよい。なお、その場合には、重なり量Ａが極小値である０から増大する垂直座標が立体物の上下方向の上端の位置とされ、重なり量Ａが減少して極小値０になる垂直座標が立体物の下端の位置とされる。 Further, in the above-described embodiment, in step 70, a change in the overlap amount A from the lower end to the upper end of the vertical coordinate-disparity space is determined. However, the change in the overlap amount A may be modified so as to be obtained from the upper end to the lower end of the vertical coordinate-disparity space. In this case, the vertical coordinate at which the overlapping amount A increases from 0, which is the minimum value, is defined as the upper end position in the vertical direction of the three-dimensional object. The position of the lower end of the object.
また、上述の実施形態においては、ステップ６０において、下側ヒストグラム５４及び上側ヒストグラム５６が平滑化され、ステップ７０において、平滑化された後の下側ヒストグラム５４及び上側ヒストグラム５６における画素の分布の重なり量Ａが算出される。しかし、下側ヒストグラム５４及び上側ヒストグラム５６の平滑化は省略されてもよい。 In the above-described embodiment, the lower histogram 54 and the upper histogram 56 are smoothed in step 60, and the overlap of the pixel distributions in the lower histogram 54 and the upper histogram 56 after smoothing is performed in step 70. The quantity A is calculated. However, the smoothing of the lower histogram 54 and the upper histogram 56 may be omitted.
１０…立体物検出装置、１２…自車両、１４…撮像装置、１６…画像処理装置、１８…表示装置、２２…視差画像生成部、２４…視差画像分割部、２６…下側ヒストグラム作成部、２８…上側ヒストグラム作成部、３０…重なり量算出部、３２…位置判定部、４０…視差画像、４２…道路、４４，４６…立体物、４８…部分縦長視差画像、５２…下側のヒストグラム、５４…上側のヒストグラム Reference Signs List 10: three-dimensional object detection device, 12: own vehicle, 14: imaging device, 16: image processing device, 18: display device, 22: parallax image generation unit, 24: parallax image division unit, 26: lower histogram generation unit, 28: Upper histogram creating unit, 30: Overlap amount calculating unit, 32: Position determining unit, 40: Parallax image, 42: Road, 44, 46: Solid object, 48: Partially vertical parallax image, 52: Lower histogram, 54: Upper histogram
Claims (1)
前記画像処理装置は、
前記視差画像を水平方向に隣接する複数の部分縦長視差画像に分割する視差画像分割部と、
各部分縦長視差画像における複数の垂直座標について、各垂直座標より下側に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする下側ヒストグラムを作成する下側ヒストグラム作成部と、
各部分縦長視差画像における前記複数の垂直座標について、各垂直座標より上側に存在する各画素の視差に基づいて、横軸を視差とし縦軸を同一の視差の画素の総数とする上側ヒストグラムを作成する上側ヒストグラム作成部と、
前記複数の垂直座標について下側ヒストグラム及び上側ヒストグラムにおける画素の分布の重なり量を算出する重なり量算出部と、
部分縦長視差画像毎に、画像の下端及び上端の一方から他方へ向けて前記重なり量の変化を求め、前記重なり量が極小値から増大する垂直座標を立体物の上下方向の一端の位置とし、前記重なり量が減少して極小値になる垂直座標を立体物の上下方向の他端の位置とし、この位置判定を垂直座標が前記下端及び上端の他方に至るまで繰り返す位置判定部と、
を有する、車両用立体物検出装置。
An imaging device that captures an image of the surroundings of the vehicle by at least two left and right cameras, and generates a parallax image based on an image captured by the imaging device, processes the parallax image, and processes the image around the vehicle. An image processing device that detects a three-dimensional object present in a three-dimensional object detection device for a vehicle,
The image processing device,
A parallax image dividing unit that divides the parallax image into a plurality of horizontally elongated partial vertical parallax images,
For a plurality of vertical coordinates in each partial vertically long parallax image, based on the parallax of each pixel existing below each vertical coordinate, a lower histogram in which the horizontal axis is parallax and the vertical axis is the total number of pixels of the same parallax is obtained. A lower histogram creating unit to be created,
For the plurality of vertical coordinates in each partial vertical parallax image, based on the parallax of each pixel existing above each vertical coordinate, create an upper histogram in which the horizontal axis is parallax and the vertical axis is the total number of pixels of the same parallax. An upper histogram creating unit to perform
An overlap amount calculation unit that calculates an overlap amount of the pixel distribution in the lower histogram and the upper histogram for the plurality of vertical coordinates,
For each partial vertical parallax image, determine the change in the amount of overlap from one of the lower and upper ends of the image toward the other, and set the vertical coordinate at which the amount of overlap increases from the minimum value to the position of one end of the three-dimensional object in the vertical direction, A position determining unit that sets the vertical coordinate at which the overlap amount decreases to a minimum value as the position of the other end in the vertical direction of the three-dimensional object, and repeats this position determination until the vertical coordinate reaches the other of the lower end and the upper end,
A three-dimensional object detection device for a vehicle, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016018776A JP6651877B2 (en) | 2016-02-03 | 2016-02-03 | Three-dimensional object detection device for vehicles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016018776A JP6651877B2 (en) | 2016-02-03 | 2016-02-03 | Three-dimensional object detection device for vehicles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017138767A JP2017138767A (en) | 2017-08-10 |
| JP6651877B2 true JP6651877B2 (en) | 2020-02-19 |
Family
ID=59566828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016018776A Active JP6651877B2 (en) | 2016-02-03 | 2016-02-03 | Three-dimensional object detection device for vehicles |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6651877B2 (en) |
-
2016
- 2016-02-03 JP JP2016018776A patent/JP6651877B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017138767A (en) | 2017-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9771080B2 (en) | Road surface gradient detection device | |
| JP6358160B2 (en) | Traveling road surface detection device and traveling road surface detection method | |
| CN110023951B (en) | Information processing apparatus, imaging apparatus, device control system, information processing method, and computer-readable recording medium | |
| JP5958366B2 (en) | In-vehicle image processing device | |
| JP6163453B2 (en) | Object detection device, driving support device, object detection method, and object detection program | |
| US10339396B2 (en) | Vehicle accessibility determination device | |
| JP6457278B2 (en) | Object detection apparatus and object detection method | |
| JP2014009975A (en) | Stereo camera | |
| JP6408935B2 (en) | Traveling line recognition device | |
| JP7053211B2 (en) | Driving support device | |
| JP6396729B2 (en) | Three-dimensional object detection device | |
| JP7056496B2 (en) | Position detector | |
| JP2021043141A (en) | Object distance estimation device and object distance estimation method | |
| KR20180081966A (en) | Image correction method by vehicle recognition | |
| KR101263158B1 (en) | Method and apparatus for detecting vehicle | |
| JP5958368B2 (en) | White line detector | |
| JP6651877B2 (en) | Three-dimensional object detection device for vehicles | |
| JP5472137B2 (en) | Boundary detection device and boundary detection program | |
| CN104573618A (en) | Lane detection method and system using photographing unit | |
| JP2014123301A (en) | White line detection device | |
| JP6690267B2 (en) | Vehicle three-dimensional object detection device | |
| JP7134780B2 (en) | stereo camera device | |
| JP7283268B2 (en) | Information processing equipment and in-vehicle system | |
| US11010625B2 (en) | Vehicle exterior environment recognition apparatus and method of recognizing exterior environment outside vehicle | |
| JP2011053732A (en) | Image processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190123 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191202 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200106 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6651877 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |