JP7514772B2 - Movement Vector Detection Device - Google Patents
Movement Vector Detection Device Download PDFInfo
- Publication number
- JP7514772B2 JP7514772B2 JP2021007833A JP2021007833A JP7514772B2 JP 7514772 B2 JP7514772 B2 JP 7514772B2 JP 2021007833 A JP2021007833 A JP 2021007833A JP 2021007833 A JP2021007833 A JP 2021007833A JP 7514772 B2 JP7514772 B2 JP 7514772B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- reference point
- area
- position coordinates
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 50
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 13
- 230000036962 time dependent Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 23
- 238000000605 extraction Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、ビデオカメラ等の撮像画像から車両領域を検出して車両の移動ベクトルを検出するように構成された移動ベクトル検出装置に関する。 The present invention relates to a motion vector detection device configured to detect a vehicle area from an image captured by a video camera or the like and detect the motion vector of the vehicle.
従来からビデオカメラ等の撮像画像から車両に外接する矩形（外接矩形）を車両領域として検出する技術が知られている（例えば特許文献１参照）。 There is a known technology for detecting a rectangle circumscribing a vehicle (a circumscribing rectangle) as a vehicle area from an image captured by a video camera or the like (see, for example, Patent Document 1).
ビデオカメラ等の撮像画像から車両領域を検出し、検出された車両領域に基準点を設定し、及び設定された基準点を追跡することにより、車両の移動ベクトルを検出（算出）することが可能である。しかし、単に基準点を設定するだけでは、次のような課題がある。 It is possible to detect (calculate) the vehicle's movement vector by detecting the vehicle area from an image captured by a video camera or the like, setting a reference point in the detected vehicle area, and tracking the set reference point. However, simply setting a reference point presents the following problems:
例えば交差点を含む道路が交差点に向かって走行する車両から見て前方斜め上方からビデオカメラ等によって撮像された撮像画像から車両領域（外接矩形）を検出し、及び検出された車両領域（外接矩形）の中心に基準点を設定する場合を考える。この場合、直進する車両（画像奥から画像手前に走行する車両）については、図１６（Ａ）に示されるように、車両が移動しても基準点は車両のほぼ同じ部位（ここではフロントガラスの下部中央）に対応しているが、左折する車両については、図１６（Ｂ）に示されるように、車両の移動に伴って基準点が車両の異なる部位に対応することになる（車両が右折する場合も同様）。このため、特に車両が折進する（左折又は右折する）場合に、基準点を追跡することで検出（算出）される車両の移動ベクトルの誤差（検出誤差）が大きくなってしまう。 For example, consider the case where a vehicle area (circumscribing rectangle) is detected from an image captured by a video camera or the like from an obliquely upward direction in front of a vehicle traveling toward the intersection, and a reference point is set at the center of the detected vehicle area (circumscribing rectangle). In this case, for a vehicle traveling straight (a vehicle traveling from the back of the image to the front of the image), as shown in FIG. 16(A), the reference point corresponds to almost the same part of the vehicle (here, the lower center of the windshield) even if the vehicle moves, but for a vehicle turning left, as shown in FIG. 16(B), the reference point corresponds to a different part of the vehicle as the vehicle moves (the same applies when the vehicle turns right). For this reason, the error (detection error) in the vehicle's movement vector detected (calculated) by tracking the reference point becomes large, especially when the vehicle turns (left or right).
そこで、本発明は、ビデオカメラ等の撮像画像から車両領域を抽出して車両の移動ベクトルを検出するように構成された移動ベクトル検出装置において、車両の進行方向にかかわらず、車両の移動ベクトルの検出誤差を抑制することを目的とする。 The present invention aims to suppress detection errors in the movement vector of a vehicle, regardless of the direction of travel of the vehicle, in a movement vector detection device configured to extract a vehicle area from an image captured by a video camera or the like and detect the movement vector of the vehicle.
本発明の一側面によると、移動ベクトル検出装置は、交差点を含む道路の撮像画像から車両を内包する車両領域を抽出し、前記車両領域に基準点を設定し、及び前記基準点を追跡して前記車両の移動ベクトルを検出するように構成され、前記車両が直進する場合と前記車両が折進する場合とで前記基準点の位置を変化させる。 According to one aspect of the present invention, a movement vector detection device is configured to extract a vehicle area that includes a vehicle from a captured image of a road including an intersection, set a reference point in the vehicle area, and track the reference point to detect the movement vector of the vehicle, changing the position of the reference point depending on whether the vehicle is traveling straight or turning.
本発明によれば、ビデオカメラ等の撮像画像から車両領域を抽出して車両の移動ベクトルを検出する移動ベクトル検出装置において、車両の進行方向にかかわらず、車両の移動ベクトルの検出誤差を抑制することができる。 According to the present invention, in a motion vector detection device that extracts a vehicle area from an image captured by a video camera or the like and detects the vehicle's motion vector, it is possible to suppress detection errors of the vehicle's motion vector regardless of the vehicle's traveling direction.
以下、添付図面を参照して本発明の実施形態について説明する。 The following describes an embodiment of the present invention with reference to the attached drawings.
図１は、本発明の一実施形態に係る移動ベクトル検出装置１０の概略構成を示すブロック図である。図１に示されるように、実施形態に係る移動ベクトル検出装置１０は、画像入力部１１と、車両領域抽出部１２と、エッジ画像作成部１３、直線検出部１４と、判定処理部１５とを有する。 Figure 1 is a block diagram showing the schematic configuration of a motion vector detection device 10 according to one embodiment of the present invention. As shown in Figure 1, the motion vector detection device 10 according to the embodiment has an image input unit 11, a vehicle region extraction unit 12, an edge image creation unit 13, a straight line detection unit 14, and a determination processing unit 15.
画像入力部１１は、ビデオカメラ等の撮像手段２０によって撮像された交差点を含む道路の画像（以下「交差点を含む道路の撮像画像」という）を逐次（例えばフレーム単位で）入力する。図２は、画像入力部１１に入力される前記交差点を含む道路の撮像画像の一例を示している。図２に示されるように、本実施形態において、前記交差点を含む道路の撮像画像は、交差点を含む道路（道路区間）が交差点に向う車両から見て前方斜め上方から撮像手段２０によって撮像された画像であり、交差点３０と、交差点３０に向かう車両が走行する走行路４０と、走行路４０を走行する車両５０とを含む。走行路４０には、交差点３０を直進又は左折する車両が走行する左側レーンＬＬと、交差点３０を直進する車両が走行する中央レーンＣＬと、交差点３０を直進又は右折する車両が走行する右側レーンＲＬとが設けられている。なお、特に制限されないが、撮像手段２０は、例えば交差点３０に設けられた車両用信号機、前記車両用信号機を支持する支持アーム又は交差点３０の近傍に設置されている歩道橋に取り付けられ得る。 The image input unit 11 sequentially (for example, frame by frame) inputs an image of a road including an intersection captured by an imaging means 20 such as a video camera (hereinafter referred to as a "captured image of a road including an intersection"). FIG. 2 shows an example of a captured image of a road including an intersection input to the image input unit 11. As shown in FIG. 2, in this embodiment, the captured image of the road including the intersection is an image of a road (road section) including the intersection captured by the imaging means 20 from a diagonally upward forward direction as viewed from a vehicle heading toward the intersection, and includes the intersection 30, a travel path 40 on which vehicles heading toward the intersection 30 travel, and a vehicle 50 traveling on the travel path 40. The travel path 40 has a left lane LL on which vehicles traveling straight or turning left through the intersection 30 travel, a center lane CL on which vehicles traveling straight through the intersection 30 travel, and a right lane RL on which vehicles traveling straight or turning right through the intersection 30 travel. Although not particularly limited, the imaging means 20 may be attached to, for example, a traffic light installed at the intersection 30, a support arm supporting the traffic light, or a pedestrian bridge installed near the intersection 30.
車両領域抽出部１２は、図３に示されるように、画像入力部１１に入力された前記交差点を含む道路の撮像画像から車両５０を内包する車両領域ＶＡを抽出する。特に制限されないが、車両領域抽出部１２は、ＹＯＬＯ（You Only Look Once）やＳＳＤ（Single Shot Multibox Detector）などの公知の物体検出アルゴリズムを用いることにより、車両５０に外接する矩形領域を、車両５０を内包する車両領域ＶＡとして抽出するように構成され得る。ここで、前記矩形領域は、車両５０に厳密に外接している必要はなく、車両５０に概ね外接していればよい。 As shown in FIG. 3, the vehicle area extraction unit 12 extracts a vehicle area VA including the vehicle 50 from a captured image of the road including the intersection input to the image input unit 11. Although not particularly limited, the vehicle area extraction unit 12 can be configured to extract a rectangular area circumscribing the vehicle 50 as the vehicle area VA including the vehicle 50 by using a known object detection algorithm such as YOLO (You Only Look Once) or SSD (Single Shot Multibox Detector). Here, the rectangular area does not need to strictly circumscribe the vehicle 50, but only needs to roughly circumscribe the vehicle 50.
エッジ画像作成部１３は、車両領域抽出部１２によって抽出された車両領域ＶＡのエッジ画像を作成する。特に制限されないが、エッジ画像作成部１３は、車両領域抽出部１２によって抽出された車両領域ＶＡにソーベル（sobel）フィルタやガボール（gabor）フィルタなどの公知のエッジ抽出フィルタを適用することにより、車両領域ＶＡのエッジ画像を作成するように構成され得る。 The edge image creation unit 13 creates an edge image of the vehicle area VA extracted by the vehicle area extraction unit 12. Although not particularly limited, the edge image creation unit 13 may be configured to create an edge image of the vehicle area VA by applying a known edge extraction filter such as a Sobel filter or a Gabor filter to the vehicle area VA extracted by the vehicle area extraction unit 12.
直線検出部１４は、エッジ画像作成部１３によって作成された車両領域ＶＡのエッジ画像から直線部分（線分）を検出する。例えば、直線検出部１４は、ハフ変換やＬＳＤ（Line Segment Detector）などの公知の直線検出アルゴリズムを用いることにより、車両領域ＶＡのエッジ画像から直線部分（線分）を検出するように構成され得る。 The straight line detection unit 14 detects straight line portions (line segments) from the edge image of the vehicle area VA created by the edge image creation unit 13. For example, the straight line detection unit 14 can be configured to detect straight line portions (line segments) from the edge image of the vehicle area VA by using a known straight line detection algorithm such as a Hough transform or an LSD (Line Segment Detector).
判定処理部１５は、前記交差点を含む道路の撮像画像から抽出された車両領域ＶＡに基準点Ｚ（図１１参照）を設定し、及び設定された基準点Ｚを追跡することで車両５０の移動ベクトル（移動速度及び移動方向）を検出（算出）する。具体的には、判定処理部１５は、車両領域ＶＡに基準点Ｚを設定し、前記交差点を含む道路の撮像画像の座標系（以下「画像座標系」という）における基準点Ｚの位置座標を求める。そして、判定処理部１５は、求められた前記画像座標系における基準点Ｚの位置座標を実空間の座標系（世界座標系）における基準点Ｚの位置座標に変換し、及び変換された実空間の座標系における基準点Ｚの位置座標の経時的な変化を追跡することにより、車両５０の移動ベクトルを検出（算出）するように構成されている。 The determination processing unit 15 detects (calculates) the movement vector (movement speed and movement direction) of the vehicle 50 by setting a reference point Z (see FIG. 11) in the vehicle area VA extracted from the captured image of the road including the intersection, and tracking the set reference point Z. Specifically, the determination processing unit 15 sets a reference point Z in the vehicle area VA, and obtains the position coordinates of the reference point Z in the coordinate system of the captured image of the road including the intersection (hereinafter referred to as the "image coordinate system"). The determination processing unit 15 is then configured to convert the position coordinates of the reference point Z in the obtained image coordinate system into the position coordinates of the reference point Z in the coordinate system of the real space (world coordinate system), and track the change over time in the position coordinates of the reference point Z in the converted coordinate system of the real space, thereby detecting (calculating) the movement vector of the vehicle 50.
本実施形態において、判定処理部１５は、変換行列Ｈを用いて前記画像座標系における基準点Ｚの位置座標を実空間の座標系における基準点Ｚの位置座標に変換するように構成されている。変換行列Ｈは、例えば以下のようにして予め算出される。 In this embodiment, the determination processing unit 15 is configured to convert the position coordinates of the reference point Z in the image coordinate system into the position coordinates of the reference point Z in the coordinate system of real space using a transformation matrix H. The transformation matrix H is calculated in advance, for example, as follows.
図４は、前記画像座標系における位置座標を実空間の座標系における位置座標に変換するための変換行列Ｈの説明図である。 Figure 4 is an explanatory diagram of the transformation matrix H for transforming position coordinates in the image coordinate system into position coordinates in the coordinate system of real space.
まず、前記交差点を含む道路の撮像画像における道路上の特定平面領域Ｓａを規定する複数の点、ここでは台形状の特定平面領域Ｓａの４隅の点（以下「第１規定点」という）Ｓａ１～Ｓａ４の位置座標を求める。なお、本実施形態においては、画像座標系をＸＹ座標系とし、４つの第１規定点Ｓａ１～Ｓａ４の位置座標をそれぞれ（ｘ１，ｙ２）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）とする（図４の左側図を参照）。 First, the position coordinates of a number of points that define a specific planar area Sa on a road in a captured image of the road including the intersection are calculated; in this case, the position coordinates of the four corner points Sa1 to Sa4 of the trapezoidal specific planar area Sa (hereinafter referred to as "first defined points") are calculated. In this embodiment, the image coordinate system is an XY coordinate system, and the position coordinates of the four first defined points Sa1 to Sa4 are (x1, y2), (x2, y2), (x3, y3), and (x4, y4), respectively (see the left diagram in Figure 4).
次に、特定平面領域Ｓａに対応する、前記交差点を含む道路における道路上の実際の平面領域Ｒａを規定する複数の点、ここでは、矩形状の実際の平面領域Ｒａの４隅の点（以下「第２規定点という」）Ｒａ１～Ｒａ４の位置座標を求める。なお、本実施形態においては、前記実空間の座標系（世界座標系）をＵＶ座標系とし、４つの第２規定点Ｒａ１～Ｒａ４の位置座標をそれぞれ（ｕ１，ｖ１）、（ｕ２，ｖ２）、（ｕ３，ｖ３）、（ｕ４，ｖ４）とする（図４右側図を参照）。また、４つの第２規定点Ｒａ１～Ｒａ４は、４つの第１規定点Ｓａ１～Ｓａ４に対応している。 Next, the position coordinates of a plurality of points that define an actual planar area Ra on a road including the intersection, which corresponds to the specific planar area Sa, are determined; here, the position coordinates of the four corner points (hereinafter referred to as "second defined points") Ra1 to Ra4 of the rectangular actual planar area Ra are determined. Note that in this embodiment, the coordinate system of the real space (world coordinate system) is the UV coordinate system, and the position coordinates of the four second defined points Ra1 to Ra4 are (u1, v1), (u2, v2), (u3, v3), and (u4, v4), respectively (see the right diagram in Figure 4). The four second defined points Ra1 to Ra4 correspond to the four first defined points Sa1 to Sa4.
そして、特定平面領域Ｓａ内の各地点の位置座標（ｘ，ｙ）と、実際の平面領域Ｒａ内の各地点の位置座標（ｕ，ｖ）とを一対一で対応付ける行列を算出し、算出された行列を変換行列Ｈとする。ここで算出される変換行列Ｈは、四角形領域から四角形領域への変換を行う行列であり、対応関係にある第１規定点Ｓａ１（ｘ１，ｙ１）、Ｓａ２（ｘ２，ｙ２）、Ｓａ３（ｘ３，ｙ３）及びＳａ４（ｘ４，ｙ４）と、第２規定点Ｒａ１（ｕ１，ｖ１）、Ｒａ２（ｕ２，ｖ２）、Ｒａ３（ｕ３，ｖ３）及びＲａ４（ｕ４，ｖ４）とに基づく線形変換行列で表現され得る。 Then, a matrix that provides a one-to-one correspondence between the position coordinates (x, y) of each point in the specific planar region Sa and the position coordinates (u, v) of each point in the actual planar region Ra is calculated, and the calculated matrix is defined as the transformation matrix H. The transformation matrix H calculated here is a matrix that performs transformation from a rectangular region to a rectangular region, and can be expressed as a linear transformation matrix based on the corresponding first defined points Sa1 (x1, y1), Sa2 (x2, y2), Sa3 (x3, y3), and Sa4 (x4, y4) and the second defined points Ra1 (u1, v1), Ra2 (u2, v2), Ra3 (u3, v3), and Ra4 (u4, v4).
次に、移動ベクトル検出装置１０の動作を説明する。図５～図７は、移動ベクトル検出装置１０の動作の一例を示すフローチャートである。 Next, the operation of the motion vector detection device 10 will be described. Figures 5 to 7 are flowcharts showing an example of the operation of the motion vector detection device 10.
まず、画像入力部１１が撮像手段２０から前記交差点を含む道路の撮像画像を入力する（ステップＳ１）。次に、車両領域抽出部１２が画像入力部１１に入力された前記交差点を含む道路の撮像画像から車両５０に外接する矩形領域を車両領域ＶＡとして抽出する（ステップＳ２）。次に、判定処理部１５は、車両領域抽出部１２によって抽出された車両領域（矩形領域）ＶＡの下辺の中点を仮基準点ＴＺに設定すると共に（ステップＳ３）、仮基準点ＴＺの位置座標（画像座標系、ＸＹ座標系）を求めて前記記憶部に記憶する（ステップＳ４）。 First, the image input unit 11 inputs a captured image of the road including the intersection from the imaging means 20 (step S1). Next, the vehicle area extraction unit 12 extracts a rectangular area circumscribing the vehicle 50 as the vehicle area VA from the captured image of the road including the intersection input to the image input unit 11 (step S2). Next, the judgment processing unit 15 sets the midpoint of the bottom side of the vehicle area (rectangular area) VA extracted by the vehicle area extraction unit 12 as a tentative reference point TZ (step S3), and determines the position coordinates (image coordinate system, XY coordinate system) of the tentative reference point TZ and stores them in the storage unit (step S4).
次に、判定処理部１５は、車両５０の進行方向を判定する（ステップＳ５）。具体的には、本実施形態において、判定処理部１５は、今回設定した仮基準点ＴＺの位置座標（ステップＳ４で求められた仮基準点ＴＺの位置座標）と、過去に設定した仮基準点ＴＺの位置座標（前記記憶部に記憶されている仮基準点ＴＺの位置座標）とに基づいて、車両５０が直進するか、車両５０が左折するか又は車両５０が右折するかを判定する。 Next, the determination processing unit 15 determines the traveling direction of the vehicle 50 (step S5). Specifically, in this embodiment, the determination processing unit 15 determines whether the vehicle 50 will travel straight, turn left, or turn right based on the position coordinates of the currently set tentative reference point TZ (the position coordinates of the tentative reference point TZ obtained in step S4) and the position coordinates of the previously set tentative reference point TZ (the position coordinates of the tentative reference point TZ stored in the storage unit).
図８～図１０は、ステップＳ５において判定処理部１５によって行われる車両５０の進行方向の判定処理の説明図である。 Figures 8 to 10 are explanatory diagrams of the process of determining the traveling direction of the vehicle 50 performed by the determination processing unit 15 in step S5.
図８は、車両５０が直進する場合を示している。図８に示されるように、車両５０が直進する場合には車両５０が移動しても車両領域ＶＡに設定された仮基準点ＴＺのＸ座標の値はほとんど変化しない。このため、判定処理部１５は、例えば、今回設定した仮基準点ＴＺのＸ座標の値と、前回設定した仮基準点ＴＺのＸ座標の値又は直近複数回の仮基準点ＴＺのＸ座標の平均値との差が下限閾値以上であり且つ上限閾値以下である場合に車両５０が直進すると判定する。前記下限閾値及び前記上限閾値は、あらかじめ設定されて判定処理部１５が記憶している。特に制限されないが、前記下限閾値は例えば負の所定値であり、前記上限閾値は例えば正の所定値であり得る。 Figure 8 shows a case where the vehicle 50 travels straight. As shown in Figure 8, when the vehicle 50 travels straight, the value of the X-coordinate of the tentative reference point TZ set in the vehicle area VA hardly changes even if the vehicle 50 moves. For this reason, the judgment processing unit 15 judges that the vehicle 50 travels straight when, for example, the difference between the value of the X-coordinate of the tentative reference point TZ set this time and the value of the X-coordinate of the tentative reference point TZ set last time or the average value of the X-coordinates of the tentative reference point TZ set the most recent times is equal to or greater than the lower threshold and equal to or less than the upper threshold. The lower threshold and the upper threshold are set in advance and stored in the judgment processing unit 15. Although not particularly limited, the lower threshold may be, for example, a negative predetermined value, and the upper threshold may be, for example, a positive predetermined value.
図９は、車両５０が交差点３０を左折する場合を示している。図９に示されるように、車両５０が左折する場合には車両５０の移動に伴って仮基準点ＴＺのＸ座標の値が増加する。このため、判定処理部１５は、例えば、今回設定した仮基準点ＴＺのＸ座標の値と、前回設定した仮基準点ＴＺのＸ座標の値又は直近複数回の仮基準点ＴＺのＸ座標の平均値との差が前記上限閾値を超えている場合に車両５０が左折すると判定する。 Figure 9 shows a case where the vehicle 50 turns left at the intersection 30. As shown in Figure 9, when the vehicle 50 turns left, the X-coordinate value of the tentative reference point TZ increases as the vehicle 50 moves. For this reason, the determination processing unit 15 determines that the vehicle 50 will turn left when, for example, the difference between the X-coordinate value of the tentative reference point TZ set this time and the X-coordinate value of the tentative reference point TZ set previously or the average value of the X-coordinates of the most recent multiple tentative reference points TZ exceeds the upper limit threshold.
図１０は、車両５０が交差点３０を右折する場合を示している。図１０に示されるように、車両５０が交差点３０を右折する場合には車両５０の移動に伴って仮基準点ＴＺのＸ座標の値が減少する。このため、判定処理部１５は、例えば、今回設定した仮基準点ＴＺのＸ座標の値と、前回設定した仮基準点ＴＺのＸ座標の値又は直近複数回の仮基準点ＴＺのＸ座標の平均値との差が前記下限閾値未満であれば車両５０が右折すると判定する。 Figure 10 shows a case where the vehicle 50 turns right at the intersection 30. As shown in Figure 10, when the vehicle 50 turns right at the intersection 30, the value of the X-coordinate of the tentative reference point TZ decreases as the vehicle 50 moves. For this reason, the determination processing unit 15 determines that the vehicle 50 will turn right if, for example, the difference between the value of the X-coordinate of the tentative reference point TZ set this time and the value of the X-coordinate of the tentative reference point TZ set previously or the average value of the X-coordinates of the most recent multiple tentative reference points TZ is less than the lower threshold value.
図５に戻り、ステップＳ５において車両５０が直進すると判定された場合、判定処理部１５は、仮基準点ＴＺをそのまま基準点Ｚに設定する（ステップＳ５→ステップＳ６）。つまり、判定処理部１５は、車両領域抽出部１２によって抽出された車両領域（矩形領域）ＶＡの下辺の中点を基準点Ｚに設定する。 Returning to FIG. 5, if it is determined in step S5 that the vehicle 50 is moving straight, the determination processing unit 15 sets the tentative reference point TZ as the reference point Z (step S5 → step S6). In other words, the determination processing unit 15 sets the midpoint of the bottom side of the vehicle area (rectangular area) VA extracted by the vehicle area extraction unit 12 as the reference point Z.
その後、判定処理部１５は、基準点Ｚの位置座標（画像座標系）を求め（ステップＳ７）、求められた基準点Ｚの位置座標（画像座標系）を実空間の座標系の位置座標に変換し（ステップＳ８）、変換後の基準点Ｚの位置座標（実空間の座標系）を前記記憶部に記憶する（ステップＳ９）。そして、判定処理部１５は、前記記憶部に記憶された基準点Ｚの位置座標（実空間の座標系）の経時的な変化を追跡することにより、車両５０の移動ベクトル（移動速度及び移動方向）を検出（算出）する（ステップＳ１０）。 Then, the judgment processing unit 15 obtains the position coordinates (image coordinate system) of the reference point Z (step S7), converts the obtained position coordinates (image coordinate system) of the reference point Z into position coordinates in the coordinate system of real space (step S8), and stores the converted position coordinates (real space coordinate system) of the reference point Z in the storage unit (step S9). The judgment processing unit 15 then detects (calculates) the movement vector (movement speed and movement direction) of the vehicle 50 by tracking the change over time in the position coordinates (real space coordinate system) of the reference point Z stored in the storage unit (step S10).
図１１は、車両５０が直進する場合の基準点Ｚの変位を示す図である。図１１に示されるように、車両５０が直進する場合の基準点Ｚ（車両領域ＶＡの下辺の中点）は、車両５０が移動しても車両５０のフロント下部の中央部（同じ位置）に対応している。 Figure 11 is a diagram showing the displacement of reference point Z when vehicle 50 travels straight. As shown in Figure 11, reference point Z (the midpoint of the lower side of vehicle area VA) when vehicle 50 travels straight corresponds to the center of the lower front part of vehicle 50 (the same position) even if vehicle 50 moves.
一方、ステップＳ５において車両５０が左折すると判定された場合、エッジ画像作成部１３が車両領域抽出部１２によって抽出された車両領域ＶＡのエッジ画像を作成し（ステップＳ５→ステップＳ１１（図６））、直線検出部１４がエッジ画像作成部１３によって作成されたエッジ画像から直線部分（線分）を検出する（ステップＳ１２）。そして、判定処理部１５は、検出された複数の直線部分（線分）のうち、最も右下に位置する直線部分（線分）を選択し（ステップＳ１３）、選択された直線部分の中点を基準点Ｚに設定する（ステップＳ１４）。 On the other hand, if it is determined in step S5 that the vehicle 50 is turning left, the edge image creation unit 13 creates an edge image of the vehicle area VA extracted by the vehicle area extraction unit 12 (step S5 → step S11 (Figure 6)), and the straight line detection unit 14 detects straight line portions (line segments) from the edge image created by the edge image creation unit 13 (step S12). Then, the determination processing unit 15 selects the straight line portion (line segment) located at the bottom right among the detected multiple straight line portions (line segments) (step S13), and sets the midpoint of the selected straight line portion as the reference point Z (step S14).
その後、判定処理部１５は、車両５０が直進する場合と同様の処理を行う。すなわち、判定処理部１５は、ステップＳ１４で設定された基準点Ｚの位置座標（画像座標系）を求め（ステップＳ１４→ステップＳ７）、求められた基準点Ｚの位置座標（画像座標系）を実空間の座標系の位置座標に変換し（ステップＳ８）、変換後の基準点Ｚの位置座標（実空間の座標系）を前記記憶部に記憶する（ステップＳ９）。そして、判定処理部１５は、前記記憶部に記憶された基準点Ｚの位置座標（実空間の座標系）の経時的な変化を追跡することにより、車両５０の移動ベクトル（移動速度及び移動方向）を検出（算出）する（ステップＳ１０）。 Then, the determination processing unit 15 performs the same processing as when the vehicle 50 moves straight ahead. That is, the determination processing unit 15 obtains the position coordinates (image coordinate system) of the reference point Z set in step S14 (step S14 → step S7), converts the obtained position coordinates (image coordinate system) of the reference point Z to position coordinates in the coordinate system of real space (step S8), and stores the converted position coordinates (coordinate system of real space) of the reference point Z in the storage unit (step S9). Then, the determination processing unit 15 detects (calculates) the movement vector (movement speed and movement direction) of the vehicle 50 by tracking the change over time in the position coordinates (coordinate system of real space) of the reference point Z stored in the storage unit (step S10).
図１２は、車両５０が左折する場合における基準点Ｚの設定過程を示す図である。図１２（Ａ）は、車両領域抽出部１２によって抽出される車両領域ＶＡの一例を示し、図１２（Ｂ）は、エッジ画像作成部１３によって作成されるエッジ画像の一例を示し、図１２（Ｃ）は、直線検出部１４によって検出される複数の直線部分（線分）の一例を示し、図１２（Ｄ）は、判定処理部１５によって選択される最も右下に位置する直線部分及びその中点である基準点Ｚの一例を示している。また、図１３は、車両５０が左折する場合の基準点Ｚの変位を示す図である。図１２（Ｄ）及び図１３に示されるように、車両５０が左折する場合の基準点Ｚ、すなわち、車両領域ＶＡのエッジ画像に含まれた複数の直線部分のうちの最も右下に位置する直線部分の中点は、車両５０が直進する場合の基準点Ｚ（車両領域ＶＡの下辺の中点）と同様、車両５０が移動しても車両５０のフロント下部の中央部（同じ位置）に対応している。 12 is a diagram showing the process of setting the reference point Z when the vehicle 50 turns left. FIG. 12(A) shows an example of the vehicle area VA extracted by the vehicle area extraction unit 12, FIG. 12(B) shows an example of an edge image created by the edge image creation unit 13, FIG. 12(C) shows an example of a plurality of straight line parts (line segments) detected by the straight line detection unit 14, and FIG. 12(D) shows an example of the straight line part located at the bottom right and its midpoint selected by the judgment processing unit 15. FIG. 13 is a diagram showing the displacement of the reference point Z when the vehicle 50 turns left. As shown in FIG. 12(D) and FIG. 13, the reference point Z when the vehicle 50 turns left, that is, the midpoint of the straight line part located at the bottom right among the plurality of straight line parts included in the edge image of the vehicle area VA, corresponds to the center part (the same position) of the front lower part of the vehicle 50 even if the vehicle 50 moves, just like the reference point Z (the midpoint of the lower side of the vehicle area VA) when the vehicle 50 moves straight.
また、ステップＳ５において車両５０が右折すると判定された場合、エッジ画像作成部１３が車両領域抽出部１２によって抽出された車両領域ＶＡのエッジ画像を作成し（ステップＳ５→ステップＳ２１（図７））、直線検出部１４がエッジ画像作成部１３によって作成されたエッジ画像から直線部分（線分）を検出する（ステップＳ２２）。そして、判定処理部１５は、検出された複数の直線部分（線分）のうち、最も左下に位置する直線部分（線分）を選択し（ステップＳ２３）、選択した直線部分の中点を基準点Ｚに設定する（ステップＳ２４）。 If it is determined in step S5 that the vehicle 50 is turning right, the edge image creation unit 13 creates an edge image of the vehicle area VA extracted by the vehicle area extraction unit 12 (step S5 → step S21 (Figure 7)), and the straight line detection unit 14 detects straight line portions (line segments) from the edge image created by the edge image creation unit 13 (step S22). Then, the determination processing unit 15 selects the straight line portion (line segment) located at the bottom left among the detected multiple straight line portions (line segments) (step S23), and sets the midpoint of the selected straight line portion as the reference point Z (step S24).
その後、判定処理部１５は、車両５０が直進する場合及び車両５０が左折する場合と同様の処理を行う。すなわち、判定処理部１５は、ステップＳ２４で設定された基準点Ｚの位置座標（画像座標系）を求め（ステップＳ２４→ステップＳ７）、求められた基準点Ｚの位置座標（画像座標系）を実空間の座標系の位置座標に変換し（ステップＳ８）、変換後の基準点Ｚの位置座標（実空間の座標系）を前記記憶部に記憶する（ステップＳ９）。そして、判定処理部１５は、前記記憶部に記憶された基準点Ｚの位置座標（実空間の座標系）の経時的な変化を追跡することにより、車両５０の移動ベクトル（移動速度及び移動方向）を検出（算出）する（ステップＳ１０）。 Then, the determination processing unit 15 performs the same processing as when the vehicle 50 moves straight ahead and when the vehicle 50 turns left. That is, the determination processing unit 15 obtains the position coordinates (image coordinate system) of the reference point Z set in step S24 (step S24 → step S7), converts the obtained position coordinates (image coordinate system) of the reference point Z to position coordinates in the coordinate system of real space (step S8), and stores the converted position coordinates (coordinate system of real space) of the reference point Z in the storage unit (step S9). Then, the determination processing unit 15 detects (calculates) the movement vector (movement speed and movement direction) of the vehicle 50 by tracking the change over time in the position coordinates (coordinate system of real space) of the reference point Z stored in the storage unit (step S10).
図１４は、車両５０が右折する場合における基準点Ｚの設定過程を示す図である。図１４（Ａ）は、車両領域抽出部１２によって抽出される車両領域ＶＡの一例を示し、図１４（Ｂ）は、エッジ画像作成部１３によって作成されるエッジ画像の一例を示し、図１４（Ｃ）は、直線検出部１４によって検出される複数の直線部分（線分）の一例を示し、図１４（Ｄ）は、判定処理部１５によって選択される最も左下に位置する直線部分及びその中点である基準点Ｚの一例を示している。また、図１５は、車両５０が右折する場合の基準点Ｚの変位を示す図である。図１４（Ｄ）及び図１５に示されるように、車両５０が右折する場合の基準点Ｚ、すなわち、車両領域ＶＡのエッジ画像に含まれた複数の直線部分のうちの最も左下に位置する直線部分の中点は、車両５０が直進する場合の基準点Ｚ（車両領域ＶＡの下辺の中点）と同様、車両５０が移動しても車両５０のフロント下部の中央部（同じ位置）に対応している。 14 is a diagram showing the process of setting the reference point Z when the vehicle 50 turns right. FIG. 14(A) shows an example of the vehicle area VA extracted by the vehicle area extraction unit 12, FIG. 14(B) shows an example of an edge image created by the edge image creation unit 13, FIG. 14(C) shows an example of a plurality of straight line parts (line segments) detected by the straight line detection unit 14, and FIG. 14(D) shows an example of the straight line part located at the bottom left and its midpoint selected by the judgment processing unit 15. FIG. 15 is a diagram showing the displacement of the reference point Z when the vehicle 50 turns right. As shown in FIG. 14(D) and FIG. 15, the reference point Z when the vehicle 50 turns right, that is, the midpoint of the straight line part located at the bottom left among the plurality of straight line parts included in the edge image of the vehicle area VA, corresponds to the center part (the same position) of the front lower part of the vehicle 50 even if the vehicle 50 moves, just like the reference point Z (the midpoint of the lower side of the vehicle area VA) when the vehicle 50 moves straight.
以上のように、実施形態に係る移動ベクトル検出装置１０は、撮像手段２０によって撮像された交差点を含む道路の撮像画像を入力し、入力された前記交差点を含む道路の撮像画像から車両５０に外接する矩形領域を車両領域ＶＡとして抽出する。そして、移動ベクトル検出装置１０は、抽出された車両領域ＶＡに基準点Ｚを設定し、及び基準点Ｚを追跡して車両５０の移動ベクトルを検出（算出）するが、その際に、車両５０が直進する場合と車両５０が折進（左折又は右折）する場合とで基準点Ｚの位置を変化させる。 As described above, the motion vector detection device 10 according to the embodiment inputs an image of a road including an intersection captured by the imaging means 20, and extracts a rectangular area circumscribing the vehicle 50 from the input image of the road including the intersection as the vehicle area VA. The motion vector detection device 10 then sets a reference point Z in the extracted vehicle area VA, and tracks the reference point Z to detect (calculate) the motion vector of the vehicle 50, changing the position of the reference point Z depending on whether the vehicle 50 is traveling straight or turning (left or right).
このため、実施形態に係る移動ベクトル検出装置１０によれば、車両５０が直進する場合と車両５０が折進する場合とで、さらに言えば、車両５０が直進する場合、車両５０が左折する場合及び車両５０が右折する場合のそれぞれで基準点Ｚを適した位置に設定することが可能である。したがって、車両５０の進行方向にかかわらず、車両５０の移動ベクトルの検出誤差を抑制することができる。 Therefore, according to the movement vector detection device 10 of the embodiment, it is possible to set the reference point Z to an appropriate position when the vehicle 50 travels straight and when the vehicle 50 turns, and more specifically, when the vehicle 50 travels straight, when the vehicle 50 turns left, and when the vehicle 50 turns right. Therefore, detection errors of the movement vector of the vehicle 50 can be suppressed regardless of the traveling direction of the vehicle 50.
ここで、本実施形態において、前記交差点を含む道路の撮像画像は、前記交差点を含む道路が前記交差点に向う車両から見て前方斜め上方から撮像手段２０によって撮像された画像である。また、移動ベクトル検出装置１０は、車両５０の進行方向を判定し、判定結果に応じて車両領域ＶＡの異なる位置に基準点Ｚを設定するように構成されている。具体的には、移動ベクトル検出装置１０は、車両５０が直進すると判定した場合、車両領域ＶＡの下辺の中点を基準点Ｚに設定する。一方、移動ベクトル検出装置１０は、車両５０が折進すると判定した場合、車両領域ＶＡのエッジ画像を作成し、作成されたエッジ画像に含まれる直線部分のうちの下部側に位置する直線部分の中点を基準点Ｚに設定する。詳細には、移動ベクトル検出装置１０は、車両５０が左折すると判定した場合、車両領域ＶＡのエッジ画像から直線部分を検出し、及び検出された複数の直線部分のうち、最も右下に位置する直線部分の中点を基準点Ｚに設定する。また、移動ベクトル検出装置１０は、車両５０が右折すると判定した場合、車両領域ＶＡのエッジ画像から直線部分を検出し、及び検出された複数の直線部分のうち、最も左下に位置する直線部分の中点を基準点Ｚに設定する。 Here, in this embodiment, the captured image of the road including the intersection is an image captured by the imaging means 20 from a diagonally upward forward direction as viewed from a vehicle heading toward the intersection. The motion vector detection device 10 is configured to determine the traveling direction of the vehicle 50 and set the reference point Z at a different position of the vehicle area VA according to the determination result. Specifically, when the motion vector detection device 10 determines that the vehicle 50 is going straight, it sets the midpoint of the lower side of the vehicle area VA as the reference point Z. On the other hand, when the motion vector detection device 10 determines that the vehicle 50 is going to turn, it creates an edge image of the vehicle area VA and sets the midpoint of the straight line portion located at the lower side of the straight line portions included in the created edge image as the reference point Z. In detail, when the motion vector detection device 10 determines that the vehicle 50 is going to turn left, it detects straight line portions from the edge image of the vehicle area VA and sets the midpoint of the straight line portion located at the bottom right of the detected straight line portions as the reference point Z. Furthermore, when the motion vector detection device 10 determines that the vehicle 50 is turning right, it detects straight line segments from the edge image of the vehicle area VA, and sets the midpoint of the straight line segment located at the bottom left among the detected straight line segments as the reference point Z.
このため、車両５０が直進する場合及び車両５０が折進する場合の双方において、車両５０が移動しても車両５０のフロント下部の中央部に対応する位置に基準点Ｚが設定される（図１１、図１２（Ｄ）、図１３、図１４（Ｄ）及び図１５参照）。つまり、車両５０が直進する場合及び車両５０が折進する場合のいずれにおいても基準点Ｚが車両５０の同じ位置に対応するように設定されるので、車両５０が直進する場合はもちろん、車両５０が折進（左折又は右折）する場合においても、車両５０の移動ベクトルの検出誤差を抑制することができる。 For this reason, in both cases where the vehicle 50 travels straight and where the vehicle 50 makes a turn, the reference point Z is set at a position corresponding to the center of the lower front part of the vehicle 50 even if the vehicle 50 moves (see Figures 11, 12(D), 13, 14(D), and 15). In other words, the reference point Z is set to correspond to the same position of the vehicle 50 in both cases where the vehicle 50 travels straight and where the vehicle 50 makes a turn, so that detection errors in the movement vector of the vehicle 50 can be suppressed not only when the vehicle 50 travels straight but also when the vehicle 50 makes a turn (turning left or right).
さらに、移動ベクトル検出装置１０は、前記画像座標系における基準点Ｚの位置座標を変換行列Ｈによって実空間の座標系における位置座標に変換し、変換された実空間の座標系における基準点Ｚの位置座標の経時的な変化を追跡することにより、車両５０の移動ベクトルを検出するように構成されている。ここで、変換行列Ｈは、前記撮像画像における前記交差点を含む道路上の特定平面領域Ｓａを規定する複数の第１規定点Ｓａ１～Ｓａ４の位置座標と、特定平面領域Ｓａに対応する、前記交差点を含む道路上の実際の平面領域Ｒａを規定する複数の第２規定点Ｒａ１～Ｒａ４の位置座標とに基づいて算出される。そして、上述のように、移動ベクトル検出装置１０は、車両領域ＶＡの下辺の中点（車両５０が直進する場合）、車両領域ＶＡのエッジ画像に含まれる直線部分のうちの最も右下に位置する直線部分の中点（車両５０が左折する場合）又は車両領域ＶＡのエッジ画像に含まれる直線部分のうちの最も左下に位置する直線部分の中点（車両５０が右折する場合）を基準点Ｚに設定しており、これによって、基準点Ｚが、車両５０のフロント下部の中央部、つまり、高さ方向において道路（特定平面領域Ｓａ）に近い車両５０の部位に対応する位置に設定される。 Furthermore, the motion vector detection device 10 is configured to convert the position coordinates of the reference point Z in the image coordinate system into position coordinates in the coordinate system of real space by a transformation matrix H, and detect the motion vector of the vehicle 50 by tracking changes over time in the position coordinates of the reference point Z in the transformed coordinate system of real space. Here, the transformation matrix H is calculated based on the position coordinates of a plurality of first defined points Sa1 to Sa4 that define a specific planar area Sa on a road including the intersection in the captured image, and the position coordinates of a plurality of second defined points Ra1 to Ra4 that define an actual planar area Ra on a road including the intersection that corresponds to the specific planar area Sa. As described above, the motion vector detection device 10 sets the reference point Z to the midpoint of the bottom edge of the vehicle area VA (when the vehicle 50 moves straight), the midpoint of the straight line portion located at the bottom right of the straight line portions included in the edge image of the vehicle area VA (when the vehicle 50 turns left), or the midpoint of the straight line portion located at the bottom left of the straight line portions included in the edge image of the vehicle area VA (when the vehicle 50 turns right). This sets the reference point Z to the center of the lower front of the vehicle 50, that is, the position corresponding to the part of the vehicle 50 closest to the road (specific planar area Sa) in the height direction.
このため、基準点Ｚを前記画像座標系から実空間の座標系に変換する際の変換誤差が抑制され、車両５０の移動ベクトルの検出精度を高く維持することができる。 This reduces conversion errors when converting the reference point Z from the image coordinate system to the coordinate system of real space, and maintains high detection accuracy of the movement vector of the vehicle 50.
なお、上述の実施形態において、移動ベクトル検出装置１０（の車両領域抽出部１２）は、車両５０に外接する矩形領域を、車両５０を内包する車両領域ＶＡとして抽出している。しかし、これに限られるものではない。移動ベクトル検出装置１０（の車両領域抽出部１２）は、車両５０に外接する他の多角形領域や円形（楕円形）領域などを、車両５０を内包する車両領域ＶＡとして抽出してもよい。 In the above embodiment, the movement vector detection device 10 (the vehicle area extraction unit 12) extracts a rectangular area circumscribing the vehicle 50 as the vehicle area VA that includes the vehicle 50. However, this is not limited to this. The movement vector detection device 10 (the vehicle area extraction unit 12) may also extract other polygonal areas or circular (elliptical) areas that circumscribing the vehicle 50 as the vehicle area VA that includes the vehicle 50.
また、上述の実施形態において、移動ベクトル検出装置１０（の判定処理部１５）は、車両領域（矩形領域）ＶＡの下辺の中点を仮基準点ＴＺや車両５０が直進する場合の基準点Ｚに設定している。しかし、これに限られるものではない。移動ベクトル検出装置１０（の判定処理部１５）は、車両領域ＶＡの下辺上の他の点（中点以外の点）を仮基準点ＴＺや車両５０が直進する場合の基準点Ｚに設定してもよい。つまり、移動ベクトル検出装置１０（の判定処理部１５）は、車両領域ＶＡの下辺上の特定点を仮基準点ＴＺや車両５０が直進する場合の基準点Ｚに設定することが可能である。この場合、移動ベクトル検出装置１０（の判定処理部１５）は、車両領域ＶＡのエッジ画像に含まれる直線部分のうちの最も右下に位置する直線部分上の特定点（車両領域ＶＡの下辺上の特定点に対応する点）を車両５０が左折する場合の基準点Ｚに設定し、車両領域ＶＡのエッジ画像に含まれる直線部分のうちの最も左下に位置する直線部分上の特定点（車両領域ＶＡの下辺上の特定点に対応する点）を車両５０が右折する場合の基準点Ｚに設定するのが好ましい。 In addition, in the above-mentioned embodiment, the movement vector detection device 10 (determination processing unit 15) sets the midpoint of the bottom side of the vehicle area (rectangular area) VA as the provisional reference point TZ or the reference point Z when the vehicle 50 moves straight. However, this is not limited to this. The movement vector detection device 10 (determination processing unit 15) may also set another point (a point other than the midpoint) on the bottom side of the vehicle area VA as the provisional reference point TZ or the reference point Z when the vehicle 50 moves straight. In other words, the movement vector detection device 10 (determination processing unit 15) can set a specific point on the bottom side of the vehicle area VA as the provisional reference point TZ or the reference point Z when the vehicle 50 moves straight. In this case, it is preferable that the motion vector detection device 10 (the determination processing unit 15) sets a specific point on the straight line portion located at the lower right of the straight line portions included in the edge image of the vehicle area VA (a point corresponding to a specific point on the bottom side of the vehicle area VA) as the reference point Z when the vehicle 50 turns left, and sets a specific point on the straight line portion located at the lower left of the straight line portions included in the edge image of the vehicle area VA (a point corresponding to a specific point on the bottom side of the vehicle area VA) as the reference point Z when the vehicle 50 turns right.
以上、本発明の実施形態及びその変形例について説明したが、本発明は、上述の実施形態や変形例に制限されるものではなく、本発明の技術的思想に基づいてさらなる変形及び変更が可能であることはもちろんである。 The above describes the embodiments of the present invention and their variations, but the present invention is not limited to the above-mentioned embodiments and variations, and further variations and modifications are possible based on the technical concept of the present invention.
１０…移動ベクトル検出装置、１１…画像入力部、１２…車両領域抽出部、１３…エッジ画像作成部、１４…直線検出部、１５…判定処理部、２０…撮像手段、３０…交差点、４０…走行路、５０…車両、Ｈ…変換行列、ＴＺ…仮基準点、ＶＡ…車両領域、Ｚ…基準点 10...Movement vector detection device, 11...Image input unit, 12...Vehicle area extraction unit, 13...Edge image creation unit, 14...Straight line detection unit, 15...Judgment processing unit, 20...Imaging means, 30...Intersection, 40...Road, 50...Vehicle, H...Transformation matrix, TZ...Temporary reference point, VA...Vehicle area, Z...Reference point
Claims (4)
前記車両が直進する場合、前記車両領域の下辺上の特定点を前記基準点に設定し、
前記車両が折進する場合、前記車両領域のエッジ画像に含まれる直線部分のうちの下部側に位置する直線部分上の特定点を前記基準点に設定する、
請求項１又は２に記載の移動ベクトル検出装置。 the vehicle area is a rectangular area circumscribing the vehicle,
When the vehicle moves straight, a specific point on a lower side of the vehicle area is set as the reference point;
When the vehicle is making a turn, a specific point on a straight line portion located on a lower side of straight line portions included in an edge image of the vehicle area is set as the reference point.
3. A motion vector detection device according to claim 1 or 2.
前記変換行列は、前記撮像画像における前記道路上の特定平面領域を規定する複数の第１規定点の位置座標と、前記特定平面領域に対応する前記道路上の実際の平面領域を規定する複数の第２規定点の位置座標とに基づいて算出される、
請求項１～３のいずれか一つに記載の移動ベクトル検出装置。 a transformation matrix is used to transform position coordinates of the reference point in the captured image into position coordinates of the reference point in a coordinate system of a real space, and a time-dependent change in the position coordinates of the reference point in the transformed coordinate system of the real space is tracked to detect a movement vector of the vehicle;
the transformation matrix is calculated based on position coordinates of a plurality of first defined points that define a specific planar area on the road in the captured image, and position coordinates of a plurality of second defined points that define an actual planar area on the road corresponding to the specific planar area;
4. The motion vector detection device according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021007833A JP7514772B2 (en) | 2021-01-21 | 2021-01-21 | Movement Vector Detection Device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021007833A JP7514772B2 (en) | 2021-01-21 | 2021-01-21 | Movement Vector Detection Device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022112144A JP2022112144A (en) | 2022-08-02 |
| JP7514772B2 true JP7514772B2 (en) | 2024-07-11 |
Family
ID=82656212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021007833A Active JP7514772B2 (en) | 2021-01-21 | 2021-01-21 | Movement Vector Detection Device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7514772B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024032396A (en) * | 2022-08-29 | 2024-03-12 | 沖電気工業株式会社 | Information processing device, information processing method and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007188269A (en) | 2006-01-12 | 2007-07-26 | Univ Of Tokyo | Method and apparatus for tracking moving object on image |
| JP2007265015A (en) | 2006-03-28 | 2007-10-11 | Matsushita Electric Ind Co Ltd | Vehicle detection device and vehicle detection method |
| JP2015046126A (en) | 2013-08-29 | 2015-03-12 | 株式会社東芝 | Vehicle detector |
-
2021
- 2021-01-21 JP JP2021007833A patent/JP7514772B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007188269A (en) | 2006-01-12 | 2007-07-26 | Univ Of Tokyo | Method and apparatus for tracking moving object on image |
| JP2007265015A (en) | 2006-03-28 | 2007-10-11 | Matsushita Electric Ind Co Ltd | Vehicle detection device and vehicle detection method |
| JP2015046126A (en) | 2013-08-29 | 2015-03-12 | 株式会社東芝 | Vehicle detector |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022112144A (en) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11763571B2 (en) | Monocular cued detection of three-dimensional structures from depth images | |
| US10984509B2 (en) | Image processing apparatus, imaging device, moving body device control system, image information processing method, and program product | |
| CN108535727B (en) | Method for tracking multiple objects in the vicinity of the host vehicle | |
| CN108389430A (en) | A kind of intersection pedestrian based on video detection and collision of motor-driven vehicles prediction technique | |
| CN108647646A (en) | The optimizing detection method and device of low obstructions based on low harness radar | |
| JP2016029557A (en) | Three-dimensional object detection device, three-dimensional object detection method, three-dimensional object detection program, and mobile device control system | |
| EP4068205B1 (en) | Method for tracking object within video frame sequence and apparatus therefor | |
| WO2017130640A1 (en) | Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program | |
| WO2017134936A1 (en) | Object detection device, device control system, imaging device, objection detection method, and program | |
| WO2017154389A1 (en) | Image processing device, imaging device, mobile apparatus control system, image processing method, and program | |
| KR101342124B1 (en) | A front vehicle detecting and tracking system using the image and detecting and tracking method using the same | |
| JP2012146146A (en) | Moving object detection apparatus | |
| JP7514772B2 (en) | Movement Vector Detection Device | |
| Taubel et al. | An experimental study of a lane departure warning system based on the optical flow and Hough transform methods | |
| WO2023090170A1 (en) | Image processing device | |
| JP3192616B2 (en) | Local position grasping apparatus and method | |
| CN115123291B (en) | A behavior prediction method and device based on obstacle recognition | |
| JP2005170290A (en) | Obstacle detection device | |
| CN115512542A (en) | A track restoration method and system based on roadside lidar considering occlusion | |
| JP5125214B2 (en) | Obstacle detection method and obstacle detection device | |
| JP6812701B2 (en) | Image processing equipment, mobile device control system, image processing method, and program | |
| KR101432727B1 (en) | moving object detection system using Head light beam pattern for crash prevention of vehicle and object and moving object detection method using Thereof | |
| JP3846341B2 (en) | Vehicle rearward monitoring device | |
| JP4897539B2 (en) | Obstacle detection device | |
| US11948372B2 (en) | Vehicle assist method and vehicle assist device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231219 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240614 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240618 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240701 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7514772 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |