JP7804558B2 - Movement measurement system - Google Patents
Movement measurement systemInfo
- Publication number
- JP7804558B2 JP7804558B2 JP2022171246A JP2022171246A JP7804558B2 JP 7804558 B2 JP7804558 B2 JP 7804558B2 JP 2022171246 A JP2022171246 A JP 2022171246A JP 2022171246 A JP2022171246 A JP 2022171246A JP 7804558 B2 JP7804558 B2 JP 7804558B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- area
- movement
- image
- inter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、カメラで対象体を撮影した画像を用いてカメラと対象体の間の相対的な移動量を測定する技術に関するものである。 The present invention relates to a technology for measuring the amount of relative movement between a camera and an object using an image of the object captured by the camera.
カメラで対象体を撮影した画像を用いてカメラと対象体の間の相対的な移動量を測定する技術としては、撮影した画像中の特徴領域に類似する、次の時刻に撮影した画像中の領域を、テンプレートマッチングによって探索し、探索した領域の特徴領域からの移動量を算定する処理を繰り返し行う技術が知られている（たとえば、特許文献１）。 One known technique for measuring the relative movement between a camera and an object using an image of the object captured by a camera involves using template matching to search for an area in an image captured at the next time that is similar to a feature area in the captured image, and then repeatedly calculating the amount of movement of the searched area from the feature area (see, for example, Patent Document 1).
また、現時刻までに求まった移動量より、特徴領域の像の次の時刻に撮影される画像中の位置を予測し、予測した位置の周辺の範囲である予測範囲のみを対象としてテンプレートマッチングによる探索を行うことにより、探索に要する処理時間を低減する技術も知られている（たとえば、特許文献２）。 There is also known technology that reduces the processing time required for searching by predicting the position of the image of a characteristic region in the image to be captured at the next time based on the amount of movement determined up to the current time, and then performing a search using template matching only within the predicted range surrounding the predicted position (for example, Patent Document 2).
上述した予測範囲のみを対象としてテンプレートマッチングによる探索を行う技術によれば、予測範囲の中から特徴領域に類似する領域の探索に失敗した場合、今回の移動量が算定できず次回の予測範囲の設定ができなくなり、以降の探索を行うことができない。
そこで、予測範囲の中から探索に失敗した場合に、画像の全体を対象としてテンプレートマッチングによる探索を行うことが考えられるが、全体を対象とする探索には、予測範囲のみを対象とする探索よりも多くの処理時間を必要とする。
そして、全体を対象とする探索が、予測範囲のみを対象とする探索を繰り返す周期より長い時間を要する場合、探索によって得られる情報は、処理に要した時間分、予測範囲のみを対象とする探索によって得られる情報よりも古い情報となる。この技術を移動量の算出に適用した場合、得られる移動量は、処理に要した時間分、過去の移動量となるため次回の予測精度が低下してしまい、予測範囲内に対象体が含まれないことで探索に再度失敗してしまう可能性が高い。
According to the above-described technology that performs a search using template matching only on the prediction range, if a search for a region similar to the feature region within the prediction range fails, the amount of movement this time cannot be calculated, it becomes impossible to set the next prediction range, and subsequent searches become impossible.
Therefore, if a search within the predicted range fails, it is possible to perform a search using template matching on the entire image, but a search that targets the entire image requires more processing time than a search that targets only the predicted range.
If a search that covers the entire area takes longer than the cycle of repeating a search that covers only the prediction range, the information obtained by the search will be older than the information obtained by a search that covers only the prediction range by the time required for processing.If this technology is applied to calculating the amount of movement, the obtained amount of movement will be an amount of movement from the past by the time required for processing, which will reduce the accuracy of the next prediction, and there is a high possibility that the search will fail again because the target object is not included in the prediction range.
本発明は、カメラに対して相対的に移動する対象体の移動量の算出を短時間で処理することで、最新の移動量を取得することを課題とする。 The present invention aims to obtain the most recent movement amount by quickly calculating the movement amount of an object moving relative to the camera.
前記課題達成のために、本発明は、カメラで撮影した対象体の画像である撮影画像から、前記対象体とカメラの間の相対的移動量を計測する移動量計測システムに、画像間移動ベクトルを探索する基本探索動作を実行する基本探索手段と、画像間移動ベクトルを探索する分割探索動作を実行する分割探索手段と、探索された画像間移動ベクトルから、前記対象体とカメラの間の相対的移動量を算定する移動量算定手段とを備えたものである。当該移動量計測システムは、探索実行状態として、前記基本探索手段が基本探索動作を繰り返し実行する基本探索反復状態と、前記分割探索手段が前記分割探索動作を繰り返し実行する分割探索反復状態とを有する。また、当該移動量計測システムは、基本探索反復状態において、前記基本探索手段が基本探索動作による画像間移動ベクトルの探索に失敗したならば、探索実行状態を分割探索反復状態に切り替え、分割探索反復状態において、前記分割探索手段が前記分割探索動作による画像間移動ベクトルの探索に成功したならば、探索実行状態を基本探索反復状態に切り替える探索実行状態切替手段を備えている。前記基本探索手段は、各回の前記基本探索動作において、今回の撮影画像中に被追尾領域を設定し、現在までに探索した画像間移動ベクトルから次回に探索される画像間移動ベクトルとなる期待度が高い複数の移動ベクトルを予測し、予測した各移動ベクトルを次回の探索対象移動ベクトルに設定すると共に、前回の基本探索動作において次回の探索対象移動ベクトルとして設定された今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作を行う。前記分割探索手段は、各回の前記分割探索動作において、今回の撮影画像中に被追尾領域を設定し、複数の移動ベクトルを今回の探索対象移動ベクトルに設定すると共に、設定した今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作を行う。前記分割探索手段は、前記分割探索動作を繰り返し実行する間に所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されるように、各回の前記分割探索動作毎に探索対象移動ベクトルに設定する複数の移動ベクトルを切り替える。そして、前記基本探索動作と前記分割探索動作において行う、前記今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作において、今回の各探索対象移動ベクトルに対応する今回の撮影画像中の領域を、前回設定した被追尾領域を対応する探索対象移動ベクトルで移動した領域として、各探索対象移動ベクトルに対応する領域を合わせた探索領域中に、前回設定された被追尾領域と整合する領域が存在した場合には、画像間移動ベクトルの探索を成功として、存在した領域に対応する探索対象移動ベクトルを今回探索した画像間移動ベクトルとし、存在しなかった場合には、今回の画像間移動ベクトルの探索を失敗とする。 To achieve the above objective, the present invention provides a movement measurement system that measures the relative movement between an object and a camera from captured images of the object captured by a camera, and includes: a basic search means that performs a basic search operation to search for an inter-image movement vector; a partitioned search means that performs a partitioned search operation to search for the inter-image movement vector; and a movement calculation means that calculates the relative movement between the object and the camera from the searched inter-image movement vector. The movement measurement system has two search execution states: a basic search iteration state in which the basic search means repeatedly performs the basic search operation; and a partitioned search iteration state in which the partitioned search means repeatedly performs the partitioned search operation. The movement measurement system also includes a search execution state switching means that switches the search execution state to a partitioned search iteration state if the basic search means fails to search for an inter-image movement vector using the basic search operation in the basic search iteration state, and that switches the search execution state to the basic search iteration state if the partitioned search means succeeds in searching for an inter-image movement vector using the partitioned search operation in the partitioned search iteration state. In each basic search operation, the basic search means sets a tracked area in the current captured image, predicts multiple motion vectors that are likely to be the inter-image motion vectors to be searched for next time based on the inter-image motion vectors searched so far, sets each predicted motion vector as the next search target motion vector, and performs a search operation for the current inter-image motion vector using the current search target motion vectors set as the next search target motion vectors in the previous basic search operation as search targets. In each split search operation, the division search means sets a tracked area in the current captured image, sets multiple motion vectors as the current search target motion vectors, and performs a search operation for the current inter-image motion vector using the set current search target motion vectors as search targets. The split search means switches the multiple motion vectors set as search target motion vectors for each split search operation so that all motion vectors within a predetermined range are set as search target motion vectors during repeated execution of the split search operation. Then, in the current inter-image movement vector search operation performed in the basic search operation and the divided search operation, with each of the current search target movement vectors as the search target, the area in the current captured image corresponding to each of the current search target movement vectors is considered to be the area obtained by moving the previously set tracked area with the corresponding search target movement vector, and if an area that matches the previously set tracked area is found in the search area combined with the areas corresponding to each search target movement vector, the search for the inter-image movement vector is deemed successful, and the search target movement vector corresponding to the area that existed is deemed to be the inter-image movement vector searched for this time; if no area exists, the search for the current inter-image movement vector is deemed to be unsuccessful.
この移動量計測システムにおいて、前記分割探索手段は、所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されたならば、再度、前記分割探索動作を繰り返し実行する間に所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されるように、各回の前記分割探索動作毎に探索対象移動ベクトルに設定する複数の移動ベクトルを切り替えてよい。 In this movement amount measurement system, the division search means may switch the multiple movement vectors set as search target movement vectors for each division search operation so that once all movement vectors within a predetermined range have been set as search target movement vectors, all movement vectors within the predetermined range are set as search target movement vectors again while repeatedly performing the division search operation.
また、この移動量計測システムにおいて、前記所定の範囲は、前記探索対象移動ベクトルに設定したときに前記探索領域が撮影画像内の領域となる移動ベクトルの範囲としてよい。
この移動量計測システムにおいて、前記分割探索手段は、各回の前記分割探索動作において、被追尾領域を、撮影画像中の同じ位置に設定してよい。
この場合、前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、前記探索領域が前記被追尾領域に近い位置から遠い位置に向かって移動していくように、各回の探索対象移動ベクトルを設定してよい。
または、この移動量計測システムにおいて、前記分割探索手段は、各回の前記分割探索動作における前記探索領域が撮影画像中の同じ位置となるように、各回の前記分割探索動作において被追尾領域を撮影画像中の異なる位置に設定してよい。
この場合、前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、前記被追尾領域が、前記探索領域に近い位置から遠い位置に向かって移動していくように、各回の前記分割探索動作において、被追尾領域と探索対象移動ベクトルを設定してよい。
または、この移動量計測システムにおいて、前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、被追尾領域の撮影画像中の位置と、探索領域の撮影画像中の位置を変化させてもよい。
また、この移動量計測システムにおいて、前記分割探索手段は、各回の前記分割探索動作において異なる移動ベクトルのセットを、前記基本探索動作で最後に探索に成功した画像間移動ベクトルとの差分の絶対値が小さい順に、順次、探索対象移動ベクトルに設定してもよい。
In this movement amount measurement system, the predetermined range may be a range of a movement vector that, when set as the search target movement vector, causes the search region to be an area within the captured image.
In this movement amount measuring system, the division search means may set the tracked region at the same position in the captured image in each division search operation.
In this case, the division search means may set a search target movement vector for each iteration so that the search area moves from a position closer to the tracked area to a position farther away while repeatedly executing the division search operation.
Alternatively, in this movement amount measurement system, the divided search means may set the tracked area at a different position in the captured image in each divided search operation so that the search area in each divided search operation is at the same position in the captured image.
In this case, the split search means may set the tracked area and the search target movement vector in each split search operation so that the tracked area moves from a position closer to the search area to a position farther away while repeatedly executing the split search operation.
Alternatively, in this movement amount measuring system, the division search means may change the position of the tracked region in the captured image and the position of the search region in the captured image while repeatedly performing the division search operation.
In addition, in this movement amount measurement system, the division search means may set a different set of movement vectors in each division search operation as the search target movement vector in order of the smallest absolute value of the difference from the inter-image movement vector that was last successfully searched in the basic search operation.
また、この移動量計測システムにおいて、前記分割探索手段は、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した被追尾領域を、各回の前記分割探索動作において被追尾領域に設定し、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した探索領域に近い位置から遠い位置に向かって探索領域が移動していくように、各回の前記分割探索動作において探索対象移動ベクトルを設定してもよい。 Furthermore, in this movement amount measurement system, the division search means may set the tracked area in which the inter-image movement vector was last successfully searched for in the basic search operation as the tracked area in each division search operation, and may set the search target movement vector in each division search operation so that the search area moves from a position closer to the search area in which the inter-image movement vector was last successfully searched for in the basic search operation to a position farther away.
また、この移動量計測システムにおいて、前記分割探索手段は、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した探索領域が各回の前記分割探索動作において探索領域となり、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した被追尾領域に近い位置から遠い位置に向かって被追尾領域が移動していくように、各回の前記分割探索動作において、被追尾領域と探索対象移動ベクトルを設定してもよい。 Furthermore, in this movement amount measurement system, the division search means may set the tracked area and search target movement vector in each division search operation so that the search area in which the inter-image movement vector was last successfully searched for in the basic search operation becomes the search area in each division search operation, and the tracked area moves from a position closer to the tracked area in which the inter-image movement vector was last successfully searched for in the basic search operation toward a position farther away.
また、移動量計測システムは、前記カメラが移動体に搭載され、当該移動体が走行する走行面を前記対象体として撮影するものであってよい。
このような移動量計測システムによれば、現時点までに算定された画像間移動ベクトルより予測される、次回に画像間移動ベクトルとして算定される期待度が高い移動ベクトルを探索対象移動ベクトルとして、探索対象移動ベクトルのうちから画像間移動ベクトルの探索を行う基本探索動作による画像間移動ベクトルの探索に失敗したときには、分割探索動作を行う。そして、分割探索動作では、探索対象移動ベクトルを順次、所定の範囲内において網羅的に変化させながら、探索対象移動ベクトルのうちから画像間移動ベクトルの探索を行う。したがって、実際の撮影画像間の移動ベクトルによらず、いずれ、分割探索動作によって、画像間移動ベクトルの探索が成功することが期待できる。
Furthermore, the movement amount measuring system may be one in which the camera is mounted on a moving body and captures an image of a surface on which the moving body travels as the target object.
This motion measurement system uses a search target motion vector, which is predicted from the inter-image motion vectors calculated up to that point and is expected to be calculated as the next inter-image motion vector. If the basic search operation fails to find an inter-image motion vector from among the search target motion vectors, a split search operation is performed. The split search operation then searches for an inter-image motion vector from among the search target motion vectors while comprehensively changing the search target motion vector sequentially within a predetermined range. Therefore, regardless of the motion vector between the actual captured images, it is expected that the split search operation will eventually succeed in finding the inter-image motion vector.
また、分割探索動作によって、各回の分割探索動作毎に最新の撮影画像上に被追尾領域が設定されるので、分割探索動作によって探索される画像間移動ベクトルは、常に時間的に隣接する撮影画像間の移動ベクトルとなり、撮影画像間の最新の移動ベクトルを画像間移動ベクトルとして算定することができる。 In addition, the split search operation sets a tracked area on the most recent captured image for each split search operation, so the inter-image motion vector searched for by the split search operation is always the motion vector between temporally adjacent captured images, and the most recent motion vector between captured images can be calculated as the inter-image motion vector.
また、分割探索動作によって、各回の分割探索動作毎に最新の撮影画像上に被追尾領域が設定されるので、基本探索動作による画像間移動ベクトルの探索に失敗した時点の被追尾領域の像に対応する対象体の部分が撮影範囲外となったり、当該部分の向きが変化したりした等の理由により、被追尾領域とマッチする像が撮影画像中に存在しなくなった場合でも、支障なく、画像間移動ベクトルを見つけ出すことができる。 In addition, the split search operation sets a tracked area on the most recent captured image for each split search operation. Therefore, even if an image matching the tracked area no longer exists in the captured image because the part of the object corresponding to the image of the tracked area at the time the basic search operation failed to find an inter-image movement vector is outside the capture range or the orientation of that part has changed, the inter-image movement vector can still be found without any problems.
また、現在までに探索した画像間移動ベクトルから予測した移動ベクトルのみを対象として画像間移動ベクトルを探索する基本探索動作を繰り返し実行する基本探索反復状態が標準の状態となるので、標準の状態における画像間移動ベクトル探索の処理量が増大することもない。 In addition, the standard state is the basic search iteration state, in which the basic search operation is repeatedly performed to search for inter-image motion vectors using only motion vectors predicted from inter-image motion vectors searched up to now, so the processing volume of inter-image motion vector search in the standard state does not increase.
以上のように、本発明によれば、カメラに対して相対的に移動する対象体の移動量の算出を短時間で処理することで、最新の移動量を取得することができる。 As described above, according to the present invention, the amount of movement of an object moving relative to the camera can be calculated in a short time, making it possible to obtain the most recent amount of movement.
本発明の第１実施形態について説明する。
図１に、第１実施形態に係る移動量計測システムの構成を示す。
図示するように、移動量計測システムは、計測装置１とステレオカメラ２を備えている。
計測装置１は、移動ベクトル探索部１１、離間距離計測部１２、実距離変換係数算出部１３、移動状態算定部１４を備えている。
また、ステレオカメラ２は、第１カメラ２１と第２カメラ２２との２つのカメラを備えている。
移動量計測システムは、ステレオカメラ２で撮影する対象体とステレオカメラ２間の相対的な移動量を計測するシステムであり、たとえば、図２ａ、ｂのような移動量の計測に適用することができる。
図２ａは、ステレオカメラ２を移動体（図では、自動車）に固定し、路面を対象体として路面に対する移動体の移動量を計測する適用例を示している。この場合、ステレオカメラ２は第１カメラ２１と第２カメラ２２で路面を真上より撮影するように配置される。また、第１カメラ２１と第２カメラ２２は、対象体（路面）に対するステレオカメラ２の標準的な移動方向MD（移動体の前方向）と垂直、かつ、第１カメラ２１と第２カメラ２２の光軸と垂直な方向に離間して配置する。また、第１カメラ２１と第２カメラ２２は、撮影した画像の上方向が、移動方向MDとなる向きで配置する。
A first embodiment of the present invention will be described.
FIG. 1 shows the configuration of a movement amount measuring system according to the first embodiment.
As shown in the figure, the movement amount measurement system includes a measurement device 1 and a stereo camera 2 .
The measurement device 1 includes a movement vector search unit 11, a separation distance measurement unit 12, an actual distance conversion coefficient calculation unit 13, and a movement state calculation unit .
The stereo camera 2 includes two cameras: a first camera 21 and a second camera 22 .
The movement amount measurement system is a system that measures the relative movement amount between the object photographed by the stereo camera 2 and the stereo camera 2, and can be applied to measuring the movement amount as shown in Figures 2a and 2b, for example.
2a shows an application example in which the stereo camera 2 is fixed to a moving object (a car in the figure) and the amount of movement of the moving object relative to the road surface is measured. In this case, the stereo camera 2 is positioned so that the first camera 21 and the second camera 22 capture images of the road surface from directly above. The first camera 21 and the second camera 22 are positioned perpendicular to the standard movement direction MD (forward direction of the moving object) of the stereo camera 2 relative to the target object (road surface) and are spaced apart in a direction perpendicular to the optical axes of the first camera 21 and the second camera 22. The first camera 21 and the second camera 22 are positioned so that the upward direction of the captured images corresponds to the movement direction MD.
図２ｂは、ステレオカメラ２を基準座標系に固定し、基準座標系に対して移動する物体面(図では、ベルトコンベアの搬送物載置面）を対象体として、対象体の基準座標系に対する移動量を計測する適用例を示している。この場合、ステレオカメラ２は第１カメラ２１と第２カメラ２２で物体面を真上より撮影するように配置される。また、第１カメラ２１と第２カメラ２２は、対象体（物体面）に対するステレオカメラ２の相対的な移動方向MD（物体面の基準座標系に対する移動方向の反対方向）と垂直、かつ、第１カメラ２１と第２カメラ２２の光軸と垂直な方向に離間して配置する。また、第１カメラ２１と第２カメラ２２は、撮影した画像の上方向が、移動方向MDとなる向きで配置する。 Figure 2b shows an application example in which the stereo camera 2 is fixed to a reference coordinate system, and the amount of movement of an object surface (in the figure, the surface on which the transported objects of a belt conveyor are placed) that moves relative to the reference coordinate system is measured. In this case, the stereo camera 2 is positioned so that the first camera 21 and the second camera 22 capture images of the object surface from directly above. The first camera 21 and the second camera 22 are positioned perpendicular to the relative movement direction MD of the stereo camera 2 with respect to the object (object surface) (the opposite direction to the movement direction of the object surface with respect to the reference coordinate system), and are spaced apart in a direction perpendicular to the optical axes of the first camera 21 and the second camera 22. The first camera 21 and the second camera 22 are positioned so that the upward direction of the captured image is the movement direction MD.
次に、計測装置１の移動ベクトル探索部１１によって行われる基本探索動作について説明する。
基本探索動作は、時間的に隣接する計測動作実行時点間の撮影画像の移動ベクトルを探索する処理であり、計測装置１の計測動作の開始後、移動ベクトルの探索に失敗するまで、一定の周期からなる各計測動作実行時点で実行される。
ここで、図３ａに示すように、計測動作の開始時点をt=1で表し、処理開始時点からn回目の計測動作実行時点をt=nで表すものとする。
また、t=nに第１カメラ２１で撮影された画像をP（t=n）で表すものとする。
図３ｂに示すように、基本探索動作では、t=iの時点で、画像P（t=i）中に被追尾領域A（t=i）を設定すると共に、次回探索領域NS（t=i）を設定する。この被追尾領域A（t=i）と次回探索領域NS（t=i）の設定動作については後述する。
被追尾領域A（t=i）は複数画素×複数画素の固定サイズ(図の例では３画素×３画素）である。
次に、図３ｃに示すように、t=i+1の時点で、画像P（t=i+1）の前回設定した次回探索領域NS（t=i）中の、被追尾領域A（t=i）と同サイズの各領域に向かう各移動ベクトルを当該領域に対応する探索対象移動ベクトルとして、各領域に対応する探索対象移動ベクトルのうちから画像間移動ベクトルVP（t=i+1)を探索する。
Next, the basic search operation performed by the movement vector search unit 11 of the measurement device 1 will be described.
The basic search operation is a process of searching for the movement vector of the captured image between adjacent measurement operation execution points in time, and is executed at each measurement operation execution point, which consists of a fixed cycle, after the measurement operation of the measurement device 1 starts, until the search for the movement vector fails.
As shown in FIG. 3a, the start time of the measurement operation is represented by t=1, and the time when the nth measurement operation is performed from the start time of the process is represented by t=n.
Also, the image captured by the first camera 21 at t=n is represented by P(t=n).
3b, in the basic search operation, at time t=i, a tracked area A(t=i) is set in image P(t=i) and a next search area NS(t=i) is also set. The setting operations of the tracked area A(t=i) and the next search area NS(t=i) will be described later.
The tracked area A (t=i) has a fixed size of multiple pixels by multiple pixels (3 pixels by 3 pixels in the example shown).
Next, as shown in Figure 3c, at time t=i+1, each motion vector toward each area of the same size as the tracked area A(t=i) in the next search area NS(t=i) previously set for image P(t=i+1) is set as the search target motion vector corresponding to that area, and an inter-image motion vector VP(t=i+1) is searched for from among the search target motion vectors corresponding to each area.
この探索対象移動ベクトルのうちから画像間移動ベクトルVP（t=i+1)を探索するには、次のように行う。
すなわち、各探索対象移動ベクトルに対応する領域を順次、類似度算定領域に設定し、類似度算定領域と被追尾領域A（t=i)の類似度を算定し、所定のしきい値以上の類似度が算定された類似度算定領域が出現したならば、画像間移動ベクトルVPの探索を成功とし、出現した類似度算定領域を追尾結果領域B（t=i+1)とする。そして、被追尾領域A（t=i)の基準点Ag（t=i)を始点とし、追尾結果領域B（t=i+1)の左下の画素位置である基準点Bg（t=i+1)を終点とする画像空間上の移動ベクトル（追尾結果領域B（t=i+1)に対応する探索対象移動ベクトル）を、探索した画像間移動ベクトルVP（t=i+1)とする。一方、しきい値以上の類似度の類似度算定領域が出現しなかったときには、画像間移動ベクトルVPの探索は失敗とする。ここで、類似度とは２つの領域の画像情報に基づき算出される０以上１以下の指標であって、２つの領域が似通っているほど１に近い値を、まったく同じ画像情報では１をとるものとする。
The inter-image motion vector VP(t=i+1) is searched for from among these motion vectors to be searched for as follows.
That is, the system sequentially sets the area corresponding to each search target motion vector as a similarity calculation area, calculates the similarity between the similarity calculation area and tracked area A (t=i), and if a similarity calculation area with a calculated similarity above a predetermined threshold appears, the search for the inter-image motion vector VP is deemed successful, and the resulting similarity calculation area is designated as the tracking result area B (t=i+1). The motion vector in image space (the search target motion vector corresponding to tracking result area B (t=i+1)) that starts at reference point Ag (t=i) of tracked area A (t=i) and ends at reference point Bg (t=i+1), the pixel position at the bottom left of tracking result area B (t=i+1) is designated as the searched inter-image motion vector VP (t=i+1). On the other hand, if no similarity calculation area with a similarity above the threshold appears, the search for the inter-image motion vector VP is deemed unsuccessful. Here, similarity is an index between 0 and 1 calculated based on the image information of two regions, and the more similar the two regions are, the closer the value is to 1, while if the image information is exactly the same, the value is 1.
また、被追尾領域設定部は、図３ｄに示すように、画像P（t=i+1）中に被追尾領域A（t=i+1）を設定すると共に、次回探索領域NS（t=i+1）を設定する。
次に、図３ｅに示すように、t=i+2の時点で、画像P（t=i+2）の前回設定した次回探索領域NS（t=i+1）中の、被追尾領域A（t=i+1）と同サイズの各領域に向かう各移動ベクトルを当該領域に対応する探索対象移動ベクトルとして、各領域に対応する探索対象移動ベクトルのうちから画像間移動ベクトルVP（t=i+2)を探索する。
In addition, the tracked area setting unit sets a tracked area A(t=i+1) in the image P(t=i+1) and also sets a next search area NS(t=i+1), as shown in Figure 3d.
Next, as shown in Figure 3e, at time t=i+2, each motion vector toward each area of the same size as the tracked area A (t=i+1) in the next search area NS (t=i+1) previously set for image P (t=i+2) is set as the search target motion vector corresponding to that area, and an inter-image motion vector VP (t=i+2) is searched for from among the search target motion vectors corresponding to each area.
画像間移動ベクトルVP（t=i+2)の探索においては、各探索対象移動ベクトルに対応する領域を順次、類似度算定領域に設定し、類似度算定領域と被追尾領域A（t=i+1)の類似度を算定し、所定のしきい値以上の類似度が算定された類似度算定領域が出現したならば、画像間移動ベクトルVPの探索を成功とし、出現した類似度算定領域を追尾結果領域B（t=i+2)とする。そして、被追尾領域A（t=i+1)の基準点Ag（t=i+1)を始点とし、探索した追尾結果領域B（t=i+2)の左下の画素位置である基準点Bg（t=i+2)を終点とする画像空間上の移動ベクトル（追尾結果領域B（t=i+2)に対応する探索対象移動ベクトル）を、探索した画像間移動ベクトルVP（t=i+2)とする。一方、しきい値以上の類似度の類似度算定領域が出現しなかったときには、画像間移動ベクトルVPの探索は失敗とする。 When searching for the inter-image motion vector VP (t=i+2), the areas corresponding to each search target motion vector are sequentially set as similarity calculation areas, and the similarity between the similarity calculation area and tracked area A (t=i+1) is calculated. If a similarity calculation area with a calculated similarity above a predetermined threshold is found, the search for the inter-image motion vector VP is deemed successful, and the resulting similarity calculation area is designated as the tracking result area B (t=i+2). The motion vector in image space (the search target motion vector corresponding to tracking result area B (t=i+2)) that begins at reference point Ag (t=i+1) of tracked area A (t=i+1) and ends at reference point Bg (t=i+2), the pixel position at the bottom left of the searched tracking result area B (t=i+2), is designated as the searched inter-image motion vector VP (t=i+2). On the other hand, if no similarity calculation area with a similarity above the threshold appears, the search for the inter-image motion vector VP is deemed to have failed.
以下、同様に、当該時点における探索対象移動ベクトルからの画像間移動ベクトルVPの探索、当該時点における被追尾領域Aと次回探索領域NSの設定が、画像間移動ベクトルVPの探索が失敗するまで繰り返し行われていく。なお、各回の複数の探索対象移動ベクトルについて算定した類似度が、所定のしきい値以上となった場合は、類似度がもっとも高い移動ベクトル、または、前回の画像間移動ベクトルVPと大きさがもっとも近い移動ベクトル、または、前回の画像間移動ベクトルVPと方向がもっとも近い移動ベクトルのいずれか、あるいは複合的に評価選定した１つの移動ベクトルを画像間移動ベクトルVPとすることができる。 The search for the inter-image motion vector VP from the current search target motion vector and the setting of the current tracked area A and the next search area NS are repeated in the same manner until the search for the inter-image motion vector VP fails. If the similarity calculated for multiple search target motion vectors each time exceeds a predetermined threshold, the inter-image motion vector VP can be determined to be either the motion vector with the highest similarity, the motion vector closest in magnitude to the previous inter-image motion vector VP, or the motion vector closest in direction to the previous inter-image motion vector VP, or a single motion vector selected by a composite evaluation.
ここで、上述した被追尾領域Aと次回探索領域NSの設定動作について説明する。
この設定動作において、移動ベクトル探索部１１は、複数の探索候補移動ベクトルを、探索候補移動ベクトルセットとして設定する。
現時点をt=iとする各探索候補移動ベクトルは、現時点で算定された画像間移動ベクトルVP（t=i)、または、現時点までに算定された画像間移動ベクトルVPの履歴より予測される、次回に画像間移動ベクトルVP（t=i+1)として算定される期待度が上位の所定数の移動ベクトルとする。期待度が上位の所定数の移動ベクトルとしては、現時点までに算定された画像間移動ベクトルVPの履歴より所定の確率算定法により算定した、次回に画像間移動ベクトルVP（t=i+1)となる確率が上位の所定数の移動ベクトルを用いることができる。または、現時点で算定された画像間移動ベクトルVP（t=i)、または、現時点までに算定された画像間移動ベクトルVPの履歴より予測される次回の画像間移動ベクトルVP（t=i+1)と、向きや大きさが近似する所定数の移動ベクトルを、期待度が上位の所定数の移動ベクトルとして用いてもよい。ただし、初回のt=1の時点では、それまでに算定された画像間移動ベクトルVPがないので、予め定めておいた複数の探索候補移動ベクトルを、探索候補移動ベクトルセットとして設定する。
Here, the setting operation of the tracked area A and the next search area NS will be described.
In this setting operation, the motion vector search unit 11 sets a plurality of search candidate motion vectors as a search candidate motion vector set.
Each search candidate motion vector, where the current time is t=i, is either the currently calculated inter-image motion vector VP(t=i) or a predetermined number of motion vectors predicted from the history of inter-image motion vectors VP calculated up to the current time, with the highest probability of being calculated as the next inter-image motion vector VP(t=i+1). The predetermined number of motion vectors with the highest probability of becoming the next inter-image motion vector VP(t=i+1), calculated using a predetermined probability calculation method based on the history of inter-image motion vectors VP calculated up to the current time, can be used as the predetermined number of motion vectors with the highest probability of becoming the next inter-image motion vector VP(t=i+1). Alternatively, a predetermined number of motion vectors with similar orientations and magnitudes to the currently calculated inter-image motion vector VP(t=i) or the next inter-image motion vector VP(t=i+1) predicted from the history of inter-image motion vectors VP calculated up to the current time, can be used as the predetermined number of motion vectors with the highest probability of being calculated as the next inter-image motion vector VP(t=i+1). However, at the initial time t=1, there is no inter-image motion vector VP calculated up to that point, so a plurality of predetermined search candidate motion vectors are set as a search candidate motion vector set.
そして、探索候補移動ベクトルセットに従って、被追尾領域A（t=i)と次回探索領域NS（t=i)の相対的な位置関係と次回探索領域NS（t=i)の形状を求める。
次回探索領域NS（t=i)は、探索候補移動ベクトルセットの各探索候補移動ベクトルについて、被追尾領域A（t=i)を探索候補移動ベクトル分移動した領域の和として、領域の形状と、被追尾領域A（t=i)に対する相対的な位置が定まる。
たとえば、探索候補移動ベクトルセットに、図４ａに示すev1-ev16の１６個の探索候補移動ベクトルが含まれる場合、各探索候補移動ベクトルev1-ev16のそれぞれについて、被追尾領域A（t=i)を図４ｂ１に示すように探索候補移動ベクトル分移動した領域の和として、図４ｂ２に示す次回探索領域NS（t=i)が定まる。
Then, according to the search candidate motion vector set, the relative positional relationship between the tracked area A(t=i) and the next search area NS(t=i) and the shape of the next search area NS(t=i) are determined.
The next search area NS (t=i) is determined as the sum of the areas obtained by moving the tracked area A (t=i) by the search candidate motion vector for each search candidate motion vector in the search candidate motion vector set, and its shape and relative position to the tracked area A (t=i) are determined.
For example, if the search candidate motion vector set includes 16 search candidate motion vectors ev1-ev16 shown in Figure 4a, for each of the search candidate motion vectors ev1-ev16, the next search area NS(t=i) shown in Figure 4b2 is determined as the sum of the areas obtained by moving the tracked area A(t=i) by the search candidate motion vector as shown in Figure 4b1.
そして、次回探索領域NS（t=i)の形状と被追尾領域A（t=i)の相対的な位置関係に従って、被追尾領域A（t=i)と次回探索領域NS（t=i)の双方が撮影画像中の領域となるように、画像P（t=i）中に被追尾領域A（t=i）を設定すると共に、次回探索領域NS（t=i）を設定する。この際に、画像P（t=i）の被追尾領域A（t=i)が、できるだけ特徴のある像を含む領域となるように、被追尾領域A（t=i）と次回探索領域NS（t=i）を設定してもよい。 Then, according to the relative positional relationship between the shape of the next search area NS(t=i) and the tracked area A(t=i), the tracked area A(t=i) is set in the image P(t=i) and the next search area NS(t=i) is set so that both the tracked area A(t=i) and the next search area NS(t=i) are areas within the captured image. At this time, the tracked area A(t=i) and the next search area NS(t=i) may be set so that the tracked area A(t=i) in the image P(t=i) is an area that contains as many distinctive images as possible.
したがって、図４ｂ２に示すように次回探索領域NS（t=i)が定まった場合には、たとえば、図４ｃに示すように、被追尾領域A（t=i)と次回探索領域NS（t=i)の双方が撮影画像中の領域となるように、被追尾領域A（t=i)と次回探索領域NS（t=i)が設定される。
このように探索候補移動ベクトルセットに基づいて次回探索領域NS（t=i)を設定することにより、t=i+1の基本探索動作では、次回探索領域NS（t=i）の設定に用いた探索候補移動ベクトルセットが探索対象移動ベクトルのセットとなり、探索候補移動ベクトルセットに含まれるベクトルの各々を探索対象移動ベクトルとする、画像間移動ベクトルVP(t=i+1)の探索が行われる。
Therefore, when the next search area NS(t=i) is determined as shown in Figure 4b2, the tracked area A(t=i) and the next search area NS(t=i) are set so that both the tracked area A(t=i) and the next search area NS(t=i) are areas within the captured image, as shown in Figure 4c, for example.
By setting the next search area NS (t=i) based on the search candidate motion vector set in this manner, in the basic search operation at t=i+1, the search candidate motion vector set used to set the next search area NS (t=i) becomes the set of search target motion vectors, and a search is performed for the inter-image motion vector VP(t=i+1) using each of the vectors included in the search candidate motion vector set as the search target motion vector.
ここで、探索候補移動ベクトルセットに含めるベクトルの数や範囲は、各計測実行時点の基本探索動作において、次回の計測実行時点が到来する前に、画像間移動ベクトルVPの探索を完了できるように設定する。
また、移動ベクトル探索部１１は、基本探索動作で画像間移動ベクトルVPの探索に失敗した場合、基本探索動作を停止し、分割探索動作を開始する。
すなわち、図５ａ１に示すようにt=jにおいて、被追尾領域A（t=j）と次回探索領域NS（t=j）を設定したときに、図５ａ２に示すようにt=j+1の画像P（t=j+1）の次回探索領域NS（t=j）中に、被追尾領域A（t=j）に対して、しきい値以上の類似度を有する領域が存在しなかった場合、t=j+1において画像間移動ベクトルVPの探索は失敗となり、基本探索動作が停止され分割探索動作が開始される。分割探索動作の開始時点は、画像間移動ベクトルVPの探索に失敗したt=j+1であり、画像P（t=j+1）が初回の分割探索動作の対象となる。
Here, the number and range of vectors included in the search candidate motion vector set are set so that the search for the inter-image motion vector VP can be completed in the basic search operation at each measurement execution time point before the next measurement execution time point arrives.
Furthermore, if the motion vector search unit 11 fails to search for the inter-image motion vector VP in the basic search operation, it stops the basic search operation and starts a divided search operation.
That is, when a tracked region A(t=j) and a next search region NS(t=j) are set at t=j as shown in Figure 5a1, if there is no region in the next search region NS(t=j) of image P(t=j+1) at t=j+1 that has a similarity to the tracked region A(t=j) that is equal to or greater than the threshold as shown in Figure 5a2, the search for the inter-image motion vector VP at t=j+1 fails, the basic search operation is stopped, and the split search operation is started. The split search operation starts at t=j+1, when the search for the inter-image motion vector VP failed, and image P(t=j+1) becomes the target of the initial split search operation.
分割探索動作も、時間的に隣接する計測動作実行時点間の撮影画像の移動ベクトルを画像間移動ベクトルVPとして探索する処理であり、画像間移動ベクトルVPの探索に成功するまで、各計測動作実行時点で実行される。そして、移動ベクトル探索部１１は、画像間移動ベクトルVPの探索に成功したならば、分割探索動作を停止し、基本探索動作に復帰する。 The division search operation is also a process of searching for the motion vector of the captured image between the time points of adjacent measurement operations as the inter-image motion vector VP, and is performed at each measurement operation point until the search for the inter-image motion vector VP is successful. Then, once the search for the inter-image motion vector VP is successful, the motion vector search unit 11 stops the division search operation and returns to the basic search operation.
分割探索動作においても、各時点において、当該時点における探索対象移動ベクトルのうちから画像間移動ベクトルVPの探索を行うと共に、当該時点における被追尾領域Aと次回探索領域NSの設定を行う。ただし、t=j+1の初回の分割探索動作では、被追尾領域Aと次回探索領域NSの設定のみを行う。 Even during the split search operation, at each time point, the inter-image motion vector VP is searched for from the search target motion vectors at that time point, and the tracked area A and next search area NS at that time point are set. However, during the first split search operation at t=j+1, only the tracked area A and next search area NS are set.
分割探索動作が、基本探索動作と異なる点は、画像P中の被追尾領域Aの位置を固定することと、各回の分割探索動作で探索対象移動ベクトルのセットとして用いる移動ベクトルのセットを順番に切り替える点である。
被追尾領域Aを固定する画像P中の位置は、たとえば、図５ｂ１に示す画像Pの中央の位置とする。また、探索対象移動ベクトルのセットとして用いる移動ベクトルのセットの切り替えは、図５ｂ２に示すように、一連の分割探索動作において、被追尾領域Aを中心とする渦巻きの内側から外側へと渦巻きに沿って、被追尾領域Aとの類似度を算定する類似度算定領域を変化させていくことができるように、各回の次回探索領域NSを設定することで行う。各回の次回探索領域NSの設定は、画像P中の被追尾領域Aと同サイズの領域の全てが順次、類似度算定領域に設定されるように行う。
The difference between the split search operation and the basic search operation is that the position of the tracked area A in the image P is fixed, and the set of motion vectors used as the set of search target motion vectors in each split search operation is switched in sequence.
The position in image P where tracked area A is fixed is, for example, the center position of image P shown in Fig. 5b1. Furthermore, switching of the set of motion vectors used as the set of search target motion vectors is performed by setting the next search area NS for each iteration so that the similarity calculation area for calculating the similarity with tracked area A can be changed from the inside to the outside of the spiral centered on tracked area A in a series of divided search operations, as shown in Fig. 5b2. The next search area NS for each iteration is set so that all areas in image P that are the same size as tracked area A are sequentially set as similarity calculation areas.
ただし、次回探索領域NSのサイズや形状は、各計測実行時点で行う分割探索動作において、次回の計測実行時点が到来する前に、画像間移動ベクトルVPの探索を完了できるように設定する。
図５ｃ１-ｃ７は、このようにして設定する次回探索領域NSの遷移を示したものである。図示するように各回の次回探索領域NSを設定することにより、一連の分割探索動作において、被追尾領域Aを中心とする渦巻きの内側から外側に向かって渦巻きに沿って、被追尾領域Aとの類似度を算定する類似度算定領域を変化させることができる。
However, the size and shape of the next search area NS are set so that the division search operation performed at each measurement execution time can complete the search for the inter-image motion vector VP before the next measurement execution time arrives.
5c1 to 5c7 show the transition of the next search area NS set in this way. By setting the next search area NS for each iteration as shown in the figures, it is possible to change the similarity calculation area for calculating the similarity with the tracked area A along the spiral from the inside to the outside of the spiral centered on the tracked area A in a series of divided search operations.
そして、移動ベクトル探索部１１は、一連の分割探索動作において、前回設定された次回探索領域NS中で、類似度算定領域を、被追尾領域Aを中心とする渦巻きの内側から外側に向かい、渦巻きに沿って進むように変化させていきながら、前回設定した被追尾領域Aと類似度算定領域の類似度を算定し、所定のしきい値以上の類似度が算定された類似度算定領域が出現したならば、その回の分割探索動作の画像間移動ベクトルVPの探索を成功とし、出現した類似度算定領域を追尾結果領域Bとして、前回の被追尾領域Aの基準点Agを始点、今回の追尾結果領域Bの左下の画素位置である基準点Bgを終点とする移動ベクトル（追尾結果領域Bに対応する探索対象候補ベクトル）を、探索した画像間移動ベクトルVPとする。一方、しきい値以上の類似度の類似度算定領域が出現しなかった分割探索動作における画像間移動ベクトルVPの探索は失敗となる。 Then, during a series of split search operations, the motion vector search unit 11 calculates the similarity between the previously set tracked area A and the similarity calculation area within the next search area NS, moving from the inside to the outside of the spiral centered on tracked area A, along the spiral, while calculating the similarity between the previously set tracked area A and the similarity calculation area. If a similarity calculation area appears for which a similarity calculation is calculated to be equal to or greater than a predetermined threshold, the search for the inter-image motion vector VP for that split search operation is deemed successful, the similarity calculation area that appears is designated as the tracking result area B, and the motion vector (search target candidate vector corresponding to tracking result area B) whose starting point is the reference point Ag of the previous tracked area A and whose ending point is the reference point Bg, which is the pixel position at the bottom left of the current tracking result area B, is designated as the searched inter-image motion vector VP. On the other hand, if no similarity calculation area with a similarity equal to or greater than the threshold appears, the search for the inter-image motion vector VP in the split search operation is deemed unsuccessful.
なお、図５ｃ７に示す最後の次回探索領域NSに対しても画像間移動ベクトルVPの探索が成功しなかった場合には、図５ｃ１の最初の次回探索領域NSから、再度、順次、図５ｃ１-ｃ７のように、次回探索領域NSを設定していく。
以上、分割探索動作について説明した。
以上では、次回探索領域NSを変化させることにより、各回の分割探索動作で探索対象移動ベクトルのセットとして用いる移動ベクトルのセットを順番に切り替えたが、この切り替えは、次回探索領域NSを用いずに行ってもよい。
この場合には、各回の分割探索動作において、被追尾領域Aを中心とする渦巻きに沿った位置が前回の分割探索動作において最後に設定した類似度算定領域の次の位置の類似度算定領域から、渦巻きの内側から外側に向かって、類似度算定領域を進めながら画像間移動ベクトルVPの探索を行い、次回の計測実行時点が到来する前に、今回の分割探索動作を終了し、次回の分割探索動作で探索の続きを再開する。
Furthermore, if the search for the inter-image motion vector VP is not successful even for the last next search area NS shown in Figure 5c7, the next search area NS will be set again, starting from the first next search area NS in Figure 5c1, in sequence as shown in Figures 5c1-c7.
The division search operation has been described above.
In the above, the set of motion vectors used as the set of search target motion vectors in each divided search operation is switched in sequence by changing the next search area NS, but this switching can also be performed without using the next search area NS.
In this case, in each division search operation, the inter-image movement vector VP is searched for while moving the similarity calculation area from the inside to the outside of the spiral, starting from the similarity calculation area whose position along the spiral centered on the tracked area A is the next position of the similarity calculation area last set in the previous division search operation, and the current division search operation is terminated before the next measurement execution time arrives, and the search is resumed in the next division search operation.
このような本実施形態によれば、現時点までに算定された画像間移動ベクトルVPより予測される、次回の画像間移動ベクトルVPとして算定される期待度が上位の所定数の移動ベクトルを探索対象移動ベクトルとし、探索対象移動ベクトルのうちから画像間移動ベクトルVPの探索を行う基本探索動作による画像間移動ベクトルVPの探索に失敗した場合は、基本探索動作を停止し、分割探索動作を行う。そして、分割探索動作では、探索対象移動ベクトルを順次、網羅的に変化させながら、探索対象移動ベクトルのうちから画像間移動ベクトルVPの探索を行う。したがって、実際の画像間の移動ベクトルによらず、いずれ、分割探索動作によって画像間移動ベクトルVPの探索が成功することが期待できる。 In this embodiment, a predetermined number of motion vectors with the highest likelihood of being calculated as the next inter-image motion vector VP, predicted from the inter-image motion vectors VP calculated up to this point, are set as search target motion vectors. If the basic search operation fails to find the inter-image motion vector VP from among the search target motion vectors, the basic search operation is stopped and a split search operation is performed. Then, in the split search operation, the search target motion vector is sequentially and comprehensively changed to search for the inter-image motion vector VP from among the search target motion vectors. Therefore, regardless of the actual inter-image motion vector, it is expected that the split search operation will eventually succeed in searching for the inter-image motion vector VP.
また、分割探索動作によって、各回の分割探索動作毎に最新の画像P上に被追尾領域Aが設定されるので、分割探索動作によって探索される画像間移動ベクトルVPは、常に時間的に隣接する画像P間の移動ベクトルとなり、画像P間の最新の移動ベクトルを画像間移動ベクトルVPとして算定することができる。 In addition, the division search operation sets a tracked area A on the most recent image P for each division search operation, so the inter-image motion vector VP searched for by the division search operation is always the motion vector between temporally adjacent images P, and the most recent motion vector between images P can be calculated as the inter-image motion vector VP.
また、分割探索動作によって、各回の分割探索動作毎に最新の画像P上に被追尾領域Aが設定されるので、基本探索動作による画像間移動ベクトルVPの探索に失敗した時点の被追尾領域Aの像に対応する対象体の部分が撮影範囲外になったり、当該部分の向きが変化したりした等の理由により、当該被追尾領域Aとマッチする像が画像P中に存在しなくなった場合でも、支障なく、画像間移動ベクトルVPを見つけ出すことができる。 In addition, the split search operation sets the tracked area A on the latest image P for each split search operation. Therefore, even if the image P no longer contains an image matching the tracked area A because the part of the object corresponding to the image of the tracked area A at the time the basic search operation failed to find the inter-image motion vector VP has fallen outside the shooting range or the orientation of that part has changed, the inter-image motion vector VP can still be found without any problems.
また、現在までに探索した画像間移動ベクトルVPから予測した探索候補移動ベクトルのみを対象として画像間移動ベクトルVPを探索する基本探索動作を繰り返し実行する状態を標準の状態とすると、分割探索動作においても、一定の周期からなる各計測動作実行時点で実行される処理量が増大することもない。 Furthermore, if the standard state is to repeatedly perform the basic search operation of searching for the inter-image motion vector VP using only the search candidate motion vectors predicted from the inter-image motion vectors VP searched so far, then even in the divided search operation, the amount of processing performed at the time of each measurement operation, which occurs at a fixed cycle, does not increase.
以上の分割探索動作では、図５ｂ２に示したように、各回の分割探索動作において、被追尾領域Aを中心とする渦巻きの内側から外側へ渦巻きに沿って進むように類似度算定領域を変化させた。このように類似度算定領域を変化させることにより、より小さい移動ベクトルを探索対象とする画像間移動ベクトルVPの探索が、より先に行われるので、対象体とステレオカメラ２との間の相対移動速度が小さい場合には、より速やかに画像間移動ベクトルVPを探索できることが期待できる。 In the above split search operation, as shown in Figure 5b2, the similarity calculation area was changed in each split search operation so that it progressed along the spiral from the inside to the outside of the spiral centered on the tracked area A. By changing the similarity calculation area in this way, the search for the inter-image movement vector VP, which targets a smaller movement vector, is carried out earlier, so it can be expected that the inter-image movement vector VP can be searched for more quickly when the relative movement speed between the target object and the stereo camera 2 is small.
ここで、以上の分割探索動作では、一連の分割探索動作において、位置を固定した被追尾領域Aを中心とする渦巻きの内側から外側へと渦巻きに沿って類似度算定領域が変化するように各回の次回探索領域NSを設定したが、これは、最後に探索に成功した画像間移動ベクトルVP分、被追尾領域Aを移動した領域を中心とする渦巻きの内側から外側へと渦巻きに沿って、類似度算定領域が変化するように各回の次回探索領域NSを設定してもよい。 In the above-described division search operation, the next search area NS for each cycle was set so that the similarity calculation area changes from the inside to the outside of a spiral centered on the tracked area A, whose position is fixed, during a series of division search operations. However, the next search area NS for each cycle may also be set so that the similarity calculation area changes from the inside to the outside of a spiral centered on the area to which the tracked area A has moved by the inter-image motion vector VP that was last successfully searched.
このようにすることにより、おおよそ、最後に探索に成功した画像間移動ベクトルVPとの差分の絶対値がより小さい移動ベクトルを探索対象移動ベクトルとする画像間移動ベクトルVPの探索がより先に行われるので、対象体とステレオカメラ２との間の相対移動速度の変化が小さい場合には、より速やかに画像間移動ベクトルVPを探索できることが期待できる。 By doing this, the search for the inter-image motion vector VP is performed first, with the motion vector to be searched being the motion vector with the smaller absolute value of the difference from the last successfully searched inter-image motion vector VP. Therefore, when the change in relative motion speed between the target object and the stereo camera 2 is small, it is expected that the inter-image motion vector VP can be searched for more quickly.
また、以上の分割探索動作は、基本探索動作で最後に画像間移動ベクトルVPの探索に成功した被追尾領域Aを、各回の分割探索動作において被追尾領域に設定し、基本探索動作で最後に画像間移動ベクトルの探索に成功した次回探索領域NSに近い位置から遠い位置に向かって移動していくように、各回の分割探索動作において次回探索領域NSを設定するようにしてもよい。 In addition, the above split search operation may set the tracked area A, which was last successfully searched for the inter-image motion vector VP in the basic search operation, as the tracked area in each split search operation, and set the next search area NS in each split search operation so that it moves from a position closer to the next search area NS, which was last successfully searched for the inter-image motion vector in the basic search operation, to a position farther away.
または、以上の分割探索動作は、基本探索動作で最後に画像間移動ベクトルの探索に成功した次回探索領域NSを、各回の分割探索動作において次回探索領域NSに設定し、前記基本探索動作で最後に画像間移動ベクトルVPの探索に成功した被追尾領域Aに近い位置から遠い位置に向かって移動していくように、各回の分割探索動作において被追尾領域Aを設定するようにしてもよい。 Alternatively, the above split search operation may be configured such that the next search area NS in each split search operation is set to the next search area NS in which the inter-image motion vector VP was last successfully searched for in the basic search operation, and the tracked area A in each split search operation is set so that it moves from a position closer to the tracked area A in which the inter-image motion vector VP was last successfully searched for in the basic search operation toward a position farther away.
これらのようにしても、おおよそ、最後に探索に成功した画像間移動ベクトルVPとの差分の絶対値がより小さい移動ベクトルを探索対象移動ベクトルとする画像間移動ベクトルVPの探索がより先に行われるので、対象体とステレオカメラ２との間の相対移動速度の変化が小さい場合には、より速やかに画像間移動ベクトルVPを探索できることが期待できる。 Even with these methods, the search for the inter-image motion vector VP is generally performed first, with the motion vector to be searched being the motion vector with the smaller absolute value of the difference from the last successfully searched inter-image motion vector VP. Therefore, if the change in relative motion speed between the target object and the stereo camera 2 is small, it can be expected that the inter-image motion vector VP can be searched for more quickly.
また、各回の分割探索動作は、図６ａに示すように、左から右に進む動作を、左から右に進める上下方向の位置を上から下に進めながら行うラスタスキャン（左上から右下に向かうラスタスキャン）順に類似度算定領域を変化させるものとしてもよい。
この場合には、図６ｂ１-ｂ７に示すように各回の次回探索領域NSを設定することにより、各回の分割探索動作において、ラスタスキャン順に類似度算定領域を変化させることができる。
なお、図６ｂ７に示す最後の次回探索領域NSに対しても画像間移動ベクトルVPの探索に成功しなかった場合には、図６ｂ１の最初の次回探索領域NSから、再度、順次、図６ｂ１-ｂ７のように、次回探索領域NSを設定していく。
この分割探索動作も次回探索領域NSを用いずに行ってもよく、この場合には、各回の分割探索動作において、ラスタスキャン順の位置が、前回の分割探索動作において最後に設定した類似度算定領域の次の位置の類似度算定領域から、ラスタスキャン順に類似度算定領域を進めながら画像間移動ベクトルVPの探索を行い、次回の計測実行時点が到来する前に、今回の分割探索動作を終了し、次回の分割探索動作で探索の続きを再開する。
Furthermore, each division search operation may be performed in the order of a raster scan (a raster scan from the top left to the bottom right) in which the operation proceeds from left to right, as shown in Figure 6a, and the similarity calculation area is changed by moving from top to bottom in the vertical direction from left to right.
In this case, by setting the next search area NS for each round as shown in FIGS. 6b1 to 6b7, the similarity calculation area can be changed in the raster scan order in each divided search operation.
Furthermore, if the search for the inter-image motion vector VP is not successful even in the last next search area NS shown in Figure 6b7, the next search area NS will be set again, starting from the first next search area NS in Figure 6b1, in sequence as shown in Figures 6b1-b7.
This division search operation may also be performed without using the next search area NS. In this case, in each division search operation, the inter-image movement vector VP is searched for while advancing the similarity calculation area in raster scan order from the similarity calculation area whose position in raster scan order is the next position of the similarity calculation area last set in the previous division search operation, and the current division search operation is terminated before the next measurement execution time arrives, and the search is resumed in the next division search operation.
以上では、分割探索動作において、画像P中の被追尾領域Aの位置を固定し、各分割探索動作で設定する次回探索領域NSを変化させたが、画像P中の次回探索領域NSの位置を固定し、各分割探索動作で設定する被追尾領域Aの位置を変化させることにより、各回の分割探索動作で探索対象移動ベクトルのセットとして用いる移動ベクトルのセットを順番に切り替えてもよい。 In the above, in the split search operation, the position of the tracked area A in image P is fixed, and the next search area NS set in each split search operation is changed. However, by fixing the position of the next search area NS in image P and changing the position of the tracked area A set in each split search operation, it is also possible to switch in sequence the set of motion vectors used as the set of search target motion vectors in each split search operation.
この場合には、たとえば、図７ａに示すように、画像P中の次回探索領域NSの位置を、画像Pの中央の位置に固定する。
そして、図７ｂ１-ｂ１５に示すように、被追尾領域Aと次回探索領域NSとの位置関係によって定まる探索対象移動ベクトルのセットの各探索対象移動ベクトルが、各回の分割探索動作で重複しないように、被追尾領域Aの位置を変化させていく。
好ましくは、被追尾領域Aが、次回探索領域NSに近い位置から遠い位置に向かって移動するように、各回の被追尾領域Aを設定する。このように被追尾領域Aを移動させることで、より小さい移動ベクトルを探索対象とする画像間移動ベクトルVPの探索が、より先に行われるので、対象体とステレオカメラ２との間の標準的な相対移動速度が小さい場合には、より速やかに画像間移動ベクトルVPを探索できることが期待できる。
In this case, for example, the position of the next search region NS in the image P is fixed at the center of the image P, as shown in FIG. 7a.
Then, as shown in Figures 7b1-b15, the position of the tracked area A is changed so that each search target movement vector of the set of search target movement vectors determined by the positional relationship between the tracked area A and the next search area NS does not overlap in each divided search operation.
Preferably, the tracked area A is set each time so that it moves from a position closer to the next search area NS to a position farther away. By moving the tracked area A in this way, a search for an inter-image motion vector VP that targets a smaller motion vector is performed earlier, so that when the standard relative motion speed between the target object and the stereo camera 2 is low, it can be expected that the inter-image motion vector VP can be searched for more quickly.
最後の位置への被追尾領域Aの設定まで進んでも探索に成功しなかったときには、再度、最初の位置への被追尾領域Aの設定から探索を行う。
このように、次回探索領域NSの位置を固定し、被追尾領域Aの位置を変化させても、各回の分割探索動作で探索対象移動ベクトルのセットとして用いる移動ベクトルのセットを順番に切り替えることができる。
また、以上の分割探索動作を、次回探索領域NSの位置と被追尾領域Aの位置の双方を変化させながら行うことにより、分割探索動作毎に、探索対象移動ベクトルとして用いる探索候補移動ベクトルのセットを順番に切り替えてもよい。
たとえば、図８ａ１に示すように被追尾領域Aを画像Pの上端の左右方向について中央の位置に固定し、各回の分割探索動作において、各回の次回探索領域NSを図８ｃ１-ｃ７のように設定し、分割探索動作を繰り返しながら図８ａ２に示す左上から右下に向かうラスタスキャン順に類似度算定領域を変化させる。そして、次回探索領域NSが画像Pの右下角の位置まで進んだならば、図８ｂ１に示すように被追尾領域Aを画像Pの下端の左右方向について中央の位置に固定し、各回の分割探索動作において、各回の次回探索領域NSを図８ｃ８-ｃ１４のように設定し、分割探索動作を繰り返しながら、図８ｂ２に示す右下から左上に向かうラスタスキャン順に類似度算定領域を変化させる。
If the search is unsuccessful even after the setting of the tracked area A at the final position, the search is started again from the setting of the tracked area A at the initial position.
In this way, even if the position of the next search area NS is fixed and the position of the tracked area A is changed, the set of motion vectors used as the set of search target motion vectors in each divided search operation can be switched in sequence.
In addition, the above split search operation may be performed while changing both the position of the next search area NS and the position of the tracked area A, thereby switching the set of search candidate motion vectors used as search target motion vectors in sequence for each split search operation.
For example, as shown in Fig. 8a1, the tracked region A is fixed to the center position in the horizontal direction of the top edge of image P, and in each divided search operation, the next search region NS is set as shown in Figs. 8c1-c7, and the similarity calculation region is changed in raster scan order from the upper left to the lower right as shown in Fig. 8a2 while repeating the divided search operation. Then, when the next search region NS has advanced to the position of the lower right corner of image P, as shown in Fig. 8b1, the tracked region A is fixed to the center position in the horizontal direction of the bottom edge of image P, and in each divided search operation, the next search region NS is set as shown in Figs. 8c8-c14, and the similarity calculation region is changed in raster scan order from the lower right to the upper left as shown in Fig. 8b2 while repeating the divided search operation.
図８ｃ１４の設定まで進んでも画像間移動ベクトルVPの探索に成功しなかったならば、再度、図８ｃ１の設定からの探索に戻る。
このように一連の分割探索動作において次回探索領域NSの位置と被追尾領域Aの位置の双方を変化させることにより、一方の位置のみを変化させる場合に比べ、より大きさの大きい移動ベクトルまで探索対象移動ベクトルに設定して、画像間移動ベクトルVPの探索を行うことができる。図８の場合は、一方の位置のみを変化させる場合に比べ、主たる移動方向MDおよび移動方向MDと反対の方向について、より大きさの大きい移動ベクトルまで、探索対象移動ベクトルに設定して画像間移動ベクトルVPの探索を行うことができる。
If the search for the inter-image motion vector VP is not successful even after proceeding to the setting of FIG. 8c14, the search returns to the setting of FIG. 8c1 again.
In this way, by changing the position of both the next search area NS and the position of the tracked area A in a series of divided search operations, it is possible to set a larger motion vector as the search target motion vector and search for the inter-image motion vector VP than when changing the position of only one of them. In the case of Figure 8, it is possible to set a larger motion vector as the search target motion vector in both the main motion direction MD and the direction opposite to the motion direction MD than when changing only one of the positions.
この分割探索動作も次回探索領域NSを用いずに行ってもよく、この場合には、各回の分割探索動作において、まず、図８ａ１に示すように被追尾領域Aを画像Pの上端の左右方向について中央の位置に固定し、図８ａ２に示すラスタスキャン順に、前回の分割探索動作において最後に設定した類似度算定領域の次の類似度算定領域から類似度算定領域を進めながら画像間移動ベクトルVPの探索を行い、次に、図８ｂ１に示すように被追尾領域Aを画像Pの下端の左右方向について中央の位置に固定し、図８ｂ２に示すラスタスキャン順に、前回の分割探索動作において最後に設定した類似度算定領域の次の類似度算定領域から類似度算定領域を進めながら画像間移動ベクトルVPの探索を行う。各回の分割探索動作は、次回の計測実行時点が到来する前に、今回の分割探索動作を終了し、次回の分割探索動作で探索の続きを再開する。 This division search operation may also be performed without using the next search area NS. In this case, in each division search operation, first, as shown in Figure 8a1, the tracked area A is fixed to the center position in the horizontal direction of the top edge of image P, and the inter-image motion vector VP is searched for while proceeding through the similarity calculation areas in the raster scan order shown in Figure 8a2, starting from the similarity calculation area next to the similarity calculation area last set in the previous division search operation. Next, as shown in Figure 8b1, the tracked area A is fixed to the center position in the horizontal direction of the bottom edge of image P, and the inter-image motion vector VP is searched for while proceeding through the similarity calculation areas in the raster scan order shown in Figure 8b2, starting from the similarity calculation area next to the similarity calculation area last set in the previous division search operation. Each division search operation ends before the next measurement execution time arrives, and the search resumes in the next division search operation.
次に、計測装置１の離間距離計測部１２と実距離変換係数算出部１３が行う実距離変換係数の算出動作について説明する。
離間距離計測部１２は、t=1の時点において、被追尾領域A（t=1)の中心に映り込んだ対象体上の位置の、ステレオカメラ２を構成する第１カメラ２１、第２カメラ２２からの光軸方向の距離ZA（t=1)を算出する。また、t=i+1の各時点において、被追尾領域A（t=i+1)の中心に映り込んだ対象体上の位置の第１カメラ２１、第２カメラ２２からの光軸方向の距離ZA（t=i+1)と、追尾結果領域B（t=i+1)の中心に映り込んだ対象体上の位置の第１カメラ２１、第２カメラ２２からの光軸方向の距離ZB（t=i+1)を算出する。
Next, the calculation operation of the actual distance conversion coefficient performed by the separation distance measurement unit 12 and the actual distance conversion coefficient calculation unit 13 of the measurement device 1 will be described.
At time t=1, the separation distance measurement unit 12 calculates the distance ZA(t=1) in the optical axis direction from the first camera 21 and the second camera 22 constituting the stereo camera 2 to a position on the target object reflected in the center of the tracked area A (t=1). Also, at each time t=i+1, the separation distance measurement unit 12 calculates the distance ZA(t=i+1) in the optical axis direction from the first camera 21 and the second camera 22 to a position on the target object reflected in the center of the tracked area A (t=i+1), and the distance ZB(t=i+1) in the optical axis direction from the first camera 21 and the second camera 22 to a position on the target object reflected in the center of the tracking result area B (t=i+1).
対象体上の位置の第１カメラ２１、第２カメラ２２からの光軸方向の距離Zは次のように求めることができる。
いま、図９に示すように、F[mm]をステレオカメラ２の第１カメラ２１と第２カメラ２２の焦点距離とし、M[mm]を第１カメラ２１と第２カメラ２２間の実空間上の距離である基線長とする。また、距離Z[mm]を計測する対象体上の位置をTgとし、c1を第１カメラ２１で位置Tgが撮影された画像空間上の左右方向の位置とし、c2を第２カメラ２２で位置Tgが撮影された画像空間上の左右方向の位置とする。また、c11を、第１カメラ２１から光軸方向に焦点距離F離れた面SF上のc1に対応する位置とし、c21を、第２カメラ２２から光軸方向に焦点距離F離れた面SF上のc2に対応する位置とする。
The distance Z in the optical axis direction from the first camera 21 and the second camera 22 to the position on the target object can be calculated as follows.
9 , let F [mm] be the focal length between the first camera 21 and the second camera 22 of the stereo camera 2, and M [mm] be the base length, which is the distance in real space between the first camera 21 and the second camera 22. Also, let Tg be the position on the object where distance Z [mm] is measured, let c1 be the left-right position in the image space where position Tg is photographed by the first camera 21, and let c2 be the left-right position in the image space where position Tg is photographed by the second camera 22. Also, let c11 be the position corresponding to c1 on the surface SF, which is a focal length F away from the first camera 21 in the optical axis direction, and let c21 be the position corresponding to c2 on the surface SF, which is a focal length F away from the second camera 22 in the optical axis direction.
また、xl[mm]を第１カメラ２１の中央位置からc11までの左右方向の距離とし、xr[mm]を第２カメラ２２の中央位置からc21までの左右方向の距離とする。
そして、ｐ=xl-xrとすると、三角測量の原理に従い、位置Tgの距離Zは、
Z=（M×F）/ｐ
によって求まる。
第１カメラ２１の１画素に投影される、第１カメラ２１から焦点距離F離れた面上の領域のサイズをS[mm/pixel]とすると、第１カメラ２１の画像空間上で座標が１変化すると、距離Zと垂直な方向についてTgの位置は(Z/F)×S変化する。
そこで、この関係を用いて、実距離変換係数算出部１３は、t=i+1の各時点において、離間距離計測部１２が計測したZA（t=i）とZB（t=i+1)から、実距離変換係数K(t=i+1)を算出する。
実距離変換係数K(t=i+1)は、近似的なZ(t=i+1)をZA（t=i）とZB（t=i+1)の平均値{ZA（t=i）+ZB（t=i+1)}/2とし、
K(t=i+1)={Z(t=i+1)/F}×S
によって求める。
Also, let xl [mm] be the distance in the left-right direction from the center position of the first camera 21 to c11, and let xr [mm] be the distance in the left-right direction from the center position of the second camera 22 to c21.
Then, if p = xl - xr, according to the principle of triangulation, the distance Z of the position Tg is
Z = (M × F)/p
It is calculated by
If the size of the area on the surface projected onto one pixel of the first camera 21 and located at a focal distance F from the first camera 21 is S [mm/pixel], when the coordinate in the image space of the first camera 21 changes by 1, the position of Tg changes by (Z/F) × S in the direction perpendicular to the distance Z.
Therefore, using this relationship, the actual distance conversion coefficient calculation unit 13 calculates the actual distance conversion coefficient K(t=i+1) from ZA(t=i) and ZB(t=i+1) measured by the separation distance measurement unit 12 at each point in time t=i+1.
The actual distance conversion coefficient K(t=i+1) is calculated by taking the approximate Z(t=i+1) as the average value of Z A (t=i) and Z B (t=i+1), {Z A (t=i) + Z B (t=i+1)}/2,
K(t=i+1)={Z(t=i+1)/F}×S
It is calculated by:
次に計測装置１の移動状態算定部１４は、t=i+1の各時点において、移動ベクトル探索部１１が探索した画像空間上の画像間移動ベクトルVP（t=i+1)と、実距離変換係数算出部１３が算出した実距離変換係数K(t=i+1)を用いて、対象体のステレオカメラ２に対する相対的な移動ベクトルV（t=i+1)を、
V（t=i+1)=K(t=i+1)×VP（t=i+1)により算出する。
Next, at each time point t=i+1, the movement state calculation unit 14 of the measurement device 1 calculates the relative movement vector V(t=i+1) of the target object with respect to the stereo camera 2 using the inter-image movement vector VP(t=i+1) in the image space searched by the movement vector search unit 11 and the actual distance conversion coefficient K(t=i+1) calculated by the actual distance conversion coefficient calculation unit 13, as follows:
Calculate V(t=i+1)=K(t=i+1)×VP(t=i+1).
そして、算出した対象体のステレオカメラ２に対する相対的な移動ベクトルV（t=i+1)から、対象体のステレオカメラ２に対する、もしくは、ステレオカメラ２の対象体に対する相対的な移動速度、加速度、移動方向などの各種移動状態を算定し出力する。移動状態として、対象体のステレオカメラ２に対する相対的な移動状態と、ステレオカメラ２の対象体に対する相対的な移動状態とのうちのどちらを算定するかは、移動量計測システムの用途に応じて設定する。 Then, from the calculated relative movement vector V(t=i+1) of the object with respect to the stereo camera 2, various movement states such as the movement speed, acceleration, and movement direction of the object with respect to the stereo camera 2, or of the stereo camera 2 with respect to the object, are calculated and output. Whether the movement state to be calculated is the relative movement state of the object with respect to the stereo camera 2 or the relative movement state of the stereo camera 2 with respect to the object is set according to the application of the movement amount measurement system.
また、移動状態算定部１４は、さらに、離間距離計測部１２が算定した画像内の複数の距離から相対的な角度等も移動状態として算定し出力してもよい。
以上、本発明の実施形態について説明した。
なお、実施形態において離間距離計測部１２によってステレオカメラ２を用いて算出した距離ZA（t=i)、距離ZB（t=i+1)は、レーザ距離計などの他の装置を用いて算出してもよい。
また、実施形態における第１カメラ２１と第２カメラ２２の役割は交換してもよい。
Furthermore, the movement state calculation unit 14 may also calculate and output a relative angle or the like as a movement state from the multiple distances in the image calculated by the separation distance measurement unit 12 .
The embodiments of the present invention have been described above.
In the embodiment, the distance ZA (t=i) and the distance ZB (t=i+1) calculated by the separation distance measuring unit 12 using the stereo camera 2 may be calculated using another device such as a laser rangefinder.
Furthermore, the roles of the first camera 21 and the second camera 22 in the embodiment may be interchanged.
１…計測装置、２…ステレオカメラ、１１…移動ベクトル探索部、１２…離間距離計測部、１３…実距離変換係数算出部、１４…移動状態算定部、２１…第１カメラ、２２…第２カメラ。 1... measurement device, 2... stereo camera, 11... movement vector search unit, 12... separation distance measurement unit, 13... actual distance conversion coefficient calculation unit, 14... movement state calculation unit, 21... first camera, 22... second camera.
Claims (12)
画像間移動ベクトルを探索する基本探索動作を実行する基本探索手段と、
画像間移動ベクトルを探索する分割探索動作を実行する分割探索手段と、
探索実行状態切替手段と、
探索された画像間移動ベクトルから、前記対象体と前記カメラの間の相対的移動量を算定する移動量算定手段とを有し、
当該移動量計測システムは、探索実行状態として、前記基本探索手段が前記基本探索動作を繰り返し実行する基本探索反復状態と、前記分割探索手段が前記分割探索動作を繰り返し実行する分割探索反復状態とを有し、
当該移動量計測システムは、前記基本探索反復状態において、前記基本探索手段が前記基本探索動作による画像間移動ベクトルの探索に失敗したならば、探索実行状態を前記分割探索反復状態に切り替え、前記分割探索反復状態において、前記分割探索手段が前記分割探索動作による画像間移動ベクトルの探索に成功したならば探索実行状態を前記基本探索反復状態に切り替える探索実行状態切替手段を備え、
前記基本探索手段は、各回の前記基本探索動作において、今回の撮影画像中に被追尾領域を設定し、現在までに探索した画像間移動ベクトルから次回に探索される画像間移動ベクトルとなる期待度が高い複数の移動ベクトルを予測し、予測した各移動ベクトルを次回の探索対象移動ベクトルに設定すると共に、前回の基本探索動作において次回の探索対象移動ベクトルとして設定された今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作を行い、
前記分割探索手段は、各回の前記分割探索動作において、今回の撮影画像中に被追尾領域を設定し、複数の移動ベクトルを今回の探索対象移動ベクトルに設定すると共に、設定した今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作を行い、
前記分割探索手段は、前記分割探索動作を繰り返し実行する間に所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されるように、各回の前記分割探索動作毎に探索対象移動ベクトルに設定する複数の移動ベクトルを切り替え、
前記基本探索動作と前記分割探索動作において行う、前記今回の各探索対象移動ベクトルを探索対象とする今回の画像間移動ベクトルの探索動作において、今回の各探索対象移動ベクトルに対応する今回の撮影画像中の領域を、前回設定した被追尾領域を対応する探索対象移動ベクトルで移動した領域として、各探索対象移動ベクトルに対応する領域を合わせた領域である探索領域中に、前回設定された被追尾領域と整合する領域が存在した場合には、画像間移動ベクトルの探索を成功として、存在した領域に対応する探索対象移動ベクトルを今回探索した画像間移動ベクトルとし、存在しなかった場合には、今回の画像間移動ベクトルの探索を失敗とすることを特徴とする移動量計測システム。
A movement amount measurement system that measures a relative movement amount between an object and a camera from a captured image that is an image of the object captured by the camera,
a basic search means for performing a basic search operation to search for an inter-image motion vector;
a division search means for performing a division search operation to search for an inter-image motion vector;
Search execution state switching means;
a movement amount calculation means for calculating a relative movement amount between the object and the camera from the searched inter-image movement vector;
The movement amount measurement system has, as search execution states, a basic search repetition state in which the basic search means repeatedly executes the basic search operation, and a divided search repetition state in which the divided search means repeatedly executes the divided search operation,
the movement amount measurement system comprises a search execution state switching means for switching a search execution state to the divided search iteration state if the basic search means fails to search for an inter-image movement vector by the basic search operation in the basic search iteration state, and for switching a search execution state to the basic search iteration state if the divided search means succeeds in searching for an inter-image movement vector by the divided search operation in the divided search iteration state;
In each of the basic search operations, the basic search means sets a tracked area in the current captured image, predicts a plurality of motion vectors that are likely to become the inter-image motion vectors to be searched for next from the inter-image motion vectors searched for up to now, sets each predicted motion vector as a next search target motion vector, and performs a search operation for the current inter-image motion vector, with each current search target motion vector set as the next search target motion vector in the previous basic search operation as a search target;
the division search means, in each division search operation, sets a tracked region in the current captured image, sets a plurality of movement vectors as current search target movement vectors, and performs a search operation for a current inter-image movement vector using the set current search target movement vectors as search targets;
the division search means switches the plurality of movement vectors to be set as search target movement vectors for each division search operation so that all movement vectors within a predetermined range are set as search target movement vectors while repeatedly executing the division search operation;
A movement amount measurement system characterized in that, in the search operation for the current inter-image movement vector, which is performed in the basic search operation and the divided search operation and which uses each of the current search target movement vectors as the search target, the area in the current captured image corresponding to each of the current search target movement vectors is taken as the area into which the previously set tracked area is moved by the corresponding search target movement vector, and if an area that matches the previously set tracked area exists in the search area which is the combined area corresponding to each search target movement vector, the search for the inter-image movement vector is deemed to be successful, and the search target movement vector corresponding to the existing area is deemed to be the inter-image movement vector searched for this time, and if no area exists, the search for the current inter-image movement vector is deemed to be unsuccessful.
前記分割探索手段は、所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されたならば、再度、前記分割探索動作を繰り返し実行する間に所定の範囲内の移動ベクトルの全てが探索対象移動ベクトルに設定されるように、各回の前記分割探索動作毎に探索対象移動ベクトルに設定する複数の移動ベクトルを切り替えることを特徴とする移動量計測システム。
2. The movement amount measurement system according to claim 1,
A movement amount measurement system characterized in that the division search means switches the multiple movement vectors to be set as search target movement vectors for each division search operation so that once all movement vectors within a predetermined range have been set as search target movement vectors, all movement vectors within the predetermined range are set as search target movement vectors while repeatedly executing the division search operation.
前記所定の範囲は、前記探索対象移動ベクトルに設定したときに前記探索領域が撮影画像内の領域となる移動ベクトルの範囲であることを特徴とする移動量計測システム。
3. The movement amount measurement system according to claim 1,
A movement amount measurement system, wherein the predetermined range is a range of movement vectors that, when set as the search target movement vector, makes the search area an area within the captured image.
前記分割探索手段は、各回の前記分割探索動作において、被追尾領域を、撮影画像中の同じ位置に設定することを特徴とする移動量計測システム。
3. The movement amount measurement system according to claim 1,
The movement amount measuring system is characterized in that the division search means sets the tracked region at the same position in the captured image in each division search operation.
前記分割探索手段は、各回の前記分割探索動作における前記探索領域が撮影画像中の同じ位置となるように、各回の前記分割探索動作において被追尾領域を撮影画像中の異なる位置に設定することを特徴とする移動量計測システム。
3. The movement amount measurement system according to claim 1,
A movement amount measurement system characterized in that the divided search means sets the tracked area to a different position in the captured image in each divided search operation so that the search area in each divided search operation is at the same position in the captured image.
前記分割探索手段が前記分割探索動作を繰り返し実行する間に、被追尾領域の撮影画像中の位置と、探索領域の撮影画像中の位置が変化することを特徴とする移動量計測システム。
3. The movement amount measurement system according to claim 1,
A movement amount measuring system, characterized in that the position of the tracked region in the photographed image and the position of the search region in the photographed image change while the division search means repeatedly executes the division search operation.
前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、前記探索領域が前記被追尾領域に近い位置から遠い位置に向かって移動していくように、各回の前記分割探索動作において探索対象移動ベクトルを設定することを特徴とする移動量計測システム。
5. The movement amount measuring system according to claim 4,
A movement measurement system characterized in that the division search means sets a search target movement vector in each division search operation so that the search area moves from a position closer to the tracked area to a position farther away while repeatedly executing the division search operation.
前記分割探索手段は、前記分割探索動作を繰り返し実行する間に、前記被追尾領域が、前記探索領域に近い位置から遠い位置に向かって移動していくように、各回の前記分割探索動作において、被追尾領域と探索対象移動ベクトルを設定することを特徴とする移動量計測システム。
The movement amount measurement system according to claim 5,
A movement measurement system characterized in that the division search means sets a tracked area and a search target movement vector in each division search operation so that the tracked area moves from a position closer to the search area to a position farther away while repeatedly executing the division search operation.
前記分割探索手段は、各回の前記分割探索動作において異なる移動ベクトルのセットを、前記基本探索動作で最後に探索に成功した画像間移動ベクトルとの差分の絶対値が小さい順に、順次、探索対象移動ベクトルに設定することを特徴とする移動量計測システム。
3. The movement amount measurement system according to claim 1,
The motion measurement system is characterized in that the division search means sets a different set of motion vectors in each division search operation as the search target motion vector in order of the smallest absolute value of the difference from the inter-image motion vector that was last successfully searched in the basic search operation.
前記分割探索手段は、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した被追尾領域を、各回の前記分割探索動作において被追尾領域に設定し、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した探索領域に近い位置から遠い位置に向かって探索領域が移動していくように、各回の前記分割探索動作において探索対象移動ベクトルを設定することを特徴とする移動量計測システム。
3. The movement amount measurement system according to claim 1,
The movement amount measurement system is characterized in that the division search means sets the tracked area in which the inter-image movement vector was last successfully searched for in the basic search operation as the tracked area in each division search operation, and sets the search target movement vector in each division search operation so that the search area moves from a position close to the search area in which the inter-image movement vector was last successfully searched for in the basic search operation to a position farther away.
前記分割探索手段は、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した探索領域が各回の前記分割探索動作において探索領域となり、前記基本探索動作で最後に画像間移動ベクトルの探索に成功した被追尾領域に近い位置から遠い位置に向かって被追尾領域が移動していくように、各回の前記分割探索動作において、被追尾領域と探索対象移動ベクトルを設定することを特徴とする移動量計測システム。
3. The movement amount measurement system according to claim 1,
The movement amount measurement system is characterized in that the division search means sets the tracked area and the search target movement vector in each division search operation so that the search area in which the inter-image movement vector was last successfully searched for in the basic search operation becomes the search area in each division search operation, and the tracked area moves from a position close to the tracked area in which the inter-image movement vector was last successfully searched for in the basic search operation to a position farther away.
前記カメラは移動体に搭載され、当該移動体が走行する走行面を前記対象体として撮影することを特徴とする移動量計測システム。 3. The movement amount measurement system according to claim 1,
The movement amount measurement system is characterized in that the camera is mounted on a moving body and captures an image of the surface on which the moving body travels as the target object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022171246A JP7804558B2 (en) | 2022-10-26 | 2022-10-26 | Movement measurement system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022171246A JP7804558B2 (en) | 2022-10-26 | 2022-10-26 | Movement measurement system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024063366A JP2024063366A (en) | 2024-05-13 |
| JP7804558B2 true JP7804558B2 (en) | 2026-01-22 |
Family
ID=91030584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022171246A Active JP7804558B2 (en) | 2022-10-26 | 2022-10-26 | Movement measurement system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7804558B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021012155A (en) | 2019-07-09 | 2021-02-04 | 株式会社小野測器 | State measurement device and state measurement method |
-
2022
- 2022-10-26 JP JP2022171246A patent/JP7804558B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021012155A (en) | 2019-07-09 | 2021-02-04 | 株式会社小野測器 | State measurement device and state measurement method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024063366A (en) | 2024-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6898442B2 (en) | Obstacle detection system and method | |
| US6581007B2 (en) | System, method, and program for detecting approach to object | |
| WO2021072710A1 (en) | Point cloud fusion method and system for moving object, and computer storage medium | |
| US20100070078A1 (en) | Apparatus and method for building map | |
| JPH1114741A (en) | Target tracking method and device | |
| JP2011013064A (en) | Position detection device | |
| US12125226B2 (en) | Image processing device, three-dimensional measurement system, and image processing method | |
| JP2001076156A (en) | Image monitoring device | |
| JP7804558B2 (en) | Movement measurement system | |
| JP2017030115A (en) | Picking device, picking method and picking program | |
| KR20160092289A (en) | Method and apparatus for determining disparty | |
| JP7795998B2 (en) | Movement measurement system | |
| JP4074550B2 (en) | Object recognition apparatus and recognition method | |
| CN120612345A (en) | A target fusion tracking method, device, and computer program product | |
| CN120372385A (en) | Obstacle sensing method and system based on laser radar data analysis | |
| JP2001243456A (en) | Obstacle detection device and obstacle detection method | |
| KR20190092051A (en) | Object detection method and robot system | |
| JP7588575B2 (en) | Movement measurement system | |
| CN112287961A (en) | Method, apparatus, computer program and machine-readable storage medium for detecting objects | |
| CN117455953A (en) | Target detection tracking method, device and storage medium | |
| KR100407319B1 (en) | Face feature tracking method using block-matching algorithm based on extended cost function | |
| JPH05108149A (en) | Environment recognizing device of moving vehicle | |
| RU2845079C1 (en) | Method of aerial objects paths selecting based on direction-finding information from optical-location station under interference conditions | |
| CN116543186B (en) | An image matching method, system, device, and medium in photoelectric navigation. | |
| JPH08188104A (en) | Sighting method of preceding car |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20250310 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20250407 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20251225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20260106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20260109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7804558 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |