JP7491035B2 - Information processing device, information processing system, information processing method, and program - Google Patents
Information processing device, information processing system, information processing method, and program Download PDFInfo
- Publication number
- JP7491035B2 JP7491035B2 JP2020075240A JP2020075240A JP7491035B2 JP 7491035 B2 JP7491035 B2 JP 7491035B2 JP 2020075240 A JP2020075240 A JP 2020075240A JP 2020075240 A JP2020075240 A JP 2020075240A JP 7491035 B2 JP7491035 B2 JP 7491035B2
- Authority
- JP
- Japan
- Prior art keywords
- center
- gravity
- images
- image
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
本開示は、情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。 This disclosure relates to an information processing device, an information processing system, an information processing method, and a program.
従来より、工場での部品組み立てや高精度のアライメント調整のために、動物体の三次元計測が行われている。三次元計測には、ステレオカメラを含む撮像システムを用いるものが知られている。 Three-dimensional measurements of moving objects have traditionally been performed for parts assembly in factories and for high-precision alignment adjustment. For three-dimensional measurements, imaging systems including stereo cameras are known to be used.
上述した三次元計測では、対象物をステレオカメラで撮影した画像を用いる。三次元計測において、環境や対象物が時々刻々と変動する場合、しばしば、オクルージョン(画像内において対象物が障害物に隠蔽されてしまう事象）が生じ、対象物の距離の算出が困難となる可能性がある。 The 3D measurements described above use images of the object captured by a stereo camera. When the environment or object changes from moment to moment in 3D measurements, occlusion (an event in which an object is hidden by an obstacle in an image) often occurs, making it difficult to calculate the distance to the object.
オクルージョンに関連して、例えば、特開２００３‐１５０９４０号公報（特許文献１）に開示される従来技術が知られている。特許文献１は、１つの基準カメラからの基準画像と少なくとも1つの比較カメラからの比較画像とを使用して対応点探索を行うステレオ画像処理装置が開示される。特許文献１は、基準画像内のターゲット画素と、比較画像内の対応の画素値の相違度に基づいて、オクルージョンが発生しているカメラペアを検出して、そのカメラペアを対応点探索から除外する構成が開示されている。しかしながら、特許文献１は、画像における対象物の隠蔽の発生を効率的に判定するという点で開示するものではない。 In relation to occlusion, for example, the prior art disclosed in JP 2003-150940 A (Patent Document 1) is known. Patent Document 1 discloses a stereo image processing device that performs a corresponding point search using a reference image from one reference camera and a comparison image from at least one comparison camera. Patent Document 1 discloses a configuration that detects a camera pair in which occlusion occurs based on the degree of difference between a target pixel in the reference image and the corresponding pixel value in the comparison image, and excludes the camera pair from the corresponding point search. However, Patent Document 1 does not disclose anything about efficiently determining whether an object is occluded in an image.
本開示は、上記点に鑑みてなされたものであり、本開示は、画像における対象物の隠蔽の発生を効率的に判定することが可能な情報処理装置を提供することを目的とする。 This disclosure has been made in consideration of the above points, and aims to provide an information processing device that can efficiently determine whether an object is occluded in an image.
本開示では、上記課題を解決するために、下記特徴を有する情報処理装置を提供する。情報処理装置は、異なる視点から対象物が撮影された複数の画像を取得する取得手段を含む。情報処理装置は、また、画像の部分領域に基づいて、画像中における対象物の重心位置を計算する計算手段を含む。情報処理装置は、重心位置の時間変化に関連した特性値に基づいて、画像各々において対象物の隠蔽が発生したかを判定する判定手段とを含む。 In order to solve the above problem, the present disclosure provides an information processing device having the following characteristics. The information processing device includes an acquisition means for acquiring a plurality of images in which an object is photographed from different viewpoints. The information processing device also includes a calculation means for calculating the position of the center of gravity of the object in the image based on a partial region of the image. The information processing device also includes a determination means for determining whether occlusion of the object has occurred in each of the images based on a characteristic value related to a change over time in the position of the center of gravity.
上記構成により、画像における対象物の隠蔽の発生を効率的に判定することが可能となる。 The above configuration makes it possible to efficiently determine whether an object is occluded in an image.
以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、情報処理システムおよび情報処理装置の一例として、それぞれ、複数の高速ビジョンカメラ１６０と、対象物の三次元計測を行う三次元計測装置１１０とを含み構成される三次元計測システム１００、および、該三次元計測装置１１０を参照しながら説明する。 The following describes an embodiment of the present invention, but the embodiment of the present invention is not limited to the embodiment described below. Note that the embodiment described below will be described with reference to a three-dimensional measurement system 100 including a plurality of high-speed vision cameras 160 and a three-dimensional measurement device 110 that performs three-dimensional measurement of an object, and the three-dimensional measurement device 110, as an example of an information processing system and an information processing device, respectively.
図１は、１または複数の実施形態による三次元計測システム１００の全体構成を示す。図１に示すように、三次元計測システム１００は、三次元計測装置１１０と、カメラ同期装置１５０と、それぞれ三次元計測装置１１０およびカメラ同期装置１５０に接続される複数の高速ビジョンカメラ１６０ａ～１６０ｚとを含み構成される。 Figure 1 shows the overall configuration of a three-dimensional measurement system 100 according to one or more embodiments. As shown in Figure 1, the three-dimensional measurement system 100 includes a three-dimensional measurement device 110, a camera synchronization device 150, and a number of high-speed vision cameras 160a to 160z that are connected to the three-dimensional measurement device 110 and the camera synchronization device 150, respectively.
複数の高速ビジョンカメラ１６０ａ～１６０ｚは、それぞれ異なる位置にそれぞれ所定の方向を向くように配置されており、異なる視点から、対象物１０２を被写体として撮影するよう構成されている。したがって、複数の高速ビジョンカメラ１６０ａ～１６０ｚによって撮像された複数の画像間では、視差が生じる。好ましくは、複数の高速ビジョンカメラ１６０ａ～１６０ｚは、それぞれ、対象物１０２が移動可能な範囲がカバーされるように視野が設定される。各高速ビジョンカメラ１６０は、カメラ同期装置１５０から入力されるタイミング信号に基づいて、視野内の対象物１０２を撮影し、撮影した画像を三次元計測装置１１０に入力する。 The multiple high-speed vision cameras 160a-160z are arranged at different positions facing a specific direction, and are configured to capture images of the object 102 as a subject from different viewpoints. Therefore, parallax occurs between the multiple images captured by the multiple high-speed vision cameras 160a-160z. Preferably, the multiple high-speed vision cameras 160a-160z each have a field of view set to cover the range in which the object 102 can move. Each high-speed vision camera 160 captures the object 102 within its field of view based on a timing signal input from the camera synchronization device 150, and inputs the captured image to the three-dimensional measurement device 110.
高速ビジョンカメラ１６０は、３０ｆｐｓ～６０ｆｐｓ程度の通常のカメラよりも高速に画像を撮像する撮像装置であり、典型的には、１０００ｆｐｓ程度のフレームレートを実現するものが好ましく用いられる。この高速なフレームレートに起因して、高速ビジョンカメラ１６０は、高速に動く動物体でも対応が可能である。各高速ビジョンカメラ１６０は、外部のカメラ同期装置１５０によってシャッターが同期されているため、同時刻に同フレームの撮影が可能とされる。 The high-speed vision camera 160 is an imaging device that captures images faster than normal cameras, at around 30 to 60 fps, and typically, one that achieves a frame rate of around 1000 fps is preferably used. Due to this high frame rate, the high-speed vision camera 160 can also capture fast-moving animals. The shutters of each high-speed vision camera 160 are synchronized by the external camera synchronization device 150, making it possible to capture the same frames at the same time.
カメラ同期装置１５０は、各高速ビジョンカメラ１６０のシャッター同期を外部から制御する。外部のカメラ同期装置１５０を複数の高速ビジョンカメラ１６０に繋げ、プログラムにてマスタ‐スレーブ設定をすることにより、外部トリガの入出力によりシャッター同期が可能となる。 The camera synchronization device 150 externally controls the shutter synchronization of each high-speed vision camera 160. By connecting the external camera synchronization device 150 to multiple high-speed vision cameras 160 and setting them as master-slave by program, shutter synchronization becomes possible by inputting and outputting an external trigger.
三次元計測装置１１０は、対象物１０２を複数の高速ビジョンカメラ１６０ａ～１６０ｚで撮影して得られた複数の画像に基づいて、対象物１０２の奥行を含めた三次元計測を行う。本実施形態による三次元計測装置１１０は、詳細を後述するように、三次元計測を行う際に、対象物１０２の障害物による隠蔽（以下、オクルージョンという場合がある。）が発生していないかを判定するとともに、オクルージョンが生じた高速ビジョンカメラ１６０の画像を、三次元計測で使用する画像群から除外するよう構成されている。 The three-dimensional measuring device 110 performs three-dimensional measurement, including the depth, of the object 102 based on multiple images obtained by photographing the object 102 with multiple high-speed vision cameras 160a to 160z. As will be described in detail below, the three-dimensional measuring device 110 according to this embodiment is configured to determine whether the object 102 is obscured by an obstacle (hereinafter sometimes referred to as occlusion) when performing three-dimensional measurement, and to exclude images of the high-speed vision camera 160 in which occlusion has occurred from the group of images used in the three-dimensional measurement.
図２は、三次元計測システムにて発生し得るオクルージョンを説明する。図２（Ａ）は、ある時点での第１～第３の高速ビジョンカメラ１６０ａ～１６０ｃにより対象物１０２を撮影している状態を示す。図２（Ｂ）は、図２（Ａ）の時点より後の、対象物１０２が移動した状態で第１～第３の高速ビジョンカメラ１６０ａ～１６０ｃにより対象物１０２を撮影している状態を示す。 Figure 2 explains occlusion that can occur in a three-dimensional measurement system. Figure 2 (A) shows the state where the object 102 is being photographed by the first to third high-speed vision cameras 160a to 160c at a certain point in time. Figure 2 (B) shows the state where the object 102 is being photographed by the first to third high-speed vision cameras 160a to 160c after the point in time shown in Figure 2 (A) when the object 102 has moved.
図２（Ａ）の時点では、３つの高速ビジョンカメラ１６０ａ～１６０ｃ各々で撮影された画像１７０ａ～１７０ｃにおいては、図２中に描かれているように、障害物１０４が、第２の高速ビジョンカメラ１６０ｂの視野内に入っているものの、オクルージョンは、いずれの高速ビジョンカメラ１６０においても生じていない。 At the time of FIG. 2(A), in the images 170a to 170c captured by the three high-speed vision cameras 160a to 160c, as shown in FIG. 2, an obstacle 104 is within the field of view of the second high-speed vision camera 160b, but no occlusion occurs in any of the high-speed vision cameras 160.
しかしながら、対象物１０２が移動し、図２（Ｂ）の状態となった時点では、第２の高速ビジョンカメラ１６０ｂの画像１７０ｂにおいて、対象物１７２ｂが障害物１７４ｂに隠れてしまっており、オクルージョンが発生している。このとき、対象物１０２が障害物１０４に隠されたことに起因して、第２の高速ビジョンカメラ１６０ｂで撮影される画像１７０ｂを三次元計測で使用する画像群から除外すること（ステレオ法で、ステレオペアとして用いないこと）が好ましい。図１に示す三次元計測装置１１０は、なんらかの原因に起因した対象物１０２のオクルージョンの発生を効率的に判定し、オクルージョンが生じた高速ビジョンカメラ１６０の画像を除外するよう構成される。 However, when the object 102 moves and reaches the state shown in FIG. 2B, the object 172b is hidden by the obstacle 174b in the image 170b of the second high-speed vision camera 160b, causing occlusion. At this time, it is preferable to exclude the image 170b taken by the second high-speed vision camera 160b from the image group used in the three-dimensional measurement due to the object 102 being hidden by the obstacle 104 (not to use it as a stereo pair in the stereo method). The three-dimensional measuring device 110 shown in FIG. 1 is configured to efficiently determine the occurrence of occlusion of the object 102 due to some cause and to exclude the image of the high-speed vision camera 160 in which occlusion has occurred.
なお、以下に説明する実施形態では、障害物１０４は、高速ビジョンカメラ１６０の視野に対して十分に小さく、複数の高速ビジョンカメラ１６０のうちの少なくとも２台は、オクルージョンが生じないよう配置されているものとして説明を続ける。したがって、図２の３つの高速ビジョンカメラ１６０ａ～１６０ｃを用いる例では、オクルージョンが生じる高速ビジョンカメラ１６０は１台のみである。 In the embodiment described below, the explanation will be continued assuming that the obstacle 104 is sufficiently small relative to the field of view of the high-speed vision camera 160, and that at least two of the multiple high-speed vision cameras 160 are positioned so that occlusion does not occur. Therefore, in the example using the three high-speed vision cameras 160a to 160c in FIG. 2, there is only one high-speed vision camera 160 where occlusion occurs.
また、対象物１０２は、説明の便宜上、再帰性反射材で作成されたマーカである場合を例として説明するが、マーカが別の対象物（例えば、工場での部品組み立てにおける部品など）に貼り付けられていて、その貼り付けられたマーカを検知することとしてもよい。また、認識される対象物１０２は、再帰性反射材で作成されたマーカに限定されるものでもなく、撮像された画像から認識可能なものであれば、いかなる形態の物体を対象物とすることができる。 For ease of explanation, the object 102 will be described as a marker made of a retroreflective material, but the marker may be attached to another object (such as a part in a component assembly in a factory), and the marker to be detected may be the marker attached to the other object. The object 102 to be recognized is not limited to a marker made of a retroreflective material, and any object of any shape may be used as the object as long as it can be recognized from a captured image.
以下、三次元計測システム１００の機能の詳細について説明する前に、三次元計測装置１１０のハードウェア構成について説明する。 Before explaining the details of the functions of the three-dimensional measurement system 100, we will explain the hardware configuration of the three-dimensional measurement device 110.
図３は、本実施形態による三次元計測装置１１０として用いることができるパーソナルコンピュータのハードウェア構成を示す。ここでは、パーソナルコンピュータ５００のハードウェア構成について説明する。 Figure 3 shows the hardware configuration of a personal computer that can be used as the three-dimensional measurement device 110 according to this embodiment. Here, the hardware configuration of the personal computer 500 is described.
図３に示されているように、パーソナルコンピュータ５００は、汎用なコンピュータによって構築されており、図３に示されているように、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤＤ（Hard Disk Drive）５０４、ＨＤＤコントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ（Interface）５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。 As shown in FIG. 3, the personal computer 500 is constructed using a general-purpose computer, and includes a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, a RAM (Random Access Memory) 503, a HDD (Hard Disk Drive) 504, a HDD controller 505, a display 506, an external device connection I/F (Interface) 508, a network I/F 509, a data bus 510, a keyboard 511, a pointing device 512, a DVD-RW (Digital Versatile Disk Rewritable) drive 514, and a media I/F 516.
これらのうち、ＣＰＵ５０１は、パーソナルコンピュータ５００全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Of these, the CPU 501 controls the operation of the entire personal computer 500. The ROM 502 stores programs used to drive the CPU 501, such as an IPL (Initial Program Loader). The RAM 503 is used as a work area for the CPU 501. The HDD 504 stores various data such as programs. The HDD controller 505 controls the reading or writing of various data from the HDD 504 according to the control of the CPU 501. The display 506 displays various information such as a cursor, menu, window, character, or image. The external device connection I/F 508 is an interface for connecting various external devices. In this case, the external device is, for example, a USB (Universal Serial Bus) memory or a printer. The network I/F 509 is an interface for data communication using a communication network. The bus line 510 is an address bus, a data bus, or the like for electrically connecting each component such as the CPU 501 shown in FIG. 3.
また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷメディア５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。 The keyboard 511 is a type of input means equipped with multiple keys for inputting characters, numbers, various instructions, etc. The pointing device 512 is a type of input means for selecting and executing various instructions, selecting a processing target, moving the cursor, etc. The DVD-RW drive 514 controls the reading and writing of various data from the DVD-RW media 513, which is an example of a removable recording medium. Note that this is not limited to DVD-RW, and may be DVD-R, etc. The media I/F 516 controls the reading and writing (storing) of data from the recording media 515, such as a flash memory.
以下、図４を参照しながら、三次元計測装置１１０の機能構成について説明する。図４は、第１の実施形態による三次元計測装置１１０の機能ブロックを示す。 The functional configuration of the three-dimensional measuring device 110 will be described below with reference to FIG. 4. FIG. 4 shows functional blocks of the three-dimensional measuring device 110 according to the first embodiment.
図４に示すように、三次元計測装置１１０は、複数台の高速ビジョンカメラ（図４ではＨＳＶと示されている。）１６０から、視点の異なる画像の入力を受ける画像入力部２１０と、入力された画像中で所定の対象物１０２を探索する対象探索部２２０と、画像中で対象物１０２を追跡するトラッキング部２３０と、画像中の障害物１０４による対象物１０２のオクルージョンの発生を判定する隠蔽判定部２４０と、画像入力部２１０に入力された、視点の異なる複数の画像に基づいて、三次元計測を行う三次元計測部２５０と、三次元計測のためのキャリブレーションを行う校正部２６０とを含み構成される。 As shown in FIG. 4, the three-dimensional measuring device 110 includes an image input unit 210 that receives input of images from different viewpoints from multiple high-speed vision cameras (shown as HSV in FIG. 4) 160, an object search unit 220 that searches for a specific object 102 in the input image, a tracking unit 230 that tracks the object 102 in the image, an occlusion determination unit 240 that determines whether an obstacle 104 in the image causes occlusion of the object 102, a three-dimensional measuring unit 250 that performs three-dimensional measurement based on multiple images from different viewpoints input to the image input unit 210, and a calibration unit 260 that performs calibration for the three-dimensional measurement.
画像入力部２１０は、複数台の高速ビジョンカメラ１６０各々で撮像された画像の入力を受けて、取得した複数の高速ビジョンカメラ１６０の画像を、順次、対象探索部２２０に渡す。高速ビジョンカメラ１６０各々で撮像される画像の複数のフレームから構成される時系列データが、高速ビジョンカメラ１６０の台数分だけ入力されることになる。 The image input unit 210 receives input of images captured by each of the multiple high-speed vision cameras 160, and sequentially passes the acquired images from the multiple high-speed vision cameras 160 to the target search unit 220. Time-series data consisting of multiple frames of images captured by each high-speed vision camera 160 is input in the same number as the number of high-speed vision cameras 160.
対象探索部２２０は、各画像中から、所定の対象物１０２を探索する。対象物１０２が、高輝度領域として背景や他の物体から識別可能な場合は、例えば二値化して、二値化画像中で対象物の輪郭を探索することができる。 The object search unit 220 searches for a specific object 102 in each image. If the object 102 can be distinguished from the background or other objects as a high-brightness area, it can be binarized, for example, and the contour of the object can be searched for in the binarized image.
トラッキング部２３０は、画像中の対象物１０２の位置の追跡を行う。トラッキング部２３０は、より詳細には、重心計算部２３２と、領域設定部２３４とを含み構成される。 The tracking unit 230 tracks the position of the object 102 in the image. More specifically, the tracking unit 230 includes a center of gravity calculation unit 232 and an area setting unit 234.
重心計算部２３２は、関心領域（ＲＯＩ；Region Of Interest）と参照される所定の部分領域の画像情報に基づいて、各フレーム内において対象物１０２の重心位置を計算する。関心領域は、対象探索部２２０で求められた対象物１０２の輪郭に応じた大きさの矩形領域として設定され得る。画像処理を関心領域内のみで行うことにより、計算量を大幅に削減することが可能となる。重心位置は、高速ビジョンカメラ１６０の撮影画像の座標系において計測される。各高速ビジョンカメラ１６０について計算された重心位置は、時系列データとして、隠蔽判定部２４０に入力される。重心計算部２３２は、本実施形態において、対象物の重心位置を計算する計算手段を構成する。 The center of gravity calculation unit 232 calculates the center of gravity position of the object 102 in each frame based on image information of a specific partial region referred to as the region of interest (ROI). The region of interest can be set as a rectangular region of a size according to the contour of the object 102 determined by the object search unit 220. By performing image processing only within the region of interest, it is possible to significantly reduce the amount of calculation. The center of gravity position is measured in the coordinate system of the image captured by the high-speed vision camera 160. The center of gravity position calculated for each high-speed vision camera 160 is input to the occlusion determination unit 240 as time-series data. In this embodiment, the center of gravity calculation unit 232 constitutes a calculation means for calculating the center of gravity position of the object.
領域設定部２３４は、重心計算部２３２で求められた重心位置を中心として関心領域（ＲＯＩ）を設定する。関心領域は、過去の時点（典型的には前回）のフレームで計算された重心位置に基づいて、現在のフレームに対し設定されるものであり、随時更新される。領域設定部２３４は、本実施形態において、対象物の重心位置に基づいて、画像中に関心領域を設定する設定手段を構成する。 The region setting unit 234 sets a region of interest (ROI) centered on the center of gravity calculated by the center of gravity calculation unit 232. The region of interest is set for the current frame based on the center of gravity calculated in a past (typically previous) frame, and is updated as needed. In this embodiment, the region setting unit 234 constitutes a setting means for setting a region of interest in an image based on the center of gravity of an object.
隠蔽判定部２４０は、複数台の高速ビジョンカメラ１６０により撮影される複数の画像各々におけるオクルージョンの発生の有無を判定し、オクルージョンが発生した画像を除外する。説明する第１の実施形態による隠蔽判定部２４０は、より詳細には、重心速度算出部２４２と、ステレオペア選択部２４４とを含み構成される。 The occlusion determination unit 240 determines whether or not occlusion has occurred in each of the multiple images captured by the multiple high-speed vision cameras 160, and excludes images in which occlusion has occurred. More specifically, the occlusion determination unit 240 according to the first embodiment described includes a center-of-gravity velocity calculation unit 242 and a stereo pair selection unit 244.
重心速度算出部２４２は、各高速ビジョンカメラ１６０について、与えられる重心位置の時系列データに基づいて、重心速度を算出する。重心速度も時系列データとして計算される。隠蔽判定部２４０は、重心速度算出部２４２により算出された重心速度の時間変化に基づいて、オクルージョンの発生の有無を判定する。隠蔽判定部２４０は、オクルージョンが発生したかを判定する判定手段を構成する。なお、説明する第１の実施形態においては、対象物の重心速度の変化が、本実施形態において、重心位置の時間変化に関連した特性値として、オクルージョン判定に用いられる。オクルージョンの発生の有無の判定は、重心速度の変化に対する閾値条件に基づくことができる。 The center of gravity velocity calculation unit 242 calculates the center of gravity velocity for each high-speed vision camera 160 based on the time series data of the center of gravity position provided. The center of gravity velocity is also calculated as time series data. The occlusion determination unit 240 determines whether or not occlusion has occurred based on the time change in the center of gravity velocity calculated by the center of gravity velocity calculation unit 242. The occlusion determination unit 240 constitutes a determination means for determining whether or not occlusion has occurred. Note that in the first embodiment described, the change in the center of gravity velocity of the object is used for occlusion determination as a characteristic value related to the time change in the center of gravity position in this embodiment. The determination of whether or not occlusion has occurred can be based on a threshold condition for the change in center of gravity velocity.
ステレオペア選択部２４４は、複数台の高速ビジョンカメラ１６０で得られる複数の画像のうち、オクルージョンが発生したと判定された画像を除外して、残りの画像群から、三次元計測で用いるステレオペアを選択する。ステレオペア選択部２４４は、本実施形態において、三次元計測で使用する少なくとも２つの画像を選択する選択手段を構成する。 The stereo pair selection unit 244 excludes images in which it is determined that occlusion has occurred from among the multiple images obtained by the multiple high-speed vision cameras 160, and selects a stereo pair to be used in the three-dimensional measurement from the remaining group of images. In this embodiment, the stereo pair selection unit 244 constitutes a selection means for selecting at least two images to be used in the three-dimensional measurement.
三次元計測部２５０は、三角測量の原理を使用して三次元計測を行う。三次元計測は、説明する実施形態では、ステレオ法を用いることができる。ステレオ法の三次元計測は、高速ビジョンカメラ１６０で得られる２つの画像から得られる特徴点の視差に基づいて行われる。なお、ステレオ法であれば、特徴点のある一部のみ比較すればよく、計算方法も単純なため、処理時間を短縮することができる。三次元計測部２５０は、選択された、略同時点で異なる視点で撮影された少なくとも２つの画像に基づいて三次元計測を行う、計測手段を構成する。 The three-dimensional measurement unit 250 performs three-dimensional measurement using the principle of triangulation. In the embodiment described below, the stereo method can be used for three-dimensional measurement. Three-dimensional measurement using the stereo method is performed based on the parallax of feature points obtained from two images captured by the high-speed vision camera 160. Note that with the stereo method, it is only necessary to compare a certain portion of the feature points, and the calculation method is simple, so processing time can be shortened. The three-dimensional measurement unit 250 constitutes a measurement means that performs three-dimensional measurement based on at least two selected images taken from different viewpoints at approximately the same time.
カメラ同期装置１５０は、各高速ビジョンカメラ１６０のシャッター同期を外部から行う。 The camera synchronization device 150 externally synchronizes the shutters of each high-speed vision camera 160.
校正部２６０は、各高速ビジョンカメラ１６０の校正処理を行う。校正部２６０は、より詳細には、補正変換用行列計算部２６２と、基礎行列計算部２６４とを含み構成される。補正変換用行列計算部２６２は、補正変換用行列を計算する。基礎行列計算部２６４は、基礎行列を計算する。補正変換用行列と基礎行列が求められると、三次元計測に必要な射影行列Ｐｎが求められる。 The calibration unit 260 performs a calibration process for each high-speed vision camera 160. More specifically, the calibration unit 260 includes a correction transformation matrix calculation unit 262 and a fundamental matrix calculation unit 264. The correction transformation matrix calculation unit 262 calculates a correction transformation matrix. The fundamental matrix calculation unit 264 calculates a fundamental matrix. Once the correction transformation matrix and the fundamental matrix are obtained, the projection matrix Pn required for three-dimensional measurement is obtained.
ステレオ法の三次元計測では、下記式（１）および（２）の連立方程式を解くことにより、画素位置での距離が導出される。なお、下記式中、ｍ～は、画像座標（ｕ，ｖ）（重心位置）の同次形であり、Ｐは射影行列であり、Ｘ～ ｗはワールド座標（Ｘｗ、Ｙｗ、Ｚｗ）の同次形である。また、下記式（１）および（２）中でチルダ（～）のアクセントが付された変数には、本文中においては、ｍ～やＸ～ ｗのように表記する。また、ステレオ法による三次元計測およびそのための校正処理は、既存の技術を用いて適宜実施できるため、これ以上の詳細な説明には立ち入らない。 In the stereo method, the distance at a pixel position is derived by solving the simultaneous equations of the following formulas (1) and (2). In the following formulas, m ∼ is a homogeneous form of the image coordinates (u, v) (center of gravity position), P is a projection matrix, and X ∼ w is a homogeneous form of the world coordinates (X w , Y w , Z w ). In the following formulas (1) and (2), variables accented with a tilde (∼) are written as m ∼ or X ∼ w in the text. In addition, the stereo method and the calibration process therefor can be appropriately performed using existing technology, so no further detailed explanation will be given.
以下、図５を参照しながら、第１の実施形態による三次元計測装置１１０が実行する、オクルージョンに対処しながら三次元計測を行う処理について説明する。図５は、三次元計測処理を示すフローチャートである。 The process of performing 3D measurement while dealing with occlusion, which is executed by the 3D measurement device 110 according to the first embodiment, will be described below with reference to FIG. 5. FIG. 5 is a flowchart showing the 3D measurement process.
図５に示す三次元計測処理は、動物体を対象物とし、障害物が対象物に重なってオクルージョンが生じると、対象物の重心位置が急変することを利用して、オクルージョン判定を行う処理である。図５では、ｎ台の高速ビジョンカメラ１６０を用いるものとして説明する。 The three-dimensional measurement process shown in FIG. 5 is a process that uses a moving object as a target object and performs occlusion determination by utilizing the fact that when an obstacle overlaps with the target object and occlusion occurs, the target object's center of gravity position suddenly changes. In FIG. 5, the process is described using n high-speed vision cameras 160.
図５に示す処理は、例えば、オペレータからの三次元計測開始の指示に応答して、ステップＳ１００から開始する。 The process shown in FIG. 5 begins, for example, at step S100 in response to an instruction from an operator to start three-dimensional measurement.
ステップＳ１０１では、三次元計測装置１１０は、校正部２６０により、各高速ビジョンカメラ１６０の初期設定を行い、補正変換用行列および基礎行列を求め、三次元計測に必要な射影行列Ｐｎを求める。 In step S101, the 3D measuring device 110 uses the calibration unit 260 to perform initial settings for each high-speed vision camera 160, obtains a correction transformation matrix and a fundamental matrix, and obtains the projection matrix Pn required for 3D measurement.
ステップＳ１０２では、三次元計測装置１１０は、複数の高速ビジョンカメラ１６０から、最初のフレームの複数の画像を取得する。ステップＳ１０３では、三次元計測装置１１０は、各高速ビジョンカメラ１６０について、画像全体から、対象物の輪郭を検索し、面積を導出する。特定の実施形態においては、各画像において、画像全体が二値化され、対象物の輪郭が探索される。ここでは、ノイズを含めて面積が複数個導出されるため、最大面積のものを、その画像に写っている対象物とする。ステップＳ１０４では、三次元計測装置１１０は、ステップＳ１０３で求めた最大面積を各高速ビジョンカメラ１６０の画像間で比較し、著しく異なるものを除外する。ステップＳ１０５では、三次元計測装置１１０は、残った画像でそれぞれ、面積に応じて決定したサイズの関心領域（ＲＯＩ）を設定する。 In step S102, the three-dimensional measuring device 110 acquires multiple images of the first frame from multiple high-speed vision cameras 160. In step S103, the three-dimensional measuring device 110 searches for the contour of the object from the entire image for each high-speed vision camera 160 and derives the area. In a specific embodiment, the entire image is binarized in each image, and the contour of the object is searched for. Here, multiple areas are derived including noise, so the object with the largest area is taken as the object appearing in that image. In step S104, the three-dimensional measuring device 110 compares the maximum areas obtained in step S103 between the images of each high-speed vision camera 160, and excludes those that are significantly different. In step S105, the three-dimensional measuring device 110 sets a region of interest (ROI) of a size determined according to the area in each of the remaining images.
なお、説明する実施形態では、各高速ビジョンカメラ１６０の画像間で最大面積が著しく異なるものを除外するものとして説明した。しかしながら、これに限定されるものではない。他の実施形態では、対象物が球体である場合などは、全画像に関心領域を設定し、その関心領域が略正方形に該当しないものを除外することとしてもよい。 In the embodiment described, images with significantly different maximum areas between the images of the high-speed vision cameras 160 are excluded. However, this is not limited to this. In other embodiments, when the target object is a sphere, a region of interest may be set in all images, and images in which the region of interest is not approximately square may be excluded.
図６は、特定の実施形態による三次元計測装置における関心領域の初期設定およびステレオペアからの画像の除外を説明する。図６においては、各画像において、対象物１７２の輪郭領域が求められ、最大面積が著しく異なる中央の画像が除外されている。また、各輪郭領域を包含するように、関心領域（ＲＯＩ）１７６が設定されている。 Figure 6 illustrates the initial setting of a region of interest in a 3D measuring device and the exclusion of images from a stereo pair in accordance with a specific embodiment. In Figure 6, the contour region of an object 172 is determined in each image, and the central image, which has a significantly different maximum area, is excluded. In addition, a region of interest (ROI) 176 is set to include each contour region.
再び、図５を参照すると、ステップＳ１０６では、三次元計測装置１１０は、残ったＮ－１台の高速ビジョンカメラ１６０の画像からステレオペアを選択する。ステップＳ１０５でのステレオペアの選択は、選んだ２台の高速ビジョンカメラ１６０が設置された角度に基づいて行うことができる。各高速ビジョンカメラ１６０の配置および視野の向きは、適宜、事前に設定されており、三次元計測装置１１０に与えられているものとする。ステレオペアのカメラの間隔（基線長）を広げれば広げるほど、視差が大きく取れるため、奥行き（Ｚ方向）の測定精度を高めることができるが、反対に画像面内（ＸＹ方向）の分解能が落ちることになる。そのため、９０度前後の角度に近いペアを選択することが好ましい。 Referring again to FIG. 5, in step S106, the three-dimensional measuring device 110 selects a stereo pair from the images of the remaining N-1 high-speed vision cameras 160. The selection of the stereo pair in step S105 can be performed based on the angle at which the two selected high-speed vision cameras 160 are installed. The arrangement and the direction of the field of view of each high-speed vision camera 160 are set appropriately in advance and given to the three-dimensional measuring device 110. The wider the distance (baseline length) between the cameras of the stereo pair, the larger the parallax can be, and therefore the measurement accuracy of the depth (Z direction) can be improved, but conversely, the resolution within the image plane (XY directions) will decrease. Therefore, it is preferable to select a pair with an angle close to about 90 degrees.
ステップＳ１０７では、三次元計測装置１１０は、ステレオペアの画像各々において、関心領域の画像情報に基づいて、対象物の重心位置（ｘ，ｙ）を計算するとともに、重心位置のＸ方向およびＹ方向の変化量から重心速度ｖを計算する。 In step S107, the three-dimensional measuring device 110 calculates the center of gravity position (x, y) of the object in each of the stereo pair images based on the image information of the region of interest, and calculates the center of gravity velocity v from the amount of change in the center of gravity position in the X and Y directions.
ステップＳ１０８では、三次元計測装置１１０は、ステップＳ１０７で求めた重心速度ｖに基づいて、重心速度の変化ｖ１を導出し、所定の閾値α１と比較する。重心速度の変化ｖ１が、所定の閾値α１以上であれば、重心位置（ｘ、ｙ）が急変したことになるので、オクルージョンが発生したと判定する。 In step S108, the three-dimensional measuring device 110 derives the change in center-of-gravity velocity v1 based on the center-of-gravity velocity v calculated in step S107, and compares it with a predetermined threshold value α1. If the change in center-of-gravity velocity v1 is equal to or greater than the predetermined threshold value α1, this means that the center-of-gravity position (x, y) has suddenly changed, and it is determined that occlusion has occurred.
ステップＳ１０８で、重心速度の変化ｖ１が所定の閾値α１以上であると判定された場合（ＮＯ）は、ステップＳ１１２へ処理が分岐される。ステップＳ１１２では、三次元計測装置１１０は、オクルージョンありと判定した画像を除外し、残りのＮ－１台の高速ビジョンカメラ１６０から画像を取得した後、ステップＳ１０６へ処理を戻す。なお、図５に示す実施形態では、オクルージョンありと判定された場合、次のフレームへ処理を進める。 If it is determined in step S108 that the change in center of gravity velocity v1 is equal to or greater than the predetermined threshold value α1 (NO), the process branches to step S112. In step S112, the three-dimensional measuring device 110 excludes images determined to have occlusion, acquires images from the remaining N-1 high-speed vision cameras 160, and then returns to step S106. Note that in the embodiment shown in FIG. 5, if it is determined that occlusion exists, the process proceeds to the next frame.
一方、ステップＳ１０８で、重心速度の変化ｖ１と閾値α1を比較した結果、重心速度の変化ｖ１が閾値α1より小さいと判定された場合（ＹＥＳ）は、オクルージョンの発生はないと判定し、ステップＳ１０９へと処理が進められる。なお、閾値α1の詳細については後述する。 On the other hand, in step S108, if it is determined that the change in center of gravity velocity v1 is smaller than the threshold value α1 as a result of comparing the change in center of gravity velocity v1 with the threshold value α1 (YES), it is determined that no occlusion has occurred, and the process proceeds to step S109. Details of the threshold value α1 will be described later.
ステップＳ１０９では、三次元計測装置１１０は、ステレオペアの画像各々から求められた重心位置（ｘ，ｙ）とステップＳ１０１で求めた射影行列Ｐｎとを用いて、三角測量の原理で三次元計測を実行する。ステップＳ１１０では、三次元計測装置１１０は、計算された対象物の重心位置を中心として関心領域を再設定する。関心領域の再設定に関しては、図７を参照しながら詳細を後述する。 In step S109, the three-dimensional measuring device 110 performs three-dimensional measurement based on the principle of triangulation using the center of gravity (x, y) determined from each of the stereo pair images and the projection matrix Pn determined in step S101. In step S110, the three-dimensional measuring device 110 resets the region of interest centered on the calculated center of gravity of the object. The resetting of the region of interest will be described in detail later with reference to FIG. 7.
ステップＳ１１１では、三次元計測装置１１０は、ステレオペアとして選んだ２台の高速ビジョンカメラ１６０から次のフレームの複数の画像を取得し、ステップＳ１０７へ処理をループさせる。 In step S111, the three-dimensional measuring device 110 acquires multiple images of the next frame from the two high-speed vision cameras 160 selected as a stereo pair, and loops the process back to step S107.
上記フローでは、実質的に、ステップＳ１０３～ステップＳ１０６での一連の処理と、ステップＳ１０８、ステップＳ１１２およびステップＳ１０６の一連の処理とで２種類のオクルージョン判定手法が行われる。前者の判定は、あくまでも初期設定のためのステップであり、後者が、主要なオクルージョン判定手法である。オクルージョンが生じていない間は、各画像の重心位置のみを用いて三次元計測およびトラッキングのループを回すことができるので、計算が単純であり高速性を実現することが可能である。 In the above flow, essentially, two types of occlusion determination methods are performed: a series of processes from step S103 to step S106, and a series of processes from step S108, step S112, and step S106. The former determination is merely a step for initial setup, and the latter is the main occlusion determination method. While no occlusion is occurring, the three-dimensional measurement and tracking loop can be performed using only the center of gravity positions of each image, making it possible to achieve simple calculations and high speed.
以下、図７を参照しながら、対象物をトラッキングしながら関心領域を再設定する手法について説明する。図７は、特定の実施形態による三次元計測装置における対象物のトラッキング手法を説明する概略を示す。 Below, a method for resetting a region of interest while tracking an object will be described with reference to FIG. 7. FIG. 7 shows an outline for explaining a method for tracking an object in a three-dimensional measuring device according to a specific embodiment.
動物体のトラッキング手法は、Ｓｅｌｆ－Ｗｉｎｄｏｗｉｎｇ（I. Ishii, et al., ”Self Windowing for High Speed Vision”, IEEE International Conference on Robotics & Automation, 1999）と呼ばれる手法を好適に用いることができ、以下、本手法でトラッキングを行うものとして説明する。 A suitable method for tracking moving objects is called Self-Windowing (I. Ishii, et al., "Self Windowing for High Speed Vision", IEEE International Conference on Robotics & Automation, 1999), and the following explanation will be given assuming tracking is performed using this method.
図７において、３１０，３２０，３３０，３４０，３５０は、ある高速ビジョンカメラ１６０について時系列で撮影したフレームの画像を表している。フレーム３１０，３２０，３３０，３４０，３５０の間は、１フレームではなく、所定のフレーム数だけ間隔があけられている。 In FIG. 7, 310, 320, 330, 340, and 350 represent frame images captured in time series by a certain high-speed vision camera 160. Frames 310, 320, 330, 340, and 350 are spaced apart by a predetermined number of frames, rather than by one frame.
まず第１フレーム３１０では、対象物３１２が黒色の物体として写されている。第２フレーム３２０では、対象物３２２のモーメントが導出され、重心位置（ｘ、ｙ）（図中、白色の点３２４で表される。）が計算される。第３フレーム３３０では、その重心位置（ｘ、ｙ）３３４を中心とした関心領域３３６が設定される。関心領域３３６のサイズは、対象物３３２の大きさに合わせたサイズとなる。第４フレーム３４０では、時間が経過し対象物３４２の位置が移動している様子を表している。第３フレーム３３０で求めた関心領域３４６内で重心位置（ｘ、ｙ）３４４が計算される。第５フレーム３５０では、第４フレームで求めた重心位置（ｘ，ｙ）３５４を中心とした新たな関心領域３５６が設定されている。 First, in the first frame 310, the object 312 is captured as a black object. In the second frame 320, the moment of the object 322 is derived, and the center of gravity (x, y) (represented by a white dot 324 in the figure) is calculated. In the third frame 330, a region of interest 336 is set with the center of gravity (x, y) 334. The size of the region of interest 336 is adjusted to the size of the object 332. In the fourth frame 340, the position of the object 342 is shown moving over time. The center of gravity (x, y) 344 is calculated within the region of interest 346 determined in the third frame 330. In the fifth frame 350, a new region of interest 356 is set with the center of gravity (x, y) 354 determined in the fourth frame.
従来は、画像全体を計算してトラッキングを行うことが主流であった。しかしながら、本実施形態においては、好ましくは高速ビジョンカメラ１６０が用いられることから、画像情報の連続性が高く、予測処理などを行わずに関心領域を絞ってトラッキングすることが可能となる。したがって、画像全体の情報を読み取る必要がなく、処理時間を大幅に削減可能であり、画像のサイズにも依存しない方法ということができる。また、前フレームの関心領域の画像と入力画像のみから関心領域の設定を更新することができるので、簡単化された対応付けを同時に実現できる。 Conventionally, tracking has mainly been performed by calculating the entire image. However, in this embodiment, since a high-speed vision camera 160 is preferably used, the image information has high continuity, and it is possible to narrow down and track the area of interest without performing predictive processing. Therefore, there is no need to read the information of the entire image, the processing time can be significantly reduced, and it can be said to be a method that is not dependent on the size of the image. In addition, since the setting of the area of interest can be updated using only the image of the area of interest in the previous frame and the input image, simplified matching can be achieved at the same time.
図８は、第１の実施形態による三次元計測装置が生成する、重心位置および重心速度の時系列を模式的に表すグラフである。図８は、動物体の速度変化が比較的小さい場合を例示する。図８（Ａ）は、時間ｔに対する重心位置（ｘ，ｙ）（画面内での絶対位置）の経時変化を示し、図８（Ｂ）は、重心位置の変化を合成して求めた重心速度ｖの経時変化を示している。 Figure 8 is a graph that shows a schematic time series of the center of gravity position and center of gravity velocity generated by the three-dimensional measurement device according to the first embodiment. Figure 8 illustrates a case in which the change in velocity of a moving object is relatively small. Figure 8 (A) shows the change in center of gravity position (x, y) (absolute position on the screen) over time with respect to time t, and Figure 8 (B) shows the change in center of gravity velocity v over time calculated by combining the changes in center of gravity position.
図８に示すように、動物体の速度変化が比較的小さい場合は、オクルージョンが生じるタイミングまで、つまり関心領域内に障害物が入り込む時間ｔ１まで、重心位置（ｘ，ｙ）は、ほぼ線形となっている。一方、オクルージョンが生じると、重心位置（ｘ，ｙ）に大きな変動が生じる。重心速度ｖについてみると、時間ｔ１までは、微小な速度変化ｖ１が生じている。しかしながら、オクルージョンが生じたタイミング以降は、オクルージョン発生前の微小な速度変化ｖ１より大きな変化が生じている。したがって、所定の期間にわたり、平均的な重心速度ｖをモニタしながら、重心の平均速度を基準として、閾値±α１（＞通常時に観測される重心速度の微小な変化幅より大きな所定の上限および下限)を設けることにより、好適にオクルージョンの発生を捕捉することが可能となる。なお、閾値α1の具体的な値は、判定感度を優先するか、誤判定防止を優先するかに応じて選定すればよい。 As shown in FIG. 8, when the change in the velocity of the moving object is relatively small, the center of gravity position (x, y) is almost linear until the time when occlusion occurs, that is, until the time t1 when the obstacle enters the region of interest. On the other hand, when occlusion occurs, a large change occurs in the center of gravity position (x, y). Looking at the center of gravity velocity v, a small change in velocity v1 occurs until time t1. However, after the time when occlusion occurs, a change larger than the small change in velocity v1 before the occlusion occurs occurs. Therefore, by setting a threshold value ±α1 (> a predetermined upper and lower limit larger than the small change in the center of gravity velocity observed under normal conditions) based on the average velocity of the center of gravity while monitoring the average center of gravity velocity v over a predetermined period of time, it is possible to appropriately capture the occurrence of occlusion. The specific value of the threshold value α1 may be selected depending on whether the priority is given to the judgment sensitivity or the prevention of erroneous judgment.
図９は、対象物と障害物の輝度が同程度である場合のトラッキングの様子を示す。図９に示すように対象物と障害物とが同程度の輝度である場合、オクルージョンが発生したとき、３９２および３９８並びに４０２および４０８で示すように対象物と障害物とが重なった一体の物体として画像処理では認識される。したがって、オクルージョンが発生する前は、対象物の重心が検出され、対象物の移動速度に応じて重心が所定の速度で移動していたのに対し、オクルージョンが発生した直後には、対象物と障害物とが重なった一体の物体の重心位置に移動し、重心位置が大きく変動することになる。 Figure 9 shows how tracking works when the object and obstacle have similar brightness. When the object and obstacle have similar brightness as shown in Figure 9, when occlusion occurs, the object and obstacle are recognized as a single overlapping object by image processing, as shown by 392 and 398, as well as 402 and 408. Therefore, before occlusion occurs, the center of gravity of the object is detected, and the center of gravity moves at a predetermined speed according to the moving speed of the object, whereas immediately after occlusion occurs, the center of gravity moves to the center of gravity position of the object and obstacle as a single overlapping object, resulting in a large change in the center of gravity position.
図１０は、障害物の輝度が、対象物の輝度よりも低い場合のトラッキングの様子を示す。図１０に示すように対象物が障害物の輝度と大きく異なる場合、オクルージョンが発生したとき、４４２および４５２に示すように、対象物が障害物に単純に対象物が隠れ、対象物の面積が減ったように認識される。したがって、オクルージョンが発生する前は、対象物の全体の重心が検出され、対象物の移動速度に応じて重心が所定の速度で移動していたのに対し、オクルージョンが発生した直後には、障害物に隠された部分を除く対象物の部分の重心位置となり、重心位置が大きく変動することになる。 Figure 10 shows how tracking works when the luminance of an obstacle is lower than that of the object. When the luminance of the object is significantly different from that of the obstacle as shown in Figure 10, when occlusion occurs, the object is recognized as being simply hidden by the obstacle and its area is reduced, as shown in 442 and 452. Therefore, before occlusion occurs, the center of gravity of the entire object is detected and moves at a predetermined speed according to the moving speed of the object, whereas immediately after occlusion occurs, the center of gravity becomes the position of the center of gravity of the part of the object excluding the part hidden by the obstacle, resulting in a large fluctuation in the position of the center of gravity.
また、図９および図１０に示すように、関心領域３９６，４４６内に障害物３９８，４４８が入ってきた瞬間から関心領域の位置が動くことになる。 Also, as shown in Figures 9 and 10, the position of the region of interest 396, 446 will move the moment an obstacle 398, 448 enters the region of interest 396, 446.
図１１は、対象物が静止し、障害物が移動している場合の実測した重心位置（ｘ，ｙ）および重心速度ｖを示すグラフである。なお、図１１は、直径約１０ｍｍの再起性反射材をフレームレートが１０００ｆｐｓの高速ビジョンカメラを用いて撮影した実験に基づくものである。図１１（Ａ）は、重心位置（ｘ、ｙ）と重心速度ｖの時系列を表したものであり、図１１（Ｂ）は、重心速度ｖの縦軸の倍率を拡大した図である。なお、対象物が静止し、障害物が移動している状態で撮影を行ったものである。 Figure 11 is a graph showing the measured center of gravity position (x, y) and center of gravity velocity v when the object is stationary and the obstacle is moving. Note that Figure 11 is based on an experiment in which a retroreflective material with a diameter of approximately 10 mm was photographed using a high-speed vision camera with a frame rate of 1000 fps. Figure 11 (A) shows the time series of the center of gravity position (x, y) and center of gravity velocity v, and Figure 11 (B) is a diagram in which the magnification of the vertical axis of the center of gravity velocity v is enlarged. Note that the photographs were taken when the object was stationary and the obstacle was moving.
図１１を参照すると明らかなように、オクルージョン発生時間まで、重心位置（ｘ、ｙ）および重心速度ｖの変化（速度変化ｖ１として示してある）は、微小であり、一方で、オクルージョン発生後から大きな変動が生じていることがわかる。このことから、重心速度ｖの変化を特性値として、重心速度ｖの変化に対し所定の閾値条件を設けることによって、好適にオクルージョンを検知することが可能であることが理解される。 As is clear from FIG. 11, the change in the center of gravity position (x, y) and center of gravity velocity v (shown as velocity change v1) is minute until the time when occlusion occurs, while large fluctuations occur after occlusion occurs. From this, it can be seen that it is possible to appropriately detect occlusion by setting a predetermined threshold condition for the change in center of gravity velocity v as a characteristic value.
上述した第１の実施形態では、対象物の重心速度の変化が、重心位置の時間変化に関連した特性値として、オクルージョン判定に用いられていた。しかしながら、オクルージョン判定に用いることができる特性値としては、対象物の重心速度の変化に限定されるものではない。以下、図４および図１２～図１４を参照しながら、第２の実施形態による、オクルージョンに対処しながら三次元計測を行う三次元計測処理を説明する。第２の実施形態は、対象物の重心加速度の変化をオクルージョン判定に用いる特性値として用いるものである。なお、以下、相違点を中心に説明し、特に説明がない限り、第１の実施形態と同様の構成を備えるものとする。 In the first embodiment described above, the change in the velocity of the center of gravity of the object is used in occlusion determination as a characteristic value related to the change over time in the position of the center of gravity. However, the characteristic value that can be used in occlusion determination is not limited to the change in the velocity of the center of gravity of the object. Below, with reference to FIG. 4 and FIG. 12 to FIG. 14, a three-dimensional measurement process that performs three-dimensional measurement while dealing with occlusion according to the second embodiment is described. In the second embodiment, the change in the acceleration of the center of gravity of the object is used as a characteristic value for occlusion determination. Note that the following description will focus on the differences, and unless otherwise specified, it is assumed that the configuration is the same as that of the first embodiment.
第２の実施形態において、図４に示す重心速度算出部２４２は、重心速度ｖを算出するとともに、各高速ビジョンカメラ１６０について、算出した重心速度の時系列データに基づいて、重心加速度ａを算出する。重心加速度ａも時系列データとして計算される。隠蔽判定部２４０は、重心速度算出部２４２により算出された重心加速度の時間変化ａ２に基づいて、オクルージョンの発生の有無を判定する。なお、説明する第２の実施形態においては、対象物の重心加速度の変化ａ２が、本実施形態において、重心位置の時間変化に関連した特性値として、オクルージョン判定に用いられる。オクルージョンの発生の有無の判定は、重心加速度の変化ａ２に対する閾値条件に基づくことができる。 In the second embodiment, the center of gravity velocity calculation unit 242 shown in FIG. 4 calculates the center of gravity velocity v, and calculates the center of gravity acceleration a for each high-speed vision camera 160 based on the time series data of the calculated center of gravity velocity. The center of gravity acceleration a is also calculated as time series data. The occlusion determination unit 240 determines whether or not occlusion has occurred based on the time change a2 of the center of gravity acceleration calculated by the center of gravity velocity calculation unit 242. Note that in the second embodiment to be described, the change a2 of the center of gravity acceleration of the object is used for occlusion determination as a characteristic value related to the time change of the center of gravity position in this embodiment. The determination of whether or not occlusion has occurred can be based on a threshold condition for the change a2 of the center of gravity acceleration.
以下、図１２を参照しながら、第２の実施形態による三次元計測装置１１０が実行する、オクルージョンに対処しながら三次元計測を行う処理について説明する。図１２は、第２の実施形態による三次元計測処理を示すフローチャートである。 The process of performing 3D measurement while dealing with occlusion, which is executed by the 3D measurement device 110 according to the second embodiment, will be described below with reference to FIG. 12. FIG. 12 is a flowchart showing the 3D measurement process according to the second embodiment.
図１２に示す三次元計測処理は、重心速度の変化が比較的に大きい動物体を対象物として、障害物が対象物に重なってオクルージョンが生じると、対象物の重心位置が急変することを利用して、オクルージョン判定を行う処理である。図１２では、ｎ台の高速ビジョンカメラ１６０を用いるものとして説明する。 The three-dimensional measurement process shown in FIG. 12 is a process for determining occlusion by using a moving object with a relatively large change in center-of-gravity velocity as the target, and the sudden change in the center-of-gravity position of the target when an obstacle overlaps with the target and occlusion occurs. In FIG. 12, the process is described using n high-speed vision cameras 160.
ステップＳ２００～ステップＳ２０６の処理、および、ステップＳ２０９～ステップＳ２１２の処理は、図５に示したステップＳ１００～ステップＳ１０６の処理およびステップＳ１０９～ステップＳ１１２の処理と同様であるため、以下、相違点を説明する。 The processes in steps S200 to S206 and steps S209 to S212 are similar to those in steps S100 to S106 and steps S109 to S112 shown in FIG. 5, so the differences will be explained below.
ステップＳ２０７では、三次元計測装置１１０は、ステレオペアの画像各々において、関心領域の画像情報に基づいて、対象物の重心位置（ｘ，ｙ）および重心速度ｖを計算するとともに、さらに重心加速度ａを計算する。 In step S207, the three-dimensional measuring device 110 calculates the center of gravity position (x, y) and center of gravity velocity v of the object in each of the stereo pair images based on the image information of the region of interest, and further calculates the center of gravity acceleration a.
ステップＳ２０８では、三次元計測装置１１０は、ステップＳ２０７で求めた重心加速度ａに基づいて、重心加速度の変化ａ２を導出し、所定の閾値α２と比較する。重心加速度の変化ａ２が、所定の閾値α２以上であれば重心位置（ｘ、ｙ）が急変したことになり、オクルージョンが発生したと判定する。ステップＳ２０８で、重心加速度の変化ａ２が所定の閾値α２以上であると判定された場合（ＮＯ）は、ステップＳ２１２へ処理を分岐させる。ステップＳ２０８で、重心加速度の変化ａ２と閾値α２を比較した結果、重心加速度の変化ａ２が閾値α２より小さいと判定された場合（ＹＥＳ）は、オクルージョンの発生はないと判定し、ステップＳ２０９へと処理が進められる。 In step S208, the three-dimensional measuring device 110 derives a change in center of gravity acceleration a2 based on the center of gravity acceleration a calculated in step S207, and compares it with a predetermined threshold value α2. If the change in center of gravity acceleration a2 is equal to or greater than the predetermined threshold value α2, it is determined that the center of gravity position (x, y) has changed suddenly, and occlusion has occurred. If it is determined in step S208 that the change in center of gravity acceleration a2 is equal to or greater than the predetermined threshold value α2 (NO), the process branches to step S212. If it is determined in step S208 that the change in center of gravity acceleration a2 is less than the threshold value α2 as a result of comparing the change in center of gravity acceleration a2 with the threshold value α2, it is determined that no occlusion has occurred, and the process proceeds to step S209.
図１３は、第２の実施形態による三次元計測装置が生成する、重心速度および重心加速度の時系列を模式的に表すグラフである。図１３は、動物体の速度変化が比較的大きい場合を例示する。図１３（Ａ）は、時間ｔに対する重心速度ｖの経時変化を示し、図１３（Ｂ）は、重心加速度ａの経時変化を示している。また、灰色線は、オクルージョンが生じていない時を示し、黒線は、オクルージョンが生じたときを例示している。 Figure 13 is a graph that shows a schematic time series of center of gravity velocity and center of gravity acceleration generated by the three-dimensional measuring device according to the second embodiment. Figure 13 illustrates a case where the change in velocity of a moving object is relatively large. Figure 13(A) shows the change in center of gravity velocity v over time with respect to time t, and Figure 13(B) shows the change in center of gravity acceleration a over time. The gray line indicates the case where no occlusion occurs, and the black line illustrates the case where occlusion occurs.
動物体の速度変化が大きい場合、オクルージョンが生じたとき、つまり、関心領域内に障害物が入り込むと、図１３（Ａ）のように、重心速度に変動が生じる。時間ｔ２直前のときは、速度変化ｖ３が小さいので、速度変化ｖ３からもオクルージョン判定が可能であるが、時間ｔ１直前のように速度変化ｖ２が大きい場合にオクルージョンが生じると、速度変化ｖ２だけでは閾値を設けるのが難しくなる。重心加速度ａは、図１３（Ｂ）に示すようにオクルージョンが生じていない時間ｔ１まで、微小な加速度変化ａ２が生じている。しかしながら、オクルージョンが生じると重心加速度の変化ａ２より大きな変動が生じる。 When the change in speed of a moving object is large, if occlusion occurs, that is, if an obstacle enters the region of interest, a fluctuation in the center of gravity velocity occurs, as shown in Figure 13 (A). Just before time t2, the speed change v3 is small, so occlusion can be determined from the speed change v3 as well, but if occlusion occurs when the speed change v2 is large, such as just before time t1, it becomes difficult to set a threshold using only the speed change v2. As shown in Figure 13 (B), a small acceleration change a2 occurs in the center of gravity acceleration a up to time t1, when no occlusion occurs. However, when occlusion occurs, a larger fluctuation occurs than the change in center of gravity acceleration a2.
したがって、所定の期間にわたり、平均的な重心加速度ａを監視しながら、重心の平均加速度を基準として、閾値±α２（通常時に観測される重心加速度の微小な変化幅ａ２より大きな所定の上限および下限)を設けることにより、好適にオクルージョンの発生を捕捉することが可能となる。なお、閾値α２の具体的な値は、判定感度を優先するか、誤判定防止を優先するかに応じて選定すればよい。 Therefore, by monitoring the average center-of-gravity acceleration a over a predetermined period of time and setting a threshold value ±α2 (predetermined upper and lower limits greater than the small variation width a2 of the center-of-gravity acceleration observed under normal circumstances) based on the average center-of-gravity acceleration a, it is possible to appropriately detect the occurrence of occlusion. Note that the specific value of the threshold value α2 may be selected depending on whether priority is given to judgment sensitivity or to preventing erroneous judgment.
図１４は、対象物が静止し、障害物が移動している場合の実測した重心加速度ａを示すグラフである。なお、対象物が静止し、障害物が移動している状態で撮影を行ったものであり、実験条件も、図１１の場合と同様である。 Figure 14 is a graph showing the measured center-of-gravity acceleration a when the object is stationary and the obstacle is moving. Note that the images were taken when the object was stationary and the obstacle was moving, and the experimental conditions were the same as those in Figure 11.
図１４を参照すると明らかなように、オクルージョン発生時間まで、重心加速度ａの変化（加速度変化ａ２として示してある）は、微小であり、一方で、オクルージョン発生後から大きな変動が生じていることがわかる。このことから、対象物が非等速に動くことを考慮して、重心加速度ａの変化を特性値として、重心加速度ａの変化に対し所定の閾値条件を設けることによって、好適にオクルージョンを検知することが可能であることが理解される。なお、障害物の輝度が低い場合でも関心領域の重心位置、重心速度および重心加速度は同様の変動を見せるため、同様の方法で判定することが可能である。 As is clear from FIG. 14, the change in center of gravity acceleration a (shown as acceleration change a2) is minute until the time when occlusion occurs, while a large change occurs after occlusion occurs. From this, it can be seen that, taking into consideration that the object moves at a non-uniform speed, it is possible to suitably detect occlusion by setting a predetermined threshold condition for the change in center of gravity acceleration a as a characteristic value. Note that even if the brightness of the obstacle is low, the center of gravity position, center of gravity velocity, and center of gravity acceleration of the area of interest show similar changes, and therefore it is possible to make a determination in a similar manner.
上述した第１の実施形態および第２の実施形態では、オクルージョンが生じていない間は、各画像の重心位置のみを用いて三次元計測およびトラッキングのループを回すことができるので、計算が単純であり高速性を実現することが可能であった。一方で、オクルージョンの生じる高速ビジョンカメラ１６０が１台であることを想定していた。以下、図１５および図１６を参照しながら、第３の実施形態によるオクルージョンに対処しながら三次元計測を行う三次元計測処理を説明する。第３の実施形態は、オクルージョンの生じる高速ビジョンカメラ１６０が複数台発生する可能性に対処可能なものである。 In the first and second embodiments described above, while no occlusion occurs, the three-dimensional measurement and tracking loop can be performed using only the center of gravity position of each image, making it possible to achieve simple calculations and high speed. On the other hand, it was assumed that there was only one high-speed vision camera 160 in which occlusion occurs. Below, with reference to Figures 15 and 16, a three-dimensional measurement process that performs three-dimensional measurement while dealing with occlusion according to the third embodiment will be described. The third embodiment is capable of dealing with the possibility of multiple high-speed vision cameras 160 in which occlusion occurs.
なお、以下、相違点を中心に説明し、特に説明がない限り、第２の実施形態と同様の構成を備えるものとする。また、第３の実施形態は、第２の実施形態を基本とするものとして説明するが、同様の変更を第１の実施形態に適用してもよいことは言うまでもない。 The following description will focus on the differences, and unless otherwise specified, the third embodiment will have the same configuration as the second embodiment. In addition, the third embodiment will be described as being based on the second embodiment, but it goes without saying that similar changes may be applied to the first embodiment.
図１５は、三次元計測システムにて２つ以上の高速ビジョンカメラで発生し得るオクルージョン（対象物の障害物による隠蔽）を説明する。第１実施形態および第２実施形態では、オクルージョンの生じるカメラが１台であることを想定しているが、第３の実施形態では、オクルージョンの生じるカメラが複数台発生する可能性にも対処する。 Figure 15 explains occlusion (hiding of an object by an obstacle) that can occur with two or more high-speed vision cameras in a three-dimensional measurement system. In the first and second embodiments, it is assumed that there is one camera in which occlusion occurs, but in the third embodiment, the possibility of multiple cameras in which occlusion occurs is also addressed.
例えば、図１５（Ａ）に示すように、第２の高速ビジョンカメラ１６０ｂにオクルージョンが発生し、かつ、他の高速ビジョンカメラ１６０ａ，１６０ｃ，１６０ｄにはオクルージョンが生じていない状態で対象物が移動したとする。そして、図１５（Ｂ）に示すように、対象物１０２が移動した結果、第３の高速ビジョンカメラ１６０ｃにも障害物が写り込んでで、オクルージョンありと判定されるにも関わらず、第２の高速ビジョンカメラ１６０ｂでも未だオクルージョンが発生したままの場合がある。このような場合、オクルージョン有りの状態からオクルージョン無しの状態への判定は行われないため、対象物１０２に対する関心領域の再設定が必要となる。ここでは、新たにオクルージョンありと判定された第３の高速ビジョンカメラ１６０ｃを除いた残りの高速ビジョンカメラ１６０ａ，１６０ｂ，１６０ｄで、対象物の輪郭を再度検索して新たに関心領域を再設定する。 For example, as shown in FIG. 15(A), assume that an object moves while occlusion occurs on the second high-speed vision camera 160b and no occlusion occurs on the other high-speed vision cameras 160a, 160c, and 160d. As shown in FIG. 15(B), as a result of the object 102 moving, an obstacle may also be captured on the third high-speed vision camera 160c, and even though it is determined that there is occlusion, there may still be occlusion on the second high-speed vision camera 160b. In such a case, since a determination is not made from an occlusion state to a non-occlusion state, it is necessary to reset the region of interest for the object 102. Here, the contour of the object is searched again on the remaining high-speed vision cameras 160a, 160b, and 160d, excluding the third high-speed vision camera 160c, which has been newly determined to have occlusion, and a new region of interest is reset.
そして、その関心領域を各高速ビジョンカメラ１６０で比較し、明らかにサイズが異なるものをオクルージョンがあると判定しステレオペアから除外する。これより、オクルージョンが生じた高速ビジョンカメラ１６０を除いた新たなステレオペアが選択可能となる。なお、この画像全体の画素を探索する処理は重心位置計測より計測時間がかかるため、常時のループからは外すことで、高速性を実現することができる。 Then, the regions of interest are compared for each high-speed vision camera 160, and those that are clearly different in size are determined to have an occlusion and are removed from the stereo pair. This makes it possible to select a new stereo pair excluding the high-speed vision camera 160 where the occlusion occurred. Note that since this process of searching the pixels of the entire image takes more measurement time than measuring the center of gravity position, it can be removed from the regular loop to achieve high speed.
以下、図１６を参照しながら、第３の実施形態による三次元計測装置１１０が実行する、オクルージョンに対処しながら三次元計測を行う処理について説明する。図１６は、第３の実施形態による三次元計測処理を示すフローチャートである。 The process of performing 3D measurement while dealing with occlusion, which is executed by the 3D measurement device 110 according to the third embodiment, will be described below with reference to FIG. 16. FIG. 16 is a flowchart showing the 3D measurement process according to the third embodiment.
ステップＳ３００～ステップＳ３１２の処理の内容自体は、図１２に示したステップＳ２００～ステップＳ２１２の処理と同様である。一方で、オクルージョンが生じた際にループさせる位置が異なる。第３の実施形態では、ステップＳ３０８で、重心加速度の変化ａ２が所定の閾値α２以上であると判定された場合（ＮＯ）は、ステップＳ３１２へ処理が分岐される。ステップＳ３１２では、三次元計測装置１１０は、オクルージョンありと判定した画像を除外し、残りのＮ－１台の高速ビジョンカメラ１６０から画像を取得した後、ステップＳ３０６ではなく、ステップＳ３０３へ処理を戻す。 The process contents of steps S300 to S312 are the same as those of steps S200 to S212 shown in FIG. 12. However, the position at which the process is looped when occlusion occurs is different. In the third embodiment, if it is determined in step S308 that the change in center of gravity acceleration a2 is equal to or greater than a predetermined threshold value α2 (NO), the process branches to step S312. In step S312, the three-dimensional measuring device 110 excludes images determined to have occlusion, acquires images from the remaining N-1 high-speed vision cameras 160, and then returns to step S303 instead of step S306.
このように、オクルージョンが発生したことを検知した場合に、オクルージョンありと判定された画像を除外した残りの画像にて対象物を再探索する。これにより、図１５に示すような、複数の高速ビジョンカメラ１６０でオクルージョンが発生し得る場合でも、適切なステレオペアを選択することができる。また、オクルージョンが発生しない限り、ステップＳ３０７～Ｓ３１１のループを回ることになるため、関心領域の画像処理のみで完結するため、高速性も実現できる。 In this way, when it is detected that occlusion has occurred, the target object is re-searched for in the remaining images excluding the images determined to have occlusion. This makes it possible to select an appropriate stereo pair even in cases where occlusion may occur in multiple high-speed vision cameras 160, as shown in FIG. 15. Furthermore, unless occlusion occurs, the loop of steps S307 to S311 is repeated, and the process is completed by only processing the images of the region of interest, thereby achieving high speed.
上述した第１～第３の実施形態では、関心領域は、当初設定されたサイズで固定されていた。一方で、対象物１０２は、高速ビジョンカメラ１６０に対し、近づいたり遠ざかったりする可能性がある。以下、図１７を参照しながら、第４の実施形態によるオクルージョンに対処しながら三次元計測を行う三次元計測処理を説明する。第４の実施形態は、関心領域のサイズを適切な大きさに調整するものである。 In the first to third embodiments described above, the region of interest is fixed at an initially set size. However, the object 102 may move closer to or farther away from the high-speed vision camera 160. Below, with reference to FIG. 17, a three-dimensional measurement process for performing three-dimensional measurement while dealing with occlusion according to the fourth embodiment will be described. In the fourth embodiment, the size of the region of interest is adjusted to an appropriate size.
なお、以下、相違点を中心に説明し、特に説明がない限り、第３の実施形態と同様の構成を備えるものとする。また、第４の実施形態は、第３の実施形態を基本とするものとして説明するが、同様の変更を第１または第２の実施形態に適用してもよいことは言うまでもない。 The following description will focus on the differences, and unless otherwise specified, the fourth embodiment will have the same configuration as the third embodiment. In addition, the fourth embodiment will be described as being based on the third embodiment, but it goes without saying that similar changes may be applied to the first or second embodiment.
図１７は、第４の実施形態による三次元計測処理を示すフローチャートである。ステップＳ４００～ステップ４１０の処理、および、ステップＳＳ４１２～ステップＳ４１３の処理は、図１６に示したステップＳ３００～ステップＳ４１２の処理と同様である。図１７に示すフローチャートでは、あらたに、ステップＳ４１１のステップが追加されている。 Figure 17 is a flowchart showing three-dimensional measurement processing according to the fourth embodiment. The processing in steps S400 to S410 and the processing in steps S412 to S413 are similar to the processing in steps S300 to S412 shown in Figure 16. In the flowchart shown in Figure 17, a new step, step S411, has been added.
ステップＳ４１１では、三次元計測装置１１０は、三次元計測をした結果として得られる、対象物の距離の変化に応じて関心領域の大きさを変更する。距離が縮まっている場合、すなわち対象物が高速ビジョンカメラ１６０に近づいている場合は、関心領域の大きさを前回より大きくし、距離が遠のいている場合、すなわち対象物が高速ビジョンカメラ１６０から遠ざかっている場合は、関心領域の大きさを前回より小さくするように設定する。これにより、距離方向にも対象物のトラッキングが可能となり、三次元に動く対象物であっても、関心領域のサイズを最低限に小さくすることができる。このため、オクルージョン判定をより精度良く行うことが可能となる。サイズ変更の度合いは、距離の変化に応じて定めればよい。 In step S411, the three-dimensional measuring device 110 changes the size of the region of interest according to the change in the distance of the object, which is obtained as a result of the three-dimensional measurement. If the distance is decreasing, i.e., if the object is approaching the high-speed vision camera 160, the size of the region of interest is set to be larger than the previous time, and if the distance is increasing, i.e., if the object is moving away from the high-speed vision camera 160, the size of the region of interest is set to be smaller than the previous time. This makes it possible to track the object in the distance direction as well, and the size of the region of interest can be minimized even for objects moving in three dimensions. This makes it possible to perform occlusion determination with greater accuracy. The degree of size change can be determined according to the change in distance.
以上説明した実施形態によれば、画像における対象物の隠蔽の発生を効率的に判定することが可能な情報処理装置、情報処理システム、情報処理方法およびプログラムを提供することが可能となる。 According to the embodiment described above, it is possible to provide an information processing device, an information processing system, an information processing method, and a program that can efficiently determine whether an object is occluded in an image.
特に、上述した実施形態による三次元計測によれば、オクルージョンが発生した場合でも、高速かつ精度の良い三次元計測を実現することができる。そして、そのオクルージョンの判定は、対象物の重心位置の時間変化に基づくため、全画像情報の比較を行ったり、全画像情報を用いる場合と比較して、計算リソースや処理時間を削減することが可能である。好ましい実施形態では、関心領域内での画像処理のみで多くの処理が完結するので、計算リソースおよび処理時間の観点から、より一層有利である。特に、オクルージョン判定にカメラ間の対象範囲の画素値全ての比較演算が必要な技術と比較して有利である。 In particular, the three-dimensional measurement according to the above-described embodiment can achieve high-speed and highly accurate three-dimensional measurement even when occlusion occurs. Furthermore, since the occlusion determination is based on the change in the center of gravity of the object over time, it is possible to reduce computational resources and processing time compared to when all image information is compared or used. In the preferred embodiment, much of the processing is completed by image processing only within the region of interest, which is even more advantageous in terms of computational resources and processing time. In particular, it is advantageous compared to technologies that require comparison calculations of all pixel values in the target range between cameras to determine occlusion.
なお、説明する実施形態では、情報処理システムの一例として、複数の高速ビジョンカメラ１６０、三次元計測装置１１０およびカメラ同期装置１５０を含む三次元計測システム１００をもって説明してきた。しかしながら、情報処理システムは、上記の構成に限定されるものではなく、コンポーネントの追加や削除が行われてもよい。例えば、三次元計測装置１１０およびカメラ同期装置１５０の機能を兼ねそろえる装置を設け、三次元計測装置１１０およびカメラ同期装置１５０を省略してもよい。他の実施形態では、複数の高速ビジョンカメラ１６０、三次元計測装置１１０およびカメラ同期装置１５０に加えて、対象物１０２を物理的に操作するロボットアームなどのロボティック装置、ロボット装置を制御する制御コントローラを含み構成されてもよい。その際に、三次元計測装置１１０および制御コントローラの機能を兼ねそろえる装置を設けてもよい。 In the embodiment described, the three-dimensional measurement system 100 including the multiple high-speed vision cameras 160, the three-dimensional measurement device 110, and the camera synchronization device 150 has been described as an example of an information processing system. However, the information processing system is not limited to the above configuration, and components may be added or removed. For example, a device that combines the functions of the three-dimensional measurement device 110 and the camera synchronization device 150 may be provided, and the three-dimensional measurement device 110 and the camera synchronization device 150 may be omitted. In other embodiments, in addition to the multiple high-speed vision cameras 160, the three-dimensional measurement device 110, and the camera synchronization device 150, the system may be configured to include a robotic device such as a robot arm that physically operates the object 102, and a control controller that controls the robotic device. In this case, a device that combines the functions of the three-dimensional measurement device 110 and the control controller may be provided.
なお、説明する実施形態では、対象物が移動し、障害物が静止しているものとして説明するが、対象物が静止し、障害物が移動している場合や、対象物および障害物が共に移動する場合などに対しても適用可能であることは言うまでもない。また、説明する実施形態では、ｎ台の高速ビジョンカメラ１６０が固定されており、対象物が移動しているものとして説明するが、ｎ台の高速ビジョンカメラ１６０と対象物との相対的な位置関係が変動する限り、いかなる構成に対しても適用可能である。 In the embodiment described, the object is moving and the obstacle is stationary, but it goes without saying that the embodiment can also be applied to cases where the object is stationary and the obstacle is moving, or where the object and the obstacle move together. Also, in the embodiment described, the n high-speed vision cameras 160 are fixed and the object is moving, but as long as the relative positional relationship between the n high-speed vision cameras 160 and the object changes, the embodiment can be applied to any configuration.
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。 Each function of the above-described embodiments can be realized by one or more processing circuits. In this specification, the term "processing circuit" includes a processor programmed to execute each function by software, such as a processor implemented by an electronic circuit, and devices such as an ASIC (Application Specific Integrated Circuit), DSP (digital signal processor), FPGA (field programmable gate array), and conventional circuit modules designed to execute each function described above.
実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、三次元計測装置は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。 The group of devices described in the embodiments represents only one of multiple computing environments for implementing the embodiments disclosed herein. In one embodiment, the three-dimensional measurement apparatus includes multiple computing devices, such as a server cluster. The multiple computing devices are configured to communicate with each other via any type of communication link, including a network, shared memory, etc., and perform the processing disclosed herein.
以上、本発明の実施形態および実施例について説明してきたが、本発明の実施形態および実施例は上述した実施形態および実施例に限定されるものではなく、他の実施形態、他の実施例、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the embodiments and examples of the present invention have been described above, the embodiments and examples of the present invention are not limited to the above-mentioned embodiments and examples, and may be modified within the scope of what a person skilled in the art can imagine, such as other embodiments, other examples, additions, modifications, deletions, etc., and any aspect is within the scope of the present invention as long as it provides the functions and effects of the present invention.
１００…三次元計測システム、１０２…対象物、１０４…障害物、１１０…三次元計測装置、１５０…カメラ同期装置、１６０…高速ビジョンカメラ、１７０…画像、１７２…対象物、１７４…障害物、２１０…画像入力部、２２０…対象探索部、２３０…トラッキング部、２３２…重心計算部、２３４…領域設定部、２４０…隠蔽判定部、２４２ …重心速度算出部、２４４…ステレオペア選択部、２５０…三次元計測部、２６０…校正部、２６２…補正変換用行列計算部、２６４…基礎行列計算部、５００…パーソナルコンピュータ、５０１…ＣＰＵ、５０２…ＲＯＭ、５０３…ＲＡＭ、５０４…ＨＤＤ、５０５…ＨＤＤコントローラ、５０６…ディスプレイ、５０８…外部機器接続Ｉ／Ｆ、５０９…ネットワークＩ／Ｆ、５１１…キーボード、５１２…ポインティング・デバイス、５１４…ＤＶＤ－ＲＷドライブ、５１３…ＤＶＤ－ＲＷメディア、５１６…メディアＩ／Ｆ、５１５…記録メディア 100...3D measurement system, 102...object, 104...obstacle, 110...3D measurement device, 150...camera synchronization device, 160...high-speed vision camera, 170...image, 172...object, 174...obstacle, 210...image input unit, 220...object search unit, 230...tracking unit, 232...centre of gravity calculation unit, 234...area setting unit, 240...occlusion determination unit, 242 ...Center of gravity velocity calculation unit, 244...Stereo pair selection unit, 250...3D measurement unit, 260...Calibration unit, 262...Correction transformation matrix calculation unit, 264...Fundamental matrix calculation unit, 500...Personal computer, 501...CPU, 502...ROM, 503...RAM, 504...HDD, 505...HDD controller, 506...Display, 508...External device connection I/F, 509...Network I/F, 511...Keyboard, 512...Pointing device, 514...DVD-RW drive, 513...DVD-RW media, 516...Media I/F, 515...Recording media
Claims (10)
前記画像に設定される関心領域に基づいて、前記画像における前記関心領域中の対象物として認識される領域の重心位置を計算する計算手段と、
前記重心位置の時間変化に関連した特性値に基づいて、前記画像各々において対象物の隠蔽が発生したかを判定する判定手段と、
前記重心位置に基づいて、前記画像中に前記関心領域を再設定する設定手段と
を含む、情報処理装置。 An acquisition means for acquiring a plurality of images of an object taken from different viewpoints;
a calculation means for calculating a center of gravity position of an area recognized as an object in the area of interest in the image based on the area of interest set in the image;
a determination means for determining whether an object is occluded in each of the images based on a characteristic value related to a time change in the center of gravity position;
a setting means for resetting the region of interest in the image based on the center of gravity position;
An information processing device comprising:
をさらに含む、請求項２に記載の情報処理装置。 The information processing apparatus according to claim 2 , further comprising a selection unit which selects at least two images to be used in three-dimensional measurement from among the plurality of images, excluding the image in which the occlusion occurs.
をさらに含み、前記設定手段は、前記三次元計測により得られる前記対象物の距離に基づいて、前記関心領域の大きさを変化させることを特徴とする、請求項３に記載の情報処理装置。 4. The information processing device according to claim 3, further comprising: a measuring means for performing three-dimensional measurement based on at least two images taken from different viewpoints selected by the selecting means; and wherein the setting means changes a size of the region of interest based on the distance to the object obtained by the three-dimensional measurement.
前記画像の部分領域に基づいて、前記画像中における対象物の重心位置を計算する計算手段と、
前記重心位置の時間変化に関連した特性値に基づいて、前記画像各々において対象物の隠蔽が発生したかを判定する判定手段と
を含み、前記重心位置の時間変化に関連した特性値は、重心速度の変化であり、前記判定手段による判定は、前記重心速度の変化に対する閾値条件に基づく、情報処理装置。 An acquisition means for acquiring a plurality of images of an object taken from different viewpoints;
a calculation means for calculating a center of gravity position of an object in the image based on a partial region of the image;
a determination means for determining whether an object is occluded in each of the images based on a characteristic value related to a time change in the center of gravity position;
wherein the characteristic value related to a time change in the position of the center of gravity is a change in a velocity of the center of gravity, and the determination by the determination means is based on a threshold condition for the change in the velocity of the center of gravity .
前記画像の部分領域に基づいて、前記画像中における対象物の重心位置を計算する計算手段と、
前記重心位置の時間変化に関連した特性値に基づいて、前記画像各々において対象物の隠蔽が発生したかを判定する判定手段と
を含み、前記重心位置の時間変化に関連した特性値は、重心加速度の変化であり、前記判定手段による判定は、前記重心加速度の変化に対する閾値条件に基づく、情報処理装置。 An acquisition means for acquiring a plurality of images of an object taken from different viewpoints;
a calculation means for calculating a center of gravity position of an object in the image based on a partial region of the image;
a determination means for determining whether an object is occluded in each of the images based on a characteristic value related to a time change in the center of gravity position;
wherein the characteristic value related to a time change in the center-of-gravity position is a change in center-of-gravity acceleration, and the determination by the determination means is based on a threshold condition for the change in the center-of-gravity acceleration.
前記複数の撮像装置で撮影された複数の画像を取得する取得手段と、
前記画像に設定される関心領域に基づいて、前記画像における前記関心領域中の対象物として認識される領域の重心位置を計算する計算手段と、
前記重心位置の時間変化に関連した特性値に基づいて、前記画像各々において対象物の隠蔽が発生したかを判定する判定手段と、
前記重心位置に基づいて、前記画像中に前記関心領域を再設定する設定手段と
を含む、情報処理システム。 A plurality of imaging devices arranged at different positions;
An acquisition means for acquiring a plurality of images captured by the plurality of imaging devices;
a calculation means for calculating a center of gravity position of an area recognized as an object in the area of interest in the image based on the area of interest set in the image;
a determination means for determining whether an object is occluded in each of the images based on a characteristic value related to a time change in the center of gravity position ;
a setting means for resetting the region of interest in the image based on the center of gravity position;
An information processing system comprising:
異なる視点から対象物が撮影された複数の画像を取得するステップと、
前記画像に設定される関心領域に基づいて、前記画像における前記関心領域中の対象物として認識される領域の重心位置を計算するステップと、
前記重心位置の時間変化に関連した特性値に基づいて、前記画像各々において対象物の隠蔽が発生したかを判定するステップと、
前記重心位置に基づいて、前記画像中に前記関心領域を再設定するステップと
を実行する、情報処理方法。 An information processing method, comprising:
acquiring a plurality of images of an object taken from different viewpoints;
calculating a center of gravity position of an area recognized as an object in the area of interest in the image based on the area of interest set in the image;
determining whether an occlusion of an object has occurred in each of the images based on a characteristic value related to a time change in the center of gravity position ;
resetting the region of interest in the image based on the center of gravity position;
An information processing method.
異なる視点から対象物が撮影された複数の画像を取得する取得手段、
前記画像に設定される関心領域に基づいて、前記画像における前記関心領域中の対象物として認識される領域の重心位置を計算する計算手段、
前記重心位置の時間変化に関連した特性値に基づいて、前記画像各々において対象物の隠蔽が発生したかを判定する判定手段、および
前記重心位置に基づいて、前記画像中に前記関心領域を再設定する設定手段
として機能させるためのプログラム。 Computer,
An acquisition means for acquiring a plurality of images of an object taken from different viewpoints;
a calculation means for calculating, based on a region of interest set in the image, a center of gravity position of a region recognized as an object in the region of interest in the image ;
a determination means for determining whether an object is occluded in each of the images based on a characteristic value related to a time change in the position of the center of gravity; and
A setting means for resetting the region of interest in the image based on the position of the center of gravity.
A program to function as a
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020075240A JP7491035B2 (en) | 2020-04-21 | 2020-04-21 | Information processing device, information processing system, information processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020075240A JP7491035B2 (en) | 2020-04-21 | 2020-04-21 | Information processing device, information processing system, information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021174089A JP2021174089A (en) | 2021-11-01 |
| JP7491035B2 true JP7491035B2 (en) | 2024-05-28 |
Family
ID=78281847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020075240A Active JP7491035B2 (en) | 2020-04-21 | 2020-04-21 | Information processing device, information processing system, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7491035B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024042995A1 (en) * | 2022-08-24 | 2024-02-29 | ソニーセミコンダクタソリューションズ株式会社 | Light detection device and light detection system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002008040A (en) | 2000-06-16 | 2002-01-11 | Matsushita Electric Ind Co Ltd | Three-dimensional information detection device and three-dimensional information detection method |
| JP2009509779A (en) | 2005-09-23 | 2009-03-12 | ブレインテック カナダ インコーポレイテッド | Visual tracking system and method |
-
2020
- 2020-04-21 JP JP2020075240A patent/JP7491035B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002008040A (en) | 2000-06-16 | 2002-01-11 | Matsushita Electric Ind Co Ltd | Three-dimensional information detection device and three-dimensional information detection method |
| JP2009509779A (en) | 2005-09-23 | 2009-03-12 | ブレインテック カナダ インコーポレイテッド | Visual tracking system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021174089A (en) | 2021-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11928805B2 (en) | Information processing apparatus, information processing method, and storage medium for defect inspection and detection | |
| US10643347B2 (en) | Device for measuring position and orientation of imaging apparatus and method therefor | |
| KR101533686B1 (en) | Apparatus and method for tracking gaze, recording medium for performing the method | |
| EP3343515A1 (en) | Setting apparatus to set movement path of virtual viewpoint, setting method, and program | |
| JP5263694B2 (en) | Object position estimation information creation apparatus, object position estimation information creation method, and program | |
| CN113052907B (en) | Positioning method of mobile robot in dynamic environment | |
| JP2008039767A (en) | Method and system for detecting the shape of the surface of a reflective object | |
| JP7475959B2 (en) | Image processing device, image processing method, and program | |
| JP7372076B2 (en) | image processing system | |
| JP6494418B2 (en) | Image analysis apparatus, image analysis method, and program | |
| JP2020134242A (en) | Measuring method, measuring device and program | |
| CN112816995A (en) | Target detection method and device, fusion processing unit and computer readable medium | |
| JP7491035B2 (en) | Information processing device, information processing system, information processing method, and program | |
| JP6579727B1 (en) | Moving object detection device, moving object detection method, and moving object detection program | |
| CN116091932A (en) | Image processing method and device of inspection robot and computer equipment | |
| JP7746714B2 (en) | Information processing device, information processing system, calibration method and program | |
| JP5167881B2 (en) | Distance measuring device and program thereof | |
| JP7548728B2 (en) | Camera control device and program | |
| WO2023182290A1 (en) | Parallax information generation device, parallax information generation method, and parallax information generation program | |
| JP4351090B2 (en) | Image processing apparatus and image processing method | |
| US12318950B2 (en) | Adjustment support system and adjustment support method | |
| US20200167005A1 (en) | Recognition device and recognition method | |
| US20250371829A1 (en) | Information processing device for correcting position of virtual object, information processing method, and non-transitory computer-readable storage medium | |
| CN117136387B (en) | Image recognition device, method of image recognition device, and storage medium | |
| JP7854636B2 (en) | Image processing device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240209 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20240209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240429 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7491035 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |