JP7409647B2 - Target device for three-dimensional measurement of crops and three-dimensional photographic measurement method of crops - Google Patents
Target device for three-dimensional measurement of crops and three-dimensional photographic measurement method of crops Download PDFInfo
- Publication number
- JP7409647B2 JP7409647B2 JP2020037657A JP2020037657A JP7409647B2 JP 7409647 B2 JP7409647 B2 JP 7409647B2 JP 2020037657 A JP2020037657 A JP 2020037657A JP 2020037657 A JP2020037657 A JP 2020037657A JP 7409647 B2 JP7409647 B2 JP 7409647B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- dimensional
- target
- crops
- wire
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、野菜や果実といった作物を3次元写真計測する技術に関する。 The present invention relates to a technology for three-dimensional photographic measurement of crops such as vegetables and fruits.
作物を撮影し、画像解析により生育状態等の情報を取得する技術が知られている(例えば、特許文献1を参照)。 2. Description of the Related Art There is a known technique for photographing crops and acquiring information such as their growth status through image analysis (for example, see Patent Document 1).
ハウス栽培における作物の三次元写真計測を行う場合、カメラの位置と姿勢を如何に簡素に、また精度よく求めるかが問題となる。カメラの位置と姿勢を求めるためには、標定用のターゲットの設置が問題となるが、作物のハウス栽培に適した標定用ターゲットの設置については、これまで検討されていない。これは、野外における作物の栽培についてもいえる。 When performing three-dimensional photographic measurements of crops grown in greenhouses, the problem is how to simply and accurately determine the position and orientation of the camera. In order to determine the position and attitude of the camera, the problem is the installation of orientation targets, but the installation of orientation targets suitable for growing crops in greenhouses has not been studied so far. This also applies to growing crops outdoors.
このような背景において、本発明は、作物の栽培における三次元写真計測に適したターゲットの設置に係る技術の提供を目的とする。 Against this background, the present invention aims to provide a technique for installing a target suitable for three-dimensional photographic measurement in crop cultivation.
本発明は、柔軟性のある長手形状の部材と、前記長手形状の部材の長手方向に沿って既知の間隔で配置され、個別に識別可能な複数のコード化ターゲットとを備え、前記コード化ターゲットは、板材の表裏に2次元コードが表示された構造を有する作物の三次元写真計測用ターゲット装置である。 The present invention comprises a flexible elongated member and a plurality of individually identifiable coded targets arranged at known intervals along the length of the elongated member, the coded targets is a target device for three-dimensional photographic measurement of crops , which has a structure in which a two-dimensional code is displayed on the front and back of a board .
また本発明は、長手形状の部材と、前記長手形状の部材の長手方向に沿って既知の間隔で配置され、個別に識別可能な複数のコード化ターゲットとを備え、前記コード化ターゲットは、板材の表裏に2次元コードが表示された構造を有し、前記長手形状の部材の少なくとも一端に前記長手形状の部材を相手部材に引っかけて固定するためのフックが設けられている作物の三次元計測用ターゲット装置である。 Further, the present invention includes a longitudinal member and a plurality of coded targets that are arranged at known intervals along the longitudinal direction of the longitudinal member and are individually identifiable, and the coded targets are made of a plate material. has a structure in which a two-dimensional code is displayed on the front and back sides of the crop, and a hook is provided at at least one end of the longitudinal member for hooking and fixing the longitudinal member to a mating member. It is a target device for
本発明において、前記コード化ターゲットが3以上配置されている態様は好ましい。本発明において、前記長手形状の部材の少なくとも一端に、前記長手形状の部材を固定するためのフックを備える態様は好ましい。本発明において、前記長手形状の部材は、平行に配置された一対を有し、前記複数のコード化ターゲットは、前記一対の長手形状の部材の間に保持されている態様は好ましい。 In the present invention, it is preferable that three or more encoded targets are arranged. In the present invention, it is preferable that at least one end of the elongated member is provided with a hook for fixing the elongated member. In the present invention, it is preferable that the longitudinal members have a pair arranged in parallel, and the plurality of coded targets are held between the pair of longitudinal members.
また本発明は、上述した構成を有する作物の三次元計測用ターゲット装置の複数を計測対象物である作物に対して縦横に設置した上で前記計測対象物の三次元写真計測を行う作物の三次元写真計測方法である。 Further, the present invention provides a three-dimensional photographic measurement of the crop, in which a plurality of target devices for three-dimensional measurement of crops having the above-mentioned configuration are installed vertically and horizontally with respect to the crop, which is the measurement target. This is the original photo measurement method.
また本発明は、上述した構成を有する作物の三次元計測用ターゲット装置の複数を、計測対象物である作物を取り囲むように配置した状態で前記計測対象物に対する三次元写真計測が行なわれる作物の三次元写真計測方法である。 Further, the present invention provides a method for measuring a crop on which three-dimensional photographic measurement of the measurement object is performed in a state in which a plurality of target devices for three-dimensional measurement of crops having the above-mentioned configuration are arranged so as to surround the crop, which is the measurement object. This is a three-dimensional photographic measurement method.
また本発明は、上述した構成を有する作物の三次元計測用ターゲット装置を折り曲げて計測対象物である作物を囲むように設置した上で前記計測対象物の三次元写真計測を行う作物の三次元写真計測方法である。 Further, the present invention provides a three-dimensional measurement target device for crops having the above-mentioned configuration, which is bent and installed so as to surround the crop, which is the object to be measured, and then a three-dimensional photographic measurement of the object to be measured is carried out. This is a photographic measurement method.
また本発明は、上述した構成を有する作物の三次元計測用ターゲット装置を辺とする立体形状が形成され、計測対象物である作物が前記立体形状の内側に収まった状態で前記計測対象物に対する三次元写真計測が行なわれる作物の三次元写真計測方法である。 Further, in the present invention, a three-dimensional shape is formed with the target device for three-dimensional measurement of crops having the above-mentioned configuration as a side, and the crop, which is the measurement object, is placed inside the three-dimensional shape. This is a three-dimensional photo measurement method for crops in which three-dimensional photo measurement is performed.
また本発明は、上述した構成を有する作物の三次元計測用ターゲット装置を互いに交差する3軸方向に沿って配置した状態で計測対象物である作物に対する三次元写真計測が行なわれる作物の三次元写真計測方法である。ここで、3軸は、互いに直交する方向が好ましいが、必ずしも直交していなくてもよい。また、上述した構成を有する作物の三次元計測用ターゲット装置を交差する4軸以上に沿って配置することは好ましい。
Further, the present invention provides a three-dimensional photographic measurement of a crop as a measurement object in which a target device for three-dimensional measurement of crops having the above-mentioned configuration is arranged along three axes that intersect with each other. This is a photographic measurement method. Here, the three axes are preferably orthogonal to each other, but do not necessarily need to be orthogonal. Further, it is preferable that the target device for three-dimensional measurement of crops having the above-mentioned configuration be arranged along four or more intersecting axes.
本発明によれば、作物の栽培における三次元写真計測に適したターゲットの設置に係る技術が提供される。 According to the present invention, a technique related to setting a target suitable for three-dimensional photographic measurement in crop cultivation is provided.
(概要)
図1には、発明を利用した農業ハウス100内の様子が示されている。なお、図を見易くするために農業ハウス100の骨組み、壁面、天井等の記載は図示省略されている。図1には、基本的に同じ構造を有するワイヤーターゲット300,400,500および600が示されている。ワイヤーターゲット400は、柔軟性のある長手形状の部材であるワイヤー410、ワイヤー410の長手方向に沿って既知の間隔で配置され、個別に識別可能な複数のコード化ターゲット401~404を備えている。ワイヤーターゲット300,400,500および600は、計測対象物である作物201~203を囲むように設置されている。
(overview)
FIG. 1 shows the inside of an
(詳細)
農業ハウス100では、作物201,202,203が育成される。育成される作物の種類は、特に限定されない。作物としては、例えば、茄子やキュウリ等の野菜、イチゴ等の果物、観賞用の植物等が挙げられる。なお、作物の成長の段階は特に限定されない。
(detail)
In the
図1の例では、作物201,202,203は、トマトの苗であり、図示しない上方から垂らされた誘引ワイヤーに束縛され、この図示しない誘引ワイヤーに沿って上方に成長する。この点は、通常のハウス栽培のトマトの場合と同じである。なお、誘引ワイヤーの方向は、斜め上方向や水平方向であってもよい。なお、作物の数は、図示する例に限定されず、2本以下、あるいは3本以上であってもよい。
In the example of FIG. 1, the
図1に示す農業ハウス100は、側壁部分に配置された移動式カメラ150と天井部分に配置された移動式カメラ160を備える。移動式カメラ150と160により、作物201,202,203の三次元写真計測が行なわれる。カメラ150は、レール151上を移動可能であり、レール151上で移動しながら、作物201~203の側面斜め上の方向から連続写真撮影を行う。カメラ160は、レール161上を移動可能であり、レール161上で移動しながら、上方から作物201,202,203の連続写真撮影を行う。
The
農業ハウス100の天井部分には、支持ワイヤー101と102が水平方向に張り渡され支持ワイヤー101と102は、天然繊維、化学繊維、金属、それらの2以上を複合化したもの等により構成される線材である。支持ワイヤー101の代わりに樹脂パイプ、金属パイプ、木材の棒、竹の棒等の長手形状の部材を支持部材して上方に配置する構成も可能である。
作物201,202,203を囲むように、ワイヤーターゲット300,400,500,600,700,800.900が配置されている。ワイヤーターゲット300,400,500は、鉛直方向に展張して配置されている。ワイヤーターゲット700,800.900は、水平方向に展張して配置されている。
(ワイヤーターゲットの構造)
以下、ワイヤーターゲット300,400,500,600について説明する。ワイヤーターゲット300,400,500,600は、同じ構造を有する。ただし、各ワイヤーターゲットが備えるコード化ターゲットは、個別に識別が可能である。また、コード化ターゲットのコードの内容は、各ワイヤーターゲットにおいて異なる。
(Structure of wire target)
The wire targets 300, 400, 500, and 600 will be explained below. Wire targets 300, 400, 500, 600 have the same structure. However, the coded targets included in each wire target can be individually identified. Further, the content of the code of the coded target is different for each wire target.
以下、ワイヤーターゲット400について説明する。ワイヤーターゲット400は、ワイヤー410にコード化ターゲット401,402,403,404とランダムドットターゲット405を取り付けた構造を有する。ワイヤー410は、柔軟性のある線材であり例えば、市販されている園芸用の針金やロープが利用される。ワイヤー410としては、各種のロープ、紐、被覆金属線、またはこれらを複合化した線材を利用することができる。
The
コード化ターゲット401~404は、矩形のプラスチック板で構成されている。これは、他のコード化ターゲットについても同じである。このプラスチック板の表裏には、図形の組み合わせでデジタル情報が構成される2次元コードが表示されている。2次元コードとしては、マトリクス表示や2次元バーコード等の各種のものが知られており、その中から画像による読み取りに適したものが利用される。なお、コードの表示を表裏でなく、一方の面のみに設ける構成も可能である。 The coding targets 401 to 404 are made of rectangular plastic plates. The same is true for other encoded targets. On the front and back sides of this plastic board, a two-dimensional code is displayed, which consists of digital information made up of a combination of figures. Various types of two-dimensional codes are known, such as matrix displays and two-dimensional barcodes, among which those suitable for image reading are used. Note that a configuration in which the code is displayed not on the front and back but only on one side is also possible.
ここで、コード化ターゲット401,402,403,404は、個別に識別できるように異なるコード情報に設定されている。また、図1に示す全てのコード化ターゲットは、個別に識別できるように異なるコード情報に設定されている。
Here, the coded
ランダムドットターゲット405は、矩形のプラスチック板で構成されている。このプラスチック板の表裏には、ランダム配置されたドットにより構成されるドット模様が形成(印刷)されている。これは、他のランダムドットターゲットも同じである。
The
ランダムドットは、ステレオ写真画像のマッチング(対応関係の特定)に際して、対応関係が特定し易い。このことを利用して、ステレオ写真画像の対応関係の特定にランダムドットターゲット405が利用される。
Random dots make it easy to identify correspondences when matching stereo photographic images (identifying correspondences). Taking advantage of this fact, the
図2は、ワイヤーターゲット400の拡大図である。ワイヤー410の両端には、鉤型のフック411,412が固定されている。フック411は、地面側に設置された図示しない相手フックに引っかけられ、フック412は、支持ワイヤー102に引っかけられる。これにより、ワイヤーターゲット400が図1に示す状態で鉛直方向に展張される。
FIG. 2 is an enlarged view of the
なお、展張された状態を維持し、またある程度の張力を与えて弛ませないために、フック411およびフック412の少なくとも一方とワイヤー410の端部の間に弾性体(例えばコイルばねやゴム)を配置し、ワイヤー102に張力が作用するようにしてもよい。これは、他のワイヤーターゲットでも同じである。
Note that an elastic body (such as a coil spring or rubber) is placed between at least one of the hooks 411 and 412 and the end of the
コード化ターゲット401,402,403,404の間隔は予め特定の値に設定されている。この例では、ワイヤー410を伸ばした際に、コード化ターゲット401,402,403,404が等間隔に並ぶように設定されている。コード化ターゲット間の間隔は、等間隔でなくてもよい。ただし、特定の2つのコード化ターゲット間の距離の情報は、予め取得しておき、既知の情報としておく。なお、各コード化ターゲットは、撮影画像の中から中心の位置の特定が可能とされ、この中心の位置を基準に2つのコード化ターゲット間の距離の情報が取得される。
The intervals between the encoded
ワイヤー410の代わりに剛性のある長手形状の部材(金属パイプ、樹脂パイプ、竹や木材の棒)を利用してもよい。この場合も当該長手形状の部材の少なくとも一方の一端にフックを設け、そのフックを支持ワイヤー101や102に引っかけることで、当該長手形状の部材を支持ワイヤー101や102から吊るせる構造とする。なお、地面側は、長手形状部材を地面に突き刺す、あるいは専用の土台を用意し、地面上で支持する構造としてもよい。
Instead of the
また、ワイヤー410の代わりに剛性のある長手形状の部材を用いた場合、この長手形状の部材を立て掛けることで、ワイヤーターゲット300,400,500,600と同様な配置とすることも可能である。
Moreover, when a rigid longitudinal member is used instead of the
次に、ワイヤーターゲット700と800について説明する。ワイヤーターゲット700と800は同じ構造を有する。ただし、各コード化ターゲットは、個別に識別が可能であり、ワイヤーターゲット700と800において、コード化ターゲットのコードの内容は異なる。
Next, wire targets 700 and 800 will be explained. Wire targets 700 and 800 have the same structure. However, each coded target can be individually identified, and the code content of the coded targets is different between
図3にワイヤーターゲット700の概要を示す。ワイヤーターゲット700は、ワイヤー706にコード化ターゲット701,703,705、ランダムドットターゲット702,704を取り付けた構造を有する。コードの内容以外のコード化ターゲット701,703,705の構造は、図2のコード化ターゲット400におけるものと同じである。また、ランダムドットターゲット702,704の構造も図2のコード化ターゲット400におけるものと同じである。
FIG. 3 shows an outline of the
ワイヤー706の両端には、フック710,711が取り付けられている。フック710を支持ワイヤー101に引っかけ、フック712を支持ワイヤー102に引っかけることで、ワイヤーターゲット700が支持ワイヤー101と102の間に水平に展張される。また、同様な方法で、ワイヤーターゲット800が支持ワイヤー101と102の間に水平に展張される。ワイヤーターゲット700と800は、水平方向から見て、各ターゲットが効果的に見えるように、各ターゲットの表示面が垂直になるように配置される。
次に、ワイヤーターゲット900について説明する。図4は、ワイヤーターゲット900の斜視図である。ワイヤーターゲット900は、上方から見易い様に2次元コードの表示を上面に向けて配置される。
Next, the
ワイヤーターゲット900は、平行に配置された2本のワイヤー910,920の間にコード化ターゲット901,902,903,904が配置された構造を有する。ワイヤー910の両端には、フック911,912が固定され、ワイヤー920の両端には、フック921,922が固定されている。
The
フック911を支持ワイヤー101に引っかけ、フック912を支持ワイヤー102に引っかけ、更にフック921を支持ワイヤー101に引っかけ、フック922を支持ワイヤー102に引っかけることで、ワイヤーターゲット900が作物201~203の上方に固定される。2本のワイヤー910,920の代わりに2本の棒やパイプを用いる形態も可能である。ワイヤーターゲット900を作物201~203の上端より低い位置に配置する形態も可能である。
By hooking the
農業ハウス100の地面(床)には、基準点131,132が配置されている。基準点131,132は、コード化ターゲットを用いて構成されており、画像による識別が可能で、その位置は予め取得されている。位置のデータは、農業ハウス100に設定されたローカル座標系または絶対座標系で記述される。絶対座標系は、GNSSや地図情報で利用される座標系である。基準点の設置位置は、カメラ150,160から見える位置であればよい。
Reference points 131 and 132 are arranged on the ground (floor) of the
(優位性)
図1の例では、作物201,202,203を囲むように、縦にワイヤーターゲット300,400,500,600を配置し、横(水平)にワイヤーターゲット700,800,900を配置している。
(Superiority)
In the example of FIG. 1, wire targets 300, 400, 500, 600 are arranged vertically and
三次元写真測量の対象物である作物201,202,203を囲むように、縦横にワイヤーターゲットを配置することで、作物201,202,203の三次元写真測量の精度を高めることができる。以下、その理由について説明する。
By arranging wire targets vertically and horizontally so as to surround the
図1に示される複数のコード化ターゲットは、3次元写真測量を行うためのカメラ150,160の標定に利用される。3次元写真測量では、撮影時のカメラの外部標定要素(位置と姿勢(向き))の精度が重要となる。この外部標定要素を求める処理が標定(標定処理)である。
The plurality of coded targets shown in FIG. 1 are utilized to orient
この例では、カメラ150はレール151上を移動しながら、カメラ160は、レール151上を移動しながら間欠的に作物201,202,203の写真撮影を連続して行う。この写真撮影で得られる同一カメラによる多数の画像において、時間軸上で隣接または近接する2つの画像は、一部が重複し、ステレオ写真画像となるように撮影のタイミングやカメラ150,160の移動速度が設定されている。
In this example, while the
カメラ150およびカメラ160のそれぞれにおいて、時間軸上で隣接(または近接)する2枚の撮影画像をステレオ画像として、このステレオ画像を構成する2枚の撮影画像の撮影時における各カメラの外部標定要素(カメラ150の位置と向き)の算出が行われる。この処理が標定処理となる。
In each of the
ここで、各ワイヤーターゲット上における位置的に隣接するコード化ターゲットの間隔が既知であるので、長さのスケールが与えられ、相対座標系上でのカメラ150の外部標定要素が算出される。また、上記のステレオ写真画像中に基準点131,132が写っていれば、絶対標定が可能となり、利用する座標系におけるカメラ150の外部標定要素の絶対値が求まる。
Here, since the spacing between positionally adjacent coded targets on each wire target is known, a length scale is given and the external orientation factor of the
移動するカメラからの撮影による三次元写真測量およびその際のカメラの標定処理に関しては、例えば、特開2013-186816号公報に記載されている。 Three-dimensional photogrammetry using photography from a moving camera and orientation processing of the camera at that time are described in, for example, Japanese Patent Application Laid-Open No. 2013-186816.
ここで、ワイヤーターゲット300と400を用いてカメラ150の外部標定要素の算出を行った第1の場合と、ワイヤーターゲット300,400,500,600を用いてカメラ150の外部標定要素の算出を行った第2の場合を比較すると、第2の場合の方が高い精度が得られる。これは、第1の場合に比較して、第2の場合の方が、カメラ150から見た奥行き方向の情報が増えるからである。
Here, in the first case, the external orientation elements of the
また、ワイヤーターゲット300,400,500,600に加えて、更にワイヤーターゲット700と900を用いることで、更に標定の精度を高めることができる。
Further, by further using
また、カメラ160からは、ワイヤーターゲット900のみではく、ワイヤーターゲット300~800の一部が見えており、そのコード化ターゲットも標定に利用される。この場合も3次元方向における利用できるコード化ターゲットの数、および組み合わせのバリエーションが増え、カメラ160の各カメラ位置における外部標定要素の算出精度が高くなる。
Further, from the
以上の理由から、被測定対象物(作物201,202,203)を囲むように縦横に複数のワイヤーターゲットを配置することで、カメラ150およびカメラ160の外部標定要素の算出精度を高めることができる。そして、カメラ150およびカメラ160の外部標定要素の精度を高めることで、カメラ150およびカメラ160を用いて取得される作物201,202,203の三次元情報の精度を高めることができる。
For the above reasons, by arranging a plurality of wire targets vertically and horizontally to surround the measurement target (
また、図1には、ワイヤーターゲット300,400,500,600,700,800を辺とする立方体が構成され、この立方体の内側に被測定対象物(作物201,202,203)が納まるようにした構成が記載されている。こうすることで、縦横に配置されたワイヤーターゲットにより被測定対象物(作物201,202,203)が囲まれ、被測定対象物の三次元計測に適した高精度のカメラ150およびカメラ160に係る外部標定要素が得られる。
In addition, in FIG. 1, a cube with
例えば、カメラ150から見て、被測定対象物(作物201,202,203)の左右、前後、および上下に配置されたコード化ターゲットによる標定が行なわれるので、被測定対象物(作物201,202,203)の撮影画像に係るカメラ150の外部標定要素の誤差が抑制される。
For example, when viewed from the
すなわち、ワイヤーターゲットを直交する3軸方向(XYZ方向)に展張することで、三次元空間におけるカメラ150の外部標定要素の精度が得られる。もちろん、更に展張する方向を確保することで、更にカメラ150の外部標定要素の精度は高まる。ワイヤーターゲットの展張方向が3軸から2軸になると、カメラ150の外部標定要素の精度は著しく低下する。よって、少なくとも交差する3軸方向におけてワイヤーターゲットを展張する必要がある。
That is, by extending the wire target in three orthogonal axes directions (XYZ directions), the accuracy of the external orientation element of the
作物201~203の成長が進むと、葉が茂り、一部のコード化ターゲットが葉に隠れ、当該コード化ターゲットがカメラ150やカメラ160から見えなくなる可能性がある。このような場合でも各ワイヤーターゲットは3以上のコード化ターゲットを備えているので、2つのコード化ターゲットが見えれば、スケールを得ることができる。
As the
また、葉が茂ってきた場合に、カメラ150およびカメラ160から見える位置にワイヤーターゲットの位置をずらすことで、葉による標定点の減少を抑えることができる。
Further, when the leaves become thick, by shifting the position of the wire target to a position where it can be seen from the
ワイヤーターゲットは、コード化ターゲット間の間隔が既知であるので、直線状に並んだコード化ターゲットの数が撮影画像から認識できれば、その延長距離を取得できる。また、個別にコード化ターゲットが識別できるので、何番目から何番目までのコード化ターゲット間の距離といった情報も撮影画像から得ることができる。 For wire targets, the distance between the coded targets is known, so if the number of coded targets arranged in a straight line can be recognized from the photographed image, the extended distance can be obtained. Furthermore, since the coded targets can be identified individually, information such as the distance between the coded targets can also be obtained from the photographed image.
(標定:カメラの外部標定要素の算出)
以下、カメラの標定処理(カメラの外部標定要素を求める処理)について説明する。図5は、本実施形態における標定および三次元測量の原理図である。
(Orientation: Calculation of camera external orientation elements)
Camera orientation processing (processing to obtain external orientation elements of the camera) will be described below. FIG. 5 is a diagram showing the principles of orientation and three-dimensional surveying in this embodiment.
図5(A)において、A1~A7は、カメラの撮影位置である。B1~B3は、ワイヤーターゲット(例えば、図1のワイヤーターゲット700)におけるコード化ターゲットの中心の位置である。カメラは移動しながら撮影を行い、時間経過に従いA1⇒A2⇒A3⇒・・・の点(カメラ位置(撮影の視点))から順次撮影を行う。ここで、カメラ位置A1から撮影した画像とカメラ位置A2から撮影した画像には、点B1~B3が共通して写っているとする。
In FIG. 5(A), A1 to A7 are photographing positions of the camera. B1-B3 are the positions of the centers of the coding targets in a wire target (eg,
図1に関連して説明したように、B1~B3の間隔は既知である(図1に関連して説明したようにワイヤーターゲットにおけるコード化ターゲットの間隔は既知である)。ここでは、まずカメラ位置Aと、そこにおけるカメラの姿勢を後方交会法により求める。 The spacing of B1-B3 is known as described in connection with FIG. 1 (the spacing of the coded targets in the wire target is known as described in connection with FIG. 1). Here, first, the camera position A and the attitude of the camera at that position are determined by the backward intersection method.
図6は、後方公会法の原理図である。この場合、図6のP1,P2,P3は、図5のB1,B2,B3に対応する。図6のp1,p2,p3は撮影画面中における点P1,P2,P3の画面座標位置である。 FIG. 6 is a diagram showing the principle of the Backward Public Consortium Law. In this case, P1, P2, and P3 in FIG. 6 correspond to B1, B2, and B3 in FIG. 5. p1, p2, and p3 in FIG. 6 are screen coordinate positions of points P1, P2, and P3 in the photographic screen.
この段階では、カメラ位置(カメラの光学原点(投影原点))であるA1の位置と、A1におけるカメラの姿勢は未知である。まず、カメラ位置A1を求める。ここでは、P1とp1、P2とp2、P3とp3を結ぶ方向線を設定する。そしてこの方向線の交点Oがカメラ位置A1として求まる。また、点Oと撮影画面の中心点を結ぶ方向線を設定し、その方向線の方向がカメラ位置A1におけるカメラの向きとして求まる。以上のようにして、カメラ位置A1におけるカメラの外部標定要素(位置と向き)が求まる。同様にして、カメラ位置A2以降の外部標定要素が求められる。 At this stage, the position of A1, which is the camera position (optical origin (projection origin) of the camera), and the attitude of the camera at A1 are unknown. First, the camera position A1 is determined. Here, direction lines connecting P1 and p1, P2 and p2, and P3 and p3 are set. Then, the intersection O of these direction lines is determined as the camera position A1. Further, a direction line connecting point O and the center point of the photographic screen is set, and the direction of the direction line is determined as the direction of the camera at camera position A1. In the manner described above, the external orientation elements (position and orientation) of the camera at the camera position A1 are determined. In the same way, external orientation elements after camera position A2 are determined.
そして、異なるワイヤーターゲット間の2以上のコード化ターゲットが1枚の撮影画像中に写るようにすることで、ワイヤーターゲット間を跨いだ標定が可能となり、全てのカメラ位置におけるカメラの外部標定要素が次々と順次求められる。 By making two or more coded targets between different wire targets appear in one photographed image, orientation across wire targets becomes possible, and the external orientation elements of the camera at all camera positions are They are requested one after another.
ここで、一つのワイヤーターゲットにおけるコード化ターゲットの相対位置関係は既知であるが、その絶対位置は未知である。よって得られる各カメラ位置におけるカメラの外部標定要素の絶対値は未知である(座標系は特定されていない)。ここで、利用する座標系における位置が既知の基準点131,132を用いることで、図6の三次元位置関係の少なくとも一点に座標値が与えられ、利用する座標系における外部標定要素の値が得られる。 なお、得られる三次元データがローカル座標系におけるものでよい場合は、基準点131,132は不要である。この場合、絶対位置の情報は得られないが、ワイヤーターゲットによりスケールが与えられるので、作物の寸法や成長量(例えば、10日前に比較して何cm成長したか)は得ることができる。 Here, although the relative positional relationship of the coded targets in one wire target is known, the absolute position thereof is unknown. Therefore, the absolute value of the external orientation factor of the camera at each camera position obtained is unknown (the coordinate system is not specified). Here, by using the reference points 131 and 132 whose positions in the coordinate system to be used are known, a coordinate value is given to at least one point in the three-dimensional positional relationship in FIG. 6, and the value of the external orientation element in the coordinate system to be used is can get. Note that if the obtained three-dimensional data is in the local coordinate system, the reference points 131 and 132 are unnecessary. In this case, absolute position information cannot be obtained, but since a scale is provided by the wire target, the size and growth amount of the crop (for example, how many centimeters it has grown compared to 10 days ago) can be obtained.
(三次元モデルの作成)
図5(B)において、A1とA2が隣接するカメラ位置、B3がカメラ位置A1から撮影した画像とカメラ位置A2から撮影した画像において共通する点であるとする。共通する点は、2枚の画像中から抽出された特徴点の対応関係を求めることで得られる。また、A1とA2のカメラ位置は、標定において予め求められているとする。
(Creation of three-dimensional model)
In FIG. 5B, it is assumed that A1 and A2 are adjacent camera positions, and B3 is a common point between the image taken from camera position A1 and the image taken from camera position A2. Common points can be obtained by determining the correspondence between feature points extracted from two images. It is also assumed that the camera positions of A1 and A2 are determined in advance during orientation.
この場合、図7に示す前方交会法により、点B3の位置が算出される。ここで、図5(B)のカメラ位置A1が図7のO1、図5(B)のカメラ位置A2が図7のO2に対応する。この場合、カメラ位置O1(A1)と点Pの撮影画面中における画面座標位置p1を結ぶ方向線と、カメラ位置O2(A2)と点Pの撮影画面中における画面座標位置p2を結ぶ方向線を設定し、その交点Pの位置を点B3の位置として算出する。 In this case, the position of point B3 is calculated by the forward intersection method shown in FIG. Here, camera position A1 in FIG. 5(B) corresponds to O1 in FIG. 7, and camera position A2 in FIG. 5(B) corresponds to O2 in FIG. In this case, a direction line connecting the camera position O1 (A1) and the screen coordinate position p1 of the point P in the photographing screen, and a direction line connecting the camera position O2 (A2) and the screen coordinate position p2 of the point P in the photographing screen. The position of the intersection P is calculated as the position of point B3.
この段階で、カメラ位置O1(A1)とO2(A2)におけるカメラの位置と姿勢は既知であるので、上記の2つの方向線の交点の点P(B3)の座標が求められる。全ての撮影画像におけるカメラ位置とカメラの姿勢が判っていれば、上記の原理により、画像中から抽出された全ての特徴点の三次元座標位置を求めることができる。 At this stage, since the positions and orientations of the cameras at camera positions O1 (A1) and O2 (A2) are known, the coordinates of the point P (B3) at the intersection of the above two direction lines are determined. If the camera positions and camera orientations in all captured images are known, the three-dimensional coordinate positions of all feature points extracted from the images can be determined based on the above principle.
撮影画像中からは、対象となる作物の外観を特徴づける特徴点が抽出され、また異なるカメラ位置から得られた画像間における特徴点の対応関係の特定がテンプレートマッチング等を用いて行なわれる。これらの技術については、例えば特開2013-186816号公報や特開2018-197685号公報に記載されている。そして、抽出された全ての特徴点の位置が上記の原理を用いて算出される。こうして、撮影対象物(作物201~203)を、位置が求められた点の集まりとしてデータ化した点群データが得られる。
Feature points that characterize the appearance of the target crop are extracted from the photographed images, and the correspondence of feature points between images obtained from different camera positions is specified using template matching or the like. These techniques are described in, for example, Japanese Patent Application Publication No. 2013-186816 and Japanese Patent Application Publication No. 2018-197685. Then, the positions of all extracted feature points are calculated using the above principle. In this way, point cloud data is obtained in which the object to be photographed (
この点群データは、撮影対象物(作物201~203)を三次元空間中における点の集まりとして把握したデータとなる。この点群データを基に撮影対象物(作物201~203)の3次元モデルが作成される。点群データに基づく三次元モデルの作成については、例えば国際公開番号WO2012/070927号公報、特開2012-230594号公報、特開2014-35702号公報等に記載されている。
This point cloud data is data in which the object to be photographed (
例えば、毎日昼12時に作物201~203を撮影し、その三次元モデルを作成することで、1日ステップで三次元モデルを用いた作物201~203の成長過程の観察が可能となる。
For example, by photographing the
(特徴点を用いて標定を行う場合)
特徴点を用いて標定を行うこともできる。この場合、位置を特定した特徴点を標定点として用い、図6の後方交会法により、カメラの位置および姿勢を求める。この特徴点を利用する標定とコード化ターゲットを用いた標定とを組み合わせて、カメラの位置および姿勢を求める処理も可能である。
(When performing orientation using feature points)
Orientation can also be performed using feature points. In this case, the position and orientation of the camera are determined by the backward intersection method shown in FIG. 6, using the identified feature point as a control point. It is also possible to combine orientation using these feature points and orientation using coded targets to determine the position and orientation of the camera.
(テープ状ターゲット)
複数のコード化ターゲットおよびランダムドットターゲットの少なくとも一方を、柔軟性のあるテープ状(リボン状)の基材の上に設けたテープ状ターゲットも可能である。図8(A)には、テープ状ターゲット250が示されている。テープ状ターゲット250は、平たいテープ状(リボン状)の基材260、基材260に印刷されたコード化ターゲット251,253,255、ランダムドットターゲット252,254を有する。
(tape target)
A tape-like target in which at least one of a plurality of coded targets and random dot targets is provided on a flexible tape-like (ribbon-like) substrate is also possible. A tape-shaped
基材260は、薄く柔軟性のある平たい樹脂フィルムである。コード化ターゲットとランダムドットターゲットは、図1の場合と同じである。また、隣接するコード化ターゲットの中心間の間隔は、予め設定されてあり、既知とされている。ターゲットは、基材260の一方の面に設けてもよいし、両面に設けてもよい。コード化ターゲットとランダムドットターゲットの一方のみを設ける構造も可能である。
The
基材260の両端部分は剥離層が付いた粘着層を有する粘着部となっており、この粘着部を支持棒等に貼り付け固定することで、テープ状ターゲット250の設置が行なわれる。その他、基材の両端に孔を設け、紐や針金により固定する形態等も可能である。
Both end portions of the
図8(B)には、テープ状ターゲット270が示されている。テープ状ターゲット270は、柔軟性のあるテープ状(リボン状)の基材上にコード化ターゲットを隙間なく配置したものである。各コード化ターゲットのコード情報は、個別に設定され同じものがないようにされている。また、隣接するコード化ターゲットの中心間の距離は既知のデータとして予め決められている。テープ状ターゲット270において、コード化ターゲットとランダムドットターゲットを組み合わせて配置する構造も可能である。また、ランダムドットターゲットのみを配置する構造も可能である。
A tape-shaped
テープ状ターゲット250および270は、個別に識別可能な各コード化ターゲット間の距離が既知な情報として予め取得されている。そのため、標定処理においてスケールを得ることができる。テープ状ターゲット250および270は、任意の位置で切断し、所望の長さとして利用することが可能である。また、図9に示すように折り曲げて利用することもできる。
The tape-shaped
テープ状ターゲット270は、直線状に並んだコード化ターゲットがいくつ写っているかを数えること、あるいは検出されたコード番号から、長さ(展開長)を検出することができる。例えば、複数のコード化ターゲットが距離Lの等間隔で配置され、1,2,3,4,5,6・・と順にコード番号が付与されているとする。この場合、検出された1と5のコード間の距離は、4Lとなる。
The length (developed length) of the tape-shaped
(折り曲げて設置する形態)
ワイヤーターゲットを折り曲げて設置する形態も可能である。図9には、折り曲げて設置されたワイヤーターゲット350が示されている。ワイヤーターゲット350は、ワイヤー360、ワイヤー360に固定されたコード化ターゲット351,353,355、ランダムドットターゲット352,354を有する。
(Folded and installed form)
It is also possible to install the wire target by bending it. FIG. 9 shows a
ワイヤー360の両端には、図3の場合と同様なフックが設けられている。このフックにより、支持棒371と373の間でワイヤーターゲット350(ワイヤー360)が展張されている。ここで、ワイヤー360の途中の部分を支持棒372に引っかけて折り曲げることで、ワイヤーターゲット350は、約90°の角度で折り曲げて、配置されている。折り曲げる角度は、任意に設定可能である。なお、コード化ターゲットとランダムドットターゲットの一方のみを設ける構造も可能である。
Hooks similar to those in FIG. 3 are provided at both ends of the
折り曲げる回数は、2回以上であってもよい。この態様によれば、一つのワイヤーターゲット350を折り曲げて配置することで、計測対象となる作物370を囲むように配置することができる。また、一つのワイヤーターゲットを折り曲げて展張することで、交差する2軸以上の方向に展張することができる。三次元写真計測の方法は、図1の場合と同じである。
The number of times of bending may be two or more. According to this aspect, by bending and arranging one
(ターゲットの変形例)
コード化ターゲットおよび/またはランダムドットターゲットとして、光反射性のものを採用することもできる。例えば、これらターゲットの表示を光反射性のもので構成、特定の光を反射するもので構成、蛍光材で構成、蓄光材で構成することもできる。
(Target modification example)
A light reflective target can also be used as the coded target and/or the random dot target. For example, these target displays may be made of a light reflective material, a material that reflects a specific light, a fluorescent material, or a phosphorescent material.
(野外での利用)
本発明は、野外における作物の栽培、すなわち野外の圃場において適用することもできる。
(For outdoor use)
The present invention can also be applied to growing crops outdoors, that is, in outdoor fields.
(他のカメラの例)
地上走行型のカメラを用いる構成も可能である。この場合、1または複数のカメラを地上で走行可能な架台(支持台)に取り付けものを用意する。この架台は、農地上で走行が可能であり、例えば作物の列(例えば畝)に沿って移動させつつ、搭載したカメラによる作物の連続撮影が行われる。この構成において、アームを用いてカメラを支持(保持)することで、作物の上方等の任意の視点からの撮影も可能である。この方法は、野外での利用や図1のような移動式カメラの設備がない農業ハウスでの利用に好適である。また カメラを手で持った状態で移送しつつ、撮影を行う形態も可能である。
(Example of other cameras)
A configuration using a ground-based camera is also possible. In this case, one or more cameras are mounted on a stand (support stand) that can be moved on the ground. This frame is movable on the farmland, and the mounted camera continuously photographs the crops while moving it, for example, along the rows (for example, ridges) of the crops. In this configuration, by supporting (holding) the camera using the arm, it is possible to photograph from any arbitrary viewpoint, such as above the crops. This method is suitable for use outdoors or in agricultural greenhouses where there is no mobile camera equipment as shown in FIG. It is also possible to take pictures while transporting the camera while holding it in your hand.
図10には、地上走行型の撮影装置の一例が示されている。図10には、撮影装置530が示されている。撮影装置530は、本体531を有し、本体530には、車輪532,533が取り付けられている。車輪532,533がモータ等の駆動装置によって駆動され回転することで、撮影装置530は農地上を走行する。撮影装置530を走行させる方法や牽引等であってもよい。また、軌道上を走行する形態も可能である。 FIG. 10 shows an example of a ground traveling type photographing device. In FIG. 10, a photographing device 530 is shown. The photographing device 530 has a main body 531, and wheels 532 and 533 are attached to the main body 530. The photographing device 530 travels on farmland by driving and rotating the wheels 532 and 533 by a drive device such as a motor. A method of driving the photographing device 530, towing, etc. may also be used. A configuration in which the vehicle travels on a track is also possible.
本体531には、符号534で代表される複数のカメラが固定されている。また、本体531の上方には、アーム535が固定され、アーム535には、作物(例えば符号520)を上方から撮影するためのカメラ536が取り付けされている。
A plurality of cameras represented by reference numeral 534 are fixed to the main body 531. Further, an
撮影装置530は、農業ハウス内または野外の圃場において、作物510、520の間を走行する。作物510,520は、図の奥行き方向に沿って複数が植えられており、その列に沿って撮影装置530は移動する。この移動を行いつつ、搭載された複数のカメラにより、作物510,520の連続撮影が行われる。 The photographing device 530 travels between the crops 510 and 520 in an agricultural greenhouse or in an outdoor field. A plurality of crops 510 and 520 are planted along the depth direction of the figure, and the photographing device 530 moves along the rows. While performing this movement, the crops 510 and 520 are continuously photographed by a plurality of mounted cameras.
無人航空機(UAV、ドローン)を用いて空中から撮影する形態も可能である。
It is also possible to take pictures from the air using an unmanned aerial vehicle (UAV, drone).
Claims (10)
前記長手形状の部材の長手方向に沿って既知の間隔で配置され、個別に識別可能な複数のコード化ターゲットと
を備え、
前記コード化ターゲットは、板材の表裏に2次元コードが表示された構造を有する作物の三次元計測用ターゲット装置。 A flexible longitudinal member,
a plurality of individually identifiable coded targets arranged at known intervals along the length of the elongated member;
The coded target is a target device for three-dimensional measurement of crops, and has a structure in which two-dimensional codes are displayed on the front and back sides of a board .
前記長手形状の部材の長手方向に沿って既知の間隔で配置され、個別に識別可能な複数のコード化ターゲットと
を備え、
前記コード化ターゲットは、板材の表裏に2次元コードが表示された構造を有し、
前記長手形状の部材の少なくとも一端に前記長手形状の部材を相手部材に引っかけて固定するためのフックが設けられている作物の三次元計測用ターゲット装置。 a longitudinal member;
a plurality of individually identifiable coded targets arranged at known intervals along the length of the elongated member;
The coded target has a structure in which a two-dimensional code is displayed on the front and back of a plate material,
A target device for three-dimensional measurement of crops, wherein at least one end of the elongated member is provided with a hook for hooking and fixing the elongated member to a mating member.
前記複数のコード化ターゲットは、前記一対の長手形状の部材の間に保持されている請求項1~4のいずれか一項に記載の作物の三次元計測用ターゲット装置。 The elongated member has a pair arranged in parallel,
The target device for three-dimensional measurement of crops according to any one of claims 1 to 4, wherein the plurality of coded targets are held between the pair of longitudinal members.
計測対象物である作物が前記立体形状の内側に収まった状態で前記計測対象物に対する三次元写真計測が行なわれる作物の三次元写真計測方法。 A three-dimensional shape whose sides are the target device for three-dimensional measurement of crops according to any one of claims 1 to 5 is formed,
A method for measuring a three-dimensional photograph of a crop, in which three-dimensional photographic measurement of the object to be measured is performed while the crop, which is the object to be measured, is placed inside the three-dimensional shape.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020037657A JP7409647B2 (en) | 2020-03-05 | 2020-03-05 | Target device for three-dimensional measurement of crops and three-dimensional photographic measurement method of crops |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020037657A JP7409647B2 (en) | 2020-03-05 | 2020-03-05 | Target device for three-dimensional measurement of crops and three-dimensional photographic measurement method of crops |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021139749A JP2021139749A (en) | 2021-09-16 |
| JP7409647B2 true JP7409647B2 (en) | 2024-01-09 |
Family
ID=77668287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020037657A Active JP7409647B2 (en) | 2020-03-05 | 2020-03-05 | Target device for three-dimensional measurement of crops and three-dimensional photographic measurement method of crops |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7409647B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7743056B2 (en) * | 2021-11-25 | 2025-09-24 | 国立研究開発法人農業・食品産業技術総合研究機構 | Information processing device, information processing method, and program |
| JP7762417B2 (en) * | 2021-12-24 | 2025-10-30 | 国立研究開発法人農業・食品産業技術総合研究機構 | Agricultural product information processing device, agricultural product information processing method, and agricultural product information processing program |
| JP7821466B2 (en) * | 2022-01-17 | 2026-02-27 | 国立研究開発法人農業・食品産業技術総合研究機構 | Measurement system and measurement method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150097937A1 (en) | 2013-10-08 | 2015-04-09 | Ali Kord | Single-camera motion capture system |
| JP2015161682A (en) | 2014-02-25 | 2015-09-07 | ザ・ボーイング・カンパニーTheBoeing Company | Method and apparatus for removably attaching photogrammetric targets to surface |
| JP2018179975A (en) | 2017-04-14 | 2018-11-15 | 一般財団法人電力中央研究所 | Measuring method of three-dimensional shape |
| JP2018189618A (en) | 2017-05-12 | 2018-11-29 | 東京貿易テクノシステム株式会社 | Thickness measuring device and thickness measuring program |
| JP2018197685A (en) | 2017-05-23 | 2018-12-13 | 公益財団法人かずさDna研究所 | 3D measuring device |
-
2020
- 2020-03-05 JP JP2020037657A patent/JP7409647B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150097937A1 (en) | 2013-10-08 | 2015-04-09 | Ali Kord | Single-camera motion capture system |
| JP2015161682A (en) | 2014-02-25 | 2015-09-07 | ザ・ボーイング・カンパニーTheBoeing Company | Method and apparatus for removably attaching photogrammetric targets to surface |
| JP2018179975A (en) | 2017-04-14 | 2018-11-15 | 一般財団法人電力中央研究所 | Measuring method of three-dimensional shape |
| JP2018189618A (en) | 2017-05-12 | 2018-11-29 | 東京貿易テクノシステム株式会社 | Thickness measuring device and thickness measuring program |
| JP2018197685A (en) | 2017-05-23 | 2018-12-13 | 公益財団法人かずさDna研究所 | 3D measuring device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021139749A (en) | 2021-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7409647B2 (en) | Target device for three-dimensional measurement of crops and three-dimensional photographic measurement method of crops | |
| BR102012018886A2 (en) | Plant growth kinetics captured by motion tracking | |
| ES2922250T3 (en) | agricultural sprayer | |
| An et al. | Quantifying time-series of leaf morphology using 2D and 3D photogrammetry methods for high-throughput plant phenotyping | |
| US7342669B2 (en) | Three-dimensional shape measuring method and its device | |
| CN109785381B (en) | Optical inertia fusion space positioning method and positioning system | |
| CN106204443A (en) | A kind of panorama UAS based on the multiplexing of many mesh | |
| US10621433B1 (en) | Multiscopic whitetail scoring game camera systems and methods | |
| CN109816680A (en) | A high-throughput calculation method for crop plant height | |
| JP7395189B2 (en) | Motion capture camera system and calibration method | |
| RU2498378C1 (en) | Method of obtaining image of earth's surface from moving vehicle and apparatus for realising said method | |
| CN112257536B (en) | Space and object three-dimensional information acquisition and matching equipment and method | |
| CN111288891B (en) | Non-contact three-dimensional measurement positioning system, method and storage medium | |
| Giuliano | Cultural Heritage: An example of graphical documentation with automated photogrammetric systems | |
| CN101999139A (en) | Method for creating and/or updating textures of background object models, video monitoring system for carrying out the method, and computer program | |
| US20180082440A1 (en) | Apparatus and method of generating three-dimensional data, and monitoring system including three-dimensional data generation apparatus | |
| CN104976968A (en) | Three-dimensional geometrical measurement method and three-dimensional geometrical measurement system based on LED tag tracking | |
| JP4178469B2 (en) | How to configure aerial photo image data set | |
| CN109035286A (en) | Plant three dimensional point cloud high throughput acquisition methods and device | |
| KR20230038941A (en) | Crop monitering apparatus | |
| CN116710975A (en) | Method of providing navigation data to control a robot, method of controlling a robot, method and apparatus for producing at least one predefined point-symmetrical area | |
| James et al. | A scalable and efficient UAV-based pipeline and deep learning framework for phenotyping sorghum panicle morphology from point clouds | |
| CN113077509A (en) | Space mapping calibration method and space mapping system based on synchronous positioning and mapping | |
| JP7800882B2 (en) | Camera orientation method using agricultural sheets | |
| US20220383042A1 (en) | Generating labeled synthetic training data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7409647 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |