JP4816464B2 - Lens calibration method, lens calibration device, imaging device calibration method, and calibration device - Google Patents
Lens calibration method, lens calibration device, imaging device calibration method, and calibration device Download PDFInfo
- Publication number
- JP4816464B2 JP4816464B2 JP2007008212A JP2007008212A JP4816464B2 JP 4816464 B2 JP4816464 B2 JP 4816464B2 JP 2007008212 A JP2007008212 A JP 2007008212A JP 2007008212 A JP2007008212 A JP 2007008212A JP 4816464 B2 JP4816464 B2 JP 4816464B2
- Authority
- JP
- Japan
- Prior art keywords
- lens
- calibration
- images
- imaging
- calibration pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、キャリブレーション用パターンを用いたレンズのキャリブレーション方法、レンズのキャリブレーション装置、撮像装置のキャリブレーション方法およびキャリブレーション装置に関する。 The present invention relates to a lens calibration method using a calibration pattern, a lens calibration device, an imaging device calibration method, and a calibration device.
画像処理の技術において、レンズを介して如何なる画像が得られるかを定量的に把握することは最も基礎的な事項である。そこで、レンズを介した所定のパターン(キャリブレーション用パターン)を撮像して画像を生成し、この画像に基づいて、各種条件などを設定するいわゆるキャリブレーションが行われている(例えば、特許文献1参照)。
しかし、等距離射影光学系や中心窩光学系のように、光軸に近い部分の倍率がその周囲の倍率に比べて高いレンズ、またはそのようなレンズを備えた撮影装置におけるキャリブレーションでは、レンズの視野角が大きいために、キャリブレーションが困難な場合がある。
視野角の大きいレンズのキャリブレーションにおいて、視野全体をカバーするためには、レンズとキャリブレーション用パターンとを極度に近づけるか、または、視野全体をカバー可能な大きさのキャリブレーション用パターンを用意する必要がある。レンズとキャリブレーション用パターンとを近づける場合、精度上の問題、キャリブレーション用パターンにレンズ自体の像が写り込む問題、キャリブレーション用パターンを均一に照明するのが困難である問題などが発生する。また、視野全体をカバー可能な大きさのキャリブレーション用パターンを用意する場合には、設置場所が大きくなる問題、大型化に伴うキャリブレーション用パターン自体の歪みの問題などが発生する。
However, in the calibration of a lens whose magnification near the optical axis is higher than the magnification around it, such as an equidistant projection optical system or a foveal optical system, or a calibration in a photographing apparatus equipped with such a lens, Because of the large viewing angle, calibration may be difficult.
In order to cover the entire field of view when calibrating a lens with a large viewing angle, the lens and the calibration pattern are made extremely close to each other, or a calibration pattern with a size that can cover the entire field of view is prepared. There is a need. When the lens and the calibration pattern are brought close to each other, problems such as accuracy, a problem that an image of the lens itself is reflected in the calibration pattern, and a problem that it is difficult to uniformly illuminate the calibration pattern occur. In addition, when preparing a calibration pattern having a size that can cover the entire field of view, there are problems such as a large installation location and distortion of the calibration pattern itself accompanying an increase in size.
さらに、視野角が非常に大きい魚眼レンズなどのキャリブレーションにおいては、平面状のキャリブレーション用パターンでは、視野全体をカバーすることができない。そこで、ドーム形状のキャリブレーション用パターンを用いることが考えられるが、作成が困難であり、精度上の問題もある。
なお、上述した諸問題は、視野角の大きいレンズを備えた撮像装置におけるキャリブレーションにおいても同様に発生する。
Furthermore, in the calibration of a fisheye lens or the like having a very large viewing angle, the entire field of view cannot be covered with a flat calibration pattern. Therefore, it is conceivable to use a dome-shaped calibration pattern, but it is difficult to create and has a problem in accuracy.
Note that the above-described problems also occur in calibration in an imaging apparatus having a lens with a large viewing angle.
本発明は、等距離射影光学系、中心窩光学系のように視野角が大きいレンズ、またはそのようなレンズを備えた撮影装置に対して、効率良くキャリブレーションを行うことを目的とする。 An object of the present invention is to efficiently calibrate a lens having a large viewing angle, such as an equidistant projection optical system and a foveal optical system, or a photographing apparatus including such a lens.
本発明のレンズのキャリブレーション方法は、キャリブレーション用パターンを用いたレンズのキャリブレーション方法であって、前記レンズの視野角に応じて、前記レンズと前記キャリブレーション用パターンとの相対的な位置関係を変更しつつ、前記レンズを介した前記キャリブレーション用パターンの投影像を複数回撮像して複数の画像を生成する撮像工程と、前記複数の画像に基づいて前記レンズのキャリブレーションに必要な情報を取得する取得工程とを備え、前記撮像工程において、前記キャリブレーション用パターンは、前記レンズの光軸と垂直である面に対して所定の角度を有して配置される。 The lens calibration method of the present invention is a lens calibration method using a calibration pattern, and the relative positional relationship between the lens and the calibration pattern according to the viewing angle of the lens. Information necessary for calibration of the lens based on the plurality of images, and an imaging step of capturing the projection image of the calibration pattern through the lens a plurality of times to generate a plurality of images Bei example and an acquisition step of acquiring, in the imaging step, the calibration pattern is arranged at a predetermined angle with respect to the optical axis and is perpendicular the plane of the lens.
なお、好ましくは、前記撮像工程では、前記レンズの光軸を回転軸として、前記レンズと前記キャリブレーション用パターンとを相対的に回転させつつ前記複数の画像を生成しても良い。
また、好ましくは、前記撮像工程では、前記レンズの光軸と直交する垂線を対称軸として、線対称である少なくとも2枚の画像を生成しても良い。
Preferably, in the imaging step, the plurality of images may be generated while relatively rotating the lens and the calibration pattern with the optical axis of the lens as a rotation axis.
Preferably, in the imaging step, at least two images having line symmetry may be generated with a perpendicular perpendicular to the optical axis of the lens as an axis of symmetry.
また、好ましくは、前記撮像工程により生成した前記複数の画像は、隣接する画像との間に重なり部分を有し、前記複数の画像により、前記レンズの視野全体を覆うことが可能であっても良い。 Preferably, the plurality of images generated by the imaging step have an overlapping portion between adjacent images, and the plurality of images can cover the entire field of view of the lens. Good .
本発明のレンズのキャリブレーション装置は、前記レンズと前記キャリブレーション用パターンとの相対的な位置関係を変更する変更部と、前記レンズを介した前記キャリブレーション用パターンの投影像を撮像して画像を生成する撮像部と、前記レンズの視野角に応じて、前記変更部を制御し、前記レンズと前記キャリブレーション用パターンとの相対的な位置関係を変更させつつ、前記撮像部を制御して前記キャリブレーション用パターンの投影像を複数回撮像し、複数の画像を生成させる制御部と、前記複数の画像に基づいて前記レンズのキャリブレーションに必要な情報を取得する取得部とを備え、前記キャリブレーション用パターンは、前記レンズの光軸と垂直である面に対して所定の角度を有して配置される。 The lens calibration apparatus according to the present invention includes a changing unit that changes a relative positional relationship between the lens and the calibration pattern, and an image obtained by capturing a projection image of the calibration pattern via the lens. And the imaging unit that controls the imaging unit while changing the relative positional relationship between the lens and the calibration pattern according to the viewing angle of the lens. wherein the projection image of the calibration pattern is captured a plurality of times, e Bei a control unit for generating a plurality of images, and an acquisition unit for acquiring information necessary for the calibration of the lens based on the plurality of images, The calibration pattern is arranged with a predetermined angle with respect to a plane perpendicular to the optical axis of the lens .
なお、好ましくは、前記変更部は、前記レンズの光軸を回転軸として、前記レンズと前記キャリブレーション用パターンとを相対的に回転しても良い。
また、好ましくは、前記変更部は、前記レンズの光軸と直交する垂線を対称軸として、線対称である少なくとも2種類の前記位置関係に前記レンズと前記キャリブレーション用パターンとの相対的な位置関係を変更しても良い。
Preferably, the changing unit may relatively rotate the lens and the calibration pattern with the optical axis of the lens as a rotation axis.
Preferably, the changing unit has a relative position between the lens and the calibration pattern in at least two kinds of positional relationships that are line-symmetric with respect to a perpendicular line that is orthogonal to the optical axis of the lens. You may change the relationship.
また、好ましくは、前記撮像部により生成した前記複数の画像は、隣接する画像との間に重なり部分を有し、前記複数の画像により、前記レンズの視野全体を覆うことが可能であっても良い。 Preferably, the plurality of images generated by the imaging unit have an overlapping portion between adjacent images, and the plurality of images can cover the entire field of view of the lens. Good .
なお、上記発明に関する構成を、レンズと撮像素子とを備える撮像装置のキャリブレーション方法およびキャリブレーション装置に置き換えて表現したものも本発明の具体的態様として有効である。 It is also effective as a specific aspect of the present invention to express the configuration related to the above invention by replacing it with a calibration method and a calibration device for an imaging apparatus including a lens and an imaging device.
本発明によれば、等距離射影光学系、中心窩光学系のように視野角が大きいレンズ、またはそのようなレンズを備えた撮影装置に対して、効率良くキャリブレーションを行うことができる。 According to the present invention, it is possible to efficiently calibrate a lens having a large viewing angle such as an equidistant projection optical system and a foveal optical system, or a photographing apparatus including such a lens.
以下、図面を用いて本発明の実施形態について説明する。以下の各実施形態では、キャリブレーション用パターンを用いたキャリブレーション方法およびキャリブレーション装置について説明する。なお、キャリブレーション用パターンの詳細については、どのようなものであっても良い。キャリブレーション用パターンとは、例えば、公知の直角に交わる線で構成される格子パターンや直角四角形で構成される市松模様等である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following embodiments, a calibration method and a calibration apparatus using a calibration pattern will be described. The details of the calibration pattern may be anything. The calibration pattern is, for example, a known lattice pattern composed of lines intersecting at right angles or a checkered pattern composed of right-angled squares.
また、キャリブレーション用パターンは、紙面上やボードなどの板上に印刷されたものでも良いし、プロジェクタなどにより投影されたものでも良いし、ディスプレイなどに表示されたものでも良い。以下の各実施形態では、これらを総称して、単に「キャリブレーション用パターン」と称する。
<第1実施形態>
第1実施形態では、180度の視野角を持つ等距離射影光学系レンズ(いわゆる魚眼レンズ)のキャリブレーション方法について説明する。図1にこのレンズを介して取得した画像の例を示す。図1における斜線部分は、画像情報が存在しない部分である。
The calibration pattern may be printed on a paper sheet or a board such as a board, may be projected by a projector, or may be displayed on a display or the like. In the following embodiments, these are collectively referred to simply as “calibration patterns”.
<First Embodiment>
In the first embodiment, a calibration method for an equidistant projection optical system lens (so-called fisheye lens) having a viewing angle of 180 degrees will be described. FIG. 1 shows an example of an image acquired through this lens. The hatched portion in FIG. 1 is a portion where no image information exists.
図2は、レンズのキャリブレーションの流れを示すフローチャートである。
ステップS1において、レンズとキャリブレーション用パターンとを所定の位置に配置する。第1実施形態では、光軸に対応する部分Aを中心として、90度ずつ回転させた4枚の画像を取得可能な4つの位置関係が予め定められている。幾つの位置関係をどのように配置するかは、キャリブレーションの対象であるレンズの設計値(視野角を含む)に応じて、適宜決定すれば良い。少なくとも2つの位置関係において2枚の画像を生成することにより、キャリブレーションに好適な画像を生成することができる。
FIG. 2 is a flowchart showing the flow of lens calibration.
In step S1, the lens and the calibration pattern are arranged at predetermined positions. In the first embodiment, four positional relationships that can acquire four images rotated by 90 degrees around the portion A corresponding to the optical axis are determined in advance. How many positional relationships are arranged may be appropriately determined according to the design value (including the viewing angle) of the lens to be calibrated. By generating two images in at least two positional relationships, an image suitable for calibration can be generated.
ステップS1において、第1の位置関係として、図3Aの領域F1に対応する画像を取得可能な位置関係に、レンズとキャリブレーション用パターンとを配置する。領域F1の画像とは、図3Aに示すように、X,Y方向にそれぞれ(90+α)度の視野角を含む画像である。
ステップS2において、撮像素子により画像を生成する。この結果、図3Aの領域F1の画像が生成されることになる。
In step S1, the lens and the calibration pattern are arranged in a positional relationship where an image corresponding to the region F1 in FIG. 3A can be acquired as the first positional relationship. The image in the region F1 is an image including a viewing angle of (90 + α) degrees in the X and Y directions, as shown in FIG. 3A.
In step S2, an image is generated by the image sensor. As a result, an image of the area F1 in FIG. 3A is generated.
ステップS3において、生成した画像によりレンズの視野全体をカバーしたか否かを判定する。そして、生成した画像によりレンズの視野全体をカバーしたと判定するとステップS4に進む。
一方、生成した画像によりレンズの視野全体をカバーしていないと判定すると、ステップS1に戻り、次の位置関係にレンズとキャリブレーション用パターンとを配置する。すなわち、前回図3Aに示す位置関係にレンズとキャリブレーション用パターンとを配置した場合には、図3Bの領域F2に対応する画像を取得可能な位置関係に、レンズとキャリブレーション用パターンとを配置する。そして、ステップS3において(2回目)、図3Bの領域F2の画像を生成する。同様に、ステップS2において(3回目)、図4Aの領域F3に対応する画像を取得可能な位置関係に、レンズとキャリブレーション用パターンとを配置して、ステップS3において(3回目)、図4Aの領域F3の画像を生成する。さらに、ステップS2において(4回目)、図4Bの領域F4に対応する画像を取得可能な位置関係に、レンズとキャリブレーション用パターンとを配置して、ステップS3において(4回目)、図4Bの領域F4の画像を生成する。
In step S3, it is determined whether or not the generated image covers the entire field of view of the lens. If it is determined that the entire field of view of the lens is covered by the generated image, the process proceeds to step S4.
On the other hand, if it is determined that the entire field of view of the lens is not covered by the generated image, the process returns to step S1, and the lens and the calibration pattern are arranged in the next positional relationship. That is, when the lens and the calibration pattern are arranged in the positional relationship shown in FIG. 3A last time, the lens and the calibration pattern are arranged in the positional relationship capable of acquiring an image corresponding to the region F2 in FIG. 3B. To do. In step S3 (second time), an image of the region F2 in FIG. 3B is generated. Similarly, in step S2 (third time), the lens and the calibration pattern are arranged in a positional relationship where an image corresponding to the region F3 in FIG. 4A can be acquired. In step S3 (third time), FIG. An image of the area F3 is generated. Further, in step S2 (fourth time), the lens and the calibration pattern are arranged in a positional relationship where an image corresponding to the region F4 in FIG. 4B can be acquired, and in step S3 (fourth time), in FIG. An image of the region F4 is generated.
以上説明した4回の撮像により生成された4枚の画像を重ねると、図5に示すように、レンズの視野全体をカバーすることができる。さらに、図5の斜線部分は重なり部分であり、4枚の画像により完全にレンズの視野全体をカバーすることができる。
ステップS4において、生成した4枚の画像に基づいて、レンズのキャリブレーションを行う。なお、キャリブレーションの具体的な方法は公知技術と同様であるため説明を省略する。
When the four images generated by the four imaging operations described above are overlapped, the entire field of view of the lens can be covered as shown in FIG. Furthermore, the hatched portion in FIG. 5 is an overlapping portion, and the entire field of view of the lens can be completely covered by four images.
In step S4, lens calibration is performed based on the generated four images. Note that the specific method of calibration is the same as that of the known technique, and therefore description thereof is omitted.
以上説明したように、第1実施形態によれば、レンズの視野角に応じて、レンズとキャリブレーション用パターンとの相対的な位置関係を変更しつつ、レンズを介したキャリブレーション用パターンの投影像を複数回撮像して複数の画像を生成する。そして、複数の画像に基づいてレンズのキャリブレーションに必要な情報を取得する。したがって、等距離射影光学系、中心窩光学系のように視野角が大きいレンズであっても、効率良くキャリブレーションを行うことができる。 As described above, according to the first embodiment, the calibration pattern is projected through the lens while changing the relative positional relationship between the lens and the calibration pattern according to the viewing angle of the lens. An image is captured a plurality of times to generate a plurality of images. Information necessary for lens calibration is acquired based on a plurality of images. Therefore, even a lens having a large viewing angle such as an equidistant projection optical system and a foveal optical system can be calibrated efficiently.
また、第1実施形態によれば、レンズの光軸を回転軸として、レンズとキャリブレーション用パターンとを相対的に回転させつつ複数の画像を生成する。したがって、レンズとキャリブレーション用パターンとを極度に近づけたり、視野全体をカバー可能な大きさのキャリブレーション用パターンを用意することなくレンズのキャリブレーションを行うことができる。特に、レンズとキャリブレーション用パターンとを極度に近づけると、実際のレンズ使用時と大きく異なる条件(レンズと撮像対象の距離など)でキャリブレーションを行うことになってしまうが、本実施形態によれば、実際のレンズ使用時と近い条件でキャリブレーションを行うことができる。 Further, according to the first embodiment, a plurality of images are generated while relatively rotating the lens and the calibration pattern with the optical axis of the lens as the rotation axis. Therefore, the lens can be calibrated without bringing the lens and the calibration pattern extremely close to each other or preparing a calibration pattern having a size that can cover the entire field of view. In particular, if the lens and the calibration pattern are extremely close to each other, the calibration will be performed under conditions (such as the distance between the lens and the imaging target) that are significantly different from those when the lens is actually used. For example, calibration can be performed under conditions close to those when an actual lens is used.
また、第1実施形態によれば、生成した複数の画像は、隣接する画像との間に重なり部分を有し、複数の画像により、レンズの視野全体を覆うことが可能である。したがって、複数の画像を用いても、レンズの視野全体に対応するキャリブレーションを行うことができる。
なお、第1実施形態において、図3および図4に示した領域F1からF4に加えて、図6に示す領域F5の画像を取得する構成としても良い。領域F5は、図6に示すように、レンズの光軸に対応する部分Aを中心とした領域である。レンズにおいて、この部分は非常に重要であるため、この部分の画像を重複して取得し、キャリブレーションに用いることで、より精度を向上させることが期待できる。
Further, according to the first embodiment, the plurality of generated images have an overlapping portion between adjacent images, and the entire field of view of the lens can be covered with the plurality of images. Therefore, even when a plurality of images are used, calibration corresponding to the entire field of view of the lens can be performed.
In addition, in 1st Embodiment, it is good also as a structure which acquires the image of the area | region F5 shown in FIG. 6 in addition to the area | regions F1 to F4 shown in FIG. 3 and FIG. As shown in FIG. 6, the region F5 is a region centered on the portion A corresponding to the optical axis of the lens. Since this portion is very important in the lens, it can be expected to improve the accuracy by acquiring the image of this portion in duplicate and using it for calibration.
また、同じ領域の画像を複数回撮像して複数枚の画像を生成することにより、キャリブレーションに用いる情報を増やし、精度を向上させることができる。
また、第1実施形態では、180度の視野角を有するレンズを例に挙げて説明したが、180度以外の視野角を有するレンズにも本発明を同様に適用することができる。何れの場合も、キャリブレーションの対象であるレンズの視野角に応じて、何枚の画像を生成してどのように視野をカバーするかを考慮して画像を生成すれば良い。
Further, by capturing a plurality of images of the same region and generating a plurality of images, information used for calibration can be increased and accuracy can be improved.
In the first embodiment, a lens having a viewing angle of 180 degrees has been described as an example. However, the present invention can be similarly applied to a lens having a viewing angle other than 180 degrees. In any case, the image may be generated in consideration of how many images are generated and how the field of view is covered according to the viewing angle of the lens to be calibrated.
<第2実施形態>
第2実施形態では、レンズのキャリブレーション装置について説明する。また、第2実施形態では、X方向に120度の視野を有し、Y方向に80度の視野を有するレンズを例に挙げて説明する。図7に、このレンズを介して取得した画像の例を示す。
図8は、第2実施形態のキャリブレーション装置10の構成を示す図である。キャリブレーション装置10は、図8に示すように、キャリブレーションの対象となるレンズOを設置するためのステージ11、投影面に配置される撮像素子12、キャリブレーション用パターン13、キャリブレーション用パターン13を駆動するパターン駆動部14、撮像素子12およびパターン駆動部14を制御する制御部15の各部を備える。
Second Embodiment
In the second embodiment, a lens calibration device will be described. In the second embodiment, a lens having a field of view of 120 degrees in the X direction and a field of view of 80 degrees in the Y direction will be described as an example. FIG. 7 shows an example of an image acquired through this lens.
FIG. 8 is a diagram illustrating a configuration of the calibration apparatus 10 according to the second embodiment. As shown in FIG. 8, the calibration apparatus 10 includes a
キャリブレーション用パターン13は、パターン駆動部14により、レンズOの光軸Aを中心として回転可能(矢印D)である。すなわち、レンズOとキャリブレーション用パターン13とは相対的に回転可能である。
また、撮像素子12は、CCDなどであり、レンズOを介したキャリブレーション用パターン13の像を撮像して画像を生成する。また、キャリブレーション用パターン13は、図8に示すように、レンズOの光軸Aと垂直である面Bに対して角度δを有して配置される。
The calibration pattern 13 can be rotated around the optical axis A of the lens O (arrow D) by the
The
キャリブレーション用パターン13を面Bと平行に配置する場合、視野全体をカバーするためには、図9の13Aに示すようにレンズOとキャリブレーション用パターン13Aとを極度に近づけるか、または、視野全体をカバー可能な大きさのキャリブレーション用パターン13Bを用意する必要がある。13Aに示すようにレンズOとキャリブレーション用パターン13Aとを極度に近づける場合には、精度上の問題、キャリブレーション用パターンにレンズ自体の像が写り込む問題、キャリブレーション用パターンを均一に照明するのが困難である問題などが発生する。また、視野全体をカバー可能な大きさのキャリブレーション用パターン13Bを用意する場合には、設置場所が大きくなる問題、大型化に伴うキャリブレーション用パターン自体の歪みの問題などが発生する。そこで、本実施形態では、図8に示すように、レンズOの光軸Aと垂直である面Bに対して角度δを有してキャリブレーション用パターン13を配置する。このように配置することにより、上述した諸問題を解決することができる。 When the calibration pattern 13 is arranged parallel to the surface B, in order to cover the entire field of view, the lens O and the calibration pattern 13A are extremely close to each other as shown in 13A of FIG. It is necessary to prepare a calibration pattern 13B having a size that can cover the whole. When the lens O and the calibration pattern 13A are extremely close to each other as shown in 13A, there is a problem of accuracy, a problem that an image of the lens itself appears in the calibration pattern, and the calibration pattern is uniformly illuminated. Problems that are difficult to occur. In addition, when the calibration pattern 13B having a size that can cover the entire field of view is prepared, there are problems such as a large installation location and distortion of the calibration pattern itself accompanying an increase in size. Therefore, in the present embodiment, as shown in FIG. 8, the calibration pattern 13 is arranged with an angle δ with respect to the surface B perpendicular to the optical axis A of the lens O. By arranging in this way, the above-mentioned problems can be solved.
以上説明した構成のキャリブレーション装置10において、制御部15は、第1実施形態と同様に、レンズOのキャリブレーションを行う(図2参照)。
ステップS1において、制御部15は、レンズOとキャリブレーション用パターン13とを所定の位置に配置する。第2実施形態では、光軸Aと直交する垂線を対称軸として、線対称な2枚の画像を取得可能な2つの位置関係が予め定められている。幾つの位置関係をどのように配置するかは、キャリブレーションの対象であるレンズの設計値(視野角を含む)に応じて、適宜決定すれば良い。少なくとも2つの位置関係において2枚の画像を生成することにより、キャリブレーションに好適な画像を生成することができる。
In the calibration apparatus 10 having the configuration described above, the
In step S1, the
ステップS1において、制御部15は、第1の位置関係として、図10Aの領域F6に対応する画像を取得可能な位置関係になるように、パターン駆動部14を制御してキャリブレーション用パターン13を配置する。領域F6の画像とは、図10Aに示すように、X方向に(60+β)度の視野角を含み、Y方向に(80+γ)度の視野角を含む画像である。
In step S1, the
ステップS2において、制御部15は、撮像素子12により画像を生成する。この結果、図10Aの領域F6の画像が生成されることになる。
ステップS3において、制御部15は、生成した画像によりレンズの視野全体をカバーしたか否かを判定する。そして、生成した画像によりレンズの視野全体をカバーしたと判定するとステップS4に進む。
In step S <b> 2, the
In step S3, the
一方、生成した画像によりレンズの視野全体をカバーしていないと判定すると、制御部15は、ステップS1に戻り、次の位置関係にレンズとキャリブレーション用パターンとを配置する。すなわち、前回図10Aに示す位置関係にキャリブレーション用パターン13を配置した場合には、図10Bの領域F7に対応する画像を取得可能な位置関係に、キャリブレーション用パターン13を配置する。そして、ステップS3において(2回目)、図10Bの領域F7の画像を生成する。
On the other hand, if it is determined that the generated image does not cover the entire field of view of the lens, the
以上説明した2回の撮像により生成された2枚の画像を重ねると、図11に示すように、レンズの視野全体をカバーすることができる。さらに、図11の斜線部分は重なり部分であり、2枚の画像により完全にレンズOの視野全体をカバーすることができる。
ステップS4において、制御部15は、生成した2枚の画像に基づいて、レンズOのキャリブレーションを行う。なお、キャリブレーションの具体的な方法は公知技術と同様であるため説明を省略する。
When the two images generated by the two imaging operations described above are overlapped, the entire field of view of the lens can be covered as shown in FIG. Furthermore, the hatched portion in FIG. 11 is an overlapping portion, and the entire field of view of the lens O can be completely covered by two images.
In step S4, the
以上説明したように、第2実施形態によれば、レンズとキャリブレーション用パターンとの相対的な位置関係を変更する変更部と、レンズを介したキャリブレーション用パターンの投影像を撮像して画像を生成する撮像部とを備え、レンズの視野角に応じて、変更部を制御し、レンズとキャリブレーション用パターンとの相対的な位置関係を変更させつつ、撮像部を制御してキャリブレーション用パターンの投影像を複数回撮像し、複数の画像を生成させる。そして、複数の画像に基づいてレンズのキャリブレーションに必要な情報を取得する。また、第2実施形態によれば、生成した複数の画像は、隣接する画像との間に重なり部分を有し、複数の画像により、レンズの視野全体を覆うことが可能である。したがって、第1実施形態と同様の効果を得ることができる。 As described above, according to the second embodiment, the change unit that changes the relative positional relationship between the lens and the calibration pattern, and the image obtained by capturing the projection image of the calibration pattern via the lens. And an imaging unit that controls the imaging unit while controlling the changing unit according to the viewing angle of the lens and changing the relative positional relationship between the lens and the calibration pattern. A projected image of the pattern is captured a plurality of times to generate a plurality of images. Information necessary for lens calibration is acquired based on a plurality of images. Further, according to the second embodiment, the plurality of generated images have an overlapping portion between adjacent images, and the entire field of view of the lens can be covered with the plurality of images. Therefore, the same effect as that of the first embodiment can be obtained.
また、第2実施形態によれば、変更部は、レンズの光軸と直交する垂線を対称軸として、線対称である少なくとも2種類の位置関係にレンズとキャリブレーション用パターンとの相対的な位置関係を変更する。したがって、レンズとキャリブレーション用パターンとを極度に近づけたり、視野全体をカバー可能な大きさのキャリブレーション用パターンを用意することなくレンズのキャリブレーションを行うことができる。 Further, according to the second embodiment, the changing unit has a relative position between the lens and the calibration pattern in at least two kinds of positional relationships that are line-symmetric with respect to a perpendicular line that is orthogonal to the optical axis of the lens. Change the relationship. Therefore, the lens can be calibrated without bringing the lens and the calibration pattern extremely close to each other or preparing a calibration pattern having a size that can cover the entire field of view.
また、第2実施形態によれば、キャリブレーション用パターンは、レンズの光軸と垂直である面に対して所定の角度を有して配置される。したがって、レンズとキャリブレーション用パターンとを極度に近づけたり、視野全体をカバー可能な大きさのキャリブレーション用パターンを用意することなくレンズのキャリブレーションを行うことができる。
なお、第2実施形態では、レンズの光軸と直交する垂線を対称軸として、線対称である少なくとも2種類の位置関係にレンズとキャリブレーション用パターンとの相対的な位置関係を変更する例を示したが、第1実施形態で説明したように、レンズの光軸を回転軸として、レンズとキャリブレーション用パターンとを相対的に回転しても良い。
In addition, according to the second embodiment, the calibration pattern is arranged with a predetermined angle with respect to a plane perpendicular to the optical axis of the lens. Therefore, the lens can be calibrated without bringing the lens and the calibration pattern extremely close to each other or preparing a calibration pattern having a size that can cover the entire field of view.
In the second embodiment, an example in which the relative positional relationship between the lens and the calibration pattern is changed to at least two types of positional relationships that are axisymmetric with respect to a perpendicular line that is orthogonal to the optical axis of the lens. As shown in the first embodiment, the lens and the calibration pattern may be relatively rotated with the optical axis of the lens as the rotation axis.
逆に、第1実施形態において、レンズの光軸を回転軸として、レンズとキャリブレーション用パターンとを相対的に回転する代わりにレンズの光軸と直交する垂線を対称軸として、線対称である少なくとも2枚の画像を生成しても良い。
また、第1実施形態において、第2実施形態で説明したように、キャリブレーション用パターンを、レンズの光軸と垂直である面に対して所定の角度を有して配置しても良い。
On the other hand, in the first embodiment, the optical axis of the lens is a rotational axis, and instead of rotating the lens and the calibration pattern relatively, a perpendicular line perpendicular to the optical axis of the lens is axisymmetrical, and the line is symmetrical. At least two images may be generated.
In the first embodiment, as described in the second embodiment, the calibration pattern may be arranged with a predetermined angle with respect to a plane perpendicular to the optical axis of the lens.
<第3実施形態>
第3実施形態では、撮像装置のキャリブレーション装置について説明する。この撮像装置は、第1実施形態と同様の魚眼レンズを備える(図1参照)。
図12は、第3実施形態のキャリブレーション装置20の構成を示す図である。キャリブレーション装置20は、図12に示すように、キャリブレーションの対象となる撮像装置21を設置するためのステージ23、キャリブレーション用パターン24、ステージ23を駆動するステージ駆動部25、撮像装置21およびステージ駆動部25を制御する制御部26の各部を備える。撮像装置21は、図12に示すように、レンズPと、投影面に配置される撮像素子22とを備える。撮像素子22は、CCDなどであり、制御部26による制御にしたがって、レンズPを介したキャリブレーション用パターン24の像を撮像して画像を生成する。
<Third Embodiment>
In the third embodiment, a calibration apparatus for an imaging apparatus will be described. This imaging apparatus includes a fisheye lens similar to that of the first embodiment (see FIG. 1).
FIG. 12 is a diagram illustrating a configuration of the calibration apparatus 20 according to the third embodiment. As shown in FIG. 12, the calibration device 20 includes a
ステージ23は、ステージ駆動部25により、レンズPの光軸Cを中心として回転可能(矢印E)である。すなわち、撮像装置21とキャリブレーション用パターン24とは相対的に回転可能である。また、キャリブレーション用パターン24は、第2実施形態と同様に、レンズPの光軸Cと垂直である面Dに対して角度δを有して配置される。この角度については、第2実施形態と同様であるため説明を省略する。
The
以上説明した構成のキャリブレーション装置20において、制御部26は、第1実施形態と同様に、レンズPのキャリブレーションを行う(図2参照)。
ステップS1において、制御部26は、第1の位置関係として、図3Aの領域F1に対応する画像を取得可能な位置関係に、ステージ駆動部25を駆動して撮像装置21を配置する。
In the calibration device 20 having the configuration described above, the
In step S <b> 1, the
ステップS2において、制御部26は、撮像装置21の撮像素子22を制御して画像を生成する。この結果、図3Aの領域F1の画像が生成されることになる。
ステップS3において、制御部26は、生成した画像によりレンズの視野全体をカバーしたか否かを判定する。そして、生成した画像によりレンズの視野全体をカバーしたと判定するとステップS4に進む。
In step S <b> 2, the
In step S3, the
一方、生成した画像によりレンズの視野全体をカバーしていないと判定すると、制御部26は、ステップS1に戻り、次の位置関係にレンズとキャリブレーション用パターンとを配置する。すなわち、前回図3Aに示す位置関係にレンズとキャリブレーション用パターンとを配置した場合には、図3Bの領域F2に対応する画像を取得可能な位置関係に、レンズとキャリブレーション用パターンとを配置する。そして、ステップS3において(2回目)、図3Bの領域F2の画像を生成する。同様に、ステップS2において(3回目)、図4Aの領域F3に対応する画像を取得可能な位置関係に、レンズとキャリブレーション用パターンとを配置して、ステップS3において(3回目)、図4Aの領域F3の画像を生成する。さらに、ステップS2において(4回目)、図4Bの領域F4に対応する画像を取得可能な位置関係に、レンズとキャリブレーション用パターンとを配置して、ステップS3において(4回目)、図4Bの領域F4の画像を生成する。
On the other hand, if it is determined that the generated image does not cover the entire field of view of the lens, the
4回の撮像時における撮像装置21とキャリブレーション用パターン24との位置関係を図13AからDに示す。
ステップS4において、制御部26は、生成した4枚の画像に基づいて、レンズのキャリブレーションを行う。
以上説明したように、第3実施形態によれば、レンズの視野角に応じて、レンズとキャリブレーション用パターンとの相対的な位置関係を変更しつつ、レンズを介したキャリブレーション用パターンの投影像を複数回撮像して複数の画像を生成する。そして、複数の画像に基づいてレンズのキャリブレーションに必要な情報を取得する。したがって、第1実施形態と同様に、等距離射影光学系、中心窩光学系のように視野角が大きいレンズであっても、効率良くキャリブレーションを行うことができる。
FIGS. 13A to 13D show the positional relationship between the
In step S4, the
As described above, according to the third embodiment, the calibration pattern is projected through the lens while changing the relative positional relationship between the lens and the calibration pattern according to the viewing angle of the lens. An image is captured a plurality of times to generate a plurality of images. Information necessary for lens calibration is acquired based on a plurality of images. Therefore, as in the first embodiment, even a lens having a large viewing angle such as an equidistant projection optical system and a foveal optical system can be calibrated efficiently.
なお、第3実施形態では、レンズPと撮像素子22を備えた撮像装置21を例に挙げて説明したが、撮像装置21は、必ずしも撮像装置(カメラ)として完成されたものでなくても良い。すなわち、完成時に撮像装置に備えるレンズと撮像素子とを適当な位置に配置し、それらを本実施形態の撮像装置21と同様に配置することにより、キャリブレーションを行っても良い。
In the third embodiment, the
また、第3実施形態では、キャリブレーション装置により撮像装置のキャリブレーションを行う例を示したが、第1実施形態および第2実施形態と同様にレンズのキャリブレーションを行っても良い。逆に、第2実施形態で説明したキャリブレーション装置により撮像装置のキャリブレーションを行っても良い。
また、各実施形態で説明した技術の一部または全部を組み合わせて実行しても良い。例えば、第2実施形態で説明したキャリブレーション用パターンを回転させる技術と、第3実施形態で説明した撮像装置(キャリブレーションの対象)を回転させる技術とを組み合わせて実行しても良い。
In the third embodiment, the example in which the imaging apparatus is calibrated by the calibration apparatus has been described. However, the lens may be calibrated in the same manner as in the first and second embodiments. Conversely, the imaging apparatus may be calibrated by the calibration apparatus described in the second embodiment.
Moreover, you may perform combining a part or all of the technique demonstrated by each embodiment. For example, the technique for rotating the calibration pattern described in the second embodiment may be combined with the technique for rotating the imaging device (calibration target) described in the third embodiment.
10,20…キャリブレーション装置,11・23…ステージ,12・22…撮像素子,13・24…キャリブレーション用パターン,15・26…制御部
DESCRIPTION OF SYMBOLS 10,20 ... Calibration apparatus, 11.23 ... Stage, 12.22 ... Image sensor, 13.24 ... Calibration pattern, 15.26 ... Control part
Claims (16)
前記レンズの視野角に応じて、前記レンズと前記キャリブレーション用パターンとの相対的な位置関係を変更しつつ、前記レンズを介した前記キャリブレーション用パターンの投影像を複数回撮像して複数の画像を生成する撮像工程と、
前記複数の画像に基づいて前記レンズのキャリブレーションに必要な情報を取得する取得工程とを備え、
前記撮像工程において、前記キャリブレーション用パターンは、前記レンズの光軸と垂直である面に対して所定の角度を有して配置される
ことを特徴とするレンズのキャリブレーション方法。 A method for calibrating a lens using a calibration pattern,
While changing the relative positional relationship between the lens and the calibration pattern according to the viewing angle of the lens, the projected image of the calibration pattern through the lens is captured a plurality of times to obtain a plurality of An imaging process for generating an image;
E Bei and an acquisition step of acquiring the information required for calibration of the lens based on the plurality of images,
In the imaging step, the calibration pattern is arranged with a predetermined angle with respect to a plane perpendicular to the optical axis of the lens.
前記撮像工程では、前記レンズの光軸を回転軸として、前記レンズと前記キャリブレーション用パターンとを相対的に回転させつつ前記複数の画像を生成する
ことを特徴とするレンズのキャリブレーション方法。 The lens calibration method according to claim 1,
In the imaging step, the plurality of images are generated while relatively rotating the lens and the calibration pattern with the optical axis of the lens as a rotation axis.
前記撮像工程では、前記レンズの光軸と直交する垂線を対称軸として、線対称である少なくとも2枚の画像を生成する
ことを特徴とするレンズのキャリブレーション方法。 The lens calibration method according to claim 1,
In the imaging step, at least two images that are line symmetric with respect to a perpendicular line that is orthogonal to the optical axis of the lens are generated.
前記撮像工程により生成した前記複数の画像は、隣接する画像との間に重なり部分を有し、前記複数の画像により、前記レンズの視野全体を覆うことが可能である
ことを特徴とするレンズのキャリブレーション方法。 In the lens calibration method according to any one of claims 1 to 3,
The plurality of images generated by the imaging step have an overlapping portion between adjacent images, and the plurality of images can cover the entire field of view of the lens. Calibration method.
前記レンズと前記キャリブレーション用パターンとの相対的な位置関係を変更する変更部と、
前記レンズを介した前記キャリブレーション用パターンの投影像を撮像して画像を生成する撮像部と、
前記レンズの視野角に応じて、前記変更部を制御し、前記レンズと前記キャリブレーション用パターンとの相対的な位置関係を変更させつつ、前記撮像部を制御して前記キャリブレーション用パターンの投影像を複数回撮像し、複数の画像を生成させる制御部と、
前記複数の画像に基づいて前記レンズのキャリブレーションに必要な情報を取得する取得部とを備え、
前記キャリブレーション用パターンは、前記レンズの光軸と垂直である面に対して所定の角度を有して配置される
ことを特徴とするレンズのキャリブレーション装置。 A lens calibration device using a calibration pattern,
A changing unit that changes a relative positional relationship between the lens and the calibration pattern;
An imaging unit that captures a projection image of the calibration pattern via the lens and generates an image;
According to the viewing angle of the lens, the changing unit is controlled to change the relative positional relationship between the lens and the calibration pattern, and the imaging unit is controlled to project the calibration pattern. A control unit that captures an image a plurality of times and generates a plurality of images;
E Bei and an acquisition unit for acquiring information necessary for the calibration of the lens based on the plurality of images,
The lens calibration apparatus, wherein the calibration pattern is arranged with a predetermined angle with respect to a plane perpendicular to the optical axis of the lens.
前記変更部は、前記レンズの光軸を回転軸として、前記レンズと前記キャリブレーション用パターンとを相対的に回転する
ことを特徴とするレンズのキャリブレーション装置。 The lens calibration device according to claim 5 ,
The lens calibration apparatus, wherein the changing unit relatively rotates the lens and the calibration pattern with the optical axis of the lens as a rotation axis.
前記変更部は、前記レンズの光軸と直交する垂線を対称軸として、線対称である少なくとも2種類の前記位置関係に前記レンズと前記キャリブレーション用パターンとの相対的な位置関係を変更する
ことを特徴とするレンズのキャリブレーション装置。 The lens calibration device according to claim 5 ,
The changing unit changes a relative positional relationship between the lens and the calibration pattern into at least two types of the positional relationships that are line symmetric with respect to a perpendicular line that is orthogonal to the optical axis of the lens. Lens calibration device characterized by the above.
前記撮像部により生成した前記複数の画像は、隣接する画像との間に重なり部分を有し、前記複数の画像により、前記レンズの視野全体を覆うことが可能である
ことを特徴とするレンズのキャリブレーション装置。 The lens calibration device according to any one of claims 5 to 7 ,
The plurality of images generated by the imaging unit have an overlapping portion between adjacent images, and the plurality of images can cover the entire field of view of the lens. Calibration device.
前記レンズの視野角に応じて、前記撮像装置と前記キャリブレーション用パターンとの相対的な位置関係を変更しつつ、前記レンズを介した前記キャリブレーション用パターンの投影像を、前記撮像素子により複数回撮像して複数の画像を生成する撮像工程と、
前記複数の画像に基づいて前記撮像装置のキャリブレーションに必要な情報を取得する取得工程とを備え、
前記撮像工程において、前記キャリブレーション用パターンは、前記レンズの光軸と垂直である面に対して所定の角度を有して配置される
ことを特徴とする撮像装置のキャリブレーション方法。 A calibration method using a calibration pattern, which relates to an imaging device including a lens and an imaging device,
According to the viewing angle of the lens, a plurality of projection images of the calibration pattern through the lens are projected by the imaging element while changing the relative positional relationship between the imaging device and the calibration pattern. An imaging step of generating a plurality of images by performing imaging once;
E Bei and an acquisition step of acquiring the information required for calibration of the imaging device based on the plurality of images,
In the imaging step, the calibration pattern is arranged with a predetermined angle with respect to a plane perpendicular to the optical axis of the lens .
前記撮像工程では、前記レンズの光軸を回転軸として、前記撮像装置と前記キャリブレーション用パターンとを相対的に回転させつつ前記撮像素子により前記複数の画像を生成する
ことを特徴とする撮像装置のキャリブレーション方法。 In the calibration method of the imaging device according to claim 9 ,
In the imaging step, the imaging device generates the plurality of images while relatively rotating the imaging device and the calibration pattern with the optical axis of the lens as a rotation axis. Calibration method.
前記撮像工程では、前記レンズの光軸と直交する垂線を対称軸として、線対称である少なくとも2枚の画像を生成する
ことを特徴とする撮像装置のキャリブレーション方法。 In the calibration method of the imaging device according to claim 9 ,
In the imaging step, at least two images that are axisymmetric with respect to a perpendicular line that is orthogonal to the optical axis of the lens are generated.
前記撮像工程により生成した前記複数の画像は、隣接する画像との間に重なり部分を有し、前記複数の画像により、前記レンズの視野全体を覆うことが可能である
ことを特徴とする撮像装置のキャリブレーション方法。 In the calibration method of the imaging device according to any one of claims 9 to 11 ,
The plurality of images generated by the imaging step have an overlapping portion between adjacent images, and the plurality of images can cover the entire field of view of the lens. Calibration method.
前記撮像装置と前記キャリブレーション用パターンとの相対的な位置関係を変更する変更部と、
前記レンズの視野角に応じて、前記変更部を制御し、前記撮像装置と前記キャリブレーション用パターンとの相対的な位置関係を変更させつつ、前記撮像素子を制御して前記キャリブレーション用パターンの投影像を複数回撮像し、複数の画像を生成させる制御部と、
前記複数の画像に基づいて前記撮像装置のキャリブレーションに必要な情報を取得する取得部とを備え、
前記キャリブレーション用パターンは、前記レンズの光軸と垂直である面に対して所定の角度を有して配置される
ことを特徴とする撮像装置のキャリブレーション装置。 A calibration device using a calibration pattern, which relates to an imaging device including a lens and an imaging device,
A changing unit that changes a relative positional relationship between the imaging device and the calibration pattern;
According to the viewing angle of the lens, the changing unit is controlled to change the relative positional relationship between the imaging device and the calibration pattern, and to control the imaging element to control the calibration pattern. A control unit that captures a projected image a plurality of times and generates a plurality of images;
E Bei and an acquisition unit for acquiring information necessary for the calibration of the imaging device based on the plurality of images,
The calibration apparatus for an imaging apparatus, wherein the calibration pattern is arranged with a predetermined angle with respect to a plane perpendicular to the optical axis of the lens .
前記変更部は、前記レンズの光軸を回転軸として、前記撮像装置と前記キャリブレーション用パターンとを相対的に回転する
ことを特徴とする撮像装置のキャリブレーション装置。 In the calibration device of the imaging device according to claim 13 ,
The changing unit relatively rotates the imaging device and the calibration pattern about the optical axis of the lens as a rotation axis.
前記変更部は、前記レンズの光軸と直交する垂線を対称軸として、線対称である少なくとも2種類の前記位置関係に前記撮像装置と前記キャリブレーション用パターンとの相対的な位置関係を変更する
ことを特徴とする撮像装置のキャリブレーション装置。 In the calibration device of the imaging device according to claim 13 ,
The changing unit changes a relative positional relationship between the imaging device and the calibration pattern into at least two types of positional relationships that are line symmetric with respect to a perpendicular line that is orthogonal to the optical axis of the lens. A calibration apparatus for an image pickup apparatus.
前記撮像素子により生成した前記複数の画像は、隣接する画像との間に重なり部分を有し、前記複数の画像により、前記レンズの視野全体を覆うことが可能である
ことを特徴とする撮像装置のキャリブレーション装置。 In the calibration device of the imaging device according to any one of claims 13 to 15 ,
The plurality of images generated by the image sensor have an overlapping portion between adjacent images, and the plurality of images can cover the entire field of view of the lens. Calibration equipment.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007008212A JP4816464B2 (en) | 2007-01-17 | 2007-01-17 | Lens calibration method, lens calibration device, imaging device calibration method, and calibration device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007008212A JP4816464B2 (en) | 2007-01-17 | 2007-01-17 | Lens calibration method, lens calibration device, imaging device calibration method, and calibration device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008177763A JP2008177763A (en) | 2008-07-31 |
| JP4816464B2 true JP4816464B2 (en) | 2011-11-16 |
Family
ID=39704461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007008212A Active JP4816464B2 (en) | 2007-01-17 | 2007-01-17 | Lens calibration method, lens calibration device, imaging device calibration method, and calibration device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4816464B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101784526B1 (en) | 2011-11-29 | 2017-10-11 | 엘지이노텍 주식회사 | Method and system for detecting error of auto calibration |
| TWI591377B (en) * | 2015-12-11 | 2017-07-11 | 財團法人工業技術研究院 | Wide-angle lens correction system and method thereof |
| CN112348899A (en) * | 2019-08-07 | 2021-02-09 | 虹软科技股份有限公司 | Calibration parameter obtaining method and device, processor and electronic equipment |
| KR102389804B1 (en) * | 2020-01-17 | 2022-04-25 | 주식회사 세코닉스 | Camera calibration method and camera calibration apparatus |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0197833A (en) * | 1987-10-12 | 1989-04-17 | Nec Corp | Measuring apparatus of high resolution |
| JPH0818828A (en) * | 1994-06-28 | 1996-01-19 | Sony Corp | Test chart |
| JP3704494B2 (en) * | 2001-10-19 | 2005-10-12 | 歐普羅科技股▲ふん▼有限公司 | How to check camera viewpoint and focal length |
-
2007
- 2007-01-17 JP JP2007008212A patent/JP4816464B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008177763A (en) | 2008-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5865941B2 (en) | Imaging apparatus, portable information processing terminal, monitor display method and program for imaging apparatus | |
| JP4297111B2 (en) | Imaging apparatus, image processing method and program thereof | |
| CN104956665B (en) | Grenade instrumentation and method for correcting image | |
| JP5090121B2 (en) | Adjustment device, laser processing device, adjustment method, and adjustment program | |
| US10585344B1 (en) | Camera system with a plurality of image sensors | |
| JP6562626B2 (en) | Microscope system | |
| JP2009031150A (en) | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium | |
| JP6848385B2 (en) | 3D shape measuring device | |
| JP2008533501A (en) | Computer-implemented method for adjusting the attitude of a projector and apparatus for adjusting the attitude of a projector | |
| JP2005244835A (en) | Multiprojection system | |
| JP4816464B2 (en) | Lens calibration method, lens calibration device, imaging device calibration method, and calibration device | |
| JP4906128B2 (en) | Camera unit inspection apparatus and camera unit inspection method | |
| WO2010044433A1 (en) | Image processing method, image processing device, and surface inspection device using the image processing device | |
| JP3635539B2 (en) | Calibration pattern unit | |
| JP2005530410A5 (en) | ||
| JPWO2023127589A5 (en) | ||
| CN118525523A (en) | Image recognition system, image recognition method, image recognition program, and computer-readable non-transitory recording medium recording the image recognition program | |
| JP2008154195A (en) | Lens calibration pattern creation method, lens calibration pattern, lens calibration method using calibration pattern, lens calibration device, imaging device calibration method, and imaging device calibration device | |
| JP2019161278A (en) | Calibration reference point acquisition system and calibration reference point acquisition method | |
| JP5083979B2 (en) | Image enhancement method and imaging apparatus | |
| JPH1118007A (en) | Omnidirectional image display system | |
| KR101728832B1 (en) | Manual calibration device for the vehicle image registration and the method thereof | |
| JP5231119B2 (en) | Display device | |
| JP6579706B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP4776983B2 (en) | Image composition apparatus and image composition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110105 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110802 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110815 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4816464 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |