Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7599688B2 - Imaging method and imaging device - Google Patents
[go: Go Back, main page]

JP7599688B2 - Imaging method and imaging device - Google Patents

Imaging method and imaging device Download PDF

Info

Publication number
JP7599688B2
JP7599688B2 JP2020182157A JP2020182157A JP7599688B2 JP 7599688 B2 JP7599688 B2 JP 7599688B2 JP 2020182157 A JP2020182157 A JP 2020182157A JP 2020182157 A JP2020182157 A JP 2020182157A JP 7599688 B2 JP7599688 B2 JP 7599688B2
Authority
JP
Japan
Prior art keywords
image sensor
imaging
linear image
light
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020182157A
Other languages
Japanese (ja)
Other versions
JP2022072613A (en
Inventor
朋禄 下馬場
日隆 塩見
智義 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chiba University NUC
Original Assignee
Chiba University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chiba University NUC filed Critical Chiba University NUC
Priority to JP2020182157A priority Critical patent/JP7599688B2/en
Publication of JP2022072613A publication Critical patent/JP2022072613A/en
Application granted granted Critical
Publication of JP7599688B2 publication Critical patent/JP7599688B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、イメージセンサにより取得された撮像データから2次元画像もしくは3次元画像の再構成を行うためのイメージング方法およびイメージング装置に関する。 The present invention relates to an imaging method and imaging device for reconstructing a two-dimensional or three-dimensional image from imaging data acquired by an image sensor.

従来、イメージセンサにより取得された撮像データから2次元画像もしくは3次元画像の再構成を行う技術として、シングルピクセルイメージング(SPI)やCCD・CMOSによる高速カメラ技術が知られている。 Conventionally, single pixel imaging (SPI) and high-speed camera technology using CCD/CMOS are known as technologies for reconstructing two-dimensional or three-dimensional images from imaging data acquired by an image sensor.

SPIは、撮像対象に特殊な投影パターンを重畳させた光をイメージセンサに結像させて撮影を繰り返し、取得された複数の撮像データに基づいて統計処理、線形変換、最適化計算等を行うことで撮像対象の像を再構成する技術である。また、SPIは、イメージセンサとして単位素子であるフォトダイオードを使用しているため、CCD・CMOSによる高速カメラ技術と比べて撮影できる波長帯の自由度が高く、原理的にはフォトダイオードの高速応答性に基づく高速イメージングが可能である。 SPI is a technology that reconstructs an image of an object by repeatedly capturing images of the object by focusing light onto an image sensor that has a special projection pattern superimposed on it, and then performing statistical processing, linear transformation, optimization calculations, etc. based on the multiple captured image data. In addition, because SPI uses a photodiode, which is a unit element of the image sensor, it has a higher degree of freedom in the wavelength band that can be captured compared to high-speed camera technology using CCD/CMOS, and in principle, high-speed imaging based on the high-speed response of the photodiode is possible.

特許文献1のイメージング装置は、SPIを利用して3次元画像を再構成するものであり、照明光を照射する光源と撮像対象との間に設けられた空間光変調器と、該空間光変調器でパターン化された照明光が撮像対象に結像するように配置されるレンズと、撮像対象からの照明光の反射光または透過光が担持する撮像データを取得する撮像素子と、を備え、空間光変調器に表示される多値2次元の投影パターンを時間的に変化させ、空間光変調器に表示された投影パターンおよび、その投影パターンが表示された際に撮像素子の単位素子毎に取得された撮像データの関係を投影パターンの表示毎に取り込み、これら投影パターン毎に取り込んだ撮像データに基づいて、単位素子毎に2次元要素画像を再構成し、この再構成された単位素子毎の2次元要素画像に基づいて撮像対象の3次元画像を再構成することにより、解像度および奥行き方向の分解能に優れている。尚、特許文献1で使用される撮像素子は、単位素子を2次元的に配列させたものである。 The imaging device of Patent Document 1 reconstructs a three-dimensional image using SPI, and includes a spatial light modulator provided between a light source that irradiates illumination light and an object to be imaged, a lens arranged so that the illumination light patterned by the spatial light modulator is imaged on the object to be imaged, and an imaging element that acquires imaging data carried by the reflected or transmitted light of the illumination light from the object to be imaged. The imaging device changes the multi-value two-dimensional projection pattern displayed on the spatial light modulator over time, captures the relationship between the projection pattern displayed on the spatial light modulator and the imaging data acquired for each unit element of the imaging element when the projection pattern is displayed, reconstructs a two-dimensional element image for each unit element based on the imaging data captured for each projection pattern, and reconstructs a three-dimensional image of the object to be imaged based on the reconstructed two-dimensional element image for each unit element, thereby providing excellent resolution and resolution in the depth direction. The imaging element used in Patent Document 1 has unit elements arranged two-dimensionally.

特開2020-136837号公報(第5頁~第6頁、第1図)JP 2020-136837 A (pages 5 to 6, Figure 1)

しかしながら、特許文献1のイメージング装置において高解像度の3次元画像を得るためには、単位素子毎に多くの投影パターンに基づく撮像データを取り込むことにより、解像度の高い2次元要素画像を再構成させる必要があることから、撮影に長い時間がかかるという問題があった。 However, in order to obtain a high-resolution three-dimensional image using the imaging device of Patent Document 1, it is necessary to reconstruct a high-resolution two-dimensional elemental image by capturing imaging data based on many projection patterns for each unit element, which results in a problem of long imaging times.

本発明は、このような問題点に着目してなされたもので、高速かつ高解像度に再構成画像を得ることができるイメージング方法およびイメージング装置を提供することを目的とする。 The present invention was made in response to these problems, and aims to provide an imaging method and imaging device that can obtain reconstructed images quickly and with high resolution.

前記課題を解決するために、本発明のイメージング方法は、
撮像対象の像と複数の投影パターンを重畳させた光を単位素子が少なくとも2つ以上1次元的に並んだリニアイメージセンサに結像させるステップと、
前記リニアイメージセンサにより取得された複数の1次元撮像データに基づいて前記リニアイメージセンサの集光方向に最適化計算を行うステップと、を有することを特徴としている。
この特徴によれば、リニアイメージセンサにより取得された1次元撮像データは、集光方向と直交する方向に重複や欠損がない連続したデータであり、データ圧縮されないことから、複数の1次元撮像データに基づいて集光方向に最適化計算を行い、その結果と集光方向と直交する方向のデータを組み合わせることにより、少ない投影パターン数で高速かつ高解像度に再構成画像を得ることができる。また、本発明のイメージング方法は、撮像対象の像と複数の投影パターンを重畳させた光をリニアイメージセンサに結像させることにより、機械的走査を必要としないため、様々な撮像対象のイメージングに適用できる。
In order to solve the above problems, the imaging method of the present invention comprises:
forming an image of the light, in which the image of the object to be imaged and the plurality of projection patterns are superimposed, on a linear image sensor having at least two unit elements arranged one-dimensionally;
and performing an optimization calculation for the light collection direction of the linear image sensor based on a plurality of one-dimensional imaging data acquired by the linear image sensor.
According to this feature, the one-dimensional imaging data acquired by the linear image sensor is continuous data without duplication or loss in the direction perpendicular to the light collection direction, and the data is not compressed, so that an optimization calculation is performed in the light collection direction based on the multiple one-dimensional imaging data, and the result is combined with the data in the direction perpendicular to the light collection direction to obtain a reconstructed image at high speed and with high resolution with a small number of projection patterns. In addition, the imaging method of the present invention does not require mechanical scanning by forming an image of the imaging target and light in which multiple projection patterns are superimposed on the linear image sensor, and therefore can be applied to the imaging of various imaging targets.

前記リニアイメージセンサの集光方向に最適化計算を行った後、前記集光方向と直交する方向に最適化計算を行うステップを有することを特徴としている。
この特徴によれば、先ず重複や欠損の多いリニアイメージセンサの集光方向に最適化計算を行い、その後、集光方向と直交する方向に2段階の最適化計算を行うことにより、より高解像度に再構成画像を得ることができる。
The method is characterized by comprising a step of performing an optimization calculation in a light collecting direction of the linear image sensor, and then performing an optimization calculation in a direction perpendicular to the light collecting direction.
According to this feature, first, an optimization calculation is performed in the light collecting direction of the linear image sensor, which has many overlaps and defects, and then a two-stage optimization calculation is performed in the direction perpendicular to the light collecting direction, thereby making it possible to obtain a reconstructed image with higher resolution.

前記リニアイメージセンサの集光方向の最適化計算は、複数の前記投影パターンの照射を表す行列A、全変動を求める行列B、再構成される画像の集光方向のある1ラインを表すベクトルX^、撮影データを表すベクトルyを基に、数1に基づく演算を行い、撮影データと再構成される画像の集光方向のある1ラインの2乗誤差と、再構成される画像のある1ラインにおける全変動を最小化することを特徴としている。
この特徴によれば、集光方向のライン毎に最適化計算を行うことにより1ラインの再構成を行い、同様の最適化計算を撮像対象の画素数に応じて所定回数繰り返すことにより、高速かつ高解像度に再構成画像を得ることができる。
The optimization calculation of the focusing direction of the linear image sensor is characterized by performing a calculation based on Equation 1 on the basis of matrix A representing the irradiation of the multiple projection patterns, matrix B for determining the total variation, vector X^ representing one line in the focusing direction of the image to be reconstructed, and vector y representing the shooting data, thereby minimizing the squared error of one line in the focusing direction between the shooting data and the reconstructed image, and the total variation in one line in the reconstructed image.
According to this feature, one line is reconstructed by performing an optimization calculation for each line in the focusing direction, and a similar optimization calculation is repeated a predetermined number of times according to the number of pixels of the object to be imaged, thereby obtaining a reconstructed image at high speed and with high resolution.

Figure 0007599688000001
Figure 0007599688000001

前記リニアイメージセンサの集光方向の最適化計算と前記集光方向と直交する方向の最適化計算は、同じ数式が使用されることを特徴としている。
この特徴によれば、高速かつ高解像度に再構成画像を得ることができる。
The optimization calculation of the light collecting direction of the linear image sensor and the optimization calculation of the direction perpendicular to the light collecting direction are characterized in that the same mathematical formula is used.
According to this feature, a reconstructed image can be obtained quickly and with high resolution.

前記行列Aは、複数の前記投影パターンの照射と光学系により一次元に集光する物理的な撮影過程を表す行列の条件を含むことを特徴としている。
この特徴によれば、高速かつ高解像度に再構成画像を得ることができる。
The matrix A is characterized in that it includes matrix conditions that represent a physical photographing process in which a plurality of the projection patterns are irradiated and one-dimensionally collected by an optical system.
According to this feature, a reconstructed image can be obtained quickly and with high resolution.

本発明のイメージング装置は、
複数の投影パターンを出力する空間光変調器と、
単位素子が少なくとも2つ1次元的に並んだリニアイメージセンサと、
前記リニアイメージセンサに撮像対象の像と前記複数の投影パターンを重畳させた光を結像させる結像手段と、
前記リニアイメージセンサにより取得された複数の1次元撮像データに基づいて前記リニアイメージセンサの集光方向に最適化計算を行う解析手段と、を備えることを特徴としている。
この特徴によれば、リニアイメージセンサにより取得された1次元撮像データは、集光方向と直交する方向に重複や欠損がない連続したデータであり、データ圧縮されないことから、複数の1次元撮像データに基づいて集光方向に最適化計算を行い、その結果と集光方向と直交する方向のデータを組み合わせることにより、少ない投影パターン数で高速かつ高解像度に再構成画像を得ることができる。また、本発明のイメージング装置は、撮像対象の像と複数の投影パターンを重畳させた光をリニアイメージセンサに結像させることにより、機械的走査を必要としないため、様々な撮像対象のイメージングに適用できる。
The imaging device of the present invention comprises:
a spatial light modulator that outputs a plurality of projection patterns;
a linear image sensor having at least two unit elements arranged one-dimensionally;
an imaging means for forming an image of an object to be imaged and light in which the plurality of projection patterns are superimposed on the linear image sensor;
and an analysis means for performing an optimization calculation for the light collecting direction of the linear image sensor based on a plurality of one-dimensional imaging data acquired by the linear image sensor.
According to this feature, the one-dimensional imaging data acquired by the linear image sensor is continuous data without duplication or loss in the direction perpendicular to the light collection direction, and the data is not compressed, so that an optimization calculation is performed in the light collection direction based on multiple one-dimensional imaging data, and the result is combined with data in the direction perpendicular to the light collection direction to obtain a reconstructed image at high speed and with high resolution using a small number of projection patterns. In addition, the imaging device of the present invention does not require mechanical scanning by forming an image of the imaging target and light in which multiple projection patterns are superimposed on the linear image sensor, and therefore can be applied to the imaging of various imaging targets.

前記解析手段は、前記リニアイメージセンサの集光方向に最適化計算を行った後、前記集光方向と直交する方向に最適化計算を行うことを特徴としている。
この特徴によれば、リニアイメージセンサの集光方向と、集光方向と直交する方向に2段階の最適化計算を行うことにより、より高解像度に再構成画像を得ることができる。
The analyzing means performs an optimization calculation in a light collecting direction of the linear image sensor, and then performs an optimization calculation in a direction perpendicular to the light collecting direction.
According to this feature, by performing two-stage optimization calculations in the light collecting direction of the linear image sensor and in a direction perpendicular to the light collecting direction, a reconstructed image with higher resolution can be obtained.

前記空間光変調器は、デジタルマイクロミラーデバイスであることを特徴としている。
この特徴によれば、緻密な投影パターンを高速で出力することが可能となるため、より高速かつ高解像度に再構成画像を得ることができる。
The spatial light modulator is characterized in that it is a digital micromirror device.
According to this feature, it becomes possible to output a detailed projection pattern at high speed, so that a reconstructed image can be obtained at higher speed and with higher resolution.

前記結像手段は、シリンドリカルレンズであることを特徴としている。
この特徴によれば、簡素な構成で撮像対象の像と複数の投影パターンを重畳させた光をリニアイメージセンサに1次元的に結像させることができる。
The imaging means is characterized in that it is a cylindrical lens.
According to this feature, it is possible to one-dimensionally form an image on the linear image sensor of the light in which the image of the object to be imaged and a plurality of projection patterns are superimposed, using a simple configuration.

本発明の実施例におけるイメージング装置を示す模式図である。FIG. 1 is a schematic diagram illustrating an imaging device according to an embodiment of the present invention. 実施例におけるイメージング方法の手順を示す図である。FIG. 1 is a diagram showing the procedure of an imaging method in an embodiment. (a)は、撮像対象であり、(b)は、実施例におけるイメージング装置を用いたイメージング方法により再構成された撮像対象の再構成画像である。1A is an imaging target, and FIG. 1B is a reconstructed image of the imaging target reconstructed by an imaging method using the imaging apparatus according to the embodiment.

発明者らは、シングルピクセルイメージング(Single-pixel Imaging:SPI)と同様に、撮像対象の像に投影パターンを重畳させた光を、単位素子が1次元的に並んだリニアイメージセンサに結像させて撮影を行い、投影パターンを変更しながらこの撮影を繰り返すことにより取得された複数の1次元撮像データに基づいてリニアイメージセンサの集光方向に最適化計算を行うことで、SPIと比べて格段に撮影回数を減らした上で、解像度を高めた画像再構成が可能となるとともに、CCD・CMOSによる高速カメラ技術と比べて格段にフレームレートが高く、解像度を高めた画像再構成が可能となるとの知見を得た。 The inventors have discovered that, similar to single-pixel imaging (SPI), light with a projection pattern superimposed on the image of the subject is focused on a linear image sensor with unit elements arranged one-dimensionally to capture the image, and that by repeating this capture while changing the projection pattern and performing optimization calculations on the light collection direction of the linear image sensor based on multiple one-dimensional image data acquired, it is possible to reconstruct an image with improved resolution while significantly reducing the number of captures compared to SPI, and that it is possible to achieve a frame rate that is significantly higher than high-speed camera technology using CCD/CMOS, and to reconstruct an image with improved resolution.

画像の再構成は、集光方向の1ライン毎に最適化計算を行い1ラインの再構成を行うものであり、この過程は以下数2の数式を用いて以下のように表現できる。 Image reconstruction involves performing optimization calculations for each line in the focusing direction to reconstruct one line at a time, and this process can be expressed as follows using the formula in Equation 2:

Figure 0007599688000002
Figure 0007599688000002

ここで、Xは求めたい物体の集光方向の1ラインを表すベクトル、Aは複数の投影パターンの照射と光学系による集光を表す行列、Bは複数の投影パターンを照射した時の強度データを表すベクトルである。例えば、撮像対象の画素数をN×N画素、投影パターン照射回数をMとした場合、行列Aの行ベクトルはある投影パターン(N次元ベクトル)を表し、投影パターン照射回数がM回の場合は、異なる行ベクトルが列方向にM個並ぶこととなり、行列AはM×Nの行列となる。また、ベクトルXのサイズはN×1、ベクトルBのサイズはM×1となる。 Here, X is a vector representing one line in the light collection direction of the object to be found, A is a matrix representing the irradiation of multiple projection patterns and the light collection by the optical system, and B is a vector representing the intensity data when multiple projection patterns are irradiated. For example, if the number of pixels of the imaging target is NxN pixels and the number of times the projection pattern is irradiated is M, the row vector of matrix A represents a certain projection pattern (N-dimensional vector), and if the number of times the projection pattern is irradiated is M, M different row vectors will be lined up in the column direction, and matrix A will be an MxN matrix. Furthermore, the size of vector X is Nx1, and the size of vector B is Mx1.

行列Aの逆行列が求められるのであれば、簡単にベクトルXを求められるが、この行列Aには逆行列が存在しないため、ベクトルX^の全変動がスパースであるという条件を入れて、前述した数1の数式を用いて以下の最適化を行うことでベクトルX^を推定する。 If the inverse matrix of matrix A could be found, vector X could be found easily, but since there is no inverse matrix for this matrix A, vector X^ is estimated by performing the following optimization using the formula 1 mentioned above, with the condition that the total variation of vector X^ is sparse.

本発明は、投影パターン毎にリニアイメージセンサに1次元的に結像されることで取得された複数の1次元撮像データに基づいてリニアイメージセンサの集光方向に最適化計算を行うことにより、高速かつ高解像度に2次元画像もしくは3次元画像の再構成を行うものである。好適には、集光方向の最適化計算に加え、集光方向と直交する方向の最適化計算を行うことにより、高速かつより高解像度に2次元画像もしくは3次元画像の再構成を行うものである。この2段階の最適化計算には、以下の数1の数式が用いられる。 The present invention reconstructs a two-dimensional or three-dimensional image at high speed and with high resolution by performing optimization calculations in the light collection direction of the linear image sensor based on multiple one-dimensional imaging data acquired by one-dimensionally focusing each projection pattern on the linear image sensor. Preferably, in addition to the optimization calculations in the light collection direction, optimization calculations are performed in a direction perpendicular to the light collection direction to reconstruct a two-dimensional or three-dimensional image at high speed and with higher resolution. The following formula 1 is used in this two-stage optimization calculation.

Figure 0007599688000003
Figure 0007599688000003

ここで、Aは複数の投影パターンの照射を表す行列、Bは全変動を求める行列、X^は再構成される画像の集光方向のある1ラインを表すベクトル、yは撮影データを表すベクトルであり、上記数式による最適化計算は、撮影データと再構成される画像の集光方向のある1ラインの2乗誤差と、再構成される画像のある1ラインにおける全変動を最小化するものである。また、行列Aは、複数の投影パターンの照射と光学系により一次元に集光する物理的な撮影過程を表す行列の条件を含むものである。尚、上記数式には、撮影の条件に応じた誤差等を反映する各種パラメータが追加されてもよい。 Here, A is a matrix representing the irradiation of multiple projection patterns, B is a matrix for finding the total variation, X^ is a vector representing one line in the focusing direction of the image to be reconstructed, and y is a vector representing the shooting data. The optimization calculation using the above formula minimizes the squared error between the shooting data and one line in the focusing direction of the image to be reconstructed, and the total variation in one line in the image to be reconstructed. Furthermore, matrix A includes the conditions of the matrix that represents the physical shooting process of irradiating multiple projection patterns and focusing light one-dimensionally by an optical system. Note that various parameters that reflect errors and the like according to the shooting conditions may be added to the above formula.

好適には、数1の数式における行列Bは全変動を求める行列であって、ベクトルX^の隣接する画素の差分を取る演算を行う行列である。この最適化演算により、撮像対象の集光方向の1ラインの再構成が行われ、この作業を集光方向に直交する方向に合計N回繰り返すことで、N×N画素の画像の再構成が行われる。すなわち、この最適化演算により、集光方向に圧縮された画像の再構成が行われ、N×N画素の画像の再構成が可能となっている。好適には、集光方向と直交する方向にも同様の最適化を行うことでノイズが除去されたN×N画素の画像を再構成することができる。 Preferably, the matrix B in the formula (1) is a matrix for calculating the total variation, and is a matrix for performing an operation to obtain the difference between adjacent pixels of the vector X^. This optimization operation reconstructs one line in the focusing direction of the imaging target, and by repeating this operation a total of N times in the direction perpendicular to the focusing direction, an image of N x N pixels is reconstructed. In other words, this optimization operation reconstructs an image compressed in the focusing direction, making it possible to reconstruct an image of N x N pixels. Preferably, a similar optimization is performed in the direction perpendicular to the focusing direction to reconstruct an image of N x N pixels with noise removed.

また、最適化計算に使用される数1の数式において、行列Aは、複数の投影パターンの照射と光学系により一次元に集光する物理的な撮影過程を表す行列の条件を含むことにより、リニアイメージセンサにより取得される1次元撮像データの解析精度を高めることができるため、高速かつ高解像度に再構成画像を得ることができる。 In addition, in the formula (1) used in the optimization calculation, matrix A includes matrix conditions that represent the physical imaging process of irradiating multiple projection patterns and focusing the light one-dimensionally by an optical system, thereby improving the analysis accuracy of the one-dimensional imaging data acquired by the linear image sensor, and enabling a reconstructed image to be obtained quickly and with high resolution.

本発明に係るイメージング方法およびイメージング装置を実施するための形態を実施例に基づいて以下に説明する。 The following describes the imaging method and imaging device according to the present invention based on the examples.

(イメージング装置)
図1に示されるように、本実施例におけるイメージング装置1は、複数の投影パターンを変調面2aに出力可能な空間光変調器2と、単位素子が1次元的に並んだリニアイメージセンサ3と、撮像対象10の像を空間光変調器2の変調面2aに結像するレンズ4と、撮像対象10の像と空間光変調器2の変調面2aに出力される投影パターンを重畳させた光をリニアイメージセンサ3に1次元的に結像する結像手段としてのシリンドリカルレンズ5と、リニアイメージセンサ3により取得された1次元撮像データをアナログデータからデジタルデータに変換するA/Dコンバータ6と、デジタル変換された複数の1次元撮像データと空間光変調器2の投影パターンデータに基づいて最適化計算を行う解析手段としてのパーソナルコンピュータ7と、から主に構成されている。
(Imaging device)
As shown in FIG. 1, the imaging device 1 in this embodiment is mainly composed of a spatial light modulator 2 capable of outputting a plurality of projection patterns onto a modulation surface 2a, a linear image sensor 3 in which unit elements are arranged one-dimensionally, a lens 4 that forms an image of an object to be imaged 10 on the modulation surface 2a of the spatial light modulator 2, a cylindrical lens 5 as an imaging means that one-dimensionally forms an image on the linear image sensor 3 of light in which the image of the object to be imaged 10 and the projection pattern output to the modulation surface 2a of the spatial light modulator 2 are superimposed, an A/D converter 6 that converts the one-dimensional imaging data acquired by the linear image sensor 3 from analog data to digital data, and a personal computer 7 as an analysis means that performs optimization calculations based on the plurality of digitally converted one-dimensional imaging data and the projection pattern data of the spatial light modulator 2.

パーソナルコンピュータ7は、空間光変調器2の変調面2aに出力される投影パターン毎に対応する1次元撮像データを記憶する記憶部と、記憶部に記憶された複数の1次元撮像データに基づいて2段階の最適化計算を行う解析部と、解析部により再構成された画像データを入力し再構成画像を表示する表示部と、を備えている。 The personal computer 7 includes a memory unit that stores one-dimensional imaging data corresponding to each projection pattern output to the modulation surface 2a of the spatial light modulator 2, an analysis unit that performs two-stage optimization calculations based on the multiple one-dimensional imaging data stored in the memory unit, and a display unit that inputs the image data reconstructed by the analysis unit and displays the reconstructed image.

空間光変調器2は、デジタルマイクロミラーデバイス(Digital Micromirror Device:DMD)であり、入力光に対する出力光の光強度を変調可能な複数の画素領域が配列された変調面2aを有し、設定された投影パターンに基づいて変調面2aの複数の画素領域それぞれにおいて2値以上の光強度変調が可能となっている。空間光変調器2としてDMDを使用することにより、緻密な投影パターンを高速で出力することができる。 The spatial light modulator 2 is a digital micromirror device (DMD) and has a modulation surface 2a on which multiple pixel regions capable of modulating the light intensity of output light relative to input light are arranged, and it is possible to perform two or more value light intensity modulation in each of the multiple pixel regions of the modulation surface 2a based on a set projection pattern. By using a DMD as the spatial light modulator 2, it is possible to output a detailed projection pattern at high speed.

尚、本実施例において空間光変調器2は、投影パターンとして白黒による2値2次元のランダムパターン(図1参照)を出力するものとして説明するが、これに限らず、白黒の他にグレイレベルを有する値を含めて3値以上からなる2次元のランダムパターンを出力することにより、画像再構成に必要な1次元撮像データの数を減らして解析を容易にしてもよい。また、投影パターンは、ランダムパターンに限らず、アダマール変換や離散コサイン変換(Discrete Cosine Transform:DCT)を用いたパターンに設定されることにより、より高速に再構成画像を得られるようにしてもよい。 In this embodiment, the spatial light modulator 2 is described as outputting a black and white binary two-dimensional random pattern (see FIG. 1) as the projection pattern, but it is not limited to this. It is also possible to output a two-dimensional random pattern consisting of three or more values, including values having gray levels in addition to black and white, to reduce the amount of one-dimensional imaging data required for image reconstruction and make analysis easier. In addition, the projection pattern is not limited to a random pattern, and it may be set to a pattern using a Hadamard transform or a discrete cosine transform (DCT) to obtain a reconstructed image more quickly.

リニアイメージセンサ3は、Teledyne DALSA社製のLinea HS 32k(16384画素,300KHz/ライン)である。 The linear image sensor 3 is a Linea HS 32k (16384 pixels, 300 KHz/line) manufactured by Teledyne DALSA.

尚、本発明のイメージング方法におけるリニアイメージセンサは、理論上、単位素子が1次元的に2つ並んだものであってもよい。 In theory, the linear image sensor in the imaging method of the present invention may have two unit elements arranged one-dimensionally.

レンズ4は、両凸レンズであり、撮像対象10の像を空間光変調器2の変調面2aに結像させる。 Lens 4 is a biconvex lens that forms an image of the imaging target 10 on the modulation surface 2a of the spatial light modulator 2.

結像手段は、平凸型のシリンドリカルレンズ5であり、レンズ4により空間光変調器2の変調面2aに結像される撮像対象10の像と、空間光変調器2の変調面2aに出力される投影パターンを重畳させた光を集光しリニアイメージセンサ3に1次元的に結像させる。 The imaging means is a plano-convex cylindrical lens 5, which collects the image of the imaging target 10 formed on the modulation surface 2a of the spatial light modulator 2 by the lens 4 and the light that is a superimposed projection pattern output to the modulation surface 2a of the spatial light modulator 2, and forms a one-dimensional image on the linear image sensor 3.

尚、本実施例において、リニアイメージセンサ3の集光方向とは、シリンドリカルレンズ5により集光される方向、すなわちリニアイメージセンサ3の短手方向(図1参照)のことであり、リニアイメージセンサ3の集光方向と直交する方向とは、シリンドリカルレンズ5により集光されない方向、すなわちリニアイメージセンサ3の長手方向(図1参照)、言い換えればリニアイメージセンサ3を構成する単位素子が1次元的に並ぶ方向のことである。 In this embodiment, the light collecting direction of the linear image sensor 3 is the direction in which light is collected by the cylindrical lens 5, i.e., the short side direction of the linear image sensor 3 (see Figure 1), and the direction perpendicular to the light collecting direction of the linear image sensor 3 is the direction in which light is not collected by the cylindrical lens 5, i.e., the long side direction of the linear image sensor 3 (see Figure 1), in other words, the direction in which the unit elements that make up the linear image sensor 3 are arranged one-dimensionally.

(イメージング方法)
次に、本実施例におけるイメージング装置1を用いたイメージング方法について図2のフローチャートを用いて説明する。先ず、撮像対象10の像がレンズ4により空間光変調器2の変調面2aに結像(ステップS01)されると、空間光変調器2の変調面2aに予め設定された投影パターンの出力(ステップS02)が行われ、撮像対象10の像と空間光変調器2の変調面2aに出力される投影パターンを重畳させた光がシリンドリカルレンズ5によりリニアイメージセンサ3に1次元的に結像(ステップS03)される。
Imaging Methods
Next, an imaging method using the imaging device 1 in this embodiment will be described with reference to the flowchart in Fig. 2. First, an image of the imaging target 10 is formed on the modulation surface 2a of the spatial light modulator 2 by the lens 4 (step S01), a preset projection pattern is output to the modulation surface 2a of the spatial light modulator 2 (step S02), and light in which the image of the imaging target 10 and the projection pattern output to the modulation surface 2a of the spatial light modulator 2 are superimposed is one-dimensionally formed on the linear image sensor 3 by the cylindrical lens 5 (step S03).

次いで、リニアイメージセンサ3により1次元撮像データが取得(ステップS04)されると、当該1次元撮像データがA/Dコンバータ6によりアナログデータからデジタルデータに変換(ステップS05)され、デジタル変換された1次元撮像データが撮影時に空間光変調器2の変調面2aに出力された投影パターンデータと紐付けられてパーソナルコンピュータ7の記憶部に記憶(ステップS06)される。 Next, when one-dimensional imaging data is acquired by the linear image sensor 3 (step S04), the one-dimensional imaging data is converted from analog data to digital data by the A/D converter 6 (step S05), and the digitally converted one-dimensional imaging data is linked to the projection pattern data output to the modulation surface 2a of the spatial light modulator 2 during shooting and stored in the memory unit of the personal computer 7 (step S06).

次いで、パーソナルコンピュータ7は、記憶部に記憶された1次元撮像データの数が予め設定された撮影回数と同数に到達したか否かを判定(ステップS07)する。尚、記憶部に記憶された1次元撮像データの数が予め設定された撮影回数に到達するまで空間光変調器2の変調面2aに出力される投影パターンを変更しながらステップS02~S07が繰り返される。 Next, the personal computer 7 determines whether the number of one-dimensional imaging data stored in the storage unit has reached the same number as the preset number of times of shooting (step S07). Note that steps S02 to S07 are repeated while changing the projection pattern output to the modulation surface 2a of the spatial light modulator 2 until the number of one-dimensional imaging data stored in the storage unit reaches the preset number of times of shooting.

次いで、記憶部に記憶された1次元撮像データの数が予め設定された撮影回数に到達すると、解析部において上述した数式を使用して複数の1次元撮像データと投影パターンデータに基づいてリニアイメージセンサ3の集光方向に最適化計算(ステップS08)が行われ、その後、同じ数式を使用してリニアイメージセンサ3の集光方向に直交する方向に最適化計算(ステップS09)が行われる。 Next, when the number of one-dimensional imaging data stored in the memory unit reaches a preset number of shots, the analysis unit uses the above-mentioned formula to perform an optimization calculation (step S08) in the light-gathering direction of the linear image sensor 3 based on the multiple one-dimensional imaging data and the projection pattern data, and then uses the same formula to perform an optimization calculation (step S09) in the direction perpendicular to the light-gathering direction of the linear image sensor 3.

次いで、解析部において、ステップS0とステップS0における最適化計算の結果を組み合わせることにより画像再構成(ステップS10)が行われ、再構成された画像が表示部に表示(ステップS11)される。 Next, in the analysis section, image reconstruction (step S10) is performed by combining the results of the optimization calculations in steps S08 and S09 , and the reconstructed image is displayed on the display section (step S11).

尚、パーソナルコンピュータ7には、空間光変調器2が接続されており、予め設定された撮影回数および撮影毎に空間光変調器2の変調面2aに出力される投影パターン等の情報が共有されている。 The spatial light modulator 2 is connected to the personal computer 7, and information such as the preset number of shots and the projection pattern output to the modulation surface 2a of the spatial light modulator 2 for each shot is shared.

このように、本実施例におけるイメージング装置1を用いたイメージング方法は、撮像対象10の像と空間光変調器2の変調面2aに出力される複数の投影パターンを重畳させた光をシリンドリカルレンズ5により集光してリニアイメージセンサ3に1次元的に結像させることにより、リニアイメージセンサ3により取得される複数の1次元撮像データは、リニアイメージセンサ3の集光方向にはデータ圧縮されるが、集光方向と直交する方向にはデータ圧縮されず重複や欠損がない連続したデータとなることから、投影パターン毎に取得された複数の1次元撮像データに基づいてリニアイメージセンサ3の集光方向に最適化計算を行った後、リニアイメージセンサ3の集光方向と直交する方向に最適化計算を行い、これらの結果を組み合わせることにより、少ない投影パターン数で高速かつ高解像度に再構成画像を得ることができる。 In this way, the imaging method using the imaging device 1 in this embodiment involves concentrating the light, which is a superimposed image of the image of the object 10 and multiple projection patterns output to the modulation surface 2a of the spatial light modulator 2, using the cylindrical lens 5 to form a one-dimensional image on the linear image sensor 3.The multiple one-dimensional imaging data acquired by the linear image sensor 3 are compressed in the focusing direction of the linear image sensor 3, but are not compressed in the direction perpendicular to the focusing direction, resulting in continuous data without duplication or loss.Therefore, an optimization calculation is performed in the focusing direction of the linear image sensor 3 based on the multiple one-dimensional imaging data acquired for each projection pattern, and then an optimization calculation is performed in the direction perpendicular to the focusing direction of the linear image sensor 3.By combining these results, a reconstructed image can be obtained quickly and with high resolution using a small number of projection patterns.

本実施例におけるイメージング装置1を用いたイメージング方法が従来のSPIと比べて格段に撮影回数を減らした上で、解像度を高めた画像再構成が可能となるとともに、CCD・CMOSによる高速カメラ技術と比べて格段にフレームレートが高く、解像度を高めた画像再構成が可能となる理由として、撮像対象の像に投影パターンを重畳させた光を1つの単位素子からなるポイントセンサに結像させて撮影を行うSPIと比較すると、リニアイメージセンサ3は単位素子が1次元的に並んでいることにより単位素子の数が増えているため、1回の撮影で取得できる情報量が多くなる。詳しくは、リニアイメージセンサ3は単位素子が1次元的に並んでいるため、リニアイメージセンサ3の長手方向、すなわちリニアイメージセンサ3の集光方向と直交する方向における空間分解能が高くなっている。そのため、撮像対象10の像に投影パターンを重畳させた光をシリンドリカルレンズ5により集光しリニアイメージセンサ3に1次元的に結像することで取得される1次元撮像データは、集光方向にはデータ圧縮され、SPIと同様に解像度の低い点データと見なすことができ、集光方向と直交する方向にはデータ圧縮されず、重複や欠損がない高解像度の連続したデータと見なすことができる。 The imaging method using the imaging device 1 in this embodiment significantly reduces the number of times images are taken compared to conventional SPI, while enabling image reconstruction with increased resolution, and has a significantly higher frame rate compared to high-speed camera technology using CCD/CMOS. The reason why this enables image reconstruction with increased resolution is that, compared to SPI, which focuses light in which a projection pattern is superimposed on an image of an object to be captured on a point sensor consisting of a single unit element, the linear image sensor 3 has a larger number of unit elements due to the unit elements being arranged one-dimensionally, so that the amount of information that can be acquired in one capture is greater. In more detail, since the unit elements of the linear image sensor 3 are arranged one-dimensionally, the spatial resolution is higher in the longitudinal direction of the linear image sensor 3, i.e., in the direction perpendicular to the light collecting direction of the linear image sensor 3. Therefore, the one-dimensional imaging data obtained by collecting light with a projection pattern superimposed on the image of the imaging target 10 using a cylindrical lens 5 and forming a one-dimensional image on the linear image sensor 3 is compressed in the collecting direction and can be considered as low-resolution point data similar to SPI, but is not compressed in the direction perpendicular to the collecting direction and can be considered as high-resolution continuous data without duplication or loss.

このように、リニアイメージセンサ3により取得される1次元撮像データは、リニアイメージセンサ3の集光方向と直交する方向に重複や欠損がない連続した高解像度のデータであるため、1回の撮影で取得できる情報量が多く、投影パターン毎に取得された複数の1次元撮像データに基づいて最適化計算を行わなくても各データの関連性がある適度明らかな状態となっている。そのため、投影パターン毎に取得された複数の1次元撮像データから画像再構成を行うためには、少なくとも解像度の低い点データと見なすことができるリニアイメージセンサ3の集光方向のデータに基づいて最適化計算を行うことにより、集光方向のデータの関連性を求めればよいこととなり、結果的に画像再構成に必要な撮影回数を減らした上で、解像度を高めた画像再構成が可能となる。 In this way, the one-dimensional imaging data acquired by the linear image sensor 3 is continuous high-resolution data with no overlaps or missing parts in the direction perpendicular to the light collection direction of the linear image sensor 3, so a large amount of information can be acquired in one shooting, and the correlation between the data is reasonably clear even without performing optimization calculations based on the multiple one-dimensional imaging data acquired for each projection pattern. Therefore, in order to reconstruct an image from the multiple one-dimensional imaging data acquired for each projection pattern, it is sufficient to determine the correlation between the data in the light collection direction by performing optimization calculations based on the data in the light collection direction of the linear image sensor 3, which can be considered as at least low-resolution point data, and as a result, it is possible to reduce the number of shootings required for image reconstruction and reconstruct an image with increased resolution.

また、本実施例のイメージング装置1を用いたイメージング方法では、リニアイメージセンサ3の集光方向と、集光方向と直交する方向の2段階の最適化計算を行う上に、これらの最適化計算には同じ数式が使用されるため、より高速かつ高解像度に再構成画像を得ることができる。 In addition, in the imaging method using the imaging device 1 of this embodiment, two stages of optimization calculations are performed, one in the light collection direction of the linear image sensor 3 and the other in a direction perpendicular to the light collection direction, and the same formula is used for these optimization calculations, so that a reconstructed image can be obtained faster and with higher resolution.

ここで、本実施例のイメージング装置1を用いたイメージング方法と、CMOSによる高速カメラ技術との比較を行った結果について説明する。高速カメラ技術に使用されるイメージセンサとして、キャノン社製の120MXS CMOSセンサ(13272×9176画素)を使用した。尚、当該CMOSセンサは、フレームレート9.4fpsで、データの転送には11.3Gbpsが必要となる。対して、本実施例のイメージング装置1を構成するリニアイメージセンサ3は、Teledyne DALSA社製のLinea HS 32k(16384画素,300KHz/ライン)を使用した。尚、本実施例のイメージング装置1を用いたイメージング方法では、1ラインの50%の投影パターン数があれば十分高解像度の再構成画像(16384×16384画素)が得られることが発明者らによって検証されている。 Here, the results of a comparison between the imaging method using the imaging device 1 of this embodiment and high-speed camera technology using CMOS will be described. As the image sensor used in the high-speed camera technology, a 120MXS CMOS sensor (13272 x 9176 pixels) manufactured by Canon was used. The CMOS sensor has a frame rate of 9.4 fps, and requires 11.3 Gbps for data transfer. In contrast, the linear image sensor 3 constituting the imaging device 1 of this embodiment is a Linea HS 32k (16384 pixels, 300 KHz/line) manufactured by Teledyne DALSA. The inventors have verified that in the imaging method using the imaging device 1 of this embodiment, a sufficiently high-resolution reconstructed image (16384 x 16384 pixels) can be obtained with a number of projection patterns that is 50% of one line.

これらの条件で本実施例のイメージング装置1を用いたイメージング方法によるイメージング性能を見積もると、投影パターン数は8192回となるため、フレームレート37fps(≒300KHz/8192)の速度で、16384×16384画素の画像を取得できる見積もりとなる。このように、本実施例のイメージング装置1を用いたイメージング方法とは、CMOSによる高速カメラ技術と比べて格段に高フレームレートで解像度を高めた画像再構成が可能となることが確認された。 When estimating the imaging performance of the imaging method using the imaging device 1 of this embodiment under these conditions, the number of projection patterns is 8192, which means that an image of 16384 x 16384 pixels can be acquired at a frame rate of 37 fps (≒300 KHz/8192). In this way, it has been confirmed that the imaging method using the imaging device 1 of this embodiment enables image reconstruction with improved resolution at a significantly higher frame rate than high-speed CMOS camera technology.

また、本実施例のイメージング装置1を用いたイメージング方法によるデータの転送には、1Gbpsが必要となる。これは、本実施例のイメージング装置1を用いたイメージング方法には、暗にデータ圧縮の機能が備わっていることを示している。 In addition, data transfer using the imaging method using the imaging device 1 of this embodiment requires 1 Gbps. This indicates that the imaging method using the imaging device 1 of this embodiment implicitly has a data compression function.

また、本実施例のイメージング装置1を用いたイメージング方法と、SPIとの比較を行った結果について説明する。SPIで16384×16384画素の画像を再構成することを考えると、最適化手法(圧縮センシング)を使用した場合には再構成画像の画素数の約10%、すなわち約2680万回の投影パターン数が必要となり、深層学習の場合には再構成画像の画素数の約2%、すなわち540万回の投影パターン数が必要となる。本実施例のイメージング装置1を用いたイメージング方法では、16384×16384画素の画像を再構成するために必要な投影パターン数は8192回であることから、SPIと比べて格段に撮影回数を減らした上で解像度を高めた画像再構成が可能となることが確認された。 The results of a comparison between the imaging method using the imaging device 1 of this embodiment and SPI will be described. Considering reconstructing an image of 16384 x 16384 pixels with SPI, when using an optimization method (compressed sensing), about 10% of the number of pixels of the reconstructed image, i.e., about 26.8 million projection patterns, are required, and when using deep learning, about 2% of the number of pixels of the reconstructed image, i.e., 5.4 million projection patterns are required. With the imaging method using the imaging device 1 of this embodiment, the number of projection patterns required to reconstruct an image of 16384 x 16384 pixels is 8192, so it has been confirmed that it is possible to reconstruct an image with improved resolution while significantly reducing the number of shots compared to SPI.

尚、リニアイメージセンサ3は、1ラインのものを想定しているが、複数ラインのものを使用することにより、撮影回数をさらに減らして画像再構成を行うことができる。この場合、リニアイメージセンサのライン毎に受光角度が変化するため、ライン毎に最適化計算の数式における行列Aが設定される。 The linear image sensor 3 is assumed to be a single line sensor, but by using a multi-line sensor, the number of shots can be further reduced and image reconstruction can be performed. In this case, since the light receiving angle changes for each line of the linear image sensor, the matrix A in the optimization calculation formula is set for each line.

また、本実施例におけるイメージング装置1を用いたイメージング方法は、撮像対象10の像と複数の投影パターンを重畳させた光をシリンドリカルレンズ5によりリニアイメージセンサ3に1次元的に結像させることにより、機械的走査を必要としないため、様々な撮像対象のイメージングに適用できる。 In addition, the imaging method using the imaging device 1 in this embodiment can be applied to imaging of various imaging targets because it does not require mechanical scanning, by one-dimensionally focusing the image of the imaging target 10 and light in which multiple projection patterns are superimposed on the linear image sensor 3 using the cylindrical lens 5.

尚、本実施例においては、1つのリニアイメージセンサ3を用いて1次元撮像データから2次元画像を再構成する態様について説明してきたが、これに限らず、例えばリニアイメージセンサを複数配置して異なる角度から1次元撮像データをそれぞれ取得させることにより、三角測量の原理を応用して3次元画像を再構成してもよい。 In this embodiment, a two-dimensional image is reconstructed from one-dimensional imaging data using one linear image sensor 3. However, the present invention is not limited to this. For example, a three-dimensional image can be reconstructed by applying the principle of triangulation by arranging multiple linear image sensors and acquiring one-dimensional imaging data from different angles.

以上、本発明の実施例を図面により説明してきたが、具体的な構成はこれら実施例に限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。 Although the embodiments of the present invention have been described above with reference to the drawings, the specific configuration is not limited to these embodiments, and the present invention also includes modifications and additions that do not deviate from the gist of the present invention.

例えば、前記実施例では、2段階の最適化計算において同じ数式を使用する態様について説明したが、これに限らず、例えば集光方向と直交する方向の最適化計算において異なる数式が使用されてもよい。 For example, in the above embodiment, the same formula is used in two stages of optimization calculation, but this is not limiting, and for example, a different formula may be used in the optimization calculation in the direction perpendicular to the focusing direction.

また、前記実施例では、最適化計算の数式を用いた1次元撮像データの解析により画像再構成を行うものとして説明したが、深層学習により画像再構成を行ってもよい。 In addition, in the above embodiment, image reconstruction is performed by analyzing one-dimensional imaging data using an optimization calculation formula, but image reconstruction may also be performed by deep learning.

また、リニアイメージセンサは、単位素子が1次元的に連続して複数並んだものに限らず、SPIに使用されるポイントセンサが所定間隔置きに複数並んだものであってもよい。 In addition, the linear image sensor is not limited to a single unit element arranged in a continuous line, but may be a single point sensor arranged at a predetermined interval to be used in the SPI.

また、空間光変調器は、DMDに限らず、高精度かつ高速に変調を行うことができるものであればよい。 In addition, the spatial light modulator is not limited to a DMD, but can be anything that can perform modulation with high precision and high speed.

また、前記実施例では、撮像対象の像を空間光変調器の変調面に結像して投影パターンと重畳させる態様について説明したが、これに限らず、空間光変調器の変調面に出力された投影パターンを撮像対象に照射して撮像対象の像と重畳させてもよい。 In the above embodiment, the image of the object to be imaged is formed on the modulation surface of the spatial light modulator and superimposed on the projection pattern. However, the present invention is not limited to this. The projection pattern output to the modulation surface of the spatial light modulator may be irradiated onto the object to be imaged and superimposed on the image of the object to be imaged.

また、結像手段は、シリンドリカルレンズに限らず、リニアイメージセンサに撮像対象の像と投影パターンを重畳させた光を1次元的に結像できるように構成されるものであればよい。 The imaging means is not limited to a cylindrical lens, but may be anything that can one-dimensionally image the light in which the image of the object to be imaged and the projection pattern are superimposed on the linear image sensor.

また、撮像対象の像と投影パターンを重畳させた光は、少なくともリニアイメージセンサが感度を有する波長であればよく、撮像対象の像は、撮影用に設定された光源からの照射光により得られるものであっても、太陽光等の自然光により得られるものであってもよい。 In addition, the light that superimposes the image of the subject and the projection pattern only needs to be of a wavelength to which the linear image sensor is sensitive, and the image of the subject may be obtained by illumination light from a light source set for shooting, or may be obtained by natural light such as sunlight.

1 イメージング装置
2 空間光変調器
2a 変調面
3 リニアイメージセンサ
4 レンズ
5 シリンドリカルレンズ(結像手段)
6 A/Dコンバータ
7 パーソナルコンピュータ(解析手段)
10 撮像対象
1 Imaging device 2 Spatial light modulator 2a Modulation surface 3 Linear image sensor 4 Lens 5 Cylindrical lens (imaging means)
6 A/D converter 7 Personal computer (analysis means)
10. Imaging target

Claims (9)

撮像対象の像と複数の投影パターンを重畳させた光を単位素子が少なくとも2つ以上1次元的に並んだリニアイメージセンサに結像させるステップと、
前記リニアイメージセンサにより取得された複数の1次元撮像データに基づいて前記リニアイメージセンサの集光方向に最適化計算を行うステップと、を有することを特徴とするイメージング方法。
forming an image of the light, in which the image of the object to be imaged and the plurality of projection patterns are superimposed, on a linear image sensor having at least two unit elements arranged one-dimensionally;
and performing an optimization calculation for a light collection direction of the linear image sensor based on a plurality of one-dimensional imaging data acquired by the linear image sensor.
前記リニアイメージセンサの集光方向に最適化計算を行った後、前記集光方向と直交する方向に最適化計算を行うステップを有することを特徴とする請求項1に記載のイメージング方法。 The imaging method according to claim 1, further comprising a step of performing an optimization calculation in a direction perpendicular to the light collection direction of the linear image sensor after performing the optimization calculation in the light collection direction of the linear image sensor. 前記リニアイメージセンサの集光方向の最適化計算は、複数の前記投影パターンの照射を表す行列A、全変動を求める行列B、再構成される画像の集光方向のある1ラインを表すベクトルX^、撮影データを表すベクトルyを基に、数1に基づく演算を行い、撮影データと再構成される画像の集光方向のある1ラインの2乗誤差と、再構成される画像のある1ラインにおける全変動を最小化することを特徴とする請求項1または2に記載のイメージング方法。
Figure 0007599688000004
The imaging method according to claim 1 or 2, characterized in that the optimization calculation of the focusing direction of the linear image sensor is performed based on a matrix A representing the irradiation of the multiple projection patterns, a matrix B for determining the total variation, a vector X^ representing one line in the focusing direction of the image to be reconstructed, and a vector y representing the shooting data, by performing a calculation based on Equation 1, thereby minimizing the squared error of one line in the focusing direction between the shooting data and the reconstructed image, and the total variation in one line in the reconstructed image.
Figure 0007599688000004
前記リニアイメージセンサの集光方向の最適化計算と前記集光方向と直交する方向の最適化計算は、同じ数式が使用されることを特徴とする請求項3に記載のイメージング方法。 The imaging method according to claim 3, characterized in that the same formula is used for the optimization calculation of the light collection direction of the linear image sensor and the optimization calculation of the direction perpendicular to the light collection direction. 前記行列Aは、複数の前記投影パターンの照射と光学系により一次元に集光する物理的な撮影過程を表す行列の条件を含むことを特徴とする請求項3または4に記載のイメージング方法。 The imaging method according to claim 3 or 4, characterized in that the matrix A includes matrix conditions that represent the physical imaging process of irradiating the multiple projection patterns and one-dimensionally focusing the light by an optical system. 複数の投影パターンを出力する空間光変調器と、
単位素子が少なくとも2つ1次元的に並んだリニアイメージセンサと、
前記リニアイメージセンサに撮像対象の像と前記複数の投影パターンを重畳させた光を結像させる結像手段と、
前記リニアイメージセンサにより取得された複数の1次元撮像データに基づいて前記リニアイメージセンサの集光方向に最適化計算を行う解析手段と、を備えることを特徴とするイメージング装置。
a spatial light modulator that outputs a plurality of projection patterns;
a linear image sensor having at least two unit elements arranged one-dimensionally;
an imaging means for forming an image of an object to be imaged and light in which the plurality of projection patterns are superimposed on the linear image sensor;
and an analysis means for performing an optimization calculation for the light collecting direction of the linear image sensor based on a plurality of one-dimensional imaging data acquired by the linear image sensor.
前記解析手段は、前記リニアイメージセンサの集光方向に最適化計算を行った後、前記集光方向と直交する方向に最適化計算を行うことを特徴とする請求項6に記載のイメージング装置。 The imaging device according to claim 6, characterized in that the analysis means performs optimization calculations in the light collecting direction of the linear image sensor, and then performs optimization calculations in a direction perpendicular to the light collecting direction. 前記空間光変調器は、デジタルマイクロミラーデバイスであることを特徴とする請求項6に記載のイメージング装置。 The imaging device of claim 6, wherein the spatial light modulator is a digital micromirror device. 前記結像手段は、シリンドリカルレンズであることを特徴とする請求項6に記載のイメージング装置。 The imaging device according to claim 6, characterized in that the imaging means is a cylindrical lens.
JP2020182157A 2020-10-30 2020-10-30 Imaging method and imaging device Active JP7599688B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020182157A JP7599688B2 (en) 2020-10-30 2020-10-30 Imaging method and imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020182157A JP7599688B2 (en) 2020-10-30 2020-10-30 Imaging method and imaging device

Publications (2)

Publication Number Publication Date
JP2022072613A JP2022072613A (en) 2022-05-17
JP7599688B2 true JP7599688B2 (en) 2024-12-16

Family

ID=81603936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020182157A Active JP7599688B2 (en) 2020-10-30 2020-10-30 Imaging method and imaging device

Country Status (1)

Country Link
JP (1) JP7599688B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131211B (en) * 2022-07-04 2024-09-06 威海华菱光电股份有限公司 Image synthesizing method, image synthesizing device, portable scanner and nonvolatile storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004077819A1 (en) 2003-02-25 2004-09-10 Matsushita Electric Industrial Co., Ltd. Optical sensor
WO2019210431A1 (en) 2018-05-03 2019-11-07 The Governing Council Of The University Of Toronto Method and system for optimizing depth imaging
JP2020136837A (en) 2019-02-15 2020-08-31 日本放送協会 Imaging device for 3D images and imaging display device for 3D images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004077819A1 (en) 2003-02-25 2004-09-10 Matsushita Electric Industrial Co., Ltd. Optical sensor
WO2019210431A1 (en) 2018-05-03 2019-11-07 The Governing Council Of The University Of Toronto Method and system for optimizing depth imaging
JP2020136837A (en) 2019-02-15 2020-08-31 日本放送協会 Imaging device for 3D images and imaging display device for 3D images

Also Published As

Publication number Publication date
JP2022072613A (en) 2022-05-17

Similar Documents

Publication Publication Date Title
JP4915859B2 (en) Object distance deriving device
JP5988790B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
KR20130102550A (en) Method for producing super-resolution images and nonlinear digital filter for implementing same
JP5237978B2 (en) Imaging apparatus and imaging method, and image processing method for the imaging apparatus
JP2008242658A (en) 3D object imaging device
CN102112846A (en) Image photographing device, distance computing method for device, and focused image acquiring method
JP2014158258A (en) Image processing apparatus, image capturing apparatus, image processing method, and program
JP2021007247A5 (en)
JP2016009062A (en) IMAGING DEVICE, CONTROL DEVICE, CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2009115541A (en) Distance measuring device and distance measuring method
JP7198110B2 (en) Imaging device for three-dimensional images and imaging display device for three-dimensional images
CN111781733A (en) Multi-layer complex domain imaging method and device based on light wave modulation and phase recovery
JP7599688B2 (en) Imaging method and imaging device
JP6418770B2 (en) Image processing apparatus, imaging apparatus, image processing method, program, and storage medium
JP6185819B2 (en) Image processing apparatus, image processing method, and program
JP2020009180A (en) Information processing apparatus, imaging apparatus, image processing method, and program
EP3143583B1 (en) System and method for improved computational imaging
WO2020154806A1 (en) Single-shot compressed optical-streaking ultra-high-speed photography method and system
Jang et al. 3D image correlator using computational integral imaging reconstruction based on modified convolution property of periodic functions
KR102258774B1 (en) Infrared image measurement devices and method
CN115812178A (en) High-speed imaging device and imaging method
KR100927236B1 (en) A recording medium that can be read by a computer on which an image restoring method, an image restoring apparatus and a program for executing the image restoring method are recorded.
US11689821B2 (en) Incoherent Fourier ptychographic super-resolution imaging system with priors
CN120380772A (en) Image processing device, image processing method, and program
JP3844718B2 (en) Image detection method and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241127

R150 Certificate of patent or registration of utility model

Ref document number: 7599688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150