Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7346188B2 - Synthetic aperture radar device - Google Patents
[go: Go Back, main page]

JP7346188B2 - Synthetic aperture radar device - Google Patents

Synthetic aperture radar device Download PDF

Info

Publication number
JP7346188B2
JP7346188B2 JP2019167959A JP2019167959A JP7346188B2 JP 7346188 B2 JP7346188 B2 JP 7346188B2 JP 2019167959 A JP2019167959 A JP 2019167959A JP 2019167959 A JP2019167959 A JP 2019167959A JP 7346188 B2 JP7346188 B2 JP 7346188B2
Authority
JP
Japan
Prior art keywords
target
image
synthetic aperture
range
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019167959A
Other languages
Japanese (ja)
Other versions
JP2021047019A (en
Inventor
晋一 竹谷
成 三上
智士 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2019167959A priority Critical patent/JP7346188B2/en
Publication of JP2021047019A publication Critical patent/JP2021047019A/en
Application granted granted Critical
Publication of JP7346188B2 publication Critical patent/JP7346188B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明の実施形態は、合成開口レーダ装置に関する。 Embodiments of the present invention relate to a synthetic aperture radar device.

合成開口レーダ(Synthetic Aperture Radar:SAR)又は逆合成開口レーダ(Inverse Synthetic Aperture Radar:ISAR)で得られる画像において、周期的に送信されるレーダ波を反射する反射点であって目標の形状を示す反射点のうち、レーダから遠い反射点の輝度がレーダから近い反射点の輝度より低くなることがある。例えば、移動する船舶を観測するISARで得られる画像では、船舶における反射点のうちレーダから遠い反射点の輝度が低くなるために、船舶の形状や全長を画像から確認しづらくなる場合があった。 In images obtained by synthetic aperture radar (SAR) or inverse synthetic aperture radar (ISAR), a reflection point that reflects periodically transmitted radar waves and indicates the shape of the target. Among the reflection points, the brightness of a reflection point far from the radar may be lower than the brightness of a reflection point close to the radar. For example, in images obtained by ISAR that observes moving ships, the brightness of the reflection points on the ship that are far from the radar is low, making it sometimes difficult to confirm the shape and overall length of the ship from the image. .

また、船舶の形状や船舶が移動する方向によって各反射点の輝度にばらつきが生じる場合がある。このような場合に、高い輝度を基準にして画像における各反射点の輝度を調整すると、低い輝度の反射点の視認性が低下することがある。また、低い輝度を基準にして画像における各反射点の輝度を調整すると、輝度が飽和して船舶の形状及び全長の視認性が低下することがある。 Further, the brightness of each reflection point may vary depending on the shape of the ship and the direction in which the ship moves. In such a case, if the brightness of each reflection point in the image is adjusted based on the high brightness, the visibility of the reflection points with low brightness may decrease. Furthermore, if the brightness of each reflection point in the image is adjusted based on low brightness, the brightness may become saturated and the visibility of the shape and overall length of the ship may deteriorate.

ISARで得られる画像におけるドップラ軸方向の広がりは、レーダ波の送信期間におけるレーダに対する船舶のヨー、ピッチ、ロールの各軸の回転量に比例する。そのため、送信期間における船舶の回転量が少ない場合、ドップラ軸方向の広がりが小さくなり、船舶の形状及び全長の視認性が低下する場合があった。 The spread in the Doppler axis direction of an image obtained by ISAR is proportional to the amount of rotation of the ship in the yaw, pitch, and roll axes with respect to the radar during the radar wave transmission period. Therefore, when the amount of rotation of the ship during the transmission period is small, the spread in the Doppler axial direction becomes small, and the visibility of the shape and overall length of the ship may deteriorate.

特許第4908291号公報Patent No. 4908291

大内和夫、「リモートセンシングのための合成開口レーダの基礎」、(5.4 パルス圧縮技術を使ったレンジ方向の画像生成)、東京電機大学出版局、pp.131-149、2004年Kazuo Ouchi, "Fundamentals of synthetic aperture radar for remote sensing" (5.4 Image generation in the range direction using pulse compression technology), Tokyo Denki University Press, pp. 131-149, 2004 大内和夫、「リモートセンシングのための合成開口レーダの基礎」、(6.3 時間領域での合成開口処理)、東京電機大学出版局、pp.171-176、2004年Kazuo Ouchi, "Basics of synthetic aperture radar for remote sensing" (6.3 Synthetic aperture processing in the time domain), Tokyo Denki University Press, pp. 171-176, 2004 吉田孝 監修、「改訂 レーダ技術」、(11.3.1 合成開口レーダ)、電子情報通信学会、pp.280-283、1996年Supervised by Takashi Yoshida, “Revised Radar Technology” (11.3.1 Synthetic Aperture Radar), Institute of Electronics, Information and Communication Engineers, pp. 280-283, 1996 D. E. WAHL et al., "Phase Gradient Autofocus - A Robust Tool for High Resolution SAR Phase Correction", IEEE Transaction on Aerospace and Electronic systems, Vol. 30, No. 3, pp.827-835, July 1994D. E. WAHL et al., "Phase Gradient Autofocus - A Robust Tool for High Resolution SAR Phase Correction", IEEE Transaction on Aerospace and Electronic systems, Vol. 30, No. 3, pp.827-835, July 1994

本発明が解決しようとする課題は、得られる画像における目標の視認性を向上させる合成開口レーダ装置を提供することである。 The problem to be solved by the present invention is to provide a synthetic aperture radar device that improves the visibility of a target in an obtained image.

実施形態の合成開口レーダ装置は、目標軸抽出部と、画像補正部と、を持つ。合成開口レーダ装置は、画像化範囲に向けて送信した信号の反射波を合成開口処理して画像化する。目標軸抽出部は、反射波から得られるレンジ-ドップラ軸の2次元データを輝度値に変換した画像に示される目標の形状に沿った方向を画像から抽出する。画像補正部は、目標を含み目標の形状に沿った方向で定まる範囲における輝度値を調整する。画像補正部は、目標の形状に沿った方向に応じて定まる補正マトリクスを画像に乗じることにより、画像において目標の像をドップラ軸方向に沿って拡大する。 The synthetic aperture radar device of the embodiment includes a target axis extraction section and an image correction section. A synthetic aperture radar device performs synthetic aperture processing on reflected waves of signals transmitted toward an imaging range to create an image. The target axis extraction unit extracts from the image a direction along the shape of the target shown in the image obtained by converting the two-dimensional data of the range-Doppler axis obtained from the reflected wave into a luminance value. The image correction unit adjusts the brightness value in a range including the target and determined in a direction along the shape of the target. The image correction unit enlarges the image of the target along the Doppler axis direction in the image by multiplying the image by a correction matrix determined according to a direction along the shape of the target.

従来技術におけるスポットライトマッピング方式の概要を示す図。FIG. 2 is a diagram showing an overview of a spotlight mapping method in the prior art. 第1の実施形態における合成開口レーダ装置の構成例を示す図。FIG. 1 is a diagram illustrating a configuration example of a synthetic aperture radar device in a first embodiment. 第1の実施形態において得られる画像の一例を示す図。The figure which shows an example of the image obtained in 1st Embodiment. 第1の実施形態における目標軸抽出部及び画像補正部による処理を示すフローチャート。5 is a flowchart showing processing by a target axis extraction unit and an image correction unit in the first embodiment. 第1の実施形態における目標軸抽出部による目標軸を抽出する処理の概要を示す図。FIG. 3 is a diagram showing an overview of processing for extracting a target axis by a target axis extraction unit in the first embodiment. 第1の実施形態における目標軸抽出部が目標の像の中心を検出する処理の一例を示す図。FIG. 7 is a diagram showing an example of a process in which the target axis extraction unit detects the center of the target image in the first embodiment. 第2の実施形態における目標軸抽出部及び画像補正部による処理を示すフローチャート。7 is a flowchart showing processing by a target axis extraction unit and an image correction unit in the second embodiment. 第2の実施形態における画像補正部が決定する輝度調整範囲の一例を示す図。FIG. 7 is a diagram illustrating an example of a brightness adjustment range determined by an image correction unit in the second embodiment. 第3の実施形態における目標軸抽出部及び画像補正部による処理を示すフローチャート。12 is a flowchart showing processing by a target axis extraction section and an image correction section in the third embodiment. 第4の実施形態における目標軸抽出部及び画像補正部による処理を示すフローチャート。12 is a flowchart showing processing by a target axis extraction section and an image correction section in the fourth embodiment. 第4の実施形態における補正マトリクスを説明する図。FIG. 7 is a diagram illustrating a correction matrix in a fourth embodiment. 第4の実施形態における補正の一例を示す図。FIG. 7 is a diagram showing an example of correction in the fourth embodiment. 第5の実施形態における画像補正部による処理を示すフローチャート。12 is a flowchart showing processing by an image correction unit in the fifth embodiment. 第5の実施形態における変換の概要を示すグラフ。7 is a graph showing an overview of conversion in the fifth embodiment. 第6の実施形態における画像補正部による処理を示すフローチャート。10 is a flowchart showing processing by an image correction unit in a sixth embodiment. 第6の実施形態における変換の一例を示すグラフ。7 is a graph showing an example of conversion in the sixth embodiment. 第7の実施形態における画像補正部による処理を示すフローチャート。12 is a flowchart showing processing by an image correction unit in the seventh embodiment. 第7の実施形態における処理の一例を示す図。FIG. 7 is a diagram illustrating an example of processing in the seventh embodiment. 第8の実施形態における画像補正部による処理を示すフローチャート。10 is a flowchart showing processing by an image correction unit in the eighth embodiment. 第8の実施形態における変換の一例を示すグラフ。A graph showing an example of conversion in the eighth embodiment. 第9の実施形態における画像補正部による処理を示すフローチャート。12 is a flowchart showing processing by an image correction unit in the ninth embodiment. 第9の実施形態における変換の一例を示すグラフ。A graph showing an example of conversion in the ninth embodiment.

以下、実施形態の合成開口レーダ装置を、図面を参照して説明する。以下の実施形態では、同一の符号を付した構成要素は同様の動作を行うものとして、重複する説明を適宜省略する。本実施形態の合成開口レーダ装置において用いられるSAR方式について説明する。図1は、スポットライトマッピング方式の概要を示す図である(非特許文献3)。スポットライトマッピング方式では、航空機などに搭載されたレーダ装置が実開口ビームを画像化対象範囲に向けて常に照射するように実開口ビームを制御する。合成開口時間(1サイクル)においてPRI(Pulse Repetition Interval)間隔で送信したパルスごとにPRI内のレンジセル単位でデータを取得する。合成開口レーダ装置は、取得したデータを用いたSAR処理を行うことで画像を取得する。 Hereinafter, a synthetic aperture radar device according to an embodiment will be described with reference to the drawings. In the following embodiments, components with the same reference numerals perform similar operations, and redundant explanations will be omitted as appropriate. The SAR method used in the synthetic aperture radar device of this embodiment will be described. FIG. 1 is a diagram showing an overview of the spotlight mapping method (Non-Patent Document 3). In the spotlight mapping method, a radar device mounted on an aircraft or the like controls a real aperture beam so that the real aperture beam is always directed toward an imaging target area. Data is acquired for each range cell within the PRI for each pulse transmitted at PRI (Pulse Repetition Interval) intervals during the synthetic aperture time (one cycle). A synthetic aperture radar device acquires an image by performing SAR processing using the acquired data.

ここでは、実開口ビームを常に画像化対象範囲に向けて照射するスポットライトマッピング方式について例示したが、本実施形態の合成開口レーダ装置は、SAR処理で画像を得ることができれば、他の方式(ストリップマップ方式、スクイントモードマッピング方式など)を用いてもよい。また、図1では記載を簡単にするために平面(2次元)で例示しているが、本実施形態の合成開口レーダ装置は3次元空間における任意の点を画像化中心とした空間を観測範囲として目標の検出や観測を行う。また、本実施形態の合成開口レーダ装置は、自装置が移動せずに、画像化対象範囲における移動する目標を観測してもよい。すなわち、合成開口レーダ装置は、観測対象の目標の移動や姿勢変化を利用する逆合成開口レーダとして動作してもよい。 Although a spotlight mapping method in which a real aperture beam is always directed toward the imaging target range has been illustrated here, the synthetic aperture radar device of this embodiment can also use other methods ( A strip map method, a squint mode mapping method, etc.) may also be used. In addition, although FIG. 1 is illustrated as a plane (two-dimensional) to simplify the description, the synthetic aperture radar device of this embodiment has an observation range that covers a space centered on an arbitrary point in three-dimensional space. Detect and observe targets. Further, the synthetic aperture radar device of this embodiment may observe a moving target in the imaging target range without moving itself. That is, the synthetic aperture radar device may operate as a reverse synthetic aperture radar that utilizes the movement or attitude change of the target to be observed.

(第1の実施形態)
図2は、第1の実施形態における合成開口レーダ装置100の構成例を示す図である。合成開口レーダ装置100は、送信部1、サーキュレータ2、アンテナ3、ビーム制御部4、周波数変換器5、AD変換器6、レンジ圧縮部7、クロスレンジ圧縮部8、オートフォーカス処理部9、目標軸抽出部10、及び画像補正部11を備える。送信部1は、サーキュレータ2を介して、生成した送信信号をアンテナ3に供給する。送信信号は、観測範囲である画像化範囲に向けられたビーム方向にアンテナ3からレーダ波として送出される。送信信号の生成には、所定の符号系列を用いた符号変調や、所定の周波数範囲で周波数を一定に変化させる線形周波数変調などが用いられる。例えば、送信信号として、符号変調されたパルスのチャープ信号が用いられる。
(First embodiment)
FIG. 2 is a diagram showing a configuration example of the synthetic aperture radar device 100 in the first embodiment. The synthetic aperture radar device 100 includes a transmitter 1, a circulator 2, an antenna 3, a beam controller 4, a frequency converter 5, an AD converter 6, a range compressor 7, a cross range compressor 8, an autofocus processor 9, and a target. It includes an axis extraction section 10 and an image correction section 11. The transmitter 1 supplies the generated transmission signal to the antenna 3 via the circulator 2. The transmission signal is sent out as a radar wave from the antenna 3 in a beam direction directed toward an imaging range, which is an observation range. Code modulation using a predetermined code sequence, linear frequency modulation in which the frequency is constantly changed within a predetermined frequency range, and the like are used to generate the transmission signal. For example, a code-modulated pulse chirp signal is used as the transmission signal.

アンテナ3のビーム方向は、ビーム制御部4によって制御される。アンテナ3としてアレイアンテナが用いられる場合、ビーム制御部4は、観測範囲にビーム方向を向けるように決定された移相量を示す制御信号をアレイアンテナに供給する。また、アンテナ3としてパラボラアンテナが用いられる場合、パラボラアンテナの指向方向を観測範囲に向けるように台座の機械機構を制御する。アンテナ3には、観測範囲にビーム方向を向けることができる任意のアンテナを用いればよい。 The beam direction of the antenna 3 is controlled by a beam controller 4. When an array antenna is used as the antenna 3, the beam control unit 4 supplies the array antenna with a control signal indicating the amount of phase shift determined to direct the beam direction to the observation range. Furthermore, when a parabolic antenna is used as the antenna 3, the mechanical mechanism of the pedestal is controlled to direct the parabolic antenna toward the observation range. As the antenna 3, any antenna that can direct the beam direction to the observation range may be used.

アンテナ3により受信された受信信号は、サーキュレータ2を介して周波数変換器5に供給される。観測対象となる目標が観測範囲に位置する場合、レーダ波が目標で反射された反射波の成分が含まれる。周波数変換器5は、サーキュレータ2を介して供給される受信信号をベースバンドの信号へダウンコンバートし、ダウンコンバートにより得られるベースバンド信号をAD変換器6に供給する。AD変換器6は、ベースバンド信号をディジタル信号に変換してレンジ圧縮部7へ供給する。AD変換器6におけるサンプリング周波数は、送信信号の帯域幅に応じて定められる。レンジ圧縮部7は、送信信号に対応する参照信号を用いたパルス圧縮をディジタル信号に施す。レンジ圧縮部7は、パルス圧縮により得られた信号をクロスレンジ圧縮部8に供給する。クロスレンジ圧縮部8は、合成開口長に基づく参照信号を用いた相関処理を、レンジ圧縮部7から供給される信号に施す。クロスレンジ圧縮部8は、相関処理により得られた信号をSAR画像に変換してオートフォーカス処理部9に供給する。 A received signal received by antenna 3 is supplied to frequency converter 5 via circulator 2 . When a target to be observed is located within the observation range, the radar wave includes a reflected wave component that is reflected by the target. The frequency converter 5 down-converts the received signal supplied via the circulator 2 to a baseband signal, and supplies the baseband signal obtained by the down-conversion to the AD converter 6. The AD converter 6 converts the baseband signal into a digital signal and supplies it to the range compression section 7. The sampling frequency in the AD converter 6 is determined according to the bandwidth of the transmission signal. The range compression unit 7 performs pulse compression on the digital signal using a reference signal corresponding to the transmission signal. The range compression section 7 supplies the signal obtained by pulse compression to the cross range compression section 8. The cross-range compression section 8 performs correlation processing on the signal supplied from the range compression section 7 using a reference signal based on the synthetic aperture length. The cross-range compression unit 8 converts the signal obtained by the correlation processing into a SAR image and supplies the SAR image to the autofocus processing unit 9.

オートフォーカス処理部9は、公知の技術、例えば、非特許文献4に記載されたPGA(Phase Gradient Autofocus)又は特許文献1に記載されたレンジセルごとの逆フィルタ法を用いて、SAR画像の画質を向上させる。オートフォーカス処理部9は、画質が向上したSAR画像を目標軸抽出部10に供給する。目標軸抽出部10は、SAR画像(以下、単に「画像」ともいう。)に含まれる目標の形状に沿った軸を抽出する。目標軸抽出部10は、抽出した目標の軸を示す情報と、画像とを画像補正部11に供給する。画像補正部11は、供給される情報と画像とを用いて、画像における目標の視認性を向上させて画像の画質を改善する。画像補正部11は、画質が改善した画像を出力する。例えば、画像補正部11は、表示装置に画像を供給して画像を表示させてもよいし、記憶装置に画像を供給して画像を記憶させてもよい。 The autofocus processing unit 9 uses a known technique, for example, PGA (Phase Gradient Autofocus) described in Non-Patent Document 4 or the inverse filter method for each range cell described in Patent Document 1, to improve the image quality of the SAR image. Improve. The autofocus processing unit 9 supplies the SAR image with improved image quality to the target axis extraction unit 10. The target axis extraction unit 10 extracts an axis along the shape of the target included in the SAR image (hereinafter also simply referred to as "image"). The target axis extraction unit 10 supplies information indicating the extracted target axis and the image to the image correction unit 11. The image correction unit 11 uses the supplied information and the image to improve the visibility of the target in the image and improve the image quality of the image. The image correction unit 11 outputs an image with improved image quality. For example, the image correction unit 11 may supply the image to a display device to display the image, or may supply the image to a storage device to store the image.

以下、SAR画像を生成する手法について説明するが、他の手法を用いてもよい。レンジ圧縮部7は、AD変換部から供給されるディジタル信号と、レンジ圧縮用の参照信号との相関を算出する相関処理を行う(非特許文献1)。ディジタル信号を以下、「入力信号」という。相関処理が周波数領域で行われる場合の処理を定式化すると式(1-1)~(1-3)で表せる。 A method of generating a SAR image will be described below, but other methods may be used. The range compression unit 7 performs correlation processing to calculate the correlation between the digital signal supplied from the AD conversion unit and the reference signal for range compression (Non-Patent Document 1). The digital signal is hereinafter referred to as an "input signal." The processing when correlation processing is performed in the frequency domain can be formulated as Equations (1-1) to (1-3).

Figure 0007346188000001
式(1-1)~(1-3)において、sig(t,u)は、入力信号を表し、FFTx[・]はt軸(fast-time軸)に対するフーリエ変換を表す。Sin(ω,u)は、入力信号sig(t,u)に対するt軸のフーリエ変換の結果を表す。Sref(ω,u)は、参照信号に対するt軸のフーリエ変換の結果を表す。fは、送信信号の周波数を表し、μは、送信信号を生成するときの線形周波数変調における周波数勾配(B/τ)を表す。B及びτは、それぞれ送信信号の周波数帯域幅及びパルス幅を表す。tは、AD変換器6におけるサンプリング間隔を表す。uは、合成開口長のサンプル点を表す。Aの右肩上付き「*」は、複素共役を表す。
Figure 0007346188000001
In equations (1-1) to (1-3), sig(t, u) represents an input signal, and FFTx[·] represents Fourier transform with respect to the t-axis (fast-time axis). Sin(ω,u) represents the result of t-axis Fourier transform for the input signal sig(t,u). Sref (ω, u) represents the result of t-axis Fourier transform for the reference signal. f represents the frequency of the transmission signal, and μ represents the frequency gradient (B/τ) in linear frequency modulation when generating the transmission signal. B and τ represent the frequency bandwidth and pulse width of the transmission signal, respectively. t represents the sampling interval in the AD converter 6. u represents the sample point of the synthetic aperture length. The superscript “*” in A * represents a complex conjugate.

相関処理の結果s(ω,u)を時間領域の信号に戻すには、s(ω,u)に対してω軸(レンジ軸)に対する逆フーリエ変換を行えばよい。しかし、クロスレンジ圧縮部8においてクロスレンジ圧縮(非特許文献2)を行うために、レンジ圧縮部7は、ω軸及びu軸上の信号s(ω,u)をそのままクロスレンジ圧縮部8に供給する。クロスレンジ圧縮部8は、クロスレンジの参照信号fs0を生成する。参照信号fs0は、式(2-1)及び(2-2)により得られる。 In order to return the correlation processing result s(ω, u) to a time domain signal, it is sufficient to perform an inverse Fourier transform on s(ω, u) with respect to the ω axis (range axis). However, in order to perform cross-range compression (non-patent document 2) in the cross-range compression unit 8, the range compression unit 7 directly transmits the signal s(ω, u) on the ω-axis and the u-axis to the cross-range compression unit 8. supply The cross-range compression unit 8 generates a cross-range reference signal fs0. Reference signal fs0 is obtained by equations (2-1) and (2-2).

Figure 0007346188000002
式(2-1)及び(2-2)において、Xc及びYcは、観測範囲の中心である画像化中心の位置(座標)を表す。uは、合成開口長のサンプル点を表す。k(=2π/λ)及びλは、それぞれ送信信号の周波数及び波長を表す。jは、虚数単位である。
Figure 0007346188000002
In equations (2-1) and (2-2), Xc and Yc represent the position (coordinates) of the imaging center, which is the center of the observation range. u represents the sample point of the synthetic aperture length. k (=2π/λ) and λ represent the frequency and wavelength of the transmission signal, respectively. j is an imaginary unit.

クロスレンジ圧縮部8は、信号s(ω,u)と参照信号fs0とを乗算して信号cs(ω,u)を算出する。信号cs(ω,u)は、式(3)で表される。 The cross-range compression unit 8 calculates a signal cs(ω, u) by multiplying the signal s(ω, u) and the reference signal fs0. The signal cs(ω, u) is expressed by equation (3).

Figure 0007346188000003
Figure 0007346188000003

クロスレンジ圧縮部8は、信号cs(ω,u)のu軸(slow-time軸)に関するFFTにより、信号fcs(ω,ku)を算出する。信号fcs(ω,ku)は、式(4)で表される。 The cross-range compression unit 8 calculates the signal fcs(ω, ku) by performing FFT on the u-axis (slow-time axis) of the signal cs(ω, u). The signal fcs(ω, ku) is expressed by equation (4).

Figure 0007346188000004
Figure 0007346188000004

出力としてのSAR画像fp(t,ku)は、信号fcs(ω,ku)のω軸に関する逆FFTにより算出される。画像fp(t,ku)は式(5)で表される。画像fp(t,ku)の位置(t,ku)における振幅を輝度値としてもよいし、所定の変換式により振幅から輝度値が算出されるようにしてもよい。 The SAR image fp(t, ku) as an output is calculated by inverse FFT regarding the ω axis of the signal fcs(ω, ku). Image fp(t, ku) is expressed by equation (5). The amplitude at the position (t, ku) of the image fp(t, ku) may be used as the brightness value, or the brightness value may be calculated from the amplitude using a predetermined conversion formula.

Figure 0007346188000005
式(5)において、IFFTx[・]は、ω軸(レンジ軸)に関する逆FFTを表す。
Figure 0007346188000005
In Equation (5), IFFTx[•] represents an inverse FFT regarding the ω axis (range axis).

合成開口レーダ装置100では、クロスレンジ圧縮(アジマス圧縮)が行われた後に、更にSAR画像の画質を向上させるオートフォーカス処理を行う。オートフォーカス処理部9は、クロスレンジ圧縮部8から供給される画像fp(t,ku)にPGA(非特許文献4)や逆フィルタ法(特許文献1)を施して画質を向上させる。 In the synthetic aperture radar device 100, after cross-range compression (azimuth compression) is performed, autofocus processing is performed to further improve the image quality of the SAR image. The autofocus processing unit 9 performs PGA (non-patent document 4) or the inverse filter method (patent document 1) on the image fp(t, ku) supplied from the cross-range compression unit 8 to improve the image quality.

図3は、第1の実施形態において得られる画像の一例を示す図である。レンジ圧縮及びクロスレンジ圧縮により、目標の像を含むレンジ-ドップラ軸の画像が生成される。船舶や航空機などの目標の形状を表す反射点のうち合成開口レーダ装置100から遠い側の反射点で反射された反射波の強度が低いため、遠い側の反射点の画像輝度が低くなる場合がある。合成開口レーダ装置100は、このような場合における画像であっても、目標の視認性を向上させる。合成開口レーダ装置100では、目標軸抽出部10が画像に含まれる目標の像から目標の形状に沿った軸を抽出し、画像補正部11が、抽出された軸を基準に目標の反射点の画像輝度を調整することで、目標の視認性を向上させる。以下、目標の形状に沿った軸を「目標軸」という。例えば、船舶や航空機などの目標の長手方向が、目標軸となる。 FIG. 3 is a diagram showing an example of an image obtained in the first embodiment. Range compression and cross-range compression produce a range-Doppler axis image that includes an image of the target. Among the reflection points representing the shape of a target such as a ship or an aircraft, the intensity of the reflected wave reflected at the reflection point on the side far from the synthetic aperture radar device 100 is low, so the image brightness of the reflection point on the far side may be low. be. The synthetic aperture radar device 100 improves the visibility of the target even in images in such a case. In the synthetic aperture radar device 100, the target axis extraction unit 10 extracts an axis along the shape of the target from the target image included in the image, and the image correction unit 11 calculates the reflection point of the target based on the extracted axis. Improve target visibility by adjusting image brightness. Hereinafter, the axis along the target shape will be referred to as the "target axis." For example, the longitudinal direction of a target such as a ship or an aircraft serves as the target axis.

図4及び図5を用いて目標軸抽出部10及び画像補正部11が行う処理を説明する。図4は、第1の実施形態における目標軸抽出部10及び画像補正部11による処理を示すフローチャートである。図5は、第1の実施形態における目標軸抽出部10による目標軸を抽出する処理の概要を示す図である。 The processing performed by the target axis extraction section 10 and the image correction section 11 will be explained using FIGS. 4 and 5. FIG. 4 is a flowchart showing processing by the target axis extraction section 10 and the image correction section 11 in the first embodiment. FIG. 5 is a diagram illustrating an overview of the process of extracting a target axis by the target axis extraction unit 10 in the first embodiment.

目標軸抽出部10は、オートフォーカス処理部9から画像が供給されると、画像に含まれる目標の像を画像の中心に移動(シフト)させる目標中心化を行う(ステップS11)。目標中心化の処理では、目標軸抽出部10は、画像における目標の像の中心を検出する。図6は、第1の実施形態における目標軸抽出部10が目標の像の中心を検出する処理の一例を示す図である。目標軸抽出部10は、図6に示すように、レンジ軸(X軸)とドップラ軸(Y軸)とのそれぞれに対して振幅を投影し、投影された振幅が予め定められた振幅スレッショルドを超えた範囲を目標範囲として抽出する。目標軸抽出部10は、目標範囲の中心を目標の像の中心(Xtc,Ytc)として算出する。目標軸抽出部10は、目標の像の中心(Xtc,Ytc)が画像の中心(Xc,Yc)となるように、画像における目標の像を移動させる。 When the target axis extraction unit 10 receives the image from the autofocus processing unit 9, it performs target centering to move (shift) the image of the target included in the image to the center of the image (step S11). In the target centering process, the target axis extraction unit 10 detects the center of the target image in the image. FIG. 6 is a diagram illustrating an example of a process in which the target axis extraction unit 10 detects the center of the target image in the first embodiment. As shown in FIG. 6, the target axis extraction unit 10 projects the amplitude onto each of the range axis (X-axis) and the Doppler axis (Y-axis), and makes sure that the projected amplitude exceeds a predetermined amplitude threshold. Extract the exceeded range as the target range. The target axis extraction unit 10 calculates the center of the target range as the center of the target image (Xtc, Ytc). The target axis extraction unit 10 moves the target image in the image so that the center (Xtc, Ytc) of the target image becomes the center (Xc, Yc) of the image.

なお、レンジ軸及びドップラ軸への振幅の投影は、最大の振幅値が得られるようにしてもよいし、投影される振幅の総和が得られるようにしてもよい。また、振幅スレッショルドは、画像におけるノイズの振幅に基づいて定めてもよい。例えば、ノイズの平均又は分散を用いて定めてもよい。また、レンジ軸及びドップラ軸ごとに異なる振幅スレッショルドを用いてもよい。 Note that the amplitude may be projected onto the range axis and the Doppler axis so that the maximum amplitude value is obtained, or the sum of the projected amplitudes may be obtained. Additionally, the amplitude threshold may be determined based on the amplitude of noise in the image. For example, it may be determined using the average or variance of noise. Also, different amplitude thresholds may be used for the range and Doppler axes.

目標軸抽出部10は、ステップS11の目標中心化で得られた画像に対して、予め定められた複数のテンプレート画像を用いることで、画像に含まれる目標の目標軸及幅を抽出する。目標の幅は、目標軸に直交する方向における目標の長さである。複数のテンプレート画像には、例えば、図5に示されるように、幅Wtを有する帯状の領域であって領域の中心線が画像の中心を通過する領域が定められている。テンプレート画像ごとに、領域の幅Wtと中心線の傾きθtとの組み合わせが異なる。テンプレート画像における帯状の領域には振幅「1」が割り当てられ、他の領域には振幅「0」が割り当てられている。目標軸抽出部10は、目標中心化により得られた画像とテンプレート画像とを乗算し、各振幅を加算する(ステップS12)。目標軸抽出部10は、加算結果をテンプレート画像に対応付けて保存する(ステップS13)。目標軸抽出部10は、ステップS12及びS13の動作を、テンプレート画像ごとに繰り返して行う(ステップS14、S15)。 The target axis extraction unit 10 extracts the target axis and width of the target included in the image by using a plurality of predetermined template images for the image obtained by target centering in step S11. The width of the target is the length of the target in the direction perpendicular to the target axis. For example, as shown in FIG. 5, each of the plurality of template images has a band-shaped region having a width Wt, and a region whose center line passes through the center of the image is defined. The combination of the region width Wt and the center line inclination θt is different for each template image. An amplitude of "1" is assigned to a band-shaped region in the template image, and an amplitude of "0" is assigned to other regions. The target axis extraction unit 10 multiplies the image obtained by target centering and the template image, and adds each amplitude (step S12). The target axis extraction unit 10 stores the addition result in association with the template image (step S13). The target axis extraction unit 10 repeatedly performs the operations of steps S12 and S13 for each template image (steps S14 and S15).

目標軸抽出部10は、すべてのテンプレート画像に対する加算結果を得ると、加算結果が最大のテンプレート画像を選択する(ステップS16)。選択されたテンプレート画像における帯状の領域は、目標の像と重複する領域が最も広く、帯状の領域の中心線と目標軸との傾きの差及び幅の差が最も小さい領域となる。目標軸抽出部10は、このようにテンプレート画像を選択することにより、画像における目標軸と目標の幅とを抽出する(ステップS17)。 When the target axis extraction unit 10 obtains the addition results for all template images, it selects the template image with the largest addition result (step S16). The band-shaped area in the selected template image has the widest area that overlaps with the target image, and the area in which the difference in inclination and width between the center line of the band-shaped area and the target axis is the smallest. By selecting the template image in this way, the target axis extraction unit 10 extracts the target axis and the width of the target in the image (step S17).

画像補正部11は、目標軸抽出部10により抽出された目標軸及び幅に基づいて、目標中心化で得られた画像における輝度値(振幅値)を調整し(ステップS18)、処理を終了する。画像補正部11は、目標軸に沿った領域において目標の端に対応する反射点の輝度値が低い場合でも、輝度値を調整するので目標の視認性を向上できる。具体的には、画像補正部11は、目標軸及び幅で特定される目標軸範囲を輝度調整範囲として、輝度調整範囲内の輝度値を予め定められた倍率で輝度値を大きくしたり、輝度調整範囲内の輝度値に所定の値を加えたりして輝度値を調整する。このように、合成開口レーダ装置100は、輝度調整範囲外のノイズの振幅を変更せずに、輝度調整範囲内の輝度値が持ち上げることで、画像における目標の視認性を向上させ、画質を改善できる。 The image correction unit 11 adjusts the brightness value (amplitude value) in the image obtained by target centering based on the target axis and width extracted by the target axis extraction unit 10 (step S18), and ends the process. . Since the image correction unit 11 adjusts the brightness value even when the brightness value of the reflection point corresponding to the edge of the target is low in the region along the target axis, the visibility of the target can be improved. Specifically, the image correction unit 11 sets the target axis range specified by the target axis and width as the brightness adjustment range, increases the brightness value within the brightness adjustment range by a predetermined magnification, or increases the brightness value within the brightness adjustment range by a predetermined magnification. The brightness value is adjusted by adding a predetermined value to the brightness value within the adjustment range. In this way, the synthetic aperture radar device 100 improves the visibility of the target in the image and improves the image quality by increasing the brightness value within the brightness adjustment range without changing the amplitude of noise outside the brightness adjustment range. can.

なお、複数のテンプレート画像における帯状の領域の幅Wtを一定としてもよい。すなわち、目標軸抽出部10は、帯状の領域の中心線の傾きθtが異なる複数のテンプレート画像を用いて、目標軸を抽出してもよい。この場合、検出又は観測の対象となる目標に応じて定められた幅Wtを有するテンプレート画像を用いてもよい。すなわち、目標軸抽出部10が少なくとも目標軸を画像から抽出し、画像補正部11が目標軸を含む輝度調整範囲の輝度を調整して、目標の視認性を向上させてもよい。 Note that the width Wt of the strip-shaped area in the plurality of template images may be constant. That is, the target axis extraction unit 10 may extract the target axis using a plurality of template images in which the center line of the band-shaped region has a different slope θt. In this case, a template image having a width Wt determined depending on the target to be detected or observed may be used. That is, the target axis extraction unit 10 may extract at least the target axis from the image, and the image correction unit 11 may adjust the brightness of a brightness adjustment range including the target axis to improve the visibility of the target.

(第2の実施形態)
第1の実施形態では、画像における目標が含まれる帯状の領域を抽出し、当該領域内の輝度値を調整する手法について説明した。この手法は、輝度調整範囲外のノイズの影響を抑えて輝度値を調整できるが、輝度調整範囲内のノイズの影響を抑えることができない。第2の実施形態では、輝度調整範囲内のノイズの影響を抑える手法について説明する。第2の実施形態における合成開口レーダ装置は、第1の実施形態の合成開口レーダ装置100と同じ構成を有するので、その説明を省略して図2に記載の構成及び符号を参照して説明する。
(Second embodiment)
In the first embodiment, a method has been described in which a band-shaped region including a target is extracted from an image and the brightness value within the region is adjusted. Although this method can adjust the brightness value by suppressing the influence of noise outside the brightness adjustment range, it cannot suppress the influence of noise within the brightness adjustment range. In the second embodiment, a method for suppressing the influence of noise within the brightness adjustment range will be described. Since the synthetic aperture radar device in the second embodiment has the same configuration as the synthetic aperture radar device 100 in the first embodiment, the description thereof will be omitted and will be explained with reference to the configuration and symbols shown in FIG. .

図7は、第2の実施形態における目標軸抽出部10及び画像補正部11による処理を示すフローチャートである。目標軸抽出部10は、オートフォーカス処理部9から画像が供給されると、目標軸及び目標の幅を抽出する(ステップS21)。ステップS21の動作は、第1の実施形態で説明した図4に示される処理のステップS11~S17の動作と同じである。画像補正部11は、目標中心化で得られた画像において、目標軸及び幅で特定される目標軸範囲内の振幅を、レンジ軸(X軸)又はドップラ軸(Y軸)に投影する(ステップS22)。画像補正部11は、レンジ軸(X軸)又はドップラ軸(Y軸)に投影した振幅が、振幅スレッショルドを超える範囲を目標範囲として抽出する(ステップS23)。 FIG. 7 is a flowchart showing processing by the target axis extraction section 10 and the image correction section 11 in the second embodiment. When the target axis extraction unit 10 receives the image from the autofocus processing unit 9, it extracts the target axis and the width of the target (step S21). The operation in step S21 is the same as the operation in steps S11 to S17 of the process shown in FIG. 4 described in the first embodiment. The image correction unit 11 projects the amplitude within the target axis range specified by the target axis and width onto the range axis (X axis) or the Doppler axis (Y axis) in the image obtained by target centering (step S22). The image correction unit 11 extracts the range in which the amplitude projected on the range axis (X-axis) or the Doppler axis (Y-axis) exceeds the amplitude threshold as a target range (step S23).

画像補正部11は、帯状の領域のうち、目標軸に沿って目標範囲に接する所定の領域を輝度調整範囲に決定する(ステップS24)。図8は、第2の実施形態における画像補正部11が決定する輝度調整範囲の一例を示す図である。画像補正部11は、目標軸範囲において目標範囲に接し、長さLa及び幅Waで定まる領域を輝度調整範囲に決定する。図8に示す例では、目標範囲に接する領域のうち、レンジ軸方向で遠い側の領域が輝度調整範囲に決定されている。これは、前述のように、合成開口レーダ装置100から遠い反射点の輝度が低下しやすいためである。なお、画像補正部11は、目標範囲に接する両方の領域を輝度調整範囲に決定してもよい。 The image correction unit 11 determines a predetermined area of the band-shaped area that is in contact with the target range along the target axis as the brightness adjustment range (step S24). FIG. 8 is a diagram showing an example of the brightness adjustment range determined by the image correction unit 11 in the second embodiment. The image correction unit 11 determines an area in the target axis range that is in contact with the target range and determined by the length La and the width Wa as the brightness adjustment range. In the example shown in FIG. 8, among the regions in contact with the target range, the region on the far side in the range axis direction is determined as the brightness adjustment range. This is because, as described above, the brightness of reflection points far from the synthetic aperture radar device 100 tends to decrease. Note that the image correction unit 11 may determine both areas adjacent to the target range as the brightness adjustment range.

画像補正部11は、輝度調整範囲の輝度値を調整し(ステップS25)、処理を終了する。ステップS25における輝度値の調整は、第1の実施形態における輝度値の調整(ステップS18)と同様である。 The image correction unit 11 adjusts the brightness value in the brightness adjustment range (step S25), and ends the process. The brightness value adjustment in step S25 is similar to the brightness value adjustment (step S18) in the first embodiment.

第2の実施形態の合成開口レーダ装置100は、目標軸範囲の一部の領域を輝度調整範囲に決定することにより、目標軸範囲内のノイズの影響を抑えつつ、目標の端に対応する反射点の輝度値を調整でき、目標の視認性を向上させることができる。 By determining a part of the target axis range as the brightness adjustment range, the synthetic aperture radar device 100 of the second embodiment suppresses the influence of noise within the target axis range, and also suppresses the reflection corresponding to the edge of the target. The brightness value of the point can be adjusted to improve the visibility of the target.

(第3の実施形態)
第2の実施形態では、目標軸と幅とで定まる目標軸範囲において輝度を調整する領域を更に限定して、目標軸範囲内のノイズの影響を抑える手法を説明した。しかし、目標軸範囲内の領域であって目標範囲外の領域にノイズが多い場合には、輝度値を調整しても目標の視認性が向上しないことがある。第3の実施形態では、このような場合でも、目標の視認性を向上できる手法について説明する。第3の実施形態における合成開口レーダ装置は、第1の実施形態の合成開口レーダ装置100と同じ構成を有するので、その説明を省略して図2に記載の構成及び符号を参照して説明する。
(Third embodiment)
In the second embodiment, a method has been described in which the area in which the brightness is adjusted is further limited in the target axis range defined by the target axis and the width to suppress the influence of noise within the target axis range. However, if there is a lot of noise in a region within the target axis range but outside the target range, the visibility of the target may not improve even if the brightness value is adjusted. In the third embodiment, a method that can improve the visibility of the target even in such a case will be described. Since the synthetic aperture radar device in the third embodiment has the same configuration as the synthetic aperture radar device 100 in the first embodiment, the description thereof will be omitted and will be explained with reference to the configuration and symbols shown in FIG. 2. .

図9は、第3の実施形態における目標軸抽出部10及び画像補正部11による処理を示すフローチャートである。目標軸抽出部10は、オートフォーカス処理部9から画像が供給されると、目標軸及び目標の幅を抽出する(ステップS31)。ステップS31の動作は、第1の実施形態で説明した図4に示される処理のステップS11~S17の動作と同じである。画像補正部11は、目標中心化で得られた画像において、目標軸及び幅で特定される目標軸範囲内の振幅を、レンジ軸(X軸)又はドップラ軸(Y軸)に投影する(ステップS32)。画像補正部11は、レンジ軸(X軸)又はドップラ軸(Y軸)に投影した振幅が、振幅スレッショルドを超える範囲を目標範囲とし(ステップS33)、目標の端の位置(x,y)を検出する(ステップS34)。 FIG. 9 is a flowchart showing processing by the target axis extraction section 10 and image correction section 11 in the third embodiment. When the target axis extraction unit 10 receives the image from the autofocus processing unit 9, it extracts the target axis and the width of the target (step S31). The operation in step S31 is the same as the operation in steps S11 to S17 of the process shown in FIG. 4 described in the first embodiment. The image correction unit 11 projects the amplitude within the target axis range specified by the target axis and width onto the range axis (X axis) or the Doppler axis (Y axis) in the image obtained by target centering (step S32). The image correction unit 11 sets the range in which the amplitude projected on the range axis (X axis) or the Doppler axis (Y axis) exceeds the amplitude threshold as a target range (step S33), and determines the position (x, y) of the end of the target. Detected (step S34).

画像補正部11は、検出した位置(x,y)と前サイクルで得られた画像における目標の端の位置(x,y)とを、忘却係数を重みとして用いた重み付け加算する(ステップS35)。ステップS35における重み付け加算は、式(6)で表される。 The image correction unit 11 adds the detected position (x, y) and the position (x, y) of the end of the target in the image obtained in the previous cycle in a weighted manner using the forgetting coefficient as a weight (step S35). . The weighted addition in step S35 is expressed by equation (6).

Figure 0007346188000006
式(6)において、Xs(・)は、座標ベクトルの平滑値(x,y)を表す。Xm(・)は、今回のサイクルで検出された目標の端の位置を示す座標ベクトル(x,y)を表す。gは、忘却係数を表す。nは、SAR画像が生成されるサイクル数を表す。サイクルは、CPI(Coherent Pulse Interval)ごとに増加する値である。
Figure 0007346188000006
In equation (6), Xs(·) represents the smoothed value (x, y) of the coordinate vector. Xm(·) represents a coordinate vector (x, y) indicating the position of the end of the target detected in the current cycle. g represents the forgetting coefficient. n represents the number of cycles in which the SAR image is generated. The cycle is a value that increases every CPI (Coherent Pulse Interval).

画像補正部11は、式(6)で算出される位置Xs(n)に接する所定の領域を輝度調整範囲に決定し(ステップS36)、輝度調整範囲の輝度値を調整する(ステップS37)。ステップS37における輝度値の調整は、第1の実施形態における輝度値の調整(ステップS18)と同様である。画像補正部11は、SAR画像を生成するサイクルが終了したか否かを判定し(ステップS38)、継続する場合にはステップS39に進み、終了する場合には処理を終了する。ステップS39では、目標軸抽出部10がオートフォーカス処理部9から新たなSAR画像が供給される。以降、SAR画像の生成サイクルが終了するまで、ステップS31~S38の動作が繰り返し行われる。 The image correction unit 11 determines a predetermined area adjacent to the position Xs(n) calculated by equation (6) as a brightness adjustment range (step S36), and adjusts the brightness value of the brightness adjustment range (step S37). The brightness value adjustment in step S37 is similar to the brightness value adjustment (step S18) in the first embodiment. The image correction unit 11 determines whether the cycle of generating the SAR image has ended (step S38), and if it continues, the process proceeds to step S39, and if it ends, the process ends. In step S39, the target axis extraction section 10 is supplied with a new SAR image from the autofocus processing section 9. Thereafter, the operations of steps S31 to S38 are repeated until the SAR image generation cycle is completed.

第3の実施形態の合成開口レーダ装置100は、目標の端を抽出する精度が低い場合であっても目標の端の検出精度を向上させるとともに、抽出される目標の端の位置が平滑処理により滑らかに変化する。これにより、サイクル間で輝度調整範囲の位置が大きく変化することを防ぎ、時間方向に連続する画像において目標の視認性を向上させることができる。 The synthetic aperture radar device 100 of the third embodiment improves the detection accuracy of the target edge even when the accuracy of extracting the target edge is low, and the position of the extracted target edge is smoothed by smoothing processing. Changes smoothly. This prevents the position of the brightness adjustment range from changing significantly between cycles, and improves the visibility of the target in images that are continuous in the time direction.

第3の実施形態の輝度を調整する処理は、第2の実施形態の輝度を調整する処理と組み合わせることができる。第2の実施形態の輝度調整の後に、第3の実施形態の輝度調整を行うことにより、目標の端の検出精度が改善し、目標の視認性を更に向上できる。 The process of adjusting brightness in the third embodiment can be combined with the process of adjusting brightness in the second embodiment. By performing the brightness adjustment according to the third embodiment after the brightness adjustment according to the second embodiment, the detection accuracy of the edge of the target can be improved and the visibility of the target can be further improved.

(第4の実施形態)
第2及び第3の実施形態では、目標の端の輝度値を調整することで、目標の視認性を向上させる手法について説明した。第4の実施形態では、輝度値以外で目標の視認性が劣化する要因に対処する手法について説明する。SAR画像におけるドップラ軸方向の広がりは、目標を観測するときの合成開口時間における目標のヨー、ピッチ、ロールの各軸の回転量に比例する。そのため、回転量が小さいと、SAR画像におけるドップラ軸方向の広がりが小さくなり、目標の視認性が劣化する場合がある。なお、各軸の回転量は、合成開口レーダ装置に対する相対的な回転量である。第4の実施形態における合成開口レーダ装置は、このような場合でも、目標の視認性を向上できる手法について説明する。第4の実施形態における合成開口レーダ装置は、第1の実施形態の合成開口レーダ装置100と同じ構成を有するので、その説明を省略して図2に記載の構成及び符号を参照して説明する。
(Fourth embodiment)
In the second and third embodiments, a method has been described in which the visibility of the target is improved by adjusting the brightness value at the edge of the target. In the fourth embodiment, a method for dealing with factors other than brightness values that degrade target visibility will be described. The spread in the Doppler axis direction in the SAR image is proportional to the amount of rotation of the target in each of the yaw, pitch, and roll axes during the synthetic aperture time when observing the target. Therefore, when the amount of rotation is small, the spread in the Doppler axis direction in the SAR image becomes small, and the visibility of the target may deteriorate. Note that the amount of rotation of each axis is the amount of rotation relative to the synthetic aperture radar device. Regarding the synthetic aperture radar device in the fourth embodiment, a method that can improve target visibility even in such a case will be described. The synthetic aperture radar device in the fourth embodiment has the same configuration as the synthetic aperture radar device 100 in the first embodiment, so the description thereof will be omitted and will be explained with reference to the configuration and symbols shown in FIG. 2. .

図10は、第4の実施形態における目標軸抽出部10及び画像補正部11による処理を示すフローチャートである。目標軸抽出部10は、オートフォーカス処理部9から画像が供給されると、目標軸及び目標の幅を抽出する(ステップS41)。ステップ41の動作は、第1の実施形態で説明した図4に示される処理のステップS11~S17の動作と同じである。画像補正部11は、目標中心化で得られた画像に、ドップラ軸(Y軸)に関する逆FFTを行い、レンジ-ドップラ軸のデータを算出する(ステップS42)。画像補正部11は、目標軸の傾斜(傾きθt)に応じた、レンジ-ドップラ軸の補正係数を算出する(ステップS43)。画像補正部11は、補正係数をレンジ-ドップラ軸のデータに乗算して補正を行う(ステップS44)。画像補正部11は、補正されたレンジ-ドップラ軸のデータに対してクロスレンジ圧縮を行い(ステップS45)、補正後の画像を出力して(ステップS46)、処理を終了する。 FIG. 10 is a flowchart showing processing by the target axis extraction section 10 and the image correction section 11 in the fourth embodiment. When the target axis extraction unit 10 receives the image from the autofocus processing unit 9, it extracts the target axis and the width of the target (step S41). The operation in step 41 is the same as the operation in steps S11 to S17 of the process shown in FIG. 4 described in the first embodiment. The image correction unit 11 performs inverse FFT regarding the Doppler axis (Y axis) on the image obtained by target centering, and calculates range-Doppler axis data (step S42). The image correction unit 11 calculates a range-Doppler axis correction coefficient according to the inclination (inclination θt) of the target axis (step S43). The image correction unit 11 performs correction by multiplying the range-Doppler axis data by a correction coefficient (step S44). The image correction unit 11 performs cross-range compression on the corrected range-Doppler axis data (step S45), outputs the corrected image (step S46), and ends the process.

以下、ステップS42~S46の動作についてより詳細に説明する。ステップS42におけるレンジ-ドップラ軸のデータの算出は、式(7)で表される。 The operations of steps S42 to S46 will be explained in more detail below. Calculation of range-Doppler axis data in step S42 is expressed by equation (7).

Figure 0007346188000007
式(7)において、Ximageは、式(5)で表される画像fp(t,ku)を表す。Xmatは、補正前のレンジ-ドップラ軸のデータ(以下、「RDデータ」という。)を表す。RDデータは、レンジ軸において圧縮処理が行われ、ドップラ軸(Y軸)において圧縮処理が行われていないデータである。IFFTy[・]は、ドップラ軸(Y軸)に関する逆FFTを表す。
Figure 0007346188000007
In equation (7), Ximage represents the image fp(t, ku) expressed by equation (5). Xmat represents range-Doppler axis data (hereinafter referred to as "RD data") before correction. RD data is data that is compressed on the range axis and not compressed on the Doppler axis (Y axis). IFFTy[·] represents an inverse FFT regarding the Doppler axis (Y axis).

次に、補正に用いる補正マトリクスを定式化する。図11は、第4の実施形態における補正マトリクスを説明する図である。補正マトリクスは、図11に示すように、X軸(fast-time)のレンジセルごとにY軸(slow-time)に対して位相勾配を設定することに相当する。位相勾配は、レンジセルの位置に応じて位相勾配が大きくなるように定められる。位相勾配は、目標軸の傾きに応じて変える必要があるため、画像補正部11は、目標軸の傾きに応じて式(8)~(10)のいずれかの補正マトリクスCalを選択する。 Next, a correction matrix used for correction will be formulated. FIG. 11 is a diagram illustrating a correction matrix in the fourth embodiment. As shown in FIG. 11, the correction matrix corresponds to setting a phase gradient with respect to the Y-axis (slow-time) for each range cell on the X-axis (fast-time). The phase gradient is determined so that the phase gradient increases depending on the position of the range cell. Since the phase gradient needs to be changed according to the inclination of the target axis, the image correction unit 11 selects one of the correction matrices Cal from equations (8) to (10) according to the inclination of the target axis.

目標軸の傾きが正である場合、すなわち画像を4つの象限(四分儀)に分けた場合において、目標軸が第1及び第3象限にある場合:

Figure 0007346188000008
When the tilt of the target axis is positive, that is, when the image is divided into four quadrants, and the target axis is in the first and third quadrants:
Figure 0007346188000008

目標軸の傾きが負である場合、すなわち目標軸が第2及び第4象限にある場合:

Figure 0007346188000009
When the slope of the target axis is negative, i.e. when the target axis is in the second and fourth quadrants:
Figure 0007346188000009

目標軸の傾きが0である場合、すなわち目標軸がY軸と重なる場合:

Figure 0007346188000010
When the tilt of the target axis is 0, that is, when the target axis overlaps the Y axis:
Figure 0007346188000010

式(8)及び(9)においてvectx及びvectyを表す[Start:Step:End]は、StartからEndまでの範囲においてStep間隔のベクトルを表す。vectx及びVectyは、X軸(fast-time)及びY軸(slow-time)のベクトルをそれぞれ表す。Calは、サイズがnumx×numyの行列である。numx及びnumyは、画像におけるX軸及びY軸の画素数をそれぞれ表す。ratioは乗算係数を表し、iは虚数単位を表す。vectの右肩上付きのtはvectの転置を表す。 [Start:Step:End] representing vectx and vecty in equations (8) and (9) represents a vector of Step intervals in the range from Start to End. vectx and Vecty represent vectors on the X-axis (fast-time) and Y-axis (slow-time), respectively. Cal is a matrix with size numx×numy. numx and numy represent the number of pixels on the X-axis and Y-axis in the image, respectively. ratio represents a multiplication coefficient, and i represents an imaginary unit. The superscript t in vect t represents the transposition of vect.

例えば、目標軸の傾きが正であり、numx=2、numy=2の場合には、vectx=[-1,0,1]、vecty=[-1,0,1]となり、式(8)の補正マトリクスCalの位相成分の勾配を表す式に代入すると式(11)が得られる。 For example, if the inclination of the target axis is positive, numx = 2, numy = 2, vectx = [-1, 0, 1], vecty = [-1, 0, 1], and equation (8) By substituting the gradient of the phase component of the correction matrix Cal into the equation, equation (11) is obtained.

Figure 0007346188000011
Figure 0007346188000011

補正マトリクスCalにおける各列成分は、X軸(fast-time)の勾配に、Y軸(slow-time)のvectyの成分を乗算したものであり、レンジセルごとに位相勾配が変化することを表している。補正マトリクスCalが表す位相勾配の一例を図11に示す。レンジセルごとに、位相勾配が変化しており、Y軸の中心に対して左右で位相勾配の傾きの正負が逆になっている。このような位相勾配を含む補正マトリクスを用いて画像を補正することで、ドップラ軸に沿って目標の像を拡大できる。補正に用いる位相勾配は、SAR画像における目標軸の傾きに応じて符号を変える必要があるため、上述のような場合分けが必要となる。補正マトリクスCalを用いた画像の補正は、式(12)で表される。 Each column component in the correction matrix Cal is the product of the gradient on the X-axis (fast-time) multiplied by the component of vecty on the Y-axis (slow-time), and represents that the phase gradient changes for each range cell. There is. FIG. 11 shows an example of the phase gradient represented by the correction matrix Cal. The phase gradient changes for each range cell, and the polarity of the slope of the phase gradient is opposite on the left and right sides of the center of the Y-axis. By correcting the image using a correction matrix including such a phase gradient, the image of the target can be enlarged along the Doppler axis. Since the sign of the phase gradient used for correction needs to be changed depending on the inclination of the target axis in the SAR image, the above-mentioned case classification is necessary. Image correction using the correction matrix Cal is expressed by equation (12).

Figure 0007346188000012
式(12)において、Xmatcalは、補正後のRDデータを表し、Xmatは、補正前のRDデータを表す。
Figure 0007346188000012
In equation (12), Xmatcal represents RD data after correction, and Xmat represents RD data before correction.

補正後のSAR画像Ximageは、式(13)で算出できる。 The corrected SAR image Ximage can be calculated using equation (13).

Figure 0007346188000013
式(13)において、FFTy[・]は、ドップラ軸(Y軸)に関するFFTを表す。
Figure 0007346188000013
In Equation (13), FFTy[·] represents FFT regarding the Doppler axis (Y axis).

図12は、第4の実施形態における補正の一例を示す図である。図12に示すように、目標の像がドップラ軸に沿って拡大されるため、ドップラ軸方向の広がりが小さい場合であっても、目標の視認性を向上させることができる。 FIG. 12 is a diagram showing an example of correction in the fourth embodiment. As shown in FIG. 12, since the image of the target is enlarged along the Doppler axis, the visibility of the target can be improved even if the spread in the Doppler axis direction is small.

なお、補正に必要となる目標軸の傾きは、上述のように3通りのいずれに該当するか分かればよいため、第1の実施形態において説明したテンプレート画像も用いた手法以外を用いて取得してもよい。例えば、目標軸抽出部は、図12に示した補正前の画像を4つの象限に分けて象限ごとに振幅の総和を算出し、第1象限及び第3象限の総和の和と、第2象限及び第4象限の総和の和とを比較して目標軸の傾きを取得してもよい。第1象限及び第3象限の総和の和が大きい場合には目標軸の傾きが正であり、第2象限及び第4象限の総和の和が大きい場合には目標軸の傾きが負である。それぞれの和の差が0又は一定値以下の場合には、目標軸の傾きが0と判定してもよい。 Note that the inclination of the target axis required for correction only needs to be known as to which of the three types it corresponds to as described above, so it is not necessary to obtain it using a method other than the method using the template image described in the first embodiment. It's okay. For example, the target axis extraction unit divides the image before correction shown in FIG. The inclination of the target axis may be obtained by comparing the sum of the sums of the fourth quadrant and the sum of the sums of the fourth quadrant. When the sum of the sums of the first and third quadrants is large, the inclination of the target axis is positive, and when the sum of the sums of the second and fourth quadrants is large, the inclination of the target axis is negative. If the difference between the respective sums is 0 or less than a certain value, the inclination of the target axis may be determined to be 0.

第4の実施形態におけるドップラ軸に沿って目標を拡大する手法は、第1~第3の実施形態における輝度値の調整と組み合わせて用いてもよい。これらの手法を組み合わせる場合、ドップラ軸に沿った目標の拡大は、輝度値を調整する前に行う。 The method of enlarging the target along the Doppler axis in the fourth embodiment may be used in combination with the brightness value adjustment in the first to third embodiments. When combining these techniques, magnification of the target along the Doppler axis is performed before adjusting the brightness values.

(第5の実施形態)
第1~第4の実施形態では、画像から目標軸を抽出して目標の端付近の輝度値を調整したり、ドップラ軸に沿って目標の像を拡大したりすることで、目標の視認性を向上させる手法について説明した。第5の実施形態では、これらの手法に加え、更に輝度値を変換することで目標の視認性を向上させる手法について説明する。第5の実施形態における合成開口レーダ装置は、第1の実施形態の合成開口レーダ装置100と同じ構成を有するので、その説明を省略して図2に記載の構成及び符号を参照して説明する。
(Fifth embodiment)
In the first to fourth embodiments, the visibility of the target is improved by extracting the target axis from the image, adjusting the brightness value near the edge of the target, and enlarging the target image along the Doppler axis. We explained the method to improve In the fifth embodiment, in addition to these methods, a method will be described in which the visibility of the target is improved by further converting the luminance value. Since the synthetic aperture radar device in the fifth embodiment has the same configuration as the synthetic aperture radar device 100 in the first embodiment, the description thereof will be omitted and will be explained with reference to the configuration and symbols shown in FIG. 2. .

図13は、第5の実施形態における画像補正部11による処理を示すフローチャートである。画像補正部11は、第1~第3の実施形態による輝度値(振幅値)の調整を行った後、又は、第4の実施形態による目標の像を拡大した後に、画像における振幅値を正規化する(ステップS51)。画像補正部11は、正規化された振幅値を対数変換し(ステップS52)、対数軸においての画像に含まれるノイズの平均値mと標準偏差σとを算出する(ステップS53)。画像補正部11は、画像に含まれる振幅値を(ノイズ平均値m+標準偏差σ)で除算し(ステップS54)、除算結果が1以下となる振幅値を0にする(ステップS55)。画像補正部11は、除算により得られた各振幅値を正規化し(ステップS56)、処理を終了する。上述の処理を定式化すると、式(14)及び(15)で表される。 FIG. 13 is a flowchart showing processing by the image correction unit 11 in the fifth embodiment. The image correction unit 11 normalizes the amplitude value in the image after adjusting the brightness value (amplitude value) according to the first to third embodiments or after enlarging the target image according to the fourth embodiment. (step S51). The image correction unit 11 logarithmically transforms the normalized amplitude value (step S52), and calculates the average value m and standard deviation σ of noise included in the image on the logarithmic axis (step S53). The image correction unit 11 divides the amplitude value included in the image by (noise average value m+standard deviation σ) (step S54), and sets the amplitude value for which the division result is 1 or less to 0 (step S55). The image correction unit 11 normalizes each amplitude value obtained by the division (step S56), and ends the process. When the above-mentioned processing is formulated, it is expressed by equations (14) and (15).

Figure 0007346188000014
式(14)において、Ximagenは変換後の画像を表し、Ximageは変換前の画像を表す。mはノイズの平均値を表し、σはノイズの標準偏差を表し、Nは係数を表す。Nの値として、例えば、1、2、3の何れかが用いられ、画像に含まれるノイズの程度に応じて選択される。logn[・]は対数変換を表す。なお、第5の実施形態の対数変換では、変換結果が負の場合、変換結果を0とする。なお、振幅値を(m+N・σ)で除算せずに、N・σで除算してもよい。すなわち、平均値mを用いずともよい。
Figure 0007346188000014
In equation (14), Ximagen represents the image after conversion, and Ximage represents the image before conversion. m represents the average value of noise, σ represents the standard deviation of noise, and N represents the coefficient. For example, one of 1, 2, and 3 is used as the value of N, and is selected depending on the degree of noise included in the image. logn[·] represents logarithmic transformation. Note that in the logarithmic transformation of the fifth embodiment, when the transformation result is negative, the transformation result is set to 0. Note that the amplitude value may be divided by N·σ instead of (m+N·σ). That is, the average value m may not be used.

Figure 0007346188000015
式(15)はステップS56の正規化を表し、max[・]は最大値を取得する演算を表す。すなわち、正規化後の値は0から1の範囲の値となる。なお、ステップS56における正規化は、式(15)以外の演算を用いて行ってもよい。
Figure 0007346188000015
Equation (15) represents normalization in step S56, and max[.] represents an operation to obtain the maximum value. That is, the value after normalization is a value in the range of 0 to 1. Note that the normalization in step S56 may be performed using calculations other than equation (15).

図14は、第5の実施形態における変換の概要を示すグラフである。図14において、横軸が変換前の振幅を表し、縦軸が変換後の振幅を表す。図14のグラフに示されるように、変換後の振幅値が平坦化される。このような対数変換では、高い輝度が低くなり、低い輝度が高くなる。第5の実施形態の対数変換を用いることにより、輝度に濃淡が生じやすい目標であっても、目標の各反射点における輝度値のばらつきが抑えられ、目標の視認性が更に向上する。 FIG. 14 is a graph showing an overview of conversion in the fifth embodiment. In FIG. 14, the horizontal axis represents the amplitude before conversion, and the vertical axis represents the amplitude after conversion. As shown in the graph of FIG. 14, the amplitude value after conversion is flattened. In such a logarithmic transformation, high brightness becomes low and low brightness becomes high. By using the logarithmic transformation of the fifth embodiment, even if the target is likely to have shading in brightness, variations in brightness values at each reflection point of the target can be suppressed, and the visibility of the target can be further improved.

(第6の実施形態)
第6の実施形態では、第5の実施形態と同様に、更に輝度値を変換することで目標の視認性を向上させる手法について説明する。第6の実施形態における合成開口レーダ装置は、第1の実施形態の合成開口レーダ装置100と同じ構成を有するので、その説明を省略して図2に記載の構成及び符号を参照して説明する。
(Sixth embodiment)
In the sixth embodiment, similarly to the fifth embodiment, a method of improving the visibility of the target by further converting the luminance value will be described. The synthetic aperture radar device in the sixth embodiment has the same configuration as the synthetic aperture radar device 100 in the first embodiment, so the description thereof will be omitted and will be explained with reference to the configuration and symbols shown in FIG. 2. .

図15は、第6の実施形態における画像補正部11による処理を示すフローチャートである。画像補正部11は、第1~第3の実施形態による輝度値(振幅値)の調整を行った後、又は、第4の実施形態による目標の像を拡大した後に、画像における振幅値を正規化する(ステップS61)。画像補正部11は、正規化された振幅値を所定の振幅値(制限値)で制限する(ステップS62)。具体的には、所定の振幅値を超える値を所定の振幅値に置き換えるリミット処理を行う。画像補正部11は、リミット処理後の画像における振幅値を規格化し(ステップS63)、処理を終了する。上述の処理を定式化すると、式(16)~(18)で表される。 FIG. 15 is a flowchart showing processing by the image correction unit 11 in the sixth embodiment. The image correction unit 11 normalizes the amplitude value in the image after adjusting the brightness value (amplitude value) according to the first to third embodiments or after enlarging the target image according to the fourth embodiment. (step S61). The image correction unit 11 limits the normalized amplitude value to a predetermined amplitude value (limit value) (step S62). Specifically, a limit process is performed in which a value exceeding a predetermined amplitude value is replaced with a predetermined amplitude value. The image correction unit 11 normalizes the amplitude value in the image after the limit processing (step S63), and ends the process. When the above-mentioned processing is formulated, it is expressed by equations (16) to (18).

Figure 0007346188000016
式(16)はステップS61の正規化を表し、max[・]は最大値を取得する演算を表す。
Figure 0007346188000016
Equation (16) represents normalization in step S61, and max[.] represents an operation to obtain the maximum value.

Figure 0007346188000017
式(17)はステップS62のリミット処理を表し、lim[・]は所定値を超える値を所定値に置き換える演算を表す。リミット処理における所定値(制限値)は、例えば、振幅値が大きい上位10%の度数が制限されるように選択される。所定値は、他の選択方法を用いて決めてもよく、振幅の分布に応じて決めてもよい。
Figure 0007346188000017
Equation (17) represents the limit process in step S62, and lim[.] represents an operation for replacing a value exceeding a predetermined value with a predetermined value. The predetermined value (limit value) in the limit process is selected such that, for example, the frequencies of the top 10% of the largest amplitude values are limited. The predetermined value may be determined using another selection method or may be determined according to the amplitude distribution.

Figure 0007346188000018
式(18)はステップS63の正規化を表す。ステップS61及び63における正規化は、式(16)及び(18)以外の演算を用いて行ってもよい。
Figure 0007346188000018
Equation (18) represents the normalization in step S63. The normalization in steps S61 and 63 may be performed using calculations other than equations (16) and (18).

図16は、第6の実施形態における変換の一例を示すグラフである。図16に示すグラフはヒストグラムであり、横軸が振幅を示し、縦軸が各振幅値の度数を示す。リミット処理を行うことにより、輝度に偏りが生じやすい目標であっても、輝度値が高い反射点の輝度が抑えられ、輝度値の低い反射点の輝度が相対的に高くなる。また、ヒストグラムの分布が平坦化されるので、画像におけるコントラスト強調と同様の効果が得られ、目標の視認性が更に向上する。 FIG. 16 is a graph showing an example of conversion in the sixth embodiment. The graph shown in FIG. 16 is a histogram, where the horizontal axis indicates amplitude and the vertical axis indicates the frequency of each amplitude value. By performing the limit processing, even if the target is a target where brightness tends to be biased, the brightness of reflection points with high brightness values is suppressed, and the brightness of reflection points with low brightness values becomes relatively high. Furthermore, since the distribution of the histogram is flattened, an effect similar to contrast enhancement in an image can be obtained, and the visibility of the target is further improved.

(第7の実施形態)
第7の実施形態では、第5及び第6の実施形態と同様に、更に輝度値を変換することで目標の視認性を向上させる手法について説明する。第7の実施形態における合成開口レーダ装置は、第1の実施形態の合成開口レーダ装置100と同じ構成を有するので、その説明を省略して図2に記載の構成及び符号を参照して説明する。
(Seventh embodiment)
In the seventh embodiment, similarly to the fifth and sixth embodiments, a method of improving the visibility of the target by further converting the luminance value will be described. Since the synthetic aperture radar device in the seventh embodiment has the same configuration as the synthetic aperture radar device 100 in the first embodiment, the description thereof will be omitted and will be explained with reference to the configuration and symbols shown in FIG. .

図17は、第7の実施形態における画像補正部11による処理を示すフローチャートである。画像補正部11は、第1~第3の実施形態による輝度値(振幅値)の調整を行った後、又は、第4の実施形態による目標の像を拡大した後に、所定の振幅スレッショルドを超える各反射点を抽出する(ステップS71)。画像補正部11は、抽出した反射点ごとに、前サイクルで得られた画像における同位置の振幅と忘却係数とを用いた重み付け加算を行う(ステップS72)。画像補正部11は、SAR画像を生成するサイクルが終了したか否かを判定し(ステップS73)、継続する場合にはステップS74に進み、終了する場合には処理を終了する。ステップS74では、新たなサイクルのSAR画像を取得する。以降、SAR画像の生成サイクルが終了するまで、ステップS71~S73の動作が繰り返し行われる。ステップS72の動作を定式化すると、式(19)で表される。 FIG. 17 is a flowchart showing processing by the image correction unit 11 in the seventh embodiment. The image correction unit 11 adjusts the brightness value (amplitude value) according to the first to third embodiments, or after enlarging the target image according to the fourth embodiment, the image correction unit 11 adjusts the brightness value (amplitude value) to exceed a predetermined amplitude threshold. Each reflection point is extracted (step S71). The image correction unit 11 performs weighted addition for each extracted reflection point using the amplitude and forgetting coefficient at the same position in the image obtained in the previous cycle (step S72). The image correction unit 11 determines whether the cycle of generating the SAR image has ended (step S73), and if it continues, the process proceeds to step S74, and if it ends, the process ends. In step S74, a new cycle of SAR images is acquired. Thereafter, the operations of steps S71 to S73 are repeated until the SAR image generation cycle is completed. The operation of step S72 can be formulated as Equation (19).

Figure 0007346188000019
式(19)において、As(・)は、振幅値の重み付け加算結果を表す。Am(・)は、今回のサイクルで抽出された反射点の振幅値を表す。gは、忘却係数を表す。nは、SAR画像が生成されるサイクル数を表す。サイクルは、CPI(Coherent Pulse Interval)ごとに増加する値である。
Figure 0007346188000019
In equation (19), As(·) represents the weighted addition result of the amplitude values. Am(·) represents the amplitude value of the reflection point extracted in the current cycle. g represents the forgetting coefficient. n represents the number of cycles in which the SAR image is generated. The cycle is a value that increases every CPI (Coherent Pulse Interval).

図18は、第7の実施形態における処理の一例を示す図である。図18に示すように、サイクルごとに、前サイクルの処理結果と忘却係数とを用いた重み付け加算を行うことにより、出力画像において前サイクルで画像に表れていた反射点が残像として表れる。この処理により、目標の反射点が画像においてより明確になるので、輝度値が小さい場合であっても、目標の端を視認しやすくなり、目標の視認性が向上する。 FIG. 18 is a diagram illustrating an example of processing in the seventh embodiment. As shown in FIG. 18, by performing weighted addition using the processing result of the previous cycle and the forgetting coefficient for each cycle, the reflection points that appeared in the image in the previous cycle appear as afterimages in the output image. Through this processing, the reflection point of the target becomes clearer in the image, so even if the brightness value is small, the edge of the target becomes easier to see, improving the visibility of the target.

(第8の実施形態)
第8の実施形態では、第5~第7の実施形態と同様に、更に輝度値を変換することで目標の視認性を向上させる手法について説明する。第8の実施形態における合成開口レーダ装置は、第1の実施形態の合成開口レーダ装置100と同じ構成を有するので、その説明を省略して図2に記載の構成及び符号を参照して説明する。
(Eighth embodiment)
In the eighth embodiment, similarly to the fifth to seventh embodiments, a method of improving the visibility of the target by further converting the luminance value will be described. The synthetic aperture radar device in the eighth embodiment has the same configuration as the synthetic aperture radar device 100 in the first embodiment, so the description thereof will be omitted and will be explained with reference to the configuration and symbols shown in FIG. 2. .

図19は、第8の実施形態における画像補正部11による処理を示すフローチャートである。画像補正部11は、第1~第3の実施形態による輝度値(振幅値)の調整を行った後、又は、第4の実施形態による目標の像を拡大した後に、画像における振幅値を正規化する(ステップS81)。画像補正部11は、振幅値をN個の区間に分割する(ステップS82)。画像補正部11は、各区間の振幅値をいずれか一つの区間の振幅値に重ね合わせて揃えるように変換し(ステップS83)、処理を終了する。 FIG. 19 is a flowchart showing processing by the image correction unit 11 in the eighth embodiment. The image correction unit 11 normalizes the amplitude value in the image after adjusting the brightness value (amplitude value) according to the first to third embodiments or after enlarging the target image according to the fourth embodiment. (step S81). The image correction unit 11 divides the amplitude value into N sections (step S82). The image correction unit 11 converts the amplitude values of each section so as to overlap and align the amplitude values of any one section (step S83), and ends the process.

図20は、第8の実施形態における変換の一例を示すグラフである。図20に示すグラフはヒストグラムであり、横軸が振幅を示し、縦軸が各振幅値の度数を示す。図20に示す例では、反射点の振幅が取り得る範囲を5つの区間に等分割し、各区間の振幅を区間#1の振幅に揃えるように変換している。すなわち、区間#2~#5における振幅値それぞれが、区間#1における振幅値に置き換えられる。 FIG. 20 is a graph showing an example of conversion in the eighth embodiment. The graph shown in FIG. 20 is a histogram, where the horizontal axis indicates amplitude and the vertical axis indicates the frequency of each amplitude value. In the example shown in FIG. 20, the range in which the amplitude of the reflection point can take is equally divided into five sections, and the amplitude of each section is converted to be equal to the amplitude of section #1. That is, each of the amplitude values in sections #2 to #5 is replaced with the amplitude value in section #1.

このような振幅値(輝度値)の変換を行うことにより、輝度に濃淡が生じやすい目標であっても、振幅が大きい反射点の輝度値が抑えられるとともに、振幅が小さい反射点の輝度値が強調されて輝度値が平坦化される。この平坦化により、目標の端を視認しやすくなり、目標の視認性が向上する。 By converting amplitude values (brightness values) in this way, even if the target is a target that tends to have shading in brightness, the brightness values of reflection points with large amplitudes can be suppressed, and the brightness values of reflection points with small amplitudes can be reduced. It is emphasized and the brightness value is flattened. This flattening makes it easier to see the edges of the target and improves the visibility of the target.

図20に示す例では、5つの区間に分割し、区間#1の振幅値に他の区間の振幅値を揃える場合を示したが、これに限定されない。分割数と、いずれの区間の振幅値に揃えるかとは、画像に含まれるノイズや目標の反射点における振幅の分布などに応じて定めてもよい。 In the example shown in FIG. 20, the case is shown in which it is divided into five sections and the amplitude values of the other sections are made equal to the amplitude value of section #1, but the present invention is not limited to this. The number of divisions and the range in which the amplitude values should be aligned may be determined depending on the noise included in the image, the amplitude distribution at the target reflection point, and the like.

(第9の実施形態)
第9の実施形態では、第5~第8の実施形態と同様に、更に輝度値を変換することで目標の視認性を向上させる手法について説明する。第9の実施形態における合成開口レーダ装置は、第1の実施形態の合成開口レーダ装置100と同じ構成を有するので、その説明を省略して図2に記載の構成及び符号を参照して説明する。
(Ninth embodiment)
In the ninth embodiment, similarly to the fifth to eighth embodiments, a method of improving the visibility of the target by further converting the luminance value will be described. Since the synthetic aperture radar device in the ninth embodiment has the same configuration as the synthetic aperture radar device 100 in the first embodiment, the description thereof will be omitted and will be explained with reference to the configuration and symbols shown in FIG. 2. .

図21は、第9の実施形態における画像補正部11による処理を示すフローチャートである。画像補正部11は、第1~第3の実施形態による輝度値(振幅値)の調整を行った後、又は、第4の実施形態による目標の像を拡大した後に、画像における振幅値を正規化する(ステップS91)。画像補正部11は、振幅値を複数の区間に分割する(ステップS92)。画像補正部11は、区間ごとに変換後の振幅値を設定し(ステップS93)、区間ごとに振幅値の線形変換式を決定する(ステップS94)。画像補正部11は、決定した線形変換式を用いて各区間の振幅値を変換し(ステップS95)、処理を終了する。 FIG. 21 is a flowchart showing processing by the image correction unit 11 in the ninth embodiment. The image correction unit 11 normalizes the amplitude value in the image after adjusting the brightness value (amplitude value) according to the first to third embodiments or after enlarging the target image according to the fourth embodiment. (step S91). The image correction unit 11 divides the amplitude value into a plurality of sections (step S92). The image correction unit 11 sets the converted amplitude value for each section (step S93), and determines a linear conversion formula for the amplitude value for each section (step S94). The image correction unit 11 converts the amplitude value of each section using the determined linear conversion formula (step S95), and ends the process.

図22は、第9の実施形態における変換の一例を示すグラフである。図22に示すグラフは、変換前後の振幅値の対応を示し、横軸が変換前の振幅を表し、縦軸が変換後の振幅を表す。図22に示す例では、変換前の輝度値がa1からa2までの範囲の輝度の増加勾配が大きくなり、変換前の輝度値がa2からa3までの範囲とa3からa4までの範囲との輝度の増加勾配が小さくなるように設定されている。 FIG. 22 is a graph showing an example of conversion in the ninth embodiment. The graph shown in FIG. 22 shows the correspondence between amplitude values before and after conversion, with the horizontal axis representing the amplitude before conversion, and the vertical axis representing the amplitude after conversion. In the example shown in FIG. 22, the gradient of increase in brightness is large in the range where the brightness values before conversion are from a1 to a2, and the brightness increases in the range where the brightness values before conversion are from a2 to a3 and from a3 to a4. is set so that the increasing slope of is small.

各区間の線形変換式は、変換前の画像における振幅のヒストグラムに基づいて、輝度値の分布が平坦化されるように決定される。例えば、画像補正部11は、振幅のヒストグラムにおいて区間ごとに累積度数を算出し、算出した累積度数の逆数を増加勾配に対する補正係数として用いることで各区間の線形変換式を決定する。振幅に対してこのような区分線形変換を行うことにより、輝度に濃淡が生じやすい目標であっても、所定の範囲の振幅(輝度)を任意の値に設定できる。このような設定を行うことで、目標の端が視認しやすくなり、目標の視認性が更に向上する。 The linear conversion formula for each section is determined based on the amplitude histogram in the image before conversion so that the distribution of brightness values is flattened. For example, the image correction unit 11 calculates the cumulative frequency for each section in the amplitude histogram, and determines the linear transformation formula for each section by using the reciprocal of the calculated cumulative frequency as a correction coefficient for the increasing slope. By performing such piecewise linear conversion on the amplitude, the amplitude (luminance) within a predetermined range can be set to an arbitrary value even for a target where brightness tends to vary. By making such a setting, the edge of the target becomes easier to visually recognize, and the visibility of the target is further improved.

第5~第9の実施形態において説明した輝度値(振幅値)の変換は、組み合わせて用いてもよい。変換を組み合わせる際の順序は、任意に決めてもよい。 The luminance value (amplitude value) conversions described in the fifth to ninth embodiments may be used in combination. The order in which the transformations are combined may be determined arbitrarily.

上記の実施形態における合成開口レーダ装置は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、CPUがプログラムを実行することにより、レンジ圧縮部7、クロスレンジ圧縮部8、オートフォーカス処理部9、目標軸抽出部10及び画像補正部11として動作してもよい。CPUは、補助記憶装置に記憶されたプログラムを実行することにより、合成開口レーダ装置における一部又はすべての動作を行ってもよい。また、合成開口レーダ装置における動作のすべて又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。プログラムは、電気通信回線を介して送信されてもよい。 The synthetic aperture radar device in the above embodiment includes a CPU (Central Processing Unit), a memory, an auxiliary storage device, etc. connected via a bus, and when the CPU executes a program, the range compression unit 7, the cross-range compression unit 8. It may operate as the autofocus processing section 9, the target axis extraction section 10, and the image correction section 11. The CPU may perform some or all of the operations in the synthetic aperture radar device by executing programs stored in the auxiliary storage device. Further, all or part of the operations in the synthetic aperture radar device may be realized using hardware such as an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), or an FPGA (Field Programmable Gate Array). The program may be recorded on a computer-readable recording medium. The computer-readable recording medium is a non-temporary recording medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or other portable medium, or a hard disk or other storage device built into a computer system. The program may be transmitted via a telecommunications line.

以上説明した少なくともひとつの実施形態によれば、反射波から得られるレンジ-ドップラ軸の2次元データを輝度値に変換したSAR画像に示される目標の形状に沿った方向である目標軸をSAR画像から抽出する目標軸抽出部と、目標軸で定まる輝度調整範囲における輝度値を調整する画像補正部とを持つことにより、SAR画像において目標の像の近傍以外の輝度値を変更せずに目標の像を表す輝度値を変更して目標の視認性を向上させることができる。 According to at least one embodiment described above, the target axis, which is a direction along the shape of the target shown in the SAR image obtained by converting the two-dimensional data of the range-Doppler axis obtained from the reflected wave into a brightness value, is set in the SAR image. By having a target axis extractor that extracts from the target axis and an image correction unit that adjusts the brightness value in the brightness adjustment range determined by the target axis, the target axis can be extracted without changing the brightness values of areas other than the vicinity of the target image in the SAR image. The visibility of the target can be improved by changing the brightness value representing the image.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention as well as within the scope of the invention described in the claims and its equivalents.

1…送信部、2…サーキュレータ、3…アンテナ、4…ビーム制御部、5…周波数変換器、6…AD変換器、7…レンジ圧縮部、8…クロスレンジ圧縮部、9…オートフォーカス処理部、10…目標軸抽出部、11…画像補正部、100…合成開口レーダ装置 DESCRIPTION OF SYMBOLS 1... Transmission part, 2... Circulator, 3... Antenna, 4... Beam control part, 5... Frequency converter, 6... AD converter, 7... Range compression part, 8... Cross range compression part, 9... Auto focus processing part , 10...Target axis extraction unit, 11...Image correction unit, 100...Synthetic aperture radar device

Claims (9)

画像化範囲に向けて送信した信号の反射波を合成開口処理して画像化する合成開口レーダ装置において、
前記反射波から得られるレンジ-ドップラ軸の2次元データを輝度値に変換した画像に示される目標の形状に沿った方向を前記画像から抽出する目標軸抽出部と、
前記目標を含み前記目標の形状に沿った方向で定まる範囲における輝度値を調整する画像補正部と、
を備え、
前記画像補正部は、前記目標の形状に沿った方向に応じて定まる補正マトリクスを前記画像に乗じることにより、前記画像において前記目標の像をドップラ軸方向に沿って拡大する、
合成開口レーダ装置。
In a synthetic aperture radar device that performs synthetic aperture processing on the reflected waves of signals transmitted toward an imaging range and creates images,
a target axis extraction unit that extracts from the image a direction along the shape of the target shown in an image obtained by converting two-dimensional range-Doppler axis data obtained from the reflected wave into a brightness value;
an image correction unit that adjusts a brightness value in a range that includes the target and is determined in a direction along the shape of the target;
Equipped with
The image correction unit enlarges the image of the target in the image along the Doppler axis direction by multiplying the image by a correction matrix determined according to a direction along the shape of the target.
Synthetic aperture radar equipment.
画像化範囲に向けて送信した信号の反射波を合成開口処理して画像化する合成開口レーダ装置において、
前記反射波から得られるレンジ-ドップラ軸の2次元データを輝度値に変換した画像に示される目標の形状に沿った方向を前記画像から抽出する目標軸抽出部と、
前記目標を含み前記目標の形状に沿った方向で定まる範囲における輝度値を調整する画像補正部と、
を備え、
前記画像補正部は、前記画像におけるノイズの標準偏差で前記画像の各輝度値を正規化し、正規化された各輝度値を対数変換する、
合成開口レーダ装置。
In a synthetic aperture radar device that performs synthetic aperture processing on the reflected waves of signals transmitted toward an imaging range and creates images,
a target axis extraction unit that extracts from the image a direction along the shape of the target shown in an image obtained by converting two-dimensional range-Doppler axis data obtained from the reflected wave into a brightness value;
an image correction unit that adjusts a brightness value in a range that includes the target and is determined in a direction along the shape of the target;
Equipped with
The image correction unit normalizes each brightness value of the image using a standard deviation of noise in the image, and logarithmically transforms each normalized brightness value.
Synthetic aperture radar equipment.
画像化範囲に向けて送信した信号の反射波を合成開口処理して画像化する合成開口レーダ装置において、
前記反射波から得られるレンジ-ドップラ軸の2次元データを輝度値に変換した画像に示される目標の形状に沿った方向を前記画像から抽出する目標軸抽出部と、
前記目標を含み前記目標の形状に沿った方向で定まる範囲における輝度値を調整する画像補正部と、
を備え、
前記画像補正部は、前記画像において取り得る輝度値の範囲を複数の区間に分割し、前記複数の区間のいずれか一つの区間における輝度値に他の区間における輝度値を揃える変換を行う、
合成開口レーダ装置。
In a synthetic aperture radar device that performs synthetic aperture processing on the reflected waves of signals transmitted toward an imaging range and creates images,
a target axis extraction unit that extracts from the image a direction along the shape of the target shown in an image obtained by converting two-dimensional range-Doppler axis data obtained from the reflected wave into a brightness value;
an image correction unit that adjusts a brightness value in a range that includes the target and is determined in a direction along the shape of the target;
Equipped with
The image correction unit divides a range of brightness values that can be taken in the image into a plurality of sections, and performs conversion to align the brightness value in any one of the plurality of sections with the brightness value in another section.
Synthetic aperture radar equipment.
前記目標軸抽出部は、前記目標の形状に沿った方向に直交する方向における前記目標の幅を前記画像から抽出し、
前記画像補正部は、前記目標を含み前記目標の形状に沿った方向及び前記目標の幅で定まる範囲における輝度値を調整する、
請求項1から請求項3のいずれか一項に記載の合成開口レーダ装置。
The target axis extraction unit extracts a width of the target in a direction perpendicular to a direction along the shape of the target from the image,
The image correction unit adjusts a brightness value in a range including the target and determined by a direction along the shape of the target and a width of the target.
A synthetic aperture radar device according to any one of claims 1 to 3 .
前記画像補正部は、前記目標の端を前記画像から抽出し、前記目標を含み前記目標の形状に沿った方向及び前記目標の幅で定まる範囲のうち、前記目標の端に接する領域における輝度値を調整する、
請求項1から請求項4のいずれか一項に記載の合成開口レーダ装置。
The image correction unit extracts an edge of the target from the image, and calculates a brightness value in a region that includes the target and is in contact with the edge of the target, within a range defined by the direction along the shape of the target and the width of the target. adjust the
A synthetic aperture radar device according to any one of claims 1 to 4 .
前記画像補正部は、サイクルごとに得られる前記画像において、前記目標の端の位置を抽出し、抽出した位置と前サイクルにおける前記目標の端の位置とに対して忘却係数を用いた重み付け加算により、現サイクルにおける前記目標の端の位置を算出し、算出した前記目標の端に接する領域における輝度値を調整する、
請求項1から請求項のいずれか一項に記載の合成開口レーダ装置。
The image correction unit extracts the position of the end of the target in the image obtained for each cycle, and performs weighted addition using a forgetting coefficient on the extracted position and the position of the end of the target in the previous cycle. , calculating the position of the edge of the target in the current cycle, and adjusting the brightness value in a region touching the calculated edge of the target;
A synthetic aperture radar device according to any one of claims 1 to 5 .
前記画像補正部は、前記画像において所定値を超える輝度値を前記所定値に制限する、
請求項1から請求項6のいずれか一項に記載の合成開口レーダ装置。
The image correction unit limits a luminance value exceeding a predetermined value in the image to the predetermined value.
A synthetic aperture radar device according to any one of claims 1 to 6.
前記画像補正部は、サイクルごとに得られる前記画像において、予め定められたスレッショルドを超える輝度値を有する反射点を抽出し、抽出した反射点の輝度値と前サイクルにおける反射点の輝度値とに対して忘却係数を用いた重み付け加算を行い、現サイクルにおける出力画像を生成する、
請求項1から請求項7のいずれか一項に記載の合成開口レーダ装置。
The image correction unit extracts a reflection point having a brightness value exceeding a predetermined threshold in the image obtained in each cycle, and calculates a brightness value between the brightness value of the extracted reflection point and the brightness value of the reflection point in the previous cycle. Perform weighted addition using a forgetting coefficient to generate an output image in the current cycle.
A synthetic aperture radar device according to any one of claims 1 to 7.
前記画像補正部は、前記画像において取り得る輝度値の範囲を複数の区間に分割し、前記区間ごとに輝度値を変換する線形変換式を決定し、前記線形変換式を用いて前記区間それぞれの輝度値を変換する、
請求項1から請求項のいずれか一項に記載の合成開口レーダ装置。
The image correction unit divides the range of brightness values that can be taken in the image into a plurality of sections, determines a linear conversion formula for converting the brightness value for each section, and converts the brightness value of each section using the linear conversion formula. Convert brightness values,
A synthetic aperture radar device according to any one of claims 1 to 8 .
JP2019167959A 2019-09-17 2019-09-17 Synthetic aperture radar device Active JP7346188B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019167959A JP7346188B2 (en) 2019-09-17 2019-09-17 Synthetic aperture radar device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019167959A JP7346188B2 (en) 2019-09-17 2019-09-17 Synthetic aperture radar device

Publications (2)

Publication Number Publication Date
JP2021047019A JP2021047019A (en) 2021-03-25
JP7346188B2 true JP7346188B2 (en) 2023-09-19

Family

ID=74878257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019167959A Active JP7346188B2 (en) 2019-09-17 2019-09-17 Synthetic aperture radar device

Country Status (1)

Country Link
JP (1) JP7346188B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7735199B2 (en) * 2022-02-07 2025-09-08 株式会社東芝 Radar system and radar signal processing method
JP2023168659A (en) * 2022-05-16 2023-11-29 日本電気株式会社 Inverse synthetic aperture radar image synthesis device, inverse synthetic aperture radar image synthesis method and inverse synthetic aperture radar image synthesis program
JP7646780B1 (en) 2023-10-06 2025-03-17 株式会社東芝 Imaging radar device, correction device, correction method, and program

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002365363A (en) 2001-06-07 2002-12-18 Toshiba Corp Time series image processing apparatus and method
JP2005106566A (en) 2003-09-30 2005-04-21 Toshiba Corp Time-series image processing method and apparatus
JP2009231878A (en) 2008-03-19 2009-10-08 Seiko Epson Corp Image processing unit and image processing method
JP2011158457A (en) 2010-01-07 2011-08-18 Mitsubishi Electric Corp Device for screening of image change
JP2011247777A (en) 2010-05-27 2011-12-08 Toshiba Corp Radar device, target classification device and target classification program
US20120019690A1 (en) 2010-07-26 2012-01-26 Sony Corporation Active imaging device and method for speckle noise reduction
JP2013130573A (en) 2011-12-20 2013-07-04 Mitsubishi Electric Corp Image filtering by sparse reconstruction on affinity net
CN109581378A (en) 2018-12-29 2019-04-05 中国科学院电子学研究所 Moving target detection method, electronic equipment and storage medium
WO2019069787A1 (en) 2017-10-02 2019-04-11 日本電気株式会社 Radar image processing device, radar image processing method, and radar image processing program

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002365363A (en) 2001-06-07 2002-12-18 Toshiba Corp Time series image processing apparatus and method
JP2005106566A (en) 2003-09-30 2005-04-21 Toshiba Corp Time-series image processing method and apparatus
JP2009231878A (en) 2008-03-19 2009-10-08 Seiko Epson Corp Image processing unit and image processing method
JP2011158457A (en) 2010-01-07 2011-08-18 Mitsubishi Electric Corp Device for screening of image change
JP2011247777A (en) 2010-05-27 2011-12-08 Toshiba Corp Radar device, target classification device and target classification program
US20120019690A1 (en) 2010-07-26 2012-01-26 Sony Corporation Active imaging device and method for speckle noise reduction
JP2013130573A (en) 2011-12-20 2013-07-04 Mitsubishi Electric Corp Image filtering by sparse reconstruction on affinity net
WO2019069787A1 (en) 2017-10-02 2019-04-11 日本電気株式会社 Radar image processing device, radar image processing method, and radar image processing program
CN109581378A (en) 2018-12-29 2019-04-05 中国科学院电子学研究所 Moving target detection method, electronic equipment and storage medium

Also Published As

Publication number Publication date
JP2021047019A (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US11531098B2 (en) Radar image processing device and radar image processing method
JP7346188B2 (en) Synthetic aperture radar device
US9329264B2 (en) SAR image formation
US7551119B1 (en) Flight path-driven mitigation of wavefront curvature effects in SAR images
JP2015230284A (en) Radar apparatus and radar signal processing method of the same
KR102666369B1 (en) Method for calculating power level reflectivity of object on ground using SAR image
CN105137408A (en) Optimal antenna directional diagram selection radar angular super-resolution method
CN115015920A (en) Rapid back projection imaging method based on distance space-variant frequency spectrum correction
WO2023186386A1 (en) Detecting and suppressing ambiguities in synthetic aperture radar data and images
WO2017154125A1 (en) Synthetic-aperture-radar signal processing device
JP6178244B2 (en) Synthetic aperture radar apparatus and image processing method thereof
JP2003344532A (en) Radar equipment
JP2008164545A (en) Moving target detection device, moving target detection method, and moving target detection program
JP2008215935A (en) Radar image processing device
KR102169874B1 (en) Vehicle radar using azimuth high resolution processing algorithm and operating method thereof
JP6751063B2 (en) Radar signal processing device, radar signal processing method, and program
WO2023186385A1 (en) Detecting and suppressing ambiguities in synthetic aperture radar data and images
KR102306732B1 (en) Method of calculating radar cross section (rcs) for a target and rcs calculation device performing method
JP2020085591A (en) Radar signal processing device and radar signal processing program
US12025693B2 (en) Method for correcting a synthetic aperture radar antenna beam image
KR102872665B1 (en) Isar image focusing method
Guo et al. Cartesian based FFBP algorithm for circular SAR using NUFFT interpolation
JP7768334B2 (en) Image analysis system and image analysis method
KR102408971B1 (en) Apparatus For Transformating ISAR Image Using Cross-Range Scaling and Method thereof
CN120610273B (en) Sonar image imaging method, system and computing device based on two-step interpolation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230906

R150 Certificate of patent or registration of utility model

Ref document number: 7346188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350