JP7795828B2 - 高ダイナミック・レンジ撮像方法及びその装置 - Google Patents

Description

本発明は、高ダイナミック・レンジ撮像方法及びその装置に関する。

デジタル画像のダイナミック・レンジは、撮像システム内の物理的センサで示すことができる測定値の範囲を示す。しかし、露出時間が足りないか又は過度な場合、物理的センサの機能的限界によって獲得された画像は、ローダイナミック・レンジ（ＬＤＲ：ｌｏｗ ｄｙｎａｍｉｃ ｒａｎｇｅ）を有し、主観的な画像品質が低下する。このような問題を解決するために、多くの高ダイナミック・レンジ撮像方法についての研究が行われている。

従来の撮像システムは、いくつかのＨＤＲ機能が内蔵されている。動作感知基盤方法の場合、加重値マップ、しきい値ビットマップ、及び類似技術を活用して、画像内で発生する動作について多重露出値を有するＬＤＲ画像からＨＤＲ画像を合成する。

整列基盤方法は、露出値画像周りの捻れのような方法を使ってＬＤＲ画像を整列してダイナミック・レンジを確張する。

しかし、従来技術は、ＨＤＲ画像獲得には成功したが、依然としてＬＤＲ画像で発生する動き、色歪みなどの問題点を有する。

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ＬＤＲ画像をＨＤＲ画像に変換する時に発生する色歪みを最小化し、質感を保存してゴースト現象を低減させる高ダイナミック・レンジ撮像方法及びその装置を提供することにある。

上記目的を達成するためになされた本発明の一態様による高ダイナミック・レンジ撮像方法は、（ａ）それぞれ異なる露出値を有する第１のＬＤＲ（Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像、第２のＬＤＲ画像、及び第３のＬＤＲ画像を獲得するステップと、（ｂ）前記第１のＬＤＲ画像、前記第２のＬＤＲ画像、及び前記第３のＬＤＲ画像を加重値マップ推定モデルに適用して加重値マップを抽出し、前記抽出された加重値マップを用いて前記第１のＬＤＲ画像、前記第２のＬＤＲ画像、及び前記第３のＬＤＲ画像を統合した入力特徴マップを生成するステップと、（ｃ）前記入力特徴マップをスウィン・フーリエ畳み込みネットワークモデルに適用してフーリエ変換し、畳み込みした後に参照特徴マップを接続してＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成するステップと、を有する。

前記参照特徴マップは、前記加重値マップ推定モデルによって抽出された前記第２のＬＤＲ画像の特徴マップであり得る。
前記（ｂ）ステップは、前記第１のＬＤＲ画像、前記第２のＬＤＲ画像、及び前記第３のＬＤＲ画像を前記加重値マップ推定モデルの畳み込み層に適用して第１特徴マップ、第２特徴マップ、及び第３特徴マップをそれぞれ抽出するステップと、前記第１特徴マップ及び前記第２特徴マップを前記加重値マップ推定モデルの第１アテンションモジュールに適用して第１加重値マップを生成し、前記第３特徴マップ及び前記第２特徴マップを前記加重値マップ推定モデルの第２アテンションモジュールに適用して第２加重値マップを生成するステップと、前記第１加重値マップ及び前記第２加重値マップを前記第１特徴マップ及び前記第３特徴マップにそれぞれ反映した後、前記第２特徴マップに結合して前記入力特徴マップを生成するステップと、を含み得る。
前記スウィン・フーリエ畳み込みネットワークモデルは、複数のスウィン・フーリエ畳み込みブロック及びトランスポーズ畳み込みブロックで構成され、前記スウィン・フーリエ畳み込みブロックは、前記入力特徴マップをパッチ単位に分割して階層的特徴マップを構成するスウィン・トランスフォーマブロックと、参照画像の特徴マップに飛び接続を使って全域残差を加える残差ブロックと、前記スウィン・トランスフォーマブロックの後端に接続される第１の３×３畳み込み層及び第２の３×３畳み込み層を有し、前記第１の３×３畳み込み層及び前記第２の３×３畳み込み層の出力値を要素別に合成して第１サブ合成結果値を出力し、前記残差ブロックの後端に接続される第３の３×３畳み込み層及び前記残差ブロックの出力値をフーリエ変換するスペクトル変換モジュールの出力値を要素別に合成して第２サブ合成結果値を出力し、前記第１サブ合成結果値と前記第２サブ合成結果値とを連結する連結部と、を備え得る。
前記スウィン・フーリエ畳み込みネットワークモデルの損失関数は、下記数式８のように計算され得る。
ここで、
であり、ｘは、ターゲットＨＤＲ画像を示し、ｙは、生成されたＨＤＲ画像を示し、
は、測地線距離を使ってマニホールドに対するユークリッド距離を一般化するガウスカーネルを示し、Ｔ（・）は、トーンマッピング演算子であって、
のように計算され、μは、圧縮媒介変数を示し、ｌ_１は、ＭＡＥ損失を示し、ＶＧＧ１９（）は、畳み込み神経網を示す。

上記目的を達成するためになされた本発明の一態様による高ダイナミック・レンジ（ＨＤＲ）撮像装置は、それぞれ異なる露出値を有する第１のＬＤＲ（Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像、第２のＬＤＲ画像、及び第３のＬＤＲ画像を獲得する画像獲得部と、前記第１のＬＤＲ画像、前記第２のＬＤＲ画像、及び前記第３のＬＤＲ画像を加重値マップ推定モデルに適用して加重値マップを抽出し、前記抽出された加重値マップを用いて前記第１のＬＤＲ画像、前記第２のＬＤＲ画像、及び前記第３のＬＤＲ画像を統合した入力特徴マップを生成する加重値マップ推定部と、前記入力特徴マップをスウィン・フーリエ畳み込みネットワークモデルに適用してフーリエ変換し、畳み込みした後に参照特徴マップを接続してＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成するＨＤＲ生成部と、を備える。

前記加重値マップ推定部は、前記第１のＬＤＲ画像、前記第２のＬＤＲ画像、及び前記第３のＬＤＲ画像を前記加重値マップ推定モデルの畳み込み層に適用して第１特徴マップ、第２特徴マップ、及び第３特徴マップをそれぞれ抽出し、前記第１特徴マップ及び前記第２特徴マップを前記加重値マップ推定モデルの第１アテンションモジュールに適用して第１加重値マップを生成し、前記第３特徴マップ及び前記第２特徴マップを前記加重値マップ推定モデルの第２アテンションモジュールに適用して第２加重値マップを生成し、前記第１加重値マップ及び前記第２加重値マップを前記第１特徴マップ及び前記第３特徴マップにそれぞれ反映した後、前記第２特徴マップに結合して前記入力特徴マップを生成し得る。

本発明の高ダイナミック・レンジ合成方法及びその装置によれば、ＬＤＲ画像をＨＤＲ画像に変換する時に発生する色歪みを最小化することができ、質感を保存してゴースト現象のないＨＤＲ画像を獲得することができる効果がある。

本発明の一実施形態による高ダイナミック・レンジ撮像方法を示すフローチャートである。 本発明の一実施形態によるＨＤＲ撮像装置のネットワークアキテクチャを示す図である。 本発明の一実施形態によるスウィン・フーリエ畳み込みモデルの構造を示す図である。 本発明の一実施形態によるスウィン・トランスフォーマブロックの構造を示す図である。 本発明の一実施形態による残差ブロックの構造を示す図である。 本発明の一実施形態によるスペクトル変換ブロックの構造を示す図である。 本発明の一実施形態による加重値マップ結果を示す図である。 従来及び本発明の一実施形態による知覚損失による活性化結果を示す図である。 本発明の一実施形態によるＨＤＲ撮像装置の内部構成を概略的に示す図である。

本明細書で使用する単数の表現は、文脈上明らかに別の方法で示さない限り、複数の表現を含む。本明細書で、「構成される」又は「含む」などの用語は、明細書上に記載の多くの構成要素、又は多くの段階を必ずいずれも含むものと解釈してはならず、そのうちの一部の構成要素又は一部の段階を含まないこともあり、或いは更なる構成要素又は段階を更に含むものと解釈しなければならない。また、明細書に記載の「…部」、「モジュール」などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これは、ハードウェア又はソフトウェアで具現されるか、又はハードウェアとソフトウェアとの結合で具現される。

以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。

図１は、本発明の一実施形態による高ダイナミック・レンジ撮像方法を示すフローチャートであり、図２は、本発明の一実施形態によるＨＤＲ撮像装置のネットワークアキテクチャを示す図であり、図３は、本発明の一実施形態によるスウィン・フーリエ畳み込みモデルの構造を示す図であり、図４は、本発明の一実施形態によるスウィン・トランスフォーマブロックの構造を示す図であり、図５は、本発明の一実施形態による残差ブロックの構造を示す図であり、図６は、本発明の一実施形態によるスペクトル変換ブロックの構造を示す図であり、図７は、本発明の一実施形態による加重値マップ結果を示す図であり、図８は、従来及び本発明の一実施形態による知覚損失による活性化結果を示す図である。

１１０ステップで、ＨＤＲ撮像装置１００は、それぞれ異なる露出値を有する複数のＬＤＲ画像を獲得する。

例えば、ＨＤＲ撮像装置１００は、露出値のそれぞれ異なる第１のＬＤＲ画像、第２のＬＤＲ画像、及び第３のＬＤＲ画像を獲得する。ここで、第１のＬＤＲ画像、第２のＬＤＲ画像、及び第３のＬＤＲ画像は、露出値のそれぞれ異なる連続画像であるものと仮定する。便宜のため、第１のＬＤＲ画像の露出値が最も小さく、第３のＬＤＲ画像の露出値が最も大きいものと仮定して、これを中心として説明する。

例えば、ＨＤＲ画像を獲得するために入力されるＬＤＲ画像をｇ_ｉと表し、これは露出のそれぞれ異なる画像を意味する。

幾何学的に整列された画像
の強度変換バージョンは、数式１のようにガンマ補正を使って獲得される。

ここで、Ｌ_ｉは、ＬＤＲ画像を示し、
は、ＨＤＲ画像を示し、γは、ガンマパラメータを示し、本発明の一実施形態では、２．２に設定した。ｔ_ｉは、露出時間を示す。

は、カメラ応答関数を使って非線形ＬＤＲ入力画像を線形化し、ガンマ補正を適用して獲得される。前処理過程で生成されたＬ_ｉ及び
を入力画像Ｇｉと定義して、接続されたＬＤＲ入力画像としてＨＤＲ画像を獲得する。これを数式で示すと、数式２のように示される。

本発明の一実施形態による高ダイナミック・レンジ撮像装置の全体ネットワークモデルは、数式３のように定義される。

ここで、
は、全体ネットワークモデルの出力（ＨＤＲ画像）を示し、θは、学習媒介変数を示す。

１１５ステップで、ＨＤＲ撮像装置１００は、第１のＬＤＲ画像、第２のＬＤＲ画像、及び第３のＬＤＲ画像を用いて加重値マップを生成し、生成された加重値マップを用いて第１のＬＤＲ画像、第２のＬＤＲ画像、及び第３のＬＤＲ画像を統合して入力特徴マップを生成する。

図２を参照して、これについて更に詳細に説明する。

ＨＤＲ撮像装置１００は、第１のＬＤＲ画像、第２のＬＤＲ画像、及び第３のＬＤＲ画像のそれぞれに畳み込み演算を適用して、第１特徴マップ、第２特徴マップ、及び第３特徴マップをそれぞれ生成する。

ＨＤＲ撮像装置１００は、第１特徴マップ及び第２特徴マップをアテンションモジュールに適用して第１加重値マップを生成し、第３特徴マップ及び第２特徴マップをアテンションモジュールに適用して第２加重値マップを生成する。第２特徴マップは、参照特徴マップとして用いられる。

これを数式で示すと、数式４の通りである。

ここで、Ｇ_ｉは、ＬＤＲ画像を示し、Ｈ_１は、抽出された特徴マップ層を示し、ｆ_ｉは、アテンションモジュールを示し、
は、加重値マップを示し、加重値マップは、［０，１］の間の値を有する。

ＨＤＲ撮像装置１００は、第１加重値マップ及び第２加重値マップを第１特徴マップ及び第３特徴マップにそれぞれ反映した後、参照特徴マップ（第２特徴マップ）に結合して入力特徴マップを生成する。ゴーストを最小化するために、ＨＤＲ撮像装置１００は、第１加重値マップを第１特徴マップに反映し、第２加重値マップを第３特徴マップに反映した後、参照特徴マップ（第２特徴マップ）に結合して入力特徴マップを生成する。

即ち、ＨＤＲ撮像装置１００は、第１加重値マップ及び第１特徴マップを要素毎に乗算することで第１加重値マップを第１特徴マップに反映し、第２加重値マップ及び第３特徴マップを要素毎に乗算して第２加重値マップを第３特徴マップに反映する。次いで、ＨＤＲ撮像装置１００は、加重値マップが反映された第１特徴マップ及び第３特徴マップと参照特徴マップ（第２特徴マップ）とを結合して入力特徴マップを生成する。

これにより、図７に示すように、参照画像とは異なる客体の動きによってゴーストアーチファクトが発生する領域で、加重値が低くなることで所望しないアーチファクトを最小化することができ、これは第１加重値マップＨ_１（Ｇ_１）と第２加重値マップＨ_１（Ｇ_２）との要素毎の乗算であり、数式５のように示される。

ここで、Ｆ^２は、特徴マップ及びチャネル別接続を示し、Ｃ（・）は、要素毎の乗算後に接続を行う演算子を示す。

ゴーストを最小化するために推定されたＦ^２は、向上した知覚損失関数を学習するための入力特徴マップとして使われる。

１２０ステップで、ＨＤＲ撮像装置１００は、入力特徴マップをスウィン・フーリエ畳み込みネットワークモデルに適用してフーリエ変換し、畳み込み演算した後に参照特徴マップを接続してＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する。

図２に示したように、スウィン・フーリエ畳み込みネットワークモデルは、複数のスウィン・フーリエ畳み込みブロック（ＳＣｂｌｏｃｋ）、残差ブロック（ＲＢ）、トランスポーズ畳み込みブロック（ＴＣｂｌｏｃｋ）で構成される。

入力特徴マップは、スウィン・フーリエ畳み込みブロック及びトランスポーズ畳み込みブロックで構成されたＵ字形ネットワークモデル（即ち、スウィン・フーリエ畳み込みネットワークモデル）を介してＨＤＲ画像で再構成される。

スウィン・フーリエ畳み込みブロックは、トランスフォーマ構造を基盤とし、特徴マップをパッチ単位に分割して階層的特徴マップを構成するスウィン・トランスフォーマブロックと、参照画像の特徴マップに飛び（スキップ）接続を使って全域残差を加える残差ブロックと、で構成される。

スウィン・トランスフォーマブロックは、図４に示したように、レイヤ正規化ブロック、ウィンドウ基盤マルチヘッド自己アテンションモジュール、多層パーセプトロンモジュール、畳み込み層の後で１×１畳み込みが行われる構造で構成される。

スウィン・フーリエ畳み込みブロックは、Ｕ字形エンコーダモジュールを呼び出す特徴マップを許容して解像度が更に低くなるため、２×２ストライド畳み込みによりダウンサンプリングし、トランスフォーマをＵ字形ネットワークブロックに統合して更に階層情報を活用するようにする。また、残差ブロックは、図５に示した通りである。

また、スウィン・フーリエ畳み込みネットワークモデルは、スウィン・トランスフォーマブロックの後端に接続される第１の３×３畳み込み層及び第２の３×３畳み込み層を有し、第１の３×３畳み込み層及び第２の３×３畳み込み層の出力値を要素別に合成して第１サブ合成結果値を出力し、残差ブロックの後端に接続される第３の３×３畳み込み層及び残差ブロックの出力値をフーリエ変換するスペクトル変換モジュールの出力値を要素別に合成して第２サブ合成結果値を出力し、第１サブ合成結果値と第２サブ合成結果値とを連結する連結部を更に備える。

デコーダモジュールで使われるトランスポーズ畳み込みブロックは、トランスポーズ畳み込みブロック及びスウィン・フーリエ畳み込みブロックで構成され、全域情報を階層的に学習するために、２×２トランスポーズ畳み込みでアップサンプリングして解像度を高める。

また、本発明の一実施形態によると、スウィン・フーリエ畳み込みネットワークモデルは、参照画像の特徴マップを、飛び接続を使って全域残差として加えて学習を助ける。

スウィン・フーリエ畳み込みブロックに結合されたスペクトル変換ブロックは、ＦＦＴ（Ｆａｓｔ－ＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）の後で畳み込みを行い、その構造は、図６に示した通りである。スペクトル変換ブロックは、ＦＦＴを使うため、画像に表現される周期的パターンを処理しやすく、スウィン・フーリエ畳み込みブロックと共に使って、地域情報だけではなく全域文脈を補強することができる。ＦＦＴは、画像信号を周期的な周波数信号に変換し、これにより画像の周期的なパターンを学習させる。

本発明の一実施形態によると、スウィン・フーリエ畳み込みネットワークモデルは、参照画像（即ち、第２のＬＤＲ画像）に対する第２特徴マップを全域飛び接続を使って全域残差として加えて残差学習させる。

本発明の一実施形態によるスウィン・フーリエ畳み込みネットワークモデルは、ログ知覚損失関数を用いて学習される。

これを数式で示すと、数式６の通りである。

ここで、ｘは、ターゲットＨＤＲ画像を示し、ｙは、生成されたＨＤＲ画像を示し、
は、測地線距離を使ってマニホールドに対するユークリッド距離を一般化するガウスカーネルを示し、Ｔ（・）は、トーンマッピング演算子であって、数式７の通りである。

ここで、μは、圧縮媒介変数を示す。

従って、総損失関数は、数式８のように示される。

ここで、ｌ_１は、ＭＡＥ損失を示し、ＶＧＧ１９（）は、畳み込み神経網として、スウィン・フーリエ畳み込みネットワークモデルを示す。

図８に示すように、本発明の一実施形態によるログ知覚損失関数を適用することで、従来に比べて、活性化を高めて低い値を有する領域は高い値を有するようにし、高い値を有する領域は高い値を維持するようにする。

図９は、本発明の一実施形態によるＨＤＲ撮像装置の内部構成を概略的に示す図である。

図９を参照すると、本発明の一実施形態によるＨＤＲ撮像装置１００は、画像獲得部９１０、加重値マップ推定部９２０、ＨＤＲ生成部９３０、メモリ９４０、及びプロセッサ９５０を備えて構成される。

画像獲得部９１０は、それぞれ異なる露出値を有する第１のＬＤＲ（Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像、第２のＬＤＲ画像、及び第３のＬＤＲ画像を獲得するための手段である。

加重値マップ推定部９２０は、加重値マップ推定モデルを有し、画像獲得部９１０で獲得された第１、第２、及び第３のＬＤＲ画像を加重値マップ推定モデルに適用して加重値マップを抽出した後、抽出された加重値マップを用いて第１、第２、及び第３のＬＤＲ画像を統合した入力特徴マップを生成するための手段である。

例えば、加重値マップ推定部９２０は、第１、第２、及び第３のＬＤＲ画像を加重値マップ推定モデルの畳み込み層に適用して第１特徴マップ、第２特徴マップ、及び第３特徴マップをそれぞれ抽出する。次いで、加重値マップ推定部９２０は、第１特徴マップ及び第２特徴マップを加重値マップ推定モデルの第１アテンションモジュールに適用して第１加重値マップを生成し、第３特徴マップ及び第２特徴マップを加重値マップ推定モデルの第２アテンションモジュールに適用して第２加重値マップを生成する。加重値マップ推定部９２０は、第１加重値マップ及び第２加重値マップを第１特徴マップ及び第３特徴マップにそれぞれ反映した後、第２特徴マップに結合して入力特徴マップを生成する。

ＨＤＲ撮像装置９３０は、入力特徴マップをスウィン・フーリエ畳み込みネットワークモデルに適用してフーリエ変換し、畳み込み演算した後に参照特徴マップを接続してＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成するための手段である。

スウィン・フーリエ畳み込みネットワークモデルは、複数のスウィン・フーリエ畳み込みブロックとトランスポーズ畳み込みブロックとで構成されるＵ字形ネットワークモデルである。

スウィン・フーリエ畳み込みブロックは、上述したように、入力特徴マップをパッチ単位に分割して階層的特徴マップを構成するスウィン・トランスフォーマブロックと、参照画像の特徴マップに飛び接続を使って全域残差を加える残差ブロックと、スウィン・トランスフォーマブロックの後端に接続される第１の３×３畳み込み層及び第２の３×３畳み込み層を有し、第１の３×３畳み込み層及び第２の３×３畳み込み層の出力値を要素別に合成して第１サブ合成結果値を出力し、残差ブロックの後端に接続される第３の３×３畳み込み層及び残差ブロックの出力値をフーリエ変換するスペクトル変換モジュールの出力値を要素別に合成して第２サブ合成結果値を出力し、第１サブ合成結果値と第２サブ合成結果値とを連結する連結部と、を備えて構成される。

このようなスウィン・フーリエ畳み込みネットワークモデルにより、入力特徴マップに対する全域領域をパッチ単位に分割してフーリエ変換し、周期的パターンを用いて学習することで、ＨＤＲ合成を容易に行えるという利点がある。

また、上述したように、Ｕ字形ネットワークモデルがログ知覚損失を用いて学習されることで活性化を高めて、低い値を有する領域は高い値を有するようにし、高い値を有する領域は高い値を維持するようにする。

メモリ９４０は、本発明の一実施形態によるＨＤＲ撮像方法を行うための多様な命令語を保存する。

プロセッサ９５０は、本発明の一実施形態によるＨＤＲ撮像装置１００の内部構成要素（例えば、画像獲得部９１０、加重値マップ推定部９２０、ＨＤＲ生成部９３０、メモリ９４０など）を制御するための手段である。

本発明の実施形態による装置及び方法は、多様なコンピュータ手段により実行されるプログラム命令の形態に具現されてコンピュータ読み取り可能な記録媒体に記録される。コンピュータ読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含む。コンピュータ読み取り可能な記録媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであるか、又はコンピュータソフトウェアの当業者に公知されて使用可能なものである。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、プロッピィー（登録商標）ディスク、及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ及びＤＶＤのような光記録媒体、フロプティカルディスクなどの磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどの、プログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作われるような機械語コードだけではなく、インタプリタなどを使ってコンピュータによって実行され得る高級言語コードを含む。

上述したハードウェア装置は、本発明の動作を行うために、少なくとも一つのソフトウェアモジュールで作動するように構成され、その逆も同様である。

以上、本発明について、その実施形態を中心として説明した。当業者であれば、本発明が、本発明の本質的な特性から逸脱しない範囲内で変形された形態に具現され得るということを理解できるであろう。従って、開示された実施形態は、限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、上述した説明ではなく特許請求の範囲に示されており、それと均等な範囲内にある全ての差異は、本発明に含まれると解釈されねばならない。

１００ ＨＤＲ撮像装置
９１０ 画像獲得部
９２０ 加重値マップ推定部
９３０ ＨＤＲ生成部
９４０ メモリ
９５０ プロセッサ

Claims (4)

1. 高ダイナミック・レンジ撮像装置で行われる高ダイナミック・レンジ撮像方法であって、
   （ａ）それぞれ異なる露出値を有する第１のＬＤＲ（Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像、第２のＬＤＲ画像、及び第３のＬＤＲ画像を獲得するステップと、
   （ｂ）前記第１のＬＤＲ画像、前記第２のＬＤＲ画像、及び前記第３のＬＤＲ画像を加重値マップ推定モデルに適用して加重値マップを抽出し、前記抽出された加重値マップを用いて前記第１のＬＤＲ画像、前記第２のＬＤＲ画像、及び前記第３のＬＤＲ画像を統合した入力特徴マップを生成するステップと、
   （ｃ）前記入力特徴マップをスウィン・フーリエ畳み込みネットワークモデルに適用してフーリエ変換し、畳み込み演算した後に参照特徴マップを接続してＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成するステップと、を有し、
   前記（ｂ）ステップは、
   前記第１のＬＤＲ画像、前記第２のＬＤＲ画像、及び前記第３のＬＤＲ画像を前記加重値マップ推定モデルの畳み込み層に適用して第１特徴マップ、第２特徴マップ、及び第３特徴マップをそれぞれ抽出するステップと、
   前記第１特徴マップ及び前記第２特徴マップを前記加重値マップ推定モデルの第１アテンションモジュールに適用して第１加重値マップを生成し、前記第３特徴マップ及び前記第２特徴マップを前記加重値マップ推定モデルの第２アテンションモジュールに適用して第２加重値マップを生成するステップと、
   前記第１加重値マップ及び前記第２加重値マップを前記第１特徴マップ及び前記第３特徴マップにそれぞれ反映した後、前記第２特徴マップに結合して前記入力特徴マップを生成するステップと、を含み、
   前記参照特徴マップは、前記第２のＬＤＲ画像から抽出された前記第２特徴マップであり、
   前記スウィン・フーリエ畳み込みネットワークモデルは、複数のスウィン・フーリエ畳み込みブロック及びトランスポーズ畳み込みブロックで構成され、
   前記スウィン・フーリエ畳み込みブロックは、
   前記入力特徴マップをパッチ単位に分割して階層的特徴マップを構成するスウィン・トランスフォーマブロックと、
   参照画像の特徴マップに飛び接続を使って全域残差を加える残差ブロックと、
   前記スウィン・トランスフォーマブロックの後端に接続される第１の３×３畳み込み層及び第２の３×３畳み込み層を有し、前記第１の３×３畳み込み層及び前記第２の３×３畳み込み層の出力値を要素別に合成して第１サブ合成結果値を出力し、前記残差ブロックの後端に接続される第３の３×３畳み込み層及び前記残差ブロックの出力値をフーリエ変換するスペクトル変換モジュールの出力値を要素別に合成して第２サブ合成結果値を出力し、前記第１サブ合成結果値と前記第２サブ合成結果値とを連結する連結部と、を備えることを特徴とする高ダイナミック・レンジ撮像方法。
2. 前記スウィン・フーリエ畳み込みネットワークモデルは、下記数式６に示すログ知覚損失関数を用いて学習され、前記スウィン・フーリエ畳み込みネットワークモデルの損失関数は、下記数式８のように計算されることを特徴とする請求項１に記載の高ダイナミック・レンジ撮像方法。
   ここで、
   であり、ｘは、ターゲットＨＤＲ画像を示し、ｙは、生成されたＨＤＲ画像を示し、
   は、測地線距離を使ってマニホールドに対するユークリッド距離を一般化するガウスカーネルを示し、Ｔ（・）は、トーンマッピング演算子であって、
   のように計算され、μは、圧縮媒介変数を示し、ｌ_１は、ＭＡＥ損失を示し、ＶＧＧ１９（）は、畳み込み神経網を示す。
3. 請求項１に記載の高ダイナミック・レンジ撮像装置で行われる高ダイナミック・レンジ撮像方法を実行するためのプログラムコードを記録したコンピュータ読み取り可能な記録媒体。
4. それぞれ異なる露出値を有する第１のＬＤＲ（Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像、第２のＬＤＲ画像、及び第３のＬＤＲ画像を獲得する画像獲得部と、
   前記第１のＬＤＲ画像、前記第２のＬＤＲ画像、及び前記第３のＬＤＲ画像を加重値マップ推定モデルに適用して加重値マップを抽出し、前記抽出された加重値マップを用いて前記第１のＬＤＲ画像、前記第２のＬＤＲ画像、及び前記第３のＬＤＲ画像を統合した入力特徴マップを生成する加重値マップ推定部と、
   前記入力特徴マップをスウィン・フーリエ畳み込みネットワークモデルに適用してフーリエ変換し、畳み込み演算した後に参照特徴マップを接続してＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成するＨＤＲ生成部と、を備え、
   前記加重値マップ推定部は、
   前記第１のＬＤＲ画像、前記第２のＬＤＲ画像、及び前記第３のＬＤＲ画像を前記加重値マップ推定モデルの畳み込み層に適用して第１特徴マップ、第２特徴マップ、及び第３特徴マップをそれぞれ抽出し、
   前記第１特徴マップ及び前記第２特徴マップを前記加重値マップ推定モデルの第１アテンションモジュールに適用して第１加重値マップを生成し、前記第３特徴マップ及び前記第２特徴マップを前記加重値マップ推定モデルの第２アテンションモジュールに適用して第２加重値マップを生成し、
   前記第１加重値マップ及び前記第２加重値マップを前記第１特徴マップ及び前記第３特徴マップにそれぞれ反映した後、前記第２特徴マップに結合して前記入力特徴マップを生成し、
   前記参照特徴マップは、前記第２のＬＤＲ画像から抽出された前記第２特徴マップであり、
   前記スウィン・フーリエ畳み込みネットワークモデルは、複数のスウィン・フーリエ畳み込みブロック及びトランスポーズ畳み込みブロックで構成され、
   前記スウィン・フーリエ畳み込みブロックは、
   前記入力特徴マップをパッチ単位に分割して階層的特徴マップを構成するスウィン・トランスフォーマブロックと、
   参照画像の特徴マップに飛び接続を使って全域残差を加える残差ブロックと、
   前記スウィン・トランスフォーマブロックの後端に接続される第１の３×３畳み込み層及び第２の３×３畳み込み層を有し、前記第１の３×３畳み込み層及び前記第２の３×３畳み込み層の出力値を要素別に合成して第１サブ合成結果値を出力し、前記残差ブロックの後端に接続される第３の３×３畳み込み層及び前記残差ブロックの出力値をフーリエ変換するスペクトル変換モジュールの出力値を要素別に合成して第２サブ合成結果値を出力し、前記第１サブ合成結果値と前記第２サブ合成結果値とを連結する連結部と、を備えることを特徴とする高ダイナミック・レンジ撮像装置。