JP5778957B2 - 疎回帰及び二次情報を用いる時空間画像復元 - Google Patents

Description

本発明は、一般に画像処理に関し、より具体的にはキャプチャ・データから時空間画像を復元するための技術に関する。

多くの画像化アプリケーションは、関心のある具体的な対象物を表す連続する２次元（２Ｄ）又は３次元（３Ｄ）画像を、それぞれの時間間隔で生成することを含む。例えば、磁気共鳴画像法（ＭＲＩ）、陽電子放射断層撮影法（ＰＥＴ）及びコンピュータ断層撮影法（ＣＴ）等の幅広い周知の医療画像化アプリケーションがある。これらの及び他の画像化アプリケーションで生成された画像シーケンスは、画像データが、空間領域において、すなわち個々の２Ｄ又は３Ｄ画像の各々の内部で変化すると共に、時間領域において、すなわち時間間隔から時間間隔へと変化することから、一般的に時空間画像とも呼ばれる。

典型的な装置においては、未加工データは、スキャナにより、各フレームがある時間間隔に対応する一連のフレームとしてキャプチャされる。フレーム毎のキャプチャ・データを処理して、対応する時間間隔における対象物の状態を表す空間画像を復元する。画像復元プロセスは、スキャナによるデータ・キャプチャを特徴付ける物理モデルに基づく数学的最適化問題として定式化することができる。空間画像は、通常フレーム毎に個別に復元され、次いで、これらの空間画像を集約して時空間画像を提供する。

鼓動又は呼吸等の反復的な現象の画像化が含まれる場合は、未加工データは、いわゆる「ゲート化（gated）」装置を用いて、複数の反復周期について収集されることが多い。反復の各周期は複数のフレームに再分割され、ある周期の各フレームは、その周期における対応する時間間隔を表す。空間画像は、時間間隔毎にその時間間隔に関連するフレームを用いて独立して復元され、複数の周期の各々からの一つのフレームを含むことになる。この場合も同様に、次にこれらの空間画像は集約されて、時空間画像を提供する。

米国特許出願番号第１２／５４９，９６４号

Ｉ．Ｋ．Ｈｏｎｇ他著、「Ultra fast symmetry and simd-basedprojection-backprojection (ssp) algorithm for 3-d pet image reconstruction」、IEEE Trans. Med. Imaging、 26(6)、789-803頁、２００７年 Ｊａｎ Ａ． Ｓｎｙｍａｎ著、「Practical MathematicalOptimization: An Introduction to Basic Optimization Theory and Classical andNew Gradient-Based Algorithms」、Springer Publishing、ISBN 0-387-24348-8、２００５年

上述のような装置において、空間解像度と時間解像度との間には、固有のトレードオフが存在する。例えば、ある期間においてキャプチャされるフレーム数を増加することにより時間解像度を改善しようと試みることができるが、これにより各フレームにおいてキャプチャされるデータ量が減少し、空間解像度が低下する。また、医療画像化装置は、患者を、相当なレベルの潜在的に有害な放射線に曝す場合があることは間違いないため、走査時間を制限することが望ましい場合が多い。

本発明の例示的な実施形態は、時空間画像復元についての改善された技術を提供するものであり、これらの技術においては、１つの時間間隔に関連する所与の空間画像が、対応するフレームのみでなく、他の時間間隔に関連する他のフレームからのキャプチャ・データも用いて、復元される。これらの技術は、時空間画像の復元において、空間的多重性及び時間的多重性の両方を考慮する。

画像復元は、空間的及び時間的多重性の両方を活用することに加えて、調査中の対象物に関する事前の具体的又は一般的情報等といった２次ソースからの情報を用いて、復元の質をさらに改善することができる。

本発明の１つの態様によると、対象物の時空間画像は、対象物を特徴づけるキャプチャ・データに基づいて復元される。時空間画像は、それぞれの時間間隔において複数の空間画像を含み、時間間隔の１つにおける空間画像の少なくとも所与の１つは、その時間間隔に関連するフレームからのキャプチャ・データのみでなく、他の時間間隔に関連する１つ又は複数の追加的フレームに関連するキャプチャ・データも用いて、復元される。時空間画像は、疎領域における最小化又は最大化問題の解を求め、その解を画像領域に変換することを反復することにより、復元することができる。

疎領域と画像領域との間の変換は、複数の基底関数を用いて実装される時空間変換を利用することができ、基底関数の１つ又は複数は、画像化される対象物に関連する二次情報に基づいて、少なくとも部分的に決定することができる。

例示的な実施形態は、複数のフレームからのキャプチャ・データを用いて所与の１つのフレームに対応する空間画像を復元するため、空間解像度を大幅に犠牲にすることなく、時間解像度を改善できる点で有利である。また、空間解像度は、時間解像度を犠牲にすることも走査時間を増やすこともなく、改善することができる。追加的に又は代替的に、走査時間は、所与のレベルの空間解像度に対して大幅に削減することができ、これにより患者に対する潜在的に有害な放射線の照射を削減できる。

本発明の上記の及び他の特徴は、添付する図面及び以下の詳細な説明により、より明らかになるであろう。

本発明の例示的な実施形態における画像処理システムのブロック図である。 図１の画像処理システムの画像復元ユニット及び図１のシステムの追加的要素をより詳細に示すブロック図である。 図２の画像復元モジュールに実装された画像復元プロセスの流れ図である。

本発明は、本明細書においては、典型的な画像処理システム及び時空間画像復元についての関連技術との関連において説明される。しかしながら、本発明は、開示される特定のタイプのシステム及び技術と共に使用することに限定されないことを理解されたい。本発明は、代替的な画像復元技術を用いる、広範な他の画像処理システムに実装することができる。

図１は、本発明の例示的な実施形態による画像処理システム１００を示す。調査中の対象物１０２を特徴づけるデータは、スキャナ、より具体的にはＭＲＩ、ＰＥＴ、又はＣＴスキャナ等の医療画像化スキャナを含むことができるデータ・キャプチャ・ユニット１０４により、キャプチャされる。この未加工データは、本実施形態の目的に対して、各フレームが時間間隔に対応する一連のフレームとしてキャプチャされると仮定する。キャプチャ・データは、画像復元ユニット１０６で処理され、時空間画像が生成される。対象物１０２は、被験者、被検動物若しくは他のいずれかの対象物、又はかかる対象物の一部を含むことができる。本発明の実施形態の実装においては、機能的ＭＲＩ（ｆＭＲＩ）、核ＭＲＩ（ＮＭＲI）、単一光子放射断層撮影法（ＳＰＥＣＴ）、又は高解像度実験断層撮影法（ＨＲＲＴ）等の走査技術に一般的に関連するものを含む他のタイプのスキャナを用いることができる。

先に説明した従来の画像復元技術においては、空間画像は、通常フレーム毎に個別に復元され、次いでこれらの空間画像を集約して時空間画像を提供する。従って、これらの従来技術は、対応するフレームからのキャプチャ・データ、又は、共通の時間間隔に関連し且ついわゆる「ゲート化」装置における各周期からの１つのフレームを含む対応するフレームの組からのキャプチャ・データのみを用いて、各空間画像を復元する。

画像復元ユニット１０６は、従来の装置とは対照的に、１つの時間間隔に関連する所与の空間画像が、対応するフレームからのキャプチャ・データのみでなく、他の時間間隔に関連する他のフレームからのキャプチャ・データも用いて復元されるように構成される。従って、画像復元ユニットは、時空間画像を復元する際に、空間的及び時間的多重性を共に考慮する。従って、複数のフレームからのキャプチャ・データを用いて、フレームの所与の１つに対応する空間画像を復元する。空間的及び時間的多重性の両方を活用することに加えて、画像復元ユニット１０６は、調査中の対象物に関する事前の具体的又は一般的情報等といった２次ソースからの情報を用いて、復元の質をさらに改善することができる。二次情報は、他のタイプの画像化様式又は方法を用いる二次ソースから取得した情報とすることができる。

このことは、空間解像度を大幅に犠牲にすることなく時間解像度を改善し、結果として時空間画像品質を向上させ、それにより診断能力を強化することができる点で有利である。さらに、時間解像度を犠牲にすることも走査時間を増やすこともなく、空間解像度を改善することができる。また、開示される技術を用いて走査時間を削減し、それにより走査装置の効率を改善し（例えば、ＭＲＩ、ＰＥＴ又はＣＴスキャナにより所与の時間においてより多くの画像を撮影することができる）、（例えば、走査中の患者に対する放射線照射を減少することによって）画像化されている対象物に対する走査の有害な影響を削減することができる。

図２により詳しく示されるように、画像復元ユニット１０６は、メモリ２０２とインターフェイス回路２０４とに接続されたプロセッサ２００を備える。プロセッサ２００には、疎回帰モジュール２１０及び二次情報モジュール２１２が関連付けられる。これらのモジュールは、以下に説明される方法で、例示的な実施形態における時空間画像復元に用いられる。

メモリ２０２は、時空間画像復元に関連する機能を実施する際にプロセッサ２００により実行される命令又は他のプログラム・コードを記憶することができる。メモリ２０２は、本明細書において、より一般的には、実行可能プログラム・コードが具体化されたコンピュータ・プログラム製品と呼ばれるものの例であり、ＲＡＭ又はＲＯＭ、磁気メモリ、ディスクベース・メモリ、光学メモリ又は他の形式の記憶要素、これらの任意の組み合わせ等といった電子メモリを含むことができる。プロセッサ２００は、１つ又は複数のマイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣｓ）、グラフィック処理ユニット（ＧＰＵ）又は他の処理装置、これらの任意の組み合わせを含み、メモリ２０２に記憶されたプログラム・コードを実行することができる。モジュール２１０及び２１２は、少なくとも一部は、かかるプログラム・コードの形式で実装することができる。

インターフェイス回路２０４は、画像復元ユニット１０６を、外部記憶ユニット２２２及び表示ユニット２２４に接続されたネットワーク２２０とインターフェイスさせる。記憶ユニット２２２は、データ・キャプチャ・ユニット１０４によりキャプチャされた未加工データ、二次ソースから取得された処理済み及び未処理の情報、並びに画像復元ユニット１０６により生成された時空間画像を記憶するのに用いられる。表示ユニット２２４は、１つ又は複数のモニタ又はプロジェクタを含むことができ、時空間画像を見るために用いられる。

図１及び図２に示されるシステム１００及び画像復元ユニット１０６の具体的な装置は、説明のみを目的とする例であることを理解されたい。代替的な実施形態は、本明細書において説明されるタイプの時空間画像復元をサポートするため適切に構成されたシステム要素の他の装置を含むことができる。かかる装置の例は、２００９年８月２８日に出願され、「疎表現を用いた画像復元（Reconstruction of Images Using Sparse Representation）」という表題の特許文献１にみることができ、同出願は、本出願と同一出願人によるものであり、本明細書に参照により組み入れられる。

画像復元ユニット１０６又はその一部は、少なくとも部分的には集積回路の形式で実装することができる。例えば、ある実装においては、画像復元ユニット１０６は、単一のＡＳＩＣ、又は、例えばＧＰＵ、コンピュータ、サーバ、携帯通信装置等の他のタイプの処理装置において、具体化することができる。

ここで、画像復元ユニット１０６に実装される時空間画像復元プロセスをより詳しく説明する。

所与の時間間隔ｔに対する対象物１０２の画像は、ｎ−次元ベクトルｘ^ｔとして表すことができ、データ・キャプチャ・ユニット１０４は、Ｙ^t ＝ Ｐｘ^t ＋ Ψ^tにより与えられる観測値の対応するｍ−次元ベクトルを生成するものと特徴づけることができ、ここで、Ｐは、データ・キャプチャ・ユニットにおける対象物１０２の射影を表すｎ×ｍ行列であり、システム行列とも呼ばれ、Ψ^tは、データ・キャプチャ・ユニットにより実装される測定プロセスにおけるノイズを表す。射影行列は、一般に、用いられるデータ・キャプチャ・ユニットのタイプに依存し、線積分行列、フーリエ変換行列、特殊なシステム行列等である場合がある。当該技術分野においては、非常に多くのかかる射影行列が知られている。

画像復元ユニット１０６は、データ・キャプチャ・ユニット１０４からＹ^tを受け取り、ｔの複数の値についての観測値Ｙ^t及びノイズΨ^tを用いて、所与のｔの値についての画像ベクトルｘ^ｔを復元する。ここで、
Ｙ＝Ｃｏｌ（Ｙ^１，Ｙ^２，…，Ｙ^ｄ）
が、ｔについての観測値Ｙ^tを範囲１からｄまで積み重ねることにより得られたサイズｍｄのベクトルを表すものとする。同様に、
ｘ＝Ｃｏｌ（ｘ^１，ｘ^２，…，ｘ^ｄ）
及び
Ψ＝Ｃｏｌ（Ψ^１，Ψ^２，…，Ψ^ｄ）
が、それぞれ、ｔについての画像ｘ^ｔ及びノイズΨ^tを範囲１からｄまで積み重ねることにより得られたサイズｎｄ及びｍｄのベクトルを表すものとする。従って、ベクトルｘは、時空間画像を表す。ここで、
Ｐ＝Ｄｉａｇ（Ｐ，Ｐ，…，Ｐ）
が、システム射影行列Ｐをｄ回反復することにより得られるｍｄ×ｎｄブロック診断行列を表すものとする。従って、時空間画像復元問題は、
Ｙ＝Ｐｘ＋Ψ
として公式化することができ、ここで、Ｙは時空間観測値を表すベクトル、Ｐは時空間画像ｘの観測値Ｙ上への時空間射影を表すブロック診断行列、Ψは時空間ノイズである。この問題は、目的関数ｆ（Ｙ，Ｐ，ｘ，Ψ）を最小化又は最大化する時空間画像ｘを見つけることにより解くことができる。

本実施形態における画像復元ユニット１０６は、時空間画像領域ｘの代わりに、別の領域ｚにおいて上述の問題を解くように構成される。領域ｚは、解がｚにおいて比較的少数のゼロではないエントリを有する（すなわち、解がｚ領域において疎である）可能性が高くなるように選択される。領域Ｙは、時空間観測値の領域であり、本明細書では射影領域とも呼ばれる。時空間領域ｘ及びｚは、本明細書では、それぞれ画像領域及び疎領域と呼ばれる。

時空間領域ｚは、変換行列Ｔを用いて構成され、変換行列Ｔは、１つ又は複数の時空間数学変換と二次ソースからの上述の情報とを用いて取得される。公式は、
ｘ＝Ｔｚ
であり、ここで、Ｔは、ｎｄ×（ｎ_ｓ・ｎ_ｒ＋ｎ_ｓｔ）時空間変換行列である。変換行列Ｔは、ｎ_ｓ空間基底関数、ｎ_ｒ時間基底関数及びｎ_ｓｔ時空間規基底関数を用いて構成される。空間基底関数と時間基底関数とのクロス積は、行列Ｔのｎ_ｓ・ｎ_ｒ列を与え、時空間基底関数は、Ｔの残るｎ_ｓｔ列を与える。

ここで、ｂ^ｋ（ ）が、ｋ番目の時空間基底関数を表すものとする。時空間領域における空間位置ｊ及び時間位置ｔでのこの関数の値をｂ^ｋ（ｊ、ｔ）で表し、ｋは１乃至ｎ_ｓｔ、ｊは１乃至ｎ、ｔは１乃至ｄの値を取るものとする。空間基底関数をｓ^ｌ（ｊ）で表し、時間基底関数をτ^ｋ（ｔ）で表し、ｌは１乃至ｎ_ｓ、ｊは１乃至ｎ、ｋは１乃至ｎ_ｔ、ｔは１乃至ｄの値を取るものとする。

空間基底関数と時間基底関数とのクロス積は、以下に与えられるｎ_ｓ・ｎ_ｔ時空間基底関数を生じさせる。
ｃ^ｌｋ（ｊ，ｔ）＝ｓ^ｌ（ｊ）・τ^ｋ（ｔ），
ここで、ｌは１乃至ｎ_ｓ、ｊは１乃至ｎ、ｋは１乃至ｎ_ｔ、ｔは１乃至ｄの値を取る。

システム行列Ｐ及び変換行列Ｔは、メモリに明示的に記憶される必要がないことに留意されたい。実際に、多くの最新のシステムにおいて、かかる行列等の行列は、明示的に記憶されず、代わりにオン・ザ・フライで暗黙的に計算される。従って、本明細書において用いられる行列乗算記号は、対応するアルゴリズムの記述の便利な省略表現とみることができる。実際には、変換（ＦＦＴ及び／又はウェーブレット等）を高速に計算する方法、並びに、行列Ｔ及びＰのいくつかの部分を明示的に記憶することなく射影及び逆射影を高速に計算する方法を用いることができ、かかる方法は当業者には十分に理解されている。

変換領域基底関数は、いくつかの方法で得ることができる。例えば、基底関数は、非常に単純な時間関数を乗じた空間のみ基底関数（spatial only basis functions）、非常に単純な空間関数を乗じた時間のみ基底関数（temporal only basis functions）、時空間基底関数、及び、空間基底関数と時間基底関数とのクロス積から、構成することができる。構成において用いられる少なくとも２つの基底関数ソースがある。第一のソースは、信号処理、画像処理、医学的画像化等において用いられる既知の数学変換を含む。他のソースは、二次情報である。

上述のように、二次情報は、１つ又は複数の二次ソースから取得された具体的情報又は一般的情報を含むことができる。具体的情報は、画像化されている対象物から得られる情報を含むことができ、一般的情報は、画像化されている対象物のクラスの数学モデル又は同一のクラスに属する複数の対象物から取得されるデータのいずれかから得られる情報を含むことができる。

画像化されている対象物についての具体的情報の例として、別の画像化装置を用いて取得された同一対象物の空間、時間又は時空間画像を挙げることができる。より具体的な例として、ＰＥＴ画像を復元するのに用いられる具体的情報は、同一対象物のＭＲＩ及び／又はＣＴ画像を含むことができる。具体的情報の別の例は、ＰＥＴスキャナで画像化されている人の動脈血における放射能レベルを表す時系列データである。かかる時系列は、血液を定期的にサンプリングし、別の装置を用いてその放射能を測定することにより、取得される。同様に、ｆＭＲＩ画像の復元については、具体的情報は、同一対象の高解像度ＭＲＩ画像、ＰＥＴ画像若しくはＣＴ画像、又は、鼓動、眼球運動、呼吸、頭部運動若しくは対象に与えられた外的刺激の特徴（例えば、吸気の放射能濃度、又は、走査実施中に対象に与えられた視覚的及び／又は聴覚的刺激の幾つかの属性）に関する時系列データ、或いは、対象の他の物理的特徴等とすることができる。

画像化されている対象物についての一般的情報の例として、対象物の物理モデル若しくはシミュレーションベースのモデルから得られる情報、又は、同様の対象物の複数の画像から得られる情報を挙げることができる。より具体的な例として、走査されている対象物が人間の脳である場合には、一般的情報は、複数の対象の走査から得られる人間の脳の異なるアトラス、又は、複数の脳走査の特異値分解（ＳＶＤ）に基づく、脳の具体的部分についての空間若しくは時空間基底関数とすることができる。

変換領域基底関数は、より具体的には、以下のように構成される。
非常に単純な時間関数で乗じた空間のみ基底関数：
この構成においては、３Ｄ ＦＦＴ、３Ｄ ＤＣＴ、３Ｄ空間事前画像、区分された空間事前画像の構成要素等といった空間基底関数は、偏移デルタ関数等の非常に単純な時間関数とクロスされて、基底を形成する。
非常に単純な空間関数で乗じた時間のみ基底関数：
この構成においては、Ｂスプラインといった時間基底関数又は二次ソースからの情報を用いて得られた時間信号は、ピクセル基底関数といった非常に単純な空間基底関数とクロスされる。
時空間基底関数：
これらは、４Ｄ ＦＦＴ、４Ｄ ＤＣＴ、４Ｄウェーブレット変換、４Ｄ ＨＡＡＲ変換、及び事前時空間画像等の４Ｄ数学変換を含むことができる。
空間基底関数と時間基底関数とのクロス積：
この構成においては、空間基底関数は時間基底関数とクロスされる。空間基底関数は、３Ｄ ＦＦＴ、３Ｄ ＤＣＴ、３Ｄ ＨＡＡＲ、カーブレット変換、事前３Ｄ空間画像、事前画像からの区分された画像構成要素、複数の脳走査を用いた脳アトラス等の一般的情報ベースの基底、物理学及び他の心臓走査から得られた心臓モデル、複数の脳走査から得られたＳＶＤデータ等といった３Ｄ数学変換を含むことができる。時間基底関数は、１Ｄウェーブレット変換、１Ｄ Ｂスプライン、１Ｄ ＦＦＴ、並びに、心拍数、鼓動及び脈拍呼吸数情報等の特定の二次情報基底関数といった数学変換を含むことができる。

前述の通り、画像復元ユニット１０６は、目的関数ｆ（Ｙ，Ｐ，ｘ，Ψ）を最小化又は最大化する時空間画像ｘを決定するように構成されるが、この問題を時空間領域ｘの代わりに疎領域ｚにおいて解く。多くの異なるタイプの目的関数を用いることができるが、対数尤度関数及び最小二乗関数に基づく２つの具体例を以下に示す。
１．対数尤度関数：

２．最小二乗関数

ここで、
Ｙは積み重ねられた観測値
Ｔは変換行列
Ｐはブロック診断システム行列
ｚは疎領域における時空間画像
ｘ＝Ｔｚは時空間画像
Ψは時空間ノイズ
Ｒ（ｘ）はペナルティ項であり、正規化ペナルティとも呼ばれる

ペナルティ項は、より滑らかでよりノイズが少ない復元出力を取得するために、目的関数の最小化又は最大化の目標に応じて、加算又は減算される。ペナルティ項は、多くの異なる形式のいずれかの形式を取ることができる。例えば、ペナルティ項は、例えばｑをｑ番目の基準を表すものとすると、画像の基準の１つ、すなわち、

とすることができ、又は、例えばψが画像における隣接するピクセルの値に応じて発生することになるペナルティをキャプチャするとき、ピクセルのピクセル隣接、すなわち、

を考慮することができる。ペナルティ項の実際の選択は、画像化されている対象物に関する前述の二次情報により導くことができる。例えば、復元出力が滑らかでなければならないことがわかっている場合は、上記の第二のペナルティ項がより適切である場合がある。しかしながら、第二のペナルティ項は、画像の異なる区分の境界にわたって、偽のアーチファクトを生成することがある。これを避けるため、さらに、区分された画像構成要素に基づく二次情報によって、ペナルティ項の選択を導くことができる。

上記で説明した時空間復元問題は、目的関数の１つを用いて、例えば、勾配降下法、共役勾配降下法、又は前処理付き共役勾配降下法等の既知の最適化技術を用いて、解くことができる。

ここで図３を参照すると、画像復元ユニット１０６に実装された時空間画像復元プロセスの流れ図が示される。この特定の実施形態におけるプロセスは、ステップ１から１０までを含み、その各々を以下に説明する。
ステップ１：画像領域表現は、例えば、一定値に、又は非特許文献１に説明されるＯＳＥＭ３Ｄ等の分析的復元アルゴリズムを走らせることにより、初期化される。図のこのステップには明示的に示されないが、次に、初期化された画像を変換Ｔを用いて変換して、初期変換領域表現を得ることができる。
ステップ２：画像領域表現ｘ及びシステム行列Ｐを用いて射影Ｙ^ｉを計算する。
ステップ３：現在の解の質を定量化するために、射影された値及び実験的観察を用いて剰余を計算する。これには、例えば、（Ｙ−Ｙ^ｉ−Ψ）の基準の１つの値の確認（例えば、Ｌ２基準）、所望の反復回数が実施されたかどうかの確認等を含む場合がある。
ステップ４：ステップ３で計算した剰余は、現在の解が十分な質であることを示しているかどうか、について判断する。
ステップ５：現在の解が十分な質である場合は、プロセスを終了し、そうでない場合は、ステップ６に進む。
ステップ６：射影領域における望ましい改善の方向を、目的関数に適用されるように、任意の反復最適化技術を用いて計算する。上記に示すように、好適な最適化技術の１つの例は、勾配降下法である。これらの又は他の既知の最適化技術は、例えば、非特許文献２に説明される。
ステップ７：Ｐを用いて射影領域の望ましい改善の方向を逆射影し、画像領域表現ｘにおける望ましい改善方向を得る。以前に示したように、順射影法及び逆射影法は、当該技術分野においては既知であり、従って本明細書においては詳述しない。
ステップ８：Ｔを用いて、画像領域の望ましい改善の方向を、疎領域の望ましい改善の方向に変換する。
ステップ９：望ましい改善の方向及び疎領域表現ｚを用いて、疎領域において疎な解を求める。
ステップ１０：Ｔを用いて疎領域の解から更新された画像ｘを取得し、画像領域表現を新しい解に更新する。次に、プロセスは、示されたステップ２に戻り、解が許容可能な結果に収束するまで繰り返して継続する。

図３に示される具体的な画像復元プロセスは、説明のみを目的とする例として示され、他の実施形態は、プロセスステップの他の構成を用いて、時空間画像を復元することができる。

当業者であればわかるように、本発明の態様は、システム、方法又はコンピュータ・プログラムとして具体化することができる。従って、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又は本明細書において全て一般的に「回路」、「モジュール」、若しくは「システム」と呼ばれるソフトウェア及びハードウェア態様を組み合わせる実施形態の形式を取ることができる。さらに、本発明の態様は、具体化されたコンピュータ可読プログラム・コードを有する１つ又は複数のコンピュータ可読媒体において具体化されたコンピュータ・プログラムの形式を取ることができる。このタイプのあるコンピュータ可読媒体は、上述のＧＰＵ等のプロセッサの一部又はこれに関連するものとすることができる。

１つ又は複数のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体とすることができる。コンピュータ可読信号媒体は、例えば、電子、磁気、光学、電磁、赤外線若しくは半導体のシステム、装置、若しくはデバイス、又はこれらの任意の好適な組み合わせとすることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（限定的なリスト）は、１つ又は複数の配線を有する電気接続、携帯可能コンピュータ・ディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯可能コンパクト・ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれらの任意の好適な組み合わせを含む。本文書の文脈においては、コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスにより又はこれらとの関連で用いられるプログラムを含むか又は記憶することができる任意の有形媒体とすることができる。

コンピュータ可読信号媒体は、ベースバンドにおいて又は搬送波の一部として、コンピュータ可読プログラム・コードが具体化された伝搬データ信号を含むことができる。かかる伝搬信号は、電磁気、光又はこれらの任意の好適な組み合わせを含むが、これらに限定されない、様々な形式のいずれかを取ることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置若しくはデバイスにより又はこれらとの関連で用いられるプログラムを通信し、伝搬し、又は搬送することができる、任意のコンピュータ可読媒体とすることができる。

コンピュータ可読媒体上に具体化されたプログラム・コードは、無線、有線、光ファイバ・ケーブル、ＲＦ等、又はこれらの任意の好適な組み合わせを含むが、これらに限定されない、任意の好適な媒体を用いて送信することができる。

本発明の態様についての動作を実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト志向プログラム言語及び「Ｃ」プログラム言語又は類似のプログラム言語等の従来の手続き型言語を含む、１つ又は複数のプログラム言語の任意の組み合わせで記述することができる。プログラム・コードは、全体をユーザのコンピュータ上で実行するか、一部をユーザのコンピュータ上で実行するか、独立型ソフトウェア・パッケージとして実行するか、一部をユーザのコンピュータ上で実行し一部をリモート・コンピュータ上で実行するか、又は、全体をリモート・コンピュータ若しくはサーバ上で実行することができる。後者のシナリオにおいては、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通して、ユーザのコンピュータに接続することができ、又は（例えば、インターネット・サービス・プロバイダを用いてインターネットを通して）外部コンピュータに接続することができる。コンピュータ又はサーバは、上述のＧＰＵ等の１つ又は複数のプロセッサを含むことができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラムの流れ図及び／又はブロック図を参照して、本明細書において説明される。流れ図及び／又はブロック図の各ブロック、及び流れ図及び／又はブロック図のブロックの組み合わせは、コンピュータ・プログラム命令により実装できることが理解されるであろう。これらのコンピュータ・プログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えられてマシンを生成し、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行する命令が、流れ図及び／又はブロック図の１つ又は複数のブロックにおいて特定される機能／動作を実装するための手段を生成するようにすることができる。

また、これらのコンピュータ・プログラム命令を、特定の方法で機能するようにコンピュータ、他のプログラム可能データ処理装置又は他の装置に向けることができるコンピュータ可読媒体に記憶させて、コンピュータ可読媒体に記憶された命令が、流れ図及び／又はブロック図の１つ又は複数のブロックにおいて特定される機能／動作を実装する命令を含む製品を生成するようにすることができる。

コンピュータ、他のプログラム可能データ処理装置又は他の装置に一連の動作ステップを実施させるように、コンピュータ・プログラム命令をコンピュータ、他のプログラム可能データ処理装置又は他の装置にロードして、コンピュータ実装プロセスを生成し、コンピュータ又は他のプログラム可能データ処理装置上で実行される命令が、流れ図及び／又はブロック図の１つ又は複数のブロックにおいて特定される機能／動作を実装するためのプロセスを提供するようにすることができる。

図面における流れ図及びブロック図は、本発明の様々な実施形態によるシステム、方法及びコンピュータ・プログラムの可能な実装形態のアーキテクチャ、機能及び動作を示す。この点において、流れ図又はブロック図の各ブロックは、１つ又は複数の特定の論理機能を実装するための１つ又は複数の実行可能命令を含むモジュール、セグメント、又はコードの一部を表す。また、いくつかの代替的実装においては、ブロックに記された機能は、当該図に記された順序以外の順序で行われる場合があることに留意されたい。例えば、関連する機能に応じて、連続して示された２つのブロックが、実際には、実質的に同時に実行される場合があり、又は、ブロックが逆順で実行される場合もある。また、ブロック図及び／又は流れ図の各ブロック、及び、ブロック図及び／又は流れ図におけるブロックの組み合わせは、特定の機能又は動作を行う専用ハードウェアベースのシステムによって、又は、専用ハードウェアとコンピュータ命令との組み合わせによって、実装することができる。

従って、再度強調するが、本明細書で説明した様々な実施形態は、説明のみを目的とする例として示され、本発明の範囲を限定するものと解釈されてはならない。例えば、本発明の代替的な実施形態は、例示的な実施形態に関連して上記で説明したものとは異なる、画像処理システム及び画像復元ユニット構成並びに異なる復元プロセスを用いることができる。また、開示した技術は、医療画像化用途に特に適しているが、人及び／又はモデルが関与する２Ｄ又は３Ｄ動画を含む広範な他の画像化用途における使用に対して直接的に適合させることができる。請求項の範囲内にあるこれらの実施形態及び他の多くの代替的な実施形態は、当業者には直ちに明らかになるであろう。

Claims (21)

1. メモリに結合されたプロセッサを備える処理装置により行われ、復元された時空間画像を生成する方法であって、
   （ａ）対象物の画像領域表現に基づいて射影領域表現を生成するステップと、
   （ｂ）前記射影領域表現における所望の改善の方向を決定するステップと、
   （ｃ）前記所望の改善の方向を疎領域に変換するステップと、
   （ｄ）前記疎領域における前記変換された所望の改善の方向に基づいて疎領域表現を取得するステップと、
   （ｅ）前記疎領域表現に基づいて更新された画像領域表現を生成するステップと、
   （ｆ）ステップ（ｅ）において生成された前記更新された画像表現が１つ又は複数の画像品質基準を満たすまで、（ａ）から（ｅ）までのステップを１回又は複数回反復するステップであって、各々の回においてステップ（ｅ）で生成された前記更新された画像領域表現を用いてステップ（ａ）における前記射影領域表現を生成する、ステップと、
   （ｇ）前記更新された画像領域表現を復元された時空間画像として出力するステップと、を含む方法。
2. 前記画像領域表現の所与の１つｘは、変換Ｔによってｘ＝Ｔｚとして対応する疎領域表現ｚに関係付けられる、請求項１に記載の方法。
3. 前記変換Ｔは、複数の基底関数を用いて実装される時空間変換を含む、請求項２に記載の方法。
4. 前記複数の基底関数は、各々が時間関数を乗じた１つ又は複数の空間のみ基底関数を含む、請求項３に記載の方法。
5. 前記複数の基底関数は、各々が空間関数を乗じた１つ又は複数の時間のみ基底関数を含む、請求項３に記載の方法。
6. 前記複数の基底関数は、１つ又は複数の時空間基底関数を含む、請求項３に記載の方法。
7. 前記複数の基底関数は、空間基底関数と時間基底関数との少なくとも１つのクロス積を含む、請求項３に記載の方法。
8. 前記基底関数の１つ又は複数は、画像化される対象物に関連する二次情報に基づいて、少なくとも部分的に決定される、請求項３乃至７のいずれか一項に記載の方法。
9. 前記時空間変換は、ｎｄ×（ｎ_ｓ・ｎ_ｒ＋ｎ_ｓｔ）次元の行列として表され、前記変換は、ｎ_ｓ空間基底関数、ｎ_ｒ時間基底関数及びｎ_ｓｔ時空間関数を用いて実装される、請求項３乃至８のいずれか一項に記載の方法。
10. メモリに結合されたプロセッサを備える処理装置により行われ、画像を生成する方法であって、
    対象物を特徴づけるキャプチャ・データを取得するステップと、
    前記キャプチャ・データに基づいて前記対象物の時空間画像を復元するステップであって、前記時空間画像は、それぞれの時間間隔において複数の空間画像を含み、前記時間間隔の１つにおける前記空間画像の少なくとも所与の１つは、その時間間隔に関連するフレームからのキャプチャ・データと、他の時間間隔に関連する１つ又は複数の追加的フレームに関連するキャプチャ・データとを用いて復元される、ステップと、
    前記時空間画像を出力するステップと
    を含み、
    時空間画像を復元する前記ステップは、疎領域における最小化又は最大化問題に対する解を取得し、前記解を画像領域に変換することをさらに含む、
    前記方法。
11. 前記最小化又は最大化問題は、対数尤度目的関数及び最小二乗目的関数の１つに基づくものである、請求項１０に記載の方法。
12. 前記対数尤度目的関数は、
    

    

    により与えられ、Ｙは射影領域表現であり、Ｔは前記画像領域と前記疎領域との間の変換行列であり、Ｐはブロック診断システム行列であり、ｚは疎領域表現であり、ｘ＝Ｔｚは画像領域表現であり、Ψは時空間ノイズを表し、Ｒ（ｘ）はペナルティ項である、請求項１１に記載の方法。
13. 前記最小二乗目的関数は、
    

    

    により与えられ、Ｙは射影領域表現であり、Ｔは前記画像領域と前記疎領域との間の変換行列であり、Ｐはブロック診断システム行列であり、ｚは疎領域表現であり、ｘ＝Ｔｚは画像領域表現であり、Ψは時空間ノイズを表し、Ｒ（ｘ）はペナルティ項である、請求項１１又は１２に記載の方法。
14. 実行されることでコンピュータに前記処理装置が行う請求項１乃至１３のいずれか一項に記載の方法を実行させるコンピュータ・プログラム。
15. 装置であって、
    画像復元ユニットを備えており、
    前記画像復元ユニットはプロセッサを含み、
    前記画像復元ユニットは、前記プロセッサの制御下において、対象物を特徴づけるキャプチャ・データを取得し、前記キャプチャ・データに基づいて前記対象物の時空間画像を復元するように作動し、
    前記時空間画像は、それぞれの時間間隔において複数の空間画像を含み、前記時間間隔の１つにおける前記空間画像の少なくとも所与の１つは、その時間間隔に関連するフレームからのキャプチャ・データと、他の時間間隔に関連する１つ又は複数の追加的フレームに関連するキャプチャ・データとを用いて復元され、
    前記画像復元ユニットは、疎領域における最小化又は最大化問題に対する解を取得し、前記解を画像領域に変換することによって、前記時空間画像を復元するように作動する、
    前記装置。
16. 前記画像復元ユニットは、疎回帰モジュール及び二次情報モジュールを含む、請求項１５に記載の装置。
17. 前記最小化又は最大化問題は、対数尤度目的関数及び最小二乗目的関数の１つに基づくものである、請求項１５又は１６に記載の装置。
18. 前記対数尤度目的関数は、
    

    

    により与えられ、Ｙは射影領域表現であり、Ｔは前記画像領域と前記疎領域との間の変換行列であり、Ｐはブロック診断システム行列であり、ｚは疎領域表現であり、ｘ＝Ｔｚは画像領域表現であり、Ψは時空間ノイズを表し、Ｒ（ｘ）はペナルティ項である、請求項１７に記載の装置。
19. 前記最小二乗目的関数は、
    

    

    により与えられ、Ｙは射影領域表現であり、Ｔは前記画像領域と前記疎領域との間の変換行列であり、Ｐはブロック診断システム行列であり、ｚは疎領域表現であり、ｘ＝Ｔｚは画像領域表現であり、Ψは時空間ノイズを表し、Ｒ（ｘ）はペナルティ項である、請求項１７又は１８に記載の装置。
20. 前記画像復元ユニットは、コンピュータに実装される、請求項１５乃至１９のいずれか一項に記載の装置。
21. 請求項１５乃至２０のいずれか一項に記載の装置を含む集積回路。

Images