JP7725580B2 - 形状プライアを用いた及び用いないセグメンテーション結果によって解剖学的異常を検出すること - Google Patents

Description

本発明は、画像処理のためのシステムと、撮像システムと、画像処理方法と、機械学習モデルをトレーニングする方法と、コンピュータプログラム要素と、コンピュータ可読媒体とに関する。

医療画像はしばしば診断目的のために使用される。１つのそのような診断目的は解剖学的異常についての観察者によるそのような画像の検査である。そのような解剖学的異常の例としては、骨折（健康な折れていない骨に対する異常）、腫瘍性組織（病変がない器官に対する異常）がある。

しかしながら、例えば３Ｄ画像ボリューム中の潜在的に数百個の画像スライスの検査は、時間がかかり、観察者の能力に依存するので誤りを起こしやすい。これは、異常が、訓練された目にとってさえも容易に識別できない、微細な画像構造として画像中で反射される事例によって悪化する。さらには、そのような検査は、しばしば、例えば多忙な外傷診療所など、ストレスの多い環境において時間的制約下で必要とされる。

したがって、改善された画像セグメンテーションの必要がある。

本発明の目的は、さらなる実施形態が従属クレームに組み込まれる、独立クレームの主題によって達成される。本発明の以下の説明する態様は、撮像システムと、画像処理方法と、機械学習モデルをトレーニングする方法と、コンピュータプログラム要素と、コンピュータ可読媒体とに等しく適用されることに留意されたい。

本発明の第１の態様によれば、
入力（医療）画像についての２つのセグメンテーションマップを受信するための少なくとも１つの入力インターフェースであって、２つのセグメンテーションマップが、それぞれのセグメンタである、第１のセグメンタ及び第２のセグメンタによって得られ、第１のセグメンタが形状プライア（ｓｈａｐｅ－ｐｒｉｏｒ）ベースセグメンテーションアルゴリズムを実装し、第２のセグメンタが、形状プライアに基づかないセグメンテーションアルゴリズムを実装するか、又は少なくとも第２のセグメンタが、第１のセグメンタと比較してより低い重みで１つ又は複数の形状プライアを考慮する、少なくとも１つの入力インターフェースと、
解剖学的異常の検出を促進するように、２つのセグメンテーションマップの間の差異を確認するように構成された差分器（ｄｉｆｆｅｒｅｎｔｉａｔｏｒ）と
を備える、画像処理のためのシステムが提供される。

実施形態では、本システムは、前記差異の標示を出力するように構成された可視化器（ｖｉｓｕａｌｉｚｅｒ）を備える。

実施形態では、可視化器は、標示及びｉ）入力画像及び／又はｉｉ）第１又は第２のセグメンテーションマップをディスプレイデバイス（ＤＤ）上で表示するためのものである。

実施形態では、前記標示は、前記差異の大きさを表すようにコード化される。前記差異の可視化は、本明細書では好ましいが、必ずしもすべての実施形態において必要とされるとは限らない。例えば、そのような異常が検出された場合に、通信システムを介してメッセージを送信させること、音を発生させること、ランプをアクティブ化すること、又は任意の他の警報信号を生じさせることで十分であり得る。差異は、患者に関する医療入力画像のとおり、そのような異常が存在すると結論付けるために、しきい値処理される。

実施形態では、第２のセグメンタは、機械学習モデルと、関係するアルゴリズムとに基づく。

実施形態では、機械学習アルゴリズムは人工ニューラルネットワークに基づくが、本明細書では、分類／セグメンテーションが可能な他の機械学習モデルも想定される。

実施形態では、２つのセグメンテーションマップ中のセグメンテーションは、ｉ）骨組織、ｉｉ）がん組織のうちのいずれか１つ又は複数を表す。

本システムは、２つのセグメンテーションアルゴリズムの動作の仕方が異なることにより、例えば骨折を検出するために使用される。確認された差異は、したがって、骨折を示す。

本明細書で提案することは、２つの異なるセグメンテーションアルゴリズム、明示的に符号化された形状プライアを一方は用いるが、他方は用いないセグメンテーションアルゴリズムを適用すること、及び両方のアルゴリズムによって与えられるセグメンテーション結果を比較することによって解剖学的異常を検出することである。例えば、ＣＴ（コンピュータ断層撮影）における脊椎骨折の検出について考えると、実施形態では、モデルベースセグメンテーション（ＭＢＳ）技法が適用される。ＭＢＳアルゴリズムは、形状プライアを組み込んだアルゴリズムの部類である。例えば、形状プライアは、視野中に見える椎骨についてセグメント化し、異なる椎骨のために使用される。さらに、純粋に（又は少なくとも大部分は）画像強度を考慮しており、形状プライアを符号化しないディープランニング（ＤＬ）ベースセグメンテーション技法が使用される。本明細書では、形状プライアを用いた及び用いない、２つの異なるセグメンテーションアルゴリズムの異なる動作モードを利用する。結果を比較することによって、いかなる骨折も容易に検出され得る。ＭＢＳタイプセグメンテーション技法など、形状プライアベースアルゴリズムは、形状プライアの位相的連結性を維持する結果を選好する傾向があるが、より一般的にはＭＬアルゴリズムにおいてなど、非形状プライアベース手法においてはそのような偏向はない。ＭＬ手法は第２のセグメンタのために好ましいが、これはすべての実施形態のための要件であるとは限らない。いくつかの実施形態では、そのような形状プライアは依然として第２のセグメンテーションアルゴリズムにおいて使用されるが、これは、画像内情報に対してより少ない重みが形状プライアに与えられるように構成されるべきである。

ＭＢＳタイプアルゴリズム又は本明細書で想定される他のアルゴリズムなど、形状プライアベースアルゴリズムは、メッシュモデルなど、仮想幾何モデルのセットを使用する。形状プライアは、セグメンテーション結果を計算するためにセグメンテーション動作中に変形される。形状プライアは形状プロトタイプを表す。形状プライアは、（セグメンテーションの前に生成された）参考刊行物に基づいて、例えば器官又は解剖学的構造の形状をモデル化する。形状プライアは位相的に連結される。それらは、メッシュモデルとして実装され、ライブラリ中に保持され、形状プライアを使用する第１のセグメンタによってアクセスされる。形状プライアは、解剖学的構造の臨床知識及びそれらの形状、及びそのような解剖学的構造が可能である変形など、形状プライア知識を符号化する。そのようなメッシュモデルは、例えば、たいていのＭＬ（機械学習）ベースセグメンテーションアルゴリズムでは、セグメンテーション結果を計算するために使用されない。セグメンテーション結果はセグメント化された画像である。セグメント化された画像は、元の画像と、画像要素を分類するセグメンテーションマップとを含む。実施形態では、セグメンテーション結果は元の画像なしのセグメンテーションマップを含む。セグメンテーションはバイナリ又はマルチラベルである。

実施形態では、入力画像は、ｉ）Ｘ線画像、ｉｉ）エミッション画像、ｉｉｉ）磁気共鳴ＭＲ画像のいずれか１つである。超音波、又はエミッション／核撮像など、任意の他の撮像モダリティも使用される。

別の態様では、撮像装置と、上記実施形態のいずれかにおけるシステムとを備える撮像システムが提供される。

別の態様ではさらに、
入力画像についての２つのセグメンテーションマップを受信するステップであって、２つのセグメンテーションマップが、それぞれのセグメンタである、第１のセグメンタ及び第２のセグメンタによって得られ、第１のセグメンタが形状プライアベースセグメンテーションアルゴリズムを実装し、第２のセグメンタが、形状プライアに基づかないセグメンテーションアルゴリズムを実装するか、又は少なくとも第２のセグメンタが、第１のセグメンタと比較してより低い重みで１つ又は複数の形状プライアを考慮する、入力画像についての２つのセグメンテーションマップを受信するステップと、
２つのセグメンテーションマップの間の差異を確認するステップと
を含む、画像処理方法が提供される。

別の態様では、機械学習モデルをトレーニングする方法が提供される。

別の態様では、命令を含むコンピュータプログラム要素であって、少なくとも１つの処理ユニットによって実行されているときに、処理ユニットに本方法を実行させるように適応された、コンピュータプログラム要素が提供される。

別の態様ではさらに、プログラム要素を記憶した、又は機械学習モデルを記憶した、少なくとも１つのコンピュータ可読媒体が提供される。

定義
「ユーザ」は、撮像装置を動作させるか又は撮像手順を監督する、医療従事者などの人を指す。言い換えれば、ユーザは一般に患者でない。

「撮像」は、本明細書で使用する際、無生物の「物体」又は人間又は動物の患者、又はそれらの解剖学的部分、又は微生物、ウイルスなどの顕微鏡像など、生物学的に重要な像を指す。無生物の物体は、セキュリティ検査における手荷物の品物、又は非破壊試験における製品を含む。しかしながら、本明細書では、提案するシステムについて、主に医療分野に関して説明し、したがって、本明細書では、主に「患者」、又は解剖学的構造又は器官など、撮像されるべき患者の一部、又は患者の解剖学的構造又は器官のグループに言及する。

一般に、「機械学習」は、機械学習（「ＭＬ」）アルゴリズムを実装するコンピュータ化された構成を含む。機械学習アルゴリズムは、分類など、タスクを実行するためにトレーニングデータから学習するように構成される。いくつかの機械学習アルゴリズムはモデルベースである。モデルベースＭＬアルゴリズムは、機械学習モデルのパラメータを調整するように動作する。この調整手順は「トレーニング」と呼ばれる。モデルは、したがって、タスクを実行するようにトレーニングによって構成される。ＭＬアルゴリズムはまた、インスタンスベース学習を含む。ＭＬアルゴリズムによるタスクパフォーマンスは測定可能に改善し、より多くの（新しい）トレーニングデータがトレーニング中に使用される。パフォーマンスは、システムにテストデータを供給するときに客観テストによって測定される。パフォーマンスは、所与のテストデータについて達成されるべき一定のエラーレートに関して定義される。例えば、Ｔ．Ｍ．Ｍｉｔｃｈｅｌｌ、「Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ」、２頁、セクション１．１、ＭｃＧｒａｗ－Ｈｉｌｌ、１９９７年を参照されたい。

次に、別段記載されていない限り原寸に比例しない以下の図面を参照しながら、本発明の例示的な実施形態について説明する。

セグメンテーション機能を含む撮像システムを示す図である。 セグメンテーション結果を示す図である。 画像処理の方法のフローチャートを示す図である。 機械学習モデルのブロック図を示す図である。 機械学習モデルをトレーニングするためのコンピュータ実装トレーニングシステムのブロック図を示す図である。 トレーニングデータに基づいて機械学習モデルをトレーニングする方法のフローチャートを示す図である。

図１を参照すると、コンピュータ支援撮像システムＡＲが示されている。

構成ＡＲは、実施形態では、像を供給するための撮像装置ＩＡと、前記像を処理するための画像処理システムＩＰＳとを備える。

極めて手短には、イメージエンハンスメントプロセッサＩＰＳは、医学的異常についての医学的診断を促進するためのセグメンテーション機能を含む。骨折の画像ベース検出は、本明細書で想定する１つの適用例である。本明細書では、他の医学的適用だけでなく、非破壊材料試験など、医療分野以外の適用も想定する。特に、以下でより十分に考察するように、本システムは、ストレス又は骨粗しょう症によるヘアライン骨折、乳がんなどの早期がんなど、微細な構造細部の検出能力をも高めるために、２チャネルセグメンテーションを使用する。セグメンテーションのための提案する画像処理システムの他の適用は放射線治療計画における器官の輪郭設定（ｃｏｎｔｏｕｒｉｎｇ）を含む。

（本明細書では単に「イメージャ」と呼ぶことがある）撮像装置ＩＡは、本明細書では、好ましくは医療目的のために想定され、患者ＰＡＴ又は関心ある他の対象物の１つ又は複数の画像を収集するように動作可能である。撮像装置は、医療施設の診察室中にセットアップされるなど、固定されるか、又はモバイル／ポータブルである。

広くは、撮像装置は、照会信号ＸＢを生成するための信号源ＳＳを備える。照会信号ＸＢは、患者ＰＡＴ中の組織と相互作用し、それによって修正される（すなわち、減衰させられるか、リダイレクトされるか、又はさもなければ測定可能な結果を生じる）。修正された信号は、次いで、信号検出ユニットＤＴによって検出される。強度値など、検出された信号は検出器投影生データ又は投影像を形成する。投影像は、再構成された像Ｉを生成するために再構成モジュールＲＥＣＯＮによってさらに処理される。

本明細書で想定するイメージャＩＡは構造撮像又は機能撮像のために構成される。本明細書では、透過撮像及びエミッション撮像、又は超音波（ＵＳ）撮像などの他の撮像など、様々な撮像モダリティを想定する。例えば、Ｘ線ベース撮像など、透過撮像では、信号源ＳＳはＸ線管であり、照会信号は、管ＳＳによって生成されるＸ線ビームＸＢである。この実施形態では、修正されたＸ線ビームは検出ユニットＤＴのＸ線感受性ピクセルに入射する。Ｘ線感受性検出器ＤＴは、入射する放射線を強度値の分布として登録する。登録された強度値は投影画像λを形成する。Ｘ線投影画像λは、Ｘ線ラジオグラフィにおいてなど、それら自体で有用であることがあるが、その場合、再構成モジュールＲＥＣＯＮによってＣＴ撮像における断面画像に変換される。特に、再構成モジュールＲＥＣＯＮは、フィルタ処理された逆投影アルゴリズム又は他のアルゴリズムなど、再構成アルゴリズムを投影像に適用する。断面画像は３Ｄ空間中に２Ｄ画像を形成する。ＣＴでは、３Ｄ画像ボリュームを得るために、投影画像の異なるセットから複数のそのような断面画像が再構成される。

ＭＲＩイメージャでは、検出ユニットは、投影像を表す無線周波数信号をピックアップすることが可能であるコイルから形成され、無線周波数信号からＭＲＩ再構成アルゴリズムによってＭＲＩ断面画像が再構成される。

ＣＴ又はラジオグラフィにおけるＸ線像は患者の解剖学的構造の構造細部を表し、ＭＲＩも同様である。

ＰＥＴ又はＳＰＥＣＴなど、エミッション撮像では、信号源ＳＳは、前に投与された放射性トレーサ物質の形態で患者の体内に常駐する。トレーサ物質によって引き起こされる核事象は、その場合、患者の周りに構成されたＰＥＴ／ＳＰＥＣＴ検出器ＤＴにおいて投影画像として登録される。その場合、代謝過程など、患者の体内のプロセスの機能細部を表す再構成されたＰＥＴ／ＳＰＥＣＴ像を得るために、ＰＥＴ／ＳＰＥＣＴ再構成アルゴリズムが適用される。

撮像装置ＩＡはオペレータコンソールＣＣからオペレータによって制御される。オペレータは、いくつかの撮像パラメータＩＰを設定することができるか、又は投影データ収集を開始又は停止することができる。

特に明記されていない限り、以下において、再構成された画像か投影画像かの区別はせず、どちらも単に、イメージエンハンスメントプロセッサシステムＩＰＳによって処理されるべき「入力画像」又は「像」Ｉと呼ぶことにする。言い換えれば、画像処理システムＩＰＳは、投影ドメインからの像に対して動作するように構成されるか、又は撮像ドメイン中で再構成された像に対して作用し得る。上記で説明したことに一致して、入力画像は、ロケーション（ｉ、ｊ）にピクセル値をもつ２Ｄであるか、又は編成されたロケーション（ｉ、ｊ、ｋ）にボクセル値をもつ３Ｄである。したがって、入力画像Ｉは、２Ｄ又は３Ｄ行列など、２Ｄ又は３Ｄデータ構造に編成される。ピクセル値／ボクセル値は、Ｘ線では、減衰値、位相コントラスト値、暗視野信号など、関心ある量を表す。スペクトル撮像を用いたＸ線も想定する。ＭＲＩなどの他のモダリティでは、値は、ＲＦ周波数信号の強度、又はエミッション撮像と同様にガンマ光子数レートなどを表す。

装置ＩＡによって生成された入力像Ｉは、例えばワイヤード又はワイヤレス通信手段によって、それのインターフェースＩＮにおいて撮像プロセッサＩＰＳにおいて受信される。像Ｉは撮像装置ＩＡから直接受信されるか、又は、画像リポジトリＩＲＰ、又は像が最初に記憶されるバッファなど、メモリから取り出される。

画像プロセッサＩＰＳは、１つ又は複数の汎用計算ユニット上で又は１つ又は複数の専用計算ユニット上で動作する。（少なくとも１つの）計算ユニットＰＵは撮像装置ＩＡに又は撮像リポジトリＩＲＰに通信可能に結合される。他の実施形態では、画像プロセッサＩＰは撮像装置ＩＡに一体化される。撮像プロセッサＩＰは、ハードウェア又はソフトウェアにおいて、又は両方の組合せにおいて構成される。ハードウェア実装は、マイクロプロセッサ、ＦＧＰＡ又は他の汎用回路など、好適にプログラムされた回路を含む。本明細書では、ＡＳＩＣＳ又はオンチップシステムなど、ハードコード化された回路も想定する。ＧＰＵ（グラフィカル処理ユニット）など、専用プロセッサも使用される。

次に、引き続き図１を参照しながら動作をより詳細に参照すると、コンピュータ実装画像処理システムＩＰＳは、撮像装置ＩＡによって与えられるか、又は例えば医療画像リポジトリＩＲＰから取り出された像Ｉをセグメント化するためのセグメンテーション機能を含む。

広くは、セグメンテーションは、ピクセル又はボクセルレベルに従って画像をラベルに分類するタスクである。代替的に、分類は、外形又は表面など、全体としてより大きい画像領域に従う。ラベルは、それぞれのピクセル、ボクセル又は画像領域のセマンティクスを表す。このようにして、分類動作において、例えば骨ピクセル、すなわち、「骨」というラベルを有するピクセルを識別することができる。ピクセルは、その場合、他の組織タイプについての骨組織などを表すと考えられる。したがって、像中の器官のフットプリントをセグメンテーションによって識別することができる。

セグメント化された画像は、各ピクセル、ボクセル又は画像領域について、それぞれのラベルを空間的に示すセグメンテーションマップからなる。そのようなセグメンテーションマップのうちの１つ又は複数は、したがって、画像によってキャプチャされた視界中の異なる組織タイプをユーザに示す。標示はバイナリである（「骨である」／「骨でない」）が、本明細書では複数の器官／組織へのマルチラベルセグメンテーションも想定する。セグメンテーションは診断を助けることができる。本明細書で想定し、セグメンテーション機能によってサポート可能である医学的適用は、がん組織又は外傷など、医学的異常について像を検査することを含む。本明細書で特に想定する適用は、骨折について像を検査することである。ヘアライン骨折など、いくつかの骨折は、支援なしに見つけることが難しい。そのような骨折が認識されず、放置された場合、これは、将来医学的に厄介な問題につながり得る。提案するセグメンテーション機能は、特に、医療用像において、医学的異常、特に骨折についての証拠になり得る微細構造さえを確認するように調整される。

この向上した解像能力は、部分的に、セグメンテーション機能が２チャネルタイプで構成されていることから生じる。特に、セグメント化されるべき入力像Ｉは、異なるセグメンテーションアルゴリズムによって２つの方法又は「チャネル」において処理される。より詳細には、画像処理システムは、それぞれ、異なるそれぞれのセグメンテーションアルゴリズムによって実装されるか、又は少なくとも異なって構成される２つのセグメンテーションモジュールＳＥＧ１、ＳＥＧ２を備える。各々は、セグメント化された画像、特に入力画像Ｉに関連するセグメンテーションマップを計算するために、入力画像Ｉに対して異なって動作する。それぞれのセグメンテーションマップは、ＳＥＧ１、ＳＥＧ２による何らかのセグメンテーション動作の主な結果である。セグメンテーションマップは、各１つの要素（ピクセル、ボクセル又は領域）が解剖学的構造、解剖学的構造のグループ、組織タイプなど関心ある対象物を表す値をそれぞれの要素に割り当てる機能である。骨は、本明細書での１つの例であるが、がん組織、脳組織なども本明細書で想定する。前記値は確率値である。特殊なケースとして、セグメンテーションマップは、「１」／「０」エントリをもつバイナリマップであり得る。セグメンテーションマップは、セグメント化されるべき画像をもつ空間レジストリにおける行列など、データ構造として表され、各エントリは、確率推定値など、正規化された値である。いくつかの実施形態において本明細書で想定するように、セグメンテーションモジュールＳＥＧ１のうちの１つは、モデルベースセグメンテーション（「ＭＢＳ」）タイプアルゴリズムに基づいて動作するように構成される。ＭＢＳアルゴリズムは、ＩＥＥＥ Ｔｒａｎｓ．Ｍｅｄ．Ｉｍａｇｉｎｇ，ｖｏｌ ２７（９），１１８９～１１２０１頁（２００８）で公開された、Ｏ．Ｅｃａｂｅｒｔらによる「Ａｕｔｏｍａｔｉｃ ｍｏｄｅｌ－ｂａｓｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ｈｅａｒｔ ｉｎ ＣＴ ｉｍａｇｅｓ」においてなど、他の場所で報告されている。ＭＢＳタイプアルゴリズムは、ＭＢＳアルゴリズムが、セグメンテーションを行うか又は促進するために像に適合することを試みる、１つ又は複数のプロトタイプ形状プライアを使用することによって働く。しかしながら、ＭＢＳタイプアルゴリズムは、形状プライアベースセグメンタＳＥＧ１のための本明細書で想定する唯一のアルゴリズムではない。本明細書では、形状プライアを組み込んだ他のセグメンテーションアルゴリズム、例えば、像上の形状プライアを登録するアトラスベースセグメンテーション手法も想定する。本明細書では、形状プライアの形態の形状プライア知識を組み込んだいくつかの機械学習手法も想定する。

形状プライアは仮想幾何学的形状モデルである。１つ又は複数の形状プライアが使用される。形状プライアはコンピュータメモリに記憶される。形状プライアはメッシュモデルとして実装される。メッシュモデルは、例えば多角形など、縁部と頂点とを隣り合うメッシュ要素と共有する、相互接続されたメッシュ要素から構成される。メッシュモデルは、マトリックス構造又はポインタ構造など、好適なデータ構造においてメモリに記憶され得る。形状プライアは、医療像に記録される、予想される構造の形状の近似を表し、したがってプライア医学知識によって通知される。形状プライアは、３Ｄの場合の球、円柱、ピラミッド、楕円体など、理想的なプロトタイプ形状である。ラジオグラフィにおいてなど、２Ｄ像を処理するために、２Ｄ形状プライアが使用される。しかしながら、医療像に記録される実際の構造は、一般に、そのような理想形状を有しないが、形状プライアの変形又は摂動したインスタンスとして理解される。代替的に、理想化された幾何プリミティブとして形状プライアを使用する代わりに、本明細書では、好ましい実施形態において、母集団の平均測定値に基づく「統計的」形状プライアも想定する。そのような統計的形状プライアは以下のようにして得られる。患者の参照コホート（ｒｅｆｅｒｅｎｃｅ ｃｏｈｏｒｔ）の像を収集する。像は、例えば、場合によっては半自動セグメンテーションツールによって支援される、専門家によって注釈を付けられる。像は、したがって、例えば心臓注釈を含む。形状プライアは、コホートに対する平均心臓形状として生成される。このようにして、統計的形状プライア、すなわち、参照コホートに対する、例えば、心臓のような、平均幾何学的外観を表す平均モデルが得られる。

形状プライアベースセグメンタＳＥＧ１の動作中、１つ又は複数のそのような形状プライアが、入力画像Ｉ中の画像構造に適応するように幾何学的に変形させられて、そのようにしてセグメンテーションを行うか、又は少なくともそのようなセグメンテーションを促進する。適合させられた形状モデルＳの内側に又はそれの表面上に位置する画像要素（より大きい画像領域のボクセル、ピクセル）は、関心あるセグメント化された対象物（組織タイプ、器官、又は器官のグループ）を表すと考えられるが、適合させられた形状の外側の画像要素はそうでない。したがって、形状プライアベースセグメンテーションの表面ベース表現は、バイナリマップなど、バイナリセグメンテーション結果に変換され得る。形状プライア変形に加えて、以下でより詳細に説明するように、ＭＢＳアルゴリズムなど、何らかの形状プライアアルゴリズムによって、他の要因が考慮に入れられる。

それとは際立って対照的に、いくつかの実施形態では、他のセグメンタモジュールＳＥＧ２によって実装されるセグメンテーションアルゴリズムはそのような形状プライアを使用しない。特に、第２のセグメンタモジュールＳＥＧ２は、そのような形状プライアを変形することに対して動作しない。ＳＥＧ１によって実装される形状プライアベースアルゴリズムは、セグメンテーションを行うためにそれらを変形するときに、形状プライアのそれらのライブラリを選好する自然な傾向を有する。したがって、形状プライアによって実施される想定するプロトタイプ的な形状への固有の偏向がある。１つ又は複数の形状プライアから変形によって導出可能であるセグメンテーション結果のみが、セグメンタＳＥＧ１による出力として生成可能である。特に、実際的な／予想される解剖学的形状変形のみを可能にするために形状プライアからの大きい偏差が抑制される。例えば、位相的に連結された結果につながらない変形はセグメンタＳＥＧ１によって想定されない。

一般に、第２のセグメンタＳＥＧ２によって実装されるそのような非形状プライアベースアルゴリズムの場合、そのような偏向はない。好ましくは、本明細書で想定するように、第２のセグメンテーションモデルＳＥＧ２は、前のトレーニングデータに基づいて好適に事前調整される、機械学習モデルを使用する機械学習ベースセグメンタとして実装される。本明細書で想定する非排他的な例としては人工ニューラルネットワークタイプ機械学習モデルがある。本明細書では、サポートベクターマシン（ＳＶＭ）など、他のモデル、又は分類タスクが可能な他の機械学習モデルも想定する。例えば、第２のセグメンタＳＥＧ２のいくつかの実施形態において本明細書で想定する人工ニューラルネットワーク（ＮＮ）では、セグメンテーションを達成するために像に明示的に適応された事前に想到された形状プライアモデルはない。ニューラルネットワークモデル自体は、完全にジェネリックであり、したがって、最初から特定の形状モデルタイプに有利でない。むしろ、それは、コスト関数を改善するためにトレーニングデータセットに基づいて、通常、トレーニング中に調整される、以下でより詳細に説明するように重みと呼ばれることがある、機械学習モデルの任意の初期化されたパラメータの初期セットの全体である。パラメータ調整は、例えば逆伝搬アルゴリズム又は他の勾配ベースアルゴリズムなど、最適化アルゴリズム、又はさらに他のアルゴリズムによって誘導され、反復的に行われる。また、セグメンタＳＥＧ１のモデルベースセグメンテーションアルゴリズムがそのようなトレーニングデータに基づかないことに注目すべきである。

セグメント化された像中で骨折又はがん組織などいくつかの異常を識別するために、本明細書では、２つのモジュールＳＥＧ１、ＳＥＧ２によって管理される２つのセグメンテーションアルゴリズムの異なる動作モードを利用する。

基本的な動作モードが図２に示されている。図２Ａ及び図２ＢはそれぞれのセグメンテーションアルゴリズムＳＥＧ１、ＳＥＧ２のセグメンテーション結果を示す。より詳細には、図２Ａ及び図２Ｂは骨折した脊椎骨のセグメンテーションを示す。図２Ａには、セグメンタＳＥＧ１によって使用される形状プライアを用いたセグメンテーションからのセグメンテーション結果が示されており、対して、図２Ｂには、セグメンタＳＥＧ２による形状プライアなしのセグメンテーションが示されている。わかるように、セグメンタＳＥＧ１は、使用された非骨折椎骨形状プライアによるセグメンテーション結果中の異常（骨折したエリア）を含む。セグメンタＳＥＧ２は、そのような形状プライアを使用せず、したがって、すべての骨構成要素を椎骨としてラベル付けするが、骨折した構成要素の間に残された空間Δ中で識別可能な軟組織は除外する。したがって、２つのセグメンタＳＥＧ１、ＳＥＧ２によって生成されたセグメンテーション結果の間の差異は骨折した領域の検出を可能にする。

機械学習アルゴリズムなど、非ＭＢＳアルゴリズムは特定の形状プライア及びそれらの変形変形態に偏らず、そのような偏向は、したがって、図２Ｂに示されているように、非ＭＢＳアルゴリズムが、所与の構造を位相的に切断された領域にセグメント化することを防ぐことができない。

図２Ａにおけるようなモデルベースセグメンテーションは、しかしながら、位相的に連結されないセグメンテーションを可能にしない。ＭＢＳは、それらの形状に向かう固有の偏向による、それの形状プライアの完全性を維持する。図２Ｂとは反対に、図２ＡのＭＢＳベースセグメンテーションではギャップ又は不連続は出現しない。

別の言い方をすると、例えば図２Ｂに示されているように、非モデルベースセグメンテーション／セグメンタＳＥＧ２は、強度値など、処理された像中の画像構造によって純粋に誘導される。対照的に、図２Ａにおけるモデルベースセグメンテーションアルゴリズム／セグメンタＳＥＧ１は、画像値を考慮しないか、又は画像値を考慮するだけでなく、事前定義された形状プライアのそれのライブラリに適合しようと試みる。より詳細には、さらに、モデルベースセグメンテーションでは、可能にされた変形は連続的に作用し、したがって位相的に切断された結果を除外するように構成されるか、又は少なくともそれらは不連続性であったか、又はギャップが出現する。ＭＢＳタイプアルゴリズムでは、位相的に連結された形状プライアから開始して、得られたセグメンテーションは、変形しているが、図２Ａにおけるように位相的に連結されたままである。図２Ｂの例におけるようなギャップΔをもつ切断されたセグメンテーションが、セグメンテーションモジュールＳＥＧ１によって使用される純モデルベース手法を用いて行われる可能性はまったくない。そうは言っても、代替として、第２のセグメンテーションアルゴリズムＳＥＧ２が形状プライアをまったく含まないことは、必ずしも事実であるとは限らない。むしろ、この場合、第２のセグメンテーションアルゴリズムは、以下で詳述するように、それの形状プライアにではなく、画像中に記録された画像構造又は画像値に、より高い重みを与えるように構成される。

最初に、形状プライアベースセグメンテーションの一実施形態としてＭＢＳタイプアルゴリズムをより詳細に見ると、いくつかのそのような手法は外部及び内部エネルギーの概念を使用する。セグメンテーションは、目的関数を最適化することに関して公式化される。目的関数Ｆは、１つは内部エネルギーＥ_ｉｎｔについての、１つは外部エネルギーＥ_ｅｘｔについての、少なくとも２つの項を含む。内部／外部エネルギーは弾性理論から本目的のために概念化されている。変形Ｄは、形状プライアの固有の弾性によりコストを招くと仮定される。形状プライアの弾性がより低いと仮定されるほど、コストは高くなる。これはアプリオリに知られていると仮定されるので、弾性は、セグメント化されるべき器官／組織の材料又は解剖学的性質と相関する。

内部エネルギー項Ｅ_ｉｎｔは、形状プライアがどのように変形されるべきかを表すが、第２の項Ｅ_ｅｘｔは、それ自体画像データの処理を表す。内部エネルギー項は、モデルが画像をどのように変形することができるかを調整するが、現実的な範囲内でのみである。外部エネルギーはモデルを画像内データのほうに「引く」。総コストＦへの２つの項の各々の寄与はいくつかの重みパラメータα、β≧０によって制御され得る。
ここで、θは候補セグメンテーションであり、Ｉは入力画像であり、Ｄは、形状プライアＳに作用する変形である。目的は、最終的な最良のセグメンテーションθ^＊を見つけるためにセグメンテーションθにわたってＦを最小にすることである。これは、Ｆが極小又は最小であるセグメンテーションθ^＊か、又はＦが事前定義された品質しきい値を下回るセグメンテーションθ^＊であり得る。停止条件が満たされるまで、又はユーザが反復を中止することを決定するまで、段階的にＦの勾配に沿ってθを反復的に調整するために、勾配ベース手法が使用される。（１）は最小化目的として公式化されるが、（１）がユーティリティ関数Ｆの最大化として公式化され得る、それに対する二重も想定する。制御重みα、βの間の比は形状プライア適合対画像内情報の総コストＦへの相対的寄与率を決定する。

実施形態では、第２のセグメンテーションアルゴリズムＳＥＧ２は必ずしも機械学習タイプであるとは限らないことを想定する。それは、依然としてＭＢＳタイプであり得、したがって、内部／外部エネルギーの上記で説明した概念を使用するが、形状プライア変形項Ｅ_ｉｎｔの重みαよりも高い重みβを画像内情報項Ｅ_ｅｘｔに添付する。形状プライアベースセグメンテーションアルゴリズムは対照的な様式で構成される。すなわち、それは、画像情報項Ｅ_ｅｘｔのための重みβと比較してより高い重みαを形状プライア変形項Ｅ_ｉｎｔのために使用する。特に、両方のセグメンテーションアルゴリズムＳＥＧ１、ＳＥＧ２がＭＢＳを使用する場合、内部エネルギーのための重みαはセグメンテーションアルゴリズムＳＥＧ２よりもセグメンテーションアルゴリズムＳＥＧ１のほうが高い。

好ましくは、しかしながら、ＳＥＧ２は、形式（１）ではまったくなく、代わりに、形状プライアなしのトレーニングされた機械学習モデルＭに基づくが、ＳＥＧ１は、コスト関数（１）を改善するように構成されたＭＢＳタイプアルゴリズムを実装する。ＳＥＧ１はＥ_ｅｘｔ項をまったく有しない（β＝０）。代替的に、β＞０であるが、α＞βであり、特に、例えばα／β＞２など、α＞＞βである。しかしこの場合も、ＭＢＳタイプアルゴリズム（１）は形状プライアベースアルゴリズムの一実施形態にすぎず、アトラスベース又は他のアルゴリズムなど、セグメンタＳＥＧ１のための任意の他の形状プライアベースアルゴリズムも想定する。

次に、引き続き図１を参照しながら、２チャネルセグメンテーション機能をもつ画像処理システムＩＰＳの動作についてより詳細に説明する。入力ポートＩＮにおいて、入力画像Ｉが受信される。入力画像Ｉは、それぞれの異なるセグメンテーション結果Ｉ_１及びＩ_２を生成するために２つのセグメンテーションアルゴリズムＳＥＧ１、ＳＥＧ２によって処理される。結果は、特に（１つ又は複数の）それぞれのセグメンテーションマップを含む。

互いにネイティブに空間的に位置合わせされた２つのセグメンテーション結果Ｉ_１、Ｉ_２は、次いで、骨折などの解剖学的異常などの医学的異常の標示を生成するために比較される。より詳細に、実施形態では、差分画像／マップを生成するために、２つのセグメンテーションマップＩ_２及びＩ_１、又はセグメント化された画像の点ごとの減算を実行する差分器ＤＩＦが使用される。そのような差分画像／マップの例については上記で図２Ｃにおいて説明した。

差分画像中のどの画像要素が２つのセグメンテーション結果の間の関連がある偏差を表すかを確立するために、固定された又はユーザ定義されたしきい値が使用される。前記差分がこのしきい値を超える画像要素は、このようにして形成され得るインジケータ領域の一部であると考えられる。各画像要素について、そのようなセグメンテーション結果偏差があるか否かを示す異常ロケータマップが、このようにしてコンパイルされ得る。そのような偏差を表すすべての画像要素の収集を本明細書では偏差セットＤＳと呼ぶことがある。偏差セットＤＳは、したがって、骨折など、求められている解剖学的異常を示す。

偏差セットは、可視化器ＶＩＺによって処理されて、入力画像又は２つのセグメンテーションＩ_１、Ｉ_２のうちのいずれか１つと一緒にオーバーレイされて表示され得るカラー又はグレー値コード化されたオーバーレイウィジェットにされる。カラー又はグレー値は偏差セット全体にわたって大きさとともに変動する。

像／マップＩ_１、Ｉ_２、ＤＳのいくつか又はすべては、重ね合わせられて表示されるか、又は、例えばディスプレイデバイスＤＤ上の異なる画像平面内に同時に表示される。より詳細には、コンピュータ支援読取りのための随意の可視化補助の実施形態では、出力セグメンテーションＩ_１、Ｉ_２の間の顕著な偏差ＳＤの領域は、画像のカラー又はグレー値コード化されたオーバーレイを使用して表示され得る。適用可能な場合、カラー／グレー値コード化されたオーバーレイは、カラー又はグレー値がセグメンテーション間の偏差の大きさとともに変動する。例えば、これは、ニューラルネットワーク（例えば畳み込みニューラルネットワークＣＮＮ）のボクセル／ピクセルレベル確率応答と、ＭＢＳセグメンテーションなど、形状プライアベースセグメンタＳＥＧ１によって与えられる分類結果との間の差異を示す。

２チャネルセグメンテーションは、したがって、健康な器官形状からの偏差を示すために異常検出を促進することができる。提案するシステムＩＰＳは、医療画像に基づいて解剖学的異常を検出するために使用され得る。例えば、ＣＴ画像又はラジオグラフィ画像の場合、システムＩＰＳは、外傷に起因する骨折の検出を可能にする。２つのマップ間の差異を可視化する代わりに、又は２つのマップ間の差異を可視化することに加えて、例えば前記差異値をしきい値処理することに基づいて、警報信号又は警報メッセージが生成される。

次に、画像処理の方法のフローチャートを示す図３を参照する。特に、説明するステップは、上記で説明した２チャネルセグメンテーションに関するが、以下のステップは、必ずしも上記で説明したアーキテクチャに結び付けられるとは限らず、それ自体で教示として理解され得ることが理解されよう。

ステップＳ３１０ａ及びＳ３１０ｂにおいて、Ｘ線画像など、入力画像Ｉが、２つの異なるセグメンテーションアルゴリズムによって、又は同じセグメンテーションアルゴリズムの少なくとも２つの異なって構成されたバージョンによって処理される。

好ましくは、ステップＳ３１０ａにおいて、セグメンテーションを計算するために形状プライアを使用するアルゴリズムに基づいて入力画像Ｉが処理されて、（図３にＩ１として示されている）セグメント化された画像Ｉ_１にされる。モデルベースセグメンテーションタイプアルゴリズムは、実施形態において本明細書で想定する１つの例である。

ステップＳ３１０ｂにおいて、入力画像Ｉは、（図３においてＩ２として示されている）セグメンテーション出力Ｉ_２を生成するために、形状プライアモデルにまったく基づかないセグメンテーションアルゴリズムによって処理される。実施形態では、少なくとも、明示的な形状プライアは使用されない。

好ましくは、ステップＳ３１０ｂは、トレーニングデータ上で事前トレーニングされる形状プライアなしに機械学習モデルによって実施される。代替的に、式（１）に関して上記で説明したように、ステップＳ３１０ｂにおけるセグメンテーションアルゴリズムは、モデルベースアルゴリズムでもあるが、画像内構造からの寄与を差し引いた少ない形状プライア適応からの寄与を計量するように構成される。

ステップＳ３１０ａ及びＳ３１０ｂの順序は重要でない。

ステップＳ３２０において、２つのセグメンテーション結果Ｉ_１、Ｉ_２が受信され、ステップＳ３３０に渡され、そこで２つの画像が比較される。特に、偏差マップ又は差分画像Δを生成するために、２つのセグメンテーション結果／画像Ｉ_１、Ｉ_２の間の点ごとの差異が形成される。

ステップＳ３４０において、例えば、差分画像／マップΔ中に符号化された差異値をプリセットされた有意性しきい値と比較することによって、差分画像が分析される。

差異値が所与のしきい値を超える画像ロケーションは偏差セットの一部であると考えられる。差異集合はカラーコード化され得るか、又は別段処理され得る。

ステップＳ３５０において、場合によっては処理されたカラー又はグレー値で符号化された偏差セットが表示される。これは、セグメント化された入力画像Ｉ_１、Ｉ_２のうちの１つと併せて偏差セットをオーバーレイとして表示することを含む。加えて又は代わりに、偏差セットは、元の入力画像Ｉ上のオーバーレイなど、元の入力画像と組み合わせて表示される。本明細書では、像Ｉ_１、Ｉ_２、Ｉのいずれか１つ又は複数をもつ偏差セットをディスプレイデバイスＤＤ上のグラフィックスディスプレイの異なるペイン中に任意の組合せで同時に表示するなど、他の表示オプションも考えられる。そのような表示に加えて、又はそのような表示の代わりに、医学的異常が検出されたことをユーザに通知するために警報信号又はメッセージを生成するために、しきい値処理された差分マップΔが使用される。

次に、第２の非形状プライアベースセグメンテーションアルゴリズムＳＥＧ２の機械ベース実装の一実施形態を示す図４を参照する。図４は、人工ニューラルネットワークタイプの機械学習モデルＭの概略ブロック図を示す。特に、実施形態では、非全結合レイヤ（ｎｏｎ－ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）である１つ又は複数のレイヤを含む、少なくとも部分的に畳み込みニューラルネットワークタイプ（「ＣＮＮ」）が使用される。図４におけるニューラルネットワークＭはフィードフォワードタイプのものであるが、本明細書ではリカレントアーキテクチャを除外しない。

モデルＭは、図５において以下でより十分に説明するコンピュータ化されたトレーニングシステムＴＳによってトレーニングされる。トレーニングにおいて、トレーニングシステムＴＳはモデルＭの（モデル）パラメータθの初期セットを適応させる。ニューラルネットワークモデルのコンテキストにおいて、パラメータを本明細書ではネットワーク重みと呼ぶことがある（これらの重みは上記（１）における重みα、βに関係しない）。トレーニングデータは、シミュレーションによって生成されるか、又は、図５に関して以下でより詳細に説明するように、ＰＡＣＳ（ピクチャアーカイビング及び通信システム）又は類似のものなどの医療画像データベースにおいて見つけられるような既存の履歴像又は他のデータから得られる。

したがって、２つの処理フェーズ、すなわち、トレーニングフェーズ及び展開（又は推論）フェーズが機械学習モデルＮＮに関して定義される。トレーニングフェーズでは、展開フェーズより前に、モデルは、トレーニングデータに基づいてモデルのパラメータを適応させることによってトレーニングされる。トレーニングされると、モデルは、例えば毎日の臨床業務において遭遇する新しい像をセグメント化するために、展開フェーズにおいて使用される。トレーニングは、単発動作であるか、又は、新しいトレーニングデータが利用可能になると繰り返される。

機械学習モデルＭは１つの（又は複数の）コンピュータメモリＭＥＭ’に記憶される。事前トレーニングされたモデルＭは、デスクトップコンピュータ、ワークステーション、ラップトップなど、又は分散コンピューティングアーキテクチャにおける複数のそのようなデバイスなど、計算デバイスＰＵ上で実行される機械学習構成要素として展開される。好ましくは、良好なスループットを達成するために、計算デバイスＰＵは、マルチコア設計のプロセッサなど、並列計算をサポートする１つ又は複数のプロセッサ（ＣＰＵ）を含む。一実施形態では、ＧＰＵ（グラフィカル処理ユニット）が使用される。

次に、より詳細に図４を参照すると、ネットワークＭは、データフローが左から右に、したがってレイヤからレイヤに進む、カスケード様式でレイヤ中に構成された複数の計算ノードを備える。本明細書では、リカレントネットワークを除外しない。畳み込みネットワークは、画像データを処理するときに良好な結果をもたらすことが分かっている。

展開では、セグメント化されるべき入力画像Ｉなど、入力データは、入力レイヤＩＬに適用され、随意にコンテキスト非画像データＣＸＤで補完される。コンテキスト非画像データＣＸＤは画像データＩを記述するか、又は画像データＩに関する。コンテキスト非画像データＣＸＤは、画像Ｉ中に画像化された患者の生物学的特性か、又は、入力画像を収集するために使用された撮像パラメータＩｐを含む。入力データＩは、次いで、隠れレイヤＬ_１－Ｌ_Ｎ（２つのみが示されているが、１つのみ又は３以上であり得る）のシーケンスを通って伝搬して、次いで、推定出力Ｍ（Ｉ）として出力レイヤＯＬにおいて出現する。上記で説明した実施形態によれば、出力Ｍ（ｘ）は、セグメント化された画像Ｉ’であるか、又は少なくとも関係するセグメンテーションマップである。

モデルネットワークＭは２つ以上の隠れレイヤを有するので、モデルネットワークＭは深いアーキテクチャを有すると言われることがある。フィードフォワードネットワークでは、「深さ」は、入力レイヤＩＬと出力レイヤＯＬとの間の隠れレイヤの数であるが、リカレントネットワークでは、深さは隠れレイヤの数×パスの数である。

ネットワークのレイヤ、及び、実際、入力像及び出力像、及び（本明細書で特徴マップと呼ぶ）隠れレイヤ間の入力及び出力は、計算及びメモリ割当ての効率のために２次元又はより高次元の行列（「テンソル」）として表され得る。次元及びエントリの数は上述のサイズを表す。

好ましくは、隠れレイヤＬ_１－Ｌ_Ｎは、畳み込み演算子ＣＶを使用する畳み込みレイヤのシーケンスを含む。畳み込みレイヤの数は、２つ～５つ、又は任意の他の数など、少なくとも１つである。ある隠れＬ_ｍレイヤ及び入力レイヤＩＬは１つ又は複数の畳み込み演算子ＣＶを実装する。各レイヤＬ_ｍは同数の畳み込み演算子ＣＶを実装するか、又は、数はいくつかの又はすべてのレイヤについて異なる。随意に、ゼロパディングＰが使用される。

実施形態では、畳み込みレイヤのシーケンスの下流に、分類結果、すなわち、セグメント化された画像Ｉ’又はセグメンテーションマップを生成するために、１つ又は複数の全結合レイヤ（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）ＦＣ（１つのみが示されている）がある。

各レイヤＬ_ｉは、前のレイヤからの入力特徴マップを処理して、ロジット（ｌｏｇｉｔ）と呼ばれることがある中間出力にする。例えば加算によって随意のバイアス項が適用される。アクティブ化レイヤは、ロジットを非線形様式で処理して次世代特徴マップにし、次世代特徴マップは、次いで出力され、次のレイヤに入力として渡され、以下同様である。アクティブ化レイヤは、示されているように整流線形ユニットＲＥＬＵとして、又はソフトマックス関数、シグモイド関数、双曲関数、又は任意の他の好適な非線形関数として実装される。随意に、よりロバストな学習を促進するためのプーリングレイヤ又はドロップアウトレイヤなど他の関数レイヤがある。プーリングレイヤは出力の次元を低減するが、ドロップアウトレイヤは、異なるレイヤからのノード間の接続を切断する。

畳み込みレイヤＬ_１－Ｎは、畳み込みレイヤの出力特徴マップ中のエントリがそのレイヤの入力として受信されたすべてのノードの組合せでないという点で、全結合レイヤＦＣと区別される。言い換えれば、畳み込みカーネルは、前の畳み込みレイヤから受信される特徴マップへの入力画像のサブセットのみに適用される。サブセットは出力特徴マップ中の各エントリについて異なる。畳み込み演算子の演算は、したがって、典型的な信号処理から知られている典型的な畳み込み演算における離散フィルタカーネルに似た、入力上の「スライディング」として概念化され得る。ゆえに、「畳み込みレイヤ」と呼ばれる。全結合レイヤＦＣでは、出力ノードは、一般に、前のレイヤのすべてのノードを処理することによって得られる。

実施形態では、出力レイヤＯＬは、クラスごとの分類確率を表すために前のレイヤからの特徴マップが組み合わせられて正規化されたカウントにされる、ソフトマックス関数レイヤとして、又は同様の計算ノードとしてなど、コンバイナレイヤとして構成される。ネットワークＭによって与えられる分類結果は、例えば、ただ１つの器官タイプが重要である場合、２つのラベルへのバイナリ分類を含む。多器官／組織分類では、出力レイヤＯＬによってマルチラベル分類結果が与えられる。

画像データＩに加えて、患者の生物学的特性、又は他の非画像コンテキストデータＣＸＤが共同処理されるべきである場合、非画像コンテキストデータＣＸＤには、画像データと一緒に効率的に処理するために望ましくないことがあるスパースな表現という問題があるので、これを最初に好適な表現又は符号化に変換する必要がある。非画像コンテキストデータＣＸＤをより好適でより密な表現に変換するためにオートエンコーダネットワークによるワンホット符号化及び処理が使用され、その表現は、次いで、モデルＭによって画像データと一緒に処理される。

図４において上記で説明したモデルＭは、単に一実施形態によるものであり、本開示を限定しないことが理解されよう。本明細書では、本明細書で説明するよりも多い又は少ない又は異なる機能をもつ他のニューラルネットワークアーキテクチャも想定する。ＧＡＮ（敵対的生成ネットワーク（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ））など、マルチモードネットワークが、２０１４年６月に提出された「Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」、ａｒＸｉｖ：１４０６．２６６１においてＩ．Ｇｏｏｄｆｅｌｌｏｗらによって報告された。さらには、本明細書で想定するモデルＭは、サポートベクターマシン、デシジョンツリー、ランダムフォレストなど、必ずしもニューラルネットワークタイプであるとは限らない。本明細書では、他のモデルベース又はインスタンスベースＭＬ技法も想定する。モデルベース手法は、図４におけるＮＮのように識別（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ）タイプであるか、又は生成（ｇｅｎｅｒａｔｉｖｅ）タイプである。セグメンテーションのためのインスタンスベース手法は、例えばｋ－ＮＮ（「最近傍（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ）」）手法を含む。本明細書では、代替実施形態において、トレーニングデータからのサンプリングに基づく典型的な統計的分類方法も想定する。さらに他の技法は、ベイジアンネットワーク、又はマルコフタイプ確率場などの確率場（ｒａｎｄｏｍ ｆｉｅｌｄ）などを含む。

図５は、形状プライアに基づかない第２のセグメンテーションモジュールとして使用するための機械学習モデルをトレーニングするためのトレーニングシステムを示す。ＮＮタイプモデルＭなど、上記で説明した例示的なモデルベース手法では、すべての畳み込みフィルタカーネル、全結合レイヤ、出力レイヤなどについての重みの合計は、機械学習モデルの構成を定義する。重みはレイヤごとに異なる。特に、トレーニングフェーズにおいて学習されるのはこれらの重みである。トレーニングフェーズが終わると、十分に学習された重みは、ノードが構成されたアーキテクチャと一緒に、１つ又は複数のデータメモリＭＥＭ’に記憶され得、展開のために使用され得る。

次に、ニューラルネットワークタイプモデルなど、モデルベースＭＬアルゴリズムにおけるパラメータをトレーニングするためのトレーニングシステムＴＳ、又は非ニューラルネットワークタイプＭＬモデルをトレーニングするためのトレーニングシステムＴＳを示す、図５を参照する。

教師あり学習では、トレーニングデータはデータ（ｘ_ｋ、ｙ_ｋ）のｋ個のペアを含む。ｋは数百又は数千に達する。トレーニングデータは、各ペアｋ（インデックスｋは、特徴マップの世代を指定するために上記で使用したインデックスに関係しない）について、トレーニング入力データｘ_ｋと、関連付けられたターゲットｙ_ｋとを含む。トレーニングデータは、したがって、特に、本明細書で主に想定する教師あり学習方式について、ペアｋにおいて編成される。しかしながら、本明細書では、教師なし学習方式を除外しないことに留意されたい。

トレーニング入力データｘ_ｋは、例えばＨＩＳ（病院情報システム）のＰＡＣＳなど、実験室において又は前に診療所において収集された履歴画像データから得られ、画像リポジトリに保持される。ターゲットｙ_ｋ又は「グランドトゥルース」は、（セグメント化されていない）画像ｘ_ｋに関連するセグメンテーションマップ又はセグメント化された画像を表す。そのようなラベルは、専門家によるセグメンテーション、注釈又は輪郭設定を含む。そのようなラベルはＰＡＣＳデータベース又は他の医療データリポジトリから取り出される。履歴像は、前にセグメント化された像を含む。また、いくつかの実施形態では、シミュレーションから、セグメント化されていないトレーニングデータ対セグメント化されたトレーニングデータのペアを生成することが可能である。

トレーニングがコンテキストデータＣＸＤを含めることである場合、一般に、ターゲットｙ_ｋ中に含められるコンテキストデータはない。言い換えれば、コンテキストデータを用いた学習の場合、ペアは、一般に、（（ｘ_ｋ、ｃ）、ｙ_ｋ）の形態を有し、非画像コンテキストデータｃはトレーニング入力ｘ_ｋのみに関連し、ターゲットｙ_ｋには関連しない。

トレーニングフェーズでは、図４におけるＮＮネットワークなど、機械学習モデルＭのアーキテクチャには重みの初期セットが事前にポピュレートされる。モデルＮＮの重みθはパラメータ化Ｍ^θを表し、トレーニングシステムＴＳの目的は、トレーニングデータ（ｘ_ｋ、ｙ_ｋ）ペアに基づいてパラメータθを最適化し、したがって適応させることである。言い換えれば、学習は、ユーティリティ関数を最大にする二重公式化が代わりに使用されるが、コスト関数Ｆが最小にされる最適化方式として、数学的に公式化され得る。

差し当たり、コスト関数Ｆのパラダイムを仮定すると、これは、総計された残差（ｒｅｓｉｄｕｅ）、すなわち、モデルＭによって推定されたデータと、トレーニングデータペアｋのいくつか又はすべてによるターゲットとの間に招かれた誤差を測定する。

式（２）及び以下で、関数Ｍ（）は、入力ｘ_ｋに適用されたモデルＭの結果を示す。本明細書で主に想定する分類子の場合、距離測度｜｜・｜｜は、好ましくは、交差エントロピー又はカルバック－ライブラー（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ）ダイバージェンスなどのうちの１つとして公式化される。任意の好適な距離測度が使用され得る。

トレーニングでは、トレーニングペアのトレーニング入力データｘ_ｋは初期化されたネットワークＭを通して伝搬される。特に、ｋ番目のペアについてのトレーニング入力ｘ_ｋは、モデルＭの入力ＩＬにおいて受信され、モデルに通され、次いで、出力ＯＬにおいて出力トレーニングデータＭ^θ（ｘ）として出力される。測度｜｜・｜｜は、モデルＭによって生成される実際のトレーニング出力Ｍ^θ（ｘ_ｋ）と所望のターゲットｙ_ｋとの間の、本明細書で残差とも呼ぶ、差異を測定するように構成される。

出力トレーニングデータＭ（ｘ_ｋ）は、適用された入力トレーニング画像データｘ_ｋに関連するターゲットｙ_ｋについての推定値である。一般に、この出力Ｍ（ｘ_ｋ）と、現在考えているｋ番目のペアの関連するターゲットｙ_ｋとの間には誤差がある。その場合、完全なトレーニングデータセットのペア（ｘ_ｋ、ｙ_ｋ）のすべて又はサブセットについての総計された残差（（２）における合計）を減少させるように、モデルＭのパラメータθを適応させるために、後方／前方伝搬又は他の勾配降下ベース方法など、最適化方式が使用される。

モデルのパラメータθが現在のペア（ｘ_ｋ、ｙ_ｋ）についてアップデータＵＰによって更新される、第１の内側ループにおける１回又は複数回の繰り返しの後に、トレーニングシステムＴＳは、次のトレーニングデータペアｘ^ｋ＋１、ｙ^ｋ＋１が相応して処理される、第２の外側ループに入る。アップデータＵＰの構造は使用される最適化方式に依存する。例えば、アップデータＵＰによって管理される内側ループは、前方／後方伝搬アルゴリズムにおける１つ又は複数の前方及び後方パスによって実装される。パラメータを適応させている間、すべてのトレーニングペアの総計された、例えば合計された（２）残差は、目的関数を改善するために、現在のペアに達していると考えられる。総計された残差は、ペアごとのいくつかの又はすべての考えられる残差の式（２）におけるなど平方和残差として目的関数Ｆを構成することによって形成され得る。平方和の代わりに、他の代数の組合せも想定する。プロセスフローは、トレーニングデータペアの所望の最小数が処理されるまで、内側及び外側ループを通して交互に処理される。

図５に示されているトレーニングシステムは、すべてのモデルベース学習方式、特に教師あり方式について考えられ得る。本明細書では、代替実施形態において、教師なし学習方式も想定する。図５は主にモデルベース学習に関するが、代替実施形態では、代わりにインスタントベース学習方式も想定する。また、図５、図６はパラメータ化されたモデルに関するが、本明細書では、非パラメトリックＭＬアルゴリズムを除外しない。トレーニングシステムＴＳを実施するためにＧＰＵが使用される。

十分にトレーニングされた機械学習モジュールＭは、１つ又は複数のメモリＭＥＭ’又はデータベースに記憶され、セグメンタＳＥＧ２のための事前トレーニングされた機械学習モデルＭとして利用可能にされ得る。トレーニングされたモデルはクラウドサービスにおいて利用可能にされる。アクセスは無料で提供され得るか、又はそれらの使用は支払い認証又は従量課金方式を介して許可され得る。

図６は、図４において上記で説明した方法など、機械学習モジュールをトレーニングする方法のフローチャートを示す。

好適なトレーニングデータを照合する必要がある。本明細書では、教師なし学習又は少なくとも半教師なし学習セットアップも想定するので、これは不可欠ではないが、本明細書では、好ましくは、教師あり学習方式を想定している。

教師あり学習では、トレーニングデータはデータ項目の好適なペアを含み、各ペアは、トレーニング入力データと、それと関連付けられたターゲットトレーニング出力データとを含む。像又は投影データは、上記で説明したように、データベース又は他の画像リポジトリから像又は投影データを取り出すことによってペアにされ得る。

引き続き図６を参照すると、ステップＳ６１０において、トレーニングデータがペア（ｘ_ｋ、ｙ_ｋ）の形態で受信される。各ペアは、上記で図５において定義されているように、トレーニング入力ｘ_ｋと、関連するターゲットｙ_ｋ、ｘ_ｋを含む。

ステップＳ６２０において、トレーニング出力を生成するために、トレーニング入力ｘ_ｋが初期化された機械学習モデルＮＮに適用される。

ステップＳ６３０において、関連するターゲットｙ_ｋ（セグメンテーション（マップ））からのトレーニング出力Ｍ（ｘ_ｋ）の偏差又は残差がコスト関数Ｆによって定量化される。コスト関数を改善するために、ステップＳ６４０において、モデルの１つ又は複数のパラメータが内側ループにおいて１回又は複数回の繰り返しで適応させられる。例えば、モデルパラメータは、コスト関数によって測定される残差を減少させるように適応させられる。パラメータは、畳み込みＮＮモデルＭが使用される場合、特に、畳み込み演算子の重みＷを含む。

トレーニング方法は、次いで、外側ループにおいてステップＳ６１０に戻り、そこでトレーニングデータの次のペアが供給される。ステップＳ６２０において、モデルのパラメータは、考えられているすべてのペアの総計された残差が減少するように、特に最小になるように適応させられる。コスト関数は総計された残差を定量化する。内側ループにおいて前方後方伝搬又は同様の勾配ベース技法が使用される。

より一般的には、モデルＭのパラメータは、コスト関数又はユーティリティ関数のいずれかである目的関数Ｆを改善するように調整される。実施形態では、コスト関数は、総計された残差を測定するように構成される。実施形態では、残差の総計は、考えられているすべてのペアについてすべての又はいくつかの残差を合計することによって実施される。本方法は、好ましくは、トレーニングをスピードアップするために、並列処理が可能なプロセッサを有する、１つ又は複数の汎用処理ユニットＴＳ上で実装される。

図６はパラメータ化されたモデルベーストレーニングに関するが、本明細書では、実施形態において、パラメータ化されていないＭＬトレーニング方式及び／又はインスタンスベースＭＬトレーニング方式も想定する。

画像処理システムＩＰＳ又はトレーニングシステムＴＳの構成要素は、イメージャＩＡに関連付けられたワークステーションなど、１つ又は複数の汎用処理ユニットＰＵ上で、又はイメージャのグループに関連付けられたサーバコンピュータ上で動作する、１つ又は複数のソフトウェアモジュールとして実装される。

代替的に又はさらに、画像処理システムＩＰＳ又はトレーニングシステムＴＳのいくつかの又はすべての構成要素は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）など、好適にプログラムされたマイクロコントローラ又はマイクロプロセッサなど、ハードウェアにおいて構成されるか、又は撮像システム画像処理システムＩＰＳに一体化されたハードワイヤードＩＣチップ、特定用途向け集積回路（ＡＳＩＣ）として構成される。さらなる実施形態では、さらに、画像処理システムＩＰＳ又はトレーニングシステムＴＳは部分的にソフトウェアと部分的にハードウェアの両方において実装される。

画像処理システムＩＰＳ又はトレーニングシステムＴＳの異なる構成要素は単一のデータ処理ユニットＰＵ上に実装される。代替的に、いくつかの又は複数の構成要素は、場合によってはリモートで分散型アーキテクチャに構成され、クラウド設定又はクライアントサーバセットアップなど、好適な通信ネットワークにおいて接続可能な、異なる処理ユニットＰＵ上に実装される。特に、２つのセグメンタＳＥＧ１、ＳＥＧ２は同じ又は異なる計算システム上で動作するが、差分器ＤＩＦは、場合によっては、セグメンタＳＥＧ１、ＳＥＧ２がその上で動作するシステムのうちの少なくとも１つからリモートで、また別のシステム上で動作する。本明細書で説明する処理の場合、セグメンテーションマップは、通信ネットワークによって差分器ＤＩＦに送信されるか、又はデータストレージなどから差分器ＤＩＦによって取り出される。

本明細書で説明する１つ又は複数の特徴は、コンピュータ可読媒体内で符号化された回路として、又はコンピュータ可読媒体内で符号化された回路を用いて、及び／又はそれの組合せで、構成又は実装され得る。回路は、ディスクリート回路及び／又は集積回路、システムオンチップ（ＳＯＣ）、及びそれらの組合せ、機械、コンピュータシステム、プロセッサ及びメモリ、コンピュータプログラムを含み得る。

本発明の別の例示的な実施形態では、適切なシステム上で、前の実施形態のうちの１つによる方法の方法ステップを実行するように適応させられていることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。

コンピュータプログラム要素は、したがって、コンピュータユニット上に記憶され、コンピュータユニットも本発明の一実施形態の一部である。この計算ユニットは、上記で説明した方法のステップを実行するように、又はそれの実行を引き起こすように適応させられる。その上、それは、上記で説明した装置の構成要素を動作させるように適応させられる。計算ユニットは、自動的に動作するように、及び／又はユーザの指令を実行するように適応させられ得る。コンピュータプログラムはデータプロセッサのワーキングメモリにロードされる。データプロセッサは、したがって、本発明の方法を実行するように装備される。

本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、更新によって既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムの両方をカバーする。

さらに、コンピュータプログラム要素は、上記で説明した方法の例示的な実施形態の手順を実現するために、すべての必要なステップを与えることが可能である。

本発明のさらなる例示的な実施形態によれば、ＣＤ－ＲＯＭなど、コンピュータ可読媒体が提示され、コンピュータ可読媒体は、その上に記憶されたコンピュータプログラム要素を有し、コンピュータプログラム要素については前のセクションによって説明した。

コンピュータプログラムは、他のハードウェアと一緒に又は他のハードウェアの一部として供給される光記憶媒体又は固体媒体など、好適な媒体（特に、必ずしもそうではないが、非一時的媒体）上に記憶及び／又は分配され得るが、インターネット又は他のワイヤード又はワイヤレス電気通信システムを介してなど、他の形態でも分配され得る。

しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを介して提示され、そのようなネットワークからデータプロセッサのワーキングメモリにダウンロードされ得る。本発明のさらなる例示的な実施形態によれば、コンピュータプログラム要素をダウンロードのために利用可能にするための媒体が提供され、コンピュータプログラム要素は、本発明の前に説明した実施形態のうちの１つによる方法を実行するように構成される。

本発明の実施形態については異なる主題に関して説明したことに留意しなければならない。特に、いくつかの実施形態については方法タイプクレームに関して説明したが、他の実施形態についてはデバイスタイプクレームに関して説明した。しかしながら、当業者は、上記及び以下の説明から、別段通知されない限り、主題の１つのタイプに属する特徴の任意の組合せに加えて、異なる主題に関する特徴間の任意の組合せも本出願で開示されると考えられると推論するであろう。しかしながら、すべての特徴を組み合わせて、特徴の単なる総和を超える相乗効果を与えることができる。

本発明を図面及び上記の説明において例示し、詳細に説明したが、そのような例示及び説明は説明的又は例示的であり、限定的でないと考えられるべきである。本発明は開示された実施形態に限定されない。開示された実施形態の他の変形は、図面、本開示、及び従属クレームの検討から、クレームされる発明を実施する際に当業者によって理解され、実施され得る。

特許請求の範囲において、「備える」という語は他の要素又はステップを除外せず、単数形の要素は複数を除外しない。単一のプロセッサ又は他のユニットは特許請求の範囲に列挙されたいくつかの項目の機能を実現する。いくつかの手段が相互に異なる従属クレームに列挙されているという単なる事実は、これらの手段の組合せを有利に使用することができないことを示さない。特許請求の範囲におけるいずれの参照符号も範囲を限定すると解釈されるべきでない。

Claims (14)

1. 入力画像についての２つのセグメンテーションマップを受信するための少なくとも１つの入力インターフェースであって、前記２つのセグメンテーションマップが、それぞれのセグメンタである、第１のセグメンタ及び第２のセグメンタによって得られ、前記第１のセグメンタが、形状プライアベースセグメンテーションアルゴリズムを実装し、前記第２のセグメンタが、形状プライアに基づかないセグメンテーションアルゴリズムを実装するか、又は前記第２のセグメンタが、前記第１のセグメンタと比較してより低い重みで１つ又は複数の形状プライアを考慮する、少なくとも１つの入力インターフェースと、
   前記２つのセグメンテーションマップの間の差異を確認し、前記差異から解剖学的異常を検出する差分器と
   を備える、画像処理のためのシステム。
2. 前記差分器が、固定された又はユーザ定義されたしきい値を超える前記２つのセグメンテーションマップの間の前記差異に基づいて前記解剖学的異常を検出する、請求項１に記載のシステム。
3. 前記差異の標示を出力する可視化器を備える、請求項１又は２に記載のシステム。
4. 前記可視化器が、前記標示とｉ）前記入力画像又はｉｉ）第１若しくは第２のセグメンテーションマップとをディスプレイデバイス上で表示する、請求項３に記載のシステム。
5. 前記可視化器が、前記差異の大きさを表すように前記標示をコード化する、請求項３又は４に記載のシステム。
6. 前記第２のセグメンタが機械学習モデルに基づく、請求項１から５のいずれか一項に記載のシステム。
7. 前記機械学習モデルが人工ニューラルネットワークに基づく、請求項６に記載のシステム。
8. 前記２つのセグメンテーションマップ中のセグメンテーションが、ｉ）骨組織、ｉｉ）がん組織のいずれか１つ又は複数を表す、請求項１から７のいずれか一項に記載のシステム。
9. 前記解剖学的異常が骨折のうちの１つであり、前記差異が前記骨折を示す、請求項８に記載のシステム。
10. 前記入力画像が、ｉ）Ｘ線画像、ｉｉ）エミッション画像、ｉｉｉ）磁気共鳴画像、ｉｖ）超音波画像のいずれか１つである、請求項１から９のいずれか一項に記載のシステム。
11. 撮像装置と、請求項１から１０のいずれか一項に記載のシステムとを備える、撮像システム。
12. 入力画像についての２つのセグメンテーションマップを受信するステップであって、前記２つのセグメンテーションマップが、それぞれのセグメンタである、第１のセグメンタ及び第２のセグメンタによって得られ、前記第１のセグメンタが形状プライアベースセグメンテーションアルゴリズムを実装し、前記第２のセグメンタが、形状プライアに基づかないセグメンテーションアルゴリズムを実装するか、又は前記第２のセグメンタが、前記第１のセグメンタと比較してより低い重みで１つ又は複数の形状プライアを考慮する、入力画像についての２つのセグメンテーションマップを受信するステップと、
    前記２つのセグメンテーションマップの間の差異を確認するステップと、
    前記差異から解剖学的異常を検出するステップと
    を有する、コンピュータ実装画像処理の方法。
13. 命令を含むコンピュータプログラムであって、少なくとも１つの処理ユニットによって実行されているときに、前記処理ユニットに請求項１２に記載の方法を実行させる、コンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムを記憶した、少なくとも１つのコンピュータ可読媒体。