JP7809114B2 - 個人が１つ又は複数の病害を有する可能性を予測すること - Google Patents

Description

本発明は、超音波画像化の分野に関し、詳細には、超音波画像に表された病害の識別に関する。

超音波は、様々な癌種、たとえば、乳癌種、甲状腺癌種及び肝臓癌種などの検出及び診断においてますます使用されようになっている。特に、超音波を使用する癌種の早期検出は、通常は、超音波画像内で病害を識別することによって、実行される。残念ながら、早期癌種の検出率は、いくつかの要因、たとえば、十分な経験を積んだ音波検査者の不足及び超音波画像化スクリーニングを実行するための時間的制約、により比較的低い。

コンピュータで実施される超音波ベースの病害検出技法を用いる、臨床判断サポート（ＣＤＳ：ｃｌｉｎｉｃａｌ ｄｅｃｉｓｉｏｎ ｓｕｐｐｏｒｔ）システムが、超音波画像スクリーニングを実行する際に臨床医を助けるために採用されている。そのようなシステムは、１つ又は複数の病害の有無を予測することによって臨床医を支援して、それにより、検出の見逃しの可能性を減らすのに、及び診断の信頼性を高めるための二重読み取り／確認として、役立つことができた。

一般に、（自動化された又はコンピュータで実施される）超音波ベースの病害検出のための２つのタイプの方法が存在する：画像処理ステップに基づく従来の病害検出方法及び深層学習手法。従来の手法は、一般に、ルールに基づく手法及び特定の仮定に依拠するので、人口の大部分について十分に強固及び／又は柔軟であるとは考えられていない。深層学習手法は、そのような強い仮定にあまり依拠しないので、物体／病害検出において優れた精度を示しているが、高い計算の複雑性及び処理時間に悩まされている。

Ｍｅｄｉｃａｌ Ｐｈｙｓｉｃｓ、ｖｏｌ．４７、ｎｏ、１１で公表された、ＬＩ ＹＡＮＦＥＮＧらによる論文「３Ｄ ｔｕｍｏｒ ｄｅｔｅｃｔｉｏｎ ｉｎ ａｕｔｏｍａｔｅｄ ｂｒｅａｓｔ ｕｌｔｒａｓｏｕｎｄ ｕｓｉｎｇ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｔｒａｌ ｎｅｔｗｏｒｋ」では、腫瘍検出方法が、ＡＢＵＳ（ａｕｔｏｍａｔｅｄ ｂｒｅａｓｔ ｕｌｔｒａｓｏｕｎｄ：自動化された胸部超音波）のために提案された。ＡＢＵＳは、胸部スクリーニングのための自動化された超音波デバイスとして知られている。ＡＢＵＳは、３Ｄ超音波技術を使用し、胸部の、オペレータに依存しないボリューム画像を獲得し、獲得された３Ｄボリュームから冠状ビュー断片を生成し、そのような断片を表示する。

したがって、個人が１つ又は複数の病害を有する可能性を予測するための機構を改善したいという継続した願望が存在する。

本発明は、特許請求の範囲によって定義される。

本発明の一態様による例によれば、個人が１つ又は複数の病害を有する可能性を予測するための処理システムが提供され、処理システムは、：個人の複数の超音波画像を取得することと、複数の超音波画像において関心領域を識別することであって、それぞれの関心領域は、個人の潜在的病害を有するエリアを表す複数の超音波画像のうちの１つの超音波画像の一部分である、識別することと、関心領域の類似点に基づいて、複数の超音波画像のうちの異なる超音波画像から、関心領域をグループ化することと、機械学習方法を使用して関心領域のそれぞれのグループを処理して、関心領域のグループが個人の病害を含む可能性を示す予測インジケータを生成することとを行うように構成される。複数の超音波画像は、時系列の超音波画像を含む。いくつかの実施形態において、時系列の超音波画像は、超音波画像のビデオ、たとえばシネループである。潜在的病害を有するエリアを表す関心領域を識別することは、１つ又は複数の関心領域の有無を識別することを含む。いくつかの超音波画像については、それぞれの超音波画像において識別された関心領域が存在しない可能性があり、いくつかの超音波画像については、それぞれの超音波画像で識別された１つ又は複数の関心領域が存在する可能性がある。

本開示は、個人における１つ又は複数の病害の有無を識別するための、具体的には、病害が存在する可能性を示す１つ又は複数の予測インジケータを生成するための、手法を提案する。患者の超音波画像は、潜在的病害－すなわち、病害を示していると予測される候補領域－を含む関心領域（すなわち、それぞれの超音波画像の部分）を識別するために、処理される。したがって、関心領域は、超音波画像の部分であり、それ自体が画像（但し、超音波画像より小さいサイズの）である。関心領域によって表された個人のエリアが潜在的病害を含むということが予測される－すなわち、病害を含む可能性がある－場合、関心領域は、潜在的病害を含む。潜在的病害を含む関心領域を識別するための機構は、当業者によく知られており、たとえば、機械学習法、エッジ検出アルゴリズム、画像セグメンテーション技法などを用いる。

関心領域は、次いで、それらの類似性に基づいて、グループ化又はクラスタ化されて、関心領域のグループを生み出す。このようにして、互いに対応する（すなわち、同じ潜在的病害を含む）異なる超音波画像の部分が、グループ化される。したがって、それらが個人の同じ潜在的病害を含むということが予測される場合、関心領域は、互いに類似していると見なされる（そして、それに応じてグループ化される）。さらに、グループ化又はクラスタ化は、関心領域の間の相対的空間的関係性を必要とせずに、関心領域の類似性に基づいて、実行される。このようにして、グループ化又はクラスタ化は、複数の超音波画像を空間的に整列させずに、実行することができる。これは、特に、複数の超音波画像が空間的に整列させられていない場合に関して、有利である。たとえば、複数の２次元超音波画像が、ハンドヘルド超音波プローブによって手動で獲得される場合、これらの２次元超音波画像の間の相対的空間的関係性は、ＡＢＵＳ（自動化された胸部超音波）によって獲得されたものとは異なり、知られていない。従来、そのような複数の超音波画像は、最初に、様々な空間的アラインメント技術（たとえば、空間的登録、３Ｄ構築）を用いて３次元（３Ｄ）ボリュームに結合することができ、次いで、さらなる信号処理（たとえば、病害検出）が、空間的に整列した画像又は断片に基づいて、実施され得る。しかしながら、空間的アラインメント又は３Ｄは、いくつかのシナリオにおいて困難である可能性がある。これに対して、複数の画像にわたる事前の空間的登録又はアラインメントに依存せずに、言い換えれば、複数の画像の間の又は複数の画像において識別された関心領域の間の相対的空間的関係性の知識に依存せずに、それらの類似性に基づいて複数の関心領域をグループ化することが、ここでは、提案される。

グループは、次いで、グループが個人の病害を含む可能性を示す予測インジケータを生成するために、機械学習法を使用して処理される。それにより、機械学習法は、関心領域のグループに病害が存在するか否かを効果的に予測する。このようにして、分類子などの機械学習法は、同じ潜在的病害を含む関心領域のグループを処理することによって、予測インジケータを生成する。

本発明に関連して、予測インジケータは、病害のグループが病害を含む予測される可能性（機械学習法によって決定される）の変化に応答して変化する任意のデータである。予測インジケータは、バイナリ、カテゴリ又は数値データを含む。バイナリデータは、グループが病害を含むか否かに関する予測を示す（たとえば、「０」は、予測された無を示し、「１」は、予測された有を示す、或いは逆もしかり）。カテゴリデータは、グループが病害を含む可能性カテゴリ（たとえば、「可能性がある」、「可能性が非常に高い」、「可能性が低い」など）を示す。数値データは、関心領域のグループが病害を含む数値確率を、たとえば、０から１又は０から１００の尺度で示す。

提案される手法は、複数の超音波画像、たとえば、ある期間にわたって撮られた超音波画像を使用して、それによって、個人の病害を識別するための付加的コンテキスト情報を使用することによって、個人の病害の識別（たとえば、静止画像のみから）の偽陽性率を下げる。先ず関心領域を識別することによって、病害を識別するために実行される処理の量は、たとえば、さらなる処理なしに複数の超音波画像全体に機械学習プロセスを実行することと比べて、減らされる。それにより、提案される手法は、少ない計算努力で高品質及び高精度の病害識別を実行するための機構を提供する。

好ましくは、それぞれの超音波画像は、２次元超音波画像である。２Ｄ超音波画像を生成するための超音波システムは、広範囲の有用性及び採用を有し、資源を制限されて、たとえば、低電力、環境（たとえば、バッテリ式又は頼りない電力を有するエリア内の）、ますます使用されるようになっているので、本発明は、特に、２次元超音波画像を処理するために使用されるときに有利である。したがって、そのようなシステムのための病害の可能性の正確なインジケータをまだ取得しながら、計算の負荷を減らすこと（電力使用量要件を最小限に抑えること）は、特に有益である。

いくつかの実施形態において、処理システムは、関心領域の各グループについて、関心領域のグループの関心領域を使用して、関心領域のシーケンスを生成することと、機械学習法を使用して、領域のシーケンスを処理して、領域のシーケンスが個人の病害を含むか否かを予測することとを含むプロセスを実行することによって、関心領域の各グループを処理するように構成される。

関心領域のシーケンスは、グループ内のすべての関心領域からのデータを含む単一のデータ構造体を効果的に形成する。

処理システムは、関心領域を積み重ねることを含むステップを実行することによって、領域のシーケンスを生成するように構成される。関心領域が、２次元画像である、たとえば、２次元超音波画像から抽出された場合、このプロセスは、疑似３Ｄボリュームを効果的に形成する。

処理システムは、第２の機械学習法を使用してそれぞれの超音波画像を処理して関心領域を識別することを含むプロセスを実行することによって、超音波画像において関心領域を識別するように構成される。したがって、少なくとも２つの機械学習法が、病害のないことの存在を予測するために、使用される。この手法は、潜在的病害を識別する可能性を高め、潜在的病害を識別する、並びに信頼性の向上のために超音波画像において潜在的病害を識別するための現存する及び十分に開発された機構を採用するための完全に自動化された機構を促進する。

いくつかの例では、第３の機械学習法が、たとえば、それぞれの関心領域の特性及び／又は他のメタデータ（たとえば、位置、サイズ、形状など）を使用して、関心領域をグループ化するために使用される。もちろん、機械学習法が、関心領域を識別するために使用されない場合でも、機械学習法は、関心領域をグループ化するために使用される。

いくつかの好ましい例では、複数の超音波画像は、超音波画像のシーケンスを含む。シーケンス内の後の超音波画像が、より早期の超音波画像よりも時間において後に画像化システムによって取得されるように、超音波画像のシーケンスは、好ましくは、時系列である。このことは、時間依存の情報が関心領域のグループに組み込まれる結果を効果的にもたらす。本開示は、時間ベースの情報の使用は、１つ又は複数の病害の有無を正確に識別する変化を増やす、ということを認識する。

好ましくは、複数の超音波画像が、たとえば、同じ超音波画像化プローブを使用して、同じ超音波画像化システムによって取得される。さらに好ましくは、超音波画像化プローブ（超音波画像を取得するために使用される）が動かない間に、複数の画像が、取得される。このことは、リンクされた関心領域のグループの識別の容易さ及び精度を高める。

いくつかの実施形態において、シーケンスの超音波画像の順番は、それぞれの超音波画像がキャプチャされた時間に依存する。たとえば、超音波画像のシーケンスは、超音波ビデオの順次的フレームを含む。時間的に順序付けられた超音波画像のシーケンス（たとえば、超音波ビデオ）によって提供されるコンテキストは、関心領域のグループにおける１つ又は複数の病害の有無を予測するときに、時間ベースの情報が機械学習法のために考慮されることを可能にする。本開示は、この情報が、特に、超音波画像における１つ又は複数の病害の偽陽性検出率を減らすのに有利である、ということを識別する。

いくつかの例、関心領域の各グループ、において、各関心領域は、関心領域の同じグループ内の別の関心領域の超音波画像に順次に隣接する超音波画像に由来する。

好ましくは、各関心領域は、超音波画像のサイズの０．４倍以下、たとえば、超音波画像のサイズの０．２５倍以下である。関心領域のサイズが小さいほど、関心領域のグループ（超音波画像全体ではなくて）を処理する計算の複雑性の低減の効果は大きくなる。

いくつかの例では、処理システムは、各予測インジケータに応答して、表示デバイスに、視覚的に知覚可能な出力を表示するように構成される。したがって、予測インジケータに応答する情報は、ユーザ（たとえば、臨床医）に対して出力され得る。

少なくとも１つの予測インジケータが、関心領域の少なくとも１つのグループが病害を含む可能性があるということを示す場合、処理システムは：患者の表示された超音波画像に関して識別された病害の位置を識別することと、病害の識別された位置に応答して、表示された超音波画像に視覚的に知覚可能な出力を重ね合わせることとを行うように構成される。

処理システムは：異なる超音波画像からの異なる関心領域の間の類似性測度であって、超音波画像内の１つの関心領域によって占有された相対エリアと別の超音波画像の別の関心領域によって占有された相対エリアとの重複のサイズを表す類似性測度を決定することと、所定の閾値を超える２つの異なる関心領域の間の類似性測度に応答して２つの異なる関心領域を同じグループにグループ化することとを含むプロセスを実行することによって、関心領域をグループ化するように構成される。

したがって、類似性測定は、重複のサイズ、たとえば、異なる超音波画像からの関心領域の間のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）測度に基づく。このことは、たとえば、同じ潜在的病害が、それぞれの超音波画像の同じ相対ロケーションにある可能性が高いとき、同じ潜在的病害が識別されているかどうかを識別するための単純な機構を促進する。複数の超音波画像が、超音波ビデオからのフレームを含む場合、この実施形態は、潜在的病害が超音波ビデオの異なるフレームの間の同じ位置にあることになる可能性を高めるので、この手法は、特に有利である。

処理システムは：関心領域のメタデータであって、関心領域のサイズ、位置、信頼性及び／又は出現に関する情報を提供するメタデータを識別することと、関心領域のメタデータに基づいて関心領域をグループ化することとを含むプロセスを実行することによって、関心領域をグループ化するように構成される。したがって、追加情報は、異なる関心領域の類似点を決定するために使用される。いくつかの実施形態において、機械学習法が、たとえば関心領域のメタデータに基づいて、関心領域をグループ化するために使用される。

個人が１つ又は複数の病害を有する可能性を予測するためのコンピュータ実施方法もまた、提案される。

コンピュータで実施される方法は：個人の複数の超音波画像を取得することと、各関心領域が、個人の潜在的病害を有するエリアを表す複数の超音波画像のうちの１つの超音波画像の一部分である、複数の超音波画像内の関心領域を識別することと、関心領域の類似点に基づいて、複数の超音波画像のうちの異なる超音波画像から、関心領域をグループ化することと、機械学習法を使用して、関心領域の各グループを処理して、関心領域のグループが個人の病害を含む可能性を示す予測インジケータを生成することとを含む。

メモリと、メモリにつながれた及びそのようなコンピュータ実施方法を実行するように構成されたプロセッサとを備える、処理システムも提案される。

処理システムを有する計算デバイスで実行されるとき、本明細書に記載の任意のコンピュータ実施方法のステップのすべてを処理システムに実行させる、コンピュータプログラムコード手段を備える、コンピュータプログラム製品も提案される。

当業者は、本明細書に記載の任意の方法を実施するために本明細書に記載の任意の処理システムを適合させること、及びその逆も同様に、容易に行うことができる。

本発明のこれらの及び他の態様は、後述する実施形態を参照して、明らかとなり、説明されることになる。

本発明のよりよい理解のために、及び本発明がどのように実行されるかをより明確に示すために、ここで、添付の図面が、単に例として、参照されることになる。

一実施形態で使用するための超音波システムを示す図である。 実施形態をコンテキスト的に理解するためのワークフローを示す図である。 一実施形態による方法を示す図である。 一実施形態による方法を示す図である。 関心領域をグループ化するための方法を示す図である。 一実施形態による処理システムを示す図である。 実施形態の効果を示す図である。 処理システムを示す図である。

本発明について、図を参照して、説明する。

詳細な記述及び特定の例は、装置、システム及び方法の例示的実施形態を示しながら、単に例解を目的として意図されており、本発明の範囲を制限するものではない、ということを理解されたい。本発明の装置、システム及び方法のこれらの及び他の特徴、態様、及び利点は、以下の記述、添付の特許請求の範囲、及び添付の図面から、よりよく理解されることになろう。図は、単に概要であり、正確な比率で描かれていない、ということを理解されたい。同じ参照番号は、複数の図にわたって同じ又は類似の部分を示すために使用される、ということもまた理解されたい。

本発明は、個人の複数の超音波画像を処理することによって個人における１つ又は複数の病害の有無の確率／可能性を決定するための機構を提供する。超音波画像は、各画像内の各関心領域を識別するために処理され、各関心領域は、病害を示すと疑われる超音波画像の一部分を表す。類似の関心領域が、グループ化され、そして、類似の領域のグループは、次いで、それらが対象の病害を含みそうかどうかの予測を生成するために、機械学習法を使用して処理される。したがって、病害の可能性を識別するための２つのステップのプロセスが、実行される。

本発明の実施形態は、単一の超音波画像のみを使用して潜在的病害を識別する場合には重要な情報が失われる又は存在しないが、同時に複数の超音波画像を処理することは、画像分析プロセスの処理負荷を有意に増やすという認識に基づく。そうではなくて、潜在的病害の有無の可能性を評価するための新しい手法が提案され、そこでは、異なる超音波画像からの関心領域グループが、病害が存在する可能性を予測するために形成され、ともに処理される。

実施形態は、任意の適切な超音波分析システムにおいて、たとえば、表面の器官の癌種スクリーニング及び診断のための超音波分析において、使用される。提案される実施形態は、任意の適切な臨床環境において、たとえば、癌種スクリーニングのための検診の間に、又は癌種スクリーニング及び診断のために病院の超音波部門において、使用される可能性を有する。本発明は、オンライン又はオフライン使用、すなわち、メモリからの又は超音波システムから直接に作り出されたデータの処理、のための高度病害識別ソフトウェアを有するすべての超音波画像化システムに適用可能である。

先ず、例示的超音波システムの一般動作について、図１を参照して説明する。本発明は、そのような超音波システムによって生成された超音波画像を使用するが、超音波画像を生成するための他の手法及びシステムが、当業者には明らかとなろう。

システムは、超音波を送信する及びエコー情報を受信するためのトランスデューサアレイ６を有する、アレイトランスデューサプローブ４を備える。トランスデューサアレイ６は、ＣＭＵＴトランスデューサ、ＰＺＴ又はＰＶＤＦなどの材料で形成された、圧電トランスデューサ、或いは、任意の他の適切なトランスデューサ技術を含む。本例では、トランスデューサアレイ６は、関心領域の２Ｄ平面又は３次元ボリュームのいずれかをスキャンする能力を有するトランスデューサ８の２次元アレイである。別の例では、トランスデューサアレイは、１Ｄアレイである。

トランスデューサアレイ６は、トランスデューサ要素による信号の受信を制御するマイクロビームフォーマ１２につながれる。マイクロビームフォーマは、米国特許第５，９９７，４７９号（Ｓａｖｏｒｄら）、第６，０１３，０３２号（Ｓａｖｏｒｄ）、及び第６，６２３，４３２号（Ｐｏｗｅｒｓら）に記載されたようなトランスデューサのサブアレイ（一般に「グループ」又は「パッチ」と称される）によって受信される信号の少なくとも部分的なビーム形成の能力を有する。

マイクロビームフォーマは、完全に任意選択である、ということに留意すべきである。さらに、システムは、マイクロビームフォーマ１２がつながれ得る及び送信モードと受信モードとの間でアレイを切り替える、送信／受信（Ｔ／Ｒ）スイッチ１６を含み、マイクロビームフォーマが使用されない及びトランスデューサアレイがメインシステムビームフォーマによって直接操作される場合に、メインビームフォーマ２０を高エネルギ送信信号から保護する。トランスデューサアレイ６からの超音波ビームの送信は、ユーザインターフェース又は制御パネル３８のユーザの操作から入力を受信することができる、Ｔ／Ｒスイッチ１６及びメイン送信ビームフォーマ（図示せず）によってマイクロビームフォーマにつながれたトランスデューサコントローラ１８によって方向付けられる。コントローラ１８は、送信モードの間にアレイ６のトランスデューサ要素を動かす（直接に又はマイクロビームフォーマを介して）ために配置された送信回路を含むことができる。

典型的な１行ごとの画像化シーケンスにおいて、プローブ内のビーム形成システムは、以下のように動作する。送信中に、ビームフォーマ（実装形態に応じて、マイクロビームフォーマ又はメインシステムビームフォーマである）は、トランスデューサアレイ、又はトランスデューサアレイのサブアパーチャをアクティブにする。サブアパーチャは、トランスデューサの１次元の線又はより大きいアレイ内のトランスデューサの２次元パッチである。送信モードにおいて、アレイ、又はアレイのサブアパーチャによって生成された超音波ビームの焦点合わせ及び導光は、後述のように制御される。

対象から後方散乱エコー信号を受信したとき、受信信号は、受信信号を整列させるために、受信ビーム形成を受け（後述のように）、そして、サブアパーチャが使用されている場合、サブアパーチャは、次いで、たとえば１つのトランスデューサ要素によって、偏移される。偏移されたサブアパーチャは、次いで、アクティブにされ、そのプロセスは、トランスデューサアレイのトランスデューサ要素のすべてがアクティブにされるまで、繰り返される。

各線（又はサブアパーチャ）について、最終的超音波画像の関連線を形成するために使用される合計受信信号は、受信期間中に所与のサブアパーチャのトランスデューサ要素によって測定された電圧信号の和になる。以下のビーム形成プロセスの後に続く、結果として生じる線信号は、通常は、無線周波数（ＲＦ）データと称される。様々なサブアパーチャによって生成された各線信号（ＲＦデータセット）は、次いで、最終的超音波画像の線を生成するための追加処理を受ける。経時的な線信号の振幅の変化は、深度を有する超音波画像の輝度の変化の一因となり、そこで、高い振幅ピークは、最終的画像内の明るい画素（又は画素のコレクション）に対応することになる。線信号の始まりの近くに出現するピークは、浅い構造からのエコーを表すことになり、一方、線信号において次第に後に出現するピークは、対象内の増加する深度における構造からのエコーを表すことになる。

トランスデューサコントローラ１８によって制御される機能のうちの１つは、ビームが導光される及び焦点を合わされる方向である。ビームは、トランスデューサアレイの前方に真っすぐに（トランスデューサアレイと直角に）、又はより広い視野の異なる角度で、導光される。送信ビームの導光及び焦点合わせは、トランスデューサ要素作動時間の関数として制御される。

２つの方法が、一般超音波データ取得において区別され得る：平面波画像化及び「ビーム導光された」画像化。２つの方法は、送信（「ビーム導光された」画像化）及び／又は受信モード（平面波画像化及び「ビーム導光された」画像化）におけるビーム形成の存在によって、区別される。

先ず、焦点合わせ機能を見ると、同時にすべてのトランスデューサ要素をアクティブにすることによって、トランスデューサアレイは、それが対象を通過するときに分岐する平面波を生成する。この場合、超音波のビームは、焦点の合わされないままである。トランスデューサのアクティブ化への位置依存の時間遅延を導入することによって、ビームの波面を所望のポイントにおいて収束させること、集束帯と称される、が可能である。集束帯は、横ビーム幅が送信ビーム幅の半分未満であるポイントとして、定義される。このようにして、最終的超音波画像の横方向分解能が改善される。

たとえば、最外部の要素で始まり、トランスデューサアレイの中央要素で終わって、時間遅延が、トランスデューサ要素に逐次にアクティブにさせる場合、集束帯が、中央要素に従って、プローブから所与の距離において形成される。プローブからの集束帯の距離は、それぞれのその後の一連のトランスデューサ要素アクティブ化の間の時間遅延に応じて、変化することになる。ビームが、集束帯を通過した後、ビームは、遠方場画像化領域を形成して、分岐し始めることになる。トランスデューサアレイの近くに位置する集束帯について、超音波ビームは、最終的画像におけるビーム幅アーチファクトをもたらして、遠望場において急速に分岐することになる、ということに留意されたい。通常は、トランスデューサアレイと集束帯との間に位置する、近接場は、超音波ビームにおける大きな重複により、殆ど詳細を示さない。したがって、集束帯のロケーションを変化させることは、最終的画像の品質の有意な変化につながり得る。

送信モードでは、超音波画像が複数の集束帯（異なる送信焦点をそれぞれが有する）に分けられない限り、１つのみの焦点が定義される、ということに留意されたい。

加えて、対象内からエコー信号を受信したとき、受信焦点合わせを実行するために、前述のプロセスの逆のことを実行することが可能である。言い換えれば、入力信号が、トランスデューサ要素によって、信号処理のためにシステムに渡される前の電子時間遅延を条件として、受信される。これの最も単純な例は、遅延及び和のビーム形成と称される。時間の関数としてトランスデューサアレイの受信焦点合わせを動的に調整することが可能である。

ここでビーム導光の機能を見ると、トランスデューサ要素への時間遅延の正確な適用を通して、超音波ビームがトランスデューサアレイを出るときの超音波ビームに関する所望の角度を伝えることが可能である。たとえば、アレイの反対側で終わるシーケンス内の残りのトランスデューサが後に続くトランスデューサアレイの第１の側でトランスデューサをアクティブにすることによって、ビームの波面は、第２の側の方へ曲げられることになる。トランスデューサアレイの垂線に対する導光角度のサイズは、その後のトランスデューサ要素アクティブ化の間の時間遅延のサイズに依存する。

さらに、導光されたビームの焦点を合わせることが可能であり、そこで、各トランスデューサ要素に適用される合計時間遅延は、焦点合わせと導光との両方の時間遅延の和である。この場合、トランスデューサアレイは、段階的アレイと称される。

それらのアクティブ化のためにＤＣバイアス電圧を必要とする、ＣＭＵＴトランスデューサの場合、トランスデューサコントローラ１８は、トランスデューサアレイのＤＣバイアス制御４５を制御するために、つながれ得る。ＤＣバイアス制御４５は、ＣＭＵＴトランスデューサ要素に適用されるＤＣバイアス電圧を設定する。

トランスデューサアレイの各トランスデューサ要素について、通常はチャネルデータと称される、アナログ超音波信号が、受信チャネルを経由してシステムに入る。受信チャネルにおいて、部分的にビーム形成された信号が、マイクロビームフォーマ１２によってチャネルデータから製作され、次いで、メイン受信ビームフォーマ２０に渡され、そこで、トランスデューサの個々のパッチからの部分的にビーム形成された信号は、無線周波数（ＲＦ）データと称される、完全にビーム形成された信号に結合される。各ステージで実行されるビーム形成は、前述のように実施される、又は付加的機能を含む。たとえば、メインビームフォーマ２０は、１２８チャネルを有し、それぞれのチャネルは、部分的にビーム形成された信号を数十又は数百のトランスデューサ要素のパッチから受信する。このようにして、トランスデューサアレイの数千のトランスデューサによって受信された信号は、単一のビーム形成信号に効率的に貢献することができる。

ビーム形成された受信信号は、信号プロセッサ２２につながれる。信号プロセッサ２２は、受信されたエコー信号を様々なやり方、たとえば：帯域通過フィルタリング、デシメーション、Ｉ及びＱ構成要素分離、並びに、組織及びマイクロバブルから返される非線形（基本的周波数のより高い調波）のエコー信号の識別を可能にするために別々の線形及び非線形信号に作用する、高調波信号分離で処理することができる。信号プロセッサはまた、スペックル低減、信号合成、及びノイズ除去などの付加的信号強調を実行する。信号プロセッサにおける帯域通過フィルタは、エコー信号が、増加する深度から受信されるときに、より高い周波数帯からより低い周波数帯に移り、それによって、通常は解剖学的情報のないより大きな深度からのより高い周波数におけるノイズを除去する、それの通過帯域を有する、追跡フィルタになり得る。

送信のための及び受信のためのビームフォーマは、異なるハードウェアで実施され、異なる機能を有することができる。もちろん、受信器ビームフォーマは、送信ビームフォーマの特性を考慮するように設計される。図１では、分かりやすくするために、受信器ビームフォーマ１２、２０のみが示されている。完全なシステムでは、送信マイクロビームフォーマ、及びメイン送信ビームフォーマを有する送信チェーンも存在することになる。

マイクロビームフォーマ１２の機能は、アナログ信号進路の数を減らすために、信号の初期組合せを提供することである。これは、通常は、アナログドメインにおいて実行される。

最終的ビーム形成は、メインビームフォーマ２０において行われ、通常はデジタル化の後である。

送信及び受信チャネルは、固定周波数帯を有する同じトランスデューサアレイ６を使用する。しかしながら、送信パルスが占有する帯域幅は、使用される送信ビーム形成に応じて変化することができる。受信チャネルは、トランスデューサ帯域幅全体をキャプチャすることができ（これは伝統的手法である）、或いは、帯域通過処理を使用することによって、それは、所望の情報を含む帯域幅（たとえば、メイン高調波の高調波）のみを抽出することができる。

ＲＦ信号は、次いで、Ｂモード（すなわち、輝度モード、又は２Ｄ画像化モード）プロセッサ２６及びドップラプロセッサ２８につながれる。Ｂモードプロセッサ２６は、体内の構造物、たとえば、器官組織及び血管、の画像化のために受信超音波信号で振幅検出を実行する。１行ごとの画像化の場合、各線（ビーム）は、関連ＲＦ信号によって表され、関連ＲＦ信号の振幅は、Ｂモード画像内の画素に割り当てられることになる輝度値を生成するために使用される。画像内の画素の正確なロケーションは、ＲＦ信号に沿った関連振幅測定のロケーション及びＲＦ信号の線（ビーム）の数によって決定される。そのような構造体のＢモード画像は、高調波又は基本的画像モードにおいて、或いは米国特許第６，２８３，９１９号（Ｒｏｕｎｄｈｉｌｌら）及び米国特許第６，４５８，０８３号（Ｊａｇｏら）に記載されたその両方の組合せにおいて、形成される。ドップラプロセッサ２８は、動いている物質、たとえば、画像フィールドにおける血液細胞の流れの検出のために組織の動き及び血流から生じる時間的に別個の信号を処理する。ドップラプロセッサ２８は、通常は、体内の選択されたタイプの材料から返されたエコーを渡す又は拒否するように設定されたパラメータを有するウォールフィルタを含む。

Ｂモード及びドップラプロセッサによって作り出された構造及び運動信号は、スキャンコンバータ３２及び多断面リフォーマッタ４４につながれる。スキャンコンバータ３２は、所望の画像フォーマットでそれらが受信された空間的関係性においてエコー信号を配置する。言い換えれば、スキャンコンバータは、円筒座標系から画像ディスプレイ４０に超音波画像を表示するのに適したデカルト座標系にＲＦデータを変換するように作用する。Ｂモード画像化の場合、所与の座標における画素の輝度は、そのロケーションから受信されるＲＦ信号の振幅に比例する。たとえば、スキャンコンバータは、２次元（２Ｄ）セクタ型フォーマット、又はピラミッド形の３次元（３Ｄ）画像にエコー信号を配置する。スキャンコンバータは、Ｂモード構造画像を画像フィールド内のポイントにおける運動に対応する色と重ね合わせることができ、そこでは、ドップラ推定ベロシティが所与の色を生み出すことになっている。結合されたＢモード構造画像及び色ドップラ画像は、構造画像フィールド内の組織の運動及び血流を描写する。多断面リフォーマッタは、体のボリューム領域における共通の平面内のポイントから受信されたエコーを、米国特許第６，４４３，８９６号（Ｄｅｔｍｅｒ）に記載のように、その平面の超音波画像に変換することになる。ボリュームレンダラ４２は、米国特許第６、５３０、８８５号（Ｅｎｔｒｅｋｉｎら）に記載のように所与の基準点から見たものとしての投影された３Ｄ画像に３Ｄデータセットのエコー信号を変換する。

２Ｄ又は３Ｄ画像は、画像ディスプレイ４０に表示するためのさらなる強調、バッファリング及び一時記憶のために画像プロセッサ３０にスキャンコンバータ３２、多断面リフォーマッタ４４、及びボリュームレンダラ４２からつながれる。画像化プロセッサは、ある種の画像化アーチファクトを最終的超音波画像から取り除くように適合される：たとえば強い減衰器又は屈折によって引き起こされる、音響シャドーイング、たとえば弱い減衰器によって引き起こされる、後部強調、たとえば高反射性組織インターフェースが近接近に位置する、反射アーチファクト、などである。加えて、画像プロセッサは、最終的超音波画像のコントラストを改善するために、ある種のスペックル低減機能を扱うように適合される。

画像化のために使用されることに加えて、ドップラプロセッサ２８によって生み出された血流値及びＢモードプロセッサ２６によって生み出された組織構造情報は、定量化プロセッサ３４につながれる。定量化プロセッサは、器官のサイズ及び在胎期間などの構造的測定結果に加えて、血流のボリューム流量などの異なる流れ条件の測定結果を生み出す。定量化プロセッサは、ユーザ制御パネル３８からの入力、たとえば、測定が行われるべき画像の解剖学的組織内のポイントを受信する。

定量化プロセッサからの出力データは、ディスプレイ４０上の画像での測定グラフィックス及び値の再生のために、及び表示デバイス４０からのオーディオ出力のために、グラフィックスプロセッサ３６につながれる。グラフィックスプロセッサ３６はまた、超音波画像と表示するための画像の重ね合わせを生成することができる。これらの画像の重ね合わせは、患者名、画像の日付及び時間、画像化パラメータなどの情報を識別する標準を含むことができる。これらを目的として、グラフィックスプロセッサは、ユーザインターフェース３８からの入力、たとえば、患者名、を受信する。ユーザインターフェースはまた、トランスデューサアレイ６からの超音波信号の生成、したがって、トランスデューサアレイ及び超音波システムによって作り出される画像を制御するために、送信コントローラ１８につながれる。コントローラ１８の送信制御機能は、実行される機能のうちの１つに過ぎない。コントローラ１８はまた、（ユーザによって与えられる）操作のモードと、受信器アナログ－デジタルコンバータにおける対応する必要とされる送信器構成及び帯域通過構成とを考慮する。コントローラ１８は、固定状態を有する状態機械になり得る。

ユーザインターフェースはまた、多断面再フォーマット（ＭＰＲ）画像の画像フィールドにおいて定量化された測定を実行するために使用される複数のＭＰＲ画像の平面選択及び制御のために多断面リフォーマッタ４４につながれる。

本開示は、複数の超音波画像、たとえば、前述の超音波画像によって生成されたものを分析するためのプロセスに関する。本プロセスは、超音波画像のプロセッサ、たとえば、グラフィックスプロセッサ３６、画像プロセッサ３０及び／又は別個の／専用の処理システム（図示せず）、によって、実行される。

図２は、本発明の一実施形態によって採用される手法を理解するためのワークフロー２００を概略的に示す。ワークフローは、処理システムによって実施されるプロセスを表す。

ワークフローは、すべて同分解能である、複数の超音波画像２１０を処理することを含む。複数の超音波画像は、個人の超音波画像、特に、個人の同じ解剖学的エリアの超音波画像、である（そして、たとえば、大幅に動かない画像化プローブで、同じ又は類似の視点から好ましくは取得される）。好ましくは、それぞれの超音波画像は、２次元画像であるが、これは必須ではない（たとえば、３Ｄ超音波画像が使用され得る）。

超音波画像は、超音波画像化プロセスを使用して、たとえば、前述のそれなどの超音波画像化システムを使用して、取得される任意の画像である。いくつかの例では、「最初の」超音波画像は、方法／ワークフローを目的として超音波画像として使用される前に、追加処理（たとえば、ニューラルネットワークの１つ又は複数のフィルタ及び／又は１つ又は複数の層を使用する）を受ける。したがって、超音波画像は、特徴空間画像又は画像空間超音波画像である。

特により好ましい例において、複数の超音波画像は、超音波画像のシーケンス、たとえば、異なる時間に同じ超音波画像化プローブによってキャプチャされた超音波画像のシーケンス、を含む。好ましくは、シーケンスの超音波画像の順番は、それぞれの超音波画像がキャプチャされた時間に依存する。たとえば、シーケンスは、超音波ビデオの順次的フレームを含む。

複数の超音波画像のそれぞれは、それぞれの超音波画像内の関心領域を識別するために、プロセス２２０で、処理される。関心領域は、個人の潜在的病害を有する／含むエリアを表す超音波画像の一部分又は断片である（すなわち、超音波画像全体ではない）。

病害は、腫瘍、できもの、膿瘍、小瘤、腫れ、こぶ、潰瘍、或いは、個人の損傷、疾患又はけがに由来する任意の他の適切な特徴のうちの１つ又は複数を含む。超音波画像内の関心領域を識別するための機構は、当業者によく知られており、たとえば、機械学習法、エッジ検出アルゴリズム、画像セグメンテーション技法などを使用する。

関心領域２３０は、次いで、グループ化又はクラスタ化プロセス２４０を受け、そこで、類似の関心領域がグループ化される。言い換えれば、関心領域が、関心領域の類似性に基づいて、（たとえば、関心領域の１つ又は複数のグループに）グループ化される。関心領域の類似性は、関心領域の内容の類似性に基づいて、定義される。特に、関心領域は、それらが個人の同じ潜在的病害を識別すると予測される場合に、グループ化される。

１つのみの例が示された、関心領域の各グループ２５０は、次いで、関心領域のグループが個人の病害を含む可能性を示す予測インジケータ２７０を生成するために、機械学習法を使用して、プロセス２６０で処理される。

予測インジケータ２７０は、グループが病害を含む可能性を表すバイナリ、カテゴリ又は数値データを含む。一例として、予測インジケータは、関心領域のグループが病害を含むか否かの予測を示すバイナリインジケータ（たとえば、「０」又は「１」）である。もう１つの例として、予測インジケータは、関心領域のグループが病害を含む確率（すなわち、数値インジケータ）である。数値インジケータは、０から１、０から１０、１から１０、０から１００又は１から１００の尺度である（他の例が使用され得るが）。さらにもう１つの例として、予測インジケータは、関心領域のグループが病害を含む可能性のカテゴリ指示を示すカテゴリインジケータである（たとえば、「可能性がある」、「可能性が低い」、「可能性が非常に高い」、「可能性があるでも可能性が低いでもない」など）。

それにより、提案される手法は、複数の超音波画像を使用して病害が個人に存在する可能性を予測するための２つのステッププロセスを実行する。それぞれの超音波画像は、潜在的に病害を描写する超音波画像のエリア／部分（すなわち、病害を含む候補である領域）である、関心領域を識別するために、個別に／個々に処理される。類似の関心領域は、次いで、グループ化され、次いで、グループが病害を示す可能性に応答して予測インジケータを生成するために、機械学習法を使用して処理される。グループを使用する処理は、グループ内の各関心領域が病害を示すという提案（この提案は、各個々の超音波画像の処理によって提言される）を効果的に確認又は拒否する。

提案される手法は、次に超音波画像の部分のグループを処理する前に、各個々の超音波画像を個別に処理することによって、同時にすべての超音波画像の複雑な、高強度の処理を実行する必要がない。発明者は、提案される手法は、病害可能性の予測の高い精度／正確性を保ちながら、偽陽性率を有意に減らすことができる、ということを認識した。

ワークフローの概観が説明されたので、例示的ワークフローの実行の仕方のより完全な例を、以下に提供する。

図３は、一実施形態による方法３００を示す。方法３００は、一実施形態による処理システムによって実施される。

方法３００は、個人の複数の超音波画像を取得するステップ３１０を含む。複数の超音波画像は、図２を参照して前述されたとおりである。説明を容易にするために、図解された超音波画像は、画像空間超音波画像である（すなわち、各画素は、個人の解剖学的組織の一部分を直接に表す）。

具体的には、超音波画像は、好ましくは２次元超音波画像であるが、３Ｄ超音波画像の使用も可能である。好ましくは、複数の超音波画像は、たとえば、別の超音波画像の順次に後又はそれより遅くの超音波画像が、他の超音波画像よりも後の時点にキャプチャされた、超音波画像のシーケンスを含む。いくつかの例では、複数の超音波画像は、超音波ビデオからの（順次的）フレームを含む。

超音波画像は、次いで、超音波画像において１つ又は複数の関心領域を識別することを含むステップ３２０で処理され、各関心領域は、個人における潜在的病害を有するエリアを表す超音波画像の一部分である。したがって、関心領域は、より大きい超音波画像の一部分であり、それ自体、超音波画像である。

超音波画像において関心領域を識別するためのプロセスは、当業者には容易に明らかとなり、機械学習法（たとえば、ニューラルネットワーク又はナイーブベイズ分類子）を用いて、個人における潜在的病害を含む又は表す超音波画像の任意の部分を識別する。通常は、関心領域は、個人の潜在的病害を含むエリア又はボリュームの外側境界を定義する四角形又はボリューム（の座標）を識別することによって、定義される。したがって、各関心領域は、超音波画像の特定の部分である。

好ましくは、各関心領域は、超音波画像のサイズの０．４倍以下、たとえば、超音波画像のサイズの０．２５倍以下、である。関心領域が小さいほど、関心領域のグループを処理する計算の複雑性の低減（超音波画像全体と比較した）は大きくなる。

関心領域は、任意の重複関心領域（たとえば、同じ潜在的病害を識別する同じ超音波画像内の関心領域）を取り除く又は削除するために、処理される。これは、たとえば、それぞれの超音波画像を処理して、所定の量よりも多く互いに重複する（たとえば、所定の値を超えるＩｏＵ値を有する）その超音波画像内の任意の関心領域を識別することと、重複する関心領域のうちの１つ又は複数を削除することとによって、実行される。削除された関心領域は、それが潜在的病害を識別する最も低い信頼性／確率に関連する関心領域である。関心領域が機械学習手法を使用して識別される場合、そのような信頼性／確率値が、生成され得るが、他の技法もまた、そのような信頼性／確率測度を生成する。

方法３００は、次いで、識別された関心領域をグループ化又はクラスタ化して関心領域のグループを形成するステップ３３０を実行する。このグループ化は、互いに対する識別された関心領域の類似点に基づいて、実行される。各グループは、同じ潜在的病害を描写する／有する関心領域を含むように適合／構成される。

ステップ３３０は、異なる超音波画像の関心領域をリンクする又は関連付けることによって、実行される。リンクされた関心領域は、同じ潜在的病害を含むと信じられる関心領域である。ステップ３３０は、次いで、リンクされた関心領域を、たとえば、それらがある特定の要件を満たす場合に、単一のグループにグループ化又はクラスタ化することによって、関心領域のグループを作成又は形成する。

好ましくは、各グループは、任意の所与の超音波画像からの関心領域を１つだけ含む（すなわち、それぞれの超音波画像は、１つまでの関心領域を超音波画像のグループに与えることができる）。

複数の超音波画像が超音波画像のシーケンスを含む、特により好ましい例において、関心領域の各グループは、順次に隣接する超音波画像からの関心領域のみを含む。言い換えれば、それぞれの関心領域（関心領域の特定のグループ内の）は、別の関心領域（関心領域の特定のグループ内の）を含む超音波画像に順次に隣接する超音波画像（超音波画像のシーケンス内の）に由来する。

この手法は、関心領域のグループは、関心領域のシーケンスを効果的に構築するために、互いに順次に隣接する（すなわち、その直前又は直後の）超音波画像からの関心領域を比較することによってのみ、構築され得る、ということを意味する。これは、関心領域のグループのその後の分析に役立つ追加情報を提供して、互いに順次に関連している（たとえば、時間的に関連している）関心領域のグループを生み出す。

この手法は、互いに順次的である関心領域のグループを提供する、その後の分析のための有用なコンテキスト情報を提供する（たとえば、シーケンス情報は、病害が存在するか否かに関する重要なインジケータを提供するので）、及び、行われる必要がある比較の数を減らす（順次に隣接する超音波画像内の関心領域だけが互いに比較されればよいので）という利点を有する。

言い換えれば、ステップ３３０は、リンクされた関心領域を単一のグループにグループ化することによって関心領域のグループを作成する前に、順次に隣接する超音波画像の関心領域をリンクする又は関連付けることによって、実行される。

第１のシナリオでは、ステップ３３０は、それらのそれぞれの超音波画像内の各関心領域によって占有されるエリアの間の相対重複に基づいて異なる関心領域の間の類似性測度を決定することを含む。この類似性測度が、何らかの所定の閾値を超える場合、関心領域は、グループ化される（又は、互いにリンク／関連付けされる）。

たとえば、超音波画像内の１つの関心領域によって占有されるエリアと別の超音波画像内の別の領域によって占有されるエリアとの間の重複のサイズは、類似性測度として使用される。重複のサイズは、ＩｏＵ評価メトリックを使用して、決定される。この手続きは、異なる超音波画像にわたる関心領域の間のリンクを確立することができる。

単に一例として、第１の超音波画像の関心領域が、座標（Ｘ_１，Ｙ_１，Ｘ_２，Ｙ_Ｘ）によって定義される四角形であり、そして、第２の超音波画像の関心領域が、座標（Ｘ_３，Ｙ_３，Ｘ_４，Ｙ_４）によって定義される四角形である、シナリオを考察する。座標情報は、各関心領域の適用範囲又は広がりを定義するので、この座標情報は、２つの関心領域の間の相対重複のサイズを識別するために使用することができ、ＩｏＵ測度を計算するために使用することができる。

いくつかの例では、ＩｏＵ測度が、何らかの所定の値より大きい、好ましくは０．４以上、たとえば、０．５以上、たとえば、０．６以上である場合、関心領域は、十分に類似している（すなわち、同じグループに配置するのにふさわしい）と考えられる。

第２のシナリオにおいて、ステップ３３０は、各関心領域に関連するメタデータに基づいて関心領域をグループ化することを含む。

このメタデータは、たとえば、関心領域の特徴を表す。関心領域の例示的メタデータには、関心領域のロケーション（たとえば、関心領域の中心の位置）、ジオメトリ（たとえば、形状）及び／又は関心領域のサイズ、関心領域の信頼値（たとえば、関心領域が潜在的病害を含む信頼性又は確率を表す値－機械学習方法によって提供されるとき）及び／又は関心領域の特徴マップが含まれる。

関心領域の特徴マップは、１つ又は複数のフィルタ、たとえば、畳み込みフィルタなど、を関心領域に適用することによって生成されたマップである。具体的には、特徴マップは、ニューラルネットワークの１つ又は複数の層を関心領域に適用することによって生成されるマップである。特徴マップという用語の意味は、機械学習分野ではよく知られている。

いくつかの例では、分類子、たとえば、機械学習法、は、各関心領域を処理して関心領域を複数の分類のうちの１つに分類する。関心領域のグループは、たとえば、同じ分類を有する関心領域のみを含む。

好ましくは、前述の手法の組合せが、使用される。具体的には、１シーケンスの複数画像で形成された複数の画像について、関心領域の各グループは、関心領域のグループの１つ又は複数の他の関心領域を提供する１つ又は２つの他の超音波画像に順次に隣接する及び所定の量より多く互いに重複する超音波画像からの関心領域のみを含む。

方法３００は、機械学習法を使用して、関心領域のグループを処理して、関心領域のグループが個人の病害を含む可能性を示す予測インジケータを生成するステップ３４０を含む。

特に好ましい例において、機械学習法の出力は、領域のグループが病害を含む予測される可能性に応答して変化するデータ、たとえば、バイナリインジケータ、カテゴリインジケータ及び／又は数値インジケータの形の、である。

このプロセスは、それらが個人の病害を含む又は描写するか否かを予測するために、複数の、類似の関心領域を使用する。これは、たとえば、単一の超音波画像だけを単純に処理することと比べて、予測インジケータを生成するための付加的な、コンテキスト的関連情報を提供する。それによって、この手法は、付加的コンテキスト情報が提供されるので、病害が存在する可能性（関心領域の各グループにおける）を決定するためのより正確な機構を実現することができる。

関心領域のグループを使用することによって、提案される手法はまた、計算的に費用の高い及び／又は有意な付加的記憶空間を必要とする、フルサイズ超音波画像のグループを処理する必要がない。

提案される手法はまた、２つのステッププロセスを使用して病害の存在の可能性を識別又は予測するので、個人の病害を識別する精度を高める、ということにさらに留意されたい。

ステップ３４０は、関心領域の各グループについて、関心領域を処理して関心領域のシーケンスを生成することを含む。関心領域が、（各関心領域の）最初の超音波画像が最初にキャプチャされた時間に基づいて、順次に順序付けられるように、シーケンスは、時系列である。領域のシーケンスは、次いで、予測インジケータを生成するために、機械学習法を使用して処理される。

関心領域のシーケンスの順番は、超音波画像のシーケンスから取得された場合、関心領域がそこから取得される超音波画像のシーケンスの順番と一致する。

関心領域のこのシーケンスは、「チューブ」又は「チューブレット」と呼ばれ、同じ潜在的病害を描写するシーケンス（画像の部分）を効果的に表す。たとえば、「チューブ」は、潜在的病害の周りに適合するサイズ／形状の、潜在的病害のビデオ（超音波画像化プローブによって画像化されたエリア全体のビデオではなくて）を表す。

いくつかの例では、関心領域のシーケンスは、関心領域のグループ内の関心領域の積み重ねを含む。たとえば、各関心領域が、２次元画像である場合、関心領域のシーケンスは、互いの上への２次元画像の単純な積み重ねを表す３Ｄボリュームを含む。

さらに言い換えれば、関心領域のグループは、機械学習法を使用して分類又は処理され得る、「ボリューム」として効果的に扱われる。すなわち、関心領域のシーケンスは、積み重ねられた関心領域を含む単一データ構造体、すなわち、すべての関心領域の組合せ、である。

機械学習法への入力は、領域自体のグループ、関心領域のシーケンス、及び／又は関心領域のグループから導出された他のデータ、たとえば、関心領域のグループを処理すること（たとえば、ニューラルネットワークの１つ又は複数のフィルタ又は層を使用すること）によって導出された１つ又は複数の特徴マップである。

機械学習アルゴリズムは、入力データを処理して出力データを作り出す又は予測する任意のセルフトレーニングアルゴリズムである。ステップ３４０を目的として、入力データは、関心領域のグループから導出されたデータを含み、出力データは、関心領域のグループが個人の病害を含む可能性を示す予測インジケータを含む。

本発明で使用するための適切な機械学習アルゴリズムは、当業者には明らかとなろう。適切な機械学習アルゴリズムの例には、決定木アルゴリズム及び人工ニューラルネットワーク（たとえば、ＣＮＮ、ＲＮＮＳ及び／又はＬＳＴＭ）が含まれる。ロジスティック回帰、サポートベクタマシン又はナイーブベイジアンモデルなどの他の機械学習アルゴリズムは、適切な代替案である。

人工ニューラルネットワーク（又は、単純に、ニューラルネットワーク）の構造は、人間の脳から発想を得ている。ニューラルネットワークは、層で構成され、各層は、複数のニューロンを含む。各ニューロンは、数学演算を含む。具体的には、各ニューロンは、単一のタイプの変形の異なる重み付けをされた組合せ（たとえば、同タイプの変形、シグモイドなどの、しかし異なる重み付けを有する）を含む。入力データを処理するプロセスにおいて、各ニューロンの数学演算が、入力データに実行されて、数値出力を生み出し、ニューラルネットワーク内の各層の出力は、順次に次の層に供給される。最終的層は、出力を提供する。

機械学習アルゴリズムをトレーニングするための方法は、よく知られている。通常は、そのような方法は、トレーニング入力データエントリ及び対応するトレーニング出力データエントリ（一般に「グラウンドトゥルース」データとラベル付けされる）を含む、トレーニングデータセットを取得することを含む。初期化された機械学習アルゴリズムが、予測された出力データエントリを生成するために、各入力データエントリに適用される。予測された出力データエントリと対応するトレーニング出力データエントリとの間のエラーは、機械学習アルゴリズムを修正するために使用される。このプロセスは、エラー集束まで繰り返すことができ、予測された出力データエントリは、トレーニング出力データエントリに十分に類似している（たとえば、±１％）。これは、監督された学習技法として一般に知られている。

たとえば、機械学習アルゴリズムが、ニューラルネットワークから形成される場合、各ニューロンの数学演算（の重み付け）は、エラー集束まで修正される。ニューラルネットワークを修正する知られている方法には、勾配降下、誤差逆伝播アルゴリズムなどが含まれる。

トレーニング入力データエントリは、関心領域のグループから導出された実例データ（たとえば、グループ自体）に対応する。トレーニング出力データエントリは、グループに病害が存在する可能性に関する実例予測（バイナリ、カテゴリ又は数値データの形の）に対応する。

方法３００はさらに、予測インジケータに応答して、表示デバイスに、視覚的に知覚可能な出力を表示するステップ３５０を含む。

したがって、ステップ３５０は、予測インジケータ（領域の各グループの）に応答する視覚的に知覚可能な出力を提供するように、すなわち、個人に病害が存在する予測された可能性を示すように、表示デバイスを制御することを含む。インジケータは、たとえば、個人に病害が存在するという予測された確率及び／又はバイナリインジケータ（たとえば、「病害有」又は「病害なし」を示す）を提供する。

もう１つの例として、予測インジケータが、予測された確率を示す数値であり、予測インジケータのうちの１つが、所定の値を超える値を有する場合、次いで、ステップ３５０は、病害が存在するということを示すように表示デバイスを制御することを含む。

いくつかの例では、視覚的に知覚可能な出力は、グループの関心領域うちのどれ（もしあれば）が病害を含む又は描写すると予測されるかを示す。これは、たとえば、領域の各グループについて又は病害を含む可能性があると考えられる（たとえば、何らかの所定の閾値を超える可能性を有する）それらの領域のみについての、確率及び／又はバイナリインジケータの形をとる。

いくつかの例では、関心領域のグループのうちの少なくとも１つが病害を含むと決定することに応答して、たとえば、予測される可能性が、何らかの閾値を超える場合、ステップ３５０は、患者の表示された超音波画像に関して識別された病害の位置を識別することと、病害の識別された位置に応答して、表示された超音波画像に、視覚的に知覚可能な出力（たとえば、注釈、四角形など）を重ね合わせることとを含む。識別される病害の位置は、表示された超音波画像内の関心領域の（病害を含むと予測された関心領域のグループの）位置である。具体的には、視覚的に知覚可能な出力は、超音波画像において、病害の位置、たとえば、病害を含むと予測された関心領域の位置にある、を覆う。超音波画像は、病害の存在が識別された関心領域のグループの部分を形成した関心領域を含んだ複数の超音波画像のうちの１つである。

いくつかの例では、すべての関心領域が、識別され（たとえば、それぞれのマーカを使用して）、病害を含むと予測された（たとえば、何らかの所定の値より大きな確率を有する）関心領域のグループ内の関心領域が、ハイライト又は他の方法で、たとえば、特定の色、パターンなどで、強調される。これは、エリアが病害を含む可能性の自動化された予測に関する情報も提供しながら、（たとえば、診断目的で）病害が発見され得る潜在的エリアの識別の容易さの向上を促進する。

いくつかの例では、領域が対象の病害を含む予測された可能性に関する情報は、たとえば、シェーディング又は透明性調整技法を使用して、表示される。

いくつかの例では、表示デバイスは、複数の超音波画像のうちのそれぞれの超音波画像を順次に表示する（たとえば、超音波ビデオを再生する）ように構成される。ステップ３５０は、関心領域のグループのうちの少なくとも１つが病害を含む可能性があると決定すること（たとえば、予測インジケータを処理することによって）に応答して、現在表示されている超音波画像に関して現在表示されている超音波画像に関連する関心領域（関心領域のグループからの）の位置の視覚的に知覚可能な出力を提供するように表示デバイスを制御することを含む。このようにして、関心領域のグループに関連する病害の相対位置は、順次に追跡又は表示することができる。

図２及び図３は、複数の超音波画像のそれぞれが画像空間超音波画像を含む相対的に単純な実施形態を説明するために、使用される。

しかしながら、前述のように、いくつかの例では、複数の超音波画像のそれぞれが、特徴空間超音波画像、すなわち、特徴空間画像、を含む。特徴空間画像は、さらなる処理、たとえば、ニューラルネットワークの１つ又は複数のフィルタ及び／又は層を使用して特徴空間画像を生成すること、を受けた「従来の」超音波画像（「画像空間画像」）である。

いくつかの例では、これらの特徴空間画像は、前述の超音波画像と同一の方式で処理される。しかしながら、他の例では、いくつかの追加処理は、関心領域（のグループ）を識別するために、実行される。

図４は、複数の超音波画像が複数の特徴空間画像４１０を含むプロセスを示し、それぞれの特徴空間画像は、（たとえば、特徴抽出プロセス４３０の結果として）それぞれの画像空間（超音波）画像４２０から導出される。

したがって、複数の超音波画像を取得するステップは、複数の特徴空間超音波画像を取得することを含む。これは、複数の画像空間超音波画像を、特徴抽出プロセス４３０において、処理して特徴空間超音波画像を生成することによって、実行される。

超音波画像において関心領域を識別するプロセスは、特徴空間超音波画像において関心領域を識別するための特徴空間超音波画像の独立処理を含む。

代替の一実施形態において、このプロセスは、画像空間超音波画像４２０において関心領域を識別するプロセス４３５を含む。これは、任意の前述の機構を使用して、たとえば、機械学習法を使用して、実行される。特徴空間超音波画像内の関心領域は、次いで、点線を使用して概略的に示されているように、画像空間超音波画像内の関心領域に基づいて決定される。具体的には、特徴空間超音波画像と画像空間超音波画像との異なるエリアの間の空間的関係性は、知られており、したがって、特徴空間超音波画像内の関連関心領域を識別するために使用され得る。

したがって、超音波画像において関心領域を識別するステップは、最初の超音波画像内の識別された関心領域に基づいて複数の超音波画像において関心領域を識別する前に、（複数の超音波画像を導出するために使用される）最初の超音波画像において先ず関心領域を識別することによって関心領域を識別することを含む。

複数の（特徴空間）超音波画像内の関心領域は、次いで、プロセス４４０においてグループ化されて、関心領域の１つ又は複数のグループ４６０を生成する。

関心領域の各グループ４５０は、関心領域のグループが病害を含む可能性を示す予測インジケータ４７０を生成するために、機械学習法を使用して処理される。これは、任意の前述の手法を使用して、実行される。

図５は、関心領域をグループ化するための例示的プロセスを示す。

具体的には、図５は、超音波画像のシーケンス内の連続的超音波画像（たとえば、超音波ビデオの順次的フレーム）から関心領域をグループ化するためのプロセスを示す。

図５は、すべて２次元の及び同じ分解能を有する、３つの超音波画像を示す。具体的には、第１の超音波画像５１０、第２の超音波画像５２０及び第３の超音波画像５３０が存在する。超音波画像は、たとえば超音波ビデオのフレームを表す、超音波画像の（時間的）シーケンスを形成する。

それぞれの超音波画像は、たとえば機械学習法を使用して、関心領域を識別するために処理されてある。これらの関心領域は、四角形を使用して図５には概略的に示されている。

関心領域は、次いで、グループ化される。これは、関心領域の類似性（隣接するフレームにおける）の測度が何らかの所定の閾値を超える場合に、隣接するフレームにおいて関心領域をリンクする又は関連付けることによって、実行される。類似性の測度は、領域間の重複のサイズ（すなわち、領域が同じ超音波画像に位置した場合の重複のサイズ）を領域間の和集合のサイズで割ることによって計算される、ＩｏＵ値である。

関心領域のシーケンスは、次いで、異なる超音波画像のリンクされた関心領域を選択することによって、取得される。具体的には、関心領域の取得されたシーケンスは、それぞれの超音波画像からの１つまでの関心領域を含むシーケンスであり、そこで、シーケンス内の各関心領域は、シーケンス内の別の関心領域とリンクされる又は関連付けられる。シーケンスの関心領域の順番は、それらが取得されたシーケンスの超音波画像の順番と一致する。

関心領域のシーケンスに配置された領域は、次いで、削除され（関心領域のシーケンスは保存されて）、プロセスは繰り返される。このプロセスは、図５の矢印を使用して、概略的に示されている。

図６は、一実施形態による処理システム６００を示す。処理システムは、全体的超音波画像化システム６０との関連で、説明されている。

処理システム６００は、個人の複数の超音波画像を取得するように構成される。複数の超音波画像は、たとえば、超音波画像を生成するように構成されたメモリ６１０及び／又は超音波スキャナ６２０から取得される。

処理システム６００はまた、超音波画像において関心領域を識別するように構成され、各関心領域は、個人における潜在的病害を有するエリアを表す超音波画像の一部分である。

処理システム６００はまた、関心領域の類似点に基づいて、異なる超音波画像から、関心領域をグループ化し、機械学習方法を使用して関心領域の各グループを処理して、関心領域のグループが個人の病害を含むか否かを予測するように構成される。

処理システム６００はまた、各予測インジケータに応答して、表示デバイスに、視覚的に知覚可能な出力を表示するように構成される。

前述したように、処理システム６００は、必要な変更を加えて、本明細書に記載の任意の方法を実施するように適切に適合され、当業者は、容易に処理システム６００を適切に適合させることができる。

図７は、個人が１つ又は複数の病害を有するか否かを予測するための提案される手法の効果を示す。

第１のグラフ７１０は、知られている２次元ニューラルネットワーク分析手法を使用して２次元超音波画像内で病害を正確に識別するための再現度精度曲線（ｘ軸に再現度、ｙ軸に精度）を示す。このグラフは、ベンチマークデータを使用して、作り出された。具体的には、第１のグラフ７１０は、高速ＲＣＮＮを使用する病害検出アルゴリズムの使用の結果として生じた再現度精度曲線を示す。

第２のグラフ７２０は、本明細書で開示される手法を実行することによって複数の超音波画像内で病害を正確に識別するための再現度精度曲線を示す。第２のグラフ７２０は、第１のグラフ７１０を生み出すために使用された同じベンチマークデータを使用して、生み出された。

第１の及び第２のグラフ７１０、７２０は、同じ縮尺比（たとえば、ｘ軸に関して０．０から１．０、ｙ軸に関して０．０から１．０）である。

提案される手法では、より高い精度値が、より高いレベルの再現度について取得され得、逆もしかりである。言い換えれば、我々の発明の改良は、コンテキストが単純な静止画像では存在しない、（たとえば、超音波ビデオを使用する）開示される方式での複数の超音波画像において提供される追加コンテキストの使用が、病害の偽陽性検出及び／又は欠落検出を減らすことができる、ということを示す。

図８は、本開示の実施形態による、処理システム６００の概略図を示す。図示するように、処理システム６００は、（データ）プロセッサ８６０、メモリ８６４、及び通信モジュール８６８を含む。これらの要素は、たとえば１つ又は複数のバスを介して、互いに直接又は間接通信している。

プロセッサ８６０は、中央処理装置（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、コントローラ、ＦＰＧＡ、別のハードウェアデバイス、ファームウェアデバイス、又は、本明細書に記載の動作を実行するように構成されたその任意の組合せを含む。プロセッサ８６０はまた、計算デバイスの組合せ、たとえば、ＤＳＰ及びマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連動した１つ又は複数のマイクロプロセッサ、或いは任意の他のそのような構成として実施される。いくつかの実施形態において、プロセッサは、たとえば１セットの分散されたプロセッサの形を成す、分散型処理システムである。

メモリ８６４は、キャッシュメモリ（たとえば、プロセッサ８６０のキャッシュメモリ）、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、リードオンリメモリ（ＲＯＭ）、プログラマブルリードオンリメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ソリッドステートメモリデバイス、ハードディスクドライブ、他の形の揮発性及び不揮発性メモリ、或いは異なるタイプのメモリの組合せを含む。一実施形態において、メモリ８６４は、非一時的コンピュータ可読媒体を含む。非一時的コンピュータ可読媒体は、命令を記憶する。たとえば、メモリ８６４、又は非一時的コンピュータ可読媒体は、プログラムコードがそこに記録されてあり、プログラムコードは、処理システム６００、又は処理システム６００の１つ若しくは複数の構成要素、特にプロセッサ８６０、に本明細書に記載の動作を実行させるための命令を含む。たとえば、処理システム６００は、方法７００の動作を実行することができる。命令８６６は、コード又はプログラムコードとも称される。「命令」及び「コード」という用語は、任意のタイプのコンピュータ可読ステートメントを含むと広義に解釈されるべきである。たとえば、「命令」及び「コード」という用語は、１つ又は複数のプログラム、ルーチン、サブルーチン、機能、手続きなどを指す。「命令」及び「コード」は、単一のコンピュータ可読ステートメント又は多数のコンピュータ可読ステートメントを含む。コードがそこに記録された、メモリ８６４は、コンピュータプログラム製品と称される。

通信モジュール８６８は、処理システム６００、ペネトレーションデバイス及び／又はユーザインターフェース（又は他のさらなるデバイス）の間のデータの直接又は間接通信を円滑化するための任意の電子回路及び／又は論理回路を含むことができる。その点で、通信モジュール８６８は、入力／出力（Ｉ／Ｏ）デバイスになり得る。いくつかの事例において、通信モジュール８６８は、処理回路６００及び／又はシステムの様々な要素（図６）の間の直接又は間接通信を円滑化する。

開示される方法は、好ましくはコンピュータ実施方法である、ということが理解されよう。そのようなものとして、コンピュータプログラムが、処理システム、たとえば、コンピュータ又は１セットの分散されたプロセッサ、で実行されるときに、任意の記載された方法を実施するためのコンピュータプログラムコードを含む、前記コンピュータプログラムの概念もまた、提案されている。

一実施形態によるコンピュータプログラムのコードの異なる部分、ライン又はブロックは、本明細書に記載の任意の方法を実行するために、処理システム又はコンピュータによって、実行される。いくつかの代替実装形態において、ブロック図又は流れ図に示された機能は、図に示された以外の順番で生じる。たとえば、連続して示された２つのブロックは、実際には、実質的に同時に実行され、又はそれらのブロックは、関連する機能性に応じて、逆の順番で時には実行される。

本開示は、プログラムがコンピュータ又は処理システムによって実行されるときにコンピュータ又は処理システムに本明細書に記載の任意の方法（のステップ）を実施させる命令を含む、コンピュータプログラム（製品）を提案する。コンピュータプログラム（製品）は、非一時的コンピュータ可読媒体に記憶され得る。

同様に、コンピュータ又は処理システムによって実行されるときにコンピュータ又は処理システムに本明細書に記載の任意の方法（のステップ）を実施させる命令を含む、コンピュータ可読（記憶）媒体もまた提案される。前述のコンピュータプログラム（製品）がそこに記憶されたコンピュータ可読データキャリアもまた提案される。前述のコンピュータプログラム（製品）を実施するデータキャリア信号もまた提案される。

開示される実施形態に対する変更形態が、図面、本開示、及び添付の特許請求の範囲の研究から、本請求の発明を実施する際に当業者によって理解され、もたらされる可能性がある。特許請求の範囲において、「含む」という単語は、他の要素又はステップを排除せず、単数形の要素は、複数形を排除しない。ある特定の測度が互いに異なる従属請求において述べられたという事実だけで、これらの測度の組合せが有利に使用され得ないということは示さない。

開示される方法は、好ましくはコンピュータ実施方法であり、適切な処理システムによって実施される。本明細書に記載の任意の方法が、本明細書に記載の任意の処理システムによって実施されるプロセスを実行するように適合されるのと同じように、本明細書に記載の任意の処理システムは、本明細書に記載の任意の方法を適切に実施するように適合される。

処理システムを有する計算デバイスで実行されるときに処理システムに本明細書に記載の任意の方法のステップのすべてを実行させるコンピュータプログラムコード手段を備えるコンピュータプログラム製品も提案される。

単一のプロセッサ又は他のユニットが、特許請求の範囲において述べられたいくつかの項目の機能を果し得る。コンピュータプログラムは、適切な媒体、たとえば、他のハードウェアの部分と共に又は他のハードウェアの部分として供給される光記憶媒体又はソリッドステート媒体、で記憶／分散され得るが、他の形でも、たとえば、インターネット又は他のワイヤード若しくはワイヤレス電気通信システムを介して、分散され得る。

ある特定の測度が相互に異なる従属請求において述べられたという事実だけで、これらの測度の組合せが有利に使用され得ないということは示さない。「適合された」という用語が、特許請求の範囲又は説明において使用される場合、「適合された」という用語は、「構成された」という用語と同等であることが意図されている。特許請求の範囲における任意の引用符号は、範囲を制限するものとして解釈されるべきではない。

Claims (15)

1. 個人が１つ又は複数の病害を有する可能性を予測するための処理システムであって、
   時系列の超音波画像を含む前記個人の複数の超音波画像を取得することと、
   各関心領域が、前記個人の潜在的病害を有するエリアを表す前記複数の超音波画像のうちの１つの超音波画像の一部分である、前記複数の超音波画像内の前記関心領域を識別することと、
   前記関心領域の類似点に基づいて、前記複数の超音波画像のうちの異なる超音波画像から、関心領域をグループ化することと、
   機械学習法を使用して関心領域の各グループを処理して、前記関心領域のグループが前記個人の病害を含む可能性を示す予測インジケータを生成することと
   を行う、処理システム。
2. それぞれの超音波画像が、２次元超音波画像である、請求項１に記載の処理システム。
3. 前記処理システムが、関心領域の各グループについて、
   前記関心領域のグループの前記関心領域を使用して、関心領域のシーケンスを生成することと、
   機械学習法を使用して、前記関心領域のシーケンスを処理して、前記関心領域のシーケンスが前記個人の病害を含む可能性を示す予測インジケータを生成することと
   を含むプロセスを実行することによって、前記関心領域の各グループを処理する、請求項１又は２に記載の処理システム。
4. 前記処理システムが、前記関心領域を積み重ねることを含むステップを実行することによって、前記関心領域のシーケンスを生成する、請求項３に記載の処理システム。
5. 前記処理システムが、第２の機械学習法を使用してそれぞれの超音波画像を処理して関心領域を識別することを含むプロセスを実行することによって、前記超音波画像において関心領域を識別する、請求項１から４のいずれか一項に記載の処理システム。
6. 前記複数の超音波画像が、超音波画像のビデオを含む、請求項１から５のいずれか一項に記載の処理システム。
7. 前記シーケンスの超音波画像の順番が、それぞれの超音波画像がキャプチャされた時間に依存する、請求項６に記載の処理システム。
8. 関心領域の各グループにおいて、各関心領域が、関心領域の同じグループ内の別の関心領域の超音波画像に順次に隣接する超音波画像に由来する、請求項６又は７に記載の処理システム。
9. 各関心領域が、前記超音波画像のサイズの０．２５倍以下である、請求項１から８のいずれか一項に記載の処理システム。
10. 前記処理システムが、各予測インジケータに応答して、表示デバイスに、視覚的に知覚可能な出力を表示する、請求項１から９のいずれか一項に記載の処理システム。
11. 前記処理システムが、少なくとも１つの予測インジケータが、関心領域の少なくとも１つのグループが病害を含む可能性があるということを示す場合に、
    患者の表示された超音波画像に関して前記識別された病害の位置を識別する、及び
    前記病害の前記識別された位置に応答して前記表示された超音波画像に視覚的に知覚可能な出力を重ね合わせる、
    請求項１０に記載の処理システム。
12. 前記処理システムが、
    異なる超音波画像からの異なる関心領域の間の類似性測度であって、超音波画像内の１つの関心領域によって占有された相対エリアと別の超音波画像の別の関心領域によって占有された相対エリアとの重複のサイズを表す前記類似性測度を決定することと、
    所定の閾値を超える２つの異なる関心領域の間の前記類似性測度に応答して２つの異なる関心領域を同じグループにグループ化することと
    を含むプロセスを実行することによって関心領域をグループ化する、請求項１から１１のいずれか一項に記載の処理システム。
13. 時系列の超音波画像を含む個人の複数の超音波画像を生成するための超音波スキャナと、
    前記複数の超音波画像に基づいて前記個人が１つ又は複数の病害を有する可能性を予測するための請求項１から１１のいずれか一項に記載の処理システムと
    を含む、超音波画像化システム。
14. 個人が１つ又は複数の病害を有する可能性を予測するためのコンピュータ実施方法であって、前記コンピュータ実施方法は、
    時系列の超音波画像を含む前記個人の複数の超音波画像を取得することと、
    各関心領域が、前記個人の潜在的病害を有するエリアを表す前記複数の超音波画像のうちの１つの超音波画像の一部分である、前記複数の超音波画像内の前記関心領域を識別することと、
    前記関心領域の類似点に基づいて、前記複数の超音波画像のうちの異なる超音波画像から、関心領域をグループ化することと、
    機械学習法を使用して、関心領域の各グループを処理して、前記関心領域のグループが前記個人の病害を含む可能性を示す予測インジケータを生成することと
    を含む、コンピュータ実施方法。
15. 処理システムを有する計算デバイスで実行されるとき、請求項１４による前記コンピュータ実施方法のステップのすべてを前記処理システムに実行させる、コンピュータプログラムコード手段を備える、コンピュータプログラム。