JP7701280B2 - 撮像ワークフローを合理化するための撮像時点での選択に関する即時アドバイスのための装置 - Google Patents

Description

本発明は、画像処理システム、該システムにおけるモバイル画像処理装置の使用、モバイル画像処理装置、画像処理の方法、コンピュータプログラム要素及びコンピュータ可読媒体に関する。

以前、医療撮像機器を操作したのは、主に放射線検査技師（Ｘ線、ＣＴ又はＭＲＩ）、超音波検査技師（超音波）又は核医学技術者（ＮＭ撮像）等の専門操作者であった。しかしながら、余り能力のないスタッフが検査を担当するという新しい傾向が現れている。このような慣行は、保護対策無しでは、臨床品質の低下につながる可能性がある。

操作者（本明細書においては、「ユーザ」と呼ばれる）は、機器の様式及び詳細に依存して、例えば：
（ｉ）患者の位置決め；
（ｉｉ）当該手順の進行中における撮像スキャンのパラメータの調整；
（ｉｉｉ）取得自体の実行；及び
（ｉｖ）当該撮像機器のコンソールにおける、結果としての画像の検討及び後処理；
を含む、検査全体を通しての一連の作業ステップを実行する責任を負う。

撮像検査が完了すると、現代の放射線科ワークフローの後続のステップは、通常、操作者が画像を保存のために画像データベース（ＰＡＣＳ）に電子的に送信し、同時に、当該検査の所見の解釈のために解読ワークリストを介して他の訓練された専門家（医学的に認定された放射線科医）に送信するように編成される。当該医療状況の緊急性及び医療機関固有の作業負荷の編成等の複数の要因に依存して、この解釈は、しばしば、非同期的に行われ、このことは、画像取得と画像の解釈との間に相当の時間遅延が存在することを意味する。

人工知能（ＡＩ）は、資格のある人員の不足を補うと同時に、臨床効率も向上させる可能性を有する。ＡＩシステムは、コンピュータで実施化されるシステムである。これらシステムは、検査中にユーザを支援する等のタスクを実行するためにトレーニングデータで事前にトレーニングされた機械学習アルゴリズムに基づくものである。このようなＡＩシステムは存在するが、これらは、通常、所与の医療施設のための所与の撮像機器又は病院ＩＴ設備に統合される。更に、これらのＡＩシステムは施設ごとに異なり得ると共に操作するのが容易でない場合もあり、又はＡＩ出力は常に容易に理解できるとは限らない。更に、例えば地方の地域におけるもの又は新興市場におけるもの等の幾つかの医療施設は、そのようなＡＩシステムを単に全く備えていない場合もある。

したがって、上述した欠陥の少なくとも幾つかに対処するシステム及び方法に対する需要が存在し得る。

本発明の目的は独立請求項の主題により解決され、更なる実施形態は従属請求項に含まれている。本発明による撮像（画像処理）システムの以下に説明される態様は、該システムにおけるモバイル画像処理装置の使用に、該モバイル処理装置に、画像処理の方法に、コンピュータプログラム要素に、及びコンピュータ可読媒体にも等しく当てはまることに留意されたい。

本発明の第１態様によれば、撮像（画像処理）システムが提供され、該撮像システムは：
撮像セッションにおいて患者の第１画像を取得するための検出器と、該第１画像をスクリーン上に表示するための表示ユニットとを有する医療撮像装置（本明細書では、「撮像器」とも呼ばれる）；及び
前記医療撮像装置とは異なるモバイル画像処理装置；
を有し、前記モバイル画像処理装置は：
前記第１画像の表現を受信するためのインターフェース；
前記表現を解析すると共に、前記撮像セッションの間に前記解析に基づいて医学的判断支援情報を算出するように構成された画像解析器；及び
前記判断支援情報を表示するためのオンボード表示装置；
を有する。

前記モバイル画像処理装置（「ＭＩＰ」）は、好ましくは、前記医療撮像装置とは別個で独立したものとする。前記インターフェースは、汎用的なものであり、異なる様式であっても一連の異なる医療撮像装置との相互運用性を提供する。該インターフェースは、前記撮像機器（装置）には組み込まれず、従って該モバイル装置は任意の撮像器とインターフェースされ得るという意味で独立である。前記ＭＩＰは、既存の撮像装置のアドオンとして使用できる。該ＭＩＰは撮像の時点で使用できる。具体的には、前記解析器は前記判断支援情報（「ＤＳＩ」）をリアルタイムで、即ち撮像セッションの間に算出するように構成される。撮像セッションは、患者が撮像装置内又は撮像装置に居る期間、又は少なくとも患者が、撮像装置が存在する検査室内に居る期間を含む。

実施形態において、前記モバイル画像処理装置のインターフェースは、前記撮像セッションの間に表示された前記第１画像を第２画像としてキャプチャするように構成された撮像要素を含み、該第２画像が前記表現を形成する。

言い換えれば、この実施形態は、前記表示された画像の直接画像化（「画像の画像」）に基づくものである。他の実施形態において、前記インターフェースは、撮像装置がそのように装備されている場合、ＮＣＦ又はブルートゥース（登録商標）として構成される。他の実施形態は、今まで通りＬＡＮ、ＷＬＡＮ等を含む。

実施形態において、前記判断支援情報は、ｉ）患者に関連する推奨されるワークフロー、ｉｉ）第１画像に関連する画質の指示情報、ｉｉｉ）医療所見の指示情報、ｉｖ）優先情報のうちの１以上を含む。

実施形態において、前記推奨されるワークフローは、前記患者に対して想定される以前に定義されたワークフローとは異なるものである。

実施形態において、前記画質に関する指示情報は、ａ）患者の配置、ｂ）コリメータの設定、ｃ）コントラスト、ｄ）解像度、ｅ）ノイズ、ｆ）アーチファクトの何れか１以上の指示情報を含む。

実施形態において、前記画像解析器は、事前にトレーニングされた機械学習要素を含む。

実施形態において、前記推奨されるワークフローは、自動的に又は前記モバイル装置のユーザインターフェースを介してユーザの命令を受信した後に実施される。

実施形態において、前記画像解析器は前記モバイル装置に完全に統合され、又は前記画像解析器の少なくとも一部が、通信ネットワークを介して前記モバイル装置に通信可能に結合可能なリモート装置に統合される。

実施形態において、前記モバイル画像処理装置は、ｉ）携帯電話、ｉｉ）ラップトップコンピュータ装置、ｉｉｉ）タブレットコンピュータの何れか１つを含む手持ち装置である。

他の態様においては、上記実施形態の何れか１つに従って前記システムで使用される場合の前記モバイル画像処理装置が提供される。

他の態様においては、上記実施形態の何れか１つによるシステムにおける前記モバイル画像処理装置の使用が提供される。

他の態様においては、患者に関連する医療情報を表す画像を取得できる撮像要素を含むと共に該画像に基づいて前記患者に関連する判断支援情報を算出するように構成された解析器ロジックを含むモバイル画像処理装置が提供され、前記撮像要素は該撮像要素のオートフォーカスモジュールと連携する画像認識モジュールを含み、該認識モジュールは前記撮像要素の視野内の少なくとも１つの長方形物体を認識するように構成される。

実施形態において、前記解析器ロジックは、例えば、マルチコアプロセッサ、ＧＰＵ又はその一部等の並列コンピューティング用に構成されたプロセッサ回路において実施化される。

前記画像解析器はシステムオンチップ（ＳｏＣ）回路に含まれ得る。

他の態様においては、画像処理の方法が提供され、該画像処理の方法は：
医療撮像装置の検出器により、画像セッションにおいて患者の第１画像を取得するステップ；
前記第１画像をスクリーン上に表示するステップ；
前記医療撮像装置とは異なるモバイル画像処理装置により、前記第１画像の表現を受信するステップ；
前記表現を解析すると共に、撮像セッションの間に該解析に基づいて医学的判断支援情報を算出するステップ；及び
前記判断支援情報をオンボード表示装置上に表示するステップ；
を有する。

他の態様においては、コンピュータプログラム要素が提供され、該コンピュータプログラム要素は、少なくとも１つの処理ユニットにより実行されると該処理ユニットに前記方法を実行させるように適合される。

他の態様においては、前記プログラム要素を記憶したコンピュータ可読媒体が提供される。

本明細書で言及される「ユーザ」とは、当該撮像手順に管理的又は組織的な態様で少なくとも部分的に関与する医療人員である。

「患者」とは、撮像される人、又は獣医の状況においては動物（特に哺乳類）のことである。

「機械学習（「ＭＬ」）要素」とは、ＭＬアルゴリズムを実施する任意のコンピューティングユニット又は装置である。ＭＬアルゴリズムは、例（「トレーニングデータ」）から学習することができる。学習、すなわち、成績尺度により測定可能なタスクのＭＬ要素による成績は、通常、トレーニングデータにより向上する。一部のＭＬアルゴリズムは、トレーニングデータに基づいて適応されたＭＬモデルに基づくものである。

図１は、撮像装置のブロック図を示す。 図２は、実施形態で想定され、図１の構成で使用され得るモバイル画像処理装置のブロック図である。 図３は、実施形態で想定されるモバイル画像処理装置の使用例を示す。 図４は、位置決め装置と組み合わせて使用されているモバイル画像処理装置を示す。 図５は、モバイル画像処理装置用の位置決め装置の種々の実施形態を示す。 図６は、提案されたモバイル画像処理装置が使用され得る通信ネットワークの実施形態を示す。 図７は、提案されたモバイル画像処理装置が使用され得る通信ネットワークの実施形態を示す。 図８は、提案されたモバイル画像処理装置が使用され得る通信ネットワークの実施形態を示す。 図９は、提案されたモバイル画像処理装置が使用され得る通信ネットワークの実施形態を示す。 図１０は、画像処理のフローチャートを示す。 図１１は、機械学習モデルを示す。

以下、本発明の例示的な実施形態を、図面（縮尺通りではない）を参照して説明する。

図１を参照すると、該図は医療又は臨床設備において想定される構成ＡＲの概略ブロック図を示している。しかしながら、以下の説明は必ずしも医療分野に限定されるものではない。

ＧＰ一般診療所、診療所、病院又はその他等の医療施設において、患者ＰＡＴは受付デスクＣＤにおいて手続きを受ける。患者ＰＡＴは、既に治療計画ＰＬが割り当てられているか、又は治療計画ＰＬが受付デスクＣＤにおいて割り当てられる。治療計画ＰＬは、当該患者に関して実行されるべき複数の医療手順を規定する。このような手順の１つのステップは、診断又は治療目的のための撮像を含み得る。撮像は撮像装置ＩＡにより実行され得る。

撮像装置ＩＡは、透過又は放射撮像等の任意の方式のものであり得る。透過撮像には、例えば、ＣＴスキャナ又は他のものを使用して実行されるＸ線ベースの撮像が含まれる。磁気共鳴撮像ＭＲＩも想定され、超音波撮像も想定される。放射撮像には、ＰＥＴ／ＳＰＥＣＴ及びその他の核医学方式が含まれる。撮像を実行するために、患者ＰＡＴは、撮像装置ＩＡが配置されている撮像室ＩＲ（図４を参照）に導かれる。

撮像セッションの間において、患者の画像ＩＭが要求される。画像ＩＭは、好ましくはデジタル形式であり、医師の診断を支援できる。撮像セッションの間における正しい撮像を容易にするために、当該構成は撮像機ＩＡの撮像動作をサポートするためのコンピュータ化されたシステムＳＹＳを含む。ユーザＵＳ１は、必ずしも医学の学位を持つ医師である必要はなく、代わりに医療技術者又は少ない訓練のユーザであり得る。システムＳＹＳは、低いレベルの医療スキル、半熟練又は実地訓練中等のスタッフに対しても、当該撮像機（イメージャ）の安全で正しい使用を促す。

システムＳＹＳは、好ましくはモバイルの画像処理装置ＭＩＤを含み、該装置は、ユーザＵＳ１により、撮像セッションにおいて患者ＰＡＴの画像を正しく安全に取得するタスクを支援するように操作され得る。本明細書では「モバイル装置」ＭＩＤと呼ばれる装置ＭＩＤは、撮像装置ＩＡとは異なる別個のものである。以下で一層詳細に示されるように、モバイル装置ＭＩＤは、本明細書において「ソース画像」ＩＭと呼ばれる前記撮像装置により取得された画像のコピーＩＭ’を受信できる汎用インターフェースＩＦを含む。

モバイル装置ＭＩＤは、特に、コピー画像ＩＭ’を解析して、該モバイル装置ＭＩＤのオンボードディスプレイＯＤ上に表示できる判断支援情報を取得することを可能にする画像解析器要素ＩＡＺを含む。この情報は、例えば、ソース画像ＩＭが十分な品質のものであるかをユーザＵＳ１が評価するのを支援できる。該表示される情報は、更なるステップの提案を含むことができ、当該品質が劣っていることが分かった場合の再撮像の提案を含み得る。加えて又は代わりに、該情報は病状の存在を示し得、更に、事前に割り当てられた計画ＰＬを変更する提案を含み得る。モバイル装置ＭＩＤにより実行された解析に基づいて、計画ＰＬは、以下で更に詳細に説明されるように、適合又は変更され得る。

表示された上記判断支援情報に応じて、ユーザＵＳ１は、病院通信ネットワークＣＮを介してソース画像ＩＭをＰＡＣＳ等の画像格納部に転送することを決定できる。当該病院情報設備ＨＩＳは、通信ネットワークＣＮを介してアクセスできる他のデータベースＤＢ、サーバＳＶ又は他のユーザＵＳ２の他のワークステーションＷＳ２を含み得る。前記ソース画像を格納部に転送することに加えて又は代へて、該ソース画像は、例えば診断を確定するための解釈又は「解読」のために、ワークステーションＷＳ２における医師ＵＳ２に直接転送することもできる。他の例として、該医師はＰＡＣＳから画像を取り出すこともできる。前述したように、技術者ＵＳ１は、通常は、画像の解釈には関与しない。このタスクは、画像解読のトレーニングを受けた医学学位を持つ医師ＵＳ２に委ねられる。撮像機ＩＡのユーザＵＳ１は、モバイル装置ＭＩＤにより支援されて、自身の注意を十分な品質のソース画像ＩＭを正しくプロトコルに従って取得する際の技術的配慮のみに絞ることができる。そうすれば、医師ＵＳ２は正しい画像が取得されていると安心でき、該医師は自身の注意を画像の解釈に向けることができ、画像取得についての技術的側面により煩わされることがなくなる。

ここで、想定される構成ＡＲに一層詳細に目を向ければ、図１を引き続いて参照すると、撮像装置ＩＡは、一般的に、信号源ＳＳを含む。撮像セッションにおける画像取得の間において、信号源ＳＳは患者の組織と作用し合う問合せ信号を放出する。組織との相互作用の結果として、該信号は変化される。該変化された信号は、次いで、検出器ユニットＤにより検出される。取得回路は、強度等の該検出された信号をデジタル画像、即ちソース画像ＩＭに変換する。

画像取得全体にわたる当該撮像装置の撮像パラメータの調整及び全体的制御は、技術ユーザＵＳ１により静止コンピューティング装置を含み得るオペレータコンソールＯＣから実行される。オペレータコンソールＯＣは、撮像機ＩＡと同じ部屋ＩＲに配置でき、又は他の部屋に配置されてもよい。このオペレータコンソールは、該オペレータコンソールＯＣ及び撮像機ＩＡに関連付けられた表示装置（本明細書ではモニタＭＤと呼ばれる）に通信可能に結合されている。取得された画像は前記取得回路により、ユーザＵＳ１により操作可能なオペレータコンソールＯＣ内のコンピューティングユニット（ワークステーション）ＷＳ１に転送される。該オペレータコンソールは、ネットワークＣＮを介してＨＩＳに通信可能に結合できる。

取得されたソース画像ＩＭは、メインモニタＭＤに表示できる。このことは、該ソース画像が正しいかどうかをユーザＵＳ１が大まかに確認することを可能にする。以前は、当該画像が正しいとユーザＵＳ１が感じた場合、該ソース画像又は時系列で取得された複数のソース画像（動画）は、ＰＡＣＳ等の意図する宛先に向かって通信ネットワークを介して病院の情報構造内へと転送され得、又は医師のワークステーションＷＳ２における該医師ＵＳ２に直接転送され得た。

本明細書で提案されるように、ユーザＵＳ１がソース画像ＩＭを病院設備に転送することを決定する前に、該ユーザＵＳ１はモバイル装置ＭＩＤを使用してソース画像を解析し、画質及び／又は医学的所見を確定することができる。該解析は、モバイル装置ＭＩＤがソース画像ＩＭのコピーＩＭ’を取得し、次いで該コピー画像ＩＭ’を解析することにより行われる。有利には、本明細書で提案されるように、モバイル装置ＭＩＤは病院情報構造とは、又は画像化装置ＩＡ、オペレータコンソール若しくはワークステーションとは統合され又は「組み合わされる（バンドルされる）」ことはない。むしろ、該モバイル画像処理装置ＭＩＤは、好ましくは受信されたコピーＩＭ’をそれ自体で解析して判断情報を算出すると共に同情報をユーザＵＳ１のために自身のディスプレイＯＤ上に表示できることが想定される別個の独立した単独ユニットである。このことは、全ての医療施設が撮像の時点で提供される画質評価機能を備えているわけではないので有利である。具体的には、所与の部門又は施設における所与の撮像装置において、画質評価機能は、ワークステーションＷＳ１又はオペレータコンソールに統合されているか又はいないかも知れない。ユーザＵＳ１は、巡回している、すなわち同じ医療病院の異なる部門に割り当てられているか、又は実際に地理的地域の異なる医療施設で働くように割り当てられている可能性があり、したがって、異なる製造者の及び／又は異なる方式にまたがる一連の異なる医療撮像装置を操作するように求められる。このような状況において、ユーザＵＳ１は自身のモバイル装置ＭＩＤを一貫して使用し、特定の設備とは関係なく、取得された画像を高信頼度で解析できる。このことは、施設間にまたがる一貫した医療品質を保証する。

次に図２のブロック図を参照すると、該図は想定されるモバイル画像処理装置ＭＩＤの更なる詳細を提供する。前述したように、モバイル装置ＭＩＤは、特定の撮像設備とは関係なくコピーＩＭ’を受信することを可能にする汎用インターフェースＩＮを含む。

一実施形態において、該汎用インターフェースＩＮは画像センサＳを備えたカメラとして構成され得る。モバイル装置ＭＩＤは、スマートフォン、タブレット、ラップトップ、ノートブック又は統合されたカメラを備える任意の他のコンピューティング装置として構成できる。

モバイル装置ＭＩＤは自身のオンボードディスプレイ（表示装置）ＯＤを有する。このディスプレイ上に、取得されたコピーＩＭ’が必要に応じて表示され得る。加えて又は代わりに、画像解析器ＩＡＺにより提供された判断情報を、オンボード表示装置ＯＤ上に表示できる。

画像解析器ＩＡＺは、人工知能により駆動され得る。特に、画像解析器ＩＡＺは事前にトレーニングされた機械学習要素又はモデルとして含まれ得る。画像解析器ＩＡＺは、モバイル装置ＭＩＤの処理ユニットで実行できる。該処理ユニットは、汎用回路及び／又はＧＰＵ等の専用コンピューティング回路を含むことができ、又はマルチコアマルチプロセッサの専用コアであり得る。好ましくは、該処理ユニットは並列計算用に構成される。この構成は、基礎となる機械学習モデルが畳み込みネットワーク等のニューラルネットワークである場合に特に有利である。このようなタイプの機械学習モデルは、ベクトル、行列又はテンソルの乗算により効率的に実施化できる。このようなタイプの算出は、並列コンピューティング設備において高速化できる。

モバイル装置ＭＩＤは、送信機ＴＸ及び受信機ＲＸを含む通信装置を更に有し得る。該通信装置は病院ネットワークＣＮとの接続を可能にする。想定される通信能力には、Ｗｉ－Ｆｉ（登録商標）、無線通信、ブルートゥース（登録商標）、ＮＦＣ又はその他の何れか１以上が含まれる。

好ましい実施形態において、当該モバイル装置はソース画像ＩＭのコピーＩＭ’を取得するための「画像の画像」機能を果たすように構成される。より具体的には、ユーザＵＳ１は、ソースＩＭが取得されてメインディスプレイ（メインモニタ）ＭＤ上に表示された後、モバイル装置ＭＩＤを操作して、メインディスプレイＭＤ上に表示されたソース画像ＩＭの画像をキャプチャする。このようにしてキャプチャされた画像が、コピー画像ＩＭ’を形成する。

このコピー画像ＩＭ’をユーザＵＳ１がキャプチャするのをより良く支援するために、画像センサＳは焦点及び／又は露出を自動的に調整するオートフォーカスＡＦ機能に結合され得る。更に好ましくは、該オートフォーカスＡＦは、ユーザＵＳ１がコピー画像ＩＭ’をメインモニタＭＤ上に表示されたソース画像ＩＭに良く焦点を合わせてキャプチャするのを支援する画像認識モジュールＩＲＭに結合される。この目的のために、画像認識モジュールＩＲＭは正方形又は長方形の物体（オブジェクト）の視野を捜すように構成される。このような視野が、メインモニタＭＤ上に表示された際のソース画像の予想される形状又は該メインディスプレイＭＤ自体の形状であるからである。自動物体形状認識による焦点合わせの間に、キャプチャされた物体の輪郭が視野内に示されて、ユーザＵＳ１を支援することができる。例えば、現在の視野内に表されるメインディスプレイＭＤの境界を表す正方形若しくは長方形の輪郭、又はメインディスプレイ上に現在表示されているソース画像ＩＭ自体の境界を視覚化できる。

正しいオブジェクトに焦点が合ったら、ユーザは仮想の又は実際のシャッターボタンＵＩを操作することにより画像のキャプチャを要求する。キャプチャされた画像、即ちコピーＩＭ’はモバイル装置ＭＩＤの内部メモリに保存される。該キャプチャされたコピー画像ＩＭ’は解析のために画像解析器ＩＡＺに転送される。無関係な情報を除外するために、キャプチャされた画像は解析前に自動的にトリミングされ、残りのピクセル情報がソース画像ＩＭによる医療情報のみを表すようにする。

コピーＩＭ’の解像度は、一般的に、ソース画像ＩＭのものより低く、画像センサＳの解像能力により決定される。この低下解像度を適切に考慮に入れるために、当該モバイル装置は、ユーザがソース画像の本来の解像度を入力できるようにする設定メニューを含み得る。上記センサの解像能力、したがって画像のコピーＩＭ’の解像度は、自動的に得ることができ、又はユーザにより供給できる。このデータ、すなわち２つの解像度又はそれらの比に基づいて、画像解析器ＩＡＺはコピー画像ＩＭ’を解析する際に上記低下解像度を計算に入れることができる。

ユーザが指定できる他の設定は、撮像の目的、特に、胸部、頭部、腕、脚又は腹部等の関心のある解剖学的構造の指定を含み得る。ユーザは、可能であれば、性別、年齢、体重等の当該患者の特定の一般的な患者特徴を入力することもできる。好ましくは、当該オンボードディスプレイはタッチスクリーン入力を受け入れるものとする。グラフィクＵＩ等のユーザインターフェースＵＩを上記オンボードスクリーン上に表示でき、該ＵＩを介してユーザは上記設定を適用し又はアクセスできる。

画像解析器ＩＡＺは、好ましくは２段階で画像を解析する。最初の段階においては、解像度、正しいコリメータ設定（存在する場合）等の画質が確定される。画像のコントラストも解析できる。画質が特定の予め定められた基準を満たしたら、当該画像は病状を確定するために更に解析できる。病状が見付かった場合、この病状は好ましくは優先付けレベルを伴ってオンボードディスプレイＯＤ上でフラグ付けされ得る。該優先付けレベルは、「低」、「中」若しくは「高」優先度の指定及び／又は当該病状の名前を含み得る。代わりに、より細かい又はより粗い優先レベルの等級付けも使用できる。例えば、結核等の感染症の存在が確認された場合、これは高い緊急性の事例としてフラグ付けされ得る。病状が見付からない場合は、「ＯＫ」等の確認指示情報が表示され得るか、又は単に表示がないものとする。加えて又は代わりに、現在の画質ＩＱが予め定められたＩＱ基準を満たしているかどうかをユーザに示すために、画質に関する指示情報が表示される。該予め定められたＩＱ基準は、ユーザが設定可能である。

したがって、当該画像解析器により算出される前記判断支援情報は、ＩＱ、医学的所見及び／又は関連する優先レベルの何れか１以上を含み得る。加えて又は代わりに、病状が見付かった場合、関連するワークフローが提案され、表示され得る。この提案されるワークフローは、現在割り当てられている計画ＰＬとは異なり得る。ユーザが提案されたワークフローの変更を受け入れる場合、該ユーザはユーザインターフェースＵＩを操作して、変更された計画ＰＬを開始及び登録できる。このことは、モバイル装置がネットワークＣＮに接続し、適切なメッセージを受付デスクＣＤ又は担当医ＵＳ２等に送信することにより実行できる。ＩＡＺによりＩＱが不足していることが分かった場合、オプションとして更新された撮像パラメータの提案を伴って、再取得（再撮像）が提案され得る。ユーザＵＳ１は、次いで、ＵＩを使用して再撮影を受け入れることができ、適切にフォーマットされたメッセージがオペレータコンソールＯＣに送信されて、撮像パラメータを調整し及び／又は画像の再取得を開始する。

モバイル装置ＭＩＤの上述した機能は、撮像能力を備えた汎用手持ち装置にソフトウェアをインストールすることにより実施化できる。このことは、ユーザＵＳ１が配信サーバ、「アプリストア」から自身の汎用手持ち装置に「アプリ」をダウンロードすることにより実行できる。

ユーザＵＳ１がソース画像のコピー画像ＩＭ’をキャプチャするのを更に良く支援するために、図４及び図５Ａ～図５Ｄの実施形態を参照して以下に説明されるように、モバイル装置ＭＩＤに対して位置決め装置ＰＤを設けることができる。しかしながら、このような位置決め装置ＰＤはオプションであり、ユーザは、図３に概略的な使用例で示されるように、画像ＩＭ’をキャプチャする際に、代わりに当該装置をメインスクリーンＭＤの前で単に保持することもできる。

先ず図４を参照すると、該図はユーザがモバイル装置ＭＩＤを当該メインディスプレイに対し横に並べて配置することを可能にする他の位置決め装置ＰＤを示している。このように、該位置決め装置はクリップ又は取付手段を備えた当該モバイル装置を受け入れるための架台（クレードル）を含み、該クレードルは上記クリップ又は取付手段によりメインモニタＭＤの例えば側縁又は上縁に取り付けることができる。したがって、ユーザＵＳ１はモバイル装置ＭＩＤ及びコンソールＣＯをハンズフリーで容易に操作することができ、メインディスプレイＭＤ及びモバイル装置ＭＩＤのオンボードディスプレイＯＤを明確に見ることができる。

次に図５Ａを参照すると、この図は位置決め装置ＰＤの他の実施形態を平面図で示している。この実施形態は、その一端にクリップ又は他の取付手段を備えたアームを含み得る。該アームは、上記取付手段を介してメインモニタＭＤの縁部に取り付けることができる。位置決め装置ＰＤは、他の端部において、撮像装置ＭＩＤを受けるための好ましくは関節式クレードルで終端している。このような位置決め装置を使用することはユーザにハンズフリー操作を可能にし、画像取得は、モバイル装置ＭＩＤを現在の視野で画像をキャプチャするように操作するための「キャプチャ」等の予め定められた発話をユーザが行うことによって、音声認識により起動できる。当該画像解析器は、モバイル装置が真正面からではなく、角度αの角度から画像をキャプチャする場合に予想される角度偏差αを考慮するロジックを含み得る。上記角度は、クレードルの関節のおかげで調整することができる。

前記カメラ装置は当該モバイル装置に完全に統合されることが好ましいが、このことは全ての実施形態において必ずしもそうである必要はなく、その場合、図５Ｂに示されるように当該モバイル装置ＭＩＤにブルートゥース（登録商標）又は他の任意の無線若しくは有線の通信手段を介して通信可能に結合された外部カメラ装置ＸＣが存在する。この実施形態において、該外部カメラはヘッドバンドＰＤを介してユーザの額に取り付けられ得る。この構成は、図４Ａにおけるように斜めからではなく、完全に正面からの画像をキャプチャすることを可能にする。この場合も、コピーＩＭ’の画像取得は、音声コマンドにより、又はユーザがモバイル装置ＭＩＤにより提供される実際の又は仮想のシャッターボタンを使用することにより開始できる。他の例として、図示されていないが、外部カメラＸＣは、適切に位置合わせされた、当該モニタの前の小さな三脚上に配置することもできる。

図５Ｃの位置決め装置ＰＤの実施形態も、画像を正面からキャプチャすることを可能にする。この実施形態において、このことは、ユーザの首の周りのネックバンド又はストラップを使用し、当該モバイル装置がコネクタ上で該ネックバンド又はストラップから吊り下がることにより達成される。この場合、使用時のモバイル装置はユーザＵＳ１の胸部上に配置され、特に装置ＭＩＤの前面カメラ（ある場合）を使用している場合、正面画像を取得できるようにし得る。背面カメラとは対照的に、前面（「自分撮り」）カメラは、物体の画像を装置ＭＩＤのユーザインターフェース又はオンボードディスプレイＯＤを該物体に向けてキャプチャできるカメラである。

図５Ｄによる他の実施形態においては、モバイル装置ＭＩＤの統合カメラのファインダに取り付けられるペリスコピック（潜望鏡）アダプタＰＡが設けられる。当該取り付けは例えば吸盤を介して行うことができる。ペリスコピックアダプタは、光路を斜めに向けることができる。撮像の間において、当該モバイル装置は、ファインダを上に向けて、オペレータコンソールの棚又は作業台等の表面上に平らに横たわり得る。

次に図６を参照すると、この図は当該モバイル装置が病院の情報技術設備においてどの様に使用され得るかの一例を示している。前記画像解析器ＩＡＺはモバイル装置ＭＩＤ内に完全に統合できるが、画像解析能力の少なくとも一部又は全部が、通信ネットワークＣＮのサーバＳＶの１つに、又は該ネットワークの一部ではないが該ネットワークに接続可能なリモートサーバ内に１つの機能として配置され得る「スマートエンジン（ｓｍａｒｔ ｅｎｇｉｎｅ）」ＳＥに外注される代替実施形態も想定される。例えば、ユーザは、前述したアプリをインストールした後、クラウドベースの画像解析器機能にアクセスするためのサブスクリプションを購入することができる。

上記モバイル装置ＭＩＤ自体は特定の病院設備又は撮像機ＩＡから独立しているが、ブルートゥース（登録商標）、ＬＡＮ、ＷＬＡＮ等の標準インターフェースを介した一定レベルの統合も可能であり、かくして、ユーザは受信された判断支援情報に基づいて、当該ソース画像ＩＭの病院ネットワークを介してのＰＡＣＳ、他のユーザＵＳ等への転送を当該モバイル装置から直接要求することもできる。

図６を更に参照すると、実施形態において、解析されたコピー画像ＩＭ’に割り当てられた優先度に応じて、複数の異なる読み取り（解読）キュー（待ち行列）ＲＱ及びＲＱ^－が確定され得る。次いで、対応するソース画像ＩＭが、これらのキューに分割される。具体的には、対応するコピー画像の解析に基づいて他よりも高い優先度が与えられたソース画像は優先度の高い読み取りキューＲＱに転送される一方、緊急性の低い画像は緊急性の低い画像の第２の画像キューＲＱ^－に格下げされる。これにより、画像読取者（解読者）ＵＳ２は自身のワークロードをより良好に管理できる。

具体的には、前記スマートエンジンによるコピー画像の解析に基づいて、対応するソース画像ＩＭはネットワークＣＮを介して撮像機ＩＡからＰＡＣＳに伝送される（経路決めされる）。この伝送は、ユーザによりモバイル装置ＭＩＤから要求でき、又はワークステーションＷＳ１若しくはコンソールＯＣから要求することもできる。前記スマートエンジンＳＥは、画像を解析し、判断支援情報を、提案された装置ＭＩＤに転送する。次いで、ユーザＵＳ１は、装置ＭＩＤからの確認フィードバックを介して、適切なＡＥ（アプリケーションエンティティ）タイトルを使用して、ソース画像を撮像機からＰＡＣＳに向け、対応するキューＲＱ及びＲＱ^－内へと転送することを許可することができる。

上記スマートエンジンは、ローカルなＩＴ設備ＳＶ内の適切なハードウェア上で動作するソフトウェア要素を含み得る。提案された装置ＭＩＤへのネットワーク接続は、必要に応じて、ＬＡＮ、ＷＬＡＮ又はその他を使用して実施できる。一実施形態においては、放射線医ＵＳ２が、実際の画像取得の後に有意に発生し得る画像解読時における画質フィードバックを供給することを可能にするフィードバック通信チャネルが存在する。

上記フィードバック情報及び／又は判断支援情報は、同一の又は別のデータベースＱＳに、統計情報として収集され、格納され得る。該統計情報ＳＴＡＴは、関連する医療施設又はそのような施設のグループで生成された画像のＩＱ（画質）の全体像を表す。この側面が図７に更に示されている。図７は、指定された期間にわたる画質状態の遡及的分析を目的とした、前記スマートエンジンと画質統計のデータベースとの統合の概要を示している。図７は、提案された装置ＭＩＤが画質監視の一層大きなシステムにどの様に統合され、例えば管理放射線科スタッフによる画質状態の遡及的分析を可能にするかを示している。このような評価は、品質改善イニシアチブの開始時のベースライン評価としてだけでなく、継続的に画質を監視するためにも評価され得る。画像はＰＡＣＳから取り出され、スマートエンジンで行われた品質測定は品質統計のデータベースに保存される。当該統計分析の中間結果は、自動的に、１回だけ若しくは定期的に、又はユーザの要求に応じてモバイル装置ＭＩＤに転送され、オンボードディスプレイのＯＤ上に表示され得る。ウェブサーバを、統計データＳＴＡＴのためのデータベース管理システムと共に、スマートエンジンをホストするために使用できる。

図８は、ユーザ適応型のトレーニング状況におけるスマートエンジンが統合されたネットワークの概要図である。画質情報及び関連する統計情報ＳＴＡＴが、指定された期間にわたり画質状態を遡及的に分析する目的で使用される。ユーザ適応型トレーニングが実施され得る。画質統計の分析が、特定のユーザＵＳ１に対する個々のトレーニングの推奨事項を識別し、これを、推奨されるシステムを介して展開できる。スマートエンジンサーバによりホストされる品質統計データベースＱＳは、ユーザ固有のトレーニングコンテンツＴＤに接続される。ユーザＵＳ１は、標準的なオフィスＰＣを使用し、実施形態においては、ウェブベースのシンクライアント等のクライアントを起動して、調整されたコンテンツＴＤにアクセスすることができる。モバイル装置ＭＩＤを上記シンクライアントと共に、トレーニングコンテンツにアクセスするためのアプリとして使用できる。実行されたトレーニングセッションは結果と共に、トレーニング記録データベースに保存される。該システムは、推奨（例えば、ユーザ固有の統計を検討したスーパーバイザ又はより経験の有る同僚からの）、トレーニング枠組み及びトレーニングコンテンツの何れか１以上を取り出すことを可能にするトレーニングユーザインターフェースを有する。実施形態においては、この情報にアクセスするためにウェブ／クライアントベースのレポートアプリケーションを使用できる。上記トレーニングコンテンツは、スマートエンジンＳＥ上に保存できる。該コンテンツは、例えば管理者によりカスタマイズ可能である。

図９は、臨床判断支援システムを展開するために当該スマートエンジンと統合したネットワークの概要図を示す。提案された装置ＭＩＤは、スマートエンジンにより実行され得る臨床判断支援アプリケーションを介しての画像ＩＭ（例えば、ＬＡＮを介して送信された）又はコピー画像ＩＭ’の解析の結果を表示するために使用される。具体的には、提案された装置ＭＩＤは、撮像の時点で臨床判断支援の結果を表示するために使用できる。コピー画像ＩＭ’又は取得されたソース画像ＩＭは、スマートエンジンサーバＳＥに送信され、臨床判断支援アプリケーションにより解析される。即時的フィードバックが、ユーザＵＳ１の注意を引くために、特に即座のワークフローステップが必要とされる高優先度の画像ＨＰに関してモバイル装置ＭＩＤに送信される。例えば、当該画像において感染症が検出された場合、感染拡大を防ぐために、患者は病院内の他の患者から直ちに隔離されねばならない。その他の優先度の低い画像ＬＰは、ＰＡＣＳに転送され、適切なフォルダ（ＡＥタイトル）に保存される。

解読キュー、統計的評価等の図６～図９の実施形態の原理は、リモートスマートエンジンなしの実施形態、すなわち、前記画像解析器が全体として又は部分的にモバイル装置ＭＩＤ自体で実施化される実施形態においても実施できることが理解されよう。

ここで、上述したシステムに関連する画像処理の方法のフローチャートを示す図１０を参照する。しかしながら、以下に説明する方法は、必ずしも上述したシステムに拘束されるものではないことが理解されよう。したがって、以下の方法は、それ自体で教示であると理解できる。

ステップＳ１０１０において、患者の第１デジタル画像（本明細書においては、ソース画像と呼ばれる）が、撮像セッションにおいて撮像装置により取得される。

オプションとしてのステップＳ１０２０において、上記ソース画像は第１表示ユニットの静止スクリーン上に表示される。

ステップＳ１０３０において、上記ソース画像の第２デジタル表現（「コピー」画像）が画像処理装置において受信される。該画像処理装置は、好ましくは手持ち装置等のモバイル式であり、前記医療撮像装置に結合されたワークステーション及び／又はオペレータコンソール等の静止コンピューティングユニットとは独立した別個のものである。

ステップＳ１０４０において、この第２画像、即ちコピー画像は解析され、撮像セッションの間に前記ソース画像に関連する医療支援情報を算出する。

ステップＳ１０５０において、上記の算出された医療判断支援情報は、当該モバイル処理装置のオンボード表示装置上に表示される。

オプションとしてのステップＳ１０６０においては、ユーザの応答が、当該モバイル装置のユーザインターフェースを介して受信される。該ユーザ応答は、表示された判断支援情報に関連して要求されるアクションを表す。ユーザは、例えば、患者に関連して実行されるように提案されたワークフローステップのうちの１以上を要求することができる。事前に割り当てられたワークフローとは異なり得る該要求されたワークフローステップ（又は複数のステップ）は、画像の再撮影、専門家に対する照会、又は目下の若しくは他の医療施設における他の医療機器の予約を含み得る。

更なるステップＳ１０７０において、上記ユーザの要求は、ネットワークを介して対応するメッセージを受信者に、例えば受付デスクＣＤに又は医師に関連された装置に送信することにより開始される。

他の例として、推奨された１以上の作業ステップは、インターフェースを介するユーザの確認なしに自動的に実行される。この実施形態においては、コピー画像が解析されると、変更されたワークフローが、対応するメッセージ又は制御信号を、撮像機ＩＡ、病院ＩＴ設備等を含む関連するネットワークアクタに送信することにより開始される。

実施形態において、コピー画像はモバイル装置の撮像要素（部品）によりキャプチャされる。該コピー画像は、「画像の画像」であり、言い換えると、ソース画像が前記撮像装置に関連するメイン表示装置上に表示されている間に該撮像要素により取得される該ソース画像の画像表現である。

上記撮像要素は、好ましくは当該モバイル撮像装置に統合されるが、代わりに、該モバイル装置に接続可能な外部撮像要素を使用することもできる。この「画像の画像」方式の代わりに、ソース画像のコピーを、ＮＦＣ、Ｗｉ－Ｆｉ（登録商標）、電子メール若しくはテキストメッセージへの添付等のインターフェース手段を介して、又はブルートゥース（登録商標）送信により当該モバイル撮像装置に転送することもできる。

前記算出される判断支援情報は、患者に関連する推奨されるワークフロー、ソース画像の画質の指示情報、並びに病状等の患者に関連する医学的所見の指示情報、及び好ましくは関連する優先情報のうちの１以上を含む。上記優先情報は医学的所見の緊急度を表す。

好ましくは、前記判断支援情報の算出は、２段階の順次処理フローで行われる。第１段階においては、画質が確定される。画質が十分であることが判明した場合にのみ、次いで、医学的所見及び／又はワークフローの提案のために画像が解析される。解析された画像に基づいて算出されたワークフローは、例えば、受付時において患者に元々関連付けられたワークフローとは異なり得る。このワークフローの変更は、例えば、元のワークフローにより以前には想定されていなかった予期しない病状が当該画像で検出された場合に必要とされ得る。例えば、患者が肝臓等の特定の臓器の癌治療を受ける予定である場合、特定のワークフローが想定される。しかしながら、コピー画像の解析により、患者が実際に肺炎を患っていることが偶然明らかになった場合、癌治療を進める前に先ず肺炎を治療するようにワークフローを変更する必要がある。

画質解析には、患者の体位取り（ポジショニング）、コリメータの設定（存在する場合）、コントラスト、解像度、画像ノイズ又はアーチファクトの評価が含まれ得る。これらの要因の幾つか又は全てが考慮されて適切な尺度の単一の画質スコアとして表され得るか、又は、各要因が異なる尺度の別個のスコアにより測定される。画質が十分な品質のものであることが分かった場合、実施形態において、当該モバイル装置のオンボード画面上では更なる表示は行われない。他の例として、好ましくは、画質が十分であると見なされる場合、示唆的なグラフィック表示が示される。例えば、示唆的な「刻み」記号が、緑等の適切な配色で表示され得る。画質が不十分であることが分かった場合、このことは、オンボードディスプレイ上にも赤い罰点等の示唆的な記号で示される。病状が見付かった場合、このことは、当該モバイル表示装置のオンボードディスプレイ上に適切なテキスト又は他の記号により示される。当該所見に基づいた推奨されるワークフローも、追加的に又は代わりに表示され得る。

実施形態において、当該モバイル装置のユーザインターフェースは、ユーザインターフェースを介してユーザ入力を受信するように構成され得る。そのようにして受信されたユーザ入力に応答して恐らく提案されるワークフローは、この旨の適切なメッセージを通信ネットワーク及びそれ以降を介して患者登録部ＣＤに送信することにより開始され得る。加えて又は代わりに、メッセージを所見と共に担当医師等の第２ユーザＵＳ２に送信でき、同医師を患者に注意を向けるように警告する。

前記判断支援情報は、ソース画像の表現が当該モバイル装置で受信された後、リアルタイムで供給されることが好ましい。特に、判断支援情報である解析の結果は、数秒又はその数分の１以内に利用可能にされるものとする。当該解析のために必要とされる計算は、当該モバイル装置の処理ユニットにより完全に実行され得、又は一層強力な処理能力を備えた外部リモートサーバに部分的に又は全体として外注され得る。

実施形態において、推奨されるワークフローは、解析に基づいて画像を再撮影するための推奨を含み得る。この場合、技術者ＵＳ１は、このアドバイスに従うことを決定できる。前記判断支援情報がリアルタイムで利用できるため、ユーザはこれにすぐに対応し、患者が撮像セッションの間において当該撮像装置内又は該撮像装置に未だ居る間に画像を再撮影できる。不十分な画像をネットワーク経由でＰＡＣＳ等の病院情報設備に不必要に送信することを回避できる。これにより、ネットワークトラフィック及びメモリスペースの浪費を減らすことができる。

実施形態において、解析ステップＳ１０４０は事前にトレーニングされた機械学習モデルに基づくものである。該機械学習モデルは、同じ病院又は他の病院の画像貯蔵部から取得できる過去の患者データで事前にトレーニングされている。好ましくは、過去の画像が経験豊富な臨床医により事前にラベル付けされている教師あり学習方式が使用される。ラベル付けは、過去の画像内に存在する病状に関する指示情報、提案されたワークフローに関する指示情報、及び画質が十分であると見なされるかどうかの指示情報の何れか１以上を含む目標データを提供する。

機械学習要素のトレーニングは、１回以上の反復で、トレーニングデータを受信するステップ、機械学習アルゴリズムを該トレーニングデータに適用するステップを含み得る。これの適用の結果として、事前にトレーニングされたモデルが取得され、展開に使用できる。展開時に、新しいデータ（例えば、トレーニングセットからではないコピー画像ＩＭ’）を事前にトレーニングされたモデルに適用して、この新しいデータに関する所望の判断支援情報を得ることができる。

表示され及びキャプチャされるソース画像は、必ずしも単一の静止画像である必要はなく、複数の連続して表示されるソース画像、すなわち、動画又はビデオも存在し得る。上記及び下記の全ては、そのようなビデオ及び動画に等しく適用されるものである。

ここで図１１を参照すると、該図には実施形態で使用され得るニューラルネットワークモデルが示されている。しかしながら、ニューラルネットワークの代わりに、サポートベクターマシン、決定木等の他の機械学習技術を使用することもできる。そうは言っても、ニューラルネットワーク、特に畳み込みネットワークは、特に画像データに関しては特に有益であることが分かっている。

具体的に見ると、図１１は畳み込みニューラルネットワークＣＮＮの概略図である。トレーニング後に得られる十分に構成されたＮＮ（以下で更に詳しく説明される）は、２つの空間、画像品質尺度、医学的所見及び治療計画の何れか１以上の画像並びに空間、の間の潜在マッピングの近似の表現と考えられる。これらの空間は、画像がＮｘＮの行列であり、Ｎがピクセル数であるような、潜在的に高次元の空間における点として表すことができる。前記ＩＱ尺度、医学的所見及び治療計画は、同様に、ベクトル、行列又はテンソルとしてエンコードできる。例えば、ワークフローは、各エントリがワークフローのステップを表す行列又はベクトル構造として実施化できる。学習タスクは、分類及び／又は回帰の１以上であり得る。画像の入力空間は、行列の時系列、すなわちビデオシーケンスを表すために４Ｄ行列を含み得る。

適切なトレーニングされた機械学習モデル又は要素は、このマッピングを近似しようとする。該近似は、それ自体が高次元空間を形成するパラメータがトレーニングデータに基づいて最適化手法で調整される、学習又はトレーニング処理で達成され得る。

更に詳細には、機械学習要素は、ニューラルネットワーク（「ＮＮ」）、特には畳み込みニューロネットワーク（「ＣＮＮ」）として実現され得る。図１１を引き続き参照すると、該図は、本明細書において実施形態で想定されるＣＮＮアーキテクチャを更に詳細に示している。

ＣＮＮは、２つのモード、即ち「トレーニングモード／フェーズ」及び「展開モード／フェーズ」で動作する。トレーニングモードにおいて、ＣＮＮの初期モデルは一群のトレーニングデータに基づいてトレーニングされ、トレーニングされたＣＮＮモデルを生成する。展開モードにおいて、事前にトレーニングされたＣＮＮモデルは、トレーニングしない新しいデータが供給され、通常の使用の間に動作する。トレーニングモードは１回限りの処理であり得、又は該モードは性能を向上させるために反復トレーニングフェーズで継続され得る。２つのモードに関して以上に述べられた全ては、如何なる種類の機械学習アルゴリズムにも当てはまり、ＣＮＮ、又は更に言えばＮＮに限定されるものではない。

ＣＮＮは層（レイヤ）に編成された相互接続された一群のノードを有する。ＣＮＮは出力層ＯＬ及び入力層ＩＬを含む。入力層ＩＬは、サイズ（行及び列）がトレーニング入力画像のものと一致する行列であり得る。出力層ＯＬは、前記画質尺度、医学的所見及び治療計画のために選択されたサイズと一致するサイズを有するベクトル又は行列であり得る。

ＣＮＮは好ましくは深層学習アーキテクチャを有する。すなわち、ＯＬとＩＬとの間に、少なくとも１つ、好ましくは２以上の隠れ層が存在する。隠れ層は、１以上の畳み込み層ＣＬ１、ＣＬ２（「ＣＬ」）、１以上のプーリング層ＰＬ１、ＰＬ２（「ＰＬ」）及び／又は１以上の全結合層ＦＬ１、ＦＬ２（「ＦＬ」）を含み得る。ＣＬは完全には結合されておらず、及び／又はＣＬから次の層への結合は異なり得るが、一般的に、ＦＬでは固定されている。

ノードには、当該ノードが前の層における前のノードからの入力にどの様に応答するかを表す数（「重み」と呼ばれる）が関連付けられる。

全ての重みの組は、当該ＣＮＮの構成を定義する。学習フェーズにおいて、初期構成は、トレーニングデータに基づいて、順逆（「ＦＢ」）伝搬若しくは他の最適化方式、又は他の勾配降下法等の学習アルゴリズムを使用して調整される。勾配は、目的関数のパラメータに関して取得される。

トレーニングモードは、好ましくは、教師あり、すなわち注釈付きトレーニングデータに基づくものとする。注釈付きトレーニングデータは、トレーニングデータ項目のペアを含む。各ペアについて、一方の項目はトレーニング入力データであり、他方の項目は、自身のトレーニング入力データ項目に正しく関連付けられていることが事前にわかっている目標トレーニングデータである。この関連付けは注釈を定義し、好ましくは人間の専門家により提供される。トレーニングペアは、過去の画像をトレーニング入力データとして含み、各トレーニング画像に関連付けられるものは、ＩＱの指示情報、当該画像により表される医学的所見の指示情報、優先レベルの指示情報、所与の画像に対して要求されるワークフローステップの指示情報の何れか１以上に対するラベルの目標である。

トレーニングモードにおいて、好ましくは、複数の斯様なペアが、出力がＯＬに現れるまでＣＮＮを介して伝播するように入力層に供給される。最初は、出力は一般的に目標とは異なる。最適化の間において、初期構成は、全てのペアに関して入力トレーニングデータと、それらの対応する目標との間の良好な合致を達成するように再調整される。上記合致は、目的関数又はコスト関数に関して定式化できる類似性測度により測定される。その目的は、パラメータを低いコストしか掛からない、すなわち良好な一致をもたらすように調整することである。

より具体的には、ＮＮモデルにおいては、入力トレーニングデータ項目が入力層（ＩＬ）に供給され、畳み込み層ＣＬ１、ＣＬ２及び恐らくは１以上のプーリング層ＰＬ１、ＰＬ２の縦続接続された群を通過され、最後に、１以上の全結合層に渡される。畳み込みモジュールは、特徴ベースの学習（例えば、患者の特性及びコンテキストデータの特徴の識別等）を担当する一方、全結合層は、例えば、治療に対する上記特徴の影響等の、より抽象的な学習を担当する。出力層ＯＬは、各目標の推定値を表す出力データを含む。

図１１による層の正確なグループ化及び順序は、単なる例示的実施形態であり、異なる実施態様では層の他のグループ化及び順序も想定される。また、各タイプ（すなわち、ＣＬ、ＦＬ、ＰＬの何れか）の層の数は、図１１に示す構成とは異なり得る。ＣＮＮの深さも、図１１に示すものとは異なり得る。上述した全ては、全結合古典パーセプトロンタイプのＮＮ（深層又は非深層）及び回帰ＮＮ等の、本明細書で想定される他のＮＮにも等しく適用されるものである。上記とは異なり、教師なし学習又は強化学習方式も、異なる実施形態において想定され得る。

本明細書で想定される注釈付き（ラベル付き）トレーニングデータは、構造化された形式に再フォーマットする必要があり得る。前述したように、注釈付きトレーニングデータは、ベクトル、行列又はテンソル（２より大きい次元のアレイ）として配列され得る。この再フォーマットは、現施設のＨＩＳの患者記録を介して動作し、一連の患者特性を引き出すスクリプトプログラム又はフィルタ等のデータプリプロセッサモジュール（図示せず）により実行され得る。

トレーニングデータセットが、初期的に構成されたＣＮＮに供給され、前述したようなＦＢ伝搬アルゴリズム等の学習アルゴリズムに従って処理される。トレーニングフェーズの終わりに、斯様にして事前にトレーニングされたＣＮＮを展開フェーズで使用して、新しいデータ、すなわちトレーニングデータに存在しない新しく取得されたコピー画像に対する前記判断支援情報を算出できる。

上述したステップの幾つか又は全ては、ハードウェア、ソフトウェア又はこれらの組み合わせで実施できる。ハードウェアでの実施は、適切にプログラムされたＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はハードワイヤードＩＣチップを含み得る。優れた応答性及び高スループットのために、ＧＰＵ又はＴＰＵ等のマルチコアプロセッサを使用して、特にＮＮのための機械学習モデルの上述したトレーニング及び展開を実施できる。

本明細書に開示される１以上のフィーチャは、コンピュータ可読媒体内に符号化された回路、及び／又はそれらの組み合わせとして／により構成及び実施され得る。回路は、ディスクリート及び／又は集積回路、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳＯＣ）、及びそれらの組み合わせ、並びにマシン、コンピュータシステム、プロセッサ及びメモリ、コンピュータプログラムを含み得る。

本発明の他の例示的実施形態においては、コンピュータプログラム又はコンピュータプログラム要素が提供され、該コンピュータプログラム又はコンピュータプログラム要素は、前記実施形態の１つによる方法の方法ステップを適切なシステム上で実行するように適合されることを特徴とする。

したがって、上記コンピュータプログラム要素は、本発明の実施形態の一部でもあり得るコンピュータユニットに格納され得る。このコンピューティング（コンピュータ）ユニットは、上述された方法のステップを実行し又は該ステップの実行を誘導するように適合され得る。更に、該ユニットは、前記装置の構成要素を動作させるように適合され得る。該コンピューティングユニットは、自動的に動作するように及び／又はユーザの命令を実行するように適合され得る。コンピュータプログラムは、データプロセッサの作業メモリにロードできる。したがって、該データプロセッサは、本発明の方法を実行するように装備され得る。

本発明のこの例示的実施形態は、最初から本発明を使用するコンピュータプログラム、及び更新により既存のプログラムから本発明を使用するプログラムに変化するコンピュータプログラムの両方をカバーする。

更に、上記コンピュータプログラム要素は、前述した方法の例示的実施形態の手順を満たすための全ての必要なステップを提供することができる。

本発明の更なる例示的実施形態によれば、ＣＤ‐ＲＯＭ等のコンピュータ可読媒体が提供され、該コンピュータ可読媒体は、前記段落により説明されたコンピュータプログラム要素を記憶している。

コンピュータプログラムは、他のハードウェアと一緒に又はその一部として供給される光記憶媒体又は固体媒体等の適切な媒体（特に、必ずしもそうである必要はないが、非一時的媒体）により記憶及び／又は配布され得るが、インターネット又は他の有線若しくは無線通信システムを介して等のように、他の形式で配布することもできる。

しかしながら、前記コンピュータプログラムは、ワールドワイドウェブのようなネットワークを介して提示することもでき、そのようなネットワークからデータプロセッサの作業メモリにダウンロードすることもできる。本発明の更なる例示的な実施形態によれば、コンピュータプログラム要素をダウンロード可能にするための媒体も提供され、該コンピュータプログラム要素は、本発明の前述した実施形態の１つによる方法を実行するように構成される。

本発明の実施形態は、異なる主題に関連して説明されていることに留意されたい。特に、幾つかの実施形態は方法のタイプの請求項に関連して説明される一方、他の実施形態は装置のタイプの請求項に関連して説明されている。しかしながら、当業者であれば、上記及び以下の説明から、そうでないと明記しない限り、或るタイプの主題に属するフィーチャの任意の組み合わせに加えて、異なる主題に関連するフィーチャ間の任意の組み合わせも本出願により開示されていると見なされることが分かるであろう。更に、全てのフィーチャは組み合わせることができ、これらフィーチャの単純な寄せ集め以上の相乗効果を提供する。

以上、本発明を図面及び前記記載において詳細に図示及び説明したが、そのような図示及び説明は、解説的又は例示的なものであり、限定するものでないと見なされるべきである。本発明は、開示された実施形態に限定されるものではない。開示された実施形態に対する他の変形は、当業者によれば、図面、本開示及び従属請求項の精査から、請求項に記載された発明を実施するに当たり理解し、実施することができる。

請求項において、「有する（含む）」という語は他の要素又はステップを除外するものではなく、単数形は複数を除外するものではない。単一のプロセッサ又は他のユニットは、請求項に記載されている幾つかの項目の機能を果たすことができる。特定の手段が相互に異なる従属請求項で引用されているという単なる事実は、これら手段の組み合わせを有利に使用できないことを示すものではない。請求項内の如何なる参照記号も、当該範囲を制限するものと見なしてはならない。
以下、本願発明の各種形態を付記する。
（付記１）
撮像セッションにおいて患者の第１画像を取得するための検出器及び前記第１画像をスクリーン上に表示するための表示ユニットを有する医療撮像装置と、
前記医療撮像装置とは別個のモバイル画像処理装置であって、
前記第１画像の表現を受信するためのインターフェース、
前記表現を解析すると共に、前記撮像セッションの間に該解析に基づいて医療判断支援情報を算出する画像解析器、及び、
前記医療判断支援情報を表示するためのオンボード表示装置
を有するモバイル画像処理装置と、
を有する、画像処理システム。
（付記２）
前記モバイル画像処理装置の前記インターフェースは前記撮像セッションの間に前記表示された第１画像を第２画像としてキャプチャする撮像要素を有し、該第２画像が前記表現を形成する、付記１に記載の画像処理システム。
（付記３）
前記判断支援情報が、ｉ）前記患者に関する推奨されるワークフロー、ｉｉ）前記第１画像に関する画質の指示情報、ｉｉｉ）医学的所見の指示情報、及びｉｖ）優先情報の何れか１以上を含む、付記１又は付記２に記載の画像処理システム。
（付記４）
前記推奨されるワークフローが、前記患者に対して想定された以前に定義されたワークフローとは異なる、付記３に記載の画像処理システム。
（付記５）
前記画質の指示情報が、ａ）患者のポジショニング、ｂ）コリメータの設定、ｃ）コントラスト、ｄ）解像度、ｅ）ノイズ、及びｆ）アーチファクトの何れか１以上の指示情報を含む、付記３に記載の画像処理システム。
（付記６）
前記画像解析器が、事前にトレーニングされた機械学習要素を含む、付記１から付記５の何れかに記載の画像処理システム。
（付記７）
前記推奨されるワークフローが、自動的に、又は前記モバイル画像処理装置のユーザインターフェースを介してユーザの指令を受けた後に実施される、付記３に記載の画像処理システム。
（付記８）
前記画像解析器が全体として前記モバイル画像処理装置に統合されているか、又は前記画像解析器の少なくとも一部が、前記モバイル画像処理装置に通信ネットワークを介して通信的に結合可能なリモート装置に統合されている、付記１から付記７の何れかに記載の画像処理システム。
（付記９）
前記モバイル画像処理装置が、ｉ）携帯電話、ｉｉ）ラップトップコンピューティング装置、及びｉｉｉ）タブレットコンピュータのうちの何れか１つを含む手持ち装置である、付記１から付記８の何れかに記載の画像処理システム。
（付記１０）
付記１から付記９の何れかに記載の画像処理システムに使用される、モバイル画像処理装置。
（付記１１）
患者に関する医療情報を表す画像を取得可能な撮像要素を含むと共に、前記画像に基づいて前記患者に関する判断支援情報を算出する解析器ロジックを含むモバイル画像処理装置であって、前記撮像要素は該撮像要素のオートフォーカスモジュールと連携する画像認識モジュールを含み、該画像認識モジュールが前記撮像要素の視野内の少なくとも１つの長方形物体を認識する、モバイル画像処理装置。
（付記１２）
前記解析器ロジックが、並列計算用に構成されたプロセッサ回路内で実施される、付記１１に記載のモバイル画像処理装置。
（付記１３）
医療撮像装置の検出器により、撮像セッションにおいて患者の第１画像を取得するステップと、
前記第１画像をスクリーン上に表示するステップと、
前記医療撮像装置とは別個のモバイル画像処理装置により、前記第１画像の表現を受信するステップと、
前記表現を解析し、該解析に基づいて前記撮像セッションの間に医療判断支援情報を算出するステップと、
前記医療判断支援情報をオンボード表示装置上に表示するステップと
を有する、画像処理の方法。
（付記１４）
少なくとも１つの処理ユニットにより実行された場合に、該処理ユニットに付記１３に記載の方法を実行させる、コンピュータプログラム。
（付記１５）
付記１４に記載のコンピュータプログラムを記憶した、コンピュータ可読媒体。

Claims (13)

1. 撮像セッションにおいて患者の第１画像を取得するための検出器及び前記第１画像をスクリーン上に表示するための表示ユニットを有する医療撮像装置と、
   前記医療撮像装置とは別個のモバイル画像処理装置であって、
   前記第１画像の表現を得るためのインターフェース、
   前記第１画像の表現を解析すると共に、前記撮像セッションの間に該解析に基づいて医療判断支援情報を算出する画像解析器、及び、
   前記医療判断支援情報を表示するためのオンボード表示装置
   を有するモバイル画像処理装置と、
   を有し、
   前記モバイル画像処理装置の前記インターフェースは前記撮像セッションの間に前記表示された第１画像を第２画像としてキャプチャする撮像要素を有し、該第２画像が前記第１画像の表現である、画像処理システム。
2. 前記医療判断支援情報が、ｉ）前記患者に関する推奨されるワークフロー、ｉｉ）前記第１画像に関する画質の指示情報、ｉｉｉ）医学的所見の指示情報、及びｉｖ）優先情報の何れか１以上を含む、請求項１に記載の画像処理システム。
3. 前記医療判断支援情報が前記推奨されるワークフローを含むときに、前記推奨されるワークフローが、前記患者に対して想定された以前に定義されたワークフローとは異なる、請求項２に記載の画像処理システム。
4. 画質の指示情報が、ａ）患者のポジショニング、ｂ）コリメータの設定、ｃ）コントラスト、ｄ）解像度、ｅ）ノイズ、及びｆ）アーチファクトの何れか１以上の指示情報を含む、請求項１から３の何れか一項に記載の画像処理システム。
5. 前記画像解析器が、事前にトレーニングされた機械学習要素を含む、請求項１から４の何れか一項に記載の画像処理システム。
6. 前記推奨されるワークフローが、自動的に、又は前記モバイル画像処理装置のユーザインターフェースを介してユーザの指令を受けた後に実施される、請求項２、請求項３、又は請求項２若しくは請求項３を直接的又は間接的に引用する請求項４若しくは請求項５に記載の画像処理システム。
7. 前記画像解析器が全体として前記モバイル画像処理装置に統合されているか、又は前記画像解析器の少なくとも一部が、前記モバイル画像処理装置に通信ネットワークを介して通信的に結合可能なリモート装置に統合されている、請求項１から６の何れか一項に記載の画像処理システム。
8. 前記モバイル画像処理装置が、ｉ）携帯電話、ｉｉ）ラップトップコンピューティング装置、及びｉｉｉ）タブレットコンピュータのうちの何れか１つを含む手持ち装置である、請求項１から７の何れか一項に記載の画像処理システム。
9. 医療撮像装置と共に撮像セッション中に使用されるモバイル画像処理装置であって、
   撮像セッション中、前記医療撮像装置により取得され前記医療撮像装置のスクリーン上に表示されている患者の第１画像をキャプチャして前記第１画像の表現を得るインターフェースと、
   前記第１画像の表現をリアルタイムで解析すると共に、該解析に基づいて医療判断支援情報をリアルタイムで算出する画像解析器と、
   前記医療判断支援情報をリアルタイムで表示するためのオンボード表示装置と、を備え、
   前記インターフェースは、前記スクリーン上に表示されている前記第１画像をキャプチャする撮像要素を有する、モバイル画像処理装置。
10. 前記撮像要素は該撮像要素のオートフォーカスモジュールと連携する画像認識モジュールを含み、該画像認識モジュールが前記撮像要素の視野内の少なくとも１つの長方形物体を認識する、請求項９に記載のモバイル画像処理装置。
11. 医療撮像装置が、前記医療撮像装置の検出器により、撮像セッションにおいて患者の第１画像を取得するステップと、
    前記医療撮像装置が、前記撮像セッションの間に前記第１画像をスクリーン上に表示するステップと、
    前記医療撮像装置とは別個のモバイル画像処理装置が、前記第１画像をキャプチャして前記第１画像の表現を得るステップと、
    前記モバイル画像処理装置が、前記第１画像の表現を解析し、該解析に基づいて前記撮像セッションの間に医療判断支援情報を算出するステップと、
    前記モバイル画像処理装置が、前記医療判断支援情報をオンボード表示装置上に表示するステップと
    を有する、画像処理の方法。
12. 少なくとも１つの処理ユニットにより実行された場合に、該処理ユニットに請求項１１に記載の方法を実行させる、コンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムを記憶した、コンピュータ可読媒体。

Images