JP3577680B2

JP3577680B2 - Image processing device

Info

Publication number: JP3577680B2
Application number: JP10363895A
Authority: JP
Inventors: 亜紀子柳田
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 1995-04-27
Filing date: 1995-04-27
Publication date: 2004-10-13
Anticipated expiration: 2019-10-13
Also published as: JPH08297733A

Description

【０００１】
【産業上の利用分野】
本発明は画像処理装置に関し、詳しくは、人体の一部である共通の被写体部分を含む複数の原画像について画像間演算処理を行うことにより生成された処理画像について、前記画像間演算処理の適否を判定し、また、該判定結果に応じて可視化やデータ保存や後処理を行う装置に関する。
【０００２】
【従来の技術】
Ｘ線画像のような放射線画像は、病気診断用などに多く用いられており、このＸ線画像を得るために、被写体を透過したＸ線を蛍光体層（蛍光スクリーン）に照射し、これにより可視光を生じさせてこの可視光を通常の写真と同様に銀塩を使用したフィルムに照射して現像した、所謂、放射線写真が従来から多く利用されている。
【０００３】
また、近年においては、銀塩を塗布したフィルムを使用しないで、蛍光体層から直接画像を取り出す方法が工夫されている。
この方法としては、被写体を透過した放射線を蛍光体に吸収せしめ、しかる後、この蛍光体を例えば光又は熱エネルギーで励起することによりこの蛍光体が上記吸収により蓄積している放射線エネルギーを蛍光として放射せしめ、この蛍光を光電変換し、更にＡ／Ｄ変換してディジタル画像信号を得る方法がある（米国特許３，８５９，５２７号，特開昭５５−１２１４４号公報等参照）。
【０００４】
このようにして得られた放射線画像信号は、そのままの状態で、或いは画像処理を施されて銀塩フィルム，ＣＲＴ等に出力されて可視化される。
また、放射線画像を記録した銀塩フィルムに、レーザ・蛍光灯などの光源からの光を照射して、銀塩フィルムの透過光を得て、かかる透過光を光電変換して放射線画像信号を得る方法もある。
【０００５】
一方、従来から、放射線画像信号の処理技術として、共通の被写体部分を含む複数の画像間で例えば差分処理を行うことで、特定の構造物や経時変化部分を強調した画像を抽出することが行われている（特開平２−２５３７７６号公報等参照）。
前記差分処理を行うに当たっては、画像間において被写体の相対的な位置ずれを合わせる処理が必要になり、かかる位置合わせ処理としては、従来、例えば特公昭６１−１４５５３号公報に開示されるような方法があった。
【０００６】
前記特公昭６１−１４５５３号公報に開示される位置合わせ処理は、２枚の画像の相互に対応する部分領域間の位置ずれを線型近似してそれぞれ求めた後、これら各対応部分領域毎に求められた位置ずれ量から前記２枚の画像間の非線型な位置ずれに対する補正関数の係数を求める構成となっている。
上記のような差分処理等の画像間演算処理によって特定の構造物や経時変化部分を強調した画像を抽出し、これをＣＲＴ上に表示したり、或いは、ハードコピーして診断情報として提供すれば、複数のフィルムをシャウカステン等の観察装置上に並べて比較することで経時変化部分等を認識する場合に比べて、診断効率を改善できることになる。
【０００７】
【発明が解決しようとする課題】
しかしながら、前記差分処理画像等が、不適切な位置合わせに基づいて生成されていると、複雑な人体正常構造の位置ずれによって偽画像が生じてしまう可能性がある。そして、かかる偽画像が生じた処理画像においては、経時変化部分に対応する陰影パターンの視認性が悪く、却って診断効率，診断精度を低下させてしまう惧れもあった。
【０００８】
本発明は上記問題点に鑑みなされたものであり、位置合わせ処理を伴う差分処理のような画像間演算処理によって生成された処理画像において、前記画像間演算処理が適正に行われたか否かを精度良く判定できる装置を提供することを目的とする。
また、前記画像間演算処理の適否の判定結果に基づき適切な形式で読影者に処理画像を可視化して提供できるようにして、経時変化部分等を見やすく提示できるようにし、画像間演算処理の不備によって診断効率，診断精度が低下することを回避できるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
そのため請求項１の発明にかかる画像処理装置は、同一人体の一部であり、異なる検査において、相互に異なる時刻に撮影した共通の被写体部分を含む複数の時系列画像について、共通の被写体部分の位置合わせを行う位置合わせ処理と、該位置合わせ処理が行われた複数の時系列画像間での差分処理とを少なくとも含む画像間演算処理が施された処理画像について、前記位置合わせ処理の適否を判定する画像処理装置であって、前記処理画像又は前記時系列画像から人体の解剖学的構造を抽出する解剖学的構造抽出手段と、該解剖学的構造抽出手段で抽出された解剖学的構造内に少なくとも１つの部分領域を設定する部分領域設定手段と、該部分領域設定手段で設定された部分領域毎に領域内の前記処理画像における画像データ分布の広がりに関わる値を演算する特徴量演算手段と、前記特徴量演算手段で演算された前記画像データ分布の広がりに関わる値と所定の閾値とを比較して、前記位置合わせ処理の適否を判定する判定手段と、を有して構成される。
【００１０】
請求項２にかかる画像処理装置は、同一人体の一部であり、異なる検査において、相互に異なる時刻に撮影した共通の被写体部分を含む複数の時系列画像間で共通の被写体部分の位置合わせ処理を行う位置合わせ処理手段と、該位置合わせ処理手段で位置合わせ処理が行われた複数の時系列画像間で差分処理を行い、該差分処理画像を処理画像として出力する差分処理手段と、前記処理画像又は前記時系列画像から人体の解剖学的構造を抽出する解剖学的構造抽出手段と、該解剖学的構造抽出手段で抽出された解剖学的構造内に少なくとも１つの部分領域を設定する部分領域設定手段と、該部分領域設定手段で設定された部分領域毎に領域内の前記処理画像における画像データ分布の広がりに関わる値を演算する特徴量演算手段と、前記特徴量演算手段で演算された前記画像データ分布の広がりに関わる値と所定の閾値とを比較して、前記位置合わせ処理の適否を判定する判定手段と、を有する構成とした。
【００１４】
請求項３の発明にかかる画像処理装置では、前記判定手段が、複数の部分領域毎に前記画像間演算処理の適否を判定し、各部分領域それぞれに対応する複数の適否判定結果を最終的な判定結果として出力すること構成とした。
【００１５】
請求項４にの発明にかかる画像処理装置では、前記判定手段が、複数の部分領域毎に前記画像間演算手段処理の適否を判定すると共に、これら複数の適否判定結果に基づき所定の規則に従って総合的な適否判定結果を生成し、該総合的な適否判定結果を最終的な判定結果として出力する構成とした。
請求項５の発明にかかる画像処理装置では、前記判定手段による画像間演算処理の適否判定結果に基づいて、予め設定された複数の画像表示形式の中から前記処理画像の表示形式を選択する表示形式選択手段と、該表示形式選択手段で選択された表示形式に基づいて前記処理画像を表示する画像表示手段と、を設ける構成とした。
【００１６】
請求項６の発明にかかる画像処置装置では、前記判定手段による画像間演算処理の適否判定結果に基づいて、予め設定された複数のハードコピー記録形式の中から前記処理画像の記録形式を選択する記録形式選択手段と、該記録形式選択手段で選択された記録形式に基づいて前記処理画像をハードコピーするハードコピー手段と、を設ける構成とした。
【００１７】
請求項７の発明にかかる画像処理装置では、前記判定手段による画像間演算手段の適否判定結果に基づいて、前記処理画像に対して後処理を施す後処理手段を設ける構成とした。
請求項８の発明にかかる画像処理装置では、前記処理画像データを保存する画像保存手段と、前記判定手段による画像間演算処理の適否判定結果に基づいて、前記画像保存手段に保存させる処理画像データを選択する保存データ選択手段と、を設ける構成とした。
【００１８】
請求項９の発明にかかる画像処理装置では、前記判定手段による画像間演算処理の適否判定結果を、前記処理画像データに対応させて保存する判定結果保存手段を設ける構成とした。
【００１９】
【作用】
請求項１，２の発明にかかる画像処置装置によると、位置合わせ処理の適否を判定するときに、処理画像又は原画像から人体の解剖学的構造を抽出し、抽出された解剖学的構造内に少なくとも１つの部分領域を設定し、部分領域内の処理画像における画像データ分布の広がりに関わる値と所定の閾値とを比較して、前記位置合わせ処置の適否を判定する。例えば、肺野を抽出する場合には、該抽出された肺野内を複数に区分して部分領域を設定したり、又は、肺野の中央部分に肺野よりも小さい領域を設定したりすることができる。従って、例えば医療診断用の放射背画像において、診断に重要な部分での特徴量を演算させ、診断性能に大きく関わる部分の位置合わせの適否を判定できる。更に、画像間演算手段の対象とする画像を同一人体の一部であり、異なる検査において、相互に異なる時刻に撮影した共通の被写体部分を含む複数の時系列画像間とすることで、経時変化部分を強調した画像を抽出できるようにし、かつ、前記位置合わせ処理の適否を判定できることで、前記経時変化部分が強調された画像に偽画像が発生しているか否かを判断できる。
【００２５】
請求項３の発明にかかる画像処理装置によると、複数の部分領域でそれぞれに画像間演算処理の適否を判定し、部分領域毎の判定結果としてそのまま出力する構成とし、部分領域毎の判定結果を利用できるようにした。
【００２６】
請求項４の発明にかかる画像処理装置によると、複数の部分領域でそれぞれに画像間演算処理の適否を判定するが、最終的には、これらの判定結果に基づいて総合的な判定結果を下すものとし、複数の部分領域からなるより広い領域での判定結果が得られるようにした。前記総合的な判定結果は、画像全体に対するものであっても良いし、また、例えば右肺，左肺をそれぞれ複数に区分して判定させた場合には、右肺，左肺を代表する判定結果であっても良い。
【００２７】
請求項５の発明にかかる画像処理装置によると、画像間演算処理の適否の判定結果に基づいて、画像表示形式が選択される構成とし、例えば画像間演算処理が不適切な画像又は部分領域を表示しないようにして、不適切な処理画像が診断情報として読影者に提供されてしまうことを回避できるようにした。
請求項６の発明にかかる画像処理装置によると、画像間演算処理の適否の判定結果に基づいて、ハードコピーにおける記録形式が選択される構成とし、例えば画像間演算処理が不適切な画像又は部分領域がハードコピーされないようにして、不適切な処理画像が診断情報として読影者に提供されてしまうことを回避できるようにした。
【００２８】
請求項７の発明にかかる画像処理装置によると、画像間演算処理の適否に基づいて後処理を施す構成とし、例えば位置合わせ後の差分処理によって経時変化部分を強調した処理画像から経時変化部分を抽出する後処理において、位置合わせが不適切な処理画像から前記経過変化部分の抽出が行われることを回避できるようにした。
【００２９】
請求項８の発明にかかる画像処理装置によると、処理画像データを保存するときに、画像間演算処理の適否に応じて保存データを選択する構成とし、不適切な画像間演算処理で得られた画像データがそのまま保存されてしまうことを回避できるようにした。
請求項９の発明にかかる画像処理装置によると、画像間演算処理についての適否の判定結果を、処理画像データに対応させて保存することで、後から処理画像を読み出すときに判定結果を同時に読み出して、適否の判定を繰り返す必要がないようにした。
【００３０】
【実施例】
以下に本発明の実施例を説明する。
図１は、本発明にかかる画像処理装置を含む放射線画像処理システムの構成を示す図である。
この図１において、画像記憶部１は、医療診断用として撮影された人体の放射線画像データを複数格納するものであり、光磁気ディスク等から構成される。
【００３１】
前記放射線画像データは、放射線画像を記録した銀塩フィルムに、レーザ・蛍光灯などの光源からの光を照射して、銀塩フィルムの透過光を得て、かかる透過光を光電変換して得たもの、或いは、被写体を透過した放射線を蛍光体に吸収せしめ、その後、この蛍光体を例えば光又は熱エネルギーで励起することによりこの蛍光体が上記吸収により蓄積している放射線エネルギーを蛍光として放射せしめ、この蛍光を光電変換して得たものであっても良い。或いは、放射線量子計数型検出器を用いて、放射線エネルギーを直接電気信号に変換して得たものであっても良いし、蛍光体などにより放射線を可視光に変換した後に、該可視光をＣＣＤ等の光電変換素子に導くことにより得たものであっても良い。
【００３２】
また、前記画像記憶部１とは別に、画像情報記憶部２が設けられており、この画像情報記憶部２には、画像記憶部１に記憶されている各画像についての各種付帯情報として、例えば撮影日時，撮影部位，撮影条件，画像処理条件，被検者等についての情報、更に、同じ被検者の同じ部位を撮影した画像間における位置合わせ処理の情報や異常陰影の検出結果などが記憶される。
【００３３】
尚、前記位置合わせ情報とは、共通の被写体部分を含む複数の画像において、その共通の被写体の位置を相対的に合わせるように、それらの複数の画像のうちの少なくとも１つの画像を座標変換する処理のための情報であり、撮影時における被写体のポジショニングやＸ線入射方向の差異に起因する相対的な位置ずれを前記位置合わせ情報に基づいた座標変換によって修正して、複数の画像の同じ解剖学的構造に対応する画像部分を重ね合わせることを可能とする。
【００３４】
そして、前記画像記憶部１に記憶された画像データと前記画像情報記憶部２に記憶された各種の付随的な情報とは、画像管理部３によって照合されて読み出されるようになっている。
但し、画像情報記憶部２を省略し、画像データと各画像に対応する各種情報とを対にして画像記憶部１に記憶させる構成であっても良い。
【００３５】
前記画像記憶部１及び画像情報記憶部２の記憶データは、操作卓４によって読み出し画像を任意に選択することで、前記画像管理部３によって随時読み出されるようになっており、読み出された画像データは、必要に応じて画像処理部５における画像処理を経た後、放射線画像の読影を行わせるべく、ＣＲＴからなる画像表示部６に表示される。
【００３６】
従って、放射線フィルムをシャウカステンを用いて読影を行う場合に行われるような目的フィルムを探し出し、これをシャウカステンに掛けるといった作業が必要でなく、効率の良い読影作業が可能である。
本実施例のシステムでは、それぞれに画像表示部６を有する２つの画像表示ユニットＡ，Ｂ（画像表示手段）が設けられており、各画像表示ユニットＡ，Ｂには、それぞれ画像表示部６の他に、画像メモリ７，表示制御部８が設けられている。
【００３７】
前記画像記憶部１から読み出された画像データは、一旦画像表示ユニットＡの画像メモリ７ａに記憶され、画像表示ユニットＢを同時に用いて画像を表示させる場合には、転送制御部９によって制御されて前記画像メモリ７ａから画像メモリ７ｂに画像データが転送される構成としてある。即ち、２つの表示ユニットＡ，Ｂを備える構成としたことで、少なくとも異なる２画像を同時に表示することを可能としており、表示ユニットを３つ以上備える構成であっても良い。
【００３８】
転送制御部９は、操作卓４を介して行われる表示フォーマットの指示に従って画像データの転送を行うが、前記表示フォーマットの指示は、画像表示ユニットＡの表示制御部８ａにも送られた後、前記転送制御部９によって制御されて他方の表示制御部８ｂにも指示されるようになっている。そして、表示制御部８では、指定された表示フォーマットに従って画像を表示すべく、画像表示部６に出力する画像データの加工を行う。
【００３９】
前記画像データの加工には、画像を指定された表示サイズに適合させるための拡大，縮小処理や、画像の階調を表示装置の輝度特性に適合させるためのウィンドウ処理などの階調変換も含まれる。尚、前記拡大縮小処理や階調変換等は、画像が画像メモリに転送される以前に画像処理部５において施されるような構成としても良い。
【００４０】
ところで、例えば定期検診などによって定期的に放射線撮影を行っている被検者については、被検者毎の経時的な画像系列（以下、時系列画像という）ができ上がる。そして、このようにして異なる時期に撮影された同一被検者の同一部分（例えば胸部）の複数の放射線画像間で差分処理（時系列処理）を行うことにより、変化のない正常構造陰影を打ち消して被検者の経時変化を選択的に強調することができ、前記差分画像を原画像と共に表示することで、新たに発生した病変や病状の変化した病変の見落としを防ぐことができる。
【００４１】
そこで、本実施例では、前記時系列画像（原画像）について予め前記差分処理（画像間演算処理）を行ってかかる差分画像（処理画像）を原画像と共に記憶部１に記憶させておくか、或いは、複数の時系列画像（原画像）を記憶部１から読み出し、これらに基づいて画像処理部５において前記差分画像（処理画像）を新たに生成し（差分処理手段）、原画像と共に前記時系列処理画像を提示することで、重要な経時変化の見落としがないようにしてある。
【００４２】
前記差分処理は、例えば図２のフローチャートに示すようにして行われる。
まず、２つの時系列画像（１），（２）それぞれ（Ｓ１，Ｓ２）について前処理（Ｓ３，Ｓ４）を行う。前記前処理は、差分処理の演算を簡略化するための画像の縮小処理であり、例えば画素の間引きや平均化処理が行われる。また、２つの時系列画像はその生成方式が必ずしも同一とは限らないので、画像生成時に決定される画素サイズや階調数などの基本画像特性が相互に異なっている場合もある。そこで、前記前処理として、２つの時系列画像の画素サイズや階調数などの基本画像特性を相互に同一の特性とするための補正処理を含んでも良い。
【００４３】
尚、時系列画像に付する番号は、最も新しいものについて（１）を付け、以下、古くなるに従って番号が増えるものとする。
前処理が終了すると、撮影時の被写体のポジショニングやＸ線入射方向の差異に起因する画像間での共通の被写体部分の相対的な位置ずれを合わせるための位置合わせ処理が行われる（Ｓ５：位置合わせ処理手段）。
【００４４】
前記位置合わせ処理は、特公昭６１−１４５５３号公報，特開昭６３−２７８１８３号公報，特開平１−７０２３６号公報等に開示されるような公知の種々の方法を用いて行うことができる。
具体的には、例えば２つの画像間で相互に対応する部分の位置ずれを線形近似により求め、該求められた位置ずれ量から２画像間の非線形な位置ずれの補正関数を求め、該補正関数に基づいて少なくとも一方の画像の座標変換を行うことにより行われる。また、外部入力されたパラメータに基づいて大まかな位置合わせを行った後、対応する領域毎に相互相関法によりずれ量を算出して歪み補正を行う構成であっても良い。
【００４５】
前記位置合わせの情報は、例えば平行移動量，平行移動量と回転量との組み合わせ，多項式の次数（多項式変換の場合），全ての画素に対するＸ方向の移動量とＹ方向の移動量との組み合わせ，代表画素に対するＸ方向の移動量とＹ方向の移動量との組み合わせとして与えられる。
位置合わせ処理が終了すると、２つの時系列画像の対応する画素間で画像データの差分をとる差分処理（Ｓ６：差分処理手段）を実行する。そして、差分画像が得られると、続いて階調処理などの後処理（Ｓ７）を施して、最終的に時系列画像に基づいて得られた差分画像が設定される（Ｓ８）。
【００４６】
前記差分画像が、本実施例において、人体の一部である共通の被写体部分を含む画像であって同一人体を相互に異なる時刻に撮影した２つの時系列画像についての画像間演算処理によって生成された処理画像であり、前記位置合わせ処理及び差分処理が画像間演算処理に相当する。
【００４７】
尚、図３のフローチャートに示すように位置合わせ処理（Ｓ５）の直前（又は直後）に、画像全体の濃度・階調を標準的な濃度・階調特性に合わせる濃度・階調補正処理（Ｓ５’）を行わせるようにしても良い。具体的には、米国特許５２２４１７７号に開示されるような濃度・階調補正処理を用いることができる。また、画像を複数の小領域に分割し、対応する小領域内の画素値の統計値が等しくなるように一方の画像の画素値を補正する方法を用いても良い。前記統計量としては、平均値，分散値等が用いられる。
【００４８】
ここで、経時差分画像と原画像とのいずれか一方を画像記憶部１から選択的に読み出して前記２つの画像のいずれか一方のみを画像表示部６に表示させたり、又は、画像処理部５で経時差分画像を生成させたときにかかる経時差分画像のみを表示させる構成としても良いが、かかる構成では、経時差分画像において観察された経時変化部分を原画像上で直ちに確認することができず、診断精度，診断効率が悪い。
【００４９】
そこで、本実施例では、前記時系列処理画像（経時差分画像）と原画像（時系列画像）とを、同一表示画面上又は異なる表示画面上に同時に表示できる構成として、時系列処理画像と原画像との対比を容易にし、以て、時系列処理画像において観察された経時変化部分を原画像上で直ちに確認することができるようにした。
【００５０】
具体的には、例えば図４に示すように、画像表示ユニットＡの画像表示部６ａには、原画像（１）（時系列画像の中の最新の画像）をその表示画面に表示させる一方、前記画像表示部６ａに並べて配設される他方のユニットＢの画像表示部６ｂには、時系列処理画像（経時差分画像）をその表示画面に表示させ、同時に原画像と時系列処理画像とを異なる表示画面上に表示させて見比べることができるようにしている。これにより、時系列処理画像（経時差分画像）に基づいて経時変化部分が観察されると、隣に表示されている原画像上でその部分を直ちに確認できる。
【００５１】
ここで、時系列処理画像は、経時変化が生じている部分の発見のために表示させるものであり、時系列処理画像によって経時変化の有無及びその位置を概略読影し、かかる読影結果に基づいて経時変化が生じているものと予測される原画像の部分を詳細に読影することで診断が行われることになる。
従って、原画像を表示させる画像表示部６ａの解像度は、原画像の画素数相当か或いはそれ以上として、原画像を劣化なく表示させることが望ましいが、時系列処理画像については経時変化部分の有無及びその位置を概略的に知るために表示させるものであるため、原画像を表示させる表示画面に要求されるような高解像度を必要としない。そこで、原画像を主に表示させるものとして予め設定された画像表示部６ａの解像度は、原画像の画素数相当か或いはそれ以上とするが、時系列処理画像を主に表示させるものとして予め設定された画像表示部６ｂについては画像表示部６ａよりも解像度の低いもの、或いは、画像表示部６ａよりも画面サイズの小さいものを用いても良い。
【００５２】
画像表示部６ａが高解像度を有するものであれば、原画像の精細な表示が可能になると共に、同一画面に複数の縮小画像を並べて表示しても画質の損失が小さい。また、比較的低解像度の表示画面に時系列処理画像を表示させることで、細かな正常構造物の陰影に影響されることなく、経時変化部分を検知できる。更に、画像表示部６ｂに不必要に過剰な解像度を要求しないことで、コスト低減を図れる。
【００５３】
具体的には、画像表示部６ａとしてＣＲＴを用いることが、階調表現性能の点から好ましく、更に、医療用高精細ＣＲＴとして知られている走査線１０００本系以上のＣＲＴを用いることがより好ましい。画像表示部６ｂとしては、ＣＲＴ，プラズマディスプレイ，液晶ディスプレイなどを用いることが好ましい。
尚、表示の形式としては、図４に示す形式に限定されず、図５又は図６に示すように、画像表示部６ａ側の同一表示画面上に原画像と時系列処理画像とを同時に表示させる構成としたり、図７又は図８に示すように、原画像に対して時系列処理画像をより小さく縮小して同一画面上に表示させたり、また、時系列処理画像（差分画像）と過去の時系列処理画像（原画像）とを同じ表示画面上に同時に表示させるようにしても良く、種々の形式が想定される。
【００５４】
ところで、前記時系列処理画像（差分画像）を生成するときの位置合わせが不適切であると、複雑な人体正常構造の位置ずれによって偽画像が生じてしまう可能性がある。そして、かかる偽画像が生じた処理画像においては、経時変化部分に対応する陰影パターンの視認性が悪く、経時変化部分を的確に読影できず、却って診断効率，診断精度を低下させてしまう惧れがある。
【００５５】
そこで、本実施例では、前記時系列処理画像を生成したとき或いは前記時系列処理画像を読み出したときに、前記位置合わせ処理の適否を判定し、不適切な位置合わせ処理によって偽画像が生じている可能性のある処理画像が、そのまま読影者に可視化されて提供されることを回避できるよう構成してある。
前記位置合わせ処理の適否の判定は、具体的には、図９のフローチャートに示すような手順で行われる。
【００５６】
まず、原画像又は差分画像（時系列処理画像）において、解剖学的構造の抽出を行い（Ｓ11：解剖学的構造抽出手段）、次に前記抽出した解剖学的構造に基づいて部分領域の設定を行う（Ｓ12：部分領域設定手段）。
そして、前記設定された部分領域内の画像データの特徴量を演算し（Ｓ13：特徴量演算手段）、前記特徴量に基づいて位置合わせ処理の適否を判定する（Ｓ14：判定手段）。
【００５７】
位置合わせ処理が不適切であると、前述のように差分画像において偽画像が生じるが、かかる偽画像は、白い陰影と黒い陰影とが組みになったパターンを呈することになるため、偽画像が発生すると差分画像における画像データの分布の広がりが大きくなる。
図１７は、位置合わせ処理が不適切に行われた場合と適切に行われた場合とでの差分画像の様子及び差分画像における画像データ分布の様子を示すものである。この図１７から明らかなように、位置合わせ処理が不適切であると、適切に行われた場合には現れない白い陰影と黒い陰影とが組みになったパターンが発生し、これによって画像データの分布が広がることになる。
【００５８】
そこで、前記特徴量として、画像データ分布の広がりに関わる値を演算させ、かかる特徴量と所定の閾値とを比較することで、偽画像の発生を示すだけの分布の広がりがあるか否かを判別し、以て、位置合わせ処理の適否を判定するようにしてある。
以下、上記に示した各処理ステップの詳細を説明する。
【００５９】
解剖学的構造の抽出（Ｓ１１：解剖学的構造抽出手段）は、例えば胸部放射線画像においては肺野を抽出することが好ましい。これは、診断の対象となる画像部分における位置合わせの適否が重要であって、それ以外の部分での適否は重要ではなく、例えば胸部放射線画像においては、診断の対象が通常肺野内に限定されるためである。
【００６０】
かかる解剖学的構造の抽出は、原画像で行っても良いし、差分画像（処理画像）で行っても良いが、原画像を用いる方が、正常構造がより顕著に表現されているので好ましい。
但し、原画像を用いる場合には、必要に応じて前記位置合わせ処理時に使用された座標変換と同一の座標変換を施して、差分画像上の解剖学的構造に正しく対応するようにする必要がある。これは、原画像上で抽出された解剖学的構造に基づいて設定した部分領域内において差分画像の画像データの特徴量を演算させるときに、原画像と差分画像との間で解剖学的構造に位置ずれがあると、前記特徴量が解剖学的構造の領域に対応して正しく演算されなくなってしまうためである。
【００６１】
例えば胸部放射線画像における肺野の輪郭抽出は、例えば特開昭６３−２４０８３２号公報に開示される方法を用いて行える。具体的には、画像データの１つの行又は列についてのみ注目し、その１次元の画像データ列の中で前後のデータとの関係が予め定めた特定のパターンとなる点を、その行或いは列における輪郭点とし、必要な範囲の行或いは列について前記輪郭点を求めてそれらの点を結んだ線を肺野の輪郭とするものであり、前記特定のパターンとしては極小となる点，傾きが最大となる点，傾きが最小となる点などを用いる。
【００６２】
また、胸部放射線画像において肺野を含む矩形領域を抽出するようにしても良く、かかる矩形領域の抽出方法としては、例えば特開平３−２１８５７８号公報に開示されるような方法がある。具体的には、画像の縦方向についてプロジェクション値（画像データの一方向の累積値）を求める。そして、前記プロジェクション値が最小値となる点を正中線とし、該正中線から外側に向けて移動しながらプロジェクション値と所定の閾値とを比較して、プロジェクション値が最初に閾値以下になった左右それぞれの点を、肺野の左端及び右端として決定する。同様に画像の横方向についてもプロジェクション値を求めて、肺野の上端及び下端を決定する。
【００６３】
また、胸部放射線画像において肺野輪郭や肋骨位置を抽出する方法としては、特開平２−２５０１８０号公報に開示されるようなものがある。このものは、縦横のプロファイル情報に基づいて肺野輪郭や肋骨位置を抽出するものであり、特に肋骨の抽出においては、背景部分の影響を多項式近似により排除する構成となっている。
【００６４】
尚、上記に示す解剖学的構造の抽出方法に限定されるものではなく、公知の種々の抽出方法を用いることができることは明らかである。上記のようにして解剖学的構造の抽出が行われると、次に、抽出された解剖学的構造に基づいて画像データの特徴量を演算させる部分領域を設定する（Ｓ12：部分領域設定手段）。
【００６５】
前記部分領域の設定を、胸部放射線画像を例に説明すると、肺野の輪郭を抽出した場合には、図１０に示すように、例えば左右の肺野をそれぞれ１つの部分領域としたり、左右の肺野それぞれを複数に分けてそれぞれを部分領域として設定する。
即ち、図１０（ａ）は、抽出された右肺，左肺の領域をそれぞれ部分領域として、２つの部分領域を設定した例を示す。
【００６６】
図１０（ｂ）は、抽出された右肺，左肺の領域をそれぞれ上下方向に２分割し、４つの部分領域を設定した例を示す。
図１０（ｃ）は、抽出された右肺，左肺の領域をそれぞれ上下方向に３分割し、６つの部分領域を設定した例を示す。
また、上記図１０に示す例では、肺野の領域内を全て部分領域としたが、肺野内の一部を部分領域とする構成であっても良く、例えば、図１１又は図１２に示すように、肺野の中央部を中心に肺野より小さい領域を部分領域して設定しても良い。
【００６７】
図１１に示す例では、肺野の中央部を中心に予め設定した形状，大きさの楕円領域を部分領域とする構成としてあり、図１２に示す例では、肺野の中央部を中心に予め設定した形状，大きさの長方形領域を部分領域とする構成としてある。
前記楕円又は長方形の部分領域を肺野内に設定するときに用いる肺野の中央部は、肺野の輪郭を抽出する場合には、左右肺野の上下端を基準とする上下方向の均等分割線と左右端を基準とする左右方向の均等分割線との交点を中央部として設定したり、左右肺野領域の重心を求めてこれを中央部としたりすれば良い。また、肺野を含む矩形領域を抽出した場合には、図１３に示すように、矩形領域を上下方向に均等に分割する線と、矩形領域の左端から左右幅の１／４の線及び３／４の線とが交差する点を、左右肺野の中央部としてそれぞれ設定することができる。
【００６８】
尚、上記実施例では、胸部放射線画像における肺野領域のように、解剖学的構造を抽出し、該抽出された解剖学的構造に基づいて部分領域を設定したが、簡便には、図１４（ａ），（ｂ），（ｃ）に示すように、少なくとも１つの矩形領域を予め設定しておいて、かかる矩形領域を各処理画像に共通の部分領域として設定する構成としても良い。
【００６９】
図１４（ａ），（ｂ）は、画像領域を縦横の格子によって複数に区分してそれぞれの領域を特徴量を演算させる部分領域とするものであり、また、図１４（ｃ）に示す例では、位置合わせ処理における座標変換で差分処理の対象外なる可能性の高い周縁部分を除いた中央の１領域を部分領域とする例を示してある。
部分領域が設定されると、次いで、差分画像上で前記部分領域内の画像データに基づいて、各部分領域毎に画像データ分布の広がりに関わる値を特徴量として演算する（Ｓ１３：特徴量演算手段）。
【００７０】
前記特徴量としては、分散値、標準偏差値、平均値と各画像データとの差の絶対値の総和、平均値と各画像データとの差の二乗値の総和、累積ヒストグラムがａ％になる信号値とｂ％になる信号値との差（ａ，ｂ％は予め設定された定数）、ヒストグラム上で出現頻度が最も高いところの山において最大頻度の半分以上の出現頻度をもつ画像データの幅（図１５に示す半値幅）などを演算させる構成とすれば良い。
【００７１】
前記特徴量の演算においては、間引き処理を行って画素数を減らしても、画像データの分布は大きく変化しないので、間引き処理を行って演算負担を軽減させるようにしても良い。
また、部分領域内の画素に対して、一次関数などの低次の関数近似を行った結果の画像データを、もとの画像データから減算する処理を行い、照射Ｘ線のムラやフィルムの現像ムラなどに起因する病理的経時変化と関係のない低空間周波数の成分を除いてから、前記特徴量を演算させるようにしても良い。
【００７２】
上記のようにして部分領域毎に画像データの分布の広がりを示す特徴量を演算すると、前記特徴量と所定の閾値とを比較することで、画像データの分布の広さが、所定以上であるか否かによって、位置合わせ処理の適否を判定する（Ｓ１４：判定手段）。
位置合わせが不適切で偽画像が発生すると、前述のように画像データの分布が広くなるので、例えば前記特徴量と閾値との比較によって画像データの分布を大小に判別し、分布の広がりが所定以上である場合には位置合わせ処理が不適切であったと判定し、分布の広がりが所定未満である場合には位置合わせ処理が適切に行われたものと判定する。
【００７３】
また、２つの閾値によって分布の広がりを３段階に判別することで、位置合わせ処理の適否を、例えば「最適」「適」「不適切」の３段階に判定する構成としても良い。
更に、位置合わせ処理の適否を点数で表す構成とし、例えば１〜１０点内で位置合わせ処理が適切であるほど高い点数が与えられるようにしても良い。
【００７４】
更に、複数の部分領域毎に特徴量を算出させた場合には、各部分領域毎に特徴量と閾値との比較によって位置合わせ処理の適否を判定し、各部分領域毎に判定結果を出力する構成としても良いが、複数の部分領域毎の判定結果に基づいて所定の規則に従って総合的な判定結果を生成する構成としても良い。
例えば、図１０（ａ）に示すように、右肺領域と左肺領域とをそれぞれ部分領域として設定して、それぞれの部分領域で判定を行って２つの判定結果が出されたときには、かかる２つの判定結果に基づいて最終的に画像全体に対するものとして１つの判定結果を導き出すようにすることができる。
【００７５】
また、図１０ｃ）に示すように、右肺領域と左肺領域とをそれぞれ３領域に分割して全体として６つの部分領域を設定し、該６つの部分領域それぞれでの判定で６つの判定結果が出されたときには、右肺の３つの部分領域での３つの判定結果から右肺に対応する１つの判定結果を導き出し、同様に、左肺についても３つの判定結果から１つの判定結果を導き出すようにすれば良い。
【００７６】
複数の判定結果から１つの総合的な判定結果を生成する方法としては、例えばＭ個の部分領域それぞれでの判定によってＭ個の判定結果を得た場合に、Ｎ個（＜Ｍ）以上で「適」の判定が下されていた場合に、総合的判定結果としても「適」の判定を下す構成とすることができる。
例えば前記図１０（ａ）に示す例では、Ｍ＝２であるから、Ｎ＝１とし、少なくとも片方の肺が「適」であれば、総合判定として位置合わせ処理が適切であったと判定すれば良い。
【００７７】
また、図１０（ｃ）に示す例で、前述のように左右の肺それぞれで最終的な判定結果を出力させる場合には、各肺野が３領域に分割されるからＭ＝３となり、Ｎ＝２とすれば、３領域のうちの少なくとも２領域で「適」であれば、該当する肺野での最終的な判定結果として「適」が出力されることになる。
更に、適否を点数で表す場合には、各部分領域に与えられた点数の合計や平均値などに基づいて総合的な判定を下すように構成することができ、総合的な判定結果も点数として表しても良いし、各部分領域に与えられた点数の合計や平均値などと閾値との比較によって、最終的な適否を「適切」「不適切」の２段階又は「最適」「適」「不適切」の３段階に判定しても良い。
【００７８】
ここで、位置合わせ処理が適切に行われたと判定された場合には、時系列処理画像としての差分画像をそのまま表示させることで、読影者に経時変化部分を強調した画像を提供して、経時変化部分の確認を容易に行わせて、診断精度，診断効率を向上させることができる。
一方、位置合わせ処理が不適切であったと判定された差分画像では、位置合わせが不適切であるために偽画像が発生して、経時変化部分に対応する陰影パターンの視認性が悪くなっている可能性が高いため、そのまま当該差分画像を表示しても、診断効率，診断精度を向上させることにはならず、却って、効率や精度を低下させることになる惧れもある。
【００７９】
そこで、前記適否の判定に基づいて、画像表示ユニットに対する差分画像の表示形式を選択することが好ましい。
例えば総合判定結果を画像全体に対して１つだけ下す構成の場合で、画像全体について位置合わせ処理が適切であったと判定されたときには、例えば前記図４に示すように最新の原画像（診断対象画像）と差分画像（時系列処理画像）とを並べて同時に表示させる表示形式を選択し（表示形式選択手段）、かかる表示形式に従って原画像と差分画像とを並べて同時に表示させる（画像表示手段）。
【００８０】
一方、画像全体について位置合わせ処理が不適切であったと判定されたときには、不適切な位置合わせ処理の下に演算された差分画像の表示を取り止め（表示形式選択手段）、原画像のみを表示させ（画像表示手段）、偽画像が発生した差分画像によって、経時変化部分が誤認識されてしまうようなことを回避する。
ここで、差分画像の表示を取り止めるときに、差分画像に代えて差分画像の基になった過去の時系列画像を表示させても良いし、また、位置合わせが不適切であったことを知らせるメッセージを表示させても良い。
【００８１】
また、総合判定結果として複数の判定結果が下される場合には、位置合わせ処理が適切であったと判定された領域（部分領域又は部分領域の集合）のみについて差分画像を表示させるようにすると良い。
例えば、胸部放射線画像で、右肺に対する総合的な判定結果と、左肺に対する総合的な判定結果とが出される場合であって、左右の一方でのみ「適切」の判定が下された場合には、図１６に示すように、差分画像として、前記適切の判定が下された方の肺野のみを表示させるようにする。
【００８２】
尚、レーザフィルムプリンタや感熱プリンタなどのハードコピーを出力する手段を備える場合には、前記表示形式の選択と同様にして、ハードコピーの記録形式を選択し（記録形式選択手段）、該選択に従って前記ハードコピー手段がハードコピーを行うようにすれば良い。
即ち、位置合わせ処理が不適切であって、偽画像の発生が予測される差分画像については、ハードコピー上への出力を取り止め、空欄とするか、又は、原画像やメッセージを代わりに記録させるようにすれば良い。
【００８３】
ところで、前記差分画像の提供は、経時変化部分が強調された画像を提供することで、原画像（診断対象画像）上で注目すべき経時変化部分の特定を容易にすることにあるから前記差分画像を２値化して、経時変化部分の強調度を更に高めて表示させるようにしても良い。
即ち、差分画像の各画像データと所定の閾値との比較によって差分画像を２値化することで、差分処理に先立って行われる位置合わせ処理における僅かな位置ずれに起因する不要な画像部分が除去されることになる。そこで、経時変化部分に対応する閾値以上の画素が複数連続する領域を求め、各領域を弁別するラベリング処理を施して、所定以上の大きさを持つ経時変化領域を抽出し、該抽出した領域を例えば塗り潰しパターンで表現すれば良い。
【００８４】
更に、経時変化部分を表現する前記塗り潰しパターンを、原画像に加算させれば、原画像内での経時変化部分を容易に確認でき、該加算画像を原画像と並べて同時に表示させれば、原画像上での経時変化部分の特定が容易となり、原画像の観察による診断精度，診断効率を向上させ得る。
この場合も、前記位置合わせ処理の適否の判定結果に基づいて、経時変化領域を抽出する領域を、位置合わせ処理が適切に行われた領域内に限定したり、又は、位置合わせ処理が適切に行われた領域においてのみ、前記塗り潰しパターンの加算を行わせるようにすれば良い。
【００８５】
尚、前記経時変化部分の抽出、及び、該抽出領域を示す塗り潰しパターンの加算が、本実施例における後処理手段に相当する。
また、位置合わせ処理の適否の判定結果を受けて、不適切と判定された領域又と画像については、再度、位置合わせ処理及び差分処理を行わせるようにしても良い。再度の位置合わせ処理を行わせる場合には、適切な位置合わせ処理を行わせるために、位置合わせ処理の方法を計算負担は大きくなるもののより高精度に行える方法に切換えたり、パラメータの入力を再度行わせたりすると良い。
【００８６】
また、通常の位置合わせ処理が自動処理として行われる場合に、前記開度の位置合わせ処理に限っては、その処理の一部を、手動入力によるパラメータ調整を含む処理に置き換え、ユーザの知識や判断を取り入れた半自動処理としても良い。
一方、差分画像を画像保存手段としての記憶部１に保存する場合には、位置合わせ処理が不適切であった画像又は領域の画像データを保存する必要はない。そこで、位置合わせ処理の適否が画像全体に対して１つ下される場合には、適切であったと判定されたときにのみ画像データを保存させるようにし、不適切であったと判定されたときには、画像データの保存を取り止めるようにする（保存データ選択手段）。また、総合的な判定結果が複数下される場合には、位置合わせ処理が適切であったと判定された領域の画像データのみを保存させるようにすれば良い（保存データ選択手段）。
【００８７】
また、上記のように位置合わせ処理の適否の判定結果に基づいて、保存する画像データを選択する代わりに、判定結果又は判定に用いた特徴量を、差分画像に対応させて保存する構成としても良い（判定結果保存手段）。ここで、保存する判定結果は、部分領域毎の判定結果であっても良いし、これらに基づく総合的な判定結果であっても良い。
【００８８】
かかる構成によれば、差分画像を読み出す毎に、特徴量の演算や該特徴量に基づく適否判定を行う必要がなくなる。
【００８９】
以上説明したように請求項１又は２の発明にかかる画像処理装置によると、肺野などの人体の解剖学的構造に基づいて画像データの特徴量を演算させる部分領域を設定するので、例えば医療診断用の放射線画像において、診断性能に大きく関わる部分での位置合わせの適否を的確に反転できるという効果がある。
更に、時系列画像間における位置合わせ処理と差分処理とによって経時変化部分を強調した画像を抽出するときに、前記位置合わせ処理が適切に行われたか否かを判定できるという効果がある。
【００９２】
請求項３の発明にかかる画像処理装置によると、複数の部分領域でそれぞれに画像間演算処理の適否を判定し、部分領域毎の判定結果としてそのまま出力する構成としたので、部分領域毎の判定結果を利用できるという効果がある。
【００９３】
請求項４の発明にかかる画像処理装置によると、複数の部分領域でそれぞれに画像間演算処理の適否を判定するが、最終的には、これらの判定結果に基づいて総合的な判定結果を下す構成としたので、複数の部分領域からなるより広い領域での判定結果が得られるという効果がある。
請求項５の発明にかかる画像処理装置によると、画像間演算処理の適否の判定結果に基づいて、画像表示形式が選択される構成としたので、例えば画像間演算処理が不適切な画像又は部分領域を表示しないようにして、不適切な処理画像が読影者に提供されてしまうことを回避できるという効果がある。
【００９４】
請求項６の発明にかかる画像処理装置によると、画像間演算処理の適否の判定結果に基づいて、ハードコピーにおける記録形式が選択される構成としたので、例えば画像間演算処理が不適切な画像又は部分領域がハードコピーされないようにして、不適切な処理画像が読影者に提供されてしまうことを回避できるという効果がある。
【００９５】
請求項７の発明にかかる画像処理装置によると、画像間演算処理の適否に基づいて後処理を施す構成としたので、例えば位置合わせ後の差分処理によって経時変化部分を強調した処理画像を得て、更に、該処理画像から経時変化部分を抽出する後処理を行う構成において、位置合わせが不適切な処理画像から前記経過変化部分の抽出が行われることを回避できるという効果がある。
【００９６】
請求項８の発明にかかる画像処理装置によると、処理画像データを保存するときに、画像間演算処理の適否に応じて保存データを選択する構成としたので、不適切な画像間演算処理で得られた処理画像の画像データがそのまま保存されてしまうことを回避できるという効果がある。
請求項９の発明にかかる画像処理装置によると、画像間演算処理についての適否の判定結果を、処理画像データに対応させて保存する構成としたので、後から処理画像を読み出すときに判定結果を同時に読み出すことで、適否の判定を繰り返す必要がないという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施例のシステム構成図。
【図２】実施例における差分処理の様子を示すフローチャート。
【図３】実施例における差分処理の様子を示すフローチャート。
【図４】原画像と差分画像との表示形態の例を示す図。
【図５】原画像と差分画像との表示形態の例を示す図。
【図６】原画像と差分画像との表示形態の例を示す図。
【図７】原画像と差分画像との表示形態の例を示す図。
【図８】原画像と差分画像との表示形態の例を示す図。
【図９】位置合わせ処理の適否判定の様子を示すフローチャート。
【図１０】肺野の抽出結果に基づく部分領域設定の様子を示す図。
【図１１】肺野の抽出結果に基づく部分領域設定の様子を示す図。
【図１２】肺野の抽出結果に基づく部分領域設定の様子を示す図。
【図１３】肺野で部分領域の中央部となるポイントの設定例を示す図。
【図１４】予め設定される部分領域の例を示す図。
【図１５】画像データの特徴量の一例を示す線図。
【図１６】位置合わせ処理の適否判定に基づく表示形式の例を示す図。
【図１７】位置合わせ処理の適否による偽画像の発生及び画像データ分布の広がりを示す図。
【符号の説明】
１画像記憶部
２画像情報記憶部
３画像管理部
４操作卓
５画像処理部
６ａ，６ｂ画像表示部
７ａ，７ｂ画像メモリ
８ａ，８ｂ表示制御部
９転送制御部
Ａ，Ｂ画像表示ユニット[0001]
[Industrial applications]
The present invention relates to an image processing apparatus, and more particularly, to a process image generated by performing an inter-image calculation process on a plurality of original images including a common subject portion that is a part of a human body, whether the inter-image calculation process is appropriate. And a device that performs visualization, data storage, and post-processing according to the determination result.
[0002]
[Prior art]
Radiation images such as X-ray images are widely used for diagnosing diseases and the like. In order to obtain such X-ray images, X-rays transmitted through a subject are irradiated onto a phosphor layer (fluorescent screen), thereby obtaining an X-ray image. So-called radiography, in which visible light is generated and this visible light is applied to a film using a silver salt in the same manner as in a normal photograph and developed, has been widely used.
[0003]
In recent years, a method has been devised in which an image is directly taken out of the phosphor layer without using a film coated with a silver salt.
As this method, the radiation transmitted through the subject is absorbed by the phosphor, and then the phosphor is excited by, for example, light or heat energy, so that the radiation energy accumulated by the phosphor by the absorption is converted into fluorescence. There is a method in which the fluorescent light is emitted, the fluorescence is photoelectrically converted, and further A / D converted to obtain a digital image signal (see U.S. Pat. No. 3,859,527, JP-A-55-12144).
[0004]
The radiation image signal thus obtained is output as it is or subjected to image processing to a silver halide film, a CRT, or the like, and is visualized.
In addition, a silver halide film on which a radiation image is recorded is irradiated with light from a light source such as a laser or a fluorescent lamp to obtain transmitted light of the silver halide film, and the transmitted light is photoelectrically converted to obtain a radiation image signal. There are ways.
[0005]
On the other hand, conventionally, as a processing technique of a radiation image signal, for example, by performing a difference process between a plurality of images including a common subject portion, an image in which a specific structure or a temporally changed portion is emphasized has been extracted. (See Japanese Patent Application Laid-Open No. 2-253776).
In performing the difference processing, it is necessary to perform a process of adjusting a relative positional shift of a subject between images, and such a positioning process is conventionally performed by, for example, a method disclosed in Japanese Patent Publication No. 61-14553. was there.
[0006]
In the positioning process disclosed in Japanese Patent Publication No. 61-14553, the positional shift between mutually corresponding partial areas of two images is obtained by linear approximation, and then the positional shift is obtained for each of these corresponding partial areas. The correction function coefficient for the non-linear displacement between the two images is obtained from the obtained displacement amount.
If an image in which a specific structure or a temporally changing portion is emphasized is extracted by an inter-image calculation process such as a difference process as described above, and the extracted image is displayed on a CRT or provided as hard copy as diagnostic information, By arranging and comparing a plurality of films on an observation device such as a Schaukasten, the efficiency of diagnosis can be improved as compared with the case of recognizing a time-varying portion or the like.
[0007]
[Problems to be solved by the invention]
However, if the difference processed image or the like is generated based on improper alignment, a false image may be generated due to a misalignment of a complex normal human body structure. In the processed image in which such a false image has occurred, the visibility of the shadow pattern corresponding to the temporally changed portion is poor, and there is a possibility that the diagnostic efficiency and the diagnostic accuracy may be reduced.
[0008]
The present invention has been made in view of the above problems, and in a processed image generated by an inter-image calculation process such as a difference process including a registration process, it is determined whether or not the inter-image calculation process is appropriately performed. It is an object of the present invention to provide a device capable of determining with high accuracy.
In addition, the processed image can be visualized and provided to the interpreter in an appropriate format based on the determination result of the adequacy of the inter-image arithmetic processing, so that a temporally changed portion or the like can be presented in an easy-to-view manner. Therefore, it is possible to avoid a decrease in diagnostic efficiency and diagnostic accuracy.
[0009]
[Means for Solving the Problems]
Therefore, the image processing apparatus according to the first aspect of the present invention provides a method for processing a plurality of time-series images including a common subject portion which is a part of the same human body and is photographed at different times in different examinations. For a processed image that has been subjected to an inter-image calculation process including at least a positioning process for performing a positioning process and a difference process between a plurality of time-series images subjected to the positioning process, whether the positioning process is appropriate or not. An anatomical structure extracting means for extracting an anatomical structure of a human body from the processed image or the time-series image, and an anatomical structure extracted by the anatomical structure extracting means And a partial area setting unit for setting at least one partial area in the image data, and a spread of the image data distribution in the processed image in the area for each partial area set by the partial area setting means. Determining the appropriateness of the alignment process by comparing a value related to the spread of the image data distribution calculated by the feature value calculating means with a predetermined threshold value. And means.
[0010]
3. The image processing apparatus according to claim 2, wherein a plurality of time-series images including a common subject portion, which are part of the same human body and are photographed at different times, include a common subject portion. A difference processing means for performing difference processing between a plurality of time-series images subjected to the positioning processing by the positioning processing means, and outputting the difference processed image as a processed image; Anatomical structure extracting means for extracting an anatomical structure of a human body from an image or the time-series image, and a part for setting at least one partial region in the anatomical structure extracted by the anatomical structure extracting means Region setting means; feature value calculation means for calculating a value related to the spread of image data distribution in the processed image in the region for each of the partial regions set by the partial region setting means; Compared value related to the spread of the image data distribution is computed by the computing means and a predetermined threshold value, and configured to have a judging means for judging appropriateness of the alignment process.
[0014]
In the image processing apparatus according to the third aspect of the present invention, the determining unit determines whether or not the inter-image arithmetic processing is appropriate for each of the plurality of partial areas, and outputs a plurality of appropriateness determination results corresponding to each of the partial areas as a final result. It is configured to output as a judgment result.
[0015]
In the image processing apparatus according to the fourth aspect of the present invention, the determination unit determines whether or not the inter-image calculation unit process is appropriate for each of a plurality of partial areas, and performs comprehensive evaluation in accordance with a predetermined rule based on the plurality of determination results. The configuration is such that a general suitability determination result is generated and the overall suitability determination result is output as a final determination result.
In the image processing apparatus according to the fifth aspect of the present invention, a display for selecting a display format of the processed image from a plurality of preset image display formats based on a result of determination as to whether or not the inter-image arithmetic processing is performed by the determination unit. A configuration is provided in which format selection means and image display means for displaying the processed image based on the display format selected by the display format selection means are provided.
[0016]
In the image processing apparatus according to a sixth aspect of the present invention, the recording format of the processed image is selected from a plurality of hard copy recording formats set in advance based on the determination result of the inter-image arithmetic processing by the determination unit. A configuration is provided in which recording format selection means and hard copy means for hard copying the processed image based on the recording format selected by the recording format selection means are provided.
[0017]
The image processing apparatus according to the invention of claim 7 is configured to include a post-processing means for performing post-processing on the processed image on the basis of the determination result of the inter-image calculation means by the determination means.
9. The image processing apparatus according to claim 8, wherein the image storage means for storing the processed image data, and the processed image data to be stored in the image storage means based on a result of the determination as to whether or not the inter-image arithmetic processing has been performed by the determination means. And a storage data selecting means for selecting the data.
[0018]
The image processing apparatus according to the ninth aspect of the present invention is configured such that a determination result storage unit is provided for storing the determination result of the inter-image arithmetic processing by the determination unit in association with the processed image data.
[0019]
[Action]
According to the image processing apparatus according to the first and second aspects of the present invention, the anatomical structure of the human body is extracted from the processed image or the original image when determining whether or not the alignment processing is appropriate, and the extracted anatomical structure is used. At least one partial area is set, and a value related to the spread of the image data distribution in the processed image in the partial area is compared with a predetermined threshold value to determine whether or not the alignment processing is appropriate. For example, when extracting a lung field, the extracted lung field is divided into a plurality of parts to set a partial region, or a region smaller than the lung field is set at the center of the lung field. Can be. Therefore, for example, in a radiation back image for medical diagnosis, it is possible to calculate a feature amount in a portion important for diagnosis, and to determine whether or not positioning of a portion that is greatly related to diagnostic performance is appropriate. Further, the image to be processed by the image-to-image calculation means is a part of the same human body, and a plurality of time-series images including a common object portion photographed at different times in different examinations are used. Since the image in which the portion is emphasized can be extracted and the suitability of the alignment processing can be determined, it is possible to determine whether or not a false image has occurred in the image in which the temporally changed portion has been emphasized.
[0025]
According to the image processing apparatus according to the third aspect of the present invention, it is configured to determine whether or not the inter-image arithmetic processing is appropriate for each of the plurality of partial regions and output the determination result for each partial region as it is, and to determine the determination result for each partial region. Made available.
[0026]
According to the image processing apparatus of the fourth aspect of the present invention, the suitability of the inter-image calculation processing is determined for each of the plurality of partial areas, but ultimately a comprehensive determination result is made based on these determination results. In this case, the determination result can be obtained in a wider area including a plurality of partial areas. The comprehensive determination result may be for the entire image, or, for example, when the right lung and the left lung are divided into a plurality of parts and the determination is performed, the determination representing the right lung and the left lung is performed. The result may be.
[0027]
According to the image processing apparatus of the fifth aspect, the image display format is selected based on the determination result of the suitability of the inter-image calculation processing. By not displaying the image, it is possible to prevent an inappropriate processed image from being provided to the reader as diagnostic information.
According to the image processing apparatus of the present invention, the recording format in the hard copy is selected based on the determination result of the appropriateness of the inter-image calculation processing. By preventing the region from being hard-copied, it is possible to prevent an inappropriate processed image from being provided to the reader as diagnostic information.
[0028]
According to the image processing apparatus of the present invention, the post-processing is performed based on the propriety of the inter-image arithmetic processing. In the post-processing to be extracted, it is possible to prevent the process-changed portion from being extracted from the processed image whose positioning is inappropriate.
[0029]
According to the image processing apparatus of the present invention, when storing the processed image data, the configuration is such that the stored data is selected according to the suitability of the inter-image arithmetic processing, and the obtained image data is obtained by the inappropriate inter-image arithmetic processing. It is now possible to avoid saving image data as it is.
According to the image processing apparatus of the ninth aspect, the determination result of the propriety of the inter-image arithmetic processing is stored in association with the processed image data, so that the determination result is simultaneously read when the processed image is read later. Therefore, it is not necessary to repeat the determination of suitability.
[0030]
【Example】
Hereinafter, examples of the present invention will be described.
FIG. 1 is a diagram showing a configuration of a radiation image processing system including an image processing device according to the present invention.
In FIG. 1, an image storage unit 1 stores a plurality of radiation image data of a human body photographed for medical diagnosis and is constituted by a magneto-optical disk or the like.
[0031]
The radiation image data is obtained by irradiating a silver halide film on which a radiation image is recorded with light from a light source such as a laser or a fluorescent lamp to obtain transmitted light of the silver halide film, and photoelectrically converting the transmitted light. Or the radiation transmitted through the subject is absorbed by the phosphor, and then the phosphor is excited by, for example, light or heat energy, so that the radiation energy accumulated by the phosphor by the absorption is emitted as fluorescence. At least, the fluorescence may be obtained by photoelectric conversion. Alternatively, it may be obtained by directly converting radiation energy into an electric signal using a radiation quantum counting type detector, or converting the radiation into visible light by a phosphor or the like, and then converting the visible light into a CCD. And the like may be obtained by leading to such a photoelectric conversion element.
[0032]
An image information storage unit 2 is provided separately from the image storage unit 1. The image information storage unit 2 includes, as various types of supplementary information about each image stored in the image storage unit 1, for example, Information about the photographing date and time, photographed part, photographing conditions, image processing conditions, information on the subject, etc., as well as information on alignment processing between images of the same part of the same subject photographed and detection results of abnormal shadows are stored. Is done.
[0033]
Note that the positioning information is that, in a plurality of images including a common subject portion, at least one of the plurality of images is coordinate-transformed so that the position of the common subject is relatively adjusted. This is information for processing, and the relative displacement caused by the positioning of the subject at the time of shooting or the difference in the X-ray incident direction is corrected by coordinate conversion based on the alignment information, and the same anatomical image of a plurality of images is obtained. Image portions corresponding to the geometric structure can be superimposed.
[0034]
The image data stored in the image storage unit 1 and various additional information stored in the image information storage unit 2 are collated and read by the image management unit 3.
However, the image information storage unit 2 may be omitted, and the image data and various information corresponding to each image may be stored in the image storage unit 1 as a pair.
[0035]
The data stored in the image storage unit 1 and the image information storage unit 2 can be read at any time by the image management unit 3 by arbitrarily selecting an image to be read by the console 4. After undergoing image processing in the image processing unit 5 as necessary, the data is displayed on an image display unit 6 composed of a CRT so as to allow a radiological image to be interpreted.
[0036]
Therefore, there is no need to search for a target film, which is performed when a radiological film is read using Schaukasten, and to apply the film to the Schaukasten, so that efficient reading work is possible.
In the system of this embodiment, two image display units A and B (image display means) each having an image display unit 6 are provided, and each of the image display units A and B is provided with an image display unit 6. In addition, an image memory 7 and a display control unit 8 are provided.
[0037]
The image data read from the image storage unit 1 is temporarily stored in the image memory 7a of the image display unit A, and is controlled by the transfer control unit 9 when displaying images using the image display unit B simultaneously. The image data is transferred from the image memory 7a to the image memory 7b. That is, the configuration including the two display units A and B enables at least two different images to be displayed simultaneously, and a configuration including three or more display units may be employed.
[0038]
The transfer control unit 9 transfers the image data in accordance with the display format instruction given via the console 4, and after the display format instruction is also sent to the display control unit 8a of the image display unit A, The transfer is controlled by the transfer control unit 9 and is instructed by the other display control unit 8b. Then, the display control unit 8 processes the image data to be output to the image display unit 6 so as to display the image according to the specified display format.
[0039]
The processing of the image data includes gradation conversion such as enlargement and reduction processing for adjusting the image to a specified display size and window processing for adjusting the gradation of the image to the luminance characteristics of the display device. It is. It should be noted that the enlargement / reduction processing and gradation conversion may be performed in the image processing unit 5 before the image is transferred to the image memory.
[0040]
By the way, for a subject who regularly performs radiography by a regular checkup or the like, a time-series image sequence (hereinafter, referred to as a time-series image) for each subject is completed. Then, by performing the difference processing (time-series processing) between the plurality of radiation images of the same part (for example, the chest) of the same subject photographed at different times in this way, the normal structure shadow that does not change is canceled. Thus, it is possible to selectively emphasize changes over time in the subject, and to display the difference image together with the original image, thereby preventing a newly generated lesion or a lesion whose pathology has changed from being overlooked.
[0041]
Therefore, in the present embodiment, the difference processing (inter-image calculation processing) is performed in advance on the time-series image (original image), and the difference image (processed image) is stored in the storage unit 1 together with the original image. Alternatively, a plurality of time-series images (original images) are read from the storage unit 1, and based on these, the image processing unit 5 newly generates the difference image (processed image) (Difference processing means), By presenting the time-series processed image together with the original image, an important temporal change is not overlooked.
[0042]
The difference processing is performed, for example, as shown in the flowchart of FIG.
First, preprocessing (S3, S4) is performed on each of the two time-series images (1), (2) (S1, S2). The pre-processing is image reduction processing for simplifying the calculation of the difference processing, and for example, pixel thinning or averaging processing is performed. In addition, since the generation methods of the two time-series images are not always the same, basic image characteristics such as a pixel size and the number of gradations determined at the time of image generation may be different from each other. Therefore, the pre-processing may include a correction process for making basic image characteristics such as the pixel size and the number of gradations of two time-series images identical to each other.
[0043]
The number assigned to the time-series image is (1) for the newest image, and hereinafter, the number increases as it gets older.
When the pre-processing is completed, a positioning process is performed to adjust the relative displacement of the common subject portion between the images due to the positioning of the subject at the time of shooting or the difference in the X-ray incident direction (S5: Position). Alignment processing means).
[0044]
The positioning process can be performed using various known methods as disclosed in JP-B-61-14553, JP-A-63-278183, and JP-A-1-70236.
Specifically, for example, the displacement of a portion corresponding to each other between two images is obtained by linear approximation, and a correction function for a non-linear displacement between the two images is obtained from the obtained displacement amount. Is performed by performing coordinate transformation of at least one of the images based on. Further, a configuration may be employed in which, after rough positioning is performed based on externally input parameters, a shift amount is calculated for each corresponding region by a cross-correlation method to perform distortion correction.
[0045]
The alignment information includes, for example, the amount of translation, the combination of the amount of translation and the amount of rotation, the degree of a polynomial (in the case of polynomial conversion), the combination of the amount of movement in the X direction and the amount of movement in the Y direction for all pixels. , Is provided as a combination of the amount of movement in the X direction and the amount of movement in the Y direction with respect to the representative pixel.
When the positioning process is completed, a difference process (S6: difference processing means) for obtaining a difference in image data between corresponding pixels of the two time-series images is executed. When the difference image is obtained, a post-process (S7) such as a gradation process is performed, and a difference image finally obtained based on the time-series image is set (S8).
[0046]
In the present embodiment, the difference image is an image including a common subject portion that is a part of a human body, and is generated by an inter-image calculation process on two time-series images of the same human body taken at different times. Processed image, and the alignment processing and the difference processing are used in the inter-image calculation processing.Equivalent to.
[0047]
As shown in the flowchart of FIG. 3, immediately before (or immediately after) the alignment processing (S5), the density / tone correction processing (S5) for adjusting the density / tone of the entire image to the standard density / tone characteristics. ') May be performed. Specifically, a density / tone correction process as disclosed in US Pat. No. 5,224,177 can be used. Alternatively, a method may be used in which an image is divided into a plurality of small areas, and the pixel values of one image are corrected so that the statistical values of the pixel values in the corresponding small areas are equal. As the statistics, an average value, a variance value, or the like is used.
[0048]
Here, one of the temporal difference image and the original image is selectively read from the image storage unit 1 and only one of the two images is displayed on the image display unit 6, or the image processing unit 5 It is also possible to display only the temporal difference image when the temporal differential image is generated in the above. However, in such a configuration, the temporal change observed in the temporal differential image cannot be immediately confirmed on the original image. Poor diagnostic accuracy and diagnostic efficiency.
[0049]
Thus, in the present embodiment, the time-series processed image (time difference image) and the original image (time-series image) are configured to be simultaneously displayed on the same display screen or different display screens. The comparison with the image was facilitated, so that the time-varying portion observed in the time-series processed image could be immediately confirmed on the original image.
[0050]
Specifically, for example, as shown in FIG. 4, the image display unit 6a of the image display unit A displays the original image (1) (the latest image in the time-series image) on its display screen, On the image display unit 6b of the other unit B arranged side by side on the image display unit 6a, a time-series processed image (temporal difference image) is displayed on its display screen, and at the same time, the original image and the time-series processed image are displayed. They are displayed on different display screens so that they can be compared. Thus, when a time-varying part is observed based on the time-series processed image (temporal difference image), the part can be immediately confirmed on the original image displayed next.
[0051]
Here, the time-series processed image is to be displayed for the purpose of finding a portion where the temporal change has occurred, and the presence or absence of the temporal change and its position are roughly interpreted by the time-series processed image, and based on the interpretation result. Diagnosis is performed by reading in detail the portion of the original image that is predicted to have a temporal change.
Therefore, it is desirable that the resolution of the image display unit 6a for displaying the original image is equal to or larger than the number of pixels of the original image so that the original image is displayed without deterioration. Since the display is performed so as to roughly know the position of the original image, a high resolution required for a display screen for displaying the original image is not required. Therefore, the resolution of the image display unit 6a set in advance to mainly display the original image is equal to or larger than the number of pixels of the original image, but is set in advance to mainly display the time-series processed image. As the image display unit 6b, one having a lower resolution than the image display unit 6a or one having a smaller screen size than the image display unit 6a may be used.
[0052]
If the image display section 6a has a high resolution, the original image can be displayed finely, and the loss of image quality is small even if a plurality of reduced images are displayed side by side on the same screen. In addition, by displaying the time-series processed image on a display screen having a relatively low resolution, it is possible to detect a portion that has changed with time without being affected by fine shading of a normal structure. Further, the cost can be reduced by not requesting the image display unit 6b unnecessarily excessive resolution.
[0053]
Specifically, it is preferable to use a CRT as the image display unit 6a from the viewpoint of gradation expression performance. Further, it is more preferable to use a CRT having 1000 or more scanning lines, which is known as a medical high-definition CRT. preferable. It is preferable to use a CRT, a plasma display, a liquid crystal display, or the like as the image display unit 6b.
Note that the display format is not limited to the format shown in FIG. 4, and the original image and the time-series processed image are simultaneously displayed on the same display screen of the image display unit 6a as shown in FIG. 5 or FIG. 7 or 8, the time-series processed image is reduced and displayed on the same screen as the original image as shown in FIG. 7 or FIG. May be displayed simultaneously on the same display screen with the time-series processed image (original image), and various formats are assumed.
[0054]
By the way, if the alignment at the time of generating the time-series processed image (difference image) is improper, a false image may be generated due to a misalignment of a complex normal human body structure. Then, in the processed image in which such a false image has occurred, the visibility of the shadow pattern corresponding to the time-varying portion is poor, and the time-varying portion cannot be accurately interpreted, which may lower the diagnosis efficiency and the diagnosis accuracy. There is.
[0055]
Therefore, in the present embodiment, when the time-series processed image is generated or when the time-series processed image is read, it is determined whether or not the alignment processing is appropriate, and a false image is generated due to the inappropriate alignment processing. It is configured such that a processed image which may be present can be prevented from being visualized and provided to the radiologist as it is.
The determination of the suitability of the alignment process is specifically performed according to the procedure shown in the flowchart of FIG.
[0056]
First, an anatomical structure is extracted from the original image or the difference image (time-series processed image) (S11: anatomical structure extracting means), and then a partial region is set based on the extracted anatomical structure. (S12:Partial area setting means).
Then, the feature amount of the image data in the set partial area is calculated (S13: feature amount calculating means), and the suitability of the positioning process is determined based on the feature amount (S14: determining means).
[0057]
If the positioning process is inappropriate, a false image is generated in the difference image as described above. However, such a false image has a pattern in which a white shadow and a black shadow are combined, so that the false image is generated. When this occurs, the spread of the image data distribution in the difference image increases.
FIG. 17 shows the state of the difference image and the state of the image data distribution in the difference image when the positioning process is performed improperly and properly. As is clear from FIG. 17, if the alignment processing is inappropriate, a pattern in which a white shade and a black shade which do not appear when the alignment processing is performed properly occurs, thereby generating image data. The distribution will spread.
[0058]
Therefore, as the feature value, a value related to the spread of the image data distribution is calculated, and by comparing the feature value with a predetermined threshold value, it is determined whether or not the spread of the distribution that indicates the occurrence of the false image exists. The determination is made to determine whether or not the alignment processing is appropriate.
Hereinafter, the details of each processing step described above will be described.
[0059]
In the extraction of the anatomical structure (S11: anatomical structure extracting means), it is preferable to extract a lung field in a chest radiographic image, for example. This is because the suitability of the alignment in the image part to be diagnosed is important, and the suitability in other parts is not important.For example, in a chest radiographic image, the diagnosis target is usually limited to the lung field. That's because.
[0060]
The extraction of the anatomical structure may be performed on the original image or on the difference image (processed image), but it is preferable to use the original image because the normal structure is more remarkably expressed. .
However, when the original image is used, it is necessary to perform the same coordinate transformation as the coordinate transformation used in the alignment processing as necessary to correctly correspond to the anatomical structure on the difference image. is there. This is because the anatomical structure between the original image and the difference image is calculated when the feature amount of the image data of the difference image is calculated in the partial region set based on the anatomical structure extracted on the original image. This is because, if there is a misalignment, the feature amount cannot be correctly calculated in accordance with the region of the anatomical structure.
[0061]
For example, the extraction of the contour of the lung field from a chest radiographic image can be performed using a method disclosed in, for example, Japanese Patent Application Laid-Open No. 63-240832. Specifically, attention is paid only to one row or column of the image data, and a point in the one-dimensional image data sequence where the relationship with the preceding and following data is a predetermined specific pattern is defined as the row or column. And the line connecting these points is determined as the contour of the lung field, and the point and the inclination at which the specific pattern has a minimum are A point having the maximum value, a point having the minimum gradient, and the like are used.
[0062]
Further, a rectangular region including a lung field may be extracted from the chest radiographic image. As a method for extracting such a rectangular region, there is a method disclosed in, for example, JP-A-3-218578. Specifically, a projection value (cumulative value in one direction of image data) in the vertical direction of the image is obtained. The point at which the projection value becomes the minimum value is defined as the median line, and the projection value is compared with a predetermined threshold value while moving outward from the median line. Each point is determined as the left and right end of the lung field. Similarly, a projection value is determined for the horizontal direction of the image, and the upper and lower ends of the lung field are determined.
[0063]
As a method for extracting a lung field contour and a rib position from a chest radiographic image, there is a method disclosed in Japanese Patent Application Laid-Open No. 2-250180. In this method, lung field contours and rib positions are extracted based on vertical and horizontal profile information. In particular, in the extraction of ribs, the influence of the background is eliminated by polynomial approximation.
[0064]
It should be noted that the present invention is not limited to the anatomical structure extraction method described above, and that various known extraction methods can be used. After the extraction of the anatomical structure is performed as described above, a partial region for calculating the feature amount of the image data is set based on the extracted anatomical structure (S12:Partial area setting means).
[0065]
The setting of the partial area will be described by taking a chest radiographic image as an example. When the contour of the lung field is extracted, for example, as shown in FIG. Each lung field is divided into a plurality of parts and each is set as a partial area.
That is, FIG. 10A shows an example in which the extracted right and left lung regions are each set as a partial region, and two partial regions are set.
[0066]
FIG. 10B shows an example in which the extracted right and left lung regions are each divided into two in the vertical direction, and four partial regions are set.
FIG. 10C shows an example in which the extracted right lung and left lung regions are each divided into three in the vertical direction, and six partial regions are set.
Further, in the example shown in FIG. 10 described above, the entire region of the lung field is defined as a partial region, but a configuration in which a part of the lung field is defined as a partial region may be employed. For example, as illustrated in FIG. 11 or FIG. Alternatively, an area smaller than the lung field around the center of the lung field may be set as a partial area.
[0067]
In the example shown in FIG. 11, an elliptical area having a shape and size set in advance around the center of the lung field is set as a partial area, and in the example shown in FIG. A rectangular area having the set shape and size is set as a partial area.
The central part of the lung field used when setting the elliptical or rectangular partial region in the lung field is an equal dividing line in the vertical direction based on the upper and lower ends of the left and right lung fields when extracting the contour of the lung field. The intersection point between the right and left ends and the left and right equal dividing lines may be set as the center, or the center of gravity of the left and right lung fields may be determined and set as the center. When a rectangular area including a lung field is extracted, as shown in FIG. 13, a line dividing the rectangular area evenly in the vertical direction, a line of 1/4 of the left and right width from the left end of the rectangular area, and 3 The point where the / 4 line intersects can be set as the center of the left and right lung fields, respectively.
[0068]
In the above embodiment, an anatomical structure is extracted and a partial region is set based on the extracted anatomical structure, such as a lung field region in a chest radiographic image. As shown in (a), (b), and (c), at least one rectangular area may be set in advance, and the rectangular area may be set as a partial area common to each processed image.
[0069]
FIGS. 14A and 14B show a case where an image region is divided into a plurality of regions by vertical and horizontal grids, and each region is a partial region for calculating a feature amount, and an example shown in FIG. Shows an example in which a central region excluding a peripheral portion which is likely to be excluded from the difference processing in the coordinate conversion in the positioning process is set as a partial region.
After the partial area is set, a value related to the spread of the image data distribution is calculated as a feature amount for each partial area on the difference image based on the image data in the partial area (S13: feature amount calculation). means).
[0070]
As the feature amount, the variance value, the standard deviation value, the sum of absolute values of the difference between the average value and each image data, the sum of the square values of the difference between the average value and each image data, and the cumulative histogram are a%. The difference between the signal value and the signal value to be b% (a and b% are constants set in advance), and the image data having an appearance frequency of half or more of the maximum frequency at the peak where the appearance frequency is highest on the histogram. The width (half width shown in FIG. 15) or the like may be calculated.
[0071]
In the calculation of the feature amount, even if the number of pixels is reduced by performing the thinning process, the distribution of the image data does not change significantly. Therefore, the calculation load may be reduced by performing the thinning process.
In addition, a process of subtracting the image data resulting from performing a low-order function approximation such as a linear function on the pixels in the partial region from the original image data is performed, thereby performing irradiation X-ray unevenness and film development. The feature amount may be calculated after removing low spatial frequency components that are not related to pathological aging due to unevenness or the like.
[0072]
When the feature amount indicating the spread of the distribution of the image data is calculated for each partial area as described above, the width of the distribution of the image data is equal to or larger than a predetermined value by comparing the feature amount with a predetermined threshold. Whether or not the position alignment process is appropriate is determined based on whether or not (S14: determination means).
If the false image is generated due to improper alignment, the distribution of the image data is widened as described above. For example, the distribution of the image data is determined to be large or small by comparing the feature amount with a threshold, and the spread of the distribution is determined. If so, it is determined that the positioning process is inappropriate, and if the spread of the distribution is less than a predetermined value, it is determined that the positioning process has been properly performed.
[0073]
Also, by determining the spread of the distribution in three stages using two threshold values, the suitability of the positioning process may be determined in three stages, for example, “optimal”, “appropriate”, and “unsuitable”.
Further, the suitability of the positioning process may be represented by a score, and for example, a higher score may be given as the positioning process is more appropriate within 1 to 10 points.
[0074]
Further, when the feature value is calculated for each of the plurality of partial regions, the appropriateness of the alignment processing is determined by comparing the feature value and the threshold value for each of the partial regions, and the determination result is output for each of the partial regions. Although a configuration may be adopted, a configuration may be employed in which a comprehensive determination result is generated according to a predetermined rule based on the determination results for each of the plurality of partial regions.
For example, as shown in FIG. 10A, when the right lung region and the left lung region are each set as a partial region, and the determination is performed on each of the partial regions, and two determination results are output, the 2 Based on one determination result, one determination result can be finally derived as to the entire image.
[0075]
Also, as shown in FIG. 10c), the right lung region and the left lung region are each divided into three regions to set six partial regions as a whole, and six determination results are obtained in each of the six partial regions. Is issued, one determination result corresponding to the right lung is derived from the three determination results in the three partial regions of the right lung. Similarly, one determination result is derived from the three determination results for the left lung. What should I do?
[0076]
As a method of generating one comprehensive determination result from a plurality of determination results, for example, when M determination results are obtained by determination in each of the M partial areas, N (<M) or more If the determination of “suitable” has been made, the configuration may be such that the determination of “suitable” is made as the overall determination result.
For example, in the example shown in FIG. 10A, since M = 2, N = 1, and if at least one of the lungs is “appropriate”, it is determined that the alignment processing is appropriate as a comprehensive determination. good.
[0077]
Further, in the example shown in FIG. 10C, when the final determination result is output for each of the left and right lungs as described above, M = 3 because each lung field is divided into three regions, and N If = 2, if at least two of the three regions are "suitable", "suitable" will be output as the final determination result in the relevant lung field.
Furthermore, when the suitability is represented by a score, it can be configured to make a comprehensive determination based on the total or average value of the scores given to each partial area, and the overall determination result is also used as a score. The final suitability may be expressed in two stages of “appropriate” or “inappropriate” or “optimal” “appropriate” or “appropriate” by comparing the sum or average value of the points given to each partial area with a threshold value. The determination may be made in three stages of “improper”.
[0078]
Here, when it is determined that the alignment processing has been appropriately performed, the difference image as the time-series processed image is displayed as it is, so that an image in which the temporally changed portion is emphasized is provided to the radiologist, and It is possible to easily confirm the changed portion, and to improve the diagnosis accuracy and the diagnosis efficiency.
On the other hand, in the difference image determined to be inappropriate in the positioning process, a false image is generated due to the inappropriate positioning, and the visibility of the shadow pattern corresponding to the temporally changed portion is deteriorated. Since there is a high possibility, even if the difference image is displayed as it is, the diagnostic efficiency and the diagnostic accuracy will not be improved, but rather the efficiency and the accuracy may be reduced.
[0079]
Therefore, it is preferable to select a display format of the difference image for the image display unit based on the determination of the suitability.
For example, in the case of a configuration in which only one overall determination result is made for the entire image, and when it is determined that the alignment processing is appropriate for the entire image, for example, as shown in FIG. An image) and a difference image (time-series processed image) are displayed side by side and a display format is selected (display format selection means), and the original image and the difference image are displayed side by side and simultaneously displayed according to the display format (image display means).
[0080]
On the other hand, when it is determined that the alignment processing is inappropriate for the entire image, the display of the difference image calculated under the inappropriate alignment processing is stopped (display format selection means), and only the original image is displayed. (Image display means) It is possible to avoid that a temporally changed portion is erroneously recognized by a difference image in which a false image has occurred.
Here, when the display of the difference image is stopped, a past time-series image based on the difference image may be displayed instead of the difference image, or a notification that the positioning has been inappropriate is made. A message may be displayed.
[0081]
Further, when a plurality of determination results are given as the overall determination result, the difference image may be displayed only for the region (partial region or set of partial regions) for which the alignment processing has been determined to be appropriate. .
For example, in a chest radiographic image, when a comprehensive determination result for the right lung and a comprehensive determination result for the left lung are issued, and only one of the left and right is determined to be “appropriate”, As shown in FIG. 16, only the lung field for which the appropriate determination has been made is displayed as a difference image.
[0082]
When a means for outputting a hard copy, such as a laser film printer or a thermal printer, is provided, the recording format of the hard copy is selected in the same manner as the selection of the display format (recording format selection means), and the selection is made according to the selection. The hard copy means may make a hard copy.
That is, for a difference image in which the registration processing is inappropriate and a false image is expected to be generated, the output to the hard copy is stopped and a blank image is left, or the original image or message is recorded instead. What should I do?
[0083]
By the way, the difference image is provided by providing an image in which the time-varying portion is emphasized, thereby facilitating the identification of the time-varying portion to be noticed on the original image (diagnosis target image). The image may be binarized so that the temporally changed portion is further enhanced and displayed.
That is, by binarizing the difference image by comparing each image data of the difference image with a predetermined threshold, an unnecessary image portion caused by a slight positional shift in the alignment process performed prior to the difference process is removed. Will be done. Therefore, a region in which a plurality of pixels equal to or more than a threshold value corresponding to the time-varying portion is obtained is obtained, a labeling process for discriminating each region is performed, and a time-varying region having a predetermined size or more is extracted. For example, it may be represented by a fill pattern.
[0084]
Furthermore, by adding the filled pattern representing the aging portion to the original image, the aging portion in the original image can be easily confirmed. If the added image is displayed side by side with the original image at the same time, the original image can be displayed. It is easy to identify a temporally changed portion on the image, and it is possible to improve diagnosis accuracy and diagnosis efficiency by observing the original image.
Also in this case, based on the determination result of the suitability of the alignment processing, the area for extracting the time-varying area is limited to the area where the alignment processing is appropriately performed, or the alignment processing is appropriately performed. It is sufficient that the addition of the filling pattern is performed only in the region where the filling is performed.
[0085]
Note that the extraction of the time-varying portion and the addition of the fill pattern indicating the extracted area correspond to a post-processing unit in the present embodiment.
Further, in response to the determination result of the suitability of the positioning process, the positioning process and the difference process may be performed again on the region or the image determined to be inappropriate. When performing the alignment processing again, in order to perform the appropriate alignment processing, the method of the alignment processing is switched to a method that can perform the calculation with higher accuracy although the calculation load is increased, or the parameter input is performed again. Or let them do it.
[0086]
In addition, when the normal alignment processing is performed as an automatic processing, only a part of the opening degree alignment processing is replaced with a processing including a parameter adjustment by a manual input, and the user's knowledge and It may be a semi-automatic process incorporating judgment.
On the other hand, when the difference image is stored in the storage unit 1 as the image storage unit, it is not necessary to store the image data of the image or the area for which the alignment processing was inappropriate. Therefore, when the suitability of the alignment processing is lowered by one for the entire image, the image data is saved only when it is determined that the image data is appropriate, and when it is determined that the image data is inappropriate, The storage of the image data is canceled (storage data selection means). Further, when a plurality of comprehensive determination results are obtained, only the image data in the area determined to be appropriate for the alignment processing may be stored (storage data selection means).
[0087]
Further, instead of selecting the image data to be stored based on the determination result of the suitability of the alignment processing as described above, the configuration may be such that the determination result or the feature amount used for the determination is stored in association with the difference image. Good (determination result storage means). Here, the determination result to be stored may be a determination result for each partial area, or may be a comprehensive determination result based on these.
[0088]
According to this configuration, every time the difference image is read, it is not necessary to calculate the characteristic amount and determine the suitability based on the characteristic amount.
[0089]
As described above, according to the image processing apparatus according to the first or second aspect of the present invention, a partial region for calculating a feature amount of image data is set based on an anatomical structure of a human body such as a lung field. In a radiographic image for diagnosis, there is an effect that it is possible to appropriately reverse the suitability of the alignment in a portion largely related to the diagnostic performance.
Further, when extracting an image in which a portion that has changed with time is emphasized by a positioning process and a difference process between time-series images, it is possible to determine whether or not the positioning process has been properly performed.
[0092]
According to the image processing apparatus of the third aspect, the configuration is such that the inter-image arithmetic processing is determined for each of the plurality of partial areas and is output directly as the determination result for each partial area. The effect is that the result can be used.
[0093]
According to the image processing apparatus of the fourth aspect of the present invention, the suitability of the inter-image calculation processing is determined for each of the plurality of partial areas, but ultimately a comprehensive determination result is made based on these determination results. With the configuration, there is an effect that a determination result can be obtained in a wider area including a plurality of partial areas.
According to the image processing apparatus of the fifth aspect, the image display format is selected based on the determination result of the suitability of the inter-image calculation processing. There is an effect that it is possible to prevent an inappropriate processed image from being provided to the radiologist by not displaying the area.
[0094]
According to the image processing apparatus of the present invention, the recording format in the hard copy is selected based on the determination result of the appropriateness of the inter-image calculation processing. Alternatively, it is possible to prevent a partial region from being hard-copied, thereby preventing an inappropriately processed image from being provided to an image reader.
[0095]
According to the image processing apparatus of the present invention, the post-processing is performed based on the suitability of the inter-image arithmetic processing. Further, in the configuration in which the post-processing for extracting the temporally changed portion from the processed image is performed, there is an effect that it is possible to prevent the process-changed portion from being extracted from the processed image whose positioning is inappropriate.
[0096]
According to the image processing apparatus of the present invention, when storing the processed image data, the stored data is selected according to the suitability of the inter-image arithmetic processing. There is an effect that it is possible to avoid that the image data of the processed image is stored as it is.
According to the image processing apparatus of the ninth aspect of the present invention, the determination result of the propriety of the inter-image arithmetic processing is stored in association with the processed image data. Reading at the same time has the effect that it is not necessary to repeat the determination of suitability.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a state of a difference process in the embodiment.
FIG. 3 is a flowchart illustrating a state of a difference process in the embodiment.
FIG. 4 is a diagram showing an example of a display form of an original image and a difference image.
FIG. 5 is a view showing an example of a display mode of an original image and a difference image.
FIG. 6 is a diagram showing an example of a display form of an original image and a difference image.
FIG. 7 is a view showing an example of a display form of an original image and a difference image.
FIG. 8 is a diagram showing an example of a display form of an original image and a difference image.
FIG. 9 is a flowchart illustrating a state of determining whether or not the positioning process is appropriate.
FIG. 10 is a diagram showing a state of setting a partial area based on a result of extracting a lung field.
FIG. 11 is a view showing a state of setting a partial area based on a result of extracting a lung field.
FIG. 12 is a view showing a state of setting a partial area based on a result of extracting a lung field.
FIG. 13 is a diagram showing an example of setting a point at the center of a partial region in a lung field.
FIG. 14 is a diagram showing an example of a preset partial area.
FIG. 15 is a diagram illustrating an example of a feature amount of image data.
FIG. 16 is a diagram showing an example of a display format based on a determination as to whether the alignment process is appropriate.
FIG. 17 is a diagram showing the occurrence of a false image and the spread of image data distribution depending on whether or not the alignment processing is appropriate.
[Explanation of symbols]
1 Image storage unit
2 Image information storage
3 Image Management Department
4 Operation console
5 Image processing unit
6a, 6b Image display unit
7a, 7b Image memory
8a, 8b display control unit
9 Transfer control unit
A, B image display unit

Claims

Same body part der is, in different tests, the plurality of time-series image including a common object portion taken to different times, an alignment process for aligning a common object portion, the alignment An image processing apparatus that determines whether the alignment processing is appropriate for a processed image that has been subjected to an inter-image calculation process including at least a difference process between a plurality of time-series images that have been processed,
Anatomical structure extracting means for extracting the anatomical structure of the human body from the processed image or the time-series image,
Partial area setting means for setting at least one partial area in the anatomical structure extracted by the anatomical structure extracting means;
Feature value calculating means for calculating a value relating to the spread of image data distribution in the processed image in the area for each partial area set by the partial area setting means;
Comparing a value related to the spread of the image data distribution calculated by the feature amount calculating unit with a predetermined threshold, and determining whether the alignment process is appropriate;
An image processing apparatus comprising:

Same body part der is, in different tests, and alignment processing means for aligning treatment of a common object portion among a plurality of time-series image including a common object portion taken from each other at different times,
A difference processing unit that performs difference processing between the plurality of time-series images on which the positioning processing has been performed by the positioning processing unit, and outputs the difference processed image as a processed image;
Anatomical structure extracting means for extracting the anatomical structure of the human body from the processed image or the time-series image,
Partial area setting means for setting at least one partial area in the anatomical structure extracted by the anatomical structure extracting means;
Feature value calculating means for calculating a value relating to the spread of image data distribution in the processed image in the area for each partial area set by the partial area setting means;
Comparing a value related to the spread of the image data distribution calculated by the feature amount calculating unit with a predetermined threshold, and determining whether the alignment process is appropriate;
An image processing apparatus comprising:

The method according to claim 1, wherein the determining unit determines whether the inter-image calculation process is appropriate for each of the plurality of partial regions, and outputs a plurality of appropriateness determination results corresponding to each of the partial regions as a final determination result. The image processing device according to any one of claims 1 and 2.

The determining means determines whether or not the inter-image calculation means processing is appropriate for each of a plurality of partial areas, and generates a comprehensive suitability determination result according to a predetermined rule based on the plurality of suitability determination results. The image processing apparatus according to claim 1, wherein the suitability determination result is output as a final determination result.

A display format selection unit that selects a display format of the processed image from a plurality of preset image display formats based on the determination result of the inter-image arithmetic processing by the determination unit;
Image display means for displaying the processed image based on the display format selected by the display format selection means,
The image processing apparatus according to claim 1, further comprising:

A recording format selection unit that selects a recording format of the processed image from a plurality of hard copy recording formats set in advance based on a determination result as to whether the inter-image calculation process is performed by the determination unit,
Making a hard copy of the processed image based on the recording format selected by the recording format selection means; Hard copy means,
The image processing apparatus according to claim 1, further comprising:

7. The post-processing device according to claim 1, further comprising a post-processing unit that performs post-processing on the processed image based on a result of the determination by the determining unit that the inter-image calculation unit is appropriate. Image processing device.

Image storage means for storing the processed image data,
Storage data selection means for selecting processing image data to be stored in the image storage means, based on the determination result of the inter-image arithmetic processing by the determination means;
The image processing apparatus according to claim 1, further comprising:

The image according to any one of claims 1 to 8, further comprising: a determination result storage unit configured to store an appropriateness determination result of the inter-image arithmetic processing by the determination unit in association with the processed image data. Processing equipment.