JP5349239B2 - 医用画像表示装置 - Google Patents

Description

本発明は、医用画像情報をシリーズ毎にリストにして表示する際、各々のシリーズ毎に画像種別に応じた動画サムネイルを生成して動画サムネイルのリストとして表示することができる医用画像表示装置に関する。

従来の医用画像診断システムにおいて、データベースに記憶されている医用画像情報を表示する際、検査情報やシリーズ情報については文字情報によるリスト表示を行い、画像情報については文字情報によりリスト表示するか静止画のサムネイル画像を用いてリスト表示するかしていた。

また、医用画像診断システム上で臨床アプリケーションプログラムを用いた診断等が行われる際、使用される臨床アプリケーションプログラムに対応可能な元画像の選定が必要になるため、画像選択アプリケーションプログラムを用いて検査に含まれる全ての医用画像をサムネイル表示した上で、ユーザが診断に使用する医用画像を選定していた。これは、ユーザにとって直感的な判別が難しく面倒な作業だった。

そこで、例えば、医用画像の監察時に、表示中の医用画像に対して関連する処理を実施するとともに、表示画面上のソフトキーに起因する不都合を解消できる医用画像表示装置が提案されている（特許文献１参照）。この医用画像表示装置は、画像表示領域が定義された医用画像表示画面を表示する表示部と、医用画像の画像データを記憶する画像データ記憶部と、画像表示領域の組み合わせと医用画像の画像データに対する処理内容とを関連付ける処理内容関連情報を記憶する情報記憶部と、操作部と、画像表示領域に表示された２つの医用画像が、操作部を用いてそれぞれ指定されたときに、当該２つの医用画像の少なくとも一方の画像データに対し、処理内容関連情報により関連付けられた処理内容を実行させる制御部とを備えたものである。

特開２００７−２８２６５６号公報

医用画像診断システムにおいて医用画像をシリーズ毎に表示する際に、従来は状況に応じてサムネイル表示を用いた表示方法が利用されてきた。しかし、近年の医用画像診断システムにおいて、昨今の医用画像収集装置の進化に伴い１回の検査で収集される画像枚数が以前に比べて格段に増幅しているとともに画像種別（収集方法）が以前に比べて格段に多様化していること、加えて、臨床アプリケーションプログラムの進化によって、多様な２次画像や診断用画像が生成されること、さらに、単一モダリティで収集された医用画像だけで診断するのではなく、超音波−ＣＴやＰＥＴ−ＣＴなどに代表されるようにモダリティ毎の特長を活かした医用画像を収集して組み合わせて診断することが多くなってきたことによって、マルチモダリティの医用画像情報を扱うことが一般的になってきた。それらにより、医用画像診断システムで扱う１回の検査当りのシリーズ数及び１つのシリーズ当りの画像数は、増加の一途を辿っている。

この様な状況下で、各々のシリーズのリストを文字情報で表示した場合、１回の検査により取得された多数のシリーズからユーザが所望のシリーズを探し出すことが困難となり、さらにマルチモダリティを扱う環境では、収集されたモダリティ（ＣＴ，ＭＲ，ＸＲ，ＵＬ，ＰＥＴなど）毎に重要なシリーズ情報が異なるため、リスト表示したい情報量は必然的に多くなってしまう。よってモダリティ毎に特化していて固有のモダリティでしか存在しない情報などは、他のモダリティにおけるリストが空欄状態になってしまうことも少なくない。よって、Ｘ線の情報などの多様な医用画像情報を１行の文字情報で表示することは困難であり、必要な情報をタイムリーに提供することが難しくなってきている。同様に、画像選択時のサムネイル一覧表示でも、より多くの画像情報を一度に表示しなければならないためにサムネイル１枚辺りのサイズが小さくなってしまうことで、ユーザが画像の判別をし難くなってしまい、少なからずユーザに負担が掛かっている。

本発明はこのような事情を考慮してなされたもので、１回の検査で取得された医用画像のシリーズ群をリスト表示する際に、各々のシリーズの画像群から画像種別に応じた動画サムネイルを生成して、動画サムネイルのリストとして表示することで、ユーザが各々のシリーズに含まれる画像群を容易に判別することができる医用画像表示装置を提供することを目的とする。

本発明に係る医用画像処理装置は、医用画像診断装置により取得された医用画像の画像群をシリーズ毎に取得する取得手段と、前記取得手段により取得された各々のシリーズの画像種別を判別する判別手段と、判別手段により判別された画像種別に基づいて、各々のシリーズ毎に医用画像情報の画像群から動画サムネイルを生成する生成手段と、前記生成手段により生成された各々のシリーズの動画サムネイルをリストとして動画で表示させる表示手段とを備えたことを特徴とする。

本発明に係る医用画像処理装置によると、１回の検査で取得された医用画像のシリーズ群をリスト表示する際に、各々のシリーズの画像群から画像種別に応じた動画サムネイルを生成して、動画サムネイルのリストとして表示することで、ユーザが各々のシリーズに含まれる画像群を容易に判別することが可能となる。

本発明に係る医用画像診断装置の機能を示すブロック図。 本発明に係る医用画像診断装置が動画サムネイル表示処理を行う際の手順を示すフローチャート。 画像種別判別テーブルの一例を示す図。 動画サムネイルリスト画面を示す画面図。 本発明に係る医用画像診断装置がユーザ操作制御処理を行う際の手順を示すフローチャート。 処理項目を選択するためのメニュー画面を示す画面図。 本発明に係る医用画像診断装置がオーバーレイ処理を行う際の手順を示すフローチャート。 （Ａ）は、オーバーレイ処理を行う前の医用画像を示す画面図、（Ｂ）は、オーバーレイ処理を行った後の医用画像を示す画面図。 動画サムネイルリスト画面を示す画面図。 本発明に係る医用画像診断装置がファイル操作制御処理及び臨床アプリケーション起動処理を行う際の手順を示すフローチャート。 本発明に係る医用画像診断装置がユーザ操作制御処理を行う際の手順を示すフローチャート。 （Ａ）は、移動処理を行う前の動画サムネイルリスト表示画面を示す画面図、（Ｂ）は、移動処理を行った後の動画サムネイルリスト表示画面を示す画面図。 処理項目を選択するためのメニュー画面を示す画面図。 本発明に係る医用画像診断装置が同期再生処理を行う際の手順を示すフローチャート。 動画サムネイルリスト画面を示す画面図。 同期再生条件を選択するためのメニュー画面を示す画面図。 本発明に係る医用画像診断装置がフュージョン処理を行う際の手順を示すフローチャート。 動画サムネイルリスト画面を示す画面図。

本発明に係る医用画像表示装置の実施形態を、添付図面に基づいて詳細に説明する。図１は、本発明に係る医用画像表示装置１の機能を示すブロック図である。医用画像表示装置１は、例えば医用画像診断装置などにより撮影された医用画像のシリーズ画像群を表示する装置である。シリーズ画像群は、連続的に撮影された複数の静止画から構成されている。

医用画像表示装置１は、図１に示すように、表示対象の医用画像情報を検査毎に管理する医用画像情報リスト管理部１１、医用画像情報を総括的に管理する医用画像情報管理部１２、医療画像情報を取得して保持する医用画像情報保持部１３、医用画像情報を多数記憶している医用画像情報データベース３ａ、検査リストを提示してユーザに検査の選択を促す医用画像情報リスト表示部１４、サムネイルリストの表示を総括的に管理するサムネイル表示管理部１５、シリーズ画像群の画像種別を判別する画像種別判断部１６、シリーズ画像群から動画サムネイルを生成する動画サムネイル処理部１７ａ、１７ｂ、…、サムネイルリストを表示するサムネイル表示部１８、動画サムネイルに文字情報を重ねて表示するオーバーレイ情報処理部１９、複数の動画サムネイルを融合するフュージョン画像処理部２０、複数の動画サムネイルを同期再生する同期再生処理部２１、及び、ユーザによるサムネイル操作を総括的に管理するサムネイル操作管理部２２を備えている。

また、医用画像表示装置１は、外部に設けられた医用画像情報データベースＤに接続されている。この医用画像情報データベースＤは、医用画像の画像データを多数記憶しているデータベースである。医用画像情報保持部１３は、医用画像情報を取得する際、医用画像情報データベース１３ａから取得しても良く、医用画像情報データベースＤからを取得しても良い。

医用画像表示装置１は、例えば１回の検査で取得された医用画像情報のシリーズ群をリスト表示する際に、シリーズ毎に画像種別に基づいて画像群から動画サムネイルを生成して、動画サムネイルでリスト表示する機能を備えている。この機能により、ユーザは各シリーズに含まれる画像群を容易に判別することができる。

また医用画像表示装置１は、各々の動画サムネイル上にシリーズ情報などの文字情報を重ねて表示する（オーバーレイ表示する）機能を備えている。この機能により、ユーザが医用画像情報に文字情報を付加して表示させたい場合や、マルチモダリティ環境にて複数の画像種別の画像群が混在している場合などに、ユーザによるデータの判別／選択が容易になり、ユーザの負担を軽減することができる。

さらに医用画像表示装置１は、ユーザの入力操作に基づいて、動画サムネイルリスト上で各々の動画サムネイルに対して以下の（１）乃至（４）の処理を行う機能を備えている。

（１）表示位置移動：動画サムネイルリストにおいて、各々のシリーズの動画サムネイルを容易に並べ替えて表示させる処理
（２）関心画像選択：動画サムネイルリストから任意のシリーズの動画サムネイル（画像、画像群）を選択させる処理
（３）フュージョン：ユーザにより選択された２つのシリーズの動画サムネイルを同一の動画サムネイル上で融合させて表示させる処理
（４）同期再生：ユーザにより選択された複数のシリーズの動画サムネイルを各々の動画サムネイルにおいてそれぞれ同期再生させる処理
始めに、医用画像表示装置１が各々のシリーズの画像群を用いて動画サムネイルを生成して、生成された動画サムネイルのリストを表示させる動画サムネイル表示処理を行う際の手順を、図２に示すフローチャートに基づいて詳細に説明する。以下、例えば「ステップＳ１０１」を「Ｓ１０１」のように、「ステップ」の語句を省略して説明する。

まず、医用画像表示装置１において、医用画像情報リスト管理部１１は、ユーザからの医用画像情報の検査リスト表示要求を受けると、医用画像情報管理部１２へ検査情報取得を要求する（Ｓ１０１）。要求を受けた医用画像情報管理部１２は、医用画像情報保持手段１３に検査情報を要求する（Ｓ１０３）。医用画像情報保持手段１３は、要求に応じて検査情報を医用画像情報保持手段１３に送信して、医用画像情報保持手段１３はこの検査情報を取得する（Ｓ１０５）。そして医用画像情報保持手段１３は、医用画像情報リスト管理部１１に検査情報を送信する（Ｓ１０７）。検査情報を受取った医用画像情報リスト管理部１１は、検査リストを作成し、医用画像情報リスト表示部１４に検査リストを表示させる（Ｓ１０９）。

ユーザは、医用画像情報リスト表示部１４に表示された検査リストから診断を行う目的の検査を選択し、シリーズ情報の表示を要求する（Ｓ１１１）。ユーザにより検査が選択されると、医用画像情報リスト表示部１４はその検査のシリーズ情報の表示要求を受けたものと判断して、サムネイル表示管理部１５に選択された検査に属するシリーズ情報表示を要求する（Ｓ１１３）。要求を受けた医用画像情報リスト管理部１１は、指定された検査情報を元に医用画像情報保持手段１３にその検査に属するシリーズ情報の取得を要求する（Ｓ１１５）。医用画像情報管理部１２は、サムネイル表示管理部１５からそのシリーズ情報を取得する（Ｓ１１７）。医用画像情報保持手段１３は、サムネイル表示管理部１５にシリーズ情報を送信する（Ｓ１１９）。

サムネイル表示管理部１５は、取得したシリーズ情報を元にサムネイルの作成要求に必要な画像種別を取得するために、画像種別判断部１６に各々のシリーズの画像種別の問い合わせを行う（Ｓ１２１）。画像種別判断部１６は問い合わせを受けたシリーズの画像種別を判別し、サムネイル表示管理部１５に画像種別を送信する（Ｓ１２３）。

サムネイル表示管理部１５は、画像種別判断部１６から画像種別を取得すると、この画像種別に応じたサムネイルを作成するために、複数の動画サムネイル処理部１７ａ、１７ｂ、…のうちの、その画像種別に対応する動画サムネイル処理部１７ａ、１７ｂ、…（たとえば第１の動画サムネイル処理部１７ａ）に動画サムネイルの作成を要求する（Ｓ１２５）。

図３は、動画種別判別テーブル３０の一例を示す図である。動画種別判別テーブル３０は、図３に示すように、画像種別情報３１に対して、その画像の表示方法を示す表示方法情報３２、その画像のサムネイルを作成するためのアプリケーションプログラムを示すサムネイル作成アプリ情報３３がそれぞれ対応付けられたテーブルである。画像種別は、「ＣＴ−Ａｘｉａｌ，ＭＰＲ」、「ＣＴ−３Ｄ」、「ＣＴ−４Ｄ」、「ＰＥＴ−Ｓｐｅｃｔ」、「ＭＲ−Ａｘｉａｌ，ＭＰＲ」、「ＭＲ−３Ｄ」、「ＵＳ動画」などがある。表示方法は、静止画を連続表示させる「Ｃｉｎｅ表示」、ボクセル画像を回転表示させる「回転表示」、３Ｄ画像を時間経過に合わせて表示させる「Ｄｙｎａｍｉｃ表示」、動画を再生表示する「動画表示」などがある。例えば図３によると、「ＣＴ−Ａｘｉａｌ，ＭＰＲ」の画像種別情報３１に対して、「Ｃｉｎｅ表示」の表示方法情報３２、「ＣＴ−Ｃｉｎｅ」のサムネイル生成アプリ情報３３がそれぞれ対応付けられている。これは、画像種別が「ＣＴ−ＡＸｉａｌ，ＭＰＲ」であった場合には、そのシリーズはＣＴ−Ｃｉｎｅのアプリケーションプログラムを用いて動画サムネイルが生成されてＣｉｎｅ表示の表示方法で表示されることを意味する。

サムネイル表示管理部１５は、ステップＳ１２５にて、動画種別判別テーブル３０においてそのシリーズの画像種別に対応付けられた表示方法でサムネイル動画が表示されるような動画生成処理方法を選択し、その選択された処理方法によってそのシリーズの画像群から動画サムネイルを生成することができる動画サムネイル処理部１７ａ、１７ｂ、…に対して動画サムネイルの作成を要求する。

第１の動画サムネイル処理部１７ａは、指定されたシリーズ情報を元にシリーズに属する画像群を医用画像情報保持手段１３に要求する（Ｓ１２７）。医用画像情報保持手段１３は、そのシリーズに属する画像群を抽出して第１の動画サムネイル処理部１７ａに送信する（Ｓ１２９）。第１の動画サムネイル処理部１７ａは、取得した画像群を用いて画像種別に応じた動画サムネイルを生成する（Ｓ１３１）。この際、第１の動画サムネイル処理部１７ａは、動画種別判別テーブル３０において、そのシリーズの画像種別に対応付けられた表示方法でサムネイル動画が表示されるような動画生成処理方法によってそのシリーズの画像群から動画サムネイルを生成する。

そして第１の動画サムネイル処理部１７ａは、サムネイル表示管理部１５に生成した動画サムネイルを送信する（Ｓ１３３）。サムネイル表示管理部１５は、第１の動画サムネイル処理部１７ａから取得したサムネイルをサムネイル表示部１８に表示させる（Ｓ１３５）。

次に、サムネイル表示管理部１５は、画像種別判断部１６に次のシリーズに対して画像種別の問い合わせを行う（Ｓ１２１）。画像種別判断部１６はそのシリーズに画像種別を判別し、サムネイル表示管理部１５に画像種別を送信する（Ｓ１２３）。

サムネイル表示管理部１５は、次のシリーズに対して、画像種別に応じた動画サムネイルを作成するために、動画種別判別テーブル３０においてそのシリーズの画像種別に対応付けられた表示方法でサムネイル動画が表示されるような動画生成処理方法を選択し、その選択された処理方法によってそのシリーズの画像群から動画サムネイルを生成することができる動画サムネイル処理部（たとえば第２の動画サムネイル処理部１７ｂ）に動画サムネイルの作成を要求する（Ｓ１２５）。

第２の動画サムネイル処理部１７ｂは、指定されたシリーズ情報を元にシリーズに属する画像群を医用画像情報保持手段１３に要求する（Ｓ１２７）。医用画像情報保持手段１３は、そのシリーズに属する画像群を抽出して第２の動画サムネイル処理部１７ｂに送信する（Ｓ１２９）。第２の動画サムネイル処理部１７ｂは、取得した画像群を用いて画像種別に応じた動画サムネイルを生成する（Ｓ１３１）。この際、第２の動画サムネイル処理部１７ｂは、第１の動画サムネイル処理部１７ａと同様に、動画種別判別テーブル３０において、そのシリーズの画像種別に対応付けられた表示方法でサムネイル動画が表示されるような動画生成処理方法によってそのシリーズの画像群から動画サムネイルを生成する。

そして第２の動画サムネイル処理部１７ｂは、サムネイル表示管理部１５に生成した動画サムネイルを送信する（Ｓ１３３）。サムネイル表示管理部１５は、第２の動画サムネイル処理部１７ｂから取得したサムネイルをサムネイル表示部１８に表示させる（Ｓ１３５）。

図４は、各々のシリーズに属する画像群を、ステップＳ１３１にて生成された動画サムネイルで表示した動画サムネイルリスト画面４０を示す画面図である。図４に示すように、動画サムネイルリスト画面４０には、各々の画像群から生成された動画サムネイル４１が、それぞれ「Ｃｉｎｅ表示」、「回転表示」、「ダイナミック表示」など最適な表示方法で表示される。

このように医用画像表示装置１において、各々のシリーズの画像群に対してステップＳ１２１乃至Ｓ１３５の処理が行われ、各々のシリーズの動画サムネイルが画像種別が考慮されて順次生成されて表示されていく。これにより、指定された検査に属するシリーズ画像群の動画サムネイルリストが表示される。

医用画像表示装置１は、医用画像情報のリストを表示する際に従来の医用画像表示装置と異なりシリーズ画像群のサムネイル表示を行うことで、検査下に大量かつ多様なシリーズ群が含まれている場合でも、ユーザがサムネイル画像を見るだけで直感的に個々のシリーズの種別を判別することができる。また医用画像表示装置１は、動画サムネイルを用いてシリーズに含まれる画像群を表示する際に画像種別に応じた表示方法で表示するため、複数の画像群の画像種別が類似している場合であっても、ユーザがそれぞれの違いを容易に判別することができる。

ステップＳ１０１乃至Ｓ１３５に処理によりサムネイル表示部１８に動画サムネイルリストが表示された状態で、いずれかの動画サムネイルが選択されてユーザの操作がされると、医用画像表示装置１は、その動画サムネイルのシリーズに対してその操作に応じた処理を行う。医用画像表示装置１がこのユーザ操作制御処理を行う際の手順を、図５に示すフローチャートに基づいて説明する。

ユーザは、いずれかのシリーズに対して何らかの処理を行いたい場合に、マウスやキーボードなどの入力装置を用いて、その所望の動画サムネイルを選択する（Ｓ２０１）。医用画像表示装置１のサムネイル操作管理部２２は、いずれかの動画サムネイルが選択されると、その動画サムネイルに対して施すことができる処理を抽出して、リストとしてサムネイル表示部１８に表示させるメニュー表示を行う（Ｓ２０３）。図６は、サムネイル表示部１８に表示される表示メニュー４２を示す図である。図６に示すように、表示メニュー４２において、「ファイル操作」、「臨床アプリケーション」、「オーバーレイ表示」、「同期表示」、「フュージョン」などの複数の処理項目４３が選択可能に表示される。また「ファイル操作」は、「コピー」、「削除」、「保護」などに細分化されている。また、例えば「臨床アプリケーション」の処理項目４３が選択された場合には、「ＭＰＲ」、「ＭＩＰ」などの臨床アプリケーション項目４５を含んだメニュー画面４４が表示される。ユーザは、マウスやキーボードなどの入力装置を用いて、この表示メニュー４２から所望の処理項目４３を選択する。

サムネイル操作管理部２２は、ステップＳ２０３にて表示させた表示メニューからいずれの処理項目が選択されたか判断する（Ｓ２０５）。ステップＳ２０５にて「オーバーレイ表示」が選択された場合は、オーバーレイ情報処理部１９が後述するオーバーレイ表示処理を行う（Ｓ２０７）。また、ステップＳ２０５にて「臨床アプリケーション起動」が選択された場合は、サムネイル操作管理部２２が後述する臨床アプリケーション起動処理を行う（Ｓ２０９）。また、ステップＳ２０５にて「ファイル操作」が選択された場合は、サムネイル操作管理部２２は、どのファイル操作が指示されたか判断する（Ｓ２１１）。ファイル操作は、例えば選択されたシリーズに属する画像群の「コピー」、「削除」、「保護」である。

そして、ステップＳ２１１にて「コピー」が選択された場合は、サムネイル操作管理部２２は後述する「コピー」のファイル操作制御処理を行う（Ｓ２１３）。ステップＳ２１１にて「削除」が選択された場合は、サムネイル操作管理部２２は後述する「削除」のファイル操作制御処理を行う（Ｓ２１５）。ステップＳ２１１にて「保護」が選択された場合は、サムネイル操作管理部２２は後述する「保護」のファイル操作制御処理を行う（Ｓ２１７）。

ここで、医用画像表示装置１がステップＳ２０７のオーバーレイ表示処理を行う際の手順を、図７に示すフローチャートに基づいて説明する。

まず、医用画像表示装置１において、サムネイル表示部１８に表示されている表示メニュー４２から「オーバーレイ表示」の処理項目が選択されると、サムネイル表示部１８は、選択された画像群及び選択された処理項目を含んだ選択情報をサムネイル表示管理部１５に対して送信する（Ｓ３０１）。サムネイル表示管理部１５は、「オーバーレイ表示」の選択情報を取得すると、選択された画像群を示す情報を含んだオーバーレイ作成要求をオーバーレイ情報処理部１９に対して送信する（Ｓ３０３）。

要求を受けたオーバーレイ情報処理部１９は、選択された画像群を示す情報を含んだシリーズ情報取得要求を医用画像情報管理部１２に送信してシリーズ情報を要求する（Ｓ３０５）。医用画像情報管理部１２は、選択された画像群に基づいてシリーズ情報を医用画像情報保持手段１３からシリーズ情報を取得して、このシリーズ情報をオーバーレイ情報処理部１９に送信する（Ｓ３０７）。そしてオーバーレイ情報処理部１９は、オーバーレイ情報を生成する（Ｓ３０９）。

オーバーレイ情報処理部１９は、オーバーレイ情報を生成すると、動画種別判別テーブル３０においてそのシリーズの画像種別に対応付けられた表示方法でサムネイル動画が表示されるような動画生成処理方法を選択し、その選択された処理方法によってそのシリーズの画像群から動画サムネイルを生成することができる動画サムネイル処理部（例えば第１の動画サムネイル処理部１７ａ）にオーバーレイ情報を送信してサムネイル作成を要求する。（Ｓ３１１）。

第１の動画サムネイル処理部１７ａは、取得したオーバーレイ情報に基づいて、医用画像情報管理部１２に対して医用画像情報取得要求を送信して医用画像情報を要求する（Ｓ３１３）。医用画像情報管理部１２は、オーバーレイ情報に基づいて医用画像情報を抽出する（Ｓ３１５）。そして医用画像情報管理部１２は、第１の動画サムネイル処理部１７ａに対して抽出した医用画像情報を送信する（Ｓ３１７）。

第１の動画サムネイル処理部１７ａは、取得した医用画像情報を用いて動画サムネイルを生成する（Ｓ３１９）。この際、第１の動画サムネイル処理部１７ａは、動画種別判別テーブル３０において、そのシリーズの画像種別に対応付けられた表示方法でサムネイル動画が表示されるような動画生成処理方法によってそのシリーズの画像群から動画サムネイルを生成する。

そして第１の動画サムネイル処理部１７ａは、生成した動画サムネイルをオーバーレイ情報処理部１９に送信する（Ｓ３２１）。オーバーレイ情報処理部１９は、動画サムネイルを取得すると、その動画サムネイルをサムネイル表示管理部１５に送信する（Ｓ３２３）。サムネイル表示管理部１５は、動画サムネイルを取得すると、サムネイル表示部１８に動画サムネイルを表示させる（Ｓ３２５）。

図８（Ａ）は、オーバーレイ表示処理を行う前の動画サムネイルを示す図であり、図８（Ｂ）は、オーバーレイ表示処理を行った後の動画サムネイルを示す図である。図８（Ａ）及び図８（Ｂ）に示すように、オーバーレイ表示処理を行うことによって、動画サムネイル画面４６に詳細なシリーズ情報４７が表示される。

なお、図９は、サムネイル表示部１８に表示された動画サムネイルリスト画面４０において、複数の動画サムネイル４６が選択された状態のサムネイル表示を示す図である。図９に示すように、ユーザにより選択された動画サムネイル４６は太枠４８で囲まれるようにして表示されると良い。なお、選択される動画サムネイル４６は単数であっても複数であっても良い。

このようにして医用画像表示装置１は、ユーザにより動画サムネイル上に文字情報を表示させるように指示されたときに、画像種別に基づいてシリーズ情報などの文字情報を動画サムネイル上にオーバーレイとして表示をすることで、モダリティや画像種毎に最適な情報を提供することが可能となる。

また、医用画像表示装置１がステップＳ２０９の臨床アプリケーション起動処理を行う際の手順、及びステップＳ２１３、Ｓ２１５、Ｓ２１７に示すファイル操作制御処理を行う際の手順を、図１０に示すフローチャートに基づいて説明する。

まず、医用画像表示装置１において、サムネイル表示部１８に動画サムネイルリスト及び表示メニュー４２が表示されている状態で、表示メニュー４２から「ファイル操作」（「コピー」、「削除」、「保護」など）の処理項目が選択されると、サムネイル表示管理部１５はファイル操作制御処理を行う。まずサムネイル表示部１８は、選択されているシリーズの画像群及び選択された処理項目（すなわち「コピー」など）を含んだ選択情報をサムネイル表示管理部１５に対して送信する（Ｓ４０１）。サムネイル表示管理部１５は、「ファイル操作」の選択情報を取得すると、選択された画像群を示す情報及び選択された処理項目を示す情報を含んだサムネイル操作要求をサムネイル操作管理部２２に対して送信する（Ｓ４０３）。

要求を受けたサムネイル操作管理部２２は、ファイル操作を指示する旨の情報を医用画像情報管理部１２に送信する（Ｓ４０５）。医用画像情報管理部１２は、指示されたファイル操作を行い、ファイル操作を行った旨の応答を返信する（Ｓ４０７）。なお、「コピー」のファイル操作は、選択された動画サムネイルのシリーズの画像群を医用画像情報データベース３ａあるいは医用画像情報データベースＤにおいて複製する処理であり、「削除」のファイル操作は、選択された動画サムネイルのシリーズの画像群を医用画像情報データベース３ａあるいは医用画像情報データベースＤから削除する処理であり、「保護」のファイル操作は、選択された動画サムネイルのシリーズの画像群を医用画像情報データベース３ａあるいは医用画像情報データベースＤから削除できないようにする処理である。そして応答を取得したサムネイル操作管理部２２は、この応答をサムネイル表示管理部１５に対して送信する（Ｓ４０９）。

また、サムネイル表示管理部１５は、ファイル操作によってサムネイル表示を更新する必要があるか否かを判断する（Ｓ４１０）。例えば、ファイル操作によってシリーズの数が増減した場合に、サムネイル表示の更新が必要となる。サムネイル表示の更新が必要であった場合は（Ｓ４１０のＹｅｓ）、サムネイル表示管理部１５は、サムネイル表示部１８におけるサムネイル表示を更新する（Ｓ４１１）。

サムネイル表示部１８に表示されている表示メニュー４２から「臨床アプリケーション起動」の処理項目が選択されると、サムネイル表示管理部１５は臨床アプリケーション起動処理を行う。まずサムネイル表示部１８は、選択された画像群及び選択された処理項目（すなわち臨床アプリケーション起動）を含んだ選択情報をサムネイル表示管理部１５に対して送信する（Ｓ４１３）。サムネイル表示管理部１５は、「臨床アプリケーション起動」の選択情報を取得すると、選択された画像群を示す情報を含んだサムネイル操作要求をサムネイル操作管理部２２に対して送信する（Ｓ４１５）。

要求を受けたサムネイル操作管理部２２は、臨床アプリケーションプログラム２３を起動させる（Ｓ４１７）。臨床アプリケーションプログラム２３が起動されると、このプログラムは、医用画像情報取得要求を医用画像情報管理部１２に対して送信して医用画像情報を要求する（Ｓ４１９）。医用画像情報管理部１２は、要求された医用画像情報を医用画像情報保持手段１３から取得して（Ｓ４２１）、臨床アプリケーションプログラム２３に送信する（Ｓ４２３）。そして臨床アプリケーションプログラム２３は、内部処理を行う（Ｓ４２５）。

臨床アプリケーションプログラム２３は、起動が完了すると、起動完了情報をサムネイル操作管理部２２に対して送信する（Ｓ４２７）。起動完了情報を取得したサムネイル操作管理部２２は、この起動完了情報をサムネイル管理部１５に送信する（Ｓ４２９）。

このようにして医用画像表示装置１は、医用画像情報をリスト表示した際に、動画サムネイルで表示しつつも、従来と同様に、ユーザにより選択された動画サムネイル（シリーズ）に基づいて対応する臨床アプリケーションプログラムを起動したり、ユーザによる入力操作に基づいてファイル操作（コピー、削除、保護）をしたりすることができる。

次に、複数の動画サムネイルが表示された状態で、ユーザ操作により、いずれかの動画サムネイルがドラック＆ドロップされると、医用画像表示装置１は、それらの操作に応じた処理を行う。医用画像表示装置１がこのユーザ操作制御処理を行う際の手順を、図１１に示すフローチャートに基づいて説明する。なお、ドラッグ＆ドロップとは、画面上でマウスポインタが静止画サムネイルや動画サムネイルなどのアイコンに重なった状態でマウスのボタンが押され、そのままの状態でマウスが移動されるマウス操作である。

ユーザは、例えば動画サムネイルの表示位置を移動させたいときや、複数の動画サムネイルの同期表示、フュージョンを行いたいときに、マウスやキーボードなどの入力装置を用いて、いずれかの動画サムネイルをドラッグまたはドリップする（Ｓ５０１）。医用画像表示装置１のサムネイル操作管理部２２は、ドラッグ＆ドロップの終着点が動画サムネイル上であるか、複数の動画サムネイルの間のエリアであるか、あるいは動画サムネイル表示エリア外であるかを判断する（Ｓ５０３）。

ステップＳ５０３にてドラッグ＆ドロップの終着点が動画サムネイル表示エリア外であった場合は、サムネイル操作管理部２２は、処理を行わずにユーザ操作制御処理を終了する。ステップＳ５０３にてドラッグ＆ドロップの終着点が複数の動画サムネイルの間のエリアであった場合は、サムネイル操作管理部２２は、ドロップされた動画サムネイルの表示位置をドラッグ＆ドロップの終着点に変更する（Ｓ５０５）。

図１２（Ａ）は、サムネイル表示１８に動画サムネイルリスト画面４０が表示された状態で、動画サムネイル４６が移動される前の動画サムネイルリスト画面４０を示す図であり、図１２（Ｂ）は、動画サムネイルリスト画面４０が表示された状態で、動画サムネイル４６が移動された後の動画サムネイルリスト画面４０を示す図である。図１２（Ａ）に示すように、動画サムネイルリスト画面４０の右下に表示されている第３の動画サムネイル４６Ｃが、マウス操作により第１の動画サムネイル４６Ａ、第２の動画サムネイル４６Ｂの間にドラッグ＆ドロップされた場合には、図１２（Ｂ）に示すように、第３の動画サムネイル４６Ｃが第１の動画サムネイル４６Ａと第２の動画サムネイル４６Ｂとの間の位置に挿入され、第１の動画サムネイル４６Ａ、第３の動画サムネイル４６Ｃ、第２の動画サムネイル４６Ｂの順番に並べられて表示される。

このように医用画像表示装置１において、表示されている動画サムネイルの位置をユーザによる入力操作に基づいて変更することにより、ユーザは、関心のあるシリーズ群を見易い位置に移動させたり、関連するシリーズ群を隣接するように並べたりして観察することができる。

ステップＳ５０３にてドラッグ＆ドロップの終着点が動画サムネイル上であった場合は、サムネイル操作管理部２２は、ドラッグ＆ドロップされた動画サムネイルとドラッグ＆ドロップの終着点にある動画サムネイルとの同期表示が可能であるか否かを判断する（Ｓ５０７）。

ステップＳ５０７にて同期表示が可能であった場合は、サムネイル操作管理部２２は、ドラッグ＆ドロップされた動画サムネイルとドラッグ＆ドロップの終着点にある動画サムネイルとのフュージョンが可能であるか否かを判断する（Ｓ５０９）。

ステップＳ５０９にてフュージョンが可能であった場合は、サムネイル操作管理部２２は、処理選択のメニュー画面を表示する（Ｓ５１１）。図１３は、処理選択のメニュー画面４９を示す図である。図１３に示すように、サムネイル表示部１８に、「同期表示」、「フュージョン」などの処理項目５０が羅列されたメニュー画面４９が表示される。ユーザは、キーボードやマウスなどの入力装置を用いていずれかの処理項目５０を選択する。

サムネイル操作管理部２２は、ステップＳ５１１にて表示されたメニュー画面４９から処理項目５０が選択されたか否かを判断する（Ｓ５１３）。ステップＳ５１３にて「同期表示」が選択された場合は、サムネイル操作管理部２２は、後述する同期表示処理を行う（Ｓ５１５）。

ステップＳ５０７にて同期表示が可能でなかった場合は、サムネイル操作管理部２２は、ステップＳ５０９と同様に、ドラッグ＆ドロップされた動画サムネイルとドラッグ＆ドロップの終着点にある動画サムネイルとのフュージョンが可能であるか否かを判断する（Ｓ５１７）。ステップＳ５１７にてフュージョンが可能でなかった場合は、サムネイル操作管理部２２は、処理を行わずにユーザ操作制御処理を終了する。

ステップＳ５１７にてフュージョンが可能であった場合、またはステップＳ５１３にて「フュージョン」が選択された場合は、サムネイル操作管理部２２は、後述するフュージョン処理を行う（Ｓ５１９）。

ここで、医用画像表示装置１がステップＳ５１５の同期再生処理を行う際の手順を、図１４に示すフローチャートに基づいて説明する。

図１５は、サムネイル表示部１８に表示された動画サムネイルリスト画面４０から、ユーザが２つのシリーズを選択して同期再生を指示する様子を示す図である。図１５に示すように、医用画像表示装置１においてサムネイル表示部１８に動画サムネイルリスト画面４０が表示されている状態で、ユーザは、いずれかの動画サムネイル４６Ｄを選択して、この動画サムネイル４６Ｄを他の動画サムネイル４６Ｅの位置にドラッグ＆ドロップする（Ｓ６０１）。

サムネイル表示部１８は、ドラッグ＆ドロップされた動画サムネイルを示す情報とドラッグ＆ドロップの終着点にある動画サムネイルを示す情報との２シリーズの情報をサムネイル表示管理部１５に対して送信する（Ｓ６０３）。サムネイル表示管理部１５は、２シリーズの情報を取得すると、これらの２つのシリーズの同期再生可否の問合せを同期再生処理部２１に対して送信する（Ｓ６０５）。

問合せを取得した同期再生処理部２１は、これらの２シリーズの同期再生が可能か否かを判断する（Ｓ６０７）。そして同期再生処理部２１は、サムネイル表示管理部１５に対して同期再生が可能か否かを示す可否応答を送信する（Ｓ６０９）。そしてサムネイル表示管理部１５は、ステップ６０９にて取得した可否応答において同期再生が不可であった場合には、サムネイル表示部１８にエラーを表示させて（Ｓ６１１）、同期再生処理を終了する。

ステップＳ６０９にて取得した可否応答において同期再生が可能であった場合には、サムネイル表示管理部１５は、ドラッグ＆ドロップされた動画サムネイルを示す情報とドラッグ＆ドロップの終着点にある動画サムネイルを示す情報とを含んだ同期再生要求を同期再生処理部２１に対して送信する（Ｓ６１３）。

同期再生処理部２１は、同期再生要求を取得すると、同期再生する２シリーズの医用画像情報取得要求を医用画像情報管理部１２に対して送信して、医用画像情報を要求する（Ｓ６１５）。医用画像情報管理部１２は、要求を受けた医用画像情報を抽出して同期再生処理部２１に送信する（Ｓ６１７）。同期再生処理部２１は、ステップＳ６１７にて取得した医用画像情報を用いて同時表示処理を行う（Ｓ６１９）。

同期再生処理部２１は、動画種別判別テーブル３０においてそれらのシリーズの画像種別に対応付けられた表示方法でサムネイル動画が表示されるような動画生成処理方法を選択し、その選択された処理方法によってそのシリーズの画像群から動画サムネイルを生成することができる動画サムネイル処理部（例えば第２の動画サムネイル処理部１７ｂ）に同期再生条件を送信してサムネイル作成を要求する。（Ｓ６２１）。この同期再生条件は、例えば、サムネイル表示部１８に例えば図１６に示すようなメニュー画面５１を表示することによりユーザに同期再生条件の選択項目５２を提示し、ユーザによりいずれかの選択項目５２が選択されることにより設定される。同期再生条件は、例えば「心電同期」、「スライス位置」などである。

第２の動画サムネイル処理部１７ｂは、取得した同期再生条件に基づいて、医用画像情報管理部１２に対して医用画像情報取得要求を送信して医用画像情報を要求する（Ｓ６２３）。医用画像情報管理部１２は、同期再生条件に基づいて医用画像情報保持手段１３から医用画像情報を取得して（Ｓ６２５）、取得した医用画像情報を第２の動画サムネイル処理部１７ｂに送信する（Ｓ６２７）。

第２の動画サムネイル処理部１７ｂは、取得した医用画像情報を用いて動画サムネイルを生成する（Ｓ６２９）。この際、第２の動画サムネイル処理部１７ｂは、動画種別判別テーブル３０において、それらのシリーズの画像種別に対応付けられた表示方法でサムネイル動画が表示されるような動画生成処理方法によってそれらのシリーズの画像群から動画サムネイルを生成する。

そして第２の動画サムネイル処理部１７ｂは、生成した動画サムネイルを同期再生処理部２１に送信する（Ｓ６３１）。同期再生処理部２１は、動画サムネイルを取得すると、その動画サムネイルをサムネイル表示管理部１５に送信する（Ｓ６３３）。サムネイル表示管理部１５は、動画サムネイルを取得すると、サムネイル表示部１８に動画サムネイルを表示させる（Ｓ６３５）。

このようにして医用画像表示装置１は、ユーザによる入力操作に基づいて所定の動画サムネイルを他の動画サムネイルの位置にドラッグ＆ドロップさせるとともに、複数のシリーズの動画サムネイルを所定の条件に従って同期再生させる。

また、医用画像表示装置１がステップＳ５１９のフュージョン処理を行う際の手順を、図１７に示すフローチャートに基づいて説明する。

図１８は、サムネイル表示部１８に表示された動画サムネイルリスト画面４０から、ユーザが２つのシリーズを選択してフュージョンを指示する様子を示す図である。図１８に示すように、医用画像表示装置１においてサムネイル表示部１８に動画サムネイルリスト画面４０が表示されている状態で、ユーザは、いずれかの動画サムネイル４６Ｆを選択して、この動画サムネイル４６Ｆを他の動画サムネイル４６Ｇの位置にドラッグ＆ドロップする（Ｓ７０１）。

サムネイル表示部１８は、ドラッグ＆ドロップされた動画サムネイルを示す情報とドラッグ＆ドロップの終着点にある動画サムネイルを示す情報との２シリーズの情報をサムネイル表示管理部１５に対して送信する（Ｓ７０３）。サムネイル表示管理部１５は、２シリーズの情報を取得すると、これらの２シリーズのフュージョン再生可否の問合せを同期再生処理部２１に対して送信する（Ｓ７０５）。

問合せを取得した同期再生処理部２１は、これらの２シリーズのフュージョンが可能か否かを判断する（Ｓ７０７）。そして同期再生処理部２１は、サムネイル表示管理部１５に対してフュージョンが可能か否かを示す可否応答を送信する（Ｓ７０９）。そしてサムネイル表示管理部１５は、ステップ７０９にて取得した可否応答においてフュージョンが不可であった場合には、サムネイル表示部１８にエラーを表示させて（Ｓ７１１）、フュージョン処理を終了する。

ステップＳ７０９にて取得した可否応答において同期再生が可能であった場合には、サムネイル表示管理部１５は、ドラッグ＆ドロップされた動画サムネイルを示す情報とドラッグ＆ドロップの終着点にある動画サムネイルを示す情報とを含んだフュージョン要求を同期再生処理部２１に対して送信する（Ｓ７１３）。

フュージョン画像処理部２０は、フュージョン要求を取得すると、フュージョンする２シリーズの医用画像情報取得要求を医用画像情報管理部１２に対して送信して、医用画像情報を要求する（Ｓ７１５）。医用画像情報管理部１２は、要求された医用画像情報を医用画像情報保持手段１３から取得して（Ｓ７１７）、取得した医用画像情報をフュージョン画像処理部２０に送信する（Ｓ７１９）。フュージョン画像処理部２０は、ステップＳ７１９にて取得した医用画像情報を用いてフュージョン画像を生成する（Ｓ７２１）。

フュージョン画像処理部２０は、動画種別判別テーブル３０においてそれらのシリーズの画像種別に対応付けられた表示方法でサムネイル動画が表示されるような動画生成処理方法を選択し、その選択された処理方法によってそれらのシリーズの画像群から動画サムネイルを生成することができる動画サムネイル処理部（例えば第３の動画サムネイル処理部１７ｃ）にフュージョン画像を送信してサムネイル作成を要求する。（Ｓ７２３）。

第３の動画サムネイル処理部１７ｃは、取得したフュージョン画像を用いて動画サムネイルを生成する（Ｓ７２５）。この際、第３の動画サムネイル処理部１７ｃは、動画種別判別テーブル３０において、それらのシリーズの画像種別に対応付けられた表示方法でサムネイル動画が表示されるような動画生成処理方法によってそれらのシリーズの画像群から動画サムネイルを生成する。

そして第３の動画サムネイル処理部１７ｃは、生成した動画サムネイルをフュージョン画像処理部２０に送信する（Ｓ７２７）。フュージョン画像処理部２０は、動画サムネイルを取得すると、その動画サムネイルをサムネイル表示管理部１５に送信する（Ｓ７２９）。サムネイル表示管理部１５は、動画サムネイルを取得すると、サムネイル表示部１８に動画サムネイルを表示させる（Ｓ７３１）。

このようにして医用画像表示装置１は、ユーザによる入力操作に基づいて所定の動画サムネイルを他の動画サムネイルの位置にドラッグ＆ドロップさせるとともに、複数のシリーズの動画サムネイルを同一の動画サムネイル上にてフュージョンさせる。

本発明に係る医用画像表示装置１によると、１回の検査で取得された医用画像のシリーズ群をリスト表示する際に、各々のシリーズの画像群から画像種別に応じた動画サムネイルを生成して、動画サムネイルのリストとして表示することで、ユーザが各々のシリーズに含まれる画像群を容易に判別することが可能となる。

１…医用画像表示装置，１１…医用画像情報リスト管理部，１２…医用画像情報管理部，１３…医用画像情報保持手段，１４…医用画像情報リスト表示部，１５…サムネイル表示管理部，１６…画像種別判断部，１７ａ、１７ｂ、１７ｃ…動画サムネイル処理部，１８…サムネイル表示部，１９…オーバーレイ情報管理部，２０…フュージョン画像処理部，２１…同期再生処理部，２２…サムネイル操作管理部，２３…ガントリ回転機構，３０…画像種別判別テーブル，３１…画像種別情報，３２…表示方法情報，３３…サムネイル生成アプリ情報、４０…動画サムネイルリスト画面，４１…動画サムネイル，４２、４４、４９、５１…メニュー画面，４３、５０…処理項目，４５…臨床アプリケーション項目，４６、４６Ａ乃至４６Ｇ…動画サムネイル画面，４７…シリーズ情報，４８…太枠，５２…同期再生条件項目，Ｄ…医用画像情報データベース。

Claims (10)

1. 医用画像診断装置により取得された医用画像の画像群をシリーズ毎に取得する取得手段と、
   前記取得手段により取得された各々のシリーズの画像種別を判別する判別手段と、
   判別手段により判別された画像種別に基づいて、各々のシリーズ毎に医用画像情報の画像群から動画サムネイルを生成する生成手段と、
   前記生成手段により生成された各々のシリーズの動画サムネイルをリストとして動画で表示させる表示手段とを備えたことを特徴する医用画像表示装置。
2. 画像種別と動画生成手段とがそれぞれ対応付けられて記憶された記憶手段を備え、
   前記生成手段は、前記記憶手段により各々のシリーズの画像種別に応じてサムネイルの生成処理方法を選択し、選択した処理方法に基づいて前記シリーズの画像から動画サムネイルを生成することを特徴する請求項１記載の医用画像表示装置。
3. 前記表示手段は、判別手段により判別された画像種別に基づいて、各々のシリーズのシリーズ情報を取得して、動画サムネイル上にこのシリーズ情報を表示させることを特徴する請求項１記載の医用画像表示装置。
4. 前記表示手段により表示された動画サムネイルのリストから所定の動画サムネイルの選択を受け付ける選択受付手段と、
   前記選択受付手段により受け付けられた動画サムネイルの移動先の入力を受け付ける移動先受付手段を備え、
   前記表示手段は、前記選択受付手段により受け付けられた動画サムネイルを、前記移動先受付手段により受け付けられた移動先に移動させて表示させることを特徴する請求項１記載の医用画像表示装置。
5. 前記表示手段により表示された動画サムネイルに含まれる各々の動画サムネイルに対して、前記判別手段により判別された画像種別に対応する臨床アプリケーションプログラムを起動する起動手段を備えたことを特徴する請求項１記載の医用画像表示装置。
6. 前記表示手段により表示された動画サムネイルから所定の動画サムネイルの選択を受け付ける選択受付手段と、
   前記選択受付手段により受け付けられた動画サムネイルを、前記表示手段により表示された動画サムネイルのリストから削除する削除手段とを備えたことを特徴する請求項１記載の医用画像表示装置。
7. 前記表示手段により表示された動画サムネイルから所定の動画サムネイルの選択を受け付ける選択受付手段と、
   前記選択受付手段により受け付けられた動画サムネイルを、前記表示手段により表示された動画サムネイルのリストにおいて複製する複製手段とを備えたことを特徴する請求項１記載の医用画像表示装置。
8. 前記表示手段により表示された動画サムネイルから所定の動画サムネイルの選択を受け付ける選択受付手段と、
   前記選択受付手段により受け付けられた動画サムネイルを、前記表示手段により表示された動画サムネイルのリストにおいて削除不可にする保護手段とを備えたことを特徴する請求項１記載の医用画像表示装置。
9. 前記表示手段により表示された動画サムネイルから複数の動画サムネイルの選択を受け付ける選択受付手段を備え、
   前記表示手段は、前記選択受付手段により受け付けられた複数の動画サムネイルを、同一の動画サムネイル上で融合させる融合手段とを備えたことを特徴する請求項１記載の医用画像表示装置。
10. 前記表示手段により表示された動画サムネイルから複数の動画サムネイルの選択を受け付ける選択受付手段を備え、
    前記表示手段は、前記選択受付手段により受け付けられた複数の動画サムネイルを同期再生させることを特徴する請求項１記載の医用画像表示装置。