JP5732001B2 - 二次元画像生成装置ならびにその動作制御方法および動作制御プログラム - Google Patents

Description

この発明は，二次元画像生成装置ならびにその動作制御方法および動作制御プログラムに関する。

主に医療分野で利用されている四次元画像は，通常の二次元画像（縦，高さ）に比べ，奥行き，時間という二つの次元が追加されるので，データ量が非常に多い。四次元画像を迅速に二次元画像として表示するには，データ量の大幅な削減が要求される。

四次元画像において，ボクセルのクラスタに分割するもの（特許文献１），ボクセルで表現された物体を３次元表示するもの（特許文献２），表示対象群のうち特定の視野に入る表示対象のみを選択して表示するもの（特許文献３），有効領域が抽出されたボクセルデータに対してボリュームレンダリングを行って得られた画像において，不要な領域を削除するもの（特許文献４）などがある。

特開平9-251554号公報 特開平5-181978号公報 特開平7-141522号公報 特開2003-153894号公報

引用文献１から４に記載のものでは，四次元画像から二次元画像を効率良く生成することは考えられていない。

この発明は，四次元画像から二次元画像を効率良く生成することを目的とする。

この発明による二次元画像生成装置は，抽出すべき画像データを示す抽出マップにしたがって，四次元画像を構成するフレームを表すフレーム画像データから画像データを抽出する抽出手段，抽出手段によって抽出された画像データを二次元表示用に画像処理する画像処理手段，抽出手段において，第αフレームを表わす第αフレーム画像データから画像データを抽出する場合には，二次元表示用の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成し，第β（但し，β＞α）フレームを表わす第βフレーム画像データから画像データを抽出する場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部分に対応する画像データを抽出するように第βフレーム用抽出マップを生成する抽出マップ生成手段，抽出マップ生成手段によって生成された抽出マップにもとづいて第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わすかどうかを判定する判定手段，および判定手段によって，第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正する抽出マップ補正手段を備えていることを特徴とする。

この発明は，二次元画像生成装置に適した動作制御方法も提供している。すなわち，この方法は，抽出手段が，抽出すべき画像データを示す抽出マップにしたがって，四次元画像を構成するフレームを表すフレーム画像データから画像データを抽出し，画像処理手段が，抽出手段によって抽出された画像データを二次元表示用に画像処理し，抽出マップ生成手段が，抽出手段において，第αフレームを表わす第αフレーム画像データから画像データを抽出する場合には，二次元表示用の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成し，第β（但し，β＞α）フレームを表わす第βフレーム画像データから画像データを抽出する場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部分に対応する画像データを抽出するように第βフレーム用抽出マップを生成し，判定手段が，抽出マップ生成手段によって生成された抽出マップにもとづいて第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わすかどうかを判定し，抽出マップ補正手段が，判定手段によって，第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正するものである。

この発明は，二次元画像生成装置の動作制御方法を実施するためのコンピュータが読み取り可能なプログラムも提供している。

この発明によると，第αフレームを表わす第αフレーム画像データから画像データを抽出する場合には，二次元表示用の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップが生成される。生成された第αフレーム用抽出マップにもとづいて，第αフレーム画像データから画像データが抽出される。第αフレーム画像データのうち，表示対象画像を表わす画像データ以外の画像データについては第αフレーム画像データから抽出する必要が無いので，二次元表示用に画像処理する必要もなく，処理時間が短縮される。

第β（但し，β＞α）フレームを表わす第βフレーム画像データから画像データを抽出する場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部分に対応する画像データを抽出するように第βフレーム用抽出マップが生成される。生成された第βフレーム用抽出マップにもとづいて，第βフレーム用画像データから画像データが抽出される。抽出された画像データが二次元表示用の表示対象画像を表わしていない場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部部分の近傍の画像を表す画像データが第βフレーム画像データから抽出される。表示対象画像が動いた場合など，第βフレーム画像データから二次元表示用の表示対象画像を表わす画像データが抽出されてなかった場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部部分の近傍の画像を表す画像データが第βフレーム画像データから抽出されるので，二次元表示用の表示対象画像を表わす画像データが第βフレームから抽出されるようになる。迅速に，二次元表示用の表示対象画像が得られるようになる。

抽出マップ生成手段は，たとえば，第γ（但し，γ＞β）フレームを表わす第γフレーム画像データから画像データを抽出する場合には，第βフレーム画像データから抽出された画像データによって表される画像部分に対応する画像データを抽出するように第γフレーム用抽出マップを生成し，判定手段は，たとえば，抽出マップ生成手段によって生成された第γフレーム用抽出マップにもとづいて第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わすかどうかを判定し，抽出マップ補正手段は，たとえば，判定手段によって，第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第βフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第γフレーム画像データから抽出するように第γフレーム用抽出マップを補正するものである。

表示対象画像に不透明度が割り当てられる場合には，たとえば，抽出マップ生成手段において生成される第αフレーム用抽出マップは，不透明度が０％よりも大きい画像データを２次元表示用の表示対象画像を表わす画像データとして抽出させるものであり，第βフレーム用抽出マップは，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データであって不透明度が０％よりも大きい画像データを抽出させるものである。

抽出マップ生成手段は，たとえば，所望の視点から見たときの二次元表示用の表示対象画像を表わす画像データを抽出し，かつ死角となる部分の画像データの抽出を停止する第αフレーム用抽出マップを生成するものであり，抽出マップ補正手段は，たとえば，判定手段によって，第βフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正するものである。

視点変更指令を入力する視点変更指令入力手段をさらに備えてもよい。その場合，抽出マップ生成手段は，たとえば，視点変更指令入力手段から入力された視点から見たときの二次元表示用の表示対象画像を表わす画像データを抽出する第αフレーム用抽出マップを生成するものとなろう。

第αフレーム画像データによって表わされる第αフレーム画像の不透明度および第βフレーム画像データによって表わされる第βフレーム画像の不透明度を算出する不透明度算出手段をさらに備えてもよい。

二次元表示用の表示対象画像を変更する指令を入力する表示対象画像変更指令入力手段をさらに備えてもよい。

フレーム画像データが圧縮されている場合には，フレーム画像データを可逆的に伸張する可逆伸張手段をさらに備えてもよい。この場合，抽出手段は，たとえば，可逆伸張手段によって可逆的に伸張されたフレーム画像データから画像データを抽出するものである。

フレーム画像データは圧縮されていてもよい。この場合，フレーム画像データを非可逆的に伸張する非可逆伸張手段をさらに備えてもよい。抽出手段は，たとえば，非可逆伸張手段によって非可逆的に伸張されたフレーム画像データから画像データを抽出するものである。

フレーム画像データを縮小処理する縮小手段をさらに備えてもよい。この場合，抽出手段は，たとえば，縮小手段によって縮小されたフレーム画像データから画像データを抽出するものである。

抽出マップ生成手段は，たとえば，二次元表示用の表示対象画像の背景画像を表わす画像データの抽出を停止する第αフレーム用抽出マップを生成するものである。

抽出マップ補正手段は，たとえば，二次元表示用の表示対象画像の動きに対応して，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正するものである。

二次元表示用の表示対象画像の表示範囲を設定する表示範囲設定手段をさらに備えてもよい。この場合，抽出マップ生成手段は，たとえば，表示範囲設定手段によって設定された表示範囲の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成するものである。

抽出マップ生成手段による抽出マップの生成，判定手段による判定および抽出マップ補正手段による抽出マップの補正を停止する指令を入力する停止指令入力手段をさらに備えてもよい。

フレーム画像データのデータ量および画像処理手段による画像処理能力にもとづいて，画像処理手段による画像処理時間が所定時間以上となる場合に，抽出手段，画像処理手段，抽出マップ生成手段，判定手段および抽出マップ補正手段の処理を行うようにしてもよい。

四次元画像が圧縮される様子を示している。 二次元画像生成装置の電気的構成を示すブロック図である。 二次元画像生成処理の概要を示している。 二次元画像生成処理の概要を示している。 抽出処理手順を示すフローチャートである。 抽出処理手順を示すフローチャートである。 抽出処理手順を示すフローチャートである。 心臓と血管のマスク画像を示している。 心臓と血管の画像を示している。 四次元画像を構成する三次元画像の一例である。 抽出マップの一例である。 抽出マップの一例である。 抽出マップの一例である。 抽出処理手順を示すフローチャートである。 抽出処理手順を示すフローチャートである。 抽出処理手順を示すフローチャートである。

図１は，四次元画像等の一例である。

四次元画像は，二次元画像で規定される縦方向および横方向の次元のほかに奥行きおよび時間の次元を有している。異なる時間で連続的に撮像することにより得られた三次元画像の集合が四次元画像ということができる。この実施例による四次元画像は，左目用画像をユーザの左目で見て，右目用画像をユーザの右目で見ることにより立体的に観賞するものではなく，二次元画像を生成することにより，立体を様々な角度で平面の表示画面に表示できるものである。

図１においては，異なる時間で連続撮像して得られた心臓および心臓の周りの血管を表わす10フレーム（10フレーム未満でも10フレームより多くともよい）の三次元画像Ｆ１−Ｆ10が図示されている。これらの三次元画像Ｆ１−Ｆ10の集合が四次元画像である。四次元画像を構成する三次元画像Ｆ１−Ｆ10のそれぞれは，たとえば，縦，横および奥行きがそれぞれ1024画素である。

四次元画像Ｆ１−Ｆ10のそれぞれは，縦，横および奥行きが所定の画素数をもつ多数のボクセルとなるようにボクセル化が行われる。ボクセル化されることにより，四次元画像Ｆ１−Ｆ10のそれぞれから，ボクセル・データＢ１−Ｂ10が得られる。ボクセル・データＢ１−Ｂ10のそれぞれは，さらに圧縮される。圧縮されたボクセル・データｂ１−ｂ10が得られる。この実施例では，圧縮された第１フレームから第10フレームのボクセル・データｂ１−ｂ10がフラッシュ・メモリにあらかじめ記憶されている。

図２は，この実施例による二次元画像生成装置の電気的構成を示すブロック図である。

二次元画像生成装置の全体の動作はＣＰＵ１によって統括される。

上述のように，フラッシュ・メモリ８に圧縮されたボクセル・データｂ１−ｂ10が格納されている。フラッシュ・メモリ８に格納されているボクセル・データｂ１−ｂ10は，SSD（Solid State Drive）によって読み取られる。読み取られたボクセル・データｂ１−ｂ10について後述のように，データ抽出処理，伸張処理，レンダリング処理などが行われることにより二次元画像が生成される。生成された二次元画像は，表示制御装置３によって制御される表示装置２の表示画面に表示される。

二次元画像生成装置には，ネットワークを介して他の端末装置と通信するための通信装置４，所定のデータ，動作プログラムを格納するメモリ５およびキーボードなどの入力装置６も含まれている。二次元画像生成装置は，メモリ５にインストールされている動作プログラムにしたがって動作する。動作プログラムは，二次元画像生成装置にプリインストールされていてもよいし，通信装置４を介して送信されるものを受信してもよい。フラッシュ・メモリ８などのように二次元画像生成装置に着脱自在な記録媒体に格納されており，その記録媒体から読み取るようにしてもよい。

図３および図４は，この実施例による二次元画像の生成処理の概略を示している。

図３を参照して，フラッシュ・メモリ９に格納されている１フレーム分のボクセル・データのうち，二次元画像の生成に必要なボクセル・データがフラッシュ・メモリ９から抽出される。抽出されたボクセル・データについて伸張処理が行われ，圧縮されていたボクセル・データが元に戻される。ボクセル・データからレンダリング処理が行われ，二次元画像が生成される。生成された二次元画像が表示装置２の表示画面に表示される。

図４を参照して，時刻ｔ１において，後述する確度100％の抽出マップ（第αフレーム用抽出マップ）にもとづいて第１フレーム（第αフレーム）のボクセル・データｂ１から心臓および心臓の周りの血管のボクセル・データｐ１が抽出される。時刻ｔ２において，抽出された第１フレームのボクセル・データｐ１の伸張処理が行われるとともに，第２フレームのボクセル・データｂ２から心臓および心臓の周りの血管のボクセル・データｐ２が抽出される。時刻ｔ３において，伸張された第１フレームのボクセル・データＰ１について二次元表示用のレンダリング（画像処理）が行われ，第２フレームのボクセル・データｂ２から抽出されたボクセル・データｐ２について伸張処理が行われる。

さらに，時刻ｔ３においては，後述する不確実な抽出マップ（第βフレーム用抽出マップ）にもとづいて第１フレームのボクセル・データｂ１から抽出されたボクセル・データｐ１の位置と同じ位置のボクセル・データｐ１が第３フレーム（第βフレーム）のボクセル・データｂ３から抽出される。第３フレームのボクセル・データｂ３において心臓および心臓の周りの血管の位置を算出する必要が無いので，迅速に抽出できる。心臓の鼓動により第１フレームのボクセル・データｂ１における心臓および心臓の周りの血管の位置と第３フレームのボクセル・データｂ３における心臓および心臓の周りの血管の位置とが異なることがある。そのような場合には，不確実な抽出マップが補正されて，第１フレームのボクセル・データｂ１から抽出されたボクセル・データｐ１の近傍のボクセル・データｐａが第３フレームのボクセル・データｂ３から抽出される。

図４においては，画像データの抽出とレンダリングとの間に伸張処理が行われているが，ボクセル・データが圧縮されていない場合または，圧縮されているボクセル・データの伸張後に画像データの抽出が行われる場合には，画像データの抽出の直後にレンダリング処理が行われることとなろう。

このように，抽出処理，伸張処理およびレンダリング処理が行われ，抽出された第１フレームのボクセル・データｐ１について伸張処理が行われている間に，第２フレームのボクセル・データｂ２の抽出処理が行われる。伸張された第１フレームのボクセル・データＰ１についてレンダリング処理が行われている間に，抽出された第２フレームのボクセル・データｐ２の伸張処理が行われ，かつ第３フレームのボクセル・データｂ３から抽出処理が行われる。

この実施例では，心臓および心臓の周りの血管を表わす二次元画像が生成されるものとする。詳しくは後述するように，第１フレームおよび第２フレームのボクセル・データｂ１およびｂ２からは，所望の視点から心臓の画像を見たときの二次元画像を表わす画像データ（ボクセル・データ）が抽出される。表示画面に表示するのが不要な心臓以外の骨，その他の臓器などの画像を表わす画像データは抽出されないので，抽出されるデータ量が少なくなり，抽出時間が短くなる。また，死角となる部分を表わす画像データも抽出されないので，抽出されるデータ量がさらに少なくなる。二次元画像が生成されるまでの時間が短縮される。

また，この実施例では，第３フレーム以降のボクセル・データについては，以前のフレームにおいて抽出された部分に対応する画像データが抽出される。どの部分から抽出すればよいかを算出する必要が無いので，抽出するのに必要な時間が短縮される。心臓の鼓動に伴い心臓が拡大，縮小するので，心臓の画像の大きさも変わる。このために，以前のフレームにおいて抽出された部分に対応する画像データのみが抽出されても，その抽出された画像データが心臓の画像を表わしているとは限らない。このために，心臓の画像を表わすのに不足分のデータがフラッシュ・メモリ９から抽出される。以下に示す実施例では，抽出マップが生成され，抽出マップにしたがって，以前のフレームにおいて抽出された部分に対応する画像データと不足分の画像データが同時にフラッシュ・メモリ９から抽出される。

図５から図７は，フラッシュ・メモリ９から画像データを抽出する処理手順を示すフローチャートを示している。

第１フレームまたは第２フレームの画像データから抽出処理が行われる場合には（ステップ11），まず，第１フレームまたは第２フレームのマスク・データがフラッシュ・メモリ９から読み出される（ステップ12）。マスク・データは，四次元画像によって表わすことのできる臓器ごとに対応して，それらの臓器が四次元画像のどの位置にあるかを示すもので，フレームごとにフラッシュ・メモリ９に格納されている。たとえば，心臓の位置を表わすマスク・データ，血管の位置を表わすマスク・データ，骨の位置を表わすマスク・データなど多数種類のマスク・データがフラッシュ・メモリ９に格納されている。これらのマスク・データも圧縮されており，ユーザによってあらかじめ指定している表示対象の臓器に対応する，圧縮されているマスク・データがフラッシュ・メモリ９から読み取られる（ステップ12）。ここでは，心臓と血管とが表示対象として指定されており，心臓と血管のマスク・データが読み取られるものとする。

読み出されたマスク・データは可逆により伸張される（ステップ13）。マスク・データが伸張されることにより，第１フレームのどの部分が心臓または血管かが分かる。たとえば，マスク・データはゼロ・ランレングスにより圧縮されており，伸張により元のデータそのものが得られる。

図８は，マスク・データにより得られる心臓と血管のマスク画像40の一例である。

上述のように，マスク・データにより，心臓および血管の位置が分るようになる。心臓と血管以外のマスク・データもあり，そのマスク・データにより心臓および血管以外の位置も分るのはいうまでもない。

つづいて，表示対象画像を表わす各画素に不透明度が割り当てられる（ステップ14）。

図９は，心臓および血管の画像の一例である。

心臓41の周りに血管42が張りめぐらされている。たとえば，心臓の不透明度は５％，血管41の不透明度は100％，その他の部分の不透明度は０％であり，これらの不透明度はユーザによってあらかじめ設定されている。心臓の不透明度は５％なので，二次元画像として表示される場合には半透明となる。心臓の裏の血管も表示されるようになる。血管42の不透明度は100％なので，血管の表面のみが二次元画像として表示される。血管42の裏は死角となり表示されない。その他の部分は，不透明度が０パーセントなので二次元画像として表示されない。

このように，心臓41には不透明度５％，血管42には不透明度100％，その他の部分には不透明度０％が割り当てられると，抽出部分の特定処理が行われる（図５ステップ15）。

図10は，フレーム画像50の一例である。

抽出部分の特定処理にはレイキャスティングと呼ばれる手法が利用される。

所定の面積をもつ矩形の基準面51から所望の方向（視点方向となる）に向かって矢印の照射線52で示すように光を照射した場合に，照射線52上にあるボクセルの不透明度が100％になるまで伸ばし続けられる。照射線52上に存在したボクセルが抽出する部分と特定される。基準面51の投影範囲が二次元画像としての表示装置２の表示範囲となる。基準面51の大きさが大きくなると表示画面に表示される表示対象物の大きさは小さくなり，ぎゃゅくに基準面51の大きさが小さくなると，表示画面に表示される表示対象物の大きさは大きくなる。

すると，確度が100％の抽出マップが生成される（図４ステップ16）。

図11は，確度が100％の抽出マップ60の一例である。

図11には，図10に示したように，基準面51から生じる照射線52上に存在したボクセル61が図示されている。これらのボクセル61がフレーム画像データ（ボクセル・データ）から抽出されるものである。ボクセル61は，図10に示す基準面51から照射線52の方向の視点のときに（視点方向が矢印62で図示されている），二次元画像として表示するのに必要な部分を示すものである。図10を参照して説明したように，照射線52は不透明度が100％になるまで伸ばされ，不透明度が100％となると，それ以上は伸ばされないことから，照射線52が，不透明度が100％となった部分よりも奥のボクセルは死角となり，読み出されない。もっとも，読み出すようにしてもよい。

このようにして生成された抽出マップ60にしたがって，圧縮された第１フレームのボクセル・データｂ１から，必要なボクセル61のボクセル・データ（画像データ）ｐ１が抽出される（図５ステップ17）。

第１フレームおよび第２フレームの場合には，表示する心臓および血管の位置が分かっている状態で抽出マップが生成されるので確度100％の抽出マップとなる。

第３フレームの画像データから抽出処理が行われる場合には，（図５ステップ12でＮＯ），図６に示す処理に移行する。

この実施例による二次元画像生成装置においては，入力装置６からの表示対象画像変更指令により，二次元画像として表示する表示対象画像を変更することもできる。たとえば，心臓と血管とを二次元画像として表示するように設定されていたものが，骨の様子を二次元画像として表示するように表示対象を変更することができる。表示対象画像が変更されなければ（ステップ22でＮＯ），二次元画像として表示しようとしている立体（この場合，心臓）の大きさは余り変化しないと仮定できるので，以前に算出された表示対象画像の不透明度を利用して第３フレームの画像データの抽出部分を決定できる。このために，以前に算出された第１フレームの表示対象画像の不透明度が読み出される（ステップ24）。これに対して，表示対象画像が変更されると（ステップ22でＹＥＳ），以前に算出された表示対象画像の不透明度を利用して第３フレームの画像データの抽出部分を決定することはできない。このために，以前の第１フレーム（第２フレームでもよい）の抽出処理において読み取られたマスク・データから上述のように表示対象画像の不透明度が割り当てられる（ステップ23）。たとえば，骨の様子を表示するように表示対象画像が変更された場合には，以前に読み取られた（図５ステップ12）骨のマスク・データから骨の位置が分り，その位置のある画像の不透明度が割り当てられる。骨の不透明度（たとえば，10％）についてもあらかじめ設定されているのはいうまでもない。

また，この実施例による二次元画像生成装置では，入力装置６から視点変更指令を入力することにより，二次元表示する表示対象画像の視点を変更することもできる。視点変更または表示対象画像の変更があると（ステップ25でＹＥＳ），第３フレーム画像データから抽出する部分は，以前の第１フレーム画像データから抽出された部分とかなり異なってしまう。このために，上述したようにレイキャスティングを利用して再び抽出部分が特定される（ステップ26）。特定された抽出部分から不確実な抽出マップが生成される（ステップ28）。視点変更も表示対象画像もいずれも変更されなかった場合には第１フレーム画像から抽出された部分と同じ部分が抽出されることとなるが，表示対象である立体に動きがあった場合には，第１フレーム画像から抽出された部分と同じ部分が第３フレーム画像から抽出されても表示対象画像が抽出されるとは限らないので抽出マップは確度100％ではなく，不確実なものとなる。

図12は，視点変更された場合に生成される抽出マップ70の一例である。

視点変更により，基準面51Ａから生じる照射線52Ａ上に存在したボクセル71が図示されている。これらのボクセル71がフレーム画像データから抽出されるものとなる。図10と比較すれば分るように，視点変更により，抽出されるボクセル71が変わっているのが理解できよう。この場合も上述したのと同様に，表示対象画像に割り当てられた不透明度が100％になるまで伸ばされ，不透明度が100％となると，それ以上は伸ばされないことから，照射線52Ａが，不透明度が100％となった部分よりも奥のボクセルは死角となるので，読み出されない。もっとも，死角となっても読み出してもよいのはいうまでもない。

図６に戻って，視点変更も表示対象画像の変更もいずれも無ければ（ステップ25でＮＯ），以前に特定された抽出部分を示すデータが読み出され（ステップ27），読み出されたデータにもとづいて抽出マップが生成される（ステップ28）。視点変更も表示対象画像の変更もいずれも無い場合には，生成される抽出マップは図11に示すものと同じとなる。もっとも，図11に示すように生成された抽出マップを記憶しておき，その抽出マップを読み取るようにしてもよい。

上述したように，表示対象画像によって表わされる立体が膨張などした場合には，生成された不確実な抽出マップにしたがって第３フレームのボクセル・データｂ３からボクセル・データが抽出されても不足分のボクセル・データが生じる。このために，生成された不確実な抽出マップにもとづいて抽出されるボクセル・データが表示対象である立体（心臓，骨など）を表わしているかどうかが，表示対象である立体のマスク・データにもとづいて判定される（図７ステップ29）。生成された不確実な抽出マップにもとづいて抽出されるボクセル・データが表示対象である立体を表わしていない場合には（ステップ29でＮＯ），以前に抽出するボクセル・データとして決定されたボクセルの近傍のボクセルも抽出されるように，不確実な抽出マップの補正処理が行われる（図７ステップ30）。

図13は，表示対象である立体が膨張したことにより補正された抽出マップ80の一例である。

表示対象である立体が膨張し，抽出マップ80が補正されたことにより，抽出するボクセル61の範囲よりも大きな範囲のボクセル81が抽出されるようになる。

さらに，不確実な抽出マップの補正処理により，抽出部分として決定されたボクセルが基準面からの照射範囲よりも大きくなってしまうと（ステップ31でＹＥＳ），その照射範囲から外れたボクセルについては抽出されても表示できない。このために，抽出されるボクセルが基準面からの照射範囲内に収まるように抽出マップがさらに補正される（ステップ32）。不確実な抽出マップの補正処理により，抽出部分として決定されたボクセルが基準面からの照射範囲よりも大きくならなければ（ステップ31でＮＯ），ステップ32の処理はスキップされる。

図13を参照して，表示対象である立体が膨張することにより，抽出するボクセルが符号81で示すものとなった場合に，それらのボクセル81は基準面51の照射範囲からはみ出してしまうものとする。すると，基準面51の照射範囲からはみ出さないボクセル82が読み出されるように抽出マップ80が補正される。

さらに，心臓の裏側にある血管を表示しないなど，表示対象画像の背景に表示不要な部分がある場合には，背景情報にもとづいて抽出マップが補正される（ステップ33）。この背景情報についても入力装置６によって二次元画像表示装置に与えられているのはいうまでもない。基準面と抽出するボクセルと背景との関係から不要な背景についてのボクセルが抽出マップから削除される。

このようにして生成された抽出マップにしたがって第３フレーム画像からボクセルが抽出される（ステップ34）。抽出されたボクセルが伸張され，レンダリングされることにより第３フレームの二次元画像が生成される。

上述の実施例では，第３フレームについて説明しているが，第３フレームでなく，第４フレーム以降についても同様に処理できるのはいうまでもない。

上述したように，第１フレームについて割り当てられた不透明度，生成された抽出マップなどを利用して第３フレームの抽出マップを生成するのと同様に，第３フレームの不透明度，抽出マップなどを利用して第４フレーム以降の抽出マップを生成するようにしてもよい。さらに，第１フレームに割り当てられた不透明度，生成された抽出マップを利用して，第２フレームの抽出マップを生成するようにしてもよい。

上述の実施例においては，圧縮されているマスク・データは可逆なものと想定されており，第１フレームまたは第２フレームのボクセル・データｂ１またはｂ２であれば，確度が100パーセントの抽出マップが生成されている。しかしながら，圧縮されているマスク・データがJPEG（Joint Photographic Experts Group）2000などにより非可逆なものの場合には，不確実な抽出マップが生成されるので，生成された抽出マップが補正されるようにしてもよい。また，圧縮されているマスク・データが縮小処理される場合にも不確実な抽出マップが生成されるので，生成された抽出マップが補正されるようにしてもよい。

また，抽出マップの生成，不確実な抽出マップが表示対象を表わすかどうかの判定，抽出マップの補正を停止する指令を入力装置６から与えるようにしてもよい。入力装置６からの停止指令が与えられない場合に上述の処理が行われるようになる。

さらに，二次元画像生成装置のＣＰＵ１の処理能力にもとづいて，上述した処理が行われずに通常のデータの抽出，伸張およびレンダリング処理が行われた場合に所定時間以上かかってしまうと判断された場合に上述した抽出処理，レンダリング処理，抽出マップ生成処理，判定処理，抽出マップ補正処理等が行われるようにしてもよい。

図14から図16は，変形例を示すもので画像データの抽出処理手順を示すフローチャートである。これらの図において，図５から図７に示す処理と同一の処理については同一符号を付して説明を省略する。

上述した実施例では，フラッシュ・メモリ９にマスク・データが格納されており，マスク・データを利用して不透明度の割り当て処理が行われているが，この変形例では表示する立体の不透明度を表わす圧縮された不透明度データがあらかじめフラッシュ・メモリ９に格納されているものである。

第１フレームまたは第２フレームについての抽出処理の場合には（図14ステップ11でＹＥＳ），第１フレームの不透明度データがフラッシュ・メモリ９から読み取られ（図14ステップ12Ａ），読み取られた不透明度データが伸張される（図14ステップ13Ａ）。不透明度データを用いて上述のように抽出部分の特定（図14ステップ15），抽出マップの生成（図14ステップ16），抽出マップにしたがうボクセルの抽出（図14ステップ17）が行われる。

第３フレーム以降の抽出処理の場合（図14ステップ11でＮＯ），この変形例では不透明度データがフラッシュ・メモリ９に格納されているので，上述した実施例における不透明度の割り当て処理等は行われない（図６ステップ22−24参照）。視点または表示対象画像が変更される場合には（図15ステップ25でＹＥＳ），上述のように変更された視点または変更された表示対象画像にもとづいて抽出部分が特定される（図15ステップ26）。視点および表示対象画像のいずれも変更されないと（図15ステップ25でＮＯ），以前に特定された抽出部分が読み出される（図15ステップ27）。

上述したのと同様に不確実な抽出マップが生成され（図15ステップ28），不確実な抽出マップが表示対象画像を表わさない場合には（図16ステップ29でＮＯ），補正処理が行われる（図16ステップ30）。

この変形例においては，抽出部分が照射範囲内に収まっている場合に（図16ステップ31でＮＯ），補正された抽出マップに死角となっているボクセルが含まれているときには，そのボクセルが削除されるように抽出マップが補正される（図16ステップ35）。

その後，上述のように，背景情報に基づいた抽出マップの補正が行われ（図16ステップ33），抽出マップにしたがうボクセルの抽出処理が行われる（図16ステップ34）。抽出されたボクセルが伸張され，かつレンダリングされることにより二次元画像が表示されるのは上述した通りである。

上述の実施例においては，フラッシュ・メモリ９から読み出されたマスク・データまたは不透明度データは可逆に伸張され，読み出されたマスク・データまたは不透明度データが第１フレームまたは第２フレームの場合には，確度100％の抽出マップが生成されているが（図５，図14参照），フラッシュ・メモリ９から読み出されたマスク・データまたは不透明度データが非可逆に伸張される，あるいは縮小処理が行われる場合には，第３フレーム以降の処理と同様に図６ステップ22または図15ステップ25以降の処理が行われ，不確実な抽出マップが生成されるようにしてもよい。

上述した実施例では，第３フレームのボクセル・データｂ３からデータを抽出する場合に，第１フレームのボクセル・データｂ１から抽出されたボクセル・データと同じ位置のボクセル・データが抽出されているが，第４フレーム以降のフレーム（第γフレーム）のボクセル・データについては，第１フレームまたは第２フレームのボクセル・データｂ１またはｂ２から抽出されたボクセル・データと同じ位置のボクセル・データを抽出するのではなく，第３フレームのボクセル・データｂ３等から抽出されたボクセル・データの位置と同じ位置のボクセル・データを抽出するようにしてもよい。

１ ＣＰＵ
２ 表示装置
５ メモリ
６ 入力装置
８ フラッシュ・メモリ
60，70，80 抽出マップ

Claims (16)

1. 抽出すべき画像データを示す抽出マップにしたがって，四次元画像を構成するフレームを表すフレーム画像データから画像データを抽出する抽出手段，
   上記抽出手段によって抽出された画像データを二次元表示用に画像処理する画像処理手段，
   上記抽出手段において，第αフレームを表わす第αフレーム画像データから画像データを抽出する場合には，二次元表示用の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成し，第β（但し，β＞α）フレームを表わす第βフレーム画像データから画像データを抽出する場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部分に対応する画像データを抽出するように第βフレーム用抽出マップを生成し，第γ（但し，γ＞β）フレームを表わす第γフレーム画像データから画像データを抽出する場合には，第βフレーム画像データから抽出された画像データによって表される画像部分に対応する画像データを抽出するように第γフレーム用抽出マップを生成する抽出マップ生成手段，
   上記抽出マップ生成手段によって生成された抽出マップにもとづいて第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わすかどうかを判定し，上記抽出マップ生成手段によって生成された第γフレーム用抽出マップにもとづいて第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わすかどうかを判定する判定手段，および
   上記判定手段によって，第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正し，上記判定手段によって，第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第βフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第γフレーム画像データから抽出するように第γフレーム用抽出マップを補正する抽出マップ補正手段，
   を備えた二次元画像生成装置。
2. 表示対象画像に不透明度が割り当てられるものであり，上記抽出マップ生成手段において生成される第αフレーム用抽出マップは，不透明度が０％よりも大きい画像データを２次元表示用の表示対象画像を表わす画像データとして抽出させるものであり，第βフレーム用抽出マップは，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データであって不透明度が０％よりも大きい画像データを抽出させるものである，
   請求項１に記載の二次元画像生成装置。
3. 上記抽出マップ生成手段は，
   所望の視点から見たときの二次元表示用の表示対象画像を表わす画像データを抽出し，かつ死角となる部分の画像データの抽出を停止する第αフレーム用抽出マップを生成するものであり，
   上記抽出マップ補正手段は，
   上記判定手段によって，第βフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正するものである，
   請求項１または２に記載の二次元画像生成装置。
4. 視点変更指令を入力する視点変更指令入力手段をさらに備え，
   上記抽出マップ生成手段は，
   上記視点変更指令入力手段から入力された視点から見たときの二次元表示用の表示対象画像を表わす画像データを抽出する第αフレーム用抽出マップを生成するものである，
   請求項３に記載の二次元画像生成装置。
5. 第αフレーム画像データによって表わされる第αフレーム画像の不透明度および第βフレーム画像データによって表わされる第βフレーム画像の不透明度を算出する不透明度算出手段，
   をさらに備えた請求項２から４のうち，いずれか一項に記載の二次元画像生成装置。
6. 二次元表示用の表示対象画像を変更する指令を入力する表示対象画像変更指令入力手段，
   をさらに備えた請求項１から４に記載の二次元画像生成装置。
7. フレーム画像データは圧縮されており，
   フレーム画像データを可逆的に伸張する可逆伸張手段をさらに備え，
   上記抽出手段は，上記可逆伸張手段によって可逆的に伸張されたフレーム画像データから画像データを抽出するものである，
   請求項１から６のうち，いずれか一項に記載の二次元画像生成装置。
8. フレーム画像データは圧縮されており，
   フレーム画像データを非可逆的に伸張する非可逆伸張手段をさらに備え，
   上記抽出手段は，上記非可逆伸張手段によって非可逆的に伸張されたフレーム画像データから画像データを抽出するものである，
   請求項１から６のうち，いずれか一項に記載の二次元画像生成装置。
9. フレーム画像データを縮小処理する縮小手段をさらに備え，
   上記抽出手段は，上記縮小手段によって縮小されたフレーム画像データから画像データを抽出するものである，
   請求項１から６のうち，いずれか一項に記載の二次元画像生成装置。
10. 上記抽出マップ生成手段は，二次元表示用の表示対象画像の背景画像を表わす画像データの抽出を停止する第αフレーム用抽出マップを生成するものである，
    請求項１から９のうち，いずれか一項に記載の二次元画像生成装置。
11. 上記抽出マップ補正手段は，二次元表示用の表示対象画像の動きに対応して，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正するものである，
    請求項１から10のうち，いずれか一項に記載の二次元画像生成装置。
12. 二次元表示用の表示対象画像の表示範囲を設定する表示範囲設定手段をさらに備え，
    上記抽出マップ生成手段は，上記表示範囲設定手段によって設定された表示範囲の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成するものである，
    請求項１から11のうち，いずれか一項に記載の二次元画像生成装置。
13. 上記抽出マップ生成手段による抽出マップの生成，上記判定手段による判定および上記抽出マップ補正手段による抽出マップの補正を停止する指令を入力する停止指令入力手段，
    をさらに備えた請求項１から12のうち，いずれか一項に記載の二次元画像生成装置。
14. フレーム画像データのデータ量および上記画像処理手段による画像処理能力にもとづいて，上記画像処理手段による画像処理時間が所定時間以上となる場合に，上記抽出手段，上記画像処理手段，上記抽出マップ生成手段，上記判定手段および上記抽出マップ補正手段の処理を行うものである，
    請求項１から13のうち，いずれか一項に記載の二次元画像生成装置。
15. 抽出手段が，抽出すべき画像データを示す抽出マップにしたがって，四次元画像を構成するフレームを表すフレーム画像データから画像データを抽出し，
    画像処理手段が，上記抽出手段によって抽出された画像データを二次元表示用に画像処理し，
    抽出マップ生成手段が，上記抽出手段において，第αフレームを表わす第αフレーム画像データから画像データを抽出する場合には，二次元表示用の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成し，第β（但し，β＞α）フレームを表わす第βフレーム画像データから画像データを抽出する場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部分に対応する画像データを抽出するように第βフレーム用抽出マップを生成し，第γ（但し，γ＞β）フレームを表わす第γフレーム画像データから画像データを抽出する場合には，第βフレーム画像データから抽出された画像データによって表される画像部分に対応する画像データを抽出するように第γフレーム用抽出マップを生成し，
    判定手段が，上記抽出マップ生成手段によって生成された抽出マップにもとづいて第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わすかどうかを判定し，上記抽出マップ生成手段によって生成された第γフレーム用抽出マップにもとづいて第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わすかどうかを判定し，
    抽出マップ補正手段が，上記判定手段によって，第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正し，上記判定手段によって，第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第βフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第γフレーム画像データから抽出するように第γフレーム用抽出マップを補正する，
    二次元画像生成装置の動作制御方法。
16. 二次元画像生成装置のコンピュータを制御するコンピュータ読み取り可能なプログラムであって，
    抽出すべき画像データを示す抽出マップにしたがって，四次元画像を構成するフレームを表すフレーム画像データから画像データを抽出させ，
    抽出された画像データを二次元表示用に画像処理させ，
    第αフレームを表わす第αフレーム画像データから画像データを抽出する場合には，二次元表示用の表示対象画像を表わす画像データを抽出するように第αフレーム用抽出マップを生成し，第β（但し，β＞α）フレームを表わす第βフレーム画像データから画像データを抽出する場合には，第αフレーム画像データから抽出された画像データによって表わされる画像部分に対応する画像データを抽出するように第βフレーム用抽出マップを生成し，第γ（但し，γ＞β）フレームを表わす第γフレーム画像データから画像データを抽出する場合には，第βフレーム画像データから抽出された画像データによって表される画像部分に対応する画像データを抽出するように第γフレーム用抽出マップを生成させ，
    生成された抽出マップにもとづいて第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わすかどうかを判定し，生成された第γフレーム用抽出マップにもとづいて第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わすかどうかを判定させ，
    第βフレーム画像から抽出される画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第αフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第βフレーム画像データから抽出するように第βフレーム用抽出マップを補正し，第γフレーム画像から抽出された画像データが二次元表示用の表示対象画像を表わしていないと判定されたことに応じて，第βフレーム画像データから抽出された画像データによって表される画像部分の近傍の画像を表す画像データを，第γフレーム画像データから抽出するように第γフレーム用抽出マップを補正させるように二次元画像生成装置のコンピュータを制御するプログラム。