JP6908232B2 - マルチモーダルビューア - Google Patents

Description

本発明は、画像通信システムおよび方法に関し、特に、マルチチャネル画像高速閲覧および操作方法に関する。

撮像システムはますます高度になり、ますます高くなる速度および解像度で膨大な量のデータを捕捉する。優れた画像分析のための重要な課題は、信頼性が高く、容易で、時宜を得た方法で画像データを閲覧、操作、分析、および共有することである。

マルチチャネル画像分析の論点の１つは、チャネルの所望の選択を表示し、各チャネルにおける変換（たとえばコントラスト調整、色変更など）を個別に処理する可能性を有することである。他の論点は、専門家が、どこにいても、たとえばコンピュータ、タブレット、またはスマートフォンなど任意の通信デバイスから、表示されたデータに同時にアクセスできるようにすることによって、結果の協同的解釈を可能にすることである。

本発明は、サーバに格納されたマルチチャネル画像を処理するための完全なフレームワークに関する。フレームワークは、プラグインインストールを一切必要とせず、任意のウェブブラウザからアクセス可能である。本発明に係るマルチチャネル画像を処理するための方法は、たとえばモバイルデバイスなど、リソースが限られたデバイスにおいて有効である。

本発明は、ユーザが任意の通信デバイスからデータに同時にアクセスすることを可能にする、マルチチャネル画像を極めて迅速に処理するための方法に関する。

方法は、複数の２Ｄテクスチャユニットにおいてマルチチャネル画像を変換するための格納方法を備える。このステップは、サーバにおいて事前計算される。

処理方法を提供するフレームワークは、数多くのユーザによって、たとえばコンピュータ、タブレット、またはスマートフォンなど任意の通信デバイスからアクセス可能である。たとえば、１人のユーザが、サーバに格納されたマルチチャネル画像を選択し、チャネルの選択を入力すると、接続された通信デバイス全てに関連チャネルが表示される。

一般に、問題となるマルチチャネル画像に関して、１度に１人であればどのユーザでも、任意の時間に、チャネルの選択、および各チャネルに関する変換および投影パラメータを選択することができる。変換および投影ステップは、選択されたチャネルにおいて、並列計算によって非常に高速で処理され、すなわち、選択されたチャネル全ての全画素が、接続されたデバイスのグラフィック処理ユニットにおいて同時に処理される。

本発明は、たとえば２次元、３次元、８ビットデータ形式、または１６ビットデータ形式など、任意のマルチチャネル画像に適用され得る。画像の様々なチャネルは、様々なイメージングモダリティから得られ得る。

複数のチャネルから成るマルチチャネル画像を閲覧および操作するための方法が提案され、そのチャネルは１または複数のイメージングモダリティから生じ、この方法は、
各々がマルチチャネル画像内の所与の位置における１または複数のチャネルに対応する４つの８ビットタイルのパックを表し、１つのグラフィック処理ユニット内の一定サイズのメモリストレージユニットである１または複数の２Ｄテクスチャユニットにマルチチャネル画像を格納するステップと、
マルチチャネル画像の１または複数のチャネルの選択を考慮するステップと、
選択されたチャネルに関する変換および投影パラメータを考慮するステップと、
受信したパラメータに従って、選択されたチャネルに変換を適用するステップであって、選択されたチャネルの全ての画素が同時に変換されるステップと、
受信したパラメータに従って、選択されたチャネルをＲＧＢ色空間に投影するステップであって、選択されたチャネルの全ての画素が同時に投影されるステップと、
を備える。

適用された変換はたとえば、入力パラメータによって決定された画像のコントラストの修正であってよい。

８ビットデータタイプ画像に関して行われる格納ステップは、
マルチチャネル画像の各チャネルを、同じサイズかつ２Ｄテクスチャユニットと同じサイズの８ビットタイルの規則的な格子に分割する動作と、
規則的な格子における所与の位置に対応する８ビットタイルを１または複数の２Ｄテクスチャユニットにグループ化する動作と、
を備える。

１６ビットデータタイプ画像に関して行われる場合、格納ステップは、
マルチチャネル画像の各チャネルを、同じサイズかつ２Ｄテクスチャユニットと同じサイズの１６ビットタイルの規則的な格子に分割する動作と、
各１６ビット画素値における高い方の８ビットと低い方の８ビットとを分けることによって、各１６ビットタイルを２つの８ビットタイルの対に分割する動作と、
規則的な格子における所与の位置に対応する８ビットタイルを１または複数の２Ｄテクスチャユニットにグループ化する動作と、
を備える。

８ビットデータタイプ画像に関して行われる変換ステップは、
２Ｄテクスチャユニットチャネルに格納された値からチャネル強度値を画素に結び付ける動作と、
入力変換パラメータに従って新たな画素値を計算する動作と、
を備える。

８ビットデータタイプ画像に関して行われる投影ステップは、入力投影パラメータに従って、全ての画素のＲＧＢ色空間への直線投影を計算する動作を備える。

１６ビットデータタイプ画像の場合、投影ステップは、
入力投影パラメータを用いて全ての画素のＲＧＢ色空間への直線投影を計算する動作と、
得られたチャネルＲ、Ｇ、およびＢの各々を８ビットチャネルに変換する動作と、
を備える。

１６ビットデータタイプ画像に関して行われる変換ステップは、
８ビット２Ｄテクスチャユニットチャネルの一連の対の各々を１６ビット値に変換する動作と、
１６ビット値からチャネル強度値を画素に結び付ける動作と、
入力変換パラメータに従って新たな画素値を計算する動作と、
を備える。

また本発明は、複数のチャネルから成るマルチチャネル画像を処理するためのシステムも提供し、当該システムはサーバを備え、サーバは、
各々がマルチチャネル画像内の所与の位置における１または複数のチャネルに対応する４つの８ビットタイルのパックを表し、１つのグラフィック処理ユニット内の一定サイズのメモリストレージである１または複数の２Ｄテクスチャユニットに、マルチチャネル画像を変換するための変換モジュールと、
得られた２Ｄテクスチャユニットを格納するためのメモリモジュールと、
たとえばパーソナルコンピュータ、デジタルタブレット、またはスマートフォンなどの１または複数の通信デバイスを同じアカウントに接続するための接続モジュールと、
同じアカウントでサーバに接続された通信デバイスのいずれかから、サーバに格納されたマルチチャネル画像の１または複数のチャネルの選択を受信するための選択モジュールと、
同じアカウントでサーバに接続された通信デバイスのいずれかから、選択されたチャネルに関する入力変換または投影パラメータを受信するための設定モジュールと、
同じアカウントでサーバに接続されたデバイスに、それらのグラフィック処理ユニットにおいて直接、受信したパラメータに従って選択されたチャネルのＲＧＢ色空間への変換および投影を処理するように命令するための処理モジュールと、
を含む。

本発明の上記および追加の目的および利点は、添付図面と併せて考慮される、好適な実施形態の詳細な説明によって明らかになる。

グローバル通信システムの図である。 ８ビットデータタイプ画像の例に関するＲＧＢ色空間への変換および投影の機能図を表す。 １６ビットデータタイプ画像の例に関するＲＧＢ色空間への変換および投影の機能図を表す。 ８ビットデータタイプ画像の例に関する格納ステップの図である。 １６ビットデータタイプ画像の例に関する格納ステップの図である。 ８ビットデータタイプ画像の例に関するＲＧＢ色空間への変換および投影の機能図を表す。 １６ビットデータタイプ画像の例に関するＲＧＢ色空間への変換および投影の機能図を表す。 変換および投影ステップの逐次実装の例である。 変換および投影ステップの並列実装の例である。

図１は、グローバル通信システムを表す。グローバル通信システムは、メモリユニット２および中央処理ユニット３を有するサーバ１を備える。メモリユニット２は、マルチチャネル画像を２Ｄテクスチャユニットに格納する。複数の２Ｄテクスチャユニットにマルチチャネル画像を変換するステップは、サーバ１の中央処理ユニット３によって実行される。

図１に示すように、任意のウェブブラウザから、およびたとえばスマートフォン、タブレット、またはコンピュータなど任意の通信デバイス４からアクセス可能なフレームワークによって、何人かのユーザが、その人数にかかわらずサーバ１に接続される。

ユーザの１人がサーバ１へパラメータを送信すると（矢印Ａ）、サーバ１は、接続された通信デバイス４へ、それらのグラフィック処理ユニットにおいて処理ステップを計算するように命令する（矢印Ｂ）。任意のユーザが新たなパラメータを入力することができる。

本発明に関連する高速の処理方法によって、ユーザのグループは、同じデータ、およびリアルタイムで処理される修正を同時に視覚化することができる。本説明において、リアルタイムという表現は、実行時間が４０ミリ秒未満しか持続しない動作を指す。

ユーザがマルチチャネル画像に実行することができる修正は、
デバイスのスクリーン上に表示される１または複数のチャネルの選択、
各チャネルの変換パラメータ、
各チャネルの投影パラメータ
である。

変換および投影ステップは、接続された各デバイスのグラフィック処理ユニットにおいて実行される。図２は、８ビットデータタイプ画像の例における変換および投影ステップの機能図である。比較して、図３は、１６ビットデータタイプ画像に関するこれらのステップを示す。１６ビットデータタイプ画像の場合、データを８ビットデータタイプに変換する補足ステップが存在する。

図２および図３に示すステップは、変換および投影ステップである。図２および図３においてＨと称される変換動作は、各チャネルに２つの入力データを有する。変換動作Ｈは、たとえばコントラスト調整動作であってよい。以下の説明は、場合によってはコントラスト調整の特定の例を用いるが、本発明は、この種類の変換に限定されるものではない。画素値の修正を含む任意の種類の変換が適用され得る（たとえばボケ除去、画像分割など）。

コントラスト調整動作は、以下のように数学的に表すことができる。［０，２５５］または［０，２^１６−１］における入力値ｘが与えられ、２つのパラメータＴｈＬおよびＴｈＨを考える場合、

である。

８ビットデータタイプ画像の場合、ｍａｘの値は２５５に等しく、１６ビットデータタイプ画像の場合、ｍａｘの値は２^１６−１に等しい。

図２および図３における投影動作ｆは、チャネル画像のＲＧＢ色空間への直線投影である。これは、ユーザによって値が調整されるマトリックスＭによって定義される。マトリックスＭは、入力チャネルと同数の行および３列を含む。

投影および変換ステップはリアルタイムで行われ、それによってユーザは、修正の処理および視覚化を同時にすることができる。

変換ステップの入力チャネルは、特定の形式である。これらは、サーバ１において２Ｄテクスチャユニットに格納される。２Ｄテクスチャユニットは、グラフィック処理ユニットに結合された一定サイズのメモリストレージユニットである。本発明に係る２Ｄテクスチャユニットは、問題となるマルチチャネル画像内の所与の位置における１または複数のチャネルに対応する４つの８ビットタイルのパックである。

大抵の場合、２Ｄテクスチャユニットは、ＲＧＢＡ画像を表示するために用いられ、すなわち２Ｄテクスチャユニットのコンテンツは、スクリーン上に直接表示される。本発明に関する特定の利用において、２Ｄテクスチャユニットは、処理を容易にし、処理速度を向上するために、それらのメモリストレージ機能のみに関して用いられる。上述したＨおよびｆ動作は、２Ｄテクスチャユニットにおいて直接実行される。

本発明に係る、８ビットタイルのパックにマルチチャネル画像を格納するステップは、サーバ１の中央処理ユニット３において事前計算される。この格納方法は、８ビットデータタイプ画像に関して図４に示され、１６ビットデータタイプ画像に関して図５に示される。

格納方法は、タイリングステップおよびパッキングステップの２ステップを備える。図４によると、タイリングステップは、所与の画像チャネルを同じサイズの規則的なタイル格子に分割するプロセスである。タイリングステップの後、各チャネルは複数のタイルのパックであり、各タイルはマルチチャネル画像の一部を表す。たとえば、タイル１００、２００、３００、４００、および５００は、マルチチャネル画像内の同じ位置を表す。各タイルは、２Ｄテクスチャユニットと同じ画素サイズ、すなわち５１２×５１２画素を有する。

パッキングステップは、所与の位置における各タイルを４つのチャネルのパックにグループ化することに存する。図４の例において、入力画像は、５つのチャネルから成る。各チャネルの左上のタイルは、１つのパック（１００、２００、３００、および４００）およびタイル５００を含む別のパックにパックされる。この例において、パックの数は２である。図４において、パックの数はＫと称され、ファイルの数はＮと称される。

タイル、パック、およびファイルの数は、チャネルの数および入力画像のサイズに依存する。パッキングステップの規則は、タイルをパックにグループ化することによってタイルの数を最小限にすることである。４つのタイルのパックは、２Ｄテクスチャユニットとも称される。図４の例において、タイルは全て８ビットデータである。

ここで、１６ビットデータタイプマルチチャネル画像の例に関して図５に示す格納ステップが参照される。格納ステップは、８ビットデータタイプ画像の場合と同じステップ、すなわちタイリングステップおよびパッキングステップを備える。格納ステップは更に、図５においてＳと称される補足動作を備える。Ｓは分割動作である。分割動作は、１６ビットデータタイプ値における高い方の８ビットと低い方の８ビットとを分けることに存する。この動作はタイリングステップの後に実行され、得られたタイルは１６ビットのままである。たとえば、左上の１６ビットタイル１００は、各画素値に関して高い方の８ビットを含む１００ｈおよび各画素値に関して低い方の８ビットを含む１００ｌという２つの８ビットタイルに分割される。

図６は、図４と同じ８ビットデータタイプ画像の例における変換および投影ステップの機能図を表す。特に、図６は、２つの２Ｄテクスチャユニットの第１のファイルにおいて実行される様々なステップを示す。同じ動作が、図４に示す他の２Ｄテクスチャユニット全てにおいて実行されるが、ここでは表さない。

Ｔ１およびＴ２は、２つの２Ｄ ＲＧＢＡテクスチャユニットである。変換動作Ｈは、全ての２Ｄテクスチャユニットにおいて並行して実行され、すなわち２Ｄテクスチャユニットの全ての画素が同時に計算される。変換ステップの後、投影動作ｆもまた、全ての画素において並行して実行され、画像がリアルタイムで（すなわち６ミリ秒を下回る時間内に）表示されることを可能にする。

ここで、図５と同じ１６ビットデータタイプ画像例の変換および投影ステップの機能図を表す図７が参照される。特に、図７は、２つの２Ｄテクスチャユニットの第１のファイルにおいて実行される様々なステップを示す。同じ動作が図５に示す他の２Ｄテクスチャユニット全てにおいて実行されるが、ここでは表さない。

この図において、Ｓｒおよび８ビット変換と称される２つの補足動作が存在する。Ｓｒ動作は、図５に示すＳ動作の反転機能である。２つの８ビット値が与えられた場合、Ｓｒ機能は、１６ビット値を再構成する。１６ビット値の画素は、オンスクリーン８ビット変換の前に、ＲＧＢ色空間に変換および直接投影される。８ビットの例と同様、全ての画素が並行して計算される。

逐次アルゴリズムと並列アルゴリズムとの比較に関して、疑似コード図８および図９がそれぞれ参照される。これらは、変換動作がコントラスト調整である場合に書かれる。図８によると、直接アプローチは、一般に中央処理ユニットにおけるステップの逐次計算で構成される。この特定の実装に関して、画素は逐次的に処理される。入力変換ベクトルパラメータＴｈＬおよびＴｈＨに行われたユーザ入力変更において、画像をスクリーンにレンダリングする時間は極度に長すぎる。一例として、３つの８ビットチャネルを実行する平均時間は、２００〜３００ミリ秒である。したがってこの直接アプローチは、ユーザ入力のリアルタイム更新を妨げる。

図９によると、本発明の実装方法は、グラフィック処理ユニット並列計算能力を用いて、逐次的にではなく並行して全ての画素ｐを処理する。逐次計算との他の相違は、入力源にある。この方法において、チャネルは、２Ｄテクスチャユニット、すなわちシステムメモリではなく４つのタイルのパックに格納される。入力チャネルは、Ｋ個の２ＤテクスチャユニットのベクトルＴを指す。図９の例は、１つのファイルに関する。この実装によると、ｍ個の選択されたチャネルに対応するＮ個のファイルが並行して処理される。

本発明に係る例に関して、５つの８ビットチャネルを実行する平均時間は、２〜６ミリ秒に含まれる。この方法の高速性により、ユーザ入力のリアルタイム更新が可能である。

Claims (9)

1. 複数のチャネルから成るマルチチャネル画像を閲覧および操作するための方法であって、そのチャネルは１または複数のイメージングモダリティから生じ、この方法は、
   各々が前記マルチチャネル画像内の所与の位置における１または複数のチャネルに対応する４つの８ビットタイルのパックを表し、１つのグラフィック処理ユニット内の一定サイズのメモリストレージユニットである１または複数の２Ｄテクスチャユニットにマルチチャネル画像を格納するステップと、
   前記マルチチャネル画像の１または複数のチャネルの選択を考慮するステップと、
   前記選択されたチャネルに関する変換および／または投影パラメータを考慮するステップと、
   受信したパラメータに従って、前記選択されたチャネルに前記変換を適用するステップであって、前記選択されたチャネルの全ての画素が同時に変換されるステップと、
   前記受信したパラメータに従って、前記選択されたチャネルをＲＧＢ色空間に投影するステップであって、前記選択されたチャネルの全ての画素が同時に投影されるステップと、
   を備える、方法。
2. 前記変換動作は、前記画像のコントラストの修正である、請求項１に記載の方法。
3. ８ビットデータタイプ画像に関して行われる前記格納ステップは、
   前記マルチチャネル画像の各チャネルを、同じサイズかつ２Ｄテクスチャユニットと同じサイズの８ビットタイルの規則的な格子に分割する動作と、
   前記規則的な格子における所与の位置に対応する前記８ビットタイルを１または複数の２Ｄテクスチャユニットにグループ化する動作と、
   を備える、請求項１または２のいずれかに記載の方法。
4. ８ビットデータタイプ画像に関して行われる前記変換ステップは、
   ２Ｄテクスチャユニットチャネルに格納された値から、チャネル強度値を画素に結び付ける動作と、
   入力変換パラメータに従って新たな画素値を計算する動作と、
   を備える、請求項１乃至３のいずれかに記載の方法。
5. ８ビットデータタイプ画像に関して行われる前記投影ステップは、入力投影パラメータに従って、全ての画素のＲＧＢ色空間への直線投影を計算する動作を備える、請求項１乃至４のいずれかに記載の方法。
6. １６ビットデータタイプ画像に関して行われる前記格納ステップは、
   前記マルチチャネル画像の各チャネルを、同じサイズかつ２Ｄテクスチャユニットと同じサイズの１６ビットタイルの規則的な格子に分割する動作と、
   各１６ビット画素値における高い方の８ビットと低い方の８ビットとを分けることによって、各１６ビットタイルを２つの８ビットタイルの対に分割する動作と、
   前記規則的な格子における所与の位置に対応する前記８ビットタイルを１または複数の２Ｄテクスチャユニットにグループ化する動作と、
   を備える、請求項１または２のいずれかに記載の方法。
7. １６ビットデータタイプ画像に関して行われる前記変換ステップは、
   ８ビット２Ｄテクスチャユニットチャネルの一連の対の各々を１６ビット値に変換する動作と、
   前記１６ビット値から、チャネル強度値を画素に結び付ける動作と、
   入力変換パラメータに従って新たな画素値を計算する動作と、
   を備える、請求項６に記載の方法。
8. １６ビットデータタイプ画像に関して行われる前記投影ステップは、
   入力投影パラメータを用いて全ての画素のＲＧＢ色空間への直線投影を計算する動作と、
   得られたチャネルＲ、Ｇ、およびＢの各々を８ビットチャネルに変換する動作と、
   を備える、請求項７に記載の方法。
9. 複数のチャネルから成るマルチチャネル画像を処理するためのシステムであって、前記システムは、
   各々が前記マルチチャネル画像内の所与の位置における１または複数のチャネルに対応する４つの８ビットタイルのパックを表し、１つのグラフィック処理ユニット内の一定サイズのメモリストレージである１または複数の２Ｄテクスチャユニットに、マルチチャネル画像を変換するための変換モジュールと、
   前記変換モジュールから得られた２Ｄテクスチャユニットを格納するためのメモリモジュールと、
   たとえばパーソナルコンピュータ、デジタルタブレット、またはスマートフォンなどの１または複数の通信デバイス（４）を同じアカウントに接続するための接続モジュールと、
   同じアカウントでサーバ（１）に接続された前記通信デバイスのいずれかから、前記サーバ（１）に格納されたマルチチャネル画像の１または複数のチャネルの選択を受信するための選択モジュールと、
   同じアカウントで前記サーバ（１）に接続された前記通信デバイスのいずれかから、前記選択されたチャネルに関する入力変換または投影パラメータを受信するための設定モジュールと、
   同じアカウントで前記サーバ（１）に接続された前記デバイスに、それらのグラフィック処理ユニットにおいて直接、前記受信したパラメータに従って前記選択されたチャネルのＲＧＢ色空間への変換および投影を処理するように命令するための処理モジュールと、
   を含むサーバ（１）を備える、システム。

Images