JP6494294B2

JP6494294B2 - 画像処理装置、及び撮像システム

Info

Publication number: JP6494294B2
Application number: JP2015006071A
Authority: JP
Inventors: 佐々木　亨; 亨佐々木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-05-15
Filing date: 2015-01-15
Publication date: 2019-04-03
Anticipated expiration: 2035-01-15
Also published as: WO2015174057A1; JP2015233267A; US10241317B2; US20170038576A1

Description

本発明は、画像の継合せ機能を有する画像処理装置に関する。

近年、病理医の不足や遠隔地医療等の問題を解消するため、病理標本画像を用いた診断の重要性が高まっている。病理標本画像は、電動ステージを備えた顕微鏡や医療用スライドスキャナ（以後、顕微鏡撮像システムと呼ぶ）により取得されるが、診断に耐えうる高精度な画像を取得するためには多くの技術課題を克服する必要がある。

技術課題の一つとして、画像の継合せに関する問題が知られている。デジタル顕微鏡の対物レンズで結像できる標本の範囲は、標本全体と比べて小さく、通常は標本の１００分の１以下である。そのため、標本全体の画像データを取得するには、位置を変えながら複数回に分けて標本を撮像し（分割撮像）、得られた複数の画像データを継合せる必要がある。

一回の撮像で取得される部分画像データ（以後、タイルと呼ぶ）は、電動ステージにより標本を一定間隔ずつ動かしながら取得されるが、ステージのガタ等の影響で位置ずれが生じ、像が影響を受ける。その結果、タイルを並べるだけでは継ぎ目に差異が生じて全体を表す画像データ（以後、全体画像と呼ぶ）が得られない。そのため、隣接するタイルの境界部が重なるように各タイルを取得し、重複部分の形状が一致するように位置ずれ補正を行ってから全体画像を合成するのが一般的である。また、対物レンズの歪曲収差や像の回転等の補正も行われている。
一つの病理標本全面を撮像したとき、顕微鏡撮像システムにより取得されるタイルは１０００枚を超える（１タイル２０００万画素の場合）程膨大であるため、継合せの高速化が望まれている。

特許文献１に開示されている原稿用スキャナにおける継合せ手法では、原稿中の空白部位を避けて原稿内の構成要素を撮像し、構成要素のみを継合せることで高速化を図っている。
特許文献２に開示されている複数画像の編成方法は、サーバーから送られてきた部分画像データを、ＰＣ上で全体画像に再構成する。この方法は、サーバーに送られてくる部分画像の位置や大きさが既知であることを利用し、ＰＣに部分画像が到着する際の待ち時間に再構成処理を実行することで高速化している。

特開２００１−３２０５７９号公報特開２００２−１５０２６２号公報

顕微鏡撮像システムでは、撮像装置（顕微鏡装置）で標本の分割撮像を行い、得られた部分画像データを画像処理装置に順次伝送し、画像処理装置において継合せ処理を行うという構成が採られる。この構成において、部分画像データが画像処理装置に到着する順番やタイミングが予め分かっているか予測可能であれば、画像処理装置での継合せ処理を最適化・高速化することが比較的容易である。しかし、現実には次のような問題がある。

特許文献１に記載された方法のように空白部位（検体が存在しない部分）を避けて撮像する場合、タイルの撮像順が変化して、継合せ対象の隣接タイルの撮像が遅れる場合がある。また、別の画像サーバーに格納されているタイルと、顕微鏡撮像システムで撮像したタイルとを継合せる場合もあるが、画像処理装置にタイルが到着するタイミングが定まっているわけではない。
このように、画像処理装置へのタイルの到着順序が定まっていない場合、特許文献２に記載の手法のようにタイル到着の待ち時間を利用しようとしても、隣接タイルの到着が遅れ、十分に高速化されない。
マルチプロセッサによる並列処理を用いて、継合せ処理を高速化することも考えられる。しかしながら、画像処理装置へのタイルの到着順序が定まっていない場合には、隣接タイルの到着の遅れが影響し、アルゴリズムの並列性から期待できる継合せ速度性能を達成できない。

本発明は上記実情に鑑みなされたものであり、複数の部分画像データを継合せて合成画像データを生成する処理を効率的に実行するための技術を提供することを目的とする。特に本発明は、複数の部分画像データの取得順や取得タイミングが変化し得る環境下において、部分画像データ同士の継合せ処理を効率的に実行するための技術を提供することを目的とする。

本発明の第一態様は、複数の部分画像データを継合せて合成画像データを生成する画像処理装置であって、複数の部分画像データを順次取得する画像取得手段と、前記複数の部分画像データそれぞれに対する処理の状態を示す状態情報として、前記画像取得手段によるデータの取得が完了したか否かを示す情報を少なくとも含む状態情報を管理する状態管理手段と、部分画像データの継合せ個所ごとに、継ぎ合わせる部分画像データのあいだの局所的なずれを補正するための補正量を取得する補正量取得手段と、前記補正量取得手段によって取得された継合せ個所ごとの補正量に基づき前記複数の部分画像データをそれぞれ補正し、補正後の部分画像データを継合せた合成画像データを生成する画像合成手段と、を有し、前記状態情報は、部分画像データごと又は継合せ個所ごとに、前記補正量取得手段による補正量の取得処理が完了したか否かを示す情報、又は、前記補正量取得手段による補正量の取得処理が実行中であるか否かを示す情報をさらに含み、前記補正量取得手段は、前記状態情報に基づき、補正量を取得するのに必要なデータの取得が完了した部分画像データ又は継合せ個所から、補正量の取得処理を開始するよう制御されることを特徴とする画像処理装置である。
本発明の第二態様は、複数の部分画像データを継合せて合成画像データを生成する画像処理装置であって、複数の部分画像データを順次取得する画像取得手段と、前記複数の部分画像データそれぞれに対する処理の状態を示す状態情報として、前記画像取得手段によるデータの取得が完了したか否かを示す情報を少なくとも含む状態情報を管理する状態管理手段と、部分画像データの継合せ個所ごとに、継ぎ合わせる部分画像データのあいだの局所的なずれを補正するための補正量を取得する補正量取得手段と、前記補正量取得手段によって取得された継合せ個所ごとの補正量に基づき前記複数の部分画像データをそれぞれ補正し、補正後の部分画像データを継合せた合成画像データを生成する画像合成手段と、前記補正量取得手段によって取得された複数の継合せ個所の補正量に基づき、前記画像合成手段において前記複数の部分画像データのそれぞれに対し実際に施す補正処理で用いる第２の補正量を決定するグローバル補正量取得手段と、を有し、前記補正量取得手段は、前記状態情報に基づき、補正量を取得するのに必要なデータの取得が完了した部分画像データ又は継合せ個所から、補正量の取得処理を開始するよう制御されることを特徴とする画像処理装置である。

本発明の第三態様は、被写体を分割撮像して複数の部分画像データを得る撮像装置と、前記撮像装置から前記複数の部分画像データを取得し、前記複数の部分画像データを継合せて合成画像データを生成する、本発明に係る画像処理装置と、を有することを特徴とする撮像システムである。

本発明の第四態様は、複数の部分画像データを継合せて合成画像データを生成する画像処理装置の制御方法であって、複数の部分画像データを順次取得する画像取得ステップと、前記複数の部分画像データそれぞれに対する処理の状態を示す状態情報として、前記画像取得ステップによるデータの取得が完了したか否かを示す情報を少なくとも含む状態情報を管理する状態管理ステップと、部分画像データの継合せ個所ごとに、継ぎ合わせる部
分画像データのあいだの局所的なずれを補正するための補正量を取得する補正量取得ステップと、前記補正量取得ステップによって取得された継合せ個所ごとの補正量に基づき前記複数の部分画像データをそれぞれ補正し、補正後の部分画像データを継合せた合成画像データを生成する画像合成ステップと、を有し、前記状態情報は、部分画像データごと又は継合せ個所ごとに、前記補正量取得ステップによる補正量の取得処理が完了したか否かを示す情報、又は、前記補正量取得ステップによる補正量の取得処理が実行中であるか否かを示す情報をさらに含み、前記補正量取得ステップは、前記状態情報に基づき、補正量を取得するのに必要なデータの取得が完了した部分画像データ又は継合せ個所から、補正量の取得処理を開始するよう制御されることを特徴とする画像処理装置の制御方法である。
本発明の第五態様は、複数の部分画像データを継合せて合成画像データを生成する画像処理装置の制御方法であって、複数の部分画像データを順次取得する画像取得ステップと、前記複数の部分画像データそれぞれに対する処理の状態を示す状態情報として、前記画像取得ステップによるデータの取得が完了したか否かを示す情報を少なくとも含む状態情報を管理する状態管理ステップと、部分画像データの継合せ個所ごとに、継ぎ合わせる部分画像データのあいだの局所的なずれを補正するための補正量を取得する補正量取得ステップと、前記補正量取得ステップによって取得された継合せ個所ごとの補正量に基づき前記複数の部分画像データをそれぞれ補正し、補正後の部分画像データを継合せた合成画像データを生成する画像合成ステップと、前記補正量取得ステップによって取得された複数の継合せ個所の補正量に基づき、前記画像合成ステップにおいて前記複数の部分画像データのそれぞれに対し実際に施す補正処理で用いる第２の補正量を決定するグローバル補正量取得ステップと、を有し、前記補正量取得ステップは、前記状態情報に基づき、補正量を取得するのに必要なデータの取得が完了した部分画像データ又は継合せ個所から、補正量の取得処理を開始するよう制御されることを特徴とする画像処理装置の制御方法である。

本発明によれば、複数の部分画像データを継合せて合成画像データを生成する処理を効率的に実行することができる。特に、複数の部分画像データの取得順や取得タイミングが変化し得る環境下においても、部分画像データ同士の継合せ処理を効率的に実行することが可能である。

顕微鏡撮像システムのタイル継ぎ合わせ処理に関わる機能のブロック図第１実施形態の顕微鏡撮像システムの構成図第１実施形態の撮像処理ボードの構成図第１実施形態のタイルの取得の流れを説明する図第１実施形態の画像取得処理のシーケンス図第１実施形態の画像補正処理のシーケンス図第１実施形態の色変換処理のシーケンス図第１実施形態の撮像状態管理テーブルを説明する図第１実施形態のセンサ補正処理を説明する図第１実施形態のデータ受信プロセスのシーケンス図第１実施形態の位置ずれ・変形量取得プロセスのシーケンス図第１実施形態の画像合成プロセスのシーケンス図第１実施形態において処理実行状態の管理に用いる配列と変数の例第１実施形態において位置合わせに用いるパッチを説明する図第１実施形態の継ぎ合わせ処理を説明する図第２実施形態のデータ受信プロセスのシーケンス図第２実施形態の位置ずれ・変形量取得プロセスのシーケンス図第２実施形態において処理実行状態の管理に用いる配列の例第２実施形態の状態割当処理を説明する図第２実施形態の状態割当処理において生成されるテーブルの例第３実施形態の撮像装置の構成図第３実施形態の撮像装置の撮像処理ボードの構成図第３実施形態の色変換処理とパッチ選択処理のシーケンス図第３実施形態のパッチ選択処理を説明する図

［第１実施形態］
本発明の第１実施形態について、図２を用いて説明する。第１実施形態の顕微鏡撮像システム１０１は、撮像装置１０２と画像処理装置１０３から構成される。この顕微鏡撮像システム１０１は、臓器の組織片や細胞などの検体を固定したスライド（標本と呼ぶ）の顕微鏡像を撮像し、高倍率かつ高解像度のデジタル画像データを生成するシステムである。このシステムは、例えば病理診断における病変の発見や診断などに利用される。

撮像装置１０２は、対物レンズ１１１、標本保持部１１２、三軸ステージ１１３、イメージセンサ１１４、撮像処理ボード１１５、標本選択部１１６、ハロゲンランプ１１７、電動フィルタホイール１１８を有している。ハロゲンランプ１１７（光源）、電動フィルタホイール１１８（カラーフィルタ）、照明光学系（ミラー、レンズなど）により、標本を照明する照明ユニットが構成される。電動フィルタホイール１１８は、６種類のカラーフィルタを搭載でき、通常の撮像では３種類のカラーフィルタＲＧＢを用いる。対物レンズ１１１は、標本像を拡大しイメージセンサ１１４の受光面に結像する結像光学系である。対物レンズ１１１の倍率は変更可能である。イメージセンサ１１４は、光電変換により標本の画像データを生成する撮像ユニットである。ＣＣＤ、ＣＭＯＳを用いた一次元又は二次元のイメージセンサを用いることができる。

画像処理装置１０３は、撮像装置１０２で取得された画像データに対し継合せ、色補正、特徴抽出、自動診断などの各種処理を行ったり、画像データや抽出した情報を表示したりする機能をもつ装置である。画像処理装置１０３は、ＣＰＵ（プロセッサ）、メモリ、補助記憶装置（ハードディスクなど）、入力装置（マウス、キーボード、タッチパネルなど）、表示装置、通信装置などを備える汎用のコンピュータで構成することができる。画像データの処理や表示のための機能は、コンピュータプログラムにより実現される。上記コンピュータは、システム全体動作の制御装置１０４としても使用する。撮像装置１０２と画像処理装置１０３（制御装置１０４）の間はケーブル１０５により接続され、双方向にデータを転送できる。ケーブル１０５としては、シリアルケーブル、ＬＡＮ、ＷＡＮ（例えばインターネット）、光ケーブル、内部バスなどを利用できる。またケーブル１０５の代わりに無線通信で撮像装置１０２と画像処理装置１０３のあいだを接続してもよい。

撮像装置１０２の撮像処理ボード１１５の構成について図３を用いて説明する。撮像処理ボード１１５は、メモリ１３２、センサ補正部１３４、色変換部１３６、カメラリンクインターフェース１３８、ネットワークインターフェース１３９を有する。また、撮像処理ボード１１５は、タイル取得制御用コントローラー１４５、補正処理制御用コントローラー１４６、色変換処理制御用コントローラー１４７を有する。各コントローラーは、調停回路１４０からデータバスの占有許可を表わす信号１５０（以後、データバス占有許可信号と呼ぶ）を取得した後、データバス１４１により接続された各構成要素に処理開始指示１５１を送り、構成要素毎の画像処理を実行する。符号１５２はデータの流れを示す。

顕微鏡撮像システム１０１における撮像の流れについて説明する。利用者は、先ず、撮像対象となる標本を標本選択部１１６に挿入する。標本選択部１１６において、各標本のサムネール画像が撮像され、制御装置１０４に送られる。利用者は、ディスプレイ上に表示されたサムネール画像から、取得したい標本と撮像範囲を選択する。

＜タイルの取得＞
次に、図４に記載されている手順に従い、タイルの取得を行う。状態テーブル作成工程２０１では、制御装置１０４が、選択された標本の番号と撮像範囲を基に、状態テーブルを作成する。状態テーブルは、初期状態（以後、状態を表わす数値を状態番号と呼び、初期状態を状態番号０とする）から最終状態（状態番号Ｎとする）までの三軸ステージのｘ，ｙ座標値を記載したテーブルである。つまり、状態番号０〜Ｎは、標本の撮像範囲全体を（Ｎ＋１）個の撮像エリアに分けて分割撮像する場合の、各撮像エリアの番号を表しているともいえる。本明細書では、光軸に垂直な平面を為す２座標軸に沿った座標をｘ，ｙ座標、光軸に沿った座標はｚ座標とする。状態テーブルに記述されるｘ，ｙ座標は、ラスタスキャンのように一定の順序に等間隔に並んでいる必要はない。例えば、撮像範囲内に組織構造を持たない背景部が存在する場合には、背景部の撮像を省略して撮像時間を短縮する。あるいは、すでに撮像したタイルの周囲の領域を撮像したい場合には、撮像済みタイルと同じ位置を再度撮像し、ステージ高さを前回撮像時と一致させてから、元の位置に戻って撮像を行う。

ステージ駆動工程２０２では、制御装置１０４が、状態番号Ｓ（初回はＳ＝０）におけるｘ，ｙ座標値を状態テーブルから取得し、上記ｘ，ｙ座標値の位置への駆動指示を三軸ステージ１１３に送り、ステージを駆動する。

合焦位置検出工程２０３では、上記ステージ駆動終了後に合焦位置検出を行う。まず制御装置１０４から、三軸ステージ１１３をｚ座標軸方向に微小距離駆動しながらタイルを取得する指示を三軸ステージ１１３とイメージセンサ１１４に送り、ｚ方向の焦点位置を変えて複数のタイルを取得する。以後の説明では、上記タイルのように標本内での高さ（
深さ）が異なる画像データをレイヤーと呼ぶこととする。各々のレイヤーの中心部において、正規化分散のような公知のフォーカスアルゴリズムを適用し、最もピントのあうステージ高さ（合焦ｚ座標値と呼ぶ）を算出する。

タイル取得工程２０４では、得られた合焦ｚ座標値の高さに三軸ステージ１１３を駆動し、電動フィルタホイール１１８によりカラーフィルタを切り替えながらＲＧＢ各色に対応するタイル（以後、単色タイルと呼ぶ）を順番に取得する。単色タイルは撮像処理ボード１１５のメモリ１３２に保持される。
次に、状態番号Ｓを１ずつ増やしながら、ステージ駆動工程２０２、合焦位置検出工程２０３、タイル取得工程２０４を繰り返し、全ての状態番号に対応する単色タイルを取得する。

＜撮像装置内で行われる画像処理（構成要素間で行われるデータ交換）＞
撮像装置内画像処理は、複数の構成要素間でデータ交換しながら実行される。最初に、構成要素間で行われるデータ交換について図５、図６、図７を用いて説明し、その後、処理を担当する構成要素内で実行される画像処理（以後、個別処理と呼ぶ）について説明する。

構成要素間で行われるデータ交換の順序は、撮像状態管理テーブル３０１を用いて管理される。撮像状態管理テーブル３０１は、撮像処理ボードのメモリ１３２に割り当てられた配列である。撮像状態管理テーブル３０１のインデックスは、単色タイルの取得順（以後、単色タイル番号と呼ぶ）に対応している。撮像状態管理テーブル３０１の値は撮像状態に対応する数値である。

図８を用いて上記撮像状態について説明する。撮像状態値は０〜５をとり、それぞれ、未取得状態４０１、取得完了状態４０２、補正実行状態４０３、補正完了状態４０４、色変換実行状態４０５、色変換完了状態４０６を表す。未取得状態４０１は単色タイルが未取得である状態である。取得完了状態４０２は、単色タイルが取得されているが、後述するセンサ補正処理５０１は施されていない状態である。補正実行状態４０３は、単色タイルに対して後述するセンサ補正処理５０１を実行中である状態である。補正完了状態４０４は、後述するセンサ補正処理５０１の実行が完了した状態である。色変換実行状態４０５は、後述する色変換処理を実行中である状態である。色変換完了状態４０６は、後述する色変換処理の実行が完了した状態である。

以後、単色タイル番号に対する撮像状態値を撮像状態管理テーブル３０１に設定することを、撮像状態管理テーブルの「更新」と呼び、単色タイル番号に対応する撮像状態値を読みだすことを「検索」と呼ぶ。更新、検索、およびそれらを組み合わせた手続き（検索結果に応じた条件付き更新等）の実行中は、他のプロセスによる割り込みをかけられないよう、調停回路１４０により調停が行なわれる。また、特定のインデックスに対し、特定の値が得られるまで撮像状態管理テーブル３０１の検索を一定時間間隔で行う、あるいは、特定の値になったことが他のプロセスから通知されるまで待機することを、撮像状態管理テーブル３０１の「監視」と呼ぶ。

まず、図５に示されるように、制御装置１０４は、撮像処理ボード１１５に単色タイルの取込開始指示を送る。タイル取得制御用コントローラー１４５は、ネットワークインターフェース１３９の特定のポートに取込開始指示が来ているのを確認後、カメラリンクインターフェース１３８を介してイメージセンサに取得開始を指示する。コントローラー１４５は、画像データ（単色タイル）を取得後、メモリ１３２に保存する。保存後、コントローラー１４５は、撮像状態管理テーブル３０１の値を取得完了状態４０２に更新する。

一方、図６に示されるように、補正処理制御用コントローラー１４６は、タイル取得開始と同時に単色タイル番号ａ（初回はａ＝０）に対する撮像状態管理テーブル３０１の監視を開始する。撮像状態管理テーブル３０１の値が取得完了状態４０２であるのを確認後、補正実行状態４０３に値を更新する。その後、コントローラー１４６は、センサ補正部１３４に単色タイルの先頭アドレスを送り、後述するセンサ補正処理５０１の実行を指示する。センサ補正処理後、コントローラー１４６は、撮像状態管理テーブル３０１の値を補正完了状態４０４に更新し、監視対象とする単色タイル番号を１増加させて監視を続行する。

図７に示されるように、色変換処理制御用コントローラー１４７は、同じ状態番号に属するセンサ補正後単色タイルに対する撮像状態管理テーブル３０１の値が補正完了状態４０４であるのを確認後、色変換実行状態４０５に値を更新する。本実施形態ではＲＧＢ３色の撮像が行われるため、同じ状態番号（同じｘｙ位置）に対し３枚のセンサ補正後単色タイルが存在する。コントローラー１４７は、各センサ補正後単色タイルの先頭アドレスを色変換部１３６に送り、色変換処理を実行する。色変換部１３６の出力データ（以後、色変換後タイルと呼ぶ）は、ネットワークインターフェース１３９を経由し、画像処理装置１０３に転送される。転送後、コントローラー１４７は、同じ状態番号に属する単色タイル番号に対して撮像状態管理テーブル３０１の値を色変換完了状態４０６に更新し、監視対象とする単色タイル番号を３増加させて監視を続行する。

状態番号Ｎの単色タイルに対する画像処理が終了後、撮像状態管理テーブル３０１の値を未取得状態４０１にリセットし、当該標本に対する撮像装置内画像処理は終了する。

＜撮像装置内で行われる画像処理（個別処理）＞
次に、個別処理について説明する。
センサ補正部１３４によるセンサ補正処理５０１について図９に示すフローチャートを用いて説明する。メモリ１３２から読みだされた単色タイルデータに対し、傷欠陥補正工程５０２、パターンノイズ抑制工程５０３、ゲイン調整工程５０４、照明ムラ補正工程５０５、歪曲・回転補正工程５０６の順で実施し、出力値をメモリ１３２上に記録する。各工程は、一般的な画像処理において行われ、よく知られているため説明は省略する。

色変換部１３６による色変換処理について説明する。色変換処理では、各色のセンサ補正後単色タイルの画素値に対して式１で与えられる線形演算を行うことにより、ＲＧＢ三原色に相当する画素値（以後、ＲＧＢ値と呼ぶ）を算出する。

ここで、Ｐ_１〜Ｐ_３は、同じ状態番号に属する三つのセンサ補正後単色タイルにおいて、同一位置で得られる画素値、ａ_１１〜ａ_３３は色補正行列の係数である。色補正行列の係数は、カラーバランスやカラーフィルタの分光透過率に応じて事前に与えられる。上記ＲＧＢ値から構成されるデータを出力（色変換処理後タイル）とする。

＜画像処理装置の機能ブロック＞
上記手順により、撮像装置１０２において一つの標本に対する複数のタイル（部分画像データ）が取得される。これらのデータは順次画像処理装置１０３へと転送され、画像処理装置１０３においてタイル同士の継合せが行われ、標本全体の画像データが生成される
。このとき、継合せる順番どおりにタイルデータが画像処理装置１０３に送られ、かつ、その取得タイミングも予め決まっていれば、それに従って継合せ処理の順番や並列処理を最適化しやすい。しかし実際は、撮像装置１０２側では撮像効率や撮像品質を優先してタイルの撮像順が決定されたり、検体が含まれない背景部だけのタイルは撮像がスキップされたりするため、継合せ順にタイルデータが取得されるとは限らない。また、撮像装置１０２の処理負荷やデータ伝送負荷の変動が原因で、タイルデータの取得タイミングも変化する可能性がある。従って、本実施形態の画像処理装置１０３は、タイルデータの取得順や取得タイミングが不定である（予測できない）という前提のなかで、可及的に継合せ処理の効率化及び並列処理を実現するための工夫を行っている。

図１は、画像処理装置１０３のタイル継合せ処理に関わる機能のブロック図である。図１に示す機能ブロックのそれぞれは、画像処理装置１０３（コンピュータ）のＣＰＵがプログラムを実行することにより実現されるものである。

画像処理装置１０３は、タイル継合せ処理に関わる機能として、画像取得部１１、複数の補正量取得部１２、グローバル補正量取得部１３、状態管理部１４、画像合成部１５を有している。画像取得部１１は、撮像装置１０２、画像サーバーなどの外部装置からタイルデータ（部分画像データ）を順次取得する機能である。取得したタイルデータは画像処理装置１０３内のメモリ又は補助記憶装置に格納される。

補正量取得部１２は、隣接する２つのタイルの間の局所的な（相対的な）ずれを補正するための補正量を計算する機能である（以後、ローカルアライメント処理と呼ぶ）。ローカルアライメント処理にはある程度の計算時間を要すること、一つのタイルに対し上下左右の４隣接の計算が必要であることなどから、本実施形態では複数の補正量取得部１２による並列処理が行われる。各補正量取得部１２は、互いに独立に（並列に）、任意の隣接２タイルの間の位置ずれ・変形に対する補正量を計算することが可能である。複数の補正量取得部１２は、１つのプロセッサ上で動作する別々のプロセスでもよいし、複数のプロセッサ上でそれぞれ動作するプロセスでもよい。

グローバル補正量取得部１３は、複数の補正量取得部１２で計算された隣接２タイル間の相対的な位置ずれ・変形量を基に、各タイルに実際に施す幾何補正用のパラメータ（補正量）を決定する機能である（以後、グローバルアライメント処理と呼ぶ）。画像合成部１５は、グローバルアライメント処理により決定された補正パラメータを用いて各タイルデータに変形補正処理を行い、補正後のタイルデータを継ぎ合わせて全体画像データを生成する機能である。

状態管理部１４は、各タイルに対する処理の実行状態を示す状態情報を管理する機能である。状態管理部１４は、各タイルに対する処理実行状態を保持するテーブルと、他のプロセス（補正量取得部１２や画像合成部１５など）からの要求に基づきテーブルの値を返したり、更新したりするインタフェース（関数）を有している。状態管理部１４では、タイルデータの取得状態（未取得／取得済）、ローカルアライメント処理の状態（未実行／実行中／完了）、グローバルアライメント処理の状態（未実行／実行中／完了）、変形補正処理の状態（実行中／完了）等が管理される。

画像処理装置１０３では、各プロセスが状態管理部１４に対し各タイルの処理実行状態を問い合わせ、データの準備が整った隣接タイルの組から順に、いずれかの補正量取得部１２によるローカルアライメント処理が開始される。このとき、処理実行中又は処理済みの隣接タイルの組に対して他の補正量取得部１２が重複して処理を行わないように、状態管理部１４によって各補正量取得部１２のあいだの排他制御（ロック制御）を行う。このような仕組みにより、複数のタイルの取得順や取得タイミングによらず、タイル同士の継
合せ処理を効率的に実行することを可能としている。
以下、図１に示す機能を実現するための処理の流れの具体例を説明する。

＜画像処理装置内で行われる画像処理（構成要素間で行われるデータ交換）＞
画像処理装置１０３内で行われる画像処理は、複数の構成要素（プログラムで実行される複数のプロセスと、共有メモリに割り当てられた状態管理用のテーブル）の間でデータ交換しながら実行される。撮像装置内画像処理の説明と同様に、上記データ交換について図１０、図１１、図１２を用いて説明し、次に構成要素内で実行される個別処理について説明する。

画像処理装置１０３のメインメモリには、異なるプロセスがアクセスできる共有メモリ領域が確保されている。共有メモリ領域には、複数のプロセスの管理に用いる四つの配列と一つの変数が割り当てられている。これらの配列及び変数は、図１の状態管理部１４によって生成、保持、管理される。

図１３（Ａ）〜図１３（Ｄ）を用いて上記配列および変数と、それらで表現される状態情報について説明する。図１３（Ａ）に示す第１の配列は、タイルにおける画像処理の実行状態（以後、画像処理実行状態と呼ぶ）を管理するための配列であり、以後、プロセス管理テーブル９０１と呼ぶ。図１３（Ｂ）に示す第２、３の配列は、継合せ処理の実行状態（以後、継合せ処理実行状態と呼ぶ）の中でローカルアライメント処理に関する状態を管理するための配列であり、以後、アライメント管理テーブル９０２，９０３と呼ぶ。ここで、ローカルアライメント処理は、隣接する２つのタイルの局所的なずれ、すなわち一方のタイルを基準としたときの他方のタイルの位置ずれ・変形量を、２つのタイルの重複部位のデータを解析することで計算する処理である。ローカルアライメント処理の詳細は後述する。図１３（Ｃ）に示す第４の配列は、隣接タイルの状態番号検索に用いる配列であり、以後、状態番号リンクテーブル９０４と呼ぶ。図１３（Ｄ）に示す変数は、継合せ処理実行状態の中でグローバルアライメント処理に関する状態を管理するための変数であり、以後、グローバルアライメント実行状態変数９０５と呼ぶ。ここで、グローバルアライメント処理は、ローカルアライメント処理により得られた２タイル間の相対的位置ずれ・変形を基に、各タイルに与える位置ずれ・変形量を算出する処理である。グローバルアライメント処理の詳細は後述する。

プロセス管理テーブル９０１、アライメント管理テーブル９０２、アライメント管理テーブル９０３のインデックスは状態番号である。図１３（Ａ）、図１３（Ｂ）には、実行状態管理に係る項目のみを記載したが、例えば各状態番号に対応する撮像情報等をテーブルに付加して、実行状態と同時に検索できる構成にしても良い。

プロセス管理テーブル９０１で管理される画像処理実行状態について説明する。画像処理実行状態値は０〜３をとり、それぞれ、未取得状態９２１、タイル受信済み状態９２３、変形補正実行状態９４２、変形補正完了状態９４３を表す。未取得状態９２１は、タイルのデータ取得及びメモリへの格納が完了していない状態である。タイル受信済み状態９２３は、タイルのデータ取得が完了した状態である。変形補正実行状態９４２は、後述する変形補正処理を実行中である状態である。変形補正完了状態９４３は、変形補正の実行が完了した状態である。

アライメント管理テーブル９０２、９０３で管理される継合せ処理実行状態について説明する。継合せ処理実行状態値は０〜３をとり、それぞれ、ローカルアライメント未実行状態９３０、ローカルアライメント実行不能状態９３１、ローカルアライメント実行状態９３２、ローカルアライメント完了状態９３３を表す。ローカルアライメント未実行状態９３０は、ローカルアライメント処理が実行されていない状態である。ローカルアライメ
ント実行不能状態９３１は、隣接タイルが無い等の理由でローカルアライメント処理が実行できない状態である。ローカルアライメント実行状態９３２は、ローカルアライメント処理を実行中である状態である。ローカルアライメント完了状態９３３は、ローカルアライメント処理の実行が完了した状態である。

グローバルアライメント実行状態変数９０５は、０〜２の実行状態値をとり、それぞれグローバルアライメント未実行状態９３５、グローバルアライメント実行状態９３６、グローバルアライメント完了状態９３７を表す。グローバルアライメント未実行状態９３５は、グローバルアライメント処理が実行されていない状態である。グローバルアライメント実行状態９３６は、グローバルアライメント処理を実行中である状態である。グローバルアライメント完了状態９３７は、グローバルアライメント処理の実行が完了した状態である。

プロセス管理テーブル９０１の値は、インデックス（状態番号）に対するタイルの画像処理実行状態を表し、初期値は未取得状態９２１である。アライメント管理テーブル９０２の値は、インデックスに対するタイルの上部にある隣接タイルと、状態番号に対するタイルとの間で行われるローカルアライメントの実行状態を表わす。アライメント管理テーブル９０３の値は、インデックスに対するタイルの左部にある隣接タイルと、状態番号に対するタイルとの間で行われるローカルアライメントの実行状態を表わす。アライメント管理テーブル９０２、９０３の初期値は、ローカルアライメント未実行状態９３０あるいは、ローカルアライメント実行不能状態９３１である。隣接タイルが存在しない、あるいは撮像回数を減らすために隣接タイルの取得を省略する場合にローカルアライメント実行不能状態９３１に設定する。

プロセス管理テーブル９０１に対して、撮像状態管理テーブル３０１と同様の操作（更新、検索、およびそれらを組み合わせた手続き）を実行できる。また、プロセス管理テーブル９０１とアライメント管理テーブル９０２、９０３に対して、ローカルアライメント処理の実行に関わる２種類の操作（以後、継合せ状態検索、及び継合せ状態更新と呼ぶ）を実行できる。状態管理部１４は、あるプロセスによりこれらの操作が行われている間は、他のプロセスが各テーブルにアクセスできないように、排他制御（ロック制御）を行う。

状態番号リンクテーブル９０４のインデックスは状態番号であり、状態番号リンクテーブル９０４の値は、インデックスに相当するタイルの上下左右に位置するタイルの状態番号を４要素とするベクトルである。
グローバルアライメント実行状態変数９０５は、グローバルアライメントの実行状態を保持する変数である。初期値は、グローバルアライメント未実行状態９３５である。

タイル継合せ処理に関わる複数のプロセスは、内部で実行される処理により３種類に分類できる。以後、各々をデータ受信プロセス、位置ずれ・変形量取得プロセス、画像合成プロセスと呼ぶ。データ受信プロセスは図１の画像取得部１１に対応し、位置ずれ・変形量取得プロセスは補正量取得部１２に対応し、画像合成プロセスは画像合成部１５に対応する。画像処理装置１０３のハードウェアリソースによっては、各々の種類のプロセス数を増やし、処理を高速化することも可能である。例えば図１では、位置ずれ・変形量取得プロセス（補正量取得部１２）の数を３つにしているが、当該プロセスの数をさらに増やしたり、データ受信プロセスや画像合成プロセスの数を増やすこともできる。

後述するように本実施形態では、各プロセスが独立に状態情報（画像処理実行状態値、継合せ処理実行状態値など）を監視することで、適切なタイミングでの処理の開始、及び、重複処理の禁止を実現している。すなわち各プロセスが状態管理部１４の状態情報を利
用することで自律的に動作の開始や可否を判断している。ただし、各プロセスによる状態情報の監視がボトルネックになり処理効率が低下する場合には、各プロセスの調停（スケジューリング）を行う専用のプロセスを設けてもよい。すなわち、専用のプロセスが画像処理実行状態値（あるいは継合せ処理実行状態値）の検索、監視を行い、検索結果に基づいて子プロセス（位置ずれ・変形量取得プロセスや画像合成プロセス）に処理命令を発行するのである。あるいは、データ受信プロセスが、タイルデータの受信直後に子プロセスに処理命令を送っても良い。これらの構成はプロデューサーコンシューマーデザインパターンとして一般に知られている。子プロセスでは、位置ずれ・変形量取得プロセス、あるいは画像合成プロセスから画像処理実行状態（あるいは継合せ処理実行状態）の検索、監視を除いた処理を実行する。

（データ受信プロセス）
図１０を用いてデータ受信プロセス１００１と構成要素間で行われるデータ交換について説明する。データ受信プロセス１００１は、ネットワークの特定のポートを監視し、撮像装置１０２からのデータ伝送を待つ。データ受信プロセス１００１は、撮像装置１０２から色変換処理後タイルのデータを受信したら、そのデータをメインメモリに格納する。データの保存が完了したら、データ受信プロセス１００１は、プロセス管理テーブル９０１の値をタイル受信済状態９２３に更新した後、ポートの監視状態に戻る。

（位置ずれ・変形量取得プロセス）
図１１を用いて位置ずれ・変形量取得プロセス１００２と構成要素間で行われるデータ交換について説明する。位置ずれ・変形量取得プロセス１００２の実行開始時には、処理対象とする状態番号（以後、対象状態番号と呼ぶ）を１あるいは所定の値に初期化する。プロセス１００２は、対象状態番号のタイルへの画像処理実行状態がタイル受信済み状態９２３になるまで監視する。本実施形態では、複数の位置ずれ・変形量取得プロセス１００２が並列に実行されるため、各プロセス１００２の対象状態番号が重複しないようプロセス間での調整が行われる。例えば、親プロセスが子プロセス１００２それぞれが監視する対象状態番号を指定してもよいし、各プロセス１００２が他のプロセス１００２が監視中又は処理中の状態番号と重複しないように自律的に対象状態番号を設定してもよい。また、各プロセス１００２が一つの対象状態番号をタイル受信済み状態９２３になるまで監視し続けるのでなく、対象状態番号を順に変更し（例えば１ずつインクリメントする）タイル受信済み状態９２３となっている状態番号を探索してもよい。以上のような仕組みにより、隣接タイルのデータの準備が整ったタイルから順次、以後のローカルアライメント処理が開始されることとなる。

プロセス１００２は、プロセス管理テーブル９０１とアライメント管理テーブル９０２、９０３に対して、継合せ状態検索を実行する。継合せ状態検索では、アライメント管理テーブル９０２、９０３により、対象状態番号のタイルと上下左右に隣接する４タイルとの間でのローカルアライメント処理の実施状態を検索する。上、左に隣接するタイルのローカルアライメント実施状態はアライメント管理テーブル９０２、９０３から直接得られる。一方、下、右に位置するタイルのローカルアライメント実施状態は、状態番号リンクテーブル９０４を用いて、下、右のタイルの状態番号を得てから、アライメント管理テーブル９０２、９０３を用いることで得られる。

隣接タイルのローカルアライメント実施状態がローカルアライメント未実行状態９３０であった場合、プロセス１００２は、プロセス管理テーブル９０１により、上記隣接タイルの画像処理実行状態を取得する。画像処理実行状態がタイル受信済み状態９２３の場合には、プロセス１００２は、アライメント管理テーブル９０２、９０３の値を、ローカルアライメント実行状態９３２に更新する。テーブルの値をローカルアライメント実行状態９３２に変更することで、このタイルがロック状態となり、他のプロセスがこのタイルに
アクセスすることが禁止される（排他制御）。以上が継合せ状態検索である。

継合せ状態検索の終了後、プロセス１００２は、ローカルアライメント実行状態９３２に更新した隣接タイルと、対象状態番号のタイルに対して、ローカルアライメント処理を実行する。ローカルアライメント処理の詳細は後述する。

ローカルアライメント処理の実行後には、プロセス１００２は、継合せ状態更新を実行する。継合せ状態更新は、アライメント管理テーブル９０２、９０３の値を更新する操作であり、ローカルアライメントを実施した隣接タイルに対する値をローカルアライメント完了状態９３３に更新する。以上で、位置ずれ・変形量取得プロセス１００２（補正量取得部１２）による、対象状態番号のタイルに対するローカルアライメント処理（局所的な補正量の取得処理）が完了する。

データ受信したタイルに対し各プロセス１００２が順次上記処理を実行し、状態番号０〜Ｎのすべてのタイルに対する処理が実行される。グローバル補正量取得部１３は、アライメント管理テーブル９０２、９０３のすべての状態番号０〜Ｎの実行状態値がローカルアライメント完了状態９３３になったことを確認後、グローバルアライメント処理を開始する。グローバルアライメント処理の出力データは、各タイルに対する幾何補正用のパラメータであり、以後、「位置ずれ・変形量」又は単に「第２の補正量」と呼ぶ。グローバルアライメント処理（第２の補正量の決定処理）の詳細は後述する。実行開始時には、グローバル補正量取得部１３は、グローバルアライメント実行状態変数９０５の値をグローバルアライメント実行状態９３６に更新した後、グローバルアライメント処理を実行する。実行後、グローバルアライメント実行状態変数９０５の値をグローバルアライメント完了状態９３７に更新する。

（画像合成プロセス）
図１２を用いて画像合成プロセス１００３と構成要素間で行われるデータ交換について説明する。位置ずれ・変形量取得プロセス１００２と同様に、プロセス開始時に対象状態番号を１あるいは所定の値に初期化する。その後、画像合成プロセス１００３は、グローバルアライメント実行状態変数９０５の監視を行い、数値がグローバルアライメント完了状態９３７になるのを確認する。次に、画像合成プロセス１００３は、プロセス管理テーブル９０１の値をタイル受信済み状態９２３から変形補正実行状態９４２に更新し、後述する変形補正処理を対象状態番号に対する色変換後タイルに施す。変形補正処理の出力は、対象状態番号に対応する位置ずれ・変形補正後タイルと、位置ずれ・変形補正後タイルに対し縮小または拡大を施した画像データである。それらは、画像処理装置１０３のメインメモリに保持される。変形補正処理の終了後に、画像合成プロセス１００３は、プロセス管理テーブル９０１の値を変形補正完了状態９４３に更新する。対象状態番号がＮではない場合には、画像合成プロセス１００３は、対象状態番号を更新してプロセス管理テーブル９０１の監視状態に戻る。更新する数値は、位置ずれ・変形量取得プロセス１００２の場合と同じである。

一方、対象状態番号がＮである場合には、全ての状態番号に対するプロセス管理テーブル９０１の値が変形補正完了状態９４３になったことを確認後、後述する画像合成処理を実行する。画像合成処理の結果、後述する合成後画像データが得られ、合成後画像データは画像処理装置１０３内のハードディスクに保存される。
ハードディスクへの保存と同時に、共有メモリに割り当てた全てのテーブル及び変数と、全てのプロセスが保持する状態番号を初期化することで、画像処理装置内で行われる画像処理が終了する。

＜画像処理装置内で行われる画像処理（個別処理）＞
次に、画像処理装置１０３内で行われる各画像処理の詳細について説明する。
ローカルアライメント処理は、隣接する２つのタイルの局所的な（相対的な）ずれ、すなわち一方のタイルを基準としたときの他方のタイルの位置ずれ・変形量を、２つのタイルのあいだの重複領域（以後、重複部位データと呼ぶ）を用いて計算する処理である。以後、基準となるタイルを「基準タイル」、基準ではないタイルを「比較タイル」と呼ぶ。隣接タイルが左右に配置されている場合には、左側のタイルを基準タイルとし、上下の場合には上側のタイルを基準タイルとする。上記位置ずれ・変形は、式２により与えられるアフィン変換で表現できる。

ｘ，ｙは基準タイル内の画素位置を表す座標値、ｘ’，ｙ’（式２中ではベクトルｘ’で表記）は比較タイル内の画素位置を表す座標値である。ｍ_１１〜ｍ_２２は変形に関する行列成分、ｓ_１，ｓ_２は位置ずれに関する行列成分、ｔ_１，ｔ_２は基準タイルの中心を原点としたときの比較タイルの中心座標である。

ローカルアライメント処理は、Feature-based registration手法に基づいている。Feature-based registrationでは、まず、隣接する二つのタイルにおける重複部位データから、コーナーや直線のような特徴の位置を抽出する。次に、各々のタイルに属する同一特徴の位置の差を最小化する位置ずれ・変形量を、最小二乗法により算出する。

しかしながら、本実施形態の撮像対象である病理標本画像中には、コーナーや直線のように位置検出に適した特徴はほとんど存在しない。このような場合には、図１４に示すように、重複部位データに矩形の微小区画（以後、パッチと呼ぶ）を設け、パッチ内の模様を特徴として利用することが一般的に行われている。本実施形態においては、パッチを特徴として利用したFeature-based registrationを採用する。

ローカルアライメント処理１０１１の流れについて、図１５（Ａ）に記載のフローチャートを用いて説明する。パッチ位置ずれ検出工程１０１２では、まず、基準タイルの重複部位データからパッチを取得する。パッチの位置は任意に選択しても、事前に与えても良いが、パッチ内に細かい模様（テクスチャ）を含む必要がある。次に、比較タイルの重複部位データにおいて、上記パッチの位置を推定する。推定位置は、式３により与えられる正規化相関関数により得られる。

ここで、Ｉ_０（ｘ）は基準タイルのパッチにおいて位置ｘに存在する画素の画素値、Ｉ_１（ｘ）は比較タイルのパッチにおいて位置ｘに存在する画素の画素値、ｉはパッチ内の画素の番号、Ｎはパッチ内の画素数である。ｕは両パッチの位置ずれを表すベクトルである。正規化相関関数が最大の値を示すｕをパッチ間位置ずれとして用いる。

位置ずれ・変形量取得工程１０１３では、以下の式に従って式２で与えられる位置ずれ・変形関数の係数を取得する。

ここで、Ｇ（Ｍ）は行列Ｍの一般逆行列を返す関数である。一般逆行列は、非正方行列に対して機能する疑似的な逆行列であり、様々な種類がある。本実施形態においては、最小二乗解を求める際に一般的に用いられるＧ（Ｍ）＝［Ｍ^ＴＭ］^−１Ｍ^Ｔとする。ｘ_ｉ，ｙ_ｉ（ただし、ｉ＝１，２，…，Ｐ）は、基準タイル内にＰ個存在するパッチの中心座標、ｘ’_ｉ，ｙ’_ｉ（ｉ＝１，２，…，Ｐ）は、比較タイルから推定した基準タイルのパッチの中心座標推定値である。ｍ_１１，ｍ_１２，ｍ_２１，ｍ_２２，ｓ_１，ｓ_２，ｔ_１，ｔ_２は、式２の係数である。式３により得られる位置ずれｕの要素は（ｘ’_ｉ−ｘ_ｉ，ｙ’_ｉ−ｙ_ｉ）（ただし、ｉ＝１，２，…，Ｐ）であり、ｔ_１，ｔ_２は既知であることから、位置ずれ・変形関数の係数ｍ_１１，ｍ_１２，ｍ_２１，ｍ_２２，ｓ_１，ｓ_２を計算できる。得られた位置ずれ・変形関数の係数は、画像処理装置１０３内のメインメモリに保存される。

グローバルアライメント処理は、ローカルアライメント処理により得られた２タイル間の相対的位置ずれ・変形を基に、各タイルに与える位置ずれ・変形量を算出する処理である。最も単純な処理として、左上に存在するタイルに変形を与えず、周辺に存在するタイルの位置ずれ・変形を順番に決定する処理が考えられる。しかしながら、左上タイルが絶対座標に対して微小回転していた場合に、右下のタイルの位置が大きくずれる可能性がある。また、途中の相対的位置ずれ・変形推定値の精度が低い場合には、右下タイルとその隣接タイルとの間に隙間が生じる可能性がある。本実施形態で採用したグローバルアライメント処理は、これらの問題の発生を抑制した手法である。

グローバルアライメント処理１０２１について、図１５（Ｂ）に記載のフローチャートを用いて説明する。初期値算出工程１０２２では、一つのタイルを基準とした位置ずれ・変形量を、２タイル間の相対的位置ずれ・変形を基に算出する。例えば、四つのタイルが横に並んで配置されている状況において最左タイルを基準とする場合、２タイル間の相対的位置ずれを基にして、最右タイルの位置ずれ・変形量は以下の式で与えられる。

ここで、Ａ_ｉ，ｋ（ｘ）は、ｉ番目のタイルを基準としたときのｋ番目のタイルの位置ずれ・変形を表すアフィン変換（式２）である。Ｍ_ｉ，ｋ，ｓ_ｉ，ｋ，ｔ_ｉ，ｋは、各々、ｉ番目のタイルを基準としたときのｋ番目のタイルの変形を表す行列、位置ずれを表すベクトル、中心位置を表すベクトルである。アフィン変換の合成関数はアフィン変換であり、さらに、中心位置を表すベクトルｔ_１，４が事前に与えられることから、未知数であ
るＭ_１，４、ｓ_１，４を決めることができる。

初期値算出工程１０２２により得られた位置ずれ・変形量に基づいてタイルを継合せた場合、式５の算出に用いた複数のタイルの継合せは良好であるが、算出に用いていないタイルとの間には継ぎ目が現れやすい。最適化工程１０２３では、初期値算出工程１０２２により得られた各タイルの位置ずれ・変形量の調整を行い、継ぎ目に発生するアーチファクトを抑制する。具体的には、基準タイルから離れたタイルにおいては、複数の異なる経路において式５の算出を行い、得られた値の平均値を位置ずれ・変形量として採用する。結果として、隣接タイル間に隙間を発生させずに、各タイルの位置ずれ・変形量を決定できる。

変形補正処理１０４１について、図１５（Ｃ）に記載のフローチャートを用いて説明する。アフィン変換工程１０４２では、まず、以下の式６に基づいて、アフィン変換処理後タイルの画素（以後、注目画素と呼ぶ）に対応する補正対象タイル内の点の座標値を計算する。

ただし、ｘ，ｙは注目画素の座標値、ｘ’，ｙ’（式６中ではベクトルｘ’で表記）は補正対象タイル内における注目画素の座標値（ただし、原点は基準タイルの中心点）である。ｔ’_１，ｔ’_２は補正に用いるタイルの中心点の座標値（ただし、原点は基準タイルの中心）である。ｍ’_１１〜ｍ’_２２、ｓ’_１、ｓ’_２は、グローバルアライメント処理１０２１により得られたタイル毎の位置ずれ・変形量である。

次に、補正対象タイル内における注目画素の値を近傍画素補間により求める。アフィン変換処理後タイルにおいて、注目画素をラスタスキャンすることで、アフィン変換処理後タイル内の全画素値を得る。

倍率変換工程１０４３では、アフィン変換処理後のタイルに所定の倍率を掛けた画像データを生成する。あらかじめ異なる倍率を与えられた画像データを作成することで、表示時の倍率変換処理を簡略化するのが目的である。ガンマ補正工程１０４４では、アフィン変換処理後のタイルと倍率変換処理後のタイルにガンマ補正を施す。倍率変換工程１０４３とガンマ補正工程１０４４は必要なければ省略しても良い。

画像合成処理１０５１について、図１５（Ｄ）に記載のフローチャートを用いて説明する。画像データ収集工程１０５２では、対象状態番号がＮ以下の画像合成プロセスにおいて生成されたタイルを同じ倍率毎に収集する。整形工程１０５３では、隣接２タイルの重複部位の一方を削除してから２つのタイルを継ぎ合わせることで、一つの画像データに整形する。画像フォーマットは、表示プログラムに依存して決められる。例えば、表示プログラムがＪＰＥＧ圧縮データの表示と、異なる倍率の切り替え表示に対応している場合には、倍率毎に異なるＪＰＥＧ圧縮データを一つのＺＩＰ圧縮フォルダにまとめたフォーマットを採用する。
以上のように、顕微鏡撮像システムの出力である合成後画像データを生成することができる。

このように、第１実施形態では、画像処理装置が撮像装置又は画像サーバから複数のタイル（部分画像データ）を順次取得し、それらを継ぎ合わせて全体画像データを生成する
際に、複数のプロセスが独立かつ並列に各タイルに対する局所的な補正量を計算する。また、状態管理部によって管理されている各タイルの状態情報を基に各プロセスの動作を制御することで、必要なデータが揃ったタイルから順次補正量の算出処理が開始される。また、既に補正量の算出処理等が進行中のタイルに対しては、他のプロセスが重複処理をしないよう、排他制御が行われる。したがって、タイルの取得タイミングや取得順が定まっていない（変化し得る）環境下においても、継ぎ合わせの補正量を効率的に算出し、合成画像データを短時間で生成できる顕微鏡撮像システムを提供することができる。

［第２実施形態］
本発明の第２実施形態について説明する。
第２実施形態は、異なる倍率で撮影された複数のタイル（部分画像データ）を継合せる機能を持つ画像処理装置である。第１実施形態と同じく、画像処理装置へのタイルの到着順や到着タイミングが定まっていない状態でも、並列処理を利用し高速に継合せを実行する。

第１実施形態と同じ機器を使用するため、図２を用いて機器構成を説明する。画像処理装置１０３は、市販されているワークステーションである。撮像装置１０２と画像処理装置１０３の間はネットワークケーブル１０５により接続され、データを転送できる。画像処理装置１０３は、撮像装置１０２から送られてくるデータを監視し、データの内容とタイミングに応じて画像処理を実行し、継合せ画像を生成する。

＜画像処理装置内で行われる画像処理（構成要素間で行われるデータ交換）＞
第１実施形態の画像処理装置と同じく、画像処理装置１０３で行われる画像処理は、複数の構成要素（プログラムで実行される複数のプロセスと、共有メモリに割り当てられた状態管理用のテーブル）の間でデータ交換しながら実行される。上記データ交換について図１６、図１７を用いて説明する。構成要素内で実行される個別処理は、第１実施形態の画像処理装置と異なるもののみ後述する。

画像処理装置１０３のメインメモリには、異なるプロセスがアクセスできる共有メモリ領域が確保されている。共有メモリ領域には、画像処理実行前には一つの変数（実行開始フラグと呼ぶ）が割り当てられる。
画像処理実行前には、実行開始フラグを初期値０とし、データ受信を担当するプロセス（以後、データ受信プロセス）のみを実行する。

図１６を用いてデータ受信プロセス１１０１と構成要素間で行われるデータ交換について説明する。実行開始フラグが０の状態では、データ受信プロセス１１０１は、撮像範囲データを受信するまでネットワークの特定のポートを監視する。上記撮像範囲データは、第１実施形態における状態テーブルに相当し、イメージセンサの大きさ、及び各状態番号における三軸ステージのｘ，ｙ座標値、撮影時に使用した対物レンズの倍率、が含まれている。すなわち、撮像範囲データは、各タイルの大きさ（解像度）及び配置に関する情報ともいえる。

次に、プロセス１１０１は、上記撮像範囲データを基に、後述する状態割当処理によって五つの配列を追加で共有メモリに割り当てる。その後、プロセス１１０１は、後述する位置ずれ・変形量取得プロセス１１０２と画像合成プロセス１１０３を起動し、実行開始フラグを１に更新してから上記ポートの監視に戻る。

実行開始フラグが１の場合には、プロセス１１０１は、撮像装置１０２から送信されてきた色変換処理後タイルを受信する。次に、プロセス１１０１は、色変換処理後タイルに対して倍率変換処理（解像度変換処理）を行った後、メインメモリに格納する。上記倍率
変換処理は、すべてのタイルの大きさ（解像度）を揃えるために、低い倍率の対物レンズで撮像されたタイルに対しデジタルズーム（画像処理による拡大処理）を行う処理である。本実施形態では各タイルの大きさ（解像度）を最大倍率のものに合わせるが、逆に、高い倍率のタイルに対し縮小処理を行うことで、低い倍率の解像度に合わせてもよい。プロセス１１０１は、プロセス管理テーブル１２０１の値をタイル受信済状態９２３に更新後、上記ポートの監視状態に戻る。

図１８（Ａ）〜図１８（Ｅ）を用いて、共有メモリに追加で割り当てられる上記配列について説明する。図１８（Ａ）に示す第１の配列は、タイルにおける画像処理実行状態を管理するための配列であり、プロセス管理テーブル１２０１と呼ぶ。図１８（Ｂ）に示す第２の配列は、タイル間の重複部位における継合せ処理実行状態を管理するテーブルで、以後、アライメント管理テーブル１２０２と呼ぶ。第１実施形態におけるアライメント管理テーブル９０２，９０３とは異なり、アライメント管理テーブル１２０２ではタイル間の重複部位に割り当てた番号（以後、重複部位番号と呼ぶ）をインデックスとして、ローカルアライメント処理の実行状態を管理する。図１８（Ｃ）に示す第３の配列は、状態番号に対応する重複部位番号（各タイル内に存在する重複部位の番号）を検索するためのテーブルであり、順方向対応関係テーブル１２０３と呼ぶ。図１８（Ｄ）に示す第４の配列は、重複部位番号に対応する状態番号（重複部位が属する二つのタイルの番号）を検索するためのテーブルであり、逆方向対応関係テーブル１２０４と呼ぶ。図１８（Ｅ）に示す配列は、グローバルアライメントの実行状態を示す配列であり、以後、グローバルアライメント実行状態配列１２０５と呼ぶ。図１８（Ａ）〜図１８（Ｅ）には、実行状態管理に係る項目のみを記載したが、例えば各状態番号に対応する撮像情報等をテーブルに付加して、実行状態と同時に検索できる構成にしても良い。また、重複部位に関する情報（位置、幅）をアライメント管理テーブルに与え、実行状態と同時に検索できるようにしても良い。

上記画像処理実行状態と上記継合せ処理実行状態は、第１実施形態と同じであり、説明を省略する。また、各プロセスが、プロセス管理テーブル１２０１、アライメント管理テーブル１２０２に対し処理実行状態の検索、監視、更新を行うことで、プロセス間競合が起きないように排他制御が行われるのも第１実施形態と同じである。

図１７を用いて位置ずれ・変形量取得プロセス１１０２と構成要素間で行われるデータ交換について説明する。位置ずれ・変形量取得プロセス１１０２の実行開始時には、対象状態番号を１あるいは所定の値に初期化する。プロセス１１０２は、対象状態番号のタイルへの画像処理実行状態がタイル受信済み状態９２３になるまで監視する。なお図１７では一つのプロセス１１０２のみ示すが、第１実施形態と同様、複数の位置ずれ・変形量取得プロセス１１０２が並列に実行される。

次に、プロセス管理テーブル１２０１、アライメント管理テーブル１２０２、順方向対応関係テーブル１２０３、逆方向対応関係テーブル１２０４を用いて、上記継合せ状態検索を実行する。

上記継合せ状態検索では、まず、プロセス１１０２は、対象状態番号のタイルに関連する重複部位番号を、順方向対応関係テーブル１２０３から取得し、アライメント管理テーブル１２０２により継合せ処理実行状態を取得する。ローカルアライメント未実行状態９３０の重複部位があれば、プロセス１１０２は、逆方向対応関係テーブル１２０４を用いて隣接タイルの状態番号を取得し、プロセス管理テーブル１２０１により隣接タイルの画像処理実行状態を取得する。隣接タイルの画像処理実行状態が、タイル受信済み状態９２３であるか調べることで、隣接タイルが到着していてローカルアライメントが未実施である重複部位番号を得ることができる。

以上が第２実施形態における継合せ状態検索である。第１実施形態とは異なり、ローカルアライメント実行状態９３２への更新は、継合せ状態検索に含まれない（処理実行状態の更新は行わず、計算可能な重複部位番号の取得のみを実施する）。

上記継合せ状態検索の終了後、プロセス１１０２は、検出された重複部位（ローカルアライメント処理を実行可能な重複部位）の継合せ処理実行状態をローカルアライメント実行状態９３２に更新する。プロセス１１０２は、隣接タイルと対象状態番号のタイルに対して、ローカルアライメント処理を実行する。ローカルアライメント処理は、第１実施形態と同じである。ローカルアライメント処理の実行後には、プロセス１１０２は、継合せ状態更新を実行する。継合せ状態更新は、アライメント管理テーブル１２０２の値を更新する操作であり、ローカルアライメントを実施した重複部位番号に対する値をローカルアライメント完了状態９３３に更新する。

第１実施形態では、全ての状態番号のタイルが取得され、すべての重複部位のローカルアライメントが完了した後に、グローバルアライメント処理を開始した。しかしながら、扱うタイル数が多い場合、メモリサイズの増加や、グローバルアライメント処理の開始時刻の遅延によるスループット低下が課題となる。第２実施形態では、あらかじめ状態番号を複数のグループに分割し、各グループに属する状態番号のタイル取得とローカルアライメント実施の確認後に、グループに属するタイルに対しグローバルアライメントを実行する。グループ毎にグローバルアライメントを開始することで、上記課題を解決する。
データ受信したタイルに対し各プロセス１１０２が順次上記処理を実行し、一つのグループＰに属する状態番号（Ｐ０〜Ｐｎとする）のタイルに対する処理が実行される。グローバル補正量取得部１３は、アライメント管理テーブル１２０２のグループＰに属する重複部位番号Ｐ０〜Ｐｍの実行状態値がローカルアライメント完了状態９３３になったことを確認後、グローバルアライメント処理を開始する。グローバルアライメント処理及びその後の画像合成処理については、第１実施形態のものと同じであるが、グローバルアライメント実行状態の更新、監視は、グローバルアライメント実行状態配列１２０５の要素に対して行う。グローバルアライメント実行状態配列１２０５は、上記状態番号グループの数に対応する要素を持ち、上記状態番号グループに対応するインデックスを指定することで、実行状態を保持する要素を選択できる。

ハードディスクへの保存と同時に、共有メモリに割り当てた全てのテーブル及び配列と、全てのプロセスが保持する状態番号を初期化することで、画像処理装置内で行われる画像処理が終了する。

＜画像処理装置内で行われる画像処理（個別処理）＞
次に、第２実施形態の画像処理の詳細について、説明する。
データ受信プロセス１１０２による状態割当処理１３０１について、図１９に記載のフローチャートを用いて説明する。状態割当処理とは、撮像範囲データ（各タイルの大きさ及び配置に関する情報）を基に、図１８（Ａ）〜図１８（Ｅ）に示すテーブル及び配列の生成及び初期化を行う処理である。

タイル辺算出工程１３０２では、各状態番号に対応するタイルの上下辺のｙ座標値と左右辺のｘ座標値を算出し、図２０（Ａ）に示す辺座標テーブル１４０１を作成する。状態番号組算出工程１３０３では、重複部位が存在する状態番号の組の検索を行い、図２０（Ｂ）に示す状態番号組テーブル１４０２を作成する。重複部位は、以下のブール式が真である場合に存在する。

ここで、Ｙ_Ｈ，Ｙ_Ｌ，Ｘ_Ｌ，Ｘ_Ｈは上記状態番号組に属する一つ目のタイルの上下左右に位置する辺の座標値であり、Ｙ’_Ｈ，Ｙ’_Ｌ，Ｘ’_Ｌ，Ｘ’_Ｈは二つ目のタイルの上下左右に位置する辺の座標値である。

重複部位算出工程１３０４では、上記状態番号組に対し、重複部位の中心位置と幅を計算し、上記状態番号組テーブルの「中心位置」、「幅」列に値を追加する。重複部位の中心位置Ｐ、幅Ｗ_Ｘ，Ｗ_Ｙは以下の式により与えられる。

ここで、Ｙ”_Ｈ＝ｍｉｎ（Ｙ_Ｈ，Ｙ’_Ｈ）、Ｙ”_Ｌ＝ｍａｘ（Ｙ_Ｌ，Ｙ’_Ｌ）、Ｘ”_Ｈ＝ｍｉｎ（Ｘ_Ｈ，Ｘ’_Ｈ）、Ｘ”_Ｌ＝ｍａｘ（Ｘ_Ｌ，Ｘ’_Ｌ）である。また、Ｍ_ｘは重複部位の左右に与えるマージンの幅、Ｍ_ｙは重複部位の上下に与えるマージンの幅である。撮像時に回転・位置ずれがある場合、タイルの位置がずれることで、重複部位の大きさが減少する。辺の座標値から推定される理想的な幅から、上記マージンをあらかじめ減算することで、重複部位の幅を小さく設定している。

重複部位選択工程１３０５では、上記幅Ｗ_Ｘ，Ｗ_Ｙと所定の閾値との大小を比較し、どちらかの幅が閾値より小さい場合には、対応する行を状態番号組テーブル１４０２から削除する（つまり、状態番号組を採用しない）。プロセス管理テーブル作成工程１３０６では、上記撮像範囲データから得られる状態番号を基に、プロセス管理テーブル１２０１を作成し、値を未取得状態９２１に初期化する。アライメント管理テーブル作成工程１３０７では、状態番号組テーブル１４０２の行番号を上記重複部位番号として、アライメント管理テーブル１２０２を作成し、値をローカルアライメント未実行状態９３０に初期化する。対応関係テーブル作成工程１３０８では、状態番号組テーブル１４０２に記載されている重複部位番号（行番号）と状態番号組の関係を基に、順方向対応関係テーブル１２０３および逆方向対応関係テーブル１２０４を作成する。

撮像範囲データの値や状態番号組テーブル１４０２の値（重複領域の中心位置、幅等）は、ローカルアライメント処理で必要とされるため、メインメモリに保持する。各々をプロセス管理テーブル１２０１、アライメント管理テーブル１２０２に付加し、位置ずれ・変形量取得プロセスや画像合成プロセスから検索できる構成にしても良い。

ローカルアライメント処理自体は、第１実施形態と同じであるが、基準タイルと比較タイルの定義が異なる。本実施形態では、状態番号の小さいタイルを基準タイル、大きいタイルを比較タイルとする。

グローバルアライメント処理も第１実施形態と同じであるが、本実施形態では、必ずしもタイルが上下左右に配置していないため、最適化工程１０２３における複数経路の決定
方法がわかりにくい。本実施形態では、二つのタイル間の経路を求めるために、順方向対応関係テーブル１２０３と逆方向対応関係テーブル１２０４を用いる。二つの内の一方のタイルに対する隣接タイルは、順方向対応関係テーブル１２０３により全重複部位を求めた後に、各重複部位により接しているタイルを逆方向対応関係テーブル１２０４により求めることで得られる。隣接タイルの検索を一定回数繰り返すことにより、二つのタイルのもう一方のタイルの状態番号が得られる。その間に得られた隣接タイルを上記２タイル間の経路とする。

このように、本発明の第２実施形態の構成によっても、第１実施形態と同様の作用効果を得ることができる。さらに本実施形態では、状態割当処理によって画像処理装置が各タイルの大きさ及び配置に関する情報を基に継ぎ合わせの対応関係を計算し、必要なテーブル及び配列の生成・初期化を行う。したがって、タイルの取得順、取得タイミングに加え、タイルの位置や大きさが定まっていない環境でも（つまり、倍率の違いや、回転ずれ・位置ずれなどがある場合でも）、効率的な継ぎ合わせ処理が実現できる。また、グローバルアライメントをタイルの部分集合毎に実施することで、全てのタイル取得を待つことにより発生していたスループット低下を抑制できる。

なお、本実施形態では、イメージセンサの大きさ、各状態番号における三軸ステージのｘ，ｙ座標値、撮影時に使用した対物レンズの倍率、重複部位の上下・左右に与えるマージンの幅などの情報を基に状態割当処理を実施した。しかしこれらは一例であり、タイルの大きさ及び配置に関する情報やそのデータ形式については、どのようなものを用いてもよい。すなわち、重複部位（継合せ個所）の形状、大きさ、位置、数、想定される位置ずれ量・回転ずれ量などの、タイルの大きさ及び配置に関する情報のうち、計算に必要な１つ以上の情報を用いればよい。

［第３実施形態］
次に本発明の第３実施形態について説明する。第３実施形態は、第１実施形態の画像処理装置の機能が撮像装置内に全て実装されている点とローカルアライメント処理で行っていたパッチの位置選択を撮像処理ボード内で実施する点が異なる。それ以外は第１実施形態の構成と同じである。

装置構成について、図２１により説明する。第１実施形態（図２）とは、撮像装置１５０２が画像処理ボード１５１９を備えている点が異なる。画像処理ボード１５１９はＰＣのマザーボードであり、第１実施形態の画像処理装置１０３と同じく、制御用コンピュータとしても使用する。撮像処理ボード１５１５と画像処理ボード１５１９はネットワークケーブル又は内部バス１５０５により接続され、双方向に通信が可能である。撮像装置１５０２は、タッチパネル上に表示されたＧＵＩにより入出力を行う外部情報端末１５０４とネットワーク１５０３を介して接続されている。第１実施形態において、制御装置１０４から行った撮像範囲選択等の指示は、外部情報端末１５０４から行う。外部情報端末１５０４としては、タブレットＰＣ、モバイルＰＣ、スマートフォンなどを利用できる。

撮像処理ボード１５１５の構成について図２２を用いて説明する。撮像処理ボード１５１５は、メモリ１５２２、センサ補正部１５２４、色変換部１５２６、パッチ選択部１５２７、カメラリンクインターフェース１５２８、ネットワークインターフェース１５２９を有する。また、撮像処理ボード１５１５は、タイル取得制御用コントローラー１５３５、補正処理制御用コントローラー１５３６、色変換・パッチ選択処理制御用コントローラー１５３７を有する。各コントローラーは、調停回路１５３０からデータバスの占有許可を表わす信号（以後、データバス占有許可信号と呼ぶ）１５４０を取得した後、データバス１５３１により接続された各構成要素に処理開始指示１５４１を送り、構成要素毎の画像処理を実行する。符号１５４２はデータの流れを示している。

撮像の流れは第１実施形態と同じであるため、説明を省略する。撮像処理ボード１５１５内で行われる画像処理（構成要素間で行われるデータ交換）では、第１実施形態で行われていたものに加えて、パッチ選択処理に係る撮像状態と処理が追加されている。撮像状態には、色変換・パッチ選択処理実行状態１６０１、色変換・パッチ選択処理完了状態１６０２が追加されている。

色変換・パッチ選択処理制御用コントローラー１５３７により行われるデータ交換について、図２３を用いて説明する。コントローラー１５３７は、色変換部１５２６による色変換処理実行後にパッチ選択部１５４１によるパッチ選択処理を実行し、色変換後タイルと以下に述べるパッチ位置データを画像処理ボード１５１９に転送する。

パッチ選択部１５４１によるパッチ選択処理１６１１について図２４を用いて説明する。重複部位抽出工程１６１２では、色変換後タイルの特定の色（例えばＲＧＢのうちのＧ）の右側及び下側に位置する重複部位を抽出する。評価値算出工程１６１３では、細かい構造（高周波成分）を持つテクスチャを含むかどうか判定するための評価値を、上記重複部位の各画素に対して算出する。評価値として、第１実施形態のタイル取得（合焦位置検出工程２０３）で用いた正規化分散を利用できる。パッチ位置選択工程１６１４では、右側、下側の各重複部位から評価値が高い点を数点選択する。これらの点をパッチの中心位置とする。テーブル化工程１６１５では、得られたパッチの中心位置をテーブルにまとめ、上記色変換後タイルの付加情報とする。

画像処理ボード１５１９内の処理は、第１実施形態における画像処理装置１０３の処理と同じであるが、パッチ位置データがすでに得られているため、ローカルアライメント処理においてパッチ選択を行わない点が異なる。パッチ選択は、撮像処理ボード１５１５で実行した方が画像処理ボード１５１９内で実行するよりも高速になる。結果として、全体処理が高速化される。

このように、本発明の第３実施形態によっても、前述の実施形態と同様の作用効果を得ることができる。また本実施形態では、撮像装置内に設けた画像処理ボード１５１９により継ぎ合わせ処理を行う構成を採用したことで、前述の実施形態よりも高速に継ぎ合わせ処理を行うことが可能となる。

［その他の実施形態］
上述した各実施形態の構成は本発明の一具体例であり、本発明の範囲はこれらの実施形態のものには限定されない。例えば、上記実施形態では、ローカルアライメントに必要なデータの取得が完了したか否かをタイルごとに監視・判断しているが、隣接２タイル間の重複部位（継合せ個所）ごとに監視・判断してもよい。一つのタイルに継ぎ合わせる隣接タイルは通常４つあるため、タイルごとに監視した場合には５つのタイルのデータが揃うまで処理を開始できない。これに対し、継合せ個所ごとに監視・判断する場合には、少なくとも隣接２タイルのデータが揃えばローカルアライメント処理を開始できる。したがって、より効率的な処理が可能となる。

撮像装置の被写体は、病理標本以外の被写体でもよい。また上述した実施形態では、ＲＧＢの画像データを用いたが、画像データの形式はどのようなものでもよい。また、ローカルアライメント処理やグローバルアライメント処理には、色変換等の処理が行われた画像データではなく、ＲＡＷデータを用いてもよい。また上述した実施形態では、撮像装置から画像データを取得したが、予め撮像し格納されている画像データを画像サーバーから取得してもよいし、撮像装置と画像サーバーの両方から取得した画像データを継合せ合成してもよい。

記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。従って、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１１：画像取得部
１２：補正量取得部
１３：グローバル補正量取得部
１４：状態管理部
１５：画像合成部
１０１：顕微鏡撮像システム
１０２：撮像装置
１０３：画像処理装置

Claims

複数の部分画像データを継合せて合成画像データを生成する画像処理装置であって、
複数の部分画像データを順次取得する画像取得手段と、
前記複数の部分画像データそれぞれに対する処理の状態を示す状態情報として、前記画像取得手段によるデータの取得が完了したか否かを示す情報を少なくとも含む状態情報を管理する状態管理手段と、
部分画像データの継合せ個所ごとに、継ぎ合わせる部分画像データのあいだの局所的なずれを補正するための補正量を取得する補正量取得手段と、
前記補正量取得手段によって取得された継合せ個所ごとの補正量に基づき前記複数の部分画像データをそれぞれ補正し、補正後の部分画像データを継合せた合成画像データを生成する画像合成手段と、を有し、
前記状態情報は、部分画像データごと又は継合せ個所ごとに、前記補正量取得手段による補正量の取得処理が完了したか否かを示す情報、又は、前記補正量取得手段による補正量の取得処理が実行中であるか否かを示す情報をさらに含み、
前記補正量取得手段は、前記状態情報に基づき、補正量を取得するのに必要なデータの取得が完了した部分画像データ又は継合せ個所から、補正量の取得処理を開始するよう制御される
ことを特徴とする画像処理装置。
前記補正量取得手段は、互いに独立に動作する複数の補正量取得手段から構成され、
異なる部分画像データ又は異なる継合せ個所に対する処理が、前記複数の補正量取得手段により並列に実行される
ことを特徴とする請求項１に記載の画像処理装置。
前記複数の補正量取得手段は、前記状態情報に基づき、すでに補正量の取得処理が完了した部分画像データ又は継合せ個所に対し、重複して補正量の取得処理が行われないよう制御される
ことを特徴とする請求項２に記載の画像処理装置。
前記複数の補正量取得手段は、前記状態情報に基づき、補正量の取得処理が実行中である部分画像データ又は継合せ個所に対し、他の補正量取得手段により重複して補正量の取
得処理が行われないよう制御される
ことを特徴とする請求項２又は３に記載の画像処理装置。
複数の部分画像データを継合せて合成画像データを生成する画像処理装置であって、
複数の部分画像データを順次取得する画像取得手段と、
前記複数の部分画像データそれぞれに対する処理の状態を示す状態情報として、前記画像取得手段によるデータの取得が完了したか否かを示す情報を少なくとも含む状態情報を管理する状態管理手段と、
部分画像データの継合せ個所ごとに、継ぎ合わせる部分画像データのあいだの局所的なずれを補正するための補正量を取得する補正量取得手段と、
前記補正量取得手段によって取得された継合せ個所ごとの補正量に基づき前記複数の部分画像データをそれぞれ補正し、補正後の部分画像データを継合せた合成画像データを生成する画像合成手段と、
前記補正量取得手段によって取得された複数の継合せ個所の補正量に基づき、前記画像合成手段において前記複数の部分画像データのそれぞれに対し実際に施す補正処理で用いる第２の補正量を決定するグローバル補正量取得手段と、を有し、
前記補正量取得手段は、前記状態情報に基づき、補正量を取得するのに必要なデータの取得が完了した部分画像データ又は継合せ個所から、補正量の取得処理を開始するよう制御される
ことを特徴とする画像処理装置。
前記状態情報は、部分画像データごと又は継合せ個所ごとに、前記補正量取得手段による補正量の取得処理が完了したか否かを示す情報をさらに含み、
前記グローバル補正量取得手段は、前記状態情報に基づき、複数の部分画像データ又は複数の継合せ個所の補正量の取得処理が完了したことを確認した後、前記第２の補正量の決定処理を開始する
ことを特徴とする請求項５に記載の画像処理装置。
前記画像取得手段によって取得される前記複数の部分画像データのなかに、異なる倍率で撮像された画像データが含まれている場合に、
前記画像取得手段は、すべての部分画像データの解像度を揃えるために、前記異なる倍率で撮像された画像データに対し倍率変換処理を行う
ことを特徴とする請求項１〜６のうちいずれか１項に記載の画像処理装置。
前記状態管理手段は、前記複数の部分画像データの継合せ処理を開始する際に、前記複数の部分画像データの大きさ及び配置に関する情報に基づき、前記複数の部分画像データのあいだの継ぎ合わせの対応関係を決定する
ことを特徴とする請求項１〜７のうちいずれか１項に記載の画像処理装置。
前記画像取得手段は、被写体を分割撮像して複数の部分画像データを得る撮像装置、もしくは、前記撮像装置により得られた複数の部分画像データを格納する画像サーバー、又は、その両方から、継合せの対象とする複数の部分画像データを取得する
ことを特徴とする請求項１〜８のうちいずれか１項に記載の画像処理装置。
被写体を分割撮像して複数の部分画像データを得る撮像装置と、
前記撮像装置から前記複数の部分画像データを取得し、前記複数の部分画像データを継合せて合成画像データを生成する、請求項１〜９のうちいずれか１項に記載の画像処理装置と、を有する
ことを特徴とする撮像システム。
前記撮像装置は顕微鏡装置であることを特徴とする請求項１０に記載の撮像システム。
複数の部分画像データを継合せて合成画像データを生成する画像処理装置の制御方法であって、
複数の部分画像データを順次取得する画像取得ステップと、
前記複数の部分画像データそれぞれに対する処理の状態を示す状態情報として、前記画像取得ステップによるデータの取得が完了したか否かを示す情報を少なくとも含む状態情報を管理する状態管理ステップと、
部分画像データの継合せ個所ごとに、継ぎ合わせる部分画像データのあいだの局所的なずれを補正するための補正量を取得する補正量取得ステップと、
前記補正量取得ステップによって取得された継合せ個所ごとの補正量に基づき前記複数の部分画像データをそれぞれ補正し、補正後の部分画像データを継合せた合成画像データを生成する画像合成ステップと、を有し、
前記状態情報は、部分画像データごと又は継合せ個所ごとに、前記補正量取得ステップによる補正量の取得処理が完了したか否かを示す情報、又は、前記補正量取得ステップによる補正量の取得処理が実行中であるか否かを示す情報をさらに含み、
前記補正量取得ステップは、前記状態情報に基づき、補正量を取得するのに必要なデータの取得が完了した部分画像データ又は継合せ個所から、補正量の取得処理を開始するよう制御される
ことを特徴とする画像処理装置の制御方法。
複数の部分画像データを継合せて合成画像データを生成する画像処理装置の制御方法であって、
複数の部分画像データを順次取得する画像取得ステップと、
前記複数の部分画像データそれぞれに対する処理の状態を示す状態情報として、前記画像取得ステップによるデータの取得が完了したか否かを示す情報を少なくとも含む状態情報を管理する状態管理ステップと、
部分画像データの継合せ個所ごとに、継ぎ合わせる部分画像データのあいだの局所的なずれを補正するための補正量を取得する補正量取得ステップと、
前記補正量取得ステップによって取得された継合せ個所ごとの補正量に基づき前記複数の部分画像データをそれぞれ補正し、補正後の部分画像データを継合せた合成画像データを生成する画像合成ステップと、
前記補正量取得ステップによって取得された複数の継合せ個所の補正量に基づき、前記画像合成ステップにおいて前記複数の部分画像データのそれぞれに対し実際に施す補正処理で用いる第２の補正量を決定するグローバル補正量取得ステップと、を有し、
前記補正量取得ステップは、前記状態情報に基づき、補正量を取得するのに必要なデータの取得が完了した部分画像データ又は継合せ個所から、補正量の取得処理を開始するよう制御される
ことを特徴とする画像処理装置の制御方法。