JP7582882B2 - 画像キャリブレーション装置 - Google Patents

Description

本発明は、画像キャリブレーション装置に関するものである。例えば、医療用分野や工業用分野などで用いられる内視鏡の画像合成における画像キャリブレーション装置に関する。

内視鏡は、医療用分野及び工業用分野で広く使用されている装置である。特に、医療用分野においては、体腔内に挿入された内視鏡により得られる画像で、観察部位の診断や治療に利用されている。

一般に、内視鏡システムを始め、撮像素子を備えた機器において、撮像素子の高画素化に伴い、被写界深度が狭くなることが知られている。すなわち、撮像素子において、画素数を増やすために画素ピッチ（１画素の縦横の寸法）を小さくすると、これに伴って許容錯乱円も小さくなるため、撮像装置の被写界深度が狭くなる。

以下の特許文献１、２、３、４には、ピントが異なる２つの画像を同時に取得して画像合成する深度拡大内視鏡が提案されている。

内視鏡対物光学系からの像を偏光ビームスプリッター（ＰＢＳ）で２つに分割し、分割した２画像を合成して、深度拡大やダイナミックレンジ拡大、解像力向上をする内視鏡がある。この際、画像合成処理を行う事前処理として、２画像の幾何学的な位置合わせをし、併せて明るさや色調を略同一に補正するキャリブレーション処理が実施される。

国際公開第２０１３／０２７４５９号 国際公開第２０１３／０６１８１９号 国際公開第２０１４／００２７４０号 国際公開第２０１６／０４３１０７号

特許文献１は、２つの画像の位置、倍率、回転、色調、明るさの差異を画像処理にて補正して、画像を合成する深度拡大内視鏡システムが提案されている。特許文献２、３では、補正値を固有の補正パラメータとして保持し、画像処理部に対象の内視鏡が接続されると連動して、前述の補正パラメータを読み出してリアルタイムに補正する内視鏡システムが提案されている。特許文献４は、狭帯域観察においても最適な合成被写界深度が得られるように、内視鏡の観察モードに応じて補正パラメータを切替える内視鏡システムが提案されている。

特許文献１、２、３、４は、補正パラメータ自体の具体的な取得方法や構成は開示していない。このため、２つの画像を合成する際、最適な補正が行われない場合、合成画像の画質の劣化やアーチファクト（ノイズ）が生じるという課題がある。

２つの画像の位置合わせにおいて、内視鏡対物光学系に対して位置合わせ用のチャートを配置して撮像し、キャリブレーションを実施するが、適切でない観察距離にチャートを配置すると、精密な位置合わせが出来ないという課題がある。また、明るさや色調を補正する際に、適切でないチャートや光源を対象にすると偏光依存、波長依存の影響で、正しいキャリブレーションが出来ず、合成画像ではアーチファクトが生じ易くなるという課題がある。更に内視鏡システムには、様々な観察モードがあり、明るさや色調の特性が各々で異なることから、観察モードを切替えると最適な補正状態から外れてしまうという課題がある。

本発明は、このような問題点に鑑みてなされたものであり、内視鏡システムにおいて２つの画像を合成する際、予め最適な補正パラメータを取得することで、合成した画像の画質の劣化やアーチファクト（ノイズ）を低減する画像キャリブレーション装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の少なくとも幾つかの実施形態の画像キャリブレーション装置は、物体側から順に、対物光学系と、対物光学系で得られた被写体像を光路長の異なる２つの光学像に分割する光路分割部と、２つの光学像から２つの画像を取得する撮像素子と、を有する光学装置のための画像キャリブレーション装置であって、
第１のチャートと、
第２のチャートと、
第３のチャートと、
第１のチャートと第２のチャートと第３のチャートへ照明光を照射する光源と、
第１のチャート、第２のチャート及び第３のチャートを載置するステージと、
キャリブレーションプロセッサと、を有し
キャリブレーションプロセッサは、
第１のチャートを撮像して得られる第１の２つの画像それぞれの空間周波数特性値を算出する第１の算出部と、
第１の２つの画像の空間周波数特性値が、同等となる第１のチャートの位置に、第２のチャートを配置した状態で、第２のチャートを光学装置により、撮像して得られる第２の２つの画像の相対的な位置関係の差異を算出する第２の算出部と、
光源によって照明された第３のチャートを光学装置により、撮像して得られる第３の２つの画像の相対的な明るさ比率の差異をＲＧＢ信号ごとに算出する第３の算出部と、
位置関係の差異を補正する第１の補正パラメータと、明るさ比率の差異を補正する第２の補正パラメータを算出するパラメータ算出部と、を有する。

本発明は、内視鏡システムにおいて２つの画像を合成する際、予め最適な補正パラメータを取得することで、合成した画像の画質の劣化やアーチファクト（ノイズ）を低減する画像キャリブレーション装置を提供できるという効果を奏する。

実施形態に係る画像キャリブレーション装置の斜視構成図である。 実施形態に係る画像キャリブレーション装置の構成図である。 画像キャリブレーション装置に設置する光学装置が有する対物光学系、光路分割部及び撮像素子の断面構成を示す図（通常観察状態）である。 光学装置が有する偏光解消板と、光路分割部と撮像素子との概略構成図である。 光学装置が有する撮像素子の概略構成図である。 実施形態に係る画像キャリブレーション装置のキャリブレーション工程を示すフローチャートである。 （ａ）は、第１のチャートを示す図である。（ｂ）は、撮像素子が撮像した第１のチャートの２つの画像を示す図である。 第１のチャートの２つの画像の空間周波数特性値を示す図である。 実施形態に係る画像キャリブレーション装置の他の斜視構成図である。 第２のチャートを示す図である。 撮像素子が撮像した第２のチャートの２つの画像を示す図である。 実施形態に係る画像キャリブレーション装置の別の斜視構成図である。 撮像素子が撮像した第３のチャートの２つの画像を示す図である。 第３のチャートの分光分布特性を示す図である。 内視鏡システムの構成を示す機能ブロック図である。

以下に、実施形態に係る画像キャリブレーション装置を図面に基づいて詳細に説明する。なお、この実施形態により、この発明が限定されるものではない。

図１は、実施形態に係る画像キャリブレーション装置１００の斜視構成図である。図２は、画像キャリブレーション装置１００の他の構成図である。

画像キャリブレーション装置１００は、物体側から順に、対物光学系ＯＢＬ（図３）と、対物光学系ＯＢＬで得られた被写体像を光路差の異なる２つの光学像に分割する光路分割部１２０と、２つの光学像から２つの画像を取得する撮像素子１２２と、を有する光学装置２００のための画像キャリブレーション装置１００である。光学装置２００は、被写界深度を拡大できる内視鏡システム１（図１５）が有している。内視鏡システム１の構成と、光学装置２００の構成とは後述する。

図２に示すように、画像キャリブレーション装置１００は、第１のチャート１０１（図７）と、第２のチャート１０２（図１０）と、第３のチャート１０３（図２）と、これらのチャート１０１、１０２、１０３へ導光路１１６を介して照明光を照射する光源１１５と、第１のチャート１０１、第２のチャート１０２及び第３のチャート１０３を載置するステージ１０４と、キャリブレーションプロセッサ１０８（図２）と、を有する。

後述するプロセッサ装置４は、光源１１５を有する。光源１１５は、第１、第２、第３のチャート１０１、１０２、１０３を照明するための光を供給する。光源１１５からの光は、導光路１１６により、第１のチャート１０１、第２のチャート１０２、第３のチャート１０３が載置されている方向へ導光される。

導光路１１６は、光ファイバ等で構成できる。第１のチャート１０１、第２のチャート１０２は、透過型のチャートである。導光路１１６ａから射出する光は、第１のチャート１０１または第２のチャート１０２を紙面左方側から照射する。導光路１１６ｂから射出する光は、第３のチャート１０３（積分球）内へ導かれる。

例えば、光源１１５からの光は、導光路１１６で導光され、バックライトを点灯させる。導光された光は、バックライトに併設される透過型の第１のチャート１０１、または第２のチャート１０２を照射する。

光学装置２００は、バックライトで照射された第１のチャート１０１、第２のチャート１０２を撮像する。

第３のチャート１０３（積分球）に関しては、光源１１５から導光路１１６ｂで導光された照明光は、積分球内を照射する。

光学装置２００は、積分球内部を撮像する。なお、変形例として、光源１１５を外付けで別途設置する構成でも良い。さらに、光源１１５として、内視鏡システム１が有する内視鏡用照明光学系のための光源装置３（図１５）からの照明光を用いることもできる。

図２に戻って説明を続ける。キャリブレーションプロセッサ１０８は、第１の算出部１１０と、第２の算出部１１１と、第３の算出部１１２と、パラメータ算出部１１３と、を有する。

第１の算出部１１０は、第１のチャート１０１を撮像して得られる第１の２つの画像１０１ａ、１０１ｂ（図７（ｂ））それぞれの空間周波数特性値を算出する。

次に、第２の算出部１１１は、第１の２つの画像１０１ａ、１０１ｂの空間周波数特性値が、同等となる位置Ｌに、第２のチャート１０２を配置した状態で、第２のチャート１０２を光学装置２００により撮像して得られる第２の２つの画像１０２ａ、１０２ｂ（図１１）の相対的な位置関係の差異を算出する、

第３の算出部１１２は、光源によって照明された第３のチャート１０３を光学装置２００により、撮像して得られる第３の２つの画像１０３ａ、１０３ｂ（図１３）の相対的な明るさ比率の差異をＲＧＢ信号ごとに算出する。

パラメータ算出部１１３は、２つの画像１０２ａ、１０２ｂの位置関係の差異を補正する第１の補正パラメータと、明るさ比率の差異を補正する第２の補正パラメータを算出する。

まず、画像キャリブレーション装置１００のキャリブレーションの対象となる光学装置２００の例を説明する。図３は、画像キャリブレーション装置１００に設置する光学装置２００が有する対物光学系ＯＢＬ、光路分割部１２０及び撮像素子１２２の断面構成を示す図（通常観察状態）である。

対物光学系ＯＢＬは、レンズＬ１－Ｌ１０を有する第１群Ｇ１、第２群Ｇ２、第３群Ｇ３の３群構成である。

光学装置２００は、物体側から順に、対物光学系ＯＢＬと、偏光解消板１２１ａと、対物光学系ＯＢＬからの光を２つに分割する光路分割部１２０と、分割した２つの像を撮像する撮像素子１２２と、を有する。偏光解消板１２１ａは、対物光学系ＯＢＬと光路分割部１２０との間の光路中に配置される。偏光解消板１２１ａは、偏光を解消する機能を有する。

図４は、光学装置２００が有する偏光解消板１２１ａと、光路分割部１２０と撮像素子との概略構成図である。

対物光学系ＯＢＬを射出した光は、偏光解消板１２１ａを経て、光路分割部１２０に入射する。偏光解消板１２１ａは、図４を用いて後述するように、簡易な構成で偏光を解消する機能を有する。

光路分割部１２０は、被写体像をピントの異なる２つの光学像に分割する偏光ビームスプリッター１２１と、２つの光学像を撮像して２つの画像を取得する撮像素子１２２と、を有する。

偏光ビームスプリッター１２１は、図５に示すように、物体側のプリズム１２１ｂ、像側のプリズム１２１ｅ、ミラー１２１ｃ、及びλ／４板１２１ｄを備えている。物体側のプリズム１２１ｂ及び像側のプリズム１２１ｅは共に光軸ＡＸに対して４５度の斜度であるビームスプリット面を有する。

物体側のプリズム１２１ｂのビームスプリット面には偏光分離膜１２１ｆが形成されている。そして、物体側のプリズム１２１ｂ及び像側のプリズム１２１ｅは、互いのビームスプリット面を偏光分離膜１２１ｆを介して当接させて偏光ビームスプリッター１２１を構成している。

また、ミラー１２１ｃは、物体側のプリズム１２１ｂの端面近傍にλ／４板１２１ｄを介して設けられている。像側のプリズム１２１ｅの端面には、カバーガラスＣＧを介して撮像素子１２２が取り付けられている。Ｉは、結像面（撮像面）である。

対物光学系ＯＢＬからの被写体像は、物体側のプリズム１２１ｂにおいてビームスプリット面に設けられた偏光分離膜１２１ｆによりＰ偏光成分（透過光）とＳ偏光成分（反射光）とに分離され、反射光側の光学像と透過光側の光学像との２つの光学像に分離される。

Ｓ偏光成分の光学像は、偏光分離膜１２１ｆで撮像素子１２２に対して対面側に反射されＡ光路を通り、λ／４板１２１ｄを透過後、ミラー１２１ｃで反射され、撮像素子１２２側に折り返される。折り返された光学像は、λ／４板１２１ｄを再び透過する事で偏光方向が９０°回転し、偏光分離膜１２１ｆを透過して撮像素子１２２に結像される。

Ｐ偏光成分の光学像は、偏光分離膜１２１ｆを透過してＢ光路を通り、撮像素子１２２に向かって垂直に折り返す像側のプリズム１２１ｅのビームスプリット面と反対側に設けられたミラー面によって反射され、撮像素子１２２に結像される。この際、Ａ光路とＢ光路で、例えば、数十μｍ程度の所定の光路差を生じさせるように、プリズム硝路を設定しておき、ピントが異なる２つの光学像を撮像素子１２２の受光面に結像させる。

すなわち、物体側のプリズム１２１ｂ及び像側のプリズム１２１ｅが、被写体像をピント位置が異なる２つの光学像に分離できるように、物体側のプリズム１２１ｂにおける撮像素子１２２に至る透過光側の光路長（硝路長）に対して反射光側の光路長が短く（小さく）なるように配置する。

また、２つの光学像のそれぞれの光路長（硝路長）において、任意の光路長差を得られる構成であれば本実施形態の構成に限られない。例えば、物体側のプリズム１２１ｂにおける撮像素子１２２に至る透過光側の光路長（硝路長）に対して反射光側の光路長が長く（大きく）なるように配置しても良い。

図５は、撮像素子１２２の概略構成図である。撮像素子１２２は、図５に示すように、ピント位置が異なる２つの光学像を各々個別に受光して撮像するために、撮像素子１２２の全画素領域の中に、２つの受光領域（有効画素領域）１２２ａ、１２２ｂが設けられている。

図６は、実施形態に係る画像キャリブレーション装置１００のキャリブレーション工程を示すフローチャートである。

ステップＳ１において、第１のチャート１０１をステージ１０４上のホルダ１０６に設置する。図７（ａ）は、第１のチャート１０１の正面図である。

第１のチャート１０１は、空間周波数特性値を求めるチャートであって、第１のチャート１０１は、白黒エッジ稜線１０１ｂｋを含むチャートパターンを有する。第１のチャート１０１は、２つの画像１０１ａ、１０１ｂの視野中心１２２ａｃ、１２２ｂｃと、白黒エッジ稜線１０１ａｂｋ、１０１ｂｂｋとがそれぞれ交わる様に配置される。

一般的に空間周波数特性値（ここでは解像度と同義とする)の評価には、ＩＳＯ１２２３３で定義されている視覚解像度や限界解像度（ＳＩＮ波チャート）、ＳＦＲ（Ｓｐａｔｉａｌ Ｆｒｅｑｕｅｎｃｙ Ｒｅｓｐｏｎｓｅ）チャート等が用いられる。本実施形態における第１のチャート１０１は、特にＳＦＲチャートである事が望ましい。理由を以下に述べる。

後述する第２のチャート１０２の観察距離Ｌを求めるために、Ａ、Ｂ光路夫々において、任意のステップ幅で観察距離毎の空間周波数特性値を得る必要がある。視覚解像度や限界解像度を評価するチャートを用いる場合、観察距離毎にピッチパターンを変えたチャートを用意するか、観察倍率に応じた補正係数を考慮する必要がある。その場合、画像キャリブレーション装置１００の構成が複雑化することや、コストが高くなり好ましくない。そのため、本実施形態では、観察倍率の影響を受けないＳＦＲチャートを用いる。

ステップＳ２において、撮像素子１２２は、近点にピントが合った画像（以下、「近点画像」という）である画像１０１ａを撮像する。撮像素子１２２は、遠点にピントが合った画像（以下、「遠点画像」という）である画像１０１ｂを撮像する。

また、画像キャリブレーション装置１００は、駆動部１１４と、格納部１０９と、を有する。

被写界深度を拡大する内視鏡は、フォーカスレンズ（図３の第２群Ｇ２）を駆動する事で、通常フォーカス（遠点物体観察）モードと近接フォーカス（近点物体観察）モードとを切替える事ができる。本実施形態では通常フォーカスモード側で、キャリブレーションを行う方が望ましい。近接フォーカスモード側でキャリブレーションを行う場合、第１のチャートと光学装置２００との観察距離設定を、通常フォーカスモードに比べて相対的に高精度とする必要があり、アクチュエータや制御ソフトウェアが高コストになり易いからである。

駆動部１１４は、ステージ１０４を、光学装置２００に対して、第１のチャート１０１の観察距離を任意のステップで変更する（ステップＳ５）。駆動部１１４は、例えば、モータ、アクチュエータである。

なお、光学装置２００に対して、第１のチャート１０１の観察距離を相対的に変化させれば良い。このため、ステージ１０４の代わりにステージ１０５を駆動することで、ホルダ１０７に保持された光学装置２００の位置を変化させても良い。

格納部１０９は、観察距離毎に第１のチャート１０１の静止画像を格納する。第１の算出部１１０は、格納部１０９に格納された第１のチャート１０１の静止画像から算出した第１の２つの画像の各々の空間周波数特性値を算出する。第１の算出部１１０は、空間周波数特性値が２つの画像１０１ａ、１０１ｂで同一となる観察距離Ｌを算出する（ステップＳ３、Ｓ４）。

図８は、第１のチャート１０１の２つの画像１０１ａ（近点画像、三角印でプロット）の空間周波数特性値と、画像１０１ｂ（遠点画像、丸印でプロット）の空間周波数特性値を示す。第１の算出部１１０は、空間周波数特性値が２つの画像１０１ａ、１０１ｂで同一となる観察距離Ｌを算出する。横軸はデフォーカス量（単位ｍｍ）、縦軸は空間周波数特性値（単位％）である。空間周波数特性値は、ＳＦＲ（Ｓｐａｔｉａｌ Ｆｒｅｑｕｅｎｃｙ Ｒｅｐｏｎｓｅ）によって求められる。

第１の算出部１１０が算出した観察距離Ｌで、ステージ１０４のホルダ１０６に、第２のチャート１０２を配置する（ステップＳ６）。尚、第１のチャート１０１と第２のチャート１０２がチャート基板の同一平面上に配置されていれば、ホルダ１０６に改めて第２のチャート１０２を配置する必要はない。格納部１０９は、第２のチャートの静止画像１０２ａ、１０２ｂを格納する（ステップＳ７）。パラメータ算出部１１３は、第２のチャートの静止画像１０２ａ、１０２ｂと、第２の算出部１１１が算出した位置関係の差異とに基づいて第１の補正パラメータを算出する（ステップＳ８、Ｓ９）。

光学装置２００において、画像の空間周波数特性値に応じて画像合成を行う場合、２つの画像の位置合わせ補正を高精度で行う必要がある。ここで、２つの画像で一方の空間周波数特性値が低い（即ち、ピントが合っていない）と、位置合わせの補正精度が低下する。この結果、合成画像の解像力が劣化することや、アーチファクト（ノイズ）が生じてしまうので望ましくない。

これに対して、本実施形態では、第１のチャート１０１の２つの画像１０１ａ、１０１ｂの空間周波数特性値が同じになる観察距離Ｌを算出する。そして、算出した観察距離Ｌに位置合わせ用の第２のチャート１０２を配置する。これにより、位置合わせの補正パラメータ（第１の補正パラメータ）を得ることができるという効果を奏する。

図９は、画像キャリブレーション装置１００に第２のチャートを配置した構成を示す。図１０は、第２のチャート１０２を示す図である。図１１は、光学装置２００が撮像した第２のチャートの２つの画像１０２ａ、１０２ｂを示す図である。

第２のチャート１０２は、少なくとも２以上の異なるの階調を有する領域をランダムに配置したグレースケールチェッカパターンである。

通常の白黒パターンチャートは、２階調のみを使ったエッジマッチングである。これに対して、本実施形態では、多段階の階調をランダム配置したパターンを用いる。具体的には、第２のチャート１０２の２つの画像１０２ａ、１０２ｂ間の複数の階調パターンの輝度差の誤差関数を演算する。そして、誤差関数の演算値を最小化して、２つの画像の位置合わせをする。これにより、高精度の位置合わせが可能となる。

また、本実施形態の望ましい態様では、パラメータ算出部１１３は、第１の補正パラメータに関して、第２の２つの画像１０２ａ、１０２ｂのうちの一方の画像を基準として算出する。

本実施形態におけるキャリブレーションの目的は、相対的に２つの画像間の差異を無くすことで合成画像のアーチファクトや重像を回避することである。このため、２つの画像間の差異の絶対値を求めることは大きな意味を有していない。２つの画像間の差異の絶対値（座標の正解値）を導き出すことは、その計測手段や製造誤差を考慮すると非常に困難であって、仮に基準パラメータを設定出来たとしても、位置合わせアルゴリズムが非常に複雑で、規模が大きくなるため好ましくない。従って、本実施形態では、２つの画像うち１つを基準画像とすることが望ましい。

また、本実施形態の望ましい態様では、第３のチャート１０３は積分球である。積分球へ導光される照明光の分光特性は、光学装置２００を使用するときの分光特性と同じである。

図１２は、本実施形態に係る画像キャリブレーション装置１００に第３のチャート１０３（積分球）の別の斜視構成図である。図１３は、光学装置２００が撮像した第３のチャート１０３の２つの画像１０３ａ、１０３ｂを示す図である。

２つの画像の相対的な明るさ差異を補正する場合、内視鏡システム１の製品に用いる光源特性（分光特性）と同等の特性を有する照明光で補正する事が望ましい。例えば、市販のＬＥＤ照明装置を使うと、内視鏡光源とは全く異なる色調や明るさをしているため、最適な第２の補正パラメータから逸脱してしまう。仮に、画像処理部で更なる色調や明るさの補正を行ったとしても、回路規模増大や画像のノイズ増加が生じてしまい好ましくない。

第３のチャート１０３である積分球の内面は完全拡散面に相当する。このため、積分球から放出される光は、偏光依存が略存在しない。光路分割部１２０に偏光ビームスプリッターを用いた光学装置２００において、色調、明るさの補正を行う場合、偏光依存がある被写体を基準（衝）にすると、均等な像分割ができない。このため、２つの画像において正しい補正が難しい。従って、本実施形態では、偏光依存が極めて少ない積分球を被写体とする（ステップＳ１０）。

上述したように、第３の算出部１１２は、光源によって照明された第３のチャート１０３を光学装置２００により撮像して得られる第３のチャート１０３の２つの画像１０３ａ、１０３ｂの相対的な明るさ比率の差異をＲＧＢ信号ごとに算出する（ステップＳ１１）。

パラメータ算出部１１３は、２つの画像１０３ａ、１０３ｂに関する明るさ比率の差異を補正する第２の補正パラメータを算出する（ステップＳ１２）。

図１４（ａ）、（ｂ）、（ｃ）は、光源１１５から出射される分光分布特性のイメージ図である。横軸は、波長帯域（ｎｍ）、縦軸は、任意の強度Ｉｓを示す。上述したように、第３のチャート１０３（積分球）に関して、光源１１５から導光路１１６ｂで導光された照明光は、積分球内を照射する。光学装置２００は、積分球内部を撮像する。従って、図１４（ａ）、（ｂ）、（ｃ）で示すような分光分布特性を有する光を、導光路１１６ｂにより積分球へ導くように構成する。

光学装置２００は、異なる観察モードを切り替えられる内視鏡システム１（図１５
）である。内視鏡システム１の観察モード毎に光源からの照明光が切り替わる。パラメータ算出部１１３は、観察モード毎に、第２の補正パラメータを算出する。

内視鏡の観察モードには、白色光を用いる観察モード以外に、狭帯域の波長を用いた観察モードがある。明るさや色調のキャリブレーションで、白色光のみを対象とした補正パラメータではマッチングが適切でない場合がある。このため、本実施形態では、観察モード毎に用いる照明光で各々補正パラメータを算出、保有することができる。

明るさと色調のキャリブレーションに用いられる照明光は、内視鏡の各観察モードに対応した照明光であって、少なくとも通常観察モードに用いる４００～７００ｎｍの広帯域光と、狭帯域観察モードに用いられる狭帯域光の、複数の照明光を用いて各々の観察モード毎に、明るさと色調のキャリブレーションが実施できる。

一般的に、偏光ビームスプリッター、位相差板、偏光解消板という偏光素子は、波長依存性を有する。このため、観察モード毎に補正パラメータを設定することで、より良好な画像品質を得ることができる。尚、光学素子や組立時の製造誤差により、被写界深度を拡大する内視鏡で個体差が存在する。このため、本実施形態のように個体（光学装置２００）毎に固有の補正パラメータが必要となる。

キャリブレーションにて得られた明るさ、色調の補正パラメータは、内視鏡の各観察モードに連動して切り替わり、画像を補正する。

明るさ、色調合わせのキャリブレーションは、偏光依存や波長依存が少ない積分球を被写体とし、光源は製品相当の分光特性を有する光源である。光を導光するライトガイドも併せて製品相当の分光透過特性を有するものを用いることが望ましい。

上述したように、本実施形態では、高精度の位置合わせと、波長や偏光に依存しない明るさ色調のキャリブレーションが可能であって、且つ、各種観察モードで最適な合成画像が得られるという効果がある。

図１５は、上述の補正パラメータを格納している内視鏡システムの構成を示す機能ブロック図である。本実施形態の内視鏡システム１は、被検体内に挿入される内視鏡２と、この内視鏡２に照明光を供給する光源装置３と、プロセッサ装置４と、画像表示部５と、を有する。

プロセッサ装置４は、画像処理を行う機能を有するが、それ以外の機能も有する。プロセッサ装置４は、アクチュエータ制御部２５と、画像プロセッサ３０と、制御部３９と、を有する。画像表示装置５は、プロセッサ装置４により生成された画像信号を内視鏡画像として表示する。

内視鏡２は、被検体内に挿入される細長の挿入部６と、この挿入部６の後端に設けられた操作部７とを有する。操作部７からは、ライトガイドケーブル８が外側に向かって延びている。ライトガイドケーブル８の一端は、接続部８ａを介して、光源装置３に着脱自在に接続されている。ライトガイドケーブル８は、内側にライトガイド９を有する。ライトガイド９の一部は挿入部６内に配置されている。

光源装置３は、光源として例えばキセノンランプ等のランプ１１を内蔵する。なお、光源として、キセノンランプ等のランプ１１に限定されるものでなく、発光ダイオード（ＬＥＤと略記）を用いても良い。ランプ１１により発生した照明光、例えば、白色光は、絞り１２により通過光量が調整される。そして、照明光は、コンデンサレンズ１３により集光されて、ライトガイド９の入射端面に入射する。絞り１２の開口径は、絞り駆動部１４によって変えることができる。

ライトガイド９は、光源装置３で生成された照明光を、挿入部６の先端部６ａに伝送する。伝送された照明光は、ライトガイド９の先端面から出射する。先端部６ａには、先端面に対向して照明レンズ１５が配置されている。照明レンズ１５は照明光を照明窓１５ａから出射する。これにより、被検体内部の観察対象部位が照明される。

先端部６ａには、観察窓２０が、照明窓１５ａの隣に設けられている。観察対象部位からの光は、観察窓２０を通過して、先端部６ａ内に入射する。観察窓２０の後方には、対物光学系ＯＢＬが配置されている。対物光学系ＯＢＬは、レンズ群１６と光路分割部１２０とで構成されている。

レンズ群１６は、レンズ１６ａやレンズ２１を有する。レンズ２１は光軸に沿って移動可能になっている。これにより、合焦が行われる。レンズ２１を移動させるために、アクチュエータ２２が配置されている。

光路分割部１２０には、１つの撮像素子１２２（不図示）が配置されている。撮像素子１２２の受光面に、２つの光学像が同時に形成される。２つの光学像は、撮像素子１２２によって撮像される。

操作部７は、ケーブル２４を介して、プロセッサ装置４と接続されている。プロセッサ装置４との接続箇所には、信号コネクタ２４ａが設けられている。様々な情報の伝達が、ケーブル２４を介して、内視鏡２とプロセッサ装置４との間で行われる。信号コネクタ２４ａは、補正パラメータ格納部３７を有する。

補正パラメータ格納部３７には、画像の補正に使用する補正パラメータ（の情報）が格納されている。補正パラメータは、個々の内視鏡で異なる。固有の内視鏡識別情報を有する内視鏡が、プロセッサ装置４に接続されたとする。この場合、内視鏡識別情報に基づいて、接続された内視鏡に固有の補正パラメータが、補正パラメータ格納部３７から読み出される。読み出された補正パラメータに基づいて、画像補正処理部３２において、画像の補正が行われる。補正の有無は、制御部３９によって行われる。

アクチュエータ２２の制御は、アクチュエータ制御部２５によって行われる。そのために、アクチュエータ２２とアクチュエータ制御部２５とは、信号線２３を介して接続されている。また、撮像素子は、信号線２７ａを介して、画像プロセッサ３０と接続されている。撮像素子からの信号は、画像プロセッサ３０に入力される。また、操作部７に設けられたスイッチ２６の情報も、信号線２７ａを介して、プロセッサ装置４に送信される。

第１の光路における光路長が、第２の光路における光路長と僅かに異なる場合、撮像面の前後に、ピントの合った光学像が２つ形成される。撮像面に対する光学像のズレ量は僅かである。そのため、撮像面には、一部の領域だけにピントが合っている状態の光学像が、２つ形成される。

２つの光学像は撮像素子で撮像される。撮像で得られた画像信号は、信号線２７ａを介して画像プロセッサ３０に入力される。この画像プロセッサ３０は、画像読出部３１と、画像補正処理部３２と、画像合成処理部３３と、後段画像処理部３４と、画像出力部３５と、調光部３６と、を有する。

画像読出部３１では、入力された画像信号から、複数の画像の画像信号を読み出す。ここでは、光学像の数と画像の数は、共に２つとする。

２つの光学像を形成する光学系では、幾何的な差異が生じる場合がある。幾何的な差異としては、２つの光学像における相対的ズレ（差異）、例えば、倍率のズレ（差異）、位置ズレ（差異）及び回転方向のズレ（差異）、がある。これらの差異を、対物光学系ＯＢＬの製造時などにおいて、完全に無くす事は難しい。しかし、それらのズレ（差異）量が大きくなると、例えば、合成画像が２重に見えてしまう。このため、画像補正処理部３２にて上述した幾何的な差異を補正することが好ましい。

画像補正処理部３２は、読み出された２つの画像に対する画像補正を行う。画像補正処理部３２では、例えば、２つの画像における相対的な倍率の差異、位置の差異、回転の差異のうち、少なくとも１つの差異を合致させる処理が行われる。

更に、画像補正処理部３２では、色調補正を行う。そのために、画像補正処理部３２は、色調補正部（不図示）を有する。色調補正では、２つの画像の相対的な輝度と彩度を、少なくとも１つの任意の特定波長帯域において略一致させる処理を行う。色調補正部を設けずに、画像補正処理部３２で色調補正を行っても良い。

画像補正処理部３２では、２つの画像のうち、一方の画像における輝度を、他方の画像における輝度と略一致するように変更する。また、画像補正処理部３２では、一方の画像における彩度を、他方の画像における彩度と略一致するように変更する。

上述のように、被写界深度の大きな画像を取得する方法では、複数の画像からピントが合っている領域だけを抽出し、抽出した領域の合成が行われる。本実施形態の内視鏡システムでは、複数の画像における明るさの差や色調の差を少なくすることができる。よって、合成した画像において明るさのムラや色調の違いを少なくすることができる。

また、画像の色再現性を向上させる方法では、２つの画像を用いた画像合成が行われる。２つの光学像において明るさの差や色調の差が生じていると、撮像で得られた２つの画像にも、明るさの差や色調の差が生じる。本実施形態の内視鏡システムでは、複数の画像において明るさの差や色調の差が生じていても、明るさの差や色調の差を少なくすることができる。よって、合成した画像の色再現性をより向上させることができる。

画像合成処理部３３では、まず、２つの画像を用いて空間周波数特性値の比較が行われる。この比較は、２つの画像における空間的に同一の画素領域それぞれについて行われる。続いて、相対的に空間周波数特性値が高い方の画素領域の選択が行われる。そして、選択した画素領域を用いて１つの画像を生成する。このように、２つの画像から１つの合成画像を生成する。なお、２つの画像の空間周波数特性値差が小さい場合は、各画像に所定の重み付けして加算する合成画像処理を行った後、合成画像を生成すれば良い。

後段画像処理部３４では、合成画像に対して、例えば、輪郭強調、ガンマ補正等の画像処理が行われる。画像出力部３５は、画像処理された画像を画像表示装置５に出力する。

調光部３６では、画像読出部３１により読み出された画像から、基準の明るさに調光するための調光信号が生成される。調光信号は、光源装置３の絞り駆動部１４に出力される。絞り駆動部１４は、調光信号に従って、基準の明るさを維持するように絞り１２の開口量を調整する。

なお、上述の画像キャリブレーション装置は、複数の構成を同時に満足してもよい。このようにすることが、良好な内視鏡用光学系を得る上で好ましい。また、好ましい構成の組み合わせは任意である。

また、本実施形態は、被写界深度を拡大する内視鏡システムのキャリブレーション装置に限られない。例えば、左目画像と右目画像とから立体視を行う光学装置の画像キャリブレーション装置にも有用である。

以上、本発明の種々の実施形態について説明したが、本発明は、これらの実施形態のみに限られるものではなく、その趣旨を逸脱しない範囲で、これら実施形態の構成を適宜組合せて構成した実施形態も本発明の範疇となるものである。

（付記）
なお、これらの実施例から以下の構成の発明が導かれる。
（付記項１）
物体側から順に、対物光学系と、前記対物光学系で得られた被写体像を光路差の異なる２つの光学像に分割する光路分割部と、前記２つの光学像から２つの画像を取得する撮像素子と、を有する光学装置のための画像キャリブレーション方法であって、
第１のチャートと、第２のチャートと、第３のチャートとを供給する工程と、
前記第１のチャートと前記第２のチャートと第３のチャートへ照明光を照射する工程と、
前記第１のチャート、前記第２のチャート及び前記第３のチャートを載置する工程と、
前記第１のチャートを撮像して得られる第１の２つの画像それぞれの空間周波数特性値を算出する第１の算出工程と、
前記第１の２つの画像の前記空間周波数特性値が、同等となる位置に前記第２のチャートを配置した状態で、前記第２のチャートを前記光学装置により、撮像して得られる第２の２つの画像の相対的な位置関係の差異を算出する第２の算出工程と、
前記光源によって照明された前記第３のチャートを前記光学装置により、撮像して得られる第３の２つの画像の相対的な明るさ比率の差異をＲＧＢ信号ごとに算出する第３の算出工程と、
前記位置関係の差異を補正する第１の補正パラメータと、前記明るさ比率の差異を補正する第２の補正パラメータを算出するパラメータ算出工程と、
を有することを特徴とする画像キャリブレーション方法。
（付記項２）
付記項１に記載の前記位置関係の差異を補正する第１の補正パラメータと、前記明るさ比率の差異を補正する第２の補正パラメータを格納する補正パラメータ格納部を有する内視鏡システム。

以上のように、本発明は、内視鏡システムにおいて２つの画像を合成する際、予め最適な補正パラメータを取得することで、合成した画像の画質の劣化やアーチファクト（ノイズ）を低減する画像キャリブレーション装置に有用である。

Ｌ１～Ｌ１０ レンズ
ＡＸ 光軸
Ｉ 像面
ＯＢＬ 対物光学系
１ 内視鏡システム
４ プロセッサ装置
５ 画像表示装置
１００ 画像キャリブレーション装置
１０１ 第１のチャート
１０２ 第２のチャート
１０３ 第３のチャート
１０４、１０５ ステージ
１０６、１０７ ホルダ
１０８ キャリブレーションプロセッサ
１０９ 格納部
１１０ 第１の算出部
１１１ 第２の算出部
１１２ 第３の算出部
１１３ パラメータ算出部
１１４ 駆動部
１１５ 光源
１１６，１１６ａ、１１６ｂ 導光路
１２０ 光路分割部
１２２ 撮像素子
２００ 光学装置

Claims (7)

1. 物体側から順に、対物光学系と、前記対物光学系で得られた被写体像を光路長の異なる２つの光学像に分割する光路分割部と、前記２つの光学像から２つの画像を取得する撮像素子と、を有する光学装置のための画像キャリブレーション装置であって、
   第１のチャートと、
   第２のチャートと、
   第３のチャートと、
   前記第１のチャートと前記第２のチャートと前記第３のチャートへ照明光を照射する光源と、
   前記第１のチャート、前記第２のチャート及び前記第３のチャートを載置するステージと、
   キャリブレーションプロセッサと、を有し
   前記キャリブレーションプロセッサが、
   前記第１のチャートを撮像して得られる第１の２つの画像それぞれの空間周波数特性値を算出する第１の算出部と、
   前記第１の２つの画像の前記空間周波数特性値が、同等となる第１のチャートの位置に、前記第２のチャートを配置した状態で、前記第２のチャートを前記光学装置により、撮像して得られる第２の２つの画像の相対的な位置関係の差異を算出する第２の算出部と、
   前記光源によって照明された前記第３のチャートを前記光学装置により、撮像して得られる第３の２つの画像の相対的な明るさ比率の差異をＲＧＢ信号ごとに算出する第３の算出部と、
   前記位置関係の差異を補正する第１の補正パラメータと、前記明るさ比率の差異を補正する第２の補正パラメータを算出するパラメータ算出部と、
   を有することを特徴とする画像キャリブレーション装置。
2. 前記キャリブレーションプロセッサは、さらに、前記ステージを、前記光学装置に対して、第１のチャートの観察距離を任意のステップで変更するように駆動する駆動部と、
   前記観察距離毎に第１のチャートの静止画像を格納された格納部と、を有し、
   前記第１の算出部は、前記格納部に格納された前記第１のチャートの静止画像から算出した前記第１のチャートの２つの画像の各々の空間周波数特性値を算出し、かつ該空間周波数特性値が前記第１のチャートの２つの画像で同一となる観察距離を算出し、
   前記ステージは、前記第１の算出部が算出した前記観察距離に前記第２のチャートを配置するホルダを有し、
   前記格納部は、前記第２のチャートの静止画像を格納し、
   前記パラメータ算出部は、前記第２のチャートの静止画像と、前記第２の算出部が算出した前記位置関係の差異とに基づいて前記第１の補正パラメータを算出することを特徴とする請求項１に記載の画像キャリブレーション装置。
3. 前記第１のチャートは、空間周波数特性値を求めるチャートであって、前記第１のチャートは白黒エッジ稜線を含むチャートパターンを有し、
   前記第１のチャートは、前記２つの画像の視野中心と前記白黒エッジ稜線とが交わる様に配置されることを特徴とする請求項２に記載の画像キャリブレーション装置。
4. 前記第２のチャートは、少なくとも２以上の異なる階調を有する領域をランダムに配置したグレースケールチェッカパターンであることを特徴とする請求項１に記載の画像キャリブレーション装置。
5. 前記パラメータ算出部は、前記第１の補正パラメータに関して、前記第２のチャートの２つの画像のうちの一方の画像を基準として算出することを特徴とする請求項１に記載の画像キャリブレーション装置。
6. 前記第３のチャートは積分球であって、前記積分球へ導光される照明光の分光特性は、前記光学装置を使用するときの光源の分光特性と同じであることを特徴とする請求項１に記載の画像キャリブレーション装置。
7. 前記光学装置は、異なる観察モードを切り替えられる内視鏡システムであり、前記内視鏡システムの前記観察モード毎に前記光源からの照明光が切り替わり、
   前記パラメータ算出部は、前記観察モード毎に、前記第２の補正パラメータを算出することを特徴とする請求項１の画像キャリブレーション装置。

Images