JP4646384B2

JP4646384B2 - Endoscope device for measurement and scale display method

Info

Publication number: JP4646384B2
Application number: JP2000354851A
Authority: JP
Inventors: 克己平川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2000-11-21
Filing date: 2000-11-21
Publication date: 2011-03-09
Anticipated expiration: 2020-11-21
Also published as: JP2002156212A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像された被写体について目盛を表示する計測用内視鏡装置および目盛表示方法に関する。
【０００２】
【従来の技術】
近年、医療分野、工業分野等において、内視鏡が広く用いられるようになった。通常の内視鏡による観察像では、一般に対象物は平面的なものになり、凹凸等は認識しがたい。そのため、最近では、内視鏡の先端に左右２系統の撮像手段を配設し、この２系統の撮像手段により撮像された左右画像から、ステレオ法により対象の立体画像を推定し、この立体形状を、プロファイルやワイヤーフレームにより表示する技術が知られている。
【０００３】
例えば、特開平６−３３９４５４号公報はステレオ内視鏡を用いて三角測量の原理により、対象までの距離、複数の対象点間の距離を算出する技術が開示されている。
【０００４】
特に、特開平６−３３９４５４号公報中の図１２にその例が示されているように、算出した３次元座標値に基づいて、対象物の長さ、大きさ等を客観的に認識できるスケールマーカを、対象物の形状に合わせて表示している。
【０００５】
【発明が解決しようとする課題】
しかし、そこに開示された方法によれば、指定された対象点の３次元座標を求めた後、その点とＸ座標が同じ点を、水平方向に一定間隔毎に求め、同様に、Ｙ座標が同じ点を、垂直方向に一定間隔毎に求める。その求めた点群が、一定間隔の目盛となり、目盛がふられた曲線として画像に重畳して表示される。
【０００６】
従って、その重畳表示のために、選択した画素と同じＸ座標、Ｙ座標を持つ画素を画像中から探索する必要があり、多くの処理を必要とし、目盛を表示するまでに時間がかかるものであった。
【０００７】
別の目盛表示方法として、例えば、対象物が単純にスコープ光軸に垂直な鉛直平面で近似できると仮定して目盛を作成した場合、対象物の表面形状によっては、画像上に表示した距離と対象物の３次元空間での距離とが一致しない可能性もあるという問題があった。
【０００８】
【課題を解決するための手段】
そこで、本発明は、撮像された被写体に応じて、目盛を、より高速かつ正確に表示する計測用内視鏡装置および目盛表示方法を提供することを目的とする。
【０００９】
本発明の計測用内視鏡装置は、内視鏡の挿入部の先端部に設けられた対物光学系によって結像される被写体像を、前記先端部に設けられた撮像部によって撮像して得られたステレオ画像を表示する表示手段と、該表示手段に表示された前記ステレオ画像の一方において指定された被写体上の２つの指定点に基づいて、前記ステレオ画像の他方における２つの対応点を検出する対応点検出手段と、前記２つの指定点と前記２つの対応点とに基づき、前記２つの指定点の３次元空間上の２つの座標を算出する３次元座標算出手段と、前記表示手段に、前記２つの座標の前記３次元空間上の距離に応じた目盛を、前記ステレオ画像の少なくとも一方上で、前記対物光学系の光軸方向における前記２つの座標の距離が所定の閾値よりも小さい場合は、前記光軸方向に直交する平面上で、互いに直角な水平方向及び垂直方向の２つの目盛表示により行い、前記対物光学系の光軸方向における前記２つの座標の距離が前記所定の閾値以上である場合は、前記２つの指定点を結んだ線分上にもしくは該線分に平行な線分上に表示させる画像処理手段とを有する。
【００１０】
本発明の目盛表示方法は、内視鏡の挿入部の先端部に設けられた対物光学系によって結像される被写体像を、前記先端部に設けられた撮像部によって撮像して得られたステレオ画像の一方において指定された被写体上の２つの指定点に基づいて、前記ステレオ画像の他方における２つの対応点を検出し、前記２つの指定点と前記２つの対応点とに基づき、前記２つの指定点の３次元空間上の２つの座標を算出し、前記２つの座標の前記３次元空間上の距離を算出し、表示手段に、前記２つの座標の前記３次元空間上の距離に応じた目盛を、前記ステレオ画像の少なくとも一方上で、前記対物光学系の光軸方向における前記２つの座標の距離が所定の閾値よりも小さい場合は、前記光軸方向に直交する平面上で、互いに直角な水平方向及び垂直方向の２つの目盛表示により行い、前記対物光学系の光軸方向における前記２つの座標の距離が前記所定の閾値以上である場合は、前記２つの指定点を結んだ線分上にもしくは該線分に平行な線分上に表示させる。
【００１１】
このような構成により、被写体についての目盛表示を、より正確に行うことができる。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。以下においては、適用する計測用内視鏡として、先端に２系統の対物レンズを備えたステレオ内視鏡を用いたもので説明する。
【００１３】
なお、本発明の実施の形態においては、例えば画素ＲをＲ（ｘ，ｙ）とし、ｘおよびｙは画像上のＸ軸およびＹ軸上の画素の位置を表すものとする。また、例えばＰ点の３次元の位置座標は、Ｐ´（ｘ´，ｙ´，ｚ´）とし、ｘ´、ｙ´、ｚ´は、３次元空間におけるＸ´軸、Ｙ´軸およびＺ´軸上の座標位置を表すものとする。そして、画像の階調数は、特に断らない限り、２５６として説明する。
【００１４】
さらに、画像に歪曲収差歪みが存在する場合は、各処理は歪曲収差補正後の画像に対して行うことを基本とする。歪曲収差補正は例えば、特開平６−３３９４５４号公報に示されるようにして行われる。すなわち、各画素における補正値を予め決定しておき、実際の撮像画像に対して補正を行うことによって歪曲収差補正処理を実現することができる。具体的には、米国特許第４８９５４３１号明細書に具体的な処理手法が開示されている。なお、画像に歪曲収差歪みが存在しない場合はその限りではない。また、画像に歪曲収差歪みが存在する場合は、各処理は歪曲収差補正後の画像に対して行うことを基本とするが、その補正がされない場合は、歪曲収差の影響が少ない、画像中心部分の画素を選択するのが望ましい。
【００１５】
図１ないし図１０により、実施の形態を説明する。
【００１６】
図１は、第一の実施の形態に関わる計測用内視鏡装置のブロック図である。図２は、内視鏡の挿入部の先端部分の構造を説明する図である。図３は、計測用内視鏡装置の機能構成を示すブロック図である。図４は、ホストコンピュータの構成を説明する図である。図５は、外部記憶装置の構成を示すブロック図である。図６は、内視鏡先端部における３次元座標を説明するための図である。図７は、目盛を描画する処理の流れを示すフローチャートである。図８は、水平および垂直方向への目盛の描画状態を示す画面例である。図９は、２点間への目盛の描画状態を示す画面例である。図１０は、画像から画素を自動選択する処理の流れを示すフローチャートである。
【００１７】
まず、図３に示すように、本実施の形態において採用する計測用内視鏡装置は、ステレオ式ビデオイメージエンドスコープ（以下、単に「内視鏡」と称する）１０１と、この内視鏡１０１によって撮像される右画像及び左画像の各画像信号を信号処理する右画像用ビデオプロセッサ１１０Ｒと左画像用ビデオプロセッサ１１０Ｌを有する。さらに、この各ビデオプロセッサ１１０Ｒと１１０Ｌからそれぞれ出力される、例えばＲＧＢ信号による各映像信号を記憶する右画像用フレームメモリ１１２Ｒ及び左画像用フレームメモリ１１２Ｌと、この各フレームメモリ１１２Ｒと１１２Ｌからそれぞれ出力される、例えばＲＧＢ信号による映像信号を入力して、右画像および左画像を表示する右画像用モニタ１３０Ｒ及び左画像用モニタ１３０Ｌとを有する。また、各フレームメモリ１１２Ｒおよび１１２Ｌに記憶された画像を用いて、立体計測演算を行うホストコンピュータ１２０と、このホストコンピュータ１２０に接続された外部記憶１４０と、ホストコンピュータ１２０に接続されてモニタ１３０Ｒおよび１３０Ｌに表示されるカーソルの操作や、計測対象点の指定及び計測対象領域の設定等を行うマウス１４５とを備えている。
【００１８】
両ビデオプロセッサ１１０Ｒ，１１０Ｌは、互いに同期した信号処理を行うように設定されている。又、本実施の形態では、各フレームメモリ１１２Ｒと１１２Ｌは、それぞれＲ，Ｇ，Ｂ用の各メモリを複数組備えており、１組には画像が記憶され、他の組にはカーソルが書き込まれる。各組に書き込まれた信号を足し合わせることにより、モニタ１３０Ｒと１３０Ｌのそれぞれの画面上に画像とカーソルとが表示される。
【００１９】
次に、図４に示すように、ホストコンピュータ１２０は、ＣＰＵ１２１、右フレームメモリインターフェース１２２Ｒ、左フレームメモリインターフェース１２２Ｌ、メインメモリ１２３、外部記憶インターフェース１２４、マウスインターフェース１２５、キーボード１２６及びＣＲＴ１２７を備え、これらは、バスによって互いに接続されている。
【００２０】
又、右フレームメモリインターフェース１２２Ｒおよび左フレームメモリインターフェース１２２Ｌは、それぞれ右画像用フレームメモリ１１２Ｒ及び左画像用フレームメモリ１１２Ｌに接続され、これらとの間で画像データの送受を行う。さらに、各インターフェース１２２Ｒおよび１２２Ｌを介して、対応するフレームメモリ１１２Ｒおよび１１２Ｌに対してカーソル制御が行われるようになっている。又、外部記憶インターフェース１２４は、外部記憶１４０に接続され、画像データ及び計測対象点位置情報の送受を行うように設定されている。又、マウスインターフェース１２５は、マウス１４５に接続される。
【００２１】
図５に示すように、外部記憶１４０は、計測対象点の位置情報を記憶してホストコンピュータ１２０と各種計測データの送受を行う計測データ情報用ファイル１８１と、ホストコンピュータ１２０と画像データの送受を行うステレオ画像マネージャー１８２を有する。さらに、このステレオ画像マネージャー１８２に連結され、左画像データを記憶する左用画像ファイル１８３Ｌと、同様にステレオ画像マネージャー１８２に連結され、右画像データを記憶する右用画像ファイル１８３Ｒとを備えている。
【００２２】
本実施の形態では、内視鏡１０１で得たステレオ画像は左右２枚１組で取り扱われる。すなわち、同期の取られた２つの画像フレームデータが、一つの組のデータとして記憶装置にストアされている。ホストコンピュータ１２０から２枚１組で送られて来たステレオ画像は、ステレオ画像マネージャー１８２によって、左用と右用の各画像ファイル１８３Ｌと１８３Ｒに振り分けられて、記録される。又、ステレオ画像マネージャー１８２によって、各画像ファイル１８３Ｌ，１８３Ｒに記録された画像は、２枚１組で呼び出される。
【００２３】
又、図２に示すように、内視鏡１０１は、細長の挿入部１０２を備え、この挿入部１０２の先端部に、複数の、例えば２つの観察窓と照明窓とが設けられている。各観察窓の内側には、互いに視差を有する位置に、右眼用対物レンズ系１０３Ｒと左眼用対物レンズ系１０３Ｌが設けられている。各対物レンズ系１０３Ｒと１０３Ｌの結像位置には、それぞれ、ＣＣＤ等の固体撮像素子を用いた左と右用の撮像手段１０４Ｌと１０４Ｒが配設されている。
【００２４】
又、照明窓の内側には、配光レンズ１０５が設けられ、この配光レンズ１０５の後端には、ファイババンドルよりなるライトガイド１０６が連設されている。このライトガイド１０６は、挿入部１０２内に挿通され、入射端部には図示しない光源装置が接続される。
【００２５】
この光源装置から出力される照明光が、ライトガイド１０６及び配光レンズ１０５を介して被写体に照射され、この被写体からの反射光が、対物レンズ系１０３Ｒと１０３Ｌによって、それぞれ右画像および左画像として、撮像手段１０４Ｒと１０４Ｌに結像される。
【００２６】
次に、計測用内視鏡装置の機能ブロック構成を図１を用いて説明する。
電荷結合装置（ＣＣＤ：ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）を用いた撮像手段１０４Ｒと１０４Ｌによって撮像された被写体像の各画像信号は、それぞれ、ビデオプロセッサ１１０Ｒと１１０Ｌに入力され、映像信号処理が施される。ビデオプロセッサ１１０Ｒと１１０Ｌから出力される各画像信号は、それぞれＡ／Ｄ変換器１１１Ｒと１１１Ｌによりデジタル信号に変換された後、画像メモリすなわち、各フレームメモリ１１２Ｒと１１２Ｌのうちの画像用のメモリに記憶される。
【００２７】
そして、右画像用フレームメモリ１１２Ｒと左画像用１１２Ｌから読み出された画像信号は、それぞれ、画像処理手段２００で所定の画像処理がなされた後、表示制御手段２０１を経て、Ｄ／Ａ変換器１５８Ｒと１５８Ｌに出力される。Ｄ／Ａ変換器１５８Ｒと１５８Ｌでアナログ信号に変換された後、右画像用モニタ１３０Ｒと左画像用１３０Ｌにそれぞれ入力される。そして、この両モニタ１３０Ｒと１３０Ｌに、それぞれ、右画像と左画像が表示される。
【００２８】
一方、カーソルの表示は、カーソル表示手段１５１によってまず処理され、表示制御手段２０１により表示制御される。カーソルは、両モニタ１３０Ｒ、１３０Ｌのいずれか一方の画面に重畳して表示される。
【００２９】
カーソルにより計測点が指定されると、画像処理手段２００はその指定された点データに基づき、３次元位置の導出、目盛の作成及び表示などの処理を行い、表示制御手段２０１を通して、処理結果がモニタに表示される。
【００３０】
又、表示制御手段２０１は、カーソル表示の管理および制御のほか、マルチウィンドウ表示に必要な処理も行う。画像処理手段２００及び表示制御手段２０１における処理及び制御機能は、ホストコンピュータ１２０を動作させることにより達成される。この場合、通常、表示制御手段２０１の機能はオペレーティングシステムが有している。
【００３１】
尚、図３および図４に示す右画像用と左画像用のフレームメモリ１１２Ｒおよび１１２Ｌは、本実施の形態ではホストコンピュータ１２０の外部に設けているが、ホストコンピュータ１２０にＰＣＩボードタイプのフレームメモリを利用して内蔵するようにしてもよい。又、図３においてステレオ画像の表示は、右画像用１３０Ｒと左画像用モニタ１３０Ｌに対して行っているが、パソコンのＣＲＴ１２７上で両者を表示するようにしても良い。
【００３２】
次に、図７により、このように構成された計測用内視鏡装置において、所定の画素の３次元座標位置に基いて、対象の大きさを把握するための目盛を描画する過程を説明する。
【００３３】
以下の説明では左画像の画素に対して、右画像の対応点を求めるものとして説明を行うが、逆に右画像に対して、左画像において対応点を求めても問題ない。
【００３４】
なお、対象物体の対象座標系は、図６に示すように、内視鏡挿入部１０２の先端における２つの対物レンズ１０３Ｒと１０３Ｌの中心を通る直線方向をＸ´軸とする。左側の対物レンズの中心を原点ＯLとし、左側対物レンズの光軸をＺ´軸とし、さらにＹ´軸は、Ｘ´軸とＺ´軸のそれぞれに直角である。対象座標系は、このようなＸ´Ｙ´Ｚ´座標系により表されるものとする。
【００３５】
まず、オペレータにより、左画像用モニタ上に表示される画像中の点Ｐｉ（ｉ＝０，１）が指定される。点Ｐｉは、２次元平面上のある画素に対応する。以下、その点を、画素Ｐｉとし、その座標をＰｉ（ｘｉ，ｙｉ）とする。
【００３６】
まず、ステップ１１（以下、Ｓ１１と略す）において、左画像上で指定された所定の画素の右側画像における対応点を求める。左画像で指定された２画素の座標をＰi（ｘi，ｙi）（ｉ＝０，１）とする。右画像においてそのＰiの対応点を求め、３次元座標位置を決定する（ステップＳ１１）。対応点の検出はエピポーララインを用いた公知のテンプレートマッチングにより行えばよい。また、３次元位置は三角測量の原理により求める。その具体的な求め方は、特開平６−３３９４５４号公報に開示されている。
【００３７】
Ｐiの３次元位置をそれぞれＰ´i（ｉ＝０，１）とし、その座標をＰ´i（ｘ´i，ｙ´i，ｚ´i）とする。なお、このＰiを自動選択する場合の方法については後述する。
【００３８】
次に、この２点間の３次元空間におけるＺ´軸方向の距離を、次式により予め決められた閾値Ｔcと比較する（Ｓ１２）。その距離（Ｚ´軸方向の座標の差の絶対値）が閾値Ｔcより小さい場合は、Ｓ１３の処理が実行される。そうでない場合はＳ１５の処理が実行される。
｜ｚ´₀−ｚ´₁｜<Ｔc
【００３９】
なお、距離の絶対値の差がＴｃより小さい場合は、対象が光軸に垂直もしくは、ほぼ垂直であることを厳密に判断するために、以下の処理を追加してもよい。つまり、Ｐ₀、Ｐ₁に加え、Ｐ´₀、Ｐ´₁を通過する直線上に存在しないＰ₂を求める。Ｐ₂の３次元位置をＰ´₂（ｘ´₂，ｙ´₂，ｚ´₂）としたとき次式を満たす場合のみＳ１３を実行する。そうでない場合はＳ１５を実行する。Ｐ₂の選択は、例えば、後述する図１０のＳ２１からＳ２３の処理を実行してソートされた複数の画素の内、Ｐ´₀、Ｐ´₁を通過する直線上に存在しないものをリストの先頭から１つ選ぶことにより行う。
｜ｚ´₀−ｚ´₂｜<Ｔc
｜ｚ´₁−ｚ´₂｜<Ｔc
【００４０】
Ｐ´₀とＰ´₁のＺ´軸上の差すなわち距離が、予め定めた閾値Ｔcよりも小さい場合（Ｚ´軸上の距離の差が短い場合）、撮像対象の表面が光軸（Ｚ´軸）に対して垂直、もしくはそれに近いと考えられる。従って、撮像対象が光軸に対して垂直またはほぼ垂直と考えて、水平方向および垂直方向の目盛のサイズを計算する。ここでは、次の式から、水平方向および垂直方向の１画素あたりの距離Ｄh、Ｄvを求める（Ｓ１３）。
【００４１】
【式１】

ここで、θは、θ＝tan^-1｛（｜ｙ₀−ｙ₁｜）｝／（｜ｘ₀−ｘ₁｜）｝である。
【００４２】
そして、Ｓ１４において、水平方向、垂直方向に対してそれぞれ、あらかじめ与えたＡ［ｍｍ］、Ｂ［ｍｍ］ごとに目盛を画像上に描画する。このとき、目盛に対応した画素数を算出し、その画素数分を、目盛の単位長とする。図８では、垂直方向はＡ／Ｄv、水平方向はＢ／Ｄhの画素分の目盛を描画し、１目盛の大きさを示す目盛間隔を画像内もしくは、適当な位置に表示する。
【００４３】
また、表示する目盛数はあらかじめ与えておくか、画像サイズから決定しても良い。図８では、Ａ［ｍｍ］とＢ［ｍｍ］に対応した目盛が、それぞれ３つ分表示されている。
【００４４】
このように、被写体表面が３次元位置においてほぼＺ´軸に垂直あるいは垂直に近い場合、２点間のＺ´軸方向での距離の差はＸ´軸上およびＹ´軸上での影響は少ないとして、目盛を描画するときは、互いに直角な水平（Ｘ軸）方向および垂直（Ｙ軸）方向の２つの目盛表示を行う。
【００４５】
なお、図８には、目盛画像は、指定された２点Ｐ₀とＰ₁の画素位置と共に、左画像あるいは右画像の画面上に重畳表示される。図８では、水平方向の目盛の一部の上に、Ａ［ｍｍ］と、垂直方向の目盛の一部の左側に、Ｂ［ｍｍ］と表示されている。
【００４６】
次に、Ｓ１２において、撮像対象が光軸すなわちＺ´軸に対して垂直あるいはほぼ垂直ではないと判断されたときは、３次元空間における２点Ｐ´₀とＰ´₁間の距離と、画像上での２点Ｐ₀とＰ₁間の距離に基づいて、２点間の画像上の目盛間隔を求める（Ｓ１５）。ここでは、Ｐi間の１画素あたりの距離Ｄ［ｍｍ］を求める。
【００４７】
【式２】

そして、Ｓ１６において、目盛を描画する。このとき、目盛に対応した画素数を算出し、その画素数分を、目盛の単位長とする。図９に示すように、目盛があらかじめ与えたＣ［ｍｍ］間隔になるように、Ｃ／Ｄの画素分ごとに目盛をＰ₀、Ｐ₁間に描画する（図９）。また、目盛間隔を画像内、または適当な位置に表示する。図９では、Ｐ₀Ｐ₁を結んだ線分上に目盛が表示され、その目盛の一部に、Ｃ［ｍｍ］と表示されている。なお、Ｐ₀Ｐ₁を結んだ線分上でなくても、この線分にほぼ平行な線分に、目盛を表示してもよい。
【００４８】
このように、指定された画素の３次元空間上の距離に応じて、目盛表示を行うようにしたので、対象の距離や長さなどが把握し易い。
【００４９】
以上の説明では、Ｐi（ｘi，ｙi）をユーザが指定していたが、次に、Ｐiを自動決定する方法を、図１０により説明する。
【００５０】
Ｐiは、予め定めた画像領域の範囲内から選定される。画像の歪曲収差が補正されているのであれば、どこの範囲でもよい。しかし、その補正がされていない場合は、歪曲収差歪みの影響の少ない画像中心付近のみとする。以下、その範囲を、画像中の縦がＮ画素で、横がＭ画素からなる矩形の領域（以下、Ｍ×Ｎ領域という）とする。なお、この範囲は、矩形で規定されなくてもよい。
【００５１】
まず、撮像手段からの画像信号データに基いて、Ｍ×Ｎ領域内の各画素のエッジ強度を求める（Ｓ２１）。エッジ強度は公知の方法により得ることができる。
【００５２】
次に、Ｍ×Ｎ領域内の全画素データのリストを作り、エッジ強度が大きい順にその画素データをソートする（Ｓ２２）。
【００５３】
そして、ハレーション部分を選択対象から外すため、各画素の近傍（例えば５×５）で求めた画素値（２５６階調の値）の平均値が、予め定めた閾値Ｔhより大きい画素のデータを、Ｓ２２でソートされたリストから除去する（Ｓ２３）。
エッジ強度の大きい画素の中でも、その画素周辺の画素値の平均値が予め定めた値よりも小さいものが選択されることになる。
【００５４】
最後に、２つの画素をソートされた画素の先頭から、すなわち、エッジ強度の大きい方から選択し（Ｓ２４）、それぞれをＰi（ｉ＝０，１）とする。この選択された２点を用いて、図７のフローチャートに従った処理が実行される。これにより、ユーザからのアクションを与えなくとも、図８、図９に示すような目盛を描画することができる。
【００５５】
以上の自動決定方法によれば、ユーザによる距離計測点の指定は必要なくなり、さらに目盛表示も上述したような方法により、より正確な目盛を表示することができる。
【００５６】
［付記］
以上説明した実施の形態によれば、次の付記項に示した内容が特徴事項と言える。
【００５７】
［付記項１］
複数の撮像手段で得られた撮像信号から、所定の画素の対応点を検出する対応点検出手段と、
前記対応点検出手段で得られた前記対応点の情報に基づき、前記対応点の３次元座標を算出する３次元座標算出手段と、
算出された前記３次元座標の情報に基づき、前記所定の画素間の距離を算出する距離算出手段と、
算出された前記距離の情報に基づき画素間の距離に対応する目盛を表示する表示手段と、
を具備したことを特徴とする目盛表示装置。
【００５８】
［付記項２］
複数の撮像手段で得られた撮像信号から、所定の画素の対応点を検出し、
検出された前記対応点の情報に基づき、前記対応点の３次元座標を算出し、
算出された前記３次元座標の情報に基づき、前記所定の画素間の距離を算出し、
算出された前記距離の情報に基づき画素間の距離と対応する目盛を表示することを特徴とする目盛表示方法。
【００５９】
［付記項３］
前記目盛表示手段は、前記対応点について、撮像平面に対して垂直方向における距離と予め定めた閾値とを比較し、その比較結果に応じて、目盛表示の方法を変更することを特徴とする付記項１記載の目盛表示装置。
【００６０】
［付記項４］
前記目盛表示手段は、前記比較結果において、前記対応点の、撮像平面に対して垂直方向における距離が、予め定めた閾値よりも短いときは、互いに直角な２軸上に、各軸に対応した目盛をそれぞれ表示することを特徴とする付記項３記載の目盛表示装置。
【００６１】
［付記項５］
前記目盛表示手段は、前記比較結果において、前記対応点の、撮像平面に対して垂直方向における距離が、予め定めた閾値よりも長いときは、前記画素を結ぶ線分上、またはその線分にほぼ平行な線分上に、目盛を表示することを特徴とする付記項３記載の目盛表示装置。
【００６２】
以上のような構成により、対象物に応じて、より正確な目盛を表示することができる。
【００６３】
［付記項６］
前記画素は、前記撮像手段で得られた画像信号中の予め定めた領域内の画像信号データに基いて決定された画素であることを特徴とする付記項１記載の目盛表示装置。
【００６４】
このような構成により、ユーザのアクションなしで、画像上の点の指定を行うことができる。
【００６５】
［付記項７］
前記画素は、前記撮像手段で得られた画像信号中の予め定めた領域内における、画像信号データのエッジ強度の大きい画素の中から選択されることを特徴とする付記項６記載の目盛表示装置。
【００６６】
［付記項８］
前記画素は、前記撮像手段で得られた画像信号中の予め定めた領域内におけるエッジ強度の大きい画素の中でも、その画素周辺の画素値の平均値が予め定めた値よりも小さいものから選択されることを特徴とする付記項７記載の目盛表示装置。
【００６７】
以上のような構成により、よりよい画像上の点の選択をすることができる。
【００６８】
【発明の効果】
以上のように、本発明によれば、所定の画素の３次元座標の情報に応じて目盛が作成され、高速に描画されるので、ユーザは、対象の大きさを、より正確に把握することができる。
【図面の簡単な説明】
【図１】実施の形態に関わる計測用内視鏡装置のブロック図
【図２】内視鏡の挿入部の先端部分の構造を説明する図
【図３】計測用内視鏡装置の機能構成を示すブロック図
【図４】ホストコンピュータの構成を説明する図
【図５】外部記憶装置の構成を示すブロック図
【図６】内視鏡先端部における３次元座標系を説明するための図
【図７】目盛を描画する流れを示すフローチャート
【図８】水平、垂直方向への目盛描画状態を示す図
【図９】２点間への目盛描画状態を示す図
【図１０】画像から画素を自動選択する流れを示すフローチャート
【符号の説明】
１０１・・・内視鏡
１０２・・・挿入部
１０３Ｒ，１０３Ｌ・・・レンズ
１０４Ｌ・・・左撮像手段
１０４Ｒ・・・右撮像手段
１０５・・・配光レンズ
１０６・・・ライトガイド
１２０・・・ホストコンピュータ
１３０Ｌ・・・左画像用モニタ
１３０Ｒ・・・右画像用モニタ[0001]
BACKGROUND OF THE INVENTION
The present invention displays a scale for an imaged subject. Endoscope for measurement Equipment and Scale display Regarding the method.
[0002]
[Prior art]
In recent years, endoscopes have been widely used in the medical field, the industrial field, and the like. In an observation image obtained by a normal endoscope, the object is generally flat and it is difficult to recognize unevenness. Therefore, recently, two left and right image pickup means are provided at the distal end of the endoscope, and a target three-dimensional image is estimated by a stereo method from left and right images picked up by the two lines of image pickup means. There is known a technique for displaying the image using a profile or a wire frame.
[0003]
For example, Japanese Patent Laid-Open No. 6-339454 discloses a technique for calculating a distance to a target and a distance between a plurality of target points based on the principle of triangulation using a stereo endoscope.
[0004]
In particular, as shown in FIG. 12 of Japanese Patent Laid-Open No. 6-339454, a scale that can objectively recognize the length, size, etc. of an object based on the calculated three-dimensional coordinate values. The marker is displayed according to the shape of the object.
[0005]
[Problems to be solved by the invention]
However, according to the method disclosed therein, after obtaining the three-dimensional coordinates of the designated target point, the points having the same X coordinate as that point are obtained at regular intervals in the horizontal direction, and similarly, the Y coordinate Are obtained at regular intervals in the vertical direction. The obtained point group becomes a scale with a constant interval, and is superimposed on the image as a curved line with the scale.
[0006]
Therefore, it is necessary to search the image for pixels having the same X coordinate and Y coordinate as the selected pixel for the superimposed display, which requires a lot of processing and takes time to display the scale. there were.
[0007]
As another scale display method, for example, when a scale is created assuming that the object can be simply approximated by a vertical plane perpendicular to the scope optical axis, depending on the surface shape of the object, the distance displayed on the image There is a problem that the distance of the object in the three-dimensional space may not match.
[0008]
[Means for Solving the Problems]
Therefore, the present invention displays the scale faster and more accurately according to the imaged subject. Endoscope for measurement Equipment and Scale display It aims to provide a method.
[0009]
The measuring endoscope apparatus of the present invention is provided at the distal end portion of the insertion portion of the endoscope. An object image formed by the objective optical system is provided at the tip. A display unit for displaying a stereo image obtained by imaging by the imaging unit, and the other of the stereo images based on two designated points on the subject designated in one of the stereo images displayed on the display unit 3D coordinate calculation for calculating two coordinates in a three-dimensional space of the two designated points based on the two designated points and the two corresponding points And a scale corresponding to the distance of the two coordinates in the three-dimensional space on at least one of the stereo images, When the distance between the two coordinates in the optical axis direction of the objective optical system is smaller than a predetermined threshold, two scale indications in the horizontal direction and the vertical direction perpendicular to each other on the plane orthogonal to the optical axis direction are used. When the distance between the two coordinates in the optical axis direction of the objective optical system is equal to or greater than the predetermined threshold, Image processing means for displaying on a line segment connecting the two specified points or on a line segment parallel to the line segment.
[0010]
The scale display method of the present invention is provided at the distal end portion of the insertion portion of the endoscope. An object image formed by the objective optical system is provided at the tip. Based on two designated points on the subject designated in one of the stereo images obtained by imaging by the imaging unit, two corresponding points in the other of the stereo images are detected, and the two designated points and the two designated points are detected. Based on the two corresponding points, two coordinates of the two specified points in the three-dimensional space are calculated, a distance between the two coordinates in the three-dimensional space is calculated, and the display means displays the coordinates of the two coordinates. A scale corresponding to the distance in the three-dimensional space is on at least one of the stereo images, When the distance between the two coordinates in the optical axis direction of the objective optical system is smaller than a predetermined threshold, two scale indications in the horizontal direction and the vertical direction perpendicular to each other on the plane orthogonal to the optical axis direction are used. When the distance between the two coordinates in the optical axis direction of the objective optical system is equal to or greater than the predetermined threshold, It is displayed on a line segment connecting the two specified points or on a line segment parallel to the line segment.
[0011]
With such a configuration, the scale display of the subject can be performed more accurately.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. In the following description, the measurement endoscope to be applied will be described using a stereo endoscope having two objective lenses at the tip.
[0013]
In the embodiment of the present invention, for example, the pixel R is R (x, y), and x and y represent the position of the pixel on the X axis and the Y axis on the image. Further, for example, the three-dimensional position coordinates of the P point are P ′ (x ′, y ′, z ′), and x ′, y ′, z ′ are the X ′ axis, the Y ′ axis, and the Z in the three-dimensional space. It shall represent the coordinate position on the 'axis. The number of gradations of the image will be described as 256 unless otherwise specified.
[0014]
Further, when there is distortion aberration distortion in the image, each processing is basically performed on the image after distortion correction. Distortion correction is performed, for example, as disclosed in JP-A-6-339454. That is, it is possible to realize a distortion correction process by determining a correction value for each pixel in advance and correcting an actual captured image. Specifically, a specific processing technique is disclosed in US Pat. No. 4,895,431. This is not the case when there is no distortion aberration distortion in the image. If there is distortion distortion in the image, each processing is basically performed on the image after distortion correction. If the correction is not made, the influence of distortion aberration is small. It is desirable to select these pixels.
[0015]
The embodiment will be described with reference to FIGS.
[0016]
FIG. 1 is a block diagram of a measuring endoscope apparatus according to the first embodiment. FIG. 2 is a diagram illustrating the structure of the distal end portion of the insertion portion of the endoscope. FIG. 3 is a block diagram illustrating a functional configuration of the measurement endoscope apparatus. FIG. 4 is a diagram illustrating the configuration of the host computer. FIG. 5 is a block diagram showing the configuration of the external storage device. FIG. 6 is a diagram for explaining the three-dimensional coordinates at the distal end portion of the endoscope. FIG. 7 is a flowchart showing a flow of processing for drawing a scale. FIG. 8 is a screen example showing a drawing state of the scale in the horizontal and vertical directions. FIG. 9 is an example of a screen showing a drawing state of a scale between two points. FIG. 10 is a flowchart showing a flow of processing for automatically selecting pixels from an image.
[0017]
First, as shown in FIG. 3, a measurement endoscope apparatus employed in the present embodiment includes a stereo video image end scope (hereinafter simply referred to as “endoscope”) 101 and the endoscope 101. A right image video processor 110R and a left image video processor 110L that perform signal processing on the image signals of the right image and the left image picked up by the above. Further, for example, a right image frame memory 112R and a left image frame memory 112L for storing respective video signals by RGB signals output from the

video processors

110R and 110L, respectively, and outputs from the

frame memories

112R and 112L, respectively. For example, it has a right image monitor 130 </ b> R and a left image monitor 130 </ b> L for inputting a video signal based on RGB signals and displaying a right image and a left image. In addition, a host computer 120 that performs stereoscopic measurement using the images stored in the

frame memories

112R and 112L, an external storage 140 connected to the host computer 120, and a monitor 130R connected to the host computer 120 and A mouse 145 for operating a cursor displayed on 130L, specifying a measurement target point, setting a measurement target region, and the like is provided.
[0018]
Both

video processors

110R and 110L are set to perform signal processing synchronized with each other. In this embodiment, each of the

frame memories

112R and 112L includes a plurality of sets of R, G, and B memories, and an image is stored in one set and a cursor is written in the other set. It is. By adding the signals written in each set, an image and a cursor are displayed on the screens of the

monitors

130R and 130L.
[0019]
Next, as shown in FIG. 4, the host computer 120 includes a CPU 121, a right frame memory interface 122R, a left frame memory interface 122L, a main memory 123, an external storage interface 124, a mouse interface 125, a keyboard 126, and a CRT 127. Are connected to each other by a bus.
[0020]
The right frame memory interface 122R and the left frame memory interface 122L are connected to the right image frame memory 112R and the left image frame memory 112L, respectively, and transmit / receive image data to / from them. Furthermore, cursor control is performed on the

corresponding frame memories

112R and 112L via the interfaces 122R and 122L. The external storage interface 124 is connected to the external storage 140 and is set to transmit and receive image data and measurement target point position information. The mouse interface 125 is connected to the mouse 145.
[0021]
As shown in FIG. 5, the external storage 140 stores position information of measurement target points and transmits / receives image data to / from the host computer 120 and a measurement data information file 181 for transmitting / receiving various measurement data to / from the host computer 120. A stereo image manager 182 is provided. Furthermore, a left image file 183L connected to the stereo image manager 182 and storing left image data, and a right image file 183R connected to the stereo image manager 182 and storing right image data are provided.
[0022]
In the present embodiment, a stereo image obtained by the endoscope 101 is handled as a pair of left and right. That is, two synchronized image frame data are stored in the storage device as one set of data. Stereo images sent in pairs from the host computer 120 are distributed to the left and right image files 183L and 183R by the stereo image manager 182 and recorded. The stereo image manager 182 calls up the images recorded in the image files 183L and 183R in pairs.
[0023]
As shown in FIG. 2, the endoscope 101 includes an elongated insertion portion 102, and a plurality of, for example, two observation windows and an illumination window are provided at the distal end portion of the insertion portion 102. Inside each observation window, a right-eye objective lens system 103R and a left-eye objective lens system 103L are provided at positions having parallax with each other. At the imaging positions of the

objective lens systems

103R and 103L, left and right imaging means 104L and 104R using a solid-state imaging device such as a CCD are disposed, respectively.
[0024]
A light distribution lens 105 is provided inside the illumination window, and a light guide 106 made of a fiber bundle is connected to the rear end of the light distribution lens 105. The light guide 106 is inserted into the insertion portion 102, and a light source device (not shown) is connected to the incident end portion.
[0025]
Illumination light output from the light source device is applied to the subject via the light guide 106 and the light distribution lens 105, and reflected light from the subject is converted into a right image and a left image by the

objective lens systems

103R and 103L, respectively. The images are formed on the imaging means 104R and 104L.
[0026]
Next, a functional block configuration of the measurement endoscope apparatus will be described with reference to FIG.
The image signals of the subject images captured by the imaging means 104R and 104L using a charge coupled device (CCD) are input to the

video processors

110R and 110L, respectively, and are subjected to video signal processing. The image signals output from the

video processors

110R and 110L are converted into digital signals by the A /

D converters

111R and 111L, respectively, and then stored in an image memory, that is, an image memory of the

frame memories

112R and 112L. Remembered.
[0027]
The image signals read from the right image frame memory 112R and the left image 112L are each subjected to predetermined image processing by the image processing means 200, and then passed through the display control means 201, and then the D / A converter. It is output to 158R and 158L. After being converted into analog signals by the D /

A converters

158R and 158L, they are input to the right image monitor 130R and the left image 130L, respectively. Then, the right image and the left image are displayed on both

monitors

130R and 130L, respectively.
[0028]
On the other hand, the display of the cursor is first processed by the cursor display means 151, and the display is controlled by the display control means 201. The cursor is displayed superimposed on one of the screens of both

monitors

130R and 130L.
[0029]
When a measurement point is designated by the cursor, the image processing means 200 performs processing such as derivation of a three-dimensional position, creation of a scale, and display based on the designated point data, and the processing result is obtained through the display control means 201. Displayed on the monitor.
[0030]
The display control unit 201 also performs processing necessary for multi-window display in addition to management and control of cursor display. Processing and control functions in the image processing unit 200 and the display control unit 201 are achieved by operating the host computer 120. In this case, the operating system usually has the function of the display control unit 201.
[0031]
The right image and left

image frame memories

112R and 112L shown in FIG. 3 and FIG. 4 are provided outside the host computer 120 in this embodiment. However, the host computer 120 includes a PCI board type frame memory. You may make it incorporate using. In FIG. 3, the stereo image is displayed on the right image 130R and the left image monitor 130L, but both may be displayed on the CRT 127 of the personal computer.
[0032]
Next, a process of drawing a scale for grasping the size of an object based on the three-dimensional coordinate position of a predetermined pixel in the measurement endoscope apparatus configured as described above will be described with reference to FIG. .
[0033]
In the following description, the description will be made assuming that the corresponding point of the right image is obtained for the pixel of the left image, but there is no problem if the corresponding point is obtained for the right image.
[0034]
In the target coordinate system of the target object, as shown in FIG. 6, the linear direction passing through the centers of the two

objective lenses

103R and 103L at the distal end of the endoscope insertion unit 102 is the X ′ axis. The center of the left objective lens is the origin OL, the optical axis of the left objective lens is the Z ′ axis, and the Y ′ axis is perpendicular to the X ′ axis and the Z ′ axis. The target coordinate system is represented by such an X′Y′Z ′ coordinate system.
[0035]
First, the operator designates a point Pi (i = 0, 1) in the image displayed on the left image monitor. The point Pi corresponds to a certain pixel on the two-dimensional plane. Hereinafter, the point is referred to as a pixel Pi, and the coordinates thereof are referred to as Pi (xi, yi).
[0036]
First, in step 11 (hereinafter abbreviated as S11), corresponding points in the right image of a predetermined pixel designated on the left image are obtained. Let the coordinates of the two pixels specified in the left image be Pi (xi, yi) (i = 0, 1). The corresponding point of Pi is obtained in the right image, and the three-dimensional coordinate position is determined (step S11). Corresponding points may be detected by known template matching using epipolar lines. The three-dimensional position is obtained by the principle of triangulation. A specific method for obtaining this is disclosed in JP-A-6-339454.
[0037]
The three-dimensional positions of Pi are P′i (i = 0, 1), respectively, and the coordinates are P′i (x′i, y′i, z′i). A method for automatically selecting Pi will be described later.
[0038]
Next, the distance in the Z′-axis direction in the three-dimensional space between the two points is compared with a threshold value Tc determined in advance by the following equation (S12). If the distance (absolute value of the difference in coordinates in the Z′-axis direction) is smaller than the threshold value Tc, the process of S13 is executed. Otherwise, the process of S15 is executed.
| Z ' ₀ −z ′ ₁ ｜ <Tc
[0039]
When the difference in absolute value of the distance is smaller than Tc, the following processing may be added to strictly determine that the target is perpendicular or nearly perpendicular to the optical axis. That is, P ₀ , P ₁ In addition to P ' ₀ , P ' ₁ P not on a straight line passing through ₂ Ask for. P ₂ P 'is the three-dimensional position of ₂ (X ' ₂ , Y ' ₂ , Z ' ₂ ), S13 is executed only when the following equation is satisfied. Otherwise, S15 is executed. P ₂ Is selected, for example, by performing the processing of S21 to S23 of FIG. ₀ , P ' ₁ This is done by selecting one from the top of the list that does not exist on the line passing through
| Z ' ₀ −z ′ ₂ ｜ <Tc
| Z ' ₁ −z ′ ₂ ｜ <Tc
[0040]
P ' ₀ And P ' ₁ When the difference on the Z′-axis, that is, the distance is smaller than a predetermined threshold Tc (when the distance difference on the Z′-axis is short), the surface of the imaging target is perpendicular to the optical axis (Z′-axis). It is thought that it is close to it. Therefore, the horizontal and vertical scale sizes are calculated assuming that the imaging target is perpendicular or nearly perpendicular to the optical axis. Here, the distances Dh and Dv per pixel in the horizontal and vertical directions are obtained from the following equations (S13).
[0041]
[Formula 1]

Where θ is θ = tan ^-1 {(| Y ₀ -Y ₁ |)} / (| X ₀ -X ₁ |)}.
[0042]
In S14, a scale is drawn on the image for each A [mm] and B [mm] given in advance in the horizontal direction and the vertical direction, respectively. At this time, the number of pixels corresponding to the scale is calculated, and the number of pixels is set as the unit length of the scale. In FIG. 8, the scale for pixels of A / Dv in the vertical direction and B / Dh in the horizontal direction is drawn, and the scale interval indicating the size of one scale is displayed in the image or at an appropriate position.
[0043]
The number of scales to be displayed may be given in advance or determined from the image size. In FIG. 8, three scales corresponding to A [mm] and B [mm] are displayed.
[0044]
Thus, when the surface of the subject is almost perpendicular or nearly perpendicular to the Z ′ axis at the three-dimensional position, the difference in the distance between the two points in the Z ′ axis direction is not affected by the X ′ axis and the Y ′ axis. When the scale is drawn, two scales are displayed in the horizontal (X-axis) direction and the vertical (Y-axis) direction perpendicular to each other.
[0045]
In FIG. 8, the scale image is the designated two points P. ₀ And P ₁ Are superimposed and displayed on the screen of the left image or the right image. In FIG. 8, A [mm] is displayed on a part of the horizontal scale, and B [mm] is displayed on the left side of a part of the vertical scale.
[0046]
Next, when it is determined in S12 that the object to be imaged is not perpendicular or substantially perpendicular to the optical axis, that is, the Z ′ axis, two points P ′ in the three-dimensional space ₀ And P ' ₁ Distance between the two points P on the image ₀ And P ₁ Based on the distance between them, the scale interval on the image between the two points is obtained (S15). Here, a distance D [mm] per pixel between Pi is obtained.
[0047]
[Formula 2]

In S16, a scale is drawn. At this time, the number of pixels corresponding to the scale is calculated, and the number of pixels is set as the unit length of the scale. As shown in FIG. 9, the scale is set to P for each C / D pixel so that the scale has a predetermined C [mm] interval. ₀ , P ₁ Drawing in between (FIG. 9). The scale interval is displayed in the image or at an appropriate position. In FIG. ₀ P ₁ A scale is displayed on the line segment connecting the two, and C [mm] is displayed on a part of the scale. P ₀ P ₁ A scale may be displayed on a line segment that is substantially parallel to the line segment, even if it is not on the line segment that connects.
[0048]
As described above, since the scale display is performed according to the distance of the designated pixel in the three-dimensional space, it is easy to grasp the distance and length of the target.
[0049]
In the above description, Pi (xi, yi) is specified by the user. Next, a method for automatically determining Pi will be described with reference to FIG.
[0050]
Pi is selected from the range of a predetermined image area. Any range may be used as long as the distortion of the image is corrected. However, when the correction is not performed, only the vicinity of the center of the image with little influence of distortion distortion is used. Hereinafter, the range is defined as a rectangular region (hereinafter referred to as an M × N region) in which an image has N pixels in the vertical direction and M pixels in the horizontal direction. This range may not be defined by a rectangle.
[0051]
First, the edge strength of each pixel in the M × N region is obtained based on the image signal data from the imaging means (S21). The edge strength can be obtained by a known method.
[0052]
Next, a list of all pixel data in the M × N region is created, and the pixel data is sorted in descending order of edge strength (S22).
[0053]
Then, in order to remove the halation part from the selection target, pixel data in which the average value of pixel values (256 gradation values) obtained in the vicinity of each pixel (for example, 5 × 5) is larger than a predetermined threshold Th is Remove from the list sorted in S22 (S23).
Among the pixels having high edge strength, those having an average value of pixel values around the pixel smaller than a predetermined value are selected.
[0054]
Finally, two pixels are selected from the top of the sorted pixels, that is, from the one with the larger edge strength (S24), and each is set to Pi (i = 0, 1). The processing according to the flowchart of FIG. 7 is executed using the two selected points. Accordingly, scales as shown in FIGS. 8 and 9 can be drawn without giving an action from the user.
[0055]
According to the above automatic determination method, it is not necessary to specify the distance measurement point by the user, and the scale display can also display a more accurate scale by the method described above.
[0056]
[Appendix]
According to the embodiment described above, the contents shown in the following supplementary items can be said to be characteristic items.
[0057]
[Additional Item 1]
Corresponding point detection means for detecting corresponding points of a predetermined pixel from imaging signals obtained by a plurality of imaging means;
Three-dimensional coordinate calculation means for calculating three-dimensional coordinates of the corresponding points based on the information on the corresponding points obtained by the corresponding point detection means;
Distance calculating means for calculating a distance between the predetermined pixels based on the calculated information of the three-dimensional coordinates;
Display means for displaying a scale corresponding to the distance between the pixels based on the calculated distance information;
A scale display device characterized by comprising:
[0058]
[Additional Item 2]
From the imaging signals obtained by a plurality of imaging means, corresponding points of a predetermined pixel are detected,
Based on the information of the detected corresponding points, the three-dimensional coordinates of the corresponding points are calculated,
Based on the calculated information of the three-dimensional coordinates, a distance between the predetermined pixels is calculated,
A scale display method characterized by displaying a scale corresponding to a distance between pixels based on the calculated distance information.
[0059]
[Additional Item 3]
The scale display means compares the distance in the direction perpendicular to the imaging plane with a predetermined threshold for the corresponding points, and changes the scale display method according to the comparison result. Item 1. The scale display device according to Item 1.
[0060]
[Additional Item 4]
The scale display means corresponds to each axis on two axes perpendicular to each other when the distance of the corresponding point in the direction perpendicular to the imaging plane is shorter than a predetermined threshold in the comparison result. The scale display device according to the additional item 3, wherein the scale is displayed.
[0061]
[Additional Item 5]
In the comparison result, when the distance of the corresponding point in the direction perpendicular to the imaging plane is longer than a predetermined threshold in the comparison result, the scale display means is on or on the line segment connecting the pixels. The scale display device according to the additional item 3, wherein a scale is displayed on a substantially parallel line segment.
[0062]
With the above configuration, a more accurate scale can be displayed according to the object.
[0063]
[Additional Item 6]
The scale display device according to claim 1, wherein the pixel is a pixel determined based on image signal data in a predetermined region in an image signal obtained by the imaging unit.
[0064]
With such a configuration, it is possible to specify a point on the image without any user action.
[0065]
[Additional Item 7]
The scale display device according to claim 6, wherein the pixel is selected from pixels having a large edge strength of the image signal data in a predetermined region in the image signal obtained by the imaging means. .
[0066]
[Appendix 8]
The pixel is selected from among pixels having a large edge strength in a predetermined region in the image signal obtained by the imaging means, and having an average pixel value around the pixel smaller than a predetermined value. The scale display device according to appendix 7, wherein:
[0067]
With the configuration as described above, it is possible to select points on the image better.
[0068]
【The invention's effect】
As described above, according to the present invention, the scale is created according to the information of the three-dimensional coordinates of the predetermined pixel and drawn at high speed, so that the user can grasp the size of the target more accurately. Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram of a measuring endoscope apparatus according to an embodiment.
FIG. 2 is a diagram illustrating the structure of the distal end portion of the insertion portion of the endoscope
FIG. 3 is a block diagram showing a functional configuration of a measurement endoscope apparatus.
FIG. 4 is a diagram illustrating the configuration of a host computer
FIG. 5 is a block diagram showing the configuration of an external storage device
FIG. 6 is a diagram for explaining a three-dimensional coordinate system at the distal end portion of the endoscope;
FIG. 7 is a flowchart showing a flow of drawing a scale.
FIG. 8 is a diagram showing a scale drawing state in the horizontal and vertical directions.
FIG. 9 is a diagram showing a scale drawing state between two points
FIG. 10 is a flowchart showing a flow of automatically selecting pixels from an image.
[Explanation of symbols]
101 ... Endoscope
102 ... Insertion section
103R, 103L ... Lens
104L ... Left imaging means
104R ... Right imaging means
105 ・・・ Light distribution lens
106 ・・・ Light guide
120 ・・・ Host computer
130L ... Left image monitor
130R ... right image monitor

Claims

Display means for displaying a stereo image obtained by imaging a subject image formed by an objective optical system provided at a distal end portion of an insertion portion of an endoscope by an imaging portion provided at the distal end portion ;
Corresponding point detection means for detecting two corresponding points in the other of the stereo images based on two specified points on the subject specified in one of the stereo images displayed on the display means;
Three-dimensional coordinate calculation means for calculating two coordinates in a three-dimensional space of the two specified points based on the two specified points and the two corresponding points;
A scale corresponding to the distance between the two coordinates in the three-dimensional space is displayed on the display means, and the distance between the two coordinates in the optical axis direction of the objective optical system is predetermined on at least one of the stereo images . If it is smaller than the threshold value, it is displayed on the plane orthogonal to the optical axis direction by two scale displays in the horizontal direction and the vertical direction perpendicular to each other, and the distance between the two coordinates in the optical axis direction of the objective optical system is An image processing means for displaying on a line segment connecting the two specified points or on a line segment parallel to the line segment when the predetermined threshold value is exceeded; Mirror device.

2. The measuring endoscope apparatus according to claim 1, wherein the two designated points are designated on one of the stereo images by a cursor displayed superimposed on the stereo image on the display unit. .

The measuring endoscope apparatus according to claim 1 or 2, wherein the two designated points are selected and designated based on an edge intensity of each pixel within a predetermined image area.

A subject specified in one of the stereo images obtained by imaging the subject image formed by the objective optical system provided at the distal end portion of the insertion portion of the endoscope by the imaging portion provided at the distal end portion Based on the above two designated points, two corresponding points in the other of the stereo images are detected,
Based on the two designated points and the two corresponding points, two coordinates on the three-dimensional space of the two designated points are calculated,
Calculating the distance of the two coordinates in the three-dimensional space;
A scale corresponding to the distance of the two coordinates in the three-dimensional space is displayed on the display means, and the distance between the two coordinates in the optical axis direction of the objective optical system is a predetermined threshold value on at least one of the stereo images. Is smaller than that on the plane perpendicular to the optical axis direction, and is displayed by two scales in the horizontal and vertical directions perpendicular to each other, and the distance between the two coordinates in the optical axis direction of the objective optical system is A scale display method characterized by displaying on a line segment connecting the two specified points or on a line segment parallel to the line segment when the predetermined threshold value is exceeded .

5. The scale display method according to claim 4, wherein the two designated points are designated on one of the stereo images by a cursor displayed on the display means so as to be superimposed on the stereo image.

6. The scale display method according to claim 4, wherein the two designated points are selected and designated based on an edge intensity of each pixel within a predetermined image area.