JP5829360B2 - 撮像装置、撮像装置の作動方法 - Google Patents

Description

本発明は、フォーカス位置を変化させながら複数の画像を取得してコントラスト評価値がピーク値を取るようにフォーカス位置を調整する撮像装置、撮像装置の作動方法に関する。

被検体までの距離情報を取得する測距方式としては、被検体に赤外線や超音波などを照射して反射波が戻るまでの時間や照射角度に基づき距離を検出するアクティブ方式と、赤外線などを用いることなく光学系を介して取得した画像を利用して測距を行うパッシブ方式と、が知られている。

これらの内のパッシブ方式の例としては、一眼レフカメラ等で用いられている位相差ＡＦ（ＡＦ：オート・フォーカス）と、ビデオカメラやコンパクトタイプのカメラ等で広く用いられているコントラストＡＦと、が挙げられる。位相差ＡＦは例えばＡＦセンサ等が必要となるために、内視鏡などの小型の撮像装置においては、撮像部で撮像した画像を利用してＡＦを行うことができるコントラストＡＦが比較的広く採用されている。

このコントラストＡＦは、フォーカスレンズを駆動してフォーカス位置を異ならせながら複数の（一般には３つ以上の）フレーム画像を取得し、取得した画像のコントラスト評価値（例えば、画像の高周波成分）が最大（ピーク）となるフォーカス位置を合焦点とするＡＦ方式である。こうしたコントラストＡＦに関する技術は、従来より種々のものが提案されている。

例えば日本国特開２００９−１３３９０３号公報には、被写体の動きが速い場合には、画像のコントラストに基づくピーク位置検出は行わず、合焦予測位置への移動を連続的に実施することにより、合焦精度をある程度確保した状態で被写体の動きにフォーカスレンズの動きを追従させる技術が記載されている。

また、日本国特開２０１２−１０８３１３号公報には、第１の合焦処理部および第２の合焦処理部を備え、第１の合焦処理部による合焦が成されたと判定された場合に、第１の合焦処理部から第２の合焦処理部に処理を切り替える技術が記載されている。ここに、第１の合焦処理部は、例えばコントラストＡＦによる合焦処理部である。一方、第２の合焦処理部は、画像の平均輝度に基づくＡＦを行う合焦処理部、輝度画像の周波数特性に基づくＡＦを行う合焦処理部、輝度画像の局所領域から検出した動きベクトルに基づくＡＦを行う合焦処理部などである。

さらに、日本国特開２０１０−２０４５８５号公報には、コントラストＡＦを行う際に被写体像の動き検出も行い、焦点検出領域については動き検出結果に基づいて位置を変更するが、ＡＦ枠については動き検出の積算結果に基づいて位置を変更して、焦点検出領域とは異なる特性でＡＦ枠を変更することにより、ＡＦ枠を移動させる際のチラツキ感を抑制する技術が記載されている。

ところで、被検体に対してフォーカス位置を合わせたいにも関わらず、移動する物体が視野内に存在する場合、例えば、撮像装置が電子内視鏡であって、術中に頻繁に視野内に出入りする鉗子や処置具等の移動物体が存在する場合には、こうした移動物体にフォーカスが追従してしまうと、狙いとする被検体を合焦した状態で観察することができず、観察に支障を来す可能性がある。

本発明は上記事情に鑑みてなされたものであり、狙いとする被検体に対するフォーカス位置合わせを安定して行うことができる撮像装置、撮像装置の作動方法を提供することを目的としている。

本発明のある態様による撮像装置は、フォーカス位置を変化させるためのフォーカスレンズを含み、被検体の光学像を結像する対物光学系と、前記光学像を撮像して画像を出力する撮像素子と、前記フォーカス位置を変化させながら前記撮像素子に複数の画像を取得させ、取得された各画像のコントラスト評価値を算出して、前記コントラスト評価値がピーク値を取るように前記フォーカス位置を調整するコントラストＡＦ部と、前記撮像素子により時系列的に取得された複数の画像から、画像内の各領域における被検体の動き量を検出する動き量検出部と、前記動き量が所定の閾値以上である除外領域を検出し、該除外領域を前記コントラスト評価値の算出対象領域から除外した領域内のコントラスト評価値を算出するように前記コントラストＡＦ部を制御する制御部と、を具備し、前記コントラストＡＦ部は、前記算出対象領域の面積と、当該算出対象領域から前記除外領域を除外した領域の面積とに基づいて、前記算出したコントラスト評価値を補正する。

本発明のある態様による撮像装置の作動方法は、フォーカス位置を変化させるためのフォーカスレンズを含む対物光学系が、被検体の光学像を結像するステップと、撮像素子が、前記光学像を撮像して画像を出力するステップと、コントラストＡＦ部が、前記フォーカス位置を変化させながら前記撮像素子に複数の画像を取得させ、取得された各画像のコントラスト評価値を算出して、前記コントラスト評価値がピーク値を取るように前記フォーカス位置を調整するステップと、動き量検出部が、前記撮像素子により時系列的に取得された複数の画像から、画像内の各領域における被検体の動き量を検出するステップと、制御部が、前記コントラストＡＦ部に、前記動き量が所定の閾値以上である除外領域を検出し、該除外領域を前記コントラスト評価値の算出対象領域から除外した領域内のコントラスト評価値を算出するように前記コントラストＡＦ部を制御するステップと、前記算出対象領域の面積と、当該算出対象領域から前記除外領域を除外した領域の面積とに基づいて、前記算出したコントラスト評価値を補正するステップと、を有する。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１において、移動物体があるときの画像の例を示す図。 上記実施形態１において、移動物体をコントラスト評価値の算出対象領域から除外する様子を示す図。 上記実施形態１における撮像装置のコントラストＡＦ処理を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図４は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

本実施形態の撮像装置は、電子内視鏡システムに適用されたものとなっており、電子内視鏡１と、ビデオプロセッサ２と、を備えている。

電子内視鏡１は、被検体の光学像を結像する対物光学系３と、対物光学系３により結像された光学像を撮像して画像を出力する撮像素子５と、を備えている。

ここに対物光学系３は、フォーカス位置を変化させるためのフォーカスレンズ４を含んでいる。なお、対物光学系３は、ズームレンズを含むズーム光学系として構成されていても構わない。

撮像素子５は、後述するように、コントラストＡＦ部８の制御に基づいて、複数の画像を時系列的に取得する。

また、ビデオプロセッサ２は、信号処理部６と、動き量検出部７と、コントラストＡＦ部８と、制御部９と、を備えている。

信号処理部６は、撮像素子５から出力される画像に、相関２重サンプリング（ＣＤＳ）、ゲイン調節、アナログ信号からデジタル信号への変換、同時化処理（カラー画像を構成する３色成分の内の１色成分のみが１つの画素に存在する状態から、３色成分全てが１つの画素に存在する状態に補間する処理）、ホワイトバランス調整、γ補正処理、色空間変換処理などの画像信号処理を行う。この信号処理部６により表示用に処理された画像はモニタ等に出力され、記録用に処理された画像は記録装置等に出力される。

動き量検出部７は、撮像素子５により時系列的に取得された複数の画像（この画像は、後述するコントラストＡＦ部８がコントラスト評価値を算出するために取得する画像と兼用しても構わない）から、画像内の各領域における被検体の動き量を検出する。この動き量検出部７について、図２を参照してさらに説明する。ここに図２は、移動物体があるときの画像の例を示す図である。

図２に示す例においては、狙いとする被検体（フォーカス位置を合わせたい被検体であって、例えば体腔内）の画像１１中に、鉗子や処置具等の移動物体１２が存在する場合を想定している。

動き量検出部７は、まず、時系列的に取得された第１の画像と第２の画像（これら第１の画像と第２の画像は、この順序で取得されたものとする）のマッチング処理を行い、２つの画像中における同一物体の推定を行う。次に、動き量検出部７は、マッチング処理結果に基づいて、第１の画像と第２の画像の画像全体の動きベクトル（移動量および移動方向）を、手ブレ等の影響に起因すると思われる全体動きベクトルとして算出する。さらに、動き量検出部７は、全体動きベクトル成分を第２の画像から除去して、除去した後の第２の画像において、第１の画像から移動が発生している物体を移動物体１２と推定する。そして、動き量検出部７は、推定された移動物体１２の移動量および移動方向を、移動物体１２の動きベクトルとして検出する。

制御部９は、動き量検出部７により検出された移動物体１２の動き量（動きベクトルの大きさ）が、所定の閾値以上であるか否かを判定する。そして制御部９は、コントラストＡＦ部８に、動き量が所定の閾値以上である除外領域をコントラスト評価値の算出対象領域から除外させる。

図３は、移動物体をコントラスト評価値の算出対象領域から除外する様子を示す図である。

コントラストＡＦ部８によるコントラスト評価値の算出は、例えば、画像１１を複数の領域１１ａに分割して、分割された領域１１ａ毎に算出されるようになっている。そこで、制御部９は、移動物体１２が含まれる領域１１ａの集合でなる領域（ハッチングで示した領域）を、除外領域１３として設定する。

また、制御部９は、コントラストＡＦ部８を制御して、フォーカスレンズ４の位置を移動させながら、撮像素子５により複数の画像を時系列的に取得させる。

コントラストＡＦ部８は、フォーカス位置を変化させながら取得された複数の画像１１のコントラスト評価値を算出して、算出したコントラスト評価値がピーク値を取るように、フォーカスレンズ４の位置を移動させて対物光学系３のフォーカス位置を調整する。

このときにコントラストＡＦ部８がコントラスト評価値の算出対象とするのは、上述したように、除外領域１３を除いた領域である。

すなわち、コントラストＡＦ部８は、画像１１に例えばハイパスフィルタをかけることにより、高周波成分画像を抽出する。そして、コントラストＡＦ部８は、領域１１ａ毎の高周波成分値を、除外領域１３を除く全ての算出対象の領域１１ａについて加算する。

このときに算出される加算値（コントラスト加算値）をＳｕｍＣとすると、算出対象領域中に除外領域１３が存在する場合には、除外領域１３が存在しない場合に比べてコントラスト加算値ＳｕｍＣが小さい値になってしまい、除外領域１３の大きさによってはコントラストＡＦの精度に影響を与える可能性があると考えられる。

そこで、制御部９は、画像１１における算出対象領域全体の面積をＳ０、除外領域１３を除いた算出対象領域の面積をＳ１としたときに、補正係数Ｒを次のように算出する。

Ｒ＝Ｓ０／Ｓ１
そして、コントラストＡＦ部８は、コントラスト評価値ＣＥＶを、算出対象領域の大きさに依存しない評価値として、
ＣＥＶ＝Ｒ×ＳｕｍＣ
のように算出する。

こうして算出したコントラスト評価値ＣＥＶを用いて、フォーカス位置を変化させながら画像を撮像してコントラスト評価値ＣＥＶのピーク位置を探すスキャンを行い、探索されたピーク位置へフォーカスレンズ４を駆動することで合焦を行う。

なお、コントラスト加算値ＳｕｍＣを求める際には、単純加算に代えて、算出対象の領域１１ａ毎に重み付けを行って加算する方法を用いても良いが、この場合には補正係数Ｒを算出する際にも同様に重み付けを行った面積Ｓ０，Ｓ１を用いることはいうまでもない。

また、ここでは補正係数Ｒを用いてコントラスト評価値ＣＥＶを算出したが、算出が不要である場合や算出の必要度が低い場合などには、補正係数Ｒを算出しなくても構わない。ここに、補正係数Ｒの算出が不要である場合は、例えば、画像１１中に移動物体１２が存在していても、その存在位置がコントラスト評価値の算出対象領域（この算出対象領域は、画像１１全体であるとは限らず、画像１１中の一部（例えば中央部分など）であることもあるため）外である場合などである。また、補正係数Ｒの算出の必要度が低い場合は、例えば、算出対象領域に占める除外領域１３の面積割合が、コントラスト評価値ＣＥＶに与える影響を無視し得る程度に小さい場合などである。

さらに、算出対象領域の大きさに依存しない評価値を算出する方法として、上述した補正係数Ｒを用いる方法に代えて、単位面積当たりの平均コントラスト加算値をコントラスト評価値として用いる方法を採用しても良い。あるいは、時間的に近接して取得された過去画像の中に移動物体１２が存在していない画像がある場合に、処理対象画像の除外領域１３に該当するその過去画像の領域（この過去画像における該当領域は、上述したマッチング処理により推定することができる）の高周波成分を、除外領域１３の高周波成分として代用する方法を採用しても構わない。

次に、図４は、撮像装置のコントラストＡＦ処理を示すフローチャートである。

この処理を開始すると、まず、対物光学系３がズームレンズを含むズーム光学系であるか否かを判定する（ステップＳ１）。

ここでズーム光学系であると判定された場合には、ズーム倍率を取得して（ステップＳ２）、取得したズーム倍率に基づき、動き量を検出する際の閾値を設定する（ステップＳ３）。

ここに、移動物体１２の速度が一定であっても、ズーム位置が画角の広いワイド領域にある場合には画像中の移動量は小さく、逆に画角の狭いテレ領域にある場合には画像中の移動量が大きくなる。そこで、移動物体１２の動き量が、除外領域１３として設定すべき動き量であるか否かを正確に判定するために、ここではズーム倍率に応じた閾値を設定している。従って閾値は、一般に、ズーム倍率が高ければ（テレ側であれば）大きくなり、ズーム倍率が低ければ（ワイド側であれば）小さくなるように設定される。

このステップＳ３の処理が終了するか、またはステップＳ１においてズーム光学系でないと判定された場合には、フォーカスレンズ４を駆動して撮像素子５により画像を取得しする（ステップＳ４）。このステップＳ４は、後述するステップＳ９の処理から戻って繰り返して行われることにより、フォーカスレンズ４を駆動しながら撮像素子５により複数の画像を時系列的に取得していくスキャンとなる。

そして、時系列的に取得された複数の画像に基づいて、動き量検出部７により動き量を上述したように検出する（ステップＳ５）。

制御部９は、検出された動き量が、所定の閾値（対物光学系３がズーム光学系であるときには、ステップＳ３において設定された閾値）以上であるか否かを判定する（ステップＳ６）。

ここで、動き量が所定の閾値以上である場合には、制御部９は、コントラストＡＦ部８に、所定の閾値以上となっている除外領域１３をコントラスト評価値の算出対象領域から除外させる（ステップＳ７）。

ステップＳ７の処理を行った場合には除外領域１３を除いた算出対象領域に対して、一方、ステップＳ６において動き量が所定の閾値未満であると判定された場合には、全ての算出対象領域に対して、コントラストＡＦ部８が、コントラスト評価値を取得する（ステップＳ８）。

そして合焦したか否か、つまり、フォーカス位置がコントラスト評価値のピーク位置にあるか否かを判定して（ステップＳ９）、まだ合焦していない場合にはステップＳ４へ行ってフォーカスレンズ４を駆動して上述したような処理を行う。

こうして、ステップＳ９において合焦したと判定されたところで、このコントラストＡＦ処理を終了する。

なお、上述では移動物体１２として鉗子や処置具等の人工物を想定したが、これらに限定されるものではなく、例えば、拍動や脈動を行う被検体部位も移動物体１２として取り扱って構わない。

また、上述では、撮像装置が電子内視鏡システムに適用された例を説明したが、これに限定されるものではなく、撮像機能を備えた装置に広く適用可能である。

このような実施形態１によれば、動き量が所定の閾値以上である除外領域１３を、コントラストＡＦ部８によるコントラスト評価値の算出対象領域から除外するようにしたために、移動物体１２が視野内に入ってきても、移動物体１２に起因するフォーカス迷いを生じさせることなく、狙いとする被検体に対するフォーカス位置合わせを安定して行うことが可能となる。

このとき、コントラスト評価値を、算出対象領域の大きさに依存しない評価値とした場合には、除外領域１３が存在することによる合焦位置検出精度の低下を、良好に抑制することができる。

特に、除外領域１３がある場合とない場合の算出対象領域の面積比に基づいて求めた補正係数Ｒを用いてコントラスト評価値ＣＥＶを算出する場合には、比較的簡単で負荷の小さい演算を行うだけで、合焦位置検出精度の低下抑制が可能となる。

また、動き量検出部７が検出に用いる画像を、コントラストＡＦ部８がコントラスト評価値を算出するために取得した画像と兼用することにより、撮像が必要な画像のフレーム数を低減することが可能となる。

なお、上述では主として撮像装置について説明したが、撮像装置の作動方法であっても良いし、コンピュータに撮像装置の作動方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１３年１０月４日に日本国に出願された特願２０１３−２０９３８６号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (4)

1. フォーカス位置を変化させるためのフォーカスレンズを含み、被検体の光学像を結像する対物光学系と、
   前記光学像を撮像して画像を出力する撮像素子と、
   前記フォーカス位置を変化させながら前記撮像素子に複数の画像を取得させ、取得された各画像のコントラスト評価値を算出して、前記コントラスト評価値がピーク値を取るように前記フォーカス位置を調整するコントラストＡＦ部と、
   前記撮像素子により時系列的に取得された複数の画像から、画像内の各領域における被検体の動き量を検出する動き量検出部と、
   前記動き量が所定の閾値以上である除外領域を検出し、該除外領域を前記コントラスト評価値の算出対象領域から除外した領域内のコントラスト評価値を算出するように前記コントラストＡＦ部を制御する制御部と、
   を具備し、
   前記コントラストＡＦ部は、前記算出対象領域の面積と、当該算出対象領域から前記除外領域を除外した領域の面積とに基づいて、前記算出したコントラスト評価値を補正することを特徴とする撮像装置。
2. 前記制御部は、全ての前記算出対象領域の面積を、前記除外領域を除外した後の前記算出対象領域の面積で割った補正係数を算出し、
   前記コントラストＡＦ部は、前記除外領域を除外した後の前記算出対象領域についてコントラスト加算値を算出し、前記コントラスト加算値に前記補正係数を乗算することにより、算出対象領域の大きさに依存しない前記コントラスト評価値を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記動き量検出部が検出に用いる画像は、コントラスト評価値を算出するために取得した画像であることを特徴とする請求項１に記載の撮像装置。
4. フォーカス位置を変化させるためのフォーカスレンズを含む対物光学系が、被検体の光学像を結像するステップと、
   撮像素子が、前記光学像を撮像して画像を出力するステップと、
   コントラストＡＦ部が、前記フォーカス位置を変化させながら前記撮像素子に複数の画像を取得させ、取得された各画像のコントラスト評価値を算出して、前記コントラスト評価値がピーク値を取るように前記フォーカス位置を調整するステップと、
   動き量検出部が、前記撮像素子により時系列的に取得された複数の画像から、画像内の各領域における被検体の動き量を検出するステップと、
   制御部が、前記コントラストＡＦ部に、前記動き量が所定の閾値以上である除外領域を検出し、該除外領域を前記コントラスト評価値の算出対象領域から除外した領域内のコントラスト評価値を算出するように前記コントラストＡＦ部を制御するステップと、
   前記算出対象領域の面積と、当該算出対象領域から前記除外領域を除外した領域の面積とに基づいて、前記算出したコントラスト評価値を補正するステップと、
   を有することを特徴とする撮像装置の作動方法。

Images