JP3581889B2 - 立体認識方法およびその装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、立体画像の立体認識方法および立体認識装置に関するものである。
【０００２】
【従来の技術】
従来、立体計測は、点光源または線光源を被写体に照射し、被写体からの反射光の結像位置から被写体までの距離を測定する方法、レンズを小刻みに振動させ、受像素子の一部面積内の変調度が最小になるようにして距離を測定する方法、または２つのカメラを用いて被写体を撮影し、被写体と２つのカメラのなす角度差を計測することにより、被写体までの距離を算出する方法などがある。
【０００３】
【発明が解決しようとする課題】
上記の方法では、被写体までの距離を計測するには簡便な方法であるが、背景を含めた画面全体の距離を計測するには下記のような課題がある。
【０００４】
図１は本発明および従来の立体画像の立体認識方法を示す図である。図１（１）は従来方法を示し、撮影された矩形の画像強度の一例を示す。ここで、画像１は各画素の大きさより被写体の大きさが十分に大きい場合の画像であり、画像１
（ａ）は焦点の合ったときの画像を示し、画像１（ｂ）は焦点のずれたときの画像を示す。強度１は画像１をＡ−Ｂに沿った断面の強度分布を示す。焦点が合ったときは（ａ）のようにエッジ部分が急峻であるが、焦点がずれたときは（ｂ）のようにエッジ部分にぼけを生じる。各画素の大きさより被写体の大きさが十分に大きい場合はエッジ部分にぼけを生じるが、画像中央部分の画像強度は変化しない。
【０００５】
画像２は各画素の大きさが画像２の大きさと同程度の場合を示す。画像が小さくなると、焦点がずれたときは強度１に示すように画像の中央部の強度が減衰し、焦点が合ったときの強度とは異なってくる。すなわち、画像１においては焦点がずれるとエッジ部分はぼけるが、中央部の強度は変化しない。しかし、画像２においては焦点がずれると、（ｂ）のように中央部強度もずれてくる。このように、強度分布だけでは画像の大きさにより強度分布と距離が比例しない場合がある。
【０００６】
本発明はこのような従来の強度分布による立体認識の不正確さを改善し、簡便にして背景を含めた画面全体の距離を正確に計測することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するため、本発明に係る立体認識方法の第１の手段は、レンズ焦点位置を変えて撮影したそれぞれの画像に画像焦点が合うときの被写体位置の距離を、画像メモリに記録した微分画像の番号に対応させ、前記微分画像の番号に非線形の重みをかけて値付けし、得られた画像を距離情報として画像表示することを特徴とする。
【００１０】
第２の手段は、レンズ焦点位置を変えて同一被写体を撮影した複数の画像の微分画像にしきい値処理をし、このしきい値処理を行った画像に連続的に加重の異なる重み付け処理を行い、その後、重み付けを行った全画像を加算した画像を得、画像表示することを特徴とする。
【００１１】
また立体認識装置は、被写体の撮影用レンズの焦点位置を変化させるアクチュエータと、前記被写体の立体画像を撮影する撮像部と、前記撮像部により撮影された画像を後記演算処理部により微分処理された微分画像を蓄積する画像メモリと、前記微分画像に順次番号を付与して前記画像メモリに蓄積し、この蓄積された微分画像の特定画素の値を順次比較し、値が最大となる微分画像の番号をその特定画素の値とすることを全画素に対して繰り返し行い、距離情報を得る演算処理部と、前記演算処理部で算出処理された距離情報を画像表示する画像表示部とを有する立体認識装置において、前記撮像部を、インコヒーレント，コヒーレント変換デバイスと、光学的輪郭抽出装置と、ＣＣＤ撮像素子から構成したことを特徴とする。
【００１２】
【作用】
本発明によれば、図１（２）の微分１に示すように画像１，画像２を横方向に微分処理したときに、画像１の場合、変化のない部分は値がゼロとなるために、図示のような強度分布となるが、エッジ部分は焦点のずれに対応した強度分布となる。そこで、エッジ部分の強度が最大もしくは最小となるときのレンズ位置を調べることにより、画像の大きさによらず、画像までの距離を計算することができる。
【００１３】
図１（３）の微分２は微分１の負成分を反転した場合の値である。この場合は画像の両エッジが等しい値で表示される。
【００１４】
以上のようにして焦点を変化させて複数回、被写体の画像を撮影し、各画像の微分を行い、微分したエッジの値が最も大きくなったときの焦点位置から、被写体までの距離を求めることができる。
【００１５】
すなわち、レンズで被写体を結像させた場合、焦点の合った部分が最もシャープな画像が得られる。結像した画像を微分処理すると、被写体の陰影は除去され、被写体の輪郭画像となる。この被写体の輪郭に注目し、輪郭の一番強調されるときのレンズ位置を調べることにより、被写体の輪郭部分までの距離を得ることができる。
【００１６】
【実施例】
図２は本発明の立体認識方法を実施する装置の一実施例のブロック図を示し、２１は被写体２７の撮影用レンズ、２２は被写体２７の立体画像を撮影する撮像部、２３はレンズ２１を駆動するアクチュエータ、２４は、微分画像に順次番号を付与して画像メモリ２５に蓄積し、この蓄積された微分画像の特定画素の値を順次比較し、値が最大となる微分画像の番号をその特定画素の値とすることを全画素に対して繰り返し行い、距離情報を得る演算処理部、２５は前記演算処理部２４より微分処理された微分画像を蓄積する画像メモリ、２６は前記演算処理部２４で算出処理された距離情報を画像表示する画像表示部である。
【００１７】
次に動作を説明すると、レンズ２１をアクチュエータ２３により駆動して焦点位置を変化させながら撮像部２２により被写体２７の画像を複数枚撮影する。撮影された画像は画像メモリ２５に読み込まれるとともに、演算処理部２４により微分処理が行われた後、画像メモリ２５に格納される。また、撮像部２２に微分処理機能を付加すれば、画像メモリ２５に微分画像を直接格納することができる。さらに演算処理部２４により、距離情報に変換し、画像表示部２６により距離画像として表示する。
【００１８】
図において、被写体２７−レンズ２１間距離をａ、レンズ２１−撮像部２２の撮像面間距離をｂ、レンズ焦点距離をｆとすると、被写体２７までの距離は下記の計算式により求まる。
【００１９】
【数１】
１／ａ＋１／ｂ＝１／ｆ
【００２０】
【数２】
ａ＝ｂｆ／（ｂ−ｆ）
微分したエッジの値が最も大きくなったときの焦点位置の求め方は、以下のようにして行う。画像の特定の画素（１画素もしくは複数の画素の集合）に注目し、各画像の特定の画素の値が最大となる画像を選択し、その画像の撮影条件からその画素に対する距離を算出する。それぞれの画素または画素の集合体に対して距離を算出することにより、被写体に関する距離の画像を得ることができる。
【００２１】
さらに、微分したエッジに取り囲まれた部分を、エッジの値が最大となったときの画像を用いて補完することにより、画像をより被写体に忠実に再現することができる。
【００２２】
次に、演算処理部２４により行う距離情報を求める方法について述べる。図３は画像メモリ２５に格納されたｎ枚の微分画像を並べた図である。ｎ枚の微分画像の共通する特定画素（ｉ，ｊ）について、ｎ個の特定画素中、最も値が大きくなるときの微分画像の番号を新たな画像データとして構成することにより、被写体のエッジの距離に対応した画像を得ることができる。
【００２３】
また、レンズ焦点位置を変えて撮影したそれぞれの画像に画像焦点が合うときの被写体位置の距離を、画像メモリに記録した微分画像の番号に対応させ、前記微分画像の番号に非線形の重みをかけて値付けし、得られた画像を距離情報として画像表示することや、レンズ焦点位置を変えて同一被写体を撮影した複数の画像の微分画像にしきい値処理をし、このしきい値処理を行った画像に連続的に加重の異なる重み付け処理を行い、その後、重み付けを行った全画像を加算した画像を得、画像表示するようにしてもよい。
【００２４】
また、微分画像の番号をレンズの焦点位置の変化から計算した被写体までの距離に換算した値を用いれば、被写体のエッジの距離を表した画像情報を得ることができる。被写体中、エッジの存在しない均一な部分は微分画像ではゼロとなっているので、閉じたエッジ内はその囲まれた部分をエッジ部分が示す距離の値により補完することにより、実際により近い画像を得ることができる。
【００２５】
次に距離情報の表示方法について述べる。上述のようにして得られた距離情報を画像表示部上に表示するときに、距離に応じて明るさを変えることにより、遠近感を認識しやすくなる。一例として、画像表示部上で最近距離を最も明るく、最遠距離を最も暗く表示することにより、暗中に照明光を照射したように被写体を浮き上がらせて表示することができる。これをカラー化するには、画像表示部上で最近距離を暖色で明るく、最遠距離を寒色で暗く表示することにより、より効果的に照明光を照射したように被写体を浮き上がらせて表示することができる。
【００２６】
さらに光学的な処理を用いた撮像部２２に関して述べる。画像がコヒーレント光であれば、コヒーレント性に基づく光の干渉を利用して、画像の微分処理を行うことができる。通常のカメラのようなインコヒーレントな光の画像をコヒーレントな光の画像に変換する手法として、オプティカルニューロンデバイスと呼ばれるデバイスがある（参考文献：Ｋ．Ａｉｙａｍａ，ＪＪＡＰ，Ｖｏｌ．３０，Ｎｏ．１２Ｂ，ｐ．３８８７−３８９２，１９９１）。このようなデバイスを用いれば、インコヒーレントな画像を、まず
ａ−Ｓｉ：Ｈ層により電気信号に変換し、その電気信号の強度差を強誘電液晶層に与えて透過率を変化させ、強誘電液晶層の反対側からコヒーレント光を照射し、その反射光の強度を変調することにより、コヒーレント光からなる画像に変換することができる。このデバイスと、光学的輪郭抽出装置の技術を組み合わせることにより、通常のレンズ集光した画像の微分画像を光学的な手法により得ることができる。この光学的な微分画像をＣＣＤ撮像素子で結像すればよい。
【００２７】
この方法による光学的微分処理装置のブロック図を図４に示す。レンズ４１により画像をオプティカルニューロンデバイス４２に結像させる。オプティカルニューロンデバイス４２により液晶の透過率変化に変換される。レーザー光源４３により画像はコヒーレントな画像に変換される。コヒーレントな画像は、光学的輪郭抽出装置４４により微分処理が行われて、ＣＣＤ撮像素子４５により電気信号に変換される。このようにして、光学的に微分処理がなされる。
【００２８】
【発明の効果】
以上説明したように本発明は、単一の撮像系を使用して、レンズと撮像素子を相対的に動かして複数枚画像を撮影し、各画像の微分を行い、各画素の値が最高になるときの画像を距離情報とすることにより、単一の撮像系により距離画像を得ることができる。その結果、シンプルな撮像系により、図面全体にわたる距離の画像を得、さらに表示することができる。
【図面の簡単な説明】
【図１】本発明および従来の立体画像の立体認識方法を示す図である。
【図２】本発明の立体認識方法を実施する装置の一実施例のブロック図である。
【図３】図２の画像メモリに格納されたｎ枚の微分画像を並べた図である。
【図４】光学的微分処理装置のブロック図である。
【符号の説明】
１，２…画像、 ２１，４１…レンズ、 ２２…撮像部、 ２３…アクチュエータ、 ２４…演算処理部、 ２５…画像メモリ、 ２６…画像表示部、 ２７…被写体、 ４２…オプティカルニューロンデバイス、 ４３…レーザー光源、 ４４…光学的輪郭抽出装置、 ４５…ＣＣＤ撮像素子。

Claims (7)

1. レンズ焦点位置を変えて撮影したそれぞれの画像に画像焦点が合うときの被写体位置の距離を、画像メモリに記録した微分画像の番号に対応させ、前記微分画像の番号に非線形の重みをかけて値付けし、得られた画像を距離情報として画像表示することを特徴とする立体認識方法。
2. レンズ焦点位置を変えて同一被写体を撮影した複数の画像の微分画像にしきい値処理をし、このしきい値処理を行った画像に連続的に加重の異なる重み付け処理を行い、その後、重み付けを行った全画像を加算した画像を得、画像表示することを特徴とする立体認識方法。
3. 前記距離情報を明るさの情報として表示することを特徴とする請求項１または２記載の立体認識方法。
4. 前記距離情報として最近距離情報を最も明るく、最遠距離情報を最も暗くして表示することを特徴とする請求項１，２または３記載の立体認識方法。
5. 前記距離情報として最近距離情報を暖色で最も明るく、最遠距離情報を寒色で最も暗くしてカラー表示することを特徴とする請求項１，２または３記載の立体認識方法。
6. 被写体の撮影用レンズの焦点位置を変化させるアクチュエータと、前記被写体の立体画像を撮影する撮像部と、前記撮像部により撮影された画像を後記演算処理部により微分処理された微分画像を蓄積する画像メモリと、前記微分画像に順次番号を付与して前記画像メモリに蓄積し、この蓄積された微分画像の特定画素の値を順次比較し、値が最大となる微分画像の番号をその特定画素の値とすることを全画素に対して繰り返し行い、距離情報を得る演算処理部と、前記演算処理部で算出処理された距離情報を画像表示する画像表示部とを有する立体認識装置において、前記撮像部を、インコヒーレント，コヒーレント変換デバイスと、光学的輪郭抽出装置と、ＣＣＤ撮像素子から構成したことを特徴とする立体認識装置。
7. 前記インコヒーレント，コヒーレント変換デバイスにより入力画像をコヒーレント画像に変換し、回折光学素子と一次元格子とにより輪郭強調し、ＣＣＤ撮像素子により微分画像を撮影することを特徴とする請求項６記載の立体認識装置。

Images