JP3677586B2

JP3677586B2 - 全方位撮像による環状画像の基準位置検出方法および装置

Info

Publication number: JP3677586B2
Application number: JP2002108490A
Authority: JP
Inventors: 拓杉木; 修岩木; 直紀高本; 和哉光山; 省人今村
Original assignee: Sony Corp; Tateyama Machine Co Ltd
Current assignee: Sony Corp; Tateyama Machine Co Ltd
Priority date: 2002-04-10
Filing date: 2002-04-10
Publication date: 2005-08-03
Anticipated expiration: 2022-04-10
Also published as: JP2003304532A

Description

【０００１】
【発明の属する技術分野】
本発明は、全方位撮像レンズ（PAL）を用いて全方位撮影することにより得られた環状画像をパノラマ画像に変換する際に必要な基準位置を検出する方法および装置に係るものである。
【０００２】
【発明が解決しようとする課題】
全方位撮像レンズを用いて撮影された画像は図１に示すように環状画像となる。この環状画像をＭＰＵを用いて図２に示すようにパノラマ展開画像に変換する。この画像変換の際に、図１に示すように、中心座標位置と内円および外円の位置からなる画像変換のための基準位置が環状画像に適合しておれば、ＭＰＵは図２に示すように適正なパノラマ展開画像を得るように変換することができるが、図３に示すように基準位置が不適合な状態にあれば、パノラマ展開画像は図４に示すように湾曲したひずみ画像となってしまう。
【０００３】
従来では、このようなパノラマ展開画像の湾曲ひずみを解消するために、全方位撮像光学系並びに撮像素子の機械的取り付け位置の精度を上げるべく機械的取り付けの調整を行ったり、あるいは、環状画像をディスプレイに表示して目視で展開領域の基準位置を決定していた。
【０００４】
本発明の目的は、上記に鑑みなされたもので、撮像光学系並びに撮像素子の取り付け後の調整作業をソフトウエア技術を用いて吸収し機械的ハードウエア調整を不要にした、全方位撮像による環状画像の基準位置検出方法および装置を提供することにある。
【０００５】
本発明の他の目的は、環状画像をパノラマ展開画像に変換する際の環状画像における基準位置を自動的に検出し決定するようにした、全方位撮像による環状画像の基準位置検出方法および装置を提供することである。
【０００６】
【課題を解決するための手段】
本発明によれば、全方位撮像レンズの表面上の端部でかつそのレンズの中心軸を通る面上の２点にマークを施し、この２点を１組とする複数組のマークを中心軸から見て異なる角度位置に施し、これら複数組のマークに基づいて、全方位撮像装置により撮影された環状画像のパノラマ画像への展開領域を表す内円と外円の位置ならびにそれらの円の中心位置を求めるようにした、全方位撮像による環状画像の基準位置検出方法および装置を提供する。
【０００７】
本発明の一実施態様によれば、全方位撮像装置により撮影された複数組のマークを写り込んだ環状画像を２値化処理してマークを顕在化した画像に変換し、そのマーク顕在化画像中の少なくとも２組のマークから各組内の２点を結ぶ直線の交点を中心座標としその中心座標から各点までの距離を半径とする内円および外円の方程式を求めることにより基準位置を決定する、全方位撮像による環状画像の基準位置検出方法および装置を提供する。
【０００８】
【発明の実施の形態】
図５は、本発明に係る全方位撮像による環状画像の基準位置検出装置を含む全体構成を示すブロック図である。
【０００９】
図５において、全方位撮像レンズ１によって周囲３６０度の全方位にある被写体からの光線を受光し、撮像素子２に被写体像を映し出す。撮像素子２はその被写体像を電気信号に変換してデジタル画像データとしてＭＰＵ３へ転送する。ＭＰＵ３は、そのデジタル画像データを図１に示すような環状画像としてメモリに保持し、かつ、図２に示すようなパノラマ展開画像に変換する。そして、このパノラマ画像はディスプレイ４によって表示される。
【００１０】
図１の環状画像を図２のパノラマ展開画像に変換する際に、図に付加されている環状画像の中心座標位置、内円位置および外円位置からなる基準位置を正しく設定することが重要である。この基準位置は中心座標、内円半径および外円半径からなるということができる。
【００１１】
本発明は基準位置をソフトウエア技術を使って求めるものであり、以下本発明を図面を参照して詳細に説明する。
【００１２】
図１の全方位撮像レンズ１は、図６に示すように、入射光１０は入射ガラス面１１から入射し、反射面１２で反射し更に上面の反射面で反射して結像光学系へ導かれる。反射面１２にはミラーコーティング６が施されている。このミラーコーティング６は、全方位撮像レンズ１を横から見ると図７（ａ）に示すように帯状に、また下から見ると図７（ｂ）のように環状に施されている。
【００１３】
全方位撮像レンズ１の表面には２組のマーク７と８および７'と８'が印刷されている。各組のマークは、それぞれ図７に示されるように、レンズ１の中心軸を通る面と交差するレンズ表面上であって、ミラーコーティング６の上端部の直ぐ外側およびその下端部の直ぐ外側に位置される。マークは、ミラーコーティング部に替えて入射ガラス面に印刷されてもよい。また、マークは２組に限らず３組以上であってもよい。マーク７と８を第１組とし、マーク７'と８'を第２組とする。図７（ｂ）に示すように、第１組のマーク７と８が位置するレンズの中心軸を通る面は、第２組のマーク７'と８'が位置する中心軸を通る他の面に対し９０度の角度を成すようにするのが好ましいが、それ以外の角度で配置してもよい。９０度以外の角度にしたときは後述する一致率の計算式をその角度に合わせる必要がある。以下の説明では９０度の角度で配置した場合について説明する。特に、第１組のマーク７、８の重心を通るマーク間の直線距離は、第２組のマークの重心間の直線距離と等しくなるようにする。
【００１４】
マークの色は、一般的な風景では比較的存在しにくい色、例えば純度の高い赤色などを用いるのが好ましいが、本システムが使用される環境に合わせて他の色、例えば純色の高い青色などを用いてもよい。即ち、マークの色は、後述する２値化処理の際のマークとそれ以外の画像とを識別してマークのみを残すことができるしきい値を与えることができるように選択される。
【００１５】
マークの形は円形でも矩形でもよく、マークの重心の位置を明確にできる形であればどのような形でもよい。また、マークの大きさは画像処理が可能な画素数があればよい。画像処理のし易さの点から、直径が約０．５ｍｍの円形が好ましい。なお、マーク７，８，７'、８’はマスク法により印刷することができる。
【００１６】
以上に説明したような４個のマーク７，８，７'、８'が施された全方位撮像レンズを用いて風景を撮影すると、図９に示すように環状画像中に赤色のマーク４個が写し込まれる。これらマークは環状画像の内円および外円の直ぐ外側に写し込まれている。以下、図９に示す環状画像を用いてパノラマ画像への展開領域を示す基準位置、即ち、中心座標、内円半径および外円半径を求めるＭＰＵ３の動作手順について図８のフローチャートに従って説明する。
【００１７】
図９に示す環状画像は各画素について色と濃度を表すディジタルデータとしてＭＰＵ３内に保持されている。図９の原画像はMPU内に保持されているプログラムにしたがって図８のステップ１１で２値化処理が行われる。この２値化処理は、各画素の濃度レベルをしきい値を境として、しきい値以上の画素を黒とし、しきい値未満の画素を白とする処理をおこなう。マークの色を赤色にした場合は、２値化処理においては、９０％の赤色以上を赤色とみなすようにしきい値を選ぶと、画素のしきい値はＲＧＢ（２５５＊０．９０、２５５＊０．１０、２５５＊０．１０）となる。また、マークの色に青色を選択したときは、２値化処理においては９０％以上の青色を青色とみなすように、画素のしきい値をＲＧＢ（２５５＊０.１０、２５５＊０．１０、２５５＊０．９０）とすればよい。このように、マークの色を変えたときは２値化しきい値もその色に合せて変更することが必要である。
【００１８】
２値化しきい値ＲＧＢ（２５５＊０．９０、２５５＊０．１０、２５５＊０．１０）は、具体的には、ある画素の濃度成分が赤Ｒ？２５５＊０．９０、緑Ｇ<２５５＊０．１０、青Ｂ<２５５＊０．１０である時はその画素は図形部分として処理され、それ以外の部分は背景部分として処理される。このようにして図９の環状画像を２値化処理すると図１０に示すように４個のマークが表示される。なお、図９の環状画像中の左方向に赤い信号灯が存在するので、これが図１０に４個のマークの他に点として表れている。
【００１９】
従って、２値化処理された画像は通常は濃度の濃い赤色のみが抜き出された画像である。その画像中の図形部分として描かれたマーク等をそれぞれマークとして扱うことができるように図８のステップ１２でラベリング処理を行う。
【００２０】
ラベリング処理では、図形部分として認識される画素が前後左右あるいは斜め方向に隣接して存在しているとき、それらの画素は連結しているといい、前後左右に４個隣接しておれば４連結といい、前後左右および斜め方向に８個の画素が隣接しておれば８連結という。図１１に示すように、各連結成分単位にＬ１からＬ５のように名前を割り当てる処理をラベリング処理といい、図１１では５個のラベルが与えられている。
【００２１】
ラベリング処理された画素の集まりはある大きさを持った図形であるので、これを点として扱えるようにするために、図８のステップ１３にて各ラベルの図形(マーク)の重心座標を検出する処理を行う。
【００２２】
１図形(１つのマーク)の重心座標検出処理ではモーメントが用いられる。モーメントは画素の連結で形成される図形Ｓの各画素の重さを１として（ｐ、ｑ）の組み合わせにより次式で定められる。
【００２３】
【数１】

【００２４】
（ｐ、ｑ）の組により種々の特徴量がもとめられる。Ｍ(０、０)はこの図形の面積、Ｍ（１，０）およびＭ（０，１）はそれぞれ縦軸と横軸に対するモーメントを表すから、この図形の重心座標（ｍ、ｎ）は、ｍ＝Ｍ（１，０）／Ｍ（０，０）、ｎ＝Ｍ（０，１）／Ｍ（０，０）によって求められる。なお、ｉとｊはそれぞれ横軸の座標と縦軸の座標を表す。このようにして重心座標を計算する技術はよく知られている。
【００２５】
図１８の重心座標検出処理ステップ１３によってマークの候補が決定される。図９の環状画像の例では普通の風景を撮っているため信号機の赤色も撮影されてしまい、それがマーク候補としてラベリングされている。従って、図１１に示すように５個のラベルから真の４個のマークを確定する必要がある。
【００２６】
そこで、次に４個のマークを確定するべく図８のステップ１４でマークの特性に基づく一致率によるマーク確定処理が実行される。全方位撮像レンズ１に施したマーク７，８，７'、８’の特性は、マーク７と８を通る直線はマーク７'と８’を通る直線と直交し、かつ、マーク７と８間お距離はマーク７'と８’間の距離と等しくなっているので、この特性に最も近いマークの組み合わせをサーチして真のマークを決定する。具体的には、任意のマーク２個を選択しそれらマークを結ぶ直線を第１基準線とし、残りの任意の２つのマークを結ぶ直線を第２基準線とする。このようにして、第１基準線と第２基準線との組み合わせを複数組形成する。これらの関係はマークの特性から図１２に示されるようになることが必要である。ここで、
Ｐ１は選択されたマーク１
Ｐ２は選択されたマーク２
Ｐ３は選択されたマーク３
Ｐ４は選択されたマーク４
直線Ｐ１Ｐ２は第１基準線
直線Ｐ３Ｐ４は第２基準線
Ｃは中心座標
θは基準線の成す角度
l1は第１基準線における内円と外円間の距離
l2は第２基準線において内円と外円間の距離
ri1は第１基準線における内円の半径
ro1は第１基準線における外円の半径
ri2は第２基準線における内円の半径
ro2は第２基準線における外円の半径
である。
【００２７】
前述のマークの特性、即ち２組の各マーク間の距離は等しくかつ第１基準線と第２基準線は直交するという特性に基づき、この特性に一致するマークを選定する操作を図８のマーク確定処理ステップ１４で行う。
【００２８】
マーク確定処理はマークの特性に基づく一致率を次の式で定義する。
【００２９】
【数２】

【００３０】
第１基準線と第２基準線との各組について上記式（２）を用いて一致率を計算して最大の一致率の組を選定し、それを真のマークの組み合わせと定義する。
【００３１】
次に図８のステップ１５において、決定された第１基準線と第２基準線の組は図１２に示す関係にあるから、両基準線の直交点Cを中心座標とし、内円の半径は（ri1＋ri2）/2として計算し、また、外円の半径は(ro1＋ro2)/2として計算する。
【００３２】
以上のようにして、環状画像の中心座標位置、内円の半径および外円の半径からなる環状画像の基準位置を算出することができる。
【００３３】
なお、以上のようにして決定された環状画像の基準位置により指定された領域、即ち環状画像のパノラマ画像への展開領域のみの画像データを他の装置へ転送するようにすれば、転送速度を向上することができる。
【００３４】
【発明の効果】
本発明によれば、環状画像の中心座標位置、内円の半径および外円の半径をソフトウエア技術を用いて自動的に計算して求めることができるので、機械的調整は不要となるばかりでなく、環状画像の展開領域を目視により決定する操作が不要となる。
【図面の簡単な説明】
【図１】全方位撮像レンズで撮影された環状画像の正常な展開領域を示した図である。
【図２】図１の環状画像を矩形に変換したパノラマ展開画像を示す図である。
【図３】不適当な展開領域を指定した状態を示す環状画像を示す図である。
【図４】図３のように不適当な展開領域を指定した結果得られたパノラマ展開画像を示す図である。
【図５】本発明の概略構成を示すブロック図である。
【図６】全方位撮像レンズ光学系の説明図である。
【図７】全方位撮像レンズの表面にマークを印刷する位置を示す図である。
【図８】本発明に係る動作手順をしめすフローチャートである。
【図９】マークを写し込んだ環状画像を示す図である。
【図１０】図９の環状画像に２値化処理を施した後のマークが出現した画像を示す図である。
【図１１】図１０のマークにラベリング処理を施した図である。
【図１２】マークの特性を説明した図である。
【符号の説明】
１全方位撮像レンズ
２撮像素子
３ＭＰＵ
４ディスプレイ

Claims

全方位撮像による環状画像の基準位置検出方法であって、
全方位撮像レンズの表面上の所定の光学系両端部でかつそのレンズの中心軸を通る面上の２点にマークが位置されるように、この２点を１組とする少なくとも２組のマークを前記中心軸から見て異なる所定角度の位置に施し、
全方位撮像装置により上記複数組のマークを写し込んだ環状画像を撮像し、
その環状画像を２値化処理して前記複数組のマークを顕在化し、そして
該顕在化した複数組のマークに基づき、前記環状画像をパノラマ画像へ展開する際の該環状画像の展開領域を指定する基準位置を求める、
前記方法。
請求項１に記載の方法において、前記基準位置は前記環状画像の中心座標位置と内円位置と外円位置である、前記方法。
請求項１に記載の方法において、前記基準位置は前記環状画像の中心座標位置と該中心座標からの前記内円の半径と該中心座標からの前記外円の半径である、前記方法。
請求項１に記載の方法において、前記２値化処理は、前記マークを純度の高い単色とし、このマークの色に合わせてしきい値を決めてマークが顕在化するようにする、前記方法。
請求項３に記載の方法において、前記基準位置を求めるステップは、顕在化したマークの組毎に各組内の２つのマークを結ぶ直線を求め、その直線の交点を中心座標とし、該中心座標から前記環状画像の内円に対応するマークまでの距離を内円の半径とし、かつ、該中心座標から前記環状画像の外円に対応するマークまでの距離を外円の半径とする、前記方法。
請求項１に記載の方法において、前記基準位置を求めるステップは、顕在化したマークの中心点を求め、それらマークの組毎に各組内の２つの中心点を結ぶ直線を求め、その直線の交点を中心座標とし、該中心座標から前記環状画像の内円に対応するマークの中心点までの距離を内円の半径とし、かつ、該中心座標から前記環状画像の外円に対応するマークの中心点までの距離を外円の半径とする、前記方法。
請求項６に記載の方法において、前記中心点を求めるステップは、各マーク連結体からなるマーク図形の重心点を求めるステップである、前記方法。
請求項６に記載の方法において、前記直線を求めるステップは、前記中心点の２点を任意に選択すると共に、残りの中心点の任意の２つを選択した組み合わせを複数組形成し、それら複数組の組み合わせのおのおのについて、それらの組の内において前記選択された２点を結ぶ直線の成す角度が前記所定角度であると共に前記選択された２点間の距離が等しいところのマークの特性との一致率を算出し、最も一致率の高い組み合わせを真のマークの組として決定し、決定されたマークの組に基づき前記直線を求める、前記方法。
請求項１に記載の方法において、前記基準位置を求めるステップは、前記マークが顕在化された画像中の図形を連結体毎にラベリング処理し、各連結体の重心点を検出する処理をし、前記重心点の２点を任意に選択すると共に、残りの重心点の任意の２つを選択した組み合わせを複数組形成し、それら複数組の組み合わせのおのおのについて、前記少なくとも２組のマークにおいて前記各組内のマークの２点を結ぶ直線の成す角度が前記所定角度であると共に前記組内のマークの２点間の距離が等しいところのマークの特性との一致率を算出し、最も一致率の高い組み合わせを真のマークの組として決定し、決定されたマークの組に基づいて、それらマークの組毎に各組内の２つの重心点を結ぶ直線を求め、その直線の交点を中心座標とし、該中心座標から前記環状画像の内円に対応するマークの重心点までの距離を内円の半径とし、かつ、該中心座標から前記環状画像の外円に対応するマークの重心点までの距離を外円の半径とする、前記方法。
全方位撮像による環状画像の基準位置検出装置であって、
全方位撮像レンズの表面上の所定の光学系両端部でかつそのレンズの中心軸を通る面上の２点にマークが位置されるように、この２点を１組とする少なくとも２組のマークを前記中心軸から見て異なる所定角度の位置に施した前記全方位撮像レンズと、
該全方位撮像レンズを用いて上記複数組のマークを写し込んだ環状画像を撮像する撮像装置と、
その環状画像を２値化処理して前記複数組のマークを顕在化する２値化処理装置と、
該顕在化した複数組のマークに基づき、前記環状画像をパノラマ画像へ展開する際の該環状画像の展開領域を指定する基準位置を求める手段と、
を備えた前記装置。
請求項１０に記載の装置において、前記所定角度を９０度とする、前記装置。
請求項１０に記載の装置において、前記マークの色は赤色である、前記装置。
請求項１２に記載の装置において、前記赤色は純度の高い赤色である、前記装置。
請求項１０に記載の装置において、前記マークの形は円形である、前記装置。
請求項１０に記載の装置において、前記マークの大きさは画像処理が可能な複数個の画素からなる、前記装置。
請求項１５に記載の装置において、前記マークの大きさは約０．５ｍｍである、前記装置。