JP3648563B2

JP3648563B2 - 全方位撮像による環状画像の基準位置検出方法および装置

Info

Publication number: JP3648563B2
Application number: JP2002108489A
Authority: JP
Inventors: 拓杉木; 修岩木; 直紀高本; 和哉光山; 省人今村
Original assignee: Sony Corp; Tateyama Machine Co Ltd
Current assignee: Sony Corp; Tateyama Machine Co Ltd
Priority date: 2002-04-10
Filing date: 2002-04-10
Publication date: 2005-05-18
Anticipated expiration: 2022-04-10
Also published as: JP2003303335A

Description

【０００１】
【発明の属する技術分野】
本発明は、全方位撮像レンズ（PAL）を用いて全方位撮影することにより得られた環状画像をパノラマ画像に変換する際に必要な基準位置を検出する方法および装置に係るものである。
【０００２】
【発明が解決しようとする課題】
全方位撮像レンズを用いて撮影された画像は図１に示すように環状画像となる。この環状画像をＭＰＵを用いて図２に示すようにパノラマ展開画像に変換する。この画像変換の際に、図１に示すように、中心座標位置と内円および外円の位置からなる画像変換のための基準位置が環状画像に適合しておれば、ＭＰＵは図２に示すように適正なパノラマ展開画像を得るように変換することができるが、図３に示すように基準位置が不適合な状態にあれば、パノラマ展開画像は図４に示すように湾曲したひずみ画像となってしまう。
【０００３】
従来では、このようなパノラマ展開画像の湾曲ひずみを解消するために、全方位撮像光学系並びに撮像素子の機械的取り付け位置の精度を上げるべく機械的取り付けの調整を行ったり、あるいは、環状画像をディスプレイに表示して目視で展開領域の基準位置を決定していた。
【０００４】
本発明の目的は、上記に鑑みなされたもので、撮像光学系並びに撮像素子の取り付け後の調整作業をソフトウエア技術を用いて吸収し機械的ハードウエア調整を不要にした、全方位撮像による環状画像の基準位置検出方法および装置を提供することにある。
【０００５】
本発明の他の目的は、環状画像をパノラマ展開画像に変換する際の環状画像における基準位置を自動的に検出し決定するようにした、全方位撮像による環状画像の基準位置検出方法および装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の一態様によれば、表面に撮像領域の境界に対応する上限と下限（または内側と外側の限界）の位置に沿って例えば純度の高い赤色の環状基準線を印刷した全方位撮像レンズを用いて風景等を撮影すると、得られた環状画像中の撮影領域の内外境界に赤色の内円環状基準線と外円環状基準線が現れる。この環状画像を２値化処理して赤色の内円環状基準線と外円環状基準線のみを取り出した画像に変換し、この変換画像を用いて環状画像のパノラマ画像への展開領域を表す中心座標、内円半径および外円半径を求めるようにした、全方位撮像による環状画像の基準位置検出方法および装置を提供する。
【０００７】
本発明の他の態様によれば、内壁面が単一色の包囲体で包囲された全方位撮像装置でその方位体を撮影し、撮像領域を明確化した環状画像を得て、この環状画像に基づいてその後に撮影される環状画像の中心座標、内円半径および外円半径からなるパノラマ画像への展開領域を表す基準位置を決定する、全方位撮像による環状画像の基準位置検出方法および装置を提供する。
【０００８】
【発明の実施の形態】
図５は、本発明に係る全方位撮像による環状画像の基準位置検出装置を含む全体構成を示すブロック図である。
【０００９】
図５において、全方位撮像レンズ１によって周囲３６０度の全方位にある被写体からの光線を受光し、撮像素子２に被写体像を映し出す。撮像素子２はその被写体像を電気信号に変換してデジタル画像データとしてＭＰＵ３へ転送する。ＭＰＵ３は、そのデジタル画像データを図１に示すような環状画像としてメモリに保持し、かつ、図２に示すようなパノラマ展開画像に変換する。そして、このパノラマ画像はディスプレイ４によって表示される。
【００１０】
図１の環状画像を図２のパノラマ展開画像に変換する際に、図に付加されている環状画像の中心座標位置、内円位置および外円位置からなる基準位置を正しく設定することが重要である。この基準位置は中心座標、内円半径および外円半径からなるものである。
【００１１】
図５の全方位撮像レンズ１は、図６に示すように、入射光１０は入射ガラス面１１から入射し、反射面１２で反射し更に上面の反射面で反射して結像光学系へ導かれる。反射面１２にはミラーコーティングが施されている。このミラーコーティング６は、全方位撮像レンズ１を側面から見ると図７（ａ）に示すように帯状に、また下から見ると図７（ｂ）のように環状に施されている。
【００１２】
図７は全方位撮像レンズ１を示すもので、（ａ）はその側面図、（ｂ）はその底面図である。全方位撮像レンズ１の表面には、図７に示すように、ミラーコーティング６に隣接し、撮像領域と非撮像領域の境界に対応する位置に沿って内側環状基準線７と外側環状基準線８を印刷する。内側と外側の環状基準線７、８は、ミラーコーティング６の直ぐ外側に位置されるようにしてもよい。また、環状基準線７、８はミラーコーティング部に替えて入射ガラス面に印刷されるようにしてもよい。
【００１３】
環状基準線の色は、一般的な風景では比較的存在しにくい色、例えば純度の高い赤色などを用いるのが好ましいが、本システムが使用される環境に合わせて他の色、例えば純度の高い青色などを用いてもよい。即ち、環状基準線の色は、後述する２値化処理の際の環状基準線とそれ以外の画像とを識別して環状基準線のみを残すことができるしきい値を与えることができるように選択される。
【００１４】
環状基準線の太さは画像処理が可能な画素数を確保できればよく、画像処理のし易さの点から約０．５ｍｍの太さが好ましい。なお、環状基準線７、８はマスク法により印刷することができる。
【００１５】
以上に説明したような環状基準線７、８が施された全方位撮像レンズ１を用いて風景を撮影すると、図８に示すように環状画像中に２つの環状基準線が写し込まれる。図８では、環状基準線は環状画像の内円および外円の直ぐ外側に写し込まれている。以下、図８に示す環状画像を用いてパノラマ画像への展開領域を示す基準位置、即ち、中心座標、内円半径および外円半径を求めるＭＰＵ３の動作手順について図９のフローチャートに従って説明する。
【００１６】
図９において、ステップＳ１で撮影された図８に示す環状画像は、各画素について色と濃度を表すディジタルデータとしてＭＰＵ３内に保持されている。次にステップＳ２において、図８の原画像はMPU内に保持されているプログラムにしたがって２値化処理が行われる。この２値化処理は、各画素の濃度レベルをしきい値を境として２値化するもので、しきい値以上の濃度を持った画素を黒とし、しきい値未満の濃度の画素を白とする処理をおこなう。環状基準線の色を赤色にした場合は、２値化処理においては、純度９０％の赤色以上を赤色とみなすようにしきい値を選ぶと、画素のしきい値はＲＧＢ（２５５＊０．９０、２５５＊０．１０、２５５＊０．１０）とすくことができる。また、マークの色に青色を選択したときは、２値化処理においては純度９０％以上の青色を青色とみなすように、画素のしきい値をＲＧＢ（２５５＊０.１０、２５５＊０．１０、２５５＊０．９０）とすればよい。このように、環状基準線の色を変えたときは２値化しきい値もその色に合わせて変更することが必要である。
【００１７】
２値化しきい値ＲＧＢ（２５５＊０．９０、２５５＊０．１０、２５５＊０．１０）は、具体的には、ある画素の濃度成分が赤Ｒ？２５５＊０．９０、緑Ｇ<２５５＊０．１０、青Ｂ<２５５＊０．１０である時はその画素は図形部分（黒）として処理され、それ以外の部分は背景部分（白）として処理される。このようにして図８の環状画像を２値化処理すると図１０に示すように内円環状基準線と外円環状基準線が表示される。環状画像をパノラマ画像に展開する際の展開領域を表す中心座標と内円半径と外円半径は、上記の内円環状基準線と外円環状基準線に基づいて後述の方法で求められる。
【００１８】
次に、環状画像中に撮像画像領域を直接に写し込む方法および装置について説明する。
【００１９】
全方位レンズ１と撮像素子２を含む全方位撮像装置１４を、図１１に示すように、白色で半透明の筒状ケース１５の内側に位置し、この状態で全方位撮像装置１４にて撮影すると、周囲３６０度の被写体が白色になるので、図１２に示すように、写し込まれるべき有効画像領域と無効画像領域が明確に区別された環状画像を得ることができる。
【００２０】
筒状ケース１５は、図１１（ｂ）に示すように蓋１６を付けてもよいし、同図（ｃ）に示すように環状の照明体１７で半透明の筒状ケースを包囲しケースの外側から照らして環状画像のコントラストを上げるようにすれば、図１２に示す環状画像はより鮮明になる。また、同図（ｄ）に示すように蓋１６に照明体１８を取り付けて、周囲が明るくなくても図１２に示すような環状画像を得ることができるようにすることもできる。
【００２１】
筒状ケース１５は、半透明のアクリル等の材料で形成してもよいし、乱反射する材質の半透明部材を用いてもよい。ケース１５は、全方位撮像装置１４の周囲を包囲する事ができるものであれば必ずしもケース状の物でなくてもよい。また、ケース１５は筒状ではなくて長方形状の物でもよく、また多角形の物でもよい。
【００２２】
以上のようにして撮影された図１２に示す環状画像に基づいて図１に示すような環状画像をパノラマ画像に展開する際の基準位置を定める中心座標と内円半径と外円半径を以下に述べる方法によって求めることができる。
【００２３】
以下に図１０または図１２に示す環状画像からパノラマ画像への展開領域を規定する中心座標と内円半径と外円半径を求める方法および装置について説明する。
【００２４】
図１４を参照するに、ステップ２０において、図１０または図１２における画像の中心座標から画像の４隅に向かって図１３に実線で示すように順番にサーチして行き、内円のエッジを見つけ出したところの座標をメモリに記録する。このようにして内円上の４点の座標を求めることができる。なお、ここでの中心座標は例えば画素が２００×２００の場合は座標（１００，１００）の位置となるので、そこからのサーチ位置の座標は容易に決定することができる。
【００２５】
ステップ２１において、上記のようにして求められた内円上の４点の内任意の３点を通る円の方程式を従来知られた方法で求める。その結果、内円の中心座標位置と半径からなる内円情報を算出することができる。
【００２６】
次にステップ２２において、先に求めた内円から更に遠心方向に向かって図１３に破線で示すようにサーチして外円のエッジを検出して、そのエッジの座標を求める。そしてステップ２３で外円のエッジ座標と内円の中心座標から外円の半径を求める。この場合のサーチは、画像の中心座標から４隅に向かう直線上の内円の半径を起点として４隅に向かって行い、サーチの結果得られた外円上の４点の内の任意の３点を用いて外円の方程式を算出するようにしてもよいし、また、その４点から求めた外円の半径の平均値を求めて外円の半径としてもよい。
【００２７】
なお、ステップ２０において、先に外円のエッジを検出するようにし、それからステップ２２で中心座標からサーチして内円のエッジを検出するようにしてもよい。また、サーチ方向を４隅から中心に向けて行うようにしてもよい。特に、図１０と図１２に示すように環状外円または環状内円がある幅を持っているときは、画像の中心と４隅を結ぶ直線上であって環状画像の有効画像領域の４点から中心部にまたは４隅に向かってサーチするようにするのがよい。なお、サーチは必ずしも中心と４隅とを結ぶ直線上でなくても、少なくとも中心からの３本の放射線上をサーチするようにしてもよい。
【００２８】
次に、環状画像のパノラマ画像への展開領域を規定する中心座標、内円半径および外円半径を求めるための他の実施例について図１５を参照して説明する。
【００２９】
図１５のステップ３０において、図１０および図１２に示す環状画像にエッジ抽出フィルタを施す。エッジ抽出フィルタは隣接する画素の濃度を引き算して濃度差を求めるもので、濃度が急激に変化する画像のエッジ部即ち輪郭を抜き出す作用をする。従って、エッジ抽出フィルタを施すことによって、図１０の画像は図１６（ａ）のようになり、また、図１２の画像は図１６（b）のようになる。図１６において、環状画像の有効画像領域即ち展開領域は、内円３７と外円３８の間にある環状部３６である。従って、ステップ３１において、円パターンを形成し、この円の中心点を画像の中心付近で移動させつつ各移動点でその円の半径を展開領域の中央から徐々に小さくなるように変化させ、各変化点における円パターンの円周上の各画素の濃度を加算して各円の濃度加算値を求める。濃度加算値は円パターンが環状画像の内円と重なり合わさった時に最も大きくなる。このステップでは環状画像の内円の中心座標とその半径求めることが目的であるから、画像の高さをHとすると中心点の移動範囲は環状画像の中心座標から上下左右に±H×０.２５の範囲とする。また、円パターンの半径の変化範囲は、H×０.２５よりも小さくH×０.１よりも大きい範囲とする。なお、円パターンの半径を徐々に変化して、半径の各変化点において中心位置を移動させるようにしてもよい。また、ステップ３１では濃度加算値に替えて濃度平均値を求めてもよい。
【００３０】
ステップ３２において、ステップ３１で求められた濃度加算値の内で最も大きいものを選定し、その円パターンの中心を環状画像の中心座標とし、また、その円の半径を環状画像の内円の半径とする。
【００３１】
そして、ステップ３３において、中心座標を中心とする円形パターンをその半径を内円半径＋１の長さから徐々に大きくなるように変化させ、各半径の変化点における円パターンの円周に沿った画素の濃度値の平均値を求める。
【００３２】
ステップ３４において、最大の濃度平均値を持つ円の半径を外円の半径と決定する。
【００３３】
以上のようにして、環状画像の中心座標位置、内円半径および外円半径からなる環状画像の基準位置を算出することができる。
【００３４】
なお、以上のようにして決定された環状画像の基準位置により指定された領域、即ち環状画像のパノラマ画像への展開領域のみの画像データを他の装置へ転送するようにすれば、環状画像の転送速度を向上することができる。
【００３５】
【発明の効果】
本発明によれば、環状画像の中心座標位置、内円の半径および外円の半径をソフトウエア技術を用いて自動的に計算して求めることができるので、機械的調整は不要となるばかりでなく、環状画像の展開領域を目視により決定する操作が不要となる。
【図面の簡単な説明】
【図１】全方位撮像レンズで撮影された環状画像の正常な展開領域を示した図である。
【図２】図１の環状画像を矩形に変換したパノラマ展開画像を示す図である。
【図３】不適当な展開領域を指定した状態を示す環状画像を示す図である。
【図４】図３のように不適当な展開領域を指定した結果得られたパノラマ展開画像を示す図である。
【図５】本発明の概略構成を示すブロック図である。
【図６】本発明に係る全方位撮像レンズの光学系を説明する説明図である。
【図７】本発明に係る環状基準線を全方位撮像レンズに印刷した状態を示す図である。
【図８】図７に示す全方位撮像レンズを用いて撮像した場合の環状画像を示す図である。
【図９】本発明を実施する場合の手順の１部を示すフローチャートである。
【図１０】図８に示す環状画像に２値化処理を施した結果得られた画像を示す図である。
【図１１】本発明の他の実施例を示す説明図である。
【図１２】図１１に示す構成を利用して撮影した環状画像を示す図である。
【図１３】図１０または図１２を用いて基準位置を求める概念を説明するための図である。
【図１４】図１３に示す方法を実施するためのフロー図である。
【図１５】本発明の他の実施例を示すフローチャートである。
【図１６】図１５の１ステップにおける説明図である。
【符号の説明】
１全方位撮像レンズ
２撮像素子
３ＭＰＵ
４ディスプレイ

Claims

撮像領域と非撮像領域の内側と外側の境界に対応する表面位置に沿って環状基準線が印刷された全方位撮像レンズを用いて環状画像を撮像するステップと、
前記環状画像中から前記環状基準線の画像を抽出することにより、環状画像中における前記境界を抽出するステップと、
前記環状画像中から抽出された境界の位置に基づいて、環状画像をパノラマ画像へ展開する際の環状画像の展開領域を指定する基準位置を求めるステップと、
を含む、全方位撮像による環状画像の基準位置検出方法。
請求項１に記載の基準位置検出方法であって、
前記境界を抽出するステップは、前記環状基準線の色と当該環状基準線以外の環状画像とを峻別する閾値を用いて環状画像に対し２値化処理を施することにより、環状基準線の画像を抽出するステップを含むことを特徴とする基準位置検出方法。
撮像領域と非撮像領域の内側と外側の境界に対応する表面位置に沿って環状基準線が印刷された全方位撮像レンズを用いて環状画像を撮像する全方位撮像装置と、
前記全方位撮像装置により撮像された環状画像中から前記環状基準線の画像を抽出することにより、環状画像中における前記境界を抽出し、当該境界の位置に基づいて、環状画像をパノラマ画像へ展開する際の環状画像の展開領域を指定する基準位置を求める手段と、
を備える、全方位撮像による環状画像の基準位置検出装置。