JP4198536B2 - Object photographing apparatus, object photographing method and object photographing program - Google Patents

Description

と算出することを特徴とすることができる。
【００１７】
以上のような構成によれば、第２のカメラにおける拡大映像を用いて座標取得ができるため、３次元位置の計測において、装置の規模を大幅に小型化する、または距離分解能を大幅に向上させることが可能となる。
【００１８】
また、本発明の物体撮影装置は、撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出すると共に、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出する映像解析部とを備えてなるものである。
このような構成によれば、第１のカメラで視野広く物体を検出し、更に、検出された物体の位置等を第１のカメラと第２のカメラを用いて精度良く検出することができる。そして、この場合、第１のカメラと第２のカメラの距離を従来に比べて小さくでき、従ってコンパクト化を図ることができる。
【００１９】
ここにおいて、前記第２のカメラは撮影倍率を変更可能な望遠カメラであることを特徴とする。この構成によれば、例えば、物体の距離、大きさに合わせて第２のカメラの撮影倍率を最も精度を高める撮影倍率に設定することができる。
【００２０】
また、前記映像解析部は更に前記物体の大きさを算出することを特徴とすることができる。この構成によれば、第２のカメラの撮影倍率の変更の指針を得ることができる。また、例えば大きさを用いて、撮影された物体が対象物体か非対象物体かについての区別をすることも可能となる。
【００２１】
さらに、前記映像解析部は、算出された前記位置パラメータに基づいて、更に前記第２のカメラにより前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき撮影倍率を算出することを特徴とすることができる。この構成によれば、撮影目的に合わせて、第２のカメラの撮影倍率を自動的に変更することができる。
【００２２】
また、前記映像解析部は、算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出することを特徴とすることができる。この構成によれば、第２のカメラにおいて、確実に対象とする物体をその視野内に納める光軸方向を得ることができる。
【００２３】
更に、本発明の物体撮影装置において、前記第２のカメラの光軸方向を変更可能に支持する支持部と、前記映像解析部により算出された前記変更すべき光軸方向に従って前記第２のカメラの光軸方向を変更する支持部駆動部とを備えていることを特徴とすることができる。このような構成によれば、第２のカメラにおいて、確実に対象とする物体をその視野内に自動的に納めることができる。
【００２４】
更に、前記映像解析部は、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とすることができる。このような構成によれば、所定の視野内に存在する物体の有無を自動的に判断することができる。
【００２５】
また、本発明の物体撮影装置において、前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しないことを特徴とすることができる。この構成は、撮影映像に複数の物体が一連となって撮影されている場合、その映像形状は、一つの物体に一つの凸部が形成されるような形状になることが多いことに鑑みてなされたもので、この構成によれば、映像形状に複数の凸部が見出せないときは、それが一つの物体からなっていると見なすこととしたものである。
【００２６】
更に、前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断することを特徴とすることができる。
この構成によれば、各凸部までの距離の差を検出することで、映像形状が複数の物体が一連となって形成されていることを確実に検出することができる。
【００２７】
そして、更に、前記映像解析部は、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うことを特徴とすることができる。
この構成によれば、複数の物体が一連となって撮影されている場合でも、各物体ごとに区別して扱うことができる。
【００２８】
なお、前記映像解析部は、前記物体領域の外形状において所定の一方向に突出する部分を前記凸部とすることを特徴とすることができる。この構成によれば、容易に凸部を定義することができ、処理の容易化、迅速化を図ることができる。
【００２９】
また、本発明の物体撮影装置は、所定の範囲を撮影する第１のカメラと、撮影倍率の変更可能な第２のカメラと、前記第２のカメラを支持すると共に、前記第２のカメラの光軸方向を変更するカメラ支持部と、前記第１のカメラ及び前記第２のカメラにより撮影された映像に基づいて、前記所定の範囲において撮影された物体の位置パラメータと大きさを算出すると共に、前記物体を所定の大きさに拡大して撮影するように、前記第２のカメラの倍率及び光軸の算出を行う映像解析部と、前記映像解析部により算出された方向に従って前記カメラ支持部の駆動制御を行う駆動制御部とを備えてなるものである。
このような構成によれば、自動的に対象物体の詳細映像をも得ることができる。
【００３０】
また、本発明は、撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法であって、前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップとを備えてなるものである。
【００３１】
また、本発明の物体撮影方法において、前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする。
【００３２】
また、本発明の物体撮影方法において、更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき倍率を算出するステップを含むことを特徴とすることができる。
【００３３】
また、本発明の物体撮影方法において、算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とすることができる。
【００３４】
また、本発明の物体撮影方法において、前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とすることができる。
【００３５】
また、本発明の物体撮影方法において、前記物体領域の外形から凸部の検出処理を行うステップと、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とすることができる。
【００３６】
また、本発明の物体撮影方法において、前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とすることができる。
【００３７】
また、本発明は、カメラを用いて物体を撮影する物体撮影方法であって、第１のカメラを用いて第１映像を撮影するステップと、前記第１映像において撮影されている物体を検出するステップと、撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、前記第２のカメラを用いて前記第３映像を撮影するステップとを備えてなるものである。
【００３８】
また、本発明は、撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップとをコンピュータに実行させるものである。
【００３９】
また、本発明の物体撮影プログラムにおいて、前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする。
【００４０】
また、本発明の物体撮影プログラムにおいて、更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき倍率を算出するステップを含むことを特徴とすることができる。
【００４１】
また、本発明の物体撮影プログラムにおいて、算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とすることができる。
【００４２】
また、本発明の物体撮影プログラムにおいて、前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とすることができる。
【００４３】
また、本発明の物体撮影プログラムにおいて、前記物体領域の外形から凸部の検出処理を行うステップと、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とすることができる。
【００４４】
また、本発明の物体撮影プログラムにおいて、前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とすることができる。
【００４５】
尚、実施の形態には、カメラを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、第１のカメラを用いて第１映像を撮影するステップと、前記第１映像において撮影されている物体を検出するステップと、撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、前記第２のカメラを用いて前記第３映像を撮影するステップとをコンピュータに実行させる物体撮影プログラムが開示されている。
【００４６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。まず、本発明の物体撮影装置の構成について説明する。図１は、本発明の物体撮影装置の構成例を示すブロック図である。物体撮影装置は、広角カメラ（第１のカメラ）１１、望遠カメラ（第２のカメラ）１２、電動雲台（カメラ支持台）１３、映像解析部１４、駆動制御部１５から構成される。
【００４７】
広角カメラ１１は、対象となる全領域（例えば設定された所定領域全域）を撮影し、全景映像として映像解析部１４と外部へ出力する。図２は、本発明の物体撮影装置により出力される全景映像の一例を示す図である。図２の例において、広角カメラ１１から得られる全景映像には、物体２１と物体２２が映し出されている。望遠カメラ１２は、ある領域だけを拡大して撮影し、詳細映像として映像解析部１４へ出力する。
【００４８】
映像解析部１４は、全景映像において対象となる物体（対象物体）が撮影されているか否かを判定する（全景映像から対象物体を検出する）と共に、物体が撮影されている場合（検出された場合）は全景映像上での対象物体の位置を取得する。更に、映像解析部１４は、対象物体が検出された場合に、全景映像と詳細映像を用いて対象物体の３次元位置情報を算出し、この位置情報を元に望遠カメラが対象物体の詳細映像を撮影するための望遠カメラの倍率と方向を生成し、駆動制御部１５へ出力する。なお、映像解析部は図示しないＣＰＵを備え、後述する映像解析や駆動制御部の制御信号を形成するための動作を図示しないメモリに記憶された物体撮影プログラムに従って行う。
【００４９】
駆動制御部１５は、映像解析部１４からの倍率と方向に従って、電動雲台１３と望遠カメラ１２を制御する。望遠カメラ１２は電動雲台１３上に設置され、駆動制御部１５が電動雲台１３のパン・チルトを制御することにより、望遠カメラ１２の方向を調整することができる。また、望遠カメラ１２はズーム機構を備え、駆動制御部１５がズーム機構を制御することにより、倍率を調整することできる。
【００５０】
また、映像解析部１４は望遠カメラ１２が対象物体の詳細映像を取得した場合に、その詳細映像を外部へ出力することができる。図３は、本発明の物体撮影装置により出力される詳細映像の一例を示す図である。図３の例において、望遠カメラ１２から得られる詳細映像には、物体２１が映し出されている。
【００５１】
次に、本発明の物体撮影装置の動作について説明する。図４は、本発明の物体撮影装置の動作の一例を示すフローチャートである。
まず映像解析部１４は、広角カメラ１１から全景映像を取得する（Ｓ１）。次に、全景映像を用いて、全景映像に映る物体領域について、映像画面上での大きさと位置を抽出（検出）する（Ｓ２）。物体領域の抽出の詳細については、後述する。次に映像解析部１４は、各物体領域について、物体領域の番号ｉ、大きさ、位置、既分割フラグを記述した物体位置情報Ｏｉを生成し、Ｌ＝｛Ｏ１，Ｏ２，…Ｏｎ｝を物体位置情報リストとして保持する（Ｓ３）。既分割フラグとは、Ｏｉにおいて分割の処理が行われたか否かを表すフラグであり、初期値をｆａｌｓｅとしておく。
【００５２】
次に映像解析部１４は、Ｌが空であるか否かの判断を行う（Ｓ４）。Ｌが空であれば（Ｓ４，Ｙｅｓ）、フローを終了する。一方、Ｌが空でなければ（Ｓ４，Ｎｏ）、Ｌから１つのＯｉを取り出すことにより、Ｏｉを対象物体領域として決定する（Ｓ５）。
次に映像解析部１４は、Ｏｉを元に対象物体領域を撮影するように望遠カメラの倍率と方向を決定し、これらを駆動制御部１５へ出力することにより、望遠カメラ１２の制御を行う（Ｓ６）。望遠カメラの制御の詳細については、後述する。次に映像解析部１４は、倍率と方向率が調整された望遠カメラ１２から詳細映像を取得する（Ｓ７）。
【００５３】
次に映像解析部１４は、対象物体領域が既に分割済みか否かの判断を行う（Ｓ８）。すなわち、Ｏｉの既分割フラグがｔｒｕｅであるか否かの判断を行う。
既分割フラグがｔｒｕｅである場合（Ｓ８，Ｙｅｓ）、詳細映像の出力を行い（Ｓ９）、ＯｉをＬから削除するとともに、処理Ｓ４へ戻る。一方、既分割フラグがｆａｌｓｅである場合（Ｓ８，Ｎｏ）、映像解析部１４は、対象物体領域において形状による分割が可能であるか否かの判断を行う（Ｓ１０）。形状による分割の詳細については、後述する。
【００５４】
形状による分割が不可能である場合（Ｓ１０，Ｎｏ）、既分割フラグをｔｒｕｅとし、処理Ｓ９へ移行する。一方、形状による分割が可能である場合（Ｓ１０，Ｙｅｓ）、対象物体領域において距離による分割が可能であるか否かの判断を行う（Ｓ１１）。
【００５５】
距離による分割が不可能である場合（Ｓ１１，Ｎｏ）、既分割フラグをｔｒｕｅとし、処理Ｓ９へ移行する。一方、距離による分割が可能である場合（Ｓ１１，Ｙｅｓ）、対象物体領域内の距離を用いて複数の物体に分割し（Ｓ１２）、ＯｉをＬから削除するとともに、分割して得られた複数の新たな物体情報Ｏｎ＋１，Ｏｎ＋１，…Ｏｎ＋ｍ（ｍは分割して得られた物体の数）をＬに加え、既分割フラグをｔｒｕｅとし、処理Ｓ４へ戻る。距離による分割の詳細については、後述する。
【００５６】
以上のようなフローにより、全ての物体領域についての詳細映像を出力することができる。
このようなステップＳ１からＳ１２までを物体撮影プログラムとして、コンピュータにより読取り可能な記録媒体に記憶させることによって、物体撮影装置による物体撮影方法をコンピュータに実行させることが可能となる。なお、上記コンピュータにより読取り可能な記録媒体は、ＲＯＭやＲＡＭなどの半導体メモリの他、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
【００５７】
次に、処理Ｓ２の物体領域の抽出について詳細に説明する。映像解析部１４は、予め物体のない背景だけが撮影された全景映像である、背景映像を用意しておく。映像解析部１４は、全景映像を取得すると、背景映像と全景映像の輝度差を画素毎に求め、その輝度差が予め定められた閾値より大きい画素値を１とし、それ以外の画素値を０とする、２値画像の全景映像を生成する。次に、２値画像の全景映像において画素値が１となる画素の連続性を調べ、連続する画素を１つにまとめた領域を物体領域として抽出する。
【００５８】
次に、処理Ｓ６の望遠カメラの制御の一例について詳細に説明する。映像解析部１４は、対象物体の物体位置情報Ｏｉを元に望遠カメラ１２の方向と倍率を以下のように算出する。最初は、広角カメラ１１の光軸と平行になるように望遠カメラ１２の方向をパン角θ＝０、チルト角ψ＝０に合わせておき、広角カメラ１１の焦点距離ｆ１と等しくなるように望遠カメラ１２の焦点距離をｆ１に合わせておく。この状態で、カメラ間距離ｂの平行ステレオ視により、対象物体のおおよその３次元位置と大きさを算出しておく。対象物体のおおよその距離と大きさを用いて、対象物体が詳細映像に収まるようにパン角θ、チルト角ψ、倍率ｍを決定し、これらを用いて駆動制御部１５が電動雲台１３と望遠カメラ１２を制御し、再び詳細映像を取得する。具体的には、３次元での対象物体の中心位置を（Ｘ０，Ｙ０，Ｚ０）、大きさを表す幅、高さ、奥行きをそれぞれＷ，Ｈ，Ｄ、詳細映像に収める対象物体の横幅をｋとすると、パン角θ、チルト角ψ、倍率ｍは、それぞれ（３）〜（５）式で与えられる。
【００５９】
θ＝ｔａｎ＾（−１）｛（Ｘ０−ｂ）／Ｚ０｝・・・（３）
ψ＝ｔａｎ＾（−１）（Ｙ０／Ｚ０）・・・（４）
ｍ＝Ｚ０／Ｘ０・ｋ・・・（５）
【００６０】
倍率ｍが決定すると、望遠カメラ１２に設定すべき焦点距離ｆ２は、（６）式で与えられる。
ｆ２＝ｍ・ｆ１・・・（６）
なお、本発明は上述した望遠カメラ１２の制御に限定されることはなく、例えば、広角カメラで撮影する所定領域において、物体のその全景映像上での位置（２次元位置）及び大きさが分かればその物体のおよその位置及び大きさが分かるような場合は、その既知の値に基づいて望遠カメラ１２を制御するようにすればよい。例えば、ベルトコンベアなどにより搬送される物体を撮影する場合は、このような方式を採用することが可能である。
【００６１】
或いは、例えば望遠カメラ１２は所定の範囲を走査しながら映像を取り、各映像において、全景映像との比較処理を行って、共通対象物を取得することで、その位置や大きさを取得するようにしても良い。
【００６２】
次に、処理Ｓ１０の形状による物体の分割の判断について詳細に説明する。映像解析部１４は、全景映像における物体領域の外形から凸部を抽出することにより、複数の物体が重なった形状か、単一の物体の形状かを判断する。具体的には、例えば図５に示すように、全景映像のうち対象物体領域３０の上部の外形から凸部を抽出し、凸部が複数抽出された場合は、複数の物体に分割される可能性があると判断する。一方、凸部が１つ抽出された場合は、分割されない１つの物体であると判断する。従って図５の例では、対象物体領域３０から凸部Ａと凸部Ｂの２つの凸部が検出されることから、対象物体領域３０は２つの物体に分割される可能性があると判断する。
【００６３】
次に、処理Ｓ１１，Ｓ１２の距離による物体の分割について詳細に説明する。映像解析部１４は、処理Ｓ１０と同様にして詳細映像においても対象物体領域の外形から凸部を抽出し、それぞれの凸部の距離計測を行う。ここで、例えば図６に示す全景映像と詳細映像が得られた場合の距離による物体の分割について具体的に説明する。全景映像における対象物体領域３０の外形の上部に存在する２つの凸部をｗｘ１Ｌ，ｗｘ２Ｌ、詳細映像における対象物体領域３０の外形の上部に存在する２つの凸部をＺＸ１Ｒ，ＺＸ２Ｒ、広角カメラの焦点距離をｆ１、望遠カメラの焦点距離をｆ２、望遠カメラのパン角をθ、チルト角をψ、カメラ間距離をｂとするとき、２つの凸部の距離Ｚ１，Ｚ２は、図７に示す式で与えられる。
【００６４】
次に、映像解析部１４は、２つの距離Ｚ１，Ｚ２の差ΔＺ＝｜Ｚ１−Ｚ２｜が閾値以上であるか否かの判断を行い、閾値以上であれば２つの凸部の距離に有意な差があると判断し、対象物体領域の分割を行う。図８に示すように、２つの凸部Ａと凸部Ｂで挟まれた谷の位置で対象物体領域３０を分割し、分割したそれぞれの領域を新たな物体領域３１，３２とする。
【００６５】
ここで、距離計測の動作原理について詳細に説明する。従来のステレオカメラが２つの同じカメラを用いるのに対して、本発明の映像解析部１４は、異なる倍率を持つ広角カメラ１１と望遠カメラ１２を用いても、これら２つのカメラを用いて距離計測を行うことができる。
【００６６】
図９は、本発明の物体撮影装置における距離計測の動作原理を示す図である。ここでは説明を簡単にするために、雲台のパン角（またはヨー角）のみが変化する２次元平面内での回転を考えるが、パン角とチルト角（またはピッチング角）が変化する３次元空間での回転でも一般性は保たれる。
【００６７】
図９において、広角カメラＣ１と望遠カメラＣ２のカメラ間距離をｂ、広角カメラの撮像面をＩ１、望遠カメラＣ２の撮像面をＩ２とする。また、広角カメラＣ１の座標系をｏ１−ｘ１ｙ１ｚ１、広角カメラＣ１における撮像面Ｉ１までの焦点距離をｆ１、望遠カメラＣ２の座標系をｏ２−ｘ２ｙ２ｚ２、望遠カメラＣ２における撮像面Ｉ２までの焦点距離をｆ２とする。
【００６８】
また、望遠カメラＣ２をｙ軸の周りに回転させた角度をパン角、望遠カメラＣ２をｘ軸の周りに回転させた角度をチルト角とするとき、光軸が広角カメラと平行となるように、望遠カメラＣ２をパン角θ、チルト角ψだけ回転させた座標系をｏ２−ｘ３ｙ３ｚ３とする。また、原点と方向がｏ２−ｘ３ｙ３ｚ３と同じで、焦点距離をｆ１とした仮想カメラの座標系をｏ２−ｘ４ｙ４ｚ４、仮想カメラの撮像面をＩ４とする。
【００６９】
このとき、３次元空間上の物体の位置である物体点Ｐ（Ｘ，Ｙ，Ｚ）が、広角カメラの撮像面Ｉ１に投影される位置を投影点ｐ１（ｘ１，ｙ１，ｚ１）、望遠カメラの撮像面Ｉ２に投影される位置を投影点ｐ２（ｘ２，ｙ２，ｚ２）とすると、物体点と各投影点の間には、図１０に示す式の関係が成り立つ。
次に、光軸が広角カメラＣ１と平行になるように、望遠カメラＣ２の座標を変換するための回転行列Ｒは、図１１に示す式で与えられる。
この式を用いると、望遠カメラＣ２で得られる投影点ｐ２をｏ２−ｘ３ｙ３ｚ３座標系で表した投影点ｐ３（ｘ３，ｙ３，ｚ３）は、図１２に示す式で表される。
【００７０】
次に、投影点ｐ３において焦点距離をｆ１とした場合の投影点ｐ４（ｘ４，ｙ４，ｚ４）は、図１３に示す式で表される。
すなわち、望遠カメラＣ２の投影点ｐ２は、広角カメラＣ１と光軸が平行で同じ焦点距離を持つ仮想カメラＣ３の投影点ｐ４へ変換することができる。従って、投影点ｐ１と投影点ｐ２を用いて物体点Ｐ（Ｘ，Ｙ，Ｚ）は、図１４に示す式で与えられる。
【００７１】
以上に示したように、広角カメラと望遠カメラが異なる倍率であっても、広角カメラＣ１における投影点（ｘ１，ｙ１）と望遠カメラＣ２における投影点（ｘ２，ｙ２）が特定できれば、物体点Ｐの３次元座標を直接算出することができる。このような算出方法を用いることにより、別途カメラを追加してステレオカメラを用意することなく、広角カメラと望遠カメラだけで対象物体までの距離を算出できる。
【００７２】
ここで、広角カメラＣ１で撮影される画像上の座標ｘ１と、望遠カメラＣ２で撮影される画像上の座標ｘ２，ｙ２，ｚ２から算出される座標ｘ４とを比較する。望遠カメラの焦点距離が広角カメラの焦点距離よりも十分大きいことを考慮すると、ｐ４の精度はｐ１の精度に比べて十分高い。例えば、望遠カメラＣ２が１０倍のズームを行うならば、ｘ４はｘ１のほぼ１０倍の分解能を持つ。
【００７３】
従って、２つの広角カメラＣ１をカメラ間距離ｂで用いるステレオカメラに比べて、本発明の物体撮影装置は、対象物体の距離Ｚにおいて１０倍の分解能を持つことになる。すなわち、同じ距離分解能を実現するためには、カメラ間距離ｂを１／１０にすることができることになる。
【００７４】
上述した例のように、カメラから２０ｍ離れた場所に存在する互いに３０ｃｍ離れた２つの物体を、距離の違いにより個々の物体として分離するためには、画角６０度のＶＧＡ（６４０×４８０画素）の広角カメラを２つ用いる場合のカメラ間距離ｂが２．３ｍ必要であるのに対して、この広角カメラと１０倍のズームを行う望遠カメラとを用いる場合のカメラ間距離ｂは、２３ｃｍで済み、同じ距離分解能を非常に小さい規模で実現できることが分かる。
【００７５】
なお、本発明の物体撮影装置は、全景映像を用いてコンベア上を流れる複数の物体を広範囲で識別し、詳細映像を用いて物体の外観を検査するシステムに用いることができる。
また、本発明の物体撮影装置は、予め小さなシール貼った物体について、詳細映像を用いてシールに書かれた文字を読みとることにより配送を管理するシステムに用いることができる。
また、本発明の物体撮影装置は、全景映像を用いて領域内に侵入する物体があるか否かを監視し、侵入した物体の詳細映像を蓄積する、または画像認識を用いて物体を識別し、物体の種類に応じて適切な通知を行うシステムに用いることができる。
また、本発明の物体撮影装置は、コンパクト化を図れる距離計としても用いることができる。
【００７６】
（付記１）撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像に基づいて、撮影された共通の物体についての所定の位置パラメータを算出する映像解析部と
を備えてなる物体撮影装置。
（付記２）付記１に記載の物体撮影装置において、
前記第１のカメラは広角カメラであり、前記第２のカメラは望遠カメラであることを特徴とする物体撮影装置。
（付記３）付記１に記載の物体撮影装置において、
前記映像解析部により算出される前記所定の位置パラメータは前記物体の３次元位置を定める３つの位置パラメータのうちの少なくとも１つの位置パラメータであることを特徴とする物体撮影装置。
（付記４）付記３に記載の物体撮影装置において、
前記映像解析部は、前記第１のカメラと前記第２のカメラのカメラ間距離をｂ、前記第１のカメラの座標系をｏ１−ｘ１ｙ１ｚ１、焦点距離をｆ１、前記第２のカメラの座標系をｏ２−ｘ２ｙ２ｚ２、焦点距離をｆ２とし、また、前記第２のカメラをｙ軸の周りに回転させた角度をパン角、前記第２のカメラをｘ軸の周りに回転させた角度をチルト角とするとき、光軸が広角カメラと平行となるように、前記第２のカメラをパン角θ、チルト角ψだけ回転させた座標系をｏ２−ｘ３ｙ３ｚ３とし、原点と方向がｏ２−ｘ３ｙ３ｚ３と同じで、焦点距離をｆ１とした仮想カメラの座標系をｏ２−ｘ４ｙ４ｚ４とした場合に、３次元空間上の物体の位置である物体点Ｐ（Ｘ，Ｙ，Ｚ）が、前記第１のカメラの撮像面に投影される位置を投影点ｐ１（ｘ１，ｙ１，ｚ１）、前記第２のカメラの撮像面に投影される位置を投影点ｐ２（ｘ２，ｙ２，ｚ２）、前記第２のカメラで得られる投影点ｐ２をｏ２−ｘ３ｙ３ｚ３座標系で表した投影点ｐ３（ｘ３，ｙ３，ｚ３）とし、投影点ｐ３において焦点距離をｆ１とした場合の投影点ｐ４（ｘ４，ｙ４，ｚ４）とすると、
物体点Ｐ（Ｘ，Ｙ，Ｚ）を
【数２】

と算出することを特徴とする物体撮影装置。
（付記５）撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出すると共に、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出する映像解析部と
を備えてなる物体撮影装置。
（付記６）付記５に記載の物体撮影装置において、
前記第２のカメラは撮影倍率を変更可能な望遠カメラであることを特徴とする物体撮影装置。
（付記７）付記５に記載の物体撮影装置において、
前記映像解析部は更に前記物体の大きさを算出することを特徴とする物体撮影装置。
（付記８）付記６に記載の物体撮影装置において、
前記映像解析部は、更に前記第２のカメラにより前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき撮影倍率を算出することを特徴とする物体撮影装置。
（付記９）付記８に記載の物体撮影装置において、
前記映像解析部は、算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出することを特徴とする物体撮影装置。
（付記１０）付記９に記載の物体撮影装置において、
前記第２のカメラの光軸方向を変更可能に支持する支持部と、
前記映像解析部により算出された前記変更すべき光軸方向に従って前記第２のカメラの光軸方向を変更する支持部駆動部とを備えていることを特徴とする物体撮影装置。
（付記１１）付記５に記載の物体撮影装置において、
前記映像解析部は、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とする物体撮影装置。
（付記１２）付記１１に記載の物体撮影装置において、
前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しないことを特徴とする物体撮影装置。
（付記１３）付記１１に記載の物体撮影装置において、
前記映像解析部は、前記物体領域の外形から凸部の検出処理を行い、該凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断することを特徴とする物体撮影装置。
（付記１４）付記１３に記載の物体撮影装置において、
前記映像解析部は、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うことを特徴とする物体撮影装置。
（付記１５）付記１１に記載の物体撮影装置において、
前記映像解析部は、前記物体領域の外形状において所定の一方向に突出する部分を前記凸部とすることを特徴とする物体撮影装置。
（付記１６）所定の範囲を撮影する第１のカメラと、
撮影倍率の変更可能な第２のカメラと、
前記第２のカメラを支持すると共に、前記第２のカメラの光軸方向を変更するカメラ支持部と、
前記第１のカメラ及び前記第２のカメラにより撮影された映像に基づいて、前記所定の範囲において撮影された物体の位置パラメータと大きさを算出すると共に、前記物体を所定の大きさに拡大して撮影するように、前記第２のカメラの倍率及び光軸の算出を行う映像解析部と、
前記映像解析部により算出された方向に従って前記カメラ支持部の駆動制御を行う駆動制御部と
を備えてなる物体撮影装置。
（付記１７）撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法であって、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップと
を備えてなる物体撮影方法。
（付記１８）付記１７に記載の物体撮影方法において、
前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする物体撮影方法。
（付記１９）付記１７に記載の物体撮影方法において、
更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき倍率を算出するステップを含むことを特徴とする物体撮影方法。
（付記２０）付記１７に記載の物体撮影方法において、
算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とする物体撮影方法。
（付記２１）付記１７に記載の物体撮影方法において、
前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とする物体撮影方法。
（付記２２）付記２１に記載の物体撮影方法において、
前記物体領域の外形から凸部の検出処理を行うステップと、
該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とする物体撮影方法。
（付記２３）付記２２に記載の物体撮影方法において、
前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とする物体撮影方法。
（付記２４）カメラを用いて物体を撮影する物体撮影方法であって、
第１のカメラを用いて第１映像を撮影するステップと、
前記第１映像において撮影されている物体を検出するステップと、
撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、
前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、
前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、
算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、
前記第２のカメラを用いて前記第３映像を撮影するステップと
を備えてなる物体撮影方法。
（付記２５）撮影倍率が互いに異なる第１及び第２のカメラであって、前記第１のカメラの撮影倍率が前記第２のカメラの撮影倍率より小さい前記第１及び第２のカメラと、これらカメラにより撮影された映像を解析する映像解析部とを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、
前記第１のカメラと前記第２のカメラにより撮影された撮影倍率の異なる二つの映像の少なくとも一方に基づいて映像に含まれる物体を検出するステップと、検出された物体について、前記二つの映像に基づいて所定の位置パラメータを算出するステップと
をコンピュータに実行させる物体撮影プログラム。
（付記２６）付記２５に記載の物体撮影プログラムにおいて、
前記検出された物体について、更に前記物体の大きさを算出するステップを含むことを特徴とする物体撮影プログラム。
（付記２７）付記２５に記載の物体撮影プログラムにおいて、
更に前記検出された物体について、前記物体を拡大又は縮小して撮影するために、前記第２のカメラについて変更すべき倍率を算出するステップを含むことを特徴とする物体撮影プログラム。
（付記２８）付記２５に記載の物体撮影プログラムにおいて、
算出された前記物体の位置パラメータに基づいて、前記第２のカメラについて変更すべき光軸方向を算出するステップを含むことを特徴とする物体撮影プログラム。
（付記２９）付記２５に記載の物体撮影プログラムにおいて、
前記物体を検出するステップでは、予め記録された物体が撮影されていない背景映像と、撮影した映像との輝度差を画素ごとに求め、該輝度差が所定の範囲内である画素の連続している領域を前記物体が撮影された物体領域として前記物体を映像上で検出することを特徴とする物体撮影プログラム。
（付記３０）付記２９に記載の物体撮影プログラムにおいて、
前記物体領域の外形から凸部の検出処理を行うステップと、
該凸部が複数検出されない場合は、前記物体領域には複数の物体が撮影されていると判断しない一方、前記凸部が複数検出された場合は、前記第１のカメラにより撮影された第１の映像から検出された複数の凸部と、前記第２のカメラにより撮影された第２の映像から検出された前記複数の凸部とを用いて、前記複数の凸部までの距離を算出し、前記複数の凸部の距離の差が所定の閾値以上であれば、前記物体領域には複数の物体が撮影されていると判断するステップを含むことを特徴とする物体撮影プログラム。
（付記３１）付記３０に記載の物体撮影プログラムにおいて、
前記凸部が複数検出された場合、更に複数の凸部で挟まれた谷で物体領域の分割を行い、分割したそれぞれの物体領域を別物体によるものとして扱うステップを含むことを特徴とする物体撮影プログラム。
（付記３２）カメラを用いて物体を撮影する物体撮影方法をコンピュータに実行させる物体撮影プログラムであって、
第１のカメラを用いて第１映像を撮影するステップと、
前記第１映像において撮影されている物体を検出するステップと、
撮影倍率の変更可能な第２のカメラを用いて前記物体を含む前記第１映像の少なくとも一部を撮影して第２映像を撮影するステップと、
前記第１映像および前記第２映像に基づいて、前記物体の大きさと距離パラメータを算出するステップと、
前記物体の大きさと距離パラメータに基づいて、前記第２のカメラにより前記物体を拡大した第３映像を撮影する倍率および方向の算出を行うステップと、
算出された倍率と算出された方向に従って前記第２のカメラの制御を行うステップと、
前記第２のカメラを用いて前記第３映像を撮影するステップと
をコンピュータに実行させる物体撮影プログラム。
【００７７】
【発明の効果】
以上説明したように、本発明によれば、異なる撮影倍率を有する広角カメラ（第１のカメラ）と望遠カメラ（第２のカメラ）とにより、測定精度を落とすことなく装置の規模を大幅に小型化し、または距離分解能を大幅に向上させて、対象物体の３次元位置を計測することができる。また、望遠カメラにより物体の詳細な映像を得ることもできる。更に、複数の物体からなる物体領域を個々の物体の物体領域へ高精度で分割することができるとともに、個々の物体を正確に拡大した詳細映像を取得することができる。
【図面の簡単な説明】
【図１】本発明の物体撮影装置の構成の一例を示すブロック図である。
【図２】本発明の物体撮影装置により出力される全景映像の一例を示す図である。
【図３】本発明の物体撮影装置により出力される詳細映像の一例を示す図である。
【図４】本発明の物体撮影装置の動作の一例を示すフローチャートである。
【図５】複数の物体から構成される対象物体領域の一例を示す図である。
【図６】複数の物体から構成される対象物体領域を撮影した全景映像と詳細映像の一例を示す図である。
【図７】凸部の距離Ｚ１，Ｚ２を求める式である。
【図８】形状による対象物体領域の分割の一例を示す図である。
【図９】本発明の物体撮影装置における距離計測の動作原理を示す図である。
【図１０】物体点位置と各投影点位置の関係を示す式である。
【図１１】望遠カメラＣ２の座標を変換するための回転行列Ｒを示す式である。
【図１２】ｏ２−ｘ２ｙ２ｚ２座標系をｏ２−ｘ３ｙ３ｚ３座標系へ変換する式である。
【図１３】投影点ｐ３において焦点距離をｆ１とした場合の投影点ｐ４を示す式である。
【図１４】投影点ｐ１と投影点ｐ２を用いて物体点Ｐを示す式である。
【図１５】従来の第１の方式における問題点を表す図である。
【符号の説明】
１１ 広角カメラ、１２ 望遠カメラ、１３ 電動雲台、１４ 映像解析部、１５ 駆動制御部、２１，２２ 物体、３０ 対象物体領域、３１，３２ 物体領域。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an object photographing apparatus, an object photographing method, and an object photographing program for detecting individual objects existing in a panoramic image obtained by photographing a wide area and photographing a detailed image of the detected object.
[0002]
[Prior art]
Until now, there has been a technology that can simultaneously acquire a panoramic image, which is a low-resolution image that captures the entire area of the subject to be captured, and a detailed image, which is a high-resolution image that is captured by enlarging only the necessary area. Some have been proposed.
[0003]
The first method is a method that uses one wide-angle camera that is fixedly installed and shoots a panoramic image and one telephoto camera that is installed on a pan head with a pan / tilt mechanism and shoots a detailed image. . According to this first method, the wide-angle camera acquires a panoramic image, the user visually observes the panoramic image, the user designates a necessary area of the panoramic image, and the telephoto camera is designated. The telephoto camera controls the electric camera platform to adjust the direction of the telephoto camera so as to acquire a detailed video of only the area, and the telephoto camera controls the zoom mechanism to adjust the magnification (for example, Patent Document 1, 2 and 3).
[0004]
The second method is a method for automatically acquiring a detailed video of a necessary target object among objects displayed in a full-view video. In this second method, the wide-angle camera that acquires a panoramic image in the first method is replaced by a stereo camera that can measure the distance of each object that consists of two cameras, instead of a monocular camera that consists of one camera, A trinocular camera is used. According to the second method, the stereo camera is used to measure the three-dimensional position of each object, and the zoom camera acquires a detailed image of the target object so that the zoom camera acquires the detailed image of the target object according to the measured three-dimensional position of the target object. The direction and the magnification of the telephoto camera are adjusted (for example, see Patent Document 2).
[0005]
[Patent Document 1]
JP 2002-218288 A (page 2-4, FIGS. 1-2)
[Patent Document 2]
Japanese Patent Laid-Open No. 9-322051 (page 3-6, FIG. 1)
[Patent Document 3]
Japanese Utility Model Publication No. 6-29285 (2nd page, FIG. 1)
[0006]
[Problems to be solved by the invention]
However, in the first method, the user visually observes the entire view video and designates an area for acquiring the detailed video. In order to automatically acquire the detailed video of the target object, the following two points are used. There's a problem.
First, in order to determine the direction in which the telephoto camera is directed, it is necessary to measure the distance to the target object from the three-dimensional position of the target object. However, it is impossible to measure the distance of the target object from only the panoramic image acquired by the monocular camera. For example, as shown in FIG. 15, when it is desired to obtain detailed images of points A and B on the panoramic image captured by the wide-angle camera 1, the three-dimensional positions of points A and B, that is, points A and B The direction in which the telephoto camera 2 is pointed cannot be automatically determined unless the distance to is known. Here, when the user designates the area of the detailed video as in the past, the user can correct it even if the area of the detailed video is shifted, but when the user automatically acquires the detailed video, If the area is shifted, correction is impossible.
[0007]
Secondly, there is a problem that when there are a plurality of objects for which a detailed video is desired to be acquired and these objects are adjacent to each other or when some of these objects overlap, the individual objects cannot be separated. Here, in order to detect only the object from the video, the background in the absence of the object is captured in advance and stored as a background video, and the pixel between the background video and the acquired panoramic video is acquired. An object detection method called background difference is generally used in which a difference operation is performed every time and a portion having a large difference value is detected as an object. However, in the background difference, adjacent objects and overlapping objects are detected as one lump. Therefore, it is difficult to separate into individual objects and acquire detailed images of each object.
[0008]
In addition, by directing the telephoto camera in the direction of each target object, it is necessary to shoot a detailed image centered on each target object, but when multiple objects existing at different distances are detected as a lump, Since the individual objects cannot be separated and the distances to the individual objects are unknown, it is not possible to acquire a detailed image centered on the individual objects.
[0009]
In the second method, the target object is detected using the distance of the target object obtained from the stereo camera. However, there is the following problem in obtaining the distance of the target object.
Since a camera for photographing a panoramic image must shoot a wide range, it is necessary to use a camera using a wide-angle lens. For example, in order to photograph a range of 20 m in width and 20 m in depth, an angle of view of about 60 degrees is required. However, the resolution of the distance obtained from a stereo camera using a camera with a large angle of view is low, and it is difficult to separate a plurality of objects using the difference in distance. Here, when the focal distance of the camera is f [pixel], the farthest distance to be detected is Z [m], and the distance difference necessary for separating two objects is ΔZ, it is necessary for the two cameras constituting the stereo camera. The inter-camera distance b [m] is given by equation (1).
[0010]
b = (Z ^ 2-ΔZ · Z) / (ΔZ · f) (1)
However, f is given by equation (2) using the camera angle of view θ [rad] and the horizontal width w [pixel] of the image.
f = w / (2 tan θ) (2)
[0011]
For example, using a VGA (640 × 480 pixel) camera with an angle of view of 60 degrees, to separate two objects 30 cm away from each other at a distance of 20 m from the camera as individual objects due to the difference in distance , W = 640 [pixel], θ = 60 [deg], Z = 20 [m], and ΔZ = 0.3 [m] are applied to (Expression), the distance b between one camera constituting the stereo camera is 2.3m is also required. Therefore, the scale of the photographing apparatus using a stereo camera becomes very large, and it becomes difficult to install.
[0012]
The present invention has been made to solve such a problem, and uses two cameras to detect an object position such as a distance with high accuracy in a compact configuration (a compactness can be measured without reducing accuracy). It is an object to provide an object photographing apparatus, an object photographing method, and an object photographing program. It is another object of the present invention to provide an object photographing apparatus, an object photographing method, and an object photographing program that can automatically obtain a detailed image of a target object.
[0013]
[Means for Solving the Problems]
In order to solve the above-described problem, the object photographing apparatus of the present invention is a first and second camera having different photographing magnifications, and the photographing magnification of the first camera is larger than the photographing magnification of the second camera. Based on the small first and second cameras and two images with different shooting magnifications shot by the first camera and the second camera, a predetermined positional parameter for a common object shot is obtained. And a video analysis unit for calculation.
[0014]
Here, the first camera may be a wide-angle camera, and the second camera may be a telephoto camera.
[0015]
The predetermined positional parameter calculated by the video analysis unit may be at least one positional parameter among three positional parameters that determine a three-dimensional position of the object.
[0016]
Further, the video analysis unit is configured such that the distance between the first camera and the second camera is b, the coordinate system of the first camera is o1-x1y1z1, the focal length is f1, and the second camera The coordinate system is o2-x2y2z2, the focal length is f2, the angle obtained by rotating the second camera around the y axis is the pan angle, and the angle obtained by rotating the second camera around the x axis. When the tilt angle is set, the coordinate system obtained by rotating the second camera by the pan angle θ and the tilt angle ψ so that the optical axis is parallel to the wide-angle camera is o2-x3y3z3, and the origin and direction are o2-x3y3z3. The object point P (X, Y, Z), which is the position of the object in the three-dimensional space, when the coordinate system of the virtual camera with the focal length f1 is set to o2-x4y4z4, Projection point is the position projected on the imaging surface of the camera p1 (x1, y1, z1), a position projected on the imaging surface of the second camera is a projection point p2 (x2, y2, z2), and a projection point p2 obtained by the second camera is an o2-x3y3z3 coordinate Assuming that the projection point p3 (x3, y3, z3) expressed in the system and the projection point p4 (x4, y4, z4) when the focal length is f1 at the projection point p3, the object point P (X, Y, Z) )
[Expression 1]

And calculating.
[0017]
According to the configuration as described above, coordinates can be acquired using an enlarged image in the second camera, so that the scale of the apparatus is greatly reduced or the distance resolution is greatly improved in measuring a three-dimensional position. It becomes possible.
[0018]
The object photographing apparatus of the present invention is the first and second cameras having different photographing magnifications, and the first and second cameras have a photographing magnification smaller than that of the second camera. And detecting an object included in the video based on at least one of the two cameras and two videos of different shooting magnifications taken by the first camera and the second camera. And a video analysis unit that calculates a predetermined position parameter based on the two videos.
According to such a configuration, it is possible to detect an object with a wide field of view with the first camera, and to detect the position of the detected object with high accuracy using the first camera and the second camera. In this case, the distance between the first camera and the second camera can be reduced as compared with the prior art, and thus the size can be reduced.
[0019]
Here, the second camera is a telephoto camera capable of changing a photographing magnification. According to this configuration, for example, the shooting magnification of the second camera can be set to the shooting magnification that provides the highest accuracy in accordance with the distance and size of the object.
[0020]
The video analysis unit may further calculate the size of the object. According to this configuration, it is possible to obtain a guideline for changing the shooting magnification of the second camera. Further, for example, it is possible to distinguish whether the photographed object is a target object or a non-target object by using the size.
[0021]
Further, the video analysis unit sets an imaging magnification to be changed for the second camera in order to further magnify or reduce the object by the second camera based on the calculated position parameter. It can be characterized by calculating. According to this configuration, it is possible to automatically change the shooting magnification of the second camera in accordance with the shooting purpose.
[0022]
The video analysis unit may calculate an optical axis direction to be changed for the second camera based on the calculated position parameter of the object. According to this configuration, in the second camera, it is possible to obtain an optical axis direction in which the target object can be surely placed in the field of view.
[0023]
Furthermore, in the object photographing apparatus of the present invention, the second camera according to the support unit that supports the optical axis direction of the second camera so that the optical axis direction of the second camera can be changed, and the optical axis direction to be changed calculated by the video analysis unit. And a support driving unit that changes the direction of the optical axis. According to such a configuration, in the second camera, the target object can be surely automatically placed in the field of view.
[0024]
Further, the video analysis unit obtains a luminance difference between a background image on which a pre-recorded object is not photographed and a photographed image for each pixel, and continuously detects pixels having the luminance difference within a predetermined range. The object can be detected on the video image as a region where the object is photographed. According to such a configuration, it is possible to automatically determine the presence / absence of an object present in a predetermined visual field.
[0025]
In the object photographing apparatus of the present invention, the video analysis unit performs a process of detecting a convex portion from the outer shape of the object region, and when a plurality of convex portions are not detected, a plurality of objects are photographed in the object region. It can be characterized in that it is not determined that it has been done. In view of this configuration, when a plurality of objects are photographed in series in a photographed image, the shape of the image is often such that one convex portion is formed on one object. According to this configuration, when a plurality of convex portions cannot be found in the video shape, it is assumed that the convex shape is composed of one object.
[0026]
Further, the video analysis unit performs a process of detecting a convex portion from the outer shape of the object region, and when a plurality of convex portions are detected, the video analysis portion is detected from the first video captured by the first camera. Using the plurality of protrusions and the plurality of protrusions detected from the second image captured by the second camera, the distance to the plurality of protrusions is calculated, and the plurality of protrusions If the difference between the distances is equal to or greater than a predetermined threshold value, it can be determined that a plurality of objects are photographed in the object region.
According to this configuration, by detecting the difference in distance to each convex portion, it is possible to reliably detect that the image shape is formed of a series of a plurality of objects.
[0027]
Further, the video analysis unit may further divide the object region at a valley sandwiched between a plurality of convex portions, and treat each divided object region as a separate object.
According to this configuration, even when a plurality of objects are photographed in series, each object can be distinguished and handled.
[0028]
The video analysis unit may be characterized in that a part protruding in a predetermined direction in the outer shape of the object region is the convex part. According to this configuration, the convex portion can be easily defined, and the processing can be facilitated and speeded up.
[0029]
The object photographing apparatus of the present invention supports the first camera for photographing a predetermined range, the second camera whose photographing magnification can be changed, the second camera, and the second camera. While calculating a position parameter and a size of an object photographed in the predetermined range based on a camera support unit that changes an optical axis direction, and images captured by the first camera and the second camera. A video analysis unit that calculates a magnification and an optical axis of the second camera so that the object is enlarged to a predetermined size, and the camera support unit according to the direction calculated by the video analysis unit And a drive control unit for performing the drive control.
According to such a configuration, it is possible to automatically obtain a detailed video of the target object.
[0030]
Further, the present invention is the first and second cameras having different shooting magnifications, wherein the first camera and the second camera have a shooting magnification smaller than that of the second camera. An object photographing method for photographing an object using a video analysis unit for analyzing a video photographed by these cameras, wherein two photographing magnifications photographed by the first camera and the second camera are different. The method includes a step of detecting an object included in the video based on at least one of the video, and a step of calculating a predetermined position parameter based on the two videos for the detected object.
[0031]
The object photographing method of the present invention further includes a step of calculating the size of the detected object.
[0032]
The object photographing method of the present invention further includes a step of calculating a magnification to be changed for the second camera in order to photograph the detected object by enlarging or reducing the object. It can be.
[0033]
The object photographing method of the present invention may include a step of calculating an optical axis direction to be changed for the second camera based on the calculated position parameter of the object.
[0034]
In the object photographing method of the present invention, in the step of detecting the object, a luminance difference between a background image on which a pre-recorded object is not photographed and a photographed image is obtained for each pixel, and the luminance difference is predetermined. It is possible to detect the object on the video by using a region where pixels within the range of the object are continuous as an object region where the object is photographed.
[0035]
Further, in the object photographing method of the present invention, a step of detecting a convex portion from the outer shape of the object region, and when a plurality of convex portions are not detected, a plurality of objects are photographed in the object region. On the other hand, when a plurality of the convex portions are detected, the plurality of convex portions detected from the first image captured by the first camera and the second image captured by the second camera are determined. Using the plurality of protrusions detected from the image, the distance to the plurality of protrusions is calculated, and if the difference between the distances of the plurality of protrusions is equal to or greater than a predetermined threshold, the object region It may be characterized by including a step of determining that a plurality of objects are photographed.
[0036]
In the object photographing method of the present invention, when a plurality of the convex portions are detected, the object region is further divided at the valleys sandwiched by the plurality of convex portions, and each divided object region is assumed to be a separate object. It may be characterized by including a handling step.
[0037]
The present invention is also an object photographing method for photographing an object using a camera, the step of photographing a first video using a first camera, and detecting an object photographed in the first video. Shooting a second video by shooting at least a part of the first video including the object using a second camera capable of changing a shooting magnification; and the first video and the second video And calculating a magnification and a direction for capturing a third image obtained by enlarging the object by the second camera based on the object size and distance parameters. A step of controlling the second camera according to the calculated magnification and the calculated direction, and a step of photographing the third video using the second camera. It is intended to be equipped with.
[0038]
Further, the present invention is the first and second cameras having different shooting magnifications, wherein the first camera and the second camera have a shooting magnification smaller than that of the second camera. An object photographing program for causing a computer to execute an object photographing method for photographing an object using a video analysis unit for analyzing a video photographed by these cameras, the photographing being performed by the first camera and the second camera. A step of detecting an object included in the image based on at least one of the two images having different shooting magnifications, and a step of calculating a predetermined position parameter based on the two images for the detected object To be executed.
[0039]
In the object photographing program of the present invention, the object photographing program further includes a step of calculating the size of the object.
[0040]
The object photographing program of the present invention further includes a step of calculating a magnification to be changed for the second camera in order to photograph the detected object by enlarging or reducing the object. It can be.
[0041]
The object photographing program of the present invention may include a step of calculating an optical axis direction to be changed for the second camera based on the calculated position parameter of the object.
[0042]
In the object photographing program of the present invention, in the step of detecting the object, a luminance difference between a background image in which the pre-recorded object is not photographed and the photographed image is obtained for each pixel, and the luminance difference is determined in advance. It is possible to detect the object on the video by using a region where pixels within the range of the object are continuous as an object region where the object is photographed.
[0043]
Further, in the object photographing program of the present invention, a step of detecting a convex portion from the outer shape of the object region, and when a plurality of convex portions are not detected, a plurality of objects are photographed in the object region. On the other hand, when a plurality of the convex portions are detected, the plurality of convex portions detected from the first image captured by the first camera and the second image captured by the second camera are determined. Using the plurality of protrusions detected from the image, the distance to the plurality of protrusions is calculated, and if the difference between the distances of the plurality of protrusions is equal to or greater than a predetermined threshold, the object region It may be characterized by including a step of determining that a plurality of objects are photographed.
[0044]
In the object photographing program of the present invention, when a plurality of the convex portions are detected, the object region is further divided at the valleys sandwiched by the plurality of convex portions, and each divided object region is assumed to be another object. It may be characterized by including a handling step.
[0045]
In the embodiment, there is an object photographing program for causing a computer to execute an object photographing method for photographing an object using a camera, the step of photographing a first video using a first camera, and the first Detecting an object photographed in the image, photographing a second image by photographing at least a part of the first image including the object using a second camera capable of changing a photographing magnification; Calculating a size and distance parameter of the object based on the first video and the second video, and expanding the object by the second camera based on the size and distance parameter of the object. A step of calculating a magnification and a direction for photographing three images, a step of controlling the second camera in accordance with the calculated magnification and the calculated direction, Object imaging program for executing the steps on a computer for capturing the third image have been disclosed by using the camera.
[0046]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. First, the configuration of the object photographing apparatus of the present invention will be described. FIG. 1 is a block diagram showing a configuration example of an object photographing apparatus of the present invention. The object photographing apparatus includes a wide-angle camera (first camera) 11, a telephoto camera (second camera) 12, an electric camera platform (camera support base) 13, a video analysis unit 14, and a drive control unit 15.
[0047]
The wide-angle camera 11 captures the entire target area (for example, the entire set predetermined area), and outputs it to the video analysis unit 14 and the outside as a full-view video. FIG. 2 is a diagram showing an example of a panoramic image output by the object photographing apparatus of the present invention. In the example of FIG. 2, the object 21 and the object 22 are displayed on the panoramic image obtained from the wide-angle camera 11. The telephoto camera 12 magnifies and captures only a certain area and outputs it as a detailed video to the video analysis unit 14.
[0048]
The video analysis unit 14 determines whether or not a target object (target object) is captured in the panoramic image (detects the target object from the panoramic video), and when the object is captured (detected) If), the position of the target object on the panoramic video is acquired. Furthermore, when the target object is detected, the video analysis unit 14 calculates the three-dimensional position information of the target object using the panoramic video and the detailed video, and the telephoto camera uses the detailed information to calculate the detailed video of the target object. The magnification and direction of the telephoto camera for photographing the image are generated and output to the drive control unit 15. Note that the video analysis unit includes a CPU (not shown), and performs an operation for forming a video analysis and a control signal of the drive control unit, which will be described later, according to an object photographing program stored in a memory (not shown).
[0049]
The drive control unit 15 controls the electric camera platform 13 and the telephoto camera 12 according to the magnification and direction from the video analysis unit 14. The telephoto camera 12 is installed on the electric camera platform 13, and the direction of the telephoto camera 12 can be adjusted by the drive control unit 15 controlling the pan / tilt of the electric camera platform 13. In addition, the telephoto camera 12 includes a zoom mechanism, and the drive control unit 15 can adjust the magnification by controlling the zoom mechanism.
[0050]
Further, when the telephoto camera 12 acquires the detailed video of the target object, the video analysis unit 14 can output the detailed video to the outside. FIG. 3 is a diagram showing an example of a detailed video output by the object photographing apparatus of the present invention. In the example of FIG. 3, the object 21 is shown in the detailed video obtained from the telephoto camera 12.
[0051]
Next, the operation of the object photographing apparatus of the present invention will be described. FIG. 4 is a flowchart showing an example of the operation of the object photographing apparatus of the present invention.
First, the video analysis unit 14 acquires a full-view video from the wide-angle camera 11 (S1). Next, the size and position on the video screen are extracted (detected) for the object region shown in the full-view video using the full-view video (S2). Details of the object region extraction will be described later. Next, the video analysis unit 14 generates object position information Oi describing the object area number i, size, position, and already-divided flag for each object area, and sets L = {O1, O2,. The position information list is held (S3). The already-divided flag is a flag indicating whether or not the division processing has been performed in Oi, and the initial value is set to false.
[0052]
Next, the video analysis unit 14 determines whether L is empty (S4). If L is empty (S4, Yes), the flow ends. On the other hand, if L is not empty (S4, No), one Oi is extracted from L, and Oi is determined as a target object region (S5).
Next, the video analysis unit 14 determines the magnification and direction of the telephoto camera so as to capture the target object region based on Oi, and outputs these to the drive control unit 15 to control the telephoto camera 12 ( S6). Details of the control of the telephoto camera will be described later. Next, the video analysis unit 14 acquires a detailed video from the telephoto camera 12 in which the magnification and the direction rate are adjusted (S7).
[0053]
Next, the video analysis unit 14 determines whether the target object region has already been divided (S8). That is, it is determined whether or not the already divided flag of Oi is true.
If the already-divided flag is true (S8, Yes), the detailed video is output (S9), Oi is deleted from L, and the process returns to S4. On the other hand, when the already-divided flag is false (S8, No), the video analysis unit 14 determines whether or not the target object region can be divided by the shape (S10). Details of the division by shape will be described later.
[0054]
If division by shape is impossible (S10, No), the existing division flag is set to true, and the process proceeds to step S9. On the other hand, when the division by the shape is possible (S10, Yes), it is determined whether the division by the distance is possible in the target object region (S11).
[0055]
If division by distance is impossible (S11, No), the existing division flag is set to true, and the process proceeds to step S9. On the other hand, when the division by the distance is possible (S11, Yes), the object is divided into a plurality of objects using the distance in the target object region (S12), and Oi is deleted from L and the plurality obtained by the division is obtained. The new object information On + 1, On + 1,... On + m (m is the number of objects obtained by dividing) is added to L, the already-divided flag is set to true, and the process returns to step S4. Details of division by distance will be described later.
[0056]
With the flow as described above, it is possible to output detailed videos for all object regions.
By storing steps S1 to S12 as an object photographing program in a computer-readable recording medium, the object photographing method by the object photographing apparatus can be executed by the computer. The computer-readable recording medium holds a portable storage medium such as a CD-ROM, a flexible disk, a DVD disk, a magneto-optical disk, an IC card, and a computer program in addition to a semiconductor memory such as a ROM and a RAM. Or other computer and its database, and further a transmission medium on the line.
[0057]
Next, the extraction of the object area in the process S2 will be described in detail. The video analysis unit 14 prepares a background video that is a panoramic video in which only a background without an object is captured in advance. When acquiring the panoramic image, the video analyzing unit 14 obtains the luminance difference between the background video and the panoramic image for each pixel, sets the pixel value that the luminance difference is larger than a predetermined threshold to 1, and sets the other pixel values to 0. A full-view video of a binary image is generated. Next, the continuity of the pixels having a pixel value of 1 in the panoramic image of the binary image is examined, and an area in which the continuous pixels are combined into one is extracted as an object area.
[0058]
Next, an example of the control of the telephoto camera in step S6 will be described in detail. The video analysis unit 14 calculates the direction and magnification of the telephoto camera 12 based on the object position information Oi of the target object as follows. Initially, the direction of the telephoto camera 12 is adjusted to the pan angle θ = 0 and the tilt angle ψ = 0 so as to be parallel to the optical axis of the wide-angle camera 11, and the telephoto is set to be equal to the focal length f1 of the wide-angle camera 11. The focal length of the camera 12 is set to f1. In this state, the approximate three-dimensional position and size of the target object are calculated by parallel stereo viewing at the inter-camera distance b. Using the approximate distance and size of the target object, the pan angle θ, the tilt angle ψ, and the magnification m are determined so that the target object fits in the detailed image, and using these, the drive control unit 15 The telephoto camera 12 is controlled to acquire a detailed video again. Specifically, the center position of the target object in three dimensions is (X0, Y0, Z0), the width, height, and depth representing the size are W, H, and D, respectively, and the horizontal width of the target object to be included in the detailed video. Assuming k, the pan angle θ, the tilt angle ψ, and the magnification m are given by equations (3) to (5), respectively.
[0059]
θ = tan ^ (− 1) {(X0−b) / Z0} (3)
ψ = tan ^ (− 1) (Y0 / Z0) (4)
m = Z0 / X0 · k (5)
[0060]
When the magnification m is determined, the focal length f2 to be set for the telephoto camera 12 is given by equation (6).
f2 = m · f1 (6)
The present invention is not limited to the control of the telephoto camera 12 described above. For example, the position (two-dimensional position) and the size of the object on the whole-view video are separated in a predetermined area captured by the wide-angle camera. For example, when the approximate position and size of the object can be known, the telephoto camera 12 may be controlled based on the known value. For example, when photographing an object conveyed by a belt conveyor or the like, such a method can be adopted.
[0061]
Alternatively, for example, the telephoto camera 12 takes a video while scanning a predetermined range, and in each video, performs a comparison process with a full-view video and acquires a common object, thereby acquiring its position and size. Anyway.
[0062]
Next, the determination of object division based on the shape of process S10 will be described in detail. The video analysis unit 14 extracts a convex portion from the outer shape of the object region in the full-view video, thereby determining whether a plurality of objects are overlapped or a single object. Specifically, as shown in FIG. 5, for example, a convex portion is extracted from the outer shape of the upper part of the target object region 30 in the full-view video, and when a plurality of convex portions are extracted, it can be divided into a plurality of objects. Judge that there is sex. On the other hand, when one convex part is extracted, it is determined that the object is not divided. Therefore, in the example of FIG. 5, since two convex portions of the convex portion A and the convex portion B are detected from the target object region 30, it is determined that the target object region 30 may be divided into two objects. .
[0063]
Next, the object division according to the distances of the processes S11 and S12 will be described in detail. The video analysis unit 14 extracts convex portions from the outer shape of the target object region even in the detailed video in the same manner as the processing S10, and measures the distance between the convex portions. Here, for example, the object division according to the distance when the panoramic view image and the detailed image shown in FIG. Two convex portions existing above the outer shape of the target object region 30 in the full-view video are wx1L and wx2L, and two convex portions existing above the outer shape of the target object region 30 in the detailed video are ZX1R and ZX2R, and the focus of the wide-angle camera. When the distance is f1, the focal length of the telephoto camera is f2, the pan angle of the telephoto camera is θ, the tilt angle is ψ, and the inter-camera distance is b, the distances Z1 and Z2 of the two convex portions are the expressions shown in FIG. Given in.
[0064]
Next, the video analysis unit 14 determines whether or not the difference ΔZ = | Z1−Z2 | between the two distances Z1 and Z2 is greater than or equal to a threshold value. It is determined that there is a significant difference, and the target object region is divided. As shown in FIG. 8, the target object region 30 is divided at the position of the valley sandwiched between the two protrusions A and B, and the divided regions are set as new object regions 31 and 32.
[0065]
Here, the operation principle of distance measurement will be described in detail. Whereas a conventional stereo camera uses two identical cameras, the video analysis unit 14 of the present invention uses the two cameras to measure distance even when using a wide-angle camera 11 and a telephoto camera 12 having different magnifications. It can be performed.
[0066]
FIG. 9 is a diagram showing an operation principle of distance measurement in the object photographing apparatus of the present invention. Here, for the sake of simplicity, a rotation in a two-dimensional plane in which only the pan angle (or yaw angle) of the pan head changes is considered, but three-dimensional in which the pan angle and tilt angle (or pitching angle) change. Generality is maintained even when rotating in space.
[0067]
In FIG. 9, the inter-camera distance between the wide-angle camera C1 and the telephoto camera C2 is b, the imaging surface of the wide-angle camera is I1, and the imaging surface of the telephoto camera C2 is I2. Further, the coordinate system of the wide-angle camera C1 is o1-x1y1z1, the focal length to the imaging plane I1 in the wide-angle camera C1 is f1, the coordinate system of the telephoto camera C2 is o2-x2y2z2, and the focal distance to the imaging plane I2 in the telephoto camera C2 is Let f2.
[0068]
Also, when the angle obtained by rotating the telephoto camera C2 around the y axis is the pan angle and the angle obtained by rotating the telephoto camera C2 around the x axis is the tilt angle, the optical axis is parallel to the wide angle camera. A coordinate system obtained by rotating the telephoto camera C2 by the pan angle θ and the tilt angle ψ is defined as o2-x3y3z3. Also, the origin and direction are the same as o2-x3y3z3, the coordinate system of the virtual camera with the focal length f1 is o2-x4y4z4, and the imaging surface of the virtual camera is I4.
[0069]
At this time, the position where the object point P (X, Y, Z), which is the position of the object in the three-dimensional space, is projected on the imaging surface I1 of the wide-angle camera is the projection point p1 (x1, y1, z1), and the telephoto camera. Assuming that the position projected onto the imaging surface I2 is the projection point p2 (x2, y2, z2), the relationship of the equation shown in FIG. 10 is established between the object point and each projection point.
Next, a rotation matrix R for converting the coordinates of the telephoto camera C2 so that the optical axis is parallel to the wide-angle camera C1 is given by the equation shown in FIG.
When this equation is used, a projection point p3 (x3, y3, z3) in which the projection point p2 obtained by the telephoto camera C2 is represented in the o2-x3y3z3 coordinate system is represented by the equation shown in FIG.
[0070]
Next, the projection point p4 (x4, y4, z4) when the focal length is f1 at the projection point p3 is expressed by the equation shown in FIG.
That is, the projection point p2 of the telephoto camera C2 can be converted into the projection point p4 of the virtual camera C3 having the same focal length and the same optical axis as the wide-angle camera C1. Accordingly, the object point P (X, Y, Z) is given by the equation shown in FIG. 14 using the projection point p1 and the projection point p2.
[0071]
As described above, even if the wide-angle camera and the telephoto camera have different magnifications, if the projection point (x1, y1) in the wide-angle camera C1 and the projection point (x2, y2) in the telephoto camera C2 can be specified, the object point P Can be directly calculated. By using such a calculation method, the distance to the target object can be calculated using only the wide-angle camera and the telephoto camera without adding a separate camera and preparing a stereo camera.
[0072]
Here, the coordinate x1 on the image captured by the wide-angle camera C1 is compared with the coordinate x4 calculated from the coordinates x2, y2, and z2 on the image captured by the telephoto camera C2. Considering that the focal length of the telephoto camera is sufficiently larger than the focal length of the wide-angle camera, the accuracy of p4 is sufficiently higher than the accuracy of p1. For example, if the telephoto camera C2 performs zooming 10 times, x4 has a resolution approximately 10 times that of x1.
[0073]
Therefore, compared with a stereo camera using two wide-angle cameras C1 at an inter-camera distance b, the object photographing apparatus of the present invention has a resolution 10 times that at the distance Z of the target object. That is, in order to realize the same distance resolution, the inter-camera distance b can be reduced to 1/10.
[0074]
As in the example described above, in order to separate two objects 30 cm away from each other at a distance of 20 m from the camera as individual objects according to the difference in distance, a VGA (640 × 480 pixels) with a field angle of 60 degrees is used. The distance b between cameras when using two wide-angle cameras is 2.3 m, whereas the distance between cameras b when using this wide-angle camera and a telephoto camera that performs zooming 10 times is 23 cm. It can be seen that the same distance resolution can be realized on a very small scale.
[0075]
The object photographing apparatus of the present invention can be used in a system that identifies a plurality of objects flowing on a conveyor using a panoramic image over a wide range and inspects the appearance of the object using a detailed image.
Further, the object photographing apparatus of the present invention can be used in a system for managing delivery by reading characters written on a sticker using a detailed video for an object with a small sticker attached in advance.
In addition, the object photographing apparatus of the present invention monitors whether there is an intruding object in the region using the panoramic image, accumulates detailed images of the intruding object, or identifies the object using image recognition. The present invention can be used in a system that performs appropriate notification according to the type of object.
The object photographing apparatus of the present invention can also be used as a distance meter that can be made compact.
[0076]
(Additional remark 1) It is the 1st and 2nd camera from which a photography magnification differs mutually, Comprising: The 1st and 2nd camera in which the photography magnification of the 1st camera is smaller than the photography magnification of the 2nd camera,
A video analysis unit for calculating a predetermined positional parameter for a common object photographed on the basis of two images having different photographing magnifications photographed by the first camera and the second camera;
An object photographing apparatus comprising:
(Supplementary note 2) In the object photographing device according to supplementary note 1,
2. The object photographing apparatus according to claim 1, wherein the first camera is a wide-angle camera, and the second camera is a telephoto camera.
(Supplementary note 3) In the object photographing apparatus according to supplementary note 1,
The object photographing apparatus characterized in that the predetermined position parameter calculated by the video analysis unit is at least one position parameter among three position parameters that determine a three-dimensional position of the object.
(Appendix 4) In the object photographing device described in appendix 3,
The video analysis unit is configured such that the distance between the first camera and the second camera is b, the coordinate system of the first camera is o1-x1y1z1, the focal length is f1, and the coordinate system of the second camera O2-x2y2z2, the focal length is f2, the angle obtained by rotating the second camera around the y-axis is the pan angle, and the angle obtained by rotating the second camera around the x-axis is the tilt angle The coordinate system obtained by rotating the second camera by the pan angle θ and the tilt angle ψ so that the optical axis is parallel to the wide-angle camera is o2-x3y3z3, and the origin and direction are the same as o2-x3y3z3. When the coordinate system of the virtual camera with the focal length f1 is set to o2-x4y4z4, the object point P (X, Y, Z) that is the position of the object in the three-dimensional space is the position of the first camera. The position projected on the imaging surface is the projection point p1 ( x1, y1, z1), the position projected on the imaging surface of the second camera is the projection point p2 (x2, y2, z2), and the projection point p2 obtained by the second camera is in the o2-x3y3z3 coordinate system. When the projected point p3 (x3, y3, z3) is represented, and the projected point p4 (x4, y4, z4) when the focal length is f1 at the projected point p3,
The object point P (X, Y, Z)
[Expression 2]

An object photographing device characterized by calculating:
(Additional remark 5) It is the 1st and 2nd camera from which a photography magnification differs mutually, Comprising: The 1st and 2nd camera in which the photography magnification of the 1st camera is smaller than the photography magnification of the 2nd camera,
An object included in the image is detected based on at least one of the two images having different shooting magnifications, which are captured by the first camera and the second camera, and the detected object is detected based on the two images. A video analysis unit for calculating a predetermined position parameter
An object photographing apparatus comprising:
(Appendix 6) In the object photographing device described in appendix 5,
2. The object photographing apparatus according to claim 1, wherein the second camera is a telephoto camera capable of changing a photographing magnification.
(Appendix 7) In the object photographing device described in appendix 5,
The object photographing apparatus, wherein the video analysis unit further calculates the size of the object.
(Supplementary note 8) In the object photographing apparatus according to supplementary note 6,
The image analysis unit calculates an imaging magnification to be changed for the second camera in order to further magnify or reduce the object by the second camera.
(Supplementary note 9) In the object photographing apparatus according to supplementary note 8,
The object imaging apparatus, wherein the video analysis unit calculates an optical axis direction to be changed for the second camera based on the calculated position parameter of the object.
(Supplementary note 10) In the object photographing apparatus according to supplementary note 9,
A support part for supporting the optical axis direction of the second camera in a changeable manner;
An object photographing apparatus comprising: a support unit driving unit configured to change an optical axis direction of the second camera according to the optical axis direction to be changed calculated by the video analysis unit.
(Supplementary note 11) In the object photographing device according to supplementary note 5,
The video analysis unit obtains a luminance difference between a background image on which a pre-recorded object is not photographed and the photographed image for each pixel, and a continuous region of pixels in which the luminance difference is within a predetermined range An object photographing apparatus, wherein the object is detected on an image as an object region where the object is photographed.
(Supplementary Note 12) In the object photographing apparatus according to Supplementary Note 11,
The video analysis unit performs a process of detecting a convex portion from the outer shape of the object region, and does not determine that a plurality of objects are photographed in the object region when a plurality of the convex portions are not detected. An object photographing device.
(Supplementary note 13) In the object photographing apparatus according to supplementary note 11,
The video analysis unit performs a process of detecting a convex portion from the outer shape of the object region, and when a plurality of the convex portions are detected, a plurality of video images detected by the first camera are detected. Using the convex portions and the plurality of convex portions detected from the second image captured by the second camera, the distance to the plurality of convex portions is calculated, and the distance between the plurality of convex portions If the difference is equal to or greater than a predetermined threshold value, it is determined that a plurality of objects are photographed in the object region.
(Supplementary note 14) In the object photographing device according to supplementary note 13,
The image analysis unit further divides an object region at a valley sandwiched between a plurality of convex portions, and handles each divided object region as a separate object.
(Supplementary Note 15) In the object photographing apparatus according to Supplementary Note 11,
The image analysis unit is characterized in that a portion protruding in a predetermined direction in the outer shape of the object region is the protrusion.
(Supplementary Note 16) a first camera for photographing a predetermined range;
A second camera whose shooting magnification can be changed;
A camera support unit that supports the second camera and changes an optical axis direction of the second camera;
Based on images taken by the first camera and the second camera, a position parameter and a size of an object photographed in the predetermined range are calculated, and the object is enlarged to a predetermined size. A video analysis unit that calculates a magnification and an optical axis of the second camera,
A drive control unit that performs drive control of the camera support unit according to the direction calculated by the video analysis unit;
An object photographing apparatus comprising:
(Supplementary Note 17) First and second cameras having different shooting magnifications, the first and second cameras having a shooting magnification of the first camera smaller than that of the second camera, and these An object photographing method for photographing an object using an image analysis unit for analyzing an image photographed by a camera,
A step of detecting an object included in the video based on at least one of the two videos having different shooting magnifications shot by the first camera and the second camera; Calculating a predetermined position parameter based on:
An object photographing method comprising:
(Supplementary note 18) In the object photographing method according to supplementary note 17,
An object photographing method comprising the step of further calculating a size of the detected object.
(Supplementary note 19) In the object photographing method according to supplementary note 17,
The object photographing method further comprising a step of calculating a magnification to be changed for the second camera in order to photograph the detected object by enlarging or reducing the object.
(Supplementary note 20) In the object photographing method according to supplementary note 17,
An object photographing method comprising: calculating an optical axis direction to be changed for the second camera based on the calculated position parameter of the object.
(Supplementary note 21) In the object photographing method according to supplementary note 17,
In the step of detecting the object, a luminance difference between a background image in which a pre-recorded object is not photographed and the photographed image is obtained for each pixel, and pixels whose luminance difference is within a predetermined range are continuously obtained. An object photographing method, wherein the object is detected on an image by using a region in which the object is photographed as an object region.
(Supplementary note 22) In the object photographing method according to supplementary note 21,
Performing a convex detection process from the outer shape of the object region;
When a plurality of the convex portions are not detected, it is not determined that a plurality of objects are photographed in the object region, whereas when a plurality of the convex portions are detected, the first image photographed by the first camera is used. The distances to the plurality of protrusions are calculated using the plurality of protrusions detected from the image of the image and the plurality of protrusions detected from the second image captured by the second camera. An object photographing method comprising: determining that a plurality of objects are photographed in the object region if a difference in distance between the plurality of convex portions is equal to or greater than a predetermined threshold.
(Supplementary note 23) In the object photographing method according to supplementary note 22,
An object characterized in that, when a plurality of convex portions are detected, the object region is further divided at valleys sandwiched between the plurality of convex portions, and each divided object region is handled as a separate object. Shooting method.
(Supplementary Note 24) An object photographing method for photographing an object using a camera,
Photographing a first video using a first camera;
Detecting an object photographed in the first video;
Photographing at least a part of the first image including the object using a second camera capable of changing a photographing magnification and photographing the second image;
Calculating the size and distance parameters of the object based on the first video and the second video;
Calculating a magnification and a direction for capturing a third image obtained by enlarging the object by the second camera based on the size and distance parameters of the object;
Controlling the second camera according to the calculated magnification and the calculated direction;
Photographing the third image using the second camera;
An object photographing method comprising:
(Supplementary Note 25) First and second cameras having different shooting magnifications, wherein the first camera has a shooting magnification smaller than that of the second camera, and these An object shooting program for causing a computer to execute an object shooting method for shooting an object using a video analysis unit that analyzes a video shot by a camera,
A step of detecting an object included in the video based on at least one of the two videos having different shooting magnifications shot by the first camera and the second camera; Calculating a predetermined position parameter based on:
Object shooting program that causes a computer to execute.
(Supplementary note 26) In the object photographing program according to supplementary note 25,
An object photographing program comprising the step of further calculating a size of the detected object.
(Supplementary note 27) In the object photographing program according to supplementary note 25,
The object photographing program further comprises a step of calculating a magnification to be changed for the second camera in order to photograph the detected object by enlarging or reducing the object.
(Supplementary note 28) In the object photographing program according to supplementary note 25,
An object photographing program comprising a step of calculating an optical axis direction to be changed for the second camera based on the calculated position parameter of the object.
(Supplementary note 29) In the object photographing program according to supplementary note 25,
In the step of detecting the object, a luminance difference between a background image in which a pre-recorded object is not photographed and the photographed image is obtained for each pixel, and pixels whose luminance difference is within a predetermined range are continuously obtained. An object photographing program, wherein the object is detected on a video as an object region where the object is photographed.
(Supplementary Note 30) In the object photographing program according to Supplementary Note 29,
Performing a convex detection process from the outer shape of the object region;
When a plurality of the convex portions are not detected, it is not determined that a plurality of objects are photographed in the object region, whereas when a plurality of the convex portions are detected, the first image captured by the first camera is detected. The distances to the plurality of protrusions are calculated using the plurality of protrusions detected from the image of the image and the plurality of protrusions detected from the second image captured by the second camera. An object photographing program comprising a step of determining that a plurality of objects are photographed in the object region if a difference in distance between the plurality of convex portions is equal to or greater than a predetermined threshold value.
(Supplementary note 31) In the object photographing program according to supplementary note 30,
An object characterized in that, when a plurality of convex portions are detected, the object region is further divided at valleys sandwiched between the plurality of convex portions, and each divided object region is handled as a separate object. Shooting program.
(Supplementary note 32) An object photographing program for causing a computer to execute an object photographing method for photographing an object using a camera,
Photographing a first video using a first camera;
Detecting an object photographed in the first video;
Photographing at least a part of the first image including the object using a second camera capable of changing a photographing magnification and photographing the second image;
Calculating the size and distance parameters of the object based on the first video and the second video;
Calculating a magnification and a direction for capturing a third image obtained by enlarging the object by the second camera based on the size and distance parameters of the object;
Controlling the second camera according to the calculated magnification and the calculated direction;
Photographing the third video using the second camera;
Object shooting program that causes a computer to execute.
[0077]
【The invention's effect】
As described above, according to the present invention, the wide-angle camera (first camera) and the telephoto camera (second camera) having different shooting magnifications can greatly reduce the scale of the apparatus without reducing the measurement accuracy. It is possible to measure the three-dimensional position of the target object by improving the distance resolution. It is also possible to obtain a detailed image of the object with a telephoto camera. Furthermore, it is possible to divide an object region composed of a plurality of objects into object regions of individual objects with high accuracy, and to acquire a detailed video in which individual objects are accurately enlarged.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an example of the configuration of an object photographing apparatus of the present invention.
FIG. 2 is a diagram showing an example of a panoramic image output by the object photographing apparatus of the present invention.
FIG. 3 is a diagram illustrating an example of a detailed video output by the object photographing apparatus of the present invention.
FIG. 4 is a flowchart showing an example of the operation of the object photographing apparatus of the present invention.
FIG. 5 is a diagram illustrating an example of a target object region composed of a plurality of objects.
FIG. 6 is a diagram illustrating an example of a panoramic image and a detailed image obtained by capturing a target object region including a plurality of objects.
FIG. 7 is an equation for obtaining distances Z1 and Z2 of convex portions.
FIG. 8 is a diagram illustrating an example of division of a target object region by shape.
FIG. 9 is a diagram showing an operation principle of distance measurement in the object photographing apparatus of the present invention.
FIG. 10 is an expression showing a relationship between an object point position and each projection point position.
FIG. 11 is an equation showing a rotation matrix R for converting the coordinates of the telephoto camera C2.
FIG. 12 is an equation for converting an o2-x2y2z2 coordinate system to an o2-x3y3z3 coordinate system.
FIG. 13 is an expression showing a projection point p4 when the focal length is f1 at the projection point p3.
FIG. 14 is an expression showing an object point P using a projection point p1 and a projection point p2.
FIG. 15 is a diagram illustrating a problem in the first conventional method.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 Wide-angle camera, 12 Telephoto camera, 13 Electric pan head, 14 Image | video analysis part, 15 Drive control part, 21, 22 Object, 30 Target object area | region, 31, 32 Object area | region.

Claims (10)

First and second cameras having different shooting magnifications, wherein the first camera has a shooting magnification smaller than that of the second camera;
An object comprising: a video analysis unit that calculates a predetermined positional parameter for a common object photographed based on two images with different photographing magnifications photographed by the first camera and the second camera Shooting device. The object photographing apparatus according to claim 1,
2. The object photographing apparatus according to claim 1, wherein the first camera is a wide-angle camera, and the second camera is a telephoto camera. First and second cameras having different shooting magnifications, wherein the first camera has a shooting magnification smaller than that of the second camera;
An object included in the image is detected based on at least one of the two images having different shooting magnifications, which are captured by the first camera and the second camera, and the detected object is detected based on the two images. And an image analysis unit for calculating a predetermined position parameter. In the object imaging device according to claim 3,
2. The object photographing apparatus according to claim 1, wherein the second camera is a telephoto camera capable of changing a photographing magnification. A first camera for photographing a predetermined range;
A second camera whose shooting magnification can be changed;
A camera support unit that supports the second camera and changes an optical axis direction of the second camera;
Based on images taken by the first camera and the second camera, a position parameter and a size of an object photographed in the predetermined range are calculated, and the object is enlarged to a predetermined size. A video analysis unit that calculates a magnification and an optical axis of the second camera,
An object photographing apparatus comprising: a drive control unit that performs drive control of the camera support unit according to the direction calculated by the video analysis unit. First and second cameras having different shooting magnifications, the first and second cameras having a shooting magnification of the first camera smaller than that of the second camera, and these cameras. An object photographing method for photographing an object using a video analysis unit for analyzing a captured image,
A step of detecting an object included in the video based on at least one of the two videos having different shooting magnifications shot by the first camera and the second camera; And a step of calculating a predetermined position parameter based on the object photographing method. The object photographing method according to claim 6,
An object photographing method comprising the step of further calculating a size of the detected object. An object photographing method for photographing an object using a camera,
Photographing a first video using a first camera;
Detecting an object photographed in the first video;
Photographing at least a part of the first image including the object using a second camera capable of changing a photographing magnification and photographing the second image;
Calculating the size and distance parameters of the object based on the first video and the second video;
Calculating a magnification and a direction for capturing a third image obtained by enlarging the object by the second camera based on the size and distance parameters of the object;
Controlling the second camera according to the calculated magnification and the calculated direction;
An object photographing method comprising: photographing the third video using the second camera. First and second cameras having different shooting magnifications, the first and second cameras having a shooting magnification of the first camera smaller than that of the second camera, and these cameras. An object shooting program for causing a computer to execute an object shooting method for shooting an object using a video analysis unit that analyzes the captured video,
A step of detecting an object included in the video based on at least one of the two videos having different shooting magnifications shot by the first camera and the second camera; An object photographing program for causing a computer to execute a step of calculating a predetermined position parameter based on the computer program. In the object imaging program according to claim 9,
An object photographing program comprising the step of further calculating a size of the detected object.

Images