JP7632470B2 - データ処理装置、データ処理方法、及びプログラム - Google Patents

Description

本発明は、データ処理装置、データ処理方法、及びプログラムに関する。

空港等では、レーダによるボディスキャナが導入されており、危険物の検出を行う。非特許文献１のレーダシステムは、図２１（Ａ）のx-y平面（図２１のパネル１）に置かれたアンテナ（レーダ２）が電波を照射し、物体（歩行者）から反射してくる信号を計測する。計測された信号を基にレーダイメージを生成し、生成されたレーダイメージから危険物（図２１（Ｂ）の対象物）を検出する仕組みである。

また特許文献１には、監視領域に存在する対象物を識別する際に、以下の処理を行うことが記載されている。まず、３次元レーザスキャナの測定結果から、監視領域に存在する複数の物体までの距離データを取得する。次いで、現在の距離データと、過去の距離データとの差分が閾値以上になった変化領域を抽出する。次いで、現在の距離データと変化領域とに基づく正面視点画像について、３次元レーザスキャナの視点を移動させた画像となるように変換した画像を作成する。そして、正面視点画像と、座標変換部が作成した画像とに基づき、監視領域に存在する複数の物体を識別する。

国際公開第２０１８／１４２７７９号

David M. Sheen, Douglas L. McMakin and Thomas E. Hall, "Three-Dimensional Millimeter-Wave Imaging for Concealed Weapon Detection," IEEE Transactions on Microwave Theory and Techniques, vol. 49, No.9, Sep. 2001.

生成されるレーダイメージは図２１のx,y,zを軸とする３次元のボクセルによって表現される。図２１において、３次元レーダイメージをｚ方向に投影したものが図２２である。機械学習を用いた物体検出では図２２（Ａ）に示すようにレーダイメージにおける検出物体のラベル付けが必要である。図２２（Ｂ）のようにレーダイメージにおいて検出対象の形状を視認できれば、ラベル付けが可能である。一方で、図２２（Ｂ）のように検出対象の姿勢が異なることでレーダーイメージにおける検出対象の形状が不鮮明で視認できない場合が多々ある。これは、検出対象の形状の鮮明度が、検出対象の大きさおよび姿勢や反射強度などに依存することに起因する。この場合、ラベル付けが困難になり、誤ったラベル付けを誘発することになる。結果として、誤ったラベルによる学習で検出性能が悪いモデルが生成されうる。

本発明が解決しようとする課題の一つは、イメージにおけるラベル付けの精度を上げることにある。

本発明によれば、第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定手段と、
前記第一カメラから前記対象物までの奥行距離を抽出する対象物奥行距離抽出手段と、
前記画像内の前記対象物の位置を、前記奥行距離を用いて世界座標系の前記対象物の位置へ変換する座標変換手段と、
世界座標系の前記第一カメラの位置、及びセンサの計測結果からイメージを生成する際に用いられるイメージング情報を用いて、世界座標系の前記対象物の位置を前記イメージにおける前記対象物のラベルへ変換するラベル変換手段と、
を備えるデータ処理装置が提供される。

本発明によれば、第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定手段と、
レーダ信号に基づいて生成されたレーダイメージを用いて、前記第一カメラから対象物までの奥行距離を抽出する対象物奥行距離抽出手段と、
前記画像内の前記対象物の位置を、前記奥行距離に基づいて世界座標系における前記対象物の位置へ変換する座標変換手段と、
世界座標系の前記第一カメラの位置及びセンサのイメージング情報を用いて、世界座標系の対象物位置を前記レーダイメージにおける前記対象物のラベルへ変換するラベル変換手段と、
を備えるデータ処理装置が提供される。

本発明によれば、第一カメラの画像に基づいて、対象物に取り付けられたマーカの前記画像内の位置を、前記画像内の前記対象物の位置として特定するマーカ位置特定手段と、
センサが生成したレーダ信号に基づいて生成されたレーダイメージを用いて、前記第一カメラから対象物までの奥行距離を抽出する対象物奥行距離抽出部と、
前記第一カメラから対象物までの奥行距離を用いて、前記画像内の対象物の位置を世界座標系の前記対象物の位置へ変換する座標変換部と、
世界座標系のカメラ位置及び前記センサのイメージング情報を用いて、世界座標系の前記対象物の位置を前記レーダイメージにおける前記対象物のラベルへ変換するラベル変換部と、
を備えるデータ処理装置が提供される。

本発明によれば、コンピュータが、
第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定処理と、
前記第一カメラから前記対象物までの奥行距離を抽出する対象物奥行距離抽出処理と、
前記画像内の前記対象物の位置を、前記奥行距離を用いて世界座標系の前記対象物の位置へ変換する座標変換処理と、
世界座標系の前記第一カメラの位置、及びセンサの計測結果からイメージを生成する際に用いられるイメージング情報を用いて、世界座標系の前記対象物の位置を前記イメージにおける前記対象物のラベルへ変換するラベル変換処理と、
を行うデータ処理方法が提供される。

本発明によれば、コンピュータに、
第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定機能と、
前記第一カメラから前記対象物までの奥行距離を抽出する対象物奥行距離抽出機能と、
前記画像内の前記対象物の位置を、前記奥行距離を用いて世界座標系の前記対象物の位置へ変換する座標変換機能と、
世界座標系の前記第一カメラの位置、及びセンサの計測結果からイメージを生成する際に用いられるイメージング情報を用いて、世界座標系の前記対象物の位置を前記イメージにおける前記対象物のラベルへ変換するラベル変換機能と、
持たせるプログラムが提供される。

本発明によれば、イメージにおけるラベル付けの精度を上げることができる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

第一実施形態のブロック図である。 第一実施形態のフローチャート図である。 第二実施形態のブロック図である。 第二実施形態のフローチャート図である。 第三実施形態のブロック図である。 第三実施形態のフローチャート図である。 第四実施形態のブロック図である。 第四実施形態のフローチャート図である。 第五実施形態のブロック図である。 第五実施形態のフローチャート図である。 第六実施形態のブロック図である。 第六実施形態のフローチャート図である。 第七実施形態のブロック図である。 第七実施形態のフローチャート図である。 第八実施形態のブロック図である。 第八実施形態のフローチャート図である。 第九実施形態のブロック図である。 第九実施形態のフローチャート図である。 第十実施形態のブロック図である。 第十実施形態のフローチャート図である。 システム全体像（（Ａ）立体図、（Ｂ）上面図）を表す図である。 レーダイメージにおけるラベルの課題を示す図である。 実施形態（（Ａ）立体図、（Ｂ）上面図）を表す図である。 実施形態のラベル付け（（Ａ）カメラ画像のラベル、（Ｂ）レーダイメージのラベル）の例を示す図である。 カメラ位置のバリエーションを示す図である。 カメラ画像における対象物位置特定方法のバリエーションを示す図である。 対象物奥行距離を示す図である。 ３次元レーダイメージ（レーダ座標系）を表す図である。 ラベル変換部の動作例を示す図である。 位置合わせの動作例を示す図である。 奥行き距離抽出の例を示す図である。 マーカの種類を示す図である。 マーカの歪みの例を示す図である。 データ処理装置のハードウェア構成の一例を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

[第１の実施の形態]
[構成の説明]
図１を参照して、第１の実施の形態について説明する。データ処理装置１００は、計測タイミングを同期させるための同期信号を送信する同期部１０１と、第一カメラにて撮像を指示する第一カメラ計測部１０２と、第一カメラの画像における対象物の位置（例えば図２４（Ａ）に示す画像内のラベル）を特定する対象物位置特定部１０３と、カメラ画像に基づいて第一カメラから対象物までの奥行距離を抽出する対象物奥行距離抽出部１０４と、第一カメラの画像内における対象物の位置を第一カメラから対象物までの奥行距離に基づいて世界座標系における対象物の位置へ変換する座標変換部１０５と、世界座標系における対象物の位置をレーダイメージにおける対象物のラベル（例えば図２４（Ｂ）に示すレーダイメージ内のラベル）へと変換するラベル変換部１０６と、第一カメラの位置及びレーダイメージング情報を保持する記憶部１０７と、レーダのアンテナにおいて信号計測を行うレーダ計測部１０８と、レーダ計測信号からレーダイメージを生成するイメージング部１０９と、を備えている。

データ処理装置１００は、レーダーシステムも一部である。このレーダーシステムは、図２３に示す、カメラ２０及びレーダー３０も含んでいる。カメラ２０は、後述する第一カメラの一例である。なお、図２５の（Ｂ）に示すように、カメラ２０は複数設けられることもある。この場合、複数のカメラ２０の少なくとも一つは第一カメラの一例である。

同期部１０１は、第一カメラ計測部１０２とレーダ計測部１０８に対して計測タイミングを同期させるために同期信号を出力する。同期信号は例えば、定期的に出力される。ラベル対象の物体が時間が経過するとともに動く場合には第一カメラとレーダは厳密な同期が必要であるが、ラベル対象の物体が動かない場合には同期精度は重要ではない。

第一カメラ計測部１０２は、入力として同期部１０１から同期信号を受け取り、同期信号を受け取った際に第一カメラに対して撮像指示を出力する。また、第一カメラにて撮像した画像を対象物位置特定部１０３と対象物奥行距離抽出部１０４に出力する。第一カメラは、当該第一カメラから対象物までの距離を算出できるカメラを利用する。例えば、深度カメラ（ToF（Time-of-Flight）カメラ、赤外線カメラ、ステレオカメラなど）である。以下の説明において、第一カメラが撮像した画像は、サイズw_pixel×h_pixelの深度画像とする。第一カメラの設置位置は、第一カメラにて検出対象を撮像できる位置とする。図２３のように、レーダ－３０のアンテナが設置されるパネル１２上に設置してもよいし、図２５（Ａ）のように歩行進路上に置かれていてもよい。また、図２５（Ｂ）のように互いに異なる位置に置かれた複数のカメラ２０のそれぞれを第一カメラとして利用しても本実施形態に係るレーダーシステムは動作する。図２５に示す例において、歩行進路を挟むように２つのパネル１２が設置されている。そして２つのパネル１２のそれぞれにカメラ２０が歩行進路側に向けて設置されるとともに、歩行進路の進行方向においてパネル１２の手前及び後方のそれぞれにもカメラ２０が設置される。以降では図２３の位置にカメラがあるものとする。

対象物位置特定部１０３は、入力として第一カメラ計測部１０２から画像を受け取り、第一カメラの画像内における対象物の位置を対象物奥行距離抽出部１０４と座標変換部１０５に出力する。対象物の位置に関して、図２６（Ａ）のように対象物の中心位置とする場合や、図２６（Ｂ）のように対象物を含む領域（矩形）を選択する場合などが考えられる。ここで特定された画像内の対象物の位置を（x_img,y_img）とする。領域を選択した場合、対象物の位置を４点（矩形の四つ角）または、始点と終点の２点としてもよい。

対象物奥行距離抽出部１０４は、入力として第一カメラ計測部１０２から画像と対象物位置特定部１０３から画像内の対象物の位置を受け取り、画像と画像内の対象物位置に基づいて第一カメラから対象物までの奥行距離を座標変換部１０５に出力する。ここでの奥行距離とは、図２７で示したように、第一カメラが設置されている面から対象物が置かれている面までの距離Dを指す。距離Dは第一カメラの画像である深度画像における対象物の位置（x_img,y_img）の深度である。

座標変換部１０５は、入力として対象物位置特定部１０３から画像中の対象物位置と対象物奥行距離抽出部１０４から奥行距離を受け取り、画像中の対象物位置と奥行距離に基づいて世界座標系の対象物の位置を算出し、この対象物の位置をラベル変換部１０６に出力する。ここでの世界座標系の対象物位置（X'_target,Y'_target,Z'_target）は、第一カメラの位置を原点とし、各次元は図２３でのx,y,z軸に相当する。x方向の第一カメラの焦点距離をf_x、y方向の第一カメラの焦点距離をf_yとすると、画像中の対象物位置（x_img,y_img）と奥行距離Dから、対象物位置（X'_target,Y'_target,Z'_target）は、（１）式により求まる。

ラベル変換部１０６は、入力として座標変換部１０５から世界座標系の対象物位置を受け取るとともに記憶部１０７から第一カメラの位置及び後述するレーダイメージング情報を受け取り、世界座標系の対象物位置をレーダイメージング情報に基づいてレーダイメージングにおける対象物のラベルに変換し、学習部へ出力する。座標変換部１０５から受け取る対象物の位置（X'_target,Y'_target,Z'_target）は、第一カメラの位置が原点である。記憶部１０７から受け取る世界座標系においてレーダ位置を原点とした場合の第一カメラの位置（X_camera,Y_camera,Z_camera）を用いてレーダ位置を原点とする対象物の位置（X_target,Y_target,Z_target）は下記（２）式で算出できる。

またラベル変換部１０６は、レーダ位置を原点とする対象物の位置と、記憶部１０７から受け取るレーダイメージング情報に基づいて、レーダイメージングにおける対象物の位置を導出しラベルとする。レーダイメージング情報とは、図２８に示すように世界座標系のレーダイメージングのイメージング領域の始点（X_init,Y_init,Z_int）およびレーダイメージングにおける１ボクセルあたりのx,y,z方向の長さdX,dY,dZである。レーダイメージングにおける対象物の位置（x_target,y_target,z_target）は（３）式で算出できる。

なお、対象物位置特定部１０３において、図２６（Ａ）のように対象物の位置を一点（対象物の中心）選択した場合には、ここでの対象物の位置も一点であるので、対象物の大きさが既知である場合には、図２９のように、対象物の位置を中心として対象物の大きさ分だけ幅及び高さを持つラベルに変換してもよい。図２６（Ｂ）のように対象物の位置が複数ある場合には、それぞれについて上記計算を行い、得られた複数の対象物の位置に基づいて最終的なラベルに変換してもよい。例えば、四つの対象物の位置（x_target{1-4}, y_target{1-4}, z_target{1-4})がある場合、ラベルの始点を(min(x_target{1-4}),min(y_target{1-4}),min(z_target{1-4}))、ラベルの終点を(max(x_target{1-4}),max(y_target{1-4}),max(z_target{1-4}))とすればよい。

記憶部１０７は、世界座標系においてレーダ位置を原点とした場合の第一カメラの位置とレーダイメージング情報とを保持する。レーダイメージング情報とは、図２８に示すように世界座標系のレーダイメージングのイメージング領域（すなわちイメージの対象となる領域）の始点（X_init,Y_init,Z_int）およびレーダイメージングにおける１ボクセルあたりのx,y,z方向の世界座標系における長さ（dX,、dY、,dZ）である。

レーダ計測部１０８は、入力として同期部１０１からの同期信号を受け取り、レーダ（例えば上記したレーダ３０）のアンテナに対して計測を指示する。また、計測されたレーダ信号をイメージング部１０９へ出力する。すなわち第一カメラの撮像タイミングとレーダの計測タイミングは同期する。送信アンテナはNtx個あり、受信アンテナはNrx個で、使用する周波数をNk個とする。任意の送信アンテナで送信された電波を複数の受信アンテナで受信してもよい。周波数はStepped Frequency Continuous Wave(SWCF)のようにある特定の周波数幅において周波数を切り替えるものとする。以降において、レーダ信号S(it,jr,k)は送信アンテナitがkステップ目の周波数f(k)で照射して受信アンテナjrで計測されたものとする。

イメージング部１０９は、入力としてレーダ計測部１０８からレーダ信号を受け取り、レーダイメージを生成し、生成されたレーダイメージを学習部へ出力する。生成される３次元レーダイメージV（vector(v)）においてvector(v)はレーダイメージにおける１ボクセルvの位置を表すものとし、レーダ信号S(iｔ,ir,k)から下記（４）式にて算出することができる。

ここで、cは光速、iは虚数とし、送信アンテナitからボクセルvを経由して受信アンテナirまでの距離をRとする。Rは下記（５）式で算出される。vector(Tx(it))、vector(Rx(ir))はそれぞれ送信アンテナitおよび受信アンテナirの位置である。

図３４は、データ処理装置１０のハードウェア構成例を示す図である。データ処理装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０はデータ処理装置１０の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は、各種の記憶部としても機能することもある。

入出力インタフェース１０５０はデータ処理装置１０と各種入出力機器（例えば各カメラ及びレーダ）とを接続するためのインタフェースである。

ネットワークインタフェース１０６０は、データ処理装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

[動作の説明]
次に、図２のフローチャートを参照して本実施の形態の動作について説明する。
まず同期処理（Ｓ１０１）は図１における同期部１０１の動作であり、同期信号を第一カメラ計測部１０２とレーダ計測部１０８へ出力する。

カメラ計測処理（Ｓ１０２）は図１における第一カメラ計測部１０２の動作であり、同期信号を受け取ったタイミングで第一カメラに対して撮像を指示し、撮像された画像を対象物位置特定部１０３および対象物奥行距離抽出部１０４へ出力する。

対象物位置特定処理（Ｓ１０３）は図１における対象物位置特定部１０３の動作であり、第一カメラの画像に基づいて対象物の位置を特定し、対象物の位置を対象物奥行距離抽出部１０４と座標変換部１０５へ出力する。

対象物奥行抽出処理（Ｓ１０４）は図１における対象物奥行距離抽出部１０４の動作であり、画像内の対象物位置に基づいて第一カメラから対象物までの奥行距離を抽出し、奥行距離を座標変換部１０５へ出力する。

座標変換処理（Ｓ１０５）は図１における座標変換部１０５の動作であり、画像内の対象物位置から奥行距離に基づいて第一カメラの位置を原点とする世界座標系における対象物の位置へ変換し、当該対象物の位置をラベル変換部１０６へ出力する。
ラベル変換処理（Ｓ１０６）は、ラベル変換部１０６の動作であり、第一カメラの位置を原点とする世界座標における対象物の位置から、レーダイメージングにおける対象物のラベルへ変換し、当該ラベルを学習部へ出力する。この変換において、レーダ位置を原点とする第一カメラの位置とレーダイメージング情報が用いられる。なお、本実施形態において、ラベルは位置情報を含んでおり、当該位置に対象物が存在していることを示している。

レーダ計測処理（Ｓ１０７）は、図１におけるレーダ計測部１０８の動作であり、同期部１０１からの同期信号を受け取った際に、レーダのアンテナへ計測を指示し、計測されたレーダ信号をイメージング部１０９へ出力する。

イメージング処理（Ｓ１０８）は、図１におけるイメージング部１０９の動作であり、レーダ計測部１０８からレーダ信号を受け取り、レーダ信号からレーダイメージを生成し、当該レーダイメージを学習部へ出力する。この出力の際に、レーダイメージとともに、Ｓ１０６で生成されたラベルも出力される。

なお、Ｓ１０７とＳ１０８は、Ｓ１０２～Ｓ１０６と並列で実行される。

[効果の説明]
本実施の形態は、レーダイメージにおいて形状が不鮮明な対象物に対して、第一カメラの画像でラベルすることでレーダイメージにおけるラベリングを可能とする。

[第２の実施形態]
図３を参照して、第２の実施の形態について説明する。データ処理装置２００は、計測タイミングを同期させるための同期信号を送信する同期部２０１と、第一カメラにて撮像指示を行う第一カメラ計測部２０２と、第一カメラの画像における対象物の位置を特定する対象物位置特定部２０３と、第二カメラの画像に基づいて第一カメラから対象物までの奥行距離を抽出する対象物奥行距離抽出部２０４と、第一カメラの画像における対象物の位置を第一カメラから対象物の奥行距離に基づいて世界座標系における対象物の位置へ変換する座標変換部２０５と、世界座標系における対象物の位置をレーダイメージにおける対象物のラベルへと変換するラベル変換部２０６と、第一カメラの位置及びレーダイメージング情報を保持する記憶部２０７と、レーダのアンテナにおいて信号計測を行うレーダ計測部２０８と、レーダ計測信号からレーダイメージを生成するイメージング部２０９と、第二カメラにて撮像指示を行う第二カメラ計測部２１０と、第一カメラで得られる画像と第二カメラで得られるカメラ画像との位置合わせを行う画像位置合わせ部２１１と、から構成されている。

第二カメラが撮像する領域の少なくとも一部は、第一カメラが撮像する領域と重なっている。このため、第一カメラが生成する画像と第二カメラが生成する画像は、同一の対象物を含んでいる。以降、第一カメラと第二カメラが同じ場所に位置することを前提として説明する。

同期部２０１は、同期部１０１の機能に加え、同期信号を第二カメラ計測部２１０へ出力する。

第一カメラ計測部２０２は、第一カメラ計測部１０２と同様に、入力として同期部２０１から同期信号を受け取り、同期信号を受け取った際に第一カメラに対して撮像指示を出力する。また第一カメラ計測部２０２は、第一カメラで撮像された画像を対象物位置特定部２０３と画像位置合わせ部２１１へ出力する。ただし、ここでの第一カメラは深度を計測できないカメラであってもよい。このようなカメラは、例えば、ＲＧＢカメラである。ただし、第二カメラは深度を計測できるカメラである。

対象物位置特定部２０３は、対象物位置特定部１０３と同じ機能を有するため、説明を省略する。

対象物奥行距離抽出部２０４は、入力として、対象物位置特定部２０３から第一カメラの画像中の対象物の位置を受け取るとともに、画像位置合わせ部２１１から位置合わせされた第二カメラの画像を受け取る。そして対象物奥行距離抽出部２０４は、第二カメラから対象物までの奥行距離を対象物奥行距離抽出部１０４と同様の方法で抽出し、当該奥行距離を座標変換部２０５へ出力する。位置合わせされた第二カメラの画像は、第一カメラの画像と画角が同じであるため、第一カメラの画像中の対象物の位置により、第二の深度画像における当該位置の深度が奥行距離となる。

座標変換部２０５は、座標変換部１０５と同じ機能を有するため、説明を省略する。

ラベル変換部２０６は、ラベル変換部１０６と同じ機能を有するため、説明を省略する。

記憶部２０７は、記憶部１０７と同じ機能を有するため、説明を省略する。

レーダ計測部２０８は、レーダ計測部１０８と同じ機能を有するため、説明を省略する。

イメージング部２０９は、イメージング部１０９と同じ機能を有するため、説明を省略する。

第二カメラ計測部２１０は、同期部２０１から同期信号を受け取り、同期信号を受け取った際に第二カメラに対して撮像指示を出力する。すなわち第二カメラの撮像タイミングは、第一カメラの撮像タイミング及びレーダの計測タイミングに同期する。また、第二カメラにて撮像した画像を画像位置合わせ部２１１に出力する。第二カメラは、当該第二カメラから対象物までの距離を算出できるカメラを利用する。第１の実施の形態における第一カメラに相当する。

画像位置合わせ部２１１は、入力として、第一カメラ計測部２０２から第一カメラで撮像した画像を受け取るとともに、第二カメラ計測部２１０から第二カメラで撮像した画像を受け取り、両画像の位置合わせを行い、位置合わせ後の第二カメラの画像を対象物奥行距離抽出部２０４に出力する。図３０にて位置合わせの例を示す。第一カメラ画像のサイズをw1_pixel×h1_pixel、第二カメラの画像のサイズをw2_pixel×h2_pixelとし、図３０では、第二カメラの画像の画角の方が広いとしている。この場合、第二カメラ画像のサイズを第一カメラの画像のサイズに合わせた画像を生成する。これにより、図中の第一カメラの画像から選ばれた画像中の任意の位置は、第二カメラの画像における同位置と対応し、画像における視野角（画角）が同じになる。第二カメラの画像の画角の方が狭い場合には位置合わせは不要である。

[動作の説明]
次に、図４のフローチャートを参照して本実施の形態の動作について説明する。
まず同期処理（Ｓ２０１）は図３における同期部２０１の動作であり、同期信号を第一カメラ計測部２０２とレーダ計測部２０８と第二カメラ計測部２１０へ出力する。

カメラ計測処理（Ｓ２０２）は図３における第一カメラ計測部２０２の動作であり、同期信号を受け取ったタイミングで第一カメラに対して撮像を指示し、撮像された第一カメラの画像を対象物位置特定部２０３および画像位置合わせ部２１１へ出力する。

対象物位置特定処理（Ｓ２０３）は図３における対象物位置特定部２０３の動作であり、第一カメラの画像に基づいて対象物の位置を特定し、対象物の位置を対象物奥行距離抽出部２０４と座標変換部２０５へ出力する。

対象物奥行抽出処理（Ｓ２０４）は図３における対象物奥行距離抽出部２０４の動作であり、、第一カメラから対象物までの奥行距離を抽出する。ここで行われる処理の具体例は、図３を用いて説明したとおりである。そして対象物奥行距離抽出部２０４は、抽出した奥行距離を座標変換部２０５へ出力する。

座標変換処理（Ｓ２０５）は図３における座標変換部２０５の動作であり、画像内の対象物位置から奥行距離に基づいて第一カメラの位置を原点とする世界座標系における対象物の位置へ変換し、当該対象物の位置をラベル変換部２０６へ出力する。

ラベル変換処理（Ｓ２０６）は、ラベル変換部２０６の動作であり、第一カメラの位置を原点とする世界座標における対象物の位置からレーダ位置を原点とする第一カメラの位置とレーダイメージング情報に基づいてレーダイメージングにおける対象物のラベルへ変換し、当該ラベルを学習部へ出力する。ラベルの具体例は、第１の実施形態と同様である。

レーダ計測処理（Ｓ２０７）は、図３におけるレーダ計測部２０８の動作であり、同期部２０１からの同期信号を受け取った際に、レーダのアンテナへ計測を指示し、計測されたレーダ信号をイメージング部２０９へ出力する。

イメージング処理（Ｓ２０８）は、図３におけるイメージング部２０９の動作であり、レーダ計測部１０８からレーダ信号を受け取り、レーダ信号からレーダイメージを生成し、当該レーダイメージを学習部へ出力する。

カメラ２計測処理（Ｓ２０９）は、図３における第二カメラ計測部２１０の動作であり、同期部２０１からの同期信号を受け取った際に、第二カメラに撮像を指示し、撮像された第二カメラの画像を画像位置合わせ部２１１へ出力する。

位置合わせ処理（Ｓ２１０）は、図３における画像位置合わせ部２１１の動作であり、第一カメラ計測部から第一カメラの画像と第二カメラ計測部２１０から第二カメラの画像とを受け取り、第二カメラの画像の画角を第一カメラの画像の画角とおなじになるよう位置合わせを行い、位置合わせした第二カメラの画像を対象物奥行距離抽出部２０４へ出力する。

なお、Ｓ２０９はＳ２０２と並列で実行され、また、Ｓ２０３とＳ２１０は並列で実行される。さらに、Ｓ２０７とＳ２０８は、Ｓ２０２～Ｓ２０６，Ｓ２０９，Ｓ２１０と並列で実行される。

[効果の説明]
本実施の形態は、レーダイメージにおいて形状が不鮮明な対象物に対して、第二カメラの画像の中で対象物の位置が特定できない場合でも、第一カメラの画像の中で対象物の位置を特定できれば、レーダイメージにおけるラベリングが可能となる。

[第３の実施の形態]
[構成の説明]
図５を参照して、第３の実施の形態について説明する。データ処理装置３００は、計測タイミングを同期させるための同期信号を送信する同期部３０１、第一カメラにて撮像指示を行う第一カメラ計測部３０２と、第一カメラの画像における対象物の位置を特定する対象物位置特定部３０３と、レーダイメージに基づいて第一カメラから対象物までの奥行距離を抽出する対象物奥行距離抽出部３０４と、第一カメラの画像における対象物の位置を第一カメラから対象物までの奥行き距離に基づいて世界座標系における対象物の位置へ変換する座標変換部３０５と、世界座標系における対象物の位置をレーダイメージにおける対象物のラベルへと変換するラベル変換部３０６と、第一カメラの位置及びレーダイメージング情報を保持する記憶部３０７と、レーダのアンテナにおいて信号計測を行うレーダ計測部３０８と、レーダ計測信号からレーダイメージを生成するイメージング部３０９と、から構成されている。

同期部３０１は、同期部１０１と同じ機能であるため、説明を省略する。

第一カメラ計測部３０２は、入力として同期部３０１から同期信号を受け取り、そのタイミングで第一カメラに撮像を指示し、撮像された画像を対象物位置特定部３０３へ出力する。ここでの第一カメラは深度を計測できないカメラ、例えば、ＲＧＢカメラであってもよい。

対象物位置特定部３０３は、第一カメラ計測部３０２から第一カメラの画像を受け取り、対象物位置を特定し、画像内の対象物位置を座標変換部３０５へ出力する。

対象物奥行距離抽出部３０４は、入力として、イメージング部３０９からレーダイメージを受け取るとともに、記憶部３０７からレーダ位置を原点とする世界座標系での第一カメラの位置及びレーダイメージング情報を受け取る。そして対象物奥行距離抽出部３０４は、第一カメラから対象物までの奥行距離を算出し、当該奥行距離を座標変換部３０５へ出力する。この際、対象物奥行距離抽出部３０４は、レーダイメージを用いて第一カメラから対象物までの奥行距離を算出する。例えば対象物奥行距離抽出部３０４は、３次元レーダイメージＶをｚ方向に投影して最も反射強度の強いボクセルのみを選択することにより、２次元レーダイメージ（図３１）を生成する。次いで対象物奥行距離抽出部３０４は、この２次元レーダイメージにおいて対象物の周辺の領域（図中の始点（xs,ys）、終点（xe,ye））を選択し、本領域においてある一定値以上の反射強度を持つボクセルのｚ座標を平均化したz_averageを用いて奥行距離を算出する。例えば対象物奥行距離抽出部３０４は、z_averageとレーダイメージング情報（1ボクセルのｚ方向の大きさdZと世界座標におけるレーダイメージの始点Z_init）と第一カメラの位置を用いて、奥行距離を出力する。この奥行距離（D）は、例えば下記の（６）式で算出できる。なお、（６）式において、レーダの位置と第一カメラの位置は同じであると仮定している。

[動作の説明]
奥行距離は、例えば図３１において領域など選ばず、ある一定値以上の反射強度を持つボクセルのうち、もっともレーダに近いｚ座標をz_averageとして（６）式で同様に算出してもよい。

座標変換部３０５は、座標変換部１０５と同じ機能であるため、説明を省略する。

ラベル変換部３０６は、ラベル変換部１０６と同じ機能であるため、説明を省略する。

記憶部３０７は、記憶部１０７と同じ情報を保持するため、説明を省略する。

レーダ計測部３０８は、レーダ計測部１０８と同じ機能であるため、説明を省略する。

イメージング部３０９は、イメージング部１０９の機能に加え、生成したレーダイメージを対象物奥行距離抽出部３０４へ出力する。

[動作の説明]
次に、図６のフローチャートを参照して本実施の形態の動作について説明する。
同期処理（Ｓ３０１）は同期処理（Ｓ１０１）と同じであるため、説明を省略する。

カメラ計測処理（Ｓ３０２）は図５における第一カメラ計測部３０２の動作であり、同期部３０１から同期信号を受け取ったタイミングで第一カメラに対して撮像を指示し、撮像された第一カメラの画像を対象物位置特定部３０３へ出力する。

対象物位置特定処理（Ｓ３０３）は図５における対象物位置特定部３０３の動作であり、第一カメラ計測部３０２から受け取る第一カメラの画像に基づいて対象物の位置を特定し、対象物の位置を座標変換部３０５へ出力する。

対象物奥行抽出処理（Ｓ３０４）は図５における対象物奥行距離抽出部３０４の動作であり、イメージング部３０９から受け取るレーダイメージ、並びにセンサＤＢ３１２から受け取るレーダ位置を原点とする世界座標系の第一カメラの位置及びレーダイメージング情報を用いて、第一カメラから対象物までの奥行き距離を算出し、当該奥行距離を座標変換部３０５へ出力する。この処理の詳細は、図５を用いて上述した通りである。

座標変換処理（Ｓ３０５）は座標変換処理（Ｓ１０５）と同じであるため、説明を省略する。

ラベル変換処理（Ｓ３０６）は、ラベル変換処理（Ｓ１０６）と同じであるため、説明を省略する。

レーダ計測処理（Ｓ３０７）は、レーダ計測処理（Ｓ１０７）と同じであるため、説明を省略する。

イメージング処理（Ｓ３０８）は、図５におけるイメージング部３０９の動作であり、レーダ計測部３０８からレーダ信号を受け取り、レーダ信号からレーダイメージを生成し、当該レーダイメージを対象物奥行距離抽出部３０４及び学習部へ出力する。

[効果の説明]
本実施の形態は、レーダイメージにおいて形状が不鮮明な対象物に対して、第一カメラにより第一カメラから対象物までの奥行き距離がわからない場合でも、レーダイメージに基づいて第一カメラから対象物の奥行き距離を算出することで、第一カメラの画像で対象物の位置さえ特定できれば、レーダイメージにおけるラベリングが可能となる。

[第４の実施の形態]
[構成の説明]

図７を参照して、第４の実施の形態について説明する。本実施の形態に係るデータ処理装置４００は、マーカ位置特定部４０３と対象物奥行距離抽出部４０４のみ第１の実施の形態と異なるため、これらについてのみ説明する。ここでの第一カメラは深度を計測できないカメラ、例えば、ＲＧＢカメラであってもよい。

マーカ位置特定部４０３は、入力として第一カメラ計測部４０２から受け取る画像からマーカの位置を特定し、マーカの位置を対象物奥行距離抽出部４０４へ出力する。さらに、当該マーカの位置を対象物の位置として座標変換部４０５へ出力する。ここでのマーカとは、第一カメラにて視認しやすく、レーダ信号を透過しやすいものとする。例えば、マーカとして紙・木材・布・プラスチックのような材質を使うことができる。また、それら透過しやすい材質の上に塗料で印をつけたものをマーカとしてもよい。マーカは対象物の表面、または表面に近い部分でかつ第一カメラから視認できる場所に設置する。もし、対象物が鞄や衣服の下に隠れている場合には、対象物を隠している鞄の表面または衣服にマーカを置く。これにより、第一カメラの画像で直接対象物を視認できなくても、マーカを視認することができ、おおよその対象物の位置を特定することが可能である。マーカは対象物の中心あたりに取り付けてもよいし、図３２のように対象物がある領域を囲むようにマーカを複数取り付けてもよい。またマーカはＡＲマーカであってもよい。図３２の例では、マーカは格子点となっているが、上記したようにＡＲマーカであってもよい。第一カメラの画像内のマーカの位置を特定する手段としては、マーカ位置を人の目で視認しマーカ位置を特定してもよいし、一般的なパターンマッチング・トラッキングなどの画像認識技術により自動でマーカ位置を特定してもよい。マーカは以降の計算でマーカの位置を第一カメラの画像から算出できるものであれば形状や大きさは問わないものとする。以降では格子点マーカのうち、中央に位置するマーカの画像内の位置を（x_{marker_c},y_{marker_c}）とし、マーカの四つ角の画像内の位置をそれぞれ(x_{marker_i},y_{marker_i})（i=1,2,3,4）とする。

対象物奥行距離抽出部４０４は、入力として第一カメラ計測部４０２から画像とマーカ位置特定部４０３からマーカの位置を受け取り、これらに基づいて第一カメラから対象物の奥行距離を算出し、当該奥行距離を座標変換部４０５へ出力する。マーカを使った奥行距離の算出方法に関して、第一カメラがマーカ無しで深度を計測できる場合には第１の実施の形態のように画像内のマーカの位置に該当する深度を奥行距離とする。ＲＧＢ画像のように第一カメラがマーカ無しで深度を計測できない場合には、図３３に示したように画像内のマーカの大きさやマーカの位置関係（相対位置の歪み等）からマーカの奥行方向の位置を算出し、第一カメラから対象物までの奥行距離を推測してもよい。例えば、ＡＲマーカであれば、ＲＧＢ画像であってもカメラからマーカまでの奥行距離を算出可能である。下記では、マーカの位置を算出する一例を示す。マーカの種類や設置条件により計算方法は異なる。第一カメラを原点とする世界座標系におけるマーカ中央に位置する点の候補位置を（X'_{marker_c},Y'_{marker_c},Z'_{marker_c}）として、マーカ中央に位置する点を基点とするロール・ピッチ・ヨーの回転を踏まえて考えられ得るマーカの四つ角の座標を（X'_{marker_i},Y'_{marker_i},Z'_{marker_i}）（ここでi=1,2,3,4）とする。マーカ中央に位置する点の候補位置は例えば、レーダイメージが対象とするイメージング領域から任意で選べばよい。例えば、全領域の各ボクセル中心点をマーカ中央に位置する点の候補位置としてもよい。マーカ四つ角の座標から算出される第一カメラの画像内のマーカ位置は（x'_{marker_i},y'_{marker_i}）とする。マーカ位置は、例えば（７）式から算出可能である。なお、（７）式において、f_xはｘ方向の第一カメラの焦点距離であり、f_ｙはｙ方向の第一カメラの焦点距離である。

[動作の説明]
これをマーカ位置特定部４０３で得られるマーカの四つ角の画像内位置に基づいて誤差Ｅを（８）式で算出する。誤差Ｅに基づき、世界座標系におけるマーカ位置を推定する。例えば、Ｅが最も小さくなるときの世界座標系におけるマーカ位置のZ'_{marker_c}を、第一カメラから対象物までの奥行距離とする。または、このときのマーカの四つ角のZ'_{marker_i}を、第一カメラから対象物までの距離としてもよい。

[動作の説明]
次に、図８のフローチャートを参照して本実施の形態の動作について説明する。
マーカ位置特定処理（Ｓ４０３）と対象物奥行抽出処理（Ｓ４０４）以外は、第１の実施の形態における動作と同じであるため、説明を省略する。

マーカ位置特定処理（Ｓ４０３）は図７におけるマーカ位置特定部４０３の動作であり、第一カメラ計測部４０２から受け取る第一カメラの画像に基づいてマーカの位置を特定し、マーカの位置を対象物奥行距離抽出部４０４へ出力し、さらに当該マーカの位置を対象物の位置として座標変換部４０５へ出力する。

対象物奥行抽出処理（Ｓ４０４）は図７における対象物奥行距離抽出部４０４の動作であり、第一カメラ計測部４０２から受け取る画像とマーカ位置特定部４０３からのマーカの位置に基づいて、第一カメラから対象物までの奥行距離を算出し、当該奥行距離を座標変換部４０５へ出力する。

[効果の説明]
本実施の形態は、レーダイメージにおいて形状が不鮮明な対象物に対して、マーカを利用することにより、レーダイメージにおけるより正確なラベリングを可能とする。

[第５の実施の形態]
[構成の説明]

図９を参照して、第５の実施の形態について説明する。本実施の形態に係るデータ処理装置５００は、マーカ位置特定部５０３と対象物奥行距離抽出部５０４のみが第２の実施の形態と異なるため、それ以外の説明は省略する。

マーカ位置特定部５０３は、マーカ位置特定部４０３と同じ機能であるため、説明を省略する。

対象物奥行距離抽出部５０４は、マーカ位置特定部５０３から第一カメラの画像のマーカ位置を受け取るとともに、位置合わせを行った第二カメラの画像を画像位置合わせ部５１１から受け取り、これらを用いることにより第一カメラから対象物までの奥行距離を算出し、当該奥行距離を座標変換部５０５へ出力する。具体的には、対象物奥行距離抽出部５０４は、位置合わせを行った第二カメラ画像を使い、第一カメラ画像におけるマーカの位置における深度を抜き出し、抜き出した深度を第一カメラから対象物の奥行距離とする。

[動作の説明]
次に、図１０のフローチャートを参照して本実施の形態の動作について説明する。
マーカ位置特定処理（Ｓ５０３）と対象物奥行抽出処理（Ｓ５０４）以外は、第２の実施の形態における動作と同じであるため、説明を省略する。

マーカ位置特定処理（Ｓ５０３）は図９におけるマーカ位置特定部５０３の動作であり、第一カメラ計測部５０２から受け取る第一カメラの画像に基づいてマーカの位置を特定し、マーカの位置を対象物奥行距離抽出部５０４へ出力し、さらに当該マーカの位置を対象物の位置として座標変換部５０５へ出力する。

対象物奥行抽出処理（Ｓ５０４）は図９における対象物奥行距離抽出部５０４の動作であり、マーカ位置特定部５０３から受け取る第一カメラ画像におけるマーカの位置と、画像位置合わせ部５１１から受け取る位置合わせされた第二カメラ画像を用いて、第一カメラから対象物までの奥行距離を算出し、当該奥行距離を座標変換部５０５へ出力する。

[効果の説明]
本実施の形態は、レーダイメージにおいて形状が不鮮明な対象物に対して、マーカを利用することにより、レーダイメージにおけるより正確なラベリングを可能とする。

[第６の実施の形態]
[構成の説明]
図１１を参照して、第６の実施の形態について説明する。本実施の形態に係るデータ処理装置６００は、マーカ位置特定部６０３のみ第３の実施の形態と異なるため、他の部分に関する説明は省略する。

マーカ位置特定部６０３は、入力として第一カメラ計測部６０２から第一カメラの画像を受け取り、第一カメラ画像内のマーカの位置を特定し、特定されたマーカの位置を対象物の位置として座標変換部６０５に出力する。なお、マーカに関する定義はマーカ位置特定部４０３に記載内容と同じであるものとする。

[動作の説明]
次に、図１２のフローチャートを参照して本実施の形態の動作について説明する。
マーカ位置特定処理（Ｓ６０３）以外は、第３の実施の形態における動作と同じであるため、説明を省略する。

マーカ位置特定処理（６０３）は図１１におけるマーカ位置特定部６０３の動作であり、第一カメラ計測部６０２から受け取る第一カメラの画像に基づいてマーカの位置を特定し、当該マーカの位置を対象物の位置として座標変換部６０５へ出力する。

[効果の説明]
本実施の形態は、レーダイメージにおいて形状が不鮮明な対象物に対して、マーカを利用することにより、レーダイメージにおけるより正確なラベリングを可能とする。

[第７の実施の形態]
[構成の説明]
図１３を参照して、第７の実施の形態について説明する。本実施の形態に係るデータ処理装置７００は、第１の実施の形態からレーダ計測部１０８及びイメージング部１０９を除いたもので構成される。各処理部については第１の実施の形態と同じであるため、説明を省略する。

なお、記憶部７０７はレーダイメージング情報の代わりにセンサのイメージング情報を保持する。

[動作の説明]
次に、図１４のフローチャートを参照して本実施の形態の動作について説明する。
第１の実施の形態の動作からレーダ計測処理（Ｓ１０７）とイメージング処理（Ｓ１０８）を除いたものである。各処理については第１の実施の形態と同じであるため、説明を省略する。

[効果の説明]
本実施の形態は、外部センサによるイメージにおいて形状が不鮮明な対象物に対しても、ラベリングを可能とする。

[第８の実施の形態]
[構成の説明]
図１５を参照して、第８の実施の形態について説明する。本実施の形態に係るデータ処理装置８００は、第２の実施の形態からレーダ計測部２０８及びイメージング部２０９を除いたもので構成される。各処理部については第２の実施の形態と同じであるため、説明を省略する。

[動作の説明]
次に、図１６のフローチャートを参照して本実施の形態の動作について説明する。
第２の実施の形態の動作からレーダ計測処理（Ｓ２０７）とイメージング処理（Ｓ２０８）を除いたものである。各処理については第２の実施の形態と同じであるため、説明を省略する。

[効果の説明]
本実施の形態は、外部センサによるイメージにおいて形状が不鮮明な対象物に対しても、ラベリングを可能とする。

[第９の実施の形態]
[構成の説明]
図１７を参照して、第９の実施の形態について説明する。本実施の形態に係るデータ処理装置９００は、第４の実施の形態からレーダ計測部４０８及びイメージング部４０９を除いたもので構成される。各処理部については第４の実施の形態と同じであるため、説明を省略する。

[動作の説明]
次に、図１８のフローチャートを参照して本実施の形態の動作について説明する。
第４の実施の形態の動作からレーダ計測処理（Ｓ４０７）とイメージング処理（Ｓ４０８）を除いたものである。各処理については第４の実施の形態と同じであるため、説明を省略する。

[効果の説明]
本実施の形態は、外部センサによるイメージにおいて形状が不鮮明な対象物に対しても、マーカを使用することでより正確なラベリングを可能とする。

[第１０の実施の形態]
[構成の説明]
図１９を参照して、第１０の実施の形態について説明する。本実施の形態に係るデータ処理装置１０００は、第４の実施の形態からレーダ計測部５０８及びイメージング部５０９を除いたもので構成される。各処理部については第４の実施の形態と同じであるため、説明を省略する。

[動作の説明]
次に、図２０のフローチャートを参照して本実施の形態の動作について説明する。
第５の実施の形態の動作からレーダ計測処理（Ｓ５０７）とイメージング処理（Ｓ５０８）を除いたものである。各処理については第４の実施の形態と同じであるため、説明を省略する。

[効果の説明]
本実施の形態は、外部センサによるイメージにおいて形状が不鮮明な対象物に対しても、マーカを使用することでより正確なラベリングを可能とする。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定手段と、
前記第一カメラから前記対象物までの奥行距離を抽出する対象物奥行距離抽出手段と、
前記画像内の前記対象物の位置を、前記奥行距離を用いて世界座標系の前記対象物の位置へ変換する座標変換手段と、
世界座標系の前記第一カメラの位置、及びセンサの計測結果からイメージを生成する際に用いられるイメージング情報を用いて、世界座標系の前記対象物の位置を前記イメージにおける前記対象物のラベルへ変換するラベル変換手段と、
を備えるデータ処理装置。
２．上記１に記載のデータ処理装置において、
前記イメージング情報は、世界座標系においてイメージの対象となる領域の始点、及び前記イメージにおける１ボクセルあたりの世界座標系での長さを含む、データ処理装置。
３．上記１又は２に記載のデータ処理装置において
前記対象物奥行距離抽出手段は、第二カメラが生成した画像であって前記対象物を含む画像をさらに用いて、前記奥行距離を抽出するデータ処理装置。
４．上記１～３のいずれか一項に記載のデータ処理装置において、
前記対象物位置特定手段は、前記対象物に取り付けられたマーカの位置を特定することにより、前記対象物の位置を特定するデータ処理装置。
５．上記４に記載のデータ処理装置において、
前記対象物奥行距離抽出手段は、前記第一カメラの画像内の前記マーカの大きさを用いて当該マーカの位置を算出し、当該マーカの位置に基づいて第一カメラから対象物までの奥行距離を抽出する、データ処理装置。
６．上記１～５のいずれか一項に記載のデータ処理装置において、
前記センサはレーダを用いた計測を行い、
さらに、前記レーダが生成したレーダ信号に基づいてレーダイメージを生成するイメージング手段を備えるデータ処理装置。
７．第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定手段と、
レーダ信号に基づいて生成されたレーダイメージを用いて、前記第一カメラから対象物までの奥行距離を抽出する対象物奥行距離抽出手段と、
前記画像内の前記対象物の位置を、前記奥行距離に基づいて世界座標系における前記対象物の位置へ変換する座標変換手段と、
世界座標系の前記第一カメラの位置及びセンサのイメージング情報を用いて、世界座標系の対象物位置を前記レーダイメージにおける前記対象物のラベルへ変換するラベル変換手段と、
を備えるデータ処理装置。
８．第一カメラの画像に基づいて、対象物に取り付けられたマーカの前記画像内の位置を、前記画像内の前記対象物の位置として特定するマーカ位置特定手段と、
センサが生成したレーダ信号に基づいて生成されたレーダイメージを用いて、前記第一カメラから対象物までの奥行距離を抽出する対象物奥行距離抽出手段と、
前記第一カメラから対象物までの奥行距離を用いて、前記画像内の対象物の位置を世界座標系の前記対象物の位置へ変換する座標変換手段と、
世界座標系のカメラ位置及び前記センサのイメージング情報を用いて、世界座標系の前記対象物の位置を前記レーダイメージにおける前記対象物のラベルへ変換するラベル変換手段と、
を備えるデータ処理装置。
９．上記８に記載のデータ処理装置において、
前記マーカは、前記第一カメラで視認でき、かつ前記レーダイメージで視認できないデータ処理装置。
１０．上記９に記載のデータ処理装置において、
前記マーカは、紙、木材、布、及びプラスチックの少なくとも一つを用いて形成されている、データ処理装置。
１１．コンピュータが、
第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定処理と、
前記第一カメラから前記対象物までの奥行距離を抽出する対象物奥行距離抽出処理と、
前記画像内の前記対象物の位置を、前記奥行距離を用いて世界座標系の前記対象物の位置へ変換する座標変換処理と、
世界座標系の前記第一カメラの位置、及びセンサの計測結果からイメージを生成する際に用いられるイメージング情報を用いて、世界座標系の前記対象物の位置を前記イメージにおける前記対象物のラベルへ変換するラベル変換処理と、
を行うデータ処理方法。
１２．上記１１に記載のデータ処理方法において、
前記イメージング情報は、世界座標系においてイメージの対象となる領域の始点、及び前記イメージにおける１ボクセルあたりの世界座標系での長さを含む、データ処理方法。
１３．上記１１又は１２に記載のデータ処理方法において
前記対象物奥行距離抽出処理において、前記コンピュータは、第二カメラが生成した画像であって前記対象物を含む画像をさらに用いて、前記奥行距離を抽出するデータ処理方法。
１４．上記１１～１３のいずれか一項に記載のデータ処理方法において、
前記対象物位置特定処理において、前記コンピュータは、前記対象物に取り付けられたマーカの位置を特定することにより、前記対象物の位置を特定するデータ処理方法。
１５．上記１４に記載のデータ処理方法において、
前記対象物奥行距離抽出処理において、前記コンピュータは、前記第一カメラの画像内の前記マーカの大きさを用いて当該マーカの位置を算出し、当該マーカの位置に基づいて第一カメラから対象物までの奥行距離を抽出する、データ処理方法。
１６．上記１１～１５のいずれか一項に記載のデータ処理方法において、
前記センサはレーダを用いた計測を行い、
さらに、前記コンピュータは、前記レーダが生成したレーダ信号に基づいてレーダイメージを生成するイメージング処理を行うデータ処理方法。
１７．コンピュータが、
第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定処理と、
レーダ信号に基づいて生成されたレーダイメージを用いて、前記第一カメラから対象物までの奥行距離を抽出する対象物奥行距離抽出処理と、
前記画像内の前記対象物の位置を、前記奥行距離に基づいて世界座標系における前記対象物の位置へ変換する座標変換処理と、
世界座標系の前記第一カメラの位置及びセンサのイメージング情報を用いて、世界座標系の対象物位置を前記レーダイメージにおける前記対象物のラベルへ変換するラベル変換処理と、
を行うデータ処理方法。
１８．コンピュータが、
第一カメラの画像に基づいて、対象物に取り付けられたマーカの前記画像内の位置を、前記画像内の前記対象物の位置として特定するマーカ位置特定処理と、
センサが生成したレーダ信号に基づいて生成されたレーダイメージを用いて、前記第一カメラから対象物までの奥行距離を抽出する対象物奥行距離抽出処理と、
前記第一カメラから対象物までの奥行距離を用いて、前記画像内の対象物の位置を世界座標系の前記対象物の位置へ変換する座標変換処理と、
世界座標系のカメラ位置及び前記センサのイメージング情報を用いて、世界座標系の前記対象物の位置を前記レーダイメージにおける前記対象物のラベルへ変換するラベル変換処理と、
を備えるデータ処理方法。
１９．上記１８に記載のデータ処理方法において、
前記マーカは、前記第一カメラで視認でき、かつ前記レーダイメージで視認できないデータ処理方法。
２０．上記１９に記載のデータ処理方法において、
前記マーカは、紙、木材、布、及びプラスチックの少なくとも一つを用いて形成されている、データ処理方法。
２１．コンピュータに、
第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定機能と、
前記第一カメラから前記対象物までの奥行距離を抽出する対象物奥行距離抽出機能と、
前記画像内の前記対象物の位置を、前記奥行距離を用いて世界座標系の前記対象物の位置へ変換する座標変換機能と、
世界座標系の前記第一カメラの位置、及びセンサの計測結果からイメージを生成する際に用いられるイメージング情報を用いて、世界座標系の前記対象物の位置を前記イメージにおける前記対象物のラベルへ変換するラベル変換機能と、
を持たせるプログラム。
２２．上記２１に記載のプログラムにおいて、
前記イメージング情報は、世界座標系においてイメージの対象となる領域の始点、及び前記イメージにおける１ボクセルあたりの世界座標系での長さを含む、プログラム。
２３．上記２１又は２２に記載のプログラムにおいて
前記対象物奥行距離抽出機能は、第二カメラが生成した画像であって前記対象物を含む画像をさらに用いて、前記奥行距離を抽出するプログラム。
２４．上記２１～２３のいずれか一項に記載のプログラムにおいて、
前記対象物位置特定機能は、前記対象物に取り付けられたマーカの位置を特定することにより、前記対象物の位置を特定するプログラム。
２５．上記２４に記載のプログラムにおいて、
前記対象物奥行距離抽出機能は、前記第一カメラの画像内の前記マーカの大きさを用いて当該マーカの位置を算出し、当該マーカの位置に基づいて第一カメラから対象物までの奥行距離を抽出する、プログラム。
２６．上記２１～２５のいずれか一項に記載のプログラムにおいて、
前記センサはレーダを用いた計測を行い、
さらに、前記コンピュータに、前記レーダが生成したレーダ信号に基づいてレーダイメージを生成するイメージング処理機能を持たせるプログラム。
２７．コンピュータに、
第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定機能と、
レーダ信号に基づいて生成されたレーダイメージを用いて、前記第一カメラから対象物までの奥行距離を抽出する対象物奥行距離抽出機能と、
前記画像内の前記対象物の位置を、前記奥行距離に基づいて世界座標系における前記対象物の位置へ変換する座標変換機能と、
世界座標系の前記第一カメラの位置及びセンサのイメージング情報を用いて、世界座標系の対象物位置を前記レーダイメージにおける前記対象物のラベルへ変換するラベル変換機能と、
を持たせるプログラム。
２８．コンピュータに、
第一カメラの画像に基づいて、対象物に取り付けられたマーカの前記画像内の位置を、前記画像内の前記対象物の位置として特定するマーカ位置特定機能と、
センサが生成したレーダ信号に基づいて生成されたレーダイメージを用いて、前記第一カメラから対象物までの奥行距離を抽出する対象物奥行距離抽出機能と、
前記第一カメラから対象物までの奥行距離を用いて、前記画像内の対象物の位置を世界座標系の前記対象物の位置へ変換する座標変換機能と、
世界座標系のカメラ位置及び前記センサのイメージング情報を用いて、世界座標系の前記対象物の位置を前記レーダイメージにおける前記対象物のラベルへ変換するラベル変換機能と、
を持たせるプログラム。

Claims (8)

1. 第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定手段と、
   前記第一カメラの撮像領域に対応する深度を示す情報を前記第一カメラの撮影画像、前記第一カメラとは異なる第二カメラの撮影画像、またはレーダの計測結果のいずれかから取得し、取得した前記撮像領域に対応する深度を示す情報に基づいて、前記第一カメラから前記対象物までの奥行距離を抽出する対象物奥行距離抽出手段と、
   前記画像内の前記対象物の位置を、前記奥行距離を用いて世界座標系の前記対象物の位置へ変換する座標変換手段と、
   世界座標系の前記第一カメラの位置、及びレーダの計測結果からレーダイメージを生成する際に用いられるレーダイメージング情報を用いて、世界座標系の前記対象物の位置を前記レーダイメージにおける前記対象物のラベルへ変換するラベル変換手段と、
   を備えるデータ処理装置。
2. 請求項１に記載のデータ処理装置において、
   前記レーダイメージング情報は、世界座標系においてレーダイメージの対象となる領域の始点、及び前記レーダイメージにおける１ボクセルあたりの世界座標系での長さを含む、データ処理装置。
3. 請求項１又は２に記載のデータ処理装置において、
   前記対象物位置特定手段は、前記対象物に取り付けられたマーカの位置を特定することにより、前記対象物の位置を特定するデータ処理装置。
4. 請求項１から３のいずれか一項に記載のデータ処理装置において
   前記対象物奥行距離抽出手段は、深度を計測可能な前記第二カメラが生成した撮影画像であって前記対象物を含む撮影画像を前記撮像領域に対応する深度を示す情報として用いて、前記奥行距離を抽出するデータ処理装置。
5. 請求項３に記載のデータ処理装置において、
   前記対象物奥行距離抽出手段は、前記第一カメラの撮影画像内の前記マーカの大きさを用いて当該マーカの位置を算出し、当該マーカの位置に基づいて第一カメラから対象物までの奥行距離を抽出する、データ処理装置。
6. 第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定手段と、
   レーダを用いた計測によって得られるレーダ信号に基づいて生成されたレーダイメージを用いて、前記第一カメラから対象物までの奥行距離を抽出する対象物奥行距離抽出手段と、
   前記画像内の前記対象物の位置を、前記奥行距離に基づいて世界座標系における前記対象物の位置へ変換する座標変換手段と、
   世界座標系の前記第一カメラの位置と、前記レーダ信号から前記レーダイメージを生成する際に用いられるレーダイメージング情報と、を用いて、世界座標系の対象物位置を前記レーダイメージにおける前記対象物のラベルへ変換するラベル変換手段と、
   を備えるデータ処理装置。
7. コンピュータが、
   第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定処理と、
   前記第一カメラの撮像領域に対応する深度を示す情報を前記第一カメラの撮影画像、前記第一カメラとは異なる第二カメラの撮影画像、またはレーダの計測結果のいずれかから取得し、取得した前記撮像領域に対応する深度を示す情報に基づいて、前記第一カメラから前記対象物までの奥行距離を抽出する対象物奥行距離抽出処理と、
   前記画像内の前記対象物の位置を、前記奥行距離を用いて世界座標系の前記対象物の位置へ変換する座標変換処理と、
   世界座標系の前記第一カメラの位置、及びレーダの計測結果からレーダイメージを生成する際に用いられるレーダイメージング情報を用いて、世界座標系の前記対象物の位置を前記レーダイメージにおける前記対象物のラベルへ変換するラベル変換処理と、
   を行うデータ処理方法。
8. コンピュータに、
   第一カメラの画像に基づいて画像内の対象物の位置を特定する対象物位置特定機能と、
   前記第一カメラの撮像領域に対応する深度を示す情報を前記第一カメラの撮影画像、前記第一カメラとは異なる第二カメラの撮影画像、またはレーダの計測結果のいずれかから取得し、取得した前記撮像領域に対応する深度を示す情報に基づいて、前記第一カメラから前記対象物までの奥行距離を抽出する対象物奥行距離抽出機能と、
   前記画像内の前記対象物の位置を、前記奥行距離を用いて世界座標系の前記対象物の位置へ変換する座標変換機能と、
   世界座標系の前記第一カメラの位置、及びレーダの計測結果からレーダイメージを生成する際に用いられるレーダイメージング情報を用いて、世界座標系の前記対象物の位置を前記レーダイメージにおける前記対象物のラベルへ変換するラベル変換機能と、
   を持たせるプログラム。

Images