Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4953313B2 - 環境認識システム、自律型移動体および環境認識プログラム - Google Patents
[go: Go Back, main page]

JP4953313B2 - 環境認識システム、自律型移動体および環境認識プログラム - Google Patents

環境認識システム、自律型移動体および環境認識プログラム Download PDF

Info

Publication number
JP4953313B2
JP4953313B2 JP2007234425A JP2007234425A JP4953313B2 JP 4953313 B2 JP4953313 B2 JP 4953313B2 JP 2007234425 A JP2007234425 A JP 2007234425A JP 2007234425 A JP2007234425 A JP 2007234425A JP 4953313 B2 JP4953313 B2 JP 4953313B2
Authority
JP
Japan
Prior art keywords
area
color information
space
imaging
ranging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007234425A
Other languages
English (en)
Other versions
JP2009068852A (ja
Inventor
亨 山口
潤 中里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Metropolitan Public University Corp
Original Assignee
Tokyo Metropolitan Public University Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Metropolitan Public University Corp filed Critical Tokyo Metropolitan Public University Corp
Priority to JP2007234425A priority Critical patent/JP4953313B2/ja
Publication of JP2009068852A publication Critical patent/JP2009068852A/ja
Application granted granted Critical
Publication of JP4953313B2 publication Critical patent/JP4953313B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、障害物等の物体が存在する環境下において、移動可能な経路等を認識する自律型移動体、環境認識システムおよび環境認識プログラムに関する。
近年、ロボット等の知的移動体の有用性は、生産業の自動化・無人化のみならず、一般家庭の生活支援等にまで広がっており、研究・開発等が盛んに行われている。ロボットが生活支援等を行うためには、前記ロボットが自律して行動できる必要があり、前記ロボットが自律して行動するためには、前記ロボットが周囲の環境を認識する必要がある。例えば、前記ロボットが行動可能な範囲、いわゆる、オープンスペースを常に取得し続ける必要がある。
前記ロボットが周囲の環境を認識するために、2次元の測域センサとしてのレーザレンジファインダ(LRF:Laser Range Finder)は、特に有用である。前記レーザレンジファインダは、レーザ光が命中した点をカメラで計測することにより、障害物や移動体までの距離を正確且つ高速に計測できるため、例えば、前記ロボットが前記障害物を回避したり、前記移動体を追従したりする目的に利用できる。また、前記レーザレンジファインダは、レーザを計測できる範囲が比較的狭いため、遠くの障害物も対象とするために、その他のセンサと組み合わせて使用する技術が知られている。
レーザレンジファインダとその他のセンサを組み合わせることにより、周囲の環境を認識する技術として、例えば、以下の従来技術(J01)が公知である。
(J01)特許文献1(特開2000−329852号公報)記載の技術
特許文献1には、2台の電子式のカメラ(1,2)で撮像した画像をステレオ画像処理して得られた先行車両等の障害物までの距離の計測値と、レーザレンジファインダ(7)により得られた前記障害物までの距離の計測値とを計測し、2つの距離の計測値に基づいて、前記障害物を認識する自動車の障害物認識装置についての技術が記載されている。
特開2000−329852号公報(「0025」、「0068」〜「0079」図1〜図11)
(従来技術の問題点)
前記従来技術(J01)は、ステレオ画像処理で障害物までの距離を測定するために、高価なカメラ1,2が精度良く配置されている必要があった。また、前記ステレオ画像解析は、前記距離を測定するための演算量が大きくなるという問題もあった。したがって、前記従来技術(J01)は、費用や演算量等のコストが増大するという問題がある。特に、自律行動型のロボット等の知的移動体には適用し難いという問題もあった。
本発明は、前述の事情に鑑み、次の記載内容(O01)を技術的課題とする。
(O01)周囲の環境を高速且つ精度良く認識すると共に、コストを低減すること。
前記技術的課題を解決するために、請求項1記載の発明の環境認識システムは、
予め設定された測距領域に対して距離を計測することで、前記測距領域に存在する物体を検出する測距装置と、
前記測距装置が測距する測距領域と重複し且つ前記測距領域よりも広い撮像領域に対して、色情報を含む画像を撮像する撮像装置と、
前記測距装置による計測結果に基づいて、前記測距領域において、物体が存在しない物体非存在空間領域を特定する測距領域空間特定手段と、
前記撮像装置で撮像した画像に基づいて、前記物体非存在空間領域と、重複する撮像領域の色情報である空間色情報を取得する空間色情報取得手段と、
前記撮像装置で撮像した画像に基づいて、前記撮像領域において、前記空間色情報と一致する色情報の領域を物体が存在しない物体非存在空間であると判別する空間判別手段と、
を備えたことを特徴とする。
請求項2に記載の発明は、請求項1に記載の環境認識システムにおいて、
前記撮像装置で撮像した画像に基づいて、前記撮像領域において、前記空間色情報と、前記空間色情報の領域に隣接する領域の色情報とが一致する場合に、前記隣接する領域を前記物体非存在空間であると判別する前記空間判別手段、
を備えたことを特徴とする。
請求項3に記載の発明は、請求項1または2に記載の環境認識システムにおいて、
前記撮像装置で撮像した画像に基づいて、前記物体非存在空間領域と、重複する撮像領域の色情報の平均値を前記空間色情報として取得する前記空間色情報取得手段と、
前記撮像装置で撮像した画像に基づいて、前記撮像領域において、前記空間色情報との差が予め設定された閾値より小さい色情報が存在する場合に、前記色情報を前記空間色情報と一致する色情報であるとみなし、前記色情報の領域を前記物体非存在空間であると判別する前記空間判別手段と、
を備えたことを特徴とする。
前記技術的課題を解決するために、請求項4記載の発明の環境認識システムは、
予め設定された測距領域に対して距離を計測することで、前記測距領域に存在する物体を検出する測距装置と、
前記測距装置が測距する測距領域と重複し且つ前記測距領域よりも広い撮像領域に対して、色情報を含む画像を撮像する撮像装置と、
前記測距装置による計測結果に基づいて、前記測距領域において、物体が存在する物体存在空間領域を特定する測距領域空間特定手段と、
前記撮像装置で撮像した画像に基づいて、前記物体存在空間領域と、重複する撮像領域の色情報である空間色情報を取得する空間色情報取得手段と、
前記撮像装置で撮像した画像に基づいて、前記撮像領域において、前記空間色情報と一致する色情報の領域を物体が存在する物体存在空間であると判別する空間判別手段と、
を備えたことを特徴とする。
請求項5に記載の発明は、請求項1ないし4のいずれかに記載の環境認識システムにおいて、
前記測距領域内でレーザ光を走査し、物体で反射されたレーザ光を検出することで、前記測距領域に存在する物体までの距離を計測するレーザレンジファインダにより構成された前記測距装置と、
を備えたことを特徴とする。
前記技術的課題を解決するために、請求項6記載の発明の自律型移動体は、
移動体の前方に予め設定された測距領域に対して距離を計測することで、前記測距領域に存在する物体を検出する測距装置と、
前記測距装置が測距する測距領域と重複し且つ前記測距領域よりも広い前方の撮像領域に対して、色情報を含む画像を撮像する撮像装置と、
前記測距装置による計測結果に基づいて、前記測距領域において、物体が存在しない物体非存在空間領域を特定する測距領域空間特定手段と、
前記撮像装置で撮像した画像に基づいて、前記物体非存在空間領域と、重複する撮像領域の色情報である空間色情報を取得する空間色情報取得手段と、
前記撮像装置で撮像した画像に基づいて、前記撮像領域において、前記空間色情報と一致する色情報の領域を物体が存在しない物体非存在空間であると判別する空間判別手段と、
前記物体非存在空間が移動可能な領域であると判別して、前記物体を避ける移動経路を設定する経路設定手段と、
設定された前記移動経路に沿って前記移動体を移動させる移動制御手段と、
を備えたことを特徴とする。
前記技術的課題を解決するために、請求項7記載の発明の環境認識プログラムは、
コンピュータを、
予め設定された測距領域に対して距離を計測することで前記測距領域に存在する物体を検出する測距装置による計測結果に基づいて、前記測距領域において、物体が存在しない物体非存在空間領域を特定する測距領域空間特定手段、
前記測距装置が測距する測距領域と重複し且つ前記測距領域よりも広い撮像領域に対して色情報を含む画像を撮像する撮像装置で撮像した画像に基づいて、前記物体非存在空間領域と、重複する撮像領域の色情報である空間色情報を取得する空間色情報取得手段、
前記撮像装置で撮像した画像に基づいて、前記撮像領域において、前記空間色情報と一致する色情報の領域を物体が存在しない物体非存在空間であると判別する空間判別手段、
として機能させる。
請求項1に記載の発明によれば、前記測距装置による計測結果に基づいて、前記測距領域における物体非存在空間領域が特定されると共に、前記撮像装置で撮像した画像に基づいて、前記物体非存在空間領域と重複する撮像領域の空間色情報が取得され、前記空間色情報と一致する色情報の領域が前記撮像領域の物体非存在空間であると判別される。この結果、前記物体非存在空間について、前記測距領域における物体非存在空間領域から前記撮像領域内にまで拡張することができ、物体の存在しないオープンスペースを精度良く且つ広い範囲で認識することができる。また、前記撮像装置を2台以上使用してステレオ画像解析を行う前記従来技術(J01)に比べ、前記撮像装置の費用や演算量等のコストを低減できる。
請求項2の記載の発明によれば、本発明の構成を有しない場合に比べ、前記空間色情報の領域に隣接しない領域については前記物体非存在空間であるか否かが判別されないため、前記物体非存在空間を判別するための演算量を低減できると共に、例えば、物体により囲まれた物体非存在空間のような閉鎖空間について判別を行わず、オープンスペースに隣接する領域のみに対して前記物体非存在空間であるか否かが判別されるため、オープンスペースを精度良く認識することができる。
請求項3の記載の発明によれば、本発明の構成を有しない場合に比べ、前記空間色情報である前記色情報の平均値との差が予め設定された閾値より小さい色情報の領域が前記物体非存在空間であると判別されるため、例えば、同じ物体であって光の加減(物陰等)により色情報に少し差がある場合等についても、連続した物体非存在空間であると判別できる。
請求項4の記載の発明によれば、前記測距装置による計測結果に基づいて、前記測距領域における物体存在空間領域が特定されると共に、前記撮像装置で撮像した画像に基づいて、前記物体存在空間領域と重複する撮像領域の空間色情報が取得され、前記空間色情報と一致する色情報の領域が前記撮像領域の物体存在空間であると判別される。この結果、前記物体存在空間について、前記測距領域における物体存在空間領域から前記撮像領域内にまで拡張することができ、前記物体を精度良く且つ広い範囲で認識することができる。また、前記撮像装置を2台以上使用してステレオ画像解析を行う前記従来技術(J01)に比べ、前記撮像装置の費用や演算量等のコストを低減できる。
請求項5の記載の発明によれば、測距装置として市販のレーザレンジファインダを使用できる。
請求項6の記載の発明によれば、前記測距装置による計測結果に基づいて、前記測距領域における物体非存在空間領域が特定されると共に、前記撮像装置で撮像した画像に基づいて、前記物体非存在空間領域と重複する撮像領域の空間色情報が取得され、前記空間色情報と一致する色情報の領域が前記撮像領域の物体非存在空間であると判別される。この結果、前記物体非存在空間について、前記測距領域における物体非存在空間領域から前記撮像領域内にまで拡張することができ、物体の存在しないオープンスペースを精度良く且つ広い範囲で認識することができ、広い視野で認識されたオープンスペースに基づいて、前記移動体が前記物体を避ける移動経路をより適切に設定できる。また、前記撮像装置を2台以上使用してステレオ画像解析を行う前記従来技術(J01)に比べ、前記撮像装置の費用や演算量等のコストを低減できる。
請求項7の記載の発明によれば、前記測距装置による計測結果に基づいて、前記測距領域における物体非存在空間領域が特定されると共に、前記撮像装置で撮像した画像に基づいて、前記物体非存在空間領域と重複する撮像領域の空間色情報が取得され、前記空間色情報と一致する色情報の領域が前記撮像領域の物体非存在空間であると判別される。この結果、前記物体非存在空間について、前記測距領域における物体非存在空間領域から前記撮像領域内にまで拡張することができ、物体の存在しないオープンスペースを精度良く且つ広い範囲で認識することができる。また、前記撮像装置を2台以上使用してステレオ画像解析を行う前記従来技術(J01)に比べ、前記撮像装置の費用や演算量等のコストを低減できる。
次に図面を参照しながら、本発明の実施の形態の具体例(実施例)を説明するが、本発明は以下の実施例に限定されるものではない。
図1は本発明の実施例1の自律型移動体の全体説明図である。
図1において、実施例1の自律型移動体AMは、移動体本体Mを有する。前記移動体本体Mには、左右の2輪がそれぞれ独立で駆動する前輪Maと、前記前輪Maの補助輪としての後輪Mbとを有する。前記前輪Maは、前記移動体本体Mに内蔵された駆動部M1により駆動される。前記駆動部M1は、前記移動体本体Mに設けられた制御部Cにより駆動が制御される。
また、前記前輪Maは、前記制御部Cにより、前記左右の2輪に回転差を与えるように前記駆動部M1の駆動が制御されることにより左右方向に操舵される。
また、前記自律型移動体AMには、前記自律型移動体AMの前方に予め設定された測距領域AR0に対して距離を計測することで前記測距領域AR0に存在する障害物等の物体を検出する測距装置の一例としてのレーザレンジファインダLRFが支持されている。前記レーザレンジファインダLRFは、前記測距領域AR0内でレーザ光を走査し、反射されたレーザ光を検出することで、前記測距領域AR0に存在する前記物体までの距離を計測する。なお、実施例1では、前記レーザレンジファインダLRFによって測距可能な前記測距領域AR0が、前記自律型移動体AM前方の半径2m程度の領域となるように予め設定されている。
また、前記自律型移動体AMには、前記レーザレンジファインダLRFが測距する測距領域AR0と重複し且つ前記測距領域AR0よりも広い前方の撮像領域AR1に対して、色情報を含む撮像領域AR1の画像1(後述する図3A参照)を撮像する撮像装置の一例としてのカメラCAが支持されている。なお、実施例1では、前記カメラCAは、市販されている安価なWebカメラが使用されているが、これに限定されず、市販のデジタルカメラやデジタルビデオカメラ等を使用することも可能である。
前記制御部C、前記レーザレンジファインダLRF、前記カメラCAにより実施例1の環境認識システムSが構成されている。
(実施例1の制御部Cの説明)
図2は本発明の実施例1の自律型移動体の制御部が備えている各機能をブロック図(機能ブロック図)で示した図である。
前記制御部Cは、いわゆるコンピュータ装置により構成されており、必要な処理を行うためのプログラムおよびデータ等が記憶されたROM(リードオンリーメモリ)、必要なデータを一時的に記憶するためのRAM(ランダムアクセスメモリ)、前記ROMに記憶されたプログラムに応じた処理を行うCPU(中央演算処理装置)、ならびにクロック発振器等を有するマイクロコンピュータにより構成されており、前記ROMに記憶されたプログラムを実行することにより種々の機能を実現することができる。
前記構成の制御部Cは、前記ROMに記憶されたプログラムを実行することにより種々の機能を実現することができる。実施例1の前記制御部CのROMには、環境認識プログラムAP1が記憶されている。
(環境認識プログラムAP1)
環境認識プログラムAP1は、下記の機能手段(プログラムモジュール)を有する。
C1:測距領域測距手段
測距領域測距手段C1は、レーザレンジファインダLRFにより、測距領域AR0に存在する障害物等の物体までの距離を計測する(測距する)。
図3は本発明の実施例1の環境認識プログラムで取得される画像の説明図であり、図3Aはカメラにより撮像された撮像領域の画像の説明図、図3Bはレーザレンジファインダの計測結果に基づいて作成されたマスク画像の説明図、図3Cは撮像領域の画像とマスク画像とを照合した状態の説明図である。
C2:撮像領域撮像手段
撮像領域撮像手段C2は、カメラCAにより、色情報を含む撮像領域AR1の撮像領域画像1(図3A参照)を撮像する。図3Aに示す、実施例1の前記撮像領域画像1の一例には、障害物1aが撮像されている。
C3:測距領域空間特定手段
測距領域空間特定手段C3は、マスク画像生成手段C3Aを有し、前記測距領域測距手段C1による計測結果に基づいて、前記測距領域AR0において、物体が存在しない物体非存在空間領域(2a)を特定する。
C3A:マスク画像生成手段
マスク画像生成手段C3Aは、前記測距領域測距手段C1で測距された測距領域AR0の計測結果に基づいて、前記撮像領域画像1に対応する測距領域画像の一例としてのマスク画像2(図3B参照)を生成する。図3Bにおいて、実施例1の前記マスク画像生成手段C3Aは、前記レーザレンジファインダLRFによる前記測距領域AR0の計測結果から、前記撮像領域画像1の内の障害物1aが存在しないと判別された前記物体非存在空間領域2aを白色とし、それ以外の領域、すなわち、前記障害物1aが存在すると判別された物体存在空間領域2bと、測距領域AR0を超える領域である測拒不可領域2cとによって構成される非対象領域2d(2b+2c)を黒色とする2値画像である前記マスク画像2を生成する。
C4:空間色情報取得手段
空間色情報取得手段C4は、マスク画像照合手段C4Aと、色情報平均値演算手段C4Bとを有し、撮像領域撮像手段C2で撮像された前記撮像領域画像1に基づいて、前記撮像領域AR1と、前記物体非存在空間領域2aとが重複する領域である重複領域の一例としてのマスク部1b(図3C参照)の色情報である空間色情報を取得する。
C4A:マスク画像照合手段
マスク画像照合手段C4Aは、前記撮像領域画像1と、前記マスク画像2とを照合することにより、前記撮像領域画像1内で、前記物体非存在空間領域2aに対応する前記マスク部1bを検出する。
C4B:色情報平均値演算手段
色情報平均値演算手段C4Bは、前記マスク部1bの色情報の平均値を演算する。
なお、実施例1の前記空間色情報取得手段C4では、前記マスク部1bの色情報の平均値が前記空間色情報であるとみなされる。
C5:空間判別手段
空間判別手段C5は、撮像領域撮像手段C2で撮像された前記撮像領域画像1に基づいて、前記撮像領域AR1において、前記空間色情報と一致する色情報の領域を、物体が存在しない物体非存在空間1d(図3C参照)であると判別する。なお、実施例1の前記空間判別手段C5は、まず、前記マスク部1bの色情報の平均値(空間色情報)と、前記非対象領域2dに対応する非マスク部1c(図3C参照)内で前記マスク部1b(物体非存在空間1dの初期値)に隣接する画素(隣接する領域)の色情報との差が、予め設定された閾値より小さい場合、前記マスク部1bに隣接する非マスク部1cの画素を前記物体非存在空間1dとみなすことにより、前記非マスク部1c内に前記物体非存在空間1dを拡張する。
また、拡張された前記物体非存在空間1dの色情報(空間色情報)と、前記物体非存在空間1dに隣接する非マスク部1cの画素の色情報との差が前記閾値より小さい場合に前記物体非存在空間1dを拡張する処理を繰り返す。そして、前記物体非存在空間1dに隣接する全ての画素で前記物体非存在空間1dが拡張できなくなると、前記物体非存在空間1dの拡張処理を終了し、拡張された前記物体非存在空間1dが判別される(特定される)。なお、図3Cに示す、実施例1の前記物体非存在空間1dの一例は、障害物1a以外の全ての領域、より具体的には床面となる。
C6:経路設定手段
経路設定手段C6は、前記物体非存在空間1dが移動可能な領域であると判別して、前記物体非存在空間1dのみを通過して前記障害物1aを避ける移動経路を設定する経路設定処理を実行する。
C7:移動制御手段
移動制御手段C7は、設定された前記移動経路に沿って前記移動体本体Mを移動させる移動制御処理を実行する。実施例1の前記移動制御手段C7は、前記駆動部M1を制御して前記移動体本体Mの前輪Maの駆動を制御し、且つ、前記前輪Maの左右の2輪に回転差を与えることで左右方向への操舵を制御することにより、前記移動制御処理を実行する。
(実施例1のフローチャートの説明)
次に、実施例1の制御部Cの環境認識プログラムAP1の処理の流れをフローチャートを使用して説明する。なお、前記移動制御手段C7に対応する前記移動制御処理については、前記移動体本体Mの前輪Maの駆動及び操舵(移動方向の調整)を制御することにより、経路設定処理(後述する図4のフローチャート参照)により設定された移動経路に沿って前記移動体本体Mを移動させるだけであるため、フローチャートによる詳細な説明を省略する。
(実施例1の経路設定処理のフローチャートの説明)
図4は本発明の実施例1の環境認識プログラムの経路設定処理のフローチャートである。
図4のフローチャートの各ST(ステップ)の処理は、前記制御部CのROM等に記憶されたプログラムに従って行われる。また、この処理は前記制御部Cの他の各種処理(例えば、移動制御処理)と並行してマルチタスクで実行される。
図4に示すフローチャートは前記自律型移動体AMが電源オンした後、前記環境認識プログラムAP1が起動した場合に開始される。
図4のST1において、次の(1),(2)の処理を実行し、ST2に移る。
(1)レーザレンジファインダLRFにより測距領域AR0を測距する。
(2)カメラCAにより撮像領域AR1の撮像領域画像1(図3A参照)を撮像する。
ST2において、レーザレンジファインダLRFによる測距領域AR0の計測結果と、カメラCAによる撮像領域AR1の撮像領域画像1とに基づいてマスク画像2(図3B参照)を生成する。そして、ST3に移る。
ST3において、撮像領域画像1と、マスク画像2とを照合して、撮像領域画像1のマスク部1b(図3C参照)を検出し、前記マスク部1bの色情報の平均値を演算する。そして、ST4に移る。
ST4において、マスク部1bの色情報の平均値(空間色情報)と隣接する非マスク部1cの画素の色情報との差が予め設定された閾値より小さいか否かを判別する。イエス(Y)の場合はST5に移り、ノー(N)の場合はST6に移る。
ST5において、隣接する非マスク部1cの画素を物体非存在空間1d(図3C参照)とすることにより、非マスク部1c内に物体非存在空間1cを拡張する。そして、ST6に移る。
ST6において、物体非存在空間1dと隣接する全ての画素で物体非存在空間1dを拡張できないことを確認済であるか否かを判別する。イエス(Y)の場合はST7に移り、ノー(N)の場合はST4に戻る。
ST7において、物体非存在空間1dが移動可能な領域であると判別して、物体非存在空間1dのみを通過して障害物1aを避ける移動経路を設定する。そして、ST1に戻る。
(実施例1の作用)
前記構成を備えた実施例1の自律型移動体AMでは、前記撮像領域AR1において、前記マスク部1bの色情報の平均値である前記空間色情報と一致する色情報の領域が、前記物体非存在空間1dであると判別される(図3C、図4のST4〜ST6参照)。したがって、狭い測距領域AR0のレーザレンジファインダLRFと、広い撮像領域AR1のカメラCAの情報を組み合わせることにより、精度の高いレーザレンジファインダLRFで測定された前記測距領域AR0の物体非存在空間1dを、前記撮像領域AR1内に拡張することができる。
また、実施例1の自律型移動体AMでは、前記物体非存在空間1dの空間色情報(マスク部1bの色情報の平均値)と、前記物体非存在空間1dに隣接する非マスク部1cの画素の色情報との差が前記閾値より小さい場合に前記物体非存在空間1dを拡張する処理を、前記物体非存在空間1dに隣接する全ての画素で前記物体非存在空間1dが拡張できなくなるまで繰り返す(図4のST4〜ST6参照)。したがって、実施例1の自律型移動体AMでは、前記物体非存在空間1dに隣接しない領域については前記物体非存在空間1dであるか否かが判別されないため、前記物体非存在空間1dを判別するための演算量を低減できると共に、例えば、物体により囲まれた物体非存在空間のような閉鎖空間について判別を行わず、オープンスペースに隣接する領域のみに対して前記物体非存在空間であるか否かが判別されるため、オープンスペース、すなわち、前記物体非存在空間1dを精度良く認識することができる。また、前記空間色情報(マスク部1bの色情報の平均値)との差が予め設定された閾値より小さい色情報の領域が前記物体非存在空間1dであると判別されるため、例えば、同じ物体であって光の加減(物陰等)により色情報に少し差がある場合等についても、連続した物体非存在空間であると判別できる。
さらに、実施例1の自律型移動体AMでは、前記物体非存在空間1dが移動可能な領域であると判別して、前記物体非存在空間1dのみを通過して前記障害物1aを避ける移動経路が設定できる(図4のST7参照)。
(実験例)
ここで、実施例1の前記自律型移動体AMが、前記経路設定処理(図4のST1〜ST7参照)を実行することにより、周囲の環境を認識する精度がどのように変化したかを調べるために、次の実験例1および比較例1を準備した。
(実験例1)
実験例1の自律型移動体AMは、実施例1の前記自律型移動体AMと同等の構成で作製されたシミュレータであり、実施例1の前記経路設定処理および前記移動制御処理が実行される。したがって、実験例1の自律型移動体AMでは、前記撮像領域画像1における物体非存在空間1dが、前記物体非存在空間領域2aに対応するマスク部1bから前記非マスク部1cにまで拡張されて判別される(図3C参照)。すなわち、移動可能な領域が、前記レーザレンジファインダLRFにより特定された前記測距領域AR0の物体非存在空間領域2a(図3B参照)から前記撮像領域AR1内にまで拡張されて判別される。
(比較例1)
比較例1の自律型移動体AM′は、実験例1の自律型移動体AMに比べ、前記カメラCAを有しておらず、比較例1の経路設定処理は、実験例1の経路設定処理に比べ、前記撮像領域画像1における物体非存在空間1dが、前記物体非存在空間領域2aに対応する前記マスク部1bのみであると判別され、前記非マスク部1cにまで拡張されて判別されない。すなわち、比較例1の自律型移動体AM′では、移動可能な領域が、前記レーザレンジファインダLRFにより特定された前記測距領域AR0の物体非存在空間領域2aのみであると判別される。
(実験条件)
図5は実験例の実験条件および実験結果の説明図であり、図5Aは実験例の実験条件を示す図であり、図5Bは実験例の実験結果を示す図であり、実験例1の自律型移動体が走行した経路を実線で示し、比較例1の自律型移動体が走行した経路を破線で示した図である。
図5Aに示すように、前記実験例では、実験例1および比較例1の自律型移動体AM,AM′の周回コース3を設けて、走行した経路および1周分の走行時間を測定するシミュレーション実験を行った。
ここで、前記周回コース3は、前記自律型移動体AM,AM′が走行する床面3aと、前記床面3aとの境界であり、前記床面3aの周囲を囲む外側縁石3bおよび内側縁石3cと、前記外側縁石3b側に設けられた障害物3dとを有する。なお、前記床面3aは、前記縁石3b,3cおよび前記障害物3dに対して、色情報が異なるように予め設定されている。
(実験結果)
図5Bに示すように、実験例1の自律型移動体AMが走行した経路(図5Bの実線参照)は、比較例1の自律型移動体AM′が走行した経路(図5Bの破線参照)に比べ、前記外側縁石3bおよび前記障害物3dから離れており、短くなっていることがわかる。また、実験例1の自律型移動体AMの走行時間は、26.38秒であり、比較例1の自律型移動体AM′の走行時間は、33.26秒であった。すなわち、実験例1の自律型移動体AMの走行時間は、比較例1の自律型移動体AM′の走行時間に比べ、約26%改善したことがわかる。
したがって、実施例1の自律型移動体AMは、前記レーザレンジファインダLRFによる測距領域AR0の狭さを、前記カメラCAによる撮像領域AR1の広さによって補完でき、前記カメラCAの障害物等の物体を認識する精度の低さを、前記レーザレンジファインダLRFによる前記物体を認識する精度の高さによって補完できる。したがって、障害物や移動可能な空間について、正確且つ広い範囲を認識することができ、前記自律型移動体AMの視野を広くすることができる。よって、広い視野に基づいて、移動経路をより適切に設定できる。
この結果、実施例1の自律型移動体AMは、比較例1の自律型移動体AM′のように前記カメラCAによってレーザレンジファインダLRFの情報を補完しない場合に比べ、前記物体非存在空間1dを精度良く且つ広範囲において判別できるため、周囲の環境を精度良く認識でき、移動経路をより適切に設定することができる。
さらに、実施例1の前記カメラCAは、色情報を含む前記撮像領域画像1を撮像するだけであるため、市販されている安価なWebカメラを使用することも可能である。したがって、実施例1の自律型移動体AMは、前記従来技術(J01)を適用した場合、すなわち、高額な2台のカメラを用いてステレオ画像解析し、自律型移動体AM前方の障害物1aまでの距離を演算した演算結果に基づいて前記物体非存在空間1cを検出する場合に比べ、周囲の環境を認識するための前記カメラCAの費用や演算量等のコストを低減することができる。
(変更例)
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例(H01)〜(H04)を下記に例示する。
(H01)本発明の実施例では、前記経路設定処理(図4のST1〜ST7参照)は、前記レーザレンジファインダLRFにより前記測距領域AR0における前記物体非存在空間領域2aを特定し、前記物体非存在空間1dを前記測距領域AR0から前記撮像領域AR1内にまで拡張し、前記物体非存在空間1dが移動可能な領域であると判別するが、これに限定されず、前記レーザレンジファインダLRFにより前記測距領域AR0における前記物体存在空間領域2bを特定し、前記物体存在空間領域2bの色情報(空間色情報)と一致する色情報の領域を物体が存在する物体存在空間であると判別し、前記物体存在空間(障害物1a)を避ける移動経路を設定することも可能である。また、前記物体非存在空間1dの替わりに前記物体存在空間を判別する場合、障害物1aとしての前記物体存在空間を避ける移動経路を設定する構成に限定されず、例えば、移動体としての前記物体存在空間を追従する移動経路を設定する構成にすることも可能である。
(H02)本発明の実施例では、予め設定された測距領域に対して距離を計測することで、前記測距領域に存在する物体を検出する測距装置として、前記レーザレンジファインダLRFを使用するが、これに限定されず、例えば、スキャニングレーザレーダやミリ波レーダ等(特許文献1参照)のその他の装置を使用することも可能である。
(H03)本発明の実施例では、前記物体非存在空間1dの色情報(空間色情報)と、前記物体非存在空間1dに隣接する非マスク部1cの画素の色情報とを比較して前記物体非存在空間1dを拡張する処理を繰り返しているが(図4のST4〜ST6参照)、これに限定されず、例えば、前記物体非存在空間1dに隣接していない非マスク部1cの画素から比較して前記物体非存在空間1dを拡張することも可能である。
(H04)本発明の実施例では、前記環境認識システムSを有する前記移動体本体Mを、いわゆる、ロボット車によって構成したが、これに限定されず、例えば、二足歩行のロボット等により構成することも可能である。
図1は本発明の実施例1の自律型移動体の全体説明図である。 図2は本発明の実施例1の自律型移動体の制御部が備えている各機能をブロック図(機能ブロック図)で示した図である。 図3は本発明の実施例1の環境認識プログラムで取得される画像の説明図であり、図3Aはカメラにより撮像された撮像領域の画像の説明図、図3Bはレーザレンジファインダの計測結果に基づいて作成されたマスク画像の説明図、図3Cは撮像領域の画像とマスク画像とを照合した状態の説明図である。 図4は本発明の実施例1の環境認識プログラムの経路設定処理のフローチャートである。 図5は実験例の実験条件および実験結果の説明図であり、図5Aは実験例の実験条件を示す図であり、図5Bは実験例の実験結果を示す図であり、実験例1の自律型移動体が走行した経路を実線で示し、比較例1の自律型移動体が走行した経路を破線で示した図である。
符号の説明
1…画像、
1a…物体、
1d…物体非存在空間、
2a…物体非存在空間領域、
2b…物体存在空間領域、
AM…自律型移動体、
AP1…環境認識プログラム、
AR0…測距領域、
AR1…撮像領域、
C…コンピュータ、
C3…測距領域空間特定手段、
C4…空間色情報取得手段、
C5…空間判別手段、
C6…経路設定手段、
C7…移動制御手段、
CA…撮像装置、
LRF…測距装置、レーザレンジファインダ、
M…移動体、
S…環境認識システム。

Claims (7)

  1. 予め設定された測距領域に対して距離を計測することで、前記測距領域に存在する物体を検出する測距装置と、
    前記測距装置が測距する測距領域と重複し且つ前記測距領域よりも広い撮像領域に対して、色情報を含む画像を撮像する撮像装置と、
    前記測距装置による計測結果に基づいて、前記測距領域において、物体が存在しない物体非存在空間領域を特定する測距領域空間特定手段と、
    前記撮像装置で撮像した画像に基づいて、前記物体非存在空間領域と、重複する撮像領域の色情報である空間色情報を取得する空間色情報取得手段と、
    前記撮像装置で撮像した画像に基づいて、前記撮像領域において、前記空間色情報と一致する色情報の領域を物体が存在しない物体非存在空間であると判別する空間判別手段と、
    を備えたことを特徴とする環境認識システム。
  2. 前記撮像装置で撮像した画像に基づいて、前記撮像領域において、前記空間色情報と、前記空間色情報の領域に隣接する領域の色情報とが一致する場合に、前記隣接する領域を前記物体非存在空間であると判別する前記空間判別手段、
    を備えたことを特徴とする請求項1に記載の環境認識システム。
  3. 前記撮像装置で撮像した画像に基づいて、前記物体非存在空間領域と、重複する撮像領域の色情報の平均値を前記空間色情報として取得する前記空間色情報取得手段と、
    前記撮像装置で撮像した画像に基づいて、前記撮像領域において、前記空間色情報との差が予め設定された閾値より小さい色情報が存在する場合に、前記色情報を前記空間色情報と一致する色情報であるとみなし、前記色情報の領域を前記物体非存在空間であると判別する前記空間判別手段と、
    を備えたことを特徴とする請求項1または2に記載の環境認識システム。
  4. 予め設定された測距領域に対して距離を計測することで、前記測距領域に存在する物体を検出する測距装置と、
    前記測距装置が測距する測距領域と重複し且つ前記測距領域よりも広い撮像領域に対して、色情報を含む画像を撮像する撮像装置と、
    前記測距装置による計測結果に基づいて、前記測距領域において、物体が存在する物体存在空間領域を特定する測距領域空間特定手段と、
    前記撮像装置で撮像した画像に基づいて、前記物体存在空間領域と、重複する撮像領域の色情報である空間色情報を取得する空間色情報取得手段と、
    前記撮像装置で撮像した画像に基づいて、前記撮像領域において、前記空間色情報と一致する色情報の領域を物体が存在する物体存在空間であると判別する空間判別手段と、
    を備えたことを特徴とする環境認識システム。
  5. 前記測距領域内でレーザ光を走査し、物体で反射されたレーザ光を検出することで、前記測距領域に存在する物体までの距離を計測するレーザレンジファインダにより構成された前記測距装置と、
    を備えたことを特徴とする請求項1ないし4のいずれかに記載の環境認識システム。
  6. 移動体の前方に予め設定された測距領域に対して距離を計測することで、前記測距領域に存在する物体を検出する測距装置と、
    前記測距装置が測距する測距領域と重複し且つ前記測距領域よりも広い前方の撮像領域に対して、色情報を含む画像を撮像する撮像装置と、
    前記測距装置による計測結果に基づいて、前記測距領域において、物体が存在しない物体非存在空間領域を特定する測距領域空間特定手段と、
    前記撮像装置で撮像した画像に基づいて、前記物体非存在空間領域と、重複する撮像領域の色情報である空間色情報を取得する空間色情報取得手段と、
    前記撮像装置で撮像した画像に基づいて、前記撮像領域において、前記空間色情報と一致する色情報の領域を物体が存在しない物体非存在空間であると判別する空間判別手段と、
    前記物体非存在空間が移動可能な領域であると判別して、前記物体を避ける移動経路を設定する経路設定手段と、
    設定された前記移動経路に沿って前記移動体を移動させる移動制御手段と、
    を備えたことを特徴とする自律型移動体。
  7. コンピュータを
    予め設定された測距領域に対して距離を計測することで前記測距領域に存在する物体を検出する測距装置による計測結果に基づいて、前記測距領域において、物体が存在しない物体非存在空間領域を特定する測距領域空間特定手段、
    前記測距装置が測距する測距領域と重複し且つ前記測距領域よりも広い撮像領域に対して色情報を含む画像を撮像する撮像装置で撮像した画像に基づいて、前記物体非存在空間領域と、重複する撮像領域の色情報である空間色情報を取得する空間色情報取得手段、
    前記撮像装置で撮像した画像に基づいて、前記撮像領域において、前記空間色情報と一致する色情報の領域を物体が存在しない物体非存在空間であると判別する空間判別手段、
    として機能させるための環境認識プログラム。
JP2007234425A 2007-09-10 2007-09-10 環境認識システム、自律型移動体および環境認識プログラム Expired - Fee Related JP4953313B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007234425A JP4953313B2 (ja) 2007-09-10 2007-09-10 環境認識システム、自律型移動体および環境認識プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007234425A JP4953313B2 (ja) 2007-09-10 2007-09-10 環境認識システム、自律型移動体および環境認識プログラム

Publications (2)

Publication Number Publication Date
JP2009068852A JP2009068852A (ja) 2009-04-02
JP4953313B2 true JP4953313B2 (ja) 2012-06-13

Family

ID=40605290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007234425A Expired - Fee Related JP4953313B2 (ja) 2007-09-10 2007-09-10 環境認識システム、自律型移動体および環境認識プログラム

Country Status (1)

Country Link
JP (1) JP4953313B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106200A (ja) * 2012-11-29 2014-06-09 Toyota Motor Corp 周辺監視装置及び駐車支援装置
JP6359986B2 (ja) * 2015-02-13 2018-07-18 トヨタ自動車株式会社 車両運転支援システム
DE112018006730T5 (de) 2017-12-28 2020-10-01 Sony Corporation Steuervorrichtung und steuerverfahren, programm und mobiles objekt

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6371604A (ja) * 1986-09-12 1988-04-01 Hideo Mori 領域分割したカラ−画像を使つて道路境界と障害物を検出する方式
JPH0546242A (ja) * 1991-08-09 1993-02-26 Toshiba Corp 白線検出装置
JP3064759B2 (ja) * 1993-09-28 2000-07-12 株式会社日立製作所 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置
JPH09264954A (ja) * 1996-03-29 1997-10-07 Fujitsu Ten Ltd レーダを用いた画像処理システム
JP4308381B2 (ja) * 1999-09-29 2009-08-05 富士通テン株式会社 周辺監視センサ
JP2002132343A (ja) * 2000-10-26 2002-05-10 Kawasaki Heavy Ind Ltd 自律走行体の走行制御方法
JP3621065B2 (ja) * 2000-12-25 2005-02-16 松下電器産業株式会社 画像検出装置、プログラムおよび記録媒体
JP3470268B2 (ja) * 2001-07-17 2003-11-25 川崎重工業株式会社 目標抽出方法
JP3945279B2 (ja) * 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
JP3879848B2 (ja) * 2003-03-14 2007-02-14 松下電工株式会社 自律移動装置
JP4241651B2 (ja) * 2005-03-16 2009-03-18 パナソニック電工株式会社 移動装置
JP4595759B2 (ja) * 2005-09-09 2010-12-08 株式会社デンソー 環境認識装置

Also Published As

Publication number Publication date
JP2009068852A (ja) 2009-04-02

Similar Documents

Publication Publication Date Title
CN102396002B (zh) 目标探测装置
US9815462B2 (en) Path determination for automated vehicles
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP6418332B2 (ja) 車両位置推定装置、車両位置推定方法
WO2018097026A1 (ja) 車両制御装置
JP6261832B1 (ja) 走行路認識装置及び走行路認識方法
US10474158B2 (en) Vehicle travel control method and travel control device
CN111231942A (zh) 停车辅助装置
US12024161B2 (en) Vehicular control system
US9607230B2 (en) Mobile object control apparatus and target object detecting apparatus
JP5781126B2 (ja) 障害物判定装置、自律移動装置および障害物判定方法
JP4937844B2 (ja) 歩行者検出装置
JP2018063476A (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
Kotur et al. Camera and LiDAR sensor fusion for 3D object tracking in a collision avoidance system
CN115144849A (zh) 用于对象避开检测的传感器融合
JP7640444B2 (ja) 移動体制御装置、移動体制御方法、およびプログラム
CN113361312A (zh) 检测对象的电子装置和方法
JP4953313B2 (ja) 環境認識システム、自律型移動体および環境認識プログラム
JP5530773B2 (ja) ステレオカメラによる平面検出方法とこの方法を用いた移動ロボット
JP2010072947A (ja) 障害物検出装置
Bersani et al. Robust vehicle pose estimation from vision and INS fusion
JP2020041933A (ja) 周囲物体判定方法及び周囲物体判定装置
US10249056B2 (en) Vehicle position estimation system
Van Crombrugge et al. Fast Ground Detection for Range Cameras on Road Surfaces Using a Three-Step Segmentation
CN119689502A (zh) 物体检测装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120308

R150 Certificate of patent or registration of utility model

Ref document number: 4953313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees