JP6997066B2 - 人検知システム - Google Patents

Description

本発明は、人を検知する人検知システム及び作業機械に関する。

３次元空間における水平面上の円柱領域を人の存在する領域として定義し、その円柱の中心軸を通る切断面のうちカメラに正対する切断面をそのカメラのSmart Window（ＳＷ）とする人検出システムが知られている（非特許文献１参照。）。また、このシステムは、カメラ画像上のＳＷを特徴抽出及び識別器に適した矩形に透視変換する。

李媛、伊藤誠也、三好雅則、藤吉弘亘、金子俊一、"Smart Window Transformとエッジベース識別器に基づく人検出"、２０１１年度精密工学会秋季大会学術講演会講演論文集、p.920-921

しかしながら、上述のシステムは、円柱の中心軸を通る切断面（三次元空間における鉛直面）をＳＷとする。そのため、人を斜め上から見下ろす位置に取り付けられたカメラに人が接近するにつれてカメラ画像上のＳＷの面積が小さくなり、カメラ近くに存在する人を検知できないおそれがある。

上述に鑑み、人を斜め上から撮像する撮像装置の撮像画像を用いて人をより確実に検知できる人検知システムの提供が望まれる。

本発明の一実施例に係る人検知システムは、対象に取り付けられる撮像装置の撮像画像を用いて該対象の周辺に存在する人を検知する人検知システムであって、前記撮像画像の一部を対象画像として抽出する抽出部と、前記対象画像に含まれる画像が人の画像であるかを識別する識別部と、を有し、前記撮像装置の方向を向き、且つ、水平面及び鉛直面に対して傾斜している平面領域によって、前記対象画像は、前記撮像画像の他の部分とは区別して抽出され、前記平面領域は、予め設定された領域である。

上述の手段により、人を斜め上から撮像する撮像装置の撮像画像を用いて人をより確実に検知できる人検知システムが提供される。

本発明の実施例に係る人検知システムが搭載されるショベルの側面図である。 人検知システムの構成例を示す機能ブロック図である。 後方カメラの撮像画像の例である。 後方カメラの撮像画像の例である。 撮像画像から識別処理対象画像を切り出す際に用いられる幾何学的関係の一例を示す概略図である。 ショベル後方の実空間の上面視である。 後方カメラの撮像画像の一例である。 撮像画像における識別処理対象画像領域を切り出した図である。 識別処理対象画像領域を有する識別処理対象画像を正規化した正規化画像の一例である。 撮像画像における識別処理対象画像領域を示す図である。 識別処理対象画像領域を有する識別処理対象画像の正規化画像を示す図である。 撮像画像における識別処理対象画像領域を示す図である。 識別処理対象画像領域を有する識別処理対象画像の正規化画像を示す図である。 撮像画像における識別処理対象画像領域を示す図である。 識別処理対象画像領域を有する識別処理対象画像の正規化画像を示す図である。 識別処理対象画像領域と識別処理不適領域との関係を示す図である。 はみ出し領域に対応するマスク領域と車体映り込み領域の一部に対応するマスク領域とを含む正規化画像を示す図である。 正規化画像の例を示す図である。 実空間における仮想平面領域と後方カメラとの間の後方水平距離と、正規化画像における頭部画像部分の大きさとの関係を説明する図である。 撮像画像から識別処理対象画像を切り出す際に用いられる幾何学的関係の別の一例を示す概略図である。 撮像画像における特徴画像の一例を示す図である。 特徴画像としてのヘルメット画像の拡大図である。 照明装置が搭載されたショベルの側面図である。 画像抽出処理の一例の流れを示すフローチャートである。 画像抽出処理の別の一例の流れを示すフローチャートである。

図１は、本発明の実施例に係る人検知システム１００が搭載される建設機械としてのショベルの側面図である。ショベルの下部走行体１には、旋回機構２を介して上部旋回体３が搭載される。上部旋回体３には、ブーム４が取り付けられる。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはバケット６が取り付けられる。ブーム４、アーム５、及びバケット６は掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。また、上部旋回体３には、キャビン１０が設けられ、且つエンジン等の動力源が搭載される。また、上部旋回体３の上部には撮像装置４０が取り付けられる。具体的には、上部旋回体３の後端上部、左端上部、右端上部に後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒが取り付けられる。また、キャビン１０内にはコントローラ３０及び出力装置５０が設置される。

図２は、人検知システム１００の構成例を示す機能ブロック図である。人検知システム１００は、主に、コントローラ３０、撮像装置４０、及び出力装置５０を含む。

コントローラ３０は、ショベルの駆動制御を行う制御装置である。本実施例では、コントローラ３０は、ＣＰＵ及び内部メモリを含む演算処理装置で構成され、内部メモリに格納された駆動制御用のプログラムをＣＰＵに実行させて各種機能を実現する。

また、コントローラ３０は、各種装置の出力に基づいてショベルの周辺に人が存在するかを判定し、その判定結果に応じて各種装置を制御する。具体的には、コントローラ３０は、撮像装置４０の出力を受け、抽出部３１及び識別部３２のそれぞれに対応するソフトウェアプログラムを実行する。そして、その実行結果に応じてショベルの駆動制御を実行し、或いは、出力装置５０から各種情報を出力させる。なお、コントローラ３０は、画像処理専用の制御装置であってもよい。

撮像装置４０は、ショベルの周囲の画像を撮像する装置であり、撮像した画像をコントローラ３０に対して出力する。本実施例では、撮像装置４０は、ＣＣＤ等の撮像素子を採用するワイドカメラであり、上部旋回体３の上部において光軸が斜め下方を向くように取り付けられる。

出力装置５０は、各種情報を出力する装置であり、例えば、各種画像情報を表示する車載ディスプレイ、各種音声情報を音声出力する車載スピーカ等を含む。本実施例では、出力装置５０は、コントローラ３０からの制御指令に応じて各種情報を出力する。

抽出部３１は、撮像装置４０が撮像した撮像画像から識別処理対象画像を抽出する機能要素である。具体的には、抽出部３１は、比較的演算量の少ない画像処理（以下、「前段画像認識処理」とする。）によって識別処理対象画像を抽出する。前段画像認識処理は、局所的な輝度勾配又はエッジに基づく簡易な特徴、Hough変換等による幾何学的特徴、輝度に基づいて分割された領域の面積又はアスペクト比に関する特徴等を抽出する画像処理を含む。識別処理対象画像は、後続の画像処理の対象となる画像部分（撮像画像の一部）であり、人候補画像を含む。人候補画像は、人画像である可能性が高いとされる画像部分（撮像画像の一部）である。

識別部３２は、抽出部３１が抽出した識別処理対象画像に含まれる人候補画像が人画像であるかを識別する機能要素である。具体的には、識別部３２は、比較的演算量の多い画像処理（以下、「後段画像認識処理」とする。）によって人候補画像が人画像であるかを識別する。後段画像認識処理は、ＨＯＧ（Histograms of Oriented Gradients）特徴量に代表される画像特徴量記述と機械学習により生成した識別器とを用いた画像認識処理等を含む。識別部３２が人候補画像を人画像として識別する割合は、抽出部３１による識別処理対象画像の抽出が高精度であるほど高くなる。なお、識別部３２は、夜間、悪天候時等の撮像に適さない環境下で所望の品質の撮像画像を得られない場合等においては、人候補画像の全てが人画像であると識別してもよい。すなわち、抽出部３１が抽出した識別処理対象画像における人候補画像の全てを人であると識別してもよい。人の検知漏れを防止するためである。

次に、図３Ａ及び図３Ｂを参照し、後方カメラ４０Ｂが撮像したショベル後方の撮像画像における人画像の見え方について説明する。なお、図３Ａ及び図３Ｂの２つの撮像画像は、後方カメラ４０Ｂの撮像画像の例である。また、図３Ａ及び図３Ｂの点線円は人画像の存在を表し、実際の撮像画像には表示されない。

後方カメラ４０Ｂは、ワイドカメラであり、且つ、人を斜め上から見下ろす高さに取り付けられる。そのため、撮像画像における人画像の見え方は、後方カメラ４０Ｂから見た人の存在方向によって大きく異なる。例えば、撮像画像中の人画像は、撮像画像の左右の端部に近いほど傾いて表示される。これは、ワイドカメラの広角レンズに起因する像倒れによる。また、後方カメラ４０Ｂに近いほど頭部が大きく表示される。また、脚部がショベルの車体の死角に入って見えなくなってしまう。これらは、後方カメラ４０Ｂの設置位置に起因する。そのため、撮像画像に何らの加工を施すことなく画像処理によってその撮像画像に含まれる人画像を識別するのは困難である。

そこで、本発明の実施例に係る人検知システム１００は、識別処理対象画像を正規化することで、識別処理対象画像に含まれる人画像の識別を促進する。なお、「正規化」は、識別処理対象画像を所定サイズ及び所定形状の画像に変換することを意味する。本実施例では、撮像画像において様々な形状を取り得る識別処理対象画像は射影変換によって所定サイズの長方形画像に変換される。なお、射影変換としては例えば８変数の射影変換行列が用いられる。

ここで、図４～図６Ｃを参照し、人検知システム１００が識別処理対象画像を正規化する処理（以下、「正規化処理」とする。）の一例について説明する。なお、図４は、抽出部３１が撮像画像から識別処理対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図である。

図４のボックスＢＸは、実空間における仮想立体物であり、本実施例では、８つの頂点Ａ～Ｈで定められる仮想直方体である。また、点Ｐｒは、識別処理対象画像を参照するために予め設定される参照点である。本実施例では、参照点Ｐｒは、人の想定立ち位置として予め設定される点であり、４つの頂点Ａ～Ｄで定められる四角形ＡＢＣＤの中心に位置する。また、ボックスＢＸのサイズは、人の向き、歩幅、身長等に基づいて設定される。本実施例では、四角形ＡＢＣＤ及び四角形ＥＦＧＨは正方形であり、一辺の長さは例えば８００ｍｍである。また、直方体の高さは例えば１８００ｍｍである。すなわち、ボックスＢＸは、幅８００ｍｍ×奥行８００ｍｍ×高さ１８００ｍｍの直方体である。

４つの頂点Ａ、Ｂ、Ｇ、Ｈで定められる四角形ＡＢＧＨは、撮像画像における識別処理対象画像の領域に対応する仮想平面領域ＴＲを形成する。また、仮想平面領域ＴＲとしての四角形ＡＢＧＨは、水平面である仮想地面に対して傾斜する。

なお、本実施例では、参照点Ｐｒと仮想平面領域ＴＲとの関係を定めるために仮想直方体としてのボックスＢＸが採用される。しかしながら、撮像装置４０の方向を向き且つ仮想地面に対して傾斜する仮想平面領域ＴＲを任意の参照点Ｐｒに関連付けて定めることができるのであればこの限りではない。例えば、他の仮想立体物を用いた関係等の他の幾何学的関係が採用されてもよく、関数、変換テーブル等の他の数学的関係が採用されてもよい。

図５は、ショベル後方の実空間の上面視であり、参照点Ｐｒ１、Ｐｒ２を用いて仮想平面領域ＴＲ１、ＴＲ２が参照された場合における後方カメラ４０Ｂと仮想平面領域ＴＲ１、ＴＲ２との位置関係を示す。なお、本実施例では、参照点Ｐｒは、仮想地面上の仮想グリッドの格子点のそれぞれに配置可能である。但し、参照点Ｐｒは、仮想地面上に不規則に配置されてもよく、後方カメラ４０Ｂの仮想地面への投影点から放射状に伸びる線分上に等間隔に配置されてもよい。例えば、各線分は１度刻みで放射状に伸び、参照点Ｐｒは各線分上に１００ｍｍ間隔に配置されてもよい。

図４及び図５に示すように、四角形ＡＢＦＥ（図４参照。）で定められるボックスＢＸの第１面は、参照点Ｐｒ１を用いて仮想平面領域ＴＲ１が参照される場合、後方カメラ４０Ｂに正対するように配置される。すなわち、後方カメラ４０Ｂと参照点Ｐｒ１とを結ぶ線分は、参照点Ｐｒ１に関連して配置されるボックスＢＸの第１面と上面視で直交する。同様に、ボックスＢＸの第１面は、参照点Ｐｒ２を用いて仮想平面領域ＴＲ２が参照される場合にも、後方カメラ４０Ｂに正対するように配置される。すなわち、後方カメラ４０Ｂと参照点Ｐｒ２とを結ぶ線分は、参照点Ｐｒ２に関連して配置されるボックスＢＸの第１面と上面視で直交する。この関係は、参照点Ｐｒが何れの格子点上に配置された場合であっても成立する。すなわち、ボックスＢＸは、その第１面が常に後方カメラ４０Ｂに正対するように配置される。

図６Ａ～図６Ｃは、撮像画像から正規化画像を生成する処理の流れを示す図である。具体的には、図６Ａは、後方カメラ４０Ｂの撮像画像の一例であり、実空間における参照点Ｐｒに関連して配置されるボックスＢＸを示す。また、図６Ｂは、撮像画像における識別処理対象画像の領域ＴＲｇ（以下、「識別処理対象画像領域ＴＲｇ」とする。）を切り出した図であり、図６Ａの撮像画像に映し出された仮想平面領域ＴＲに対応する。また、図６Ｃは、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化した正規化画像ＴＲｇｔを示す。

図６Ａに示すように、実空間上で参照点Ｐｒ１に関連して配置されるボックスＢＸは、実空間における仮想平面領域ＴＲの位置を定め、そして、仮想平面領域ＴＲに対応する撮像画像上の識別処理対象画像領域ＴＲｇを定める。

このように、実空間における参照点Ｐｒの位置が決まれば、実空間における仮想平面領域ＴＲの位置が一意に決まり、撮像画像における識別処理対象画像領域ＴＲｇも一意に決まる。そして、抽出部３１は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して所定サイズの正規化画像ＴＲｇｔを生成できる。本実施例では、正規化画像ＴＲｇｔのサイズは、例えば縦６４ピクセル×横３２ピクセルである。

図７（Ａ１）～図７（Ｃ２）は、撮像画像と識別処理対象画像領域と正規化画像との関係を示す図である。具体的には、図７Ａ１は、撮像画像における識別処理対象画像領域ＴＲｇ３を示し、図７Ａ２は、識別処理対象画像領域ＴＲｇ３を有する識別処理対象画像の正規化画像ＴＲｇｔ３を示す。また、図７Ｂ１は、撮像画像における識別処理対象画像領域ＴＲｇ４を示し、図７Ｂ２は、識別処理対象画像領域ＴＲｇ４を有する識別処理対象画像の正規化画像ＴＲｇｔ４を示す。同様に、図７Ｃ１は、撮像画像における識別処理対象画像領域ＴＲｇ５を示し、図７Ｃ２は、識別処理対象画像領域ＴＲｇ５を有する識別処理対象画像の正規化画像ＴＲｇｔ５を示す。

図７（Ａ１）～図７（Ｃ２）に示すように、撮像画像における識別処理対象画像領域ＴＲｇ５は、撮像画像における識別処理対象画像領域ＴＲｇ４より大きい。識別処理対象画像領域ＴＲｇ５に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が、識別処理対象画像領域ＴＲｇ４に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離より小さいためである。同様に、撮像画像における識別処理対象画像領域ＴＲｇ４は、撮像画像における識別処理対象画像領域ＴＲｇ３より大きい。識別処理対象画像領域ＴＲｇ４に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が、識別処理対象画像領域ＴＲｇ３に対応する仮想平面領域と後方カメラ４０Ｂとの間の距離より小さいためである。すなわち、撮像画像における識別処理対象画像領域は、対応する仮想平面領域と後方カメラ４０Ｂとの間の距離が大きいほど小さい。その一方で、正規化画像ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５は何れも同じサイズの長方形画像である。

このように、抽出部３１は、撮像画像において様々な形状及びサイズを取り得る識別処理対象画像を所定サイズの長方形画像に正規化し、人画像を含む人候補画像を正規化できる。具体的には、抽出部３１は、正規化画像の所定領域に人候補画像の頭部であると推定される画像部分（以下、「頭部画像部分」とする。）を配置する。また、正規化画像の別の所定領域に人候補画像の胴体部であると推定される画像部分（以下、「胴体部画像部分」とする。）を配置し、正規化画像のさらに別の所定領域に人候補画像の脚部であると推定される画像部分（以下、「脚部画像部分」とする。）を配置する。また、抽出部３１は、正規化画像の形状に対する人候補画像の傾斜（像倒れ）を抑えた状態で正規化画像を取得できる。

次に、図８Ａ及び図８Ｂを参照し、識別処理対象画像領域が、人画像の識別に悪影響を与える識別に適さない画像領域（以下、「識別処理不適領域」とする。）を含む場合の正規化処理について説明する。識別処理不適領域は、人画像が存在し得ない既知の領域であり、例えば、ショベルの車体が映り込んだ領域（以下、「車体映り込み領域」とする。）、撮像画像からはみ出た領域（以下、「はみ出し領域」とする。）等を含む。なお、図８Ａ及び図８Ｂは、識別処理対象画像領域と識別処理不適領域との関係を示す図であり、図７Ｃ１及び図７Ｃ２に対応する。また、図８Ａの右下がりの斜線ハッチング領域は、はみ出し領域Ｒ１に対応し、左下がりの斜線ハッチング領域は、車体映り込み領域Ｒ２に対応する。

本実施例では、抽出部３１は、識別処理対象画像領域ＴＲｇ５がはみ出し領域Ｒ１及び車体映り込み領域Ｒ２の一部を含む場合、それらの識別処理不適領域をマスク処理する。そして、マスク処理した後で、識別処理対象画像領域ＴＲｇ５を有する識別処理対象画像の正規化画像ＴＲｇｔ５を生成する。なお、抽出部３１は、正規化画像ＴＲｇｔ５を生成した後で、正規化画像ＴＲｇｔ５における識別処理不適領域に対応する部分をマスク処理してもよい。

図８Ｂは、正規化画像ＴＲｇｔ５を示す。また、図８Ｂにおいて、右下がりの斜線ハッチング領域は、はみ出し領域Ｒ１に対応するマスク領域Ｍ１を表し、左下がりの斜線ハッチング領域は、車体映り込み領域Ｒ２の一部に対応するマスク領域Ｍ２を表す。

このようにして、抽出部３１は、識別処理不適領域の画像をマスク処理することで、識別処理不適領域の画像が識別部３２による識別処理に影響を及ぼすのを防止する。このマスク処理により、識別部３２は、識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人画像であるかを識別できる。なお、抽出部３１は、マスク処理以外の他の任意の公知方法で、識別処理不適領域の画像が識別部３２による識別処理に影響を及ぼさないようにしてもよい。

次に、図９を参照し、抽出部３１が生成する正規化画像の特徴について説明する。なお、図９は、正規化画像の例を示す図である。また、図９に示す１４枚の正規化画像は、図の左端に近い正規化画像ほど、後方カメラ４０Ｂから近い位置に存在する人候補の画像を含み、図の右端に近い正規化画像ほど、後方カメラ４０Ｂから遠い位置に存在する人候補の画像を含む。

図９に示すように、抽出部３１は、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の後方水平距離（図５に示すＹ軸方向の水平距離）に関係なく、何れの正規化画像内においてもほぼ同じ割合で頭部画像部分、胴体部画像部分、脚部画像部分等を配置できる。そのため、抽出部３１は、識別部３２が識別処理を実行する際の演算負荷を低減でき、且つ、その識別結果の信頼性を向上できる。なお、上述の後方水平距離は、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の位置関係に関する情報の一例であり、抽出部３１は、抽出した識別処理対象画像にその情報を付加する。また、上述の位置関係に関する情報は、仮想平面領域ＴＲに対応する参照点Ｐｒと後方カメラ４０Ｂとを結ぶ線分の後方カメラ４０Ｂの光軸に対する上面視角度等を含む。

次に、図１０を参照し、実空間における仮想平面領域ＴＲと後方カメラ４０Ｂとの間の後方水平距離と、正規化画像における頭部画像部分の大きさとの関係について説明する。なお、図１０上図は、後方カメラ４０Ｂからの後方水平距離がそれぞれ異なる３つの参照点Ｐｒ１０、Ｐｒ１１、Ｐ１２のところに人が存在する場合の頭部画像部分の大きさＬ１０、Ｌ１１、Ｌ１２を示す図であり、横軸が後方水平距離に対応する。また、図１０下図は、後方水平距離と頭部画像部分の大きさの関係を示すグラフであり、縦軸が頭部画像部分の大きさに対応し、横軸が後方水平距離に対応する。なお、図１０上図及び図１０下図の横軸は共通である。また、本実施例は、カメラ高さを２１００ｍｍとし、頭部ＨＤの中心の地面からの高さを１６００ｍｍとし、頭部の直径を２５０ｍｍとする。

図１０上図に示すように、参照点Ｐｒ１０で示す位置に人が存在する場合、頭部画像部分の大きさＬ１０は、後方カメラ４０Ｂから見た頭部ＨＤの仮想平面領域ＴＲ１０への投影像の大きさに相当する。同様に、参照点Ｐｒ１１、Ｐｒ１２で示す位置に人が存在する場合、頭部画像部分の大きさＬ１１、Ｌ１２は、後方カメラ４０Ｂから見た頭部ＨＤの仮想平面領域ＴＲ１１、ＴＲ１２への投影像の大きさに相当する。なお、正規化画像における頭部画像部分の大きさは投影像の大きさに伴って変化する。

そして、図１０下図に示すように、正規化画像における頭部画像部分の大きさは、後方水平距離がＤ１（例えば７００ｍｍ）以上ではほぼ同じ大きさを維持するが、後方水平距離がＤ１を下回ったところで急激に増大する。

そこで、識別部３２は、後方水平距離に応じて識別処理の内容を変更する。例えば、識別部３２は、教師あり学習（機械学習）の手法を用いる場合、所定の後方水平距離（例えば６５０ｍｍ）を境に、識別処理で用いる学習サンプルをグループ分けする。具体的には、近距離用グループと遠距離用グループに学習サンプルを分けるようにする。この構成により、識別部３２は、より高精度に人画像を識別できる。

以上の構成により、人検知システム１００は、撮像装置４０の方向を向き且つ水平面である仮想地面に対して傾斜する仮想平面領域ＴＲに対応する識別処理対象画像領域ＴＲｇから正規化画像ＴＲｇｔを生成する。そのため、人の高さ方向及び奥行き方向の見え方を考慮した正規化を実現できる。その結果、人を斜め上から撮像するように建設機械に取り付けられる撮像装置４０の撮像画像を用いた場合であっても建設機械の周囲に存在する人をより確実に検知できる。特に、人が撮像装置４０に接近した場合であっても、撮像画像上の十分な大きさの領域を占める識別処理対象画像から正規化画像を生成できるため、その人を確実に検知できる。

また、人検知システム１００は、実空間における仮想直方体であるボックスＢＸの４つの頂点Ａ、Ｂ、Ｇ、Ｈで形成される矩形領域として仮想平面領域ＴＲを定義する。そのため、実空間における参照点Ｐｒと仮想平面領域ＴＲとを幾何学的に対応付けることができ、さらには、実空間における仮想平面領域ＴＲと撮像画像における識別処理対象画像領域ＴＲｇとを幾何学的に対応付けることができる。

また、抽出部３１は、識別処理対象画像領域ＴＲｇに含まれる識別処理不適領域の画像をマスク処理する。そのため、識別部３２は、車体映り込み領域Ｒ２を含む識別処理不適領域の画像の影響を受けることなく、正規化画像におけるマスク領域以外の領域の画像を用いて人画像であるかを識別できる。

また、抽出部３１は、識別処理対象画像を抽出した場合、仮想平面領域ＴＲと撮像装置４０との位置関係に関する情報として両者間の後方水平距離をその識別処理対象画像に付加する。そして、識別部３２は、その後方水平距離に応じて識別処理の内容を変更する。具体的には、識別部３２は、所定の後方水平距離（例えば６５０ｍｍ）を境に、識別処理で用いる学習サンプルをグループ分けする。この構成により、識別部３２は、より高精度に人画像を識別できる。

また、抽出部３１は、参照点Ｐｒ毎に識別処理対象画像を抽出可能である。また、識別処理対象画像領域ＴＲｇのそれぞれは、対応する仮想平面領域ＴＲを介して、人の想定立ち位置として予め設定される参照点Ｐｒの１つに関連付けられる。そのため、人検知システム１００は、人が存在する可能性が高い参照点Ｐｒを任意の方法で抽出することで、人候補画像を含む可能性が高い識別処理対象画像を抽出できる。この場合、人候補画像を含む可能性が低い識別処理対象画像に対して、比較的演算量の多い画像処理による識別処理が施されてしまうのを防止でき、人検出処理の高速化を実現できる。

次に、図１１、図１２Ａ、及び図１２Ｂを参照し、人候補画像を含む可能性が高い識別処理対象画像を抽出部３１が抽出する処理の一例について説明する。なお、図１１は、抽出部３１が撮像画像から識別処理対象画像を切り出す際に用いる幾何学的関係の一例を示す概略図であり、図４に対応する。また、図１２Ａ及び図１２Ｂは、撮像画像における特徴画像の一例を示す図である。なお、特徴画像は、人の特徴的な部分を表す画像であり、望ましくは、実空間における地面からの高さが変化し難い部分を表す画像である。そのため、特徴画像は、例えば、ヘルメットの画像、肩の画像、頭の画像、人に取り付けられる反射板若しくはマーカの画像等を含む。

特に、ヘルメットは、その形状がおよそ球体であり、その投影像が撮像画像上に投影されたときに撮像方向によらず常に円形に近いという特徴を有する。また、ヘルメットは、表面が硬質で光沢又は半光沢を有し、その投影像が撮像画像上に投影されたときに局所的な高輝度領域とその領域を中心とする放射状の輝度勾配を生じさせ易いという特徴を有する。そのため、ヘルメットの画像は、特徴画像として特に相応しい。なお、その投影像が円形に近いという特徴、局所的な高輝度領域を中心とする放射状の輝度勾配を生じさせ易いという特徴等は、撮像画像からヘルメットの画像を見つけ出す画像処理のために利用されてもよい。また、撮像画像からヘルメットの画像を見つけ出す画像処理は、例えば、輝度平滑化処理、ガウス平滑化処理、輝度極大点探索処理、輝度極小点探索処理等を含む。

また、撮像画像において局所的な高輝度領域を中心とする放射状のグラデーション（輝度勾配）を生じさせ易いという特徴を安定的に引き出すために、撮像装置４０の近くには照明装置が設置されてもよい。この場合、照明装置は、例えば、撮像装置４０の撮像領域を照らすように照明装置４１の上に取り付けられる。

図１３は、照明装置４１が搭載されたショベルの側面図である。具体的には、後方カメラ４０Ｂ、左側方カメラ４０Ｌ、右側方カメラ４０Ｒの上に後方ライト４１Ｂ、左側方ライト４１Ｌ、右側方ライト４１Ｒが取り付けられる。

この構成により、照明装置は、ヘルメットからの反射光によって形成される撮像画像における局所的な高輝度領域を中心とする放射状の輝度勾配を強調できる。また、照明装置は、背景色と見分けがつきにくい色のヘルメットを目立たせることができ、また、屋内、夜間等、環境光が少ない場所でもヘルメットを目立たせることができる。

本実施例では、抽出部３１は、前段画像認識処理によって、撮像画像におけるヘルメット画像（厳密にはヘルメットであると推定できる画像）を見つけ出す。ショベルの周囲で作業する人はヘルメットを着用していると考えられるためである。そして、抽出部３１は、見つけ出したヘルメット画像の位置から最も関連性の高い参照点Ｐｒを導き出す。その上で、抽出部３１は、その参照点Ｐｒに対応する識別処理対象画像を抽出する。

具体的には、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像におけるヘルメット画像の位置から関連性の高い参照点Ｐｒを導き出す。なお、図１１の幾何学的関係は、実空間における仮想頭部位置ＨＰを定める点で図４の幾何学的関係と相違するが、その他の点で共通する。

仮想頭部位置ＨＰは、参照点Ｐｒ上に存在すると想定される人の頭部位置を表し、参照点Ｐｒの真上に配置される。本実施例では、参照点Ｐｒ上の高さ１７００ｍｍのところに配置される。そのため、実空間における仮想頭部位置ＨＰが決まれば、実空間における参照点Ｐｒの位置が一意に決まり、実空間における仮想平面領域ＴＲの位置も一意に決まる。また、撮像画像における識別処理対象画像領域ＴＲｇも一意に決まる。そして、抽出部３１は、識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して所定サイズの正規化画像ＴＲｇｔを生成できる。

逆に、実空間における参照点Ｐｒの位置が決まれば、実空間における仮想頭部位置ＨＰが一意に決まり、実空間における仮想頭部位置ＨＰに対応する撮像画像上の頭部画像位置ＡＰも一意に決まる。そのため、頭部画像位置ＡＰは、予め設定されている参照点Ｐｒのそれぞれに対応付けて予め設定され得る。なお、頭部画像位置ＡＰは、参照点Ｐｒからリアルタイムに導き出されてもよい。

そこで、抽出部３１は、前段画像認識処理により後方カメラ４０Ｂの撮像画像内でヘルメット画像を探索する。図１２Ａは、抽出部３１がヘルメット画像ＨＲｇを見つけ出した状態を示す。そして、抽出部３１は、ヘルメット画像ＨＲｇを見つけ出した場合、その代表位置ＲＰを決定する。なお、代表位置ＲＰは、ヘルメット画像ＨＲｇの大きさ、形状等から導き出される位置である。本実施例では、代表位置ＲＰは、ヘルメット画像ＨＲｇを含むヘルメット画像領域の中心画素の位置である。図１２Ｂは、図１２Ａにおける白線で区切られた矩形画像領域であるヘルメット画像領域の拡大図であり、そのヘルメット画像領域の中心画素の位置が代表位置ＲＰであることを示す。

その後、抽出部３１は、例えば最近傍探索アルゴリズムを用いて代表位置ＲＰの最も近傍にある頭部画像位置ＡＰを導き出す。図１２Ｂは、代表位置ＲＰの近くに６つの頭部画像位置ＡＰ１～ＡＰ６が予め設定されており、そのうちの頭部画像位置ＡＰ５が代表位置ＲＰの最も近傍にある頭部画像位置ＡＰであることを示す。

そして、抽出部３１は、図１１に示す幾何学的関係を利用し、導き出した最近傍の頭部画像位置ＡＰから、仮想頭部位置ＨＰ、参照点Ｐｒ、仮想平面領域ＴＲを辿って、対応する識別処理対象画像領域ＴＲｇを抽出する。その後、抽出部３１は、抽出した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を正規化して正規化画像ＴＲｇｔを生成する。

このようにして、抽出部３１は、撮像画像における人の特徴画像の位置であるヘルメット画像ＨＲｇの代表位置ＲＰと、予め設定された頭部画像位置ＡＰの１つ（頭部画像位置ＡＰ５）とを対応付けることで識別処理対象画像を抽出する。

なお、抽出部３１は、図１１に示す幾何学的関係を利用する代わりに、頭部画像位置ＡＰと参照点Ｐｒ、仮想平面領域ＴＲ、又は識別処理対象画像領域ＴＲｇとを直接的に対応付ける参照テーブルを利用し、頭部画像位置ＡＰに対応する識別処理対象画像を抽出してもよい。

また、抽出部３１は、山登り法、Mean-shift法等の最近傍探索アルゴリズム以外の他の公知のアルゴリズムを用いて代表位置ＲＰから参照点Ｐｒを導き出してもよい。例えば、山登り法を用いる場合、抽出部３１は、代表位置ＲＰの近傍にある複数の頭部画像位置ＡＰを導き出し、代表位置ＲＰとそれら複数の頭部画像位置ＡＰのそれぞれに対応する参照点Ｐｒとを紐付ける。このとき、抽出部３１は、代表位置ＲＰと頭部画像位置ＡＰが近いほど重みが大きくなるように参照点Ｐｒに重みを付ける。そして、複数の参照点Ｐｒの重みの分布に基づき、重みの極大点に最も近い重みを有する参照点Ｐｒから識別処理対象画像領域ＴＲｇを抽出する。

次に、図１４を参照し、コントローラ３０の抽出部３１が識別処理対象画像を抽出する処理（以下、「画像抽出処理」とする。）の一例について説明する。なお、図１４は、画像抽出処理の一例の流れを示すフローチャートである。

最初に、抽出部３１は、撮像画像内でヘルメット画像を探索する（ステップＳＴ１）。本実施例では、抽出部３１は、前段画像認識処理により後方カメラ４０Ｂの撮像画像をラスタスキャンしてヘルメット画像を見つけ出す。

撮像画像でヘルメット画像ＨＲｇを見つけ出した場合（ステップＳＴ１のＹＥＳ）、抽出部３１は、ヘルメット画像ＨＲｇの代表位置ＲＰを取得する（ステップＳＴ２）。

その後、抽出部３１は、取得した代表位置ＲＰの最近傍にある頭部画像位置ＡＰを取得する（ステップＳＴ３）。

その後、抽出部３１は、取得した頭部画像位置ＡＰに対応する識別処理対象画像を抽出する（ステップＳＴ４）。本実施例では、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像における頭部画像位置ＡＰ、実空間における仮想頭部位置ＨＰ、実空間における人の想定立ち位置としての参照点Ｐｒ、及び、実空間における仮想平面領域ＴＲの対応関係を辿って識別処理対象画像を抽出する。

なお、抽出部３１は、撮像画像でヘルメット画像ＨＲｇを見つけ出さなかった場合には（ステップＳＴ１のＮＯ）、識別処理対象画像を抽出することなく、処理をステップＳＴ５に移行させる。

その後、抽出部３１は、撮像画像の全体にわたってヘルメット画像を探索したかを判定する（ステップＳＴ５）。

撮像画像の全体を未だ探索していないと判定した場合（ステップＳＴ５のＮＯ）、抽出部３１は、撮像画像の別の領域に対し、ステップＳＴ１～ステップＳＴ４の処理を実行する。

一方、撮像画像の全体にわたるヘルメット画像の探索を完了したと判定した場合（ステップＳＴ５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。

このように、抽出部３１は、最初にヘルメット画像ＨＲｇを見つけ出し、見つけ出したヘルメット画像ＨＲｇの代表位置ＲＰから、頭部画像位置ＡＰ、仮想頭部位置ＨＰ、参照点（想定立ち位置）Ｐｒ、仮想平面領域ＴＲを経て識別処理対象画像領域ＴＲｇを特定する。そして、特定した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を抽出して正規化することで、所定サイズの正規化画像ＴＲｇｔを生成できる。

次に、図１５を参照し、画像抽出処理の別の一例について説明する。なお、図１５は、画像抽出処理の別の一例の流れを示すフローチャートである。

最初に、抽出部３１は、頭部画像位置ＡＰの１つを取得する（ステップＳＴ１１）。その後、抽出部３１は、その頭部画像位置ＡＰに対応するヘルメット画像領域を取得する（ステップＳＴ１２）。本実施例では、ヘルメット画像領域は、頭部画像位置ＡＰのそれぞれについて予め設定された所定サイズの画像領域である。

その後、抽出部３１は、ヘルメット画像領域内でヘルメット画像を探索する（ステップＳＴ１３）。本実施例では、抽出部３１は、前段画像認識処理によりヘルメット画像領域内をラスタスキャンしてヘルメット画像を見つけ出す。

ヘルメット画像領域内でヘルメット画像ＨＲｇを見つけ出した場合（ステップＳＴ１３のＹＥＳ）、抽出部３１は、そのときの頭部画像位置ＡＰに対応する識別処理対象画像を抽出する（ステップＳＴ１４）。本実施例では、抽出部３１は、図１１に示す幾何学的関係を利用し、撮像画像における頭部画像位置ＡＰ、実空間における仮想頭部位置ＨＰ、実空間における人の想定立ち位置としての参照点Ｐｒ、及び、実空間における仮想平面領域ＴＲの対応関係を辿って識別処理対象画像を抽出する。

なお、抽出部３１は、ヘルメット画像領域内でヘルメット画像ＨＲｇを見つけ出さなかった場合には（ステップＳＴ１３のＮＯ）、識別処理対象画像を抽出することなく、処理をステップＳＴ１５に移行させる。

その後、抽出部３１は、全ての頭部画像位置ＡＰを取得したかを判定する（ステップＳＴ１５）。そして、全ての頭部画像位置ＡＰを未だ取得していないと判定した場合（ステップＳＴ１５のＮＯ）、抽出部３１は、未取得の別の頭部画像位置ＡＰを取得し、ステップＳＴ１１～ステップＳＴ１４の処理を実行する。一方、全ての頭部画像位置ＡＰを取得したと判定した場合（ステップＳＴ１５のＹＥＳ）、抽出部３１は今回の画像抽出処理を終了させる。

このように、抽出部３１は、最初に頭部画像位置ＡＰの１つを取得する。そして、取得した頭部画像位置ＡＰに対応するヘルメット画像領域でヘルメット画像ＨＲｇを見つけ出した場合に、そのときの頭部画像位置ＡＰから、仮想頭部位置ＨＰ、参照点（想定立ち位置）Ｐｒ、仮想平面領域ＴＲを経て、識別処理対象画像領域ＴＲｇを特定する。そして、特定した識別処理対象画像領域ＴＲｇを有する識別処理対象画像を抽出して正規化することで、所定サイズの正規化画像ＴＲｇｔを生成できる。

以上の構成により、人検知システム１００の抽出部３１は、撮像画像における特徴画像としてのヘルメット画像を見つけ出し、そのヘルメット画像の代表位置ＲＰと所定画像位置としての頭部画像位置ＡＰの１つとを対応付けることで識別処理対象画像を抽出する。そのため、簡易なシステム構成で後段画像認識処理の対象となる画像部分を絞り込むことができる。

なお、抽出部３１は、最初に撮像画像からヘルメット画像ＨＲｇを見つけ出し、そのヘルメット画像ＨＲｇの代表位置ＲＰに対応する頭部画像位置ＡＰの１つを導き出し、その頭部画像位置ＡＰの１つに対応する識別処理対象画像を抽出してもよい。或いは、抽出部３１は、最初に頭部画像位置ＡＰの１つを取得し、その頭部画像位置ＡＰの１つに対応する特徴画像の位置を含む所定領域であるヘルメット画像領域内にヘルメット画像が存在する場合に、その頭部画像位置ＡＰの１つに対応する識別処理対象画像を抽出してもよい。

また、抽出部３１は、図１１に示すような所定の幾何学的関係を利用し、撮像画像におけるヘルメット画像の代表位置ＲＰから識別処理対象画像を抽出してもよい。この場合、所定の幾何学的関係は、撮像画像における識別処理対象画像領域ＴＲｇと、識別処理対象画像領域ＴＲｇに対応する実空間における仮想平面領域ＴＲと、仮想平面領域ＴＲに対応する実空間における参照点Ｐｒ（人の想定立ち位置）と、参照点Ｐｒに対応する仮想頭部位置ＨＰ（人の想定立ち位置に対応する人の特徴的な部分の実空間における位置である仮想特徴位置）と、仮想頭部位置ＨＰに対応する撮像画像における頭部画像位置ＡＰ（仮想特徴位置に対応する撮像画像における所定画像位置）との幾何学的関係を表す。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例では、ショベルの上部旋回体３の上に取り付けられる撮像装置４０の撮像画像を用いて人を検知する場合を想定するが、本発明はこの構成に限定されるものではない。例えば、クレーン、リフマグ機等の本体部に取り付けられる撮像装置の撮像画像を用いる構成にも適用され得る。

また、上述の実施例では、３つのカメラを用いてショベルの死角領域を撮像するが、１つ、２つ、又は４つ以上のカメラを用いてショベルの死角領域を撮像してもよい。

また、本願は、２０１４年６月３日に出願した日本国特許出願２０１４－１１５２２６号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。

１・・・下部走行体 ２・・・旋回機構 ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン ３０・・・コントローラ ３１・・・抽出部 ３２・・・識別部 ４０・・・撮像装置 ４０Ｂ・・・後方カメラ ４０Ｌ・・・左側方カメラ ４０Ｒ・・・右側方カメラ ４１・・・照明装置 ４１Ｂ・・・後方ライト ４１Ｌ・・・左側方ライト ４１Ｒ・・・右側方ライト ５０・・・出力装置 １００・・・人検知システム ＡＰ、ＡＰ１～ＡＰ６・・・頭部画像位置 ＢＸ・・・ボックス ＨＤ・・・頭部 ＨＰ・・・仮想頭部位置 ＨＲｇ・・・ヘルメット画像 Ｍ１、Ｍ２・・・マスク領域 Ｐｒ、Ｐｒ１、Ｐｒ２、Ｐｒ１０～Ｐｒ１２・・・参照点 Ｒ１・・・はみ出し領域 Ｒ２・・・車体映り込み領域 ＲＰ・・・代表位置 ＴＲ、ＴＲ１、ＴＲ２、ＴＲ１０～ＴＲ１２・・・仮想平面領域 ＴＲｇ、ＴＲｇ３、ＴＲｇ４、ＴＲｇ５・・・識別処理対象画像領域 ＴＲｇｔ、ＴＲｇｔ３、ＴＲｇｔ４、ＴＲｇｔ５・・・正規化画像

Claims (5)

1. 対象に取り付けられる撮像装置の撮像画像を用いて該対象の周辺に存在する人を検知する人検知システムであって、
   前記撮像画像の一部を対象画像として抽出する抽出部と、
   前記対象画像に含まれる画像が人の画像であるかを識別する識別部と、を有し、
   前記撮像装置の方向を向き、且つ、水平面及び鉛直面に対して傾斜している平面領域によって、前記対象画像は、前記撮像画像の他の部分とは区別して抽出され、
   前記平面領域は、予め設定された領域である、
   人検知システム。
2. 対象に取り付けられる撮像装置の撮像画像を用いて該対象の周辺に存在する人を検知する人検知システムであって、
   前記撮像画像の一部を対象画像として抽出する抽出部と、
   前記対象画像に含まれる画像が人の画像であるかを識別する識別部と、を有し、
   前記撮像装置の方向を向き、且つ、水平面及び鉛直面に対して傾斜している平面領域によって、前記対象画像は、前記撮像画像の他の部分とは区別して抽出され、
   複数の前記平面領域のそれぞれは、前記撮像装置に正対するように配置されている、
   人検知システム。
3. 対象に取り付けられる撮像装置の撮像画像を用いて該対象の周辺に存在する人を検知する人検知システムであって、
   前記撮像画像の一部を対象画像として抽出する抽出部と、
   前記対象画像に含まれる画像が人の画像であるかを識別する識別部と、を有し、
   前記撮像装置の方向を向き、且つ、水平面及び鉛直面に対して傾斜している平面領域によって、前記対象画像は、前記撮像画像の他の部分とは区別して抽出され、
   複数の前記平面領域のそれぞれは、実空間における所定サイズの仮想直方体の４つの頂点を含む切断面で形成される矩形領域である、
   人検知システム。
4. 前記対象画像に含まれる人の画像は、抽出のための前記平面領域と前記撮像装置との間の位置関係が変化することにより、サイズ又は傾きが変化する、
   請求項１乃至３の何れかに記載の人検知システム。
5. 前記対象画像は、前記撮像装置と前記平面領域との間の位置関係が変化することにより、サイズ又は傾きが変化する、
   請求項１乃至４の何れかに記載の人検知システム。

Images