JP7740107B2 - 人検出装置及び人検出方法 - Google Patents

Description

本発明は、人検出装置及び人検出方法に関する。

特許文献１には、作業機械の周辺を監視する作業機械の周辺監視装置が開示されている。作業機械の周辺監視装置は、撮影装置と、プロセッサとを備えている。撮影装置は、作業機械の周囲を撮影する。プロセッサは、撮影装置が撮影した作業機械の周囲画像を表す撮影画像データから人物画像を抽出する。プロセッサは、抽出した人物画像と撮影装置の設置パラメータとに基づいて、作業機械と人との距離を測定する。具体的には、プロセッサは、撮像画像データにおける人物画像の足元の二次元座標である足元座標を取得する。プロセッサは、取得した足元座標と撮影装置の設置パラメータとに基づいて、作業機械と人との距離を測定する。

特許第６９４０９０６号公報

撮影画像データにおいて足元が障害物によって隠れていると、足元座標の取得が困難になるため、足元座標を用いた作業機械と人との距離の測定も困難になる。

上記問題点を解決するための人検出装置は、カメラが撮像した画像である撮像画像から人を検出し、前記カメラから前記人までの距離を算出する検出部を備える人検出装置であって、前記検出部は、前記撮像画像に前記人を構成する部位である足元が含まれているか否かを判定し、前記撮像画像に前記足元が含まれていると判定した場合には、前記撮像画像における前記足元の位置に基づいて前記カメラから前記足元までの距離を算出し、前記撮像画像に前記足元が含まれていないと判定した場合には、前記撮像画像において前記人を構成する部位である第１部位及び第２部位の位置を検出し、検出した前記撮像画像における前記第１部位及び前記第２部位の位置から、前記撮像画像における前記第１部位と前記第２部位との距離である２点間距離を算出し、算出した前記２点間距離に基づいて前記撮像画像における前記足元の位置を推定し、推定した前記撮像画像における前記足元の位置に基づいて前記カメラから前記足元までの距離を算出することを要旨とする。

検出部は、撮像画像に足元が含まれていないと判定した場合には、撮像画像に含まれている人を構成する第１部位及び第２部位を用いることによって、撮像画像における足元の位置を推定する。よって、撮像画像に足元が含まれていなくても、カメラから人までの距離を算出できる。

上記人検出装置において、前記検出部は、前記撮像画像における前記第１部位の位置として前記人の頭部の位置を検出し、前記撮像画像における前記第２部位の位置として前記人の腰部又は肩部の位置を検出してもよい。

頭部、腰部、及び肩部は、人を構成する部位の中でも特徴的な部位であるため、検出部による第１部位及び第２部位の位置の検出が容易になる。
上記人検出装置において、前記検出部は、前記撮像画像における前記第２部位の位置として前記腰部の位置を検出し、前記頭部から前記腰部までの寸法に対する前記頭部から前記足元までの寸法比を用いて前記撮像画像における前記足元の位置を推定してもよい。

第２部位として腰部を用いる場合、第２部位として肩部を用いる場合と比較して、２点間距離が長くなる。このため、頭部から腰部までの寸法に対する頭部から足元までの寸法比は、頭部から肩部までの寸法に対する頭部から足元までの寸法比よりも小さくなる。よって、撮像画像における足元の位置の推定精度が向上する。その結果、カメラから人までの距離の算出誤差を低減できる。

上記人検出装置において、前記検出部は、画像が入力されると、当該画像における前記人を構成する部位の位置を出力するように学習された学習済みモデルを有し、前記学習済みモデルによって、前記撮像画像における前記人を構成する部位の位置を推定してもよい。

学習済みモデルの学習度合いによっては、撮像画像における人を構成する部位の位置の検出精度を上げることができる。
上記問題点を解決するための人検出方法は、検出部が、カメラが撮像した画像である撮像画像から人を検出し、前記カメラから前記人までの距離を算出する人検出方法であって、前記検出部が前記撮像画像に前記人を構成する部位である足元が含まれているか否かを判定するステップを有し、前記撮像画像に前記足元が含まれていると判定された場合には、前記検出部が前記撮像画像における前記足元の位置に基づいて前記カメラから前記足元までの距離を算出するステップが行われ、前記撮像画像に前記足元が含まれていないと判定された場合には、前記検出部が、前記撮像画像において前記人を構成する部位である第１部位及び第２部位の位置を検出するステップと、前記検出部が、検出した前記撮像画像における前記第１部位及び前記第２部位の位置から、前記撮像画像における前記第１部位と前記第２部位との距離である２点間距離を算出するステップと、前記検出部が、算出した前記２点間距離に基づいて前記撮像画像における前記足元の位置を推定するステップと、前記検出部が、推定した前記撮像画像における前記足元の位置に基づいて前記カメラから前記足元までの距離を算出するステップと、が行われることを要旨とする。

撮像画像に足元が含まれていない場合には、撮像画像に含まれている人を構成する第１部位及び第２部位が用いられることによって、撮像画像における足元の位置が推定される。よって、撮像画像に足元が含まれていなくても、カメラから人までの距離を算出できる。

本発明によれば、撮像画像に足元が含まれていなくても、カメラから人までの距離を算出できる。

フォークリフトの側面図である。 人検出装置の構成を示すブロック図である。 フォークリフトの平面図である。 人検出方法を示すフローチャートである。 撮像画像の一例である。 撮像画像の一例である。 撮像画像の一例である。 カメラから人の足元までの距離の算出方法を説明するための図である。 変更例における足の位置の推定結果を示す図である。 カメラが傾いている場合のカメラから人の足元までの距離の算出方法を説明するための図である。

以下、人検出装置及び人検出方法を具体化した一実施形態を図１～図８にしたがって説明する。本実施形態の人検出装置及び人検出方法は、フォークリフトに適用される。以下の説明において、「前」、「後」、「左」、「右」、「上」、「下」とは、フォークリフトの前進方向を基準とした場合の「前」、「後」、「左」、「右」、「上」、「下」のことをいう。

＜フォークリフト＞
図１に示すように、フォークリフト１０は、機台１１と、２つの駆動輪１２ａと、２つの操舵輪１２ｂと、荷役装置１３とを備えている。２つの駆動輪１２ａは、機台１１の前下部に設けられている。２つの操舵輪１２ｂは、機台１１の後下部に設けられている。機台１１は、ヘッドガード１４と、２つのフロントピラー１５と、２つのリアピラー１６とを有している。リアピラー１６は、フロントピラー１５よりも後方に設けられている。ヘッドガード１４は、２つのフロントピラー１５及び２つのリアピラー１６に支持されている。

本実施形態のフォークリフト１０は、工場内や倉庫内において、フロアＦ上を走行したり、荷役装置１３によって荷役動作を行ったりする。このとき、フォークリフト１０の周囲には、作業者等の人１００が存在することがある。例えば、人１００は、フォークリフト１０の左後方に存在している。人１００の足元１０１は、工場や倉庫のフロアＦ上に位置している。

＜人検出装置＞
図２に示すように、人検出装置２０は、カメラ２１と、カメラ２１に接続された検出部２２とを有している。本実施形態の人検出装置２０は、フォークリフト１０に搭載されている。人検出装置２０は、フォークリフト１０の周囲に存在する人１００を検出する。人検出装置２０は、フォークリフト１０の周囲に存在する人１００を検出した場合、カメラ２１から人１００までの距離を算出する。

カメラ２１は、単眼カメラである。カメラ２１は、デジタルカメラである。カメラ２１は、レンズと撮像素子とを有している。撮像素子は、例えば、ＣＣＤイメージセンサ(Charge Coupled Device image sensor)やＣＭＯＳイメージセンサ(Complementary Metal Oxide Semiconductor image sensor)である。撮像素子は、複数の画素から構成されている。

図１及び図３に示すように、カメラ２１は、フォークリフト１０に取り付けられている。フロアＦからカメラ２１までの高さやフロアＦに対するカメラ２１の光軸の傾きは、カメラ２１の画角を考慮した上で、カメラ２１の撮像範囲が人に相当する範囲と同等以上になるように設定されている。

本実施形態のカメラ２１は、ヘッドガード１４の後部における左右方向の中央に取り付けられている。カメラ２１は、後方を向くように配置されている。カメラ２１は、フォークリフト１０の後方を撮像する。フロアＦからカメラ２１までの高さはＨである。本実施形態のカメラ２１の光軸は、フロアＦに対して傾いていない。カメラ２１の光軸は、前後方向に沿って延びている。カメラ２１の光軸は、左右方向及び上下方向のそれぞれに対して直交するように延びている。

図２に示すように、検出部２２は、プロセッサ２３と、記憶部２４とを有している。プロセッサ２３としては、例えば、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又はDSP（Digital Signal Processor）が用いられる。記憶部２４は、RAM（Random Access Memory）及びROM（Read Only Memory）を含む。記憶部２４には、人検出装置２０を動作させるためのプログラムが記憶されている。記憶部２４は、処理をプロセッサ２３に実行させるように構成されたプログラムコードまたは指令を格納しているといえる。記憶部２４、すなわちコンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。検出部２２は、ASIC（Application Specific Integrated Circuit）やFPGA（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である検出部２２は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。

本実施形態の記憶部２４は、学習済みモデルＭを記憶している。学習済みモデルＭは、画像が入力されると、当該画像における人を構成する部位の位置を出力するように生成されたモデルである。学習済みモデルＭは、教師有り学習によって学習されている。教師データは、複数のデータセットを有している。データセットは、人１００の画像を含む学習用画像と、学習用画像における人１００を構成する部位の位置の正解データとを有している。学習済みモデルＭの学習手法としては、例えば、HOG(Histgram Of Gradient)を用いた機械学習手法や、SSD(Single Shot Multibox Detector)やYOLO(You Only Look Once)、CenterNetなどのディープラーニング手法を挙げることができる。本実施形態の学習済みモデルＭは、画像が入力されると、当該画像における人を構成する部位の位置として足元１０１、頭部１０２、腰部１０３、及び肩部１０４の位置を出力する。

＜人検出方法＞
人検出装置２０は、以下の人検出方法によって、カメラ２１からフォークリフト１０の周囲に存在する人１００までの距離を算出する。本実施形態の人検出装置２０は、カメラ２１からフォークリフト１０の後方に存在する人１００までの距離を算出する。

カメラ２１から人１００までの距離の算出は、所定の周期で繰り返し行われるルーチンである。本実施形態では、カメラ２１から人１００までの距離の算出は、カメラ２１が撮像を行う度に行われるが、例えば、カメラ２１が所定の回数だけ撮像を行った場合に行われてもよい。

図４に示すように、ステップＳ１０において、カメラ２１は、フォークリフト１０の後方を撮像する。
図５、図６、及び図７は、カメラ２１が撮像した画像である撮像画像Ｉの一例である。フォークリフト１０の後方に人１００が存在する場合、撮像画像Ｉには、人１００の画像が含まれている。また、撮像画像Ｉには、フォークリフト１０の後部の画像が含まれている。

次に、ステップＳ１１において、検出部２２は、撮像画像Ｉに足元１０１の画像が含まれているか否かを判定する。本実施形態の検出部２２は、学習済みモデルＭによって、撮像画像Ｉに足元１０１の画像が含まれているか否かを判定する。

例えば、図５に示す撮像画像Ｉには、人１００の全身の画像が含まれている。したがって、図５に示す撮像画像Ｉには、人１００の足元１０１の画像が含まれている。この場合、検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける足元１０１の位置を推定することができる。詳しくは、学習済みモデルＭは、撮像画像Ｉが入力されると、撮像画像Ｉにおける足元１０１の位置として足元１０１を示す領域Ａ１０１を出力する。足元１０１を示す領域Ａ１０１は、一方の足１０１ａのくるぶしから足裏までを示す矩形の第１領域Ａ１０１ａと、他方の足１０１ｂのくるぶしから足裏までを示す矩形の第２領域Ａ１０１ｂとから構成されている。なお、図５では、説明の便宜上、撮像画像Ｉにおける第１領域Ａ１０１ａ及び第２領域Ａ１０１ｂを枠で表示しているが、実際の撮像画像Ｉでは、枠は表示されていなくてもよい。検出部２２は、撮像画像Ｉにおける足元１０１の位置を検出できた場合、撮像画像Ｉに足元１０１の画像が含まれていると判定する。

一方、図６及び図７に示す撮像画像Ｉでは、人１００の一部は、フォークリフト１０の後部が障害物になることによって隠れている。図６に示す撮像画像Ｉでは、人１００の足元１０１がフォークリフト１０の後部によって隠れている。このため、図６に示す撮像画像Ｉには、足元１０１の画像は含まれてない。図６に示す撮像画像Ｉには、人１００の頭部１０２、腰部１０３、肩部１０４の画像は含まれている。図７に示す撮像画像Ｉでは、人１００の腰部１０３より下側がフォークリフト１０の後部によって隠れている。このため、図７に示す撮像画像Ｉには、足元１０１及び腰部１０３の画像は含まれていない、図７に示す撮像画像Ｉには、人１００の頭部１０２及び肩部１０４の画像は含まれている。この場合、検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける足元１０１の領域Ａ１０１を推定することができない。したがって、検出部２２は、撮像画像Ｉに足元１０１の画像が含まれていないと判定する。

ステップＳ１１の判定結果が肯定の場合、すなわち検出部２２が撮像画像Ｉに足元１０１の画像が含まれていると判定した場合、検出部２２は、ステップＳ１２の処理を行う。ステップＳ１１の判定結果が否定の場合、すなわち検出部２２が撮像画像Ｉに足元１０１の画像が含まれていないと判定した場合、検出部２２は、ステップＳ１３の処理を行う。

ステップＳ１２において、検出部２２は、撮像画像Ｉにおける足元１０１の位置に基づいて、カメラ２１から人１００までの距離を算出する。以下では、本実施形態でのステップＳ１２における検出部２２の処理について詳述する。

図８に示すように、実世界座標系は、Ｘ軸、Ｙ軸、及びＺ軸を有している。Ｘ軸、Ｙ軸、及びＺ軸は、互いに直交している。Ｘ軸は、左右方向に沿って延びる軸である。Ｙ軸は、上下方向に沿って延びる軸である。Ｚ軸は、前後方向に沿って延びる軸である。Ｘ軸方向におけるカメラ２１から人１００の足元１０１までの距離をＤｘとする。Ｙ軸方向におけるカメラ２１から人１００の足元１０１までの距離をＤｙとする。上述したように、人１００の足元１０１はフロアＦ上に位置していることから、距離ＤｙはフロアＦからカメラ２１までの高さＨと一致している。Ｚ軸方向におけるカメラ２１から人１００の足元１０１までの距離をＤｚとする。

カメラ２１の光軸と直交するとともに、カメラ２１の光軸が延びる方向においてカメラ２１から焦点距離ｆだけ離れた位置に存在する平面を画像平面Ｐとする。画像平面Ｐの中心Ｃは、カメラ２１の光軸が画像平面Ｐを通過する点である。上述したように、本実施形態のカメラ２１の光軸は、前後方向に沿って延びている。したがって、画像平面Ｐは、Ｚ軸方向に対して直交している。画像平面Ｐは、画像平面Ｐの中心Ｃを通るとともにＸ軸方向に対して平行に延びるＵ軸と、画像平面Ｐの中心Ｃを通るとともにＹ軸方向に対して平行に延びるＶ軸とを有している。Ｕ軸及びＶ軸は互いに直交している。

本実施形態の検出部２２は、撮像画像Ｉにおける足元１０１を示す領域Ａ１０１を用いて、画像平面Ｐにおける足元１０１の位置を推定する。検出部２２は、撮像画像Ｉにおける領域Ａ１０１の最下端を、Ｖ軸方向における足元１０１の位置ｖ_ｆとして推定する。検出部２２は、撮像画像Ｉにおける領域Ａ１０１におけるＶ軸に最も近い端を、Ｕ軸方向における足元１０１の位置ｕ_ｆとして推定する。

検出部２２は、画像平面Ｐにおける足元１０１の座標（ｕ_ｆ，ｖ_ｆ）に基づいて、実世界におけるカメラ２１から足元１０１までの距離を算出する。検出部２２は、実世界におけるカメラ２１から足元１０１までの距離として、Ｘ軸方向におけるカメラ２１から足元１０１までの距離Ｄｘと、Ｚ軸方向におけるカメラ２１から足元１０１までの距離Ｄｚとを算出する。

まず、検出部２２は、Ｕ軸方向における画像平面Ｐの中心Ｃから足元１０１までの距離ｕ［ｐｉｘｅｌ］を算出する。検出部２２は、距離ｕ［ｐｉｘｅｌ］にＵ軸方向における画素サイズ［ｍｍ／ｐｉｘｅｌ］を乗算することによって、距離ｕ［ｍｍ］に換算する。なお、Ｕ軸方向における画素サイズ［ｍｍ／ｐｉｘｅｌ］は、Ｕ軸方向における撮像素子の寸法を、Ｕ軸方向における画素数によって除算することによって得られる。

検出部２２は、Ｖ軸方向における画像平面Ｐの中心Ｃから足元１０１までの距離ｖ［ｐｉｘｅｌ］を算出する。検出部２２は、距離ｖ［ｐｉｘｅｌ］にＶ軸方向における画素サイズ［ｍｍ／ｐｉｘｅｌ］を乗算することによって、距離ｖ［ｍｍ］に換算する。なお、Ｖ軸方向における画素サイズ［ｍｍ／ｐｉｘｅｌ］は、Ｖ軸方向における撮像素子の寸法を、Ｖ軸方向における画素数によって除算することによって得られる。

次に、検出部２２は、Ｚ軸方向におけるカメラ２１から足元１０１までの距離Ｄｚを算出する。距離Ｄｚは、距離ｖと、カメラ２１の焦点距離ｆと、フロアＦからカメラ２１までの高さＨとから、Ｄｚ＝ｆ／ｖと表される。また、検出部２２は、Ｘ軸方向におけるカメラ２１から足元１０１までの距離Ｄｘを算出する。距離Ｄｘは、距離ｕと、焦点距離ｆと、距離Ｄｚとから、Ｄｘ＝Ｄｚｕ／ｆと表される。Ｄｚ＝ｆＨ／ｖであるため、Ｄｘ＝ｕＨ／ｖと表される。

ステップＳ１３において、検出部２２は、撮像画像Ｉに人１００の頭部１０２及び腰部１０３の画像が含まれているか否かを判定する。頭部１０２は、人１００を構成する第１部位である。腰部１０３は、人１００を構成する第２部位である。本実施形態の検出部２２は、学習済みモデルＭによって、撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれているか否かを判定する。

上述したように、図６に示す撮像画像Ｉには、人１００の頭部１０２及び腰部１０３の画像が含まれている。この場合、検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける頭部１０２及び腰部１０３の位置を推定することができる。詳しくは、学習済みモデルＭは、撮像画像Ｉが入力されると、撮像画像Ｉにおける頭部１０２の位置として頭頂部を示す点を出力する。また、学習済みモデルＭは、撮像画像Ｉにおける腰部１０３の位置として腰幅の中央を示す点を出力する。なお、図６では、説明の便宜上、撮像画像Ｉにおける頭部１０２及び腰部１０３の位置をバツ印で表示しているが、実際の撮像画像Ｉでは、バツ印は表示されていなくてもよい。検出部２２は、撮像画像Ｉにおける頭部１０２及び腰部１０３の位置を検出できた場合、撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれていると判定する。

一方、図７に示す撮像画像Ｉには、頭部１０２の画像は含まれているが、腰部１０３の画像は含まれていない。この場合、検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける腰部１０３の位置を推定することができない。したがって、検出部２２は、撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれていないと判定する。

ステップＳ１３の判定結果が肯定の場合、すなわち検出部２２が撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれていると判定した場合、検出部２２は、ステップＳ１４の処理を行う。ステップＳ１３の判定結果が否定の場合、すなわち検出部２２が撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれていないと判定した場合、検出部２２は、ステップＳ１５の処理を行う。

ステップＳ１４において、検出部２２は、撮像画像Ｉにおける頭部１０２及び腰部１０３の位置から、撮像画像Ｉにおける頭部１０２と腰部１０３との距離である２点間距離を算出する。具体的には、検出部２２は、画像平面Ｐにおける頭部１０２の座標（ｕ_ｈ，ｖ_ｈ）及び腰部１０３の座標（ｕ_ｗ，ｖ_ｗ）から、画像平面ＰにおけるＵ軸方向での２点間距離Ｌｕ＝ｕ_ｗ－ｕ_ｈと、画像平面ＰにおけるＶ軸方向での２点間距離Ｌｖ＝ｖ_ｗ－ｖ_ｈとを算出する。

次に、ステップＳ１６において、検出部２２は、ステップＳ１４で算出した２点間距離に基づいて、画像平面Ｐにおける足元１０１の位置を推定する。具体的には、検出部２２は、画像平面ＰにおけるＵ軸方向での２点間距離Ｌｕ及びＶ軸方向での２点間距離Ｌｖに基づいて、画像平面Ｐにおける足元１０１の座標（ｕ_ｆ，ｖ_ｆ）を推定する。足元１０１の座標（ｕ_ｆ，ｖ_ｆ）は、（Ｌｕ×α＋ｕ_ｈ，Ｌｖ×α＋ｕ_ｈ）と表される。ここで、αとは、人間の体の寸法比に基づいて設定される値である。一般に、頭部１０２から足元１０１までの寸法は、頭部１０２から腰部１０３までの寸法の約２倍である。したがって、本実施形態では、α＝２に設定されている。つまり、検出部２２は、頭部１０２から腰部１０３までの寸法に対する頭部１０２から足元１０１までの寸法比を用いて画像平面Ｐにおける足元１０１の位置を推定する。

これにより、図６に示すように、撮像画像Ｉにおける足元１０１の位置が推定される。なお、図６では、説明の便宜上、撮像画像Ｉにおける足元１０１の位置をバツ印で表示しているが、実際の撮像画像Ｉでは、バツ印は表示されていなくてもよい。

例えば、検出部２２は、ステップＳ１３において、画像平面Ｐにおける頭部１０２の座標（ｕ_ｈ，ｖ_ｈ）＝（１００，－１００）と、画像平面Ｐにおける腰部１０３の座標（ｕ_ｗ，ｖ_ｗ）＝（１０４，－２００）とを推定する。検出部２２は、ステップＳ１４において、Ｕ軸方向における２点間距離Ｌｕ＝４と、Ｖ軸方向における２点間距離Ｌｖ＝－１００とを算出する。検出部２２は、ステップＳ１６において、画像平面Ｐにおける足元１０１の座標（ｕ_ｆ，ｖ_ｆ）＝（４×２＋１００，－１００×２＋（－１００））＝（１０８，－３００）を推定する。

次に、ステップＳ１７において、検出部２２は、ステップＳ１６で推定した画像平面Ｐにおける足元１０１の位置に基づいて、カメラ２１から人１００までの距離を算出する。なお、画像平面Ｐにおける足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する方法については、ステップＳ１２の説明で詳述したため、説明を省略する。

ステップＳ１５において、検出部２２は、撮像画像Ｉに人１００の頭部１０２及び肩部１０４の画像が含まれているか否かを判定する。頭部１０２は、人１００を構成する第１部位である。肩部１０４は、人１００を構成する第２部位である。本実施形態の検出部２２は、学習済みモデルＭによって、撮像画像Ｉに頭部１０２及び肩部１０４の画像が含まれているか否かを判定する。

上述したように、図７に示す撮像画像Ｉには、人１００の頭部１０２及び肩部１０４の画像が含まれている。この場合、検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける頭部１０２及び肩部１０４の位置を推定することができる。詳しくは、学習済みモデルＭは、撮像画像Ｉが入力されると、撮像画像Ｉにおける頭部１０２の位置として頭頂部を示す点を出力する。また、学習済みモデルＭは、撮像画像Ｉにおける肩部１０４の位置として肩幅の中央を示す点を出力する。なお、図７では、説明の便宜上、撮像画像Ｉにおける頭部１０２及び肩部１０４の位置をバツ印で表示しているが、実際の撮像画像Ｉでは、バツ印は表示されていなくてもよい。検出部２２は、撮像画像Ｉにおける頭部１０２及び肩部１０４の位置を検出できた場合、撮像画像Ｉに頭部１０２及び肩部１０４の画像が含まれていると判定する。

一方、撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれていない場合、検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける頭部１０２及び腰部１０３の位置を推定することができない。したがって、検出部２２は、撮像画像Ｉに頭部１０２及び腰部１０３の画像が含まれていないと判定する。

ステップＳ１５の判定結果が肯定の場合、すなわち検出部２２が撮像画像Ｉに頭部１０２及び肩部１０４の画像が含まれていると判定した場合、検出部２２は、ステップＳ１８の処理を行う。ステップＳ１５の判定結果が否定の場合、すなわち検出部２２が撮像画像Ｉに頭部１０２及び肩部１０４の画像が含まれていないと判定した場合、検出部２２は、フローを終了する。

ステップＳ１８において、検出部２２は、撮像画像Ｉにおける頭部１０２及び肩部１０４の位置から、撮像画像Ｉにおける頭部１０２と肩部１０４との距離である２点間距離を算出する。具体的には、検出部２２は、画像平面Ｐにおける頭部１０２の座標（ｕ_ｈ，ｖ_ｈ）及び肩部１０４の座標（ｕ_ｓ，ｖ_ｓ）から、画像平面ＰにおけるＵ軸方向での２点間距離Ｌｕ＝ｕ_ｓ－ｕ_ｈと、画像平面ＰにおけるＶ軸方向での２点間距離Ｌｖ＝ｖ_ｓ－ｖ_ｈとを算出する。

次に、ステップＳ１９において、検出部２２は、ステップＳ１８で算出した２点間距離に基づいて、画像平面Ｐにおける足元１０１の位置を推定する。具体的には、検出部２２は、画像平面ＰにおけるＵ軸方向での２点間距離Ｌｕ及びＶ軸方向での２点間距離Ｌｖに基づいて、画像平面Ｐにおける足元１０１の座標（ｕ_ｆ，ｖ_ｆ）を推定する。足元１０１の座標（ｕ_ｆ，ｖ_ｆ）は、（Ｌｕ×β＋ｕ_ｈ，Ｌｖ×β＋ｕ_ｈ）と表される。ここで、βとは、人間の体の寸法比に基づいて設定される値である。一般に、頭部１０２から足元１０１までの寸法は、頭部１０２から肩部１０４までの寸法の約４倍である。したがって、本実施形態では、β＝４に設定されている。つまり、検出部２２は、頭部１０２から肩部１０４までの寸法に対する頭部１０２から足元１０１までの寸法比を用いて画像平面Ｐにおける足元１０１の位置を推定する。

これにより、図７に示すように、撮像画像Ｉにおける足元１０１の位置が推定される。なお、図７では、説明の便宜上、撮像画像Ｉにおける足元１０１の位置をバツ印で表示しているが、実際の撮像画像Ｉでは、バツ印は表示されていなくてもよい。

例えば、検出部２２は、ステップＳ１５において、画像平面Ｐにおける頭部１０２の座標（ｕ_ｈ，ｖ_ｈ）＝（１００，－１００）と、画像平面Ｐにおける肩部１０４の座標（ｕ_ｓ，ｖ_ｓ）＝（１０２，－１５０）とを推定する。検出部２２は、ステップＳ１８において、Ｕ軸方向における２点間距離Ｌｕ＝２と、Ｖ軸方向における２点間距離Ｌｖ＝－５０とを算出する。検出部２２は、ステップＳ１９において、画像平面Ｐにおける足元１０１の座標（ｕ_ｆ，ｖ_ｆ）＝（２×４＋１００，－５０×４＋（－１００））＝（１０８，－３００）を推定する。

次に、ステップＳ１７において、検出部２２は、ステップＳ１９で推定した画像平面Ｐにおける足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する。

［本実施形態の作用及び効果］
本実施形態の作用及び効果を説明する。
（１）撮像画像Ｉに足元１０１が含まれている場合には、検出部２２は、撮像画像Ｉにおける足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する。一方、撮像画像Ｉに足元１０１の画像が含まれていない場合には、検出部２２は、撮像画像Ｉにおける人１００を構成する第１部位及び第２部位の位置に基づいて、撮像画像Ｉにおける足元１０１の位置を推定する。そして、検出部２２は、推定した撮像画像Ｉにおける足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する。したがって、撮像画像Ｉに足元１０１が含まれていなくても、カメラ２１から人１００までの距離を算出できる。

（２）検出部２２は、人１００を構成する第１部位として頭部１０２を用いるとともに、人１００を構成する第２部位として腰部１０３又は肩部１０４を用いる。頭部１０２、腰部１０３、及び肩部１０４は、人１００を構成する部位の中でも特徴的な部位であるため、検出部２２による第１部位及び第２部位の検出が容易になる。

（３）ステップＳ１３は、ステップＳ１５よりも先に行われる。このため、撮像画像Ｉに腰部１０３及び肩部１０４の両方が含まれていたとしても、人１００を構成する第２部位として肩部１０４よりも腰部１０３が優先的に用いられる。第２部位として腰部１０３を用いる場合、第２部位として肩部１０４を用いる場合と比較して、２点間距離が長くなる。このため、頭部１０２から腰部１０３までの寸法に対する頭部１０２から足元１０１までの寸法比は、頭部１０２から肩部１０４までの寸法に対する頭部１０２から足元１０１までの寸法比よりも小さくなる。よって、撮像画像Ｉにおける足元１０１の位置の推定精度が向上する。その結果、カメラ２１から人１００までの距離の算出誤差を低減できる。

（４）検出部２２は、画像が入力されると、当該画像における人１００を構成する部位の位置を出力するように機械学習された学習済みモデルＭを有している。検出部２２は、学習済みモデルＭによって、撮像画像Ｉにおける人１００を構成する部位の位置を推定する。この場合、学習済みモデルＭの学習度合いによっては、撮像画像Ｉにおける人１００を構成する部位の位置の推定精度を上げることができる。

（５）検出部２２は、例えば、次のようにしてカメラ２１から人１００の足元１０１までの距離を算出することができる。検出部２２は、図５に示すように、撮像画像Ｉにおける人１００を示す領域Ａ１００を推定する。検出部２２は、撮像画像Ｉにおける領域Ａ１００の下端の位置を、撮像画像Ｉにおける足元１０１の位置として推定する。検出部２２は、領域Ａ１００に基づいて推定された足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する。しかしながら、この方法では、撮像画像Ｉにおける足元１０１の位置の推定に誤差が生じやすい。特に、図６及び図７に示すように、撮像画像Ｉに足元１０１が含まれていない場合、撮像画像Ｉにおける足元１０１の位置の推定結果の誤差は大きくなる。したがって、カメラ２１から人１００の足元１０１までの距離を算出する際の誤差も大きくなる。

これに対し、本実施形態では、検出部２２は、人１００を構成する第１部位及び第２部位を用いて、撮像画像Ｉにおける足元１０１の位置を推定する。このため、上記の方法と比較して、撮像画像Ｉにおける足元１０１の位置の推定結果の誤差が低減される。よって、カメラ２１から人１００の足元１０１までの距離を算出する際の誤差を低減できる。

［変更例］
なお、上記各実施形態は、以下のように変更して実施できる。上記各実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施できる。

○ 撮像画像Ｉにおける足元１０１の位置の推定に用いられる人１００を構成する部位は、頭部１０２、腰部１０３、及び肩部１０４に限定されない。撮像画像Ｉにおける足元１０１の位置の推定に用いられる人１００を構成する部位は、例えば、膝部や腹部であってもよい。

○ 撮像画像Ｉにおける足元１０１の位置の推定に用いられる人１００の第１部位及び第２部位の組み合わせは、適宜変更されてもよい。撮像画像Ｉにおける足元１０１の位置の推定に用いられる人１００の第１部位及び第２部位の組み合わせは、例えば、腰部１０３及び肩部１０４の組み合わせであってもよい。

○ ステップＳ１３及びステップＳ１５の何れか一方は省略されてもよい。すなわち、撮像画像Ｉにおける足元１０１の位置の推定は、頭部１０２及び腰部１０３の組み合わせ、又は頭部１０２及び肩部１０４の組み合わせの何れか一方を用いて行われてもよい。

○ ステップＳ１３よりもステップＳ１５が先に行われてもよい。すなわち、撮像画像Ｉに頭部１０２及び肩部１０４の両方が含まれている場合、撮像画像Ｉにおける足元１０１の位置の推定には、腰部１０３よりも肩部１０４が優先的に用いられてもよい。

○ 検出部２２は、カメラ２１から人１００までの距離を算出した後、さらに、フォークリフト１０から人１００までの距離を算出してもよい。検出部２２は、フォークリフト１０の形状やフォークリフト１０に対するカメラ２１の取り付け位置などの情報を記憶している。検出部２２は、記憶している情報と、算出したカメラ２１から人１００までの距離とに基づいて、フォークリフト１０から人１００までの距離を算出する。検出部２２が算出したフォークリフト１０から人１００までの距離は、フォークリフト１０の動作の制御に用いられてもよい。例えば、フォークリフト１０から人１００までの距離が所定の距離以下になった場合に、フォークリフト１０の報知装置を作動させたり、フォークリフト１０の動作を強制的に停止させたりする。

○ 検出部２２は、撮像画像Ｉに足元１０１が含まれている場合であっても、撮像画像Ｉに含まれている人１００を構成する第１部位及び第２部位を用いて、撮像画像Ｉにおける足元１０１の位置を推定してもよい。この場合、検出部２２は、検出した撮像画像Ｉにおける足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する。また、検出部２２は、推定した撮像画像Ｉにおける足元１０１の位置に基づいて、カメラ２１から人１００の足元１０１までの距離を算出する。そして、算出した２つの距離を比較することによって、短い方の距離をカメラ２１から人１００までの距離として採用してもよい。カメラ２１から人１００までの距離がフォークリフト１０の動作の制御に用いられる場合には、２つの距離を比較した上で短い方の距離が採用される方が安全性の観点から好ましい。

○ 検出部２２は、学習済みモデルＭを有していなくてもよい。この場合、撮像画像Ｉにおける人１００を構成する部位の位置を検出する方法としては、例えば、次のような方法が考えられる。検出部２２は、撮像画像Ｉから人１００のエッジを抽出する。検出部２２は、抽出したエッジの形状から人１００を構成する部位を推定する。例えば、検出部２２は、抽出したエッジの形状が略円形状の場合には、当該エッジが人１００の頭部１０２であると推定する。

○ 上記実施形態では、検出部２２は、撮像画像Ｉから撮像画像Ｉにおける人１００を構成する部位の位置を推定していたが、撮像画像Ｉから人１００の画像を抽出した後、抽出した人１００の画像から人１００を構成する部位の位置を推定してもよい。この場合、学習済みモデルＭは、入力された画像から人の画像を抽出するように学習されているのが好ましい。学習済みモデルＭは、教師有り学習によって学習されている。教師データは、複数のデータセットを有している。データセットは、人の画像を含む学習用画像と、学習用画像における人の画像の正解データとを有している。検出部２２は、学習済みモデルＭによって、撮像画像Ｉから人１００の画像を抽出する。この場合、上記実施形態におけるステップＳ１１以降のステップは、撮像画像Ｉから人１００の画像が抽出された場合に行われる。

○ 図９に示すように、学習済みモデルＭは、画像が入力されると、当該画像における足１０１ａ，１０１ｂの位置を点で出力するように学習されていてもよい。
○ フォークリフト１０は、駆動輪１２ａや操舵輪１２ｂの摩耗等によって傾くことがある。フォークリフト１０が傾くとカメラ２１も傾く。また、カメラ２１は、傾いた状態でフォークリフト１０に取り付けられることもある。この場合、検出部２２は、カメラ２１の傾きを考慮してカメラ２１から人１００までの距離を算出してもよい。

図１０に示すように、カメラ２１の光軸は、前後方向に対応する軸であるＺ軸に対して角度θ１だけ傾いている。なお、カメラ２１の光軸は、左右方向に対しては傾斜していない。この場合、Ｚ軸方向におけるカメラ２１から足元１０１までの距離Ｄｚは、Ｄｚ＝Ｈ／ｔａｎθと表される。ここで、角度θとは、Ｚ軸に対する、カメラ２１及び足元１０１を通る直線Ｌの傾きである。角度θは、θ＝θ１＋θ２と表される。角度θ２は、カメラ２１の光軸に対する直線Ｌの傾きである。なお、θ２＝ｔａｎ^－１（ｖ／ｆ）と表される。

○ 人検出装置２０は、複数のカメラ２１を備えていてもよい。この場合、撮像範囲が広くなるため、人１００の検出可能範囲は広くなる。
○ フォークリフト１０に対するカメラ２１の取り付け位置は適宜変更されてもよい。例えば、カメラ２１は、フロントピラー１５や荷役装置１３に取り付けられていてもよい。フロントピラー１５や荷役装置１３に取り付けられたカメラ２１は、フォークリフト１０の前方を撮像する。

○ 人検出装置２０及び人検出方法は、フォークリフト１０以外の産業車両、例えば、トーイングトラクタに適用されてもよい。
○ 人検出装置２０及び人検出方法は、産業車両以外の車両に適用されてもよい。産業車両以外の車両としては、例えば、自動車やトラックが挙げられる。

○ 人検出装置２０及び人検出方法は、車両以外に適用されてもよい。
例えば、人検出装置２０は、ドローンに適用されてもよい。この場合、カメラ２１はドローンに搭載される。検出部２２は、カメラ２１とともにドローンに搭載されてもよいし、地上にあってもよい。検出部２２が地上にある場合、検出部２２は、カメラ２１と無線通信することにより、カメラ２１から撮像画像Ｉを取得する。

２０…人検出装置、２１…カメラ、２２…検出部、１００…人、１０１…足元、１０２…第１部位としての頭部、１０３…第２部位としての腰部、１０４…第２部位としての肩部、Ｉ…撮像画像、Ｍ…学習済みモデル。

Claims (5)

1. フォークリフトに取り付けられたカメラが撮像した画像である撮像画像から人を検出し、前記カメラから前記人までの距離を算出する検出部を備える人検出装置であって、
   前記撮像画像には、前記フォークリフトの後部の画像が含まれており、
   前記検出部は、
   前記撮像画像に前記人を構成する部位である足元が含まれているか否かを判定し、
   前記撮像画像に前記足元が含まれていると判定した場合には、前記撮像画像における前記足元の位置を推定し、
   前記撮像画像に前記足元が含まれていないと判定した場合には、
   前記撮像画像において前記人を構成する部位である第１部位及び第２部位の位置を検出し、
   検出した前記撮像画像における前記第１部位及び前記第２部位の位置から、前記撮像画像における前記第１部位と前記第２部位との距離である２点間距離を算出し、
   算出した前記２点間距離と、前記第１部位から前記第２部位までの寸法に対する前記第１部位から前記足元までの寸法比として設定されている所定の値に基づいて前記撮像画像における前記足元の位置を推定し、
   推定した前記撮像画像における前記足元の位置から画像平面における前記足元の座標を取得し、
   前記画像平面は、前記カメラの光軸と直交するとともに、前記カメラの光軸が延びる方向において前記カメラから離れた位置に存在する平面であり、前記カメラの光軸が通過する点を前記画像平面の中心とした場合、前記画像平面は、前記画像平面の中心を通るとともに実世界のＸ軸方向に対して平行に延びるＵ軸と、前記画像平面の中心を通るとともに実世界のＹ軸方向に対して平行に延びるＶ軸とを有しており、
   前記Ｕ軸方向における前記画像平面の中心から前記取得された前記画像平面における前記足元の座標までの距離を画素サイズを用いて実世界の寸法に換算した距離と、前記Ｖ軸方向における前記画像平面の中心から前記取得された前記画像平面における前記足元の座標までの距離を画素サイズを用いて実世界の寸法に換算した距離とを用いて前記カメラから前記足元までの距離を算出することを特徴とする人検出装置。
2. 前記検出部は、前記撮像画像における前記第１部位の位置として前記人の頭部の位置を検出し、前記撮像画像における前記第２部位の位置として前記人の腰部又は肩部の位置を検出する請求項１に記載の人検出装置。
3. 前記検出部は、前記撮像画像における前記第２部位の位置として前記腰部の位置を検出し、前記頭部から前記腰部までの寸法に対する前記頭部から前記足元までの寸法比を用いて前記撮像画像における前記足元の位置を推定する請求項２に記載の人検出装置。
4. 前記検出部は、画像が入力されると、当該画像における前記人を構成する部位の位置を出力するように学習された学習済みモデルを有し、前記学習済みモデルによって、前記撮像画像における前記人を構成する部位の位置を推定する請求項１～３の何れか一項に記載の人検出装置。
5. 検出部が、フォークリフトに取り付けられたカメラが撮像した画像である撮像画像から人を検出し、前記カメラから前記人までの距離を算出する人検出方法であって、
   前記撮像画像には、前記フォークリフトの後部の画像が含まれており、
   前記カメラの光軸と直交するとともに、前記カメラの光軸が延びる方向において前記カメラから離れた位置には画像平面が想定され、前記カメラの光軸が通過する点を前記画像平面の中心とした場合、前記画像平面は、前記画像平面の中心を通るとともに実世界のＸ軸方向に対して平行に延びるＵ軸と、前記画像平面の中心を通るとともに実世界のＹ軸方向に対して平行に延びるＶ軸とを有しており、
   前記検出部が前記撮像画像に前記人を構成する部位である足元が含まれているか否かを判定するステップを有し、
   前記撮像画像に前記足元が含まれていると判定された場合には、前記検出部が前記撮像画像における前記足元の位置を推定するステップが行われ、
   前記撮像画像に前記足元が含まれていないと判定された場合には、
   前記検出部が、前記撮像画像において前記人を構成する部位である第１部位及び第２部位の位置を検出するステップと、
   前記検出部が、検出した前記撮像画像における前記第１部位及び前記第２部位の位置から、前記撮像画像における前記第１部位と前記第２部位との距離である２点間距離を算出するステップと、
   前記検出部が、算出した前記２点間距離と、記第１部位から前記第２部位までの寸法に対する前記第１部位から前記足元までの寸法比として設定されている所定の値に基づいて前記撮像画像における前記足元の位置を推定するステップとが行われ、
   前記検出部が、推定した前記撮像画像における前記足元の位置から前記画像平面における前記足元の座標を取得するステップと、
   前記検出部が、前記Ｕ軸方向における前記画像平面の中心から前記取得された前記画像平面における前記足元の座標までの距離を画素サイズを用いて実世界の寸法に換算した距離と、前記Ｖ軸方向における前記画像平面の中心から前記取得された前記画像平面における前記足元の座標までの距離を画素サイズを用いて実世界の寸法に換算した距離とを用いて前記カメラから前記足元までの距離を算出するステップと、を有することを特徴とする人検出方法。