JP7491366B2

JP7491366B2 - 身長推定装置、身長推定方法、及びプログラム

Info

Publication number: JP7491366B2
Application number: JP2022507990A
Authority: JP
Inventors: 壮馬白石; 克菊池; 貴美佐藤; 悠鍋藤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2020-03-19
Filing date: 2020-03-19
Publication date: 2024-05-28
Anticipated expiration: 2040-03-19
Also published as: US20230092640A1; WO2021186704A1; JPWO2021186704A1

Description

本発明は、身長推定装置、身長推定方法、及びプログラムに関する。

近年は、店舗などにおいて顧客の動向や属性を、その顧客が手にした商品に紐づけることが検討されている。例えば特許文献１には、陳列棚に手を伸ばす人が店員及び顧客のいずれであるかを判断するために、陳列棚に手を伸ばしたときの行動パターンを用いることが記載されている。具体的には、この行動パターンが店員の行動パターンに該当したときに、店員であると判断する、と記載されている。

国際公開第２０１６／１９４２７４号

人の属性の一つに身長がある。人の全身を含む画像を取得できる場合、この画像を処理することによりその人の身長を推定することができる。しかし、撮像部の設置位置によっては、人の手のひら及び腕のみが画像に含まれることがある。本発明者は、人の手のひら及び腕が写った画像を処理することにより、その人の身長を推定することを検討した。

本発明の目的の一つは、人の手のひら及び腕が写った画像を処理することにより、その人の身長を推定することにある。

本発明によれば、人の腕を含む画像を処理することにより、当該人の手のひらの高さ及び腕の角度を含む解析データを生成する画像処理手段と、
前記手のひらの高さ及び前記腕の角度を用いて、前記人の身長の推定値を算出する推定手段と、
を備える身長推定装置が提供される。

本発明によれば、コンピュータが、
人の腕を含む画像を処理することにより、当該人の手のひらの高さ及び腕の角度を含む解析データを生成し、
前記手のひらの高さ及び前記腕の角度を用いて、前記人の身長の推定値を算出する、身長推定方法が提供される。

本発明によれば、コンピュータに、
人の腕を含む画像を処理することにより、当該人の手のひらの高さ及び腕の角度を含む解析データを生成する画像処理機能、
前記手のひらの高さ及び前記腕の角度を用いて、前記人の身長の推定値を算出する推定機能と、
を持たせるプログラムが提供される。

本発明によれば、人の手のひら及び腕が写った画像を処理することにより、その人の身長を推定できる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

実施形態に係る身長推定装置の使用環境を示す図である。撮像装置を説明するための図である。身長推定装置の機能構成の一例を示す図である。画像処理部が行う処理の一例を説明するための図である。推定部による人の身長の推定方法の一例を示す図である。身長推定装置のハードウェア構成例を示す図である。身長推定装置の処理の一例を示すフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

図１は、実施形態に係る身長推定装置１０の使用環境を示す図である。図２は、撮像装置２００を説明するための図である。身長推定装置１０は、撮像装置２００が生成した画像を処理することにより、人の身長を推定する。より詳細には、身長推定装置１０は物品棚４０に手をのばした人の身長を推定する。

物品棚４０は、例えば店舗や倉庫に配置されており、少なくとも一つの棚を有している。棚の上には物品５０、例えば商品が載置されている。すなわち物品棚４０の棚は、商品載置領域の一例である。

撮像装置２００は、物品棚４０の棚及びその前方を撮影する。そして撮像装置２００は２つの撮像ユニット２１０を有している。２つの撮像ユニット２１０は、いずれも照明部２２０及び撮像部２０を有している。一方の撮像部２０は第１撮像部の一例であり、他方の撮像部２０は第２撮像部の一例である。

照明部２２０の光放射面は一方向に延在しており、発光部及び発光部を覆うカバーを有している。照明部２２０は、主に、光放射面の延在方向に直交する方向に光を放射する。発光部は、ＬＥＤなどの発光素子を有しており、カバーによって覆われていない方向に光を放射する。なお、発光素子がＬＥＤの場合、照明部２２０が延在する方向（図において上下方向）に、複数のＬＥＤが並んでいる。

そして撮像部２０は、照明部２２０の一端側に設けられており、照明部２２０の光が放射される方向を撮像範囲としている。例えば図１及び図２の左側の撮像ユニット２１０において、撮像部２０は下方及び右斜め下を撮像範囲としている。また、図１及び図２の右側の撮像ユニット２１０において、撮像部２０は上方及び左斜め上を撮像範囲としている。

図２に示すように、２つの撮像ユニット２１０は、物品棚４０の前面フレーム（又は両側の側壁の前面）４２に取り付けられる。この際、第１の撮像ユニット２１０は、一方の前面フレーム４２に、撮像部２０が上方に位置する向きに取り付けられ、第２の撮像ユニット２１０は、第１の撮像ユニット２１０とは逆側の前面フレーム４２に、撮像部２０が下方に位置する向きに取り付けられる。このため、棚が延在する方向（第１方向の一例）において、一方の撮像部２０、物品棚４０、及び他方の撮像部２０は、この順に並んでいる。また、一方の撮像部２０は物品棚４０の棚より上に位置し、他方の撮像部２０は物品棚４０の棚より下に位置している。

そして第１の撮像ユニット２１０の撮像部２０は、物品棚４０の開口部及びその前方を撮像範囲に含むように、その撮像部２０の下方及び斜め下方を撮像する。一方、第２の撮像ユニット２１０の撮像部２０は、物品棚４０の開口部及びその前方を撮像範囲に含むように、上方及び斜め上方を撮像する。このように２つの撮像ユニット２１０を用いることで、物品棚４０の開口部及びその前方の全範囲を撮影することができる。このため、撮像装置２００が生成した画像を処理すると、物品棚４０から取り出された物品を特定することができる。この処理は、身長推定装置１０が行ってもよい。

また、物品棚４０の前に位置する人が物品５０に手を伸ばした場合、第１の撮像ユニット２１０が生成した画像は、この人の手のひら及び腕を含んでいる。身長推定装置１０は、撮像ユニット２１０が生成した画像を処理することにより、手のひらの高さ及び腕の角度を推定する。そして身長推定装置１０は、手のひらの高さ及び腕の角度を用いて、その人の身長を推定する。身長推定装置１０の処理結果は、外部装置３０に出力される。物品棚４０が店舗に配置されている場合、外部装置３０は、物品５０に対する顧客の動向を集める装置である。

図３は、身長推定装置１０の機能構成の一例を示す図である。本図に示す例において、身長推定装置１０は取得部１１０、画像処理部１２０、及び推定部１３０を有している。取得部１１０は、撮像部２０が生成した画像を取得する。図１及び図２に示す例において、取得部１１０は、２つの撮像部２０それぞれから画像を取得する。画像処理部１２０は、撮像部２０が生成した画像を処理することにより、解析データを生成する。解析データは、この画像に含まれている人の手のひらの高さ及び腕の角度を含んでいる。推定部１３０は、解析データに含まれている手のひらの高さ及び腕の角度を用いて、人の身長の推定値を算出する。

また画像処理部１２０は、解析データを生成するときに、物品データ記憶部１２２が記憶しているデータを用いることもある。物品データ記憶部１２２は、物品毎（例えば商品毎）に、その物品の特徴量及び大きさを記憶している。

図４は、画像処理部１２０が行う処理の一例を説明するための図である。上記したように、画像処理部１２０が生成する解析データは、手のひらの高さ及び腕の角度を含んでいる。そして図４に示す例において、ｘ軸は奥行き方向、例えば物品棚４０が延在している方向を示しており、ｙｚ平面は、撮像部２０が撮影した画像に対応している。

まず画像処理部１２０は、画像における手のひらの位置（図４における点_１）を特定し、この位置と、撮像部２０の設置位置とを用いて、手のひらの高さを算出する。この算出には、例えば撮像部２０の設置位置に基づいた変換式が用いられる。

手のひらの位置の検出方法は複数ある。例えば人の手が物品棚４０から物品５０を取り出そうとしている場合、画像処理部１２０は、物品データ記憶部１２２が記憶している特徴量を用いて、この物品５０を検出し、この物品５０の位置を手のひらの位置と推定する。この際、画像処理部１２０は、移動している物品５０を検出し、当該物品５０の位置を手のひらの位置である点_１と推定してもよい。

また画像処理部１２０は、まず腕を検知し、物品棚４０の奥行き方向（図４におけるｚ軸方向）において、腕のうち物品棚４０の前側の端部（すなわち図４における平面１）と重なる部分を、手のひらと判断してもよい。また画像処理部１２０は、移動している物品５０が平面１を通ったとき、その時の物品５０の位置を手のひらの位置（点_１）として検知してもよい。

そして画像処理部１２０は、画像における腕のいずれかの部分（図４における点_２）を特定する。この特定は、例えば腕の特徴量を検出することにより行われてもよいし、骨格推定処理を用いて行われてもよい。

そして画像処理部１２０は、図４における奥行き方向（例えば物品棚４０が延在している方向）において、点_１と点_２は同一の位置、すなわちｘ座標は互いに同一であると仮定する。そして、ｙｚ平面において点_１と点_２を結ぶ直線の角度を、腕の角度θと推定する。

なお、画像において物品５０が占める領域の面積は、物品５０が撮像部２０から離れるに従って（すなわちｘ軸の座標が大きくなるにつれて）小さくなる。そこで画像処理部１２０は、画像において物品５０が占める領域の面積を用いて、腕の角度θを算出してもよい。具体的には、画像処理部１２０は、物品５０の種類を特定し、当該種類に対応する大きさを物品データ記憶部１２２から読み出す。そして、この大きさと、画像において物品５０が占める領域の面積を用いて、図４における点_１のｘ座標を算出する。画像処理部１２０は、このｘ座標を用いて腕の角度θを算出する。

また、物品５０の種類ごとに物品棚４０における各物品５０の高さが予め物品データ記憶部１２２などに記憶している場合、画像処理部１２０は、移動している物品５０の種類を特定し、当該種類に対応する物品５０の高さを手のひらの高さと推定してもよい。

また、画像処理部１２０は、物品棚４０の各棚の高さを予め記憶している場合、手が差し伸ばされた棚を特定し、この棚の高さを読み出すことにより手のひらの高さを特定してもよい。

また、撮像部２０が深度情報を生成する機能を有している場合、画像処理部１２０は、この深度情報を用いて、腕の２点の３次元上すなわち実空間上の位置を特定し、この２点を結ぶことにより腕の角度を算出してもよい。

図５は、推定部１３０による人の身長の推定方法の一例を示す図である。本図において、手のひらの高さをｙ、人の腕の長さをＬ、腕の付け根（肩）から頭頂までの高さをＴとした場合、人の身長Ｈは、以下の式（１）で表される。
Ｈ＝Ｔ＋Ｌ×ｓｉｎ（θ）＋ｙ・・・（１）

このため、推定部１３０は、Ｔの標準値及びＬの標準値を予め記憶しておくと、式（１）に従って人の身長を推定することができる。

図６は、身長推定装置１０のハードウェア構成例を示す図である。身長推定装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は身長推定装置１０の各機能（例えば取得部１１０、画像処理部１２０、及び推定部１３０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。

入出力インタフェース１０５０は、身長推定装置１０と各種入出力機器とを接続するためのインタフェースである。

ネットワークインタフェース１０６０は、身長推定装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。身長推定装置１０は、ネットワークインタフェース１０６０を介して撮像部２０及び外部装置３０と通信してもよい。

図７は、身長推定装置１０の処理の一例を示すフローチャートである。本図に示す例において、撮像部２０は少なくとも顧客が物品棚４０に手を伸ばすたびに、画像を生成する。そして身長推定装置１０の取得部１１０は、撮像部２０が顧客の手及び腕を含む画像を生成するたびに、その画像を取得する（ステップＳ１０）。次いで身長推定装置１０の画像処理部１２０は、ステップＳ１０で取得した画像を処理することにより、解析データを生成する（ステップＳ２０）。次いで推定部１３０は、ステップＳ２０で生成した解析データを用いて顧客の身長の推定値を算出する（ステップＳ３０）。

以上、本実施形態によれば、身長推定装置１０を用いることにより、人の全身は写っていないが人の手及び腕を含む画像を処理することにより、その人の身長を推定することができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．人の腕を含む画像を処理することにより、当該人の手のひらの高さ及び腕の角度を含む解析データを生成する画像処理手段と、
前記手のひらの高さ及び前記腕の角度を用いて、前記人の身長の推定値を算出する推定手段と、
を備える身長推定装置。
２．上記１に記載の身長推定装置において、
前記画像は、商品載置領域及びその前を含んでおり、
前記画像処理手段は、前記腕のうち前記商品載置領域の前側の端部と重なる部分を、前記手のひらと判断する身長推定装置。
３．上記１に記載の身長推定装置において、
前記画像は、商品載置領域及びその前を含んでおり、
前記画像処理手段は、前記商品載置領域から移動した商品を検出し、当該商品の高さを前記手の高さとする身長推定装置。
４．上記１に記載の身長推定装置において、
前記画像は、商品載置領域及びその前を含んでおり、
商品の種類ごとに、当該商品の高さが予め記憶されており、
前記画像処理手段は、前記商品載置領域から移動した商品の種類を検出し、当該種類に対応する前記商品の高さを、前記手の高さとする身長推定装置。
５．上記２～４のいずれか一項に記載の身長推定装置において、
前記商品載置領域は商品棚の少なくとも一部であり、
前記画像は、前記商品棚の前面フレームに取り付けられた撮像手段によって生成されている身長推定装置。

６．コンピュータが、
人の腕を含む画像を処理することにより、当該人の手のひらの高さ及び腕の角度を含む解析データを生成し、
前記手のひらの高さ及び前記腕の角度を用いて、前記人の身長の推定値を算出する、身長推定方法。
７．上記６に記載の身長推定方法において、
前記画像は、商品載置領域及びその前を含んでおり、
前記コンピュータは、前記腕のうち前記商品載置領域の前側の端部と重なる部分を、前記手のひらと判断する身長推定方法。
８．上記６に記載の身長推定方法において、
前記画像は、商品載置領域及びその前を含んでおり、
前記コンピュータは、前記商品載置領域から移動した商品を検出し、当該商品の高さを前記手の高さとする身長推定方法。
９．上記６に記載の身長推定方法において、
前記画像は、商品載置領域及びその前を含んでおり、
商品の種類ごとに、当該商品の高さが予め記憶されており、
前記コンピュータは、前記商品載置領域から移動した商品の種類を検出し、当該種類に対応する前記商品の高さを、前記手の高さとする身長推定方法。
１０．上記７～９のいずれか一項に記載の身長推定方法において、
前記商品載置領域は商品棚の少なくとも一部であり、
前記画像は、前記商品棚の前面フレームに取り付けられた撮像手段によって生成されている身長推定方法。
１１．コンピュータに、
人の腕を含む画像を処理することにより、当該人の手のひらの高さ及び腕の角度を含む解析データを生成する画像処理機能、
前記手のひらの高さ及び前記腕の角度を用いて、前記人の身長の推定値を算出する推定機能と、
を持たせるプログラム。
１２．上記１１に記載のプログラムにおいて、
前記画像は、商品載置領域及びその前を含んでおり、
前記画像処理機能は、前記腕のうち前記商品載置領域の前側の端部と重なる部分を、前記手のひらと判断するプログラム。
１３．上記１１に記載のプログラムにおいて、
前記画像は、商品載置領域及びその前を含んでおり、
前記画像処理機能は、前記商品載置領域から移動した商品を検出し、当該商品の高さを前記手の高さとするプログラム。
１４．上記１１に記載のプログラムにおいて、
前記画像は、商品載置領域及びその前を含んでおり、
商品の種類ごとに、当該商品の高さが予め記憶されており、
前記画像処理機能は、前記商品載置領域から移動した商品の種類を検出し、当該種類に対応する前記商品の高さを、前記手の高さとするプログラム。
１５．上記１２～１４のいずれか一項に記載のプログラムにおいて、
前記商品載置領域は商品棚の少なくとも一部であり、
前記画像は、前記商品棚の前面フレームに取り付けられた撮像手段によって生成されているプログラム。

１０身長推定装置
２０撮像部
３０外部装置
４０物品棚
４２前面フレーム
５０物品
１１０取得部
１２０画像処理部
１３０推定部
２００撮像装置
２１０撮像ユニット
２２０照明部

Claims

商品載置領域に手を伸ばした人の腕を含む画像を処理することにより、当該人の手のひらの高さ及び腕の角度を含む解析データを生成する画像処理手段と、
前記手のひらの高さ及び前記腕の角度を用いて、前記人の身長の推定値を算出する推定手段と、
を備え、
商品の種類ごとに、前記商品載置領域における当該商品の高さが予め記憶されており、
前記画像処理手段は、前記画像を処理することにより、前記商品載置領域から移動した商品の種類を検出し、当該種類に対応する前記商品の高さを、前記手のひらの高さとする身長推定装置。
商品載置領域に手を伸ばした人の腕を含む画像を処理することにより、当該人の手のひらの高さ及び腕の角度を含む解析データを生成する画像処理手段と、
前記手のひらの高さ及び前記腕の角度を用いて、前記人の身長の推定値を算出する推定手段と、
を備え、
前記商品載置領域は商品棚の少なくとも一部であり、
前記画像は、商品棚の前面フレームに取り付けられた撮像手段によって生成されている身長推定装置。
請求項１に記載の身長推定装置において、
前記商品載置領域は商品棚の少なくとも一部であり、
前記画像は、前記商品棚の前面フレームに取り付けられた撮像手段によって生成されている身長推定装置。
コンピュータが、
商品載置領域に手を伸ばした人の腕を含む画像を処理することにより、当該人の手のひらの高さ及び腕の角度を含む解析データを生成し、
前記手のひらの高さ及び前記腕の角度を用いて、前記人の身長の推定値を算出し、
商品の種類ごとに、前記商品載置領域における当該商品の高さが予め記憶されており、
前記コンピュータは、前記画像を処理することにより、前記商品載置領域から移動した商品の種類を検出し、当該種類に対応する前記商品の高さを、前記手のひらの高さとする、身長推定方法。
コンピュータが、
商品棚の前面フレームに取り付けられた撮像手段が生成した画像を取得し、
前記商品棚の少なくとも一部である商品載置領域に手を伸ばした人の腕を含む前記画像を処理することにより、当該人の手のひらの高さ及び腕の角度を含む解析データを生成し、
前記手のひらの高さ及び前記腕の角度を用いて、前記人の身長の推定値を算出する、身長推定方法。
コンピュータに、
商品載置領域に手を伸ばした人の腕を含む画像を処理することにより、当該人の手のひらの高さ及び腕の角度を含む解析データを生成する画像処理機能と、
前記手のひらの高さ及び前記腕の角度を用いて、前記人の身長の推定値を算出する推定機能と、
を持たせ、
商品の種類ごとに、前記商品載置領域における当該商品の高さが予め記憶されており、
前記画像処理機能では、前記画像を処理することにより、前記商品載置領域から移動した商品の種類を検出し、当該種類に対応する前記商品の高さを、前記手のひらの高さとするプログラム。
コンピュータに、
商品棚の前面フレームに取り付けられた撮像手段が生成した画像を取得する取得機能と、
前記商品棚の少なくとも一部である商品載置領域に手を伸ばした人の腕を含む前記画像を処理することにより、当該人の手のひらの高さ及び腕の角度を含む解析データを生成する画像処理機能と、
前記手のひらの高さ及び前記腕の角度を用いて、前記人の身長の推定値を算出する推定機能と、
を持たせるプログラム。
請求項５に記載の身長推定方法において、
前記コンピュータは、前記手のひらの高さと、予め記憶された腕の長さの標準値と、予め記憶された腕の付け根から頭頂までの高さの標準値と、前記腕の角度とを用いて、前記人の身長の推定値を算出する、身長推定方法。
請求項７に記載のプログラムにおいて、
前記推定機能では、前記手のひらの高さと、予め記憶された腕の長さの標準値と、予め記憶された腕の付け根から頭頂までの高さの標準値と、前記腕の角度とを用いて、前記人の身長の推定値を算出する、プログラム。