JP7297633B2 - 画像処理装置、およびコンピュータプログラム - Google Patents

Description

本発明は、画像処理装置、および当該画像処理装置の処理部により実行されるコンピュータプログラムに関連する。

例えば特許文献１に開示されているように、撮像装置により取得された画像に写り込んだ被写体に人体を模した骨格モデルを適用することにより、当該被写体の骨格や姿勢などの判別を行なう技術が知られている。

特開２０１７－０９１３７７号公報

本発明の目的は、撮像装置により取得された画像に写り込んだ被写体の判別精度を高めることである。

上記の目的を達成するための一態様は、画像処理装置であって、
人物が写り込んだ画像に対応する画像データを受け付ける受付部と、
前記画像データに基づいて、前記画像に写り込んでいる前記人物の身体のねじれを推定する処理部と、
を備えており、
前記処理部は、
前記画像データに基づいて、前記人物の左上肢に含まれる特徴的部分に対応する第一特徴点、当該人物の右上肢に含まれる特徴的部分に対応する第二特徴点、および当該人物の顔に含まれる特徴的部分に対応する第三特徴点を検出し、
前記第一特徴点と前記第三特徴点の間の距離に対応する第一の値を取得し、
前記第二特徴点と前記第三特徴点の間の距離に対応する第二の値を取得し、
前記第一の値と前記第二の値の比率に基づいて、前記人物の身体のねじれの有無を推定する。

上記の目的を達成するための一態様は、画像処理装置の処理部により実行されるコンピュータプログラムであって、
実行されることにより、前記画像処理装置に、
人物が写り込んだ画像に対応する画像データを受け付けさせ、
前記画像データに基づいて、前記人物の左上肢に含まれる特徴的部分に対応する第一特徴点、当該人物の右上肢に含まれる特徴的部分に対応する第二特徴点、および当該人物の顔に含まれる特徴的部分に対応する第三特徴点を検出させ、
前記第一特徴点と前記第三特徴点の間の距離に対応する第一の値を取得させ、
前記第二特徴点と前記第三特徴点の間の距離に対応する第二の値を取得させ、
前記第一の値と前記第二の値の比率に基づいて、前記人物の身体のねじれの有無を推定させる。

撮像装置により取得される画像に写り込む被写体としての人物は、常に撮像装置に対して正面を向いているとは限らない。上記のような処理によれば、被写体としての人物の顔と上半身の間のねじれの有無を推定できる。これにより、撮像装置により取得された画像に写り込んだ被写体の判別精度を高めることができる。

上記の画像処理装置は、以下のように構成されうる。
前記第一特徴点は、前記人物の左肩に対応する特徴点であり、
前記第二特徴点は、前記人物の右肩に対応する特徴点である。

上記のコンピュータプログラムは、以下のように構成されうる。
前記第一特徴点は、前記人物の左肩に対応する特徴点であり、
前記第二特徴点は、前記人物の右肩に対応する特徴点である。

左肩に対応する特徴点の位置と右肩に対応する特徴点の位置は、両上肢の状態によらず比較的安定しており、かつ顔に含まれる特徴点に近いので、左肩に対応する特徴点と右肩に対応する特徴点を第一特徴点と第二特徴点として採用することは、顔と上半身のねじれの有無を精度よく推定する上では有利である。

上記の画像処理装置は、以下のように構成されうる。
前記処理部は、１に対する前記比率の大小に基づいて、前記人物の身体のねじれ方向を推定する。

上記のコンピュータプログラムは、以下のように構成されうる。
実行されることにより、前記画像処理装置に、
１に対する前記比率の大小に基づいて、前記人物の身体のねじれ方向を推定させる。

上記のような処理によれば、身体のねじれの有無だけでなく、ねじれの方向も推定できるので、被写体としての人物の姿勢をより正確に判別できる。

上記の目的を達成するための一態様は、画像処理装置であって、
人物が写り込んだ画像に対応する画像データを受け付ける受付部と、
前記画像データに基づいて、前記画像に写り込んでいる前記人物の身体のねじれを推定する処理部と、
を備えており、
前記処理部は、
前記画像データに基づいて、前記人物の左下肢に含まれる特徴的部分に対応する第一特徴点、および当該人物の右下肢に含まれる特徴的部分に対応する第二特徴点を検出し、
前記画像データに基づいて、前記人物の肩幅に対応する第一の値を取得し、
前記第一特徴点と前記第二特徴点の間の距離に対応する第二の値を取得し、
前記第一の値と前記第二の値の比率に基づいて、前記人物の身体のねじれの有無を推定する。

上記の目的を達成するための一態様は、画像処理装置の処理部により実行されるコンピュータプログラムであって、
実行されることにより、前記画像処理装置に、
人物が写り込んだ画像に対応する画像データを受け付けさせ、
前記画像データに基づいて、前記人物の左下肢に含まれる特徴的部分に対応する第一特徴点、及び当該人物の右下肢に含まれる特徴的部分に対応する第二特徴点を検出させ、
前記画像データに基づいて、前記人物の肩幅に対応する第一の値を取得させ、
前記第一特徴点と前記第二特徴点の間の距離に対応する第二の値を取得させ、
前記第一の値と前記第二の値の比率に基づいて、前記人物の身体のねじれの有無を推定させる。

撮像装置により取得される画像に写り込む被写体としての人物は、常に撮像装置に対して正面を向いているとは限らない。上記のような処理によれば、被写体としての人物の上半身と下半身の間のねじれの有無を推定できる。これにより、撮像装置により取得された画像に写り込んだ被写体の判別精度を高めることができる。

上記の画像処理装置は、以下のように構成されうる。
前記第一特徴点は、前記人物の腰の左部に対応する特徴点であり、
前記第二特徴点は、前記人物の腰の右部に対応する特徴点である。

上記のコンピュータプログラムは、以下のように構成されうる。
前記第一特徴点は、前記人物の腰の左部に対応する特徴点であり、
前記第二特徴点は、前記人物の腰の右部に対応する特徴点である。

腰の左部に対応する特徴点の位置と腰の右部に対応する特徴点の位置は、両下肢の状態によらず比較的安定しておりので、腰の左部に対応する特徴点と腰の右部に対応する特徴点を第一特徴点と第二特徴点として採用することは、上半身と下半身のねじれの有無を精度よく推定する上では有利である。

本発明によれば、撮像装置により取得された画像に写り込んだ被写体の判別精度を高めることができる。

一実施形態に係る画像処理システムの機能構成を例示している。 図１の画像処理システムが車両に搭載された例を示している。 図１の画像処理装置が使用する骨格モデルを例示している。 複数の被写体に図３の骨格モデルが適用された例を示している。 図３の骨格モデルにおける人体の中心を定める手法の一例と中心領域を定める手法の一例を示している。 図３の骨格モデルにおける人体の中心を定める手法の一例と中心領域を定める手法の一例を示している。 被写体に図３の骨格モデルを適用する処理の流れを例示している。 被写体に図３の骨格モデルを適用する処理の流れを例示している。 被写体に図３の骨格モデルを適用する処理の流れを例示している。 被写体に図３の骨格モデルを適用する処理の流れを例示している。 被写体としての人物の身体のねじれを推定する処理を説明する図である。 被写体としての人物の隠れ身体部位を推定する処理を説明する図である。 被写体としての人物の隠れ身体部位を推定する処理を説明する図である。 被写体としての人物の隠れ身体部位を推定する処理を説明する図である。 被写体としての人物の隠れ身体部位を推定する処理を説明する図である。 被写体としての人物の隠れ身体部位を推定する処理を説明する図である。 被写体としての人物の隠れ身体部位を推定する処理を説明する図である。 被写体としての人物の隠れ身体部位を推定する処理を説明する図である。

添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。図１は、一実施形態に係る画像処理システム１０の機能構成を例示している。画像処理システム１０は、撮像装置１１と画像処理装置１２を含んでいる。

撮像装置１１は、予め定められた撮像領域の画像を取得する装置である。撮像装置１１としては、カメラやイメージセンサが例示されうる。撮像装置１１は、取得した画像に対応する画像データＤＩを出力するように構成されている。画像データＤＩは、アナログデータでもよいし、デジタルデータでもよい。

画像処理装置１２は、受付部１２１、処理部１２２、及び出力部１２３を備えている。

受付部１２１は、画像データＤＩを受け付けるインターフェースとして構成されている。画像データＤＩがアナログデータである場合、受付部１２１は、Ａ／Ｄコンバータを含む適宜の変換回路を含みうる。

処理部１２２は、デジタルデータの形態である画像データＤＩを処理の対象とする。処理部１２２によって行なわれる処理の詳細については後述する。処理部１２２は、当該処理の結果に基づいて、出力部１２３からの制御データＤＣの出力を許容する。制御データＤＣは、各種の被制御装置の動作を制御するデータである。制御データＤＣは、デジタルデータでもよいし、アナログデータでもよい。制御データＤＣがアナログデータである場合、出力部１２３は、Ｄ／Ａコンバータを含む適宜の変換回路を含みうる。

画像処理システム１０は、例えば図２に示されるように、車両２０に搭載されうる。この場合、上記の制御データＤＣにより動作を制御される被制御装置の例としては、車両２０におけるドアの開閉装置、ドアの施錠装置、空調装置、照明装置、映像音響設備などが挙げられる。

撮像装置１１は、所望の撮像領域に応じて車両２０における適宜の位置に配置される。画像処理装置１２は、車両２０内の適宜の位置に配置される。本例においては、撮像装置１１は、車両２０の右側部に配置されており、車両２０の右側方に撮像領域Ａを規定している。換言すると、撮像装置１１は、撮像領域Ａの画像を取得している。

撮像領域Ａ内には様々な被写体３０が進入しうる。撮像領域Ａに被写体３０が進入すると、撮像装置１１により取得される画像に被写体３０が写り込む。画像に写り込んだ被写体３０は、画像データＤＩに反映される。

画像処理システム１０は、被写体３０が人物である場合において、当該人物の骨格を推定する機能を有している。

上記の機能を実現するために処理部１２２は、撮像装置１１により取得された画像に写り込んだ被写体３０に骨格モデルを適用する処理を、画像データＤＩに対して行なうように構成されている。

具体的には、図３に例示される骨格モデルＭが採用されている。骨格モデルＭは、モデル人体の中心に対応する中心特徴点Ｃを含む中心領域ＣＡを含んでいる。骨格モデルＭは、左上肢グループＬＵ、右上肢グループＲＵ、左下肢グループＬＬ、および右下肢グループＲＬを含んでいる。

左上肢グループＬＵは、モデル人体の左上肢における特徴的な複数の部位に対応する複数の特徴点を含んでいる。具体的には、左上肢グループＬＵは、左肩特徴点ＬＵ１、左肘特徴点ＬＵ２、および左手首特徴点ＬＵ３を含んでいる。左肩特徴点ＬＵ１は、モデル人体の左肩に対応する点である。左肘特徴点ＬＵ２は、モデル人体の左肘に対応する点である。左手首特徴点ＬＵ３は、モデル人体の左手首に対応する点である。

右上肢グループＲＵは、モデル人体の右上肢における特徴的な複数の部位に対応する複数の特徴点を含んでいる。具体的には、右上肢グループＲＵは、右肩特徴点ＲＵ１、右肘特徴点ＲＵ２、および右手首特徴点ＲＵ３を含んでいる。右肩特徴点ＲＵ１は、モデル人体の右肩に対応する点である。右肘特徴点ＲＵ２は、モデル人体の右肘に対応する点である。右手首特徴点ＲＵ３は、モデル人体の右手首に対応する点である。

左下肢グループＬＬは、モデル人体の左下肢における特徴的な複数の部位に対応する複数の特徴点を含んでいる。具体的には、左下肢グループＬＬは、左腰特徴点ＬＬ１、左膝特徴点ＬＬ２、および左足首特徴点ＬＬ３を含んでいる。左腰特徴点ＬＬ１は、モデル人体の腰の左部に対応する点である。左膝特徴点ＬＬ２は、モデル人体の左膝に対応する点である。左足首特徴点ＬＬ３は、モデル人体の左足首に対応する点である。

右下肢グループＲＬは、モデル人体の右下肢における特徴的な複数の部位に対応する複数の特徴点を含んでいる。具体的には、右下肢グループＲＬは、右腰特徴点ＲＬ１、右膝特徴点ＲＬ２、および右足首特徴点ＲＬ３を含んでいる。右腰特徴点ＲＬ１は、モデル人体の腰の右部に対応する点である。右膝特徴点ＲＬ２は、モデル人体の右膝に対応する点である。右足首特徴点ＲＬ３は、モデル人体の右足首に対応する点である。

左上肢グループＬＵは、左上骨格線ＬＵＳを介して中心領域ＣＡに接続されている。右上肢グループＲＵは、右上骨格線ＲＵＳを介して中心領域ＣＡに接続されている。左下肢グループＬＬは、左下骨格線ＬＬＳを介して中心領域ＣＡに接続されている。右下肢グループＲＬは、右下骨格線ＲＬＳを介して中心領域ＣＡに接続されている。すなわち、骨格モデルＭにおいては、モデル人体の中心特徴点Ｃにモデル人体の四肢に対応する複数の特徴点が接続されている。

より具体的には、骨格モデルＭは、顔特徴点Ｆと首特徴点ＮＫを含んでいる。顔特徴点Ｆは、モデル人体の顔に対応する点である。首特徴点ＮＫは、モデル人体の首に対応する点である。顔特徴点Ｆ、左上肢グループＬＵ、および右上肢グループＲＵは、首特徴点ＮＫを経由して中心領域ＣＡと接続されている。顔特徴点Ｆは、頭特徴点Ｈに置き換えられうる。頭特徴点Ｈは、モデル人体の頭中心に対応する点である。

本明細書で用いられる「骨格モデルを適用する処理」という語は、撮像装置１１により取得された画像に写り込んだ被写体において当該骨格モデルにおいて規定された複数の特徴点を検出し、当該複数の特徴点同士を当該骨格モデルにおいて規定された複数の骨格接続線で接続することを意味する。

図４は、撮像装置１１により取得された画像Ｉに写り込んだ被写体３０としての複数の人物３１、３２に骨格モデルＭが適用された例を示している。

上記のように人体の中心に対応する中心特徴点Ｃに人体の四肢に対応する複数の特徴点が接続されている骨格モデルＭを採用することにより、より現実に近い人物の骨格の推定が可能になる。より現実に近い骨格が推定されることにより、例えば、画像Ｉに写り込んだ人物の姿勢や動作を推定しようとする場合において、より正確な推定結果を提供できる。したがって、撮像装置１１により取得された画像Ｉに写り込んだ被写体３０の判別精度を高めることができる。

図５に例示されるように、モデル人体の中心特徴点Ｃの位置は、モデル人体の四肢に対応する複数の特徴点の位置に基づいて定められている。具体的には、中心特徴点Ｃの位置は、以下の手順で定められうる。

撮像装置１１により取得された画像Ｉにおける左右方向と上下方向をそれぞれＸ方向、Ｙ方向と規定した場合、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１の間のＸ方向に沿う距離に対応する寸法Ｘ１を有する短辺と、左肩特徴点ＬＵ１と左腰特徴点ＬＬ１の間（または右肩特徴点ＲＵ１と右腰特徴点ＲＬ１の間）のＹ方向に沿う距離に対応する寸法Ｙ１を有する長辺とによって形成される矩形Ｒが設定される。続いて、矩形Ｒの短辺の中点を通ってＹ方向に延びる直線と、矩形Ｒの長辺の中点を通ってＸ方向に延びる直線の交点が、中心特徴点Ｃの位置として定められる。

このような構成によれば、比較的検出が容易な四肢に対応する複数の特徴点に基づいて中心特徴点Ｃの位置が定められうる。換言すると、上記のように判別精度を高めることが可能な骨格モデルＭを適用するために、中心特徴点Ｃの位置を特徴点として検出する必要がない。したがって、画像処理装置１２の処理負荷の増大を抑制しつつ、被写体３０の判別精度を高めることができる。

なお、中心特徴点Ｃの位置を定めるために用いられるＹ方向に延びる直線は、必ずしも矩形Ｒの短辺の中点を通ることを要しない。同様に、中心特徴点Ｃの位置を定めるために用いられるＸ方向に延びる直線は、必ずしも矩形Ｒの長辺の中点を通ることを要しない。これらの直線が矩形Ｒの短辺および長辺と交わる点は、適宜に変更されうる。

首特徴点ＮＫもまた、四肢に対応する複数の特徴点の位置に基づいて定められうる。例えば、首特徴点ＮＫは、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１を結ぶ直線の中点として定められうる。すなわち、骨格モデルＭの適用に際しては、首特徴点ＮＫを検出する必要がない。このことによっても、画像処理装置１２の処理負荷の増大を抑制できる。

図６に例示されるように、中心特徴点Ｃは、図５に示される矩形Ｒを用いなくとも定められうる。本例においては、左肩特徴点ＬＵ１、右肩特徴点ＲＵ１、左腰特徴点ＬＬ１、および右腰特徴点ＲＬ１を頂点とする四角形Ｑが設定される。続いて、四角形Ｑの重心が、中心特徴点Ｃの位置として定められる。

このような構成によれば、中心特徴点Ｃを定めるにあたっての被写体３０の姿勢に係る制約が緩和されうる。

図５に例示されるように、モデル人体の中心領域ＣＡの大きさは、モデル人体の四肢に対応する複数の特徴点間の距離に基づいて定められている。本例においては、中心領域ＣＡは、矩形状を有している。中心領域ＣＡの短辺の寸法Ｘ２は、矩形Ｒの短辺の寸法Ｘ１の半分とされている。中心領域ＣＡの長辺の寸法Ｙ２は、矩形Ｒの長辺の寸法Ｙ１の半分とされている。

なお、寸法Ｘ２の寸法Ｘ１に対する比率と、寸法Ｙ２の寸法Ｙ１に対する比率は、個別かつ適宜に定められうる。

上記のように定められた中心特徴点Ｃは、画像Ｉに写り込んだ被写体３０としての人物の胴体内に位置している。中心領域ＣＡは、被写体３０としての人物の実際の胴体の広がりを反映した面積を有する。単に中心特徴点Ｃの位置を定めるだけでなく、中心特徴点Ｃを含む中心領域ＣＡを設定することによって、より現実の人体に近い骨格モデルＭを提供できる。したがって、撮像装置１１により取得された画像Ｉに写り込んだ被写体３０の判別精度を、さらに高めることができる。

例えば、現実の胴体は広がりを有しているので、被写体３０としての人物の姿勢によっては、胴体に遮られて画像Ｉに写り込まない隠れ身体部位が生じうる。検出される特徴点と中心領域ＣＡの位置関係に基づいて、そのような隠れ身体部位の推定精度を高めることができる。

図６に例示されるように、人体の中心領域ＣＡは、必ずしも矩形状であることを要しない。本例においては、中心領域ＣＡは、楕円形状を有している。この場合、楕円形状のＸ方向に沿う寸法Ｘ２とＹ方向に沿う寸法Ｙ２が、先に定められた四角形Ｑ（あるいは図５に例示される矩形Ｒ）の大きさに基づいて適宜に定められうる。

左上肢グループＬＵに含まれる特徴点が対応する身体部位と特徴点の数は、適宜に定められうる。中心特徴点Ｃや中心領域ＣＡを定めるための基準となる特徴点も、適宜に定められうる。しかしながら、左上肢グループＬＵには左肩特徴点ＬＵ１が含まれることが好ましい。左肩特徴点ＬＵ１は、左上肢の状態によらず比較的高い安定性をもって検出されうる特徴点だからである。同様の理由により、中心特徴点Ｃや中心領域ＣＡを定めるための基準として左肩特徴点ＬＵ１が使用されることが好ましい。

右上肢グループＲＵに含まれる特徴点が対応する身体部位と特徴点の数は、適宜に定められうる。中心特徴点Ｃや中心領域ＣＡを定めるための基準となる特徴点も、適宜に定められうる。しかしながら、右上肢グループＲＵには右肩特徴点ＲＵ１が含まれることが好ましい。右肩特徴点ＲＵ１は、右上肢の状態によらず比較的高い安定性をもって検出されうる特徴点だからである。同様の理由により、中心特徴点Ｃや中心領域ＣＡを定めるための基準として右肩特徴点ＲＵ１が使用されることが好ましい。

左下肢グループＬＬに含まれる特徴点が対応する身体部位と特徴点の数は、適宜に定められうる。中心特徴点Ｃや中心領域ＣＡを定めるための基準となる特徴点も、適宜に定められうる。しかしながら、左下肢グループＬＬには左腰特徴点ＬＬ１が含まれることが好ましい。左腰特徴点ＬＬ１は、左下肢の状態によらず比較的高い安定性をもって検出されうる特徴点だからである。同様の理由により、中心特徴点Ｃや中心領域ＣＡを定めるための基準として左腰特徴点ＬＬ１が使用されることが好ましい。

右下肢グループＲＬに含まれる特徴点が対応する身体部位と特徴点の数は、適宜に定められうる。中心特徴点Ｃや中心領域ＣＡを定めるための基準となる特徴点も、適宜に定められうる。しかしながら、右下肢グループＲＬには右腰特徴点ＲＬ１が含まれることが好ましい。右腰特徴点ＲＬ１は、右下肢の状態によらず比較的高い安定性をもって検出されうる特徴点だからである。同様の理由により、中心特徴点Ｃや中心領域ＣＡを定めるための基準として右腰特徴点ＲＬ１が使用されることが好ましい。

図７から図１０を参照しつつ、撮像装置１１により取得された画像Ｉに写り込んだ被写体３０に骨格モデルＭが適用される処理の一例を説明する。

画像処理装置１２の処理部１２２は、受付部１２１が受け付けた画像データＤＩに基づいて、画像Ｉ中に含まれる人物である尤度が高い物体を検出する処理を実行する。当該処理は、周知の手法を用いて適宜に行なわれうるので、詳細な説明は省略する。図７における枠Ｆ０は、画像Ｉ内において特定された、人物である尤度が高い物体が含まれている領域を表している。

続いて、処理部１２２は、被写体３０が人物であるとの仮定に基づき、複数の実特徴点を検出する。画像Ｉに写り込んだ被写体３０から特徴的な複数の身体部位に対応する複数の実特徴点を検出する処理は、周知の手法を用いて適宜に行なわれうるので、詳細な説明は省略する。

本例においては、前述した左肩特徴点ＬＵ１、左肘特徴点ＬＵ２、左手首特徴点ＬＵ３、右肩特徴点ＲＵ１、右肘特徴点ＲＵ２、右手首特徴点ＲＵ３、左腰特徴点ＬＬ１、左膝特徴点ＬＬ２、左足首特徴点ＬＬ３、右腰特徴点ＲＬ１、右膝特徴点ＲＬ２、右足首特徴点ＲＬ３に加えて、左目特徴点ＬＹ、右目特徴点ＲＹ、鼻特徴点ＮＳ、口特徴点ＭＳ、左耳特徴点ＬＡ、および右耳特徴点ＲＡが検出されている。左目特徴点ＬＹは、人体の左目に対応する特徴点である。右目特徴点ＲＹは、人体の右目に対応する特徴点である。鼻特徴点ＮＳは、人体の鼻に対応する特徴点である。口特徴点ＭＳは、人体の口に対応する特徴点である。左耳特徴点ＬＡは、人体の左耳に対応する特徴点である。右耳特徴点ＲＡは、人体の右耳に対応する特徴点である。

続いて図８に例示されるように、処理部１２２は、検出された複数の実特徴点を、骨格モデルＭにおいて規定されている複数のグループに分類する。換言すると、所定の実特徴点を含むように複数のグループが形成される。

本例においては、左肩特徴点ＬＵ１、左肘特徴点ＬＵ２、および左手首特徴点ＬＵ３を含むように、左上肢グループＬＵが形成されている。右肩特徴点ＲＵ１、右肘特徴点ＲＵ２、および右手首特徴点ＲＵ３を含むように、右上肢グループＲＵが形成されている。左腰特徴点ＬＬ１、左膝特徴点ＬＬ２、および左足首特徴点ＬＬ３を含むように、左下肢グループＬＬが形成されている。右腰特徴点ＲＬ１、右膝特徴点ＲＬ２、および右足首特徴点ＲＬ３を含むように、右下肢グループＲＬが形成されている。

さらに、処理部１２２は、各グループに含まれる複数の実特徴点同士を骨格線で接続する処理を行なう。

加えて、左目特徴点ＬＹ、右目特徴点ＲＹ、鼻特徴点ＮＳ、口特徴点ＭＳ、左耳特徴点ＬＡ、および右耳特徴点ＲＡに基づいて、顔特徴点Ｆが定められている。これに加えてあるいは代えて、頭特徴点Ｈが定められてもよい。顔特徴点Ｆは、顔の位置や向きに係る情報を提供しうる。頭特徴点Ｈは、頭の中心部の推定位置を表しうる。人体の左目特徴点ＬＹ、右目特徴点ＲＹ、鼻特徴点ＮＳ、口特徴点ＭＳ、左耳特徴点ＬＡ、および右耳特徴点ＲＡに基づいて顔特徴点Ｆや頭特徴点Ｈを定める処理は、周知の手法を用いて適宜に行なわれうるので、詳細な説明は省略する。

続いて図９に例示されるように、処理部１２２は、中心特徴点Ｃを定める処理を行なう。本例においては、図５を参照して説明した矩形Ｒが用いられている。加えて、処理部１２２は、首特徴点ＮＫを定める処理を行なう。本例においては、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１を結ぶ直線の中点が、首特徴点ＮＫとして定められている。

続いて図１０に例示されるように、処理部１２２は、中心領域ＣＡを定める処理を行なう。本例においては、図５を参照して説明した手法が用いられている。

続いて、処理部１２２は、中心特徴点Ｃと四肢に対応する複数のグループの各々を骨格線で接続する処理を行なう。具体的には、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１が、首特徴点ＮＫを経由して中心特徴点Ｃに接続される。左腰特徴点ＬＬ１と右腰特徴点ＲＬ１の各々は、中心特徴点Ｃに直接的に接続される。顔特徴点Ｆと頭特徴点Ｈの少なくとも一方は、首特徴点ＮＫと接続される。

所定の実特徴点の検出や、検出された複数の実特徴点の複数のグループへの分類が実行不能である場合、実特徴点同士を接続できない骨格線が生じる。全ての骨格線のうち、閾値比率を上回る数の骨格線による接続が不能である場合、処理部１２２は、被写体３０に骨格モデルＭが適合しないと判断しうる。閾値比率は適宜に設定されうる。すなわち、処理部１２２は、複数の実特徴点に骨格モデルＭが適合するかに基づいて、被写体３０が人物であるかを判断しうる。

このような構成によれば、人物ではない被写体３０に対して骨格モデルＭに基づく無用の処理が行なわれる可能性を抑制できる。したがって、被写体３０の判別精度をさらに高めるとともに、画像処理装置１２の処理負荷の増大を抑制できる。

撮像装置１１により取得される画像Ｉに写り込む被写体３０としての人物は、常に撮像装置１１に対して正面を向いているとは限らない。画像処理装置１２の処理部１２２は、受付部１２１が受け付けた画像データＤＩに基づいて、画像Ｉに写り込んだ人物の身体のねじれの有無を推定するように構成されている。

具体的には、図１１に例示されるように、処理部１２２は、左肩特徴点ＬＵ１と顔特徴点ＦのＸ方向に沿う距離Ｄ１と、右肩特徴点ＲＵ１と顔特徴点ＦのＸ方向に沿う距離Ｄ２を取得する。左肩特徴点ＬＵ１は、第一特徴点の一例である。右肩特徴点ＲＵ１は、第二特徴点の一例である。顔特徴点Ｆは、第三特徴点の一例である。距離Ｄ１は、第一の値の一例である。距離Ｄ２は、第二の値の一例である。

続いて、処理部１２２は、距離Ｄ１と距離Ｄ２の比率に基づいて、画像Ｉに写り込んだ人物の身体のねじれの有無を推定する。具体的には、当該比率と１との差分が閾値を超えている場合に、身体がねじれていると推定する。被写体３０としての人物が撮像装置１１に対して正面を向いている場合、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１は、顔特徴点Ｆに対して左右方向（Ｘ方向）に対称に位置している蓋然性が高い。したがって、距離Ｄ１と距離Ｄ２の比率は１に近づく。換言すると、当該比率が１から離れるほど、顔の正面と上半身の正面が別方向を向いている蓋然性が高い。

したがって、上記のような処理によれば、被写体３０としての人物の顔と上半身の間のねじれの有無を推定できる。これにより、撮像装置１１により取得された画像Ｉに写り込んだ被写体３０の判別精度を高めることができる。

図１１に例示されるように、身体のねじれの有無の推定に際しては、左肩特徴点ＬＵ１と顔特徴点Ｆの間の距離Ｄ１’と、右肩特徴点ＲＵ１と顔特徴点Ｆの間の距離Ｄ２’が取得され、これらの値の比率が直接的に求められてもよい。この場合、距離Ｄ１’は第一の値の一例であり、距離Ｄ２’は第二の値の一例である。

顔特徴点Ｆに対する距離が取得される特徴点は、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１に限られない。被写体３０としての人物の左上肢に含まれる特徴的部分に対応する点であれば、適宜の点が第一特徴点として採用されうる。同様に、被写体３０としての人物の右上肢に含まれる特徴的部分に対応する点であれば、適宜の点が第二特徴点として採用されうる。但し、左肘特徴点ＬＵ２と右肘特徴点ＲＵ２のように、被写体３０としての人物が撮像装置１１に対して正面を向いたときに顔特徴点Ｆに対して左右対称に位置する二つの点が選ばれる必要がある。

しかしながら、左肩特徴点ＬＵ１の位置と右肩特徴点ＲＵ１の位置は、両上肢の状態によらず比較的安定しており、かつ顔特徴点Ｆに近いので、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１を第一特徴点と第二特徴点として採用することは、顔と上半身のねじれの有無を精度よく推定する上では有利である。

被写体３０としての人物の顔に含まれる特徴的部分に対応していれば、顔特徴点Ｆ以外の特徴点を、第三特徴点として採用できる。但し、鼻特徴点ＮＳや口特徴点ＭＳのように、被写体３０としての人物が撮像装置１１に対して正面を向いたときに第一特徴点と第二特徴点に対して左右対称の関係が成立する点が選ばれる必要がある。

処理部１２２は、１に対する距離Ｄ１と距離Ｄ２の比率の大小関係に基づいて、被写体３０としての人物の身体のねじれ方向を推定しうる。

具体的には、図１１に例示されるように、当該比率が１よりも大きい場合（Ｄ１がＤ２よりも大きい場合）、処理部１２２は、顔が上半身に対して左方にねじれていると推定する。当該比率が１よりも小さい場合（Ｄ２がＤ１よりも大きい場合）、処理部１２２は、顔が上半身に対して右方にねじれていると推定する。

このような処理によれば、身体のねじれの有無だけでなく、ねじれの方向も推定できるので、被写体３０としての人物の姿勢をより正確に判別できる。

図１１に例示されるように、処理部１２２は、被写体３０としての人物の肩幅に対応する値を取得する。本例においては、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１の間のＸ方向に沿う距離Ｄ３が、肩幅に対応する値として取得されている。加えて、処理部１２２は、左腰特徴点ＬＬ１と右腰特徴点ＲＬ１の間のＸ方向に沿う距離Ｄ４を取得する。左腰特徴点ＬＬ１は、第一特徴点の一例である。右腰特徴点ＲＬ１は、第二特徴点の一例である。距離Ｄ３は、第一の値の一例である。距離Ｄ４は、第二の値の一例である。

続いて、処理部１２２は、距離Ｄ３と距離Ｄ４の比率に基づいて、画像Ｉに写り込んだ人物の身体のねじれの有無を推定する。具体的には、距離Ｄ４に対する距離Ｄ３の比率が所定の閾値範囲に収まらない場合、身体がねじれていると推定する。例えば、閾値範囲は、１以上２以下の値として設定される。被写体３０としての人物が撮像装置１１に対して正面を向いている場合、肩幅に対応する距離Ｄ３は、腰幅に対応する距離Ｄ４よりも大きい。したがって、距離Ｄ４に対する距離Ｄ３の比率は、上記の閾値範囲内に収まる。他方、被写体３０としての人物の上半身の正面と下半身の正面が別方向を向いていると、肩幅に対応する距離Ｄ３が腰幅に対応する距離Ｄ４を下回る場合がある。あるいは、肩幅に対応する距離Ｄ３が腰幅に対応する距離Ｄ４を大きく上回る場合がある。すなわち、当該比率が上記の閾値範囲に収まらない場合、上半身の正面と下半身の正面が別方向を向いている蓋然性が高い。

したがって、上記のような処理によれば、被写体３０としての人物の上半身と下半身の間のねじれの有無を推定できる。これにより、撮像装置１１により取得された画像Ｉに写り込んだ被写体３０の判別精度を高めることができる。

図１１に例示されるように、身体のねじれの有無の推定に際しては、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１の間の距離Ｄ３’と、左腰特徴点ＬＬ１と右腰特徴点ＲＬ１の間の距離Ｄ４’が取得され、これらの値の比率が直接的に求められてもよい。この場合、距離Ｄ３’は第一の値の一例であり、距離Ｄ４’は第二の値の一例である。

肩幅との比較に供される特徴点は、左腰特徴点ＬＬ１と右腰特徴点ＲＬ１に限られない。被写体３０としての人物の左下肢に含まれる特徴的部分に対応する点であれば、適宜の点が第一特徴点として採用されうる。同様に、被写体３０としての人物の右下肢に含まれる特徴的部分に対応する点であれば、適宜の点が第二特徴点として採用されうる。但し、左膝特徴点ＬＬ２と右膝特徴点ＲＬ２のように、被写体３０としての人物が撮像装置１１に対して正面を向いたときに身体の中心軸に対して左右対称に位置する二つの点が選ばれる必要がある。

しかしながら、左腰特徴点ＬＬ１の位置と右腰特徴点ＲＬ１の位置は、両下肢の状態によらず比較的安定しているので、左腰特徴点ＬＬ１と右腰特徴点ＲＬ１を第一特徴点と第二特徴点として採用することは、上半身と下半身のねじれの有無を精度よく推定する上では有利である。

前述のように、撮像装置１１により取得される画像Ｉに写り込む被写体３０としての人物は、常に撮像装置１１に対して正面を向いているとは限らない。当該人物の姿勢によっては、当該人物の身体の一部に遮られて画像Ｉに写り込まない隠れ身体部位が生じうる。図１２に示される例においては、被写体３０としての人物の右上肢と腰の左部が画像Ｉに写り込んでおらず、右肩特徴点ＲＵ１、右肘特徴点ＲＵ２、右手首特徴点ＲＵ３、および左腰特徴点ＬＬ１が検出されていない。骨格モデルの適用を通じて人物の姿勢を推定する際には、隠れ身体部位を正確に認識することもまた重要である。

近年、深層学習等を用いて骨格モデルを構成する複数の特徴点を検出する技術が普及しつつある。当該技術に基づくと、実際には身体の一部に遮られて画像に写り込んでいない隠れ身体部位であるにも関わらず、身体の一部に遮られることなく画像に写り込んでいる非隠れ身体部位であるかのように特徴点が検出される場合がある。図１３に例示される画像Ｉにおいては、被写体３０としての人物における右肩特徴点ＲＵ１、右肘特徴点ＲＵ２、右手首特徴点ＲＵ３、および左腰特徴点ＬＬ１が検出されている。

画像処理装置１２の処理部１２２は、受付部１２１が受け付けた画像データＤＩに基づいて、画像Ｉに写り込んだ人物の隠れ身体部位を推定するように構成されている。

具体的には、処理部１２２は、被写体３０としての人物の左肢に含まれる特徴点と右肢に含まれる特徴点の距離を取得する。例えば、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１の間のＸ方向に沿う距離が取得される。当該距離が閾値よりも小さい場合、処理部１２２は、隠れ身体部位を推定するための処理を実行する。当該閾値は、人物が撮像装置１１に対して正面を向いているときの左肩特徴点ＬＵ１と右肩特徴点ＲＵ１の間の距離よりも小さな適宜の値として設定される。左肩特徴点ＬＵ１は、第一特徴点の一例である。右肩特徴点ＲＵ１は、第二特徴点の一例である。

人物の胴体の正面が撮像装置１１に対して斜め方向あるいは側方を向いている場合、隠れ身体部位が生じやすくなる。このとき、当該人物の胴体が撮像装置１１に対して正面を向いている場合よりも、左肢に含まれる特徴点と右肢に含まれる特徴点の間の距離が短くなることが一般的である。したがって、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１の間のＸ方向に沿う距離が閾値よりも小さい場合、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１の一方が隠れ身体部位に含まれている蓋然性が高い。

深層学習等により人体の特徴点が検出される場合、当該特徴点には尤度を示すデータが付与されることが一般的である。尤度とは、検出の確からしさを示す指標である。尤度は、周知の手法を用いて適宜に取得されうるので、詳細な説明は省略する。

左肩特徴点ＬＵ１と右肩特徴点ＲＵ１の間のＸ方向に沿う距離が閾値よりも小さい場合、処理部１２２は、左肩特徴点ＬＵ１に付与された尤度と右肩特徴点ＲＵ１に付与された尤度を比較し、より小さい尤度が付与された特徴点が隠れ身体部位に含まれていると推定する。図１３に示される例においては、左肩特徴点ＬＵ１に付与された尤度が２２０であり、右肩特徴点ＲＵ１に付与された尤度が２０５である。したがって、処理部１２２は、右肩特徴点ＲＵ１が隠れ身体部位に含まれていると推定する。

これに加えてあるいは代えて、左上肢に含まれる他の特徴点と右上肢に含まれる他の特徴点の間の距離が取得されうる。但し、人物が撮像装置１１に対して正面を向いたときに人体の中心軸に対して左右対称に位置する特徴点の間の距離が取得される。例えば、左肘特徴点ＬＵ２と右肘特徴点ＲＵ２の間の距離、および左手首特徴点ＬＵ３と右手首特徴点ＲＵ３の間の距離の少なくとも一方が取得される。左肘特徴点ＬＵ２と左手首特徴点ＬＵ３の各々は、第一特徴点の一例である。右肘特徴点ＲＵ２と右手首特徴点ＲＵ３の各々は、第二特徴点の一例である。

図１３に示される例においては、左肘特徴点ＬＵ２に付与された尤度が２２０であり、右肘特徴点ＲＵ２に付与された尤度が２００である。したがって、処理部１２２は、右肘特徴点ＲＵ２が隠れ身体部位に含まれていると推定する。同様に、左手首特徴点ＬＵ３に付与された尤度が２２０であり、右手首特徴点ＲＵ３に付与された尤度が２１０である。したがって、処理部１２２は、右手首特徴点ＲＵ３が隠れ身体部位に含まれていると推定する。

なお、同じグループに属する複数の特徴点の一つが隠れ身体部位に含まれていると推定された場合、処理部１２２は、同じグループに属する他の特徴点も隠れ身体部位に含まれていると推定してもよい。例えば、右上肢グループＲＵに属する右肩特徴点ＲＵ１、右肘特徴点ＲＵ２、および右手首特徴点ＲＵ３のうち、右肩特徴点ＲＵ１が隠れ身体部位に含まれていると推定された場合、処理部１２２は、右肘特徴点ＲＵ２と右手首特徴点ＲＵ３もまた隠れ身体部位に含まれていると推定しうる。この場合、左肩特徴点ＬＵ１と右肩特徴点ＲＵ１が基準とされることが好ましい。これらの特徴点の間の距離は、上肢の状態に依らず、胴体の正面の向きを比較的高い安定性で反映するからである。

上記の推定結果は、図１４に例示されるように反映される。本例においては、隠れ身体部位に含まれていると推定された特徴点が白丸で表されている。その後、処理部１２２は、複数の特徴点同士を複数の骨格線で接続する処理を行なう。複数の骨格線は、隠れ身体部位に対応する隠れ骨格線と、非隠れ身体部位に対応する非隠れ骨格線を含む。図１４においては、隠れ骨格線が破線で示されており、非隠れ骨格線が実線で示されている。処理部１２２は、骨格線により接続される二つの特徴点の少なくとも一方が隠れ身体部位に含まれている場合、隠れ骨格線で当該二つの特徴点を接続する。換言すると、骨格線により接続される二つの特徴点の双方が非隠れ身体部位に含まれている場合のみ、当該二つの特徴点が非隠れ骨格線により接続される。

図１４に示される例においては、ともに隠れ身体部位に対応すると推定された右肩特徴点ＲＵ１と右肘特徴点ＲＵ２が、隠れ骨格線により接続されている。この場合、右上腕は隠れ身体部位であると推定される。同様に、ともに隠れ身体部位に対応すると推定された右肘特徴点ＲＵ２と右手首特徴点ＲＵ３が、隠れ骨格線により接続されている。この場合、右下腕は隠れ身体部位であると推定される。

したがって、上記のような処理によれば、被写体３０としての人物の姿勢によって生じうる隠れ身体部位を推定できる。これにより、撮像装置１１により取得された画像Ｉに写り込んだ被写体３０の判別精度を高めることができる。

図１３と図１４を参照したこれまでの説明は、左下肢グループＬＬに属する左腰特徴点ＬＬ１、左膝特徴点ＬＬ２、および左足首特徴点ＬＬ３、および右下肢グループＲＬに属する右腰特徴点ＲＬ１、右膝特徴点ＲＬ２、および右足首特徴点ＲＬ３にも同様に適用されうる。すなわち、左腰特徴点ＬＬ１、左膝特徴点ＬＬ２、および左足首特徴点ＬＬ３の各々は、第一特徴点の一例になりうる。同様に、右腰特徴点ＲＬ１、右膝特徴点ＲＬ２、および右足首特徴点ＲＬ３の各々は、第二特徴点の一例になりうる。

図１５は、画像Ｉに写り込んだ人物の隠れ身体部位を推定するために処理部１２２が行ないうる処理の別例を示している。

本例においては、処理部１２２は、被写体３０としての人物の顔の向きを推定する。当該推定は、例えば、顔特徴点Ｆの位置に基づいて行なわれうる。

加えて、処理部１２２は、左上肢グループＬＵに対応する枠Ｆ１と右上肢グループＲＵに対応する枠Ｆ２を生成する。枠Ｆ１は、左肩特徴点ＬＵ１、左肘特徴点ＬＵ２、および左手首特徴点ＬＵ３を含むように生成される。枠Ｆ１は、第一領域の一例である。枠Ｆ２は、右肩特徴点ＲＵ１、右肘特徴点ＲＵ２、および右手首特徴点ＲＵ３を含むように生成される。枠Ｆ２は、第二領域の一例である。

例えば、枠Ｆ１の上端縁は、左上肢グループＬＵに含まれる複数の特徴点のうち最も上側に位置する特徴点と重なるように定められる。枠Ｆ１の下端縁は、左上肢グループＬＵに含まれる複数の特徴点のうち最も下側に位置する特徴点と重なるように定められる。枠Ｆ１の左端縁は、左上肢グループＬＵに含まれる複数の特徴点のうち最も左側に位置する特徴点と重なるように定められる。枠Ｆ１の右端縁は、左上肢グループＬＵに含まれる複数の特徴点のうち最も右側に位置する特徴点と重なるように定められる。

同様に、枠Ｆ２の上端縁は、右上肢グループＲＵに含まれる複数の特徴点のうち最も上側に位置する特徴点と重なるように定められる。枠Ｆ２の下端縁は、右上肢グループＲＵに含まれる複数の特徴点のうち最も下側に位置する特徴点と重なるように定められる。枠Ｆ２の左端縁は、右上肢グループＲＵに含まれる複数の特徴点のうち最も左側に位置する特徴点と重なるように定められる。枠Ｆ２の右端縁は、右上肢グループＲＵに含まれる複数の特徴点のうち最も右側に位置する特徴点と重なるように定められる。

続いて、処理部１２２は、枠Ｆ１と枠Ｆ２の重複度を取得する。例えば、重複度は、枠Ｆ１と枠Ｆ２のうちより小さい方の面積に対する枠Ｆ１と枠Ｆ２が重なっている部分の面積の比率として算出されうる。処理部１２２は、当該重複度が閾値よりも大きい場合、処理部１２２は、隠れ身体部位を推定するための処理を実行する。

人物の胴体の正面が撮像装置１１に対して斜め方向あるいは側方を向いている場合、隠れ身体部位が生じやすくなる。このとき、当該人物の胴体が撮像装置１１に対して正面を向いている場合よりも、左肢に含まれる特徴点と右肢に含まれる特徴点の間の距離が短くなることが一般的である。左肢に含まれる特徴点と右肢に含まれる特徴点が近づくにつれて、枠Ｆ１と枠Ｆ２は重なる傾向を持つ。したがって、枠Ｆ１と枠Ｆ２の重複率が閾値よりも大きい場合、枠Ｆ１に対応する左上肢グループＬＵと枠Ｆ２に対応する右上肢グループＲＵの一方が隠れ身体部位に対応している蓋然性が高い。

枠Ｆ１と枠Ｆ２の重複率が閾値よりも大きい場合、処理部１２２は、先に推定された顔の向きを参照し、左上肢グループＬＵと右上肢グループＲＵのいずれが隠れ身体部位に対応しているのかを推定する。

具体的には、図１５に例示されるように顔が左方を向いていると推定された場合、処理部１２２は、右上肢グループＲＵが隠れ身体部位に対応していると推定する。結果として、図１４に例示されるように、右上肢グループＲＵに含まれる右肩特徴点ＲＵ１、右肘特徴点ＲＵ２、および右手首特徴点ＲＵ３が隠れ身体部位に含まれていると推定され、これらの特徴点が隠れ骨格線により接続される。顔が右方を向いていると推定された場合、処理部１２２は、左上肢グループＬＵが隠れ身体部位に対応していると推定する。

人物の顔の向きは、当該人物の胴体の正面が向く方向との関連性が高い。したがって、上記のような処理によれば、被写体３０としての人物の姿勢によって生じうる隠れ身体部位の推定精度を高めることができる。このとき、各特徴点に付与された尤度の参照は必須でない。

隠れ身体部位の推定に係る上記の処理は、必ずしも枠Ｆ１と枠Ｆ２の重複度に基づくことを要しない。例えば、枠Ｆ１における代表点と枠Ｆ２における代表点の間の距離が閾値よりも小さい場合に、顔の向きを参照して隠れ身体部位が推定されてもよい。例えば、枠Ｆ１のＸ方向に沿う中点と枠Ｆ２のＸ方向に沿う中点が、代表点として採用されうる。枠Ｆ１における代表点と枠Ｆ２における代表点の間の距離は、第一特徴点と第二特徴点の間の距離の一例となりうる。

図１５を参照したこれまでの説明は、左下肢グループＬＬに属する左腰特徴点ＬＬ１、左膝特徴点ＬＬ２、および左足首特徴点ＬＬ３、および右下肢グループＲＬに属する右腰特徴点ＲＬ１、右膝特徴点ＲＬ２、および右足首特徴点ＲＬ３にも同様に適用されうる。

すなわち、処理部１２２は、左下肢グループＬＬに対応する枠Ｆ３と右下肢グループＲＬに対応する枠Ｆ４を生成する。枠Ｆ３は、左腰特徴点ＬＬ１、左膝特徴点ＬＬ２、および左足首特徴点ＬＬ３を含むように生成される。枠Ｆ３は、第一領域の一例である。枠Ｆ４は、右腰特徴点ＲＬ１、右膝特徴点ＲＬ２、および右足首特徴点ＲＬ３を含むように生成される。枠Ｆ４は、第二領域の一例である。

例えば、枠Ｆ３の上端縁は、左下肢グループＬＬに含まれる複数の特徴点のうち最も上側に位置する特徴点と重なるように定められる。枠Ｆ３の下端縁は、左下肢グループＬＬに含まれる複数の特徴点のうち最も下側に位置する特徴点と重なるように定められる。枠Ｆ３の左端縁は、左下肢グループＬＬに含まれる複数の特徴点のうち最も左側に位置する特徴点と重なるように定められる。枠Ｆ３の右端縁は、左下肢グループＬＬに含まれる複数の特徴点のうち最も右側に位置する特徴点と重なるように定められる。

同様に、枠Ｆ４の上端縁は、右下肢グループＲＬに含まれる複数の特徴点のうち最も上側に位置する特徴点と重なるように定められる。枠Ｆ４の下端縁は、右下肢グループＲＬに含まれる複数の特徴点のうち最も下側に位置する特徴点と重なるように定められる。枠Ｆ４の左端縁は、右下肢グループＲＬに含まれる複数の特徴点のうち最も左側に位置する特徴点と重なるように定められる。枠Ｆ４の右端縁は、右下肢グループＲＬに含まれる複数の特徴点のうち最も右側に位置する特徴点と重なるように定められる。

続いて、処理部１２２は、枠Ｆ３と枠Ｆ４の重複度を取得する。例えば、重複度は、枠Ｆ３と枠Ｆ４のうちより小さい方の面積に対する枠Ｆ３と枠Ｆ４が重なっている部分の面積の比率として算出されうる。処理部１２２は、当該重複度が閾値よりも大きい場合、処理部１２２は、隠れ身体部位を推定するための処理を実行する。

枠Ｆ３と枠Ｆ４の重複率が閾値よりも大きい場合、処理部１２２は、先に推定された顔の向きを参照し、左下肢グループＬＬと右下肢グループＲＬのいずれが隠れ身体部位に対応しているのかを推定する。

具体的には、顔が左方を向いていると推定された場合、処理部１２２は、右下肢グループＲＬが隠れ身体部位に対応していると推定する。顔が右方を向いていると推定された場合、処理部１２２は、左下肢グループＬＬが隠れ身体部位に対応していると推定する。

隠れ身体部位の推定に係る上記の処理は、必ずしも枠Ｆ３と枠Ｆ４の重複度に基づくことを要しない。例えば、枠Ｆ３における代表点と枠Ｆ４における代表点の間の距離が閾値よりも小さい場合に、顔の向きを参照して隠れ身体部位が推定されてもよい。例えば、枠Ｆ３のＸ方向に沿う中点と枠Ｆ４のＸ方向に沿う中点が、代表点として採用されうる。枠Ｆ３における代表点と枠Ｆ４における代表点の間の距離は、第一特徴点と第二特徴点の間の距離の一例となりうる。

処理部１２２は、図１３を参照して説明した処理と図１５を参照して説明した処理の双方を実行し、両処理によって得られた推定結果同士を比較してもよい。両結果が相違する場合、処理部１２２は、顔の向きに基づく処理による推定結果を採用する。

例えば、図１２に示される例においては、右腰特徴点ＲＬ１が検出されていない。この場合、図１３に例示される処理においては、左腰特徴点ＬＬ１と右腰特徴点ＲＬ１の間の距離が閾値を下回り、より低い尤度が付与されている右腰特徴点ＲＬ１が隠れ身体部位に対応すると推定されうる。

他方、図１５に例示される処理においては、左下肢グループＬＬに対応する枠Ｆ３と右下肢グループＲＬに対応する枠Ｆ４は、重複度が低い。したがって、右下肢グループＲＬに含まれる右腰特徴点ＲＬ１、右膝特徴点ＲＬ２、および右足首特徴点ＲＬ３は、非隠れ身体部位と推定され、図１４に例示されるように、非隠れ骨格線により接続される。この場合、右腰特徴点ＲＬ１は、非隠れ身体部位に対応すると推定される。

このように顔方向に基づく処理で得られた推定結果と顔方向に基づかない処理で得られた推定結果が相違する場合、前者が採用される。したがって、本例の場合、右腰特徴点ＲＬ１は、隠れ身体部位であると推定される。

このような構成によれば、人物の胴体の向きとの関連性が比較的高い顔の向きに基づいた推定結果が優先されるので、隠れ身体部位の推定精度を高めることができる。

図１１を参照して説明した身体のねじれ方向を推定する処理は、隠れ身体部位の推定に使用されうる。図１６に例示されるように、顔の正面方向と胴体の正面方向が比較的大きくなるように身体がねじれている場合、隠れ身体部位が生じる可能性がある。

図１１を参照して説明した処理に基づけば、図１６に示される例においては、顔が上半身に対して左方にねじれていると推定される。この場合、処理部１２２は、ねじれ方向と逆方向の上肢が隠れ身体部位に対応すると推定する。本例においては、被写体３０としての人物の右上肢が、隠れ身体部位に対応すると推定されている。

図１６に例示される姿勢を被写体３０としての人物がとっている場合、図１３を参照して説明した処理や図１５を参照して説明した処理では、隠れ身体部位を正しく推定できない場合がある。胴体の正面の向きが撮像装置１１に対する正面に比較的近く、左上肢に含まれる特徴点と右上肢に含まれる特徴点の距離が比較的大きくなるからである。上記のような処理によれば、身体のねじれによって生じうる隠れ身体部位も推定の対象に加えることができる。

図１７に例示される姿勢を被写体３０としての人物がとっている場合、すなわち人物が撮像装置１１に対して背中を向けている場合、上肢の一部が胴体に遮られて隠れ身体部位が生じる可能性がある。この場合においても左上肢に含まれる特徴点と右上肢に含まれる特徴点の距離が比較的大きくなり、かつ身体がねじれていないので、図１３から図１６を参照して説明したいずれの処理においても、隠れ身体部位を正しく推定できない場合がある。

画像処理装置１２の処理部１２２は、被写体３０としての人物の顔が撮像装置１１に対して後方を向いていると推定される場合、図３を参照して説明した骨格モデルＭにおける中心領域ＣＡ内に左肘特徴点ＬＵ２と左手首特徴点ＬＵ３の少なくとも一方が位置しているかを判断する。同様に、処理部１２２は、中心領域ＣＡ内に右肘特徴点ＲＵ２と右手首特徴点ＲＵ３の少なくとも一方が位置しているかを判断する。処理部１２２は、中心領域ＣＡ内に位置していると判断された特徴点を、隠れ身体部位に含まれていると推定する。

図１７に示される例においては、左手首特徴点ＬＵ３が、中心領域ＣＡ内に位置している。したがって、左手首特徴点ＬＵ３が隠れ身体部位に対応すると推定される。前述の接続規則に基づき、左手首特徴点ＬＵ３と左肘特徴点ＬＵ２を接続する骨格線は、隠れ骨格線とされる。これにより、被写体３０としての人物の左下腕部が、隠れ身体部位であると推定される。

このような処理によれば、撮像装置１１に対して背を向けている人物の胴体に遮られた隠れ身体部位の推定精度を高めることができる。

図１３を参照して説明したように、各特徴点に付与された尤度を参照して隠れ身体部位の推定が行なわれる結果として、図１８に例示されるように、左上肢グループＬＵと右上肢グループＲＵの双方について、隠れ身体部位の存在が推定される場合がある。前記した骨格線の接続規則に基づけば、比較的近い位置にある左上肢と右上肢の双方に隠れ身体部位の存在が推定されることになる。このような姿勢の現実性は低い。

画像処理装置１２の処理部１２２は、左上肢グループＬＵに含まれる複数の特徴点のうちの少なくとも一つが隠れ身体部位に含まれていると推定されており、かつ右上肢グループＲＵに含まれる複数の特徴点のうちの少なくとも一つが隠れ身体部位に含まれていると推定されている場合、両グループの一方に含まれる複数の特徴点の全てを隠れ身体部位に含まれる特徴点として扱い、他方に含まれる複数の特徴点の全てを非隠れ身体部位に含まれる特徴点として扱う。左上肢グループＬＵに含まれる複数の特徴点は、複数の第一特徴点の一例である。右上肢グループＲＵに含まれる複数の特徴点は、複数の第二特徴点の一例である。

図１８に例示される例においては、左上肢グループＬＵに含まれる全ての特徴点が、非隠れ身体部位に含まれる特徴点として扱われている。結果として、左上肢グループＬＵに含まれる全ての特徴点が、非隠れ骨格線により接続されている。他方、右上肢グループＲＵに含まれる全ての特徴点が、隠れ身体部位に含まれる特徴点として扱われている。結果として、右上肢グループＲＵに含まれる全ての特徴点が、隠れ骨格線により接続されている。

特徴点に対する隠れ身体部位に係る推定結果の上記のような切り替えは、例えば、各特徴点に付与された尤度の代表値を取得することによってなされうる。代表値の例としては、平均値、中間値、最頻値、合計値などが挙げられる。処理部１２２は、左上肢グループＬＵに含まれる複数の特徴点に付与された複数の尤度の代表値と右上肢グループＲＵに含まれる複数の特徴点に付与された複数の尤度の代表値とを比較する。処理部１２２は、より小さい代表値に対応付けられたグループに含まれる複数の特徴点の全てを、隠れ身体部位に含まれる特徴点として扱う。処理部１２２は、より大きい代表値に対応付けられたグループに含まれる複数の特徴点の全てを、非隠れ身体部位に含まれる特徴点として扱う。

図１８に示される例においては、左上肢グループＬＵと右上肢グループＲＵの各々について複数の尤度の平均値が取得されている。左上肢グループＬＵにおける複数の尤度の平均値は、第一代表値の一例である。右上肢グループＲＵにおける複数の尤度の平均値は、第二代表値の一例である。左上肢グループＬＵにおける複数の尤度の平均値が右上肢グループＲＵにおける複数の尤度の平均値よりも大きい。したがって、左上肢グループＬＵに含まれる全ての特徴点が、非隠れ身体部位に含まれる特徴点として扱われており、右上肢グループＲＵに含まれる全ての特徴点が、隠れ身体部位に含まれる特徴点として扱われている。

あるいは、特徴点に対する隠れ身体部位に係る推定結果の上記のような切り替えは、各グループにおいて隠れ身体部位に含まれていると推定された特徴点の数を計数することによってなされうる。処理部１２２は、左上肢グループＬＵに含まれる複数の特徴点のうち隠れ身体部位に含まれていると推定された特徴点の数と、右上肢グループＲＵに含まれる複数の特徴点のうち隠れ身体部位に含まれていると推定された特徴点の数とを比較する。左上肢グループＬＵに含まれる複数の特徴点のうち隠れ身体部位に含まれていると推定された特徴点の数は、第一の値の一例である。右上肢グループＲＵに含まれる複数の特徴点のうち隠れ身体部位に含まれていると推定された特徴点の数は、第二の値の一例である。

処理部１２２は、隠れ身体部位に含まれていると推定された特徴点の数がより多いグループに含まれる複数の特徴点の全てを、隠れ身体部位に含まれる特徴点として扱う。処理部１２２は、隠れ身体部位に含まれていると推定された特徴点の数がより少ないグループに含まれる複数の特徴点の全てを、非隠れ身体部位に含まれる特徴点として扱う。

図１８に示される例においては、左上肢グループＬＵにおいて隠れ身体部位に含まれていると推定された特徴点の数が、右上肢グループＲＵにおいて隠れ身体部位に含まれていると推定された特徴点の数よりも少ない。したがって、左上肢グループＬＵに含まれる全ての特徴点が、非隠れ身体部位に含まれる特徴点として扱われており、右上肢グループＲＵに含まれる全ての特徴点が、隠れ身体部位に含まれる特徴点として扱われている。

上記のような処理によれば、隠れ身体部位に係る不自然な推定結果を是正することができる。したがって、撮像装置１１により取得された画像Ｉに写り込んだ被写体３０の判別精度を高めることができる。

これら二つの処理は組み合わせて実行されてもよい。例えば、隠れ身体部位に含まれていると推定された特徴点の数に基づく処理が先に行なわれ、両グループの計数結果が同じである場合に、尤度の代表値に基づく処理が行なわれてもよい。相対的に負荷の低い処理と相対的に精度の高い処理が組み合わされることにより、隠れ身体部位に係る推定を効率よく遂行できる。

特徴点に対する隠れ身体部位に係る推定結果の上記のような切り替えは、被写体３０としての人物の顔の向きに基づいて行なわれてもよい。例えば、撮像装置１１により取得された画像Ｉ内に写り込んだ人物の顔が左方を向いている場合、当該人物の右上肢に含まれる複数の特徴点の全てが隠れ身体部位に含まれる特徴点として扱われうる。

図１８を参照して説明したこれまでの説明は、左下肢グループＬＬに含まれる複数の特徴点と右下肢グループＲＬに含まれる複数の特徴点にも同様に適用されうる。この場合、左下肢グループＬＬに含まれる複数の特徴点は、複数の第一特徴点の一例である。右下肢グループＲＬに含まれる複数の特徴点は、複数の第二特徴点の一例である。左下肢グループＬＬにおける複数の尤度について得られる代表値は、第一代表値の一例である。右下肢グループＲＬにおける複数の尤度について得られる代表値は、第二代表値の一例である。左下肢グループＬＬに含まれる複数の特徴点のうち隠れ身体部位に含まれていると推定された特徴点の数は、第一の値の一例である。右下肢グループＲＬに含まれる複数の特徴点のうち隠れ身体部位に含まれていると推定された特徴点の数は、第二の値の一例である。

上記のような機能を有する処理部１２２は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵ、ＭＰＵ、ＧＰＵが例示されうる。汎用メモリとしては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、上述した処理を実行するコンピュータプログラムが記憶されうる。ＲＯＭは、コンピュータプログラムを記憶している記憶媒体の一例である。汎用マイクロプロセッサは、ＲＯＭ上に記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。上記のコンピュータプログラムは、汎用メモリにプリインストールされてもよいし、通信ネットワークを介して外部サーバからダウンロードされて汎用メモリにインストールされてもよい。この場合、外部サーバは、コンピュータプログラムを記憶している記憶媒体の一例である。

処理部１２２は、マイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの上記のコンピュータプログラムを実行可能な専用集積回路によって実現されてもよい。この場合、当該専用集積回路に含まれる記憶素子に上記のコンピュータプログラムがプリインストールされる。当該記憶素子は、コンピュータプログラムを記憶している記憶媒体の一例である。処理部１２２は、汎用マイクロプロセッサと専用集積回路の組合せによっても実現されうる。

上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。

画像処理システム１０は、車両２０以外の移動体にも搭載されうる。移動体の例としては、鉄道、航空機、船舶などが挙げられる。当該移動体は、運転者を必要としなくてもよい。撮像装置１１の撮像領域Ａは、移動体の内部に設定されてもよい。

画像処理システム１０は、車両２０などの移動体に搭載されることを要しない。画像処理システム１０は、住宅や施設における監視装置、施錠装置、空調装置、照明装置、映像音響設備などの動作を制御するために使用されうる。

１０：画像処理システム、１１：撮像装置、１２：画像処理装置、１２１：受付部、１２２：処理部、２０：車両、３０：被写体、Ｃ：中心特徴点、ＣＡ：中心領域、ＤＩ：画像データ、Ｉ：画像、Ｍ：骨格モデル、ＬＵ：左上肢グループ、ＬＵ１：左肩特徴点、ＬＵ２：左肘特徴点、ＬＵ３：左手首特徴点、ＬＬ：左下肢グループ、ＬＬ１：左腰特徴点、ＬＬ２：左膝特徴点、ＬＬ３：左足首特徴点、ＲＵ：右上肢グループ、ＲＵ１：右肩特徴点、ＲＵ２：右肘特徴点、ＲＵ３：右手首特徴点、ＲＬ：右下肢グループ、ＲＬ１：右腰特徴点、ＲＬ２：右膝特徴点、ＲＬ３：右足首特徴点

Claims (10)

1. 人物が写り込んだ画像に対応する画像データを受け付ける受付部と、
   前記画像データに基づいて、前記画像に写り込んでいる前記人物の身体のねじれを推定する処理部と、
   を備えており、
   前記処理部は、
   前記画像データに基づいて、前記人物の左上肢に含まれる特徴的部分に対応する第一特徴点、当該人物の右上肢に含まれる特徴的部分に対応する第二特徴点、および当該人物の顔に含まれる特徴的部分に対応する第三特徴点を検出し、
   前記第一特徴点と前記第三特徴点の間の距離に対応する第一の値を取得し、
   前記第二特徴点と前記第三特徴点の間の距離に対応する第二の値を取得し、
   前記第一の値と前記第二の値の比率に基づいて、前記人物の身体のねじれの有無を推定し、
   前記第一特徴点と前記第二特徴点は、被写体としての前記人物が撮像装置に対して正面を向いたときの前記第三特徴点に対して左右対称に位置している、
   画像処理装置。
2. 前記第一特徴点は、前記人物の左肩に対応する特徴点であり、
   前記第二特徴点は、前記人物の右肩に対応する特徴点である、
   請求項１に記載の画像処理装置。
3. 前記処理部は、１に対する前記比率の大小に基づいて、前記人物の身体のねじれ方向を推定する、
   請求項１または２に記載の画像処理装置。
4. 人物が写り込んだ画像に対応する画像データを受け付ける受付部と、
   前記画像データに基づいて、前記画像に写り込んでいる前記人物の身体のねじれを推定する処理部と、
   を備えており、
   前記処理部は、
   前記画像データに基づいて、前記人物の左下肢に含まれる特徴的部分に対応する第一特徴点、および当該人物の右下肢に含まれる特徴的部分に対応する第二特徴点を検出し、
   前記画像データに基づいて、前記人物の肩幅に対応する第一の値を取得し、
   前記第一特徴点と前記第二特徴点の間の距離に対応する第二の値を取得し、
   前記第一の値と前記第二の値の比率に基づいて、前記人物の身体のねじれの有無を推定し、
   前記第一特徴点と前記第二特徴点は、被写体としての前記人物が撮像装置に対して正面を向いたときの身体の中心軸に対して左右対称に位置している、
   画像処理装置。
5. 前記第一特徴点は、前記人物の腰の左部に対応する特徴点であり、
   前記第二特徴点は、前記人物の腰の右部に対応する特徴点である、
   請求項４に記載の画像処理装置。
6. 画像処理装置の処理部により実行されるコンピュータプログラムであって、
   実行されることにより、前記画像処理装置に、
   人物が写り込んだ画像に対応する画像データを受け付けさせ、
   前記画像データに基づいて、前記人物の左上肢に含まれる特徴的部分に対応する第一特徴点、当該人物の右上肢に含まれる特徴的部分に対応する第二特徴点、および当該人物の顔に含まれる特徴的部分に対応する第三特徴点を検出させ、
   前記第一特徴点と前記第三特徴点の間の距離に対応する第一の値を取得させ、
   前記第二特徴点と前記第三特徴点の間の距離に対応する第二の値を取得させ、
   前記第一の値と前記第二の値の比率に基づいて、前記人物の身体のねじれの有無を推定させ、
   前記第一特徴点と前記第二特徴点は、被写体としての前記人物が撮像装置に対して正面を向いたときの前記第三特徴点に対して左右対称に位置している、
   コンピュータプログラム。
7. 前記第一特徴点は、前記人物の左肩に対応する特徴点であり、
   前記第二特徴点は、前記人物の右肩に対応する特徴点である、
   請求項６に記載のコンピュータプログラム。
8. 実行されることにより、前記画像処理装置に、
   １に対する前記比率の大小に基づいて、前記人物の身体のねじれ方向を推定させる、請求項６または７に記載のコンピュータプログラム。
9. 画像処理装置の処理部により実行されるコンピュータプログラムであって、
   実行されることにより、前記画像処理装置に、
   人物が写り込んだ画像に対応する画像データを受け付けさせ、
   前記画像データに基づいて、前記人物の左下肢に含まれる特徴的部分に対応する第一特徴点、及び当該人物の右下肢に含まれる特徴的部分に対応する第二特徴点を検出させ、
   前記画像データに基づいて、前記人物の肩幅に対応する第一の値を取得させ、
   前記第一特徴点と前記第二特徴点の間の距離に対応する第二の値を取得させ、
   前記第一の値と前記第二の値の比率に基づいて、前記人物の身体のねじれの有無を推定させ、
   前記第一特徴点と前記第二特徴点は、被写体としての前記人物が撮像装置に対して正面を向いたときの身体の中心軸に対して左右対称に位置している、
   コンピュータプログラム。
10. 前記第一特徴点は、前記人物の腰の左部に対応する特徴点であり、
    前記第二特徴点は、前記人物の腰の右部に対応する特徴点である、
    請求項９に記載のコンピュータプログラム。

Images