JP7655368B2 - 人物の身体部分位置推定方法、装置及びシステム - Google Patents

Description

本発明は、人物の身体部分位置を推定するための方法及び装置に広く関するが、これに限定されるものではない。

姿勢は様々な体節が互いに相対的に配置することに関係する。良い姿勢とは、体節に加わるストレスが最小限になるように体の配置がバランスよく保たれていることを意味し、悪い姿勢とは、体の配置がバランスを崩していることを意味し、様々な体節に異常なストレスを引き起こし、異常な解剖学的適応、パフォーマンスの変化、効率の低下につながる可能性がある。

姿勢分析は、運動系（骨、筋肉、靭帯）の機能及び神経系による運動系の制御の評価である。骨と筋肉の評価だけでなく、脊髄の配置も対象とする。姿勢分析では、人物の前面図、後面図、側面図から人物の正しい立位配置を調べることができる。

姿勢分析では、経験豊富で熟練した理学療法士は、患者の姿勢をより正確かつ自信を持って評価することができるが、若手の理学療法士は患者の姿勢を正確かつ自信を持って評価するのに苦労するかもしれない。現在まで、画像上の目印を識別すること、特定の身体位置に反射マーカを置くこと、患者の足の下に圧力マットを利用することによる手動評価のような姿勢の評価にはいくつかの制限がある。

さらに、身体、顔及び脊髄の目印（例えば、解剖学的ポイント）は、全体的な姿勢偏差を評価するために重要である。特に、脊髄の目印は、臨床医によって手動で提供される。

ここに開示されるのは、上記の問題の１つまたは複数に対処する人物の身体部分位置を推定するための方法及び装置の実施形態である。

さらに、他の望ましい特徴及び特性は、添付の図面及びこの開示の背景と併せて取られる、その後の詳細な説明及び添付の特許請求の範囲から明らかになるであろう。

第１の態様において、本開示は、プロセッサによって、人物が検出された画像から、人物の複数の身体部分位置を検出し、複数の身体部分位置のそれぞれは、人物の身体部分に対応し、プロセッサによって、検出された複数の身体部分位置に基づいて、人物の身体部分位置を推定する人物の身体部分位置を推定する方法を提供する。

第２の態様において、本開示は、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を含み、少なくとも１つのメモリ及びコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、装置に、少なくとも、人物が検出された画像から人物の複数の身体部分位置を検出し、複数の身体部分位置のそれぞれは人物の身体部分に対応し、検出された複数の身体部分位置の１つまたは複数に基づいて人物の身体部分位置を推定する、ことを実行させるように構成された人物の身体部分位置を推定するための装置を提供する。

第３の態様において、本開示は、第２の態様の装置と、人物の１つまたは複数の画像をキャプチャするように構成された１つまたは複数の画像キャプチャ装置と、を含み、１つまたは複数の画像は、正面から見た人物の画像及び／または矢状面を横切る人物の画像を含む人物の身体部分位置を推定するためのシステムを提供する。

開示された実施形態の付加的な利益及び利点は、明細書及び図面から明らかになるであろう。利益及び／または利点は、明細書及び図面の様々な実施形態及び特徴によって個別に得ることができ、それらの利益及び／または利点の１つまたは複数を得るためにそれらのすべてを提供する必要はない。

添付の図は、同様の符号が別々の図全体にわたって同一または機能的に類似の要素を参照しており、以下の詳細な説明とともに明細書に組み込まれ、明細書の一部を構成しており、様々な実施形態を例示し、本実施形態に従った様々な原理及び利点を非限定的な例のみによって説明するのに役立つ。

本発明の実施形態は、図面とともに例のみによって、以下の書面による説明から、よりよく理解され、当業者にとって容易に明らかになるであろう。

本開示の様々な実施形態による人物の身体部分位置を推定する方法を示すフローチャートを示す。

本開示の実施形態による人物の身体部分位置を推定する装置のブロック図を示す。

本開示の実施形態による目印検出システムのフローチャートを示す。

本開示の実施形態による目印検出の例示的な図を示す。

本開示の実施形態による目印検出の別の例示的な図を示す。

本開示の実施形態による正面図からの頚切痕（ＪＮ）の検出のための図を示す。

本開示の実施形態による側面図からの頚切痕（ＪＮ）の検出のための図を示す。

本開示の実施形態による頚切痕（ＪＮ）の検出のための例示的な正面図を示す。

本開示の実施形態による頚切痕（ＪＮ）の検出のための例示的な側面図を示す。

本開示の実施形態による検出された頚切痕（ＪＮ）に基づく中心線（ＣＲ）位置の識別のための正面図を示す。

本開示の実施形態による中心線（ＣＲ）位置、胸部及び胸部中央（例えば、Ｔ７）の検出のための右側面図を示す。 本開示の実施形態による中心線（ＣＲ）位置、胸部及び胸部中央（例えば、Ｔ７）の検出のための左側面図を示す。

本開示の実施形態による脊髄の頚椎（Ｃ７）、胸椎（Ｔ２，Ｔ７，Ｔ１０）、腰椎（Ｌ１及びＬ４）及び仙椎（Ｓ２）の位置の推定のための右側面図を示す。

本開示の実施形態による脊髄の頚椎（Ｃ７）、胸椎（Ｔ２，Ｔ７，Ｔ１０）、腰椎（Ｌ１及びＬ４）及び仙椎（Ｓ２）の位置の推定のための左側面図を示す。

本開示の実施形態による検出された全身目印を伴う前面／正面図を示す。

本開示の実施形態による検出された全身目印を伴う左側面図を示す。 本開示の実施形態による検出された全身目印を伴う右側面図を示す。

図１の方法を実行するために使用するのに適した例示的なコンピュータ装置の概略図を示す。

身体部分位置は、身体部分が配置されている位置に関連する。身体部分位置の検出は、人物の体の前面図、正面図（例えば、正面から見た人物の画像）、及び／または側面図（例えば、右及び／または左側面図のような矢状面を横切る人物の画像）の画像を利用することができる。画像に基づいて、各身体部分位置を識別し、それぞれの目印（例えば、解剖学的ポイント）によって示すことができる。さらに、検出された身体部分位置に基づいて、頚切痕の位置、人物の中心線の位置、人物の中胸部の位置、または人物の脊髄に沿った椎骨の位置のような特定の身体部分位置を推定することができる。身体部分位置の検出と推定に基づいて、人物の姿勢状態を決定することができる。人物の姿勢状態は、人物の身体部分（例、肩、顎、腰、頭、耳、眉、足首、及び他の同様の身体部分）が身体部分の標準位置（例えば、基準位置）からどのように逸脱しているかに関連している。これは、基準位置からのシフト（例えば、左または右シフト）、傾き（例えば、上向きまたは下向きの傾き）、または回転に関連することがある。任意のシフト、傾き、または回転は、接続している線の比較及び／または体の部分の位置の間で測定された距離、及び線の比較から派生した角度の検出と計算に基づいて検出することができる。例えば、人物の直立中心軸の周りの人物の１つまたは複数の身体部分の回転は、基準線に対して２つの身体部分位置を接続している線の角度の検出に基づいて決定することができる。基準線は、人物の別の２つの身体部分位置を接続している別の線であってもよい。姿勢状態を決定する身体部分に応じて、異なる目印、線及び／または角度を利用することができる。

本発明の実施の形態について、図面を参照して、例によってのみ説明する。図面中の類似符号及び文字は、類似要素または同等物を指す。

以下の説明のいくつかの部分は、アルゴリズム及びコンピュータメモリ内のデータに対する操作の機能的または記号的表現に関して明示的または暗黙的に提示される。これらのアルゴリズムの説明及び機能的または記号的表現は、データ処理技術に熟練した者が、自身の作業の内容を最も効果的に他の技術に熟練した者に伝えるために使用する手段である。アルゴリズムは、ここでは、一般的に、所望の結果につながる自己整合的な手順のシーケンスであると考えられている。手順は、記憶、転送、結合、比較、及びその他の操作が可能な電気信号、磁気信号または光信号などの物理量の物理的操作を必要とするものである。

特に明記されていない限り、また、以下から明らかなように、本明細書全体を通じて、「検出」、「推定」、「比較」、「受信」、「計算」、「決定」、「更新」、「生成」、「初期化」、「出力」、「受信」、「検索」、「識別」、「分散」、「認証」等の用語を用いた議論は、コンピュータシステム内で物理量として表されるデータを、コンピュータシステム内で同様に物理量として表される他のデータに操作し、変換するコンピュータシステムまたは類似の電子機器または他の情報記憶装置、送信装置または表示装置の動作及び処理を指すことが理解される。

本明細書には、これらの方法の動作を実行するための装置も開示されている。このような装置は、必要な目的のために特別に構築されてもよく、また、コンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成されるコンピュータまたは他の装置を含んでもよい。ここに提示されるアルゴリズム及びディスプレイは、いかなる特定のコンピュータまたは他の装置にも本質的に関連しない。種々の機械は、本明細書の教示に従ってプログラムと共に使用することができる。あるいは、要求された方法ステップを実行するためのより専門的な装置の構築が適切であり得る。コンピュータの構造は、以下の説明から現れる。

さらに、本明細書は、本明細書に記載された方法の個々のステップがコンピュータコードによって実施され得ることが当業者に明白であるという点で、コンピュータプログラムも暗黙的に開示している。コンピュータプログラムは、特定のプログラミング言語及びその実装に限定されることを意図していない。本明細書に含まれる開示の教示を実装するために、様々なプログラミング言語及びそのコーディングを使用することができることが理解されるであろう。さらに、コンピュータプログラムは、特定の制御フローに限定されることを意図していない。本発明の精神または範囲から逸脱することなく、異なる制御フローを使用することができるコンピュータプログラムの他の多くの変形がある。

さらに、コンピュータプログラムの１つまたは複数のステップは、連続的ではなく並列的に実行することができる。このようなコンピュータプログラムは、任意のコンピュータ可読媒体に格納することができる。コンピュータ可読媒体は、磁気ディスクまたは光ディスク、メモリチップ、またはコンピュータとのインタフェースに適した他の記憶装置などの記憶装置を含み得る。コンピュータ可読媒体はまた、インターネットシステムに例示されるような有線媒体、またはＧＳＭ移動電話システムに例示されるような無線媒体を含み得る。そのようなコンピュータにロードされ実行されるときのコンピュータプログラムは、好ましい方法のステップを実装する装置を効果的にもたらす。

（例示的な実施形態）
本開示の様々な実施形態は、人物の身体部分位置を推定するための方法及び装置に関する。

解剖学的目印の検出、特に人物の身体画像に基づいて人物の頚切痕、中心線、中胸部及び脊髄椎骨のような身体部分の位置を検出するためには、まだ不足している。これらの身体部分の位置は、例えば人物の脊髄に沿って触診したり、Ｘ線画像を介して位置を識別したりするなど、典型的には臨床医によって手動で識別される。したがって、立位姿勢を評価するためのシステムは、上記の問題を解決しようとする解剖学的目印検出システム及び姿勢分析システムを含むことができる。システムの例を図２に示す。目印検出システムは、人物の身体画像に基づいて、人物の頚切痕、中心線、中胸部、脊髄椎骨などの身体部分の位置を推定できるという利点がある。

図１は、本開示の様々な実施形態による人物の身体部分位置を推定する方法を示すフローチャート１００を示す。ステップ１０２では、人物が検出された画像から、人物の複数の身体部分位置がプロセッサによって検出され、複数の身体部分位置のそれぞれが人物の身体部分に対応する。ステップ１０４では、検出された複数の身体部分位置に基づいて、人物の身体部分位置がプロセッサによって推定される。

実施形態において、身体部分位置の推定は、人物の脊髄に沿った椎骨の位置または人物の頚切痕の位置の推定を含むことができる。

実施形態において、方法は、人物が検出された画像が正面から見た人物の画像を含むかどうかを決定することを含み、ここで、人物の身体部分位置の推定は、決定の結果に応答して実行される。推定される身体部分位置は、人物の頚切痕の位置であってもよく、身体部分位置の推定は、検出された複数の身体部分位置に基づいて、人物の顎、左肩及び右肩のそれぞれの位置を決定すること、左肩及び右肩の位置の間の中間位置を識別すること、顎の位置から中間位置までの距離を計算すること、及び顎の位置と計算された距離に基づいて頚切痕の位置を推定することを含み得る。

実施形態において、本方法は、人物が検出される画像が矢状面を横切る人物の画像を含むか否かを判定し、この判定の結果に応答して人物の身体部分位置の推定が実行されることをさらに含むことができる。身体部分位置は、人物の頚切痕の位置であってもよく、身体部分位置の推定は、検出された複数の身体部分位置に基づいて、人物の顎及び肩のそれぞれの位置を決定し、顎の位置から始まり、肩の位置を通る水平線で終わる垂直線に沿った中点位置を識別し、肩の位置から中点位置までの距離を計算する；肩の位置から中点位置までの線と、肩の位置を通る水平線との間の角度を計算し、計算された距離と計算された角度に基づく頚切痕の位置を含むことができる。この方法は、頚切痕の推定位置と、脊髄に沿った各椎骨間の相対距離に基づいて、人物の脊髄に沿った椎骨の位置を推定することをさらに含み得る。

図２は、本開示の実施形態による人物の身体部分位置を推定する装置２００のブロック図を示す。実施形態において、装置２００は、一般に、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを含む物理装置として記述することができる。少なくとも１つのメモリとコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、物理装置に図１に記述された動作を実行させるように構成される。

実装において、装置２００は、ソース２０２から入力動画または画像（例えば、人物の体の前面図、正面図及び／または側面図の動画フレームまたは画像、または他の同様の画像）を受信することができる。例えば、入力画像または動画は、新たに撮影された画像または動画であってもよいし、既存の画像または動画データベースからのものであってもよいし、カメラによって撮影されたものであってもよいし、スマートフォン、カメラ、または他の同様のデバイスのようなデバイスに格納されたものであってもよい。一例では、入力動画は、各動画画像フレームが装置２００によって分析されるように、複数の静止動画画像フレームに分解されてもよい。装置２００は、入力動画または画像から二次元及び／または三次元の身体目印位置のセットを決定するように構成された目印検出システム２０４と、入力としての二次元及び／または三次元の身体目印位置のセット及び他の人口統計学的データに基づいて身体配置の偏差及び／または姿勢異常スコア（例、非対称スコア）のレベルを決定するように構成されたポーズ分析装置２０６とを含むことができる。一例では、目印検出システム２０４は、目印位置を決定するために、画像が人物の身体の前方図、後方図または側面図であるかを決定するように構成されてもよく、また、人物の複数の身体部分位置に対応する検出された目印に基づいて、人物の頚切痕、中心線、中胸部、及び脊髄椎骨のような更なる身体部分の位置を推定するように構成されてもよい。目印検出システム２０４は、図３～１６でさらに説明される。

装置２００は、ソース２０２及び／または目印検出システム２０４及びポーズ分析装置２０６の入力及び出力から受信した動画及び／または画像をユーザインタフェース２１０に表示するように構成され得る。装置２００のユーザはまた、入力／出力インタフェースディスプレイ２１２を介してデータ入力によりユーザインタフェース２１０と相互作用することができる。目印検出システム２０４及びポーズ分析装置２０６のそれぞれは、装置２００の一部であってもよいし、スタンドアロン装置または他の装置の一部であってもよく、接続を介して装置２００と通信していることを理解すべきである。このような接続は、有線、無線（例えば、ＮＦＣ通信、Ｂｌｕｅｔｏｏｔｈなどを介して）またはネットワーク（例えば、インターネット）を介してもよい。

装置は、ソース２０２からの動画及び画像、ならびに目印検出システム２０４及びポーズ分析装置２０６の入力及び出力を記憶するために、装置２００によってアクセス可能なデータ記憶装置２０８を含むことができる。データ記憶装置が装置２００の一部であることが図２に示されているが、データ記憶装置２０８は装置２００の一部を形成することはできず、接続を介して装置２００と通信していることが理解されるべきである。このような接続は、有線、無線（例えば、ＮＦＣ通信、Ｂｌｕｅｔｏｏｔｈなどを介して）、ネットワーク（例えば、インターネット）またはクラウドサーバを介して行うことができる。別の実施形態では、目印検出システム２０４、ポーズ分析装置２０６、及びソース２０２のそれぞれは、その入力／出力データを格納するための独自のデータ記憶装置を備えることができる。

実施形態では、動画または画像（例えば、人物の体の前面図、正面図及び／または側面図の動画フレームまたは画像、または他の同様の画像）は、目印検出システム２０４によって入力として使用される前にデータ記憶装置２０８に受信され、格納されるか、またはデータ記憶装置２０８を経由せずに入力として目印検出システム２０４に直接送信される。目印検出システム２０４は、入力動画または画像から二次元及び／または三次元の身体目印位置のセットを決定することができ、ポーズ分析装置２０６は、入力としての二次元及び／または三次元の身体目印位置のセット及び他の人口統計学的データに基づいて、身体配置の偏差及び／または姿勢異常スコアのレベル（例、非対称スコア）を決定することができる。目印検出システム２０４及び／またはポーズ分析装置２０６の出力は、ユーザインタフェース２１０の入出力ユーザインタフェースディスプレイに表示することができる。

実施形態において、人物の身体部分位置を推定するシステムは、装置２００と、人物の１つまたは複数の画像をキャプチャするように構成された１つまたは複数の画像キャプチャ装置とを備えることができ、１つまたは複数の画像は、正面から見た人物の画像及び／または矢状面を横切る人物の画像を含む。

図３は、本開示の実施形態による目印検出システムのフローチャート３００を示す。ステップ３０２では、人物の身体の前面、後面及び側面の画像を取得することができる。一例では、取得した画像が、人物の身体の前面図、正面図（例えば、正面から見た人物の画像）及び／または側面図（例えば、右及び／または左側面図のような矢状面を横切る人物の画像）であるかどうかを決定することができる。入力映像を取得した一例では、映像を複数の静止映像フレームに分解し、各映像フレームが人物の身体の前面図、後面図または側面図であるかどうかを決定することができる。ステップ３０４では、映像中の各身体部分の解剖学的目印（例えば、対応する身体部分の位置を表す各目印の空間座標）を取得することができる。ステップ３０６では、顔の目印座標を取得することができる。例えば、ステップ３０４及び３０６で、複数の身体部分位置のそれぞれを検出し、それぞれの目印によって示すことができる。ステップ３０４では、肘、肩、腰、膝、足首、つま先、及び人物の他の同様の身体部分のような身体部分の位置を検出することができる。ステップ３０６では、顎、耳、及び人物の顔の他の同様の身体部分のような顔上の身体部分の位置を検出することができる。ステップ３０８では、人物の頚切痕の目印座標を得ることができる。例えば、頚切痕の位置は、人物の顎及び肩の検出された位置に基づいて推定することができる。正面図及び側面図から頚切痕の位置を得るためのプロセスは、それぞれ図６及び図７でさらに説明される。ステップ３１０では、胸部の目印座標を得ることができる。例えば、人物の頚切痕の推定位置に基づいて、人物の中心線及び中央胸部の位置を推定することができる。中心線及び中央胸部の位置を得るためのプロセスは、図１０から図１１Ｃでさらに説明される。ステップ３１２では、取得された画像が人物の身体の側面図であるかどうかを決定することができる。そうであると決定されない場合、プロセスはステップ３１４に進み、そこで得られた解剖学的目印を臨床医または医療従事者とレビューし、そしてプロセスを終了する。そうでない場合、プロセスはステップ３１６に進み、そこで脊髄目印座標が得られ、次にステップ３１４に進み、そこで得られた解剖学的目印（例えば、脊髄の目印座標を含む）を臨床医または医療従事者とレビューし、そしてプロセスを終了する。例えば、脊髄目印座標（例えば、人物の脊髄の椎骨の位置を示す各目印座標）は、人物の胸部中央の推定位置に基づいて、人物の側面図から推定することができる。脊髄の椎骨の位置を得るためのプロセスについては、図１２及び図１３でさらに説明する。

図４は、本開示の実施形態による目印検出のための例示的な図４００を示す。例えば、フローチャート３００を参照すると、ステップ３０４において、セクション４０２の各身体部分の目印座標を得ることができる。ステップ３０６において、顔セクション４０６の目印座標を得ることができる。ステップ３１０において、胸部セクション４０４の目印座標を得ることができる。ステップ３１６において、脊髄セクション４０８の脊髄目印座標（例えば、人物の体の側面図から見ることができる）を得ることができる。さらに、ステップ３０８において、頚切痕を示す目印座標４１０を得ることができる。

一例において、ＭｅｄｉａＰｉｐｅホリスティックエンジンのようなオープンソースの身体及び顔の目印検出エンジンを、例えばフローチャート３００のステップ３０４及び３０６において、必要な解剖学的目印座標を得るために利用することができる。しかしながら、オープンソースのエンジンは、通常、図５の目印図５００に示されるように、臨床医が必要とする目印の一部を提供することができない。例えば、符号５０２に示されるような頚切痕の目印は、通常、臨床医が手動で提供する。必要な解剖学的目印座標は、他の非オープンソースの独自の目印検出エンジンによっても得ることができることが理解されるであろう。

図６は、本開示の実施形態による人物（例えば、正面から見た人物の画像）の身体の正面図からの頚切痕（ＪＮ）の検出のための図６００を示す。人物の顎、左肩及び右肩のそれぞれの位置は、例えばフローチャート３００のステップ３０４及び３０６で検出される複数の身体部分の位置に基づいて決定され得る。例えば、顎の目印座標（Ｃ）はＣ：［Ｃｘ、Ｃｙ］（例えば、フローチャート３００のステップ３０６で得られる）として定義され得るし、肩の中点の目印座標（Ｓｍ）はＳｍ：［Ｓｍｘ、Ｓｍｙ］（例えば、フローチャート３００のステップ３０４で得られた人物の左右の肩に対応する目印座標に基づいて、左右の肩の位置の中間位置を識別する。）として定義され得る。更に、顎の位置から肩の中点位置までの距離を計算し、ｄＣＳｍとして定義され得る。その後、顎の位置と計算された距離に基づいて、人物の頚切痕の位置が推定され得る。例えば、頚切痕の目印座標は、ＪＮ：［ＪＮｘ、ＪＮｙ］と定義され得る。したがって、顎、肩及び中点の目印座標に基づいて、ＪＮｘはＳｍｘに相当し、ＪＮｙはＳｍｙ－２５％ｄＣＳｍに相当することが決定される。

さらに、図７の図７００に示されているように、人物の体の側面図（例えば、矢状面を横切る人物の画像）から頚切痕の位置を決定することも可能である。人物の顎及び左または右肩のそれぞれの位置（画像が示す人物の側面に応じて）は、例えばフローチャート３００のステップ３０４及び３０６で検出される複数の身体の部分の位置に基づいて決定することができる。肩の目印座標（Ｓ）は、Ｓ：［Ｓｘ，Ｓｙ］（例えば、フローチャート３００のステップ３０４で得られた人物の左肩または右肩に対応する目印座標に基づいて）として定義することができる。顎の位置（例えば、フローチャート３００のステップ３０６で得られた顎の位置に対応する目印座標）から始まり、肩の位置を通る水平線で終わる垂直線に沿った中点位置を識別することができる。顎の位置（Ｃ）から水平線までの垂直距離をｄＣＳと定義し、この垂直距離の５０％（例えば、顎の位置から中点の位置までの距離）を計算してｍＣＳと定義し、肩と中点からの距離を計算してｌと定義し、肩の位置から中点の位置までの線と肩の位置（Ｓ）を通る水平線との間の角度としてθを計算して定義してもよい。計算した距離Ｉと計算した角度θに基づいて、頚切痕（ＪＮ）を検出してＪＮ：［ＪＮｘ、ＪＮｙ］と定義し、ＪＮｘはＳｘ±ｘに相当し、ｘ＝ｃｏｓ（θ）＊ｌ／２、ＪＮｙはＳｙ－ｙに相当し、ｙ＝２５％ｄＣＳである。これらの技術と計算に基づいて、頚切痕を正面画像（例えば、図８の例示的な正面図画像８００からの頚切痕目印８０２など）と側面画像（例えば、図９の例示的側面図画像９００及び９０２からの頚切痕目印９０４及び９０６など）に基づいて識別することができる。

図１０は、本開示の実施形態による検出された頚切痕（ＪＮ）に基づいて中心線（ＣＲ）位置を識別するための正面図を示す。頚切痕（ＪＮ）に基づいて、中心線（ＣＲ）位置を計算することができ、ここで、中心線位置は、頚切痕の位置より３～４インチ（例：８～１０ｃｍ）下であり得る。図１１Ａ及び図１１Ｂの頚切痕（ＪＮ）に基づいて、中心線（ＣＲ）位置、胸部及び胸部中央（例えば、Ｔ７）を検出するために、人物の身体の右側面図１１００及び／または左側面図１１０２を用いて、ＣＲ位置または胸部中央またはＴ７の鏡像を検出することができる。例えば、中心線（ＣＲ）を位置決めするために用いられる目印は、Ｔ７（例、胸部中部）にある。Ｔ７のレベルは、頚切痕の３～４インチ（例：８～１０ｃｍ）下にある。

図１２及び１３は、本開示の実施形態による脊髄の頚椎（Ｃ７）、胸椎（Ｔ２，Ｔ７，Ｔ１０）、腰椎（Ｌ１及びＬ４）及び仙椎（Ｓ２）の位置を推定するための右側面図１２００及び左側面図１３００をそれぞれ示す。人物の脊髄に沿った椎骨の位置は、人物の胸部中央の推定位置及び脊髄に沿った各椎骨間の相対距離に基づいて推定することができる。例えば、Ｔ７とＣ７の間のおおよその距離及びＥｒｎｓｔらによる胸部と後上腸骨脊椎（ＰＳＩＳ）の比率に関する先行研究に基づいて、Ｃ７、Ｔ２、Ｔ７、Ｔ１０、Ｌ１、Ｌ４及びＳ２（ＰＳＩＳ）の位置は、側面図画像１２００及び１３００を用いて推定することができる。一例では、脊髄の様々なセグメント間の距離を決定するために、柔軟な定規を人物の背中に置くこともできる。推定距離は、Ｃ７からＰＳＩＳまでのセグメント全体の距離のパーセンテージ位置を計算するために利用することができる。

図１４、図１５Ａ及び図１５Ｂは、本開示の実施形態による前方／正面図画像１４００、左側面図画像１５００及び右側面図画像１５０２からの目印検出システムの結果をそれぞれ示しており、各目印は身体部分を示し、画像内の人物の身体上のドットで表される。例えば、人物の頚切痕は、画像１４００内の目印１４０２によって示され、画像１５００及び１５０２内の目印１５０４によって示される。目印検出システムの更なる結果は、図１２の身体エッジ画像１２０２及び図１３の身体エッジ画像１３０２にも示され、ここでは、例えば画像１５００及び１５０２内の人物の全身について検出された目印に基づいて、脊髄について検出された目印がそれぞれ身体エッジ画像１２０２及び１３０２上に選択されて表示され、例えば、検出された脊髄の目印は身体エッジ画像１２０２及び１３０２内で白いドットとして示される。

図１６は、例示的なコンピュータ装置１６００を示しており、以下、コンピュータシステム１６００と同義であるが、このような１または複数のコンピュータ装置１６００は、図１の方法を実行するために使用され得る。例示的なコンピュータ装置１６００は、図２に示される装置２００を実施するために使用され得る。コンピュータ装置１６００の以下の説明は、例としてのみ提供され、制限することを意図していない。

図１６に示されるように、例示的コンピュータ装置１６００は、ソフトウェアルーチンを実行するためのプロセッサ１６０４を含む。明確にするために単一のプロセッサが示されているが、コンピュータ装置１６００はマルチプロセッサシステムも含むことができる。プロセッサ１６０４は、コンピュータ装置１６００の他のコンポーネントと通信するために通信インフラストラクチャ１６０６に接続される。通信インフラストラクチャ１６０６は、例えば、通信バス、クロスバー、またはネットワークを含むことができる。

コンピュータ装置１６００は、さらに、ランダムアクセスメモリ（ＲＡＭ）のような主メモリ１６０８と、二次メモリ１６１０とを含む。二次メモリ１６１０は、例えば、ハードディスクドライブ、ソリッドステートドライブまたはハイブリッドドライブである記憶ドライブ１６１２及び／または磁気テープドライブ、光ディスクドライブ、ソリッドステート記憶ドライブ（ＵＳＢフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど）などを含むリムーバブル記憶ドライブ１６１４を含むことができる。リムーバブル記憶ドライブ１６１４は、周知の方法でリムーバブル記憶媒体からの読み取り及び／またはリムーバブル記憶媒体１６１８への書き込みを行う。リムーバブル記憶媒体１６１８は、磁気テープ、光ディスク、不揮発性メモリ記憶媒体などを含み、リムーバブル記憶ドライブ１６１４によって読み取り及び書き込みが行われる。当業者には理解されるように、リムーバブル記憶媒体１６１８は、コンピュータ実行可能プログラムコード命令及び／またはデータを格納したコンピュータ可読記憶媒体を含む。

代替の実施形態では、二次メモリ１６１０は、コンピュータプログラムまたは他の命令をコンピュータ装置１６００にロードすることを可能にする他の同様の手段を追加的にまたは代替的に含むことができる。このような手段は、例えば、リムーバブル記憶装置１６２２及びインタフェース１６２０を含むことができる。リムーバブル記憶装置１６２２及びインタフェース１６２０の例は、プログラムカートリッジ及びカートリッジインタフェース（ビデオゲームコンソール装置に見られるもののような）、リムーバブル記憶装置チップ（ＥＰＲＯＭまたはＰＲＯＭのような）及び関連ソケット、リムーバブル固体記憶装置（ＵＳＢフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど）、及びソフトウェア及びデータをリムーバブル記憶装置１６２２からコンピュータシステム１６００に転送することを可能にする他のリムーバブル記憶装置１６２２及びインタフェース１６２０を含む。

コンピュータ装置１６００はまた、少なくとも１つの通信インタフェース１６２４を含む。通信インタフェース１６２４は、通信経路１６２６を介して、コンピュータ装置１６００と外部デバイスとの間でソフトウェア及びデータを転送することを可能にする。本発明の様々な実施形態において、通信インタフェース１６２４は、コンピュータ装置１６００と、パブリックデータまたはプライベートデータ通信ネットワークのようなデータ通信ネットワークとの間でデータを転送することを可能にする。通信インタフェース１６２４は、そのようなコンピュータ装置１６００が相互接続されたコンピュータネットワークの一部を形成する異なるコンピュータ装置１６００間でデータを交換するために使用することができる。通信インタフェース１６２４の例は、モデム、ネットワークインタフェース（イーサネットカードなど）、通信ポート（シリアル、パラレル、プリンタ、ＧＰＩＢ、ＩＥＥＥ１３９４、ＲＪ４５、ＵＳＢなど）、関連する回路を有するアンテナなどを含むことができる。通信インタフェース１６２４は、有線であってもよいし、無線であってもよい。通信インタフェース１６２４を介して転送されるソフトウェア及びデータは、電子的、電磁的、光学的または通信インタフェース１６２４によって受信可能な他の信号であり得る信号の形態である。これらの信号は、通信経路１６２６を介して通信インタフェースに提供される。

図１６に示すように、コンピュータ装置１６００は、関連するディスプレイ１６３０に画像を表現する操作を実行するディスプレイインターフェース１６０２と、関連するスピーカ１６３４を介してオーディオコンテンツを再生する操作を実行するオーディオインタフェース１６３２とをさらに含む。

本明細書で使用される用語「コンピュータプログラム製品」は、部分的には、リムーバブル記憶媒体１６１８、リムーバブル記憶装置１６２２、記憶ドライブ１６１２に取り付けられたハードディスク、または通信経路１６２６（無線リンクまたはケーブル）を介して通信インタフェース１６２４に搬送波を搬送するソフトウェアを指すことができる。コンピュータ可読記憶媒体は、実行及び／または処理のために記録された命令及び／またはデータをコンピュータ装置１６００に提供する任意の非一時的で不揮発性の有形記憶媒体を指す。このような記憶媒体の例としては、磁気テープ、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイディスク、ハードディスクドライブ、ＲＯＭまたは集積回路、固体記憶ドライブ（ＵＳＢフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカードなど）、ハイブリッドドライブ、光磁気ディスク、またはＰＣＭＣＩＡカードなどのコンピュータ読み取り可能なカードなどがあり、これらのデバイスがコンピュータ装置１６００の内部または外部にあるかどうかは問わない。コンピュータ装置１６００へのソフトウェア、アプリケーションプログラム、命令及び／またはデータの提供にも関与することができる一時的または非有形のコンピュータ読み取り可能な伝送媒体の例としては、無線または赤外線伝送チャネル、他のコンピュータまたはネットワーク化されたデバイスへのネットワーク接続、及び電子メールの送信及びウェブサイトなどに記録された情報を含むインターネットまたはイントラネットなどがある。

コンピュータプログラム（コンピュータプログラムコードとも呼ばれる）は、主メモリ１６０８及び／または二次メモリ１６１０に格納される。コンピュータプログラムは、通信インタフェース１６２４を介して受信することもできる。そのようなコンピュータプログラムが実行されると、コンピュータ装置１６００は、本明細書で説明する実施形態の１つまたは複数の特徴を実行することができる。様々な実施形態において、コンピュータプログラムが実行されると、プロセッサ１６０４は、上述の実施形態の特徴を実行することができる。従って、そのようなコンピュータプログラムは、コンピュータシステム１６００のコントローラを表す。

ソフトウェアは、コンピュータプログラム製品に格納され、リムーバブル記憶ドライブ１６１４、記憶ドライブ１６１２、またはインタフェース１６２０を使用してコンピュータ装置１６００にロードされ得る。コンピュータプログラム製品は、非一時的なコンピュータ可読媒体であり得る。あるいは、コンピュータプログラム製品は、通信経路１６２６を介してコンピュータシステム１６００にダウンロードされ得る。ソフトウェアは、プロセッサ１６０４によって実行されると、コンピュータ装置１６００に、図１に示されるような方法を実行するために必要な操作を実行させる。

図１６の実施形態は、装置２００の動作及び構造を説明するために、単に例として提示されていることを理解されたい。したがって、いくつかの実施形態では、コンピュータ装置１６００の１つまたは複数の特徴を省略することができる。また、いくつかの実施形態では、コンピュータ装置１６００の１つまたは複数の特徴を一緒に組み合わせることができる。さらに、いくつかの実施形態では、コンピュータ装置１６００の１つまたは複数の特徴を１つまたは複数の構成部品に分割することができる。

当業者には、広く記載された本発明の精神または範囲から逸脱することなく、特定の実施形態に示されるように、本発明に多数の変形及び／または修正を加えることができることが理解されるであろう。したがって、本実施形態は、すべての点において例示的であり、限定的ではないと考えられる。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
プロセッサにより、人物が検出された画像から人物の複数の身体部分位置を検出し、前記複数の身体部分位置のそれぞれは、人物の身体部分に対応し、
前記プロセッサは、検出された複数の身体部分位置に基づいて、人物の身体部分位置を推定する、人物の身体部分位置を推定するための方法。
（付記２）
前記身体部分位置を推定することは、人物の脊髄に沿った椎骨の位置または人物の頚切痕の位置を推定する、付記１に記載の方法。
（付記３）
さらに、前記人物が検出された画像が、正面から見た前記人物の画像を含むか否かを決定し、前記決定の結果に応答して前記人物の身体部分位置を推定することが実行される、付記１に記載の方法。
（付記４）
前記推定される身体部分位置は、前記人物の頚切痕の位置であり、
前記身体部分位置を推定することは、
前記検出された複数の身体部分位置に基づいて、前記人物の顎、左肩及び右肩のそれぞれの位置を決定し、
左肩と右肩の位置の間の中点の位置を識別し、
顎の位置から中点の位置までの距離を計算し、
顎の位置と計算された距離に基づいて頚切痕の位置を推定する、付記３に記載の方法。
（付記５）
さらに、
前記人物が検出された画像が、矢状面を横切る人物の画像を含むか否かを決定し、前記決定の結果に応答して前記人物の身体部分位置の推定が実行される、付記１に記載の方法。
（付記６）
前記身体部分位置は、前記人物の頚切痕の位置であり、
前記身体部分位置の推定は、
前記検出された複数の身体部分位置に基づいて、前記人物の顎及び肩のそれぞれの位置を決定し、
顎の位置から始まり、肩の位置を通る水平線で終わる垂直線に沿った中点位置を識別し、
肩の位置から中点の位置までの距離を計算し、
肩の位置から中点の位置までの線と、肩の位置を通る水平線との間の角度を計算し、
計算された距離と計算された角度に基づいて頚切痕の位置を推定する、付記５に記載の方法。
（付記７）
さらに、
頚切痕の推定位置及び脊髄に沿った各椎骨間の相対距離に基づいて、人物の脊髄に沿った椎骨の位置を推定する、付記６に記載の方法。
（付記８）
少なくとも１つのプロセッサと
コンピュータプログラムコードを含む少なくとも１つのメモリと、を含み、
少なくとも１つのメモリと、コンピュータプログラムコードとが少なくとも１つのプロセッサを用いて、装置に、少なくとも、
人物が検出された画像から前記人物の複数の身体部分位置を検出し、複数の身体部分位置のそれぞれが前記人物の身体部分に対応し、
検出された複数の身体部分位置の１つまたは複数に基づいて、前記人物の身体部分位置を推定することを実行させるように構成された、人物の身体部分位置を推定するための装置。
（付記９）
前記身体部分位置を推定することは、人物の脊髄に沿った椎骨の位置または人物の頚切痕の位置を推定する、付記８に記載の装置。
（付記１０）
少なくとも１つの前記メモリと、前記コンピュータプログラムコードとが、少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、
前記人物が検出された画像が、正面から見た前記人物の画像を含むか否かを判定し、前記判定の結果に応答して前記人物の身体部分位置の推定が実行されることを、さらに実行させるように構成された、付記８に記載の装置。
（付記１１）
前記身体部分位置は、前記人物の頚切痕の位置であり、
前記身体部分位置の推定は、
検出された複数の身体部分の位置に基づいて、人物の顎、左肩及び右肩のそれぞれの位置を決定し、
左肩と右肩の位置の中間位置を識別し、
顎の位置から中間位置までの距離を計算し、
顎の位置と計算された距離に基づいて頚切痕の位置を推定する、付記１０に記載の装置。
（付記１２）
少なくとも１つのメモリと、コンピュータプログラムコードとが、少なくとも１つのプロセッサを用いて、装置に、少なくとも、
前記人物が検出された画像が、矢状面を横切る前記人物の画像を含むか否かを判定し、前記人物の身体部分位置の推定は、判定の結果に応答して実行されることを実行させるように構成された付記８に記載の装置。
（付記１３）
前記身体部分位置は、前記人物の頚切痕の位置であり、
前記身体部分位置の推定は、
前記検出された複数の身体部分位置に基づいて、前記人物の顎及び肩のそれぞれの位置を決定し、
顎の位置から始まり、肩の位置を通る水平線で終わる垂直線に沿った中点の位置を識別し、
前記肩の位置から中点の位置までの距離を計算し、
前記肩の位置から中点の位置までの線と、前記肩の位置を通る水平線との間の角度を計算し、
計算された距離と計算された角度に基づいて前記頚切痕の位置を推定する、付記１２に記載の装置。
（付記１４）
少なくとも１つのメモリと、コンピュータプログラムコードとが、少なくとも１つのプロセッサを用いて、装置に、少なくとも、
前記頚切痕の推定位置及び脊髄に沿った各椎骨間の相対距離に基づいて、前記人物の脊髄に沿った椎骨の位置を推定することを実行させるように構成された、付記１３に記載の装置。
（付記１５）
付記８乃至１４のいずれか１項に記載の装置と、
人物の１つまたは複数の画像をキャプチャするように構成された１つまたは複数の画像キャプチャ装置と、を備え、
前記１つまたは複数の画像は、正面から見た人物の画像及び／または矢状面を横切る人物の画像を含む、人物の身体部分位置を推定するためのシステム。

Claims (4)

1. プロセッサにより、人物の正面図、後面図及び／または側面図の画像から人物の複数の身体部分位置を検出し、前記複数の身体部分位置のそれぞれは、人物の身体部分に対応し、
   前記プロセッサは、検出された複数の身体部分位置に基づいて、人物の身体部分位置を推定する、人物の身体部分位置を推定するための方法であって、
   さらに、
   前記人物の正面図、後面図及び／または側面図の画像が、前記人物の矢状面画像を含むか否かを決定し、前記決定の結果に応答して前記人物の身体部分位置の推定が実行され、
   前記身体部分位置は、前記人物の頚切痕の位置であり、
   前記身体部分位置の推定は、
   前記検出された複数の身体部分位置に基づいて、前記人物の顎及び肩のそれぞれの位置を決定し、
   顎の位置から始まり、肩の位置を通る水平線で終わる垂直線に沿った中点位置を識別し、
   肩の位置から中点の位置までの距離を計算し、
   肩の位置から中点の位置までの線と、肩の位置を通る水平線との間の角度を計算し、
   計算された距離と計算された角度に基づいて頚切痕の位置を推定し、
   さらに、
   頚切痕の推定位置及び脊髄に沿った各椎骨間の相対距離に基づいて、人物の脊髄に沿った椎骨の位置を推定する、方法。
2. 少なくとも１つのプロセッサと
   コンピュータプログラムコードを含む少なくとも１つのメモリと、を含むコンピュータ装置に、少なくとも、
   人物の正面図、後面図及び／または側面図の画像から前記人物の複数の身体部分位置を検出し、複数の身体部分位置のそれぞれが前記人物の身体部分に対応し、
   検出された複数の身体部分位置の１つまたは複数に基づいて、前記人物の身体部分位置を推定することを実行させるように構成された、人物の身体部分位置を推定するための装置。
3. 前記身体部分位置を推定することは、人物の脊髄に沿った椎骨の位置または人物の頚切痕の位置を推定する、請求項２に記載の装置。
4. 請求項２または３に記載の装置と、
   人物の１つまたは複数の画像をキャプチャするように構成された１つまたは複数の画像キャプチャ装置と、を備え、
   前記１つまたは複数の画像は、正面から見た人物の画像及び／または人物の矢状面画像を含む、人物の身体部分位置を推定するためのシステム。

Images