JP7727273B2

JP7727273B2 - 姿勢評価装置、姿勢評価システム、姿勢評価方法、及びプログラム

Info

Publication number: JP7727273B2
Application number: JP2024511331A
Authority: JP
Inventors: 修平野寄; 洵安川; 康介西原; 勇気小阪; 昭元二村; 浩二藤田; 拓哉井原
Original assignee: NEC Corp; Tokyo Institute of Technology NUC; Institute of Science Tokyo
Current assignee: NEC Corp; Tokyo Institute of Technology NUC; Institute of Science Tokyo
Priority date: 2022-03-31
Filing date: 2023-02-02
Publication date: 2025-08-21
Anticipated expiration: 2043-02-02
Also published as: WO2023188796A1; JPWO2023188796A1; US20250191181A1

Description

本開示は、姿勢評価装置、姿勢評価システム、姿勢評価方法、及びプログラムに関する。

近年、オンライントレーニング、セルフトレーニングの普及により、専門知識を有さない一般の人々が自身の姿勢を評価するニーズが高まっている。

特許文献１には、ユーザが所持する端末によって身体を撮像して取得した動画データから特徴量を抽出し、身体の各部位の位置を特定し、当該各部位を結んだボーンの動きを動画に重ねて表示する、運動評価システムが記載されている。

特開２０２０－１４１８０６号公報

しかしながら、特許文献１に記載の運動評価システムでは、体幹を直線又は矩形により表現しているため、脊柱形状そのものに基づいて姿勢を評価することができない。そのため、特許文献１における姿勢評価の精度は、セラピストやトレーナー等の専門家による姿勢評価の精度に比べて十分ではないという問題がある。脊柱形状を計測する手法としては、デプスカメラを用いる手法、加速度センサを用いる手法、脊柱に沿って測定子を走査する手法等が挙げられるが、何れも高価な専門機器を必要とする。そのため、これらの手法は、一般の人々が自身の姿勢を評価する場合には不向きである。

本開示の目的は、比較的安価に高い精度で姿勢を評価することができる姿勢評価装置、姿勢評価システム、姿勢評価方法、及びプログラムを提供することである。

本開示に係る姿勢評価装置は、対象者の身体の側面を撮像して得られた画像と、前記画像上の前記身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、前記画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出する脊柱抽出手段と、前記位置情報と前記脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出する特徴量算出手段と、前記特徴量に基づいて、少なくとも脊柱の状態を推定する状態推定手段と、を備える。

本開示に係る姿勢評価システムは、姿勢評価装置と、前記姿勢評価装置と通信可能な対象者端末とを備え、前記姿勢評価装置は、前記対象者端末によって取得された対象者の身体の側面の画像と、前記画像上の前記身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、前記画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出する脊柱抽出手段と、前記位置情報と前記脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出する特徴量算出手段と、前記特徴量に基づいて、少なくとも脊柱の状態を推定する状態推定手段と、を備える。

本開示に係る姿勢評価方法は、姿勢評価装置が、対象者の身体の側面を撮像して得られた画像と、前記画像上の前記身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、前記画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出し、前記位置情報と前記脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出し、前記特徴量に基づいて、少なくとも脊柱の状態を推定する方法である。

本開示に係るプログラムは、姿勢評価装置に、対象者の身体の側面を撮像して得られた画像と、前記画像上の前記身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、前記画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出する処理と、前記位置情報と前記脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出する処理と、前記特徴量に基づいて、少なくとも脊柱の状態を推定する処理と、を実行させるプログラムである。

比較的安価に高い精度で姿勢を評価することができる姿勢評価装置、姿勢評価システム、姿勢評価方法、及びプログラムを提供することができる。

実施の形態１に係る姿勢評価装置の構成を示すブロック図である。実施の形態２に係る姿勢評価装置の構成を示すブロック図である。実施の形態２に係る撮像部が撮像した画像の一例を示す図である。実施の形態２に係るキーポイントの一例を示す図である。実施の形態２に係る脊柱エッジ点群の一例を示す図である。実施の形態２に係る脊柱抽出部の処理を説明する図である。実施の形態２に係る特徴量算出部の処理を説明する図である。実施の形態２に係る特徴量算出部の処理を説明する図である。実施の形態２に係る状態推定部の処理を説明する図である。実施の形態２に係る表示部に表示される画像の一例を示す図である。実施の形態２に係る表示部に表示される画像の他の一例を示す図である。実施の形態２に係る基準値リストのデータ構造を示す図である。実施の形態２に係る姿勢評価方法を示すフローチャートである。実施の形態３に係る姿勢評価装置の構成を示すブロック図である。実施の形態３に係る姿勢評価装置において表示部に表示される画像の他の一例を示す図である。実施の形態４に係る姿勢評価システムを示す図である。

実施の形態１
本実施の形態１について、図１を用いて説明する。図１は、本実施の形態１に係る姿勢評価装置１００の構成を示すブロック図である。
本実施の形態１における姿勢評価装置１００は、スマートフォン等のカメラによって身体の側面を撮像して得られた画像に基づいて姿勢を評価する装置である。具体的には、姿勢評価装置１００は、当該画像における脊柱の形状である脊柱形状を推定し、当該脊柱形状に基づいて姿勢を評価する。これにより、オンライントレーニングやセルフトレーニング等の場面において、比較的安価に、より精度高く、姿勢を評価することができる。

姿勢評価装置１００は、図１に示すように、脊柱抽出部１０３、特徴量算出部１０５、状態推定部１０６を備える。

脊柱抽出部１０３は、対象者の身体の側面を撮像して得られた画像と、画像上の身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出する。なお、対象者とは、姿勢評価装置１００によって姿勢の評価を受ける者を意味する。
ここで、対象者の身体の側面を撮像して得られた画像とは、２次元画像であり、２次元ＲＧＢ画像であってもよい。
また、脊柱エッジ点群とは、画像上において脊柱を表示する複数の点からなる点群である。また、脊柱エッジ点群を構成する各点は、１画素であってもよいし、縦Ｎ画素×横Ｍ画素からなる画像領域であってもよい。なお、Ｎ及びＭは正の整数であり、ＮとＭは等しくても異なっていてもよい。
また、画像上の頸椎の位置情報は、例えば、頸椎を構成する７個の椎骨の何れかの位置情報であり、例えば、隆椎（Ｃ７）の位置情報である。また、画像上の膝関節の位置情報は、大腿骨の下端、膝蓋骨、脛骨の上端、腓骨の上端、及び膝関節裂隙の何れかの位置情報であり、例えば、大腿骨の下端の位置情報である。具体的には、隆椎の位置情報は、例えば、画像上において隆椎に相当する画像領域の中心に位置する画素の位置情報である。同様に、大腿骨の下端の位置情報は、例えば、画像上において大腿骨の下端に相当する画像領域の中心に位置する画素の位置情報である。
また、画像上の位置情報とは、例えば、画像座標である。ここで、画像座標とは、２次元画像上の画素の位置を示すための座標であり、例えば、２次元画像の最も左側且つ最も上側に位置する画素の中心を原点とし、左右方向又は水平方向をｘ方向、上下方向又は垂直方向をｙ方向と定義される座標である。

特徴量算出部１０５は、画像上の少なくとも頸椎、股関節、膝関節の位置情報と、脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出する。

状態推定部１０６は、特徴量算出部１０５によって算出された特徴量に基づいて、少なくとも脊柱の状態を推定する。

本実施の形態１によれば、比較的安価に高い精度で姿勢を評価することができる姿勢評価装置１００を提供することができる。具体的には、脊柱抽出部１０３によって画像上の脊柱形状を表す脊柱エッジ点群が抽出され、特徴量算出部１０５によって、画像上の頸椎、股関節、膝関節の位置情報と脊柱エッジ点群とに基づいて脊柱に関する特徴量が算出される。そして、状態推定部１０６によって、当該特徴量に基づいて脊柱の状態が推定される。換言すれば、画像上の脊柱形状に基づいて姿勢を評価することができるため、高い精度で姿勢を評価することができる。さらに、高価な専門機器を用いずとも脊柱形状に基づいて姿勢評価を行うことができるため、比較的安価に姿勢を評価することができる。よって、比較的安価に高い精度で姿勢を評価することができる姿勢評価装置１００を提供することができる。

また、脊柱形状を計測する手法としては、デプスカメラを用いる手法、加速度センサを用いる手法、脊柱に沿って測定子を走査する手法等が挙げられる。これらの手法では、脊柱を構成する複数の椎体のそれぞれの位置や傾きを正確に推定することを目的としている。しかしながら、セラピストやトレーナー等の専門家は、脊柱全体の曲がり方のバランスを評価しており、個々の椎体の位置や傾きを評価しているわけではない。そのため、一般の人々が自身の姿勢を専門家レベルで評価する目的において、これらの手法と同等の精度を目指す必要もない。一方、本実施の形態１に係る姿勢評価装置１００では、画像上の脊柱形状を表す脊柱エッジ点群に基づいて、セラピストやトレーナー等の専門家と同程度に高い精度で姿勢を評価することができる。

また、特許文献１に記載の運動評価システムのように、体幹を直線又は矩形により表現して、股関節と脊柱とを一体として評価する場合、股関節単体の状態を評価することができないという問題がある。一方、本実施の形態１に係る姿勢評価装置１００では、画像上の脊柱形状を脊柱エッジ点群として表現しているため、股関節単体の状態を評価することが可能となる。

実施の形態２
本実施の形態２について、図２を用いて説明する。図２は、本実施の形態２に係る姿勢評価装置１００Ａの構成を示すブロック図である。姿勢評価装置１００Ａは、例えば、ユーザが所持するスマートフォン、タブレット端末、パーソナルコンピュータ等のユーザ端末である。なお、ユーザとは、姿勢評価装置１００Ａによって姿勢の評価を受ける対象者、及び姿勢評価装置１００Ａを用いて他者の姿勢を評価する評価者の双方を含む。また、セルフトレーニング等において対象者が姿勢評価装置１００Ａを用いて自身の姿勢を評価する場合、対象者は評価者でもある。また、評価者が姿勢評価装置１００Ａを用いて他者の姿勢を評価する場合、評価者は、例えば、セラピストやトレーナーである。

本実施の形態２の姿勢評価装置１００Ａは、図２に示すように、撮像部１０１、骨格抽出部１０２、脊柱抽出部１０３、姿勢判断部１０４、特徴量算出部１０５、状態推定部１０６、画像生成部１０７、表示部１０８、入力部１０９、記憶部１１０、通信部１１１を備える。入力部１０９と表示部１０８は、タッチパネル付ディスプレイとして一つの構成としてもよいし、それぞれ別個に設けてもよい。また、記憶部１１０は、基準値リスト１１２、骨格データベース（図２において、「骨格ＤＢ」と示す。）１１３、骨格抽出モデル１１４等を記憶している。

撮像部１０１は、対象者の身体の側面を撮像して画像を取得する。撮像部１０１が対象者の身体の側面を撮像した画像の一例を図３に示す。図３に示す画像には、前屈する対象者に相当する人物Ｏの側面が映っている。ここで、撮像部１０１が撮像する画像は、２次元画像であり、２次元ＲＧＢ画像であってもよい。撮像部１０１は、撮像した画像を、骨格抽出部１０２及び脊柱抽出部１０３に入力する。
また、撮像部１０１は、対象者の身体の側面を動画撮影して画像を取得してもよい。この場合、ユーザが入力部１０９を操作することにより、姿勢評価を行う時点を指定してもよい。そして、ユーザによって指定された時点の画像が骨格抽出部１０２及び脊柱抽出部１０３に入力されてもよい。

骨格抽出部１０２は、撮像部１０１が撮像した画像から、少なくとも頸椎、股関節、膝関節の位置情報（以下、「キーポイントの位置情報」とも称する。）を抽出する。図３に示す画像から骨格抽出部１０２が抽出したキーポイントＰ１，Ｐ２，Ｐ３の一例を図４に示す。図４において、Ｐ１は隆椎のキーポイント（以下、「隆椎キーポイント」と称する。）であり、Ｐ２は股関節のキーポイント（以下、「股関節キーポイント」と称する。）であり、Ｐ３は大腿骨の下端のキーポイント（以下、「膝関節キーポイント」と称する。）である。なお、位置情報の詳細については、実施の形態１に記載された通りであるため、その説明を省略する。
具体的には、骨格抽出部１０２は、学習済みの骨格抽出モデル１１４を用いて、撮像部１０１が撮像した画像からキーポイントの位置情報を抽出する。なお、姿勢評価装置１００Ａは、予め、機械学習モデルである骨格抽出モデル１１４と、教師データである骨格データベース１１３とを用いて、機械学習を行い、学習済みの骨格抽出モデル１１４を生成する。
骨格抽出部１０２は、抽出したキーポイントの位置情報を脊柱抽出部１０３に入力する。
なお、キーポイントの位置情報は、撮像部１０１によって撮像された２次元画像の左右方向又は水平方向であるｘ方向、上下方向又は垂直方向であるｙ方向、に加えて、奥行方向であるｚ方向で定義される３次元座標で表される情報であってもよい。これは、２次元画像から３次元座標で表されるキーポイントの位置情報を抽出する骨格抽出モデル１１４を用いることにより可能となる。
また、骨格抽出部１０２がキーポイントを抽出する身体の箇所は、上述の頸椎、股関節、膝関節に限定されるものではなく、例えば、足首の関節、肩の関節、肘の関節、手首の関節のキーポイントを抽出してもよい。さらに、骨格抽出部１０２は、関節の他に、目、耳、頭の中心等をキーポイントとして抽出してもよい。
また、キーポイントは、表示部１０８に撮像部１０１が撮像した画像が表示され、ユーザが入力部１０９を操作することにより、指定されてもよい。そして、ユーザによって指定されたキーポイントの位置情報が脊柱抽出部１０３に入力されてもよい。

脊柱抽出部１０３は、撮像部１０１から入力された画像と、骨格抽出部１０２から入力されたキーポイントの位置情報とに基づいて、画像上の脊柱を脊柱エッジ点群として抽出する。図３に示す画像から脊柱抽出部１０３が抽出した脊柱エッジ点群Ｐの一例を図５に示す。なお、脊柱エッジ点群の詳細については、実施の形態１に記載された通りであるため、その説明を省略する。

以下、図６を参照しながら、脊柱抽出部１０３の処理について、詳細に説明する。まず、脊柱抽出部１０３は、隆椎キーポイントＰ１と股関節キーポイントＰ２とを結ぶ線分ｌ_{ｔｒｕｎｋ}の長さと、股関節キーポイントＰ２と膝関節キーポイントＰ３とを結ぶ線分ｌ_{ｔｈｉｇｈ}の長さとを算出し、撮像部１０１から入力された画像のサイズを正規化する。この際、隆椎キーポイントＰ１、股関節キーポイントＰ２、膝関節キーポイントＰ３、線分ｌ_{ｔｒｕｎｋ}の長さ、及び線分ｌ_{ｔｈｉｇｈ}の長さも正規化された値に変換される。

次に、脊柱抽出部１０３は、線分ｌ_{ｔｒｕｎｋ}と線分ｌ_{ｔｈｉｇｈ}とに基づいて、当該画像に映る人物Ｏの背中のラインを特定し、脊柱エッジ点群Ｐの候補となる候補エッジ点群を抽出する。具体的には、脊柱抽出部１０３は、線分ｌ_{ｔｒｕｎｋ}と線分ｌ_{ｔｈｉｇｈ}とに基づいて、当該画像に映る人物Ｏの背中を少なくとも含むバウンディングボックスを指定する。次いで、脊柱抽出部１０３は、当該バウンディングボックス内の画像データに対してエッジ抽出処理を行い、候補エッジ点群を抽出する。

次に、脊柱抽出部１０３は、線分ｌ_{ｔｒｕｎｋ}と線分ｌ_{ｔｈｉｇｈ}とのなす角の外角θ_０を算出する。次いで、脊柱抽出部１０３は、当該外角θ_０に基づいて、脊柱の頭側を規定する線分ｌ_１と線分ｌ_{ｔｒｕｎｋ}との角度θ_１、及び脊柱の尾側を規定する線分ｌ_２と線分ｌ_{ｔｒｕｎｋ}との角度θ_２とを決定する。具体的には、予め、外角θ_０と角度θ_１と角度θ_２とを対応付けた角度テーブル（不図示）が記憶部１１０に記憶されており、脊柱抽出部１０３は、当該角度テーブルを参照することにより、外角θ_０に基づいて、角度θ_１と角度θ_２とを決定する。また、記憶部１１０に、予め、当該角度テーブルを教師データとして機械学習済みの角度決定モデル（不図示）が格納されており、脊柱抽出部１０３は、当該角度決定モデルを用いて、外角θ_０に基づいて、角度θ_１と角度θ_２とを決定してもよい。

次に、脊柱抽出部１０３は、線分ｌ_１と候補エッジ点群との交点を脊柱エッジ点群Ｐの頭側の端点と決定し、線分ｌ_２と候補エッジ点群との交点を脊柱エッジ点群Ｐの尾側の端点と決定する。これにより、候補エッジ点群のうち、脊柱エッジ点群Ｐとなる範囲が決定される。換言すれば、脊柱エッジ点群Ｐが抽出される。

次に、脊柱抽出部１０３は、算出した外角θ_０を姿勢判断部１０４に入力する。また、脊柱抽出部１０３は、正規化した隆椎キーポイントＰ１、股関節キーポイントＰ２、及び膝関節キーポイントＰ３と、抽出した脊柱エッジ点群Ｐとを特徴量算出部１０５に入力する。また、脊柱抽出部１０３は、正規化した画像と、正規化したキーポイントＰ１，Ｐ２，Ｐ３と、抽出した脊柱エッジ点群Ｐとを画像生成部１０７に入力する。

姿勢判断部１０４は、脊柱抽出部１０３から入力された外角θ_０に基づいて、撮像部１０１が撮像した画像に映る人物Ｏの姿勢の種類を判断する。具体的には、予め、外角θ_０と姿勢の種類とを対応付けた姿勢テーブル（不図示）が記憶部１１０に記憶されており、姿勢判断部１０４は、当該姿勢テーブルを参照することにより、外角θ_０に基づいて、姿勢の種類を判断する。ここで、姿勢の種類には、例えば、前屈、立位、後屈等が挙げられる。姿勢判断部１０４は、判断した姿勢の種類を状態推定部１０６に入力する。
なお、姿勢の種類は、ユーザが入力部１０９を操作することによって指定されてもよい。そして、ユーザによって指定された姿勢の種類が状態推定部１０６に入力されてもよい。

特徴量算出部１０５は、脊柱抽出部１０３から入力されたキーポイントＰ１，Ｐ２，Ｐ３と脊柱エッジ点群Ｐとに基づいて、少なくとも脊柱に関する特徴量を算出する。具体的には、特徴量算出部１０５は、隆椎キーポイントＰ１、股関節キーポイントＰ２、膝関節キーポイントＰ３、及び脊柱エッジ点群Ｐに基づいて、脊柱曲率、脊柱彎曲角度、股関節角度、上位胸椎彎曲角度、下位胸椎彎曲角度、腰椎彎曲角度等を特徴量として算出する。

具体的には、特徴量算出部１０５は、脊柱エッジ点群Ｐに、ｎ次べき関数やスプライン関数をフィッティングすることによって、脊柱エッジ点群Ｐに含まれる全ての点に対して、脊柱の曲率である脊柱曲率を算出する。例えば、特徴量算出部１０５は、脊柱エッジ点群Ｐの全ての点において、それぞれ、３次関数を脊柱エッジ点群Ｐにフィッティングして、脊柱エッジ点群Ｐに含まれるそれぞれの点における脊柱曲率を算出する。

次に、図７を参照しながら、特徴量算出部１０５の脊柱彎曲角度の算出処理について、詳細に説明する。特徴量算出部１０５は、図７に示すように、脊柱エッジ点群Ｐの頭側の端点Ｐ４における脊柱エッジ点群Ｐに対する法線と、脊柱エッジ点群Ｐの尾側の端点Ｐ５における脊柱エッジ点群Ｐに対する法線とのなす角θ_３を脊柱彎曲角度として算出する。
同様に、特徴量算出部１０５は、上位胸椎彎曲角度、下位胸椎彎曲角度、腰椎彎曲角度を算出する。具体的には、予め、脊柱における上位胸椎、下位胸椎、腰椎の位置は、それぞれ、脊柱の頭側から脊柱の０％～Ａ％の位置、Ａ％～Ｂ％の位置、Ｂ％～Ｃ％の位置と定められている。そして、特徴量算出部１０５は、上位胸椎の頭側の端点における脊柱エッジ点群Ｐに対する法線と、上位胸椎の尾側の端点における脊柱エッジ点群Ｐに対する法線とのなす角を上位胸椎彎曲角度として算出する。
同様に、特徴量算出部１０５は、下位胸椎の頭側の端点における脊柱エッジ点群Ｐに対する法線と、下位胸椎の尾側の端点における脊柱エッジ点群Ｐに対する法線とのなす角を下位胸椎彎曲角度として算出する。
また、特徴量算出部１０５は、腰椎の頭側の端点における脊柱エッジ点群Ｐに対する法線と、腰椎の尾側の端点における脊柱エッジ点群Ｐに対する法線とのなす角を腰椎彎曲角度として算出する。

次に、図８を参照しながら、特徴量算出部１０５の股関節角度の算出処理について、詳細に説明する。特徴量算出部１０５は、脊柱エッジ点群Ｐの尾側の端点Ｐ５における脊柱エッジ点群Ｐに対する接線ｌ_４を求める。当該接線ｌ_４は、仙骨後面の角度を表している。次いで、特徴量算出部１０５は、股関節キーポイントＰ２と膝関節キーポイントＰ３とを結ぶ線分ｌ_３と、接線ｌ_４とのなす角θ_４を股関節角度として算出する。

そして、特徴量算出部１０５は、特徴量として算出した脊柱曲率、脊柱彎曲角度、股関節角度、上位胸椎彎曲角度、下位胸椎彎曲角度、腰椎彎曲角度等を状態推定部１０６に入力する。

状態推定部１０６は、特徴量算出部１０５から入力された特徴量に基づいて、少なくとも脊柱の状態を推定する。具体的には、状態推定部１０６は、特徴量算出部１０５から入力された脊柱曲率、脊柱彎曲角度、股関節角度、上位胸椎彎曲角度、下位胸椎彎曲角度、腰椎彎曲角度等に基づいて、上位胸椎、下位胸椎、腰椎、腰椎仙骨移行部（Ｌ５／Ｓ１）、股関節の状態を推定する。
そして、状態推定部１０６は、推定結果を画像生成部１０７に入力する。

例えば、状態推定部１０６は、特徴量算出部１０５から入力された脊柱曲率に基づいて、脊柱の各部分の曲がり具合を推定する。例えば、脊柱エッジ点群Ｐのある点における脊柱曲率の符号がプラスの場合、当該点における脊柱の曲がり具合は、撮像部１０１によって撮像された画像に映る人物Ｏの前側に凸であるとする。この場合、脊柱エッジ点群Ｐの当該点における脊柱曲率の符号がマイナスの場合、当該点における脊柱の曲がり具合は当該人物Ｏの後ろ側に凸である。そのため、状態推定部１０６は、脊柱曲率の符号に基づいて、脊柱の各部分の曲がり具合を推定する。換言すれば、状態推定部１０６は、脊柱曲率の符号がプラスの場合、当該点における脊柱の曲がり具合を当該人物Ｏの前側に凸であると推定する。また、状態推定部１０６は、脊柱曲率の符号がマイナスの場合、当該点における脊柱の曲がり具合を当該人物Ｏの後ろ側に凸であると推定する。

また、状態推定部１０６は、姿勢判断部１０４から入力された姿勢の種類と、特徴量算出部１０５から入力された特徴量とに基づいて、脊柱等の状態を推定する。具体的には、予め、姿勢の種類と、当該姿勢における特徴量の基準値とを対応付けた基準値リスト１１２が記憶部１１０に記憶されている。そして、状態推定部１０６は、姿勢判断部１０４から入力された姿勢の種類と、特徴量算出部１０５から入力された特徴量とに基づいて、基準値リスト１１２を参照することにより、脊柱等の状態を推定する。ここで、基準値とは、脊柱等の身体部位が正常である場合に特徴量が取り得る範囲の値である。

例えば、図９に示すように、状態推定部１０６は、姿勢の種類が前屈である場合の上位胸椎彎曲角度の基準値と、特徴量算出部１０５から入力された上位胸椎彎曲角度とを比較することにより、上位胸椎の状態を「過屈曲」と推定する。
同様に、状態推定部１０６は、姿勢の種類が前屈である場合の下位胸椎彎曲角度の基準値と、特徴量算出部１０５から入力された下位胸椎彎曲角度とを比較することにより、下位胸椎の状態を「屈曲不足」と推定する。
同様に、状態推定部１０６は、姿勢の種類が前屈である場合の腰椎彎曲角度の基準値と、特徴量算出部１０５から入力された腰椎彎曲角度とを比較することにより、腰椎の状態を「正常」と推定する。
同様に、状態推定部１０６は、姿勢の種類が前屈である場合の腰椎彎曲角度の基準値と、特徴量算出部１０５から入力された腰椎彎曲角度とを比較することにより、腰椎仙骨移行部（Ｌ５／Ｓ１）の状態を「正常」と推定する。
同様に、状態推定部１０６は、姿勢の種類が前屈である場合の股関節角度の基準値と、特徴量算出部１０５から入力された股関節角度とを比較することにより、股関節の状態を「屈曲不足」と推定する。

また、記憶部１１０に、予め、機械学習済みの状態推定モデル（不図示）が格納されており、状態推定部１０６は、当該状態推定モデルを用いて、少なくとも脊柱の状態を推定してもよい。具体的には、記憶部１１０に、予め、少なくとも脊柱に関する特徴量と、正解データとしての「過屈曲」、「正常」、又は「屈曲不足」等の状態ラベルとが対応付けられた教師データが記憶されていてもよい。そして、記憶部１１０に、予め、当該教師データを用いて機械学習済みの状態推定モデルが記憶されていてもよい。

画像生成部１０７は、脊柱抽出部１０３から入力された、正規化された画像、正規化されたキーポイントＰ１，Ｐ２，Ｐ３、及び抽出された脊柱エッジ点群Ｐと、状態推定部１０６から入力された推定結果とに基づいて、表示部１０８が表示する推定結果表示画像を生成する。
また、画像生成部１０７は、脊柱抽出部１０３から入力された、正規化された画像及び抽出された脊柱エッジ点群Ｐに基づいて、ユーザが脊柱エッジ点群Ｐを修正するための修正用画像を生成してもよい。
そして、画像生成部１０７は、生成した画像を表示部１０８に入力する。

表示部１０８は、画像生成部１０７から入力された推定結果表示画像を表示する。表示部１０８は、ＬＣＤ（Liquid Crystal Display），ＬＥＤ（Light Emitting Diode）等、様々な表示手段によって構成される。図１０に、表示部１０８に表示される推定結果表示画像の一例を示す。また、図１１に、表示部１０８に表示される推定結果表示画像の他の一例を示す。

図１０に示す例では、姿勢評価装置１００Ａの表示部１０８の上側に、撮像部１０１が撮像した画像にキーポイントＰ６及び当該キーポイントＰ６を結ぶ線分ｌ_５が重ね合された画像部分Ｇ１が表示され、表示部１０８の下側に、状態推定部１０６の推定結果を示す画像部分Ｇ２が表示されている。また、推定結果を示す画像部分Ｇ２において、「正常」以外の推定結果が、太字や赤字等で強調されて表示されてもよい。

図１１に示す例では、姿勢評価装置１００Ａの表示部１０８に、キーポイントＰ７及び状態推定部１０６の推定結果に基づいて色分けされた脊柱エッジ点群Ｐを、撮像部１０１が撮像した画像に重ね合せた画像Ｇ３が表示されている。例えば、図１１に示す表示部１０８では、脊柱エッジ点群Ｐの各部Ａ，Ｂ，Ｃ，Ｄ，Ｅが撮像部１０１に撮像された画像に映る人物Ｏの前側に凸であるか、後ろ側に凸であるかに基づいて色分けされて表示されている。また、脊柱エッジ点群Ｐの各部Ａ，Ｂ，Ｃ，Ｄ，Ｅの色分けは、各部Ａ，Ｂ，Ｃ，Ｄ，Ｅの突出度合い（脊柱曲率の値の大小）に基づいて行われている。
また、表示部１０８は、脊柱エッジ点群Ｐを、例えば、上位胸椎、下位胸椎、腰椎の部分に分けて、それぞれの部分の状態に応じた色で表示してもよい。
さらに、脊柱エッジ点群Ｐの色分けは、徐々に色が変化するグラデーションで行われてもよい。

また、表示部１０８は、画像生成部１０７から入力された修正用画像を表示してもよい。これにより、例えば、脊柱抽出部１０３による脊柱エッジ点群Ｐの抽出した範囲が間違っている場合に、ユーザが当該修正要画面上に表示された脊柱エッジ点群Ｐをドラッグすることにより修正することができる。

入力部１０９は、ユーザからの操作指示を受け付ける。入力部１０９は、キーボードにより構成されてもよいし、タッチパネル式の表示装置によって構成されてもよい。入力部１０９は、姿勢評価装置１００Ａ本体と接続されるキーボードやタッチパネルによって構成されてもよい。

記憶部１１０は、基準値リスト１１２、骨格データベース１１３，骨格抽出モデル１１４等を記憶している。また、記憶部１１０は、処理に必要な各種のプログラムや各種のデータが固定的に記憶されている不揮発性のメモリ（例えば、ＲＯＭ（Read Only Memory））を含むことができる。また、記憶部１１０は、ＨＤＤ（Hard Disk Drive）やＳＳＤを用いるものであってもよい。さらに、記憶部１１０は、作業領域として用いられる揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））を含むことができる。上記プログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよいし、ネットワーク上のサーバ装置からダウンロードされてもよい。

基準値リスト１１２は、姿勢の種類と、当該姿勢における特徴量の基準値とが対応付けられたリストである。図１２に、基準値リスト１１２のデータ構造の一例を示す。図１２に示すように、基準値リスト１１２は、姿勢の種類１１２Ａと、当該姿勢における脊柱曲率の基準値１１２Ｂと、脊柱彎曲角度の基準値１１２Ｃと、股関節角度の基準値１１２Ｄと、上位胸椎彎曲角度の基準値１１２Ｅ、下位胸椎彎曲角度の基準値１１２Ｆ、腰椎彎曲角度の基準値１１２Ｇとを対応付けてリストアップしたリストである。

骨格データベース１１３は、身体の側面を撮像して得られた複数の画像について、当該画像と、正解ラベルとしてのキーポイントの位置情報とが対応付けられたデータベースである。

骨格抽出モデル１１４は、身体の側面を撮像して得られた画像からキーポイントの位置情報を抽出する機械学習モデルである。換言すれば、骨格抽出モデル１１４は、身体の側面を撮像して得られた画像を入力として、キーポイントの位置情報を推論して出力する機械学習モデルである。なお、本明細書において、機械学習は深層学習であってもよいが、特に限定されない。

通信部１１１は、外部のサーバや他の端末装置等と通信を行う。通信部１１１は、無線通信を行うアンテナ（不図示）を備えてもよいし、有線通信を行うためのＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）等のインタフェースを備えてもよい。

次に、図１３を参照しながら、本実施の形態２に係る姿勢評価方法について説明する。まず、撮像部１０１が身体の側面を撮像し（ステップＳ１０１）、得られた画像を骨格抽出部１０２及び脊柱抽出部１０３に入力する。

次に、骨格抽出部１０２が、ステップＳ１０１において撮像部１０１が撮像した画像から、キーポイントの位置情報を抽出し（ステップＳ１０２）、抽出したキーポイントの位置情報を脊柱抽出部１０３に入力する。例えば、骨格抽出部１０２は、隆椎キーポイントＰ１、股関節キーポイントＰ２、膝関節キーポイントＰ３の位置情報を抽出する。

次に、脊柱抽出部１０３が、ステップＳ１０１において撮像部１０１が撮像した画像と、ステップＳ１０２において骨格抽出部１０２が抽出したキーポイントＰ１，Ｐ２，Ｐ３の位置情報とに基づいて、脊柱エッジ点群を抽出する。（ステップＳ１０３）。具体的には、脊柱抽出部１０３は、撮像部１０１が撮像した画像を正規化し、線分ｌ_{ｔｒｕｎｋ}と線分ｌ_{ｔｈｉｇｈ}とのなす角の外角θ_０を算出し、脊柱エッジ点群Ｐを抽出する。そして、脊柱抽出部１０３は、算出した外角θ_０を姿勢判断部１０４に入力する。また、脊柱抽出部１０３は、キーポイントＰ１，Ｐ２，Ｐ３と脊柱エッジ点群Ｐとを特徴量算出部１０５に入力する。また、脊柱抽出部１０３は、正規化した画像とキーポイントＰ１，Ｐ２，Ｐ３と脊柱エッジ点群Ｐとを画像生成部１０７に入力する。

次に、特徴量算出部１０５が、脊柱抽出部１０３から入力されたキーポイントＰ１，Ｐ２，Ｐ３と脊柱エッジ点群Ｐとに基づいて、脊柱曲率、脊柱彎曲角度、股関節角度、上位胸椎彎曲角度、下位胸椎彎曲角度、腰椎彎曲角度等を特徴量として算出する。（ステップＳ１０４）。そして、特徴量算出部１０５は、算出した脊柱曲率、脊柱彎曲角度、股関節角度、上位胸椎彎曲角度、下位胸椎彎曲角度、腰椎彎曲角度等を状態推定部１０６に入力する。

また、姿勢判断部１０４が、脊柱抽出部１０３から入力された外角θ_０に基づいて、撮像部１０１が撮像した画像に映る人物Ｏの姿勢の種類を判断する（ステップＳ１０５）。そして、姿勢判断部１０４は、判断した姿勢の種類を状態推定部１０６に入力する。

次に、状態推定部１０６が、姿勢判断部１０４から入力された姿勢の種類と、特徴量算出部１０５から入力された脊柱曲率、脊柱彎曲角度、股関節角度、上位胸椎彎曲角度、下位胸椎彎曲角度、腰椎彎曲角度等とに基づいて、上位胸椎、下位胸椎、腰椎、腰椎仙骨移行部（Ｌ５／Ｓ１）、股関節の状態を推定する（ステップＳ１０６）。そして、状態推定部１０６は、推定結果を画像生成部１０７に入力する。

次に、画像生成部１０７が、ステップＳ１０１において撮像された画像と、ステップＳ１０６において推定された上位胸椎、下位胸椎、腰椎、腰椎仙骨移行部（Ｌ５／Ｓ１）、股関節の状態とに基づいて、表示部１０８に表示される画像を生成する（ステップＳ１０７）。そして、画像生成部１０７が画像は、表示部１０８に入力される。

次に、表示部１０８が、ステップＳ１０７において生成された画像を表示し（ステップＳ１０８）、本処理を終了する。

なお、キーポイントＰ１，Ｐ２，Ｐ３は、表示部１０８に撮像部１０１が撮像した画像が表示され、ユーザが入力部１０９を操作することにより、指定されてもよい。この場合、ステップＳ１０２の処理は省略されてもよい。
また、ステップＳ１０３の処理の後、ステップＳ１０４の処理の前において、ステップＳ１０３において抽出された脊柱エッジ点群Ｐを表示する修正用画像が表示部１０８に表示され、ユーザが当該修正要画面上に表示された脊柱エッジ点群Ｐをドラッグすることにより修正してもよい。
また、ステップＳ１０４の処理とステップＳ１０５の処理との順序は反対であってもよく、ステップＳ１０４の処理とステップＳ１０５の処理とは同時に行われてもよい。
また、ステップＳ１０６の処理が行われる前に、ユーザが入力部１０９を操作することによって姿勢の種類が指定されてもよい。この場合、ステップＳ１０５の処理は省略されてもよい。

本実施の形態２によれば、比較的安価に高い精度で姿勢を評価することができる姿勢評価装置１００Ａを提供することができる。具体的には、脊柱抽出部１０３によって画像上の脊柱形状を表す脊柱エッジ点群Ｐが抽出され、特徴量算出部１０５によって、画像上のキーポイントＰ１，Ｐ２，Ｐ３と脊柱エッジ点群Ｐとに基づいて、特徴量として、脊柱曲率、脊柱彎曲角度、股関節角度、上位胸椎彎曲角度、下位胸椎彎曲角度、腰椎彎曲角度が算出される。そして、状態推定部１０６によって、当該特徴量に基づいて、上位胸椎、下位胸椎、腰椎、腰椎仙骨移行部（Ｌ５／Ｓ１）、股関節の状態が推定される。換言すれば、画像上の脊柱形状に基づいて姿勢を評価することができるため、高い精度で姿勢を評価することができる。さらに、高価な専門機器を用いずとも脊柱形状に基づいて姿勢評価を行うことができるため、比較的安価に姿勢を評価することができる。よって、比較的安価に高い精度で姿勢を評価することができる姿勢評価装置１００Ａを提供することができる。

また、骨格抽出部１０２によって、撮像部１０１が撮像した画像からキーポイントＰ１，Ｐ２，Ｐ３が抽出される。これにより、ユーザが当該画像上のキーポイントＰ１，Ｐ２，Ｐ３を指定する必要がない。
また、骨格抽出部１０２は、学習済みの骨格抽出モデル１１４を用いて、撮像部１０１によって撮像された２次元画像の左右又は水平方向であるｘ方向、上下又は垂直方向であるｙ方向、に加えて、奥行方向であるｚ方向で定義される３次元座標で表されるキーポイントを抽出してもよい。これにより、より精密な姿勢評価を行うことが可能となる。

また、状態推定部１０６が、姿勢の種類と、特徴量とに基づいて、基準値リスト１１２を参照することにより、脊柱等の状態を推定する。ここで、基準値とは、脊柱等の身体部位が正常である場合に特徴量が取り得る範囲の値である。そのため、状態推定部１０６は、脊柱等の身体部位が正常であるか否かを推定することができる。

また、姿勢判断部１０４によって、骨格抽出部１０２によって抽出されたキーポイントに基づいて、姿勢評価を行う人物Ｏの姿勢の種類が判断される。そのため、姿勢評価を行う姿勢の種類をユーザが指定する必要がない。

また、表示部１０８によって、撮像部１０１が撮像した画像と、状態推定部１０６による推定結果とを表示する推定結果表示画像が表示される。これにより、ユーザは、姿勢の状態を視覚的にとらえることができる。

また、表示部１０８によって、状態推定部１０６によって推定された状態が、脊柱エッジ点群Ｐを色分けすることにより表示される。これにより、ユーザは、姿勢の状態を視覚的にとらえることができる。

実施の形態３
次に、図１４を参照しながら、本実施の形態３に係る姿勢評価装置１００Ｂについて説明する。図１４は、本実施の形態３に係る姿勢評価装置１００Ｂの構成を示すブロック図である。実施の形態３に係る姿勢評価装置１００Ｂは、第１撮像部１０１Ａ及び第２撮像部１０１Ｂを備える点が、実施の形態２に係る姿勢評価装置１００Ａと異なる。また、図１５に示すように、画像生成部１０７Ａが生成する画像、すなわち表示部１０８Ａに表示される画像も異なる。そのため、実施の形態３に係る姿勢評価装置１００Ｂの構成のうち、実施の形態２に係る姿勢評価装置１００Ａと同一の構成については同一の符号を付すとともに、その説明を省略する。

第１撮像部１０１Ａは、実施の形態２に係る撮像部１０１と同様に、対象者の身体の側面を撮像して画像を取得する。第１撮像部１０１Ａは、撮像した画像を、骨格抽出部１０２、脊柱抽出部１０３、及び画像生成部１０７Ａに入力する。
また、第１撮像部１０１Ａは、実施の形態２に係る撮像部１０１と同様に、対象者の身体の側面を動画撮影して画像を取得してもよい。この場合、ユーザが入力部１０９を操作して、表示部１０８Ａに表示された画像選択領域Ｇ４（図１５参照）において、姿勢評価を行う時点を指定する。そして、ユーザによって指定された時点の画像が骨格抽出部１０２及び脊柱抽出部１０３に入力される。本実施の形態３では、第１撮像部１０１Ａが対象者の側面を動画撮影する場合を例に挙げて説明する。

第２撮像部１０１Ｂは、第１撮像部１０１Ａと同時に、対象者の身体の他の面を撮像する。ここで、対象者の身体の他の面とは、対象者の身体の側面以外であれば、どの面であってもよい。第２撮像部１０１Ｂは、撮像した画像を、画像生成部１０７Ａに入力する。
また、第２撮像部１０１Ｂは、対象者の身体の他の面を動画撮影して画像を取得してもよい。本実施の形態３では、第２撮像部１０１Ｂが対象者の身体の正面を動画撮影する場合を例に挙げて説明する。

画像生成部１０７Ａは、第２撮像部１０１Ｂから入力された画像に基づいて、表示部１０８Ａが表示する画像選択領域Ｇ４を生成する。図１５に示すように、画像選択領域Ｇ４は、第２撮像部１０１Ｂから入力された動画の複数のサムネイル画像Ｇ５が時間スケールＴ１に沿って並べられるとともに、姿勢評価を行う時点を指定するための指定バーＴ２が時間スケールＴ１に沿って移動可能に表示された画像領域である。
また、画像生成部１０７Ａは、表示部１０８Ａに表示された画像選択領域Ｇ４においてユーザが指定した時点の画像を表示する正面画像を示す正面画像領域Ｇ６を生成する。
また、画像生成部１０７Ａは、脊柱抽出部１０３から入力された、正規化された画像及びキーポイントに基づいて、当該画像にキーポイントＰ８及び当該キーポイントＰ８を結ぶ線分ｌ_６が重ね合された側面画像部分Ｇ７を生成する。
また、画像生成部１０７Ａは、状態推定部１０６から入力された推定結果に基づいて、状態推定部１０６の推定結果を示す結果画像領域Ｇ８を生成する。
そして、画像生成部１０７Ａは、生成した画像選択領域Ｇ４、正面画像領域Ｇ６、側面画像領域Ｇ７、結果画像領域Ｇ８を表示部１０８Ａに入力する。

表示部１０８Ａは、画像生成部１０７から入力された画像選択領域Ｇ４、正面画像領域Ｇ６、側面画像領域Ｇ７、結果画像領域Ｇ８を表示する。図１５に、表示部１０８Ａに表示される画像の一例を示す。

図１５に示す例では、姿勢評価装置１００Ｂの表示部１０８Ａの下側に画像選択領域Ｇ４が表示され、表示部１０８Ａの上側の左側に正面画像領域Ｇ６が表示され、表示部１０８Ａの上側の中央に側面画像領域Ｇ７が表示され、表示部１０８Ａの上側の右側に結果画像領域Ｇ８が表示されている。そして、図１５に示す例では、画像選択領域Ｇ４において、ユーザによって指定バーＴ２が移動されて、０分１１秒が姿勢評価を行う時点として指定されている。

本実施の形態３によれば、ユーザは、表示部１０８Ａに表示された正面画像領域Ｇ６を確認することにより、身体の側面を確認するだけでは分からない姿勢についての情報を確認することができる。例えば、ユーザは、正面画像領域Ｇ６から身体の左右が均等に動いているか否かを確認することができる。

実施の形態４
次に、図１６を参照しながら、本実施の形態４に係る姿勢評価システム２００について説明する。図１６は、本実施の形態４に係る姿勢評価システム２００の構成を示す図である。姿勢評価システム２００は、図１６に示すように、姿勢評価装置１００Ｃ、姿勢評価装置１００Ｃと通信可能な対象者端末３００とを備える。姿勢評価装置１００Ｃと対象者端末３００とはネットワークＮを介して通信可能となっている。また、図１６に示すように、１以上の対象者端末３００，・・・が姿勢評価装置１００Ｃと通信可能となっていてもよい。
また、対象者端末３００は、対象者が所持するスマートフォン、タブレット端末、パーソナルコンピュータ等である。

実施の形態４に係る姿勢評価装置１００Ｃは、対象者端末３００から、対象者の身体の側面を撮像した画像を取得する。そのため、姿勢評価装置１００Ｃは、撮像部１０１が省略されてもよい点が実施の形態２に係る姿勢評価装置１００Ａと異なる。
また、姿勢評価装置１００Ｃの画像生成部１０７が作成した推定結果表示画像は、対象者端末３００に送信され、対象者端末３００の表示部（不図示）に表示されてもよい。

対象者端末３００は、対象者の身体の側面を撮像する撮像部（不図示）を備える。対象者端末３００は、当該画像を姿勢評価装置１００Ｃに送信する。

その他の実施の形態
次に、その他の実施の形態に係る姿勢評価方法について簡単に説明する。その他の実施の形態に係る姿勢評価システムは、姿勢評価システム２００の変形例である。その他の実施の形態に係る姿勢評価装置１００Ｃは、対象者端末３００から、対象者の身体の側面及び他の面を同時に撮像した画像を取得する。この場合、姿勢評価装置１００Ｃは、第１撮像部１０１Ａ及び第２撮像部１０１Ｂが省略されてもよい点が実施の形態３に係る姿勢評価装置１００Ｂと異なる。
また、姿勢評価装置１００Ｃの画像生成部１０７Ａが作成した画像選択領域Ｇ４、正面画像領域Ｇ６、側面画像領域Ｇ７、結果画像領域Ｇ８は、対象者端末３００に送信され、対象者端末３００の表示部（不図示）に表示されてもよい。

対象者端末３００は、対象者の身体の側面を撮像する第１撮像部（不図示）、及び第１撮像部と同時に対象者の身体の他の面を撮像する第２撮像部（不図示）を備える。対象者端末３００は、身体の側面を撮像した画像及び身体の他の面を撮像した画像を姿勢評価装置１００Ｃに送信する。

本実施の形態４及びその他の実施の形態によれば、対象者端末３００において対象者の身体の少なくとも側面が撮像され、取得された画像がネットワークＮ経由で姿勢評価装置１００Ｃに送信され、当該姿勢評価装置１００Ｃにおいて姿勢評価を行うことができる。そのため、例えば、対象者と評価者とが離れた場所にいても、評価者はリモートで対象者の姿勢を評価することができる。本実施の形態４又はその他の実施の形態に係る姿勢評価システム２００は、例えば、リモートセラピーやリモートトレーニング等の場面で特に有利な効果を奏する。

上述の実施の形態では、本開示をハードウェアの構成として説明したが、本開示は、これに限定されるものではない。本開示は、図１３のフローチャートに記載の処理手順及びその他の実施の形態に記載の処理手順を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。

上記の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。例えば、対象者が身体のラインが出にくい服装をしている場合、脊柱抽出部１０３は、エッジ抽出処理によって抽出したエッジ点群をそのまま候補エッジ点群として用いて、脊柱エッジ点群Ｐを抽出することはできない。そのため、脊柱抽出部１０３は、エッジ抽出処理によって抽出したエッジ点群と、隆椎キーポイントＰ１、股関節キーポイントＰ２、及び膝関節キーポイントＰ３とに基づいて、候補エッジ点群の推定処理を行ってもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
対象者の身体の側面を撮像して得られた画像と、前記画像上の前記身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、前記画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出する脊柱抽出手段と、
前記位置情報と前記脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出する特徴量算出手段と、
前記特徴量に基づいて、少なくとも脊柱の状態を推定する状態推定手段と、
を備える、姿勢評価装置。
（付記２）
前記画像から前記位置情報を抽出する骨格抽出手段を備える、
付記１に記載の姿勢評価装置。
（付記３）
前記身体の姿勢の種類と、前記姿勢の種類における前記特徴量の基準値とを対応付けて記憶する記憶手段を備え、
前記状態推定手段は、前記姿勢の種類と、前記特徴量算出手段によって算出された前記特徴量と、前記基準値とに基づいて、少なくとも脊柱の状態を推定する、
付記１又は２に記載の姿勢評価装置。
（付記４）
前記位置情報に基づいて前記姿勢の種類を判断する姿勢判断手段を備える、
付記３に記載の姿勢評価装置。
（付記５）
前記画像と、前記状態推定手段によって推定された前記状態とを表示する表示手段を備える、
付記１～４の何れか１つに記載の姿勢評価装置。
（付記６）
前記表示手段は、前記状態を、前記脊柱エッジ点群を色分けして表示する、
付記５に記載の姿勢評価装置。
（付記７）
前記表示手段は、前記脊柱抽出手段によって前記脊柱エッジ点群が抽出された場合に、前記画像とともに、前記脊柱エッジ点群をユーザによる修正が可能なように表示する、
付記５又は６に記載の姿勢評価装置。
（付記８）
前記身体の側面を撮像する第１撮像手段と、前記第１撮像手段と同時に前記身体の他の面を撮像する第２撮像手段と、を備え、
前記表示手段は、前記第１撮像手段によって撮像された前記身体の側面の画像とともに前記第２撮像手段によって撮像された前記身体の他の面の画像を表示する、
付記５～７の何れか１つに記載の姿勢評価装置。
（付記９）
姿勢評価装置と、前記姿勢評価装置と通信可能な対象者端末とを備え、
前記姿勢評価装置は、
前記対象者端末によって取得された対象者の身体の側面の画像と、前記画像上の前記身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、前記画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出する脊柱抽出手段と、
前記位置情報と前記脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出する特徴量算出手段と、
前記特徴量に基づいて、少なくとも脊柱の状態を推定する状態推定手段と、
を備える、姿勢評価システム。
（付記１０）
前記姿勢評価装置は、
前記画像から前記位置情報を抽出する骨格抽出手段を備える、
付記９に記載の姿勢評価システム。
（付記１１）
前記姿勢評価装置は、
前記身体の姿勢の種類と、前記姿勢の種類における前記特徴量の基準値とを対応付けて記憶する記憶手段を備え、
前記状態推定手段は、前記姿勢の種類と、前記特徴量算出手段によって算出された前記特徴量と、前記基準値とに基づいて、少なくとも脊柱の状態を推定する、
付記９又は１０に記載の姿勢評価システム。
（付記１２）
前記姿勢評価装置は、
前記位置情報に基づいて前記姿勢の種類を判断する姿勢判断手段を備える、
付記１１に記載の姿勢評価システム。
（付記１３）
前記姿勢評価装置は、
前記画像と、前記状態推定手段によって推定された前記状態とを表示する表示手段を備える、
付記９～１２の何れか１つに記載の姿勢評価システム。
（付記１４）
前記表示手段は、前記状態を、前記脊柱エッジ点群を色分けして表示する、
付記１３に記載の姿勢評価システム。
（付記１５）
前記表示手段は、前記脊柱抽出手段によって前記脊柱エッジ点群が抽出された場合に、前記画像とともに、前記脊柱エッジ点群をユーザによる修正が可能なように表示する、
付記１３又は１４に記載の姿勢評価システム。
（付記１６）
前記姿勢評価装置は、
前記身体の側面を撮像する第１撮像手段と、前記第１撮像手段と同時に前記身体の他の面を撮像する第２撮像手段と、を備え、
前記表示手段は、前記第１撮像手段によって撮像された前記身体の側面の画像とともに前記第２撮像手段によって撮像された前記身体の他の面の画像を表示する、
付記１３～１５の何れか１つに記載の姿勢評価システム。
（付記１７）
姿勢評価装置が、
対象者の身体の側面を撮像して得られた画像と、前記画像上の前記身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、前記画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出し、
前記位置情報と前記脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出し、
前記特徴量に基づいて、少なくとも脊柱の状態を推定する、
姿勢評価方法。
（付記１８）
前記姿勢評価装置が、
前記画像から前記位置情報を抽出する、
付記１７に記載の姿勢評価方法。
（付記１９）
前記姿勢評価装置が、
前記身体の姿勢の種類と、前記姿勢の種類における前記特徴量の基準値とを対応付けて記憶し、
前記姿勢の種類と前記特徴量と前記基準値とに基づいて、少なくとも脊柱の状態を推定する、
付記１７又は１８に記載の姿勢評価方法。
（付記２０）
前記姿勢評価装置が、
前記位置情報に基づいて前記姿勢の種類を判断する、
付記１９に記載の姿勢評価方法。
（付記２１）
前記姿勢評価装置が、
前記画像と前記状態とを表示する、
付記１７～２０の何れか１つに記載の姿勢評価方法。
（付記２２）
前記姿勢評価装置が、
前記状態を、前記脊柱エッジ点群を色分けして表示する、
付記１７～２１の何れか１つに記載の姿勢評価方法。
（付記２３）
前記姿勢評価装置が、
前記脊柱エッジ点群を抽出した場合に、前記画像とともに、前記脊柱エッジ点群をユーザによる修正が可能なように表示する、
付記１７～２２の何れか１つに記載の姿勢評価方法。
（付記２４）
前記姿勢評価装置が、
前記身体の側面を撮像すると同時に前記身体の他の面を撮像し、
撮像した前記身体の側面の画像とともに撮像した前記身体の他の面の画像を表示する、
付記１７～２３の何れか１つに記載の姿勢評価方法。
（付記２５）
姿勢評価装置に、
対象者の身体の側面を撮像して得られた画像と、前記画像上の前記身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、前記画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出する処理と、
前記位置情報と前記脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出する処理と、
前記特徴量に基づいて、少なくとも脊柱の状態を推定する処理と、
を実行させるプログラムを格納する非一時的なコンピュータ可読媒体。
（付記２６）
前記姿勢評価装置に、
前記画像から前記位置情報を抽出する処理
を実行させるプログラムを格納する、付記２５に記載の非一時的なコンピュータ可読媒体。
（付記２７）
前記姿勢評価装置に、
前記身体の姿勢の種類と、前記姿勢の種類における前記特徴量の基準値とを対応付けて記憶する処理と、
前記姿勢の種類と前記特徴量と前記基準値とに基づいて、少なくとも脊柱の状態を推定する処理と、
を実行させるプログラムを格納する、付記２５又は２６に記載の非一時的なコンピュータ可読媒体。
（付記２８）
前記姿勢評価装置に、
前記位置情報に基づいて前記姿勢の種類を判断する処理、
を実行させるプログラムを格納する、付記２７に記載の非一時的なコンピュータ可読媒体。
（付記２９）
前記姿勢評価装置に、
前記画像と前記状態とを表示する処理、
を実行させるプログラムを格納する、付記２５～２８の何れか１つに記載の非一時的なコンピュータ可読媒体。
（付記３０）
前記姿勢評価装置に、
前記状態を、前記脊柱エッジ点群を色分けして表示する処理、
を実行させるプログラムを格納する、付記２５～２９の何れか１つに記載の非一時的なコンピュータ可読媒体。
（付記３１）
前記姿勢評価装置に、
前記脊柱エッジ点群を抽出した場合に、前記画像とともに、前記脊柱エッジ点群をユーザによる修正が可能なように表示する処理、
を実行させるプログラムを格納する、付記２５～３０の何れか１つに記載の非一時的なコンピュータ可読媒体。
（付記３２）
前記姿勢評価装置に、
前記身体の側面を撮像すると同時に前記身体の他の面を撮像する処理と、
撮像した前記身体の側面の画像とともに撮像した前記身体の他の面の画像を表示する処理と、
を実行させるプログラムを格納する、付記２５～３１の何れか１つに記載の非一時的なコンピュータ可読媒体。

この出願は、２０２２年３月３１日に出願された日本出願特願２０２２－０５８１９８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００、１００Ａ、１００Ｂ、１００Ｃ姿勢評価装置
１０１撮像部（撮像手段）
１０１Ａ第１撮像部（第１撮像手段）
１０１Ｂ第２撮像部（第２撮像手段）
１０２骨格抽出部（骨格抽出手段）
１０３脊柱抽出部（脊柱抽出手段）
１０４姿勢判断部（姿勢判断手段）
１０５特徴量算出部（特徴量算出手段）
１０６状態推定部（状態推定手段）
１０７、１０７Ａ画像生成部
１０８、１０８Ａ表示部（表示手段）
１０９入力部
１１０記憶部（記憶手段）
１１１通信部
１１２基準値リスト
１１３骨格ＤＢ（骨格データベース）
１１４骨格抽出モデル
２００姿勢評価システム
３００対象者端末

Claims

対象者の身体の側面を撮像して得られた画像と、前記画像上の前記身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、前記画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出する脊柱抽出手段と、
前記位置情報と前記脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出する特徴量算出手段と、
前記特徴量に基づいて、少なくとも脊柱の状態を推定する状態推定手段と、
を備える、姿勢評価装置。
前記画像から前記位置情報を抽出する骨格抽出手段を備える、
請求項１に記載の姿勢評価装置。
前記身体の姿勢の種類と、前記姿勢の種類における前記特徴量の基準値とを対応付けて記憶する記憶手段を備え、
前記状態推定手段は、前記姿勢の種類と、前記特徴量算出手段によって算出された前記特徴量と、前記基準値とに基づいて、少なくとも脊柱の状態を推定する、
請求項１に記載の姿勢評価装置。
前記位置情報に基づいて前記姿勢の種類を判断する姿勢判断手段を備える、
請求項３に記載の姿勢評価装置。
前記画像と、前記状態推定手段によって推定された前記状態とを表示する表示手段を備える、
請求項１～４の何れか一項に記載の姿勢評価装置。
前記表示手段は、前記状態を、前記脊柱エッジ点群を色分けして表示する、
請求項５に記載の姿勢評価装置。
前記表示手段は、前記脊柱抽出手段によって前記脊柱エッジ点群が抽出された場合に、前記画像とともに、前記脊柱エッジ点群をユーザによる修正が可能なように表示する、
請求項５に記載の姿勢評価装置。
姿勢評価装置と、前記姿勢評価装置と通信可能な対象者端末とを備え、
前記姿勢評価装置は、
前記対象者端末によって取得された対象者の身体の側面の画像と、前記画像上の前記身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、前記画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出する脊柱抽出手段と、
前記位置情報と前記脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出する特徴量算出手段と、
前記特徴量に基づいて、少なくとも脊柱の状態を推定する状態推定手段と、
を備える、姿勢評価システム。
姿勢評価装置が、
対象者の身体の側面を撮像して得られた画像と、前記画像上の前記身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、前記画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出し、
前記位置情報と前記脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出し、
前記特徴量に基づいて、少なくとも脊柱の状態を推定する、
姿勢評価方法。
姿勢評価装置に、
対象者の身体の側面を撮像して得られた画像と、前記画像上の前記身体の少なくとも頸椎、股関節、膝関節の位置情報とに基づいて、前記画像上における脊柱形状を表す所定の数の点からなる脊柱エッジ点群を抽出する処理と、
前記位置情報と前記脊柱エッジ点群とに基づいて、少なくとも脊柱に関する特徴量を算出する処理と、
前記特徴量に基づいて、少なくとも脊柱の状態を推定する処理と、
を実行させるプログラム。