JP7648501B2

JP7648501B2 - 姿勢推定装置、方法およびプログラム

Info

Publication number: JP7648501B2
Application number: JP2021169151A
Authority: JP
Inventors: 智尋中塚; 賢史小森田
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2021-10-14
Filing date: 2021-10-14
Publication date: 2025-03-18
Anticipated expiration: 2041-10-14
Also published as: JP2023059174A

Description

本発明は、画像に映った物体の姿勢を推定する姿勢推定装置、方法およびプログラムに関する。

画像に映った物体の姿勢を推定する方法が特許文献1に開示されている。特許文献1は、第1撮影部により得られた物体の画像から第1の姿勢推定を行い、その結果と第2撮影部により得られた画像とを用いて第2の姿勢推定を行い、その結果を出力する。これにより、第1の姿勢推定では遮蔽などの影響により姿勢を推定できなかった箇所について第2の姿勢推定により補間できる場合がある。

非特許文献1には、画像から第1の姿勢推定を行い、そこで得られた画像の特徴量を組み合わせることで姿勢全体の位置関係をも考慮した特徴量を生成し、この特徴量を用いて第2の姿勢推定を行って結果を出力する技術が開示されている。これにより、第1の姿勢推定では遮蔽などの影響により姿勢を推定できなかった箇所について第2の姿勢推定により自然な形に補間・補正することができる。

非特許文献2には、画像から何らかの手段で第1の姿勢推定を行い、その結果を第2の姿勢推定部においてより自然な形に補正する技術が開示されている。第2の姿勢推定には、一般的な姿勢推定の誤りの分布を学習した畳み込みニューラルネットワーク（Convolutional Neural Network：CNN）が用いられる。

また、姿勢推定とは関係がないが、非特許文献3には欠損のある元画像を欠損のない自然な画像に補正するタスクにおいて、CNN内の各畳み込み層（以下Conv層）を、欠損ピクセルに由来する情報をフィルタする機能を有するGated Conv層に置き換えることで補正性能を改善する技術が開示されている。

特開2017-097577号公報

Y. Chen, Z. Wang, Y. Peng, Z. Zhang, G. Yu, and J. Sun, "Cascaded pyramid network for multi-person pose estimation," in Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 7103-7112. Moon, Gyeongsik, Ju Yong Chang, and Kyoung Mu Lee. "Posefix: Model-agnostic general human pose refinement network." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019. Yu, Jiahui, et al. "Free-form image inpainting with gated convolution." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019.

特許文献1および非特許文献1，2では、第1の姿勢推定の結果を前提に第2の姿勢推定を行うため、第1の姿勢推定の結果に誤りが多く含まれていると第2の姿勢推定による改善が難しい。場合によっては誤った結果の影響を強く受け、第2の姿勢推定によって精度が下がる可能性もある。

一方、第1の姿勢推定で誤った結果の出力を避けるには対象の位置や背景など撮影条件に制約がかかる。非特許文献3は姿勢推定技術への適用が考慮されていない。

本発明の目的は、上記の技術課題を解決し、第1の姿勢推定の出力に対し、姿勢の各部位の確からしさを判定することで、どの部分の情報が不確かあるいは欠落しているかを陽に扱い、補正の際に参照する情報を選択して第2の姿勢推定を行う姿勢推定装置、方法およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、カメラ画像に映った物体の姿勢を推定する姿勢推定装置において、以下の構成を具備した点に特徴がある。

(1) カメラ画像に映った姿勢推定対象の第1姿勢を推定する手段と、第1姿勢の部位ごとに確信度を取得する手段と、第1姿勢およびその確信度に基づいて第2姿勢を推定する手段とを具備し、第2姿勢を推定する手段は、第1姿勢の確信度が相対的に低い部位を確信度が相対的に高い部位に基づいて選択的に補正するようにした。

(2) 第2姿勢を推定する手段が、確信度に基づいて第1姿勢の補正対象部位を選択する手段と、補正対象部位を補正する手段とを具備した。

(3) 第2姿勢を推定する手段が畳み込みニューラルネットワークであり、畳み込み層が補正対象部位の畳み込みを行わないようにした。

(4) 畳み込み層がゲート付き畳み込み層であり、このゲート付き畳み込み層が、確信度でマスクされた第1姿勢の畳み込み後の中間特徴量の各要素に活性化関数を適用して補正対象を出力する手段と、確信度でマスクされた第1姿勢の畳み込み後の中間特徴量の各要素を前記確信度で正規化して信頼度を出力する手段とを具備し、補正対象から信頼度に基づいて選択した特徴量を更に畳み込むことを繰り返すようにした。

(5) 第2姿勢を推定する手段は、時刻tにおける第2姿勢を、時刻tならびにその前および後の少なくとも一方の時刻における各第1姿勢およびそれらの確信度に基づいて推定するようにした。

(1) 姿勢推定対象の一部が映っていない場合あるいは背景に姿勢推定対象と似た画像が含まれる場合など、撮影条件を制約しない場合に起こりうる困難な状況においても、第1姿勢の誤った推定結果が第2姿勢の推定へ与える悪影響を低減できるので、撮影条件への制約を必要とすることなく、より頑健で安定した動作が可能な姿勢推定を実現できるようになる。

(2) 第1姿勢の誤った推定部位を姿勢推定時に求まる確信度に基づいて判定するので、誤った推定部位を定量的かつ正確に把握できるようになる。

(3) 第2姿勢の推定に用いるCNNモデルの畳み込み層をゲート付き畳み込み層に置き換えることで第1姿勢の誤った推定結果が第2姿勢の推定へ与える悪影響を低減できるので、第2姿勢をCNNの推定モデルで推定する際の精度を向上させることができる。

(4) 第2姿勢を、ある時刻tにおける姿勢を当該時刻tにおける第1姿勢のみならず、時刻t前後の複数時刻における第1姿勢に基づいて推定するので、より確度の高い姿勢推定が可能になる。

本発明の第1実施形態に係る姿勢推定装置の機能ブロック図である。姿勢推定の例を示した図である。確信度を別途に求めて姿勢推定に用いる例を示したブロック図である。第1姿勢およびその確信度をCNNに適用して第2姿勢を推定する例を示した図である。 CNNのConv層と置き換えられるGated Conv層の一例を示したブロック図である。本発明の第2実施形態を示したブロック図である。第2実施形態の変形例を示したブロック図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係る姿勢推定装置1の主要部の構成を示した機能ブロック図であり、画像取得部10，対象領域抽出部20，第1姿勢推定部30，確信度取得部40，第2姿勢推定部50および姿勢出力部60を主要な構成としている。

このような姿勢推定装置1は、CPU，ROM，RAM，バス，インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

画像取得部10は、姿勢推定対象を撮影したカメラ画像（例えば、RGB画像）を取得する。本実施形態では姿勢推定対象が人物である場合を例にして説明する。対象領域抽出部20は、カメラ画像から姿勢推定対象の画像領域として人物領域を抽出する。人物領域は非特許文献1と同様に人物に外接するような矩形領域、例えばバウンディングボックスとして抽出しても良いし、人物の輪郭に沿ったシルエットとして抽出しても良い。

第1姿勢推定部30は、抽出した人物領域の画像から人物の第1姿勢を推定する。本実施形態では、図2に一例を示すように、人物領域から人物の構造に関する特徴点を抽出し、顔、手、胴体、足などのキーポイントおよびその位置を推定し、キーポイントの集合を第1姿勢の推定結果として出力する。本実施形態では図2に示した23個のキーポイントおよびその位置座標が推定されるものとして説明する。

なお、位置を推定するキーポイントはカメラ画像に見えているキーポイントだけでも良いし、見えていないキーポイントも含めて全種類のキーポイントの位置を推定しても良い。また、キーポイントの位置は画像上の2次元座標で表しても良いし、3次元座標系などの他の適切な座標系を用いて表わしても良い。3次元座標で表す場合は複数視点の画像を取得して三角測量により各キーポイントの3次元位置を計算する。

確信度取得部40は、第1姿勢の各キーポイントについて、その推定結果の確からしさを確信度として取得する。確信度としては、非特許文献1が姿勢推定と同時に画像特徴量から計算する各キーポイントの推定結果の確信度を用いることができる。各キーポイントの確信度は0から1の間の値をとるスコアで表しても良いし、閾値を設けて0か1の真偽値で表しても良い。

なお、第1姿勢推定部30における第1姿勢の推定プロセスで確信度が得られない場合、あるいは確信度が得られる場合でも別視点での確信度を採用したい場合は、図3に示すように記憶部70を設けて別の時点での推定結果を保存しておき、物理制約などを考慮して妥当な位置遷移となっているか否かに基づいて確信度を計算しても良い。あるいは人物の身体モデルなどの参照情報を保存しておき、各キーポイントの位置関係が人物に固有の拘束条件を充足しているか否か等に基づいて確信度を計算しても良い。

第2姿勢推定部50は、補正部位選択部501および選択的補正部502を具備し、第1姿勢推定部30が推定した第1姿勢およびその確信度に基づいて当該人物の第2姿勢を推定する。第2姿勢は姿勢出力部60から姿勢推定の結果として出力される。

補正部位選択部501は、前記確信度に基づいて第1姿勢の各部位から補正対象部位を選択する。例えば、第1姿勢が各キーポイントを主要部位として、その位置座標の集合で推定されているのであれば、確信度をマスクとして用い、第1姿勢の各キーポイントにマスク値を乗算する方法が考えられる。選択的補正部502は、第1姿勢のうち確信度が相対的に低い部位を補正対象、確信度が相対的に高い部位を参照情報として補正することで第2姿勢を推定する。

このような構成によれば、第1姿勢のうち不確かな部位を陽に扱うことができるので、第2姿勢推定において不確かな部位の影響が推定結果に及ぼす影響を抑制できる。例えば、確かな部位を誤って補正してしまうことや、不確かな部位を補正する際に不確かな部位の情報を参照してしまうことを防げるようになる。

図４は、前記第2姿勢推定部50をエンコーダデコーダ（オートエンコーダ）式のCNNモデルをベースに構成する例を示した図であり、本実施形態ではConv層がゲート付き畳み込み層（Gated Conv層）に置き換えられている。

エンコーダ部には全てのキーポイントの画像位置を示すヒートマップおよび前記確信度を事前知識としてキーポイントごとに生成したマスクが入力される。エンコーダで圧縮された特徴量はデコーダ部でのアップサンプリングにより伸張される。本実施形態では、CNNモデル内のConv層をGated Conv層に置き換えることで、第1姿勢のうち確信度が相対的に低いキーポイントを確信度が相対的に高いキーポイントから得られた特徴量によって補正できる。

図５は、本実施形態が採用するGated Conv層の構成例を示したブロック図であり、CNNモデル内のConv層ごとに、初段では各キーポイントのマスク後のヒートマップを入力として畳み込み層が抽出した中間特徴量に対して、補正対象系統R1では活性化関数（ReLU：Rectified Linear Unit）／ランプ関数を適用することで、「0」を基点として入力値が0以下なら「0」を、0より大きければ入力値と同じ値を、いずれも補正対象の特徴量として出力する。

参照情報系統R2ではConv層が抽出した中間特徴量に対してソフトマックス関数（Softmax）を適用することで特徴量の各要素に対する信頼度（0-1）を計算し、これを参照情報として出力する。各Conv層は前記選択的補正部502としての機能を有する。乗算部503は前記補正部位選択部501としての機能を有し、補正対象の特徴量と参照情報（信頼度）とを乗じることで相対的に信頼度の高い特徴量を選択し、これを新たな入力情報として次段のGated Conv層の入力させる。

このような構成によれば、CNNモデル内の各層で推定結果が不確かな部位に由来する情報の伝搬を抑制することができるので、厳密に確かな情報のみを用いた推論が可能になる。

図6は本発明の第2実施形態の構成を示した機能ブロック図である。第1実施形態では時刻tにおける第2姿勢を当該時刻tにおける第1姿勢およびその確信度に基づいて推定するものとして説明した。これに対して、第2実施形態では時刻ｔにおける第2姿勢を、時刻t前後の複数時刻での第1姿勢およびその確信度を時間次元について1次元（1D）のConv層で複数回処理して推定する。

本実施形態では、全てのConv層をGated Conv層に置き換え、第2姿勢を推定したい時刻tおよびその前後の時刻…t-2,t-1，t+1、t+2…ごとに第1姿勢の各部位（本実施形態では、23個のキーポイント）の位置情報（x，y，z）およびその確信度(k)を要素とするベクタ（23×4=92次元）をそれぞれ求める。そして、時刻ごとに求めた92次元のベクタの複数時刻分をGated Conv層への入力行列として与え、時刻tの第2姿勢を推定する。

なお、より多くの時刻で推定した第1姿勢およびその確信度のベクトルを入力行列として与えるのであれば、図7に一例を示すように、Gated Conv層を多段に設けることが望ましい。

また、本実施形態では姿勢を推定したい時刻tの前後複数の時刻で推定した第1姿勢およびその確信度が第2姿勢の推定に用いられるが、本発明はこれのみに限定されるものではなく、時刻tおよびその前および後の少なくとも一方の少なくとも一つの他の時刻で推定した複数の第1姿勢およびその確信度に基づいて第2姿勢を推定するようにしても良い。

本実施形態によれば、時刻tにおける第2姿勢を当該時刻tにおける第1姿勢およびその確信度のみならず、時刻t前後の複数時刻における第1姿勢およびその確信度に基づいて推定するので、より確度の高い姿勢推定が可能になる。

そして、上記の各実施形態によれば高精度な姿勢推定を安価に提供することが可能となるので、地理的あるいは経済的な格差を超えて多くの人々に多様なサービスを提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。

1…姿勢推定装置，10…画像取得部，20…対象領域抽出部，30…第1姿勢推定部，40…確信度取得部，50…第2姿勢推定部，60…姿勢出力部，70…記憶部，501…補正部位選択部，502…選択的補正部，503…乗算部

Claims

カメラ画像に映った物体の姿勢を推定する姿勢推定装置において、
カメラ画像に映った姿勢推定対象の第1姿勢を推定する手段と、
第1姿勢の部位ごとに確信度を取得する手段と、
第1姿勢およびその確信度に基づいて第2姿勢を推定する手段とを具備し、
前記第2姿勢を推定する手段が、
前記確信度に基づいて第1姿勢の補正対象部位を選択する手段と、
前記補正対象部位を補正する手段とを具備し、
前記補正する手段がエンコーダ及びデコーダを含むオートエンコーダ式の畳み込みニューラルネットワークであって、
前記第1姿勢の確信度が相対的に低い部位が相対的に高い部位に基づいて選択的に補正されるように、
前記エンコーダでは、畳み込み層が前記補正対象部位を除いた部位を畳み込んで特徴量を抽出し、
前記デコーダは、前記特徴量をアップサンプリングして前記補正対象部位を含む各部位を推定することを特徴とする姿勢推定装置。
前記畳み込み層がゲート付き畳み込み層（Gated Convolution Layer）であり、
前記ゲート付き畳み込み層が、
前記確信度でマスクされた第1姿勢の畳み込み後の中間特徴量の各要素に活性化関数を適用して補正対象を出力する手段と、
前記確信度でマスクされた第1姿勢の畳み込み後の中間特徴量の各要素を前記確信度で正規化して信頼度を出力する手段とを具備し、
前記補正対象から前記信頼度に基づいて選択した特徴量を更に畳み込むことを繰り返すことを特徴とする請求項１に記載の姿勢推定装置。
前記第2姿勢を推定する手段は、時刻tにおける第2姿勢を、時刻tならびにその前および後の少なくとも一方の時刻における各第1姿勢およびその確信度に基づいて推定することを特徴とする請求項１または２に記載の姿勢推定装置。
カメラ画像に映った物体の姿勢をコンピュータが推定する姿勢推定方法において、
カメラ画像に映った姿勢推定対象の第1姿勢を推定し、
第1姿勢の部位ごとに確信度を取得し、
第1姿勢およびその確信度に基づいて第2姿勢を推定し、
前記第2姿勢の推定では、
前記確信度に基づいて第1姿勢の補正対象部位を選択し、
前記補正対象部位を、エンコーダ及びデコーダを含むオートエンコーダ式の畳み込みニューラルネットワークで補正し、
前記第1姿勢の確信度が相対的に低い部位が相対的に高い部位に基づいて選択的に補正されるように、
前記エンコーダでは、畳み込み層が前記補正対象部位を除いた部位を畳み込んで特徴量を抽出し、
前記デコーダは、前記特徴量をアップサンプリングして前記補正対象部位を含む各部位を推定することを特徴とする姿勢推定方法。
前記畳み込み層がゲート付き畳み込み層（Gated Convolution Layer）であり、
前記ゲート付き畳み込み層が、
前記確信度でマスクされた第1姿勢の畳み込み後の中間特徴量の各要素に活性化関数を適用して補正対象を出力し、
前記確信度でマスクされた第1姿勢の畳み込み後の中間特徴量の各要素を前記確信度で正規化して信頼度を出力し、
前記補正対象から前記信頼度に基づいて選択した特徴量を更に畳み込むことを繰り返すことを特徴とする請求項４に記載の姿勢推定方法。
前記第2姿勢の推定では、
時刻tにおける第2姿勢を、時刻tならびにその前および後の少なくとも一方の時刻における各第1姿勢およびその確信度に基づいて推定することを特徴とする請求項４または５に記載の姿勢推定方法。
カメラ画像に映った物体の姿勢を推定する姿勢推定プログラムにおいて、
カメラ画像に映った姿勢推定対象の第1姿勢を推定する手順と、
第1姿勢の部位ごとに確信度を取得する手順と、
第1姿勢およびその確信度に基づいて第2姿勢を推定する手順とをコンピュータに実行させ、
前記第2姿勢を推定する手順では、
前記確信度に基づいて第1姿勢の補正対象部位を選択する手順と、
前記補正対象部位を、エンコーダ及びデコーダを含むオートエンコーダ式の畳み込みニューラルネットワークで補正する手順とを実行させ、
前記第1姿勢の確信度が相対的に低い部位が相対的に高い部位に基づいて選択的に補正されるように、
前記エンコーダでは、畳み込み層が前記補正対象部位を除いた部位を畳み込んで特徴量を抽出し、
前記デコーダは、前記特徴量をアップサンプリングして前記補正対象部位を含む各部位を推定することを特徴とする姿勢推定プログラム。
前記畳み込み層がゲート付き畳み込み層（Gated Convolution Layer）であり、
前記ゲート付き畳み込み層が、
前記確信度でマスクされた第1姿勢の畳み込み後の中間特徴量の各要素に活性化関数を適用して補正対象を出力する手順と、
前記確信度でマスクされた第1姿勢の畳み込み後の中間特徴量の各要素を前記確信度で正規化して信頼度を出力する手順とを含み、
前記補正対象から前記信頼度に基づいて選択した特徴量を更に畳み込むことを繰り返すことを特徴とする請求項７に記載の姿勢推定プログラム。
前記第2姿勢を推定する手順では、時刻tにおける第2姿勢を、時刻tならびにその前および後の少なくとも一方の時刻における各第1姿勢およびその確信度に基づいて推定することを特徴とする請求項７または８に記載の姿勢推定プログラム。