JP6545271B2 - アプリケーションプログラムの制御方法、装置、及び電子機器 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１４年１０月１４日に出願された中国特許出願番号２０１４１０５４２２２４．５号を優先権として主張したもので、ここにその全ての記載内容を援用する。

本発明は、アプリケーションの人体制御技術分野に関し、特にアプリケーションプログラムの制御方法、装置、及び電子機器に関する。

体感ゲームは、従来のハンドルに設けられたボタンを操作する単純な操作方法から、体の動作の変化を利用して操作を行う新型電子ゲームに変わりつつある。

体感ゲームは、Ｗｉｉ（登録商標）、ＰＳ、及びＸｂｏｘ（登録商標）等様々なゲームプラットフォームにおいて、充分に応用されている。

最近、体感ゲームにおいて、ユーザの動作を取得する方法として、カメラを用いてユーザの画像を撮像し、得られた画像に対して画像処理を行うことでユーザ動作のデータを取得し、このデータに基づいてゲームの制御を行う方法がある。即ち、ユーザの動作は、ゲームシステムにより、ゲームに影響を及ぼすための制御として解釈される。言い換えれば、ユーザは自分の動作を利用してゲームを制御できる。ユーザの動作は、基本的には何れかの種類のゲームの制御として解釈できる。例えば、ゲーム中の被制御対象の動作を制御し、ゲームを保存し、ゲームを終了する等のメニューに関連する操作として解釈できる。

しかし、このような体感ゲームでは、計算資源の消耗が大きいという問題が存在する。下記に詳しく説明する。

体感ゲームでは、画像方式でユーザの動作に反応するので、まずはユーザの画像を収集する必要がある。その後、収集したユーザの画像に基づいてモデルを作成し、最後に、モデルのマッチング（即ち、動作の解釈）を行って、対応する指令を確定する。

周知のように、画像処理は、コンピュータシステムにおいて、計算資源消耗が非常に大きい処理の一種類であり、収集した各画像に対して上記処理を行おうとすれば、プログラムの実行処理が遅くなり、ユーザ体験を低下させる。

もちろん、上記では体感ゲームを例に挙げて説明したが、画像方式でユーザの動作に反応する制御方法を採用する全てのアプリケーションプログラムは、全部上記問題に直面する。ここでは、全ての例に対しての詳細な説明は省略する。

本発明の実施例は、アプリケーションプログラムの実行速度を向上するためのアプリケーションプログラムの制御方法、装置及び電子機器を提供することを目的としている。

上記目的を実現するため、本発明実施例は、アプリケーションプログラムの制御方法を提供する。

このアプリケーションプログラムの制御方法は、ユーザの動作を記録した奥行き画像配列を取得することと、予め数学的変換モデルを用いて、前記奥行き画像配列を第１ユーザ姿勢データ配列に変換することと、前記アプリケーションプログラムにおいて予め設定された標準姿勢データ配列から、前記第１ユーザ姿勢データ配列中の現在処理待ちのユーザ姿勢データとマッチングする第１目標姿勢データを取得し、前記第１目標姿勢データに基づいてアプリケーションの制御処理を行うことと、前記第１目標姿勢データに対応する目標姿勢の維持に要求される時間が所定時間閾値を超える場合、第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行うことと、を備える。

前記第２ユーザ姿勢データ配列は、処理済みのユーザ姿勢データからなるデータ配列と隣り合い、且つ前記第２ユーザ姿勢データ配列の長さは前記目標姿勢の維持に要求される時間に対応する。

対応する目標姿勢の維持に要求される時間が所定時間閾値を超える姿勢データは、一つの目標姿勢開始サブデータと、少なくとも一つの目標姿勢中間サブデータと、一つの目標姿勢終了サブデータと、を含んでもよい。

前記第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行うことは、具体的には、前記第２ユーザ姿勢データ配列から、少なくとも一つの目標姿勢中間サブデータと一つの目標姿勢終了サブデータとに対応する一部のユーザ姿勢データを選択して後続のマッチング処理を行うことを含んでもよい。

前記第１ユーザ姿勢データ配列を変換によって取得する操作は、前記アプリケーションプログラムが前記ユーザ姿勢データを使用する必要がある段階より前に行われてもよい。

前記数学的変換モデルは、複数のアプリケーションプログラムと対応し、前記制御方法は、第１ユーザ姿勢データ配列を取得した後、前記複数のアプリケーションプログラムから、目標アプリケーションプログラムを確定することと、前記目標アプリケーションプログラムに対応する標準姿勢データ配列を確定して姿勢マッチングに使用することと、をさらに含んでもよい。

ユーザの動作を記録した奥行き画像配列を取得することは、具体的には、ユーザの原始画像配列を取得することと、前記原始画像配列中の画像に対して、解像度の引き下げ、背景の取り除き、ノイズ除去、奥行き値調整中の少なくとも一つの操作を行って、前記奥行き画像配列を取得することと、を含んでもよい。

各標準姿勢データは、スクリーンに表示される一つのスクリーンユーザ形状に対応し，前記目標姿勢データに基づいてアプリケーションの制御処理を行うことは、具体的には、前記スクリーンに表示された現在スクリーンユーザ形状を前記目標姿勢データに対応する第１スクリーンユーザ形状に変更することを含んでもよい。

各標準姿勢は、その姿勢の維持に要求される時間と対応し、前記制御方法は、アプリケーションの実行時間を確定することと、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定することと、前記第２目標姿勢データと第１目標姿勢データとが異なる場合、通知操作を行うことと、をさらに含んでもよい。

代案として、各標準姿勢は、その姿勢の維持に要求される時間と対応し、前記制御方法は、アプリケーションの実行時間を確定することと、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定することと、前記第２目標姿勢データに対応する第２スクリーンユーザ形状を確定することと、前記第２スクリーンユーザ形状と第１スクリーンユーザ形状の差分が所定差分を超えた場合、通知操作を行うことと、を含んでもよい。

上記目的をより好適に実現するため、本発明実施例は、さらにアプリケーションプログラムの制御装置を提供する。

このアプリケーションプログラムの制御装置は、ユーザの動作を記録した奥行き画像配列を取得する取得モジュールと、予め数学的変換モデルを用いて、前記奥行き画像配列を第１ユーザ姿勢データ配列に変換する変換モジュールと、前記アプリケーションプログラムにおいて予め設定された標準姿勢データ配列から、前記第１ユーザ姿勢データ配列中の現在処理待ちのユーザ姿勢データとマッチングする第１目標姿勢データを取得し、前記第１目標姿勢データに基づいてアプリケーションの制御処理を行う処理モジュールと、前記第１目標姿勢データに対応する目標姿勢の維持に要求される時間が所定時間閾値を超える場合、第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行う選択モジュールと、を備える。

前記第２ユーザ姿勢データ配列は、処理済みのユーザ姿勢データからなるデータ配列と隣り合い、且つ前記第２ユーザ姿勢データ配列の長さは前記目標姿勢の維持に要求される時間に対応する。

対応する目標姿勢の維持に要求される時間が所定時間閾値を超える姿勢データは、一つの目標姿勢開始サブデータと、少なくとも一つの目標姿勢中間サブデータと、一つの目標姿勢終了サブデータと、を含んでもよい。

前記選択モジュールは、具体的には、前記第２ユーザ姿勢データ配列から、少なくとも一つの目標姿勢中間サブデータと一つの目標姿勢終了サブデータとに対応する一部のユーザ姿勢データを選択して後続のマッチング処理を行うために用いてもよい。

前記第１ユーザ姿勢データ配列を変換によって取得する操作は、前記アプリケーションプログラムが前記ユーザ姿勢データを使用する必要がある段階より前に行われてもよい。

前記数学的変換モデルは、複数のアプリケーションプログラムと対応し、前記制御装置は、第１ユーザ姿勢データ配列を取得した後、前記複数のアプリケーションプログラムから、目標アプリケーションプログラムを確定するプログラム確定モジュールと、前記目標アプリケーションプログラムに対応する標準姿勢データ配列を確定して姿勢マッチングに使用する標準姿勢配列確定モジュールと、をさらに含んでもよい。

取得モジュールは、具体的には、ユーザの原始画像配列を取得する原始画像取得ユニットと、前記原始画像配列中の画像に対して、解像度の引き下げ、背景の取り除き、ノイズ除去、奥行き値調整中の少なくとも一つの操作を行って、前記奥行き画像配列を取得する最適化ユニットと、を含んでもよい。

各標準姿勢データは、スクリーンに表示される一つのスクリーンユーザ形状に対応し，前記処理モジュールは、具体的には、前記スクリーンに表示された現在スクリーンユーザ形状を前記目標姿勢データに対応する第１スクリーンユーザ形状に変更することで前記アプリケーションの制御処理を実現するために用いてもよい。

代案として、各標準姿勢は、その姿勢の維持に要求される時間と対応し、前記制御装置は、アプリケーションの実行時間を確定する時間確定モジュールと、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定する目標姿勢データ確定モジュールと、前記第２目標姿勢データと第１目標姿勢データとが異なる場合、通知操作を行う第１通知モジュールと、をさらに含んでもよい。

代案として、各標準姿勢は、その姿勢の維持に要求される時間と対応し、前記制御装置は、アプリケーションの実行時間を確定する時間確定モジュールと、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定する目標姿勢データ確定モジュールと、前記第２目標姿勢データに対応する第２スクリーンユーザ形状を確定するスクリーンユーザ形状確定モジュールと、前記第２スクリーンユーザ形状と第１スクリーンユーザ形状との差分が所定差分を超えた場合、通知操作を行う第２通知モジュールと、をさらに含んでもよい。

上記目的をより好適に実現するため、本発明実施例は、上記制御装置を含む電子機器をさらに提供する。

本発明の実施例は、下記のような有益効果を奏する。

本発明実施例によるアプリケーションプログラムの制御方法、装置及び電子機器において、ユーザの動作を示す画像を収集し、画像分析によりユーザ姿勢データ配列を取得し、あるユーザ姿勢データとマッチングする標準姿勢データに対応する目標姿勢の維持に要求される時間が相対的に長い場合、後続のユーザ姿勢データ配列から一部のユーザ姿勢データ配列を選択して後続のマッチング処理を行うことで、アプリケーションプログラムの実行速度を速くすることができる。

本発明実施例によるアプリケーションプログラムの制御方法を示すフローチャートである。 本発明実施例によるアプリケーションプログラムの制御装置の構成を示す概略図である。 本発明実施例によるアプリケーションプログラムの制御方法の詳細を示すフローチャートである。

本発明実施例のアプリケーションプログラムの制御方法、装置、及び電子機器において、ユーザの動作画像を収集し、画像分析によりユーザ姿勢データ配列を取得し、あるユーザ姿勢データとマッチングする標準姿勢データに対応する目標姿勢の維持に要求される時間が相対的に長い場合、後続のユーザ姿勢データ配列から一部のユーザ姿勢データ配列を選択して後続のマッチング処理を行うことで、アプリケーションプログラムの実行速度を速くすることができる。

図１に示すように、本発明実施例のアプリケーションプログラムの制御方法は、ユーザの動作を記録した奥行き画像配列を取得するステップ１０１と、予め数学的変換モデルに基づいて前記奥行き画像配列を第１ユーザ姿勢データ配列に変換するステップ１０２と、前記アプリケーションプログラムにおいて予め設定された標準姿勢データ配列から、前記第１ユーザ姿勢データ配列中の処理しようとするユーザ姿勢データとマッチングする第１目標姿勢データを取得し、前記第１目標姿勢データに基づいてアプリケーションの制御処理を行うステップ１０３と、前記第１目標姿勢データに対応する目標姿勢の維持に要求される時間が予め決められた所定時間閾値を超える場合、第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行うステップ１０４と、を含む。

前記第２ユーザ姿勢データ配列は、処理済みのユーザ姿勢データからなるデータ配列と隣り合っており、且つ前記第２ユーザ姿勢データ配列の長さは前記目標姿勢の維持に要求される時間と関連する。

本発明実施例のアプリケーションプログラムの制御方法、装置、及び電子機器において、ユーザの動作画像を収集し、画像分析によりユーザ姿勢データ配列を取得し、あるユーザ姿勢データとマッチングする標準姿勢データに対応する目標姿勢の維持に要求される時間が相対的に長くなるように、アプリケーションプログラムにより予め定義された場合、後続のユーザ姿勢データ配列から一部のユーザ姿勢データ配列を選択して後続のマッチング処理を行うように構成される。これにより、処理待ちデータ量が減少され、データ処理時間が延長されるため、アプリケーションプログラムの実行速度を速くすることができる。

下記において、有益効果に関して詳しく説明する。

画像収集設備の収集速度をＸ枚／秒とし、先行技術において、収集持続時間はアプリケーション処理（画像の変換及びマッチング）時間と同じであり、Ｙ秒とする。すると、収集された画像枚数は、Ｘ＊Ｙである。各画像に対応するユーザ姿勢データに対してマッチング処理を行うのに必要なプロセッサ資源（画像をユーザ姿勢データに変換するのに必要な資源は含まない）をＺとすると、先行技術において消耗必要なプロセッサ資源は、Ｘ＊Ｙ＊Ｚであり、単位時間内において消耗需要なプロセッサ資源はＸ＊Ｚである。

一般的に、アプリケーションプログラムの実行速度を上げるには、下記二つの方法がある。

１、処理必要なデータ量を減少する。

２、単位時間内のプロセッサ資源の消耗量を減少する。

本発明実施例の方法において、目標姿勢の維持に要求される時間が所定時間閾値を超えると判定した場合、その後の処理において、データ配列から一部のデータを選択して後続のマッチング処理を行う。これにより、先行技術と比べて、処理必要なデータ量を低減し、アプリケーションプログラムの実行速度を速くすることができる。

単位時間内のプロセッサ資源消耗量からみると、本発明実施例の方法は、データ変換段階とデータマッチング段階の二つの段階に分けられる。これに対して、先行技術においては、同時にデータ変換とデータマッチングとを実現する一つの段階しか存在しない。本発明実施例の方法において、処理必要なデータ量が減少しなかったとしても、その処理時間は、先行技術より長い（ゲーム実行前の変換予備処理が追加されたため）。従って、本発明実施例の方法において、単位時間内のプロセッサ資源消耗量は、先行技術の単位時間内のプロセッサ資源消耗量より少なくなり、これによってもアプリケーションプログラムの実行速度を速くすることができる。

即ち、本発明実施例の方法は、処理必要なデータ量を減少すると同時に、これらのデータに対して処理を行う時間を延長している。これにより、本発明実施例の方法は、アプリケーションプログラムの実行速度を向上することができる。

本発明実施例の方法において、予め奥行き画像配列に基づいてユーザ姿勢データ配列を取得しているが、これはユーザ制御アプリケーションプログラムには不利な影響を及ぼさないと理解すべきである。その理由を下記に説明する。

先ず、本発明実施例によるアプリケーションは、下記特徴を有する。

１、アプリケーションプログラムは、標準姿勢データ配列が予め設定されている。即ち、ユーザは、一定の順番に従って標準姿勢データ配列に対応する標準姿勢を行わなければならない。言い換えれば、アプリケーションプログラムにおいてユーザが実行必要な動作は、予め規定されており、ユーザが予め知るべき動作である。

例えば、アプリケーションプログラムは、体感ヨガゲームだとする。この場合、ヨガゲームは、ユーザが一定の順番に従って一組の動作を行うことで挑戦を完成することを規定する。また、アプリケーションプログラムは、体感ダンスゲームだとする。この場合、ダンスゲームは、ユーザが一定の順番に従って一組の動作を行うことで、挑戦レベルを完成することを規定する。また、アプリケーションプログラムは、体感迷路ゲームだとする。この場合、迷路ゲームは、ユーザが一定の順番に従って動いて、最適な方法で挑戦レベルに対応する迷路から脱出することを規定する。

このようなアプリケーションの種類は、非常に多いので、全ての種類に対する詳細説明は、省略する。

上記のようなアプリケーションは、ユーザ制御に対するリアルタイム性は非常に低いので、このようなアプリケーションにおいて、予め画像を収集してユーザ姿勢データ配列を生成することは、ユーザがゲームを制御することにおいて、制御不可のような悪影響は与えない。

２、ユーザがアプリケーションの設定に従ってある動作を行う時、その動作は一定時間維持されることを要求される。例えば、体感ヨガゲームにおいて、ユーザは、ある姿勢を一定期間維持することを要求される。また、体感ダンスゲームにおいて、同じ音符の再生期間において、ユーザは、ある姿勢を維持することを要求される。

上記説明により分かるように、上記のようなアプリケーションの特殊性により、ゲームにおいて、ユーザが一定期間（例えば５秒）維持必要な姿勢がある時、１０枚／秒の速度で画像を収集すると、５秒内に収集される画像は５０枚となる。この場合、ユーザが要求通りの動作を完成したとすると、この５０枚の画像に対応するユーザ姿勢データに対してマッチングを行うと、同じ標準姿勢データが得られる。

本発明実施例において、上記５秒内に収集した画像に対応する５０個のユーザ姿勢データから一定の間隔で一部の姿勢データを選択しても、ユーザ動作の完成度及び正確度の考察を実現することができ、その一例を下記に説明する。

５個のユーザ姿勢データ毎に１個の姿勢データを選択すると、上記例における５０個のユーザ姿勢データからは１０個のユーザ姿勢データを選択することになる。この１０個のユーザ姿勢データに対してマッチングを行い、１０個のユーザ姿勢データとマッチングする標準姿勢データとが全部同じである時、ユーザが規定された動作を完成したことを示す。

即ち、動作の特殊性により、対応するユーザ動作のデータ配列から一部のユーザ動作データを取得しても同じ機能を果たすことができ（例えば、ユーザが動作を完成する持続性を検証し、又は動作配列に基づいて指令を確定する等）、同じ効果が得られる。

上記したように、本発明実施例の方法は、上記のようなアプリケーションプログラムに対して、完璧な体感制御を行うと同時に、アプリケーションプログラムの実行速度を速くすることができる。

上記説明から分かるように、第２ユーザ姿勢データ配列の確定は、目標姿勢が維持する必要がある時間に対応する。

ユーザが一定期間（５秒と仮定する）維持することが必要な姿勢があるとすると、姿勢開始時刻を確定した後、第２ユーザ姿勢データ配列は、姿勢開始時刻からその後の５秒内に収集された画像を変換して得られたユーザ姿勢データである。画像収集速度が１０枚／秒の時、姿勢開始時刻を確定した後、第２ユーザ姿勢データ配列は、姿勢開始時刻からその後の１０秒内に収集された画像を変換して得られたユーザ姿勢データである。

本発明具体実施例において、奥行き画像配列は、奥行き撮像機能付きカメラ、撮像機器、３Ｄカメラ、及び／又はその他画像撮像設備により取得される。

判断の正確性を高めるため、本発明の具体的な実施例において、上記の一定期間維持されることに要求される目標姿勢に対応するデータを下記のように三つの部分にわける。

一つの目標姿勢開始サブデータと、少なくとも一つの目標姿勢中間サブデータと、一つの目標姿勢終了サブデータ。

この場合、前記第２ユーザ姿勢データ配列中から一部のユーザ姿勢データを選択して後続のマッチング処理を行うことは、具体的には、前記第２ユーザ姿勢データ配列中から、少なくとも一つの目標姿勢中間サブデータと一つの目標姿勢終了サブデータに対応するユーザ姿勢データを選択して、選択されたユーザ姿勢データを後続マッチング処理に用いることである。

即ち、設定された目標姿勢中間サブデータの数が多いほど、選択必要なユーザ姿勢データが多くなり、これに応じて、後続の制御処理の結果もより正確になる。

本発明の具体的な実施例において、上記姿勢データは、すべてユーザの体の部位、部位位置及び部位同士の相対位置関係を示すデータである。

上記の姿勢データは、先行技術の人体を表す任意の人体モデルにより表すことができ、骨格と関節により構成される骨格モデル、又はフレーム格子状モデル等により表すことができる。ここでは、詳細な説明は、省略する。

本発明の具体的な実施例において、画像収集設備により直接的に収集された画像に対して直接的に変換を行ってユーザ姿勢データを取得することができるが、データ処理量、変換精度等要素を総合的に考慮すると、本発明実施例においては、先ず、直接的に収集された画像に対して最適化処理を行う。即ち、前記ユーザの動きを記録した奥行き画像配列を取得することは、具体的には、ユーザの原始画像配列を取得し、前記原始画像配列中の画像に対して、解像度の引き下げ、背景の取り除き、ノイズ除去、奥行き値調整中の少なくとも一つの操作を行って、前記奥行き画像配列を取得する。

上記の選択可能な解像度の引き下げ、背景の取り除きにより、後続の変換がより少ない計算負荷で完成できる。

例えば、画像を撮像する過程において、様々なランダム誤差、又はシステム誤差が起こり得る。また、画像収集設備によっても、収集された画像中に一定の欠陥又は変形が起こり得る。従って、ノイズ除去操作によって上記のような欠陥を除去することができ、より精度が高い完全なデータを得ることができ、後続の変換により得られるユーザ姿勢データの精度を高めることができる。

もちろん、上記の最適化は、一例として説明しており、本発明実施例は、上記において採用した具体的な最適化手段に限定されないと理解すべきである。

一系列の数学的変換モデルを得るには膨大なコストが必要であり、開発コストを抑えるために、本発明実施例では、一つの数学的変換モデルを複数のアプリケーションプログラムに分配して使用してもよいと理解すべきである。各アプリケーションプログラムにおいて、多くの場合、対応する標準姿勢データ配列は全部異なる。この場合、本発明実施例の方法は、さらに、第１ユーザ姿勢データ配列を取得した後、前記複数のアプリケーションプログラムから、目標アプリケーションプログラムを確定することと、前記目標アプリケーションプログラムに対応する標準姿勢データ配列を確定して姿勢マッチングに使用することとを含む。

ユーザが予め処理必要なアプリケーションプログラムにより規定された動作を完成した後、目標アプリケーションプログラムが確定でき、目標アプリケーションプログラムに対応する標準姿勢データ配列を選択して上記ユーザ姿勢データ配列に対して処理を行うことができる。

上記方法により、一つの数学的変換モデルを複数のアプリケーションプログラムに使用させることができ、開発コストを大幅に低減できる。例えば、上記において例示したヨガ体感ゲーム、タンス体感ゲームと、迷路体感ゲームは、その目的とする対象がほぼ同じであるため、一つの数学的変換モデルにより対応することで、開発コストを削減することができる。

本発明実施例のアプリケーションプログラムの制御方法において、前記第１ユーザ姿勢データ配列へ変換する操作は、前記アプリケーションプログラムが前記ユーザ姿勢データを使用する必要がある段階より前に行われる。従って、データ変換とデータマッチングとを二つの段階に分けて行うことで、データ処理時間を延長し、単位時間に対する処理資源のニーズを低減し、アプリケーションプログラムの実行速度を速くすることができる。

ここで、アプリケーションプログラムが前記ユーザ姿勢データを使用することが必要なタイミングの例を説明する。

体感ダンスゲームを例とすると、ユーザがアプリケーションプログラムを起動した時は、ユーザ姿勢データは不要である。ユーザがゲーム難易度、ゲームシーン等を選択し、“ゲーム開始”を選択した後、アプリケーションプログラムが前記ユーザ姿勢データの使用が必要な段階に入る。

本発明実施例の方法は、様々なシーンで用いられる。比較的に典型的なシーンは、体動作追跡シーンである。即ち、各標準姿勢データは、一つのスクリーンに表示されるスクリーンユーザ形状に対応しており、前記目標姿勢データに基づいてアプリケーションの制御処理を行うことは、具体的には、前記スクリーンに表示される現在のスクリーンユーザ形状を前記目標姿勢データに対応する第１スクリーンユーザ形状に変換することである。

例えば、ユーザが立て姿勢から座り姿勢に変わった時、収集されたユーザの座り画像を変換してユーザ姿勢データを取得し、このユーザ姿勢データと標準姿勢データ中の座り姿勢データとマッチングを行う。この時、適当な表示処理手段により、スクリーンに表示された立て姿勢の人を座り姿勢の人に変換することができる。

上記の過程の説明は、理解の便宜を図るための簡略された説明であり、実際の処理過程ではユーザによりいいユーザ体験を提供するための各種処理手段を加えると理解すべきである。ここでは、詳細な説明は、省略する。

本発明の具体的な実施例において、ユーザの動作が要求に合うか否かにをユーザに通知するように構成してもよい。このような通知操作は、様々な方法により行うことができ、下記において二つの実現可能な方法において詳しく説明する。

アプリケーションプログラムにおいて、ユーザが実行する動作の順番及び各動作的持続時間は、予め決められている。従って、一部時間区切り点において、ユーザはある特定姿勢を行う状態にある。下記において、具体例を説明する。

アプリケーションプログラムにおいて予め決められた標準姿勢配列は、順番に、Ａ１姿勢Ｂ１秒、Ａ２姿勢Ｂ２秒、Ａ３姿勢Ｂ３秒、Ａ４姿勢Ｂ４秒だと仮定する。この時、（Ｂ１、Ｂ１＋Ｂ２］の時間区間において、ユーザはＡ２姿勢を行うべきである。

各姿勢は、一つの標準姿勢データに対応するため、上記分析から分かるように、アプリケーション実行時間が確定された時、ユーザの現在の行うべき動作を確定できる。即ち、ユーザが、現在に行うべき標準姿勢に対応する標準姿勢データを確定できる。

ところで、ユーザが実際に行う姿勢を確定でき、両者が異なる時、ユーザが要求通りの動作を行っていないと判断でき、ユーザに対して通知を行う。

したがって、このような方法を用いた時、本発明実施例のアプリケーションプログラムの制御方法において、各標準姿勢は、その姿勢の維持に要求される時間と対応しており，前記制御方法は、さらにアプリケーションの実行時間を確定し、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定し、前記第２目標姿勢データと第１目標姿勢データが異なる場合、通知操作を行うことを含む。

上記例では、姿勢データを参照対象としてユーザの動作が要求された動作に合うか否かを確定する。姿勢データは、全部スクリーンユーザ形状に対応するため、スクリーンユーザ形状の差分が、予め設定された標準差分を超えるか否かを判断するように構成してもよい。

このような方法を用いた時、本発明実施例のアプリケーションプログラムの制御方法は、さらに、アプリケーションの実行時間を確定し、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定し、前記第２目標姿勢データに対応する第２スクリーンユーザ形状を確定し、前記第２スクリーンユーザ形状と第１スクリーンユーザ形状の差分が予め決められた所定差分より大きい場合、通知操作を行うことを含む。

図２に示すように、本発明実施例は、さらにアプリケーションプログラムの制御装置を提供する。

この制御装置は、ユーザの動きを記録した奥行き画像配列を取得する取得モジュールと、予め準備された数学的変換モデルを用いて、前記奥行き画像配列を第１ユーザ姿勢データ配列に変換する変換モジュールと、前記アプリケーションプログラムにおいて予め設定された標準姿勢データ配列から、前記第１ユーザ姿勢データ配列中の現在処理対象のユーザ姿勢データとマッチングする第１目標姿勢データを取得し、前記第１目標姿勢データに基づいてアプリケーションの制御処理を行う処理モジュールと、前記第１目標姿勢データに対応する目標姿勢の維持に要求される時間が予め決められた所定時間閾値を超える場合、第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続マッチング処理を行う選択モジュールと、を備え、前記第２ユーザ姿勢データ配列は、処理済みのユーザ姿勢データからなるデータ配列と隣り合っており、且つ前記第２ユーザ姿勢データ配列の長さは前記目標姿勢の維持に要求される時間と関連している。

比較をしやすくするため、本発明具体実施例において、対応する目標姿勢の維持に要求される時間が所定時間閾値を超える姿勢データは、一つの目標姿勢開始サブデータと、少なくとも一つの目標姿勢中間サブデータと、一つの目標姿勢終了サブデータとを含む。

前記選択モジュールは、具体的には以下のように用いられる。すなわち、前記第２ユーザ姿勢データ配列から、少なくとも一つの目標姿勢中間サブデータと一つの目標姿勢終了サブデータに対応する一部ユーザ姿勢データを選択し、選択したデータを用いて後続マッチング処理を行う。

上記制御装置において、前記第１ユーザ姿勢データ配列へ変換する操作は、前記アプリケーションプログラムが前記ユーザ姿勢データを使用する必要がある段階より前に行われる。これにより、データ処理を複数の段階に分け、データの処理時間を延長し、単位時間内の処理資源のニーズを低減でき、アプリケーションプログラムの実行速度を速くすることができる。

開発コストを抑えるため、本発明実施例の前記制御装置において、前記数学的変換モデルは複数のアプリケーションプログラムと対応しており、前記制御装置は、さらに、第１ユーザ姿勢データ配列を取得した後、前記複数のアプリケーションプログラムから、目標アプリケーションプログラムを確定するプログラム確定モジュールと、前記目標アプリケーションプログラムに対応する標準姿勢データ配列を確定して姿勢マッチングに使用する標準姿勢配列確定モジュールと、を含む。

実行効率をより向上させるため、又はユーザデータ配列の計算精度を高めるため、本発明具体実施例の制御装置の取得モジュールは、具体的には、ユーザの原始画像配列を取得する原始画像取得ユニットと、前記原始画像配列中の画像に対して、解像度の引き下げ、背景の取り除き、ノイズ除去、奥行き値調整中の少なくとも一つの操作を行って、前記奥行き画像配列を取得する最適化ユニットと、を含む。

本発明実施例のアプリケーションプログラムの制御装置は、ユーザ動作の追跡に用いられ、各標準姿勢データは一つのスクリーンに表示されるスクリーンユーザ形状に対応する。前記処理モジュールは、具体的には、前記スクリーンに表示された現在スクリーンユーザ形状を前記目標姿勢データに対応する第１スクリーンユーザ形状に変更することで前記アプリケーションの制御処理を実現する。

ユーザに対して非標準の動作を通知するため、本発明実施例において、各標準姿勢は、その姿勢の維持に要求される時間と対応しており、前記制御装置は、さらに、アプリケーションの実行時間を確定する時間確定モジュールと、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定する目標姿勢データ確定モジュールと、前記第２目標姿勢データと第１目標姿勢データが異なる場合、通知操作を行う第１通知モジュールと、を含む。

ユーザに対して非標準の動作を通知するため、本発明実施例において、各標準姿勢は、その姿勢の維持に要求される時間と対応しており、前記制御装置は、さらに、アプリケーションの実行時間を確定する時間確定モジュールと、アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定する目標姿勢データ確定モジュールと、前記第２目標姿勢データに対応する第２スクリーンユーザ形状を確定するスクリーンユーザ形状確定モジュールと、前記第２スクリーンユーザ形状と第１スクリーンユーザ形状の差分が予め決められた所定差分より大きい場合、通知操作を行う第２通知モジュールと、を含む。

本発明実施例は、さらに電子機器を提供しており、この電子機器は、上記制御装置を有することを特徴とする。

上記電子機器は、パーソナルコンピュータ、ゲームのプラットフォーム、テレビ等が可能である。

下記において、本発明実施例の方法の一つの具体的な動作過程を詳しく説明する。

図３に示すように、アプリケーションプログラムがユーザ姿勢データの使用を必要とする前、ステップ３０１を実行して、画像収集設備（奥行き撮影対応カメラ）により収集された画像を先に取得して、画像配列を取得する。

画像配列を取得した後、画像配列中の画像に対して選択的に、ノイズ除去、背景の取り除き、解像度の引き下げ等最適化処理を行ってもよい。

ステップ３０２において、骨格モデルと身体部位モデルを用いてキャプチャされた実際人物の奥行き画像をユーザ姿勢データに変換することで、ユーザ動作のモデル作成を完成する。これにより、ユーザ姿勢データ配列を取得し、それを記憶ユニットに保存する。

これらのユーザ姿勢データ配列は、ユーザの体の部位の相関情報（例えば、位置、姿勢及び部位同士の相対関係等）を定義し、後続のマッチングを可能とする。

一つのモデルが複数のアプリケーションプログラムにより用いられる時、ステップ３０３において一つの目標アプリケーションプログラムを確定し、目標アプリケーションプログラムにより予め設定された標準姿勢データ配列を取得し、後続マッチング操作を行う。

ステップ３０４において、ユーザ姿勢データと標準姿勢データ配列とに基づいて、マッチング処理を行って処理対象のユーザ姿勢データとマッチングする標準姿勢データを確定する。

ステップ３０５において、アプリケーションプログラムにおいて予め設定されたマッチングされた標準姿勢データに対応する姿勢の維持に要求される時間が所定の閾値を超えるか否かを判定し、超えると判定した時、ユーザがこの姿勢を相対的に長い時間行うと判断する。

ユーザが上記姿勢を相対的に長い時間行うと判断した場合には、より少ないデータを用いて後続の一定期間のマッチングが正確に行われることを示す。従って、ステップ３０６において、一部のユーザ姿勢データを選択して後続のマッチング処理を行う。さもなければ、通常のフローに沿って処理を行う。

一部のユーザ姿勢データを選択して後続のマッチング処理を行う時、標準姿勢データ配列から予めこの一定期間持続された姿勢を三つの部分に分けて表す。即ち、開始部分に対応する一つの姿勢データと、中間部分に対応する一つ又は複数の姿勢データと、終了部分に対応する一つの姿勢データとを含む。上記区画によって、ユーザ姿勢データの選択とマッチングとを行う。

マッチングにおいて、姿勢データ同士の比較又はスクリーン上に実際に表示されたユーザ画像と予期されたユーザ画像との比較により、ユーザが要求通りに動作を完成しているか否かを判断することで、通知機能を実現する。

上述のように、本発明の最適な実施例を説明しているが、当業者にとって、本発明の前記原理を離脱しない前提で、少し改進及び修飾してもよい。このような改進及び修飾も本発明の保護範囲に見なすべきである。

Claims (19)

1. ユーザの動作を記録した奥行き画像配列を取得することと、
   予め数学的変換モデルを用いて、前記奥行き画像配列を第１ユーザ姿勢データ配列に変換することと、
   アプリケーションプログラムにおいて予め設定された標準姿勢データ配列から、前記第１ユーザ姿勢データ配列中の現在処理待ちのユーザ姿勢データとマッチングする第１目標姿勢データを取得し、前記第１目標姿勢データに基づいてアプリケーションの制御処理を行うことと、
   前記第１目標姿勢データに対応する目標姿勢の維持に要求される時間が所定時間閾値を超える場合、第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行うことと、を備え、
   前記第２ユーザ姿勢データ配列は、処理済みのユーザ姿勢データからなるデータ配列と隣り合い、且つ前記第２ユーザ姿勢データ配列の長さは前記目標姿勢の維持に要求される時間に対応する、
   ことを特徴とするアプリケーションプログラムの制御方法。
2. 対応する目標姿勢の維持に要求される時間が所定時間閾値を超える姿勢データは、一つの目標姿勢開始サブデータと、少なくとも一つの目標姿勢中間サブデータと、一つの目標姿勢終了サブデータと、を含む、
   ことを特徴とする請求項１に記載のアプリケーションプログラムの制御方法。
3. 前記第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行うことは、前記第２ユーザ姿勢データ配列から、少なくとも一つの目標姿勢中間サブデータと一つの目標姿勢終了サブデータとに対応する一部のユーザ姿勢データを選択して後続のマッチング処理を行うことが含まれる、
   ことを特徴とする請求項２に記載のアプリケーションプログラムの制御方法。
4. 前記第１ユーザ姿勢データ配列を変換によって取得する操作は、前記アプリケーションプログラムが前記ユーザ姿勢データを使用する必要がある段階より前に行われる、
   ことを特徴とする請求項１に記載のアプリケーションプログラムの制御方法。
5. 前記数学的変換モデルは、複数のアプリケーションプログラムと対応し、
   前記制御方法は、
   第１ユーザ姿勢データ配列を取得した後、前記複数のアプリケーションプログラムから、目標アプリケーションプログラムを確定することと、
   前記目標アプリケーションプログラムに対応する標準姿勢データ配列を確定して姿勢マッチングに使用することと、をさらに含む、
   ことを特徴とする請求項１に記載のアプリケーションプログラムの制御方法。
6. ユーザの動作を記録した奥行き画像配列を取得することは、
   ユーザの原始画像配列を取得することと、
   前記原始画像配列中の画像に対して、解像度の引き下げ、背景の取り除き、ノイズ除去、奥行き値調整中の少なくとも一つの操作を行って、前記奥行き画像配列を取得することと、を含む、
   ことを特徴とする請求項１に記載のアプリケーションプログラムの制御方法。
7. 各標準姿勢データは、スクリーンに表示される一つのスクリーンユーザ形状に対応し、
   目標姿勢データに基づいてアプリケーションの制御処理を行うことは、前記スクリーンに表示された現在スクリーンユーザ形状を前記目標姿勢データに対応する第１スクリーンユーザ形状に変更することが含まれる、
   ことを特徴とする請求項１に記載のアプリケーションプログラムの制御方法。
8. 各標準姿勢は、その姿勢の維持に要求される時間と対応し、
   前記制御方法は、
   アプリケーションの実行時間を確定することと、
   アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定することと、
   前記第２目標姿勢データと第１目標姿勢データとが異なる場合、通知操作を行うことと、をさらに含む
   ことを特徴とする請求項６に記載のアプリケーションプログラムの制御方法。
9. 各標準姿勢は、その姿勢の維持に要求される時間と対応し、
   前記制御方法は、
   アプリケーションの実行時間を確定することと、
   アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定することと、
   前記第２目標姿勢データに対応する第２スクリーンユーザ形状を確定することと、
   前記第２スクリーンユーザ形状と第１スクリーンユーザ形状との差分が所定差分を超えた場合、通知操作を行うことと、を含む、
   ことを特徴とする請求項６に記載のアプリケーションプログラムの制御方法。
10. ユーザの動作を記録した奥行き画像配列を取得する取得モジュールと、
    予め数学的変換モデルを用いて、前記奥行き画像配列を第１ユーザ姿勢データ配列に変換する変換モジュールと、
    アプリケーションプログラムにおいて予め設定された標準姿勢データ配列から、前記第１ユーザ姿勢データ配列中の現在処理待ちのユーザ姿勢データとマッチングする第１目標姿勢データを取得し、前記第１目標姿勢データに基づいてアプリケーションの制御処理を行う処理モジュールと、
    前記第１目標姿勢データに対応する目標姿勢の維持に要求される時間が所定時間閾値を超える場合、第２ユーザ姿勢データ配列から一部のユーザ姿勢データを選択して後続のマッチング処理を行う選択モジュールと、を備え、
    前記第２ユーザ姿勢データ配列は、処理済みのユーザ姿勢データからなるデータ配列と隣り合い、且つ前記第２ユーザ姿勢データ配列の長さは前記目標姿勢の維持に要求される時間に対応する、
    ことを特徴とするアプリケーションプログラムの制御装置。
11. 対応する目標姿勢の維持に要求される時間が所定時間閾値を超える姿勢データは、一つの目標姿勢開始サブデータと、少なくとも一つの目標姿勢中間サブデータと、一つの目標姿勢終了サブデータと、を含む、
    ことを特徴とする請求項１０に記載のアプリケーションプログラムの制御装置。
12. 前記選択モジュールは、前記第２ユーザ姿勢データ配列から、少なくとも一つの目標姿勢中間サブデータと一つの目標姿勢終了サブデータとに対応する一部のユーザ姿勢データを選択して後続のマッチング処理を行うために用いられる、
    ことを特徴とする請求項１１に記載のアプリケーションプログラムの制御装置。
13. 前記第１ユーザ姿勢データ配列を変換によって取得する操作は、前記アプリケーションプログラムが前記ユーザ姿勢データを使用する必要がある段階より前に行われる、
    ことを特徴とする請求項１０に記載のアプリケーションプログラムの制御装置。
14. 前記数学的変換モデルは、複数のアプリケーションプログラムと対応し、
    前記制御装置は、
    第１ユーザ姿勢データ配列を取得した後、前記複数のアプリケーションプログラムから、目標アプリケーションプログラムを確定するプログラム確定モジュールと、
    前記目標アプリケーションプログラムに対応する標準姿勢データ配列を確定して姿勢マッチングに使用する標準姿勢配列確定モジュールと、をさらに含む
    ことを特徴とする請求項１０に記載のアプリケーションプログラムの制御装置。
15. 取得モジュールは、
    ユーザの原始画像配列を取得する原始画像取得ユニットと、
    前記原始画像配列中の画像に対して、解像度の引き下げ、背景の取り除き、ノイズ除去、奥行き値調整中の少なくとも一つの操作を行って、前記奥行き画像配列を取得する最適化ユニットと、を含む、
    ことを特徴とする請求項１０に記載のアプリケーションプログラムの制御装置。
16. 各標準姿勢データは、スクリーンに表示される一つのスクリーンユーザ形状に対応し、
    前記処理モジュールは、前記スクリーンに表示された現在スクリーンユーザ形状を目標姿勢データに対応する第１スクリーンユーザ形状に変更することで前記アプリケーションの制御処理を実現するために用いられる、
    ことを特徴とする請求項１０に記載のアプリケーションプログラムの制御装置。
17. 各標準姿勢は、その姿勢の維持に要求される時間と対応し、
    前記制御装置は、
    アプリケーションの実行時間を確定する時間確定モジュールと、
    アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定する目標姿勢データ確定モジュールと、
    前記第２目標姿勢データと第１目標姿勢データとが異なる場合、通知操作を行う第１通知モジュールと、をさらに含む、
    ことを特徴とする請求項１６に記載のアプリケーションプログラムの制御装置。
18. 各標準姿勢は、その姿勢の維持に要求される時間と対応し、
    前記制御装置は、
    アプリケーションの実行時間を確定する時間確定モジュールと、
    アプリケーションの実行時間及び標準姿勢データ配列中の各標準姿勢に対応するその姿勢の維持に要求される時間に基づいて、第２目標姿勢データを確定する目標姿勢データ確定モジュールと、
    前記第２目標姿勢データに対応する第２スクリーンユーザ形状を確定するスクリーンユーザ形状確定モジュールと、
    前記第２スクリーンユーザ形状と第１スクリーンユーザ形状との差分が所定差分を超えた場合、通知操作を行う第２通知モジュールと、をさらに含む、
    ことを特徴とする請求項１６に記載のアプリケーションプログラムの制御装置。
19. 請求項１０〜１８の何れか一項に記載の制御装置を含む電子機器。

Images