JP5213913B2

JP5213913B2 - プログラム及び画像生成システム

Info

Publication number: JP5213913B2
Application number: JP2010134576A
Authority: JP
Inventors: 泰大西本; 千紘小笹; 忠嗣榊原; 大翼関岡
Original assignee: Kabushiki Kaisha Bandai Namco Entertainment (also trading as Bandai Namco Entertainment Inc.); Namco Ltd; Namco Bandai Games Inc
Current assignee: Kabushiki Kaisha Bandai Namco Entertainment (also trading as Bandai Namco Entertainment Inc.); Namco Ltd; Bandai Namco Entertainment Inc
Priority date: 2010-06-11
Filing date: 2010-06-11
Publication date: 2013-06-19
Anticipated expiration: 2030-06-11
Also published as: JP2011258157A

Description

本発明は、プログラム及び画像生成システム等に関する。

近年、従来の操作ボタンや方向キーを備えたコントローラに代わって、モーションセンサを内蔵するコントローラを用いて操作が可能なゲーム装置が人気を博している。このような操作インターフェースを備えるゲーム装置によれば、操作者（プレーヤ、ユーザ）の直感的な操作入力が可能になり、ゲーム操作の簡素化等を図れる。このような直感的なインターフェースを可能にするゲーム装置の従来技術としては例えば特許文献１に開示される技術がある。

しかしながら、このような直感的なインターフェースでは、入力された操作情報の信頼度が低い場合には、入力した操作が、操作者が意図しない操作として誤認識されてしまうおそれがある。また、信頼度が低い操作情報が頻繁に入力されると、システムが不安定になるおそれもある。

特開２００８−１３６６９５号公報

本発明の幾つかの態様によれば、スケルトン情報の信頼度を反映させた画像を生成できるプログラム、情報記憶媒体、画像生成システム等を提供できる。

本発明の一態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、前記スケルトン情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、表示部に表示される画像を生成する画像生成部とを含み、前記画像生成部は、前記表示部に表示される画像として、取得された前記信頼度情報に応じた画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の一態様では、画像センサから画像情報が取得され、画像情報から操作者のスケルトン情報が取得される。またスケルトン情報の信頼度を表す信頼度情報が取得される。そして、取得された信頼度情報に応じた画像が生成されて、表示部に表示される。このようにすれば、表示部に表示される画像にスケルトン情報の信頼度を反映することが可能になり、これまでにない画像生成システムの提供が可能になる。

また本発明の一態様では、前記信頼度情報取得部は、前記スケルトン情報により表されるスケルトンを構成する各骨に対して、前記各骨の情報の信頼度が関連づけられた情報を、前記信頼度情報として取得してもよい。

このようにすれば、スケルトンの各骨（各関節）に対して各骨の情報の信頼度が関連づけられた情報を、信頼度情報として使用できるようになり、表示部に表示される画像として、各骨の情報の信頼度が反映された画像を生成することが可能になる。

また本発明の一態様では、前記スケルトン情報は、前記各骨の位置情報を含み、前記信頼度は、操作者の各部位と前記各骨との対応づけと、前記各骨の前記位置情報に関する信頼度であってもよい。

このようにすれば、操作者の各部位と各骨との対応づけに関する信頼度や、各骨の位置情報に関する信頼度を表す信頼度情報を用いて、表示部に表示される画像を生成することが可能になる。

また本発明の一態様では、前記信頼度情報取得部は、前記操作者の所定部位が前記操作者の他の部位に近づくほど、前記所定部位に対応する骨の情報の信頼度が低くなる情報を、前記信頼度情報として取得してもよい。

このようにすれば、操作者の所定部位が他の部位に近づくことで信頼度が低下すると、その信頼度の低下を反映させた画像を生成して、表示部に表示することが可能になる。

また本発明の一態様では、前記信頼度情報取得部は、前記操作者が前記画像センサから所定距離以上離れた場合に、前記スケルトン情報の骨の情報の信頼度が低くなる情報を、前記信頼度情報として取得してもよい。

このようにすれば、操作者が画像センサから所定距離以上離れることで信頼度が低下すると、その信頼度の低下を反映させた画像を生成して、表示部に表示することが可能になる。

また本発明の一態様では、前記信頼度情報取得部は、前記スケルトン情報に関する処理負荷が増加することで前記スケルトン情報の信頼度が低くなる情報を、前記信頼度情報として取得してもよい。

このようにすれば、スケルトン情報に関する処理負荷が増加することで信頼度が低下すると、その信頼度の低下を反映させた画像を生成して、表示部に表示することが可能になる。

また本発明の一態様では、前記画像生成部は、前記信頼度情報に基づいて、前記表示部に表示される画像の表示態様を変化させてもよい。

このようにすれば、信頼度情報により表される信頼度が増減すると、表示部に表示される画像の表示態様が変化するため、信頼度の増減を、画像の表示態様の変化を通じて操作者に伝えることが可能になる。

また本発明の一態様では、オブジェクトを制御するオブジェクト制御部を含み（オブジェクト制御部としてコンピュータを機能させ）、前記画像生成部は、前記操作者の所定部位に対応する骨の情報の信頼度に基づいて、前記所定部位に対応して前記表示部に表示される前記オブジェクトの表示態様を変化させてもよい。

このようにすれば、信頼度情報により表される信頼度が増減すると、操作者の所定部位に対応して表示部に表示されるオブジェクトの表示態様が変化するため、信頼度の増減を、当該オブジェクトの画像の表示態様の変化により操作者に伝えることが可能になる。

また本発明の一態様では、前記画像生成部は、前記所定部位に対応する骨の情報の信頼度が低くなるにつれて、前記所定部位に対応する前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも１つの処理を行ってもよい。

このようにすれば、信頼度が低下すると、所定部位に対応するオブジェクトがぼけた画像になったり、透明に近づいたり、色が変化するようになり、これらの画像の変化により、信頼度の低下を操作者に伝えることが可能になる。

また本発明の一態様では、前記画像生成部は、前記所定部位に対応する骨の情報の信頼度が低くなるにつれて、前記所定部位に対応する前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、前記オブジェクトの色を変化させる処理、前記オブジェクトの明度を変化させる処理、前記オブジェクトの輪郭線の表示態様を変化させる処理、前記オブジェクトのサイズを変化させる処理、及び前記オブジェクトに施されるエフェクトを変化させる処理の少なくとも１つの処理を行ってもよい。

このようにすれば、信頼度が低下すると、所定部位に対応するオブジェクトがぼけた画像になったり、透明に近づいたり、色が変化したり、明度が変化したり、輪郭線の表示態様が変化したり、サイズが変化したり、エフェクトが変化するようになり、これらの画像の変化により、信頼度の低下を操作者に伝えることが可能になる。

また本発明の一態様では、前記所定部位は前記操作者の手であり、前記オブジェクトは、前記操作者の手の動きに応じて移動又は動作する手オブジェクトであってもよい。

このようにすれば、操作者の手の動きに応じて手オブジェクトが移動又は動作すると共に、信頼度の増減により、その手オブジェクトの表示態様も変化するようになる。

また本発明の一態様では、前記オブジェクトは、前記操作者の前記所定部位の動きに応じて移動するアイコンであってもよい。

このようにすれば、操作者の所定部位の動きに応じてアイコンが移動すると共に、信頼度の増減により、そのアイコンの表示態様も変化するようになる。

また本発明の一態様では、前記画像生成部は、前記操作者の操作対象となる操作対象オブジェクトの表示態様を、前記信頼度情報に基づいて変化させてもよい。

このようにすれば、操作対象オブジェクトの表示態様が変化することにより、操作対象オブジェクトに関する信頼度の増減を操作者に伝えることが可能になる。

また本発明の一態様では、前記画像生成部は、前記信頼度情報により表される信頼度の変化の予測情報に基づいて、前記表示部に表示される画像の表示態様を変化させてもよい。

このようにすれば、信頼度の変化を予測して、画像の表示態様を変化させることが可能になる。従って、例えば信頼度がしきい値を下回る前に、操作者に、信頼度の低下を早めに認識させることが可能になる。

また本発明の一態様では、オブジェクトを制御するオブジェクト制御部を含み（オブジェクト制御部としてコンピュータを機能させ）、前記オブジェクト制御部は、前記信頼度情報に応じた前記オブジェクトの制御を行ってもよい。

このようにすれば、信頼度情報により表される信頼度が増減すると、画像を生成するためのオブジェクトの制御も変化するため、信頼度の増減を、オブジェクトの制御の変化を通じて操作者に伝えることなどが可能になる。

また本発明の一態様では、前記オブジェクト制御部は、前記信頼度情報により表される信頼度が低くなった場合に、前記オブジェクトの移動及び動作の少なくとも一方を制限又は停止する制御を行ってもよい。

このようにすれば、信頼度が低下すると、オブジェクトの移動や動作が制限又は停止するようになるため、誤った操作に基づきオブジェクトが制御されてしまう事態等を抑止できる。

また本発明の一態様では、前記オブジェクト制御部は、前記操作者の所定部位の動きに応じて移動及び動作の少なくとも一方を行うように前記オブジェクトの制御を行い、前記所定部位に対応する骨の情報の信頼度が低くなった場合に、前記オブジェクトの移動及び動作の少なくとも一方を制限又は停止する制御を行ってもよい。

このようにすれば、オブジェクトは、操作者の所定部位の動きに応じて移動又は動作するようになると共に、所定部位に対応する骨の情報の信頼度が低下すると、その移動又は動作が制限又は停止するようになり、これまでにないオブジェクト制御を実現できる。

また本発明の一態様では、前記オブジェクト制御部は、前記信頼度情報により表される信頼度が低くなったと判断された後、所定のウェイト期間の経過後に、前記オブジェクトの移動及び動作の少なくとも一方を制限又は停止する制御を行ってもよい。

このようにすれば、信頼度が低下しても、所定のウェイト期間が経過するまでは、オブジェクトの移動又は動作は制限又は停止しないようになり、操作の安定性等を確保できるようになる。

また本発明の一態様では、前記画像生成部は、前記ウェイト期間の経過後に、前記オブジェクトの制御を継続するか否かを、前記操作者に選択させるための選択画面の画像を生成してもよい。

このようにすれば、ウェイト期間の経過後に、例えば所定部位の動きに応じたオブジェクトの制御を継続するか否かを、操作者に選択させることが可能になる。

また本発明の一態様では、ゲーム演算処理を行うゲーム演算部を含み（ゲーム演算部としてコンピュータを機能させ）、前記ゲーム演算部は、前記信頼度情報に応じた前記ゲーム演算処理を行ってもよい。

このようにすれば、信頼度情報により表される信頼度が増減すると、ゲーム演算処理の内容も変化するようになり、信頼度が反映されたゲーム演算処理を実現できる。

また本発明の一態様では、前記ゲーム演算部は、前記ゲーム演算処理として、前記信頼度情報に応じたゲーム結果演算処理を行ってもよい。

このようにすれば、ゲーム結果に対して信頼度を反映させることが可能になり、これまでにないゲーム結果演算処理を実現できる。

また本発明の一態様では、前記ゲーム演算部は、前記信頼度情報により表される信頼度が低い場合のゲーム結果が、信頼度が高い場合のゲーム結果に比べて低いゲーム結果になるように、前記ゲーム結果演算処理を行ってもよい。

このようにすれば、信頼度が低い場合には、信頼度が高い場合に比べてゲーム結果が低くなり、操作の誤認識の抑止や安定したゲーム演算処理の実現等が可能になる。

本発明の他の態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、前記スケルトン情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、オブジェクトを制御するオブジェクト制御部と、表示部に表示される画像を生成する画像生成部を含み、前記オブジェクト制御部は、前記信頼度情報に応じた前記オブジェクトの制御を行う画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の他の態様は、画像センサからの画像情報を取得する画像情報取得部と、前記画像センサからの前記画像情報に基づいて、操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、前記スケルトン情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、ゲーム演算処理を行うゲーム演算部と、表示部に表示される画像を生成する画像生成部を含み、前記ゲーム演算部は、前記信頼度情報に応じた前記ゲーム演算処理を行う画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本実施形態の画像生成システムの構成例。図２（Ａ）、図２（Ｂ）は画像センサからの撮像情報を用いた本実施形態の操作インターフェースの説明図。デプス情報等に基づいて操作者のスケルトン情報を求める手法の説明図。図４（Ａ）、図４（Ｂ）はスケルトン情報、信頼度情報のデータ構造の例。図５（Ａ）、図５（Ｂ）は信頼度、存在確率範囲の説明図。図６（Ａ）、図６（Ｂ）は信頼度の説明図。図７（Ａ）、図７（Ｂ）は操作者の操作動作を示す図。図８（Ａ）、図８（Ｂ）は信頼度情報に基づき画像の表示態様を変化させる手法の説明図。信頼度情報に基づき画像の表示態様を変化させる手法の説明図。図１０（Ａ）、図１０（Ｂ）は信頼度の変化の予測情報を用いる手法の説明図。図１１（Ａ）、図１１（Ｂ）は信頼度情報に応じたオブジェクトの制御手法の説明図。図１２（Ａ）、図１２（Ｂ）は信頼度情報に応じたオブジェクトの制御手法の説明図。図１３（Ａ）、図１３（Ｂ）はオブジェクトの移動、動作を制限する際にウェイト期間を設定する手法の説明図。図１４（Ａ）、図１４（Ｂ）はウェイト期間経過後の選択画面等の表示手法の説明図。図１５（Ａ）、図１５（Ｂ）は信頼度情報に応じたゲーム演算処理手法の説明図。図１６（Ａ）、図１６（Ｂ）は信頼度情報に応じたゲーム演算処理手法の説明図。図１７（Ａ）、図１７（Ｂ）は映像機器への本実施形態の手法の適用例。図１８（Ａ）〜図１８（Ｃ）は操作対象オブジェクトの候補オブジェクトの数を増減させる手法の説明図。図１９（Ａ）、図１９（Ｂ）は映像機器への本実施形態の手法の適用例。本実施形態の処理を説明するフローチャート。本実施形態の処理を説明するフローチャート。本実施形態の処理を説明するフローチャート。本実施形態の処理を説明するフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．構成
図１に本実施形態の画像生成システム（ゲーム装置、映像機器等）のブロック図の例を示す。なお、本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

操作部１６０は、操作者が操作情報を入力するためのものである。この操作部１６０は、例えばカラー画像センサやデプスセンサなどにより実現される画像センサを含む。なお操作部１６０の機能を、画像センサだけで実現してもよいし、画像センサ以外の操作デバイス（方向指示キー、操作ボタン、アナログスティック、レバー、角速度センサ・加速度センサ等のセンサ、マイク、或いはタッチパネル型ディスプレイ）を用いて実現してもよい。

記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ（ＤＲＡＭ、ＶＲＡＭ）などにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。

補助記憶装置１９４（補助メモリ、２次メモリ）は、記憶部１７０の容量を補うために使用される記憶装置であり、ＳＤメモリーカード、マルチメディアカードなどのメモリーカードなどにより実現できる。

通信部１９６は、有線や無線のネットワークを介して外部（例えば他の画像生成システム、サーバ、ホスト装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。

処理部１００（プロセッサ）は、操作部１６０からの操作情報やプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などを行う。処理部１００は記憶部１７０をワーク領域として各種処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ、ＧＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。

処理部１００は、画像情報取得部１０２、スケルトン情報取得部１０４、信頼度情報取得部１０６、ゲーム演算部１１０、オブジェクト空間設定部１１２、オブジェクト制御部１１４、仮想カメラ制御部１１８、画像生成部１２０、音生成部１３０を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

画像情報取得部１０２は、画像センサからの画像情報を取得する。例えば画像センサにより撮像された画像の情報は、記憶部１７０の画像情報記憶部１７１に保存される。具体的には、画像センサのカラー画像センサにより撮像されたカラー画像の情報はカラー画像情報記憶部１７２に保存され、画像センサのデプスセンサにより撮像されたデプス画像の情報はデプス情報記憶部１７３に保存される。画像情報取得部１０２は、これらの画像情報を画像情報記憶部１７１から読み出すことで画像情報を取得する。

スケルトン情報取得部１０４はスケルトン情報を取得し、信頼度情報取得部１０６は信頼度情報を取得する。スケルトン情報、信頼度情報はスケルトン情報記憶部１７４、信頼度情報記憶部１７５に記憶される。スケルトン情報取得部１０４、信頼度情報取得部１０６の詳細については後述する。

ゲーム演算部１１０はゲーム演算処理を行う。ここでゲーム演算処理としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。

オブジェクト空間設定部１１２は、複数のオブジェクトが配置されるオブジェクト空間の設定処理を行う。例えば、キャラクタ（人、動物、ロボット、車、船舶、飛行機等）、マップ（地形）、建物、コース（道路）、樹木、壁などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちオブジェクトが３次元オブジェクトである場合には、ワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクトデータ記憶部１７６には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等のデータであるオブジェクトデータがオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクトデータを更新する処理などを行う。

オブジェクト制御部１１４は、オブジェクトの制御を行う。例えば、操作部１６０により操作者（プレーヤ、ユーザ）が入力した操作情報や、プログラム（移動・動作アルゴリズム）や、各種データなどに基づいて、オブジェクトの移動及び動作の少なくとも一方を制御する。具体的には、オブジェクトの移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。或いはオブジェクトのモーション処理やアニメーション処理などの動作制御を行う。なおフレームは、オブジェクトの移動・動作処理や画像生成処理を行う時間の単位である。

オブジェクト制御部１１４により制御されるオブジェクトは、３次元オブジェクト空間に配置設定される３次元オブジェクトであってもよいし、２次元スクリーン（表示画面）に描画される２次元オブジェクトであってもよい。オブジェクトが、３次元モデルにより表されるキャラクタのオブジェクトである場合には、オブジェクト制御部１１４は、キャラクタにモーションを行わせるモーション処理（モーション再生、モーション生成）を行う。このモーション処理は、キャラクタのモーションを、モーションデータ記憶部１７７に記憶されているモーションデータ等に基づいて再生することなどで実現できる。ここで、モーションデータ記憶部１７７には、キャラクタ（モデルオブジェクト）のスケルトンを構成する各骨（キャラクタを構成する各パーツオブジェクト）の位置又は回転角度（親の骨に対する子の骨の３軸周りの回転角度）等を含むモーションデータが記憶されている。またモデルデータ記憶部１７８には、キャラクタを表すモデルオブジェクトのモデルデータが記憶される。

仮想カメラ制御部１１８は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。

画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７９（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点）から見える画像が生成される。なお、描画処理は頂点シェーダ処理やピクセルシェーダ処理により実現することができる。

なお、画像生成部１２０が、いわゆる立体視用の画像を生成するようにしてもよい。この場合には、基準となる仮想カメラの位置とカメラ間距離を用いて、左目用仮想カメラと右目用仮想カメラを配置設定する。そして画像生成部１２０が、オブジェクト空間内において左目用仮想カメラから見える左目用画像と、オブジェクト空間内において右目用仮想カメラから見える右目用画像を生成する。そしてこれらの左目用画像、右目用画像を用いて、眼分離眼鏡方式や、レンティキュラーレンズなどを用いた裸眼方式などにより、立体視を実現すればよい。

音生成部１３０は、処理部１００で行われる種々の処理の結果に基づいて音処理を行い、ＢＧＭ、効果音、又は音声などのゲーム音を生成し、音出力部１９２に出力する。

そして本実施形態では、画像情報取得部１０２が、画像センサからの画像情報を取得すると、スケルトン情報取得部１０４が、画像センサからの画像情報に基づいて、操作者のスケルトン情報を取得する。

ここでスケルトン情報は、例えば画像センサから見える操作者の動作を特定する情報である。具体的には、このスケルトン情報は、操作者の複数の関節に対応する複数の関節位置情報を有し、各関節位置情報は３次元座標情報により構成される。各関節を結合するものが骨（ボーン）となり、複数の骨の結合によりスケルトンが構成される。関節位置情報は骨の位置情報として用いられる。

信頼度情報取得部１０６は、スケルトン情報の信頼度（情報の確からしさ）を表す信頼度情報を取得する。そして画像生成部１２０は、表示部１９０に表示される画像として、取得された信頼度情報に応じた画像を生成する。例えば画像生成部１２０は、信頼度情報に基づいて、表示部１９０に表示される画像の表示態様を変化させる。またゲーム演算部１１０が信頼度情報に応じたゲーム演算処理を行った場合や、オブジェクト制御部１１４が信頼度情報に応じたオブジェクト制御を行った場合には、当該ゲーム演算処理やオブジェクト制御に基づく画像を生成することで、信頼度情報に応じた画像が生成されるようになる。

例えば信頼度情報取得部１０６は、スケルトン情報により表されるスケルトンを構成する各骨（各関節）に対して、各骨の情報（位置情報、対応づけ情報）の信頼度が関連づけられた情報を、信頼度情報として取得する。ここで、スケルトン情報は、操作者の各部位（手、足、腰、胴体、首、頭等）に対応づけられた各骨（各関節）の位置情報を含む。この場合には、信頼度情報により表される信頼度は、操作者の各部位と各骨との対応づけと、各骨の位置情報に関する信頼度となる。

また信頼度情報取得部１０６は、操作者の所定部位（例えば手、足等）が操作者の他の部位（例えば胴体、頭、他方の手・足等）、に近づくほど、所定部位に対応する骨の情報（位置情報、対応づけ情報）の信頼度が低くなる情報を、信頼度情報として取得する。即ち所定部位と他の部位との区別がつかなくなった場合に信頼度が低くなるような情報を、信頼度情報として取得する。或いは、信頼度情報取得部１０６は、操作者が画像センサから所定距離以上離れた場合に、スケルトン情報の骨の情報の信頼度が低くなる情報を、信頼度情報として取得する。即ち、操作者が画像センサから遠く離れてしまい、画像センサからの画像情報から信頼度情報を取得できなくなったり取得するのが極めて困難になった場合に信頼度が低くなるような情報を、信頼度情報として取得する。或いは信頼度情報取得部１０６は、スケルトン情報に関する処理負荷が増加することでスケルトン情報の信頼度が低くなる情報を、信頼度情報として取得してもよい。例えば画像センサにより撮像された操作者の人数が、スケルトン情報を取得可能な許容人数（例えば２人）を超えるなどして、スケルトン情報に関する処理負荷が増加すると、スケルトン情報の信頼度が低くなる。信頼度情報取得部１０６は、このような情報を、信頼度情報として取得する。なおスケルトン情報と信頼度情報は一体となった情報であってもよい。

画像生成部１２０は、取得された信頼度情報に基づいて、表示部１９０に表示される画像の表示態様を変化させる。この場合に、信頼度情報により表される信頼度の変化の予測情報（変化率情報等）に基づいて、表示部１９０に表示される画像の表示態様を変化させてもよい。例えば信頼度が所定しきい値以下になることが前もって予測された場合に、画像の表示態様を変化させる。

具体的には画像生成部１２０は、操作者の所定部位（例えば手、足）に対応する骨（手、足の骨・関節）の情報の信頼度に基づいて、所定部位に対応して表示部１９０に表示されるオブジェクトの表示態様を変化させる。ここで所定部位に対応して表示されるオブジェクトは、所定部位の動きに連動して移動又は動作するオブジェクトであり、２次元オブジェクトであってもよいし、３次元オブジェクトであってもよい。

そして画像生成部１２０は、所定部位に対応する骨の情報の信頼度が低くなるにつれて、所定部位に対応するオブジェクトをぼかす処理（ぼかしフィルタ処理）、オブジェクトを透明に近づける処理（α値を変化させる処理）、及びオブジェクトの色を変化させる処理（ターゲット色に近づける処理）の少なくとも１つの処理を行う。或いは、所定部位に対応する骨の情報の信頼度が低くなるにつれて、オブジェクトの明度（輝度）を変化させる処理、オブジェクトの輪郭線の表示態様（太さ、濃さ）を変化させる処理、オブジェクトのサイズを変化（変形）させる処理、及びオブジェクトに施されるエフェクトを変化させる処理の少なくとも１つの処理を行ってもよい。なお本実施形態でのオブジェクトの表示態様を変化させる処理は、オブジェクト（アイコン）自体を完全に消す処理も含むことができる。

ここで所定部位は例えば操作者の手であり、オブジェクトは、操作者の手の動きに応じて移動又は動作する手オブジェクトである。但し、所定部位は、これは限定されず操作者の足等であってもよい。またオブジェクトは、操作者の所定部位の動きに応じて移動するアイコン（カーソル）であってもよい。このアイコンは、操作者の所定部位を、その所定部位を象徴する絵、記号等で表現した表示物である。

また画像生成部１２０は、操作者の操作対象となる操作対象オブジェクトの表示態様を、信頼度情報に基づいて変化させてもよい。このようにすれば、操作者の操作対象となる操作対象オブジェクトの表示態様が変化することにより、その操作対象オブジェクトの操作等に関する信頼度の増減を、操作者は容易に認識できるようになる。

またオブジェクト制御部１１４が、信頼度情報に応じたオブジェクト（２次元オブジェクト、３次元オブジェクト）の制御を行ってもよい。具体的にはオブジェクト制御部１１４は、信頼度情報により表される信頼度が低くなった場合に、オブジェクトの移動及び動作の少なくとも一方を制限又は停止する制御を行う。更に具体的には、操作者の所定部位の動きに応じて移動及び動作の少なくとも一方を行うようにオブジェクトの制御を行うと共に、所定部位に対応する骨の情報の信頼度が低くなった場合に、オブジェクトの移動及び動作の少なくとも一方を制限又は停止する制御を行う。例えば、信頼度が高い場合には、操作者の所定部位の動きを、画像センサからの画像情報に基づいて検出して、操作者の動きに応じて移動及び動作の少なくとも一方を行うようにオブジェクトを制御する。一方、信頼度が例えば所定のしきい値よりも低くなった場合には、オブジェクトの移動及び動作の少なくとも一方を制限したり、停止する制御を行う。

この場合にオブジェクト制御部１１４は、信頼度情報により表される信頼度が低くなったと判断された後、所定のウェイト期間の経過後に、オブジェクトの移動及び動作の少なくとも一方を制限又は停止する制御を行ってもよい。即ち、信頼度が低くなった場合に、直ぐには移動、動作の制限や停止を行わずに、所定のウェイト期間が経過するのをウェイトする。そしてウェイト期間が経過しても、信頼度が低いままであった場合（所定しきい値よりも低い場合）には、オブジェクトの移動及び動作の少なくとも一方を制限又は停止する。

そして画像生成部１２０は、ウェイト期間の経過後に、オブジェクトの制御を継続するか否かを（ゲームプレイを継続するか否かを）、操作者に選択させるための選択画面の画像を生成する。そして、この選択画面においてオブジェクトの制御の継続（ゲームプレイの継続）が選択された場合には、オブジェクトの移動、動作を停止せずに、オブジェクトを移動、動作させる制御を継続する。一方、オブジェクトの制御を継続しないことが選択された場合には、オブジェクトの移動又は動作が制限又は停止され、例えばゲームが終了する。

またゲーム演算部１１０が、信頼度情報に応じたゲーム演算処理を行ってもよい。例えば信頼度情報に応じたゲーム結果の演算処理やゲーム進行処理等を行う。

例えばゲーム演算部１１０は、ゲーム演算処理として、信頼度に応じたゲーム結果演算処理を行う。例えばゲーム結果演算処理により演算されるゲーム結果を、信頼度情報に応じて変化させる。具体的には、信頼度情報により表される信頼度が低い場合（所定のしきい値よりも低い場合）のゲーム結果が、信頼度が高い場合（所定のしきい値よりも高い場合）のゲーム結果に比べて低いゲーム結果になるように、ゲーム演算処理を行う。例えば信頼度が高い場合には、第１のランク（第１の得点）のゲーム結果であった場合に、信頼度が低い場合には、第１のランクよりも低い第２のランク（第２の得点）のゲーム結果を出力する。

２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。

２．１信頼度情報
一般的に、ゲーム装置や、テレビや記録・再生機器等の映像機器では、コントローラ（リモコン）のボタンやレバーを用いて操作を指示する。またコントローラにモーションセンサ（６軸センサ）を設け、操作者がコントローラそのものを動かすことで操作を指示する機器も考えられる。

しかしながら、このような操作インターフェースの機器では、操作にコントローラが必要になり、操作者の手の動きなどのジェスチャをそのまま反映させるような操作については実現できなかった。

そこで本実施形態では、画像センサで撮像された画像情報に基づき操作者の操作入力を可能にする操作インターフェースを採用している。

例えば図２（Ａ）では、表示部１９０（画面ＳＣ）に対応する位置に、デプスセンサ（赤外線センサ等）やカラー画像センサ（ＣＣＤやＣＭＯＳセンサなどのＲＧＢセンサ）により実現される画像センサＩＳＥが設置されている。この画像センサＩＳＥは、例えばその撮像方向（光軸方向）が表示部１９０から操作者の方に向く方向になるように設置されており、表示部１９０側から見た操作者のカラー画像情報やデプス情報を撮像する。なお画像センサＩＳＥは、表示部１９０に内蔵されるものであってもよいし、外付け部品として用意されるものであってもよい。また画像ＩＳＥの設置位置は図２（Ａ）に限定されず、任意の位置（例えば表示部１９０の下部）に設定できる。

そして図２（Ａ）の画像センサＩＳＥを用いて、図２（Ｂ）に示すようなカラー画像情報とデプス情報を取得する。例えばカラー画像情報では、操作者やその周りの風景の色情報が得られる。一方、デプス情報では、操作者やその周りの風景のデプス値（奥行き値）が、例えばグレースケール値として得られる。例えばカラー画像情報は、その各画素位置にカラー値（ＲＧＢ）が設定された画像情報であり、デプス情報は、その各画素位置にデプス値（奥行き値）が設定された画像情報である。なお、画像センサＩＳＥは、デプスセンサとカラー画像センサとが別々に設けられたセンサであってもよいし、デプスセンサとカラー画像センサとが複合的に組み合わせられたセンサであってもよい。

デプス情報の取得手法としては、公知に種々の手法を想定できる。例えば画像センサＩＳＥ（デプスセンサ）から赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間（Time Of Flight）を検出することで、デプス情報を取得し、画像センサＩＳＥの位置から見た操作者などの物体のシェイプを検出する。具体的には、デプス情報は、例えば画像センサＩＳＥから近い物体では明るくなり、画像センサＩＳＥから遠い物体では暗くなるグレースケールデータとして表される。

なおデプス情報の取得手法としては種々の変形実施が可能であり、例えばＣＭＯＳセンサなどの画像センサを用いて、カラー画像情報と同時にデプス情報（被写体までの距離情報）を取得するようにしてもよい。また超音波などを用いた測距センサなどによりデプス情報を取得してもよい。

そして本実施形態では、画像センサＩＳＥからの画像情報に基づき、画像センサＩＳＥから見える操作者（プレーヤ、ユーザ）の動作を特定するスケルトン情報を取得する。また、スケルトン情報の信頼度（確からしさ）を表す信頼度情報を取得する。

即ち本実施形態では図３に示すように、図２（Ｂ）のデプス情報等に基づいて、操作者の動作を特定するためのスケルトン情報を取得する。図３ではスケルトン情報として、スケルトンを構成する骨の位置情報（３次元座標）が、関節Ｃ０〜Ｃ１９の位置情報として取得されている。このスケルトンを構成する各骨は、画像センサＩＳＥに映る操作者の各部位（手、足、胸等）に対応するものであり、関節Ｃ０〜Ｃ１９は、画像センサＩＳＥに映る操作者の関節に対応するものである。

例えば図２（Ｂ）のデプス情報を用いれば、画像センサＩＳＥ側から見た操作者等の３次元形状を特定できる。またカラー画像情報を組み合わせれば、顔画像認識などにより操作者の顔等の部位の領域も特定できる。そこで、これらの３次元形状の情報等や画像の動きベクトル（オプティカルフロー）などを用いて、操作者の各部位を推定し、各部位の関節位置を推定する。そして推定された関節位置に対応するデプス情報の画素位置の２次元座標と、画素位置に設定されたデプス情報に基づいて、スケルトンの関節位置の３次元座標情報を求め、図３に示すようなスケルトン情報を取得する。更に具体的には、体型・体格が異なる複数のモデルを用意する。そして画像センサＩＳＥにより得られた操作者のデプス情報やカラー画像情報を用いて、操作者の体型・体格と、これらの複数のモデルの体型・体格とのマッチング処理を行い、体型・体格が類似するモデルを特定する。そして、特定されたモデルの関節位置の情報等を用いて、操作者の関節位置（骨の位置、部位の位置）を推定して、スケルトン情報を取得する。

このようなスケルトン情報を用いれば、操作者の動作をリアルタイムに特定することができ、従来にない操作インターフェース環境を実現できる。また、このスケルトン情報は、オブジェクト空間に配置されるキャラクタのモーションデータとの親和性が高い。従って、このスケルトン情報を例えばキャラクタのモーションデータとして利用することで、オブジェクト空間において、操作者に対応するキャラクタ（アバター）を動作させることが可能になる。

しかしながら、操作者の動きや体型・体格は種々様々である。また操作者が画像センサＩＳＥの撮像範囲の外に出てしまう場合もある。従って、完全に１００パーセントの信頼度のスケルトン情報を取得することは困難である。このため、操作者のスケルトンの骨（部位）を完全にはトラッキングできない場合には、骨の位置（関節位置）の推測処理を行い、推測処理により得られた骨の位置等に対しては、その推測処理の確からしさの程度を表す信頼度を関連づける。

例えば図４（Ａ）にスケルトン情報のデータ構造の例を示す。このスケルトン情報は、各骨（各関節）に対して、その位置情報が関連づけられている。この各骨（各関節）の位置情報は、例えば画像センサＩＳＥのカメラ座標系での３次元座標情報である。また、各骨（各関節）は、操作者の各部位に対応づけられている。例えばＣ０、Ｃ１、Ｃ２は、各々、腰、胸、首の部位に対応づけられている。この対応づけは、骨の番号（関節番号）などにより実現される。

図４（Ｂ）に信頼度情報のデータ構造の例を示す。図４（Ｂ）に示すように、本実施形態の信頼度情報は、スケルトン情報により表されるスケルトンを構成する各骨（各関節）に対して、信頼度が関連づけられた情報である。この信頼度は、各骨の情報の信頼度を表している。具体的には、図４（Ａ）に示すように、スケルトン情報は、操作者の各部位に対応づけられた各骨の位置情報を含み、図４（Ｂ）の信頼度は、操作者の各部位と各骨（各関節）との対応づけや、各骨（各関節）の位置情報に関する信頼度である。なお、「骨」と「関節」は対応しているため、以下では、適宜、「骨」を「関節」として説明したり、「関節」を「骨」として説明する。

例えば図５（Ａ）において、関節Ｃ１とＣ７の距離は遠く離れている。ＰＲ１、ＰＲ７は関節Ｃ１、Ｃ７の位置についての存在確率の範囲を表すものである。例えば、ある測定タイミングで関節Ｃ１、Ｃ７が図５（Ａ）に示す位置にあった場合には、次の測定タイミングにおいても、関節Ｃ１、Ｃ７の位置は、これらの存在確率の範囲ＰＲ１、ＰＲ７内に位置することが予想される。骨のトラッキングによるスケルトン情報の推定処理の際には、この存在確率の概念を用いる。そして、図５（Ａ）に示すように関節Ｃ１、Ｃ７の距離が離れている場合には、存在確率の範囲ＰＲ１、ＰＲ７の間に重なりが無いため、関節Ｃ１、Ｃ７の情報（部位との対応づけや位置情報）の信頼度は高い。

一方、図５（Ｂ）では関節Ｃ１、Ｃ７の距離が近づいており、存在確率の範囲ＰＲ１、ＰＲ７の間に重なりが生じている。従って、この場合には、次の測定タイミングで、関節Ｃ１をＣ７と判断したり、関節Ｃ７をＣ１と判断してしまう可能性があり、骨のトラッキングの推定処理の際に、誤った判断をする可能性がある。従って、図５（Ｂ）の場合には、図５（Ａ）に比べて関節Ｃ１、Ｃ７の情報（部位への対応づけや位置情報）の信頼度が低くなる。

また図６（Ａ）では、画像センサＩＳＥと操作者の距離が適正な距離になっている。従って、画像センサＩＳＥの撮像により得られる画像情報の信頼度（解像度等）が高くなり、この画像情報から得られるスケルトン情報の信頼度も高くなる。

一方、図６（Ｂ）では、画像センサＩＳＥと操作者の距離が長く、操作者が画像センサＩＳＥから所定の距離（許容距離）ＬＭ以上離れている。従って、画像センサＩＳＥの撮像により得られる画像情報の信頼度が低くなり、この画像情報から得られるスケルトン情報の信頼度も低くなる。

以上のように本実施形態で用いられる信頼度情報は、例えば図５（Ａ）、図５（Ｂ）に示すように操作者の所定部位（例えば手、足）が他の部位（例えば胸、腰、頭、他方の手・足）に近づくほど信頼度が低くなる情報である。また図６（Ａ）、図６（Ｂ）に示すように、操作者が画像センサＩＳＥから所定距離ＬＭ（例えば４〜５ｍ）以上離れた場合に信頼度が低くなる情報である。但し本実施形態の信頼度情報は、これに限定されない。例えば他の人間が近づくことで、操作者の認識の精度が低下し、操作者のスケルトン情報の信頼度が低くなるような情報であってもよい。例えば本実施形態では、所定人数分（例えば２人分）の操作者のスケルトン情報を同時に検出できるようになっている。従って、画像センサＩＳＥにより撮像された操作者の人数が、この所定人数を超えた場合（例えば３人以上になった場合）には、これらの操作者のスケルトン情報の確実な認識が難しくなるため、信頼度が下がったと判断してもよい。

本実施形態では、以上のように説明した信頼度情報を用いた画像を生成して、表示部１９０に表示している。具体的には、信頼度情報に基づいて、表示部１９０に表示される画像の表示態様を変化させたり、信頼度情報に基づくオブジェクト制御やゲーム演算処理を行い、そのオブジェクト制御やゲーム演算結果により生成された画像を表示部１９０に表示する。以下、このような信頼度情報に基づく画像生成手法の具体例について説明する。

２．２信頼度情報に基づく表示態様の変化処理
本実施形態では、信頼度情報に基づいて画像の表示態様を変化させている。

例えば図７（Ａ）、図７（Ｂ）は、図２（Ａ）のように表示部１９０の前方に立って、その体の動きにより操作情報を入力している操作者の様子を示す図である。図７（Ａ）では、操作者は、自身の体（胴体）から手を離した状態で、手を動かすことで操作情報を入力している。一方、図７（Ｂ）では、自身の体に手が近い状態で、手を動かすことで操作情報を入力している。

図７（Ａ）では、図５（Ａ）に示すように手の関節と胸の関節は遠くなっているため、手の関節の信頼度は高くなり、手の位置情報等は、より確からしい情報になっている。一方、図７（Ｂ）では、手の関節と胸の関節は近くなっているため、手の関節の信頼度は低くなり、手の位置情報等は、図７（Ａ）に比べて不確かな情報になっている。即ち図７（Ｂ）では、実際には胸の位置情報であるものを、手の位置情報として誤認識している可能性がある。

そして、本来は操作者は図７（Ａ）のような状態の手の動きで操作すべきであるのに、図７（Ｂ）のような状態の手の動きでの操作を許容すると、操作者の操作をシステム側が誤認識してしまうおそれがある。即ち、システム側が認識した操作と、操作者が意図する操作との間に不一致が生じるおそれがある。

そこで本実施形態では、図７（Ｂ）のような不適切な操作状態になっていることを操作者に認知させるために、図８（Ａ）、図８（Ｂ）に示すように信頼度情報に基づいて画像の表示態様を変化させている。

例えば図８（Ａ）において、ＨＲ、ＨＬは、操作者の手（広義には所定部位）に対応して表示部１９０に表示される手オブジェクト（アイコン、カーソル）である。またＣＨは、操作者に対応するキャラクタ（アバター）のオブジェクトである。

そして図７（Ａ）のように操作者が手を動かすと、その手の動きに応じて図８（Ａ）の手オブジェクトＨＲ、ＨＬが移動（又は動作）する。例えば操作者が右手を上下左右に動かすと、右手オブジェクトＨＲが画面上で上下左右に移動し、操作者が左手を上下左右に動かすと、左手オブジェクトＨＬが上下左右に移動する。操作者は、このように手オブジェクトＨＲ、ＨＬを動かすことで、プレイしたいミニゲームを選択したり、ゲームのスタートを選択する。

そして図８（Ａ）は、図７（Ａ）のように手が体から離れた状態の時に表示される画像の例であり、図８（Ｂ）は、図７（Ｂ）のように手が体の近くにある状態の時に表示される画像の例である。

図７（Ａ）のようにスケルトン情報の信頼度が高いと考えられる状態では、図８（Ａ）に示すように、手オブジェクトＨＲ、ＨＬは、はっきりとした画像になる。一方、図７（Ｂ）のように、スケルトン情報の信頼度が低いと考えられる状態では、図８（Ｂ）に示すように、手オブジェクトＨＲ、ＨＬは、図８（Ａ）に比べて例えばぼけた画像になったり、透明に近づいた画像になる。或いは手オブジェクトＨＲ、ＨＬの色が薄い色等に変化する。

このように本実施形態では、操作者の手の骨の情報の信頼度（所定部位に対応する骨の情報の信頼度）が低くなるにつれて、手（所定部位）に対応する手オブジェクトＨＲ、ＨＬ（広義にはオブジェクト）をぼかす処理、透明に近づける処理、或いは色を変化させる処理などを行う。

ぼかし処理は、例えば手オブジェクトＨＲ、ＨＬに対してぼかしフィルタ等を適用することなどで実現できる。具体的には、バイリニアフィルタリングによるぼかし処理である線形テクスチャフィルタリングの手法や、何枚ものテクスチャを同時に使用するマルチテクスチャによるぼかし処理であるボックスフィルタサンプリングの手法などを採用できる。透明に近づける処理は、手オブジェクトＨＲ、ＨＬのα値を、透明に近いα値に変化させることで実現できる。色を変化させる処理は、手オブジェクトＨＲ、ＨＬをターゲット色に近づけることで実現できる。

なお手オブジェクトＨＲ、ＨＬの表示態様の変化処理は、これらの処理には限定されない。例えばスケルトン情報の信頼度が低くなるにつれて、手オブジェクトＨＲ、ＨＬの明度（輝度）を変化させる処理や、輪郭線の表示態様を変化させる処理や、サイズを変化させる処理や、オブジェクトＨＲ、ＨＬに施されるエフェクトを変化させる処理などを行ってもよい。例えば信頼度が低くなるにつれて、手オブジェクトＨＲ、ＨＬの明度を暗くしたり、輪郭線を薄くしたり、細くしたり、サイズを拡大又は縮小する。或いは、手オブジェクトＨＲ、ＨＬに施されるエフェクトを用いて、上述した処理と同等の映像効果を実現してもよい。例えば信頼度が下がるほど、フォグエフェクトがオブジェクトＨＲ、ＨＬ（アイコン）に重畳されて行くことで、オブジェクトＨＲ、ＨＬが見えにくくなり、オブジェクトＨＲ、ＨＬをぼかす処理等と同等の効果を得るようにする。或いは、信頼度が下がるほど、オブジェクトＨＲ、ＨＬ（アイコン）を囲むように別のオブジェクト（アイコン）が重畳されて行くことで、オブジェクトＨＲ、ＨＬをぼかす処理等と同等の効果を得るようにする。或いは、信頼度の低下を警告するような吹き出しやアイコン等のエフェクトを、オブジェクトＨＲ、ＨＬに重畳して表示することで、信頼度の低下を操作者に伝えるようにしてもよい。

或いはスケルトン情報の信頼度に応じて手オブジェクトＨＲ、ＨＬを変形させてもよい。またスケルトン情報の信頼度に基づいて、図８（Ａ）、図８（Ｂ）のキャラクタＣＨ（アバター）の画像の表示態様（ぼかし度、透明度、色等）を変化させてもよい。また、スケルトン情報の信頼度が低くなった場合に、信頼度が低くなったことを警告するアイコンオブジェクトを表示してもよい。

以上のように、信頼度に応じて手オブジェクトＨＲ、ＨＬの表示態様を変化させれば、手の操作についての信頼度が低下していることを、操作者は容易に把握できるようになる。例えば図７（Ｂ）のように手が体に近い状態で操作している場合には、図８（Ｂ）のように手オブジェクトＨＲ、ＨＬがぼけた画像になるため、これを見た操作者は、図７（Ａ）のように手を伸ばして操作するようになる。従って、結局、操作者は、図７（Ａ）のようにスケルトン情報の信頼度が高い状態で手を動かして操作を行うようになり、操作者の操作が誤認識されてしまう事態を抑止できる。従って、誤操作等が抑止され、快適な操作インターフェース環境を操作者に提供できる。

なお図９では、スケルトン情報の信頼度に基づいて、手オブジェクトＨＲ、ＨＬのぼかし処理や透明に近づける処理等を行うと共に、手オブジェクトＨＲ、ＨＬのサイズを変化させる処理を行っている。具体的には、手オブジェクトＨＲ、ＨＬのサイズを拡大する（或いは逆に縮小してもよい）。このようにすれば、操作者は、手が体に近づいたことが原因で信頼度が低下して、手オブジェクトＨＲ、ＨＬがぼけた画像になったということを、直感的に認識できるようになる。従って、信頼度の低下を、より直感的に認識できる表示態様変化処理を実現できる。

また、画像の表示態様を変化させる処理は、信頼度自体の値を用いるものには限定されない。例えば信頼度情報により表される信頼度の変化の予測情報（変化率情報、傾き情報）に基づいて、表示部１９０に表示される画像の表示態様を変化させてもよい。

例えば図１０（Ａ）のＡ１では、信頼度が所定のしきい値ＶＴＣよりも低くなっているため、図８（Ｂ）のように手オブジェクトＨＲ、ＨＬ等の表示態様を変化させる。

これに対して図１０（Ｂ）のＡ２では、信頼度自体はしきい値ＶＴＣよりも低くなっていないが、信頼度の変化から、信頼度がしきい値ＶＴＣよりも低下することが予測されている。即ち、信頼度の減少の変化が急激であるため、近い将来にしきい値ＶＴＣを下回ることが予測されている。

このような場合には、信頼度がしきい値ＶＴＣよりも低くなっていなくても、信頼度の変化の予測情報に基づいて、図８（Ｂ）のように手オブジェクトＨＲ、ＨＬ等の表示態様を変化させる。このようにすれば、操作者は、信頼度がしきい値ＶＴＣを下回る前に、自身の操作が信頼度を低下させる操作になっていることを、認識できるようになる。従って、操作者は、信頼度がしきい値ＶＴＣを下回る前に、例えば手の位置を図７（Ｂ）から図７（Ａ）の状態に戻すようになる。この結果、操作者は、スケルトン情報の信頼度が高い値に維持された状態で、操作を継続することが可能になり、操作者の操作の誤認識を更に抑止することができ、安定した操作インターフェース環境を提供できる。

２．３信頼度情報に応じたオブジェクト制御
本実施形態では、信頼度情報に応じたオブジェクト制御を行うことができる。例えば図１１（Ａ）では、操作者は、両手を前に出して、物を持つ動作を行っている。この時、表示部１９０には図１１（Ｂ）に示すようなゲーム画像が表示されている。ＨＲ、ＨＬは操作者の右手、左手に対応する手オブジェクトであり、図１１（Ａ）のように操作者が物を持つ動作を行うと、その動きに連動して手オブジェクトＨＲ、ＨＬも移動又は動作する。そして操作者は、図１１（Ｂ）の画像を見ながら、操作対象となるオブジェクトＯＢＣをつかみ、指示された方向にオブジェクトＯＢＣを移動する操作を行って、ミニゲームを楽しむ。

図１１（Ａ）では、操作者の右手と左手は重なっておらず、体からも離れた位置にある。従って、操作者の手に対応する骨（関節）の情報の信頼度は高くなっている。従って、この場合には図１１（Ｂ）に示すように手オブジェクトＨＲ、ＨＬは、はっきりとした画像になる。また、手オブジェクトＨＲ、ＨＬの移動（動作）は制限されておらず、操作者の手（所定部位）の動きに応じて手オブジェクトＨＲ、ＨＬは移動又は動作するように制御される。

一方、図１２（Ａ）では、操作者の右手と左手が交差している。このため、図５（Ｂ）のように手の存在確率の範囲に重なりが生じており、操作者の手に対応する骨（関節）の情報の信頼度は低くなっている。従って、この場合には図１２（Ｂ）に示すように手オブジェクトＨＲ、ＨＬに対してぼかし処理や透明に近づける処理が行われる。また、手オブジェクトＨＲ、ＨＬの移動又は動作が制限又は停止される。即ち、操作者が手を動かしても、手オブジェクトＨＲ、ＨＬは、この動きに連動することはなく、移動又は動作が制限又は停止する。従って、操作者は、操作対象オブジェクトＯＢＣをつかむことはできず、ゲームを進めることができなくなる。

操作者は、手オブジェクトＨＲ、ＨＬがぼけた画像になっており、手を動かしても動かないことから、自身の手の状態が図１２（Ａ）のように両手が交差した不適切な状態等であることを認識する。そして、手の状態を図１１（Ａ）に示すような状態に戻して、手を動かすことで、手オブジェクトＨＲ、ＨＬがはっきりした画像に戻り、手の動きに連動して手オブジェクトＨＲ、ＨＬも動くようになり、ゲームを進めることが可能になる。

このように本実施形態では、スケルトン情報の信頼度が低い場合には、操作者の動きに連動したオブジェクトの移動又は動作を制限又は停止している。このため、不適切な状態での操作者の操作は受け付けられないようになる。従って、操作者の操作を誤認識して、操作者が意図しない不適切な操作が行われたり、不適切な操作によりシステムの処理が破綻してしまうなどの事態を抑止できる。

図１３（Ａ）では、操作者が、ハンドルの形を模したハンドル型コントローラを持って、ゲームをプレイしている。表示部１９０には、図１４（Ａ）に示すような画像が表示され、操作者がハンドル型コントローラを左右に回すと、これに連動してハンドルオブジェクトＨＤも左右に回り、レースカーのオブジェクトＯＢＤも、左右にコーナリングする。これにより、操作者は、リアルな操作感覚でのレースゲームを楽しむことができる。

一方、図１３（Ｂ）では、操作者がハンドル型コントローラから右手を離して、頭の方に持って行っている。この場合には図５（Ｂ）のように存在確率範囲が重なる事態が発生し、右手の骨（関節）の情報の信頼度が低下する。或いは図６（Ａ）、図６（Ｂ）で説明したように、操作者が画像センサＩＳＥから一時的に離れたような場合にも信頼度が低下する。

しかしながら、この時に図１４（Ａ）では、ハンドルオブジェクトＨＤやレースカーオブジェクトＯＢＤの移動又は動作を直ぐには制限又は停止せずに、制限又は停止制御の実行を所定ウェイト期間だけウェイトする。そしてウェイト期間の間は、レースカーオブジェクトＯＢＤは所定のアルゴリズムに従って自動走行する。そしてウェイト期間が経過した後に、ハンドルオブジェクトＨＤやレースカーオブジェクトＯＢＤの移動又は動作の制限又は停止制御が実行される。

具体的にはウェイト期間の経過後にゲーム進行のポーズが行われて、図１４（Ｂ）に示すような選択画面が表示部１９０に表示される。この選択画面において、操作者は、ゲームプレイを継続するか否かを（オブジェクトの制御を継続するか否かを）、選択できる。そしてゲームプレイの継続を選択すると、操作者は、図１３（Ａ）のようなハンドル型コントローラの操作を行うことで、例えばゲーム進行のポーズ時点からのゲームプレイを続行できる。一方、ゲームプレイの終了を選択すると、オブジェクトの移動又は動作が制限又は停止され、ゲームが終了する。

このように、信頼度が低くなった場合に、直ぐにはオブジェクトの移動又は動作を制限又は停止せずに、所定のウェイト期間を設定することで、例えば操作者が図１３（Ｂ）に示すような、ちょっとした動きをした場合にも、オブジェクトの移動又は動作が制限又は停止しないようになる。これにより、スムーズなゲーム進行を実現できる。そして、ウェイト期間の経過後に図１４（Ｂ）に示すような選択画面を表示することで、操作者の動きが、図１３（Ｂ）に示すような、ちょっとした動きなのか、ゲームプレイの終了を意図する動きなのかを、容易に判定することができ、操作者の意図をより反映したゲーム操作を実現できる。

２．４信頼度情報に応じたゲーム演算処理
本実施形態では、信頼度情報に応じたゲーム演算処理を行うことができる。具体的には信頼度情報に応じたゲーム結果演算処理を行ったり、ゲーム進行処理を行う。

例えば図１５（Ａ）、図１５（Ｂ）は本実施形態を音楽ゲームに適用した場合の例である。図１５（Ａ）では、操作者は、太鼓ゲームにおいて太鼓を叩く手の動きを行っている。そして、操作者の太鼓を叩く手の動きのタイミングが、ゲーム装置から流れる音楽の基準タイミング（リズム）に一致すると、操作者の得点（ポイント）が加算される。

そして図１５（Ａ）では、操作者は、体から離れた位置で手を動かしており、信頼度が高い状態で、太鼓を叩く手の動きを行っている。従ってこの状態で、図１５（Ｂ）のように操作者の手の動きのタイミングが音楽の基準タイミングに正確に一致すると、操作者に対して高評価が与えられ、操作者の得点に対して高得点が加算される。

一方、図１６（Ａ）では、操作者は、体に近い位置で手を動かしており、信頼度が低い状態で、太鼓を叩く手の動きを行っている。従ってこの状態で、図１６（Ｂ）のように操作者の手の動きのタイミングが音楽の基準タイミングに正確に一致したとしても、図１５（Ｂ）に比べて、操作者に与えられる評価は低くなり、加算される得点も低くなる。

このように図１５（Ａ）〜図１６（Ｂ）では、スケルトン情報の信頼度に応じたゲーム結果演算処理を行っている。例えば図１６（Ａ）、図１６（Ｂ）のように信頼度が低い場合のゲーム結果が、図１５（Ａ）、図１５（Ｂ）のように信頼度が高い場合のゲーム結果に比べて低いゲーム結果になるように、ゲーム結果演算処理が行われる。例えば図１５（Ａ）、図１５（Ｂ）のように信頼度が高い場合には、高いランクの評価（VERY VERY GOOD）が操作者に与えられるのに対して、図１６（Ａ）、図１６（Ｂ）のように信頼度が低い場合には、図１５（Ａ）、図１５（Ｂ）よりも低いランクの評価（GOOD）が操作者に与えられる。このようにすれば、適正な手の位置で正しい手の動きを行った操作者に対して高い評価が与えられるようになり、操作の誤認識の抑止や、安定したゲーム演算処理の実現が可能になる。なお、逆に、信頼度が低い場合のゲーム結果が、信頼度が高い場合のゲーム結果に比べて高いゲーム結果になるように、ゲーム結果演算処理を行ってもよい。即ち、信頼度が低い場合には、操作情報の正しい検出ができないため、判定から漏れている操作者の操作も存在すると考えられ、この点を推定して、その操作者に得点を加算するようにする。

なお、図１５（Ａ）〜図１６（Ｂ）では、信頼度に応じたゲーム結果演算処理の例について説明したが、本実施形態はこれに限定されない。例えば信頼度に応じたゲーム進行処理等のゲーム演算処理を行ってもよい。例えば、操作者の手の位置等が正しい位置にあることを条件に、ゲームを進行させ、正しい位置にない場合にはゲーム進行を停止したり制限してもよい。また、ゲーム結果演算処理に信頼度を反映されるゲームも図１５（Ａ）〜図１６（Ｂ）のような音楽ゲームには限定されず、種々のゲームへの適用が可能である。

２．５映像機器等への適用例
以上では本実施形態の手法をゲーム装置に適用した場合について主に説明したが、本実施形態の手法はゲーム装置以外の種々の機器に適用できる。

例えば図１７（Ａ）は、映像機器の１つであるテレビ（表示装置）への本実施形態の手法の適用例である。図１７（Ａ）において、操作対象オブジェクトＯＢＤ、ＯＢＥ、ＯＢＦ、ＯＢＧ、ＯＢＨは、操作者の操作の対象となるオブジェクトであり、例えば映像機器（又はゲーム装置）に対して操作指示を行うためのオブジェクトである。具体的には、映像機器（ゲーム装置）に対してコンテンツ選択、所定の機器動作、及びコンテンツ再生・記録の少なくも１つを操作指示するためのオブジェクトである。例えばＯＢＤ、ＯＢＥ、ＯＢＦは、各々、チャンネル選択（広義にはコンテンツ選択）、ボリュームの操作（広義には機器動作の選択）、消音の操作（広義には機器動作の選択）を行うための操作対象オブジェクトである。ＯＢＧ、ＯＢＨは、各々、コンテンツの再生・記録操作（プレイ、停止、早送り、巻き戻し、録画等）、放送種別（地上デジタル放送、衛星放送等）の選択操作を行うための操作対象オブジェクトである。

操作者は、チャンネルを切り替えたい場合には、表示部１９０の方に手を伸ばし、手オブジェクトＨＲの位置をチャンネル操作用の操作対象オブジェクトＯＢＤの位置に合わせる。そして手を回すなどの操作を行うことで、チャンネルを切り替えて、所望の放送番組を視聴する。

また操作者は、ボリュームを変えたい場合には、手を伸ばして、手オブジェクトＨＲの位置をボリューム操作用の操作対象オブジェクトＯＢＥの位置に合わせる。そして手を左右に動かすなどの操作を行うことで、音のボリュームを変更する。同様に消音を行いたい場合には、手オブジェクトＨＲの位置を消音操作用の操作対象オブジェクトＯＢＦの位置に合わせて、手の指で押すなどの操作を行うことで、音声を消音する。操作対象オブジェクトＯＢＧ、ＯＢＨの操作も同様にして実現できる。

そして、操作者が手を伸ばしており、右手と左手が交差していないというように、スケルトン情報の信頼度が高い場合には、図１７（Ａ）に示すように操作対象オブジェクトＯＢＤ〜ＯＢＨや手オブジェクトＨＲ、ＨＬは、はっきりとした画像で表示部１９０に映し出される。

また、スケルトン情報の信頼度が高い場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨの操作が許可され、操作者の手等の動きに応じて操作対象オブジェクトＯＢＤ〜ＯＢＨが操作されるようになる。即ち、操作者は、手を回したり、手を左右に動かすことで、チャンネル用の操作対象オブジェクトＯＢＤを操作したり、ボリューム用の操作対象オブジェクトＯＢＥを操作できる。

一方、操作者の手が体の近くにあったり、右手と左手が交差しているというように、スケルトン情報の信頼度が低い場合には、図１７（Ｂ）に示すように、操作対象オブジェクトＯＢＤ〜ＯＢＨや手オブジェクトＨＲ、ＨＬは、ぼかした画像や透明に近い画像（或いは透明な画像）になる。即ち、信頼度情報に基づいて操作対象オブジェクトＯＢＤ〜ＯＢＨや手オブジェクトＨＲ、ＨＬの表示態様が変化し、信頼度が低い場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対してぼかし処理、透明に近づける処理などが行われるようになる。なお信頼度が低い場合に、図１７（Ｂ）において手オブジェクトＨＲが触れている操作対象オブジェクトＯＢＤの方の表示態様を変化させてもよい。例えば、手オブジェクトＨＲについては表示態様を変化させずに、操作対象オブジェクトＯＢＤの表示態様（ぼかし度、透明度、色等）だけを変化させる。これにより操作対象オブジェクトＯＢＤに対する操作は適正に実行できないことを、操作者は把握できるようになる。

また、信頼度が低い場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対する操作者の操作が制限又は不許可にされる。即ち、操作者が、手を回したり、手を左右に動かしても、チャンネル用の操作対象オブジェクトＯＢＤやボリューム用の操作対象オブジェクトＯＢＥに対する操作は実行されない。

このようにすれば、例えば操作者が手を伸ばすことで、図１７（Ａ）に示すように操作対象オブジェクトＯＢＤ〜ＯＢＨが画面に映し出され、これらの操作対象オブジェクトＯＢＤ〜ＯＢＨを操作することで、コンテンツ（映像、音）選択の操作や、機器動作の操作や、コンテンツ再生・記録の操作を行うことが可能になる。

一方、操作者が手を体の方に近づけて曲げる等の動きをすると、図１７（Ｂ）に示すように操作対象オブジェクトＯＢＤ〜ＯＢＨがぼけて薄い画像になったり、透明になって見えないようになる。従って、画面上において操作対象オブジェクトＯＢＤ〜ＯＢＨが目立たなくなり、操作者は、映像等のコンテンツの視聴を妨げられることなく楽しめるようになる。

以上のように本実施形態では、スケルトン情報の信頼度が低くなった場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対する操作者の操作が制限又は不許可にされる。一方、信頼度が高くなった場合には、操作対象オブジェクトＯＢＤ〜ＯＢＨに対する操作者の操作が許可される。従って、これまでにないタイプの操作インターフェース環境を操作者に提供できる。

また本実施形態では、スケルトン情報の信頼度が低くなるほど、操作対象オブジェクトとなる候補オブジェクトの数を増加させる制御を行ってもよい。即ち、信頼度が低い場合には、信頼度が高い場合に比べて、操作対象オブジェクトとなる候補オブジェクトの数を増加させる。

例えば図１８（Ａ）では、操作者は手を伸ばして手を回す操作を行っている。このように手を伸ばして、手が体の他の部位から遠ざかると、信頼度が高くなる。また、操作者は手を回しており、チャンネルの操作であることを認識できる。従って、この場合には候補オブジェクトは、１つの操作対象オブジェクトＯＢＤだけになり、手を回すことで、チャンネル操作用の操作対象オブジェクトＯＢＤを用いたチャンネルの切換操作が行われるようになる。

また図１８（Ｂ）では、操作者は手を伸ばして手を左右に動かす操作を行っている。このように手を伸ばして、手が体の他の部位から遠ざかると、信頼度が高くなる。また、操作者は手を左右に動かす操作を行っており、ボリュームの操作であることを認識できる。従って、この場合には候補オブジェクトは、１つの操作対象オブジェクトＯＢＥだけになり、手を左右に動かすことで、ボリューム操作用の操作対象オブジェクトＯＢＥを用いた音量ボリュームを上げ下げする操作が行われるようになる。

一方、図１８（Ｃ）では、操作者は手を曲げている。このように手を曲げると、手が他の部位に近くなり、信頼度が低くなる。また、図１８（Ａ）、図１８（Ｂ）のようなチャンネル操作、ボリューム操作を行っていることを確定できない。従って、この場合には、図１８（Ａ）、図１８（Ｂ）のように信頼度が高い場合に比べて、操作対象オブジェクトとなる候補オブジェクトの数を増加させる。即ち、図１８（Ａ）、図１８（Ｂ）では、操作対象オブジェクトの候補オブジェクトの数は１個であったが、図１８（Ｃ）では、例えば３個になる。そして、この状態で、操作者が、右手オブジェクトＨＲの位置を所望のオブジェクトの位置に合わせることで、操作者が所望する操作を行うことが可能になる。

即ち、図１８（Ａ）、図１８（Ｂ）のように信頼度が高い場合には、手を回したり、手を左右に動かすという１回の手の動きで、チャンネル操作やボリューム操作が選択される。これに対して図１８（Ｃ）では、まず、複数の候補オブジェクトを表示し、その後に、操作者が候補オブジェクトの中から操作対象オブジェクトを選択することで、操作者が所望する操作を行うことが可能になる。

なお、操作者による想定外の動作により、誤認識が発生してしまう事態等を防止するために、システム側が想定している各正解動作（例えば手を回す動作、手を左右に動かす動作等）に対して複数の候補動作パターンをテーブルとして用意しておいてもよい。そして、画像センサにより認識された操作者の動作と、これらの複数の候補動作パターンとのマッチング処理を行い、操作者の動作が正解動作に該当するか否かを判断する。例えば図１８（Ｂ）において、操作対象オブジェクトＯＢＥを操作するために手を横に振る動作としては、操作者が表示部１９０の画面に正対して、手を横に振る第１の動作パターンの他に、操作者が寝転びながら、手を縦に振る第２の動作パターンが考えられる。従って、これらの第１、第２の動作パターンを候補動作パターンとして用意しておき、操作者の動作とのパターンマッチング処理を行うことで、操作者の動作が正解動作なのか否かを判定できる。また、例えばボタンを押す動作と、物をつかむ動作の判別は難しいが、ボタンを押す動作として、想定できるあらゆるパターンの候補動作パターンを用意して、パターンマッチングを行えば、ボタンを押す動作を、物をつかむ動作として誤認識してしまう事態も防止できるようになる。

図１９（Ａ）、図１９（Ｂ）は、映像機器の１つである録画・再生機器（ＨＤＤレコーダ、ＤＶＤレコーダ等）への本実施形態の手法の適用例である。例えば図１９（Ａ）に示すように、操作者が手を伸ばしていない状態で、例えば左手オブジェクトＨＬで番組表を選択すると、番組表の概略表示が行われる。この時、右手、左手オブジェクトＨＲ、ＨＬは、信頼度が低いため、ぼけた画像や透明に近い画像になっている。

一方、図１９（Ｂ）では、操作者が手を伸ばしており、信頼度が高いため、右手、左手オブジェクトＨＲ、ＨＬは、はっきりとした画像になっている。また、番組表の詳細が表示されると共に、例えば番組表において右手オブジェクトＨＲにより選択された番組の録画等を、左手オブジェクトＨＬで選択できるようになる。また、左手オブジェクトＨＬにより、録画の画質（ＨＤ、ＨＰ、ＬＰ、ＳＰ）や放送番組の種別（地上デジタル放送、衛星放送、ＣＡＴＶ）についても、選択できるようになる。更に、右手オブジェクトＨＲにより選択された番組の内容も詳細に表示されるようになる。

このように本実施形態の手法によれば、テレビや録画・再生機器等の映像機器においても、これまでにない利便性の高い操作インターフェース環境を提供できる。

２．６詳細な処理例
次に本実施形態の詳細な処理例について図２０〜図２３のフローチャートを用いて説明する。図２０は全体的な処理を示すフローチャートである。

まず、図２（Ａ）、図２（Ｂ）で説明したように画像センサからの画像情報を取得する（ステップＳ１）。次に、図３で説明したように、画像情報に基づきスケルトン情報を取得する（ステップＳ２）。また図４（Ａ）、図４（Ｂ）で説明したように、スケルトン情報に対応する信頼度情報を取得する（ステップＳ３）。そして、信頼度情報に基づくオブジェクトの制御処理、ゲーム演算処理、画像の表示態様変化処理を実行する（ステップＳ４）。

図２１は、信頼度情報を用いた画像の表示態様の変化処理の具体例を示すフローチャートである。

まず、スケルトン情報の手の骨（関節）の位置等に基づき、手オブジェクトの描画位置を求める（ステップＳ１１）。そして手の骨等についての信頼度を取得する（ステップＳ１２）。

次に、取得された信頼度に基づいて、手オブジェクトのぼかし度合、α値、色等を設定する（ステップＳ１３）。そして、このようにぼかし度合、α値、色等が設定された手オブジェクト、キャラクタ等の描画処理を実行する（ステップＳ１４）。このようにすることで、図８（Ａ）、図８（Ｂ）に示すような画像の表示態様の変化処理を実現できる。

図２２は、信頼度情報を用いたオブジェクトの制御処理の具体例を示すフローチャートである。

まず、操作者の手の骨等についての信頼度を取得する（ステップＳ２１）。そして、取得された信頼度が所定しきい値以下か否かを判断する（ステップＳ２２）。

信頼度が所定しきい値以下である場合には、図１４（Ａ）で説明したようにオブジェクトの移動、動作の自動制御を行う（ステップＳ２３）。そして、所定のウェイト期間が経過したか否かを判断し、経過していない場合にはステップＳ２１に戻る。一方、ウェイト期間が経過した場合には、図１４（Ｂ）で説明したようにゲーム進行のポーズ処理を行う（ステップＳ２５）。そして、操作者がゲームプレイの継続、終了を選択するための選択画面を表示する（ステップＳ２６）。そして、操作者がゲームプレイの終了を選択したか否かを判断し（ステップＳ２７）、ゲームプレイの終了を選択した場合には、ゲームを終了する（ステップＳ２８）。一方、ゲームプレイの継続を選択した場合には、ゲーム進行を継続する（ステップＳ２９）
図２３は、信頼度情報を用いたゲーム演算処理の具体例を示すフローチャートである。

まず、スケルトン情報を取得する（ステップＳ３１）。そして取得されたスケルトン情報に基づいて、ゲーム演算処理を行い、ゲーム結果を判定する（ステップＳ３２）。

次に、スケルトン情報に対応する信頼度情報を取得する（ステップＳ３３）。そして、ゲーム結果判定の対象となる骨（関節）の信頼度が所定しきい値以下か否かを判断する（ステップＳ３４）。そして図１５（Ａ）〜図１６（Ｂ）で説明したように、所定のしきい値以下であった場合には、操作者の獲得ポイントのレベルを１ランク下げる処理を行う（ステップＳ３５）。このようにすることで、信頼度を反映させたゲーム演算処理を実現できる。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（所定部位、オブジェクト等）と共に記載された用語（手、手オブジェクト等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、スケルトン情報の取得手法、信頼度情報の取得手法、画像の表示態様の変化手法、オブジェクトの制御手法、ゲーム演算手法等も本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話、映像機器、音響機器、家電機器等の種々の画像生成システムに適用できる。

ＩＳＥ画像センサ、ＳＣ画面（スクリーン）、ＨＬ、ＨＲ手オブジェクト、
ＣＨキャラクタ（アバター）、Ｃ０〜Ｃ１９関節（骨）、
ＯＢＣ〜ＯＢＨオブジェクト、
１００処理部、１０２画像情報取得部、１０４スケルトン情報取得部、
１０６信頼度情報取得部、１１０ゲーム演算部、１１２オブジェクト空間設定部、
１１４オブジェクト制御部、１１８仮想カメラ制御部、１２０画像生成部、
１３０音生成部、１６０操作部、１７０記憶部、１７１画像情報記憶部、
１７２カラー画像情報記憶部、１７３デプス情報記憶部、
１７４スケルトン情報記憶部、１７５信頼度情報記憶部、
１７６オブジェクトデータ記憶部、１７７モーションデータ記憶部、
１７８モデルデータ記憶部、１７９描画バッファ、１８０情報記憶媒体、
１９０表示部、１９２音出力部、１９４補助記憶装置、１９６通信部

Claims

画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、
前記スケルトン情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、
表示部に表示される画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
前記表示部に表示される画像として、取得された前記信頼度情報に応じた画像を生成し、
前記信頼度情報取得部は、
前記スケルトン情報により表されるスケルトンを構成する各骨に対して、前記各骨の情報の信頼度が関連づけられた情報を、前記信頼度情報として取得することを特徴とするプログラム。
請求項１において、
前記スケルトン情報は、前記各骨の位置情報を含み、
前記信頼度は、操作者の各部位と前記各骨との対応づけと、前記各骨の前記位置情報に関する信頼度であることを特徴とするプログラム。
請求項１又は２において、
前記信頼度情報取得部は、
前記操作者が前記画像センサから所定距離以上離れた場合に、前記スケルトン情報の骨の情報の信頼度が低くなる情報を、前記信頼度情報として取得することを特徴とするプログラム。
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、
前記スケルトン情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、
表示部に表示される画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
前記表示部に表示される画像として、取得された前記信頼度情報に応じた画像を生成し、
前記信頼度情報取得部は、
前記スケルトン情報に関する処理負荷が増加することで前記スケルトン情報の信頼度が低くなる情報を、前記信頼度情報として取得することを特徴とするプログラム。
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定する情報である操作者動作特定情報を取得する操作者動作特定情報取得部と、
前記操作者動作特定情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、
表示部に表示される画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
前記表示部に表示される画像として、取得された前記信頼度情報に応じた画像を生成し、
前記信頼度情報取得部は、
前記操作者の所定部位が前記操作者の他の部位に近づくほど、前記所定部位に対応する情報の信頼度が低くなる情報を、前記信頼度情報として取得することを特徴とするプログラム。
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、
前記スケルトン情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、
オブジェクトを制御するオブジェクト制御部と、
表示部に表示される画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
前記表示部に表示される画像として、取得された前記スケルトン情報の前記信頼度情報に応じた画像を生成し、
前記画像生成部は、
前記操作者の所定部位に対応する骨の情報の信頼度に基づいて、前記所定部位に対応して前記表示部に表示される前記オブジェクトの表示態様を変化させることを特徴とするプログラム。
請求項６において、
前記画像生成部は、
前記所定部位に対応する情報の信頼度が低くなるにつれて、前記所定部位に対応する前記オブジェクトをぼかす処理、前記オブジェクトを透明に近づける処理、及び前記オブジェクトの色を変化させる処理の少なくとも１つの処理を行うことを特徴とするプログラム。
請求項６又は７において、
前記所定部位は前記操作者の手であり、前記オブジェクトは、前記操作者の手の動きに応じて移動又は動作する手オブジェクトであることを特徴とするプログラム。
請求項６又は７において、
前記オブジェクトは、前記操作者の前記所定部位の動きに応じて移動するアイコンであることを特徴とするプログラム。
請求項６又は７において、
前記画像生成部は、
前記操作者の操作対象となる操作対象オブジェクトの表示態様を、前記信頼度情報に基づいて変化させることを特徴とするプログラム。
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定する情報である操作者動作特定情報を取得する操作者動作特定情報取得部と、
前記操作者動作特定情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、
オブジェクトを制御するオブジェクト制御部と、
表示部に表示される画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
前記表示部に表示される画像として、取得された前記信頼度情報に応じた画像を生成し、
前記画像生成部は、
前記信頼度情報により表される信頼度の変化の予測情報に基づいて、前記表示部に表示される画像の表示態様を変化させることを特徴とするプログラム。
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定する情報である操作者動作特定情報を取得する操作者動作特定情報取得部と、
前記操作者動作特定情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、
オブジェクトを制御するオブジェクト制御部と、
表示部に表示される画像を生成する画像生成部として、
コンピュータを機能させ、
前記オブジェクト制御部は、
前記信頼度情報により表される信頼度が低くなった場合に、前記オブジェクトの移動及び動作の少なくとも一方を制限又は停止する制御を行い、前記信頼度情報により表される信頼度が低くなったと判断された後、所定のウェイト期間の経過後に、前記オブジェクトの移動及び動作の少なくとも一方を制限又は停止する制御を行うことを特徴とするプログラム。
請求項１乃至１２のいずれかにおいて、
ゲーム演算処理を行うゲーム演算部として、
コンピュータを機能させ、
前記ゲーム演算部は、
前記信頼度情報に応じた前記ゲーム演算処理を行うことを特徴とするプログラム。
請求項１３において、
前記ゲーム演算部は、
前記ゲーム演算処理として、前記信頼度情報に応じたゲーム結果演算処理を行うことを特徴とするプログラム。
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、
前記スケルトン情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、
表示部に表示される画像を生成する画像生成部とを含み、
前記画像生成部は、
前記表示部に表示される画像として、取得された前記信頼度情報に応じた画像を生成し、
前記信頼度情報取得部は、
前記スケルトン情報により表されるスケルトンを構成する各骨に対して、前記各骨の情報の信頼度が関連づけられた情報を、前記信頼度情報として取得することを特徴とする画像生成システム。
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、
前記スケルトン情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、
表示部に表示される画像を生成する画像生成部とを含み、
前記画像生成部は、
前記表示部に表示される画像として、取得された前記信頼度情報に応じた画像を生成し、
前記信頼度情報取得部は、
前記スケルトン情報に関する処理負荷が増加することで前記スケルトン情報の信頼度が低くなる情報を、前記信頼度情報として取得することを特徴とする画像生成システム。
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定する情報である操作者動作特定情報を取得する操作者動作特定情報取得部と、
前記操作者動作特定情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、
表示部に表示される画像を生成する画像生成部とを含み、
前記画像生成部は、
前記表示部に表示される画像として、取得された前記信頼度情報に応じた画像を生成し、
前記信頼度情報取得部は、
前記操作者の所定部位が前記操作者の他の部位に近づくほど、前記所定部位に対応する情報の信頼度が低くなる情報を、前記信頼度情報として取得することを特徴とする画像生成システム。
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定するスケルトン情報を取得するスケルトン情報取得部と、
前記スケルトン情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、
オブジェクトを制御するオブジェクト制御部と、
表示部に表示される画像を生成する画像生成部とを含み、
前記画像生成部は、
前記表示部に表示される画像として、取得された前記スケルトン情報の前記信頼度情報に応じた画像を生成し、
前記画像生成部は、
前記操作者の所定部位に対応する骨の情報の信頼度に基づいて、前記所定部位に対応して前記表示部に表示される前記オブジェクトの表示態様を変化させることを特徴とする画像生成システム。
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定する情報である操作者動作特定情報を取得する操作者動作特定情報取得部と、
前記操作者動作特定情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、
オブジェクトを制御するオブジェクト制御部と、
表示部に表示される画像を生成する画像生成部とを含み、
前記画像生成部は、
前記表示部に表示される画像として、取得された前記信頼度情報に応じた画像を生成し、
前記画像生成部は、
前記信頼度情報により表される信頼度の変化の予測情報に基づいて、前記表示部に表示される画像の表示態様を変化させることを特徴とする画像生成システム。
画像センサからの画像情報を取得する画像情報取得部と、
前記画像センサからの前記画像情報に基づいて、前記画像センサから見える操作者の動作を特定する情報である操作者動作特定情報を取得する操作者動作特定情報取得部と、
前記操作者動作特定情報の信頼度を表す信頼度情報を取得する信頼度情報取得部と、
オブジェクトを制御するオブジェクト制御部と、
表示部に表示される画像を生成する画像生成部とを含み、
前記オブジェクト制御部は、
前記信頼度情報により表される信頼度が低くなった場合に、前記オブジェクトの移動及び動作の少なくとも一方を制限又は停止する制御を行い、前記信頼度情報により表される信頼度が低くなったと判断された後、所定のウェイト期間の経過後に、前記オブジェクトの移動及び動作の少なくとも一方を制限又は停止する制御を行うことを特徴とする画像生成システム。