JP6008911B2

JP6008911B2 - 動作認識装置、動作認識方法、及び、プログラム

Info

Publication number: JP6008911B2
Application number: JP2014149239A
Authority: JP
Inventors: 怜央海保
Original assignee: NEC Personal Computers Ltd
Current assignee: NEC Personal Computers Ltd
Priority date: 2014-07-22
Filing date: 2014-07-22
Publication date: 2016-10-19
Anticipated expiration: 2034-07-22
Also published as: JP2016024690A

Description

本発明は、動作認識装置、動作認識方法、及び、プログラムに関する。

近年、例えばＰＣ等の情報処理装置の分野において、ユーザーの身振り、手振り（以下「ジェスチャー」という。）などを装置側に設けたカメラによって撮影し、撮影された画像に基づいて特定のジェスチャーが認識されたとき、認識されたジェスチャーに予め対応させた機能を実現させるジェスチャー認識技術が広く知られている。

上記のジェスチャー認識技術に関し、例えば特許文献１には、ユーザーの動作を入力インタフェースとして利用するゲームなどのアプリケーションにおいて、動作検出部により検出された顔の動作に対応するイベントをテーブルから検索してそのイベントを実行するユーザーインタフェースプログラムが開示されている。また、同文献には、画面に映し出されたユーザーの鏡像画面に表示された「？」オブジェクトにユーザーが手で触れる動作をすると、接触が判定されて、「使い方ガイド」の文字が画面上に表示されることが記載されている。

特開２００８−１５９４２号公報

ところで、特許文献１のように、ユーザーの顔の動作を装置側に設けたカメラによって撮影し、所定の機能を実現させる技術の場合、顔の動作が認識されるためには、ユーザーは顔を常に装置側に向けていなければならない。また、このような技術は、所定の機能を実現する上で、常に顔を装置側に向けていなければならないことを、ユーザーに強要してしまっているということになる。また、そもそも、顔の動きだけを操作に用いて所定の機能を実現させることは、いくら顔の動作そのものが自然な動きに準じているとしても、人間の動作全体に鑑みると不自然であると言わざるを得ない。

本発明は、このような実情に鑑みてなされたものであって、ユーザーに強要することのない、より自然な動作によって所望の機能を実現する動作認識装置を提供することを目的とする。

上記の課題を解決するため、本発明の動作認識装置は、１以上の静物が配置された空間を撮影する撮影手段と、空間内におけるユーザーの身体の少なくとも一部を検出する検出手段と、撮影手段により撮影された撮影画像に基づいて空間の３Ｄモデルデータを生成する３Ｄモデリング手段と、検出手段による検出結果からユーザーの身体の少なくとも一部の位置を特定する三次元座標データからなる部位データを取得する部位データ取得手段と、３Ｄモデリング手段により生成された空間の３Ｄモデルデータに含まれる１以上の静物モデルのうちの少なくとも１の静物モデルが占有する空間の周囲の空間を少なくとも含む囲み空間に、部位データ取得手段により取得された部位データが含まれるかどうかを判定する判定手段と、判定手段により、囲み空間に部位データが含まれると判定されたとき、所定機能を実行する機能実行手段と、を備えることを特徴とする。

本発明によれば、ユーザーに強要することのない、より自然な動作によって所望の機能を実現することが可能となる。

本発明の実施形態における動作認識装置の一例としてのパーソナルコンピュータを用いた動作説明概略図である。本発明の実施形態における動作認識装置のハードウェア構成例を示す図である。本発明の実施形態における動作認識装置の機能ブロック図である。本発明の実施形態における動作認識処理における３Ｄモデリング処理について説明する模式図である。本発明の実施形態における動作認識処理における近接判定処理について説明する模式図である。本発明の実施形態における動作認識処理の動作例を示す模式図である。本発明の実施形態における動作認識処理の動作例を示す模式図である。本発明の実施形態における動作認識処理の動作例を示す模式図である。本発明の実施形態における動作認識処理手順の一例を示すフローチャートである。

本発明の実施形態における動作認識装置について図面を用いて以下説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。なお、以下では、本実施形態における動作認識装置を説明する上で、一例として、一体型のパーソナルコンピュータ（以下「ＰＣ」という。）を用いているが、これに限定されず、例えば、デスクトップ型のＰＣでも、ノート型のＰＣでも、多機能型携帯電話（スマートフォン）、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、携帯電話等の携帯端末でも、情報処理機能を有するテレビジョン（ＴＶ）でも、あるいは、情報処理機能を有する、例えば冷蔵庫や洗濯機等の家庭用電化製品等、さらには自家用車等に本実施形態の動作認識装置が適用されるものであってもよい。

本実施形態における動作認識装置は、ユーザーの身体の少なくとも一部を用いた所定の動作を認識するものであるが、本実施形態においては、ユーザーの手指を用いた動作を例として、以下説明するものとする。なお、動作認識装置が認識する動作は、身体の少なくとも一部を用いた動作であればよく、手指に限らず、腕や脚、顔、あるいは全身等を用いたあらゆる動作を認識し、認識された各動作内容に対応する所定の機能を実現するものであってもよい。なお、動作としているが、必ずしもユーザーの手指等が動いている状態に限らず、動いている途中の手指等を撮影した瞬間の手指等の状態も含まれるものとして以下に説明する。

本実施形態における動作認識装置の一例である一体型ＰＣ（以下、単に「ＰＣ」という。）１を用いた動作概略について図１を参照して説明する。ＰＣ１は、例えば、家具などの静物が１以上配置された室内空間を撮影するカメラ１１と、ＩＲ（Ｉｎｆｒａｒｅｄ）カメラ１２と、ディスプレイ１３を備えている。なお、ＰＣ１は、その他、図示はしないが、例えば、キーボード、タッチパッド、又はタッチパネル等の入力デバイスを備えるものであってもよい。図１に示す室内空間Ｓには、例示的に、机２と、スタンドライト３と、ソファ４が配置されており、ユーザーの身体の一部である手Ｍを模式的に図示している。また、本実施形態においては、室内空間Ｓに配置された机２等の静物に対するタッチ等の動作をＩＲカメラ１２等によって検出するものである。

カメラ１１は、例えば、図１において破線で示すような室内空間Ｓを撮影し、撮影画像をＰＣ１内に取り込む撮影手段である。カメラ１１は、室内空間に配置された机２に代表されるような家具等をできるだけ漏れなく撮影する観点から、広角レンズを備えていることが好ましい。ただし、室内空間に配置された家具等の位置によっては、例えば、室内の中心付近に家具等が配置されているような場合は、必ずしも広角レンズである必要もなく、家具等の配置状況に応じて、画角の異なるレンズを用いるものであってもよい。つまり、本実施形態においては、ＩＲカメラ１２により机２等の静物を介したユーザーの動作を検出する場合に、例えばユーザーが触れる可能性のある静物が配置される室内空間を撮影できればよいからである。なお、本実施形態においては、カメラ１１をディスプレイ１３の上方に設けているが、これに限定されず、室内空間Ｓのように一定の範囲の空間を撮影することができれば、装置に対する設置位置を問わない。他方、例えば、カメラの設置位置を固定として、不図示の可動手段を用いてカメラの向きを変えることにより所定の空間を撮影できるものとしてもよい。

ＩＲカメラ１２は、ユーザーの身体の一部である手Ｍ等を検出する検出手段である。一点鎖線で示した範囲は、検出エリアを模式的に示したものであり、当該範囲に限定されるものでないことは言うまでもない。なお、検出手段として、本実施形態では赤外線を利用して物体の熱映像を取得するＩＲカメラを用いているが、これに限定されるものではなく、少なくともユーザーの身体の一部を、３次元的に検出することができるものであれば、例えば、複数台のカメラを用いたステレオカメラシステムや、赤外線を物体に照射して戻る時間を測定することで距離画像イメージを取得するシステム等であってもよい。カメラ１１同様に、ＩＲカメラ１２についても、装置に対する設置位置等は問わない。

ディスプレイ１３は画像や映像を表示する表示手段である。なお、本実施形態においては、動作認識装置の例示としてＰＣ１を用いているため、ディスプレイ１３を備えている構成としているが、本発明として、ディスプレイは必須の構成ではない。ただし、ユーザーによる動作の結果として、実行される処理内容を画像等の情報によって確認する場合は、ディスプレイ等の表示手段にその情報を映し出す必要があることは言うまでもない。例えば、冷蔵庫や洗濯機等の家電製品等に本発明を適用するような場合、ユーザーによる動作の結果として、これらの家電製品の機能が実行される様子が人間の視覚以外の五感を介して認識できるような場合が、ディスプレイが不要な場合の一例である。

本実施形態においては、例えば、カメラ１１で撮影した室内空間Ｓにおける机２に手Ｍが接触したか否かを、撮影した室内空間Ｓの撮影画像に基づいて取得した室内空間Ｓの座標データとＩＲカメラ１２による手Ｍの検出結果を用いて判定するものとして、以下に説明する。

次に、本実施形態における動作認識装置のハードウェア構成について図２を参照して説明する。本実施形態における動作認識装置は、例えば、制御部２１と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２２と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２３と、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）２４と、撮影部２５と、検出部２６と、表示部２７と、を備える。

制御部２１は、動作認識装置の全体制御に加え、例えば、後述する３Ｄモデリング処理、位置座標データ取得処理、判定処理、機能実行処理等を行う、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等である。また、制御部２１は、本実施形態における、認識した動作に対応させた所定の機能を実行させるために、上述した各デバイスを制御する。

ＲＡＭ２２は、例えば、制御部２１の作業用領域として利用されるとともに、各種データの一時記憶領域として利用されるものであればよい。また、ＲＯＭ２３は、例えば、制御部２１が実行するＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔＯｕｔｐｕｔＳｙｓｔｅｍ）等の制御プログラムのほか、制御に必要な各種データ等が格納されるものであればよい。

ＨＤＤ２４は、例えば、撮影部２５を用いて撮影した室内空間Ｓの撮影画像に基づいて、制御部２１により所定の３Ｄモデリングプログラムを実行させることによりモデル化された３Ｄモデルデータ等を記憶する大容量記憶装置である。なお、本実施形態においては、例えば、ＨＤＤ２４はＰＣ１に内蔵されているが、ＨＤＤ２４は外付けであってもよい。

撮影部２５は、室内空間Ｓを撮影する、例えば上述のカメラ１１等の撮影手段である。撮影部２５としては、例えば、光を電気信号に変換する撮像素子として、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等を備えたデジタルカメラであってよい。なお、撮像素子の解像度は、室内空間Ｓの撮影画像から当該空間に配置された家具等を好適に認識し得ることができれば、特段、高解像度である必要はない。ただし、例えば、図１に示したような机２等の家具の特定の部位にユーザーの手Ｍを接触させて、その特定の部位に対応させた機能を実現するような場合、上記特定の部位とその他の部位とが識別可能となる程に、高画質な撮影画像を撮影できることが好ましい。

検出部２６は、ユーザーの動作として、例えば手Ｍ等、ユーザーの身体の一部による動作を検出する、上述したＩＲカメラ１２等の検出手段である。検出手段としては、上述したように、ＩＲカメラだけでなく、ステレオカメラシステム等を用いて、例えば手Ｍ等を３次元的に認識可能なものであってもよい。

表示部２７は、各種画像を表示する、例えば液晶ディスプレイや有機ＥＬディスプレイ等の表示デバイスである。上述したように、本発明として液晶ディスプレイ等の表示デバイスは必須の構成ではないが、本実施形態のように、本発明を適用する装置としてＰＣ１を用いるような場合は、液晶ディスプレイ等の表示デバイスを用いて所定の表示画像を表示すればよい。

次に、本実施形態における動作認識装置の機能ブロックについて、図３を参照して説明する。本実施形態における動作認識装置は、機能ブロックとして、撮影部２５と、検出部２６と、３Ｄモデリング部３１と、部位データ取得部３２と、判定部３３と、機能実行部３４と、を含み構成されている。撮影部２５及び検出部２６については、上述したため、ここでの説明を省略する。

３Ｄモデリング部３１は、撮影部２５により撮影された撮影画像に基づいて、例えば室内空間Ｓ等の空間の３Ｄモデルデータを生成する３Ｄモデリング手段である。生成される３Ｄモデルデータとしては、例えば図１における室内空間Ｓにおいて、机２、スタンドライト３、ソファ４を座標データを用いて、それぞれの室内空間Ｓにおける位置を特定することが好ましい。なお、３Ｄモデルデータの生成については、既存の技術を用いて行うものであってよい。

また、３Ｄモデリング部３１は、少なくとも撮影画像に含まれる１以上の静物の色情報の差異に基づいて撮影画像中の１以上の静物を識別する識別子を１以上の静物の３Ｄモデルデータ毎に付与する。例えば図１における机２とスタンドライト３は、３Ｄモデリング部３１によってそれぞれの座標データとして取得されているだけであるため、当該データのみでは机２とスタンドライト３とを識別することが困難である。そのため、静物の色情報の差異によって例えば机２とスタンドライト３とを識別する識別子を付与する。付与される識別子と机２等との対応関係については、例えば、予めその対応関係を規定したテーブルデータを図２に示したＨＤＤ２４等に記憶させておくものとすればよい。なお、色情報とともに、又は、色情報に代えて、例えば、撮影画像に基づいて取得した座標データ数点を指定して、机２等の概略形状を特定することによって、机２等を識別することとしてもよい。

部位データ取得部３２は、検出部２６による検出結果からユーザーの身体の少なくとも一部の位置を特定する三次元座標データからなる部位データを取得する部位データ取得手段である。例えば、部位データ取得部３２は、ＩＲカメラ１２を用いてユーザーの手Ｍを検出し、例えば、検出された熱エネルギーを視覚化し、視覚化された熱エネルギーのデータ毎の相対的な差異を用いて手Ｍの一部、例えば人差し指の指先等の三次元座標データを取得する。

判定部３３は、３Ｄモデリング部３１により生成された空間の３Ｄモデルデータに含まれる１以上の静物モデルのうちの少なくとも１の静物モデルが占有する空間の周囲の空間を少なくとも含む囲み空間に、部位データ取得部３２により取得された部位データが含まれるかどうかを判定する。本処理の詳細については、図５を参照して後述する。

機能実行部３４は、判定部３３により、囲み空間に部位データが含まれると判定されたとき、所定機能を実行する機能実行手段である。本処理の詳細については、判定部３３の処理と共に、図６から８を参照して後述する。

次に、本実施形態における３Ｄモデリング処理について、図４を参照して説明する。まず、撮影部２５が図４（ａ）に示すように室内空間Ｓを、机２、スタンドライト３、ソファ４とともに、撮影する。３Ｄモデリング部３１は、撮影された室内空間Ｓの撮影画像データに基づいて３Ｄモデル化処理を行う。

３Ｄモデリング部３１は、３Ｄモデル化処理された室内空間Ｓを、撮影画像データに含まれる色情報の差異に基づいて、室内空間Ｓを構成する各パーツとして分割処理を行う。例えば、図４（ｂ）に示すように机２が含まれる領域、図４（ｃ）に示すようにスタンドライト３が含まれる領域、図４（ｄ）に示すようにソファ４が含まれる領域、図４（ｅ）に示すように机２の上に置かれた物品５０が含まれる領域にそれぞれ分割する。

そして、３Ｄモデリング部３１は、分割された各領域について、机２が含まれる領域であること、スタンドライト３が含まれる領域であること、ソファ４が含まれる領域であること、物品５０が含まれる領域であること、を識別するための識別子を分割された各領域の３Ｄモデルデータに紐付けて付与する。

次に、本実施形態における、動作認識処理について、判定部３３による処理と共に、図５を参照して説明する。ここでは、図１に示した机２にユーザーの手Ｍ、あるいはその人差し指の指先等の部位が近接したかどうかの判定処理を例に説明する。

まず、机２の３Ｄモデルデータとして、座標Ａから座標Ｈで囲まれる机２を含む領域の３Ｄモデルデータが３Ｄモデリング部３１により得られているとする。なお、実際には、図４に示したように、３Ｄモデリング部３１は机２を含む領域として室内空間Ｓの３Ｄモデルデータを分割しているため、図５に示すように必ずしも机２の角８点に座標Ａから座標Ｈが対応するものではないが、ここでは、説明の便宜上、机２の角８点に座標Ａから座標Ｈが対応するものとして説明する。

ここでは、座標Ａを原点とする三次元座標空間を規定する。そして、規定された三次元座標空間における横軸をＸ軸とし、縦軸をＹ軸とし、奥行き方向の軸をＺ軸とし、さらに、Ｘ軸における原点より右側に正の値をとり、原点より左側に負の値をとるものとする。また、Ｙ軸における原点より上側に正の値をとり、原点より下側に負の値をとるものとする。さらに、Ｚ軸における原点より奥側に正の値をとり、原点より手前側に負の値をとるものとする。そして、例えば、座標Ａは［０，０，０］であり、座標Ｂは［ｘ，０，０］であり、座標Ｃは［０，０，ｚ］であり、座標Ｄは［ｘ，０，０］であるとする。また、座標Ｅは［０，−ｙ，０］であり、座標Ｆは［ｘ，−ｙ，０］であり、座標Ｇは［０，−ｙ，ｚ］であり、座標Ｈは［ｘ，−ｙ，ｚ］であるとする。

また、判定部３３は、手Ｍが机２に近接したかどうかを判定する判定領域を設定する。例えば、座標Ａ〜Ｈのそれぞれから、数値±α分ずつ、Ｘ軸、Ｙ軸、Ｚ軸方向へ移動させた座標位置として、座標Ａ’〜Ｈ’からなる直方体で囲まれる囲み空間を設定する。なお、数値αは一例であり、ここでは座標Ａ〜Ｈすべてに同じ数値分を移動させているが、これに限定されず、それぞれ異なる数値分を移動させるものであってもよい。

例えば、座標Ａ’は［−α，α，−α］であり、座標Ｂ’は［ｘ＋α，α，−α］であり、座標Ｃ’は［−α，α，ｚ＋α］であり、座標Ｄ’は［ｘ＋α，α，ｚ＋α］であるとする。また、座標Ｅ’は［−α，−ｙ−α，−α］であり、座標Ｆ’は［ｘ＋α，−ｙ−α，−α］であり、座標Ｇ’は［−α，−ｙ−α，ｚ＋α］であり、座標Ｈ’は［ｘ＋α，−ｙ−α，ｚ＋α］であるとする。

そして、判定部３３は、判定領域を、座標Ａ〜Ｈと、座標Ａ’〜Ｈ’との間の空間領域と設定する。この判定領域である空間領域は、簡易式で表すと図示のように［Ａ’〜Ｈ’］−［Ａ〜Ｈ］となる。判定部３３は、部位データ取得部３２により手Ｍにおける人差し指の指先の部位データとして取得した、例えば座標Ｍ１［ｘｉ、ｙｉ、ｚｉ］が、［Ａ’〜Ｈ’］−［Ａ〜Ｈ］の判定領域に含まれるとき、手Ｍにおける人差し指の指先が机２に近接しているものと判定する。これを簡易式で表すと図示のように「［Ａ’〜Ｈ’］−［Ａ〜Ｈ］≧Ｍ」となる。なお、判定領域が小さいほど、認識感度がアップすることは言うまでもない。また、ここでは、囲み空間を規定する直方体を８つの座標に基づいて規定しているが、一例であり、例えば、机２等の家具の周囲における任意の三次元座標２点を設定し、ここからＸ軸方向、Ｙ軸方向、又はＺ軸方向のうち２軸方向に所定距離延伸させた２辺からなる平面３面を三次元座標２点毎に規定することで、６面からなる直方体を規定することとしてもよい。

なお、ここでは、例えば机２の３Ｄモデルデータとして座標Ａから座標Ｈの８点からなる座標空間に基づいて上記囲み空間を設定しているため、囲み空間は直方体となっているが、これに限定されず、空間に配置された家具等の立体形状に応じて、囲み空間としての判定領域が変化するものであってもよい。つまり、例えば、立方体や、球や、円柱や、円錐や、三角錐や、平行六面体や、五角柱や、六角柱等の立体形状からなる判定領域であってもよい。

次に、判定部３３により手Ｍが判定領域に含まれると判定された場合に、機能実行部３４により実行される機能の具体例とともに、機能実行処理について図６から８を参照して説明する。なお、ここでは、手Ｍが判定領域に含まれることを、例えば机２の判定領域であれば、机２に手Ｍがタッチしたものとして説明する。

図６に示すように、手Ｍがスタンドライト３の判定領域に含まれたとき、つまり、手Ｍがスタンドライト３にタッチしたとき、例えば、図１に示したＰＣ１の電源がＯＮされる機能が機能実行部３４により実行される。機能実行処理としては、例えば、上述の分割された各領域の３Ｄモデルデータに紐付けて付与された識別子と各機能を対応させたテーブルを設定しておき、判定部３３による判定の結果、手Ｍが各判定領域に含まれると判定されたとき、各判定領域の３Ｄモデルデータに紐付けた識別子に対応させた所定機能を実行すればよい。

なお、判定部３３は、手Ｍがスタンドライト３の判定領域に含まれる場合において、部位データ取得部３２により取得した２以上の部位データと、その部位データに紐付けられた時刻情報とに基づいて、囲み空間におけるユーザーの身体の少なくとも一部の移動量を判定してもよい。そして、機能実行部３４は、判定部３３により判定された移動量に応じて所定機能の発揮状態を調整することとしてもよい。

図６において、例えば、スタンドライト３の傘にタッチしている場合、その傘の表面上を一定方向にスライドさせるように手Ｍを移動させる動作を検出部２６が検出するものとする。この際、部位データ取得部３２により、手Ｍの移動開始点としての部位データと、手Ｍの移動終了点としての部位データと、それらの部位データに紐付けられたクロック情報等とを取得する。そして、判定部３３は、それらの取得データに基づいて、手Ｍの移動量を判定する。機能実行部３４は、手Ｍの移動量に応じて、所定機能の発揮状態として、例えば、スタンドライト３の明るさを調整する。つまり、ここでの「所定機能の発揮状態」とは、上記例のように明るさの調節機能が発揮される状態として明暗状態を言う。なお、本例は一例であり、これに限定されるものではない。

また、図７に示すように、手Ｍが机２の判定領域に含まれ、尚且つ、机２の所定位置に近接したとき、つまり、手Ｍが机２の所定位置にタッチしたとき、機能実行部３４により各位置に対応させた機能を実行してもよい。例えば、手Ｍが机２上の２ｃにタッチしたとき、ＰＣ１においてＴＶアプリを起動させる機能が機能実行部３４により実行されてもよい。また、手Ｍが机２上の２ｒｆにタッチしたとき、ＰＣ１においてＮ局にチャンネルを選局させる機能が機能実行部３４により実行されてもよい。さらに、手Ｍが机２上の２ｌｒにタッチしたとき、ＰＣ１においてＷ局にチャンネルを選局させる機能が機能実行部３４により実行されてもよい。

さらに、図８に示すように、手Ｍがソファ４の判定領域に含まれ、且つ、例えばソファ４の両肘掛けに近接したとき、つまり、手Ｍがソファ４の肘掛けにタッチしたとき、例えば、ＰＣ１において、音量調節機能が機能実行部３４により実行されてもよい。例えば、手Ｍが４ｒにタッチしたとき、音量を大へ調節し、手Ｍが４ｌにタッチしたとき、音量を小へ調節するものとしてもよい。

なお、判定部３３が、移動量と時刻情報に基づいてユーザーの身体の少なくとも一部の移動速度を判定し、機能実行部３４が、判定された移動速度に応じて決定する、ユーザーの身体の少なくとも一部が静物に近接する強さに応じて発揮状態の調整レベルを変更することとしてもよい。ここで、「発揮状態の調整レベル」とは、例えば図８を用いて説明すれば、音量の調節が実行されている状態における、その音量調節具合をいう。より具体的には、手Ｍが肘掛け４ｌ又は４ｒにタッチする強さが強ければ、音量変化の度合を大きくすればよいし、手Ｍが肘掛けにタッチする強さが弱ければ、音量変化の度合を小さくすればよい。例えば、肘掛けを強くタッチすれば、音量を素早く大きくしたり、小さくしたりすればよく、肘掛けを弱くタッチすれば、音量をゆっくり小刻みに大きくしたり、小さくしたりするなど細かい音量調節をすればよい。

次に、本実施形態における動作認識処理手順について図９を参照して説明する。まず、撮影部２５により撮影された室内空間Ｓの撮影画像に基づいて、３Ｄモデリング部３１は室内空間Ｓを３Ｄモデル化する（ステップＳ１）。

次に、室内空間Ｓにおいて検出部２６により手Ｍを検出したとき（ステップＳ２、ＹＥＳ）、部位データ取得部３２は手Ｍの部位データである座標データを取得する（ステップＳ３）。他方、室内空間Ｓにおいて検出部２６により手Ｍを検出されないとき（ステップＳ２、ＮＯ）は、引き続き検出部２６により手Ｍの検出処理を行う（ステップＳ２）。

その後、判定部３３により、手Ｍが３Ｄモデリングされた室内空間Ｓにおける机２等の家具等にタッチしたと判定されたとき（ステップＳ４、ＹＥＳ）、機能実行部３４は、タッチされた机２等に対応させた機能を実行する（ステップＳ５）。一方、判定部３３により、タッチ判定がされなかったとき（ステップＳ４、ＮＯ）、処理を終了する。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の動作認識装置における各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリ等の記憶部にインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

また、特許文献１のような撮影されたジェスチャーに基づいて所定の機能を実行させるような技術の場合、例えばジェスチャーによって所定の機能が実行されなかったとき、ユーザーは、それがジェスチャーの認識不備によるものか、それ以外の原因によるものか分からない。他方、本実施形態のように、静物への接触動作として認識させるようにすることで、例えば、その接触動作が認識されれば、ユーザーは静物への接触動作を通じた触感により、確かにジェスチャーを行ったという実感を得ることができる。

１ＰＣ
２机
３スタンドライト
４ソファ
１１カメラ
１２ＩＲカメラ
１３ディスプレイ
２１制御部
２２ＲＡＭ
２３ＲＯＭ
２４ＨＤＤ
２５撮影部
２６検出部
２７表示部
３１３Ｄモデリング部
３２部位データ取得部
３３判定部
３４機能実行部

Claims

１以上の静物が配置された空間を撮影する撮影手段と、
前記空間内におけるユーザーの身体の少なくとも一部を検出する検出手段と、
前記撮影手段により撮影された撮影画像に基づいて前記空間の３Ｄモデルデータを生成する３Ｄモデリング手段と、
前記検出手段による検出結果から前記ユーザーの身体の少なくとも一部の位置を特定する三次元座標データからなる部位データを取得する部位データ取得手段と、
前記３Ｄモデリング手段により生成された前記空間の３Ｄモデルデータに含まれる前記１以上の静物モデルのうちの少なくとも１の静物モデルが占有する空間の周囲の空間を少なくとも含む囲み空間に、前記部位データ取得手段により取得された部位データが含まれるかどうかを判定する判定手段と、
前記判定手段により、前記囲み空間に前記部位データが含まれると判定されたとき、所定機能を実行する機能実行手段と、
を備えることを特徴とする動作認識装置。
前記３Ｄモデリング手段は、少なくとも前記撮影画像に含まれる前記１以上の静物の色情報の差異に基づいて前記撮影画像中の１以上の静物を識別する識別子を前記１以上の静物の３Ｄモデルデータ毎に付与することを特徴とする請求項１記載の動作認識装置。
前記判定手段は、前記部位データ取得手段により取得した２以上の部位データと、該部位データに紐付けられた時刻情報とに基づいて、前記囲み空間における前記ユーザーの身体の少なくとも一部の移動量を判定し、
前記機能実行手段は、前記判定された移動量に応じて所定機能の発揮状態を調整することを特徴とする請求項１又は２記載の動作認識装置。
前記判定手段は、前記移動量と前記時刻情報に基づいて前記ユーザーの身体の少なくとも一部の移動速度を判定し、
前記機能実行手段は、前記判定された移動速度に応じて決定する、前記ユーザーの身体の少なくとも一部が前記静物に近接する強さに応じて前記発揮状態の調整レベルを変更することを特徴とする請求項３記載の動作認識装置。
１以上の静物が配置された空間を撮影する工程と、
前記空間内におけるユーザーの身体の少なくとも一部を検出する工程と、
前記撮影された撮影画像に基づいて前記空間の３Ｄモデルデータを生成し記憶部に記憶する工程と、
前記検出結果から前記ユーザーの身体の少なくとも一部の位置を特定する三次元座標データからなる部位データを取得して前記記憶部に記憶する工程と、
前記記憶部に記憶された前記空間の３Ｄモデルデータに含まれる前記１以上の静物モデルのうちの少なくとも１の静物モデルが占有する空間の周囲の空間を少なくとも含む囲み空間に、前記記憶部に記憶された部位データが含まれるかどうかを判定する工程と、
前記囲み空間に前記部位データが含まれると判定されたとき、所定機能を実行する工程と、
を備えることを特徴とする動作認識方法。
１以上の静物が配置された空間を撮影する処理と、
前記空間内におけるユーザーの身体の少なくとも一部を検出する処理と、
前記撮影された撮影画像に基づいて前記空間の３Ｄモデルデータを生成し記憶部に記憶する処理と、
前記検出結果から前記ユーザーの身体の少なくとも一部の位置を特定する三次元座標データからなる部位データを取得して前記記憶部に記憶する処理と、
前記記憶部に記憶された前記空間の３Ｄモデルデータに含まれる前記１以上の静物モデルのうちの少なくとも１の静物モデルが占有する空間の周囲の空間を少なくとも含む囲み空間に、前記記憶部に記憶された部位データが含まれるかどうかを判定する処理と、
前記囲み空間に前記部位データが含まれると判定されたとき、所定機能を実行する処理と、
をコンピュータに実行させることを特徴とするプログラム。