JP3715435B2 - 情報加工方法および情報加工装置および記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、対話的に、３次元ＣＧ（コンピュータグラフィックス）データに音楽や動きを付けてアニメーションの作成等の情報の加工および利用が行える情報加工装置に関する。
【０００２】
【従来の技術】
パーソナルコンピュータの普及と性能向上により、個人でも手軽にコンピュタミュージックやコンピュータグラフィックスを楽しんだり、操作する環境が整ってきた。しかし、実際には、コンピュータグラフィックスの作成ツールは操作が難しいために、誰もが簡単に動きのあるコンピュータグラフィックス（アニメーション）を作成できるわけではない。
【０００３】
音と映像によってコンピュータアートを作成する装置としては、音楽会の演奏情報からグラフィックス情報を決定するもの（特開平６−１１０４５２）がある。この発明はＭＩＤＩ（Ｍｕｓｉｃ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などのデジタル音源の演奏情報から図形の位置、色、形状、大きさ、向きとこれらの変化速度を自動的に決定して、コンピュータアートの作成を行うものである。
【０００４】
しかし、これらは、音楽情報とグラフィックスおよび動き情報の関係はあらかじめ用意された計算式あるいは対応付けのテーブルによって固定されており、演奏方法が変わらない限り、１つの音楽に対しては、１つの映像しか生成できなかった。
【０００５】
また、作成者の意思に応じて、前記関係を変更したり、追加・削除すると編集を行うこともできなかった。また、作成者が編集した前記関係を記録することもできなかった。
【０００６】
【発明が解決しようとする課題】
このように、従来は、３次元あるいは２次元仮想空間内の仮想物体データに音楽や動きを付けてアニメーションの作成等の情報の加工および利用が容易に行えないという問題点があった。
【０００７】
そこで、本発明は、３次元あるいは２次元仮想空間内の仮想物体データに音楽や動きを付けてアニメーションの作成等の情報の加工および利用が容易に行える情報加工方法を提供することを目的とする。
【０００８】
また、本発明は、３次元あるいは２次元仮想空間内の仮想物体データに音楽や動きを付けてアニメーションの作成等の情報の加工および利用が容易に行える情報加工装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
（１）本発明の情報加工方法は、入力された音データから音の構成要素（例えばＭＩＤＩの場合、楽器パート（チャネル）、各チャネルの音の高低等）を抽出し、予め保存されている仮想空間中の仮想物体の記述（例えばＶＲＭＬ文書）のうち選択された仮想物体の記述に、予め保存されている該仮想物体の動作の記述のうち選択された動作の記述と前記抽出された音の構成要素のうち選択された音の構成要素とを対応づけることにより（例えば、ＶＲＭＬのラベル記述を挿入する）、該選択された仮想物体の記述を加工し、前記選択された仮想物体に対応付けられた動きと音の構成要素とを呈示することにより、３次元あるいは２次元仮想空間内の仮想物体の記述に音楽や動きを付けてアニメーションの作成等の情報の加工および利用が容易に行える。また、仮想物体に対応付ける音の構成要素と動きを選択する際には、選択した動きや音の構成要素が同時に呈示されるので、情報の加工結果の確認が容易である。
【００１０】
（２）本発明の情報加工方法は、入力された音データから音の構成要素を抽出し、認識対象の撮像された画像を取得して、該画像から該認識対象の動きを認識し、予め保存されている仮想空間中の仮想物体の記述のうち選択された仮想物体の記述に、前記認識された認識対象の動きに対応する動作の記述と前記抽出された音の構成要素のうち選択された音の構成要素とを対応づけることにより、該選択された仮想物体の記述を加工し、前記選択された仮想物体に対応付けられた動きと音の構成要素とを呈示することにより、３次元あるいは２次元仮想空間内の仮想物体の記述に音楽や動きを付けてアニメーションの作成等の情報の加工および利用が容易に行える。また、仮想物体に対応付ける音の構成要素と動きを選択する際には、選択した動きや音の構成要素が同時に呈示されるので、情報の加工結果の確認が容易である。
【００１１】
（３）本発明の情報加工装置は、仮想空間中の仮想物体の記述を記憶する第１の記憶手段と、
前記仮想物体の動作の記述を記憶する第２の記憶手段と、
入力された音データから音の構成要素を抽出する抽出手段と、
前記第１の記憶手段に記憶された仮想物体のうち選択された仮想物体の記述に、前記第２の記憶手段に記憶された動作の記述のうち選択された動作の記述と前記抽出手段で抽出された音の構成要素のうち選択された音の構成要素とを対応付けることにより、該選択された仮想物体の記述を加工する加工手段と、
前記選択された仮想物体に対応付けられた動きと音の構成要素とを呈示する呈示手段と、
を具備したことにより、３次元あるいは２次元仮想空間内の仮想物体の記述に音楽や動きを付けてアニメーションの作成等の情報の加工および利用が容易に行える。また、仮想物体に対応付ける音の構成要素と動きを選択する際には、選択した動きや音の構成要素が同時に呈示されるので、情報の加工結果の確認が容易である。
【００１２】
（４）本発明の情報加工装置は、仮想空間中の仮想物体の記述を記憶する記憶手段と、
認識対象の撮像された画像を取得して、該画像から該認識対象の動きを認識する動き認識手段と、
入力された音データから音の構成要素を抽出する抽出手段と、
前記記憶手段に記憶された仮想物体のうち選択された仮想物体の記述に、前記動き認識手段で認識された認識対象の動きに対応する動作の記述と前記抽出手段で抽出された音の構成要素のうち選択された音の構成要素とを対応付けることにより、該選択された仮想物体の記述を加工する加工手段と、
前記選択された仮想物体に対応付けられた動きと音の構成要素とを呈示する呈示手段と、
を具備したことにより、３次元あるいは２次元仮想空間内の仮想物体の記述に音楽や動きを付けてアニメーションの作成等の情報の加工および利用が容易に行える。また、仮想物体に対応付ける音の構成要素と動きを選択する際には、選択した動きや音の構成要素が同時に呈示されるので、情報の加工結果の確認が容易である。
【００１３】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る情報加工装置の構成を概略的に示したもので、音楽情報入力部１、音楽情報抽出部２、音楽情報再生部３、アニメーション制御部４、動き要素編集部５、動き要素記憶部６、呈示部７、形状データ記憶部８、入力部９から構成されている。
【００１４】
音楽情報入力部１は、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などの音楽情報（以下、ＭＩＤＩファイルの場合を例にとり説明する）をＣＤ−ＲＯＭ等の記録媒体に記録されたファイルあるいはインターネット等を介して入力する。
【００１５】
音楽情報抽出部２は、音楽情報入力部１から入力された音楽情報から、楽器のパート（例えば、ＭＩＤＩではチャネルにあたる）、各楽器パートの音のパラメータ（ＭＩＤＩの場合、各チャネルの音の高低など）を抽出する。
【００１６】
音楽情報再生部３は、音楽情報抽出部２で抽出された全ての楽器のパートあるいは指定されたパートのみを再生する。
形状データ記憶部８には、例えば、ＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）などの形式で記述された３次元ＣＧモデル（仮想物体）の形状記述データ（以下、ＶＲＭＬで記述された仮想物体の形状記述データをＶＲＭＬ文書と呼ぶことがある）が記憶されている。
【００１７】
動き要素記憶部６には、形状データ記憶部８に記憶された仮想物体の記述データに付加する動きの要素（例えば、３次元仮想空間内での平行移動、回転運動、弾性運動などの周期的な運動などの動作の記述データのファイル）が記憶されている。
【００１８】
動き要素編集部５は、形状データ記憶部８に記憶された仮想物体のうち選択された仮想物体の記述データに、動き要素記憶部６に記憶された動き要素と、音楽情報抽出部２で抽出された楽器パートとを組み合わせて対応づける。すなわち、動き要素編集部５では、形状データ記憶部８に記憶された仮想物体の記述データとしてのＶＲＭＬ文書に、ユーザにより選択された動きを記述したファイルや音楽データのファイルそのものではなく、それらを表すラベル（例えば、従来からあるＶＲＭＬのラベル（ｌａｂｅｌ）記述）を挿入する（図４〜図６参照）。このラベル記述部は、通常のＶＲＭＬブラウザにおいてＶＲＭＬ文書を解釈する際には読み飛ばされてしまうもので、本発明の情報加工装置においてのみ解釈可能なものである。また、形状データ記憶部８から読み出されたラベルの挿入されたＶＲＭＬ文書を実際に再生する際には、挿入されたラベルをそれに対応するファイルの記述内容に置き換えるようになっている。
【００１９】
アニメーション制御部４は、動き要素編集部５で仮想物体の記述データに対応付けられた（選択された）動き要素に基づき、実際に当該仮想物体を動かして、呈示部７の表示画面上にアニメーションとして描画するものである。
【００２０】
呈示部７は、ディスプレイ装置に所定の画面表示を行うものである。
入力部９は、マウス、キーボード等の各種入力装置からユーザからの指示を入力する。
【００２１】
このような構成の情報加工装置より、ユーザは、形状データ記憶部８に記憶されている仮想物体のうち所望の仮想物体に、音楽情報抽出部２で抽出された所望の楽器パートに合わせて動き要素記憶部６に記憶された動き要素を対応付けることにより、例えば当該仮想物体に音楽に合わせた踊りの振り付けを行うことができる。
【００２２】
図２は、図１の情報加工装置の処理動作を説明するためのフローチャートである。実際には、入力を解釈して、その結果に応じて、処理が分岐するので、図２に示す処理の流れより複雑なものになる。が、ここでは、説明を容易にするために、本実施形態の要旨に関わる部分以外を省略している。また、振り付けの対象となるＭＩＤＩファイルは、例えば記録媒体に記録されたもので、ユーザにより予め選択されたタイトルのＭＩＤＩファイルが記録媒体から読み取られて音楽情報入力部１に入力するものとする。
【００２３】
まず、呈示部７の表示画面に表示される仮想物体（３次元データ）の選択用のウインドウを介して動きをつけたい仮想物体を選択する（ステップＳ１）。
例えば、仮想物体の選択ウインドウには、形状データ記憶部８に記憶されている仮想物体の概形を表示したアイコンが羅列されていて、このうちの１つをマウスでクリックすることにより、所望の仮想物体を選択するようになっている。
【００２４】
仮想物体が選択された時点で、呈示部７は、例えば、図３に示すような、動きの編集ウインドウを表示する。
図３に示す動き編集ウインドウには、当該仮想物体の形状を表示する領域ｗ２があり、ここに、先に選択された仮想物体の全体像が表示される。ここで、選択された仮想物体には、ロボットの形状をした仮想物体で、当該仮想物体全体や、腰、胸、頭、右手、左手、右足、左足、といった部品に動きを付けることができるとする。例えば、ユーザが、表示領域ｗ２に表示されているロボットの所望の部位をマウスでクリックすることで、あるいは、部品選択メニューバーｗ５から所望の部品をマウスでクリックすることで、振り付けしたい部品を選択することができる（ステップＳ２）。例えば、腰を選択したとすると、動き編集ウインドウには、腰に対応付けすることのできる動きを選択可能なように一覧表示した動き選択メニューｗ４と、先に選択されたＭＩＤＩファイルから抽出される音楽パート（チャネル）の選択領域ｗ３とを表示する。
【００２５】
動き選択メニューｗ４には、「移動」「回転」「拡大縮小」といった概念的な大項目毎に、動きの詳細項目が表示され、各詳細項目の左側には、ラジオボタンが設けられていて、各大項目毎に無選択、あるいは１つの詳細項目が選択できるようになっている。例えば、「移動」という大項目には「左右に移動」「上下に移動」「前後に移動」という詳細項目があり、このうちのいずれか１つの詳細項目が選択できる。「回転」という大項目には「縦に回転」「横に回転」「手前に回転」という詳細項目があり、このうちのいずれか１つの詳細項目が選択できる。「拡大縮小」という大項目には「横に拡大縮小」「縦に拡大縮小」「全体に拡大縮小」という詳細項目があり、このうちのいずれか１つの詳細項目が選択できる。上記各詳細項目に対応する動き要素（動作の記述データ）は動き要素記憶部６に記憶されている。
【００２６】
図３では、選択された仮想物体の部品、すなわち、「腰」が仮想物体の表示領域ｗ２上で特殊表示（例えば強調表示、反転表示、ブリンキング表示）されている。また、動き編集ウインドウには、選択した仮想物体の部品に動きをつけないときに選択する「動き無し」ボタンＢ１、「ＯＫ」ボタンＢ２、「キャンセル」ボタンＢ３、「更新」Ｂ４が設けられている。
【００２７】
図３に示したような動き編集ウインドウが表示されてる状態で、入力待ち状態になる（ステップＳ３）。
チャネル選択領域ｗ３には、チャネルが選択される前には、「０」が表示されている。これはチャネルが選択されていないことを意味する。この状態では、チャネルが選択されていないので、先に選択されたタイトルのＭＩＤＩファイルが、音楽情報再生部３で再生されている。
【００２８】
ステップＳ３の待ち状態から、ユーザがチャネル選択領域ｗ３にある左向き、右向きの矢印の表示されているボタンを所望回数クリックすることにより所望のチャネルを選択すると（ステップＳ４）、当該選択されたチャネル、例えば、チャネル「１」のみが音楽情報再生部３で再生される（ステップＳ５）。その後、再び待ち状態となる（ステップＳ３）。
【００２９】
ステップＳ３の待ち状態から、ユーザが動き選択ウインドウｗ４に表示されている詳細項目の中から、所望の詳細項目を選択する（ステップＳ６）。図３では、「横に回転」が選択されている。すると、アニメーション制御部４は、動き要素記憶部６から仮想物体を「横に回転」させるための記述ファイルを読み出して、先に選択されたＭＩＤＩファイルのチャネル「１」の音の高低にあわせて、選択されている「腰」の部品を横に回転する動きの描画を呈示部７に指示する。すなわち、現在再生されているチャネル「３」にあわせて、表示領域ｗ２に表示されている仮想物体の腰が動き出す（ステップＳ７）。
【００３０】
なお、「移動」、「回転」、「拡大縮小」の３つを同時に同じ部品に対して付加することができる。「移動」の中のいずれか１つの詳細項目と、「回転」の中のいずれか１つの詳細項目と、「拡大縮小」の中のいずれか１つの詳細項目とが同時に１つの部品に対し選択できる。
【００３１】
１つの詳細項目を選択すると、ステップＳ３に戻り、入力待ち状態になるが、続けて詳細項目を選択すれば、ステップＳ６に進み、同様にして、動きの振り付けをすることができる。あるいは、途中で、気が変わって、ステップＳ４に進み、既に選択したチャネルとは別のチャネルを選択したり、ステップＳ８に進み、異なる部品を選択して、前述同様に振り付けを行うこともできる。
【００３２】
なお、図３の動き編集ウインドウでは、仮想物体の各パート毎に音楽情報、動き要素を選択する場合を示したが、仮想物体全体に対しても音楽情報、動き要素を選択することができる。例えば、図３の動き編集ウインドウの部品選択メニューバーｗ５から「全体」を選択することで、仮想物体全体に対して対応付けることのできる動きを一覧表示した動き選択メニューとチャネル選択領域ｗ３とが表示され、動き選択メニューから所望の動きの詳細項目を選択し、チャネル選択領域ｗ３で所望のチャネルを選択すればよい。
【００３３】
以上のようにして、ユーザにより選択された仮想物体に対しその各構成部品毎に所望の楽器パート、動きを選択して、振り付けを行った後、図３の動き編集ウインドウ上の「ＯＫ」ボタンＢ２、「更新」ボタンＢ４が選択されると（ステップＳ９）、アニメーション制御部４は、動き要素編集部５で作成された図４〜図６に示したようなラベル記述の挿入されたＶＲＭＬ文書を形状データ記憶部８に格納する（ステップＳ１０）。
【００３４】
ステップＳ３の待ち状態から「キャンセル」ボタンＢ３が選択された場合には（ステップＳ１１）、もともと形状データ記憶部８に記憶されていたＶＲＭＬ文書中のラベル記述は変更せず、また、新規に選択した動きは無効（デフォルトの状態）にする（ステップＳ１２）。
【００３５】
ステップＳ３の待ち状態から「動き無し」ボタンＢ１が選択された場合には（ステップＳ１３）、もともと形状データ記憶部８に記憶されていたＶＲＭＬ文書中の動きのラベル記述が削除される（ステップＳ１４）。
【００３６】
図３に示した動き編集画面の右上の「Ｘ」が表示されたボックスをマウスでクリックすると、それが「編集終了指示」となって、動き編集ウインドウを閉じて、処理を終了する（ステップＳ１４）。
【００３７】
以上のようにして作成されたアニメーションを再生する際には、アニメーション制御部４が形状データ記憶部８から、ラベル記述の挿入されたＶＲＭＬ文書を読み出して、呈示部７で毎秒３０フレーム程度描画することで人間の目には仮想物体が動いているように見えるのである。
【００３８】
次に、動き編集部５で作成されるラベル記述の挿入されたＶＲＭＬ文書について説明する。このラベル記述の挿入されたＶＲＭＬ文書は、前述したように、動きの編集が終了するとユーザからの指示に従って、形状データ記憶部８に記憶される。
【００３９】
形状データ記憶部８には、たとえば、図４〜図６に示すような動き要素や音楽情報のラベル記述の挿入されたＶＲＭＬ文書が記憶されている。ここでは、簡単のために、５個のパーツ（円錐台（１個）、球（２個）、円柱（２個））から成る仮想物体をＶＲＭＬの記述にのっとって示した例である。
【００４０】
「Ｌａｂｅｌ｛｝」という記述は、｛｝内にラベルを示す構造があることを示している。最初のラベル記述「ｌａｂｅｌ ”ＭＩＤＩ”」はＭＩＤＩのファイルを使用することを示している。次のラベル記述「ｌａｂｅｌ ”ｓａｋｕｒａ２．ｍｉｄ”」は、使用するＭＩＤＩのファイル名を示している。この場合は、「ｓａｋｕｒａ２．ｍｉｄ」という名前で保存されているＭＩＤＩファイルを使うことを示している。ファイル名の最後についている「ｍｉｄ」はファイルの種類がＭＩＤＩファイルであることを示している。
【００４１】
ラベル記述部は、ＶＲＭＬを解釈する通常のブラウザ（ＷｅｂＳｐａｃｅなど）では、単に名前という意味にすぎないので、この部分は解釈されずに、読み飛ばされる。従って、本実施形態の情報加工装置で加工された後でも、通常のプラウザで扱う部分は変わりなく表示することができる。逆に、ラベル記述部に本実施形態の情報加工装置にて使用される特定のラベル、例えばＭＩＤＩの記述があるかないかを調べることで、本実施形態の情報加工装置で作成されたものかどうかを判定することができる。
【００４２】
「Ｓｅｐａｒａｔｏｒ｛｝」という記述は、｛｝内に３次元空間中の物体のパーツ（部品）の存在を示している。図４の例では、最初の「Ｓｅｐａｒａｔｏｒ」はＭＩＤＩファイルとどのように対応するかを示すパーツになっている。このパーツの中身はすべてラベル（ｌａｂｅｌ）を使って記述されているので、他のブラウザでは、単純に読み飛ばされる。最初のラベル「ｔｒａｎｓＸ」はＭＩＤＩの音（音程、リズムなどで、ここでは例えば音程とする）に対応していかに動くかを示すものである。この音に対する動きを表すラベルとしては、例えば、以下のような種類があり、これらは、図３の動き編集画面に表示される動き選択ウインドウｗ４の詳細項目に対応していて、ユーザにより選択された詳細項目に応じて、動き要素編集部５が以下に示すラベルから選択してＶＲＭＬ文書に挿入するようになっている。
【００４３】
ｔｒａｎｓＸ：Ｘ軸方向の平行移動
ｔｒａｎｓＹ：Ｙ軸方向の平行移動
ｔｒａｎｓＺ：Ｚ軸方向の平行移動
ｒｏｔＸ：Ｘ軸周りの回転移動
ｒｏｔＹ：Ｙ軸周りの回転移動
ｒｏｔＺ：Ｚ軸周りの回転移動
ｓｃａｌｅＸ：Ｘ軸方向のスケールの変更
ｓｃａｌｅＹ：Ｙ軸方向のスケールの変更
ｓｃａｌｅＺ：Ｚ軸方向のスケールの変更
次のラベル「Ｃｈａｎｎｅｌ２」は、演奏されるＭＩＤＩのどのチャンネルに対応して、その上のラベルで記述された動きが実行されるかを示している。ここでは、「チャンネル２」が指定されている。図３の動き編集画面の音楽パート（チャネル）の選択領域ｗ３でユーザにより選択されたチャネルに応じて、動き要素編集部５がラベルを選択してＶＲＭＬ文書に挿入するようになっている。
【００４４】
次のラベル「ｅｌａｓｔｉｃ」は弾性体としてのびたり縮んだりする動きを付加するかどうかを示すものである。弾性体として伸縮させるときに、音に合わせて伸縮させることも可能である。が、音程の変化などが大きいと極端に伸縮しすぎるので、本実施形態では、単純に伸縮するかいなかになっている。すなわち、次の２つの種類のラベルが存在する。
【００４５】
ｅｌａｓｔｉｃ：弾性体として伸縮する
ｎｏｎｅＤＥ：伸縮しない
図３の動き編集画面に表示される動き選択ウインドウｗ４には、弾性体としての動きを選択するための詳細項目は設けていないが、そのような詳細項目が選択可能であれば、ユーザにより選択された詳細項目に応じて、動き要素編集部５が上記２つのラベルのうちのいずれか一方を選択してＶＲＭＬ文書に挿入するようになっている。
【００４６】
次の２つのラベル「ｄａｍｙ１」と「ｄａｍｙ２」は、拡張のために確保してあるラベルである。
ここで記述されている動きとチャンネルの対応、伸縮の有無は、最初にあるので、このＶＲＭＬファイルで記述されるパーツから構成される物体全体に対して有効となる。すなわち、図４の例では、全体が伸縮しながら、チャンネル２に合わせてＸ軸方向に移動するようになる。
【００４７】
パーツ毎にどのような動きをするかは、図４〜図６に示したように、それぞれの「Ｓｅｐａｒａｔｏｒ」記述部の中にさらに追加して記述できる。たとえば、図５に示すように、最初のパーツの球（半径は０．０１３６６８５）は、チャンネル３に合わせてＸ軸方向の大きさが変化する、つまり、球が楕円体に変化することが記述されている。
【００４８】
以下同様に記述することで、全体とは別にパーツ毎に動きを記述できる。従って、部品ごとの動きを組み合わせていくことで、複雑な動きも楽しみながら、作っていくことが可能である。
【００４９】
上記第１の実施形態では、加工された（動き要素、音楽情報のラベル記述の挿入された）仮想物体の記述データ（図４〜図６のＶＲＭＬ文書）をそのまま形状データ記憶部８に保存することができた。このため、仮想物体の記述データの著作権が保護できないという問題があった。これに対し、動画のみを保存するようにして、仮想物体の記述データの著作権を容易に保護できるようにすることが可能である。この場合、仮想物体の記述データそのもののコピーを禁止する旨を情報加工装置に伝えるための新たなラベル「Ｐｒｏｔｅｃｔ」を定め、これを図４〜図６に示したようなＶＲＭＬ文書の先頭に挿入する。すなわち、

と記述する。ラベル「Ｐｒｏｔｅｃｔ」を仮想物体の記述データの所定の位置に挿入することにより、この仮想物体の記述データを処理する情報加工装置のアニメーション制御部４は、加工した結果を形状データ記憶部８に保存する際、まず、バックグラウンドで再生し、それを単純な動画データ（たとえば、ＡＶＩファイルなど）として保存する。このようにすれば、ユーザは仮想物体の加工を楽しめ、かつ仮想物体の記述データに対するその提供者の権利（例えば著作権）を保護することができる。
【００５０】
以上説明したように、上記第１の実施形態によれば、ユーザは選択したチャネルの音を聞きながら、３次元ＣＧモデルなどのキャラクタへの振り付けを行うことができるので、誰もがわかりやすく簡単に、ＣＧモデルに対する知識がなくても、アニメーションの作成を行うことができる。
（第２の実施形態）
図７は、本発明の第２の実施形態に係る情報加工装置の構成を概略的に示したものである。なお、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図７の情報加工装置には、図１に示した構成部に、さらに、動き入力部１０が追加されている。
【００５１】
動き入力部１０は、主に、画像取得部１０ａと画像処理部１０ｂとから構成され、画像処理部１０ｂは、画像取得部１０ａで取得された画像から撮像物の動きを抽出するものである。
【００５２】
動き入力部１０で抽出された撮像物の動き情報は、例えば、アニメーション制御部４に送られて、ここで、当該動き情報に基づき仮想物体を動かす。また、当該動き情報に基づき動き要素編集部５で動き要素を作成して、それを動き要素記憶部６に記憶する。
【００５３】
動き入力部１０で、撮像対象の動き（たとえば人間手の動きや体の動き）を取得するには、たとえば、画像取得部１０ａとしてＣＣＤカメラを用いて、通常のビデオ画像から画像処理により、手あるいは体を背景より抜き出し、さらに抜き出した画像から動きを抽出するようにしてもよい。
【００５４】
画像取得部１０ａは、反射光を受光し、距離画像を取得する、例えば特願平９−２９９６４８号に記載されているような距離画像取得装置であってもよい。以下、画像取得部１０ａが距離画像取得装置である場合を例にとり説明する。
【００５５】
ここで、距離画像を取得する画像取得部１０ａ（以下、距離画像取得部１０ａと呼ぶ）および距離画像について簡単に説明する。
距離画像取得部１０ａの外観を図８に示す。中央部には円形レンズとその後部にあるエリアセンサ（図示せず）から構成される受光部１０３が配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するＬＥＤから構成される発光部１０１が複数個（例えば８個）等間隔に配置されている。
【００５６】
発光部１０１から照射された光が物体に反射され、受光部１０３のレンズにより集光され、レンズの後部にあるエリアセンサで受光される。エリアセンサは、例えば２５６×２５６のマトリックス状に配列されたセンサで、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。このようにして取得された画像が、図１０に示すような反射光の強度分布としての距離画像である。
【００５７】
図９は、距離画像取得部１０ａの構成例を示したもので、主に、発光部１０２、受光部１０３、反射光抽出部１０２、タイミング信号生成部１０４から構成される。
【００５８】
発光部１０１は、タイミング信号生成部１０４にて生成されたタイミング信号に従って時間的に強度変動する光を発光する。この光は発光部前方にある対象物体に照射される。
【００５９】
受光部１０３は、発光部１０１が発した光の対象物体による反射光の量を検出する。
反射光抽出部１０２は、受光部１０３にて受光された反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることができるので、以下、これを距離画像と呼ぶ。
【００６０】
受光部１０３は一般的に発光部１０１から発せられる光の対象物による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで、反射光抽出部１０２は発光部１０１が発光しているときに受光した光の量と、発光部１０１が発光していないときに受光した光の量の差をとることによって、発光部１０１からの光の対象物体による反射光成分だけを取り出す。
【００６１】
反射光抽出部１０２では、受光部１０３にて受光された反射光から、その強度分布、すなわち、図１０に示すような距離画像を抽出する。
図１０では、簡単のため、２５６×２５６画素の距離画像の一部である８×８画素の距離画像の場合について示している。
【００６２】
物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、距離画像１画素あたりの受光量は物体までの距離の２乗に反比例して小さくなる。
【００６３】
図１０において、行列中のセルの値（画素値）は、取得した反射光の強さを２５６階調（８ビット）で示したものである。例えば、「２５５」の値があるセルは、距離画像取得部１０ａに最も接近した状態、「０」の値があるセルは、距離画像取得部１０ａから遠くにあり、反射光が距離画像取得部１０ａにまで到達しないことを示している。
【００６４】
距離画像の各画素値は、その画素に対応する単位受光部で受光した反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体の向き、物体の距離などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などは、このような性質をもつため、距離画像取得部１の前方に手を差し出した場合の距離画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する図１１に示したような３次元的なイメージを得ることができる。
【００６５】
動き入力部１０の画像処理部１０ｂは、図１０に示したような形式ので距離画データに対し、エッジ切り出し（撮像物体の輪郭抽出）、重心抽出、面積算出、撮像物体までの距離の算出、動きベクトルの算出など、撮像体の形状、動き、位置等の情報を抽出するための種々の画像処理を行う。
【００６６】
画像処理部１０ｂでは、まず、図１０に示したような距離画像データに対し、画素値が予め定められた所定値以下のセルを除き、例えば、図１２に示すように当該距離画像内にある撮像された物体の輪郭情報を抽出する。
【００６７】
図１２のような輪郭情報を抽出するには、隣り合う画素の画素値を比較し、画素値が一定値α以上のところだけに定数値を入れて、同じ定数値が割り振られた連続した画像領域の画素を抽出すればよい。
【００６８】
すなわち、マトリックス上の座標位置（ｉ、ｊ）にある画素値をＰ（ｉ、ｊ）とし、輪郭情報の画素値をＲ（ｉ、ｊ）とすると、

とすることにより、図１２のような物体の輪郭情報を得ることができる。
【００６９】
各距離画像から抽出された図１２に示したような輪郭情報を基に、当該物体の重心を計算する。
この重心位置と直前の距離画像から抽出された重心位置とを比較して物体が動いているかどうかが判断できる。動いていると判断したときは、重心の変化量と変化方向とを表す動きベクトルを算出する。また、重心位置のみに限らず、連続する距離画像のそれぞれから抽出された輪郭情報を互いに比較しあって、輪郭上の任意の点の動きベクトルを求めてもよい。
【００７０】
輪郭の抽出された物体までの距離ｄの算定には、まず当該物体の重心位置近傍の画像の代表画素値を求める。代表画素値としては、平均値、最近傍値などいくつかあるが、ここでは、最近傍値を使うとする。当該物体からの反射光の強さは物体までの距離の２乗に反比例して小さくなる。すなわち、当該物体の画像の代表画素値をＱ（ｉ、ｊ）とすると、
Ｑ（ｉ、ｊ）＝Ｋ／ｄ² …（１）
と表すことができる。
【００７１】
ここで、Ｋは、例えば、ｄ＝０．５ｍのときに、画素値Ｒ（ｉ、ｊ）の値が「２５５」になるように調整された係数である。式（１）をｄについて解くことで、距離値ｄを求めることができる。
【００７２】
このようにして、距離画像のそれぞれから目的とする対象物の形状、動き、位置等の情報を抽出することができる。
図１３は、図７の情報加工装置の処理動作を説明するためのフローチャートである。なお、図２と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図２のステップＳ６〜ステップＳ７の仮想物体に動きを対応付ける処理が、図１３ではステップＳ２１〜ステップＳ２３の処理に置き換わっている。
【００７３】
仮想物体が選択された時点で、呈示部７は、例えば、図１４に示すような、動きの編集ウインドウを表示する。
図１４に示す動き編集ウインドウには、図３と同様に、当該仮想物体の形状を表示する領域ｗ２、部品選択メニューバーｗ５が表示されている。例えば、腰を選択したとすると、動き編集ウインドウには、ユーザの動き（例えば、手の動き）を入力するためのインタフェースとして、動き入力ウインドウｗ１４および距離画像取得部１０ａによる距離画像の開始を指示するための「動き入力スタート」ボタンＢ１１および距離画像取得部１０ａによる距離画像の終了を指示するための「動き入力ストップ」ボタンＢ１２と、先に選択されたＭＩＤＩファイルから抽出される音楽パート（チャネル）の選択領域ｗ３とを表示する。
【００７４】
ステップＳ３の待ち状態から、ユーザが「動き入力スタート」ボタンＢ１１を選択すると（ステップＳ２１）、距離画像取得部１０ａが撮像対象のユーザの手の距離画像の取得を開始する（ステップＳ２２）。ユーザが図９に示したような距離画像取得部１０ａの所定の撮像範囲内で、たとえば手を動かすと、その動きを距離画像取得部１０ａが例えば毎秒３０枚程度のレートで撮像し、撮像した距離画像を動き入力ウインドウｗ１４に表示する。それと同時に画像処理部１０ｂは、前述したように、取得した距離画像に対し、エッジ切り出し（撮像物体の輪郭抽出）、重心抽出、面積算出、撮像物体までの距離の算出、動きベクトルの算出などの画像処理を行って、撮像体（ユーザの手）の形状、動き、位置等の情報を抽出する。この抽出された動き情報に基づきアニメーション制御部４は、先に選択されたＭＩＤＩファイルのチャネル「１」の音の高低にあわせて、選択されている「腰」の部品の動きの描画を呈示部７に指示する（ステップＳ２３）。
【００７５】
前述の第１の実施形態では、仮想物体に動きを付けるときには、動き編集ウインドウの動き選択メニューｗ４に表示された詳細項目の組み合わせによっていた。すなわち、移動は「左右に移動」「上下に移動」「前後に移動」の中のどれか、回転は「縦に回転」「横に回転」「手前に回転」のどれか、拡大縮小は、「横に拡大縮小」「縦に拡大縮小」「全体に拡大縮小」のいずれかというように、動きを１つずつ選択して組み合わせて行く必要があった。が、第２の実施形態では、ユーザの手や体の動きによって直接入力できる。たとえば、手を縦に回転させながら、左右に移動すれば、一度に回転と移動を入力できるのである。
【００７６】
画像処理部１０ｂは、距離画像から抽出される撮像対象（例えば手）の輪郭の重心位置の移動ベクトルと動きの詳細項目（例えば、移動であれば「左右に移動」「上下に移動」「前後に移動」、回転であれば「縦に回転」「横に回転」「手前に回転」のどれか、拡大縮小であれば「横に拡大縮小」「縦に拡大縮小」「全体に拡大縮小」）との対応関係を予め記憶しているものとする。そして、実際に取得した距離画像から抽出された撮像対象の輪郭の重心位置の移動ベクトルに該対応関係を照らし合わせてみて、該撮像対象の動きを検知するとしてもよい。すなわち、距離画像から抽出された移動ベクトルが、どのような動きに対応する移動ベクトルの合成であるか等に基づき、当該撮像対象の動きを判断してもよい。
【００７７】
また、距離画像から抽出された撮像対象の動きをより詳細に解析すれば（例えば、移動ベクトルを撮像対象の輪郭上の任意の点から求める）、距離画像から抽出された撮像対象（例えば手）の動きに対応した細やかな動きを仮想物体に対応付けることができるであろう。
【００７８】
動きの入力は、一定時間がすぎると、終了し、再び、入力状態になる。その時は、画面には、自分の手や体の画像が表示されていないので、動きの入力はできない。
【００７９】
以上説明したように、上記第２の実施形態によれば、ユーザは自分の手や体を使って、自然に動きを入力できるので、直感的にアニメーションを作成できる。特に、幼児向けの体を使った音楽教育にも適用できる。
（第３の実施形態）
図１５は、本発明の第３の実施形態に係る情報加工装置の構成を概略的に示したものである。なお、図１と同一部分には同一符号を付し、異なる部分について説明する。すなわち、図１５の情報加工装置には、図１に示した構成部に、さらに、ユーザにより作成されたアニメーションの動きを評価する評価部１１が追加されている。
【００８０】
評価部１１は、動きを評価してその結果を、たとえば点数などで算出するものである。例えば、演歌、歌謡曲、単語、ワルツといった音楽の種別に応じて予め各動き（移動、回転、拡大縮小）毎にそれぞれ重み値をｗｍ、ｗｒ、ｗｃと定めておき、仮想物体の各部品（ｉ）毎に、ユーザにより対応付けられた動きの量、すなわち、移動量ｍｉ、回転量ｒｉ、変形量ｃｉを算出して、次式から評価値Ｅを求める。
【００８１】
【数１】

【００８２】
評価部１１で算出された評価値は、呈示部７に呈示されたり、あるいは、評価値Ｅが、例えば、ある一定値を超えていれば、「Ｉｔ’ｓ ｃｏｏｌ」などのほめるメッセージを呈示部７に呈示してもよい。さらに、本発明の情報加工装置をアーケードゲームなどのゲーム機に適用して、評価値Ｅが一定値を超えると景品等を出すようにしてもよい。
【００８３】
単に評価値をユーザに呈示するのみに限らず、評価値により、複数のユーザ間で勝敗を競うようにすることも可能である。また評価の形式も上記の方法に必ずしも限定するものではない。
【００８４】
【発明の効果】
以上説明したように、本発明によれば、３次元あるいは２次元仮想空間内の仮想物体の記述に音楽や動きを付けてアニメーションの作成等の情報の加工および利用が容易に行える。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る情報加工装置の構成を概略的に示した図。
【図２】図１の情報加工装置の処理動作を説明するためのフローチャート。
【図３】呈示部に呈示される動きの編集ウインドウの一例を示した図。
【図４】ラベル記述の挿入されたＶＲＭＬ文書の一例を示した図。
【図５】ラベル記述の挿入されたＶＲＭＬ文書の一例を示した図。
【図６】ラベル記述の挿入されたＶＲＭＬ文書の一例を示した図。
【図７】本発明の第２の実施形態に係る情報加工装置の構成を概略的に示した図。
【図８】距離画像取得部の外観の一例を示した図。
【図９】距離画像取得部の構成例を示した図。
【図１０】反射光の強度を画素値とする距離画像の一例を示した図。
【図１１】図１０に示した様なマトリックス形式の距離画像を３次元的な表した図。
【図１２】距離画像から抽出された物体の輪郭画像の一例を示した図。
【図１３】図７の情報加工装置の処理動作を説明するためのフローチャート。
【図１４】呈示部に呈示される動きの編集ウインドウの他の例を示した図。
【図１５】本発明の第３の実施形態に係る情報加工装置の構成を概略的に示した図。
【符号の説明】
１…音楽情報入力部
２…音楽情報抽出部
３…音楽情報再生部
４…アニメーション制御部
５…動き要素編集部
６…動き要素記憶部
７…呈示部
８…形状データ記憶部
９…入力部
１０…動き入力部
１０ａ…（距離）画像取得部
１０ｂ…画像処理部
１１…評価部

Claims (6)

1. 撮像対象に光を照射する発光手段と、前記撮像対象からの反射光を受光する受光手段と、前記受光手段で受光された反射光の強度分布から、各画素値が奥行き方向の距離値の２乗に反比例する前記反射光の強度である距離画像を生成する画像生成手段とを含む画像取得装置と、複数の部品からなる仮想物体の各部品の記述を記憶する第１の記憶手段と、前記仮想物体の動作の記述を記憶する第２の記憶手段を備えたコンピュータが前記仮想物体を加工する情報加工方法であって、
   入力された音データから音の構成要素を抽出する第１のステップと、
   前記仮想物体の部品のなかから所望の部品を選択する第２のステップと、
   前記画像取得装置で、選択された部品の動きを入力するための動きをする撮像対象の撮像された時系列な複数の距離画像を取得する第３のステップと、
   前記複数の距離画像のそれぞれから抽出される前記撮像対象の輪郭情報から前記撮像対象の動きを認識する第４のステップと、
   選択された部品の記述に、前記第２の記憶手段に記憶された動作の記述のなかから選択された動作の記述及び前記第４のステップで認識された動きに対応する動作の記述のうちのいずれか一方と、前記抽出手段で抽出された音の構成要素のなかから選択された音の構成要素のそれぞれに対応するラベルを挿入する第５のステップと、
   前記仮想物体の部品の記述に挿入された各ラベルに対応する動作の記述と音の構成要素を基に、当該部品が、当該音の構成要素に合わせて当該動作の記述に記述されている動作を行う仮想物体を呈示する第６のステップと、
   を有することを特徴とする情報加工方法。
2. 撮像対象に光を照射する発光手段と、前記撮像対象からの反射光を受光する受光手段と、前記受光手段で受光された反射光の強度分布から、各画素値が奥行き方向の距離値の２乗に反比例する前記反射光の強度である距離画像を生成する画像生成手段とを含む画像取得装置と、複数の部品からなる仮想物体の各部品の記述を記憶する記憶手段を備えたコンピュータが前記仮想物体を加工する情報加工方法であって、
   入力された音データから音の構成要素を抽出する第１のステップと、
   前記仮想物体の部品のなかから所望の部品を選択する第２のステップと、
   前記画像取得装置で、選択された部品の動きを入力するための動きをする撮像対象の撮像された時系列な複数の距離画像を取得する第３のステップと、
   前記複数の各距離画像のそれぞれから抽出される前記撮像対象の輪郭情報から前記撮像対象の動きを認識する第４のステップと、
   選択された部品の記述に、前記第４のステップで認識された動きに対応する動作の記述と、前記第１のステップで抽出された音の構成要素のなかから選択された音の構成要素のそれぞれに対応するラベルを挿入する第５のステップと、
   前記仮想物体の部品の記述に挿入された各ラベルに対応する動作の記述と音の構成要素を基に、当該部品が、当該音の構成要素に合わせて当該動作の記述に記述されている動作を行う仮想物体を呈示する第６のステップと、
   を有することを特徴とする情報加工方法。
3. 複数の部品からなる仮想物体の各部品の記述を記憶する第１の記憶手段と、
   前記仮想物体の動作の記述を記憶する第２の記憶手段と、
   入力された音データから音の構成要素を抽出する抽出手段と、
   前記仮想物体の部品のなかから所望の部品を選択する第１の選択手段と、
   選択された部品の動きを入力するための動きをする撮像対象に光を照射する発光手段と、
   前記撮像対象からの反射光を受光する受光手段と、
   前記受光手段で受光された反射光の強度分布から、各画素値が奥行き方向の距離値の２ 乗に反比例する前記反射光の強度である距離画像を生成する画像生成手段と、
   前記画像生成手段で生成された時系列な複数の距離画像のそれぞれから抽出される前記撮像対象の輪郭情報から前記撮像対象の動きを認識する動き認識手段と、
   選択された部品の記述に、前記第２の記憶手段に記憶された動作の記述のなかから選択された動作の記述及び前記認識手段で認識された動きに対応する動作の記述のうちのいずれか一方と、前記抽出手段で抽出された音の構成要素のなかから選択された音の構成要素のそれぞれに対応するラベルを挿入する挿入手段と、
   前記仮想物体の部品の記述に挿入された各ラベルに対応する動作の記述と音の構成要素を基に、当該部品が、当該音の構成要素に合わせて当該動作の記述に記述されている動作を行う仮想物体を呈示する呈示手段と、
   を具備したことを特徴とする情報加工装置。
4. 複数の部品からなる仮想物体の各部品の記述を記憶する第１の記憶手段と、
   入力された音データから音の構成要素を抽出する抽出手段と、
   前記仮想物体の部品のなかから所望の部品を選択する第１の選択手段と、
   選択された部品の動きを入力するための動きをする撮像対象に光を照射する発光手段と、
   前記撮像対象からの反射光を受光する受光手段と、
   前記受光手段で受光された反射光の強度分布から、各画素値が奥行き方向の距離値の２乗に反比例する前記反射光の強度である距離画像を生成する画像生成手段と、
   前記画像生成手段で生成された時系列な複数の距離画像のそれぞれから抽出される前記撮像対象の輪郭情報から前記撮像対象の動きを認識する動き認識手段と、
   選択された部品の記述に、前記動き認識手段で認識された動きに対応する動作の記述と、前記抽出手段で抽出された音の構成要素のなかから選択された音の構成要素のそれぞれに対応するラベルを挿入する挿入手段と、
   前記仮想物体の部品の記述に挿入された各ラベルに対応する動作の記述と音の構成要素を基に、当該部品が、当該音の構成要素に合わせて当該動作の記述に記述されている動作を行う仮想物体を呈示する呈示手段と、
   を具備したことを特徴とする情報加工装置。
5. 撮像対象に光を照射する発光手段と、前記撮像対象からの反射光を受光する受光手段と、前記受光手段で受光された反射光の強度分布から、各画素値が奥行き方向の距離値の２乗に反比例する前記反射光の強度である距離画像を生成する画像生成手段とを含む画像取得装置と、複数の部品からなる仮想物体の各部品の記述を記憶する第１の記憶手段と、前記仮想物体の動作の記述を記憶する第２の記憶手段を備えたコンピュータを、
   入力された音データから音の構成要素を抽出する抽出手段、
   前記仮想物体の部品のなかから所望の部品を選択する選択手段、
   前記画像取得装置で、選択された部品の動きを入力するための動きをする撮像対象の撮像された時系列な複数の距離画像を取得する取得手段、
   前記複数の距離画像のそれぞれから抽出される前記撮像対象の輪郭情報から前記撮像対象の動きを認識する認識手段、
   選択された部品の記述に、前記第２の記憶手段に記憶された動作の記述のなかから選択された動作の記述及び前記認識手段で認識された動きに対応する動作の記述のうちのいずれか一方と、前記抽出手段で抽出された音の構成要素のなかから選択された音の構成要素のそれぞれに対応するラベルを挿入する挿入手段、
   前記仮想物体の部品の記述に挿入された各ラベルに対応する動作の記述と音の構成要素を基に、当該部品が、当該音の構成要素に合わせて当該動作の記述に記述されている動作を行う仮想物体を呈示する呈示手段として機能させるためのプログラムを記録した機械読み取り可能な記録媒体。
6. 撮像対象に光を照射する発光手段と、前記撮像対象からの反射光を受光する受光手段と、前記受光手段で受光された反射光の強度分布から、各画素値が奥行き方向の距離値の２乗に反比例する前記反射光の強度である距離画像を生成する画像生成手段とを含む画像取得装置と、複数の部品からなる仮想物体の各部品の記述を記憶する記憶手段を備えたコンピュータを、
   入力された音データから音の構成要素を抽出する抽出手段、
   前記仮想物体の部品のなかから所望の部品を選択する第１の選択手段、
   前記画像取得装置で、選択された部品の動きを入力するための動きをする撮像対象の撮像された時系列な複数の距離画像を取得する取得手段、
   前記取得手段で取得された複数の距離画像のそれぞれから抽出される前記撮像対象の輪郭情報から前記撮像対象の動きを認識する動き認識手段、
   選択された部品の記述に、前記動き認識手段で認識された動きに対応する動作の記述と、前記抽出手段で抽出された音の構成要素のなかから選択された音の構成要素のそれぞれに対応するラベルを挿入する挿入手段、
   前記仮想物体の部品の記述に挿入された各ラベルに対応する動作の記述と音の構成要素を基に、当該部品が、当該音の構成要素に合わせて当該動作の記述に記述されている動作を行う仮想物体を呈示する呈示手段として機能させるプログラムを記録した機械読み取り可能な記録媒体。

Images