JP4457983B2 - 演奏操作援助装置及びプログラム - Google Patents

Description

この発明は、ユーザからの種々の入力に応じて電子楽器等の電子音楽装置を制御すると共に、ユーザに対して種々の出力を発生することにより、演奏や操作の援助を行う演奏操作援助システムに関する。

電子楽器等の電子音楽装置をユーザが演奏したり操作する際の援助手段としては、従来より、ヘルプ機能が知られている。例えば、特許文献１には、電子楽器にヘルプスイッチ及び表示器を設け、ヘルプスイッチを操作しながら各種のスイッチを操作すると、そのスイッチに割り当てられている機能の説明が表示器に表示される。
特開平５−２７７５３号公報

しかしながら、このようなスイッチ操作によるヘルプ機能では、ユーザにとっては、一方的に機械を操作しているといった感覚しかなく、親しみを覚えることができない。

この発明は、このような事情に鑑み、ユーザが親しみを覚えることを可能にしながら、電子音楽装置を演奏したり操作する際の援助を行うことができる演奏操作援助装置を提供することを目的とする。

この発明の主たる特徴に従うと、ユーザの動作状態を表わす動作情報として、動作中のユーザをカメラで撮影して得られた映像情報を入力する入力手段（Ａ１：Ａ１２）と、入力手段（Ａ１）により入力された映像情報について画像認識処理を行いユーザの動作を認識する認識手段（Ａ２）と、認識手段（Ａ２）により認識された結果に基づいて制御情報を電子音楽装置（ＥＭ）に出力し（段落［００５４］，［００５５］）、該電子音楽装置（ＥＭ，ＭＤ）を制御する制御手段（Ａ３・Ａ４ｍ）であって、該制御情報には演奏パートの移行を指示する制御情報が含まれる（段落［００５４］，［００５５］）もの（Ａ３・Ａ４ｍ）と、認識手段（Ａ２）により認識された結果に基づいて、ユーザに対してフィードバック出力を発生するフィードバック手段（Ａ３・Ａ４１〜Ａ４３）とを具備する演奏操作援助装置（コンピュータ、ＰＡ）〔請求項１〕が提供され、また、 ユーザの動作状態を表わす動作情報として、動作中のユーザをカメラで撮影して得られた映像情報を入力する入力手段（Ａ１：Ａ１２）を具備し、演奏操作援助装置として機能するコンピュータ（ＰＡ）に、入力手段（Ａ１）により入力された映像情報について画像認識処理を行いユーザの動作を認識する認識ステップ（Ａ２）と、認識ステップ（Ａ２）で認識された結果に基づいて、電子音楽装置（ＥＭ，ＭＤ）を制御するための制御情報を生成する制御ステップ（Ａ３・Ａ４ｍ）であって、該制御情報には演奏パートの移行を指示する制御情報が含まれる（段落［００５４］，［００５５］）もの（Ａ３・Ａ４ｍ）と、認識ステップ（Ａ２）で認識された結果に基づいて、ユーザに対するフィードバック情報を生成するフィードバックステップ（Ａ３・Ａ４１〜Ａ４３）とから成る手順を実行させる演奏操作援助プログラム〔請求項４〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の参照記号や用語等を表わし、以下においても同様である。

この発明による演奏操作援助装置（ＰＡ）において、入力手段（Ａ１）は、さらに、前記電子音楽装置（ＥＭ）からのユーザ演奏情報を入力し（Ａ１ｍ）、制御手段（Ａ３・Ａ４ｍ）或いはフィードバック手段（Ａ３・Ａ４１〜Ａ４３）は、前記入力手段（Ａ１）により入力されたユーザ演奏情報を学習し（Ａ６）、学習した結果に従って前記電子音楽装置（ＥＭ）を制御し或いは前記フィードバック出力を発生する〔請求項２〕ように構成することができる。
また、この発明による演奏操作援助装置（ＰＡ）において、入力手段（Ａ１）は、さらに、ユーザにより発生された音を表わす音情報を動作情報として入力し（Ａ１１）、認識手段（Ａ２）は、入力手段（Ａ１）により入力された映像情報の画像認識処理によりユーザの視線及びジェスチャーを認識すると共に、入力手段（Ａ１）により入力された音情報の音声認識により所定音を認識し、制御手段（Ａ３・Ａ４ｍ）は、認識手段（Ａ２）により所定のジェスチャーが認識されたときに、演奏パートの移行を指示する制御情報を電子音楽装置（ＥＭ）に出力する〔請求項３〕ように構成することができる。

この発明による演奏操作援助システムでは（請求項１，４）、ユーザの動作状態を表わす動作情報として、動作中のユーザをカメラで撮影して得られた映像情報が入力され原因情報となる（Ａ１：Ａ１２）。例えば、映像情報（視覚的動作情報）は、ユーザの視線やジェスチャーを表わし（Ａ１２）、入力情報として検出される。そして、入力された映像情報について画像認識処理を行いユーザの動作を認識し（Ａ２）、制御情報及びフィードバック情報を生成し、制御情報によって電子楽器等の電子音楽装置（ＥＭ）に演奏パートの移行を指示し（段落［００５４］，［００５５］）、該電子音楽装置（ＥＭ）における演奏を制御する（Ａ３・Ａ４ｍ）と共に、フィードバック情報によって、ユーザに対してフィードバック出力を発生する（Ａ３・Ａ４１〜Ａ４３）。ここで、演奏の制御については、例えば、電子音楽装置（ＥＭ）の演奏中、視線（アイコンタクト）が認識されたユーザが所定のジェスチャー（合図）を行うと、この合図が画像認識され、制御情報により電子音楽装置（ＥＭ）の演奏パートが移行される。また、フィードバック出力については、例えば、視覚的には、演奏操作援助装置（ＰＡ）が電子音楽装置組み込み型の場合は表示器上の映像であり、ロボット型の場合にはロボット動作が該当し（Ａ４２）、聴覚的には合成音声や音楽であり（Ａ４１）、物理的には接触動作であり（Ａ４３）、これら視覚的、聴覚的及び物理的なフィードバック出力の内の少なくとも１つがユーザに伝達される。
従って、この発明によれば、ユーザは、視線を合わせたり、ジェスチャーを用いたりすることで、演奏パートの移行を含むユーザ自身の要望を演奏操作援助装置に伝え、電子音楽装置を演奏したり操作する際の援助を行うことができ、親しみを覚えながら演奏操作援助装置と接することができる。

この発明による演奏操作援助装置では（請求項２）、さらに、電子音楽装置（ＥＭ）からのユーザ演奏情報を入力し（Ａ１ｍ）、入力されたユーザ演奏情報（Ａ１ｍ）を学習し（Ａ６）、学習した結果に基づき、次に入力されるユーザ演奏情報（Ａ１ｍ）を解釈（解析）して、電子音楽装置（ＥＭ）を最適に制御したり或いは最適なフィードバック出力を発生する（Ａ３・Ａ４）ようにしている。従って、この発明によれば、ユーザの演奏内容が反映され、より親しみを覚える演奏操作援助装置を提供することができる。
また、この発明による演奏操作援助装置では（請求項３）、さらに、ユーザにより発生された音を表わす音情報を動作情報として入力し（Ａ１１）、入力された映像情報の画像認識処理によりユーザの視線及びジェスチャーを認識し、入力された音情報の音声認識により所定音を認識すると（Ａ２）、電子音楽装置（ＭＤ）を制御しフィードバック出力を発生するＡ３・Ａ４）ようにしている。例えば、画像認識でユーザのアイコンタクトを認識し、音声認識でドラムスティックのカンカン音を認識すると、これに応じて、ユーザに所望パートの演奏を指示し電子音楽装置（ＭＤ）には他パートの演奏を開始させる。また、演奏中に所定のジェスチャーが画像認識されると、上述のように、電子音楽装置（ＥＭ）の演奏パートが移行される。従って、この発明によれば、ユーザの視線やジェスチャー並びにユーザにより発生された音に応答し、より親しみを覚える演奏操作援助装置を提供することができる。

〔電子音楽装置の概要〕
図１は、この発明の一実施例による電子音楽装置のハードウエア構成ブロック図を示す。この電子音楽装置ＥＭには、電子楽器、又は、演奏操作部乃至楽音信号発生部を備えるパーソナルコンピュータ（ＰＣ）のように電子楽器と同等の音楽情報処理機能を有する音楽情報処理装置が用いられる。このような電子音楽装置ＥＭは、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、外部記憶装置４、演奏操作検出回路５、設定操作検出回路６、表示回路７、音源回路８、効果回路９、通信インターフェース（Ｉ／Ｆ）１０、ＭＩＤＩインターフェース（Ｉ／Ｆ）１１などを備え、これらの要素１〜１１はバス１２を介して互いに接続される。

ＣＰＵ１は、所定の制御プログラムに従い、タイマ１３によるクロックを利用して種々の音楽情報処理を実行する。ＲＡＭ２は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ＲＯＭ３には、これらの処理を実行するために必要な各種制御プログラムや制御データ、演奏データ等が予め記憶される。

外部記憶装置４は、ハードディスク（ＨＤ）等の内蔵記憶媒体の外に、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディスク（ＤＶＤ）、スマートメディア（登録商標）等の小型メモリカード、等々、種々の可搬性の外部記録媒体を含み、任意の外部記憶装置４に任意のデータを記憶することができる。

演奏操作検出回路５は、鍵盤などの演奏操作子１４と共に演奏操作部として機能し、演奏操作子１４の演奏操作内容を検出し、これに対応する実演奏データを装置内部に導入する。設定操作検出回路６は、キースイッチやマウス等の設定操作子１５と共にパネル設定部として機能し、設定操作子１５の設定操作内容を検出し、これに対応するパネル設定データを装置内部に導入する。表示回路７は、画面表示用ＬＣＤ等のディスプレイ（表示器）１６や各種インジケータ（図示せず）の表示／点灯内容をＣＰＵ１からの指令に従って制御し、各操作子１４，１５の操作に対する表示援助を行う。

音源回路８は、演奏操作部１４，５からの実演奏データや記憶手段（３，４）等からの演奏データに応じた楽音信号を発生し、効果付与ＤＳＰを有する効果回路９は音源回路９からの楽音信号に所定の効果を付与した楽音信号を生成し、両回路８，９は、楽音信号生成部として機能し音源部とも呼ばれる。効果回路９に後続するサウンドシステム１７は、Ｄ／Ａ変換部やアンプ、スピーカを備え、効果が付与された楽音信号に基づく楽音を発生する。

通信Ｉ／Ｆ１０には、インターネットやローカルエリアネットワーク（ＬＡＮ）などの通信ネットワークＣＮが接続され、外部のサーバコンピュータＳＶ等から、制御プログラムをダウンロードしたり演奏データを記憶装置４に保存して、この電子音楽装置ＥＭで利用することができる。

ＭＩＤＩＩ／Ｆ１１には、演奏操作援助装置ＰＡや、電子音楽装置ＥＭと同様のＭＩＤＩ音楽情報処理機能を有する他の電子音楽装置ＭＤが接続され、ＭＩＤＩＩ／Ｆ１１を通じて電子音楽装置ＥＭと演奏操作援助装置ＰＡ及び他の電子音楽装置ＭＤとの間でＭＩＤＩデータを授受することができる。

例えば、演奏操作援助装置ＰＡは、ユーザからの種々の入力に応じて、ＭＩＤＩデータ中に種々の制御情報を組み込んだＭＩＤＩ制御情報を生成し、生成されたＭＩＤＩ制御情報により電子音楽装置ＥＭを制御することができる。また、電子音楽装置ＥＭがユーザ演奏に基づくＭＩＤＩ演奏情報（ユーザ演奏情報）を演奏操作援助装置ＰＡに返信すると、演奏操作援助装置ＰＡは、これを解析し、ユーザの演奏や操作に対してフィードバックを行うことができる。また、演奏操作援助装置ＰＡは、他の電子音楽装置ＭＤについても同様の制御及びフィードバックを行うことができる。さらに、電子音楽装置ＥＭと他の電子音楽装置ＭＤとの間ではＭＩＤＩデータを授受し、各装置ＥＭ，ＭＤにおいて、ＭＩＤＩデータを相互に演奏利用することができる。

〔演奏操作援助装置の機能〕
この発明の一実施例による演奏操作援助装置では、ユーザの動作状態を視覚的、聴覚的乃至物理的に表わした動作情報が原因情報として入力され、入力された動作情報を解釈して電子楽器等の電子音楽装置を制御すると共に、ユーザに対して視覚的、聴覚的乃至物理的なフィードバック出力を発生することができる。図２は、この発明の一実施例による演奏操作援助装置の機能を説明するための機能ブロック図である。

ここで、この発明の一実施例による演奏操作援助装置の特徴を図２を用いて簡単に説明しておくと次のとおりである。この演奏操作援助装置ＰＡでは、原因情報として、ユーザの動作状態を聴覚的、視覚的乃至物理的に表わした動作情報（Ａ１１：言語や音楽、Ａ１２：ユーザの視線やジェスチャー、Ａ１３：熱や接触、振動）又は電子音楽装置ＥＭからのユーザ演奏情報（Ａ１ｍ）が入力される（Ａ１）。認識部Ａ２は、入力された動作情報を解釈し、処理部Ａ３は、この解釈結果に基づき、結果情報として制御情報及びフィードバック情報を生成する。そして、制御情報により電子楽器等の電子音楽装置ＥＭを制御し（Ａ４ｍ）、フィードバック情報により、ユーザに対して聴覚的、視覚的乃至物理的なフィードバックを行う（Ａ４１：音声や音楽、Ａ４２：映像やロボット動作、Ａ４３：温度変化や接触動作）。また、入力された動作情報やユーザ演奏情報を学習し（Ａ６）、学習した結果に基づき、次に入力される動作情報やユーザ演奏情報を解釈して最適な制御情報やフィードバック情報を生成することができる。

以下、より詳しく説明する。演奏操作援助装置ＰＡは、ハードウエアとしては、図１に示される電子音楽装置ＥＭと同様に、ＣＰＵ、タイマ、ＲＡＭなどのデータ処理手段や、ＲＯＭ、外部記憶装置などの記憶手段、ＭＩＤＩＩ／Ｆなどを備える一種のコンピュータであり、聴覚的、視覚的、物理的乃至電子的（無線などを含む）な多種の入出力手段を備える。また、演奏操作援助装置ＰＡの形態としては、ロボット型、組み込み型、その他別体型などがあり、ロボット型及びその他別体型の場合は、電子音楽装置ＥＭとは別体構造の装置として構成され、組み込み型の場合は、電子音楽装置の一部として構成される。

このような演奏操作援助装置ＰＡは、機能ブロックで表わすと、種々の入力手段で構成される入力検出部Ａ１、データ処理手段で構成される認識部Ａ２及び処理部Ａ３、種々の出力手段で構成される出力フィードバック部Ａ４から成る。ここで、入力検出部Ａ１及び出力フィードバック部Ａ４にはＭＩＤＩＩ／Ｆ（Ａ１ｍ，Ａ４ｍ）が含まれ、演奏操作援助装置ＰＡがロボット型やその他別体型などの場合には、これらのＭＩＤＩＩ／Ｆは無線などで電子音楽装置ＥＭ，ＭＤと接続される。また、認識部Ａ２及び処理部Ａ３は、それぞれ、記憶手段を利用した認識データベースＡ５及び学習データベースＡ６を備える。

演奏操作援助装置ＰＡは、また、動作モードや演奏すべき楽曲など設定するための動作設定部Ａ７を備える。動作モードとしては、例えば、独奏モード、バンドメンバーモード、レッスンの先生モード、友達モードなどがある。演奏操作援助装置ＰＡがロボット型の場合には、さらに、走行機構（例えば、歩行タイプのロボット型ならば歩行機構）や、電子音楽装置ＥＭ，ＭＤなどの他の装置との接触を検出する接触検出装置など、走行に伴う各種検出機構を備える（これらの機構は何れも図示せず）。

（１）入力検出部Ａ１及び認識部Ａ２
入力検出部Ａ１は、ユーザに関する種々の情報を入力するために設けられ、聴覚的入力検出部Ａ１１、視覚的入力検出部Ａ１２、物理的入力検出部Ａ１３及び電子的入力検出部Ａ１４で構成される。また、各入力検出部Ａ１１〜Ａ１４で検出された各入力情報は認識部Ａ２で認識処理される。まず、聴覚的、視覚的及び物理的入力検出部Ａ１１〜Ａ１３は、ユーザの動作状態を、それぞれ、聴覚的、視覚的及び物理的に表わす動作情報を入力するのに用いられる。

すなわち、聴覚的入力検出部Ａ１１は、ユーザの音声、打撃音や手拍子などの聴覚的入力を検出するための入力検出装置としてマイクを備え、マイクで検出された聴覚的動作情報は、認識部Ａ２により音声認識処理がなされ、言語、音楽、合図、ノイズ等が認識される。例えば、言語としては、登録済みのキーワードや、それ以外の擬声語、擬態語などが認識され、これらの言語認識結果等から更にユーザの感情を判断することもできる。また、音楽としては、音色、音高、音圧（音量）、テンポ、楽曲などが認識され、模範演奏との比較機能も備えている。さらに、打撃音や手拍子などの音入力については、入力音の音質、回数や頻度などから、予め定められた合図であることが認識される。

視覚的入力検出部Ａ１２は、ユーザの映像などの視覚的入力を検出するための入力検出装置としてカメラを備え、カメラで検出された視覚的動作情報は、認識部Ａ２により画像認識処理がなされ、ユーザの視線、挙動、表情、ジェスチャー・アクション（合図）などが認識され、また、顔や体型などの特徴から個人認証もなされる。なお、カメラの設置箇所については、演奏操作援助装置ＰＡに対する正視位置が好ましい。例えば、演奏操作援助装置ＰＡがロボット型の場合は両眼の近傍に設けられ、組み込み型の場合にはディスプレイの上部近傍に設けられ、その他別体の場合は筐体正面に設けられる。

物理的入力検出部Ａ１３は、ユーザの操作や状態などの物理的入力を検出するための入力検出装置として、接触センサ、振動センサ、加速度センサ、角速度センサ、熱センサ等を備え、これらのセンサで検出された物理的動作情報は、認識部Ａ２により、ユーザが触ったこと、振ったこと、たたいたこと、持ち上げたこと、等々を認識する。

次に、電子的入力検出部Ａ１４は、ユーザに関する電子的情報などの電子的入力を検出するための入力検出装置として、無線式（ＲＦ）ＩＤ検出器やＭＩＤＩ入力部（ＭＩＤＩ入力端子）Ａ１ｍなどを備え、認識部Ａ２は、ＲＦＩＤ検出器で検出されたＲＦＩＤ個人情報に基づいて個人認証をしたり、ＭＩＤＩ入力部Ａ１ｍから入力された電子音楽装置ＥＭからのユーザ演奏情報に基づいて音楽を認識・評価したりすることができる。

認識部Ａ２は、種々の認識エンジンを備え、上述のように、入力検出部Ａ１により入力された各入力情報を解釈（認識）して所要の認識（判断）情報を生成する種々の認識処理を行い、認識処理の際には認識データベースＡ５を参照する。認識データベースＡ５は、予め登録されている情報、及び、その後随時ユーザ登録した情報で構成され、認識のアルゴリズム及び認識データベースの構造は、公知の技術を採用することができる。

（２）処理部Ａ３
処理部Ａ３は、認識部Ａ２での解釈（認識）により得られた判断情報に基づいて、電子音楽装置ＥＭを制御するための制御情報を生成したり、ユーザに対して聴覚的、視覚的及び物理的なフィードバック出力を発生するためのフィードバック情報を生成する。また、これらの情報を生成する際には、学習データベースＡ６を参照することができる。学習データベースＡ６は、認識された情報の特徴からユーザの癖などを学習し、処理部Ａ３に反映させるためのものである。なお、学習データベースＡ６は、演奏操作援助装置ＰＡの動作モードに応じて異なるデータベースを持つことが好ましい。

（３）出力フィードバック部Ａ４
出力フィードバック部Ａ４は、聴覚的フィードバック部Ａ４１、視覚的フィードバック部Ａ４２、物理的フィードバック部Ａ４３などのフィードバック部と、ＭＩＤＩ出力部Ａ４ｍとから構成される。各フィードバック部Ａ４１〜Ａ４３は、処理部Ａ３で生成されたフィードバック情報に基づいて、聴覚的、視覚的及び物理的なフィードバックをユーザに向けて出力する。

例えば、聴覚的フィードバック部Ａ４１は、処理部Ａ３からの聴覚的フィードバック情報に基づいて、言語によるメッセージを発声したり、非言語によるブザー音などをスピーカを通じて発音するフィードバック出力機能を有するが、必要に応じて、さらに、電子音楽装置ＥＭの音源部８、９のような楽音信号生成機能をもたせて楽音を発音することができるように構成してもよい。

視覚的フィードバック部Ａ４２は、処理部Ａ３からの視覚的フィードバック情報に基づいて視覚的なフィードバック出力を発生する。例えば、この演奏操作援助装置ＰＡの形態がロボット型の場合であれば、首や尾を振ったり手（動物の場合は、前足）を動かす等のジェスチャーや、ダンス、顔の表情、眼の動きなどといったロボットの動作によって、フィードバック情報がユーザに伝達され、組み込み型やその他別体型の場合では、画像表示などでフィードバックされる。

物理的フィードバック部Ａ４３は、処理部Ａ３からの物理的フィードバック情報に基づいて物理的なフィードバック出力を発生する。例えば、熱くなる／冷たくなる等、温度変化などのフィードバックがなされ、ロボット型であれば、更に、ユーザをなでたりたたく等、接触や振動などのフィードバックを行うことができる。

また、ＭＩＤＩ出力部Ａ４ｍは、処理部Ａ３で生成された制御情報をＭＩＤＩデータの形式で電子音楽装置ＥＭ，ＭＤに出力する（以下、この制御情報をＭＩＤＩ制御情報と呼ぶ）。ＭＩＤＩ出力部Ａ４ｍから出力されるＭＩＤＩ制御情報には、演奏に関する情報（チャンネルメッセージ）、操作情報（スイッチリモートメッセージ）、制御情報（システムエクスクルーシブメッセージ）、その他情報（バルクデータ）などがある。

〔独奏モードの動作例〕
次に、ロボット型の演奏操作援助装置ＰＡについて、独奏モードを例にして、具体的な一連の演奏操作援助動作を説明する。なお、演奏操作援助装置ＰＡの援助による独奏モードは、動作設定部Ａ７に対するユーザの動作モード設定操作により設定され、同動作設定部Ａ７への楽曲設定操作により予め演奏すべき楽曲とそのテンポが設定される。また、これらの設定状態は、動作設定部Ａ７による設定時にＭＩＤＩ出力部Ａ４ｍを通じて電子音楽装置ＥＭ，ＭＤに送られる。

（１）イントロ：
例えば、ユーザがロボット型の演奏操作援助装置ＰＡに向かって手を叩くと、認識部Ａ２は、聴覚的入力検出部Ａ１１を通じて手を叩く音を認識し、処理部Ａ３は、これに反応して、聴覚的出力部Ａ４１を通じてユーザに対し「手拍子を打って」と発声する。

これに対してユーザが手拍子を打つと、認識部Ａ２は、手拍子の繰り返し速度を設定されたテンポと比較判断する。処理部Ａ３が認識部Ａ２の進遅判断に応じて聴覚的出力部Ａ４１の出力を制御することによって、聴覚的出力部Ａ４１は、手拍子が進んでいる（速い）か又は遅れている（遅い）間は「もっと遅く」又は「もっと早く」との発声を繰り返し、手拍子が設定テンポとほぼ同期したところで「ありがとう」と発声する。

処理部Ａ３は、聴覚的出力部Ａ４１に「ありがとう」を発声させると同時に、楽曲演奏の開始を指示するＭＩＤＩ制御情報をＭＩＤＩ出力部Ａ４ｍを通じて電子音楽装置ＥＭに送信し、設定された楽曲の伴奏演奏及び楽譜表示を開始させる。これにより、電子音楽装置ＥＭでは、当該楽曲のイントロ（伴奏）がサウンドシステム１７から流れ出し、当該楽曲の楽譜表示がディスプレイ１６上に進行していく。

上述の例では手を叩く動作に従ってイントロ演奏を開始させるようにしているが、口笛や称呼などの動作によってイントロを開始してもよい。まず、口笛でイントロを開始する場合は、ユーザが演奏操作援助装置ＰＡに向かって口笛を吹くと、認識部Ａ２は、聴覚的入力検出部Ａ１１で検出された口笛を認識し、処理部Ａ３は、これに反応して、次の口笛を待機する。

ユーザが何度か口笛を吹いてみると、処理部Ａ３は、認識部Ａ２が口笛の繰り返しを判断するのに応じて聴覚的出力部Ａ４１を起動し、これにより、聴覚的出力部Ａ４１は、設定された楽曲を鼻歌で唄い始めるとともに、例えば「一緒に唄おうよ」と発声する。

そして、ユーザが口笛又は鼻歌で設定楽曲を合唱すると、処理部Ａ３は、認識部Ａ２により合唱状態に入ったと判断された時点で、楽曲演奏の開始を指示するＭＩＤＩ制御情報をＭＩＤＩ出力部Ａ４ｍを通じて電子音楽装置ＥＭに送信し、設定された楽曲の伴奏演奏及び楽譜表示を開始させる。これにより、電子音楽装置ＥＭでは、当該楽曲のイントロがサウンドシステム１７から流れ始め、ディスプレイ１６上の楽譜表示も進行していく。

次に、称呼でイントロを開始する場合には、ユーザに演奏操作援助装置ＰＡの適当な愛称（ニックネーム）を称呼させる。つまり、ユーザが演奏操作援助装置ＰＡに向かってその愛称（例えば、「タロウ」）で声をかけると、認識部Ａ２は、聴覚的入力検出部Ａ１１で検出された愛称を認識し、処理部Ａ３は、これに反応して、次の愛称称呼を待機する。

ユーザが愛称の称呼を続けると、処理部Ａ３は、認識部Ａ２が愛称称呼の繰り返しを判断するのに応じて聴覚的出力部Ａ４１を起動し、これにより、聴覚的出力部Ａ４１は、「なあに？練習の時間？」とユーザに問い掛け、さらに、「練習するなら撫でて」と発声する。そこで、ユーザが演奏操作援助装置ＰＡのロボットを撫でると、認識部Ａ２は、物理的入力検出部Ａ１３を通じて撫でる動作が行われたことを認識する。

処理部Ａ３は、撫でる動作の認識に応答して、聴覚的出力部Ａ４１に「ありがとう」と発声させると共に、走行機構（図示せず）を駆動して演奏操作援助装置ＰＡ自体の位置を電子音楽装置ＥＭの方に移動させる。

そして、電子音楽装置ＥＭの何処かに演奏操作援助装置ＰＡが触れるたことが接触検出装置（図示せず）により検出されると、処理部Ａ３は、走行機構を停止すると共に、楽曲演奏の開始を指示するＭＩＤＩ制御情報をＭＩＤＩ出力部Ａ４ｍを通じて電子音楽装置ＥＭに送信し、設定された楽曲の伴奏演奏及び楽譜表示を開始させる。これにより、電子音楽装置ＥＭでは、当該楽曲のイントロ（伴奏）がサウンドシステム１７から流れ出し、当該楽曲の楽譜表示がディスプレイ１６上に進行していく。

（２）メロディ演奏：
電子音楽装置ＥＭにおけるイントロ演奏の進行状態は、ＭＩＤＩ入力部Ａ１ｍを通じて認識部Ａ２で監視され、処理部Ａ３は、イントロ演奏が終わって楽曲の最初のメロディ部分（Ａメロ）に入ろうとする直前になると、聴覚的出力部Ａ４１に「弾いて」と発音させ、当該メロディ部分の演奏開始をユーザに促す。

これに応じてユーザがメロディ演奏を始めると、電子音楽装置ＥＭでは伴奏が継続されて楽譜も流れ、また、視覚的出力部Ａ４２に、楽曲進行に合わせて首や尾を振らせる動作を行わせる。一方、ＭＩＤＩ入力部Ａ１ｍを通じてユーザ演奏によるＭＩＤＩ演奏情報が入力されず認識部Ａ２によりユーザがメロディ演奏を始めていないと判断された場合は、電子音楽装置ＥＭに楽曲演奏の一時停止を指示するＭＩＤＩ制御情報をＭＩＤＩ出力部Ａ４ｍを通じて電子音楽装置ＥＭに送信し、ユーザがメロディ演奏を始めるとこれを解除する。これにより、電子音楽装置ＥＭは、ユーザがメロディ演奏を始めるまで楽曲演奏の待機状態となり、ユーザがメロディ演奏を始めると、上述したように、当該メロディ部分の伴奏を開始させ楽譜表示を進め、首や尾を振らせる動作を行う。

電子音楽装置ＥＭでユーザがメロディ演奏を続けている間、所定の音楽的な区切り区間（例えば、１小節）毎に、メロディ演奏の巧拙がＭＩＤＩ入力部Ａ１ｍを通じて認識部Ａ２で判定され、処理部Ａ３は、この判定結果に従って、聴覚的出力部Ａ４１を通じて「上手だね」又は「もっとがんばって」等々の言語メッセージをユーザに伝える。そして、ユーザのメロディ演奏が終了すると、認識部Ａ２は、ユーザ演奏を全区間にわたって総合評価し、処理部Ａ３は、聴覚的出力部Ａ４１を通じ総合評価に応じたメッセージ（例えば、「よくできました」等）をユーザに伝える。

（３）演奏操作援助装置ＰＡによる演奏：
なお、ユーザは楽曲進行の途中で演奏を一時停止し、一時停止の都度、それまでに演奏した楽曲部分を演奏操作援助装置ＰＡに任意の演奏を行わせて、演奏に親しみを感じさせるようにすることができる。例えば、ユーザが適当なところで演奏を終了したと認識部Ａ２により判断されたときに、処理部Ａ３は、聴覚的出力部Ａ４１に対して、「今度は僕の番」と発声させた後、予め用意された第１の演奏データに従って同じ楽曲部分を下手に演奏させると共に、演奏操作援助装置ＰＡ自体を電子音楽装置ＥＭの鍵盤の前方に移動して視覚的出力部Ａ４２により手（前足）を動かす動作を行わせる。

つまり、演奏操作援助装置ＰＡは、ミスを連発する演奏を行う。そして、聴覚的出力部Ａ４１に、例えば、「僕の方が下手だね。どう弾いたらいいのかな？教えてくれる？」と発声させ、ＭＩＤＩ出力部Ａ４ｍを通じて同じ楽曲部分の伴奏を電子音楽装置ＥＭに演奏させる。

次いで、この伴奏に合わせてユーザが電子音楽装置ＥＭで再度同じ楽曲部分を演奏すると、ＭＩＤＩ入力部Ａ１ｍから認識部Ａ２を通じてこの演奏内容が解析され、処理部Ａ３により学習データベースＡ６に蓄積される。処理部Ａ３は、聴覚的出力部Ａ４１に「ありがとう」のメッセージを発声させ、学習データベースＡ６に蓄積された演奏内容に従ってユーザの演奏をトレースしたような演奏を行わせる。そして、聴覚的出力部Ａ４１に「僕、君と同じくらいには弾けたかな？」と発声させ、ＭＩＤＩ出力部Ａ４ｍを通じて電子音楽装置ＥＭに、次に演奏すべき部分の伴奏を行わせる。

〔認識情報と生成情報の種々の例〕
次に、演奏操作援助装置（ロボット型）ＰＡにおいて認識部Ａ２で認識された情報に対して処理部Ａ３で生成される情報について、他モードでの特徴的な処理例を説明する。

（Ａ）バンドメンバーモードでの処理例
（Ａ−１）動作設定部Ａ７の動作モード設定操作により演奏操作援助装置ＰＡのバンドメンバーモードが設定されている場合、ユーザの視線が所定方向（例えば、演奏操作援助装置ＰＡの両眼の方向）に向いていること（アイコンタクト）が動作開始の条件となる。

すなわち、認識部Ａ２は、視覚的入力検出部Ａ１２からのユーザ画像について視線認識機能によりユーザの視線が所定方向に向いていること（アイコンタクト）を認識し、次いで、ユーザがドラムスティックでカンカン音を発生させると、聴覚的入力検出部Ａ１１を通じてドラムスティックのカンカン音を音声認識する。そして、処理部Ａ３は、カンカン音の認識に応じて、楽曲演奏の開始を指示するＭＩＤＩ制御情報をＭＩＤＩ出力部Ａ４ｍを通じ電子音楽装置ＥＭ，ＭＤに送信し、電子音楽装置ＥＭに予め設定された楽曲の伴奏演奏を開始させて、ユーザに所望パート（例えば、メロディパート）の演奏を指示し、電子音楽装置ＭＤには当該楽曲の他パートの演奏を開始させる。

（Ａ−２）演奏中、視線認識により視線（アイコンタクト）が認識されたユーザが、ソロパート終了を表わす所定のジェスチャー（合図）を行うと、視覚的入力検出部Ａ１２を通じて認識部Ａ２でソロパート終了の合図を画像認識し、処理部Ａ３は、演奏パートの移行を指示するＭＩＤＩ制御情報をＭＩＤＩ出力部Ａ４ｍを通じて電子音楽装置ＭＤに送信し、電子音楽装置ＭＤの演奏パートを次のパートに移行させる。

（Ａ−３）また、視線認識により視線（アイコンタクト）が認識されたユーザが、エンディング延長を表わす所定のアクション（合図）を行うと、視覚的入力検出部Ａ１２を通じて認識部Ａ２でこのアクションを画像認識し、処理部Ａ３は、演奏パートの移行を指示するＭＩＤＩ制御情報をＭＩＤＩ出力部Ａ４ｍを通じて電子音楽装置ＥＭ，ＭＤに送信し、エンディングのフェルマータを伸ばすように制御する。

（Ｂ）レッスンの先生モードでの処理例
（Ｂ−１）動作設定部Ａ７のモード設定により演奏操作援助装置ＰＡの先生モードが設定されている場合に、生徒（ユーザ）が電子音楽装置ＥＭを演奏すると、認識部Ａ２は、音楽認識機能により、聴覚的入力検出部Ａ１１を通じて入力された演奏音を模範演奏と比較して生徒演奏の上手／下手を判断し、処理部Ａ３は、聴覚的出力部Ａ４１を通じて、言語で判断結果のメッセージを生徒（ユーザ）に伝える。この場合、生徒による電子音楽装置ＥＭの演奏内容は、前述のように、ＭＩＤＩ演奏情報の形でＭＩＤＩＩ／Ｆ１１を通じてＭＩＤＩ入力部Ａ１ｍから入力するようにしてもよい。

（Ｂ−２）視覚的又は聴覚的入力検出部Ａ１２，Ａ１１から入力される生徒（ユーザ）の画像や音声について認識部Ａ２の画像及び音声認識により生徒の挙動や感情を判断し、処理部Ａ３は、聴覚的出力部Ａ４１乃至視覚的出力部Ａ４２を通じて言語で判断結果のメッセージを生徒（ユーザ）に伝える。

（Ｂ−３）認識部Ａ２は、視覚的入力検出部Ａ１２から入力される生徒（ユーザ）の画像又はＭＩＤＩ入力部Ａ１ｍへのＭＩＤＩ演奏情報の有無に基づいて生徒が演奏をしていないことを判断し、処理部Ａ３は、聴覚的出力部Ａ４１乃至視覚的出力部Ａ４２を通じて言語で演奏を促すメッセージを生徒（ユーザ）に伝える。

（Ｃ）友達モードでの処理例
演奏操作援助装置ＰＡの友達モードでは、ユーザの演奏を聴覚的入力検出部Ａ１１又はＭＩＤＩ入力部Ａ１ｍから認識部Ａ２を通じて演奏の手癖を解析し学習データベースＡ６に蓄積しておき、ユーザが再度演奏する際に、演奏操作援助装置ＰＡが、学習した手癖を真似たＭＩＤＩ演奏情報を学習データベースＡ６から読み出し、ＭＩＤＩ出力部Ａ４ｍを通じて電子音楽装置ＥＭに送信し、同様の演奏をさせる。

〔種々の実施態様〕
以上、図面を参照しつつ、この発明の好適な実施の形態について詳述したが、これは単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、具体的な動作例については、ロボット型の演奏操作援助装置を中心に説明したが、ロボット型の演奏操作援助装置で、首や尾を振ったり手（前足）を動かす等のジェスチャーや、ダンス、顔の表情、眼の動きなどといったロボットのフィードバック動作は、電子音楽装置組み込み型やその他別体型において、同様の動作をディスプレイ上に表示することにより、ユーザにフィードバックすることができる。

また、組み込み型の場合、ＭＩＤＩ入力部Ａ１ｍとＭＩＤＩ出力部Ａ４ｍは、電子音楽装置内部でのＭＩＤＩデータ或いはＭＩＤＩデータに準ずるデータの授受を行う機能ブロックに該当する。すなわち、電子音楽装置内部で授受される際のデータ形式は、ＭＩＤＩデータの形式に限らず、それに準じたデータであってもよい。

また、実施形態の説明においては、入力検出部として、聴覚的入力、視覚的入力、物理的入力及び電子的入力の全てを備え、出力フィードバック部として、聴覚的フィードバック、視覚的フィードバック及び物理的フィードバックの全てを備える例を示したが、入力検出部、出力フィードバック部ともに、少なくとも１つの入力やフィードバックを備えていればよい。

この発明の一実施例による電子音楽装置のハードウエア構成例を表わすブロック図である。 この発明の一実施例による演奏操作援助装置の機能的構成例を表わすブロック図である。

符号の説明

ＰＡ 演奏操作援助装置、
Ａ１ 聴覚的、視覚的、物理的及び電子的入力検出部Ａ１１〜Ａ１４を含む入力検出部、Ａ１ｍ 電子的入力検出部Ａ１４に含まれるＭＩＤＩ入力部、
Ａ２ 認識データベースＡ５を参照して入力動作情報を認識（解釈）する認識部、
Ａ３ 学習データベースＡ６を参照し認識（解釈）結果に従って、電子音楽装置ＥＭに対する演奏制御情報及びユーザに対するフィードバック情報を生成する処理部、
Ａ４ 聴覚的、視覚的及び物理的フィードバック部Ａ４１〜Ａ４３並びにＭＩＤＩ出力部Ａ４ｍを含む出力フィードバック部、
Ａ７ 動作設定部。

Claims (4)

1. ユーザの動作状態を表わす動作情報として、動作中のユーザをカメラで撮影して得られた映像情報を入力する入力手段と、
   入力手段により入力された映像情報について画像認識処理を行いユーザの動作を認識する認識手段と、
   認識手段により認識された結果に基づいて制御情報を電子音楽装置に出力し、該電子音楽装置を制御する制御手段であって、該制御情報には演奏パートの移行を指示する制御情報が含まれるものと、
   認識手段により認識された結果に基づいて、ユーザに対してフィードバック出力を発生するフィードバック手段と
   を具備することを特徴とする演奏操作援助装置。
2. 前記入力手段は、さらに、前記電子音楽装置からのユーザ演奏情報を入力し、
   前記制御手段或いはフィードバック手段は、前記入力手段により入力されたユーザ演奏情報を学習し、学習した結果に従って前記電子音楽装置を制御し或いは前記フィードバック出力を発生する
   ことを特徴とする請求項１に記載の演奏操作援助装置。
3. 前記入力手段は、さらに、ユーザにより発生された音を表わす音情報を前記動作情報として入力し、
   前記認識手段は、前記入力手段により入力された映像情報の画像認識処理によりユーザの視線及びジェスチャーを認識すると共に、前記入力手段により入力された音情報の音声認識により所定音を認識し、
   前記制御手段は、前記認識手段により所定のジェスチャーが認識されたときに、前記演奏パートの移行を指示する制御情報を前記電子音楽装置に出力する
   ことを特徴とする請求項１に記載の演奏操作援助装置。
4. ユーザの動作状態を表わす動作情報として、動作中のユーザをカメラで撮影して得られた映像情報を入力する入力手段を具備し、演奏操作援助装置として機能するコンピュータに、
   入力手段により入力された映像情報について画像認識処理を行いユーザの動作を認識する認識ステップと、
   認識ステップで認識された結果に基づいて、電子音楽装置を制御するための制御情報を生成する制御ステップであって、該制御情報には演奏パートの移行を指示する制御情報が含まれるものと、
   認識ステップで認識された結果に基づいて、ユーザに対するフィードバック情報を生成するフィードバックステップと
   から成る手順を実行させる演奏操作援助プログラム。

Images