JP4354546B2

JP4354546B2 - Apparatus and method for detecting musical instrument performance and guiding musical instrument performance, and recording medium recording the program

Info

Publication number: JP4354546B2
Application number: JP22622498A
Authority: JP
Inventors: 昭夫高橋; 詠子小林
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1998-08-10
Filing date: 1998-08-10
Publication date: 2009-10-28
Anticipated expiration: 2018-08-10
Also published as: JP2000056669A

Description

【０００１】
【発明の属する技術分野】
この発明は、鍵盤楽器の運指を含めた演奏動作の指導を行うために用いて好適な、楽器演奏動作検出装置、楽器演奏動作指導装置、楽器演奏動作検出方法、楽器演奏動作指導方法、楽器演奏動作検出プログラム、および楽器演奏動作指導プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来より、楽器の演奏指導を行うための様々な技術が提案されている。例えば、演奏する際に使用者に運指を指示するための技術として、特開平７−３３４０７３号公報には、押鍵すべき指の位置や動きを、ＬＥＤ表示によって指示する手段が提案されている。
【０００３】
【発明が解決しようとする課題】
しかし、特開平７−３３４０７３号公報に記載された発明では、模範となる運指情報を表示するだけであるので、使用者は、模範通りに演奏できたか否かについて、自分自身で判定することは困難であった。
このような問題は、演奏動作を記録し、演奏後に自分の演奏動作を確認することによって解決できる。例えば、特開昭５７−５４９９２号公報には、楽器を演奏する事により自動的に譜面を作成する装置が記載されている。この技術を用いれば、作成された譜面と模範となる譜面とを比較することにより、使用者は演奏後に自分が正しい鍵を押下したか否かを確認することができる。
【０００４】
しかしながら、譜面が作成されるのは演奏終了後であるので、リアルタイムに間違いを判断することができない上に、作成された譜面を模範となる譜面と比較しなければならず、間違いを認識するためには大変手間がかかるという問題がある。また、譜面に表示される情報は、音程や音長などの音楽情報のみであるので、指示された運指通りに演奏できたか否かについては判断できるものではない。
このように従来の技術では、演奏動作を指導するためには不十分であった。
【０００５】
本発明は、上述した問題を解決するためになされたものであり、演奏動作を自動的に検出し、運指を含めた演奏動作の指導をすることができる、楽器演奏動作検出装置、楽器演奏動作指導装置、楽器演奏動作検出方法、楽器演奏動作指導方法、楽器演奏動作検出プログラム、および楽器演奏動作指導プログラムを記録した記録媒体を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上述した課題を解決するために、請求項１に記載の発明は、複数の操作子を備えた楽器から送信された操作子識別情報であって、操作された前記操作子を示す操作子識別情報を受信する受信手段と、前記楽器を演奏する使用者の各指に配置され、前記各指の状態に基づいて、前記操作子を操作した指を示す指識別情報を出力する指識別手段と、前記受信手段で受信された操作子識別情報と前記指識別手段から出力された指識別情報とを対応付けた演奏データを単位時間毎に生成し、該演奏データを出力する手段であって、前記単位時間内に複数の前記指によって複数の前記操作子が操作された場合に、該操作子の並びと該指の並びとに基づいて前記操作子識別情報と前記指識別情報とを対応付ける演奏データ出力手段とを具備することを特徴とする楽器異演奏動作検出装置を提供する。
【０００８】
また、請求項２に記載の発明は、請求項１に記載の楽器演奏動作検出装置において、複数の前記指が左手に属する指と右手に属する指とからなる場合に左右の手が交差したか否かを判定する判定手段と、前記判定手段が左右の手が交差したと判定した場合に、左右の手を交差させた状態における前記複数の指の並びに基づいて前記操作子識別情報と前記指識別情報とを対応付ける交差対応付け手段とを具備することを特徴とする。
また、請求項３に記載の発明は、請求項２に記載の楽器演奏動作検出装置において、前記判定手段は、前記演奏データ出力手段による過去の対応付けの結果を左手に属する指のグループと右手に属する指のグループとに分け、いずれかのグループにおいて単位時間内に操作された前記操作子と直前の単位時間内に操作された前記操作子との距離が閾値を超えた場合に、左右の手が交差したと判定することを特徴とする。
また、請求項４に記載の発明は、請求項２に記載の楽器演奏動作検出装置において、前記判定手段は、前記演奏データ出力手段による過去の対応付けの結果を左手に属する指のグループと右手に属する指のグループとに分け、いずれかのグループにおいて単位時間内に操作された複数の前記操作子相互の距離が閾値を超えた場合に、左右の手が交差したと判定することを特徴とする。
また、請求項５に記載の発明は、請求項４に記載の楽器演奏動作検出装置特定の距離だけ離れた複数の前記操作子が単位時間内に操作される可能性の高さを表すデータを前記使用者毎に記憶する可能性記憶手段を有し、前記判定手段は、前記可能性記憶手段の記憶内容に基づいて重み付けをした判定を行うことを特徴とする。
また、請求項６に記載の発明は、請求項１に記載の楽器演奏動作検出装置において、前記操作子識別情報と前記指識別情報との特定の組合せを予め記憶する組合せ記憶手段を有し、前記演奏データ出力手段は、前記組合せ記憶手段の記憶内容に基づいて、前記操作子識別情報と前記指識別情報とを対応付けることを特徴とする。
【０００９】
また、請求項７に記載の発明は、複数の操作子を備えた楽器から送信された操作子識別情報であって、操作された前記操作子を示す操作子識別情報を受信する受信手段と、前記楽器を演奏する使用者の各指に配置され、前記各指の状態に基づいて、前記操作子を操作した指を示す指識別情報を出力する指識別手段と、前記受信手段で受信された操作子識別情報と前記指識別手段から出力された指識別情報とを対応付けた演奏データを単位時間毎に生成し、該演奏データを出力する手段であって、前記単位時間内に複数の前記指によって複数の前記操作子が操作された場合に、該操作子の並びと該指の並びとに基づいて前記操作子識別情報と前記指識別情報とを対応付ける演奏データ出力手段と、模範となる演奏動作を示す模範演奏データを記憶する模範演奏データ記憶手段と、前記模範演奏データと前記演奏データとを比較する演奏動作比較手段と、前記演奏動作比較手段の比較結果を示す比較データを作成する比較データ作成手段と、前記演奏データおよび前記比較データに基づいて演奏動作指導の情報を表示する表示手段とを具備することを特徴とする楽器演奏動作指導装置を提供する。
また、請求項８に記載の発明は、請求項７に記載の楽器演奏動作指導装置において、前記表示手段は、運指を含めた演奏動作を示す譜面を作成して表示することを特徴とする。
また、請求項９に記載の発明は、請求項７に記載の楽器演奏動作指導装置において、前記表示手段は、前記比較手段の比較結果を逐次表示することを特徴とする。
【００１０】
また、請求項１０に記載の発明は、受信手段が、複数の操作子を備えた楽器から送信された操作子識別情報であって、操作された前記操作子を示す操作子識別情報を受信する受信ステップと、前記楽器を演奏する使用者の各指に配置された指識別手段が、前記各指の状態に基づいて、前記操作子を操作した指を示す指識別情報を出力する指識別ステップと、演奏データ出力手段が、前記受信ステップで受信された操作子識別情報と前記指識別ステップで出力された指識別情報とを対応付けた演奏データを単位時間毎に生成し、該演奏データを出力するステップであって、前記単位時間内に複数の前記指によって複数の前記操作子が操作された場合に、該操作子の並びと該指の並びとに基づいて前記操作子識別情報と前記指識別情報とを対応付ける演奏データ出力ステップとを具備することを特徴とする楽器演奏動作検出方法を提供する。
【００１１】
また、請求項１１に記載の発明は、受信手段が、複数の操作子を備えた楽器から送信された操作子識別情報であって、操作された前記操作子を示す操作子識別情報を受信する受信ステップと、前記楽器を演奏する使用者の各指に配置された指識別手段が、前記各指の状態に基づいて、前記操作子を操作した指を示す指識別情報を出力する指識別ステップと、演奏データ出力手段が、前記受信ステップで受信された操作子識別情報と前記指識別ステップで出力された指識別情報とを対応付けた演奏データを単位時間毎に生成し、該演奏データを出力するステップであって、前記単位時間内に複数の前記指によって複数の前記操作子が操作された場合に、該操作子の並びと該指の並びとに基づいて前記操作子識別情報と前記指識別情報とを対応付ける演奏データ出力ステップと、演奏動作比較手段が、模範となる演奏動作を示す模範演奏データと前記演奏データとを比較する演奏動作比較ステップと、比較データ作成手段が、前記演奏動作比較ステップでの比較結果を示す比較データを作成する比較データ作成ステップと、表示手段が、前記演奏データおよび前記比較データに基づいて演奏動作指導の情報を表示する表示ステップとを具備することを特徴とする楽器演奏動作指導方法を提供する。
【００１２】
また、請求項１２に記載の発明は、コンピュータを、複数の操作子を備えた楽器から送信された操作子識別情報であって、操作された前記操作子を示す操作子識別情報を受信する受信手段と、前記楽器を演奏する使用者の各指に配置され、前記各指の状態に基づいて、前記操作子を操作した指を示す指識別情報を出力する指識別手段と、前記受信手段で受信された操作子識別情報と前記指識別手段から出力された指識別情報とを対応付けた演奏データを単位時間毎に生成し、該演奏データを出力する手段であって、前記単位時間内に複数の前記指によって複数の前記操作子が操作された場合に、該操作子の並びと該指の並びとに基づいて前記操作子識別情報と前記指識別情報とを対応付ける演奏データ出力手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【００１３】
また、請求項１３に記載の発明は、コンピュータを、複数の操作子を備えた楽器から送信された操作子識別情報であって、操作された前記操作子を示す操作子識別情報を受信する受信手段と、前記楽器を演奏する使用者の各指に配置され、前記各指の状態に基づいて、前記操作子を操作した指を示す指識別情報を出力する指識別手段と、前記受信手段で受信された操作子識別情報と前記指識別手段から出力された指識別情報とを対応付けた演奏データを単位時間毎に生成し、該演奏データを出力する手段であって、前記単位時間内に複数の前記指によって複数の前記操作子が操作された場合に、該操作子の並びと該指の並びとに基づいて前記操作子識別情報と前記指識別情報とを対応付ける演奏データ出力手段と、模範となる演奏動作を示す模範演奏データを記憶する模範演奏データ記憶手段と、前記模範演奏データと前記演奏データとを比較する演奏動作比較手段と、前記演奏動作比較手段の比較結果を示す比較データを作成する比較データ作成手段と、前記演奏データおよび前記比較データに基づいて演奏動作指導の情報を表示する表示手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【００１４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について鍵盤楽器を例にして説明する。
【００１５】
１．実施形態の構成
１−１．全体構成
図１は、実施形態の全体構成を示す図である。本実施形態は、グローブ１００Ｌ、１００Ｒを装着した使用者がキーボード２００を演奏する際の演奏動作の指導を、本発明にかかる指導装置３００によって行うように構成されている。すなわち、使用者は、グローブ１００Ｌを左手に、グローブ１００Ｒを右手に装着して、キーボード２００を演奏する。指導装置３００は、グローブ１００Ｌ、１００Ｒおよびキーボード２００から押下された鍵およびその鍵を押下した指を特定し、模範となる演奏と比較することによって、演奏動作の指導を行う。
ここで、「演奏動作」とは、例えば鍵を押す、離すといった使用者が鍵盤楽器を操作する運指を含めた動作をいう。演奏動作は、鍵盤楽器を操作した指とその指で操作された鍵を対応づけて特定する。
【００１６】
グローブ１００Ｌ、１００Ｒには、各指の先に押圧を検出する圧電センサが配置されており、演奏者が鍵を押下すると、圧電センサからオン信号が出力されるようになっている。各圧電センサからの出力線は、それぞれ指導装置３００に入力されており、指導装置３００はこの圧電センサからの出力信号によって、鍵を押下しているか否かという状態を各指毎に検出することができる。
なお、グローブ１００Ｌ、１００Ｒは、上記の構成のように圧電センサをグローブ内に配置する構成の他にも、圧電センサを配置した指サックを各指に装着するようにしてもよい。
【００１７】
キーボード２００は、ＭＩＤＩ（Musical Instrument Digital Interface）規格に対応した電子楽器であり、８８鍵を有する鍵盤を備えている（図では一部省略）。使用者が演奏を行うと、キーボード２００は例えばキーセンサによって演奏動作を検出し、演奏動作を示す信号（ＭＩＤＩメッセージ）を出力する。鍵盤楽器では、鍵と発音する音高が一対一で対応しているので、操作された鍵は、ＭＩＤＩ規格において音高を示すノートナンバーを用いて特定される。指導装置３００は、ＭＩＤＩメッセージから、操作された鍵の状態を各鍵毎に検出することができ、ノートナンバーからいずれの鍵が操作されたか特定することができる。
なお、以下の説明においては、キーボード２００の鍵を特定して記載する場合もノートナンバーを用いる。例えばＣ３に相当する鍵は、発音するノートナンバーは６０であるので、鍵６０と表記する。
【００１８】
指導装置３００は、ＣＰＵ１がＲＯＭ２に記憶されたプログラムに従ってバスを介して接続された各部を制御することによって機能する。バスには、ＣＰＵ１が動作する際のワークエリアが設定されるＲＡＭ３、大容量磁気ディスク記憶装置であるハードディスク（ＨＤＤ）４、その他、フロッピーディスクなどの外部ディスク媒体１０に記録されたデータやプログラムを読み込むための外部ディスクインターフェイス５の他、ＭＩＤＩインターフェイス６、グローブインターフェイス７、表示部インターフェイス８、プリンタインターフェイス９等の外部機器とのインターフェイスが接続されている。
【００１９】
１−２．データ構成
ここで、本実施形態で用いられるデータ構成について説明する。まず、本実施形態では、個々の演奏動作を示す演奏動作データとして、ＭＩＤＩ規格に従ったデータ（ＭＩＤＩメッセージ）を用いる。
ＭＩＤＩメッセージは、図２に示すように、メッセージの種類を示すステータスバイトと、各メッセージ毎に定義されたデータバイトとから構成されている。本実施形態では、主に、ノートオンメッセージおよびエクスクルーシブメッセージを用いて説明する。
【００２０】
ノートオンメッセージは、演奏動作のうち押鍵を示すメッセージであり、ステータスバイトにはノートオンを示すデータが割り当てられる（図２（ａ）参照）。続くデータバイトには、押下した鍵を示すノートナンバー、鍵を押下した強さを示すベロシティが割り当てられる。例えば、キーボード２００の鍵６０が押下されると、ノートナンバーが６０となるノートオンメッセージが作成されて、キーボード２００から出力される。また、ノートオフメッセージは、離鍵動作を示すメッセージでありノートオンメッセージと対となって出力される。ノートオンメッセージが出力されてからノートオフメッセージが出力されるまでが、押鍵から離鍵までの動作を示すことになる。
【００２１】
エクスクルーシブメッセージは、ＭＩＤＩ規格上ではデータバイトに定義のないメッセージであるが、本実施形態では、演奏動作のうち、鍵を押下した指（運指）を示すメッセージとして用いる（図２（ｂ）参照）。
すなわち、押下した鍵および押下した指を示す２種類のデータを割り当てるためのデータバイトを定義する。
まず、第１のデータバイトには、押下した鍵を示すノートナンバーを割り当てる。第２のデータバイトには、押下した指を示す指ナンバーを割り当てる。指ナンバーは、例えば右手の親指を１Ｒ、人指し指を２Ｒ、中指３Ｒ、薬指４Ｒ、小指５Ｒとし、左手の親指を１Ｌ、人指し指を２Ｌ、中指３Ｌ、薬指４Ｌ、小指５Ｌとする。
運指を示すエクスクルーシブメッセージは、後に説明するように、グローブ１００Ｌ、１００Ｒのそれぞれの指に配置された圧電センサの出力信号のオン状態と、キーボード２００から出力されたノートオンメッセージとの相関関係から、指導装置３００によって作成される。例えば、右手の親指（１Ｒ）で鍵６０を押下すると、第１のデータバイトに６０が、第２のデータバイトに２Ｒが割り当てられたエクスクルーシブメッセージが作成される。
【００２２】
また、エクスクルーシブメッセージは、演奏者の運指が模範となる運指と一致するか否かを示すデータとしても用いられる。すなわち、上述の第１および第２のデータバイトによって示される運指が、模範となる運指と一致していないときは、エラーマークを第３のデータバイトに対して割り当てる（図２（ｃ）参照）。ただし、模範となる運指と一致している場合は、エラーマークは割り当てられない。
【００２３】
また、各ＭＩＤＩメッセージに後述する時間情報を付加したデータを「ＭＩＤＩデータブロック」とする（図２（ｄ）参照）。
そして、１曲を通した演奏動作を示すデータを「演奏データ」とする。この場合、演奏データは、複数のＭＩＤＩデータブロックから構成され、一定のフォーマットに従って構成されている。
また、「模範演奏データ」は、模範となる演奏動作を示す演奏データであり、複数の模範演奏動作データ（ＭＩＤＩブロック）から構成される。
【００２４】
ＭＩＤＩデータブロックは、図２（ｄ）に示すように、ＭＩＤＩメッセージ毎に時間情報が付される。時間情報には、各演奏動作の開始時間情報および演奏動作の継続時間情報が含まれる。
本実施形態では、開始時間情報は、小節番号とその小節内でのステップタイムとによって示される。ステップタイムとは、４分音符のクロック数（分解能）によって決定した単位時間を１ステップとして、小節線に対する経過時間をステップ数で表したものである。なお、本実施形態では、説明を簡略化するため分解能を２として、１ステップは８分音符１拍の長さに対応している。小節番号は、演奏データを作成する際に設定する拍数から決定される。例えば、４／４拍子であれば、８ステップ毎に小節線が入ることになる。
また、演奏動作の継続時間情報もステップ数で示される。なお、演奏動作の継続時間情報は、主に音符の種類を決定するために用いられる。例えば、演奏動作時間が１ステップであれば８分音符に相当し、２ステップであれば４分音符に相当する。
【００２５】
図３（ａ）は、模範となる演奏を譜面に示した図であり、図４（ａ）は、図３（ａ）の演奏に対応した模範演奏データを示したものである。また、図３（ｂ）は、使用者の演奏を譜面に示した図であり、この譜面に示す通りに演奏された場合に作成される演奏データを、図４（ｂ）に示す。
なお、図４（ａ）（ｂ）では、指使いを示したデータ（エクスクルーシブメッセージ）のみを表示し、他の演奏動作を示すデータ（ノートオンメッセージなど）は省略している。また、時間情報は、開始時間情報のみを表示し、継続時間情報は省略している。
【００２６】
ここで、図４（ｂ）の先頭のデータからは、図３に示す譜面の最初の音符（第１小節第１ステップタイム）について、使用者は鍵６０を右手親指（１Ｒ）で押下していることがわかる。
一方、図４（ａ）を参照すると、模範演奏データの第１小節第１ステップタイムも、ノートナンバー６０で指ナンバーが１Ｒである。このように、同一小節同一ステップタイムにおいてノートナンバーと指ナンバーとが一致している場合は、使用者は模範通りに演奏できた場合である。
ところが、第１小節第８ステップタイムでは、模範演奏データではノートナンバー６５で指ナンバーが２Ｒであるにもかかわらず、演奏データでは、ノートナンバー６７で指ナンバーが３Ｒとなっている。このように演奏データと模範演奏データとが一致しない場合は、指ナンバーを特定するエクスクルーシブメッセージの第３のデータバイトに、さらにエラーマークを自動的に割り当てている。このエラーマークによって、使用者が演奏動作を間違えたことを識別できるようになっている。
【００２７】
１−３．指導装置３００の構成
次に、図５を参照して、指導装置３００の構成について説明する。図５では、指導装置３００の機能をブロック化して示してあるが、各機能はＣＰＵ１の動作によって実現される。ただし、模範演奏記憶部３０２は、ＲＡＭ３内の所定領域に設定される。この模範演奏記憶部３０２には、ＣＤ（コンパクトディスク）などの記録媒体４００から模範演奏データが転送されるようになっている。以下、指導装置３００の各機能について説明する。
【００２８】
まず、ＭＩＤＩコンバータ３０１は、グローブ１００Ｌ、１００Ｒおよびキーボード２００から入力される信号に基づいて、ＭＩＤＩメッセージおよびＭＩＤＩデータブロックを作成するものである。
データ比較部３０３は、ＭＩＤＩコンバータ３０１と模範演奏記憶部３０２から入力されるデータとを比較するものであり、エラー情報作成部３０４は、比較結果に基づいてエラー情報を作成するものである。
表示部３０５は、エラー情報に基づいて、使用者の演奏に間違いがあったことを表示するものである。
また、データ記憶部３０６は、演奏データを記憶するものであり、譜面作成部３０７は、データ記憶部３０６に記憶され演奏データに基づいて、エラー情報（エラーマーク）を表示した譜面を作成してプリント出力するものである。
【００２９】
２．実施形態の動作
次に、上記構成を有する実施形態の動作について、図６に示すフローチャートを参照しながら説明する。
まず、使用者が演奏を開始するに先だって、記録媒体４００から模範演奏記憶部３０２に模範演奏データを読み込む（Ｓ１０１）。そして、読み込まれた模範演奏データの拍数や分解能等に基づいて、作成する演奏データの拍数や分解能等の設定を行う。使用者が演奏することによって検出される信号には、ここで設定されたデータに基づいて、時間情報が付与される。模範演奏データからこれらの情報を読み込むのは、模範演奏データと演奏データとを比較する際に、時間の基準を合わせるためである。
【００３０】
次に、ステップＳ１０１における初期設定が完了すると、演奏可能な状態となり、使用者は演奏を開始する（Ｓ１０２）。演奏開始の際は、図示せぬ録音スイッチ等の操作によって演奏の記録開始を指示する。
演奏が開始されると、ＭＩＤＩコンバータ３０１は、グローブ１００Ｌ、１００Ｒおよびキーボード２００から出力される信号を読み込み、演奏動作を検出し、検出された情報に基づいてＭＩＤＩデータブロックを作成して、データ比較部３０３に出力する（Ｓ１０３）。
【００３１】
ここで、ＭＩＤＩコンバータ３０１のＭＩＤＩデータブロック作成動作について説明する。なお、ここでは、運指情報を示すエクスクルーシブメッセージの作成について説明し、その他のＭＩＤＩメッセージから作成されるＭＩＤＩデータブロックについては、周知であるシーケンサのリアルタイム入力機能と同様であるので説明は省略する。
【００３２】
図７は、ＭＩＤＩデータブロック作成動作を示すフローチャートである。
まず、グローブ１００Ｌ、１００Ｒから入力されるオン信号および、キーボード２００から入力されるＭＩＤＩメッセージ信号にクオンタイズを行う（Ｓ２０１）。クオンタイズとは、入力される信号を最小単位時間に量子化することであり、本実施形態では、最小単位時間を１ステップタイムとしている。すなわち、図８に示すように、実際には同時に押下されて同時の演奏動作を示すはずの信号のタイミングがずれて入力される場合（図８▲１▼参照）でも、同じステップタイムに入力された信号として扱われるようになる（図８▲２▼参照）。
【００３３】
なお、一つの演奏動作の動作時間は、ノートオンメッセージが入力されてから、ノートオフメッセージが入力されるまでの時間によって決定される。例えば、右手親指（１Ｒ）が、鍵６０を２ステップタイム長だけ押下していた場合は、図８▲３▼に示すように、第１ステップタイムにおいてノートオンメッセージおよびグローブ１００Ｒからのオン信号が入力され、第３ステップタイムにおいてノートオフメッセージが入力された場合には、一つの演奏動作が２ステップタイム分（４分音符１拍分）なされたものとして扱う。
しかし、第２ステップタイムにおいて検出されるグローブ１００Ｒのオン信号については、第１ステップタイムにおける演奏動作の継続に伴う入力信号と判断される。
【００３４】
次に、同じステップタイムにおいて、データが複数あるか否かを判定する（Ｓ２０２）。複数のデータがないと判定された場合は（Ｓ２０２；ＮＯ）、指ナンバーとノートナンバーの組み合わせは一つしかないので、その組み合わせでエクスクルーシブメッセージを作成し、時間情報を付してＭＩＤＩデータブロックを作成する（Ｓ２０４）。
【００３５】
同じステップタイムに複数のノートナンバーと指ナンバーがある場合には（Ｓ２０２；ＹＥＳ）、押下された鍵と押下した指とを一致させてエクスクルーシブメッセージを作成しなくてはならない。そこで、ＭＩＤＩコンバータ３０１は、ＲＯＭ２に記憶されたプログラムに従って、押下された鍵と押下した指との割り当てを行う（Ｓ２０３）。そして、一致させたエクスクルーシブを作成し、時間情報を付してＭＩＤＩデータブロックを作成する（Ｓ２０４）。
【００３６】
ここで、図９に示すフローチャートを参照して、押下された鍵と押下した指とを対応つける場合の動作について説明する。
まず、グローブ１００Ｌまたは１００Ｒから検出されたオン信号が全て同じグローブからの出力信号であるか否かを判定する（Ｓ３０１）。
全て同じグローブからの出力信号であると判定された場合は（Ｓ３０１；ＹＥＳ）、次に、それらの手が右手、すなわちグローブ１００Ｒからの出力信号であるか否かを判定する（Ｓ３０２）。そして、右手であると判定された場合は（Ｓ３０２；ＹＥＳ）、鍵盤は使用者に対して向かって左から音高の低い順にならんでいるので、ノートナンバーの小さい順に指ナンバーの小さいものを割り当てる。
逆に、左手であると判定された場合は（Ｓ３０２；ＮＯ）、ノートナンバーの小さい順に指ナンバーの大きいものを割り当てる。
【００３７】
ステップＳ３０１の判定において、同時に両手で鍵を押しており、グローブ１００Ｌ、１００Ｒのいずれからもオン信号が検出されたと判定された場合は（Ｓ３０１；ＮＯ）、まず、左右の手が交差していないものとして割り当てを行う。すなわち、ノートナンバーの小さい順に、左手グローブ１００Ｌのオン状態になっている指ナンバーの大きい順に割り当て（Ｓ３０５）、残りのノートナンバーの小さい順に、右手グローブ１００Ｒのオン状態になっている指ナンバーの小さい順に割り当てる（Ｓ３０６）。
【００３８】
次に、左右の手が交差している場合であるか否かを判定する（Ｓ３０７）。左右の手が交差して演奏する場合があるからである。
ここで、左右の手が交差しているか否かの判定方法について説明する。このステップ（Ｓ３０７）における判定の前に、左右の手が交差していない場合を前提に割り当てを行っているが、この割り当てが不自然であれば左右の手が交差していると考えられる。
【００３９】
演奏する際に左右の手を交差させるか否かを人間が判断する場合は、主に曲の流れで判断する。そこで、本実施形態では、各ステップタイムにおいてノートナンバーと指ナンバーとの割り当てが確定する度に、左右それぞれの手が押下した鍵のノートナンバーの度数を示すテーブルを時系列で作成する。そして、左右の手が交差しているか否かの判定を行う場合は、この頻度テーブルを参照する。
図１０は、頻度テーブルの例である。図中（ａ）は右手の、（ｂ）は左手の第４小節第６ステップタイムまでの頻度を示している。テーブルは１ノートナンバーごとに１行が対応しており、各列は、割り当てが確定する度に新しく作成される。なお図１０中では、使用されなかったノートナンバーは省略している。
図１０に示した例では、右手（ａ）ではこれまでに２９回データが作成されており、また、左手（ｂ）ではこれまでに１５回データが作成されており、それぞれ図に示す分布になっている。
【００４０】
ステップＳ３０５、Ｓ３０６において割り当てたノートナンバーが、過去に押下した鍵のノートナンバーの分布と比較して大きな隔たりがある場合は、左右の手が交差していると判定する。大きな隔たりとは、参照したノートナンバーが、割り当てられている手のテーブルの直前のノートナンバーの数値に比較して、１オクターブ以上離れている場合である。この場合は、ノートナンバーの差が１２以上になる。
また、通常、片手が同時に押下する鍵は１オクターブ以上は離れない。そこで、片手に割り当てられたノートナンバーの組み合わせのうち、１２以上はなれたノートナンバーが含まれる場合も左右の手が交差していると判定する。
【００４１】
例えば、図３、図４に示す演奏では、第４小節の第７ステップタイムでは、キーボード２００からはノートナンバー６７、７９、８３、８８のノートオンメッセージが入力され、グローブ１００Ｌ、１００Ｒからは、５Ｌ、２Ｌ、１Ｌ、３Ｒのオン信号が入力される。まず、Ｓ３０５、Ｓ３０６における割り当てでは、５Ｌが６７、２Ｌが７９、１Ｌが８３、３Ｒが８８と対応付けているが、左手の度数テーブル（図１１（ｂ））では、直前に押鍵されたノートナンバー４８と、５Ｌに割り当てられた６７とはノートナンバーの差が１９であるので不自然と判断される。また、６７、６９、８３を左手に割り当てると、（最高ノートナンバー８３）−（最低ノートナンバー６７）＝１６差があるので、片手で同時に押下する範囲を越えており、やはり不自然と判定される。このような場合に、左右が交差している場合として判定される。
【００４２】
そして、左右の手が交差していないと判定された場合は（Ｓ３０７；ＮＯ）、ステップＳ３０５、Ｓ３０６における割り当てが確定する。
しかし、ステップＳ３０７の判定において左右の手が交差していると判定された場合は（Ｓ３０７；ＹＥＳ）、改めて割り当てを行う。すなわち、ノートナンバーの小さい順に、右手グローブ１００Ｒのオン状態になっている指ナンバーの小さい順に割り当て、（Ｓ３０８）、残りのノートナンバーの小さい順に、左手グローブ１００Ｌのオン状態になっている指ナンバーの大きい順に割り当てる（Ｓ３０９）。
【００４３】
説明を再び図６に示すフローチャートに戻す。上述のように、ステップＳ１０３においてして作成されたＭＩＤＩデータブロックは、データ比較部３０３に入力される。
データ比較部３０３は、入力されたＭＩＤＩデータブロックのステータスがエクスクルーシブであるか否かを判定し（Ｓ１０４）、エクスクルーシブではないと判定した場合は（Ｓ１０４；ＮＯ）、ＭＩＤＩデータブロックをデータ記憶部３０６に出力し、データ記憶部３０６は、演奏データとしてＭＩＤＩデータブロックを記憶する（Ｓ１０８）。
【００４４】
一方、エクスクルーシブであると判定した場合は（Ｓ１０４；ＹＥＳ）、模範演奏記憶部３０２に記憶された模範演奏データから、ＭＩＤＩコンバータ３０１から入力されたＭＩＤＩデータブロックと同じ開始時間に対応するＭＩＤＩデータブロックを読み出す。そして、ＭＩＤＩコンバータ３０１から入力されたＭＩＤＩデータブロックと比較し、ノートナンバーおよび指ナンバー同士が一致するか否か判定する（Ｓ１０５）。
【００４５】
ステップＳ１０５の判定において、模範演奏データのＭＩＤＩデータブロックと、ＭＩＤＩコンバータ３０１から入力されたＭＩＤＩデータブロックのデータの内容が一致すると判定された場合は（Ｓ１０５；ＹＥＳ）、ＭＩＤＩコンバータ３０１から入力されたＭＩＤＩデータブロックをデータ記憶部３０６に出力し、演奏データとして記憶させる（Ｓ１０８）。
【００４６】
一方、ステップＳ１０５の判定において、模範演奏データのＭＩＤＩデータブロックと、ＭＩＤＩコンバータ３０１から入力されたＭＩＤＩデータブロックのデータの内容が一致しないと判定された場合は（Ｓ１０５；ＮＯ）、ＭＩＤＩコンバータ３０１から入力されたＭＩＤＩデータブロックをエラー情報作成部３０４に出力する。エラー情報作成部３０４は、ＭＩＤＩデータブロックの第３のデータバイトにエラーマークを割り当てる（Ｓ１０６）。
【００４７】
そして、エラー情報作成部３０４は、エラー信号を表示部３０５に出力する。表示部３０５は、エラー信号が入力されると、エラーメッセージを表示する（Ｓ１０６）。エラーメッセージは、例えば、液晶パネルやＬＥＤによって表示され、この表示によって、使用者は演奏の間違いをリアルタイムで指摘されることになる。
【００４８】
エラー情報作成部３０４は、エラーマークを割り当てたＭＩＤＩデータブロックをデータ記憶部３０６に出力し、データ記憶部３０６は、演奏データとしてＭＩＤＩデータブロックを記憶する（Ｓ１０８）。
ステップＳ１０８においてＭＩＤＩデータブロックが記憶されると、次に、演奏が終了したか否かが判定される（Ｓ１０９）。例えば、演奏終了スイッチが操作がされた場合や、一定時間以上入力がなかった場合は、演奏が終了したと判定する。
演奏が終了していないと判定された場合は（Ｓ１０９；ＮＯ）、ステップＳ１０３に戻り、次の演奏動作を検出して（Ｓ１０３）、ＭＩＤＩデータブロックを作成する（Ｓ１０４）。
【００４９】
一方、演奏が終了したと判定した場合は（Ｓ１０９；ＹＥＳ）、譜面作成部３０７は、データ記憶部３０６に記憶された演奏データを読み出し、演奏データに基づいて譜面を作成して出力する（Ｓ１１０）。使用者は、出力された譜面によって、自分がどのように演奏したか把握することができる。なお、ノートナンバーや演奏時間から音符を作成する技術は、例えば特開昭５７−５４９９２号公報などに開示されているように公知であるので説明は省略する。
各音符には、それぞれに指ナンバーを付すものとし、模範演奏データと一致していなかった箇所については、例えば白黒反転表示や強調表示などで間違いを指摘する。図１１は、出力する譜面の例である。図示した例では、演奏者が間違えた箇所は、白抜き文字で指ナンバーを示している。このような表示によって間違いを指摘する。
【００５０】
このように、使用者がキーボード２００の演奏を行うと、指導装置３００が演奏データを作成し、演奏データの作成過程において、模範演奏データと比較することによって使用者の演奏動作の間違いを検出した場合には、エラー情報を作成して演奏データに含めるとともに、表示して演奏者に通知するので、使用者は、演奏しながらリアルタイムに自分の間違いを認識することができる。
また、作成された演奏データと模範演奏データとの一致・不一致を指使いまで含めて譜面の形態で出力できるので、どの箇所に演奏動作の間違いがあったのかを、演奏後に容易に認識することができる。
【００５１】
３．変形例
なお、本発明は既述した実施形態に限定されるものではなく、以下のような各種の変形が可能である。
【００５２】
上記実施形態は、模範演奏データと比較して演奏者の演奏動作の間違いを指摘するようにしているが、比較を行わないモードがあってもよい。このようなモードは、模範演奏データを作成したり、単に運指情報を含む譜面を自動的に作成するモードとして用いる。
【００５３】
また、上記実施形態では、演奏データはＭＩＤＩ規格を用いて作成しているが、これに限らず、音楽情報をデジタル信号によって扱うことができる規格であればどのようなものでもよく、独自の規格のデータであってもよい。
演奏動作の間違いを示すエラーコードは、指ナンバーを特定するエクスクルーシブメッセージのデータバイトに割り当てているが、エラーを示す独立のメッセージを用いてもよい。
【００５４】
また、上記実施形態では、時間情報には、小節毎のステップタイムを用いているが、曲の開始からのステップタイムを用いてもよい。また、前の演奏動作からの時間間隔を記録する相対時間を用いてもよい。
演奏データ作成のときは、模範演奏データの時間情報にあわせて作成するようにしているが、演奏データは独立して時間情報を設定できるようにしてもよい。この場合は、比較する際に、読み込んだ模範演奏データの時間情報の設定を演奏データ用の設定に調整できるようにすればよい。例えば、模範演奏データの分解能の設定が演奏データの設定の２倍であれば、データを比較する際は、演奏データに付したステップタイムの２倍のステップタイムの模範演奏データを比較すればいよい。
【００５５】
また、実施形態のように、運指の間違いに限らず、長さ、強さ等の他の演奏動作の要素も判定してよい。これら他の要素もＭＩＤＩメッセージから判定することができる。このように様々な要素を判定すれば、さらにきめ細かい指導が可能となる。
さらに、演奏データに含まれたエラーマークを用いて、演奏結果を採点できるようにしてもよい。例えば、全ステップタイム数に対するエラーマークが含まれている割合や、エラーマークの連続回数などを算出することによって求める。採点結果が出力されることによって、使用者は数量的に演奏の上達度を判断することができる。
また、演奏データを基に演奏終了後に自動演奏をするようにしてもよい。使用者は、自分の演奏がリプレイされることによって、視覚、聴覚の両方で間違いを認識することができる。
【００５６】
演奏データは、指導装置３００内で用いられるだけでなく、例えばネットワーク通信や可搬型の記録媒体を介して他のコンピュータ等との間で入出力できるようにしてもよい。このように演奏データを交換できるようにすれば、遠隔地にいる人に対しても演奏指導を行うことができる。
また、上記実施形態では、使用者の間違いを表示で指摘するだけであるが、例えば特開平７−３３４０７３号公報に記載されているように、各鍵の近傍にＬＥＤを設けて、模範演奏の運指情報を表示できるようにしてもよい。
【００５７】
また、上記実施形態では、指導装置３００の動作を制御するためのプログラムはＲＯＭ２に記憶されているものとしたが、これに限らず、ＣＤ−ＲＯＭやフロッピーディスク、光磁気ディスク等の可搬型の記録媒体（図１では外部ディスク１０）に記録されたデータをハードディスク４等の記憶装置に転送できるように構成してもよい。このようにすれば、制御プログラム等の追加（インストール）や更新（バージョンアップ）の際に便利である。また、可搬型の記録媒体から直接ＲＡＭ３へデータを転送するようにしてもよい。
さらに、可搬型の記録媒体経由ではなく、通信インターフェイス経由で、ハードディスク４等の記録装置上の制御プログラム等を通信ネットワーク側からダウンロードするようにしてもよい。
【００５８】
また、本発明にかかる鍵盤楽器の演奏指導装置を、上記制御プログラムをインストールした市販のパーソナルコンピュータ等によって実現してもよい。この場合は、パーソナルコンピュータ等はＭＩＤＩインターフェイスを実装したものを用い、グローブ１００Ｌ、１００Ｒはパーソナルコンピュータの入出力規格に応じたものを用いればよい。もちろん、この場合にも、上記制御情報や制御プログラム等のデータの配布方法としては、ＲＯＭ等の不揮発性メモリに予め格納しておく方法、可搬型の記録媒体に格納して配布する方法、および通信インターフェイス経由で配布する方法等が考えられる。
【００５９】
また、上記実施形態では、ＭＩＤＩメッセージとグローブ１００Ｌ、１００Ｒの出力信号から一定のアルゴリズムに従って、操作した指と操作された鍵との対応をつけているが、予めノートナンバーと指ナンバーを一致させるパターンをデータベース化して記憶しておいてもよい。データベースには、一つの指で複数の鍵を押す場合のパターンや、グリッサンド奏法のように、指を滑らしながら速く音階を変化させた場合のパターンなどを記憶してもよい。さらに、使用回数が増加する度に比較などの判断精度が上がるように学習機能（例えば、ニューラルネットやファジー理論を利用）を持たせてもよい。
また、鍵と指との対応付けにおいて、明らかに押されるはずのない組み合わせを記憶しておき、その組み合わせは除外するようにしてもよい。例えば、使用者から向かって一番左に位置する最低音の鍵を、右手で押すことはないというように記憶しておく。この組み合わせが検出された場合には、誤動作として判定するようにしてもよい。
【００６０】
上記実施形態では、同時に片手で押される鍵の範囲は１オクターブ以内として判断しているが、手の大きさには個人差があるので、指を広げたときに指が届く鍵の範囲が異なる。そこで、予め使用者の指が届く鍵の範囲を調べて、ある範囲の鍵が同時に押される可能性を数値化したものを記憶できるようにしてもよい。この数値に基づいて、重み付けをした判定を行うようにすれば、使用者に応じてきめ細かい指導が可能となる。
【００６１】
また、運指の割り当ての際に、頻度テーブルを用いているが、頻度テーブルを演奏データとして保存するようにしてもよい。そして、模範演奏データに保存された頻度テーブルと比較することによって、演奏の開始間もないときでも精度よく左右交差を判定することができる。
【００６２】
上記実施形態では、鍵盤楽器について説明したが、鍵盤楽器に限ることなく、ギターなどの弦楽器、サックスなどの管楽器においても、同様に実施可能である。また、ＭＩＤＩギターのように、演奏出力をＭＩＤＩ情報形式で出力可能な場合には、演奏操作部の被操作状態の検出は、出力されるＭＩＤＩデータをそのまま利用することができる。
【００６３】
【発明の効果】
以上説明したように、本発明によれば、運指を含めた演奏動作を自動的に検出して演奏データを作成し、運指を含めた演奏動作を出力することができる（請求項１、５）。
また、作成された演奏動作データと模範演奏動作データとを比較することによって、演奏動作の間違い情報を表示することができる（請求項２、６）。
また、運指を含めた演奏動作や、間違い情報を譜面で出力することができるので、容易に演奏動作を確認できるようになる（請求項３）。
また、間違い情報を逐次出力するので、その都度演奏動作の間違いを確認することができる（請求項４）。
さらに、鍵盤楽器の演奏指導プログラムを記録媒体に記録することによって、汎用のコンピュータを用いて実現可能となる（請求項７、８）。
このように、本発明によれば、演奏動作を自動的に検出して、運指を含めた演奏動作の効果的な指導をすることが可能となる。
【図面の簡単な説明】
【図１】実施形態の全体構成を示す図である。
【図２】実施形態で用いるデータ構成を示す図である。
【図３】演奏される譜面の例を示した図である。
【図４】演奏データの構成例を示した図である。
【図５】指導装置３００の構成を示した図である。
【図６】実施形態の動作の概略を示すフローチャートである。
【図７】ＭＩＤＩデータブロック作成動作を示すフローチャートである。
【図８】クオンタイズを説明する図である。
【図９】指と鍵とを対応付ける動作を示すフローチャートである。
【図１０】頻度テーブルの例を示した図である。
【図１１】出力する譜面の例を示した図である。
【符号の説明】
１……ＣＰＵ、２……ＲＯＭ、３……ＲＡＭ、４……ハードディスク、５……外部ディスクインターフェイス、６……ＭＩＤＩインターフェイス、７……グローブインターフェイス、８……表示部インターフェイス、９……プリンタインターフェイス、１０…外部ディスク媒体、１００Ｌ、１００Ｒ……グローブ（指状態検出手段）、２００……キーボード、３００……指導装置、４００……記録媒体、３０１……ＭＩＤＩコンバータ（操作部状態検出手段、演奏動作特定手段、演奏動作データ作成手段）、３０２……模範演奏記憶部（模範演奏動作データ記憶手段）、
３０３……データ比較部（演奏動作比較手段）、３０４……エラー情報作成部（比較データ作成手段、演奏動作出力手段）、３０６……データ記憶部、３０５……表示部、３０７……譜面作成部（表示手段）[0001]
BACKGROUND OF THE INVENTION
The present invention is a musical instrument performance operation detection device, a musical instrument performance operation guidance device, a musical instrument performance motion detection method, a musical instrument performance motion guidance method, a musical instrument, which is suitable for performing performance performance guidance including fingering of a keyboard instrument. The present invention relates to a recording medium in which a performance motion detection program and a musical instrument performance motion instruction program are recorded.
[0002]
[Prior art]
Conventionally, various techniques for performing musical instrument performance guidance have been proposed. For example, Japanese Patent Laid-Open No. 7-334073 proposes means for instructing the position and movement of a finger to be depressed by LED display as a technique for instructing the user to perform fingering when performing. Yes.
[0003]
[Problems to be solved by the invention]
However, in the invention described in Japanese Patent Application Laid-Open No. 7-334073, only the fingering information that serves as an example is displayed, so that the user can determine whether or not he / she has performed according to the example. Was difficult.
Such a problem can be solved by recording a performance action and confirming the performance action after the performance. For example, Japanese Patent Application Laid-Open No. 57-54992 describes an apparatus for automatically creating a musical score by playing a musical instrument. By using this technique, the user can confirm whether or not he / she has pressed the correct key after the performance by comparing the created score with the model score.
[0004]
However, since the score is created after the performance is completed, the mistake cannot be judged in real time, and the created score must be compared with the model score to recognize the mistake. Has the problem that it takes a lot of work. Further, since the information displayed on the musical score is only the music information such as the pitch and the tone length, it cannot be determined whether or not the performance can be performed according to the instructed fingering.
As described above, the conventional technique is insufficient for instructing the performance operation.
[0005]
The present invention has been made to solve the above-described problems, and is capable of automatically detecting a performance action and instructing a performance action including fingering, a musical instrument performance action detection apparatus, and a musical instrument performance. It is an object of the present invention to provide an operation instruction apparatus, an instrument performance operation detection method, an instrument performance operation instruction method, an instrument performance operation detection program, and a recording medium on which an instrument performance operation instruction program is recorded.
[0006]
[Means for Solving the Problems]
In order to solve the above-described problem, the invention according to claim 1 is operation element identification information transmitted from a musical instrument having a plurality of operation elements, and indicates operation element identification information indicating the operated operation element. Receiving means, and finger identifying means arranged on each finger of a user who plays the musical instrument, and outputting finger identification information indicating a finger that operated the operation element based on the state of each finger; Means for generating performance data in association with the operator identification information received by the reception means and the finger identification information output from the finger identification means for each unit time, and outputting the performance data; When a plurality of the operating elements are operated by a plurality of fingers within a unit time, the operating elements Line of And the finger Line of And a musical performance data output means for associating the operator identification information with the finger identification information based on the above.
[0008]
Further, according to a second aspect of the present invention, in the musical instrument performance detection device according to the first aspect, whether the left and right hands intersect when the plurality of fingers are composed of fingers belonging to the left hand and fingers belonging to the right hand. A plurality of fingers in a state in which the left and right hands are crossed when the determination means determines that the left and right hands have crossed. Line of And a cross-associating means for associating the operation element identification information with the finger identification information.
According to a third aspect of the present invention, in the musical instrument performance motion detection device according to the second aspect, the determination means determines the result of past association by the performance data output means and the group of fingers belonging to the left hand and the right hand. When the distance between the operation element operated within a unit time in any group and the operation element operated within the previous unit time exceeds a threshold, It is determined that the hands have crossed.
According to a fourth aspect of the present invention, in the musical instrument performance motion detection device according to the second aspect, the determination means determines the result of past association by the performance data output means and the group of fingers belonging to the left hand and the right hand. And when the distance between the plurality of operators operated within a unit time in any group exceeds a threshold, it is determined that the left and right hands intersect each other. To do.
According to a fifth aspect of the present invention, there is provided data representing a high possibility that a plurality of the operating elements separated by a specific distance are operated within a unit time. It has the possibility storage means memorize | stored for every said user, The said determination means performs the determination weighted based on the memory | storage content of the said possibility storage means, It is characterized by the above-mentioned.
Further, the invention according to claim 6 has a combination storage means for preliminarily storing a specific combination of the operator identification information and the finger identification information in the musical instrument performance motion detection device according to claim 1, The performance data output means associates the operator identification information with the finger identification information based on the stored contents of the combination storage means.
[0009]
Further, the invention according to claim 7 is receiving means for receiving operating element identification information indicating the operated operating element, which is operating element identifying information transmitted from a musical instrument having a plurality of operating elements, Finger identification means that is arranged on each finger of a user who plays the musical instrument and that outputs finger identification information indicating the finger that operated the operation element based on the state of each finger, and received by the reception means A means for generating performance data that associates the operator identification information with the finger identification information output from the finger identification means for each unit time, and outputs the performance data, wherein a plurality of the performance data is output within the unit time. When a plurality of the controls are operated with a finger, the controls Line of And the finger Line of Performance data output means for associating the operator identification information with the finger identification information based on the above, exemplary performance data storage means for storing exemplary performance data indicating an exemplary performance action, the exemplary performance data and the performance Performance performance comparison means for comparing data, comparison data creation means for creating comparison data indicating a comparison result of the performance movement comparison means, and performance performance guidance information based on the performance data and the comparison data are displayed. An instrument performance instruction device is provided, comprising a display means.
The invention according to claim 8 is the musical instrument performance operation instruction device according to claim 7, wherein the display means creates and displays a musical score indicating performance performance including fingering. .
The invention according to claim 9 is the musical instrument performance operation instruction device according to claim 7, wherein the display means sequentially displays the comparison results of the comparison means.
[0010]
According to a tenth aspect of the present invention, the receiving means receives operation element identification information indicating the operated operation element, which is operation element identification information transmitted from a musical instrument having a plurality of operation elements. A receiving step and a finger identifying step in which finger identifying means arranged on each finger of the user who plays the musical instrument outputs finger identifying information indicating the finger that has operated the operator based on the state of each finger And performance data output means generates performance data that associates the operator identification information received in the reception step with the finger identification information output in the finger identification step for each unit time. A step of outputting the operation element when the plurality of operation elements are operated by the plurality of fingers within the unit time. Line of And the finger Line of And a performance data output step for associating the operator identification information with the finger identification information based on the above.
[0011]
In the invention according to claim 11, the receiving means receives operation element identification information indicating the operated operation element, which is operation element identification information transmitted from a musical instrument having a plurality of operation elements. A receiving step and a finger identifying step in which finger identifying means arranged on each finger of the user who plays the musical instrument outputs finger identifying information indicating the finger that has operated the operator based on the state of each finger And performance data output means generates performance data that associates the operator identification information received in the reception step with the finger identification information output in the finger identification step for each unit time. A step of outputting the operation element when the plurality of operation elements are operated by the plurality of fingers within the unit time. Line of And the finger Line of A performance data output step for associating the operator identification information with the finger identification information based on the performance data, and performance performance comparison means for comparing the performance data with the performance data indicating the performance performance of the performance performance comparison means A comparison data creation step in which the comparison data creation means creates comparison data indicating a comparison result in the performance action comparison step; and a display means provides performance action guidance information based on the performance data and the comparison data. And a display step for displaying the musical instrument performance.
[0012]
According to a twelfth aspect of the present invention, the computer receives operation element identification information transmitted from a musical instrument having a plurality of operation elements, the operation element identification information indicating the operated operation element. A finger identifying means disposed on each finger of a user who plays the musical instrument, and outputting finger identification information indicating a finger that operated the operation element based on a state of each finger; and the receiving means A means for generating performance data that associates the received operator identification information with the finger identification information output from the finger identification means for each unit time, and outputs the performance data. When a plurality of the operating elements are operated by a plurality of the fingers, the operating elements Line of And the finger Line of And a computer-readable recording medium storing a program for causing the operator identification information and the finger identification information to function as performance data output means for associating with each other.
[0013]
According to a thirteenth aspect of the present invention, the computer receives operation element identification information transmitted from a musical instrument having a plurality of operation elements, the operation element identification information indicating the operated operation element. A finger identifying means disposed on each finger of a user who plays the musical instrument, and outputting finger identification information indicating a finger that operated the operation element based on a state of each finger; and the receiving means A means for generating performance data that associates the received operator identification information with the finger identification information output from the finger identification means for each unit time, and outputs the performance data. When a plurality of the operating elements are operated by a plurality of the fingers, the operating elements Line of And the finger Line of Performance data output means for associating the operator identification information with the finger identification information based on the above, exemplary performance data storage means for storing exemplary performance data indicating an exemplary performance action, the exemplary performance data and the performance Performance performance comparison means for comparing data, comparison data creation means for creating comparison data indicating a comparison result of the performance movement comparison means, and performance performance guidance information based on the performance data and the comparison data are displayed. Provided is a computer-readable recording medium in which a program for functioning as display means is recorded.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings, taking a keyboard musical instrument as an example.
[0015]
1. Configuration of the embodiment
1-1. overall structure
FIG. 1 is a diagram illustrating the overall configuration of the embodiment. The present embodiment is configured such that the guidance device 300 according to the present invention provides guidance for performance operations when a user wearing the gloves 100L and 100R plays the keyboard 200. That is, the user plays the keyboard 200 with the glove 100L on the left hand and the glove 100R on the right hand. The guidance device 300 performs guidance of performance operations by identifying the keys pressed from the gloves 100L and 100R and the keyboard 200 and the finger pressing the keys, and comparing the same with a model performance.
Here, the “performance operation” refers to an operation including fingering for the user to operate the keyboard instrument, such as pressing and releasing a key. The performance action is specified by associating the finger operated with the keyboard instrument with the key operated with the finger.
[0016]
The gloves 100L and 100R are provided with piezoelectric sensors for detecting pressure at the tip of each finger, and an on signal is output from the piezoelectric sensor when the player presses a key. The output line from each piezoelectric sensor is input to the guidance device 300, and the guidance device 300 detects for each finger whether or not the key is pressed by the output signal from the piezoelectric sensor. Can do.
In addition to the configuration in which the glove 100L, 100R has the piezoelectric sensor disposed in the glove as described above, a finger sack having a piezoelectric sensor may be attached to each finger.
[0017]
The keyboard 200 is an electronic musical instrument that conforms to the MIDI (Musical Instrument Digital Interface) standard, and includes a keyboard having 88 keys (partially omitted in the figure). When the user performs a performance, the keyboard 200 detects a performance operation using, for example, a key sensor, and outputs a signal (MIDI message) indicating the performance operation. In a keyboard instrument, the pitches that are pronounced with the keys correspond one-to-one, so that the operated key is specified using a note number indicating the pitch in the MIDI standard. The guidance device 300 can detect the state of the operated key for each key from the MIDI message, and can identify which key has been operated from the note number.
In the following description, note numbers are also used when the keys of the keyboard 200 are specified and described. For example, the key corresponding to C3 has a note number of 60 to be pronounced, and is therefore denoted as key 60.
[0018]
The guidance device 300 functions by the CPU 1 controlling each unit connected via a bus according to a program stored in the ROM 2. On the bus, there are a RAM 3 in which a work area when the CPU 1 operates, a hard disk (HDD) 4 which is a large-capacity magnetic disk storage device, and other data and programs recorded on an external disk medium 10 such as a floppy disk. In addition to the external disk interface 5 for reading, interfaces with external devices such as a MIDI interface 6, a globe interface 7, a display unit interface 8, and a printer interface 9 are connected.
[0019]
1-2. Data structure
Here, a data configuration used in the present embodiment will be described. First, in the present embodiment, data (MIDI message) according to the MIDI standard is used as performance operation data indicating individual performance operations.
As shown in FIG. 2, the MIDI message is composed of a status byte indicating the type of message and a data byte defined for each message. In the present embodiment, description will be made mainly using a note-on message and an exclusive message.
[0020]
The note-on message is a message indicating a key depression among performance actions, and data indicating note-on is assigned to the status byte (see FIG. 2A). Subsequent data bytes are assigned a note number indicating the pressed key and a velocity indicating the strength of pressing the key. For example, when the key 60 of the keyboard 200 is pressed, a note-on message with a note number of 60 is created and output from the keyboard 200. The note-off message is a message indicating a key release operation and is output as a pair with the note-on message. The operation from the key press to the key release is shown from the output of the note-on message to the output of the note-off message.
[0021]
The exclusive message is a message that is not defined in the data byte in the MIDI standard, but in the present embodiment, it is used as a message indicating a finger (fingering) that has pressed a key in the performance operation (see FIG. 2B). ).
That is, a data byte for assigning two types of data indicating a pressed key and a pressed finger is defined.
First, a note number indicating the pressed key is assigned to the first data byte. A finger number indicating the pressed finger is assigned to the second data byte. For example, the right thumb is 1R, the index finger is 2R, the middle finger 3R, the ring finger 4R, and the little finger 5R, the left thumb is 1L, the index finger is 2L, the middle finger 3L, the ring finger 4L, and the little finger 5L.
As will be described later, the exclusive message indicating fingering is based on the correlation between the ON state of the output signals of the piezoelectric sensors arranged on the fingers of the gloves 100L and 100R and the note-on message output from the keyboard 200. It is created by the guidance device 300. For example, when the key 60 is pressed with the thumb (1R) of the right hand, an exclusive message in which 60 is assigned to the first data byte and 2R is assigned to the second data byte is created.
[0022]
The exclusive message is also used as data indicating whether or not the player's fingering matches the exemplary fingering. That is, when the fingering indicated by the above first and second data bytes does not match the exemplary fingering, an error mark is assigned to the third data byte (FIG. 2 (c)). reference). However, no error mark is assigned if it matches the exemplary fingering.
[0023]
Further, data obtained by adding time information to be described later to each MIDI message is referred to as “MIDI data block” (see FIG. 2D).
Data indicating the performance operation through one song is referred to as “performance data”. In this case, the performance data is composed of a plurality of MIDI data blocks and is structured according to a certain format.
The “exemplary performance data” is performance data indicating an exemplary performance operation, and is composed of a plurality of exemplary performance operation data (MIDI blocks).
[0024]
As shown in FIG. 2D, the MIDI data block is attached with time information for each MIDI message. The time information includes start time information of each performance operation and duration information of the performance operation.
In the present embodiment, the start time information is indicated by a bar number and a step time within the bar. The step time is a unit time determined by the number of quarter note clocks (resolution) as one step, and the elapsed time with respect to the bar line is represented by the number of steps. In this embodiment, in order to simplify the description, the resolution is 2, and one step corresponds to the length of one eighth note. The measure number is determined from the number of beats set when creating the performance data. For example, in the case of 4/4 time, a bar line is inserted every 8 steps.
Further, the duration information of the performance operation is also indicated by the number of steps. Note that the duration information of the performance operation is mainly used to determine the type of note. For example, if the performance operation time is 1 step, it corresponds to an eighth note, and if it is 2 steps, it corresponds to a quarter note.
[0025]
FIG. 3 (a) is a diagram showing an exemplary performance on a musical score, and FIG. 4 (a) shows exemplary performance data corresponding to the performance of FIG. 3 (a). FIG. 3B is a diagram showing the performance of the user on a musical score. FIG. 4B shows performance data created when the performance is performed as shown in the musical score.
4 (a) and 4 (b), only data indicating finger usage (exclusive messages) is displayed, and data indicating other performance actions (note-on messages and the like) are omitted. As the time information, only the start time information is displayed, and the duration information is omitted.
[0026]
Here, from the top data in FIG. 4B, the user presses the key 60 with the right thumb (1R) for the first note (first measure first step time) of the musical score shown in FIG. I understand that.
On the other hand, referring to FIG. 4A, the first measure first step time of the model performance data is also the note number 60 and the finger number 1R. As described above, when the note number and the finger number coincide with each other at the same step and the same step time, the user can perform according to the model.
However, in the 8th step time of the first measure, in the performance data, the note number is 65 and the finger number is 2R, but in the performance data, the note number is 67 and the finger number is 3R. If the performance data and the model performance data do not match in this way, an error mark is automatically assigned to the third data byte of the exclusive message for specifying the finger number. By this error mark, it is possible to identify that the user has made a mistake in the performance operation.
[0027]
1-3. Configuration of guidance device 300
Next, the configuration of the guidance device 300 will be described with reference to FIG. In FIG. 5, the functions of the guidance device 300 are shown as blocks, but each function is realized by the operation of the CPU 1. However, the model performance storage unit 302 is set in a predetermined area in the RAM 3. Model performance data is transferred to the model performance storage unit 302 from a recording medium 400 such as a CD (compact disc). Hereinafter, each function of the guidance device 300 will be described.
[0028]
First, the MIDI converter 301 creates a MIDI message and a MIDI data block based on signals input from the globes 100L and 100R and the keyboard 200.
The data comparison unit 303 compares data input from the MIDI converter 301 and the model performance storage unit 302, and the error information creation unit 304 creates error information based on the comparison result.
The display unit 305 displays that the user's performance is incorrect based on the error information.
The data storage unit 306 stores performance data, and the score creation unit 307 creates a score that displays error information (error mark) based on the performance data stored in the data storage unit 306. Print out.
[0029]
2. Operation of the embodiment
Next, the operation of the embodiment having the above configuration will be described with reference to the flowchart shown in FIG.
First, before the user starts playing, model performance data is read from the recording medium 400 to the model performance storage unit 302 (S101). Then, based on the beat number, resolution, etc. of the read model performance data, the beat number, resolution, etc. of the performance data to be created are set. Based on the data set here, time information is given to the signal detected by the user performing. The reason for reading these pieces of information from the model performance data is to adjust the time standard when comparing the model performance data and the performance data.
[0030]
Next, when the initial setting in step S101 is completed, the player is ready to play, and the user starts playing (S102). When starting the performance, the start of recording the performance is instructed by operating a recording switch (not shown).
When the performance is started, the MIDI converter 301 reads the signals output from the globes 100L and 100R and the keyboard 200, detects the performance action, creates a MIDI data block based on the detected information, and compares the data. The data is output to the unit 303 (S103).
[0031]
Here, the MIDI data block creation operation of the MIDI converter 301 will be described. Here, the creation of an exclusive message indicating fingering information will be described, and the MIDI data block created from other MIDI messages is the same as the real-time input function of a well-known sequencer, and the description thereof will be omitted.
[0032]
FIG. 7 is a flowchart showing a MIDI data block creation operation.
First, quantization is performed on the ON signal input from the globes 100L and 100R and the MIDI message signal input from the keyboard 200 (S201). Quantize is to quantize an input signal to a minimum unit time, and in this embodiment, the minimum unit time is set to one step time. That is, as shown in FIG. 8, even when signals that are actually pressed simultaneously and indicate a simultaneous performance operation are input at a shifted timing (see (1) in FIG. 8), they are input at the same step time. (See (2) in FIG. 8).
[0033]
Note that the operation time of one performance operation is determined by the time from when the note-on message is input to when the note-off message is input. For example, if the right thumb (1R) has pressed the key 60 for two step times, the note-on message and the on signal from the globe 100R are received at the first step time as shown in FIG. When a note-off message is input at the third step time, one performance operation is handled as being performed for two step times (one quarter note).
However, the on signal of the globe 100R detected at the second step time is determined as an input signal accompanying the continuation of the performance operation at the first step time.
[0034]
Next, it is determined whether there are a plurality of data at the same step time (S202). If it is determined that there is not a plurality of data (S202; NO), there is only one combination of finger number and note number, so an exclusive message is created with that combination, and the MIDI data block is attached with time information. Create (S204).
[0035]
If there are a plurality of note numbers and finger numbers at the same step time (S202; YES), an exclusive message must be created by matching the pressed key with the pressed finger. Therefore, the MIDI converter 301 assigns the pressed key and the pressed finger in accordance with the program stored in the ROM 2 (S203). Then, a matched exclusive is created, and time data is added to create a MIDI data block (S204).
[0036]
Here, with reference to the flowchart shown in FIG. 9, the operation in the case of associating the pressed key with the pressed finger will be described.
First, it is determined whether all ON signals detected from the globe 100L or 100R are output signals from the same globe (S301).
If it is determined that all output signals are from the same glove (S301; YES), it is next determined whether or not those hands are output signals from the right hand, that is, the glove 100R (S302). If it is determined to be the right hand (S302; YES), since the keyboard is arranged in order from the left toward the user in order of increasing pitches, the keys having the smallest finger numbers are assigned in ascending order of the note numbers. .
On the other hand, when it is determined that the hand is left (S302; NO), the one with the largest finger number is assigned in ascending order of the note number.
[0037]
If it is determined in step S301 that a key is pressed with both hands at the same time and an on signal is detected from either of the gloves 100L and 100R (S301; NO), first, the left and right hands do not intersect Make the assignment as That is, in order from the smallest note number, the left finger glove 100L is assigned in ascending order of the finger numbers in the on state (S305), and the left finger glove 100R in the on state in the ascending order of the remaining note numbers. Assign in order (S306).
[0038]
Next, it is determined whether or not the left and right hands intersect (S307). This is because the left and right hands may cross and perform.
Here, a method for determining whether or not the left and right hands cross each other will be described. Prior to the determination in this step (S307), the assignment is performed on the assumption that the left and right hands do not intersect. If this assignment is unnatural, it is considered that the left and right hands intersect.
[0039]
When a human determines whether or not to cross the left and right hands when performing, the determination is mainly based on the flow of music. Therefore, in this embodiment, a table indicating the frequency of the note number of the key pressed by the left and right hands is created in time series every time the assignment of the note number and the finger number is determined at each step time. When determining whether or not the left and right hands intersect, this frequency table is referred to.
FIG. 10 is an example of a frequency table. In the figure, (a) shows the frequency of the right hand and (b) shows the frequency up to the fourth step and sixth step time of the left hand. The table corresponds to one row for each note number, and each column is newly created every time assignment is confirmed. In FIG. 10, note numbers that are not used are omitted.
In the example shown in FIG. 10, data has been generated 29 times so far in the right hand (a), and data has been generated 15 times so far in the left hand (b). It has become.
[0040]
If the note numbers assigned in steps S305 and S306 are far apart from the distribution of the note numbers of keys pressed in the past, it is determined that the left and right hands intersect. A large gap is when the referenced note number is one octave or more away from the value of the note number just before the assigned hand table. In this case, the difference between the note numbers is 12 or more.
In general, the keys simultaneously pressed by one hand do not leave more than one octave. Therefore, it is determined that the left and right hands intersect even when a note number that is more than 12 is included in the combination of note numbers assigned to one hand.
[0041]
For example, 3 and 4 In the performance shown in FIG. 4, note-on messages of note numbers 67, 79, 83, and 88 are input from the keyboard 200 at the seventh step time of the fourth measure, and 5L, 2L, 1L, and 3R are input from the globes 100L and 100R. ON signal is input. First, in the assignments in S305 and S306, 5L is 67, 2L is 79, 1L is 83, and 3R is 88, but in the left hand frequency table (FIG. 11B), the key was pressed immediately before. The note number 48 and 67 assigned to 5L are determined to be unnatural because the difference between the note numbers is 19. Also, if 67, 69, 83 are assigned to the left hand, there is a difference of (maximum note number 83) − (minimum note number 67) = 16. The In such a case, it is determined that the left and right intersect.
[0042]
If it is determined that the left and right hands do not intersect (S307; NO), the assignment in steps S305 and S306 is confirmed.
However, if it is determined in step S307 that the left and right hands intersect (S307; YES), the assignment is performed again. In other words, the finger numbers assigned to the right hand glove 100R in the on-state are assigned in ascending order of the note numbers (S308), and the left-hand glove 100L is turned on in the ascending order of the remaining note numbers. Allocation is performed in descending order (S309).
[0043]
The description returns to the flowchart shown in FIG. As described above, the MIDI data block created in step S103 is input to the data comparison unit 303.
The data comparison unit 303 determines whether the status of the input MIDI data block is exclusive (S104). If it is determined that the status is not exclusive (S104; NO), the data comparison unit 303 stores the MIDI data block in the data storage unit 306. The data storage unit 306 stores the MIDI data block as performance data (S108).
[0044]
On the other hand, if it is determined to be exclusive (S104; YES), the MIDI data block corresponding to the same start time as the MIDI data block input from the MIDI converter 301 from the model performance data stored in the model performance storage unit 302 is used. Is read. Then, it is compared with the MIDI data block input from the MIDI converter 301, and it is determined whether or not the note number and the finger number match (S105).
[0045]
If it is determined in step S105 that the MIDI data block of the model performance data matches the data content of the MIDI data block input from the MIDI converter 301 (S105; YES), the data is input from the MIDI converter 301. The MIDI data block is output to the data storage unit 306 and stored as performance data (S108).
[0046]
On the other hand, if it is determined in step S105 that the MIDI data block of the model performance data and the data content of the MIDI data block input from the MIDI converter 301 do not match (S105; NO), the MIDI converter 301 The input MIDI data block is output to the error information creation unit 304. The error information creation unit 304 assigns an error mark to the third data byte of the MIDI data block (S106).
[0047]
Then, the error information creation unit 304 outputs an error signal to the display unit 305. When the error signal is input, the display unit 305 displays an error message (S106). The error message is displayed by, for example, a liquid crystal panel or an LED, and the display indicates a mistake in performance in real time by the user.
[0048]
The error information creation unit 304 outputs the MIDI data block to which the error mark is assigned to the data storage unit 306, and the data storage unit 306 stores the MIDI data block as performance data (S108).
When the MIDI data block is stored in step S108, it is next determined whether or not the performance is finished (S109). For example, when the performance end switch is operated or when there is no input for a certain period of time, it is determined that the performance has ended.
If it is determined that the performance has not ended (S109; NO), the process returns to step S103, the next performance operation is detected (S103), and a MIDI data block is created (S104).
[0049]
On the other hand, when it is determined that the performance has ended (S109; YES), the score creation unit 307 reads the performance data stored in the data storage unit 306, creates a score based on the performance data, and outputs it (S110). ). The user can grasp how he / she performed by the outputted musical score. Note that a technique for creating a note from a note number or performance time is well known as disclosed in, for example, Japanese Patent Application Laid-Open No. 57-54992, and the description thereof is omitted.
A finger number is assigned to each note, and an error is pointed out, for example, in black and white reversed display or highlighted display for a portion that does not match the model performance data. FIG. 11 is an example of a musical score to be output. In the example shown in the figure, a finger number is indicated by a white character in a place where the player makes a mistake. Such a display indicates a mistake.
[0050]
As described above, when the user performs the performance of the keyboard 200, the guidance device 300 creates performance data, and in the process of creating the performance data, an error in the performance operation of the user is detected by comparing with the model performance data. In this case, error information is created and included in the performance data, and is displayed and notified to the performer, so that the user can recognize his / her mistake in real time while performing.
In addition, it is possible to output in the form of a musical score, including finger usage, whether the created performance data matches the model performance data, so it is easy to recognize where the performance error occurred after the performance. Can do.
[0051]
3. Modified example
The present invention is not limited to the above-described embodiments, and various modifications as described below are possible.
[0052]
In the embodiment described above, an error in the performance performance of the performer is pointed out as compared with the model performance data, but there may be a mode in which no comparison is performed. Such a mode is used as a mode for creating model performance data or simply automatically creating a musical score including fingering information.
[0053]
In the above embodiment, the performance data is created using the MIDI standard. However, the present invention is not limited to this, and any standard can be used as long as music information can be handled by a digital signal. It may be the data.
An error code indicating an error in performance performance is assigned to a data byte of an exclusive message that specifies a finger number, but an independent message indicating an error may be used.
[0054]
Moreover, in the said embodiment, although the step time for every measure is used for time information, the step time from the start of a music may be used. Alternatively, a relative time for recording a time interval from the previous performance operation may be used.
When the performance data is created, it is created in accordance with the time information of the model performance data. However, the performance data may be set independently. In this case, it is sufficient that the time information setting of the read model performance data can be adjusted to the setting for performance data at the time of comparison. For example, if the resolution setting of the model performance data is twice the setting of the performance data, when comparing the data, the model performance data having a step time twice the step time attached to the performance data may be compared. .
[0055]
Further, as in the embodiment, not only a fingering error but also other performance elements such as length and strength may be determined. These other elements can also be determined from the MIDI message. If various elements are determined in this way, more detailed guidance is possible.
Furthermore, the performance result may be scored using an error mark included in the performance data. For example, it is obtained by calculating the ratio of error marks included in the total number of step times, the number of consecutive error marks, and the like. By outputting the scoring result, the user can judge the progress of the performance quantitatively.
Further, an automatic performance may be performed after the performance is completed based on the performance data. The user can recognize a mistake both visually and audibly by replaying his / her performance.
[0056]
The performance data is not only used in the guidance device 300, but may be input / output with another computer or the like via, for example, network communication or a portable recording medium. If performance data can be exchanged in this way, performance guidance can be given to a person at a remote location.
In the above embodiment, the user's mistake is only pointed out on the display. For example, as described in Japanese Patent Laid-Open No. 7-334073, an LED is provided in the vicinity of each key so that the model performance can be performed. You may enable it to display fingering information.
[0057]
In the above embodiment, the program for controlling the operation of the guidance device 300 is stored in the ROM 2. However, the present invention is not limited to this, and a portable type such as a CD-ROM, a floppy disk, or a magneto-optical disk is used. You may comprise so that the data recorded on the recording medium (in FIG. 1 external disk 10) can be transferred to memory | storage devices, such as the hard disk 4. FIG. This is convenient when adding (installing) or updating (version upgrading) a control program or the like. Further, data may be directly transferred from the portable recording medium to the RAM 3.
Furthermore, the control program on the recording device such as the hard disk 4 may be downloaded from the communication network side not via a portable recording medium but via a communication interface.
[0058]
Further, the keyboard musical instrument performance instruction device according to the present invention may be realized by a commercially available personal computer or the like in which the control program is installed. In this case, a personal computer or the like equipped with a MIDI interface may be used, and the gloves 100L and 100R may be those according to the input / output standards of the personal computer. Of course, also in this case, as a method of distributing the data such as the control information and the control program, a method of storing in advance in a non-volatile memory such as a ROM, a method of storing and distributing in a portable recording medium, and A method of distributing via a communication interface is conceivable.
[0059]
In the above embodiment, the correspondence between the operated finger and the operated key is set according to a certain algorithm from the MIDI message and the output signals of the globes 100L and 100R. May be stored in a database. The database may store a pattern in which a plurality of keys are pressed with one finger, a pattern in which a scale is changed quickly while sliding a finger, such as a glissando performance. Furthermore, a learning function (for example, using a neural network or fuzzy theory) may be provided so that the accuracy of judgment such as comparison increases each time the number of uses increases.
Further, in the association between the key and the finger, combinations that should not be pressed clearly are stored, and the combinations may be excluded. For example, the lowest key that is located on the leftmost side from the user is stored such that it is not pressed with the right hand. When this combination is detected, it may be determined as a malfunction.
[0060]
In the above embodiment, the range of keys simultaneously pressed with one hand is determined to be within one octave. However, since there are individual differences in the size of the hand, the range of keys that the fingers reach when the fingers are spread out is different. . Therefore, the range of keys that can be reached by the user's finger in advance may be examined so that a numerical value indicating the possibility that a certain range of keys may be pressed simultaneously may be stored. If the weighted determination is performed based on this numerical value, detailed guidance can be provided according to the user.
[0061]
Further, although the frequency table is used when assigning fingers, the frequency table may be stored as performance data. Then, by comparing with the frequency table stored in the model performance data, it is possible to accurately determine the right / left crossing even when the performance has just started.
[0062]
Although the keyboard instrument has been described in the above embodiment, the present invention is not limited to the keyboard instrument, and can be similarly applied to a stringed instrument such as a guitar and a wind instrument such as a saxophone. Further, when the performance output can be output in the MIDI information format as in the case of the MIDI guitar, the output MIDI data can be used as it is for detecting the operated state of the performance operation unit.
[0063]
【The invention's effect】
As described above, according to the present invention, performance data including fingering can be automatically detected, performance data can be created, and performance data including fingering can be output. 5).
Further, by comparing the created performance motion data with the model performance motion data, it is possible to display performance motion error information (claims 2 and 6).
Further, since the performance operation including fingering and the error information can be output on the musical score, the performance operation can be easily confirmed (claim 3).
In addition, since error information is sequentially output, it is possible to confirm an error in performance performance each time (claim 4).
Furthermore, by recording a performance instruction program for a keyboard instrument on a recording medium, it can be realized using a general-purpose computer (claims 7 and 8).
As described above, according to the present invention, it is possible to automatically detect a performance action and effectively instruct performance performance including fingering.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of an embodiment.
FIG. 2 is a diagram illustrating a data configuration used in the embodiment.
FIG. 3 is a diagram showing an example of a musical score to be played.
FIG. 4 is a diagram showing a configuration example of performance data.
FIG. 5 is a diagram showing a configuration of a guidance device 300;
FIG. 6 is a flowchart showing an outline of the operation of the embodiment.
FIG. 7 is a flowchart showing a MIDI data block creation operation;
FIG. 8 is a diagram for explaining quantization.
FIG. 9 is a flowchart showing an operation of associating a finger with a key.
FIG. 10 is a diagram showing an example of a frequency table.
FIG. 11 is a diagram showing an example of a musical score to be output.
[Explanation of symbols]
1 ... CPU, 2 ... ROM, 3 ... RAM, 4 ... hard disk, 5 ... external disk interface, 6 ... MIDI interface, 7 ... globe interface, 8 ... display interface, 9 ... printer Interface: 10 ... External disk medium, 100L, 100R ... Glove (finger state detection means), 200 ... Keyboard, 300 ... Guiding device, 400 ... Recording medium, 301 ... MIDI converter (Operation unit state detection means, Performance action specifying means, performance action data creating means), 302... Model performance storage section (model performance action data storage means),
303... Data comparison section (performance performance comparison means) 304. Error information creation section (comparison data creation means and performance action output means) 306... Data storage section 305... Display section 307. Part (display means)

Claims

Receiving means for receiving operating element identification information indicating the operated operating element, which is operating element identification information transmitted from a musical instrument having a plurality of operating elements;
Finger identification means arranged on each finger of a user who plays the musical instrument, and outputting finger identification information indicating a finger that operated the operation element based on the state of each finger;
Means for generating performance data in association with the operator identification information received by the reception means and the finger identification information output from the finger identification means for each unit time, and outputting the performance data; Performance data for associating the operator identification information with the finger identification information based on the arrangement of the operators and the arrangement of the fingers when the plurality of operators are operated by the plurality of fingers within a unit time An instrument performance detection device comprising: an output means.

A determining means for determining whether or not the left and right hands intersect when the plurality of fingers are composed of a finger belonging to the left hand and a finger belonging to the right hand;
When the determination unit determines that the left and right hands cross, the cross association that associates the operator identification information with the finger identification information based on the sequence of the plurality of fingers in a state where the left and right hands are crossed The musical instrument performance movement detection device according to claim 1, further comprising: means.

The determination means divides the past association result by the performance data output means into a finger group belonging to the left hand and a finger group belonging to the right hand, and the operation element operated within a unit time in any group 3. The musical instrument performance motion detection device according to claim 2, wherein the right and left hands are determined to cross each other when a distance between the controller and the operator operated within the immediately preceding unit time exceeds a threshold value.

The determination unit divides the past association result by the performance data output unit into a group of fingers belonging to the left hand and a group of fingers belonging to the right hand, and a plurality of the groups operated within a unit time in any group 3. The musical instrument performance motion detection device according to claim 2, wherein when the distance between the operating elements exceeds a threshold value, it is determined that the left and right hands cross each other.

A possibility storage means for storing, for each user, data representing a high possibility that a plurality of the operators separated by a specific distance are operated within a unit time;
The musical instrument performance motion detection device according to claim 4, wherein the determination unit performs a weighted determination based on the stored contents of the possibility storage unit.

A combination storage means for storing in advance a specific combination of the operator identification information and the finger identification information;
The musical instrument performance motion detection device according to claim 1, wherein the performance data output means associates the operator identification information with the finger identification information based on the stored contents of the combination storage means.

Receiving means for receiving operating element identification information indicating the operated operating element, which is operating element identification information transmitted from a musical instrument having a plurality of operating elements;
Finger identification means arranged on each finger of a user who plays the musical instrument, and outputting finger identification information indicating a finger that operated the operation element based on the state of each finger;
Means for generating performance data in association with the operator identification information received by the reception means and the finger identification information output from the finger identification means for each unit time, and outputting the performance data; Performance data for associating the operator identification information with the finger identification information based on the arrangement of the operators and the arrangement of the fingers when the plurality of operators are operated by the plurality of fingers within a unit time Output means;
Exemplary performance data storage means for storing exemplary performance data indicating exemplary performance actions;
Performance performance comparison means for comparing the model performance data and the performance data;
Comparison data creating means for creating comparison data indicating a comparison result of the performance movement comparing means;
A musical instrument performance operation instruction apparatus comprising: display means for displaying performance operation instruction information based on the performance data and the comparison data.

8. The musical instrument performance operation instruction device according to claim 7, wherein the display unit creates and displays a musical score indicating a performance operation including fingering.

The instrument performance instruction apparatus according to claim 7, wherein the display means sequentially displays a comparison result of the comparison means.

A receiving step for receiving operation element identification information indicating the operated operation element, which is operation element identification information transmitted from a musical instrument having a plurality of operation elements; and
Finger identifying means arranged on each finger of the user who plays the musical instrument, based on the state of each finger, a finger identifying step for outputting finger identifying information indicating a finger that has operated the operator;
The performance data output means generates performance data that associates the operator identification information received in the reception step with the finger identification information output in the finger identification step every unit time, and outputs the performance data a step, when a plurality of the operators of a plurality of the fingers within the unit time is operated, the finger identification and the operator identification information based on the sequence of arrangement of該操Sakuko and finger A musical performance operation detection method comprising: a performance data output step for associating information.

A receiving step for receiving operation element identification information indicating the operated operation element, which is operation element identification information transmitted from a musical instrument having a plurality of operation elements; and
Finger identifying means arranged on each finger of the user who plays the musical instrument, based on the state of each finger, a finger identifying step for outputting finger identifying information indicating a finger that has operated the operator;
The performance data output means generates performance data that associates the operator identification information received in the reception step with the finger identification information output in the finger identification step every unit time, and outputs the performance data a step, when a plurality of the operators of a plurality of the fingers within the unit time is operated, the finger identification and the operator identification information based on the sequence of arrangement of該操Sakuko and finger A performance data output step for associating information,
A performance operation comparison step in which the performance operation comparison means compares the performance data with the exemplary performance data indicating the exemplary performance operation;
A comparison data creating means for creating comparison data indicating a comparison result in the performance operation comparison step;
A musical instrument performance operation instruction method, comprising: a display step for displaying performance operation instruction information based on the performance data and the comparison data.

Computer
Receiving means for receiving operating element identification information indicating the operated operating element, which is operating element identification information transmitted from a musical instrument having a plurality of operating elements;
Finger identification means arranged on each finger of a user who plays the musical instrument, and outputting finger identification information indicating a finger that operated the operation element based on the state of each finger;
Means for generating performance data in association with the operator identification information received by the reception means and the finger identification information output from the finger identification means for each unit time, and outputting the performance data; Performance data for associating the operator identification information with the finger identification information based on the arrangement of the operators and the arrangement of the fingers when the plurality of operators are operated by the plurality of fingers within a unit time A computer-readable recording medium storing a program for functioning as an output means.

Computer
Receiving means for receiving operating element identification information indicating the operated operating element, which is operating element identification information transmitted from a musical instrument having a plurality of operating elements;
Finger identification means arranged on each finger of a user who plays the musical instrument, and outputting finger identification information indicating a finger that operated the operation element based on the state of each finger;
Means for generating performance data in association with the operator identification information received by the reception means and the finger identification information output from the finger identification means for each unit time, and outputting the performance data; Performance data for associating the operator identification information with the finger identification information based on the arrangement of the operators and the arrangement of the fingers when the plurality of operators are operated by the plurality of fingers within a unit time Output means;
Exemplary performance data storage means for storing exemplary performance data indicating exemplary performance actions;
Performance performance comparison means for comparing the model performance data and the performance data;
Comparison data creating means for creating comparison data indicating a comparison result of the performance movement comparing means;
A computer-readable recording medium recording a program for functioning as display means for displaying performance operation instruction information based on the performance data and the comparison data.