JP7338669B2 - 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム - Google Patents

Description

この発明は、情報処理装置、情報処理方法、演奏データ表示システム、およびプログラムに関する。

特許文献１は、ＭＩＤＩ規格で作成された音楽の演奏に同期して踊り手（ダンサ）等の画像オブジェクトを動かし、音楽の曲想のみならず、音楽の進行に応じてこれと一体的に変化する動画像を生成することができるコンピュータグラフィックス動画像生成システムを開示している。

特開平１１－２２４０８４号公報

特許文献１に開示されたコンピュータグラフィックス動画像生成システムでは、単に演奏中に踊り手を示すキャラクタを動的に出現させているだけなので、演奏全体としての状態を表現することは難しいという問題がある。

この発明の目的は、このような事情に鑑みてなされたものであり、演奏全体を視覚的に表現する情報処理装置、情報処理方法、演奏データ表示システム、およびプログラムを提供することにある。

本発明は、上記目的を達成するため、本発明の第１の観点に係る情報処理方法は、情報処理装置が、ユーザの演奏操作により指定される音高データを逐次取得する取得処理と、前記取得処理により取得される音高データに基づいて第１画像を逐次決定する第１決定処理と、前記取得処理により取得される複数の音高データに基づいてコードを特定し、特定された前記コードに基づいて前記第１画像とは異なる第２画像を逐次決定する第２決定処理と、前記第１決定処理により決定される前記第１画像および前記第２決定処理により決定される前記第２画像を逐次表示させる表示処理と、を実行し、前記第１決定処理は、前記演奏操作により指定される複数の前記音高データに基づいて調を特定し、特定された前記調および逐次指定される前記音高データに基づいて前記第１画像を逐次決定する処理を含む。

本発明によれば、演奏全体を視覚的に表現する情報処理装置、情報処理方法、演奏データ表示システム、およびプログラムを提供することができる。

本発明の実施の形態に係る情報処理装置および電子楽器を示す図である。 本発明の実施の形態に係る情報処理装置の構成例を示す概略ブロック図である。 （Ａ）～（Ｃ）は、本発明の実施の形態に係る第１イラストを示す図である。 （Ａ）～（Ｃ）は、本発明の実施の形態に係る第２イラストを示す図である。 （Ａ）～（Ｃ）は、本発明の実施の形態に係る第１イラストの大きさのバリエーションを示す図である。 （Ａ）～（Ｃ）は、本発明の実施の形態に係る第２イラストを変形した状態を示す図である。 （Ａ）～（Ｃ）は、本発明の実施の形態に係る第２イラストを彩色した図である。 （Ａ）～（Ｃ）は、本発明の実施の形態に係る第１および第２イラストを表示する軌道パターンを示す図である。 本発明の実施の形態に係る電子楽器の構成例を示す概略ブロック図である。 本発明の実施の形態に係る画像表示処理を示すフローチャートである。 本発明の実施の形態に係る演奏判定処理を示すフローチャートである。 本発明の実施の形態に係るイラスト決定処理を示すフローチャートである。 本発明の実施の形態に係る演奏に応じてリアルタイムに表示される表示画像の一例を示す図である。 本発明の実施の形態に係る演奏後に表示される表示画像の一例を示す図である。 本発明の実施の形態に係る演奏後に表示される表示画像の一例を示す図である。

以下、本発明を実施するための形態に係る情報処理装置を図面に基づいて説明する。

本発明の実施の形態に係る情報処理装置１００は、図１に示すように、有線回線または無線回線を通じて電子楽器２００に接続されて用いられる。電子楽器２００は、電子ピアノ、シンセサイザー、電子オルガン等の電子鍵盤楽器を含み、複数の鍵（操作子）２２０と、スピーカ２３０と、操作部２４０と、譜面台２５０と、を備える。情報処理装置１００は、例えば、タブレットＰＣ（Personal Computer）またはスマートフォンから構成され、譜面台２５０に裁置されている。情報処理装置１００は、表示部１３０を備え、電子楽器２００で演奏された楽曲を視覚的に表現した画像をリアルタイムおよび演奏後に表示するものである。なお、情報処理装置１００と電子楽器２００は、電子楽器システムを構成する。

情報処理装置１００は、図２に示すように、制御部（プロセッサ）１１０と、入力インターフェース１２０と、表示部１３０と、操作部１４０と、ＲＡＭ（Random Access Memory）１５０と、ＲＯＭ（Read Only Memory）１６０と、を備える。

制御部１１０は、ＣＰＵ（Central Processing Unit）を備える。制御部１１０は、ＲＯＭ１６０に格納されたプログラム及びデータを読み出し、ＲＡＭ１５０をワークエリアとして用いることにより、情報処理装置１００を統括制御する。

入力インターフェース１２０は、電子楽器２００から送信された或る音高を示す音高情報を含む演奏情報の入力を受け付け、ＲＡＭ１５０に記憶する。音高情報を含む演奏情報は、一例としてＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠しているデータ構造を有するものである。入力インターフェース１２０は、外部機器と通信を行うための無線ユニットまたは有線ユニットを備え、ＭＩＤＩ規格に準拠したインターフェースを含む。

表示部１３０は、ＬＣＤ（Liquid Crystal Display）パネル、有機ＥＬ（Electro Luminescence）パネル、ＬＥＤ（Light Emitting Diode）パネル等の表示パネルと表示コントローラを備え、制御部１１０から出力インターフェース１３１を介して出力された制御信号に従って、画像を表示する。本実施の形態においては、例えば、電子楽器２００で演奏された楽曲を視覚的に表現した画像をリアルタイムおよび演奏後に表示する。

操作部１４０は、キーボード、マウス、タッチパネル、ボタン等の入力装置を備える。操作部１４０は、ユーザからの入力操作を受け付けて、その操作内容を表す入力信号を制御部１１０に出力する。なお、操作部１４０と表示部１３０とは、これらが互いに重ねられて配置されたタッチパネルディスプレイとして構成されるものであってもよい。

ＲＡＭ１５０は、揮発性メモリを含み、制御部１１０が各種処理を行うためのプログラムを実行するための作業領域として用いられる。ＲＡＭ１５０は、電子楽器２００から送信された音高情報を含む演奏情報を記憶する。

ＲＯＭ１６０は、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）といった不揮発性の半導体メモリであって、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。ＲＯＭ１６０は、制御部１１０が各種処理を行うために使用するプログラム及びデータ、並びに、制御部１１０が各種処理を行うことにより生成又は取得するデータを記憶する。本実施形態において、ＲＯＭ１６０は、演奏情報とイラストとを紐付けしたイラストテーブル等を記憶する。

次に、実施形態に係る情報処理装置１００の制御部１１０の機能構成について説明する。制御部１１０は、ＣＰＵがＲＯＭ１６０に格納されたプログラム及びデータを読み出して実行することにより、演奏判定部１１１と、イラスト決定部１１２と、画像情報出力部１１３と、演奏終了判定部１１４として機能する。

演奏判定部１１１は、入力インターフェースを介して受け付けた演奏情報に基づいて、曲の調性（例えば、ハ長調からロ短調の２４種類）、音名（例えば、ド、レ、ミ）、コード種別（例えば、Ｍａｊｏｒ、Ｍｉｍｏｒ、Ｓｕｓ４、Ａｕｇ、Ｄｉｍ、７ｔｈ等）、ベロシティ値、音長、コード機能およびコード進行を判定する。また、演奏判定部１１１は、曲の調性から主音（第１音）を決定し、その曲の調性において音名が第ｎ音（度数）（ｎは１～７の整数）であるかを判定する。また、演奏判定部１１１は、ユーザにより複数の鍵２２０がそれぞれ操作されたタイミングに基づいて演奏を評価し、複数のベロシティ値などに基づいて、演奏を採点する。採点結果は、メモリ内に予め記憶されている正解を示すデータと対比する相対的な採点手法に基づかず、リアルタイム演奏において決定される各区間に含まれる演奏情報のみで評価する絶対的な採点手法に基づいて採点される。ベロシティ値は、鍵２２０の押鍵速度により判定される。音名は、演奏情報に含まれるノートナンバー等によって判定される。

詳細には、演奏判定部１１１は、或る音高を含む複数の音高それぞれに対応する複数の鍵２２０へのユーザ操作に応じて、複数の音高情報がそれぞれ含まれる複数の演奏情報の入力を受け付け、受け付けた複数の音高情報に基づいて、たとえユーザによるコード指定がなくても、決定された曲の調性に基づいて、コードを決定する。ユーザにより複数の鍵２２０が操作されたタイミングがそれぞれ異なるメロディを受け付けた場合、たとえユーザによりコード種別を含む伴奏が演奏されない場合であったとしても、ユーザによるメロディの演奏により受け付けられる複数の音高情報に基づいて、曲の調性を決定する。例えば、メロディとしてＣ（ド）－Ｄ（レ）－Ｅ（ミ）－Ｆ（ファ）－Ｂ（シ）が入力される場合、最初の音としてＣの音高が入力されると、Ｋｅｙの候補として７種類存在するが、仮ＫｅｙをＣとする。ＤとＥがさらに入力されると、Ｋｅｙは、Ｃ、Ｇ、Ｆに限定される。Ｆが入力されると、Ｋｅｙは、Ｃ、Ｆに限定され、さらにＢが入力されると、ＫｅｙはＣに決定され、曲の調性はハ長調であると判定される。コード機能（度数）は、曲の調性と構成音とに基づいて決定される。詳細には、コードからの曲の調性の判定は、例えば特許第２５８１３７０号公報、メロディからの曲の調性の判定は、特開２０１１－１５８８５５号公報等に開示されている。
また、ユーザにより複数の鍵２２０が操作されたタイミングがいずれも或る時間内に収まる和音を意味する複数の音高情報を受け付けた場合、この複数の音高情報に基づいて、最高音を示す音名およびコード種別を決定する。この複数の音高情報は、ユーザが同時に操作する意図で鍵２２０を操作したものを含み、ユーザが意図的に異なるタイミングで鍵２２０を操作した場合を除くものである。この場合、コード機能を判定する判定手法は、特に限定されないが、例えば、特許第３２１１８３９号公報等に開示されている手法を用いることができる。

イラスト決定部１１２は、演奏情報を受け付ける毎に、演奏判定部１１１により判定された曲の調性および音名から決定された第ｎ音に基づいて、表示する画像を構成する構成要素となる第１イラストの種類（一実施例では、或る花の種類）を第１イラスト群（一実施例では、それぞれ花の種類が異なるイラスト群）の中から決定する。和音を演奏する操作を受け付けた場合、イラスト決定部１１２は、曲の調性および複数の音高情報のなかの最高音を示す音名から決定された第ｎ音（度数）に基づいて、第１イラストの種類を決定する。また、イラスト決定部１１２は、コード種別（又はコード機能）に基づいて、第２イラストの種類を第２イラスト群（一実施例では、それぞれ葉の種類が異なるイラスト群）の中から決定する。演奏情報に含まれるベロシティ値に基づいて、第１および第２イラストをディスプレイ１３０に表示する大きさを決定する。また、イラスト決定部１１２は、演奏を評価した評価結果に応じて少なくとも第１および第２イラストのいずれかを画像処理する。また、イラスト決定部１１２は、採点結果に応じて少なくとも第１および第２イラストのいずれかを彩色する。また、イラスト決定部１１２は、コード進行に基づいて、表示画像中に第１および第２イラストを配置する軌道パターンＰＳを決定する。

具体的には、イラスト決定部１１２は、演奏判定部１１１により判定された曲の調性および音名に基づいて、第１イラストの種類（或る花の種類）を、ＲＯＭ１６０に予め記憶した１２種類の花の画像を含む第１イラスト群から選択する。第１イラスト群に含まれる花の画像のうち３つについて、図３（Ａ）～図３（Ｃ）に例示する。詳細には、演奏判定部１１１により判定された第ｎ音（度数）に応じた第１イラストの種類を選択する。例えば、曲の調性がＣ調のときＤ（レ）の音が入力された場合、第２音であると判定され、図３（Ａ）に示す第１のイラストが選択され、曲の調性がＥｂ調のときＦ（ファ）が入力されれば、第２音であると判定され、同様に図３（Ａ）に示す第１のイラストが選択される。このようにすることで、入力された音が、ある調性における第ｎ音が入力されたか示すことが可能であるので、転調しても、入力された音が第ｎ音であるか、ユーザが感覚的に理解しやすいという効果がある。

また、イラスト決定部１１２は、演奏判定部１１１により判定されたコード種別に応じた第２イラストの種類を、ＲＯＭ１６０に予め記憶した１０種類の葉の画像を含む第２イラスト群から選択する。第２イラスト群に含まれる葉の画像のうち３つについて、図４（Ａ）～（Ｃ）に例示する。また、イラスト決定部１１２は、図５（Ａ）～（Ｃ）に示すように、演奏判定部１１１により判定されたベロシティ値等に応じて第１および第２イラストの大きさを選択する。なおベロシティ値が小さい（鍵２２０の押鍵速度が遅く、音量が小さい）場合、図５（Ａ）に示す小さい第１イラストが選択され、ベロシティ値が大きい（鍵２２０の押鍵速度が速く、音量が大きい）場合、図５（Ｃ）に示す大きい第１イラストが選択されることを示したものである。コード種別に応じた第２イラストの種類を選択した場合も同様である。すなわち、ディスプレイ１３０に表示される第１イラスト（花）の大きさや第２イラスト（葉）の大きさは、ベロシティ値に応じて拡大又は縮小されていればよい。また、イラスト決定部１１２は、演奏判定部１１１により評価された評価結果に応じて第１および第２イラストを図６（Ａ）～図６（Ｃ）に示すように、画像処理する。評価結果を示す点数が基準となる或る点数より低い場合、イラスト決定部１１２は、例えば図６（Ｃ）に示すように、イラストとしての葉の画像の形状が崩れたものに画像処理を実行する。また、演奏判定部１１１により採点された採点結果が或る基準に達しない場合に、例えば図７（Ａ）または図７（Ｂ）に示すように、第２イラストを、輪郭線の内側の領域に色が塗られていない線画に変更し、採点結果が或る基準に達する場合に、図７（Ｃ）に示すように、輪郭線の内側の領域に色が塗られている第２イラストを選択する。また、イラスト決定部１１２は、図８（Ａ）～図８（Ｃ）に示すように、ＲＯＭ１６０に予め記憶した１４種類の軌道パターンから、コード進行に応じた軌道パターンＰＳを選択し、選択した軌道パターンＰＳに応じて表示画像中に第１および第２イラストを配置する位置を決定する。例えば、図８（Ａ）はカノンのコード進行を示し、図８（Ｂ）は洋楽のコード進行を示し、図８（Ｃ）はＪ－ＰＯＰのコード進行を示す。なお、軌道パターンＰＳの仮想の線上に各イラストの少なくとも一部が重なるように、各イラストは配置される。すなわち第１ユーザ操作を示す第１押鍵に応じて決定される第１イラストと、前記第１ユーザ操作後の第２ユーザ操作を示す第２押鍵に応じて決定される第２イラストは、画像内の同じ位置に配置されず、軌道パターンＰＳが示す仮想の線上の異なる位置にそれぞれ配置される。

画像情報出力部１１３は、イラスト決定部１１２で決定された第１および第２イラストを選択された軌道パターンＰＳに応じて配置した画像を生成し、演奏に応じてリアルタイムに出力インターフェース１３１から出力する。また、画像情報出力部１１３は、演奏終了判定部１１４により演奏が終了したと判定された場合、第１と第２のイラストの配置位置を再構成し、第１と第２のイラストを再構成した第２の画像を表示する。

演奏終了判定部１１４は、少なくとも演奏情報の入力を或る時間受け付けないこと、及び入力インターフェースを介して演奏終了を示す情報を受け付けたこと、のいずれかにより演奏が終了したか否かを判定する。

電子楽器２００は、上述した複数の鍵２２０と、スピーカ２３０と、操作部２４０と、譜面台２５０と、に加えて、電気的構成として、図９に示すように、制御部２１０と、押鍵検出部２６０と、通信部２７０と、を備える。

制御部２１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含み、ＲＯＭに格納されたプログラム及びデータを読み出し、ＲＡＭをワークエリアとして用いることにより、電子楽器２００を制御する部分である。制御部２１０は、例えば、鍵２２０の押鍵に応じてスピーカ２３０から発音させる制御および鍵２２０の離鍵に応じてスピーカ２３０から発音されている音楽を消音する制御等を行う。また、制御部２１０は、通信部２７０を介して音高情報を含む演奏情報を情報処理装置１００に送信する。

鍵２２０は、演奏者が音高を指定する操作子であり、演奏者が鍵２２０を押鍵および離鍵することで、電子楽器２００は、指定された音高に対応する音の発音および消音を行う。

スピーカ２３０は、演奏者が演奏した楽曲の音を出力する部分であり、制御部２１０から出力された音声信号を音に変換して出力する。

操作部２４０は、演奏者が各種の設定等を行う操作ボタンを有し、音量調整等の各種の設定操作等を行うための部分である。操作部２４０は、タッチパネルディスプレイ内に表示されていてもよい。

押鍵検出部２６０は、鍵２２０の押鍵、離鍵および押鍵速度を検知し、検知した音高情報を含む演奏情報を制御部２１０に出力する部分である。押鍵検出部２６０には、鍵２２０の下にスイッチが設けられ、そのスイッチによって、押鍵、離鍵および押鍵速度を検知する。

通信部２７０は、外部機器と通信を行うための無線ユニットまたは有線ユニットを備える。本実施形態では、通信部２７０は、ＭＩＤＩ規格に準拠したインターフェースを含み、制御部２１０の制御に基づいて、音高情報を含む演奏情報を情報処理装置１００に送信する。演奏情報は、一例としてＭＩＤＩ規格に準拠しているデータ構造を有するものである。

つぎに、以上の構成を有する情報処理装置１００が実行する画像表示処理について説明する。

制御部１１０は、図１０に示す画像表示処理を、例えば本処理の開始を表す操作入力を操作部１４０を介して受け付けたことを契機として開始する。

演奏判定部１１１は、入力インターフェース１２０を介して、ユーザにより演奏された電子楽器２００から出力された音高情報を含む演奏情報を受け付ける（ステップＳ１０１）。次に、演奏判定部１１１は、図１１に示す演奏判定処理を実行する（ステップＳ１０２）。

演奏判定処理を開始すると、演奏判定部１１１は、和音を受け付けたか否かを判定する（ステップＳ２０１）。ユーザにより複数の鍵２２０が操作されたタイミングがいずれも或る時間内に収まる場合、和音を受け付けたと判定する。ユーザにより複数の鍵２２０が操作されたタイミングがそれぞれ異なる場合、和音を受け付けていない（メロディが入力された）と判定する。和音を受け付けたと判定された場合（ステップＳ２０１；Ｙｅｓ）、演奏判定部１１１は、受け付けた複数の演奏情報に含まれる複数の音高情報に基づいて、最高音の音名を判定する（ステップＳ２０２）。次に、演奏判定部１１１は、曲の調性を判定する（ステップＳ２０３）。演奏判定部１１１は、曲の調性から主音（第１音）を決定し、判定された最高音を示す音名がその曲の調性において第ｎ音であるかを判定する（ステップＳ２０４）。例えば、曲の調性がＣ調のとき最高音を示す音名としてＤ（レ）の音が入力された場合、第２音であると判定され、曲の調性がＥｂ調のとき最高音を示す音名としてＦ（ファ）が入力された場合、同様に第２音であると判定される。次に、演奏判定部１１１は、複数の演奏情報に含まれる複数の音高情報に基づいて、コードを決定する（ステップＳ２０５）。

和音を受け付けていない（メロディを受け付けた）と判定された場合（ステップＳ２０１；Ｎｏ）、演奏判定部１１１は、受け付けた音高情報を示す音名を判定する（ステップＳ２０６）。次に、演奏判定部１１１は、ユーザによるメロディの演奏により受け付けられる複数の演奏情報に含まれる複数の音高情報に基づいて、曲の調性を判定する（ステップＳ２０７）。最初の音が入力されると、仮Ｋｅｙを設定し、２つめ以降の音が入力される毎に、Ｋｅｙの候補を限定し、Ｋｅｙの候補が１つになったとき、その候補をＫｅｙに決定する。そのＫｅｙに基づいて、曲の調性を判定する。演奏判定部１１１は、曲の調性から主音（第１音）を決定し、判定された音名がその曲の調性において第ｎ音であるかを判定する（ステップＳ２０８）次に、演奏判定部１１１は、ユーザによるメロディの演奏により受け付けられる複数の演奏情報に含まれる複数の音高情報と、複数の演奏情報を受け付けたタイミングを示す情報から制御部１１０が判定したリズムに基づいて決定される拍情報に基づいて、或る区間（コード区間）におけるコード種別を決定する（ステップＳ２０９）。

次に、演奏判定部１１１は、演奏情報に含まれるベロシティ値を取得する（ステップＳ２１０）。次に、演奏判定部１１１は、ユーザにより複数の鍵２２０がそれぞれ操作されたタイミングに基づいて演奏を評価する（ステップＳ２１１）。次に、演奏判定部１１１は、複数のベロシティ値に基づいて、演奏を採点する（ステップＳ２１２）。複数のベロシティ値が高い規則性（例えば、複数のベロシティ値から算出される平均値と、各ベロシティ値と、の差がほとんど無く、ばらついていない）を有する場合、高い採点結果となり、ベロシティ値が低い規則性（例えば、複数のベロシティ値から算出される平均値と、各ベロシティ値と、の差が大きく、ばらついている）を有する場合や、ユーザのタッチが弱くベロシティ値が小さいなどの場合、低い採点結果となる。次に、演奏判定処理を終了し図１０に示す画像表示処理に戻る。次に、イラスト決定部１１２は、図１２に示すイラスト決定処理を実行する（ステップＳ１０３）。

イラスト決定処理を開始すると、イラスト決定部１１２は、ステップＳ２０４またはステップＳ２０８で判定された第ｎ音に応じた第１イラストの種類を選択する（ステップＳ３０１）。例えば、第２音であると判定されると、第２音に応じた第１イラストの種類が選択される。これにより、曲の調性がＥｂ調のときＦ（ファ）が入力された場合であっても、曲の調性がＣ調のときＤ（レ）の音が入力された場合と同様の第１のイラストの種類が選択される。このようにすることで、入力された音が、判定された調性において第ｎ音目にあたる音が入力されたかを示すことが可能であるので、転調しても、入力された音が第ｎ音であるか、ユーザが感覚的に理解しやすいという効果がある。次に、イラスト決定部１１２は、ステップＳ２０５またはステップＳ２０９で決定されたコード種別に応じた第２のイラストを選択する（ステップＳ３０２）。次に、イラスト決定部１１２は、図５（Ａ）～（Ｃ）に示すイラストの大きさの内から、演奏判定部１１１により判定されたベロシティ値に応じたイラストの大きさを決定する（ステップＳ３０３）。次に、イラスト決定部１１２は、ステップＳ２１１で評価された評価結果に応じてイラストを画像処理する（ステップＳ３０４）。評価結果が低い場合、イラスト決定部１１２は、図６（Ｃ）の右図に示すように、イラストとしての葉の画像の形状が崩れたものに画像処理を実行する。次に、イラスト決定部１１２は、演奏の採点結果に基づいて、イラストを彩色する（ステップＳ３０５）。具体的には、ステップＳ２１０で採点した採点結果が或る基準に達しない場合に、図７（Ａ）に示すように、イラストを、輪郭線の内側の領域に色が塗られていない線画に変更し、採点結果が或る基準に達した後は、図７（Ｃ）の右図に示すように、輪郭線の内側の領域に色が塗られているイラストを選択する。次に、イラスト決定処理を終了し図１０に示す画像表示処理に戻る。

次に、演奏判定部１１１は、コード進行を判定する（ステップＳ１０４）。つぎに、イラスト決定部１１２は、図８（Ａ）～図８（Ｃ）に例示する軌道パターンから、コード進行に応じた軌道パターンＰＳを選択する（ステップＳ１０５）。なお、実際のディスプレイ１３０には、これらの軌道パターンＰＳを示す線は表示されない。つぎに、選択した軌道パターンＰＳに応じて表示している画像内にイラストを配置する（ステップＳ１０６）。このとき、イラスト決定部１１２は、イラストがリアルタイムに追加されて表示されるように、すでに表示されているイラストに加えて新たに決定されたイラストを軌道パターンＰＳに沿って追加する。なお、一定間以上経過した演奏情報に基づいて決定されたイラストは表示しないようにする。次に、画像情報出力部１１３は、第１と第２イラストを配置した第１画像情報を生成し、出力インターフェース１３１から出力し、表示部１３０に表示する（ステップＳ１０７）。表示部１３０にリアルタイムに表示される画像の一例を図１３に示す。この画像は、カノンのコード進行により演奏された場合に、図８（Ａ）に示される軌道パターンＰＳに従って、花と葉のイラストが表示された画像の一例である。花と葉のイラストは、点線Ｌに沿って演奏に合わせてリアルタイムに追加される。

次に、演奏が終了したか否かを判定し（ステップＳ１０８）、演奏が終了していないと判定されると（ステップＳ１０８；Ｎｏ）、ステップＳ１０１に戻り、ステップＳ１０１～ステップＳ１０８を繰り返す。これにより、電子楽器２００が演奏されている間、入力された演奏情報に基づいて、イラストがリアルタイムに追加された画像が表示される。

演奏が終了したと判定されると（ステップＳ１０８；Ｙｅｓ）、第１および第２イラストの配置位置を再構成する（ステップＳ１０９）。次に、画像情報出力部１１３は、第１と第２イラストの配置位置を再構成した第２画像情報を生成し、出力インターフェース１３１から出力し、表示部１３０に表示する（ステップＳ１１０）。ユーザが和音を指定した場合、図１４に示すように、音高に応じた第１イラスト（花）と、コード種別に応じた第２イラスト（葉）と、が配置された画像が表示部１３０に表示される。ユーザが同じ楽曲をメロディのみで演奏した場合であっても、メロディで入力された演奏情報に含まれる音高情報と曲の調性からコード種別が決定されるため、図１５に示すように、音高に応じた第１イラストと、コード種別に応じた第２イラストと、が配置された画像が表示部１３０に表示される。その後、演奏情報の受付後一定期間経過または演奏終了指示を受け付けると、図１３に示す第１画像の表示の代わりに、図１４～図１５に示す第２画像を表示する。

以上説明したように、本実施形態に係る情報処理装置１００は、電子楽器２００で演奏された楽曲を視覚的に表現した画像をリアルタイムに表示することができる。詳細には、電子楽器２００から送信された音高情報を含む演奏情報の入力を受け付け、曲の調性およびコード機能（第ｎ音であるかを示す度数）を判定し、第１イラストを含む画像を表示する。メロディが入力された場合であっても、曲の調性を判定しているので、単に音名に対応するイラストが表示されるのではなく、ある曲の調性における主音（第１音）からの度数（第ｎ音）に対応するイラストを表示すことができるので、画像を視認したユーザは、入力された音が第ｎ音であるかを視覚により知覚することでき、音楽学習するのに優れており、感覚的に理解しやすいものになっている。また、情報処理装置１００は、単音のメロディのみが入力され、メロディに合わせて和音が指定されない場合であっても、１つの演奏情報に含まれる１つの音高情報のみから調性を仮決定することによりコードを判定し、コードに応じたイラストを表示することで、単音のメロディから指定されていないコードに対応するイラストが表示される。よってコードを押さえられない初心者でも、コードが指定された場合と同じように、第２イラストが表示される。ユーザはメロディを弾くだけという簡単な操作にもかかわらず、第２イラストが表示されるので高齢者にも優しく、またコミュニケーションツールとなりうる。同じ曲をメロディのみで演奏したとしても、コードに対応する第２イラストが表示されるため、練習のモチベーションがあがり、初心者から上級者までストレスなく演奏を視覚化できる。

すなわち、ユーザがメロディに対応する鍵のみを指定し、コードに対応する鍵を指定しない場合、本発明を適用しない比較例では、ディスプレイ１３０には、メロディに対応する第１イラストのみが表示され、コードに対応する第２イラストは表示されない。従って、ディスプレイ１３０に表示されるイラストの数は、本発明を適用した場合と比べて少ないため、ユーザに寂しい印象を与える。本発明を適用すれば、ディスプレイ１３０には、メロディに対応する第１イラスト及び、コードに対応する第２イラストの両方が表示される。従って、ディスプレイ１３０に表示されるイラストの数は、比較例と比べて多いので、ユーザに寂しい印象を与えない。また、メロディのみの演奏部分が長い楽曲であっても、演奏にあった画像が表示される。ユーザにより複数の鍵２２０がそれぞれ操作されたタイミングに基づいて演奏が評価され、評価結果に応じてイラストが画像処理される。また複数のベロシティ値に基づいて、演奏が採点され、採点結果に応じてイラストが彩色される。これにより、演奏が上手か未熟かを視覚により知覚することができる。また、コード進行応じた軌道パターンでイラストが表示される。これにより、コード進行を視覚的に知覚することができる。

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
上記実施の形態では、演奏情報が、ＭＩＤＩ規格に準拠しているデータ構造を有する例について説明したが、演奏情報は音高情報を含むものであれば特に限定されない。例えば、演奏を録音した音声情報であってもよい。この場合、音声情報から音高情報を抽出し、情報処理装置１００により画像で表示することで視覚的に表現することができる。

また、上記の実施の形態では、情報処理装置１００が表示部１３０を内蔵する例について説明したが、情報処理装置１００は、画像情報を出力する出力インターフェース１３１を有すればよい。この場合、情報処理装置１００から外部の表示装置に画像情報を出力インターフェース１３１を介して出力する。外部の表示装置として、大型ディスプレイやプロジェクタを用いれば、大人数の聴衆に画像を見せることができる。また、情報処理装置１００を電子楽器２００に内蔵してもよい。この場合、表示部１３０を内蔵してもよく、出力インターフェース１３１を介して外部の表示装置に画像情報を出力するようにしてもよい。

また、上記の実施の形態では、ベロシティ値に基づいて、イラストの大きさを決定する例について説明したが、情報処理装置１００は、受け付けた演奏情報に応じてイラストの大きさを決定すればよく、強拍、弱拍の違い、音高、ＢＰＭ（Beats Per Minute）、同時に入力された和音の数、ベロシティ値などのうちいずれか１つまたは２つ以上の組み合わせに基づいて、イラストの大きさを決定すればよい。この場合、低音を大きいイラスト（波長とイラストの大きさが相関）、アクセントが大きいと大きいイラスト（音量とイラストの大きさが相関）、テンポが遅いと大きい絵（ＢＰＭとイラストの大きさが相関）、単音より和音だと大きいイラスト（音数とイラストの大きさが相関）、ベロシティが大きいと大きいイラスト（音量とイラストの大きさが相関）が表示される。

また、上記の実施の形態では、演奏判定部１１１が、ユーザにより複数の鍵２２０がそれぞれ操作されたタイミングに基づいて演奏を評価する例について説明した。演奏判定部１１１は、受け付けた演奏情報から得られる、少なくともユーザにより複数の演奏操作子がそれぞれ操作されたタイミング、リズム、拍、及び複数のベロシティ値、のいずれかに基づいて、表現が悲しいとか楽しいとか、重たいのか軽いのかなどを採点して、演奏を評価してもよい。

また、上記の実施の形態では、背景色について限定していないが、曲の調性に基づいて背景色を決定してもよい。この場合、曲の調性と背景色とを紐付けした背景色テーブルをＲＯＭ１６０に記憶する。背景色テーブルは、アレクサンドル・スクリャービン等によって提唱されている音と色との共感覚の関係に基づいて予め曲の各調性それぞれに対応する色が設定されている。すなわち、曲の各調性と背景色とを紐付けして記憶させている。例えば、ハ長調に紐付けされた色として赤色が記憶される。また、ハ短調に紐付された色として茶色が記憶される。各短調にそれぞれ紐付される色は、各長調にひも付される色よりも輝度が暗い。すなわち制御部１１０は、判定した調性に応じた背景色を決定する。調性に応じた背景色を有する画像は、これを見た人に、曲を聞いた人に与える感覚と近い感覚を与える。画像情報出力部１１３は、演奏判定部１１１に判定された曲の調性に基づいて背景色を決定し、ＲＯＭ１６０に記憶された背景色と曲の調性とを紐付けした背景色テーブルを参照し、曲の調性に応じた背景色を含む画像情報を出力する。

また、上記の実施の形態では、演奏判定部１１１が、複数のベロシティ値に基づいて、演奏を採点する例について説明した。演奏判定部１１１は、受け付けた演奏情報から得られる、少なくともユーザにより複数の演奏操作子がそれぞれ操作されたタイミング、及び複数のベロシティ値、のいずれかに基づいて、演奏を採点してもよい。

また、上記の実施の形態では、電子楽器２００が、電子ピアノ等の電子鍵盤楽器から構成される例について説明した。電子楽器２００は、音高情報を含む演奏情報を情報処理装置１００に出力することができればよく、ギター等の弦楽器やフルートなどの管楽器であってもよい。また、アコースティックギターなどのアコースティック音を、音高情報を含む演奏情報に変換して、変換された演奏情報を情報処理装置１００に出力してもよい。

また、上記の実施の形態では、イラスト決定部１１２が、花のイラストを含む第１イラスト群から第１イラストの種類、および葉のイラストを含む第２イラスト群から第２イラストの種類を選択する例について説明した。第１イラスト群および第２イラスト群は、花および葉以外のイラストを含んでもよい。例えば、第１イラスト群および第２イラスト群は、人、犬や猫などの動物、チョウチョやトンボなどの昆虫、自動車や自転車などの乗り物、ピアノやバイオリンなどの楽器、アニメーションのキャラクタなどを示すイラストを含んでもよい。

また、上記の実施の形態では、制御部１１０のＣＰＵが、制御動作を行う例を説明した。しかし、制御動作は、ＣＰＵによるソフトウェア制御に限られるものではない。制御動作の一部又は全部が専用の論理回路などのハードウェア構成を用いてなされても良い。

また、以上の説明では、本発明の処理に係るプログラムを記憶するコンピュータ読み取り可能な媒体としてフラッシュメモリなどの不揮発性メモリからなるＲＯＭ１６０を例に挙げて説明した。しかし、コンピュータ読み取り可能な媒体は、これらに限定されず、ＨＤＤ（Hard Disk Drive）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ（Digital Versatile Disc）などの可搬型記録媒体を適用してもよい。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。

その他、上記実施の形態で示した構成、制御手順や表示例などの具体的な細部は、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記の番号は、この出願の願書に最初に添付した特許請求の範囲の通りである。

（付記１）
入力インターフェースと、
出力インターフェースと、
少なくとも１つのプロセッサと、
を備え、前記少なくとも１つのプロセッサは、
或る音高を示す音高情報を含む演奏情報を前記入力インターフェースから受け付け、
受け付けた前記演奏情報に含まれる前記或る音高を示す前記音高情報に基づいて調性を決定し、
決定された前記調性及び前記或る音高に基づいてイラストの種類を決定し、
決定された前記種類のイラストを表示するための情報を前記出力インターフェースから出力する、
情報処理装置。

（付記２）
前記少なくとも１つのプロセッサは、
たとえユーザによるコード指定がなくても、決定された前記調性に基づいてコードを決定し、
決定された前記コードに基づいてイラストの種類を決定する、
付記１に記載の情報処理装置。

（付記３）
前記少なくとも１つのプロセッサは、
ユーザによるコードを含む演奏操作に応じて受け付けた複数の演奏情報に含まれる複数の音高情報が示す各音高のなかの最高音及び、決定された前記調性に基づいて前記イラストの種類を決定し、
受け付けた前記複数の演奏情報に含まれる前記複数の音高情報に基づいてコードを決定し、
決定された前記コードに基づいてイラストの種類を決定する、
付記１に記載の情報処理装置。

（付記４）
前記調性及び前記或る音高に基づいて決定されるイラストの種類は、第１イラスト群から選択され、
前記コードに基づいて決定されるイラストの種類は、第２イラスト群から選択される、
付記２または３に記載の情報処理装置。

（付記５）
前記第１イラスト群から選択される各イラストは、決定された前記調性において度数がそれぞれ異なる複数のコード機能にそれぞれ対応しており、
前記少なくとも１つのプロセッサは、
決定された前記調性と受け付けた前記演奏情報に含まれる前記或る音高とに基づいて、コード機能を決定し、
決定された前記コード機能に基づいて前記第１イラスト群から選択されるイラストの種類を決定する、
付記４に記載の情報処理装置。

（付記６）
前記少なくとも１つのプロセッサは、
受け付けた前記演奏情報に基づいて演奏を採点し、
採点結果に応じて、決定された前記種類のイラストを変形した変形イラストを表示するための情報を前記出力インターフェースから出力し、
前記採点結果は、メモリ内に予め記憶されている正解を示すデータと対比する相対的な採点手法に基づかず、リアルタイム演奏において決定される各区間に含まれる演奏情報のみで評価する絶対的な採点手法に基づいている、
付記１から５のいずれか１つに記載の情報処理装置。

（付記７）
入力インターフェースと、出力インターフェースと、を含む情報処理装置のコンピュータに、
或る音高を示す音高情報を含む演奏情報を前記入力インターフェースから受け付けさせ、
受け付けた前記演奏情報に含まれる前記或る音高を示す前記音高情報に基づいて調性を決定させ、
決定された前記調性及び前記或る音高に基づいてイラストの種類を決定させ、
決定された前記種類のイラストを表示するための情報を前記出力インターフェースから出力させる、
情報処理方法。

（付記８）
入力インターフェースと、出力インターフェースと、を含む情報処理装置のコンピュータに、
或る音高を示す音高情報を含む演奏情報を前記入力インターフェースから受け付けさせ、
受け付けた前記演奏情報に含まれる前記或る音高を示す前記音高情報に基づいて調性を決定させ、
決定された前記調性及び前記或る音高に基づいてイラストの種類を決定させ、
決定された前記種類のイラストを表示するための情報を前記出力インターフェースから出力させる、
プログラム。

１００…情報処理装置、１１０…制御部、１１１…演奏判定部、１１２…イラスト決定部、１１３…画像情報出力部、１１４…演奏終了判定部、１２０…入力インターフェース、１３０…表示部、１３１…出力インターフェース、１４０…操作部、１５０…ＲＡＭ、１６０…ＲＯＭ、２００…電子楽器、２１０…制御部、２２０…鍵、２３０…スピーカ、２４０…操作部、２５０…譜面台、２６０…押鍵検出部、２７０…通信部

Claims (17)

1. 情報処理装置が、
   ユーザの演奏操作により指定される音高データを逐次取得する取得処理と、
   前記取得処理により取得される音高データに基づいて第１画像を逐次決定する第１決定処理と、
   前記取得処理により取得される複数の音高データに基づいてコードを特定し、特定された前記コードに基づいて前記第１画像とは異なる第２画像を逐次決定する第２決定処理と、
   前記第１決定処理により決定される前記第１画像および前記第２決定処理により決定される前記第２画像を逐次表示させる表示処理と、
   を実行し、
   前記第１決定処理は、前記演奏操作により指定される複数の前記音高データに基づいて調を特定し、特定された前記調および逐次指定される前記音高データに基づいて前記第１画像を逐次決定する処理を含む、情報処理方法。
2. 情報処理装置が、
   ユーザの演奏操作により指定される音高データを逐次取得する取得処理と、
   前記取得処理により取得される音高データに基づいて第１画像を逐次決定する第１決定処理と、
   前記取得処理により取得される複数の音高データに基づいてコードを特定し、特定された前記コードに基づいて前記第１画像とは異なる第２画像を逐次決定する第２決定処理と、
   前記第１決定処理により決定される前記第１画像および前記第２決定処理により決定される前記第２画像を逐次表示させる表示処理と、
   を実行し、
   前記第１決定処理は、前記演奏操作により指定される前記音高データに基づいて種類の異なる複数の第１対象物の中からいずれかの前記第１対象物を選択し、選択した前記第１対象物を表現する画像を前記第１画像として決定する処理を含み、
   前記第２決定処理は、特定された前記コードに基づいて種類の異なる複数の第２対象物の中からいずれかの前記第２対象物を選択し、選択した前記第２対象物を表現する画像を前記第２画像として決定する処理を含む、情報処理方法。
3. 情報処理装置が、
   ユーザの演奏操作により指定される音高データを逐次取得する取得処理と、
   前記取得処理により取得される音高データに基づいて第１画像を逐次決定する第１決定処理と、
   前記取得処理により取得される複数の音高データに基づいてコードを特定し、特定された前記コードに基づいて前記第１画像とは異なる第２画像を逐次決定する第２決定処理と、
   前記第１決定処理により決定される前記第１画像および前記第２決定処理により決定される前記第２画像を逐次表示させる表示処理と、
   ユーザによる前記演奏操作の強さに基づいて、前記第１画像の大きさまたは前記第２画像の大きさを決定する第３決定処理と、を実行する、情報処理方法。
4. 情報処理装置が、
   ユーザの演奏操作により指定される音高データを逐次取得する取得処理と、
   前記取得処理により取得される音高データに基づいて第１画像を逐次決定する第１決定処理と、
   前記取得処理により取得される複数の音高データに基づいてコードを特定し、特定された前記コードに基づいて前記第１画像とは異なる第２画像を逐次決定する第２決定処理と、
   前記第１決定処理により決定される前記第１画像および前記第２決定処理により決定される前記第２画像を逐次表示させる表示処理と、
   ユーザによる前記演奏操作を評価した評価結果に基づいて、前記第１画像に対する彩色または前記第２画像に対する彩色を決定する第４決定処理と、を実行する、情報処理方法。
5. 情報処理装置が、
   ユーザの演奏操作により指定される音高データを逐次取得する取得処理と、
   前記取得処理により取得される音高データに基づいて第１画像を逐次決定する第１決定処理と、
   前記取得処理により取得される複数の音高データに基づいてコードを特定し、特定された前記コードに基づいて前記第１画像とは異なる第２画像を逐次決定する第２決定処理と、
   前記第１決定処理により決定される前記第１画像および前記第２決定処理により決定される前記第２画像を逐次表示させる表示処理と、
   ユーザによる前記演奏操作を評価した評価結果に基づいて、前記第１画像の形状または前記第２画像の形状を変形する第５決定処理と、を実行する、情報処理方法。
6. 情報処理装置が、
   ユーザの演奏操作により指定される音高データを逐次取得する取得処理と、
   前記取得処理により取得される音高データに基づいて第１画像を逐次決定する第１決定処理と、
   前記取得処理により取得される複数の音高データに基づいてコードを特定し、特定された前記コードに基づいて前記第１画像とは異なる第２画像を逐次決定する第２決定処理と、
   前記第１決定処理により決定される前記第１画像および前記第２決定処理により決定される前記第２画像を逐次表示させる表示処理と、
   を実行し、
   前記第２決定処理は、前記演奏操作により指定される複数の前記音高データに基づいて和音が指定されたか否かを判断し、和音が指定されたと判断された場合には、指定された和音を構成する複数の音高のうちの最高音の音名と、前記演奏操作に基づいて特定される調と、に基づいて前記コードを特定し、和音が指定されていないと判断された場合には、指定された音高の音名と、前記演奏操作に基づいて特定される調と、に基づいて前記コードを特定する処理を含む、情報処理方法。
7. 前記第１決定処理は、前記演奏操作により指定される複数の前記音高データに基づいて調を特定し、特定された前記調および逐次指定される前記音高データに基づいて前記第１画像を逐次決定する処理を含む、請求項２乃至６のいずれか一項に記載の情報処理方法。
8. 前記第１決定処理は、第１観点において種類の異なる複数の画像の中からいずれかの画像を前記第１画像として決定する処理を含み、
   前記第２決定処理は、前記第１観点とは異なる第２観点において種類の異なる複数の画像の中からいずれかの画像を前記第２画像として決定する処理を含む、
   請求項１、３乃至６のいずれか一項に記載の情報処理方法。
9. 前記第１対象物と前記第２対象物のうちの一方は花であり他方は葉である、
   請求項２に記載の情報処理方法。
10. 前記第１観点と前記第２観点とは、画像として表現する対象物が異なり、
    前記第１決定処理は、前記演奏操作により指定される前記音高データに基づいて種類の異なる複数の第１対象物の中からいずれかの前記第１対象物を選択し、選択した前記第１対象物を表現する画像を前記第１画像として決定する処理を含み、
    前記第２決定処理は、特定された前記コードに基づいて種類の異なる複数の第２対象物の中からいずれかの前記第２対象物を選択し、選択した前記第２対象物を表現する画像を前記第２画像として決定する処理を含む、
    請求項８に記載の情報処理方法。
11. 前記情報処理装置が、
    ユーザによる前記演奏操作の強さに基づいて、前記第１画像の大きさまたは前記第２画像の大きさを決定する第３決定処理を更に実行する、
    請求項１、２、４乃至６のいずれか一項に記載の情報処理方法。
12. 前記情報処理装置が、
    ユーザによる前記演奏操作を評価した評価結果に基づいて、前記第１画像に対する彩色または前記第２画像に対する彩色を決定する第４決定処理を更に実行する、
    請求項１乃至３、５、６のいずれか一項に記載の情報処理方法。
13. 前記情報処理装置が、
    ユーザによる前記演奏操作を評価した評価結果に基づいて、前記第１画像の形状または前記第２画像の形状を変形する第５決定処理を更に実行する、
    請求項１乃至４、６のいずれか一項に記載の情報処理方法。
14. 情報処理装置が、
    音高データを含む演奏データを受け付け、
    受け付けた前記演奏データに含まれる前記音高データに基づいて、複数の調のなかからいずれかの調を決定するとともに、決定された前記調及び、前記音高データの両方に基づいて、複数の第１種別の画像のなかからいずれかの第１種別の画像を決定させ、
    受け付けた複数の前記演奏データに基づいて検出されるユーザが指定したコード、または、決定された前記調に基づいて特定されるコード、のうちの少なくとも一方のコードに基づいて、複数の第２種別の画像のなかからいずれかの第２種別の画像を決定させ、
    決定された前記第１種別の画像及び前記第２種別の画像を含む複数の画像それぞれを配置する位置を決定し、
    決定された位置に配置された前記複数の画像を表示させる、
    処理を実行する情報処理方法。
15. ディスプレイ装置と、
    請求項１乃至１４のいずれか一項に記載の情報処理方法を実行するプロセッサと、
    を備える情報処理装置。
16. 電子楽器と、ディスプレイ装置と、を備え、
    前記電子楽器が、請求項１乃至１４のいずれか一項に記載の情報処理方法を実行する、
    演奏データ表示システム。
17. 情報処理装置のコンピュータに、
    請求項１乃至１４のいずれか一項に記載の情報処理方法を実行させるプログラム。

Images