JP7533726B2

JP7533726B2 - Information processing device, method, and program

Info

Publication number: JP7533726B2
Application number: JP2023128847A
Authority: JP
Inventors: 滋加福; 広子奥田; 高梅村
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2019-03-08
Filing date: 2023-08-07
Publication date: 2024-08-14
Anticipated expiration: 2039-03-08
Also published as: JP7331388B2; JP2020144320A; JP2023138655A

Description

本発明は、情報処理装置、方法、及びプログラムに関する。 The present invention relates to an information processing device, method, and program.

特許文献１には、画像の動きを制御するための動作パラメータを参照しつつ、楽曲に対応する楽音制御情報及び同期信号に応答して画像各部の動作を逐次制御し、音楽モジュールによる楽音生成の進行に同期して動く画像を生成する楽音応答画像生成システムが開示されている。 Patent document 1 discloses a musical sound responsive image generation system that sequentially controls the operation of each part of an image in response to musical sound control information and synchronization signals corresponding to a piece of music while referring to operation parameters for controlling the movement of the image, and generates an image that moves in synchronization with the progress of musical sound generation by a music module.

特開平１１－２２４０８４号公報Japanese Patent Application Publication No. 11-224084

特許文献１に開示された楽音応答画像生成システムでは、音楽の演奏に同期して画像オブジェクトを動かしている。この方法では、リアルタイムで演奏に追従した表現を行うことはできても、演奏全体に適合した表現を行うことは難しいという課題があった。 In the musical sound responsive image generation system disclosed in Patent Document 1, image objects are moved in sync with the musical performance. With this method, although it is possible to produce an expression that follows the performance in real time, it is difficult to produce an expression that matches the entire performance.

本発明は上記の課題に鑑みてなされたものであって、演奏全体を視覚的に表現することが可能な情報処理装置、方法、及びプログラムを提供することを目的とする。 The present invention was made in consideration of the above problems, and aims to provide an information processing device, method, and program that can visually represent an entire performance.

上記目的を達成するため、本発明に係る情報処理装置の一態様は、
少なくとも一つのプロセッサを備え、
前記少なくとも一つのプロセッサは、
演奏開始タイミング及び演奏終了タイミングに基づいた演奏時間に応じた長さを有する軌跡に沿って複数のイラストを配置するとともに、入力インターフェースから入力される複数の演奏情報に基づいたベロシティ情報に応じて前記軌跡の大きさを変化するよう、前記複数のイラストが前記軌跡に沿って配置される画像を表示するための情報を、出力インターフェースから出力する、
ことを特徴とする。 In order to achieve the above object, one aspect of the information processing device according to the present invention is
At least one processor ,
The at least one processor:
a plurality of illustrations are arranged along a locus having a length corresponding to a performance time based on a performance start timing and a performance end timing, and information for displaying an image in which the plurality of illustrations are arranged along the locus is output from an output interface so that the size of the locus is changed according to velocity information based on the plurality of pieces of performance information input from an input interface;
It is characterized by:

本発明によれば、演奏全体を視覚的に表現することが可能な情報処理装置、方法、及びプログラムを提供できる。 The present invention provides an information processing device, method, and program that can visually represent an entire performance.

実施の形態１に係る情報処理装置を載置した電子楽器の平面図である。1 is a plan view of an electronic musical instrument on which an information processing device according to a first embodiment is mounted. 実施の形態１の情報処理装置の構成を示すブロック図である。1 is a block diagram showing a configuration of an information processing device according to a first embodiment; 実施の形態１の軌跡生成部が生成する軌跡に含まれる渦巻線を示す図である。4A to 4C are diagrams illustrating spiral lines included in a trajectory generated by a trajectory generating unit according to the first embodiment. 実施の形態１において演奏時間（Ａ）１５秒、（Ｂ）３０秒、（Ｃ）４５秒の楽曲について軌跡生成部が生成する軌跡と画像情報出力部が生成する画像とを示す図である。13A to 13C are diagrams showing trajectories generated by a trajectory generation unit and images generated by an image information output unit for musical pieces having performance times of (A) 15 seconds, (B) 30 seconds, and (C) 45 seconds in embodiment 1. 実施の形態１の電子楽器の構成を示すブロック図である。1 is a block diagram showing a configuration of an electronic musical instrument according to a first embodiment; 実施の形態１に係る情報処理装置が実行する画像出力処理のフローチャートである。4 is a flowchart of an image output process executed by the information processing device according to the first embodiment. 実施の形態２の軌跡生成部が（Ａ）演奏の力強さが小さい場合、（Ｂ）演奏の力強さが大きい場合に生成する軌跡に含まれる渦巻線を示す図である。13A and 13B are diagrams showing spiral lines included in trajectories generated by the trajectory generating section of embodiment 2 when (A) the dynamics of the performance is weak and (B) the dynamics of the performance is strong. 実施の形態２に係る情報処理装置が実行する画像出力処理のフローチャートである。13 is a flowchart of an image output process executed by an information processing device according to a second embodiment. 実施の形態３の軌跡生成部が（Ａ）演奏のリズムが規則的な場合、（Ｂ）演奏のリズムが不規則な場合に生成する軌跡に含まれる渦巻線を示す図である。13A and 13B are diagrams showing spiral lines included in a trajectory generated by the trajectory generating section of embodiment 3 when (A) the performance rhythm is regular and (B) the performance rhythm is irregular. 実施の形態３に係る情報処理装置が実行する画像出力処理のフローチャートである。13 is a flowchart of an image output process executed by an information processing device according to a third embodiment. 実施の形態４に係る情報処理装置が実行する画像出力処理のフローチャートである。13 is a flowchart of an image output process executed by an information processing device according to a fourth embodiment. 変形例の軌跡生成部が生成する軌跡に含まれる線を示す図である。13A and 13B are diagrams illustrating lines included in a trajectory generated by a trajectory generating unit of a modified example.

（実施の形態１）
実施の形態１に係る情報処理装置１００について、図面を参照して説明する。なお、図中同一又は相当する部分には同一符号を付す。 (Embodiment 1)
An information processing device 100 according to a first embodiment will be described with reference to the drawings. Note that the same or corresponding parts in the drawings are given the same reference numerals.

図１は、情報処理装置１００を載置した電子楽器２００の平面図である。図１に示すように、実施の形態１に係る情報処理装置１００は、電子楽器２００に接続され電子楽器２００を用いて演奏された楽曲を視覚的に表現した映像を表示する装置である。情報処理装置１００は、例えばパーソナルコンピュータ、タブレット端末、スマートフォンを含むが、これに限られるものではない。情報処理装置１００と電子楽器２００とは、電子楽器システム１を構成する。 Fig. 1 is a plan view of an electronic musical instrument 200 on which an information processing device 100 is placed. As shown in Fig. 1, the information processing device 100 according to the first embodiment is a device that is connected to the electronic musical instrument 200 and displays an image that visually represents a piece of music played using the electronic musical instrument 200. The information processing device 100 includes, for example, a personal computer, a tablet terminal, and a smartphone, but is not limited to these. The information processing device 100 and the electronic musical instrument 200 constitute an electronic musical instrument system 1.

図２は、情報処理装置１００の構成を示すブロック図である。図２に示すように、情報処理装置１００は、プロセッサ１１０と、入力インターフェース１２０と、出力インターフェース１３０と、表示装置１４０と、操作装置１５０と、ＲＡＭ（Random Access Memory）１６０と、ＲＯＭ（Read Only Memory）１７０と、を備える。 FIG. 2 is a block diagram showing the configuration of the information processing device 100. As shown in FIG. 2, the information processing device 100 includes a processor 110, an input interface 120, an output interface 130, a display device 140, an operation device 150, a RAM (Random Access Memory) 160, and a ROM (Read Only Memory) 170.

プロセッサ１１０は、プログラムを実行することにより情報処理装置１００を制御する処理装置である。プロセッサ１１０は、ＲＯＭ１７０に記憶されたプログラム及びデータを読み出し、ＲＡＭ１６０を作業領域として用いる。プロセッサ１１０はＣＰＵ（Central Processing Unit）を含むが、これに限られるものではない。 The processor 110 is a processing device that controls the information processing device 100 by executing a program. The processor 110 reads out the programs and data stored in the ROM 170, and uses the RAM 160 as a working area. The processor 110 includes, but is not limited to, a CPU (Central Processing Unit).

入力インターフェース１２０は、電子楽器２００に接続され、演奏情報の入力を受け付けるインターフェースである。入力インターフェース１２０は、受け付けた演奏情報をプロセッサ１１０に伝達する。入力インターフェース１２０は、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した演奏情報を受け付け、ＭＩＤＩ規格に準拠した構造を有するが、演奏情報の規格及び入力インターフェース１２０の構成はこれに限られるものではない。 The input interface 120 is an interface that is connected to the electronic musical instrument 200 and accepts input of performance information. The input interface 120 transmits the accepted performance information to the processor 110. The input interface 120 accepts performance information that complies with the MIDI (Musical Instrument Digital Interface) standard, for example, and has a structure that complies with the MIDI standard, but the standard of the performance information and the configuration of the input interface 120 are not limited to this.

演奏情報は典型的にはＭＩＤＩメッセージであり、演奏情報に含まれる要素としてそれぞれの音高に対するノートオフ又はノートオンの命令及びそのベロシティ情報（ベロシティ値）、音量・音質・音色を制御する命令があるが、演奏情報及び演奏情報に含まれる要素はこれに限られるものではない。 The performance information is typically a MIDI message, and the elements contained in the performance information include note-off or note-on commands for each pitch and their velocity information (velocity value), as well as commands to control the volume, sound quality, and tone color, but the performance information and the elements contained in the performance information are not limited to these.

出力インターフェース１３０は、プロセッサ１１０から取得した画像を表示させるための情報（画像情報）を、表示装置１４０に出力するインターフェースである。画像情報は、電子楽器２００を用いて演奏された楽曲を視覚的に表現した映像である。 The output interface 130 is an interface that outputs information (image information) for displaying an image acquired from the processor 110 to the display device 140. The image information is a video that visually represents the music played using the electronic musical instrument 200.

表示装置１４０は、出力インターフェース１３０から取得した画像情報に基づき、画像を表示する表示装置である。表示装置１４０は、例えば液晶パネル、有機ＥＬ（Electro Luminescence）パネルを含むが、これに限られるものではない。 The display device 140 is a display device that displays an image based on image information acquired from the output interface 130. The display device 140 includes, for example, a liquid crystal panel and an organic EL (Electro Luminescence) panel, but is not limited to these.

操作装置１５０は、ユーザによる操作を受け付け、操作内容を示す入力信号をプロセッサ１１０に伝達する入力装置である。操作装置１５０は、例えばキーボード、マウス、タッチパッド、ボタン、スライダーを含むが、これに限られるものではない。 The operation device 150 is an input device that accepts operations by a user and transmits an input signal indicating the operation content to the processor 110. The operation device 150 includes, for example, a keyboard, a mouse, a touchpad, a button, and a slider, but is not limited to these.

ＲＡＭ１６０は、プロセッサ１１０が処理を実行するための作業領域として機能する揮発性メモリである。 RAM 160 is a volatile memory that functions as a working area for processor 110 to execute processing.

ＲＯＭ１７０は、プロセッサ１１０が処理を実行するために用いるプログラム及びデータを記憶する記憶装置である。ＲＯＭ１７０は、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）を含むが、これに限られるものではない。 ROM 170 is a storage device that stores programs and data used by processor 110 to execute processes. ROM 170 includes, but is not limited to, flash memory, EPROM (Erasable Programmable ROM), and EEPROM (Electrically Erasable Programmable ROM).

実施の形態１に係る情報処理装置のプロセッサ１１０の機能構成について説明する。 The functional configuration of the processor 110 of the information processing device according to embodiment 1 will be described.

プロセッサ１１０は、ＲＡＭ１６０に記憶プログラム及びデータを読み出して実行することにより、演奏判定部１１１、軌跡生成部１１２、及び画像情報出力部１１３として機能する。 The processor 110 functions as a performance determination unit 111, a trajectory generation unit 112, and an image information output unit 113 by reading and executing programs and data stored in the RAM 160.

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から第１演奏情報を受け付け、第１演奏情報を受け付けたタイミングを演奏開始タイミングとして取得し、ＲＡＭ１６０に保存する。第１演奏情報は演奏情報に含まれる。 The performance determination unit 111 receives the first performance information from the electronic musical instrument 200 via the input interface 120, obtains the timing at which the first performance information is received as the performance start timing, and stores it in the RAM 160. The first performance information is included in the performance information.

演奏判定部１１１は、演奏情報を或る時間受け付けない、及び入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けた、のいずれかのタイミングを演奏終了タイミングとして取得し、ＲＡＭ１６０に保存する。或る時間とは例えば５秒間であるが、これに限られるものではない。 The performance determination unit 111 obtains the performance end timing when either the performance information is not received for a certain period of time, or when information indicating the end of the performance is received from the electronic musical instrument 200 via the input interface 120, and stores the obtained timing in the RAM 160. The certain period of time is, for example, five seconds, but is not limited to this.

演奏判定部１１１は、ＲＡＭ１６０に保存した演奏開始タイミングと演奏終了タイミングとに基づいて、演奏時間を算出する。具体的には、演奏判定部１１１は、演奏開始タイミングと演奏終了タイミングとの差を演奏時間として算出する。 The performance determination unit 111 calculates the performance time based on the performance start timing and performance end timing stored in the RAM 160. Specifically, the performance determination unit 111 calculates the difference between the performance start timing and the performance end timing as the performance time.

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏情報を受け付けると、それぞれの演奏情報に対して演奏情報に応じてＲＯＭ１７０に記憶されたイラストを対応付ける。演奏判定部１１１は、例えばＲＯＭ１７０に記憶された演奏情報に含まれる音高とイラストとを対応付けるテーブルに従って演奏情報にイラストを対応付けるが、これに限られるものではなく、演奏情報に含まれる音の強さ又は音の長さとイラストとを対応付けても良い。 When the performance determination unit 111 receives performance information from the electronic musical instrument 200 via the input interface 120, it associates each piece of performance information with an illustration stored in the ROM 170 according to the performance information. The performance determination unit 111 associates an illustration with the performance information according to a table that associates pitches included in the performance information stored in the ROM 170 with illustrations, for example, but is not limited to this, and the performance determination unit 111 may also associate illustrations with sound intensity or sound duration included in the performance information.

軌跡生成部１１２は、それぞれの演奏情報に対応付けたイラストを配置する演奏の軌跡を生成する。軌跡生成部１１２は、演奏判定部１１１が算出した演奏時間に基づいて演奏の軌跡の長さを決定する。例えば、演奏時間が第１演奏時間長の場合の軌跡の長さである第１長と、演奏時間が第２演奏時間長の場合の軌跡の長さである第２長とについて、第１演奏時間長が第２演奏時間長よりも短い場合、第１長は第２長よりも短くなる。 The trajectory generating unit 112 generates a performance trajectory that places an illustration associated with each piece of performance information. The trajectory generating unit 112 determines the length of the performance trajectory based on the performance time calculated by the performance determining unit 111. For example, for a first length that is the length of the trajectory when the performance time is a first performance time length and a second length that is the length of the trajectory when the performance time is a second performance time length, if the first performance time length is shorter than the second performance time length, the first length will be shorter than the second length.

軌跡生成部１１２は、以下の式（１）－（４）に従い、点（ｘ（ｎ），ｙ（ｎ））のｎ＝０，１，…，Ｐ－１の集合として軌跡を生成する。ここで、（ｘ_０，ｙ_０）は原点の座標、Ｐは描画ポイント数を示す定数、Ａは軌跡の長さを示す定数である。
ｔｈ＝Ａ×ｎ／（Ｐ－１）（１）
ｒｒ＝（Ｐ－ｎ）／Ｐ（２）
ｘ（ｎ）＝（ｘ_０＋ｃｏｓ（ｔｈ）×ｒｒ）×Ｐ（３）
ｙ（ｎ）＝（ｙ_０＋ｓｉｎ（ｔｈ）×ｒｒ）×Ｐ（４） The trajectory generation unit 112 generates a trajectory as a set of points (x(n), y(n)) where n=0, 1, ..., P-1 in accordance with the following formulas (1)-(4), where ( _x0 , _y0 ) are the coordinates of the origin, P is a constant indicating the number of rendering points, and A is a constant indicating the length of the trajectory.
th=A×n/(P-1) (1)
rr=(P-n)/P (2)
x(n)=(x ₀ +cos(th)×rr)×P (3)
y(n)=(y ₀ +sin(th)×rr)×P (4)

軌跡生成部１１２は、式（１）のＡを演奏判定部１１１が算出した演奏時間に従って変化させることで、軌跡の長さを変化させる。 The trajectory generation unit 112 changes the length of the trajectory by changing A in equation (1) according to the performance time calculated by the performance determination unit 111.

図３は、軌跡生成部１１２が生成する軌跡に含まれる渦巻線を示す図である。図３に示すように、軌跡生成部１１２は、式（１）－（４）に従い原点に近づく渦巻線状の軌跡を生成する。なお、図３において、（ｘ_０，ｙ_０）＝（０，０）、Ｐ＝１００、Ａ＝２０である。 Fig. 3 is a diagram showing a spiral line included in a trajectory generated by the trajectory generation unit 112. As shown in Fig. 3, the trajectory generation unit 112 generates a spiral trajectory approaching the origin according to equations (1)-(4). Note that in Fig. 3, ( _x0 , _y0 )=(0,0), P=100, and A=20.

画像情報出力部１１３は、軌跡生成部１１２が生成した軌跡上に軌跡生成部１１２が演奏情報について対応付けたイラストを配置して画像を生成し、画像を表示するための情報である画像情報を生成する。 The image information output unit 113 generates an image by placing the illustration that the trajectory generation unit 112 associates with the performance information on the trajectory generated by the trajectory generation unit 112, and generates image information that is information for displaying the image.

図４（Ａ），（Ｂ），（Ｃ）は、軌跡生成部１１２が生成する軌跡と、画像情報出力部１１３が生成する画像とを示す図である。軌跡生成部１１２が生成する軌跡は図の左側に、画像情報出力部１１３が生成する画像はずの右側に、それぞれ記載されている。図４（Ａ），（Ｂ），（Ｃ）は演奏時間がそれぞれ１５秒、３０秒、４５秒の演奏に基づいて生成された軌跡及び画像である。図４（Ａ），（Ｂ），（Ｃ）に示すように、軌跡上に演奏情報について対応付けられたイラストがそれぞれ配置される。なお、図４（Ａ），（Ｂ），（Ｃ）においては、軌跡生成部１１２渦巻線に直線を追加した軌跡を生成している。 Figures 4 (A), (B), and (C) are diagrams showing the trajectory generated by the trajectory generation unit 112 and the image generated by the image information output unit 113. The trajectory generated by the trajectory generation unit 112 is shown on the left side of the figure, and the image generated by the image information output unit 113 is shown on the right side. Figures 4 (A), (B), and (C) show trajectories and images generated based on performances of 15 seconds, 30 seconds, and 45 seconds, respectively. As shown in Figures 4 (A), (B), and (C), illustrations associated with the performance information are placed on the trajectory. Note that in Figures 4 (A), (B), and (C), the trajectory generation unit 112 generates a trajectory by adding a straight line to a spiral line.

図４（Ａ），（Ｂ）を参照して、演奏時間がそれぞれ１５秒（第１時間長）、３０秒（第２時間長）における軌跡を比較し、軌跡の長さをそれぞれ第１長さ、第２長さとすると、（第１長さ）＜（第２長さ）である。図４（Ｂ），（Ｃ）を参照して演奏時間３０秒、４５秒について比較しても同様である。即ち、演奏時間が長くなるにつれて渦巻線状の軌跡は長くなる。 Referring to Figures 4(A) and (B), comparing the trajectories at performance times of 15 seconds (first length) and 30 seconds (second length), if the lengths of the trajectories are the first length and the second length, respectively, (first length) < (second length). The same is true when comparing performance times of 30 seconds and 45 seconds with reference to Figures 4(B) and (C). In other words, the longer the performance time, the longer the spiral trajectory becomes.

画像情報出力部１１３は、生成した画像情報を、出力インターフェース１３０を介して表示装置１４０に出力する。 The image information output unit 113 outputs the generated image information to the display device 140 via the output interface 130.

実施の形態１に係る情報処理装置１００に接続される電子楽器２００について説明する。電子楽器２００は、電子ピアノ、シンセサイザー、電子オルガンを含む電子鍵盤楽器である。 The electronic musical instrument 200 connected to the information processing device 100 according to the first embodiment will be described. The electronic musical instrument 200 is an electronic keyboard instrument that includes an electronic piano, a synthesizer, and an electronic organ.

図５は、電子楽器２００の構成を示すブロック図である。図５に示すように、電子楽器２００は、プロセッサ２１０と、鍵２２０と、押鍵検出装置２３０と、スピーカ２４０と、操作装置２５０と、通信装置２６０と、譜面台２７０と、を備える。 Figure 5 is a block diagram showing the configuration of the electronic musical instrument 200. As shown in Figure 5, the electronic musical instrument 200 includes a processor 210, a key 220, a key press detection device 230, a speaker 240, an operation device 250, a communication device 260, and a music stand 270.

プロセッサ２１０は、プログラムを実行することにより電子楽器２００を制御する処理装置である。プロセッサ２１０は、図示しないＲＯＭに記憶されたプログラム及びデータを読み出し、図示しないＲＡＭを作業領域として用いる。プロセッサ２１０は制御ＬＳＩ（Large Scale Integration）を含み得るが、これに限られるものではない。 The processor 210 is a processing device that controls the electronic musical instrument 200 by executing a program. The processor 210 reads out programs and data stored in a ROM (not shown) and uses a RAM (not shown) as a working area. The processor 210 may include a control LSI (Large Scale Integration), but is not limited to this.

プロセッサ２１０は、押鍵検出装置２３０から押鍵情報を取得し、スピーカ２４０を制御して、取得した押鍵情報に含まれる鍵２２０の位置に応じた音高、押鍵された長さに応じた長さ、押鍵された強さに応じた大きさで音を出力させる。 The processor 210 acquires key press information from the key press detection device 230 and controls the speaker 240 to output a sound with a pitch according to the position of the key 220 included in the acquired key press information, a length according to the length of the key press, and a volume according to the strength of the key press.

プロセッサ２１０は、押鍵検出装置２３０から取得した押鍵情報に基づいて演奏情報を生成し、通信装置２６０を介して情報処理装置１００に演奏情報を送信する。 The processor 210 generates performance information based on the key press information obtained from the key press detection device 230, and transmits the performance information to the information processing device 100 via the communication device 260.

鍵２２０は、電子楽器２００が発音する音の音高、強さ、長さを指定する操作子である。ユーザは鍵２２０を操作し、押鍵する鍵２２０の位置、押鍵する強さ、及び押鍵する長さを変化させることによって、それぞれ演奏する音の音高、音の強さ、音の長さを決定する。 The keys 220 are controls that specify the pitch, strength, and duration of the sounds that the electronic musical instrument 200 produces. The user operates the keys 220 to change the position of the key 220 to be pressed, the strength with which the key is pressed, and the duration for which the key is pressed, thereby determining the pitch, strength, and duration of the sound to be played.

押鍵検出装置２３０は、ユーザによる鍵２２０の押鍵を検出する検出装置である。押鍵検出装置２３０は、ユーザによって押鍵された鍵２２０の位置、押鍵及び離鍵された時刻、押鍵された強さを検出し、押鍵情報としてプロセッサ２１０に伝達する。押鍵検出装置２３０は鍵２２０の下部に鍵２２０に接触して設けられる。押鍵検出装置２３０は例えばラバースイッチを含むが、これに限られるものではない。 The key press detection device 230 is a detection device that detects when a user presses a key 220. The key press detection device 230 detects the position of the key 220 pressed by the user, the time when the key is pressed and released, and the strength of the key press, and transmits this to the processor 210 as key press information. The key press detection device 230 is provided below the key 220 in contact with the key 220. The key press detection device 230 includes, for example, a rubber switch, but is not limited to this.

スピーカ２４０は、プロセッサ２１０から伝達された音データを音に変換して出力する出力装置である。スピーカ２４０は図示しないアンプを含む。 The speaker 240 is an output device that converts the sound data transmitted from the processor 210 into sound and outputs it. The speaker 240 includes an amplifier (not shown).

操作装置２５０は、ユーザによる入力を受け付け、操作内容を示す入力信号をプロセッサ２１０に電津する入力装置である。操作装置２５０は、例えばユーザによる音量、音色又は音質を設定する入力、演奏開始又は演奏終了を示す入力を受け付ける。操作装置２５０はボタン、スライダーを含むが、これに限られるものではない。 The operation device 250 is an input device that accepts input from the user and transmits an input signal indicating the operation content to the processor 210. The operation device 250 accepts, for example, an input by the user to set the volume, tone, or sound quality, and an input indicating the start or end of performance. The operation device 250 includes, but is not limited to, a button and a slider.

通信装置２６０は、情報処理装置１００に接続して通信を行うインターフェースである。通信装置２６０はＭＩＤＩ規格に準拠したインターフェースを含み、情報処理装置１００に接続されて演奏情報、演奏開始を示す情報、又は演奏終了を示す情報を情報処理装置１００に送信する。 The communication device 260 is an interface that connects to the information processing device 100 and communicates with it. The communication device 260 includes an interface that complies with the MIDI standard, and is connected to the information processing device 100 to transmit performance information, information indicating the start of performance, or information indicating the end of performance to the information processing device 100.

譜面台２７０は、演奏者が譜面を載置する台である。本実施の形態においては、譜面台２７０には情報処理装置１００が載置されている。 The music stand 270 is a stand on which the performer places the music score. In this embodiment, the information processing device 100 is placed on the music stand 270.

実施の形態１に係る情報処理装置１００が実行する画像出力処理について説明する。図６は、情報処理装置１００が実行する画像出力処理のフローチャートである。画像出力処理について、図６のフローチャートを参照して説明する。 The image output process executed by the information processing device 100 according to the first embodiment will be described. FIG. 6 is a flowchart of the image output process executed by the information processing device 100. The image output process will be described with reference to the flowchart in FIG. 6.

情報処理装置１００のプロセッサ１１０は、出力インターフェース１３０を介して画像出力処理の開始を示す操作入力を受け付けると、画像出力処理を開始する。 When the processor 110 of the information processing device 100 receives an operation input indicating the start of image output processing via the output interface 130, the processor 110 starts the image output processing.

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から第１演奏情報を受け付け、演奏開始タイミングを取得し、ＲＡＭ１６０に保存する（ステップＳ１０１）。 The performance determination unit 111 receives the first performance information from the electronic musical instrument 200 via the input interface 120, obtains the performance start timing, and stores it in the RAM 160 (step S101).

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏情報を受け付けると、受け付けた演奏情報にイラストを対応付ける（ステップＳ１０２）。 When the performance determination unit 111 receives performance information from the electronic musical instrument 200 via the input interface 120, it associates an illustration with the received performance information (step S102).

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けたかどうか判断する（ステップＳ１０３）。受け付けたと判断した場合（ステップＳ１０３：ＹＥＳ）、ステップＳ１０５に進む。 The performance determination unit 111 determines whether or not information indicating the end of performance has been received from the electronic musical instrument 200 via the input interface 120 (step S103). If it is determined that the information has been received (step S103: YES), the process proceeds to step S105.

受け付けていないと判断した場合（ステップＳ１０３：ＮＯ）、演奏判定部１１１は、演奏情報を受け付けずに或る時間経過したかどうか判断する（ステップＳ１０４）。経過したと判断した場合（ステップＳ１０４：ＹＥＳ）、ステップＳ１０５に進む。時間経過する前に演奏情報を受け付けた場合（ステップＳ１０４：ＮＯ）ステップＳ１０２に戻る。 If it is determined that no performance information has been received (step S103: NO), the performance determination unit 111 determines whether a certain time has passed without receiving performance information (step S104). If it is determined that a certain time has passed (step S104: YES), the process proceeds to step S105. If performance information has been received before the time has passed (step S104: NO), the process returns to step S102.

演奏判定部１１１は、演奏情報を或る時間受け付けない、又は入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けた場合、演奏終了タイミングを取得し、ＲＡＭ１６０に保存する（ステップＳ１０５）。 When the performance determination unit 111 does not accept performance information for a certain period of time, or when it accepts information indicating the end of performance from the electronic musical instrument 200 via the input interface 120, it obtains the performance end timing and stores it in the RAM 160 (step S105).

演奏終了タイミングを取得すると、演奏判定部１１１は、ＲＡＭ１６０に保存した演奏開始タイミングと演奏終了タイミングとに基づいて、演奏時間を算出する（ステップＳ１０６）。 When the performance end timing is acquired, the performance determination unit 111 calculates the performance time based on the performance start timing and performance end timing stored in the RAM 160 (step S106).

演奏時間を算出すると、軌跡生成部１１２が、演奏時間に基づいた長さの軌跡を生成する（ステップＳ１０７）。 Once the performance time is calculated, the trajectory generation unit 112 generates a trajectory whose length is based on the performance time (step S107).

軌跡を生成すると、画像情報出力部１１３は、軌跡生成部１１２が生成した軌跡上に軌跡生成部１１２が演奏情報について対応付けたイラストを配置し、画像情報を生成する（ステップＳ１０８）。 Once the trajectory has been generated, the image information output unit 113 places the illustration that the trajectory generation unit 112 has associated with the performance information on the trajectory generated by the trajectory generation unit 112, and generates image information (step S108).

画像情報を生成すると、画像情報出力部１１３は、生成した画像情報を、出力インターフェース１３０を介して表示装置１４０に出力し（ステップＳ１０９）、画像出力処理を終了する。 When the image information is generated, the image information output unit 113 outputs the generated image information to the display device 140 via the output interface 130 (step S109), and ends the image output process.

以上の構成を備えることで、実施の形態１に係る情報処理装置１００は、演奏情報を基に軌跡を生成し、生成した軌跡上にイラストを配置して、演奏全体を視覚的に表現することができる。 With the above configuration, the information processing device 100 according to embodiment 1 can generate a trajectory based on performance information and place an illustration on the generated trajectory to visually represent the entire performance.

実施の形態１に係る情報処理装置は、演奏開始タイミング及び演奏終了タイミングを取得して演奏時間を算出し、算出した演奏時間に基づいて軌跡の長さを変化させることで、演奏の長さを視覚的に表現することができる。このことにより、ユーザは、演奏の長さを表示された画像から直感的に把握することが可能になる。また、演奏の長さと画像上の軌跡の長さとが対応していることで、より演奏に適合した画像表現を行うことができる。 The information processing device according to the first embodiment can visually represent the length of a performance by acquiring the performance start timing and performance end timing to calculate the performance time, and changing the length of the trajectory based on the calculated performance time. This allows the user to intuitively grasp the length of the performance from the displayed image. Furthermore, since the length of the performance corresponds to the length of the trajectory on the image, an image representation that is more suited to the performance can be produced.

（実施の形態２）
実施の形態２に係る情報処理装置１００について、図面を参照して説明する。実施の形態２に係る情報処理装置１００のプロセッサ１１０は、演奏の力強さを判定し、力強さに基づいて画像情報を生成する。 (Embodiment 2)
An information processing device 100 according to the second embodiment will be described with reference to the drawings. The processor 110 of the information processing device 100 according to the second embodiment determines the strength of the performance and generates image information based on the strength.

実施の形態２に係る情報処理装置１００のプロセッサ１１０が含む演奏判定部１１１は、演奏情報を取得すると、演奏情報に含まれるベロシティ情報を抽出し、演奏情報毎にＲＡＭ１６０に保存する。 When the performance information is acquired by the processor 110 of the information processing device 100 according to the second embodiment, the performance determination unit 111 extracts velocity information contained in the performance information and stores it in the RAM 160 for each piece of performance information.

演奏判定部１１１は、演奏終了タイミングを取得すると、ＲＡＭ１６０に記憶された演奏情報毎のベロシティ情報から、演奏全体のベロシティ情報の平均値を算出し、演奏の力強さを判定する。 When the performance determination unit 111 obtains the performance end timing, it calculates the average velocity information of the entire performance from the velocity information for each performance information stored in the RAM 160, and determines the strength of the performance.

軌跡生成部１１２は、演奏判定部１１１が判定した演奏の力強さに応じて渦巻線の大きさを変化させた演奏の軌跡を生成する。軌跡生成部１１２は、式（２）のｒｒを演奏判定部１１１が判定した力強さに従って変化させることで、軌跡の大きさを変化させる。 The trajectory generation unit 112 generates a trajectory of a performance in which the size of the spiral line is changed according to the strength of the performance determined by the performance determination unit 111. The trajectory generation unit 112 changes the size of the trajectory by changing rr in formula (2) according to the strength of the performance determined by the performance determination unit 111.

図７（Ａ），（Ｂ）は、軌跡生成部１１２が生成する軌跡に含まれる渦巻線を示す図である。図７（Ａ）に示すように、軌跡生成部１１２は演奏の力強さが小さい場合には小さい渦巻線を出力する。図７（Ｂ）に示すように、軌跡生成部１１２は演奏の力強さが大きい場合には大きい渦巻線を出力する。 Figures 7(A) and (B) are diagrams showing spiral lines included in a trajectory generated by the trajectory generation unit 112. As shown in Figure 7(A), the trajectory generation unit 112 outputs a small spiral line when the performance is weak. As shown in Figure 7(B), the trajectory generation unit 112 outputs a large spiral line when the performance is strong.

実施の形態２に係る情報処理装置１００が実行する画像出力処理について説明する。図８は、情報処理装置１００が実行する画像出力処理のフローチャートである。画像出力処理について、図８のフローチャートを参照して説明する。 The image output process executed by the information processing device 100 according to the second embodiment will be described. FIG. 8 is a flowchart of the image output process executed by the information processing device 100. The image output process will be described with reference to the flowchart in FIG. 8.

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏情報を受け付けると、受け付けた演奏情報にイラストを対応付ける（ステップＳ２０１）。 When the performance determination unit 111 receives performance information from the electronic musical instrument 200 via the input interface 120, it associates an illustration with the received performance information (step S201).

演奏判定部１１１は、演奏情報を受け付けると、演奏情報に含まれるベロシティ情報を抽出し、ＲＡＭ１６０に保存する（ステップＳ２０２） When the performance information is received, the performance judgment unit 111 extracts the velocity information contained in the performance information and stores it in the RAM 160 (step S202).

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けたかどうか判断する（ステップＳ２０３）。受け付けたと判断した場合（ステップＳ２０３：ＹＥＳ）、ステップＳ２０５に進む。 The performance determination unit 111 determines whether or not information indicating the end of performance has been received from the electronic musical instrument 200 via the input interface 120 (step S203). If it is determined that the information has been received (step S203: YES), the process proceeds to step S205.

受け付けていないと判断した場合（ステップＳ２０３：ＮＯ）、演奏判定部１１１は、演奏情報を受け付けずに或る時間経過したかどうか判断する（ステップＳ２０４）。経過したと判断した場合（ステップＳ２０４：ＹＥＳ）、ステップＳ２０５に進む。時間経過する前に演奏情報を受け付けた場合（ステップＳ２０４：ＮＯ）ステップＳ２０１に戻る。 If it is determined that no performance information has been received (step S203: NO), the performance determination unit 111 determines whether a certain time has passed without receiving performance information (step S204). If it is determined that a certain time has passed (step S204: YES), the process proceeds to step S205. If performance information has been received before the time has passed (step S204: NO), the process returns to step S201.

演奏判定部１１１は、演奏情報を或る時間受け付けない、又は入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けた場合、ＲＡＭ１６０に保存された演奏情報毎のベロシティ情報に基づいて、演奏全体のベロシティ情報の平均を算出し、演奏の力強さを判定する（ステップＳ２０５）。 When the performance judgment unit 111 does not accept performance information for a certain period of time, or when it accepts information indicating the end of performance from the electronic musical instrument 200 via the input interface 120, it calculates the average velocity information of the entire performance based on the velocity information for each piece of performance information stored in the RAM 160, and judges the strength of the performance (step S205).

演奏の力強さを判定すると、軌跡生成部１１２が、演奏の力強さに基づいた大きさの渦巻線を含む軌跡を生成する（ステップＳ２０６）。 Once the strength of the performance has been determined, the trajectory generation unit 112 generates a trajectory including a spiral line whose size is based on the strength of the performance (step S206).

軌跡を生成すると、画像情報出力部１１３は、軌跡生成部１１２が生成した軌跡上に軌跡生成部１１２が演奏情報について対応付けたイラストを配置し、画像情報を生成する（ステップＳ２０７）。 Once the trajectory has been generated, the image information output unit 113 places the illustration that the trajectory generation unit 112 has associated with the performance information on the trajectory generated by the trajectory generation unit 112, and generates image information (step S207).

画像情報を生成すると、画像情報出力部１１３は、生成した画像情報を、出力インターフェース１３０を介して表示装置１４０に出力し（ステップＳ２０８）、画像出力処理を終了する。 When the image information is generated, the image information output unit 113 outputs the generated image information to the display device 140 via the output interface 130 (step S208), and ends the image output process.

以上の構成を備えることで、実施の形態２に係る情報処理装置１００は、演奏情報を基に軌跡を生成し、生成した軌跡上にイラストを配置して、演奏全体を視覚的に表現することができる。 With the above configuration, the information processing device 100 according to embodiment 2 can generate a trajectory based on performance information and place an illustration on the generated trajectory to visually represent the entire performance.

実施の形態２に係る情報処理装置は、演奏の力強さを判定し、判定した力強さに基づいて軌跡の大きさを変化させることで、演奏の力強さを視覚的に表現することができる。このことにより、ユーザは、演奏の力強さを表示された画像から直感的に把握することが可能になる。また、演奏の力強さと画像上の軌跡の大きさとが対応していることで、より演奏に適合した画像表現を行うことができる。 The information processing device according to the second embodiment is able to visually express the strength of a performance by determining the strength of the performance and varying the size of the trajectory based on the determined strength. This allows the user to intuitively grasp the strength of the performance from the displayed image. Furthermore, since the strength of the performance corresponds to the size of the trajectory on the image, it is possible to produce an image representation that is more suited to the performance.

（実施の形態３）
実施の形態３に係る情報処理装置１００について、図面を参照して説明する。実施の形態３に係る情報処理装置１００のプロセッサ１１０は、演奏のリズムを判定し、リズムに基づいて画像情報を生成する。 (Embodiment 3)
An information processing device 100 according to the third embodiment will be described with reference to the drawings. The processor 110 of the information processing device 100 according to the third embodiment determines the rhythm of a performance and generates image information based on the rhythm.

実施の形態３に係る情報処理装置のプロセッサ１１０が含む演奏判定部１１１は、演奏情報を取得すると、演奏情報を基にリズムを判定して、ＲＡＭ１６０に保存する。 When the processor 110 of the information processing device according to embodiment 3 acquires performance information, the performance determination unit 111 determines the rhythm based on the performance information and stores it in the RAM 160.

具体的には、演奏判定部１１１は、演奏情報を取得すると、その時点のノートと一つ前のノートとの時間差を求め、算出した時間差を一つ前のノートと二つ前のノートとの時間差と比較する。演奏判定部は、二つの時間差の差をリズム自由度としてＲＡＭ１６０に保存する。リズムが一定の演奏であればリズム自由度が小さくなり、リズムが不規則の演奏であればリズム自由度が大きくなる。リズムの算出方法は一例であり、これに限られるものではない。 Specifically, when the performance determination unit 111 acquires performance information, it calculates the time difference between the note at that time and the previous note, and compares the calculated time difference with the time difference between the previous note and the note before that. The performance determination unit stores the difference between the two time differences in the RAM 160 as the rhythmic freedom. If the performance has a constant rhythm, the rhythmic freedom will be small, and if the performance has an irregular rhythm, the rhythmic freedom will be large. The rhythm calculation method is one example and is not limited to this.

軌跡生成部１１２は、演奏判定部１１１が判定した演奏のリズムをＲＡＭ１６０から読み出し、読み出したリズムに応じて形状を変化させた渦巻線を含む演奏の軌跡を生成する。軌跡生成部１１２は、式（２）のｒｒを演奏判定部１１１が判定したリズムに従って変化させることで、渦巻線の形状を変化させる。 The trajectory generation unit 112 reads the rhythm of the performance determined by the performance determination unit 111 from the RAM 160, and generates a performance trajectory including a spiral line whose shape is changed according to the read rhythm. The trajectory generation unit 112 changes the shape of the spiral line by changing rr in formula (2) according to the rhythm determined by the performance determination unit 111.

図９（Ａ），（Ｂ）は、軌跡生成部１１２が生成する軌跡に含まれる渦巻線を示す図である。図９（Ａ）に示すように、軌跡生成部１１２は、リズムが規則的な場合には規則的な形状の軌跡を出力する。図９（Ｂ）に示すように、軌跡生成部１１２は、リズムが不規則な場合には不規則な形状の軌跡を出力する。 Figures 9 (A) and (B) are diagrams showing spiral lines included in a trajectory generated by the trajectory generation unit 112. As shown in Figure 9 (A), the trajectory generation unit 112 outputs a trajectory with a regular shape when the rhythm is regular. As shown in Figure 9 (B), the trajectory generation unit 112 outputs a trajectory with an irregular shape when the rhythm is irregular.

実施の形態３に係る情報処理装置１００が実行する画像出力処理について説明する。図１０は、情報処理装置１００が実行する画像出力処理のフローチャートである。画像出力処理について、図１０のフローチャートを参照して説明する。 The image output process executed by the information processing device 100 according to the third embodiment will be described. FIG. 10 is a flowchart of the image output process executed by the information processing device 100. The image output process will be described with reference to the flowchart in FIG. 10.

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏情報を受け付けると、受け付けた演奏情報にイラストを対応付ける（ステップＳ３０１）。 When the performance determination unit 111 receives performance information from the electronic musical instrument 200 via the input interface 120, it associates an illustration with the received performance information (step S301).

演奏判定部１１１は、演奏情報を受け付けると、演奏情報を基にリズムを判定し、ＲＡＭ１６０に保存する（ステップＳ３０２） When the performance information is received, the performance judgment unit 111 judges the rhythm based on the performance information and stores it in the RAM 160 (step S302).

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けたかどうか判断する（ステップＳ３０３）。受け付けたと判断した場合（ステップＳ３０３：ＹＥＳ）、ステップＳ３０５に進む。 The performance determination unit 111 determines whether or not information indicating the end of performance has been received from the electronic musical instrument 200 via the input interface 120 (step S303). If it is determined that the information has been received (step S303: YES), the process proceeds to step S305.

受け付けていないと判断した場合（ステップＳ３０３：ＮＯ）、演奏判定部１１１は、演奏情報を受け付けずに或る時間経過したかどうか判断する（ステップＳ３０４）。経過したと判断した場合（ステップＳ３０４：ＹＥＳ）、ステップＳ３０５に進む。時間経過する前に演奏情報を受け付けた場合（ステップＳ３０４：ＮＯ）、ステップＳ３０１に戻る。 If it is determined that no performance information has been received (step S303: NO), the performance determination unit 111 determines whether a certain time has passed without receiving performance information (step S304). If it is determined that a certain time has passed (step S304: YES), the process proceeds to step S305. If performance information has been received before the time has passed (step S304: NO), the process returns to step S301.

演奏判定部１１１は、演奏情報を或る時間受け付けない、又は入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けた場合、ＲＡＭ１６０に保存されたリズムに基づいて形状を変化させた渦巻線を含む軌跡を生成する（ステップＳ３０５）。 When the performance determination unit 111 does not accept performance information for a certain period of time, or when it accepts information indicating the end of performance from the electronic musical instrument 200 via the input interface 120, it generates a trajectory including a spiral line whose shape has been changed based on the rhythm stored in the RAM 160 (step S305).

軌跡を生成すると、画像情報出力部１１３は、軌跡生成部１１２が生成した軌跡上に軌跡生成部１１２が演奏情報について対応付けたイラストを配置し、画像情報を生成する（ステップＳ３０６）。 Once the trajectory has been generated, the image information output unit 113 places the illustration that the trajectory generation unit 112 has associated with the performance information on the trajectory generated by the trajectory generation unit 112, and generates image information (step S306).

画像情報を生成すると、画像情報出力部１１３は、生成した画像情報を、出力インターフェース１３０を介して表示装置１４０に出力し（ステップＳ３０７）、画像出力処理を終了する。 When the image information is generated, the image information output unit 113 outputs the generated image information to the display device 140 via the output interface 130 (step S307), and ends the image output process.

以上の構成を備えることで、実施の形態３に係る情報処理装置１００は、演奏情報を基に軌跡を生成し、生成した軌跡上にイラストを配置して、演奏全体を視覚的に表現することができる。 With the above configuration, the information processing device 100 according to embodiment 3 can generate a trajectory based on performance information and place an illustration on the generated trajectory to visually represent the entire performance.

実施の形態３に係る情報処理装置は、演奏のリズムを判定し、判定したリズムに基づいて軌跡の形状を変化させることで、例えばクラシックならば規則的な軌跡を含む画像、ジャズならば不規則な軌跡を含む画像を生成することができ、より演奏に適合した画像表現を行うことができる。 The information processing device according to the third embodiment determines the rhythm of the performance and changes the shape of the trajectory based on the determined rhythm, thereby generating, for example, an image including a regular trajectory for classical music and an image including an irregular trajectory for jazz music, thereby enabling image representation that is more suited to the performance.

（実施の形態４）
実施の形態４に係る情報処理装置１００について、図面を参照して説明する。実施の形態４に係る情報処理装置１００のプロセッサ１１０は、演奏の調性を判定し、調性に基づいて画像情報を生成する。 (Embodiment 4)
An information processing device 100 according to embodiment 4 will be described with reference to the drawings. The processor 110 of the information processing device 100 according to embodiment 4 determines the key of the performance, and generates image information based on the key.

実施の形態３に係る情報処理装置のプロセッサ１１０が含む演奏判定部１１１は、演奏情報を取得すると、演奏情報を基に演奏の調性を判定して、ＲＡＭ１６０に保存する。 When the processor 110 of the information processing device according to embodiment 3 acquires performance information, the performance determination unit 111 determines the key of the performance based on the performance information and stores the determined key in the RAM 160.

軌跡生成部１１２は、演奏判定部１１１が判定した演奏の調性をＲＡＭ１６０から読み出し、読み出した演奏の調性に応じて着色された着色帯を含む演奏の軌跡を生成する。着色帯は、軌跡に含まれる渦巻線に重なって表示される帯状の画像である。 The trajectory generating unit 112 reads out the key of the performance determined by the performance determining unit 111 from the RAM 160, and generates a trajectory of the performance including a colored band that is colored according to the read key of the performance. The colored band is a band-shaped image that is displayed overlapping the spiral line included in the trajectory.

ＲＯＭ１７０は、演奏の調性と色とを対応付けたテーブルを記憶する。軌跡生成部１１２は、演奏の調整に対応付けられた色の情報をＲＯＭ１７０から読み出し、着色帯の色として決定する。ＲＯＭ１７０は、例えばスクリャービンの調性色に基づいて調整と色とを対応付けたテーブルを記憶するが、ＲＯＭ１７０が記憶するテーブルはこれに限られるものではない。 The ROM 170 stores a table that associates the tonality of the performance with a color. The trajectory generation unit 112 reads color information associated with the adjustment of the performance from the ROM 170 and determines the color of the colored band. The ROM 170 stores a table that associates adjustment with a color based on Scriabin's tonal colors, for example, but the tables stored in the ROM 170 are not limited to this.

実施の形態４に係る情報処理装置１００が実行する画像出力処理について説明する。図１１は、情報処理装置１００が実行する画像出力処理のフローチャートである。画像出力処理について、図１１のフローチャートを参照して説明する。 The image output process executed by the information processing device 100 according to the fourth embodiment will be described. FIG. 11 is a flowchart of the image output process executed by the information processing device 100. The image output process will be described with reference to the flowchart in FIG. 11.

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏情報を受け付けると、受け付けた演奏情報にイラストを対応付ける（ステップＳ４０１）。 When the performance determination unit 111 receives performance information from the electronic musical instrument 200 via the input interface 120, it associates an illustration with the received performance information (step S401).

演奏判定部１１１は、演奏情報を受け付けると、演奏情報を基に演奏の調性を判定し、ＲＡＭ１６０に保存する（ステップＳ４０２） When the performance information is received, the performance judgment unit 111 judges the key of the performance based on the performance information and stores it in the RAM 160 (step S402).

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けたかどうか判断する（ステップＳ４０３）。受け付けたと判断した場合（ステップＳ４０３：ＹＥＳ）、ステップＳ４０５に進む。 The performance determination unit 111 determines whether or not information indicating the end of performance has been received from the electronic musical instrument 200 via the input interface 120 (step S403). If it is determined that the information has been received (step S403: YES), the process proceeds to step S405.

受け付けていないと判断した場合（ステップＳ４０３：ＮＯ）、演奏判定部１１１は、演奏情報を受け付けずに或る時間経過したかどうか判断する（ステップＳ４０４）。経過したと判断した場合（ステップＳ４０４：ＹＥＳ）、ステップＳ４０５に進む。時間経過する前に演奏情報を受け付けた場合（ステップＳ４０４：ＮＯ）ステップＳ４０１に戻る。 If it is determined that no performance information has been received (step S403: NO), the performance determination unit 111 determines whether a certain time has passed without receiving performance information (step S404). If it is determined that a certain time has passed (step S404: YES), the process proceeds to step S405. If performance information has been received before the time has passed (step S404: NO), the process returns to step S401.

演奏判定部１１１は、演奏情報を或る時間受け付けない、又は入力インターフェース１２０を介して電子楽器２００から演奏終了を示す情報を受け付けた場合、ＲＡＭ１６０に保存された調性に基づいて着色した軌跡を生成する（ステップＳ４０５）。 When the performance determination unit 111 does not accept performance information for a certain period of time, or when it accepts information indicating the end of performance from the electronic musical instrument 200 via the input interface 120, it generates a colored trajectory based on the key stored in the RAM 160 (step S405).

軌跡を生成すると、画像情報出力部１１３は、軌跡生成部１１２が生成した軌跡上に軌跡生成部１１２が演奏情報について対応付けたイラストを配置し、画像情報を生成する（ステップＳ４０６）。 Once the trajectory has been generated, the image information output unit 113 places the illustration that the trajectory generation unit 112 has associated with the performance information on the trajectory generated by the trajectory generation unit 112, and generates image information (step S406).

画像情報を生成すると、画像情報出力部１１３は、生成した画像情報を、出力インターフェース１３０を介して表示装置１４０に出力し（ステップＳ４０７）、画像出力処理を終了する。 When the image information is generated, the image information output unit 113 outputs the generated image information to the display device 140 via the output interface 130 (step S407), and ends the image output process.

以上の構成を備えることで、実施の形態４に係る情報処理装置１００は、演奏情報を基に軌跡を生成し、生成した軌跡上にイラストを配置して、演奏全体を視覚的に表現することができる。 With the above configuration, the information processing device 100 according to embodiment 4 can generate a trajectory based on performance information and place an illustration on the generated trajectory to visually represent the entire performance.

実施の形態４に係る情報処理装置は、演奏の調性を判定し、判定した調性に基づいて軌跡の色を変化させることで、演奏の調性及びその変化（転調）を視覚的に表現することができる。このことにより、ユーザは、演奏の調構造を表示された画像から直感的に把握することが可能になる。また、演奏の調性と画像上の軌跡の色とが対応していることで、より演奏に適合した画像表現を行うことができる。 The information processing device according to embodiment 4 is able to visually represent the key of the performance and its changes (modulations) by determining the key of the performance and changing the color of the trajectory based on the determined key. This allows the user to intuitively grasp the key structure of the performance from the displayed image. Furthermore, since the key of the performance corresponds to the color of the trajectory on the image, it is possible to provide an image representation that is more suited to the performance.

（変形例）
以上に本発明の実施の形態について説明したが、この実施の形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、本発明の実施の形態は種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。 (Modification)
Although the embodiment of the present invention has been described above, this embodiment is merely an example, and the scope of application of the present invention is not limited to this. In other words, the embodiment of the present invention can be applied in various ways, and all embodiments are included in the scope of the present invention.

情報処理装置１００は表示装置１４０を備えるとしたが、これに限られるものではない。表示装置１４０を備えず、情報処理装置１００の外部の表示装置と出力インターフェース１３０を介して接続されていても良い。外部の表示装置は例えば液晶表示装置、有機ＥＬ表示装置、映像プロジェクタを含むが、これに限られるものではない。 The information processing device 100 is described as including a display device 140, but is not limited to this. The information processing device 100 may not include a display device 140 and may be connected to an external display device via the output interface 130. Examples of external display devices include, but are not limited to, a liquid crystal display device, an organic EL display device, and a video projector.

演奏判定部１１１は、入力インターフェース１２０を介して電子楽器２００から第１演奏情報を受け付け、第１演奏情報を受け付けたタイミングを演奏開始タイミングとして取得するとしたが、これに限られるものではない。入力インターフェース１２０を介して電子楽器２００から演奏開始を示す情報を受け付け、演奏開始を示す情報を受け付けたタイミングを演奏開始タイミングとして取得しても良い。 The performance determination unit 111 receives the first performance information from the electronic musical instrument 200 via the input interface 120, and obtains the timing at which the first performance information is received as the performance start timing, but this is not limited to the above. It may also receive information indicating the start of performance from the electronic musical instrument 200 via the input interface 120, and obtain the timing at which the information indicating the start of performance is received as the performance start timing.

軌跡生成部１１２は渦巻線状の軌跡を生成するとしたが、これに限られるものではない。図１２は、軌跡生成部１１２が生成する軌跡に含まれる線を示す図である。図１２に示すように、軌跡生成部１１２は、渦巻線を形成するポイントの一部を直線に置換してつなげることで、渦巻線と直線とを組み合わせた軌跡を生成しても良い。また、直線と曲線とを組み合わせた任意の形状の軌跡を生成しても良い。 Although the trajectory generating unit 112 generates a spiral-shaped trajectory, this is not limited to this. FIG. 12 is a diagram showing lines included in a trajectory generated by the trajectory generating unit 112. As shown in FIG. 12, the trajectory generating unit 112 may generate a trajectory that combines a spiral line and a straight line by replacing some of the points that form the spiral line with straight lines and connecting them. In addition, a trajectory of any shape that combines straight lines and curves may be generated.

電子楽器２００は鍵２２０を備える電子鍵盤楽器であるとしたが、これに限られるものではない。電子楽器２００は演奏情報を出力すれば良く、弦楽器状、管楽器状、打楽器状であっても良い。ピアノを含む電子楽器でない楽器の音を電気信号に変換し、演奏情報として出力する装置であっても良い。 Although electronic musical instrument 200 has been described as an electronic keyboard instrument equipped with keys 220, it is not limited to this. Electronic musical instrument 200 only needs to output performance information, and may be a stringed instrument, wind instrument, or percussion instrument. It may also be a device that converts the sound of a non-electronic instrument, including a piano, into an electrical signal and outputs it as performance information.

電子楽器２００はスピーカ２４０を備えるとしたが、これに限られるものではない。ヘッドホン又はイヤホン、若しくはヘッドホン又はイヤホンに接続される有線又は無線の接続端子を備えてもよい。 Although the electronic musical instrument 200 is described as having a speaker 240, this is not limited to this. It may also have headphones or earphones, or a wired or wireless connection terminal for connecting to headphones or earphones.

電子楽器２００は譜面台２７０を備え、譜面台２７０に情報処理装置１００が載置されるとしたが、これに限られるものではない。情報処理装置１００は他の場所に置かれても良いし、その場合電子楽器２００が譜面台２７０を備えなくてもよい。 The electronic musical instrument 200 is provided with a music stand 270, and the information processing device 100 is placed on the music stand 270, but this is not limited to the above. The information processing device 100 may be placed in another location, in which case the electronic musical instrument 200 does not need to be provided with a music stand 270.

実施の形態２において、演奏判定部１１１は、演奏情報を取得すると演奏情報に含まれるベロシティ情報を抽出し、演奏情報毎にＲＡＭ１６０に保存するとしたが、これに限られるものではない。演奏判定部１１１は、或る時間毎に複数個のノートのベロシティ情報の平均値を算出し、ＲＡＭ１６０に保存しても良い。 In the second embodiment, the performance determination unit 111 extracts velocity information contained in the performance information when it acquires the performance information, and stores the velocity information in the RAM 160 for each piece of performance information, but this is not limited to the above. The performance determination unit 111 may calculate the average value of the velocity information of multiple notes at each certain time period, and store the average value in the RAM 160.

実施の形態１－４に係る情報処理装置１００の構成を任意に組み合わせて実施しても良い。例えば、実施の形態１と２とを組み合わせ、演奏判定部１１１が算出した演奏時間及び演奏判定部１１１が判定した演奏の力強さにそれぞれ応じて長さ及び大きさを変化させた軌跡を生成しても良い。その他の実施の形態についても同様である。 The configurations of the information processing device 100 according to embodiments 1-4 may be implemented in any combination. For example, embodiments 1 and 2 may be combined to generate a trajectory whose length and size are changed according to the performance time calculated by the performance judgment unit 111 and the strength of the performance judged by the performance judgment unit 111, respectively. The same applies to the other embodiments.

なお、本発明に係る機能を実現するための構成を予め備えた情報処理装置として提供できることはもとより、プログラムの適用により、既存の情報処理装置を、本発明に係る情報処理装置として機能させることもできる。すなわち、実施の形態及び変形例で例示した情報処理装置による機能を実現させるためのプログラムを、既存の情報処理装置を制御するＣＰＵ等が実行できるように適用することで、本発明に係る情報処理装置として機能させることができる。また、本発明に係る方法は、情報処理装置を用いて実施できる。 In addition to being able to provide an information processing device that is already equipped with the configuration for realizing the functions of the present invention, an existing information processing device can also be made to function as an information processing device of the present invention by applying a program. That is, by applying a program for realizing the functions of the information processing device exemplified in the embodiment and modified example so that it can be executed by a CPU or the like that controls the existing information processing device, it can be made to function as an information processing device of the present invention. In addition, the method of the present invention can be implemented using an information processing device.

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信しても良い。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成しても良い。 Furthermore, the method of applying such a program is arbitrary. For example, the program can be applied by storing it on a computer-readable storage medium such as a flexible disk, a CD (Compact Disc)-ROM, a DVD (Digital Versatile Disc)-ROM, or a memory card. Furthermore, the program can be superimposed on a carrier wave and applied via a communication medium such as the Internet. For example, the program can be posted and distributed on a bulletin board system (BBS) on a communication network. The program can then be started and executed under the control of an OS (Operating System) in the same way as other application programs, thereby enabling the above processing to be performed.

以上、本発明の好ましい実施の形態について説明したが、本発明は係る特定の実施の形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。 Although the preferred embodiment of the present invention has been described above, the present invention is not limited to the specific embodiment, and includes the inventions described in the claims and their equivalents. The inventions described in the original claims of this application are listed below.

（付記１）
入力インターフェースと、
出力インターフェースと、
少なくとも一つのプロセッサと、を備え、
前記少なくとも一つのプロセッサは、
演奏開始タイミングを取得し、
演奏終了タイミングを取得し、
取得された前記演奏開始タイミング及び前記演奏終了タイミングに基づいて演奏時間を取得し、
取得された前記演奏時間に応じた長さを有する軌跡を決定し、
前記入力インターフェースから入力される複数の演奏情報に応じて決定される複数のイラストが、決定された前記軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力する、
情報処理装置。 (Appendix 1)
An input interface;
An output interface;
At least one processor;
The at least one processor:
Get the timing to start playing
Obtain the timing of the end of the performance,
acquiring a performance time based on the acquired performance start timing and the acquired performance end timing;
determining a trajectory having a length corresponding to the acquired playing time;
outputting, from the output interface, information for displaying an image in which a plurality of illustrations determined in response to a plurality of pieces of performance information input from the input interface are arranged along the determined trajectory;
Information processing device.

（付記２）
前記少なくとも一つのプロセッサは、
前記演奏時間が第１時間長のときに決定する前記軌跡の長さは、前記演奏時間が前記第１時間長より長い第２時間長のときに決定する前記軌跡の長さより短くなるように、前記軌跡を決定する、
付記１に記載の情報処理装置。 (Appendix 2)
The at least one processor:
determining the trajectory such that a length of the trajectory determined when the performance time is a first length is shorter than a length of the trajectory determined when the performance time is a second length longer than the first length;
2. The information processing device according to claim 1.

（付記３）
前記少なくとも一つのプロセッサは、
旋回するにつれて前記画像内の或る位置に近づく渦巻の軌跡に沿って前記複数のイラストを配置する、
付記１又は２に記載の情報処理装置。 (Appendix 3)
The at least one processor:
placing the plurality of illustrations along a trajectory of a spiral that approaches a position within the image as it rotates;
3. The information processing device according to claim 1 or 2.

（付記４）
前記演奏情報はベロシティ情報を含み、
前記少なくとも一つのプロセッサは、
受け付けた前記演奏情報に含まれる前記ベロシティ情報に応じて、演奏の力強さを判定し、
判定された前記演奏の力強さに応じて、前記渦巻の軌跡の大きさを変化させる、
付記３に記載の情報処理装置。 (Appendix 4)
the performance information includes velocity information,
The at least one processor:
determining the strength of the performance according to the velocity information included in the received performance information;
changing a size of the trajectory of the spiral in accordance with the determined strength of the performance;
4. The information processing device according to claim 3.

（付記５）
前記少なくとも一つのプロセッサは、
受け付けた前記演奏情報から演奏のリズムを判定し、
判定された前記演奏のリズムに応じて、前記渦巻の軌跡の形状を変形させる、
付記３又は４に記載の情報処理装置。 (Appendix 5)
The at least one processor:
determining a rhythm of a performance from the received performance information;
changing a shape of the trajectory of the spiral in accordance with the determined rhythm of the performance;
5. The information processing device according to claim 3 or 4.

（付記６）
前記演奏情報は音高情報を含み、
前記少なくとも一つのプロセッサは、
受け付けた前記演奏情報に含まれる前記音高情報から調性を判定し、
前記軌跡に沿って表示する色を、判定された前記調性に応じて変化させる、
付記１から５のいずれか一つに記載の情報処理装置。 (Appendix 6)
the performance information includes pitch information,
The at least one processor:
determining a key from the pitch information included in the received performance information;
A color displayed along the trajectory is changed according to the determined key.
6. An information processing device according to any one of claims 1 to 5.

（付記７）
入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに、
演奏開始タイミングを取得させ、
演奏終了タイミングを取得させ、
取得された前記演奏開始タイミング及び前記演奏終了タイミングに基づいて演奏時間を取得させ、
取得された前記演奏時間に応じた長さを有する軌跡を決定させ、
前記入力インターフェースから入力される複数の演奏情報に応じて決定される複数のイラストが、決定された前記軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
方法。 (Appendix 7)
A computer of an information processing device having an input interface and an output interface,
Obtain the timing to start playing,
Obtain the timing of the end of the performance,
acquiring a performance time based on the acquired performance start timing and the acquired performance end timing;
determining a trajectory having a length corresponding to the acquired playing time;
outputting, from the output interface, information for displaying an image in which a plurality of illustrations determined in response to a plurality of pieces of performance information input from the input interface are arranged along the determined trajectory;
method.

（付記８）
入力インターフェースと、出力インターフェースと、を備える情報処理装置のコンピュータに、
演奏開始タイミングを取得させ、
演奏終了タイミングを取得させ、
取得された前記演奏開始タイミング及び前記演奏終了タイミングに基づいて演奏時間を取得させ、
取得された前記演奏時間に応じた長さを有する軌跡を決定させ、
前記入力インターフェースから入力される複数の演奏情報に応じて決定される複数のイラストが、決定された前記軌跡に沿って配置される画像を表示するための情報を、前記出力インターフェースから出力させる、
プログラム。 (Appendix 8)
A computer of an information processing device having an input interface and an output interface,
Obtain the timing to start playing,
Obtain the timing of the end of the performance,
acquiring a performance time based on the acquired performance start timing and the acquired performance end timing;
determining a trajectory having a length corresponding to the acquired playing time;
outputting, from the output interface, information for displaying an image in which a plurality of illustrations determined in response to a plurality of pieces of performance information input from the input interface are arranged along the determined trajectory;
program.

１…電子楽器システム、１００…情報処理装置、１１０…プロセッサ、１１１…演奏判定部、１１２…軌跡生成部、１１３…画像情報出力部、１２０…入力インターフェース、１３０…出力インターフェース、１４０…表示装置、１５０…操作装置、１６０…ＲＡＭ、１７０…ＲＯＭ、２００…電子楽器、２１０…プロセッサ、２２０…鍵、２３０…押鍵検出装置、２４０…スピーカ、２５０…操作装置、２６０…通信装置、２７０…譜面台 1...Electronic musical instrument system, 100...Information processing device, 110...Processor, 111...Performance determination unit, 112...Trajectory generation unit, 113...Image information output unit, 120...Input interface, 130...Output interface, 140...Display device, 150...Operation device, 160...RAM, 170...ROM, 200...Electronic musical instrument, 210...Processor, 220...Key, 230...Key press detection device, 240...Speaker, 250...Operation device, 260...Communication device, 270...Music stand

Claims

At least one processor ,
The at least one processor:
a plurality of illustrations are arranged along a locus having a length corresponding to a performance time based on a performance start timing and a performance end timing, and information for displaying an image in which the plurality of illustrations are arranged along the locus is output from an output interface so that the size of the locus is changed according to velocity information based on the plurality of performance information input from an input interface;
Information processing device.

At least one processor ,
The at least one processor:
a plurality of illustrations are arranged along a locus having a length corresponding to a performance time based on a performance start timing and a performance end timing , and information for displaying an image in which the plurality of illustrations are arranged along the locus is output from an output interface so that a shape of the locus is changed according to a performance rhythm based on a plurality of pieces of performance information input from an input interface;
Information processing device.

The at least one processor:
determining the trajectory such that a length of the trajectory determined when the performance time is a first length is shorter than a length of the trajectory determined when the performance time is a second length longer than the first length;
3. The information processing device according to claim 1 or 2.

the performance information includes velocity information,
The at least one processor:
determining the strength of the performance according to the velocity information included in the received performance information;
changing the size of the trajectory in accordance with the determined strength of the performance;
The information processing device according to claim 2 .

The at least one processor:
determining a rhythm of a performance from the received performance information;
The shape of the trajectory is changed in accordance with the determined rhythm of the performance.
The information processing device according to claim 1 .

the performance information includes pitch information,
The at least one processor:
determining a key from the pitch information included in the received performance information;
A color displayed along the trajectory is changed according to the determined key.
The information processing device according to claim 1 .

The computer of the information processing device
a plurality of illustrations are arranged along a locus having a length corresponding to a performance time based on a performance start timing and a performance end timing , and information for displaying an image in which the plurality of illustrations are arranged along the locus is output from an output interface so that the size of the locus is changed according to velocity information based on a plurality of pieces of performance information input from an input interface ;
method.

The computer of the information processing device
a plurality of illustrations are arranged along a locus having a length corresponding to a performance time based on a performance start timing and a performance end timing , and information for displaying an image in which the plurality of illustrations are arranged along the locus is output from an output interface so that the shape of the locus is changed according to the rhythm of the performance based on the plurality of pieces of performance information input from an input interface;
method.

The computer of the information processing device
a plurality of illustrations are arranged along a locus having a length corresponding to a performance time based on a performance start timing and a performance end timing , and information for displaying an image in which the plurality of illustrations are arranged along the locus is output from an output interface so that the size of the locus is changed according to velocity information based on a plurality of pieces of performance information input from an input interface ;
program.

The computer of the information processing device
a plurality of illustrations are arranged along a locus having a length corresponding to a performance time based on a performance start timing and a performance end timing , and information for displaying an image in which the plurality of illustrations are arranged along the locus is output from an output interface so that the shape of the locus is changed according to the rhythm of the performance based on the plurality of pieces of performance information input from an input interface;
program.