JP4722652B2 - Audio information processing apparatus, audio information processing method, and program - Google Patents
Audio information processing apparatus, audio information processing method, and program Download PDFInfo
- Publication number
- JP4722652B2 JP4722652B2 JP2005283185A JP2005283185A JP4722652B2 JP 4722652 B2 JP4722652 B2 JP 4722652B2 JP 2005283185 A JP2005283185 A JP 2005283185A JP 2005283185 A JP2005283185 A JP 2005283185A JP 4722652 B2 JP4722652 B2 JP 4722652B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency band
- frequency
- sum
- storage unit
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、入力される音声情報の周波数特性に応じて処理を変化させるのに好適な音声情報処理装置、音声情報処理方法、ならびに、これらをコンピュータにて実現するプログラムに関する。 The present invention relates to a voice information processing apparatus, a voice information processing method, and a program for realizing these on a computer, which are suitable for changing processing according to frequency characteristics of inputted voice information.
従来から、人間が声を出してマイクなどを介して音声情報をコンピュータに与え、当該音声情報に対応した処理をコンピュータに行わせる音声情報処理システムが提案されている。このようなシステムに関連する技術は、以下の文献に開示されている。
[特許文献１]においては、音声入力時において、より音声認識に適した文字列を案内表示することにより、ゲーム装置への指示を快適に進める技術が提案されている。 [Patent Document 1] proposes a technique for comfortably advancing instructions to a game device by guiding and displaying a character string that is more suitable for voice recognition during voice input.
一方で、計算資源の限られたゲーム装置では、音韻等の解析を行うことが難しい場合もある。したがって、入力された音声情報に基づいて、行うべき処理を決定するための、簡易な手法が求められている。 On the other hand, it may be difficult to analyze phonemes and the like in a game device with limited computational resources. Therefore, there is a need for a simple method for determining a process to be performed based on input voice information.
特に、入力される音声の周波数特性に応じて複数ある処理項目からいずれかを、簡易に判別する手法が強く望まれている。 In particular, there is a strong demand for a method for easily discriminating any one of a plurality of processing items according to the frequency characteristics of input voice.
本発明は、このような課題を解決するものであり、入力される音声情報の周波数特性に応じて処理を変化させるのに好適な音声情報処理装置、音声情報処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することを目的とする。 The present invention solves such problems, and is suitable for changing the processing according to the frequency characteristics of the input voice information, the voice information processing method, and these in a computer. The purpose is to provide a program to be realized.
以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する。 In order to achieve the above object, the following invention is disclosed in accordance with the principle of the present invention.
本発明の第１の観点に係る音声処理装置は、入力受付部、フーリエ変換部、パラメータ記憶部、変化量計算部、更新部、選択出力部を備え、以下のように構成する。 The speech processing apparatus according to the first aspect of the present invention includes an input reception unit, a Fourier transform unit, a parameter storage unit, a change amount calculation unit, an update unit, and a selection output unit, and is configured as follows.
すなわち、入力受付部は、音声情報の入力を受け付ける。典型的には、入力受付部はマイクなどの音声入力装置によって音声情報の入力を受け付けるが、音声情報は、空気や液体、個体などのこれらの媒質の圧力や位置などが振動する際の変位を数値化したものであり、ファイルに記録された音声情報やネットワークを介して入手される音声情報など、種々の音声情報に対して本音声情報処理装置を適用することができる。 That is, the input receiving unit receives input of audio information. Typically, the input receiving unit receives an input of audio information by an audio input device such as a microphone, but the audio information indicates a displacement when the pressure or position of these media such as air, liquid, and solid vibrates. The voice information processing apparatus can be applied to various voice information such as voice information recorded in a file and voice information obtained via a network.
一方、フーリエ変換部は、入力を受け付けられた音声情報をフーリエ変換して、複数の周波数成分の強度を得る。典型的には、コンピュータを用いて高速フーリエ変換を行う。高速フーリエ変換は、各周波数成分の幅をf、処理の段数をNとしたときに、入力された音声情報を、0，f，2f，3f，…，(2N-1)fの周波数の強度成分に分解するものである。 On the other hand, the Fourier transform unit performs Fourier transform on the audio information received as input, and obtains the intensity of a plurality of frequency components. Typically, fast Fourier transform is performed using a computer. In the fast Fourier transform, when the width of each frequency component is f and the number of processing stages is N, the input speech information is converted to a frequency of 0, f, 2f, 3f, ..., (2 N -1) f. It breaks down into strength components.
さらに、パラメータ記憶部には、複数の周波数帯のそれぞれに対応付けられるパラメータが記憶される。典型的には、周波数帯をM個とした場合、要素M個の配列pがメモリ内に用意され、フーリエ変換後の周波数成分のうち、
0 以上 (2N)f/M 未満の成分が、p[0]に対応付けられ、
(2N)f/M 以上 2×(2N)f/M 未満の成分が、p[1]に対応付けられ、
2×(2N)f/M 以上 3×(2N)f/M 未満の成分が、p[2]に対応付けられ、
…
i×(2N)f/M 以上 (i+1)×(2N)f/M 未満の成分が、p[i]に対応付けられ、
…
(M-1)×(2N)f/M 以上 M×(2N)f/M 未満の成分が、p[M-1]に対応付けられる。
Further, the parameter storage unit stores parameters associated with each of the plurality of frequency bands. Typically, when there are M frequency bands, an array p of M elements is prepared in the memory, and among the frequency components after Fourier transform,
Components greater than or equal to 0 and less than (2 N ) f / M are associated with p [0],
(2 N) f / M or 2 × (2 N) f / M less components, associated with p [1],
Components of 2 × (2 N ) f / M or more and less than 3 × (2 N ) f / M are associated with p [2],
...
A component not less than i × (2 N ) f / M and less than (i + 1) × (2 N ) f / M is associated with p [i],
...
Components of (M-1) × (2 N ) f / M and less than M × (2 N ) f / M are associated with p [M-1].
そして、変化量計算部は、所定の時間おきに、当該複数の周波数帯のそれぞれについて、得られた複数の周波数成分の強度のうち当該周波数帯に属する強度から、当該周波数帯に対応付けられるパラメータの変化量を求める。 Then, the change amount calculation unit, for each of the plurality of frequency bands, calculates the parameter associated with the frequency band from the intensity belonging to the frequency band among the obtained frequency component intensities for each of the plurality of frequency bands. Find the amount of change.
したがって、パラメータp[i]の変化量Δ[i]は、i×(2N)f/M 以上 (i+1)×(2N)f/M 未満の周波数成分の強度によって定められることになる。 Therefore, the change amount Δ [i] of the parameter p [i] is determined by the intensity of the frequency component that is not less than i × (2 N ) f / M and less than (i + 1) × (2 N ) f / M. Become.
一方、更新部は、当該複数の周波数帯のそれぞれについて、パラメータ記憶部に当該周波数帯に対応付けられて記憶されるパラメータを、当該周波数帯に対して求められた変化量だけ変化させる。すなわち、各i (0≦i<M)について、p[i]の値をp[i]+Δ[i]に上書き更新するのである。 On the other hand, for each of the plurality of frequency bands, the update unit changes the parameter stored in the parameter storage unit in association with the frequency band by the amount of change obtained for the frequency band. That is, for each i (0 ≦ i <M), the value of p [i] is overwritten and updated to p [i] + Δ [i].
そして、選択出力部は、パラメータ記憶部に記憶されるパラメータにより、複数の処理項目からいずれかを選択して出力する。 The selection output unit selects and outputs one of the plurality of processing items according to the parameters stored in the parameter storage unit.
パラメータp[i]のそれぞれの値が何らかの条件を満たすことをもって、複数の処理項目からいずれかを選択するのである。当該条件は、適用分野等に応じて、適宜設定することができる。 When each value of the parameter p [i] satisfies some condition, one of the plurality of processing items is selected. The conditions can be set as appropriate according to the application field.
本発明によれば、入力される音声情報の周波数特性に応じて処理を変化させることができる。 According to the present invention, the processing can be changed according to the frequency characteristics of the input voice information.
また、本発明の音声情報処理装置において、変化量計算部は、当該複数の周波数帯のそれぞれについて、得られた複数の周波数成分の強度のうち当該周波数帯に属する強度の総和が
（ａ）所定の閾値以上である場合、当該総和にあらかじめ対応付けられた正値を変化量とし、
（ｂ）連続して所定の閾値未満である時間が所定の閾時間以上である場合、当該パラメータの値の符号を反転した値を変化量とする
ように構成することができる。
In the audio information processing apparatus according to the present invention, the change amount calculation unit may calculate, for each of the plurality of frequency bands, a sum of the intensities belonging to the frequency band among the obtained intensities of the plurality of frequency components. If it is equal to or greater than the threshold value, the positive value previously associated with the sum is taken as the amount of change,
(B) When the time continuously being less than the predetermined threshold is equal to or longer than the predetermined threshold time, a value obtained by inverting the sign of the parameter value can be configured as the amount of change.
たとえば、Δ[i]を求める場合、i×(2N)f/M 以上 (i+1)×(2N)f/M 未満の成分の総和S[i]を求め、この値に対応付けられた正値をΔ[i]とするのである。S[i]に対応付けられた正値としては、たとえば、S[i]そのものや、S[i]に所定の正値を乗じたもの、S[i]に対して階段状に単調増加するように対応付けられた正値を用いるものなどが考えられる。 For example, when obtaining Δ [i], the sum S [i] of components not less than i × (2 N ) f / M and less than (i + 1) × (2 N ) f / M is obtained and associated with this value The obtained positive value is set to Δ [i]. As a positive value associated with S [i], for example, S [i] itself, a value obtained by multiplying S [i] by a predetermined positive value, or a monotonically increasing step with respect to S [i] In this case, a positive value associated with each other can be used.
なお、総和S[i]がある程度小さい、すなわち、本質的には無音に相当するがときおり雑音が混じる、という状態が所定の閾時間以上連続したときは、-p[i]をΔ[i]とする。これにより更新を行うと、p[i]の値は０にクリアされる。 When the total sum S [i] is small to some extent, that is, it is essentially silent, but sometimes noise is mixed, -p [i] is set to Δ [i] And As a result, when updating is performed, the value of p [i] is cleared to zero.
本発明は、パラメータの変化量を定める上記発明の好適実施形態である。 The present invention is a preferred embodiment of the above invention that defines the amount of parameter change.
また、本発明の音声情報処理装置は、仮想空間情報記憶部をさらに備え、以下のように構成する。 The audio information processing apparatus of the present invention further includes a virtual space information storage unit, and is configured as follows.
すなわち、仮想空間情報記憶部には、仮想空間においてユーザの指示入力により移動するキャラクターと、当該キャラクターによる操作を受け付けるオブジェクトと、の位置が記憶される。 That is, the virtual space information storage unit stores the positions of a character that moves in response to a user instruction in the virtual space and an object that receives an operation by the character.
一方、変化量計算部は、当該複数の周波数帯のそれぞれについて、得られた複数の周波数成分の強度のうち当該周波数帯に属する強度の総和が
（ａ）所定の閾値以上である場合、
（ｘ）当該周波数帯が、当該周波数帯に属する強度の総和が最大となる周波数帯である場合、仮想空間情報記憶部に記憶されたキャラクターとオブジェクトの位置から、当該キャラクターと当該オブジェクトの間の距離を求め、当該総和にあらかじめ対応付けられた正値から、当該求められた距離にあらかじめ対応付けられた正値を減算した値を変化量とし、
（ｙ）当該周波数帯が、当該周波数帯に属する強度の総和が最大となる周波数帯でない場合、当該総和にあらかじめ対応付けられた正値を変化量とし、
（ｂ）連続して所定の閾値未満である時間が所定の閾時間以上である場合、当該パラメータの値の符号を反転した値を変化量とする。
On the other hand, the change amount calculation unit, for each of the plurality of frequency bands, the sum of the strengths belonging to the frequency band among the obtained intensity of the plurality of frequency components is (a) a predetermined threshold or more,
(X) When the frequency band is a frequency band where the sum of the intensities belonging to the frequency band is the maximum, the position between the character and the object is determined from the position of the character and the object stored in the virtual space information storage unit. The distance is obtained, and the value obtained by subtracting the positive value previously associated with the obtained distance from the positive value previously associated with the sum is used as the amount of change.
(Y) If the frequency band is not a frequency band where the sum of the strengths belonging to the frequency band is the maximum, a positive value associated with the sum in advance is used as the amount of change.
(B) When the time continuously being less than the predetermined threshold is equal to or longer than the predetermined threshold time, a value obtained by inverting the sign of the parameter value is set as the amount of change.
本発明の構成は、上記の発明と同様に、ある周波数帯において無音状態が続くとパラメータがクリアされる。ただし、仮想空間のキャラクターとオブジェクトの間の距離によって、パラメータの更新の仕方が変わる点が異なる。 In the configuration of the present invention, the parameter is cleared when the silent state continues in a certain frequency band, as in the above-described invention. However, the difference is that the parameter update method changes depending on the distance between the character and the object in the virtual space.
特に、S[0]，…，S[M-1]のうち最大の値を持つS[j]については、キャラクターとオブジェクトの距離に応じた変化量Δ[j]を採用するが、i≠jの場合の変化量Δ[i]は、上記実施形態と同様である。 In particular, for S [j] having the maximum value among S [0],..., S [M-1], the variation Δ [j] corresponding to the distance between the character and the object is adopted, but i ≠ The change amount Δ [i] in the case of j is the same as that in the above embodiment.
本発明は、パラメータの変化量を定める上記発明の好適実施形態である。 The present invention is a preferred embodiment of the above invention that defines the amount of parameter change.
本発明のその他の観点に係る音声情報処理方法は、複数の周波数帯のそれぞれに対応付けられるパラメータが記憶されるパラメータ記憶部を用い、入力受付工程、フーリエ変換工程、変化量計算工程、更新工程、選択出力工程を備え、以下のように構成する。 A speech information processing method according to another aspect of the present invention uses a parameter storage unit that stores parameters associated with each of a plurality of frequency bands, an input reception process, a Fourier transform process, a change amount calculation process, and an update process. A selection output step is provided and configured as follows.
まず、入力受付工程では、音声情報の入力を受け付ける。 First, in the input reception process, input of voice information is received.
一方、フーリエ変換工程では、入力を受け付けられた音声情報をフーリエ変換して、複数の周波数成分の強度を得る。 On the other hand, in the Fourier transform process, the sound information that has received the input is Fourier transformed to obtain the intensities of a plurality of frequency components.
さらに、変化量計算工程では、所定の時間おきに、当該複数の周波数帯のそれぞれについて、得られた複数の周波数成分の強度のうち当該周波数帯に属する強度から、当該周波数帯に対応付けられるパラメータの変化量を求める。 Further, in the change amount calculation step, for each of the plurality of frequency bands, a parameter associated with the frequency band from the intensity belonging to the frequency band among the obtained intensity of the plurality of frequency components at each predetermined time. Find the amount of change.
そして、更新工程では、当該複数の周波数帯のそれぞれについて、パラメータ記憶部に当該周波数帯に対応付けられて記憶されるパラメータを、当該周波数帯に対して求められた変化量だけ変化させる。 Then, in the update step, for each of the plurality of frequency bands, the parameter stored in the parameter storage unit in association with the frequency band is changed by the amount of change obtained for the frequency band.
一方、選択出力工程では、パラメータ記憶部に記憶されるパラメータにより、複数の処理項目からいずれかを選択して出力する。 On the other hand, in the selective output step, any one of a plurality of processing items is selected and output according to the parameters stored in the parameter storage unit.
本発明のその他の観点に係るプログラムは、コンピュータを上記の音声処理装置として機能させ、コンピュータに上記の音声処理方法を実行させるように構成する。 A program according to another aspect of the present invention is configured to cause a computer to function as the above-described sound processing apparatus and to cause the computer to execute the above-described sound processing method.
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。 The program of the present invention can be recorded on a computer-readable information storage medium such as a compact disk, flexible disk, hard disk, magneto-optical disk, digital video disk, magnetic tape, and semiconductor memory.
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。 The above program can be distributed and sold via a computer communication network independently of the computer on which the program is executed. The information storage medium can be distributed and sold independently from the computer.
本発明によれば、入力される音声情報の周波数特性に応じて処理を変化させるのに好適な音声情報処理装置、音声情報処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。 According to the present invention, it is possible to provide a sound information processing apparatus, a sound information processing method, and a program for realizing these on a computer, which are suitable for changing processing according to the frequency characteristics of input sound information. it can.
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。 Embodiments of the present invention will be described below. In the following, for ease of understanding, an embodiment in which the present invention is realized using a game information processing device will be described. However, the embodiment described below is for explanation, and the present invention is described. It does not limit the range. Therefore, those skilled in the art can employ embodiments in which each or all of these elements are replaced with equivalent ones, and these embodiments are also included in the scope of the present invention.
図１は、プログラムを実行することにより、本発明の音声情報処理装置の機能を果たす典型的な情報処理装置の概要構成を示す模式図である。以下、本図を参照して説明する。 FIG. 1 is a schematic diagram showing a schematic configuration of a typical information processing apparatus that performs the function of the voice information processing apparatus of the present invention by executing a program. Hereinafter, a description will be given with reference to FIG.
情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ １０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェイス１０４と、コントローラ１０５と、外部メモリ１０６と、画像処理部１０７と、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８と、ＮＩＣ（Network Interface Card）１０９と、音声処理部１１０と、を備える。 The information processing apparatus 100 includes a CPU (Central Processing Unit) 101, a ROM 102, a RAM (Random Access Memory) 103, an interface 104, a controller 105, an external memory 106, an image processing unit 107, and a DVD-ROM. (Digital Versatile Disc ROM) drive 108, NIC (Network Interface Card) 109, and audio processing unit 110.
ゲーム用のプログラムおよびデータを記憶したＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態の音声情報処理装置が実現される。 A DVD-ROM storing a game program and data is loaded into the DVD-ROM drive 108 and the information processing apparatus 100 is turned on to execute the program. Realized.
ＣＰＵ １０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ １０１は、レジスタ（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ １０１自身が構成されているものや、コプロセッサを備えて実現するものがある。 The CPU 101 controls the overall operation of the information processing apparatus 100 and is connected to each component to exchange control signals and data. Further, the CPU 101 uses arithmetic operations such as addition / subtraction / multiplication / division, logical sum, logical product, etc. using an ALU (Arithmetic Logic Unit) (not shown) for a storage area called a register (not shown) that can be accessed at high speed. , Logic operations such as logical negation, bit operations such as bit sum, bit product, bit inversion, bit shift, and bit rotation can be performed. In addition, the CPU 101 itself is configured so that saturation operations such as addition / subtraction / multiplication / division for multimedia processing, vector operations such as trigonometric functions, etc. can be performed at a high speed, and those provided with a coprocessor. There is.
ＲＯＭ １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ １０３に読み出してＣＰＵ １０１による実行が開始される。また、ＲＯＭ １０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。 The ROM 102 records an IPL (Initial Program Loader) that is executed immediately after the power is turned on, and when this is executed, the program recorded on the DVD-ROM is read out to the RAM 103 and execution by the CPU 101 is started. The The ROM 102 stores an operating system program and various data necessary for operation control of the entire information processing apparatus 100.
ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ １０１は、ＲＡＭ １０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行ったり、ＲＡＭ １０３に格納された値を一旦レジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻す、などの処理を行う。 The RAM 103 is for temporarily storing data and programs, and holds programs and data read from the DVD-ROM and other data necessary for game progress and chat communication. Further, the CPU 101 provides a variable area in the RAM 103 and performs an operation by directly operating the ALU on the value stored in the variable, or temporarily stores the value stored in the RAM 103 in the register. Perform operations such as performing operations on registers and writing back the operation results to memory.
インターフェイス１０４を介して接続されたコントローラ１０５は、ユーザがゲーム実行の際に行う操作入力を受け付ける。 The controller 105 connected via the interface 104 receives an operation input performed when the user executes the game.
インターフェイス１０４を介して着脱自在に接続された外部メモリ１０６には、ゲーム等のプレイ状況（過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ（記録）のデータなどが書き換え可能に記憶される。ユーザは、コントローラ１０５を介して指示入力を行うことにより、これらのデータを適宜外部メモリ１０６に記録することができる。 The external memory 106 detachably connected via the interface 104 stores data indicating game play status (past results, etc.), data indicating game progress, and log of chat communication in the case of a network match ( Data) is stored in a rewritable manner. The user can record these data in the external memory 106 as appropriate by inputting an instruction via the controller 105.
ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ １０３等に一時的に記憶される。 A DVD-ROM mounted on the DVD-ROM drive 108 stores a program for realizing the game and image data and audio data associated with the game. Under the control of the CPU 101, the DVD-ROM drive 108 performs a reading process on the DVD-ROM loaded therein, reads out necessary programs and data, and these are temporarily stored in the RAM 103 or the like.
画像処理部１０７は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ １０１や画像処理部１０７が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０７が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０７に接続されるモニタ（図示せず）へ出力される。これにより、各種の画像表示が可能となる。 The image processing unit 107 processes the data read from the DVD-ROM by an image arithmetic processor (not shown) included in the CPU 101 or the image processing unit 107, and then processes the processed data on a frame memory ( (Not shown). The image information recorded in the frame memory is converted into a video signal at a predetermined synchronization timing and output to a monitor (not shown) connected to the image processing unit 107. Thereby, various image displays are possible.
画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。 The image calculation processor can execute a two-dimensional image overlay calculation, a transmission calculation such as α blending, and various saturation calculations at high speed.
また、仮想３次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から仮想３次元空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。 Also, polygon information arranged in the virtual three-dimensional space and added with various texture information is rendered by the Z buffer method, and the polygon arranged in the virtual three-dimensional space from the predetermined viewpoint position is determined in the direction of the predetermined line of sight It is also possible to perform high-speed execution of operations for obtaining rendered images.
さらに、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画することが可能である。 Further, the CPU 101 and the image arithmetic processor operate in a coordinated manner, so that a character string can be drawn as a two-dimensional image in a frame memory or drawn on the surface of each polygon according to font information that defines the character shape. is there.
ＮＩＣ １０９は、情報処理装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ １０１との仲立ちを行うインターフェース（図示せず）により構成される。 The NIC 109 is used to connect the information processing apparatus 100 to a computer communication network (not shown) such as the Internet, and is based on the 10BASE-T / 100BASE-T standard used when configuring a LAN (Local Area Network). To connect to the Internet using an analog modem, ISDN (Integrated Services Digital Network) modem, ADSL (Asymmetric Digital Subscriber Line) modem, cable television line A cable modem or the like and an interface (not shown) that mediates between these and the CPU 101 are configured.
音声処理部１１０は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず）から出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。 The audio processing unit 110 converts audio data read from the DVD-ROM into an analog audio signal and outputs the analog audio signal from a speaker (not shown) connected thereto. Further, under the control of the CPU 101, sound effects and music data to be generated during the progress of the game are generated, and sound corresponding to this is output from the speaker.
音声処理部１１０では、ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカに出力することにより、音声出力が可能となる。 When the audio data recorded on the DVD-ROM is MIDI data, the audio processing unit 110 refers to the sound source data included in the audio data and converts the MIDI data into PCM data. If the compressed audio data is in ADPCM format or Ogg Vorbis format, it is expanded and converted to PCM data. The PCM data can be output by performing D / A (Digital / Analog) conversion at a timing corresponding to the sampling frequency and outputting it to a speaker.
さらに、情報処理装置１００には、インターフェース１０４を介してマイク１１１を接続することができる。この場合、マイク１１１からのアナログ信号に対しては、適当なサンプリング周波数でＡ／Ｄ変換を行い、ＰＣＭ形式のディジタル信号として、音声処理部１１０でのミキシング等の処理ができるようにする。 Furthermore, a microphone 111 can be connected to the information processing apparatus 100 via the interface 104. In this case, the analog signal from the microphone 111 is subjected to A / D conversion at an appropriate sampling frequency so that processing such as mixing in the sound processing unit 110 can be performed as a PCM format digital signal.
このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリ１０６、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。 In addition, the information processing apparatus 100 uses a large-capacity external storage device such as a hard disk so as to perform the same function as the ROM 102, the RAM 103, the external memory 106, the DVD-ROM mounted on the DVD-ROM drive 108, and the like. You may comprise.
以上で説明した情報処理装置１００は、いわゆる「コンシューマ向けテレビゲーム装置」に相当するものであるが、音声情報処理を行うものであれば本発明を実現することができる。したがって、携帯電話、携帯ゲーム機器、カラオケ装置、一般的なビジネス用コンピュータなど、種々の計算機上で本発明を実現することが可能である。 The information processing apparatus 100 described above corresponds to a so-called “consumer video game apparatus”, but the present invention can be realized as long as it performs audio information processing. Therefore, the present invention can be realized on various computers such as a mobile phone, a portable game device, a karaoke apparatus, and a general business computer.
なお、理解を容易にするため、以下の説明では、ＲＡＭ １０３に用意された各変数領域の初期化などの処理については、適宜説明を省略するが、当業者であれば、必要な処理を実現することができる。 In order to facilitate understanding, in the following description, processing such as initialization of each variable area prepared in the RAM 103 will be omitted as appropriate, but those skilled in the art can implement necessary processing. can do.
（呼吸音と非呼吸音の弁別）
図２は、本実施形態に係る音声情報処理装置において、呼吸音と非呼吸音とを弁別する弁別機能部の概要構成を示す説明図である。以下、本図を参照して説明する。
(Distinguish between breathing sounds and non-breathing sounds)
FIG. 2 is an explanatory diagram illustrating a schematic configuration of a discrimination function unit that discriminates between breathing sounds and non-breathing sounds in the voice information processing apparatus according to the present embodiment. Hereinafter, a description will be given with reference to FIG.
音声情報処理装置２０１の弁別機能部２０２は、入力受付部２０３、フーリエ変換部２０４、判断部２０５、非呼吸音出力部２０６、呼吸音出力部２０７を備えるが、用途に応じて非呼吸音出力部２０６と呼吸音出力部２０７とは、いずれか一方のみを採用し、他方を省略することとしても良い。
The
なお、音声情報処理装置２０１は、本図に図示するように、項目選択機能部７０１をさらに備えることとしても良い。項目選択機能部７０１については、後述する。
The voice information processing apparatus 201 may further include an item
まず、入力受付部２０３は、音声情報の入力を受け付ける。典型的には、入力受付部２０３はマイクなどの音声入力装置によって音声情報の入力を受け付けるが、音声情報は、空気や液体、個体などのこれらの媒質の圧力や位置などが振動する際の変位を数値化したものであり、ファイルに記録された音声情報やネットワークを介して入手される音声情報など、種々の音声情報に対して本音声情報処理装置２０１を適用することができる。
First, the
以下では、マイク１１１からの音声入力における波動の基準位置からの変位をインターフェース１０４を介して、ＣＰＵ １０１の入出力ポートから得ることができるものとして考える。ＣＰＵ １０１が有するポートからの読出命令を使うか、メモリマップされた入出力を採用するＣＰＵ １０１の場合には、所定のアドレスからの値の読出命令を使うことで、入出力ポートから変位を読み出すことができる。 In the following, it is assumed that the displacement from the reference position of the wave in the sound input from the microphone 111 can be obtained from the input / output port of the CPU 101 via the interface 104. In the case of the CPU 101 using a read command from a port of the CPU 101 or adopting memory mapped input / output, the displacement is read from the input / output port by using a read command of a value from a predetermined address. be able to.
さて、本実施形態では、マイク１１１からの音声情報のサンプリングレートをGとし、音声情報をバッファリングするためのリングバッファ領域をＲＡＭ １０３に用意する。リングバッファは、以下のような２つのメンバーを持つ構造体によって表現することができる。
（１）変位を格納するための要素数Aの配列buf。各要素は、それぞれbuf[0]，buf[1]，…，buf[A-1]のようにしてアクセスが可能である。
（２）次に要素を追加すべき場所を表す添字next。
In this embodiment, the sampling rate of the audio information from the microphone 111 is G, and a ring buffer area for buffering the audio information is prepared in the RAM 103. The ring buffer can be represented by a structure having two members as follows.
(1) An array buf with an element number A for storing displacement. Each element can be accessed like buf [0], buf [1], ..., buf [A-1].
(2) A subscript next indicating a place where an element should be added next.
以下、理解を容易にするため、マイク１１１からの音声情報をバッファリングするリングバッファ領域をinpと呼び、リングバッファinpの各メンバーは、inp.buf[0]，inp.buf[1]，…，inp.buf[A-1]，inp.nextのように表記するものとする。 Hereinafter, for easy understanding, a ring buffer area for buffering audio information from the microphone 111 is referred to as inp, and each member of the ring buffer inp is defined as inp.buf [0], inp.buf [1],. , Inp.buf [A-1], inp.next.
８ビットサンプリングの場合は、配列bufの各要素は１バイトで表現され、１６ビットサンプリングの場合は、配列bufの各要素は２バイトで表現される。上記のようにサンプリングレートがGであるから、リングバッファinpには、時間A/Gだけの音声情報を格納しておくことができる。したがって、直近の時間A/Gの音声情報が常にリングバッファinpに反映されているようにするための手法を以下に説明する。 In the case of 8-bit sampling, each element of the array buf is represented by 1 byte, and in the case of 16-bit sampling, each element of the array buf is represented by 2 bytes. Since the sampling rate is G as described above, the ring buffer inp can store audio information for only time A / G. Therefore, a method for ensuring that the sound information of the latest time A / G is always reflected in the ring buffer inp will be described below.
サンプリングレートGでリングバッファinpを最新の情報に更新するためには、ＣＰＵ １０１のタイマ割り込みを利用する。すなわち、時間間隔1/Gでタイマ割り込みを発生させ、割り込みハンドラでは、以下に説明する入力読み込み処理を実行する。
In order to update the ring buffer inp to the latest information at the sampling rate G, the timer interrupt of the CPU 101 is used. That is, a timer interrupt is generated at a
なお、以降では、同じ時間間隔である処理を繰り返し行うためにタイマ割り込みを利用した実施形態を説明するが、たとえば繰り返しループ内で時間を計測して待機することにより、処理の単位が実行される時間間隔を一定にする等、そのほかの手法を採用することも可能である。 In the following description, an embodiment using a timer interrupt to repeatedly perform processing at the same time interval will be described. For example, a unit of processing is executed by measuring and waiting in a repeated loop. Other methods such as making the time interval constant can also be adopted.
また、以下では、理解を容易にするため、割り込み処理における割り込み禁止や割り込み許可の制御、セマフォ等を使用した排他制御については、適宜説明を省略する。当業者であれば、必要に応じて、これらの処理を適宜追加することができる。 In the following, for easy understanding, description of interrupt prohibition and interrupt permission control in interrupt processing, and exclusive control using a semaphore or the like will be omitted as appropriate. Those skilled in the art can appropriately add these processes as needed.
図３は、入力読み込み処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。 FIG. 3 is a flowchart showing the flow of control of the input reading process. Hereinafter, a description will be given with reference to FIG.
入力読み込み処理が起動されると、まず、ＣＰＵ １０１は、マイクからの音声情報の入力ポートから変位の値vを読み出す（ステップＳ３０１）。 When the input reading process is started, first, the CPU 101 reads the displacement value v from the input port of the audio information from the microphone (step S301).
そして、値vをinp.buf[inp.next]に格納し（ステップＳ３０２）、inp.nextの値を(inp.next + 1)％Aに更新して（ステップＳ３０３）、リングバッファinpに値vを追加する。ここで、x ％ yは、xをyで割った余りを意味する。 Then, the value v is stored in inp.buf [inp.next] (step S302), the value of inp.next is updated to (inp.next + 1)% A (step S303), and the value is stored in the ring buffer inp. Add v. Here, x% y means a remainder obtained by dividing x by y.
ステップＳ３０３の後、入力読み込み処理を終了する。割り込みによって本処理を駆動している場合には、割り込みハンドラを終了させる種々の処理も行う。 After step S303, the input reading process is terminated. When this process is driven by an interrupt, various processes for terminating the interrupt handler are also performed.
このような処理を行うことで、リングバッファinpには、直近の時間A/G分の音声情報の変位を表すデータが格納され、古くなったデータは自動的に消去（上書き）されることとなる。 By performing such processing, the ring buffer inp stores data representing the displacement of audio information for the most recent time A / G, and old data is automatically deleted (overwritten). Become.
このように、マイク１１１とＣＰＵ １０１とリングバッファinpが用意されているＲＡＭ １０３とが共働して、入力受付部２０３として機能する。
Thus, the microphone 111, the CPU 101, and the RAM 103 in which the ring buffer inp is prepared work together to function as the
さて、このようにして得られた音声情報を、フーリエ変換部２０４がフーリエ変換して、複数の周波数成分の強度を得る。典型的には、高速フーリエ変換を行う。高速フーリエ変換は、各周波数成分の幅をf、処理の段数をNとしたときに、入力された音声情報を、0，f，2f，3f，…，(2N-1)fの周波数の強度成分に分解するものである。
Now, the sound information obtained in this way is Fourier-transformed by the
上記のように、リングバッファinp内には、直近の時間A/G分の音声情報のみが格納されているから、フーリエ変換を行う対象は、inp.bufに格納されているA個分の変位データとするのが典型的である。 As described above, since only the audio information for the latest time A / G is stored in the ring buffer inp, the object to be subjected to Fourier transform is the displacement of A stored in inp.buf. Typically data.
したがって、フーリエ変換部２０４によるフーリエ変換の処理は、時間間隔A/Gで、そのときにinp.buf[0]，…，inp.buf[A-1]を格納されている波動の変位データを対象に行えば良いこととなる。
Therefore, the Fourier transform processing by the
高速フーリエ変換の計算は、公知の技術により、ＣＰＵ １０１がリングバッファinpに格納されたデータを対象に行う。そして、フーリエ変換の結果は、ＲＡＭ １０３に用意された配列Fに格納する。すなわち、配列Fの要素F[0]には、周波数0（直流）の強度成分が、F[1]には、周波数fの強度成分が、F[2]には、周波数2fの強度成分が、…、F[2N-1]には、周波数2N-1fの強度成分が、それぞれ格納されるようになる。 The calculation of the fast Fourier transform is performed on the data stored in the ring buffer inp by the CPU 101 by a known technique. The result of the Fourier transform is stored in an array F prepared in the RAM 103. That is, element F [0] of array F has an intensity component of frequency 0 (DC), F [1] has an intensity component of frequency f, and F [2] has an intensity component of frequency 2f. , ..., F [2 N -1] stores the intensity component of the frequency 2 N -1f, respectively.
フーリエ変換は適切なタイミングで繰り返し行われるため、配列Fを参照すれば、音声情報の周波数分布の最新のものを得ることができる。 Since the Fourier transform is repeatedly performed at an appropriate timing, the latest frequency distribution of the audio information can be obtained by referring to the array F.
なお、フーリエ変換を行う時間間隔は、A/G以下としても良い。たとえば、0<B≦Aなる整数Bを用いて、時間間隔B/Gでフーリエ変換を行う、としたときは、フーリエ変換の対象となる変位のデータ列は、inp.next≧Bの場合は、
inp.buf[next-B]，inp.buf[next-B+1]，…，inp.buf[next-2]，inp.buf[next-1]
inp.next<Bの場合は、
inp.buf[A-(B-inp.next)]，inp.buf[A-(B-inp.next)+1]，…，inp.buf[A-2]，inp.buf[A-1]，inp.buf[0]，inp.buf[next-B+1]，…，inp.buf[next-2]，inp.buf[next-1]
となる。これは、リングバッファinpから、最新のB個分の変位データを取り出すことに相当する。
Note that the time interval for performing the Fourier transform may be A / G or less. For example, when an integer B of 0 <B ≦ A is used and Fourier transform is performed at a time interval B / G, the displacement data string subject to Fourier transform is in the case of inp.next ≧ B ,
inp.buf [next-B], inp.buf [next-B + 1], ..., inp.buf [next-2], inp.buf [next-1]
If inp.next <B,
inp.buf [A- (B-inp.next)], inp.buf [A- (B-inp.next) +1], ..., inp.buf [A-2], inp.buf [A-1 ], Inp.buf [0], inp.buf [next-B + 1], ..., inp.buf [next-2], inp.buf [next-1]
It becomes. This corresponds to extracting the latest B pieces of displacement data from the ring buffer inp.
フーリエ変換部２０４が時間間隔B/Gで行うフーリエ変換処理の制御の流れをもう一度整理する。図４は、フーリエ変換部２０４が時間間隔B/Gで行うフーリエ変換処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。
The flow of control of the Fourier transform process performed by the
まず、ＣＰＵ １０１は、リングバッファinpから、最新のB個分の音声情報の波動の変位データを取得する（ステップＳ４０１）。 First, the CPU 101 acquires the latest B wave information wave displacement data from the ring buffer inp (step S401).
ついで、ＣＰＵ １０１は、当該B個分の変位データを高速フーリエ変換する（ステップＳ４０２）。 Next, the CPU 101 performs fast Fourier transform on the B pieces of displacement data (step S402).
そして、配列Fの要素F[0]に、周波数0（直流）の強度成分を、F[1]に、周波数fの強度成分を、F[2]に、周波数2fの強度成分を、…、F[2N-1]に、周波数2N-1fの強度成分を、それぞれ格納して（ステップＳ４０３）、本処理を終了する。 Then, in the element F [0] of the array F, the intensity component of the frequency 0 (DC), F [1], the intensity component of the frequency f, F [2], the intensity component of the frequency 2f,. The intensity component of the frequency 2 N -1f is stored in F [2 N -1] (step S403), and this process ends.
このように、ＣＰＵ １０１が、リングバッファinpおよび配列Fが用意されたＲＡＭ １０３と共働することによって、フーリエ変換部２０４として機能する。
Thus, the CPU 101 functions as the
さて、常に、最新の音声情報の変位データはリングバッファinpに格納されることとなり、最新のフーリエ変換の結果は配列Fに格納されることとなる。そこで、これらの内容を参照して、呼吸音か非呼吸音かを判別するのが、判断部２０５である。 Now, the displacement data of the latest speech information is always stored in the ring buffer inp, and the latest Fourier transform result is stored in the array F. Therefore, the determination unit 205 determines whether the sound is a breathing sound or a non-breathing sound with reference to these contents.
判断部２０５は、以下のパラメータを用いる。
（ａ）受け付けられる音声情報のサンプリングレート。本実施形態では、上記のように、G[Hz]であり、実際には８０００Ｈｚである。
（ｂ）フーリエ変換の周波数成分の周波数間隔。本実施形態では、上記のように、f[Hz]であり、実際には３１.２５Ｈｚである。
（ｃ）第１周波数帯。本実施形態では、３１.２５Ｈｚ以上１８７.５Ｈｚ以下である。
（ｄ）第２周波数帯。本実施形態では、５００Ｈｚ以上２０００Ｈｚ以下である。これは、第１周波数帯よりも高い。
（ｅ）第３周波数帯。本実施形態では、３８１２.５Ｈｚ以上４０００Ｈｚ以下である。これは、第２周波数帯よりも高い。
The determination unit 205 uses the following parameters.
(A) Sampling rate of accepted audio information. In the present embodiment, as described above, it is G [Hz] and actually 8000 Hz.
(B) Frequency interval of frequency components of Fourier transform. In the present embodiment, as described above, it is f [Hz], and is actually 31.25 Hz.
(C) First frequency band. In this embodiment, it is 31.25 Hz or more and 187.5 Hz or less.
(D) Second frequency band. In this embodiment, it is 500 Hz or more and 2000 Hz or less. This is higher than the first frequency band.
(E) Third frequency band. In this embodiment, it is 381-22.5 Hz or more and 4000 Hz or less. This is higher than the second frequency band.
なお、この上限値４０００Ｈｚは、サンプリング定理によるものであり、サンプリング周波数Gのちょうど半分になっている。
（ｆ）第１閾値。これは、呼吸音か非呼吸音かを判別する「感度」を示すもので、小さくすれば敏感に反応するが、それだけ呼吸音と誤判断する可能性も高くなる。大きければ反応は鈍くなるが、それだけ呼吸音と誤判断する可能性も高くなる。音声情報のサンプリングビット数に応じて適当な定数を定めても良いし、ユーザなどが適宜調整できることとしても良い。
（ｇ）第２閾値。本実施形態では、当該第１閾値の０.３７５倍以上である。
（ｈ）第３閾値。本実施形態では、当該第１閾値の０.２５倍以上である。
（ｉ）第１閾時間。本実施形態では、４／６０秒程度である。
（ｊ）第２閾時間。本実施形態では、４／６０秒程度である。
（ｋ）閾個数。本実施形態では、９個程度である。
Note that the upper limit value of 4000 Hz is based on the sampling theorem and is exactly half the sampling frequency G.
(F) First threshold value. This indicates “sensitivity” for determining whether the sound is breathing sound or non-breathing sound. If the sound is small, it reacts sensitively, but the possibility of misjudging it as a breathing sound increases accordingly. If it is large, the response becomes dull, but the possibility of misjudging it as a breathing sound increases accordingly. An appropriate constant may be determined according to the number of audio information sampling bits, or may be adjusted as appropriate by the user.
(G) The second threshold value. In this embodiment, it is 0.375 times or more of the first threshold value.
(H) Third threshold value. In this embodiment, it is 0.25 times or more of the first threshold value.
(I) First threshold time. In this embodiment, it is about 4/60 seconds.
(J) Second threshold time. In this embodiment, it is about 4/60 seconds.
(K) Threshold number. In the present embodiment, there are about nine.
なお、これらの数値は、判断が適切に行われる範囲で上下しても良い。たとえば、上記の数値を９０％〜１１０％程度に変更するのであれば、分別の性能に大きな差が出ることはない。 Note that these numerical values may be raised or lowered within a range where judgment is appropriately performed. For example, if the above numerical value is changed to about 90% to 110%, there will be no great difference in the performance of separation.
さて、このようなパラメータのもとで、判断部２０５は、時間間隔C/Gで、以下の判断処理を行う。なお、C≦Bであり、典型的にはCはBの約数とする。 Now, based on such parameters, the determination unit 205 performs the following determination process at the time interval C / G. Note that C ≦ B, and typically C is a divisor of B.
図５は、判断部２０５が時間間隔C/Gごとに実行する判断処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。 FIG. 5 is a flowchart showing a control flow of determination processing executed by the determination unit 205 for each time interval C / G. Hereinafter, a description will be given with reference to FIG.
まず、判断部２０５は、配列Fを参照して、以下の条件がすべて満たされているか否かを判断する（ステップＳ５０１）。
（ｓ）第１周波数帯に含まれる周波数成分の強度のいずれか少なくとも１つが所定の第１閾値を超え、
（ｔ）第２周波数帯に含まれる周波数成分の強度のうち所定の第２閾値を超えるものが所定の閾個数以上であり、
（ｕ）第３周波数帯に含まれる周波数成分の強度のいずれか少なくとも１つが所定の第３閾値を超える。
First, the determination unit 205 refers to the array F and determines whether or not all of the following conditions are satisfied (step S501).
(S) At least one of the intensities of the frequency components included in the first frequency band exceeds a predetermined first threshold,
(T) The intensity of the frequency component included in the second frequency band is greater than a predetermined threshold number that exceeds a predetermined second threshold,
(U) At least one of the intensities of frequency components included in the third frequency band exceeds a predetermined third threshold.
サンプリングレートG、フーリエ変換の周波数の分解精度fによって、第１周波数帯、第２周波数帯、第３周波数帯のそれぞれに、配列Fのどの要素が対応するか、は、一意に決まる。一般に、第１周波数帯、第２周波数帯、第３周波数帯のそれぞれに、配列Fに含まれる複数の要素が割り当てられることになる。 Which element of the array F corresponds to each of the first frequency band, the second frequency band, and the third frequency band is uniquely determined by the sampling rate G and the frequency resolution accuracy f of the Fourier transform. In general, a plurality of elements included in the array F are assigned to each of the first frequency band, the second frequency band, and the third frequency band.
したがって、第１周波数帯に含まれる配列Fの要素F[D1]，…，F[E1]と、第１閾値H1に対して、
F[D1]>H1，…，F[E1]>H1
のいずれか少なくとも一つが成立すれば、条件（ｓ）は満たされることとなる。
Therefore, for the elements F [D1],..., F [E1] of the array F included in the first frequency band and the first threshold value H1,
F [D1]> H1, ..., F [E1]> H1
If at least one of the above holds, the condition (s) is satisfied.
また、第２周波数帯に含まれる配列Fの要素F[D2]，…，F[E2]と、第２閾値H2に対して、
F[D2]>H2，…，F[E2]>H2
を満たすものが所定の閾個数以上であれば、条件（ｔ）は満たされることとなる。
Further, with respect to the elements F [D2],..., F [E2] of the array F included in the second frequency band, and the second threshold H2,
F [D2]> H2, ..., F [E2]> H2
If the number satisfying the condition is equal to or greater than the predetermined threshold number, the condition (t) is satisfied.
さらに第３周波数帯に含まれる配列Fの要素F[D3]，…，F[E3]と、第３閾値H3に対して、
F[D3]>H3，…，F[E3]>H3
のいずれか少なくとも一つが成立すれば、条件（ｕ）は満たされることとなる。
Furthermore, for the elements F [D3],..., F [E3] of the array F included in the third frequency band, and the third threshold H3,
F [D3]> H3, ..., F [E3]> H3
If at least one of the above holds, the condition (u) is satisfied.
ここで、D1<…<E1<…<D2<…<E2<…<D3<…<E3である。 Here, D1 <... <E1 <... <D2 <... <E2 <... <D3 <... <E3.
さて、ＲＡＭ １０３には、以下の三つの領域が用意されている。
（ａ）肯定カウント領域c。上記条件を満たし始めてからの判断部２０５の処理回数を記録する。
（ｂ）否定カウント領域d。上記条件を満たさなくなり始めてからの判断部２０５の処理回数を記録する。
（ｃ）呼吸フラグ領域e。最後に判断したときの音声情報の状態が呼吸音であるか否かを記録する。
In the RAM 103, the following three areas are prepared.
(A) Positive count area c. The number of processings of the determination unit 205 after starting to satisfy the above condition is recorded.
(B) Negative count area d. The number of processings of the determination unit 205 since the start of the above condition is not recorded.
(C) Respiration flag area e. It is recorded whether or not the state of the sound information at the time of the last determination is a breathing sound.
さて、上記条件の判断の結果、上記条件が満たされる場合（ステップＳ５０１；Ｙｅｓ）、肯定カウント領域cの値を１増やし（ステップＳ５０２）、否定カウント領域dの値を０にする（ステップＳ５０３）。 As a result of the determination of the above condition, when the above condition is satisfied (step S501; Yes), the value of the positive count area c is increased by 1 (step S502), and the value of the negative count area d is set to 0 (step S503). .
そして、条件を満たし始めての時間c×C/Gが、第１閾時間を超えているか否かを判断し（ステップＳ５０４）、超えていれば（ステップＳ５０４；Ｙｅｓ）、呼吸フラグ領域eを「呼吸」に設定して（ステップＳ５０５）、本処理を終了する。一方超えていなければ（ステップＳ５０４；Ｎｏ）、本処理を終了する。 Then, it is determined whether or not the time c × C / G from which the condition is satisfied exceeds the first threshold time (step S504). If it exceeds (step S504; Yes), the breath flag region e is set to “ “Respiration” is set (step S505), and this process is terminated. On the other hand, if it has not exceeded (step S504; No), this processing is terminated.
一方、上記条件が満たされない場合（ステップＳ５０１；Ｎｏ）、否定カウント領域dの値を１増やす（ステップＳ５０６）。そして、呼吸フラグ領域eの値が「呼吸」であるか否かを判定し（ステップＳ５０７）、「呼吸」でない場合（ステップＳ５０７；Ｎｏ）、本処理を終了する。 On the other hand, when the above condition is not satisfied (step S501; No), the value of the negative count area d is increased by 1 (step S506). Then, it is determined whether or not the value of the breathing flag area e is “breathing” (step S507). If it is not “breathing” (step S507; No), this process is terminated.
一方「呼吸」である場合（ステップＳ５０７；Ｙｅｓ）条件を満たさなくなってからの時間d×C/Gが、第２閾時間を超えているか否かを判断し（ステップＳ５０８）、超えていれば（ステップＳ５０８；Ｙｅｓ）、肯定カウント領域cの値を０にし（ステップＳ５０９）、呼吸フラグ領域eを「非呼吸」に設定して（ステップＳ５１０）、本処理を終了する。一方超えていなければ（ステップＳ５０８；Ｎｏ），肯定カウント領域cの値を１増やし（ステップＳ５１１）、本処理を終了する。 On the other hand, if it is “breathing” (step S507; Yes), it is determined whether or not the time d × C / G after the condition is not satisfied exceeds the second threshold time (step S508). (Step S508; Yes), the value of the positive count area c is set to 0 (Step S509), the breathing flag area e is set to “non-breathing” (Step S510), and this process is terminated. On the other hand, if not exceeded (step S508; No), the value of the affirmative count area c is increased by 1 (step S511), and this process is terminated.
このような処理を行うことによって、判断部２０５は、
（ａ）上記条件が連続して満たされる時間が第１閾時間を超えた場合、呼吸音の入力がされ続けていると判断し、
（ｂ）呼吸音の入力がされ続けていると判断された後、上記条件が連続して満たされない時間が第２閾時間以下である場合、呼吸音の入力がされ続けていると判断し、
（ｃ）呼吸音の入力がされ続けていると判断された後、上記条件が連続して満たされない時間が第２閾時間を超える場合、呼吸音の入力が終わったと判断する
のである。
By performing such processing, the determination unit 205 can
(A) If the time when the above condition is continuously satisfied exceeds the first threshold time, it is determined that the breathing sound is continuously input,
(B) After determining that the breathing sound is continuously input, if the time when the above condition is not continuously satisfied is equal to or shorter than the second threshold time, it is determined that the breathing sound is continuously input;
(C) After it is determined that the breathing sound is continuously input, if the time when the above condition is not continuously satisfied exceeds the second threshold time, it is determined that the breathing sound has been input.
このような判断を行うことにより、人間がマイクに向かって「ふーふー」のように息を吹きかけたり、「はーはー」のように興奮して息が荒くなったりしたときの音声情報と、そうでない普通の状態での発声による音声情報とを弁別するのであるが、上記の条件が第１閾時間以上満たされることをもって、呼吸音であると判断する。そして、連続して呼吸音であると判断されている間は、上記の条件が第２閾時間より短い間満たされなくとも、そのまま呼吸音であると判断し続ける。 By making such a judgment, the voice when a human blows into the microphone like “Foo-Foo” or gets excited like “Hah-Hah” The information is discriminated from the voice information obtained by the utterance in the normal state. When the above condition is satisfied for the first threshold time or more, it is determined that the sound is a breathing sound. And while it is judged that it is a breathing sound continuously, even if said condition is not satisfied for shorter than 2nd threshold time, it continues judging that it is a breathing sound as it is.
各閾時間や各閾値、閾個数の値は、音声情報を入力するユーザの種類、本音声情報処理装置が実現されるハードウェアの能力、音声情報のサンプリングレート、フーリエ変換の精度、本音声情報処理装置の用途などによって適宜設定することが可能である。 Each threshold time, each threshold, and the number of threshold values are the type of user who inputs voice information, the ability of the hardware in which the voice information processing apparatus is realized, the sampling rate of voice information, the accuracy of Fourier transform, the voice information It can be set as appropriate depending on the use of the processing apparatus.
したがって、ＣＰＵ １０１は、配列Fや領域c，d，eが確保されるＲＡＭ １０３と共働して、判断部２０５として機能することとなる。 Therefore, the CPU 101 functions as the determination unit 205 in cooperation with the RAM 103 in which the array F and the areas c, d, and e are secured.
さて、呼吸音か非呼吸音かの最新の判断の結果は、呼吸フラグ領域eに格納されており、当該領域の更新の時間間隔は、C/Gである。 Now, the latest determination result of breathing sound or non-breathing sound is stored in the breathing flag area e, and the time interval for updating the area is C / G.
したがって、非呼吸音出力部２０６および呼吸音出力部２０７が実行する処理も、時間間隔をC/Gとするのが好適である。この場合、特に、判断部２０５による判断処理が終了した直後に、常に、非呼吸音出力部２０６および呼吸音出力部２０７が共働して実行する出力処理を実行するのが好適である。ただし、この時間間隔は、後に続く処理の内容等に応じて、適宜変更が可能である。
Therefore, it is preferable that the processing executed by the non-breathing sound output unit 206 and the breathing
上記のように、時間間隔C/Gで、非呼吸音や呼吸音の出力が行われるので、ＲＡＭ １０３には、要素数Cの配列を以下のように２つ用意する。
（ａ）非呼吸音を格納する配列voice。voice[0]，…，voice[C-1]に、最新の時間長C/G分の非呼吸音の音声情報の変位データが格納される。
（ｂ）呼吸音を格納する配列nonvc。nonvc[0]，…，nonvc[C-1]に、最新の時間長C/G分の呼吸音の音声情報の変位データが格納される。
As described above, since the non-breathing sound and the breathing sound are output at the time interval C / G, the RAM 103 is prepared with two arrays of the number of elements C as follows.
(A) An array voice for storing non-breathing sounds. Voice [0], ..., voice [C-1] store the displacement data of the non-breathing sound information of the latest time length C / G.
(B) An array nonvc that stores respiratory sounds. Nonvc [0], ..., nonvc [C-1] stores the displacement data of the sound information of the respiratory sound for the latest time length C / G.
配列voiceおよびnonvcは、時間間隔C/Gで更新されることとなる。 The arrays voice and nonvc are updated at the time interval C / G.
図６は、時間間隔C/Gで起動される出力処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。 FIG. 6 is a flowchart showing a control flow of output processing activated at the time interval C / G. Hereinafter, a description will be given with reference to FIG.
出力処理において、ＣＰＵ １０１は、まず、ＲＡＭ １０３に用意された呼吸フラグ領域eが「呼吸」であるか否かを調べる（ステップＳ６０１）。「呼吸」であれば（ステップＳ６０１；Ｙｅｓ）、リングバッファinpに格納された最新のC個分のデータを、配列voiceへコピーし（ステップＳ６０２）、配列nonvcの要素をすべて０にしてクリアして（ステップＳ６０３）、本処理を終了する。 In the output process, the CPU 101 first checks whether or not the breathing flag area e prepared in the RAM 103 is “breathing” (step S601). If it is “breathing” (step S601; Yes), the latest C data stored in the ring buffer inp are copied to the array voice (step S602), and all elements of the array nonvc are cleared to 0. (Step S603), and this process is terminated.
一方、「呼吸」でなければ（ステップＳ６０１；Ｎｏ）、リングバッファinpに格納された最新のC個分のデータを、配列nonvcへコピーし（ステップＳ６０４）、配列voiceの要素をすべて０にしてクリアして（ステップＳ６０５）、本処理を終了する。 On the other hand, if it is not “breathing” (step S601; No), the latest C pieces of data stored in the ring buffer inp are copied to the array nonvc (step S604), and all elements of the array voice are set to 0. It is cleared (step S605), and this process is terminated.
このようにして、配列voiceには、ユーザが通常の発声を行って入力したと考えられる音声情報の区間は、入力された音声情報がそのまま出力され、そうでない区間は、変位「０」が出力されることになる。 In this way, in the voice array, the input voice information is output as it is in the section of voice information that is considered to be input by the user by making a normal utterance, and the displacement “0” is output in the other sections. Will be.
一方、配列nonvcには、ユーザが通常の発声を行って入力したと考えられる音声情報の区間は、変位「０」が出力され、そうでない区間は、入力された音声情報がそのまま出力されることになる。 On the other hand, in the array nonvc, the displacement “0” is output for the section of the speech information that is considered to be input by the user performing normal speech, and the input speech information is output as it is for the section that is not. become.
したがって、ＣＰＵ １０１は、ＲＡＭ １０３に用意された呼吸フラグ領域eや配列voice，nonvcと共働して、非呼吸出力部２０６および呼吸出力部２０７として機能する。
Therefore, the CPU 101 functions as the non-respiration output unit 206 and the
なお、用途に応じて、配列voice，nonvcのいずれか一方を適宜省略し、省略した配列に対する処理を実行しないこととしても良い。 Depending on the application, either one of the arrays voice and nonvc may be omitted as appropriate, and the process for the omitted array may not be executed.
このように、本実施形態の弁別機能部２０２によれば、人が呼吸する際の音声とそれ以外の音声とを簡易に分別することができるようになり、人が呼吸する際の音声以外の音声を容易に得ることができるようになる。
As described above, according to the
特に、適切なパラメータを採用することにより、少ない計算量で多くの人間について、人が呼吸する際の音声とそれ以外の音声とを簡易に分別することができるようになる。 In particular, by adopting appropriate parameters, it is possible to easily separate voices when a person breathes and other voices for many people with a small amount of calculation.
なお、上記の説明では、 音声情報に係る波動の変位のデータを保持するために、リングバッファや固定長の配列を用いたが、たとえばキューやリストなど、データ列を格納できるような各種の構造体を利用しても良い。 In the above description, a ring buffer and a fixed-length array are used to hold the wave displacement data related to the audio information. However, various structures that can store data strings such as queues and lists are used. You may use your body.
（弁別された音声情報の利用）
以下では、呼吸音か、非呼吸音かの弁別を行った後の処理について、実例をあげて説明する。本実例では、入力された音声情報の周波数帯に応じて、仮想空間内にて実行される処理が変化するようなゲーム装置に適用する場合を考える。
(Use of discriminated voice information)
In the following, the processing after discrimination between breathing sounds and non-breathing sounds will be described with examples. In this example, a case is considered in which the present invention is applied to a game device in which processing executed in a virtual space changes according to the frequency band of input voice information.
図７は、音声情報処理装置２０１において、このような処理項目を選択する機能を実現する項目選択機能部７０１の概要構成を示す説明図である。以下、本図を参照して説明する。
FIG. 7 is an explanatory diagram showing a schematic configuration of an item
項目選択機能部７０１は、入力受付部２０３、フーリエ変換部２０４を弁別機能部２０２と共有するほか、パラメータ記憶部７０２、変化量計算部７０３、更新部７０４、選択出力部７０５を備える。
The item
入力受付部２０３およびフーリエ変換部２０４における処理は、上述の通りであり、以降の処理内容選択機能の実現に際しては、各周波数成分の強度が入れられた配列F[0]，…，F[2N-1]に格納された値と、必要に応じて呼吸フラグ領域eに格納された値とを参照する。
The processes in the
さて、ＲＡＭ １０３には、複数の周波数帯のそれぞれに対応付けられるパラメータが記憶される。本実施形態では、複数の周波数帯の個数をMとし、周波数成分を等間隔に分割する。 Now, the RAM 103 stores parameters associated with each of a plurality of frequency bands. In the present embodiment, the number of the plurality of frequency bands is M, and the frequency components are divided at equal intervals.
このため、ＲＡＭ １０３に要素M個の配列pを用意する。そして、フーリエ変換後の周波数成分のうち、
0 以上 (2N)f/M 未満の成分が、p[0]に対応付けられ、
(2N)f/M 以上 2×(2N)f/M 未満の成分が、p[1]に対応付けられ、
2×(2N)f/M 以上 3×(2N)f/M 未満の成分が、p[2]に対応付けられ、
…
i×(2N)f/M 以上 (i+1)×(2N)f/M 未満の成分が、p[i]に対応付けられ、
…
(M-1)×(2N)f/M 以上 M×(2N)f/M 未満の成分が、p[M-1]に対応付けられる。
For this reason, an array p having M elements is prepared in the RAM 103. And among the frequency components after Fourier transform,
Components greater than or equal to 0 and less than (2 N ) f / M are associated with p [0],
(2 N) f / M or 2 × (2 N) f / M less components, associated with p [1],
Components of 2 × (2 N ) f / M or more and less than 3 × (2 N ) f / M are associated with p [2],
...
A component not less than i × (2 N ) f / M and less than (i + 1) × (2 N ) f / M is associated with p [i],
...
Components of (M-1) × (2 N ) f / M and less than M × (2 N ) f / M are associated with p [M-1].
すなわち、p[i]には、周波数成分の配列の要素F[i×(2N/M)]，…，F[(i+1)×(2N/M1)-1]が対応付けられることになる。この対応関係は適宜変更することができるため、以下では一般的に、p[i]にF[K[i]]，…，F[L[i]]が対応付けられるものとして考える。 That is, p [i] is associated with elements F [i × (2 N / M)],..., F [(i + 1) × (2 N / M1) −1] of the frequency component array. It will be. Since this correspondence can be changed as appropriate, in the following, it is generally considered that F [K [i]],..., F [L [i]] are associated with p [i].
このほか、配列pと同じ要素数を持つ配列sを用意する。これは、当該周波数帯において無音状態が続いている時間を計測するためのカウンタの配列である。 In addition, an array s having the same number of elements as the array p is prepared. This is an array of counters for measuring the time during which the silent state continues in the frequency band.
上記実施形態と同様に、時間間隔D/Gごとに起動されるパラメータ更新処理によって、ＲＡＭ １０３に用意された配列pの中身を更新する。図８は、パラメータ更新処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。 Similar to the above embodiment, the contents of the array p prepared in the RAM 103 are updated by the parameter update process activated at each time interval D / G. FIG. 8 is a flowchart showing a control flow of the parameter update process. Hereinafter, a description will be given with reference to FIG.
パラメータ更新処理が開始されると、まず、ＣＰＵ １０１は、0≦i<Mのそれぞれのiについて、以下ステップＳ８０２〜Ｓ８０８の処理を繰り返す（ステップＳ８０１）。ここでは、計算の中間結果を保持するため、ＲＡＭ １０３内に用意された配列変数S[i]を用いる（Sは大文字）。 When the parameter update process is started, first, the CPU 101 repeats the processes of steps S802 to S808 for each i of 0 ≦ i <M (step S801). Here, in order to hold an intermediate result of the calculation, an array variable S [i] prepared in the RAM 103 is used (S is a capital letter).
また、ＲＡＭ １０３内には、配列変数s[i]も用意されている（sは小文字）。s[i]には、p[i]番目に対応する周波数帯に含まれる周波数成分の強度の総和が所定の閾値未満であることが続いた時間、すなわち、「音声が入力されていない無音状態が続いた時間」に相当する値が格納される。 Further, an array variable s [i] is also prepared in the RAM 103 (s is a small letter). In s [i], the time during which the sum of the intensities of the frequency components included in the frequency band corresponding to the p [i] th is less than a predetermined threshold, that is, “silent state in which no sound is input A value corresponding to “the time when“ is continued ”is stored.
まず、呼吸フラグ領域eが「呼吸」であるか否かを判定し（ステップＳ８０２）、そうでない場合（ステップＳ８０２；Ｎｏ）、S[i] = Σj=K[i] L[i] F[j]を計算して、S[i]を、p[i]に対応する周波数帯に含まれる周波数成分の強度の総和とする（ステップＳ８０３）。一方、そうである場合（ステップＳ８０２；Ｙｅｓ）、S[i] = 0とする（ステップＳ８０４）。 First, it is determined whether or not the breathing flag area e is “breathing” (step S802). If not (step S802; No), S [i] = Σj = K [i] L [i] F [j] is calculated, and S [i] is set as the sum of the intensities of the frequency components included in the frequency band corresponding to p [i] (step S803). On the other hand, if so (step S802; Yes), S [i] = 0 is set (step S804).
ついで、S[i]が、所定の閾値未満であるか否かを調べる（ステップＳ８０５）。所定の閾値としては、雑音を排除するほか、音の有無を区別できるような適当な値を採用する。またユーザが適宜調整できるようにしても良い。 Next, it is checked whether S [i] is less than a predetermined threshold value (step S805). As the predetermined threshold, in addition to eliminating noise, an appropriate value that can distinguish the presence or absence of sound is adopted. Further, the user may be able to adjust as appropriate.
そして、S[i]が、所定の閾値未満でない場合（ステップＳ８０５；Ｎｏ）、すなわち、何らかの音声が入力されている場合は、「無音状態」ではないから、ＲＡＭ １０３内に用意された配列の要素s[i]を０にクリアする（ステップＳ８０６）。 If S [i] is not less than the predetermined threshold value (step S805; No), that is, if any sound is input, it is not a “silent state”, so the array prepared in the RAM 103 is not stored. The element s [i] is cleared to 0 (step S806).
一方、S[i]が、所定の閾値未満である場合（ステップＳ８０５；Ｙｅｓ）、すなわち「無音状態」である場合、ＲＡＭ １０３内に用意された配列の要素s[i]の値を１増やす（ステップＳ８０７）。 On the other hand, when S [i] is less than the predetermined threshold (step S805; Yes), that is, in the “silent state”, the value of the element s [i] of the array prepared in the RAM 103 is incremented by 1. (Step S807).
このように、配列の要素s[i]が０である場合は、現在が「無音状態」でないことを意味し、０以外の正の値である場合は、過去から現在までその正の値に相当する時間だけ、「無音状態」が続いたことを意味する。 Thus, when the element s [i] of the array is 0, it means that the current is not “silent state”, and when it is a positive value other than 0, the positive value from the past to the present is used. It means that the “silent state” lasted for the corresponding time.
さて、このように繰り返しが終わり、S[0]，…，S[M-1]がすべて求められたら、0≦i<Mのそれぞれのiについて、以下ステップＳ８１０〜Ｓ８１４の処理を繰り返す（ステップＳ８０９）。 Now, when the repetition is completed and S [0],..., S [M-1] are all obtained, the processes of steps S810 to S814 are repeated for each i of 0 ≦ i <M (step S810). S809).
まず、s[i]の値が所定の閾時間以上か否か、すなわち、「無音状態」が所定の閾時間以上連続して現在まで続いているか否か、を判定する（ステップＳ８１０）。 First, it is determined whether or not the value of s [i] is equal to or longer than a predetermined threshold time, that is, whether or not the “silent state” continues for a predetermined threshold time or longer (step S810).
s[i]≧所定の閾時間である場合、すなわち、「無音状態」が所定の閾時間以上連続して現在まで続いている場合（ステップＳ８１０；Ｙｅｓ）、Δ[i]の値を-p[i]とする（ステップＳ８１１）。これにより後述する上書き更新を行うと、p[i]の値は必ず０にクリアされる。 If s [i] ≧ predetermined threshold time, that is, if the “silent state” continues for a predetermined threshold time or longer (step S810; Yes), the value of Δ [i] is −p [i] is set (step S811). As a result, when an overwrite update described later is performed, the value of p [i] is always cleared to 0.
s[i]＜所定の閾時間である場合、現在までの閾時間の間に、何らかの音が生じていた場合（ステップＳ８１０；Ｎｏ）、Δ[i]の値をS[i]に応じて求める（ステップＳ８１２）。Δ[i]の値をS[i]に応じて求める詳細な手法については、後述する。 When s [i] <predetermined threshold time, if any sound is generated during the threshold time up to the present time (step S810; No), the value of Δ [i] is set according to S [i]. Obtained (step S812). A detailed method for obtaining the value of Δ [i] according to S [i] will be described later.
ついで、p[i]の値をp[i]+Δ[i]に上書き更新する（ステップＳ８１３）。繰り返しが終了したら、本処理を終了する。 Next, the value of p [i] is overwritten and updated to p [i] + Δ [i] (step S813). When the repetition is completed, the present process is terminated.
さて、Δ[i]の値をS[i]に応じて求める最も簡単な手法は、S[i]に適当な整定数を乗じた値をΔ[i]とすることである。このほか、
0≦S[i]<128ならばΔ[i] = 1
128≦S[i]<192ならばΔ[i] = 2
192≦S[i]<224ならばΔ[i] = 3
224≦S[i]<256ならばΔ[i] = 4
などのように、階段状に単調増加する対応付けを用意して、Δ[i]の値を定めても良い。
The simplest method for obtaining the value of Δ [i] according to S [i] is to set Δ [i] to a value obtained by multiplying S [i] by an appropriate integer constant. other than this,
If 0 ≦ S [i] <128, Δ [i] = 1
If 128 ≦ S [i] <192, Δ [i] = 2
If 192 ≦ S [i] <224, Δ [i] = 3
If 224 ≦ S [i] <256, Δ [i] = 4
As described above, a correlation that monotonously increases stepwise may be prepared to determine the value of Δ [i].
また、S[0]，…，S[M-1]で値が最大のものを探す。これをS[j]とすると、上記のように各Δ[i]を求めた後で、Δ[j]のみを修正する手法も考えられる。 Also, a search is made for the largest value of S [0],..., S [M-1]. If this is S [j], a method of correcting only Δ [j] after obtaining each Δ [i] as described above is also conceivable.
すなわち、ＲＡＭ １０３内に用意された仮想空間情報記憶部（図示せず）に、仮想空間情報記憶部には、仮想空間においてユーザの指示入力により移動するキャラクターと、当該キャラクターによる操作を受け付けるオブジェクトと、の位置が記憶されるものとし、一般的なゲーム技術によって、これらの情報が更新されるものとする。 That is, in a virtual space information storage unit (not shown) prepared in the RAM 103, the virtual space information storage unit includes a character that moves in response to a user instruction in the virtual space, and an object that receives an operation by the character. , And the information is updated by a general game technique.
そして、キャラクターとオブジェクトの距離をrとしたときに、rが増加すると増加する正値wを、Δ[j]から減算するのである。 Then, when the distance between the character and the object is r, a positive value w that increases as r increases is subtracted from Δ [j].
正値wの求め方としては、たとえば、ある正定数X，Y，Zを用いて、 w = X(1-1/r) + Y や、 w = X(1-1/(r(j+Z)) + Y などとする手法などが考えられる。 As a method of obtaining the positive value w, for example, using some positive constants X, Y, and Z, w = X (1-1 / r) + Y or w = X (1-1 / (r (j + Z)) + Y etc. can be considered.
このようにすると、キャラクターとオブジェクトの距離rが近ければ近いほどwの値は大きくなる。また、jを用いる後者の計算式では、総和強度が最大の周波数帯が高ければ高いほど、キャラクターとオブジェクトの距離rが遠くなっても、wの値が大きいままとなる。 In this way, the shorter the distance r between the character and the object, the greater the value of w. In the latter calculation formula using j, the higher the frequency band with the maximum sum intensity, the larger the value of w even if the distance r between the character and the object is longer.
上記の手法に加えて、さらに、S[j]の値が一定値以下である場合には、Δ[j]の修正は行わず、そのまま利用する、という手法を採用しても良い。 In addition to the above method, when the value of S [j] is equal to or less than a certain value, a method may be employed in which Δ [j] is not corrected and is used as it is.
また、本実施形態では、「無音状態」が現在まで続いている時間が一定以上になっている場合（ステップＳ８１０；Ｙｅｓ）、Δ[i]を-p[i]に定めてから（ステップＳ８１１）、p[i]にΔ[i]を加算してp[i]をクリアしているが（ステップＳ８１３）、「無音状態」が現在まで続いている時間が一定以上になっている場合（ステップＳ８１０；Ｙｅｓ）、直接p[i]を0にクリアしてからステップＳ８０９に戻ることとしても良い。 Further, in this embodiment, when the time during which the “silent state” continues to the present time is a certain time or longer (step S810; Yes), Δ [i] is set to −p [i] (step S811). ), Δ [i] is added to p [i] to clear p [i] (step S813). However, when the “silent state” continues to the present time is over a certain level ( Step S810; Yes), p [i] may be directly cleared to 0 and then the process may return to Step S809.
このように、ＣＰＵ １０１は、ＲＡＭ １０３と共働して、パラメータ更新処理を実行し、変化量計算部７０３および更新部７０４として機能する。これによって、パラメータp[0]，…，p[M-1]には、これまでに入力された音声情報の周波数特性に応じたパラメータが記録されるのである。
As described above, the CPU 101 cooperates with the RAM 103 to execute the parameter update process, and functions as the change
さて、選択出力部７０５は、必要に応じて、パラメータp[0]，…，p[M-1]の値に基づいて、複数の処理項目からいずれかを選択して出力する。
The
たとえば、仮想世界をさまようキャラクターが扉のオブジェクトを発見したとき、マイクから声を入力し続けると、パラメータp[0]，…，p[M-1]の値が増加していく。 For example, when a character wandering around the virtual world finds a door object, the value of parameters p [0],..., P [M-1] increases as the voice continues to be input from the microphone.
たとえば、扉のオブジェクトに割り当てられた条件として、「p[M-4]，…，p[M-1]のいずれかが、ある値を超えたときに扉が開く」というものであるならば、当該条件が満たされるかどうかを選択出力部７０５が判断し、満たされる場合には「扉が開く」という処理項目を出力し、満たされない場合には「扉が開かない」という処理項目を出力して、ゲームの仮想世界を制御する制御部に処理をさせるのである。この条件は、高い声で叫び続ければ扉が開く、というものに相当する。
For example, if the condition assigned to the object of the door is "the door opens when any of p [M-4], ..., p [M-1] exceeds a certain value" The
処理項目としてどのようなものを用意し、各処理項目が選択される条件としてパラメータp[0]，…，p[M-1]の値が何を満たすこととするか、は、用途や適用分野等に応じて適宜設定することができる。 What kind of processing items are prepared and what the values of parameters p [0], ..., p [M-1] satisfy as conditions for selecting each processing item are determined according to usage and application It can be set as appropriate according to the field.
典型的には、あるパラメータの集合p[R]，…，p[T]のうち、いずれか少なくとも一つがある値を超える、という条件や、p[R]，…，p[T]の総和がある値を超える、という条件などが採用できる。 Typically, a condition that at least one of a set of parameters p [R], ..., p [T] exceeds a certain value, or the sum of p [R], ..., p [T] A condition such that the value exceeds a certain value can be adopted.
このように、ＣＰＵ １０１は、ＲＡＭ １０３と共働して、選択出力部７０５として機能することとなる。
In this way, the CPU 101 functions as the
なお、上記実施形態においては、呼吸フラグ領域eを参照していた（ステップＳ８０２）が、この処理は省略し、常にステップＳ８０３が実行されることとしても良い。 In the above embodiment, the breathing flag area e is referred to (step S802), but this process may be omitted and step S803 may be always executed.
このほか、複数の処理項目からいずれかを選択する態様としては、以下のようなものが考えられる。 In addition, the following can be considered as a mode for selecting one of a plurality of processing items.
たとえば、仮想世界に置かれている爆弾をキャラクターが拾い、これを岩の前に置いて爆発させることによって、岩を破壊して、岩によって閉ざされた洞窟に出入りができるようにするゲームにおいては、上記の処理項目の種類として爆弾のタイマーのオンやオフ、爆発までの時間設定を採用することができる。 For example, in a game where a character picks up a bomb placed in a virtual world and places it in front of a rock to explode, destroying the rock and allowing it to enter and exit a cave closed by the rock The bomb timer can be turned on or off, and the time until the explosion can be set as the type of processing item.
具体的には、プレイヤーが一定周波数の高い声を出すとその声が持続した時間によって爆発までの時間設定がされ（爆弾に用意されている導火線の長さが、その周波数帯の声が出ている間だけ延びる等）、その後で一定周波数の低い声を出すと爆発までのタイマーが開始される（導火線の先端に火が着いて、火が燃えて導火線が短くなり、爆弾本体に火が到達すると爆発する等）、などである。 Specifically, when the player utters a voice with a high frequency, the time until the explosion is set according to the duration of the voice (the length of the lead wire prepared for the bomb is the voice of that frequency band. After that, when a voice with a constant frequency is emitted, the timer until the explosion starts (fire is ignited at the tip of the conductor, the fire is burned, the conductor is shortened, and fire reaches the bomb body) Then, it will explode).
このほか、音声入力された声の周波数やキャラクターと爆弾の距離に応じて、爆発のタイミングが変化するような応用をすることもできる。 In addition, it can be applied such that the timing of the explosion changes according to the frequency of the voice input voice and the distance between the character and the bomb.
本実施形態によれば、入力される音声情報の周波数特性に応じて処理を変化させることができる。 According to the present embodiment, the processing can be changed according to the frequency characteristics of the input voice information.
以上説明したように、本発明によれば、入力される音声情報の周波数特性に応じて処理を変化させるのに好適な音声情報処理装置、音声情報処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。 As described above, according to the present invention, a sound information processing apparatus, a sound information processing method, and the like that are suitable for changing processing according to the frequency characteristics of input sound information, and these are realized by a computer. A program can be provided.
１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ インターフェイス
１０５ コントローラ
１０６ 外部メモリ
１０７ 画像処理部
１０８ ＤＶＤ−ＲＯＭドライブ
１０９ ＮＩＣ
１１０ 音声処理部
１１１ マイク
２０１ 音声情報処理装置
２０２ 弁別機能部
２０３ 入力受付部
２０４ フーリエ変換部
２０５ 判断部
２０６ 非呼吸音出力部
２０７ 呼吸音出力部
７０１ 項目選択機能部
７０２ パラメータ記憶部
７０３ 変化量計算部
７０４ 更新部
７０５ 選択出力部
100 Information processing apparatus 101 CPU
102 ROM
103 RAM
104 Interface 105 Controller 106 External Memory 107 Image Processing Unit 108 DVD-ROM Drive 109 NIC
DESCRIPTION OF SYMBOLS 110 Speech processing part 111 Microphone 201 Speech
Claims (3)
前記入力を受け付けられた音声情報をフーリエ変換して、複数の周波数成分の強度を得るフーリエ変換部、
複数の周波数帯のそれぞれに対応付けられるパラメータが記憶されるパラメータ記憶部、
所定の時間おきに、当該複数の周波数帯のそれぞれについて、前記得られた複数の周波数成分の強度のうち当該周波数帯に属する強度から、当該周波数帯に対応付けられるパラメータの変化量を求める変化量計算部、
当該複数の周波数帯のそれぞれについて、前記パラメータ記憶部に当該周波数帯に対応付けられて記憶されるパラメータを、当該周波数帯に対して前記求められた変化量だけ変化させる更新部、
前記パラメータ記憶部に記憶されるパラメータにより、複数の処理項目からいずれかを選択して出力する選択出力部、
仮想空間においてユーザの指示入力により移動するキャラクターと、当該キャラクターによる操作を受け付けるオブジェクトと、の位置が記憶される仮想空間情報記憶部
を備え、
前記変化量計算部は、当該複数の周波数帯のそれぞれについて、前記得られた複数の周波数成分の強度のうち当該周波数帯に属する強度の総和が
（ａ）所定の閾値以上である場合、
（ｘ）当該周波数帯が、当該周波数帯に属する強度の総和が最大となる周波数帯である場合、前記仮想空間情報記憶部に記憶されたキャラクターとオブジェクトの位置から、当該キャラクターと当該オブジェクトの間の距離を求め、当該総和にあらかじめ対応付けられた正値から、当該求められた距離にあらかじめ対応付けられた正値を減算した値を変化量とし、
（ｙ）当該周波数帯が、当該周波数帯に属する強度の総和が最大となる周波数帯でない場合、当該総和にあらかじめ対応付けられた正値を変化量とし、
（ｂ）連続して所定の閾値未満である時間が所定の閾時間以上である場合、当該パラメータの値の符号を反転した値を変化量とする
ことを特徴とする音声情報処理装置。 An input receiving unit for receiving voice information input;
A Fourier transform unit that obtains the intensities of a plurality of frequency components by Fourier transforming the audio information that has received the input;
A parameter storage unit that stores parameters associated with each of the plurality of frequency bands;
For each of the plurality of frequency bands, a change amount for obtaining a change amount of a parameter associated with the frequency band from the intensities belonging to the frequency band among the plurality of obtained frequency component intensities at predetermined time intervals. Calculation part,
For each of the plurality of frequency bands, an updating unit that changes the parameter stored in the parameter storage unit in association with the frequency band by the calculated change amount with respect to the frequency band,
A selection output unit that selects and outputs one of a plurality of processing items according to parameters stored in the parameter storage unit ,
A virtual space information storage unit that stores the positions of a character that moves in response to a user instruction in the virtual space and an object that receives an operation by the character.
With
The change amount calculation unit, for each of the plurality of frequency bands, the sum of the strengths belonging to the frequency band among the obtained intensity of the plurality of frequency components is
(A) If it is greater than or equal to a predetermined threshold,
(X) When the frequency band is a frequency band in which the sum of the intensities belonging to the frequency band is maximum, the position between the character and the object is determined from the position of the character and the object stored in the virtual space information storage unit. The value obtained by subtracting the positive value previously associated with the obtained distance from the positive value previously associated with the sum is used as the amount of change.
(Y) If the frequency band is not a frequency band where the sum of the strengths belonging to the frequency band is the maximum, a positive value associated with the sum in advance is used as the amount of change.
(B) When the time continuously being less than the predetermined threshold is equal to or longer than the predetermined threshold time, a value obtained by inverting the sign of the parameter value is set as the amount of change.
A voice information processing apparatus.
音声情報の入力を受け付ける入力受付工程、
前記入力を受け付けられた音声情報をフーリエ変換して、複数の周波数成分の強度を得るフーリエ変換工程、
所定の時間おきに、当該複数の周波数帯のそれぞれについて、前記得られた複数の周波数成分の強度のうち当該周波数帯に属する強度から、当該周波数帯に対応付けられるパラメータの変化量を求める変化量計算工程、
当該複数の周波数帯のそれぞれについて、前記パラメータ記憶部に当該周波数帯に対応付けられて記憶されるパラメータを、当該周波数帯に対して前記求められた変化量だけ変化させる更新工程、
前記パラメータ記憶部に記憶されるパラメータにより、複数の処理項目からいずれかを選択して出力する選択出力工程
を備え、
前記変化量計算工程では、当該複数の周波数帯のそれぞれについて、前記得られた複数の周波数成分の強度のうち当該周波数帯に属する強度の総和が
（ａ）所定の閾値以上である場合、
（ｘ）当該周波数帯が、当該周波数帯に属する強度の総和が最大となる周波数帯である場合、前記仮想空間情報記憶部に記憶されたキャラクターとオブジェクトの位置から、当該キャラクターと当該オブジェクトの間の距離を求め、当該総和にあらかじめ対応付けられた正値から、当該求められた距離にあらかじめ対応付けられた正値を減算した値を変化量とし、
（ｙ）当該周波数帯が、当該周波数帯に属する強度の総和が最大となる周波数帯でない場合、当該総和にあらかじめ対応付けられた正値を変化量とし、
（ｂ）連続して所定の閾値未満である時間が所定の閾時間以上である場合、当該パラメータの値の符号を反転した値を変化量とする
ことを特徴とする音声情報処理方法。 A parameter storage unit that stores parameters associated with each of a plurality of frequency bands , and a virtual that stores the positions of a character that moves in accordance with a user's instruction input in the virtual space and an object that receives an operation by the character A voice information processing method using a spatial information storage unit ,
An input receiving process for receiving input of voice information;
Fourier transform process for obtaining the intensity of a plurality of frequency components by Fourier transforming the audio information that has received the input,
For each of the plurality of frequency bands, a change amount for obtaining a change amount of a parameter associated with the frequency band from the intensities belonging to the frequency band among the plurality of obtained frequency component intensities at predetermined time intervals. Calculation process,
For each of the plurality of frequency bands, an update step for changing the parameter stored in the parameter storage unit in association with the frequency band by the calculated change amount with respect to the frequency band,
A selection output step of selecting and outputting one of a plurality of processing items according to the parameters stored in the parameter storage unit
With
In the change amount calculating step, for each of the plurality of frequency bands, the sum of the intensities belonging to the frequency band among the obtained intensities of the plurality of frequency components is calculated.
(A) If it is greater than or equal to a predetermined threshold,
(X) When the frequency band is a frequency band in which the sum of the intensities belonging to the frequency band is maximum, the position between the character and the object is determined from the position of the character and the object stored in the virtual space information storage unit. The value obtained by subtracting the positive value previously associated with the obtained distance from the positive value previously associated with the sum is used as the amount of change.
(Y) If the frequency band is not a frequency band where the sum of the strengths belonging to the frequency band is the maximum, a positive value associated with the sum in advance is used as the amount of change.
(B) When the time continuously being less than the predetermined threshold is equal to or longer than the predetermined threshold time, a value obtained by inverting the sign of the parameter value is set as the amount of change.
A voice information processing method.
音声情報の入力を受け付ける入力受付部、
前記入力を受け付けられた音声情報をフーリエ変換して、複数の周波数成分の強度を得るフーリエ変換部、
複数の周波数帯のそれぞれに対応付けられるパラメータが記憶されるパラメータ記憶部、
所定の時間おきに、当該複数の周波数帯のそれぞれについて、前記得られた複数の周波数成分の強度のうち当該周波数帯に属する強度から、当該周波数帯に対応付けられるパラメータの変化量を求める変化量計算部、
当該複数の周波数帯のそれぞれについて、前記パラメータ記憶部に当該周波数帯に対応付けられて記憶されるパラメータを、当該周波数帯に対して前記求められた変化量だけ変化させる更新部、
前記パラメータ記憶部に記憶されるパラメータにより、複数の処理項目からいずれかを選択して出力する選択出力部、
仮想空間においてユーザの指示入力により移動するキャラクターと、当該キャラクターによる操作を受け付けるオブジェクトと、の位置が記憶される仮想空間情報記憶部
として機能させ、
前記変化量計算部は、当該複数の周波数帯のそれぞれについて、前記得られた複数の周波数成分の強度のうち当該周波数帯に属する強度の総和が
（ａ）所定の閾値以上である場合、
（ｘ）当該周波数帯が、当該周波数帯に属する強度の総和が最大となる周波数帯である場合、前記仮想空間情報記憶部に記憶されたキャラクターとオブジェクトの位置から、当該キャラクターと当該オブジェクトの間の距離を求め、当該総和にあらかじめ対応付けられた正値から、当該求められた距離にあらかじめ対応付けられた正値を減算した値を変化量とし、
（ｙ）当該周波数帯が、当該周波数帯に属する強度の総和が最大となる周波数帯でない場合、当該総和にあらかじめ対応付けられた正値を変化量とし、
（ｂ）連続して所定の閾値未満である時間が所定の閾時間以上である場合、当該パラメータの値の符号を反転した値を変化量とする
ように機能させることを特徴とするプログラム。 Computer
An input receiving unit for receiving voice information input;
A Fourier transform unit that obtains the intensities of a plurality of frequency components by Fourier transforming the audio information that has received the input;
A parameter storage unit that stores parameters associated with each of the plurality of frequency bands;
For each of the plurality of frequency bands, a change amount for obtaining a change amount of a parameter associated with the frequency band from the intensities belonging to the frequency band among the plurality of obtained frequency component intensities at predetermined time intervals. Calculation part,
For each of the plurality of frequency bands, an updating unit that changes the parameter stored in the parameter storage unit in association with the frequency band by the calculated change amount with respect to the frequency band,
A selection output unit that selects and outputs one of a plurality of processing items according to parameters stored in the parameter storage unit ,
A virtual space information storage unit that stores the positions of a character that moves in response to a user instruction in the virtual space and an object that receives an operation by the character.
Function as
The change amount calculation unit, for each of the plurality of frequency bands, the sum of the strengths belonging to the frequency band among the obtained intensity of the plurality of frequency components is
(A) If it is greater than or equal to a predetermined threshold,
(X) When the frequency band is a frequency band in which the sum of the intensities belonging to the frequency band is maximum, the position between the character and the object is determined from the position of the character and the object stored in the virtual space information storage unit. The value obtained by subtracting the positive value previously associated with the obtained distance from the positive value previously associated with the sum is used as the amount of change.
(Y) If the frequency band is not a frequency band where the sum of the strengths belonging to the frequency band is the maximum, a positive value associated with the sum in advance is used as the amount of change.
(B) When the time continuously being less than the predetermined threshold is equal to or longer than the predetermined threshold time, a value obtained by inverting the sign of the parameter value is set as the amount of change.
Program for causing to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005283185A JP4722652B2 (en) | 2005-09-29 | 2005-09-29 | Audio information processing apparatus, audio information processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005283185A JP4722652B2 (en) | 2005-09-29 | 2005-09-29 | Audio information processing apparatus, audio information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007094001A JP2007094001A (en) | 2007-04-12 |
| JP4722652B2 true JP4722652B2 (en) | 2011-07-13 |
Family
ID=37979809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005283185A Expired - Fee Related JP4722652B2 (en) | 2005-09-29 | 2005-09-29 | Audio information processing apparatus, audio information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4722652B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10010979A1 (en) * | 2000-03-07 | 2001-09-13 | Bosch Gmbh Robert | Electrical circuit on substrate e.g. PCB, has component(s) mounted on conducting track layer on substrate and enclosed by recesses in conducting track layer in form of round holes or trenches |
| KR100832996B1 (en) * | 2001-12-22 | 2008-05-27 | 주식회사 포스코 | Manufacturing method of high carbon steel using high tear chart |
| KR100795022B1 (en) * | 2006-09-13 | 2008-01-16 | 주식회사 하이닉스반도체 | Internal Voltage Generation Circuit of Semiconductor Memory Device |
| JP7461391B2 (en) * | 2022-01-13 | 2024-04-03 | 株式会社タカラトミー | Game device, game environment setting method and program |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62245296A (en) * | 1986-04-18 | 1987-10-26 | シチズン時計株式会社 | Voice recognition equipment |
| JPS63255085A (en) * | 1987-04-10 | 1988-10-21 | 株式会社トミー | Sound game apparatus |
| JP2947143B2 (en) * | 1995-10-16 | 1999-09-13 | ソニー株式会社 | Voice recognition device and navigation device |
| JPH11347250A (en) * | 1998-06-04 | 1999-12-21 | Enix Corp | Video game device and recording medium storing program |
| JP3914636B2 (en) * | 1998-06-12 | 2007-05-16 | 有限会社アンブレラ | Video game machine and program recording medium characterized by voice input human interface |
| JP2000157720A (en) * | 1998-11-26 | 2000-06-13 | Square Co Ltd | Game apparatus, game control and information recording medium |
| JP2002248261A (en) * | 2000-12-22 | 2002-09-03 | Sony Computer Entertainment Inc | Object display program, computer readable storage medium for storing object display program, program executing device for executing object display program, character battle display program, computer readable storage medium for storing character battle display program and program executing device for executing character battle display program |
| JP2002320773A (en) * | 2001-04-25 | 2002-11-05 | Pacific Century Cyberworks Japan Co Ltd | GAME DEVICE, ITS CONTROL METHOD, RECORDING MEDIUM, PROGRAM, AND MOBILE PHONE |
| JP2002320772A (en) * | 2001-04-25 | 2002-11-05 | Pacific Century Cyberworks Japan Co Ltd | GAME DEVICE, ITS CONTROL METHOD, RECORDING MEDIUM, PROGRAM, AND MOBILE PHONE |
| JP2004148111A (en) * | 2002-10-09 | 2004-05-27 | Namco Ltd | Image generation system, program, and information storage medium |
| JP2004148110A (en) * | 2002-10-09 | 2004-05-27 | Namco Ltd | Image generation system, program, and information storage medium |
| JP2004267433A (en) * | 2003-03-07 | 2004-09-30 | Namco Ltd | Information processing apparatus, server, program, and recording medium for providing voice chat function |
| JP3740548B2 (en) * | 2004-01-08 | 2006-02-01 | コナミ株式会社 | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM |
-
2005
- 2005-09-29 JP JP2005283185A patent/JP4722652B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007094001A (en) | 2007-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4493678B2 (en) | GAME DEVICE, GAME PROCESSING METHOD, AND PROGRAM | |
| JP5306702B2 (en) | Age group estimation device, age group estimation method, and program | |
| KR20230075998A (en) | Method and system for generating avatar based on text | |
| JP4722653B2 (en) | Audio information processing apparatus, audio information processing method, and program | |
| JP3827693B2 (en) | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM | |
| EP1994970A1 (en) | Communication game system, communication game control method, information recording medium, and program | |
| JP4722652B2 (en) | Audio information processing apparatus, audio information processing method, and program | |
| KR100903500B1 (en) | Voice output device, voice output method, and computer-readable information recording medium having a program recorded thereon | |
| JP2008191551A (en) | Pronunciation rating device and program | |
| JP4468963B2 (en) | Audio image processing apparatus, audio image processing method, and program | |
| EP1796046A1 (en) | Image processor, image processing method, information recording medium, and program | |
| JP4298672B2 (en) | Method and apparatus for calculating output probability of state of mixed distribution HMM | |
| JP4563418B2 (en) | Audio processing apparatus, audio processing method, and program | |
| JP2010169925A (en) | Speech processing device, chat system, speech processing method and program | |
| JP2002085834A (en) | Game machine | |
| JP2012120592A (en) | Game device, method for controlling game device, and program | |
| JP4437993B2 (en) | Audio processing apparatus, audio processing method, and program | |
| JP5519600B2 (en) | Game terminal, game system, and program | |
| EP4631589A1 (en) | Systems and methods for dynamic modification of game character voice | |
| JP4294712B1 (en) | Audio processing apparatus, audio processing method, and program | |
| JP3854263B2 (en) | Karaoke device, karaoke method, and program | |
| JP5357805B2 (en) | Audio processing apparatus, audio processing method, and program | |
| JP4714230B2 (en) | Audio processing apparatus, audio processing method, and program | |
| JP4825273B2 (en) | GAME DEVICE, GAME DEVICE CONTROL METHOD, AND PROGRAM | |
| JP2003108161A (en) | Karaoke device that outputs game content between karaoke performances |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110406 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140415 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4722652 Country of ref document: JP |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |