JP6684651B2 - Channel number converter and its program - Google Patents
Channel number converter and its program Download PDFInfo
- Publication number
- JP6684651B2 JP6684651B2 JP2016103664A JP2016103664A JP6684651B2 JP 6684651 B2 JP6684651 B2 JP 6684651B2 JP 2016103664 A JP2016103664 A JP 2016103664A JP 2016103664 A JP2016103664 A JP 2016103664A JP 6684651 B2 JP6684651 B2 JP 6684651B2
- Authority
- JP
- Japan
- Prior art keywords
- channel
- signal
- unit
- weighting
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Stereophonic System (AREA)
Description
本発明は、マルチチャンネル音声信号のチャンネル数を変換するチャンネル数変換装置およびそのプログラムに関する。 The present invention relates to a channel number conversion device for converting the number of channels of a multi-channel audio signal and its program.
現在、２２．２ｃｈなどのマルチチャンネル音声放送（非特許文献１）の実用化が進められている。マルチチャンネル音声放送により、高い臨場感を持った音声の再生を実現することができる。しかし、一般的な家庭の場合、例えば、２ｃｈステレオ等、２２．２ｃｈより少ないチャンネル数のみを再生可能な環境である場合が多いと想定される。このため、マルチチャンネル音声放送を家庭で再生するには、家庭で再生できるチャンネル数に合わせて、音声信号のチャンネル数を変換する必要がある。このような場合、一般的にダウンミックスやレンダリング等を行って再生環境に応じたチャンネル数に変換する技術が知られている（非特許文献１、２）。 Currently, the practical application of multi-channel audio broadcasting such as 22.2 ch (Non-Patent Document 1) is in progress. With multi-channel audio broadcasting, it is possible to realize highly realistic audio reproduction. However, in the case of a general home, it is assumed that there are many cases where the environment can reproduce only a smaller number of channels than 22.2 ch, such as 2 ch stereo. Therefore, in order to reproduce the multi-channel audio broadcast at home, it is necessary to convert the number of channels of the audio signal according to the number of channels that can be reproduced at home. In such a case, a technique is generally known in which downmixing, rendering, or the like is performed to convert into the number of channels according to the reproduction environment (Non-Patent Documents 1 and 2).
しかし、番組の内容に関わらず一意にチャンネル数を変換する一般的なチャンネル数変換方法では、チャンネル数変換後の音声信号が番組制作者の意図に沿ったものとならない可能性がある。これに対し、マルチチャンネル音声放送を実施する場合には、番組制作者が２ｃｈステレオ用の番組を別に制作して、マルチチャンネルと２ｃｈステレオを同時に放送するいわゆるサイマル放送の実施が検討されている。 However, in a general channel number conversion method that uniquely converts the channel number regardless of the content of the program, the audio signal after the channel number conversion may not be in line with the intention of the program producer. On the other hand, in the case of carrying out multi-channel audio broadcasting, a so-called simulcast in which a program creator separately creates a program for 2ch stereo and simultaneously broadcasts multichannel and 2ch stereo is under consideration.
ところで、家庭環境によってスピーカ数やその配置は様々であり、各家庭での再生環境に応じたチャンネル数での放送を聴取したいというニーズがある。しかし、あらゆるチャンネル数、スピーカ配置に対応するサイマル放送を実施することは不可能である。また、各家庭での再生環境（スピーカ数、スピーカ配置）に応じた一律なチャンネル数変換方法によってチャンネル数を変換した場合、番組ごとに、番組制作者の意図通りに変換を行うことは難しい。その為、サイマル放送が実施されたとしても、各家庭では、番組ごとに適切にチャンネル数変換された音声再生ができない可能性が高い。 By the way, the number of speakers and their arrangement vary depending on the home environment, and there is a need to listen to broadcasts on the number of channels according to the playback environment at each home. However, it is impossible to carry out simulcasting for all numbers of channels and speaker arrangements. Moreover, when the number of channels is converted by a uniform number-of-channels conversion method according to the reproduction environment (the number of speakers, the arrangement of speakers) in each home, it is difficult to convert each program as intended by the program producer. Therefore, even if the simulcast is carried out, there is a high possibility that the sound cannot be reproduced with the number of channels appropriately converted for each program at each home.
そこでこの発明は、上述の課題を解決することのできるチャンネル数変換装置およびそのプログラムを提供することを目的としている。 Therefore, an object of the present invention is to provide a channel number conversion device and a program thereof that can solve the above problems.
本発明の一態様によれば、チャンネル数変換装置は、マルチチャンネル音声信号と前記マルチチャンネル音声信号に対応する参照信号とを入力し、前記参照信号の各チャンネルに含まれる前記マルチチャンネル音声信号の各チャンネル信号に対応する重み付け係数をそれぞれ計算する重み付け係数計算部と、前記重み付け係数に基づいて前記マルチチャンネル音声信号の各チャンネル信号に乗じる補正係数を計算する補正係数計算部と、前記補正係数を前記マルチチャンネル音声信号に適用する補正係数適用部と、前記補正係数を適用したマルチチャンネル音声信号を、所定のチャンネル数変換方法によって、所望のチャンネル数の再生チャンネル信号に変換するチャンネル数変換部と、を備える。 According to an aspect of the present invention, a channel number conversion device inputs a multi-channel audio signal and a reference signal corresponding to the multi-channel audio signal, and outputs the multi-channel audio signal included in each channel of the reference signal. A weighting coefficient calculating section for calculating a weighting coefficient corresponding to each channel signal; a correction coefficient calculating section for calculating a correction coefficient for multiplying each channel signal of the multi-channel audio signal based on the weighting coefficient; A correction coefficient applying section for applying the multi-channel audio signal, and a channel number converting section for converting the multi-channel audio signal to which the correction coefficient is applied into a reproduction channel signal of a desired number of channels by a predetermined channel number converting method. , Is provided.
本発明の一態様によれば、前記重み付け係数計算部は、前記参照信号と前記マルチチャンネル音声信号の各チャンネル信号との間の遅延を補正する遅延補正部、を備えてもよい。 According to an aspect of the present invention, the weighting coefficient calculation unit may include a delay correction unit that corrects a delay between the reference signal and each channel signal of the multi-channel audio signal.
本発明の一態様によれば、前記重み付け係数計算部は、前記マルチチャンネル音声信号と前記参照信号とを入力し、前記マルチチャンネル音声信号の各チャンネル信号に対する重み付け比を分析する重み付け比分析部、を備えてもよい。 According to one aspect of the present invention, the weighting coefficient calculation unit receives the multi-channel audio signal and the reference signal, and analyzes a weighting ratio of each channel signal of the multi-channel audio signal, a weighting ratio analysis unit, May be provided.
本発明の一態様によれば、前記重み付け係数計算部は、前記参照信号の各チャンネル信号のエネルギーと、前記参照信号の各チャンネルに対応した前記マルチチャンネル音声信号の各チャンネル信号に前記重み付け比を乗じた信号のエネルギーの和とが等しくなるように前記重み付け比を補正する重み付け比補正部、を備えてもよい。 According to an aspect of the present invention, the weighting coefficient calculation unit assigns the energy of each channel signal of the reference signal and the weighting ratio to each channel signal of the multi-channel audio signal corresponding to each channel of the reference signal. A weighting ratio correction unit that corrects the weighting ratio so that the sum of the energies of the multiplied signals becomes equal may be provided.
本発明の一態様によれば、前記重み付け係数計算部は、マルチチャンネル音声信号の各チャンネル信号を、各チャンネル信号の類似度に基づいてグルーピングし、そのグループに所属する前記チャンネル信号に基づいて当該グループを代表するグループ信号を生成するグルーピング部、をさらに備え、前記重み付け係数計算部は、前記グループ信号についての重み付け係数を計算してもよい。 According to an aspect of the present invention, the weighting coefficient calculation unit groups each channel signal of the multi-channel audio signal based on the similarity of each channel signal, and based on the channel signals belonging to the group, The grouping part which produces | generates the group signal which represents a group may further be provided, and the said weighting coefficient calculation part may calculate the weighting coefficient about the said group signal.
本発明の一態様によれば、前記グルーピング部は、前記グループに所属する前記チャンネル信号に基づいて、前記チャンネル信号の平均、前記チャンネル信号の類似度の重心にあるチャンネル信号、前記チャンネル信号のうち最大のエネルギーを有するチャンネル信号の何れかを、前記グループ信号として生成してもよい。 According to an aspect of the present invention, the grouping unit selects, based on the channel signals belonging to the group, an average of the channel signals, a channel signal at a center of gravity of similarity of the channel signals, or the channel signal. Any of the channel signals having the maximum energy may be generated as the group signal.
本発明の一態様によれば、前記重み付け係数計算部は、前記マルチチャンネル音声信号の各チャンネル信号の中から、前記参照信号との間の相互相関係数に基づいて１つまたは複数のチャンネル信号を選択する基準チャンネル信号選択部、をさらに備え、前記重み付け係数計算部は、前記選択されたチャンネル信号の重み付け係数が、それ以外のチャンネル信号の重み付け係数よりも大きくなることを拘束条件として、重み付け係数を計算してもよい。 According to an aspect of the present invention, the weighting coefficient calculation unit includes one or a plurality of channel signals based on a cross-correlation coefficient with the reference signal from among the channel signals of the multi-channel audio signal. Further comprising a reference channel signal selection unit, wherein the weighting coefficient calculation unit weights the weighting coefficient of the selected channel signal as a constraint condition that it is larger than the weighting coefficients of the other channel signals. The coefficient may be calculated.
本発明の一態様によれば、前記重み付け係数計算部は、前記マルチチャンネル音声信号の各チャンネル信号の中から、前記参照信号との間の相互相関係数に基づいて１つまたは複数のチャンネル信号を選択する基準チャンネル信号選択部、をさらに備え、前記重み付け係数計算部は、前記基準チャンネル信号選択部が選択したチャンネル信号についてのみ重み付け係数を計算してもよい。 According to an aspect of the present invention, the weighting coefficient calculation unit includes one or a plurality of channel signals based on a cross-correlation coefficient with the reference signal from among the channel signals of the multi-channel audio signal. The reference channel signal selecting section may be further included, and the weighting coefficient calculating section may calculate the weighting coefficient only for the channel signal selected by the reference channel signal selecting section.
本発明の一態様によれば、前記補正係数計算部は、前記参照信号の全エネルギーまたは前記参照信号の各チャンネルに対応する前記マルチチャンネル音声信号の各チャンネル信号に前記重み付け係数を適用した信号のエネルギーの和と、前記マルチチャンネル音声信号の各チャンネル信号に前記補正係数を適用した信号のエネルギーの和とが等しくなるように前記補正係数を計算してもよい。 According to an aspect of the present invention, the correction coefficient calculation unit calculates the total energy of the reference signal or a signal obtained by applying the weighting coefficient to each channel signal of the multi-channel audio signal corresponding to each channel of the reference signal. The correction coefficient may be calculated so that the sum of energy is equal to the sum of energy of signals obtained by applying the correction coefficient to each channel signal of the multi-channel audio signal.
本発明の一態様によれば、前記補正係数適用部は、前記マルチチャンネル音声信号のチャンネル数に対応する補正係数の所定の初期値と、前記補正係数計算部が計算した補正係数であって前記参照信号のチャンネル数に対応する補正係数と、に基づいて、補間法により、前記再生チャンネル信号のチャンネル数に応じて前記補正係数計算部が計算した補正係数を修正してもよい。 According to an aspect of the present invention, the correction coefficient application unit includes a predetermined initial value of a correction coefficient corresponding to the number of channels of the multi-channel audio signal, and the correction coefficient calculated by the correction coefficient calculation unit. The correction coefficient calculated by the correction coefficient calculation unit may be corrected according to the number of channels of the reproduction channel signal by an interpolation method based on the correction coefficient corresponding to the number of channels of the reference signal.
本発明の一態様によれば、前記チャンネル数変換装置は、前記参照信号を、所定のチャンネル数変換方法によってモノ信号に変換するモノ信号変換部、をさらに備えてもよい。 According to an aspect of the present invention, the channel number conversion device may further include a mono signal conversion unit that converts the reference signal into a mono signal by a predetermined channel number conversion method.
本発明の一態様によれば、コンピュータを、上記の何れか１つに記載のチャンネル数変換装置、として機能させるためのプログラムである。 According to an aspect of the present invention, there is provided a program for causing a computer to function as the channel number conversion device according to any one of the above.
本発明のチャンネル数変換装置によれば、マルチチャンネル音声信号とそれより少ないチャンネル数の音声信号が同時に提供された場合に、任意のチャンネル数に制作意図に沿ったチャンネル数の変換を実現することができる。 According to the channel number conversion device of the present invention, when a multi-channel audio signal and an audio signal of a smaller number of channels are simultaneously provided, conversion of the number of channels to an arbitrary number of channels according to the production intention is realized. You can
＜第一実施形態＞
以下、本発明の第一実施形態によるチャンネル数変換装置を図１〜図３を参照して説明する。
図１は、本発明に係る第一実施形態におけるチャンネル数変換装置の一例を示すブロック図である。図１に示すようにチャンネル数変換装置１０は、参照信号入力部１１、マルチチャンネル音声信号入力部１２、重み付け係数計算部１３、補正係数計算部１４、補正係数適用部１５、再生チャンネル情報取得部１６、チャンネル数変換部１７、記憶部１８と、を含む。
図１は、チャンネル数変換装置１０に２２．２ｃｈのマルチチャンネル音声信号と２ｃｈの参照信号を入力し、チャンネル数変換後の５．１ｃｈの再生チャンネル音声信号を出力する様子を示している。
チャンネル数変換装置１０は、所定のマルチチャンネル音声信号（ｎチャンネル）を、そのマルチチャンネル音声信号のチャンネル数よりも少ないチャンネル数の音声信号（ｌチャンネル）（以下、参照信号と呼ぶ）を参照して、所望のチャンネル数の再生音声信号（ｍチャンネル）に変換する装置である。以下、所定のマルチチャンネル音声信号として８Ｋ ＳＨＶ用の２２．２ｃｈ音響システム、参照信号として２ｃｈステレオ、再生音声信号を５．１ｃｈの場合を例に説明を行う。しかし、マルチチャンネル音声信号、参照信号、再生音声信号の各チャンネル数は、この例のチャンネル数に限らない。また、チャンネル数変換装置１０は、コンピュータによって構成されており、例えば、テレビなどの放送受信機やホームシアターなどのメディアの再生装置に組み込まれていてもよい。
<First embodiment>
Hereinafter, a channel number conversion device according to a first exemplary embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram showing an example of a channel number conversion device according to the first embodiment of the present invention. As shown in FIG. 1, the channel
FIG. 1 shows a state in which a 22.2 ch multi-channel audio signal and a 2 ch reference signal are input to the channel
The channel
以下に、チャンネル数変換装置１０について、詳細に説明する。
参照信号入力部１１は、参照信号を入力する。例えば、参照信号入力部１１は、サイマル放送で放送された２２．２ｃｈのマルチチャンネル音声信号と２ｃｈステレオの音声信号のうち２ｃｈステレオの音声信号を入力する。
マルチチャンネル音声信号入力部１２は、マルチチャンネル音声信号を入力する。例えば、サイマル放送で放送された２２．２ｃｈの音声信号を入力する。
サイマル放送で放送される各チャンネル数に対応する音声信号は、それぞれ専用の技術者が作成してもよい。例えば、２２．２ｃｈの音声信号については、２２．２ｃｈの専用の技術者が、２２．２ｃｈに対応するスピーカ配置等の再生環境によって、放送内容に適した（番組作成者の意図が反映された）３次元の音が再現されるように各チャンネルの音声信号を作成する。一方、２ｃｈの音声信号については、２ｃｈの専用の技術者が、２ｃｈの再生環境によって放送内容に適した音声が再現されるように２つのチャンネルそれぞれの音声信号を作成する。このとき作成される２２．２ｃｈと２ｃｈの各音声信号は、番組によって表現したい内容に適するように作成される。例えばナレーションが支配的なドキュメンタリー番組と音楽番組とでは、同じ２ｃｈであっても、各チャンネルに対して作成される音声信号の性質が異なる。従って、２２．２ｃｈの音声信号と２ｃｈの音声信号との関係は、２２．２ｃｈの音声信号から２ｃｈの音声信号へ、所定の（一種類の）ダウンミックス係数によって変換できる関係であるとは限らない。
The channel
The reference
The multi-channel audio
A dedicated technician may create the audio signals corresponding to the respective numbers of channels broadcast by simulcast. For example, for an audio signal of 22.2 ch, a technician dedicated to 22.2 ch is suitable for the broadcast content depending on the reproduction environment such as the speaker arrangement corresponding to 22.2 ch (the intention of the program creator was reflected. ) Create audio signals for each channel so that three-dimensional sound can be reproduced. On the other hand, with respect to the audio signal of 2ch, a dedicated engineer of 2ch creates an audio signal of each of the two channels so that the audio suitable for the broadcast content is reproduced by the reproduction environment of 2ch. The audio signals of 22.2ch and 2ch created at this time are created so as to be suitable for the contents to be expressed by the program. For example, in a documentary program in which narration is dominant and in a music program, the characteristics of the audio signal created for each channel are different even for the same two channels. Therefore, the relationship between the audio signal of 22.2ch and the audio signal of 2ch is not always such that the audio signal of 22.2ch can be converted to the audio signal of 2ch by a predetermined (one kind of) downmix coefficient. Absent.
重み付け係数計算部１３は、参照信号の個々のチャンネルの信号に含まれるマルチチャンネル音声信号の各チャンネル信号の重み付け係数を計算する。例えば、参照信号を（Ｌ、Ｒ）、マルチチャンネル音声信号を（ＦＣ、ＦＬｃ、ＦＲｃ、ＦＬ、ＦＲ、ＳｉＬ、ＳｉＲ、ＢＬ、ＢＲ、ＢＣ、ＬＦＥ１、ＬＦＥ２、ＴｐＦＣ、ＴｐＦＬ、ＴｐＦＲ、ＴｐＳｉＬ、ＴｐＳｉＲ、ＴｐＣ、ＴｐＢＬ、ＴｐＢＲ、ＴｐＢＣ、ＢｔＦＣ、ＢｔＦＬ、ＢｔＦＲ）とすると、重み付け係数計算部１３は、Ｌを（ａ１,１×ＦＣ、ａ２,１×ＦＬｃ、・・・・、ａ２４,１×ＢｔＦＲ）、Ｒを（ａ１,２×ＦＣ、ａ２,２×ＦＬｃ、・・・・、ａ２４,２×ＢｔＦＲ）と表した場合、各係数（ａ１,１〜ａ１,２４、ａ２,１〜ａ２,２４）の値を計算する。後述する重み付け係数計算部１３ａ、１３ｂに示す構成についても同様である。
The
補正係数計算部１４は、重み付け係数計算部１３が計算した重み付け係数を用いて、マルチチャンネル音声信号の各チャンネル信号に乗じる補正係数を計算する。より具体的には、補正係数計算部１４は、参照信号とマルチチャンネル音声信号の各チャンネル信号に重み付け係数を適用して生成した信号のエネルギーまたはラウドネスを指標として、マルチチャンネル音声信号の各チャンネル信号に適用する補正係数を計算する。
または、補正係数計算部１４は、参照信号の各チャンネル信号に対するマルチチャンネル音声信号の各チャンネル信号の重み付け係数の二乗和に基づいて、マルチチャンネル音声信号の各チャンネル信号に適用する補正係数を計算する。
The correction
Alternatively, the correction
補正係数適用部１５は、補正係数計算部１４が上記したいずれかの方法で計算した補正係数をマルチチャンネル音声信号に適用する。このとき、補正係数適用部１５は、再生する音声信号のチャンネル数に応じて補正係数を修正し、修正後の補正係数をマルチチャンネル音声信号に適用する。
再生チャンネル情報取得部１６は、再生チャンネル音声信号の情報として、例えば、再生チャンネル音声信号のチャンネル数（再生チャンネル数）の情報を取得する。
The correction
The reproduction channel
チャンネル数変換部１７は、補正係数適用部１５が補正係数を適用した後のマルチチャンネル音声信号を入力し、例えば、後述するチャンネル数変換処理により、再生チャンネル数に合わせて、マルチチャンネル音声信号をチャンネル数変換する。
記憶部１８は、チャンネル数変換処理に必要な種々のデータを記憶する。
The channel
The
次に図２を用いて重み付け係数計算部１３について詳しく説明する。
図２は、本発明に係る第一実施形態における重み付け係数計算部の一例を示すブロック図である。
図２に示すように重み付け係数計算部１３は、遅延補正部１３１と、重み付け比分析部１３２と、重み付け比補正部１３３と、を含む。
遅延補正部１３１は、参照信号の各チャンネル信号に対する、マルチチャンネル音声信号の各チャンネル信号の遅延を補正する。２つの信号の時間的なずれは、進んだり遅れたり様々な場合が考えられるが、これらをまとめて遅延と記載する。遅延補正部１３１は、参照信号の各チャンネルに含まれているマルチチャンネル音声信号の各チャンネル信号に対応する信号の、マルチチャンネル音声信号を構成する当該チャンネル信号に対する遅延を、例えば、相互相関関数によって計算する。この理由は、参照信号においては、例えば、マルチチャンネル音声信号で表現される３次元的な音を表現するために、マルチチャンネル音声信号に含まれるあるチャンネル信号に係る音について時間軸方向にずらして構成する場合（例えば、マルチチャンネル音声信号において後方から出力される音と前方から出力される音とが重ならないように、参照信号においては後方からの音を少し遅延させるなど）があるためである。遅延補正部１３１は、マルチチャンネル音声信号の各チャンネル信号の遅延を計算した遅延量分だけ補正し、参照信号の各チャンネル信号に含まれるマルチチャンネル音声信号に対応する信号の位相と、マルチチャンネル音声信号の当該チャンネル信号の位相とを揃える。
Next, the weighting
FIG. 2 is a block diagram showing an example of a weighting coefficient calculation unit in the first embodiment according to the present invention.
As shown in FIG. 2, the weighting
The
重み付け比分析部１３２は、マルチチャンネル音声信号の各チャンネル信号に対する重み付け比を、重回帰分析、正準相関分析などのいずれかの多変量解析の方法を用いて分析する。または、重み付け比分析部１３２は、遺伝的アルゴリズム、深層学習等の機械学習によって重み付け比を分析してもよい。
重み付け比補正部１３３は、重み付け比分析部１３２が分析した重み付け比を、参照信号を構成する各チャンネル信号のエネルギーに基づいて補正し、補正後の値を重み付け係数として出力する。具体的には、重み付け比補正部１３３は、参照信号の各チャンネル信号のエネルギーと、重み付け比分析部１３２が分析した重み付け比をマルチチャンネル音声信号の各チャンネルに乗じ、乗じて得た擬似参照信号の各チャンネル信号のエネルギーとが等しくなるように前記重み付け比を補正する。
The weighting
The weighting
次に図３を用いて、チャンネル数変換処理の詳細について説明を行う。
図３は、本発明に係る第一実施形態におけるチャンネル数変換処理の一例を示すフローチャートである。
前提として、ある番組について、チャンネル数に応じて作成されたマルチチャンネル音声信号および参照信号が同時に放送されており、チャンネル数変換装置１０は両方の信号を入力する。
まず、ステップＳ１１で、マルチチャンネル音声信号入力部１２は、マルチチャンネル音声信号を入力する。マルチチャンネル音声信号入力部１２は、マルチチャンネル音声信号を重み付け係数計算部１３に出力する。また、ステップＳ１１と並行して、ステップＳ１２で、参照信号入力部１１は、参照信号を入力する。参照信号入力部１１は、入力したされた２ｃｈステレオの参照信号を、ＬＲそれぞれのチャンネル信号に分離する（ｐｊ、１≦ｊ≦２、ｌ＝２）。ここで、ｐｊは分離後の参照信号の各チャンネル信号である。参照信号入力部１１は、参照信号の各チャンネル信号を重み付け係数計算部１３に出力する。
Next, the details of the channel number conversion process will be described with reference to FIG.
FIG. 3 is a flowchart showing an example of the channel number conversion processing in the first embodiment according to the present invention.
As a premise, for a certain program, a multi-channel audio signal and a reference signal created according to the number of channels are simultaneously broadcast, and the channel
First, in step S11, the multi-channel audio
次に、ステップＳ１３で、重み付け係数計算部１３では、遅延補正部１３１が、参照信号とマルチチャンネル音声信号とを入力して、マルチチャンネル音声信号の遅延を補正する。例えば、遅延補正部１３１は、例えば、相互相関関数を計算することにより参照信号のチャンネル信号ごとにマルチチャンネル音声信号の各チャンネル信号に対応する遅延を計算し、マルチチャンネル音声信号の各チャンネルを補正する。遅延補正部１３１は、遅延補正後のマルチチャンネル音声信号を重み付け比分析部１３２に出力する。遅延の補正を行うのは、重み付け比をより正確に計算するためである。
Next, in step S13, in the weighting
次に、ステップＳ１４で、重み付け比分析部１３２は、遅延補正後のマルチチャンネル音声信号と参照信号とを入力し、参照信号の各チャンネル信号に対するマルチチャンネル音声信号の各チャンネル信号の重み付け比を、重回帰分析等を用いて計算する。具体的には、重み付け比分析部１３２は、２ｃｈ（参照信号）の各チャンネル信号を適切に構成するための、２２．２ｃｈ（マルチチャンネル音声信号）の音声信号（ｑｉ、１≦ｉ≦２４、ｎ＝２４）のチャンネル間の重み付け比（ａｉｊ、１≦ｉ≦２４、１≦ｊ≦２）を計算する。ここで、擬似参照信号のチャンネル信号ｐ＾ｊは、以下の式（１）で表すことができる。
Next, in step S14, the weighting
式（１）より、重み付け比「ａｉｊ」は、２ｃｈの各チャンネル信号に含まれる２２．２ｃｈ音声信号の各チャンネルのレベル比に対応する。重み付け比分析部１３２は、計算した重み付け比を重み付け比補正部１３３に出力する。
From Expression (1), the weighting ratio “a ij ” corresponds to the level ratio of each channel of the 22.2ch audio signal included in each channel signal of 2ch. The weighting
次に、ステップＳ１５で、重み付け比補正部１３３は、重み付け比分析部１３２が分析した重み付け比と参照信号とを入力し、重み付け比を、エネルギーに基づいて補正する。例えば、２ｃｈの参照信号のＬｃｈのエネルギー（ＥＬｃｈ）は、以下の式（２）で表すことができる。
Next, in step S15, the weighting
また、重み付け比を用いて表した擬似参照信号のＬｃｈエネルギーは、以下の式（３）で表すことができる。 Further, the Lch energy of the pseudo reference signal expressed using the weighting ratio can be expressed by the following formula (3).
重み付け比補正部１３３は、式（４）によって、参照信号のＬｃｈのエネルギーと擬似参照信号のＬｃｈのエネルギーが等しくなるような定数ｃ１を計算する。
The weighting
次に、重み付け比補正部１３３は、重み付け比ａｉｊ（１≦ｉ≦２４、１≦ｊ≦２）のそれぞれに定数ｃｊの平方根を乗じて重み付け比を補正する。補正後の重み付け比が重み付け係数である。ステップＳ１６で、重み付け係数計算部１３は、重み付け比補正部１３３が補正して得られた重み付け係数を補正係数計算部１４へ出力する。
Next, the weighting
なお、重み付け比補正部１３３は、補正の基準となる指標としてエネルギー以外にもラウドネスや振幅などを用いてもよい。例えば、重み付け比補正部１３３は、参照信号の各チャンネル信号のラウドネスの和と擬似参照信号の各チャンネル信号のラウドネスの和が等しくなるような定数ｃｊを算出してもよい。
Note that the weighting
次に、ステップＳ１７で、補正係数計算部１４は、補正係数を計算する。具体的には、補正係数計算部１４は、２ｃｈステレオ信号全体のエネルギーと、補正係数を適用した２２．２ｃｈ音声信号の全エネルギーの和を等しくするための補正係数ｂｉ（１≦ｉ≦２４）を、以下の式（５）によって計算する。
Next, in step S17, the correction
例えば、式５より、以下の式（６）を導出することができる。
（ｂ１）２＝ｃ１×（ａ１１）２＋ｃ２×（ａ２１）２・・・（６）
他のｂ２〜ｂ２４の値についても同様に式（５）から導出することができる。
For example, the following expression (6) can be derived from the expression 5.
(B 1 ) 2 = c 1 × (a 11 ) 2 + c 2 × (a 21 ) 2 (6)
Other values of b 2 to b 24 can be similarly derived from the equation (5).
なお、補正係数計算部１４は、補正係数算出の基準となる指標としてエネルギー以外にもラウドネスや振幅などを用いてもよい。例えば、補正係数計算部１４は、参照信号の全ラウドネスと補正係数を適用したマルチチャンネル音声信号の全ラウドネスが等しくなるような補正係数ｂｉを算出してもよい。あるいは、補正係数計算部１４は、参照信号の全チャンネル信号の振幅の２乗和と補正係数を適用したマルチチャンネル音声信号の全チャンネル信号の振幅の２乗和が等しくなるような補正係数ｂｉを算出してもよい。補正係数計算部１４は、計算した補正係数ｂ１〜ｂ２４を補正係数適用部１５に出力する。
The correction
次に、ステップＳ１８で、補正係数適用部１５は、再生チャンネル数に応じて、例えば線形補間を利用して補正係数を修正する。ステップＳ１３〜Ｓ１７の過程を経て計算した補正係数ｂｉは、２２．２ｃｈのマルチチャンネル音声信号と２ｃｈの参照信号とから得られた、いわば、２２．２ｃｈを２ｃｈに変換するのに適した補正係数（参照信号のチャンネル数に対応する補正係数）である。２２．２ｃｈのマルチチャンネル音声信号を、所定のチャンネル数変換方法を用いて再生チャンネル音声信号（５．１ｃｈ）にダウンミックスすると、例えば、規格等で定められたダウンミックス係数によって機械的に変換されることになる。このため、変換後の５．１ｃｈの再生チャンネル音声信号は、番組製作者が５．１ｃｈを用いて表現する音声として意図する音声信号とは乖離する可能性がある。本実施形態では、５．１ｃｈより少ないチャンネル数の番組製作者の意図が反映された参照信号を教師データとして、２２．２ｃｈのマルチチャンネル音声信号を参照信号に近づけるための補正係数ｂｉを計算する。しかし、上記のステップで得られたこの補正係数をそのまま適用２２．２ｃｈに適用すると、適用後のマルチチャンネル音声信号には、２ｃｈへの変換が想定された片寄りが生じるため、補正係数適用部１５は、２ｃｈへの片寄りを緩和する修正を行う。そして、補正係数適用部１５は、補正係数ｂｉを、より５．１ｃｈに適した補正係数（再生チャンネル信号のチャンネル数に対応する補正係数）となるよう修正する。
Next, in step S18, the correction
例えば、２２．２ｃｈ（ｎチャンネル）を２２．２ｃｈ（ｎチャンネル）へ変換するときの補正係数を「１．０」、２２．２ｃｈ（ｎチャンネル）を２ｃｈ（ｌチャンネル）へ変換するときの補正係数を「ｂｉ」とした場合、５．１ｃｈ（ｍチャンネル）のチャンネル数が両者の間であることに基づき、２２．２ｃｈ（ｎチャンネル）を５．１ｃｈ（ｍチャンネル）へ変換するときの補正係数ｂ＾ｉがそれら両方の補正係数の中間の値（例えば、ｂ＾ｉ＝（ｂｉ＋１）÷２）と考える。ここで、ｂｉ≦ｂ＾ｉ≦１．０である。すると、線形補間の関係から、以下の式（６）が導出できる。
（ｂ＾ｉ−ｂｉ）÷（１．０−ｂｉ） ＝ （ｍ−ｌ）÷（ｎ−ｌ）
・・・（６）
これを変形すると、以下の式（７）が導出できる。
ｂ＾ｉ ＝ ｂｉ ＋ （１−ｂｉ）×（ｍ−ｌ）÷（ｎ−ｌ）・・・（７）
なお、上記の線形補間の説明でｌ＜ｍ＜ｎであることを前提に説明を行ったが、式（７）は、ｍ＞ｌでもｍ＜ｌでも適用可能であり、ｍとｌの大小関係には制約がない。また、ここでは、線形補間を用いて５．１ｃｈ用に補正係数を修正する場合を例に説明を行ったが、他の補間法（多項式補間など）を用いて補正係数を修正してもよい。
次に、ステップＳ１９で、補正係数適用部１５は、５．１ｃｈに適した補正係数ｂ＾ｉを２２．２ｃｈのマルチチャンネル音声信号に適用する。具体的には、補正係数適用部１５は、ｂ＾ｉをｑｉに乗じる。そして、補正係数適用部１５は、適用後のｂ＾ｉ×ｑｉ（１≦ｉ≦２４）をチャンネル数変換部１７に出力する。
For example, the correction coefficient when converting 22.2 ch (n channel) to 22.2 ch (n channel) is “1.0”, and the correction coefficient when converting 22.2 ch (n channel) to 2 ch (l channel) When the coefficient is “b i ”, the number of channels of 5.1ch (m channel) is between the two, and therefore, when converting 22.2ch (n channel) to 5.1ch (m channel). Consider that the correction coefficient b ^ i is an intermediate value between the two correction coefficients (for example, b ^ i = (b i +1) / 2). Here, b i ≦ b ^ i ≦ 1.0. Then, the following equation (6) can be derived from the relationship of linear interpolation.
(B ^ i −b i ) ÷ (1.0−b i ) = (m−1) ÷ (n−1)
... (6)
By modifying this, the following equation (7) can be derived.
b ^ i = b i + (1-b i ) × (m−1) ÷ (n−1) (7)
Although the above description of linear interpolation has been made on the premise that l <m <n, the equation (7) can be applied to m> l and m <l. There are no restrictions on relationships. Further, here, the case where the correction coefficient is corrected for 5.1 ch using linear interpolation has been described as an example, but the correction coefficient may be corrected using another interpolation method (polynomial interpolation or the like). .
Next, in step S19, the correction
なお、上記の例では、２２．２ｃｈを２２．２ｃｈへ変換するときの補正係数を「１．０」と仮定したが、これに限定されない。例えば、マルチチャンネル音声信号の各チャンネル信号ｑｉの重要度などに応じて初期値（マルチチャンネル音声信号のチャンネル数に対応する補正係数の初期値）を設定することが可能である。例えば、記憶部１８にマルチチャンネル音声信号のチャンネル信号ｑｉ（１≦ｉ≦２４）ごとに補正係数の初期値が記録されていて、補正係数適用部１５は、記憶部１８からチャンネル信号ｑｉ（１≦ｉ≦２４）ごとの補正係数の初期値を読み出すことで、ｂ＾ｉを計算してもよい。例えば、記憶部１８には、ｑ１の補正係数の初期値が「１．０」、ｑ２の補正係数の初期値が「０．９」、・・・、ｑ２４の補正係数の初期値が「０．８」などと記録されていてもよい。
In the above example, the correction coefficient when converting 22.2 ch to 22.2 ch is assumed to be “1.0”, but the present invention is not limited to this. For example, it is possible to set the initial value (the initial value of the correction coefficient corresponding to the number of channels of the multi-channel audio signal) according to the importance of each channel signal q i of the multi-channel audio signal. For example, the
次に、ステップＳ２０で、チャンネル数変換部１７は、入力した補正係数適用後のマルチチャンネル音声信号を、後述する所定のチャンネル数変換方法（一般的なチャンネル数変換方法）でチャンネル数変換し、再生チャンネル音声信号を出力する。
Next, in step S20, the channel
本実施形態によれば、マルチチャンネル音声信号とそれより少ないチャンネル数の音声信号（参照信号）が同時に提供された場合に、少ないチャンネル数の参照信号を基準にして、より制作意図に沿ったチャンネル数変換を実現することができる。 According to this embodiment, when a multi-channel audio signal and an audio signal (reference signal) having a smaller number of channels are provided at the same time, the reference signal having the smaller number of channels is used as a reference and a channel that is more in line with the intention of production is provided. Number conversion can be realized.
＜第二実施形態＞
以下、本発明の第二実施形態による重み付け係数計算部を、図４〜６を参照して説明する。
図４は、本発明に係る第二実施形態におけるチャンネル数変換装置の一例を示すブロック図である。
図４に示すようにチャンネル数変換装置１０ａは、参照信号入力部１１、マルチチャンネル音声信号入力部１２、重み付け係数計算部１３ａ、補正係数計算部１４、補正係数適用部１５、再生チャンネル情報取得部１６、チャンネル数変換部１７、記憶部１８と、を含む。このように、第二実施形態によるチャンネル数変換装置１０ａは、第一実施形態の重み付け係数計算部１３に代えて重み付け係数計算部１３ａを備えている。なお、第二実施形態によるチャンネル数変換装置１０ａの他の構成は、第一実施形態のチャンネル数変換装置１０と同様である。
<Second embodiment>
Hereinafter, the weighting coefficient calculator according to the second embodiment of the present invention will be described with reference to FIGS.
FIG. 4 is a block diagram showing an example of a channel number conversion device according to the second embodiment of the present invention.
As shown in FIG. 4, the channel
図５は、本発明に係る第二実施形態における重み付け係数計算部の一例を示すブロック図である。
図５に示すように、本実施形態による重み付け係数計算部１３ａは、遅延補正部１３１と、重み付け比分析部１３２と、重み付け比補正部１３３と、グルーピング部１３４と、を含む。
グルーピング部１３４は、マルチチャンネル音声信号の各チャンネル信号を、各チャンネル信号の類似度に基づいてグルーピングする。例えば、グルーピング部１３４は、各チャンネル音声信号間の相互相関係数を計算し、相互相関係数の大きいチャンネル同士をグルーピングする。また、グルーピング部１３４は、主成分分析、クラスタ分析等の方法、あるいはそれら両方の方法を用いて音声信号の性質が似たチャンネル同士をグルーピングしてもよい。さらに、グルーピング部１３４は、同じグループに所属するチャンネル音声信号を代表するグループ信号を生成する。なお、本実施形態では、重み付け係数計算部１３ａは、このグループ信号について重み付け係数を計算する。グループ信号の生成方法には以下のような方法がある。例えば、グルーピング部１３４は、同じグループに所属するチャンネル信号の平均を生成し、生成した信号をグループ信号として扱ってもよい。また、例えば、グルーピング部１３４は、同じグループに所属するチャンネル信号の類似度の重心にある信号を選択し、選択した信号をグループ信号として扱ってもよい。さらに、例えば、グルーピング部１３４は、同じグループに所属するチャンネル音声信号のうち、最大エネルギーを有するチャンネル音声信号を選択し、選択した信号をグループ信号として扱ってもよい。
FIG. 5 is a block diagram showing an example of a weighting coefficient calculation unit in the second embodiment according to the present invention.
As shown in FIG. 5, the weighting
The
遅延補正部１３１、重み付け比分析部１３２、重み付け比補正部１３３の機能は、第一実施形態と同様であり、参照信号の各チャンネル信号に対する、マルチチャンネル音声信号の各グループ信号の遅延を補正する。重み付け比分析部１３２は、参照信号の各チャンネル信号におけるマルチチャンネル音声信号の各グループ信号の重み付け比を多変量解析で分析する。重み付け比補正部１３３は、参照信号の各チャンネル信号のエネルギーと、重み付け比分析部１３２が分析した重み付け比をマルチチャンネル音声信号の各グループ信号に乗じて得た擬似参照信号の各チャンネルのエネルギー（参照信号のチャンネルに対応する擬似参照信号のチャンネルのエネルギー）とが等しくなるような定数ｃｊを計算する。グループに所属する各チャンネル音声信号には、グループ信号に与えられた重み付け比を、グループに所属するチャンネル数に応じて等分した値を付与する。
The functions of the
次に、図６を用いて、第二実施形態におけるチャンネル数変換処理について説明を行う。図６は、本発明に係る第二実施形態におけるチャンネル数変換処理の一例を示すフローチャートである。
なお、図３で説明した処理と同様の処理については簡単に説明を行う。まず、ステップＳ１１で、マルチチャンネル音声信号入力部１２は、マルチチャンネル音声信号を入力する。マルチチャンネル音声信号入力部１２は、マルチチャンネル音声信号を重み付け係数計算部１３ａに出力する。また、ステップＳ１２で、参照信号入力部１１は、参照信号を入力する。参照信号入力部１１は、参照信号の各チャンネル信号を重み付け係数計算部１３ａに出力する。次に、ステップＳ１２１で、重み付け係数計算部１３ａでは、グルーピング部１３４がマルチチャンネル音声信号の各チャンネル信号を、例えば、主成分分析等の方法を用いてグルーピングする。グルーピング部１３４は、グルーピング後のグループ信号を遅延補正部１３１に出力する。次に、ステップＳ１３で、遅延補正部１３１が、参照信号とマルチチャンネル音声信号とを入力して、マルチチャンネル音声信号の遅延を補正する。遅延補正部１３１は、遅延補正後のマルチチャンネル音声信号（各グループ信号）を重み付け比分析部１３２に出力する。
Next, the channel number conversion process in the second embodiment will be described with reference to FIG. FIG. 6 is a flowchart showing an example of the channel number conversion processing in the second embodiment according to the present invention.
Note that the processing similar to the processing described in FIG. 3 will be briefly described. First, in step S11, the multi-channel audio
次に、ステップＳ１４で、重み付け比分析部１３２は、遅延補正後のマルチチャンネル音声信号と参照信号とを入力し、参照信号の各チャンネル信号に対するマルチチャンネル音声信号の各グループ信号の重み付け比を、重回帰分析等を用いて計算する。重み付け比分析部１３２は、分析した重み付け比を重み付け比補正部１３３に出力する。次に、ステップＳ１５で、重み付け比補正部１３３は、重み付け比分析部１３２が分析した重み付け比と参照信号とを入力し、重み付け比をエネルギーに基づいて補正する。第二実施形態では、重み付け比補正部１３３は、参照信号の各チャンネル信号のエネルギーと、重み付け比をマルチチャンネル音声信号の各グループ信号に乗じて得た擬似参照信号の各チャンネルのエネルギーとが等しくなるような定数ｃｊを計算し、各重み付け比ａｉｊにｃｊの平方根を乗じた重み付け係数を計算する。このとき、重み付け比補正部１３３は、同じグループ信号に所属するチャンネル信号のそれぞれに同じ重み付け係数を付与する。そして、ステップＳ１６で、重み付け係数計算部１３は、重み付け比補正部１３３が計算した重み付け係数を補正係数計算部１４へ出力する。
Next, in step S14, the weighting
次に、ステップＳ１７で、補正係数計算部１４は、第一実施形態と同様に補正係数を計算する。次に、ステップＳ１８で、補正係数適用部１５は、線形補間等により、再生チャンネル数に応じて補正係数を修正する。ステップＳ１９で、補正係数適用部１５は、修正後の補正係数をマルチチャンネル音声信号に適用する。補正係数適用部１５は、補正係数適用後のマルチチャンネル音声信号をチャンネル数変換部１７に出力する。次に、ステップＳ２０で、チャンネル数変換部１７は、所定の方法で補正係数適用後のマルチチャンネル音声信号をチャンネル数変換する。チャンネル数変換装置１０ａは、チャンネル数変換後の再生チャンネル音声信号を再生機器等に出力する。
Next, in step S17, the correction
第二実施形態によれば、第一実施形態と同様の効果を得ることができる。また、第二実施形態によれば、マルチチャンネル音声信号に含まれるチャンネル音声信号のうち、音声信号の特性が似ているチャンネル音声信号をグルーピングして、遅延補正処理や重み付け係数の算出処理を行うので、第一実施形態に比べ、計算量を抑えることができる。 According to the second embodiment, the same effect as that of the first embodiment can be obtained. Further, according to the second embodiment, among channel audio signals included in a multi-channel audio signal, channel audio signals having similar audio signal characteristics are grouped, and delay correction processing and weighting coefficient calculation processing are performed. Therefore, the amount of calculation can be suppressed as compared with the first embodiment.
＜第三実施形態＞
以下、本発明の第三実施形態による重み付け係数計算部を、図７〜９を参照して説明する。
図７は、本発明に係る第三実施形態におけるチャンネル数変換装置の一例を示すブロック図である。
図７に示すようにチャンネル数変換装置１０ｂは、参照信号入力部１１、マルチチャンネル音声信号入力部１２、重み付け係数計算部１３ｂ、補正係数計算部１４、補正係数適用部１５、再生チャンネル情報取得部１６、チャンネル数変換部１７、記憶部１８と、を含む。このように、第二実施形態によるチャンネル数変換装置１０ａは、第一実施形態の重み付け係数計算部１３に代えて重み付け係数計算部１３ｂを備えている。なお、第二実施形態によるチャンネル数変換装置１０ｂの他の構成は、第一実施形態のチャンネル数変換装置１０と同様である。
<Third embodiment>
Hereinafter, the weighting coefficient calculation unit according to the third embodiment of the present invention will be described with reference to FIGS.
FIG. 7 is a block diagram showing an example of the channel number conversion device according to the third embodiment of the present invention.
As shown in FIG. 7, the channel
図８は、本発明に係る第三実施形態における重み付け係数計算部の一例を示すブロック図である。
図８に示すように、本実施形態による重み付け係数計算部１３ｂは、遅延補正部１３１ｂと、重み付け比分析部１３２ｂと、重み付け比補正部１３３と、基準チャンネル信号選択部１３５と、チャンネル分類部１３６と、を含む。
基準チャンネル信号選択部１３５は、マルチチャンネル音声信号に含まれるチャンネル信号のうち、参照信号のチャンネル信号との間の相互相関係数が最も大きいチャンネル信号（基準チャンネル信号）を選択する。基準チャンネル信号選択部１３５は、選択した基準チャンネルの情報を出力する。
チャンネル分類部１３６は、マルチチャンネル音声信号に含まれるチャンネル信号を、基準チャンネル音声信号とそれ以外（非基準チャンネル信号）に分類する。
FIG. 8 is a block diagram showing an example of a weighting coefficient calculation unit in the third embodiment according to the present invention.
As shown in FIG. 8, the weighting
The reference channel
The
遅延補正部１３１ｂは、参照信号のチャンネル信号に対する、基準チャンネル信号および非基準チャンネル信号郡のうち少なくとも一方の遅延を補正する。なお、非基準チャンネル信号郡に含まれる各チャンネル音声信号の遅延は、個別に補正してもよい。
重み付け比分析部１３２ｂは、基準チャンネル信号の重み付け比が、非基準チャンネル信号群のどの重み付け係数よりも大きいという拘束条件を課したうえで、重み付け比を計算する。
The
The weighting
重み付け比補正部１３３の機能は、第一実施形態と同様であり、参照信号の各チャンネル信号のエネルギーと、重み付け比分析部１３２ｂが分析した重み付け比をマルチチャンネル音声信号の各チャンネル信号に乗じて得た擬似参照信号の各チャンネルのエネルギー（参照信号のチャンネルに対応する擬似参照信号のチャンネルのエネルギー）とが等しくなるような定数ｃｊを計算する。
The function of the weighting
次に図９を用いて、第三実施形態におけるチャンネル数変換処理について説明を行う。図９は、本発明に係る第三実施形態におけるチャンネル数変換処理の一例を示すフローチャートである。
なお、図３、６で説明した処理と同様の処理については簡単に説明を行う。まず、ステップＳ１１で、マルチチャンネル音声信号入力部１２は、マルチチャンネル音声信号を入力する。マルチチャンネル音声信号入力部１２は、マルチチャンネル音声信号を重み付け係数計算部１３ｂに出力する。また、ステップＳ１２で、参照信号入力部１１は、参照信号を入力する。参照信号入力部１１は、参照信号の各チャンネル信号を重み付け係数計算部１３ｂに出力する。次に、ステップＳ１２２で、重み付け係数計算部１３ｂでは、基準チャンネル信号選択部１３５が基準チャンネル信号を選択する。例えば、番組が報道番組の場合、２ｃｈの参照信号において支配的なのはダイアログ音声信号だと考えられる。基準チャンネル信号選択部１３５は、２２．２ｃｈの各チャンネル信号のうち、ダイアログ音声信号を多く含むチャンネル（相互相関係数が最も大きいチャンネル信号）を基準チャンネル信号として選択する。基準チャンネル信号選択部１３５は、選択した基準チャンネル信号の情報（どのチャンネルを選択したか）をチャンネル分類部１３６に出力する。ステップＳ１２３で、チャンネル分類部１３６は、基準チャンネル信号の情報とマルチチャンネル音声信号とを入力し、マルチチャンネル音声信号に含まれるチャンネル信号を、基準チャンネル信号と非基準チャンネル信号とに分類する。チャンネル分類部１３６は、分類した基準チャンネル信号と非基準チャンネル信号とを遅延補正部１３１ｂへ出力する。次に、ステップＳ１２４で、遅延補正部１３１ｂは、参照信号の各チャンネル信号に対する基準チャンネル信号の遅延を補正する。次に、ステップＳ１２５で、遅延補正部１３１ｂは、参照信号の各チャンネル信号に対する非基準チャンネル信号の遅延を補正する。このとき、遅延補正部１３１ｂは、非基準チャンネル信号のそれぞれについて遅延の補正を行ってもよい。なお、ステップＳ１２４〜Ｓ１２５の処理は両方行うことが好ましいが、どちらか一方、例えば、基準チャンネル信号の遅延の補正処理（ステップＳ１２４）だけを行ってもよい。遅延補正部１３１ｂは、基準チャンネル信号と非基準チャンネル信号とを重み付け比分析部１３２ｂへ出力する。次に、ステップＳ１４１で、重み付け比分析部１３２ｂは、基準チャンネル信号の重み付け比が非基準チャンネル信号に含まれるチャンネル信号のどの重み付け比よりも大きいという拘束条件下で、重み付け比を重回帰分析等により計算する。重み付け比分析部１３２ｂは、分析した重み付け比を重み付け比補正部１３３に出力する。次に、ステップＳ１５で、重み付け比補正部１３３は、重み付け比分析部１３２が分析した重み付け比と参照信号とを入力し、重み付け比をエネルギーに基づいて補正する。ステップＳ１６で、重み付け係数計算部１３は、重み付け比補正部１３３による補正後の重み付け係数を補正係数計算部１４へ出力する。
Next, the channel number conversion processing in the third embodiment will be described with reference to FIG. FIG. 9 is a flowchart showing an example of the channel number conversion processing in the third embodiment according to the present invention.
Note that processing similar to that described with reference to FIGS. 3 and 6 will be briefly described. First, in step S11, the multi-channel audio
次に、ステップＳ１７で、補正係数計算部１４は、補正係数（ｂｉ）を計算する。次に、ステップＳ１８で、補正係数適用部１５は、再生チャンネル数に応じて補正係数を修正する。ステップＳ１９で、補正係数適用部１５は、修正後の補正係数（ｂ＾ｉ）をマルチチャンネル音声信号に適用し、補正係数適用後のマルチチャンネル音声信号をチャンネル数変換部１７に出力する。次に、ステップＳ２０で、チャンネル数変換部１７は、所定の方法でマルチチャンネル音声信号をチャンネル数変換する。チャンネル数変換装置１０ｂは、チャンネル数変換後の再生チャンネル音声信号を再生機器等に出力する。
Next, in step S17, the correction
第三実施形態によれば、第一実施形態と同様の効果を得ることができる。また、第三実施形態によれば、マルチチャンネル音声信号に含まれるチャンネル信号のうち、音声信号の特性が似ているチャンネル信号（基準チャンネル信号）だけを選択して、遅延補正処理や重み付け係数の算出処理を行うので、第一実施形態に比べ、計算量を抑えることができる。第三実施形態は、例えば、テレビの対談番組などのダイアログ音声信号が支配的な番組のマルチチャンネル音声信号を再生チャンネル音声信号に変換するような場面で用いることができる。 According to the third embodiment, the same effect as that of the first embodiment can be obtained. Further, according to the third embodiment, among channel signals included in a multi-channel audio signal, only channel signals (reference channel signals) having similar audio signal characteristics are selected, and delay correction processing and weighting coefficient Since the calculation process is performed, the amount of calculation can be suppressed as compared with the first embodiment. The third embodiment can be used, for example, in a situation in which a multi-channel audio signal of a program in which a dialog audio signal such as an interactive program on a television is dominant is converted into a reproduction channel audio signal.
また、基準チャンネル信号だけに限定して以降の処理（重み付け係数の計算など）を行い、非基準チャンネル信号については処理を行わない（非基準チャンネル信号群のそれぞれの信号の強さを「０」として扱う）といった実施形態でもよい。また、基準チャンネル信号選択部１３５は、参照信号のチャンネル信号との間の相互相関係数が最も大きい（一つの）チャンネル信号を選択するだけではなく、相互相関係数が大きいチャンネル信号を、相互相関係数が大きい順に複数選択して、あるいは、相互相関係数が所定の閾値以上のチャンネル信号を選択して、選択した複数のチャンネル信号を基準チャンネル信号としてもよい。
なお、ダイアログ音声信号に含まれる音声は必ずしもダイアログ（対話）の音声に限られない。主に人の声で構成される音声信号をダイアログ音声信号としてよい。
Further, only the reference channel signal is subjected to the subsequent processing (calculation of weighting coefficient, etc.), and the non-reference channel signal is not processed (the strength of each signal of the non-reference channel signal group is set to “0”). (Treated as). Further, the reference channel
The voice included in the dialog voice signal is not necessarily limited to the voice of the dialog (dialogue). An audio signal mainly composed of human voice may be used as the dialog audio signal.
＜第四実施形態＞
以下、本発明の第四実施形態による重み付け係数計算部を、図１０〜１１を参照して説明する。
図１０は、本発明に係る第四実施形態におけるチャンネル数変換装置の一例を示すブロック図である。
図１０に示すようにチャンネル数変換装置１０ｃは、参照信号入力部１１、マルチチャンネル音声信号入力部１２、重み付け係数計算部１３、補正係数計算部１４、補正係数適用部１５、再生チャンネル情報取得部１６、チャンネル数変換部１７、記憶部１８と、モノ信号変換部１９と、を含む。このように、第四実施形態によるチャンネル数変換装置１０ｃは、第一実施形態の構成に加え、モノ信号変換部１９を備えている。なお、第四実施形態によるチャンネル数変換装置１０ｃの他の構成は、第一実施形態のチャンネル数変換装置１０と同様である。また、重み付け係数計算部１３の構成については、図２を用いて説明したものと同様である。
<Fourth Embodiment>
Hereinafter, the weighting coefficient calculation unit according to the fourth embodiment of the present invention will be described with reference to FIGS.
FIG. 10 is a block diagram showing an example of the channel number conversion device according to the fourth embodiment of the present invention.
As shown in FIG. 10, the channel
モノ信号変換部１９は、参照信号を所定の方法によって、参照信号をモノ信号にダウンミックスする。例えば、モノ信号変換部１９は、参照信号入力部１１が入力した２ｃｈの音声信号を１ｃｈの音声信号に変換する。２ｃｈの音声信号から１ｃｈの音声信号への変換には、公知のダウンミックス法を用いてもよい。
The
第四実施形態では、モノ信号に対して重み付け比を計算したり、補正係数を計算したりするため、第一実施形態で説明したそれらの値の計算式と異なる部分がある。例えば、重み付け比補正部１３３は、以下の式（８）から定数ｃを計算する。
In the fourth embodiment, since the weighting ratio is calculated for the mono signal and the correction coefficient is calculated, there is a part different from the formula for calculating those values described in the first embodiment. For example, the weighting
また、補正係数計算部１４は、第一実施形態と同様、重み付け係数計算部１３が計算した重み付け係数を用いて補正係数を計算するが、第四実施形態の場合、補正係数計算部１４ｃは、参照信号を変換したモノ信号に対する重み付け係数のみを入力する。従って、第一実施形態と異なり、２ｃｈ分の重み付け係数を統合する必要が無い。具体的には、補正係数計算部１４は、上記の式（８）から算出される以下の関係式（９）によって、補正係数ｂ１を導出する。
（ｂ１）２＝ｃ×（ａ１）２ ・・・（９）
補正係数計算部１４は、他の補正係数ｂ２〜ｂ２４の値についても同様に計算する。
Further, the correction
(B 1 ) 2 = c × (a 1 ) 2 (9)
The correction
次に図１１を用いて、第四実施形態におけるチャンネル数変換処理について説明を行う。図１１は、本発明に係る第四実施形態におけるチャンネル数変換処理の一例を示すフローチャートである。
なお、図３で説明した処理と同様の処理については簡単に説明を行う。まず、ステップＳ１１で、マルチチャンネル音声信号入力部１２は、マルチチャンネル音声信号を入力する。また、ステップＳ１２で、参照信号入力部１１は、参照信号を入力する。参照信号入力部１１は、参照信号をモノ信号変換部１９へ出力する。次に、ステップＳ１２６で、モノ信号変換部１９は、参照信号を１ｃｈのモノ信号に変換し、モノ信号を重み付け係数計算部１３へ出力する。次に重み付け係数計算部１３では、遅延補正部１３１が、モノ信号とマルチチャンネル音声信号とを入力する。ステップＳ１３で、遅延補正部１３１は、モノ信号に対するマルチチャンネル音声信号の遅延を補正する。次に、ステップＳ１４で、重み付け比分析部１３２は、遅延補正後のマルチチャンネル音声信号とモノ信号とを入力し、モノ信号に対するマルチチャンネル音声信号の各チャンネル信号の重み付け比を、重回帰分析等を用いて計算する。重み付け比分析部１３２は、分析した重み付け比を重み付け比補正部１３３に出力する。次に、ステップＳ１５で、重み付け比補正部１３３は、重み付け比分析部１３２が分析した重み付け比とモノ信号とを入力し、重み付け比をエネルギーに基づいて補正する。第四実施形態では、重み付け比補正部１３３は、モノ信号のエネルギーと、重み付け比をマルチチャンネル音声信号の各チャンネル信号に乗じて得た擬似モノ信号のエネルギーとが等しくなるような定数ｃを計算し、各重み付け比ａｉにｃの平方根を乗じた重み付け係数を計算する。ステップＳ１６で、重み付け係数計算部１３は、重み付け係数（補正係数と同じ値）を補正係数計算部１４へ出力する。補正係数計算部１４は、補正係数を補正係数適用部１５へ出力する。
Next, the channel number conversion processing in the fourth embodiment will be described with reference to FIG. FIG. 11 is a flowchart showing an example of the channel number conversion processing in the fourth embodiment of the present invention.
Note that the processing similar to the processing described in FIG. 3 will be briefly described. First, in step S11, the multi-channel audio
次に、ステップＳ１８で、補正係数適用部１５は、再生チャンネル数に応じて補正係数を修正する。ステップＳ１９で、補正係数適用部１５は、修正後の補正係数をマルチチャンネル音声信号に適用する。次に、ステップＳ２０で、チャンネル数変換部１７は、所定のレンダリング方法で補正係数適用後のマルチチャンネル音声信号を補正係数適用部１５から入力し、チャンネル数変換する。チャンネル数変換装置１０ｃは、チャンネル数変換後の再生チャンネル音声信号を再生機器等に出力する。
Next, in step S18, the correction
第四実施形態によれば、第一実施形態と同様の効果を得ることができる。また、補正係数を計算等の処理を、モノ信号を参照して行うので、第一実施形態に比べ加え、計算量を抑えることができる。なお、第四実施形態は、第二実施形態、または、第三実施形態に適用してもよい。 According to the fourth embodiment, the same effect as the first embodiment can be obtained. Further, since the processing such as calculation of the correction coefficient is performed with reference to the mono signal, the calculation amount can be suppressed as compared with the first embodiment. The fourth embodiment may be applied to the second embodiment or the third embodiment.
なお、上述のチャンネル数変換装置１０、１０ａ、１０ｂ、１０ｃは、内部にコンピュータシステムを有している。そして、チャンネル数変換装置１０等の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
The above-described channel
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
In addition, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, the "computer-readable recording medium" means to hold a program dynamically for a short time like a communication line when transmitting the program through a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system that serves as a server or a client in that case holds a program for a certain period of time. Further, the program may be for realizing a part of the functions described above, or may be a program for realizing the functions described above in combination with a program already recorded in the computer system.
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。 In addition, it is possible to appropriately replace the components in the above-described embodiments with known components without departing from the spirit of the present invention. Further, the technical scope of the present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the present invention.
１０、１０ａ、１０ｂ、１０ｃ・・・チャンネル数変換装置
１１・・・参照信号入力部
１２・・・マルチチャンネル音声信号入力部
１３、１３ａ、１３ｂ・・・重み付け係数計算部
１３１、１３１ｂ・・・遅延補正部
１３２、１３２ｂ・・・重み付け比分析部
１３３・・・重み付け比補正部
１３４・・・グルーピング部
１３５・・・基準チャンネル信号選択部
１３６・・・チャンネル分類部
１４・・・補正係数計算部
１５・・・補正係数適用部
１６・・・再生チャンネル情報取得部
１７・・・チャンネル数変換部
１８・・・記憶部
１９・・・モノ信号変換部
10, 10a, 10b, 10c ...
Claims (12)
前記重み付け係数に基づいて前記マルチチャンネル音声信号の各チャンネル信号に乗じる補正係数を計算する補正係数計算部と、
前記補正係数を前記マルチチャンネル音声信号に適用する補正係数適用部と、
前記補正係数を適用したマルチチャンネル音声信号を、所定のチャンネル数変換方法によって、所望のチャンネル数の再生チャンネル信号に変換するチャンネル数変換部と、
を備えることを特徴とするチャンネル数変換装置。 Weighting coefficient calculation for inputting a multi-channel audio signal and a reference signal corresponding to the multi-channel audio signal, and calculating a weighting coefficient corresponding to each channel signal of the multi-channel audio signal included in each channel of the reference signal Department,
A correction coefficient calculation unit that calculates a correction coefficient by which each channel signal of the multi-channel audio signal is multiplied based on the weighting coefficient;
A correction coefficient applying unit for applying the correction coefficient to the multi-channel audio signal,
A channel number conversion unit for converting the multi-channel audio signal to which the correction coefficient is applied into a reproduction channel signal of a desired channel number by a predetermined channel number conversion method;
An apparatus for converting the number of channels, comprising:
を備えることを特徴とする請求項１に記載のチャンネル数変換装置。 The weighting coefficient calculation unit, a delay correction unit that corrects a delay between the reference signal and each channel signal of the multi-channel audio signal,
The channel number converter according to claim 1, further comprising:
を備えることを特徴とする請求項１または請求項２に記載のチャンネル数変換装置。 The weighting factor calculation unit receives the multi-channel audio signal and the reference signal, and analyzes a weighting ratio of the multi-channel audio signal to each channel signal, a weighting ratio analysis unit,
The channel number converter according to claim 1 or 2, further comprising:
をさらに備えることを特徴とする請求項３に記載のチャンネル数変換装置。 The weighting coefficient calculation unit calculates the energy of each channel signal of the reference signal and the sum of the energies of the signals obtained by multiplying each channel signal of the multi-channel audio signal corresponding to each channel of the reference signal by the weighting ratio. A weighting ratio correction unit that corrects the weighting ratio to be equal,
The channel number conversion device according to claim 3, further comprising:
マルチチャンネル音声信号の各チャンネル信号を、各チャンネル信号の類似度に基づいてグルーピングし、そのグループに所属する前記チャンネル信号に基づいて当該グループを代表するグループ信号を生成するグルーピング部、をさらに備え、
前記重み付け係数計算部は、前記グループ信号についての重み付け係数を計算する、
ことを特徴とする請求項２から請求項４の何れか１項に記載のチャンネル数変換装置。 The weighting coefficient calculation unit,
Each channel signal of the multi-channel audio signal, grouping based on the similarity of each channel signal, further comprising a grouping unit that generates a group signal representative of the group based on the channel signal belonging to the group,
The weighting coefficient calculation unit calculates a weighting coefficient for the group signal,
The channel number conversion device according to any one of claims 2 to 4, wherein
ことを特徴とする請求項５に記載のチャンネル数変換装置。 The grouping unit selects one of the average of the channel signals, the channel signal at the center of gravity of the similarity of the channel signals, and the channel signal having the maximum energy among the channel signals based on the channel signals belonging to the group. Is generated as the group signal,
The channel number conversion device according to claim 5, wherein
前記マルチチャンネル音声信号の各チャンネル信号の中から、前記参照信号との間の相互相関係数に基づいて１つまたは複数のチャンネル信号を選択する基準チャンネル信号選択部、をさらに備え、
前記重み付け係数計算部は、前記選択されたチャンネル信号の重み付け係数が、それ以外のチャンネル信号の重み付け係数よりも大きくなることを拘束条件として、重み付け係数を計算する、
ことを特徴とする請求項２から請求項４の何れか１項に記載のチャンネル数変換装置。 The weighting coefficient calculation unit,
A reference channel signal selection unit that selects one or more channel signals from each channel signal of the multi-channel audio signal based on a cross-correlation coefficient with the reference signal,
The weighting coefficient calculation unit calculates the weighting coefficient under the constraint that the weighting coefficient of the selected channel signal is larger than the weighting coefficients of the other channel signals,
The channel number conversion device according to any one of claims 2 to 4, wherein
前記マルチチャンネル音声信号の各チャンネル信号の中から、前記参照信号との間の相互相関係数に基づいて１つまたは複数のチャンネル信号を選択する基準チャンネル信号選択部、をさらに備え、
前記重み付け係数計算部は、前記基準チャンネル信号選択部が選択したチャンネル信号についてのみ重み付け係数を計算する、
ことを特徴とする請求項２から請求項４の何れか１項に記載のチャンネル数変換装置。 The weighting coefficient calculation unit,
A reference channel signal selection unit that selects one or more channel signals from each channel signal of the multi-channel audio signal based on a cross-correlation coefficient with the reference signal,
The weighting coefficient calculation unit calculates a weighting coefficient only for the channel signal selected by the reference channel signal selection unit,
The channel number conversion device according to any one of claims 2 to 4, wherein
ことを特徴とする請求項１から請求項８の何れか１項に記載のチャンネル数変換装置。 The correction coefficient calculation unit, the total energy of the reference signal or the sum of the energy of the signal applying the weighting coefficient to each channel signal of the multi-channel audio signal corresponding to each channel of the reference signal, and the multi-channel audio Calculating the correction coefficient so that the sum of the energies of the signals obtained by applying the correction coefficient to each channel signal of the signal becomes equal to each other,
The channel number conversion device according to any one of claims 1 to 8, characterized in that.
ことを特徴とする請求項１から請求項９の何れか１項に記載のチャンネル数変換装置。 The correction coefficient application unit corrects a predetermined initial value of the correction coefficient corresponding to the number of channels of the multi-channel audio signal and the correction coefficient calculated by the correction coefficient calculation unit and corresponding to the number of channels of the reference signal. The correction coefficient calculated by the correction coefficient calculation unit is corrected according to the number of channels of the reproduction channel signal by an interpolation method based on the coefficient and
The channel number conversion device according to any one of claims 1 to 9, wherein
請求項１から請求項１０の何れか１項に記載のチャンネル数変換装置。 The channel number conversion device according to claim 1, further comprising a mono signal conversion unit that converts the reference signal into a mono signal by a predetermined channel number conversion method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016103664A JP6684651B2 (en) | 2016-05-24 | 2016-05-24 | Channel number converter and its program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016103664A JP6684651B2 (en) | 2016-05-24 | 2016-05-24 | Channel number converter and its program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017212552A JP2017212552A (en) | 2017-11-30 |
| JP6684651B2 true JP6684651B2 (en) | 2020-04-22 |
Family
ID=60475698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016103664A Expired - Fee Related JP6684651B2 (en) | 2016-05-24 | 2016-05-24 | Channel number converter and its program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6684651B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116156082B (en) * | 2022-03-28 | 2024-10-01 | 中音讯谷科技有限公司 | A multi-channel audio and video switching analysis system |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5417227B2 (en) * | 2010-03-12 | 2014-02-12 | 日本放送協会 | Multi-channel acoustic signal downmix device and program |
| TWI634798B (en) * | 2013-05-31 | 2018-09-01 | 新力股份有限公司 | Audio signal output device and method, encoding device and method, decoding device and method, and program |
| JP6313641B2 (en) * | 2014-03-25 | 2018-04-18 | 日本放送協会 | Channel number converter |
-
2016
- 2016-05-24 JP JP2016103664A patent/JP6684651B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017212552A (en) | 2017-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6778781B2 (en) | Dynamic range control of encoded audio extended metadatabase | |
| CN101536085B (en) | Apparatus and method for generating an ambient signal from an audio signal, apparatus and method for deriving a multi-channel audio signal from an audio signal | |
| CN106537502B (en) | Method and apparatus for generating audio content | |
| CN103299363B (en) | A method and an apparatus for processing an audio signal | |
| CN101379555B (en) | Apparatus and method for encoding/decoding signal | |
| US12363494B2 (en) | Signal processing apparatus and method | |
| CN112823534B (en) | Signal processing device and method, and program | |
| JP6520937B2 (en) | Audio signal processing apparatus and method, encoding apparatus and method, and program | |
| US12348943B2 (en) | Audio enhancements based on video detection | |
| JP5720897B2 (en) | Method and apparatus for generating lower audio format | |
| CN112740721A (en) | Information processing apparatus, method, and program | |
| CN101009952A (en) | Method and apparatus to provide active audio matrix decoding based on the positions of speakers and a listener | |
| CN103518386A (en) | Apparatus and method and computer program for generating a stereo output signal for providing additional output channels | |
| JP2025135018A (en) | Multi-channel audio encoding and decoding using directional metadata | |
| JP6684651B2 (en) | Channel number converter and its program | |
| JP6694755B2 (en) | Channel number converter and its program | |
| JP6832095B2 (en) | Channel number converter and its program | |
| JP6630599B2 (en) | Upmix device and program | |
| Majer | Sound localisation definition in parametrically and non-parametrically decoded first-order ambisonic systems | |
| JP2012123090A (en) | Acoustic encoder and decoder, and program for the same | |
| JPWO2017188141A1 (en) | Audio signal processing apparatus, audio signal processing method, and audio signal processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181026 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190402 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200212 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200330 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6684651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |