Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6506230B2 - Voice silence detection apparatus, voice silence detection method, voice silence detection program, and voice silence detection system - Google Patents
[go: Go Back, main page]

JP6506230B2 - Voice silence detection apparatus, voice silence detection method, voice silence detection program, and voice silence detection system - Google Patents

Voice silence detection apparatus, voice silence detection method, voice silence detection program, and voice silence detection system Download PDF

Info

Publication number
JP6506230B2
JP6506230B2 JP2016189781A JP2016189781A JP6506230B2 JP 6506230 B2 JP6506230 B2 JP 6506230B2 JP 2016189781 A JP2016189781 A JP 2016189781A JP 2016189781 A JP2016189781 A JP 2016189781A JP 6506230 B2 JP6506230 B2 JP 6506230B2
Authority
JP
Japan
Prior art keywords
silence
silence detection
voice
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016189781A
Other languages
Japanese (ja)
Other versions
JP2018056762A (en
Inventor
智史 柏崎
智史 柏崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2016189781A priority Critical patent/JP6506230B2/en
Publication of JP2018056762A publication Critical patent/JP2018056762A/en
Application granted granted Critical
Publication of JP6506230B2 publication Critical patent/JP6506230B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Emergency Alarm Devices (AREA)

Description

本発明は、音声無音検知装置、音声無音検知方法、音声無音検知プログラム、及び音声無音検知システムに関する。とりわけ、放送局のマスターシステム及びサブシステムにて放送の送出状態を自動監視するための、音声無音検知装置、音声無音検知方法、音声無音検知プログラム、及び音声無音検知システムに関する。   The present invention relates to a voice silence detection apparatus, a voice silence detection method, a voice silence detection program, and a voice silence detection system. In particular, the present invention relates to a voice silence detection apparatus, a voice silence detection method, a voice silence detection program, and a voice silence detection system for automatically monitoring a broadcast transmission state in a master system and subsystem of a broadcast station.

例えば、特許文献1に記載のように、従来の無音検知装置では、音声がある一定のレベル以下となった場合、無音状態であると判定している。その際に、無音状態を判定する閾値は、機器設置時に固定値として設定し、当該固定値を継続的に使用する方法が一般的である。   For example, as described in Patent Document 1, in the conventional silence detection apparatus, when the voice becomes lower than a certain level, it is determined that the voice is silent. At that time, it is common to set the threshold value for determining the silent state as a fixed value at the time of installation of the device, and to use the fixed value continuously.

特開2005−57682号公報JP 2005-57682 A

しかし、従来方式の無音検知装置では、例えばクラシック音楽放送中の場合等のように、放送が正常であっても音声レベルが閾値を下回る状態が存在し、放送が正常状態であるにもかかわらず、無音状態と判定することにより、アラームを誤発報する問題等が存在する。   However, in the conventional silence detection apparatus, even if the broadcast is normal, as in the case of classical music broadcast, for example, there is a state where the audio level is below the threshold, and the broadcast is normal. There is a problem of false alarm notification by determining that the sound is silent.

また、上記のアラームの誤発報の抑止のため、誤発報を発生しやすい番組を送出している時に、APS(自動番組送出装置)等からの外部制御により、無音検知抑止を実施することが可能である。しかし、この場合、アラームを完全に抑止しているため、検出すべき無音状態となってもアラームを発報しない問題が発生する。また、逐次、無音検知機能を制御する必要があるため、例えば、緊急ニュース送出等の番組編成変更時の操作が容易ではないという問題が存在する。   In addition, to suppress false alarm notification of the above-mentioned alarm, when sending a program that is easy to generate false alarm notification, implement silence suppression suppression by external control from APS (automatic program transmission device) etc. Is possible. However, in this case, since the alarm is completely suppressed, there is a problem that the alarm is not issued even if silence is to be detected. In addition, since it is necessary to control the silence detection function one by one, there is a problem that the operation at the time of programming change such as emergency news transmission is not easy.

そこで、本発明は、操作容易性が向上されると共に、無音検知の際の誤検出率を低下することが可能な、音声無音検知装置、音声無音検知方法、音声無音検知プログラム、及び音声無音検知システムを提供することを目的とする。   Therefore, according to the present invention, a voice silence detection apparatus, a voice silence detection method, a voice silence detection program, and a voice silence detection capable of improving ease of operation and reducing a false detection rate at the time of silence detection. It aims to provide a system.

本発明の第1の観点によれば、音声信号を受信する音声信号受信部と、前記音声信号受信部が前記音声信号を受信しているか否かを判断する無信号検知部と、前記音声信号が無音状態を示すか否かを検知する無音検知部と、前記無信号検知部が無信号を検知した際、又は前記無音検知部が無音状態を検知した際は、警報を生成する警報生成部とを備える音声無音検知装置であって、番組送出装置から放送状態情報を受信する放送状態情報受信部と、ラウドネス装置から受信するラウドネス情報に含まれるモーメンタリー情報を検知するモーメンタリー情報検知部と、前記放送状態情報と前記モーメンタリー情報とに基づき、前記無音検知部が前記無音状態の判断に用いる閾値を計算し、該閾値を前記無音検知部に送信する閾値計算部と、を備えることを特徴とする音声無音検知装置が提供される。   According to a first aspect of the present invention, an audio signal receiving unit for receiving an audio signal, a non-signal detecting unit for determining whether the audio signal receiving unit receives the audio signal, and the audio signal A silence detection unit that detects whether or not a silence state is present, and an alarm generation unit that generates an alarm when the silence detection unit detects a silence or when the silence detection unit detects a silence A broadcast state information receiving unit that receives broadcast state information from a program sending device; a momentary information detection unit that detects momentary information included in loudness information received from a loudness device; The threshold calculation unit configured to calculate a threshold used by the silence detection unit to determine the silence state based on the broadcast state information and the momentary information, and to transmit the threshold to the silence detection unit; Audio silence detecting apparatus according to claim Rukoto is provided.

本発明の第2の観点によれば、音声信号を受信する音声信号受信部と、前記音声信号受信部が前記音声信号を受信しているか否かを判断する無信号検知部と、前記音声信号が無音状態を示すか否かを検知する無音検知部と、前記無信号検知部が無信号を検知した際、又は前記無音検知部が無音状態を検知した際は、警報を生成する警報生成部とを備える音声無音検知装置が実施する音声無音検知方法であって、番組送出装置から放送状態情報を受信するステップと、ラウドネス装置から受信するラウドネス情報に含まれるモーメンタリー情報を検知するステップと、前記放送状態情報と前記モーメンタリー情報とに基づき、前記無音検知部が前記無音状態の判断に用いる閾値を計算し、該閾値を前記無音検知部に送信するステップと、を有することを特徴とする音声無音検知方法が提供される。   According to a second aspect of the present invention, an audio signal receiving unit for receiving an audio signal, a non-signal detecting unit for determining whether the audio signal receiving unit receives the audio signal, and the audio signal A silence detection unit that detects whether or not a silence state is present, and an alarm generation unit that generates an alarm when the silence detection unit detects a silence or when the silence detection unit detects a silence A voice silence detection method implemented by the voice silence detection device, the steps of: receiving broadcast status information from the program delivery device; detecting momentary information included in the loudness information received from the loudness device; Calculating a threshold used by the silence detection unit to determine the silence state based on the broadcast state information and the momentary information, and transmitting the threshold to the silence detection unit. Audio silence detecting method, characterized in that there is provided.

本発明の第3の観点によれば、コンピュータを、音声信号を受信する音声信号受信部と、前記音声信号受信部が前記音声信号を受信しているか否かを判断する無信号検知部と、前記音声信号が無音状態を示すか否かを検知する無音検知部と、前記無信号検知部が無信号を検知した際、又は前記無音検知部が無音状態を検知した際は、警報を生成する警報生成部とを備える音声無音検知装置として機能させるための音声無音検知プログラムであって、番組送出装置から放送状態情報を受信し、ラウドネス装置から受信するラウドネス情報に含まれるモーメンタリー情報を検知し、前記放送状態情報と前記モーメンタリー情報とに基づき、前記無音検知部が前記無音状態の判断に用いる閾値を計算し、該閾値を前記無音検知部に送信するための音声無音検知プログラムが提供される。   According to a third aspect of the present invention, there is provided a computer, an audio signal receiving unit for receiving an audio signal, and a non-signal detecting unit for determining whether the audio signal receiving unit is receiving the audio signal. A silence detection unit that detects whether or not the voice signal indicates a silence state, and an alarm is generated when the silence detection unit detects a silence or when the silence detection detects a silence. A voice silence detection program for functioning as a voice silence detection device comprising an alarm generation unit, which receives broadcast status information from a program delivery device, and detects momentary information included in loudness information received from a loudness device, Based on the broadcast state information and the momentary information, the silence detection unit calculates a threshold used for the determination of the silent state, and a sound for transmitting the threshold to the silence detection unit Silence detection program is provided.

本発明の第4の観点によれば、番組送出装置と、ラウドネス装置と、前記番組送出装置から放送状態情報を受信し、前記ラウドネス装置からラウドネス情報を受信する、上記の音声無音検知装置とを備える音声無音検知システムが提供される。   According to a fourth aspect of the present invention, there is provided a program transmission device, a loudness device, and the voice silence detection device described above, which receives broadcast state information from the program transmission device and receives loudness information from the loudness device. An audio silence detection system is provided.

本発明によれば、操作容易性が向上されると共に、無音検知の際の誤検出率を低下することが可能な、音声無音検知装置、音声無音検知方法、音声無音検知プログラム、及び音声無音検知システムを提供することが可能となる。   According to the present invention, a voice silence detection apparatus, a voice silence detection method, a voice silence detection program, and a voice silence detection capable of improving the ease of operation and reducing the false detection rate at the time of silence detection. It becomes possible to provide a system.

本発明の実施形態に係る音声無音検知装置の構成を示す図である。It is a figure which shows the structure of the audio | voice silence detection apparatus based on embodiment of this invention. 本発明の実施形態に係る音声無音検知方法のフローを示す図である。It is a figure showing the flow of the voice silence detection method concerning the embodiment of the present invention.

以下、本発明の実施形態について、図1及び図2を参照しながら、詳述する。   Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS. 1 and 2.

図1は、本発明の実施形態に係る音声無音検知装置の構成を示す。音声無音検知装置10は、音声信号受信部101と、無信号検知部102と、無音検知部103と、警報生成部104と、放送状態情報受信部105と、モーメンタリー情報検知部106とを含む。   FIG. 1 shows the configuration of a voice silence detection apparatus according to an embodiment of the present invention. The voice silence detection apparatus 10 includes a voice signal reception unit 101, a no signal detection unit 102, a silence detection unit 103, an alarm generation unit 104, a broadcast state information reception unit 105, and a momentary information detection unit 106.

音声信号受信部101は、本線ラインから音声信号を受信し、受信した音声信号を、後述の無信号検知部102に送信する。具体的には、音声信号受信部101がAES信号を受信した場合は、当該AES信号をそのまま、後述の無信号検知部102に送信する。音声信号受信部101が、アナログ信号を受信した場合は、デジタル信号に変換した上で、後述の無信号検知部102に送信する。音声信号受信部101が、SDI(シリアルデジタルインターフェース)を用いて、デジタル映像とデジタル音声とが結合された信号を受信した場合は、デマルチプレクサを更に用いて、当該信号から音声信号を分離し、後述の無信号検知部102に送信する。   The audio signal receiving unit 101 receives an audio signal from the main line, and transmits the received audio signal to the no-signal detecting unit 102 described later. Specifically, when the audio signal reception unit 101 receives an AES signal, the AES signal is transmitted as it is to the no-signal detection unit 102 described later. When the voice signal receiving unit 101 receives an analog signal, the voice signal receiving unit 101 converts the signal into a digital signal and then transmits the digital signal to the no-signal detecting unit 102 described later. When the audio signal reception unit 101 receives a signal in which digital video and digital audio are combined using SDI (serial digital interface), the demultiplexer is further used to separate the audio signal from the signal, It transmits to the no signal detection part 102 mentioned later.

無信号検知部102は、音声信号受信部101から受信した音声信号の音声データ、延いては本線ラインから音声無音検知装置10に入力される音声データ等を監視し、入力信号が無信号状態となっているか否かを検知する。無信号状態となっていない場合は、音声信号受信部101から受信した音声信号を、後述の無音検知部103に送信する。無信号状態となっている場合は、後述の警報生成部104に警報生成指示を送信する。   The no signal detection unit 102 monitors the voice data of the voice signal received from the voice signal reception unit 101, and further monitors voice data and the like input to the voice silence detection apparatus 10 from the main line, and the input signal is in a no signal state. It detects whether or not it has become. When not in the no signal state, the voice signal received from the voice signal reception unit 101 is transmitted to the silence detection unit 103 described later. If no signal is present, an alarm generation instruction is transmitted to an alarm generation unit 104 described later.

無音検知部103は、無信号検知部102から受信した音声信号のレベルが、無音判定用の閾値を下回った無音検知時間を測定し、当該無音検知時間が一定の時間を超えた場合、後述の警報生成部104に警報生成指示を送信する。   The silence detection unit 103 measures a silence detection time in which the level of the audio signal received from the no signal detection unit 102 falls below a threshold for silence determination, and when the silence detection time exceeds a certain time, The alarm generation unit 104 transmits an alarm generation instruction.

警報生成部104は、無信号検知部102が無信号状態を検知した場合に、無信号検知部102から受信する警報生成指示に基づき、警報を生成する。更に、警報生成部104は、無音検知部103が無音状態を検知した場合に、無音検知部103から受信する警報生成指示に基づき、警報を生成する。   The alarm generation unit 104 generates an alarm based on an alarm generation instruction received from the non-signal detection unit 102 when the non-signal detection unit 102 detects a non-signal state. Furthermore, the alarm generation unit 104 generates an alarm based on an alarm generation instruction received from the silence detection unit 103 when the silence detection unit 103 detects a silence state.

放送状態情報受信部105は、音声無音検知装置10の外部に存在するAPS(自動番組送出装置)20から、放送状態情報、例えば、現時点で、番組終了時か、か、放送終了時か、を示す情報を受信し、当該放送状態情報を、後述の閾値計算部107に送信する。   The broadcast status information reception unit 105 receives broadcast status information, for example, at the present time, at the end of the program or at the end of the broadcast, from the APS (automatic program transmission device) 20 existing outside the voice silence detection device 10. It receives the indicated information, and transmits the broadcast state information to a threshold calculation unit 107 described later.

モーメンタリー情報検知部106は、音声無音検知装置10の外部に存在するラウドネス装置30から、放送中の番組のラウドネス情報を受信し、当該ラウドネス情報に含まれるモーメンタリー情報を検知する。更に、モーメンタリー情報検知部106は、当該モーメンタリー情報を、後述の閾値計算部107に送信する。   The momentary information detection unit 106 receives loudness information of a program being broadcast from the loudness device 30 existing outside the voice silence detection device 10, and detects momentary information included in the loudness information. Furthermore, the momentary information detection unit 106 transmits the momentary information to a threshold value calculation unit 107 described later.

なお、モーメンタリー情報とは、ラウドネス情報の中で、直近400msの音のラウドネス値を示す情報である。具体的には、本線ラインに送出される音声は、基本的には制作段階で、一定のラウドネス値となるよう処理が加えられているが、この処理の際に、番組素材のどのタイミングにどのような処理結果になるかということが記録されているのが、モーメンタリー情報である。更に、本発明におけるモーメンタリー情報は、番組放送中、まさにこれから送出される音声についての情報である。   In addition, momentary information is information which shows the loudness value of the sound of the latest 400 ms in loudness information. Specifically, the audio sent to the main line is basically processed to have a constant loudness value at the production stage, but during this process, at which timing of the program material It is the momentary information that records whether such processing result is obtained. Furthermore, the momentary information in the present invention is information about the sound to be transmitted from now on during the program broadcast.

また、モーメンタリー情報検知部106は、上記のラウドネス装置30から、ラウドネス情報を、番組の生放送時にリアルタイムで受信し、このラウドネス情報に含まれるモーメンタリー情報を検知してもよい。一方で、収録番組の場合は、番組の制作段階にラウドネス測定をした上で、図示しない記憶部にラウドネス情報を保存し、番組送出時に、記憶部に保存したラウドネス情報に含まれるモーメンタリー情報を検知し、その変化を解析してもよい。   In addition, the momentary information detection unit 106 may receive loudness information from the above-described loudness apparatus 30 in real time during live broadcast of a program, and may detect momentary information included in the loudness information. On the other hand, in the case of a recorded program, after the loudness measurement is performed at the production stage of the program, the loudness information is stored in a storage unit (not shown), and momentary information included in the loudness information stored in the storage unit is detected And their changes may be analyzed.

閾値計算部107は、放送状態情報受信部105から放送状態情報を、モーメンタリー情報検知部106からモーメンタリー情報を受信し、双方の情報に基づいて、無音検知部103が無音状態の判断に用いる閾値を初期化、又は、再計算する。更に、閾値計算部107は、初期化された閾値、又は、再計算された閾値を、無音検知部103に送信する。   The threshold calculation unit 107 receives broadcast status information from the broadcast status information reception unit 105 and receives momentary information from the momentary information detection unit 106, and based on the both information, the threshold used by the silence detection unit 103 to determine silence is Initialize or recalculate. Furthermore, the threshold calculation unit 107 transmits the initialized threshold or the recalculated threshold to the silence detection unit 103.

次に、図2を参照しながら、音声無音検知装置10の動作フローについて、閾値計算部107の動作を中心に説明する。   Next, the operation flow of the voice silence detection apparatus 10 will be described with reference to FIG. 2, focusing on the operation of the threshold calculation unit 107.

ステップS1において、閾値計算部107が、無音検知部103で用いられる無音判定用の閾値を初期化する。   In step S <b> 1, the threshold calculation unit 107 initializes a silence determination threshold used by the silence detection unit 103.

ステップS2において、閾値計算部107が、放送状態情報受信部105から受信した放送状態情報に基づき、現時点が、番組終了時か否か判定する。番組終了時ではない場合は、ステップS3に移行する。番組終了時である場合は、ステップS6に移行する。   In step S2, based on the broadcast status information received from the broadcast status information reception unit 105, the threshold calculation unit 107 determines whether the current time is the end of the program. If it is not the end of the program, the process proceeds to step S3. If it is time to end the program, the process proceeds to step S6.

ステップS3において、閾値計算部107が、放送状態情報受信部105から受信した放送状態情報に基づき、番組送出状態を判定する。現時点が、放送時である場合は、ステップS4に移行する。現時点が放送時以外である場合は、ステップS7に移行する。   In step S3, the threshold value calculation unit 107 determines the program transmission state based on the broadcast state information received from the broadcast state information reception unit 105. If the current time is on the air, the process proceeds to step S4. If the current time is other than the broadcast time, the process proceeds to step S7.

ステップS4において、閾値計算部107が、モーメンタリー情報検知部106から受信したモーメンタリー情報に基づき、音声の送出状態を予測し、無音検知部103で用いる無音判定用の閾値を計算する。   In step S 4, the threshold calculation unit 107 predicts the voice transmission state based on the momentary information received from the momentary information detection unit 106, and calculates the threshold for silence determination used in the silence detection unit 103.

ステップS5において、閾値計算部107が、計算された閾値を無音検知部103に送信する。その後、ステップS1に戻る(リターン)。   In step S5, the threshold calculation unit 107 transmits the calculated threshold to the silence detection unit 103. Thereafter, the process returns to step S1 (return).

ステップS6において、閾値計算部107が、無音検知部103で用いる無音判定用の閾値を初期化する。その後、ステップS1に戻る(リターン)。   In step S6, the threshold calculation unit 107 initializes a threshold for silence determination used in the silence detection unit 103. Thereafter, the process returns to step S1 (return).

ステップS7において、閾値計算部107が、無音検知部103で設定されている閾値が、初期値か、閾値計算部107による再計算を経て変更済みの値かを判定する。初期値である場合は、ステップS1に戻る(リターン)。変更済みのものである場合は、ステップS8に移行する。   In step S7, the threshold calculation unit 107 determines whether the threshold set by the silence detection unit 103 is an initial value or a changed value after recalculation by the threshold calculation unit 107. If it is the initial value, the process returns to step S1 (return). If it has been changed, the process proceeds to step S8.

ステップS8において、閾値計算部107が、無音検知部103で設定されている閾値を初期化し、ステップS1に戻る(リターン)。   In step S8, the threshold calculation unit 107 initializes the threshold set by the silence detection unit 103, and returns to step S1 (return).

〔本実施形態の効果〕
上記のように、本発明の実施形態は、無音検知の閾値を固定値として使用するのでなく、初期値として閾値を設定した後、入力される音声状態をモーメンタリー情報から解析し、逐次、閾値を変更する。具体的には、本発明の無音検知装置の中に、入力素材のモーメンタリー情報をもとに閾値計算を実施するユニットを実装する。更に、本発明は、ラウドネス情報の中のモーメンタリー情報を事前に解析することにより、番組の音の変化を想定し無音検知のための閾値を常に最適な値とする機能を備える。
[Effect of this embodiment]
As described above, according to the embodiment of the present invention, the threshold of silence detection is not used as a fixed value, but after the threshold is set as an initial value, the input voice state is analyzed from momentary information, and the threshold is sequentially determined. change. Specifically, in the silence detection device of the present invention, a unit for performing threshold calculation based on momentary information of the input material is mounted. Furthermore, the present invention has a function of assuming the change of the sound of the program and always setting the threshold for silence detection as the optimum value by analyzing the momentary information in the loudness information in advance.

本実施形態の音声無音検知装置においては、無音検知のための閾値が放送内容に合わせて自動で変動するため、どのような番組状態であっても自動で対応可能となる。そのため、無音検知時のアラーム抑止等の逐次処理を、操作担当者が実施する必要がなくなり、操作が容易となる。更に、番組内容に応じた無音検知のための閾値が、繰り返し計算されるため、無音状態を誤検出することによるアラーム発報の抑止を実現できる。これにより、精度の高い無音検知を実施することが可能となる。   In the voice silence detection apparatus of the present embodiment, the threshold for silence detection is automatically varied in accordance with the broadcast content, so that it is possible to automatically cope with any program state. Therefore, it is not necessary for the operator in charge to carry out sequential processing such as alarm suppression at the time of silence detection, and the operation becomes easy. Furthermore, since the threshold value for silence detection according to the program content is repeatedly calculated, it is possible to realize the suppression of the alarm issuance due to false detection of the silence state. This makes it possible to perform highly accurate silence detection.

上記の音声無音検知装置は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。また、上記の音声無音検知装置により行なわれる音声無音検知方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。   The voice silence detection apparatus described above can be realized by hardware, software, or a combination thereof. In addition, the voice silence detection method performed by the voice silence detection apparatus described above can also be realized by hardware, software, or a combination thereof. Here, to be realized by software means to be realized by a computer reading and executing a program.

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。   The programs can be stored and provided to a computer using various types of non-transitory computer readable media. Non-transitory computer readable media include tangible storage media of various types. Examples of non-transitory computer readable media are magnetic recording media (eg flexible disk, magnetic tape, hard disk drive), magneto-optical recording media (eg magneto-optical disk), CD-ROM (Read Only Memory), CD- R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)) are included.

また、上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。   The embodiment described above is a preferred embodiment of the present invention, but the scope of the present invention is not limited to the above embodiment alone, and various modifications are made without departing from the scope of the present invention. Implementation in form is possible.

例えば、以下のように各実施形態を変形することが可能である。   For example, each embodiment can be modified as follows.

〔変形例〕
上記の実施形態においては、閾値計算部107が、無音検知部103で用いる無音判定用の閾値を、初期化したり、再計算したりした。これに加えて、無音検知部103は、無音検知時間が一定の時間を超えた場合、後述の警報生成部104に警報生成指示を送信するが、この無音検知時間が一定の時間を超えたか否かを判定するための、第2の閾値を、閾値計算部107が計算し、無音検知部103に送信してもよい。
[Modification]
In the above embodiment, the threshold calculation unit 107 initializes or recalculates the threshold for silence determination used in the silence detection unit 103. In addition to this, the silence detection unit 103 transmits an alarm generation instruction to the alarm generation unit 104 described later when the silence detection time exceeds a certain time, but this silence detection time has exceeded a certain time. The threshold calculation unit 107 may calculate a second threshold to determine whether the second threshold is to be transmitted to the silence detection unit 103.

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。   Some or all of the above embodiments may be described as in the following appendices, but is not limited to the following.

(付記1)
音声信号を受信する音声信号受信部と、前記音声信号受信部が前記音声信号を受信しているか否かを判断する無信号検知部と、前記音声信号が無音状態を示すか否かを検知する無音検知部と、前記無信号検知部が無信号を検知した際、又は前記無音検知部が無音状態を検知した際は、警報を生成する警報生成部とを備える音声無音検知装置であって、
番組送出装置から放送状態情報を受信する放送状態情報受信部と、
ラウドネス装置から受信するラウドネス情報に含まれるモーメンタリー情報を検知するモーメンタリー情報検知部と、
前記放送状態情報と前記モーメンタリー情報とに基づき、前記無音検知部が前記無音状態の判断に用いる閾値を計算し、該閾値を前記無音検知部に送信する閾値計算部と、
を備えることを特徴とする音声無音検知装置。
(Supplementary Note 1)
An audio signal receiving unit for receiving an audio signal, a non-signal detection unit for determining whether the audio signal receiving unit receives the audio signal, and detecting whether the audio signal indicates a silence state A voice silence detection apparatus comprising: a silence detection unit; and a warning generation unit that generates a warning when the no signal detection unit detects a no signal or when the silence detection unit detects a silence state,
A broadcast status information receiving unit that receives broadcast status information from a program delivery device;
A momentary information detection unit that detects momentary information included in loudness information received from the loudness apparatus;
A threshold calculation unit that calculates a threshold used by the silence detection unit to determine the silence state based on the broadcast state information and the momentary information, and transmits the threshold to the silence detection unit;
An audio silence detection apparatus comprising:

(付記2)
付記1に記載の音声無音検知装置であって、
番組終了時には、前記閾値計算部が、前記閾値を初期化することを特徴とする、音声無音検知装置。
(Supplementary Note 2)
The voice silence detection apparatus according to supplementary note 1, wherein
An audio silence detection apparatus, wherein the threshold calculation unit initializes the threshold at the end of a program.

(付記3)
付記1又は2に記載の音声無音検知装置であって、
番組送出装置から受信する番組が放送時になく、かつ、前記閾値が初期値にない場合は、前記閾値計算部が、前記閾値を初期化することを特徴とする、音声無音検知装置。
(Supplementary Note 3)
The voice silence detection apparatus according to supplementary note 1 or 2, wherein
The voice silence detection apparatus, wherein the threshold calculation unit initializes the threshold when there is no program received from the program delivery apparatus at the time of broadcasting and the threshold is not at an initial value.

(付記4)
付記1乃至3のいずれか1に記載の音声無音検知装置であって、
前記閾値計算部が、前記モーメンタリー情報に基づき、前記番組送出装置からの音声の送出状態を予測することを特徴とする、音声無音検知装置。
(Supplementary Note 4)
The voice silence detection apparatus according to any one of appendices 1 to 3, wherein
An audio silence detection apparatus, wherein the threshold calculation unit predicts an audio transmission state from the program transmission apparatus based on the momentary information.

(付記5)
付記1乃至4のいずれか1に記載の音声無音検知装置であって、
前記モーメンタリー情報検知部は、前記ラウドネス装置から前記ラウドネス情報を、番組の放送時にリアルタイムで受信し、該ラウドネス情報に含まれる前記モーメンタリー情報を検知することを特徴とする、音声無音検知装置。
(Supplementary Note 5)
The voice silence detection apparatus according to any one of appendices 1 to 4, wherein
The voice silence detector according to claim 1, wherein the momentary information detector receives the loudness information from the loudness device in real time when a program is broadcast, and detects the momentary information included in the loudness information.

(付記6)
付記1乃至4のいずれか1に記載の音声無音検知装置であって、
前記モーメンタリー情報検知部は、前記ラウドネス装置から受信した前記ラウドネス情報を記憶部に保存し、保存した該ラウドネス情報に含まれる前記モーメンタリー情報を検知することを特徴とする、音声無音検知装置。
(Supplementary Note 6)
The voice silence detection apparatus according to any one of appendices 1 to 4, wherein
The voice silence detection device, wherein the momentary information detection unit stores the loudness information received from the loudness device in a storage unit, and detects the momentary information included in the stored loudness information.

(付記7)
付記1乃至6のいずれか1に記載の音声無音検知装置であって、
前記閾値計算部は、前記無音検知部による、無音検知時間が一定時間を超えたか否かの判断に用いる、第2の閾値を計算し、該第2の閾値を前記無音検知部に送信することを特徴とする、音声無音検知装置。
(Appendix 7)
The voice silence detection apparatus according to any one of appendices 1 to 6, wherein
The threshold calculation unit calculates a second threshold used by the silence detection unit to determine whether the silence detection time has exceeded a predetermined time, and transmits the second threshold to the silence detection unit. An audio silence detection device characterized by

(付記8)
音声信号を受信する音声信号受信部と、前記音声信号受信部が前記音声信号を受信しているか否かを判断する無信号検知部と、前記音声信号が無音状態を示すか否かを検知する無音検知部と、前記無信号検知部が無信号を検知した際、又は前記無音検知部が無音状態を検知した際は、警報を生成する警報生成部とを備える音声無音検知装置が実施する音声無音検知方法であって、
番組送出装置から放送状態情報を受信するステップと、
ラウドネス装置から受信するラウドネス情報に含まれるモーメンタリー情報を検知するステップと、
前記放送状態情報と前記モーメンタリー情報とに基づき、前記無音検知部が前記無音状態の判断に用いる閾値を計算し、該閾値を前記無音検知部に送信するステップと、
を有することを特徴とする音声無音検知方法。
(Supplementary Note 8)
An audio signal receiving unit for receiving an audio signal, a non-signal detection unit for determining whether the audio signal receiving unit receives the audio signal, and detecting whether the audio signal indicates a silence state A sound implemented by a voice silence detection apparatus including a silence detection unit, and an alarm generation unit that generates an alarm when the silence detection unit detects a silence or when the silence detection unit detects a silence state It is a silence detection method, and
Receiving broadcast status information from the program delivery device;
Detecting momentary information included in loudness information received from the loudness device;
Calculating, on the basis of the broadcast state information and the momentary information, a threshold used by the silence detection unit to determine the silence state, and transmitting the threshold to the silence detection unit;
A voice silence detection method comprising:

(付記9)
コンピュータを、音声信号を受信する音声信号受信部と、前記音声信号受信部が前記音声信号を受信しているか否かを判断する無信号検知部と、前記音声信号が無音状態を示すか否かを検知する無音検知部と、前記無信号検知部が無信号を検知した際、又は前記無音検知部が無音状態を検知した際は、警報を生成する警報生成部とを備える音声無音検知装置として機能させるための音声無音検知プログラムであって、
番組送出装置から放送状態情報を受信し、
ラウドネス装置から受信するラウドネス情報に含まれるモーメンタリー情報を検知し、
前記放送状態情報と前記モーメンタリー情報とに基づき、前記無音検知部が前記無音状態の判断に用いる閾値を計算し、該閾値を前記無音検知部に送信するための音声無音検知プログラム。
(Appendix 9)
An audio signal receiving unit for receiving an audio signal; a non-signal detecting unit for determining whether the audio signal receiving unit receives the audio signal; and whether the audio signal indicates a silence state As a voice silence detection device including a silence detection unit that detects a noise, and an alarm generation unit that generates an alarm when the no signal detection unit detects a silence or when the silence detection unit detects a silence state Voice silence detection program to make it work,
Receive broadcast status information from the program delivery device,
Detect momentary information included in the loudness information received from the loudness device,
A voice silence detection program for calculating a threshold used by the silence detection unit to determine the silence state based on the broadcast state information and the momentary information, and transmitting the threshold to the silence detection unit.

(付記10)
番組送出装置と、
ラウドネス装置と、
前記番組送出装置から放送状態情報を受信し、前記ラウドネス装置からラウドネス情報を受信する、付記1乃至7のいずれか1に記載の音声無音検知装置とを備える音声無音検知システム。
(Supplementary Note 10)
A program delivery device;
A loudness device,
An audio silence detection system comprising: the audio silence detection apparatus according to any one of appendices 1 to 7, which receives broadcast state information from the program delivery apparatus and receives loudness information from the loudness apparatus.

本発明は、放送局のマスターシステム、及びサブシステムにおいて放送の送出状態を自動監視する音声無音検知装置に好適である。   The present invention is suitable for a master system of a broadcast station, and an audio silence detection apparatus that automatically monitors the broadcast transmission state in a subsystem.

10 音声無音検知装置
20 APS(自動番組送出装置)
30 ラウドネス装置
101 音声信号受信部
102 無信号検知部
103 無音検知部
104 警報生成部
105 放送状態情報受信部
106 モーメンタリー情報検知部
107 閾値計算部
10 voice silence detection device 20 APS (automatic program delivery device)
Reference Signs List 30 loudness apparatus 101 audio signal reception unit 102 no signal detection unit 103 silence detection unit 104 alarm generation unit 105 broadcast state information reception unit 106 momentary information detection unit 107 threshold calculation unit

Claims (10)

音声信号を受信する音声信号受信部と、前記音声信号受信部が前記音声信号を受信しているか否かを判断する無信号検知部と、前記音声信号が無音状態を示すか否かを検知する無音検知部と、前記無信号検知部が無信号を検知した際、又は前記無音検知部が無音状態を検知した際は、警報を生成する警報生成部とを備える音声無音検知装置であって、
番組送出装置から番組送出状態を示す放送状態情報を受信する放送状態情報受信部と、
ラウドネス装置から受信するラウドネス情報に含まれる、音声の送出状態を示すモーメンタリー情報を検知するモーメンタリー情報検知部と、
前記放送状態情報と前記モーメンタリー情報とに基づき、前記無音検知部が前記無音状態の判断に用いる前記音声信号のレベルに応じた閾値を計算し、該閾値を前記無音検知部に送信する閾値計算部と、
を備えることを特徴とする音声無音検知装置。
An audio signal receiving unit for receiving an audio signal, a non-signal detection unit for determining whether the audio signal receiving unit receives the audio signal, and detecting whether the audio signal indicates a silence state A voice silence detection apparatus comprising: a silence detection unit; and a warning generation unit that generates a warning when the no signal detection unit detects a no signal or when the silence detection unit detects a silence state,
A broadcast status information receiving unit that receives broadcast status information indicating a program delivery status from a program delivery device;
A momentary information detection unit that detects momentary information indicating a voice transmission state, which is included in loudness information received from the loudness apparatus;
A threshold calculation unit that calculates a threshold according to the level of the audio signal used by the silence detection unit to determine the silence state based on the broadcast state information and the momentary information, and transmits the threshold to the silence detection unit When,
An audio silence detection apparatus comprising:
請求項1に記載の音声無音検知装置であって、
番組終了時には、前記閾値計算部が、前記閾値を初期化することを特徴とする、音声無音検知装置。
The voice silence detection apparatus according to claim 1, wherein
An audio silence detection apparatus, wherein the threshold calculation unit initializes the threshold at the end of a program.
請求項1又は2に記載の音声無音検知装置であって、
番組送出装置から受信する番組が放送時になく、かつ、前記閾値が初期値にない場合は、前記閾値計算部が、前記閾値を初期化することを特徴とする、音声無音検知装置。
The voice silence detection apparatus according to claim 1 or 2, wherein
The voice silence detection apparatus, wherein the threshold calculation unit initializes the threshold when there is no program received from the program delivery apparatus at the time of broadcasting and the threshold is not at an initial value.
請求項1乃至3のいずれか1項に記載の音声無音検知装置であって、
前記閾値計算部が、前記モーメンタリー情報に基づき、前記番組送出装置からの音声の送出状態を予測することを特徴とする、音声無音検知装置。
The voice silence detection apparatus according to any one of claims 1 to 3, wherein
An audio silence detection apparatus, wherein the threshold calculation unit predicts an audio transmission state from the program transmission apparatus based on the momentary information.
請求項1乃至4のいずれか1項に記載の音声無音検知装置であって、
前記モーメンタリー情報検知部は、前記ラウドネス装置から前記ラウドネス情報を、番組の放送時にリアルタイムで受信し、該ラウドネス情報に含まれる前記モーメンタリー情報を検知することを特徴とする、音声無音検知装置。
The voice silence detection apparatus according to any one of claims 1 to 4, wherein
The voice silence detector according to claim 1, wherein the momentary information detector receives the loudness information from the loudness device in real time when a program is broadcast, and detects the momentary information included in the loudness information.
請求項1乃至4のいずれか1項に記載の音声無音検知装置であって、
前記モーメンタリー情報検知部は、前記ラウドネス装置から受信した前記ラウドネス情報を記憶部に保存し、保存した該ラウドネス情報に含まれる前記モーメンタリー情報を検知することを特徴とする、音声無音検知装置。
The voice silence detection apparatus according to any one of claims 1 to 4, wherein
The voice silence detection device, wherein the momentary information detection unit stores the loudness information received from the loudness device in a storage unit, and detects the momentary information included in the stored loudness information.
請求項1乃至6のいずれか1項に記載の音声無音検知装置であって、
前記閾値計算部は、前記無音検知部による、無音検知時間が一定時間を超えたか否かの判断に用いる、第2の閾値を計算し、該第2の閾値を前記無音検知部に送信することを特徴とする、音声無音検知装置。
The voice silence detection apparatus according to any one of claims 1 to 6, wherein
The threshold calculation unit calculates a second threshold used by the silence detection unit to determine whether the silence detection time has exceeded a predetermined time, and transmits the second threshold to the silence detection unit. An audio silence detection device characterized by
音声信号を受信する音声信号受信部と、前記音声信号受信部が前記音声信号を受信しているか否かを判断する無信号検知部と、前記音声信号が無音状態を示すか否かを検知する無音検知部と、前記無信号検知部が無信号を検知した際、又は前記無音検知部が無音状態を検知した際は、警報を生成する警報生成部とを備える音声無音検知装置が実施する音声無音検知方法であって、
番組送出装置から番組送出状態を示す放送状態情報を受信するステップと、
ラウドネス装置から受信するラウドネス情報に含まれる、音声の送出状態を示すモーメンタリー情報を検知するステップと、
前記放送状態情報と前記モーメンタリー情報とに基づき、前記無音検知部が前記無音状態の判断に用いる前記音声信号のレベルに応じた閾値を計算し、該閾値を前記無音検知部に送信するステップと、
を有することを特徴とする音声無音検知方法。
An audio signal receiving unit for receiving an audio signal, a non-signal detection unit for determining whether the audio signal receiving unit receives the audio signal, and detecting whether the audio signal indicates a silence state A sound implemented by a voice silence detection apparatus including a silence detection unit, and an alarm generation unit that generates an alarm when the silence detection unit detects a silence or when the silence detection unit detects a silence state It is a silence detection method, and
Receiving broadcast status information indicating a program delivery status from the program delivery device;
Detecting momentary information which is included in the loudness information received from the loudness device and is indicative of a sound transmission state ;
Calculating a threshold according to the level of the audio signal used by the silence detection unit to determine the silence state based on the broadcast state information and the momentary information, and transmitting the threshold to the silence detection unit;
A voice silence detection method comprising:
コンピュータを、音声信号を受信する音声信号受信部と、前記音声信号受信部が前記音声信号を受信しているか否かを判断する無信号検知部と、前記音声信号が無音状態を示すか否かを検知する無音検知部と、前記無信号検知部が無信号を検知した際、又は前記無音検知部が無音状態を検知した際は、警報を生成する警報生成部とを備える音声無音検知装置として機能させるための音声無音検知プログラムであって、
番組送出装置から番組送出状態を示す放送状態情報を受信し、
ラウドネス装置から受信するラウドネス情報に含まれる、音声の送出状態を示すモーメンタリー情報を検知し、
前記放送状態情報と前記モーメンタリー情報とに基づき、前記無音検知部が前記無音状態の判断に用いる前記音声信号のレベルに応じた閾値を計算し、該閾値を前記無音検知部に送信するための音声無音検知プログラム。

An audio signal receiving unit for receiving an audio signal; a non-signal detecting unit for determining whether the audio signal receiving unit receives the audio signal; and whether the audio signal indicates a silence state As a voice silence detection device including a silence detection unit that detects a noise, and an alarm generation unit that generates an alarm when the no signal detection unit detects a silence or when the silence detection unit detects a silence state Voice silence detection program to make it work,
Receiving broadcast status information indicating a program delivery status from the program delivery device;
Detecting momentary information indicating a sound transmission state included in the loudness information received from the loudness device;
Based on the broadcast state information and the momentary information, the silence detection unit calculates a threshold according to the level of the audio signal used to determine the silence state, and a voice for transmitting the threshold to the silence detection unit Silence detection program.

番組送出装置と、
ラウドネス装置と、
前記番組送出装置から放送状態情報を受信し、前記ラウドネス装置からラウドネス情報を受信する、請求項1乃至7のいずれか1項に記載の音声無音検知装置とを備える音声無音検知システム。
A program delivery device;
A loudness device,
The voice silence detection system according to any one of claims 1 to 7, further comprising: receiving broadcast status information from the program delivery device; and receiving loudness information from the loudness device.
JP2016189781A 2016-09-28 2016-09-28 Voice silence detection apparatus, voice silence detection method, voice silence detection program, and voice silence detection system Active JP6506230B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016189781A JP6506230B2 (en) 2016-09-28 2016-09-28 Voice silence detection apparatus, voice silence detection method, voice silence detection program, and voice silence detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016189781A JP6506230B2 (en) 2016-09-28 2016-09-28 Voice silence detection apparatus, voice silence detection method, voice silence detection program, and voice silence detection system

Publications (2)

Publication Number Publication Date
JP2018056762A JP2018056762A (en) 2018-04-05
JP6506230B2 true JP6506230B2 (en) 2019-04-24

Family

ID=61833122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016189781A Active JP6506230B2 (en) 2016-09-28 2016-09-28 Voice silence detection apparatus, voice silence detection method, voice silence detection program, and voice silence detection system

Country Status (1)

Country Link
JP (1) JP6506230B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11672876B2 (en) 2013-03-15 2023-06-13 Biocompatibles Uk Limited Imageable embolic microsphere

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5710197A (en) * 1980-06-20 1982-01-19 Tokyo Shibaura Electric Co Voice signal detector
JPH05183997A (en) * 1992-01-04 1993-07-23 Matsushita Electric Ind Co Ltd Sound effect added automatic discriminator
JP2000165798A (en) * 1998-11-30 2000-06-16 Sony Corp Information processing apparatus and method, and providing medium
JP4026100B2 (en) * 1998-11-30 2007-12-26 ソニー株式会社 Information processing apparatus and method, and recording medium
JP2000165806A (en) * 1998-11-30 2000-06-16 Sony Corp Information processing apparatus and method, and providing medium
JP2002258900A (en) * 2001-02-28 2002-09-11 Toshiba Corp Audio reproduction device and audio reproduction method
JP2005057682A (en) * 2003-08-07 2005-03-03 Nec Engineering Ltd Silence detection device with detection starting function
JP2007028299A (en) * 2005-07-19 2007-02-01 Hitachi Kokusai Electric Inc Image surveillance system
JP2010074823A (en) * 2008-08-22 2010-04-02 Panasonic Corp Video editing system
JP2012509038A (en) * 2008-11-14 2012-04-12 ザット コーポレーション Dynamic volume control and multi-space processing prevention
JP6228100B2 (en) * 2014-11-17 2017-11-08 Necプラットフォームズ株式会社 Loudness adjustment device, loudness adjustment method, and loudness adjustment program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11672876B2 (en) 2013-03-15 2023-06-13 Biocompatibles Uk Limited Imageable embolic microsphere

Also Published As

Publication number Publication date
JP2018056762A (en) 2018-04-05

Similar Documents

Publication Publication Date Title
US10192564B2 (en) Signal quality-based enhancement and compensation of compressed audio signals
CN107645696B (en) One kind is uttered long and high-pitched sounds detection method and device
CN106534980B (en) abnormity detection method of audio processing system, log recording method and device
US11894006B2 (en) Compressor target curve to avoid boosting noise
JP7126179B2 (en) Volume control device, volume control method, and volume control system
JP2015531084A5 (en)
CN103168479B (en) Anti-singing device, sonifer, singing suppressing method and integrated circuit
KR102292333B1 (en) Techniques of delivery of public address in accordance with decision factor related to monitoring environment
KR101700424B1 (en) Device and method for detecting abnormal signals to a speaker
JP6506230B2 (en) Voice silence detection apparatus, voice silence detection method, voice silence detection program, and voice silence detection system
JPWO2009150894A1 (en) Speech recognition system, speech recognition method, and speech recognition program
US9363603B1 (en) Surround audio dialog balance assessment
JP4283645B2 (en) Signal delay time measuring apparatus and computer program therefor
US9219455B2 (en) Peak detection when adapting a signal gain based on signal loudness
EP4414827A1 (en) Audio channel selection method and apparatus, storage medium and vehicle
JPWO2006093152A1 (en) Characteristic measuring device and characteristic measuring program
US8615075B2 (en) Method and apparatus for removing noise signal from input signal
JP2011075935A (en) Audio processing device, program, audio processing method, and recorder
KR101604130B1 (en) System for Alarm broadcasing of indoor and Broadcasting method
KR102437809B1 (en) Public adress monitoring based on simplified signal correlation
CN120151816B (en) Safety emergency information management method, system and electronic equipment
KR102437807B1 (en) Public address monitoring based on signal correlation determined for extensible search range
US20250069578A1 (en) Listening apparatus and control method of listening apparatus
KR102169797B1 (en) Event detection-based public address system
JP6546288B2 (en) Voice noise detection device and voice noise detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181225

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190328

R150 Certificate of patent or registration of utility model

Ref document number: 6506230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150