JP6967966B2 - オーディオ通信内の音声データを背景データから分離する方法及び機器 - Google Patents
オーディオ通信内の音声データを背景データから分離する方法及び機器 Download PDFInfo
- Publication number
- JP6967966B2 JP6967966B2 JP2017518295A JP2017518295A JP6967966B2 JP 6967966 B2 JP6967966 B2 JP 6967966B2 JP 2017518295 A JP2017518295 A JP 2017518295A JP 2017518295 A JP2017518295 A JP 2017518295A JP 6967966 B2 JP6967966 B2 JP 6967966B2
- Authority
- JP
- Japan
- Prior art keywords
- audio communication
- voice
- model
- caller
- voice model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
- G10L21/028—Voice signal separating using properties of sound source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
- Time-Division Multiplex Systems (AREA)
Description
本発明は、一般に通信内の音響雑音を抑制することに関する。具体的には、本発明はオーディオ通信内の音声データを背景データから分離する方法及び機器に関する。
この節は、以下に記載の及び/又は特許請求の範囲に記載の本開示の様々な態様に関係し得る技術の様々な側面を読者に紹介することを意図する。この解説は、本開示の様々な態様をより良く理解するのを助けるための背景情報を読者に与えるのに有用だと考えられる。従って、これらの記述は従来技術の承認としてではなく、かかる観点から読まれるべきことを理解すべきである。
本発明の開示は、オーディオ通信内の音声データを背景データから分離する機器及び方法について記載する。
添付図面は、実施形態の原理を説明するのに役立つ説明と共に、本発明の実施形態の更なる理解を与えるために含める。本発明は実施形態に限定されることはない。
次に、本発明の一実施形態を図面に関連して詳細に説明する。以下の説明では、簡潔にするために既知の機能及び構成の一部の詳細な説明を省く場合がある。
a.音声だけ
b.背景だけ
c.音声+背景
[付記1]
オーディオ通信内の音声データを背景データから分離する方法であって、
前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する音声モデルを適用するステップ(S101)と、
前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記音声モデルを更新するステップ(S102)と
を含む、方法。
[付記2]
前記更新された音声モデルを前記オーディオ通信に適用する、付記1に記載の方法。
[付記3]
発呼者の通話頻度及び通話時間に応じて、前記オーディオ通信の前記発呼者に関連する音声モデルを適用する、付記1又は2に記載の方法。
[付記4]
発呼者の通話頻度及び通話時間に応じて、前記オーディオ通信の前記発呼者に関連しない音声モデルを適用する、付記1又は2に記載の方法。
[付記5]
前記オーディオ通信後に、利用者との次回のオーディオ通信内で使用する、前記更新された音声モデルを記憶するステップ(S103)
を更に含む、付記1〜4の何れか一項に記載の方法。
[付記6]
前記発呼者の前記通話頻度及び通話時間に応じて、前記オーディオ通信後に前記音声モデルを前記オーディオ通信の前記発呼者に関連するように変更するステップ
を更に含む、付記4に記載の方法。
[付記7]
オーディオ通信内の音声データを背景データから分離する機器(400)であって、
前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する音声モデルを適用する適用ユニット(401)と、
前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記音声モデルを更新する更新ユニット(402)と
を含む、機器(400)。
[付記8]
前記適用ユニット(401)が前記更新された音声モデルを前記オーディオ通信に適用する、付記7に記載の機器(400)。
[付記9]
発呼者の通話頻度及び通話時間に応じて、前記適用ユニット(401)が前記オーディオ通信の前記発呼者に関連する音声モデルを適用する、付記7又は8に記載の機器(400)。
[付記10]
発呼者の通話頻度及び通話時間に応じて、前記適用ユニット(401)が前記オーディオ通信の前記発呼者に関連しない音声モデルを適用する、付記7又は8に記載の機器(400)。
[付記11]
前記オーディオ通信後に、利用者との次回のオーディオ通信内で使用する、前記更新された音声モデルを記憶する記憶ユニット(403)
を更に含む、付記7〜10の何れか一項に記載の機器(400)。
[付記12]
前記発呼者の前記通話頻度及び通話時間に応じて、前記オーディオ通信後に前記音声モデルを前記オーディオ通信の前記発呼者に関連するように変更する変更ユニット(404)
を更に含む、付記10に記載の機器(400)。
[付記13]
付記1〜6の少なくとも一項に記載の方法のステップを実施する、プロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラム。
[付記14]
付記1〜6の少なくとも一項に記載の方法のステップを実施する、非一時的コンピュータ可読媒体上に記憶され、プロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラム製品。
Claims (18)
- オーディオ通信内の音声データを背景データから分離する方法であって、
前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する、前記オーディオ通信の発呼者に関連付けられた音声モデルを適用することと、
前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記音声モデルを更新することと、を含み、
前記オーディオ通信の前記発呼者に関連付けられた前記音声モデルは、前記発呼者の通話頻度及び通話時間に応じて適用される、方法。 - 前記更新された音声モデルを前記オーディオ通信に適用する、請求項1に記載の方法。
- 前記オーディオ通信後に、次回のオーディオ通信内で使用する、前記更新された音声モデルを記憶すること
を更に含む、請求項1又は2に記載の方法。 - オーディオ通信内の音声データを背景データから分離する方法であって、
前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する音声モデルを適用することと、
前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記音声モデルを更新することと
を含み、
発呼者の通話頻度及び通話時間に応じて、前記オーディオ通信の前記発呼者に関連付けられていない音声モデルが適用される、方法。 - 前記発呼者の前記通話頻度及び前記通話時間に応じて、前記オーディオ通信後に前記音声モデルを前記オーディオ通信の前記発呼者に関連付けられるように変更すること
を更に含む、請求項4に記載の方法。 - オーディオ通信内の音声データを背景データから分離するように構成された機器であって、
前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する、前記オーディオ通信の発呼者に関連付けられた音声モデルを適用するように構成された適用ユニットと、
前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記音声モデルを更新するように構成された更新ユニットと、を含み、
前記適用ユニットは、前記発呼者の通話頻度及び通話時間に応じて、前記オーディオ通信の前記発呼者に関連付けられている前記音声モデルを適用するように構成された、機器。 - 前記適用ユニットは、前記更新された音声モデルを前記オーディオ通信に適用するように構成された、請求項6に記載の機器。
- 前記オーディオ通信後に、次回のオーディオ通信内で使用する、前記更新された音声モデルを記憶するように構成された記憶ユニット
を更に含む、請求項6又は7に記載の機器。 - オーディオ通信内の音声データを背景データから分離するように構成された機器であって、
前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する音声モデルを適用するように構成された適用ユニットと、
前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記音声モデルを更新するように構成された更新ユニットと
を含み、
前記適用ユニットは、発呼者の通話頻度及び通話時間に応じて、前記オーディオ通信の前記発呼者に関連付けられていない音声モデルを適用するように構成された、機器。 - 前記発呼者の前記通話頻度及び前記通話時間に応じて、前記オーディオ通信後に、前記オーディオ通信の前記発呼者に関連付けるように前記音声モデルを変更するように構成された変更ユニット
を更に含む、請求項9に記載の機器。 - 請求項1〜5の少なくとも一項に記載の方法をコンピュータに実行させるように構成されたコンピュータプログラム。
- 請求項1〜5の少なくとも一項に記載の方法をコンピュータに実行させるように構成されたコンピュータプログラムを記憶するコンピュータ可読記憶媒体。
- 前記音声モデルは、非負行列因子分解(NMF)、混合ガウスモデル(GMM)、ソーススペクトルモデル、及び特徴的スペクトルパターンの辞書の群から選択されたスペクトル音声モデルを含む、請求項1に記載の方法。
- オーディオ通信内の音声データを背景データから分離する方法であって、
前記オーディオ通信の開始時に、前記オーディオ通信の発呼者に対応する音声モデルが利用可能か否かを確認することと、
前記確認の結果に基づいて、複数の音声モデルから音声モデルを選択することと、
前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する前記選択された音声モデルを適用することと、
前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記選択された音声モデルを更新することと
を含む、方法。 - 前記発呼者に対応する音声モデルが利用可能であれば、前記音声モデルを選択することは、前記発呼者に対応する前記音声モデルを前記選択された音声モデルとして選択する、請求項14に記載の方法。
- 前記発呼者に対応する音声モデルが利用可能でなければ、前記音声モデルを選択することは、汎用音声モデルを前記選択された音声モデルとして選択する、請求項14に記載の方法。
- 前記複数の音声モデルから前記音声モデルを選択することは、データベースから前記音声モデルを選択することを含む、請求項14に記載の方法。
- オーディオ通信内の音声データを背景データから分離するように構成された機器であって、
前記オーディオ通信の開始時に、前記オーディオ通信の発呼者に対応する音声モデルが利用可能か否かを確認し、
前記確認の結果に基づいて、複数の音声モデルから音声モデルを選択し、
前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する前記選択された音声モデルを適用するように構成された適用ユニットと、
前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記選択された音声モデルを更新するように構成された更新ユニットと
を含む、機器。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14306623.1A EP3010017A1 (en) | 2014-10-14 | 2014-10-14 | Method and apparatus for separating speech data from background data in audio communication |
| EP14306623.1 | 2014-10-14 | ||
| PCT/EP2015/073526 WO2016058974A1 (en) | 2014-10-14 | 2015-10-12 | Method and apparatus for separating speech data from background data in audio communication |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017532601A JP2017532601A (ja) | 2017-11-02 |
| JP2017532601A5 JP2017532601A5 (ja) | 2018-10-25 |
| JP6967966B2 true JP6967966B2 (ja) | 2021-11-17 |
Family
ID=51844642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017518295A Active JP6967966B2 (ja) | 2014-10-14 | 2015-10-12 | オーディオ通信内の音声データを背景データから分離する方法及び機器 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9990936B2 (ja) |
| EP (2) | EP3010017A1 (ja) |
| JP (1) | JP6967966B2 (ja) |
| KR (2) | KR20170069221A (ja) |
| CN (1) | CN106796803B (ja) |
| TW (1) | TWI669708B (ja) |
| WO (1) | WO2016058974A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10621990B2 (en) | 2018-04-30 | 2020-04-14 | International Business Machines Corporation | Cognitive print speaker modeler |
| US10811007B2 (en) * | 2018-06-08 | 2020-10-20 | International Business Machines Corporation | Filtering audio-based interference from voice commands using natural language processing |
| CN112562726B (zh) * | 2020-10-27 | 2022-05-27 | 昆明理工大学 | 一种基于mfcc相似矩阵的语音音乐分离方法 |
| US11462219B2 (en) * | 2020-10-30 | 2022-10-04 | Google Llc | Voice filtering other speakers from calls and audio messages |
| US12148443B2 (en) * | 2020-12-18 | 2024-11-19 | International Business Machines Corporation | Speaker-specific voice amplification |
| US20250011933A1 (en) | 2021-03-23 | 2025-01-09 | Toray Engineering Co., Ltd. | Laminate manufacturing apparatus and self-assembled monolayer formation method |
| TWI801085B (zh) * | 2022-01-07 | 2023-05-01 | 矽響先創科技股份有限公司 | 智能網路通訊之雜訊消減方法 |
Family Cites Families (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5946654A (en) | 1997-02-21 | 1999-08-31 | Dragon Systems, Inc. | Speaker identification using unsupervised speech models |
| GB9714001D0 (en) * | 1997-07-02 | 1997-09-10 | Simoco Europ Limited | Method and apparatus for speech enhancement in a speech communication system |
| US6766295B1 (en) * | 1999-05-10 | 2004-07-20 | Nuance Communications | Adaptation of a speech recognition system across multiple remote sessions with a speaker |
| JP4464484B2 (ja) * | 1999-06-15 | 2010-05-19 | パナソニック株式会社 | 雑音信号符号化装置および音声信号符号化装置 |
| JP2002330193A (ja) * | 2001-05-07 | 2002-11-15 | Sony Corp | 通話装置および方法、記録媒体、並びにプログラム |
| US7072834B2 (en) * | 2002-04-05 | 2006-07-04 | Intel Corporation | Adapting to adverse acoustic environment in speech processing using playback training data |
| US7107210B2 (en) * | 2002-05-20 | 2006-09-12 | Microsoft Corporation | Method of noise reduction based on dynamic aspects of speech |
| US20040122672A1 (en) * | 2002-12-18 | 2004-06-24 | Jean-Francois Bonastre | Gaussian model-based dynamic time warping system and method for speech processing |
| US7231019B2 (en) * | 2004-02-12 | 2007-06-12 | Microsoft Corporation | Automatic identification of telephone callers based on voice characteristics |
| JP2006201496A (ja) * | 2005-01-20 | 2006-08-03 | Matsushita Electric Ind Co Ltd | フィルタリング装置 |
| US7464029B2 (en) * | 2005-07-22 | 2008-12-09 | Qualcomm Incorporated | Robust separation of speech signals in a noisy environment |
| KR100766061B1 (ko) * | 2005-12-09 | 2007-10-11 | 한국전자통신연구원 | 화자적응 방법 및 장치 |
| JP2007184820A (ja) * | 2006-01-10 | 2007-07-19 | Kenwood Corp | 受信装置及び受信音声信号の補正方法 |
| JP2009527024A (ja) * | 2006-02-14 | 2009-07-23 | インテレクチャル ベンチャーズ ファンド 21 エルエルシー | 話者非依存的音声認識を有する通信装置 |
| CN101166017B (zh) * | 2006-10-20 | 2011-12-07 | 松下电器产业株式会社 | 用于声音产生设备的自动杂音补偿方法及装置 |
| US8239052B2 (en) * | 2007-04-13 | 2012-08-07 | National Institute Of Advanced Industrial Science And Technology | Sound source separation system, sound source separation method, and computer program for sound source separation |
| US8121837B2 (en) * | 2008-04-24 | 2012-02-21 | Nuance Communications, Inc. | Adjusting a speech engine for a mobile computing device based on background noise |
| US8077836B2 (en) * | 2008-07-30 | 2011-12-13 | At&T Intellectual Property, I, L.P. | Transparent voice registration and verification method and system |
| JP4621792B2 (ja) * | 2009-06-30 | 2011-01-26 | 株式会社東芝 | 音質補正装置、音質補正方法及び音質補正用プログラム |
| JP2011191337A (ja) * | 2010-03-11 | 2011-09-29 | Nara Institute Of Science & Technology | 雑音抑制装置、方法、及びプログラム |
| BR112012031656A2 (pt) * | 2010-08-25 | 2016-11-08 | Asahi Chemical Ind | dispositivo, e método de separação de fontes sonoras, e, programa |
| US20120143604A1 (en) * | 2010-12-07 | 2012-06-07 | Rita Singh | Method for Restoring Spectral Components in Denoised Speech Signals |
| TWI442384B (zh) * | 2011-07-26 | 2014-06-21 | Ind Tech Res Inst | 以麥克風陣列為基礎之語音辨識系統與方法 |
| CN102903368B (zh) * | 2011-07-29 | 2017-04-12 | 杜比实验室特许公司 | 用于卷积盲源分离的方法和设备 |
| JP5670298B2 (ja) * | 2011-11-30 | 2015-02-18 | 日本電信電話株式会社 | 雑音抑圧装置、方法及びプログラム |
| US8886526B2 (en) * | 2012-05-04 | 2014-11-11 | Sony Computer Entertainment Inc. | Source separation using independent component analysis with mixed multi-variate probability density function |
| US9881616B2 (en) | 2012-06-06 | 2018-01-30 | Qualcomm Incorporated | Method and systems having improved speech recognition |
| CN102915742B (zh) * | 2012-10-30 | 2014-07-30 | 中国人民解放军理工大学 | 基于低秩与稀疏矩阵分解的单通道无监督语噪分离方法 |
| CN103871423A (zh) * | 2012-12-13 | 2014-06-18 | 上海八方视界网络科技有限公司 | 一种基于nmf非负矩阵分解的音频分离方法 |
| US9886968B2 (en) * | 2013-03-04 | 2018-02-06 | Synaptics Incorporated | Robust speech boundary detection system and method |
| CN103559888B (zh) * | 2013-11-07 | 2016-10-05 | 航空电子系统综合技术重点实验室 | 基于非负低秩和稀疏矩阵分解原理的语音增强方法 |
| CN103617798A (zh) * | 2013-12-04 | 2014-03-05 | 中国人民解放军成都军区总医院 | 一种强背景噪声下的语音提取方法 |
| CN103903632A (zh) * | 2014-04-02 | 2014-07-02 | 重庆邮电大学 | 一种多声源环境下的基于听觉中枢系统的语音分离方法 |
-
2014
- 2014-10-14 EP EP14306623.1A patent/EP3010017A1/en not_active Withdrawn
-
2015
- 2015-10-02 TW TW104132463A patent/TWI669708B/zh active
- 2015-10-12 US US15/517,953 patent/US9990936B2/en active Active
- 2015-10-12 JP JP2017518295A patent/JP6967966B2/ja active Active
- 2015-10-12 KR KR1020177009838A patent/KR20170069221A/ko not_active Withdrawn
- 2015-10-12 EP EP15778666.6A patent/EP3207543B1/en active Active
- 2015-10-12 KR KR1020237001962A patent/KR102702715B1/ko active Active
- 2015-10-12 WO PCT/EP2015/073526 patent/WO2016058974A1/en not_active Ceased
- 2015-10-12 CN CN201580055548.9A patent/CN106796803B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106796803B (zh) | 2023-09-19 |
| WO2016058974A1 (en) | 2016-04-21 |
| TWI669708B (zh) | 2019-08-21 |
| KR20230015515A (ko) | 2023-01-31 |
| JP2017532601A (ja) | 2017-11-02 |
| TW201614642A (en) | 2016-04-16 |
| CN106796803A (zh) | 2017-05-31 |
| KR102702715B1 (ko) | 2024-09-05 |
| US9990936B2 (en) | 2018-06-05 |
| KR20170069221A (ko) | 2017-06-20 |
| US20170309291A1 (en) | 2017-10-26 |
| EP3010017A1 (en) | 2016-04-20 |
| EP3207543A1 (en) | 2017-08-23 |
| EP3207543B1 (en) | 2024-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6967966B2 (ja) | オーディオ通信内の音声データを背景データから分離する方法及び機器 | |
| JP7094340B2 (ja) | 畳み込みニューラルネットワークに基づく電話音声信号の強調のための方法 | |
| CN106486131B (zh) | 一种语音去噪的方法及装置 | |
| US20220084509A1 (en) | Speaker specific speech enhancement | |
| CN111415686B (zh) | 针对高度不稳定的噪声源的自适应空间vad和时间-频率掩码估计 | |
| CN114175144A (zh) | 用于训练声学模型的每一代的数据增强 | |
| WO2019113130A1 (en) | Voice activity detection systems and methods | |
| JP2017508188A (ja) | 適応型音声対話のための方法 | |
| US20110218803A1 (en) | Method and system for assessing intelligibility of speech represented by a speech signal | |
| CN108198569A (zh) | 一种音频处理方法、装置、设备及可读存储介质 | |
| CN114207716B (zh) | 用于归一化从音频数据提取的特征以进行信号识别或修改的方法和装置 | |
| AU2019287569A1 (en) | Deep neural network based speech enhancement | |
| CN110364175B (zh) | 语音增强方法及系统、通话设备 | |
| CN120112996A (zh) | 可切换降噪配置文件 | |
| Hou et al. | Domain adversarial training for speech enhancement | |
| Martín-Doñas et al. | Dual-channel DNN-based speech enhancement for smartphones | |
| US20240363133A1 (en) | Noise suppression model using gated linear units | |
| Han et al. | Reverberation and noise robust feature compensation based on IMM | |
| KR20210010133A (ko) | 음성 인식 방법, 음성 인식을 위한 학습 방법 및 그 장치들 | |
| CA3099805C (en) | Deep neural network based speech enhancement | |
| Schwartz et al. | LPC-based speech dereverberation using Kalman-EM algorithm | |
| HK40066118A (zh) | 用於归一化从音频数据提取的特徵以进行信号识别或修改的方法和装置 | |
| CN121938344A (zh) | 基于头戴设备的语音生成方法、装置、设备及介质 | |
| Wang et al. | A Two-step NMF Based Algorithm for Single Channel Speech Separation. | |
| HK40073191B (en) | Normalizing features extracted from audio data for signal recognition or modification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180911 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180911 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191023 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191205 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200603 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201102 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20201217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210226 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210902 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210902 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211026 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6967966 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |