JP5843705B2 - 音声制御装置、音声再生装置、テレビジョン受像機、音声制御方法、プログラム、および記録媒体 - Google Patents
音声制御装置、音声再生装置、テレビジョン受像機、音声制御方法、プログラム、および記録媒体 Download PDFInfo
- Publication number
- JP5843705B2 JP5843705B2 JP2012138097A JP2012138097A JP5843705B2 JP 5843705 B2 JP5843705 B2 JP 5843705B2 JP 2012138097 A JP2012138097 A JP 2012138097A JP 2012138097 A JP2012138097 A JP 2012138097A JP 5843705 B2 JP5843705 B2 JP 5843705B2
- Authority
- JP
- Japan
- Prior art keywords
- channel
- output
- audio signal
- audio
- assigned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Receiver Circuits (AREA)
- Stereophonic System (AREA)
Description
前記出力チャンネル毎に、当該出力チャンネルに接続されたスピーカの3次元空間における位置と、前記複数のチャンネルの各々に対応する音声出力位置とに基づいて、前記複数のチャンネルの中から、当該出力チャンネルに割り当てる主チャンネルを決定する主チャンネル決定手段と、
前記出力チャンネル毎に、前記複数のチャンネルの中から、当該出力チャンネルに割り当てる副チャンネルを決定する副チャンネル決定手段と、
前記出力チャンネル毎に、当該出力チャンネルに割り当てた前記主チャンネルの音声信号と、当該出力チャンネルに割り当てた前記副チャンネルの音声信号とを用いて、当該出力チャンネルを介して出力する出力音声信号を生成する出力音声信号生成手段とを備えることを特徴とする。
・ 上記音声制御装置において、前記出力音声信号生成手段は、前記出力チャンネル毎に、当該出力チャンネルに割り当てた副チャンネルの音声信号が表す音声が、該副チャンネルに対応する音声出力位置に定位するように、当該出力チャンネルに割り当てた副チャンネルの音声信号の周波数特性を、頭部伝達関数を用いて補正した後、当該出力チャンネルに割り当てた主チャンネルの音声信号と、当該出力チャンネルに割り当てた副チャンネルの信号とをダウンミックスすることにより、当該出力チャンネルを介して出力する出力音声信号を生成することが好ましい。
はじめに、図1を参照して、実施形態に係るテレビジョン受像機100の概要および構成について説明する。図1は、実施形態に係るテレビジョン受像機100の構成を示すブロック図である。
図1に示すように、テレビジョン受像機100は、チューナユニット102、ディスプレイ駆動回路104、ディスプレイ106、音声出力回路108、外部機器インタフェース110、通信インタフェース112、音声制御回路120、およびマイク122を備えている。
チューナユニット102は、チューナ、デモジュレータ、デマルチプレクサ、ビデオデコーダ、オーディオデコーダ等を有して構成されている。チューナは、地上デジタル放送やBS/CSデジタル放送等の各種映像コンテンツの放送波を、外部アンテナを介して受信する。デモジュレータは、チューナによって受信された放送波を復調することによって映像コンテンツのTS(Transport Stream)を得る。デマルチプレクサは、デモジュレータによって得られたTSから映像コンテンツの映像信号および音声信号を分離する。
外部機器インタフェース110は、外部機器へのアクセスを制御する。例えば、テレビジョン受像機100は、BDレコーダやHDDレコーダ等の外部機器を接続することにより、これらの外部機器によって再生された映像コンテンツの映像をディスプレイ106に表示したり、その音声を外部スピーカ150から出力したりすることができる。その際、レコーダへのアクセスは、この外部機器インタフェース110によって制御されることとなる。
通信インタフェース112は、LANやインターネット等の通信ネットワークへのアクセスを制御する。例えば、テレビジョン受像機100は、インターネットに接続することにより、インターネットからダウンロードした映像コンテンツの映像をディスプレイ106に表示したり、その音声を外部スピーカ150から出力したりすることができる。その際、インターネットへのアクセスは、この通信インタフェース112によって制御されることとなる。
ディスプレイ駆動回路104は、供給された映像信号に応じてディスプレイ106を駆動することにより、映像コンテンツを構成する映像を、ディスプレイ106に表示させる。本実施形態のテレビジョン受像機100は、ディスプレイ106として、液晶ディスプレイを採用しているが、これ以外にも、有機ELディスプレイ、プラズマディスプレイ、ブラウン管ディスプレイ等が採用され得る。
音声出力回路108は、供給された音声信号に応じて外部スピーカ150を駆動することにより、映像コンテンツを構成する音声を外部スピーカ150から出力させる。テレビジョン受像機100には、いくつかのスピーカが内蔵されているだけでなく、複数の外部スピーカ150を接続することが可能となっている。テレビジョン受像機100に接続する外部スピーカ150の数は、ユーザによって任意に変更され得る。
音声制御回路120は、テレビジョン受像機100に接続された外部スピーカ150の数および位置に応じて、各外部スピーカ150に供給される音声信号を制御する。
マイク122には、テレビジョン受像機100周辺の音声が入力される。後述するように、テレビジョン受像機100は、各外部スピーカ150から出力され、且つこのマイク122から入力された音声に基づいて、各外部スピーカ150の位置を検出することが可能となっている。なお、マイク122は、テレビジョン受像機100に内蔵されたものであってもよく、テレビジョン受像機100に外部接続されたものであってもよい。
次に、図2を参照して、本実施形態のテレビジョン受像機100が備える音声制御回路120の構成について具体的に説明する。図2は、本実施形態のテレビジョン受像機100が備える音声制御回路120の構成を示すブロック図である。
記憶部200は、ベクトルデータベースおよび頭部伝達関数(HRTF: Head Related Transfer Function)を記憶する。ベクトルデータベースには、マルチチャンネル音響システムのチャンネル毎に、3次元空間における音声出力位置が定義されている。各音声出力位置は、良好な音響効果(サラウンド効果)を得るために、その位置での音声出力が推奨されている位置である。
検出部202は、利用可能な出力チャンネル毎に、外部スピーカ150の位置を検出する。ここで、「利用可能な出力チャンネル」とは、外部スピーカ150が接続されている出力チャンネルのことを意味するが、これに限らず、ユーザによって利用することが選択された出力チャンネル等であってもよい。
主チャンネル決定部204は、利用可能な出力チャンネル毎に、当該出力チャンネルに接続されている外部スピーカ150の空間座標位置(すなわち、検出部202によって検出された位置)に応じて、当該出力チャンネルに割り当てる主チャンネルを決定する。
副チャンネル決定部208は、出力チャンネル毎に、上記複数のチャンネル(すなわち、ベクトルデータベースに定義されている複数のチャンネル)の中から、当該出力チャンネルに割り当てる副チャンネルを決定する。
出力音声信号生成部210は、出力チャンネル毎に、当該出力チャンネルに割り当てた主チャンネル(すなわち、主チャンネル決定部204によって決定された主チャンネル)の音声信号と、当該出力チャンネルに割り当てた副チャンネル(すなわち、副チャンネル決定部208によって決定された副チャンネル)の音声信号とを用いて、当該出力チャンネルを介して出力する出力音声信号を生成する。
音声信号出力部212は、出力音声信号生成部210によって生成された、各チャンネルの出力音声信号を、音声出力回路108へ出力する。
次に、図3を参照して、音声制御回路120による音声制御処理の手順について説明する。図3は、実施形態に係る音声制御回路120による音声制御処理の手順を示すフローチャートである。
ここで、図4および図5を参照してベクトルデータベースの一例について説明する。図4は、記憶部200に記憶されているベクトルデータベースの一例を示す。図5は、図4に示すベクトルデータベースに定義されている各音声出力位置を示す模式図である。
主チャンネル決定部204は、このベクトルデータベースに基づいて、出力チャンネル毎に、主チャンネルを決定する。例えば、テレビジョン受像機100が備える出力チャンネルAにスピーカAが接続され、出力チャンネルBにスピーカBが接続されているとする。ここで、スピーカAは、音声出力位置FLの近傍にある位置spAに配置され、スピーカBは、音声出力位置FRの近傍にある位置spBに配置されているとする。
上記のように、複数のチャンネルの各々について主チャンネルおよび副チャンネルが決定されると、音声信号生成部210は、出力チャンネル毎に、当該出力チャンネルに割り当てた主チャンネルの音声信号と、当該出力チャンネルに割り当てた副チャンネルの音声信号とをダウンミックスすることにより、当該出力チャンネルを介して出力する出力音声信号を生成することが可能となる。
同様に、上記出力チャンネルBについて、主チャンネルであるチャンネルFRの音声信号をSFRとし、3次元空間の右側の領域に音声出力位置が配置されている副チャンネルであるチャンネルTpFR,TpBR,・・・の音声信号をSTpFR,STpBR,・・・とし、3次元空間の中央部の領域に音声出力位置が配置されている副チャンネルであるチャンネルFC,BC,・・・の音声信号をSFC,SBC,・・・とした場合、出力音声信号生成部210は、以下の数式(数2)を用いて、これらの音声信号をダウンミックスすることにより、当該出力チャンネルBの出力音声信号SFR’’を生成することができる。
但し、上記数式(数1)および(数2)において、aは、オーバーフロー(SFL’’およびSFR’’が1以上となること)を低減するための係数であり、例えば、0〜1の範囲内の値が用いられる。なお、オーバーフローの低減は、各ダウンミックス係数を調整することによって実現されてもよい。
このように、本実施形態のテレビジョン受像機100は、利用可能な出力チャンネル毎に、当該出力チャンネルに接続されたスピーカの3次元空間における垂直方向の位置を考慮し、当該出力チャンネルに割り当てる主チャンネルを決定し、当該主チャンネルの音声を主音声としてダウンミックスすることにより、出力音声信号を生成する。
上記例では、頭部伝達関数を用いた処理(音像定位処理)を行わずに、出力音声信号を生成する例を説明したが、出力音声信号生成部210は、頭部伝達関数を用いた処理(音像定位処理)を行い、出力音声信号を生成することもできる。以下、図6および図7を参照して、出力音声信号生成部210による頭部伝達関数を用いた処理の一例について説明する。
但し、上記数式(数3)において、aは、オーバーフロー(SFR’が1以上となること)を防止するための係数であり、例えば、0〜1の範囲内の値が用いられる。なお、オーバーフローの防止は、各ダウンミックス係数を調整することによって実現されてもよい。
このように、本実施形態のテレビジョン受像機100は、利用可能な出力チャンネル毎に、当該出力チャンネルに対応する各副チャンネルの音声が予め定められた音声出力位置に定位するように、当該出力チャンネルに対応する各副チャンネルの音声信号の周波数特性を、頭部伝達関数を用いて補正する。
実施形態で説明したテレビジョン受像機100の各機能は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、また、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
例えば、実施形態では、本発明をテレビジョン受像機に適用した例を説明したが、少なくとも実施形態で説明したような音声制御処理を行うことが可能なものであれば、これ以外の装置(例えば、チューナ装置、オーディオレコーダ/プレーヤ(音声再生装置)、オーディオアンプ、HDDレコーダ/プレーヤ、BDレコーダ/プレーヤ等)にも、本発明を適用することができる。
また、実施形態では、スピーカの位置を検出する方法として、位置検出用の音声による方法を採用しているが、これに限らない。例えば、スピーカの位置を検出する方法として、カメラから得られた画像、赤外線センサ、超音波センサ、レーザセンサ等による方法を採用してもよい。また、スピーカの位置を、ユーザに設定させる構成を採用してもよい。例えば、3次元空間のイメージ画像(例えば、図5に示す立法体のようなもの)をグラフィカルに表示し、このイメージ画像に対し、スピーカの位置をユーザに設定させるようにしてもよい。
実施形態では、外部スピーカ120を対象のスピーカとしたが、テレビジョン受像機100は、内蔵スピーカを備えていてもよく、この場合、内蔵スピーカを、実施形態で説明した外部スピーカ120と同様に扱ってもよい。すなわち、内蔵スピーカを含めて、マルチチャンネル音響システムを構築してもよい。
図5に示す立方体形状の3次元空間の中心C(図5参照)を基準位置(視聴者の位置)として、各音声出力位置を規定したが、これに限らず、例えば、実際の視聴者の位置を検出して、検出された位置を基準位置をとして、各音声出力位置を規定してもよい。
102 チューナユニット
104 ディスプレイ駆動回路
106 ディスプレイ
108 音声出力回路
110 外部機器インタフェース
112 通信インタフェース
120 音声制御回路(音声制御装置)
122 マイク
150 外部スピーカ
200 記憶部
202 検出部(検出手段)
204 主チャンネル決定部(主チャンネル決定手段)
208 副チャンネル決定部(副チャンネル決定手段)
210 出力音声信号生成部(出力音声信号生成手段)
212 音声信号出力部
Claims (12)
- 複数のチャンネルを含むマルチチャンネル音声信号であって、各チャンネルに対応する音声出力位置が予め定められたマルチチャンネル音声信号を、複数の出力チャンネルを介して出力する音声制御装置において、
前記出力チャンネル毎に、当該出力チャンネルに接続されたスピーカの3次元空間における位置と、前記マルチチャンネル音声信号に含まれている前記複数のチャンネルの各々に対応する音声出力位置とに基づいて、前記マルチチャンネル音声信号に含まれている前記複数のチャンネルの中から、当該出力チャンネルに割り当てる主チャンネルを決定する主チャンネル決定手段と、
前記出力チャンネル毎に、前記マルチチャンネル音声信号に含まれている前記複数のチャンネルの中から、当該出力チャンネルに割り当てる副チャンネルを決定する副チャンネル決定手段と、
前記出力チャンネル毎に、当該出力チャンネルに割り当てた前記主チャンネルの音声信号と、当該出力チャンネルに割り当てた前記副チャンネルの音声信号とを用いて、当該出力チャンネルを介して出力する出力音声信号を生成する出力音声信号生成手段と
を備え、
前記マルチチャンネル音声信号に含まれている前記複数のチャンネルは、
予め領域毎にグループ化されており、
前記副チャンネル決定手段は、
前記出力チャンネル毎に、当該出力チャンネルに割り当てた前記主チャンネルに対応する前記グループに含まれているチャンネルを、当該出力チャンネルに割り当てる副チャン
ネルとして決定する
ことを特徴とする音声制御装置。 - 前記出力音声信号生成手段は、
前記出力チャンネル毎に、当該出力チャンネルに割り当てた主チャンネルの音声信号と、当該出力チャンネルに割り当てた副チャンネルの音声信号とをダウンミックスすることにより、当該出力チャンネルを介して出力する出力音声信号を生成する
ことを特徴とする請求項1に記載の音声制御装置。 - 前記出力音声信号生成手段は、
前記出力チャンネル毎に、当該出力チャンネルに割り当てた副チャンネルの音声信号が表す音声が、該副チャンネルに対応する音声出力位置に定位するように、当該出力チャンネルに割り当てた副チャンネルの音声信号の周波数特性を、頭部伝達関数を用いて補正した後、当該出力チャンネルに割り当てた主チャンネルの音声信号と、当該出力チャンネルに割り当てた副チャンネルの信号とをダウンミックスすることにより、当該出力チャンネルを介して出力する出力音声信号を生成する
ことを特徴とする請求項2に記載の音声制御装置。 - 前記出力音声信号生成手段は、
前記出力チャンネル毎に、当該出力チャンネルに割り当てた副チャンネルの音声信号を、前記3次元空間における水平方向の頭部伝達関数と、前記3次元空間における垂直方向の頭部伝達関数とを用いて補正する
ことを特徴とする請求項3に記載の音声制御装置。 - 前記主チャンネル決定手段は、
前記出力チャンネル毎に、当該出力チャンネルに接続されたスピーカの位置の、基準位置からの方向である第1の方向と、前記マルチチャンネル音声信号に含まれている前記複数のチャンネルの各々の前記音声出力位置の、前記基準位置からの方向である第2の方向とに基づいて、前記第2の方向が前記第1の方向に最も近似する前記マルチチャンネル音声信号に含まれているチャンネルを、当該出力チャンネルに割り当てる主チャンネルとして決定する
ことを特徴とする請求項1から4のいずれか一項に記載の音声制御装置。 - 前記出力チャンネル毎に、当該出力チャンネルに接続されたスピーカの位置を検出する検出手段をさらに備える
ことを特徴とする請求項1から5のいずれか一項に記載の音声制御装置。 - 前記グループは、前記マルチチャンネル音声信号に含まれている前記各チャンネルに対応する音声出力位置情報に応じて、主チャンネルの組合せ毎に設定されている
ことを特徴とする請求項1から6のいずれか一項に記載の音声制御装置。 - 請求項1から7のいずれか一項に記載の音声制御装置
を備えたことを特徴とする音声再生装置。 - 請求項1から7のいずれか一項に記載の音声制御装置
を備えたことを特徴とするテレビジョン受像機。 - 複数のチャンネルを含むマルチチャンネル音声信号であって、各チャンネルに対応する音声出力位置が予め定められたマルチチャンネル音声信号を、複数の出力チャンネルを介して出力する音声制御方法において、
前記出力チャンネル毎に、当該出力チャンネルに接続されたスピーカの3次元空間における位置と、前記マルチチャンネル音声信号に含まれている前記複数のチャンネルの各々に対応する音声出力位置とに基づいて、前記マルチチャンネル音声信号に含まれている前記複数のチャンネルの中から、当該出力チャンネルに割り当てる主チャンネルを決定する主チャンネル決定工程と、
前記出力チャンネル毎に、前記マルチチャンネル音声信号に含まれている前記複数のチャンネルの中から、当該出力チャンネルに割り当てる副チャンネルを決定する副チャンネル決定工程と、
前記出力チャンネル毎に、当該出力チャンネルに割り当てた前記主チャンネルの音声信号と、当該出力チャンネルに割り当てた前記副チャンネルの音声信号とを用いて、当該出力チャンネルを介して出力する出力音声信号を生成する出力音声信号生成工程と
を含み、
前記マルチチャンネル音声信号に含まれている前記複数のチャンネルは、
予め領域毎にグループ化されており、
前記副チャンネル決定工程では、
前記出力チャンネル毎に、当該出力チャンネルに割り当てた前記主チャンネルに対応する前記グループに含まれているチャンネルを、当該出力チャンネルに割り当てる副チャン
ネルとして決定する
ことを特徴とする音声制御方法。 - コンピュータを請求項1から7のいずれか一項に記載の音声制御装置として機能させるためのプログラムであって、前記コンピュータを前記音声制御装置が備える前記各手段として機能させるプログラム。
- 請求項11に記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012138097A JP5843705B2 (ja) | 2012-06-19 | 2012-06-19 | 音声制御装置、音声再生装置、テレビジョン受像機、音声制御方法、プログラム、および記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012138097A JP5843705B2 (ja) | 2012-06-19 | 2012-06-19 | 音声制御装置、音声再生装置、テレビジョン受像機、音声制御方法、プログラム、および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014003493A JP2014003493A (ja) | 2014-01-09 |
| JP5843705B2 true JP5843705B2 (ja) | 2016-01-13 |
Family
ID=50036272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012138097A Expired - Fee Related JP5843705B2 (ja) | 2012-06-19 | 2012-06-19 | 音声制御装置、音声再生装置、テレビジョン受像機、音声制御方法、プログラム、および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5843705B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015147532A2 (ko) * | 2014-03-24 | 2015-10-01 | 삼성전자 주식회사 | 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
| EP2925024A1 (en) | 2014-03-26 | 2015-09-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for audio rendering employing a geometric distance definition |
| CN106416301B (zh) * | 2014-03-28 | 2018-07-06 | 三星电子株式会社 | 用于渲染声学信号的方法和设备 |
| KR102310240B1 (ko) * | 2014-05-09 | 2021-10-08 | 한국전자통신연구원 | 사용자 및 스피커의 위치를 이용한 오디오 신호 변환 장치 및 그 방법 |
| JP6306958B2 (ja) * | 2014-07-04 | 2018-04-04 | 日本放送協会 | 音響信号変換装置、音響信号変換方法、音響信号変換プログラム |
| JP6905332B2 (ja) * | 2016-12-19 | 2021-07-21 | 日本放送協会 | マルチチャンネル音響の音声信号変換装置及びそのプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07162782A (ja) * | 1993-12-09 | 1995-06-23 | Matsushita Electric Ind Co Ltd | 音声信号処理装置 |
| JP2000354300A (ja) * | 1999-06-11 | 2000-12-19 | Accuphase Laboratory Inc | マルチチャンネルオーディオ再生装置 |
| JP4450764B2 (ja) * | 2005-04-12 | 2010-04-14 | 日本放送協会 | スピーカ装置 |
| JP2009077379A (ja) * | 2007-08-30 | 2009-04-09 | Victor Co Of Japan Ltd | 立体音響再生装置、立体音響再生方法及びコンピュータプログラム |
| JP5826996B2 (ja) * | 2010-08-30 | 2015-12-02 | 日本放送協会 | 音響信号変換装置およびそのプログラム、ならびに、3次元音響パンニング装置およびそのプログラム |
-
2012
- 2012-06-19 JP JP2012138097A patent/JP5843705B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014003493A (ja) | 2014-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11902762B2 (en) | Orientation-aware surround sound playback | |
| CN105191354B (zh) | 音频处理装置及其方法 | |
| US9560445B2 (en) | Enhanced spatial impression for home audio | |
| CN103004238B (zh) | 利用便携式通信装置和定向声音输出来通信 | |
| US10375503B2 (en) | Apparatus and method for driving an array of loudspeakers with drive signals | |
| JP5843705B2 (ja) | 音声制御装置、音声再生装置、テレビジョン受像機、音声制御方法、プログラム、および記録媒体 | |
| JP6022685B2 (ja) | オーディオ再生装置及びその方法 | |
| JP7622215B2 (ja) | 増強されたオーディオを提供するためのシステム及び方法 | |
| US11445317B2 (en) | Method and apparatus for localizing multichannel sound signal | |
| US9226091B2 (en) | Acoustic surround immersion control system and method | |
| JP7581509B2 (ja) | 増強されたオーディオを提供するためのシステム及び方法 | |
| US11221821B2 (en) | Audio scene processing | |
| JPWO2017208821A1 (ja) | 音響処理装置および方法、並びにプログラム | |
| JP6663490B2 (ja) | スピーカシステム、音声信号レンダリング装置およびプログラム | |
| JP2006033847A (ja) | 最適な仮想音源を提供する音響再生装置及び音響再生方法 | |
| JP6463955B2 (ja) | 三次元音響再生装置及びプログラム | |
| JP2009283997A (ja) | 音声出力装置、プログラム、および記録媒体 | |
| US12250534B2 (en) | Adaptive sound scene rotation | |
| JP2012156598A (ja) | 画像音声出力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151117 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5843705 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |