JP6922796B2 - Receiver, visible light communication system, receiving method, program - Google Patents
Receiver, visible light communication system, receiving method, program Download PDFInfo
- Publication number
- JP6922796B2 JP6922796B2 JP2018046780A JP2018046780A JP6922796B2 JP 6922796 B2 JP6922796 B2 JP 6922796B2 JP 2018046780 A JP2018046780 A JP 2018046780A JP 2018046780 A JP2018046780 A JP 2018046780A JP 6922796 B2 JP6922796 B2 JP 6922796B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- phase
- unit
- light receiving
- received signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Optical Communication System (AREA)
Description
本発明は可視光およびその周辺帯域の電磁波を受信する受信装置、受信方法、プログラムに関する。 The present invention relates to a receiving device, a receiving method, and a program for receiving visible light and electromagnetic waves in the peripheral band thereof.
近年、可視光源は明かりを得るための照明用途のみならず通信用途にも用いられている。これには可視光源として発光ダイオード(LED:Light Emitting Diode)の普及が進んだことが寄与している。発光ダイオードは素子1つあたりの発光量は白熱電球や蛍光灯などの従来の可視光源には及ばないものの、その寿命や大きさおよび消費電力の面で従来の可視光源に対して優れている。発光ダイオードは上記の特徴に加え、応答速度が非常に速いという特性を持つ。また、発光ダイオードの発光を電気的に制御することは容易である。発光ダイオードには上記のような特性があるため、近年では明かりを得るための照明用途のみならず、可視光の点滅を利用した信号伝送に用いるための研究開発が行われている。 In recent years, visible light sources have been used not only for lighting to obtain light but also for communication. This is due to the widespread use of light emitting diodes (LEDs) as visible light sources. Although the amount of light emitted per element of the light emitting diode is not as high as that of the conventional visible light source such as an incandescent lamp or a fluorescent lamp, the light emitting diode is superior to the conventional visible light source in terms of its life, size and power consumption. In addition to the above characteristics, the light emitting diode has a characteristic that the response speed is very fast. Moreover, it is easy to electrically control the light emission of the light emitting diode. Since light emitting diodes have the above characteristics, in recent years, research and development have been carried out not only for lighting applications for obtaining light but also for signal transmission using blinking of visible light.
たとえば非特許文献1には発光ダイオードを用いた家庭用照明器具に信号を重畳させて通信を行うことが開示されている。
For example, Non-Patent
また、現在のところ可視光は電波法の規制の対象外であることから帯域や電力の制限がなく、これらを大きくとることができる。非特許文献2では、このことを利用して発光ダイオードを通信専用に用いることが開示されている。発光ダイオードなどの可視光源を用いて行う通信を可視光通信と呼ぶ。可視光通信では受信機としてフォトディテクタあるいはそのアレーであるイメージセンサを用いる。フォトディテクタでは通常、信号を連続的に得ることが出来る。一方で、イメージセンサは一度に大量のフォトディテクタからの信号を取得できるが、その性質上通常は周期Tsで標本化された信号のみ取得可能である。以下、主に受光デバイスとしてイメージセンサを用いることを想定する。
In addition, since visible light is not subject to the regulations of the Radio Law at present, there are no restrictions on the band or power, and these can be taken large. Non-Patent
図1に可視光通信で使用される信号の性質を示す。まず、ディジタル伝送信号S(i)(送信シンボルともいう)を位相の値に変換することにより表現し変調信号M(i)を得る。このような変調方式を位相シフト変調(位相偏移変調)という。例えばS(i)が2値で表される場合、0→0、1→πのように位相の値に変換する(2値位相偏移変調、BPSK)。ここで、iは時間を示すインデックスである。次に、変調信号M(i)に従い搬送波周波数1/Tcを持つ矩形波の位相を変更し、発光素子を駆動するための電気信号E(t)を得る。ここで、tは時間を示す実数である。ただし、時間的に離散的な信号M(i)に対して信号E(t)は時間的に連続的な信号である。発光素子は信号E(t)に従って点灯・消灯を繰り返し光信号F(t)を出力する。時間インデックスiに相当するE(t)の出力時間はインデックスiで示される時刻からある一定の遅延を加えた時刻iTfを基準として時刻iTf-Tf/2から時刻iTf+Tf/2とする。図1に示すように、インデックスiによって示される時間は時間幅Tfを持つ。
FIG. 1 shows the properties of signals used in visible light communication. First, the digital transmission signal S (i) (also referred to as a transmission symbol) is expressed by converting it into a phase value to obtain a modulated signal M (i). Such a modulation method is called phase shift modulation (phase shift keying). For example, when S (i) is represented by two values, it is converted into a phase value such as 0 → 0, 1 → π (binary phase shift modulation, BPSK). Here, i is an index indicating time. Next, the phase of the square wave having the
従来の技術(たとえば非特許文献1)では受光素子によって捉えられたF(t)にノイズが重畳した光信号F'(t)を、電気信号E'(t)に変換する。その後、E'(t)から位相信号M'(i)が推定される。理想的にはF(t)=F'(t)であるが、イメージセンサの性能や媒質中の伝搬、遅延により変化する場合もあるのでここではF(t)とF'(t)を分けて記述する。おおよそF(t+TL)=F'(t)であることが想定される。TLは伝搬遅延を表す。 In the conventional technique (for example, Non-Patent Document 1), an optical signal F'(t) in which noise is superimposed on F (t) captured by a light receiving element is converted into an electric signal E'(t). After that, the phase signal M'(i) is estimated from E'(t). Ideally, F (t) = F'(t), but since it may change depending on the performance of the image sensor, propagation in the medium, and delay, F (t) and F'(t) are separated here. Describe. It is assumed that approximately F (t + TL) = F'(t). TL represents the propagation delay.
図2を参照して、可視光通信における信号のやり取りの例について説明する。図2は発光素子の点滅をイメージセンサにより受光する様子を説明する図である。送信機(発光素子)の点滅がイメージセンサ上の領域Ωに結像するものとする。受信機は領域Ωのすべてのフォトディテクタの出力値の合計を送信機からの受信信号としてとらえる。 An example of signal exchange in visible light communication will be described with reference to FIG. FIG. 2 is a diagram illustrating a state in which the blinking of the light emitting element is received by the image sensor. It is assumed that the blinking of the transmitter (light emitting element) is imaged in the region Ω on the image sensor. The receiver captures the sum of the output values of all the photodetectors in the region Ω as the received signal from the transmitter.
通信路において情報を伝送する際には元の情報をなんらかのかたちで符号化することが一般的である。符号化された情報を構成する最小単位の信号をシンボルと呼ぶ。ディジタル通信路ではシンボルのクロック(1つのシンボルを伝送する際に使用する時間幅)と位相を検出することが重要である。これを行うことを受信機と送信機の間でのシンボルタイミング同期という。シンボルタイミング同期は通信をしている間常に行われていることが望ましい。これは、一般に受信機と送信機の間で同じ発振器を共有する手段がないため、同期が常にずれてしまう可能性があるからである。 When transmitting information on a communication path, it is common to encode the original information in some way. The smallest unit of signal that constitutes encoded information is called a symbol. In a digital channel, it is important to detect the clock (time width used when transmitting one symbol) and the phase of the symbol. Doing this is called symbol timing synchronization between the receiver and the transmitter. It is desirable that symbol timing synchronization is always performed during communication. This is because there is generally no way to share the same oscillator between the receiver and the transmitter, which can lead to constant out-of-sync.
シンボルタイミング同期を行うためには、例えば非特許文献3のようにシンボルタイミング再生回路を用いる必要がある。これは入力された2つの信号の位相差を検出しフィードバック制御をかけることで位相を同期させるものである。2つの信号のうち片方が発振器からの入力であり、もう片方が同期させたい信号である。受信機としてフォトディテクタを用いる場合、信号を連続的に得ることが出来るのでシンボルタイミング再生回路を用いることは容易である。一方でイメージセンサを用いる場合は、受信処理に用いることができる信号は標本化されたものであるため、離散時間信号となる。この場合は、シンボルタイミング再生回路によるシンボルタイミング同期を行うためにはある程度の標本化周波数が必要である。
In order to perform symbol timing synchronization, it is necessary to use a symbol timing reproduction circuit as in
図3を参照して、従来の技術を用いた位相偏移変調を利用する可視光通信システムの構成を説明する。同図に示すように、従来の可視光通信システム9は、送信装置91と受信装置92を含み、送信装置91は、変調部911、発光部912を含み、発光部912は、発光信号制御部9121と発光素子9122を含む。受信装置92は、受光部921と、同期部922と、復調部923を含み、受光部921は、受光素子9211と、受信信号生成部9212を含み、同期部922は、クロック素子9221と、シンボルタイミング再生回路9222を含み、復調部923は、位相信号推定部9231と、伝送信号推定部9232を含む。以下、図4を参照して各部の入出力、動作について説明する。
With reference to FIG. 3, a configuration of a visible light communication system using phase shift keying using a conventional technique will be described. As shown in the figure, the conventional visible
<変調部911>
入力:変調部911には、ディジタル伝送信号S(i)の系列S(1),S(2),…が入力される。ディジタル伝送信号S(i)は、1ビットの情報であり、iはディジタル伝送信号の番号を表す整数とする。
出力:変調部911からは、変調信号M(i)の系列M(1),M(2),…が出力される。変調信号M(i)は0またはπの値を持つ位相の情報である。また、iは時間を表すインデックスとしても用いる。
動作:変調部911は、入力されたディジタル伝送信号S(i)の系列S(1),S(2),…を変調して変調信号M(i)の系列M(1),M(2),…を生成する(S911)。例えば、変調部911は、S(i)=0であればM(i)=0、S(i)=1であればM(i)=πとして、変調信号を生成する。
具体例:例えば、ディジタル伝送信号S(i)の系列がS(1)=0、S(2)=1、S(3)=1、S(4)=1、…であった場合、変調結果はM(1)=0、M(2)=π、M(3)=π、M(4)=π、…となる。
<
Input: The series S (1), S (2), ... Of the digital transmission signal S (i) are input to the
Output: The
Operation: The
Specific example: For example, when the sequence of the digital transmission signal S (i) is S (1) = 0, S (2) = 1, S (3) = 1, S (4) = 1, ..., Modulation The result is M (1) = 0, M (2) = π, M (3) = π, M (4) = π, ...
<発光部912>
上述したように、発光部912は、発光信号制御部9121と発光素子9122を含む。発光素子9122は例えばLEDである。
入力:発光部912には、変調信号M(i)の系列M(1),M(2),…が入力される。
出力:発光部912からは光信号F(t)が出力される。
動作:発光部912の発光信号制御部9121は、入力された変調信号M(i)が0である場合は、時刻iTf-Tf/2から所定時間Tf経過した時刻iTf+Tf/2までの間、周波数1/Tc、位相0の矩形波(電気信号)を生成して、発光素子9122に与え、入力された変調信号M(i)がπである場合は、時刻iTf-Tf/2から所定時間Tf経過した時刻iTf+Tf/2までの間、周波数1/Tc、位相πの矩形波(電気信号)を発光素子9122に与える(S9121)。発光素子9122は発光信号制御部9121から与えられた電気信号により発光する(S9122)。これらにより、発光部912から光信号が出力される。ただし、発光信号制御部9121が生成する電気信号は発光素子の性能や特性を考慮し、発光素子の光信号F(t)が所望の値になるように制御されているものとする。
<Light emitting unit 912>
As described above, the light emitting unit 912 includes a light emitting
Input: The series M (1), M (2), ... Of the modulation signal M (i) are input to the light emitting unit 912.
Output: An optical signal F (t) is output from the light emitting unit 912.
Operation: When the input modulation signal M (i) is 0, the light emission
<受光部921>
上述したように受光部921は、受光素子9211と受信信号生成部9212を含む。受光素子9211は、たとえばフォトディテクタである。また、受光素子9211の前段に光学レンズを設けてもよい。受光素子9211はフォトディテクタを格子状に並べたイメージセンサでもよい。
入力:受光部921には、発光部912から出力された光信号F(t)が入力される。
出力:受光部921からは、時間的に連続な受信信号E''(t)が出力される。
動作:受光部921の受光素子9211は、入力された光信号F(t)に対応する電気信号E'(t)を受信信号生成部9212に対して出力する(S9211)。受光部921の受信信号生成部9212は入力された電気信号E'(t)に基づいて受信信号E''(t)を同期部922、復調部923に対して出力する(S9212)。
<
As described above, the
Input: The optical signal F (t) output from the light emitting unit 912 is input to the
Output: A time-continuous reception signal E'' (t) is output from the
Operation: The
<同期部922>
上述したように同期部922は、クロック素子9221とシンボルタイミング再生回路9222を含む。
入力:同期部922には、受光部921から出力された受信信号E''(t)が入力される。
出力:同期部922からは、位相の情報、周波数の情報が出力される。
動作:同期部922のクロック素子9221はクロック情報を出力する(S9221)。同期部922のシンボルタイミング再生回路9222はクロック素子9221から入力されたクロック情報と、入力された受信信号E''(t)に基づいて、2つの信号の位相差を検出してフィードバック制御をかけて、位相を同期し、位相の情報、周波数の情報を出力する(S9222)。
<
As described above, the
Input: The reception signal E''(t) output from the
Output: Phase information and frequency information are output from the
Operation: The
<復調部923>
上述したように復調部923は、位相信号推定部9231と、伝送信号推定部9232を含む。位相信号推定部9231、伝送信号推定部9232はメモリ、演算装置などからなる。
入力:復調部923には、受光部921から出力された受信信号E''(t)と、同期部922から出力された位相の情報、周波数の情報が入力される。
出力:復調部923からは、推定結果S'(i)が出力される。
動作:復調部923の位相信号推定部9231は受信信号E''(t)と、位相の情報、周波数の情報を用いて、位相信号M'(i)を生成する(S9231)。復調部923の伝送信号推定部9232は、位相信号M'(i)に基づいてディジタル伝送信号を推定し推定結果S'(i)を出力する(S9232)。
<Demodulation unit 923>
As described above, the demodulation unit 923 includes a phase
Input: The reception signal E''(t) output from the
Output: The demodulation unit 923 outputs the estimation result S'(i).
Operation: The phase
上述したシステムでは位相の復調に必要な標本化周波数は搬送波周波数の2倍以上大きな周波数となる。一方で、イメージセンサは一般的に一度の撮像で得られる画素数と時間当たりの撮像回数、すなわち標本化周波数、の積の上限が一定に制約されている。したがって、上記のようなシステムの受光部としてイメージセンサを用いて、復調のために大きな標本化周波数を採用した場合には、一度の標本化で得られる画素数を犠牲にせざるを得なくなる。 In the system described above, the sampling frequency required for phase demodulation is at least twice as large as the carrier frequency. On the other hand, in an image sensor, the upper limit of the product of the number of pixels obtained in one imaging and the number of imagings per hour, that is, the sampling frequency, is generally constrained to be constant. Therefore, when an image sensor is used as the light receiving unit of the system as described above and a large sampling frequency is adopted for demodulation, the number of pixels obtained by one sampling must be sacrificed.
そこで本発明は、一度の標本化で得られる画素数を犠牲にすることなく、位相偏移変調信号を受信できる受信装置を提供することを目的とする。 Therefore, an object of the present invention is to provide a receiving device capable of receiving a phase shift keying signal without sacrificing the number of pixels obtained by one sampling.
本発明の受信装置は、受光部と、復調部を含む。受光部は、予め定められた値をもつ訓練系列とディジタル伝送信号を位相偏移変調して連結してなる変調信号に基づく光信号を受信して、光信号に、各々異なる露光タイミングで光信号の2分の1周期に渡り露光する複数の受光素子の標本化器に貯まる電荷に基づいて、受光素子のそれぞれに対応する複数の受信信号を生成する。復調部は、光信号と露光タイミングの位相差がゼロである場合の受信信号の値を正規化用受信信号値とし、生成された複数の受信信号の値と正規化用受信信号値に基づいて変調信号の位相を推定し、位相の推定結果のうち訓練系列に対応する部分に基づいて、送受信間の位相のずれを表す情報である参照位相情報を推定する。 The receiving device of the present invention includes a light receiving unit and a demodulating unit. The light receiving unit receives an optical signal based on a modulation signal formed by phase-shifting and connecting a training series having a predetermined value and a digital transmission signal, and the optical signal is combined with an optical signal at different exposure timings. A plurality of received signals corresponding to each of the light receiving elements are generated based on the charges accumulated in the samplers of the plurality of light receiving elements exposed over a half cycle of the above. The demodulator uses the value of the received signal when the phase difference between the optical signal and the exposure timing is zero as the normalized received signal value, and is based on the generated multiple received signal values and the normalized received signal value. The phase of the modulated signal is estimated, and the reference phase information, which is information representing the phase shift between transmission and reception, is estimated based on the portion of the phase estimation result corresponding to the training sequence.
本発明の受信装置によれば、一度の標本化で得られる画素数を犠牲にすることなく、位相偏移変調信号を受信できる。 According to the receiving device of the present invention, the phase shift keying signal can be received without sacrificing the number of pixels obtained by one sampling.
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail. The components having the same function are given the same number, and duplicate explanations will be omitted.
以下、図5を参照して実施例1の可視光通信システムの構成を説明する。同図に示すように、本実施例の可視光通信システム1は、送信装置11と受信装置12を含み、送信装置11は、変調部111と、発光部112を含み、発光部112は、発光信号制御部1121と、発光素子9122を含み、発光素子9122は従来の送信装置91における発光素子9122と同じである。受信装置12は、受光部121と、復調部123を含み、受光部121は、第1受光素子1211と、第2受光素子1212と、第1受信信号生成部1213と、第2受信信号生成部1214を含み、復調部123は、位相信号推定部1231と、フレーム解釈部1232と、伝送信号推定部1233を含む。
Hereinafter, the configuration of the visible light communication system of the first embodiment will be described with reference to FIG. As shown in the figure, the visible
以下、図6を参照して従来と異なる各部の入出力、動作について説明する。
<変調部111>
変調部111はメモリ、演算装置などからなる。
入力:変調部111には、ディジタル伝送信号S(j)の系列S(1),S(2),…,S(J)が入力される。伝送信号S(j)は、1ビットまたはlog2Gビットの情報であり、jは伝送信号の番号を表す整数である。
出力:変調部111からは、変調信号M(i)の系列M(1),M(2),…が出力される。変調信号M(i)は、ディジタル伝送信号S(j)および予め定められた訓練系列に指定された値に対応した値を持つ位相の情報である。また、iは変調信号の番号を表す番号である。iは時間を表すインデックスとしても用いる。
動作:変調部111は、入力されたディジタル伝送信号S(j)の系列の変調信号MM(j)の系列MM(1),MM(2),…,MM(J)を生成する(S111)。変調部111は、例えばS(j)の値がLであればMM(j)を2*π/G*Lとして、変調信号を生成する。さらに変調部111は、訓練系列の変調信号MT(jj)の系列MT(1),MT(2),…,MT(JJ)を生成する(S111)。系列MT(1),MT(2),…,MT(JJ)は予め決められた位相ΘRの変調信号である。変調部111はJJ個の訓練系列の変調信号の系列MT(1),MT(2),…,MT(JJ)をM(1),M(2),…,M(JJ)とし、J個の変調信号の系列MM(1),MM(2),…,MM(J)をM(JJ+1),M(JJ+2),…,M(JJ+J)として出力する。すなわち、変調部111は下表のように2つの変調信号の系列MM,MTを生成したうえでこれらを連結して変調信号Mとし、変調信号M(i)の系列M(1),…,M(JJ),M(JJ+1),…,M(JJ+J)を出力する。
Hereinafter, input / output and operation of each part different from the conventional ones will be described with reference to FIG.
<
The
Input: The series S (1), S (2), ..., S (J) of the digital transmission signal S (j) are input to the
Output: The
Operation: The
<発光部112>
上述したように、発光部112は、発光信号制御部1121と、発光素子9122を含む。発光素子9122は例えばLEDである。
入力:発光部112には、変調信号M(i)の系列M(1),M(2),…が入力される。
出力:発光部112からは、光信号F(t)が出力される。
動作:発光部112の発光信号制御部1121は、入力された変調信号M(i)がΘM(Mは任意の値)である場合は、時刻iTf-Tf/2から所定時間Tf経過した時刻iTf+Tf/2までの間、周波数1/Tc、位相ΘMの矩形波(電気信号)を生成して、発光素子9122に与える(S1121)。発光素子9122は発光信号制御部1121から与えられた電気信号により発光する(S9122)。これらにより、発光部112から光信号F(t)が出力される。ただし、発光信号制御部1121が生成する電気信号は発光素子の性能や特性を考慮し、発光素子の光信号F(t)が所望の値になるように制御されているものとする。
<Light emitting unit 112>
As described above, the light emitting unit 112 includes a light emitting
Input: The series M (1), M (2), ... Of the modulation signal M (i) are input to the light emitting unit 112.
Output: An optical signal F (t) is output from the light emitting unit 112.
Operation: When the input modulation signal M (i) is ΘM (M is an arbitrary value), the light emission
<受光部121>
上述したように本実施例では、受光部121は、受光素子と受信信号生成部の組を2組含む構成であるが、受光素子と受信信号生成部の組は2組に限定されない。
<Light receiving unit 121>
As described above, in the present embodiment, the light receiving unit 121 includes two sets of the light receiving element and the received signal generating unit, but the set of the light receiving element and the received signal generating unit is not limited to two sets.
受光部121の動作を一般的に表現すると以下のように表現できる。受光部121は、予め定められた値をもつ訓練系列とディジタル伝送信号S(j)を位相偏移変調して連結してなる変調信号M(i)に基づく光信号F1(t),F2(t),...を受信して、光信号F1(t),F2(t),...に、各々異なる露光タイミングで光信号F1(t),F2(t),...の2分の1周期に渡り露光する複数の受光素子の標本化器に貯まる電荷に基づいて、受光素子のそれぞれに対応する複数の受信信号B1'(t),B2'(t),...を生成する(S121)。 The operation of the light receiving unit 121 can be generally expressed as follows. The light receiving unit 121 is an optical signal F1 (t), F2 ( After receiving t), ..., the optical signals F1 (t), F2 (t), ... are given to the optical signals F1 (t), F2 (t), ... at different exposure timings. A plurality of received signals B1'(t), B2'(t), ... Generate (S121).
以下、図6を参照し、受光素子と受信信号生成部の組を2組含む前提として、受光部121の動作を詳細に説明する。従来技術と同様に、第1、第2受光素子1211、1212は、たとえばフォトディテクタである。また、第1、第2受光素子1211、1212の前段に光学レンズを設けてもよい。さらに、第1、第2受光素子1211、1212はフォトディテクタを格子状に並べたイメージセンサでもよい。第1、第2受信信号生成部1213、1214は標本化素子及びメモリ、演算装置などからなる。
入力:受光部121には、発光部112から出力された第1光信号F1'(t)、第2光信号F2'(t)が入力される。
出力:受光部121からは、第1受信信号B1'(i)の系列B1'(1),B1'(2),…および第2受信信号B2'(i)の系列B2'(1),B2'(2),…が出力される。
動作:受光部121の第1受光素子1211は、入力された第1光信号F1'(t)に対応する第1電気信号E1'(t)を第1受信信号生成部1213に対して出力する(S1211)。第1受光素子1211がイメージセンサの場合、具体的には図9のように、各フォトディテクタは時刻TI+iTs-Ts/2からTI+iTs-Ts/2+τまでに標本化器にたまった電荷を測定する。ただし、TIは相対位相(オフセット)、iTsは、i番目のシンボルの中心にあたる時刻、iTs-Ts/2はi番目のシンボルの先頭にあたる時刻、τは露光時間である。
Hereinafter, the operation of the light receiving unit 121 will be described in detail with reference to FIG. 6, assuming that two sets of the light receiving element and the received signal generating unit are included. Similar to the prior art, the first and second
Input: The first optical signal F1'(t) and the second optical signal F2'(t) output from the light emitting unit 112 are input to the light receiving unit 121.
Output: From the light receiving unit 121, the sequence B1'(1), B1'(2), ... Of the first received signal B1'(i) and the sequence B2'(1), of the second received signal B2'(i), B2'(2), ... is output.
Operation: The first
同様に、受光部121の第2受光素子1212は、入力された第2光信号F2'(t)に対応する第2電気信号E2'(t)を第2受信信号生成部1214に対して出力する(S1212)。第2受光素子1212がイメージセンサの場合、具体的には図9のように、各フォトディテクタは時刻TI+iTs-Ts/2+Tc/4からTI+iTs-Ts/2+τ+Tc/4までに標本化器にたまった電荷を測定する。Tc/4は、第1受光素子1211と、第2受光素子1212の露光タイミングのずれを表し、搬送波の周期Tcの4分の1である。
Similarly, the second
第1受信信号生成部1213は、入力された第1電気信号E1'(t)の強度を時間間隔Ts毎に計測し、第1受信信号B1'(i)として出力する(S1213)。第1受光素子1211がイメージセンサの場合、第1受信信号生成部1213は、予め定められた範囲Ωにわたって電荷の測定結果の和をとり、測定結果の和を第1受信信号B1'(i)として出力する(S1213)。同様に、第2受信信号生成部1214は、入力された第2電気信号E2'(t)の強度を時間間隔Ts毎に計測し、第2受信信号B2'(i)として出力する(S1214)。第2受光素子1212がイメージセンサの場合、第2受信信号生成部1214は予め定められた範囲Ωにわたって電荷の測定結果の和をとり、測定結果の和を第2受信信号B2'(i)として出力する(S1214)。
The first received
<復調部123>
上述したように復調部123は、位相信号推定部1231と、フレーム解釈部1232と、伝送信号推定部1233を含む。位相信号推定部1231、フレーム解釈部1232、伝送信号推定部1233はメモリ、演算装置などからなる。
<Demodulation unit 123>
As described above, the demodulation unit 123 includes a phase
復調部123の動作を一般的に表現すると以下のように表現できる。復調部123は、光信号F1(t),F2(t),...と露光タイミングの位相差がゼロである場合の受信信号の値を正規化用受信信号値R1,R2,...とし、生成された複数の受信信号B1'(t),B2'(t),...の値と正規化用受信信号値R1,R2,...に基づいて変調信号の位相を推定し、位相の推定結果M'(i)のうち訓練系列に対応する部分に基づいて、送受信間の位相のずれを表す情報である参照位相情報MI'(k)を推定する(S123)。 The operation of the demodulation unit 123 can be generally expressed as follows. The demodulation unit 123 normalizes the values of the received signals when the phase difference between the optical signals F1 (t), F2 (t), ... And the exposure timing is zero, and the received signal values R1, R2, ... Then, the phase of the modulated signal is estimated based on the values of the generated multiple received signals B1'(t), B2'(t), ... and the normalized received signal values R1, R2, ... , The reference phase information MI'(k), which is information representing the phase shift between transmission and reception, is estimated based on the portion of the phase estimation result M'(i) corresponding to the training sequence (S123).
以下、図6を参照し、受光素子と受信信号生成部の組を2組含む前提として、復調部123の動作を詳細に説明する。
入力:復調部123には、受光部121から第1受信信号B1'(i)の系列、および第2受信信号B2'(i)の系列が入力される。
出力:復調部123からは、推定結果S'(j)が出力される。
動作:復調部123の位相信号推定部1231は、第1受信信号B1'(i)の系列、および第2受信信号B2'(i)の系列に基づいて、相対的な位相の推定結果M'(i)を生成し、フレーム解釈部1232および伝送信号推定部1233に出力する(S1231)。
Hereinafter, the operation of the demodulation unit 123 will be described in detail with reference to FIG. 6, assuming that two sets of the light receiving element and the reception signal generation unit are included.
Input: A sequence of the first received signal B1'(i) and a sequence of the second received signal B2'(i) are input to the demodulation unit 123 from the light receiving unit 121.
Output: The demodulation unit 123 outputs the estimation result S'(j).
Operation: The phase
具体的には、位相信号推定部1231は、第1受信信号B1'(i)および第2受信信号B2'(i)のそれぞれについて、露光タイミングと搬送波の位相差が0であるときの受信信号の値を正規化用受信信号値R1、R2として予め保持している(図10参照、同図におけるTI=0のときの輝度値(画素値)をR1とする)。これらの正規化用受信信号値は何らかのかたちで外部から与えるか、予め推定しておくものとする。位相信号推定部1231は第1受信信号B1'(i)および第2受信信号B2'(i)に基づいて、受信信号の相対的な位相を推定し、相対的な位相の推定結果M'(i)として出力する。
Specifically, the phase
通常、位相信号推定部1231は、ある程度の数(=LLとする)のB1'(i)とB2'(i)の組を使って位相の推定を行う。この時出力される相対的な位相の推定結果M'(i)の数はやはりLLである。上記の相対的な位相の推定は具体的には下記の数式(式1)によって実行することができる。
Normally, the phase
ただし、B1''(i)は、B1'(i)をR1で、B2''(i)は、B2'(i)をR2で割ることによって正規化した値である。 However, B1'' (i) is a value obtained by dividing B1'(i) by R1, and B2'' (i) is a value normalized by dividing B2'(i) by R2.
次に、復調部123のフレーム解釈部1232は、相対的な位相の推定結果M'(i)に基づいて、制御信号C'(k)および参照位相情報MI'(k)を生成し、制御信号C'(k)および参照位相情報MI'(k)を伝送信号推定部1233に出力する(S1232)。kは制御信号C'(k)の番号を表す整数である。フレーム解釈部1232は予め定められた位相情報ΘRおよび、訓練系列の変調信号の系列の長さJJおよびシンボルの変調信号の系列の長さJを予め保持しているものとする。フレーム解釈部1232は相対的な位相の推定結果M'(i)の系列の先頭からJJ個に基づいて、参照位相情報MI'(k)を推定する。具体的には、以下の数式(式2)に基づく操作を行う。
Next, the
参照位相情報MI'(k)は、送受信間の位相のずれを表す情報である。また、フレーム解釈部1232はJJ個の訓練系列のインデックスを保持し、制御信号C'(k)とする。
Reference phase information MI'(k) is information representing a phase shift between transmission and reception. Further, the
復調部123の伝送信号推定部1233は相対的な位相の推定結果M'(i)の系列のうち制御信号C'(k)により指し示されたJJ個の訓練系列以外の系列M'(JJ+1)からM'(JJ+J)の系列から下記のように最小二乗法などを用いてシンボルの系列S'(j)を推定する(S1233)。具体的には以下の数式(式3)に基づく操作を行う。
The transmission
ただし、演算子gmod(θ,2π/G)は However, the operator gmod (θ, 2π / G)
を意味する。 Means.
以下、図7を参照して実施例2の可視光通信システムの構成を説明する。同図に示すように、本実施例の可視光通信システム2は、送信装置21と受信装置22を含み、送信装置21は、変調部211と、発光部112を含み、発光部112は、実施例1の送信装置11における発光部112と同じである。ただし、搬送波周期TcはTfの(N+1)倍とする。ここで、Nは自然数である。受信装置22は、受光部221と、復調部223を含み、受光部221は、第1受光素子1211と、第2受光素子1212と、第1受信信号生成部2213と、第2受信信号生成部2214を含み、第1、第2受光素子1211、1212は実施例1の受光部121における第1、第2受光素子1211、1212と同じである。復調部223は、位相信号推定部2231と、フレーム解釈部2232と、伝送信号推定部2233を含む。
Hereinafter, the configuration of the visible light communication system of the second embodiment will be described with reference to FIG. 7. As shown in the figure, the visible
以下、図8を参照して従来および実施例1と異なる各部の入出力、動作について説明する。 Hereinafter, input / output and operation of each part different from the conventional one and the first embodiment will be described with reference to FIG.
<変調部211>
変調部211はメモリ、演算装置などからなる。
入力:変調部211には、ディジタル伝送信号S(j)の系列S(1),S(2),…,S(J)が入力される。伝送信号S(j)は、1ビットまたはlog2Gビットの情報であり、jは伝送信号の番号を表す整数である。
出力:変調部211からは、変調信号M(i)の系列M(1),M(2),…が出力される。変調信号M(i)は、ディジタル伝送信号S(j)および予め定められた訓練系列に指定された値に対応した値を持つ位相の情報である。また、iは変調信号の番号を表す番号である。iは時間を表すインデックスとしても用いる。
動作:変調部211は、入力されたディジタル伝送信号S(j)の変調信号MM(j)の系列MM(1),MM(2),…,MM(J)を生成する(S211)。変調部211は、例えばS(j)の値がLであればMM(j)を2*π/G*Lとして、変調信号を生成する。さらに、変調部211は、訓練系列の変調信号MT(jj)の系列MT(1),MT(2),…,MT(JJ)を生成する。MT(1),MT(2),…,MT(JJ)は図11のような予め決められた位相ΘR1および位相ΘR2(同図の例では0°および180°)に交互に変調された信号である。変調部211はJJ個の変調信号の系列MT(jj)をM(1),M(2),…,M(JJ)とし、J個の変調信号の系列MM(1),MM(2),…,MM(J)をM(JJ+1),M(JJ+2),…,M(JJ+J)として出力する。すなわち、変調部211は、2つの変調信号の系列MM,MTを生成したうえでこれらを連結して変調信号Mとし、変調信号M(i)の系列M(1),…,M(JJ),M(JJ+1),…,M(JJ+J)を出力する。
<
The
Input: The series S (1), S (2), ..., S (J) of the digital transmission signal S (j) are input to the
Output: The
Operation: The
<受光部221>
実施例1と同様に、第1、第2受信信号生成部2213、2214は標本化素子及びメモリ、演算装置などからなる。上述したように、本実施例では、受光部221は、受光素子と受信信号生成部の組を2組含む構成であるが、受光素子と受信信号生成部の組は2組に限定されない。
<Light receiving unit 221>
Similar to the first embodiment, the first and second received
受光部221の動作を一般的に表現すると以下のように表現できる。受光部221は、予め定められた2つの異なる値を交互に配列した訓練系列とディジタル伝送信号S(j)を位相偏移変調して連結してなる変調信号M(i)に基づく光信号F1(t),F2(t),...を受信して、光信号F1(t),F2(t),...に、各々異なる露光タイミングで光信号F1(t),F2(t),...の2分の1周期に渡り露光する複数の受光素子の標本化器に貯まる電荷に基づいて、受光素子のそれぞれに対応する複数の受信信号B1'(t),B2'(t),...を生成する(S221)。 The operation of the light receiving unit 221 can be generally expressed as follows. The light receiving unit 221 is an optical signal F1 based on a modulation signal M (i) formed by phase-shift keying and connecting a training sequence in which two predetermined values are alternately arranged and a digital transmission signal S (j). Upon receiving (t), F2 (t), ..., the optical signals F1 (t), F2 (t), ... are converted into optical signals F1 (t), F2 (t) at different exposure timings. Multiple received signals B1'(t), B2'(t) corresponding to each of the light receiving elements based on the charge stored in the sampler of the plurality of light receiving elements exposed over a half cycle of, ... ), ... are generated (S221).
以下、受光素子と受信信号生成部の組を2組含む前提として、受光部221の動作を詳細に説明する。入力:受光部221には、発光部112から出力された第1光信号F1'(t)、第2光信号F2'(t)が入力される。
出力:受光部221からは、第1受信信号B1'(ii)の系列B1'(1),B1'(2),…および第2受信信号B2'(ii)の系列B2'(1),B2'(2),…が出力される。
動作:第1受信信号生成部2213は、入力された第1電気信号E1'(t)の強度を時間間隔Ts毎に計測し、第1受信信号B1'(ii)として出力する(S2213)。ここでインデックスiiは、撮像の番号を表すインデックスであり、変調信号の番号を表すインデックスiとは異なる。例えば、インデックスi=1,...,5で表される5つの送信シンボルに対応する光信号に対し、ii=1,...,6とし、計6回の撮像(露光)を割り当てることができる。第1受光素子1211がイメージセンサの場合、第1受信信号生成部2213は、予め定められた範囲Ωにわたって電荷の測定結果の和をとり、測定結果の和を第1受信信号B1'(ii)として出力する(S2213)。同様に、第2受信信号生成部2214は、入力された第2電気信号E2'(t)の強度を時間間隔Ts毎に計測し、第2受信信号B2'(ii)として出力する(S2214)。第2受光素子1212がイメージセンサの場合、第2受信信号生成部2214は予め定められた範囲Ωにわたって電荷の測定結果の和をとり、測定結果の和を第2受信信号B2'(ii)として出力する(S2214)。
Hereinafter, the operation of the light receiving unit 221 will be described in detail on the premise that two sets of the light receiving element and the received signal generation unit are included. Input: The first optical signal F1'(t) and the second optical signal F2'(t) output from the light emitting unit 112 are input to the light receiving unit 221.
Output: From the light receiving unit 221, the sequence B1'(1), B1'(2), ... Of the first received signal B1'(ii) and the sequence B2'(1), of the second received signal B2'(ii), B2'(2), ... is output.
Operation: The first received
<復調部223>
上述したように復調部223は、位相信号推定部2231と、フレーム解釈部2232と、伝送信号推定部2233を含む。位相信号推定部2231、フレーム解釈部2232、伝送信号推定部2233はメモリ、演算装置などからなる。
<Demodulation unit 223>
As described above, the demodulation unit 223 includes a phase
復調部223の動作を一般的に表現すると以下のように表現できる。復調部223は、光信号F1(t),F2(t),...と露光タイミングの位相差がゼロである場合の受信信号の値を正規化用受信信号値R1,R2,...とし、生成された複数の受信信号B1'(t),B2'(t),...の値と正規化用受信信号値R1,R2,...に基づいて変調信号の位相を推定し、複数の受信信号B1'(t),B2'(t),...のうち訓練系列に対応する部分に基づいて、シンボルが切り替わる露光タイミングにおけるフレームの情報であるエラーフレームのインデックスを推定する(S223)。 The operation of the demodulation unit 223 can be generally expressed as follows. The demodulation unit 223 normalizes the values of the received signals when the phase difference between the optical signals F1 (t), F2 (t), ... And the exposure timing is zero, and the received signal values R1, R2, ... Then, the phase of the modulated signal is estimated based on the values of the generated multiple received signals B1'(t), B2'(t), ... and the normalized received signal values R1, R2, ... , Estimates the index of the error frame, which is the frame information at the exposure timing at which the symbols are switched, based on the part of the multiple received signals B1'(t), B2'(t), ... corresponding to the training series. (S223).
以下、受光素子と受信信号生成部の組を2組含む前提として、復調部223の動作を詳細に説明する。
入力:復調部223には、受光部221から第1受信信号B1'(ii)の系列、および第2受信信号B2'(ii)の系列が入力される。
出力:復調部223からは、推定結果S'(j)が出力される。
動作:復調部223の位相信号推定部2231は、第1受信信号B1'(ii)の系列、および第2受信信号B2'(ii)の系列に基づいて、相対的な位相の推定結果M'(ii)を生成し、フレーム解釈部2232および伝送信号推定部2233に出力する(S2231)。
Hereinafter, the operation of the demodulation unit 223 will be described in detail on the premise that two sets of the light receiving element and the reception signal generation unit are included.
Input: A sequence of the first received signal B1'(ii) and a sequence of the second received signal B2'(ii) are input from the light receiving unit 221 to the demodulation unit 223.
Output: The demodulation unit 223 outputs the estimation result S'(j).
Operation: The phase
具体的には、位相信号推定部2231は、第1受信信号B1'(ii)および第2受信信号B2'(ii)のそれぞれについて、露光タイミングと搬送波の位相差が0であるときの受信信号の値を正規化用受信信号値R1、R2として予め保持している。これらの正規化用受信信号値は何らかのかたちで外部から与えるか、予め推定しておくものとする。位相信号推定部2231は第1受信信号B1'(ii)および第2受信信号B2'(ii)に基づいて、受信信号の相対的な位相を推定し、相対的な位相の推定結果M'(ii)として出力する。
Specifically, the phase
通常、位相信号推定部2231は、ある程度の数(=LLとする)のB1'(ii)とB2'(ii)の組を使って位相の推定を行う。この時出力される相対的な位相の推定結果M'(ii)の数はやはりLLである。上記の相対的な位相の推定は具体的には下記の数式(式4)によって実行することができる。
Normally, the phase
ただし、B1''(ii)は、B1'(ii)をR1で、B2''(ii)は、B2'(ii)をR2で割ることによって正規化した値である。 However, B1'' (ii) is a value normalized by dividing B1'(ii) by R1, and B2'' (ii) is a value normalized by dividing B2'(ii) by R2.
次に、復調部223のフレーム解釈部2232は、第1受信信号B1'(ii)および第2受信信号B2'(ii)に基づいて、制御信号C'(k)を生成し、制御信号C'(k)を伝送信号推定部2233に出力する(S2232)。kは制御信号C'(k)の番号を表す整数である。フレーム解釈部2232は予め定められた位相情報ΘR1,ΘR2および、訓練系列の変調信号の系列の長さJJおよびシンボルの変調信号の系列の長さJを予め保持しているものとする。フレーム解釈部2232は相対的な位相の推定結果M'(ii)の系列の先頭からJJ*(N+1)/N個に基づいて(ただし、撮像の頻度は元の変調信号のシンボルの送信頻度の(N+1)/N倍であるとする)、下記のようにエラーフレームの検出を行う。なお、フレーム解釈部2232は、正規化用受信信号値R1,R2を保持しており、B1''(ii),B2''(ii)の計算に適宜用いる。
Next, the
B1''(ii)とB2''(ii)が訓練系列のうちの同じシンボルに対応している場合、図12の正方形で表される軌跡の近くに(B1''(ii),B2''(ii))はプロットされる。したがって、先頭のJJ*(N+1)/N個(すなわち訓練系列に対応する個数)のB1''(ii)とB2''(ii)の組のうち、この軌跡からの距離が遠い方から上位JJ/N個の組(B1''(ii_1),B2''(ii_1)),(B1''(ii_2),B2''(ii_2)),…,(B1''(ii_{JJ/N}),B2''(ii_{JJ/N}))では訓練系列の位相の遷移が発生していると判断し、これらのインデックスをエラーフレームのインデックスの組とみなす。 If B1'' (ii) and B2'' (ii) correspond to the same symbol in the training sequence, then near the locus represented by the square in Figure 12 (B1'' (ii), B2' '(ii)) is plotted. Therefore, of the first JJ * (N + 1) / N (that is, the number corresponding to the training series) B1'' (ii) and B2'' (ii) pairs, the one that is farther from this locus. Top JJ / N pairs (B1'' (ii_1), B2'' (ii_1)), (B1'' (ii_2), B2'' (ii_2)),…, (B1'' (ii_ {JJ) In / N}), B2'' (ii_ {JJ / N})), it is judged that the phase transition of the training series has occurred, and these indexes are regarded as the set of indexes of the error frame.
フレーム解釈部2232は上記訓練系列のインデックスの組および、エラーフレームのインデックスの組から、シンボルに対応する位相の系列に対応するインデックス、ii∈{JJ*(N+1)/N+1,JJ*(N+1)/N+2,…,JJ*(N+1)/N+J*(N+1)/N}のうち、エラーフレームになるインデックスの組を推定した結果を合わせて、制御信号C'(k)として出力する。
From the index set of the training series and the index set of the error frame, the
上記のパラメータについて、下記のように設定した際のフレーム解釈部2232の具体的な動作について述べる。JJ=5、N=5、J=20とした場合において、訓練系列に関する(B1''(1),B2''(1)),(B1''(2),B2''(2)),…,(B1''(6),B2''(6))のうちエラーフレームに対応するインデックスが2であったとする。このとき、シンボル系列に関する系列(B1''(7),B2''(7)),(B1''(8),B2''(8)),…,(B1''(30),B2''(30)),…のうち、エラーフレームのインデックスは、8、14、20、26であると推測できる。フレーム解釈部2232はこのインデックスの集合{1,2,3,4,5,6,8,14,20,26}を制御信号C'(1)として、伝送信号推定部2233に送る。
The specific operation of the
次に、復調部223の伝送信号推定部2233は相対的な位相の推定結果M'(ii)の系列のうち制御信号C'(k)により指し示された訓練系列およびエラーフレームに対応するインデックスの推定結果を取り除いた系列から下記のように最小二乗法などを用いてシンボルの系列S'(j)を推定する(S2232)。具体的には以下の数式(式5)に基づく操作を行う。
Next, the transmission
ただし、演算子gmod(θ,2π/G)は However, the operator gmod (θ, 2π / G)
を意味する。 Means.
[変形例1]
上述の実施例1と実施例2を組み合わせてもよい。すなわち、フレーム解釈部において、予め定められた位相の組ΘR1およびΘR2を保持し、これと訓練系列に対応する(B1'(ii),B2'(ii))の組から参照位相情報MI'(k)を式2によって推定し、かつ訓練系列からエラーフレームのインデックスを推定し、これらを伝送信号推定部に出力してもよい。
[Modification 1]
The above-mentioned Example 1 and Example 2 may be combined. That is, the frame interpreter holds a predetermined set of phases ΘR1 and ΘR2, and refers to the reference phase information MI'(from the set of (B1'(ii), B2'(ii)) corresponding to this set of phases ΘR1 and ΘR2. You may estimate k) by
[変形例2]
上述の実施例2において、差動位相偏移変調を用いてもよい。伝送信号推定部においてM'(ii)とM'(ii+1)のように隣接する位相信号の差分を用いて復調を行うため、参照位相情報MI'(k)を保持する必要がなくなる。
[Modification 2]
In the second embodiment described above, differential phase shift keying may be used. Since the transmission signal estimation unit demodulates using the difference between adjacent phase signals such as M'(ii) and M'(ii + 1), it is not necessary to hold the reference phase information MI'(k).
[変形例3]
上述の実施例、変形例において、受光素子と受信信号生成部の数はそれぞれ2つであったが、これを3つ以上にしてもよい。この場合も露光タイミングが近接する2つの受光素子において露光タイミングを搬送波周期Tcの4分の1ずらすことで、実施例1、2と同様に位相の推定を第1受光素子および第2受光素子の間、第2受光素子および第3受光素子の間、第3受光素子および第4受光素子の間…でそれぞれ行うことにより、ノイズ耐性を増すことができる。
[Modification 3]
In the above-described examples and modifications, the number of light receiving elements and the number of received signal generation units are two, but the number may be three or more. In this case as well, by shifting the exposure timing by a quarter of the carrier period Tc in the two light receiving elements whose exposure timings are close to each other, the phase estimation of the first light receiving element and the second light receiving element is performed in the same manner as in Examples 1 and 2. The noise immunity can be increased by performing the process between the second light receiving element and the third light receiving element, between the third light receiving element and the fourth light receiving element, respectively.
[変形例4]
上述の実施例、変形例において、位相信号推定部は位相を式1(式4)を用いて推定したが、この前段の処理として、図13に示すように、予め期待される受信信号の値に最小二乗法等によって写像したのちにこれを行ってもよい。
[Modification example 4]
In the above-described embodiment and modification, the phase signal estimation unit estimates the phase using Equation 1 (Equation 4), but as the processing in the previous stage, as shown in FIG. 13, the value of the received signal expected in advance. This may be done after mapping to the least squares method or the like.
[変形例5]
上述の実施例、変形例において、搬送波周期がTcより十分に大きい信号MB(jjj)の系列、MB(1),MB(2),…,MB(JJJ)のJJJ個を他のM(j)に先立って出力してもよい(図14参照)。MB(jjj)を正規化用訓練系列と呼ぶ。フレーム解釈部においては、MB(jjj)に相当する受信信号B1'(ii)およびB2'(ii)をそれぞれ平均し、正規化用受信信号値R1、R2を求めてもよい。これにより正規化用受信信号値R1、R2を予め共有する必要がなくなる。
[Modification 5]
In the above-described embodiment and modification, a series of signal MB (jjj) whose carrier period is sufficiently larger than Tc, JJJ pieces of MB (1), MB (2), ..., MB (JJJ) are combined with other M (j). ) May be output (see FIG. 14). MB (jjj) is called a normalization training series. In the frame interpreting unit, the received signals B1'(ii) and B2'(ii) corresponding to MB (jjj) may be averaged to obtain the normalized received signal values R1 and R2, respectively. This eliminates the need to share the normalization received signal values R1 and R2 in advance.
[変形例6]
送信装置が複数(H個)ある場合でも、上述の実施例、変形例に記載したシステムを適用することが出来る。この場合は、上述の実施例、変形例の受信信号生成部、復調部を複数用意すればよい。この場合は復調信号の推定はそれぞれの送信装置に対応して実行される。
[Modification 6]
Even when there are a plurality of transmission devices (H), the systems described in the above-described examples and modifications can be applied. In this case, a plurality of received signal generation units and demodulation units of the above-described embodiment and modification may be prepared. In this case, the estimation of the demodulated signal is performed corresponding to each transmitting device.
[変形例7]
上述の実施例、変形例において、訓練系列に加えて、送信の開始を知らせるプリアンブルを挿入してもよい。
[Modification 7]
In the above-described embodiment and modification, in addition to the training sequence, a preamble that notifies the start of transmission may be inserted.
[変形例8]
上述の実施例、変形例において、復調部内の構成から、伝送信号推定部を省略してもよい。伝送信号推定部を省略する場合、受信装置からの出力は、相対的な位相の推定結果M'と、参照位相情報MI'(k)と、制御信号C'(k)である。これらの情報を別の装置に送信し、別の装置が伝送信号推定部と同様の処理を実行し、推定結果S'(j)を取得してもよい。
[Modification 8]
In the above-described embodiment and modification, the transmission signal estimation unit may be omitted from the configuration inside the demodulation unit. When the transmission signal estimation unit is omitted, the outputs from the receiving device are the relative phase estimation result M', the reference phase information MI'(k), and the control signal C'(k). These pieces of information may be transmitted to another device, and the other device may perform the same processing as the transmission signal estimation unit and acquire the estimation result S'(j).
<補記1>
イメージセンサを用いた可視光通信では可能な限り時間当たりの撮像回数を減らすことが望ましい。そこで2つのカメラを用い、図9に示したように撮像することで伝送信号の相対的な位相を知ることができる。これをもちいて、時間当たりの撮像回数を時間当たりのシンボルの送信回数と同程度にしたとしても位相偏移変調による通信を行うことができる。ところが上記の方法には下記の2つの課題a),b)がある。
a)位相偏移変調された符号語の位相と観測可能な相対的な位相との対応関係が自明でない。図9に示したように撮像を行った結果を用いて伝送された信号の位相を知ろうとする場合、基準となる位相、すなわち位相偏移変調された符号語がどの位相に対応しているか、を知る必要がある。しかしながら、2つのカメラを用いるだけでは基準となる位相を知ることができない。
b)露光時間中にシンボルが切り替わってしまう。図9に示したように撮像を行った場合、シンボルが切り替わるタイミングで撮像を行った場合、画素値が想定されるような値にならず、相対的な位相を求めることができなくなる。
<
In visible light communication using an image sensor, it is desirable to reduce the number of images taken per hour as much as possible. Therefore, the relative phase of the transmission signal can be known by taking an image as shown in FIG. 9 using two cameras. Using this, even if the number of images taken per hour is set to be about the same as the number of times symbols are transmitted per hour, communication by phase shift keying can be performed. However, the above method has the following two problems a) and b).
a) The correspondence between the phase of a phase-shift-modulated codeword and the observable relative phase is not trivial. When trying to know the phase of a transmitted signal using the result of imaging as shown in FIG. 9, the reference phase, that is, which phase the phase-shift-modulated codeword corresponds to. Need to know. However, it is not possible to know the reference phase only by using two cameras.
b) The symbols are switched during the exposure time. When imaging is performed as shown in FIG. 9, when imaging is performed at the timing when the symbols are switched, the pixel value does not become the expected value, and the relative phase cannot be obtained.
上述の実施例、変形例に係る可視光通信システム、送信装置、受信装置によれば、予め定められた位相の値をもつ訓練系列MTを挿入して変調を行う変調部、当該訓練系列MTに基づいて参照位相情報MI'(k)を推定するフレーム解釈部、あるいは予め定められた2種類の位相を交互に繰り返す訓練系列MTに基づいてエラーフレームのインデックスを推定するフレーム解釈部により、上述の課題a),b)を解決することができた。 According to the visible light communication system, the transmitting device, and the receiving device according to the above-described embodiment and the modified example, the modulation unit that inserts and modulates the training sequence MT having a predetermined phase value, the training sequence MT. The frame interpreter that estimates the reference phase information MI'(k) based on it, or the frame interpreter that estimates the index of the error frame based on the training series MT that alternately repeats two predetermined phases, described above. We were able to solve problems a) and b).
<補記2>
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置(例えば通信ケーブル)が接続可能な通信部、CPU(Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい)、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD−ROMなどの記録媒体を読み書きできる装置(ドライブ)などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
<
The device of the present invention is, for example, as a single hardware entity, an input unit to which a keyboard or the like can be connected, an output unit to which a liquid crystal display or the like can be connected, and a communication device (for example, a communication cable) capable of communicating outside the hardware entity. Communication unit to which can be connected, CPU (Central Processing Unit, cache memory, registers, etc.), RAM and ROM as memory, external storage device as hard hardware, and input, output, and communication units of these , CPU, RAM, ROM, and has a connecting bus so that data can be exchanged between external storage devices. Further, if necessary, a device (drive) or the like capable of reading and writing a recording medium such as a CD-ROM may be provided in the hardware entity. A physical entity equipped with such hardware resources includes a general-purpose computer and the like.
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている(外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるROMに記憶させておくこととしてもよい)。また、これらのプログラムの処理によって得られるデータなどは、RAMや外部記憶装置などに適宜に記憶される。 The external storage device of the hardware entity stores the program required to realize the above-mentioned functions and the data required for processing this program (not limited to the external storage device, for example, reading a program). It may be stored in a ROM, which is a dedicated storage device). Further, the data obtained by the processing of these programs is appropriately stored in a RAM, an external storage device, or the like.
ハードウェアエンティティでは、外部記憶装置(あるいはROMなど)に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にCPUで解釈実行・処理される。その結果、CPUが所定の機能(上記、…部、…手段などと表した各構成要件)を実現する。 In the hardware entity, each program stored in the external storage device (or ROM, etc.) and the data necessary for processing each program are read into the memory as needed, and are appropriately interpreted, executed, and processed by the CPU. .. As a result, the CPU realizes a predetermined function (each configuration requirement represented by the above, ... Department, ... means, etc.).
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。 The present invention is not limited to the above-described embodiment, and can be appropriately modified without departing from the spirit of the present invention. Further, the processes described in the above-described embodiment are not only executed in chronological order according to the order described, but may also be executed in parallel or individually depending on the processing capacity of the device that executes the processes or if necessary. ..
既述のように、上記実施形態において説明したハードウェアエンティティ(本発明の装置)における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。 As described above, when the processing function in the hardware entity (device of the present invention) described in the above embodiment is realized by a computer, the processing content of the function that the hardware entity should have is described by a program. Then, by executing this program on the computer, the processing function in the above hardware entity is realized on the computer.
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD(Digital Versatile Disc)、DVD−RAM(Random Access Memory)、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto-Optical disc)等を、半導体メモリとしてEEP−ROM(Electronically Erasable and Programmable-Read Only Memory)等を用いることができる。 The program describing the processing content can be recorded on a computer-readable recording medium. The computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like. Specifically, for example, a hard disk device, a flexible disk, a magnetic tape, or the like as a magnetic recording device is used as an optical disk, and a DVD (Digital Versatile Disc), a DVD-RAM (Random Access Memory), or a CD-ROM (Compact Disc Read Only) is used as an optical disk. Memory), CD-R (Recordable) / RW (ReWritable), etc., MO (Magneto-Optical disc), etc. as a magneto-optical recording medium, EEP-ROM (Electronically Erasable and Programmable-Read Only Memory), etc. as a semiconductor memory Can be used.
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 Further, the distribution of this program is performed, for example, by selling, transferring, renting, or the like a portable recording medium such as a DVD or a CD-ROM in which the program is recorded. Further, the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。 A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own recording medium and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be executed sequentially. In addition, the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. May be. The program in this embodiment includes information to be used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 Further, in this form, the hardware entity is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized in terms of hardware.
Claims (7)
前記光信号と前記露光タイミングの位相差がゼロである場合の受信信号の値を正規化用受信信号値とし、生成された複数の前記受信信号の値と前記正規化用受信信号値に基づいて前記変調信号の位相を推定し、位相の推定結果のうち前記訓練系列に対応する部分に基づいて、送受信間の位相のずれを表す情報である参照位相情報を推定する復調部を含む
受信装置。 A training sequence having a predetermined value and a digital transmission signal are phase-shift-modulated and connected to receive an optical signal based on a modulated signal, and the optical signal is subjected to 2 of the optical signal at different exposure timings. A light receiving unit that generates a plurality of received signals corresponding to each of the light receiving elements based on the charge accumulated in the sampler of the plurality of light receiving elements exposed over a fractional cycle.
The value of the received signal when the phase difference between the optical signal and the exposure timing is zero is used as the normalized received signal value, and is based on the generated plurality of received signal values and the normalized received signal value. A receiving device including a demodulation unit that estimates the phase of the modulated signal and estimates reference phase information that is information representing a phase shift between transmission and reception based on the portion of the phase estimation result corresponding to the training sequence.
前記光信号と前記露光タイミングの位相差がゼロである場合の受信信号の値を正規化用受信信号値とし、生成された複数の前記受信信号の値と前記正規化用受信信号値に基づいて前記変調信号の位相を推定し、複数の前記受信信号のうち前記訓練系列に対応する部分に基づいて、シンボルが切り替わる露光タイミングにおけるフレームの情報であるエラーフレームのインデックスを推定する復調部を含む
受信装置。 A training series in which two predetermined values are alternately arranged and an optical signal based on a modulation signal formed by phase-shift-modulating and connecting a digital transmission signal are received, and the optical signals are exposed to different exposure timings. A light receiving unit that generates a plurality of received signals corresponding to each of the light receiving elements based on the charges accumulated in the samplers of the plurality of light receiving elements exposed over a half cycle of the optical signal.
The value of the received signal when the phase difference between the optical signal and the exposure timing is zero is used as the normalized received signal value, and is based on the generated plurality of received signal values and the normalized received signal value. A reception including a demodulator that estimates the phase of the modulated signal and estimates the index of the error frame, which is the information of the frame at the exposure timing at which the symbol is switched, based on the portion of the plurality of received signals corresponding to the training sequence. Device.
前記送信装置は、
予め定められた値をもつ訓練系列とディジタル伝送信号を位相偏移変調して連結してなる変調信号を生成する変調部と、
前記変調信号に基づく光信号を出力する発光部を含み、
前記受信装置は、
前記光信号に、各々異なる露光タイミングで前記光信号の2分の1周期に渡り露光する複数の受光素子の標本化器に貯まる電荷に基づいて、前記受光素子のそれぞれに対応する複数の受信信号を生成する受光部と、
前記光信号と前記露光タイミングの位相差がゼロである場合の受信信号の値を正規化用受信信号値とし、生成された複数の前記受信信号の値と前記正規化用受信信号値に基づいて前記変調信号の位相を推定し、位相の推定結果のうち前記訓練系列に対応する部分に基づいて、送受信間の位相のずれを表す情報である参照位相情報を推定する復調部を含む
可視光通信システム。 A visible light communication system that includes a transmitter and a receiver.
The transmitter is
A modulation unit that generates a modulation signal formed by phase-shifting and connecting a training sequence having a predetermined value and a digital transmission signal, and a modulation unit.
A light emitting unit that outputs an optical signal based on the modulated signal is included.
The receiving device is
A plurality of received signals corresponding to each of the light receiving elements are based on the charges accumulated in the samplers of the plurality of light receiving elements that expose the optical signals to the optical signals at different exposure timings over a half cycle of the light signals. And the light receiving part that generates
The value of the received signal when the phase difference between the optical signal and the exposure timing is zero is used as the normalized received signal value, and is based on the generated plurality of received signal values and the normalized received signal value. Visible light communication including a demodulator that estimates the phase of the modulated signal and estimates reference phase information that is information representing the phase shift between transmission and reception based on the portion of the phase estimation result corresponding to the training sequence. system.
前記送信装置は、
予め定められた2つの異なる値を交互に配列した訓練系列とディジタル伝送信号を位相偏移変調して連結してなる変調信号を生成する変調部と、
前記変調信号に基づく光信号を出力する発光部を含み、
前記受信装置は、
前記光信号に、各々異なる露光タイミングで前記光信号の2分の1周期に渡り露光する複数の受光素子の標本化器に貯まる電荷に基づいて、前記受光素子のそれぞれに対応する複数の受信信号を生成する受光部と、
前記光信号と前記露光タイミングの位相差がゼロである場合の受信信号の値を正規化用受信信号値とし、生成された複数の前記受信信号の値と前記正規化用受信信号値に基づいて前記変調信号の位相を推定し、複数の前記受信信号のうち前記訓練系列に対応する部分に基づいて、シンボルが切り替わる露光タイミングにおけるフレームの情報であるエラーフレームのインデックスを推定する復調部を含む
可視光通信システム。 A visible light communication system that includes a transmitter and a receiver.
The transmitter is
A modulation unit that generates a modulation signal formed by phase-shifting and connecting a training series in which two predetermined values are alternately arranged and a digital transmission signal, and a modulation unit.
A light emitting unit that outputs an optical signal based on the modulated signal is included.
The receiving device is
A plurality of received signals corresponding to each of the light receiving elements are based on the charges accumulated in the samplers of the plurality of light receiving elements that expose the optical signals to the optical signals at different exposure timings over a half cycle of the light signals. And the light receiving part that generates
The value of the received signal when the phase difference between the optical signal and the exposure timing is zero is used as the normalized received signal value, and is based on the generated plurality of received signal values and the normalized received signal value. Visible including a demodulator that estimates the phase of the modulated signal and estimates the index of the error frame, which is the information of the frame at the exposure timing at which the symbol is switched, based on the portion of the plurality of received signals corresponding to the training sequence. Optical communication system.
予め定められた値をもつ訓練系列とディジタル伝送信号を位相偏移変調して連結してなる変調信号に基づく光信号を受信して、前記光信号に、各々異なる露光タイミングで前記光信号の2分の1周期に渡り露光する複数の受光素子の標本化器に貯まる電荷に基づいて、前記受光素子のそれぞれに対応する複数の受信信号を生成するステップと、
前記光信号と前記露光タイミングの位相差がゼロである場合の受信信号の値を正規化用受信信号値とし、生成された複数の前記受信信号の値と前記正規化用受信信号値に基づいて前記変調信号の位相を推定し、位相の推定結果のうち前記訓練系列に対応する部分に基づいて、送受信間の位相のずれを表す情報である参照位相情報を推定するステップを含む
受信方法。 It is a receiving method executed by the receiving device.
A training sequence having a predetermined value and a digital transmission signal are phase-shift-modulated and connected to receive an optical signal based on a modulated signal, and the optical signal is subjected to 2 of the optical signal at different exposure timings. A step of generating a plurality of received signals corresponding to each of the light receiving elements based on the charge accumulated in the sampler of the plurality of light receiving elements exposed over a fractional cycle, and a step of generating a plurality of received signals corresponding to each of the light receiving elements.
The value of the received signal when the phase difference between the optical signal and the exposure timing is zero is used as the normalized received signal value, and is based on the generated plurality of received signal values and the normalized received signal value. A receiving method including a step of estimating the phase of the modulated signal and estimating reference phase information which is information representing a phase shift between transmission and reception based on the portion of the phase estimation result corresponding to the training sequence.
予め定められた2つの異なる値を交互に配列した訓練系列とディジタル伝送信号を位相偏移変調して連結してなる変調信号に基づく光信号を受信して、前記光信号に、各々異なる露光タイミングで前記光信号の2分の1周期に渡り露光する複数の受光素子の標本化器に貯まる電荷に基づいて、前記受光素子のそれぞれに対応する複数の受信信号を生成するステップと、
前記光信号と前記露光タイミングの位相差がゼロである場合の受信信号の値を正規化用受信信号値とし、生成された複数の前記受信信号の値と前記正規化用受信信号値に基づいて前記変調信号の位相を推定し、複数の前記受信信号のうち前記訓練系列に対応する部分に基づいて、シンボルが切り替わる露光タイミングにおけるフレームの情報であるエラーフレームのインデックスを推定するステップを含む
受信方法。 It is a receiving method executed by the receiving device.
A training series in which two predetermined values are alternately arranged and an optical signal based on a modulation signal formed by phase-shift-modulating and connecting a digital transmission signal are received, and different exposure timings are applied to the optical signal. A step of generating a plurality of received signals corresponding to each of the light receiving elements based on the charges accumulated in the samplers of the plurality of light receiving elements exposed over a half cycle of the optical signal.
The value of the received signal when the phase difference between the optical signal and the exposure timing is zero is used as the normalized received signal value, and is based on the generated plurality of received signal values and the normalized received signal value. A reception method including a step of estimating the phase of the modulated signal and estimating the index of the error frame, which is the information of the frame at the exposure timing at which the symbol is switched, based on the portion of the plurality of received signals corresponding to the training sequence. ..
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018046780A JP6922796B2 (en) | 2018-03-14 | 2018-03-14 | Receiver, visible light communication system, receiving method, program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018046780A JP6922796B2 (en) | 2018-03-14 | 2018-03-14 | Receiver, visible light communication system, receiving method, program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019161485A JP2019161485A (en) | 2019-09-19 |
| JP6922796B2 true JP6922796B2 (en) | 2021-08-18 |
Family
ID=67997163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018046780A Active JP6922796B2 (en) | 2018-03-14 | 2018-03-14 | Receiver, visible light communication system, receiving method, program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6922796B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102723528B1 (en) * | 2023-03-02 | 2024-10-29 | 국방과학연구소 | Free-space optical communication device and method |
-
2018
- 2018-03-14 JP JP2018046780A patent/JP6922796B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019161485A (en) | 2019-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11067675B2 (en) | Time of flight imaging apparatuses and a method for adjusting a reference frequency | |
| US10291329B2 (en) | Exchanging information between time-of-flight ranging devices | |
| Kuo et al. | Luxapose: Indoor positioning with mobile phones and visible light | |
| Mir et al. | PassiveLiFi: Rethinking LiFi for low-power and long range RF backscatter | |
| US20190154834A1 (en) | Doppler time-of-flight imaging | |
| CN101159821B (en) | Device for realizing acceptanceand output of optical communication signal by light receiver area array sensor | |
| CN106605262A (en) | Coded light symbol encoding | |
| CN105068047A (en) | Indoor visible light positioning and information push method based on frequency-shift keying | |
| US20230392986A1 (en) | Nonlinearity correction and range fitting for stereoscopy through illumination and approaches to using the same for noncontact color determination | |
| CN102589419A (en) | Measurement method and measurement device based on PSD (Phase Sensitive Demodulator) | |
| CN113030999B (en) | Time-of-flight sensing system and image sensor for use therein | |
| JP6922796B2 (en) | Receiver, visible light communication system, receiving method, program | |
| CN104820203A (en) | Indoor three-dimensional positioning system and method based on rotatable LED emitting end | |
| WO2015070820A1 (en) | Spread spectrum signal generating method, generating apparatus, receiving method and receiving apparatus | |
| JP6922795B2 (en) | Receiver, receiving method, program | |
| Liu et al. | Undersampled differential phase shift on-off keying for optical camera communications | |
| JP7006539B2 (en) | Receiver, receiving method, and program | |
| Yang et al. | LIPO: Indoor position and orientation estimation via superposed reflected light | |
| JP5925146B2 (en) | Receiving device, receiving method, program | |
| EP3552044A1 (en) | Apparatus and method | |
| JP6126026B2 (en) | Receiving device, receiving method, program | |
| US20200186245A1 (en) | Detecting coded light | |
| TWI338292B (en) | Wobble demodulation for high density optical recording media | |
| CN107421439A (en) | It is a kind of to be detected and coordinate tracking system and method without imageable target conspicuousness | |
| JP5840066B2 (en) | Visible light communication transmitting apparatus, visible light communication receiving apparatus, visible light communication transmitting method, visible light communication receiving method and program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180315 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200603 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20200603 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210712 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6922796 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |