JP6849773B2 - Programs, control methods and controls - Google Patents
Programs, control methods and controls Download PDFInfo
- Publication number
- JP6849773B2 JP6849773B2 JP2019202658A JP2019202658A JP6849773B2 JP 6849773 B2 JP6849773 B2 JP 6849773B2 JP 2019202658 A JP2019202658 A JP 2019202658A JP 2019202658 A JP2019202658 A JP 2019202658A JP 6849773 B2 JP6849773 B2 JP 6849773B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- shows
- signal
- light emitting
- diagram showing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 880
- 238000004891 communication Methods 0.000 claims description 939
- 230000006854 communication Effects 0.000 claims description 939
- 230000005540 biological transmission Effects 0.000 claims description 570
- 230000008569 process Effects 0.000 claims description 385
- 230000003247 decreasing effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 732
- 230000008859 change Effects 0.000 description 453
- 238000003384 imaging method Methods 0.000 description 392
- 238000012545 processing Methods 0.000 description 299
- 238000003860 storage Methods 0.000 description 232
- 239000000047 product Substances 0.000 description 222
- 235000019557 luminance Nutrition 0.000 description 188
- 230000003287 optical effect Effects 0.000 description 129
- 230000004397 blinking Effects 0.000 description 116
- 230000006870 function Effects 0.000 description 93
- 238000001514 detection method Methods 0.000 description 85
- 238000007726 management method Methods 0.000 description 79
- 230000008054 signal transmission Effects 0.000 description 62
- 230000000694 effects Effects 0.000 description 59
- 230000033001 locomotion Effects 0.000 description 53
- 239000002131 composite material Substances 0.000 description 52
- 238000005286 illumination Methods 0.000 description 45
- 238000012986 modification Methods 0.000 description 35
- 230000004048 modification Effects 0.000 description 35
- 238000004364 calculation method Methods 0.000 description 29
- 238000006243 chemical reaction Methods 0.000 description 28
- 238000010411 cooking Methods 0.000 description 26
- 230000001133 acceleration Effects 0.000 description 24
- 238000004458 analytical method Methods 0.000 description 24
- 238000009826 distribution Methods 0.000 description 24
- 230000004044 response Effects 0.000 description 24
- 241000282412 Homo Species 0.000 description 22
- 238000012790 confirmation Methods 0.000 description 21
- 230000001976 improved effect Effects 0.000 description 21
- 230000002829 reductive effect Effects 0.000 description 21
- 230000002093 peripheral effect Effects 0.000 description 19
- 230000005856 abnormality Effects 0.000 description 15
- 230000035945 sensitivity Effects 0.000 description 15
- 238000012937 correction Methods 0.000 description 13
- 210000001508 eye Anatomy 0.000 description 13
- 108010076504 Protein Sorting Signals Proteins 0.000 description 12
- 230000004913 activation Effects 0.000 description 12
- 230000008901 benefit Effects 0.000 description 12
- 239000003086 colorant Substances 0.000 description 12
- 238000009434 installation Methods 0.000 description 12
- 239000004973 liquid crystal related substance Substances 0.000 description 12
- 238000012216 screening Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 11
- 238000004140 cleaning Methods 0.000 description 11
- 230000007613 environmental effect Effects 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 11
- 230000000717 retained effect Effects 0.000 description 11
- 230000001360 synchronised effect Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 8
- 230000007257 malfunction Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000007935 neutral effect Effects 0.000 description 7
- 230000033764 rhythmic process Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 235000013305 food Nutrition 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 6
- 238000005096 rolling process Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 230000006641 stabilisation Effects 0.000 description 6
- 238000011105 stabilization Methods 0.000 description 6
- 230000001771 impaired effect Effects 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 238000010079 rubber tapping Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 241000209094 Oryza Species 0.000 description 4
- 235000007164 Oryza sativa Nutrition 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 235000009566 rice Nutrition 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 230000007175 bidirectional communication Effects 0.000 description 3
- JCYWCSGERIELPG-UHFFFAOYSA-N imes Chemical compound CC1=CC(C)=CC(C)=C1N1C=CN(C=2C(=CC(C)=CC=2C)C)[C]1 JCYWCSGERIELPG-UHFFFAOYSA-N 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 101100202463 Schizophyllum commune SC14 gene Proteins 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000009835 boiling Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000003760 hair shine Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- QNRATNLHPGXHMA-XZHTYLCXSA-N (r)-(6-ethoxyquinolin-4-yl)-[(2s,4s,5r)-5-ethyl-1-azabicyclo[2.2.2]octan-2-yl]methanol;hydrochloride Chemical compound Cl.C([C@H]([C@H](C1)CC)C2)CN1[C@@H]2[C@H](O)C1=CC=NC2=CC=C(OCC)C=C21 QNRATNLHPGXHMA-XZHTYLCXSA-N 0.000 description 1
- 101100398412 Arabidopsis thaliana ASK1 gene Proteins 0.000 description 1
- 101100110018 Arabidopsis thaliana ASK3 gene Proteins 0.000 description 1
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 1
- 101100230207 Oryza sativa subsp. japonica GSK1 gene Proteins 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004315 low visual acuity Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Landscapes
- Optical Communication System (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、スマートフォン、タブレット、携帯電話等の携帯端末と、エアコン、照明機器、炊飯器などの家電機器との通信のためのプログラムなどに関する。 The present invention relates to a program for communicating between a mobile terminal such as a smartphone, a tablet or a mobile phone and a home electric appliance such as an air conditioner, a lighting device or a rice cooker.
近年のホームネットワークでは、Ｅｔｈｅｒｎｅｔ（登録商標）や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）でのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）接続によるＡＶ家電の連携に加え、環境問題に対応した電力使用量の管理や、宅外からの電源ＯＮ／ＯＦＦといった機能を持つホームエネルギーマネジメントシステム（ＨＥＭＳ）によって、多様な家電機器がネットワークに接続される家電連携機能の導入が進んでいる。しかしながら、通信機能を有するには、演算力が十分ではない家電や、コスト面で通信機能の搭載が難しい家電などもある。 In recent home networks, in addition to the cooperation of AV home appliances by IP (Internet Protocol) connection via Ethernet (registered trademark) and wireless LAN (Local Area Network), power consumption management in response to environmental problems and from outside the home With the home energy management system (HEMS), which has functions such as power ON / OFF, the introduction of a home appliance cooperation function that connects various home appliances to a network is progressing. However, there are home appliances whose computing power is not sufficient to have a communication function and home appliances whose communication function is difficult to be installed in terms of cost.
このような問題を解決するため、特許文献１では、光を用いて自由空間に情報を伝達する光空間伝送装置において、照明光の単色光源を複数用いた通信を行うことで、限られた送信装置のなかで、効率的に機器間の通信を実現する技術が記載されている。
In order to solve such a problem, in
しかしながら、前記従来の方式では、適用される機器が照明のような３色光源を持つ場合に限定される。本発明は、このような課題を解決し、演算力が少ないような機器を含む多様な機器間の通信を可能とするプログラムなどを提供する。 However, the conventional method is limited to the case where the applied device has a three-color light source such as lighting. The present invention provides a program or the like that solves such a problem and enables communication between various devices including devices having low computing power.
本発明の一形態に係るプログラムは、イメージセンサを用いて送信装置から情報を取得する情報通信装置を制御するプログラムであって、前記情報通信装置のコンピュータに対して、前記情報通信装置の表示面が地面に対し垂直である場合を基準として、前記基準に対する前記情報通信装置の表示面の傾きが所定の角度よりも大きい場合には、前記情報通信装置の表示面側に位置する第１のイメージセンサを用いて、ユーザの上方に設置されている第１の送信装置から第１の情報を取得させる第１の処理と、前記基準に対する前記情報通信装置の表示面の傾きが所定の角度以下である場合には、前記情報通信装置の背面側に位置する第２のイメージセンサを用いて、ユーザの前方に設置されている第２の送信装置から第２の情報を取得させる第２の処理と、を実行させる。
。
The program according to one embodiment of the present invention is a program for controlling an information communication device that acquires information from a transmission device using an image sensor, and is a display surface of the information communication device with respect to the computer of the information communication device. Is perpendicular to the ground, and when the inclination of the display surface of the information communication device with respect to the reference is larger than a predetermined angle, the first image located on the display surface side of the information communication device. The first process of acquiring the first information from the first transmitting device installed above the user by using the sensor, and the inclination of the display surface of the information communication device with respect to the reference are not more than a predetermined angle. In some cases, the second process of acquiring the second information from the second transmitting device installed in front of the user by using the second image sensor located on the back side of the information communication device. , To be executed.
..
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these comprehensive or specific embodiments may be realized in a recording medium such as a system, method, integrated circuit, computer program or computer readable CD-ROM, system, method, integrated circuit, computer program. And any combination of recording media may be realized.
本発明によれば、演算力が少ないような機器を含む多様な機器間の通信を可能とするプログラムを実現できる。 According to the present invention, it is possible to realize a program that enables communication between various devices including a device having a small computing power.
本発明の一態様に係るプログラムは、複数の露光ラインを有するイメージセンサを用いて送信装置から情報を取得する情報通信装置を制御するプログラムであって、前記プログラムは、前記情報通信装置のコンピュータに対し、可視光通信モードが選択された場合、前記各露光ラインの露光を順次異なる時刻で開始させるとともに、一つの露光ラインの露光が完了する前に、次の露光ラインの露光を開始させ、所定の露光時間で撮影させることにより画像データを取得させ、前記画像データに現れる、前記各露光ラインに対応する輝線のパターンによって特定されるデータを復調させることにより前記情報を取得させ、前記所定の露光時間をｔＥマイクロ秒、前記送信装置の光源の高周波ノイズの周期をｔＨＴマイクロ秒とした場合、前記ｔＨＴが２０マイクロ秒以下である場合に、前記ｔＥを２０マイクロ秒以上に設定させる。 The program according to one aspect of the present invention is a program for controlling an information communication device that acquires information from a transmission device using an image sensor having a plurality of exposure lines, and the program is applied to a computer of the information communication device. On the other hand, when the visible light communication mode is selected, the exposure of each exposure line is sequentially started at different times, and the exposure of the next exposure line is started before the exposure of one exposure line is completed. The image data is acquired by taking a picture with the exposure time of, and the information is acquired by demodulating the data specified by the bright line pattern corresponding to each exposure line appearing in the image data, and the predetermined exposure. When the time is t E microseconds and the period of high-frequency noise of the light source of the transmitter is t HT microseconds, the t E is set to 20 microseconds or more when the t HT is 20 microseconds or less. ..
また、本発明の一態様に係るプログラムは、複数の露光ラインを有するイメージセンサを用いて送信装置から情報を取得する情報通信装置を制御するプログラムであって、前記プログラムは、前記情報通信装置のコンピュータに対し、可視光通信モードが選択された場合、前記各露光ラインの露光を順次異なる時刻で開始させるとともに、一つの露光ラインの露光が完了する前に、次の露光ラインの露光を開始させ、所定の露光時間で撮影させることにより画像データを取得させ、前記画像データに現れる、前記各露光ラインに対応する輝線のパターンによって特定されるデータを復調させることにより前記情報を取得させ、前記所定の露光時間をｔＥマイクロ秒、前記送信装置の光源の輝度変化の周期をｔＳマイクロ秒とした場合に、ｔＳ／ｔＥ≦１．５の関係を満たすように、前記所定の露光時間を設定させる。 Further, the program according to one aspect of the present invention is a program for controlling an information communication device that acquires information from a transmission device using an image sensor having a plurality of exposure lines, and the program is a program of the information communication device. When the visible light communication mode is selected for the computer, the exposure of each exposure line is sequentially started at different times, and the exposure of the next exposure line is started before the exposure of one exposure line is completed. The image data is acquired by taking a picture at a predetermined exposure time, and the information is acquired by demodulating the data specified by the bright line pattern corresponding to each exposure line appearing in the image data. When the exposure time of the above is t E microseconds and the cycle of the brightness change of the light source of the transmitter is t S microseconds, the predetermined exposure time so as to satisfy the relationship of t S / t E ≤ 1.5. To be set.
また、本発明の一態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信ステップとを含み、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている。 Further, the information communication method according to one aspect of the present invention is an information communication method in which a signal is transmitted by a change in luminance, and is a determination step of determining a pattern of change in luminance by modulating a signal to be transmitted. Including a transmission step of transmitting a signal to be transmitted by changing the brightness of the plurality of light emitters according to the pattern of the brightness change, the plurality of light emitters are arranged on the surface on which the plurality of light emitters are arranged. A non-luminance change region that is outside the surface and does not change brightness so as not to cross the surface through between the plurality of illuminants along at least one of the vertical direction and the horizontal direction of the surface. , The plurality of light emitters are arranged on the surface.
これにより、例えば図５４８に示すように、受信機に備えられたイメージセンサによる上述の面（ディスプレイ）の撮影によって取得される撮影画像において、輝線領域を連続させることができる。その結果、送信対象の信号を受信し易くすることができ、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。また、この情報通信方法は、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体を前記面上に配置するステップを含んでいてもよい。 Thereby, for example, as shown in FIG. 548, the emission line region can be made continuous in the captured image acquired by photographing the above-mentioned surface (display) by the image sensor provided in the receiver. As a result, it is possible to easily receive the signal to be transmitted, and it is possible to perform communication between various devices including devices having low computing power. Further, in this information communication method, on the surface on which the plurality of light emitters are arranged, a non-luminance change region outside the plurality of light emitters and in which the brightness does not change is included in the vertical direction and the horizontal direction of the surface. A step of arranging the plurality of illuminants on the surface may be included so as not to cross the surface through between the plurality of illuminants along at least one of them.
また、前記送信ステップでは、前記複数の発光体のうちの少なくとも１つの発光体の明るさのレベルが、予め定められた明るさである基準レベルよりも小さいか、または前記基準レベル以下であるかを判定する明るさ判定ステップを含み、前記送信ステップでは、前記発光体の明るさのレベルが前記基準レベルよりも小さい、または前記基準レベル以下であると判定されたときには、前記発光体からの前記送信対象の信号の送信を停止するしてもよい。 Further, in the transmission step, whether the brightness level of at least one of the plurality of illuminants is smaller than the reference level, which is a predetermined brightness, or is equal to or less than the reference level. In the transmission step, when it is determined that the brightness level of the illuminant is lower than the reference level or equal to or less than the reference level, the illuminant from the illuminant The transmission of the signal to be transmitted may be stopped.
これにより、例えば図５５６Ａに示すように、発光体が暗ければ信号の送信が行われないため、輝度変化のために発光体が不自然に発光することを抑えることができるとともに、暗い状態で輝度変化することによって生じる受信の失敗を抑えることができる。 As a result, as shown in FIG. 556A, for example, if the illuminant is dark, the signal is not transmitted. Therefore, it is possible to suppress the illuminant from emitting light unnaturally due to the change in brightness, and in a dark state. It is possible to suppress reception failure caused by a change in brightness.
また、前記送信ステップでは、前記複数の発光体のうちの少なくとも１つの発光体の明るさのレベルが、予め定められた明るさである基準レベルよりも大きいか、または前記基準レベル以上であるかを判定する明るさ判定ステップを含み、前記送信ステップでは、前記発光体の明るさのレベルが前記基準レベルよりも大きい、または前記基準レベル以上であると判定されたときには、前記発光体からの前記送信対象の信号の送信を開始してもよい。 Further, in the transmission step, whether the brightness level of at least one of the plurality of illuminants is higher than or higher than the reference level, which is a predetermined brightness, or is equal to or higher than the reference level. In the transmission step, when it is determined that the brightness level of the illuminant is higher than the reference level or equal to or higher than the reference level, the illuminant from the illuminant Transmission of the signal to be transmitted may be started.
これにより、例えば図５５６Ｂに示すように、発光体が明るければ信号の送信が行われるため、輝度変化による信号の送信を人に気づかれ難くすることができ、明るい状態で輝度変化することによって、受信の失敗を抑えることができる。 As a result, as shown in FIG. 556B, for example, if the light emitter is bright, the signal is transmitted, so that the transmission of the signal due to the change in brightness can be made difficult for people to notice. It is possible to suppress reception failure.
また、前記決定ステップでは、前記送信対象の信号のうちの一部であるボディに対応する第１の輝度変化のパターンと、前記ボディを特定するためのヘッダを示す第２の輝度変化のパターンとを決定し、前記送信ステップでは、前記第１の輝度変化のパターン、前記第２の輝度変化のパターン、前記第１の輝度変化のパターンの順に、それぞれの前記パターンにしたがって輝度変化することによって、前記ヘッダおよび前記ボディを送信してもよい。 Further, in the determination step, a first luminance change pattern corresponding to a body that is a part of the transmission target signal and a second luminance change pattern indicating a header for identifying the body are used. In the transmission step, the brightness changes according to the respective patterns in the order of the first brightness change pattern, the second brightness change pattern, and the first brightness change pattern. The header and the body may be transmitted.
これにより、例えば図５１２Ａに示すように、ヘッダの後のボディの全てを受信することができなかった場合でも、そのヘッダの前に受信されたボディの一部と、ヘッダの後で受信されたボディの一部とを結合すれば、そのボディの全てを受信することができる。その結果、送信対象の信号を適切に受信することができるタイミングの幅を広げることができる。 This allows part of the body received before the header and received after the header, even if not all of the bodies after the header could be received, for example as shown in FIG. 512A. If you combine it with a part of the body, you can receive all of that body. As a result, it is possible to widen the range of timing at which the signal to be transmitted can be appropriately received.
また、前記決定ステップでは、さらに、前記ヘッダと異なる他のヘッダを示す第３の輝度変化のパターンを決定し、前記送信ステップでは、前記第１の輝度変化のパターン、前記第２の輝度変化のパターン、前記第１の輝度変化のパターン、前記第３の輝度変化のパターンの順に、それぞれの前記パターンにしたがって輝度変化することによって、前記ヘッダ、前記ボディおよび前記他のヘッダを送信してもよい。 Further, in the determination step, a third luminance change pattern indicating another header different from the header is determined, and in the transmission step, the first luminance change pattern and the second luminance change pattern are determined. The header, the body, and the other header may be transmitted by changing the brightness according to the respective patterns in the order of the pattern, the first brightness change pattern, and the third brightness change pattern. ..
これにより、例えば図５１３に示すように、ボディが可変長であっても、ヘッダとボディと他のヘッダとを連続して一度に受信すれば、そのボディの信号長を特定することができ、その信号長を用いて、ヘッダの前後にあるボディの各部分を適切に結合することができる。また、他のヘッダがなければ、ヘッダと、２つのボディと、ヘッダとを連続して一度に受信しなければ、そのボディの信号長を特定することができないが、上述のように、他のヘッダが送信されることによって、ボディの信号長を特定するために、連続して一度に受信される必要がある信号を短くすることができる。 Thereby, for example, as shown in FIG. 513, even if the body has a variable length, if the header, the body, and other headers are continuously received at one time, the signal length of the body can be specified. The signal length can be used to properly combine the parts of the body before and after the header. Further, if there is no other header, the signal length of the header, the two bodies, and the header cannot be specified unless the header, the two bodies, and the header are continuously received at one time. By transmitting the header, it is possible to shorten the signals that need to be continuously received at one time in order to specify the signal length of the body.
また、前記決定ステップでは、所定の輝度値が現れるタイミングが互いに隣接する２つの輝度変化のパターンが、同一のパリティの信号単位に割り当てられていないように、前記タイミングが互いに異なる輝度変化のパターンが、互いに異なる信号単位のそれぞれに対して予め割り当てられてあり、前記送信対象の信号に含まれる信号単位のそれぞれに対して、当該信号単位に割り当てられた輝度変化のパターンを決定してもよい。 Further, in the determination step, the luminance change patterns having different timings are provided so that the two luminance change patterns whose timings at which the predetermined luminance values appear are adjacent to each other are not assigned to the signal units of the same parity. , Each of the signal units different from each other is pre-assigned, and the pattern of the luminance change assigned to each of the signal units included in the signal to be transmitted may be determined.
これにより、例えば図５２０に示すように、例えば輝度変化のパターンである「Ｈ（高い輝度値）、Ｌ（低い輝度値）、Ｈ、Ｈ」と、「Ｈ、Ｈ、Ｌ、Ｈ」とでは、Ｌが現れるタイミングが互いに隣接するが、これらのパターンが互いに異なるパリティの信号単位に割り当てられる。したがって、受信された信号に対して、パリティに基づくチェックをより確実に行うことができる。 As a result, for example, as shown in FIG. 520, for example, "H (high luminance value), L (low luminance value), H, H" and "H, H, L, H", which are patterns of luminance change, , L appear adjacent to each other, but these patterns are assigned to signal units having different paritys. Therefore, it is possible to more reliably perform a parity-based check on the received signal.
また、前記情報通信方法は、さらに、前記複数の発光体のうちの少なくとも１つの発光体をイメージセンサによって撮影することによって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記発光体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記発光体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記情報取得ステップは、前記輝線のパターンのうち、前記第２の輝度変化のパターンに対応する第１の部分を、前記輝線に垂直な方向に挟む第２の部分と第３の部分とを特定する部分特定ステップと、前記第２および第３の部分によって特定されるデータを復調することにより前記ボディを取得するボディ取得ステップとを含み、前記部分特定ステップでは、前記輝線に垂直な方向の、前記第２の部分の長さと前記第３の部分の長さとの和が、前記ボディに対応付けられた長さとなるように、前記第２の部分と前記第３の部分とを特定してもよい。 Further, in the information communication method, the image obtained by photographing at least one of the plurality of light emitters with an image sensor has a luminance line corresponding to an exposure line included in the image sensor. An exposure time setting step of setting the exposure time of the image sensor so as to occur in response to a change in the brightness of the light emitter, and the image sensor photographing the light emitter whose brightness changes at the set exposure time. A bright line image acquisition step of acquiring a bright line image which is an image including the bright line, and an information acquisition step of acquiring information by demolishing data specified by the bright line pattern included in the acquired bright line image. In the information acquisition step, the first portion corresponding to the second luminance change pattern of the emission line pattern is sandwiched between the second portion and the third portion in the direction perpendicular to the emission line. A partial identification step for specifying a portion and a body acquisition step for acquiring the body by demodulating the data specified by the second and third portions are included, and the partial identification step is perpendicular to the luminance line. The second portion and the third portion are formed so that the sum of the length of the second portion and the length of the third portion in the above direction is the length associated with the body. It may be specified.
これにより、例えば図５１２Ａおよび図５１２Ｂに示すように、適切にボディを取得することができる。 This allows the body to be properly acquired, for example, as shown in FIGS. 512A and 512B.
また、前記情報通信方法は、さらに、予め定められたリズムで光るフラッシュを受けたか否かを判定するフラッシュ判定ステップを含み、前記送信ステップでは、前記フラッシュを受けたと判定された場合には、前記複数の発光体は輝度を上げて輝度変化してもよい。 Further, the information communication method further includes a flash determination step of determining whether or not a flash that shines with a predetermined rhythm has been received, and in the transmission step, if it is determined that the flash has been received, the flash determination step is performed. The plurality of light emitters may increase the brightness to change the brightness.
これにより、例えば図５４９に示すように、その複数の発光体を撮影することによって、その複数の発光体からの信号を受信する受信機は、その信号を受信することができない場合には、上述のフラッシュを放つことによって、複数の発光体の輝度を上げさせて、その信号を適切に受信することができる。 As a result, for example, as shown in FIG. 549, when the receiver that receives the signals from the plurality of light emitters by photographing the plurality of light emitters cannot receive the signals, the above is described. By firing the flash of, the brightness of a plurality of light emitters can be increased and the signal can be appropriately received.
また、前記情報通信方法は、さらに、前記複数の発光体のうちの少なくとも１つの発光体が、人の目で視認されるように点滅する点滅ステップを含み、前記発光体では、前記送信ステップと前記点滅ステップとが交互に繰り返し行なわれてもよい。 Further, the information communication method further includes a blinking step in which at least one of the plurality of illuminants blinks so as to be visually recognized by the human eye. The blinking step may be repeated alternately.
これにより、例えば図５２２に示すように、人の目で視認される点滅と、信号の送信とが交互に繰り返し行われるため、その点滅を人が見れば、信号の送信が断続的に行われていることを容易に把握することができる。その結果、その点滅を見た人は、受信機のイメージセンサを複数の発光体に向けて撮影を行うことによって、信号を受信することができる。 As a result, as shown in FIG. 522, for example, blinking visually visible to the human eye and transmission of a signal are alternately and repeatedly performed. Therefore, when a person sees the blinking, the signal is transmitted intermittently. You can easily grasp what you are doing. As a result, the person who sees the blinking can receive the signal by pointing the image sensor of the receiver at the plurality of light emitters and taking a picture.
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these comprehensive or specific embodiments may be realized in a recording medium such as a system, method, integrated circuit, computer program or computer readable CD-ROM, system, method, integrated circuit, computer program. Alternatively, it may be realized by any combination of recording media.
以下、実施の形態について、図面を参照しながら具体的に説明する。 Hereinafter, embodiments will be specifically described with reference to the drawings.
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 It should be noted that all of the embodiments described below show comprehensive or specific examples. Numerical values, shapes, materials, components, arrangement positions and connection forms of components, steps, order of steps, etc. shown in the following embodiments are examples, and are not intended to limit the present invention. Further, among the components in the following embodiments, the components not described in the independent claims indicating the highest level concept are described as arbitrary components.
（実施の形態１）
（位相変調による信号伝送）
図１は、実施の形態１の情報通信装置における送信信号のタイミング図である。
(Embodiment 1)
(Signal transmission by phase modulation)
FIG. 1 is a timing diagram of a transmission signal in the information communication device of the first embodiment.
図１において、基準波形（ａ）は周期Ｔのクロック信号であり、送信信号のタイミングの基準となる。送信シンボル（ｂ）は、送信するデータ列に基づいて作成されるシンボル列を示している。ここでは、一例として１シンボル当たり１ビットの場合を示しているため、送信データのバイナリと同一となっている。送信波形（ｃ）は、基準波形に対して送信シンボルに従って位相変調した送信波形であり、この波形に従って送信光源が駆動される。位相変調は、基準波形についてシンボルに対応して位相をずらすことで実施されており、この例においては、シンボル０は位相０°、シンボル１は位相１８０°の割り当てとなっている。
In FIG. 1, the reference waveform (a) is a clock signal having a period T, and serves as a reference for the timing of the transmission signal. The transmission symbol (b) indicates a symbol string created based on the data string to be transmitted. Here, since the case of 1 bit per symbol is shown as an example, it is the same as the binary of the transmission data. The transmission waveform (c) is a transmission waveform that is phase-modulated with respect to the reference waveform according to the transmission symbol, and the transmission light source is driven according to this waveform. The phase modulation is performed by shifting the phase of the reference waveform corresponding to the symbol. In this example, the
図２は、実施の形態１における送信信号と受信信号の関係を示す図である。 FIG. 2 is a diagram showing the relationship between the transmission signal and the reception signal in the first embodiment.
送信信号は図１と同様であり、送信信号が１の期間だけ光源が発光しており、この発光期間が右下がり斜線の領域で示されている。右上がり斜線で塗られた帯は、イメージセンサの画素が露光される期間（露光時間ｔＥ）を表しており、発光期間を示す右下がり斜線と重なる領域でイメージセンサの画素の信号電荷が生成される。画素値ｐは、この重複領域の面積に比例している。ここで、露光時間ｔＥと周期Ｔとの間には、式１の関係が成り立つ。
The transmission signal is the same as that in FIG. 1, and the light source emits light only during the period when the transmission signal is 1, and this light emission period is indicated by a downward-sloping shaded area. The band painted with the upward-sloping diagonal line represents the period during which the pixel of the image sensor is exposed (exposure time tE), and the signal charge of the pixel of the image sensor is generated in the region overlapping the downward-sloping diagonal line indicating the light emission period. To. The pixel value p is proportional to the area of this overlapping region. Here, the relationship of
ｔＥ＝Ｔ／２×（２ｎ＋１） ｎ：自然数 （式１） tE = T / 2 × (2n + 1) n: Natural number (Equation 1)
なお、図２〜図６は、ｎ＝２の場合を示す。即ちｔＥ＝２．５Ｔ。 2 to 6 show a case where n = 2. That is, tE = 2.5T.
受信波形は、各ラインの画素値ｐを示している。ここで画素値軸の値は、１周期分の受光量を１として正規化されている。上述の通り露光時間ｔＥは、Ｔ（ｎ＋１／２）の区間を持つため、画素値ｐは、常にｎ≦ｐ≦ｎ＋１の範囲に存在し、図２の例については、２≦ｐ≦３となる。 The received waveform shows the pixel value p of each line. Here, the value of the pixel value axis is normalized with the amount of light received for one cycle as 1. As described above, since the exposure time tE has a section of T (n + 1/2), the pixel value p always exists in the range of n ≦ p ≦ n + 1, and in the example of FIG. 2, 2 ≦ p ≦ 3. Become.
図３〜図５は、図２とはそれぞれ異なるシンボル列について送信信号と受信信号の関係を示した図である。 3 to 5 are diagrams showing the relationship between the transmission signal and the reception signal for the symbol strings different from those in FIG. 2.
送信信号は、（図示されていない）連続する同一のシンボル列（例えば連続するシンボル０の列）を含むプリアンブルを持ち、受信側は、このプリアンブル中の連続するシンボル列により、受信のための基準信号を作成して、受信波形からシンボル列を読み出すタイミング信号としている。具体的には、連続するシンボル０について、図２で示している通り、受信波形は２→３→２を繰り返す一定の波形を返し、この画素値３が出力されるタイミングを基にクロック信号を基準信号として生成する。
The transmitted signal has a preamble containing the same sequence of consecutive symbols (for example, a sequence of consecutive symbol 0s) (not shown), and the receiving side uses the sequence of consecutive symbols in this preamble as a reference for reception. A signal is created and used as a timing signal for reading a symbol string from the received waveform. Specifically, for
次に、受信波形からのシンボルの読み出しは、上記基準信号の１区間における受信信号を読み出して、画素値３の場合はシンボル０、画素値２の場合はシンボル１として読み出すことができる。図３〜図５においては、第４周期に位置するシンボルが読み出される様子を示している。
Next, the symbol can be read from the received waveform by reading the received signal in one section of the reference signal, and reading it as
図６は、図２〜図５をまとめた図であり、ラインが密に並んだ状態であるため、ライン方向の画素の区切りは省略して連続化して作図されている。ここでは、第４周期から第８周期のシンボル値が読み出される様子を示している。 FIG. 6 is a diagram in which FIGS. 2 to 5 are put together, and since the lines are densely arranged, the pixel division in the line direction is omitted and the drawings are continuous. Here, the state in which the symbol values of the 4th to 8th cycles are read out is shown.
かかる構成により、本実施の形態においては、基準波の周期より十分長い時間について光信号の強度の平均を取った場合、常に一定となる。そして、基準波の周波数を適度に高く設定すれば、その時間を人が光量変化を知覚する時間より短く設定することができるため、人の目から送信発光源を観察した場合、光源は一定に光っているように知覚される。そのため、光源のちらつきとして知覚されることはなく、前実施の形態における人に煩わしさを感じさせることがなくなる利点を持つ。 With such a configuration, in the present embodiment, when the intensity of the optical signal is averaged for a time sufficiently longer than the period of the reference wave, it is always constant. Then, if the frequency of the reference wave is set appropriately high, the time can be set shorter than the time when the person perceives the change in the amount of light. Therefore, when the transmission light source is observed from the human eye, the light source is constant. It is perceived as shining. Therefore, it is not perceived as flickering of the light source, and has an advantage that the person in the previous embodiment does not feel annoyed.
また、各ラインの露光時間が長く、隣接ラインの露光期間と重複する時間が長くなる状況において、前述の実施の形態における振幅変調（オンオフ変調）では、信号の周波数（シンボルレート）を高めることができずに十分な信号伝送速度が得られない課題が生じるが、本実施の形態においては、このような状況においても信号の立ち上がり、立ち下りエッジを検出可能であるため、信号の周波数を高めることができ、高い信号伝送速度を実現することができる。 Further, in a situation where the exposure time of each line is long and the time overlapping with the exposure period of the adjacent line is long, the frequency (symbol rate) of the signal can be increased by the amplitude modulation (on-off modulation) in the above-described embodiment. There is a problem that a sufficient signal transmission speed cannot be obtained because it cannot be performed. However, in the present embodiment, since the rising and falling edges of the signal can be detected even in such a situation, the frequency of the signal is increased. It is possible to realize a high signal transmission speed.
なお、ここで記述している「位相変調」は、基準信号波形に対する位相変調を意味している。本来の意味では、搬送波は光であり、これを振幅変調（オンオフ変調）して伝送しているため、この信号伝送における変調方式は振幅変調の一種である。 The "phase modulation" described here means phase modulation with respect to the reference signal waveform. In the original sense, the carrier wave is light, which is amplitude-modulated (on-off-modulated) and transmitted. Therefore, the modulation method in this signal transmission is a kind of amplitude modulation.
また、上述の送信信号は一例であり、シンボル当りのビット数は２以上に設定することも可能であり、また、シンボルと位相シフトの対応も０°、１８０°に限るものではなく、オフセットを有してもよい。 Further, the above-mentioned transmission signal is an example, the number of bits per symbol can be set to 2 or more, and the correspondence between the symbol and the phase shift is not limited to 0 ° and 180 °, and the offset is set. You may have.
なお、上記では説明を省略したが、以下の図１２４〜図２００で説明する実施の形態６〜１１で説明する光信号発生手段と光信号受信手段の構成および動作、効果は、図２１以降の図面を用いて、実施の形態３以降で説明した、高速型の光発光手段と光信号受信手段と置き換えて構成し動作させても、同様の効果があることは言うまでもない。また、逆に実施の形態３以降の高速型の光発光手段や受信手段を低速型の光発光手段や受信手段に置き換えても同様である。 Although the description is omitted above, the configurations, operations, and effects of the optical signal generating means and the optical signal receiving means described in the sixth to eleventh embodiments described in FIGS. 124 to 200 below are shown in FIGS. 21 and 21 and later. Needless to say, the same effect can be obtained even if the high-speed light emitting means and the light signal receiving means described in the third and subsequent embodiments are replaced with each other and operated by using the drawings. On the contrary, the same applies even if the high-speed light emitting means and the receiving means of the third and subsequent embodiments are replaced with the low-speed light emitting means and the receiving means.
例えば、図１７、で、携帯電話の表示部側のカメラであるフェースカメラと、図１６では反対側にあるインカメラを使って照明機からの光信号からの位置情報等のデータを受信する例を示した。この場合、９軸センサを使うことにより、重力で上下方向を検出できる。 For example, in FIG. 17, an example in which data such as position information from an optical signal from an illuminator is received by using a face camera which is a camera on the display side of a mobile phone and an in-camera on the opposite side in FIG. showed that. In this case, by using the 9-axis sensor, the vertical direction can be detected by gravity.
図１９のように、レストランでテーブルの上にある携帯電話で光信号を受信する場合、９軸センサの信号に応じて携帯電話の表側が上を向いている場合は、フェースカメラを作動させ、下を向いている場合は、インカメラに切り替えて光信号を受信することにより、電力消費を削減したり、迅速に光信号を受信したりすることができ、無駄なカメラの動作を停止することができる。この場合、カメラの明るさから、テーブルの上にあるカメラの向きを検知し同様の動作をさせることもできる。また、カメラが撮影モードから光信号の受信モード時に切り替わるときにシャッタ速度を早くするコマンドを送るとともに、撮像素子の感度を高めるコマンドを撮像回路部に送ると感度があがり、画像が明るくなるという効果がある。感度を高めるとノイズが増えるがホワイトノイズである。一方、光信号は特定の周波数域にあるため、周波数フィルターで分離もしくは除去することにより、検出感度を高めることができる。このため、暗い照明機器からの光信号を検出することができる。 As shown in FIG. 19, when receiving an optical signal with a mobile phone on a table in a restaurant, if the front side of the mobile phone is facing upward in response to the signal of the 9-axis sensor, the face camera is activated. When facing down, by switching to the in-camera and receiving the optical signal, it is possible to reduce power consumption and receive the optical signal quickly, and stop unnecessary camera operation. Can be done. In this case, the direction of the camera on the table can be detected from the brightness of the camera and the same operation can be performed. In addition, when the camera switches from the shooting mode to the optical signal reception mode, a command to increase the shutter speed is sent, and a command to increase the sensitivity of the image sensor is sent to the image sensor to increase the sensitivity and brighten the image. There is. Increasing the sensitivity increases noise, but it is white noise. On the other hand, since the optical signal is in a specific frequency range, the detection sensitivity can be increased by separating or removing it with a frequency filter. Therefore, it is possible to detect an optical signal from a dark lighting device.
本発明は主に屋内にある空間の照明機器から光信号を発生させ、通信部と音声マイクと音声スピーカーと表示部とインカメラとフェースカメラのカメラ部を持つ携帯端末のカメラ部により光信号を受信し、位置情報等を得るが、屋内から屋外に出ると、衛星を利用したＧＰＳにより位置情報を検知できる。このため、光信号領域からの境界の位置情報を得て、ＧＰＳからの信号受信を起動し、この切り替えを自動的に行うことにより、シームレスに位置検知ができるという効果がある。 The present invention mainly generates an optical signal from a lighting device in an indoor space, and generates an optical signal by a camera unit of a mobile terminal having a communication unit, a voice microphone, a voice speaker, a display unit, an in-camera, and a face camera camera unit. It receives and obtains position information, etc., but when going from indoors to outdoors, the position information can be detected by GPS using a satellite. Therefore, there is an effect that the position can be detected seamlessly by obtaining the position information of the boundary from the optical signal area, activating the signal reception from the GPS, and automatically performing this switching.
屋外から屋内に移動する時は、ＧＰＳ等の位置情報により境界を検知して光信号の位置情報への自動切り替えを行う。また、携帯電話の表示部にバーコードを表示させ商店や、航空機の搭乗口のＰＯＳ端末で認証を行う場合、サーバを使うと応答時間がかかるため、現実的でないため片方向の認証しかできない。 When moving from outdoors to indoors, the boundary is detected by the position information such as GPS and the optical signal is automatically switched to the position information. In addition, when a barcode is displayed on the display of a mobile phone and authentication is performed at a store or a POS terminal at the boarding gate of an aircraft, it takes a long time to respond using a server, which is not realistic and only one-way authentication is possible.
しかし、本発明を用いてＰＯＳ等の端末の読み取り機の発光部から携帯電話のフェースカメラ部に光信号を送信することにより相互認証が行えるため、セキュリティが向上する。 However, according to the present invention, mutual authentication can be performed by transmitting an optical signal from a light emitting unit of a reader of a terminal such as a POS to a face camera unit of a mobile phone, so that security is improved.
（実施の形態２）
図７は、実施の形態２の原理を示す図である。図８〜図２０は、実施の形態２の動作の一例を示す図である。
(Embodiment 2)
FIG. 7 is a diagram showing the principle of the second embodiment. 8 to 20 are diagrams showing an example of the operation of the second embodiment.
図７の（ａ）に示すイメージセンサは、各ライン１の露光時間はライン毎に遅れを生じる。通常のシャッタ速度では時間的に各ラインは重なる部分を持つため、同一時間の光信号は各ラインに混合されるため判別できない。ここでシャッタの開時間を短くする場合、ある一定のシャッタ速度以下に露光時間が短くなると図７の（ａ）のように重ならなくなるため、ライン毎に光信号を時間的に分離して読むことができる。
In the image sensor shown in FIG. 7A, the exposure time of each
この状態で図７の（ａ）の上部のような「１０１１０１１」の光信号を与えると、最初の「１」の光信号はライン１のシャッタ開時間に入光するためライン１で光電変換され、図７の（ｂ）の電気信号２ａの「１」として出力される。同様にして次の光信号「０」は（ｂ）の電気信号「０」となり、７ｂｉｔの「１０１１０１１」の光信号は正確に電気信号に変換される。
In this state, when the optical signal of "1010101" as shown in the upper part of FIG. 7A is given, the first optical signal of "1" is photoelectrically converted on the
実際には、図７の（ｂ）のように垂直ブランキング時間により不感時間があるため、一部の時間帯の光信号は取り出せない。これを解決するため、本実施の形態では「通常の撮影モード」から「光信号の読み出しモード」に切り換わった時にＣＭＯＳ等の撮像デバイスのアクセスアドレスを変更して一番下にある最後の読み出しライン１ｈの次に、最初の読み出しライン１ａを読み出すことによりブランク期間の問題を解決している。画質に若干悪い影響を与えるが、連続的に（シームレスに）読み出せるという効果が得られ伝送効効率が大幅に向上する。 Actually, as shown in FIG. 7B, there is a dead time due to the vertical blanking time, so that the optical signal in a part of the time zone cannot be taken out. In order to solve this, in the present embodiment, when the "normal shooting mode" is switched to the "optical signal read mode", the access address of the imaging device such as CMOS is changed and the last read at the bottom is changed. The problem of the blank period is solved by reading the first read line 1a next to the line 1h. Although it has a slightly adverse effect on the image quality, the effect of being able to read continuously (seamlessly) is obtained, and the transmission efficiency is greatly improved.
本実施の形態では１ラインに最高で１個のシンボルを割り当てることができるため、後に述べるような同期方式をとった場合、１０００ラインで３０ｆｐｓの撮像素子を用いたとき、最大で３０ｋｂｐｓの伝送が理論上可能となる。 In the present embodiment, a maximum of one symbol can be assigned to one line. Therefore, when the synchronization method described later is adopted, when an image sensor of 30 fps is used in 1000 lines, a maximum of 30 kbps is transmitted. It is theoretically possible.
なお、同期をとる場合は、図８のようにカメラの受光素子の信号を見て、最もコントラストが得られるように、もしくは、データのエラーレートが低くなるようにラインのアクセス用のクロックを上下に変更することにより同期をとることができる。光信号よりイメージセンサのラインのクロックが速い場合は、図８のように２ラインもしくは３ラインのｎラインで光信号の１シンボルを受信することにより、同期をとることができる。 When synchronizing, look at the signal of the light receiving element of the camera as shown in FIG. 8, and move the clock for line access up and down so that the best contrast can be obtained or the error rate of the data is low. It can be synchronized by changing to. When the clock of the line of the image sensor is faster than that of the optical signal, synchronization can be achieved by receiving one symbol of the optical signal on n lines of 2 lines or 3 lines as shown in FIG.
また、図９のＴＶや図１０の左図のＴＶのようなディスプレイや、縦にｎ個例えば１０個分割された光源を、携帯電話のカメラで本発明の高速電子シャッタやブランキング無し等の検出モードに切り替えて撮影すると、図１０の右図のように本実施の形態特有のストライプ状のパターンがそれぞれ独立して１０本検出できるため、１０倍（ｎ倍）の転送レートとなる。 In addition, a display such as the TV shown in FIG. 9 or the TV shown on the left side of FIG. When the image is taken by switching to the detection mode, 10 striped patterns peculiar to the present embodiment can be independently detected as shown in the right figure of FIG. 10, so that the transfer rate is 10 times (n times).
例えば３０ｆｐｓ１０００ラインのイメージセンサを１０分割した場合、３００ｋｂｐｓとなる。ＨＤ映像では水平に１９８０ピクセルあるため、５０本に分割できる。すると１．５Ｍｂｐｓとなり、動画の映像データが受信可能となる。２００本ならＨＤ映像が伝送できる。
For example, when the image sensor of 30
本実施の形態での効果を得るためには、検出できる最も長い露出時間をＴ０とすると、Ｔ０以下にシャッタ時間を短くする必要がある。図７の右上図のようにフレーム同波数をｆｐとすると、シャッタ時間は１／ｆｐの半分以下にする必要がある。なぜなら、撮影の際に発生するブランキングは、最大で１フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で１／２ｆｐとなるからである。 In order to obtain the effect of the present embodiment, if the longest exposure time that can be detected is T 0 , it is necessary to shorten the shutter time to T 0 or less. Assuming that the same wave number of the frame is fp as shown in the upper right figure of FIG. 7, the shutter time needs to be half or less of 1 / fp. This is because the blanking that occurs during shooting is up to half the size of one frame. That is, since the blanking time is less than half of the shooting time, the actual shooting time is 1/2 fp in the shortest time.
しかし、チラツキを抑えるためには４値ＰＰＭ等が必要なため、１（ｆｐ×２×４）分の１、つまり、８ｆｐ分の１となる。通常の携帯電話のカメラはｆｐ＝３０、６０であるため、１／２４０、１／４８０、つまり、１／４８０以下のシャッタ速度に設定すれば、互換性を保ちながら、本実施の形態の可視光の光通信が携帯電話等のカメラを用いて受信できる。 However, since a 4-value PPM or the like is required to suppress flicker, the value is 1 (fp × 2 × 4), that is, 1/8 fp. Since the camera of a normal mobile phone has fp = 30, 60, if the shutter speed is set to 1/240, 1/480, that is, 1/480 or less, the visibility of the present embodiment is maintained while maintaining compatibility. Optical communication can be received using a camera such as a mobile phone.
実際には、本実施の形態での同期方式を採用していない携帯電話が世の中に数多く存在するため、当初は非同期型の通信となる。この場合は、光信号のクロックの２倍以上、具体的な２〜１０倍の走査ラインを用いて１シンボルを受信することにより、情報レートは落ちるが互換性のある通信が実現する。 Actually, since there are many mobile phones in the world that do not adopt the synchronization method in this embodiment, the communication is initially asynchronous. In this case, by receiving one symbol using a scanning line that is twice or more twice as much as the clock of the optical signal, or specifically 2 to 10 times, the information rate is lowered, but compatible communication is realized.
チラツキを防ぐ必要がある照明機器の場合、４値ＰＰＭ、つまり４つのｂｉｔのうち１つの時間帯に消灯もしくは減光して発光させる。この場合ビットレートは半分に落ちるが、チラツキがなくなるため、照明機器に使用でき明かりとデータを送ることができる。 In the case of a lighting device that needs to prevent flicker, it is turned off or dimmed to emit light during a quaternary PPM, that is, one of four bits. In this case, the bit rate drops by half, but since there is no flicker, it can be used for lighting equipment and can send light and data.
図１１は屋内で共通時間帯に全体の照明機から共通信号をおくり、個別時間帯に、個別の照明機Ｌ４から個別の副情報が送られている状況で、光信号を受信する状況を示している。Ｌ４は面積が狭いため大量のデータを送るには時間がかかる。従って個別時間帯に数ビットのＩＤだけ送り、共通時間帯にＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５の全てが同じ内容の共通情報を送る。 Figure 11 sends a common signal from the entire illumination device in the common time zone indoors, the individual time slot, a situation being sent individual sub-information from the individual lighting apparatus L 4, the situation of receiving an optical signal Shown. Since L 4 has a small area, it takes time to send a large amount of data. Therefore, only a few bits of ID are sent in the individual time zone, and common information of the same contents is sent in all of L 1 , L 2 , L 3 , L 4 , and L 5 in the common time zone.
図１２Ａを用いて詳しく説明すると、図１２Ａ下の時間帯Ａでは共通情報である、「部屋の基準位置の位置情報、各ＩＤの個別機器の配置情報（基準位置からの差分位置情報）、サーバのＵＲＬ、データ放送、ＬＡＮ送信データ」を部屋の中の全ての照明である主領域Ｍの２本の照明と、その一部にあるＳ１、Ｓ２、Ｓ３、Ｓ４が一斉に同じ光信号を発信させる。部屋中が同一の光信号で照らされるため、共通時間帯に、携帯のカメラ部が確実にデータ受信できるという効果がある。 Explaining in detail with reference to FIG. 12A, common information in the time zone A below FIG. 12A is "position information of the reference position of the room, arrangement information of individual devices of each ID (difference position information from the reference position), server. URL, data broadcasting, LAN transmission data "is the same for the two lights in the main area M, which are all the lights in the room, and S 1 , S 2 , S 3 , and S 4 in a part of them all at once. Send an optical signal. Since the entire room is illuminated by the same optical signal, there is an effect that the camera unit of the mobile phone can reliably receive data during a common time zone.
一方、時間帯Ｂでは、右上の上面図に示すように、主領域Ｍは点滅しないで、通常の１／ｎの光量で連続的に発光する。４値ＰＰＭの場合、通常の３／４つまり７５％で発光すると平均光量が変わらないためチラツキが防げる。平均光量が変わらない範囲で点滅すればチラツキはないが、時間帯Ｂにおける部分領域Ｓ１、Ｓ２、Ｓ３、Ｓ４の受信にノイズとなるため好ましくない。時間帯Ｂにおいては、Ｓ１、Ｓ２、Ｓ３、Ｓ４が各々別のデータ内容の光信号を送る。主領域Ｍは変調信号を送らないため、右上の携帯の画面のように、位置的に分離されている。このため、例えばＳ１の領域の画像を取り出した場合、ノイズが少ないため、領域の中に発生するストライプを検出することが容易になるため、安定してデータが得られる。 On the other hand, in the time zone B, as shown in the upper right view of the upper right, the main region M does not blink and continuously emits light at a normal 1 / n amount of light. In the case of 4-value PPM, flicker can be prevented because the average amount of light does not change when light is emitted at 3/4 of the normal value, that is, 75%. Without flickering if flashing the extent that the average amount of light does not change, the partial region S 1 in the time zone B, S 2, S 3, unfavorably causing noise in the reception of the S 4. In time zone B, S 1 , S 2 , S 3 , and S 4 send optical signals having different data contents. Since the main region M does not send a modulated signal, it is positionally separated like the screen of a mobile phone on the upper right. Thus, for example, when taking out the image of the area of S 1, since the noise is small, it becomes easy to detect the stripes occurring in the region, stable data is obtained.
図１２Ｂは、本実施の形態における送信機および受信機の動作を説明するための図である。 FIG. 12B is a diagram for explaining the operation of the transmitter and the receiver according to the present embodiment.
送信機８１６１は、例えばサイネージとして構成されており、「Ａ ｓｈｏｐ」と記載されている領域Ａと、「Ｂ ｓｈｏｐ」と記載されている領域Ｂとを輝度変化させる。これにより、それぞれの領域から信号Ａおよび信号Ｂが送信される。例えば、信号Ａおよび信号Ｂのそれぞれには、共通の内容を示す共通部分と、互いに異なる内容を示す固有部分とが含まれている。信号Ａおよび信号Ｂのそれぞれの共通部分は同時に送信される。その結果、受信機８１６２は、信号Ａの共通部分および信号Ｂの共通部分のうちの少なくとも一方を受信すると、そのサイネージ全体の画像を表示する。また、送信機は、信号Ａの固有部分と信号Ｂの固有部分とを同時に送信してもよく、互いに異なるタイミングに送信してもよい。受信機８１６２は、例えば信号Ｂの固有部分を受信すると、上述の領域Ｂに対応する例えば店舗の詳細な情報を表示する。
The
図１２Ｃは、本実施の形態における送信機および受信機の動作を説明するための図である。 FIG. 12C is a diagram for explaining the operation of the transmitter and the receiver according to the present embodiment.
例えば、送信機８１６１は、上述のように、信号Ａおよび信号Ｂの共通部分を同時に送信し、次に、信号Ａおよび信号Ｂのそれぞれの互いに異なる内容を示す独自部分を同時に送信する。受信機８１６２は送信機８１６１を撮像することによって、その送信機８１６１から信号を受信する。
For example, the
ここで、送信機８１６１が信号Ａおよび信号Ｂの共通部分を送信しているときには、送信機８１６１を２つの領域に分けることなく１つの大きな領域として捉えることができる。その結果、受信機８１６２は、送信機８１６１から遠い位置にあってもその共通部分を受信することができる。このときには、受信機８１６２は、その共通部分に対応付けられている情報をサーバから取得して表示する。例えば、サーバは、送信機８１６１であるサイネージに示されている全ての店舗の情報を受信機８１６２に送信する。または、サーバは、それらの店舗の中から任意の店舗の情報を選択して受信機８１６２に送信する。例えば、サーバは、それらの店舗の中で最も多い登録金額を支払っている店舗の情報を優先的に受信機８１６２に送信する。または、サーバは、受信機８１６２のカメラで撮影されている範囲の中心にある領域（領域Ａまたは領域Ｂ）に対応する店舗の情報を送信する。または、サーバは、ランダムに店舗を選んで、その店舗の情報を受信機８１６２に送信する。
Here, when the
また、受信機８１６２は、送信機８１６１に近い位置にあるときには、信号Ａまたは信号Ｂの独自部分を受信することができる。このときには、受信機８１６２は、その独自部分に関連付けられた情報をサーバから取得する。
Further, when the
例えば、図１３に示すようにカメラが横方向（水平方向）の走査をしている時は４値ＰＰＭの場合、照明Ｌ２がフェースカメラにより撮影され、右側のように３本のストライプが見えると「０１０１」つまりフレームあたり４ｂｉｔのデータが復調できる。この中にＩＤのデータがあるため、共通データの基準位置情報と、個別データの各ＩＤとの距離差情報もしくは配置情報を演算することにより、高速つまり短時間に携帯端末の位置を検出できるという効果がある。このように例えば２ｂｉｔのＩＤを送るだけで４つの光源のデータと位置を１枚のフレーム情報で瞬時に認識できる。 For example, in the case of the 4-PPM when the camera is scanning in the lateral direction (horizontal direction) as shown in FIG. 13, the illumination L 2 is captured by the face camera, visible three stripes as the right And "0101", that is, 4 bits of data per frame can be demodulated. Since there is ID data in this, the position of the mobile terminal can be detected at high speed, that is, in a short time by calculating the distance difference information or the arrangement information between the reference position information of the common data and each ID of the individual data. effective. In this way, for example, the data and positions of the four light sources can be instantly recognized with one frame information simply by sending a 2-bit ID.
図１４を用いて、この個別光源の低ビットのＩＤ情報を使った例を説明する。 An example using the low-bit ID information of this individual light source will be described with reference to FIG.
本実施の形態では図１４の共通データ１０１で、図に示すように基準位置、サーバのＵＲＬ、各ＩＤの配置情報。エリア別データ放送の大容量データが全ての照明を用いて共通時間帯に送られる。
In the present embodiment, in the
前述のように図１４の（ａ）のＬ１、Ｌ２、Ｌ３、Ｌ４〜Ｌ８の個別ＩＤが３ｂｉｔ復調できる。 As described above, the individual IDs of L 1 , L 2 , L 3 , and L 4 to L 8 in FIG. 14 (a) can be demodulated by 3 bits.
図１４の（ｂ）のように周波数ｆ１と周波数ｆ２の信号を送っても各照明部に本発明特有のストライプが検出され、周波数に対応したＩＤや変調データに対応したＩＤデータに変換される。このパターンを、配置情報を用いて演算するとどの位置から撮影したかわかる。つまり、Ｌ０から各ＩＤの配置情報と基準位置情報が得られるため、端末の位置を特定できる。 Even if signals of frequency f1 and frequency f2 are transmitted as shown in FIG. 14B, stripes peculiar to the present invention are detected in each illumination unit and converted into ID corresponding to the frequency and ID data corresponding to the modulation data. .. When this pattern is calculated using the arrangement information, it is possible to know from which position the image was taken. That is, since the arrangement information and the reference position information of each ID can be obtained from L0, the position of the terminal can be specified.
図１４の（ｂ）のように、周波数ｆ１、ｆ２を各ＩＤに割り当て、例えば、ｆ１＝１０００Ｈｚ、ｆ２＝１１００Ｈｚ、…、ｆ１６＝２５００Ｈｚとすることで、１６値つまり４ビットの値を周波数によって表現できる。また、信号にｆ１＝１０００Ｈｚの成分があれば第１ビットは１なければ０、信号にｆ２＝１１００Ｈｚの成分があれば第２ビットは１なければ０、…、信号にｆ１６＝２５００Ｈｚの成分があれば第１６ビットは１なければ０とすることで、１６ビットの値を表現できる。送信周波数を一定時間ごとに変化させることで、さらに多くの信号を送信することができる。周波数を変更する際や変調を開始／終了する際には、変更の前後で平均輝度を一定に保つことで、人間の目にちらつきを感じさせないという効果を得る。この変調方式は、パルス位置によって信号を表現するよりも低い変調周波数を使った場合でも人間の目にちらつきを感じさせないという効果があるため、多くの周波数帯域を用いることができる。 As shown in FIG. 14 (b), frequencies f1 and f2 are assigned to each ID, and for example, f1 = 1000 Hz, f2 = 1100 Hz, ..., F16 = 2500 Hz, so that 16 values, that is, 4-bit values are assigned according to the frequency. Can be expressed. If the signal has a component of f1 = 1000 Hz, the first bit is 0 if it is not 1, if the signal has a component of f2 = 1100 Hz, the second bit is 0 if it is not 1, ..., The signal has a component of f16 = 2500 Hz. If there is, the 16-bit value can be expressed by setting the 16th bit to 0 if it is not 1. By changing the transmission frequency at regular intervals, more signals can be transmitted. When changing the frequency or starting / ending the modulation, keeping the average brightness constant before and after the change has the effect of not causing flicker to the human eye. Since this modulation method has the effect of not causing flicker to the human eye even when a modulation frequency lower than expressing the signal by the pulse position is used, many frequency bands can be used.
なお、受信機は信号の周期から周波数を求めるため、周波数を等間隔に信号に割り当てるよりも、周波数の逆数や対数が等間隔になるように信号を割り当てるほうが、受信エラーを低減できる。 Since the receiver obtains the frequency from the period of the signal, it is possible to reduce the reception error by allocating the signals so that the reciprocals and logarithms of the frequencies are evenly spaced, rather than allocating the frequencies to the signals at equal intervals.
例えば、１／１５秒ごとに信号を変化させると、６０ビット毎秒で送信できる。一般的な撮像装置は、１秒間に３０フレームの画像を撮影するため、１／１５秒間同じ周波数で信号を送信すると、送信機が撮像画像の１部にしか写っていなくても、確実に撮像を行うことができる。 For example, if the signal is changed every 1/15 second, it can be transmitted at 60 bits per second. Since a general image pickup device captures an image of 30 frames per second, if a signal is transmitted at the same frequency for 1/15 second, the image is reliably captured even if the transmitter is shown in only one part of the captured image. It can be performed.
また、１／１５秒間同じ周波数で信号を送信することで、受信機の負荷が高く処理できないフレームがある場合や、１秒間に１５フレームの画像しか撮影できない撮像装置の場合でも、信号を受信することができる。 In addition, by transmitting a signal at the same frequency for 1/15 second, the signal is received even when there are frames that cannot be processed due to the heavy load on the receiver, or even in the case of an imaging device that can capture only 15 frames per second. be able to.
露光ラインに垂直な方向に輝度値をフーリエ変換等により周波数解析を行うと、送信信号の周波数がピークとして現れる。周波数の切替部分など、複数の周波数が１フレーム内に撮像された場合は、単一周波数信号をフーリエ変換した場合よりも弱いピークとして、複数のピークが得られる。周波数の切替部分には、前後の周波数がまじりあうことをさけるために、保護部分を設けても良い。 When the brightness value is frequency-analyzed in the direction perpendicular to the exposure line by Fourier transform or the like, the frequency of the transmitted signal appears as a peak. When a plurality of frequencies are imaged in one frame such as a frequency switching portion, a plurality of peaks are obtained as weaker peaks than when a single frequency signal is Fourier transformed. A protective portion may be provided in the frequency switching portion in order to prevent the front and rear frequencies from being mixed with each other.
この方法によれば、一つの画面内に複数の周波数で順次送信している光を撮像した場合でも、送信周波数を解析することができ、１／１５秒や、１／３０秒より短い時間で送信信号の周波数を変更しても、受信することができる。 According to this method, the transmission frequency can be analyzed even when light that is sequentially transmitted at a plurality of frequencies is imaged in one screen, and it takes less than 1/15 second or 1/30 second. It can be received even if the frequency of the transmission signal is changed.
送信信号の順序を認識するためには、１画面よりも短い範囲でフーリエ変換を行えば良い。また、撮像した画面を連結して、１画面より長い範囲でフーリエ変換を行なっても良い。この場合は、撮像のブランキング時間の輝度値は不明として扱う。保護部分は、特定の周波数の信号とするか、輝度変化をさせない（周波数０Ｈｚ）とする。
In order to recognize the order of the transmitted signals, the Fourier transform may be performed in a range shorter than one screen. Further, the captured screens may be connected and the Fourier transform may be performed in a range longer than one screen. In this case, the brightness value of the imaging blanking time is treated as unknown. The protection portion is a signal having a specific frequency or does not change the brightness (
図１４の（ｂ）のように、周波数ｆ２のＦＭ変調信号を送信し、続けてＰＰＭ変調信号を送信し、ＦＭ変調信号とＰＰＭ変調信号を交互に送信することで、どちらかの方法にしか対応していない受信機でも受信が可能になり、また、重要度の高い情報を比較的受信の容易なＦＭ変調信号に割り当てることで、重要度の高い情報を優先的に送信することができる。 As shown in (b) of FIG. 14, by transmitting the FM modulation signal of frequency f2, subsequently transmitting the PPM modulation signal, and alternately transmitting the FM modulation signal and the PPM modulation signal, only one of the methods can be used. It is possible to receive even a receiver that does not support it, and by assigning highly important information to an FM modulated signal that is relatively easy to receive, it is possible to preferentially transmit the highly important information.
本実施の形態では、各機器のＩＤと画面上の位置が同時に得られるため、照明とリンクしたＵＲＬにあるクラウド型のサーバのデータベースの中の、照明の各ＩＤにリンクした画像情報、位置情報やアプリプログラムをダウンロードし、ＡＲの手法を用いて関連した商品等の画像をＩＤの照明を持つ機器の映像上に重ねて表示することができる。この場合、本実施の形態の復調モードを撮影モードに切り替えることにより美しい映像の上に重量されたＡＲ画像が得られるという効果がある。 In the present embodiment, since the ID of each device and the position on the screen can be obtained at the same time, the image information and the position information linked to each ID of the lighting in the database of the cloud-type server at the URL linked to the lighting. And app programs can be downloaded and images of related products can be overlaid on the images of devices with ID lighting using the AR method. In this case, by switching the demodulation mode of the present embodiment to the shooting mode, there is an effect that a weighted AR image can be obtained on a beautiful image.
さて、図１１に示すように時間帯Ａに、各ＩＤの光源と基準位置との東西南北の距離差ｄを送ることにより、照明Ｌ４のｃｍ単位の正確な位置がわかる。次に天井の高さＨ、携帯電話の持ち主の身長より高さｈを求め、携帯電話の姿勢情報を９軸センサにより補正して、正確なカメラ方向の角度θ２と照明と携帯電話との角度θ１を求め、ｄ＝（Ｈ−ｈ）×ａｒcｔａｎ・θ１等の演算により、ｄを算出する。 Now, the time zone A, as shown in FIG. 11, by sending compass of distance difference d between the light source and the reference position of each ID, it is found the exact position in cm of lighting L 4. Next, the height H of the ceiling and the height h are obtained from the height of the owner of the mobile phone, and the attitude information of the mobile phone is corrected by the 9-axis sensor. θ 1 is obtained, and d is calculated by an operation such as d = (Hh) × arctan · θ 1.
こうして、携帯電話の位置を高い精度で求めることができる。このように時間帯Ａに共通光信号を送り、時間帯Ｂに個別光信号を送ることにより、確実に大容量の共通情報と、ＩＤ等の小容量の個別情報を、ほぼ同時に送ることができるという効果が得られる。 In this way, the position of the mobile phone can be obtained with high accuracy. By sending the common optical signal to the time zone A and the individual optical signal to the time zone B in this way, it is possible to reliably send a large amount of common information and a small amount of individual information such as an ID at almost the same time. The effect is obtained.
図１２Ａの右上部の携帯端末のように個別光源Ｓ１〜Ｓ４が撮影される。図１２Ａの下のタイムチャートのように、時間Ｃでは、Ｓ１のみが光信号を送る。図１５のｔ＝Ｃのように１つだけストライプが発生するため、ノイズの影響を受けることなく検出できるという効果がある。
Individual
また、ｔ＝Ｄ、Ｅのように２つの個別データを送ってもよい。ｔ＝Ｈ、Ｉのように、最も空間的に離れた個別データを送ることにより画面上で分離しやすいためエラー率が低くなるという効果がある。 Further, two individual data may be sent such as t = D and E. By sending individual data that are most spatially separated, such as t = H and I, it is easy to separate them on the screen, which has the effect of lowering the error rate.
図１５のｔ＝Ｃの状況下においては、Ｓ１だけ復調すればよいため、他の領域のイメージセンサの走査は不要である。従ってｔ＝ＣのようＳ１の領域が入るように走査本数を減少させることにより、Ｓ１領域だけ走査され、データを復調できる。このため、高速化するだけでなくＳ１の狭い領域だけで大容量のデータを復調することができるという効果がある。 In the context of the t = C in FIG. 15, since it is sufficient demodulation by S 1, the scanning of the image sensor in other regions is not necessary. Thus by reducing the number of scanning lines as area of S 1 is entered as t = C, is scanned by S 1 region can demodulate data. Therefore, there is an effect that it is possible to demodulate a large volume of data only by a narrow region S 1 not only to speed.
ただし、この場合、手振れにより領域Ｓ１がイメージセンサの走査範囲内からはずれる恐れがある。 However, in this case, the area S 1 by camera shake is likely to deviate from the scanning range of the image sensor.
従って、図１６に示すような手振れ補正が重要となる。携帯電話に内蔵されているジャイロセンサは手振れのような範囲の狭い微細な回転は通常検出できない。 Therefore, image stabilization as shown in FIG. 16 is important. The gyro sensor built into the mobile phone cannot usually detect minute rotations with a narrow range such as camera shake.
従って、図１６の左図のようにＬ２の光信号をフェースカメラで受信する場合は、走査を限定した場合など、フェースカメラからの画像を使って画像から手振れを検出することは難しい。従ってインカメラをＯＮにしてインカメラの画像から手振れを検出し、走査範囲もしくは検出範囲を補正することにより手振れの影響を軽減できる。これはフェースカメラの手振れとインカメラの手振れは同一だからである。 Therefore, to receive the optical signal of the L 2 as shown in the left diagram of FIG. 16 in the face camera, such as when a limited scan, it is difficult to detect the camera shake from the image using the images from the face camera. Therefore, the influence of camera shake can be reduced by turning on the in-camera, detecting camera shake from the image of the in-camera, and correcting the scanning range or the detection range. This is because the camera shake of the face camera and the camera shake of the in-camera are the same.
フェースカメラの光信号パターン以外の走査領域のシャッタ速度を遅くして、正常な画像をこの領域から得て、この画像から手振れ補正することができる。この場合、１つのカメラで手振れ検出と信号検出ができる。このことは図１６、右図のインカメラを使った場合にも同様の効果がある。 A normal image can be obtained from this region by slowing the shutter speed in a scanning region other than the optical signal pattern of the face camera, and camera shake correction can be performed from this image. In this case, one camera can detect camera shake and detect signals. This has the same effect when the in-camera shown in FIGS. 16 and 16 is used.
図１７は、フェースカメラで光信号検出を行ない、まず、端末の位置情報を入手する。 In FIG. 17, an optical signal is detected by a face camera, and first, the position information of the terminal is obtained.
この時の地点から移動距離ｌ２を求める場合、携帯電話用の９軸センサは精度が悪いため、実用的でない。この場合、フェースカメラと反対のインカメラを使って、端末の姿勢と床面の模様の変化から図１７のようにして移動距離ｌ２を求めることができる。フェースカメラで天井の模様を検出してもよい。 When the moving distance l 2 is obtained from the point at this time, the 9-axis sensor for a mobile phone has poor accuracy and is not practical. In this case, using an in-camera opposite to the face camera, the moving distance l 2 can be obtained as shown in FIG. 17 from the changes in the posture of the terminal and the pattern on the floor surface. The pattern on the ceiling may be detected by a face camera.
以下、実際の応用例を説明する。 An actual application example will be described below.
図１８は駅の構内で天井の照明から共通データであるデータ放送を受信し、個別データから自分の位置を入手している様子を示す図である。 FIG. 18 is a diagram showing a state in which data broadcasting, which is common data, is received from ceiling lighting in a station yard, and one's position is obtained from individual data.
図１９に示すように、コーヒー店でバーコードの表示された携帯端末から認証情報を表示して、店の端末が読みとった後、店の端末の発光部から発光させ、携帯端末が本発明を用いて受信し、相互認証を行ない、セキュリティを向上させることができる。認証は逆に行っても良い。 As shown in FIG. 19, the authentication information is displayed from the mobile terminal on which the barcode is displayed at the coffee shop, the terminal of the store reads it, and then the light emitting unit of the terminal of the store emits light, and the mobile terminal describes the present invention. It can be used to receive, perform mutual authentication, and improve security. Authentication may be performed in reverse.
その携帯端末を持った客がテーブルに座ると入手した位置情報を店の端末に無線ＬＡＮ等で送信するため、店員の端末に客の位置が表示されるため、注文した飲物を注文した客の位置情報のテーブルへと店員は運搬することができる。 When the customer with the mobile terminal sits at the table, the obtained location information is transmitted to the store terminal via wireless LAN, etc., and the customer's position is displayed on the store clerk's terminal. The clerk can carry it to the location information table.
図２０は、列車や航空機の中で乗客は自分の位置を、本実施の形態の方法を用いて知り、端末で食物等の商品を注文する。搭乗員はカートに本発明の端末があり、画面の注文した客の位置に注文した商品のＩＤナンバーが表示されるため客のところへ注文したIDの商品が的確に配達される。 In FIG. 20, a passenger knows his / her position in a train or an aircraft by using the method of the present embodiment, and orders a product such as food at a terminal. The crew has the terminal of the present invention in the cart, and the ID number of the ordered product is displayed at the position of the ordered customer on the screen, so that the product with the ordered ID is accurately delivered to the customer.
図１０はＴＶ等のディスプレイのバックライトに本実施の形態の方法または装置を用いた場合を示す図である。蛍光灯やＬＥＤや有機ＥＬは低迷の輝度変調をかけることができるため、本実施の形態の送信が可能である。ただし、特性上、走査方向が重要である。スマートフォンのように縦で使う場合は水平方向に走査されるため、画面の下部に横長の発光領域を設け、TV等の映像のコントラストをうすく、白色に近づけることにより容易に信号を受信できるという効果がある。 FIG. 10 is a diagram showing a case where the method or device of the present embodiment is used for the backlight of a display such as a TV. Since fluorescent lamps, LEDs, and organic ELs can be subjected to low brightness modulation, the transmission of the present embodiment is possible. However, in terms of characteristics, the scanning direction is important. When used vertically like a smartphone, it is scanned in the horizontal direction, so a horizontally long light emitting area is provided at the bottom of the screen, and the contrast of the image of TV etc. is thin and the signal can be easily received by making it close to white. There is.
デジタルカメラのように垂直方向に走査される場合は、図９の画面右側のようなタテ長の表示を設ける。 When scanning in the vertical direction as in a digital camera, a vertical length display as shown on the right side of the screen in FIG. 9 is provided.
これらの２つをひとつの画面内に設け、両者から同一の光信号を発光させることにより、どちらの走査方向のイメージセンサでも信号を受信することができる。 By providing these two in one screen and emitting the same optical signal from both, the signal can be received by the image sensor in either scanning direction.
なお、水平方向に走査するイメージセンサで垂直方向の発光部を受信しようとした場合、端末の画面に「横方向に回転させて撮影して下さい」のような表示を出すことにより、より的確で高速に受信することを使用者に促すことができる。 If you try to receive a light emitting part in the vertical direction with an image sensor that scans in the horizontal direction, it is more accurate by displaying a display such as "Rotate horizontally to take a picture" on the terminal screen. It is possible to encourage the user to receive at high speed.
なお、図８のように発光部の発光パターンにカメラのイメージセンサの走査ライン読み取りクロックを制御して同期をとることにより通信速度を大幅に上げることができる。 As shown in FIG. 8, the communication speed can be significantly increased by controlling and synchronizing the scanning line reading clock of the image sensor of the camera with the light emitting pattern of the light emitting unit.
図８の（ａ）のように発光パターンの１シンボルを２ラインで検出する場合、左のようなパターンでは同期している。中図のようなパターンの場合、イメージセンサの読み取りが早いため、映像素子の読み出しクロックを低速化して同期させる。右図のようなパターンの場合、高速化し同期させる。 When one symbol of the light emission pattern is detected by two lines as shown in FIG. 8A, the patterns shown on the left are synchronized. In the case of the pattern shown in the middle figure, since the image sensor reads quickly, the read clock of the image sensor is slowed down and synchronized. In the case of the pattern shown on the right, speed up and synchronize.
図８の（ｂ）の１シンボルを３つのラインで検出する場合は中図のようなパターンでは低速化し、右図では高速化させる。 When one symbol of FIG. 8B is detected by three lines, the speed is increased in the pattern shown in the middle figure and increased in the right figure.
こうして高速な光通信が可能となる。 In this way, high-speed optical communication becomes possible.
なお、双方向通信する場合は、発光部の照明機器に人感センサとして赤外線受光部が設けられているので、これを受信に兼用することにより照明機において双方向受信が部品の追加なしでできる。端末側は、カメラ用のストロボライトを用いて送信することもできるし、別途安価な赤外発光部を設けても良い。こうして部品をあまり追加することなしに双方向通信が実現する。 In the case of bidirectional communication, since the lighting device of the light emitting unit is provided with an infrared light receiving unit as a motion sensor, bidirectional reception can be performed in the illuminator without adding parts by also using this for reception. .. The terminal side can transmit using a strobe light for a camera, or an inexpensive infrared light emitting unit may be provided separately. In this way, two-way communication is realized without adding many parts.
（実施の形態３）
以下、実施の形態３について説明する。
(Embodiment 3)
Hereinafter, the third embodiment will be described.
（発光部の輝度の観測）
１枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図２１は、１列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。
(Observation of the brightness of the light emitting part)
When capturing a single image, we propose an imaging method that starts and ends exposure at different times for each image sensor, instead of exposing all the image sensors at the same timing. FIG. 21 shows an example in which the image sensors arranged in a row are exposed at the same time and the exposure start times are shifted in the order in which the rows are closer to each other. Here, it is called an exposure line of an image sensor that is exposed at the same time, and a line of pixels on an image corresponding to the image sensor is called an emission line.
この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図２２のように、撮像画像上に露光ラインに沿った輝線（画素値の明暗の線）が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が２種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー（ＬＯ），高い方の輝度値をハイ（ＨＩ）と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。 When a blinking light source is projected onto the entire surface of the image sensor for imaging using this imaging method, bright lines (bright and dark lines of pixel values) along the exposure line are generated on the captured image as shown in FIG. .. By recognizing this bright line pattern, it is possible to estimate a change in light source brightness at a speed exceeding the imaging frame rate. As a result, by transmitting the signal as a change in the brightness of the light source, communication can be performed at a speed equal to or higher than the imaging frame rate. When a light source expresses a signal by taking two kinds of luminance values, the lower luminance value is called low (LO) and the higher luminance value is called high (HI). Low may be in a state where the light source is not shining, or may be shining weaker than high.
この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。 By this method, information is transmitted at a speed exceeding the imaging frame rate.
一枚の撮像画像中に、露光時間が重ならない露光ラインが２０ラインあり、撮像のフレームレートが３０ｆｐｓのときは、１．６７ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが１０００ラインある場合は、３万分の１秒（約３３マイクロ秒）周期の輝度変化を認識できる。なお、露光時間は例えば１０ミリ秒よりも短く設定される。 When there are 20 exposure lines in one captured image in which the exposure times do not overlap and the frame rate of imaging is 30 fps, a change in brightness with a period of 1.67 milliseconds can be recognized. When there are 1000 exposure lines where the exposure times do not overlap, the brightness change with a period of 1 / 30,000 second (about 33 microseconds) can be recognized. The exposure time is set shorter than, for example, 10 milliseconds.
図２２は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。 FIG. 22 shows a case where the exposure of one exposure line is completed and then the exposure of the next exposure line is started.
この場合、１秒あたりのフレーム数（フレームレート）がｆ、１画像を構成する露光ライン数がｌのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でｆｌビット毎秒の速度で情報を伝送することができる。 In this case, when the number of frames per second (frame rate) is f and the number of exposure lines constituting one image is l, if information is transmitted depending on whether each exposure line receives a certain amount of light or more, the maximum is transmitted. Information can be transmitted at a speed of fl bits per second.
なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。 When exposure is performed for each pixel with a time difference instead of for each line, communication is possible at a higher speed.
このとき、露光ラインあたりの画素数がｍ画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でｆｌｍビット毎秒となる。 At this time, when the number of pixels per exposure line is m pixels and information is transmitted depending on whether or not each pixel receives a certain amount of light or more, the maximum transmission speed is flm bits per second.
図２３のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。 As shown in FIG. 23, if the exposure state of each exposure line due to the light emission of the light emitting unit can be recognized at a plurality of levels, the light emission time of the light emitting unit can be controlled in a unit time shorter than the exposure time of each exposure line. , More information can be transmitted.
露光状態をＥｌｖ段階で認識可能である場合には、最大でｆｌＥｌｖビット毎秒の速度で情報を伝送することができる。 When the exposure state can be recognized in the Elv stage, the information can be transmitted at a maximum speed of fEllv bits per second.
また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。 Further, the basic period of transmission can be recognized by causing the light emitting unit to emit light at a timing slightly deviated from the exposure timing of each exposure line.
図２４Ａは、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、（１）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、（２）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、Ｓ／Ｎ比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。 FIG. 24A shows a case where the exposure of the next exposure line is started before the exposure of one exposure line is completed. That is, the exposure times of adjacent exposure lines partially overlap with each other. With such a configuration, it is possible to increase the number of samples within a predetermined time as compared with the case of (1) waiting for the end of the exposure time of one exposure line and starting the exposure of the next exposure line. By increasing the number of samples within a predetermined time, it becomes possible to more appropriately detect an optical signal generated by an optical transmitter as a subject. That is, it is possible to reduce the error rate when detecting an optical signal. Further, (2) the exposure time of each exposure line can be lengthened as compared with the case of waiting for the end of the exposure time of one exposure line and starting the exposure of the next exposure line, so that the subject is dark. However, it is possible to acquire a brighter image. That is, it is possible to improve the S / N ratio. It should be noted that, in all the exposure lines, it is not necessary that the exposure times of the adjacent exposure lines partially overlap with each other, and some of the exposure lines do not partially overlap with each other. It is also possible to. By configuring some exposure lines so that they do not partially overlap in time, it is possible to suppress the generation of neutral colors due to the overlap of exposure times on the imaging screen, and it becomes possible to detect bright lines more appropriately. ..
この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。 In this case, the exposure time is calculated from the brightness of each exposure line, and the light emitting state of the light emitting unit is recognized.
なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの２値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。 When the brightness of each exposure line is determined by two values of whether or not the brightness is equal to or higher than the threshold value, in order to recognize the state of not emitting light, the light emitting portion indicates the state of not emitting light for each line. Must continue for longer than the exposure time of.
図２４Ｂは、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。７５００ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５００ｂはそれより露光時間を長くとった場合である。７５００ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。 FIG. 24B shows the effect of the difference in exposure time when the exposure start times of the exposure lines are the same. 7500a is a case where the exposure end time of the previous exposure line is equal to the exposure start time of the next exposure line, and 7500b is a case where the exposure time is longer than that. By configuring the exposure times of adjacent exposure lines to partially overlap with each other as in 7500b, it is possible to increase the exposure time. That is, the light incident on the image sensor increases, and a bright image can be obtained. Further, since the imaging sensitivity for capturing an image having the same brightness can be suppressed to a low level, an image with less noise can be obtained, so that a communication error can be suppressed.
図２４Ｃは、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。７５０１ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５０１ｂは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。７５０１ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔（＝露光開始時刻の差）が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。 FIG. 24C shows the effect of the difference in the exposure start time of each exposure line when the exposure times are the same. 7501a is a case where the exposure end time of the previous exposure line and the exposure start time of the next exposure line are equal, and 7501b is a case where the exposure of the next exposure line is started earlier than the exposure end of the previous exposure line. By configuring the exposure times of adjacent exposure lines to partially overlap with each other as in 7501b, it is possible to increase the number of lines that can be exposed per hour. As a result, the resolution becomes higher and a large amount of information can be obtained. By increasing the sample interval (= difference in exposure start time), the change in light source brightness can be estimated more accurately, the error rate can be reduced, and the change in light source brightness in a shorter time can be recognized. be able to. By having the exposure times overlap, it is possible to recognize the blinking of the light source shorter than the exposure time by utilizing the difference in the exposure amount of the adjacent exposure lines.
図２４Ｂ、図２４Ｃで説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を１／４８０秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数＝ｆとすると、露光時間＜１／８×ｆと設定する必要がある。撮影の際に発生するブランキングは、最大で１フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で１／２ｆとなる。更に、１／２ｆの時間内において、４値の情報を受ける必要があるため、少なくとも露光時間は、１／（２ｆ×４）よりも短くする必要が生じる。通常フレームレートは、６０フレーム／秒以下であることから、１／４８０秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。 As described with reference to FIGS. 24B and 24C, in a configuration in which each exposure line is sequentially exposed so that the exposure times of adjacent exposure lines partially overlap with each other, the exposure time is set to be longer than that in the normal shooting mode. By using the emission line pattern generated by setting it short for signal transmission, it is possible to dramatically improve the communication speed. Here, by setting the exposure time during visible light communication to 1/480 second or less, it is possible to generate an appropriate emission line pattern. Here, the exposure time needs to be set to the exposure time <1/8 × f, where frame frequency = f. The blanking that occurs during shooting is up to half the size of one frame. That is, since the blanking time is less than half of the shooting time, the actual shooting time is 1 / 2f in the shortest time. Further, since it is necessary to receive the information of four values within the time of 1 / 2f, at least the exposure time needs to be shorter than 1 / (2f × 4). Since the normal frame rate is 60 frames / sec or less, by setting the exposure time to 1/480 sec or less, it is possible to generate an appropriate emission line pattern in the image data and perform high-speed signal transmission. Become.
図２４Ｄは、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は７５０２ａのように２値の輝度変化をしていたとしても、撮像画像では７５０２ｅのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、７５０２ｄのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔＤ２を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、７５０２ｆのような、より適切な輝線パターンを検出することが可能となる。７５０２ｄのように、所定の露光しない空き時間を設ける構成は、露光時間ｔＥを各露光ラインの露光開始時刻の時間差ｔＤよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、７５０２ｇのように、各露光ラインの露光開始時刻の間隔ｔＤを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔＤ２を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、７５０２ｈのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。 FIG. 24D shows the advantages when the exposure times of the exposure lines do not overlap and when the exposure times are short. When the exposure time is long, even if the light source has a binary brightness change like 7502a, a neutral color part is formed like 7502e in the captured image, and it tends to be difficult to recognize the brightness change of the light source. There is. However, as in 7502d, the brightness of the light source is changed by providing a free time (predetermined waiting time) t D2 in which a predetermined exposure is not performed until the start of exposure of the next exposure line after the end of exposure of one exposure line. Can be easily recognized. That is, it is possible to detect a more appropriate emission line pattern such as 7502f. A configuration in which a predetermined non-exposure free time is provided, such as 7502d, can be realized by making the exposure time t E smaller than the time difference t D of the exposure start time of each exposure line. When the normal shooting mode has a configuration in which the exposure times of adjacent exposure lines partially overlap with each other, the exposure time is set shorter than in the normal shooting mode until a predetermined free time without exposure occurs. By doing so, it can be realized. Further, even when the normal shooting mode is equal to the exposure end time of the previous exposure line and the exposure start time of the next exposure line, the exposure time is set short until a predetermined non-exposure time occurs. It can be realized. Further, by increasing the interval t D of the exposure start time of each exposure line as in 7502 g, a predetermined free time (predetermined) during which a predetermined exposure is not performed until the start of the exposure of the next exposure line after the end of the exposure of one exposure line. (Waiting time) t D2 can be provided. In this configuration, since the exposure time can be lengthened, a bright image can be captured and noise is reduced, so that error tolerance is high. On the other hand, in this configuration, since the number of exposure lines that can be exposed within a certain period of time is reduced, there is a drawback that the number of samples is reduced as in 7502h, so it is desirable to use them properly depending on the situation. For example, by using the former configuration when the imaging target is bright and using the latter configuration when it is dark, it is possible to reduce the estimation error of the light source luminance change.
なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。また、通常のフレームレート（３０ｆｐｓ、６０ｆｐｓ）にて撮影を行う通常撮影モードと、可視光通信を行う１／４８０秒以下の露光時間にて撮影を行う可視光通信モードとにおいて、同一の読み出し方法または回路にて信号の読み出しを行ってもよい。同一の読み出し方法または回路にて信号を読み出すことにより、通常撮影モードと、可視光通信モードとに対して、それぞれ別の回路を用いる必要がなくなり、回路規模を小さくすることが可能となる。 It should be noted that, in all the exposure lines, it is not necessary that the exposure times of the adjacent exposure lines partially overlap with each other, and some of the exposure lines do not partially overlap with each other. It is also possible to. Further, in all the exposure lines, it is not necessary to provide a free time (predetermined waiting time) for not exposing a predetermined exposure from the end of the exposure of one exposure line to the start of the exposure of the next exposure line, and it is not necessary to provide a partial exposure. It is also possible to have a configuration in which the lines partially overlap in time. With such a configuration, it is possible to take advantage of each configuration. Further, the same reading method is used in the normal shooting mode in which shooting is performed at a normal frame rate (30 fps, 60 fps) and the visible light communication mode in which shooting is performed with an exposure time of 1/480 second or less during visible light communication. Alternatively, the signal may be read out by the circuit. By reading the signal with the same reading method or circuit, it is not necessary to use different circuits for the normal shooting mode and the visible light communication mode, and the circuit scale can be reduced.
図２４Ｅは、光源輝度の最小変化時間ｔＳと、露光時間ｔＥと、各露光ラインの露光開始時刻の時間差ｔＤと、撮像画像との関係を示している。ｔＥ＋ｔＤ＜ｔＳとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、７５０３ｄのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。２ｔＥ＞ｔＳとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。 FIG. 24E shows the relationship between the minimum change time t S of the light source brightness, the exposure time t E , the time difference t D of the exposure start time of each exposure line, and the captured image. When t E + t D <t S , one or more exposure lines are always imaged with the light source unchanged from the start to the end of the exposure, so an image with clear brightness such as 7503d can be obtained. It is easy to recognize changes in the brightness of the light source. When 2t E > t S , a bright line having a pattern different from the change in the brightness of the light source may be obtained, and it becomes difficult to recognize the change in the brightness of the light source from the captured image.
図２４Ｆは、光源輝度の遷移時間ｔＴと、各露光ラインの露光開始時刻の時間差ｔＤとの関係を示している。ｔＴに比べてｔＤが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。ｔＤ＞ｔＴのとき中間色の露光ラインは連続で２ライン以下になり、望ましい。ｔＴは、光源がＬＥＤの場合は１マイクロ秒以下、光源が有機ＥＬの場合は５マイクロ秒程度となるため、ｔＤを５マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。 FIG. 24F shows the relationship between the transition time t T of the light source luminance and the time difference t D of the exposure start time of each exposure line. The larger t D than t T , the fewer exposure lines that become neutral colors, and the easier it is to estimate the brightness of the light source. When t D > t T, the number of exposure lines for neutral colors is 2 or less in a row, which is desirable. Since t T is about 1 microsecond or less when the light source is an LED and about 5 microseconds when the light source is an organic EL, setting t D to 5 microseconds or more facilitates the estimation of the light source brightness. be able to.
図２４Ｇは、光源輝度の高周波ノイズｔＨＴと、露光時間ｔＥとの関係を示している。ｔＨＴに比べてｔＥが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。ｔＥがｔＨＴの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、ｔＥ＞ｔＨＴであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではｔＨＴは２０マイクロ秒以下であるため、ｔＥを２０マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。 Figure 24G shows a high frequency noise t HT of light source luminance, the relationship between the exposure time t E. The larger t E than t HT , the less the influence of high-frequency noise on the captured image, and the easier it is to estimate the brightness of the light source. When t E is an integral multiple of t HT , the influence of high frequency noise disappears, and the estimation of the light source brightness becomes the easiest. It is desirable that t E > t HT for estimating the brightness of the light source. The main cause of high-frequency noise comes from the switching power supply circuit, and since tHT is 20 microseconds or less in many switching power supplies for lamps, the light source brightness can be estimated by setting t E to 20 microseconds or more. It can be done easily.
図２４Ｈは、ｔＨＴが２０マイクロ秒の場合の、露光時間ｔＥと高周波ノイズの大きさとの関係を表すグラフである。ｔＨＴは光源によってばらつきがあることを考慮すると、グラフより、ｔＥは、ノイズ量が極大をとるときの値と等しくなる値である、１５マイクロ秒以上、または、３５マイクロ秒以上、または、５４マイクロ秒以上、または、７４マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはｔＥは大きいほうが望ましいが、前述のとおり、ｔＥが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が１５〜３５マイクロ秒のときはｔＥは１５マイクロ秒以上、光源輝度の変化の周期が３５〜５４マイクロ秒のときはｔＥは３５マイクロ秒以上、光源輝度の変化の周期が５４〜７４マイクロ秒のときはｔＥは５４マイクロ秒以上、光源輝度の変化の周期が７４マイクロ秒以上のときはｔＥは７４マイクロ秒以上として設定すると良い。 FIG. 24H is a graph showing the relationship between the exposure time t E and the magnitude of high frequency noise when t HT is 20 microseconds. Considering that t HT varies depending on the light source, from the graph, t E is a value equal to the value when the amount of noise is maximized, which is 15 microseconds or more, 35 microseconds or more, or It can be confirmed that the efficiency is good when it is set to 54 microseconds or more or 74 microseconds or more. From the viewpoint of reducing high-frequency noise, it is desirable that t E is large, but as described above, the smaller t E is, the less likely it is that a neutral color portion is generated, which makes it easier to estimate the brightness of the light source. Therefore, when the cycle of change in light source brightness is 15 to 35 microseconds, t E is 15 microseconds or more, and when the cycle of change in light source brightness is 35 to 54 microseconds, t E is 35 microseconds or more, and the light source brightness. t E is 54 microseconds or more when the period of the change is 54 to 74 microseconds, t E when the period of the change in light source luminance is 74 microseconds or more may be set as 74 microseconds or more.
図２４Ｉは、露光時間ｔＥと認識成功率との関係を示す。露光時間ｔＥは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期ｔＳを露光時間ｔＥで割った値（相対露光時間）を横軸としている。グラフより、認識成功率をほぼ１００％としたい場合は、相対露光時間を１．２以下にすれば良いことがわかる。例えば、送信信号を１ｋＨｚとする場合は露光時間を約０．８３ミリ秒以下とすれば良い。同様に、認識成功率を９５％以上としたい場合は相対露光時間を１．２５以下に、認識成功率を８０％以上としたい場合は相対露光時間を１．４以下にすれば良いということがわかる。また、相対露光時間が１．５付近で認識成功率が急激に下がり、１．６でほぼ０％となるため、相対露光時間が１．５を超えないように設定すべきであることがわかる。また、認識率が７５０７ｃで０になった後、７５０７ｄや、７５０７ｅ、７５０７ｆで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が１．９から２．２、２．４から２．６、２．８から３．０となる露光時間を利用すれば良い。例えば、図３３５の中間モードとして、これらの露光時間を使うと良い。 FIG. 24I shows the relationship between the exposure time t E and the recognition success rate. Since the exposure time t E has a relative meaning with respect to the time when the brightness of the light source is constant, the horizontal axis is the value obtained by dividing the period t S at which the brightness of the light source changes by the exposure time t E (relative exposure time). There is. From the graph, it can be seen that if the recognition success rate is to be approximately 100%, the relative exposure time should be 1.2 or less. For example, when the transmission signal is 1 kHz, the exposure time may be about 0.83 ms or less. Similarly, if the recognition success rate is 95% or more, the relative exposure time should be 1.25 or less, and if the recognition success rate is 80% or more, the relative exposure time should be 1.4 or less. Understand. In addition, the recognition success rate drops sharply when the relative exposure time is around 1.5, and becomes almost 0% at 1.6, so it is clear that the relative exposure time should not exceed 1.5. .. Further, it can be seen that after the recognition rate becomes 0 at 7507c, it increases again at 7507d, 7507e, and 7507f. Therefore, when you want to take a bright image with a long exposure time, use an exposure time with a relative exposure time of 1.9 to 2.2, 2.4 to 2.6, 2.8 to 3.0. Just do it. For example, these exposure times may be used as the intermediate mode of FIG. 335.
図２５のように、撮像装置によっては、露光を行わない時間（ブランキング）が存在することがある。 As shown in FIG. 25, depending on the imaging device, there may be a time (blanking) during which exposure is not performed.
ブランキングが存在する場合には、その時間の発光部の輝度は観察できない。 If blanking is present, the brightness of the light emitting part at that time cannot be observed.
発光部が同じ信号を２回以上繰り返して送信する、または、誤り訂正符号を付加することで、ブランキングによる伝送損失を防ぐことができる。 By repeatedly transmitting the same signal twice or more by the light emitting unit or by adding an error correction code, transmission loss due to blanking can be prevented.
発光部は、同じ信号が常にブランキングの間に送信されることを防ぐために、画像を撮像する周期と互いに素となる周期、または、画像を撮像する周期より短い周期で信号を送信する。 In order to prevent the same signal from being transmitted at all times during blanking, the light emitting unit transmits a signal at a cycle that is relatively prime to the cycle of capturing an image or a cycle shorter than the cycle of capturing an image.
（信号変調方式）
搬送波に可視光を用いる場合、人間の視覚の時間分解能（５ミリ秒から２０ミリ秒程度）を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させることで、図２６のように、人間には送信装置の発光部が一様な輝度で発光しているように見えると同時に、受信装置は発光部の輝度変化を観察することができる。
(Signal modulation method)
When visible light is used as the carrier, the light emitting part is made to emit light so as to keep the moving average value of the brightness of the light emitting part constant when the time resolution of human vision (about 5 ms to 20 ms) is used as the window width. As a result, as shown in FIG. 26, the light emitting portion of the transmitting device appears to humans to emit light with a uniform brightness, and at the same time, the receiving device can observe the change in the brightness of the light emitting unit.
人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図２７に示す変調方法がある。変調後の信号が０のときは非発光、１のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は、発光時の輝度の約５０％になる。 There is a modulation method shown in FIG. 27 as a modulation method for causing the light emitting unit to emit light so as to keep the moving average value of the brightness of the light emitting unit constant when the time resolution of human vision is the window width. When the modulated signal is 0, it emits light, and when it is 1, it emits light. Assuming that the transmission signal is not biased, the average value of the brightness of the light emitting portion is about 50% of the brightness at the time of light emission.
なお、発光／非発光の切り替えは人間の視覚の時間分解能と比べて十分に高速であるとする。 It is assumed that switching between light emission and non-light emission is sufficiently faster than the time resolution of human vision.
人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図２８に示す変調方法がある。変調後の信号が０のときは非発光、１のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は発光時の輝度の約７５％になる。 There is a modulation method shown in FIG. 28 as a modulation method for causing the light emitting unit to emit light so as to keep the moving average value of the brightness of the light emitting unit constant when the time resolution of human vision is the window width. When the modulated signal is 0, it emits light, and when it is 1, it emits light. Assuming that the transmission signal is not biased, the average value of the brightness of the light emitting portion is about 75% of the brightness at the time of light emission.
図２７の変調方式と比較して、符号化効率は０．５で同等であるが、平均輝度を高くすることができる。 Compared with the modulation method of FIG. 27, the coding efficiency is 0.5, which is equivalent, but the average brightness can be increased.
人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図２９に示す変調方法がある。変調後の信号が０のときは非発光、１のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は発光時の輝度の約８７．５％になる。 There is a modulation method shown in FIG. 29 as a modulation method for causing the light emitting unit to emit light so as to keep the moving average value of the brightness of the light emitting unit constant when the time resolution of human vision is the window width. When the modulated signal is 0, it emits light, and when it is 1, it emits light. Assuming that the transmission signal is not biased, the average value of the brightness of the light emitting portion is about 87.5% of the brightness at the time of light emission.
図２７、図２８に示す変調方式と比較して、符号化効率は０．３７５と劣るが、平均輝度を高く保つことができる。 Compared with the modulation methods shown in FIGS. 27 and 28, the coding efficiency is inferior to 0.375, but the average brightness can be kept high.
以下同様にして、符号化効率とトレードオフで平均輝度を高くする変調が可能である。 In the same manner below, it is possible to perform modulation in which the average brightness is increased in a trade-off with the coding efficiency.
人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を一定に保つように発光部を発光させるような変調方式として、図３０に示す変調方法がある。 There is a modulation method shown in FIG. 30 as a modulation method for causing the light emitting unit to emit light so as to keep the moving average value of the brightness of the light emitting unit constant when the time resolution of human vision is the window width.
変調後の信号が０のときは非発光、１のときは発光とし、送信信号に偏りはないとすると、発光部の輝度の平均値は発光時の輝度の約２５％になる。 When the modulated signal is 0, it emits light, and when it is 1, it emits light. Assuming that the transmission signal is not biased, the average value of the brightness of the light emitting portion is about 25% of the brightness at the time of light emission.
図２８に示す変調方式等と組み合わせ、周期的に変調方式を交代することで、人間や露光時間が長い撮像装置にとっては、発光部が点滅しているように見せることができる。 By periodically changing the modulation method in combination with the modulation method shown in FIG. 28, the light emitting portion can appear to be blinking to a human being or an imaging device having a long exposure time.
同様に、変調方法を変化させることで、人間や露光時間が長い撮像装置にとっては、発光部が任意の輝度変化をしながら発光しているように見せることができる。 Similarly, by changing the modulation method, it is possible to make the light emitting unit appear to emit light while changing the brightness arbitrarily to a human being or an imaging device having a long exposure time.
搬送波に可視光を用いる場合、人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を周期的に変化させるように発光部を発光させることで、図３１のように、人間には発信装置の発光部が点滅、または、任意のリズムで変化しているように見えると同時に、受信装置は発光信号を観察することができる。 When visible light is used as the carrier, the light emitting unit is made to emit light so as to periodically change the moving average value of the brightness of the light emitting unit when the time resolution of human vision is the window width, as shown in FIG. To humans, the light emitting part of the transmitting device appears to be blinking or changing at an arbitrary rhythm, and at the same time, the receiving device can observe the light emitting signal.
ＬＥＤ光源をバックライトに使用した液晶ＴＶのＬＥＤ部を発光させても同様の効果が得られる。この場合、少なくとも、光通信部の画面部分のコントラストを落とし、白色に近づけることにより、誤り率の少ない光通信が可能となる。全面、もしくは、通信に使用する画面部分を白色にするとより通信速度を上げられる。 The same effect can be obtained by causing the LED portion of the liquid crystal TV that uses the LED light source as the backlight to emit light. In this case, at least the contrast of the screen portion of the optical communication unit is lowered to bring it closer to white, so that optical communication with a low error rate becomes possible. The communication speed can be further increased by making the entire surface or the screen part used for communication white.
テレビのディスプレイ等を発光部として用いる場合、人間の視覚の時間分解能を窓幅としたときの発光部の輝度の移動平均値を人間に見せたい画像の輝度になるように調整することで、図３２のように、人間には通常通りのテレビの映像が見えると同時に、受信装置は発光信号を観察することができる。 When a television display or the like is used as the light emitting part, the moving average value of the brightness of the light emitting part when the time resolution of human vision is taken as the window width is adjusted so as to be the brightness of the image desired to be shown to humans. As in 32, the receiver can observe the light emission signal at the same time that the human can see the normal television image.
撮像画像１フレームあたりの時間程度の窓幅としたときの発光部の輝度の移動平均値を、撮像フレーム毎に信号を伝送する場合の信号の値に調節することで、図３３のように、近距離から撮像した場合には露光ライン毎に送信装置の発光状態を観察し、遠距離から撮像した場合には撮像フレーム毎に送信装置の発光状態を観察することで、２種類の速度で信号伝搬が可能である。 By adjusting the moving average value of the brightness of the light emitting portion when the window width is about the time per frame of the captured image to the value of the signal when the signal is transmitted for each imaged frame, as shown in FIG. 33, When an image is taken from a short distance, the light emitting state of the transmitter is observed for each exposure line, and when an image is taken from a long distance, the light emitting state of the transmitter is observed for each imaging frame. Propagation is possible.
なお、近距離から撮像した場合には、遠距離から撮像した場合に受信可能な信号も受信可能である。 When the image is taken from a short distance, the signal that can be received when the image is taken from a long distance can also be received.
図３４は、露光時間ごとに発光がどのように観察されるかを示す図である。 FIG. 34 is a diagram showing how light emission is observed for each exposure time.
撮像した画素の輝度は、撮像素子を露光していた時間の撮像対象の平均輝度に比例するため、露光時間が短ければ２２１７ｂのように発光パターン２２１７ａがそのまま観察され、露光時間が長ければ、２２１７ｃ、２２１７ｄ、２２１７ｅのように観察される。
Since the brightness of the imaged pixel is proportional to the average brightness of the imaged object during the exposure time of the image sensor, the
なお、２２１７ａは、図２８に示す変調方式をフラクタル的に繰り返し用いた変調方式となっている。 Note that 2217a is a modulation method in which the modulation method shown in FIG. 28 is repeatedly used fractally.
このような発光パターンを利用することで、露光時間が短い撮像装置を持つ受信装置には多くの情報を、露光時間が長い撮像装置を持つ受信装置には少ない情報を同時に送信することができる。 By using such a light emission pattern, it is possible to simultaneously transmit a large amount of information to a receiving device having an imaging device having a short exposure time and a small amount of information to a receiving device having an imaging device having a long exposure time.
受信装置は、露光ラインの１ラインまたは一定数のラインにわたって、発光部推定位置の画素の輝度が一定以上であれば１、一定以下であれば０を受信したと認識する。 The receiving device recognizes that 1 is received when the brightness of the pixel at the estimated position of the light emitting unit is above a certain level and 0 is received when the brightness is below a certain level over one line of the exposure line or a certain number of lines.
１が続く場合は通常の（信号を送信しておらず常に光っている）発光部と区別がつかず、０が続く場合は発光部が存在していない場合と区別がつかない。 When 1 continues, it is indistinguishable from a normal light emitting unit (which does not transmit a signal and is always shining), and when 0 continues, it is indistinguishable from the case where the light emitting unit does not exist.
そのため、送信装置は、同じ数字が一定数連続した場合は異なる数字を送信しても良い。 Therefore, the transmitting device may transmit different numbers when the same numbers are consecutive by a certain number.
また、図３５のように、必ず１と０を含むヘッダ部と、信号を送信するボディ部に分けて送信しても良い。この場合、同じ数字は５回を超えて連続では現れない。 Further, as shown in FIG. 35, the header portion including 1 and 0 and the body portion for transmitting the signal may be separately transmitted. In this case, the same number does not appear consecutively more than 5 times.
発光部が１部の露光ラインに映らない位置にある場合や、ブランキングが存在する場合は、発光部の全ての様子を受信装置の撮像装置で捉えることはできない。 If the light emitting unit is not reflected in one exposure line, or if there is blanking, the entire state of the light emitting unit cannot be captured by the image pickup device of the receiving device.
そのため、その信号が全体のどの部分の信号であるかを示す必要がある。 Therefore, it is necessary to indicate which part of the signal the signal is.
それには、図３６のように、データ部と、データの位置を示すアドレス部をまとめて送信する方法がある。 As shown in FIG. 36, there is a method of transmitting the data unit and the address unit indicating the position of the data together.
なお、受信装置で信号の受信を容易にするためには、発光パターンが受信装置で一枚の撮像画像中に撮像されるように、データ部とアドレス部を合わせた大きさ発光パターンの長さを十分に短く設定することが望ましい。 In order to facilitate the reception of signals by the receiving device, the length of the light emitting pattern is the sum of the data part and the address part so that the light emitting pattern is captured in one captured image by the receiving device. It is desirable to set it sufficiently short.
図３７のように、送信装置は基準部とデータ部を送信し、受信装置は基準部を受信したときの時刻との差からデータの位置を認識する方法がある。 As shown in FIG. 37, there is a method in which the transmitting device transmits the reference unit and the data unit, and the receiving device recognizes the position of the data from the difference from the time when the reference unit is received.
図３８のように、送信装置は基準部とアドレスパターン部とデータ部を送信し、受信装置は基準部の次にあるアドレスパターン部から、データ部のデータとその位置のパターンを得、そのパターンと、基準部を受信した時刻と各データを受信したときの時刻との差からデータの位置を認識する方法がある。 As shown in FIG. 38, the transmitting device transmits the reference unit, the address pattern unit, and the data unit, and the receiving device obtains the data of the data unit and the pattern of the position from the address pattern unit next to the reference unit, and the pattern is obtained. There is a method of recognizing the position of the data from the difference between the time when the reference unit is received and the time when each data is received.
複数の種類のアドレスパターンが利用できることで、一様にデータを送信するだけではなく、重要性が高いデータや先に処理すべきデータを先に送信したり、他のデータより繰り返し回数を増やしたりすることができる。 By using multiple types of address patterns, not only data can be transmitted uniformly, but also important data and data to be processed first can be transmitted first, and the number of repetitions can be increased compared to other data. can do.
発光部が全部の露光ラインには映らない場合や、ブランキングが存在する場合は、発光部の全ての様子を受信装置の撮像装置で捉えることはできない。 If the light emitting part does not appear on all the exposure lines, or if there is blanking, the entire state of the light emitting part cannot be captured by the image pickup device of the receiving device.
図３９のように、ヘッダ部を付加することで、信号の区切りを検出し、アドレス部やデータ部を検出することができる。 As shown in FIG. 39, by adding the header part, it is possible to detect the signal delimiter and detect the address part and the data part.
ヘッダ部の発光パターンには、アドレス部やデータ部に現れないパターンを用いる。 For the light emission pattern of the header part, a pattern that does not appear in the address part or the data part is used.
例えば、表２２００．２ａの変調方式を用いる場合には、ヘッダ部の発光パターンを「００１１」とすることができる。 For example, when the modulation method shown in Table 2200.2a is used, the light emission pattern of the header portion can be set to "0011".
また、ヘッダ部のパターンを「１１１１００１１」とすると、平均輝度が他の部分と等しくなり、人間の目で見た時のチラツキを抑えることができる。このヘッダ部は冗長性が高いため、ここにも情報を重畳することが可能である。例えば、ヘッダ部のパターンが「１１１００１１１」の場合は、送信装置間で通信する内容を送信していることを示すことなどが可能である。 Further, when the pattern of the header portion is set to "11110011", the average brightness becomes equal to that of the other portions, and flicker when viewed by the human eye can be suppressed. Since this header part has high redundancy, it is possible to superimpose information on it as well. For example, when the pattern of the header portion is "11100111", it is possible to indicate that the content to be communicated between the transmitting devices is being transmitted.
なお、受信装置で信号の受信を容易にするためには、発光パターンが受信装置で一枚の撮像画像中に撮像されるように、データ部とアドレス部とヘッダ部を合わせた大きさ発光パターンの長さを十分に短く設定することが望ましい。 In order to facilitate signal reception by the receiving device, a light emitting pattern having a size of the data unit, the address unit, and the header unit combined so that the light emitting pattern is captured in one captured image by the receiving device. It is desirable to set the length of the.
図４０では、送信装置は、優先度によって情報の送信順序を決定する。 In FIG. 40, the transmitting device determines the transmission order of information according to the priority.
例えば、送信回数を優先度に比例させる。 For example, the number of transmissions is proportional to the priority.
受信装置は、送信装置の発光部が受信装置の撮像部いっぱいに写っていない場合やブランキングがある場合には信号を連続して受信できないため、送信される頻度が高いほど早く受信されやすい。 Since the receiving device cannot continuously receive the signal when the light emitting portion of the transmitting device does not fill the image area of the receiving device or when there is blanking, the higher the frequency of transmission, the faster the receiving device is likely to be received.
図４１は、近くに存在する複数の送信装置が同調して情報を送信するパターンを示す。 FIG. 41 shows a pattern in which a plurality of transmitting devices existing in the vicinity synchronize and transmit information.
複数の送信装置が共通情報を同時に送信することで、一つの大きな送信装置とみなすことができ、受信装置の撮像部で大きく撮像することができるため、情報をより速く、より遠くからでも受信可能となる。 By transmitting common information at the same time by multiple transmitters, it can be regarded as one large transmitter, and the image pickup unit of the receiver can take a large image, so information can be received faster and from a greater distance. It becomes.
送信装置は、近くに存在する送信装置の発光パターンと混同されないように、近くの送信装置の発光部が一様発光（信号を送信していない）時間帯に、個別情報を送信する。 The transmitting device transmits individual information during a time zone in which the light emitting unit of the nearby transmitting device emits uniform light (not transmitting a signal) so as not to be confused with the light emitting pattern of a nearby transmitting device.
送信装置は、近くに存在する送信信号の発光パターンを受光部で受光することで、近くに存在する送信装置の発光パターンを学習し、自身の発光パターンを定めるとしても良い。また、送信装置は、近くに存在する送信信号の発光パターンを受光部で受光することで、他の送信装置の命令によって自身の発光パターンを定めるとしても良い。また、送信装置は、集中制御装置の命令に従って、発光パターンを定めるとしても良い。 The transmitting device may learn the light emitting pattern of the transmitting device existing nearby by receiving the light emitting pattern of the transmitting signal existing nearby by the light receiving unit, and determine its own light emitting pattern. Further, the transmitting device may determine its own light emitting pattern by a command of another transmitting device by receiving a light emitting pattern of a transmission signal existing nearby at the light receiving unit. Further, the transmitting device may determine the light emission pattern according to the instruction of the centralized control device.
（発光部の検出）
撮像画像のどの部分に発光部が撮像されているかを判断する方法として、図４２のように、露光ラインに垂直な方向に、発光部が撮像されたライン数を数え、最も多く発光部が撮像された列を発光部の存在する列とする方法がある。
(Detection of light emitting part)
As a method of determining which part of the captured image the light emitting portion is imaged, as shown in FIG. 42, the number of lines captured by the light emitting portion is counted in the direction perpendicular to the exposure line, and the most light emitting portion is imaged. There is a method in which the row is the row in which the light emitting unit exists.
発光部の端に近い部分は、受光の度合いにゆらぎがあり、発光部が撮像されているかどうかの判断を誤りやすいため、最も多く発光部が撮像された列の中でも中央の列の画素の撮像結果から信号を取り出す。 In the part near the edge of the light emitting part, the degree of light reception fluctuates, and it is easy to make a mistake in determining whether or not the light emitting part is imaged. Extract the signal from the result.
撮像画像のどの部分に発光部が撮像されているかを判断する方法として、図４３のように、露光ライン毎に発光部を撮像した部分の中点を求め、求めた点を結ぶ近似線（直線、または、二次曲線）上に発光部が存在すると推定する方法がある。 As a method of determining which part of the captured image the light emitting portion is imaged, as shown in FIG. 43, the midpoint of the portion where the light emitting portion is imaged is obtained for each exposure line, and an approximate line (straight line) connecting the obtained points is obtained. , Or there is a method of presuming that the light emitting part exists on the quadratic curve).
図４４のように、前のフレームにおける発光部の推定位置を事前確率とし、現在のフレームの情報から発光部の推定位置を更新しても良い。 As shown in FIG. 44, the estimated position of the light emitting unit in the previous frame may be set as a prior probability, and the estimated position of the light emitting unit may be updated from the information of the current frame.
なお、この間の９軸センサやジャイロセンサの値から、現在の発光部の推定位置を更新しても良い。 The current estimated position of the light emitting unit may be updated from the values of the 9-axis sensor and the gyro sensor during this period.
図４５を解説すると、撮像範囲が２２１２ａのとき、発光部２２１２ｂを撮像すると、撮像画像２２１２ｃ、２２１２ｄ、２２１２ｅのような画像が撮像される。
To explain FIG. 45, when the
撮像画像２２１２ｃ、２２１２ｄ、２２１２ｅの発光部分の和を取ると、合成画像２２１２ｆが得られ、撮像画像中の発光部位置を特定することができる。
By summing the light emitting portions of the captured
受信装置は、特定した発光部の位置から、発光部の発光のオンオフを検出する。 The receiving device detects on / off of the light emission of the light emitting unit from the position of the specified light emitting unit.
なお、図２８に示す調方式を用いる場合、発光確率は０．７５であるため、ｎ枚の画像の和をとった時に、合成画像２２１２ｆ中の発光部が発光して見える確率は、１−０．２５ｎである。ここで、例えば、ｎ＝３のとき、この確率は約０．９８４となる。
When the key method shown in FIG. 28 is used, the emission probability is 0.75. Therefore, when the sum of the n images is taken, the probability that the light emitting portion in the
なお、ジャイロセンサや９軸センサのセンサ値から撮像部の姿勢を推定し、撮像方向の補償を行った上で画像を合成したほうが精度は高くなる。しかし、合成画像数が少ない場合は撮像時間が短いため、撮像方向の補償を行わなくても悪影響は少ない。 The accuracy is higher when the posture of the imaging unit is estimated from the sensor values of the gyro sensor and the 9-axis sensor, the imaging direction is compensated, and then the images are combined. However, when the number of composite images is small, the imaging time is short, so that there is little adverse effect even if the imaging direction is not compensated.
図４６は、受信装置が複数の発光部を撮像した場合を示す図である。 FIG. 46 is a diagram showing a case where the receiving device images a plurality of light emitting units.
複数の発光部が同じ信号を発している場合は、両方の発光パターンから一つの送信信号を取得する。複数の発光部が異なる信号を発している場合は、別々の発光パターンから別々の送信信号を取得する。 When a plurality of light emitting units emit the same signal, one transmission signal is acquired from both light emission patterns. When a plurality of light emitting units emit different signals, different transmission signals are acquired from different light emission patterns.
送信信号の同じアドレスのデータ値が異なる場合は、異なる信号が送信されている。なお、送信信号のヘッダ部のパターンによって、近くの送信装置と同じ、または、異なる信号を送信していると判断しても良い。 If the data values of the same address of the transmission signal are different, different signals are transmitted. Depending on the pattern of the header portion of the transmission signal, it may be determined that the same or different signal as the nearby transmission device is being transmitted.
発光部がほぼ隣接している場合は、同じ信号を送信しているとみなしても良い。 When the light emitting units are substantially adjacent to each other, it may be considered that the same signal is transmitted.
図４７に、このときの送信信号のタイムラインと、発光部を撮像した画像を示す。 FIG. 47 shows a timeline of the transmission signal at this time and an image of the light emitting unit.
（位置パターンによる信号の伝送）
図４８で、発光部２２１６ａ、２２１６ｃ、２２１６ｅは一様に発光しており、発光部２２１６ｂ、２２１６ｄ、２２１６ｆは、発光パターンにより信号を発信している。なお、発光部２２１６ｂ、２２１６ｄ、２２１６ｆは、単純に、受信装置が露光ラインごとに撮像すれば縞模様に見えるように発光しているだけでも良い。
(Signal transmission by position pattern)
In FIG. 48, the light emitting units 2216a, 2216c, and 2216e emit light uniformly, and the light emitting units 2216b, 2216d, and 2216f emit signals according to the light emission pattern. The light emitting units 2216b, 2216d, and 2216f may simply emit light so as to appear as a striped pattern if the receiving device takes an image for each exposure line.
図４８では、発光部２２１６ａ〜２２１６ｆは、同一の送信装置の発光部でも、別々の送信装置でも良い。 In FIG. 48, the light emitting units 2216a to 2216f may be the light emitting units of the same transmitter or separate transmitters.
送信装置は、信号を送信している発光部の位置と、送信していない発光部の位置のパターン（位置パターン）によって、送信する信号を表現する。 The transmitting device expresses a signal to be transmitted by a pattern (position pattern) of the position of the light emitting unit that is transmitting the signal and the position of the light emitting unit that is not transmitting the signal.
図４８では、６個の発信部があるため、２の６乗＝６４値の信号を送信可能である。異なる方向から見れば同一に見える位置パターンは使用するべきではないが、受信装置の９軸センサなどにより撮像方向を特定することで、上記のようなパターンを識別することもできる。なお、どの発光部が信号を送信しているかを時刻によって変化させることで、より多くの信号を送信しても良い。 In FIG. 48, since there are six transmitters, it is possible to transmit a signal of 2 to the 6th power = 64 values. Position patterns that look the same when viewed from different directions should not be used, but the above patterns can be identified by specifying the imaging direction with a 9-axis sensor of the receiving device or the like. It should be noted that more signals may be transmitted by changing which light emitting unit is transmitting the signal depending on the time.
送信装置は、一部の時間帯に位置パターンによる信号送信を行い、別の時間帯には発光パターンで信号を送信することもできる。例えば、一部の時間帯で、全ての発光部を同調させて送信装置のＩＤや位置情報を発光パターンで送信することができる。 The transmission device can also transmit a signal according to a position pattern in a part of the time zone and transmit a signal in a light emission pattern in another time zone. For example, it is possible to synchronize all the light emitting units and transmit the ID and position information of the transmitting device in a light emitting pattern in a part of the time zone.
発光部の配置パターンはほぼ無限に存在するため、受信装置が全ての位置パターンを予め記憶しておくことは困難である。 Since the arrangement pattern of the light emitting unit exists almost infinitely, it is difficult for the receiving device to store all the position patterns in advance.
そこで、受信装置は、送信装置が発光パターンによって送信した送信装置のＩＤや位置情報や、無線基地局による受信装置の推定位置や、ＧＰＳやジャイロセンサや９軸センサによって推定した受信装置の位置情報をキーに、サーバから、付近に存在する位置パターンのリストを取得し、そのリストを基に位置パターンを解析する。 Therefore, the receiving device uses the ID and position information of the transmitting device transmitted by the transmitting device according to the light emission pattern, the estimated position of the receiving device by the radio base station, and the position information of the receiving device estimated by the GPS, the gyro sensor, or the 9-axis sensor. With the key, a list of position patterns existing in the vicinity is acquired from the server, and the position pattern is analyzed based on the list.
この方式によれば、位置パターンで表現する信号は全世界でユニークである必要はなく、同じ位置パターンが近く（半径数メートルから３００メートル程度）に存在しなければ良く、発光部が少ない送信装置は表現できる位置パターンの数が少ないという問題を解決できる。 According to this method, the signal represented by the position pattern does not have to be unique in the world, the same position pattern does not have to exist nearby (a radius of several meters to 300 meters), and the transmitter has few light emitting parts. Can solve the problem that the number of position patterns that can be expressed is small.
発光部の大きさや形状や位置情報をサーバから取得し、これらの情報と、撮像した位置パターンの大きさや形状と、撮像部のレンズ特性から、受信装置の位置を推定することができる。 The size, shape, and position information of the light emitting unit can be acquired from the server, and the position of the receiving device can be estimated from these information, the size and shape of the captured position pattern, and the lens characteristics of the imaging unit.
（受信装置）
主に受信を行う通信装置としては、図４９のように、携帯電話やデジタルスチルカメラやデジタルビデオカメラやヘッドマウントディスプレイやロボット（掃除用、介護用、産業用等）や監視カメラ等が考えられる。ただし、受信装置はこれらに限定されない。
(Receiver)
As a communication device that mainly receives, as shown in FIG. 49, a mobile phone, a digital still camera, a digital video camera, a head-mounted display, a robot (for cleaning, nursing care, industrial use, etc.), a surveillance camera, etc. can be considered. .. However, the receiving device is not limited to these.
なお、受信装置とは、主に信号を受信する通信装置であって、本実施の形態の方式やその他の方式によって信号の送信を行うこともある。 The receiving device is a communication device that mainly receives signals, and may transmit signals by the method of the present embodiment or other methods.
（送信装置）
主に送信を行う通信装置としては、図５０のように、照明（家庭用、店舗用、オフィス用、地下街用、街路用等）、懐中電灯、家電、ロボット、その他電子機器が考えられる。ただし、送信装置はこれらに限定しない。
(Transmitter)
As a communication device that mainly transmits, as shown in FIG. 50, lighting (for home, store, office, underground mall, street, etc.), flashlight, home appliance, robot, and other electronic devices can be considered. However, the transmitting device is not limited to these.
なお、送信装置とは、主に信号を送信する通信装置であって、本実施の形態の方式やその他の方式によって信号の受信を行うこともある。 The transmitting device is a communication device that mainly transmits signals, and may receive signals by the method of the present embodiment or other methods.
発光部は、図５１に示すように、ＬＥＤ照明やＬＥＤバックライトを用いた液晶等のように、発光／非発光のスイッチングが高速であるものが望ましい。ただし、発光部はこれらに限定するものではない。 As shown in FIG. 51, it is desirable that the light emitting unit has a high-speed light-emitting / non-light-emitting switching, such as an LED illumination or a liquid crystal using an LED backlight. However, the light emitting unit is not limited to these.
発光部には、上記の他、蛍光灯や白熱電灯や水銀灯や有機ＥＬディスプレイなどの照明が考えられる。 In addition to the above, the light emitting unit may be illuminated by a fluorescent lamp, an incandescent lamp, a mercury lamp, an organic EL display, or the like.
なお、発光部が大きく撮像されるほうが、伝送効率が高くなるため、送信装置は、図５２のように、同期して発光する発光部を複数備えても良い。また、撮像素子の露光ラインと垂直の方向に大きく映るほど伝送効率は高くなるため、発光部は一列に並べて設置しても良い。また、受信装置を自然に構えた場合に露光ラインと垂直に発光部を並べても良い。また、複数の向きから撮像されることが予想される場合には、図５３のように、十字形に発光部を配置しても良い。また、複数の向きから撮像されることが予想される場合には、図５４のように、円形の発光部を用いたり、円形に発光部を配置したりしても良い。また、大きく撮像するほうが、伝送効率が高くなるため、送信装置は、図５５のように、発光部に散光板をかぶせても良い。 Since the transmission efficiency is higher when the light emitting unit is imaged larger, the transmission device may be provided with a plurality of light emitting units that emit light in synchronization as shown in FIG. Further, since the transmission efficiency increases as the image is projected larger in the direction perpendicular to the exposure line of the image sensor, the light emitting units may be installed side by side in a row. Further, when the receiving device is naturally held, the light emitting unit may be arranged perpendicular to the exposure line. Further, when it is expected that the image is taken from a plurality of directions, the light emitting portion may be arranged in a cross shape as shown in FIG. 53. Further, when it is expected that the image is taken from a plurality of directions, a circular light emitting portion may be used or the light emitting portion may be arranged in a circular shape as shown in FIG. 54. Further, since the transmission efficiency becomes higher when the image is enlarged, the transmitting device may cover the light emitting portion with a diffuser plate as shown in FIG. 55.
図５６のように、異なる信号を送信する発光部は、同時に撮像されないように距離を離して配置する。また、図５７のように、異なる信号を送信する発光部は、同時に撮像されないように、間に信号を送信しない発光部を配置する。 As shown in FIG. 56, the light emitting units that transmit different signals are arranged at a distance so as not to be imaged at the same time. Further, as shown in FIG. 57, the light emitting units that transmit different signals are arranged with the light emitting units that do not transmit signals in between so that they are not imaged at the same time.
（発光部の構造）
図５８は、発光部の望ましい構造を示す図である。
(Structure of light emitting part)
FIG. 58 is a diagram showing a desirable structure of the light emitting unit.
２３１１ａのように、発光部とその周囲の素材を反射率の低いものにすることで、発光部周辺に光があたっている場合でも、受信装置が発光の様子を認識することを容易にすることができる。また、２３１１ｂのように、外光を妨げるかさを設けることで、発光部周辺に光が当たらす、受信装置が発光の様子を認識することを容易にすることができる。また、２３１１ｃのように、奥まった部分に発光部を設けることで、発光部周辺に光が当たらす、受信装置が発光の様子を認識することを容易にすることができる。 By making the light emitting part and the material around it having low reflectance as in 2311a, it is easy for the receiving device to recognize the state of light emission even when the light is shining around the light emitting part. Can be done. Further, by providing a bulk that blocks external light as in 2311b, it is possible to facilitate the receiving device to recognize the state of light emission when the light shines around the light emitting portion. Further, by providing the light emitting portion in the recessed portion as in 2311c, it is possible to facilitate the receiving device to recognize the state of light emission when the light is applied to the periphery of the light emitting portion.
（信号搬送波）
信号を搬送する光（電磁波）は、受信装置が受光可能な、図５９に示す近赤外線帯〜可視光帯〜近紫外線帯の周波数帯の光（電磁波）を用いる。
(Signal carrier)
As the light (electromagnetic wave) that carries the signal, the light (electromagnetic wave) in the frequency band of the near infrared band to the visible light band to the near ultraviolet band shown in FIG. 59, which can be received by the receiving device, is used.
（撮像部）
図６０では、受信装置の撮像部は、撮像範囲２３１０ａの中にパターン発光をしている発光部２３１０ｂを検出する。
(Image pickup unit)
In FIG. 60, the imaging unit of the receiving device detects the
撮像制御部は、他の露光ラインを用いる代わりに、発光部の中心位置の露光ライン２３１０ｃを繰り返し用いて撮像画像２３１０ｄを取得する。
Instead of using another exposure line, the image pickup control unit repeatedly uses the
撮像画像２３１０ｄは、露光時間の異なる同じ場所の画像となる。撮像画像２３１０ｄの発光部が写っている画素を露光ラインと垂直方向に走査することで、発光部の発光パターンを観察できる。 The captured image 2310d is an image of the same place having a different exposure time. By scanning the pixel in which the light emitting portion of the captured image 2310d is captured in the direction perpendicular to the exposure line, the light emitting pattern of the light emitting portion can be observed.
この方法により、発光部が撮像画像中の一部分にしか存在しない場合でも、発光部の輝度変化をより長い時間観察できる。そのため、小さな発光部や、発光部を遠くから撮像した場合でも信号を読み取ることが可能となる。 According to this method, even if the light emitting portion is present only in a part of the captured image, the change in brightness of the light emitting portion can be observed for a longer time. Therefore, it is possible to read a signal even when a small light emitting unit or a light emitting unit is imaged from a distance.
ブランキングがない場合には、この方法により、撮像装置の一部分にでも発光部が写っていれば、発光部の輝度変化を全て観察することができる。 When there is no blanking, by this method, if the light emitting portion is captured even in a part of the image pickup apparatus, all the changes in the brightness of the light emitting portion can be observed.
一つのラインを露光する時間が、次のラインを露光し始めるまでの時間より長い場合は、発光部の中心の複数の露光ラインを用いて撮像することで、同様の効果が得られる。 When the time for exposing one line is longer than the time for starting to expose the next line, the same effect can be obtained by taking an image using a plurality of exposure lines at the center of the light emitting portion.
なお、画素単位での制御が可能である場合は、発光部の中心に最も近い点のみ、あるいはその付近の複数の点のみを用いて撮像を行う。このとき、各画素の露光開始時刻をずらすことで、さらに細かい周期で発光部の発光状態を検出することができる。 When control is possible on a pixel-by-pixel basis, imaging is performed using only the point closest to the center of the light emitting unit or a plurality of points in the vicinity thereof. At this time, by shifting the exposure start time of each pixel, it is possible to detect the light emitting state of the light emitting unit at a finer cycle.
なお、主に２３１０ｃの露光ラインを使用しつつ、まれに別の露光ラインを使用して撮像し、撮像画像を合成することで、通常より解像度やフレームレートは劣るものの、通常通り撮像した撮像画像と類似した画像（映像）を合成できる。この合成画像をユーザに表示することでユーザに受信装置を操作させたり、手振れの補正に利用したりすることができる。 It should be noted that, while mainly using the 2310c exposure line, in rare cases, another exposure line is used for imaging, and the captured image is combined. Images (videos) similar to the above can be combined. By displaying this composite image to the user, the user can operate the receiving device or use it for image stabilization.
なお、手振れの補正には、ジャイロセンサや９軸センサなどのセンサ値を利用したり、発光部を撮影している撮像装置とは別の撮像装置で撮像した画像を利用したりすることもできる。 For image stabilization, sensor values such as a gyro sensor and a 9-axis sensor can be used, or an image captured by an image pickup device different from the image pickup device that captures the light emitting portion can be used. ..
なお、発光部の端よりも中心に近いほうが、手振れ時に発光部が露光ラインや露光画素から外れにくいため、発光部の中心に近い部分を露光ラインや露光画素とすることが望ましい。 It is desirable that the portion closer to the center of the light emitting portion is the exposure line or the exposure pixel because the light emitting portion is less likely to deviate from the exposure line or the exposure pixel when the camera shakes.
なお、発光部の辺縁部は発光輝度が低いため、なるべく発光部の周囲から遠く、輝度が高い部分を露光ラインや露光画素とすることが望ましい。 Since the edge portion of the light emitting portion has low emission brightness, it is desirable to use an exposure line or an exposure pixel as a portion having high brightness as far as possible from the periphery of the light emitting portion.
（受信装置の位置の推定）
図６１では、送信装置は自身の設置されている位置情報と、発光装置の大きさと、発光装置の形状と、送信装置のＩＤとを送信する。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。
(Estimation of the position of the receiver)
In FIG. 61, the transmitting device transmits its own position information, the size of the light emitting device, the shape of the light emitting device, and the ID of the transmitting device. Here, the position information includes the latitude and longitude of the central portion of the light emitting device, the altitude, the height from the floor surface, and the like.
受信装置は、９軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、送信装置から送信された発光装置の大きさと形状と、撮像された画像中の発光装置の大きさと形状と、撮像装置の情報から、受信装置から発光装置までの距離を推定する。ここで、撮像装置の情報には、レンズの焦点距離や、レンズの歪みや、撮像素子の大きさや、レンズと撮像素子間の距離や、基準サイズの物体の撮像画像中の大きさと撮像装置から撮像物体までの距離の対照表等が含まれる。 The receiving device estimates the imaging direction from the information obtained from the 9-axis sensor and the gyro sensor. The receiving device estimates the distance from the receiving device to the light emitting device from the size and shape of the light emitting device transmitted from the transmitting device, the size and shape of the light emitting device in the captured image, and the information of the imaging device. Here, the information of the image pickup device includes the focal length of the lens, the distortion of the lens, the size of the image pickup element, the distance between the lens and the image pickup element, the size of the reference size object in the captured image, and the image pickup device. A comparison table of the distance to the imaged object and the like are included.
また、受信装置は、送信装置から送信された情報と、撮像方向と、受信装置から発光装置までの距離とから、受信装置の位置情報を推定する。 Further, the receiving device estimates the position information of the receiving device from the information transmitted from the transmitting device, the imaging direction, and the distance from the receiving device to the light emitting device.
図６２では、送信装置は自身の設置されている位置情報と、発光部の大きさと、発光部の形状と、送信装置のＩＤとを送信する。ここで、位置情報には、発光部の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。 In FIG. 62, the transmitting device transmits its own position information, the size of the light emitting unit, the shape of the light emitting unit, and the ID of the transmitting device. Here, the position information includes the latitude and longitude of the central portion of the light emitting portion, the altitude, the height from the floor surface, and the like.
受信装置は、９軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、送信装置から送信された発光部の大きさと形状と、撮像された画像中の発光部の大きさと形状と、撮像装置の情報から、受信装置から発光部までの距離を推定する。ここで、撮像装置の情報には、レンズの焦点距離や、レンズの歪みや、撮像素子の大きさや、レンズと撮像素子間の距離や、基準サイズの物体の撮像画像中の大きさと撮像装置から撮像物体までの距離の対照表等が含まれる。 The receiving device estimates the imaging direction from the information obtained from the 9-axis sensor and the gyro sensor. The receiving device estimates the distance from the receiving device to the light emitting unit from the size and shape of the light emitting unit transmitted from the transmitting device, the size and shape of the light emitting unit in the captured image, and the information of the imaging device. Here, the information of the image pickup device includes the focal length of the lens, the distortion of the lens, the size of the image pickup element, the distance between the lens and the image pickup element, the size of the reference size object in the captured image, and the image pickup device. A comparison table of the distance to the imaged object and the like are included.
また、受信装置は、送信装置から送信された情報と、撮像方向と、受信装置から発光部までの距離とから、受信装置の位置情報を推定する。受信装置は、９軸センサとジャイロセンサから得た情報により、移動方向と移動距離を推定する。受信装置は、複数の地点で推定した位置情報と、移動方向と移動距離から推定したその地点間の位置関係を用いて、受信装置の位置情報を推定する。 Further, the receiving device estimates the position information of the receiving device from the information transmitted from the transmitting device, the imaging direction, and the distance from the receiving device to the light emitting unit. The receiving device estimates the moving direction and the moving distance from the information obtained from the 9-axis sensor and the gyro sensor. The receiving device estimates the position information of the receiving device by using the position information estimated at a plurality of points and the positional relationship between the points estimated from the moving direction and the moving distance.
例えば、地点
また、図６２では、送信装置は自身の設置されている位置情報と、送信装置のＩＤとを送信してもよい。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。 Further, in FIG. 62, the transmitting device may transmit its own installed position information and the ID of the transmitting device. Here, the position information includes the latitude and longitude of the central portion of the light emitting device, the altitude, the height from the floor surface, and the like.
この場合、受信装置は、９軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、三点測量の方法で受信装置の位置情報を推定する。 In this case, the receiving device estimates the imaging direction from the information obtained from the 9-axis sensor and the gyro sensor. The receiving device estimates the position information of the receiving device by a three-point surveying method.
図６３では、送信装置は送信装置のＩＤを送信する。 In FIG. 63, the transmitting device transmits the ID of the transmitting device.
受信装置は送信装置のＩＤを受信し、インターネットから送信装置の設置されている位置情報と、発光装置の大きさと、発光装置の形状等を得る。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。 The receiving device receives the ID of the transmitting device, and obtains the position information on which the transmitting device is installed, the size of the light emitting device, the shape of the light emitting device, and the like from the Internet. Here, the position information includes the latitude and longitude of the central portion of the light emitting device, the altitude, the height from the floor surface, and the like.
受信装置は、９軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、送信装置から送信された発光装置の大きさと形状と、撮像された画像中の発光装置の大きさと形状と、撮像装置の情報から、受信装置から発光装置までの距離を推定する。ここで、撮像装置の情報には、レンズの焦点距離や、レンズの歪みや、撮像素子の大きさや、レンズと撮像素子間の距離や、基準サイズの物体の撮像画像中の大きさと撮像装置から撮像物体までの距離の対照表等が含まれる。 The receiving device estimates the imaging direction from the information obtained from the 9-axis sensor and the gyro sensor. The receiving device estimates the distance from the receiving device to the light emitting device from the size and shape of the light emitting device transmitted from the transmitting device, the size and shape of the light emitting device in the captured image, and the information of the imaging device. Here, the information of the image pickup device includes the focal length of the lens, the distortion of the lens, the size of the image pickup element, the distance between the lens and the image pickup element, the size of the reference size object in the captured image, and the image pickup device. A comparison table of the distance to the imaged object and the like are included.
また、受信装置は、インターネットから得た情報と、撮像方向と、受信装置から発光装置までの距離とから、受信装置の位置情報を推定する。 Further, the receiving device estimates the position information of the receiving device from the information obtained from the Internet, the imaging direction, and the distance from the receiving device to the light emitting device.
図６４では、送信装置は自身の設置されている位置情報と、送信装置のＩＤとを送信する。ここで、位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。 In FIG. 64, the transmitting device transmits its own installed position information and the ID of the transmitting device. Here, the position information includes the latitude and longitude of the central portion of the light emitting device, the altitude, the height from the floor surface, and the like.
受信装置は、９軸センサとジャイロセンサから得た情報により撮像方向を推定する。受信装置は、三角測量の方法で受信装置の位置情報を推定する。 The receiving device estimates the imaging direction from the information obtained from the 9-axis sensor and the gyro sensor. The receiving device estimates the position information of the receiving device by a method of triangulation.
図６５では、送信装置は自身の設置されている位置情報と、送信装置のＩＤとを送信する。位置情報には、発光装置の中心部分の緯度や、経度や、標高や、床面からの高さ等が含まれる。 In FIG. 65, the transmitting device transmits its own installed position information and the ID of the transmitting device. The position information includes the latitude and longitude of the central portion of the light emitting device, the altitude, the height from the floor surface, and the like.
受信装置は、９軸ジャイロセンサから得た情報により撮像方向を推定する。受信装置は、三角測量の方法で受信装置の位置情報を推定する。また、受信装置は、ジャイロセンサや９軸センサから、受信装置の姿勢変化や移動を推定する。なお、受信装置は、同時に、９軸センサの零点調整やキャリブレーションを行なっても良い。 The receiving device estimates the imaging direction from the information obtained from the 9-axis gyro sensor. The receiving device estimates the position information of the receiving device by a method of triangulation. In addition, the receiving device estimates the attitude change and movement of the receiving device from the gyro sensor and the 9-axis sensor. The receiving device may simultaneously adjust the zero point of the 9-axis sensor and calibrate it.
（送信情報の設定）
図６６では、受信装置２６０６ｃで送信装置２６０６ｂの発光パターンを撮像して送信された信号を取得し、受信装置の位置を推定する。
(Setting of transmission information)
In FIG. 66, the receiving
受信装置２６０６ｃは、移動されている間に、撮像画像の変化や、９軸センサやジャイロセンサのセンサ値から、移動の距離と方向を推定する。
The receiving
受信装置は、送信装置２６０６ａの受光部を撮像し、発光部の中心位置を推定し、その位置を送信装置に送信する。
The receiving device takes an image of the light receiving unit of the
発光部の位置推定には、発光装置の大きさの情報が必要であるため、送信装置は、送信する情報の一部が欠けている場合でも、発光部の大きさ情報を送信しているほうが望ましい。なお、発光部の大きさがわからない場合は、受信装置に位置推定に利用した送信装置２６０６ｂと受信装置２６０６ｃとの間の距離から天井の高さを推定し、その結果を利用して送信装置２６０６ａと受信装置２６０６ｃとの間の距離を推定する。
Since the position estimation of the light emitting unit requires information on the size of the light emitting device, it is better for the transmitting device to transmit the size information of the light emitting unit even if a part of the information to be transmitted is missing. desirable. If the size of the light emitting unit is unknown, the height of the ceiling is estimated from the distance between the transmitting
送信には、発光パターンによる送信や、音のパターンによる送信や、無線電波による送信方式がある。送信装置の発光パターンとその時刻を記憶しておき、あとで送信装置や集中制御装置へ送信するとしても良い。 Transmission includes transmission using a light emission pattern, transmission based on a sound pattern, and transmission using wireless radio waves. The light emission pattern of the transmission device and its time may be stored and later transmitted to the transmission device or the centralized control device.
送信装置や集中制御装置は、発光パターンとその時刻から、受信装置が撮像していた送信装置を特定し、位置情報を送信装置へ記憶させる。 The transmitting device and the centralized control device identify the transmitting device imaged by the receiving device from the light emission pattern and the time, and store the position information in the transmitting device.
図６７では、受信装置の撮像した画像中の点として送信装置の一点を指定することで、位置を設定する点を指定する。 In FIG. 67, a point for setting a position is designated by designating one point of the transmitting device as a point in the image captured by the receiving device.
受信装置は、位置設定点から送信装置の発光部の中心への位置関係を計算し、設定する位置にその位置関係を加えた位置を送信装置へ送信する。 The receiving device calculates the positional relationship from the position setting point to the center of the light emitting unit of the transmitting device, and transmits the position obtained by adding the positional relationship to the set position to the transmitting device.
図６８では、受信装置は、送信装置を撮像することで、送信された信号を受信する。受信した信号を基に、サーバや電子機器と通信を行う。 In FIG. 68, the receiving device receives the transmitted signal by imaging the transmitting device. Communicates with servers and electronic devices based on the received signals.
例えば、受信装置は、信号に含まれる送信装置のＩＤをキーに、サーバから、送信装置の情報や、送信装置の位置・大きさや、その位置に関連するサービス情報等を取得する。 For example, the receiving device acquires information on the transmitting device, the position / size of the transmitting device, service information related to the position, and the like from the server using the ID of the transmitting device included in the signal as a key.
また、例えば、受信装置は、信号に含まれる送信装置の位置から受信装置の位置を推定し、サーバから、地図情報や、その位置に関連するサービス情報等を取得する。 Further, for example, the receiving device estimates the position of the receiving device from the position of the transmitting device included in the signal, and acquires map information, service information related to the position, and the like from the server.
また、例えば、受信装置は、現在の大まかな位置をキーに、サーバから、付近の送信装置の変調方式を取得する。 Further, for example, the receiving device acquires the modulation method of the nearby transmitting device from the server using the current rough position as a key.
また、例えば、受信装置は、信号に含まれる送信装置のＩＤをキーに、サーバに、受信装置や送信装置の位置情報や、付近の情報や、受信装置が付近で行った処理の情報をサーバに登録する。 Further, for example, the receiving device uses the ID of the transmitting device included in the signal as a key to send the position information of the receiving device and the transmitting device, information on the vicinity, and information on the processing performed by the receiving device in the vicinity to the server. Register with.
また、例えば、受信装置は、信号に含まれる送信装置のＩＤをキーに、電子機器の操作を行う。 Further, for example, the receiving device operates the electronic device by using the ID of the transmitting device included in the signal as a key.
（受信装置のブロック図）
図６９は、受信装置を示す構成図である。受信装置はこの全部、または、撮像部と信号解析部を含む一部から構成される。なお、図６９で同じ名称のブロックは、同一のものが兼ねても良いし、異なるものであっても良い。
(Block diagram of receiver)
FIG. 69 is a configuration diagram showing a receiving device. The receiving device is composed of all of them or a part including an imaging unit and a signal analysis unit. The blocks having the same name in FIG. 69 may be the same block or may be different blocks.
狭義の受信装置は、スマートフォンやデジタルカメラ等に備えられる。入力部２４００ｈは、ユーザ操作入力部２４００ｉや、照度センサ２４００ｊや、マイクロフォン２４００ｋや、計時部２４００ｎや、位置推定部２４００ｍや、通信部２４００ｐの全部、または、一部から構成される。
The receiving device in a narrow sense is provided in a smartphone, a digital camera, or the like. The
撮像部２４００ａは、レンズ２４００ｂや、撮像素子２４００ｃや、フォーカス制御部２４００ｄや、撮像制御部２４００ｅや、信号検出部２４００ｆや、撮像情報記憶部２４００ｇの全部、または、一部から構成される。撮像部２４００ａは、ユーザの操作や、照度の変化や、音や声のパターンや、特定の時刻になったことや、特定の場所に受信装置が移動してきたことや、通信部を介して他の装置に命令されることで、撮像を開始する。
The
フォーカス制御部２４００ｄは、送信装置の発光部２４００ａｅにフォーカスを合わせたり、送信装置の発光部２４００ａｅが大きく映るようにぼかすようにフォーカスを合わせたりといった制御を行う。
The
露光制御部２４００ａｋは、露光時間と露光ゲインを設定する。 The exposure control unit 2400ak sets the exposure time and the exposure gain.
撮像制御部２４００ｅは、撮像する位置を特定の画素に限定する。
The image
信号検出部２４００ｆは、撮像画像中から、送信装置の発光部２４００ａｅが含まれる画素や、発光による信号送信が含まれる画素を検出する。
The
撮像情報記憶部２４００ｇは、フォーカス制御部２４００ｄの制御情報や、撮像制御部２４００ｅの制御情報や、信号検出部２４００ｆで検出した情報を記憶する。撮像装置が複数ある場合には、同時に撮像を行い、一方を受信装置の位置や姿勢の推定に利用しても良い。
The imaging
発光制御部２４００ａｄは、入力部２４００ｈからの入力により、発光部２４００ａｅの発光パターンを制御することで、信号を送信する。発光制御部２４００ａｄは、発光部２４００ａｅを発光させた時刻を計時部２４００ａｃから取得して記録する。
The light emitting control unit 2400ad transmits a signal by controlling the light emitting pattern of the light emitting unit 2400ae by the input from the
撮像画像記憶部２４００ｗは、撮像部２４００ａで撮像した画像を記憶する。
The captured
信号解析部２４００ｙは、撮像素子のラインごとの露光時間の違いを利用して、撮像された送信装置の発光部２４００ａｅの発光パターンから、変調方式記憶部２４００ａｆに記憶された変調方式を基に、送信された信号を取得する。
The
受信信号記憶部２４００ｚは、信号解析部２４００ｙで解析された信号を記憶する。
The received
センサ部２４００ｑは、ＧＰＳ２４００ｒや、磁気センサ２４００ｔや、加速度センサ２４００ｓや、ジャイロセンサ２４００ｕの全部、または一部から構成される。磁気センサ２４００ｔおよび加速度センサ２４００ｓはそれぞれ９軸センサであってもよい。
The
位置推定部は、センサ部からの情報や、撮像画像や、受信した信号から、受信装置の位置や姿勢を推定する。 The position estimation unit estimates the position and orientation of the receiving device from the information from the sensor unit, the captured image, and the received signal.
演算部２４００ａａは、受信した信号や、受信装置の推定位置や、これらを基にネットワーク２４００ａｈから得た情報（地図や場所に関連した情報や送信装置に関連した情報等）を表示部２４００ａｂに表示させる。 The calculation unit 2400aa displays the received signal, the estimated position of the receiving device, and the information obtained from the network 2400ah based on these (information related to the map and location, information related to the transmitting device, etc.) on the display unit 2400ab. Let me.
演算部２４００ａａは、受信した信号や、受信装置の推定位置から、入力部２４００ｈに入力された情報を基に、送信装置の制御を行う。
The calculation unit 2400aa controls the transmission device based on the received signal and the information input to the
通信部２４００ａｇは、ピアツーピアで接続する方式（ｂｌｕｅｔｏｏｔｈ（登録商標）など）を用いる場合は、ネットワーク２４００ａｈを介さずに端末同士で通信を行う。 When the communication unit 2400ag uses a peer-to-peer connection method (such as Bluetooth (registered trademark)), the communication units 2400ag communicate with each other without going through the network 2400ah.
電子機器２４００ａｊは、受信装置に制御される。 The electronic device 2400aj is controlled by the receiving device.
サーバ２４００ａｉは、送信装置の情報や送信装置の位置や送信装置の位置に関連した情報を、送信装置のＩＤと紐付けて記憶している。 The server 2400ai stores the information of the transmitting device, the position of the transmitting device, and the information related to the position of the transmitting device in association with the ID of the transmitting device.
サーバ２４００ａｉは、送信装置の変調方式を、位置に紐付けて記憶している。 The server 2400ai stores the modulation method of the transmission device in association with the position.
（送信装置のブロック図）
図７０は、送信装置を構成するブロック図である。
(Block diagram of transmitter)
FIG. 70 is a block diagram constituting a transmission device.
送信装置は、本構成図の全部、または、発光部と送信信号記憶部と変調方式記憶部と演算部を含めた一部で構成される。 The transmission device is composed of the entire configuration diagram or a part including a light emitting unit, a transmission signal storage unit, a modulation method storage unit, and a calculation unit.
狭義の送信装置２４０１ａｂは、電灯や電子機器やロボットに備えられる。 The transmission device 2401ab in a narrow sense is provided in an electric lamp, an electronic device, or a robot.
照明制御スイッチ２４０１ｎは、照明のオンオフを切り替えるスイッチである。
The
散光板２４０１ｐは、発光部２４０１ｑの光を散光させるために発光部２４０１ｑの近くに取り付けられる部材である。
The
発光部２４０１ｑは、図６９の受信装置の撮像素子のラインごとの露光時間の違いを利用して、ラインごとに発光パターンが検出される速度で点灯・消灯を行う。 The light emitting unit 2401q turns on and off at a speed at which a light emitting pattern is detected for each line by utilizing the difference in exposure time for each line of the image sensor of the receiving device of FIG. 69.
発光部２４０１ｑは、高速に点灯・消灯が可能なＬＥＤや蛍光灯等の光源で構成される。 The light emitting unit 2401q is composed of a light source such as an LED or a fluorescent lamp that can be turned on and off at high speed.
発光制御部２４０１ｒは、発光部２４０１ｑの点灯と消灯を制御する。
The light emitting
受光部２４０１ｓは、受光素子や撮像素子で構成される。受光部２４０１ｓは、受光した光の強さを電気信号に変換する。なお、受光部２４０１ｓの代わりに、撮像部を用いても良い。
The
信号解析部２４０１ｔは、受光部２４０１ｓが受光した光のパターンから信号を取得する。
The
演算部２４０１ｕは、送信信号記憶部２４０１ｄに記憶されている送信信号を、変調方式記憶部２４０１ｅに記憶されている変調方式に従って発光パターンに変換する。演算部２４０１ｕは、信号解析部２４０１ｔから得た信号を基に、記憶部２４０１ａの情報を編集したり、発光制御部２４０１ｒを制御したりして通信の制御を行う。演算部２４０１ｕは、取り付け部２４０１ｗからの信号を基に、記憶部２４０１ａの情報を編集したり、発光制御部２４０１ｒを制御したりして通信の制御を行う。演算部２４０１ｕは、通信部２４０１ｖからの信号を基に、記憶部２４０１ａの情報を編集するなど発光制御部２４０１ｒの制御を行う。
The calculation unit 2401u converts the transmission signal stored in the transmission
また、演算部２４０１ｕは、取り付け装置２４０１ｈの記憶部２４０１ｂの情報を編集する。演算部２４０１ｕは、取り付け装置２４０１ｈの記憶部２４０１ｂの情報を、記憶部２４０１ａにコピーする。
Further, the calculation unit 2401u edits the information of the
演算部２４０１ｕは、定められた時刻に発光制御部２４０１ｒを制御する。演算部２４０１ｕは、ネットワーク２４０１ａａを介して電子機器２４０１ｚｚの制御を行う。
The calculation unit 2401u controls the light
記憶部２４０１ａは、送信信号記憶部２４０１ｄ、形状記憶部２４０１ｆ、変調方式記憶部２４０１ｅ、機器状態記憶部２４０１ｇの全部、または、一部から構成される。
The
送信信号記憶部２４０１ｄは、発光部２４０１ｑから送信する信号を記憶する。
The transmission
変調方式記憶部２４０１ｅは、送信信号を発光パターンに変換する変調方式を記憶する。
The modulation
形状記憶部２４０１ｆは、送信装置と発光部２４０１ｑの形状を記憶する。
The
機器状態記憶部２４０１ｇは、送信装置の状態を記憶する。 The device state storage unit 2401g stores the state of the transmitting device.
取り付け部２４０１ｗは、取付金具や電力供給口で構成される。 The mounting portion 2401w is composed of a mounting bracket and a power supply port.
取り付け装置２４０１ｈの記憶部２４０１ｂは、記憶部２４０１ａに記憶する情報を記憶する。記憶部２４０１ａは備えず、取り付け装置２４０１ｈの記憶部２４０１ｂや、集中制御装置２４０１ｍの記憶部２４０１ｃを用いても良い。
The
通信部２４０１ｖは、ピアツーピアで接続する方式（ｂｌｕｅｔｏｏｔｈなど）を用いる場合は、ネットワーク２４０１ａａを介さずに端末同士で通信を行う。
When the
サーバ２４０１ｙは、送信装置の情報や送信装置の位置や送信装置の位置に関連した情報を、送信装置のＩＤと紐付けて記憶している。また、サーバ２４０１ｙは、送信装置の変調方式を、位置に紐付けて記憶している。
The
（受信の手順）
図７１を解説すると、ステップ２８００ａで、受信装置に撮像装置が複数あるかどうかを確認する。Ｎｏの場合はステップ２８００ｂへ進み、使用する撮像装置を選択し、ステップ２８００ｃへ進む。一方、Ｙｅｓの場合はステップ２８００ｃへ進む。
(Reception procedure)
Explaining FIG. 71, in
ステップ２８００ｃでは、露光時間（＝シャッタースピード）を設定（なお、露光時間は短いほうが望ましい）する。 In step 2800c, the exposure time (= shutter speed) is set (it is desirable that the exposure time is short).
次に、ステップ２８００ｄで、露光ゲインを設定する。
Next, in
次に、ステップ２８００ｅで、撮像する。
Next, in
次に、ステップ２８００ｆで、露光ライン毎に、輝度が一定の閾値を超える画素が一定数以上続く部分を判定し、その部分の中心位置を求める。
Next, in
次に、ステップ２８００ｇで、上記の中心位置を結ぶ、１次または２次の近似線を計算する。
Next, in
次に、ステップ２８００ｈで、各露光ラインの近似線上の画素の輝度値を、各露光ラインの信号値とする。
Next, in
次に、ステップ２８００ｉで、撮像フレームレート、解像度、ブランキング時間等によって構成される撮像情報から、露光ライン１ラインあたりの担当時間を計算する。 Next, in step 2800i, the time in charge per exposure line is calculated from the imaging information composed of the imaging frame rate, the resolution, the blanking time, and the like.
次に、ステップ２８００ｊで、ブランキング時間が一定以下であれば、ある撮像フレームの最後の露光ラインの次の露光ラインはその次のフレームの最初の露光ラインであるとみなす。そうでない場合は、ある撮像フレームの最後の露光ラインとその次のフレームの最初の露光ラインの間には、ブランキング時間を１露光ラインあたりの担当時間で除した数の、観測できない露光ラインが存在するとみなす。
Next, in
次に、ステップ２８００ｋで、デコード情報から、基準位置パターン、アドレスパターンを読み込む。
Next, in
次に、ステップ２８００ｍで、各露光ラインの信号値から、信号の基準位置を示すパターンを検出する。
Next, in
次に、ステップ２８００ｎで、検出した基準位置を基に、データ部、アドレス部を計算する。 Next, in step 2800n, the data unit and the address unit are calculated based on the detected reference position.
次に、ステップ２８００ｐで、送信信号を得る。
Next, in
（自己位置推定の手順）
図７２を解説すると、まず、ステップ２８０１ａで、受信装置の現在位置として認識している位置または現在位置の確率マップを、自己位置の事前情報とする。
(Procedure for self-position estimation)
Explaining FIG. 72, first, in
次に、ステップ２８０１ｂで、受信装置の撮像部を送信装置の発光部へ向ける。
Next, in
次に、ステップ２８０１ｃで、９軸センサとジャイロセンサのセンサ値から、撮像装置が向けられている方位と仰角を計算する。
Next, in
次に、ステップ２８０１ｄで、発光パターンを撮像し、送信信号を取得する。
Next, in
次に、ステップ２８０１ｅで、送信信号に含まれる発光部の大きさや形状の情報と、撮像した発光部の大きさと、撮像装置の撮像の倍率とから、撮像装置と発光部の間の距離を計算する。
Next, in
次に、ステップ２８０１ｆで、撮像画像中の発光部の位置と、レンズ特性から、撮像部から発光部への方向と撮像面の法線との相対角度を計算する。
Next, in
次に、ステップ２８０１ｇで、これまでに計算した数値から、撮像装置と発光部の相対位置関係を計算する。
Next, in
次に、ステップ２８０１ｈで、送信信号に含まれる発光部の位置と、撮像装置と発光部の相対位置関係から、受信装置の位置を計算する。なお、送信装置が複数観察できる場合は、各送信装置に含まれる信号から撮像装置の座標を計算することで、受信装置の位置を高精度に計算できる。なお、送信装置が複数観察できる場合は、三角測量の手法を用いることができる。
Next, in
次に、ステップ２８０１ｉで、自己位置の事前情報と、受信装置の位置の計算結果から、受信装置の現在位置または現在位置の確率マップを更新する。 Next, in step 2801i, the current position of the receiving device or the probability map of the current position is updated from the prior information of the self-position and the calculation result of the position of the receiving device.
次に、ステップ２８０１ｊで、撮像装置を移動させる。 Next, in step 2801j, the imaging device is moved.
次に、ステップ２８０１ｋで、９軸センサとジャイロセンサのセンサ値から、移動の方向と距離を計算する。
Next, in
次に、ステップ２８０１ｍで、撮像画像と撮像装置の姿勢とから、移動の方向と距離を計算し、ステップ２８０１ａへ戻る。
Next, in
（送信制御の手順１）
図７３を解説すると、まず、ステップ２８０２ａで、ユーザがボタン押下する。
(Transmission control procedure 1)
Explaining FIG. 73, first, in
次に、ステップ２８０２ｂで、発光部を発光させる。なお、発光パターンで信号を表しても良い。
Next, in
次に、ステップ２８０２ｃで、発光開始時刻や、終了時刻や、特定のパターンを送信した時刻を記録する。
Next, in
次に、ステップ２８０２ｄで、撮像装置で撮像する。
Next, in
次に、ステップ２８０２ｅで、撮像画像中に存在する送信装置の発光パターンを撮像し、送信された信号を取得する。なお、記録した時刻を利用して同期的に発光パターンを解析しても良い。そして、終了する。
Next, in
（送信制御の手順２）
図７４を解説すると、まず、ステップ２８０３ａで、受光装置で受光、または、撮像装置で撮像する。
(Transmission control procedure 2)
To explain FIG. 74, first, in
次に、ステップ２８０３ｂで、特定のパターンであったかどうかを確認する。
Next, in
Ｎｏの場合は、ステップ２８０３ａへ戻る。一方、Ｙｅｓの場合は、ステップ２８０３ｃへ進み、受信パターンを受光または撮像した開始時刻や、終了時刻や、特定のパターンが現れた時刻を記録する。 If No, the process returns to step 2803a. On the other hand, in the case of Yes, the process proceeds to step 2803c, and the start time, the end time, and the time when the specific pattern appears when the reception pattern is received or imaged are recorded.
次に、ステップ２８０３ｄで、記憶部から送信信号を読み出し、発光パターンへ変換する。
Next, in
次に、ステップ２８０３ｅで、前記発光パターンに従って発光部を発光させ、終了する。なお、記録した時刻から一定時間が経過してから発光させ、終了するとしても良い。
Next, in
（送信制御の手順３）
図７５を解説すると、まず、ステップ２８０４ａで、受光装置で受光し、受光した光エネルギーを電気に変換して蓄電する。
(Transmission control procedure 3)
Explaining FIG. 75, first, in
次に、ステップ２８０４ｂで、蓄電エネルギーが一定以上となったかどうかを確認する。
Next, in
Ｎｏの場合は、ステップ２８０４ａへ戻る。一方、Ｙｅｓの場合は、ステップ２８０４ｃへ進み、受光した光を解析し、特定のパターンが現れた時刻を記録する。 If No, the process returns to step 2804a. On the other hand, in the case of Yes, the process proceeds to step 2804c, the received light is analyzed, and the time when the specific pattern appears is recorded.
次に、ステップ２８０４ｄで、記憶部から送信信号を読み出し、発光パターンへ変換する。
Next, in
次に、ステップ２８０４ｅで、上記発光パターンに従って発光部を発光させ、終了する。なお、記録した時刻から一定時間が経過してから発光させ、終了するとしても良い。
Next, in
（駅構内での情報提供）
図７６は、駅構内で情報提供を受ける状況を説明する図である。
(Providing information inside the station)
FIG. 76 is a diagram illustrating a situation in which information is provided in the station yard.
受信装置２７００ａは、駅施設に設置された照明を撮像し、発光パターンや位置パターンを読み取ることで、照明装置が送信している情報を受信する。
The receiving
受信装置２７００ａは、受信した情報を基にサーバから照明や施設の情報を取得し、さらに、撮像された照明の大きさや形から、受信装置２７００ａの現在位置を推定する。
The receiving
例えば、受信装置２７００ａは、施設ＩＤや位置情報にもとづいて得た情報を表示する（２７００ｂ）。受信装置２７００ａは、施設ＩＤを基に施設の地図をダウンロードし、ユーザが購入した乗車券情報から、乗車場所へのナビゲートを行う（２７００ｃ）。
For example, the receiving
なお、図７６は鉄道の駅での例を示しているが、空港や港やバス停等の施設でも同様である。 Although FIG. 76 shows an example at a railway station, the same applies to facilities such as airports, ports, and bus stops.
（乗車サービス）
図７７は、乗り物内での利用の様子を示す図である。
(Ride service)
FIG. 77 is a diagram showing a state of use in the vehicle.
乗客の持つ受信装置２７０４ａと、販売員の持つ受信装置２７０４ｂは、照明２７０４ｅが送信する信号を受信し、自身の現在位置を推定する。
The receiving
なお、各受信装置は、自己位置推定に必要な情報を、照明２７０４ｅから取得しても良いし、照明２７０４ｅから送信された情報をキーにサーバから取得しても良いし、乗車駅や改札の位置情報等を基に事前に取得しても良い。
In addition, each receiving device may acquire the information necessary for self-position estimation from the
なお、受信装置２７０４ａは、ユーザ（乗客）が購入した乗車券の乗車時間情報と現在時刻から、現在位置が乗り物内であることを認識し、その乗り物と関連付けられた情報をダウンロードしても良い。
The receiving
各受信装置は、自身の現在の位置をサーバへ通知する。受信装置２７０４ａは、ユーザ（乗客）ＩＤや、受信装置のＩＤや、ユーザ（乗客）が購入した乗車券の情報をサーバへ通知することで、サーバは、座席に座っている人物が乗車権利や指定席権利を持つ人物であることを確認する。
Each receiver notifies the server of its current location. The receiving
受信装置２７０４ａは、販売員の現在位置を表示することで、ユーザ（乗客）は、車内販売の購入タイミングを検討できる。
The receiving
乗客が受信装置２７０４ａを介して車内販売の注文を行ったとき、受信装置２７０４ａは、自身の位置と注文内容と課金情報を販売員の受信装置２７０４ｂやサーバに通知する。販売員の受信装置２７０４ｂは、注文者の位置を示す地図＿２７０４ｄを表示させる。
When a passenger places an order for in-vehicle sales via the
なお、乗客は受信装置２７０４ａを介して、指定席券や乗り継ぎ乗車券の購入もできる。
Passengers can also purchase reserved seat tickets and transit tickets via the
受信装置２７０４ａは空席情報２７０４ｃを表示する。受信装置２７０４ａは、ユーザ（乗客）が購入した乗車券の乗車区間情報と、自身の現在位置から、指定席券や乗り継ぎ乗車券の購入情報や課金情報をサーバへ通知する。
The receiving
なお、図７７は鉄道内での例を示しているが、飛行機や船やバス停等の乗り物でも同様である。 Note that FIG. 77 shows an example in a railroad, but the same applies to vehicles such as airplanes, ships, and bus stops.
（店舗内サービス）
図７８は、店舗内での利用の様子を示す図である。
(In-store service)
FIG. 78 is a diagram showing a state of use in the store.
受信装置２７０７ｂ、２７０７ｃ、２７０７ｄは、照明２７０７ａが送信する信号を受信し、自身の現在位置を推定し、サーバへ通知する。
The receiving
なお、各受信装置は、自己位置推定に必要な情報やサーバのアドレスを、照明２７０７ａから取得しても良いし、照明２７０７ａから送信された情報をキーに別のサーバから取得しても良いし、会計システムから取得しても良い。
In addition, each receiving device may acquire the information necessary for self-position estimation and the server address from the
会計システムは、会計情報と受信装置２７０７ｄとを関連付け、受信装置２７０７ｄの現在位置を表示させて（２７０７ｃ）注文された商品を届ける。
The accounting system associates the accounting information with the receiving
受信装置２７０７ｂは、照明２７０７ａから送信された情報を基に商品情報を表示する。購入者が表示された商品情報から注文を行うと、受信装置２７０７ｂは、商品情報と課金情報と現在位置をサーバへ通知する。
The receiving
このように、販売者は受信装置２７０７ｂの位置情報を基に注文された商品を届けることが可能であり、購入者は席に座ったままで商品の購入が可能である。
In this way, the seller can deliver the ordered product based on the position information of the receiving
（無線接続の確立）
図７９は、無線接続の認証状を通信し、無線接続を確立する状況を示している図である。
(Establishment of wireless connection)
FIG. 79 is a diagram showing a situation in which a wireless connection certificate is communicated and a wireless connection is established.
電子機器（デジタルカメラ）２７０１ｂは、無線接続のアクセスポイントとして動作し、その接続に必要な情報として、ＩＤやパスワードを発光パターンとして送信する。 The electronic device (digital camera) 2701b operates as an access point for wireless connection, and transmits an ID and a password as a light emitting pattern as information necessary for the connection.
電子機器（スマートフォン）２７０１ａは、発光パターンから送信情報を取得し、無線接続を確立する。 The electronic device (smartphone) 2701a acquires transmission information from the light emission pattern and establishes a wireless connection.
なお、ここでは無線接続としたが、確立するコネクションは有線接続ネットワークであっても良い。 Although a wireless connection is used here, the connection to be established may be a wired connection network.
なお、二つの電子機器との間の通信は、第３の電子機器を介して行なっても良い。 Communication between the two electronic devices may be performed via the third electronic device.
（通信範囲の調整）
図８０は、発光パターンや位置パターンによる通信の範囲を示す図である。
(Adjustment of communication range)
FIG. 80 is a diagram showing a range of communication according to a light emission pattern and a position pattern.
電波を利用した通信方式では、壁で区切られた隣室にも電波が到達してしまい、通信範囲を制限することが難しい。 With the communication method using radio waves, it is difficult to limit the communication range because the radio waves reach the adjacent rooms separated by walls.
一方、発光パターンや位置パターンを用いた通信では、可視光とその周辺領域の波長を利用するため、遮蔽物を用いて通信範囲を区切ることが容易である。また、可視光を使う場合、通信範囲が人間の目でも確認できるという利点がある。 On the other hand, in communication using a light emission pattern or a position pattern, since visible light and wavelengths in the peripheral region thereof are used, it is easy to divide the communication range by using a shield. In addition, when visible light is used, there is an advantage that the communication range can be confirmed by the human eye.
（屋内での利用）
図８１は、地下街等の屋内での利用の様子を示す図である。
(Indoor use)
FIG. 81 is a diagram showing a state of indoor use such as an underground shopping mall.
受信装置２７０６ａは、照明２７０６ｂの送信する信号を受信し、自身の現在位置を推定する。また、受信装置２７０６ａは、地図上に現在位置を表示して道案内を行ったり、付近の店舗の情報を表示したりする。
The receiving
緊急時には照明２７０６ｂから災害情報や避難情報を送信することで、通信が混雑している場合や、通信基地局が故障した場合や、通信基地局からの電波が届かない場所にいる場合であっても、これらの情報を得ることができる。これは、緊急放送を聞き逃した場合や、緊急放送を聞くことができない聴覚障害者に有効である。
In an emergency, by transmitting disaster information and evacuation information from the
（屋外での利用）
図８２は、街路などの屋外での利用の様子を示す図である。
(Outdoor use)
FIG. 82 is a diagram showing a state of outdoor use such as a street.
受信装置２７０５ａは、街灯照明２７０５ｂの送信する信号を受信し、自身の現在位置を推定する。また、受信装置２７０５ａは、地図上に現在位置を表示して道案内を行ったり、付近の店舗の情報を表示したりする。
The receiving
緊急時には照明２７０５ｂから災害情報や避難情報を送信することで、通信が混雑している場合や、通信基地局が故障した場合や、通信基地局からの電波が届かない場所にいる場合であっても、これらの情報を得ることができる。
In an emergency, by transmitting disaster information and evacuation information from the
また、他の車両や歩行者の移動を地図上に表示したり、向かってくる車両や歩行者が存在することをユーザに知らせることで、事故防止に役立てることができる。 In addition, it is possible to help prevent accidents by displaying the movements of other vehicles and pedestrians on a map and notifying the user that there are vehicles and pedestrians approaching.
（道順の指示）
図８３は、道順の指示の様子を示す図である。
(Directions for directions)
FIG. 83 is a diagram showing a state of instruction of directions.
送信装置２７０３ａ、２７０３ｂ、２７０３ｃから送信された情報を利用して、受信装置２７０３ｅは、付近の地図をダウンロードしたり、自身の位置を誤差１ｃｍから数１０ｃｍの精度で推定したりすることができる。
Using the information transmitted from the transmitting
受信装置２７０３ｅの正確な位置がわかることで、車椅子２７０３ｄを自動運転したり、視覚障害者が安全に通行を行ったりすることができる。
By knowing the exact position of the receiving
（複数の撮像装置の利用）
図８４の受信装置は、インカメラ２７１０ａと、タッチパネル２７１０ｂと、ボタン２７１０ｃと、アウトカメラ２７１０ｄと、フラッシュ２７１０ｅを備える。
(Use of multiple imaging devices)
The receiving device of FIG. 84 includes an in-
アウトカメラで送信装置を撮像するとき、インカメラの撮像画像から、受信装置の移動や姿勢を推定することで、手ブレの補正を行うことができる。 When the transmitting device is imaged by the out-camera, camera shake can be corrected by estimating the movement and posture of the receiving device from the image captured by the in-camera.
インカメラで他の送信装置からの信号を受信することで、複数の装置からの信号を同時に受信したり、受信装置の自己位置推定の精度を高めたりすることができる。 By receiving signals from other transmitting devices with the in-camera, it is possible to receive signals from a plurality of devices at the same time and improve the accuracy of self-position estimation of the receiving device.
（送信装置自律制御）
図８５では、送信装置１は、送信装置２の発光部の発光を受光部で受光し、送信装置２の送信している信号と送信のタイミングを取得する。
(Transmitter autonomous control)
In FIG. 85, the transmitting
送信装置１の記憶部に、送信する信号が記憶されていない場合は、送信装置２の発光と同調して同じパターンで発光して信号を送信する。
When the signal to be transmitted is not stored in the storage unit of the
一方、送信装置１の記憶部に、送信する信号が記憶されている場合は、送信装置２の送信信号と共通部分は送信装置２の発光と同調して同じパターンで発光して信号を送信する。共通でない部分は、送信装置２が信号を送信していない時間に送信する。送信装置２が信号を送信していない時間がない場合は、適当に周期を定め、その周期に従って共通でない部分を送信する。この場合、送信装置２は、受光部で送信装置１の発光を受光し、同じ時刻に異なる信号が送信されていることを検知し、送信装置１が信号を送信していない時刻に、共通でない部分の信号を送信する。
On the other hand, when the signal to be transmitted is stored in the storage unit of the
発光による信号送信の衝突の回避には、ＣＳＭＡ／ＣＤ （Ｃａｒｒｉｅｒ Ｓｅｎｓｅ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ ｗｉｔｈ Ｃｏｌｌｉｓｉｏｎ Ｄｅｔｅｃｔｉｏｎ）の方式を利用する。 A CSMA / CD (Carrier Sense Multiple Access with Collection Detection) method is used to avoid collision of signal transmission due to light emission.
送信装置１は、自身の情報を発光パターンとして発光部を発光させる。
The transmitting
送信装置２は、送信装置１の情報を受光部から取得する。
The transmitting
送信装置は、通信可能な送信装置同士で互いの情報を交換することで、送信装置の配置地図を作成する。また、送信装置は、発光による信号送信が衝突しないように全体として最適な発光パターンを求める。また、送信装置は、他の送信装置が得た情報を、送信装置間の通信によって取得する。 The transmitting device creates an arrangement map of the transmitting devices by exchanging information with each other among the transmitting devices capable of communicating with each other. In addition, the transmission device seeks an optimum light emission pattern as a whole so that signal transmissions due to light emission do not collide. Further, the transmitting device acquires the information obtained by the other transmitting devices by communication between the transmitting devices.
（送信情報の設定）
図８６では、送信装置は、送信装置が取り付け装置に取り付けられたときや、取り付け装置の記憶部に記憶された情報が変更されたときに、取り付け装置の記憶部に記憶されている情報を送信装置の記憶部に記憶する。取り付け装置や送信装置の記憶部に記憶されている情報には、送信信号や送信のタイミングが含まれる。
(Setting of transmission information)
In FIG. 86, the transmitting device transmits the information stored in the storage unit of the mounting device when the transmitting device is mounted on the mounting device or when the information stored in the storage unit of the mounting device is changed. Store in the storage unit of the device. The information stored in the storage unit of the attachment device or the transmission device includes a transmission signal and a transmission timing.
送信装置は、記憶部に記憶されている情報が変更された場合には、取り付け装置の記憶部にその情報を記憶させる。集中制御装置や配電盤から、取り付け装置の記憶部や送信装置の記憶部の情報を編集する。配電盤からの操作では、電力線通信を用いる。 When the information stored in the storage unit is changed, the transmitting device stores the information in the storage unit of the mounting device. Edit the information in the storage unit of the mounting device and the storage unit of the transmission device from the centralized control device or switchboard. Power line communication is used for operation from the switchboard.
送信装置の形状記憶部は、送信装置の取り付け部と発光部の中心位置の位置関係が記憶している。 The shape storage unit of the transmitter stores the positional relationship between the mounting portion of the transmitter and the center position of the light emitting unit.
送信装置は、位置情報を送信するときには、記憶部に記憶された位置情報にこの位置関係を加えた位置情報を送信する。 When transmitting the position information, the transmission device transmits the position information in which this positional relationship is added to the position information stored in the storage unit.
取り付け装置の記憶部には、建造物の施工時等に、情報を記憶させる。位置情報を記憶させる場合は、建造物の設計図やＣＡＤデータを利用することで、正確な位置を記憶させる。建造物の建造時には、送信装置から位置情報を送信させることで、位置を確認することができ、建造の自動化や、材料の利用位置の確認等に利用することができる。 Information is stored in the storage unit of the mounting device at the time of construction of a building or the like. When memorizing the position information, the accurate position is memorized by using the design drawing of the building and the CAD data. At the time of building a building, the position can be confirmed by transmitting the position information from the transmitting device, which can be used for automation of construction, confirmation of the position where materials are used, and the like.
取り付け装置は、送信装置の情報を集中制御装置に通知する。取り付け装置は、送信装置以外の機器が取り付けられたことを集中制御装置に通知する。 The mounting device notifies the centralized control device of the information of the transmitting device. The mounting device notifies the centralized control device that a device other than the transmitting device has been mounted.
図８７では、送信装置は、受光部で光を受光し、信号解析部で光のパターンから情報を取得し、記憶部に記憶する。送信装置は、受光したときに、記憶部に記憶した情報を発光パターンに変換して発光部を発光させる。 In FIG. 87, the transmitting device receives light at the light receiving unit, acquires information from the light pattern at the signal analysis unit, and stores it in the storage unit. When the transmitter receives a light, the transmitting device converts the information stored in the storage unit into a light emitting pattern to cause the light emitting unit to emit light.
送信装置の形状に関する情報は、形状記憶部に記憶する。 Information about the shape of the transmitter is stored in the shape storage unit.
図８８では、送信装置は、通信部で受信した信号を記憶部に記憶する。送信装置は、受信したときに、記憶部に記憶した情報を発光パターンに変換して発光部を発光させる。 In FIG. 88, the transmitting device stores the signal received by the communication unit in the storage unit. When the transmitting device receives the information, the transmitting device converts the information stored in the storage unit into a light emitting pattern to cause the light emitting unit to emit light.
送信装置の形状に関する情報は、形状記憶部に記憶する。 Information about the shape of the transmitter is stored in the shape storage unit.
送信装置は、記憶部に送信信号が記憶されていない場合は、適当な信号を発光パターンに変換して発光部を発光させる。 When the transmission signal is not stored in the storage unit, the transmission device converts an appropriate signal into a light emission pattern to cause the light emitting unit to emit light.
受信装置は、送信装置が送信している信号を撮像部から取得し、その信号と送信装置に記憶させたい情報とを、通信部を介して送信装置や集中制御装置に伝える。 The receiving device acquires the signal transmitted by the transmitting device from the imaging unit, and transmits the signal and the information to be stored in the transmitting device to the transmitting device and the centralized control device via the communication unit.
送信装置や集中制御装置は、受信装置から撮像部から取得した信号と同一の信号を送信した送信装置の記憶部に、送信された情報を記憶する。 The transmitting device and the centralized control device store the transmitted information in the storage unit of the transmitting device that has transmitted the same signal as the signal acquired from the imaging unit from the receiving device.
なお、受信装置は、送信装置が送信している信号を撮像した時刻を合わせて送信し、送信装置や集中制御装置は、その時刻を利用して受信装置が撮像した送信装置を特定しても良い。 The receiving device transmits the signal transmitted by the transmitting device at the same time as the image is captured, and the transmitting device and the centralized control device use the time to identify the transmitting device imaged by the receiving device. good.
なお、受信装置の通信部を発光部とし、送信装置の通信部を受光部または撮像部とし、発光パターンを用いて受信装置から送信装置へ情報を送信しても良い。 The communication unit of the receiving device may be a light emitting unit, the communication unit of the transmitting device may be a light receiving unit or an imaging unit, and information may be transmitted from the receiving device to the transmitting device using a light emitting pattern.
なお、受信装置の通信部を発音部とし、送信装置の通信部を収音部とし、音声パターンを用いて受信装置から送信装置へ情報を送信しても良い。 The communication unit of the receiving device may be used as a sounding unit, the communication unit of the transmitting device may be used as a sound collecting unit, and information may be transmitted from the receiving device to the transmitting device using a voice pattern.
（２次元バーコードとの組み合わせ）
図８９は、２次元バーコードと組み合わせて利用する場合を示す図である。
(Combination with 2D barcode)
FIG. 89 is a diagram showing a case where the barcode is used in combination with a two-dimensional barcode.
ユーザは、通信機器２７１４ａと通信機器２７１４ｄを相対させる。
The user makes the
通信機器２７１４ａは、ディスプレイに２次元バーコード２７１４ｃとして送信情報を表示させる。
The
通信機器２７１４ｄは、２次元バーコード読取部２７１４ｆで、２次元バーコード２７１４ｃを読み取る。通信機器２７１４ｄは、発光部２７１４ｅの発光パターンとして送信情報を表現する。
The
通信機器２７１４ａは、撮像部２７１４ｂで発光部を撮像し、信号を読み取る。この方式により、双方向の直接通信が可能となり、伝送するデータ量が少ない場合にはサーバを介した通信よりも高速で通信が可能である。
The
（地図の作成と利用）
図９０は、地図作成とその利用の様子を示す図である。
(Creating and using a map)
FIG. 90 is a diagram showing a state of map creation and its use.
ロボット２７１５ａは、照明２７１５ｄや電子機器２７１５ｃの送信する信号を基に自己位置推定を行うことで、部屋の地図＿２７１５ｆを作成し、地図情報と位置情報と照明２７１５ｄや電子機器２７１５ｃのＩＤとをサーバ２７１５ｅへ記憶させる。
The
受信装置２７１５ｂも同様に、照明２７１５ｄや電子機器２７１５ｃの送信する信号や、移動中の撮像画像や、ジャイロセンサや９軸センサのセンサ値から、部屋の地図＿２７１５ｆを作成し、地図情報と位置情報と照明２７１５ｄや電子機器２７１５ｃのＩＤとをサーバ２７１５ｅへ記憶させる。
Similarly, the receiving
ロボット２７１５ａは、サーバ２７１５ｅから取得した地図＿２７１５ｆを基に、効率良く掃除や配膳を行う。
The
受信装置２７１５ｂは、サーバ２７１５ｅから取得した地図＿２７１５ｆを基に、ロボット２７１５ａへ掃除場所や移動場所を指示したり、受信装置を向けている方向にある電子機器を操作したりする。
Based on the map_2715f acquired from the
（電子機器の状態取得と操作）
図９１は、電子機器の状態取得と操作の様子を示す図である。
(Acquisition and operation of electronic device status)
FIG. 91 is a diagram showing a state acquisition and operation of an electronic device.
通信装置２７１６ａは、制御情報を発光パターンに変換し、発光部を電子機器２７１６ｂの受光部２７１６ｄへ向けて発光させる。
The
電子機器２７１６ｂは、その発光パターンから制御情報を読み取り、制御情報通りに動作を行う。電子機器２７１６ｂは、受光部２７１６ｄで受光したときに、電子機器の状態を示す情報を発光パターンに変換し、発光部２７１６ｃを発光させる。また、電子機器２７１６ｂは、運転終了時やエラー発生時など、ユーザへ通知したい情報がある場合に、その情報を発光パターンに変換し、発光部２７１６ｃを発光させる。
The
通信装置２７１６ａは、発光部２７１６ｃを撮像し、送信された信号を取得する。
The
（電子機器の認識）
図９２は、撮像している電子機器を認識する様子を示す図である。
(Recognition of electronic devices)
FIG. 92 is a diagram showing a state of recognizing an electronic device that is taking an image.
通信装置２７１７ａは、電子機器２７１７ｂと電子機器２７１７ｅへの通信路を持ち、各電子機器へＩＤ表示命令を送信する。
The
電子機器２７１７ｂは、ＩＤ表示命令を受信して、発光部２７１７ｃの発光パターンでＩＤ信号を送信する。
The
電子機器２７１７ｅは、ＩＤ表示命令を受信して、発光部２７１７ｆ、２７１７ｇ、２７１７ｈ、２７１７ｉを用いて位置パターンでＩＤ信号を送信する。
The
なお、ここで各電子機器が送信するＩＤ信号は、電子機器の持つＩＤであっても良いし、通信装置２７１７ａに指示された内容であっても良い。
The ID signal transmitted by each electronic device here may be the ID possessed by the electronic device or the content instructed by the
通信装置２７１７ａは、撮像画像中に存在する発光部の発光パターンや位置パターンから、撮像されている電子機器と、その電子機器と受信装置との位置関係を認識する。
The
なお、電子機器と受信装置との位置関係を認識するためには、電子機器は発光部を３点以上備えることが望ましい。 In order to recognize the positional relationship between the electronic device and the receiving device, it is desirable that the electronic device is provided with three or more light emitting units.
（拡張現実オブジェクトの表示）
図９３は、拡張現実オブジェクトを表示する様子を示す図である。
(Display of augmented reality object)
FIG. 93 is a diagram showing how an augmented reality object is displayed.
拡張現実を表示させる舞台２７１８ｅは、発光部２７１８ａ、２７１８ｂ、２７１８ｃ、２７１８ｄの発光パターンや位置パターンで、拡張現実オブジェクトの情報や、拡張現実オブジェクトを表示させる基準位置を送信する。
The
受信装置は、受信した情報を基に、拡張現実オブジェクト２７１８ｆを撮像画像に重畳して表示させる。
The receiving device superimposes the augmented
（ユーザインタフェース）
発光部が撮像範囲の中央付近から外れている場合には、撮像範囲の中心を発光部のほうへ向けさせるため、図９４のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促すような表示を行う。
(User interface)
When the light emitting portion is out of the vicinity of the center of the imaging range, the center of the imaging range is directed toward the light emitting portion, so that the center of the imaging range is directed toward the light emitting portion as shown in FIG. Display to encourage the user.
発光部が撮像範囲の中央付近から外れている場合には、撮像範囲の中心を発光部のほうへ向けさせるため、図９５のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促すような表示を行う。 When the light emitting portion is out of the vicinity of the center of the imaging range, the center of the imaging range is directed toward the light emitting portion, so that the center of the imaging range is directed toward the light emitting portion as shown in FIG. 95. Display to encourage the user.
撮像範囲に発光部が確認できない場合であっても、それ以前の撮像結果や撮像端末に付属の９軸センサやジャイロセンサやマイクロフォンや位置センサ等の情報から発光部の位置が推定可能な場合には、図９６のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促すような表示を行う。 Even if the light emitting part cannot be confirmed in the imaging range, the position of the light emitting part can be estimated from the previous imaging results and information from the 9-axis sensor, gyro sensor, microphone, position sensor, etc. attached to the imaging terminal. Is displayed to urge the user to direct the center of the imaging range toward the light emitting unit as shown in FIG. 96.
撮像範囲の中心を発光部のほうへ向けさせるため、図９７のように、撮像範囲を移動させたい距離に応じて表示する図形の大きさを調整する。 In order to direct the center of the imaging range toward the light emitting portion, the size of the displayed figure is adjusted according to the distance at which the imaging range is desired to be moved, as shown in FIG. 97.
発光部の写りが小さい場合には、より大きく撮像させるために、図９８のように、より発光部に近づいて撮像するようにユーザを促すような表示を行う。 When the image of the light emitting portion is small, a display is performed to urge the user to take an image closer to the light emitting portion, as shown in FIG. 98, in order to obtain a larger image.
発光部が撮像範囲の中央から外れており、かつ、写りの大きさが十分でない場合には、図９９のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促し、かつ、より発光部に近づいて撮像するようにユーザを促すような表示を行う。 If the light emitting part is out of the center of the imaging range and the size of the image is not sufficient, the user is urged to direct the center of the imaging range toward the light emitting part as shown in FIG. , A display that prompts the user to take an image closer to the light emitting part is performed.
発光部と撮像範囲のなす角度を変化させることで発光部の信号を受信しやすくなる場合には、図１００のように、撮像範囲を回転させるようにユーザを促すような表示を行う。 When it becomes easier to receive the signal of the light emitting unit by changing the angle formed by the light emitting unit and the imaging range, a display prompting the user to rotate the imaging range is performed as shown in FIG. 100.
発光部が撮像範囲の中央から外れており、かつ、発光部と撮像範囲のなす角度を変化させることで発光部の信号を受信しやすくなる場合には、図１０１のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促し、かつ、撮像範囲を回転させるようにユーザを促すような表示を行う。 When the light emitting unit is out of the center of the imaging range and the signal of the light emitting unit can be easily received by changing the angle formed by the light emitting unit and the imaging range, the center of the imaging range is shown in FIG. The user is urged to point the image toward the light emitting unit, and the user is urged to rotate the imaging range.
発光部の写りの大きさが十分ではなく、かつ、発光部と撮像範囲のなす角度を変化させることで発光部の信号を受信しやすくなる場合には、図１０２のように、より発光部に近づいて撮像するようにユーザを促し、かつ、撮像範囲を回転させるようにユーザを促すような表示を行う。 If the image size of the light emitting unit is not sufficient and the signal of the light emitting unit can be easily received by changing the angle formed by the light emitting unit and the imaging range, the light emitting unit can be more easily received as shown in FIG. 102. A display is performed that urges the user to approach the image and urges the user to rotate the imaging range.
発光部が撮像範囲の中央から外れており、かつ、発光部の写りの大きさが十分ではなく、かつ、発光部と撮像範囲のなす角度を変化させることで発光部の信号を受信しやすくなる場合には、図１０３のように、撮像範囲の中心を発光部のほうへ向けさせるようにユーザを促し、かつ、より発光部に近づいて撮像するようにユーザを促し、かつ、撮像範囲を回転させるようにユーザを促すような表示を行う。 The light emitting part is out of the center of the imaging range, the image size of the light emitting part is not sufficient, and the angle between the light emitting part and the imaging range is changed to facilitate receiving the signal of the light emitting part. In this case, as shown in FIG. 103, the user is urged to direct the center of the imaging range toward the light emitting portion, the user is urged to take an image closer to the light emitting portion, and the imaging range is rotated. Display to encourage the user to do so.
信号を受信中には、図１０４のように、信号を受信していることを伝える表示や、受信した信号の情報量を表示する。 While the signal is being received, as shown in FIG. 104, a display indicating that the signal is being received and an amount of information of the received signal are displayed.
受信する信号のサイズが判明している場合には、信号を受信中には、図１０５のように、プログレスバーで受信が完了した信号の割合や情報量を表示する。 If the size of the signal to be received is known, the progress bar displays the ratio of the received signal and the amount of information while the signal is being received, as shown in FIG. 105.
信号を受信中には、図１０６のように、プログレスバーで受信が完了した信号の割合や受信箇所や受信した信号の情報量を表示する。 While the signal is being received, as shown in FIG. 106, the progress bar displays the percentage of signals that have been received, the reception location, and the amount of information of the received signal.
信号を受信中には、図１０７のように、発光部に重畳するようにして受信が完了した信号の割合や情報量を表示する。 While the signal is being received, as shown in FIG. 107, the ratio and the amount of information of the signal for which reception is completed are displayed so as to be superimposed on the light emitting unit.
発光部が検出された場合には、図１０８のように、例えば、発光部を点滅させる等の表示により、その物体が発光部であることを表示する。 When the light emitting unit is detected, as shown in FIG. 108, it is indicated that the object is the light emitting unit by displaying, for example, blinking the light emitting unit.
発光部からの信号を受信中には、図１０９のように、例えば、発光部を点滅させる等の表示により、その発光部から信号を受信していることを表示する。 While receiving the signal from the light emitting unit, as shown in FIG. 109, for example, by displaying such as blinking the light emitting unit, it is indicated that the signal is being received from the light emitting unit.
図１１０では、複数の発光部が検出された場合に、いずれかの発光部をユーザにタップさせることで、信号を受信したり、操作をおこなったりする送信装置をユーザに指定させる。 In FIG. 110, when a plurality of light emitting units are detected, the user is made to tap one of the light emitting units to specify a transmission device for receiving a signal or performing an operation.
（実施の形態４）
（ＩＴＳへの応用）
以下、本発明の適用例として、ＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ
Ｓｙｓｔｅｍｓ：高度道路交通システム）を説明する。本実施の形態では、可視光通信の高速通信を実現しており、ＩＴＳ分野への適応が可能である。
(Embodiment 4)
(Application to ITS)
Hereinafter, as an application example of the present invention, ITS (Intelligent Transport)
Systems: Intelligent Transport Systems) will be described. In this embodiment, high-speed communication of visible light communication is realized, and it can be applied to the ITS field.
図１１１は、可視光通信機能を搭載した交通システムと車両や歩行者との通信を説明している図である。信号機６００３は、本実施の形態の可視光通信機能を搭載し、車両６００１および歩行者６００２との通信が可能である。
FIG. 111 is a diagram illustrating communication between a transportation system equipped with a visible light communication function and a vehicle or a pedestrian. The
車両６００１および歩行者６００２から信号機６００３との情報送信は、ヘッドライトや歩行者が持つ携帯端末のフラッシュ発光部などで行う。信号機６００３から車両６００１および歩行者６００２への情報送信は、信号の照明を、信号機６００３が持つカメラセンサーや、車両６００１が持つカメラセンサーで行う。
Information transmission from the
なお、以降も道路照明や道路情報板など、路上に設置された交通支援の物体と車両６００１や歩行者６００２と通信を行うことによる機能を説明するが通信方式に関しては同じ物が適用できるため、説明は割愛する。
In the following, we will explain the functions of communicating with traffic support objects installed on the road, such as road lighting and road information boards, with
図１１１に示すように、信号機６００３は、車両６００１へ道路交通情報を提供する。ここで、道路交通情報とは渋滞情報や事故情報、周辺サービスエリアの情報など、運転を補助するような情報のことである。
As shown in FIG. 111, the
信号機６００３は、ＬＥＤ照明を搭載しているため、このＬＥＤ照明による通信を行うことで新たな装置を搭載することなく車両６００１への情報提供が可能になる。また、車両６００１は一般的に高速移動しているため、従来の可視光通信技術では送信できるデータ量が少なかったが、本実施の形態により通信速度が向上したため、車両に送信することができるデータサイズが多くなるという効果がある。
Since the
また、信号機６００３や、照明６００４では、信号や照明ごとに異なる情報を提供することが可能である。これによって、例えば右折レーンを走行している車両に対してのみ情報送信を行うなど、車両の位置に応じた情報を送信することが可能である。
Further, the
また、同様に歩行者６００２に対しても、特定のスポットにいる歩行者６００２に対してのみ情報を提供することが可能になるため、例えば特定の交差点の横断歩道で信号待ちをしている歩行者のみ、例えば事故が多い交差点であるとった情報や、街中スポット情報などを送信することができる。
Similarly, since it is possible to provide information to the
さらに、信号機６００３と別の信号機６００５も通信することが可能である。これによって、例えば信号機６００３が提供する情報を変更する場合に、新たに信号機に信号線や通信機を通すことなく、信号機同士の通信のリレーによって、信号機が配信する情報を変更することが可能である。本方式によって、可視光通信の通信速度が大きく向上するため、より短時間での配信情報の変更が可能になる。これによって、例えば１日に数回配信情報を変更することができるようになる。また、積雪や降雨情報などを即座に配信することが可能になる。
Further, the
さらに、照明が現在の位置情報を配信することで、車両６００１や歩行者６００２に対して、位置情報を提供することも可能である。商店街やトンネルなど屋上に屋根がある施設は、ＧＰＳを用いた位置情報取得が困難である場合があるが、可視光通信を用いれば、このような状況でも位置情報を取得することが可能であるというメリットがある。また、本実施の形態により通信速度が従来と比較してより高速化することが可能であるため、例えば店舗や交差点など特定のスポットを通過する間に情報を受信することが可能となる。
Further, it is also possible to provide the position information to the
なお、本実施の形態は可視光通信を高速化するものであるため、その他の可視光通信を用いたＩＴＳシステム全般に応用可能であることは言うまでもない。 Needless to say, since this embodiment speeds up visible light communication, it can be applied to other ITS systems using visible light communication in general.
図１１２は、車両同士が可視光通信を用いて通信を行う、車車間通信に本発明を適用した場合の概略図である。 FIG. 112 is a schematic view of a case where the present invention is applied to vehicle-to-vehicle communication in which vehicles communicate with each other using visible light communication.
車両６００１はブレーキランプやその他ＬＥＤ照明を通じて後方の車両６００１ａへ情報を伝達する。また、ヘッドライトやその他前方を照らすライトを通じて対向する車両６００１ｂへデータを送信することも可能である。
The
このように、車両間を可視光で通信することで車両同士の情報を共有することが可能である。例えば、前方交差点での事故情報を後方車両にリレー形式で伝達することによって、渋滞情報や注意喚起の情報を後方車両に伝えることが可能である。 In this way, it is possible to share information between vehicles by communicating between vehicles with visible light. For example, by transmitting accident information at a front intersection to a rear vehicle in a relay format, it is possible to transmit traffic congestion information and warning information to the rear vehicle.
また、同様に対向する車両に渋滞情報やブレーキのセンサ情報から取得した急ブレーキ情報を伝えることで対向車に対しても、運転を補助する情報を伝えることが可能である。 Similarly, by transmitting the sudden braking information acquired from the traffic jam information and the brake sensor information to the oncoming vehicle, it is possible to transmit the information to assist the driving to the oncoming vehicle.
本発明により可視光通信の通信速度が向上したため、対向車とすれ違いながら情報を送信することができるという利点がある。また、後方車両に対しても情報送信の間隔が短くなるためより短い期間で多くの車両に情報を伝達することが可能となる。また、通信速度があがることで、音声や画像情報を送ることも可能である。これによって、より豊かな情報を車車間で共有することが出来る。 Since the communication speed of visible light communication is improved by the present invention, there is an advantage that information can be transmitted while passing by an oncoming vehicle. In addition, since the interval for transmitting information to the rear vehicle is shortened, it is possible to transmit information to many vehicles in a shorter period of time. In addition, it is possible to send voice and image information by increasing the communication speed. This makes it possible to share richer information between vehicles.
（位置情報報知システムおよび施設システム）
図１１３に、本実施の形態の可視光通信技術を用いた位置情報報知システムおよび施設システムの概略図を示す。例えば病院内で、患者のカルテや搬送物、薬品などをロボットで配送するシステムを代表として説明する。
(Location information notification system and facility system)
FIG. 113 shows a schematic view of a position information notification system and a facility system using the visible light communication technology of the present embodiment. For example, a system for delivering a patient's medical record, a transported object, a medicine, etc. by a robot in a hospital will be described as a representative.
ロボット６１０１は、可視光通信機能を搭載している。照明は位置情報を配信している。ロボット６１０１は、照明の位置情報を取得することで特定の病室に薬やその他物品を届けることが可能となる。これによって、医師の負担が減る。また、照明は隣の部屋に漏れることがないため、ロボット６１０１が部屋を間違えることが無いという効果がある。
The
なお、本実施の形態の可視光通信を用いたシステムは、病院内に限定されるものではなく、照明器具を用いて位置情報を配信するシステムに適応可能である。例えば、屋内のショッピングモールにおいて、案内表示板の照明から位置および案内情報をホ送信する仕組みにしても良いし、空港内でのカートの移動に用いても良い。 The system using visible light communication of the present embodiment is not limited to the hospital, and can be applied to a system that distributes position information using lighting equipment. For example, in an indoor shopping mall, the position and guidance information may be transmitted from the lighting of the guidance display board, or may be used for moving a cart in the airport.
また、店舗の照明に可視光通信技術を搭載することで、クーポン情報やセール情報を配信することも可能である。可視光に情報を重畳することで、ユーザはその店舗の光から情報を貰っているということが直感的に理解できるため、ユーザの利便性が向上するという効果がある。 In addition, by equipping store lighting with visible light communication technology, it is possible to distribute coupon information and sale information. By superimposing the information on the visible light, the user can intuitively understand that the information is obtained from the light of the store, which has the effect of improving the convenience of the user.
また、部屋の中／外である情報を送信する場合、無線ＬＡＮを用いて位置情報を配信すると、隣接する部屋や廊下に電波が漏れてしまうため、部屋の外に電波が飛ばないようにするように外壁に電波を遮断する機能が必要であった。まだ外壁で電波を遮断すると、携帯電話等の外部と通信する機器が使えないという課題があった。 Also, when transmitting information inside / outside a room, if location information is distributed using a wireless LAN, radio waves will leak to adjacent rooms and corridors, so prevent radio waves from flying outside the room. It was necessary to have a function to block radio waves on the outer wall. If the radio waves are still blocked by the outer wall, there is a problem that devices that communicate with the outside such as mobile phones cannot be used.
本実施の形態の可視光通信を用いて位置情報を送信すると、照明の届く範囲のみで通信可能であるため、例えば特定の部屋の位置情報を利用者に送信することが容易であるという効果がある。また、外壁は通常光を遮るため、特別な装置が必要ないという効果がある。 When the position information is transmitted using the visible light communication of the present embodiment, the communication is possible only within the reach of the lighting, so that there is an effect that it is easy to transmit the position information of a specific room to the user, for example. is there. In addition, since the outer wall usually blocks light, there is an effect that no special device is required.
また、ビルや大規模施設、一般家屋において、通常照明の位置は変わることが無いため、各照明が送信する位置情報は頻繁に変わることが無い。各照明の位置情報のデータベースの更新頻度が低いので、位置情報管理のメンテナンスコストが低いという効果がある。 Further, in a building, a large-scale facility, or a general house, the position of the normal lighting does not change, so the position information transmitted by each lighting does not change frequently. Since the database of location information of each lighting is updated infrequently, there is an effect that the maintenance cost of location information management is low.
（スーパーマーケットのシステム）
図１１４に、商店において、本実施の形態の通信方式を搭載した機器をショッピングカートに搭載し、商品だなの照明もしくは、屋内照明から位置情報を取得するスーパーマーケットのシステムを説明する。
(Supermarket system)
FIG. 114 describes a supermarket system in which a device equipped with the communication method of the present embodiment is mounted on a shopping cart in a store and position information is acquired from the lighting of a product rack or indoor lighting.
カート６２０１は本実施の形態の通信方式を用いたした可視光通信機器を搭載している。照明６１００は、可視光通信によって、位置情報をおよびその棚の情報を配信している。カートは、照明から配信される商品情報を受け取る事ができる。また位置情報を受け取る事で、自分がどの棚にいるか把握することができるため、例えば、カートに棚の位置情報を記憶させておけば、ユーザが行きたい棚もしくは欲しい商品をカートに指定するだけで、どこの方向に行けば良いかカートに表示させることが可能となる。
The
可視光通信によって、棚の位置が分かる程度の高精度な位置情報を得ることができるため、カートの移動情報を取得し、活用することができる。例えば、カートが照明から取得した位置情報を、データベース化することも可能である。 Visible light communication makes it possible to obtain highly accurate position information such that the position of the shelf can be known, so that it is possible to acquire and utilize the movement information of the cart. For example, it is possible to create a database of the location information acquired by the cart from the lighting.
可視光通信を用いて照明にカートの情報と共に送信する、あるいは無線ＬＡＮ等を用いてサーバに送信する。あるいは、カートにメモリを搭載しておき、店舗の閉店後にデータを集める等によって、カートがどの様な経路を通ったかということをサーバに集約する。 It is transmitted to the lighting together with the cart information using visible light communication, or transmitted to the server using wireless LAN or the like. Alternatively, a memory is installed in the cart, and data is collected after the store is closed to collect the route taken by the cart on the server.
カートの移動情報を集めることで、どの棚に人気があるか、どの通路が最も通られているかを把握することができるため、マーケティングに使えるという効果がある。 By collecting cart movement information, it is possible to grasp which shelves are popular and which passages are the most routed, which is effective for marketing.
（携帯電話端末とカメラの通信）
図１１５に、本実施の形態の可視光通信を用いた応用例を示す。
(Communication between mobile phone terminal and camera)
FIG. 115 shows an application example using the visible light communication of the present embodiment.
携帯電話端末６３０１は、フラッシュライトを用いて、カメラ６３０２にデータを送信する。カメラ６３０２は撮像部で受信した光情報から携帯電話端末６３０１が送信したデータを受信する。
The
あらかじめ、携帯電話端末６３０１において、カメラの撮影設定をしておき、カメラ６３０２に送信する。これによって、携帯電話端末の豊かなユーザインターフェースを利用して、カメラの設定を行うことができる。
The camera's shooting settings are set in advance on the
また、カメラの撮影センサを利用することで、カメラと携帯電話端末を通信する際に、無線ＬＡＮ等の新たな通信機器を搭載することなく、携帯電話端末からカメラに設定情報を送信することが可能となる。 In addition, by using the camera's imaging sensor, when communicating between the camera and the mobile phone terminal, setting information can be transmitted from the mobile phone terminal to the camera without installing a new communication device such as a wireless LAN. It will be possible.
（水中通信）
図１１６に、本実施の形態の通信方式を水中通信に適応した場合の概略図を示す。水は電波を通さないため、水中のダイバー同士や海上の船と海中の船は無線を通じて通信をすることができない。本実施の形態の可視光通信では水中でも利用可能である。
(Underwater communication)
FIG. 116 shows a schematic view when the communication method of this embodiment is applied to underwater communication. Since water does not transmit radio waves, underwater divers and ships at sea and ships underwater cannot communicate wirelessly. In the visible light communication of this embodiment, it can be used underwater.
なお、本実施の形態の可視光通信方式は、光を発するオブジェや建造物からデータを送信することが可能となる。建物に対して受光部を向けるとその建物の案内情報や詳細情報を取得することができるため、観光客に有益な情報を提供することができる。 The visible light communication method of the present embodiment makes it possible to transmit data from an object or a building that emits light. By pointing the light receiving unit at a building, it is possible to obtain guidance information and detailed information on the building, so that it is possible to provide useful information to tourists.
なお、本実施の形態の可視光通信方式は、灯台から船舶との通信に適用可能である。従来より大容量の通信を行うことができるため、より詳細な情報をやり取りすることができる。 The visible light communication method of the present embodiment can be applied to communication from the lighthouse to the ship. Since it is possible to perform communication with a larger capacity than before, more detailed information can be exchanged.
なお、本実施の形態の可視光通信は、光を用いるため、特定の部屋のみで通信を行うといった部屋単位での通信制御を行うことができる。例えば図書館で特定の部屋のみで閲覧可能な情報へアクセスする場合に本実施の形態の通信方式を用いる、または本実施の形態の通信方式を鍵情報のやりとりに、用いて、実際の通信は無線ＬＡＮ等の通信を用いて行うなどの用途に適用可能である。 Since the visible light communication of the present embodiment uses light, it is possible to perform communication control on a room-by-room basis, such as performing communication only in a specific room. For example, when accessing information that can be viewed only in a specific room in a library, the communication method of this embodiment is used, or the communication method of this embodiment is used for exchanging key information, and the actual communication is wireless. It can be applied to applications such as using communication such as LAN.
なお、本実施の形態の通信方式はＬＥＤによる通信及びＭＯＳセンサを備える撮像装置すべてに転用可能であり、例えばデジタルカメラやスマートフォンに適用可能であることは言うまでもない。 Needless to say, the communication method of the present embodiment can be diverted to all image pickup devices including LED communication and a MOS sensor, and can be applied to, for example, a digital camera or a smartphone.
（実施の形態５）
（サービス提供例）
以下、本実施の形態では、本発明の適用例として、図１１７を用いて、ユーザへのサービス提供例を説明する。図１１７は、実施の形態５におけるユーザへのサービス提供例を説明するための図である。図１１７には、ネットサーバ４０００ａと、送信機４０００ｂ、４０００ｄ、４０００ｅと、受信機４０００ｃ、４０００ｆと、建物４０００ｇとが示されている。
(Embodiment 5)
(Example of service provision)
Hereinafter, in the present embodiment, an example of providing a service to a user will be described with reference to FIG. 117 as an application example of the present invention. FIG. 117 is a diagram for explaining an example of providing a service to a user according to the fifth embodiment. FIG. 117 shows a
受信機４０００ｃ、４０００ｆが家屋内外にある複数の送信機４０００ｂ、４０００ｄ、４０００ｅから信号を受信し、処理することでユーザへサービスを提供できる。なお、送信機、および、受信機は単独で信号を処理し、ユーザへサービスを提供できてもよいし、ネットワークを構成するネットサーバ４０００ａと連携してネットワークからの指示に従い、それらの挙動や発信する信号を変化させながら、ユーザへサービスを提供できてもよい。
The
なお、送信機、および、受信機は人や車両など動く物体に備え付けられていてもよいし、静止している物体に備え付けられてもよいし、既存する物体にあとから備え付けることができてもよい。 The transmitter and the receiver may be attached to a moving object such as a person or a vehicle, may be attached to a stationary object, or may be attached to an existing object later. Good.
図１１８は、実施の形態５におけるユーザへのサービス提供例を説明するための図である。図１１８には、送信機４００１ａと、受信機４００１ｂとが示されている。
FIG. 118 is a diagram for explaining an example of providing a service to a user according to the fifth embodiment. FIG. 118 shows a
図１１８のように、受信機４００１ｂは複数の送信機４００１ａが発信した信号を受信し、信号に含まれる情報を処理することでユーザへサービスを提供する。なお、信号に含まれる内容には、機器を一意に示す機器ＩＤ、位置情報、地図、標識、観光情報、交通情報、地域サービス、クーポン、広告、商品説明、キャラクター、音楽、動画、写真、音声、メニュー、放送、緊急案内、時刻表、ガイド、アプリケーション、ニュース、掲示板、機器へのコマンド、個人を識別する情報、金券、クレジットカード、セキュリティ、ＵＲＬなどに関する情報がある。
As shown in FIG. 118, the
ユーザは、これら信号に含まれる情報を利用するための登録処理などを事前にネットサーバ上で実施しておき、実際に送信機４００１ａが信号を発信する場所でこれらの信号をユーザが受信機４００１ｂで受信することでサービスの提供を受けることができてもよいし、ネットサーバを介在せずにサービスの提供を受けることができてもよい。
The user performs registration processing for using the information contained in these signals on the net server in advance, and the user transmits these signals to the
図１１９は、本実施の形態における受信機が送信機から受信した複数の信号を同時に処理する場合を示すフローチャートである。 FIG. 119 is a flowchart showing a case where the receiver in the present embodiment simultaneously processes a plurality of signals received from the transmitter.
まず、ステップ４００２ａで開始する。次に、ステップ４００２ｂで受信機が複数の光源からの信号を受信する。次に、ステップ４００２ｃで受信した結果から、それぞれの光源が表示される領域を判定し、それぞれの光源から信号を抽出する。
First, it starts in
ステップ４００２ｄで取得した信号の数分の処理を数が０個になるまでステップ４００２ｅで信号に含まれる情報を元に処理を繰り返す。処理すべき数が０個になった段階で、ステップ４００２ｆで終了する。
The processing for the number of signals acquired in
図１２０は、実施の形態５における相互通信により機器間のコミュニケーションを実現する場合の一例を示す図である。図１１８には送信機、および、受信機を持つ複数の送受信機４００３ａ、送受信機４００３ｂ、送受信機４００３ｃが相互に通信することにより機器間のコミュニケーションを実現する場合の一例が示されている。なお、送受信機は図１１８のように同一機器間でのみ通信できてもよいし、異なる機器間で通信できてもよい。
FIG. 120 is a diagram showing an example of a case where communication between devices is realized by mutual communication in the fifth embodiment. FIG. 118 shows an example of a case where a transmitter, a plurality of transmitters /
また、本実施の形態はアプリケーションを本実施の形態が提供する通信手段や他のネットワーク、着脱式のストレージを利用して、携帯電話、スマートフォン、パソコン、ゲーム機などへアプリケーションを配信し、それらアプリケーションから既に備え付けてある機器のデバイス（ＬＥＤ、フォトダイオード、イメージセンサー）を利用することで、ユーザへサービスを提供することができる。なお、アプリケーションははじめから機器に搭載されていてもよい。 Further, in the present embodiment, the application is distributed to a mobile phone, a smartphone, a personal computer, a game machine, etc. by using the communication means, other networks, and the detachable storage provided by the present embodiment, and the application is used. It is possible to provide services to users by using the devices (LEDs, photodiodes, image sensors) of the devices already installed in the company. The application may be installed in the device from the beginning.
（指向性を利用したサービスの例）
また、本発明の適用例として、本実施の形態の指向性の特性を利用したサービスについて説明する。具体的には、映画館、コンサートホール、博物館、病院、公民館、学校、会社、商店街、デパート、役所、フードショップなどのような公共施設で本発明を利用する場合の例である。本発明は、従来の可視光通信と比較して、送信機が受信機へ発生する信号の指向性を低くすることができるため、公共施設に存在する多数の受信機へ情報を同時に発信することができる。
(Example of service using directivity)
Further, as an application example of the present invention, a service utilizing the directivity characteristic of the present embodiment will be described. Specifically, this is an example of using the present invention in public facilities such as movie theaters, concert halls, museums, hospitals, public halls, schools, companies, shopping streets, department stores, government offices, food shops, and the like. In the present invention, the directivity of the signal generated by the transmitter to the receiver can be lowered as compared with the conventional visible light communication, so that information can be simultaneously transmitted to a large number of receivers existing in public facilities. Can be done.
図１２１は、実施の形態５における指向性の特性を利用したサービスを説明するための図である。図１２１には、スクリーン４００４ａと、受信機４００４ｂと、照明４００４ｃとが示されている。
FIG. 121 is a diagram for explaining a service utilizing the directivity characteristic in the fifth embodiment. FIG. 121 shows a
図１２１のように、映画館で本実施の形態を利用することで、映画の上映中にユーザが他のユーザの快適な映画の視聴妨害に繋がる機器（携帯電話、スマートフォン、パソコン、ゲーム機など）の利用を抑制することができる。送信機は、映画を表示するスクリーン４００４ａに投影される映像内や施設に備え付けてある照明４００４ｃなどが発する光を信号とし、それら信号内に受信機４００４ｂを制御するコマンドを含ませる。受信機４００４ｂがこのコマンドを受信することで、受信機４００４ｂの動作を制御し、他のユーザの映画視聴を阻害するような行為を防止することができる。受信機４００４ｂを制御するコマンドは電源や受信が発する音、通信機能、ＬＥＤの表示、バイブレーションなどのＯＮ、ＯＦＦ、レベル調整などがある。
As shown in FIG. 121, by using this embodiment in a movie theater, a device (mobile phone, smartphone, personal computer, game machine, etc.) that allows a user to interfere with other users' comfortable viewing of a movie during the screening of a movie. ) Can be suppressed. The transmitter uses light emitted from an image projected on a
また、受信機が、送信機の送信する信号を光源の強さなどを利用して、フィルタリングすることで、指向性の強さを制御することができる。本実施の形態では、指向性を低く設定することで、施設に存在する受信機へ一斉にコマンドや情報を送信することかできる。 Further, the receiver can control the strength of directivity by filtering the signal transmitted by the transmitter by using the strength of the light source or the like. In the present embodiment, by setting the directivity to be low, commands and information can be transmitted all at once to the receivers existing in the facility.
なお、指向性を高くしたい場合は、送信機側が光源の量を制限してもよいし、受信機側で光源を受光する感度を下げたり、受光した光源の量を信号処理したりすることで、制約をかけてもよい。 If you want to increase the directivity, the transmitter side may limit the amount of the light source, the receiver side may reduce the sensitivity to receive the light source, or the amount of the received light source may be signal-processed. , May be constrained.
なお、本実施の形態をフードショップ、役所などのようにユーザからの注文を受け、その場で注文を処理するような店舗などで利用する場合は、ユーザの手元にある送信機で発信した注文を含む信号を、店舗を見渡せる場所に配置してある受信機が受信することで、どの席のユーザが何のメニューを注文したかを検出することができる。サービス提供者は時間軸を設けて注文を処理することで、ユーザへ公平性の高いサービスを提供できる。 When this embodiment is used in a store that receives an order from a user and processes the order on the spot, such as a food shop or a government office, the order is sent by the transmitter in the user's hand. By receiving the signal including the above by a receiver arranged in a place overlooking the store, it is possible to detect which seat user ordered what menu. The service provider can provide a highly fair service to the user by processing the order with a time axis.
なお、発信機と受信機間であらかじめ設定された秘密鍵や公開鍵を利用し、信号に含まれる情報を暗号化・復号化することで、信号を送信できる送信機、信号を受信できる受信機を制約してもよい。また、送信機、および、受信機間の送信路をインターネットにおいて標準で利用されるＳＳＬなどのプロトコルを利用して、他の機器からの信号の傍受を抑制してもよい。 A transmitter that can transmit a signal and a receiver that can receive a signal by encrypting / decrypting the information contained in the signal using a private key or public key preset between the transmitter and the receiver. May be constrained. Further, the interception of signals from other devices may be suppressed by using a protocol such as SSL which is used as a standard on the Internet for the transmission path between the transmitter and the receiver.
（実世界とインターネット上の世界の融合によるサービス例）
また、本発明の適用例として、カメラに撮像された実世界とインターネット上の世界の情報を重畳してユーザへサービスを提供するサービスについて説明する。
(Example of service by integrating the real world and the world on the Internet)
Further, as an application example of the present invention, a service for providing a service to a user by superimposing information on the real world captured by a camera and the world on the Internet will be described.
図１２２は、実施の形態５におけるユーザへのサービス提供例の別の例を説明するための図である。具体的には、図１２２は、携帯電話、スマートフォン、ゲーム機などに受信機に搭載されたカメラ４００５ａを利用して本実施の形態を活用する場合のサービスの一例を示している。ここで、図１２２には、カメラ４００５ａと、光源４００５ｂと、重畳する内容４００５ｃとが示されている。
FIG. 122 is a diagram for explaining another example of the service provision example to the user in the fifth embodiment. Specifically, FIG. 122 shows an example of a service in which the present embodiment is utilized by using the
カメラ４００５ａの撮像結果から複数の光源４００５ｂが発信する信号４００５ｄを抽出し、それらの信号４００５ｄに含まれる情報をカメラ４００５ａへ重畳して表示する。なお、カメラ４００５ａに重畳する内容４００５ｃは文字列、画像、動画、キャラクター、アプリケーション、ＵＲＬなどがある。なお、カメラとの重畳だけでなく、音声、バイブレーションなどを利用して、信号に含まれる情報を処理してもよい。
図１２３は、送信機が発する光源に含まれる信号のフォーマット例を示す図である。図１２３には、光源の特性４００６ａと、サービス種別４００６ｂと、サービスに関する情報４００６ｃとが示されている。
FIG. 123 is a diagram showing a format example of a signal included in a light source emitted by a transmitter. FIG. 123 shows the characteristics of the
受信機が受信した信号をカメラに重畳するサービスに関する情報４００６ｃは、送信機が発する信号に含まれるサービス種別４００６ｂなどの情報やカメラから光源までの距離に応じて、信号から取得できる情報をフィルタリングした結果である。なお、受信機がフィルタリングする内容は、あらかじめ設定された受信機の設定に従ってもよいし、ユーザが受信機に設定したユーザの嗜好に従ってもよい。
The
また、受信機は、信号を発する発信機までの距離を推定し、光源までの距離を表示できる。受信機がカメラに撮像された発信機が発する光量をデジタル信号処理することで発信機までの距離を推定する。 In addition, the receiver can estimate the distance to the transmitter that emits the signal and display the distance to the light source. The receiver estimates the distance to the transmitter by digitally processing the amount of light emitted by the transmitter captured by the camera.
しかし、受信機がカメラで撮像したそれぞれの発信機の光量は、光源の位置や強さにより異なるため、撮像した発信機の光量のみで距離を推定すると、大幅にずれる場合がある。 However, since the amount of light of each transmitter imaged by the receiver differs depending on the position and intensity of the light source, the distance may be significantly deviated if the distance is estimated only by the amount of light of the imaged transmitter.
これを解決するために、発信機が発する信号内に、光源の強さや色、種類などを示す光源の特性４００６ａを含ませる。受信機は信号に含まれる光源の特性を加味したデジタル信号処理を行うことで、精度の高い距離を推定することができる。受信機が撮像した発信機の光源が複数ある場合、全ての光源の強さが同一である場合は、光源の光量で距離を推定する。受信機が撮像した光源の強さが同一でない送信機がある場合は、光源量のみで距離を推測せず、その他の距離測定手段と組み合わせ、送信機から受信機までの距離を推測する。 In order to solve this problem, a light source characteristic 4006a indicating the strength, color, type, etc. of the light source is included in the signal emitted by the transmitter. The receiver can estimate the distance with high accuracy by performing digital signal processing that takes into account the characteristics of the light source included in the signal. If there are multiple light sources of the transmitter imaged by the receiver and the intensities of all the light sources are the same, the distance is estimated from the amount of light of the light sources. If there is a transmitter in which the intensity of the light source imaged by the receiver is not the same, the distance is not estimated only by the amount of the light source, but is estimated by combining with other distance measuring means to estimate the distance from the transmitter to the receiver.
その他の距離測定手段としては、二眼レンズで撮像される映像の視差を利用して距離を推定してもよいし、赤外線やミリ波レーダなどを用いて、距離を推定してもよいし、受信機の移動量を９軸センサや受信機に搭載されている撮像したなどで取得し、移動した距離と三角測量とを組み合わせ距離を推定してもよい。 As another distance measuring means, the distance may be estimated by using the parallax of the image captured by the binocular lens, or the distance may be estimated by using an infrared ray or a millimeter wave radar. The movement amount of the receiver may be acquired by an image taken by a 9-axis sensor or the receiver, and the distance may be estimated by combining the movement distance and the triangulation.
なお、受信機が、送信機側で発生する信号の強さや距離を利用して、信号をフィルタリングし、表示するだけでなく、受信機が送信機から受信する信号の指向性を調整するための手段として利用してもよい。 It should be noted that the receiver not only filters and displays the signal by using the strength and distance of the signal generated on the transmitter side, but also adjusts the directivity of the signal received by the receiver from the transmitter. It may be used as a means.
（実施の形態６）
以下では、機器が備えるＬＥＤの点滅パターンとして情報を送信することで、スマートフォンのカメラを用いて通信する処理の流れについて述べる。
(Embodiment 6)
In the following, the flow of processing for communicating using the camera of a smartphone by transmitting information as the blinking pattern of the LED provided in the device will be described.
図１２４は、本実施の形態における宅内の環境の例を示す図である。図１２４に示す環境では、テレビ１１０１や電子レンジ１１０６、空気清浄機１１０７に対して、スマートフォン１１０５などもユーザの回りにある。
FIG. 124 is a diagram showing an example of a home environment according to the present embodiment. In the environment shown in FIG. 124, there are a
図１２５は、本実施の形態における家電機器とスマートフォンの通信の例を示す図である。図１２５は、情報通信の例であり、図１２４のテレビ１１０１や電子レンジ１１０６のような各機器の出力する情報をユーザが保有するスマートフォン１２０１で取得することで、情報を得る構成を示す図である。図１２５に示すとおり、各機器はＬＥＤの点滅パターンを用いて情報を送信し、スマートフォン１２０１はカメラなどによる撮像機能を用いて情報を受け取る。
FIG. 125 is a diagram showing an example of communication between a home electric appliance and a smartphone according to the present embodiment. FIG. 125 is an example of information communication, and is a diagram showing a configuration in which information is obtained by acquiring information output by each device such as the
図１２６は、本実施の形態における送信側装置１３０１の構成の１例を示す図である。 FIG. 126 is a diagram showing an example of the configuration of the transmitting side device 1301 in the present embodiment.
この送信側装置１３０１は、ユーザがボタンを押したり、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）などによって送信指示を送ったり、装置内部の故障などのステートの変化を検知することで、情報を光の点滅パターンとして送信する。このとき一定時間送信を繰り返す。送信される情報は、あらかじめ登録されている機器間であれば、短縮ＩＤを用いてもよい。また、無線ＬＡＮや特定省電力無線といった無線通信部を有する場合は、その接続に必要な認証情報を点滅パターンとして送信することもできる。 The transmitting side device 1301 uses information as a blinking pattern of light by the user pressing a button, sending a transmission instruction by NFC (Near Field Communication) or the like, or detecting a state change such as a failure inside the device. Send. At this time, transmission is repeated for a certain period of time. As the information to be transmitted, a shortened ID may be used as long as it is between devices registered in advance. Further, when a wireless communication unit such as a wireless LAN or a specific power saving wireless is provided, the authentication information required for the connection can be transmitted as a blinking pattern.
また、送信速度判定部１３０９は、機器内部のクロック発生装置の性能を把握することで、クロック発生装置が廉価なもので精度の悪い場合は、送信速度を遅くして、高い場合は送信速度を早くする処理を行うことができる。クロック発生装置の性能が悪い場合は、又は送信される情報自体を短く区切ることで長時間通信することでの点滅間隔のずれの蓄積によるエラーを減らすことも可能である。
Further, the transmission
図１２７は、本実施の形態における受信側装置１４０１の構成の１例を示す図である。 FIG. 127 is a diagram showing an example of the configuration of the receiving side device 1401 in the present embodiment.
この受信側装置１４０１は、画像取得部１４０４が取得したフレーム画像から、光の点滅が見られるエリアを判定する。このとき点滅は、一定以上の輝度の高低が観測されるエリアを追尾するような方法をとることもできる。
The receiving side device 1401 determines an area where blinking light is observed from the frame image acquired by the
点滅情報取得部１４０６は、点滅のパターンから、送信された情報を取得し、その中に機器ＩＤなどの機器関連が含まれている場合は、その情報を用いてクラウド上の関連サーバに付随する情報を問い合わせるか、又は事前に保管されている無線通信エリア内の機器か又は受信側装置内部に保管されている情報を用いて補間する。これによって、光の発光パターンを撮像するときのノイズによるエラー補正や、すでに入手した情報を取得するために、ユーザがスマートフォンを送信側装置の発光部にかざす時間を削減するなどの効果が得られる。
The blinking
以下、図１２８を解説する。 Hereinafter, FIG. 128 will be described.
図１２８は、本実施の形態における送信側装置のＬＥＤの点滅によってスマートフォンなどの受信側装置に情報を送る処理の流れを示す図である。ここでは、ＮＦＣによってスマートフォンと通信する機能を有する送信側装置と、その送信側装置が持つＮＦＣ用の通信マークの一部に埋め込まれたＬＥＤの発光パターンによって情報を送信する状況を想定する。 FIG. 128 is a diagram showing a flow of processing for transmitting information to a receiving side device such as a smartphone by blinking an LED of the transmitting side device in the present embodiment. Here, it is assumed that information is transmitted by a transmitting side device having a function of communicating with a smartphone by NFC and an LED light emitting pattern embedded in a part of a communication mark for NFC possessed by the transmitting side device.
まず、ステップ１００１ａで、ユーザが家電機器を購入し初めてコンセントに電源を差し、通電状態になる。
First, in
次に、ステップ１００１ｂで、初期設定情報が書き込み済みかどうかを確認する。Ｙｅｓの場合は図中の丸３に進む。一方、Ｎｏの場合はステップ１００１ｃに進み、ユーザが理解しやすい点滅速度（例：１〜２／５）で、マークが点滅する。
Next, in
次に、ステップ１００１ｄで、ユーザがＮＦＣ通信よりスマートフォンをマークにタッチすることで家電の機器情報を取得するかどうかを確認する。ここで、Ｙｅｓの場合は、ステップ１００１ｅに進み、スマートフォンがクラウドのサーバに機器情報を受信し、クラウドに登録する。続いて、ステップ１００１ｆで、クラウドからスマートフォンのユーザのアカウントに関連づけられた短縮ＩＤを受信し、家電に送信し、ステップ１００１ｇに進む。なお、ステップ１００１ｄで、Ｎｏの場合はステップ１００１ｇに進む。
Next, in
次に、ステップ１００１ｇで、ＮＦＣでの登録があるかどうか確認する。Ｙｅｓの場合は、ステップ１００１ｊへ進み、青の点滅２回後、ステップ１００１ｋで、点滅が終了する。
Next, in
一方、ステップ１００１ｇで、Ｎｏの場合はステップ１００１ｈへ進む。続いて、ステップ１００１ｈで、３０秒過ぎたかどうかを確認する。ここで、Ｙｅｓの場合は、ステップ１００１ｉへ進み、ＬＥＤ部分が光の点滅によって機器情報（機器の型番、ＮＦＣでの登録処理有無、機器の固有ＩＤ）を出力して、図１２９の丸２へ進む。
On the other hand, in
なお、ステップ１００１ｈで、Ｎｏの場合はステップ１００１ｄへ戻る。
If the result is No in
次に、図１２９〜図１３２を用いて、本実施の形態における送信側装置のＬＥＤの点滅によって受信側装置に情報を送信する処理の流れを説明する。ここで、図１２９〜図１３２は、送信側装置のＬＥＤの点滅によって受信側装置に情報を送信する処理の流れを示す図である。 Next, with reference to FIGS. 129 to 132, a flow of processing for transmitting information to the receiving side device by blinking the LED of the transmitting side device in the present embodiment will be described. Here, FIGS. 129 to 132 are diagrams showing a flow of processing for transmitting information to the receiving side device by blinking the LED of the transmitting side device.
以下、図１２９を解説する。 Hereinafter, FIG. 129 will be described.
まず、ステップ１００２ａで、ユーザがスマートフォンの光点滅情報を取得するアプリを起動する。 First, in step 1002a, the user starts an application for acquiring the light blinking information of the smartphone.
次に、ステップ１００２ｂで、画像取得部分が光の点滅を取得する。そして、点滅エリア判定部が画像の時系列上の変化から点滅しているエリアを判定する。 Next, in step 1002b, the image acquisition portion acquires the blinking of the light. Then, the blinking area determination unit determines the blinking area from the change in the time series of the image.
次に、ステップ１００２ｃで、点滅情報取得部が点滅エリアの点滅パターンを判定し、プリアンブル検出を待つ。 Next, in step 1002c, the blinking information acquisition unit determines the blinking pattern of the blinking area and waits for preamble detection.
次に、ステップ１００２ｄで、プリアンブルの検出出来た場合、その点滅エリアの情報を取得する。 Next, if the preamble can be detected in step 1002d, the information of the blinking area is acquired.
次に、ステップ１００２ｅで、機器ＩＤの情報が取得出来た場合、受信継続状態においても、クラウド側のサーバに情報を送り情報補間部がクラウド側から入手した情報と点滅情報取得部の情報とを比べつつ補間する。 Next, when the device ID information can be acquired in step 1002e, the information is sent to the server on the cloud side and the information interpolated unit obtains the information from the cloud side and the information of the blinking information acquisition unit even in the reception continuation state. Interpolate while comparing.
次に、ステップ１００２ｆで、補間した情報も含めて全ての情報がそろったらスマートフォンかユーザに通知する。この時クラウドから入手した関連サイトやＧＵＩを表示する事でよりリッチで分かり易い通知が可能となり、図１３０の丸４へ進む。
Next, in step 1002f, when all the information including the interpolated information is collected, the smartphone or the user is notified. At this time, by displaying the related sites and GUI obtained from the cloud, a richer and easier-to-understand notification becomes possible, and the process proceeds to
以下、図１３０を解説する。 Hereinafter, FIG. 130 will be described.
まず、ステップ１００３ａで、家電が故障やユーザに通知する使用回数、室温などのメッセージを生成した場合、情報送信モードを開始する。
First, in
次に、ステップ１００３ｂで、マークを１〜２／ｓで点滅させる。同時にＬＥＤも情報発信を始める。
Next, in
次に、ステップ１００３ｃで、ＮＦＣでの通信が開始されたかどうかを確認する。なお、Ｎｏの場合は、図１３２の丸７へ進む。Ｙｅｓの場合は、ステップ１００３ｄへ進み、ＬＥＤの点滅を停止する。
Next, in
次に、ステップ１００３ｅで、スマートフォンがクラウドのサーバにアクセスして、関連情報を表示する。
Next, in
次に、ステップ１００３ｆで、現地対応が必要な故障の場合、サーバ側でサポートするサービスマンを検索。家電、設置場所、位置情報を利用する。
Next, in
次に、ステップ１００３ｇで、サービスマンがあらかじめ決められた順に家電のボタンを押すことでサポートモードにする。 Next, in step 1003g, the serviceman presses the buttons of the home appliances in a predetermined order to switch to the support mode.
次に、ステップ１００３ｈで、マーカ以外の家電のＬＥＤでマーカの点滅がスマートフォンから見える場合に同時に見えるＬＥＤの一部または全てが情報を補間する様点滅し、図１３１の丸５へ進む。
Next, in step 1003h, when the blinking of the marker is visible from the smartphone on the LED of the home appliance other than the marker, part or all of the LEDs that can be seen at the same time blink so as to interpolate the information, and the process proceeds to
以下、図１３１を解説する。 Hereinafter, FIG. 131 will be described.
まず、ステップ１００４ａで、サービスマンは所有する受信端末の性能が高速（例：１０００／ｓ回）の点滅を検出可能な場合、その設定ボタンを押す。 First, in step 1004a, when the performance of the receiving terminal owned by the serviceman can detect high-speed blinking (eg, 1000 / s times), the serviceman presses the setting button.
次に、ステップ１００４ｂで、家電のＬＥＤが高速モード点滅して、丸６に進む。
Next, in step 1004b, the LED of the home appliance blinks in the high-speed mode, and the process proceeds to
以下、図１３２を解説する。 Hereinafter, FIG. 132 will be described.
まず、ステップ１００５ａで、点滅を継続する。 First, in step 1005a, blinking is continued.
次に、ステップ１００５ｂで、ユーザがスマートフォンでＬＥＤの点滅情報を取りに来る。
Next, in
次に、ステップ１００５ｃで、ユーザがスマートフォンの光点滅情報を取得するアプリを起動する。 Next, in step 1005c, the user starts an application for acquiring the light blinking information of the smartphone.
次に、ステップ１００５ｄで、画像取得部分が光の点滅を取得する。そして、点滅エリア判定部が画像の時系列上の変化から点滅しているエリアを判定する。
Next, in
次に、ステップ１００５ｅで、点滅情報取得部が点滅エリアの点滅パターンを判定し、プリアンブル検出を待つ。
Next, in
次に、ステップ１００５ｆで、プリアンブルの検出出来た場合、その点滅エリアの情報を取得する。
Next, if the preamble can be detected in
次に、ステップ１００５ｇで、機器ＩＤの情報が取得出来た場合、受信継続状態においても、クラウド側のサーバに情報を送り情報補間部がクラウド側から入手した情報と点滅情報取得部の情報とを比べつつ補間する。
Next, when the device ID information can be acquired in
次に、ステップ１００５ｈで、補間した情報も含めて全ての情報がそろったらスマートフォンかユーザに通知する。この時クラウドから入手した関連サイトやＧＵＩを表示する事でよりリッチで分かり易い通知が可能となる。
Next, in
そして、図１３０のステップ１００３ｆへ進む。 Then, the process proceeds to step 1003f in FIG.
このようにして、家電機器などの送信装置が、ＬＥＤの点滅によってスマートフォンに情報を送信することができる。無線機能やＮＦＣといった通信手段がないような機器でも、情報を発信することができて、スマートフォンを経由してクラウド上のサーバにあるリッチな情報をユーザに提供することもできる。 In this way, a transmitting device such as a home electric appliance can transmit information to the smartphone by blinking the LED. Information can be transmitted even with devices that do not have communication means such as wireless functions and NFC, and rich information on servers on the cloud can be provided to users via smartphones.
また、本実施の形態に示すように、少なくとも一つの持ち運び可能な機器を含む２つの機器間で、双方向通信（例えばＮＦＣ通信）と片方向通信（例えばＬＥＤの輝度変化による通信）の両方の通信方法でデータの送受信を行う機能を有する場合において、片方の機器からもう片方の機器に片方向通信にてデータの送信をしているときにおいて、双方向通信でデータ送受信が実現した場合に、片方向の通信をとめることが可能である。これにより、片方向通信に必要となる消費電力の無駄を省くことが出来るため効率的である。 Further, as shown in the present embodiment, both bidirectional communication (for example, NFC communication) and one-way communication (for example, communication due to a change in LED brightness) are performed between two devices including at least one portable device. When it has a function to send and receive data by the communication method, when data is transmitted from one device to the other device by one-way communication, and when data transmission and reception is realized by two-way communication, It is possible to stop one-way communication. This is efficient because it is possible to eliminate waste of power consumption required for one-way communication.
以上、実施の形態６によれば、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信装置を実現することができる。 As described above, according to the sixth embodiment, it is possible to realize an information communication device capable of communication between various devices including a device having a small computing power.
具体的には、本実施の形態の情報通信装置は、自らのユニークなＩＤと機器の状態情報を含む機器情報を管理する情報管理部と、発光素子と、前記発光素子の点滅パターンとして情報を送信する光送信部とを有し、前記光送信部は、前記機器の内部の状態に変化があった場合に、前記機器情報を光の点滅パターンに変換して送信する。 Specifically, the information communication device of the present embodiment has an information management unit that manages device information including its own unique ID and device status information, a light emitting element, and information as a blinking pattern of the light emitting element. It has an optical transmission unit for transmitting, and the optical transmission unit converts the device information into a blinking pattern of light and transmits it when there is a change in the internal state of the device.
ここで、例えば、さらに、自らの起動状態やユーザの使用履歴といった機器内部のセンシングされた情報を保存する起動履歴管理部を備え、前記光送信部は、利用するクロック発生装置のあらかじめ登録された性能情報を取得し、送信速度を変更するとしてもよい。 Here, for example, the optical transmission unit is further provided with an activation history management unit that stores the sensed information inside the device such as its own activation state and the usage history of the user, and the optical transmission unit is registered in advance of the clock generator to be used. Performance information may be acquired and the transmission speed may be changed.
また、例えば、前記光送信部は、光の点滅によって情報を送信するための第一の発光素子の周囲に、第二の発光素子を配置されており、前記第二の発光素子は、前記第一の発光素子の点滅による情報発信が一定回数繰り返される場合に、情報発信の終了と開始の間に発光するとしてもよい。 Further, for example, in the light transmitting unit, a second light emitting element is arranged around a first light emitting element for transmitting information by blinking light, and the second light emitting element is the first light emitting element. When information transmission by blinking one light emitting element is repeated a certain number of times, light may be emitted between the end and the start of information transmission.
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these general or specific aspects may be realized by a system, a method, an integrated circuit, a computer program or a recording medium, and may be realized by an arbitrary combination of a system, a method, an integrated circuit, a computer program or a recording medium. May be done.
（実施の形態７）
本実施の形態では、掃除機を例にとって、可視光通信を用いた機器とユーザの通信手順、及び、可視光通信を用いた初期設定から故障時の修理対応サービス、掃除機を用いたサービス連携について説明する。
(Embodiment 7)
In the present embodiment, taking a vacuum cleaner as an example, the communication procedure between the device and the user using visible light communication, the initial setting using visible light communication, the repair response service at the time of failure, and the service cooperation using the vacuum cleaner. Will be described.
図１３３と図１３４は、本実施の形態における可視光を用いてユーザと機器の通信を行う手順を説明するための図である。 FIGS. 133 and 134 are diagrams for explaining a procedure for communicating between a user and a device using visible light in the present embodiment.
以下、図１３３について解説する。 Hereinafter, FIG. 133 will be described.
まず、丸１において、開始する。
First, in
次に、ステップ２００１ａで、ユーザが電源投入する。
Next, in
次に、ステップ２００１ｂで、起動処理として、設置設定、ＮＷ設定等の初期設定がされているかを確認する。
Next, in
ここで、初期設定がされている場合は、ステップ２００１ｆへ進み、通常動作を開始して、丸３に示すように終了する。
Here, if the initial settings have been made, the process proceeds to step 2001f, the normal operation is started, and the normal operation is ended as shown in
一方、初期設定がされてない場合、ステップ２００１ｃへ進み、「ＬＥＤ通常発光」「ブザー音」によってユーザに初期設定が必要なことを通知する。 On the other hand, if the initial settings have not been made, the process proceeds to step 2001c, and the user is notified by "LED normal light emission" and "buzzer sound" that the initial settings are required.
次に、ステップ２００１ｄで、機器情報（製品番号と製造番号）を収集して可視光通信の準備をする。
Next, in
次に、ステップ２００１ｅで、機器情報（製品番号と製造番号）可視光通信が可能な事を「ＬＥＤ通信発光」「ディスプレイへのアイコン表示」「ブザー音」「複数のＬＥＤを発光」でユーザに通知する。
Next, in
そして、丸２に示すように終了する。
Then, it ends as shown in
続いて、図１３４について解説する。 Subsequently, FIG. 134 will be described.
まず、丸２に示すように開始する。
First, it starts as shown in
次に、ステップ２００２ａで、可視光受信端末の接近を「近接センサ」、「照度センサ」及び「人感センサ」で感知する。
Next, in
次に、ステップ２００２ｂで、感知した事をトリガーとして可視光通信を開始する。
Next, in
次に、ステップ２００２ｃで、ユーザは可視光受信端末で機器情報を取得する。
Next, in
続いて、丸４に示すように終了する。あるいは、ステップ２００２ｆ〜ステップ２００２ｉのいずれかに進む。
Then, it ends as shown in
ステップ２００２ｆに進んだ場合、「感度センサ」による感知、及び、「調光機器との連携」で部屋が消灯された事を感知して機器情報の発光を停止して、丸５に示すように終了する。また、ステップ２００２ｇに進んだ場合、可視光受信端末は機器情報を取得感感知した事を「ＮＦＣ通信」及び「ＮＷ通信」で通知して、終了する。ステップ２００２ｈに進んだ場合、可視光受信端末の離脱を感知して機器情報を停止して、終了する。ステップ２００２ｉに進んだ場合、一定時間の経過を持って、機器情報の発光を停止して、終了する。
When the process proceeds to step 2002f, the detection by the "sensitivity sensor" and the detection that the room has been turned off by the "cooperation with the dimming device" are stopped, and the light emission of the device information is stopped, as shown in
なお、ステップ２００２ａで、感知しなかった場合は、ステップ２００２ｄに進み、一定時間の経過を持って可視光通信が可能な通知を「明るくする」「音を大きくする」「アイコンを動かす」などで強化して通知する。ここで、ステップ２００２ｄへ戻る。あるいは、ステップ２００２ｅへ進み、さらに一定時間経過後に、ステップ２００２ｉへ進む。
If it is not detected in
図１３５は、本実施の形態におけるユーザが機器を購入して、機器の初期設定を行うまでの手順を説明するための図である。 FIG. 135 is a diagram for explaining a procedure for the user in the present embodiment to purchase the device and perform the initial setting of the device.
図１３５において、まず、丸４に示すように開始する。
In FIG. 135, first, it starts as shown by
次に、ステップ２００３ａで、機器情報を受信したスマホの位置情報をＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）で取得する。
Next, in
次に、ステップ２００３ｂで、スマホにユーザ情報があれば、ユーザ名、電話番号、メールアドレスなどのユーザ情報を端末内で収集する。または、ステップ２００３ｃで、スマホにユーザ情報がなければＮＷを通して周辺機器からユーザ情報を収集する。
Next, in
次に、ステップ２００３ｄで、機器情報とユーザ情報と位置情報をクラウドサーバに送信する。
Next, in
次に、ステップ２００３ｅで、機器情報と位置情報を用いて初期設定に必要な情報とアクティベーション情報を収集する。
Next, in
次に、ステップ２００３ｆで、ユーザ登録済みの機器との連携に設定に必要なＩＰや認証方式や利用可能サービスといった連係情報を収集する。あるいは、ステップ２００３ｇで、ユーザ登録済みの機器に対してＮＷを通して機器情報と設定情報を送信して周辺機器との連携設定を行う。
Next, in
次に、ステップ２００３ｈで、機器情報とユーザ情報を用いてユーザ設定を行う。
Next, in
次に、ステップ２００３ｉで、初期設定情報とアクティビティ情報と連携設定情報をスマホに送信する。 Next, in step 2003i, the initial setting information, the activity information, and the cooperation setting information are transmitted to the smartphone.
次に、ステップ２００３ｊで、初期設定情報とアクティベーション情報と連携設定情報をＮＦＣで家電に送信する。 Next, in step 2003j, the initial setting information, the activation information, and the cooperation setting information are transmitted to the home appliance by NFC.
次に、ステップ２００３ｋで、初期設定情報とアクティベーション情報と連携設定情報で機器の設定をする。
Next, in
そして、丸６に示すように終了する。
Then, it ends as shown in
図１３６は、本実施の形態における機器が故障した場合の、サービスマン専用のサービスについて説明するための図である。 FIG. 136 is a diagram for explaining a service dedicated to a serviceman when the device according to the present embodiment fails.
図１３６において、まず、丸３に示すように開始する。
In FIG. 136, first, it starts as shown by
次に、ステップ２００４ａで、機器の通常動作中に発生した動作ログ、ユーザ操作ログといった履歴情報をローカル記憶媒体に記録する。
Next, in
次に、ステップ２００４ｂで、故障発生と同時に、エラーコード、エラー詳細といったエラー情報を記録し、可視光通信が可能なことをＬＥＤ異常発光で通知する。
Next, in
次に、ステップ２００４ｃで、サービスマンの特殊コマンド実行でＬＥＤ高速発光モードとなり可視光の高速通信を開始する。
Next, in
次に、ステップ２００４ｄで、近接した端末が通常スマホなのか、サービスマンの専用受信端末かを判別する。ここで、ステップ２００４ｅに進んだ場合、スマホの場合はエラー情報を取得して終了する。
Next, in
一方、ステップ２００４ｆに進んだ場合、サービスマンの場合は、専用受信端末では、エラー情報と履歴情報を取得する。 On the other hand, when the process proceeds to step 2004f, in the case of a serviceman, the dedicated receiving terminal acquires error information and history information.
次に、ステップ２００４ｇで、クラウドに機器情報とエラー情報と履歴情報を送信し、修理方法を取得する。ここで、ステップ２００４ｈに進んだ場合、サービスマンの特殊コマンド実行でＬＥＤ高速発光モードを解除して、終了する。
Next, in
一方、ステップ２００４ｉに進んだ場合、クラウドサーバから機器情報の関連商品、類似商品の商品情報、最寄店舗の販売価格、新商品情報を取得する。 On the other hand, when the process proceeds to step 2004i, the related products of the device information, the product information of similar products, the selling price of the nearest store, and the new product information are acquired from the cloud server.
次に、ステップ２００４ｊで、ユーザのスマホとサービスマンの専用端末で可視光通信を通して、ユーザ情報を取得して、クラウドサーバに通して最寄店舗に商品を発注する。 Next, in step 2004j, the user information is acquired through visible light communication between the user's smartphone and the serviceman's dedicated terminal, and the product is ordered from the nearest store through the cloud server.
そして、丸９に示すように終了する。
Then, it ends as shown in
図１３７は、本実施の形態における掃除機と可視光通信を用いた、掃除状況を確認するためのサービスについて説明するための図である。 FIG. 137 is a diagram for explaining a service for confirming a cleaning state using the vacuum cleaner and visible light communication in the present embodiment.
まず、丸３に示すように、開始する。
First, as shown in
次に、ステップ２００５ａで、機器の通常動作中の掃除情報を記録する。
Next, in
次に、ステップ２００５ｂで、間取り情報と組み合わせて汚れ情報を作成し、暗号化圧縮する。
Next, in
ここで、ステップ２００５ｃに進んだ場合、汚れ情報の圧縮をトリガーとして、汚れ情報をローカル記憶媒体に記録する。あるいは、ステップ２００５ｄに進んだ場合、掃除の一時停止（吸込処理停止）をトリガーとして汚れ情報を照明器具に可視光通信で送信する。あるいは、ステップ２００５ｅに進んだ場合、汚れ情報の記録をトリガーとして、汚れ情報を家庭内ローカルサーバ及びクラウドサーバにＮＷで送信する。 Here, when the process proceeds to step 2005c, the dirt information is recorded in the local storage medium by using the compression of the dirt information as a trigger. Alternatively, when the process proceeds to step 2005d, the dirt information is transmitted to the lighting equipment by visible light communication with the temporary stop of cleaning (stop of suction processing) as a trigger. Alternatively, when the process proceeds to step 2005e, the dirt information is transmitted to the home local server and the cloud server by NW using the recording of the dirt information as a trigger.
次に、ステップ２００５ｆで、汚れ情報の送信及び記録をトリガーとして、機器情報、保存箇所、復号キーを可視光通信でスマホに送信する。 Next, in step 2005f, the device information, the storage location, and the decoding key are transmitted to the smartphone by visible light communication, triggered by the transmission and recording of the dirt information.
次に、ステップ２００５ｇで、ＮＷ及びＮＦＣを通して、汚れ情報を取得して復号する。
Next, in
そして、丸１０に示すように終了する。
Then, it ends as shown in
以上のように、実施の形態７によれば、演算力が少ないような機器を含む多様な機器間の通信を可能とする情報通信装置を含む可視光通信システムを実現することができる。 As described above, according to the seventh embodiment, it is possible to realize a visible light communication system including an information communication device that enables communication between various devices including a device having a small computing power.
具体的には、本実施の形態の情報通信装置を含む可視光通信システム（図１３３）は、可視光送信の準備が完了したかを判定するための可視光送信可否判定部と、可視光送信中であることをユーザに通知する可視光送信通知部と、を搭載しており、可視光通信が可能な状態になったときに、ユーザに視覚的、及び、聴覚的に通知する可視光通信システムである。それにより、ユーザにＬＥＤの発光モードを「発光色」「音」「アイコン表示」「複数ＬＥＤ発光」によって可視光受信が可能な状況を通知する事で、ユーザの利便性を向上できる。 Specifically, the visible light communication system (FIG. 133) including the information communication device of the present embodiment has a visible light transmission availability determination unit for determining whether or not the preparation for visible light transmission is completed, and a visible light transmission. It is equipped with a visible light transmission notification unit that notifies the user that it is inside, and when visible light communication becomes possible, the user is visually and audibly notified of the visible light communication. It is a system. As a result, the convenience of the user can be improved by notifying the user of the situation in which visible light can be received by the "emission color", "sound", "icon display", and "multiple LED emission" of the LED emission mode.
好ましくは、図１３４で説明したように、可視光受信端末の接近を感知する端末近接感知部と、可視光受信端末の位置によって可視光送信の開始と停止を判断する可視光送信判定部と、を搭載しており、端末近接感知部により可視光受信端末の近接を感知したことをトリガーにして可視光送信を開始する可視光通信システムであってもよい。 Preferably, as described with reference to FIG. 134, a terminal proximity sensing unit that detects the approach of the visible light receiving terminal, a visible light transmission determining unit that determines the start and stop of visible light transmission depending on the position of the visible light receiving terminal, and the like. It may be a visible light communication system that starts the visible light transmission by triggering the detection of the proximity of the visible light receiving terminal by the terminal proximity sensing unit.
ここで、例えば図１３４で説明したように、端末近接感知部により可視光受信端末の離脱を感知したことをトリガーにして可視光送信を停止する可視光通信システムとしてもよい。また、例えば図１３４で説明したように、部屋の消灯を感知する周辺照度感知部と、を搭載しており、周辺照度感知部により部屋の消灯を感知したことをトリガーにして可視光送信を停止する可視光通信システムとしてもよい。それにより、可視光受信端末の接近と離脱、及び、部屋の消灯を感知することで、可視光通信が可能な状況のみ可視光通信を開始することで、不必要な可視光通信を省いて省エネ化できる。 Here, for example, as described with reference to FIG. 134, a visible light communication system may be used in which the visible light transmission is stopped by triggering the detection of the detachment of the visible light receiving terminal by the terminal proximity sensing unit. Further, for example, as described with reference to FIG. 134, an ambient illuminance sensing unit for detecting the extinguishing of the room is installed, and the visible light transmission is stopped when the ambient illuminance sensing unit detects the extinguishing of the room. It may be a visible light communication system. By detecting the approach and departure of the visible light receiving terminal and the extinguishing of the room, the visible light communication is started only in the situation where the visible light communication is possible, thereby eliminating unnecessary visible light communication and saving energy. Can be converted.
さらに、例えば図１３４で説明したように、可視光送信を行っている時間を計測する可視光通信時間監視部と、可視光送信中であることをユーザに通知する可視光送信通知部と、を搭載しており、可視光通信が一定以上行われているが可視光受信端末の接近がないことをトリガーとして、ユーザへの視覚的、及び、聴覚的な通知をより強化する可視光通信システムとしてもよい。また、例えば図１３４で説明したように、可視光送信通知部が通知を強化してからも可視光送信時間が一定以上行われているが可視光受信端末の接近がないことをトリガーとして、可視光送信を停止する可視光通信システムとしてもよい。 Further, as described with reference to FIG. 134, for example, a visible light communication time monitoring unit that measures the time during which visible light transmission is being performed and a visible light transmission notification unit that notifies the user that visible light transmission is in progress are provided. As a visible light communication system that is installed and enhances visual and auditory notification to the user by triggering that visible light communication is performed for a certain amount or more but the visible light receiving terminal does not approach. May be good. Further, as described with reference to FIG. 134, for example, even after the visible light transmission notification unit enhances the notification, the visible light transmission time has been extended for a certain period of time or longer, but the visible light transmission terminal is not approaching as a trigger. It may be a visible light communication system that stops optical transmission.
それにより、一定以上の可視光送信時間がたってもユーザによる受信がされなかった場合にユーザへの可視光受信を要求と停止を行うことで、受信し忘れと消し忘れを防ぎユーザの利便性を向上できる。 As a result, when the user does not receive visible light even after a certain period of visible light transmission time, the user is requested to receive visible light and stopped, thereby preventing forgetting to receive and erasing visible light and improving user convenience. Can be improved.
また、本実施の形態の情報通信装置を含む可視光通信システム（図１３５）は、可視光通信を受信したことを判定する可視光受信判定部と、端末位置を取得するための受信端末位置取得部と、機器情報と位置情報を取得して機器設定情報を収集する機器設定情報収集部と、を搭載しており、可視光受信したことをトリガーとして受信端末の位置を取得して、機器設定に必要な情報を収集する可視光通信システムとしてもよい。それにより、可視光通信により機器情報を取得することをトリガーにして、機器設定、及び、ユーザ登録に必要な位置情報とユーザ情報を自動収集して設定することで、ユーザによる入力と登録手続きを省略して利便性を向上できる。 Further, the visible light communication system (FIG. 135) including the information communication device of the present embodiment has a visible light reception determination unit that determines that visible light communication has been received, and a reception terminal position acquisition for acquiring the terminal position. It is equipped with a unit and a device setting information collection unit that acquires device information and position information and collects device setting information, and acquires the position of the receiving terminal with the reception of visible light as a trigger to set the device. It may be a visible light communication system that collects information necessary for the system. As a result, by using the acquisition of device information by visible light communication as a trigger, the device setting and the location information and user information required for user registration are automatically collected and set, so that the user can input and register. It can be omitted to improve convenience.
ここで、さらに図１３７で説明したように、機器情報を管理する機器情報管理部と、機器と機器の類似性を管理する機器関係管理部と、機器を販売する店舗情報を管理する店舗情報管理部と、位置情報から最寄店舗を検索する最寄店舗検索部と、を搭載しており、機器情報と位置情報を受信することをトリガーとして類似機器が販売されている最寄店舗及び価格を取得する可視光通信システムとしてもよい。それにより、機器情報に応じて関連する機器の販売状況及び販売店舗を収集して、機器を検索する手間を省くことで、ユーザの利便性向上ができる。 Here, as further described with reference to FIG. 137, a device information management unit that manages device information, a device-related management unit that manages the similarity between devices, and a store information management that manages store information that sells devices. It is equipped with a department and a nearest store search department that searches for the nearest store from location information, and the nearest store and price where similar devices are sold triggered by receiving device information and location information. It may be a visible light communication system to be acquired. As a result, the convenience of the user can be improved by collecting the sales status and the sales store of the related device according to the device information and saving the trouble of searching for the device.
また、本実施の形態の情報通信装置を含む可視光通信システム（図１３５）は、ユーザ情報が端末内に保存されていることを監視するユーザ情報監視部と、ＮＷを通して周辺機器からユーザ情報を収集するユーザ情報収集部と、ユーザ情報と機器情報を取得してユーザ登録をするユーザ登録処理部と、を搭載しており、ユーザ情報がないことをトリガーとしてアクセス可能な周辺機器からユーザ情報を収集し、機器情報と共にユーザ登録を行う可視光通信システムとしてもよい。それにより、可視光通信により機器情報を取得することをトリガーにして、機器設定、及び、ユーザ登録に必要な位置情報とユーザ情報を自動収集して設定することで、ユーザによる入力と登録手続きを省略して利便性を向上できる。 Further, the visible light communication system (FIG. 135) including the information communication device of the present embodiment receives user information from peripheral devices through a user information monitoring unit that monitors that user information is stored in the terminal and a NW. It is equipped with a user information collection unit that collects user information and a user registration processing unit that acquires user information and device information and registers the user, and collects user information from peripheral devices that can be accessed by triggering the absence of user information. It may be a visible light communication system that collects information and registers users together with device information. As a result, by using the acquisition of device information by visible light communication as a trigger, the device setting and the location information and user information required for user registration are automatically collected and set, so that the user can input and register. It can be omitted to improve convenience.
また、本実施の形態の情報通信装置を含む可視光通信システム（図１３６）は、特殊コマンドを受け付けるコマンド判定部と、可視光通信の周波数、複数ＬＥＤ連携を操作する可視光通信速度調整部と、を搭載しており、特殊コマンドを受け付けることで可視光通信の周波数の調整と送信ＬＥＤ数をすることで可視光通信を高速化する可視光通信システムとしてもよい。ここで、例えば、図１３７で説明したように、近接端末の種別をＮＦＣ通信で判別する端末種別判定部と、端末種別によって送信する情報を判別する送信情報種別判定部と、を搭載しており、近接した端末によって送信する情報の量と可視光通信速度を変更する可視光通信システムとしてもよい。それにより、受信端末に応じて可視光通信の周波数や送信ＬＥＤ数を調整して可視光通信の速度と送信情報を変更することで、高速通信を可能にしてユーザの利便性を向上できる。 Further, the visible light communication system (FIG. 136) including the information communication device of the present embodiment includes a command determination unit that accepts special commands, a visible light communication frequency, and a visible light communication speed adjustment unit that operates a plurality of LED linkages. , And may be used as a visible light communication system that speeds up visible light communication by adjusting the frequency of visible light communication by accepting a special command and adjusting the number of transmitting LEDs. Here, for example, as described with reference to FIG. 137, a terminal type determination unit that determines the type of a nearby terminal by NFC communication and a transmission information type determination unit that determines information to be transmitted according to the terminal type are installed. , It may be a visible light communication system that changes the amount of information transmitted by a nearby terminal and the visible light communication speed. As a result, high-speed communication can be enabled and user convenience can be improved by adjusting the frequency of visible light communication and the number of transmitting LEDs according to the receiving terminal to change the speed and transmission information of visible light communication.
また、本実施の形態の情報通信装置を含む可視光通信システム（図１３７）は、掃除情報を記録する掃除情報記録部と、間取り情報を記録する間取り情報記録部と、間取り情報と掃除情報を重畳することで汚れ箇所情報を生成する情報合成部と、通常動作の停止を監視する動作監視部と、を搭載しており、機器の停止の感知をトリガーとすることで汚れ箇所情報を可視光送信する可視光通信システムとしてもよい。 Further, the visible light communication system (FIG. 137) including the information communication device of the present embodiment has a cleaning information recording unit that records cleaning information, a floor plan information recording unit that records floor plan information, and floor plan information and cleaning information. It is equipped with an information synthesis unit that generates dirt location information by superimposing it and an operation monitoring unit that monitors the stop of normal operation, and the stain location information is visible light by triggering the detection of the stop of the device. It may be a visible light communication system for transmission.
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these general or specific aspects may be realized by a system, a method, an integrated circuit, a computer program or a recording medium, and may be realized by an arbitrary combination of a system, a method, an integrated circuit, a computer program or a recording medium. May be done.
（実施の形態８）
本実施の形態では、宅配サービスを例に挙げて、光通信を用いたＷｅｂ情報、及び、機器の連携について説明する。
(Embodiment 8)
In the present embodiment, a home delivery service will be taken as an example, and Web information using optical communication and cooperation of devices will be described.
図１３８に本実施の形態の概要を示す。すなわち、図１３８は、本実施の形態における光通信を用いた宅配サービス支援の概略図である。 FIG. 138 shows an outline of the present embodiment. That is, FIG. 138 is a schematic diagram of home delivery service support using optical communication in the present embodiment.
具体的には、注文者は、モバイル端末３００１ａを用いて商品購入サイトから商品の注文を行う。注文完了時に、商品購入サイトより注文番号が発行される。注文番号を受信したモバイル端末３００１ａをドアホン宅内器３００１ｂに注文番号をＮＦＣ通信を用いて送信する。
Specifically, the orderer places an order for a product from the product purchase site using the
ドアホン宅内器３００１ｂは、モバイル端末３００１ａより受信した注文番号を自機器のモニタに表示する等して、ユーザに送信完了した旨を示す。
The
ドアホン宅内器３００１ｂは、ドアホン宅外器３００１ｃに対して、ドアホン宅外器３００１ｃに内蔵されたＬＥＤの点滅指示と点滅パターンを送信する。点滅パターンは、モバイル端末３００１ａより受信した注文番号に応じてドアホン宅内器３００１ｂにより生成される。
The doorphone
ドアホン宅外器３００１ｃは、ドアホン宅内器３００１ｂより指定された点滅パターンに応じてＬＥＤを点滅させる。
The doorphone
モバイル端末の代わりとして、ＰＣ等のＷＷＷ３００１ｄにある商品購入サイトへアクセス可能な環境であっても良い。 Instead of the mobile terminal, an environment in which the product purchase site on the WWW3001d such as a PC can be accessed may be used.
モバイル端末３００１ａからドアホン宅内器３００１ｂへの送信手段としては、ＮＦＣ通信の他に、宅内ネットワークを用いても良い。
As a transmission means from the mobile terminal 3001a to the
モバイル端末３００１ａは、ドアホン宅内器３００１ｂを仲介せずに直接ドアホン宅外器３００１ｃへ注文番号を送信しても良い。
The
注文者より注文があった場合、宅配注文受信サーバ３００１ｅから宅配者モバイル端末３００１ｆに対して注文番号を送信する。宅配者が宅配先に到着した際、宅配者モバイル端末３００１ｆとドアホン宅外器３００１ｃの双方向で注文番号を基に生成されたＬＥＤ点滅パターンを用いた光通信を行う。
When there is an order from the orderer, the order number is transmitted from the delivery
次に、図１３９〜図１４４を用いて説明する。図１３９〜図１４４は、発明の実施３の形態における光通信を用いた宅配サービス支援を説明するためのフローチャートである。 Next, it will be described with reference to FIGS. 139 to 144. 139 to 144 are flowcharts for explaining the home delivery service support using optical communication according to the third embodiment of the invention.
図１３９は、注文者が注文を行い、注文番号が発行されるまでのフローを示している。以下、図１３９について解説する。 FIG. 139 shows the flow from the orderer placing an order to the issuance of the order number. Hereinafter, FIG. 139 will be described.
注文者モバイル端末３００１ａは、ステップ３００２ａで、スマホのＷｅｂブラウザまたはアプリで宅配の予約を実施する。そして、図１４０の丸１へ進む。
In
また、注文者モバイル端末３００１ａは、図１４０の丸２に続いて、ステップ３００２ｂで、注文番号送信待ち状態で待機する。続いて、ステップ３００２ｃで、注文番号送信先機器にタッチされたかを確認する。Ｙｅｓの場合は、ステップ３００２ｄへ進み、注文番号をドアホン室内器にＮＦＣタッチして送信（ドアホンがスマホと同一ネットワークに存在する場合はネットワーク経由で送信する方法もある）する。一方、Ｎｏの場合は、ステップ３００２ｂに戻る。
Further, the orderer
ドアホン宅内器３００１ｂは、まず、ステップ３００２ｅで、他端末よりＬＥＤ点滅の要求待つ。続いて、ステップ３００２ｆで、スマホより注文番号を受信する。続いて、ステップ３００２ｇで、受信した注文番号に応じてドアホン室外機のＬＥＤ点滅指示を出する。そして、図１４２の丸３へ進む。
First, in
ドアホン宅外器３００１ｃは、まず、ステップ３００２ｈで、ドアホン宅内器よりＬＥＤ点滅指示待つ。そして、図１４２の丸７へ進む。
First, in
宅配者モバイル端末３００１ｆは、ステップ３００２ｉで、注文通知待ち状態で待機する。続いて、ステップ３００２ｊで、注文通知 宅配注文サーバより通知されたか否かを確認する。ここで、Ｎｏの場合は、ステップ３００２ｉに戻る。Ｙｅｓの場合は、ステップ３００２ｋへ進み、注文番号、宅配先住所等の情報を受信する。続いて、ステップ３００２ｎで、ユーザが受信した注文番号のＬＥＤ発光指示または、他機器のＬＥＤ発光認識のためにカメラ起動されるまで待機する。そして、図１４１の丸５へ進む。
The delivery person mobile terminal 3001f waits in the order notification waiting state in step 3002i. Subsequently, in
図１４０は、注文者が注文者モバイル端末３００１ａにて宅配注文を行うまでのフローを示している。以下、図１４０について解説する。 FIG. 140 shows a flow until the orderer places a home delivery order on the orderer mobile terminal 3001a. Hereinafter, FIG. 140 will be described.
宅配注文サーバ３００１ｅは、まず、ステップ３００３ａで、受注番号待つ。続いて、ステップ３００３ｂで、宅配注文受信したか否かを確認する。ここで、Ｎｏの場合は、ステップ３００３ａへ戻る。Ｙｅｓの場合は、ステップ３００３ｃへ進み、受信した宅配注文に対して注文番号を発行する。続いて、ステップ３００３ｄで、宅配者に対して宅配注文受信したことを通知して、終了する。
The home
注文者モバイル端末３００１ａは、図１３９の丸１に続いてステップ３００３ｅで、注文内容を宅配注文サーバが提示するメニューから選択する。続いて、ステップ３００３ｆで、注文を確定して宅配サーバへ送信する。続いて、ステップ３００３ｇで、注文番号を受信したか否かを確認する。ここで、Ｎｏの場合は、ステップ３００３ｆに戻る。Ｙｅｓの場合は、ステップ３００３ｈへ進み、受信した注文番号を表示してドアホン宅内器へのタッチを促す表示を行う。そして、図１３９の丸２へ進む。
The orderer mobile terminal 3001a selects the order contents from the menu presented by the home delivery order server in
図１４１は、宅配者が宅配者モバイル端末３００１ｆを用いて、宅配先のドアホン宅外器３００１ｃと光通信を行うフローを示している。以下、図１４１について解説する。
FIG. 141 shows a flow in which the delivery person uses the delivery person mobile terminal 3001f to perform optical communication with the doorphone
宅配者モバイル端末３００１ｆは、図１３９の丸５に続いて、ステップ３００４ａで、宅配先のドアホン宅外器３００１ｃのＬＥＤを認識するためにカメラを起動するか否かを確認する。ここで、Ｎｏの場合は、図１３９の丸５へ戻る。
Following the
一方、Ｙｅｓの場合は、ステップ３００４ｂへ進み、宅配先ドアホン宅外器のＬＥＤ点滅を宅配者モバイル端末のカメラにて確認する。 On the other hand, in the case of Yes, the process proceeds to step 3004b, and the LED blinking of the delivery destination doorphone outside unit is confirmed by the camera of the delivery person mobile terminal.
次に、ステップ３００４ｃで、ドアホン宅外器のＬＥＤ発光を認識して注文番号と照合する。
Next, in
次に、ステップ３００４ｄで、ドアホン宅外器のＬＥＤ点滅が注文番号と合致するか否かを確認する。ここで、Ｙｅｓの場合は、図１４３の丸６へ進む。
Next, in
なお、Ｎｏの場合は、カメラ内に他のＬＥＤ点滅を確認できるか否かを確認する。そして、Ｙｅｓの場合は、ステップ３００４ｃへ戻り、Ｎｏの場合は、終了する。 If No, it is confirmed whether or not other LED blinking can be confirmed in the camera. Then, in the case of Yes, the process returns to step 3004c, and in the case of No, the process ends.
図１４２は、ドアホン宅内器３００１ｂとドアホン宅外器３００１ｃ間の注文番号照合を行うフローを示している。以下、図１４２について解説する。
FIG. 142 shows a flow for collating the order number between the doorphone
ドアホン宅外器３００１ｃは、図１３９の丸７に続いて、ステップ３００５ａで、ＬＥＤ点滅の指示がドアホン宅内器よりあったか否かを確認する。Ｎｏの場合は、図１３９の丸へ戻る。Ｙｅｓの場合は、ステップ３００５ｂへ進み、ドアホン宅内器より指示されるＬＥＤ点滅に従ってＬＥＤを点滅させる。そして、図１４３の丸８へ進む。
Following the
また、ドアホン宅外器３００１ｃは、図１４３の丸９に続いて、ステップ３００５ｃで、ドアホン宅外器のカメラにて認識したＬＥＤ点滅をドアホン宅内器へ通知する。そして、図１４４の丸１０へ進む。
Further, the doorphone
ドアホン宅内器３００１ｃは、図１３９の丸３に続いて、ステップ３００５ｄで、ドアホン宅外器に対して注文番号に応じたＬＥＤ点滅指示を実施する。次に、ステップ３００５ｅで、ドアホン宅外器のカメラが宅配者モバイル端末のＬＥＤ点滅を認識するまで待機する。次に、ステップ３００５ｆで、ドアホン宅外器よりＬＥＤ点滅を認識したことを通知されたか否かを確認する。ここで、Ｎｏの場合は、ステップ３００５ｅへ戻る。Ｙｅｓの場合は、ステップ３００５ｇで、ドアホン宅外器のＬＥＤ点滅と注文番号を照合する。次に、ステップ３００５ｈで、ドアホン宅外器のＬＥＤ点滅と注文番号が合致したか否かを確認する。Ｙｅｓの場合は、図１４４の丸１１へ進む。一方、Ｎｏの場合は、ステップ３００５ｉで、ドアホン宅外器へＬＥＤ点滅の中止を指示して、終了する。
Following the
図１４３は、注文番号照合後におけるドアホン宅外器３００１ｃと宅配者モバイル端末３００１ｆ間のフローを示している。以下、図１４３について解説する。
FIG. 143 shows the flow between the doorphone
宅配者モバイル端末３００１ｆは、図１４１の丸６に続いて、ステップ３００６ａで、宅配者モバイル端末の保持する注文番号に応じてＬＥＤ点滅を開始する。
Following the
次に、ステップ３００６ｂで、ＬＥＤ点滅部分をドアホン宅外器からカメラが撮影できる範囲に配置する。
Next, in
次に、ステップ３００６ｃで、ドアホン宅外器のカメラが撮影した宅配者モバイル端末のＬＥＤ点滅とドアホン宅内器の保持する注文番号が合致したかについてドアホン宅外器ＬＥＤ点滅が示しているか否かを確認する。
Next, in
ここで、Ｎｏの場合は、ステップ３００６ｂへ戻る。一方、Ｙｅｓの場合は、ステップ３００６ｅへ進み、合致した是非を宅配者モバイル端末に表示して、終了する。 Here, in the case of No, the process returns to step 3006b. On the other hand, in the case of Yes, the process proceeds to step 3006e, the matching pros and cons are displayed on the courier mobile terminal, and the process ends.
また、図１４３に示すように、ドアホン宅外器３００１ｃは、図１４２の丸８に続いて、ステップ３００６ｆで、ドアホン宅外器のカメラにて宅配者モバイル端末のＬＥＤ点滅を認識したか否かを確認する。ここで、Ｙｅｓの場合は、図１４２の丸９へ進む。Ｎｏの場合は、図１４２の丸へ戻る。
Further, as shown in FIG. 143, whether or not the doorphone
図１４４は、注文番号照合後におけるドアホン宅外器３００１ｃと宅配者モバイル端末３００１ｆ間のフローを示している。以下、図１４４について解説する。
FIG. 144 shows the flow between the doorphone
ドアホン宅外器３００１ｃは、図１４２の丸１１に続いて、ステップ３００７ａで、ドアホン宅内器の通知したＬＥＤ点滅が注文番号と合致したかについて通知あったか否かを確認する。ここで、Ｎｏの場合は図１４２の丸１１へ戻る。一方、Ｙｅｓの場合は、ステップ３００７ｂへ進み、ドアホン宅外器にて合致の是非を示すＬＥＤ点滅を行い、終了する。
Following the
また、図１４４に示すように、ドアホン宅内器３００１ｂは、図１４２の丸１０に続いて、ステップ３００７ｃで、ドアホン宅内器で配送者が到着したことの表示を呼出し音出力にて注文者に通知する。次に、ステップ３００７ｄで、ドアホン宅外器へＬＥＤ点滅の中止と注文番号と合致したことを示すＬＥＤ点滅を指示する。そして、終了する。
Further, as shown in FIG. 144, the
なお、マンションでは宅配先が不在の場合、宅配物を収納する宅配ボックスが玄関等に設置されることがある。宅配者は、宅配時に注文者が不在の場合、宅配ボックスに宅配物を収納する。宅配者モバイル端末３００１ｆのＬＥＤを用いてドアホン宅外器３００１ｃのカメラに対して、光通信を行い宅配物のサイズを送信することで、ドアホン宅外器３００１ｃが自動で宅配物のサイズに見合った宅配ボックスのみを利用可能にすることもできる。
If the delivery destination is absent in the condominium, a delivery box for storing the delivery may be installed at the entrance or the like. If the orderer is absent at the time of delivery, the delivery person stores the delivery in the delivery box. By using the LED of the delivery person mobile terminal 3001f to perform optical communication with the camera of the doorphone outside
以上のように、実施の形態８によれば、光通信を用いたＷｅｂ情報、及び、機器の連携を実現することができる。 As described above, according to the eighth embodiment, it is possible to realize Web information using optical communication and cooperation of devices.
（実施の形態９）
以下、実施の形態９について説明する。
(Embodiment 9)
Hereinafter, the ninth embodiment will be described.
（サーバへユーザと使用中の携帯電話を登録）
図１４５は、本実施の形態におけるサーバへユーザと使用中の携帯電話を登録する処理を説明するための図である。以下、図１４５を解説する。
(Register the user and the mobile phone in use on the server)
FIG. 145 is a diagram for explaining a process of registering a user and a mobile phone in use on the server in the present embodiment. Hereinafter, FIG. 145 will be described.
まず、ステップ４００１ｂで、ユーザがアプリケーションを起動する。
First, in
次に、ステップ４００１ｃで、このユーザと携帯電話の情報をサーバに照会する。
Next, in
次に、ステップ４００１ｄで、ユーザ情報と使用中の携帯電話の情報がサーバのＤＢに登録されているかどうかを確認する。
Next, in
Ｙｅｓの場合は、ステップ４００１ｆへ進み、並行処理として（処理ａ）ユーザ音声特性の解析を開始し、図１４７のＢへ進む。 In the case of Yes, the process proceeds to step 4001f, the analysis of the user voice characteristic is started as parallel processing (process a), and the process proceeds to B in FIG. 147.
一方、Ｎｏの場合は４００１ｅへ進み、ＤＢの携帯電話テーブルに携帯電話ＩＤとユーザＩＤを登録し、図１４７のＢへ進む。 On the other hand, in the case of No, the process proceeds to 4001e, the mobile phone ID and the user ID are registered in the mobile phone table of the DB, and the process proceeds to B in FIG. 147.
（処理ａ：ユーザ音声特性の解析）
図１４６は、本実施の形態におけるユーザ音声特性の解析を行う処理を説明するための図である。以下、図１４６を解説する。
(Processing a: Analysis of user voice characteristics)
FIG. 146 is a diagram for explaining a process for analyzing user voice characteristics in the present embodiment. Hereinafter, FIG. 146 will be described.
まず、ステップ４００２ａで、マイクから集音を行う。
First, in
次に、ステップ４００２ｂで、音声認識の結果集音した音声はユーザの声と推定されるかどうかを確認する。ここで、Ｎｏの場合はステップ４００２ａに戻る。
Next, in
Ｙｅｓの場合はステップ４００２ｃへ進み、発生内容はこのアプリケーションで使用するキーワードか（「次へ」「戻る」等）どうかを確認する。Ｙｅｓの場合は、ステップ４００２ｆへ進み、音声データをサーバのユーザキーワード音声テーブルに登録し、ステップ４００２ｄへ進む。一方、Ｎｏの場合は、ステップ４００２ｄへ進む。 In the case of Yes, the process proceeds to step 4002c, and it is confirmed whether the generated content is a keyword used in this application (“next”, “return”, etc.). In the case of Yes, the process proceeds to step 4002f, the voice data is registered in the user keyword voice table of the server, and the process proceeds to step 4002d. On the other hand, in the case of No, the process proceeds to step 4002d.
次に、ステップ４００２ｄで、音声特性（周波数、音圧、発話速度）を解析する。
Next, in
次に、ステップ４００２ｅで、解析結果を携帯電話とサーバのユーザ音声特性テーブルに登録する。
Next, in
（音声認識処理の準備）
図１４７は、本実施の形態における音声認識処理の準備を行う処理を説明するための図である。以下、図１４７を解説する。
(Preparation for voice recognition processing)
FIG. 147 is a diagram for explaining a process of preparing for the voice recognition process according to the present embodiment. Hereinafter, FIG. 147 will be described.
まず、図中のＢに続いて、ステップ４００３ａで、（ユーザ操作）調理メニュー一覧を表示させる操作を行う。
First, following B in the figure, in
次に、ステップ４００３ｂで、調理メニュー一覧をサーバから取得する。
Next, in
次に、ステップ４００３ｃで、調理メニュー一覧を携帯画面に表示する。
Next, in
次に、ステップ４００４ｄで、携帯電話に接続されたマイクから集音を開始する。
Next, in
次に、ステップ４００３ｅで、並行処理として（処理ｂ）周辺の集音機器からの集音を開始する。
Next, in
次に、ステップ４００３ｆで、並行処理として（処理ｃ）環境音特性の解析を開始する。
Next, in
次に、ステップ４００３ｇで、並行処理として（処理ｄ）周辺に存在する音声出力機器からの音声のキャンセルを開始する。 Next, in step 4003g, cancellation of audio from audio output devices existing in the vicinity of (processing d) is started as parallel processing.
次に、ステップ４００３ｈで、ユーザ音声特性をサーバのＤＢから取得する。
Next, in
最後に、ステップ４００３ｉで、ユーザ音声の認識を開始し、図１５１のＣへ進む。 Finally, in step 4003i, recognition of the user voice is started, and the process proceeds to C in FIG. 151.
（処理ｂ：周辺の集音機器からの集音）
図１４８は、本実施の形態における周辺の集音機器からの集音を行う処理を説明するための図である。以下、図１４８を解説する。
(Processing b: Sound collection from surrounding sound collecting equipment)
FIG. 148 is a diagram for explaining a process of collecting sound from peripheral sound collecting devices in the present embodiment. Hereinafter, FIG. 148 will be described.
まず、ステップ４００４ａで、携帯電話から通信可能で、集音が可能な機器（集音機器）を探索する。
First, in
次に、ステップ４００４ｂで、集音機器を発見したかどうかを確認する。
Next, in
ここで、Ｎｏの場合は終了する。Ｙｅｓの場合は、ステップ４００４ｃへ進み、集音器機の位置情報とマイク特性情報をサーバから取得する。 Here, if No, the process ends. In the case of Yes, the process proceeds to step 4004c, and the position information of the sound collector and the microphone characteristic information are acquired from the server.
次に、ステップ４００４ｄで、サーバに情報が存在するかどうかを確認する。
Next, in
Ｙｅｓの場合は、ステップ４００４ｅへ進み、集音機器の設置位置は携帯電話の位置から十分近くでありユーザの音声を集音できそうかどうかを確認する。なお、ステップ４００４ｅでＮｏの場合は、ステップ４００４ａへ戻る。一方、ステップ４００４ｅでＹｅｓの場合は、ステップ４００４ｆへ進み、集音機器に集音を開始させる。続いて、ステップ４００４ｇで、集音処理終了の命令があるまで集音機器で集音した音声を携帯電話に送信させる。なお、集音した音声をそのまま携帯電話に送信させず音声認識を行った結果を携帯電話に送信させるとしても良い。また、携帯に送信された音声は携帯電話に接続されたマイクから集音された音声と同様に処理して、ステップ４００４ａへ戻る。
In the case of Yes, the process proceeds to step 4004e, and it is confirmed whether or not the installation position of the sound collecting device is sufficiently close to the position of the mobile phone and the user's voice can be collected. If No in step 4004e, the process returns to step 4004a. On the other hand, in the case of Yes in step 4004e, the process proceeds to step 4004f to cause the sound collecting device to start collecting sound. Subsequently, in
なお、ステップ４００４ｄで、Ｎｏの場合は、ステップ４００４ｈへ進み、集音機器に集音を開始させる。続いて、ステップ４００４ｉで、携帯電話から信号音を出力する。続いて、ステップ４００４ｊで、集音機器で集音した音声を携帯電話に送信させる。続いて、ステップ４００４ｋで、集音機器から送られた音声から信号音を認識できたかどうかを確認する。ここで、Ｙｅｓの場合は、ステップ４００４ｇへ進み、Ｎｏの場合は、ステップ４００４ａへ戻る。
If the result is No in
（処理ｃ：環境音特性の解析）
図１４９は、本実施の形態における環境音特性の解析処理を説明するための図である。以下、図１４９を解説する。
(Processing c: Analysis of environmental sound characteristics)
FIG. 149 is a diagram for explaining the analysis process of the environmental sound characteristic in the present embodiment. Hereinafter, FIG. 149 will be described.
まず、ステップ４００５ｆで、このユーザの所有する機器のうち位置が電子レンジの位置から十分遠いものを除いた機器のリストを取得する。これらの機器の発する音のデータをＤＢから取得する。
First, in
次に、ステップ４００５ｇで、取得した音データの特性（周波数、音圧等）を解析し環境音特性として保持する。なお、電子レンジの近くにある炊飯器等の発する音は特に誤認識が起こりやすいため高い重要度を設定して保持する。
Next, in
次に、ステップ４００５ａで、マイクから集音する。
Next, in
次に、ステップ４００５ｂで、集音した音声はユーザの声かどうかを確認し、Ｙｅｓの場合は、ステップ４００５ａへ戻る。Ｎｏの場合は、ステップ４００５ｃへ進み、集音した音声の特性（周波数、音圧）を解析する。
Next, in
次に、ステップ４００５ｄで、解析結果から環境音特性を更新する。
Next, in
次に、ステップ４００５ｅで、終了フラグが立っているかどうかを確認し、Ｙｅｓの場合は、終了する。Ｎｏの場合は、ステップ４００５ａへ戻る。
Next, in
（処理ｄ：周辺に存在する音声出力機器からの音声をキャンセル）
図１５０は、本実施の形態における周辺に存在する音声出力機器からの音声をキャンセルする処理を説明するための図である。以下、図１５０を解説する。
(Process d: Cancel the audio from the audio output device existing in the vicinity)
FIG. 150 is a diagram for explaining a process of canceling a sound from a sound output device existing in the vicinity in the present embodiment. Hereinafter, FIG. 150 will be described.
まず、ステップ４００６ａで、通信可能な機器で、音声出力の可能な機器（音声出力機器）を探索する。
First, in
次に、ステップ４００６ｂで、音声出力機器を発見したかどうかを確認し、Ｎｏの場合は、終了する。Ｙｅｓの場合は、ステップ４００６ｃへ進み、様々な周波数を含んだ信号音を音声出力機器に出力させる。
Next, in
次に、ステップ４００６ｄで、携帯電話、及び、図１４８の集音機器（各集音機器）で集音を行い音声出力機器から出力させた信号音を集音する。
Next, in
次に、ステップ４００６ｅで、信号音を集音・認識できたかどうかを確認して、Ｎｏの場合は、終了する。Ｙｅｓの場合は、ステップ４００６ｆへ進み、音声出力機器から各集音機器までの伝送特性（周波数毎の出力音量と集音される音量の関係、及び、信号音出力から集音までの遅延時間）を解析する。
Next, in
次に、ステップ４００６ｇで、音声出力機器が出力している音声データは携帯電話からアクセス可能かどうかを確認する。
Next, in
ここで、Ｙｅｓの場合は、ステップ４００６ｈへ進み、キャンセル処理終了の命令があるまで音声出力機器から出力している音声ソース、出力箇所、音量を取得し伝送特性を考慮しつつ各集音機器で集音した音声から音声出力機器で出力した音声をキャンセルする。ステップ４００６ａへ戻る。一方、Ｎｏの場合は、ステップ４００６ｉへ進み、キャンセル処理終了の命令があるまで音声出力機器から出力している音声を取得し伝送特性を考慮しつつ各集音機器で集音した音声から音声出力機器で出力した音声をキャンセルして、ステップ４００６ａへ戻る。 Here, in the case of Yes, the process proceeds to step 4006h, and the audio source, output location, and volume output from the audio output device are acquired until there is a command to end the cancel process, and each sound collecting device takes into consideration the transmission characteristics. Cancels the sound output by the sound output device from the collected sound. Return to step 4006a. On the other hand, in the case of No, the process proceeds to step 4006i, the audio output from the audio output device is acquired until there is a command to end the cancel process, and the audio is output from the audio collected by each sound collecting device while considering the transmission characteristics. The sound output by the device is canceled, and the process returns to step 4006a.
（調理メニューの選択と電子レンジへの運転内容設定）
図１５１は、本実施の形態における調理メニューの選択と電子レンジへの運転内容設定を行う処理を説明するための図である。以下、図１５１を解説する。
(Selection of cooking menu and setting of operation contents to microwave oven)
FIG. 151 is a diagram for explaining a process of selecting a cooking menu and setting an operation content in a microwave oven in the present embodiment. Hereinafter, FIG. 151 will be described.
まず、図中のＣに続いて、ステップ４００７ａで、（ユーザ操作）調理したいメニューを選択する。 First, following C in the figure, in step 4007a, (user operation) selects the menu to be cooked.
次に、ステップ４００７ｂで、（ユーザ操作）レシピパラメータ（調理する分量、味の濃さ、焼き加減等）を設定する。
Next, in
次に、ステップ４００７ｃで、レシピパラメータに合わせたレシピデータ、電子レンジ運転内容設定コマンドをサーバから取得する。
Next, in
次に、ステップ４００７ｄで、電子レンジに埋め込まれた非接触ＩＣタグに携帯電話をタッチさせるようユーザへ促す。
Next, in
次に、ステップ４００７ｅで、電子レンジへのタッチを検知するかどうかを確認する。
Next, in
ここで、Ｎｏの場合は、ステップ４００７ｅへ戻る。Ｙｅｓの場合は、ステップ４００７ｆへ進み、サーバから取得しておいた電子レンジの設定コマンドを電子レンジに送信する。これにより、このレシピに必要な電子レンジの設定は全て行われユーザは電子レンジの運転開始ボタンを押すだけで調理が可能となる。 Here, in the case of No, the process returns to step 4007e. In the case of Yes, the process proceeds to step 4007f, and the microwave oven setting command acquired from the server is transmitted to the microwave oven. As a result, all the microwave oven settings required for this recipe are made, and the user can cook by simply pressing the operation start button of the microwave oven.
次に、ステップ４００７ｇで、（処理ｅ）電子レンジ用の通知音をサーバ等のＤＢから取得し電子レンジへ設定する。
Next, in
次に、ステップ４００７ｈで、（処理ｆ）電子レンジの通知音の調整し、図１５５のＤへ進む。
Next, in
（処理ｅ：電子レンジ用の通知音をサーバ等のＤＢから取得し電子レンジへ設定）
図１５２は、本実施の形態における電子レンジ用の通知音をサーバ等のＤＢから取得し電子レンジへ設定する処理を説明するための図である。以下、図１５２を解説する。
(Processing e: Obtain the notification sound for the microwave oven from the DB of the server, etc. and set it in the microwave oven)
FIG. 152 is a diagram for explaining a process of acquiring a notification sound for a microwave oven from a DB of a server or the like and setting the notification sound for the microwave oven in the present embodiment. Hereinafter, FIG. 152 will be described.
まず、ステップ４００８ａで、ユーザが、電子レンジに埋め込まれた非接触ＩＣタグに携帯電話を近づける（＝タッチする）。
First, in
次に、ステップ４００８ｂで、この携帯電話向けの通知音データ（電子レンジの操作時や運転終了時に出力する音のデータ）が電子レンジに登録されているかどうかを電子レンジに問い合わせる。
Next, in
次に、ステップ４００８ｃで、この携帯電話向けの通知音データが電子レンジに登録されているかどうかを確認する。 Next, in step 4008c, it is confirmed whether or not the notification sound data for the mobile phone is registered in the microwave oven.
ここで、Ｙｅｓの場合は、終了する。Ｎｏの場合は、ステップ４００８ｄへ進み、この携帯電話向けの通知音データが携帯に登録されているかどうかを確認する。Ｙｅｓの場合は、ステップ４００８ｈへ進み、携帯電話に登録されている通知音データを電子レンジに登録して、終了する。一方、Ｎｏの場合は、ステップ４００８ｅへ進み、サーバまたは携帯電話または電子レンジのＤＢを参照する。 Here, in the case of Yes, the process ends. If No, the process proceeds to step 4008d, and it is confirmed whether or not the notification sound data for the mobile phone is registered in the mobile phone. In the case of Yes, the process proceeds to step 4008h, the notification sound data registered in the mobile phone is registered in the microwave oven, and the process ends. On the other hand, in the case of No, the process proceeds to step 4008e, and the DB of the server, the mobile phone, or the microwave oven is referred to.
次に、ステップ４００８ｆで、この携帯電話向けの通知音データ（この携帯電話が認識しやすい通知音のデータ）がＤＢにある場合そのデータを、ない場合は、一般的な携帯電話向けの通知音データ（一般的に携帯電話が認識しやすい通知音のデータ）をＤＢから取得する。 Next, in step 4008f, if the notification sound data for this mobile phone (notification sound data that this mobile phone can easily recognize) is in the DB, the data is stored, and if not, the notification sound for a general mobile phone is used. Data (generally, notification sound data that is easily recognized by mobile phones) is acquired from the DB.
次に、ステップ４００８ｇで、取得した通知音データを携帯電話に登録する。
Next, in
次に、ステップ４００８ｈで、携帯電話に登録されている通知音データを電子レンジに登録して、終了する。
Next, in
（処理ｆ：電子レンジの通知音の調整）
図１５３は、本実施の形態における電子レンジの通知音の調整を行う処理を説明するための図である。以下、図１５３を解説する。
(Processing f: Adjustment of microwave oven notification sound)
FIG. 153 is a diagram for explaining a process of adjusting the notification sound of the microwave oven in the present embodiment. Hereinafter, FIG. 153 will be described.
まず、ステップ４００９ａで、携帯電話に登録されているこの電子レンジの通知音データを取得する。
First, in
次に、ステップ４００９ｂで、この端末用の通知音の周波数と環境音の周波数との重なりが一定以上か どうかを確認する。
Next, in
ここで、Ｎｏの場合は、終了する。 Here, if No, the process ends.
一方、Ｙｅｓの場合は、ステップ４００９ｃへ進み、通知音の音量を環境音に比べて十分大きな音量に設定する。または通知音の周波数を変更する。 On the other hand, in the case of Yes, the process proceeds to step 4009c, and the volume of the notification sound is set to be sufficiently louder than the environmental sound. Or change the frequency of the notification sound.
ここで、周波数を変更した通知音の作成方法の一例を挙げると、電子レンジが図１５４の（ｃ）の音を出力可能であれば（ｃ）のパターンで通知音を作成して、終了する。（ｃ）が不可で（ｂ）が可能であれば（ｂ）のパターンで通知音を作成して、終了する。（ａ）のみ可能であれば（ａ）のパターンで通知音を作成して、終了する。 Here, to give an example of a method of creating a notification sound with a changed frequency, if the microwave oven can output the sound of (c) in FIG. 154, the notification sound is created in the pattern of (c) and the process ends. .. If (c) is not possible and (b) is possible, a notification sound is created in the pattern of (b), and the process ends. If only (a) is possible, a notification sound is created in the pattern of (a), and the process ends.
図１５４は、本実施の形態における電子レンジに設定する通知音の波形の例を示す図である。 FIG. 154 is a diagram showing an example of the waveform of the notification sound set in the microwave oven according to the present embodiment.
図１５４の（ａ）に示す波形は単純な矩形波で、ほとんどの音声出力装置で出力可能である。通知音以外の音声と混同しやすいため、数回出力し、そのうちの幾つかを認識できれば、その通知音が鳴ったと認識する等の対応をすべきである。 The waveform shown in FIG. 154 (a) is a simple rectangular wave, which can be output by most audio output devices. Since it is easy to be confused with sounds other than the notification sound, it should be output several times, and if some of them can be recognized, it should be recognized that the notification sound has sounded.
図１５４の（ｂ）に示す波形は、短時間の矩形波により、（ａ）の波形を細かく区切ったような波形であり、音声出力装置の動作クロックが十分に速ければ出力可能である。この音は、人間の耳には（ａ）の音と同様に聞こえるが、機械認識においては、（ａ）よりも情報量が多く、通知音以外の音と混同しにくいという性質がある。 The waveform shown in FIG. 154 (b) is a waveform obtained by finely dividing the waveform of (a) by a short-time rectangular wave, and can be output if the operating clock of the audio output device is sufficiently fast. This sound can be heard by the human ear in the same manner as the sound of (a), but in machine recognition, it has a larger amount of information than the sound of (a) and is difficult to be confused with a sound other than the notification sound.
図１５４の（ｃ）に示す波形は、音声出力部分の時間的長さを変えたものであり、ＰＷＭ波形と呼ばれる。（ｂ）よりも出力することは難しいが、（ｂ）よりも情報量が多く、認識率を向上させたり、電子レンジから携帯電話に伝えたい情報を同時に伝えることも可能である。 The waveform shown in FIG. 154 (c) is a waveform in which the time length of the audio output portion is changed, and is called a PWM waveform. Although it is more difficult to output than (b), the amount of information is larger than that of (b), and it is possible to improve the recognition rate and simultaneously transmit the information to be transmitted from the microwave oven to the mobile phone.
なお、図１５４の（ｂ）（ｃ）の波形は、図１５４の（ａ）よりも誤認識の可能性は低いが、図１５４の（ａ）と同様に、同じ波形を数回繰り返すことで、より認識率を向上させることが出来る。 The waveforms of FIGS. 154 (b) and 154 are less likely to be erroneously recognized than the waveform of FIG. 154 (a). However, as in the case of FIG. 154 (a), the same waveform is repeated several times. , The recognition rate can be improved.
（調理内容の表示）
図１５５は、本実施の形態における電子レンジに設定する通知音の波形の例を示す図である。以下、図１５５を解説する。
(Display of cooking contents)
FIG. 155 is a diagram showing an example of the waveform of the notification sound set in the microwave oven according to the present embodiment. Hereinafter, FIG. 155 will be described.
まず、図中のＤに続いて、ステップ４０１１ａで、調理内容を表示する。
First, following D in the figure, the cooking content is displayed in
次に、ステップ４０１１ｂで、調理内容が電子レンジの運転かどうかを確認する。
Next, in
ここで、Ｙｅｓの場合は、ステップ４０１１ｃへ進み、電子レンジに食材を入れ運転開始ボタンを押下するようユーザへ通知して、図１５６のＥへ進む。 Here, in the case of Yes, the process proceeds to step 4011c, the user is notified to put the food in the microwave oven and press the operation start button, and the process proceeds to E in FIG. 156.
一方、Ｎｏの場合は、ステップ４０１１ｄへ進み、調理内容を表示して、図中のＦに進むか、ステップ４０１１ｅに進む。 On the other hand, in the case of No, the process proceeds to step 4011d, the cooking content is displayed, and the process proceeds to F in the figure or step 4011e.
ステップ４０１１ｅでは、ユーザの操作がどうなのかを確認する。アプリケーション終了の場合は、終了する。 In step 4011e, it is confirmed how the user's operation is. If the application is terminated, it will be terminated.
一方、表示内容の変更操作・手入力（ボタン押下等）・音声入力（「次へ」「前へ」等）の場合は、ステップ４０１１ｆへ進み、表示内容変更の結果調理が終了かどうかを確認する。ここで、Ｙｅｓの場合は、ステップ４０１１ｇへ進み、調理終了をユーザへ通知して、終了する。Ｎｏの場合は、ステップ４０１１ａへ進む。 On the other hand, in the case of display content change operation, manual input (button press, etc.), voice input ("next", "previous", etc.), proceed to step 4011f and check whether cooking is completed as a result of the display content change. To do. Here, in the case of Yes, the process proceeds to step 4011g, the user is notified of the end of cooking, and the process ends. If No, the process proceeds to step 4011a.
（電子レンジの通知音の認識）
図１５６は、本実施の形態における電子レンジの通知音の認識を行う処理を説明するための図である。以下、図１５６を解説する。
(Recognition of microwave oven notification sound)
FIG. 156 is a diagram for explaining a process of recognizing the notification sound of the microwave oven in the present embodiment. Hereinafter, FIG. 156 will be described.
まず、図中のＥに続いて、ステップ４０１２ａで、並行処理として（処理ｇ）周辺の集音機器からの集音と電子レンジ通知音の認識を開始する。
First, following E in the figure, in
次に、ステップ４０１２ｆで、並行処理として（処理ｉ）携帯電話操作状態の確認を開始する。
Next, in
次に、ステップ４０１２ｇで、並行処理として（処理ｊ）ユーザ位置の追跡を開始する。
Next, in
次に、ステップ４０１２ｂで、認識内容について確認する。
Next, in
ここで、ボタン押下の通知音を認識した場合は、ステップ４０１２ｃへ進み、設定変更を登録し、ステップ４０１２ｂへ戻る。ユーザによる操作を認識した場合は、図１５５のＦへ進む。電子レンジに食材を入れ運転開始ボタンを押下するように表示してから運転時間経過後に（運転終了の通知音または電子レンジの扉を開く音）を認識した場合は、ステップ４０１２ｅで、（処理ｈ）電子レンジの運転終了をユーザへ通知し、図１５５のＧへ進む。運転開始の通知音を認識した場合は、ステップ４０１２ｄへ進み、運転時間が経過するまで待機し、ステップ４０１２ｅへ進み、（処理ｈ）電子レンジの運転終了をユーザへ通知して、図１５５のＧへ進む。
Here, when the notification sound of the button press is recognized, the process proceeds to step 4012c, the setting change is registered, and the process returns to step 4012b. When the operation by the user is recognized, the process proceeds to F in FIG. 155. If it is recognized after the operation time has elapsed (the sound of notifying the end of operation or the sound of opening the door of the microwave oven) after the food is put in the microwave oven and displayed to press the operation start button, in
（処理ｇ：周辺の集音機器からの集音と電子レンジ通知音の認識）
図１５７は、本実施の形態における周辺の集音機器からの集音と電子レンジ通知音の認識を行う処理を説明するための図である。以下、図１５７を解説する。
(Processing g: Sound collection from surrounding sound collecting devices and recognition of microwave oven notification sound)
FIG. 157 is a diagram for explaining a process of collecting sound from peripheral sound collecting devices and recognizing a microwave oven notification sound in the present embodiment. Hereinafter, FIG. 157 will be described.
まず、ステップ４０１３ａで、携帯電話から通信可能で、集音が可能な機器（集音機器）を探索する。
First, in
次に、ステップ４０１３ｂで、集音機器を発見したかどうかを確認する。
Next, in
ここで、Ｎｏの場合は、終了する。一方、Ｙｅｓの場合は、ステップ４０１３ｃへ進み、集音器機の位置情報とマイク特性情報をサーバから取得する。 Here, if No, the process ends. On the other hand, in the case of Yes, the process proceeds to step 4013c, and the position information of the sound collector and the microphone characteristic information are acquired from the server.
次に、ステップ４０１３ｄで、サーバに情報が存在するかどうかを確認する。
Next, in
Ｙｅｓの場合は、ステップ４０１３ｒへ進み、集音機器の設置位置は電子レンジから十分近く通知音を集音できそうかどうかを確認する。 In the case of Yes, the process proceeds to step 4013r, and it is confirmed whether the installation position of the sound collecting device is sufficiently close to the microwave oven and the notification sound can be collected.
ここで、ステップ４０１３ｒにおいて、Ｎｏの場合は、ステップ４０１３ａへ戻る。Ｙｅｓの場合は、ステップ４０１３ｓへ進み、集音機器の演算装置は音声認識が可能かどうかを確認する。ステップ４０１３ｓにおいて、Ｙｅｓの場合は、ステップ４０１３ｕで、電子レンジの通知音認識のための情報を集音機器に送信する。続いて、ステップ４０１３ｖで、集音機器に集音と音声認識を開始させ認識結果を携帯電話に送信させる。続いて、ステップ４０１３ｑで、次の調理段階に進むまで電子レンジの通知音の認識処理を行わせ認識結果を携帯電話へ送信させる。一方、ステップ４０１３ｓで、Ｎｏの場合は、ステップ４０１３ｔへ進み、集音機器に集音を開始させ集音音声を携帯電話に送信させる。続いて、ステップ４０１３ｊで、次の調理段階に進むまで集音した音声を携帯電話へ送信させ、携帯電話で電子レンジの通知音を認識する。
Here, in
なお、ステップ４０１３ｄで、Ｎｏの場合は、ステップ４０１３ｅへ進み、集音機器の演算装置は音声認識が可能かどうかを確認する。
If the result is No in
Ｙｅｓの場合は、ステップ４０１３ｋへ進み、電子レンジの通知音認識のための情報を集音機器に送信する。続いて、ステップ４０１３ｍで、集音機器に集音と音声認識を開始させ、認識結果を携帯電話に送信させる。続いて、ステップ４０１３ｎで、電子レンジの通知音を鳴らす。続いて、ステップ４０１３ｐで、集音機器で前記通知音を認識できたかどうかを確認する。ステップ４０１３ｐで、Ｙｅｓの場合は、４０１３ｑへ進み、次の調理段階に進むまで電子レンジの通知音の認識処理を行わせ認識結果を携帯電話へ送信させて、ステップ４０１３ａへ戻る。ステップ４０１３ｐでＮｏの場合は、ステップ４０１３ａへ戻る。
In the case of Yes, the process proceeds to step 4013k, and information for recognizing the notification sound of the microwave oven is transmitted to the sound collecting device. Subsequently, in
また、ステップ４０１３ｅで、Ｎｏの場合は、ステップ４０１３ｆへ進み、集音機器に集音を開始させ集音音声を携帯電話に送信させる。続いて、ステップ４０１３ｇで、電子レンジの通知音を鳴らす。続いて、ステップ４０１３ｈで、集音機器から送られた音声に認識処理を行う。続いて、ステップ４０１３ｉで、前記通知音を認識できたか？どうかを確認する。ここで、Ｙｅｓの場合は、４０１３ｊへ進み、次の調理段階に進むまで集音した音声を携帯電話へ送信させ、携帯電話で電子レンジの通知音を認識して、ステップ４０１３ａへ戻る。Ｎｏの場合は、ステップ４０１３ａへ戻る。
If the result is No in
（処理ｈ：電子レンジの運転終了をユーザへ通知）
図１５８は、本実施の形態における電子レンジの運転終了をユーザへ通知する処理を説明するための図である。以下、図１５８を解説する。
(Processing h: Notify the user of the end of microwave oven operation)
FIG. 158 is a diagram for explaining a process of notifying the user of the end of operation of the microwave oven in the present embodiment. Hereinafter, FIG. 158 will be described.
まず、ステップ４０１３ａで、携帯電話を使用中またはセンサデータにより携帯電話が移動中と判断可能かどうかを確認する。なお、Ｙｅｓの場合は、ステップ４０１４ｍへ進み、携帯電話の画面表示や音声や振動等を用いてユーザへ電子レンジの運転終了を通知して、終了する。
First, in
一方、ステップ４０１３ａで、Ｎｏの場合は、ステップ４０１４ｂへ進み、ユーザがログインしているＰＣ等で操作中の機器（ユーザ操作中機器）を探索する。
On the other hand, in
次に、ステップ４０１４ｃで、ユーザ操作中機器を発見したかどうかを確認する。なお、Ｙｅｓの場合は、ユーザ操作中機器の画面表示等を用いてユーザへ電子レンジの運転終了を通知し、終了する。 Next, in step 4014c, it is confirmed whether or not the device being operated by the user has been found. In the case of Yes, the user is notified of the end of the operation of the microwave oven by using the screen display of the device being operated by the user, and the operation is terminated.
一方、ステップ４０１４ｃで、Ｎｏの場合は、ステップ４０１４ｅへ進み、携帯電話から通信可能で、画像取得が可能な機器（撮像機器）を探索する。 On the other hand, in step 4014c, if No, the process proceeds to step 4014e to search for a device (imaging device) capable of communicating from a mobile phone and acquiring an image.
次に、ステップ４０１４ｆで、撮像機器を発見したかどうかを確認する。
Next, in
ここで、Ｙｅｓの場合は、ステップ４０１４ｐへ進み、撮像機器に撮像させ、撮像機器にユーザの顔データを送信しユーザの顔認識を行う。または撮像画像を携帯電話またはサーバへ送らせ画像の送信先でユーザの顔認識を行う。 Here, in the case of Yes, the process proceeds to step 4014p, the image pickup device is made to take an image, and the user's face data is transmitted to the image pickup device to recognize the user's face. Alternatively, the captured image is sent to a mobile phone or a server, and the user's face is recognized at the destination of the image.
続いて、ステップ４０１４ｑで、ユーザの顔を認識したかどうかを確認する。Ｎｏの場合は、ステップ４０１４ｅへ戻る。Ｙｅｓの場合は、ステップ４０１４ｒへ進み、ユーザを発見した機器（発見機器）に表示装置や発声装置があるかどうかを確認する。ステップ４０１４ｒでＹｅｓの場合は、ステップ４０１４ｓへ進み、機器に付属の装置を用いてユーザへ電子レンジの運転終了を通知して、終了する。
Then, in step 4014q, it is confirmed whether or not the user's face is recognized. If No, the process returns to step 4014e. In the case of Yes, the process proceeds to step 4014r, and it is confirmed whether or not the device (discovery device) that has found the user has a display device or a vocalization device. If Yes in
また、ステップ４０１４ｆで、Ｎｏの場合は、ステップ４０１４ｇへ進み、携帯電話から通信可能で、集音が可能な機器（集音機器）を探索する。
Further, in
また、ステップ４０１４ｈで、Ｎｏの場合は、ステップ４０１４ｉへ進み、その他機器の操作や歩行振動等の手段でユーザの位置を特定可能な機器を発見する。続いて、ステップ４０１４ｍへ進み、携帯電話の画面表示や音声や振動等を用いてユーザへ電子レンジの運転終了を通知して、終了する。
Further, in
なお、ステップ４０１４ｉで、Ｙｅｓの場合は、ステップ４０１４ｒへ進み、ユーザを発見した機器（発見機器）に表示装置や発声装置があるかどうかを確認する。ここで、Ｎｏの場合は、ステップ４０１４ｔへ進み、発見機器の位置情報をサーバから取得する。 In step 4014i, in the case of Yes, the process proceeds to step 4014r, and it is confirmed whether or not the device (discovery device) that has found the user has a display device or a vocalization device. Here, in the case of No, the process proceeds to step 4014t, and the position information of the discovered device is acquired from the server.
続いて、ステップ４０１４ｕで、発見機器の近くにあり、表示装置や発声装置のある機器（通知機器）を探索する。続いて、ステップ４０１４ｖで、通知機器からユーザまでの距離を考慮し、画面表示、または、十分な音量の音声でユーザへ電子レンジの運転終了を通知して、終了する。
Subsequently, in step 4014u, a device (notification device) near the discovery device and having a display device and a vocalization device is searched for. Subsequently, in
（処理ｉ：携帯電話操作状態の確認）
図１５９は、本実施の形態における携帯電話操作状態の確認を行う処理を説明するための図である。以下、図１５９を解説する。
(Processing i: Confirmation of mobile phone operation status)
FIG. 159 is a diagram for explaining a process of confirming the mobile phone operation state in the present embodiment. Hereinafter, FIG. 159 will be described.
まず、ステップ４０１５ａで、携帯電話を操作中か、または携帯電話が移動しているか、または携帯電話に接続された入出力装置に入出力があるか、または映像や音楽を再生中か、または携帯電話から近い位置にある機器が操作中か、または携帯電話から近い位置にある機器のカメラや各種センサでユーザが認識されているかどうかを確認する。
First, in
ここで、Ｙｅｓの場合は、ステップ４０１５ｂへ進み、ユーザの位置はこの携帯電話から近い確率が高いと認識して、ステップ４０１５ａへ戻る。 Here, in the case of Yes, the process proceeds to step 4015b, the user recognizes that the position of the user is likely to be close to the mobile phone, and returns to step 4015a.
一方、Ｎｏの場合は、ステップ４０１５ｃへ進み、携帯電話から遠い位置にある機器が操作中か、または携帯電話から遠い位置にある機器のカメラや各種センサでユーザが認識されているか、または充電中かどうかを確認する。 On the other hand, in the case of No, the process proceeds to step 4015c, and the device located far from the mobile phone is being operated, or the user is recognized by the camera or various sensors of the device located far from the mobile phone, or is being charged. Check if.
ステップ４０１５ｃにおいて、Ｙｅｓの場合は、ステップ４０１５ｄへ進み、ユーザの位置はこの携帯電話から遠い確率が高いと認識して、ステップ４０１５ａへ戻る。ステップ４０１５ｃにおいて、Ｎｏの場合は、ステップ４０１５ａへ戻る。
In
（処理ｊ：ユーザ位置の追跡）
図１６０は、本実施の形態におけるユーザ位置の追跡を行う処理を説明するための図である。以下、図１６０を解説する。
(Processing j: Tracking user position)
FIG. 160 is a diagram for explaining a process of tracking a user position in the present embodiment. Hereinafter, FIG. 160 will be described.
まず、ステップ４０１６ａで、方位センサや位置センサや９軸センサにより携帯電話が移動されていると判断されるかどうかを確認する。なお、９軸センサは、加速度センサ、角速度センサ、および地磁気センサのうちの少なくとも１つからなるセンサである。
First, in
ステップ４０１６ａでＹｅｓの場合は、ステップ４０１６ｂへ進み、携帯電話とユーザの位置をＤＢに登録し、ステップ４０１６ａへ戻る。
If Yes in
一方、ステップ４０１６ａでＮｏの場合は、ステップ４０１６ｃへ進み、携帯電話から通信可能で、カメラやマイクや人感センサ等のユーザの位置やユーザが存在することを検知することが可能な機器（ユーザ探知機器）を探索する。
On the other hand, if No in
次に、ステップ４０１６ｄで、集音機器を発見するかどうかを確認する。ステップ４０１６ｄで、Ｎｏの場合は、ステップ４０１６ａへ戻る。
Next, in
ステップ４０１６ｄで、Ｙｅｓの場合は、ステップ４０１６ｅへ進み、ユーザ探知機器でユーザを探知するかどうかを確認する。ステップ４０１６ｅでＮｏの場合は、ステップ４０１６ａへ戻る。
In
ステップ４０１６ｅでＹｅｓの場合は、ステップ４０１６ｆへ進み、ユーザの探知を携帯電話へ送信させる。
If Yes in
次に、ステップ４０１６ｇで、ユーザ探知機器の付近にユーザが存在することをＤＢに登録する。
Next, in
次に、ステップ４０１６ｈで、ＤＢにユーザ探知機器の位置情報があれば取得しユーザの位置を特定して、ステップ４０１６ａへ戻る。
Next, in
図１６１は、音声出力装置からの音声をキャンセルしつつ、家電の通知音を認識し、通信可能な電子機器にユーザ（操作者）の現在位置を認識させ、ユーザ位置の認識結果から、ユーザ位置に近い位置にある機器にユーザへの通知を行わせることを示した図である。また、図１６２は、本実施の形態におけるサーバ、または、携帯電話、または、電子レンジに保持するデータベースの内容を示す図である。 FIG. 161 shows the user position based on the recognition result of the user position by recognizing the notification sound of the home appliance and causing the communicable electronic device to recognize the current position of the user (operator) while canceling the voice from the voice output device. It is a figure which showed that the device at a position close to is made to notify a user. Further, FIG. 162 is a diagram showing the contents of a database held in a server, a mobile phone, or a microwave oven according to the present embodiment.
図１６２に示すように、電子レンジテーブル４０４０ａには、電子レンジの機種と、出力可能な音を特定するデータ（スピーカ特性、変調方式等）と、各種携帯電話機種毎に、その携帯電話が認識しやすい特性を持った通知音のデータと、一般的な携帯電話が平均して認識しやすい通知音データとを対応付けて保持する。 As shown in FIG. 162, the microwave table 4040a recognizes the model of the microwave, the data (speaker characteristics, modulation method, etc.) that identifies the sound that can be output, and the mobile phone for each type of mobile phone. The notification sound data having characteristics that are easy to be easily recognized and the notification sound data that is easily recognized by a general mobile phone are stored in association with each other.
携帯テーブル４０４０ｂには、携帯電話の各個体と、その携帯電話の機種と、その携帯電話を使用するユーザと、その携帯電話の位置を示すデータとを対応付けて保持する。 The mobile phone table 4040b holds each individual mobile phone, the model of the mobile phone, the user who uses the mobile phone, and the data indicating the position of the mobile phone in association with each other.
携帯機種テーブル４０４０ｃでは、携帯電話の機種と、その携帯電話機種に付属のマイク等の集音特性とを対応付けて保持する。 In the mobile phone model table 4040c, the model of the mobile phone and the sound collecting characteristic of the microphone or the like attached to the mobile phone type are associated and held.
ユーザ音声特性テーブル４０４０ｄでは、ユーザと、そのユーザの声の音響特性とを対応付けて保持する。 In the user voice characteristic table 4040d, the user and the acoustic characteristic of the user's voice are associated and held.
ユーザキーワード音声テーブル４０４０ｅでは、ユーザと、「次へ」「戻る」などの携帯電話が認識しようとするキーワードをそのユーザが発声したときの音声波形データを対応づけて保持する。なお、このデータは、音声波形データそのものではなく、これを扱いやすい形に解析・変形したものとしても良い。 In the user keyword voice table 4040e, the voice waveform data when the user utters a keyword to be recognized by the mobile phone such as "next" and "return" is stored in association with the user. Note that this data is not the voice waveform data itself, but may be analyzed and transformed into a form that is easy to handle.
ユーザ所有機器位置テーブル４０４０ｆでは、ユーザと、ユーザの所有する機器と、その機器の位置データとを対応付けて保持する。 In the user-owned device position table 4040f, the user, the device owned by the user, and the position data of the device are stored in association with each other.
ユーザ所有機器位置テーブル４０４０ｇでは、ユーザと、ユーザの所有する機器と、その機器の発する通知音や運転音等の音のデータとを対応付けて保持する。 In the user-owned device position table 4040 g, the user, the device owned by the user, and sound data such as a notification sound and a driving sound emitted by the device are stored in association with each other.
ユーザ位置テーブル４０４０ｈでは、ユーザと、ユーザの位置のデータを対応付けて保持する。 In the user position table 4040h, the data of the user and the user's position are associated and held.
また、図１６３は、本実施の形態におけるユーザが携帯電話に表示された調理手順を基に調理を行い、また、「次へ」「戻る」等の音声によって携帯電話の表示内容をユーザが操作することを示す図である。図１６４は、本実施の形態における電子レンジの運転を開始し、運転終了を待っている間や、煮物を煮込んでいる間等の時間に、ユーザが他の場所へ移動していることを示す図である。図１６５は、ネットワークを介して携帯電話と接続されており、かつ、カメラやマイクや人感センサ等の、ユーザの位置の認識やユーザが存在していることを認識することができる機器に対して、携帯電話からユーザを探知する命令を送信することを示す図である。図１６６は、ユーザの探知の例として、テレビに付属したカメラでユーザの顔を認識し、また、エアコンの人感センサでユーザの移動や存在を認識していることを示す図である。なお、この認識処理は、テレビやエアコンで行なっても良いし、画像データ等を携帯電話やサーバに送信し、送信先で認識処理を行なっても良い。ただし、プライバシ保護の観点からは、ユーザのデータを外部サーバに送信すべきではない。 Further, in FIG. 163, the user in the present embodiment cooks based on the cooking procedure displayed on the mobile phone, and the user operates the display contents of the mobile phone by voices such as "next" and "return". It is a figure which shows that it does. FIG. 164 shows that the user is moving to another place while waiting for the end of the operation of the microwave oven according to the present embodiment, while boiling the simmered food, and the like. It is a figure. FIG. 165 shows a device connected to a mobile phone via a network and capable of recognizing a user's position and recognizing the existence of a user, such as a camera, a microphone, and a motion sensor. It is a figure which shows that the instruction for detecting a user is transmitted from the mobile phone. FIG. 166 is a diagram showing that, as an example of user detection, the camera attached to the television recognizes the user's face, and the motion sensor of the air conditioner recognizes the movement or existence of the user. Note that this recognition process may be performed on a television or an air conditioner, or image data or the like may be transmitted to a mobile phone or a server and the recognition process may be performed at the destination. However, from the viewpoint of privacy protection, the user's data should not be sent to an external server.
図１６７は、ユーザを探知した機器から、ユーザを探知したことや、探知した機器からユーザまでの相対位置を、携帯電話に送信することを示す図である。 FIG. 167 is a diagram showing that the device that has detected the user has detected the user and that the relative position from the detected device to the user is transmitted to the mobile phone.
このように、ユーザを探知した機器の位置情報がＤＢに存在すれば、ユーザの位置を特定することが可能である。 In this way, if the position information of the device that has detected the user exists in the DB, the position of the user can be specified.
図１６８は、本実施の形態における電子レンジの運転終了音を、携帯電話が認識することを示す図である。図１６９は、電子レンジの運転終了を認識した携帯電話が、ユーザを探知している機器のうち、画面表示機能や音声出力機能を持った機器（本図ではユーザの正面にあるテレビ）に、電子レンジの運転終了をユーザへ通知させる命令を送信することを示す図である。 FIG. 168 is a diagram showing that the mobile phone recognizes the operation end sound of the microwave oven according to the present embodiment. FIG. 169 shows a device (in this figure, a television in front of the user) having a screen display function and a voice output function among the devices detected by the mobile phone that recognizes the end of operation of the microwave oven. It is a figure which shows that the instruction which notifies a user of the end of operation of a microwave oven is transmitted.
図１７０は、前記の命令を受け取った機器が、通知内容をユーザへ通知する（本図では、テレビの画面に、電子レンジの運転が終了したことを表示する）ことを示す図である。図１７１は、電子レンジの運転終了音を、ネットワークを介して携帯電話と接続されており、マイクを備えており、電子レンジの付近に存在する機器が認識することを示す図である。図１７２は、電子レンジの運転終了を、これを認識した機器から携帯電話へ通知することを示す図である。図１７３は、携帯電話が電子レンジの運転終了の通知受け取ったとき、携帯電話がユーザの付近にあれば、携帯電話の画面表示や音声出力等を用いて、電子レンジの運転終了をユーザへ通知することを示す図である。 FIG. 170 is a diagram showing that the device that has received the command notifies the user of the content of the notification (in this figure, the screen of the television indicates that the operation of the microwave oven has been completed). FIG. 171 is a diagram showing that a device connected to a mobile phone via a network, equipped with a microphone, and presents in the vicinity of the microwave oven recognizes the operation end sound of the microwave oven. FIG. 172 is a diagram showing that a device that recognizes the end of operation of the microwave oven notifies the mobile phone of the end of operation of the microwave oven. FIG. 173 shows that when the mobile phone receives the notification of the end of operation of the microwave oven, if the mobile phone is near the user, the user is notified of the end of operation of the microwave oven by using the screen display or voice output of the mobile phone. It is a figure which shows that it does.
図１７４は、電子レンジの運転終了をユーザへ通知することを示す図である。具体的には、図１７４は、携帯電話が電子レンジの運転終了の通知受け取ったとき、携帯電話がユーザの付近になければ、ユーザを探知している機器のうち、画面表示機能や音声出力機能を持った機器（本図ではユーザの正面にあるテレビ）に、電子レンジの運転終了をユーザへ通知させる命令を送信し、その命令を受け取った機器が、電子レンジの運転終了をユーザへ通知することを示す図である。携帯電話が充電器に接続されているときは、携帯電話は電子レンジの近くにも、ユーザの近くにも存在しないことが多く、本図に示す状況が起こりやすいことを示している。 FIG. 174 is a diagram showing that the user is notified of the end of operation of the microwave oven. Specifically, FIG. 174 shows a screen display function and a voice output function among the devices detecting the user if the mobile phone is not near the user when the mobile phone receives the notification of the end of operation of the microwave oven. (In this figure, the TV in front of the user) is sent a command to notify the user of the end of operation of the microwave oven, and the device that receives the command notifies the user of the end of operation of the microwave oven. It is a figure which shows that. When the mobile phone is connected to the charger, the mobile phone is often not near the microwave oven or the user, indicating that the situation shown in this figure is likely to occur.
図１７５は、電子レンジの運転終了の通知を受けたユーザがキッチンに移動することを示す図である。なお、このとき、携帯電話は次の調理内容を表示している。また、携帯電話は、音声等によりユーザがキッチンへ移動したことを認識し、ちょうど良いタイミングで次の調理手順の解説を始めても良い。 FIG. 175 is a diagram showing that the user who has been notified of the end of operation of the microwave oven moves to the kitchen. At this time, the mobile phone displays the following cooking contents. In addition, the mobile phone may recognize that the user has moved to the kitchen by voice or the like, and may start explaining the next cooking procedure at just the right time.
図１７６は、電子レンジから無線通信で携帯電話に、運転終了等の情報を送信し、携帯電話から、ユーザの見ているテレビに通知命令を行い、テレビの画面表示や音声でユーザに通知を行うことを示す図である。 In FIG. 176, information such as the end of operation is transmitted from the microwave oven to the mobile phone by wireless communication, a notification command is given from the mobile phone to the TV that the user is watching, and the user is notified by the screen display or voice of the TV. It is a figure which shows what to do.
なお、情報ソース機器（本図では電子レンジ）と携帯電話との通信、及び、携帯電話とユーザに通知を行う機器（本図ではテレビ）との通信は、家庭内ＬＡＮや、直接の無線通信、特に、７００ＭＨｚ〜９００ＭＨｚ台の無線通信等が利用できる。また、ここでは携帯電話をハブとして利用しているが、通信能力を持つ他の機器を携帯電話の代わりに利用しても良い。 The communication between the information source device (microscope in this figure) and the mobile phone, and the communication between the mobile phone and the device that notifies the user (television in this figure) are the home LAN or direct wireless communication. In particular, wireless communication in the 700 MHz to 900 MHz range can be used. Further, although the mobile phone is used as a hub here, another device having communication capability may be used instead of the mobile phone.
図１７７は、電子レンジから無線通信で、ユーザの見ているテレビに運転終了などの情報を送信し、テレビの画面表示や音声を用いてユーザに通知を行うことを示す図である。これは、図１７６でハブとしての役割を担っていた携帯電話を介さない場合の動作を示す。 FIG. 177 is a diagram showing that information such as the end of operation is transmitted from a microwave oven to a television watched by the user by wireless communication, and the user is notified by using the screen display or voice of the television. This shows the operation when the mobile phone, which has played the role of a hub in FIG. 176, is not used.
図１７８は、１階のエアコンが何らかの情報通知を行う場合に、２階のエアコンに情報を送信し、２階のエアコンから携帯電話に情報を送信し、携帯電話からユーザの見ているテレビに通知命令を行い、テレビの画面表示や音声でユーザに通知を行うことを示す図である。これは、情報ソース機器（本図では１階のエアコン）からハブとなる携帯電話に直接通信ができない場合に、通信が可能な他の機器に情報を送信し、携帯電話までの通信を行うことを示している。 FIG. 178 shows that when the air conditioner on the first floor notifies some information, the information is transmitted to the air conditioner on the second floor, the information is transmitted from the air conditioner on the second floor to the mobile phone, and the mobile phone sends the information to the TV watched by the user. It is a figure which shows that the notification command is given, and the user is notified by the screen display of the television, or by voice. This is to send information to other devices that can communicate and communicate to the mobile phone when the information source device (air conditioner on the first floor in this figure) cannot directly communicate with the mobile phone that serves as the hub. Is shown.
図１７９は、遠隔地にいるユーザへ情報の通知を行うことを示す図である。具体的には、図１７９は、電子レンジから音声や光や無線通信等を介して通知を受けた携帯電話から、インターネットやキャリア通信を通して、遠隔地にいるユーザへ情報の通知を行うことを示している。図１８０は、電子レンジから、ハブとなる携帯電話へ直接通信が行えない場合に、パソコン等を経由して、携帯電話に情報を送信することを示した図である。図１８１は、図１８０の通信を受けた携帯電話から、情報通信経路を逆に辿って電子レンジに操作命令等の情報を送信することを示す図である。 FIG. 179 is a diagram showing that information is notified to a user at a remote location. Specifically, FIG. 179 shows that a mobile phone that has been notified from a microwave oven via voice, light, wireless communication, or the like notifies a user at a remote location of information via the Internet or carrier communication. ing. FIG. 180 is a diagram showing that information is transmitted to a mobile phone via a personal computer or the like when direct communication cannot be performed from the microwave oven to the mobile phone serving as a hub. FIG. 181 is a diagram showing that information such as an operation command is transmitted from the mobile phone that has received the communication of FIG. 180 to the microwave oven by tracing the information communication path in the reverse direction.
なお、携帯電話は、図１８０の情報を受けて自動で情報を送信しても良いし、その情報をユーザに通知し、その通知を受けてユーザが行った操作の情報を送信しても良い。 The mobile phone may receive the information shown in FIG. 180 and automatically transmit the information, or may notify the user of the information and transmit the information of the operation performed by the user in response to the notification. ..
図１８２は、情報ソース機器であるエアコンから、ハブとなる携帯電話に直接の通信が不可能である場合に、ユーザに情報の通知を行なうことを示した図である。具体的には、図１８２は、情報ソース機器であるエアコンから、ハブとなる携帯電話に直接の通信が不可能である場合に、まず、丸１でパソコン等の、携帯電話への通信のステップとなる機器に情報を送信し、丸２と丸３で、インターネットやキャリア通信網を通じてパソコンから携帯電話へ情報を送信し、携帯電話は自動でその情報を処理し、或いは、携帯電話を持っているユーザの操作を受けて、丸４と丸５で、インターネットやキャリア通信網通じて情報をパソコンに送信し、丸６で、パソコンは通知したいユーザに通知が可能な機器（本図ではテレビ）に通知命令を送信し、丸７で、テレビの画面表示や音声を用いてユーザに情報の通知を行なうことを示している。
FIG. 182 is a diagram showing that information is notified to the user when direct communication from the air conditioner, which is an information source device, to the mobile phone serving as a hub is impossible. Specifically, FIG. 182 shows a step of communication from an air conditioner, which is an information source device, to a mobile phone, such as a personal computer, in a
このような状況は、エアコンからの通知情報を受取るべきユーザと、携帯電話を使用しているユーザが異なる場合に起こりやすい。 Such a situation is likely to occur when the user who should receive the notification information from the air conditioner and the user who uses the mobile phone are different.
なお、本図では、パソコンと携帯電話の間の通信にインターネットやキャリア通信網を介しているが、家庭内ＬＡＮや直接通信等で通信を行なっても良い。 In this figure, the communication between the personal computer and the mobile phone is via the Internet or a carrier communication network, but communication may be performed by a home LAN, direct communication, or the like.
図１８３は、７００〜９００ＭＨｚの電波を用いた通信装置を利用したシステムについて説明するための図である。具体的には、図１８３の構成では、７００〜９００ＭＨｚの電波（以下Ｇ電波と呼ぶ）を用いた通信装置（以下Ｇ装置と呼ぶ）を利用したシステムについて説明しており、Ｇ装置付きの電子レンジからＧ装置付きの３階の携帯電話にＧ電波を用いて情報を送信し、Ｇ装置付きの３階の携帯電話から、家庭内ネットワークを利用してＧ装置のない２階の携帯電話に情報を送信し、２階の携帯電話からユーザへ情報の通知を行うことを示している。 FIG. 183 is a diagram for explaining a system using a communication device using radio waves of 700 to 900 MHz. Specifically, in the configuration of FIG. 183, a system using a communication device (hereinafter referred to as G device) using a radio wave of 700 to 900 MHz (hereinafter referred to as G radio wave) is described, and an electron with a G device is described. Information is transmitted from the range to the mobile phone on the 3rd floor with the G device using G radio waves, and from the mobile phone on the 3rd floor with the G device to the mobile phone on the 2nd floor without the G device using the home network. It indicates that the information is transmitted and the information is notified to the user from the mobile phone on the second floor.
なお、Ｇ装置付きの機器間の通信の登録・認証には、両機器に付属のＮＦＣを用いた方法が考えられる。また、いずれかの機器にＮＦＣがない場合には、登録モードとして、１０〜２０ｃｍ程度の距離でのみ通信が可能となるようにＧ電波の出力を下げ、双方の機器を近づけ、通信が成功した場合に、Ｇ装置間の通信の登録・認証を行う方法が考えられる。 For registration / authentication of communication between devices equipped with a G device, a method using NFC attached to both devices can be considered. If either device does not have NFC, as a registration mode, the output of G radio waves is lowered so that communication is possible only at a distance of about 10 to 20 cm, and both devices are brought closer to each other, and communication is successful. In this case, a method of registering / authenticating communication between G devices can be considered.
また、情報ソース機器（本図では電子レンジ）は、Ｇ装置を備えていれば、電子レンジ以外の機器であっても良い。 Further, the information source device (microwave oven in this figure) may be a device other than the microwave oven as long as it is equipped with the G device.
また、情報ソース機器と情報通知機器（本図では２階の携帯電話）の中継を行う機器（本図では３階の携帯電話）は、Ｇ電波と家庭内ネットワークにアクセス可能であれば、携帯電話ではなく、パソコンやエアコンやスマートメータ等の機器でも良い。 In addition, the device that relays the information source device and the information notification device (the mobile phone on the second floor in this figure) (the mobile phone on the third floor in this figure) is portable if it can access the G radio wave and the home network. Instead of a telephone, a device such as a personal computer, an air conditioner, or a smart meter may be used.
また、情報通知機器は、家庭内ネットワークにアクセス可能であり、画面表示や音声出力等を用いてユーザへの通知が可能であれば、携帯電話ではなく、パソコンやテレビ等の機器でも良い。 Further, the information notification device may be a device such as a personal computer or a television instead of a mobile phone as long as it can access the home network and can notify the user by using screen display, voice output, or the like.
図１８４は、遠隔地の携帯電話がユーザに情報を通知することを示す図である。具体的には、図１８４は、Ｇ装置付きのエアコンからＧ装置付きの宅内の携帯電話に情報を送信し、宅内の携帯電話から、インターネットやキャリア通信網を通じて、遠隔地の携帯電話に情報を送信し、遠隔地の携帯電話でユーザに情報を通知することを示している。 FIG. 184 is a diagram showing that a mobile phone in a remote place notifies a user of information. Specifically, FIG. 184 shows that information is transmitted from the air conditioner equipped with the G device to the mobile phone in the house equipped with the G device, and the information is transmitted from the mobile phone in the house to the mobile phone in a remote place through the Internet or the carrier communication network. It indicates that the information is transmitted and the information is notified to the user by the mobile phone in a remote place.
なお、情報ソース機器（本図ではエアコン）は、Ｇ装置を備えていれば、電子レンジ以外の機器であっても良い。 The information source device (air conditioner in this figure) may be a device other than a microwave oven as long as it is equipped with a G device.
また、情報ソース機器と情報通知機器（本図では遠隔地の携帯電話）の中継を行う機器（本図では宅内の携帯電話）は、Ｇ電波とインターネットやキャリア通信網にアクセス可能であれば、携帯電話ではなく、パソコンやエアコンやスマートメータ等の機器でも良い。 In addition, if the device that relays the information source device and the information notification device (mobile phone in a remote location in this figure) (mobile phone in the house in this figure) can access the G radio wave and the Internet or carrier communication network, Instead of a mobile phone, a device such as a personal computer, an air conditioner, or a smart meter may be used.
なお、情報通知機器は、インターネットやキャリア通信網にアクセス可能であり、画面表示や音声出力等を用いてユーザへの通知が可能であれば、携帯電話ではなく、パソコンやテレビ等の機器でも良い。 The information notification device may be a device such as a personal computer or a television instead of a mobile phone as long as it can access the Internet or a carrier communication network and can notify the user by using screen display or voice output. ..
図１８５は、遠隔地の携帯電話がユーザへ情報の通知を行うことを示す図である。具体的には、図１８５は、Ｇ装置のない電子レンジの通知音をＧ装置付きのテレビが認識し、テレビがＧ電波を介してＧ装置付きの宅内の携帯電話に情報を送信し、宅内の携帯電話からインターネットやキャリア通信網を介して遠隔地の携帯電話に情報を送信し、遠隔地の携帯電話がユーザへ情報の通知を行うことを示している。 FIG. 185 is a diagram showing that a mobile phone in a remote location notifies a user of information. Specifically, in FIG. 185, the TV with the G device recognizes the notification sound of the microwave without the G device, and the TV transmits information to the mobile phone in the house with the G device via the G radio wave, and the inside of the house. It shows that information is transmitted from a mobile phone in a remote location to a mobile phone in a remote location via the Internet or a carrier communication network, and the mobile phone in the remote location notifies the user of the information.
なお、情報ソース機器（本図では電子レンジ）は、他の機器でも同様であり、情報ソース機器の通知を、通知認識機器（本図ではテレビ）が認識する方法は、音声ではなく、発光状態等であっても同様である。 The information source device (microwave oven in this figure) is the same for other devices, and the method of recognizing the notification of the information source device by the notification recognition device (television in this figure) is not voice but light emission state. The same applies even if it is.
また、通知認識機器も、Ｇ装置付きの他の機器であっても同様である。また、通知認識機器と情報通知機器（本図では遠隔地の携帯電話）の中継を行う機器（本図では宅内の携帯電話）は、Ｇ電波とインターネットやキャリア通信網にアクセス可能であれば、携帯電話ではなく、パソコンやエアコンやスマートメータ等の機器でも良い。 Further, the notification recognition device is the same even if it is another device with a G device. In addition, if the device that relays the notification recognition device and the information notification device (mobile phone in a remote location in this figure) (mobile phone in the house in this figure) can access the G radio wave and the Internet or carrier communication network, Instead of a mobile phone, a device such as a personal computer, an air conditioner, or a smart meter may be used.
なお、情報通知機器は、インターネットやキャリア通信網にアクセス可能であり、画面表示や音声出力等を用いてユーザへの通知が可能であれば、携帯電話ではなく、パソコンやテレビ等の機器でも良い。 The information notification device may be a device such as a personal computer or a television instead of a mobile phone as long as it can access the Internet or a carrier communication network and can notify the user by using screen display or voice output. ..
また、図１８６は、図１８５と同様の場合において、通知認識機器（本図では２階のテレビ）と情報通知機器（本図では遠隔地の携帯電話）の中継を行う機器（図１８５では宅内の携帯電話）に代わって、２階のテレビが中継機器の役割を果たした場合の図である。 Further, FIG. 186 shows a device for relaying a notification recognition device (television on the second floor in this figure) and an information notification device (a mobile phone in a remote place in this figure) in the same case as in FIG. 185 (inside the house in FIG. 185). This is a diagram showing the case where the television on the second floor plays the role of a relay device instead of the mobile phone.
以上により、本実施の形態の装置は、以下の機能を実現する。
・アプリケーションの利用を通じて、ユーザの音声特性を学習する機能
・携帯電話から通信可能で、集音機能を持つ機器のうち、携帯電話から発した音を集音可能な集音機器を見つけ出す機能
・携帯電話から通信可能で、集音機能を持つ機器のうち、電子機器から発した音を集音可能な集音機器を見つけ出す機能
・集音機器で集音した音声をそのまま、あるいは、音声認識結果を携帯電話に送信させる機能
・環境音の特性を解析し、音声認識の精度を向上させる機能
・ユーザの所有する機器から出力され得る音声をＤＢから取得し、音声認識の精度を向上させる機能
・携帯電話から通信可能で、音声出力機能を持つ機器のうち、その機器が発した音声を携帯電話や集音機器が集音可能な音声出力機器を見つけ出す機能
・音声出力機器から出力される音声データを取得し、伝送特性を考慮して集音音声から差し引くことで、集音音声から不要な音声をキャンセルする機能
・調理レシピのパラメータ入力を受け、ユーザに指示を行う調理手順と、調理機器をコントロールするためのコントロールデータをサーバから取得する機能
・機器の出力可能な音のデータを基に、機器の発する通知音を、携帯電話や集音機器が認識しやすいように設定する機能
・ユーザの音声特性を基に認識機能を調整することで、ユーザ音声の認識精度を向上させる機能
・複数の集音機器を用いてユーザの音声を認識する機能
・複数の集音機器を用いて電子機器の通知音を認識する機能
・携帯電話と電子機器の非接触ＩＣカード等を介して、一度の操作だけで、一連の作業を行うために、電子機器から必要な情報を得、電子レンジに設定を行う機能
・携帯電話から通信可能な機器で、カメラやマイクや人感センサ等のユーザを探知することができる機器を用い、ユーザを探し、ユーザの現在位置を携帯電話へ送信させ、または、ＤＢに保存させる機能
・ＤＢに保存されたユーザ位置を用いて、近くに存在する機器からユーザに通知を行う機能
・携帯電話の状態（操作状態、センサ値、充電状態、データリンク状態等）から、携帯電話の付近にユーザが存在するかどうかを推定する機能
なお、図１４５から図１７５の処理では、音データを発光データ（周波数や輝度等）、音声出力を発光、集音を受光とそれぞれ読み替えても同様の機能を実現可能である。
As described above, the device of the present embodiment realizes the following functions.
-A function to learn the voice characteristics of the user through the use of the application-A function to find a sound collecting device that can collect the sound emitted from the mobile phone among the devices that can communicate from the mobile phone and have a sound collecting function-Mobile A function to find a sound collecting device that can collect sound emitted from an electronic device among devices that can communicate from a telephone and have a sound collecting function ・ The sound collected by the sound collecting device can be used as it is, or the voice recognition result can be obtained. Function to send to mobile phone ・ Function to analyze the characteristics of environmental sound and improve the accuracy of voice recognition ・ Function to acquire the sound that can be output from the device owned by the user from the DB and improve the accuracy of voice recognition ・ Mobile A function to find a voice output device that can be communicated from a telephone and has a voice output function, and a mobile phone or a sound collecting device can collect the sound emitted by the device ・ Voice data output from the voice output device Function to cancel unnecessary voice from sound collection voice by acquiring and subtracting from sound collection voice in consideration of transmission characteristics ・ Controls cooking procedure and cooking equipment that receives parameter input of cooking recipe and gives instructions to user Function to acquire control data from the server ・ Function to set the notification sound emitted by the device based on the sound data that can be output by the device so that it can be easily recognized by mobile phones and sound collecting devices ・ User's voice A function to improve the recognition accuracy of the user's voice by adjusting the recognition function based on the characteristics-A function to recognize the user's voice using multiple sound collecting devices-Notification of electronic devices using multiple sound collecting devices Sound recognition function-Get the necessary information from the electronic device and set it in the microwave to perform a series of operations with just one operation via the non-contact IC card of the mobile phone and the electronic device. Function ・ Use a device that can communicate from a mobile phone and can detect the user, such as a camera, microphone, or human sensor, search for the user, send the user's current position to the mobile phone, or send it to the DB. Function to save ・ Function to notify the user from a nearby device using the user position saved in the DB ・ Mobile from the state of the mobile phone (operation state, sensor value, charging state, data link state, etc.) Function to estimate whether or not a user exists near the telephone In the processing of FIGS. 145 to 175, sound data is read as light emission data (frequency, brightness, etc.), voice output is read as light emission, and sound collection is read as light reception. Can realize the same function.
また、本実施の形態では電子レンジを例としたが、認識する通知音を発する電子機器は、電子レンジではなく、洗濯機や炊飯器、掃除機、冷蔵庫、空気清浄機、ポット、食器洗い乾燥機、エアコン、パソコン、携帯電話、テレビ、自動車、電話、メール着信装置等に変えても、同様の効果がある。 Further, although a microwave oven is taken as an example in the present embodiment, the electronic device that emits the notification sound to be recognized is not a microwave oven, but a washing machine, a rice cooker, a vacuum cleaner, a refrigerator, an air purifier, a pot, and a dishwasher / dryer. , Air conditioners, personal computers, mobile phones, TVs, automobiles, telephones, mail receiving devices, etc. have the same effect.
また、本実施の形態では、電子レンジと、携帯電話と、テレビ等のユーザへ通知を行う機器とは直接に通信を行なっているが、直接の通信に不都合がある場合には、他の機器を通して間接的に通信を行なっても良い。 Further, in the present embodiment, the microwave oven, the mobile phone, and the device for notifying the user such as a television are directly communicated with each other, but if the direct communication is inconvenient, another device is used. Communication may be performed indirectly through.
また、本実施の形態では、主に家庭ＬＡＮを利用した通信を想定しているが、機器同士の直接無線通信や、インターネットや、キャリア通信網を介した通信の場合であっても、同様の機能を実現可能である。 Further, in the present embodiment, communication mainly using a home LAN is assumed, but the same applies to direct wireless communication between devices, communication via the Internet, or a carrier communication network. The function can be realized.
また、本実施の形態では、使用者の場所を、携帯電話からの一斉の問い合わせにより、ＴＶのカメラ等で人物識別をして、本人の携帯電話に暗号化して送るため、個人情報の漏洩が防げるという効果がある。家の中に複数の人間がいる場合でも、エアコンや空気清浄機、冷蔵庫の人感センサのデータを携帯等の位置管理データベースにおくることにより、一回認識した操作者の移動に伴い、センサで追跡することにより、操作者の位置を推定することができる。 Further, in the present embodiment, the location of the user is identified by a TV camera or the like by a simultaneous inquiry from the mobile phone, and the person is encrypted and sent to the mobile phone of the person, so that personal information is leaked. It has the effect of preventing it. Even if there are multiple people in the house, by storing the data of the motion sensors of the air conditioner, air purifier, and refrigerator in the position management database of the mobile phone, etc., the sensor can be used as the operator moves once. By tracking, the position of the operator can be estimated.
なお、ユーザがジャイロや方位計を持つ携帯電話を所持する場合は、特定した位置データをユーザ位置データベースに登録すると良い。 When the user has a mobile phone with a gyro or a directional meter, the specified position data may be registered in the user position database.
また、操作者が携帯を置いたきは、まず、物理センサの動きが一定期間静止することから、これを検知できる。次に離れたことは、家電や照明器具の人感センサやボタン操作、ＴＶ等のカメラ、携帯のマイク等を用いて検知する。そしてその位置は携帯もしくは、家内のサーバのユーザ位置データベースに登録する。 Further, when the operator puts down the mobile phone, the movement of the physical sensor is first stopped for a certain period of time, so that this can be detected. Next, the distance is detected by using motion sensors and button operations of home appliances and lighting equipment, cameras such as TVs, and microphones of mobile phones. Then, the location is registered in the user location database of the mobile phone or the server in the house.
以上のように、実施の形態９によれば、機器間の通信を可能とする情報通信装置（認識装置）を実現することができる。 As described above, according to the ninth embodiment, it is possible to realize an information communication device (recognition device) that enables communication between devices.
具体的には、本実施の形態の情報通信装置は、操作端末から通信可能な電子機器のうち、集音機能を持つ電子機器（集音機器）を探索し、前記集音機器の集音機能を利用して別の電子機器の通知音を認識する認識装置を含んでいてもよい。 Specifically, the information communication device of the present embodiment searches for an electronic device (sound collecting device) having a sound collecting function among the electronic devices that can communicate from the operation terminal, and the sound collecting function of the sound collecting device. May include a recognition device that recognizes the notification sound of another electronic device using the above.
ここで、この認識装置は、さらに、操作端末から発した信号音を集音可能な集音機器のみの集音機能を利用する認識装置であってもよい。 Here, the recognition device may be a recognition device that uses only the sound collecting function of the sound collecting device capable of collecting the signal sound emitted from the operation terminal.
また、本実施の形態の情報通信装置は、操作端末から通信可能な電子機器のうち、音声出力機能を持つ電子機器（音声出力機器）を探索し、前記音声出力機器と前記集音機器との間の音声伝送特性を解析し、前記音声出力機器の出力音声データを取得し、前記音声伝送特性と前記出力音声データから、集音音声から前記音声出力機器から出力された音声をキャンセルする集音装置を含んでいてもよい。 Further, the information communication device of the present embodiment searches for an electronic device (voice output device) having a voice output function among the electronic devices that can communicate from the operation terminal, and causes the voice output device and the sound collection device. Sound collection that analyzes the voice transmission characteristics between the voices, acquires the output voice data of the voice output device, and cancels the voice output from the voice output device from the sound collection voice from the voice transmission characteristics and the output voice data. The device may be included.
また、本実施の形態の情報通信装置は、環境音に埋もれないように、通知音を認識したい電子機器の通知音を調整する認識装置を含んでいてもよい。 Further, the information communication device of the present embodiment may include a recognition device that adjusts the notification sound of the electronic device that wants to recognize the notification sound so as not to be buried in the environmental sound.
また、本実施の形態の情報通信装置は、ユーザの保有する電子機器（保有電子機器）と保有電子機器が出力する音のデータと保有電子機器の位置データをデータベースに保持し、保有電子機器の出力する音声と通知音を認識したい電子機器の通知音とを区別しやすいように、前記認識したい電子機器の前記通知音を調整する認識装置を含んでいてもよい。 Further, the information communication device of the present embodiment holds the electronic device (owned electronic device) owned by the user, the sound data output by the owned electronic device, and the position data of the owned electronic device in a database, and holds the possessed electronic device. A recognition device for adjusting the notification sound of the electronic device to be recognized may be included so that the output voice and the notification sound of the electronic device for which the notification sound is to be recognized can be easily distinguished.
ここで、この認識装置は、さらに、保有電子機器の出力する音声と通知音を認識したい電子機器の通知音とを区別しやすいように、音声認識処理を調整する認識装置であってもよい。 Here, the recognition device may be a recognition device that adjusts the voice recognition process so that the voice output by the possessed electronic device and the notification sound of the electronic device for which the notification sound is to be recognized can be easily distinguished.
また、本実施の形態の情報通信装置は、操作端末の操作状態と、物理センサのセンサ値と、データリンク状態と、充電状態とを利用して、前記操作端末と操作者との位置が近いかどうかを認識する認識装置を含んでいてもよい。 Further, in the information communication device of the present embodiment, the positions of the operation terminal and the operator are close to each other by using the operation state of the operation terminal, the sensor value of the physical sensor, the data link state, and the charging state. It may include a recognition device that recognizes whether or not.
ここで、この認識装置は、さらに、前記操作端末から通信可能な電子機器の操作状態、カメラと、マイクと、人感センサと、データベースに保持された前記電子機器の位置データを利用して、ユーザの位置を認識する認識装置であってもよい。 Here, the recognition device further utilizes the operation state of the electronic device that can communicate from the operation terminal, the camera, the microphone, the motion sensor, and the position data of the electronic device stored in the database. It may be a recognition device that recognizes the position of the user.
また、この前記認識装置は、さらに、前記ユーザ位置の認識結果と、データベースに保持された、画面表示や音声出力等の手段により前記ユーザに通知が可能な機能を持つ電子機器（通知機器）の位置データとを利用し、前記ユーザに通知が可能な前記通知機器を用いてユーザに情報の通知を行う情報通知装置に含まれていてもよい。 Further, the recognition device is an electronic device (notification device) having a function of notifying the user by means such as screen display and voice output, which is stored in a database and has a recognition result of the user position. It may be included in an information notification device that notifies a user of information by using the notification device capable of notifying the user by using the position data.
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these general or specific aspects may be realized by a system, a method, an integrated circuit, a computer program or a recording medium, and may be realized by an arbitrary combination of a system, a method, an integrated circuit, a computer program or a recording medium. May be done.
（実施の形態１０）
現在、無線通信において様々な簡単認証方式が検討されている。例えば、Ｗｉ―Ｆｉアライアンスで策定されている、無線ＬＡＮのＷＰＳにおいては、プッシュボタン方式、ＰＩＮ入力方式、ＮＦＣ方式などが規定されている。無線における様々な簡単認証方式では、機器を使用しているユーザが認証を行おうとしているかどうかを、時間を限定するか双方の機器に直接触れる事ができる距離にいるということを特定することで判断し、認証を行っている。
(Embodiment 10)
Currently, various simple authentication methods are being studied in wireless communication. For example, in the wireless LAN WPS established by the Wi-Fi Alliance, a push button method, a PIN input method, an NFC method, and the like are specified. Various simple wireless authentication methods identify whether the user using the device is trying to authenticate by limiting the time or identifying that they are at a distance where they can directly touch both devices. Judging and authenticating.
しかし、時間を限定する方法はある程度近接した距離に悪意あるユーザがいた場合には、安全とはいえない。また、家電機器などの据え置き機器においては、直接ふれることが困難もしくは面倒な場合がある。 However, the method of limiting the time is not safe when there is a malicious user at a certain distance. In addition, in stationary devices such as home appliances, it may be difficult or troublesome to touch them directly.
そこで、本実施の形態においては、可視光を用いた通信を無線認証に使用することによって、認証をしようしているユーザが確実に部屋内にいることを特定し、家電機器の無線認証を簡単かつ安全に行う方法を説明する。 Therefore, in the present embodiment, by using communication using visible light for wireless authentication, it is possible to identify that the user who is trying to authenticate is surely in the room, and to easily perform wireless authentication of the home electric appliance. And explain how to do it safely.
図１８７は、本実施の形態における宅内の環境の例を示す図である。図１８８は、本実施の形態における家電機器とスマートフォンの通信の例を示す図である。図１８９は、本実施の形態における送信側装置の構成を示す図である。図１９０は、本実施の形態における受信側装置の構成を示す図である。図１８７〜図１９０は、図１２４〜図１２７と同様の図面であり詳細な説明は省略する。 FIG. 187 is a diagram showing an example of the environment in the house according to the present embodiment. FIG. 188 is a diagram showing an example of communication between a home electric appliance and a smartphone according to the present embodiment. FIG. 189 is a diagram showing a configuration of a transmitting side device according to the present embodiment. FIG. 190 is a diagram showing a configuration of a receiving side device according to the present embodiment. 187 to 190 are the same drawings as those of FIGS. 124 to 127, and detailed description thereof will be omitted.
宅内環境は、図１８７に示したような、ユーザがキッチンにおいて持っているタブレットとリビングにおいているＴＶとを認証するような環境を考える。双方、無線ＬＡＮに接続は可能な端末であり、ＷＰＳモジュールを実装していると仮定する。 As the home environment, consider an environment that authenticates the tablet that the user has in the kitchen and the TV in the living room, as shown in FIG. 187. Both are terminals that can be connected to a wireless LAN, and it is assumed that a WPS module is mounted.
図１９１は、図１８７において、送信側端末（ＴＶ）が受信側端末（タブレット）と光通信を用いて無線ＬＡＮ認証を行う場合のシーケンス図である。以下、図１９１について解説する。 FIG. 191 is a sequence diagram in FIG. 187 when the transmitting side terminal (TV) performs wireless LAN authentication with the receiving side terminal (tablet) by using optical communication. Hereinafter, FIG. 191 will be described.
まず、例えば図１８９に示すような送信側端末は、乱数を作成する（ステップ５００１ａ）。続いて、ＷＰＳのレジストラに登録する（ステップ５００１ｂ）。さらに、レジストラに登録した乱数のパターンどおりに発光素子を発光させる（ステップ５００１ｃ）。
First, for example, the transmitting terminal as shown in FIG. 189 creates a random number (
一方、送信側装置の発光素子が発光している間に、例えば図１９０に示すような受信側装置では光認証モードでカメラを起動させる。ここで、光認証モードとは発光素子が認証用に光っているということを認識できるモードであり、発光側の周期とあわせて撮影可能な動画撮影モードのことをいう。 On the other hand, while the light emitting element of the transmitting side device emits light, for example, the receiving side device as shown in FIG. 190 activates the camera in the optical authentication mode. Here, the optical authentication mode is a mode in which it is possible to recognize that the light emitting element is shining for authentication, and refers to a moving image shooting mode in which shooting can be performed together with the cycle on the light emitting side.
すなわち、まず、ユーザは送信側端末の発光素子を撮影する（ステップ５００１ｄ）。次に、受信側端末は撮影により、乱数を受光する（ステップ５００１ｅ）。続いて、乱数を受光した受信側端末は乱数をＷＰＳのＰＩＮとして入力する（ステップ５００１ｆ）。
That is, first, the user photographs the light emitting element of the transmitting terminal (
ここで、双方でＰＩＮが共有された状態になった送受信端末はＷＰＳでの規定にしたがい、認証処理を行う（ステップ５００１ｇ）。
Here, the transmitting / receiving terminal in which the PIN is shared by both parties performs the authentication process according to the provisions of WPS (
次に、認証が完了したら、送信側端末はレジストラから乱数を削除し、複数の端末からの認証を受け付けないようにする（５００１ｈ）。 Next, when the authentication is completed, the transmitting terminal deletes the random number from the registrar so as not to accept the authentication from a plurality of terminals (5001h).
なお、本方式は無線ＬＡＮの認証に限らず、共有鍵を用いた無線の認証方式すべてに適応可能である。 This method is not limited to wireless LAN authentication, and can be applied to all wireless authentication methods using a shared key.
また、本方式は無線の認証方式に限定されないものである。例えばＴＶとタブレット間の双方で搭載しているアプリケーションの認証にも適応することが可能である。 Further, this method is not limited to the wireless authentication method. For example, it can be applied to the authentication of an application installed on both a TV and a tablet.
図１９２は、本実施の形態におけるアプリケーションでの認証を行う場合のシーケンス図である。以下、図１９２を解説する。 FIG. 192 is a sequence diagram in the case of performing authentication in the application according to the present embodiment. Hereinafter, FIG. 192 will be described.
まず、送信側端末は端末の状態に応じて送信側ＩＤを作成する（ステップ５００２ａ）。ここで、送信側ＩＤは乱数でもよいし、暗号化のための鍵でもよい。また、送信側端末の端末ＩＤ（ＭＡＣアドレス、ＩＰアドレス）を含んでもよい。続いて、送信側端末は送信側ＩＤのパターンどおりに発光する（ステップ５００２ｂ）。
First, the transmitting side terminal creates a transmitting side ID according to the state of the terminal (
一方、受信側装置は無線認証の場合と同じ手順で送信側ＩＤを受光する（ステップ５００２ｆ）。続いて、受信側装置は送信側ＩＤを受信すると、送信側ＩＤを受信したことが証明可能な受信側ＩＤを作成する（ステップ５００２ｇ）。例えば、送信側ＩＤで暗号化されている受信側端末の端末ＩＤであってもよい。また、受信側端末で起動しているアプリのプロセスＩＤやパスワードを含んでもよい。続いて、受信側端末は受信側ＩＤを無線でブロードキャストする（ステップ５００２ｈ）。なお、送信側ＩＤに送信側端末の端末ＩＤが含まれていた場合には、ユニキャストしてもよい。
On the other hand, the receiving side device receives the transmitting side ID in the same procedure as in the case of wireless authentication (
次に、無線で受信側ＩＤを受信した５００２ｃ送信側端末は、受信した受信側ＩＤを送ってきた端末と相互に共有されている送信側ＩＤを用いて認証を行う（ステップ５００２ｄ）。
Next, the 5002c transmitting side terminal that has received the receiving side ID wirelessly performs authentication using the transmitting side ID that is shared with the terminal that sent the received receiving side ID (
図１９３は、本実施の形態における送信側端末の動作を表すフローチャートである。以下、図１９３について解説する。 FIG. 193 is a flowchart showing the operation of the transmitting terminal in the present embodiment. Hereinafter, FIG. 193 will be described.
まず、送信側端末は端末の状態に応じたＩＤを発光する（ステップ５００３ａ）。
First, the transmitting terminal emits an ID according to the state of the terminal (
次に、ＩＤに応じたパターンで発光する（ステップ５００３ｂ）。
Next, light is emitted in a pattern corresponding to the ID (
次に、発光したＩＤに対応する無線応答があるかどうかを確認する（ステップ５００３ｃ）。応答があった場合には（ステップ５００３ｃでＹｅｓ）、応答してきた端末に対して認証処理を行う（ステップ５００３ｄ）。なお、ステップ５００３ｃにおいて、応答が無かった場合には、タイムアウト時間待って（ステップ５００３ｉ）、応答無しを表示して終了する（ステップ５００３ｊ）。
Next, it is confirmed whether or not there is a radio response corresponding to the emitted ID (
次に、ステップ５００３ｅにおいて認証処理が成功したかを確認し、認証処理が成功した場合には（ステップ５００３ｅでＹｅｓ）、発光したＩＤに認証以外のコマンドが含まれていれば（ステップ５００３ｆでＹｅｓ）、コマンドに従った処理を行う（ステップ５００３ｇ）。
Next, it is confirmed in
なお、ステップ５００３ｅで、認証が失敗した場合には、認証エラーを表示して（ステップ５００３ｈ）、終了する。
If the authentication fails in
図１９４は、本実施の形態における受信側端末の動作を表すフローチャートである。以下、図１９４について解説する。 FIG. 194 is a flowchart showing the operation of the receiving terminal in the present embodiment. Hereinafter, FIG. 194 will be described.
まず、受信側端末は光認証モードでカメラを起動する（ステップ５００４ａ）。
First, the receiving terminal activates the camera in the optical authentication mode (
次に、特定パターンで光を受光できたかを確認し（ステップ５００４ｂ）、確認できた場合には（ステップ５００４ｂでＹｅｓ）、送信側ＩＤを受信したことが証明可能な受信側ＩＤを作成する（ステップ５００４ｃ）。なお、確認できなかった場合には（ステップ５００４ｂでＮｏ）、タイムアウト時間を待って（ステップ５００４ｉでＹｅｓ）、タイムアウトを表示し（ステップ５００４ｊ）、終了する。
Next, it is confirmed whether the light can be received in the specific pattern (
次に、送信側端末に送信端末のＩＤが含まれているかを確認する（ステップ５００４ｋ）、含まれている場合には（ステップ５００４ｋでＹｅｓ）、その端末に受信側ＩＤをユニキャストする（ステップ５００４ｄ）。一方、含まれていない場合には（ステップ５００４ｋでＮｏ）、ブロードキャストする（ステップ５００４ｌ）。
Next, it is confirmed whether the transmitting terminal includes the ID of the transmitting terminal (
次に、送信端末側から認証処理が開始され（ステップ５００４ｅ）、認証処理が成功した場合には（ステップ５００４ｅでＹｅｓ）、受光したＩＤにコマンドが含まれているかどうかを判断する（ステップ５００４ｆ）。ステップ５００４ｆで、含まれていたと判断した場合には（ステップ５００４ｆでＹＥＳ）、ＩＤに応じた処理を行う（ステップ５００４ｇ）。
Next, the authentication process is started from the transmitting terminal side (
なお、ステップ５００４ｅで、認証に失敗した場合には（ステップ５００４ｅでＮｏ）、認証エラーを表示し（ステップ５００４ｈ）、終了する。
If the authentication fails in
以上、本実施の形態によれば、可視光を用いた通信を無線認証に使用することによって、認証をしようしているユーザが確実に部屋内にいることを特定し、家電機器の無線認証を簡単かつ安全に行うことができる。 As described above, according to the present embodiment, by using the communication using visible light for wireless authentication, it is specified that the user who is trying to authenticate is surely in the room, and the wireless authentication of the home electric appliance is performed. It can be done easily and safely.
（実施の形態１１）
上述した実施の形態では、ＮＦＣ通信、及び、高速無線通信を用いてデータ交換する際のフローを説明したがそれに限らない。本実施の形態は、例えば図１９５〜図１９７に示されるようなフローにすることも当然可能である。
(Embodiment 11)
In the above-described embodiment, the flow for exchanging data using NFC communication and high-speed wireless communication has been described, but the present invention is not limited thereto. Of course, the present embodiment can have a flow as shown in FIGS. 195 to 197, for example.
図１９５は、本実施の形態におけるモバイルＡＶ端末１がモバイルＡＶ端末２にデータを送信するシーケンス図である。具体的には、図１９５は、ＮＦＣ・無線ＬＡＮ無線通信を用いたデータ送受信のシーケンス図を示している。以下、図１９５を解説する。
FIG. 195 is a sequence diagram in which the
モバイルＡＶ端末１は、まず画面上にモバイルＡＶ端末２へ送信する対象となるデータを表示する。
The
ここで、モバイルＡＶ端末１とモバイルＡＶ端末２が互いの機器を接触させることによってＮＦＣ通信を行うと、モバイルＡＶ端末１は、画面上にデータ送信を行うか否かの確認画面を出す。この確認画面は、「データを送信しますか？」という文字と共に、「Ｙｅｓ／Ｎｏ」の選択をユーザに要求するものであっても良いし、モバイルＡＶ端末１の画面をもう一度タッチすることでデータ送信を開始するようなインターフェイスにしても良い。
Here, when the
データ送信意思確認でＯＫの場合、モバイルＡＶ端末１とモバイルＡＶ端末２はＮＦＣ通信によって、送信するデータの情報および高速無線通信を確立するための情報をやりとりする。送信するデータの情報は無線ＬＡＮ通信によって行なっても良い。無線ＬＡＮ通信確立に関する情報は、通信チャネルやＳＳＩＤ、暗号キー情報をであっても良いし、ランダムに生成されたＩＤ情報を交換し、この情報によって、セキュアな通信路を確立する方式であっても良い。
If the data transmission intention confirmation is OK, the
無線ＬＡＮ通信が確立すると、モバイルＡＶ端末１とモバイルＡＶ端末２は無線ＬＡＮ通信によるデータ通信を行い、モバイルＡＶ端末１の送信対象のデータをモバイルＡＶ端末２へ送信する。
When the wireless LAN communication is established, the
次に、図１９６、図１９７を用いて、モバイルＡＶ端末１およびモバイルＡＶ端末２の画面の遷移を中心にした説明を行う。図１９６は、本実施の形態におけるモバイルＡＶ端末１がモバイルＡＶ端末２にデータを送信する場合の画面遷移図である。図１９７は、本実施の形態におけるモバイルＡＶ端末１がモバイルＡＶ端末２にデータを送信する場合の画面遷移図である。
Next, with reference to FIGS. 196 and 197, the description focusing on the screen transitions of the
図１９６および図１９７において、モバイルＡＶ端末１においてユーザはまず動画静止画を再生するアプリを起動する。このアプリはモバイルＡＶ端末１内にある静止画や動画データを表示する。
In FIGS. 196 and 197, on the
ここで、モバイルＡＶ端末１とモバイルＡＶ端末２を準接触させることによってＮＦＣ通信を行う。このＮＦＣ通信はモバイルＡＶ端末１で静止画や動画データの交換を開始するための処理である。
Here, NFC communication is performed by quasi-contacting the
まず、モバイルＡＶ端末１とモバイルＡＶ端末２がＮＦＣ通信によりデータ交換の開始を認識すると、モバイルＡＶ端末１の画面にはデータ送信してもよいかどうかの確認画面が表示される。なお、この確認画面は図１９６のように、データ送信開始にはユーザに画面をタッチさせるようなインターフェイスにしてもよいし、データ送信可否をＹｅｓ／Ｎｏでユーザに選択させるインターフェイスにしてもよい。データ送信開始判断でＹｅｓの場合、すなわちモバイルＡＶ端末１がモバイルＡＶ端末２へデータを送信する場合、モバイルＡＶ端末１はモバイルＡＶ端末２へ交換するデータの情報と、無線ＬＡＮによる高速無線通信開始に関する情報を送信する。なお、この交換するデータの情報は高速無線通信を用いて行なっても良い。
First, when the
次に、モバイルＡＶ端末１およびモバイルＡＶ端末２は無線ＬＡＮによる高速無線通信開始に関する情報を送受信すると、無線ＬＡＮ通信のコネクションを確立するための処理を行う。この処理は、どのようなチャネルで通信を行うか、通信トポロジ上どちらが親端末になり、どちらが子端末になるか、パスワード情報やお互いのＳＳＩＤや端末情報の交換などが含まれる。
Next, when the
次に、無線ＬＡＮ通信のコネクションが確立すると、モバイルＡＶ端末１およびモバイルＡＶ端末２は無線ＬＡＮ通信によるデータを送信する。データ送信中、モバイルＡＶ端末１は通常通り動画の再生画面を表示し、データを受信する側であるモバイルＡＶ端末２は、データ受信中を示す画面を表示させる。これは、モバイルＡＶ端末１にとってデータ送信中の画面を表示すると、その他の処理ができなくなるため、データ送信はバックグラウンドで行うことで、ユーザの利便性が向上するというメリットがある。またモバイルＡＶ端末２はデータを受信中であり、受信したデータをすぐさま表示できるように、画面にデータ受信中を示す画面を表示することで、データの受信完了時に直ちに受診したデータを表示できるメリットがある。
Next, when the wireless LAN communication connection is established, the
最後に、モバイルＡＶ端末２はデータの受信が完了すると、受診したデータを画面に表示させる。
Finally, when the
図１９８〜図２００は、本実施の形態におけるモバイルＡＶ端末１がデジタルカメラである場合のシステム概略図である。
198 to 200 are schematic views of a system when the
図１９８に示すように、モバイルＡＶ端末１がデジタルカメラであっても、本実施の携帯は適用可能であることは言うまでもない。
As shown in FIG. 198, it goes without saying that the mobile phone of the present implementation is applicable even if the
また、モバイルＡＶ端末１がデジタルカメラの場合、一般的にデジタルカメラは、無線ＬＡＮによるインターネットアクセスの手段は持っていても、携帯通信によるインターネットアクセスの手段を持っていないことが多い。
Further, when the
このため、図１９９や図２００のように、デジタルカメラ（モバイルＡＶ端末１）は、無線ＬＡＮ通信が行うことができる環境下においては、無線ＬＡＮによって撮影した画像データを写真共有サービスに送信し、無線ＬＡＮ通信を行うことができない環境ではモバイルＡＶ端末２へまず無線ＬＡＮを用いてデータを送信し、モバイルＡＶ端末２は受診したデータをそのまま携帯電話通信によって写真共有サービスに送信する構成にすることが望ましい。
Therefore, as shown in FIGS. 199 and 200, the digital camera (mobile AV terminal 1) transmits image data taken by the wireless LAN to the photo sharing service in an environment where wireless LAN communication can be performed. In an environment where wireless LAN communication cannot be performed, the data is first transmitted to the
無線ＬＡＮ通信は携帯電話通信と比較して高速であるため、無線ＬＡＮ通信が可能である場合は無線ＬＡＮ通信を行うことで高速に写真を写真共有サービスに送信することができる。また、携帯電話通信網は、無線ＬＡＮ通信網より、サービスエリアが一般的に広いため、無線ＬＡＮ環境がない場合は、モバイルＡＶ端末２を中継して携帯電話通信によって写真共有サービスにデータを送信することができる機能を持たせることで、さまざまな場所で即座に写真を写真共有サービスに送信することが可能となる。
Since wireless LAN communication is faster than mobile phone communication, if wireless LAN communication is possible, the photograph can be transmitted to the photo sharing service at high speed by performing wireless LAN communication. In addition, since the mobile phone communication network generally has a wider service area than the wireless LAN communication network, if there is no wireless LAN environment, the
以上、本実施の形態によれば、ＮＦＣ通信、及び、高速無線通信を用いてデータ交換することができる。 As described above, according to the present embodiment, data can be exchanged using NFC communication and high-speed wireless communication.
以上、本発明の一つまたは複数の態様に係る情報通信装置等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。 Although the information communication device and the like according to one or more aspects of the present invention have been described above based on the embodiments, the present invention is not limited to the embodiments. As long as it does not deviate from the gist of the present invention, one or more of the present embodiments may be modified by those skilled in the art, or may be constructed by combining components in different embodiments. It may be included within the scope of the embodiment.
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。 In each of the above embodiments, each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
（実施の形態１２）
本実施の形態では、上記実施の形態１〜１１におけるスマートフォンなどの受信機と、ＬＥＤの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
(Embodiment 12)
In this embodiment, each application example using a receiver such as a smartphone in the above-described first to eleventh embodiments and a transmitter that transmits information as an LED blinking pattern will be described.
図２０１は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 201 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えばレストランのサイネージである送信機７００１ａは、送信機７００１ａの識別情報（ＩＤ）を例えばスマートフォンとして構成される受信機７００１ｂに送信する。受信機７００１ｂは、そのＩＤに対応付けられた情報をサーバから取得して表示する。その情報は、例えばレストランまでの経路、空席状況、およびクーポンなどである。
For example, the
図２０２は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 202 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えば映画のサイネージである送信機７０４２ｂは、送信機７０４２ｂの識別情報（ＩＤ）を例えばスマートフォンとして構成される受信機７０４２ａに送信する。受信機７０４２ａは、そのＩＤに対応付けられた情報をサーバから取得して表示する。その情報は、例えば、映画の予約を促す画像７０４２ｃ、映画の上映時刻を示す画像７０４２ｄ、空席状況を示す画像７０４２ｅ、および予約完了を通知する画像７０４２ｆである。
For example, the
図２０３は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 203 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えばドラマのサイネージである送信機７０４３ｂは、送信機７０４３ｂの識別情報（ＩＤ）を例えばスマートフォンとして構成される受信機７０４３ａに送信する。受信機７０４３ａは、そのＩＤを受信すると、そのＩＤに対応付けられた情報をサーバから取得して表示する。その情報は、例えば、ドラマの録画予約を促す画像７０４３ｃ、ドラマを録画するレコーダの選択を促す画像７０４３ｄ、および予約完了を通知する画像７０４３ｅである。
For example, the
図２０４は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 204 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えば店舗の屋根看板または路上に置かれた看板として構成されるサイネージである送信機７０４４ｄまたは７０４４ｃは、送信機７０４４ｄまたは７０４４ｃの識別情報（ＩＤ）を例えばスマートフォンとして構成される受信機７０４４ａに送信する。受信機７０４４ａは、そのＩＤに対応付けられた情報をサーバから取得して表示する。その情報は、例えば、その店舗の空席状況およびクーポンなどを示す画像７０４４ｂである。
For example, the
図２０５は、実施の形態１２における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２０１〜図２０４に示す適用例に対応するものである。 FIG. 205 is a flowchart showing an example of processing operations of the receiver and the transmitter in the twelfth embodiment. It should be noted that this flowchart corresponds to the application example shown in FIGS. 2001 to 204.
まず、送信機のＩＤと、ＩＤを受信した受信機に渡す情報とを関連付けてサーバに記憶する（７１０１ａ）。ここで、受信機に渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのＵＲＬなどの情報を含んでも良い。 First, the ID of the transmitter and the information to be passed to the receiver that received the ID are associated and stored in the server (7101a). Here, the information passed to the receiver includes the store name, product name, map information to the store, vacant seat information, coupon information, the number of products in stock, the screening time of movies and plays, and reservation information. Or, information such as the URL of the server that makes a reservation or purchase may be included.
次に、送信機からＩＤを送信する（Ｓ７１０１ｂ）。受信機のカメラを送信機に向け、ＩＤを受信する（Ｓ７１０１ｃ）。 Next, the ID is transmitted from the transmitter (S7101b). The camera of the receiver is pointed at the transmitter to receive the ID (S7101c).
受信機は受信したＩＤをサーバに送信し、ＩＤに関連する情報を受信機に記憶する（Ｓ７１０１ｄ）。 The receiver transmits the received ID to the server and stores the information related to the ID in the receiver (S7101d).
受信機は、端末ＩＤやユーザＩＤを合わせてサーバへ保存する（Ｓ７１０１ｅ）。さらに、受信機は、受信機に表示するものとしてサーバに記憶されていた情報を表示する（Ｓ７１０１ｆ）。 The receiver stores the terminal ID and the user ID together in the server (S7101e). Further, the receiver displays the information stored in the server as the one to be displayed on the receiver (S7101f).
受信機は、受信機やサーバに保存されたユーザプロファイルに基いて、表示内容を調整する（Ｓ７１０１ｇ）。例えば、文字の大きさを変更したり、年齢制限コンテンツを非表示としたり、過去のユーザの行動から好まれると推定されたコンテンツを優先的に表示したりといった制御を行う。 The receiver adjusts the display contents based on the user profile stored in the receiver or the server (S7101g). For example, control such as changing the font size, hiding age-restricted content, and preferentially displaying content presumed to be preferred from past user behavior is performed.
受信機は、現在位置から店舗や商品売場までの道順を表示する（Ｓ７１０１ｈ）。受信機は、適宜サーバから情報を取得し、空席情報や予約情報を更新して表示する（Ｓ７１０１ｉ）。受信機は、取得した情報を保存するためのボタンや、表示内容を保存することを取りやめるためのボタンを表示する（Ｓ７１０１ｊ）。 The receiver displays directions from the current position to the store or the product sales floor (S7101h). The receiver appropriately acquires information from the server, updates and displays vacant seat information and reservation information (S7101i). The receiver displays a button for saving the acquired information and a button for canceling saving the displayed contents (S7101j).
ユーザは、受信機が取得した情報を保存するためのボタンをタップする（Ｓ７１０１ｋ）。受信機は、ユーザの操作によって再表示できるように、取得した情報を保存する（Ｓ７１０１ｍ）。店舗の読み取り機は、受信機の送信する情報を読取る（Ｓ７１０１ｎ）。送信方法としては、可視光通信、ｗｉｆｉやｂｌｕｅｔｏｏｔｈ（登録商標）を介した通信、２次元バーコードによる通信などがある。送信情報には、受信機のＩＤやユーザＩＤを含めても良い。 The user taps the button for saving the information acquired by the receiver (S7101k). The receiver saves the acquired information so that it can be redisplayed by the user's operation (S7101m). The store reader reads the information transmitted by the receiver (S7101n). Transmission methods include visible light communication, communication via wifi and bluetooth (registered trademark), and communication using a two-dimensional barcode. The transmission information may include a receiver ID and a user ID.
店舗の読取り装置は、読み取った情報と店舗のＩＤをサーバへ保存する（Ｓ７１０１ｐ）。サーバは、送信機と、受信機と、店舗とを関連付けて保存する（Ｓ７１０１ｑ）。これにより、サイネージの広告効果を分析することが可能となる。 The store reader stores the read information and the store ID in the server (S7101p). The server stores the transmitter, the receiver, and the store in association with each other (S7101q). This makes it possible to analyze the advertising effectiveness of signage.
図２０６は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 206 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えば複数の店舗を示すサイネージである送信機７００２ａは、送信機７００２ａの識別情報（ＩＤ）を例えばスマートフォンとして構成される受信機７００２ｂに送信する。受信機７００２ｂは、そのＩＤを受信すると、そのＩＤに対応付けられた情報をサーバから取得して、サイネージと同一の表示内容を表示する。ユーザが所望の店舗を選択するためのタップ選択や音声入力を行なうと、受信機７００２ｂはその店舗の内容を表示する。
For example, the
図２０７は、実施の形態１２における受信機７００２ｂと送信機７００２ａの処理動作の一例を示すフローチャートである。
FIG. 207 is a flowchart showing an example of processing operations of the
送信機７００２ａのＩＤと、ＩＤを受信した受信機７００２ｂに渡す情報とを関連付けてサーバに記憶する（７１０２ａ）。受信機７００２ｂに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのＵＲＬなどの情報を含んでも良い。送信機７００２ａに表示する内容の位置関係をサーバに記憶する。
The ID of the
サイネージなどの送信機７００２ａからＩＤを送信する（７１０２ｂ）。受信機７００２ｂのカメラを送信機７００２ａに向け、ＩＤを受信する（７１０２ｃ）。受信機７００２ｂは受信したＩＤをサーバに送信し、ＩＤに関連する情報を得る（７１０２ｄ）。受信機７００２ｂは、受信機７００２ｂに表示するものとしてサーバに記憶されていた情報を表示する（７１０２ｅ）。その情報である画像は、送信機７００２ａに表示された画像の位置関係を保ったまま受信機７００２ｂに表示されてもよい。
An ID is transmitted from a
ユーザは、画面のタップや音声による指定で、受信機７００２ｂに表示された情報を選択する（７１０２ｆ）。受信機７００２ｂは、ユーザに指定された情報の詳細を表示する（７１０２ｇ）。
The user selects the information displayed on the
図２０８は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 208 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えば複数の店舗を示すサイネージである送信機７００３ａは、送信機７００３ａの識別情報（ＩＤ）を例えばスマートフォンとして構成される受信機７００３ｂに送信する。受信機７００３ｂは、そのＩＤを受信すると、そのＩＤに対応付けられた情報をサーバから取得し、サイネージの表示内容のうち、受信機７００３ｂのカメラの撮影画像の中心に近い部分（例えば最も近い部分）の内容を表示する。
For example, the
図２０９は、実施の形態１２における受信機７００３ｂと送信機７００３ａの処理動作の一例を示すフローチャートである。
FIG. 209 is a flowchart showing an example of processing operations of the
送信機７００３ａのＩＤと、ＩＤを受信した受信機７００３ｂに渡す情報とを関連付けてサーバに記憶する（７１０３ａ）。受信機７００３ｂに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのＵＲＬなどの情報を含んでも良い。送信機７００３ａに表示する内容の位置関係をサーバに記憶する。
The ID of the
サイネージなどの送信機７００３ａからＩＤを送信する（７１０３ｂ）。受信機７００３ｂのカメラを送信機７００３ａに向け、ＩＤを受信する（７１０３ｃ）。受信機７００３ｂは受信したＩＤをサーバに送信し、ＩＤに関連する情報を得る（７１０３ｄ）。受信機７００３ｂは、サイネージの表示内容のうち、撮像画像の中心または指定部分と位置的に最も近い内容を表示する（７１０３ｅ）。
An ID is transmitted from a
図２１０は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 210 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えば複数の店舗を示すサイネージである送信機７００４ａは、送信機７００４ａの識別情報（ＩＤ）を例えばスマートフォンとして構成される受信機７００４ｂに送信する。受信機７００４ｂは、そのＩＤを受信すると、そのＩＤに対応付けられた情報をサーバから取得し、サイネージの表示内容のうち、受信機７００４ｂのカメラの撮影画像の中心に近い部分の内容（例えば店舗「Ｂカフェ」の内容を示す画像）を表示する。ここで、ユーザが左方向にフリックすると、受信機７００４ｂは、サイネージで店舗「Ｂカフェ」の右側にある店舗「Ｃ書店」の内容を示す画像を表示する。つまり、受信機７００４ｂは、送信元のサイネージと同じ位置関係の画像を表示する。
For example, the
図２１１は、実施の形態１２における受信機７００４ｂと送信機７００４ａの処理動作の一例を示すフローチャートである。
FIG. 211 is a flowchart showing an example of processing operations of the
送信機７００４ａのＩＤと、ＩＤを受信した受信機７００４ｂに渡す情報とを関連付けてサーバに記憶する（７１０４ａ）。受信機７００４ｂに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのＵＲＬなどの情報を含んでも良い。送信機７００４ａに表示する内容の位置関係をサーバに記憶する。
The ID of the
サイネージなどの送信機７００４ａからＩＤを送信する（７１０４ｂ）。受信機７００４ｂのカメラを送信機７００４ａに向け、ＩＤを受信する（７１０４ｃ）。受信機７００４ｂは受信したＩＤをサーバに送信し、ＩＤに関連する情報を得る（７１０４ｄ）。受信機７００４ｂに表示するとしてサーバに記憶されていた情報を表示する（７１０４ｅ）。
An ID is transmitted from a
ユーザは、受信機７００４ｂに対してフリック操作を行う（７１０４ｆ）。受信機７００４ｂは、ユーザ操作に応じて、送信機７００４ａに表示された情報と同じ位置関係となるように表示内容を変更する（７１０４ｇ）。例えば、ユーザが画面を左方向にフリックして現在表示している部分の右側を表示しようとした場合は、送信機７００４ａの表示において、現在受信機７００４ｂに表示している内容の右側に表示されている内容を、受信機７００４ｂに表示させる。
The user performs a flick operation on the
図２１２は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 212 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えば複数の店舗を示すサイネージである送信機７００５ａは、送信機７００５ａの識別情報（ＩＤ）を例えばスマートフォンとして構成される受信機７００５ｂに送信する。受信機７００５ｂは、そのＩＤを受信すると、そのＩＤに対応付けられた情報をサーバから取得し、サイネージの表示内容のうち、受信機７００５ｂのカメラの撮影画像の中心に近い部分の内容（例えば店舗「Ｂカフェ」の内容を示す画像）を表示する。ここで、ユーザが受信機７００５ｂの画面の左端（または左向きの矢印）をタップすると、受信機７００５ｂは、サイネージで店舗「Ｂカフェ」の左側にある店舗「Ａレストラン」の内容を示す画像を表示する。また、ユーザが受信機７００５ｂの画面の下端（または下向きの矢印）をタップすると、受信機７００５ｂは、サイネージで店舗「Ｂカフェ」の下側にある店舗「Ｅ事務所」の内容を示す画像を表示する。また、ユーザが受信機７００５ｂの画面の右端（または右向きの矢印）をタップすると、受信機７００５ｂは、サイネージで店舗「Ｂカフェ」の右側にある店舗「Ｃ書店」の内容を示す画像を表示する。つまり、受信機７００４ｂは、送信元のサイネージと同じ位置関係の画像を表示する。
For example, the
図２１３は、実施の形態１２における受信機７００５ｂと送信機７００５ａの処理動作の一例を示すフローチャートである。
FIG. 213 is a flowchart showing an example of processing operations of the
送信機７００５ａのＩＤと、ＩＤを受信した受信機７００５ｂに渡す情報とを関連付けてサーバに記憶する（７１０５ａ）。受信機７００５ｂに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのＵＲＬなどの情報を含んでも良い。送信機７００５ａに表示する内容の位置関係をサーバに記憶する。
The ID of the
サイネージなどの送信機７００５ａからＩＤを送信する（７１０５ｂ）。受信機７００５ｂのカメラを送信機７００５ａに向け、ＩＤを受信する（７１０５ｃ）。受信機７００５ｂは受信したＩＤをサーバに送信し、ＩＤに関連する情報を得る（７１０５ｄ）。受信機７００５ｂに表示するとしてサーバに記憶されていた情報を表示する（７１０５ｅ）。
An ID is transmitted from a
ユーザは、受信機７００５ｂに表示された端の部分、または、受信機７００５ｂに表示された上下左右の方向を示す部分をタップする（７１０５ｆ）。受信機７００５ｂは、ユーザ操作に応じて、送信機７００５ａに表示された情報と同じ位置関係となるように表示内容を変更する（７１０５ｇ）。例えば、ユーザが画面の右端や右方向を示す部分をタップした場合は、送信機７００５ａの表示において、現在受信機７００５ｂに表示している内容の右側に表示されている内容を、受信機７００５ｂに表示させる。
The user taps the end portion displayed on the
図２１４は、実施の形態１２における受信機と送信機の適用例を示す図である。なお、図２１４は自動車を後ろから見た図である。 FIG. 214 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment. Note that FIG. 214 is a view of the automobile from behind.
例えば車の２つのテールランプ（発光部またはライト）を有する送信機（車）７００６ａは、送信機７００６ａの識別情報（ＩＤ）を例えばスマートフォンとして構成される受信機に送信する。受信機は、そのＩＤを受信すると、そのＩＤに対応付けられた情報をサーバから取得する。例えば、その情報は、その車または送信機のＩＤ、発光部間の距離、発光部の大きさ、車の大きさ、車の形状、車の重さ、車のナンバー、前方の様子、または危険の有無を示す情報である。また、受信機はこれらの情報を送信機７００６ａから直接取得してもよい。
For example, a transmitter (car) 7006a having two tail lamps (light emitting units or lights) of a car transmits the identification information (ID) of the
図２１５は、実施の形態１２における受信機と送信機７００６ａの処理動作の一例を示すフローチャートである。
FIG. 215 is a flowchart showing an example of processing operations of the receiver and the
送信機７００６ａのＩＤと、ＩＤを受信した受信機に渡す情報とを関連付けてサーバに記憶する（７１０６ａ）。受信機に渡す情報には、送信機７００６ａとなる発光部の大きさや、発光部間の距離や、送信機７００６ａを構成要素の一部とする物体の形状や、重量や、車体ナンバー等の識別番号や、受信機から観察しづらい場所の様子や危険の有無などの情報を含めても良い。
The ID of the
送信機７００６ａは、ＩＤを送信する（７１０６ｂ）。送信内容には、前記サーバのＵＲＬや、前記サーバに記憶させるとした情報を含めても良い。
The
受信機は、送信されたＩＤ等の情報を受信する（７１０６ｃ）。受信機は、受信したＩＤに紐付いた情報をサーバから取得する（７１０６ｄ）。受信機は、受信した情報やサーバから取得した情報を表示する（７１０６ｅ）。 The receiver receives information such as the transmitted ID (7106c). The receiver acquires the information associated with the received ID from the server (7106d). The receiver displays the received information and the information acquired from the server (7106e).
受信機は、発光部の大きさ情報と撮像した発光部の見えの大きさから、または、発光部間の距離情報と撮像した発光部間の距離から三角測量の要領で、受信機と発光部との距離を計算する（７１０６ｆ）。受信機は、受信機から観察しづらい場所の様子や危険の有無などの情報を基に、危険の警告などを行う（７１０６ｇ）。 The receiver can be determined from the size information of the light emitting part and the size of the imaged light emitting part, or from the distance information between the light emitting parts and the distance between the imaged light emitting parts in the manner of triangulation. Calculate the distance to (7106f). The receiver gives a warning of danger based on information such as the state of a place that is difficult to observe from the receiver and the presence or absence of danger (7106 g).
図２１６は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 216 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えば車の２つのテールランプ（発光部またはライト）を有する送信機（車）７００７ｂは、送信機７００７ｂの情報を例えば駐車場の送受信装置として構成される受信機７００７ａに送信する。送信機７００７ｂの情報は、送信機７００７ｂの識別情報（ＩＤ）、車のナンバー、車の大きさ、車の形状、または車の重さを示す。受信機７００７ａは、その情報を受信すると、駐車の可否、課金情報、または駐車位置を送信する。なお、受信機７００７ａは、ＩＤを受信して、ＩＤ以外の情報をサーバから取得してもよい。
For example, a transmitter (car) 7007b having two tail lamps (light emitting units or lights) of a car transmits the information of the
図２１７は、実施の形態１２における受信機７００７ａと送信機７００７ｂの処理動作の一例を示すフローチャートである。なお、送信機７００７ｂは、送信だけでなく受信も行なうとため、車載送信機と車載受信機とを備える。
FIG. 217 is a flowchart showing an example of processing operations of the
送信機７００７ｂのＩＤと、ＩＤを受信した受信機７００７ａに渡す情報とを関連付けてサーバ（駐車場管理サーバ）に記憶する（７１０７ａ）。受信機７００７ａに渡す情報には、送信機７００７ｂを構成要素の一部とする物体の形状や、重量や、車体ナンバー等の識別番号や、送信機７００７ｂのユーザの識別番号や支払いのための情報を含めても良い。
The ID of the
送信機７００７ｂ（車載送信機）は、ＩＤを送信する（７１０７ｂ）。送信内容には、前記サーバのＵＲＬや、前記サーバに記憶させる情報を含めても良い。駐車場の受信機７００７ａ（駐車場の送受信装置）は、受信した情報を、駐車場を管理するサーバ（駐車場管理サーバ）に送信する（７１０７ｃ）。駐車場管理サーバは、送信機７００７ｂのＩＤをキーに、ＩＤに紐付けられた情報を取得する（７１０７ｄ）。駐車場管理サーバは、駐車場の空き状況を調査する（７１０７ｅ）。
The
駐車場の受信機７００７ａ（駐車場の送受信装置）は、駐車の可否や、駐車位置情報、または、これらの情報を保持するサーバのアドレスを送信する（７１０７ｆ）。または、駐車場管理サーバは、これらの情報を別のサーバに送信する。送信機（車載受信機）７００７ｂは、上記で送信された情報を受信する（７１０７ｇ）。または、車載システムは、別のサーバからこれらの情報を取得する。
The
駐車場管理サーバは、駐車を行いやすいように駐車場の制御を行う（７１０７ｈ）。例えば、立体駐車場の制御を行う。駐車場の送受信装置は、ＩＤを送信する（７１０７ｉ）。車載受信機（送信機７００７ｂ）は、車載受信機のユーザ情報と受信したＩＤとを基に、駐車場管理サーバに問い合わせを行う（７１０７ｊ）。
The parking lot management server controls the parking lot so that parking can be easily performed (7107h). For example, it controls a multi-storey car park. The transmission / reception device of the parking lot transmits an ID (7107i). The in-vehicle receiver (
駐車場管理サーバは、駐車時間等に応じて課金を行う（７１０７ｋ）。駐車場管理サーバは、駐車された車両にアクセスしやすいように駐車場の制御を行う（７１０７ｍ）。例えば、立体駐車場の制御を行う。車載受信機（送信機７００７ｂ）は、駐車位置への地図を表示し、現在地からのナビゲーションを行う（７１０７ｎ）。
The parking lot management server charges according to the parking time and the like (7107k). The parking lot management server controls the parking lot so that the parked vehicle can be easily accessed (7107 m). For example, it controls a multi-storey car park. The in-vehicle receiver (
図２１８は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 218 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えば店舗の屋根看板または路上に置かれた看板として構成されるサイネージである送信機７００８ａまたは７００８ｂは、送信機７００８ａまたは７００８ｂの識別情報（ＩＤ）を例えばスマートフォンとして構成される受信機７００８ｃに送信する。受信機７００８ｃは、そのＩＤを受信すると、そのＩＤに対応付けられた情報をサーバから取得して表示する。その情報は、例えば、その店舗の空席状況、クーポンおよび２次元バーコードなどを示す画像である。
For example, the
図２１９は、実施の形態１２における受信機７００８ｃと送信機７００８ａまたは７００８ｂの処理動作の一例を示すフローチャートである。なお、以下、送信機７００８ａおよび７００８ｂのうち、送信機７００８ａを例にあげて説明するが、送信機７００８ｂの処理動作も送信機７００８ａの処理動作と同じである。
FIG. 219 is a flowchart showing an example of the processing operation of the
まず、送信機７００８ａのＩＤと、ＩＤを受信した受信機７００８ｃに渡す情報とを関連付けてサーバに記憶する（７１０８ａ）。受信機７００８ｃに渡す情報には、店舗名や、商品名や、店舗への地図情報や、空席情報や、クーポン情報や、商品の在庫数や、映画や劇の上映時刻や、予約情報や、予約や購入を行うサーバのＵＲＬなどの情報を含んでも良い。
First, the ID of the
サイネージなどの送信機７００８ａからＩＤを送信する（７１０８ｂ）。受信機７００８ｃのカメラを送信機７００８ａに向け、ＩＤを受信する（７１０８ｃ）。受信機７００８ｃは受信したＩＤをサーバに送信し、ＩＤに関連する情報を受信機７００８ｃに記憶する（７１０８ｄ）。受信機７００８ｃは、端末ＩＤやユーザＩＤを合わせてサーバへ保存する（７１０８ｅ）。
An ID is transmitted from a
受信機７００８ｃは、受信機７００８ｃに表示するものとしてサーバに記憶されていた情報を表示する（７１０８ｆ）。受信機７００８ｃは、現在位置から店舗や商品売場までの道順を表示する（７１０８ｇ）。受信機７００８ｃは、適宜サーバから情報を取得し、空席情報や予約情報を更新して表示する（７１０８ｈ）。
The
受信機７００８ｃは、座席や商品を予約、または、注文するボタンを表示する（７１０８ｉ）。ユーザは、受信機７００８ｃに表示された予約ボタンや注文ボタンをタップする（７１０８ｊ）。受信機７００８ｃは、予約や注文の情報を、これらを管理するサーバへ送信する（７１０８ｋ）。
The
図２２０は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 220 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えばスマートフォンとして構成される受信機（端末）７００９ｂは、例えば店舗の座席の前のテーブルに置かれる。このとき、例えば照明機器である送信機７００９ａは、送信機７００９ａの識別情報（ＩＤ）を受信機７００９ｂに送信する。受信機７００９ｂは、そのＩＤを受信すると、そのＩＤに対応付けられた情報をサーバから取得する。そして、受信機７００９ｂは、その座席の予約、仮予約の確認、または予約時間の延長などを行なう。
For example, a receiver (terminal) 7009b configured as a smartphone is placed on a table in front of a seat in a store, for example. At this time, for example, the
図２２１は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 221 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
サーバから情報を取得した受信機７００９ｂは、例えば、店舗の空席状況と、「お会計」、「延長」および「追加注文」の何れかを選択させるためのボタンとを表示する。
The
図２２２は、実施の形態１２における受信機７００９ｂと送信機７００９ａの処理動作の一例を示すフローチャートである。
FIG. 222 is a flowchart showing an example of processing operations of the
送信機７００９ａのＩＤと、ＩＤを受信した受信機７００９ｂに渡す情報とを関連付けてサーバに記憶する（７１０９ａ）。受信機７００９ｂに渡す情報には、送信機７００９ａの位置や形状の情報を含んでも良い。天井照明などの送信機７００９ａからＩＤを送信する（７１０９ｂ）。
The ID of the
ユーザは受信機７００９ｂをテーブル等へ置く（７１０９ｃ）。受信機７００９ｂは、ジャイロセンサ、９軸センサの情報から受信機７００９ｂがテーブル等に置かれたことを認識して受信処理を開始する（７１０９ｄ）。受信機７００９ｂは、９軸センサの上方から上方を向いているカメラを判断し、そのカメラを使用してＩＤを受信する。
The user places the
受信機７００９ｂのカメラを送信機７００９ａに向け、ＩＤを受信する（７１０９ｅ）。受信機７００９ｂは受信したＩＤをサーバに送信し、ＩＤに関連する情報を受信機７００９ｂに記憶する（７１０９ｆ）。受信機７００９ｂは、受信機７００９ｂの位置を推定する（７１０９ｇ）。
The camera of the
受信機７００９ｂは、受信機７００９ｂの位置を店舗管理サーバへ送信する（７１０９ｈ）。店舗管理サーバは、受信機７００９ｂの置かれた座席を特定する（７１０９ｉ）。店舗管理サーバは、座席番号を受信機７００９ｂへ送信する（７１０９ｊ）。
The
図２２３は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 223 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えば天井照明である送信機７０１１ａは、送信機７０１１ａの識別情報（ＩＤ）を例えばスマートフォンとして構成される受信機７０１１ｂに送信する。受信機７０１１ｂは、そのＩＤを受信すると、そのＩＤに対応付けられた情報をサーバから取得して自己位置を推定（確認）する。そして、その受信機７０１１ｂが電子機器７０１１ｃに置かれると、受信機７０１１ｂは電子機器７０１１ｃの操作端末として機能する。これにより、タッチパネルや音声出力などのリッチなインタフェースで電子機器７０１１ｃを操作することができる。
For example, the transmitter 7011a, which is a ceiling lighting, transmits the identification information (ID) of the transmitter 7011a to the receiver 7011b configured as, for example, a smartphone. When the receiver 7011b receives the ID, it acquires the information associated with the ID from the server and estimates (confirms) its own position. Then, when the receiver 7011b is placed on the
図２２４は、実施の形態１２における受信機７０１１ｂと送信機７０１１ａの処理動作の一例を示すフローチャートである。 FIG. 224 is a flowchart showing an example of processing operations of the receiver 7011b and the transmitter 7011a according to the twelfth embodiment.
電子機器の位置をサーバに記憶する（７１１０ａ）。電子機器のＩＤや、型式や、保有する機能や、操作のためのインタフェース情報（画面、入出力音声、対話モデル）を、位置情報に関連付けて記憶しても良い。 The position of the electronic device is stored in the server (7110a). The ID of the electronic device, the model, the function to be possessed, and the interface information (screen, input / output voice, dialogue model) for operation may be stored in association with the position information.
送信機７０１１ａのＩＤと、ＩＤを受信した受信機７０１１ｂに渡す情報とを関連付けてサーバに記憶する（７１１０ｂ）。受信機７０１１ｂに渡す情報には、送信機７０１１ａの位置や形状の情報を含んでも良い。 The ID of the transmitter 7011a and the information to be passed to the receiver 7011b that received the ID are associated and stored in the server (7110b). The information passed to the receiver 7011b may include information on the position and shape of the transmitter 7011a.
天井照明などの送信機７０１１ａからＩＤを送信する（７１１０ｃ）。受信機７０１１ｂのカメラを送信機７０１１ａに向け、ＩＤを受信する（７１１０ｄ）。受信機７０１１ｂは受信したＩＤをサーバに送信し、ＩＤに関連する情報を受信機７０１１ｂに記憶する（７１１０ｅ）。受信機７０１１ｂは、受信機７０１１ｂの位置を推定する（７１１０ｆ）。 The ID is transmitted from the transmitter 7011a such as ceiling lighting (7110c). The camera of the receiver 7011b is pointed at the transmitter 7011a to receive the ID (7110d). The receiver 7011b transmits the received ID to the server, and stores the information related to the ID in the receiver 7011b (7110e). The receiver 7011b estimates the position of the receiver 7011b (7110f).
ユーザは受信機７０１１ｂを電子機器に置く（７１１０ｇ）。受信機７０１１ｂは、ジャイロセンサ、９軸センサの情報から受信機７０１１ｂが静止したことを認識して以下の処理を開始する（７１１０ｈ）。受信機７０１１ｂは、最後に受信機７０１１ｂの位置を推定してから一定時間以上経過している場合には、上記の方法で自己位置を推定する（７１１０ｉ）。 The user places the receiver 7011b on an electronic device (7110g). The receiver 7011b recognizes that the receiver 7011b has stopped from the information of the gyro sensor and the 9-axis sensor, and starts the following processing (7110h). If a certain time or more has passed since the receiver 7011b last estimated the position of the receiver 7011b, the receiver 7011b estimates its own position by the above method (7110i).
受信機７０１１ｂは、ジャイロセンサ、９軸センサの情報から、最後に自己位置推定を行なってからの移動を推定し、現在位置を推定する（７１１０ｊ）。受信機７０１１ｂは、現在位置に最も近い電子機器の情報をサーバから取得する（７１１０ｋ）。受信機７０１１ｂは、電子機器の情報を、ｂｌｕｅｔｏｏｔｈ（登録商標）やｗｉｆｉを介して電子機器から取得する（７１１０ｍ）。または、サーバに保存された電子機器の情報を取得する。 The receiver 7011b estimates the movement since the last self-position estimation from the information of the gyro sensor and the 9-axis sensor, and estimates the current position (7110j). The receiver 7011b acquires the information of the electronic device closest to the current position from the server (7110k). The receiver 7011b acquires the information of the electronic device from the electronic device via bluetooth (registered trademark) or wifi (7110 m). Alternatively, the information of the electronic device stored in the server is acquired.
受信機７０１１ｂは、電子機器の情報を表示する（７１１０ｎ）。受信機７０１１ｂは、電子機器の操作端末として入力を受け付ける（７１１０ｐ）。受信機７０１１ｂは、電子機器の操作情報を、ｂｌｕｅｔｏｏｔｈ（登録商標）やｗｉｆｉを介して電子機器へ送信する（７１１０ｑ）。または、サーバを介して電子機器へ送信する。 The receiver 7011b displays the information of the electronic device (7110n). The receiver 7011b receives an input as an operation terminal of an electronic device (7110p). The receiver 7011b transmits the operation information of the electronic device to the electronic device via Bluetooth (registered trademark) or wifi (7110q). Alternatively, it is transmitted to an electronic device via a server.
図２２５は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 225 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えばスマートフォンとして構成される受信機７０１２ａのカメラが、テレビ受像機（ＴＶ）などの電子機器として構成される送信機７０１２ｂに向けられる。このとき、受信機７０１２ａは、送信機７０４３ｂから送信される送信機７０４３ｂの識別情報（ＩＤ）を受信する。受信機７０４３ａは、そのＩＤに対応付けられた情報をサーバから取得する。これにより、受信機７０１２ａは、カメラが向けられた方向にある電子機器の操作端末として機能する。つまり、受信機７０１２ａは、ｂｌｕｅｔｏｏｔｈ（登録商標）やｗｉｆｉなどによって送信機７０１２ｂと無線接続する。
For example, the camera of the
図２２６は、実施の形態１２における受信機７０１２ａと送信機７０１２ｂの処理動作の一例を示すフローチャートである。
FIG. 226 is a flowchart showing an example of processing operations of the
送信機７０１２ｂのＩＤと、ＩＤを受信した受信機７０１２ａに渡す情報とを関連付けてサーバに記憶する（７１１１ａ）。受信機７０１２ａに渡す情報には、電子機器のＩＤや、型式や、保有する機能や、操作のためのインタフェース情報（画面、入出力音声、対話モデル）を含んでも良い。
The ID of the
電子機器に搭載された、あるいは、電子機器に関連付けられた送信機７０１２ｂからＩＤを送信する（７１１１ｂ）。受信機７０１２ａのカメラを送信機７０１２ｂに向け、ＩＤを受信する（７１１１ｃ）。受信機７０１２ａは受信したＩＤをサーバに送信し、ＩＤに関連する情報を受信機７０１２ａに記憶する（７１１１ｄ）。受信機７０１２ａは、受信したＩＤをキーに電子機器の情報をサーバから取得する（７１１１ｅ）。
The ID is transmitted from the
受信機７０１２ａは、電子機器の情報を、ｂｌｕｅｔｏｏｔｈ（登録商標）やｗｉｆｉを介して電子機器から取得する（７１１１ｆ）。または、サーバに保存された電子機器の情報を取得する。受信機７０１２ａは、電子機器の情報を表示する（７１１１ｇ）。
The
受信機７０１２ａは、電子機器の操作端末として入力を受け付ける（７１１１ｈ）。受信機７０１２ａは、電子機器の操作情報を、ｂｌｕｅｔｏｏｔｈ（登録商標）やｗｉｆｉを介して電子機器へ送信する（７１１１ｉ）。または、サーバを介して電子機器へ送信する。
The
図２２７は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 227 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えばスマートフォンとして構成される受信機７０１３ｂは、ユーザから入力される目的地を受け付ける。そして、この受信機７０１３ｂのカメラが、照明機器（明かり）として構成される送信機７０１３ａに向けられる。このとき、受信機７０１３ｂは、送信機７０１３ａから送信される送信機７０１３ａの識別情報（ＩＤ）を受信する。受信機７０１３ｂは、そのＩＤに対応付けられた情報をサーバから取得する。その取得された情報に基づいて、受信機７０１３ｂは自己位置の推定（確認）を行なう。そして、受信機７０１３ｂは、音声などでユーザを目的地へナビゲートする。また、ユーザが視覚障害者の場合は、受信機７０１３ｂは障害物を詳細にユーザへ報告する。
For example, the
図２２８は、実施の形態１２における受信機７０１３ｂと送信機７０１３ａの処理動作の一例を示すフローチャートである。
FIG. 228 is a flowchart showing an example of processing operations of the
ユーザは、目的地を受信機７０１３ｂに入力する（７１１２ａ）。ユーザは、受信機７０１３ｂを明かり（送信機７０１３ａ）へ向ける（７１１２ｂ）。視覚に障害があるユーザでも、強い明かりを認識可能であれば、受信機７０１３ｂをそちらへ向けることができる。
The user inputs the destination to the
受信機７０１３ｂは、明かりに重畳された信号を受信する（７１１２ｃ）。受信機７０１３ｂは、受信した信号をキーにサーバから情報を取得する（７１１２ｄ）。受信機７０１３ｂは、現在地から目的地までの地図をサーバから取得する（７１１２ｅ）。受信機７０１３ｂは、地図を表示し、現在地から目的地までのナビゲーションを行う（７１１２ｆ）。
The
図２２９は、実施の形態１２における受信機の状態を示す図である。 FIG. 229 is a diagram showing a state of the receiver according to the twelfth embodiment.
例えばスマートフォンとして構成される受信機（端末）７０１４ａは、フェイスカメラ７０１４ｂを備えている。そして、受信機７０１４ａは、そのフェイスカメラ７０１４ｂの撮像方向が地平面に対して一定角度以上上に向いているときに、そのフェイスカメラ７０１４ｂによる信号受信の処理（送信機からの信号を撮像によって受信する処理）を行なう。また、受信機７０１４ａは、フェイスカメラ７０１４ｂ以外の他のカメラも備えている場合には、そのフェイスカメラ７０１４ｂの優先度を他のカメラよりも上げる。
For example, the receiver (terminal) 7014a configured as a smartphone includes a
図２３０は、実施の形態１２における受信機７０１４ａの処理動作の一例を示すフローチャートである。
FIG. 230 is a flowchart showing an example of the processing operation of the
フェイスカメラ７０１４ｂの撮像方向が地平面に対して一定角度以上上に向いているか判断する（７１１３ａ）。判断結果が真（Ｙ）であれば、フェイスカメラ７０１４ｂによる受信を開始する（７１１３ｂ）。または、フェイスカメラ７０１４ｂによる受信処理の優先度を上げる。そして、一定時間経過すると（７１１３ｃ）、フェイスカメラ７０１４ｂによる受信を終了する（７１１３ｄ）。または、フェイスカメラ７０１４ｂによる受信処理の優先度を下げる。
It is determined whether the imaging direction of the
図２３１は、実施の形態１２における受信機の状態を示す図である。 FIG. 231 is a diagram showing a state of the receiver according to the twelfth embodiment.
例えばスマートフォンとして構成される受信機（端末）７０１５ａは、アウトカメラ７０１５ｂを備えている。そして、受信機７０１４ａは、そのアウトカメラ７０１５ｂの撮像方向の地平面に対する角度が一定角度以下のときに、そのアウトカメラ７０１５ｂによる信号受信の処理（送信機からの信号を撮像によって受信する処理）を行なう。また、受信機７０１５ａは、アウトカメラ７０１５ｂ以外の他のカメラも備えている場合には、そのアウトカメラ７０１５ｂの優先度を他のカメラよりも上げる。
For example, the receiver (terminal) 7015a configured as a smartphone includes an out-
なお、アウトカメラ７０１５ｂの撮像方向の地平面に対する角度が一定角度以下のときには、受信機７０１５ａは縦にされている状態であって、受信機７０１５ａにおけるアウトカメラ７０１５ｂが備えられた面の地平面に対する角度は一定角度以上になっている。
When the angle of the out-
図２３２は、実施の形態１２における受信機７０１５ａの処理動作の一例を示すフローチャートである。
FIG. 232 is a flowchart showing an example of the processing operation of the
アウトカメラ７０１５ｂの撮像方向が地平面に対して一定角度以下であるかを判断する（７１１４ａ）。判断結果が真（Ｙ）であれば、アウトカメラ７０１５ｂによる受信を開始する（７１１４ｂ）。または、アウトカメラ７０１５ｂによる受信処理の優先度を上げる。そして、一定時間経過すると（７１１４ｃ）、アウトカメラ７０１５ｂによる受信を終了する（７１１４ｄ）。または、アウトカメラ７０１５ｂによる受信処理の優先度を下げる。
It is determined whether the imaging direction of the out-
図２３３は、実施の形態１２における受信機の状態を示す図である。 FIG. 233 is a diagram showing a state of the receiver according to the twelfth embodiment.
例えばスマートフォンとして構成される受信機（端末）７０１６ａは、アウトカメラを備えている。そして、受信機７０１６ａは、そのアウトカメラの撮像方向に移動された（突き出された）ときに、そのアウトカメラによる信号受信の処理（送信機からの信号を撮像によって受信する処理）を行なう。また、受信機７０１６ａは、アウトカメラ以外の他のカメラも備えている場合には、そのアウトカメラの優先度を他のカメラよりも上げる。
For example, the receiver (terminal) 7016a configured as a smartphone includes an out-camera. Then, when the
なお、アウトカメラの撮像方向に移動されたときには、移動方向と（移動終了時点での）撮像方向との間の角度が一定角度以下になっている。 When the camera is moved in the imaging direction of the out-camera, the angle between the moving direction and the imaging direction (at the end of the movement) is equal to or less than a certain angle.
図２３４は、実施の形態１２における受信機７０１６ａの処理動作の一例を示すフローチャートである。
FIG. 234 is a flowchart showing an example of the processing operation of the
受信機７０１６ａが移動され、移動方向と、移動終了時点でのアウトカメラの撮像方向が一定角度以下であるかを判断する（７１１５ａ）。判断結果が真（Ｙ）であれば、アウトカメラによる受信を開始する（７１１５ｂ）。または、アウトカメラによる受信処理の優先度を上げる。そして、一定時間経過すると（７１１５ｃ）、アウトカメラによる受信を終了する（７１１５ｄ）。または、アウトカメラによる受信処理の優先度を下げる。
The
図２３５は、実施の形態１２における受信機の状態を示す図である。 FIG. 235 is a diagram showing a state of the receiver according to the twelfth embodiment.
例えばスマートフォンとして構成される受信機（端末）７０１７ａは、所定のカメラを備えている。そして、受信機７０１７ａは、所定のカメラに対応するディスプレイ操作または専用ボタンの押下が行なわれたときに、その所定のカメラによる信号受信の処理（送信機からの信号を撮像によって受信する処理）を行なう。また、受信機７０１７ａは、所定のカメラ以外の他のカメラも備えている場合には、その所定のカメラの優先度を他のカメラよりも上げる。
For example, the receiver (terminal) 7017a configured as a smartphone includes a predetermined camera. Then, the
図２３６は、実施の形態１２における受信機７０１７ａの処理動作の一例を示すフローチャートである。
FIG. 236 is a flowchart showing an example of the processing operation of the
受信機７０１７ａに対してディスプレイ操作または専用ボタンの押下が行なわれたかを判断する（７１１５ｈ）。判断結果が真（Ｙ）であれば、ディスプレイ操作または専用ボタンの押下に対応するカメラによる受信を開始する（７１１５ｉ）。または、そのカメラによる受信処理の優先度を上げる。そして、一定時間経過すると（７１１５ｊ）、ディスプレイ操作または専用ボタンの押下に対応するカメラによる受信を終了する（７１１５ｋ）。または、そのカメラによる受信処理の優先度を下げる。
It is determined whether the display operation or the dedicated button is pressed on the
図２３７は、実施の形態１２における受信機の状態を示す図である。 FIG. 237 is a diagram showing a state of the receiver according to the twelfth embodiment.
例えばスマートフォンとして構成される受信機（端末）７０１８ａは、フェイスカメラ７０１８ｂを備えている。そして、受信機７０１８ａは、そのフェイスカメラ７０１８ｂの撮像方向が地平面に対して一定角度以上上に向き、且つ地平面に対して一定角度以下にある方向に沿って受信機７０１４ａが移動しているときに、そのフェイスカメラ７０１８ｂによる信号受信の処理（送信機からの信号を撮像によって受信する処理）を行なう。また、受信機７０１８ａは、フェイスカメラ７０１８ｂ以外の他のカメラも備えている場合には、そのフェイスカメラ７０１８ｂの優先度を他のカメラよりも上げる。
For example, the receiver (terminal) 7018a configured as a smartphone includes a
図２３８は、実施の形態１２における受信機７０１８ａの処理動作の一例を示すフローチャートである。
FIG. 238 is a flowchart showing an example of the processing operation of the
フェイスカメラ７０１８ｂの撮像方向が地平面に対して一定角度以上上に向けられており、地平面に対して一定角度以下で平行移動されているかを判断する（７１１６ａ）。判断結果が真（Ｙ）であれば、フェイスカメラ７０１８ｂによる受信を開始する（７１１６ｂ）。または、フェイスカメラ７０１８ｂによる受信処理の優先度を上げる。そして、一定時間経過すると（７１１６ｃ）、フェイスカメラ７０１８ｂによる受信を終了する（７１１６ｄ）。または、フェイスカメラ７０１８ｂによる受信処理の優先度を下げる。
It is determined whether the imaging direction of the
図２３９は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 239 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えばスマートフォンとして構成される受信機７０１９ｂのカメラが、テレビ受像機（ＴＶ）などの電子機器として構成される送信機７０１９ａに向けられる。このとき、受信機７０１９ｂは、送信機７０１９ａ（送信機７０１９ａのディスプレイ）から送信される、視聴中のチャンネルの識別情報（ＩＤ）を受信する。受信機７０１９ｂは、そのＩＤに対応付けられた情報をサーバから取得する。これにより、受信機７０１９ｂは、テレビ番組の関連商品の購入ページ、またはテレビ番組の関連情報を表示する。また、受信機７０１９ｂは、投票、またはプレゼントに応募することによってテレビ番組に参加する。なお、送信機（ＴＶ）７０１９ａは、ユーザの住所を記憶している住所記憶部を備え、その住所記憶部に記憶された住所に関連する情報を送信してもよい。受信機７０１９ｂは、受信したＩＤと、ＩＤを受信した時刻とをサーバに送ることで、ＩＤ受信からサーバアクセスまでの遅延の影響を除いてサーバからデータを取得できる。送信機７０１９ａは、時刻情報、または、時刻によって変化するＩＤを、内蔵時計または放送波から取得して送信してもよい。これにより、受信機の時刻設定に依らず、放送者の設定したデータをサーバから受信機へ送ることができる。
For example, the camera of the
図２４０は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 240 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
送信機７０１９ａおよび受信機７０１９ｂは、図２４０の（ａ）に示すように、図２３９に示す適用例を実現するために必要な情報を直接送受信してもよい。
As shown in FIG. 240 (a), the
また、図２４０の（ｂ）に示すように、送信機７０１９ａは、視聴中のチャンネルのＩＤを受信機７０１９ｂに送信する。受信機７０１９ｂは、そのＩＤに対応付けられた情報、つまり、図２３９に示す適用例を実現するために必要な情報をサーバから取得する。
Further, as shown in FIG. 240 (b), the
また、図２４０の（ｃ）に示すように、送信機７０１９ａは、送信機（ＴＶ）７０１９ａのＩＤまたは無線接続に必要な情報を受信機７０１９ｂに送信してもよい。この場合、受信機７０１９ｂは、そのＩＤまたは情報を受信し、そのＩＤまたは情報に基づいて、送信機７０１９ａまたはレコーダに対して、視聴中のチャンネルを問い合わせる。さらに、受信機７０１９ｂは、問い合わせによって得られたチャンネルに関する情報、つまり、図２３９に示す適用例を実現するために必要な情報をサーバから取得する。
Further, as shown in FIG. 240 (c), the
例えば、送信機７０１９ａは、Ｗｉ−ＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線接続に必要な情報として、ＳＳＩＤ（Ｓｅｒｖｉｃｅ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ）、パスワード、ＩＰアドレスまたは機器ＩＤなどを送信する。このような情報を受信した受信機７０１９ｂは、その情報に基づいて送信機７０１９ａと無線接続を行う。そして、受信機７０１９ｂは、無線接続によって、ユーザに視聴されている番組の情報を送信機７０１９ａから取得し、その番組の情報をサーバに送信する。サーバは、その番組の情報を受信すると、その番組の情報に関連付けて保持しているコンテンツを受信機７０１９ｂに送信する。受信機７０１９ｂは、サーバから送信されたコンテンツを取得すると、このコンテンツを表示する。
For example, the
図２４１は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 241 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
送信機７０１９ａは、ＴＶ２０２１ｂとレコーダ２０２１ａを備えていてもよい。この送信機７０１９ａでは、レコーダ２０２１ａが、録画時に、録画するチャンネルの識別情報（ＩＤ）や録画時刻を保持する。または、レコーダ２０２１ａが、録画するチャンネルの識別情報（ＩＤ）や録画時刻に対応付けられた情報をサーバから取得し保持する。そして、再生時には、ＴＶ２０２１ｂは、そのレコーダ２０２１ａに保存されている情報の一部または全部を受信機７０１９ｂに送信する。また、ＴＶ２０２１ｂとレコーダ２０２１ａの少なくとも一方はサーバの役割を行なってもよい。レコーダ２０２１ａがサーバの役割を行なうときには、レコーダ２０２１ａは、サーバのアドレスをレコーダ２０２１ａのアドレスに置き換え、そのアドレスをＴＶ２０２ｂから受信機７０１９ｂへ送信させる。
The
図２４２は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 242 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えばスマートフォンとして構成される受信機７０２２ｃのカメラが、テレビ受像機（ＴＶ）などの電子機器として構成される送信機７０２２ｂに向けられる。このとき、受信機７０２２ｃは、送信機７０２２ｂ（送信機７０２２ｂのディスプレイ）から送信される情報を受信する。受信機７０２２ｃは、その情報に基づいて送信機７０２２ｂと無線通信を行なう。ここで、送信機７０２２ｂは、受信機７０２２ｃに表示させる画像などを含む情報をサーバ７０２２ａから取得して受信機７０２２ｃに送信する際、その情報に含まれるサーバ７０２２ａのアドレスを、送信機７０２２ｂのアドレスに書き換える。
For example, the camera of the
図２４３は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 243 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えばレコーダ７０２３ｂは、テレビ番組の録画時には、図２３９に示す適用例を実現するために必要な情報をサーバ７０２３ａからまとめて取得する。
For example, the
テレビ番組の再生時には、レコーダ７０２３ｂは、再生画面と、図２３９に示す適用例を実現するために必要な情報とを送信機であるテレビ７０２３ｃに送信する。テレビ７０２３ｃは、その再生画面と情報を受信して、再生画像を表示するとともに、その情報をディスプレイから送信する。例えばスマートフォンとして構成される受信機７０２３ｄは、その情報を受信すると、その情報に基づいてテレビ７０２３ｃと無線通信を行なう。
At the time of reproducing the television program, the
または、テレビ番組の再生時には、レコーダ７０２３ｂは、再生画面と、レコーダ７０２３ｂのアドレスなどの、無線通信を行なうために必要な情報とを送信機であるテレビ７０２３ｃに送信する。テレビ７０２３ｃは、その再生画面と情報を受信して、再生画像を表示するとともに、その情報をディスプレイから送信する。例えばスマートフォンとして構成される受信機７０２３ｄは、その情報を受信すると、その情報に基づいてレコーダ７０２３ｂと無線通信を行なう。
Alternatively, when playing back a television program, the
図２４４は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 244 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えばスマートフォンとして構成される受信機７０４５ａのカメラが、テレビ受像機（ＴＶ）などの電子機器として構成される送信機７０４５ｂに向けられる。送信機７０４５ｂは、歌番組などのテレビ番組の映像を表示するとともに、ディスプレイから情報を送信している。このとき、受信機７０４５ａは、送信機７０４５ｂ（送信機７０４５ｂのディスプレイ）から送信される情報を受信する。そして、受信機７０４５ａは、その情報に基づいて、その歌番組で視聴されている曲の購入を促す画面７０４５ｃを表示する。
For example, the camera of the
図２４５は、実施の形態１２における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２３９〜図２４４に示す適用例に対応するものである。 FIG. 245 is a flowchart showing an example of processing operations of the receiver and the transmitter according to the twelfth embodiment. It should be noted that this flowchart corresponds to the application example shown in FIGS. 239 to 244.
テレビや録画機などに搭載された送信機は、サーバから、放映中の番組に関連する情報として、受信機に伝えたい情報を取得する（７１１７ａ）。送信機は、ディスプレイのバックライトに信号を重畳して送信する（７１１７ｂ）。送信する信号には、送信機のＵＲＬや、送信機のＳＳＩＤや、送信機にアクセスするためのパスワードを含めても良い。 The transmitter mounted on the television or the recorder acquires the information to be transmitted to the receiver as the information related to the program being broadcast from the server (7117a). The transmitter superimposes the signal on the backlight of the display and transmits it (7117b). The signal to be transmitted may include the URL of the transmitter, the SSID of the transmitter, and the password for accessing the transmitter.
図２４６は、実施の形態１２における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２３９〜図２４４に示す適用例に対応するものである。 FIG. 246 is a flowchart showing an example of processing operations of the receiver and the transmitter according to the twelfth embodiment. It should be noted that this flowchart corresponds to the application example shown in FIGS. 239 to 244.
受信機は、ディスプレイから情報を受信する（７１１８ａ）。受信した情報に視聴中のチャンネル情報が含まれているかを判断する（７１１８ｂ）。その判断結果が偽（Ｎ）であれば、受信した情報に含まれるＩＤを持つ電子機器から、視聴中のチャンネル情報を取得する（７１１８ｃ）。 The receiver receives information from the display (7118a). It is determined whether the received information includes the channel information being viewed (7118b). If the determination result is false (N), the channel information being viewed is acquired from the electronic device having the ID included in the received information (7118c).
一方、上記判断結果が真（Ｙ）であれば、サーバから、視聴中の画面に関連した情報を取得する（７１１８ｄ）。テレビや録画機がサーバの役割を果たしても良い。受信機は、サーバから取得した情報を表示する（７１１８ｅ）。受信機は、受信機やサーバに保存されたユーザプロファイルに基いて、表示内容を調整する（７１１８ｆ）。例えば、文字の大きさを変更したり、年齢制限コンテンツを非表示としたり、過去のユーザの行動から好まれると推定されたコンテンツを優先的に表示したりといった制御を行う。 On the other hand, if the above determination result is true (Y), the information related to the screen being viewed is acquired from the server (7118d). A television or recorder may act as a server. The receiver displays the information acquired from the server (7118e). The receiver adjusts the display contents based on the user profile stored in the receiver or the server (7118f). For example, control such as changing the font size, hiding age-restricted content, and preferentially displaying content presumed to be preferred from past user behavior is performed.
図２４７は、実施の形態１２における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２３９〜図２４４に示す適用例に対応するものである。 FIG. 247 is a flowchart showing an example of processing operations of the receiver and the transmitter according to the twelfth embodiment. It should be noted that this flowchart corresponds to the application example shown in FIGS. 239 to 244.
録画機は、番組録画と同時に、サーバから番組に関連する情報を取得して保存する（７１１９ａ）。関連する情報が時刻によって変化する場合は、その時刻も合わせて保存する。 The recorder acquires and stores information related to the program from the server at the same time as recording the program (7119a). If the related information changes with the time, save the time as well.
録画機は、録画した画像を再生する際に、前記保存した情報をディスプレイに送信する（７１１９ｂ）。前記保存した情報の中の前記サーバのアクセス情報（ＵＲＬやパスワード）をディスプレイのアクセス情報に置き換えても良い。 When the recorder reproduces the recorded image, the recorder transmits the stored information to the display (7119b). The access information (URL and password) of the server in the saved information may be replaced with the access information of the display.
録画機は、録画した画像を再生する際に、前記保存した情報を受信機に送信する（７１１９ｃ）。前記保存した情報の中の前記サーバのアクセス情報（ＵＲＬやパスワード）を録画機のアクセス情報に置き換えても良い。 The recorder transmits the stored information to the receiver when playing back the recorded image (7119c). The access information (URL and password) of the server in the saved information may be replaced with the access information of the recorder.
図２４８は、実施の形態１２における送信機の輝度変化を示す図である。 FIG. 248 is a diagram showing a change in the brightness of the transmitter according to the twelfth embodiment.
送信機は、輝度が急に上がるときから次に輝度が急に上がるときまでの間の時間の長さを符号（０または１）ごとに異ならせることによって、受信機に送信される情報を符号化する。これにより、送信される情報の内容を変えずに、ＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ
Ｍｏｄｕｌａｔｉｏｎ）制御によって、人間が感じる明るさの調節を行なうことができる。なお、輝度の波形は正確な矩形波でなくてもよい。
The transmitter encodes the information transmitted to the receiver by varying the length of time between the sudden increase in brightness and the next sudden increase in brightness for each sign (0 or 1). To become. As a result, PWM (Pulse Width) does not change the content of the transmitted information.
Modulation) control allows you to adjust the brightness that humans perceive. The luminance waveform does not have to be an accurate square wave.
図２４９は、実施の形態１２における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２４８に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。 FIG. 249 is a flowchart showing an example of the processing operation of the receiver according to the twelfth embodiment. It should be noted that this flowchart shows the processing operation of the receiver corresponding to the transmitter with the change in brightness shown in FIG. 248.
受信機は、送信機の発する光の輝度を観測する（７１２０ａ）。前に輝度が急激に上がってから、次に輝度が急激に上がるまでの時間を計測する（７１２０ｂ）。あるいは、前に輝度が急激に下がってから、次に輝度が急激に下がるまでの時間を計測する。上記時間によって信号の値を認識する（７１２０ｃ）。例えば、上記時間が３００マイクロ秒以下のとき０、以上の時１と認識する。 The receiver observes the brightness of the light emitted by the transmitter (7120a). The time from when the brightness suddenly rises before to when the brightness suddenly rises next is measured (7120b). Alternatively, the time from when the brightness drops sharply before to when the brightness drops sharply next is measured. The value of the signal is recognized by the above time (7120c). For example, when the time is 300 microseconds or less, it is recognized as 0, and when it is more than 300 microseconds, it is recognized as 1.
図２５０は、実施の形態１２における送信機の輝度変化を示す図である。 FIG. 250 is a diagram showing a change in brightness of the transmitter according to the twelfth embodiment.
送信機は、輝度の増減を示す波長を変化させることにより、受信機に送信される情報の開始点を表現する。または、送信機は、その波長を変化させることにより、１つの情報に別の情報を重畳する。 The transmitter expresses the starting point of the information transmitted to the receiver by changing the wavelength indicating the increase or decrease of the brightness. Alternatively, the transmitter superimposes another information on one piece of information by changing its wavelength.
図２５１は、実施の形態１２における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２５０に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。 FIG. 251 is a flowchart showing an example of the processing operation of the receiver according to the twelfth embodiment. It should be noted that this flowchart shows the processing operation of the receiver corresponding to the transmitter with the change in brightness shown in FIG. 250.
受信機は、送信機の発する光の輝度を観測する（７１２１ａ）。輝度が急激に変化する間の時間幅の最低値を求める（７１２１ｂ）。上記最低値の整数倍ではない輝度変化幅を探す（７１２１ｃ）。前記整数倍ではない輝度変化幅を信号の開始点として信号を解析する（７１２１ｄ）。前記整数倍ではない輝度変化幅を持つ部分間の時間幅を求める（７１２１ｅ）。 The receiver observes the brightness of the light emitted by the transmitter (7121a). The minimum value of the time width during the sudden change in brightness is obtained (7121b). Search for a luminance change width that is not an integral multiple of the above minimum value (7121c). The signal is analyzed with the luminance change width, which is not an integral multiple, as the starting point of the signal (7121d). The time width between the portions having a luminance change width that is not an integral multiple is obtained (7121e).
図２５２は、実施の形態１２における送信機の輝度変化を示す図である。 FIG. 252 is a diagram showing a change in brightness of the transmitter according to the twelfth embodiment.
送信機は、受信機の露光時間よりも短い間隔で輝度を変化させることにより、人間の目に見える明るさを調整することができる。また、時間経過に伴って蓄積された輝度変化をリセットすることができる。 The transmitter can adjust the brightness visible to the human eye by changing the brightness at intervals shorter than the exposure time of the receiver. In addition, it is possible to reset the accumulated brightness change with the passage of time.
図２５３は、実施の形態１２における送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２５２に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。 FIG. 253 is a flowchart showing an example of the processing operation of the transmitter according to the twelfth embodiment. It should be noted that this flowchart shows the processing operation of the receiver corresponding to the transmitter with the change in brightness shown in FIG. 252.
輝度、または、輝度を制御する電流が、一定値を下回ったとき、受信機の露光時間より十分短い時間幅で電流のオフオンを行う（Ｓ７１２５ａ）。これにより、電流を初期値に戻し、発光部の輝度が下がるのを防ぐことができる。また、輝度、または、輝度を制御する電流が、一定値を上回ったとき、受信機の露光時間より十分短い時間幅で電流のオンオフを行う（Ｓ７１２５ｂ）。これにより、電流を初期値に戻し、発光部の輝度が上がるのを防ぐことができる。 When the luminance or the current for controlling the luminance falls below a certain value, the current is turned off and on with a time width sufficiently shorter than the exposure time of the receiver (S7125a). As a result, the current can be returned to the initial value, and it is possible to prevent the brightness of the light emitting unit from decreasing. Further, when the luminance or the current for controlling the luminance exceeds a certain value, the current is turned on and off in a time width sufficiently shorter than the exposure time of the receiver (S7125b). As a result, the current can be returned to the initial value and the brightness of the light emitting unit can be prevented from increasing.
図２５４は、実施の形態１２における送信機の輝度変化を示す図である。 FIG. 254 is a diagram showing a change in brightness of the transmitter according to the twelfth embodiment.
送信機は、輝度のキャリア周波数を異ならせることによって、異なる信号（情報）を表現する。受信機は信号内容よりもキャリア周波数を早い時点で認識することができる。したがって、キャリア周波数を異ならせることは、送信機のＩＤなど、優先的に認識すべき内容を表現するのに適している。 The transmitter expresses different signals (information) by making the carrier frequencies of luminance different. The receiver can recognize the carrier frequency earlier than the signal content. Therefore, making the carrier frequencies different is suitable for expressing the content to be recognized preferentially, such as the ID of the transmitter.
図２５５は、実施の形態１２における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２５４に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。 FIG. 255 is a flowchart showing an example of the processing operation of the receiver according to the twelfth embodiment. It should be noted that this flowchart shows the processing operation of the receiver corresponding to the transmitter with the change in brightness shown in FIG. 254.
受信機は、送信機の発する光の輝度を観測する（７１２２ａ）。輝度が急激に変化する間の時間幅の最低値を求める（７１２２ｂ）。上記最低値をキャリア周波数として認識する（７１２２ｃ）。キャリア周波数をキーとして、サーバから情報を取得する（７１２２ｄ）。 The receiver observes the brightness of the light emitted by the transmitter (7122a). The minimum value of the time width during the sudden change in brightness is obtained (7122b). The lowest value is recognized as a carrier frequency (7122c). Information is acquired from the server using the carrier frequency as a key (7122d).
図２５６は、実施の形態１２における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２５４に示す輝度変化を伴う送信機に対応する受信機の処理動作を示す。 FIG. 256 is a flowchart showing an example of the processing operation of the receiver according to the twelfth embodiment. It should be noted that this flowchart shows the processing operation of the receiver corresponding to the transmitter with the change in brightness shown in FIG. 254.
受信機は、送信機の発する光の輝度を観測する（７１２３ａ）。輝度変化をフーリエ変換し、最大成分をキャリア周波数として認識する（７１２３ｂ）。キャリア周波数をキーとして、サーバから情報を取得する（７１２３ｃ）。 The receiver observes the brightness of the light emitted by the transmitter (7123a). The brightness change is Fourier transformed and the maximum component is recognized as the carrier frequency (7123b). Information is acquired from the server using the carrier frequency as a key (7123c).
図２５７は、実施の形態１２における送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２５４に示す輝度変化を伴う送信機の処理動作を示す。 FIG. 257 is a flowchart showing an example of the processing operation of the transmitter according to the twelfth embodiment. It should be noted that this flowchart shows the processing operation of the transmitter accompanied by the change in brightness shown in FIG. 254.
送信信号を輝度変化として表現する（７１２４ａ）。輝度変化をフーリエ変換した最大成分をキャリア周波数となるような輝度変化を作成する（７１２４ｂ）。作成した輝度変化の通りに発光部を発光させる（７１２４ｃ）。 The transmitted signal is expressed as a change in brightness (7124a). A luminance change is created so that the maximum component obtained by Fourier transforming the luminance change becomes the carrier frequency (7124b). The light emitting unit is made to emit light according to the created brightness change (7124c).
図２５８は、実施の形態１２における送信機の構成例を示す図である。 FIG. 258 is a diagram showing a configuration example of the transmitter according to the twelfth embodiment.
送信機７０２８ａは、信号Ａを送信する部分７０２８ｂと、信号Ｂを送信する部分７０２８ｄと、信号Ｃを送信する部分７０２８ｆとを有する。このように、受信機の撮像部（カメラ）が同時に露光する方向に沿って、互いに異なる信号を送信する部分があることによって、受信機は同時に複数の信号を受信することができる。なお、それぞれの部分７０２８ｂ、７０２８ｄ、７０２８ｆの間には、信号を発しない部分、または特別な信号を発する緩衝部分７０２８ｃ，７０２８ｅを設けてもよい。
The
図２５９は、実施の形態１２における送信機の構成例を示す図である。なお、この送信機の構成による発光の方式は、図２５８に示す構成による発光の方式を発展させたものである。 FIG. 259 is a diagram showing a configuration example of the transmitter according to the twelfth embodiment. The light emitting method according to the configuration of this transmitter is an extension of the light emitting method according to the configuration shown in FIG. 258.
送信機には、図２５８に示す各信号を送信する部分７０２９ａをそれぞれ図２５９に示すように配置してもよい。これにより、受信機を傾けた場合にも、受信機の撮像部（カメラ）は、信号Ａ、ＢおよびＣの多くの部分を同時に受信（撮像）することができる。
A
図２６０は、実施の形態１２における送信機の構成例を示す図である。なお、この送信機の構成による発光の方式は、図２５８に示す構成による発光の方式を発展させたものである。 FIG. 260 is a diagram showing a configuration example of the transmitter according to the twelfth embodiment. The light emitting method according to the configuration of this transmitter is an extension of the light emitting method according to the configuration shown in FIG. 258.
送信機の円形の発光部は、同心円状に配列された、各信号を送信する複数の円環状の部分７０３０ａ，７０３０ｂ，７０３０ｃを備える。部分７０３０ａは信号Ｃを送信し、部分７０３０ｂは信号Ｂを送信し、部分７０３０ｃは信号Ａを送信する。このように、送信機の発光部が円形の場合には、上述のように各信号を送信する部分を配列することで、受信機は、各部分から発せられる信号Ａ、ＢおよびＣの多くの部分を同時に受信（撮像）することができる。
The circular light emitting portion of the transmitter includes a plurality of
図２６１は、実施の形態１２における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２５８〜図２６０の何れかに示す発光装置を備えた送信機と受信機の処理動作を示す。 FIG. 261 is a flowchart showing an example of processing operations of the receiver and the transmitter according to the twelfth embodiment. It should be noted that this flowchart shows the processing operation of the transmitter and the receiver provided with the light emitting device shown in any one of FIGS. 258 to 260.
受信機は、同時に受光するラインのそれぞれの位置の輝度を計測する（７１２６ａ）。同時受光ラインと垂直方向に、別々に送信された信号を受信することで、高速に信号を受信する（７１２６ｂ）。 The receiver measures the brightness at each position of the line that receives light at the same time (7126a). By receiving the signals transmitted separately in the direction perpendicular to the simultaneous light receiving line, the signals are received at high speed (7126b).
図２６２は、実施の形態１２における受信機と送信機による表示と撮影の例を示す図である。 FIG. 262 is a diagram showing an example of display and photographing by the receiver and the transmitter in the twelfth embodiment.
送信機は、受信機の受像部（カメラ）が同時に露光する方向と垂直な方向に一様な画像として構成される複数の１次元バーコードを、それぞれフレーム１（７０３１ａ）、フレーム２（７０３１ｂ）およびフレーム３（７０３１ｃ）として順に表示する。なお、１次元バーコードは、上記同時に露光する方向と垂直な方向に沿う線（バー）からなる。受信機は、送信機に表示される画像を、上記各実施の形態のように撮像することによって、フレーム１（７０３１ｄ）およびフレーム２（７０３１ｅ）を取得する。受信機は，１次元バーコードのバーが途切れている部分で１次元バーコードを分割することで、連続的に表示された１次元バーコードを順に認識することができる。この場合、送信機による表示と受信機による撮像のタイミングを同期させる必要はなく、受信機は送信機で表示された内容を全て認識することができる。また、送信機による表示のフレームレートは、受信機による撮像のフレームレートより速くても良い。ただし，送信機による表示の１フレームの表示時間が、受信機によって撮像されるフレーム間のブランキング時間より長い必要がある。 The transmitter has a plurality of one-dimensional barcodes configured as a uniform image in a direction perpendicular to the direction in which the image receiving unit (camera) of the receiver is simultaneously exposed, in frames 1 (7031a) and 2 (7031b), respectively. And frame 3 (7031c) are displayed in order. The one-dimensional bar code is composed of lines (bars) along the direction perpendicular to the direction of simultaneous exposure. The receiver acquires the frame 1 (7031d) and the frame 2 (7031e) by capturing the image displayed on the transmitter as in each of the above embodiments. The receiver can recognize the continuously displayed one-dimensional barcodes in order by dividing the one-dimensional barcode at the portion where the one-dimensional barcode bar is interrupted. In this case, it is not necessary to synchronize the timing of the display by the transmitter and the imaging by the receiver, and the receiver can recognize all the contents displayed by the transmitter. Further, the frame rate of the display by the transmitter may be faster than the frame rate of the image captured by the receiver. However, the display time of one frame displayed by the transmitter needs to be longer than the blanking time between frames imaged by the receiver.
図２６３は、実施の形態１２における送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２６２に示す表示を行なう送信機が備える表示装置の処理動作を示す。 FIG. 263 is a flowchart showing an example of the processing operation of the transmitter according to the twelfth embodiment. It should be noted that this flowchart shows the processing operation of the display device included in the transmitter that performs the display shown in FIG. 262.
表示装置は、１次元バーコードを表示する（７１２７ａ）。表示装置は、受信機の撮像のブランキング時間より長い間隔で、バーコード表示を変化させる（７１２７ｂ）。 The display device displays a one-dimensional barcode (7127a). The display device changes the barcode display at intervals longer than the blanking time of the receiver's imaging (7127b).
図２６４は、実施の形態１２における受信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２６２に示す撮影を行なう受信機の処理動作を示す。 FIG. 264 is a flowchart showing an example of the processing operation of the receiver according to the twelfth embodiment. It should be noted that this flowchart shows the processing operation of the receiver that performs the photographing shown in FIG. 262.
受信機は、表示装置に表示された１次元バーコードを撮影する（７１２８ａ）。バーコードのラインが途切れたところで、表示装置が次のバーコードを表示したと認識する（７１２８ｂ）。この方法により、表示と撮像の同期を行わなくとも全ての表示内容を受信機が受信することができる。また、受信機の撮像フレームレートよりも速いフレームレートで表示された信号も受信可能となる。 The receiver captures the one-dimensional barcode displayed on the display device (7128a). When the bar code line is interrupted, the display device recognizes that the next bar code is displayed (7128b). By this method, the receiver can receive all the displayed contents without synchronizing the display and the imaging. In addition, a signal displayed at a frame rate faster than the image pickup frame rate of the receiver can also be received.
図２６５は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 265 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
例えば照明機器である送信機７０３２ａは、送信機７０３２ａの暗号化された識別情報（ＩＤ）を送信する。例えばスマートフォンとして構成される受信機７０３２ｂは、その暗号化されたＩＤを受信すると、その暗号化されたＩＤをサーバ７０３２ｃに送信する。サーバ７０３２ｃはその暗号化されたＩＤを受信すると、その暗号化されたＩＤを復号する。または、受信機７０３２ｂは、その暗号化されたＩＤを受信すると、その暗号化されたＩＤを復号してサーバ７０３２ｃに送信する。
For example, the
図２６６は、実施の形態１２における受信機７０３２ｂと送信機７０３２ａの処理動作の一例を示すフローチャートである。
FIG. 266 is a flowchart showing an example of processing operations of the
送信機７０３２ａは、一部または全部が暗号化された情報を保持する（７１２９ａ）。受信機７０３２ｂは、送信機７０３２ａから送信されたその情報を受信し、受信した情報を復号する（７１２９ｂ）。または、受信機７０３２ｂは、暗号化されたままの情報をサーバ７０３２ｃへ送信する。暗号化されたままの情報が送信された場合、サーバ７０３２ｃは、その暗号化されたままの情報を復号する（７１２９ｃ）。
The
図２６７は、実施の形態１２における受信機の状態を示す図である。 FIG. 267 is a diagram showing a state of the receiver according to the twelfth embodiment.
ユーザは、電話するために、例えばスマートフォンとして構成される受信機７０３３ａを耳に当てる。このとき、受信機７０３３ａのスピーカ付近に備えられた照度センサは、低い照度を示す照度値を検出する。その結果、受信機７０３３ａは、受信機７０３３ａの状態を通話中と推定し、送信機からの情報の受信を停止する。
The user puts his or her ear on the
図２６８は、実施の形態１２における受信機７０３３ａの処理動作の一例を示すフローチャートである。
FIG. 268 is a flowchart showing an example of the processing operation of the
受信機７０３３ａは、照度センサのセンサ値などから、通話中と推定されるか判断する（７１３０ａ）。その判断結果が真（Ｙ）の場合、受信機７０３３ａは、フェイスカメラによる受信を終了する（７１３０ｂ）。または、受信機７０３３ａは、フェイスカメラによる受信処理の優先度を下げる。
The
図２６９は、実施の形態１２における受信機の状態を示す図である。 FIG. 269 is a diagram showing a state of the receiver according to the twelfth embodiment.
例えばスマートフォンとして構成される受信機７０３４ａは、送信機からの情報を受信（撮像）するための撮像装置であるカメラ（例えばフェイスカメラ）付近に照度センサ７０３４ｂを備えている。この照度センサ７０３４ｂによって、一定値以下の低い照度を示す照度値が検出されると、受信機７０３４ａは、送信機からの情報の受信を中止する。または、受信機７０３４ａが他のカメラを備えている場合には、その照度センサ７０３４ｂ付近のカメラ（例えばフェイスカメラ）の優先度を他のカメラよりも下げる。
For example, the
図２７０は、実施の形態１２における受信機７０３４ａ処理動作の一例を示すフローチャートである。
FIG. 270 is a flowchart showing an example of the
受信機７０３４ａは、照度センサ７０３４ｂのセンサ値が一定値以下か判断する（７１３１ａ）。その判断結果が真（Ｙ）の場合、受信機７０３４ａは、フェイスカメラによる受信を終了する（７１３１ｂ）。または、受信機７０３４ａは、フェイスカメラによる受信処理の優先度を下げる。
The
図２７１は、実施の形態１２における受信機の処理動作の一例を示すフローチャートである。 FIG. 271 is a flowchart showing an example of the processing operation of the receiver according to the twelfth embodiment.
受信機は、照度センサのセンサ値から、照度変化を計測する（７１３２ａ）。撮像装置（カメラ）で輝度変化を計測して信号を受信したように、受信機は、照度値の変化から信号を受信する（７１３２ｂ）。撮像装置よりも照度センサのほうが安価であるため、受信機を安価に製造可能である。 The receiver measures the illuminance change from the sensor value of the illuminance sensor (7132a). The receiver receives the signal from the change in the illuminance value (7132b), just as the image pickup device (camera) measures the change in brightness and receives the signal. Since the illuminance sensor is cheaper than the image pickup device, the receiver can be manufactured at low cost.
図２７２は、実施の形態１２における送信機の波長の一例を示す図である。 FIG. 272 is a diagram showing an example of the wavelength of the transmitter according to the twelfth embodiment.
送信機は、図２７２の（ａ）および（ｂ）に示すように、メタメリックな光７０３７ａ，７０３７ｂを出力することによって、受信機に送信する情報を表現する。 As shown in FIGS. 272 (a) and 272 (b), the transmitter expresses the information to be transmitted to the receiver by outputting the metallic lights 7037a and 7037b.
図２７３は、実施の形態１２における受信機と送信機の処理動作の一例を示すフローチャートである。なお、このフローチャートは、図２７２に示す波長の光を出力する送信機と受信機の処理動作を示す。 FIG. 273 is a flowchart showing an example of processing operations of the receiver and the transmitter according to the twelfth embodiment. It should be noted that this flowchart shows the processing operation of the transmitter and the receiver that output the light having the wavelength shown in FIG. 272.
送信機は、人間には等色と認識されるが分光分布の異なる光（メタメリックな光）で異なる信号を表現し、発光部を発光させる（７１３５ａ）。受信機は、分光分布を計測し、信号を受信する（７１３５ｂ）。この方式によれば、チラツキを気にすることなく信号を送信することが可能となる。 The transmitter expresses a different signal with light (metameric light) which is perceived by humans as having the same color but has a different spectral distribution, and causes the light emitting unit to emit light (7135a). The receiver measures the spectral distribution and receives the signal (7135b). According to this method, it is possible to transmit a signal without worrying about flicker.
図２７４は、実施の形態１２における受信機と送信機を含むシステムの構成例を示す図である。 FIG. 274 is a diagram showing a configuration example of a system including a receiver and a transmitter according to the twelfth embodiment.
このシステムは、ＩＤ解決サーバ７０３８ａ、中継サーバ７０３８ｂ、受信機７０３８ｃ、送信機７０３８ｄおよび送信機側制御装置７０３８ｅを備えている。
This system includes an
図２７５は、実施の形態１２におけるシステムの処理動作の一例を示すフローチャートである。 FIG. 275 is a flowchart showing an example of the processing operation of the system according to the twelfth embodiment.
ＩＤ解決サーバ７０３８ａは、送信機７０３８ｄのＩＤと、送信機側制御装置７０３８ｅと受信機７０３８ｃが通信する方法を関連付けて記憶する（７１３６ａ）。受信機７０３８ｃは、送信機７０３８ｄのＩＤを受信し、送信機側制御装置７０３８ｅとの通信方法をＩＤ解決サーバ７０３８ａから取得する（７１３６ｂ）。受信機７０３８ｃは、受信機７０３８ｃと送信機側制御装置７０３８ｅが直接通信可能か判断する（７１３６ｃ）。その判断結果が偽（Ｎ）の場合、受信機７０３８ｃは、中継サーバ７０３８ｂを介して送信機側制御装置７０３８ｅと通信する（７１３６ｄ）。一方、その判断結果が真（Ｙ）の場合、受信機７０３８ｃは、送信機側制御装置７０３８ｅと直接通信する（７１３６ｅ）。
The
図２７６は、実施の形態１２における受信機と送信機を含むシステムの構成例を示す図である。 FIG. 276 is a diagram showing a configuration example of a system including a receiver and a transmitter according to the twelfth embodiment.
このシステムは、サーバ７０３９ｇ、店舗側機器７０３９ａおよび携帯機器７０３９ｂを備えている。店舗側機器７０３９ａは送信機７０３９ｃと撮像部７０３９ｄとを備える。携帯機器７０３９ｂは受信機７０３９ｅと表示部７０３９ｆとを備える。
This system includes a
図２７７は、実施の形態１２におけるシステムの処理動作の一例を示すフローチャートである。 FIG. 277 is a flowchart showing an example of the processing operation of the system according to the twelfth embodiment.
携帯機器７０３９ｂは、表示部７０３９ｆに２次元バーコード等の形で情報を表示する（７１３７ａ）。店舗側機器７０３９ａは、表示部７０３９ｆに表示された内容を撮像部７０３９ｄで撮像し、情報を取得する（７１３７ｂ）。店舗側機器７０３９ａは、何らかの情報を送信機７０３９ｃから送信する（７１３７ｃ）。
The
携帯機器７０３９ｂは、送信された情報を受信機７０３９ｅで受信する（７１３７ｄ）。携帯機器７０３９ｂは、受信した情報を基に、表示部７０３９ｆの表示内容を変化させる（７１３７ｅ）。表示部７０３９ｆに表示する内容は、携帯機器７０３９ｂが決定しても良いし、受信した内容を基にサーバ７０３９ｇが決定しても良い。
The
店舗側機器７０３９ａは、表示部７０３９ｆに表示された内容を撮像部７０３９ｄで撮像し、情報を取得する（７１３７ｆ）。店舗側機器７０３９ａは、取得した情報と、送信した情報との整合性を判断する（７１３７ｇ）。この判断は、店舗側機器７０３９ａが行なっても良いし、サーバ７０３９ｇが行なっても良い。整合している場合、正常に取引が完了する（７１３７ｈ）。
The store-
この方法により、表示部７０３９ｆに表示するクーポン情報をコピーし、不正に使用することを防ぐことができる。また、この方法で暗号鍵交換を行うことも可能である。
By this method, the coupon information to be displayed on the
図２７８は、実施の形態１２における受信機の処理動作の一例を示すフローチャートである。 FIG. 278 is a flowchart showing an example of the processing operation of the receiver according to the twelfth embodiment.
受信機は、受信処理を開始する（７１３８ａ）。受信機は、撮像装置の露光時間を設定する（７１３８ｂ）。受信機は、撮像装置のゲインを設定する（７１３８ｃ）。受信機は、撮像画像の輝度から情報を受信する（７１３８ｄ）。 The receiver starts the reception process (7138a). The receiver sets the exposure time of the imaging device (7138b). The receiver sets the gain of the imaging device (7138c). The receiver receives information from the brightness of the captured image (7138d).
図２７９は、実施の形態１２における受信機の処理動作の一例を示すフローチャートである。 FIG. 279 is a flowchart showing an example of the processing operation of the receiver according to the twelfth embodiment.
露光時間を設定する（７１３９ａ）。露光時間を変化させるＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）が存在するか判断する（７１３９ｂ）。その判断結果が偽（Ｎ）の場合、光源など輝度が高い物体に撮像装置を向ける（７１３９ｃ）。自動露光設定を行う（７１３９ｄ）。自動露光設定値の変化が十分小さくなれば露光設定値を固定する（７１３９ｅ）。 The exposure time is set (7139a). It is determined whether or not there is an API (Application Program Interface) that changes the exposure time (7139b). If the determination result is false (N), the image pickup device is aimed at an object having high brightness such as a light source (7139c). Set the automatic exposure (7139d). If the change in the automatic exposure set value becomes sufficiently small, the exposure set value is fixed (7139e).
一方、上記判断結果が真（Ｙ）の場合、ＡＰＩを利用して露光時間の設定を開始する（７１３９ｆ）。 On the other hand, when the above determination result is true (Y), the setting of the exposure time is started using the API (7139f).
図２８０は、実施の形態１２における受信機と送信機を含むシステムの構成例を示す図である。 FIG. 280 is a diagram showing a configuration example of a system including a receiver and a transmitter according to the twelfth embodiment.
このシステムは、サーバ７０３６ａ、受信機７０３６ｂ、および、少なくとも１つの送信機７０３６ｃを備える。受信機７０３６ｂは、受信機７０３６ｂの付近に存在する少なくとも１つの送信機７０３６ｃに関する情報をサーバから取得する。
The system includes a
図２８１は、実施の形態１２における受信機の処理動作の一例を示すフローチャートである。 FIG. 281 is a flowchart showing an example of the processing operation of the receiver according to the twelfth embodiment.
受信機７０３６ｂは、ＧＰＳや基地局などの情報から、自己位置推定を行う（７１３３ａ）。受信機７０３６ｂは、推定した自己位置と、推定誤差範囲をサーバ７０３６ａに送信する（７１３３ｂ）。受信機７０３６ｂは、受信機７０３６ｂの位置付近に存在する送信機７０３６ｃのＩＤと、そのＩＤに関連付けられた情報をサーバ７０３６ａから取得し、記憶する（７１３３ｃ）。受信機７０３６ｂは、送信機７０３６ｃからＩＤを受信する（７１３３ｄ）。
The
受信機７０３６ｂは、受信したＩＤに関連付けられた情報を記憶しているか判断する（７１３３ｅ）。その判断結果が偽（Ｎ）の場合、受信機７０３６ｂは、受信したＩＤをキーにサーバ７０３６ａから情報を取得する（７１３３ｆ）。受信機７０３６ｂは、サーバ７０３６ａから受信した情報と、送信機７０３６ｂｃの位置関係とから自己位置推定を行い、付近の他の送信機７０３６ｃのＩＤと、そのＩＤに関連付けられた情報をサーバ７０３６ａから取得し、記憶する（７１３３ｇ）。
The
上記ステップ７１３３ｅで真（Ｙ）と判断された後、または、上記ステップ７１３３ｇが行なわれた後には、受信機７０３６ｂは、受信したＩＤに関連付けられた情報を表示する（７１３３ｈ）。
After the determination in
図２８２は、実施の形態１２における受信機と送信機の適用例を示す図である。 FIG. 282 is a diagram showing an application example of the receiver and the transmitter in the twelfth embodiment.
建造物ａ（７０４０ａ）には、例えば照明機器として構成される送信機７０４０ｃおよび７０４０ｄが配設され、建造物ｂ（７０４０ｂ）には、例えば照明機器として構成される送信機７０４０ｅおよび７０４０ｆが配設されている。送信機７０４０ｃおよび７０４０ｅは信号Ａを送信し、送信機７０４０ｄおよび７０４０ｆは信号Ｂを送信する。例えばスマートフォンとして構成される受信機（端末）７０４０ｇは、何れかの送信機から送信される信号を受信する。
The building a (7040a) is provided with
図２８３は、実施の形態１２における受信機の処理動作の一例を示すフローチャートである。 FIG. 283 is a flowchart showing an example of the processing operation of the receiver according to the twelfth embodiment.
受信機７０４０ｇは、建造物に入ったことを検出する（７１３４ａ）。受信機７０４０ｇは、推定した自己位置と、推定誤差範囲と、受信機７０４０ｇが存在すると推定する建造物の名称等とをサーバに送信する（７１３４ｂ）。受信機７０４０ｇは、受信機７０４０ｇが存在する建造物中に存在する送信機のＩＤと、そのＩＤに関連付けられた情報をサーバから取得し、記憶する（７１３４ｃ）。受信機７０４０ｇは、送信機からＩＤを受信する（７１３４ｄ）。
The
受信機７０４０ｇは、受信したＩＤに関連付けられた情報を記憶しているか判断する（７１３４ｅ）。その判断結果が偽（Ｎ）の場合、受信機７０４０ｇは、受信したＩＤをキーにサーバから情報を取得する（７１３４ｆ）。受信機７０４０ｇは、ＩＤを受信した送信機が存在する建造物と同一の建造物内に存在する他の送信機のＩＤと、そのＩＤに関連付けられた情報をサーバから取得し、記憶する（７１３４ｇ）。
The
上記ステップ７１３４ｅで真（Ｙ）と判断された後、または、ステップＳ７１３４ｇが行なわれた後には、受信機７０４０ｇは、受信したＩＤに関連付けられた情報を表示する（７１３４ｈ）。
After the determination in step 7134e as true (Y) or after step S7134g is performed, the
図２８４は、実施の形態１２における受信機と送信機を含むシステムの構成例を示す図である。 FIG. 284 is a diagram showing a configuration example of a system including a receiver and a transmitter according to the twelfth embodiment.
例えば照明機器として構成される送信機７０４１ａは信号Ａを送信し、送信機７０４１ｂは信号Ｂを送信し、送信機７０４１ｃは信号Ｃを送信し、送信機７０４１ｄは信号Ｂを送信する。例えばスマートフォンとして構成される受信機（端末）７０４１ｅは、何れかの送信機から送信される信号を受信する。ここで、ＧＰＳや基地局などの情報（他手段）に基づいて推定される受信機７０４１ｅの自己位置の誤差範囲には、送信機７０４１ａ，７０４１ｂ，７０４１ｃがある。
For example, the transmitter 7041a configured as a lighting device transmits a signal A, the
図２８５は、実施の形態１２におけるシステムの処理動作の一例を示すフローチャートである。 FIG. 285 is a flowchart showing an example of the processing operation of the system according to the twelfth embodiment.
受信機７０４１ｅは、送信機からＩＤを受信する（７１４０ａ）。受信機７０４１ｅは、自己位置推定を行う（７１４０ｂ）。受信機７０４１ｅは自己位置推定に成功したか判断する（７１４０ｃ）。その判断結果が偽（Ｎ）の場合、受信機７０４１ｅは、地図や入力フォームを表示し、ユーザに現在位置を入力させる（７１４０ｄ）。
The
受信機７０４１ｅは、受信したＩＤと、推定した自己位置と、自己位置推定の誤差範囲とをサーバに送信する（７１４０ｅ）。
The
サーバは、受信機７０４１ｅの推定自己位置から推定誤差範囲（推定誤差半径）以内に、受信機７０４１ｅが受信したＩＤを送信する送信機がひとつだけ存在するか判断する（７１４０ｆ）。その判断結果が偽（Ｎ）の場合、受信機７０４１ｅはステップ７１４０ｄからの処理を繰り返し実行する。一方、その判断結果が真（Ｙ）の場合には、サーバは、その送信機に関連付けられた情報を受信機７０４１ｅに送信する（７１４０ｇ）。
The server determines whether there is only one transmitter that transmits the ID received by the
図２８６は、実施の形態１２における受信機の処理動作の一例を示すフローチャートである。 FIG. 286 is a flowchart showing an example of the processing operation of the receiver according to the twelfth embodiment.
まず、受信機は、信号を発している発光装置（送信機）を検出し（７１４１ａ）、信号を受信する（７１４１ｂ）。そして、受信機は、受信状況、受信済みデータ量、送信データ量、送信データ量に対する受信済みデータ量の割合を表示する（７１４１ｃ）。 First, the receiver detects the light emitting device (transmitter) emitting the signal (7141a) and receives the signal (7141b). Then, the receiver displays the reception status, the received data amount, the transmission data amount, and the ratio of the received data amount to the transmission data amount (7141c).
次に、受信機は、送信データを全て受信したかどうかを確認する（７１４１ｄ）。受信したことを確認した場合（７１４１ｄのＹ）、受信機は、受信処理を中止し（７１４１ｅ）、受信完了の表示を行う（７１４１ｆ）。さらに、受信機は通知音を鳴らし（７１４１ｇ）、バイブレーションを行なう（７１４１ｈ）。 Next, the receiver confirms whether or not all the transmitted data has been received (7141d). When it is confirmed that the reception has been received (Y of 7141d), the receiver cancels the reception processing (7141e) and displays the completion of reception (7141f). Further, the receiver sounds a notification sound (7141 g) and vibrates (7141 h).
ステップ７１４１ｄで、受信していないことを確認した場合（７１４１ｄのＮ）、受信機は、受信機の撮像装置（カメラ）によって得られる映像において送信機がフレームアウトしてから一定時間経過したかどうかを確認する（７１４１ｉ）。ここで、一定時間経過したことを確認した場合（７１４１ｉのＹ）、受信機は、受信済データを破棄して受信処理を停止する（７１４１ｍ）。さらに、受信機は、通知音を鳴らし（７１４１ｎ）、バイブレーションを行なう（７１４１ｐ）。
If it is confirmed in
ステップ７１４１ｉで、一定時間経過していないことを確認した場合（７１４１ｉのＮ）、受信機は、受信機の９軸センサによって得られるセンサ値が一定値以上の大きさで変化したか、または、受信機を別方向へ向けたと推定できるかどうかを確認する（７１４１ｊ）。ここで、一定値以上の大きさで変化した、または、別方向へ向けたと推定できることを確認すると（７１４１ｉのＹ）、上述のステップ７１４１ｍ以降の処理を行なう。
When it is confirmed in step 7141i that a certain period of time has not passed (N of 7141i), the receiver has either changed the sensor value obtained by the 9-axis sensor of the receiver by a magnitude greater than or equal to a certain value. Check if it can be estimated that the receiver is pointed in the other direction (7141j). Here, when it is confirmed that the value has changed by a certain value or more, or it can be estimated that the direction has changed (Y of 7141i), the above-mentioned processing of
一方、一定値以上の大きさで変化していない、または、別方向へ向けたと推定できないことを確認すると（７１４１ｉのＮ）、受信機は、受信機の９軸センサのセンサ値が一定のリズムで変化したか、または、受信機がシェイクされていると推定できるかどうかを確認する（７１４１ｋ）。ここで、一定のリズムで変化した、または、シェイクされていると推定できることを確認すると、受信機は、上述のステップ７１４１ｍ以降の処理を行なう。一方、一定のリズムで変化していない、または、シェイクされていると推定できないことを確認すると（７１４１ｋのＮ）、受信機は、ステップ７１４１ｂからの処理を繰り返し実行する。
On the other hand, when it is confirmed that the value does not change beyond a certain value or cannot be estimated to be directed in another direction (N of 7141i), the receiver has a constant rhythm of the sensor value of the 9-axis sensor of the receiver. Check if it has changed in or if the receiver can be estimated to be shaken (7141k). Here, when it is confirmed that it can be estimated that the change or the shaking is performed at a constant rhythm, the receiver performs the above-mentioned processing after
図２８７Ａは、実施の形態１２における送信機の構成の一例を示す図である。 FIG. 287A is a diagram showing an example of the configuration of the transmitter according to the twelfth embodiment.
送信機７０４６ａは、発光部７０４６ｂと２次元バーコード７０４６ｃとＮＦＣチップ７０４６ｄとを備える。発光部７０４６ｂは、２次元バーコード７０４６ｃおよびＮＦＣチップ７０４６ｄの少なくとも一方と共通の情報を、上記各実施の形態の方法で送信する。または、発光部７０４６ｂは、２次元バーコード７０４６ｃおよびＮＦＣチップ７０４６ｄの少なくとも一方と異なる情報を、上記各実施の形態の方法で送信してもよい。この場合、受信機は、発光部７０４６ｂから送信される情報の内容をキーとして、２次元バーコード７０４６ｃおよびＮＦＣチップ７０４６ｄの少なくとも一方と共通の情報をサーバから取得してもよい。また、受信機は、発光部７０４６ｂから情報を受信する場合と、２次元バーコード７０４６ｃおよびＮＦＣチップ７０４６ｄの少なくとも一方から情報を受信する場合とで、共通の処理を行なってもよい。上述のどちらの場合でも、受信機は、共通のサーバにアクセスして共通の情報を表示する。
The
図２８７Ｂは、実施の形態１２における送信機の構成の他の例を示す図である。 FIG. 287B is a diagram showing another example of the configuration of the transmitter according to the twelfth embodiment.
送信機７０４６ｅは、発光部７０４６ｆを備え、その発光部７０４６ｆに２次元バーコード７０４６ｇを表示させる。つまり、この発光部７０４６ｆは、図２８７Ａに示す発光部７０４６ｂおよび２次元バーコード７０４６ｃのそれぞれの機能を兼ね備える。
The
ここで、発光部７０４６ｂ，７０４６ｆは、発光部７０４６ｂ，７０４６ｆの大きさを示す情報を送信することで、受信機から送信機７０４６ａ，７０４６ｅまでの距離を受信機に推定させてもよい。これにより、受信機は２次元バーコード７０４６ｃ，７０４６ｇをより簡単に、または鮮明に撮影することができる。
Here, the
図２８８は、実施の形態１２における受信機と送信機７０４６ａ，７０４６ｅの処理動作の一例を示すフローチャートである。なお、以下、送信機７０４６ａおよび送信機７０４６ｅのうち、送信機７０４６ａを例にあげて説明するが、送信機７０４６ｅの処理動作も送信機７０４６ａの処理動作と同じである。
FIG. 288 is a flowchart showing an example of processing operations of the receiver and the
送信機７０４６ａは、発光部７０４６ｂの大きさを示す情報を送信する（ステップ７１４２ａ）。なお、発光部７０４６ｂにおける任意の２点間の距離の最大値を、発光部７０４６ｂの大きさとする。なお、この一連の処理は速度が重要であるため、送信機７０４６ａは、送信機７０４６ａの発光部７０４６ｂの大きさを示す情報を直接送信し、受信機はサーバ通信を介さずに、この大きさを示す情報を取得することが望ましい。また、送信機７０４６ａの明暗変化の周波数など、素早く受信できる方法で送信することが望ましい。
The
次に、受信機は、上述の情報である信号を受信し、送信機７０４６ａの発光部７０４６ｂの大きさを取得する（ステップ７１４２ｂ）。そして、受信機は、発光部７０４６ｂの大きさと、撮像された発光部７０４６ｂの画像の大きさと、受信機の撮像部（カメラ）の特性とに基づいて、受信機から発光部７０４６ｂまでの距離を計算する（ステップ７１４２ｃ）。次に、受信機は、計算した距離に撮像部の焦点距離をあわせて撮影する（ステップ７１４２ｄ）。受信機は、２次元バーコードを撮影した場合はその内容を取得する（ステップ７１４２ｅ）。
Next, the receiver receives the signal which is the above-mentioned information and acquires the size of the
（実施の形態１３）
本実施の形態では、上記実施の形態１〜１２におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
(Embodiment 13)
In this embodiment, each application example using a receiver such as a smartphone in the above-described first to twelfth embodiments and a transmitter that transmits information as a blinking pattern of an LED or an organic EL will be described.
図２８９は、実施の形態１３における受信機と送信機に関する処理動作の一例を示すフローチャートである。 FIG. 289 is a flowchart showing an example of processing operations related to the receiver and the transmitter in the thirteenth embodiment.
ステップ７２０１ａで、送信機は、特定の周波数の音、または、特定のパターンで変化する音を発する（この周波数は、例えば２ｋＨｚから２０ｋＨｚなど、人間には聞き取りづらく、一般的な集音器で集音可能な周波数の音であることが望ましい。また、一般的な集音器はサンプリング周波数が４４．１ｋＨｚ程度であるため、サンプリング定理により、その半分の周波数までしか正確には認識できないが、送信信号がわかっていれば、その信号を集音しているかどうかを高精度で推定することは可能である。そこで、この性質を利用して、２０ｋＨｚ以上の周波数の信号を利用しても良い。）。
In
ステップ７２０１ｂで、ユーザは、受信機のボタンを押し、電源ＯＦＦ状態やスリープ状態から電源オン状態にする。ステップ７２０１ｃで、受信機は、集音部を起動する。ステップ７２０１ｄで、受信機は、送信機の発する音を集音する。ステップ７２０１ｅで、受信機は、近辺に送信機が存在することを、画面に表示したり、音を鳴らしたり、バイブレーションさせることで、ユーザに通知する。ステップ７２０１ｆで、受信機は、受信を開始して、終了する。
In
図２９０は、実施の形態１３における受信機と送信機に関する処理動作の一例を示すフローチャートである。 FIG. 290 is a flowchart showing an example of processing operations related to the receiver and the transmitter in the thirteenth embodiment.
ステップ７２０２ａで、ユーザは、受信機のボタンを押し、電源ＯＦＦ状態やスリープ状態から電源オン状態にする。ステップ７２０２ｂで、受信機は、照度センサを起動する。ステップ７２０２ｃで、受信機は、照度センサから、照度の変化を認識する。ステップ７２０２ｄで、受信機は、照度センサから、送信信号を受信する。ステップ７２０２ｅで、受信機は、近辺に送信機が存在することを、画面に表示したり、音を鳴らしたり、バイブレーションさせることで、ユーザに通知する。ステップ７２０２ｆで、受信機は、受信を開始して、終了する。
In
図２９１は、実施の形態１３における受信機と送信機に関する処理動作の一例を示すフローチャートである。 FIG. 291 is a flowchart showing an example of processing operations related to the receiver and the transmitter in the thirteenth embodiment.
ステップ７２０３ａで、ユーザが、受信機を操作して、受信を開始させる。または、何らかのトリガで受信機が自動的に受信を開始する。ステップ７２０３ｂで、画面全体の平均輝度、または、輝度最大点の輝度が、明るい撮像部を優先的に受信させて、終了する。
In
図２９２は、実施の形態１３における受信機と送信機に関する処理動作の一例を示すフローチャートである。 FIG. 292 is a flowchart showing an example of processing operations related to the receiver and the transmitter in the thirteenth embodiment.
ステップ７２０４ａで、撮像部は、同時撮像ラインまたは画素中に送信機が写っていない同時撮像ラインまたは画素の撮像は行わないことで、送信機が写っている同時撮像ラインまたは画素を高速に撮影する。ステップ７２０４ｂで、受信機は、ジャイロや９軸センサで受信機の動きや手振れを検出し、電子補正によって、常に送信機が映るように調整して、終了する。
In
図２９３は、実施の形態１３における受信機と送信機に関する処理動作の一例を示すフローチャートである。 FIG. 293 is a flowchart showing an example of processing operations related to the receiver and the transmitter in the thirteenth embodiment.
ステップ７２０５ａで、受信機は、２次元バーコードＡを表示する。ステップ７２０５ｂで、送信機は、２次元バーコードＡを読み取る。ステップ７２０５ｃで、送信機は、表示変更命令を送信する。ステップ７２０５ｄで、受信機は、２次元バーコードＢを表示する。ステップ７２０５ｅで、送信機は、２次元バーコードＢを読み取り、終了する。
At
図２９４は、実施の形態１３における送信機の適用例を示す図である。 FIG. 294 is a diagram showing an application example of the transmitter according to the thirteenth embodiment.
送信機７２１１ａは、送信機であることを示すマーク７２１１ｂを備える。人間は、送信信号と通常の光を区別することはできないが、これにより、７２１１ａが送信機であることを認識することができる。同様に、送信機７２１１ｃは、送信機であることを示すマーク７２１１ｄを備える。同様に、送信機７２１１ｅは、信号を送信している間のみ、送信機であることを示すマーク７２１１ｆを表示する。
The
図２９５は、実施の形態１３における送信機の適用例を示す図である。 FIG. 295 is a diagram showing an application example of the transmitter according to the thirteenth embodiment.
テレビなどの送信機７２１２ａは、バックライトや画面７２１２ｂの輝度を変化させて、信号を送信する。テレビなどの送信機７２１２ｃは、画面以外の部分、例えばベゼル７２１２ｄやロゴマークなどの輝度を変化させて信号を送信する。
The
図２９６は、実施の形態１３における送信機の適用例を示す図である。 FIG. 296 is a diagram showing an application example of the transmitter according to the thirteenth embodiment.
テレビなどの送信機７２１３ａは、画面７２１３ｂに、緊急ニュースや字幕やオンスクリーンディスプレイ７２１３ｃを表示する際に、信号を送信する。また、７２１３ｃは、暗い色の文字に明るい色の背景とし、画面の横方向に大きく表示することで、受信機が信号を受信しやすくすることができる。
A
図２９７は、実施の形態１３における送信機と受信機の適用例を示す図である。 FIG. 297 is a diagram showing an application example of the transmitter and the receiver according to the thirteenth embodiment.
ユーザが、受信機またはテレビなどのリモコン７２１４ａの操作を行ったときに、７２１４ａから送信機７２１４ｂに開始信号を送信し、送信機７２１４ｂは、開始信号を受け取った後の一定時間信号を送信する。送信機７２１４ｂは、送信中であることを示す表示７２１４ｃを表示する。これにより、テレビ本来の表示が暗い場合でも、受信機が信号を受信しやすくなる。表示７２１４ｃは、明るい部分が多く、横に広いほど、受信機が信号を受信しやすくなる。
When the user operates the
なお、送信機７２１４ｂは、テレビの映像を表示する領域とは別に、信号送信のための領域７２１４ｃを備えても良い。なお、送信機７２１４ｂは、ユーザの動きやリモコン７２１４ａの動きをカメラ７２１４ｄやマイク７２１４ｅで認識し、信号送信を開始しても良い。
The
図２９８は、実施の形態１３における送信機と受信機の適用例を示す図である。 FIG. 298 is a diagram showing an application example of the transmitter and the receiver according to the thirteenth embodiment.
送信機７２１５ａ、７２１５ｂは、送信機のＩＤ番号を送信する。送信機のＩＤは、完全にユニークなものであっても良いし、地域内や建物内や部屋内でユニークなＩＤであっても良い。後者の場合は、数１０ｍ以内に同一ＩＤが存在しないようにすることが望ましい。受信機７２１５ｃは、受信したＩＤをサーバ７２１５ｄへ送信する。サーバへは、ＧＰＳなどの位置センサで認識した７２１５ｃの位置情報や、７２１５ｃの端末ＩＤやユーザＩＤやセッションＩＤなどを同時に送信するとしても良い。
The
データベース７２１５ｅは、送信機が送信するＩＤと関連付けて、別のＩＤや、送信機の位置情報（緯度、経度、高度、部屋番号）や、送信機の型番や形や大きさや、文字や画像や映像や音楽などのコンテンツや、受信機に実行させる命令やプログラムや、他のサーバのＵＲＬや、送信機の所有者情報や、ＩＤの登録日や有効期限などを保持する。
The
サーバ７２１５ｄは、受信したＩＤに関連付けられた情報をデータベースから読み出し、受信機７２１５ｃに送信する。受信機７２１５ｃは、受信した情報を表示したり、受信した情報をもとに別のサーバにアクセスしたり、受信した命令を実行したりといった処理を行う。
The
図２９９は、実施の形態１３における送信機と受信機の適用例を示す図である。 FIG. 299 is a diagram showing an application example of the transmitter and the receiver according to the thirteenth embodiment.
図２９８の場合と同様に、送信機７２１６ａ，７２１６ｂは、送信機のＩＤ１を送信する。受信機７２１６ｃは、 受信したＩＤ１をサーバＡ７２１６ｄへ送信する。サーバＡは、ＩＤ１に関連付けられた、ＩＤ２と別のサーバＢにアクセスするための情報（ＵＲＬやパスワードなど）を送信する。受信機７２１６ｃは、ＩＤ２をサーバＢ７２１６ｆへ送信する。サーバＢ７２１６ｆは、ＩＤ２に関連付けられた情報を受信機７２１６ｃへ送信したり、ＩＤ２に関連付けられた処理を行う。
As in the case of FIG. 298, the
図３００は、実施の形態１３における送信機と受信機の適用例を示す図である。 FIG. 300 is a diagram showing an application example of the transmitter and the receiver according to the thirteenth embodiment.
図２９８の場合と同様に、送信機７２１７ａ，７２１７ｂは、送信機のＩＤ１を送信する。受信機７２１７ｃは、受信したＩＤ１をサーバＡ７２１７ｄへ送信する。サーバＡは、ＩＤ１に関連付けられた情報と、ランダムに生成した鍵情報をサーバＢに送信する。鍵情報は、サーバＢが生成し、サーバＡに送信するとしても良い。サーバＡは、受信機に、鍵情報と、サーバＢへアクセスするための情報（ＵＲＬやパスワードなど）を送信する。受信機７２１７ｃは、鍵情報をサーバＢ７２１７ｆへ送信する。サーバＢ７２１７ｆは、ＩＤ２に関連付けられた情報を受信機７２１７ｃへ送信し、ＩＤ２に関連付けられた処理を行う。
As in the case of FIG. 298, the
図３０１Ａは、実施の形態１３における送信信号の例を示す図である。 FIG. 301A is a diagram showing an example of a transmission signal according to the thirteenth embodiment.
信号は、ヘッダ部７２１８ａ、データ部７２１８ｂ、パディング部７２１８ｃ、Ｅｎｄ
ｏｆ Ｄａｔａ部７２１８ｅで構成される。信号は、同じデータを１／１５秒間繰り返して送信する。これにより、信号の１部だけ受信した場合でも、信号を復号することができる。受信機は、受信した信号からヘッダ部を抽出し、２つのヘッダ部の間の部分をデータ部としてデータを復号する。１フレームのデータ部を短くすれば、受信機の撮像部に送信機が小さく写っている場合でも復号が可能になり、データ部を長くすれば、通信速度を速くすることができる。同じデータが１／１５秒繰り返されることで、１秒間に３０フレーム撮影する受信機では、ブランキングがあっても確実にデータ部の信号を撮像することができる。また、隣接するどちらかのフレームでは同じ信号を受信するため、受信結果の確認に用いることができる。また、他のアプリケーションの動作によって連続しないフレームの処理がされなかった場合や、１秒間に１５フレームしか撮影できない受信機であっても、信号を受信することができる。また、ヘッダ部に近いほどデータを受信しやすいため、ヘッダ部に近い部分に重要度の高いデータを配置するとしても良い。
The signals are the
It is composed of of
図３０１Ｂは、実施の形態１３における送信信号の他の例を示す図である。 FIG. 301B is a diagram showing another example of the transmission signal according to the thirteenth embodiment.
信号は、図３０１Ａの例と同様に、ヘッダ部７２１８ａ、データ部７２１８ｂ、パディング部７２１８ｃ、Ｅｎｄ ｏｆ Ｄａｔａ部７２１８ｅで構成される。信号は、同じデータを１／３０秒間繰り返して送信する。これにより、信号の１部だけ受信した場合でも、信号を復号することができる。データ部を短くすれば、受信機の撮像部に送信機が小さく写っている場合でも復号が可能になり、データ部を長くすれば、通信速度を速くすることができる。同じデータが１／３０秒繰り返されることで、１秒間に３０フレーム撮影する受信機では、ブランキングがあっても確実にデータ部の信号を撮像することができる。また、隣接するどちらかのフレームでは同じ信号を受信するため、受信結果の確認に用いることができる。また、ヘッダ部に近いほどデータを受信しやすいため、ヘッダ部に近い部分に重要度の高いデータを配置するとしても良い。
The signal is composed of a
図３０２は、実施の形態１３における送信信号の例を示す図である。 FIG. 302 is a diagram showing an example of a transmission signal according to the thirteenth embodiment.
２ビットの信号を５ビットの信号に変調する７２１９ａの変調方式は、２ビットの信号を４ビットの信号に変調する２２００．２ａなどの変調方式よりも変調効率が劣るが、データ部分と同じ形式でヘッダパターンを表現できるため、異なる形式のヘッダパターンを挿入するよりもちらつきを抑えることができる。Ｅｎｄ ｏｆ Ｄａｔａは、データ部にヘッダを用いることで表現しても良い。 The 7219a modulation method that modulates a 2-bit signal into a 5-bit signal is inferior in modulation efficiency to a modulation method such as 2200.2a that modulates a 2-bit signal into a 4-bit signal, but in the same format as the data part. Since the header pattern can be expressed with, flicker can be suppressed compared to inserting a header pattern of a different format. End of Data may be expressed by using a header in the data part.
図３０３Ａは、実施の形態１３における送信信号の例を示す図である。 FIG. 303A is a diagram showing an example of a transmission signal according to the thirteenth embodiment.
信号は、データ部７２２０ａ、バッファ部７２２０ｂ、Ｅｎｄ ｏｆ Ｄａｔａ部７２２０ｄで構成される。バッファ部はなくても良い。信号は、同じデータを１／１５秒間繰り返して送信する。発光周波数によって信号を伝送するＦＭ変調などを用いる場合は、７２１８ａのようなヘッダは不要となる。
The signal is composed of a
図３０３Ｂは、実施の形態１３における送信信号の他の例を示す図である。 FIG. 303B is a diagram showing another example of the transmission signal according to the thirteenth embodiment.
信号は、図３０３Ａの例と同様に、データ部７２２０ａ、バッファ部７２２０ｂ、Ｅｎｄ ｏｆ Ｄａｔａ部７２２０ｄで構成される。バッファ部はなくても良い。信号は、同じデータを１／３０秒間繰り返して送信する。発光周波数によって信号を伝送するＦＭ変調などを用いる場合は、７２１８ａのようなヘッダは不要となる。
The signal is composed of a
図３０４は、実施の形態１３における送信信号の例を示す図である。 FIG. 304 is a diagram showing an example of a transmission signal according to the thirteenth embodiment.
周波数によって信号を割り当てる。受信機は信号の周期から周波数を求めるため、周波数を等間隔に信号に割り当てるよりも、周波数の逆数や対数が等間隔になるように信号を割り当てるほうが、受信エラーを低減できる。受信機の撮像部で、データ１とデータ２を送信している光を一つの画面内に撮像した場合は、露光ラインに垂直な方向に輝度値をフーリエ変換すると、データ１とデータ２の周波数に、一つのデータを送信している光を撮像した場合よりも弱いピークが現れる。
Assign signals by frequency. Since the receiver obtains the frequency from the period of the signal, it is possible to reduce the reception error by allocating the signals so that the reciprocals and logarithms of the frequencies are evenly spaced, rather than allocating the frequencies to the signals at equal intervals. When the image pickup unit of the receiver captures the
この方法によれば、一つの画面内に複数の周波数で順次送信している光を撮像した場合でも、送信周波数を解析することができ、１／１５秒や、１／３０秒より短い時間で送信信号の周波数を変更しても、受信することができる。 According to this method, the transmission frequency can be analyzed even when light that is sequentially transmitted at a plurality of frequencies is imaged in one screen, and it takes less than 1/15 second or 1/30 second. It can be received even if the frequency of the transmission signal is changed.
送信信号の順序を認識するためには、１画面よりも短い範囲でフーリエ変換を行えば良い。また、撮像した画面を連結して、１画面より長い範囲でフーリエ変換を行なっても良い。この場合は、撮像のブランキング時間の輝度値は不明として扱うと良い。 In order to recognize the order of the transmitted signals, the Fourier transform may be performed in a range shorter than one screen. Further, the captured screens may be connected and the Fourier transform may be performed in a range longer than one screen. In this case, the brightness value of the blanking time of imaging may be treated as unknown.
図３０５Ａおよび図３０５Ｂは、実施の形態１３における送信信号の例を示す図である。 305A and 305B are diagrams showing an example of a transmission signal according to the thirteenth embodiment.
送信信号の周波数が２００Ｈｚ以下である場合、人間には点滅して感じられるが、それ以上の周波数であれば、連続して光っているように感じられる。カメラでは、５００Ｈｚ（条件によっては１ｋＨｚ）程度までの周波数では点滅が撮影される。そのため、信号周波数（搬送波の周波数）は１ｋＨｚ以上であることが望ましい。カメラにちらつきが撮影されることによる影響が低い場合は、信号周波数は２００Ｈｚ以上としても良い。照明装置の高調波ノイズは２０ｋＨｚ以上でおおきくなるため、これを避ける場合は、信号周波数は２０ｋＨｚ以下とすれば良い。また、５００Ｈｚから３ｋＨｚの範囲では、コイルの振動による音が発生するため、信号周波数を３ｋＨｚ以上とするか、コイルを固定化するなどの対策を行う必要がある。信号周波数を１ｋＨｚ（１ミリ秒周期）としたとき、非同期でこの信号を認識するためには、撮像装置の露光時間を半分の０．５ミリ秒（＝１／２０００秒）以下とする必要がある。信号の変調方式に周波数変調を用いる場合は、サンプリング定理により、同様に、撮像装置の露光時間は信号周期の半分以下とする必要がある。ただし、図３０４のように、周波数そのもので値を表現する変調方式の場合は、複数の時点での信号の値から周波数を推定できるため、撮像装置の露光時間は信号周期の４倍程度以下で良い。 When the frequency of the transmission signal is 200 Hz or less, it seems to be blinking to humans, but when the frequency is higher than that, it seems to shine continuously. The camera captures blinking at frequencies up to about 500 Hz (1 kHz depending on the conditions). Therefore, it is desirable that the signal frequency (carrier frequency) is 1 kHz or more. The signal frequency may be 200 Hz or higher if the effect of the flickering captured by the camera is small. Harmonic noise of the lighting device becomes large at 20 kHz or more. To avoid this, the signal frequency may be 20 kHz or less. Further, in the range of 500 Hz to 3 kHz, sound is generated due to the vibration of the coil, so it is necessary to take measures such as setting the signal frequency to 3 kHz or more or fixing the coil. When the signal frequency is 1 kHz (1 millisecond cycle), in order to recognize this signal asynchronously, it is necessary to reduce the exposure time of the imaging device to half 0.5 milliseconds (= 1/2000 seconds) or less. is there. When frequency modulation is used as the signal modulation method, the exposure time of the imaging device also needs to be half or less of the signal period according to the sampling theorem. However, in the case of the modulation method in which the value is expressed by the frequency itself as shown in FIG. 304, the frequency can be estimated from the signal values at a plurality of time points, so that the exposure time of the imaging device is about four times or less of the signal period. good.
図３０６は、実施の形態１３における送信機の適用例を示す図である。 FIG. 306 is a diagram showing an application example of the transmitter according to the thirteenth embodiment.
照明などの送信機７２２３ａは、ＩＤを送信する。パソコンなどの受信機７２２３ｂはＩＤを受信し、サーバ７２２３ｄへＩＤとファイル７２２３ｅを送信する。サーバ７２２３ｄは、ファイル７２２３ｅとＩＤを関連付けて記憶し、同一のＩＤを送信してきたパソコンに対して、ファイルへのアクセス許可を行う。この際、読み取りのみの許可や、読み書きの許可など、ＩＤによって複数のアクセスコントロールを行なっても良い。パソコンなどの受信機７２２３ｃはＩＤを受信し、サーバ７２２３ｄへＩＤを送信し、サーバ上のファイル７２２３ｅへアクセスする。サーバ７２２３ｄは、ファイルへ最後にアクセスがあってから一定時間経過した場合や、パソコン７２２３ｂが異なるＩＤを送信してきた場合に、ファイルを削除、または、アクセスコントロールを初期化する。なお、パソコン７２２３ｂまたはパソコン７２２３ｃがＩＤを送信するとしても良い。
The
図３０７は、実施の形態１３における送信機の適用例を示す図である。 FIG. 307 is a diagram showing an application example of the transmitter according to the thirteenth embodiment.
送信機７２２４ｂは、自身のＩＤ情報をサーバ７２２４ｄに登録する。受信機７２２４ａは、クーポンや入場チケットや会員情報やプリペイド情報を画面に表示する。送信機７２２４ｂは、ＩＤを送信する。受信機７２２４ａは、ＩＤを受信し、受信したＩＤと、ユーザＩＤと、端末ＩＤと、画面に表示している情報をサーバ７２２４ｄへ送信する。サーバ７２２４ｄは、受信機７２２４ａが表示している内容が有効であることを確認し、その結果を表示装置７２２４ｃへ送信する。なお、サーバ７２２４ｄが時間によって変化する鍵情報を送信機７２２４ｂへ送信し、送信機７２２４ｂはその鍵情報を送信しても良い。なお、サーバ７２２４ｄは、送信機７２２４ｂや表示装置７２２４ｃと同一の装置として実装しても良い。受信機７２２４ａは、クーポンや入場チケットや会員情報やプリペイド情報を２次元バーコードなどの形式で画面に表示し、それを読み取る方式では、画面をコピーした画像を表示することで容易に偽装できるが、この方式を用いることで、画面をコピーすることによる偽装を防ぐことができる。
The
図３０８〜図３１０は、実施の形態１３における撮像素子を説明するための図である。 308 to 310 are diagrams for explaining the image pickup device according to the thirteenth embodiment.
図３０８は、本発明の撮像素子８００の前面図を示す。前の実施の形態の図を用いて説明したように、本発明の光通信速度を向上させるためには、図３１０のように、光信号発生部８３０をトラッキングさせながら、その領域の８３０ａの走査ライン、例えば、ｎ＝４〜ｎ＝７の間のラインのデータのみを垂直アクセス手段８０２に走査ライン選択信号を送り、反復スキャンし、取得すれば、図３１０の下段の図のように連続的に本発明の光信号を取り出すことができる。具体的には４、５、６、７ そしてブランク期間、４、５、６、７ ブランク期間との連続的な信号が得られる。現在の撮像素子の工程ではこのブランキングは２μｓ以下に収めることができる。２μｓ以下にすれば、３０ｆｐｓで１フレーム３３ｍｓ、１０００ラインで３３μｓ／ラインであるので、データをほぼ連続的にデータを復調できる。
FIG. 308 shows a front view of the
本発明では、ローリングシャッター方式の撮像素子（イメージセンサ）において、まずシャッタ速度を速くして、本発明のラインを表示させた後、信号を得るが、この後、光源の画像８３０はカメラの撮影者の手振れにより、上下左右に移動する。するとラインｎ＝４〜７の中から画像８３０が一部でてしまう。信号が途切れてエラーが発生する。このため、まず、手振れ補正検出補正手段８３２を用いて補正すると画像８３０が固定される。もしくは／かつ、画像８３０の位置のラインＮｏを検出する手段８３４を用いて、画像８３０のライン番号ｎを特定し、ライン選択部８３５により、垂直アクセス手段を制御して、所望のラインｎ（例えば、ｎ＝７〜１０）に変更すれば、画像８３０が得られ、連続的な信号が得られるため、エラーの少ないデータとなり、高速データ受信が可能となる。
In the present invention, in the rolling shutter type image sensor (image sensor), the shutter speed is first increased to display the line of the present invention, and then a signal is obtained. After that, the
図３０８に戻り、撮像素子８００を説明すると、水平の画素はａ〜ｋまであり、水平アクセス手段８０１により、アクセス可能となっている。垂直方向の画素は、ｎ＝１からｎ＝１２まで１２列あり、８０３ａ〜８０３ｎまで列毎に読み出され、読み出し時にラインメモリ８０５に読み出されて、出力部８０８から出力される。
Returning to FIG. 308, the
図３０９の示すように、本発明では、まず、通常撮影モードでは、（ａ）に示すように順次読み出されていく。通常のフレームとフレームの間には、ブランク期間８２１が設けてあり、この間に色等の映像信号に関する様々な調整作業が行なわれる。
As shown in FIG. 309, in the present invention, first, in the normal shooting mode, the reading is sequentially performed as shown in (a). A
撮像素子により異なるが、５％〜２０％の時間帯は信号の信号を得ることができない。本発明特有の受信パターンが得られないため、ステップ８２０ｃにおいてデータ信号受信モードになった場合、まずシャッタ速度を高速にして、ゲインを上げてデータを受信する。Ｙｅｓの場合、前記の色や明るさや感度などの映像撮影作業の一部を中止することにより、ブランク期間８２１を短縮したブランク期間８２１ａとする。このことにより、調整作業を省略する短縮により、現在の工程で２μｓ以下にブランク期間８２１ａを下げることができるため、入力信号のバーストエラーを大巾に少なくすることができるため、伝送速度を大きく上げることができる。
Although it depends on the image sensor, the signal of the signal cannot be obtained in the time zone of 5% to 20%. Since the reception pattern peculiar to the present invention cannot be obtained, when the data signal reception mode is set in
次に、図３１０のように画像の一部しか映像８３０が撮影されない時、ｎ＝４〜８以外のラインの情報が得られないため、大きなバーストエラーとなり、受信効率が低下し、伝送量が大巾に低下する。
Next, when the
図３１０の画像位置検出手段８３４により画像８３０の位置と大きさを検出し、画像が小さい場合は、ステップ８２０ｄで高速読みとりモードに切り替えて、画像８３０を撮影しているライン（ｎ＝４〜７）のみをスキャンする。（ｃ）のようにライン信号８０３ｄ、８０３ｅ、８０３ｆ、８０３ｇが何回も繰り返し読みとられ、本発明特有のパターンがシームレスに読みとられる。このため、バーストエラーの殆んどない連続的なデータ受信となり、大巾なデータレートの向上が可能となる。
The position and size of the
具体的には現在の撮像素子で搬送波を４．８ＫＨｚとすると２４００ｂｐｓ程度の伝送レートが得られる。将来的には撮像素子の高速化に伴ない、数十ｋｂｐｓの伝送レートが得られる。 Specifically, if the carrier wave is 4.8 KHz in the current image sensor, a transmission rate of about 2400 bps can be obtained. In the future, a transmission rate of several tens of kbps will be obtained as the speed of the image sensor increases.
なお、ステップ８２０ｅでデータの読みとりが完了すると、シャッタ速度を低速化させ、ブランク期間を長くして（ａ）の通常撮影モードに戻る。
When the data reading is completed in
上記のブランク期間の短縮と特定ラインの繰り返し読み出しにより、同期信号やアドレスの読み出しが確実になり、本発明のパターン伝送方式の伝送速度を大巾に上げることができる。 By shortening the blank period and repeatedly reading the specific line, the synchronization signal and the address can be read reliably, and the transmission speed of the pattern transmission method of the present invention can be greatly increased.
（変形例）
ここで、上記各実施の形態についての変形例または補足について説明する。
(Modification example)
Here, a modified example or supplement for each of the above embodiments will be described.
図３１１Ａは、受信装置（撮像装置）の処理動作を示すフローチャートである。なお、この図３１１Ａは、図７１の処理動作よりも詳細な処理動作を示す。 FIG. 311A is a flowchart showing a processing operation of the receiving device (imaging device). Note that FIG. 311A shows a more detailed processing operation than the processing operation of FIG. 71.
ここで、受信機の撮像部は、すべての受光素子を同時に露光させる方式（グローバルシャッター方式）ではなく、時間差をおいて受光素子の一部分ずつを順次露光させる方式（ローリングシャッター方式、フォーカルプレーンシャッター方式）を用いる。なお、本発明の解説で用いる「露光」とは、物理的なシャッターによって撮像素子に光があたる時間を制御する露光方式と、電子シャッターによって特定の時間内の撮像素子の出力のみを取り出す露光方式とを含む。 Here, the imaging unit of the receiver is not a method of exposing all the light receiving elements at the same time (global shutter method), but a method of sequentially exposing a part of the light receiving elements at different times (rolling shutter method, focal plane shutter method). ) Is used. The "exposure" used in the description of the present invention is an exposure method in which the time during which light is applied to the image sensor by a physical shutter is controlled, and an exposure method in which only the output of the image sensor within a specific time is extracted by an electronic shutter. And include.
まず、ステップ７３４０ａで、撮像モードがグローバルシャッターモードである場合は、ローリングシャッターモードに変更する。次にステップ７３４０ｂでは、５ミリ秒以上の時間幅の移動平均輝度が変化せず、５ミリ秒以下の領域では輝度を変化させている被写体を写した時に輝線が撮影されるように、シャッター速度を設定する。
First, in
ステップ７３４０ｃで、前記輝線の明るい部分と暗い部分の差が大きくなるように受光素子の感度を設定する。次にステップ７３４０ｄでは、撮像モードをマクロ撮像モードにする。または、送信機に焦点を合わせるよりも焦点距離を短く設定する。これにより、送信機がぼやけて大きく撮像されることで、輝線が撮像される露光ラインを増やすことができる。
In
ステップ７３４０ｅで、露光ラインに垂直な方向に、輝線の輝度の変化を観察する。次にステップ７３４０ｆでは、前記輝度が他の場所よりも急に高くなっている箇所の間隔、あるいは、急に低くなっている箇所の間隔を求め、この間隔から送信信号を読み取る。または、輝度変化の周期を求め、その周期から送信信号を読み取る。
In
図３１１Ｂは、通常撮像モードにより得られる画像と、マクロ撮像モードにより得られる画像とを対比して示す図である。この図３１１Ｂに示すように、発光する被写体をマクロ撮像モードで撮像することによって得られる画像７３０７ｂは、同じ被写体を通常撮像モードで撮像することによって得られる画像７３０７ａよりも、明るい領域を多く含む。その結果、マクロ撮像モードでは、その被写体に対して輝線を生成することが可能な露光ラインの数を増やすことができる。
FIG. 311B is a diagram showing a contrast between an image obtained in the normal imaging mode and an image obtained in the macro imaging mode. As shown in FIG. 311B, the
図３１２は、映像などを表示する表示装置を示す図である。 FIG. 312 is a diagram showing a display device for displaying an image or the like.
例えば液晶ディスプレイなどを備える表示装置７３００ａは、映像領域７３００ｂに映像を表示し、情報表示領域７３００ｃに各種情報を表示する。そして、表示装置７３００ａは、送信機（送信装置）として構成され、バックライトの輝度を変化させることで信号を送信する。
For example, the
図３１３は、表示装置７３００ａの処理動作の一例を示す図である。
FIG. 313 is a diagram showing an example of the processing operation of the
まず、ステップ７３５０ａで、信号送信モードにする。次にステップ７３５０ｂでは、情報表示領域７３００ｃのバックライトの輝度を変化させることで信号を送信する。
First, in
図３１４は、表示装置７３００ａにおける信号を送信する部分の例を示す図である。
FIG. 314 is a diagram showing an example of a portion of the
表示装置７３００ａは、バックライトがオンになっている部分（７３０１ｄ，７３０１ｆ，７３０１ｇ，７３０１ｉ）の輝度を変化させることで信号を送信し、他の部分（７３０１ｃ，７３０１ｅ，７３０１ｈ，７３０１ｊ）からは信号を送信しない。
The
図３１５は、表示装置７３００ａの処理動作の他の例を示す図である。
FIG. 315 is a diagram showing another example of the processing operation of the
まず、ステップ７３５１ａで、信号送信モードにする。次にステップ７３５１ｂでは、動解像度の向上のために、画面切り替え時にバックライトをオフにする場合は、バックライトがオンになっている部分のみで信号を送信する。そして、ステップ７３５１ｃで、画面の全ての部分のバックライトがオフになっている間は、信号を送信しない。
First, in
図３１６は、表示装置７３００ａにおける信号を送信する部分の他の例を示す図である。
FIG. 316 is a diagram showing another example of a portion of the
表示装置７３００ａは、各部分（７３０２ｂ、７３０２ｅ、７３０２ｇ、７２０２ｊ）の動解像度向上のためのバックライト制御をオフにして、これらの部分から信号を送信する。一方、表示装置７３００ａは、他の各部分（７３０２ｃ，７３０２ｄ，７３０２ｈ，７３０１ｉ）の動解像度向上のためのバックライト制御をオンにする。
The
図３１７は、表示装置による処理動作のさらに他の例を示す図である。 FIG. 317 is a diagram showing still another example of the processing operation by the display device.
まず、ステップ７３５２ａで、信号送信モードにする。次にステップ７３５２ｂでは、画面の一部（７３０２ｂ、７３０２ｅ、７３０２ｇ、７２０２ｊ）の動解像度向上のためのバックライト制御をオフにし、その部分から信号を送信する。
First, in
そして、ステップ７３５２ｃで、信号を送信している部分の明るさと信号を送信していない部分のバックライトの平均輝度が同等となるように、バックライトの平均輝度を調整する。この調整は、信号送信時のバックライトの明滅時間の比の調整によって行なっても良いし、バックライトの最大輝度の調整によって行なっても良い。 Then, in step 7352c, the average brightness of the backlight is adjusted so that the brightness of the portion transmitting the signal and the average brightness of the backlight of the portion not transmitting the signal are equal. This adjustment may be performed by adjusting the ratio of the blinking time of the backlight at the time of signal transmission, or by adjusting the maximum brightness of the backlight.
図３１８は、送信機および受信機を含む通信システムの構成を示す図である。 FIG. 318 is a diagram showing a configuration of a communication system including a transmitter and a receiver.
この通信システムは、送信機７３０３ａ，７３０３ｂと、制御装置７３０３ｃと、ネットワーク７３０３ｄと、ＩＤ管理サーバ７３０３ｅと、無線アクセスポイント７３０３ｆと、受信機７３０３ｇ，７３０３ｈとを備える。
This communication system includes
図３１９は、図３１８の通信システムの処理動作を示すフローチャートである。 FIG. 319 is a flowchart showing the processing operation of the communication system of FIG. 318.
まず、ステップ７３５３ａで、ＩＤ管理サーバ７３０３ｅに、送信機のＩＤと、無線アクセスポイント７３０３ｆの情報（ＳＳＩＤ、パスワード、無線アクセスポイントのＩＤ、無線周波数、アクセスポイントの位置情報、接続可能な位置情報など）と、制御装置７３０３ｃの情報（ＩＰアドレスなど）とを関連付けて記憶させる。次にステップ７３５３ｂで、送信機７３０３ａまたは７３０３ｂは、送信機７３０３ａまたは７３０３ｂのＩＤを送信する。なお、送信機７３０３ａまたは７３０３ｂは、さらに、無線アクセスポイント７３０３ｆの情報と制御装置７３０３ｃの情報を送信しても良い。そして、ステップ７３５３ｃで、受信機７３０３ｇまたは７３０３ｈは、送信機７３０３ａまたは７３０３ｂのＩＤを受信し、無線アクセスポイント７３０３ｆの情報と制御装置７３０３ｃの情報をＩＤ管理サーバ７３０３ｅから取得する。あるいは、受信機７３０３ｇまたは７３０３ｈは、送信機７３０３ａまたは７３０３ｂのＩＤと無線アクセスポイント７３０３ｆの情報を受信する。
First, in
次にステップ７３５３ｄで、送信機７３０３ａまたは７３０３ｂは、無線アクセスポイント７３０３ｆに接続する。そして、ステップ７３５３ｅで、送信機７３０３ａまたは７３０３ｂは、ネットワーク上のＩＤ管理サーバ７３０３ｅのアドレスと、そのＩＤ管理サーバ７３０３ｅへの命令と、送信機７３０３ａまたは７３０３ｂのＩＤを、制御装置７３０３ｃへ送信する。
Next, in
さらに、ステップ７３５３ｆで、制御装置７３０３ｃは、受付ＩＤを受信機７３０３ｇまたは７３０３ｈへ送信する。次にステップ７３５３ｇで、制御装置７３０３ｃは、ネットワーク上のＩＤ管理サーバ７３０３ｅへの命令を行い、レスポンスを得る。このとき、制御装置７３０３ｃは、プロキシサーバとして動作する。
Further, in
さらに、ステップ７３５３ｈで、制御装置７３０３ｃは、前記レスポンスと前記受付ＩＤとを、送信機ＩＤの示す送信機７３０３ａまたは７３０３ｂから送信する。この送信は、受信機７３０３ｇまたは７３０３ｈから受信完了通知が送られるまで、または、一定時間が経過するまで繰り返しても良い。
Further, in
次にステップ７３５３ｉで、受信機７３０３ｇまたは７３０３ｈは、前記レスポンスを受信する。さらに、ステップ７３５３ｊで、受信機７３０３ｇまたは７３０３ｈは、前記受付ＩＤを制御装置７３０３ｃへ送信し、受信完了を通知する。
Next, in
そして、ステップ７３５３ｋで、なお、受信機７３０３ｇまたは７３０３ｈは、送信機７３０３ａまたは７３０３ｂの信号が受信できない位置にいる場合には、無線アクセスポイント７３０３ｆを経由してレスポンスを返すように制御装置７３０３ｃに通知しても良い。
Then, in
図３２０は、上記各実施の形態における信号伝送の変形例を示す図である。 FIG. 320 is a diagram showing a modified example of signal transmission in each of the above embodiments.
本発明の受信方式では、受信機の撮像部に送信機の発光部が大きく撮像されるほど信号伝送効率が高いため、小さな電球や高い天井に備え付けられた照明を送信機の発光部とすると信号伝送効率が悪い。そこで、送信機７３１３ａの照明光を、壁や、天井や、床や、照明の傘などに当て、その反射光７３１３ｂを受信機７３１３ｃで撮像することで、信号伝送の効率を高めることができる。
In the receiving method of the present invention, the larger the light emitting part of the transmitter is imaged on the image pickup unit of the receiver, the higher the signal transmission efficiency is. Transmission efficiency is poor. Therefore, the efficiency of signal transmission can be improved by shining the illumination light of the
図３２１は、上記各実施の形態における信号伝送の変形例を示す図である。 FIG. 321 is a diagram showing a modified example of signal transmission in each of the above embodiments.
送信機７３１４ｄは展示品７３１４ａに送信信号を含んだ照明光を投影し、その反射光７３１４ｂを受信機７３１４ｃで撮像することで、信号伝送を行う。
The
図３２２は、上記各実施の形態における信号伝送の変形例を示す図である。 FIG. 322 is a diagram showing a modified example of signal transmission in each of the above embodiments.
送信機７３１５ａが送信した信号を、照度センサを備えた受信機７３１５ｂで受信する。受信機７３１５ｂは、撮像素子ではなく照度センサを用いて信号を受信するため、消費電力が低く、常時信号を受信することに適しており、軽量で、安価に製造可能である。
The signal transmitted by the
受信機７３１５ｂは、眼鏡や、イヤリングや、髪飾りや、腕時計や、補聴器や、ネックレスや、杖や、手押し車や、ショッピングカートの一部として構成される。受信機７３１５ｂは、受信した信号に従って、映像表示や、音声再生や、振動を行う。また、受信機７３１５ｂは、受信した信号を携帯情報端末７３１５ｃに無線または有線伝送路を通じて送信する。
The
図３２３Ａは、上記各実施の形態における信号伝送の変形例を示す図である。 FIG. 323A is a diagram showing a modified example of signal transmission in each of the above embodiments.
プロジェクタ７３１６ａは投影光を送信信号として信号を送信する。受信機７３１６ｃは、スクリーン７３１６ｂからの反射光を撮像して信号を受信する。受信機７３１６ｃは、プロジェクタ７３１６ａが投影しているコンテンツとその付帯情報を画面７３１６ｄに表示する。画面７３１６ｄに表示するコンテンツは、送信信号として伝送されても良いし、送信信号に含まれるＩＤをもとにサーバ７３１６ｅから取得しても良い。
The
図３２３Ｂは、上記各実施の形態における信号伝送の変形例を示す図である。 FIG. 323B is a diagram showing a modified example of signal transmission in each of the above embodiments.
受信機７３１７ｂは送信機７３１７ａから送信された信号を受信する。受信機７３１７ｂは、受信機７３１７ｂに登録されているイヤホンまたは補聴器７３１７ｃへ音声を送信する。受信機７３１７ｂに登録されたユーザプロファイルに視覚障碍が含まれている場合には、受信機７３１７ｂは、視覚障碍者用の解説音声をイヤホン７３１７ｃに送信する。
The
図３２３Ｃは、上記各実施の形態における信号伝送の変形例を示す図である。 FIG. 323C is a diagram showing a modified example of signal transmission in each of the above embodiments.
送信機７３１８ａ、７３１８ｂから送信された信号を、受信機７３１８ｃで受信する。受信機７３１８ｃは、照度センサを用いて信号を受信するとしても良い。受信機７３１８ｃは、指向性の高い照度センサを備えることで、送信機がある方向を精度よく推定できる。また、受信機７３１８ｃは、複数の照度センサを備えることで、送信信号を受信できる範囲を広くすることができる。受信機７３１８ｃは、受信した信号をイヤホン７３１８ｄや、ヘッドマウントディスプレイ７３１８ｅへ送信する。
The signals transmitted from the
図３２３Ｄは、ディスプレイまたはプロジェクタと受信機とを含む通信システムの処理動作を示すフローチャートである。なお、このフローチャートは、図３２３Ａ〜図３２３Ｃに示す信号伝送の例に対応する処理動作を示す。 FIG. 323D is a flowchart showing a processing operation of a communication system including a display or a projector and a receiver. It should be noted that this flowchart shows the processing operation corresponding to the example of signal transmission shown in FIGS. 323A to 323C.
まず、ステップ７３５７ａで、送信機のＩＤと、表示内容ＩＤと、ディスプレイやプロジェクタに表示するコンテンツとを関連付けて、ＩＤ管理サーバに記録する。次にステップ７３５７ｂで、送信機は、ディスプレイやプロジェクタにコンテンツを表示するとともに、ディスプレイのバックライトやプロジェクタの投影光をもちいて信号を送信する。送信信号は、送信機のＩＤや、表示内容ＩＤや、表示内容が格納されているＵＲＬや、表示内容そのものを含んでも良い。
First, in
さらに、ステップ７３５７ｃで、受信機は、前記送信信号を受信する。そして、ステップ７３５７ｄで、受信機は、受信した信号をもとに、送信機がディスプレイやプロジェクタに表示しているコンテンツを取得する。
Further, in
次に、ステップ７３５７ｅで、受信機にユーザプロファイルが設定されている場合は、そのプロファイルに適したコンテンツを取得する。例えば、聴力が悪いというプロファイルが設定されている場合は字幕データや手元再生用の音声コンテンツを取得し、視力が悪いというプロファイルが設定されている場合は、音声解説用のコンテンツを取得する。
Next, in
さらに、ステップ７３５７ｆで、受信機は、取得した画像コンテンツを受信機のディスプレイに表示させ、取得した音声コンテンツを受信機のスピーカやイヤフォンや補聴器から再生させる。 Further, in step 7357f, the receiver displays the acquired image content on the display of the receiver, and reproduces the acquired audio content from the speaker, earphone, or hearing aid of the receiver.
図３２４は、実施の形態１２における送信信号の例を示す図である。なお。この図３２４は、図２５０の送信信号を詳細に説明したものである。 FIG. 324 is a diagram showing an example of a transmission signal according to the twelfth embodiment. In addition. FIG. 324 is a detailed description of the transmission signal of FIG. 250.
送信信号を図２７〜８７、３０２などの方法で符号化した場合、受信機は、輝度値が急に高くなる点７３０８ｃ、７３０８ｄ、７３０８ｅを検出すれば、送信信号を復号できる。このとき、送信信号７３０８ａと７３０８ｂは等価であり、同一の信号を表現することになる。
When the transmission signal is encoded by the method shown in FIGS. 27 to 87, 302, the receiver can decode the transmission signal by detecting
そのため、送信信号７３０８ａと７３０８ｂのように、輝度を下げる時間を調節することで、平均輝度を変化させることができる。送信機の輝度を変化させる必要がある場合には、このように平均輝度を調節することで、送信信号の内容に変化を加えることなく輝度の調節を行うことができる。
Therefore, the average brightness can be changed by adjusting the time for lowering the brightness as in the
図３２５は、実施の形態３における送信信号の例を示す図である。なお、この図３２５は、図３４の送信信号を詳細に説明したものである。 FIG. 325 is a diagram showing an example of a transmission signal according to the third embodiment. Note that FIG. 325 is a detailed description of the transmission signal of FIG. 34.
送信信号７３０９ａや７３０９ｂは、７３０９ｄ程度の長さの平均輝度をとると、送信信号７３０９ｃと等価とみなすことができる。送信信号７３０９ａや７３０９ｂのように、他の受信機では観察できない時間幅で輝度を変化させることで、別の信号を重畳することができる。
The transmission signals 7309a and 7309b can be regarded as equivalent to the transmission signal 7309c when the average brightness having a length of about 7309d is taken. Another signal can be superimposed by changing the brightness with a time width that cannot be observed by other receivers, such as the
図３２６は、実施の形態３における送信信号の他の例を示す図である。なお、この図３２６は、図３４の送信信号を詳細に説明したものである。 FIG. 326 is a diagram showing another example of the transmission signal according to the third embodiment. Note that FIG. 326 is a detailed description of the transmission signal of FIG. 34.
送信信号７３１０ａに、他の受信機では観察できない時間幅での輝度変化を加えて７３１０ｃとすることで、別の信号を重畳する。送信信号７３１０ａで輝度が下がった区間で信号が重畳できない場合には、高速変調部分に７３１０ｅのようなスタート信号とエンド信号を加えることで、高速変調信号を断続的に送信することができる。
Another signal is superimposed by adding the brightness change in the time width that cannot be observed by other receivers to the
図３２７Ａは、上記各実施の形態における受信機の撮像素子の一例を示す図である。 FIG. 327A is a diagram showing an example of an image pickup device of a receiver according to each of the above embodiments.
多くの撮像素子は、７３１１ａのような配置になっているため、オプティカルブラックを撮像している間は送信機を撮像することはできない。しかし、撮像素子の配置を７３１１ｂのようにすることで、送信機をより長い時間撮像することができる。 Since many image sensors are arranged like 7311a, the transmitter cannot be imaged while the optical black is being imaged. However, by arranging the image sensor as 7311b, the transmitter can be imaged for a longer time.
図３２７Ｂは、上記各実施の形態における受信機の撮像装置の内部回路の構成例を示す図である。 FIG. 327B is a diagram showing a configuration example of an internal circuit of the image pickup device of the receiver in each of the above embodiments.
撮像装置７３１９ａは、グローバルシャッターモードとローリングシャッターモードを切り替えるシャッターモード変更部７３１９ｂを備える。受信機は、受信を開始するときに、シャッターモードをローリングシャッターモードに変更し、受信終了時に、シャッターモードをグローバルシャッターモードに変更する、または、受信開始前の設定に戻す。
The image pickup apparatus 7319a includes a shutter
図３２７Ｃは、上記各実施の形態における送信信号の例を示す図である。 FIG. 327C is a diagram showing an example of a transmission signal in each of the above embodiments.
カメラにちらつきが映らない周波数として、搬送波を１ｋＨｚとする場合、１スロットが１ミリ秒となる（７３２０ａ）。このとき、図２８の変調方式（４ＰＰＭ変調）では、１シンボル（４スロット）の平均が７５％となる（７３２０ｂ）。４ミリ秒間の移動平均の値域は、７５％±変調度／４となる。変調度は小さいほうがちらつきは小さくなる。１シンボルを１周期として考えた場合は、人間がちらつきを感じない周波数として２００Ｈｚ以上とする場合は、搬送波は８００Ｈｚ以上となり、カメラにちらつきが映らない周波数として１ｋＨｚ以上とする場合は、搬送波は４ｋＨｚ以上となる。 When the carrier wave is set to 1 kHz as the frequency at which the camera does not show flicker, one slot is 1 millisecond (7320a). At this time, in the modulation method (4PPM modulation) of FIG. 28, the average of one symbol (4 slots) is 75% (7320b). The range of the moving average for 4 milliseconds is 75% ± modulation degree / 4. The smaller the degree of modulation, the smaller the flicker. When one symbol is considered as one cycle, if the frequency at which humans do not feel flicker is 200 Hz or higher, the carrier wave is 800 Hz or higher, and if the frequency at which flicker does not appear on the camera is 1 kHz or higher, the carrier wave is 4 kHz. That is all.
同様に、搬送波が１ｋＨｚのとき、図３０２の変調方式（５ＰＰＭ変調）では、１シンボル（５スロット）の平均が８０％となる（７３２０ｃ）。５ミリ秒間の移動平均の値域は、８０％±変調度／５となる。変調度は小さいほうがちらつきは小さくなる。１シンボルを１周期として考えた場合は、人間がちらつきを感じない周波数として２００Ｈｚ以上とする場合は、搬送波は１ｋＨｚ以上となり、カメラにちらつきが映らない周波数として１ｋＨｚ以上とする場合は、搬送波は５ｋＨｚ以上となる。 Similarly, when the carrier wave is 1 kHz, the average of one symbol (5 slots) is 80% (7320c) in the modulation method (5PPM modulation) of FIG. 302. The range of the moving average for 5 milliseconds is 80% ± modulation degree / 5. The smaller the degree of modulation, the smaller the flicker. When one symbol is considered as one cycle, if the frequency at which humans do not feel flicker is 200 Hz or higher, the carrier wave is 1 kHz or higher, and if the frequency at which flicker does not appear on the camera is 1 kHz or higher, the carrier wave is 5 kHz. That is all.
図３２７Ｄは、上記各実施の形態における送信信号の例である。 FIG. 327D is an example of a transmission signal in each of the above embodiments.
ヘッダパターンは、データを表すパターンと異なっており、かつ、ちらつきをなくすためにはデータを表すパターンと平均輝度が等しくなければならない。２２００．２ａの変調方式のデータパターンと平均輝度が等しくなるパターンとしては、７３２１ｂ、７３２１ｃ、７３２１ｄ、７３２１ｅなどのパターンがある。輝度値を段階的に制御可能な場合は、７３２１ｂが望ましい。７３２１ｅのように、受信機の撮像装置の露光時間に比べて輝度の変化が十分速い場合には、受信機には７３２１ｂのように観察される。７２１９ａの変調方式では、ヘッダパターンを含んだ形で変調方式を定めている。 The header pattern is different from the pattern representing the data, and the average brightness must be equal to the pattern representing the data in order to eliminate the flicker. As a pattern in which the average brightness becomes equal to the data pattern of the modulation method of 2200.2a, there are patterns such as 7321b, 7321c, 7321d, and 7321e. If the brightness value can be controlled stepwise, 7321b is desirable. When the change in brightness is sufficiently faster than the exposure time of the image pickup apparatus of the receiver as in 7321e, it is observed in the receiver as in 7321b. In the modulation method of 7219a, the modulation method is defined including the header pattern.
図３２８Ａは、受信機の撮像モードを説明するための図である。 FIG. 328A is a diagram for explaining an imaging mode of the receiver.
受信機は、通常撮像モードでは、イメージセンサに含まれる全ての露光ライン（撮像ライン）を用いて撮像を行うことによって画像７３０４ａを取得する。例えば、全ての露光ラインは３０００個である。そして、受信機は、その撮像によって、時刻ｔ１〜ｔ４の間に１枚の画像を取得し、さらに、時刻ｔ５〜ｔ８の間に１枚の画像を取得する。
In the normal imaging mode, the receiver acquires the
ここで、画像の一部にのみ送信機である被写体が映っている場合には、受信機はその被写体からの信号を受け取れないことがある。例えば、１００１番目〜２０００番目の露光ラインだけが被写体を捉えて、他の露光ラインが被写体を捉えない場合には、１００１番目〜２０００番目の露光ラインが露光していないとき、すなわち、１番目〜１０００番目の露光ラインが露光しているとき（時刻ｔ１〜ｔ２，ｔ５〜ｔ６）と、２００１番目〜３０００番目の露光ラインが露光しているとき（時刻ｔ３〜ｔ４，ｔ７〜ｔ８）には、その被写体からの信号を受け取ることができない。 Here, if a subject, which is a transmitter, is shown only in a part of the image, the receiver may not receive the signal from the subject. For example, when only the 1001st to 2000th exposure lines capture the subject and the other exposure lines do not capture the subject, the 1001st to 2000th exposure lines are not exposed, that is, the 1st to 2000th exposure lines. When the 1000th exposure line is exposed (time t1 to t2, t5 to t6) and when the 2001 to 3000th exposure line is exposed (time t3 to t4, t7 to t8), The signal from the subject cannot be received.
そこで、受信機は、撮像モードが通常撮像モードから特別撮像モードＡに切り替えられると、全ての露光ラインのうち、被写体を捉えている露光ラインのみを撮像に用いる。つまり、受信機は、時刻ｔ１〜ｔ４の間と、時刻ｔ５〜ｔ８の間とでは、１００１番目〜２０００番目の露光ラインだけを撮像に用いる。また、この特別撮像モードＡでは、時刻ｔ１〜ｔ４または時刻ｔ５〜ｔ８である１フレームの撮像時間の全体に亘って、１００１番目〜２０００番目の露光ラインが順に１回だけ、それぞれ均等に露光される。これにより、被写体からの信号の取りこぼしを防ぐことができる。 Therefore, when the imaging mode is switched from the normal imaging mode to the special imaging mode A, the receiver uses only the exposure line that captures the subject among all the exposure lines for imaging. That is, the receiver uses only the 1001st to 2000th exposure lines for imaging between the times t1 to t4 and between the times t5 and t8. Further, in this special imaging mode A, the 1001st to 2000th exposure lines are uniformly exposed only once in order over the entire imaging time of one frame at time t1 to t4 or time t5 to t8. To. As a result, it is possible to prevent the signal from being missed from the subject.
図３２８Ｂは、受信機の特別撮像モードＡを用いた処理動作を示すフローチャートである。 FIG. 328B is a flowchart showing a processing operation using the special imaging mode A of the receiver.
まず、ステップ７３５４ａで、撮像画像中から、輝線が撮像される部分を見つけ出す。次にステップ７３５４ｂで、手振れ補正機能をオンにする。
First, in
そして、ステップ７３５４ｃで、輝線が撮像される露光ラインの画素のみを用いて撮像を行う特別撮像モードＡに切り替える。特別撮像モードＡでは、露光ラインを露光し始めてから次の露光ラインを撮像し始めるまでの時間が、１枚の画像を撮像する間（例えば時刻ｔ１〜ｔ４）に時間的に等間隔になるように、各露光ラインの露光時間を設定する。なお、露光ラインに垂直な方向の画素を間引いて撮像するとしても良い。
Then, in
これにより、受信機の撮像部からのフレームの出力枚数が通常撮像モードと変わらないため、この特別撮像モードＡは、性能の低い処理装置を有する受信機や、別の処理も行っている処理装置を有する受信機に適している。 As a result, the number of frames output from the imaging unit of the receiver is the same as in the normal imaging mode. Therefore, in this special imaging mode A, a receiver having a processing device having low performance or a processing device that also performs another processing. Suitable for receivers with.
さらに、ステップ７３５４ｄで、特別撮像モードＡで撮像する領域を指定する。ここで、前記撮像する領域として、輝線が撮像されている領域より狭い領域を指定することで、手振れなどにより撮像方向が変化した場合でも輝線を撮像し続けることができる。
Further, in
そして、ステップ７３５４ｅで、撮像画像の移動を検出する。その移動方向に前記撮像する領域を移動させることで、撮像画像の位置が変化した場合でも輝線を撮像し続けることができる。次に、ステップ７３５４ｆで、輝線のパターンから送信された情報を取得する。
Then, in
図３２９Ａは、受信機の他の撮像モードを説明するための図である。 FIG. 329A is a diagram for explaining other imaging modes of the receiver.
受信機は、撮像モードが通常撮像モードから特別撮像モードＢに切り替えられると、全ての露光ラインのうち、被写体を捉えている露光ラインのみを撮像に用いる。つまり、受信機は、時刻ｔ１〜ｔ４の間と、時刻ｔ５〜ｔ８の間とでは、１００１番目〜２０００番目の露光ラインをだけを撮像に用いる。また、この特別撮像モードＢでは、時刻ｔ１〜ｔ４または時刻ｔ５〜ｔ８である１フレームの撮像時間の全体に亘って、１００１番目〜２０００番目の露光ラインが順次露光されることが複数回実行される。これにより、被写体からの信号の取りこぼしを防ぐことができる。 When the imaging mode is switched from the normal imaging mode to the special imaging mode B, the receiver uses only the exposure line that captures the subject among all the exposure lines for imaging. That is, the receiver uses only the 1001st to 2000th exposure lines for imaging between the times t1 to t4 and between the times t5 and t8. Further, in this special imaging mode B, the 1001st to 2000th exposure lines are sequentially exposed a plurality of times over the entire imaging time of one frame at time t1 to t4 or time t5 to t8. To. As a result, it is possible to prevent the signal from being missed from the subject.
図３２９Ｂは、受信機の特別撮像モードＢを用いた処理動作を示すフローチャートである。 FIG. 329B is a flowchart showing a processing operation using the special imaging mode B of the receiver.
まず、ステップ７３５５ａで、撮像画像中から、輝線が撮像される部分を見つけ出す。次にステップ７３５５ｂで、手振れ補正機能をオンにする。
First, in
そして、ステップ７３５５ｃで、輝線が撮像される露光ラインの画素のみを用いて撮像を行う特別撮像モードＢに切り替える。特別撮像モードＢでは、輝線が撮像される領域のみ撮像を行うことで、高速に撮像を行う。なお、露光ラインに垂直な方向の画素を間引いて撮像するとしても良い。
Then, in
次にステップ７３５５ｄで、特別撮像モードＢで撮像する領域を指定する。ここで、前記撮像する領域として、輝線が撮像されている領域より狭い領域を指定することで、手振れなどにより撮像方向が変化した場合でも輝線を撮像し続けることができる。
Next, in
そして、ステップ７３５５ｅで、撮像画像の移動を検出する。その移動方向に前記撮像する領域を移動させることで、撮像画像の位置が変化した場合でも輝線を撮像し続けることができる。次に、ステップ７３５５ｆで、輝線のパターンから送信された情報を取得する。
Then, in
図３３０Ａは、受信機のさらに他の撮像モードを説明するための図である。 FIG. 330A is a diagram for explaining still another imaging mode of the receiver.
受信機は、撮像モードが通常撮像モードから特別撮像モードＣに切り替えられると、全ての露光ラインのうち、被写体を捉えている露光ラインのみを撮像に用いる。つまり、受信機は、時刻ｔ１〜ｔ４の間と、時刻ｔ５〜ｔ８の間とでは、１００１番目〜２０００番目の露光ラインをだけを撮像に用いる。また、この特別撮像モードＣでは、時刻ｔ１〜ｔ４または時刻ｔ５〜ｔ８である１フレームの撮像時間の全体に亘って、１００１番目〜２０００番目の露光ラインが順次露光されることが複数回実行される。さらに、この特別撮像モードＣでは、その複数回実行されることによって得られる複数の画像がそれぞれ個別に出力されず、その複数の画像を含む１つの画像（通常撮像モードで生成される画像と同じサイズの画像）が出力される。これにより、被写体からの信号の取りこぼしを防ぐことができる。 When the imaging mode is switched from the normal imaging mode to the special imaging mode C, the receiver uses only the exposure line that captures the subject among all the exposure lines for imaging. That is, the receiver uses only the 1001st to 2000th exposure lines for imaging between the times t1 to t4 and between the times t5 and t8. Further, in this special imaging mode C, the 1001st to 2000th exposure lines are sequentially exposed a plurality of times over the entire imaging time of one frame at time t1 to t4 or time t5 to t8. To. Further, in this special imaging mode C, a plurality of images obtained by being executed a plurality of times are not individually output, and one image including the plurality of images (same as an image generated in the normal imaging mode). Size image) is output. As a result, it is possible to prevent the signal from being missed from the subject.
図３３０Ｂは、受信機の特別撮像モードＣを用いた処理動作を示すフローチャートである。 FIG. 330B is a flowchart showing a processing operation using the special imaging mode C of the receiver.
まず、ステップ７３５６ａで、撮像画像中から、輝線が撮像される部分を見つけ出す。次にステップ７３５６ｂで、手振れ補正機能をオンにする。
First, in
そして、ステップ７３５６ｃで、輝線が撮像される露光ラインの画素のみを用いて撮像を行う特別撮像モードＣに切り替える。特別撮像モードＣは、輝線が撮像される領域のみ撮像を行い、元の画素配置は無視して、撮像結果を並べることで一枚の画像を作成する方法である。なお、露光ラインに垂直な方向の画素を間引いて撮像するとしても良い。
Then, in
こにより、受信機の撮像部からのフレームの出力枚数が通常撮像モードと変わらないため、この特別撮像モードＣは、性能の低い処理装置を有する受信機や、別の処理も行っている処理装置を有する受信機に適している。 As a result, the number of frames output from the imaging unit of the receiver is the same as in the normal imaging mode. Therefore, in this special imaging mode C, a receiver having a processing device having low performance or a processing device that also performs another processing. Suitable for receivers with.
さらに、ステップ７３５６ｄで、特別撮像モードＣで撮像する領域を指定する。ここで、前記撮像する領域として、輝線が撮像されている領域より狭い領域を指定することで、手振れなどにより撮像方向が変化した場合でも輝線を撮像し続けることができる。
Further, in
そして、ステップ７３５６ｅで、撮像画像の移動を検出する。その移動方向に前記撮像する領域を移動させることで、撮像画像の位置が変化した場合でも輝線を撮像し続けることができる。次に、ステップ７３５６ｆで、輝線のパターンから送信された情報を取得する。
Then, in
以上、一つまたは複数の態様に係る情報通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。 Although the information communication method according to one or more aspects has been described above based on the embodiment, the present invention is not limited to this embodiment. As long as the gist of the present invention is not deviated, various modifications that can be conceived by those skilled in the art are applied to the present embodiment, and a form constructed by combining components in different embodiments is also within the scope of one or more embodiments. May be included within.
図３３１Ａは、本発明の一態様に係る情報通信方法のフローチャートである。 FIG. 331A is a flowchart of an information communication method according to one aspect of the present invention.
本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップＳＡ１１、ＳＡ１２、およびＳＡ１３を含む。 The information communication method according to one aspect of the present invention is an information communication method for acquiring information from a subject, and includes steps SA11, SA12, and SA13.
つまり、この情報通信方法は、イメージセンサによる前記被写体の撮像によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップ（ＳＡ１１）と、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む画像を取得する撮像ステップ（ＳＡ１２）と、取得された前記画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップ（ＳＡ１３）とを含む。 That is, in this information communication method, in the image obtained by imaging the subject by the image sensor, a bright line corresponding to an exposure line included in the image sensor is generated according to a change in the brightness of the subject. An exposure time setting step (SA11) for setting an exposure time and an imaging step (SA12) in which the image sensor acquires an image including the emission line by taking an image of the subject whose brightness changes at the set exposure time. ), And an information acquisition step (SA13) of acquiring information by demolishing the data specified by the bright line pattern included in the acquired image.
図３３１Ｂは、本発明の一態様に係る情報通信装置のブロック図である。 FIG. 331B is a block diagram of an information communication device according to an aspect of the present invention.
本発明の一態様に係る情報通信装置Ａ１０は、被写体から情報を取得する情報通信装置であって、構成要素Ａ１１、Ａ１２、およびＡ１３を備える。 The information communication device A10 according to one aspect of the present invention is an information communication device that acquires information from a subject, and includes components A11, A12, and A13.
つまり、この情報通信装置Ａ１０は、イメージセンサによる前記被写体の撮像によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部Ａ１１と、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む画像を取得する前記イメージセンサである撮像部Ａ１２と、取得された前記画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する復調部Ａ１３とを備える。 That is, the information communication device A10 is such that the image obtained by imaging the subject by the image sensor has a bright line corresponding to the exposure line included in the image sensor according to the change in the brightness of the subject. The exposure time setting unit A11 that sets the exposure time of the image sensor, and the image sensor A12 that acquires an image including the emission line by imaging the subject whose brightness changes at the set exposure time. The demographic unit A13 is provided with a demographic unit A13 for acquiring information by demolishing data specified by the bright line pattern included in the acquired image.
図３３１Ｃは、本発明の一態様に係る情報通信方法のフローチャートである。 FIG. 331C is a flowchart of an information communication method according to one aspect of the present invention.
本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップＳＡ２１〜ＳＡ２６を含む。 The information communication method according to one aspect of the present invention is an information communication method for acquiring information from a subject, and includes steps SA21 to SA26.
つまり、この情報通信方法は、複数の露光ラインを有するイメージセンサを用いて、前記被写体を撮像することにより第１の画像を取得する第１の撮像ステップ（ＳＡ２１）と、前記第１の画像から、前記被写体が撮像されている範囲を検出する検出ステップ（ＳＡ２２）と、前記複数の露光ラインのうち、前記被写体が撮像されている範囲を撮像する所定の露光ラインを決定する決定ステップ（ＳＡ２３）と、前記所定の露光ラインを用いて取得する第２の画像に、前記所定の露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップ（ＳＡ２４）と、前記所定の露光ラインを用いて、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む第２の画像を取得する第２の撮像ステップ（ＳＡ２５）と、取得された前記第２の画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップ（ＳＡ２６）とを含む。 That is, in this information communication method, from the first imaging step (SA21) of acquiring a first image by imaging the subject using an image sensor having a plurality of exposure lines, and the first image. A detection step (SA22) for detecting the range in which the subject is imaged, and a determination step (SA23) for determining a predetermined exposure line for imaging the range in which the subject is imaged among the plurality of exposure lines. The exposure that sets the exposure time of the image sensor so that a bright line corresponding to the predetermined exposure line is generated in the second image acquired by using the predetermined exposure line according to the change in the brightness of the subject. A second image including the bright line is acquired by taking an image of the subject whose brightness changes with the time setting step (SA24) and the predetermined exposure line at the set exposure time. It includes an imaging step (SA25) and an information acquisition step (SA26) for acquiring information by demolishing the data specified by the bright line pattern included in the acquired second image.
図３３１Ｄは、本発明の一態様に係る情報通信装置のブロック図である。 FIG. 331D is a block diagram of an information communication device according to an aspect of the present invention.
本発明の一態様に係る情報通信装置Ａ２０は、被写体から情報を取得する情報通信装置であって、構成要素Ａ２１〜Ａ２６を備える。 The information communication device A20 according to one aspect of the present invention is an information communication device that acquires information from a subject, and includes components A21 to A26.
つまり、この情報通信装置Ａ２０は、複数の露光ラインを有するイメージセンサを用いて、前記被写体を撮像することにより第１の画像を取得する第１の画像取得部Ａ２１と、前記第１の画像から、前記被写体が撮像されている範囲を検出する撮像範囲検出部Ａ２２と、前記複数の露光ラインのうち、前記被写体が撮像されている範囲を撮像する所定の露光ラインを決定する露光ライン決定部Ａ２３と、前記所定の露光ラインを用いて取得する第２の画像に、前記所定の露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部Ａ２４と、前記所定の露光ラインを用いて、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む第２の画像を取得する第２の画像取得部Ａ２５と、取得された前記第２の画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する復調部Ａ２６とを備える。 That is, the information communication device A20 is composed of a first image acquisition unit A21 that acquires a first image by imaging the subject using an image sensor having a plurality of exposure lines, and the first image. An exposure range detection unit A22 that detects the range in which the subject is imaged, and an exposure line determination unit A23 that determines a predetermined exposure line that images the range in which the subject is imaged among the plurality of exposure lines. The exposure that sets the exposure time of the image sensor so that a bright line corresponding to the predetermined exposure line is generated in the second image acquired by using the predetermined exposure line according to the change in the brightness of the subject. A second image acquisition that acquires a second image including the emission line by taking an image of the subject whose brightness changes with the time setting unit A24 and the predetermined exposure line at the set exposure time. A part A25 and a demodizing unit A26 for acquiring information by democratizing the data specified by the bright line pattern included in the acquired second image are provided.
なお、上述の輝線のパターンは、各輝線の間隔の違いと同義である。 The above-mentioned bright line pattern is synonymous with the difference in the interval between the bright lines.
図３３２は、本発明の一態様に係る情報通信方法によって得られる画像の一例を示す図である。 FIG. 332 is a diagram showing an example of an image obtained by the information communication method according to one aspect of the present invention.
例えば、２００Ｈｚ以上の周波数で輝度変化する被写体に対して、露光時間が１０ミリ秒よりも短く設定される。ここで、イメージセンサに含まれる複数の露光ラインのそれぞれは互いに異なるタイミングで順次露光される。このような場合には、図３３２に示すように、イメージセンサによって得られる画像には、幾つかの輝線が生じる。つまり、その画像は露光ラインに平行な輝線を含む。また、情報取得ステップ（ＳＡ１３またはＳＡ２６）では、その輝線のパターンのうち、露光ラインに垂直な方向のパターンによって特定されるデータを復調する。 For example, the exposure time is set shorter than 10 milliseconds for a subject whose brightness changes at a frequency of 200 Hz or higher. Here, each of the plurality of exposure lines included in the image sensor is sequentially exposed at different timings. In such a case, as shown in FIG. 332, some emission lines are generated in the image obtained by the image sensor. That is, the image contains emission lines parallel to the exposure line. Further, in the information acquisition step (SA13 or SA26), among the bright line patterns, the data specified by the pattern in the direction perpendicular to the exposure line is demodulated.
このような図３３１Ａおよび図３３１Ｂによって示される情報通信方法および情報通信装置Ａ１０では、被写体の輝度変化によって送信される情報が、イメージセンサの露光ラインの露光によって取得されるため、例えば無線通信を行うための特別な通信デバイスを必要とすることなく、多様な機器間の通信を可能とすることができる。さらに、図３３１Ｃおよび図３３１Ｄによって示される情報通信方法および情報通信装置Ａ２０では、イメージセンサに含まれる全ての露光ラインのうち、被写体を捉えている露光ラインのみが、輝線を含む第２の画像の取得に用いられるため、被写体を捉えていない露光ラインに対する処理を省くことができ、情報取得の効率を高めることができるとともに、被写体からの情報の取りこぼしを防ぐことができる。 In the information communication method and the information communication device A10 shown by FIGS. 331A and 331B, the information transmitted by the change in the brightness of the subject is acquired by the exposure of the exposure line of the image sensor, so that wireless communication is performed, for example. It is possible to enable communication between various devices without requiring a special communication device for the purpose. Further, in the information communication method and the information communication device A20 shown by FIGS. 331C and 331D, of all the exposure lines included in the image sensor, only the exposure line that captures the subject is the second image including the emission line. Since it is used for acquisition, it is possible to omit processing for an exposure line that does not capture the subject, improve the efficiency of information acquisition, and prevent information from being missed from the subject.
図３３３Ａは、本発明の他の態様に係る情報通信方法のフローチャートである。 FIG. 333A is a flowchart of an information communication method according to another aspect of the present invention.
本発明の他の態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、ステップＳＢ１１、ＳＢ１２およびＳＢ１３を含む。 The information communication method according to another aspect of the present invention is an information communication method for transmitting a signal by changing the brightness, and includes steps SB11, SB12, and SB13.
つまり、この情報通信方法は、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップ（ＳＢ１１）と、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する第１の送信ステップ（ＳＢ１２）と、前記発光体が、前記送信対象の信号を送信してから３３ミリ秒以内に、決定された前記パターンと同一のパターンにしたがって輝度変化することによって前記送信対象の信号と同一の信号を送信する第２の送信ステップ（ＳＢ１３）とを含む。そして、前記決定ステップ（ＳＢ１１）では、前記輝度変化に対して５ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように前記パターンを決定する。 That is, in this information communication method, the transmission is performed by a determination step (SB11) of determining a pattern of luminance change by modulating a signal to be transmitted and a luminous body changing the luminance according to the determined pattern. Within 33 milliseconds after the first transmission step (SB12) of transmitting the signal of interest and the light emitter transmits the signal of the transmission target, the brightness changes according to the same pattern as the determined pattern. This includes a second transmission step (SB13) of transmitting the same signal as the signal to be transmitted. Then, in the determination step (SB11), the pattern is determined so that each luminance value when the moving average is performed with a width of 5 milliseconds or more with respect to the luminance change falls within a predetermined range.
図３３３Ｂは、本発明の他の態様に係る情報通信装置のブロック図である。 FIG. 333B is a block diagram of an information communication device according to another aspect of the present invention.
本発明の他の態様に係る情報通信装置Ｂ１０は、輝度変化によって信号を送信する情報通信装置であって、構成要素Ｂ１１およびＢ１２を備える。 The information communication device B10 according to another aspect of the present invention is an information communication device that transmits a signal by changing the brightness, and includes components B11 and B12.
つまり、この情報通信装置Ｂ１０は、送信対象の信号を変調することによって、輝度変化のパターンを決定する輝度変化パターン決定部Ｂ１１と、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信し、前記送信対象の信号を送信してから３３ミリ秒以内に、決定された前記パターンと同一のパターンにしたがって輝度変化することによって前記送信対象の信号と同一の信号を送信する発光体Ｂ１２とを備える。そして、前記輝度変化パターン決定部Ｂ１１は、前記輝度変化に対して５ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように前記パターンを決定する。 That is, the information communication device B10 has a luminance change pattern determining unit B11 that determines a pattern of luminance change by modulating the signal of the transmission target, and a luminance change pattern determining unit B11 that determines the luminance change pattern according to the determined pattern to change the luminance of the transmission target. Light emission that transmits a signal, and within 33 milliseconds after transmitting the signal to be transmitted, transmits the same signal as the signal to be transmitted by changing the brightness according to the same pattern as the determined pattern. It has a body B12. Then, the luminance change pattern determination unit B11 determines the pattern so that each luminance value when moving averaged with a width of 5 milliseconds or more with respect to the luminance change falls within a predetermined range.
このような図３３３Ａおよび図３３３Ｂによって示される情報通信方法および情報通信装置Ｂ１０では、輝度変化に対して５ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化のパターンが決定されるため、人がちらつきを感じるのを防ぎならが、輝度変化によって信号を送信することができる。さらに、３３ミリ秒以内に同じ信号が送信されるため、信号を受信する受信機にブランキングがあっても、確実に信号をその受信機に送信することができる。 In the information communication method and the information communication device B10 shown by FIGS. 333A and 333B, each brightness value when moving averaged with a width of 5 milliseconds or more with respect to the change in brightness is within a predetermined range. Since the pattern of the brightness change is determined, the signal can be transmitted by the brightness change, although it is possible to prevent the person from feeling flicker. Further, since the same signal is transmitted within 33 milliseconds, even if the receiver receiving the signal has blanking, the signal can be reliably transmitted to the receiver.
図３３４Ａは、本発明のさらに他の態様に係る情報通信方法のフローチャートである。 FIG. 334A is a flowchart of an information communication method according to still another aspect of the present invention.
本発明のさらに他の態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、ステップＳＣ１１、ＳＣ１２、ＳＣ１３およびＳＣ１４を含む。 The information communication method according to still another aspect of the present invention is an information communication method for transmitting a signal by changing the brightness, and includes steps SC11, SC12, SC13 and SC14.
つまり、この情報通信方法は、送信対象の信号を変調することによって複数の周波数を決定する決定ステップ（ＳＣ１１）と、発光体が、決定された前記複数の周波数のうちの何れかの一定の周波数にしたがって輝度変化することによって信号を送信する送信ステップ（ＳＣ１２）と、前記輝度変化に用いられる周波数を、決定された複数の周波数のうちの他の周波数に３３ミリ秒以上の周期で順に変更する変更ステップ（ＳＣ１４）とを含む。なお、送信ステップＳＣ１２が実行された後には、決定された全ての周波数が輝度変化に用いられたか否かが判断され（ＳＣ１３）、全ての周波数が用いられていないと判断された場合に（ＳＣ１３でＮ）、更新ステップＳＣ１４が実行されてもよい。また、前記送信ステップ（ＳＣ１２）では、前記発光体は、前記輝度変化に対して５ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化する。 That is, in this information communication method, a determination step (SC11) for determining a plurality of frequencies by modulating a signal to be transmitted and a constant frequency of any one of the plurality of determined frequencies are determined by the light emitter. The transmission step (SC12) for transmitting a signal by changing the brightness according to the brightness change, and the frequency used for the brightness change are sequentially changed to other frequencies among a plurality of determined frequencies in a cycle of 33 milliseconds or more. Includes a change step (SC14). After the transmission step SC12 is executed, it is determined whether or not all the determined frequencies are used for the luminance change (SC13), and when it is determined that all the frequencies are not used (SC13). In N), the update step SC14 may be executed. Further, in the transmission step (SC12), the luminous body changes the luminance so that each luminance value when the moving average is performed with a width of 5 milliseconds or more with respect to the luminance change falls within a predetermined range.
図３３４Ｂは、本発明のさらに他の態様に係る情報通信装置のブロック図である。 FIG. 334B is a block diagram of an information communication device according to still another aspect of the present invention.
本発明のさらに他の態様に係る情報通信装置Ｃ１０は、輝度変化によって信号を送信する情報通信装置であって、構成要素Ｃ１１、Ｃ１２およびＣ１３を備える。 The information communication device C10 according to still another aspect of the present invention is an information communication device that transmits a signal by changing the brightness, and includes components C11, C12, and C13.
つまり、この情報通信装置Ｃ１０は、送信対象の信号を変調することによって複数の周波数を決定する周波数決定部Ｃ１１と、決定された前記複数の周波数のうちの何れかの一定の周波数にしたがって輝度変化することによって信号を送信する発光体Ｃ１３と、前記輝度変化に用いられる周波数を、決定された複数の周波数のうちの他の周波数に３３ミリ秒以上の周期で順に変更する周波数変更部Ｃ１２とを備える。また、前記発光体Ｃ１３は、前記輝度変化に対して５ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化する。 That is, the information communication device C10 changes the brightness according to a certain frequency of the frequency determining unit C11 that determines a plurality of frequencies by modulating the signal to be transmitted and the determined plurality of frequencies. The illuminant C13 that transmits a signal by the operation, and the frequency changing unit C12 that sequentially changes the frequency used for the brightness change to another frequency among the determined plurality of frequencies in a cycle of 33 milliseconds or more. Be prepared. Further, the luminous body C13 changes the luminance so that each luminance value when the moving average is performed with a width of 5 milliseconds or more with respect to the luminance change falls within a predetermined range.
このような図３３４Ａおよび図３３４Ｂによって示される情報通信方法および情報通信装置Ｃ１０では、輝度変化に対して５ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化のパターンが決定されるため、人がちらつきを感じるのを防ぎならが、輝度変化によって信号を送信することができる。さらに、ＦＭ変調された多くの信号を送信することができる。 In the information communication method and the information communication device C10 shown by FIGS. 334A and 334B, each brightness value when moving averaged with a width of 5 milliseconds or more with respect to the change in brightness is within a predetermined range. Since the pattern of the brightness change is determined, the signal can be transmitted by the brightness change, although it is possible to prevent the person from feeling flicker. In addition, many FM-modulated signals can be transmitted.
また、情報通信装置は、自らのユニークなＩＤと機器の状態情報とを含む機器情報を管理する情報管理部と、発光素子と、前記発光素子の点滅パターンとして情報を送信する光送信部とを有し、前記光送信部は、前記機器の内部の状態に変化があった場合に、前記機器情報を光の点滅パターンに変換して送信してもよい。 Further, the information communication device includes an information management unit that manages device information including its own unique ID and device status information, a light emitting element, and an optical transmission unit that transmits information as a blinking pattern of the light emitting element. When the internal state of the device is changed, the optical transmission unit may convert the device information into a blinking pattern of light and transmit the information.
また、前記情報通信装置は、さらに、自らの起動状態、またはユーザの使用履歴を示す、機器内部のセンシングされた情報を保存する起動履歴管理部を備え、前記光送信部は、利用するクロック発生装置のあらかじめ登録された性能情報を取得し、送信速度を変更してもよい。 Further, the information communication device further includes an activation history management unit that stores the sensed information inside the device, which indicates its own activation state or the usage history of the user, and the optical transmission unit generates a clock to be used. The transmission speed may be changed by acquiring the pre-registered performance information of the device.
また、前記発光素子は、第一および第２の発光素子を備え、光の点滅によって情報を送信するための前記第一の発光素子の周囲に、前記第二の発光素子が配置されており、前記第二の発光素子は、前記第一の発光素子の点滅による情報発信が一定回数繰り返される場合に、情報発信の終了と開始の間に発光してもよい。 Further, the light emitting element includes first and second light emitting elements, and the second light emitting element is arranged around the first light emitting element for transmitting information by blinking light. The second light emitting element may emit light between the end and the start of the information transmission when the information transmission by blinking of the first light emitting element is repeated a certain number of times.
また、前記情報通信装置は、時間差をおいて各撮像素子を露光させる撮像部と、前記各撮像素子の露光時間の違いを利用して、被撮像物の１ミリ秒以下の時間平均輝度の変化を、１枚の撮像画像中から読み取る信号解析部とを備えてもよい。 Further, the information communication device utilizes a difference in the exposure time between the image pickup unit that exposes each image pickup element with a time difference and the exposure time of each image pickup element to change the time average brightness of the object to be imaged in 1 millisecond or less. May be provided with a signal analysis unit that reads from one captured image.
また、前記時間平均輝度は、３万分の１秒以上の時間平均輝度であってもよい。 Further, the time average brightness may be a time average brightness of 1 / 30,000 second or more.
前記情報通信装置は、さらに、送信情報を発光パターンに変調し、発光パターンによって情報を送信してもよい。 The information communication device may further modulate the transmission information into a light emission pattern and transmit the information according to the light emission pattern.
前記情報通信装置は、送信信号を１ミリ秒以下の時間平均輝度の変化で表現し、かつ、６０ミリ秒以上の時間平均輝度は一様であるように発光部の輝度を変化させてもよい。 The information communication device may express the transmission signal by a change in the time average brightness of 1 millisecond or less, and may change the brightness of the light emitting unit so that the time average brightness of 60 milliseconds or more is uniform. ..
前記情報通信装置は、前記送信信号を３万分の１秒以上の時間平均輝度の変化で表現してもよい。 The information communication device may express the transmission signal by a change in time average brightness of 1 / 30,000 second or more.
また、前記送信信号と、近接する同種の情報通信装置が時間平均輝度で表現している信号との共通部分は、前記同種の情報通信装置の発光部と同じタイミングで発光部を発光させることで送信されてもよい。 Further, the common portion between the transmission signal and the signal expressed by the time average brightness of the adjacent information communication device of the same type is that the light emitting unit emits light at the same timing as the light emitting unit of the information communication device of the same type. It may be transmitted.
さらに、前記送信信号と、近接する同種の情報通信装置が時間平均輝度で表現している信号との非共通部分は、前記同種の情報通信装置が時間平均輝度で信号を表現していない時間帯に、発光部の時間平均輝度によって表現されてもよい。 Further, the non-common part between the transmission signal and the signal represented by the time average brightness of the adjacent information communication device of the same type is a time zone in which the information communication device of the same type does not express the signal by the time average brightness. In addition, it may be expressed by the time average brightness of the light emitting unit.
また、前記情報通信装置は、前記送信信号を時間平均輝度の変化で表現している第１の発光部と、前記送信信号を時間平均輝度の変化で表現していない第２の発光部を備え、第１の発光部と第２の発光部の位置関係によって信号を送信してもよい。 Further, the information communication device includes a first light emitting unit in which the transmission signal is represented by a change in time average brightness, and a second light emitting unit in which the transmission signal is not represented by a change in time average brightness. , The signal may be transmitted depending on the positional relationship between the first light emitting unit and the second light emitting unit.
また、集中制御装置は、上述の何れかの情報通信装置を集中制御する制御部を備えてもよい。 Further, the centralized control device may include a control unit that centrally controls any of the above-mentioned information communication devices.
また、建造物は、上述の何れかの情報通信装置、または、上述の集中制御装置を備えてもよい。 Further, the building may be provided with any of the above-mentioned information communication devices or the above-mentioned centralized control device.
また、列車は、上述の何れかの情報通信装置、または、上述の集中制御装置を備えてもよい。 Further, the train may be equipped with any of the above-mentioned information communication devices or the above-mentioned centralized control device.
また、撮像装置は、２次元画像を撮像する撮像装置であって、全ての撮像素子を露光させて撮像するよりも高速に、任意の撮像素子のみを露光させて撮像してもよい。 Further, the image pickup device is an image pickup device that captures a two-dimensional image, and only an arbitrary image pickup element may be exposed and imaged at a higher speed than all the image pickup elements are exposed and imaged.
また、前記任意の撮像素子は、１ミリ秒以下の時間平均輝度の変化が最も大きい画素を撮像する撮像素子、または、その撮像素子を含む１列の撮像素子であってもよい。 Further, the arbitrary image sensor may be an image sensor that images a pixel having the largest change in time average brightness of 1 millisecond or less, or a row of image sensors including the image sensor.
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図３３１Ａ、図３３１Ｃ、図３３３Ａおよび図３３４Ａのうちの何れかのフローチャートによって示される情報通信方法をコンピュータに実行させる。 In each of the above embodiments, each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. For example, the program causes the computer to execute the information communication method shown by the flowchart of any one of FIGS. 331A, 331C, 333A and 334A.
（上記各実施の形態およびそれらの変形例のまとめ）
本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、複数の露光ラインを有するイメージセンサを用いて、前記被写体を撮像することにより第１の画像を取得する第１の撮像ステップと、前記第１の画像から、前記被写体が撮像されている範囲を検出する検出ステップと、前記複数の露光ラインのうち、前記被写体が撮像されている範囲を撮像する所定の露光ラインを決定する決定ステップと、前記所定の露光ラインを用いて取得する第２の画像に、前記所定の露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記所定の露光ラインを用いて、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む第２の画像を取得する第２の撮像ステップと、取得された前記第２の画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、を含む。
(Summary of each of the above embodiments and modifications thereof)
The information communication method according to one aspect of the present invention is an information communication method for acquiring information from a subject, and acquires a first image by imaging the subject using an image sensor having a plurality of exposure lines. A first imaging step, a detection step of detecting a range in which the subject is imaged from the first image, and a predetermined range in which the subject is imaged among the plurality of exposure lines. The image is such that a bright line corresponding to the predetermined exposure line is generated in the determination step for determining the exposure line and the second image acquired by using the predetermined exposure line according to the change in the brightness of the subject. By using the exposure time setting step for setting the exposure time of the sensor and the predetermined exposure line to image the subject whose brightness changes at the set exposure time, a second image including the emission line is obtained. It includes a second imaging step to be acquired and an information acquisition step to acquire information by demolishing the data specified by the pattern of the emission line included in the acquired second image.
これにより、被写体の輝度変化によって送信される情報が、イメージセンサの露光ラインの露光によって取得されるため、例えば無線通信を行うための特別な通信デバイスを必要とすることなく、多様な機器間の通信を可能とすることができる。さらに、イメージセンサに含まれる全ての露光ラインのうち、被写体を捉えている露光ラインのみが、輝線を含む第２の画像の取得に用いられるため、被写体を捉えていない露光ラインに対する処理を省くことができ、情報取得の効率を高めることができるとともに、被写体からの情報の取りこぼしを防ぐことができる。なお、露光ラインは、イメージセンサに含まれる、同時に露光する複数の画素からなる列または行である。また、輝線は、例えば図２２などによって示される撮像画像中に含まれる線である。 As a result, the information transmitted by the change in the brightness of the subject is acquired by the exposure of the exposure line of the image sensor, so that, for example, a special communication device for performing wireless communication is not required, and the information is between various devices. Communication can be enabled. Further, of all the exposure lines included in the image sensor, only the exposure line that captures the subject is used for acquiring the second image including the emission line, so that the processing for the exposure line that does not capture the subject is omitted. This makes it possible to improve the efficiency of information acquisition and prevent information from being missed from the subject. The exposure line is a column or row included in the image sensor and composed of a plurality of pixels to be exposed at the same time. The bright line is a line included in the captured image shown by, for example, FIG. 22.
また、前記所定の露光ラインは、前記複数の露光ラインのうち、前記被写体が撮像されている範囲を撮像する露光ラインのみを含み、前記被写体が撮像されていない範囲を撮像する露光ラインを含まなくてもよい。 Further, the predetermined exposure line includes only the exposure line that captures the range in which the subject is imaged among the plurality of exposure lines, and does not include the exposure line that images the range in which the subject is not imaged. You may.
これにより、より確実に情報取得の効率を高めることができるとともに、被写体の情報の取りこぼしを防ぐことができる。 As a result, the efficiency of information acquisition can be increased more reliably, and information on the subject can be prevented from being missed.
また、前記第２の撮像ステップでは、前記第１の画像を取得する際の第１の撮像時間を、前記所定の露光ラインに含まれるライン数で等分した第２の撮像時間を取得し、前記第２の撮像時間を、前記所定の露光ラインに含まれる各露光ラインの撮像時間としてもよい。 Further, in the second imaging step, the second imaging time obtained by equally dividing the first imaging time when acquiring the first image by the number of lines included in the predetermined exposure line is acquired. The second imaging time may be used as the imaging time of each exposure line included in the predetermined exposure line.
これにより、例えば図３２８Ａおよび図３２８Ｂに示すように、送信機である被写体から適切に情報を取得することができる。 Thereby, as shown in FIGS. 328A and 328B, for example, information can be appropriately acquired from the subject which is the transmitter.
また、前記第２の撮像ステップでは、前記第１の撮像ステップにおける前記イメージセンサの各露光ラインの撮像時間を、前記所定の露光ラインに含まれる各露光ラインの撮像時間としてもよい。 Further, in the second imaging step, the imaging time of each exposure line of the image sensor in the first imaging step may be the imaging time of each exposure line included in the predetermined exposure line.
これにより、例えば図３２９Ａおよび図３２９Ｂに示すように、送信機である被写体から適切に情報を取得することができる。 Thereby, as shown in FIGS. 329A and 329B, for example, information can be appropriately acquired from the subject which is the transmitter.
また、前記第２の撮像ステップでは、前記所定の露光ラインにより撮像した複数の前記第２の画像を統合して、前記第１の画像と同じ画像サイズである第３の画像を生成し、前記情報取得ステップでは、前記第３の画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得してもよい。 Further, in the second imaging step, a plurality of the second images captured by the predetermined exposure line are integrated to generate a third image having the same image size as the first image. In the information acquisition step, information may be acquired by demodulating the data specified by the bright line pattern included in the third image.
これにより、例えば図３３０Ａおよび図３３０Ｂに示すように、送信機である被写体から適切に情報を取得することができる。 Thereby, as shown in FIGS. 330A and 330B, for example, information can be appropriately acquired from the subject which is the transmitter.
また、前記決定ステップでは、前記複数の露光ラインのうち、前記被写体が撮像されている範囲よりも狭い範囲を撮像する露光ラインを前記所定の露光ラインとして決定してもよい。 Further, in the determination step, an exposure line for imaging a range narrower than the range in which the subject is imaged may be determined as the predetermined exposure line among the plurality of exposure lines.
これにより、例えば図３２８Ｂ、図３２９Ｂおよび図３３０Ｂに示すように、手振れなどによる影響を受けることなく、送信機である被写体から適切に情報を取得することができる。 As a result, as shown in FIGS. 328B, 329B and 330B, for example, information can be appropriately acquired from the subject which is the transmitter without being affected by camera shake or the like.
また、前記イメージセンサの前記複数の露光ラインのうち、全ての露光ラインを用いて前記被写体を撮像する第１モードと、前記イメージセンサの前記複数の露光ラインのうち、前記所定の露光ラインを用いて前記被写体を撮像する第２モードと、切り替えが可能であってもよい。 Further, the first mode in which the subject is imaged using all the exposure lines among the plurality of exposure lines of the image sensor and the predetermined exposure line among the plurality of exposure lines of the image sensor are used. It may be possible to switch between the second mode of capturing the subject and the second mode.
これにより、切り替えを行うことによって、送信機である被写体から適切に情報を取得することができる。 As a result, information can be appropriately acquired from the subject, which is the transmitter, by switching.
本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮像によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮像することによって、前記輝線を含む画像を取得する撮像ステップと、取得された前記画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、を含む。 The information communication method according to one aspect of the present invention is an information communication method for acquiring information from a subject, and an image obtained by imaging the subject by an image sensor has a bright line corresponding to an exposure line included in the image sensor. The exposure time setting step of setting the exposure time of the image sensor and the image sensor taking an image of the subject whose brightness changes at the set exposure time so that This includes an imaging step of acquiring an image including the emission line and an information acquisition step of acquiring information by demolishing the data specified by the pattern of the emission line included in the acquired image.
これにより、被写体の輝度変化によって送信される情報が、イメージセンサの露光ラインの露光によって取得されるため、例えば無線通信を行うための特別な通信デバイスを必要とすることなく、多様な機器間の通信を可能とすることができる。なお、露光ラインは、イメージセンサに含まれる、同時に露光する複数の画素からなる列または行である。また、輝線は、例えば図２２などによって示される撮像画像中に含まれる線である。 As a result, the information transmitted by the change in the brightness of the subject is acquired by the exposure of the exposure line of the image sensor, so that, for example, a special communication device for performing wireless communication is not required, and the information is between various devices. Communication can be enabled. The exposure line is a column or row included in the image sensor and composed of a plurality of pixels to be exposed at the same time. The bright line is a line included in the captured image shown by, for example, FIG. 22.
例えば、前記撮像ステップでは、前記イメージセンサに含まれる複数の露光ラインのそれぞれを互いに異なるタイミングで順次露光する。 For example, in the imaging step, each of the plurality of exposure lines included in the image sensor is sequentially exposed at different timings.
これにより、ローリングシャッター方式の撮像が行われることによって生じる輝線が、画像内における各露光ラインに対応する位置に含まれるため、被写体から多くの情報を取得することができる。 As a result, since the emission line generated by the rolling shutter type imaging is included in the position corresponding to each exposure line in the image, a lot of information can be acquired from the subject.
ここで、前記情報取得ステップでは、前記輝線のパターンのうち、前記露光ラインに垂直な方向のパターンによって特定される前記データを復調してもよい。 Here, in the information acquisition step, the data specified by the pattern in the direction perpendicular to the exposure line among the patterns of the emission lines may be demodulated.
これにより、輝度変化に対応する情報を適切に取得することができる。 As a result, the information corresponding to the change in brightness can be appropriately acquired.
また、前記露光時間設定ステップでは、前記露光時間を１０ミリ秒よりも短く設定してもよい。 Further, in the exposure time setting step, the exposure time may be set shorter than 10 milliseconds.
これにより、画像中に輝線をより確実に生じさせることができる。 This makes it possible to more reliably generate bright lines in the image.
ここで、前記撮像ステップでは、２００Ｈｚ以上の周波数で輝度変化する前記被写体を撮像してもよい。 Here, in the imaging step, the subject whose brightness changes at a frequency of 200 Hz or higher may be imaged.
これにより、例えば図３０５Ａおよび図３０５Ｂに示すように、人がちらつきを感じることなく、多くの情報を被写体から取得することができる。 As a result, as shown in FIGS. 305A and 305B, a large amount of information can be acquired from the subject without the person feeling flicker.
また、前記撮像ステップでは、前記露光ラインに平行な輝線を含む前記画像を取得してもよい。 Further, in the imaging step, the image including the emission line parallel to the exposure line may be acquired.
これにより、輝度変化に対応する情報を適切に取得することができる。 As a result, the information corresponding to the change in brightness can be appropriately acquired.
ここで、前記情報取得ステップでは、取得された前記画像内における、前記イメージセンサに含まれる各露光ラインに対応する領域ごとに、当該領域に輝線があるか否かによって特定される０または１を示す前記データを復調してもよい。 Here, in the information acquisition step, 0 or 1 is specified for each region corresponding to each exposure line included in the image sensor in the acquired image depending on whether or not there is a bright line in the region. The data shown may be demodulated.
これにより、ＰＰＭ変調された多くの情報を被写体から取得することができる。例えば図２２に示すように、１秒あたりの画像の数（フレームレート）がｆ、１画像を構成する露光ライン数がｌのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を取得すると、最大でｆｌビット毎秒の速度で情報を取得することができる。 As a result, a large amount of PPM-modulated information can be acquired from the subject. For example, as shown in FIG. 22, when the number of images per second (frame rate) is f and the number of exposure lines constituting one image is l, it depends on whether each exposure line receives a certain amount of light or more. When the information is acquired, the information can be acquired at a speed of up to fl bits per second.
また、前記情報取得ステップでは、前記領域ごとに、当該領域の輝度値が閾値以上であるか否かに応じて、当該領域に輝線があるか否かを特定してもよい。 Further, in the information acquisition step, it may be specified whether or not there is a bright line in the region according to whether or not the brightness value of the region is equal to or greater than the threshold value for each region.
これにより、被写体から適切に情報を取得することができる。 As a result, information can be appropriately acquired from the subject.
ここで、前記撮像ステップでは、所定の期間ごとに、当該所定の期間に対応する一定の周波数で輝度変化する前記被写体を撮像し、前記情報取得ステップでは、前記所定の期間ごとに、当該所定の期間に対応する一定の周波数の輝度変化に応じて生成される前記輝線のパターンによって特定される前記データを復調してもよい。 Here, in the imaging step, the subject whose brightness changes at a constant frequency corresponding to the predetermined period is imaged every predetermined period, and in the information acquisition step, the predetermined period is defined. The data specified by the pattern of emission lines generated in response to a change in brightness at a constant frequency corresponding to a period may be demodulated.
これにより、ＦＭ変調された多くの情報を被写体から取得することができる。例えば図１４に示すように、周波数ｆ１に対応する輝線のパターンと、周波数ｆ２に対応する輝線のパターンとによって、適切な情報を取得することができる。 As a result, a large amount of FM-modulated information can be acquired from the subject. For example, as shown in FIG. 14, appropriate information can be acquired from the bright line pattern corresponding to the frequency f1 and the bright line pattern corresponding to the frequency f2.
また、前記撮像ステップでは、輝度の立ち上がりおよび立ち下りのうちの一方の変化と次の前記一方の変化との間の時間を調整することによって信号を送信するように輝度変化する前記被写体を撮像し、前記情報取得ステップでは、前記輝線のパターンによって特定される、前記時間に対応付けられた符号である前記データを復調してもよい。 Further, in the imaging step, the subject whose brightness changes so as to transmit a signal by adjusting the time between the change of one of the rise and fall of the brightness and the change of the next one is imaged. In the information acquisition step, the data, which is a code associated with the time specified by the pattern of the luminance line, may be demodulated.
これにより、例えば図２４８に示すように、被写体から送信される情報の内容を変えることなく、ＰＷＭ制御によって、人が感じる被写体（例えば照明機器）の明るさを調整することができる。 Thereby, for example, as shown in FIG. 248, the brightness of the subject (for example, a lighting device) felt by a person can be adjusted by PWM control without changing the content of the information transmitted from the subject.
ここで、前記撮像ステップでは、前記輝度変化に対して５ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化する前記被写体を撮像してもよい。 Here, in the imaging step, the subject whose brightness changes so that each brightness value when moving averaged with a width of 5 milliseconds or more with respect to the brightness change may be within a predetermined range may be imaged. ..
これにより、人がちらつきを感じることなく、多くの情報を被写体から取得することができる。例えば図２８に示すように、変調後の信号が０のときは非発光、１のときは発光とし、送信信号に偏りはないとすると、移動平均したときの各輝度値を発光時の輝度値の約７５％にすることができる。その結果、人がちらつきを感じることを防ぐことができる。 As a result, a lot of information can be acquired from the subject without the person feeling flicker. For example, as shown in FIG. 28, when the modulated signal is 0, it emits light, and when it is 1, it emits light. Assuming that the transmitted signal is not biased, each brightness value when moving average is the brightness value when emitting light. It can be about 75% of. As a result, it is possible to prevent a person from feeling flicker.
また、前記輝線のパターンは前記イメージセンサの露光時間に応じて異なり、前記情報取得ステップでは、設定された前記露光時間に応じた前記パターンによって特定される前記データを復調してもよい。 Further, the pattern of the emission line differs depending on the exposure time of the image sensor, and in the information acquisition step, the data specified by the pattern according to the set exposure time may be demodulated.
これにより、例えば図３４に示すように、露光時間に応じて異なる情報を被写体から取得することができる。 As a result, as shown in FIG. 34, for example, different information can be acquired from the subject depending on the exposure time.
ここで、前記情報通信方法は、さらに、前記イメージセンサを備える撮像装置の状態を検出し、前記情報取得ステップでは、前記被写体の位置を示す前記情報を取得し、さらに、取得された前記情報と、検出された前記状態とに基づいて、前記撮像装置の位置を算出してもよい。 Here, the information communication method further detects the state of the image pickup apparatus including the image sensor, and in the information acquisition step, acquires the information indicating the position of the subject, and further, with the acquired information. , The position of the imaging device may be calculated based on the detected state.
これにより、例えば図１１に示すように、ＧＰＳなどを使うことができなくても、またはＧＰＳなどを使った場合よりも、撮像装置の位置を正確に特定することができる。 Thereby, for example, as shown in FIG. 11, even if GPS or the like cannot be used, or the position of the image pickup apparatus can be specified more accurately than when GPS or the like is used.
また、前記撮像ステップでは、前記露光ラインに沿うように配列された複数の領域を含み、領域ごとに輝度変化する前記被写体を撮像してもよい。 Further, in the imaging step, the subject may be imaged, which includes a plurality of regions arranged along the exposure line and whose brightness changes for each region.
これにより、例えば図２５８に示すように、多くの情報を被写体から取得することができる。 Thereby, as shown in FIG. 258, for example, a lot of information can be acquired from the subject.
ここで、前記撮像ステップでは、メタメリックな複数種の光を互いに異なるタイミングで発する前記被写体を撮像してもよい。 Here, in the imaging step, the subject that emits a plurality of types of metallic light at different timings may be imaged.
これにより、例えば図２７２に示すように、人がちらつきを感じることなく、多くの情報を被写体から取得することができる。 As a result, as shown in FIG. 272, for example, a large amount of information can be acquired from the subject without the person feeling flicker.
また、前記情報通信方法は、さらに、前記イメージセンサを備える撮像装置が存在する場所を推定し、前記情報取得ステップでは、前記被写体の識別情報を前記情報として取得するとともに、前記場所および前記識別情報に関連付けられた関連情報をサーバから取得してもよい。 Further, the information communication method further estimates the location where the imaging device including the image sensor exists, and in the information acquisition step, the identification information of the subject is acquired as the information, and the location and the identification information are acquired. The related information associated with may be obtained from the server.
これにより、例えば図２８２および図２８３に示すように、複数の照明機器から同じ識別情報が輝度変化によって送信されるような場合であっても、撮像装置が存在する場所（建物）、つまり照明機器が存在する場所（建物）に応じて適切な関連情報を取得することができる。 As a result, as shown in FIGS. 282 and 283, even when the same identification information is transmitted from a plurality of lighting devices due to a change in brightness, the place (building) where the image pickup device exists, that is, the lighting device. Appropriate related information can be obtained according to the location (building) where the is located.
ここで、本発明の一態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する第１の送信ステップと、前記発光体が、前記送信対象の信号を送信してから３３ミリ秒以内に、決定された前記パターンと同一のパターンにしたがって輝度変化することによって前記送信対象の信号と同一の信号を送信する第２の送信ステップとを含み、前記決定ステップでは、前記輝度変化に対して５ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように前記パターンを決定する。 Here, the information communication method according to one aspect of the present invention is an information communication method for transmitting a signal by changing the luminance, and a determination step of determining a pattern of the change in luminance by modulating the signal to be transmitted. The first transmission step in which the illuminant transmits the signal to be transmitted by changing the brightness according to the determined pattern, and within 33 milliseconds after the illuminant transmits the signal to be transmitted. Including a second transmission step of transmitting the same signal as the signal to be transmitted by changing the brightness according to the same pattern as the determined pattern, and in the determination step, with respect to the change in brightness. The pattern is determined so that each brightness value when moving and averaging with a width of 5 milliseconds or more falls within a predetermined range.
これにより、輝度変化に対して５ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化のパターンが決定されるため、人がちらつきを感じるのを防ぎならが、輝度変化によって信号を送信することができる。さらに、例えば図３０１Ｂに示すように、３３ミリ秒以内に同じ信号が送信されるため、信号を受信する受信機にブランキングがあっても、確実に信号をその受信機に送信することができる。 As a result, the pattern of the brightness change is determined so that each brightness value when the moving average is performed with a width of 5 milliseconds or more with respect to the brightness change falls within a predetermined range, so that the person feels flicker. To prevent it, a signal can be transmitted by changing the brightness. Further, as shown in FIG. 301B, for example, since the same signal is transmitted within 33 milliseconds, even if the receiver receiving the signal has blanking, the signal can be reliably transmitted to the receiver. ..
また、前記決定ステップでは、２ビットによって示される信号のそれぞれを、同じ値を示す３つのビットと他の値を示す１つのビットとからなる４ビットによって示される信号に変調する方式にしたがって、前記送信対象の信号を変調してもよい。 Further, in the determination step, each of the signals represented by the two bits is modulated into a signal represented by four bits including three bits indicating the same value and one bit indicating another value. The signal to be transmitted may be modulated.
これにより、例えば図２８に示すように、変調後の信号が０のときは非発光、１のときは発光とし、送信信号に偏りはないとすると、移動平均したときの各輝度値を発光時の輝度値の約７５％にすることができる。その結果、人がちらつきを感じることをより確実に防ぐことができる。 As a result, for example, as shown in FIG. 28, when the modulated signal is 0, it is non-emission, and when it is 1, it is emitted. It can be about 75% of the brightness value of. As a result, it is possible to more reliably prevent a person from feeling flicker.
ここで、前記決定ステップでは、輝度の立ち上がりおよび立ち下りのうちの一方の変化と次の前記一方の変化との間の時間を、前記送信対象の信号に応じて調整することによって、前記輝度変化のパターンを決定してもよい。 Here, in the determination step, the luminance change is performed by adjusting the time between the change of one of the rise and fall of the luminance and the change of the next one according to the signal to be transmitted. The pattern of may be determined.
これにより、例えば図２４８に示すように、送信対象の信号の内容を変えることなく、ＰＷＭ制御によって、人が感じる発光体（例えば照明機器）の明るさを調整することができる。 Thereby, for example, as shown in FIG. 248, the brightness of the light emitting body (for example, a lighting device) felt by a person can be adjusted by PWM control without changing the content of the signal to be transmitted.
また、前記第１の送信ステップおよび前記第２の送信ステップでは、輝度変化する前記発光体を撮像するイメージセンサの露光時間に応じて異なる信号が、前記イメージセンサを備える撮像装置に取得されるように輝度変化してもよい。 Further, in the first transmission step and the second transmission step, signals different depending on the exposure time of the image sensor that images the luminous body whose brightness changes are acquired by the image pickup device including the image sensor. The brightness may change to.
これにより、例えば図３４に示すように、露光時間に応じて異なる信号を撮像装置に送信することができる。 As a result, as shown in FIG. 34, for example, different signals can be transmitted to the image pickup apparatus depending on the exposure time.
ここで、前記第１の送信ステップおよび前記第２の送信ステップでは、複数の発光体が同調して輝度変化することによって、前記複数の発光体が共通の情報を送信し、前記共通の情報が送信された後に、発光体ごとに輝度変化することによって、当該発光体ごとに異なる情報を送信してもよい。 Here, in the first transmission step and the second transmission step, the plurality of illuminants synchronize with each other to change the brightness, so that the plurality of illuminants transmit common information, and the common information is transmitted. After being transmitted, different information may be transmitted for each light emitting body by changing the brightness for each light emitting body.
これにより、例えば図４１に示すように、複数の発光体が共通の情報を同時に送信することで、複数の発光体を一つの大きな発光体とみなすことができ、その共通の情報を受信する撮像装置で発光体を大きく撮像することができるため、情報をより速く、より遠くからでも送信することができる。さらに、例えば図１２Ａに示すように、複数の発光体が共通の情報を送信することによって、発光体ごとに送信される個別の情報の情報量を抑えることができる。 As a result, as shown in FIG. 41, for example, by transmitting common information to a plurality of light emitters at the same time, the plurality of light emitters can be regarded as one large light emitting body, and the imaging image in which the common information is received is received. Since the device can take a large image of the illuminant, information can be transmitted faster and even from a greater distance. Further, for example, as shown in FIG. 12A, by transmitting common information by a plurality of illuminants, it is possible to suppress the amount of information of individual information transmitted for each illuminant.
また、前記情報通信方法は、さらに、前記送信対象の信号の変調を行うか否かの指示を受け付ける指示受付ステップを含み、前記変調を行うことを示す指示が受け付けられた場合には、前記決定ステップ、前記第１の送信ステップおよび前記第２の送信ステップを実行し、前記変調を行わないことを示す指示が受け付けられた場合には、前記決定ステップ、前記第１の送信ステップおよび前記第２の送信ステップを実行することなく、前記発光体は点灯または消灯してもよい。 Further, the information communication method further includes an instruction receiving step for receiving an instruction as to whether or not to perform the modulation of the signal to be transmitted, and when the instruction indicating the modulation is received, the determination is made. When the step, the first transmission step and the second transmission step are executed, and an instruction indicating that the modulation is not performed is received, the determination step, the first transmission step and the second transmission step are received. The light emitter may be turned on or off without performing the transmission step of.
これにより、例えば図１２Ａに示すように、変調を行うか否かが切り替えられるため、他の発光体の輝度変化に対してノイズとして与える影響を抑えることができる。 As a result, for example, as shown in FIG. 12A, it is possible to switch whether or not to perform modulation, so that it is possible to suppress the influence of noise on changes in the brightness of other light emitters.
ここで、前記発光体は、当該発光体を撮像するイメージセンサの露光ラインに沿うように配列された複数の領域を含み、前記第１の送信ステップおよび前記第２の送信ステップでは、前記発光体の領域ごとに輝度変化してもよい。 Here, the illuminant includes a plurality of regions arranged along the exposure line of the image sensor that images the illuminant, and in the first transmission step and the second transmission step, the illuminant. The brightness may change for each region of.
これにより、例えば図２５８に示すように、多くの情報を送信することができる。 This allows a lot of information to be transmitted, for example as shown in FIG. 258.
また、前記第１の送信ステップおよび前記第２の送信ステップでは、前記発光体は、メタメリックな複数種の光を互いに異なるタイミングで発することによって輝度変化してもよい。 Further, in the first transmission step and the second transmission step, the light emitter may change the brightness by emitting a plurality of types of metallic light at different timings.
これにより、例えば図２７２に示すように、人がちらつきを感じることなく、多くの情報を送信することができる。 Thereby, for example, as shown in FIG. 272, a large amount of information can be transmitted without the person feeling flicker.
ここで、前記第１の送信ステップおよび前記第２の送信ステップでは、前記送信対象の信号または前記同一の信号として前記発光体の識別情報を送信してもよい。 Here, in the first transmission step and the second transmission step, the identification information of the light emitter may be transmitted as the signal to be transmitted or the same signal.
これにより、例えば図２８２に示すように、発光体の識別情報が送信されるため、その識別情報を受信した撮像装置は、その識別情報に関連付けられたより多くの情報を、インターネットなどの通信回線を介してサーバなどから取得することができる。 As a result, as shown in FIG. 282, for example, the identification information of the light emitting body is transmitted, so that the imaging device that has received the identification information can transmit more information associated with the identification information to a communication line such as the Internet. It can be obtained from a server or the like via.
また、本発明の一態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって複数の周波数を決定する決定ステップと、発光体が、決定された前記複数の周波数のうちの何れかの一定の周波数にしたがって輝度変化することによって信号を送信する送信ステップと、前記輝度変化に用いられる周波数を、決定された複数の周波数のうちの他の周波数に３３ミリ秒以上の周期で順に変更する変更ステップとを含み、前記送信ステップでは、前記発光体は、前記輝度変化に対して５ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化してもよい。 Further, the information communication method according to one aspect of the present invention is an information communication method in which a signal is transmitted by changing the brightness, and a determination step of determining a plurality of frequencies by modulating a signal to be transmitted and a light emitting body are used. , The transmission step of transmitting a signal by changing the brightness according to a certain frequency of the plurality of determined frequencies, and the frequency used for the change of the brightness of the plurality of determined frequencies. Including a change step of sequentially changing to another frequency in a cycle of 33 milliseconds or more, in the transmission step, each brightness when the light emitter is moved and averaged with a width of 5 milliseconds or more with respect to the brightness change. The brightness may be changed so that the value falls within a predetermined range.
これにより、輝度変化に対して５ミリ秒以上の幅で移動平均したときの各輝度値が予め定められた範囲に収まるように輝度変化のパターンが決定されるため、人がちらつきを感じるのを防ぎならが、輝度変化によって信号を送信することができる。さらに、ＦＭ変調された多くの信号を送信することができる。例えば図１４に示すように、輝度変化の周波数（ｆ１、ｆ２など）が３３ミリ秒以上の周期で変更されることによって、適切な情報を送信することができる。 As a result, the pattern of the brightness change is determined so that each brightness value when the moving average is performed with a width of 5 milliseconds or more with respect to the brightness change falls within a predetermined range, so that the person feels flicker. To prevent it, a signal can be transmitted by changing the brightness. In addition, many FM-modulated signals can be transmitted. For example, as shown in FIG. 14, appropriate information can be transmitted by changing the frequency of luminance change (f1, f2, etc.) in a cycle of 33 milliseconds or more.
（実施の形態１４）
本実施の形態では、上記実施の形態１〜１３におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬなどの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
(Embodiment 14)
In this embodiment, each application example using a receiver such as a smartphone in the above-described first to thirteenth embodiments and a transmitter that transmits information as a blinking pattern such as an LED or an organic EL will be described.
図３３５は、本実施の形態における受信機の各モードの一例を示す図である。 FIG. 335 is a diagram showing an example of each mode of the receiver according to the present embodiment.
受信機８０００は、通常撮影モードでは、例えば１／１００秒のシャッター速度で撮影することによって、通常撮影画像を取得し、その通常撮影画像をディスプレイに表示する。この場合、その通常撮影画像には、例えば街灯や、店舗の看板として構成されるサイネージなどの被写体とその周囲が鮮明に映し出されている。
In the normal shooting mode, the
また、受信機８０００は、可視光通信モードでは、例えば１／１００００秒のシャッター速度で撮影することによって、可視光通信画像を取得する。例えば、上述の街灯やサイネージが上記実施の形態１〜１３に示す送信機として輝度変化によって信号を送信している場合には、この可視光通信画像において、信号が送信されている箇所には、１つまたは複数の輝線（以下、輝線模様という）が映し出されて、その箇所以外には、何も映し出されていない。つまり、この可視光通信画像では、輝線模様だけが映し出され、被写体の輝度変化をしていない部分および被写体の周囲は映し出されていない。
Further, in the visible light communication mode, the
また、受信機８０００は、中間モードでは、例えば１／３０００秒のシャッター速度で撮影することによって、中間画像を取得する。この中間画像では、輝線模様が映し出されているとともに、上述の被写体の輝度変化していない部分および被写体の周囲も映し出されている。したがって、受信機８０００がその中間画像をディスプレイに表示することによって、ユーザは、どこから、またはどの位置から信号が送信されているかを知ることができる。なお、この中間画像によって映し出される輝線模様、被写体およびその周囲はそれぞれ、可視光通信画像の輝線模様と通常撮影画像の被写体およびその周囲よりも鮮明ではないが、ユーザによって認識される鮮明度を有する。
Further, in the intermediate mode, the
なお、以下の説明では、通常撮影モード、または通常撮影モードによる撮影を通常撮影といい、可視光通信モード、または可視光通信モードによる撮影を可視光撮影（可視光通信）という。また、通常撮影および可視光撮影の代わりに、中間モードによる撮影を用いてもよく、後述の合成画像の代わりに中間画像を用いてもよい。 In the following description, shooting in the normal shooting mode or the normal shooting mode is referred to as normal shooting, and shooting in the visible light communication mode or the visible light communication mode is referred to as visible light shooting (visible light communication). Further, instead of the normal shooting and the visible light shooting, shooting in the intermediate mode may be used, or an intermediate image may be used instead of the composite image described later.
図３３６は、本実施の形態における受信機の撮影動作の一例を示す図である。 FIG. 336 is a diagram showing an example of a photographing operation of the receiver according to the present embodiment.
受信機８０００は、撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。そして、受信機８０００は、通常撮影画像と可視光通信画像とを合成することによって、輝線模様と被写体およびその周囲とが鮮明に映し出された合成画像を生成し、その合成画像をディスプレイに表示する。この合成画像は、通常撮影画像における信号が送信されている箇所に、可視光通信画像の輝線模様を重畳することによって生成された画像である。また、この合成画像によって映し出される輝線模様、被写体およびその周囲はそれぞれ鮮明であって、ユーザによって十分に認識される鮮明度を有する。このような合成画像が表示されることによって、ユーザは、どこから、またはどの位置から信号が送信されているかをより明確に知ることができる。
The
図３３７は、本実施の形態における受信機の撮影動作の他の例を示す図である。 FIG. 337 is a diagram showing another example of the photographing operation of the receiver according to the present embodiment.
受信機８０００は、カメラＣａ１およびカメラＣａ２を備える。このような受信機８０００では、カメラＣａ１は通常撮影を行い、カメラＣａ２は可視光撮影を行う。これにより、カメラＣａ１は、上述のような通常撮影画像を取得し、カメラＣａ２は、上述のような可視光通信画像を取得する。そして、受信機８０００は、通常撮影画像および可視光通信画像を合成することによって、上述の合成画像を生成してディスプレイに表示する。
The
図３３８Ａは、本実施の形態における受信機の撮影動作の他の例を示す図である。 FIG. 338A is a diagram showing another example of the photographing operation of the receiver according to the present embodiment.
２つのカメラを有する上記受信機８０００では、カメラＣａ１は、撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。一方、カメラＣａ２は、通常撮影を継続して行う。そして、カメラＣａ１とカメラＣａ２とで同時に通常撮影が行われているときには、受信機８０００は、それらのカメラによって取得された通常撮影画像から、ステレオ視（三角測量の原理）を利用して、受信機８０００から被写体までの距離（以下、被写体距離という）を推定する。このように推定された被写体距離を用いることによって、受信機８０００は、可視光通信画像の輝線模様を通常撮影画像の適切な位置に重畳することができる。つまり、適切な合成画像を生成することができる。
In the
図３３８Ｂは、本実施の形態における受信機の撮影動作の他の例を示す図である。 FIG. 338B is a diagram showing another example of the photographing operation of the receiver according to the present embodiment.
受信機８０００は、例えば３つのカメラ（カメラＣａ１、カメラＣａ２およびカメラＣａ３）を備える。このような受信機８０００では、２つのカメラ（カメラＣａ２およびカメラＣａ３）は通常撮影を継続して行い、残りの１つのカメラ（カメラＣａ１）は可視光通信を継続して行う。これにより、どのようなタイミングでも、通常撮影している２つのカメラによって得られる通常撮影画像に基づいて、被写体距離を推定することができる。
The
図３３８Ｃは、本実施の形態における受信機の撮影動作の他の例を示す図である。 FIG. 338C is a diagram showing another example of the photographing operation of the receiver according to the present embodiment.
受信機８０００は、例えば３つのカメラ（カメラＣａ１、カメラＣａ２およびカメラＣａ３）を備える。このような受信機８０００では、それぞれのカメラは撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。ここで、１つの期間では、これらのカメラのうちの何れか２つのカメラが通常撮影を行い、残りの１つのカメラが可視光通信を行うように、それぞれのカメラの撮影モードが期間ごとに切り替えられる。つまり、通常撮影しているカメラの組み合わせが周期的に変化する。これにより、何れの期間でも、通常撮影している２つのカメラによって得られる通常撮影画像に基づいて、被写体距離を推定することができる。
The
図３３９Ａは、本実施の形態における受信機のカメラ配置の一例を示す図である。 FIG. 339A is a diagram showing an example of the camera arrangement of the receiver in the present embodiment.
受信機８０００が２つのカメラＣａ１およびＣａ２を備える場合には、図３３９Ａに示すように、２つのカメラＣａ１およびＣａ２は互いに離れた位置に配置される。これにより、被写体距離を精度よく推定することができる。つまり、２つのカメラの間の距離が長いほど、被写体距離を精度よく推定することができる。
When the
図３３９Ｂは、本実施の形態における受信機のカメラ配置の他の例を示す図である。 FIG. 339B is a diagram showing another example of the camera arrangement of the receiver in the present embodiment.
受信機８０００が３つのカメラＣａ１、カメラＣａ２およびカメラＣａ３を備える場合には、図３３９Ｂに示すように、通常撮影用の２つのカメラＣａ１およびＣａ２は互いに離れた位置に配置される。また、可視光通信用のカメラＣａ３は、例えばカメラＣａ１とカメラＣａ２との間に配置される。これにより、被写体距離を精度よく推定することができる。つまり、最も離れた２つのカメラを通常撮影に用いることによって、被写体距離を精度よく推定することができる。
When the
図３４０は、本実施の形態における受信機の表示動作の一例を示す図である。 FIG. 340 is a diagram showing an example of the display operation of the receiver according to the present embodiment.
受信機８０００は、上述のように、撮影モードを可視光通信、通常撮影、可視光通信、・・・のように切り替える。ここで、受信機８０００は、最初に可視光通信を行うときに、アプリケーションプログラムを起動する。そして、受信機８０００は、可視光通信によって受信した信号に基づいて、上記実施の形態１〜１３に示すように、自らの位置を推定する。次に、受信機８０００は、通常撮影を行うときには、その通常撮影によって取得された通常撮影画像に、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）情報を表示する。このＡＲ情報は、上述のように推定された位置などに基づいて取得されるものである。また、受信機８０００は、９軸センサによる検出結果、および通常撮影画像の動き検出などに基づいて、受信機８０００の移動および方向の変化を推定し、その推定された移動および方向の変化に合わせてＡＲ情報の表示位置を移動させる。これにより、ＡＲ情報を通常撮影画像の被写体像に追随させることができる。
As described above, the
また、受信機８０００は、通常撮影から可視光通信に撮影モードを切り替えると、その可視光通信時には、直前の通常撮影時に取得された最新の通常撮影画像にＡＲ情報を重畳する。そして、受信機８０００は、ＡＲ情報が重畳された通常撮影画像を表示する。また、受信機８０００は、通常撮影時と同様に、９軸センサによる検出結果に基づいて、受信機８０００の移動および方向の変化を推定し、その推定された移動および方向の変化に合わせてＡＲ情報および通常撮影画像を移動させる。これにより、可視光通信時にも、通常撮影時と同様に、受信機８０００の移動などに合わせてＡＲ情報を通常撮影画像の被写体像に追随させることができる。また、受信機８０００の移動などに合わせて、その通常画像を拡大および縮小することができる。
Further, when the
図３４１は、本実施の形態における受信機の表示動作の一例を示す図である。 FIG. 341 is a diagram showing an example of the display operation of the receiver according to the present embodiment.
例えば、受信機８０００は、図３４１の（ａ）に示すように、輝線模様が映し出された上記合成画像を表示してもよい。また、受信機８０００は、図３４１の（ｂ）に示すように、輝線模様の代わりに、信号が送信されていることを通知するための所定の色を有する画像である信号明示オブジェクトを通常撮影画像に重畳することによって合成画像を生成し、その合成画像を表示してもよい。
For example, the
また、受信機８０００は、図３４１の（ｃ）に示すように、信号が送信されている箇所が点線の枠と識別子（例えば、ＩＤ：１０１、ＩＤ：１０２など）とによって示されている通常撮影画像を合成画像として表示してもよい。また、受信機８０００は、図３４１の（ｄ）に示すように、輝線模様の代わりに、特定の種類の信号が送信されていることを通知するための所定の色を有する画像である信号識別オブジェクトを通常撮影画像に重畳することによって合成画像を生成し、その合成画像を表示してもよい。この場合、その信号識別オブジェクトの色は、送信機から出力されている信号の種類によって異なる。例えば、送信機から出力されている信号が位置情報である場合には、赤色の信号識別オブジェクトが重畳され、送信機から出力されている信号がクーポンである場合には、緑色の信号識別オブジェクトが重畳される。
Further, in the
図３４２は、本実施の形態における受信機の動作の一例を示す図である。 FIG. 342 is a diagram showing an example of the operation of the receiver according to the present embodiment.
例えば、受信機８０００は、可視光通信によって信号を受信した場合には、通常撮影画像を表示するとともに、送信機を発見したことをユーザに通知するための音を出力してもよい。この場合、受信機８０００は、発見した送信機の個数、受信した信号の種類、または、その信号によって特定される情報の種類などによって、出力される音の種類、出力回数、または出力時間を異ならせてもよい。
For example, when the
図３４３は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 343 is a diagram showing another example of the operation of the receiver according to the present embodiment.
例えば、合成画像に映し出された輝線模様にユーザがタッチすると、受信機８０００は、そのタッチされた輝線模様に対応する被写体から送信された信号に基づいて、情報通知画像を生成し、その情報通知画像を表示する。この情報通知画像は、例えば、店舗のクーポンや場所などを示す。なお、輝線模様は、図３４１に示す信号明示オブジェクト、信号識別オブジェクト、または点線枠などであってもよい。以下に記載されている輝線模様についても同様である。
For example, when the user touches the emission line pattern projected on the composite image, the
図３４４は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 344 is a diagram showing another example of the operation of the receiver according to the present embodiment.
例えば、合成画像に映し出された輝線模様にユーザがタッチすると、受信機８０００は、そのタッチされた輝線模様に対応する被写体から送信された信号に基づいて、情報通知画像を生成し、その情報通知画像を表示する。この情報通知画像は、例えば、受信機８０００の現在地を地図などによって示す。
For example, when the user touches the emission line pattern projected on the composite image, the
図３４５は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 345 is a diagram showing another example of the operation of the receiver according to the present embodiment.
例えば、受信機８０００は、送信機として構成された被写体である２つの街灯から信号を受信する。そして、受信機８０００は、上記実施の形態１〜１３と同様に、これらの信号に基づいて自らの現在地を推定する。そして、受信機８０００は、通常撮影画像を表示するとともに、その推定結果を示す情報通知画像（緯度および経度などを示す画像）を通常撮影画像に重畳して表示する。なお、受信機８０００は、補助情報通知画像を通常撮影画像に重畳して表示してもよい。この補助情報通知画像は、例えば９軸センサ（特に、地磁気センサ）をキャリブレーションするための操作、つまりドリフトをキャンセルするための操作をユーザに勧めるものである。このような操作が行なわれることによって、上述の現在地が高い精度で推定される。
For example,
また、表示された情報通知画像がユーザによってタッチされると、受信機８０００は、通常撮影画像の代わりに、その推定された位置を示す地図を表示してもよい。
Further, when the displayed information notification image is touched by the user, the
図３４６は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 346 is a diagram showing another example of the operation of the receiver according to the present embodiment.
例えば、合成画像が表示されている受信機８０００に対してユーザがスワイプを行うと、受信機８０００は、図３４１の（ｃ）に示す通常撮影画像と同様の、点線枠および識別子を有する通常撮影画像を表示するとともに、スワイプの操作に追随するように情報の一覧を表示する。この一覧には、各識別子によって示される箇所（送信機）から送信される信号によって特定される情報が示されている。また、スワイプは、例えば、受信機８０００におけるディスプレイの右側の外から中に指を動かす操作であってもよい。なお、スワイプは、ディスプレイの上側から、下側から、または左側から中に指を動かす操作であってもよい。
For example, when the user swipes on the
また、その一覧に含まれる情報がユーザによってタップされると、受信機８０００は、その情報をより詳細に示す情報通知画像（例えばクーポンを示す画像）を表示してもよい。
Further, when the information included in the list is tapped by the user, the
図３４７は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 347 is a diagram showing another example of the operation of the receiver according to the present embodiment.
例えば、合成画像が表示されている受信機８０００に対してユーザがスワイプを行うと、受信機８０００は、スワイプの操作に追随するように情報通知画像を合成画像に重畳して表示する。この情報通知画像は、被写体距離を矢印とともにユーザに分かり易く示すものである。また、スワイプは、例えば、受信機８０００におけるディスプレイの下側の外から中に指を動かす操作であってもよい。なお、スワイプは、ディスプレイの左側から、上側から、または右側から中に指を動かす操作であってもよい。
For example, when the user swipes the
図３４８は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 348 is a diagram showing another example of the operation of the receiver according to the present embodiment.
例えば、受信機８０００は、複数の店舗を示すサイネージである送信機を被写体として撮影し、その撮影によって取得された通常撮影画像を表示する。ここで、通常撮影画像に映し出された被写体に含まれる、１つの店舗のサイネージの画像をユーザがタップすると、受信機８０００は、その店舗のサイネージから送信される信号に基づいて情報通知画像を生成し、その情報通知画像８００１を表示する。この情報通知画像８００１は、例えば店舗の空席状況などを示す画像である。
For example, the
図３４９は、本実施の形態における受信機と送信機とサーバとの動作の一例を示す図である。 FIG. 349 is a diagram showing an example of the operation of the receiver, the transmitter, and the server in the present embodiment.
まず、テレビとして構成されている送信機８０１２は、輝度変化によって信号を受信機８０１１に送信する。この信号は、例えば、視聴されている番組に関連するコンテンツの購入をユーザに促すための情報を含む。受信機８０１１は、可視光通信によってその信号を受信すると、その信号に基づいて、コンテンツの購入をユーザに促す情報通知画像を表示する。ユーザがそのコンテンツを購入するための操作を行うと、受信機８０１１は、受信機８０１１に差し込まれているＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ）カードに含まれる情報、ユーザＩＤ、端末ＩＤ、クレジットカード情報、課金のための情報、パスワード、および送信機ＩＤのうちの少なくとも１つをサーバ８０１３に送信する。サーバ８０１３は、ユーザごとに、ユーザＩＤと支払い情報とを紐付けて管理している。そして、サーバ８０１３は、受信機８０１１から送信される情報に基づいて、ユーザＩＤを特定し、そのユーザＩＤに紐付けられた支払い情報を確認する。この確認によって、サーバ８０１３は、ユーザに対してコンテンツの購入を許可するか否かを判断する。そして、サーバ８０１３は、許可すると判断すると、許可情報を受信機８０１１に送信する。受信機８０１１は、許可情報を受信すると、その許可情報を送信機８０１２に送信する。許可情報を受信した送信機８０１２は、そのコンテンツを例えばネットワークを介して取得して再生する。
First, the
また、送信機８０１２は、輝度変化することによって送信機８０１２のＩＤを含む情報を受信機８０１１に対して送信してもよい。この場合、受信機８０１１は、その情報をサーバ８０１３に送信する。サーバ８０１３は、その情報を取得すると、その送信機８０１２によって例えばテレビ番組が視聴されていると判断することができ、テレビ番組の視聴率調査を行うことができる。
Further, the
また、受信機８０１１は、ユーザによって操作された内容（投票など）を上述の情報に含めてサーバ８０１３に送信することによって、サーバ８０１３は、その内容をテレビ番組に反映することができる。つまり、視聴者参加型の番組を実現することができる。さらに、受信機８０１１は、ユーザによる書き込みを受け付けた場合には、その書き込みの内容を上述の情報に含めてサーバ８０１３に送信することによって、サーバ８０１３は、その書き込みをテレビ番組やネットワーク上の掲示板などに反映することができる。
Further, the
さらに、送信機８０１２が上述のような情報を送信することによって、サーバ８０１３は、有料放送またはオンデマンドプログラムによるテレビ番組の視聴に対して課金を行うことができる。また、サーバ８０１３は、受信機８０１１に対して広告を表示させたり、送信機８０１２に表示されるテレビ番組の詳細情報を表示させてり、その詳細情報を示すサイトのＵＲＬを表示させたりすることができる。さらに、サーバ８０１３は、受信機８０１１によって広告が表示された回数、または、その広告によって購入された商品の金額などを取得することによって、その回数または金額に応じた課金を広告主に対して行うことができる。このような金額による課金は、広告を見たユーザがその商品をすぐに購入しなくても行うことができる。また、サーバ８０１３は、送信機８０１２から受信機８０１１を介して送信機８０１２のメーカを示す情報を取得したときには、その情報によって示されるメーカに対してサービス（例えば、上述の商品の販売に対する報酬の支払い）を行うことができる。
Further, when the
図３５０は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 350 is a diagram showing another example of the operation of the receiver in the present embodiment.
例えば、ユーザは、受信機８０２１のカメラを、照明として構成された複数の送信機８０２０ａ〜８０２０ｄに向ける。このとき、送信機８０２０ａ〜８０２０ｄのそれぞれが順に被写体として撮影されるように受信機８０２１が動かされる。そして、受信機８０２１は、その動かされている間に可視光通信を行うことによって、各送信機８０２０ａ〜８０２０ｄから信号を受信する。これらの信号には、送信機の位置を示す情報が含まれている。受信機８０２１は、その受信された送信機８０２０ａ〜８０２０ｄからの信号によって示される位置と、受信機８０２１に備えられた９軸センサの検出結果と、撮影によって得られた画像の動きとに基づいて、三角測量の原理を用いて、受信機８０２１の位置を推定する。この場合には、受信機８０２１が動かされることによって、９軸センサ（特に、地磁気センサ）のドリフトが解消されため、より精度の高い位置を推定することができる。
For example, the user points the camera of the
図３５１は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 351 is a diagram showing another example of the operation of the receiver according to the present embodiment.
受信機８０３０は、例えば、カメラを備えたヘッドマウントディスプレイとして構成されている。この受信機８０３０は、開始ボタンが押下されたときに、可視光通信モードによる撮影、つまり可視光通信を開始する。そして、可視光通信によって信号が受信された場合には、受信機８０３０は、その受信された信号に応じた情報をユーザに通知する。この通知は、例えば、受信機８０３０に備えられたスピーカから音声が出力されることによって行われたり、画像の表示によって行われる。また、可視光通信は、開始ボタンが押下されたとき以外にも、開始を指示する音声の入力が受信機８０３０に受け付けられたとき、または開始を指示する信号が無線通信で受信機８０３０に受信されたきに、開始されてもよい。また、受信機８０３０に備えられた９軸センサによって得られた値の変化幅が所定の範囲を超えたとき、または、通常撮影画像に輝線模様が少しでも現れたときに、可視光通信を開始してもよい。
The
図３５２は、本実施の形態における受信機の初期設定の例を示す図である。 FIG. 352 is a diagram showing an example of initial setting of the receiver in the present embodiment.
受信機８０３０は、初期設定時には、位置合わせ画像８０３１を表示する。この位置合わせ画像８０３１は、受信機８０３０のカメラによる撮影によって得られる画像内においてユーザによって指し示される位置と、受信機８０３０によって表示される画像との位置合わせを行うためのものである。この位置合わせ画像８０３１によって示される円の位置にユーザが指先を合わせると、受信機８０３０は、その指先の位置と、円の位置とを関連付けて、位置合わせを行う。つまり、ユーザによって指し示される位置のキャリブレーションが行われる。
The
図３５３は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 353 is a diagram showing another example of the operation of the receiver according to the present embodiment.
受信機８０３０は、可視光通信によって、信号が送信されている箇所を特定すると、その箇所に輝線模様が映し出された合成画像８０３４を表示する。ユーザは、その輝線模様に対してタップまたはダブルタップなどの操作を行う。受信機８０３０は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像８０３２を表示する。
When the
図３５４は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 354 is a diagram showing another example of the operation of the receiver in the present embodiment.
受信機８０３０は、上述と同様に、合成画像８０３４を表示する。ここで、ユーザは、合成画像８０３４中の輝線模様を囲うように指先を動かす操作を行う。受信機８０３０は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像８０３２を表示する。
The
図３５５は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 355 is a diagram showing another example of the operation of the receiver in the present embodiment.
受信機８０３０は、上述と同様に、合成画像８０３４を表示する。ここで、ユーザは、合成画像８０３４中の輝線模様に指先を予め定められた時間以上あてる操作を行う。受信機８０３０は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像８０３２を表示する。
The
図３５６は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 356 is a diagram showing another example of the operation of the receiver according to the present embodiment.
受信機８０３０は、上述と同様に、合成画像８０３４を表示する。ここで、ユーザは、スワイプによって指先を合成画像８０３４の輝線模様に向かって動かす操作を行う。受信機８０３０は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像８０３２を表示する。
The
図３５７は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 357 is a diagram showing another example of the operation of the receiver in the present embodiment.
受信機８０３０は、上述と同様に、合成画像８０３４を表示する。ここで、ユーザは、視線を合成画像８０３４の輝線模様に向けた状態を予め定められた時間以上継続する操作を行う。または、ユーザは、視線をその輝線模様に向けた状態で予め定めら回数だけ瞬きする操作を行う。受信機８０３０は、この操作を受け付けると、その操作の対象とされた輝線模様を特定し、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像８０３２を表示する。
The
図３５８は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 358 is a diagram showing another example of the operation of the receiver according to the present embodiment.
受信機８０３０は、上述と同様に、合成画像８０３４を表示するとともに、合成画像８０３４中の輝線模様のそれぞれに関連付けられた矢印を表示する。これらの矢印は、輝線模様ごとに異なる方向に向いている。ここで、ユーザは、何れかの矢印に沿って頭を動かす操作を行う。受信機８０３０は、９軸センサによる検出結果に基づいてこの操作を受け付けると、その操作に対応する矢印、つまり頭を動かした方向に向いている矢印に関連付けられた輝線模様を特定する。そして、受信機８０３０は、その輝線模様に対応する箇所から送信されている信号に基づく情報通知画像８０３２を表示する。
The
図３５９Ａは、本実施の形態における受信機の操作に用いられるペンを示す図である。 FIG. 359A is a diagram showing a pen used for operating the receiver in the present embodiment.
ペン８０３３は、輝度変化によって信号を送信する送信機８０３３ａと、ボタン８０３３ｂと、ボタン８０３３ｃとを備える。ボタン８０３３ｂが押下されると、送信機８０３３ａは、予め定められた第１の信号を送信し、ボタン８０３３ｃが押下されると、送信機８０３３ａは、第１の信号とは異なる予め定められた第２の信号を送信する。
The
図３５９Ｂは、本実施の形態におけるペンを用いた受信機の動作を示す図である。 FIG. 359B is a diagram showing the operation of the receiver using the pen in the present embodiment.
ペン８０３３は、上述のユーザの指先の代わりとして用いられ、スタイラスペンのように用いられる。また、ボタン８０３３ｂとボタン８０３３ｃとを使い分けることによって、ペン８０３３を通常のペンとして用いたり、消しゴムのように用いたりすることができる。
The
図３６０は、本実施の形態における受信機の外観の一例を示す図である。 FIG. 360 is a diagram showing an example of the appearance of the receiver according to the present embodiment.
受信機８０３０は、第１のタッチセンサ８０３０ａと、第２のタッチセンサ８０３０ｂとを備えている。これらのタッチセンサは、受信機８０３０のフレームに取り付けられている。例えば、ユーザが第１のタッチセンサ８０３０ａに指先を当てて動かすと、受信機８０３０は、ユーザに表示する画像上において、ポインタをその指先の動きに合わせて動かす。また、ユーザが第２のタッチセンサ８０３０ｂに触れると、受信機８０３０は、ユーザに表示する画像上においてポインタが当てられているオブジェクトを選択する処理を行う。
The
図３６１は、本実施の形態における受信機の外観の他の例を示す図である。 FIG. 361 is a diagram showing another example of the appearance of the receiver according to the present embodiment.
受信機８０３０は、タッチセンサ８０３０ｃを備えている。このタッチセンサ８０３０ｃは、受信機８０３０のフレームに取り付けられている。例えば、ユーザがタッチセンサ８０３０ｃに指先を当てて動かすと、受信機８０３０は、ユーザに表示する画像上において、ポインタをその指先の動きに合わせて動かす。また、ユーザがタッチセンサ８０３０ｃを押下すると、受信機８０３０は、ユーザに表示する画像上においてポインタが当てられているオブジェクトを選択する処理を行う。つまり、タッチセンサ８０３０ｃは、いわゆるクリッカブルタッチセンサとして構成されている。
The
図３６２は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 362 is a diagram showing another example of the operation of the receiver according to the present embodiment.
受信機８０３０は、上述と同様に、合成画像８０３４を表示するとともに、合成画像８０３４中に上述のポインタ８０３５を表示する。受信機８０３０が第１のタッチセンサ８０３０ａと、第２のタッチセンサ８０３０ｂとを備えている場合、ユーザは、第１のタッチセンサ８０３０ａに指先を当てて動かすことによって、そのポインタを動かし、輝線模様であるオブジェクトにそのポインタを当てる。そして、ユーザは、第２のタッチセンサ８０３０ｂに触れることによって、その輝線模様を受信機８０３０に選択させる。受信機８０３０は、輝線模様を選択すると、その輝線模様の箇所から送信されている信号に基づく情報通知画像８０３２を表示する。
The
また、受信機８０３０がタッチセンサ８０３０ｃを備えている場合、ユーザは、タッチセンサ８０３０ｃに指先を当てて動かすことによって、そのポインタを動かし、輝線模様であるオブジェクトにそのポインタを当てる。そして、ユーザは、タッチセンサ８０３０ｃを押下することによって、その輝線模様を受信機８０３０に選択させる。受信機８０３０は、輝線模様を選択すると、その輝線模様の箇所から送信されている信号に基づく情報通知画像８０３２を表示する。
When the
図３６３Ａは、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 363A is a diagram showing another example of the operation of the receiver according to the present embodiment.
受信機８０３０は、可視光通信を行うことによって得られた信号に基づいて、ジェスチャ確認画像８０３６を表示する。このジェスチャ確認画像８０３６は、例えばサービスをユーザに提供するために、そのユーザに所定のジェスチャを促すものである。
The
図３６３Ｂは、本実施の形態における受信機を用いた応用例を示す図である。 FIG. 363B is a diagram showing an application example using the receiver in the present embodiment.
ユーザ８０３８は、受信機８０３０を装着して例えば店舗にいる。ここで、受信機８０３０は、ユーザ８０３８に上述のジェスチャ確認画像８０３６を表示する。ユーザ８０３８は、そのジェスチャ確認画像８０３６にしたがって所定のジェスチャを行う。ここで、店舗にいる店員８０３９は、受信機８０３７を装着している。受信機８０３７は、カメラを備えたヘッドマウントディスプレイとして構成されており、受信機８０３０と同一の構成を有していてもよい。受信機８０３７も、可視光通信を行うことによって得られた信号に基づいて、ジェスチャ確認画像８０３６を表示している。店員８０３９は、表示されているジェスチャ確認画像８０３６によって示される所定のジェスチャと、ユーザ８０３８によって行われているジェスチャとが一致していか否かを判断する。店員８０３９は、一致していると判断したときには、ユーザ８０３８に対して、ジェスチャ確認画像８０３６に関連付けらたサービスを提供する。
The
図３６４Ａは、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 364A is a diagram showing another example of the operation of the receiver according to the present embodiment.
受信機８０３０は、可視光通信を行うことによって得られた信号に基づいて、ジェスチャ確認画像８０４０を表示する。このジェスチャ確認画像８０４０は、例えば無線通信を許可するために、ユーザに所定のジェスチャを促すものである。
The
図３６４Ｂは、本実施の形態における受信機を用いた応用例を示す図である。 FIG. 364B is a diagram showing an application example using the receiver in the present embodiment.
ユーザ８０３８は、受信機８０３０を装着している。ここで、受信機８０３０は、ユーザ８０３８に上述のジェスチャ確認画像８０４０を表示する。ユーザ８０３８は、そのジェスチャ確認画像８０４０にしたがって所定のジェスチャを行う。ここで、ユーザ８０３８の周囲にいる人８０４１は、受信機８０３７を装着している。受信機８０３７は、カメラを備えたヘッドマウントディスプレイとして構成されており、受信機８０３０と同一の構成を有していてもよい。受信機８０３７は、ユーザ８０３８によって行われている所定のジェスチャを撮影することによって、そのジェスチャに含まれるパスワードなどの認証情報を取得する。そして、受信機８０３７は、その認証情報が予め定められた情報と一致すると判断すると、受信機８０３０との間の無線接続を確立する。この確立が行われた後には、受信機８０３０と受信機８０３７とは互いに無線通信を行うことができる。
図３６５Ａは、本実施の形態における送信機の動作の一例を示す図である。 FIG. 365A is a diagram showing an example of the operation of the transmitter according to the present embodiment.
送信機は、例えば予め定められた周期で、信号１と信号２とを交互に送信する。信号１の送信と、信号２の送信とは、それぞれ可視光の点滅などの輝度変化によって行われる。また、信号１を送信するための輝度変化のパターンと、信号２を送信するための輝度変化のパターンとは互いに異なる。
The transmitter alternately transmits the
図３６５Ｂは、本実施の形態における送信機の動作の他の例を示す図である。 FIG. 365B is a diagram showing another example of the operation of the transmitter in the present embodiment.
送信機は、上述のように信号１と信号２とを連続して送信することなく、緩衝時間を空けて断続的に信号１と信号２とを送信してもよい。ここで、送信機は、緩衝時間には輝度変化を行わない。または、送信機は、緩衝時間には、緩衝時間であることを示す信号を輝度変化によって送信したり、信号１および信号２のそれぞれを送信するための輝度変化と異なる輝度変化を行ってもよい。これにより、受信機は信号１と信号２とを混信することなく適切に受信することができる。
The transmitter may intermittently transmit the
図３６６は、本実施の形態における送信機の動作の他の例を示す図である。 FIG. 366 is a diagram showing another example of the operation of the transmitter in the present embodiment.
送信機は、プリアンブル、ブロック１、ブロック２、ブロック３およびチェック信号からなる構成単位の信号列を、輝度変化によって繰り返し送信する。ここで、ブロック１は、プリアンブル、アドレス１、データ１およびチェック信号を有する。ブロック２およびブロック３もブロック１と同様に構成されている。また、ブロック１、ブロック２およびブロック３のそれぞれに含まれるデータを用いることによって、特定の情報が得られる。
The transmitter repeatedly transmits a signal sequence of a structural unit composed of a preamble, a
つまり、上述のような信号列では、１つのデータまたは情報が３つのブロックに分けて格納されている。したがって、上記実施の形態１〜１３に示すように撮影にブランキング期間が必要である受信機は、１つの信号列からブロック１、ブロック２およびブロック３の全てのデータを受信することができなくても、他の信号列から残りのデータを受信することができる。その結果、ブランキング期間を要する受信機であっても、少なくとも１つの信号列から特定の情報を適切に取得することができる。
That is, in the signal sequence as described above, one data or information is stored in three blocks. Therefore, as shown in the above-described first to thirteenth embodiments, the receiver that requires a blanking period for photographing cannot receive all the data of the
また、上述のような信号列では、３つのブロックの集合に対してプリアンブルとチェック信号とが配置されている。したがって、ブランキング期間を要することなく受光可能な受信機、例えば、照度センサなどを備えた受信機は、その集合に対して配置されたプリアンブルとチェック信号とを用いることによって、１つの信号列を一度に受信することができ、特定の情報を短期間に取得することができる。 Further, in the signal sequence as described above, a preamble and a check signal are arranged for a set of three blocks. Therefore, a receiver capable of receiving light without requiring a blanking period, for example, a receiver equipped with an illuminance sensor or the like, uses a preamble and a check signal arranged for the set to form one signal sequence. It can be received at once, and specific information can be obtained in a short period of time.
図３６７は、本実施の形態における送信機の動作の他の例を示す図である。 FIG. 367 is a diagram showing another example of the operation of the transmitter in the present embodiment.
送信機は、上述のように、ブロック１、ブロック２およびブロック３を含む構成単位の信号列を繰り返し送信する際には、信号列ごとに、その信号列に含まれるブロックの配置を変更してもよい。例えば、最初の信号列には、ブロック１、ブロック２、ブロック３の順に各ブロックが配置され、次の信号列には、ブロック３、ブロック１、ブロック２の順に各ブロックが配置される。これにより、周期的なブランキング期間を要する受信機によって同じブロックだけが取得されることを避けることができる。
As described above, when the transmitter repeatedly transmits the signal sequence of the structural unit including the
図３６８は、本実施の形態における複数の送信機と受信機との間の通信形態の一例を示す図である。 FIG. 368 is a diagram showing an example of a communication mode between a plurality of transmitters and a receiver according to the present embodiment.
受信機８０５０は、照明として構成される送信機８０５１ａおよび送信機８０５１ｂから送信されて反射面で反射された信号（可視光）を受信してもよい。これにより、多くの送信機からの信号を纏めて受信することができる。また、この場合には、送信機８０５１ａおよび送信機８０５１ｂはそれぞれ互いに異なる周波数またはプロトコルの信号を送信する。これにより、受信機８０５０はそれらの送信機からの信号を混信せずに受信することができる。
The
図３６９は、本実施の形態における複数の送信機の動作の一例を示す図である。 FIG. 369 is a diagram showing an example of the operation of a plurality of transmitters in the present embodiment.
送信機８０５１ａおよび送信機８０５１ｂのうちの一方は、他方からの信号の送信状況を監視し、他方の信号との混信を防ぐように、信号を送信してもよい。例えば、一方の送信機は、他方の送信機から送信された信号を受信し、その信号と異なるプロトコルの信号を送信する。または、一方の送信機は、他方の送信機から信号が送信されていない期間を検出し、その期間に信号を送信する。
One of the
図３７０は、本実施の形態における複数の送信機と受信機との間の通信形態の他の例を示す図である。 FIG. 370 is a diagram showing another example of the communication mode between the plurality of transmitters and the receiver in the present embodiment.
送信機８０５１ａおよび送信機８０５１ｂは、それぞれ同じ周波数またはプロトコルの信号を送信してもよい。この場合、受信機８０５０は、それらの送信機から送信される信号の強度、すなわち、撮影によって得られた画像に含まれる輝線のエッジ強度を特定する。この強度は、受信機８０５０と送信機との間の距離が長いほど弱くなる。受信機８０５０と送信機８０５１ａおよび送信機８０５１ｂのそれぞれとの間の距離が異なる場合には、このような距離の違いを利用することができる。つまり、受信機８０５０は、その特定された強度によって、送信機８０５１ａおよび送信機８０５１ｂのそれぞれから送信された信号を適切に分離して受信することができる。
図３７１は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 371 is a diagram showing another example of the operation of the receiver according to the present embodiment.
受信機８０５０は、送信機８０５１ａから送信されて反射面で反射された信号を受信する。このとき、受信機８０５０は、撮影によって得られた画像内における輝度の強度分布（複数の位置での輝度の差）に基づいて送信機８０５１ａの位置を推定してもよい。
The
図３７２は、本実施の形態における受信機の応用例を示す図である。 FIG. 372 is a diagram showing an application example of the receiver according to the present embodiment.
例えばスマートフォンとして構成される受信機７５１０ａは、バックカメラ（アウトカメラ）７５１０ｃで光源７５１０ｂを撮像し、光源７５１０ｂから送信された信号を受信し、受信した信号から光源７５１０ｂの位置と向きを取得する。受信機７５１０ａは、光源７５１０ｂの撮像画像中における写り方や、受信機７５１０ａに備えた９軸センサのセンサ値から、受信機７５１０ａ自身の位置と向きを推定する。受信機７５１０ａは、フロントカメラ（フェイスカメラ、インカメラ）７５１０ｆで、ユーザ７５１０ｅを撮像し、画像処理によって、７５１０ｅの頭部の位置と向き、及び、視線方向（眼球の位置と向き）を推定する。受信機７５１０ａは、推定結果をサーバに送信する。受信機７５１０ａは、ユーザ７５１０ｅの視線方向に応じて挙動（ディスプレイの表示内容や再生音）を変更する。バックカメラ７５１０ｃによる撮像と、フロントカメラ７５１０ｆによる撮像は、同時に行なっても良いし、交互に行なっても良い。
For example, the
図３７３は、本実施の形態における受信機の応用例を示す図である。 FIG. 373 is a diagram showing an application example of the receiver according to the present embodiment.
例えばスマートフォンとして構成される受信機７５１１ｄ、７５１１ｉは、前述と同様に、光源７５１１ｂ、７５１１ｇからの信号を受信し、自身の位置と向きを推定し、ユーザ７５１１ｅ、７５１１ｊの視線方向を推定する。また、受信機７５１１ｄ、７５１１ｉは、受信したデータを基に、周辺の物体７５１１ａ〜７５１１ｃ、７５１１ｆ〜７５１１ｈの情報をサーバから取得する。受信機７５１１ｄ、７５１１ｉは、ユーザから見て受信機７５１１ｄ、７５１１ｉを透過して向こう側の物体が見えているかのように、ディスプレイの表示を変化させる。受信機７５１１ｄ、７５１１ｉは、ディスプレイに写っている内容に応じて、７５１１ｋのようなＡＲ（拡張現実）オブジェクトを表示する。受信機７５１１ｉは、ユーザ７５１１ｊの視線がカメラの撮像の撮像範囲を超えているときは、７５１１ｌのように、範囲外であることを表示する。または、範囲外の領域にＡＲオブジェクトや他の情報を表示する。または、範囲外領域を過去に撮像した際の画像をつなぎあわせて表示する。
For example, the
図３７４は、本実施の形態における受信機の応用例を示す図である。 FIG. 374 is a diagram showing an application example of the receiver according to the present embodiment.
例えばスマートフォンとして構成される受信機７５１２ｃは、前述と同様に、光源７５１２ａからの信号を受信し、自身の位置と向きを推定し、ユーザ７５１２ｄの視線方向を推定する。受信機７５１２ｃは、ユーザ７５１２ｄの視線方向にある物体７５１２ｂに関する処理を行う。例えば、物体７５１２ｂに関する情報を画面に表示する。ユーザ７５１２ｈの視線方向が、物体７５１２ｆから受信機７５１２ｇへ移動したときは、受信機７５１２ｇは、ユーザ７５１２ｈの興味が物体７５１２ｆにあると判断し、物体７５１２ｆに関する処理を継続する。例えば、物体７５１２ｆの情報を画面に表示したままにする。
For example, the
図３７５は、本実施の形態における送信機の応用例を示す図である。 FIG. 375 is a diagram showing an application example of the transmitter according to the present embodiment.
例えば、照明として構成される送信機７５１３ａは、輝度が高く、送信信号として輝度が高い（ハイ）ときも、輝度が低い（ロー）ときも、受信機で撮像した場合に上限の明るさを超え、７５１３ｂのように輝線が現れない。そこで、７５１３ｃに示すように、散光板やプリズムのように光を拡散したり弱めたりする部分７５１３ｄを備えて輝度を低下させることで、受信機は、７５１３ｅのように輝線を撮像することができる。
For example, the
図３７６は、本実施の形態における送信機の応用例を示す図である。 FIG. 376 is a diagram showing an application example of the transmitter according to the present embodiment.
例えば、照明として構成される送信機７５１４ａは、光源が一様ではないため、撮像画像は７５１４ｂのように、輝度にムラが発生し、受信エラーを誘発する。そこで、７５１４ｃに示すように、散光板やプリズムのように光を拡散させる部分７５１４ｄを備えて輝度が一様になるようにすることで、受信エラーを抑制することができる。
For example, in the
図３７７は、本実施の形態における受信方法の応用例を示す図である。 FIG. 377 is a diagram showing an application example of the receiving method in the present embodiment.
送信機７５１５ａ、７５１５ｂは、中心部分の輝度が高く受信機の撮像画像に輝線が現れず、周辺部分には輝線が現れる。受信機は、輝線が途切れるため７５１５ｄの部分からは信号を受信できないが、７５１５ｃの部分から信号を受信できる。受信機は、７５１５ｅの経路で輝線を読み取ることで、７５１５ｃの部分よりも多くの輝線から信号を受信できる。
In the
図３７８は、本実施の形態における送信機の応用例を示す図である。 FIG. 378 is a diagram showing an application example of the transmitter according to the present embodiment.
例えば、照明として構成される送信機７５１６ａ、７５１６ｂ、７５１６ｃ、７５１６ｄは、７５１３ａと同様に輝度が高く、受信機で撮像した際に輝線が生じにくい。そこで、散光板・プリズム７５１６ｅや、反射板７５１６ｆや、反射板・ハーフミラー７５１６ｇや、反射板７５１６ｈや、散光板・プリズム７５１６ｊを備えることで、光を拡散させ、輝線が生じる部分を広くすることができる。これらの送信機は、撮像画像は７５１５ａのように周囲に輝線が生じる形で撮像される。受信機は、撮像画像上の送信機の大きさを用いて受信機と送信機の間の距離を推定するため、光が拡散される部分を光源の大きさとして、送信IDと関連付けてサーバ等に記憶させておくことで、受信機は、送信機までの距離を正確に推定できる。
For example, the
図３７９は、本実施の形態における送信機の応用例を示す図である。 FIG. 379 is a diagram showing an application example of the transmitter according to the present embodiment.
例えば、照明として構成される送信機７５１７ａは、７５１３ａと同様に輝度が高く、受信機で撮像した際に輝線が生じにくい。そこで、反射板７５１７ｂを備えることで、光を拡散させ、輝線が生じる部分を広くすることができる。
For example, the
図３８０は、本実施の形態における送信機の応用例を示す図である。 FIG. 380 is a diagram showing an application example of the transmitter according to the present embodiment.
送信機７５１８ａは、光源からの光を７５１８ｃで反射させることで、受信機は輝線を広範囲で撮像できる。送信機７５１８ｄは、光源を散光板やプリズム７５１８ｅへ向けることで、受信機は輝線を広範囲で撮像できる。
The
図３８１は、本実施の形態における受信機の動作の他の例を示す図である。 FIG. 381 is a diagram showing another example of the operation of the receiver according to the present embodiment.
受信機は、上述のような合成画像または中間画像などによって、輝線模様を表示する。このとき、受信機は、この輝線模様に対応する送信機からの信号を受信することができなくてもよい。ここで、ユーザが輝線模様に対する操作（例えばタップ）を行うことによってその輝線模様が選択されると、受信機は、光学ズームを行うことによって、その輝線模様の箇所が拡大された合成画像または中間画像を表示する。このような光学ズームが行われることによって、受信機は、その輝線模様に対応する送信機からの信号を適切に受信することができる。つまり、撮像によって得られる画像が小さすぎて、信号を取得することができなくても、光学ズームを行うことによって、その信号を適切に受信することができる。また、信号を取得可能な大きさの画像が表示されている場合であっても、光学ズームを行うことによって、速い受信を行うことができる。 The receiver displays the emission line pattern by the composite image or the intermediate image as described above. At this time, the receiver may not be able to receive the signal from the transmitter corresponding to this bright line pattern. Here, when the bright line pattern is selected by the user performing an operation (for example, tapping) on the bright line pattern, the receiver performs an optical zoom to enlarge the portion of the bright line pattern or an intermediate image. Display the image. By performing such optical zooming, the receiver can appropriately receive the signal from the transmitter corresponding to the emission line pattern. That is, even if the image obtained by imaging is too small to acquire a signal, the signal can be appropriately received by performing optical zooming. Further, even when an image having a size capable of acquiring a signal is displayed, fast reception can be performed by performing the optical zoom.
（本実施の形態のまとめ）
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第１の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、前記輝線画像に基づいて、前記輝線が現われた部位の空間的な位置が識別し得る態様で、前記被写体と当該被写体の周囲とが映し出された表示用画像を表示する画像表示ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより送信情報を取得する情報取得ステップとを含む。
(Summary of the present embodiment)
The information communication method in the present embodiment is an information communication method for acquiring information from a subject, and an image obtained by photographing the subject by an image sensor has a bright line corresponding to an exposure line included in the image sensor. The first exposure time setting step of setting the exposure time of the image sensor so as to occur according to the change in the brightness of the subject, and the image sensor taking a picture of the subject whose brightness changes with the set exposure time. By doing so, the subject and the subject can be identified in a manner in which a bright line image acquisition step of acquiring a bright line image which is an image including the bright line and a spatial position of a portion where the bright line appears can be identified based on the bright line image. An image display step of displaying a display image in which the surroundings of the subject are projected, and an information acquisition step of acquiring transmission information by demolishing data specified by the bright line pattern included in the acquired bright line image. And include.
例えば、図３３５〜図３３７および図３４１に示すような合成画像または中間画像が表示用画像として表示される。また、被写体と当該被写体の周囲とが映し出された表示用画像において、輝線が現われた部位の空間的な位置は、輝線模様、信号明示オブジェクト、信号識別オブジェクト、または点線枠などによって識別される。したがって、ユーザは、このような表示画像を見ることによって、輝度変化によって信号を送信している被写体を容易に見つけることができる。 For example, a composite image or an intermediate image as shown in FIGS. 335 to 337 and 341 is displayed as a display image. Further, in the display image in which the subject and the surroundings of the subject are projected, the spatial position of the portion where the bright line appears is identified by a bright line pattern, a signal explicit object, a signal identification object, a dotted line frame, or the like. Therefore, the user can easily find the subject transmitting the signal by the change in brightness by looking at such a display image.
また、前記情報通信方法は、さらに、前記露光時間よりも長い露光時間を設定する第２の露光時間設定ステップと、前記イメージセンサが、前記被写体と当該被写体の周囲とを前記長い露光時間で撮影することによって、通常撮影画像を取得する通常画像取得ステップと、前記通常撮影画像において前記輝線が現われた部位を、前記輝線画像に基づいて特定し、前記部位を指し示す画像である信号オブジェクトを前記通常撮影画像に重畳することによって、合成画像を生成する合成ステップとを含み、前記画像表示ステップでは、前記合成画像を前記表示用画像として表示してもよい。 Further, in the information communication method, a second exposure time setting step of setting an exposure time longer than the exposure time and the image sensor capture the subject and the periphery of the subject with the long exposure time. By doing so, the normal image acquisition step of acquiring the normal captured image and the portion where the bright line appears in the normally captured image are specified based on the bright line image, and the signal object which is an image pointing to the portion is defined as the normal. In the image display step, the composite image may be displayed as the display image, including a composite step of generating a composite image by superimposing the composite image on the captured image.
例えば、信号オブジェクトは、輝線模様、信号明示オブジェクト、信号識別オブジェクト、または点線枠などであって、図３３６、図３３７および図３４１に示すように、合成画像が表示用画像として表示される。これにより、ユーザは、輝度変化によって信号を送信している被写体をさらに容易に見つけることができる。 For example, the signal object is a bright line pattern, a signal explicit object, a signal identification object, a dotted line frame, or the like, and as shown in FIGS. 336, 337, and 341, a composite image is displayed as a display image. This allows the user to more easily find the subject transmitting the signal due to the change in brightness.
また、前記第１の露光時間設定ステップでは、露光時間を１／３０００秒に設定し、前記輝線画像取得ステップでは、前記被写体の周囲が映し出された前記輝線画像を取得し、前記画像表示ステップでは、前記輝線画像を前記表示用画像として表示してもよい。 Further, in the first exposure time setting step, the exposure time is set to 1/3000 second, in the bright line image acquisition step, the bright line image in which the surroundings of the subject are projected is acquired, and in the image display step. , The bright line image may be displayed as the display image.
例えば、図３３５に示すように、輝線画像は中間画像として取得されて表示される。したがって、通常撮影画像と可視光通信画像とを取得して合成するなどの処理を行う必要がなく、処理の簡略化を図ることができる。 For example, as shown in FIG. 335, the emission line image is acquired and displayed as an intermediate image. Therefore, it is not necessary to perform processing such as acquiring and synthesizing a normally captured image and a visible light communication image, and the processing can be simplified.
また、前記イメージセンサは、第１のイメージセンサと第２のイメージセンサを含み、前記通常画像取得ステップでは、前記第１のイメージセンサが撮影することによって、前記通常撮影画像を取得し、前記輝線画像取得ステップでは、前記第２のイメージセンサが前記第１のイメージセンサの撮影と同時に撮影することによって、前記輝線画像を取得してもよい。 Further, the image sensor includes a first image sensor and a second image sensor, and in the normal image acquisition step, the first image sensor captures the image to acquire the normally captured image, and the emission line. In the image acquisition step, the emission line image may be acquired by the second image sensor taking an image at the same time as the image taken by the first image sensor.
例えば、図３３７に示すように、通常撮影画像と輝線画像である可視光通信画像とがそれぞれのカメラで取得される。したがって、１つのカメラで通常撮影画像と可視光通信画像とを取得する場合と比べて、それらの画像を早く取得することができ、処理を高速化することができる。 For example, as shown in FIG. 337, a normal captured image and a visible light communication image which is a bright line image are acquired by each camera. Therefore, as compared with the case of acquiring the normally captured image and the visible light communication image with one camera, those images can be acquired faster and the processing can be speeded up.
また、前記情報通信方法は、さらに、前記表示用画像における前記輝線が現われた部位がユーザによる操作によって指定された場合には、指定された部位の前記輝線のパターンから取得された前記送信情報に基づく提示情報を提示する情報提示ステップを含んでもよい。例えば、前記ユーザによる操作は、タップ、スワイプ、前記部位に指先を所定の時間以上継続して当てる操作、前記部位に視線を向けた状態を所定の時間以上継続する操作、前記部位に関連付けて示される矢印に前記ユーザの身体の一部を動かす操作、輝度変化するペン先を前記部位に当てる操作、または、タッチセンサに触れることによって、前記表示用画像に表示されているポインタを前記部位に当てる操作である。 Further, when the portion where the bright line appears in the display image is designated by the operation by the user, the information communication method further uses the transmission information acquired from the bright line pattern of the designated portion. It may include an information presentation step that presents the based presentation information. For example, the operation by the user includes tapping, swiping, an operation of continuously applying a fingertip to the portion for a predetermined time or longer, an operation of continuously directing the line of sight to the portion for a predetermined time or longer, and an operation associated with the portion. The pointer displayed in the display image is applied to the part by moving a part of the user's body to the arrow, touching the part with a pen tip whose brightness changes, or touching the touch sensor. It is an operation.
例えば、図３４３〜図３４８、図３５３〜図３６２に示すように、提示情報が情報通知画像として表示される。これにより、ユーザに所望の情報を提示することができる。 For example, as shown in FIGS. 343 to 348 and 353 to 362, the presented information is displayed as an information notification image. This makes it possible to present desired information to the user.
また、前記イメージセンサはヘッドマウントディスプレイに備えられ、前記画像表示ステップでは、前記ヘッドマウントディスプレイに搭載されたプロジェクタが前記表示用画像を表示してもよい。 Further, the image sensor is provided in the head-mounted display, and in the image display step, the projector mounted on the head-mounted display may display the display image.
これにより、例えば、図３５１〜図３５８に示すように、簡単に情報をユーザに提示することができる。 Thereby, for example, as shown in FIGS. 351 to 358, information can be easily presented to the user.
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第１の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記輝線画像取得ステップでは、前記イメージセンサが移動されている期間に、複数の前記被写体を撮影することによって、前記輝線が現われた部位を複数含む前記輝線画像を取得し、前記情報取得ステップでは、前記部位ごとに、当該部位の前記輝線のパターンによって特定されるデータを復調することによって、複数の前記被写体のそれぞれの位置を取得し、前記情報通信方法は、さらに、取得された複数の前記被写体のそれぞれの位置、および前記イメージセンサの移動状態に基づいて、前記イメージセンサの位置を推定する位置推定ステップを含んでもよい。 Further, it is an information communication method for acquiring information from a subject, and a bright line corresponding to an exposure line included in the image sensor is generated in an image obtained by photographing the subject by an image sensor according to a change in the brightness of the subject. As described above, the first exposure time setting step for setting the exposure time of the image sensor and the image sensor taking a picture of the subject whose brightness changes at the set exposure time, thereby including the bright line. The bright line image includes a bright line image acquisition step of acquiring a bright line image, and an information acquisition step of acquiring information by demodulating the data specified by the bright line pattern included in the acquired bright line image. In the acquisition step, by photographing a plurality of the subjects during the period in which the image sensor is being moved, the bright line image including a plurality of parts where the bright lines appear is acquired, and in the information acquisition step, each of the parts is acquired. In addition, the position of each of the plurality of subjects is acquired by demodulating the data specified by the pattern of the emission line of the portion, and the information communication method further obtains each of the acquired plurality of subjects. A position estimation step for estimating the position of the image sensor based on the position and the moving state of the image sensor may be included.
これにより、例えば、図３５０に示すように、複数の照明などの被写体による輝度変化によって、イメージセンサを含む受信機の位置を正確に推定することができる。 Thereby, for example, as shown in FIG. 350, the position of the receiver including the image sensor can be accurately estimated by the brightness change due to the subject such as a plurality of lights.
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第１の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記情報を提示する情報提示ステップとを含み、前記情報提示ステップでは、前記イメージセンサのユーザに対して、予め定められたジェスチャを促す画像を前記情報として提示してもよい。 Further, it is an information communication method for acquiring information from a subject, and a bright line corresponding to an exposure line included in the image sensor is generated in an image obtained by photographing the subject by an image sensor according to a change in the brightness of the subject. As described above, the first exposure time setting step for setting the exposure time of the image sensor and the image sensor taking a picture of the subject whose brightness changes at the set exposure time, thereby including the bright line. A bright line image acquisition step for acquiring a bright line image, an information acquisition step for acquiring information by demolishing data specified by the bright line pattern included in the acquired bright line image, and the acquired information. In the information presentation step, an image prompting a predetermined gesture may be presented as the information to the user of the image sensor.
これにより、例えば、図３６３Ａ〜図３６４Ｂに示すように、ユーザが、促されたとおりのジェスチャを行うか否かによって、そのユーザに対する認証などを行うことができ、利便性を高めることができる。 Thereby, for example, as shown in FIGS. 363A to 364B, it is possible to authenticate the user depending on whether or not the user performs the gesture as prompted, and the convenience can be enhanced.
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記画像取得ステップでは、反射面に映る複数の前記被写体を撮影することによって前記輝線画像を取得し、前記情報取得ステップでは、前記輝線画像に含まれる輝線の強度に応じて、前記輝線を、複数の前記被写体のそれぞれに対応する輝線に分離し、前記被写体ごとに、当該被写体に対応する輝線のパターンによって特定されるデータを復調することにより情報を取得してもよい。 Further, it is an information communication method for acquiring information from a subject, and a bright line corresponding to an exposure line included in the image sensor is generated in an image obtained by photographing the subject by an image sensor according to a change in the brightness of the subject. As described above, the exposure time setting step for setting the exposure time of the image sensor and the image sensor taking a picture of the subject whose brightness changes at the set exposure time obtains a bright line image including the bright line. The image acquisition step includes an image acquisition step of acquiring information by demodulating the data specified by the emission line pattern included in the acquired emission line image, and the image acquisition step reflects the image on the reflective surface. The bright line image is acquired by photographing a plurality of the subjects, and in the information acquisition step, the bright line is converted into a bright line corresponding to each of the plurality of subjects according to the intensity of the bright line included in the bright line image. Information may be acquired by separating and demodulating the data specified by the pattern of the emission line corresponding to the subject for each subject.
これにより、例えば、図３７０に示すように、複数の照明などの被写体がそれぞれ輝度変化する場合でも、被写体のそれぞれから適切な情報を取得することができる。 Thereby, for example, as shown in FIG. 370, even when the brightness of each of the subjects such as a plurality of lights changes, appropriate information can be acquired from each of the subjects.
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記画像取得ステップでは、反射面に映る前記被写体を撮影することによって前記輝線画像を取得し、前記情報通信方法は、さらに、前記輝線画像内における輝度分布に基づいて、前記被写体の位置を推定する位置推定ステップを含んでもよい。 Further, it is an information communication method for acquiring information from a subject, and a bright line corresponding to an exposure line included in the image sensor is generated in an image obtained by photographing the subject by an image sensor according to a change in the brightness of the subject. As described above, the exposure time setting step for setting the exposure time of the image sensor and the image sensor taking a picture of the subject whose brightness changes at the set exposure time obtains a bright line image including the bright line. The image acquisition step includes an image acquisition step of acquiring information by demodulating the data specified by the emission line pattern included in the acquired emission line image, and the image acquisition step reflects the image on the reflective surface. The emission line image may be acquired by photographing the subject, and the information communication method may further include a position estimation step of estimating the position of the subject based on the brightness distribution in the emission line image.
これにより、例えば、図３７１に示すように、輝度分布に基づいて適切な被写体の位置を推定することができる。 Thereby, for example, as shown in FIG. 371, an appropriate position of the subject can be estimated based on the luminance distribution.
また、輝度変化によって信号を送信する情報通信方法であって、送信対象の第１の信号を変調することによって、輝度変化の第１のパターンを決定する第１の決定ステップと、送信対象の第２の信号を変調することによって、輝度変化の第２のパターンを決定する第２の決定ステップと、発光体が、決定された前記第１のパターンにしたがった輝度変化と、決定された前記第２のパターンにしたがった輝度変化とを、交互に行うことによって、前記第１および第２の信号を送信する送信ステップとを含んでもよい。 Further, it is an information communication method in which a signal is transmitted by a change in brightness, and a first determination step of determining a first pattern of change in brightness by modulating a first signal of a transmission target, and a first determination step of the transmission target. A second determination step of determining a second pattern of luminance change by modulating the 2 signals, a luminance change according to the determined first pattern of the illuminant, and the determined first pattern. It may include a transmission step of transmitting the first and second signals by alternately performing the luminance change according to the second pattern.
これにより、例えば、図３６５Ａに示すように、第１の信号と第２の信号とをそれぞれ遅滞なく送信することができる。 Thereby, for example, as shown in FIG. 365A, the first signal and the second signal can be transmitted without delay.
また、前記送信ステップでは、輝度変化を、前記第１のパターンにしたがった輝度変化と、前記第２のパターンにしたがった輝度変化とで切り替えるときには、緩衝時間を空けて切り替えてもよい。 Further, in the transmission step, when the luminance change is switched between the luminance change according to the first pattern and the luminance change according to the second pattern, it may be switched after a buffer time.
これにより、例えば、図３６５Ｂに示すように、第１の信号と第２の信号との混信を抑えることができる。 Thereby, for example, as shown in FIG. 365B, interference between the first signal and the second signal can be suppressed.
また、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記信号は、複数の大ブロックからなり、前記複数の大ブロックのそれぞれは、第１のデータと、前記第１のデータに対するプリアンブルと、前記第１のデータに対するチェック信号とを含み、前記第１のデータは、複数の小ブロックからなり、前記小ブロックは、第２のデータと、前記第２のデータに対するプリアンブルと、前記第２のデータに対するチェック信号とを含んでもよい。 Further, it is an information communication method in which a signal is transmitted by a change in brightness, in which a determination step of determining a pattern of change in brightness by modulating a signal to be transmitted and a light emitting body change the brightness according to the determined pattern. The signal comprises a transmission step of transmitting the signal to be transmitted by the above, and the signal is composed of a plurality of large blocks, and each of the plurality of large blocks is a preamble for the first data and the first data. And the check signal for the first data, the first data is composed of a plurality of small blocks, and the small blocks include the second data, a preamble for the second data, and the first. It may include a check signal for the data of 2.
これにより、例えば、図３６６に示すように、ブランキング期間を要する受信機でも、ブランキング期間を必要としない受信機でも、適切にデータを取得することができる。 Thereby, for example, as shown in FIG. 366, data can be appropriately acquired by either a receiver that requires a blanking period or a receiver that does not require a blanking period.
また、輝度変化によって信号を送信する情報通信方法であって、複数の送信機がそれぞれ、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、送信機ごとに、当該送信機に備えられた発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、互いに周波数またはプロトコルが異なる信号を送信してもよい。 Further, it is an information communication method for transmitting a signal by changing the brightness, and a determination step of determining a pattern of the change in brightness by modulating a signal to be transmitted by each of a plurality of transmitters, and a determination step for each transmitter. A light emitter provided in a transmitter includes a transmission step of transmitting a signal to be transmitted by changing the brightness according to the determined pattern, and the transmission step transmits signals having different frequencies or protocols from each other. You may.
これにより、例えば、図３６８に示すように、複数の送信機からの信号の混信を抑えることができる。 Thereby, for example, as shown in FIG. 368, signal interference from a plurality of transmitters can be suppressed.
また、輝度変化によって信号を送信する情報通信方法であって、複数の送信機がそれぞれ、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、送信機ごとに、当該送信機に備えられた発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、前記複数の送信機のうちの１つの送信機は、他方の送信機から送信される信号を受信し、受信された信号と混信しない態様で、他の信号を送信してもよい。 Further, it is an information communication method for transmitting a signal by changing the brightness, and a determination step of determining a pattern of the change in brightness by modulating a signal to be transmitted by each of a plurality of transmitters, and a determination step for each transmitter. A light emitting body provided in a transmitter includes a transmission step of transmitting a signal to be transmitted by changing the brightness according to the determined pattern, and in the transmission step, one of the plurality of transmitters is used. One transmitter may receive a signal transmitted from the other transmitter and transmit another signal in a manner that does not interfere with the received signal.
これにより、例えば、図３６９に示すように、複数の送信機からの信号の混信を抑えることができる。 Thereby, for example, as shown in FIG. 369, signal interference from a plurality of transmitters can be suppressed.
（実施の形態１５）
本実施の形態では、上記実施の形態１〜１４におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬなどの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
(Embodiment 15)
In this embodiment, each application example using a receiver such as a smartphone in the above-described first to 14th embodiments and a transmitter that transmits information as a blinking pattern such as an LED or an organic EL will be described.
図３８２は、実施の形態１５における受信機の動作の一例を示すフローチャートである。 FIG. 382 is a flowchart showing an example of the operation of the receiver according to the fifteenth embodiment.
まず、受信機は、照度センサで信号を受信する（８１０１）。次に、受信機は、受信した信号を基に、サーバから位置情報などの情報を取得する（８１０２）。次に、受信機は、照度センサの受光方向を撮像可能なイメージセンサを起動する（８１０３）。次に、受信機は、イメージセンサで信号の一部または全部を受信し、その一部または全部が、照度センサで受信した信号と同一の信号であるかどうかを確認する（８１０４）。次に、受信機は、撮像画像（撮影画像）中の送信機の位置と、受信機に備えられた９軸センサからの情報と、送信機の位置情報とから、受信機の位置を推定する（８１０５）。このように、受信機は、消費電力の少ない照度センサを起動しておき、その照度センサによって信号が受信された場合に、イメージセンサを起動する。そして、受信機は、そのイメージセンサによる撮像を利用した位置推定を行う。これによって、消費電力を抑えながら、受信機の位置を精度よく推定することができる。 First, the receiver receives the signal with the illuminance sensor (8101). Next, the receiver acquires information such as location information from the server based on the received signal (8102). Next, the receiver activates an image sensor capable of capturing the light receiving direction of the illuminance sensor (8103). Next, the receiver receives a part or all of the signal by the image sensor, and confirms whether a part or all of the signal is the same signal as the signal received by the illuminance sensor (8104). Next, the receiver estimates the position of the receiver from the position of the transmitter in the captured image (captured image), the information from the 9-axis sensor provided in the receiver, and the position information of the transmitter. (8105). In this way, the receiver activates the illuminance sensor with low power consumption, and activates the image sensor when the signal is received by the illuminance sensor. Then, the receiver estimates the position using the image pickup by the image sensor. This makes it possible to accurately estimate the position of the receiver while suppressing power consumption.
図３８３は、実施の形態１５における受信機の動作の他の例を示すフローチャートである。 FIG. 383 is a flowchart showing another example of the operation of the receiver according to the fifteenth embodiment.
受信機は、照度センサのセンサ値から、輝度の周期的な変化を認識する（８１１１）。次に、受信機は、照度センサの受光方向を撮像可能なイメージセンサを起動し、信号を受信する（８１１２）。つまり、上述と同様に、受信機は、消費電力の少ない照度センサを起動しておき、その照度センサによって輝度の周期的な変化が受信された場合に、イメージセンサを起動する。そして、受信機は、そのイメージセンサによる撮像によって、正確な信号を受信する。これにより、消費電力を抑えながら、正確な信号を受信することができる。 The receiver recognizes a periodic change in luminance from the sensor value of the illuminance sensor (8111). Next, the receiver activates an image sensor capable of capturing the light receiving direction of the illuminance sensor and receives the signal (8112). That is, as described above, the receiver activates the illuminance sensor with low power consumption, and activates the image sensor when the illuminance sensor receives a periodic change in luminance. Then, the receiver receives an accurate signal by imaging with the image sensor. As a result, it is possible to receive an accurate signal while suppressing power consumption.
図３８４Ａは、実施の形態１５における送信機の一例を示すブロック図である。 FIG. 384A is a block diagram showing an example of the transmitter according to the fifteenth embodiment.
送信機８１１５は、電源部８１１５ａと、信号制御部８１１５ｂと、発光部８１１５ｃと、発光部８１１５ｄとを備える。電源部８１１５ａは、信号制御部８１１５ｂに電力を供給する。信号制御部８１１５ｂは、その電源部８１１５ａから供給される電力を、発光部８１１５ｃおよび発光部８１１５ｄに振り分け、発光部８１１５ｃおよび発光部８１１５ｄの輝度変化を制御する。
The
図３８４Ｂは、実施の形態１５における送信機の他の例を示すブロック図である。 FIG. 384B is a block diagram showing another example of the transmitter according to the fifteenth embodiment.
送信機８１１６は、電源部８１１６ａと、信号制御部８１１６ｂと、発光部８１１６ｃと、発光部８１１６ｄとを備える。電源部８１１６ａは、発光部８１１６ｃおよび発光部８１１６ｄに電力を供給する。ここで、信号制御部８１１６ｂは、電源部８１１６ａから供給される電力を制御することによって、発光部８１１６ｃおよび発光部８１１６ｄの輝度変化を制御する。このように、発光部８１１６ｃおよび発光部８１１６ｄのそれぞれに電力を供給する電源部８１１６ａが信号制御部８１１６ｂに制御されることによって、電力の使用効率を高めることができる。
The
図３８５は、実施の形態１５における複数の送信機を含むシステムの構成例を示す図である。 FIG. 385 is a diagram showing a configuration example of a system including a plurality of transmitters according to the fifteenth embodiment.
このシステムは、集中制御部８１１８、送信機８１１７および送信機８１２０を備える。集中制御部８１１８は、送信機８１１７および送信機８１２０のそれぞれの輝度変化による信号の送信を制御する。例えば、集中制御部８１１８は、送信機８１１７および送信機８１２０のそれぞれから同じタイミングで同じ信号を送信させたり、何れか一方の送信機のみに、その送信機に固有の信号を送信させたりする。
The system includes a
送信機８１２０は、２つの送信ユニット８１２１および８１２２と、信号変更部８１２３と、信号記憶部８１２４と、同期信号入力部８１２５と、同期制御部８１２６と、受光部８１２７とを備える。
The
２つの送信ユニット８１２１および８１２２は、それぞれ図３８４Ａに示す送信機８１１５と同様の構成を有し、輝度変化することによって信号を送信する。具体的には、送信ユニット８１２１は、電源部８１２１ａ、信号制御部８１２１ｂ、発光部８１２１ｃおよび発光部８１２１ｄを備える。送信ユニット８１２２は、電源部８１２２ａ、信号制御部８１２２ｂ、発光部８１２２ｃおよび発光部８１２２ｄを備える。
The two
信号変更部８１２３は、送信対象の信号を輝度変化のパターンを示す信号に変調する。信号記憶部８１２４は、その輝度変化のパターンを示す信号を記憶している。送信ユニット１２１の信号制御部８１２１ｂは、信号記憶部８１２４に格納されている信号を読み出して、その信号に応じて発光部８１２１ｃおよび発光部８１２１ｄを輝度変化させる。
The
同期信号入力部８１２５は、集中制御部８１１８による制御に応じて同期信号を取得する。同期制御部８１２６は、その同期信号が取得されると、送信ユニット８１２１と送信ユニット８１２２との輝度変化を同期させる。つまり、同期制御部８１２６は、信号制御部８１２１ｂおよび信号制御部８１２２ｂを制御することによって、送信ユニット８１２１と送信ユニット８１２２との輝度変化を同期させる。ここで、受光部８１２７は、送信ユニット８１２１と送信ユニット８１２２からの発光を検出する。同期制御部８１２６は、その受光部８１２７によって検出された光に応じて、信号制御部８１２１ｂおよび信号制御部８１２２ｂへのフィードバック制御を行う。
The synchronization
図３８６は、実施の形態１５における送信機の他の例を示すブロック図である。 FIG. 386 is a block diagram showing another example of the transmitter according to the fifteenth embodiment.
送信機８１３０は、輝度変化によって信号を送信する送信ユニット８１３１と、信号の送信を行わずに発光する非送信ユニット８１３２とを備える。
The
送信ユニット８１３１は、図３８４Ａに示す送信機８１１５と同様の構成を有し、電源部８１３１ａ、信号制御部８１３１ｂ、および発光部８１３１ｃ〜８１３１ｆを備える。また、非送信ユニット８１３２は、電源部８１３２ａおよび発光部８１３２ｃ〜８１３２ｆを備え、信号制御部を備えていない。つまり、電源を含むユニットが複数あって、それらのユニット間で輝度変化の同期制御ができない場合には、図３８６に示す構成のように、何れか１つのユニットにのみ信号制御部を備え、その１つのユニットだけを輝度変化させる。
The
ここで、このような送信機８１３０では、送信ユニット８１３１の発光部８１３１ｃ〜８１３１ｆは一列に連続的に配置される。つまり、発光部８１３１ｃ〜８１３１ｆの集合に、非送信ユニット８１３２の発光部８１３２ｃ〜８１３２ｆの何れかが混じることはない。これにより、輝度変化する発光体のサイズが大きくなるため、受信機は、その輝度変化によって送信される信号を容易に受信することができる。
Here, in such a
図３８７Ａは、実施の形態１５における送信機の一例を示す図である。 FIG. 387A is a diagram showing an example of the transmitter according to the fifteenth embodiment.
送信機８１３４は、例えばサイネージとして構成され、３つの発光部（発光領域）８１３４ａ〜８１３４ｃを備える。なお、これらの発光部８１３４ａ〜８１３４ｃからの光は互いに干渉することはない。ここで、発光部８１３４ａ〜８１３４ｃのうちの何れか１つだけを輝度変化させて信号を送信させることができる場合には、図３８７Ａの（ａ）に示すように、中央にある発光部８１３４ｂを輝度変化させることが望ましい。また、発光部８１３４ａ〜８１３４ｃのうちの２つを輝度変化させることができる場合には、図３８７Ａの（ｂ）に示すように、中央にある発光部８１３４ｂと、端にある発光部８１３４ａまたは発光部８１３４ｃとを輝度変化させることが望ましい。このような位置にある発光部を輝度変化させることによって、受信機は、輝度変化によって送信される信号を適切に受信することができる。
The
図３８７Ｂは、実施の形態１５における送信機の一例を示す図である。 FIG. 387B is a diagram showing an example of the transmitter according to the fifteenth embodiment.
送信機８１３５は、例えばサイネージとして構成され、３つの発光部８１３５ａ〜８１３５ｃを備える。なお、これらの発光部８１３５ａ〜８１３５ｃのうちの互いに隣接する発光部からの光は相互に干渉する。ここで、発光部８１３５ａ〜８１３５ｃのうちの何れか１つだけを輝度変化させて信号を送信させることができる場合には、図３８７Ｂの（ａ）に示すように、端に配置されている発光部８１３５ａまたは発光部８１３５ｃを輝度変化させることが望ましい。これにより、信号を送信するための輝度変化が他の発光部からの光に干渉されることを抑えることができる。また、発光部８１３５ａ〜８１３５ｃのうちの２つを輝度変化させることができる場合には、図３８７Ｂの（ｂ）に示すように、中央にある発光部８１３５ｂと、端にある発光部８１３５ａまたは発光部８１３５ｃとを輝度変化させることが望ましい。このような位置にある発光部を輝度変化させることによって、輝度変化の面積が大きくなるため、受信機は、輝度変化によって送信される信号を適切に受信することができる。
The
図３８７Ｃは、実施の形態１５における送信機の一例を示す図である。 FIG. 387C is a diagram showing an example of the transmitter according to the fifteenth embodiment.
送信機８１３４は、３つの発光部８１３４ａ〜８１３４ｃのうち２つを輝度変化させることがきる場合には、図３７８Ｃに示すように、両端にある発光部８１３４ａおよび発光部８１３４ｃを輝度変化させてもよい。この場合には、受信機による撮像において、輝度変化する部位が映る撮像範囲を広げることができる。
When the
図３８８Ａは、実施の形態１５における送信機の一例を示す図である。 FIG. 388A is a diagram showing an example of the transmitter according to the fifteenth embodiment.
送信機８１３７は例えばサイネージとして構成され、文字部分「Ａ Ｓｈｏｐ」と発光部８１３７ａとが輝度変化することによって信号を送信する。発光部８１３７ａは例えば水平方向に長い矩形状に形成されて一様に輝度変化する。この発光部８１３７ａが一様に輝度変化することによって、受信機は、輝度変化によって送信される信号を適切に受信することができる。
The
図３８８Ｂは、実施の形態１５における送信機の一例を示す図である。 FIG. 388B is a diagram showing an example of the transmitter according to the fifteenth embodiment.
送信機８１３８は例えばサイネージとして構成され、文字部分「Ａ Ｓｈｏｐ」と発光部８１３８ａとが輝度変化することによって信号を送信する。発光部８１３８ａは例えばサイネージの縁に沿うように枠状に形成されて一様に輝度変化する。つまり、発光部を任意の直線に射影したときに連続した射影部分の長さが最大になるように、その発光部８１３８ａは形成されている。この発光部８１３８ａが一様に輝度変化することによって、受信機は、輝度変化によって送信される信号をより適切に受信することができる。
The
図３８９は、実施の形態１５における受信機、送信機およびサーバの処理動作の一例を示す図である。 FIG. 389 is a diagram showing an example of processing operations of the receiver, the transmitter, and the server according to the fifteenth embodiment.
例えばスマートフォンとして構成される受信機８１４２は、自らの位置を示す位置情報を取得し、その位置情報をサーバ８１４１に送信する。なお、受信機８１４２は、例えばＧＰＳなどを利用したり、他の信号を受信したときにその位置情報を取得する。サーバ８１４１は、その位置情報によって示される位置に対応付けられたＩＤリストを受信機８１４２に送信する。ＩＤリストには、「ａｂｃｄ」などのＩＤごとに、そのＩＤと、そのＩＤに対応付けられた情報とが含まれている。
For example, the
受信機８１４２は、例えば照明機器として構成される送信機８１４３から信号を受信する。このとき、受信機８１４２は、ＩＤの一部（例えば「 ｂ 」）しか上述の信号として受信できない場合がある。この場合、受信機８１４２は、そのＩＤの一部を含むＩＤをＩＤリストから検索する。一意のＩＤが見つからない場合には、受信機８１４２は、さらに、送信機８１４３から、そのＩＤの他の部分を含む信号を受信する。これにより、受信機８１４２は、そのＩＤのうちのより多くの部分（例えば「 ｂｃ 」）を取得する。そして、受信機８１４２は、そのＩＤの一部（例えば「 ｂｃ 」）を含むＩＤをＩＤリストから再び検索する。このような検索を行うことによって、受信機８１４２は、ＩＤの一部しか取得することができなくても、ＩＤの全てを特定することができる。なお、受信機８１４２は、送信機８１４３から信号を受信するときには、ＩＤの一部だけでなく、ＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）などのチェック部分なども受信する。
The
図３９０は、実施の形態１５における受信機、送信機およびサーバの処理動作の一例を示す図である。 FIG. 390 is a diagram showing an example of processing operations of the receiver, the transmitter, and the server according to the fifteenth embodiment.
例えばスマートフォンとして構成される受信機８１５２は、自らの位置を示す位置情報を取得する。なお、受信機８１５２は、例えばＧＰＳなどを利用したり、他の信号を受信したときにその位置情報を取得する。さらに、受信機８１５２は、例えば照明機器として構成される送信機８１５３から信号を受信する。このとき、その信号には、ＩＤのうち、そのＩＤの一部（例えば「 ｂ 」）だけが含まれている。ここで、受信機８１５２は、その位置情報とＩＤの一部とをサーバ８１５１に送信する。
For example, the
サーバ８１５１は、その位置情報によって示される位置に対応付けられたＩＤリストから、そのＩＤの一部を含むＩＤを検索する。一意のＩＤが見つからない場合には、サーバ８１５１はＩＤの特定が失敗したことを受信機８１５２に通知する。
The
次に、受信機８１５２は、送信機８１５３から、そのＩＤの他の部分を含む信号を受信する。これにより、受信機８１５２は、そのＩＤのうちのより多くの部分（例えば「 ｂｅ 」）を取得する。そして、受信機８１５２は、そのＩＤの一部（例えば「 ｂｅ 」）と位置情報とをサーバ８１５１に送信する。
The
サーバ８１５１は、その位置情報によって示される位置に対応付けられたＩＤリストから、そのＩＤの一部を含むＩＤを検索する。一意のＩＤが見つかると、サーバ８１５１は、そのＩＤ（例えば「ａｂｅｆ」）が特定されたことを受信機８１５２に通知するとともに、そのＩＤに対応付けられた情報を受信機８１５２に送信する。
The
図３９１は、実施の形態１５における受信機、送信機およびサーバの処理動作の一例を示す図である。 FIG. 391 is a diagram showing an example of processing operations of the receiver, the transmitter, and the server according to the fifteenth embodiment.
受信機８１５２は、ＩＤのうちの一部だけでなくその全てを、位置情報とともにサーバ８１５１に送信してもよい。このとき、その完全な状態のＩＤ（例えば「ｗｘｙｚ」）がＩＤリストに含まれていない場合には、サーバ８１５１は、受信機８１５２にエラーを通知する。
The
図３９２Ａは、実施の形態１５における複数の送信機の同期を説明するための説明図である。 FIG. 392A is an explanatory diagram for explaining synchronization of a plurality of transmitters in the fifteenth embodiment.
送信機８１５５ａおよび送信機８１５５ｂは輝度変化することによって信号を送信する。ここで、送信機８１５５ａは、同期信号を送信機８１５５ｂに送信することによって、その送信機８１５５ｂと同期して輝度変化する。また、送信機８１５５ａと送信機８１５５ｂとは、それぞれ発信源から信号を取得して、その信号に応じた輝度変化を行う。こで、発信源から送信機８１５５ａへの信号送信にかかる時間（第１の遅延時間）と、発信源から送信機８１５５ｂへの信号送信にかかる時間（第２の遅延時間）とが異なる場合がある。そこで、それらの送信機８１５５ａ，８１５５ｂと発信源との間における信号の往復時間が測定され、それらの往復時間の１／２が上述の第１または第２の遅延時間として特定される。送信機８１５５ａは、それらの第１または第２の遅延時間の差がキャンセルされるように同期信号を送信することによって、送信機８１５５ｂと同期した輝度変化を行う。
The
図３９２Ｂは、実施の形態１５における複数の送信機の同期を説明するための説明図である。 FIG. 392B is an explanatory diagram for explaining synchronization of a plurality of transmitters in the fifteenth embodiment.
受光センサ８１５６は、送信機８１５５ａおよび送信機８１５５ｂからの光を検出して、その結果を検出信号として送信機８１５５ａおよび送信機８１５５ｂに出力する。送信機８１５５ａおよび送信機８１５５ｂは、その受光センサ８１５６からの検出信号を受信すると、その検出信号に基づいて互いに同期した輝度変化を行ったり、信号の強度の調整を行う。
The
図３９３は、実施の形態１５における送信機および受信機の動作の一例を示す図である。 FIG. 393 is a diagram showing an example of the operation of the transmitter and the receiver according to the fifteenth embodiment.
例えばテレビとして構成される送信機８１６５は、画像と、その画像に対応付けられたＩＤ（ＩＤ １０００）とを制御部８１６６から取得する。そして、送信機８１６５は、その画像を表示するとともに、輝度変化することによって、そのＩＤ（ＩＤ １０００）を受信機８１６７に送信する。受信機８１６７は、撮像することによって、そのＩＤ（ＩＤ １０００）を受信するとともに、そのＩＤ（ＩＤ １０００）に対応付けられた情報を表示する。ここで、制御部８１６６は、送信機８１６５に出力される画像を他の画像に変更する。このとき、制御部８１６６は、送信機８１６５に出力されるＩＤも変更する。つまり、制御部８１６６は、その他の画像とともに、他の画像に対応付けられた他のＩＤ（ＩＤ １００１）を送信機８１６５に出力する。これにより、送信機８１６５は、その他の画像を表示するとともに、輝度変化することによって、他のＩＤ（ＩＤ １００１）を受信機８１６７に送信する。受信機８１６７は、撮像することによって、その他のＩＤ（ＩＤ １００１）を受信するとともに、その他のＩＤ（ＩＤ １００１）に対応付けられた情報を表示する。
For example, the
図３９４は、実施の形態１５における送信機および受信機の動作の一例を示す図である。 FIG. 394 is a diagram showing an example of the operation of the transmitter and the receiver according to the fifteenth embodiment.
送信機８１７０は、例えばサイネージとして構成されており、画像を切り替えて表示する。そして、送信機８１７０は、画像を表示するときには、表示される画像に対応するＩＤと、その画像が表示される時刻とを示すＩＤ時刻情報を、輝度変化することによって受信機８１７１に送信する。例えば、送信機８１７０は、時刻ｔ１には、丸い図形を示す画像を表示するとともに、その画像に対応するＩＤ（ＩＤ：１０００）と、その画像が表示されている時刻（ＴＩＭＥ：ｔ１）とを示すＩＤ時刻情報を送信する。
The
ここで、送信機８１７０は、現在表示されている画像に対応するＩＤ時刻情報だけでなく、過去に表示されていた画像に対応するＩＤ時刻情報を少なくとも１つ送信する。例えば、送信機８１７０は、時刻ｔ２には、四角い図形を示す画像を表示するとともに、その画像に対応するＩＤ（ＩＤ：１００１）と、その画像が表示されている時刻（ＴＩＭＥ：ｔ２）とを示すＩＤ時刻情報を送信する。さらに、このとき、送信機８１７０は、丸い図形を示す画像に対応するＩＤ（ＩＤ：１０００）と、その画像が表示されていた時刻（ＴＩＭＥ：ｔ１）とを示すＩＤ時刻情報を送信する。同様に、時刻ｔ３では、送信機８１７０は、三角形の図形を示す画像を表示するとともに、その画像に対応するＩＤ（ＩＤ：１００２）と、その画像が表示されている時刻（ＴＩＭＥ：ｔ３）とを示すＩＤ時刻情報を送信する。さらに、このとき、送信機８１７０は、四角い図形を示す画像に対応するＩＤ（ＩＤ：１００１）と、その画像が表示されていた時刻（ＴＩＭＥ：ｔ２）とを示すＩＤ時刻情報を送信する。つまり、送信機８１７０は、複数のＩＤ時刻情報を同じタイミングに送信する。
Here, the
例えば、ユーザは、四角い図形を示す画像に関連する情報を得るために、その四角い図形を示す画像が表示されている時刻ｔ２に、受信機８１７１のイメージセンサを送信機８１７０にかざして、受信機８１７１による撮像を開始する。
For example, in order to obtain information related to an image showing a square figure, the user holds the image sensor of the
ここで、受信機８１７１は、時刻ｔ２に撮像を開始しても、その四角い図形を示す画像が送信機８１７０に表示されている間に、その画像に対応するＩＤ時刻情報を取得することができない場合がある。このような場合であっても、上述のように、過去に表示されていた画像に対応するＩＤ時刻情報も送信機８１７０から送信されているため、受信機８１７１は、時刻ｔ３には、三角形の図形を示す画像に対応するＩＤ時刻情報（ＩＤ：１００２，ＴＩＭＥ：ｔ３）だけでなく、四角い図形を示す画像に対応するＩＤ時刻情報（ＩＤ：１００１，ＴＩＭＥ：ｔ２）も取得することができる。そして、受信機８１７１は、それらのＩＤ時刻情報の中から、送信機８１７０にかざされた時刻（ｔ２）を示すＩＤ時刻情報（ＩＤ：１００１，ＴＩＭＥ：ｔ２）を選択し、そのＩＤ時刻情報によって示されるＩＤ（ＩＤ：１００１）を特定する。これにより、受信機８１７１は、時刻ｔ３に、その特定されたＩＤ（ＩＤ：１００１）に基づいて、四角い図形を示す画像に関する情報を例えばサーバなどから得ることができる。
Here, even if the
なお、上述の時刻は、絶対的な時刻に限らず、受信機８１７１が送信機８１７０にかざされた時刻と、受信機８１７１がＩＤ時刻情報を取得した時刻との間の時間（いわゆる相対時刻）であってもよい。また、送信機８１７０は、現在表示されている画像に対応するＩＤ時刻情報とともに、過去に表示されていた画像に対応するＩＤ時刻情報を送信したが、未来に表示される予定の画像に対応するＩＤ時刻情報を送信してもよい。また、送信機８１７０は、受信機８１７１による受信が困難な状況にある場合には、送信される過去または未来のＩＤ時刻情報の数を増やしてもよい。
The above time is not limited to the absolute time, but is the time between the time when the
また、送信機８１７０がサイネージではなくテレビとして構成される場合には、送信機８１７０は、ＩＤ時刻情報の代わりに、表示されている画像に対応するチャンネルを示す情報を送信してもよい。つまり、放送されているテレビ番組の画像がリアルタイムに送信機８１７０で表示されている場合には、送信機８１７０で表示された画像の表示時刻は、チャンネルごとに一意に特定することができる。したがって、受信機８１７１は、撮像によって得られた画像と、そのチャンネルとに基づいて、受信機８１７１が送信機８１７０にかざされた時刻、つまり、受信機８１７１が撮像を開始した時刻を特定することができる。そして、受信機８１７１は、チャンネルとその時刻とに基づいて、撮像によって得られた画像に関する情報を例えばサーバなどから得ることができる。なお、送信機８１７０は、ＩＤ時刻情報の代わりに、表示されている画像の表示時刻を示す情報を送信してもよい。この場合には、受信機８１７１は、そのときに放送されている全てのテレビ番組の中から、撮像によって得られた画像を含むテレビ番組を検索し、そのテレビ番組のチャンネルとその表示時刻とに基づいて、その画像に関連する情報をサーバなどから得ることができる。
Further, when the
図３９５は、実施の形態１５における送信機、受信機およびサーバの動作の一例を示す図である。 FIG. 395 is a diagram showing an example of the operation of the transmitter, the receiver, and the server in the fifteenth embodiment.
図３９５の（ａ）に示すように、受信機８１７６は、送信機８１７５を撮像することによって、輝線を含む画像を取得し、その画像から送信機８１７５のＩＤを特定（取得）する。さらに、受信機８１７６は、そのＩＤをサーバ８１７７に送信し、そのＩＤに関連付けられた情報をサーバ８１７７から取得する。
As shown in FIG. 395 (a), the
一方、図３９５の（ｂ）に示すように、受信機８１７６は、送信機８１７５を撮像することによって、輝線を含む画像を取得し、その画像を撮像データとしてサーバ８１７７に送信してもよい。また、受信機８１７６は、輝線を含む画像に対して、画像の情報量が少なくなるような前処理を行い、前処理が行われた画像を撮像データとしてサーバ８１７７に送信してもよい。この前処理は例えば画像の二値化処理などである。サーバ８１７７は、その撮像データを取得すると、その撮像データによって示される画像から送信機８１７５のＩＤを特定（取得）する。さらに、サーバ８１７７は、そのＩＤに関連付けられた情報を受信機８１７６に送信する。
On the other hand, as shown in FIG. 395 (b), the
図３９６は、実施の形態１５における送信機および受信機の動作の一例を示す図である。 FIG. 396 is a diagram showing an example of the operation of the transmitter and the receiver according to the fifteenth embodiment.
ユーザが位置Ａにいるときには、受信機８１８３は、輝度変化する送信機８１８１から送信される信号を取得することによって、受信機８１８３の位置を特定する。その結果、受信機８１８３は、その特定された位置を示す点８１８３ｂを、その位置の誤差範囲８１８３ａととともに表示する。
When the user is at position A,
次に、ユーザが位置Ａから移動して位置Ｂに着くと、受信機８１８３は、送信機８１８１から信号を取得することができない状態になる。このとき、受信機８１８３は、自らに備えられている９軸センサなどを用いることによって、自らの位置を推定する。そして、受信機８１８３は、その推定された位置を示す点８１８３ｂを、その位置の誤差範囲８１８３ａととともに表示する。このとき、その位置は、９軸センサによって推定されたものであるため、誤差範囲８１８３ａは広く表示される。
Next, when the user moves from the position A and arrives at the position B, the
次に、ユーザが位置Ｂから移動して位置Ｃに着くと、受信機８１８３は、輝度変化する他の送信機８１８２から送信される信号を取得することによって、受信機８１８３の位置を特定する。その結果、受信機８１８３は、その特定された位置を示す点８１８３ｂを、その位置の誤差範囲８１８３ａととともに表示する。ここで、受信機８１８３は、９軸センサを用いて推定された位置を示す点８１８３ｂおよび誤差範囲８１８３ａを、上述のように特定された位置および誤差範囲に直ぐに切り替えて表示することなく、滑らかにそれらを移動させて切り替える。また、このときには、誤差範囲８１８３ａは小さくなる。
Next, when the user moves from the position B and arrives at the position C, the
図３９７は、実施の形態１５における受信機の外観の一例を示す図である。 FIG. 397 is a diagram showing an example of the appearance of the receiver according to the fifteenth embodiment.
受信機８１８３は、例えばスマートフォン（高機能携帯電話）として構成され、図３９７の（ａ）に示すように、受信機８１８３の前面には、イメージセンサ８１８３ｃ、照度センサ８１８３ｄ、およびディスプレイ８１８３ｅが配置されている。イメージセンサ８１８３ｃは、上述のように輝度変化する被写体を撮像することによって、輝線を含む画像を取得する。照度センサ８１８３ｄは、上述の被写体の輝度変化を検出する。したがって、照度センサ８１８３ｄは、被写体の状態または状況によっては、イメージセンサ８１８３ｃの代わりとして用いることができる。ディスプレイ８１８３ｅは、画像などを表示する。ここで、受信機８１８３は、輝度変化する被写体としての機能を備えていてもよい。この場合には、受信機８１８３は、ディスプレイ８１８３ｅを輝度変化させることによって信号を送信する。
The
また、図３９７の（ｂ）に示すように、受信機８１８３の背面には、イメージセンサ８１８３ｆ、照度センサ８１８３ｇ、およびフラッシュ発光部８１８３ｈが配置されている。イメージセンサ８１８３ｆは、上述のイメージセンサ８１８３ｃと同じものであって、上述のように輝度変化する被写体を撮像することによって、輝線を含む画像を取得する。照度センサ８１８３ｇは、上述の照度センサ８１８３ｄと同じものであって、被写体の輝度変化を検出する。したがって、照度センサ８１８３ｇは、被写体の状態または状況によっては、イメージセンサ８１８３ｆの代わりとして用いることができる。フラッシュ発光部８１８３ｈは、撮像のためにフラッシュを発する。ここで、受信機８１８３は、輝度変化する被写体としての機能を備えていてもよく、この場合には、フラッシュ発光部８１８３ｈを輝度変化させることによって信号を送信する。
Further, as shown in FIG. 397 (b), an
図３９８は、実施の形態１５における送信機、受信機およびサーバの動作の一例を示す図である。 FIG. 398 is a diagram showing an example of the operation of the transmitter, the receiver, and the server in the fifteenth embodiment.
例えばスマートフォントして構成される送信機８１８５は、ディスプレイ８１８５ａのうちのバーコード部分８１８５ｂを除く部分を輝度変化させることによって、すなわち、可視光通信によって、例えば「クーポン １００円引き」を示す情報を送信する。また、送信機８１８５は、バーコード部分８１８５ｂを輝度変化させずに、そのバーコード部分８１８５ｂにバーコードを表示させる。このバーコードは、上述の可視光通信によって送信される情報と同じ情報を示す。さらに、送信機８１８５は、ディスプレイ８１８５ａのうちのバーコード部分８１８５ｂを除く部分に、可視光通信によって送信される情報を示す文字または絵、例えば文字「クーポン １００円引き」を表示する。このような文字または絵が表示されることによって、送信機８１８５のユーザは、どのような情報が送信されているかを容易に把握することができる。
For example, the
受信機８１８６は、撮像することによって、可視光通信によって送信された情報と、バーコードによって示される情報とを取得し、これらの情報をサーバ８１８７に送信する。サーバ８１８７は、これらの情報が一致または関連するか否かを判定し、一致または関連すると判定したときには、それらの情報にしたがった処理を実行する。または、サーバ８１８７は、その判定結果を受信機８１８６に送信し、受信機８１８６にそれらの情報にしたがった処理を実行させる。
The
なお、送信機８１８５は、バーコードによって示される情報のうちの一部を可視光通信によって送信してもよい。また、バーコードには、サーバ８１８７のＵＲＬが示されていてもよい。また、送信機８１８５は、受信機としてＩＤを取得して、そのＩＤをサーバ８１８７に送信することによって、そのＩＤに対応付けられている情報を取得してもよい。このＩＤに対応付けられている情報は、上述の可視光通信によって送信される情報、または、バーコードによって示される情報と同一である。また、サーバ８１８７は、受信機８１８６を介して送信機８１８５から送信される情報（可視光通信の情報またはバーコードの情報）に対応付けられたＩＤを、送信機８１８５に送信してもよい。
The
図３９９は、実施の形態１５における送信機および受信機の動作の一例を示す図である。 FIG. 399 is a diagram showing an example of the operation of the transmitter and the receiver according to the fifteenth embodiment.
例えばスマートフォントして構成される送信機８１８５は、ディスプレイ８１８５ａを輝度変化させることによって信号を送信する。受信機８１８８は、遮光性を有するコーン状の容器８１８８ｂと、照度センサ８１８８ａとを備える。照度センサ８１８８ａは、容器８１８８ｂの内部に格納され、その容器８１８８ｂの先端付近に配置されている。送信機８１８５から可視光通信によって信号が送信される場合には、受信機８１８８における容器８１８８ｂの開口部（底部）がディスプレイ８１８５ａに向けられる。これにより、容器８１８８ｂ内には、ディスプレイ８１８５ａからの光以外の光が入り込まないため、受信機８１８８の照度センサ８１８８ａは、ノイズとなる光の影響を受けることなく、ディスプレイ８１８５ａからの光を適切に受光することができる。その結果、受信機８１８８は、送信機８１８５からの信号を適切に受信することができる。
For example, the
図４００は、実施の形態１５における送信機および受信機の動作の一例を示す図である。 FIG. 400 is a diagram showing an example of the operation of the transmitter and the receiver according to the fifteenth embodiment.
送信機８１９０は、例えばバス停留所の標識塔として構成されており、輝度変化することによって、バスの運行状況などを示す運行情報を受信機８１８３に送信する。例えば、バスの行き先と、その行き先のバスがバス停留所に到着する時刻と、そのバスの現在地などを示す運行情報が受信機８１８３に送信される。受信機８１８３は、その運行情報を受信すると、その運行情報によって示される内容をディスプレイに表示する。
The
ここで、例えば、互いに異なる行き先のバスがそのバス停留所に止まる場合には、送信機８１９０は、それらの行き先のバスに関する運行情報を送信する。受信機８１８３は、それらの運行情報を受信すると、それらの運行情報の中から、ユーザによって利用される頻度の多い行き先のバスの運行情報を選択し、その運行情報によって示される内容をディスプレイに表示する。具体的には、受信機８１８３は、例えばＧＰＳなどを用いることによって、ユーザによって利用されたバスの行き先を特定し、その行き先の履歴を記録している。受信機８１８３は、この履歴を参照することによって、ユーザによって利用される頻度の多い行き先のバスの運行情報を選択する。または、受信機８１８３は、それらの運行情報の中から、ユーザの操作によって選択された運行情報によって示される内容をディスプレイに表示してもよい。または、受信機８１８３は、ユーザの操作によって選択された頻度の多い行き先のバスの運行情報を優先的に表示してもよい。
Here, for example, when buses of different destinations stop at the bus stop, the
図４０１は、実施の形態１５における送信機および受信機の動作の一例を示す図である。 FIG. 401 is a diagram showing an example of the operation of the transmitter and the receiver according to the fifteenth embodiment.
例えばサイネージとして構成されている送信機８１９１は、輝度変化することによって、複数の店舗の情報を受信機８１８３に送信する。この情報は、複数の店舗に関する情報を纏めたものであって、各店舗に固有の情報ではない。したがって、受信機８１８３は、撮像によってその情報を受信すると、１つの店舗だけでなく複数の店舗に関する情報を表示することができる。ここで、受信機８１８３は、それらの複数の店舗に関する情報のうち、撮像範囲に含まれている店舗（例えば、「Ｂ ｓｈｏｐ」）に関する情報を選択し、その選択された情報を表示する。また、受信機８１８３は、その情報を表示する際には、その情報を表すための言語を、予め登録されている言語に翻訳し、その翻訳された言語でその情報を表示する。また、送信機８１９１には、受信機８１８３のイメージセンサ（カメラ）による撮像を促すメッセージが文字などによって表示されていてもよい。具体的には、専用のアプリケーションプログラムを起動させて、カメラで撮像を行えば、情報の提供を受けることができることを知らせるメッセージ（例えば「カメラで情報をＧＥＴ」など）が送信機８１９１に表示される。
For example, the
図４０２は、実施の形態１５における送信機および受信機の動作の一例を示す図である。 FIG. 402 is a diagram showing an example of the operation of the transmitter and the receiver according to the fifteenth embodiment.
例えば、受信機８１８３は、複数の人物８１９７および街灯８１９５を含む被写体を撮像する。街灯８１９５は、輝度変化によって情報を送信する送信機８１９５ａを備えている。この撮像によって、受信機８１８３は、送信機８１９５ａの像が上述の輝線模様として表れた画像を取得する。さらに、受信機８１８３は、その輝線模様によって示されるＩＤに関連付けられているＡＲオブジェクト８１９６ａを例えばサーバなどから取得する。そして、受信機８１８３は、通常撮影によって得られる通常撮影画像８１９６にそのＡＲオブジェクト８１９６ａを重畳し、そのＡＲオブジェクト８１９６ａが重畳された通常撮影画像８１９６を表示する。
For example, the
図４０３Ａは、実施の形態１５における送信機によって送信される情報の構成の一例を示す図である。 FIG. 403A is a diagram showing an example of the configuration of information transmitted by the transmitter in the fifteenth embodiment.
例えば、送信機によって送信される情報は、プリアンブル部と、固定長のデータ部と、チェック部とからなる。受信機は、チェック部を用いてデータ部のチェックを行い、これらの各部分からなる情報を正常に受信する。ここで、受信機は、プリアンブル部とデータ部とを受信し、チェック部を受信することができなかったときには、そのチェック部を用いたチェックを省略する。このようなチェックが省略される場合であっても、受信機は、それらの各部分からなる情報を正常に受信することができる。 For example, the information transmitted by the transmitter includes a preamble unit, a fixed-length data unit, and a check unit. The receiver checks the data unit using the check unit, and normally receives the information consisting of each of these parts. Here, the receiver receives the preamble unit and the data unit, and when the check unit cannot be received, the check using the check unit is omitted. Even if such a check is omitted, the receiver can normally receive the information consisting of each of these parts.
図４０３Ｂは、実施の形態１５における送信機によって送信される情報の構成の他の例を示す図である。 FIG. 403B is a diagram showing another example of the configuration of information transmitted by the transmitter in the fifteenth embodiment.
例えば、送信機によって送信される情報は、プリアンブル部と、チェック部と、可変長のデータ部とからなる。送信機によって送信される次の情報も、プリアンブル部と、チェック部と、可変長のデータ部とからなる。ここで、受信機は、受信中に、プリアンブル部を受信して、さらに次のプリアンブル部を受信したときに、先のプリアンブル部から次のプリアンブル部の直前までの情報を、１つの意味を成す情報として認識する。また、受信機は、チェック部を用いることによって、そのチェック部の次に受信されるデータ部の終端を特定してもよい。この場合には、受信機は、上述の次のプリアンブル部（プリアンブル部の全てまたは一部）を受信することができなくても、直前に送信された１つの意味を成す情報を適切に受信することができる。 For example, the information transmitted by the transmitter includes a preamble unit, a check unit, and a variable length data unit. The next piece of information transmitted by the transmitter also consists of a preamble section, a check section, and a variable length data section. Here, when the receiver receives the preamble unit during reception and further receives the next preamble unit, the receiver makes one meaning of the information from the previous preamble unit to immediately before the next preamble unit. Recognize as information. Further, the receiver may specify the end of the data unit to be received next to the check unit by using the check unit. In this case, even if the receiver cannot receive the next preamble unit (all or part of the preamble unit) described above, the receiver appropriately receives the information that makes one meaning transmitted immediately before. be able to.
図４０４は、実施の形態１５における送信機による４値ＰＰＭ変調方式の一例を示す図である。 FIG. 404 is a diagram showing an example of the quadrature PPM modulation method by the transmitter in the fifteenth embodiment.
送信機は、４値ＰＰＭ変調方式によって、送信対象の信号を輝度変化のパターンに変調する。このとき、送信機は、送信対象の信号がどのような信号であっても、輝度変化する光の明るさを一定に保つことができる。 The transmitter modulates the signal to be transmitted into a pattern of luminance change by a quaternary PPM modulation method. At this time, the transmitter can keep the brightness of the light whose brightness changes constant regardless of the signal to be transmitted.
例えば、明るさを７５％に保つ場合には、送信機は、送信対象の信号「００」、「０１」、「１０」および「１１」のそれぞれを、連続する４つのスロットのうちの何れか１つが輝度Ｌ（Ｌｏｗ）を示し、残りの３つが輝度Ｈ（Ｈｉｇｈ）を示す輝度変化のパターンに変調する。具体的には、送信機は、送信対象の信号「００」を、１番目のスロットが輝度Ｌを示し、２〜４番目のスロットが輝度Ｈを示す輝度変化のパターン（Ｌ、Ｈ、Ｈ、Ｈ）に変調する。つまり、この輝度変化では、１番目のスロットと２番目のスロットとの間に輝度の立ち上がりがある。これと同様に、送信機は、送信対象の信号「０１」を、２番目のスロットが輝度Ｌを示し、１番目、３番目および４番目のスロットが輝度Ｈを示す輝度変化のパターン（Ｈ、Ｌ、Ｈ、Ｈ）に変調する。つまり、この輝度変化では、２番目のスロットと３番目のスロットとの間に輝度の立ち上がりがある。 For example, when keeping the brightness at 75%, the transmitter sets each of the signals "00", "01", "10" and "11" to be transmitted to any one of four consecutive slots. One is modulated into a brightness change pattern showing brightness L (Low) and the remaining three showing brightness H (High). Specifically, the transmitter has a luminance change pattern (L, H, H,) in which the signal "00" to be transmitted indicates the luminance L in the first slot and the luminance H in the second to fourth slots. Modulate to H). That is, in this change in brightness, there is a rise in brightness between the first slot and the second slot. Similarly, in the transmitter, the signal "01" to be transmitted has a luminance change pattern (H,) in which the second slot indicates the luminance L and the first, third and fourth slots indicate the luminance H. Modulate to L, H, H). That is, in this change in brightness, there is a rise in brightness between the second slot and the third slot.
また、明るさを５０％に保つ場合には、送信機は、送信対象の信号「００」、「０１」、「１０」および「１１」のそれぞれを、４つのスロットのうちの何れか２つが輝度Ｌ（Ｌｏｗ）を示し、残りの２つが輝度Ｈ（Ｈｉｇｈ）を示す輝度変化のパターンに変調する。具体的には、送信機は、送信対象の信号「００」を、１番目および４番目のスロットが輝度Ｌを示し、２番目および３番目のスロットが輝度Ｈを示す輝度変化のパターン（Ｌ、Ｈ、Ｈ、Ｌ）に変調する。つまり、この輝度変化では、１番目のスロットと２番目のスロットとの間に輝度の立ち上がりがある。これと同様に、送信機は、送信対象の信号「０１」を、１番目および２番目のスロットが輝度Ｌを示し、３番目および４番目のスロットが輝度Ｈを示す輝度変化のパターン（Ｌ、Ｌ、Ｈ、Ｈ）に変調する。または、送信機は、送信対象の信号「０１」を、２番目および４番目のスロットが輝度Ｌを示し、１番目および３番目のスロットが輝度Ｈを示す輝度変化のパターン（Ｈ、Ｌ、Ｈ、Ｌ）に変調する。つまり、これらの輝度変化では、２番目のスロットと３番目のスロットとの間に輝度の立ち上がりがある。 Further, when the brightness is kept at 50%, the transmitter sets each of the signals "00", "01", "10" and "11" to be transmitted to any two of the four slots. The brightness L (Low) is shown, and the remaining two are modulated into a brightness change pattern showing the brightness H (High). Specifically, in the transmitter, the signal "00" to be transmitted has a luminance change pattern (L,) in which the first and fourth slots indicate the luminance L and the second and third slots indicate the luminance H. Modulate to H, H, L). That is, in this change in brightness, there is a rise in brightness between the first slot and the second slot. Similarly, in the transmitter, the signal "01" to be transmitted has a luminance change pattern (L,) in which the first and second slots indicate the luminance L and the third and fourth slots indicate the luminance H. Modulate to L, H, H). Alternatively, the transmitter transmits the signal "01" to be transmitted by a luminance change pattern (H, L, H) in which the second and fourth slots indicate the luminance L and the first and third slots indicate the luminance H. , L). That is, in these brightness changes, there is a rise in brightness between the second slot and the third slot.
また、明るさを２５％に保つ場合には、送信機は、送信対象の信号「００」、「０１」、「１０」および「１１」のそれぞれを、４つのスロットのうちの何れか３つが輝度Ｌ（Ｌｏｗ）を示し、残りの１つが輝度Ｈ（Ｈｉｇｈ）を示す輝度変化のパターンに変調する。具体的には、送信機は、送信対象の信号「００」を、１番目、３番目および４番目のスロットが輝度Ｌを示し、２番目のスロットが輝度Ｈを示す輝度変化のパターン（Ｌ、Ｈ、Ｌ、Ｌ）に変調する。つまり、この輝度変化では、１番目のスロットと２番目のスロットとの間に輝度の立ち上がりがある。これと同様に、送信機は、送信対象の信号「０１」を、１番目、２番目および４番目のスロットが輝度Ｌを示し、３番目のスロットが輝度Ｈを示す輝度変化のパターン（Ｌ、Ｌ、Ｈ、Ｌ）に変調する。つまり、この輝度変化では、２番目のスロットと３番目のスロットとの間に輝度の立ち上がりがある。 Further, when the brightness is kept at 25%, the transmitter sets each of the signals "00", "01", "10" and "11" to be transmitted to any three of the four slots. The brightness L (Low) is shown, and the remaining one is modulated into a brightness change pattern showing the brightness H (High). Specifically, in the transmitter, the signal "00" to be transmitted has a luminance change pattern (L,) in which the first, third and fourth slots indicate the luminance L and the second slot indicates the luminance H. Modulate to H, L, L). That is, in this change in brightness, there is a rise in brightness between the first slot and the second slot. Similarly, in the transmitter, the signal "01" to be transmitted has a luminance change pattern (L,) in which the first, second and fourth slots indicate the luminance L and the third slot indicates the luminance H. Modulate to L, H, L). That is, in this change in brightness, there is a rise in brightness between the second slot and the third slot.
送信機は、上述のような４値ＰＰＭ変調方式によって、ちらつきを抑えることができるとともに、明るさを段階的に容易に調節することができる。また、受信機は、輝度の立ち上がりの位置を特定することによって、その輝度変化のパターンを適切に復調することができる。なお、受信機は、４つのスロットからなるスロット群と、次のスロット群との間の境界における輝度の立ち上がりの有無を、輝度変化のパターンの復調に利用することなく無視する。 The transmitter can suppress flicker by the quadrature PPM modulation method as described above, and can easily adjust the brightness step by step. Further, the receiver can appropriately demodulate the pattern of the brightness change by specifying the position of the rising edge of the brightness. The receiver ignores the presence or absence of a rise in brightness at the boundary between the slot group consisting of four slots and the next slot group without using it for demodulating the pattern of change in brightness.
図４０５は、実施の形態１５における送信機によるＰＰＭ変調方式の一例を示す図である。 FIG. 405 is a diagram showing an example of the PPM modulation method by the transmitter in the fifteenth embodiment.
送信機は、図４０４に示す４値ＰＰＭ変調方式と同様に、送信対象の信号を輝度変化のパターンに変調するが、スロットごとに輝度をＬとＨとに切り替えることなく、ＰＰＭ変調を行ってもよい。つまり、送信機は、図４０４に示す連続する４つのスロットの時間幅（以下、単位時間幅という）における輝度の立ち上がり位置を、送信対象の信号に応じて切り替えることによって、ＰＰＭ変調を行う。例えば、送信機は、図４０５に示すように、送信対象の信号「００」を、単位時間幅のうちの２５％の位置で輝度が立ち上がるような輝度変化のパターンに変調する。これと同様に、送信機は、図４０５に示すように、送信対象の信号「０１」を、単位時間幅のうちの５０％の位置で輝度が立ち上がるような輝度変化のパターンに変調する。 Similar to the 4-value PPM modulation method shown in FIG. 404, the transmitter modulates the signal to be transmitted in a pattern of luminance change, but performs PPM modulation without switching the luminance between L and H for each slot. May be good. That is, the transmitter performs PPM modulation by switching the rising position of the luminance in the time width (hereinafter, referred to as a unit time width) of the four consecutive slots shown in FIG. 404 according to the signal to be transmitted. For example, as shown in FIG. 405, the transmitter modulates the signal "00" to be transmitted into a pattern of luminance change such that the luminance rises at a position of 25% of the unit time width. Similarly, as shown in FIG. 405, the transmitter modulates the signal "01" to be transmitted into a pattern of luminance change such that the luminance rises at a position of 50% of the unit time width.
また、送信機は、明るさを７５％に保つ場合には、送信対象の信号「００」を、上述の単位時間幅における０〜２５％の位置で輝度Ｌを示し、２５〜１００％の位置で輝度Ｈを示す輝度変化のパターンに変調する。ここで、送信機は、明るさを９９％に保つ場合には、送信対象の信号「００」を、上述の単位時間幅における２４〜２５％の位置で輝度Ｌを示し、０〜２４％の位置および２５〜１００％の位置で輝度Ｈを示す輝度変化のパターンに変調する。同様に、送信機は、明るさを１％に保つ場合には、送信対象の信号「００」を、上述の単位時間幅における０〜２５％の位置および２６〜１００％の位置で輝度Ｌを示し、２５〜２６％の位置で輝度Ｈを示す輝度変化のパターンに変調する。 Further, when the brightness is kept at 75%, the transmitter displays the brightness L at the position of 0 to 25% in the above-mentioned unit time width of the signal "00" to be transmitted, and the position of 25 to 100%. Modulates to a pattern of luminance change indicating luminance H. Here, when the brightness is kept at 99%, the transmitter indicates the brightness L of the signal "00" to be transmitted at the position of 24 to 25% in the above-mentioned unit time width, and is 0 to 24%. It is modulated into a pattern of luminance change indicating luminance H at the position and the position of 25 to 100%. Similarly, when the brightness is kept at 1%, the transmitter sets the brightness L of the signal "00" to be transmitted at the position of 0 to 25% and the position of 26 to 100% in the above-mentioned unit time width. Shown, it is modulated into a pattern of luminance change indicating luminance H at a position of 25 to 26%.
このように、スロットごとに輝度をＬとＨとに切り替えることなく、単位時間幅の任意の位置で輝度をＬとＨとに切り替えることによって、明るさを連続的に調節することができる。 In this way, the brightness can be continuously adjusted by switching the brightness between L and H at an arbitrary position in the unit time width without switching the brightness between L and H for each slot.
図４０６は、実施の形態１５における送信機におけるＰＰＭ変調方式の一例を示す図である。 FIG. 406 is a diagram showing an example of the PPM modulation method in the transmitter according to the fifteenth embodiment.
送信機は、図４０５に示すＰＰＭ変調方式と同様に変調を行うが、送信対象の信号がどのような信号であっても、その信号を、単位時間幅の最初には必ず輝度Ｈを示し、且つ単位時間幅の最後には必ず輝度Ｌを示す輝度変化のパターンに変調する。これにより、単位時間幅と次の単位時間幅との境界には輝度の立ち上がりが発生するため、受信機は、その境界を適切に特定することができる。したがって、受信機および送信機はクロックのズレを補正することができる。 The transmitter performs modulation in the same manner as the PPM modulation method shown in FIG. 405, but regardless of the signal to be transmitted, the signal always shows the brightness H at the beginning of the unit time width. Moreover, at the end of the unit time width, it is always modulated to a luminance change pattern indicating the luminance L. As a result, a rise in brightness occurs at the boundary between the unit time width and the next unit time width, so that the receiver can appropriately specify the boundary. Therefore, the receiver and the transmitter can correct the clock deviation.
図４０７Ａは、実施の形態１５におけるヘッダ（プリアンブル部）に対応する輝度変化のパターンの一例を示す図である。 FIG. 407A is a diagram showing an example of a luminance change pattern corresponding to the header (preamble portion) in the fifteenth embodiment.
送信機は、例えば図４０３Ａおよび図４０３Ｂに示すヘッダ（プリアンブル部）を送信する場合には、図４０７Ａに示すパターンにしたがって輝度変化する。つまり、ヘッダが７スロットで構成される場合には、送信機は、Ｌ、Ｈ、Ｌ、Ｈ、Ｌ、Ｈ、Ｈによって示されるパターンにしたがって輝度変化する。また、ヘッダが８スロットで構成される場合には、送信機は、Ｈ、Ｌ、Ｈ、Ｌ、Ｈ、Ｌ、Ｈ、Ｈによって示されるパターンにしたがって輝度変化する。これらのパターンは、図４０４に示す輝度変化のパターンと区別できるため、これらのパターンによって示される信号がヘッダであることを受信機に明確に知らせることができる。 When transmitting the header (preamble portion) shown in FIGS. 403A and 403B, for example, the transmitter changes the brightness according to the pattern shown in FIG. 407A. That is, when the header is composed of 7 slots, the transmitter changes the brightness according to the pattern indicated by L, H, L, H, L, H, H. Further, when the header is composed of 8 slots, the transmitter changes the brightness according to the pattern indicated by H, L, H, L, H, L, H, H. Since these patterns can be distinguished from the luminance change patterns shown in FIG. 404, it is possible to clearly inform the receiver that the signal indicated by these patterns is a header.
図４０７Ｂは、実施の形態１５における輝度変化のパターンの一例を示す図である。 FIG. 407B is a diagram showing an example of a pattern of luminance change in the fifteenth embodiment.
図４０４に示すように、４値ＰＰＭ変調方式では、明るさを５０％に保った状態で、データ部に含まれる送信対象の信号「０１」を変調する場合には、送信機は、その信号を、２つのパターンのうちのいずれかのパターンに変調する。つまり、Ｌ、Ｌ、Ｈ、Ｈによって示される第１のパターン、または、Ｈ、Ｌ、Ｈ、Ｌによって示される第２のパターンに変調する。 As shown in FIG. 404, in the quadrature PPM modulation method, when the signal "01" to be transmitted included in the data unit is modulated while the brightness is maintained at 50%, the transmitter transmits the signal. Is modulated into one of the two patterns. That is, it is modulated into the first pattern represented by L, L, H, H or the second pattern represented by H, L, H, L.
ここで、ヘッダに対応する輝度変化のパターンが図４０７Ａに示すようなパターンである場合、送信機は、上述の送信対象の信号「０１」を、Ｌ、Ｌ、Ｈ、Ｈによって示される第１のパターンに変調することが望ましい。例えば、上述のデータ部に含まれる送信対象の信号「１１，０１，１１」は、上記第１のパターンを用いた場合には、「Ｈ、Ｈ、Ｌ、Ｌ、Ｌ、Ｌ、Ｈ、Ｈ、Ｈ、Ｈ、Ｌ、Ｌ」のパターンに変調される。一方、上記第２のパターンを用いた場合には、上述のデータ部に含まれる送信対象の信号「１１，０１，１１」は、「Ｈ、Ｈ、Ｌ、Ｌ、Ｈ、Ｌ、Ｈ、Ｌ、Ｈ、Ｈ、Ｌ、Ｌ」のパターンに変調される。この場合、そのパターン「Ｈ、Ｈ、Ｌ、Ｌ、Ｈ、Ｌ、Ｈ、Ｌ、Ｈ、Ｈ、Ｌ、Ｌ」には、図４０７Ａに示す、７スロットによって構成されるヘッダのパターンと同じパターンが含まれる。したがって、ヘッダとデータ部との区別を明確にするために、上述の送信対象の信号「０１」を第１のパターンに変調することが望ましい。 Here, when the pattern of the luminance change corresponding to the header is the pattern shown in FIG. 407A, the transmitter displays the above-mentioned signal "01" to be transmitted by L, L, H, and H. It is desirable to modulate to the pattern of. For example, the signal "11,01,11" to be transmitted included in the above-mentioned data unit is "H, H, L, L, L, L, H, H" when the first pattern is used. , H, H, L, L ”pattern. On the other hand, when the second pattern is used, the transmission target signals "11,01,11" included in the above-mentioned data unit are "H, H, L, L, H, L, H, L". , H, H, L, L ”pattern. In this case, the pattern "H, H, L, L, H, L, H, L, H, H, L, L" has the same pattern as the header pattern composed of 7 slots shown in FIG. 407A. Is included. Therefore, in order to clarify the distinction between the header and the data unit, it is desirable to modulate the above-mentioned signal "01" to be transmitted to the first pattern.
図４０８Ａは、実施の形態１５における輝度変化のパターンの一例を示す図である。 FIG. 408A is a diagram showing an example of a pattern of luminance change in the fifteenth embodiment.
図４０４に示すように、４値ＰＰＭ変調方式では、送信対象の信号「１１」を変調する場合には、送信機は、輝度の立ち上がりが生じないように、その信号を「Ｈ、Ｈ、Ｈ、Ｌ」のパターン、「Ｈ、Ｈ、Ｌ、Ｌ」のパターン、または「Ｈ、Ｌ、Ｌ、Ｌ」のパターンに変調する。しかし、図４０８Ａに示すように、送信機は、明るさを調整するために、送信対象の信号「１１」を、「Ｈ、Ｈ、Ｈ、Ｈ」のパターンまたは「Ｌ、Ｌ、Ｌ、Ｌ」のパターンに変調してもよい。 As shown in FIG. 404, in the quadrature PPM modulation method, when the signal "11" to be transmitted is modulated, the transmitter transmits the signal "H, H, H" so that the brightness does not rise. , L ”pattern,“ H, H, L, L ”pattern, or“ H, L, L, L ”pattern. However, as shown in FIG. 408A, the transmitter sets the signal "11" to be transmitted to the "H, H, H, H" pattern or "L, L, L, L" in order to adjust the brightness. May be modulated into the pattern of.
図４０８Ｂは、実施の形態１５における輝度変化のパターンの一例を示す図である。 FIG. 408B is a diagram showing an example of a pattern of luminance change in the fifteenth embodiment.
図４０４に示すように、４値ＰＰＭ変調方式では、明るさを７５％に保って、送信対象の信号「１１，００」を変調する場合には、送信機は、その信号を「Ｈ、Ｈ、Ｈ、Ｌ、Ｌ、Ｈ、Ｈ、Ｈ」のパターンに変調する。しかし、輝度Ｌが連続して発生しようとする場合には、輝度Ｌが連続しないように、連続する輝度Ｌのうち、最後の輝度Ｌ以外の輝度をＨに変更してもよい。この場合、送信機は、その信号「１１，００」を「Ｈ、Ｈ、Ｈ、Ｈ、Ｌ、Ｈ、Ｈ、Ｈ」のパターンに変調する。 As shown in FIG. 404, in the quadrature PPM modulation method, when the brightness is maintained at 75% and the signal "11:00" to be transmitted is modulated, the transmitter transmits the signal "H, H". , H, L, L, H, H, H ”pattern. However, when the brightness L is to be continuously generated, the brightness other than the last brightness L of the continuous brightness L may be changed to H so that the brightness L is not continuous. In this case, the transmitter modulates the signal "11:00" into a pattern of "H, H, H, H, L, H, H, H".
これにより、輝度Ｌが連続しないため、送信機の負荷を抑えることができる。また、送信機に備えられるコンデンサの容量を小さくすることができ、制御回路の容積を小さくすることができる。さらに、送信機の光源の負荷が小さいため、光源を作りやすくすることができる。さらに、送信機の電力効率を高めることができる。また、輝度Ｌが連続しないことが保証されるため、受信機はその輝度変化のパターンを容易に復調することができる。 As a result, since the brightness L is not continuous, the load on the transmitter can be suppressed. Further, the capacity of the capacitor provided in the transmitter can be reduced, and the volume of the control circuit can be reduced. Further, since the load of the light source of the transmitter is small, it is possible to easily make the light source. In addition, the power efficiency of the transmitter can be increased. Further, since it is guaranteed that the brightness L is not continuous, the receiver can easily demodulate the pattern of the brightness change.
（本実施の形態のまとめ）
本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記輝度変化のパターンは、予め定められた時間幅における任意の各位置に、互いに異なる２つの輝度値のうちの一方が出現するパターンであって、前記決定ステップでは、送信対象の互いに異なる信号のそれぞれに対して、前記時間幅における輝度の立ち上がり位置または立ち下がり位置である輝度変化位置が互いに異なり、且つ、前記時間幅における前記発光体の輝度の積分値が、予め設定された明るさに応じた同一の値となるように、前記輝度変化のパターンを決定する。
(Summary of the present embodiment)
The information communication method in the present embodiment is an information communication method in which a signal is transmitted by a change in brightness, and a determination step for determining a pattern of change in brightness by modulating a signal to be transmitted and a light emitter are determined. The luminance change pattern includes two different luminances at arbitrary positions in a predetermined time width, including a transmission step of transmitting the signal to be transmitted by changing the luminance according to the pattern. A pattern in which one of the values appears, and in the determination step, the brightness change positions, which are the rise and fall positions of the brightness in the time width, are different from each other for the signals to be transmitted which are different from each other. Moreover, the pattern of the brightness change is determined so that the integrated value of the brightness of the light emitter in the time width becomes the same value according to the preset brightness.
例えば、図４０５に示すように、送信対象の互いに異なる信号「００」、「０１」、「１０」および「１１」のそれぞれに対して、輝度の立ち上がり位置（輝度変化位置）が互いに異なり、且つ、予め定められた時間幅（単位時間幅）における発光体の輝度の積分値が、予め定められた明るさ（例えば９９％または１％など）に応じた同一の値となるように、輝度変化のパターンが決定される。これにより、送信対象の信号のそれぞれに対して、発光体の明るさを一定に保つことができ、ちらつきを抑えることができるとともに、その発光体を撮像する受信機は、輝度変化位置に基づいて、その輝度変化のパターンを適切に復調することができる。また、輝度変化のパターンは、単位時間幅における任意の各位置に、互いに異なる２つの輝度値（輝度Ｈ（Ｈｉｇｈ）または輝度Ｌ（Ｌｏｗ））のうちの一方が出現するパターンであるため、発光体の明るさを連続的に変化させることができる。 For example, as shown in FIG. 405, the rising position (luminance change position) of the brightness is different from each other for each of the signals "00", "01", "10", and "11" to be transmitted. , The brightness change so that the integral value of the brightness of the illuminant in the predetermined time width (unit time width) becomes the same value according to the predetermined brightness (for example, 99% or 1%). Pattern is determined. As a result, the brightness of the light emitter can be kept constant for each of the signals to be transmitted, flicker can be suppressed, and the receiver that images the light emitter is based on the brightness change position. , The pattern of the brightness change can be appropriately demodulated. Further, since the brightness change pattern is a pattern in which one of two different brightness values (brightness H (High) or brightness L (Low)) appears at arbitrary positions in the unit time width, light emission is emitted. The brightness of the body can be changed continuously.
また、前記情報通信方法は、さらに、複数の画像のそれぞれを順に切り替えて表示する画像表示ステップを含み、前記決定ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報を前記送信対象の信号として変調することによって、前記識別情報に対する輝度変化のパターンを決定し、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報を送信してもよい。 Further, the information communication method further includes an image display step of sequentially switching and displaying each of the plurality of images, and in the determination step, each time an image is displayed in the image display step, the displayed image is displayed. By modulating the identification information corresponding to the above as the signal to be transmitted, the pattern of the brightness change with respect to the identification information is determined, and in the transmission step, each time an image is displayed in the image display step, it is displayed. The identification information may be transmitted by changing the brightness of the light emitter according to the pattern of the brightness change determined for the identification information corresponding to the image.
これにより、例えば図３９３に示すように、画像が表示されるごとに、表示されている画像に対応する識別情報が送信されるため、ユーザは、表示される画像に基づいて、受信機に受信させる識別情報を容易に選択することができる。 As a result, as shown in FIG. 393, for example, each time an image is displayed, identification information corresponding to the displayed image is transmitted, so that the user receives the information to the receiver based on the displayed image. The identification information to be used can be easily selected.
また、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、さらに、過去に表示された画像に対応する識別情報に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報を送信してもよい。 Further, in the transmission step, each time an image is displayed in the image display step, the light emitter becomes brighter according to a pattern of brightness change determined for identification information corresponding to an image displayed in the past. The identification information may be transmitted by changing.
これにより、例えば図３９４に示すように、表示される画像が切り替わったために、切り替わり前に送信された識別信号を受信機が受信できなかった場合でも、現在表示されている画像に対応する識別情報とともに、過去に表示された画像に対応する識別情報も送信されるため、切り替わり前に送信された識別情報を、改めて受信機で適切に受信することができる。 As a result, as shown in FIG. 394, for example, even if the receiver cannot receive the identification signal transmitted before the switching because the displayed image is switched, the identification information corresponding to the currently displayed image is displayed. At the same time, since the identification information corresponding to the image displayed in the past is also transmitted, the identification information transmitted before the switching can be appropriately received by the receiver again.
また、前記決定ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報と、前記画像が表示されている時刻とを前記送信対象の信号として変調することによって、前記識別情報および前記時刻に対する輝度変化のパターンを決定し、前記送信ステップでは、前記画像表示ステップで画像が表示されるごとに、表示されている画像に対応する識別情報および時刻に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報および前記時刻を送信し、さらに、過去に表示された画像に対応する識別情報および時刻に対して決定された輝度変化のパターンにしたがって前記発光体が輝度変化することによって前記識別情報および前記時刻を送信してもよい。 Further, in the determination step, each time an image is displayed in the image display step, the identification information corresponding to the displayed image and the time when the image is displayed are modulated as signals to be transmitted. Thereby, the identification information and the pattern of the brightness change with respect to the time are determined, and in the transmission step, each time the image is displayed in the image display step, the identification information and the time corresponding to the displayed image are obtained. The identification information and the time are transmitted by changing the brightness of the illuminant according to the pattern of the brightness change determined in the above-mentioned, and further, the identification information and the time corresponding to the image displayed in the past are determined. The identification information and the time may be transmitted by changing the brightness of the light emitting body according to the pattern of the brightness change.
これにより、例えば図３９４に示すように、画像が表示されるごとに、複数のＩＤ時刻情報（識別情報および時刻からなる情報）が送信されるため、受信機は、受信された複数のＩＤ時刻情報の中から、過去に送信されて受信できなかった識別信号を、そのＩＤ時刻情報のそれぞれに含まれる時刻に基づいて容易に選択することができる。 As a result, as shown in FIG. 394, for example, each time an image is displayed, a plurality of ID time information (information consisting of identification information and time) is transmitted, so that the receiver receives a plurality of received ID times. From the information, the identification signal that has been transmitted in the past and could not be received can be easily selected based on the time included in each of the ID time information.
また、前記発光体は、それぞれ発光する複数の領域を有し、前記複数の領域のうち互いに隣接する領域の光が相互に干渉し、前記複数の領域のうちの１つだけが、決定された前記輝度変化のパターンにしたがって輝度変化する場合、前記送信ステップでは、前記複数の領域のうちの端に配置された領域だけが、決定された前記輝度変化のパターンにしたがって輝度変化してもよい。 Further, each of the light emitters has a plurality of regions that emit light, and the light of the regions adjacent to each other among the plurality of regions interferes with each other, and only one of the plurality of regions is determined. When the brightness changes according to the brightness change pattern, in the transmission step, only the region arranged at the end of the plurality of regions may change the brightness according to the determined brightness change pattern.
これにより、例えば図３８７Ｂの（ａ）に示すように、端に配置された領域（発光部）だけが輝度変化するため、端以外に配置された領域だけが輝度変化する場合と比べて、他の領域からの光によるその輝度変化への影響を抑えることができる。その結果、受信機は、撮影によって、その輝度変化のパターンを適切に捉えることができる。 As a result, for example, as shown in FIG. 387B (a), only the region arranged at the end (light emitting portion) changes in brightness, so that the brightness changes only in the region arranged other than the end. It is possible to suppress the influence of the light from the region on the change in brightness. As a result, the receiver can appropriately capture the pattern of the brightness change by shooting.
また、前記複数の領域のうちの２つだけが、決定された前記輝度変化のパターンにしたがって輝度変化する場合、前記送信ステップでは、前記複数の領域のうちの端に配置された領域と、前記端に配置された領域に隣接する領域とが、決定された前記輝度変化のパターンにしたがって輝度変化してもよい。 Further, when only two of the plurality of regions change their brightness according to the determined pattern of the brightness change, in the transmission step, the region arranged at the end of the plurality of regions and the above-mentioned region. The area adjacent to the area arranged at the end may change the brightness according to the determined pattern of the brightness change.
これにより、例えば図３８７の（ｂ）に示すように、端に配置された領域（発光部）と、その端に配置された領域に隣接する領域（発光部）とが輝度変化するため、互いに離れた領域が輝度変化する場合と比べて、空間的に連続して輝度変化する範囲の面積を広く保つことができる。その結果、受信機は、撮影によって、その輝度変化のパターンを適切に捉えることができる。 As a result, for example, as shown in FIG. 387 (b), the brightness of the region arranged at the end (light emitting portion) and the region adjacent to the region arranged at the end (light emitting portion) change with each other. Compared with the case where the distant region changes the brightness, the area of the range where the brightness changes continuously in space can be kept wide. As a result, the receiver can appropriately capture the pattern of the brightness change by shooting.
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、前記被写体の撮影に用いられるイメージセンサの位置を示す位置情報を送信する位置情報送信ステップと、前記位置情報によって示される位置に対応付けられた、複数の識別情報を含むＩＤリストを受信するリスト受信ステップと、前記イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記情報を含む識別情報を前記ＩＤリストから検索する検索ステップとを含む。 The information communication method in the present embodiment is an information communication method for acquiring information from a subject, and includes a position information transmission step for transmitting position information indicating the position of an image sensor used for photographing the subject, and the position information. Corresponds to the exposure line included in the image sensor in the list receiving step of receiving the ID list including a plurality of identification information associated with the position indicated by the image sensor and the image obtained by photographing the subject by the image sensor. An exposure time setting step for setting the exposure time of the image sensor and the image sensor photographing the subject whose brightness changes at the set exposure time so that the emission line is generated according to the change in the brightness of the subject. An image acquisition step of acquiring a bright line image including the bright line, an information acquisition step of acquiring information by demolishing the data specified by the bright line pattern included in the acquired bright line image, and the like. It includes a search step of searching the ID list for the acquired identification information including the information.
これにより、例えば図３８９に示すように、予めＩＤリストが受信されているため、取得された情報「 ｂｃ 」が識別情報の一部だけであっても、ＩＤリストに基づいて適切な識別情報「ａｂｃｄ」を特定することができる。 As a result, as shown in FIG. 389, for example, since the ID list has been received in advance, even if the acquired information "bc" is only a part of the identification information, the appropriate identification information "bc" is based on the ID list. "Abcd" can be specified.
また、前記検索ステップにおいて、取得された前記情報を含む識別情報が一意に特定されない場合には、前記画像取得ステップおよび前記情報取得ステップを繰り返し行うことによって、新たな情報を取得し、前記情報通信方法は、さらに、取得された前記情報と、前記新たな情報とを含む識別情報を前記ＩＤリストから検索する再検索ステップを含んでもよい。 If the acquired identification information including the information is not uniquely specified in the search step, new information is acquired by repeating the image acquisition step and the information acquisition step, and the information communication is performed. The method may further include a re-search step of searching the ID list for identification information including the acquired information and the new information.
これにより、例えば図３８９に示すように、取得された情報「 ｂ 」が識別情報の一部だけであって、その情報だけでは識別情報が一意に特定されない場合であっても、新たな情報「 ｃ 」が取得されるため、その新たな情報とＩＤリストに基づいて適切な識別情報「ａｂｃｄ」を特定することができる。 As a result, as shown in FIG. 389, for example, even if the acquired information "b" is only a part of the identification information and the identification information is not uniquely specified by the information alone, the new information "b" Since "c" is acquired, appropriate identification information "abcd" can be specified based on the new information and the ID list.
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより識別情報を取得する情報取得ステップと、取得された前記識別情報と、前記イメージセンサの位置を示す位置情報とを送信する送信ステップと、前記位置情報によって示される位置に対応付けられた、複数の識別情報を含むＩＤリストに、取得された前記識別情報がない場合には、エラーを通知するためのエラー通知情報を受信するエラー受信ステップとを含む。 The information communication method in the present embodiment is an information communication method for acquiring information from a subject, and an image obtained by photographing the subject by an image sensor has a bright line corresponding to an exposure line included in the image sensor. An exposure time setting step of setting the exposure time of the image sensor so as to occur in response to a change in the brightness of the subject, and the image sensor taking a picture of the subject whose brightness changes with the set exposure time. An image acquisition step of acquiring a bright line image including the bright line, an information acquisition step of acquiring identification information by demodulating the data specified by the bright line pattern included in the acquired bright line image, and the acquisition. The identification acquired in an ID list including a plurality of identification information associated with the transmission step of transmitting the identification information and the position information indicating the position of the image sensor and the position indicated by the position information. If there is no information, it includes an error receiving step of receiving error notification information for notifying an error.
これにより、例えば図３９１に示すように、取得された識別情報がＩＤリストにない場合には、エラー通知情報を受信するため、そのエラー通知情報を受信した受信機のユーザは、その取得された識別情報に関連付けられた情報を得ることができないことを容易に把握することができる。 As a result, for example, as shown in FIG. 391, when the acquired identification information is not in the ID list, the error notification information is received, so that the user of the receiver who has received the error notification information has acquired the error notification information. It can be easily grasped that the information associated with the identification information cannot be obtained.
（実施の形態１６）
本実施の形態では、上記実施の形態１〜１５におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬなどの点滅パターンとして情報を送信する送信機とを用いた、シチュエーションごとの適用例について説明する。
(Embodiment 16)
In the present embodiment, an application example for each situation will be described using a receiver such as a smartphone in the above-described first to fifteenth embodiments and a transmitter that transmits information as a blinking pattern such as an LED or an organic EL.
＜シチュエーション：店前＞
まず、送信機として構成されている広告用の看板を掲げている店舗の前に、受信機を携帯したユーザがいるシチュエーションでの適用例について、図４０９〜図４１３を用いて説明する。
<Situation: In front of the store>
First, an application example in a situation where there is a user carrying a receiver in front of a store holding an advertising signboard configured as a transmitter will be described with reference to FIGS. 409 to 413.
図４０９は、店前のシチュエーションでの受信機の動作の一例を示す図である。 FIG. 409 is a diagram showing an example of the operation of the receiver in the situation in front of the store.
例えば、ユーザは、スマートフォンとして構成される受信機８３００（端末装置）を携帯しながら歩いているときに、店舗の看板８３０１を見つける。この看板８３０１は、上記実施の形態１〜１５の何れかの送信機のように輝度変化によって信号を送信する送信機（被写体）である。ここで、ユーザは、その店舗に興味があり、且つ、その看板８３０１が輝度変化によって信号を送信していると判断すると、受信機８３００を操作することによって、その受信機８３００の可視光通信用のアプリケーションソフトウェア（以下、通信アプリケーションという）を起動させる。
For example, a user finds a
図４１０は、店前のシチュエーションでの受信機８３００の動作の他の例を示す図である。
FIG. 410 is a diagram showing another example of the operation of the
受信機８３００は、ユーザによる操作を受け付けることなく、通信アプリケーションを自動的に起動させてもよい。例えば、受信機８３００は、ＧＰＳまたは９軸センサなどを利用することによって自らの現在地を検出し、看板８３０１に対して予め定められた特定領域にその現在地が入ったか否かを判断する。なお、この特定領域は看板８３０１の周辺の領域である。そして、受信機８３００は、受信機８３００の現在地がその特定領域に入ったと判断すると、通信アプリケーションを起動させる。また、受信機８３００は、その受信機８３００を突き出する動作、または受信機８３００を回転させる動作を、内蔵された９軸センサなどを利用することによって検出し、通信アプリケーションを起動させてもよい。これにより、ユーザの操作を省くことができ、使い勝手を向上することができる。
The
図４１１は、店前のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 411 is a diagram showing an example of the following operation of the
上述のように通信アプリケーションを起動させた受信機８３００は、輝度変化によって信号を送信する送信機として構成された看板８３０１を撮像（可視光撮影）する。つまり、受信機８３００は看板８３０１と可視光通信を行う。
The
図４１２は、店前のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 412 is a diagram showing an example of the following operation of the
受信機８３００は、上述の撮像によって、輝線を含む画像を取得する。そして、受信機８３００は、その輝線のパターンによって特定されるデータを復調することにより、看板８３０１の機器ＩＤを取得する。つまり、受信機８３００は、実施の形態１〜１５における可視光撮影または可視光通信によって、看板８３０１から機器ＩＤを取得する。さらに、受信機８３００は、その機器ＩＤをサーバに送信し、その機器ＩＤに関連付けられた広告情報（サービス情報）をサーバから取得する。
The
なお、受信機８３００は、事前に保持している複数の広告情報の中から、その機器ＩＤに関連付けられた広告情報を取得してもよい。この場合には、受信機８３００は、受信機８３００の現在地が上述の特定領域に入ったと判断したときに、その特定領域または現在地をサーバに通知し、その特定領域に対応する全ての機器ＩＤと、その機器ＩＤの各々に関連付けられた広告情報とをサーバから事前に取得してこれらを保持（キャッシュ）しておく。これにより、受信機８３００は、その特定領域内において看板８３０１の機器ＩＤを取得したときには、その機器ＩＤに対応する広告情報をわざわざサーバに要求することなく、予め保持している各機器ＩＤに関連付けられた広告情報の中から、その看板８３０１の機器ＩＤに関連付けられた広告情報を迅速に取得することができる。
The
受信機８３００は、看板８３０１の機器ＩＤに関連付けられた広告情報を取得すると、その広告情報を表示する。例えば、受信機８３００は、看板８３０１によって示される店舗のクーポンと、空席状況と、それらと同一の内容を示すバーコードとを表示する。
When the
ここで、受信機８３００は、可視光通信によって、機器ＩＤだけでなく特典データもその看板８３０１から取得してもよい。この特典データは、例えばランダムＩＤ（乱数）、あるいは、その特典データが送信される時刻または時間帯などを示す。受信機８３００は、特典データを取得したときには、機器ＩＤとともにその特典データもサーバに送信する。そして、受信機８３００は、その機器ＩＤおよび特典データに関連付けられた広告情報をサーバから取得する。これにより、受信機８３００は、特典データに応じて異なる広告情報を受けることができる。例えば、受信機８３００は、看板８３０１を撮像したときの時間帯が早朝であれば、早朝割引のクーポンを示す広告情報を取得して表示することができる。つまり、同じ看板による広告に、特典データ（時間帯など）に応じた変化を付けることができる。その結果、ユーザは、時間帯などに適したサービスの提供を受けることができる。なお、本実施の形態では、サービス情報などの情報のユーザへの提示（表示）をサービスの提供という。
Here, the
また、受信機８３００は、可視光通信によって、看板８３０１の空間的な配置を高精度（誤差１ｍ以内）に示す３次元情報を機器ＩＤとともにその看板８３０１から取得してもよい。あるいは、受信機８３００は、その機器ＩＤに関連付けられた３次元情報をサーバから取得してもよい。また、受信機８３００は、３次元情報の代わりに、または、３次元情報とともに、看板８３０１の大きさを示すサイズ情報を取得してもよい。受信機８３００は、そのサイズ情報を取得すると、そのサイズ情報によって示される看板８３０１の大きさと、撮像によって得られた画像に映し出された看板８３０１の大きさとの差に基づいて、受信機８３００から看板８３０１までの距離を算出することができる。
Further, the
また、受信機８３００は、可視光通信によって取得した機器ＩＤをサーバに送信する際には、自らに予め保持されている保持情報（付属情報）を機器ＩＤとともにサーバに送信してもよい。例えば、保持情報は、受信機８３００のユーザの個人情報（性別または年齢など）またはユーザＩＤである。このような保持情報を機器ＩＤとともに受信したサーバは、その機器ＩＤに関連付けられた少なくとも１つの広告情報のうち、その保持情報（個人情報またはユーザＩＤ）に対応付けられた広告情報を受信機８３００に送信する。つまり、受信機８３００は、個人情報などに合った店舗の広告情報、または、ユーザＩＤに対応する店舗の広告情報などを受け取ることができる。その結果、ユーザは、より有益なサービスの提供を受けることができる。
Further, when the
あるいは、保持情報は、受信機８３００に事前に設定された受信条件を示す。この受信条件は、例えば店舗が飲食店の場合には来客人数である。このような保持情報を機器ＩＤとともに受信したサーバは、その機器ＩＤに関連付けられた少なくとも１つの広告情報のうち、その受信条件（来客人数）に対応付けられた広告情報を受信機８３００に送信する。つまり、受信機８３００は、来客人数に合った店舗の広告情報、具体的には、その来客人数に対する空席状況を示す情報を受け取ることができる。また、店舗は、来店人数や曜日・時間帯に応じて割引率を変更した広告情報を表示させることで、集客と利益の最適化を図ることができる。
Alternatively, the retention information indicates a reception condition preset in the
あるいは、保持情報は、受信機８３００で事前に検出された現在地を示す。このような保持情報を機器ＩＤとともに受信したサーバは、その機器ＩＤに関連付けられた広告情報だけでなく、その保持情報によって示される現在地（現在地とその周辺）に対応する他の機器ＩＤと、他の機器ＩＤに関連付けられた広告情報とを受信機８３００に送信する。これにより、受信機８３００は、他の機器ＩＤと、他の機器ＩＤに関連付けられた広告情報とをキャッシュしておくことができる。したがって、受信機８３００がその現在地（現在地とその周辺）において他の送信機との間で可視光通信を行ったときには、サーバにアクセスすることなく、他の送信機の機器ＩＤに関連付けられた広告情報を素早く取得することができる。
Alternatively, the retained information indicates the current location previously detected by the
図４１３は、店前のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 413 is a diagram showing an example of the following operation of the
受信機８３００は、上述のようにサーバから広告情報を取得すると、例えば、その広告情報によって示される空席状況として、「空席有り」と記述されたボタンを表示する。ここで、ユーザがボタン「空席有り」に指を触れる操作を行うと、受信機８３００は、その操作結果をサーバに通知する。サーバは、その通知を受けると、看板８３０１の店舗に対する仮予約を行い、その仮予約が完了したことを受信機８３００に通知する。受信機８３００は、サーバからその通知を受けると、ボタン「空席有り」の代わりに、仮予約が完了したことを示す文字列「仮予約」を表示する。受信機８３００は、看板８３０１によって示される店舗のクーポンと、仮予約したことを証明する文字列「仮予約」と、それらと同一の内容を示すバーコードとを含む画像を事前取得画像としてメモリに格納しておく。
When the
ここで、サーバは、図４１２および図４１３を用いて説明した動作によって、看板８３０１と受信機８３００との間で行われた可視光通信に関する情報をロギングすることができる。つまり、サーバは、可視光通信を行った送信機（看板）の機器ＩＤ、可視光通信が行われた場所（受信機８３００の現在地）、可視光通信が行われた時間帯などを示す特典データ、および、可視光通信を行った受信機８３００のユーザの個人情報などをロギングすることができる。サーバは、ロギングされたこれらの情報のうちの少なくとも１つを用いて、看板８３０１の価値、つまり店舗の広告および宣伝に対する看板８３０１の寄与の度合いを広告効果として解析することができる。
Here, the server can log information about visible light communication performed between the
＜シチュエーション：店内＞
次に、受信機８３００を携帯したユーザが、表示された広告情報（サービス情報）に対応する店舗に入ったシチュエーションでの適用例について、図４１４〜図４２２を用いて説明する。
<Situation: Inside the store>
Next, an application example in a situation in which a user carrying the
図４１４は、店内のシチュエーションでの表示装置の動作の一例を示す図である。 FIG. 414 is a diagram showing an example of the operation of the display device in a situation in the store.
例えば、上述の看板８３０１と可視光通信を行った受信機８３００のユーザは、表示された広告情報に対応する店舗に入る。このとき、受信機８３００は、可視光通信を用いて表示された広告情報に対応する店舗にユーザが入ったこと（入店）を検知する。例えば、受信機８３００は、看板８３０１と可視光通信を行った後に、看板８３０１の機器ＩＤに関連付けられた店舗の所在地を示す店舗情報をサーバから取得する。そして、受信機８３００は、ＧＰＳまたは９軸センサなどを利用して得られる受信機８３００の現在地がその店舗情報によって示される店舗の所在地に入ったか否かを判断する。ここで、受信機８３００は、現在地が店舗の所在地に入ったと判断することによって、上述の入店を検知する。
For example, a user of the
そして、受信機８３００は、入店を検知すると、例えばサーバなどを介して表示装置８３００ｂに入店を通知する。あるいは、受信機８３００は可視光通信または無線通信によって入店を表示装置８３００ｂに通知する。表示装置８３００ｂは、その通知を受けると、その店舗で提供される商品または役務のメニューなどを示す商品役務情報を取得し、その商品役務情報によって示される上記メニューを表示する。なお、表示装置８３００ｂは、受信機８３００のユーザまたは店舗の店員によって携帯される携帯端末であっても、店舗に備えられている装置であってもよい。
Then, when the
図４１５は、店内のシチュエーションでの表示装置８３００ｂの次の動作の一例を示す図である。
FIG. 415 is a diagram showing an example of the following operation of the
ユーザは、表示装置８３００ｂに表示されているメニューの中から、所望の商品を選択する。つまり、ユーザは、メニューの中の、所望の商品の名称が表示されている部分に指を触れる操作を行う。これにより、表示装置８３００ｂは商品選択の操作結果を受け付ける。
The user selects a desired product from the menu displayed on the
図４１６は、店内のシチュエーションでの表示装置８３００ｂの次の動作の一例を示す図である。
FIG. 416 is a diagram showing an example of the following operation of the
商品選択の操作結果を受け付けた表示装置８３００ｂは、選択された商品を表す画像およびその商品の値段を表示する。これにより、表示装置８３００ｂは、選択された商品のユーザへの確認を促す。なお、上述の商品を表す画像、および商品の値段を示す情報などは、例えば上述の商品役務情報に含まれている。
The
図４１７は、店内のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 417 is a diagram showing an example of the following operation of the
確認を促されたユーザは、その商品を注文するための操作を行う。受信機８３００は、その操作が行なわれると、電子決済に必要な決済情報を、表示装置８３００ｂまたはサーバを介して店舗のＰＯＳ（Ｐｉｎｔ ｏｆ Ｓａｌｅ）システムに通知する。さらに、受信機８３００は、その店舗の看板８３０１との可視光通信を利用して取得されて格納されている上述の事前取得画像があるか否かを判断する。受信機８３００は、その事前取得画像があると判断すると、その事前取得画像を表示する。
The user who is prompted for confirmation performs an operation for ordering the product. When the operation is performed, the
なお、本シチュエーションでは、表示装置８３００ｂを用いたが、表示装置８３００ｂを用いることなく、受信機８３００が表示装置８３００ｂによる処理を代わりに行ってもよい。この場合、受信機８３００は、入店を検知すると、その店舗で提供される商品または役務のメニューなどを示す商品役務情報をサーバから取得し、その商品役務情報によって示される上記メニューを表示する。また、受信機８３００は、商品を注文するための操作を受け付けると、注文された商品と、電子決済に必要な決済情報とを、サーバを介して店舗のＰＯＳシステムに通知する。
Although the
図４１８は、店内のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 418 is a diagram showing an example of the following operation of the
店舗の店員は、その受信機８３００に表示されている事前取得画像のバーコードに、ＰＯＳシステムのバーコードスキャナ８３０２を当てる。バーコードスキャナ８３０２は、その事前取得画像のバーコードを読み込む。その結果、ＰＯＳシステムは、そのバーコードによって示されるクーポンに応じた電子決済を行う。そして、ＰＯＳシステムのバーコードスキャナ８３０２は、電子決済が完了したことを示す決済完了情報を輝度変化によって受信機８３００に送信する。つまり、バーコードスキャナ８３０２は、可視光通信の送信機としての機能も有する。受信機８３００は、可視光通信によって決済完了情報を取得すると、その決済完了情報を表示する。この決済完了情報は、例えば「お買い上げありがとうございます」というメッセージと、決済された金額とを示す。このような電子決済が行われることによって、ＰＯＳシステム、サーバおよび受信機８３００は、店舗の前で表示された広告情報（サービス情報）に対応する店舗で、ユーザがその広告情報によって示されるサービスを利用したと判定することができる。
The store clerk assigns the
以上のように、図４１４〜図４１８に示すような受信機８３００およびＰＯＳシステムなどの動作によって、店内における商品の注文が行われる。したがって、ユーザは、店舗に入れば、表示装置８３００ｂまたは受信機８３００に自動的に表示されるその店舗のメニューから商品の注文を行うことできる。つまり、店舗の店員は、メニューをユーザに見せて、ユーザから商品の注文を直接受け付ける必要がない。その結果、店員の負担を大幅に削減することができる。また、上述の例では、バーコードスキャナ８３０２がバーコードを読み込んだが、バーコードスキャナ８３０２を用いなくてもよい。例えば、受信機８３００は、バーコードに示される情報を、サーバを介してＰＯＳシステムに送信してもよい。そして、受信機８３００は、決済完了情報をそのＰＯＳシステムからサーバを介して取得してもよい。これにより、店員による作業をさらに削減することができ、ユーザは店員を通さずに商品の注文を行うことができる。あるいは、表示装置８３００ｂと受信機８３００が可視光通信で注文や課金のデータをやりとりしたり、可視光通信によって交換した鍵を用いた無線通信で前記データをやりとりしてもよい。
As described above, an order for a product is placed in the store by the operation of the
また、看板８３０１は、チェーンストアに属する複数の店舗のうちの１つの店舗によって出されている場合がある。このような場合、看板８３０１との可視光通信を用いて取得される広告情報は、チェーンストアに属する全ての店舗で利用可能である。しかし、同じチェーンストアの中でも、看板８３０１を出している店舗（広告店舗）と、出していない店舗（非広告店舗）とで、ユーザが受けるサービスに違いを設けてもよい。例えば、ユーザが非広告店舗に入った場合には、ユーザは、事前取得画像に示されるクーポンどおりの割引率（例えば２０％）のサービスを受け、ユーザが広告店舗に入った場合には、そのクーポンの割引率よりも高い割引率（例えば３０％）のサービスを受ける。つまり、受信機８３００は、広告店舗への入店を検知した場合には、１０％のさらなる割引を示す付加的なサービス情報をサーバから取得して、３０％（２０％＋１０％）の割引率を示す画像を、図４１７に示す事前取得画像の代わりに表示する。なお、受信機８３００は、サーバから取得された上述の店舗情報に基づいて、ユーザが広告店舗に入店したか、非広告店舗に入店したかを検知する。店舗情報には、チェーンストアに属する複数の店舗のそれぞれの所在地とともに、それらの店舗が広告店舗であるか非広告店舗であるかが示されている。
Further, the
また、同じチェーンストアの中に複数の非広告店舗がある場合には、非広告店舗のそれぞれでユーザが受けるサービスに違いを設けてもよい。例えば、看板８３０１の位置から、または、看板８３０１と可視光通信を行ったときの受信機８３００の現在地から、非広告店舗までの距離に応じたサービスが、その非広告店舗に入ったユーザに提供される。あるいは、受信機８３００と看板８３０１とが可視光通信を行った時刻と、ユーザが非広告店舗に入った時刻との差（時間差）に応じたサービスが、その非広告店舗に入ったユーザに提供される。つまり、受信機８３００は、上述の距離（看板８３０１の位置）と時間差に応じて異なる、さらなる割引を示す付加的なサービス情報をサーバから取得して、さらなる割引が反映された割引率（例えば３０％）を示す画像を、図４１７に示す事前取得画像の代わりに表示する。なお、このようなサービスは、サーバまたはＰＯＳシステムによって、あるいは、これらが相互に連携することによって決定される。また、このようなサービスは、広告店舗および非広告店舗の区別なく、チェーンストアに属する全ての店舗に対して適用してもよい。
Further, when there are a plurality of non-advertising stores in the same chain store, the services received by the users may be different in each of the non-advertising stores. For example, a service according to the distance from the position of the
また、ユーザが非広告店舗に入って、広告情報を利用した注文を行った場合には、非公告店舗のＰＯＳシステムは、注文によって得られた金額の一部を、広告店舗のＰＯＳシステムに還元してもよい。 In addition, when a user enters a non-advertising store and places an order using advertising information, the POS system of the non-publicly announced store returns a part of the amount obtained by the order to the POS system of the advertising store. You may.
さらに、サーバは、広告情報が表示されるごとに、その広告情報が利用されたか否かを判定することができ、その判定された結果を集積することによって、看板８３０１の広告効果を解析することができる。また、サーバは、さらに、看板８３０１の位置、広告情報が表示された時刻、広告情報が利用された店舗の位置、広告情報が利用された時刻、およびユーザの入店の時刻のうち、少なくとも１つを集積することによって、看板８３０１の広告効果の解析精度の向上を図ることができるとともに、広告効果が最も高い看板８３０１の位置を見つけることができる。
Further, the server can determine whether or not the advertising information has been used each time the advertising information is displayed, and analyzes the advertising effect of the
また、受信機８３００は、広告情報が商品注文に利用された利用回数分のさらなる割引を示す付加的なサービス情報をサーバから取得して、その利用回数分のさらなる割引が反映された割引率（例えば３０％）を示す画像を、図４１７に示す事前取得画像の代わりに表示してもよい。例えば、サーバは、利用回数が多ければ、割引率をさらに高くするようなサービスをＰＯＳシステムと連携して行ってもよい。
In addition, the
また、サーバは、店舗によって出されている全ての看板８３０１の機器ＩＤのそれぞれに関連付けられた広告情報が受信機８３００によって受信された場合（全ての広告情報の取得がコンプリートされた場合）には、得得サービスを、その看板８３０１の店舗に入ったユーザに提供してもよい。得得サービスは、例えば、割引率が極めて高いサービスや、注文商品以外の商品を無料で提供するサービスである。つまり、受信機８３００がユーザの入店を検知すると、サーバは、その店舗に関連付けられている全ての看板のそれぞれに対しても受信機８３００が可視光通信などを含む処理を行ったか否かを判定する。そして、その処理を行ったと判定された場合には、受信機８３００は、さらなる割引を示す付加的なサービス情報を上述の得得サービスとしてサーバから取得して、さらなる割引が反映された割引率（例えば５０％）を示す画像を、図４１７に示す事前取得画像の代わりに表示する。
In addition, when the advertisement information associated with each of the device IDs of all the
また、受信機８３００は、看板８３０１と可視光通信を行って広告情報を表示した時刻と、ユーザが店舗に入った時刻との差に応じて異なる、さらなる割引率を示す付加的なサービス情報をサーバから取得して、さらなる割引が反映された割引率（例えば３０％）を示す画像を、図４１７に示す事前取得画像の代わりに表示してもよい。例えば、受信機８３００は、その差が小さいほど高い割引率を示す付加的なサービス情報をサーバから取得する。
In addition, the
図４１９は、店内のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 419 is a diagram showing an example of the following operation of the
注文および電子決済を終えた受信機８３００は、店舗内の照明機器として構成される送信機から輝度変化によって送信される信号を受信し、その信号をサーバに送信することによって、ユーザの座席位置（例えば黒丸）を示す店舗内の案内図を取得する。さらに、受信機８３００は、上記実施の形態１〜１５の何れかと同様に、その受信された信号を用いて受信機８３００の位置を特定する。そして、受信機８３００は、特定された受信機８３００の位置（例えば星印）を案内図中に表示する。これにより、ユーザは、店舗内をどのように進めば自らの座席に行けるかを容易に把握することができる。
After completing the order and electronic payment, the
また、受信機８３００は、ユーザが移動しているときにも、店舗内の照明機器として構成される近くの送信機と可視光通信を行うことによって、上述のような受信機８３００の位置の特定を随時行っている。したがって、受信機８３００は、表示されている受信機８３００の位置（例えば星印）を逐次更新する。これにより、ユーザを座席まで適切に案内することができる。
Further, the
図４２０は、店内のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 420 is a diagram showing an example of the following operation of the
受信機８３００は、ユーザが座席に着くと、照明機器として構成される送信機８３０３と可視光通信を行うことによって、受信機８３００の位置を特定し、その位置がユーザの座席位置にあると判断する。そして、受信機８３００は、ユーザ名またはニックネームとともに、座席に着いたことを、サーバを介して店舗内の端末に通知する。これにより、店員は、どの座席にどのユーザが座っているかを把握することができる。
When the user arrives at the seat, the
図４２１は、店内のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 421 is a diagram showing an example of the following operation of the
送信機８３０３は、輝度変化することによって、顧客ＩＤと、注文商品ができたことを知らせるメッセージとを含む信号を送信する。なお、受信機８３００は、例えば、商品のメニューなどを示す商品役務情報をサーバから取得するときに、上述の顧客ＩＤもサーバから取得して保持している。受信機８３００は、送信機８３０３を可視光撮影することによって上述の信号を受信する。さらに、受信機８３００は、その信号に含まれる顧客ＩＤが、予め保持している顧客ＩＤと一致するか否かを判定する。ここで、受信機８３００は、一致すると判定すると、その信号に含まれるメッセージ（例えば「商品ができました」）を表示する。
The
図４２２は、店内のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 422 is a diagram showing an example of the following operation of the
注文商品をユーザの座席に届けた店員は、その注文商品を届けたことを証明するために、ハンディーターミナル８３０２ａを受信機８３００に向ける。ハンディーターミナル８３０２ａは、送信機として構成されており、注文商品を届けたことを示す信号を受信機８３００に輝度変化によって送信する。受信機８３００は、ハンディーターミナル８３０２ａを撮像することによって、その信号を受信し、その信号によって示されるメッセージ（例えば、「お食事をお楽しみください」）を表示する。
The clerk who delivered the ordered product to the user's seat points the
＜シチュエーション：店探し＞
次に、受信機８３００を携帯したユーザが興味のある店舗を探しているシチュエーションでの適用例について、図４２３〜図４２５を用いて説明する。
<Situation: Finding a store>
Next, an application example in a situation in which a user carrying the
図４２３は、店探しのシチュエーションでの受信機８３００の動作の一例を示す図である。
FIG. 423 is a diagram showing an example of the operation of the
ユーザは、興味のある飲食店が掲載されたサイネージ８３０４を見つける。このとき、ユーザは、そのサイネージ８３０４が輝度変化によって信号を送信していると判断すると、図４０９に示す例と同様に、受信機８３００を操作することによって、その受信機８３００の通信アプリケーションを起動させる。なお、図４１０に示す例と同様に、受信機８３００は通信アプリケーションを自動的に起動させてもよい。
The user finds the
図４２４は、店探しのシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 424 is a diagram showing an example of the following operation of the
受信機８３００は、サイネージ８３０４の全体、または、サイネージ８３０４のうち、ユーザが興味をもつ飲食店が掲載されている部分を撮像することによって、そのサイネージ８３０４またはその飲食店を識別するためのＩＤを受信する。
The
図４２５は、店探しのシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 425 is a diagram showing an example of the following operation of the
受信機８３００は、上述のＩＤを受信すると、そのＩＤをサーバに送信し、そのＩＤに関連付けられた広告情報（サービス情報）をサーバから取得して表示する。このとき、受信機８３００は、そのＩＤとともに、飲食店に入る予定の人数（付属情報）をサーバに通知してもよい。これにより、受信機８３００は、その人数に応じた広告情報を取得することができる。例えば、受信機８３００は、その通知された人数分の空席がその飲食店にあるか否かを示す広告情報を取得することができる。
When the
＜シチュエーション：映画広告＞
次に、受信機８３００を携帯したユーザが、興味のある映画広告が掲載されたサイネージの前にいるシチュエーションでの適用例について、図４２６〜図４２９を用いて説明する。
<Situation: Movie advertisement>
Next, an application example in a situation in which a user carrying the
図４２６は、映画広告のシチュエーションでの受信機８３００の動作の一例を示す図である。
FIG. 426 is a diagram showing an example of the operation of the
ユーザは、興味のある映画広告が掲載されたサイネージ８３０５と、例えば液晶ディスプレイとして構成され、映画広告用の動画像を表示するサイネージ８３０６とを見つける。サイネージ８３０５は、例えば、映画広告を示す画像が描かれた透過性のフィルムと、そのフィルムの背面側に配置されてそのフィルムを照らす複数のＬＥＤとを備えている。つまり、このサイネージ８３０５は、複数のＬＥＤの発光によって、フィルムに描かれた画像を静止画像として明るく表示する。また、このサイネージ８３０５は、輝度変化することによって信号を送信する送信機として構成されている。
The user finds a
ここで、ユーザは、そのサイネージ８３０５が輝度変化によって信号を送信していると判断すると、図４０９に示す例と同様に、受信機８３００を操作することによって、その受信機８３００の通信アプリケーションを起動させる。なお、図４１０に示す例と同様に、受信機８３００は通信アプリケーションを自動的に起動させてもよい。
Here, when the user determines that the
図４２７は、映画広告のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 427 is a diagram showing an example of the following operation of the
受信機８３００は、サイネージ８３０５を撮像することによって、そのサイネージ８３０５のＩＤを取得する。そして、受信機８３００は、そのＩＤをサーバに送信し、そのＩＤに関連付けられた映画広告用の動画像データをサービス情報としてサーバからダウンロードして再生する。
The
図４２８は、映画広告のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 428 is a diagram showing an example of the following operation of the
上述のようにダウンロードされた動画像データの再生によって表示される動画像は、例えばサイネージ８３０６によって表示される動画像と同一である。したがって、ユーザは、映画広告用の動画像を見たい場合には、サイネージ８３０６の前に立ち止まっていることなく、任意の場所でその動画像を見ることができる。
The moving image displayed by reproducing the moving image data downloaded as described above is the same as the moving image displayed by, for example, the
図４２９は、映画広告のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 429 is a diagram showing an example of the following operation of the
受信機８３００は、動画像データだけでなく、その動画像データとともに映画の上映時間などを示す上映情報もサービス情報としてダウンロードしてもよい。これにより、受信機８３００は、上映情報の内容を表示してユーザに通知することができるとともに、その上映情報を他の端末（他のスマートフォンなど）と共有することができる。
The
＜シチュエーション：美術館＞
次に、受信機８３００を携帯したユーザが美術館に入って館内の各展示物を鑑賞するシチュエーションでの適用例について、図４３０〜図４３５を用いて説明する。
<Situation: Museum>
Next, an application example in a situation in which a user carrying the
図４３０は、美術館のシチュエーションでの受信機８３００の動作の一例を示す図である。
FIG. 430 is a diagram showing an example of the operation of the
ユーザは、例えば美術館に入館しようとしたときに、その美術館の入口に掛けられた案内掲示板８３０７を見つける。このとき、ユーザは、その案内掲示板８３０７が輝度変化によって信号を送信していると判断すると、図４０９に示す例と同様に、受信機８３００を操作することによって、その受信機８３００の通信アプリケーションを起動させる。なお、図４１０に示す例と同様に、受信機８３００は通信アプリケーションを自動的に起動させてもよい。
For example, when a user tries to enter a museum, he / she finds an
図４３１は、美術館のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 431 is a diagram showing an example of the following operation of the
受信機８３００は、案内掲示板８３０７を撮像することによって、その案内掲示板８３０７のＩＤを取得する。そして、受信機８３００は、そのＩＤをサーバに送信し、そのＩＤに関連付けられたサービス情報として、その美術館の案内用アプリケーションプログラム（以下、美術館アプリという）をサーバからダウンロードして起動させる。
The
図４３２は、美術館のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 432 is a diagram showing an example of the following operation of the
受信機８３００は、美術館アプリが起動すると、その美術館アプリにしたがって、美術館内の案内図を表示する。さらに、受信機８３００は、上記実施の形態１〜１５の何れかと同様に、受信機８３００の美術館における位置を特定する。そして、受信機８３００は、特定された受信機８３００の位置（例えば星印）を案内図中に表示する。
When the museum application is activated, the
受信機８３００は、上述のように位置を特定するためには、例えば、美術館アプリをダウンロードする際に、案内掲示板８３０７の大きさおよび形状などを示す形態情報をサーバから取得しておく。そして、受信機８３００は、その形態情報によって示される案内掲示板８３０７の大きさおよび形状と、上述の撮像によって得られた画像に映し出された案内掲示板８３０７の大きさおよび形状とに基づいて、三角測量の方法などにしたがって、案内掲示板８３０７に対する受信機８３００の相対的な位置を特定する。
In order to specify the position as described above, the
図４３３は、美術館のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 433 is a diagram showing an example of the following operation of the
上述のように美術館アプリを起動させた受信機８３００は、美術館内にユーザが入ると、美術館内にある照明機器として構成される近くの送信機と可視光通信を行うことによって、受信機８３００の位置の特定を随時行う。例えば、受信機８３００は、照明機器として構成された送信機８３０８を撮像することによって、その送信機８３０８から送信機８３０８のＩＤを取得する。そして、受信機８３００は、そのＩＤに関連付けられた、送信機８３０８の位置を示す位置情報と、送信機８３０８の大きさおよび形状などを示す形態情報をサーバから取得する。そして、受信機８３００は、その形態情報によって示される送信機８３０８の大きさおよび形状と、上述の撮像によって得られた画像に映し出された送信機８３０８の大きさおよび形状とに基づいて、三角測量の方法などにしたがって、送信機８３０８に対する受信機８３００の相対的な位置を推定する。また、受信機８３００は、サーバから取得された位置情報によって示される送信機８３０８の位置と、上述のように推定された受信機８３００の相対的な位置とに基づいて、受信機８３００の美術館における位置を特定する。
When a user enters the museum, the
そして、受信機８３００は、受信機８３００の位置の特定が行われるごとに、特定された最新の位置に、表示されている星印を移動させる。これによって、美術館に入っているユーザは、受信機８３００に表示されている案内図と星印とを見れば、自分が美術館のどこにいるのかを容易に把握することができる。
Then, the
図４３４は、美術館のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 434 is a diagram showing an example of the following operation of the
美術館内に入ったユーザは、興味のある展示物８３０９を見つけると、受信機８３００がその展示物８３０９を撮像することができるように、その受信機８３００を展示物８３０９にかざす動作を行う。ここで、展示物８３０９は、照明機器８３１０による光によって照らし出されている。また、照明機器８３１０は、展示物８３０９に対して専用に用いられるものであり、輝度変化によって信号を送信する送信機として構成されている。したがって、展示物８３０９は、輝度変化する光によって照らし出され、照明機器８３１０からの信号を間接的に送信している。
When the user who enters the museum finds the
受信機８３００は、例えば内蔵された９軸センサからの出力に基づいて、受信機８３００を展示物８３０９にかざす動作を検出すると、その展示物８３０９を撮像することによって、照明機器８３１０からの信号を受信する。この信号は、例えば展示物８３０９のＩＤなどを示す。そして、受信機８３００は、そのＩＤに関連付けられた展示物８３０９の紹介情報（サービス情報）をサーバから取得する。この紹介情報は、展示物８３０９を紹介するための図を示すとともに、その紹介のための文章を、日本語、英語、およびフランス語などの各国の言語によって示す。
When the
受信機８３００は、紹介情報をサーバから取得すると、その紹介情報によって示される図と文章とを表示する。ここで、受信機８３００は、文章を表示するときには、各国の言語の文章の中から、ユーザによって予め設定されている言語の文章を抽出し、その言語の文章のみを表示する。また、受信機８３００は、ユーザによる選択操作によって、その言語を変更してもよい。
When the
図４３５は、美術館のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 435 is a diagram showing an example of the following operation of the
受信機８３００は、紹介情報の図および文章の表示がユーザの操作によって終了されると、再び、照明機器として構成された近くの送信機（例えば、照明機器８３１１）と可視光通信を行うことによって、受信機８３００の位置の特定を行う。そして、受信機８３００は、受信機８３００の新たな位置が特定されると、その特定された新たな位置に、表示されている星印を移動させる。これによって、展示物８３０９を鑑賞したユーザは、受信機８３００に表示されている案内図と星印とを見ることによって、次に鑑賞したい展示物へ容易に移動することができる。
When the display of the figure and the text of the introduction information is terminated by the user's operation, the
＜シチュエーション：バス停留所＞
次に、受信機８３００を携帯したユーザがバス停留所にいるシチュエーションでの適用例について、図４３６〜図４３７を用いて説明する。
<Situation: Bus stop>
Next, an application example in a situation where the user carrying the
図４３６は、バス停留所のシチュエーションでの受信機８３００の動作の一例を示す図である。
FIG. 436 is a diagram showing an example of the operation of the
ユーザは、例えば、バスに乗車するためにバス停留所に行く。そこで、ユーザは、そのバス停留所にある標識塔８３１２が輝度変化によって信号を送信していると判断すると、図４０９に示す例と同様に、受信機８３００を操作することによって、その受信機８３００の通信アプリケーションを起動させる。なお、図４１０に示す例と同様に、受信機８３００は通信アプリケーションを自動的に起動させてもよい。
The user goes to a bus stop, for example, to get on the bus. Therefore, when the user determines that the
図４３７は、バス停留所のシチュエーションでの受信機８３００の次の動作の一例を示す図である。
FIG. 437 is a diagram showing an example of the following operation of the
受信機８３００は、標識塔８３１２を撮像することによって、その標識塔８３１２があるバス停留所のＩＤを取得する。そして、受信機８３００は、そのＩＤをサーバに送信し、そのＩＤに関連付けられた運行状況情報をサーバから取得する。なお、この運行状況情報は交通状況を示す情報であって、ユーザに提供されるサービスを示すサービス情報である。
The
ここで、サーバは、そのバス停留所を含む地域において運行している各バスから情報を収集することによって、それらのバスの運行状況を管理している。したがって、サーバは、受信機８３００からバス停留所のＩＤを取得したときには、管理されている運行状況に基づいて、そのＩＤのバス停留所にバスが到着するまでの時間を推定し、その推定された時間を示す運行状況情報を受信機８３００に送信する。
Here, the server manages the operation status of those buses by collecting information from each bus operating in the area including the bus stop. Therefore, when the server acquires the ID of the bus stop from the
運行状況情報を取得した受信機８３００は、その運行状況情報によって示される時間を、例えば「到着まで後１０分」のように表示する。これにより、ユーザはバスの運行状況を容易に把握することができる。
The
（補足）
撮像側の走査方向が携帯端末の垂直方向（上下方向）である場合に、露光時間を短くして撮像すると、ＬＥＤの照明装置全体のＯＮ／ＯＦＦに対して、図４３８の（ａ）のように、走査方向と同じ方向に白・黒のパターンである輝線を撮像することができる。図４３８の（ａ）では、縦長のＬＥＤ照明装置の長辺方向を、撮像側の走査方向に対して垂直になるように撮像しているため（携帯端末の左右方向）、走査方向と同じ方向に、多数の白・黒パターンの輝線を撮像することができる。即ち、送受信可能な情報量を大きくすることができる。一方、図４３８の（ｂ）のように、縦長のＬＥＤ照明装置を、撮像側の走査方向に対して平行になるように撮像した場合（携帯端末の上下方向）、撮像できる白・黒パターンの輝線は少なくなる。即ち、送信可能な情報量が小さくなる。
(Supplement)
When the scanning direction on the imaging side is the vertical direction (vertical direction) of the mobile terminal and the exposure time is shortened, the entire LED lighting device is turned on and off as shown in FIG. 438 (a). In addition, it is possible to image bright lines, which are white and black patterns, in the same direction as the scanning direction. In FIG. 438 (a), since the long side direction of the vertically long LED lighting device is imaged so as to be perpendicular to the scanning direction on the imaging side (horizontal direction of the mobile terminal), the direction is the same as the scanning direction. In addition, it is possible to image a large number of bright lines with white and black patterns. That is, the amount of information that can be transmitted and received can be increased. On the other hand, as shown in FIG. 438 (b), when a vertically long LED lighting device is imaged so as to be parallel to the scanning direction on the imaging side (vertical direction of the mobile terminal), a white / black pattern that can be imaged is obtained. There are fewer bright lines. That is, the amount of information that can be transmitted becomes small.
このように、撮像側の走査方向に対するＬＥＤ照明装置の向きによって、多数の白・黒パターンの輝線が撮像できる場合（縦長のＬＥＤ照明装置の長辺方向を、撮像側の走査方向に対して垂直になるように撮像した場合）と、少数の白・黒パターンの輝線の撮像しかできない場合（縦長のＬＥＤ照明装置の長辺方向を、撮像側の走査方向に対して平行にした場合）とが生じる。 In this way, when a large number of bright lines of white and black patterns can be imaged depending on the orientation of the LED illumination device with respect to the scanning direction on the imaging side (the long side direction of the vertically long LED illumination device is perpendicular to the scanning direction on the imaging side). (When the image is taken so as to be), and when only a small number of bright lines of white and black patterns can be imaged (when the long side direction of the vertically long LED lighting device is parallel to the scanning direction on the imaging side). Occurs.
本実施の形態では、少数の白・黒パターンの輝線しか撮像できない場合であっても、多数の輝線を撮像可能な照明装置の制御方法について説明する。 In the present embodiment, a control method of an illumination device capable of capturing a large number of bright lines even when only a small number of bright lines of white / black patterns can be captured will be described.
図４３９に縦方向に複数のＬＥＤを配した照明装置と、その駆動信号の一例を示す。図４３９の（ａ）は、縦方向に複数のＬＥＤを配した照明装置である。各ＬＥＤ素子が可視光通信信号を符号化した横縞の最小単位に相当するものとし、符号化したＯＮ／ＯＦＦ信号に相当するものとする。このように、白・黒のパターンを生成し、各ＬＥＤ素子をＯＮ／ＯＦＦして、照明することにより、撮像側の走査方向と、縦長のＬＥＤ照明装置の長辺方向が並行であったとして、ＬＥＤ素子単位の白・黒パターンを撮影することが可能となる。 FIG. 439 shows an example of a lighting device in which a plurality of LEDs are arranged in the vertical direction and a drive signal thereof. FIG. 439 (a) is a lighting device in which a plurality of LEDs are arranged in the vertical direction. It is assumed that each LED element corresponds to the minimum unit of the horizontal stripes in which the visible light communication signal is encoded, and corresponds to the encoded ON / OFF signal. By generating white and black patterns, turning on / off each LED element, and illuminating in this way, it is assumed that the scanning direction on the imaging side and the long side direction of the vertically long LED lighting device are parallel. , It becomes possible to photograph the white / black pattern of each LED element.
図４３９の（ｃ）および（ｄ）は、白・黒のパターンを生成し、各ＬＥＤ素子をＯＮ／ＯＦＦして照明する例を示している。照明装置において、白・黒のパターンとして照明すると、短時間であっても、明かりにムラが生じる場合がある。そのため、逆位相のパターンを生成し、交互に照明する例を示したものが、図４３９の（ｃ）および（ｄ）になる。図４３９の（ｃ）において、ＯＮになっていた素子は、図４３９の（ｄ）において、ＯＦＦとなっており、図４３９の（ｃ）において、ＯＦＦになっていた素子は、図４３９の（ｄ）において、ＯＮとなっている。このように、白・黒のパターンを、正位相のパターンと、逆位相のパターンを順次交互に、照明することにより、明かりのムラを生じさせることなく、かつ、撮像側の走査方向と、照明装置の向きとの関係に影響を受けず、可視光通信において多くの情報を送受信することが可能となる。また、正位相のパターン、逆位相のパターンの２種類のパターンを交互に生成し、照明する場合に限らず、３種類以上のパターンを生成し、照明することも考えられる。図４４０は、４種類のパターンを順次照明する例を示している。 (C) and (d) of FIG. 439 show an example in which a white / black pattern is generated and each LED element is turned ON / OFF for illumination. When illuminating as a white / black pattern in an illuminating device, unevenness may occur in the light even for a short time. Therefore, (c) and (d) of FIGS. 439 show an example in which patterns having opposite phases are generated and illuminated alternately. The element that was turned on in FIG. 439 (c) is turned off in FIG. 439 (d), and the element that was turned off in FIG. 439 (c) is the element shown in FIG. 439 (d). In d), it is ON. In this way, by illuminating the white and black patterns alternately with the positive phase pattern and the opposite phase pattern in sequence, the scanning direction on the imaging side and the illumination are not caused and the illumination is not uneven. It is possible to send and receive a lot of information in visible light communication without being affected by the relationship with the orientation of the device. Further, not only in the case of alternately generating two types of patterns of the positive phase and the pattern of the opposite phase and illuminating the pattern, it is also conceivable to generate three or more types of patterns and illuminate the pattern. FIG. 440 shows an example of sequentially illuminating four types of patterns.
通常は、ＬＥＤ照明全体で点滅を行い（図４３９の（ｂ））、所定時間だけ、白・黒パターンを生成し、ＬＥＤ素子単位で照明する構成も考えられる。例えば、所定のデータ単位の送受信の時間は、ＬＥＤ照明全体で点滅を行い、その後、短時間で、ＬＥＤ素子単位で白・黒パターンを照明する構成が考えられる。ここで、所定のデータ単位は、例えば、第１のヘッダから、次の第２のヘッダのまでのデータ単位をいう。このとき、図４３８の（ａ）の方向で撮像した場合はＬＥＤ照明全体での点滅を撮像した輝線から信号を受信し、図４３８の（ｂ）の方向で受信した場合はＬＥＤ素子単位での発光パターンから信号を受信する。 Normally, a configuration is also conceivable in which the entire LED illumination blinks ((b) in FIG. 439), a white / black pattern is generated for a predetermined time, and the LED elements are illuminated. For example, it is conceivable that the entire LED illumination blinks for a predetermined data transmission / reception time, and then the white / black pattern is illuminated for each LED element in a short time. Here, the predetermined data unit means, for example, a data unit from the first header to the next second header. At this time, when the image is taken in the direction of (a) of FIG. 438, the signal is received from the bright line which imaged the blinking of the entire LED illumination, and when it is received in the direction of (b) of FIG. 438, the LED element unit. Receives a signal from the light emission pattern.
なお、本実施の形態は、ＬＥＤ照明装置に限定するものではなく、ＬＥＤ素子と同じように、小さな素子単位でＯＮ／ＯＦＦを制御できる素子であればどのような素子であってもよい。また、照明装置に限らず、テレビや、プロジェクターや、サイネージなどの装置であってもよい。 The present embodiment is not limited to the LED lighting device, and any element may be used as long as it can control ON / OFF in small element units like the LED element. Further, the device is not limited to a lighting device, and may be a device such as a television, a projector, or a signage.
また、本実施の形態では、白・黒パターンで照明する例について説明したが、白・黒パターンではなく色を用いても良い。例えば、ＲＧＢのうち、ＲＧは常時点灯させ、Ｂだけ使って点滅させてもよい。ＲやＧよりもＢだけ使うほうが人間に認識されにくく、ちらつきを抑制することが可能となる。他の例として、白・黒パターンの代わりに加法混色において補色になる色（赤とシアンのパターン、緑とマゼンタのパターン、黄と青のパターンなど）を使って、ＯＮ／ＯＦＦを表示させてもよい。加法混色において補色になる色を用いることにより、ちらつきを抑制することが可能となる。 Further, in the present embodiment, an example of illuminating with a white / black pattern has been described, but a color may be used instead of the white / black pattern. For example, of RGB, RG may be constantly lit and only B may be used to blink. It is more difficult for humans to recognize B than R and G, and it is possible to suppress flicker. As another example, instead of the white / black pattern, use colors that are complementary colors in additive mixing (red and cyan patterns, green and magenta patterns, yellow and blue patterns, etc.) to display ON / OFF. May be good. By using a complementary color in additive color mixing, it is possible to suppress flicker.
また、本実施の形態では、ＬＥＤ素子を１次元に配置する例を用いて説明したが、ＬＥＤ素子を１次元に並べるのではなく、２次元に配置して、２次元バーコードのように表示を行ってもよい。 Further, in the present embodiment, the example in which the LED elements are arranged in one dimension has been described, but instead of arranging the LED elements in one dimension, they are arranged in two dimensions and displayed like a two-dimensional bar code. May be done.
（本実施の形態のまとめ）
本実施の形態におけるサービス提供方法は、複数の露光ラインを有するイメージセンサを備える端末装置を用いて、前記端末装置のユーザにサービスを提供するサービス提供方法であって、前記イメージセンサの各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する露光ラインとの間で、部分的に時間的な重なりを持つように、１／４８０秒以下の露光時間で被写体の撮影を行うことにより画像データを取得する画像取得ステップと、前記画像データに現れる、前記各露光ラインに対応する輝線パターンを復調することにより、前記被写体の識別情報を取得する可視光通信ステップと、前記被写体の識別情報に関連付けられているサービス情報を前記ユーザに提示するサービス提示ステップとを含む。
(Summary of the present embodiment)
The service providing method in the present embodiment is a service providing method for providing a service to a user of the terminal device by using a terminal device including an image sensor having a plurality of exposure lines, and each exposure line of the image sensor. The exposure time is 1/480 second or less so that the exposures of the above are sequentially started at different times and the exposure time of each exposure line partially overlaps with the adjacent exposure line. The visible light communication that acquires the identification information of the subject by the image acquisition step of acquiring the image data by taking a picture of the subject and the emission line pattern corresponding to each exposure line appearing in the image data. The step includes a service presentation step of presenting the service information associated with the subject identification information to the user.
これにより、被写体および端末装置がそれぞれ送信機および受信機として互いに通信することを利用して、端末装置のユーザに被写体に関連したサービス情報が提示されるため、ユーザにとって有益な情報をサービスとしてそのユーザに多様な形態で提供することができる。例えば、前記サービス提示ステップでは、前記被写体に関連する店舗の広告、空席状況または予約状況を示す情報と、商品または役務の価格の割引率を示す情報と、映画広告用の動画像と、上映時間を示す情報と、建物内部を案内するための情報と、展示物を紹介するための情報と、交通状況を示す情報とのうちの少なくも１つを、前記サービス情報として提示する。 As a result, the service information related to the subject is presented to the user of the terminal device by utilizing the fact that the subject and the terminal device communicate with each other as a transmitter and a receiver, respectively. It can be provided to users in various forms. For example, in the service presentation step, an advertisement of a store related to the subject, information indicating the vacancy status or reservation status, information indicating a discount rate of a price of a product or service, a moving image for a movie advertisement, and a screening time. At least one of the information indicating the above, the information for guiding the inside of the building, the information for introducing the exhibits, and the information indicating the traffic situation is presented as the service information.
また、前記サービス提供方法は、さらに、前記端末装置が前記被写体の識別情報をサーバに送信する識別情報送信ステップと、前記被写体の識別情報に関連付けられている前記サービス情報を前記端末装置が前記サーバから取得するサービス取得ステップとを含み、前記サービス提示ステップでは、取得された前記サービス情報を前記端末装置が前記ユーザに提示してもよい。 Further, in the service providing method, the terminal device further transmits the identification information transmission step in which the terminal device transmits the identification information of the subject to the server, and the terminal device transmits the service information associated with the identification information of the subject to the server. In the service presentation step, the terminal device may present the acquired service information to the user, including a service acquisition step acquired from.
これにより、サービス情報を被写体の識別情報に関連付けてサーバに管理させることができるため、サービス情報の更新などのメンテナンスを容易にすることができる。 As a result, the service information can be associated with the subject identification information and managed by the server, so that maintenance such as updating the service information can be facilitated.
また、前記識別情報送信ステップでは、前記被写体の識別情報とともに付属情報を前記サーバに送信し、前記サービス取得ステップでは、前記被写体の識別情報と前記付属情報とに関連付けられている前記サービス情報を取得してもよい。 Further, in the identification information transmission step, ancillary information is transmitted to the server together with the identification information of the subject, and in the service acquisition step, the service information associated with the identification information of the subject and the ancillary information is acquired. You may.
これにより、付属情報に応じた、ユーザにとってより適切なサービスを提供することができる。例えば、図４１２および図４２５を用いて説明した動作のように、前記識別情報送信ステップでは、前記ユーザの個人情報、前記ユーザの識別情報、前記ユーザを含むグループの人数を示す人数情報、または、前記端末装置の位置を示す位置情報を、前記付属情報として送信する。 As a result, it is possible to provide a more appropriate service for the user according to the attached information. For example, as in the operation described with reference to FIGS. 412 and 425, in the identification information transmission step, the personal information of the user, the identification information of the user, the number of people information indicating the number of people in the group including the user, or the number of people information indicating the number of people in the group including the user, or The position information indicating the position of the terminal device is transmitted as the accessory information.
また、前記サービス提供方法は、さらに、前記端末装置の位置を示す位置情報を前記端末装置がサーバに送信する位置送信ステップと、前記位置情報によって示される位置を含む所定の範囲にある少なくとも１つの機器の識別情報と、前記識別情報のそれぞれに関連付けられている少なくとも１つのサービス情報とを、前記端末装置が前記サーバから取得して保持する事前取得ステップとを含み、前記サービス提示ステップでは、前記事前取得ステップで保持された前記少なくとも１つのサービス情報の中から、前記被写体の前記識別情報に関連付けられているサービス情報を前記端末装置が選択して、当該サービス情報を前記ユーザに提示してもよい。 Further, the service providing method further includes at least one in a predetermined range including a position transmission step in which the terminal device transmits position information indicating the position of the terminal device to the server and a position indicated by the position information. The terminal device includes a pre-acquisition step of acquiring and holding the identification information of the device and at least one service information associated with each of the identification information from the server. The terminal device selects the service information associated with the identification information of the subject from the at least one service information held in the article pre-acquisition step, and presents the service information to the user. May be good.
これにより、例えば図４１０を用いて説明した動作のように、端末装置が被写体の識別情報を取得したときには、その後にサーバなどと通信することなく、予め保持されている少なくとも１つのサービス情報の中から、その被写体の識別情報に関連付けられているサービス情報を取得して提示することができる。したがって、サービスの提供を高速化することができる。 As a result, when the terminal device acquires the subject identification information, for example, as in the operation described with reference to FIG. 410, it is included in at least one service information held in advance without communicating with the server or the like thereafter. Therefore, the service information associated with the identification information of the subject can be acquired and presented. Therefore, the provision of services can be speeded up.
また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記店舗の商品または役務に関する商品役務情報を、前記端末装置がサーバから取得して前記ユーザに提示する商品役務提示ステップとを含んでもよい。 Further, the service providing method further specifies a store entry determination step of determining whether or not the user has entered the store corresponding to the service information presented in the service presentation step by specifying the position of the user. When it is determined that the user has entered the store in the store entry determination step, the product service information related to the product or service of the store is acquired from the server by the terminal device and presented to the user. It may include a presentation step.
これにより、例えば図４１４〜図４１８を用いて説明した動作のように、ユーザが店舗に入れば、店舗のメニューなどを商品役務情報としてユーザに自動的に提示することができる。したがって、店舗の店員はメニューなどをユーザに提示する必要がなく、ユーザは店舗に対して簡単に注文を行うことができる。 As a result, when the user enters the store, for example, as in the operation described with reference to FIGS. 414 to 418, the menu of the store and the like can be automatically presented to the user as product service information. Therefore, the store clerk does not need to present the menu or the like to the user, and the user can easily place an order with the store.
また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記被写体の位置、および、前記サービス情報が提示された時刻のうちの、少なくとも一方に応じて異なる前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。 Further, the service providing method further specifies a store entry determination step of determining whether or not the user has entered the store corresponding to the service information presented in the service presentation step by specifying the position of the user. When it is determined that the user has entered the store in the store entry determination step, the position of the subject and the time when the service information is presented are different depending on at least one of the stores. Additional service information may include an additional service presentation step that the terminal device presents to the user.
これにより、例えば図４１４〜図４１８を用いて説明した処理のように、ユーザが入った店舗から被写体が近いほど、あるいは、ユーザが店舗に入った時刻と、サービス情報が提示された時刻（または被写体の撮影が行われた時刻）とが近いほど、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。具体的には、チェーンストアに属する複数の店舗のそれぞれが、サービス提示ステップで提示されたサービス情報に対応する店舗であり、それらの店舗のうちの１つの店舗（広告店舗）によって被写体である看板が出されている場合がある。このような場合には、上記チェーンストアに属する複数の店舗のうち広告店舗は、典型的には、その被写体（看板）に最も近い位置にある。したがって、ユーザが入った店舗から被写体が近いほど、あるいは、ユーザが店舗に入った時刻と、サービス情報が提示された時刻とが近いほど、ユーザが入った店舗が広告店舗である可能性が高い。そこで、ユーザが広告店舗に入った可能性が高い場合には、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。 As a result, as in the process described with reference to FIGS. 414 to 418, the closer the subject is to the store where the user entered, or the time when the user enters the store and the time when the service information is presented (or The closer the time when the subject was photographed), the more useful service information for the user can be presented to the user as additional service information. Specifically, each of the plurality of stores belonging to the chain store is a store corresponding to the service information presented in the service presentation step, and a signboard that is a subject by one of those stores (advertising store). May have been issued. In such a case, the advertising store among the plurality of stores belonging to the chain store is typically located closest to the subject (signboard). Therefore, the closer the subject is to the store where the user entered, or the closer the time when the user enters the store and the time when the service information is presented, the more likely it is that the store where the user entered is an advertising store. .. Therefore, when there is a high possibility that the user has entered the advertising store, service information that is more useful to the user can be presented to the user as additional service information.
また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記ユーザが前記サービス情報によって示されるサービスを前記店舗で利用した回数に応じて異なる前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。 Further, the service providing method further specifies a store entry determination step of determining whether or not the user has entered the store corresponding to the service information presented in the service presentation step by specifying the position of the user. When it is determined in the store entry determination step that the user has entered the store, the additional service of the store differs depending on the number of times the user has used the service indicated by the service information in the store. The information may include an additional service presentation step that the terminal device presents to the user.
これにより、例えば図４１４〜図４１８を用いて説明した動作のように、サービスの利用回数が多いほど、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。例えば、商品価格の２０％割引を示すサービス情報の利用回数が閾値を超えると、１０％のさらなる割引を示す付加的なサービス情報をユーザに提示することができる。 Thereby, for example, as in the operation described with reference to FIGS. 414 to 418, the more times the service is used, the more useful service information for the user can be presented to the user as additional service information. For example, if the number of times the service information indicating a 20% discount on the product price is used exceeds the threshold value, additional service information indicating an additional 10% discount can be presented to the user.
また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記店舗に関連付けられている、前記被写体以外の全ての他の被写体のそれぞれに対しても、前記画像取得ステップ、前記可視光通信ステップおよび前記サービス提示ステップを含む処理が行われたか否かを判定するコンプリート判定ステップと、前記コンプリート判定ステップで前記処理が行われたと判定されたときには、前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。 Further, the service providing method further specifies a store entry determination step of determining whether or not the user has entered the store corresponding to the service information presented in the service presentation step by specifying the position of the user. When it is determined in the store entry determination step that the user has entered the store, the image acquisition step is also applied to each of all other subjects other than the subject associated with the store. , A complete determination step for determining whether or not a process including the visible light communication step and the service presentation step has been performed, and an additional of the store when it is determined that the process has been performed in the complete determination step. The service information may include an additional service presentation step that the terminal device presents to the user.
これにより、例えば図４１４〜図４１８を用いて説明した動作のように、例えば店舗が幾つかの被写体を看板として出し、それらの看板の全てに対して画像取得ステップ、可視光通信ステップおよびサービス提示ステップが行なわれている場合には、ユーザにとって最も有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。 As a result, for example, as in the operation described with reference to FIGS. 414 to 418, the store displays some subjects as signboards, and an image acquisition step, a visible light communication step, and a service presentation are performed on all of the signboards. When the step is performed, the service information most useful to the user can be presented to the user as additional service information.
また、前記サービス提供方法は、さらに、前記ユーザの位置を特定することによって、前記サービス提示ステップで提示されたサービス情報に対応する店舗に、前記ユーザが入ったか否かを判別する入店判別ステップと、前記入店判別ステップで、前記ユーザが前記店舗に入ったと判別されたときには、前記サービス情報が提示された時刻と、前記ユーザが前記店舗に入った時刻との差分に応じて異なる前記店舗の付加的なサービス情報を、前記端末装置が前記ユーザに提示する付加サービス提示ステップとを含んでもよい。 Further, the service providing method further specifies a store entry determination step of determining whether or not the user has entered the store corresponding to the service information presented in the service presentation step by specifying the position of the user. When it is determined in the store entry determination step that the user has entered the store, the store differs according to the difference between the time when the service information is presented and the time when the user enters the store. The additional service information of the above may be included in the additional service presentation step that the terminal device presents to the user.
これにより、例えば図４１４〜図４１８を用いて説明した動作のように、サービス情報が提示された時刻（または被写体の撮影が行われた時刻）と、ユーザが店舗に入った時刻との差分が小さいほど、ユーザにとってより有益なサービス情報を付加的なサービス情報としてそのユーザに提示することができる。つまり、被写体の撮像によってサービス情報の提示を受けてから入店までの時間が短いユーザに対しては、より有益なサービスを付加的に提供することができる。 As a result, the difference between the time when the service information is presented (or the time when the subject is photographed) and the time when the user enters the store, as in the operation described with reference to FIGS. 414 to 418, is obtained. The smaller the value, the more useful service information for the user can be presented to the user as additional service information. That is, it is possible to additionally provide a more useful service to a user who has a short time from receiving the service information presented by imaging the subject to entering the store.
また、前記サービス提供方法は、さらに、前記サービス提示ステップで提示されたサービス情報に対応する店舗で、前記ユーザが前記サービス情報によって示されるサービスを利用したか否かを判定する利用判定ステップと、前記サービス情報が提示されるごとに、前記利用判定ステップにおいて判定された結果を集積し、集積された内容に基づいて前記被写体の広告効果を解析する解析ステップとを含んでもよい。 Further, the service providing method includes a usage determination step of determining whether or not the user has used the service indicated by the service information at a store corresponding to the service information presented in the service presentation step. Each time the service information is presented, an analysis step of accumulating the results determined in the usage determination step and analyzing the advertising effect of the subject based on the accumulated contents may be included.
例えば図４１４〜図４１８を用いて説明した動作のように、商品価格の２０％割引などのサービスがサービス情報に示されている場合に、そのサービスが例えば電子決済によって利用されたか否かが判定される。つまり、被写体の撮像時にユーザにサービスが提供されるごとに、そのサービスが利用されたか否かが判定される。その結果、例えば、利用されたと判定されることが多い場合には、被写体の広告効果は高いと解析することができる。つまり、被写体の広告効果を利用結果に基づいて適切に解析することができる。 For example, when a service such as a 20% discount on the product price is indicated in the service information as in the operation described with reference to FIGS. 414 to 418, it is determined whether or not the service is used by, for example, electronic payment. Will be done. That is, each time a service is provided to the user when the subject is imaged, it is determined whether or not the service has been used. As a result, for example, when it is often determined that the subject has been used, it can be analyzed that the advertising effect of the subject is high. That is, the advertising effect of the subject can be appropriately analyzed based on the usage result.
また、前記解析ステップでは、前記利用判定ステップにおいて判定された結果とともに、前記被写体の位置、前記サービス情報が提示された時刻、前記店舗の位置、および、前記店舗に前記ユーザが入った時刻のうちの、少なくとも１つを集積し、集積された内容に基づいて前記被写体の広告効果を解析してもよい。 Further, in the analysis step, among the result determined in the usage determination step, the position of the subject, the time when the service information is presented, the position of the store, and the time when the user enters the store. At least one of the above may be accumulated, and the advertising effect of the subject may be analyzed based on the accumulated contents.
これにより、被写体の広告効果をより詳細に解析することができる。例えば、被写体の位置を変えた場合には、位置を変える前と後とでの広告効果を比較することができ、その結果、広告効果の高い位置に被写体を出すことができる。 This makes it possible to analyze the advertising effect of the subject in more detail. For example, when the position of the subject is changed, the advertising effect before and after the position change can be compared, and as a result, the subject can be displayed at a position having a high advertising effect.
また、前記サービス提供方法は、さらに、前記サービス提示ステップで提示されたサービス情報に対応する店舗で、前記ユーザが前記サービス情報によって示されるサービスを利用したか否かを判定する利用判定ステップと、前記利用判定ステップで前記サービスを利用したと判定されたときには、前記サービスが利用された店舗である利用店舗が、前記被写体に関連付けられた特定店舗であるか否かを判定する店舗判定ステップと、前記店舗判定ステップで前記利用店舗が前記特定店舗でないと判定されたときには、前記利用店舗において前記サービスを利用して決済された金額の少なくとも一部を、電子商取引を用いて、前記特定店舗に還元する還元ステップとを含んでもよい。 Further, the service providing method includes a usage determination step of determining whether or not the user has used the service indicated by the service information at a store corresponding to the service information presented in the service presentation step. When it is determined that the service has been used in the usage determination step, a store determination step for determining whether or not the user store, which is the store where the service is used, is a specific store associated with the subject, and a store determination step. When it is determined in the store determination step that the user store is not the specific store, at least a part of the amount settled using the service at the user store is returned to the specific store using electronic commerce. It may include a reduction step to be performed.
これにより、例えば図４１４〜図４１８を用いて説明した動作のように、特定店舗（例えば、被写体である看板を出している広告店舗）でサービスが利用されない場合であっても、特定店舗は、例えば被写体である看板の設置に対する代償として、利益を得ることができる。 As a result, even when the service is not used in the specific store (for example, the advertising store displaying the signboard which is the subject) as in the operation described with reference to FIGS. 414 to 418, the specific store can be displayed. For example, a profit can be obtained as a compensation for the installation of the signboard which is the subject.
また、前記サービス提示ステップでは、前記画像取得ステップにおいて輝度変化する光に照らされた前記被写体が撮影された場合には、前記被写体を紹介するための前記サービス情報を前記端末装置が前記ユーザに提示し、前記画像取得ステップにおいて輝度変化する照明機器が前記被写体として撮影された場合には、前記被写体が配置された建物内部を案内するための前記サービス情報を前記端末装置が前記ユーザに提示してもよい。 Further, in the service presenting step, when the subject illuminated by the light whose brightness changes in the image acquisition step is photographed, the terminal device presents the service information for introducing the subject to the user. Then, when the lighting device whose brightness changes in the image acquisition step is photographed as the subject, the terminal device presents the service information for guiding the inside of the building in which the subject is arranged to the user. May be good.
これにより、例えば図４３３および図４３４を用いて説明した動作のように、例えば美術館などの館内の案内サービスと、被写体である展示物の紹介サービスとを適切にユーザに提供することができる。 Thereby, for example, as in the operation described with reference to FIGS. 433 and 434, it is possible to appropriately provide the user with the guidance service in the hall such as an art museum and the introduction service of the exhibit which is the subject.
また、本実施の形態における情報通信方法は、複数の発光素子を有する被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、第１の情報を示すための輝度変化のパターンにしたがって前記複数の発光素子の全てが同じ態様で輝度変化する前記被写体を、設定された前記露光時間で前記イメージセンサが撮影することによって、前記輝線を含む画像である輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより前記第１の情報を取得する第１の情報取得ステップと、前記複数の発光素子のそれぞれが、互いに異なる２つの輝度値のうちの一方の輝度値で発光する前記被写体を撮影し、撮影によって得られる画像に示される、前記露光ラインに平行な方向に沿う輝度の明暗の配列によって特定されるデータを復調することにより第２の情報を取得する第２の情報取得ステップとを含む。 Further, the information communication method in the present embodiment is an information communication method for acquiring information from a subject having a plurality of light emitting elements, and is included in the image sensor in an image obtained by photographing the subject by the image sensor. The plurality of exposure time setting steps for setting the exposure time of the image sensor and the plurality of luminance change patterns for showing the first information so that the emission line corresponding to the exposure line is generated according to the luminance change of the subject. An image acquisition step of acquiring a bright line image, which is an image including the bright line, by taking a picture of the subject whose brightness changes in the same manner in all of the light emitting elements of the above by the image sensor at the set exposure time. The first information acquisition step of acquiring the first information by demodulating the data specified by the pattern of the emission line included in the emission line image, and the plurality of light emitting elements are different from each other. The subject that emits light at one of the brightness values is photographed, and the data specified by the light-dark arrangement of the brightness along the direction parallel to the exposure line shown in the image obtained by the shooting is demolished. This includes a second information acquisition step of acquiring the second information.
または、本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、送信対象の第１の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、決定された前記輝度変化のパターンにしたがって、発光体が有する複数の発光素子の全てが同じ態様で輝度変化することによって、前記第１の信号を送信する第１の送信ステップと、前記複数の発光素子のそれぞれが、互いに異なる２つの輝度値のうちの一方の輝度値で発光することにより、前記発光体が配置された空間上に、輝度の明暗の配列を現すことによって、送信対象の第２の信号を送信する第２の送信ステップとを含む。 Alternatively, the information communication method according to the present embodiment is an information communication method that transmits a signal by changing the luminance, and includes a determination step of determining a pattern of the change in luminance by modulating the first signal to be transmitted. The first transmission step of transmitting the first signal and the plurality of light emission are caused by changing the brightness of all of the plurality of light emitting elements of the light emitting body in the same manner according to the determined pattern of the brightness change. Each of the elements emits light at one of two different brightness values, thereby displaying an arrangement of light and dark brightness in the space where the light emitter is arranged, thereby causing a second transmission target. Includes a second transmission step of transmitting the signal of.
これにより、例えば図４３８〜図４４０を用いて説明した動作のように、被写体または発光体である照明装置が、一列に配列された複数のＬＥＤを備えた細長いものであっても、受信機は、撮影の向きに関わらず、その照明装置からの情報または信号を適切に取得することができる。つまり、受信機に備えられているイメージセンサの露光ライン（撮像側の操作方向）と、複数のＬＥＤの配列方向とが平行でない場合には、受信機は、照明装置の全体の輝度変化から情報または信号を適切に取得することができる。さらに、受信機は、露光ラインと上述の配列方向とが平行である場合でも、受信機は、露光ラインに平行な方向に沿う輝度の明暗の配列から、情報または信号を適切に取得することができる。言い換えれば、情報の受信に対する、撮像の向きの依存性を抑えることができる。 As a result, even if the lighting device, which is a subject or a light emitter, is an elongated one having a plurality of LEDs arranged in a row, as in the operation described with reference to FIGS. 438 to 440, the receiver can receive the receiver. , Information or signal from the lighting device can be appropriately acquired regardless of the shooting direction. That is, when the exposure line (operation direction on the imaging side) of the image sensor provided in the receiver is not parallel to the arrangement direction of the plurality of LEDs, the receiver receives information from the change in the overall brightness of the lighting device. Or the signal can be acquired appropriately. Further, even if the receiver is parallel to the exposure line and the above-mentioned arrangement direction, the receiver can appropriately acquire information or a signal from the light-dark arrangement of brightness along the direction parallel to the exposure line. it can. In other words, the dependence of the imaging orientation on the reception of information can be suppressed.
（実施の形態１７）
本実施の形態では、上記実施の形態１〜１６におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬなどの点滅パターンとして情報を送信する送信機とを用いた適用例について説明する。
(Embodiment 17)
In this embodiment, an application example using a receiver such as a smartphone and a transmitter that transmits information as a blinking pattern such as an LED or an organic EL in the above-described first to 16th embodiments will be described.
図４４１は、実施の形態１７における送信機の動作の一例を示す図である。 FIG. 441 is a diagram showing an example of the operation of the transmitter according to the seventeenth embodiment.
送信機８３２１、送信機８３２２および送信機８３２３はそれぞれ、上記実施の形態１〜１６の何れかの送信機と同様の機能を備え、輝度変化によって信号を送信（可視光通信）する照明機器として構成されている。また、これらの送信機８３２１〜８３２３はそれぞれ互いに異なる周波数で輝度変化することによって信号を送信する。例えば、送信機８３２１は、周波数ａ（例えば９２００Ｈｚ）で輝度変化することによって、その送信機８３２１のＩＤ「１０００」を送信し、送信機８３２２は、周波数ｂ（例えば９６００Ｈｚ）で輝度変化することによって、その送信機８３２２のＩＤ「２０００」を送信し、送信機８３２３は、周波数ｃ（例えば１００００Ｈｚ）で輝度変化することによって、その送信機８３２２のＩＤ「３０００」を送信する。
The
受信機は、これらの送信機８３２１〜８３２３が全て画角に含まれるように、送信機８３２１〜８３２３を上記実施の形態１〜１６と同様に撮像（可視光撮影）する。その撮像によって得られる画像には、各送信機に対応する輝線パターンが現れている。なお、輝線パターンからは、その輝線パターンに対応する送信機の輝度変化の周波数を特定することができる。
The receiver takes an image (visible light photographing) of the
ここで、仮に、送信機８３２１〜８３２３のそれぞれの周波数が同一である場合には、送信機のそれぞれに対応する輝線パターンから特定される周波数も同一となる。さらに、それらの輝線パターンが互いに隣接している場合には、それらの輝線パターンから特定される周波数が同一であるため、それらの輝線パターンを区別することが難しくなる。
Here, if the frequencies of the
そこで、上述のように、送信機８３２１〜８３２３が互いに異なる周波数で輝度変化することによって、受信機は、それらの輝線パターンを容易に区別することができ、それぞれの輝線パターンによって特定されるデータを復調することによって、送信機８３２１〜８３２３のそれぞれのＩＤを適切に取得することができる。つまり、受信機は、送信機８３２１〜８３２３からの信号を適切に区別することができる。
Therefore, as described above, when the
なお、送信機８３２１〜８３２３のそれぞれの周波数は、リモートコントローラによって設定されてもよく、ランダムに設定されてもよい。また、送信機８３２１〜８３２３のそれぞれは、隣の送信機と通信し、隣の通信機の周波数と異なるように、自らの送信機の周波数を自動的に設定してもよい。
The frequencies of the
図４４２は、実施の形態１７における送信機の動作の一例を示す図である。 FIG. 442 is a diagram showing an example of the operation of the transmitter according to the 17th embodiment.
上述の例では、送信機のそれぞれが異なる周波数で輝度変化するが、５つ以上の送信機がある場合には、それぞれが異なる周波数で輝度変化しなくてもよい。つまり、５つ以上の送信機のそれぞれは、４種類の周波数のうちの何れか１つの周波数で輝度変化すればよい。 In the above example, the brightness of each of the transmitters changes at a different frequency, but when there are five or more transmitters, the brightness of each of them does not have to change at a different frequency. That is, each of the five or more transmitters may change the brightness at any one of the four types of frequencies.
例えば、図４４２に示すように、５つ以上の送信機のそれぞれに対応する輝線パターン（図４４２中の矩形領域）が隣接している状況であっても、周波数の種類は送信機の数だけ必要ではなく、４種類（周波数ａ，ｂ，ｃ，ｄ）あれば、互いに隣接する輝線パターンの周波数を確実に異ならせることができる。このことは、四色問題または四色定理によって理由付けられる。 For example, as shown in FIG. 442, even in a situation where bright line patterns (rectangular regions in FIG. 442) corresponding to each of five or more transmitters are adjacent to each other, the number of frequency types is as many as the number of transmitters. It is not necessary, and if there are four types (frequency a, b, c, d), the frequencies of the emission line patterns adjacent to each other can be surely different. This is justified by the four-color problem or the four-color theorem.
つまり、本実施の形態では、複数の送信機のそれぞれは、少なくとも４種類の周波数のうちの何れか１つの周波数で輝度変化し、複数の送信機のうちの２つ以上の発光体は、同一の周波数で輝度変化する。また、受信機のイメージセンサの受光面に、その複数の送信機が投影される場合に、その受光面上で互いに隣接する全ての送信機（送信機の像である輝線パターン）間で輝度変化の周波数が異なるように、その複数の送信機のそれぞれは輝度変化する。 That is, in the present embodiment, the brightness of each of the plurality of transmitters changes at any one of at least four kinds of frequencies, and the two or more light emitters of the plurality of transmitters are the same. The brightness changes with the frequency of. Further, when the plurality of transmitters are projected on the light receiving surface of the image sensor of the receiver, the brightness changes among all the transmitters (bright line patterns which are images of the transmitters) adjacent to each other on the light receiving surface. Each of the plurality of transmitters changes its brightness so that the frequencies of the transmitters are different.
図４４３は、実施の形態１７における送信機の動作の一例を示す図である。 FIG. 443 is a diagram showing an example of the operation of the transmitter according to the seventeenth embodiment.
送信機は、予め定められた時間単位（スロット）ごとに、高い輝度の光（Ｈ）または低い輝度の光（Ｌ）を出力することによって輝度変化し、この輝度変化によって信号を送信する。ここで、送信機は、ヘッダとボディとからなるブロックごとに信号を送信する。ヘッダは、例えば図４０７Ａに示すように７スロットを用いて（Ｌ，Ｈ，Ｌ，Ｈ，Ｌ，Ｈ，Ｈ）として表現される。そして、ボディは、複数のシンボル（００，０１，１０または１１）からなり、各シンボルは４スロット（４値ＰＰＭ）を用いて表現される。また、ブロックは、予め定められた数（図４４３の例では１９）のスロットを用いて表現される。また、ＩＤは、例えば４つのブロックのそれぞれに含まれるボディを結合することによって得られるものである。なお、ブロックは３３個のスロットを用いて表現されてもよい。 The transmitter changes the brightness by outputting high-luminance light (H) or low-luminance light (L) for each predetermined time unit (slot), and transmits a signal by this brightness change. Here, the transmitter transmits a signal for each block including a header and a body. The header is represented as (L, H, L, H, L, H, H) using, for example, 7 slots as shown in FIG. 407A. The body is composed of a plurality of symbols (00, 01, 10 or 11), and each symbol is represented by using 4 slots (4-value PPM). Also, the blocks are represented using a predetermined number of slots (19 in the example of FIG. 443). Further, the ID is obtained by, for example, combining the bodies included in each of the four blocks. The block may be represented by using 33 slots.
受信機の撮像によって得られる輝線パターンは、そのヘッダに対応するパターン（ヘッダパターン）と、ボディに対応するパターン（データパターン）とを含む。データパターンには、ヘッダパターンと同じパターンが含まれていない。したがって、受信機は、輝線パターンからヘッダパターンを容易に見つけることができ、ヘッダパターンと次のヘッダパターンとの間の画素数（ブロックに対応する露光ラインの数）を計測することができる。受信機は、１ブロックのスロット数（図４４３の例では１９）は周波数に関わらず固定の数に定められているため、この計測された画素数に応じて送信機の周波数（１スロットの時間幅の逆数）を特定することができる。つまり、受信機は、画素数が多いほど低い周波数を特定し、画素数が少ないほど高い周波数を特定する。 The emission line pattern obtained by imaging the receiver includes a pattern corresponding to the header (header pattern) and a pattern corresponding to the body (data pattern). The data pattern does not include the same pattern as the header pattern. Therefore, the receiver can easily find the header pattern from the emission line pattern, and can measure the number of pixels (the number of exposure lines corresponding to the block) between the header pattern and the next header pattern. Since the number of slots in one block (19 in the example of FIG. 443) of the receiver is fixed to a fixed number regardless of the frequency, the frequency of the transmitter (time of one slot) is set according to the measured number of pixels. The reciprocal of the width) can be specified. That is, the receiver identifies a lower frequency as the number of pixels increases, and identifies a higher frequency as the number of pixels decreases.
このように、受信機は、送信機の撮像によって、その送信機のＩＤを取得することができるとともに、その送信機の周波数を特定することができる。ここで、受信機は、このように特定される周波数を利用して、取得されたＩＤが適切なものであるか否かを判定すること、つまり、ＩＤのエラー検出を行うことができる。具体的には、受信機は、ＩＤに対するハッシュ値を算出し、そのハッシュ値と、特定された周波数とを比較する。受信機は、そのハッシュ値と周波数とが一致する場合には、取得されたＩＤが適切なものであると判定し、一致しない場合には、取得されたＩＤが不適切なもの（エラー）であると判定する。例えば、受信機は、ＩＤを予め定められた除数で除算した余りをハッシュ値として扱う。逆に言えば、送信機は、送信対象のＩＤに対するハッシュ値と同じ値の周波数（１スロットの時間幅の逆数）で輝度変化することによって、その送信対象のＩＤを送信する。 In this way, the receiver can acquire the ID of the transmitter and specify the frequency of the transmitter by imaging the transmitter. Here, the receiver can use the frequency specified in this way to determine whether or not the acquired ID is appropriate, that is, to detect an ID error. Specifically, the receiver calculates a hash value for the ID and compares the hash value with the specified frequency. If the hash value matches the frequency, the receiver determines that the acquired ID is appropriate, and if it does not match, the acquired ID is inappropriate (error). Judge that there is. For example, the receiver treats the remainder of the ID divided by a predetermined divisor as a hash value. Conversely, the transmitter transmits the ID of the transmission target by changing the brightness at the same frequency as the hash value for the ID of the transmission target (the reciprocal of the time width of one slot).
図４４４は、実施の形態１７における送信機および受信機の動作の一例を示す図である。 FIG. 444 is a diagram showing an example of the operation of the transmitter and the receiver according to the seventeenth embodiment.
送信機は、上述のようにハッシュ値と同じ値の周波数を用いるのではなく、任意の周波数を用い、その任意の周波数で輝度変化してもよい。この場合、送信機は、その送信機のＩＤと異なる値を示す信号を送信する。例えば、送信機のＩＤが「１００」であって、その送信機が任意の周波数として２ｋＨｚを用いる場合には、送信機は、ＩＤと周波数とを組み合せた信号「１００２」を送信する。同様に、他の送信機のＩＤが「１１０」であって、他の送信機が任意の周波数として１ｋＨｚを用いる場合には、他の送信機は、ＩＤと周波数とを組み合せた信号「１１０１」を送信する。 The transmitter may use an arbitrary frequency and change the brightness at the arbitrary frequency, instead of using the frequency having the same value as the hash value as described above. In this case, the transmitter transmits a signal indicating a value different from the ID of the transmitter. For example, when the ID of the transmitter is "100" and the transmitter uses 2 kHz as an arbitrary frequency, the transmitter transmits the signal "1002" which is a combination of the ID and the frequency. Similarly, when the ID of the other transmitter is "110" and the other transmitter uses 1 kHz as an arbitrary frequency, the other transmitter uses the signal "1101" which is a combination of the ID and the frequency. To send.
この場合には、受信機は、送信機から送信されて取得された信号のうちの下一桁目の数値を、エラー検出に利用し、残りの桁の数値を送信機のＩＤとして抽出する。そして、受信機は、輝度パターンから特定された周波数と、取得された信号に含まれる上記下一桁目の数値とを比較する。受信機は、その下一桁目の数値と周波数とが一致する場合には、抽出されたＩＤが適切なものであると判定し、一致しない場合には、抽出されたＩＤが不適切なもの（エラー）であると判定する。 In this case, the receiver uses the value of the last digit of the signal transmitted from the transmitter and acquired for error detection, and extracts the value of the remaining digits as the ID of the transmitter. Then, the receiver compares the frequency specified from the luminance pattern with the numerical value of the last digit included in the acquired signal. If the value in the last digit matches the frequency, the receiver determines that the extracted ID is appropriate, and if it does not match, the extracted ID is inappropriate. Judged as (error).
これにより、受信機においてエラー検出を可能としながらも、送信機における輝度変化の周波数の設定の自由度を増すことができる。 As a result, it is possible to increase the degree of freedom in setting the frequency of the luminance change in the transmitter while enabling error detection in the receiver.
図４４５は、実施の形態１７における受信機の動作の一例を示す図である。 FIG. 445 is a diagram showing an example of the operation of the receiver according to the seventeenth embodiment.
図４４５に示すように、受信機による撮像（可視光撮影）によって得られる画像において、輝線パターン８３２７ａと輝線パターン８３２７ｂのそれぞれの一部が重なる場合がある。このような場合、受信機は、輝線パターン８３２７ａと輝線パターン８３２７ｂとが重なる部分８３２７ｃからはデータの復調を行わず、輝線パターン８３２７ａと輝線パターン８３２７ｂのそれぞれの部分８３２７ｃ以外の部分からデータの復調を行う。これにより、受信機は、輝線パターン８３２７ａと輝線パターン８３２７ｂのそれぞれから適切なＩＤを取得することができる。
As shown in FIG. 445, in an image obtained by imaging (visible light photography) by a receiver, a part of each of the
図４４６は、実施の形態１７における受信機の動作の一例を示す図である。 FIG. 446 is a diagram showing an example of the operation of the receiver according to the seventeenth embodiment.
送信機は、図４３３の（ａ）に示すように、例えばブロックごとに、そのブロックを送信するための輝度変化の周波数を切り替える。これにより、受信機は、ブロックとブロックの区切りをさらに容易に判別することができる。 As shown in FIG. 433 (a), the transmitter switches the frequency of change in brightness for transmitting the block, for example, for each block. This allows the receiver to more easily determine the block-to-block delimiter.
また、送信機は、図４３３の（ｂ）に示すように、例えばブロックのヘッダを送信するための輝度変化の周波数と、そのブロックのボディを送信するための輝度変化の周波数とを異ならせる。これにより、ボディにヘッダと同じパターンが出現することを抑えることができる。その結果、受信機は、ヘッダとボディの区別をさらに適切に判定することができる。 Further, as shown in FIG. 433 (b), the transmitter makes, for example, the frequency of the luminance change for transmitting the header of the block different from the frequency of the luminance change for transmitting the body of the block. As a result, it is possible to prevent the same pattern as the header from appearing on the body. As a result, the receiver can more appropriately determine the distinction between the header and the body.
図４４７は、実施の形態１７における送信機、受信機およびサーバを有するシステムの動作の一例を示す図である。 FIG. 447 is a diagram showing an example of the operation of the system having the transmitter, the receiver, and the server in the seventeenth embodiment.
本実施の形態におけるシステムは、送信機８３３１と、受信機８３３２と、サーバ８３３３とを備える。送信機８３３１は、上記実施の形態１〜１６の何れかの送信機と同様の機能を備え、送信機８３３１のＩＤを輝度変化によって送信（可視光通信）する照明機器として構成されている。受信機８３３２は、上記実施の形態１〜１６の何れかの受信機としての機能を備え、送信機８３３１を撮像（可視光撮影）することによって、その送信機８３３１から送信機８３３１のＩＤを取得する。サーバ８３３３は、送信機８３３１および受信機８３３２と例えばインターネットなどのネットワークを介して通信する。
The system according to this embodiment includes a
なお、本実施の形態では、送信機８３３１のＩＤは変更されることがなく、固定されている。一方、送信機８３３１の輝度変化（可視光通信）に用いられる周波数は、設定によって任意に変更可能である。
In the present embodiment, the ID of the
このようなシステムでは、送信機８３３１は、まず、輝度変化（可視光通信）に用いられ周波数をサーバ８３３３に登録する。具体的には、送信機８３３１は、自らのＩＤと、その周波数を示す登録周波数情報と、送信機８３３１に関連する関連情報とをサーバ８３３３に送信する。サーバ８３３３は、送信機８３３１のＩＤと登録周波数情報と関連情報とを受信すると、これらを関連付けて記録する。つまり、送信機８３３１のＩＤと、送信機８３３１の輝度変化に用いられる周波数と、関連情報とが互いに関連付けられて記録される。これにより、送信機８３３１の輝度変化に用いられる周波数が登録される。
In such a system, the
次に、送信機８３３１は、その登録された周波数の輝度変化によって、送信機８３３１のＩＤを送信する。受信機８３３２は、送信機８３３１を撮像することによって、そのＩＤを取得するとともに、上述と同様に、その送信機８３３１の輝度変化の周波数を特定する。
Next, the
次に、受信機８３３２は、その取得されたＩＤと、特定された周波数を示す特定周波数情報とをサーバ８３３３に送信する。サーバ８３３３は、受信機８３３２によって送信されたＩＤおよび特定周波数情報を受信すると、そのＩＤに関連付けて記録されている周波数（登録周波数情報によって示される周波数）を検索し、その記録されている周波数と、特定周波数情報によって示される周波数とが一致するか否かを判定する。ここで、一致すると判定すると、サーバ８３３３は、そのＩＤおよび周波数に関連付けて記録されている関連情報（データ）を受信機８３３２に送信する。
Next, the receiver 8332 transmits the acquired ID and the specific frequency information indicating the specified frequency to the
これにより、受信機８３３２によって特定される周波数が、サーバ８３３３に登録された周波数に一致しなければ、サーバ８３３３から受信機８３３２に関連情報が送信されることはない。したがって、受信機８３３２が送信機８３３１からＩＤを一度だけでも取得してしまえば、受信機８３３２がサーバ８３３３から関連情報をいつでも受け取り可能な状態になってしまうことを、サーバ８３３３に登録される周波数を随時変更することによって防ぐことができる。つまり、送信機８３３１は、サーバ８３３３に登録される周波数（つまり輝度変化に用いられる周波数）を変更することによって、変更前にＩＤを取得した受信機８３３２による関連情報の取得を禁止することができる。言い換えれば、周波数の変更によって、関連情報の取得に対して有効期限を設定することができる。例えば、受信機８３３２のユーザが、送信機８３３１が設置されたホテルに宿泊した場合、宿泊後にホテルの管理者が周波数を変更する。これによって、受信機８３３２は、そのユーザが宿泊した日だけ関連情報を取得することができ、宿泊後にその受信機８３３２が関連情報を取得することを禁止することができる。
As a result, if the frequency specified by the receiver 8332 does not match the frequency registered in the
なお、サーバ８３３３は、１つのＩＤに複数の周波数を関連付けて登録しておいてもよい。例えば、サーバ８３３３は、登録周波数情報を受信機８３３２から取得するごとに、常に最新の４つの登録周波数情報によって示される周波数をＩＤに関連付けて登録する。これにより、過去にＩＤを取得した受信機８３３２であっても、周波数が３回変更されるまでは、関連情報をサーバ８３３３から取得することができる。また、サーバ８３３３は、登録されている周波数ごとに、その周波数が送信機８３３１に設定されていた時刻または時間帯を管理しておいてもよい。この場合には、サーバ８３３３は、ＩＤおよび特定周波数情報を受信機８３３２から受けたときには、その特定周波数情報によって示される周波数に対して管理されている時間帯などを確認することによって、その受信機８３３２がＩＤを取得した時間帯を特定することができる。
The
図４４８は、実施の形態１７における送信機の構成を示すブロック図である。 FIG. 448 is a block diagram showing the configuration of the transmitter according to the seventeenth embodiment.
送信機８３３４は、上記実施の形態１〜１６の何れかの送信機と同様の機能を備えるとともに、周波数記憶部８３３５、ＩＤ記憶部８３３６、チェック値記憶部８３３７、チェック値比較部８３３８、チェック値算出部８３３９、周波数算出部８３４０、周波数比較部８３４１、送信部８３４２、およびエラー報知部８３４３を備えている。
The
周波数記憶部８３３５は、輝度変化（可視光通信）に用いられる周波数を記憶している。ＩＤ記憶部８３３６は、送信機８３３４のＩＤを記憶している。チェック値記憶部８３３７は、ＩＤ記憶部８３３６に記憶されているＩＤが適切なものであるかを判定するためのチェック値を記憶している。
The
チェック値算出部８３３９は、ＩＤ記憶部８３３６に記憶されているＩＤを読み出し、そのＩＤに対して所定の関数を適用することによって、そのＩＤに対するチェック値（算出チェック値）を算出する。チェック値比較部８３３８は、チェック値記憶部８３３７に記憶されているチェック値を読み出し、そのチェック値と、チェック値算出部８３３９によって算出された算出チェック値とを比較する。チェック値比較部８３３８は、算出チェック値がチェック値と異なると判定すると、エラーをエラー報知部８３４３に通知する。例えば、チェック値記憶部８３３７は、ＩＤ記憶部８３３６に記憶されているＩＤが偶数であることを示す値「０」をチェック値として記憶している。チェック値算出部８３３９は、ＩＤ記憶部８３３６に記憶されているＩＤを読み出して値「２」で除算することによって、その余りを算出チェック値として算出する。そして、チェック値比較部８３３８は、チェック値「０」と、上述の除算の余りである算出チェック値とを比較する。
The check
周波数算出部８３４０は、ＩＤ記憶部８３３６に記憶されているＩＤを、チェック値算出部８３３９を介して読み出し、そのＩＤから周波数（算出周波数）を算出する。例えば、周波数算出部８３４０は、ＩＤを予め定めれらた値で除算することによって、その余りを周波数として算出する。周波数比較部８３４１は、周波数記憶部８３３５に記憶されている周波数（記憶周波数）と、算出周波数とを比較する。周波数比較部８３４１は、算出周波数が記憶周波数と異なると判定すると、エラーをエラー報知部８３４３に通知する。
The
送信部８３４２は、周波数算出部８３４０によって算出された算出周波数で輝度変化することによって、ＩＤ記憶部８３３６に記憶されているＩＤを送信する。
The
エラー報知部８３４３は、チェック値比較部８３３８および周波数比較部８３４１のうちの少なくとも一方からエラーが通知されたときには、ブザー音、点滅または点灯などによってエラーを報知する。具体的には、エラー報知部８３４３は、エラーの報知用にランプを備え、そのランプを点灯または点滅させることによってエラーを報知する。または、エラー報知部８３４３は、送信機８３３４の電源スイッチがＯＮに切り替えられたときに、ＩＤなどの信号を送信するために輝度変化する光源を、所定の期間（例えば１０秒）だけ、人間が認知し得る周期で点滅させることによってエラーを報知する。
When an error is notified from at least one of the check
これにより、ＩＤ記憶部８３３６に記憶されているＩＤと、そのＩＤから算出される周波数が適切なものであるかがチェックされるため、誤ったＩＤの送信と、誤った周波数での輝度変化とを防ぐことができる。
As a result, it is checked whether the ID stored in the
図４４９は、実施の形態１７における受信機の構成を示すブロック図である。 FIG. 449 is a block diagram showing the configuration of the receiver according to the seventeenth embodiment.
受信機８３４４は、上記実施の形態１〜１６の何れかの受信機と同様の機能を備えるとともに、受光部８３４５、周波数検出部８３４６、ＩＤ検出部８３４７、周波数比較部８３４８、および周波数算出部８３４９を備えている。
The
受光部８３４５は、例えばイメージセンサを備え、輝度変化する送信機を撮像（可視光撮影）することによって、輝線パターンを含む画像を取得する。ＩＤ検出部８３４７は、送信機のＩＤをその画像から検出する。つまり、ＩＤ検出部８３４７は、その画像に含まれる輝線パターンによって特定されるデータを復調することによって、送信機のＩＤを取得する。周波数検出部８３４６は、送信機の輝度変化の周波数をその画像から検出する。つまり、周波数検出部８３４６は、図４４３を用いて説明した例のように、その画像に含まれる輝線パターンから送信機の周波数を特定する。
The
周波数算出部８３４９は、ＩＤ検出部８３４７によって検出されたＩＤから、例えば上述のようにＩＤに対して除算を行うことによって、送信機の周波数を算出する。周波数比較部８３４８は、周波数検出部８３４６によって検出された周波数と、周波数算出部８３４９によって算出された周波数とを比較する。ここで、周波数比較部８３４８は、これらの周波数が異なる場合には、検出されたＩＤが誤りであると判断し、ＩＤ検出部８３４７に対してＩＤの検出をやり直させる。これにより、誤ったＩＤを取得することを防ぐことができる。
The
図４５０は、実施の形態１７における送信機の動作の一例を示す図である。 FIG. 450 is a diagram showing an example of the operation of the transmitter according to the seventeenth embodiment.
送信機は、予め定められた時間単位において輝度変化がある位置を異ならせることによって、シンボル「００，０１，１０，１１」のそれぞれを区別して送信してもよい。 The transmitter may distinguish and transmit each of the symbols "00, 01, 10, 11" by changing the position where the brightness changes in a predetermined time unit.
例えば、シンボル「００」を送信するときには、送信機は、時間単位における最初の区間である第１区間だけ輝度変化することによって、そのシンボル「００」を送信する。また、シンボル「０１」を送信するときには、送信機は、時間単位における二番目の区間である第２区間だけ輝度変化することによって、そのシンボル「０１」を送信する。同様に、シンボル「１０」を送信するときには、送信機は、時間単位における三番目の区間である第３区間だけ輝度変化することによって、そのシンボル「１０」を送信し、シンボル「１１」を送信するときには、送信機は、時間単位における四番目の区間である第４区間だけ輝度変化することによって、そのシンボル「１１」を送信する。 For example, when transmitting the symbol "00", the transmitter transmits the symbol "00" by changing the brightness only in the first section, which is the first section in the time unit. Further, when transmitting the symbol "01", the transmitter transmits the symbol "01" by changing the brightness only in the second section, which is the second section in the time unit. Similarly, when transmitting the symbol "10", the transmitter transmits the symbol "10" and transmits the symbol "11" by changing the brightness only in the third section, which is the third section in the time unit. At that time, the transmitter transmits the symbol "11" by changing the brightness only in the fourth section, which is the fourth section in the time unit.
このように本実施の形態では、何れのシンボルを送信するときにも、１つの区間内では輝度変化するため、１つの区間（スロット）の全体を低い輝度にしてしまう上述の送信機と比べて、ちらつきを抑えることができる。 As described above, in the present embodiment, when any symbol is transmitted, the brightness changes within one section, so that the brightness of the entire one section (slot) is lowered as compared with the above-mentioned transmitter. , Flicker can be suppressed.
図４５１は、実施の形態１７における送信機の動作の一例を示す図である。 FIG. 451 is a diagram showing an example of the operation of the transmitter according to the seventeenth embodiment.
送信機は、予め定められた時間単位において輝度変化の有無を異ならせることによって、シンボル「０，１」のそれぞれを区別して送信してもよい。例えば、シンボル「０」を送信するときには、送信機は、時間単位において輝度変化しないことによって、そのシンボル「０」を送信する。また、シンボル「１」を送信するときには、送信機は、時間単位において輝度変化することによって、そのシンボル「１」を送信する。 The transmitter may distinguish and transmit each of the symbols "0, 1" by making the presence or absence of the brightness change different in a predetermined time unit. For example, when transmitting the symbol "0", the transmitter transmits the symbol "0" by not changing the brightness in time units. Further, when transmitting the symbol "1", the transmitter transmits the symbol "1" by changing the brightness in time units.
図４５２は、実施の形態１７における送信機の動作の一例を示す図である。 FIG. 452 is a diagram showing an example of the operation of the transmitter according to the 17th embodiment.
送信機は、予め定められた時間単位における輝度変化の激しさ（周波数）を異ならせることによって、シンボル「００，０１，１０，１１」のそれぞれを区別して送信してもよい。例えば、シンボル「００」を送信するときには、送信機は、時間単位において輝度変化しないことによって、そのシンボル「００」を送信する。また、シンボル「０１」を送信するときには、送信機は、時間単位において輝度変化すること（低い周波数で輝度変化すること）によって、そのシンボル「０１」を送信する。また、シンボル「１０」を送信するときには、送信機は、時間単位において激しく輝度変化すること（高い周波数で輝度変化すること）によって、そのシンボル「１０」を送信する。そして、シンボル「１１」を送信するときには、送信機は、時間単位においてさらに激しく輝度変化すること（より高い周波数で輝度変化すること）によって、そのシンボル「１１」を送信する。 The transmitter may distinguish and transmit each of the symbols "00, 01, 10, 11" by making the intensity (frequency) of the brightness change in a predetermined time unit different. For example, when transmitting the symbol "00", the transmitter transmits the symbol "00" by not changing the brightness in time units. Further, when transmitting the symbol "01", the transmitter transmits the symbol "01" by changing the brightness in time units (changing the brightness at a low frequency). Further, when transmitting the symbol "10", the transmitter transmits the symbol "10" by violently changing the brightness in time units (changing the brightness at a high frequency). Then, when transmitting the symbol "11", the transmitter transmits the symbol "11" by changing the brightness more violently in time units (changing the brightness at a higher frequency).
図４５３は、実施の形態１７における送信機の動作の一例を示す図である。 FIG. 453 is a diagram showing an example of the operation of the transmitter according to the seventeenth embodiment.
送信機は、予め定められた時間単位における輝度変化の位相を異ならせることによって、シンボル「０，１」のそれぞれを区別して送信してもよい。例えば、シンボル「０」を送信するときには、送信機は、時間単位において予め定められた位相で輝度変化することによって、そのシンボル「０」を送信する。また、シンボル「１」を送信するときには、送信機は、時間単位において、上記位相と逆の位相で輝度変化することによって、そのシンボル「１」を送信する。 The transmitter may distinguish and transmit each of the symbols "0, 1" by making the phase of the brightness change in a predetermined time unit different. For example, when transmitting the symbol "0", the transmitter transmits the symbol "0" by changing the brightness in a predetermined phase in time units. Further, when transmitting the symbol "1", the transmitter transmits the symbol "1" by changing the brightness in the phase opposite to the above phase in the time unit.
図４５４は、実施の形態１７における送信機の動作の一例を示す図である。 FIG. 454 is a diagram showing an example of the operation of the transmitter according to the 17th embodiment.
送信機は、ＩＤなどの信号を送信する際には、例えば赤色、緑色、および青色などの色ごとに輝度変化してもよい。これにより、色ごとの輝度変化を認識することができる受信機に対しては、送信機はより多くの情報量の信号を送信することができる。また、何れかの色の輝度変化をクロック合わせに使用してもよい。例えば、赤色の輝度変化をクロック合わせに使用してもよい。この場合、赤色の輝度変化がヘッダとして役割を果たす。その結果、赤色以外の色（緑色および青色）の輝度変化には、ヘッダを用いる必要がなく、冗長なデータの送信を抑えることができる。 When transmitting a signal such as an ID, the transmitter may change the brightness for each color such as red, green, and blue. As a result, the transmitter can transmit a signal having a larger amount of information to the receiver that can recognize the change in brightness for each color. Further, the brightness change of any color may be used for clock matching. For example, the brightness change of red may be used for clock matching. In this case, the change in brightness of red serves as a header. As a result, it is not necessary to use a header for the brightness change of colors other than red (green and blue), and it is possible to suppress the transmission of redundant data.
図４５５は、実施の形態１７における送信機の動作の一例を示す図である。 FIG. 455 is a diagram showing an example of the operation of the transmitter according to the 17th embodiment.
送信機は、例えば赤色、緑色および青色などの複数の色を合成することで合成色（例えば白色）の輝度を表現してもよい。つまり、送信機は、赤色、緑色、および青色などの色ごとに輝度変化することによって、合成色の輝度変化を表現する。この合成色の輝度変化によって、上述の可視光通信と同様に、送信対象の信号が送信される。ここで、赤色、緑色および青色のうちの何れか１つ以上の色の輝度を、合成色の予め定められた輝度を表現するための調整用に用いてもよい。これにより、合成色の輝度変化によって信号を送信することができるとともに、赤色、緑色および青色のうちの何れか２つの色の輝度変化によって信号を送信することができる。つまり、送信機は、上述のような合成色（例えば白色）の輝度変化のみ認識可能な受信機に対しても、信号を送信することができるとともに、赤色、緑色および青色などの各色も認識可能な受信機に対しては、より多くの信号を例えば付帯情報として送信することができる。 The transmitter may express the brightness of the composite color (for example, white) by synthesizing a plurality of colors such as red, green, and blue. That is, the transmitter expresses the change in the brightness of the composite color by changing the brightness for each color such as red, green, and blue. Due to this change in the brightness of the composite color, a signal to be transmitted is transmitted as in the above-mentioned visible light communication. Here, the luminance of any one or more of red, green, and blue may be used for adjustment for expressing the predetermined luminance of the composite color. As a result, the signal can be transmitted by changing the brightness of the composite color, and the signal can be transmitted by changing the brightness of any two colors of red, green, and blue. That is, the transmitter can transmit the signal to the receiver that can recognize only the brightness change of the composite color (for example, white) as described above, and can also recognize each color such as red, green, and blue. More signals can be transmitted, for example, as incidental information to the receiver.
図４５６は、実施の形態１７における送信機の動作の一例を示す図である。 FIG. 456 is a diagram showing an example of the operation of the transmitter according to the 17th embodiment.
送信機は４つの光源を備えている。これらの４つの光源（例えばＬＥＤ電灯）はそれぞれ、図４５６に示されるＣＩＥｘｙ色度図において互いに異なる位置８３５１ａ，８３５１ｂ，８３５２ａ，８３５２ｂによって表される色の光を発する。
The transmitter is equipped with four light sources. Each of these four light sources (eg, LED lamps) emits light of a color represented by
送信機は、第１点灯送信と第２点灯送信とを切り替えることによって、各信号を送信する。ここで、第１点灯送信は、４つの光源のうち、位置８３５１ａの色の光を発する光源と、位置８３５１ｂの色の光を発する光源とを点灯させることによって、信号「０」を送信する処理である。また、第２点灯送信は、位置８３５２ａの色の光を発する光源と、位置８３５２ｂの色の光を発する光源とを点灯させることによって、信号「１」を送信する処理である。受信機のイメージセンサは、位置８３５１ａ，８３５１ｂ，８３５２ａ，８３５２ｂのそれぞれによって表される色を識別することができるため、受信機は信号「０」と信号「１」とを適切に受信することができる。
The transmitter transmits each signal by switching between the first lighting transmission and the second lighting transmission. Here, the first lighting transmission is a process of transmitting a signal "0" by lighting a light source that emits light of the color at
ここで、第１点灯送信が行われているときには、ＣＩＥｘｙ色度図において位置８３５１ａ，８３５１ｂの中間にある位置によって表される色が人間の目に映る。同様に、第２点灯送信が行われているときには、ＣＩＥｘｙ色度図において位置８３５２ａ，８３５２ｂの中間にある位置によって表される色が人間の目に映る。したがって、４つの光源の色および輝度とを適切に調整することによって、位置８３５１ａ，８３５１ｂの中間にある位置と、位置８３５２ａ，８３５２ｂの中間にある位置とを（位置８３５３に）一致させることができる。これにより、第１点灯送信と第２点灯送信とが切り替えられても、人間の目には、送信機の発光色が固定されていように映るため、人間がちらつきを感じることを抑えることができる。
Here, when the first lighting transmission is performed, the color represented by the position between the
図４５７は、実施の形態１７における送信機および受信機の動作の一例を示す図である。 FIG. 457 is a diagram showing an example of the operation of the transmitter and the receiver according to the seventeenth embodiment.
送信機は、ＩＤ記憶部８３６１、乱数生成部８３６２、加算部８３６３、暗号部８３６４、および送信部８３６５を備えている。ＩＤ記憶部８３６１は、送信機のＩＤを記憶している。乱数生成部８３６２は、一定時間ごとに異なる乱数を生成する。加算部８３６３は、ＩＤ記憶部８３６１に記憶されているＩＤに対して、乱数生成部８３６２によって生成された最新の乱数を組み合わせ、その結果を編集ＩＤとして出力する。暗号部８３６４は、その編集ＩＤに対して暗号化を行うことによって暗号化編集ＩＤを生成する。送信部８３６５は輝度変化することによって、その暗号化編集ＩＤを受信機に送信する。
The transmitter includes an
受信機は、受信部８３６６、復号部８３６７およびＩＤ取得部８３６８を備えている。受信部８３６６は、送信機を撮像（可視光撮影）することによって、暗号化編集ＩＤを送信機から受信する。復号部８３６７は、その受信された暗号化編集ＩＤを復号することによって編集ＩＤを復元する。ＩＤ取得部８３６８は、復元された編集ＩＤからＩＤを抽出することによってそのＩＤを取得する。
The receiver includes a
例えば、ＩＤ記憶部８３６１はＩＤ「１００」を記憶しており、乱数生成部８３６２は最新の乱数「８１７」を生成する（例１）。この場合、加算部８３６３は、ＩＤ「１００」に対して乱数「８１７」を組み合わせることによって、編集ＩＤ「１００８１７」を生成して出力する。暗号部８３６４は、その編集ＩＤ「１００８１７」に対して暗号化を行うことによって、暗号化編集ＩＤ「ａｂｃｅｄ」を生成する。受信機の復号部８３６７は、その暗号化編集ＩＤ「ａｂｃｅｄ」を復号することによって、編集ＩＤ「１００８１７」を復元する。そして、ＩＤ取得部８３６８は、復元された編集ＩＤ「１００８１７」からＩＤ「１００」を抽出する。言い換えれば、ＩＤ取得部８３６８は、編集ＩＤの下３桁を削除することによって、ＩＤ「１００」を取得する。
For example, the
次に、乱数生成部８３６２は新たな乱数「６１９」を生成する（例２）。この場合、加算部８３６３は、ＩＤ「１００」に対して乱数「６１９」を組み合わせることによって、編集ＩＤ「１００６１９」を生成して出力する。暗号部８３６４は、その編集ＩＤ「１００６１９」に対して暗号化を行うことによって、暗号化編集ＩＤ「ｄｉｆｉａ」を生成する。送信機の復号部８３６７は、その暗号化編集ＩＤ「ｄｉｆｉａ」を復号することによって、編集ＩＤ「１００６１９」を復元する。そして、ＩＤ取得部８３６８は、復元された編集ＩＤ「１００６１９」からＩＤ「１００」を抽出する。言い換えれば、ＩＤ取得部８３６８は、編集ＩＤの下３桁を削除することによって、ＩＤ「１００」を取得する。
Next, the random
このように、送信機はＩＤを単純に暗号化することなく、一定時間ごとに変更される乱数が組み合わされたものを暗号化するため、送信部８３６５から送信される信号から簡単にＩＤが解読されることを防ぐことができる。つまり、単純に暗号化されたＩＤが送信機から受信機に何度か送信される場合には、そのＩＤが暗号化されていても、そのＩＤが同じであれば、送信機から受信機に送信される信号も同じであるため、そのＩＤが解読される可能性がある。しかし、図４５７に示す例では、一定時間ごとに変更される乱数がＩＤに組み合わされて、その乱数が組み合わされたＩＤが暗号化される。したがって、同じＩＤが受信機に何度か送信される場合でも、それらのＩＤの送信のタイミングが異なれば、送信機から受信機へ送信される信号を異ならせることができる。その結果、ＩＤが容易に解読されるのを防ぐことができる。
In this way, the transmitter does not simply encrypt the ID, but encrypts a combination of random numbers that are changed at regular intervals, so that the ID can be easily decrypted from the signal transmitted from the
図４５８は、実施の形態１７における送信機および受信機の動作の一例を示す図である。 FIG. 458 is a diagram showing an example of the operation of the transmitter and the receiver according to the seventeenth embodiment.
送信機は、ＩＤ記憶部８３７１、計時部８３７２、加算部８３７３、暗号部８３７４、および送信部８３７５を備えている。ＩＤ記憶部８３７１は、送信機のＩＤを記憶している。計時部８３７２は計時し、現在日時（現在の年月日および時刻）を出力する。加算部８３７３は、ＩＤ記憶部８３７１に記憶されているＩＤに対して、計時部８３７２から出力された現在日時を送信日時として組み合わせ、その結果を編集ＩＤとして出力する。暗号部８３７４は、その編集ＩＤに対して暗号化を行うことによって暗号化編集ＩＤを生成する。送信部８３７５は輝度変化することによって、その暗号化編集ＩＤを受信機に送信する。
The transmitter includes an
受信機は、受信部８３７６、復号部８３７７、有効判定部８３７８、および計時部８３７９を備えている。受信部８３７６は、送信機を撮像（可視光撮影）することによって、暗号化編集ＩＤを送信機から受信する。復号部８３７７は、その受信された暗号化編集ＩＤを復号することによって編集ＩＤを復元する。計時部８３７９は計時し、現在日時（現在の年月日および時刻）を出力する。有効判定部８３７８は、復元された編集ＩＤからＩＤを抽出することによってそのＩＤを取得する。さらに、有効判定部８３７８は、復元された編集ＩＤから送信日時を抽出し、その送信日時と、計時部８３７９から出力された現在日時とを比較することによって、そのＩＤの有効性を判定する。例えば、有効判定部８３７８は、送信日時と現在日時との差が予め定められた時間よりも長い場合、または、送信日時が現在日時よりも新しい場合には、そのＩＤが無効であると判定する。
The receiver includes a
例えば、ＩＤ記憶部８３７１はＩＤ「１００」を記憶しており、計時部８３７２は現在日時「２０１３０５０１１２００」（２０１３年５月１日１２時０分）を送信日時として出力する（例１）。この場合、加算部８３７３は、ＩＤ「１００」に対して送信日時「２０１３０５０１１２００」を組み合わせることによって、編集ＩＤ「１００２０１３０５０１１２００」を生成して出力する。暗号部８３７４は、その編集ＩＤ「１００２０１３０５０１１２００」に対して暗号化を行うことによって、暗号化編集ＩＤ「ｅｉ３９ｋｓ」を生成する。受信機の復号部８３７７は、その暗号化編集ＩＤ「ｅｉ３９ｋｓ」を復号することによって、編集ＩＤ「１００２０１３０５０１１２００」を復元する。そして、有効判定部８３７８は、復元された編集ＩＤ「１００２０１３０５０１１２００」からＩＤ「１００」を抽出する。言い換えれば、有効判定部８３７８は、編集ＩＤの下１２桁を削除することによって、ＩＤ「１００」を取得する。さらに、有効判定部８３７８は、復元された編集ＩＤ「１００２０１３０５０１１２００」から送信日時「２０１３０５０１１２００」を抽出する。そして、有効判定部８３７８は、送信日時「２０１３０５０１１２００」が、計時部８３７９から出力された現在日時よりも古く、その送信日時と現在日時との差が例えば１０分以内であれば、そのＩＤ「１００」が有効であると判定する。
For example, the
一方、ＩＤ記憶部８３７１はＩＤ「１００」を記憶しており、計時部８３７２は現在日時「２０１４０１０１１７３０」（２０１４年１月１日１７時３０分）を送信日時として出力する（例２）。この場合、加算部８３７３は、ＩＤ「１００」に対して送信日時「２０１４０１０１１７３０」を組み合わせることによって、編集ＩＤ「１００２０１４０１０１１７３０」を生成して出力する。暗号部８３７４は、その編集ＩＤ「１００２０１４０１０１１７３０」に対して暗号化を行うことによって、暗号化編集ＩＤ「００２ｊｆｌｋ」を生成する。受信機の復号部８３７７は、その暗号化編集ＩＤ「００２ｊｆｌｋ」を復号することによって、編集ＩＤ「１００２０１４０１０１１７３０」を復元する。そして、有効判定部８３７８は、復元された編集ＩＤ「１００２０１４０１０１１７３０」からＩＤ「１００」を抽出する。言い換えれば、有効判定部８３７８は、編集ＩＤの下１２桁を削除することによって、ＩＤ「１００」を取得する。さらに、有効判定部８３７８は、復元された編集ＩＤ「１００２０１４０１０１１７３０」から送信日時「２０１４０１０１１７３０」を抽出する。そして、有効判定部８３７８は、送信日時「２０１４０１０１１７３０」が、計時部８３７９から出力された現在日時よりも新しければ、そのＩＤ「１００」が無効であると判定する。
On the other hand, the
このように、送信機はＩＤを単純に暗号化することなく、一定時間ごとに変更される現在日時が組み合わされたものを暗号化するため、送信部８３７５から送信される信号から簡単にＩＤが解読されることを防ぐことができる。つまり、単純に暗号化されたＩＤが送信機から受信機に何度か送信される場合には、そのＩＤが暗号化されていても、そのＩＤが同じであれば、送信機から受信機に送信される信号も同じであるため、そのＩＤが解読される可能性がある。しかし、図４５８に示す例では、一定時間ごとに変更される現在日時がＩＤに組み合わされて、その現在日時が組み合わされたＩＤが暗号化される。したがって、同じＩＤが受信機に何度か送信される場合でも、それらのＩＤの送信のタイミングが異なれば、送信機から受信機へ送信される信号を異ならせることができる。その結果、ＩＤが容易に解読されるのを防ぐことができる。
In this way, the transmitter does not simply encrypt the ID, but encrypts a combination of the current date and time that is changed at regular intervals, so that the ID can be easily obtained from the signal transmitted from the
さらに、暗号化編集ＩＤが送信された送信日時と現在日時とを比較することによって、取得されたＩＤが有効か否かが判定されるため、ＩＤの有効性を送受信の時間に基づいて管理することができる。 Further, since it is determined whether or not the acquired ID is valid by comparing the transmission date and time when the encrypted edit ID is transmitted with the current date and time, the validity of the ID is managed based on the transmission / reception time. be able to.
なお、図４５７および図４５８に示す受信機は、暗号化編集ＩＤを取得すると、その暗号化編集ＩＤをサーバに送信し、そのサーバからＩＤを取得してもよい。 When the receiver shown in FIGS. 457 and 458 acquires the encryption edit ID, the receiver may transmit the encryption edit ID to the server and acquire the ID from the server.
（駅での案内）
図４５９は、電車のホームにおける本発明の利用形態の一例を示したものである。ユーザが、携帯端末を電子掲示板や照明にかざし、可視光通信により、電子掲示板に表示されている情報、または、電子掲示板の設置されている駅の電車情報・駅の構内情報などを取得する。ここでは、電子掲示板に表示されている情報自体が、可視光通信により、携帯端末に送信されてもよいし、電子掲示板に対応するＩＤ情報が携帯端末に送信され、携帯端末が取得したＩＤ情報をサーバに問い合わせることにより、電子掲示板に表示されている情報を取得してもよい。サーバは、携帯端末からＩＤ情報が送信されてきた場合に、ＩＤ情報に基づき、電子掲示板に表示されている内容を携帯端末に送信する。携帯端末のメモリに保存されている電車のチケット情報と、電子掲示板に表示されている情報とを対比し、ユーザのチケットに対応するチケット情報が電子掲示板に表示されている場合に、携帯端末のディスプレイに、ユーザの乗車予定の電車が到着するホームへの行き先を示す矢印を表示する。降車時に出口や乗り換え経路に近い車両までの経路を表示するとしてもよい。座席指定がされている場合は、その座席までの経路を表示するとしてもよい。矢印を表示する際には、地図や、電車案内情報における電車の路線の色と同じ色を用いて矢印を表示することにより、より分かりやすく表示することができる。また、矢印の表示とともに、ユーザの予約情報（ホーム番号、車両番号、発車時刻、座席番号）を表示することもできる。ユーザの予約情報を併せて表示することにより、誤認識を防ぐことが可能となる。チケット情報がサーバに保存されている場合には、携帯端末からサーバに問い合わせてチケット情報を取得し対比するか、または、サーバ側でチケット情報と電子掲示板に表示されている情報とを対比することにより、チケット情報に関連する情報を取得することができる。ユーザが乗換検索を行った履歴から目的の路線を推定し、経路を表示してもよい。また、電子掲示板に表示されている内容だけでなく、電子掲示板が設置されている駅の電車情報・構内情報を取得し、対比を行ってもよい。ディスプレイ上の電子掲示板の表示に対してユーザに関連する情報を強調表示してもよいし、書き換えて表示してもよい。ユーザの乗車予定が不明である場合には、各路線の乗り場への案内の矢印を表示してもよい。駅の構内情報を取得した場合には、売店・お手洗いへなどの案内する矢印をディスプレイに表示してもよい。ユーザの行動特性を予めサーバで管理しておき、ユーザが駅構内で売店・お手洗いに立ち寄ることが多い場合に、売店・お手洗いなどへ案内する矢印をディスプレイに表示する構成にしてもよい。売店・お手洗いに立ち寄る行動特性を有するユーザに対してのみ、売店・お手洗いなどへ案内する矢印を表示し、その他のユーザに対しては表示を行わないため処理量を減らすことが可能となる。売店・お手洗いなどへ案内する矢印の色を、ホームへの行き先を案内する矢印と異なる色としてもよい。両方の矢印を同時に表示する際には、異なる色とすることにより、誤認識を防ぐことが可能となる。尚、図４５９では電車の例を示したが、飛行機やバスなどでも同様の構成で表示を行うことが可能である。
(Information at the station)
FIG. 459 shows an example of the usage pattern of the present invention in a train platform. A user holds a mobile terminal over an electronic bulletin board or lighting and acquires information displayed on the electronic bulletin board, train information of a station where the electronic bulletin board is installed, station yard information, etc. by visible light communication. Here, the information itself displayed on the electronic bulletin board may be transmitted to the mobile terminal by visible light communication, or the ID information corresponding to the electronic bulletin board is transmitted to the mobile terminal and the ID information acquired by the mobile terminal. The information displayed on the electronic bulletin board may be obtained by inquiring the server. When the ID information is transmitted from the mobile terminal, the server transmits the content displayed on the electronic bulletin board to the mobile terminal based on the ID information. The train ticket information stored in the memory of the mobile terminal is compared with the information displayed on the electronic bulletin board, and when the ticket information corresponding to the user's ticket is displayed on the electronic bulletin board, the mobile terminal The display shows an arrow indicating the destination to the platform where the train to be boarded by the user arrives. When getting off, the route to the vehicle near the exit or the transfer route may be displayed. If a seat has been assigned, the route to that seat may be displayed. When displaying the arrow, it can be displayed more easily by displaying the arrow using the same color as the color of the train line in the map or the train guidance information. In addition to displaying the arrow, the user's reservation information (home number, vehicle number, departure time, seat number) can also be displayed. By displaying the user's reservation information together, it is possible to prevent erroneous recognition. If the ticket information is stored on the server, contact the server from the mobile terminal to obtain the ticket information and compare it, or compare the ticket information with the information displayed on the electronic bulletin board on the server side. Therefore, information related to the ticket information can be obtained. The target route may be estimated from the history of the transfer search by the user, and the route may be displayed. In addition to the contents displayed on the electronic bulletin board, train information and premises information of the station where the electronic bulletin board is installed may be acquired and compared. Information related to the user may be highlighted with respect to the display of the electronic bulletin board on the display, or may be rewritten and displayed. If the user's boarding schedule is unknown, an arrow for guidance to the platform of each line may be displayed. When the station yard information is acquired, an arrow to guide the shop / restroom may be displayed on the display. The behavioral characteristics of the user may be managed in advance by a server, and when the user often stops at the shop / restroom in the station yard, an arrow guiding the shop / restroom may be displayed on the display. It is possible to reduce the amount of processing because the arrow that guides to the shop / restroom is displayed only for users who have the behavioral characteristics of stopping at the shop / restroom, and not for other users. .. The color of the arrow that guides you to the shop / restroom may be different from the color of the arrow that guides you to the home. When displaying both arrows at the same time, it is possible to prevent erroneous recognition by using different colors. Although an example of a train is shown in FIG. 459, it is possible to display the same configuration on an airplane, a bus, or the like.
（案内看板の翻訳）
図４６０は、空港や駅構内、観光地や病院などに設置された電子案内表示板から可視光通信により情報を取得する場合における一例を示したものである。可視光通信により、電子案内表示板から表示内容の情報を取得し、表示内容の情報を携帯端末に設定されている言語情報に翻訳をした上で、携帯端末のディスプレイ上に表示を行う。ユーザの言語に翻訳されて表示されるため、ユーザは容易に情報を理解することができる。言語の翻訳は、携帯端末内で行ってもよいし、サーバにおいて行ってもよい。サーバにおいて翻訳を行う場合には、可視光通信により取得した表示内容の情報と、携帯端末の言語情報をサーバに送信し、サーバにおいて翻訳を行い、携帯端末に送信を行い、携帯端末のディスプレイ上に表示を行ってもよい。また、電子案内表示板からＩＤ情報を取得した場合には、ＩＤ情報をサーバに送信し、ＩＤ情報に対応する表示内容情報をサーバから取得する構成でもよい。更に、携帯端末に保存されている国籍情報やチケット情報や手荷物預入情報に基づき、ユーザが次に向かうべき場所へ案内する矢印を表示してもよい。
(Translation of information signboard)
FIG. 460 shows an example in the case of acquiring information by visible light communication from an electronic guidance display board installed in an airport, a station yard, a tourist spot, a hospital, or the like. Information on the display content is acquired from the electronic guidance display board by visible light communication, the information on the display content is translated into the language information set in the mobile terminal, and then displayed on the display of the mobile terminal. Since it is translated into the user's language and displayed, the user can easily understand the information. Language translation may be performed in the mobile terminal or in the server. When translating on the server, the information of the display contents acquired by visible light communication and the language information of the mobile terminal are transmitted to the server, the translation is performed on the server, the transmission is performed on the mobile terminal, and the display of the mobile terminal is displayed. May be displayed in. Further, when the ID information is acquired from the electronic guidance display board, the ID information may be transmitted to the server and the display content information corresponding to the ID information may be acquired from the server. Further, based on the nationality information, the ticket information, and the baggage check-in information stored in the mobile terminal, an arrow may be displayed to guide the user to the next place to go.
（クーポンのポップアップ）
図４６１は、ユーザが店舗に近づくと、可視光通信により取得したクーポン情報が表示される、または、ポップアップが携帯端末のディスプレイに表示される一例を示したものである。ユーザは、携帯端末を用いて、可視光通信により、電子掲示板などから店舗のクーポン情報を取得する。次に、店舗から所定の範囲内にユーザが入ると、店舗のクーポン情報、または、ポップアップが表示される。ユーザが、店舗から所定の範囲内に入ったか否かは、携帯端末のＧＰＳ情報と、クーポン情報に含まれる店舗情報とを用いて判断される。クーポン情報に限らず、チケット情報でもよい。クーポンやチケットが利用できる店舗などが近づくと自動的にアラートしてくれるため、ユーザはクーポンやチケットを適切に利用することが可能となる。
(Coupon pop-up)
FIG. 461 shows an example in which coupon information acquired by visible light communication is displayed or a pop-up is displayed on the display of a mobile terminal when the user approaches the store. The user acquires store coupon information from an electronic bulletin board system or the like by visible light communication using a mobile terminal. Next, when the user enters within a predetermined range from the store, the store coupon information or pop-up is displayed. Whether or not the user has entered the predetermined range from the store is determined by using the GPS information of the mobile terminal and the store information included in the coupon information. Not limited to coupon information, ticket information may be used. Since it automatically alerts when a store where coupons and tickets can be used approaches, users can use coupons and tickets appropriately.
図４６２は、レジや改札などでクーポン情報・チケット情報、または、ポップアップが携帯端末のディスプレイに表示される一例を示したものである。レジや改札に設置された照明から、可視光通信により、位置情報を取得し、取得した位置情報がクーポン情報・チケット情報に含まれる情報と一致した場合に、表示が行われる。なお、バーコードリーダが発光部を有し、発光部と可視光通信を行うことにより、位置情報を取得してもよいし、携帯端末のＧＰＳから位置情報を取得してもよい。レジ付近に送信機が設置さ れており、ユーザが受信機をその送信機にかざすことで、受信機のディスプレイにクーポンや支払情報が表示されるとしてもよいし、受信機がサーバと通信して支払い処理を行うとしてもよい。また、クーポン情報・チケット情報に店舗などに設置されているＷｉ−Ｆｉ情報が含まれており、ユーザの携帯端末がクーポン情報・チケット情報に含まれるＷｉ−Ｆｉ情報と同一の情報を取得した場合に、表示を行ってもよい。 FIG. 462 shows an example in which coupon information / ticket information or pop-ups are displayed on the display of a mobile terminal at a cash register, a ticket gate, or the like. Location information is acquired from the lighting installed at the cash register or ticket gate by visible light communication, and when the acquired location information matches the information included in the coupon information / ticket information, display is performed. The barcode reader may have a light emitting unit and may acquire the position information by performing visible light communication with the light emitting unit, or may acquire the position information from the GPS of the mobile terminal. A transmitter is installed near the cash register, and when the user holds the receiver over the transmitter, coupons and payment information may be displayed on the display of the receiver, or the receiver communicates with the server. The payment may be processed. In addition, when the coupon information / ticket information includes Wi-Fi information installed in a store or the like, and the user's mobile terminal acquires the same information as the Wi-Fi information included in the coupon information / ticket information. May be displayed.
（操作用アプリケーションの起動）
図４６３は、ユーザが携帯端末を用いて、可視光通信により、家電より情報を取得する一例を示したものである。可視光通信により、家電からＩＤ情報、または、当該家電に関する情報を取得した場合に、当該家電を操作するためのアプリケーションが自動的に立ち上がる。図４６３では、テレビを用いた例を示している。このような構成により、携帯端末を家電にかざすだけで、家電を操作するためのアプリケーションを起動することが可能となる。
(Starting the operation application)
FIG. 463 shows an example in which a user acquires information from a home appliance by visible light communication using a mobile terminal. When ID information or information about the home appliance is acquired from the home appliance by visible light communication, an application for operating the home appliance is automatically launched. FIG. 463 shows an example using a television. With such a configuration, it is possible to start an application for operating a home appliance simply by holding the mobile terminal over the home appliance.
（バーコードリーダの動作中に送信を停止する）
図４６４は、バーコードリーダ８４０５ａが商品のバーコードを読み取る際に、バーコードリーダ８４０５ａの付近で可視光通信用のデータ通信を中止する一例を示したものである。バーコード読み取り時に可視光通信を停止することで、バーコードリーダ８４０５ａがバーコードを誤認識することを防ぐことができる。バーコードリーダ８４０５ａは、バーコード読み取りボタンが押されたときに送信停止信号を可視光信号送信機８４０５ｂへ送信し、ボタンから指が離されたとき、あるいは、ボタンから指が離されて所定の時間経過したときに送信再開信号を可視光信号送信機８４０５ｂへ送信する。送信停止信号や送信再開信号は、有線／無線通信や赤外線通信や音波による通信で行う。バーコードリーダ８４０５ａは、バーコードリーダ８４０５ａに備えた加速度センサの計測値からバーコードリーダ８４０５ａが動かされたと推定したときに送信停止信号を送信し、バーコードリーダ８４０５ａが所定の時間動かされなかったと推定したときに送信再開信号を送信してもよい。バーコードリーダ８４０５ａは、バーコードリーダ８４０５ａに備えた静電センサや照度センサの計測値からバーコードリーダ８４０５ａが握られたと推定したときに送信停止信号を送信し、手が離されたと推定した時に送信再開信号を送信してもよい。バーコードリーダ８４０５ａは、バーコードリーダ８４０５ａの接地面に設けられたスイッチが押下状態から開放されることからバーコードリーダ８４０５ａが持ち上げられたことを検知して送信停止信号を送信し、前記ボタンが押されることからバーコードリーダ８４０５ａが置かれたことを検知して送信再開信号を送信してもよい。バーコードリーダ８４０５ａは、バーコードリーダ置き場のスイッチや赤外線センサの計測値からバーコードリーダ８４０５ａが持ち上げられたことを検出して送信停止信号を送信し、バーコードリーダ８４０５ａが戻されたことを検出して送信再開信号を送信してもよい。レジ８４０５ｃは、操作が開始されたときに送信停止信号を送信し、精算操作が行われた時に送信再開信号を送信してもよい。
(Stops transmission while the barcode reader is operating)
FIG. 464 shows an example in which data communication for visible light communication is stopped in the vicinity of the
例えば照明として構成される送信機８４０５ｂは、送信停止信号を受信したとき、信号送信を停止し、また、１００Ｈｚ〜１００ｋＨｚのリップル（輝度変化）が小さくなるように動作する。または、信号パターンの輝度変化を小さくして信号送信を継続する。または、搬送波の周期をバーコードリーダ８４０５ａのバーコードの読み取り時間より長くする、または、搬送波の周期をバーコードリーダ８４０５ａの露光時間より短くする。これにより、バーコードリーダ８４０５ａの誤動作を防ぐことができる。
For example, the
図４６５に示すように、例えば照明として構成される送信機８４０６ｂは、人感センサやカメラでバーコードリーダ８４０６ａの付近に人がいることを検知し、信号送信を停止する。あるいは、前記送信機８４０５ｂが送信停止信号を受信したときと同様の動作を行う。送信機８４０６ｂは、バーコードリーダ８４０６ａの付近に人がいなくなったことを検知したときに信号送信を再開する。送信機８４０６ｂは、バーコードリーダ８４０６ａの動作音を検出し、所定の時間、信号送信を停止するとしてもよい。
As shown in FIG. 465, for example, the
（パソコンからの情報送信）
図４６６は、本発明の利用形態の一例を示したものである。
(Information transmission from a personal computer)
FIG. 466 shows an example of the usage pattern of the present invention.
例えばパソコンとして構成される送信機８４０７ａは、備え付けられたディスプレイや接続されたディスプレイやプロジェクタなどの表示装置を通して可視光信号を送信する。送信機８４０７ａは、ブラウザが表示しているウェブサイトのＵＲＬや、クリップボードの情報や、フォーカスを持つアプリケーションが定めた情報を送信する。例えば、ウェブサイトで取得したクーポン情報を送信する。
For example, the
（データベース）
図４６７は、送信機が送信するＩＤを管理するサーバの保持するデータベースの構成の一例を示したものである。
(Database)
FIG. 467 shows an example of the configuration of the database held by the server that manages the ID transmitted by the transmitter.
データベースは、ＩＤをキーとした問い合わせに対して渡すデータを保持するＩＤ−データテーブルと、ＩＤをキーとした問い合わせの記録を保存するアクセスログテーブルを持つ。ＩＤ−データテーブルは、送信機が送信するＩＤ、ＩＤをキーとした問い合わせに対して渡すデータ、データを渡す条件、ＩＤをキーとしたアクセスがあった回数、条件をクリアしてデータが渡された回数を持つ。データを渡す条件には、日時や、アクセス回数や、アクセス成功回数や、問い合わせ元の端末の情報（端末の機種、問い合わせを行ったアプリケーション、端末の現在位置など）や、問い合わせ元のユーザ情報（年齢、性別、職業、国籍、使用言語、信教など）がある。アクセス成功回数を条件とすることで、「アクセス１回あたり１円、ただし１００円を上限としてそれ以降はデータを返さない」といったサービスの方法が可能となる。ログテーブルは、ＩＤをキーとしたアクセスがあったとき、そのＩＤや、要求したユーザのＩＤや、時刻や、その他の付帯情報や、条件をクリアしてデータを渡したかどうかや、渡したデータの内容を記録する。 The database has an ID-data table that holds data to be passed to inquiries using an ID as a key, and an access log table that stores a record of inquiries using an ID as a key. In the ID-data table, the ID sent by the transmitter, the data to be passed to the inquiry using the ID as the key, the condition to pass the data, the number of accesses using the ID as the key, and the condition are cleared and the data is passed. Have the number of times. The conditions for passing data include the date and time, the number of accesses, the number of successful accesses, the information of the terminal of the inquiry source (terminal model, application that made the inquiry, the current position of the terminal, etc.), and the user information of the inquiry source (user information of the inquiry source). Age, gender, occupation, nationality, language used, religious beliefs, etc.). By setting the number of successful accesses as a condition, a service method such as "1 yen per access, but no data is returned after that up to 100 yen" becomes possible. In the log table, when there is an access using the ID as a key, the ID, the ID of the requesting user, the time, other incidental information, whether or not the data is passed after clearing the conditions, and the passed data Record the contents of.
（受信開始のジェスチャ）
図４６８は、本通信方式による受信を開始するジェスチャ動作の一例を示したものである。
(Reception start gesture)
FIG. 468 shows an example of a gesture operation for starting reception by this communication method.
ユーザは、例えばスマートフォンとして構成される受信機を突き出し、手首を左右に回転させる動作により、受信を開始させる。受信機は、９軸センサの計測値からこの動作を検出し、受信を開始する。受信機は、この動作の少なくともどちらか一方を検出した場合に受信を開始するとしてもよい。受信機を突き出す動作には、受信機が送信機へ近づくことで、送信機がより大きく撮像され、受信速度や精度が向上するという効果がある。手首を左右に回転させる動作には、受信機の角度を変化させることで、本方式の角度依存性を解消し、安定して受信が可能になるという効果がある。 The user starts reception by, for example, sticking out a receiver configured as a smartphone and rotating the wrist left and right. The receiver detects this operation from the measured value of the 9-axis sensor and starts reception. The receiver may start receiving when it detects at least one of these operations. The operation of sticking out the receiver has the effect that the transmitter is imaged larger and the reception speed and accuracy are improved by moving the receiver closer to the transmitter. The operation of rotating the wrist left and right has the effect of eliminating the angle dependence of this method by changing the angle of the receiver and enabling stable reception.
なお、この動作は、ホーム画面がフォアグラウンドになっているときのみ行うとしてもよい。これにより、他のアプリを使用中にユーザの意図に反して本通信が行われることを防ぐことができる。 Note that this operation may be performed only when the home screen is in the foreground. As a result, it is possible to prevent this communication from being performed against the intention of the user while using another application.
なお、受信機が突出される動作の検出時にイメージセンサを起動し、手首を左右に振る動作がなければ受信をやめるとしてもよい。イメージセンサの起動には数百ミリ秒から２秒程度の時間がかかるため、これにより、より応答性を高めることができる。 It should be noted that the image sensor may be activated when the motion of the receiver protruding is detected, and reception may be stopped if there is no motion of shaking the wrist to the left or right. Since it takes about several hundred milliseconds to two seconds to start the image sensor, it is possible to further improve the responsiveness.
（電力線による送信機の制御）
図４６９は、本発明の送信機の一例を示したものである。
(Control of transmitter by power line)
FIG. 469 shows an example of the transmitter of the present invention.
信号制御部８４１０ｇは、送信機８４１０ａの送信状態（送信する信号の内容や送信の有無や送信に用いる輝度変化の強さなど）を制御する。信号制御部８４１０ｇは、送信機８４１０ａの制御内容を配電制御部８４１０ｆに送る。配電制御部８４１０ｆは、送信機８４１０ａの電源部８４１０ｂへ供給する電圧や電流や周波数を変化させることで、変化の大きさや変化の時刻の形で制御内容を伝える。電源部８４１０ｂは電圧や電流や周波数の多少の変化には影響されず一定の出力を行うため、電源部８４１０ｂの安定化能力を超えた変化、例えば、電力供給をカットするタイミングや時間幅によって信号を表現することによって信号を伝達する。輝度制御部８４１０ｄは、電源部８４１０ｂによる変換を考慮して、配電制御部８４１０ｆの送信した内容を受け取り、発光部の輝度変化パターンを変化させる。
The
（符号化方式）
図４７０は、可視光通信画像の符号化方式の一つを説明する図である。
(Encoding method)
FIG. 470 is a diagram illustrating one of the coding methods for visible light communication images.
この符号化方式では、白と黒の割合が同程度となるため、正相画像と逆相画像の平均輝度が同程度となり、人間がちらつきを感じにくいという利点がある。 In this coding method, since the ratio of white and black is about the same, the average brightness of the positive phase image and the negative phase image is about the same, and there is an advantage that humans are less likely to feel flicker.
（斜方向から撮像した場合でも受光可能な符号化方式）
図４７１は、可視光通信画像の符号化方式の一つを説明する図である。
(A coding method that can receive light even when the image is taken from an oblique direction)
FIG. 471 is a diagram illustrating one of the coding methods for visible light communication images.
画像１００１ａは白と黒のラインを均一な幅で表示した画像である。この画像１００１ａを斜めから撮像すると、その撮像によって得られる画像１００１ｂでは、左方のラインは細く、右方のラインは太く表れる。また、画像１００１ａを曲面に投影した場合は、その撮像によって得られる画像１００１ｉでは、異なる太さのラインが表れる。
そこで、以下の符号化方式によって可視光通信画像を作成する。可視光通信画像１００１ｃは、左から、白のライン、白のラインの３倍の太さの黒のライン、その黒のラインの３分の１の太さの白のラインで構成されている。このように、左隣のラインの３倍の太さのライン、左隣のラインの３分の１の太さのラインが続いた画像としてプリアンブルを符号化する。可視光通信画像１００１ｄ、１００１ｅのように、左隣のラインと同じ太さのラインを「０」として符号化する。可視光通信画像１００１ｆ、１００１ｇのように、左隣のラインの２倍の太さ、あるいは、左隣のラインの半分の太さのラインを「１」として符号化する。即ち、符号化対象ラインの太さを左隣のラインの太さと異ならせる場合に、その符号化対象ラインを「１」として符号化する。この符号化方式を用いた例として、プリアンブルに続いて「０１０１１０００１０１１」を含む信号は、可視光通信画像１００１ｈのような画像によって表現される。なお、ここでは、左隣のラインと同じ太さのラインを「０」、左隣のラインと異なる太さのラインを「１」として符号化したが、左隣のラインと同じ太さのラインを「１」、左隣のラインと異なる太さのラインを「０」として符号化しても構わない。また、左隣のラインとの対比に限らず、右隣のラインとの対比を行ってもよい。つまり、符号化対象ラインの太さと右隣のラインの太さとの対比において、太さが同じか異なるかによって、「１」、「０」を符号化しても構わない。このように、送信機側では、符号化対象ラインと異なる色であり、かつ、隣接するラインの太さと符号化対象ラインの太さを同じにすることで、「０」を符号化し、異なる太さとすることで、「１」を符号化する。
Therefore, a visible light communication image is created by the following coding method. From the left, the visible
受信機側では、可視光通信画像を撮像し、撮像した可視光通信画像において、白または黒のラインの太さを検出する。復号対象のラインとは異なる色であり、かつ、復号対象のラインに隣接する（左隣、または、右隣）ラインの太さと、復号対象のラインの太さとを比較し、太さが同じ場合には、復号対象ラインを「０」として復号し、太さが異なる場合には、復号対象ラインを「１」として復号する。太さが同じ場合に「１」、太さが異なる場合に「０」として復号してもよい。復号を行った、１、０のデータ列に基づいて、最終的にデータの復号を行う。 The receiver side captures a visible light communication image and detects the thickness of a white or black line in the captured visible light communication image. If the color is different from the line to be decoded and the thickness of the line adjacent to the line to be decoded (next to the left or next to the right) is compared with the thickness of the line to be decoded, and the thickness is the same. The decoding target line is set to "0", and if the thickness is different, the decoding target line is set to "1". Decoding may be performed as "1" when the thickness is the same and as "0" when the thickness is different. Finally, the data is decoded based on the 1,0 data string that has been decoded.
この符号化方式は局所的なラインの太さの関係を用いている。画像１００１ｂや画像１００１ｉに見られるように、近傍のラインの太さの比は大きくは変化しないため、斜め方向から撮像された場合や、曲面に投影された場合でも、この符号方式で作成された可視光通信画像は正しく復号できる。
This coding method uses the relationship of local line thickness. As seen in
この符号化方式では、白と黒の割合が同程度になるため、正相画像と逆相画像の平均輝度が同程度となり、人間がちらつきを感じにくいという利点がある。また、この符号化方式は、白黒の別はないため、正相信号と逆相信号のどちらの可視光通信画像であっても、同じアルゴリズムで復号可能であるという利点がある。 In this coding method, since the ratio of white and black is about the same, the average brightness of the positive phase image and the negative phase image is about the same, and there is an advantage that humans are less likely to feel flicker. Further, since this coding method is not classified into black and white, there is an advantage that both a positive phase signal and a negative phase signal visible light communication image can be decoded by the same algorithm.
また、符号の追加が容易であるという利点がある。例えば、可視光通信画像１００１ｊは、左隣の４倍の太さのラインと左隣の４分の１のラインの組み合わせである。このように、「左隣の５倍と５分の１」「左隣の３倍と３分の２」のように、多くのユニークなパターンが存在しており、特別な意味を持つ信号として定義可能である。例えば、可視光通信画像は複数枚で一つのデータを表すことができるが、送信するデータが変更されたためこれまでに受信したデータの一部が無効になったことを表示するキャンセル信号として可視光通信画像１００１ｊを用いることが考えられる。なお、色については、白、黒に限らず、異なる色であれば、どのような色であってもよい。例えば、補完色を用いても構わない。
In addition, there is an advantage that it is easy to add a code. For example, the visible
（距離によって情報量が異なる符号化方式）
図４７２、図４７３は、可視光通信画像の符号化方式の一つを説明する図である。
(A coding method in which the amount of information differs depending on the distance)
472 and 473 are diagrams illustrating one of the coding methods for visible light communication images.
図４７２の（ａ−１）のように、四つに区切った画像のうち一つの部分を黒、残りの部分を白とすることで２ビットの信号を表現すると、この画像の平均輝度は、白を１００％、黒を０％とした場合、７５％となる。図４７２の（ａ−２）のように、白と黒の部分を逆にすると、平均輝度は２５％となる。 When a 2-bit signal is expressed by making one part of the image divided into four parts black and the remaining part white as shown in (a-1) of FIG. 472, the average brightness of this image is When white is 100% and black is 0%, it is 75%. When the white and black portions are reversed as shown in FIG. 472 (a-2), the average brightness becomes 25%.
画像１００３ａは、図４７１の符号化方式で作成した可視光通信画像の白の部分を図４７２の（ａ−１）の画像で、黒の部分を図４７２の（ａ−２）の画像で表現した可視光通信画像である。この可視光通信画像は、図４７１の符号化方式で符号化した信号Ａと、図４７２の（ａ−１）および（ａ−２）で符号化した信号Ｂを表している。近くの受信機１００３ｂが可視光通信画像１００３ａを撮像すると、精細な画像１００３ｄが得られ、信号Ａと信号Ｂの両方が受信できる。遠くの受信機１００３ｃが可視光通信画像１００３ａを撮像すると、小さな画像１００３ｅが得られる。画像１００３ｅでは、詳細な部分は確認できず、図４７２の（ａ−１）の部分が白く、図４７２の（ａ−２）の部分が黒くなった画像となるため、信号Ａのみが受信できる。これにより、可視光通信画像と受信機の距離が近いほど多くの情報を伝達することができる。信号Ｂを符号化する方式としては、図４７２の（ｂ−１）と（ｂ−２）の組み合わせや、図４７２の（ｃ−１）と（ｃ−２）の組み合わせを用いてもよい。
In the
信号Ａと信号Ｂを用いることにより、信号Ａで基本的で重要な情報を表し、信号Ｂで付加的な情報を表すことが可能となる。また、受信機が信号Ａ・ＢをＩＤ情報としてサーバに送信し、サーバがＩＤ情報に対応する情報を受信機に送信する場合は、信号Ｂの有無によってサーバが送信する情報を変化させることが可能となる。 By using the signal A and the signal B, the signal A can represent basic and important information, and the signal B can represent additional information. Further, when the receiver transmits the signals A and B to the server as ID information and the server transmits the information corresponding to the ID information to the receiver, the information transmitted by the server may be changed depending on the presence or absence of the signal B. It will be possible.
（データを分割した符号化方式）
図４７４は、可視光通信画像の符号化方式の一つを説明する図である。
(Encoding method that divides data)
FIG. 474 is a diagram illustrating one of the coding methods for visible light communication images.
送信する信号１００５ａを、複数のデータ片１００５ｂ、１００５ｃ、１００５ｄに分割する。各データ片にそのデータ片の位置を示すアドレスを付加し、さらに、プリアンブルや誤り検出・訂正符号やフレームタイプ記述等を付加し、フレームデータ１００５ｅ、１００５ｆ、１００５ｇを構成する。フレームデータを符号化して可視光通信画像１００５ｈ、１００５ｉ、１００５ｊを作成して表示する。表示領域が十分大きい場合は、複数の可視光通信画像を連結した可視光通信画像１００５ｋを表示する。
The signal 1005a to be transmitted is divided into a plurality of
尚、図４７４のように、映像中に可視光通信画像を挿入する方法として、固体光源を用いた表示機器の場合には、通常に可視光通信信号画像を表示しておき、表示する期間のみに固定光源を点灯させ、それ以外の期間は固体光源を消灯する方法で実現することにより、幅広い表示装置、たとえば、ＤＭＤを用いたプロジェクターを始め、ＬＣＯＳをはじめとする液晶を用いたプロジェクターや、ＭＥＭＳをもちいた表示装置類はもちろん適応可能となる。また、画像表示をサブフレームに分割して表示するタイプの表示装置、たとえば、ＰＤＰや、ＥＬなどのバックライトなどの光源を用いない表示機器においても、一部のサブフレームを可視光通信画像に置き換えることで適応が可能となる。なお、固体光源としては、半導体レーザ、ＬＥＤ光源などが考えられる。 As shown in FIG. 474, as a method of inserting a visible light communication image into an image, in the case of a display device using a solid-state light source, the visible light communication signal image is normally displayed and only during the period of display. By turning on the fixed light source and turning off the solid light source during the rest of the period, a wide range of display devices, such as projectors using DMDs, projectors using liquid crystals such as LCOS, and projectors using liquid crystals such as LCOS can be used. Of course, display devices using MEMS can be applied. Further, even in a display device of a type in which an image display is divided into subframes and displayed, for example, a display device that does not use a light source such as a PDP or a backlight such as an EL, some subframes are converted into visible light communication images. It can be adapted by replacing it. As the solid-state light source, a semiconductor laser, an LED light source, or the like can be considered.
（逆相画像を挿入する効果）
図４７５と図４７６は、可視光通信画像の符号化方式の一つを説明する図である。
(Effect of inserting a reverse phase image)
475 and 476 are diagrams illustrating one of the coding methods for visible light communication images.
図４７５の（１００６ａ）のように、送信機は、映像と可視光通信画像（正相画像）の間に黒画像を挿入する。これを受信機で撮像した画像は、図４７５の（１００６ｂ）に示す画像のようになる。受信機は、同時に露光される画素のラインが黒一色である部分の探索は容易であるため、可視光通信画像が撮像されている位置を、その次のタイミングで露光される画素の位置として容易に特定できる。 As shown in (1006a) of FIG. 475, the transmitter inserts a black image between the video and the visible light communication image (positive phase image). The image captured by the receiver is as shown in FIG. 475 (1006b). Since it is easy for the receiver to search for a portion where the line of pixels to be exposed at the same time is all black, the position where the visible light communication image is captured can be easily set as the position of the pixel to be exposed at the next timing. Can be specified.
図４７５の（１００６ａ）のように、送信機は、可視光通信画像（正相画像）を表示した後に、白黒を反転させた逆走の可視光通信画像を表示させる。受信機は、正相画像と逆相画像の画素値の差を求めることで、正相画像のみを利用した場合の２倍のＳＮ比が得られる。逆に、同じＳＮ比を確保する場合は、白黒の輝度差を半分に抑えることができ、人間が見た際のちらつきを抑えることができる。また、図４７６の（１００７ａ）および（１００７ｂ）のように、映像と可視光通信画像の輝度の差の期待値の移動平均は、正相画像と逆相画像でキャンセルされる。人間の視覚の時間分解能は１／６０秒程度であるため、可視光通信画像を表示する時間をこれ以下にすることで、人間にとって可視光通信画像が表示されていないように感じさせることができる。 As shown in (1006a) of FIG. 475, the transmitter displays a visible light communication image (positive phase image) and then displays a reverse-way visible light communication image in which black and white are inverted. By obtaining the difference between the pixel values of the positive phase image and the negative phase image, the receiver can obtain twice the SN ratio as in the case of using only the positive phase image. On the contrary, when the same SN ratio is secured, the difference in brightness between black and white can be suppressed by half, and flicker when viewed by a human can be suppressed. Further, as shown in FIGS. 476 (1007a) and (1007b), the moving average of the expected value of the difference in brightness between the video and the visible light communication image is canceled between the positive phase image and the negative phase image. Since the time resolution of human vision is about 1/60 second, by setting the display time of the visible light communication image to less than this, it is possible to make the human feel that the visible light communication image is not displayed. ..
図４７５の（１００６ｃ）に示すように、送信機は、さらに、正相画像と逆相画像の間にも黒画像を挿入してもよい。この場合、受信機による撮像によって、図４７５の（１００６ｄ）に示す画像が得られる。図４７５の（１００６ｂ）に示す画像では、正相画像のパターンと逆相画像のパターンが隣接しているため境界部分で画素値が平均化されてしまうことがあったが、図４７５の（１００６ｄ）に示す画像ではそのような問題が発生しない。 As shown in (1006c) of FIG. 475, the transmitter may further insert a black image between the positive phase image and the negative phase image. In this case, the image shown in FIG. 475 (1006d) is obtained by imaging with the receiver. In the image shown in FIG. 475 (1006b), since the pattern of the positive phase image and the pattern of the negative phase image are adjacent to each other, the pixel values may be averaged at the boundary portion. ) Does not cause such a problem.
（超解像）
図４７７は、可視光通信画像の符号化方法の一つを説明する図である。
(Super resolution)
FIG. 477 is a diagram illustrating one of the methods for encoding a visible light communication image.
図４７７の（ａ）のように、映像データと可視光通信で送信する信号データが分離されている場合は、映像データに超解像処理を行い、得られた超解像画像に可視光通信画像を重畳する。即ち、可視光通信画像には超解像処理を行わない。図４７７の（ｂ）のように、映像データにすでに可視光通信画像が重畳されている場合には、（１）可視光通信画像のエッジ（白・黒など色の違いによりデータを示している部分）を急峻なまま保つ、（２）可視光通信画像の正相画像と逆相画像の平均画像が一様輝度となるように超解像処理を行う。このように、映像データに可視光通信画像が重畳されているか否かにより、可視光通信画像に対する処理を変更することにより、可視光通信をより適切に行う（エラー率を低下させる）ことが可能となる。 When the video data and the signal data to be transmitted by visible light communication are separated as shown in FIG. 477 (a), the video data is subjected to super-resolution processing, and the obtained super-resolution image is subjected to visible light communication. Overlay images. That is, the visible light communication image is not subjected to super-resolution processing. When the visible light communication image is already superimposed on the video data as shown in (b) of FIG. 477, (1) the data is shown by the difference in color such as white and black of the visible light communication image. (Part) is kept steep, and (2) super-resolution processing is performed so that the average image of the positive-phase image and the negative-phase image of the visible light communication image has uniform brightness. In this way, it is possible to perform visible light communication more appropriately (reduce the error rate) by changing the processing for the visible light communication image depending on whether or not the visible light communication image is superimposed on the video data. It becomes.
（可視光通信に対応していることの表示）
図４７８は、送信機の動作の一つを説明する図である。
(Indication that it supports visible light communication)
FIG. 478 is a diagram illustrating one of the operations of the transmitter.
送信機８５００ａは、可視光通信に対応していることを、投影または表示する画像に重畳して表示する。この表示は、例えば、送信機８５００ａを起動してから所定の時間の間のみ表示される。
The
送信機８５００ａは、自身が可視光通信に対応していることを、接続された機器８５００ｃへ送信する。機器８５００ｃは、送信機８５００ａが可視光通信に対応していることを表示する。例えば、機器８５００ｃのディスプレイに、送信機８５００ａが可視光通信に対応していることを表示する。機器８５００ｃは、接続された送信機８５００ａが可視光通信に対応している場合に、可視光通信用のデータを送信機８５００ａへ送信する。送信機８５００ａが可視光通信に対応している旨の表示は、機器８５００ｃが送信機８５００ａに接続された際に表示されてもよいし、機器８５００ｃから送信機８５００ａに対して可視光通信用のデータが送信された場合に表示されてもよい。機器８５００ｃから可視光通信用のデータが送信された際に表示する場合は、送信機８５００ａは、データから可視光通信を示す識別情報を取得し、識別情報がデータに可視光通信用のデータが含まれていることを示している場合に、送信機８５００ａが可視光通信に対応していることを表示してもよい。
The
このように、投影画面、または、機器のディスプレイに送信機（照明、プロジェクタ、映像表示機器）が可視光通信に対応している旨、または、対応しているか否かを示す表示を行うことにより、ユーザは送信機が可視光通信に対応しているか容易に把握することができる。従って、機器から、送信機に対して可視光通信用のデータを送信しているにも関わらず、可視光通信を行うことができなくなるという誤動作を防ぐことが可能となる。 In this way, by displaying on the projection screen or the display of the device that the transmitter (lighting, projector, image display device) supports visible light communication, or whether or not it supports it. , The user can easily grasp whether the transmitter supports visible light communication. Therefore, it is possible to prevent a malfunction in which visible light communication cannot be performed even though the device transmits data for visible light communication to the transmitter.
（可視光通信信号を用いた情報取得）
図４７９は、可視光通信の応用例の一つを説明する図である。
(Information acquisition using visible light communication signals)
FIG. 479 is a diagram illustrating one of the application examples of visible light communication.
送信機８５０１ａは、機器８５０１ｃから映像データと信号データを受信し、可視光通信画像８５０１ｂを表示する。受信機８５０１ｄは、可視光通信画像８５０１ｂを撮像し、可視光通信画像に含まれた信号を受信する。受信機８５０１ｄは、受信信号に含まれた情報（アドレスやパスワード等）から機器８５０１ｃと通信を行い、送信機８５０１ａが表示している映像そのものやその付帯情報（映像ＩＤ、ＵＲＬ、パスワード、ＳＳＩＤ、翻訳データ、音声データ、ハッシュタグ、商品情報、購買情報、クーポン、空席情報等）を受信する。機器８５０１ｃは送信機８５０１ａへの送信状況をサーバ８５０１ｅへ送信し、受信機８５０１ｄはサーバ８５０１ｅから前記情報を得るとしても良い。
The
（データフォーマット）
図４８０は、可視光通信データのフォーマットの一つを説明する図である。
(data format)
FIG. 480 is a diagram illustrating one of the formats of visible light communication data.
図４８０の（ａ）に示すデータは、記憶域中に映像データの位置を示す映像アドレステーブルと、可視光通信により送信する信号データの位置を示す位置アドレステーブルとを持つ。可視光通信に対応していない映像表示装置では、映像アドレステーブルのみが参照されるため、入力に信号アドレステーブルと信号データが含まれていても映像表示には影響しない。これにより、可視光通信に対応していない映像表示装置に対する後方互換性が保たれる。 The data shown in FIG. 480 (a) has a video address table showing the position of the video data in the storage area and a position address table showing the position of the signal data transmitted by visible light communication. In a video display device that does not support visible light communication, only the video address table is referenced, so even if the input includes the signal address table and signal data, the video display is not affected. As a result, backward compatibility with video display devices that do not support visible light communication is maintained.
図４８０の（ｂ）に示すデータのフォーマットでは、後に続くデータが映像データであることを示す識別子を映像データの前に配し、後に続くデータが信号データであることを示す識別子を信号データの前に配している。識別子とすることにより、映像データ、または、信号データのある場合にのみ、データに挿入されるため、全体の符号量を小さくすることができる。また、映像データであるか、信号データであるかを示す識別情報を配してもよい。更に、番組情報において、可視光通信用のデータを含むか否かを示す識別情報を含んでいてもよい。番組情報に可視光通信用のデータを含むか否かを示す識別情報が含まれることにより、ユーザは、番組検索の際に、可視光通信可能か否か判断することが可能となる。なお、番組情報に含まれるのは、可視光通信用のデータを含むことを示す識別子であってもよい。更に、データ毎に識別子・識別情報を付加することにより、データ毎の輝度の切り替えや、超解像の切り替えなど処理の切り替えを行うことができ、可視光通信時におけるエラー率を低減させることが可能となる。 In the data format shown in FIG. 480 (b), an identifier indicating that the following data is video data is placed before the video data, and an identifier indicating that the following data is signal data is assigned to the signal data. It is arranged in front. By using the identifier, the total code amount can be reduced because it is inserted into the data only when there is video data or signal data. Further, identification information indicating whether the data is video data or signal data may be arranged. Further, the program information may include identification information indicating whether or not the data for visible light communication is included. By including the identification information indicating whether or not the program information includes the data for visible light communication, the user can determine whether or not the visible light communication is possible at the time of program search. The program information may include an identifier indicating that the data for visible light communication is included. Furthermore, by adding an identifier / identification information to each data, it is possible to switch the processing such as switching the brightness for each data and switching the super-resolution, and it is possible to reduce the error rate during visible light communication. It will be possible.
図４８０の（ａ）に示すデータのフォーマットは、光ディスク等の蓄積型メディアからデータを読み出す状況に適し、図４８０の（ｂ）に示すデータのフォーマットは、テレビ放送などストリーミング型のデータに適している。なお、信号データには、可視光通信によって送信する信号の値、送信開始時刻、送信終了時刻、ディスプレイや投影面上の送信に利用する場所、可視光通信画像の輝度、可視光通信画像のバーコードの向き等の情報を含む。 The data format shown in FIG. 480 (a) is suitable for reading data from a storage medium such as an optical disk, and the data format shown in FIG. 480 (b) is suitable for streaming data such as television broadcasting. There is. The signal data includes the value of the signal transmitted by visible light communication, the transmission start time, the transmission end time, the place used for transmission on the display or the projection surface, the brightness of the visible light communication image, and the bar of the visible light communication image. Includes information such as code orientation.
（立体形状を推定して受信する）
図４８１と図４８２は、可視光通信の応用例の一つを説明する図である。
(Estimate and receive the three-dimensional shape)
FIGS. 481 and 482 are diagrams illustrating one of the application examples of visible light communication.
図４８１に示すように、例えばプロジェクタとして構成される送信機８５０３ａは、映像と可視光通信画像に加え、測距用画像を投影する。測距用画像に示されるドットパターンは、任意のドットの近傍の所定数のドットの位置関係が、他の任意の組み合わせのドットの位置関係と異なるドットパターンである。受信機は、測距用画像を撮像することで、局所的なドットパターンを特定し、投影面８５０３ｂの立体形状を推定することができる。受信機は、投影面の立体形状によって歪んだ可視光通信画像を平面画像へ復元して信号を受信する。なお、測距用画像や可視光通信画像は、人間には知覚できない赤外線で投影されてもよい。
As shown in FIG. 481, for example, the
図４８２に示すように、例えばプロジェクタとして構成される送信機８５０４ａは、赤外線で測距用画像を投影する赤外線投影装置８５０４ｂを備える。受信機は、測距用画像から投影面８５０４ｃの立体形状を推定し、可視光通信画像の歪みを復元して信号を受信する。なお、送信機８５０４ａは、映像を可視光で投影し、可視光通信画像を赤外線で投影してもよい。なお、赤外線投影装置８５０４ｂは、可視光通信画像を赤外線で投影してもよい。
As shown in FIG. 482, for example, the transmitter 8504a configured as a projector includes an
（立体投影）
図４８３と図４８４は、可視光通信画像の表示方法の一つを説明する図である。
(Three-dimensional projection)
FIGS. 483 and 484 are diagrams for explaining one of the display methods of the visible light communication image.
立体投影を行う場合や円筒状の表示面に可視光通信画像を表示する場合は、図４８３に示すように、可視光通信画像８５０５ａ〜８５０５ｆを表示させることで、広い角度からの受信が可能になる。可視光通信画像８５０５ａ、８５０５ｂを表示させることで、水平方向に広い角度から受信が可能になる。可視光通信画像８５０５ａと８５０５ｂを組み合わせることで、受信機を傾けても受信可能となる。可視光通信画像８５０５ａと可視光通信画像８５０５ｂを交代で表示させてもよいし、それらの画像を合成した画像である可視光通信画像８５０５ｆを表示してもよい。さらに、可視光通信画像８５０５ｃと可視光通信画像８５０５ｄを加えることで、垂直方向に広い角度から受信が可能となる。可視光通信画像８５０５ｅのように、中間色で投影する部分や投影しない部分を設けることで、可視光通信画像の区切りを表現してもよい。可視光通信画像８５０５ａ〜８５０５ｆを回転させることで、さらに広い角度から受信可能とすることができる。なお、図４８３では、円筒状の表示面に可視光通信画像を表示させたが、円柱の表示面に可視光通信画像を表示させてもよい。
When performing stereoscopic projection or displaying a visible light communication image on a cylindrical display surface, as shown in FIG. 483, by displaying the visible
立体投影を行う場合や、球状の表示面に可視光通信画像を表示する場合は、図４８４に示すように、可視光通信画像８５０６ａ〜８５０６ｄを表示させることで、広い角度からの受信が可能となる。可視光通信画像８５０６ａでは、水平方向における受信可能領域は広いが、垂直方向における受信可能領域が狭いため、逆の性質を持つ可視光通信画像８５０６ｂと組み合わせて可視光通信画像８５０６ａを表示させる。可視光通信画像８５０６ａと可視光通信画像８５０６ｂを交代で表示させても良いし、それらの画像を合成した画像である可視光通信画像８５０６ｃを表示してもよい。可視光通信画像８５０６ａの上部のようにバーコードが集中する部分は表示が細かく、信号を誤って受信する可能性が高い。そこで、可視光通信画像８５０６ｄのようにこの部分を中間色で表示する、あるいは、何も投影しないことで、受信誤りを防ぐことができる。
When performing stereoscopic projection or displaying a visible light communication image on a spherical display surface, it is possible to receive from a wide angle by displaying the visible light communication images 8506a to 8506d as shown in FIG. 484. Become. In the visible light communication image 8506a, the receivable area in the horizontal direction is wide, but the receivable area in the vertical direction is narrow. Therefore, the visible light communication image 8506a is displayed in combination with the visible
（ゾーン毎に異なる通信プロトコル）
図４８５は、実施の形態１７における送信機と受信機の動作の一例を示す図である。
(Communication protocol different for each zone)
FIG. 485 is a diagram showing an example of the operation of the transmitter and the receiver according to the seventeenth embodiment.
受信機８４２０ａは、基地局８４２０ｈからゾーン情報を受け取り、自身がどのゾーンに位置しているかを認識し、受信プロトコルを選択する。基地局８４２０ｈは、例えば携帯電話の通信基地局やＷｉ−ＦｉアクセスポイントやＩＭＥＳ送信機やスピーカーや無線送信機（Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ、特定小電力無線局等）として構成される。なお、受信機８４２０ａは、ＧＰＳ等から得た位置情報をもとにゾーンを特定してもよい。例として、ゾーンＡでは９．６ｋＨｚの信号周波数で通信し、ゾーンＢでは、天井照明は１５ｋＨｚ、サイネージは４．８ｋＨｚの信号周波数で通信すると定めるとする。受信機８４２０ａは、位置８４２０ｊでは、基地局８４２０ｈの情報から現在地がゾーンＡであることを認識し、９．６ｋＨｚの信号周波数で受信を行い、送信機８４２０ｂ・８４２０ｃの送信した信号を受信する。受信機８４２０ａは、位置８４２０ｌでは、基地局８４２０ｉの情報から現在地がゾーンＢであることを認識し、さらに、インカメラが上方に向けられていることから天井照明からの信号を受信しようとしていることを推定し、１５ｋＨｚの信号周波数で受信を行い、送信機８４２０ｅ・８４２０ｆの送信した信号を受信する。受信機８４２０ａは、位置８４２０ｍでは、基地局８４２０ｉの上方から現在地がゾーンＢであることを認識し、さらに、アウトカメラを突き出す動きからサイネージの送信する信号を受信しようとしていることを推定し、４．８ｋＨｚの信号周波数で受信を行い、送信機８４２０ｇの送信する信号を受信する。受信機８４２０ａは、位置８４２０ｋでは、基地局８４２０ｈと基地局８４２０ｉの両方の信号が受信され、現在地がゾーンＡとゾーンＢのどちらであるか判断できないため、９．６ｋＨｚと１５ｋＨｚの両方で受信処理を行う。なお、ゾーンによってプロトコルが異なる部分は周波数だけではなく、送信信号の変調方式や信号フォーマットやＩＤを問い合わせるサーバが異なるとしても良い。なお、基地局８４２０ｈ・８４２０ｉは、ゾーン内のプロトコルを受信機に送信してもよいし、ゾーンを示すＩＤのみを送信し、受信機がゾーンＩＤをキーにサーバからプロトコル情報を獲得するとしてもよい。
The
送信機８４２０ｂ〜８４２０ｆは、基地局８４２０ｈ・８４２０ｉの送信するゾーンＩＤやプロトコル情報を受信し、信号送信プロトコルを決定する。基地局８４２０ｈと基地局８４２０ｉの両方の送信する信号を受信可能な送信機８４２０ｄは、より信号強度強い基地局のゾーンのプロトコルを利用する、または、両方のプロトコルを交互に用いる。
The
（ゾーンの認識とゾーン毎のサービス）
図４８６は、実施の形態１７における受信機と送信機の動作の一例を示す図である。
(Zone recognition and service for each zone)
FIG. 486 is a diagram showing an example of the operation of the receiver and the transmitter in the seventeenth embodiment.
受信機８４２１ａは、受信した信号から、自身の位置の属するゾーンを認識する。受信機８４２１ａは、ゾーン毎に定められたサービス（クーポンの配布、ポイントの付与、道案内等）を提供する。一例として、受信機８４２１ａは、送信機８４２１ｂの左側から送信する信号を受信し、ゾーンＡに居ることを認識する。ここで、送信機８４２１ｂは、送信方向によって異なる信号を送信するとしてもよい。また、送信機８４２１ｂは、２２１７ａのような発光パターンの信号を用いることで、受信機までの距離に応じて異なる信号が受信されるように信号を送信してもよい。また、受信機８４２１ａは、送信機８４２１ｂの撮像される方向と大きさから、送信機８４２１ｂとの位置関係を認識し、自身の位置するゾーンを認識してもよい。
The receiver 8421a recognizes the zone to which its position belongs from the received signal. The receiver 8421a provides services (coupon distribution, point awarding, directions, etc.) defined for each zone. As an example, receiver 8421a receives a signal transmitted from the left side of
同じゾーンに位置することを示す信号の一部を共通としてもよい。例えば、送信機８４２１ｂと送信機８４２１ｃから送信される、ゾーンＡを表すＩＤは前半を共通とする。これにより、受信機８４２１ａは、信号の前半を受信するだけで自身の位置するゾーンを認識可能となる。
A part of the signal indicating that they are located in the same zone may be shared. For example, the ID representing the zone A transmitted from the
（本実施の形態のまとめ）
本実施の形態における情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、複数の送信対象の信号のそれぞれを変調することによって、複数の輝度変化のパターンを決定する決定ステップと、複数の発光体のそれぞれが、決定された複数の輝度変化のパターンのうちの何れか１つのパターンにしたがって輝度変化することによって、前記何れか１つのパターンに対応する送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、前記複数の発光体のうちの２つ以上の発光体のそれぞれは、当該発光体に対して予め定められた時間単位ごとに、互いに輝度の異なる２種類の光のうちの何れか一方の光が出力されるように、且つ、前記２つ以上の発光体のそれぞれに対して予め定められた前記時間単位が互いに異なるように、互いに異なる周波数で輝度変化する。
(Summary of the present embodiment)
The information communication method in the present embodiment is an information communication method in which a signal is transmitted by a change in luminance, and is a determination step of determining a plurality of patterns of change in luminance by modulating each of a plurality of signals to be transmitted. , Each of the plurality of light emitters changes the brightness according to any one of the determined patterns of the plurality of brightness changes, thereby transmitting the signal of the transmission target corresponding to the one of the patterns. Including the transmission step, in the transmission step, each of the two or more light emitters of the plurality of light emitters has two types having different brightnesses for each predetermined time unit for the light emitter. Luminance changes at different frequencies so that one of the two or more light emitters is output and the predetermined time units are different from each other for each of the two or more light emitters. To do.
これにより、図４４１を用いて説明した動作のように、２つ以上の発光体（例えば、照明機器として構成された送信機）のそれぞれが互いに異なる周波数で輝度変化するため、それらの発光体から送信対象の信号（例えば、発光体のＩＤ）を受信する受信機は、それらの送信対象の信号を容易に区別して取得することができる。 As a result, as in the operation described with reference to FIG. 441, the brightness of each of the two or more light emitters (for example, a transmitter configured as a lighting device) changes at different frequencies. A receiver that receives signals to be transmitted (for example, ID of a light emitter) can easily distinguish and acquire those signals to be transmitted.
また、前記送信ステップでは、前記複数の発光体のそれぞれは、少なくとも４種類の周波数のうちの何れか１つの周波数で輝度変化し、前記複数の発光体のうちの２つ以上の発光体は、同一の周波数で輝度変化してもよい。例えば、前記送信ステップでは、前記複数の送信対象の信号を受信するためのイメージセンサの受光面に、前記複数の発光体が投影される場合に、前記受光面上で互いに隣接する全ての発光体間で輝度変化の周波数が異なるように、前記複数の発光体のそれぞれは輝度変化する。 Further, in the transmission step, the brightness of each of the plurality of light emitters changes at any one frequency of at least four kinds of frequencies, and two or more light emitters among the plurality of light emitters. The brightness may change at the same frequency. For example, in the transmission step, when the plurality of light emitting bodies are projected onto the light receiving surfaces of the image sensor for receiving the plurality of transmission target signals, all the light emitting bodies adjacent to each other on the light receiving surface are projected. Each of the plurality of light emitters changes its brightness so that the frequency of the brightness change differs between them.
これにより、図４４２を用いて説明した動作のように、輝度変化に用いられる周波数が少なくとも４種類あれば、同一の周波数で輝度変化する発光体が２つ以上ある場合であっても、つまり、周波数の種類の数が複数の発光体の数よりも少ない場合であっても、四色問題または四色定理に基づいて、イメージセンサの受光面上で互いに隣接する全ての発光体間で輝度変化の周波数を確実に異なるせることができる。その結果、受信機は、複数の発光体から送信される送信対象の信号のそれぞれを容易に区別して取得することができる。 As a result, as in the operation described with reference to FIG. 442, if there are at least four types of frequencies used for the brightness change, even if there are two or more light emitters whose brightness changes at the same frequency, that is, that is, Luminance changes between all illuminants adjacent to each other on the light receiving surface of the image sensor, based on the four-color problem or the four-color theorem, even if the number of frequency types is less than the number of illuminants. The frequencies of can be reliably different. As a result, the receiver can easily distinguish and acquire each of the signals to be transmitted transmitted from the plurality of light emitters.
また、前記送信ステップでは、前記複数の発光体のそれぞれは、送信対象の信号のハッシュ値によって特定される周波数で輝度変化することによって、前記送信対象の信号を送信してもよい。 Further, in the transmission step, each of the plurality of light emitters may transmit the signal to be transmitted by changing the brightness at a frequency specified by the hash value of the signal to be transmitted.
これにより、図４４１を用いて説明した動作のように、複数の発光体のそれぞれは、送信対象の信号（例えば、発光体のＩＤ）のハッシュ値によって特定される周波数で輝度変化するため、受信機は、送信対象の信号を受信したときには、実際の輝度変化から特定される周波数と、ハッシュ値によって特定される周波数とが一致するか否かを判定することができる。つまり、受信機は、受信された信号（例えば、発光体のＩＤ）にエラーがあったか否かを判定することができる。 As a result, as in the operation described with reference to FIG. 441, each of the plurality of illuminants changes in brightness at a frequency specified by the hash value of the signal to be transmitted (for example, the ID of the illuminant), and thus receives the signal. When the machine receives the signal to be transmitted, it can determine whether or not the frequency specified by the actual luminance change and the frequency specified by the hash value match. That is, the receiver can determine whether or not there is an error in the received signal (for example, the ID of the light emitter).
また、前記情報通信方法は、さらに、信号記憶部に記憶されている送信対象の信号から、予め定められた関数にしたがって、当該送信対象の信号に対応する周波数を第１の周波数として算出する周波数算出ステップと、周波数記憶部に記憶されている第２の周波数と、算出された前記１の周波数とが一致するか否かを判定する周波数判定ステップと、前記第１の周波数と前記第２の周波数とが一致しないと判定された場合には、エラーを報知する周波数エラー報知ステップとを含み、前記第１の周波数と前記第２の周波数とが一致すると判定された場合には、前記決定ステップでは、前記信号記憶部に記憶されている前記送信対象の信号を変調することによって輝度変化のパターンを決定し、前記送信ステップでは、前記複数の発光体のうちの何れか１つの発光体が、決定された前記パターンにしたがって、前記第１の周波数で輝度変化することによって、前記信号記憶部に記憶されている前記送信対象の信号を送信してもよい。
Further, the information communication method further calculates a frequency corresponding to the signal of the transmission target as a first frequency from the signal of the transmission target stored in the signal storage unit according to a predetermined function. A calculation step, a frequency determination step for determining whether or not the second frequency stored in the frequency storage unit and the
これにより、図４４８を用いて説明した動作のように、周波数記憶部に記憶されている周波数と、信号記憶部（ＩＤ記憶部）に記憶されている送信対象の信号から算出された周波数とが一致するか否かが判定され、一致しないと判定された場合にはエラーが報知されるため、発光体による信号送信機能の異常検出を容易に行うことができる。 As a result, as in the operation described with reference to FIG. 448, the frequency stored in the frequency storage unit and the frequency calculated from the transmission target signal stored in the signal storage unit (ID storage unit) can be obtained. It is determined whether or not they match, and if it is determined that they do not match, an error is notified, so that the light emitter can easily detect an abnormality in the signal transmission function.
また、前記情報通信方法は、さらに、信号記憶部に記憶されている送信対象の信号から、予め定められた関数にしたがって第１のチェック値を算出するチェック値算出ステップと、チェック値記憶部に記憶されている第２のチェック値と、算出された前記１のチェック値とが一致するか否かを判定するチェック値判定ステップと、前記第１のチェック値と前記第２のチェック値とが一致しないと判定された場合には、エラーを報知するチェック値エラー報知ステップとを含み、前記第１のチェック値と前記第２のチェック値とが一致すると判定された場合には、前記決定ステップでは、前記信号記憶部に記憶されている前記送信対象の信号を変調することによって輝度変化のパターンを決定し、前記送信ステップでは、前記複数の発光体のうちの何れか１つの発光体が、決定された前記パターンにしたがって輝度変化することによって、前記信号記憶部に記憶されている前記送信対象の信号を送信してもよい。 Further, the information communication method further includes a check value calculation step of calculating a first check value according to a predetermined function from a signal to be transmitted stored in the signal storage unit, and a check value storage unit. The check value determination step for determining whether or not the stored second check value and the calculated first check value match, and the first check value and the second check value are If it is determined that they do not match, a check value error notification step for notifying an error is included, and if it is determined that the first check value and the second check value match, the determination step is included. Then, the pattern of the brightness change is determined by modulating the signal of the transmission target stored in the signal storage unit, and in the transmission step, any one of the plurality of light emitters is used. The signal of the transmission target stored in the signal storage unit may be transmitted by changing the brightness according to the determined pattern.
これにより、図４４８を用いて説明した動作のように、チェック値記憶部に記憶されているチェック値と、信号記憶部（ＩＤ記憶部）に記憶されている送信対象の信号から算出されたチェック値とが一致するか否かが判定され、一致しないと判定された場合にはエラーが報知されるため、発光体による信号送信機能の異常検出を容易に行うことができる。 As a result, as in the operation described with reference to FIG. 448, the check calculated from the check value stored in the check value storage unit and the transmission target signal stored in the signal storage unit (ID storage unit). It is determined whether or not the values match, and if it is determined that they do not match, an error is notified, so that the light emitter can easily detect an abnormality in the signal transmission function.
また、本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンに基づいて、前記被写体の輝度変化の周波数を特定する周波数特定ステップとを含む。例えば、前記周波数特定ステップでは、前記複数の輝線のパターンに含まれる、それぞれヘッダを示すために予め定められた複数のパターンである複数のヘッダパターンを特定し、前記複数のヘッダパターン間の画素数に応じた周波数を、前記被写体の輝度変化の周波数として特定する。 Further, the information communication method in the present embodiment is an information communication method for acquiring information from a subject, and corresponds to a plurality of exposure lines included in the image sensor in an image obtained by photographing the subject by the image sensor. An exposure time setting step for setting the exposure time of the image sensor so that a plurality of bright lines are generated in response to a change in the brightness of the subject, and the exposure time set by the image sensor for the subject whose brightness changes. The information is acquired by the image acquisition step of acquiring the bright line image including the plurality of bright lines and the data specified by the patterns of the plurality of bright lines included in the acquired bright line image. The information acquisition step is included, and a frequency specifying step for specifying the frequency of the brightness change of the subject based on the pattern of the plurality of bright lines included in the acquired bright line image is included. For example, in the frequency specifying step, a plurality of header patterns, which are a plurality of predetermined patterns for indicating a header, included in the plurality of emission line patterns, are specified, and the number of pixels between the plurality of header patterns is specified. The frequency corresponding to the above is specified as the frequency of the change in the brightness of the subject.
これにより、図４４３を用いて説明した動作のように、被写体の輝度変化の周波数が特定されるため、輝度変化の周波数が異なる複数の被写体が撮影される場合には、それらの被写体からの情報を容易に区別して取得することができる。 As a result, the frequency of the brightness change of the subject is specified as in the operation described with reference to FIG. 443. Therefore, when a plurality of subjects having different brightness change frequencies are photographed, information from those subjects is obtained. Can be easily distinguished and obtained.
また、前記画像取得ステップでは、それぞれ輝度変化する複数の被写体を撮影することによって、それぞれ複数の輝線によって表される複数のパターンを含む前記輝線画像を取得し、前記情報取得ステップでは、取得された前記輝線画像に含まれる前記複数のパターンのそれぞれの一部が重なっている場合には、前記複数のパターンのそれぞから前記一部を除く部分によって特定されるデータを復調することにより、前記複数のパターンのそれぞれから情報を取得してもよい。 Further, in the image acquisition step, by photographing a plurality of subjects whose brightness changes, the emission line image including a plurality of patterns represented by the plurality of emission lines is acquired, and in the information acquisition step, the images are acquired. When a part of each of the plurality of patterns included in the emission line image overlaps, the plurality of patterns are demodulated by demodulating the data specified by the portion of each of the plurality of patterns excluding the part. Information may be obtained from each of the patterns of.
これにより、図４４５を用いて説明した動作のように、複数のパターン（複数の輝線パターン）が重なっている部分からはデータの復調が行われないため、誤った情報を取得してしまうことを防ぐことができる。 As a result, as in the operation described with reference to FIG. 445, data is not demodulated from the portion where the plurality of patterns (plurality of bright line patterns) overlap, so that erroneous information is acquired. Can be prevented.
また、前記画像取得ステップでは、前記複数の被写体を互いに異なるタイミングで複数回撮影することによって、複数の輝線画像を取得し、前記周波数特定ステップでは、輝線画像ごとに、当該輝線画像に含まれる前記複数のパターンのそれぞれに対する周波数を特定し、前記情報取得ステップでは、前複数の輝線画像から、同一の周波数が特定された複数のパターンを検索し、検索された前記複数のパターンを結合し、結合された前記複数のパターンによって特定さるデータを復調することにより情報を取得してもよい。 Further, in the image acquisition step, a plurality of emission line images are acquired by photographing the plurality of subjects a plurality of times at different timings, and in the frequency specifying step, each emission line image is included in the emission line image. The frequency for each of the plurality of patterns is specified, and in the information acquisition step, a plurality of patterns in which the same frequency is specified are searched from the preceding plurality of emission line images, and the searched plurality of patterns are combined and combined. Information may be acquired by demodulating the data specified by the plurality of patterns.
これにより、複数の輝線画像から、同一の周波数が特定された複数のパターン（複数の輝線パターン）が検索され、検索された複数のパターンが結合され、結合された複数のパターンから情報が取得されるため、複数の被写体が移動している場合であっても、それらの複数の被写体からの情報を容易に区別して取得することができる。 As a result, a plurality of patterns (plurality of emission line patterns) in which the same frequency is specified are searched from a plurality of emission line images, the plurality of searched patterns are combined, and information is acquired from the plurality of combined patterns. Therefore, even when a plurality of subjects are moving, information from the plurality of subjects can be easily distinguished and acquired.
また、前記情報通信方法は、さらに、識別情報のそれぞれに対して周波数が登録されているサーバに対して、前記情報取得ステップで取得された情報に含まれる前記被写体の識別情報と、前記周波数特定ステップで特定された周波数を示す特定周波数情報とを送信する送信ステップと、前記識別情報と、前記特定周波数情報によって示される周波数とに関連付けられた関連情報を前記サーバから取得する関連情報取得ステップとを含んでもよい。 Further, in the information communication method, the identification information of the subject included in the information acquired in the information acquisition step and the frequency identification are further specified for the server in which the frequency is registered for each of the identification information. A transmission step of transmitting specific frequency information indicating the frequency specified in the step, and a related information acquisition step of acquiring the related information associated with the identification information and the frequency indicated by the specific frequency information from the server. May include.
これにより、図４４７を用いて説明した動作のように、被写体（送信機）の輝度変化に基づいて取得された識別情報（ＩＤ）と、その輝度変化の周波数とに関連付けられた関連情報が取得される。したがって、被写体の輝度変化の周波数を変更し、サーバに登録されている周波数を変更後の周波数に更新することによって、周波数の変更前に識別情報を取得した受信機がサーバから関連情報を取得することを防ぐことができる。つまり、被写体の輝度変化の周波数の変更に合わせて、サーバに登録されている周波数も変更することによって、被写体の識別情報を過去に取得した受信機が無期限にサーバから関連情報を取得し得る状態になってしまうことを防ぐことができる。 As a result, as in the operation described with reference to FIG. 447, the identification information (ID) acquired based on the brightness change of the subject (transmitter) and the related information associated with the frequency of the brightness change are acquired. Will be done. Therefore, by changing the frequency of the brightness change of the subject and updating the frequency registered in the server to the changed frequency, the receiver that acquired the identification information before the frequency change acquires the related information from the server. You can prevent that. That is, by changing the frequency registered in the server in accordance with the change in the frequency of the brightness change of the subject, the receiver that has acquired the subject identification information in the past can acquire the related information from the server indefinitely. It is possible to prevent it from becoming a state.
また、前記情報通信方法は、さらに、前記情報取得ステップで取得された前記情報から一部を抽出することによって、前記被写体の識別情報を取得する識別情報取得ステップと、前記情報取得ステップで取得された前記情報のうち、前記一部以外の残りの部分によって示される数を、前記被写体に対して設定されている輝度変化の設定周波数として特定する設定周波数特定ステップとを含んでもよい。 Further, the information communication method is further acquired in the identification information acquisition step of acquiring the identification information of the subject by extracting a part from the information acquired in the information acquisition step, and the information acquisition step. The information may include a set frequency specifying step that specifies the number indicated by the remaining part other than the part as the set frequency of the brightness change set for the subject.
これにより、図４４４を用いて説明した動作のように、複数の輝線のパターンから得られる情報に、被写体の識別情報と、被写体に設定されている輝度変化の設定周波数とを互いに依存することなく含めることができるため、識別情報と設定周波数との自由度を高めることができる。 As a result, as in the operation described with reference to FIG. 444, the information obtained from the patterns of the plurality of emission lines does not depend on the subject identification information and the set frequency of the luminance change set for the subject. Since it can be included, the degree of freedom between the identification information and the set frequency can be increased.
（実施の形態１８）
本実施の形態では、上記実施の形態１〜１７におけるスマートフォンなどの受信機と、ＬＥＤの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
(Embodiment 18)
In this embodiment, each application example using a receiver such as a smartphone in the above-described first to 17th embodiments and a transmitter that transmits information as an LED blinking pattern will be described.
図４８７は、実施の形態１８の送信信号の一例を示す図である。 FIG. 487 is a diagram showing an example of the transmission signal of the eighteenth embodiment.
送信信号Ｄを所定の大きさのデータ片Ｄｘ（例えば、Ｄｘ＝Ｄ１，Ｄ２，Ｄ３）に分割し、各データ片から計算した誤り検出・訂正用のフレームチェックシーケンスＦＣＳとヘッダＨｄｒを各データ片に付加する。さらに、元のデータから計算した誤り検出・訂正用のフレームチェックシーケンスＦＣＳ２とヘッダＨｄｒ２を付加する。Ｈｄｒ、Ｄｘ、ＦＣＳからなるデータは、イメージセンサで受信されるための構成である。イメージセンサは短時間に連続したデータを受信することに適しているため、Ｈｄｒ、Ｄｘ、ＦＣＳは連続的に送信する。Ｈｄｒ２， Ｄｘ， ＦＣＳ２からなるデータは、照度センサで受信されるための構成である。イメージセンサで受信されるＨｄｒとＦＣＳは短いほうが望ましいが、照度センサで受信されるＨｄｒ２とＦＣＳ２はより長い信号列とすることができる。Ｈｄｒ２に長い信号系列を用いることで、ヘッダ検出精度を高めることができる。ＦＣＳ２を長くすることで、多くのビット誤りを検出・訂正できる符号を採用することができ、誤り検出・訂正の性能を向上させることができる。なお、Ｈｄｒ２とＦＣＳ２を送信せず、代わりにＨｄｒやＦＣＳを照度センサで受信するとしてもよい。照度センサは、ＨｄｒとＨｄｒ２の両方、または、ＦＣＳとＦＣＳ２の両方を受信するとしてもよい。 The transmission signal D is divided into data pieces Dx (for example, Dx = D1, D2, D3) having a predetermined size, and the frame check sequence FCS and header Hdr for error detection / correction calculated from each data piece are divided into each data piece. To add to. Further, a frame check sequence FCS2 and a header Hdr2 for error detection / correction calculated from the original data are added. The data including Hdr, Dx, and FCS is configured to be received by the image sensor. Since the image sensor is suitable for receiving continuous data in a short time, Hdr, Dx, and FCS transmit continuously. The data consisting of Hdr2, Dx, and FCS2 is configured to be received by the illuminance sensor. It is desirable that the Hdr and FCS received by the image sensor be short, but the Hdr2 and FCS2 received by the illuminance sensor can have a longer signal sequence. By using a long signal sequence for Hdr2, the header detection accuracy can be improved. By lengthening the FCS2, it is possible to adopt a code capable of detecting and correcting many bit errors, and it is possible to improve the performance of error detection and correction. It should be noted that Hdr2 and FCS2 may not be transmitted, and Hdr and FCS may be received by the illuminance sensor instead. The illuminance sensor may receive both Hdr and Hdr2, or both FCS and FCS2.
図４８８は、実施の形態１８の送信信号の一例を示す図である。 FIG. 488 is a diagram showing an example of the transmission signal of the eighteenth embodiment.
ＦＣＳ２は信号長が長く、頻繁に挿入されているとイメージセンサでの受信効率が悪化する。そこで、ＦＣＳ２の挿入頻度を減らし、代わりにＦＣＳ２の場所を示す信号ＰｏＦＣＳ２を挿入する。例として、信号表現に単位時間あたり２ビットの情報量を持つ４ＰＰＭを用いた場合、ＦＣＳ２にＣＲＣ３２を用いると１６単位の送信時間が必要になるが、値域が０〜３のＰｏＦＣＳ２は１単位時間で送信できる。ＦＣＳ２のみを挿入する場合よりも送信時間が短縮されることで、イメージセンサ受信の効率を向上させることができる。照度センサは、送信信号Ｄに続くＰｏＦＣＳ２を受信し、ＰｏＦＣＳ２からＦＣＳ２の送信時刻を特定してＦＣＳ２を受信する。さらに、ＦＣＳ２に続くＰｏＦＣＳ２を受信し、次のＦＣＳ２の送信時刻を特定して次のＦＣＳ２を受信する。先に受信したＦＣＳ２と後に受信したＦＣＳ２が同じであれば、受信機は同じ信号を受信していると推定する。 The signal length of FCS2 is long, and if it is inserted frequently, the reception efficiency of the image sensor deteriorates. Therefore, the frequency of inserting the FCS2 is reduced, and instead, the signal PoFCS2 indicating the location of the FCS2 is inserted. As an example, when 4PPM having 2 bits of information per unit time is used for signal representation, 16 units of transmission time is required when CRC32 is used for FCS2, but PoFCS2 having a range of 0 to 3 requires 1 unit time. Can be sent with. Since the transmission time is shortened as compared with the case where only the FCS2 is inserted, the efficiency of image sensor reception can be improved. The illuminance sensor receives PoFCS2 following the transmission signal D, specifies the transmission time of FCS2 from PoFCS2, and receives FCS2. Further, PoFCS2 following FCS2 is received, the transmission time of the next FCS2 is specified, and the next FCS2 is received. If the FCS2 received earlier and the FCS2 received later are the same, it is presumed that the receiver is receiving the same signal.
図４８９Ａ〜図４８９Ｃは、実施の形態１８における受信機の撮像画像（輝線画像）の一例を示す図である。 489A to 489C are diagrams showing an example of an image (bright line image) captured by the receiver according to the eighteenth embodiment.
図４８９Ａに示す撮像画像では、写りが小さいため、輝線の数が少ない。したがって、この撮像画像からは、一度に少量のデータしか受信できない。図４８９Ｂに示す撮像画像は、ズームを用いて撮像した画像であり、写りが大きいため、輝線の数が多い。したがって、ズームを用いて撮像すれば、一度に多量のデータを受信できる。また、遠くからデータを受信可能で、小さな送信機の信号も受信できる。ズーム方法には、光学ズーム、または、Ｅｘズームを用いる。光学ズームはレンズの焦点距離を長くすることによるズームである。Ｅｘズームは、撮像素子の能力より低い解像度で撮像している場合に、撮像素子の全部ではなく一部だけを用いて撮像することで撮像画像の一部を拡大するズーム方法である。図４８９Ｃに示す撮像画像は、電子ズーム（画像の拡大）を用いて撮像した画像である。写りは大きくなるが、電子ズームによる拡大では輝線が太くなり、ズーム前と輝線の数が変わらないため、受信特性はズーム前と変わらない。 In the captured image shown in FIG. 489A, the number of bright lines is small because the image is small. Therefore, only a small amount of data can be received at one time from this captured image. The captured image shown in FIG. 489B is an image captured by using a zoom, and has a large number of bright lines because the image is large. Therefore, if an image is taken using a zoom, a large amount of data can be received at one time. It can also receive data from a distance and can receive signals from small transmitters. Optical zoom or Ex zoom is used as the zoom method. Optical zoom is a zoom by increasing the focal length of the lens. The Ex-zoom is a zoom method for enlarging a part of an captured image by taking an image using only a part of the image sensor instead of the whole when the image is taken at a resolution lower than the capacity of the image sensor. The captured image shown in FIG. 489C is an image captured by using an electronic zoom (enlargement of the image). Although the image is large, the bright lines become thicker when magnified by the electronic zoom, and the number of bright lines does not change from that before zooming, so the reception characteristics are the same as before zooming.
図４９０Ａおよび図４９０Ｂは、実施の形態１８における受信機の撮像画像（輝線画像）の一例を示す図である。 490A and 490B are diagrams showing an example of a captured image (bright line image) of the receiver according to the eighteenth embodiment.
図４９０Ａに示す撮像画像は、被写体にフォーカスを合わせて撮像した画像であり、図４９０Ｂに示す撮像画像は、フォーカスを外して撮像した画像である。図４９０Ｂに示す撮像画像では、ぼかして撮像したため実際の送信機の周囲まで輝線が観察でき、より多くの輝線が観察できる。したがって、フォーカスを外して撮像すれば、一度に多くのデータを受信でき、また、より遠くからデータを受信することができる。マクロモードを用いて撮像することでも、図４９０Ｂに示す撮像画像と同様の画像を撮像することができる。 The captured image shown in FIG. 490A is an image captured with the subject in focus, and the captured image shown in FIG. 490B is an image captured out of focus. In the captured image shown in FIG. 490B, since the image is blurred, the bright lines can be observed up to the periphery of the actual transmitter, and more bright lines can be observed. Therefore, if the image is taken out of focus, a large amount of data can be received at one time, and data can be received from a greater distance. By imaging using the macro mode, an image similar to the captured image shown in FIG. 490B can be captured.
図４９１Ａ〜図４９１Ｃは、実施の形態１８における受信機の撮像画像（輝線画像）の一例を示す図である。 491A to 491C are diagrams showing an example of a captured image (bright line image) of the receiver according to the eighteenth embodiment.
露光時間を、可視光通信モードよりも長く、通常撮像モードよりも短く設定して撮像することで、図４９１Ａに示すような画像が得られる。このような画像が得られる撮像モードを輝線検出モード（中間モード）と呼ぶ。図４９１Ａに示す画像では、左中央では送信機の輝線が観察でき、それ以外の部分では暗めの通常の撮像画像が現れている。この画像を受信機に表示することで、ユーザが受信機を目当ての送信機に向けて撮像することを容易にすることができる。輝線検出モードでは、通常撮像モードよりも暗く撮像されるため、高感度モードで撮像することで、通常撮像モードに近い、人間が視認しやすい明るさの画像を撮像することができる。感度を高く設定しすぎると輝線の暗い部分が明るくなってしまうため、感度は輝線が観察できる程度に設定する。受信機は、ユーザが画像をタッチする等の手段で指定した部分に撮像されている送信機の送信信号を、可視光通信モードに移行して受信する。受信機は、撮像画像中に輝線（送信信号）が見つかった場合に、自動的に可視光通信モードに移行して信号を受信するとしてもよい。 By setting the exposure time longer than the visible light communication mode and shorter than the normal imaging mode for imaging, an image as shown in FIG. 491A can be obtained. The imaging mode in which such an image is obtained is called a emission line detection mode (intermediate mode). In the image shown in FIG. 491A, the bright line of the transmitter can be observed in the left center, and a dark normal captured image appears in other parts. By displaying this image on the receiver, it is possible to facilitate the user to point the receiver at the target transmitter and take an image. In the bright line detection mode, the image is darker than in the normal imaging mode. Therefore, by imaging in the high-sensitivity mode, it is possible to capture an image having a brightness close to that of the normal imaging mode and easily visible to humans. If the sensitivity is set too high, the dark part of the bright line will become bright, so set the sensitivity to the extent that the bright line can be observed. The receiver shifts to the visible light communication mode and receives the transmission signal of the transmitter imaged in the portion designated by the user by touching the image or the like. When a bright line (transmission signal) is found in the captured image, the receiver may automatically shift to the visible light communication mode and receive the signal.
受信機は撮像画像中の輝線から送信信号を見つけ出し、その部分を図４９１Ｂに示すように強調して表示することで、信号が送信されている部分をユーザにわかりやすく提示することができる。輝線は、送信信号だけではなく、被写体の模様によっても観察されることがある。そこで、１枚の画像の輝線から送信信号の有無を判断するのではなく、複数の画像において輝線の位置が変化している場合に送信信号があると判断してもよい。 The receiver finds the transmission signal from the bright line in the captured image and highlights and displays the portion as shown in FIG. 491B, so that the portion where the signal is transmitted can be presented to the user in an easy-to-understand manner. The emission line may be observed not only by the transmitted signal but also by the pattern of the subject. Therefore, instead of determining the presence or absence of the transmission signal from the emission line of one image, it may be determined that there is a transmission signal when the position of the emission line changes in a plurality of images.
輝線検出モードで撮像した画像は通常撮像モードで撮像した画像よりも暗く視認性が悪いため、画像処理によって視認性を高めた画像を表示してもよい。図４９１Ｃに示す画像は、エッジを抽出して被撮像物の境界を強調した画像の一例である。 Since the image captured in the emission line detection mode is darker and has poor visibility than the image captured in the normal imaging mode, an image whose visibility has been improved by image processing may be displayed. The image shown in FIG. 491C is an example of an image in which edges are extracted to emphasize the boundaries of the image to be imaged.
図４９２は、実施の形態１８における受信機の撮像画像（輝線画像）の一例を示す図である。具体的には、図４９２は、信号送信の周期を１／９６００秒とした送信機を、図の下部に示した露光時間の比で撮像した図である。送信周期である１／９６００秒より短い露光時間では、撮像画像はほぼ同等で、鮮明な輝線が撮像できる。露光時間が長くなると輝線の輪郭がぼやけるが、この信号表現の例では、送信周期の約１．５倍までの露光時間であれば輝線のパターンが観察可能であり、信号を受信可能である。また、この信号表現の例では、送信周期の約２０倍までの露光時間であれば輝線を観察可能であり、この範囲の露光時間を輝線検出モードの露光時間として用いることができる。 FIG. 492 is a diagram showing an example of a captured image (bright line image) of the receiver according to the eighteenth embodiment. Specifically, FIG. 492 is a diagram in which a transmitter with a signal transmission cycle of 1/9600 seconds is imaged at a ratio of exposure times shown at the bottom of the figure. With an exposure time shorter than the transmission cycle of 1/9600 seconds, the captured images are almost the same, and clear bright lines can be captured. When the exposure time becomes long, the outline of the emission line becomes blurred, but in this signal expression example, the emission line pattern can be observed and the signal can be received if the exposure time is up to about 1.5 times the transmission cycle. Further, in the example of this signal expression, the emission line can be observed if the exposure time is up to about 20 times the transmission cycle, and the exposure time in this range can be used as the exposure time in the emission line detection mode.
どの程度の露光時間まで信号が受信できるかは、信号表現の方法によって異なる。輝線が少なく、輝線間の間隔が長くなる信号表現規則を用いれば、伝送効率は落ちるが、より長い露光時間でも信号を受信可能とし、また、より長い露光時間でも輝線を観察することができる。 How long the signal can be received depends on the method of signal expression. If a signal expression rule with few bright lines and a long interval between bright lines is used, the transmission efficiency is lowered, but the signal can be received even with a longer exposure time, and the bright lines can be observed even with a longer exposure time.
（中間撮像モードの露光時間）
図４９２より、露光時間が変調周期の３倍程度までであればはっきりとした輝線が観察できる。変調周波数は４８０Ｈｚ以上であるため、中間撮像モード（中間モード）の露光時間は、１／１６０秒以下とすることが望ましい。
(Exposure time in intermediate imaging mode)
From FIG. 492, a clear emission line can be observed if the exposure time is up to about 3 times the modulation cycle. Since the modulation frequency is 480 Hz or higher, the exposure time in the intermediate imaging mode (intermediate mode) is preferably 1/160 second or less.
また、露光時間が１／１００００秒以下では、照明光下では高感度モードで撮像しても非発光物は見えにくいため、中間撮像モードの露光時間は１／１００００秒以上であることが望ましい。ただし、今後撮像素子の感度が向上することで、この制限は緩和することができる。 Further, when the exposure time is 1/10000 seconds or less, it is difficult to see non-light emitting objects even if the image is taken in the high sensitivity mode under illumination light. Therefore, it is desirable that the exposure time in the intermediate imaging mode is 1/10000 seconds or more. However, this limitation can be relaxed by improving the sensitivity of the image sensor in the future.
図４９３は、実施の形態１８における送信信号の一例を示す図である。 FIG. 493 is a diagram showing an example of a transmission signal according to the eighteenth embodiment.
受信機は、受信した複数のデータ片を統合して一連の信号を受信するため、送信信号が急に変更されると、変更前後のデータ片が混じってしまい、信号を正しく統合することができない。そこで、図４９３の（ａ）のように、送信機は、送信信号変更時に、緩衝帯として所定の時間のあいだ通常点灯を行い、信号を送信しない。受信機は、前記所定の時間Ｔ１より短い所定の時間Ｔ２の間、信号を受信することができない場合に、それまでに受信したデータ片を破棄することで、変更前後のデータ片の混合を回避することができる。または、図４９３の（ｂ）のように、送信機は、送信信号変更時に、それを通知する信号Ｘを繰り返し送信する。繰り返し送信することで、送信信号変更通知Ｘの受信漏れを防ぐ。または、図４９３の（ｃ）のように、送信機は、送信信号変更時に、プリアンブルを繰り返し送信する。受信機は、通常の信号においてプリアンブルが現れる周期よりも短い周期でプリアンブルを受信した場合に、それまでに受信したデータ片を破棄する。 Since the receiver integrates multiple received data pieces and receives a series of signals, if the transmission signal is suddenly changed, the data pieces before and after the change will be mixed and the signals cannot be integrated correctly. .. Therefore, as shown in FIG. 493 (a), when the transmission signal is changed, the transmitter normally lights up as a buffer zone for a predetermined time and does not transmit the signal. When the receiver cannot receive the signal during the predetermined time T2 shorter than the predetermined time T1, the receiver discards the data pieces received so far to avoid mixing the data pieces before and after the change. can do. Alternatively, as shown in FIG. 493 (b), when the transmission signal is changed, the transmitter repeatedly transmits the signal X notifying the transmission signal. By repeatedly transmitting, it is possible to prevent omission of reception of the transmission signal change notification X. Alternatively, as shown in FIG. 493 (c), the transmitter repeatedly transmits the preamble when the transmission signal is changed. When the receiver receives the preamble in a cycle shorter than the cycle in which the preamble appears in a normal signal, the receiver discards the data pieces received so far.
図４９４は、実施の形態１８における受信機の動作の一例を示す図である。 FIG. 494 is a diagram showing an example of the operation of the receiver according to the eighteenth embodiment.
図４９４の（ａ）に示す画像は、ジャストフォーカスで送信機を撮像した画像である。受信機は、フォーカスを外して撮像することで、図４９４の（ｂ）のような画像を撮像することができる。さらにフォーカスを外すと、撮像画像は図４９４の（ｃ）に示す画像のようになる。図４９４の（ｃ）では、複数の送信機の輝線が重なってしまい、受信機は信号を受信することができない。そのため、受信機は、複数の送信機の輝線が重ならないようにフォーカスを調整して撮像する。撮像範囲に一つの送信機だけが存在する場合は、受信機は、撮像画像中で送信機の大きさが最大となるようにフォーカスを調整する。 The image shown in FIG. 494 (a) is an image obtained by capturing the transmitter with just focus. The receiver can take an image as shown in FIG. 494 (b) by taking an image out of focus. When the focus is further removed, the captured image looks like the image shown in FIG. 494 (c). In FIG. 494 (c), the emission lines of the plurality of transmitters overlap, and the receiver cannot receive the signal. Therefore, the receiver adjusts the focus so that the emission lines of the plurality of transmitters do not overlap, and takes an image. If there is only one transmitter in the imaging range, the receiver adjusts the focus to maximize the size of the transmitter in the captured image.
受信機は、撮像画像を輝線と平行な方向に圧縮してもよいが、輝線と垂直な方向には画像圧縮を行わない。または、受信機は、垂直な方向の圧縮の程度を低くする。これにより、圧縮によって輝線がぼやけて受信誤りが発生することを防ぐことができる。 The receiver may compress the captured image in a direction parallel to the emission line, but does not compress the image in a direction perpendicular to the emission line. Alternatively, the receiver reduces the degree of compression in the vertical direction. As a result, it is possible to prevent the bright line from being blurred due to compression and a reception error from occurring.
図４９５および図４９６は、実施の形態１８における受信機のスクリーンに表示するユーザへの指示の一例を示す図である。 495 and 496 are diagrams showing an example of instructions to the user to be displayed on the screen of the receiver according to the eighteenth embodiment.
受信機は、複数の送信機を撮像することで、各送信機の位置情報と、撮像画像中の各送信機の位置と大きさと角度から、三角測量の要領で受信機の位置を推定できる。そこで、一つの送信機のみが受信可能な形で撮像されている場合に、ユーザが受信機の方向を変えたり後方に下がって撮像したりすることで複数の送信機を撮像させるため、受信機は、矢印などを含む画像を表示することによって、撮像方向や移動方向の指示を行う。図４９５の（ａ）は、受信機を右へ向けて右側の送信機を撮像させる指示の表示例であり、図４９５の（ｂ）は、後ろに下がって手前の送信機を撮像させる指示の表示例である。図４９６は、受信機にとって他の送信機の位置が不明であるため、受信機を振るなどして他の送信機を撮像させる指示の表示例である。一枚の撮像画像中に複数の送信機が撮影されるほうが望ましいが、画像処理や９軸センサのセンサ値を用いて複数枚の画像中の送信機の位置関係を推定してもよい。受信機は、一つの送信機から受信したＩＤを用い、周辺の送信機の位置情報をサーバに問い合わせ、最も撮像しやすい送信機を撮像するようにユーザへ指示を行ってもよい。 By imaging a plurality of transmitters, the receiver can estimate the position of the receiver from the position information of each transmitter and the position, size, and angle of each transmitter in the captured image in the manner of triangulation. Therefore, when only one transmitter is imaged in a receivable form, the user changes the direction of the receiver or moves backward to image a plurality of transmitters. Instructs the imaging direction and the moving direction by displaying an image including an arrow or the like. FIG. 495 (a) is a display example of an instruction to turn the receiver to the right and image the transmitter on the right side, and FIG. 495 (b) is an instruction to move backward to image the transmitter in front. This is a display example. FIG. 496 is a display example of an instruction to image another transmitter by shaking the receiver because the position of the other transmitter is unknown to the receiver. It is desirable that a plurality of transmitters are photographed in one captured image, but the positional relationship of the transmitters in the plurality of images may be estimated by using image processing or the sensor value of the 9-axis sensor. The receiver may use the ID received from one transmitter, inquire the server about the position information of the transmitters in the vicinity, and instruct the user to take an image of the transmitter that is the easiest to take an image.
受信機は、９軸センサのセンサ値からユーザが受信機を移動させていることを検知し、移動が終了して所定の時間経過後に、最後に受信した信号に基づいた画面の表示を行う。これにより、ユーザが意図した送信機へ受信機を向ける際に、受信機の移動中に他の送信機の信号を受信してしまい、意図しない送信機の送信信号に基づいた処理を行ってしまうことを防ぐことができる。 The receiver detects that the user is moving the receiver from the sensor value of the 9-axis sensor, and displays a screen based on the last received signal after the movement is completed and a predetermined time elapses. As a result, when the receiver is pointed at the transmitter intended by the user, the signal of another transmitter is received while the receiver is moving, and processing based on the transmission signal of the unintended transmitter is performed. You can prevent that.
受信機は、移動されている間も受信処理を続け、受信した信号に基づいた処理、例えば、受信信号をキーとしたサーバからの情報取得等を行ってもよい。この場合、その処理の後も受信処理を続け、最後に受信した信号に基づいた処理を最終的な処理とする。 The receiver may continue the reception process while being moved, and perform processing based on the received signal, for example, information acquisition from the server using the received signal as a key. In this case, the reception process is continued even after the process, and the process based on the last received signal is the final process.
受信機は、所定の回数受信した信号を処理したり、ユーザへ通知したりするとしてもよい。受信機は、移動されている間に最も多い回数受信できた信号を処理するとしてもよい。 The receiver may process the signal received a predetermined number of times or notify the user. The receiver may process the signal that was received the most times while being moved.
受信機は、信号の受信に成功したときや、撮像画像中に信号の存在を検知したときに、ユーザに通知する通知手段を備えていてもよい。通知手段は、音、バイブレーション、またはディスプレイの更新（ポップアップ表示等）などによって通知する。これにより、ユーザは、送信機の存在を知ることができる。 The receiver may include a notification means for notifying the user when the signal is successfully received or when the presence of the signal is detected in the captured image. The notification means notifies by sound, vibration, display update (pop-up display, etc.), or the like. This allows the user to know the existence of the transmitter.
図４９７は、実施の形態１８における信号送信方法の一例を示す図である。 FIG. 497 is a diagram showing an example of the signal transmission method according to the eighteenth embodiment.
例えばディスプレイとして構成される複数の送信機が隣接して配置されている。複数の送信機は、同一の信号を送信する場合、信号送信のタイミングを同期させ、図４９７の（ａ）のように全面から信号を送信する。この構成により、受信機には複数のディスプレイが一つの大きな送信機として観察されるため、受信機はより高速に、また、より遠距離から信号を受信できる。複数の送信機が異なる信号を送信する場合は、図４９７の（ｂ）のように、複数の送信機は、信号を送信しない緩衝帯（非送信領域）を設けて信号を送信する。この構成により、受信機は、複数の送信機が緩衝帯を隔てた互いに別の送信機であると認識し、別々の信号を受信することができる。 For example, a plurality of transmitters configured as displays are arranged adjacent to each other. When transmitting the same signal, the plurality of transmitters synchronize the timing of signal transmission and transmit the signal from the entire surface as shown in FIG. 497 (a). With this configuration, the receiver observes a plurality of displays as one large transmitter, so that the receiver can receive signals at higher speed and from a longer distance. When a plurality of transmitters transmit different signals, the plurality of transmitters transmit signals by providing a buffer zone (non-transmission area) in which the signals are not transmitted, as shown in FIG. 497 (b). With this configuration, the receiver can recognize that the plurality of transmitters are different transmitters across the buffer zone and receive different signals.
図４９８は、実施の形態１８における信号送信方法の一例を示す図である。 FIG. 498 is a diagram showing an example of the signal transmission method according to the eighteenth embodiment.
図４９８の（ａ）に示すように、液晶ディスプレイは、バックライト消灯期間を設け、バックライトの消灯中に液晶の状態を変化させることで、状態変化中の画像を不可視とし、動的解像感を高めることができる。このようなバックライト制御を行っている液晶ディスプレイに対しては、図４９８の（ｂ）に示すように、バックライトの点灯周期に合わせて信号を重畳する。一揃いのデータ（Ｈｄｒ、Ｄａｔａ、ＦＣＳ）を連続して送信することで、受信効率を高めることができる。また、バックライトの点灯期間の最初と最後では発光部は明るい状態（Ｈｉ）となる。発光部が暗い状態（Ｌｏ）がバックライト消灯期間と連続すると、信号としてＬｏが送信されているのか、バックライト消灯期間のため暗い状態にあるのかの判断が受信機にはできないためである。 As shown in FIG. 498 (a), the liquid crystal display is provided with a backlight extinguishing period, and the state of the liquid crystal is changed while the backlight is extinguished to make the image during the state change invisible and dynamically resolve. You can enhance the feeling. As shown in FIG. 498 (b), a signal is superimposed on the liquid crystal display that performs such backlight control in accordance with the lighting cycle of the backlight. Reception efficiency can be improved by continuously transmitting a set of data (Hdr, Data, FCS). Further, at the beginning and the end of the lighting period of the backlight, the light emitting portion is in a bright state (Hi). This is because if the light emitting unit is in a dark state (Lo) continuously with the backlight extinguishing period, the receiver cannot determine whether Lo is transmitted as a signal or whether the light emitting unit is in a dark state due to the backlight extinguishing period.
バックライト消灯期間は、平均輝度を低くした信号を重畳してもよい。 During the backlight extinguishing period, a signal having a low average brightness may be superimposed.
信号を重畳することで、重畳しない場合と比べて平均輝度が変化するため、バックライト点灯期間を増減したり、バックライト点灯時の輝度を上下させて、平均輝度が等しくなるように調整する。 Since the average brightness changes by superimposing the signals as compared with the case where the signals are not superimposed, the backlight lighting period is increased or decreased, or the brightness when the backlight is lit is increased or decreased to adjust so that the average brightness becomes equal.
図４９９は、実施の形態１８における信号送信方法の一例を示す図である。 FIG. 499 is a diagram showing an example of the signal transmission method according to the eighteenth embodiment.
液晶ディスプレイは、バックライト制御を位置ごとに異なるタイミングで行うことで、画面全体の輝度変化を低減させることができる。これをバックライトスキャンと呼ぶ。バックライトスキャンは通常は図４９９の（ａ）のように端から順にバックライトを点灯するように行われる。このとき、撮像画像８８０２ａが得られる。しかし、撮像画像８８０２ａでは、輝線が存在している部分が分断されており、ディスプレイの画面全体がひとつの送信機であることを推定できない場合がある。そこで、図４９９の（ｂ）のように、縦軸をバックライトスキャンの分割方向の空間軸、横軸を時間軸として表示したときに発光している（信号を重畳している）部分が全てつながるようにバックライトスキャンの順序を設定することで、撮像画像８８０２ｂを得ることができる。撮像画像８８０２ｂでは、輝線部分が全て連結しており、一つの送信機からの送信信号であることが容易に推定できる。また、連続して受信可能な輝線の数が増えるため、速く、遠くから信号を受信できる。また、送信機の大きさの推定も容易となるため、撮像画像中の送信機の位置、大きさ、角度から受信機の位置を精度よく推定することができる。
The liquid crystal display can reduce the change in the brightness of the entire screen by performing the backlight control at different timings for each position. This is called a backlight scan. The backlight scan is usually performed so as to turn on the backlight in order from the end as shown in FIG. 499 (a). At this time, the captured
図５００は、実施の形態１８における信号送信方法の一例を示す図である。 FIG. 500 is a diagram showing an example of the signal transmission method according to the eighteenth embodiment.
時分割バックライトスキャンにおいて、バックライトの点灯期間が短く、縦軸をバックライトスキャンの分割方向の空間軸、横軸を時間軸とするグラフ上において、発光している（信号を重畳している）部分をつなぐことができない場合は、それぞれの発光部分において図４９８の場合と同様にバックライトの発光タイミングに合わせて信号を重畳する。このとき、グラフ上の他のバックライト点灯部分との距離が最大になるようにバックライトを制御することで、隣接部分の輝線が混じることを防ぐことができる。 In a time-division backlight scan, the lighting period of the backlight is short, and light is emitted (signals are superimposed) on a graph whose vertical axis is the space axis in the division direction of the backlight scan and the horizontal axis is the time axis. ) When the parts cannot be connected, signals are superimposed on each light emitting part according to the light emitting timing of the backlight as in the case of FIG. 498. At this time, by controlling the backlight so that the distance from the other backlight lighting portions on the graph is maximized, it is possible to prevent the emission lines of the adjacent portions from being mixed.
図５０１は、実施の形態１８におけるユースケースを説明するための図である。本実施の形態におけるシステムは、可視光通信を行う照明器具１００、可視光通信機能を持つウェアラブルデバイス１０１、スマートフォン１０２、およびサーバー１０３から構成される。
FIG. 501 is a diagram for explaining a use case according to the eighteenth embodiment. The system according to the present embodiment includes a
本実施の形態の目的は、可視光通信を用いて、ユーザーが店舗で買い物をする場合の、一連の手間を省き、買い物にかかる時間を短縮することにある。従来、店舗で商品を購入する際は、予めその店舗のサイトを検索してクーポン情報を取得する必要があった。また店内でそのクーポン対象になっている商品を探す場合に時間がかかってしまうという課題があった。 An object of the present embodiment is to save a series of troubles when a user makes a purchase at a store by using visible light communication, and to shorten the time required for shopping. Conventionally, when purchasing a product at a store, it has been necessary to search the site of the store in advance to obtain coupon information. In addition, there is a problem that it takes time to search for the product that is the target of the coupon in the store.
図５０１に示すように、照明器具１００は、店舗（例として家電量販店を想定する）の前で、定期的に可視光通信を用いて、自機の照明ＩＤ情報を送信している。ユーザーのウェアラブルデバイス１０１は、この照明ＩＤ情報を受信すると、近距離無線通信を用いて、スマートフォン１０２に照明ＩＤ情報を送信する。スマートフォン１０２は携帯回線などを用いてサーバー１０３にユーザーの情報と照明ＩＤ情報を送信する。スマートフォン１０２は、サーバー１０３よりユーザーの目の前にある店舗のポイント情報や、クーポン情報等を受け取る。ユーザーは、サーバー１０３より受け取った情報を、ウェアラブルデバイス１０１やスマートフォン１０２で閲覧する。ユーザーは表示された店舗の商品情報をその場で購入したり、店舗内の展示場所まで誘導を受けることが可能となる。以下、図を用いて詳細に説明する。
As shown in FIG. 501, the
図５０２は、スマートフォン１０２がサーバー１０３に送信する情報テーブルを示す図である。スマートフォン１０２に保持されているその店舗の会員番号、店舗のＩＤ情報、送信時刻、位置情報に加え、スマートフォン１０２に蓄えられているユーザーの趣向情報や生体情報、検索履歴や行動履歴情報をスマートフォン１０２は送信する。
FIG. 502 is a diagram showing an information table transmitted by the
図５０３は、サーバー１０３のブロック図である。送受信部２０１は、スマートフォン１０２から送信された情報を受信する。制御部２０２は、全体の制御を行う。会員情報ＤＢ２０３には、会員番号やその会員番号のユーザーの氏名や生年月日、ポイント情報、購入履歴等が保存されている。店舗ＤＢ２０４には、店舗ＩＤと、その店舗で販売している商品情報、店舗の陳列情報、店舗の地図情報など、店舗内の情報が保存されている。通知情報生成部２０５は、ユーザーの趣向に沿ったクーポン情報やおすすめ商品情報を生成する。
FIG. 503 is a block diagram of the
図５０４は、上記システムの全体の処理を示すフローチャートである。ウェアラブルデバイス１０１は照明器具１００から照明ＩＤを受信する（Ｓ３０１）。次にウェアラブルデバイス１０１は照明ＩＤをＢｌｕｅｔｏｏｔｈ（登録商標）等の近接無線通信等を用いて、スマートフォン１０２に送信する（Ｓ３０２）。次にスマートフォン１０２は、図５０２で示した、自身の持つユーザーの履歴情報と、会員番号と、照明ＩＤをサーバー１０３に送信する（Ｓ３０３）。サーバー１０３はデータを受信すると、データは、まず制御部２０２へ送信される（Ｓ３０４）。次に制御部２０２は会員番号を会員ＤＢ２０３に照会し、会員情報を取得する（Ｓ３０５）。次に制御部２０２は照明ＩＤを店舗ＤＢ２０４に照会し、店舗情報を取得する（Ｓ３０６）。店舗情報には、店舗に在庫がある商品情報、店舗として販売を促進したい商品の情報、クーポン情報や、店舗の店内地図情報等が含まれる。制御部２０２は会員情報と、店舗情報を通知情報生成部に送信する（Ｓ３０７）。通知情報生成部２０５は、会員情報と、店舗情報から、ユーザーに適した広告情報を生成し、制御部２０２へ送信する（Ｓ３０８）。制御部２０２は会員情報と広告情報を送受信部２０１へ送信する（Ｓ３０９）。会員情報には、ユーザーのポイント情報や有効期限情報などが含まれる。送受信部２０１は会員情報と広告情報をスマートフォン１０２に送信する（Ｓ３１０）。スマートフォン１０２は受信した情報を表示画面に表示する（Ｓ３１１）。
FIG. 504 is a flowchart showing the entire processing of the system. The
さらに、スマートフォン１０２はサーバー１０３から受けた情報をウェアラブルデバイス１０１へ転送する（Ｓ３１２）。ウェアラブルデバイス１０１の通知設定がＯＮであるならば、ウェアラブルデバイス１０１は情報を表示する（Ｓ３１４）。なお、ウェアラブルデバイスは情報を表示する際は、ヴァイブレーション等でユーザーに注意喚起を促すことが望ましい。これは、ユーザーは必ずしもその店舗に入るわけではないため、クーポン情報などを送信していても、ユーザーが気づかない場合があるためである。
Further, the
図５０５は、サーバー１０３がスマートフォン１０２へ送信する情報テーブルを示す図である。店舗地図ＤＢとは、店内のどの位置にどの商品が陳列されているかといった店内の案内情報である。店舗の商品情報とは、その店舗に在庫がある商品の情報や商品の価格情報などである。ユーザー会員情報とはユーザーのポイント情報や、会員カードの有効期限情報などである。
FIG. 505 is a diagram showing an information table transmitted by the
図５０６は、ユーザーが店舗前でサーバー１０３から情報を受け取ってから実際に商品を購入するまでのウェアラブルデバイス１０１に表示される画面フローを示す図である。店舗前では、ユーザーが来店した場合に付与されるポイントと、クーポン情報が表示されている。ユーザーがクーポン情報をタップすると、サーバー１０３から送信された、ユーザーの趣向に沿った情報が表示される。例えばユーザーがテレビをタップすると、おすすめのテレビの情報が表示される。ここで購入ボタンを押すと、受取方法の選択画面が表示され、自宅への配送か、店内での受取かを選ぶこととができる。本実施の形態では、ユーザーがどの店舗にいるかが分かっているため、店舗で受け取ることができるというメリットがある。フロー４０３で売り場へ誘導するを選択すると、ウェアラブルデバイス１０１はＧｕｉｄｅＭｏｄｅへ移行する。このモードは矢印等を用いてユーザーを特定の場所へ誘導するモードであり、選択した商品が実際に陳列されている場所へとユーザーを誘導することができる。商品棚の前に案内されると、ウェアラブルデバイス１０１は購入の要否を問い合わせる画面に遷移する。ユーザーは該当商品を実際に見ることでサイズや色、使い勝手などを試してから商品の購入判断をすることが可能となる。
FIG. 506 is a diagram showing a screen flow displayed on the
なお、本発明における可視光通信は、精度よくユーザーの位置を特定することが可能である。このため、例えば図５０７のように工場内の危険地域にユーザーが入りそうな場合には警告を与えることも可能である。さらに、警告を発するかどうかは、ウェアラブルデバイス側で決定することが可能であるため、例えば特定の年齢以下の子供には警告を出すといった自由度の高い警告システムを構築することができる。 The visible light communication in the present invention can accurately identify the user's position. Therefore, it is possible to give a warning when a user is likely to enter a dangerous area in the factory as shown in FIG. 507, for example. Further, since it is possible for the wearable device to decide whether or not to issue a warning, it is possible to construct a warning system with a high degree of freedom, for example, issuing a warning to a child under a specific age.
（実施の形態１９）
図５０８は、既に説明した実施の形態に記載の受信方法を用いたサービス提供システムを示す図である。
(Embodiment 19)
FIG. 508 is a diagram showing a service providing system using the receiving method described in the embodiment described above.
まず、サーバｅｘ８００２を管理する企業Ａ ｅｘ８０００に対して、他の企業Ｂや個人ｅｘ８００１が、携帯端末への情報の配信を依頼する。例えば、サイネージと可視光通信した携帯端末に対して、詳細な広告情報や、クーポン情報、または、地図情報などの配信を依頼する。サーバを管理する企業Ａ ｅｘ８０００は、任意のＩＤ情報に対応させて携帯端末へ配信する情報を管理する。携帯端末ｅｘ８００３は、可視光通信により被写体ｅｘ８００４からＩＤ情報を取得し、取得したＩＤ情報をサーバｅｘ８００２へ送信する。サーバｅｘ８００２は、ＩＤ情報に対応する情報を携帯端末へ送信するとともに、ＩＤ情報に対応する情報を送信した回数をカウントする。サーバを管理する企業Ａ ｅｘ８０００は、カウントした回数に応じた料金を、依頼した企業Ｂや個人ｅｘ８００１に対して課金する。例えば、カウント数が大きい程、課金する額を大きくする。 First, another company B or an individual ex8001 requests the company A ex8000 that manages the server ex8002 to deliver information to the mobile terminal. For example, a mobile terminal that communicates with signage by visible light is requested to deliver detailed advertisement information, coupon information, map information, or the like. The company A ex8000 that manages the server manages the information to be distributed to the mobile terminal in correspondence with arbitrary ID information. The mobile terminal ex8003 acquires ID information from the subject ex8004 by visible light communication, and transmits the acquired ID information to the server ex8002. The server ex8002 transmits the information corresponding to the ID information to the mobile terminal and counts the number of times the information corresponding to the ID information is transmitted. The company A ex8000 that manages the server charges the requesting company B and the individual ex8001 for a fee according to the number of times counted. For example, the larger the number of counts, the larger the amount to be charged.
図５０９は、サービス提供のフローを示すフローチャートである。 FIG. 509 is a flowchart showing the flow of service provision.
Ｓｔｅｐ ｅｘ８０００において、サーバを管理する企業Ａが、他企業Ｂより情報配信の依頼を受ける。次に、Ｓｔｅｐ ｅｘ８００１において、企業Ａが管理するサーバにおいて、配信依頼を受けた情報を、特定のＩＤ情報と関連付ける。Ｓｔｅｐ ｅｘ８００２では、携帯端末が、可視光通信により、被写体から特定のＩＤ情報を受信し、企業Ａが管理するサーバへ送信する。可視光通信方法の詳細については、他の実施の形態において既に説明しているため省略する。サーバは、携帯端末から送信された特定のＩＤ情報に対応する情報を携帯端末に対して送信する。Ｓｔｅｐ ｅｘ８００３では、サーバにおいて、情報配信した回数をカウントする。最後に、Ｓｔｅｐ ｅｘ８００４において、情報配信したカウント数に応じた料金を企業Ｂに対して課金する。このように、カウント数に応じて、課金を行うことにより、情報配信の宣伝効果に応じた適切な料金を企業Ｂに課金することが可能となる。 In Step ex8000, the company A that manages the server receives a request for information distribution from another company B. Next, in Step ex8001, in the server managed by the company A, the information for which the distribution request has been received is associated with the specific ID information. In Step ex8002, the mobile terminal receives specific ID information from the subject by visible light communication and transmits it to the server managed by the company A. The details of the visible light communication method will be omitted because they have already been described in the other embodiments. The server transmits information corresponding to the specific ID information transmitted from the mobile terminal to the mobile terminal. Step ex8003 counts the number of times information is distributed on the server. Finally, in Step ex8004, the company B is charged a fee according to the number of counts for which information has been distributed. In this way, by charging according to the number of counts, it is possible to charge the company B an appropriate charge according to the advertising effect of the information distribution.
図５１０は、他の例におけるサービス提供を示すフローチャートである。図５０９と重複するステップについては説明を省略する。 FIG. 510 is a flowchart showing service provision in another example. The description of the step overlapping with FIG. 509 will be omitted.
Ｓｔｅｐ ｅｘ８００８において、情報配信の開始から所定時間が経過したか否か判断する。所定時間内と判断されれば、Ｓｔｅｐ ｅｘ８０１１において、企業Ｂに対しての課金は行わない。一方、所定期間が経過していると判断された場合には、Ｓｔｅｐ ｅｘ８００９において、情報を配信した回数をカウントする。そして、Ｓｔｅｐ ｅｘ８０１０において、情報配信したカウントに応じた料金を企業Ｂに対して課金する。このように、所定期間内は無料で情報配信を行うことから、企業Ｂは宣伝効果などを確認した上で、課金サービスを受けることができる。 In Step ex8008, it is determined whether or not a predetermined time has elapsed from the start of information distribution. If it is determined that the time is within the predetermined time, the company B will not be charged in Step ex8011. On the other hand, when it is determined that the predetermined period has passed, Step ex8009 counts the number of times the information has been distributed. Then, in Step ex8010, the company B is charged a fee according to the count of information distribution. In this way, since the information is distributed free of charge within the predetermined period, the company B can receive the billing service after confirming the advertising effect and the like.
図５１１は、他の例におけるサービス提供を示すフローチャートである。図５１０と重複するステップについては説明を省略する。 FIG. 511 is a flowchart showing service provision in another example. The description of the step overlapping with FIG. 510 will be omitted.
Ｓｔｅｐ ｅｘ８０１４において、情報を配信した回数をカウントする。Ｓｔｅｐ ｅｘ８０１５において、情報配信開始から所定期間が経過していないと判断された場合には、Ｓｔｅｐ ｅｘ８０１６において課金は行わない。一方、所定期間が経過していると判断された場合には、Ｓｔｅｐ ｅｘ８０１７において、情報を配信した回数が所定値以上か否か判断を行う。情報を配信した回数が所定値に満たない場合には、カウント数をリセットし、再度、情報を配信した回数をカウントする。この場合、情報を配信した回数が所定値未満だった、所定期間については企業Ｂに対して課金は行わない。Ｓｔｅｐ ｅｘ８０１７において、カウント数が所定値以上であれば、Ｓｔｅｐ ｅｘ８０１８においてカウント数を一度リセットし、再度カウントを再開する。Ｓｔｅｐ ｅｘ８０１９において、カウント数に応じた料金を企業Ｂに対して課金する。このように、無料で配信を行った期間内におけるカウント数が少なかった場合に、再度、無料配信の期間を設けることで、企業Ｂは適切なタイミングで課金サービスを受けることができる。また、企業Ａもカウント数が少なかった場合に、情報内容を分析し、例えば、季節と対応しない情報になっているような場合に、情報内容を変更するように企業Ｂに対し提案することが可能となる。なお、再度、無料の情報配信期間を設ける場合には、初回の所定の期間よりも短い期間としてもよい。初回の所定の期間よりも短くすることにより、企業Ａに対する負担を小さくすることができる。また、一定期間を空けて、無料の配信期間を再度設ける構成としてもよい。例えば、季節の影響を受ける情報であれば、季節が変わるまで一定期間を空けて、再度、無料の配信期間を設けることができる。 In Step ex8014, the number of times the information is distributed is counted. If it is determined in Step ex8015 that a predetermined period has not passed since the start of information distribution, no charge is made in Step ex8016. On the other hand, when it is determined that the predetermined period has passed, Step ex8017 determines whether or not the number of times the information has been distributed is equal to or greater than the predetermined value. If the number of times the information is delivered is less than the predetermined value, the count number is reset and the number of times the information is delivered is counted again. In this case, the company B is not charged for the predetermined period in which the number of times the information is distributed is less than the predetermined value. In Step ex8017, if the count number is equal to or more than a predetermined value, the count number is reset once in Step ex8018 and the count is restarted again. In Step ex8019, a fee according to the number of counts is charged to the company B. In this way, when the number of counts within the period of free distribution is small, the company B can receive the billing service at an appropriate timing by setting the period of free distribution again. In addition, company A can also analyze the information content when the count number is small, and propose to company B to change the information content when the information does not correspond to the season, for example. It will be possible. If the free information distribution period is to be provided again, the period may be shorter than the initial predetermined period. By making it shorter than the initial predetermined period, the burden on the company A can be reduced. In addition, a free distribution period may be provided again after a certain period of time. For example, if the information is affected by the season, a free distribution period can be provided again after a certain period of time until the season changes.
なお、情報の配信回数によらず、データ量に応じて、課金料金を変更するとしてもよい。一定のデータ量の配信は無料として、所定のデータ量以上は、課金する構成としてもよい。また、データ量が大きくなるにつれて、課金料金も大きくしてもよい。また、情報を特定のＩＤ情報に対応付けて管理する際に、管理料を課金してもよい。管理料として課金することにより、情報配信を依頼した時点で、料金を決定することが可能となる。 The billing fee may be changed according to the amount of data regardless of the number of times the information is distributed. Distribution of a certain amount of data may be free of charge, and more than a predetermined amount of data may be charged. Further, as the amount of data increases, the billing fee may also increase. In addition, a management fee may be charged when managing the information in association with specific ID information. By charging as a management fee, it is possible to determine the fee at the time of requesting information distribution.
（実施の形態２０）
（受信しやすい変調方式）
図５１２Ａ、図５１２Ｂおよび図５１３は、実施の形態２０における信号の符号化の一例を示す図である。
(Embodiment 20)
(Modulation method that is easy to receive)
512A, 512B and 513 are diagrams showing an example of signal coding according to the twentieth embodiment.
送信信号はヘッダ（Ｈ）とボディ（Ｂｏｄｙ）で構成される。ヘッダには、ユニークな信号パターンが含まれている。受信機は、受信信号中からこのユニークなパターンを見つけ出し、その位置を基準にして受信信号のどの部分がヘッダまたはボディを表しているかを認識し、データを受信する。 The transmission signal is composed of a header (H) and a body (Body). The header contains a unique signal pattern. The receiver finds this unique pattern in the received signal, recognizes which part of the received signal represents the header or body based on the position, and receives the data.
送信信号が図５１２Ａの（ａ）のパターンで変調されるとき、受信機は、ヘッダとそれに続くボディを連続で受信したときにデータを受信できる。受信機が連続で信号を受信できる時間的な長さは、撮像画像（撮影画像）に映る送信機の大きさによって決定される。送信機が小さい場合や、送信機を遠くから撮像した場合には、受信機が連続で信号を受信できる時間は短い。受信機が連続で信号を受信できる時間（連続受信時間）が、ヘッダとボディを含む１ブロックの送信時間と同じである場合は、ヘッダの送信開始時点と受信開始時点が等しい場合にのみ、受信機はデータを受信できる。図５１２Ａの（ａ）は、連続受信時間がヘッダとボディを含む１ブロックの送信時間より少し長い場合を示す。矢印線は連続受信時間を表しており、太線で表したタイミングで信号を受信した場合にはデータを受信可能であるが、細線で表したタイミングで信号を受信した場合には、受信信号中にヘッダとボディが揃っていないため、データを受信することはできない。 When the transmit signal is modulated in the pattern (a) of FIG. 512A, the receiver can receive the data when it continuously receives the header followed by the body. The length of time that the receiver can continuously receive signals is determined by the size of the transmitter reflected in the captured image (captured image). When the transmitter is small or when the transmitter is imaged from a distance, the time during which the receiver can continuously receive signals is short. If the time during which the receiver can continuously receive signals (continuous reception time) is the same as the transmission time of one block including the header and body, reception is performed only when the transmission start time and reception start time of the header are equal. The machine can receive the data. FIG. 512A (a) shows a case where the continuous reception time is slightly longer than the transmission time of one block including the header and the body. The arrow line indicates the continuous reception time, and data can be received when the signal is received at the timing indicated by the thick line, but when the signal is received at the timing indicated by the thin line, it is included in the received signal. Data cannot be received because the header and body are not aligned.
そこで、送信信号を図５１２Ａの（ｂ）のパターンで変調することで、より広い受信タイミングでデータの受信を可能とすることができる。送信機は、「ボディ・ヘッダ・ボディ」を一組として変調された信号を送信する。ここで、同じ組にある２つのボディは同じ信号である。受信機は、ボディに含まれる全ての信号を連続で受信しなくても、ヘッダの前後のそれぞれにあるボディの部分をつなぎ合わせることでボディを復元できるため、ヘッダに含まれる全ての信号を連続で受信できればデータを受信可能である。図５１２Ａでは、データを受信可能な受信タイミングを太線で表しており、（ｂ）の場合は（ａ）の場合に比べてより広い受信タイミングでデータの受信が可能であることがわかる。 Therefore, by modulating the transmission signal with the pattern (b) of FIG. 512A, it is possible to receive data at a wider reception timing. The transmitter transmits a modulated signal as a set of "body, header, and body". Here, two bodies in the same set have the same signal. Even if the receiver does not receive all the signals contained in the body continuously, the body can be restored by connecting the parts of the body before and after the header, so all the signals contained in the header can be continuously received. If you can receive it with, you can receive the data. In FIG. 512A, the reception timing at which data can be received is represented by a thick line, and it can be seen that in the case of (b), data can be received at a wider reception timing than in the case of (a).
図５１２Ａの（ｂ）の変調方式の場合、ボディの信号長が固定値であれば、受信機はボディを復元できる。または、ヘッダにボディの信号長の情報が含まれていれば、受信機はボディを復元できる。 In the case of the modulation method (b) of FIG. 512A, if the signal length of the body is a fixed value, the receiver can restore the body. Alternatively, the receiver can restore the body if the header contains information on the signal length of the body.
つまり、図５１２Ｂに示すように、受信機は、まず、輝線が含まれる撮影画像（輝線画像）から、ユニークな輝線のパターンからなるヘッダを見つける。そして、受信機は、そのヘッダの後（図５１２Ｂ中の（１）の方向）に続くボディの各信号を順次読み出す。このとき、受信機は、信号を読み出すごとに、ボディの信号長の分だけ、そのボディの信号を読み出したか否かを判断する。つまり、ボディに含まれる全ての信号を読み出したか否かを判断する。読み出していないと判断したときには、受信機は、読み出された信号の後に続く信号を読み出す。しかし、その後に続く信号がない場合には、受信機は、ヘッダの前（図５１２Ｂ中の（２）の方向）に続くボディの各信号を順次読み出す。これにより、ボディに含まれる全ての信号が読み出される。ここで、ボディの信号長が固定長であれば、受信機は、その信号長を予め保持しており、その信号長を用いて上述の判断を行う。または、受信機は、ヘッダからボディの信号長を特定し、その信号長を用いて上述の判断を行う。 That is, as shown in FIG. 512B, the receiver first finds a header composed of a unique bright line pattern from the captured image (bright line image) including the bright line. Then, the receiver sequentially reads out each signal of the body following the header (direction (1) in FIG. 512B). At this time, each time the receiver reads a signal, it determines whether or not the signal of the body has been read by the signal length of the body. That is, it is determined whether or not all the signals contained in the body have been read. When it is determined that the signal has not been read, the receiver reads the signal following the read signal. However, if there is no signal following it, the receiver sequentially reads each signal in the body following the header (direction (2) in FIG. 512B). As a result, all the signals contained in the body are read out. Here, if the signal length of the body is a fixed length, the receiver holds the signal length in advance and makes the above-mentioned determination using the signal length. Alternatively, the receiver identifies the signal length of the body from the header and makes the above-mentioned determination using the signal length.
また、ボディの信号長が可変長である場合でも、同一の送信機が変調したボディは同一の信号長となるように変調方式を定めることで、受信機は、二つのヘッダ間の信号長からボディの信号長を推定してボディを復元できる。このとき、図５１２Ａの（ｂ）の変調方式では、ヘッダ二つとボディ二つ分の信号を一度に受信しなければならない。しかし、図５１３に示す変調方式であれば、ヘッダ二つとボディ一つ分の信号を受信するだけで、ボディの信号長を推定できる。なお、図５１３では、「ボディ・ヘッダ・ボディ・ヘッダ２（Ｈ２）」を一組とした変調方式であり、受信機は、ヘッダに含まれる全ての信号を連続で受信できればデータを受信可能である。 Further, even if the signal length of the body is variable, the receiver can determine the signal length between the two headers by defining the modulation method so that the body modulated by the same transmitter has the same signal length. The body can be restored by estimating the signal length of the body. At this time, in the modulation method of FIG. 512A (b), the signals of two headers and two bodies must be received at one time. However, in the modulation method shown in FIG. 513, the signal length of the body can be estimated only by receiving the signals of two headers and one body. Note that FIG. 513 shows a modulation method in which "body header body header 2 (H2)" is a set, and the receiver can receive data if all the signals included in the header can be continuously received. is there.
このように、本実施の形態における送信機は、送信対象の信号のうちの一部であるボディに対応する第１の輝度変化のパターンと、そのボディを特定するためのヘッダを示す第２の輝度変化のパターンとを決定し、第１の輝度変化のパターン、第２の輝度変化のパターン、その第１の輝度変化のパターンの順に、それぞれのパターンにしたがって輝度変化することによって、ヘッダおよびボディを送信する。また、送信機は、さらに、ヘッダと異なる他のヘッダを示す第３の輝度変化のパターンを決定し、第１の輝度変化のパターン、第２の輝度変化のパターン、第１の輝度変化のパターン、第３の輝度変化のパターンの順に、それぞれのパターンにしたがって輝度変化することによって、ヘッダ、ボディおよび他のヘッダを送信してもよい。 As described above, the transmitter in the present embodiment shows the first luminance change pattern corresponding to the body which is a part of the signal to be transmitted, and the second header for identifying the body. The header and body are determined by determining the luminance change pattern, and changing the luminance according to each pattern in the order of the first luminance change pattern, the second luminance change pattern, and the first luminance change pattern. To send. Further, the transmitter further determines a third luminance change pattern indicating another header different from the header, and the first luminance change pattern, the second luminance change pattern, and the first luminance change pattern. , The header, body and other headers may be transmitted by changing the brightness according to each pattern in the order of the third pattern of brightness change.
（輝線による通信と画像認識の併用）
図５１４は、実施の形態２０における撮像画像の一例を示す図である。
(Combined use of bright line communication and image recognition)
FIG. 514 is a diagram showing an example of a captured image according to the twentieth embodiment.
受信機は、撮像画像中の輝線から信号を読み取るとともに、輝線以外の部分を画像処理によって解析することができる。これにより、例として、受信機は、例えばデジタルサイネージとして構成される送信機から信号を受信し、同じ信号を受信した場合であってもそのときに送信機の画面上に写っている画像によって異なる広告を表示すること等が可能となる。 The receiver can read the signal from the emission line in the captured image and analyze the portion other than the emission line by image processing. Thus, as an example, the receiver receives a signal from, for example, a transmitter configured as digital signage, and even if it receives the same signal, it depends on the image on the transmitter screen at that time. It is possible to display advertisements and the like.
輝線は画像処理においてノイズとなるため、輝線の左右の画素から輝線部分の画素値を補間してから画像処理を行うとしてもよい。また、輝線部分を除いた画像に対して画像処理を行ってもよい。 Since the bright line becomes noise in the image processing, the image processing may be performed after interpolating the pixel values of the bright line portion from the pixels on the left and right of the bright line. Further, image processing may be performed on the image excluding the bright line portion.
（可視光信号の受信に適した撮像素子の利用方法）
図５１５Ａ〜図５１５Ｃは、実施の形態２０における受信機の構成および動作の一例を示す図である。
(How to use an image sensor suitable for receiving visible light signals)
515A to 515C are diagrams showing an example of the configuration and operation of the receiver according to the twentieth embodiment.
図５１５Ａに示すように、８９１０ａは、受信機の撮像素子である。撮像素子は、画像を撮像する部分である有効画素と、暗電流等のノイズ測定のためのオプティカルブラックと、無効領域８９１０ｂで構成される。オプティカルブラックには、さらに、垂直方向のノイズを測定するＶＯＢと、水平方向のノイズを測定するＨＯＢがある。輝線は８９１０ｃの向き（水平方向）に発生するため、ＶＯＢや無効領域８９１０ｂに露光している時間は輝線が得られず、信号を受信することができない。そのため、可視光通信時には、ＶＯＢと無効領域８９１０ｂを利用しないか最小限の利用とする撮像モードに切り替えることで、信号を受信可能な時間を増やすことができる。
As shown in FIG. 515A, the 8910a is an image sensor of the receiver. The image pickup device is composed of an effective pixel which is a part for capturing an image, an optical black for measuring noise such as a dark current, and an
図５１５Ｂに示すように、ＶＯＢと無効領域８９１０ｂを利用しないようにすることによって、有効画素を含む領域である有効画素領域において露光されている時間を延ばすことができる。具体的には、図５１５Ｂの（ａ）に示すように、通常撮影時には、時刻ｔ０〜ｔ１０、時刻ｔ１０〜ｔ２０、および時刻ｔ２０〜ｔ３０のそれぞれの間で１枚の撮影画像が取得される。また、それぞれの撮影画像を取得するためには、ＶＯＢと無効領域８９１０ｂも利用されるため、有効画素領域において露光されている時間（電荷が読み出される時間であって、図５１５Ｂ中の網掛け部分）は、時刻ｔ３〜ｔ１０、時刻ｔ１３〜ｔ２０、および時刻ｔ２３〜ｔ３０である。
As shown in FIG. 515B, by not using the VOB and the
一方、可視光通信時において、ＶＯＢと無効領域８９１０ｂを利用しないようにすることによって、図５１５Ｂの（ｂ）に示すように、ＶＯＢと無効領域８９１０ｂを利用していた時間だけ、有効画素領域において露光されている時間を延ばすことができる。つまり、可視光通信で受信可能な時間を増やすことができる。その結果、多くの信号を受信することができる。
On the other hand, by not using the VOB and the
なお、図５１５Ｃの（ａ）に示すように、通常撮影時には、有効画素領域の各露光ラインの露光は、隣の露光ラインの露光が開始されてから、所定時間ｍ経過した後に開始される。一方、図５１５Ｃの（ｂ）に示すように、可視光通信時において、有効画素領域において露光されている時間が延ばされると、有効画素領域の各露光ラインの露光は、隣の露光ラインの露光が開始されてから、所定時間ｎ（ｎ＞ｍ）経過した後に開始される。 As shown in FIG. 515C (a), during normal shooting, the exposure of each exposure line in the effective pixel region is started after a predetermined time m has elapsed from the start of the exposure of the adjacent exposure line. On the other hand, as shown in FIG. 515C (b), when the exposure time in the effective pixel region is extended during visible light communication, the exposure of each exposure line in the effective pixel region is the exposure of the adjacent exposure line. Is started after a predetermined time n (n> m) has elapsed from the start of.
このように、本実施の形態における受信機は、通常撮影を行う際には、イメージセンサのオプティカルブラックを含む領域にある複数の露光ラインのそれぞれに対して、その露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から所定の時間経過後に、電荷の読み出しを行う。そして、受信機は、可視光通信を行う際には、オプティカルブラックを電荷の読み出しに用いることなく、イメージセンサにおけるオプティカルブラック以外の領域にある複数の露光ラインのそれぞれに対して、その露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から、上記所定の時間よりも長い時間経過後に、電荷の読み出しを行う。 As described above, the receiver according to the present embodiment, when performing normal shooting, for each of the plurality of exposure lines in the region including the optical black of the image sensor, with respect to the exposure line adjacent to the exposure line. The charge is read out after a predetermined time has elapsed from the time when the charge is read out. Then, when performing visible light communication, the receiver does not use the optical black for reading the electric charge, and for each of the plurality of exposure lines in the region other than the optical black in the image sensor, the exposure line of the exposure line The charge is read out after a lapse of a time longer than the predetermined time from the time when the charge is read out to the adjacent exposure line.
また、可視光通信時には、デモザイキングやクリッピング等の処理で縦の画素数が減らないような撮像モードとすることで、信号を受信可能な時間をさらに増やすことができる。 Further, during visible light communication, the time during which a signal can be received can be further increased by setting the imaging mode so that the number of vertical pixels does not decrease due to processing such as demosaiking or clipping.
ＶＯＢや無効領域８９１０ｂを利用せず、縦の画素を減らさないモードで撮像すると、撮像画像の下端と次のフレームの撮像画像の上端の露光タイミングが時間的に連続することになり、信号を連続的に受信することができる。また、ＶＯＢ等を完全に無効にできない場合でも、誤り訂正が可能な方式で送信信号を変調することで、信号を連続的に受信することができる。
When an image is taken in a mode that does not reduce the vertical pixels without using the VOB or the
図５１５Ａでは、水平方向のフォトダイオードを同時に露光するため水平方向の輝線があらわれる。可視光通信時には、この露光モードと、垂直方向のフォトダイオードを同時に露光する露光モードを交互に繰り返すことで、水平の輝線と垂直の輝線を得ることができるため、送信機がどのような形状であっても安定して信号を受信できる。 In FIG. 515A, since the photodiode in the horizontal direction is exposed at the same time, a bright line in the horizontal direction appears. At the time of visible light communication, by alternately repeating this exposure mode and the exposure mode in which the photodiode in the vertical direction is exposed at the same time, a horizontal emission line and a vertical emission line can be obtained. Even if there is, the signal can be received stably.
（連続的な信号受信）
図５１５Ｄは、実施の形態２１における信号受信方法の一例を示す図である。
(Continuous signal reception)
FIG. 515D is a diagram showing an example of the signal receiving method according to the 21st embodiment.
撮像素子には、受光した光の強度を画像にする画素である有効画素と、受光した光の強度を画像にせず、例えば暗電流の強度の基準として用いる無効画素がある。そのため、通常撮像モードでは、（ａ）に示すように、無効画素のみが受光している時間が存在し、その間は信号を受信することができない。そこで、可視光通信モードでは、（ｂ）のように無効画素のみが受光する時間を最小限にしたり、（ｃ）のように常に有効画素が受光するように設定したりすることで，受信可能な時間を長くとることができる。また、これにより、連続的な受信を可能とすることができる。（ｂ）の場合は、受信ができない時間が存在するが、送信データに誤り訂正符号を用いることで、一部の信号が受信できない場合でも全体の信号を推定することができる。 The image sensor includes an effective pixel which is a pixel that makes an image of the intensity of the received light, and an invalid pixel that does not make the intensity of the received light an image and is used as a reference of the intensity of dark current, for example. Therefore, in the normal imaging mode, as shown in (a), there is a time during which only the invalid pixel receives light, and no signal can be received during that time. Therefore, in the visible light communication mode, reception is possible by minimizing the time for only the invalid pixel to receive light as in (b) or by setting so that the effective pixel always receives light as in (c). You can take a long time. Further, this makes it possible to enable continuous reception. In the case of (b), there is a time when reception is not possible, but by using an error correction code for the transmission data, the entire signal can be estimated even if some signals cannot be received.
（小さく撮像された送信機からの信号の受信方法）
図５１５Ｅは、実施の形態２１における信号受信方法の一例を示すフローチャートである。
(How to receive a signal from a small imaged transmitter)
FIG. 515E is a flowchart showing an example of the signal receiving method according to the twenty-first embodiment.
図５１５Ｅに示すように、ステップ９０００ａでｓｔａｒｔし、ステップ９０００ｂで信号を受信して、ステップ９０００ｃでヘッダを検出する。ステップ９０００ｄでヘッダに続くボディのデータサイズは既知かどうかを確認して、ＹＥＳの場合はステップ９０００ｆに進む。ＮＯの場合はステップ９０００ｅへ進み、ヘッダに続くボディのデータサイズをヘッダから読み出して、ステップ９０００ｆに進む。ステップ９０００ｆでヘッダに続いてボディを意味する信号を全て受信できたかどうかを確認して、ＹＥＳの場合はステップ９０００ｇへ進み、ヘッダに続いて受信した信号からボディ部分を読み出して、ステップ９０００ｐで終了する。ＮＯの場合はステップ９０００ｈへ進み、ヘッダに続いて受信した部分とヘッダの前に受信した部分のデータ長を合わせるとボディのデータ長に足りるかどうかを確認して、ＹＥＳの場合はステップ９０００ｉへ進み、ヘッダに続いて受信した部分とヘッダの前に受信した部分を連結することでボディ部分を読み出して、ステップ９０００ｐで終了する。ＮＯの場合はステップ９０００ｊへ進み、送信機から多くの輝線を撮像する手段があるかどうかを確認して、ＹＥＳの場合はステップ９０００ｎへ進み、輝線を多く撮像できる設定に変更して、ステップ９０００ｂへ戻る。ＮＯの場合はステップ９０００ｋへ進み、送信機が存在するが撮像される大きさが不十分であることを通知して、ステップ９０００ｍで送信機の方向を通知し、そちらへ近づけば受信可能となることを通知して、ステップ９０００ｐで終了する。
As shown in FIG. 515E, the start is performed in
この方法により、撮像画像中の送信機を通る露光ラインが少ない場合でも、安定して信号を受信することができる。 According to this method, the signal can be stably received even when the number of exposure lines passing through the transmitter in the captured image is small.
（可視光信号の受信に適した撮像画像サイズ）
図５１６および図５１７Ａは、実施の形態２０における受信方法の一例を示す図である。
(Captured image size suitable for receiving visible light signals)
516 and 517A are diagrams showing an example of the receiving method according to the twentieth embodiment.
撮像素子の有効画素領域が４：３である場合は、１６：９で撮像すると、画像の上下の部分がクリッピングされる。輝線が水平方向に現れる場合は、このクリッピングで輝線が失われ、信号を受信可能な時間が短くなる。同様に、撮像素子の有効画素領域が１６：９の場合に４：３で撮像すると、画像の左右の部分がクリッピングされ、輝線が垂直方向に現れる場合に信号を受信可能な時間が短くなる。そこで、クリッピングが発生しない縦横比、すなわち、図５１６では４：３を、図５１７Ａでは１６：９を、可視光通信モードでの撮像縦横比とする。これにより、受信可能な時間を長くとることができる。 When the effective pixel area of the image sensor is 4: 3, when an image is taken at 16: 9, the upper and lower parts of the image are clipped. If the emission line appears horizontally, this clipping loses the emission line and shortens the time that the signal can be received. Similarly, when the effective pixel area of the image sensor is 16: 9 and the image is imaged at 4: 3, the left and right portions of the image are clipped, and when the emission line appears in the vertical direction, the time during which the signal can be received is shortened. Therefore, the aspect ratio at which clipping does not occur, that is, 4: 3 in FIG. 516 and 16: 9 in FIG. 517A is defined as the imaging aspect ratio in the visible light communication mode. As a result, the receivable time can be extended.
つまり、本実施の形態における受信機は、さらに、イメージセンサによって得られる画像の縦幅と横幅の比率を設定する。そして、受信機は、可視光通信を行う際には、設定された比率によって、画像における露光ライン（輝線）と垂直な方向の端がクリッピングされるか否かを判定し、端がクリッピングされると判定したときには、設定された比率を、その端がクリッピングされない比率である非クリッピング比率に変更する。そして、受信機のイメージセンサは、輝度変化する被写体を撮影することによって、その非クリッピング比率の輝線画像を取得する。 That is, the receiver in the present embodiment further sets the ratio of the vertical width to the horizontal width of the image obtained by the image sensor. Then, when performing visible light communication, the receiver determines whether or not the edge in the direction perpendicular to the exposure line (bright line) in the image is clipped according to the set ratio, and the edge is clipped. When it is determined, the set ratio is changed to a non-clipping ratio, which is a ratio at which the end is not clipped. Then, the image sensor of the receiver acquires a bright line image having a non-clipping ratio by photographing a subject whose brightness changes.
図５１７Ｂは、実施の形態２０における受信方法の一例を示すフローチャートである。 FIG. 517B is a flowchart showing an example of the receiving method according to the twentieth embodiment.
この受信方法では、受信時間を伸ばし、小さな送信機からの信号を受信するための撮像アスペクト比を設定する。 In this reception method, the reception time is extended and the imaging aspect ratio for receiving a signal from a small transmitter is set.
つまり、図５１７Ｂに示すように、ステップ８９１１Ｂａでｓｔａｒｔして、ステップ８９１１Ｂｂで可視光通信モードへ撮像モードを変更する。ステップ８９１１Ｂｃで撮像画像のアスペクト比設定は有効画素のアスペクト比と最も近い設定になっているかどうかを確認する。ＹＥＳの場合はステップ８９１１Ｂｄへ進み、撮像画像のアスペクト比設定を有効画素のアスペクト比と最も近い設定にする。ステップ８９１１Ｂｅで終了する。ＮＯの場合はステップ８９１１Ｂｅへ進み、終了する。可視光通信モードにおいてこのようにアスペクト比を設定することで、受信できない時間を減らすことができる。また、小さい送信機や遠くの送信機からの信号を受信できるようになる。 That is, as shown in FIG. 517B, the start is performed in step 8911Ba, and the imaging mode is changed to the visible light communication mode in step 8911Bb. In step 8911Bc, it is confirmed whether or not the aspect ratio setting of the captured image is the setting closest to the aspect ratio of the effective pixel. If YES, the process proceeds to step 8911Bd, and the aspect ratio setting of the captured image is set to be the closest to the aspect ratio of the effective pixels. It ends at step 8911Be. If NO, the process proceeds to step 8911Be and ends. By setting the aspect ratio in this way in the visible light communication mode, it is possible to reduce the time during which reception is not possible. It also makes it possible to receive signals from small and distant transmitters.
図５１７Ｃは、実施の形態２０における受信方法の一例を示すフローチャートである。 FIG. 517C is a flowchart showing an example of the receiving method according to the twentieth embodiment.
この受信方法では、時間あたりのサンプル数を増やすための撮像アスペクト比を設定する。 In this receiving method, an imaging aspect ratio is set to increase the number of samples per hour.
つまり、図５１７Ｃに示すように、ステップ８９１１Ｃａでｓｔａｒｔして、ステップ８９１１Ｃｂで可視光通信モードへ撮像モードを変更する。ステップ８９１１Ｃｃで露光ラインの輝線が確認できるが時間あたりのサンプル数が少なく信号が受信できないかを確認する。ＹＥＳの場合はステップ８９１１Ｃｄへ進み、撮像画像のアスペクト比設定を有効画素のアスペクト比と最も異なる設定にする。ステップ８９１１Ｃｅで撮像フレームレートを上げて、ステップ８９１１Ｃｃへ戻る。ＮＯの場合はステップ８９１１Ｃｆへ進み、信号を受信して、終了する。 That is, as shown in FIG. 517C, the start is performed in step 8911Ca, and the imaging mode is changed to the visible light communication mode in step 8911Cb. In step 8911Cc, the emission line of the exposure line can be confirmed, but the number of samples per hour is small and it is confirmed whether the signal can be received. If YES, the process proceeds to step 8911Cd, and the aspect ratio setting of the captured image is set to be the most different from the aspect ratio of the effective pixels. The imaging frame rate is increased in step 8911Ce, and the process returns to step 8911Cc. If NO, the process proceeds to step 8911Cf, a signal is received, and the process ends.
可視光通信モードにおいてこのようにアスペクト比を設定することで、周波数の高い信号を受信することができる。また、ノイズの大きな環境でも受信できるようになる。 By setting the aspect ratio in this way in the visible light communication mode, it is possible to receive a signal having a high frequency. In addition, it will be possible to receive even in a noisy environment.
（ズームを利用した可視光信号の受信）
図５１８は、実施の形態２０における受信方法の一例を示す図である。
(Reception of visible light signal using zoom)
FIG. 518 is a diagram showing an example of the receiving method according to the twentieth embodiment.
受信機は、撮像画像８９１３ａの中から輝線が存在する領域を見つけ出し、できるだけ多くの輝線が発生するようにズームを行う。撮像画像８９１３ｂのように、輝線の方向に垂直な方向に、輝線領域が画面の上端下端にかかるまで拡大することで、輝線の数を最大にすることができる。
The receiver finds a region in which the emission line exists from the captured
また、受信機は、輝線がはっきりと表示される領域を見つけ出し、８９１３ｃのように、その部分が大きく映るようにズームを行うとしてもよい。 Further, the receiver may find a region where the emission line is clearly displayed and zoom the region so that the portion is reflected in a large size as in 8913c.
なお、撮像画像中に複数の輝線領域が存在する場合は、それぞれの輝線領域について順次上記の処理を行うとしてもよい。また、撮像画像中からユーザが指定した輝線領域について上記の処理を行うとしてもよい。 When a plurality of bright line regions are present in the captured image, the above processing may be performed sequentially for each bright line region. Further, the above processing may be performed on the emission line region designated by the user from the captured image.
（可視光信号の受信に適した画像データサイズの圧縮方法）
図５１９は、実施の形態２０における受信方法の一例を示す図である。
(Compression method of image data size suitable for receiving visible light signals)
FIG. 519 is a diagram showing an example of the receiving method according to the twentieth embodiment.
撮像画像（ａ）を、撮像部から画像処理部へ伝送する際や、撮像端末（受信機）からサーバへ送信する際に、画像データサイズの圧縮が必要な場合は、（ｃ）のように、輝線に水平な方向に縮小や画素間引きを行うと輝線の情報量を減じることなくデータサイズを圧縮することができる。（ｂ）や（ｄ）のような縮小や画素間引きを行うと、輝線の数が減ってしまったり、輝線の認識が難しくなる。画像圧縮の際も、輝線に垂直な方向には圧縮しない、または、垂直方向の圧縮率を水平方向の圧縮率より小さくすることで、受信効率の低減を防ぐことができる。なお、移動平均フィルタは垂直方向と水平方向のいずれにも適用してもよく、データサイズ縮小とノイズ低減の両方に有効である。 When it is necessary to compress the image data size when transmitting the captured image (a) from the imaging unit to the image processing unit or when transmitting from the imaging terminal (receiver) to the server, as in (c). The data size can be compressed without reducing the amount of information in the emission line by reducing the image in the direction horizontal to the emission line or thinning out the pixels. When reduction or pixel thinning as in (b) and (d) is performed, the number of bright lines is reduced and it becomes difficult to recognize the bright lines. Even when image compression is performed, it is possible to prevent a decrease in reception efficiency by not compressing in the direction perpendicular to the emission line or by making the compression ratio in the vertical direction smaller than the compression ratio in the horizontal direction. The moving average filter may be applied in both the vertical direction and the horizontal direction, and is effective for both data size reduction and noise reduction.
つまり、本実施の形態における受信機は、さらに、輝線画像に含まれる複数の輝線のそれぞれに平行な方向に、その輝線画像を圧縮することによって、圧縮画像を生成し、その圧縮画像を送信する。 That is, the receiver in the present embodiment further generates a compressed image by compressing the bright line image in a direction parallel to each of the plurality of bright lines included in the bright line image, and transmits the compressed image. ..
（受信エラー検出精度が高い変調方式）
図５２０は、実施の形態２０における信号変調方法の一例を示す図である。
(Modulation method with high reception error detection accuracy)
FIG. 520 is a diagram showing an example of the signal modulation method according to the twentieth embodiment.
パリティビットによる誤り検出は１ビットの受信誤りを検出するため、「０１」と「１０」の取り違えと「００」と「１１」の取り違えは検出できない。（ａ）の変調方式では、「０１」と「１０」はＬの位置が一つ異なるだけであるので取り違えやすいが、（ｂ）の変調方式では「０１」と「１０」、「００」と「１１」のＬの位置がそれぞれ二つ異なっている。（ｂ）の変調方式を用いることで、高い精度で受信誤りを検出できる。これは、図４０４から図４０６における変調方式においても同様である。 Since the error detection by the parity bit detects a reception error of 1 bit, the mistake of "01" and "10" and the mistake of "00" and "11" cannot be detected. In the modulation method of (a), "01" and "10" are easily mistaken because the position of L is different by only one, but in the modulation method of (b), "01", "10", and "00" are used. The position of L of "11" is two different from each other. By using the modulation method of (b), reception errors can be detected with high accuracy. This also applies to the modulation schemes shown in FIGS. 404 to 406.
つまり、本実施の形態では、所定の輝度値（例えばＬ）が現れるタイミングが互いに隣接する２つの輝度変化のパターンが、同一のパリティの信号単位（例えば、「０１」と「１０」）に割り当てられていないように、そのタイミングが互いに異なる輝度変化のパターンが、互いに異なる信号単位のそれぞれに対して予め割り当てられいる。そして、本実施の形態における送信機は、送信対象の信号に含まれる信号単位のそれぞれに対して、その信号単位に割り当てられた輝度変化のパターンを決定する。 That is, in the present embodiment, two luminance change patterns whose timings at which a predetermined luminance value (for example, L) appears are adjacent to each other are assigned to signal units of the same parity (for example, “01” and “10”). As if not, patterns of luminance changes having different timings are pre-assigned to each of the different signal units. Then, the transmitter in the present embodiment determines the pattern of the luminance change assigned to each of the signal units included in the signal to be transmitted.
（状況の違いによる受信機の動作の変更）
図５２１は、実施の形態２０における受信機の動作の一例を示す図である。
(Changes in receiver operation due to different situations)
FIG. 521 is a diagram showing an example of the operation of the receiver according to the twentieth embodiment.
受信機８９２０ａは、受信が開始された状況によって異なる動作をする。例えば、日本で起動された場合は、６０ｋＨｚの位相偏移変調方式で変調された信号を受信し、受信したＩＤをキーにサーバ８９２０ｄからデータをダウンロードする。アメリカで起動された場合には、５０ｋＨｚの周波数偏移変調方式で変調された信号を受信し、受信したＩＤをキーにサーバ８９２０ｅからデータをダウンロードする。受信機の動作を変更させる前記状況には、受信機８９２０ａが存在している場所（国や建物）、受信機８９２０ａと通信している基地局や無線アクセスポイント（Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＭＥＳ等）、時刻等がある。
The
例えば、受信機８９２０ａは、位置情報や最後にアクセスした無線基地局（キャリア通信網やＷｉ−ＦｉやＢｌｕｅｔｏｏｈ（登録商標）やＩＭＥＳ等の基地局）や可視光通信によって最後に受信したＩＤを、サーバ８９２０ｆに送信する。サーバ８９２０ｆは、受信した情報を基に受信機８９２０ａの位置を推定し、その位置付近の送信機の送信信号を受信できる受信アルゴリズムと、その位置付近の送信機のＩＤを管理しているＩＤ管理サーバの情報（ＵＲＩ等）を送信する。受信機８９２０ａは、受信したアルゴリズムを用いて送信機８９２０ｂや８９２０ｃの信号を受信し、受信したＩＤ管理サーバ８９２０ｄ、８９２０ｅへＩＤをキーとした問い合わせを行う。
For example, the
この方法により、国や地域や建物といった単位で異なる方式の通信を行うことができる。また、本実施の形態における受信機８９２０ａは、信号を受信したときには、その信号の変調に利用された周波数に応じて、アクセス対象となるサーバを切り替えたり、受信アルゴリズムを切り替えたり、図５２０に示す信号変調方法を切り替えてもよい。
By this method, different methods of communication can be performed in units such as countries, regions, and buildings. Further, when the
（人間への可視光通信の周知）
図５２２は、実施の形態２０における送信機の動作の一例を示す図である。
(Dissemination of visible light communication to humans)
FIG. 522 is a diagram showing an example of the operation of the transmitter according to the twentieth embodiment.
送信機８９２１ａの発光部は、図５２２の（ａ）に示すように、人間が視認可能な点滅と可視光通信とを繰り返す。人間に視認可能な点滅を行うことで、可視光通信が可能であることを人間に知らせることができる。ユーザは送信機８９２１ａが点滅していることで可視光通信が可能であることに気づき、受信機８９２１ｂを送信機８９２１ａに向けて可視光通信を行い、送信機８９２１ａのユーザ登録を行う。
As shown in FIG. 522 (a), the light emitting unit of the
つまり、本実施の形態における送信機は、発光体が輝度変化によって信号を送信するステップと、発光体が人の目で視認されるように点滅するステップとを交互に繰り返し行う。 That is, the transmitter in the present embodiment alternately repeats a step in which the light emitting body transmits a signal by changing the brightness and a step in which the light emitting body blinks so as to be visually recognized by the human eye.
送信機は、図５２２の（ｂ）のように、可視光通信部と点滅部（通信状況表示部）とを別に設けてもよい。 As shown in FIG. 522 (b), the transmitter may be provided with a visible light communication unit and a blinking unit (communication status display unit) separately.
送信機は、図４０５または図４０６の変調方式を用いて、図５２２の（ｃ）のように、動作することで、可視光通信を行いながら、人間には発光部が点滅しているように見せることができる。つまり、送信機は、例えば明るさ７５％の高輝度可視光通信と、明るさ１％の低輝度可視光通信とを交互に繰り返し行う。例えば、送信機に異常等が発生して普段とは異なる信号を送信しているときに図５２２の（ｃ）に示す動作をすることで、可視光通信をやめることなくユーザに注意を促すことができる。 The transmitter operates as shown in (c) of FIG. 522 using the modulation method of FIG. 405 or 406 so that the light emitting portion is blinking to humans while performing visible light communication. I can show you. That is, the transmitter alternately repeats, for example, high-intensity visible light communication having a brightness of 75% and low-intensity visible light communication having a brightness of 1%. For example, when an abnormality occurs in the transmitter and a signal different from the usual one is transmitted, the operation shown in FIG. 522 (c) is performed to alert the user without stopping the visible light communication. Can be done.
（散光板による受信範囲の拡大）
図５２３は、実施の形態２０における受信機の一例を示す図である。
(Expansion of reception range by diffuser)
FIG. 523 is a diagram showing an example of the receiver according to the twentieth embodiment.
図５２３の（ａ）は、受信機８９２２ａの通常モードの様子を示し、図５２３の（ｂ）は、受信機８９２２ａの可視光通信モードの様子を示す。受信機８９２２ａは、撮像部の前に散光板８９２２ｂを備える。受信機８９２２ａは、可視光通信モード時に散光板８９２２ｂを撮像部の前に移動させ、光源が広がって撮像されるようにする。このとき、複数の光源からの光が重ならないように、散光板８９２２ｂの位置を調整する。なお、散光板８９２２ｂに代わり、マクロレンズやズームレンズを用いてもよい。これにより、遠くの送信機や小さい送信機の信号を受信することができる。
FIG. 523 (a) shows the state of the normal mode of the
なお、散光板８９２２ｂを移動させる代わりに、撮像部の撮像方向を移動させてもよい。
Instead of moving the
なお、散光板８９２２ｂが映るイメージセンサの領域は通常撮像モードでは利用せず、可視光通信モードでのみ利用するとしてもよい。これにより、散光板８９２２ｂも撮像部も移動させることなく、上記の効果が得られる。
The area of the image sensor on which the
（複数の送信機からの信号送信の同期方法）
図５２４と図５２５は、実施の形態２０における送信システムの一例を示す図である。
(Synchronization method of signal transmission from multiple transmitters)
524 and 525 are diagrams showing an example of the transmission system according to the twentieth embodiment.
プロジェクションマッピング等のために複数のプロジェクタを用いる場合は、混信をさけるため、一箇所の投影には一つのプロジェクタのみが信号を送信するか、複数のプロジェクタの信号送信タイミングを同期する必要がある。図５２４は、送信タイミングの同期のための仕組みを示す。 When a plurality of projectors are used for projection mapping or the like, it is necessary that only one projector transmits a signal for one projection or the signal transmission timings of the plurality of projectors are synchronized in order to avoid interference. FIG. 524 shows a mechanism for synchronizing transmission timings.
同じ投影面に投影を行うプロジェクタＡとプロジェクタＢが、図５２４のように信号を送信する。受信機がこれを撮像して受信し、信号ａと信号ｂの時間差を計算し、各プロジェクタの信号送信タイミングを調整する。 Projector A and projector B, which project onto the same projection surface, transmit signals as shown in FIG. 524. The receiver takes an image of this and receives it, calculates the time difference between the signal a and the signal b, and adjusts the signal transmission timing of each projector.
動作開始時にはプロジェクタＡとプロジェクタＢは同期していないため、どちらも信号を送信しない時間（全休止時間）を設けることで、信号ａと信号ｂが重なって受信できなくなることを防ぐ。プロジェクタのタイミング調整が進むに連れてプロジェクタが送信する信号を変化させても良い。例えば、動作開始時には全休止時間を長くとり、タイミング調整が進むにつれて全休止時間を短くすることで、効率よくタイミング調整が可能となる。 Since the projector A and the projector B are not synchronized at the start of the operation, it is possible to prevent the signal a and the signal b from overlapping and becoming unreceivable by providing a time during which neither signal is transmitted (total pause time). The signal transmitted by the projector may be changed as the timing adjustment of the projector progresses. For example, by taking a long total pause time at the start of operation and shortening the total pause time as the timing adjustment progresses, the timing can be adjusted efficiently.
正確にタイミングを調整するためには、１枚の撮像画像中に信号ａと信号ｂが含まれていることが望ましい。受信機の撮像フレームレートは６０ｆｐｓから７．５ｆｐｓのものが多い。信号送信の周期を７．５分の１秒以下にすることで、７．５ｆｐｓで撮像された画像中に信号ａと信号ｂを収めることができる。また、信号送信の周期を６０分の１秒以下とすることで、３０ｆｐｓで撮像された画像中に確実に信号ａと信号ｂを収めることができる。 In order to adjust the timing accurately, it is desirable that the signal a and the signal b are included in one captured image. The image frame rate of the receiver is often 60 fps to 7.5 fps. By setting the signal transmission cycle to 1 / 7.5 second or less, the signal a and the signal b can be included in the image captured at 7.5 fps. Further, by setting the signal transmission cycle to 1/60 second or less, the signal a and the signal b can be surely included in the image captured at 30 fps.
図５２５は、複数のディスプレイから構成される送信機を同期する場合を示す図である。同期するディスプレイが１枚の画像中に収まるように撮像し、タイミング調整を行う。 FIG. 525 is a diagram showing a case where a transmitter composed of a plurality of displays is synchronized. Images are taken so that the synchronized display fits in one image, and the timing is adjusted.
（照度センサとイメージセンサによる可視光信号の受信）
図５２６は、実施の形態２０における受信機の動作の一例を示す図である。
(Reception of visible light signals by illuminance sensor and image sensor)
FIG. 526 is a diagram showing an example of the operation of the receiver according to the twentieth embodiment.
イメージセンサは、照度センサに比べて消費電力が高いため、受信機８９４０ａは、照度センサ８９４０ｃで信号を検知した際にイメージセンサ８９４０ｂを起動して信号を受信する。図５２６の（ａ）に示すように、受信機８９４０ａは、送信機８９４０ｄが送信した信号を、照度センサ８９４０ｃで受信する。その後、受信機８９４０ａは、イメージセンサ８９４０ｂを起動し、イメージセンサで送信機８９４０ｄの送信信号を受信し、送信機８９４０ｄの位置を認識する。このとき、イメージセンサ８９４０ｂは信号の一部を受信した時点で、その一部が照度センサ８９４０ｃで受信した信号と同一であれば、受信機８９４０ａは同一の信号を受信したと仮に判断し、後段の処理、例えば現在位置の表示等、を行う。イメージセンサ８９４０ｂで全部の信号が受信できた時点で、判断を完了する。
Since the image sensor consumes more power than the illuminance sensor, the
なお、仮判断時には、判断が完了していないことを表示してもよい。例えば、現在位置の表示を半透明にしたり、位置の誤差を表示する。 At the time of tentative judgment, it may be displayed that the judgment has not been completed. For example, the display of the current position is made semi-transparent, or the position error is displayed.
なお、前記信号の一部とは、例えば、全体の信号長の２０％や、誤り検出符号部分等として定めることができる。 A part of the signal can be defined as, for example, 20% of the total signal length, an error detection code portion, or the like.
図５２６の（ｂ）に示す状況では、照度センサ８９４０ｃでは、信号が混信して受信することができないが、信号が存在することは認識できる。例えば、照度センサ８９４０ｃのセンサ値をフーリエ変換したとき、送信信号の変調周波数にピークが現れた場合、信号が存在していると推定できる。受信機８９４０ａは、照度センサ８９４０ｃのセンサ値から信号が存在していると推定したときは、イメージセンサ８９４０ｂを起動し、送信機８９４０ｅ、８９４０ｆからの信号を受信する。
In the situation shown in FIG. 526 (b), the
（受信開始のトリガ）
図５２７は、実施の形態２０における受信機の動作の一例を示す図である。
(Trigger to start reception)
FIG. 527 is a diagram showing an example of the operation of the receiver according to the twentieth embodiment.
イメージセンサや照度センサ（以下では、これらを総称して受光センサと呼ぶ）を起動していると電力を消費するため、不要時には停止させておき、必要なときに起動することで消費電力効率を向上させることができる。なお、照度センサの消費電力はイメージセンサと比べて少ないため、以下では、照度センサは常時起動し、イメージセンサのみを制御するとしてもよい。 Since power is consumed when an image sensor or illuminance sensor (hereinafter collectively referred to as a light receiving sensor) is activated, it is stopped when it is not needed and activated when it is needed to improve power consumption efficiency. Can be improved. Since the power consumption of the illuminance sensor is smaller than that of the image sensor, the illuminance sensor may be always activated and only the image sensor may be controlled in the following.
図５２７の（ａ）では、受信機８９４１ａは、９軸センサのセンサ値から移動を検出し、受光センサを起動して受信を開始する。
In FIG. 527 (a), the
図５２７の（ｂ）では、９軸センサのセンサ値から、受信機を倒す動作を検出し、上に向けられた側の受光センサを起動して受信を開始する。 In FIG. 527 (b), the operation of tilting the receiver is detected from the sensor value of the 9-axis sensor, and the light receiving sensor on the side facing upward is activated to start reception.
図５２７の（ｃ）では、９軸センサのセンサ値から、受信機を突き出す動作を検出し、突き出される方向の受光センサを起動して受信を開始する。 In FIG. 527 (c), the operation of protruding the receiver is detected from the sensor value of the 9-axis sensor, and the light receiving sensor in the protruding direction is activated to start reception.
図５２７の（ｄ）では、９軸センサのセンサ値から、受信機を上に向ける動作や振る動作を検出し、上に向けられた側の受光センサを起動して受信を開始する。 In FIG. 527 (d), the movement of pointing the receiver upward or the movement of shaking is detected from the sensor value of the 9-axis sensor, and the light receiving sensor on the side facing upward is activated to start reception.
つまり、本実施の形態における受信機は、さらに、受信機（受信装置）が、予め定められた態様で動かされたか否かを判定し、予め定められた態様で動かされたと判定したときには、イメージセンサを起動する。 That is, the receiver in the present embodiment further determines whether or not the receiver (receiver) has been moved in a predetermined manner, and when it is determined that the receiver (receiver) has been moved in a predetermined manner, an image is obtained. Activate the sensor.
（受信開始のジェスチャ）
図５２８は、本通信方式による受信を開始するジェスチャ動作の一例を示す図である。
(Reception start gesture)
FIG. 528 is a diagram showing an example of a gesture operation for starting reception by this communication method.
例えばスマートフォンとして構成される受信機８９４２ａは、９軸センサのセンサ値から、受信機を立てて横方向にスライドさせる動作、または、横方向へのスライドを繰り返す動作を検出する。その後、受信機８９４２ａは、受信を開始し、受信したＩＤをもとに送信機８９４２ｂの位置を取得する。その後、受信機８９４２ａは、複数の送信機８９４２ｂと自身の相対位置関係から、自身の位置を取得する。受信機８９４２ａは、スライドされることで、安定して複数の送信機８９４２ｂを撮像することができ、三角測量の方法で、自己位置を高精度に推定することができる。
For example, the
なお、この動作は、ホーム画面がフォアグラウンドになっているときのみ行うとしてもよい。これにより、他のアプリを使用中にユーザの意図に反して本通信が行われることを防ぐことができる。 Note that this operation may be performed only when the home screen is in the foreground. As a result, it is possible to prevent this communication from being performed against the intention of the user while using another application.
（カーナビへの応用例）
図５２９と図５３０は、実施の形態２０における送受信システムの応用例の一例を示す図である。
(Example of application to car navigation system)
529 and 530 are diagrams showing an example of an application example of the transmission / reception system according to the twentieth embodiment.
例えばカーナビとして構成される送信機８９５０ｂは、Ｂｌｕｅｔｏｏｔｈ（登録商標）のペアリング情報や、Ｗｉ−ＦｉのＳＳＩＤとパスワードや、ＩＰアドレス等、送信機８９５０ｂに無線接続するための情報を送信する。例えばスマートフォンとして構成される受信機８９５０ａは、受信した情報をもとに送信機８９５０ｂと無線接続を確立し、以降のやりとりはこの無線接続を介して行う。
For example, the
例えば、ユーザはスマートフォン８９５０ａに目的地や探索する店舗情報などを入力し、スマートフォン８９５０ａは、無線接続を介してカーナビ８９５０ｂに、入力された情報を伝達し、カーナビ８９５０ｂは経路情報を表示する。また、例えば、スマートフォン８９５０ａは、カーナビ８９５０ｂのコントローラとして動作し、カーナビ８９５０ｂが再生する音楽や映像をコントロールする。また、例えば、スマートフォン８９５０ａが保持する音楽や映像をカーナビ８９５０ｂで再生する。また、例えば、カーナビ８９５０ｂが周辺の店舗情報や道路の混雑情報を取得し、スマートフォン８９５０ａに表示させる。また、例えば、スマートフォン８９５０ａは、着信があったとき、無線接続されたカーナビ８９５０ｂのマイクとスピーカーを使って通話処理を行う。なお、スマートフォン８９５０ａは、着信があったときに無線接続を確立して上記の動作を行うとしてもよい。
For example, the user inputs destination information, store information to be searched, and the like to the
カーナビ８９５０ｂは、無線接続された自動接続モードに設定されているときは、登録された端末に自動で無線接続する。カーナビ８９５０ｂは、自動接続モードではないとき、可視光通信を用いて接続情報を送信して接続を待ち受ける。なお、カーナビ８９５０ｂは、自動接続モードの際も可視光通信を用いて接続情報を送信して接続を待ち受けてもよい。なお、カーナビは、手動で接続された場合には、自動接続モードを解除するとしてもよく、さらに、自動で接続された端末との接続を切断するとしてもよい。
When the
（コンテンツ保護への応用例）
図５３１は、実施の形態２０における送受信システムの応用例の一例を示す図である。
(Example of application to content protection)
FIG. 531 is a diagram showing an example of an application example of the transmission / reception system according to the twentieth embodiment.
例えば、テレビとして構成される送信機８９５１ｂは、自身や接続された機器８９５１ｃに保持されたコンテンツ保護情報を送信する。例えばスマートフォンとして構成される受信機８９５１ａは、前記コンテンツ保護情報を受信し、その後所定の時間の間は、送信機８９５１ｂや機器８９５１ｃのコンテンツ保護情報で保護されたコンテンツを再生できるように、コンテンツ保護を行う。これにより、ユーザが所有する別の機器に保持しているコンテンツを受信機で再生することができる。
For example, the
なお、送信機８９５１ｂはコンテンツ保護情報をサーバに格納し、受信機８９５１ａは、受信した送信機８９５１ｂのＩＤをキーにサーバからコンテンツ保護情報を取得してもよい。
The
なお、受信機８９５１ａは、取得したコンテンツ保護情報をさらに他の機器に送信するとしてもよい。
The
（電子錠としての応用例）
図５３２は、実施の形態２０における送受信システムの応用例の一例を示す図である。
(Application example as an electronic lock)
FIG. 532 is a diagram showing an example of an application example of the transmission / reception system according to the twentieth embodiment.
受信機８９５２ａは、送信機８９５２ｂの送信したＩＤを受信し、サーバ８９５２ｃへ送信する。サーバ８９５２ｃは、受信機８９５２ａから送信機８９５２ｂのＩＤが送られてきた場合に、扉８９５２ｄを解錠したり、自動ドアを開けたり、受信機８９５２ａに登録された階に移動するエレベータを受信機８９５２ａの居るフロアへ呼ぶ。これにより、受信機８９５２ａが鍵の役割を果たし、ユーザは扉８９５２ｄに着く前に解錠等を行うことができる。
The
つまり、本実施の形態における受信機は、輝度変化する被写体（例えば上述の送信機）を撮影することによって、複数の輝線を含む画像である第１の輝線画像を取得し、取得された第１の輝線画像に含まれる複数の輝線のパターンによって特定されるデータを復調することにより第１の送信情報（例えば、被写体のＩＤ）を取得する。そして、受信機は、第１の送信情報が取得された後に、制御信号（例えば、被写体のＩＤ）を送信することによって、扉の開閉駆動機器に対してその扉を開かせる。 That is, the receiver in the present embodiment acquires a first emission line image, which is an image including a plurality of emission lines, by photographing a subject whose brightness changes (for example, the transmitter described above), and the acquired first emission line image. The first transmission information (for example, the ID of the subject) is acquired by demodulating the data specified by the patterns of the plurality of emission lines included in the emission line image of the above. Then, after the first transmission information is acquired, the receiver transmits a control signal (for example, an ID of the subject) to cause the door opening / closing drive device to open the door.
悪意のある操作を防ぐため、サーバ８９５２ｃは、受信機８９５２ａのセキュアエレメント等のセキュリティ保護を利用して、通信相手が受信機８９５２ａであることを確認してもよい。また、受信機８９５２ａが確かに送信機８９５２ｂの近くに居るということを確認するため、サーバ８９５２ｃは、送信機８９５２ｂのＩＤを受信した際に、送信機８９５２ｂに異なる信号を送信する命令を発し、受信機８９５２ａから前記信号が送られてきた場合に解錠を行うとしてもよい。
In order to prevent malicious operations, the
また、照明機器として構成される送信機８９５２ｂが、扉８９５２ｄに向かう通路に沿って複数個並んでいる場合には、受信機８９５２ａは、それらの送信機８９５２ｂからＩＤを受信することによって、受信機８９５２ａが扉８９５２ｄに近づいているか否かを判定することができる。例えば、それらのＩＤが取得された順に、それらのＩＤによって示される値が小さくなる場合には、受信機は、扉に近づいていると判定する。または、受信機は、それらのＩＤに基づいて、それぞれの送信機８９５２ｂの位置を特定し、さらに、それらの送信機８９５２ｂの位置と、撮影画像に映るそれらの送信機８９５２ｂの位置とに基づいて、自らの位置を推定する。そして、受信機は、予め保持されている扉８９５２ｄの位置と、推定された自らの位置とを随時比較することによって、扉８９５２ｄに近づいているか否かを判定する。そして、受信機は、扉８９５２ｄに近づいていると判定したときに、取得された何れかのＩＤをサーバ８９５２ｃに対して送信する。その結果、サーバ８９５２ｃは、扉８９５２ｄを開くための処理などを行う。
Further, when a plurality of
つまり、本実施の形態における受信機は、輝度変化する他の被写体を撮影することによって、複数の輝線を含む画像である第２の輝線画像を取得し、取得された第２の輝線画像に含まれる複数の輝線のパターンによって特定されるデータを復調することにより第２の送信情報（例えば、他の被写体のＩＤ）を取得する。そして、受信機は、取得された第１および第２の送信情報に基づいて、受信機が扉に近づいているか否かを判定し、扉に近づいていると判定したときに、制御信号（例えば、何れかの被写体のＩＤ）を送信する。 That is, the receiver in the present embodiment acquires a second emission line image, which is an image including a plurality of emission lines, by photographing another subject whose brightness changes, and includes the second emission line image in the acquired second emission line image. The second transmission information (for example, the ID of another subject) is acquired by demodulating the data specified by the patterns of the plurality of emission lines. Then, the receiver determines whether or not the receiver is approaching the door based on the acquired first and second transmission information, and when it is determined that the receiver is approaching the door, a control signal (for example,) , Any subject ID) is transmitted.
（来店情報伝達としての応用例）
図５３３は、実施の形態２０における送受信システムの応用例の一例を示す図である。
(Application example as store visit information transmission)
FIG. 533 is a diagram showing an example of an application example of the transmission / reception system according to the twentieth embodiment.
受信機８９５３ａは、送信機８９５３ｂの送信したＩＤをサーバ８９５３ｃへ送信する。サーバ８９５３ｃは、受信機８９５３ａに関連付けられた注文情報を店員８９５３ｄへ通知する。店員８９５３ｄは、前記注文情報に基いて商品等を準備する。これにより、ユーザが店舗等に入った時点で注文が準備されるため、ユーザは迅速に商品等を受け取ることができる。
The
（場所に応じた注文制御の応用例）
図５３４は、実施の形態２０における送受信システムの応用例の一例を示す図である。
(Application example of order control according to location)
FIG. 534 is a diagram showing an example of an application example of the transmission / reception system according to the twentieth embodiment.
受信機８９５４ａは、送信機８９５４ｂの送信信号を受信したときにのみ注文が行える画面を表示する。これにより、店舗は、付近にいない顧客の注文を回避することができる。
The
または、受信機８９５４ａは、送信機８９５４ｂのＩＤを注文情報に加えて注文を行う。これにより、店舗は、注文主の位置を把握し、商品を届ける位置を把握することができる。あるいは、店舗は、注文主が来店するまでの時間を推定することができる。なお、受信機８９５４ａは、移動速度から計算した店舗までの移動時間を注文情報に加えてもよい。また、受信機は、現在位置から判断して不自然な購買（例えば、現在位置の駅以外から出発する搭乗券の購入）に対して、その購買を受け付けないようにしてもよい。
Alternatively, the
（道案内への応用例）
図５３５は、実施の形態２０における送受信システムの応用例の一例を示す図である。
(Example of application to route guidance)
FIG. 535 is a diagram showing an example of an application example of the transmission / reception system according to the twentieth embodiment.
受信機８９５５ａは、例えば案内板として構成される送信機８９５５ｂの送信ＩＤを受信し、案内板に表示された地図のデータをサーバから取得して表示する。このとき、サーバは受信機８９５５ａのユーザに適した広告を送信し、受信機８９５５ａはこの広告情報も表示するとしてもよい。受信機８９５５ａは、現在地から、ユーザが指定した場所までの経路を表示する。
The
（所在連絡への応用例）
図５３６は、実施の形態２０における送受信システムの応用例の一例を示す図である。
(Example of application to location communication)
FIG. 536 is a diagram showing an example of an application example of the transmission / reception system according to the twentieth embodiment.
受信機８９５６ａは、例えば家庭や学校の照明として構成される送信機８９５６ｂの送信するＩＤを受信し、そのＩＤをキーとして取得した位置情報を端末８９５６ｃへ送信する。これにより、端末８９５６ｃを持つ保護者は、受信機８９５６ａを持つ児童が家に帰ったことや学校に着いたことを知ることができる。また、端末８９５６ｃを持つ監督者は、受信機８９５６ａを持つ作業者の現在位置を把握することができる。 The receiver 8965a receives the ID transmitted by the transmitter 8965b, which is configured as lighting for home or school, for example, and transmits the position information acquired by using the ID as a key to the terminal 8965c. This allows the guardian with the terminal 8965c to know that the child with the receiver 8965a has returned home or arrived at school. In addition, the supervisor holding the terminal 8965c can grasp the current position of the worker holding the receiver 8965a.
（利用ログ蓄積と解析への応用例）
図５３７は、実施の形態２０における送受信システムの応用例の一例を示す図である。
(Example of application to usage log accumulation and analysis)
FIG. 537 is a diagram showing an example of an application example of the transmission / reception system according to the twentieth embodiment.
受信機８９５７ａは、例えば看板として構成される送信機８９５７ｂの送信するＩＤを受信し、サーバからクーポン情報を取得して表示する。受信機８９５７ａは、その後のユーザの行動、例えば、クーポンを保存したり、クーポンに表示された店舗に移動したり、その店舗で買い物を行ったり、クーポンを保存せずに立ち去ったりといった行動をサーバ８９５７ｃに保存する。これにより、看板８９５７ｂから情報を取得したユーザのその後の行動を解析することができ、看板８９５７ｂの広告価値を見積もることができる。
The
（画面共有への応用例）
図５３８と図５３９は、実施の形態２０における送受信システムの応用例の一例を示す図である。
(Example of application to screen sharing)
538 and 539 are diagrams showing an example of an application example of the transmission / reception system according to the twentieth embodiment.
例えばプロジェクタやディスプレイとして構成される送信機８９６０ｂは、自身へ無線接続するための情報（ＳＳＩＤ、無線接続用パスワード、ＩＰアドレス、送信機を操作するためのパスワード）を送信する。または、これらの情報にアクセスするためのキーとなるＩＤを送信する。例えばスマートフォンやタブレットやノートパソコンやカメラとして構成される受信機８９６０ａは、送信機８９６０ｂから送信された信号を受信して前記情報を取得し、送信機８９６０ｂとの無線接続を確立する。この無線接続は、ルータを介して接続してもよいし、Ｗｉ−ＦｉダイレクトやＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉｒｅｌｅｓｓ Ｈｏｍｅ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ等によって直接接続してもよい。受信機８９６０ａは、送信機８９６０ｂによって表示される画面を送信する。これにより、手軽に受信機の画像を送信機に表示することができる。
For example, the
なお、送信機８９６０ｂは、受信機８９６０ａと接続されたときに、画面表示のためには、送信機が送信している情報の他にパスワードが必要であることを受信機８９６０ａに伝え、正しいパスワードが送られない場合は送信された画面を表示しないとしてもよい。このとき、受信機８９６０ａは、８９６０ｄのような、パスワード入力画面を表示し、ユーザにパスワードを入力させる。
When the
図５３９は、受信機８９６０ａを介して送信機８９６１ｃの画面を送信機８９６０ｂに表示させる例を示す図である。例えばノートパソコンとして構成される送信機８９６１ｃは、自身へ接続するための情報、または、その情報に関連付けられたＩＤを送信する。受信機８９６０ａは、送信機８９６０ｂから送信された信号と送信機８９６１ｃから送信された信号を受信し、各送信機との接続を確立させ、送信機８９６０ｂに表示するための画像を送信機８９６１ｃから伝送させる。送信機８９６０ｂと送信機８９６１ｃは直接通信するとしてもよいし、受信機８９６０ａやルータを介して通信するとしてもよい。これにより、送信機８９６０ｂの送信した信号を送信機８９６１ｃが受信できない場合でも、手軽に送信機８９６１ｃの画像を送信機８９６０ｂに表示させることができる。
FIG. 539 is a diagram showing an example in which the screen of the
なお、受信機８９６０ａが、送信機８９６０ｂの送信した信号を受信した時刻と、送信機８９６１ｃの送信した信号を受信した時刻の差が所定の時間以下であったときのみ前記の動作を行うとしてもよい。
Even if the
なお、送信機８９６１ｃは、受信機８９６０ａから正しいパスワードを受信した場合にのみ画像を送信機８９６０ｂに送信するとしてもよい。
The
（無線アクセスポイントを利用した位置推定の応用例）
図５４０は、実施の形態２０における送受信システムの応用例の一例を示す図である。
(Application example of position estimation using wireless access point)
FIG. 540 is a diagram showing an example of an application example of the transmission / reception system according to the twentieth embodiment.
例えばスマートフォンとして構成される受信機８９６３ａは、送信機８９６３ｂの送信するＩＤを受信する。受信機８９６３ａは、受信したＩＤをキーとして送信機８９６３ｂの位置情報を取得し、撮像画像中の送信機８９６３ｂの位置と方向から、自身の位置を推定する。また、受信機８９６３ａは、例えばＷｉ−Ｆｉアクセスポイントとして構成される電波発信機８９６３ｃからの信号を受信する。受信機８９６３ａは、信号に含まれた電波発信機８９６３ｃの位置情報と電波発信方向情報から自身の位置を推定する。受信機８９６３ａは、複数の手段で自己位置を推定することで、高精度に自己位置を推定することができる。
For example, the
無線発信機８９６３ｃの情報を利用して自己位置を推定する手法について説明する。無線発信機８９６３ｃは、複数のアンテナから、異なる方向に、同期した信号を送信している。また、無線発信機８９６３ｃは、信号送信の方向を順次変更している。受信機８９６３ａは、電波強度が最も強くなったときの電波発信方向が無線発信機８９６３ｃから自身への方向であると推測する。また、別のアンテナから発信され、それぞれ経路８９６３ｄ、８９６３ｅ、８９６３ｆを通った電波の到達時間の差から経路差を計算し、各電波発信角度差θ１２、θ１３、θ２３から、無線発信機８９６３ｃと自身の距離を計算する。さらに、周囲の電界情報、電波反射物情報を利用することで、より高精度に自己位置を推定することができる。
A method of estimating the self-position using the information of the
（可視光通信と無線通信による位置推定）
図５４１は、可視光通信と無線通信とによる位置推定を行う構成を示す図である。つまり、図５４１は、可視光通信と無線通信とを用いて端末の位置推定を行う構成を示している。
(Position estimation by visible light communication and wireless communication)
FIG. 541 is a diagram showing a configuration in which position estimation is performed by visible light communication and wireless communication. That is, FIG. 541 shows a configuration in which the position of the terminal is estimated using visible light communication and wireless communication.
携帯端末は、発光部と可視光通信を行うことにより、発光部のＩＤを取得する。取得したＩＤをサーバに問い合わせ、発光部の位置情報を取得する。これにより、実距離Ｌ１を取得することが可能となる。また、既に他の実施例において説明しているように、携帯端末の傾きθ１は、ジャイロセンサなどを用いて検出することが可能となるため、Ｌ３を算出することができる。Ｌ１とＬ３を用いて、携帯端末のｘ１の値を算出することが可能となる。 The mobile terminal acquires the ID of the light emitting unit by performing visible light communication with the light emitting unit. The acquired ID is queried to the server, and the position information of the light emitting unit is acquired. This makes it possible to acquire the actual distance L1. Further, as already described in another embodiment, the inclination θ1 of the mobile terminal can be detected by using a gyro sensor or the like, so that L3 can be calculated. Using L1 and L3, it is possible to calculate the value of x1 of the mobile terminal.
一方、ｙ１の値については、無線通信を用いて位置推定を行う。ＭＩＭＯアクセスポイントから、携帯端末に向けてビームフォーミングがなされている場合には、ビームフォームの角度θ２は、ＭＩＭＯアクセスポイントが設定するものであり既知の値となる。従って、無線通信などにより、携帯端末がビームフォーミングの角度θ２を取得することにより、ｘ１とθ２から、ｙ１の値を算出することが可能となる。ＭＩＭＯは複数のビームを形成することが可能であることから、複数のビームフォーミングを利用することにより、より精度の高い位置推定を行うことも可能である。 On the other hand, for the value of y1, the position is estimated using wireless communication. When beamforming is performed from the MIMO access point toward the mobile terminal, the angle θ2 of the beam form is set by the MIMO access point and is a known value. Therefore, when the mobile terminal acquires the beamforming angle θ2 by wireless communication or the like, the value of y1 can be calculated from x1 and θ2. Since MIMO can form a plurality of beams, it is also possible to perform more accurate position estimation by using a plurality of beamforming.
このように、本実施の形態によれば、可視光通信による位置推定と、無線通信による位置推定との両方を用いることにより、位置推定の精度をより高めることが可能となる。 As described above, according to the present embodiment, it is possible to further improve the accuracy of the position estimation by using both the position estimation by the visible light communication and the position estimation by the wireless communication.
以上、一つまたは複数の態様に係る情報通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。 Although the information communication method according to one or more aspects has been described above based on the embodiment, the present invention is not limited to this embodiment. As long as the gist of the present invention is not deviated, various modifications that can be conceived by those skilled in the art are applied to the present embodiment, and a form constructed by combining components in different embodiments is also within the scope of one or more embodiments. May be included within.
図５４２Ａは、本発明の一態様に係る情報通信方法のフローチャートである。 FIG. 542A is a flowchart of an information communication method according to one aspect of the present invention.
本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップＳＫ９１〜ＳＫ９３を含む。 The information communication method according to one aspect of the present invention is an information communication method for acquiring information from a subject, and includes steps SK91 to SK93.
つまり、この情報通信方法は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの第１の露光時間を設定する第１の露光時間設定ステップＳＫ９１と、前記イメージセンサが、輝度変化する前記被写体を、設定された前記第１の露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する第１の画像取得ステップＳＫ９２と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップＳＫ９３とを含み、前記第１の画像取得ステップＳＫ９２では、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。 That is, in this information communication method, a plurality of bright lines corresponding to a plurality of exposure lines included in the image sensor are generated in the image obtained by photographing the subject by the image sensor according to the change in the brightness of the subject. The first exposure time setting step SK91 for setting the first exposure time of the image sensor, and the image sensor taking a picture of the subject whose brightness changes at the set first exposure time. The first image acquisition step SK92 for acquiring a bright line image including a plurality of bright lines, and information acquisition for acquiring information by demolating the data specified by the plurality of bright line patterns included in the acquired bright line image. In the first image acquisition step SK92 including step SK93, each of the plurality of exposure lines starts exposure at different times in sequence, and the exposure of the adjacent exposure line adjacent to the exposure line ends. After that, the exposure is started after a predetermined free time has elapsed.
図５４２Ｂは、本発明の一態様に係る情報通信装置のブロック図である。 FIG. 542B is a block diagram of an information communication device according to an aspect of the present invention.
本発明の一態様に係る情報通信装置Ｋ９０は、被写体から情報を取得する情報通信装置であって、構成要素Ｋ９１〜Ｋ９３を備える。 The information communication device K90 according to one aspect of the present invention is an information communication device that acquires information from a subject, and includes components K91 to K93.
つまり、この情報通信装置Ｋ９０は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部Ｋ９１と、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する前記イメージセンサを有する画像取得部Ｋ９２と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得部Ｋ９３とを備え、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。 That is, in this information communication device K90, a plurality of bright lines corresponding to a plurality of exposure lines included in the image sensor are generated in the image obtained by photographing the subject by the image sensor according to the change in the brightness of the subject. The image sensor that acquires an exposure line image including the plurality of emission lines by taking an exposure time setting unit K91 that sets the exposure time of the image sensor and the subject whose brightness changes at the set exposure time. The plurality of exposure lines are provided with an image acquisition unit K92 having the above, and an information acquisition unit K93 for acquiring information by demodulating the data specified by the patterns of the plurality of emission lines included in the acquired emission line image. Each of the above starts exposure at different times in sequence, and starts exposure after a predetermined free time elapses after the exposure of the adjacent exposure line adjacent to the exposure line is completed.
このような図５４２Ａおよび図５４２Ｂによって示される情報通信方法および情報通信装置Ｋ９０では、例えば図２４Ｄなどに示すように、複数の露光ラインのそれぞれは、その露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始するため、被写体の輝度変化を認識しやすくすることができる。その結果、被写体から情報を適切に取得することができる。 In the information communication method and information communication device K90 shown by FIGS. 542A and 542B, as shown in, for example, FIG. 24D, each of the plurality of exposure lines has an exposure of an adjacent exposure line adjacent to the exposure line. Since the exposure is started after a predetermined free time has elapsed from the end, it is possible to easily recognize the change in the brightness of the subject. As a result, information can be appropriately acquired from the subject.
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図５４２Ａのフローチャートによって示される情報通信方法をコンピュータに実行させる。 In each of the above embodiments, each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. For example, the program causes the computer to execute the information communication method shown by the flowchart of FIG. 542A.
なお、本発明の一態様に係る情報通信方法は、以下の例にも応用することができる。 The information communication method according to one aspect of the present invention can also be applied to the following examples.
図５４３は、光センサを搭載した時計を示す図である。 FIG. 543 is a diagram showing a clock equipped with an optical sensor.
横断面図に示されているように、センサの上面に集光レンズが配置されている。図５４３では、集光レンズは、所定の傾きを有して配置されている。集光レンズの形状は、これに限らず、集光可能な形状であれば、他の形状であってもよい。このような構成により、光センサは、レンズにより外界の光源からの光を集光して受光することが可能となる。従って、時計に搭載されているような小さな光センサであっても、可視光通信を行うことが可能となる。図５４３では、１２個の領域に分割して、１２個の光センサを搭載し、各光センサの上面に集光レンズを配置する構成となっている。このように、時計内を複数の領域に分け、複数の光センサを配置することにより、複数の光源からの情報を取得することが可能となる。例えば、図５４３では、光源１からの光を、第１光センサで受光し、光源２からの光を、第２光センサで受光することができる。また、光センサとして、太陽光発電池を用いることも可能である。光センサとして太陽光発電池を用いることにより、単一のセンサで太陽光発電を行うと同時に、可視光通信を行うことができるため、コストを削減し、かつ、コンパクトな形状とすることが可能となる。更に、複数の光センサーを配置する場合には、複数の光源からの情報を同時に取得することができるため、位置推定精度を向上させることが可能となる。本実施の形態では、時計において光センサーを設ける構成としたが、これに限らず、携帯電話や、携帯端末など移動可能な端末であれば、他の装置でもよい。また、図５４４、図５４５および図５４６に示すように、本発明の一態様に係る情報通信方法を応用してもよい。
As shown in the cross-sectional view, a condenser lens is arranged on the upper surface of the sensor. In FIG. 543, the condenser lens is arranged with a predetermined inclination. The shape of the condenser lens is not limited to this, and may be any other shape as long as it can collect light. With such a configuration, the optical sensor can collect and receive light from a light source in the outside world by a lens. Therefore, even a small optical sensor such as that mounted on a clock can perform visible light communication. In FIG. 543, it is divided into 12 regions, 12 optical sensors are mounted, and a condenser lens is arranged on the upper surface of each optical sensor. In this way, by dividing the inside of the clock into a plurality of regions and arranging a plurality of optical sensors, it is possible to acquire information from a plurality of light sources. For example, in FIG. 543, the light from the
（上記各実施の形態のまとめ）
本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの第１の露光時間を設定する第１の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記第１の露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する第１の画像取得ステップと、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記第１の画像取得ステップでは、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。
(Summary of each of the above embodiments)
The information communication method according to one aspect of the present invention is an information communication method for acquiring information from a subject, and corresponds to a plurality of exposure lines included in the image sensor in an image obtained by photographing the subject by an image sensor. A first exposure time setting step for setting a first exposure time of the image sensor so that a plurality of bright lines are generated in response to a change in the brightness of the subject, and a subject whose brightness is changed by the image sensor. By the first image acquisition step of acquiring the bright line image including the plurality of bright lines by taking a picture at the set first exposure time, and the pattern of the plurality of bright lines included in the acquired bright line image. In the first image acquisition step, each of the plurality of exposure lines sequentially starts exposure at different times and is said to include an information acquisition step of acquiring information by demolishing the specified data. The exposure is started after a predetermined free time has elapsed after the exposure of the adjacent exposure line adjacent to the exposure line is completed.
これにより、例えば図２４Ｄなどに示すように、複数の露光ラインのそれぞれは、その露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始するため、被写体の輝度変化を認識しやすくすることができる。その結果、被写体から情報を適切に取得することができる。 As a result, as shown in FIG. 24D, for example, each of the plurality of exposure lines starts exposure after a predetermined free time elapses after the exposure of the adjacent exposure line adjacent to the exposure line is completed. It is possible to easily recognize the change in brightness of. As a result, information can be appropriately acquired from the subject.
また、前記第１の画像取得ステップでは、前記複数の露光ラインのそれぞれが、隣接する前記隣接露光ラインとの間で、露光時間において、重なりがなく、かつ、所定の空き時間を有してもよい。 Further, in the first image acquisition step, even if each of the plurality of exposure lines does not overlap with the adjacent adjacent exposure lines in terms of exposure time and has a predetermined free time. Good.
また、前記情報通信方法は、さらに、前記イメージセンサの各露光ラインの露光を順次異なる時刻で開始し、かつ、前記各露光ラインの露光時間が、隣接する前記隣接露光ラインとの間で、部分的に時間的な重なりを持つように、前記イメージセンサの第２の露光時間を設定する第２の露光時間設定ステップと、前記第２の露光時間で撮影を行うことにより通常画像を取得する第２の画像取得ステップと、を有し、前記第１の画像取得ステップは、前記第１の露光時間を、前記第２の露光時間よりも短く、かつ、１／４８０秒以下に設定することにより、前記複数の輝線を画像に発生させてもよい。 Further, in the information communication method, the exposure of each exposure line of the image sensor is sequentially started at different times, and the exposure time of each exposure line is divided between the adjacent exposure lines and the adjacent exposure lines. A second exposure time setting step for setting the second exposure time of the image sensor and a second exposure time setting step of setting the second exposure time so as to have a temporal overlap, and a second exposure time for acquiring a normal image by taking a picture with the second exposure time. The first image acquisition step includes two image acquisition steps, in which the first exposure time is set to be shorter than the second exposure time and 1/480 seconds or less. , The plurality of emission lines may be generated in the image.
また、前記第１の画像取得ステップと前記第２の画像取得ステップとでは、同一の読み出し方法で前記イメージセンサからデータを読み出してもよい。 Further, in the first image acquisition step and the second image acquisition step, data may be read from the image sensor by the same reading method.
また、前記露光ラインの第１の露光時間は、輝度変化する前記被写体が所定の輝度値を維持する発光時間のうち、最も短い発光時間よりも短くてもよい。 Further, the first exposure time of the exposure line may be shorter than the shortest light emission time among the light emission times for the subject whose brightness changes to maintain a predetermined brightness value.
また、前記露光ラインの第１の露光時間は、前記被写体の輝度が最大値から最小値へ変化するまでの推移時間よりも長くてもよい。 Further, the first exposure time of the exposure line may be longer than the transition time until the brightness of the subject changes from the maximum value to the minimum value.
また、前記露光ラインの第１の露光時間は、前記被写体の輝度変化における高周波ノイズの１周期の時間よりも長くてもよい。 Further, the first exposure time of the exposure line may be longer than the time of one cycle of high-frequency noise in the change in the brightness of the subject.
（実施の形態２１）
本実施の形態では、上記各実施の形態におけるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
(Embodiment 21)
In this embodiment, each application example using a receiver such as a smartphone in each of the above embodiments and a transmitter that transmits information as a blinking pattern of an LED or an organic EL will be described.
図５４７は、実施の形態２１における送信機と受信機の適用例を示す図である。 FIG. 547 is a diagram showing an application example of the transmitter and the receiver in the 21st embodiment.
ロボット８９７０は、例えば自走式の掃除機としての機能と、上記各実施の形態における受信機としての機能とを有する。照明機器８９７１ａ，８９７１ｂは、それぞれ上記各実施の形態における送信機としての機能を有する。
The
例えば、ロボット８９７０は、室内を移動しながら、掃除を行うとともに、その室内を照らす照明機器８９７１ａを撮影する。この照明機器８９７１ａは、輝度変化することによって照明機器８９７１ａのＩＤを送信している。その結果、ロボット８９７０は、上記各実施の形態と同様に、照明機器８９７１ａからそのＩＤを受信し、そのＩＤに基づいて自らの位置（自己位置）を推定する。つまり、ロボット８９７０は、９軸センサによる検出結果と、撮影によって得られる画像に映る照明機器８９７１ａの相対位置と、ＩＤによって特定される照明機器８９７１ａの絶対位置とに基づいて、移動しながら自己位置を推定している。
For example, the
さらに、ロボット８９７０は、移動することによって照明機器８９７１ａから離れると、照明機器８９７１ａに対して消灯を命令する信号（消灯命令）を送信する。例えば、ロボット８９７０は、予め定められた距離だけ照明機器８９７１ａから離れると、消灯命令を送信する。または、ロボット８９７０は、撮影によって得られる画像にその照明機器８９７１ａが映らなくなったときに、あるいは、その画像に他の照明機器が映ると、消灯命令を照明機器８９７１ａに送信する。照明機器８９７１ａは、消灯命令をロボット８９７０から受信すると、その消灯命令に応じて消灯する。
Further, when the
次に、ロボット８９７０は、移動して掃除を行っている途中で、推定された自己位置に基づいて、照明機器８９７１ｂに近づいたことを検知する。つまり、ロボット８９７０は、照明機器８９７１ｂの位置を示す情報を保持しており、自己位置とその照明機器８９７１ｂの位置との間の距離が予め定められた距離以下になったときに、照明機器８９７１ｂに近づいたことを検知する。そして、ロボット８９７０は、その照明機器８９７１ｂに対して点灯を命令する信号（点灯命令）を送信する。照明機器８９７１ｂは、点灯命令を受けると、その点灯命令に応じて点灯する。
Next, the
これにより、ロボット８９７０は、移動しながら自らの周りだけを明るくして、掃除を容易に行うことができる。
As a result, the
図５４８は、実施の形態２１における送信機の適用例を示す図である。 FIG. 548 is a diagram showing an application example of the transmitter according to the 21st embodiment.
例えば、図５４８の（ａ）に示すように、ディスプレイには、複数の発光領域Ａ〜Ｆが並べて表示され、その発光領域Ａ〜Ｆがそれぞれ輝度変化するこによって信号を送信する。ここで、図５４８の（ａ）に示す例では、発光領域Ａ〜Ｆはそれぞれ矩形状であり、水平方向および垂直方向に沿って配列されている。このような場合、輝度変化しない非輝度変化領域が、ディスプレイの水平方向に沿って、発光領域Ａ，Ｂ，Ｃと、発光領域Ｄ，Ｅ，Ｆとの間を通ってそのディスプレイを横断している。さらに、輝度変化しない他の非輝度変化領域が、ディスプレイの垂直方向に沿って、発光領域Ａ，Ｄと、発光領域Ｂ，Ｅとの間を通ってそのディスプレイを横断している。さらに、輝度変化しない他の非輝度変化領域が、ディスプレイの垂直方向に沿って、発光領域Ｂ，Ｅと、発光領域Ｃ，Ｆとの間を通ってそのディスプレイを横断している。 For example, as shown in FIG. 548 (a), a plurality of light emitting areas A to F are displayed side by side on the display, and signals are transmitted by changing the brightness of each of the light emitting areas A to F. Here, in the example shown in FIG. 548 (a), the light emitting regions A to F are rectangular, respectively, and are arranged along the horizontal direction and the vertical direction. In such a case, a non-luminance change region that does not change brightness passes between the light emitting regions A, B, C and the light emitting regions D, E, and F along the horizontal direction of the display and crosses the display. There is. Further, another non-luminance changing region that does not change the brightness crosses the display along the vertical direction of the display, passing between the light emitting regions A and D and the light emitting regions B and E. Further, another non-luminance changing region that does not change the brightness crosses the display along the vertical direction of the display, passing between the light emitting regions B and E and the light emitting regions C and F.
したがって、上記各実施の形態における受信機が、受信機の露光ラインを水平方向に向けた状態でそのディスプレイを撮影すると、その撮影によって得られる画像（撮影画像）の、水平方向に沿う非輝度変化領域に対応する部分には、輝線が表れない。つまり、その撮影画像では、輝線が表れている領域（輝線領域）が不連続になってしまう。また、受信機が、その露光ラインを垂直方向に向けた状態でそのディスプレイを撮影すると、撮影画像における、垂直方向に沿う２つの非輝度変化領域に対応する部分には、輝線が表れない。つまり、このときにも、その撮影画像では輝線領域が不連続になってしまう。このように輝線領域が不連続になってしまうと、輝度変化によって送信される信号を受信し難くなってしまう。 Therefore, when the receiver in each of the above embodiments shoots the display with the exposure line of the receiver oriented in the horizontal direction, the non-luminance change of the image (captured image) obtained by the shooting along the horizontal direction. No bright line appears in the part corresponding to the area. That is, in the captured image, the region where the bright line appears (bright line region) becomes discontinuous. Further, when the receiver photographs the display with the exposure line directed in the vertical direction, no bright line appears in the portion of the captured image corresponding to the two non-luminance change regions along the vertical direction. That is, even at this time, the emission line region becomes discontinuous in the captured image. If the emission line region becomes discontinuous in this way, it becomes difficult to receive the signal transmitted due to the change in luminance.
そこで、本実施の形態におけるディスプレイ８９７２は、上記各実施の形態における送信機としての機能を有し、輝線領域が連続するように、複数の発光領域Ａ〜Ｆのそれぞれをずらして配置する。
Therefore, the
例えば、図５４８の（ｂ）に示すように、ディスプレイ８９７２は、上段の発光領域Ａ，Ｂ，Ｃと、下段の発光領域Ｄ，Ｅ，Ｆとを互いに水平方向にずらして配置する。または、図５４８の（ｃ）に示すように、ディスプレイ８９７２は、それぞれ平行四辺形あるいは菱形の発光領域Ａ〜Ｆを表示する。これにより、ディスプレイ８９７２の垂直方向に沿って、発光領域Ａ〜Ｆの間を通ってディスプレイ８９７２を横断する非輝度変化領域をなくすることができる。その結果、受信機が、その露光ラインを垂直方向に向けた状態でディスプレイ８９７２を撮影しても、撮影画像において、輝線領域を連続させることができる。
For example, as shown in FIG. 548 (b), in the
さらに、図５４８の（ｄ）および（ｅ）に示すように、ディスプレイ８９７２は、発光領域Ａ〜Ｆのそれぞれを垂直方向にずらして配置してもよい。これにより、ディスプレイ８９７２の水平方向に沿って、発光領域Ａ〜Ｆの間を通ってディスプレイ８９７２を横断する非輝度変化領域もなくすることができる。その結果、受信機が、その露光ラインを水平方向に向けた状態でディスプレイ８９７２を撮影しても、撮影画像において、輝線領域を連続させることができる。
Further, as shown in FIGS. 548 (d) and (e), the
また、図５４８の（ｆ）に示すように、ディスプレイ８９７２は、それぞれ六角形の発光領域Ａ〜Ｆを、それぞれの領域の辺が互いに平行になるように表示してもよい。このような場合にも、上述と同様に、ディスプレイ８９７２の水平方向および垂直方向に沿って、発光領域Ａ〜Ｆの間を通ってディスプレイ８９７２を横断する非輝度変化領域をなくすることができる。その結果、受信機が、その露光ラインを水平方向に向けた状態でディスプレイ８９７２を撮影しても、その露光ラインを垂直方向に向けた状態でディスプレイ８９７２を撮影しても、撮影画像において、輝線領域を連続させることができる。
Further, as shown in FIG. 548 (f), the
図５４９Ａは、実施の形態２１における送信機および受信機の適用例を示す図である。 FIG. 549A is a diagram showing an application example of the transmitter and the receiver according to the 21st embodiment.
受信機８９７３は、上記各実施の形態における受信機としての機能を有するスマートフォントして構成されている。この受信機８９７３は、図５４９Ａの（ａ）に示すように、ディスプレイ８９７２を撮影し、撮影画像に表れる輝線を読み取ろうとする。ここで、ディスプレイ８９７２が暗い場合には、受信機８９７３は、その輝線を読み取れず、ディスプレイ８９７２からの信号を受信することができないことがある。このとき、受信機８９７３は、図５４９Ａの（ｂ）に示すように、予め定められたリズムでフラッシュを放つ。ディスプレイ８９７２は、そのフラッシュを受けると、図５４９Ａの（ｃ）に示すように、輝度を上げて明るい表示を行う。その結果、受信機８９７３は、撮影画像に表れる輝線を読み取ることができ、ディスプレイ８９７２からの信号を受信することができる。
The
図５４９Ｂは、実施の形態２１における受信機８９７３の動作を示すフローチャートである。
FIG. 549B is a flowchart showing the operation of the
受信機８９７３は、まず、受信開始のためのユーザによる操作またはジェスチャを受け付けたか否かを判定する（ステップＳ８３１）。ここで、受信機８９７３は、受け付けたと判定すると（ステップＳ８３１のＹ）、イメージセンサを用いた撮影による受信を開始する（ステップＳ８３２）。次に、受信機８９７３は、受信が完了することなう受信開始から所定の時間が経過したか否かを判定する（ステップＳ８３３）。ここで、受信機８９７３は、所定の時間が経過したと判定すると（ステップＳ８３３のＹ）、予め定められたリズムでフラッシュを点滅させ（ステップＳ８３４）、ステップＳ８３３からの処理を繰り返し実行する。なお、ステップＳ８３３の処理が繰り返される場合には、受信機８９７３は、受信が完了することなくフラッシュを点滅させてから所定の時間が経過したか否かを判定する。また、ステップＳ８３４では、受信機８９７３は、フラッシュを点滅させる代わりに、人間に聞こえ難い周波数の予め定められた音を発生したり、受信待ちであることを知らせるための信号をディスプレイ８９７２である送信機に送信してもよい。
The
図５５０は、実施の形態２１における送信機および受信機の適用例を示す図である。 FIG. 550 is a diagram showing an application example of the transmitter and the receiver according to the 21st embodiment.
照明機器８９７４は、上記各実施の形態における送信機としての機能を有する。この照明機器８９７４は、輝度変化しながら例えば鉄道の駅にある路線掲示板８９７５を照らす。ユーザによってその路線掲示板８９７５に向けられた受信機８９７３は、その路線掲示板８９７５を撮影する。これにより、受信機８９７３は、その路線掲示板８９７５のＩＤを取得し、そのＩＤに関連付けられている情報であって、その路線掲示板８９７５に記載されている各路線についての詳細な情報を取得する。そして、受信機８９７３は、その詳細な情報を示す案内画像８９７３ａを表示する。例えば、案内画像８９７３ａは、路線掲示板８９７５に記載されている路線までの距離と、その路線に向かう方向と、その路線において次に電車が到着する時刻とを示す。
The
ここで、受信機８９７３は、その案内画像８９７３ａがユーザによってタッチされると、補足案内画像８９７３ｂを表示する。この補足案内画像８９７３ｂは、例えば、鉄道の時刻表、案内画像８９７３ａによって示される路線とは異なる別の路線に関する情報、および、その駅に関する詳細な情報、のうちの何れかをユーザによる選択操作に応じて表示するための画像である。
Here, the
図５５１は、実施の形態２１における送信機の適用例を示す図である。 FIG. 551 is a diagram showing an application example of the transmitter according to the 21st embodiment.
照明機器８９７６ａ〜８９７６ｃはそれぞれ、上記各実施の形態における送信機としての機能を有し、店舗の看板８９７７を照らす。ここで、図５５１の（ａ）に示すように、照明機器８９７６ａ〜８９７６ｃはそれぞれ、同期して輝度変化することによって同じＩＤを送信してもよい。また、図５５１の（ｂ）に示すように、両端に配置された照明機器８９７６ａと照明機器８９７６ｃだけが、同期して輝度変化することによって同じＩＤを送信し、それらの照明機器の間に配置された照明機器８９７６ｂは、輝度変化によってＩＤを送信することなく、看板８９７７を照らしてもよい。また、図５５１の（ｃ）に示すように、その照明機器８９７６ｂがＩＤを送信しない状態において、両端に配置された照明機器８９７６ａと照明機器８９７６ｃは、輝度変化することによって互いに異なるＩＤを送信してもよい。この場合には、照明機器８９７６ａと照明機器８９７６ｃとの間にある照明機器８９７６ｂは、ＩＤの送信のための輝度変化を行わないないため、照明機器８９７６ａと照明機器８９７６ｃのそれぞれからの信号が混信してしまうことを防ぐことができる。なお、照明機器８９７６ａによって送信されるＩＤと、照明機器８９７６ｃによって送信されるＩＤとは、互いに異なっていているが、これらのＩＤに対して同じ情報が関連付けられていてもよい。
The
図５５２Ａは、実施の形態２１における送信機および受信機の適用例を示す図である。 FIG. 552A is a diagram showing an application example of the transmitter and the receiver according to the 21st embodiment.
照明機器８９７８は、上記各実施の形態における送信機としての機能を有し、図５５２Ａの（１）に示すように、常時、輝度変化することによって信号を送信している。
The
本実施の形態における受信機は、その照明機器８９７８を撮影する。このとき、図５５２Ａに示すように、受信機の撮影範囲８９７９には、照明機器８９７８と、その照明機器８９７８以外の部分とが含まれる。つまり、この撮影範囲８９７９における上側の範囲ａと下側の範囲ｃのそれぞれには、照明機器８９７８以外の部分が含まれ、撮影範囲８９７９における中央の範囲ｂには、照明機器８９７８が含まれる。
The receiver in this embodiment photographs the
受信機は、図５５２Ａの（２）および（３）に示すように、照明機器８９７８の撮影によって、照明機器８９７８の輝度変化によって生じる複数の輝線を含む撮影画像（輝線画像）を取得する。この輝線画像において、上述の上側の範囲ａおよび下側の範囲ｃに対応する部分には輝線が表れず、中央の範囲ｂに対応する部分にのみ輝線が表れる。
As shown in (2) and (3) of FIG. 552A, the receiver acquires a photographed image (bright line image) including a plurality of bright lines generated by a change in the brightness of the
ここで、受信機が例えば３０ｆｐｓのフレームレートで照明機器８９７８を撮影する場合には、図５５２Ａの（２）に示すように、輝線画像における輝線領域の長さｂは短く、受信機が例えば１５ｆｐｓのフレームレートで照明機器８９７８を撮影する場合には、図５５２の（３）に示すように、輝線画像における輝線領域の長さｂは長い。なお、輝線領域（輝線のパターン）の長さは、その輝線領域に含まれる各輝線に垂直な方向の長さである。
Here, when the receiver shoots the
したがって、本実施の形態における受信機は、例えば３０ｆｐｓのフレームレートで照明機器８９７８を撮影し、輝線画像における輝線領域の長さｂが予め定められた長さ未満であるか否かを判定する。予め定められた長さは、例えば、照明機器８９７８の輝度変化によって送信される信号の１ブロック分に相当する長さである。そして、受信機は、予め定められた長さ未満であると判定すると、そのフレームレートを例えば１５ｆｐｓに変更する。これにより、受信機は、１ブロック分の信号を照明機器８９７８からまとめて受信することができる。
Therefore, the receiver in the present embodiment photographs the
図５５２Ｂは、実施の形態２１における受信機の動作を示すフローチャートである。 FIG. 552B is a flowchart showing the operation of the receiver according to the 21st embodiment.
受信機は、まず、撮影画像に輝線が含まれているか、つまり、露光ラインによる縞が撮影されているか否かを判定する（ステップＳ８４１）。ここで、受信機は、撮影されていると判定すると（ステップＳ８４１のＹ）、どの撮像モード（撮影モード）に設定されているかを判断する（ステップＳ８４２）。受信機は、撮像モードが中間撮像モード（中間モード）または通常撮像モード（通常撮影モード）であると判断すると、その撮像モードを可視光撮像モード（可視光通信モード）に変更する（ステップＳ８４３）。 The receiver first determines whether or not the captured image contains bright lines, that is, whether or not stripes due to the exposure lines are captured (step S841). Here, when the receiver determines that shooting is being performed (Y in step S841), the receiver determines which imaging mode (shooting mode) is set (step S842). When the receiver determines that the imaging mode is the intermediate imaging mode (intermediate mode) or the normal imaging mode (normal imaging mode), the receiver changes the imaging mode to the visible light imaging mode (visible light communication mode) (step S843). ..
次に、受信機は、輝線領域（輝線のパターン）における輝線に垂直な方向の長さが所定の長さ以上であるか否かを判定する（ステップＳ８４４）。つまり、受信機は、露光ラインに垂直な方向に所定の大きさ以上の縞の領域があるか否かを判定する。ここで、所定の長さ以上ではないと判定すると（ステップＳ８４４のＮ）、受信機は、光学ズームが利用可能か否かを判定する（ステップＳ８４５）。ここで、光学ズームが利用可能であると判定すると（ステップＳ８４５のＹ）、受信機は、輝線領域が長くなるように、つまり、縞の領域が拡大するように、光学ズームを行う（ステップＳ８４６）。一方、光学ズームが利用できないと判定すると（ステップＳ８４５のＮ）、受信機は、Ｅｘズーム（Ｅｘ光学ズーム）が利用可能か否かを判定する（ステップＳ８４７）。ここで、Ｅｘズームが利用可能であると判定すると（ステップＳ８４７のＹ）、輝線領域が長くなるように、つまり、縞の領域が拡大するように、Ｅｘズームを行う（ステップＳ８４８）。一方、Ｅｘズームが利用できないと判定すると（ステップＳ８４７のＮ）、受信機は、撮像フレームレートを低くする（ステップＳ８４９）。そして、受信機は、設定されたフレームレートで照明機器８９７８を撮影することによって、信号を受信する（ステップＳ８５０）。
Next, the receiver determines whether or not the length in the direction perpendicular to the bright line in the bright line region (bright line pattern) is equal to or greater than a predetermined length (step S844). That is, the receiver determines whether or not there is a striped region having a predetermined size or more in the direction perpendicular to the exposure line. Here, if it is determined that the length is not longer than the predetermined length (N in step S844), the receiver determines whether or not the optical zoom is available (step S845). Here, when it is determined that the optical zoom is available (Y in step S845), the receiver performs the optical zoom so that the emission line region becomes longer, that is, the fringe region expands (step S846). ). On the other hand, if it is determined that the optical zoom cannot be used (N in step S845), the receiver determines whether or not the Ex zoom (Ex optical zoom) is available (step S847). Here, when it is determined that the Ex-zoom is available (Y in step S847), the Ex-zoom is performed so that the emission line region becomes longer, that is, the striped region expands (step S848). On the other hand, if it is determined that the Ex zoom cannot be used (N in step S847), the receiver lowers the imaging frame rate (step S849). Then, the receiver receives the signal by photographing the
なお、図５５２Ｂに示す例では、光学ズームおよびＥｘズームが利用できない場合にフレームレートを落としていが、それらのズームが利用できる場合に、フレームレートを落としてもよい。また、Ｅｘズームとは、イメージセンサの使用領域を限定し、撮影画角をせばめ、見かけ上の焦点距離を望遠にする機能である。 In the example shown in FIG. 552B, the frame rate is lowered when the optical zoom and the Ex zoom cannot be used, but the frame rate may be lowered when the zooms can be used. The Ex-zoom is a function that limits the area in which the image sensor is used, narrows the shooting angle of view, and makes the apparent focal length telephoto.
図５５３は、実施の形態２１における受信機の動作を示す図である。 FIG. 553 is a diagram showing the operation of the receiver according to the 21st embodiment.
受信機は、撮影画像８９８０ａに送信機である照明機器８９７８が小さく映っている場合には、光学ズームまたはＥｘズームを用いることによって、照明機器８９７８が大きく映し出された撮影画像８９８０ｂを取得することができる。つまり、受信機は、光学ズームまたはＥｘズームを用いることによって、輝線に垂直な方向に長い輝線領域を有する輝線画像（撮影画像）を取得することができる。
When the
図５５４は、実施の形態２１における送信機の適用例を示す図である。 FIG. 554 is a diagram showing an application example of the transmitter according to the 21st embodiment.
送信機８９８１は、上記各実施の形態における送信機としての機能を有し、例えば、操作パネル８９８２と通信する。操作パネル８９８２は、送信スイッチ８９８２ａと電源スイッチ８９８２ｂとを備えている。
The
送信スイッチ８９８２ａがオンにされると、操作パネル８９８２は、可視光通信を行うように送信機８９８１に指示する。送信機８９８１は、その指示を受け付けると、輝度変化することによって信号を送信する。また、送信スイッチ８９８２ａがオフにされると、操作パネル８９８２は、可視光通信を停止するように送信機８９８１に指示する。送信機８９８１は、その指示を受け付けると、輝度変化を行わず、信号の送信を停止する。
When the transmission switch 8892a is turned on, the operation panel 8892 instructs the transmitter 8891 to perform visible light communication. Upon receiving the instruction, the
電源スイッチ８９８２ｂがオンにされると、操作パネル８９８２は、送信機８９８１の電源をオンにするように送信機８９８１に指示する。送信機８９８１は、その指示を受け付けると、自らの電源をオンにする。例えば、送信機８９８１が照明機器として構成されている場合には、送信機８９８１は電源オンによって周辺を照らし、送信機８９８１がテレビとして構成されている場合には、送信機８９８１は電源オンによって映像などを表示する。また、電源スイッチ８９８２ｂがオフにされると、操作パネル８９８２は、送信機８９８１の電源をオフするように送信機８９８１に指示する。送信機８９８１は、その指示を受け付けると、自らの電源をオフにして待機状態になる。
When the power switch 8892b is turned on, the operation panel 8892 instructs the transmitter 8891 to turn on the power of the transmitter 8891. Upon receiving the instruction, the
図５５５は、実施の形態２１における受信機の適用例を示す図である。 FIG. 555 is a diagram showing an application example of the receiver according to the 21st embodiment.
スマートフォンとして構成される受信機８９７３は、例えば上記各実施の形態における送信機としての機能を有し、サーバ８９８３から認証ＩＤおよび有効期限を取得する。受信機８９７３は、現時点がその有効期限内であれば、例えばディスプレイを輝度変化させることによって、その認証ＩＤを周辺機器８９８４に送信する。周辺機器８９８４は、例えばカメラ、バーコードリーダまたはパーソナルコンピュータである。
The
周辺機器８９８４は、受信機８９７３からその認証ＩＤを受信すると、その認証ＩＤをサーバ８９８３に送信して照合を依頼する。サーバ８９８３は、周辺機器８９８４から送信された認証ＩＤと、自らが保持し、受信機８９７３へ送信された認証ＩＤとを照合し、一致すれば、一致したことを周辺機器８９８４に通知する。周辺機器８９８４は、一致したという通知をサーバ８９８３から受けると、自らに設定されているロックを解除したり、電子決済の支払い処理を行ったり、ログインなどの処理を行う。
When the
図５５６Ａは、実施の形態２１における送信機の動作の一例を示すフローチャートである。 FIG. 556A is a flowchart showing an example of the operation of the transmitter according to the 21st embodiment.
本実施の形態における送信機は、上記各実施の形態における送信機としての機能を有し、例えば照明機器またはディスプレイとして構成されている。このような送信機は、例えば、調光レベル（明るさのレベル）が所定のレベルよりも下回っているか否かを判定する（ステップＳ８６１ａ）。ここで、送信機は、所定のレベルよりも下回っていると判定すると（ステップＳ８６１ａのＹ）、輝度変化によって信号を送信することを停止する（ステップＳ８６１ｂ）。 The transmitter in this embodiment has a function as a transmitter in each of the above embodiments, and is configured as, for example, a lighting device or a display. Such a transmitter determines, for example, whether or not the dimming level (brightness level) is lower than a predetermined level (step S861a). Here, when the transmitter determines that the level is below the predetermined level (Y in step S861a), the transmitter stops transmitting the signal due to the change in brightness (step S861b).
図５５６Ｂは、実施の形態２１における送信機の動作の一例を示すフローチャートである。 FIG. 556B is a flowchart showing an example of the operation of the transmitter according to the 21st embodiment.
本実施の形態における送信機は、調光レベル（明るさのレベル）が所定のレベルを上回っているか否かを判定する（ステップＳ８６２ａ）。ここで、送信機は、所定のレベルを上回っていると判定すると（ステップＳ８６２ａのＹ）、輝度変化によって信号を送信することを開始する（ステップＳ８６２ｂ）。 The transmitter in the present embodiment determines whether or not the dimming level (brightness level) exceeds a predetermined level (step S862a). Here, when the transmitter determines that the level exceeds a predetermined level (Y in step S862a), the transmitter starts transmitting a signal by changing the brightness (step S862b).
図５５７は、本実施の形態における送信機の動作の一例を示すフローチャートである。 FIG. 557 is a flowchart showing an example of the operation of the transmitter according to the present embodiment.
本実施の形態における送信機は、所定のモードが選択されているか否かを判定する（ステップＳ８６３ａ）。例えば、所定のモードは、エコモードまたは省電力モードなどである。ここで、送信機は、所定のモードが選択されていると判定すると（ステップＳ８６３ａのＹ）、輝度変化によって信号を送信することを停止する（ステップＳ８６３ｂ）。一方、送信機は、所定のモードが選択されていないと判定すると（ステップＳ８６３ａのＮ）、輝度変化によって信号を送信することを開始する（ステップＳ８６３ｃ）。 The transmitter in this embodiment determines whether or not a predetermined mode is selected (step S863a). For example, the predetermined mode is an eco mode or a power saving mode. Here, when the transmitter determines that the predetermined mode is selected (Y in step S863a), the transmitter stops transmitting the signal due to the change in brightness (step S863b). On the other hand, when the transmitter determines that the predetermined mode is not selected (N in step S863a), the transmitter starts transmitting a signal by changing the brightness (step S863c).
図５５８は、実施の形態２１における撮像機器の動作の一例を示すフローチャートである。 FIG. 558 is a flowchart showing an example of the operation of the imaging device according to the twenty-first embodiment.
本実施の形態における撮像機器は、例えばビデオカメラであって、録画中であるか否かを判定する（ステップＳ８６４ａ）。ここで、撮像機器は、録画中であると判定すると（ステップＳ８６４ａのＹ）、輝度変化によって信号を送信する送信機に対して、可視光送信停止命令を送信する（ステップＳ８６４ｂ）。この可視光送信停止命令を受けた送信機は、輝度変化による信号の送信（可視光送信）を停止する。一方、撮像機器は、録画中でないと判定すると（ステップＳ８６４ａのＮ）、さらに、録画を停止したか否か、つまり、録画の直後であるか否かを判定する（ステップＳ８６４ｃ）。ここで、撮像機器は、録画を停止したと判定すると（ステップＳ８６４ｃのＹ）、上述の送信機に対して、可視光送信開始命令を送信する（ステップＳ８６４ｄ）。この可視光送信開始命令を受けた送信機は、輝度変化による信号の送信（可視光送信）を開始する。 The imaging device in the present embodiment is, for example, a video camera, and determines whether or not recording is in progress (step S864a). Here, when the imaging device determines that recording is in progress (Y in step S864a), it transmits a visible light transmission stop command to the transmitter that transmits a signal due to the change in brightness (step S864b). The transmitter that receives this visible light transmission stop command stops the transmission of the signal due to the change in brightness (visible light transmission). On the other hand, when the imaging device determines that recording is not in progress (N in step S864a), it further determines whether or not recording has been stopped, that is, whether or not it has just been recorded (step S864c). Here, when the imaging device determines that the recording has been stopped (Y in step S864c), it transmits a visible light transmission start command to the above-mentioned transmitter (step S864d). The transmitter that has received this visible light transmission start command starts transmitting a signal (visible light transmission) due to a change in luminance.
図５５９は、実施の形態２１における撮像機器の動作の一例を示すフローチャートである。 FIG. 559 is a flowchart showing an example of the operation of the imaging device according to the twenty-first embodiment.
本実施の形態における撮像機器は、例えばデジタルスチルカメラであって、撮像ボタン（シャッターボタン）が半押しされているか否か、または、ピント合わせが行われているか否かを判定する（ステップＳ８６５ａ）。次に、撮像機器は、その撮像機器に備えられているイメージセンサの露光ラインに沿う方向に濃淡が現れているか否かを判定する（ステップＳ８６５ｂ）。ここで、濃淡が表れていると判定されると（ステップＳ８６５ｂのＹ）、輝度変化によって信号を送信している送信機が撮像機器の近くにある可能性がある。そこで、撮像機器は、その送信機に対して、可視光送信停止命令を送信する（ステップＳ８６５ｃ）。次に、撮像機器は、撮像を行うことによって撮影画像を取得する（ステップＳ８６５ｄ）。そして、撮像機器は、上述の送信機に対して、可視光送信開始命令を送信する（ステップＳ８６５ｅ）。これにより、撮像機器は、送信機による輝度変化の影響を受けることなく撮影画像を取得することができる。また、輝度変化による信号の送信が停止されている期間は、撮像機器によって撮像が行われている極わずかな期間に限られるため、可視光通信ができない期間を抑えることができる。 The imaging device according to the present embodiment is, for example, a digital still camera, and determines whether or not the imaging button (shutter button) is half-pressed or whether or not focusing is performed (step S865a). .. Next, the imaging device determines whether or not shading appears in the direction along the exposure line of the image sensor provided in the imaging device (step S865b). Here, if it is determined that the shading appears (Y in step S865b), there is a possibility that the transmitter transmitting the signal due to the change in brightness is near the imaging device. Therefore, the imaging device transmits a visible light transmission stop command to the transmitter (step S865c). Next, the imaging device acquires a captured image by performing imaging (step S865d). Then, the imaging device transmits a visible light transmission start command to the above-mentioned transmitter (step S865e). As a result, the imaging device can acquire the captured image without being affected by the change in brightness due to the transmitter. Further, since the period during which the transmission of the signal due to the change in brightness is stopped is limited to a very short period during which the imaging device is performing the imaging, it is possible to suppress the period during which visible light communication cannot be performed.
図５６０は、実施の形態２１における送信機によって送信される信号の一例を示す図である。 FIG. 560 is a diagram showing an example of a signal transmitted by the transmitter according to the 21st embodiment.
本実施の形態における送信機は、上記各実施の形態における送信機としての機能を有し、スロットごとに高い輝度の光（Ｈｉ）または低い輝度の光（Ｌｏ）を出力ことによって、信号を送信する。具体的には、スロットは１０４．２μｓの時間単位である。また、送信機は、Ｈｉを出力することによって、１を示す信号を送信し、Ｌｏを出力することによって、０を示す信号を送信する。 The transmitter in the present embodiment has a function as a transmitter in each of the above-described embodiments, and transmits a signal by outputting high-luminance light (Hi) or low-luminance light (Lo) for each slot. To do. Specifically, the slot is a time unit of 104.2 μs. Further, the transmitter transmits a signal indicating 1 by outputting Hi, and transmits a signal indicating 0 by outputting Lo.
図５６１は、実施の形態２１における送信機によって送信される信号の一例を示す図である。 FIG. 561 is a diagram showing an example of a signal transmitted by the transmitter in the 21st embodiment.
上述の送信機は、スロットごとにＨｉまたはＬｏを出力することによって、信号単位であるＰＨＹ（ｐｈｙｓｉｃａｌ ｌａｙｅｒ）フレームを順次送信する。ＰＨＹフレームは、８スロットからなるプリアンブルと、２スロットからなるＦＣＳ（Ｆｒａｍｅ Ｃｈｅｃｋ Ｓｅｑｕｅｎｃｅ）と、２０スロットからなるボディとを含む。なお、ＰＨＹフレームに含まれる各部分は、プリアンブル、ＦＣＳ、ボディの順に送信される。 The transmitter described above sequentially transmits PHY (physical layer) frames, which are signal units, by outputting Hi or Lo for each slot. The PHY frame includes a preamble consisting of 8 slots, an FCS (Frame Check Sequence) consisting of 2 slots, and a body consisting of 20 slots. Each part included in the PHY frame is transmitted in the order of preamble, FCS, and body.
プリアンブルは、ＰＨＹフレームのヘッダに相当し、例えば「０１０１０１１１」を含む。なお、プリアンブルは、７スロットから構成されていてもよい。この場合、プリアンブルは「０１０１０１１」を含む。ＦＣＳは、ボディに含まれる１の数が偶数の場合には「０１」を含み、ボディに含まれる１の数が奇数の場合には「１１」を含む。ボディは、４スロットからなるシンボルを５つ含む。シンボルは、４ＰＰＭ変調の場合、「０１１１」、「１０１１」、「１１０１」、または「１１１０」を含む。 The preamble corresponds to the header of the PHY frame and includes, for example, "01010111". The preamble may be composed of 7 slots. In this case, the preamble includes "0101011". The FCS includes "01" when the number of 1s contained in the body is an even number, and includes "11" when the number of 1s contained in the body is an odd number. The body contains five symbols consisting of four slots. Symbols include "0111", "1011", "1101", or "1110" for 4PPM modulation.
図５６２は、実施の形態２１における送信機によって送信される信号の一例を示す図である。 FIG. 562 is a diagram showing an example of a signal transmitted by the transmitter according to the 21st embodiment.
上述のシンボルは受信機によって２ビットの値に変換される。例えば、シンボル「０１１１」、「１０１１」、「１１０１」および「１１１０」は、それぞれ「００」、「０１」、「１０」および「１１」に変換される。したがって、ＰＨＹフレームのボディ（２０スロット）は、１０ビットの信号に変換される。この１０ビットのボディは、ＰＨＹフレームの種別を示す３ビットからなるＴＹＰＥと、ＰＨＹフレームまたはボディのアドレスを示す２ビットからなるＡＤＤＲと、データの実体を示す５ビットからなるＤＡＴＡとを含む。例えば、ＰＨＹフレームの種別がＴＹＰＥ１の場合には、ＴＹＰＥは「０００」を示す。ＡＤＤＲは、「００」、「０１」、「１０」または「１１」を示す。 The above symbols are converted to 2-bit values by the receiver. For example, the symbols "0111", "1011", "1101" and "1110" are converted into "00", "01", "10" and "11", respectively. Therefore, the body (20 slots) of the PHY frame is converted into a 10-bit signal. The 10-bit body includes a TYPE consisting of 3 bits indicating the type of the PHY frame, an ADDR consisting of 2 bits indicating the address of the PHY frame or the body, and a DATA consisting of 5 bits indicating the substance of the data. For example, when the type of the PHY frame is TYPE1, TYPE indicates "000". ADDR indicates "00", "01", "10" or "11".
受信機では、４つのＰＨＹフレームのそれぞれのボディに含まれるＤＡＴＡが結合される。この結合に、上述ＡＤＤＲが利用される。つまり、受信機は、ＡＤＤＲ「００」を有するＰＨＹフレームのボディに含まれるＤＡＴＡと、ＡＤＤＲ「０１」を有するＰＨＹフレームのボディに含まれるＤＡＴＡと、ＡＤＤＲ「１０」を有するＰＨＹフレームのボディに含まれるＤＡＴＡと、ＡＤＤＲ「１１」を有するＰＨＹフレームのボディに含まれるＤＡＴＡとを結合することによって、２０ビットからなるデータを生成する。これにより、４つのＰＨＹフレームがデコードされる。この生成されたデータは、１６ビットからなる有効ＤＡＴＡと、４ビットからなるＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）とを含む。 At the receiver, the DATA contained in the body of each of the four PHY frames is combined. The ADDR described above is used for this binding. That is, the receiver is included in the DATA included in the body of the PHY frame having ADDR "00", the DATA included in the body of the PHY frame having ADDR "01", and the body of the PHY frame having ADDR "10". Data consisting of 20 bits is generated by combining the DATA to be generated and the DATA included in the body of the PHY frame having ADDR "11". As a result, four PHY frames are decoded. The generated data includes a valid DATA consisting of 16 bits and a CRC (Cyclic Redundancy Check) consisting of 4 bits.
図５６３は、実施の形態２１における送信機によって送信される信号の一例を示す図である。 FIG. 563 is a diagram showing an example of a signal transmitted by the transmitter in the 21st embodiment.
上述のＰＨＹフレームの種別には、ＴＹＰＥ１、ＴＹＰＥ２、ＴＹＰＥ３およびＴＹＰＥ４がある。これらの種別ごとに、ボディの長さ、ＡＤＤＲの長さ、ＤＡＴＡの長さ、連結されるＤＡＴＡの数（連結数）、有効ＤＡＴＡの長さ、およびＣＲＣの種別が異なる。 The types of PHY frames described above include TYPE1, TYPE2, TYPE3 and TYPE4. The body length, ADDR length, DATA length, the number of connected DATA (number of connected data), the effective DATA length, and the CRC type are different for each of these types.
例えば、ＴＹＰＥ１の場合には、ＴＹＰＥ（ＴＹＰＥＢＩＴ）は「０００」を示し、ボディの長さは２０スロットであり、ＡＤＤＲの長さは２ビットであり、ＤＡＴＡの長さは５ビットであり、連結数は４個であり、有効ＤＡＴＡの長さは１６ビットであり、ＣＲＣの種別はＣＲＣ−４である。一方、ＴＹＰＥ２の場合には、ＴＹＰＥ（ＴＹＰＥＢＩＴ）は「００１」を示し、ボディの長さは２４スロットであり、ＡＤＤＲの長さは４ビットであり、ＤＡＴＡの長さは５ビットであり、連結数は８個であり、有効ＤＡＴＡの長さは３２ビットであり、ＣＲＣの種別はＣＲＣ−８である。 For example, in the case of TYPE1, TYPE (TYPEBIT) indicates "000", the length of the body is 20 slots, the length of ADDR is 2 bits, the length of DATA is 5 bits, and they are concatenated. The number is 4, the effective DATA length is 16 bits, and the CRC type is CRC-4. On the other hand, in the case of TYPE2, TYPE (TYPEBIT) indicates "001", the length of the body is 24 slots, the length of ADDR is 4 bits, the length of DATA is 5 bits, and they are connected. The number is eight, the effective DATA length is 32 bits, and the CRC type is CRC-8.
このような図５６０〜図５６３に示す信号によって、適切に可視光通信を行うことができる。 Visible light communication can be appropriately performed by such signals shown in FIGS. 560 to 563.
図５６４は、実施の形態２１における送信機と受信機とを含むシステム構成の一例を示す図である。 FIG. 564 is a diagram showing an example of a system configuration including a transmitter and a receiver according to the 21st embodiment.
本実施の形態におけるシステムは、上記各実施の形態における送信機と同様の機能を有する送信機８９９１と、例えばスマートフォントして構成される受信機８９７３と、コンテンツ共有サーバ８９９２と、ＩＤ管理サーバ８９９３とを備える。
The system according to the present embodiment includes a
例えば、コンテンツクリエイターは、商品を紹介するための静止画または動画を示すオーディオビデオデータなどのコンテンツと、その商品についてのメーカ、産地、原料または仕様などを示す商品情報とをコンテンツ共有サーバ８９９２にアップロードする。そして、コンテンツ共有サーバ８９９２は、そのコンテンツを識別するためのコンテンツＩＤに関連付けて商品情報をＩＤ管理サーバ８９９３に登録する。
For example, a content creator uploads content such as audio-video data indicating a still image or video for introducing a product and product information indicating the manufacturer, production area, raw material, specifications, etc. of the product to the
次に、送信機８９９１は、ユーザによる操作に応じて、コンテンツ共有サーバ８９９２からコンテンツとコンテンツＩＤとをダウンロードし、コンテンツを表示するとともに、輝度変化することによって、つまり可視光通信によって、コンテンツＩＤを送信する。ユーザは、そのコンテンツを視聴し、そのコンテンツで紹介される商品に興味がある場合には、受信機８９７３を送信機８９９１に向けて撮影を行う。受信機８９７３は、送信機８９９１に表示されているコンテンツを撮影することによって、コンテンツＩＤを受信する。
Next, the
次に、受信機８９７３は、ＩＤ管理サーバ８９９３にアクセスし、そのコンテンツＩＤについての問い合わせをＩＤ管理サーバ８９９３に行う。これにより、受信機８９７３は、ＩＤ管理サーバ８９９３から、そのコンテンツＩＤに関連付けられている商品情報を取得し、その商品情報を表示する。ここで、受信機８９７３は、その商品情報に対応する商品の購入を促す操作を受け付けると、その商品のメーカにアクセスして商品を購入するための処理を実行する。
Next, the
次に、ＩＤ管理サーバは、コンテンツＩＤに対して行われた問い合わせの数、またはアクセスの数などを示す問い合わせ情報を、そのコンテンツＩＤに関連付けられている商品情報によって示されるメーカに通知する。メーカは、問い合わせ情報を受けると、その問い合わせ情報によって示される問い合わせの数などに応じたアフィリエイト報奨金を、コンテンツＩＤによって特定されるコンテンツクリエイターに、ＩＤ管理サーバ８９９３およびコンテンツ共有サーバ８９９２を介して電子決済によって支払う。
Next, the ID management server notifies the manufacturer indicated by the product information associated with the content ID of inquiry information indicating the number of inquiries made to the content ID, the number of accesses, and the like. When the maker receives the inquiry information, the maker electronically gives an affiliate reward according to the number of inquiries indicated by the inquiry information to the content creator specified by the content ID via the
図５６５は、実施の形態２１における送信機と受信機とを含むシステム構成の一例を示す図である。 FIG. 565 is a diagram showing an example of a system configuration including a transmitter and a receiver according to the 21st embodiment.
図５６４に示す例の場合には、コンテンツ共有サーバ８９９２は、コンテンツと商品情報のアップロードが行われると、コンテンツＩＤに関連付けて商品情報をＩＤ管理サーバ８９９３に登録したが、このような登録を行わなくてもよい。例えば、図５６５に示すように、コンテンツ共有サーバ８９９２は、アップロードされた商品情報の商品を識別するための商品ＩＤをＩＤ管理サーバから検索し、その商品ＩＤをアップロードされたコンテンツに埋め込む。
In the case of the example shown in FIG. 564, when the content and the product information are uploaded, the
次に、送信機８９９１は、ユーザによる操作に応じて、コンテンツ共有サーバ８９９２から、商品ＩＤが埋め込まれたコンテンツとコンテンツＩＤをダウンロードし、コンテンツを表示するとともに、輝度変化することによって、つまり可視光通信によって、コンテンツＩＤおよび商品ＩＤを送信する。ユーザは、そのコンテンツを視聴し、そのコンテンツで紹介される商品に興味がある場合には、受信機８９７３を送信機８９９１に向けて撮影を行う。受信機８９７３は、送信機８９９１に表示されているコンテンツを撮影することによって、コンテンツＩＤおよび商品ＩＤを受信する。
Next, the
次に、受信機８９７３は、ＩＤ管理サーバ８９９３にアクセスし、そのコンテンツＩＤおよび商品ＩＤについての問い合わせをＩＤ管理サーバ８９９３に行う。これにより、受信機８９７３は、ＩＤ管理サーバ８９９３から、その商品ＩＤに関連付けられている商品情報を取得し、その商品情報を表示する。ここで、受信機８９７３は、その商品情報に対応する商品の購入を促す操作を受け付けると、その商品のメーカにアクセスして商品を購入するための処理を実行する。
Next, the
次に、ＩＤ管理サーバは、コンテンツＩＤおよび商品ＩＤに対して行われた問い合わせの数、またはアクセスの数などを示す問い合わせ情報を、その商品ＩＤに関連付けられている商品情報によって示されるメーカに通知する。メーカは、問い合わせ情報を受けると、その問い合わせ情報によって示される問い合わせの数などに応じたアフィリエイト報奨金を、コンテンツＩＤによって特定されるコンテンツクリエイターに、ＩＤ管理サーバ８９９３およびコンテンツ共有サーバ８９９２を介して電子決済によって支払う。
Next, the ID management server notifies the manufacturer indicated by the product information associated with the product ID of the inquiry information indicating the number of inquiries made to the content ID and the product ID, the number of accesses, and the like. To do. When the maker receives the inquiry information, the maker electronically gives an affiliate reward according to the number of inquiries indicated by the inquiry information to the content creator specified by the content ID via the
図５６６は、実施の形態２１における送信機と受信機とを含むシステム構成の一例を示す図である。 FIG. 566 is a diagram showing an example of a system configuration including a transmitter and a receiver according to the 21st embodiment.
本実施の形態におけるシステムは、図５６５に示すコンテンツ共有サーバ８９９２の代わりにコンテンツ共有サーバ８９９２ａを備え、さらに、ＳＮＳサーバ８９９４を備える。このＳＮＳサーバ８９９４は、ソーシャル・ネットワーキング・サービスを行うサーバであって、図５６５に示すコンテンツ共有サーバ８９９２によって行われる処理の一部を行う。
The system according to the present embodiment includes a
具体的には、ＳＮＳサーバ８９９４は、コンテンツクリエイターからアップロードされたコンテンツと商品情報とを取得し、その商品情報に対応する商品ＩＤの検索を行い、そのコンテンツに商品ＩＤを埋め込む。そして、ＳＮＳサーバ８９９４は、その商品ＩＤが埋め込まれたコンテンツをコンテンツ共有サーバ８９９２ａに転送する。コンテンツ共有サーバ８９９２ａは、ＳＮＳサーバ８９９４から転送されたコンテンツを受け取り、その商品ＩＤが埋め込まれたコンテンツとコンテンツＩＤとを送信機８９９１に送信する。
Specifically, the
つまり、図５６６に示す例では、ＳＮＳサーバ８９９４とコンテンツ共有サーバ８９９２ａとを含むユニットが、図５６５に示すコンテンツ共有サーバ８９９２としての役割を果たす。
That is, in the example shown in FIG. 566, the unit including the
このような図５６４〜図５６６に示すシステムでは、可視光通信を用いて問い合わせが行われた広告（コンテンツ）に対して、適切なアフィリエイト報奨金を適切に支払うことができる。 In such a system shown in FIGS. 564 to 566, an appropriate affiliate reward can be appropriately paid for an advertisement (content) inquired using visible light communication.
以上、一つまたは複数の態様に係る情報通信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。 Although the information communication method according to one or more aspects has been described above based on the embodiment, the present invention is not limited to this embodiment. As long as the gist of the present invention is not deviated, various modifications that can be conceived by those skilled in the art are applied to the present embodiment, and a form constructed by combining components in different embodiments is also within the scope of one or more embodiments. May be included within.
図５６７Ａは、本発明の一態様に係る情報通信方法のフローチャートである。 FIG. 567A is a flowchart of an information communication method according to one aspect of the present invention.
本発明の一態様に係る情報通信方法は、輝度変化によって信号を送信する情報通信方法であって、ステップＳＫ１１およびＳＫ１２を含む。 The information communication method according to one aspect of the present invention is an information communication method for transmitting a signal by changing the brightness, and includes steps SK11 and SK12.
つまり、この情報通信方法は、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップＳＫ１１と、決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信ステップＳＫ１２とを含む。そして、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている。 That is, in this information communication method, the determination step SK11 for determining the luminance change pattern by modulating the signal to be transmitted, and the luminance change of the plurality of light emitters according to the determined luminance change pattern are performed. The transmission step SK12 for transmitting the signal to be transmitted is included. Then, on the surface on which the plurality of light emitters are arranged, a non-luminance change region outside the plurality of light emitters and in which the brightness does not change is located along at least one of the vertical direction and the horizontal direction of the surface. The plurality of illuminants are arranged on the surface so as not to pass between the plurality of illuminants and cross the surface.
図５４２Ｂは、本発明の一態様に係る情報通信装置のブロック図である。 FIG. 542B is a block diagram of an information communication device according to an aspect of the present invention.
本発明の一態様に係る情報通信装置Ｋ１０は、輝度変化によって信号を送信する情報通信装置であって、構成要素Ｋ１１およびＫ１２を備える。 The information communication device K10 according to one aspect of the present invention is an information communication device that transmits a signal by changing the brightness, and includes components K11 and K12.
つまり、この情報通信装置Ｋ１０は、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定部Ｋ１１と、決定された輝度変化のパターンにしたがって複数の発光体が輝度変化することによって、前記送信対象の信号を送信する送信部Ｋ１２とを備える。そして、前記複数の発光体が配置された面において、前記複数の発光体の外にあって輝度変化しない非輝度変化領域が、前記面の垂直方向および水平方向のうちの少なくとも一方に沿って前記複数の発光体の間を通って前記面を横断することがないように、前記複数の発光体が前記面上に配置されている。 That is, in the information communication device K10, the determination unit K11 that determines the luminance change pattern by modulating the signal to be transmitted, and the plurality of light emitters change the luminance according to the determined luminance change pattern. The transmission unit K12 for transmitting the signal to be transmitted is provided. Then, on the surface on which the plurality of light emitters are arranged, a non-luminance change region outside the plurality of light emitters and in which the brightness does not change is located along at least one of the vertical direction and the horizontal direction of the surface. The plurality of illuminants are arranged on the surface so as not to pass between the plurality of illuminants and cross the surface.
このような図５６７Ａおよび図５６７Ｂによって示される情報通信方法および情報通信装置Ｋ１０では、例えば図５４８に示すように、受信機に備えられたイメージセンサによる上述の面（ディスプレイ）の撮影によって取得される撮影画像において、輝線領域を連続させることができる。その結果、送信対象の信号を受信し易くすることができ、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。 In such an information communication method and information communication device K10 shown by FIGS. 567A and 567B, as shown in FIG. 548, for example, the above-mentioned surface (display) is photographed by an image sensor provided in the receiver. In the captured image, the emission line region can be made continuous. As a result, it is possible to easily receive the signal to be transmitted, and it is possible to perform communication between various devices including devices having low computing power.
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図５６７Ａのフローチャートによって示される情報通信方法をコンピュータに実行させる。 In each of the above embodiments, each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. For example, the program causes the computer to execute the information communication method shown by the flowchart of FIG. 567A.
図５６８Ａは、本発明の一態様に係る情報通信方法のフローチャートである。 FIG. 568A is a flowchart of an information communication method according to one aspect of the present invention.
本発明の一態様に係る情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップＳＫ２１〜ＳＫ２４を含む。 The information communication method according to one aspect of the present invention is an information communication method for acquiring information from a subject, and includes steps SK21 to SK24.
つまり、この情報通信方法は、イメージセンサによる前記被写体である第１の被写体の撮影によって得られる画像に、前記イメージセンサに含まれる各露光ラインに対応する複数の輝線が前記第１の被写体の輝度変化に応じて生じるように、前記イメージセンサの第１の露光時間を設定する第１の露光時間設定ステップＳＫ２１と、前記イメージセンサが、輝度変化する前記第１の被写体を、設定された前記第１の露光時間で撮影することによって、前記複数の輝線を含む画像である第１の輝線画像を取得する第１の輝線画像取得ステップＳＫ２２と、取得された前記第１の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより第１の送信情報を取得する第１の情報取得ステップＳＫ２３と、前記第１の送信情報が取得された後に、制御信号を送信することによって、扉の開閉駆動機器に対して前記扉を開かせる扉制御ステップＳＫ２４とを含む。 That is, in this information communication method, in the image obtained by photographing the first subject which is the subject by the image sensor, a plurality of bright lines corresponding to each exposure line included in the image sensor are the brightness of the first subject. The first exposure time setting step SK21 for setting the first exposure time of the image sensor so as to occur according to the change, and the first subject in which the image sensor changes the brightness of the first subject. The first bright line image acquisition step SK22 for acquiring the first bright line image which is an image including the plurality of bright lines by taking an image with one exposure time, and the said-described first bright line image included in the acquired first bright line image. The first information acquisition step SK23 for acquiring the first transmission information by demodulating the data specified by the patterns of the plurality of emission lines, and the control signal being transmitted after the first transmission information is acquired. This includes a door control step SK24 for causing the door opening / closing drive device to open the door.
図５６８Ｂは、本発明の一態様に係る情報通信装置のブロック図である。 FIG. 568B is a block diagram of an information communication device according to an aspect of the present invention.
本発明の一態様に係る情報通信装置Ｋ２０は、輝度変化によって信号を送信する情報通信装置であって、構成要素Ｋ２１〜Ｋ２４を備える。 The information communication device K20 according to one aspect of the present invention is an information communication device that transmits a signal by changing the brightness, and includes components K21 to K24.
つまり、この情報通信装置Ｋ２０は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる各露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部Ｋ２１と、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む画像である輝線画像を取得する前記イメージセンサを有する輝線画像取得部Ｋ２２と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより送信情報を取得する情報取得部Ｋ２３と、前記送信情報が取得された後に、制御信号を送信することによって、扉の開閉駆動機器に対して前記扉を開かせる扉制御部Ｋ２４とを備える。 That is, in this information communication device K20, a plurality of bright lines corresponding to each exposure line included in the image sensor are generated in the image obtained by photographing the subject by the image sensor according to the change in the brightness of the subject. The exposure time setting unit K21 for setting the exposure time of the image sensor and the subject whose brightness changes are photographed at the set exposure time to acquire a bright line image which is an image including the plurality of bright lines. A bright line image acquisition unit K22 having an image sensor, an information acquisition unit K23 that acquires transmission information by demolishing data specified by the plurality of bright line patterns included in the acquired bright line image, and the transmission information. Is provided with a door control unit K24 that causes the door opening / closing drive device to open the door by transmitting a control signal after the acquisition.
このような図５６８Ａおよび図５６８Ｂによって示される情報通信方法および情報通信装置Ｋ２０では、例えば図５３２に示すように、イメージセンサを備えた受信機を扉の鍵のように用いることができ、特別な電子錠を不要にすることができる。その結果、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。 In such an information communication method and information communication device K20 shown by FIGS. 568A and 568B, as shown in FIG. 532, for example, a receiver equipped with an image sensor can be used like a door key, which is special. Electronic locks can be eliminated. As a result, communication can be performed between various devices including devices having low computing power.
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図５６８Ａのフローチャートによって示される情報通信方法をコンピュータに実行させる。 In each of the above embodiments, each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. For example, the program causes the computer to execute the information communication method shown by the flowchart of FIG. 568A.
以下、本実施の形態について補足する。 Hereinafter, the present embodiment will be supplemented.
（混合変調方式）
図５６９と図５７０は、実施の形態２１における送信機の動作の一例を示す図である。
(Mixed modulation method)
569 and 570 are diagrams showing an example of the operation of the transmitter according to the 21st embodiment.
図５６９のように、送信機は、送信信号を複数の変調方式で変調し、変調された信号を交互に、または、同時に送信する。 As shown in FIG. 569, the transmitter modulates the transmission signal by a plurality of modulation methods, and transmits the modulated signals alternately or simultaneously.
同じ信号を複数の変調方式で変調して送信することで、いずれかの変調方式にしか対応していない受信機でも受信することができる。また、例えば、伝送速度が速い変調方式やノイズに強い変調方式や通信距離が長い変調方式を併用することで、受信側の環境に合わせて最適な方法で受信を行うことが出来る。 By modulating and transmitting the same signal with a plurality of modulation methods, it is possible to receive even a receiver that supports only one of the modulation methods. Further, for example, by using a modulation method having a high transmission speed, a modulation method resistant to noise, or a modulation method having a long communication distance in combination, reception can be performed by an optimum method according to the environment on the receiving side.
受信機が複数の変調方式の受信に対応している場合は、受信機は複数の方法で変調された信号を受信する。送信機は、同一の信号を変調する場合は同一の信号ＩＤを付与して変調信号を送信する。これにより、受信機は、信号ＩＤを確認することで、同じ信号が異なる変調方式で変調されていることを認識することができ、復習の種類の変調信号から同じ信号ＩＤを持つ信号を合成することで、速く正確に信号を受信することができる。 If the receiver supports reception of multiple modulation schemes, the receiver receives the signal modulated in multiple ways. When the transmitter modulates the same signal, the transmitter assigns the same signal ID and transmits the modulated signal. As a result, the receiver can recognize that the same signal is modulated by a different modulation method by checking the signal ID, and synthesizes a signal having the same signal ID from the modulation signal of the review type. Therefore, the signal can be received quickly and accurately.
図５７０のように、送信機は、複数の変調方式で変調された信号を合わせて送信する。図５７０の例では、受信機は、露光時間を長く設定することで、低い周波数を用いた周波数変調方式で変調された信号のみを受信できる。また、受信機は、露光時間を短く設定することで、高い周波数帯を用いたパルス位置変調方式を受信することができる。このとき、受信機は、輝線に垂直な方向に輝度の平均をとることで、受光した光の強さを時間的に平均化することになり、露光時間が長い場合の信号を得ることが出来る。 As shown in FIG. 570, the transmitter transmits signals modulated by a plurality of modulation methods together. In the example of FIG. 570, the receiver can receive only the signal modulated by the frequency modulation method using a low frequency by setting the exposure time to be long. Further, the receiver can receive the pulse position modulation method using a high frequency band by setting the exposure time short. At this time, the receiver averages the brightness in the direction perpendicular to the emission line to average the intensity of the received light in time, and can obtain a signal when the exposure time is long. ..
（送信信号の検証とデジタル変調）
図５７１と図５７２は、実施の形態２１における送信機の動作の一例を示す図である。
(Verification of transmitted signal and digital modulation)
571 and 572 are diagrams showing an example of the operation of the transmitter according to the 21st embodiment.
図５７１において、信号記憶部は、送信信号と、後述する検証鍵を用いて送信信号を変換した信号変換値を記憶する。この変換には一方向関数を用いる。原鍵記憶部は、例えば抵抗値や時定数等の回路定数等として鍵の元となる値である原鍵を記憶する。鍵生成部は、原鍵から検証鍵を生成する。 In FIG. 571, the signal storage unit stores the transmission signal and the signal conversion value obtained by converting the transmission signal using the verification key described later. A one-way function is used for this conversion. The original key storage unit stores the original key, which is the source value of the key, for example, as a circuit constant such as a resistance value or a time constant. The key generator generates a verification key from the original key.
信号検証部は、検証鍵を用いて信号記憶部に記憶された送信信号を変換することで、信号変換値を得る。ここで得られた信号変換値と、信号記憶部に記憶された信号変換値が等しいかどうかによって、信号に改ざんがないかどうかを検証する。これにより、単純に信号記憶部の信号を他の送信機にコピーしただけでは、他の送信機では検証鍵が異なるため、信号を送信することができず、送信機の偽造防止を行うことが出来る。 The signal verification unit obtains a signal conversion value by converting the transmission signal stored in the signal storage unit using the verification key. Whether or not the signal has been tampered with is verified by checking whether or not the signal conversion value obtained here and the signal conversion value stored in the signal storage unit are equal to each other. As a result, if the signal of the signal storage unit is simply copied to another transmitter, the signal cannot be transmitted because the verification key is different in the other transmitter, and the transmitter can be prevented from being forged. You can.
信号に改ざんがあった場合には、異常報知部は、その旨を表示する。その方法としては、例えば、人間に視認できる周期で発光部を点滅させる、音を鳴らす、といった方法がある。異常報知を電源投入直後の所定の時間だけに限ることで、信号に異常があった場合でも、送信機を送信以外の用途に使用することができる。 If the signal has been tampered with, the abnormality notification unit displays that fact. As a method for this, for example, there is a method of blinking the light emitting unit or making a sound at a cycle that can be visually recognized by humans. By limiting the abnormality notification only to a predetermined time immediately after the power is turned on, the transmitter can be used for purposes other than transmission even if there is an abnormality in the signal.
信号に改ざんがなかった場合には、信号変調部は、信号を発光パターンへ変調する。この変調方式には、様々な変調方式を使うことが出来る。ここで用いることができる変調方式には、例えば、振幅偏移変調（ＡＳＫ）、位相偏移変調（ＰＳＫ）、周波数偏移変調（ＦＳＫ）、直角位相振幅変調（ＱＡＭ）、デルタ変調（ＤＭ）、最小偏位変調（ＭＳＫ）、相補型符号変調（ＣＣＫ）、直交周波数分割多重方式（ＯＦＤＭ）、振幅変調（ＡＭ）、周波数変調（ＦＭ）、位相変調（ＰＭ）、パルス幅変調（ＰＷＭ）、パルス振幅変調（ＰＡＭ）、パルス密度変調（ＰＤＭ）、パルス位置変調（ＰＰＭ）、パルス符号変調（ＰＣＭ）、周波数ホッピングスペクトラム拡散（ＦＨＳＳ）、直接シーケンススペクトラム拡散（ＤＳＳＳ）等があり、送信信号の性質（アナログかデジタルか。連続データ送信かどうか等）や要求される性質（伝送速度や耐ノイズ性や伝送距離）に合わせて選択する。さらに、これらを組み合わせた変調方式を用いることができる。 If the signal has not been tampered with, the signal modulator modulates the signal into an emission pattern. Various modulation methods can be used for this modulation method. Modulation methods that can be used here include, for example, amplitude shift modulation (ASK), phase shift modulation (PSK), frequency shift modulation (FSK), right-angle phase amplitude modulation (QAM), and delta modulation (DM). , Minimum deviation modulation (MSK), complementary code modulation (CCK), orthogonal frequency division multiplexing (OFDM), amplitude modulation (AM), frequency modulation (FM), phase modulation (PM), pulse width modulation (PWM) , Pulse amplitude modulation (PAM), pulse density modulation (PDM), pulse position modulation (PPM), pulse code modulation (PCM), frequency hopping spectrum spread (FHSS), direct sequence spectrum spread (DSSS), etc. Select according to the properties (analog or digital, continuous data transmission, etc.) and required properties (transmission speed, noise resistance, transmission distance). Further, a modulation method combining these can be used.
なお、実施の形態１から２１は、ここで述べた変調方式で変調した信号を用いた場合でも同様の効果が得られる。 In the first to 21st embodiments, the same effect can be obtained even when the signal modulated by the modulation method described here is used.
図５７２において、信号記憶部は、鍵生成部で生成する復号鍵とペアとなる暗号鍵を用いて送信信号を暗号化した、暗号化送信信号を保持する。信号復調部では、復号鍵を用いて暗号化送信信号を復号する。この構成により、送信機の偽造、すなわち、任意の信号を送信する送信機の作成を困難にすることができる。
（複数の受光部による複数の方向からの信号の受信）
図５７３は、実施の形態２１における受信機の一例を示す図である。
In FIG. 572, the signal storage unit holds an encrypted transmission signal in which a transmission signal is encrypted using an encryption key paired with a decryption key generated by the key generation unit. The signal demodulation unit decodes the encrypted transmission signal using the decryption key. This configuration can make it difficult to forge a transmitter, that is, to create a transmitter that transmits an arbitrary signal.
(Reception of signals from multiple directions by multiple light receiving units)
FIG. 573 is a diagram showing an example of the receiver according to the 21st embodiment.
例えば腕時計として構成される受信機９０２０ａは、複数の受光部を備える。例えば、時刻を確認するときのように胸の前に受信機９０２０ａを構えた時に、上方向からの光を受光できるように受光部９０２０ｂを配置することで、天井照明からの信号を受信できる。また、例えば、時刻を確認するときのように胸の前に受信機９０２０ａを構えた時に、正面方向からの光を受光できるように受光部９０２０ｃを配置することで、正面にあるサイネージ等からの信号を受信することが出来る。
For example, the
これらの受光部は指向性を持たせることで、近い位置に複数の送信機がある場合でも混信することなく信号を受信することができる。 By providing directivity to these light receiving units, signals can be received without interference even when a plurality of transmitters are located close to each other.
（複数の受光部による複数の方向からの信号の受信）
図５７４は、実施の形態２１における受信機の一例を示す図である。
(Reception of signals from multiple directions by multiple light receiving units)
FIG. 574 is a diagram showing an example of the receiver according to the 21st embodiment.
指向性を持った受光素子を複数配置することで、受信した信号の方向を推定することができる。受光素子の手前に、９０２１ａのように光を導くプリズムを配置することで、少ない数の受光素子でも、送信機の細かい方向を推定することができる。例えば、受光部９０２１ｄのみが受光した場合は、プリズム９０２１ａの方向に送信機があると推定でき、受光部９０２１ｄと受光部９０２１ｅが同一の信号を受信した場合は、プリズム９０２１ｂの方向に送信機があると推定できる。なお、指向性やプリズムのところには風防ガラスに仕込む。
By arranging a plurality of directional light receiving elements, the direction of the received signal can be estimated. By arranging a prism that guides light such as 9021a in front of the light receiving element, it is possible to estimate the fine direction of the transmitter even with a small number of light receiving elements. For example, if only the
（腕時計型受信機とスマートフォンの連携）
図５７５は、実施の形態２１における受信システムの一例を示す図である。
(Cooperation between wristwatch-type receiver and smartphone)
FIG. 575 is a diagram showing an example of the receiving system according to the 21st embodiment.
例えば腕時計として構成される受信機９０２２ｂは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介してスマートフォン９０２２ａやメガネ型ディスプレイ９０２２ｃと接続される。受信機９０２２ｂは、信号を受信した場合や、信号が存在することが確認できた場合には、ディスプレイ９０２２ｃへ表示する。受信機９０２２ｂは、受信した信号をスマートフォン９０２２ａに伝える。スマートフォン９０２２ａは、サーバ９０２２ｄから受信信号に紐付けられたデータを取得し、取得したデータをディスプレイ９０２２ｃへ表示する。
For example, the
（腕時計型ディスプレイによる道案内）
図５７６は、実施の形態２１における受信システムの一例を示す図である。
(Directions using a wristwatch-type display)
FIG. 576 is a diagram showing an example of the receiving system according to the 21st embodiment.
例えば腕時計として構成される受信機９０２３ｂは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介してスマートフォン９０２３ａと接続される。受信機９０２３ｂは、文字盤が液晶等のディスプレイで構成されており、時刻以外の情報を表示することができる。受信機９０２３ｂが受信した信号からスマートフォン９０２２ａは現在地を認識し、目的地までの経路や距離を受信機９０２３ｂの表示面に表示する。
For example, the
（周波数偏移変調と周波数多重変調）
図５７７Ａと図５７７Ｂは、実施の形態２１における変調方式の一例を示す図である。
(Frequency shift keying and frequency multiplex modulation)
577A and 577B are diagrams showing an example of the modulation method according to the 21st embodiment.
（ａ）は、特定の信号を特定の変調周波数として表現する。受信側は、光パターンの周波数解析を行って支配的な変調周波数を求め、信号を復元する。 (A) represents a specific signal as a specific modulation frequency. The receiving side performs frequency analysis of the optical pattern to obtain the dominant modulation frequency and restores the signal.
（ａ’）のように、変調周波数を時間的に変化させることで、多くの値を表現することができる。一般的なイメージセンサの撮像フレームレートは３０ｆｐｓであるため、一つの変調周波数を３０分の１秒以上続けることで、確実に受信させることができる。また、（ａ’’）のように、周波数を変化させる際に、間に信号を重畳しない時間を設けることで、受信機が変調周波数の変化を認識しやすくすることができる。信号を重畳しない時間の光パターンは、明るさを一定にしたり、特定の変調周波数とすることで、信号重畳部分と区別することができる。ここで用いる特定の変調周波数として、３０Ｈｚの整数倍の周波数として定めると、差分画像にはあらわれにくく、受信処理の妨げになりにくい。信号を重畳しない時間の長さは、信号に使う光パターンの中でもっとも長い周期の信号と同じ長さ以上にすることで、受信が容易になる。例として、最も低い変調周波数の光パターンが１００Ｈｚであれば、１００分の１秒以上とする。 Many values can be expressed by changing the modulation frequency with time as in (a'). Since the image frame rate of a general image sensor is 30 fps, it is possible to reliably receive the image by continuing one modulation frequency for 1/30 second or more. Further, as in (a ″), when the frequency is changed, a time during which the signal is not superimposed can be provided so that the receiver can easily recognize the change in the modulation frequency. The optical pattern during the time when the signal is not superimposed can be distinguished from the signal superimposed portion by making the brightness constant or setting it to a specific modulation frequency. If the specific modulation frequency used here is set as a frequency that is an integral multiple of 30 Hz, it is unlikely to appear in the difference image and does not interfere with the reception process. Reception is facilitated by setting the length of time during which the signals are not superimposed to be equal to or longer than the length of the signal having the longest period in the optical pattern used for the signal. As an example, if the light pattern of the lowest modulation frequency is 100 Hz, it is set to 1/100 second or more.
（ｂ）は、特定のビットと特定の変調周波数を対応付け、対応するビットが１である変調周波数を重ねあわせた波形として光パターンを表現する。（ａ）の変調方式と比較して、高いＣＮ比が必要となるが、より多くの値を表現することができる。 In (b), a specific bit and a specific modulation frequency are associated with each other, and an optical pattern is expressed as a waveform obtained by superimposing a modulation frequency in which the corresponding bit is 1. Compared with the modulation method of (a), a higher CN ratio is required, but more values can be expressed.
（ｂ’）に示すように、（ａ）と同様に変調周波数の重ねあわせを時間的に変化させることで、多くの値を表現することができる。 As shown in (b'), many values can be expressed by changing the superposition of the modulation frequencies with time as in (a).
高い変調周波数の信号は露光時間を短く設定しなければ受信できないが、ある程度の高さの変調周波数までは露光時間の設定なしに利用することができる。低い変調周波数から高い変調周波数までの周波数を用いて変調した信号を送信することで、全ての端末は低い変調周波数で表現された信号を受信することができ、露光時間を短く設定できる端末の場合は、高い変調周波数まで信号を受信することで、同一の送信機から、より多くの情報を速く受信することができる。 A signal with a high modulation frequency cannot be received unless the exposure time is set short, but it can be used without setting the exposure time up to a modulation frequency having a certain height. By transmitting a signal modulated using a frequency from a low modulation frequency to a high modulation frequency, all terminals can receive the signal expressed at a low modulation frequency, and in the case of a terminal where the exposure time can be set short. Can receive more information faster from the same transmitter by receiving signals up to higher modulation frequencies.
周波数偏移変調方式や周波数多重変調方式は、パルス位置によって信号を表現するよりも低い変調周波数を使った場合でも人間の目にちらつきを感じさせないという効果があるため、多くの周波数帯域を用いることができる。 Frequency shift keying and frequency division multiplexing have the effect of not causing flicker to the human eye even when using a modulation frequency lower than expressing the signal by the pulse position, so use many frequency bands. Can be done.
なお、実施の形態１から２１は、ここで述べた受信方式・変調方式で変調した信号を用いた場合でも同様の効果が得られる。 In the first to 21st embodiments, the same effect can be obtained even when the signal modulated by the reception method / modulation method described here is used.
（混合信号の分離）
図５７７Ｃと図５７７Ｄは、実施の形態２１における混合信号の分離の一例を示す図である。
(Separation of mixed signals)
577C and 577D are diagrams showing an example of separation of mixed signals in the 21st embodiment.
受信機は、（ａ）の機能を備える。受光部は光パターンを受光する。周波数解析部は、光パターンをフーリエ変換することで周波数領域に信号を写像する。ピーク検出部は、光パターンの周波数成分のピークを検出する。ピーク検出部でピークが検出されなかった場合は、以降の処理を中断する。ピーク時巻変化解析部は、ピーク周波数の時間変化を解析する。信号源特定部は、複数の周波数ピークが検出された場合に、同じ送信機から送信された信号の変調周波数がどの組み合わせであるのかを特定する。 The receiver has the function (a). The light receiving unit receives the light pattern. The frequency analysis unit maps the signal to the frequency domain by Fourier transforming the optical pattern. The peak detection unit detects the peak of the frequency component of the optical pattern. If the peak is not detected by the peak detection unit, the subsequent processing is interrupted. The peak time winding change analysis unit analyzes the time change of the peak frequency. When a plurality of frequency peaks are detected, the signal source specifying unit identifies which combination of modulation frequencies of the signals transmitted from the same transmitter is used.
これにより、複数の送信機が近くに配置されている場合にも信号の混信を避けて受信を行うことができる。また、送信機からの光が床や壁や天井等から反射した光を受光する際は、複数の送信機からの光が混合されることが多いが、このような場合でも、信号の混信を避けて受信を行うことができる。 As a result, even when a plurality of transmitters are arranged close to each other, signal interference can be avoided and reception can be performed. Further, when the light from the transmitter receives the light reflected from the floor, wall, ceiling, etc., the light from a plurality of transmitters is often mixed, but even in such a case, avoid signal interference. Can be received.
例として、送信機Ａの信号と送信機Ｂの信号が混じった光パターンを受信した場合、（ｂ）のような周波数ピークが得られる。ｆＡ１が消えてｆＡ２が現れるため、ｆＡ１とｆＡ２は同じ送信機からの信号であることが特定できる。同様にして、ｆＡ１とｆＡ２とｆＡ３が同じ送信機からの信号であり、ｆＢ１とｆＢ２とｆＢ３が同じ送信機からの信号であることが特定できる。 As an example, when an optical pattern in which the signal of the transmitter A and the signal of the transmitter B are mixed is received, the frequency peak as shown in (b) is obtained. Since fA1 disappears and fA2 appears, it can be identified that fA1 and fA2 are signals from the same transmitter. Similarly, it can be identified that fA1, fA2 and fA3 are signals from the same transmitter, and fB1, fB2 and fB3 are signals from the same transmitter.
一つの送信機が変調周波数を変更する時間間隔を一定にすることで、同じ送信機からの信号を特定しやすくすることができる。 By making the time interval at which one transmitter changes the modulation frequency constant, it is possible to easily identify the signal from the same transmitter.
複数の送信機の変調周波数が変化するタイミングが等しい時、上述の方法では同じ送信機からの信号を特定できない。そこで、送信機の変調周波数を変更する時間間隔を送信機の個体ごとに異ならせることで、複数の送信機の変調周波数が変化するタイミングが常に等しいという状況を避けることができ、同じ送信機からの信号を特定することができるようになる。 When the timings at which the modulation frequencies of a plurality of transmitters change are the same, the signals from the same transmitter cannot be identified by the above method. Therefore, by making the time interval for changing the modulation frequency of the transmitter different for each transmitter, it is possible to avoid the situation where the timings at which the modulation frequencies of multiple transmitters change are always the same, and from the same transmitter. You will be able to identify the signal of.
（ｃ）に示すように、送信機が変調周波数を変更してから次に変更するまでの時間を、現在の変調周波数と、変更前の変調周波数から求められる値とすることで、複数の送信機が同じタイミングで変調周波数を変化させた場合でも、いずれの変調周波数の信号が同じ送信機から送信されたかを特定できる。 As shown in (c), a plurality of transmissions are performed by setting the time from the change of the modulation frequency by the transmitter to the next change as a value obtained from the current modulation frequency and the modulation frequency before the change. Even if the machine changes the modulation frequency at the same timing, it is possible to identify which modulation frequency signal was transmitted from the same transmitter.
送信機が他の送信機の送信信号を認識し、変調周波数変化のタイミングが等しくならないように調整するとしてもよい。 The transmitter may recognize the transmission signals of other transmitters and adjust so that the timings of the modulation frequency changes are not equal.
以上の方法は、一つの送信信号が一つの変調周波数で構成される周波数偏移変調の場合だけでなく、一つの送信信号が複数の変調周波数で構成される場合にも、同様の方法で同様の効果が得られる。 The above method is the same not only in the case of frequency shift keying in which one transmission signal is composed of one modulation frequency, but also in the case where one transmission signal is composed of a plurality of modulation frequencies. The effect of is obtained.
（ｄ１）に示すように、周波数多重変調方式で時間的に光パターンを変化させない場合は、同じ送信機からの信号を特定することができないが、（ｄ２）に示すように、信号のない区間を含めたり、特定の変調周波数に変化させたりすることで、ピークの時間変化から、同じ送信機からの信号を特定することができるようになる。 As shown in (d1), if the optical pattern is not changed in time by the frequency division multiplexing method, the signal from the same transmitter cannot be specified, but as shown in (d2), the section without the signal. By including or changing to a specific modulation frequency, it becomes possible to identify the signal from the same transmitter from the time change of the peak.
（可視光通信による照明を介した家電の操作）
図５７８は、実施の形態２１における可視光通信システムの一例を示す図である。
(Operation of home appliances via lighting by visible light communication)
FIG. 578 is a diagram showing an example of the visible light communication system according to the 21st embodiment.
例えば天井照明として構成される送信機は、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信機能を備える。送信機は、無線通信によって送信機に接続するための情報を可視光通信によって送信する。例えばスマートフォンとして構成される受信機Ａは、受信した情報を基に、送信機と無線通信を行う。受信機Ａは他の情報を用いて送信機と接続してもよく、その場合は受信機能を持たなくとも良い。受信機Ｂは、例えば電子レンジ等の電子機器として構成される。送信機は、ペアリングされた受信機Ｂの情報を受信機Ａへ送信する。受信機Ａは、操作可能な機器として受信機Ｂの情報を表示する。受信機Ａは、受信機Ｂの操作命令を、無線通信を通じて送信機へ伝え、送信機は可視光通信を通じて操作命令を受信機Ｂへ伝える。これにより、ユーザは受信機Ａを介して受信機Ｂを操作することができる。また、インターネット等を介して受信機Ａと接続されている機器は、受信機Ａを介して受信機Ｂを操作することができる。 For example, a transmitter configured as a ceiling lighting has a wireless communication function such as Wi-Fi or Bluetooth (registered trademark). The transmitter transmits information for connecting to the transmitter by wireless communication by visible light communication. For example, the receiver A configured as a smartphone performs wireless communication with the transmitter based on the received information. The receiver A may be connected to the transmitter using other information, and in that case, it does not have to have a receiving function. The receiver B is configured as an electronic device such as a microwave oven. The transmitter transmits the information of the paired receiver B to the receiver A. The receiver A displays the information of the receiver B as an operable device. The receiver A transmits the operation command of the receiver B to the transmitter through wireless communication, and the transmitter transmits the operation command to the receiver B through visible light communication. As a result, the user can operate the receiver B via the receiver A. Further, a device connected to the receiver A via the Internet or the like can operate the receiver B via the receiver A.
受信機Ｂが送信機能を備え、送信機が受信機能を備えることで、双方向通信を行うことができる。送信機能は発光による可視光として実現してもよいし、音による通信を行っても良い。例えば、送信機は集音部を備え、受信機Ｂの発する音を認識することで、受信機Ｂの状態を認識することができる。例えば、受信機Ｂの運転終了音を認識し、受信機Ａに伝え、受信機Ａは受信機Ｂの運転終了をディスプレイに表示することでユーザに通知することができる。 When the receiver B has a transmitting function and the transmitter has a receiving function, bidirectional communication can be performed. The transmission function may be realized as visible light by light emission, or communication may be performed by sound. For example, the transmitter is provided with a sound collecting unit, and by recognizing the sound emitted by the receiver B, the state of the receiver B can be recognized. For example, the operation end sound of the receiver B can be recognized and transmitted to the receiver A, and the receiver A can notify the user by displaying the operation end of the receiver B on the display.
受信機Ａと受信機Ｂは、ＮＦＣを備える。受信機Ａは、送信機からの信号を受信し、次に、ＮＦＣを介して受信機Ｂと通信を行い、直前に受信した信号を送信した送信機からの信号を受信機Ｂが受信可能であるということを、受信機Ａと送信機に登録する。これを、送信機と受信機Ｂのペアリングと呼ぶ。受信機Ａは、受信機Ｂが移動された場合等には、ペアリングの解除を送信機に登録する。受信機Ｂが別の送信機にペアリングされた場合には、新しくペアリングされた送信機は前にペアリングされていた送信機にその情報を伝え、前のペアリングを解除する。 The receiver A and the receiver B include NFC. The receiver A receives the signal from the transmitter, then communicates with the receiver B via the NFC, and the receiver B can receive the signal from the transmitter that transmitted the signal received immediately before. Register the existence in the receiver A and the transmitter. This is called pairing of the transmitter and the receiver B. The receiver A registers the cancellation of pairing with the transmitter when the receiver B is moved or the like. When receiver B is paired with another transmitter, the newly paired transmitter conveys that information to the previously paired transmitter and unpairs the previous pairing.
（干渉を排除した受信）
図５７９は、実施の形態２１における干渉を排除した受信方法を示すフローチャートである。
(Reception without interference)
FIG. 579 is a flowchart showing a receiving method excluding interference in the 21st embodiment.
まず、ステップ９００１ａでｓｔａｒｔして、ステップ９００１ｂで受光した光の強さに周期的な変化があるかどうかを確認して、ＹＥＳの場合はステップ９００１ｃへ進む。ＮＯの場合はステップ９００１ｄへ進み、受光部のレンズを広角にして広範囲の光を受光して、ステップ９００１ｂへ戻る。ステップ９００１ｃで信号を受信できるかどうかを確認して、ＹＥＳの場合はステップ９００１ｅへ進み、信号を受信して、ステップ９００１ｇで終了する。ＮＯの場合はステップ９００１ｆへ進み、受光部のレンズを望遠にして狭い範囲の光を受光して、ステップ９００１ｃへ戻る。
First, start in
この方法により、複数の送信機からの信号の干渉を排除しつつ、広い方向にある送信機からの信号を受信することができる。 By this method, it is possible to receive signals from transmitters in a wide direction while eliminating signal interference from a plurality of transmitters.
（送信機の方位の推定）
図５８０は、実施の形態２１における送信機の方位の推定方法を示すフローチャートである。
(Estimation of transmitter orientation)
FIG. 580 is a flowchart showing a method of estimating the orientation of the transmitter according to the 21st embodiment.
まず、ステップ９００２ａでｓｔａｒｔして、ステップ９００２ｂで受光部のレンズを最大望遠にして、ステップ９００２ｃで受光した光の強さに周期的な変化があるかどうかを確認して、ＹＥＳの場合はステップ９００２ｄへ進む。ＮＯの場合はステップ９００２ｅへ進み、受光部のレンズを広角にして広範囲の光を受光して、ステップ９００２ｃへ戻る。ステップ９００２ｄで信号を受信して、ステップ９００２ｆで受光部のレンズを最大望遠とし、受光範囲の境界に沿うように受光方向を変化させ、受光強度が最大になる方向を検出し、送信機がその方向にあると推定して、ステップ９００２ｄで終了する。
First, start in
この方法により、送信機が存在する方向を推定することができる。なお、最初に最大広角にして、次第に望遠にしてもよい。 By this method, the direction in which the transmitter is present can be estimated. The maximum wide-angle lens may be set first, and then the telephoto lens may be gradually set.
（受信の開始）
図５８１は、実施の形態２１における受信の開始方法を示すフローチャートである。
(Start of reception)
FIG. 581 is a flowchart showing a method of starting reception in the 21st embodiment.
まず、ステップ９００３ａでｓｔａｒｔして、ステップ９００３ｂでＷｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）やＩＭＥＳ等の基地局からの信号を受信したかどうかを確認して、ＹＥＳの場合は、ステップ９００３ｃへ進む。ＮＯの場合はステップ９００３ｂへ戻る。ステップ９００３ｃで前記基地局が、受信開始のトリガとして受信機やサーバに登録されているかどうかを確認して、ＹＥＳの場合はステップ９００３ｄへ進み、信号の受信を開始して、ステップ９００３ｅで終了する。ＮＯの場合はステップ９００３ｂへ戻る。
First, start in
この方法により、ユーザが受信開始の操作をしなくても受信を開始することができる。また、常に受信を行うよりも消費電力を抑えることが出来る。 According to this method, reception can be started without the user performing a reception start operation. In addition, power consumption can be suppressed as compared with constant reception.
（他媒体の情報を併用したＩＤの生成）
図５８２は、実施の形態２１における他媒体の情報を併用したＩＤの生成方法を示すフローチャートである。
(Generation of ID using information from other media)
FIG. 582 is a flowchart showing a method of generating an ID in which information of another medium is used in combination with the
まず、ステップ９００４ａでｓｔａｒｔして、ステップ９００４ｂで接続されているキャリア通信網やＷｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）等のＩＤ、または、上記ＩＤから得た位置情報やＧＰＳ等から得た位置情報を上位ビットＩＤ索引サーバに送信する。ステップ９００４ｃで上位ビットＩＤ索引サーバから可視光ＩＤの上位ビットを受信して、ステップ９００４ｄで送信機からの信号を可視光ＩＤの下位ビットとして受信する。ステップ９００４ｅで可視光ＩＤの上位ビットと下位ビットを合わせてＩＤ解決サーバへ送信して、ステップ９００４ｆで終了する。
First, start in
この方法により、受信機の付近の場所で共通的に用いられる上位ビットを得ることができ、送信機が送信するデータ量を少なくすることができる。また、受信機が受信する速度を上げることができる。 By this method, the high-order bits commonly used in the vicinity of the receiver can be obtained, and the amount of data transmitted by the transmitter can be reduced. In addition, the speed at which the receiver receives can be increased.
なお、送信機は上位ビットと下位ビットの両方を送信しているとしてもよい。この場合は、この方法を用いている受信機は下位ビットを受信した時点でＩＤを合成することができ、この方法を用いていない受信機は送信機からＩＤ全体を受信することでＩＤを得る。 The transmitter may transmit both the high-order bit and the low-order bit. In this case, the receiver using this method can synthesize the ID when the lower bits are received, and the receiver not using this method obtains the ID by receiving the entire ID from the transmitter. ..
（周波数分離による受信方式の選択）
図５８３は、実施の形態２１における周波数分離による受信方式の選択方法を示すフローチャートである。
(Selection of reception method by frequency separation)
FIG. 583 is a flowchart showing a method of selecting a reception method by frequency separation in the 21st embodiment.
まず、ステップ９００５ａでｓｔａｒｔして、ステップ９００５ｂで受光した光信号を周波数フィルタ回路にかける、または、離散フーリエ級数展開を行い周波数分解を行う。ステップ９００５ｃで低周波数成分が存在するかどうかを確認して、ＹＥＳの場合はステップ９００５ｄへ進み、周波数変調等の低周波数領域で表現された信号をデコードして、ステップ９００５ｅへ進む。ＮＯの場合はステップ９００５ｅへ進む。ステップ９００５ｅで前記基地局が、受信開始のトリガとして受信機やサーバに登録されているかどうかを確認して、ＹＥＳの場合はステップ９００５ｆへ進み、パルス位置変調等の高周波数領域で表現された信号をデコードして、ステップ９００５ｇへ進む。ＮＯの場合はステップ９００５ｇへ進む。ステップ９００５ｇで信号の受信を開始して、ステップ９００５ｈで終了する。
First, start in
この方法により、複数の変調方式で変調された信号を受信することができる。 By this method, it is possible to receive a signal modulated by a plurality of modulation methods.
（露光時間が長い場合の信号受信）
図５８４は、実施の形態２１における露光時間が長い場合の信号受信方法を示すフローチャートである。
(Signal reception when the exposure time is long)
FIG. 584 is a flowchart showing a signal receiving method when the exposure time is long in the 21st embodiment.
まず、ステップ９０３０ａでｓｔａｒｔして、ステップ９０３０ｂで感度が設定できる場合は感度を最高に設定する。ステップ９０３０ｃで露光時間が設定できる場合は通常撮影モードよりも短い時間に設定する。ステップ９０３０ｄで２枚の画像を撮像して輝度の差分を求める。２枚の画像を撮像する間に撮像部の位置や方向が変化した場合はその変化をキャンセルして同じ位置・方向から撮像したかのような画像を生成して差分を求める。ステップ９０３０ｅで差分画像、または、撮像画像の露光ラインに平行な方向の輝度値を平均した値を求める。ステップ９０３０ｆで前記平均した値を、露光ラインに垂直な方向に並べ離散フーリエ変換を行って、ステップ９０３０ｇで所定の周波数の付近にピークがあるかどうかを認識して、ステップ９０３０ｈで終了する。
First, start in
この方法により、露光時間が設定できない場合や通常画像を同時に撮像する場合等、露光時間が長い場合においても信号を受信することができる。 According to this method, the signal can be received even when the exposure time is long, such as when the exposure time cannot be set or when a normal image is captured at the same time.
露光時間を自動設定としている場合、カメラを照明として構成される送信機へ向けると、自動露出補正機能によって露光時間は６０分の１秒から４８０分の１秒程度に設定される。露光時間の設定ができない場合には、この条件で信号を受信する。実験では、照明を周期的に点滅させた場合、１周期の時間が露光時間の約１６分の１以上であれば、露光ラインに垂直な方向に縞が視認でき、画像処理によって点滅の周期を認識することができた。このとき、照明が写っている部分は輝度が高すぎて縞が確認しづらいため、照明光が反射している部分から信号の周期を求めるのが良い。 When the exposure time is set automatically, when the camera is pointed at the transmitter configured as lighting, the exposure time is set from 1/60 second to 1/480 second by the automatic exposure compensation function. If the exposure time cannot be set, a signal is received under this condition. In the experiment, when the illumination was blinked periodically, if the time of one cycle was about 1/16 or more of the exposure time, stripes could be visually recognized in the direction perpendicular to the exposure line, and the blinking cycle was set by image processing. I was able to recognize it. At this time, since the brightness of the portion where the illumination is reflected is too high and it is difficult to confirm the stripes, it is preferable to obtain the signal cycle from the portion where the illumination light is reflected.
周波数偏移変調方式や周波数多重変調方式のように、発光部を周期的に点灯・消灯させる方式を用いた場合は、パルス位置変調方式を用いた場合よりも、同じ変調周波数であっても人間にとってちらつきが視認しづらく、また、ビデオカメラで撮影した動画にもちらつきが現れにくい。そのため、低い周波数を変調周波数として用いることができる。人間の視覚の時間分解能は６０Ｈｚ程度であるため、この周波数以上の周波数を変調周波数として用いることができる。 When a method such as a frequency shift keying method or a frequency multiplex modulation method in which the light emitting part is periodically turned on and off is used, a human being can use the same modulation frequency as compared with the case where the pulse position modulation method is used. The flicker is hard to see for the user, and the flicker is hard to appear in the video taken with the video camera. Therefore, a low frequency can be used as the modulation frequency. Since the time resolution of human vision is about 60 Hz, a frequency higher than this frequency can be used as the modulation frequency.
なお、変調周波数が受信機の撮像フレームレートの整数倍のときは、２枚の画像の同じ位置の画素は送信機の光パターンが同じ位相の時点で撮像を行うため、差分画像に輝線があらわれず、受信が行いにくい。受信機の撮像フレームレートは通常３０ｆｐｓであるため、変調周波数は３０Ｈｚの整数倍以外に設定すると受信が行い易い。また、受信機の撮像フレームレートは様々なものが存在するため、互いに素な二つの変調周波数を同じ信号に割り当て、送信機は、その二つの変調周波数を交互に用いて送信することで、受信機は、少なくとも一つの信号を受信することで、容易に信号を復元できる。 When the modulation frequency is an integral multiple of the image pickup frame rate of the receiver, the pixels at the same position in the two images are imaged when the optical pattern of the transmitter is in the same phase, so a bright line appears in the difference image. It is difficult to receive. Since the image frame rate of the receiver is usually 30 fps, reception is easy if the modulation frequency is set to a frequency other than an integral multiple of 30 Hz. In addition, since there are various imaging frame rates of the receiver, two modulation frequencies that are mutually exclusive are assigned to the same signal, and the transmitter transmits by alternately using the two modulation frequencies to receive the signal. The machine can easily restore the signal by receiving at least one signal.
以下、本発明の他の実施の形態について説明する。 Hereinafter, other embodiments of the present invention will be described.
（実施の形態２２）
本実施の形態は、可視光通信の受光部切り替えを行う装置に関するものであり、スマートフォンのような携帯端末に搭載することを想定している。そこで、まず本装置を搭載した携帯端末を使用するときのシーンについて説明する。
(Embodiment 22)
The present embodiment relates to a device for switching a light receiving portion of visible light communication, and is assumed to be mounted on a mobile terminal such as a smartphone. Therefore, first, a scene when using a mobile terminal equipped with this device will be described.
図５８５に示すように、本装置は天井に設置されたシーリングライトＡ１１０１から発光されるＩＤを受信し、さらに使用者の正面に設置されたベースライトＡ１１０３から発光されるＩＤを受信するものである。本装置の特徴は、これら複数のＩＤを受信する際に、ＩＤを受信する複数の受光部から受光に最適な受光部を携帯端末の姿勢に応じて選択することである。例えば、図５８６に示すように、携帯端末Ａ１２０１は前面に撮像部Ａ１２０２を、背面に撮像部Ａ１２０３を、前面にタッチパネル部Ａ１２０４を備える。携帯端末Ａ１２０１は図５８７に示すように、携帯端末Ａ１２０１の表示面が天井と向かい合うよう持った場合、携帯端末Ａ１２０１は自身に内蔵された加速度センサによって携帯端末Ａ１２０１が天井に対して水平であることと判定し、撮像部Ａ１２０２が稼動を始める。このとき撮像部Ａ１２０３は稼動を中断し、電力消費を抑える。シーリングライトＡ１１０１は点灯している状況において、特定のパターンによって点灯の光量を変更し、稼動中の撮像部Ａ１２０２がシーリングライトＡ１１０１の発光を検知すると、Ａ１３０１に示すように、携帯端末Ａ１２０１は発光パターンに関連付けられたＩＤを取得し、ＩＤの種別に応じて振る舞いを変更する。 As shown in FIG. 585, the present device receives the ID emitted from the ceiling light A1101 installed on the ceiling, and further receives the ID emitted from the base light A1103 installed in front of the user. .. A feature of this device is that when receiving these plurality of IDs, the optimum light receiving unit for light reception is selected from the plurality of light receiving units that receive the IDs according to the posture of the mobile terminal. For example, as shown in FIG. 586, the mobile terminal A1201 includes an imaging unit A1202 on the front surface, an imaging unit A1203 on the back surface, and a touch panel unit A1204 on the front surface. As shown in FIG. 587, when the mobile terminal A1201 is held so that the display surface of the mobile terminal A1201 faces the ceiling, the mobile terminal A1201 has the mobile terminal A1201 horizontal to the ceiling by the acceleration sensor built in the mobile terminal A1201. The image pickup unit A1202 starts operation. At this time, the image pickup unit A1203 interrupts its operation and suppresses power consumption. When the ceiling light A1101 is lit, the amount of lighting is changed according to a specific pattern, and when the operating imaging unit A1202 detects the light emission of the ceiling light A1101, the mobile terminal A1201 has a light emission pattern as shown in A1301. The ID associated with is acquired, and the behavior is changed according to the type of ID.
一方、図５８８に示すように、携帯端末Ａ１２０１を地面に対して垂直になるよう持った場合、携帯端末Ａ１２０１は自身に内蔵された加速度センサによって携帯端末Ａ１２０１が天井のシーリングライトには向けられておらず、壁や棚Ａ１１０２などに設置されたベースライトＡ１１０３に向けられているものと判定し、撮像部Ａ１２０３が稼動を始める。このとき、撮像部Ａ１２０２は稼動を中断し、電力消費を抑える。ベースライトＡ１１０３は点灯している状況において、特定のパターンによって点灯の光量を変更し、稼働中の撮像部Ａ１２０３がベースライトＡ１１０３の発光を検知すると、携帯端末Ａ１２０１は発光パターンに関連付けられたＩＤを取得し、ＩＤの種別に応じて振る舞いを変更する。 On the other hand, as shown in FIG. 588, when the mobile terminal A1201 is held so as to be perpendicular to the ground, the mobile terminal A1201 is pointed at the ceiling light of the ceiling by the acceleration sensor built in the mobile terminal A1201. It is determined that the image is directed to the base light A1103 installed on the wall, the shelf A1102, or the like, and the imaging unit A1203 starts operation. At this time, the image pickup unit A1202 interrupts its operation and suppresses power consumption. In a situation where the base light A1103 is lit, the amount of lighting is changed according to a specific pattern, and when the operating imaging unit A1203 detects the light emission of the base light A1103, the mobile terminal A1201 outputs the ID associated with the light emission pattern. Acquire and change the behavior according to the type of ID.
続いて、前述したＩＤの種類に応じた振る舞いの例について説明する。図５８７のように携帯端末Ａ１２０１が天井に対して水平であると判定された場合、携帯端末Ａ１２０１は発光パターンに関連付けられたＩＤをサーバに送信し、サーバがＩＤに対応付けられた位置情報を検索すると、サーバは携帯端末Ａ１２０１へ位置情報を通知する。携帯端末Ａ１２０１はサーバから位置情報を取得すると、取得した位置情報を使用者の現在位置として、使用者のいる位置を示すマップ、例えば図５８９に示すような店内のマップを使用者に提示する。また、図５８８のように携帯端末Ａ１２０１が地面に対して垂直になるように判定された場合、携帯端末Ａ１２０１は取得したＩＤをサーバに送信し、サーバは取得したＩＤに関連付けられた商品棚の商品種別及び在庫をデータベースから検索し、商品種別及び在庫を反映した画像、例えば図５９０のように商品棚の画像に在庫で商品の画像の画像を在庫に合わせて重畳した画像を生成する。そして、サーバが生成された画像を携帯端末Ａ１２０１に送信すると、携帯端末Ａ１２０１は受信した画像、即ち商品の在庫量を示す画像を表示面に出力する。また、サーバから携帯端末Ａ１２０１に画像データを送る際、サーバは携帯端末Ａ１２０１に複数の画像を送信してもよい。例えば、図５９１に示すように、在庫量が少ない棚の画像Ａ１７０１と、在庫量が多い棚の画像Ａ１７０３とを順に送信する。そして、携帯端末Ａ１７０１は使用者の画面操作にあわせて、在庫量が少ない棚の画像Ａ１７０１から画像Ａ１７０２のようなスクロール途中経過を示す画面Ａ１７０２を経て、在庫量が多い棚の画像Ａ１７０３を順に閲覧し、より直感的で分かりやすい商品在庫の確認が可能となる。 Subsequently, an example of the behavior according to the type of ID described above will be described. When it is determined that the mobile terminal A1201 is horizontal to the ceiling as shown in FIG. 587, the mobile terminal A1201 transmits the ID associated with the light emission pattern to the server, and the server transmits the position information associated with the ID. Upon searching, the server notifies the mobile terminal A1201 of the location information. When the mobile terminal A1201 acquires the location information from the server, the mobile terminal A1201 presents the user with a map showing the location of the user, for example, a map of the store as shown in FIG. 589, using the acquired location information as the current location of the user. Further, when it is determined that the mobile terminal A1201 is perpendicular to the ground as shown in FIG. 588, the mobile terminal A1201 transmits the acquired ID to the server, and the server sends the acquired ID to the product shelf associated with the acquired ID. The product type and inventory are searched from the database, and an image reflecting the product type and inventory, for example, an image in which the image of the product image in stock is superimposed on the image of the product shelf as shown in FIG. 590 is generated according to the inventory. Then, when the server transmits the generated image to the mobile terminal A1201, the mobile terminal A1201 outputs the received image, that is, an image showing the inventory amount of the product on the display surface. Further, when sending image data from the server to the mobile terminal A1201, the server may send a plurality of images to the mobile terminal A1201. For example, as shown in FIG. 591, the image A1701 of the shelf having a small inventory amount and the image A1703 of the shelf having a large inventory amount are transmitted in order. Then, the mobile terminal A1701 browses the image A1703 of the shelf with a large inventory in order from the image A1701 of the shelf with a small inventory through the screen A1702 showing the progress of scrolling like the image A1702 according to the screen operation of the user. However, it is possible to check the product inventory in a more intuitive and easy-to-understand manner.
以上の流れにより、携帯端末Ａ１２０１は発光部から受信したＩＤに対応した商品在庫を使用者に提示する。このように、受信したＩＤによって定時内容を切り替えることが出来ることから、使用者が視認した例えば図５９２に示すように、使用者が携帯端末Ａ１２０１を棚Ａ１８０１から棚Ａ１８０２に向けた場合、携帯端末Ａ１２０１はベースライトＡ１８０３から受信したＩＤとベースライトＡ１８０４から受信したＩＤとをそれぞれ順に受信する。 According to the above flow, the mobile terminal A1201 presents the user with the product inventory corresponding to the ID received from the light emitting unit. In this way, since the scheduled contents can be switched according to the received ID, when the user points the mobile terminal A1201 from the shelf A1801 to the shelf A1802, as shown in FIG. 592, the mobile terminal is visually recognized by the user. The A1201 receives the ID received from the base light A1803 and the ID received from the base light A1804 in order.
また、上記の携帯端末Ａ１２０１のように前面と背面にそれぞれ撮像部が配置された様態だけでなく、例えばＡＡ１９のような腕時計型デバイスＡ１９０１として応用しても良い。腕時計型デバイスＡ１９０１は、上面部分に設置される受光部Ａ１９０２と、側面部に設置される受光部Ａ１９０３とを備える。腕時計型デバイスＡ１９０１は加速度センサを備えており、図５９３のように上面部が地面と水平な方向を向いている場合、受光部Ａ１９０２と受光部Ａ１９０３とを稼動させ、シーリングライトＡ１９０４から発せられた光を受光部Ａ１９０２によって受光し、ベースライトＡ１９０５から発せられた光を受光部Ａ１９０３によって受光する。 Further, it may be applied not only as a mode in which imaging units are arranged on the front surface and the back surface as in the mobile terminal A1201 described above, but also as a wristwatch type device A1901 such as AA19. The wristwatch-type device A1901 includes a light receiving portion A1902 installed on the upper surface portion and a light receiving portion A1903 installed on the side surface portion. The wristwatch-type device A1901 is provided with an acceleration sensor, and when the upper surface portion faces the ground horizontally as shown in FIG. 593, the light receiving unit A1902 and the light receiving unit A1903 are operated and emitted from the ceiling light A1904. The light is received by the light receiving unit A1902, and the light emitted from the base light A1905 is received by the light receiving unit A1903.
以上が本装置を搭載した携帯端末を使用するときのシーンの一例である。続いて、本装置の構成について説明する。 The above is an example of a scene when using a mobile terminal equipped with this device. Subsequently, the configuration of this device will be described.
図５９４は本実施の形態における全体構成を示したものである。本実施の形態では最小構成要素として携帯端末Ａ１１００１と、第１の照明機器Ａ１１００２と、第２の照明機器Ａ１１００３とを含む。第１の照明機器Ａ１１００２は図５８５におけるシーリングライトＡ１１０１や図５９３におけるシーリングライトＡ１９０４、第２の照明機器Ａ１１００３は図５８５におけるベースライトＡ１１０３や図５９３におけるベースライトＡ１９０５と考えてよい。 FIG. 594 shows the overall configuration of the present embodiment. In the present embodiment, the mobile terminal A11001, the first lighting device A11002, and the second lighting device A11003 are included as the minimum components. The first lighting device A11002 may be considered as the ceiling light A1101 in FIG. 585 and the ceiling light A1904 in FIG. 593, and the second lighting device A11003 may be considered as the base light A1103 in FIG. 585 and the base light A1905 in FIG. 593.
第１の照明機器Ａ１１００２は、第１のＩＤ格納部Ａ１１００４と、第１のエンコード部Ａ１１００５と、第１の照度パターン格納部Ａ１１００６と、第１の発光部Ａ１１００７とから構成される。同様に、第２の照明機器Ａ１１００３は、第２のＩＤ格納部Ａ１１００８と、第２のエンコード部Ａ１１００９と、第２の照度パターン格納部Ａ１１０１０と、第２の発光部Ａ１１０１１と、サーバ装置Ａ１１０１５とから構成される。また、携帯端末Ａ１１００１は、受光制御部Ａ１１０１２と、ＩＤ格納部Ａ１１０１３と、ＤＢ管理部Ａ１１０１４と、商品情報格納部Ａ１１０１６と、地図情報格納部Ａ１１０１７と、表示部Ａ１１０１８と、状態管理部Ａ１１０１９と、ＵＩ部Ａ１１０２０から構成される。これらの構成要素の関係について詳細に説明する。 The first lighting device A11002 includes a first ID storage unit A11004, a first encoding unit A11005, a first illuminance pattern storage unit A11006, and a first light emitting unit A11007. Similarly, the second lighting device A11003 includes a second ID storage unit A11008, a second encoding unit A11009, a second illuminance pattern storage unit A11010, a second light emitting unit A11011, and a server device A11015. Consists of. Further, the mobile terminal A11001 includes a light receiving control unit A11012, an ID storage unit A11013, a DB management unit A11014, a product information storage unit A11016, a map information storage unit A11017, a display unit A11018, and a state management unit A11019. It is composed of UI unit A11020. The relationship between these components will be described in detail.
第１の照明機器Ａ１１００２及び第１の照明機器Ａ１１００２におけるＩＤ格納部Ａ１１００４及び、第２の照明機器Ａ１１００２における第２のＩＤ格納部Ａ１１００８はメモリ領域であり、例えばＭＡＣアドレスのような、個体を一意に決定可能な識別子がそれぞれ予め書き込まれているものとする。続いて、第１の照明機器Ａ１１００２に電力が供給されると、第１のエンコード部Ａ１１００５は第１のＩＤ格納部Ａ１１００４からＩＤを読み込み、当ＩＤを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し、当照度パターンを第１の照度パターン格納部Ａ１１００６に格納する。以上の起動フェーズが完了すると、第１の発光部Ａ１１００７は第１の照度パターン格納部Ａ１１００６で示されるパターンに基づき、照度を高速に更新しながら発光制御を行う。これにより、第１の照明機器Ａ１１００２はＩＤに基づいた照度制御を行う。 The ID storage unit A11004 in the first lighting device A11002 and the first lighting device A11002 and the second ID storage unit A11008 in the second lighting device A11002 are memory areas and unique to an individual such as a MAC address. It is assumed that the determinable identifiers are written in advance. Subsequently, when power is supplied to the first lighting device A11002, the first encoding unit A11005 reads an ID from the first ID storage unit A11004, and this ID is used as the illuminance pattern of the lighting, that is, the lighting at each timing. It is converted into illuminance, and the illuminance pattern is stored in the first illuminance pattern storage unit A11006. When the above activation phase is completed, the first light emitting unit A11007 performs light emission control while updating the illuminance at high speed based on the pattern shown by the first illuminance pattern storage unit A11006. As a result, the first lighting device A11002 controls the illuminance based on the ID.
第２の照度機器Ａ１１００３についても同様で、即ち、第２の照明機器Ａ１１００３に電力が供給されると、第２のエンコード部Ａ１１００９は第２のＩＤ格納部Ａ１１００８からＩＤを読み込み、当ＩＤを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し、当照度パターンを第２の照度パターン格納部Ａ１１０１０に格納する。以上の起動フェーズが完了すると、第２の発光部Ａ１１０１１は第２の照度パターン格納部Ａ１１０１０で示されるパターンに基づき、照度を高速に更新しながら発光制御を行う。これにより、第２の照明機器Ａ１１００３はＩＤに基づいた照度制御を行う。 The same applies to the second illuminance device A11003, that is, when power is supplied to the second lighting device A11003, the second encoding unit A11009 reads an ID from the second ID storage unit A11008 and illuminates the ID. The illuminance pattern of the above, that is, the illuminance of the illumination at each timing is converted, and the equivalent illuminance pattern is stored in the second illuminance pattern storage unit A11010. When the above activation phase is completed, the second light emitting unit A11011 performs light emission control while updating the illuminance at high speed based on the pattern shown by the second illuminance pattern storage unit A11010. As a result, the second lighting device A11003 controls the illuminance based on the ID.
続いて、携帯端末Ａ１１００１の振る舞いについて説明する。携帯端末Ａ１１００１の受光制御部Ａ１１０１２は第１の発光部Ａ１１００７及び第２の発光部Ａ１１０１１の照度パターンを検知すると、検知したパターンをＩＤに変換し、ＩＤ格納部Ａ１１０１３へ格納する。本実施の形態の場合、第１の発光部Ａ１１００７又は第２の発光部Ａ１１０１１の照度パターンを検知したものであるから、ＩＤ格納部Ａ１１０１３に格納されるＩＤは第１のＩＤ格納部Ａ１１００４または第２のＩＤ格納部Ａ１１００８のいずれかに格納されているＩＤと等しくなる。 Subsequently, the behavior of the mobile terminal A11001 will be described. When the light receiving control unit A11012 of the mobile terminal A11001 detects the illuminance pattern of the first light emitting unit A11007 and the second light emitting unit A11011, it converts the detected pattern into an ID and stores it in the ID storage unit A11013. In the case of the present embodiment, since the illuminance pattern of the first light emitting unit A11007 or the second light emitting unit A11011 is detected, the ID stored in the ID storage unit A11013 is the first ID storage unit A11004 or the first. It becomes equal to the ID stored in any of the ID storage units A11008 of 2.
続いて、商品情報格納部Ａ１１０１６の構造について説明する。図５９５に示すように、商品情報格納部Ａ１１０１６は有効フラグＡ１１１０１と、棚外観Ａ１１１０２と、棚内観Ａ１１１０３と、商品種別情報Ａ１１１０４と、商品在庫情報Ａ１１１０５とを含む。有効フラグＡ１１１０１は商品在庫情報をレンダリングするか否かを示したものであり、ＴＲＵＥ又はＦＡＬＳＥのいずれかの値をとる。この値がＴＲＵＥの時に、商品在庫情報のレンダリング処理が表示部Ａ１１０１８によって行われる。棚外観Ａ１１１０２は描画する棚の外観を示したものであり、棚の実寸による高さ・幅が格納される。これらの実寸情報に基づいて、棚が画面内に治まるように表示部Ａ１１０１８はレンダリング処理を行う。たとえば、図５９６のようなレイアウトで棚の外枠がレンダリングされる。棚内観Ａ１１１０３は棚の数と、棚全体に対する各棚の高さ割合であり、図５９６に示すような間隔で棚の内板がレンダリングされる。商品種別情報Ａ１１１０４は商品のバリエーション数と各商品の画像データ本体とを格納する。本実施の形態ではサーバ装置Ａ１１０１５から受信する画像データのフォーマットはＰＮＧデータとし、商品種別情報Ａ１１１０４の商品種画像データにはＰＮＧデータそのものが配置される。表示部Ａ１１０１８はレンダリング直前にＰＮＧデータを図示しないキャッシュ領域に展開し、本キャッシュ領域の内容をレンダリングし、商品の画像を使用者に提示する。商品在庫情報Ａ１１１０５は商品の在庫数及びその在庫をレンダリングすべき商品の種別、座標情報を格納する。座標情報のうちｘ座標は「商品棚の左から何番目か」、ｙ座標は「商品棚のうち上から何番目の棚か」、ｚ座標は「奥へと並ぶ棚のうち、手前から何番目の棚か」をそれぞれ示す。これらの座標情報と整合するような座標に、商品種別番号で示される商品画像を表示部Ａ１１０１８はレンダリング処理を行う。 Subsequently, the structure of the product information storage unit A11016 will be described. As shown in FIG. 595, the product information storage unit A11016 includes an effective flag A11101, a shelf appearance A11102, a shelf interior view A11103, a product type information A11104, and a product inventory information A11105. The valid flag A11101 indicates whether or not to render the product inventory information, and takes either a value of TRUE or FALSE. When this value is TRUE, the display unit A11018 performs the rendering process of the product inventory information. Shelf appearance A11102 shows the appearance of the shelf to be drawn, and stores the height and width according to the actual size of the shelf. Based on these actual size information, the display unit A11018 performs a rendering process so that the shelves are settled in the screen. For example, the outer frame of the shelf is rendered with the layout shown in FIG. 596. The shelf interior view A11103 is the number of shelves and the height ratio of each shelf to the entire shelf, and the inner plates of the shelves are rendered at intervals as shown in FIG. 596. The product type information A11104 stores the number of product variations and the image data body of each product. In the present embodiment, the format of the image data received from the server device A11015 is PNG data, and the PNG data itself is arranged in the product type image data of the product type information A11104. Immediately before rendering, the display unit A11018 expands PNG data into a cache area (not shown), renders the contents of the cache area, and presents an image of the product to the user. The product inventory information A11105 stores the number of products in stock, the type of product whose inventory should be rendered, and coordinate information. Of the coordinate information, the x coordinate is "the number from the left of the product shelf", the y coordinate is "the number of the product shelf from the top", and the z coordinate is "the number of the shelves lined up in the back from the front". Is it the second shelf? " The display unit A11018 renders the product image indicated by the product type number at the coordinates consistent with these coordinate information.
続いて、地図情報格納部Ａ１１０１７の構造について説明する。図５９７に示すように、地図情報格納部Ａ１１０１７は有効フラグＡ１１３０１と、地図画像のデータ長Ａ１１３０２と、地図画像Ａ１１３０３とを含む。有効フラグＡ１１３０１は地図情報をレンダリングするか否かを示したものであり、ＴＲＵＥ又はＦＡＬＳＥのいずれかの値をとる。この値がＴＲＵＥの時に、地図情報のレンダリング処理が表示部Ａ１１０１８によって行われる。地図画像Ａ１１３０３は地図の画像データ本体とを格納する。本実施の形態ではサーバ装置Ａ１１０１５から受信する画像データのフォーマットはＰＮＧデータとし、地図画像Ａ１１３０３にはＰＮＧデータそのものが配置される。また、地図画像のデータ長Ａ１１３０２は地図画像Ａ１１３０３のデータ長を示す。表示部Ａ１１０１８はレンダリング直前にＰＮＧデータを図示しないキャッシュ領域に展開し、本キャッシュ領域の内容をレンダリングし、商品の画像を使用者に提示する。 Subsequently, the structure of the map information storage unit A11017 will be described. As shown in FIG. 597, the map information storage unit A11017 includes an effective flag A11301, a map image data length A11302, and a map image A11303. The valid flag A11301 indicates whether or not to render the map information, and takes either a value of TRUE or FALSE. When this value is TRUE, the map information rendering process is performed by the display unit A11018. The map image A11303 stores the image data body of the map. In the present embodiment, the format of the image data received from the server device A11015 is PNG data, and the PNG data itself is arranged in the map image A11303. Further, the data length A11302 of the map image indicates the data length of the map image A11303. Immediately before rendering, the display unit A11018 expands PNG data into a cache area (not shown), renders the contents of the cache area, and presents an image of the product to the user.
続いて、状態管理部Ａ１１０１９について説明する。図６００に示すように、状態管理部Ａ１１０１９は異常フラグＡ１１６０１、全フレーム描画種別Ａ１１６０２と、表示棚奥行きＡ１１６０３と、地図オフセットＸＡ１１６０４と、地図オフセットＹＡ１１６０５と、前回取得ＩＤＡ１１６０６とを含む。前回取得ＩＤＡ１１６０６は初期値を無効値とする。本実施の形態では無効値＝−１とする。異常フラグＡ１１６０１はＴＲＵＥまたはＦＡＬＳＥの値を格納し、サーバ装置Ａ１１０１５へ送出したＩＤがいずれのシーリングライト・ベースライトにも関連しない無効なＩＤであった場合に、ＤＢ管理部Ａ１１０１４は異常フラグＡ１１６０１をＴＲＵＥに設定する。異常フラグＡ１１６０１がＴＲＵＥであった場合、表示部Ａ１１０１８は受信に失敗した旨ユーザに提示する。また、使用者がタッチパネル部Ａ１２０４を操作した際に、ＵＩ部Ａ１１０２０によって表示棚奥行きＡ１１６０３、地図オフセットＸＡ１１６０４、地図オフセットＹＡ１１６０５は更新される。 Subsequently, the state management unit A11019 will be described. As shown in FIG. 600, the state management unit A11019 includes an abnormality flag A11601, an all-frame drawing type A11602, a display shelf depth A11603, a map offset XA11604, a map offset YA11605, and a previously acquired IDA11606. The previously acquired IDA11606 has an initial value as an invalid value. In this embodiment, the invalid value = -1. The error flag A11601 stores the value of TRUE or FALSE, and when the ID sent to the server device A11015 is an invalid ID not related to any ceiling light / base light, the DB management unit A11014 sets the error flag A11601. Set to TRUE. When the abnormality flag A11601 is TRUE, the display unit A11018 indicates to the user that reception has failed. Further, when the user operates the touch panel unit A1204, the UI unit A11020 updates the display shelf depth A11603, the map offset XA11604, and the map offset YA11605.
続いて、ＤＢ管理部Ａ１１０１４の振る舞いについて説明する。ＤＢ管理部Ａ１１０１４はＩＤ格納部Ａ１１０１３からＩＤを読み込むと、サーバ装置Ａ１１０１５に対して問い合わせを行い、記録されたＩＤの照合を行う。照合の結果、ＩＤが天井に設置されたいずれかのシーリングライトのＩＤであれば、ＤＢ管理部Ａ１１０１４は図５８９に示すような、該当するシーリングライトとその周辺の地図画像を送信するようサーバ装置Ａ１１０１５にリクエストを送り、図５８７に示す地図画像を取得して地図情報格納部Ａ１１０１７に格納し、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＴＲＵＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに、異常フラグＡ１１６０１をＦＡＬＳＥに設定する。一方、照合の結果、ＩＤが商品棚に設置されたいずれかのベースライトのＩＤであれば、ＤＢ管理部Ａ１１０１４はサーバ装置Ａ１１０１５に対して図５９５に示す商品情報をリクエストし、取得した商品情報を商品情報格納部Ａ１１０１６へ格納し、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＴＲＵＥに、異常フラグＡ１１６０１をＦＡＬＳＥに設定する。一方、サーバ装置Ａ１１０１５へ送出したＩＤがいずれのシーリングライト・ベースライトにも関連しない無効なＩＤであった場合に、ＤＢ管理部Ａ１１０１４は地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに、異常フラグＡ１１６０１をＴＲＵＥに設定する。 Subsequently, the behavior of the DB management unit A11014 will be described. When the DB management unit A11014 reads the ID from the ID storage unit A11013, it makes an inquiry to the server device A11015 and collates the recorded ID. As a result of collation, if the ID is the ID of any ceiling light installed on the ceiling, the DB management unit A11014 is a server device so as to transmit a map image of the corresponding ceiling light and its surroundings as shown in FIG. 589. A request is sent to A11015, the map image shown in FIG. 587 is acquired and stored in the map information storage unit A11017, the valid flag A11301 of the map information storage unit A11017 is set to TRUE, and the valid flag of the product information storage unit A11016 is set. Set the error flag A11601 to FALSE in FALSE. On the other hand, as a result of collation, if the ID is the ID of any of the base lights installed on the product shelf, the DB management unit A11014 requests the product information shown in FIG. 595 from the server device A11015, and the acquired product information. Is stored in the product information storage unit A11016, the valid flag A11301 of the map information storage unit A11017 is set to FALSE, the valid flag of the product information storage unit A11016 is set to TRUE, and the abnormality flag A11601 is set to FALSE. On the other hand, when the ID sent to the server device A11015 is an invalid ID that is not related to any of the ceiling lights and base lights, the DB management unit A11014 sets the valid flag A11301 of the map information storage unit A11017 to FALSE and sets the product information. The valid flag of the storage unit A11016 is set to FALSE, and the abnormality flag A11601 is set to TRUE.
続いてＵＩ部Ａ１１０２０について説明する。ＵＩ部Ａ１１０２０はタッチパネル部Ａ１２０４と連動しており、商品情報格納部Ａ１１０１６の有効フラグ１１１０１がＴＲＵＥの場合、使用者がタッチパネル部Ａ１２０４に対してフリック操作をすると、ＵＩ部Ａ１１０２０によって地図オフセットＸＡ１１６０４、地図オフセットＹＡ１１６０５は更新される。具体的には、ＵＩ部Ａ１１０２０はタッチパネル部Ａ１２０４が右方向にフリックされると地図オフセットＸＡ１１６０４をフリック量にあわせて増加させ、タッチパネル部Ａ１２０４が左方向にフリックされると地図オフセットＸＡ１１６０４を減少させ、タッチパネル部Ａ１２０４が上方向にフリックされると地図オフセットＹＡ１１６０５を減少させ、タッチパネル部Ａ１２０４が下方向にフリックされると地図オフセットＹＡ１１６０５を増加させる。一方、地図情報格納Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合、ＵＩ部Ａ１１０２０によって表示棚奥行きＡ１１６０３は更新される。具体的には、ＵＩ部Ａ１１０２０はタッチパネル部Ａ１２０４が右方向にフリックされると表示棚奥行きＡ１１６０３を増加させ、タッチパネル部Ａ１２０４が左方向にフリックされると表示棚奥行きＡ１１６０３を減少させる。但し、表示棚奥行きＡ１１６０３が（商品在庫情報Ａ１１１０５の商品のｚ座標のうち最大の値）より大きくなった場合は表示棚奥行きＡ１１６０３を０に、表示棚奥行きＡ１１６０３が０より小さくなった場合は表示棚奥行きＡ１１６０３を（商品在庫情報Ａ１１１０５の商品のｚ座標のうち最大の値）に設定しなおす。
Subsequently, the UI unit A11020 will be described. The UI unit A11020 is linked to the touch panel unit A1204, and when the
以上の処理を踏まえて、表示部Ａ１１０１８は表示内容を更新する。更新処理を行う際、まず以下の表示更新前処理を実行する。商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥかつ前フレーム描画種別Ａ１１６０２が商品情報以外の場合、表示する棚の状態を初期化する必要があると判断し、表示棚奥行きＡ１１６０３を０に設定しなおす。また、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥかつ前フレーム描画種別Ａ１１６０２が地図情報以外の場合、表示する地図の状態を初期化する必要があると判断し、地図オフセットＸＡ１１６０４を０に、地図オフセットＹＡ１１６０５を０に設定しなおす。更に、状態管理部Ａ１１０１９の前回取得ＩＤとＩＤ格納部Ａ１１０１３とが異なる値を保持している場合、表示状態を初期化する必要があると判断し、地図オフセットＸＡ１１６０４を０に、地図オフセットＹＡ１１６０５を０に、表示棚奥行きＡ１１６０３を０に設定しなおす。そして、状態管理部Ａ１１０１９の前回取得ＩＤにＩＤ格納部Ａ１１０１３の内容をコピーする。更に、商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「商品情報」に、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「地図情報」に、異常フラグＡ１１６０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「異常」に設定する。 Based on the above processing, the display unit A11018 updates the display content. When performing the update process, first execute the following display pre-update process. If the valid flag A11101 of the product information storage unit A11016 is TRUE and the previous frame drawing type A11602 is other than the product information, it is determined that the state of the display shelf needs to be initialized, and the display shelf depth A11603 is set to 0 again. .. Further, when the valid flag A11301 of the map information storage unit A11017 is TRUE and the previous frame drawing type A11602 is other than the map information, it is determined that it is necessary to initialize the state of the map to be displayed, and the map offset XA11604 is set to 0. Reset the offset YA11605 to 0. Further, when the previously acquired ID of the state management unit A11019 and the ID storage unit A11013 hold different values, it is determined that the display state needs to be initialized, the map offset XA11604 is set to 0, and the map offset YA11605 is set. Set the display shelf depth A11603 to 0 again. Then, the contents of the ID storage unit A11013 are copied to the previously acquired ID of the state management unit A11019. Further, when the valid flag A11101 of the product information storage unit A11016 is TRUE, the front frame drawing type A11602 is set to "product information", and when the valid flag A11301 of the map information storage unit A11017 is TRUE, the front frame drawing type A11602 is set to "map". In "Information", when the error flag A11601 is TRUE, the previous frame drawing type A11602 is set to "Abnormal".
以上の表示更新前処理が完了したら、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１と商品情報格納部Ａ１１０１６の有効フラグのうちいずれか一方がＴＲＵＥとなった場合に、表示部Ａ１１０１８は地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合は図５８９に示すような地図情報のレンダリング処理を実行し、商品情報格納部Ａ１１０１６の有効フラグがＴＲＵＥの場合は表示部Ａ１１０１８は図５９６に示すような商品在庫状況のレンダリング処理を実行する。一方、異常フラグＡ１１６０１がＴＲＵＥの場合は、不正なＩＤを受信した旨、表示部Ａ１１０１８は表示を更新する。 When the above display update preprocessing is completed, if either the valid flag A11301 of the map information storage unit A11017 or the valid flag of the product information storage unit A11016 becomes TRUE, the display unit A11018 will display the map information storage unit A11017. When the valid flag A11301 of is TRUE, the map information rendering process as shown in FIG. 589 is executed, and when the valid flag of the product information storage unit A11016 is TRUE, the display unit A11018 shows the product inventory status as shown in FIG. 596. Executes the rendering process of. On the other hand, when the abnormality flag A11601 is TRUE, the display unit A11018 updates the display to the effect that an invalid ID has been received.
続いて、本実施の形態のフローについて説明する。 Subsequently, the flow of the present embodiment will be described.
まず、照明機器Ａ１１００２のフローについて図５９８を用いて説明する。第１の照明機器Ａ１１００２に電力が供給されると（ＳＡ１１４０１）、第１のエンコード部Ａ１１００５は第１のＩＤ格納部Ａ１１００４からＩＤを読み込み（ＳＡ１１４０２）、エンコード処理により当ＩＤを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し（ＳＡ１１４０３）、当照度パターンを第１の照度パターン格納部Ａ１１００６に格納する（ＳＡ１１４０４）。以上の起動フェーズが完了すると、第１の発光部Ａ１１００７は第１の照度パターン格納部Ａ１１００６から照度パターンを読み込み（ＳＡ１１４０５）、当照度パターンで示されるパターンに基づき、照度を高速に更新しながら発光制御を行う（ＳＡ１１４０６）。これにより、第１の照明機器Ａ１１００２はＩＤに基づいた照度制御を行う。 First, the flow of the lighting device A11002 will be described with reference to FIG. 598. When power is supplied to the first lighting device A11002 (SA11401), the first encoding unit A11005 reads the ID from the first ID storage unit A11004 (SA11402), and the ID is used as the illumination pattern for illumination by the encoding process. That is, it is converted into the illuminance of the illumination at each timing (SA11403), and the equivalent illuminance pattern is stored in the first illuminance pattern storage unit A11006 (SA11404). When the above activation phase is completed, the first light emitting unit A11007 reads an illuminance pattern from the first illuminance pattern storage unit A11006 (SA11405), and emits light while updating the illuminance at high speed based on the pattern indicated by the illuminance pattern. Control is performed (SA11406). As a result, the first lighting device A11002 controls the illuminance based on the ID.
照明機器Ａ１１００３についても上記と同様で、第２の照明機器Ａ１１００３に電力が供給されると（ＳＡ１１４０１）、第２のエンコード部Ａ１１００９は第２のＩＤ格納部Ａ１１００８からＩＤを読み込み（ＳＡ１１４０２）、エンコード処理により当ＩＤを照明の照度パターン、即ち各タイミングにおける照明の照度に変換し（ＳＡ１１４０３）、当照度パターンを第２の照度パターン格納部Ａ１１０１０に格納する（ＳＡ１１４０４）。以上の起動フェーズが完了すると、第２の発光部Ａ１１０１１は第２の照度パターン格納部Ａ１１０１０から照度パターンを読み込み（ＳＡ１１４０５）、当照度パターンで示されるパターンに基づき、照度を高速に更新しながら発光制御を行う（ＳＡ１１４０６）。これにより、第２の照明機器Ａ１１００３はＩＤに基づいた照度制御を行う。 The same applies to the lighting device A11003, and when power is supplied to the second lighting device A11003 (SA11401), the second encoding unit A11009 reads the ID from the second ID storage unit A11008 (SA11402) and encodes it. The ID is converted into an illuminance pattern of illumination, that is, the illuminance of illumination at each timing (SA11403), and the illuminance pattern is stored in the second illuminance pattern storage unit A11010 (SA11404). When the above activation phase is completed, the second light emitting unit A11011 reads the illuminance pattern from the second illuminance pattern storage unit A11010 (SA11405), and emits light while updating the illuminance at high speed based on the pattern indicated by the illuminance pattern. Control is performed (SA11406). As a result, the second lighting device A11003 controls the illuminance based on the ID.
続いて、携帯端末Ａ１１００１のフローについて、図５９９を用いて説明する。携帯端末Ａ１１００１の受光制御部Ａ１１０１２は最初にシャッター速度を高速な設定に切り替え（ＳＡ１１５００）、第１の発光部Ａ１１００７及び第２の発光部Ａ１１０１１の照度パターンを検知すると、デコード処理により検知したパターンをＩＤに変換し（ＳＡ１１５０１）、ＩＤ格納部Ａ１１０１３へ格納する（ＳＡ１１５０２）。ＤＢ管理部Ａ１１０１４はＩＤ格納部Ａ１１０１３からＩＤを読み込むと、サーバ装置Ａ１１０１５に対して問い合わせを行い、記録されたＩＤの照合を行う（ＳＡ１１５０３）。照合の結果（ＳＡ１１５０４）、ＩＤが天井に設置されたいずれかのシーリングライトのＩＤであれば、シーリングライト関連の処理を実行する（ＳＡ１１５０５）。一方、照合の結果、ＩＤが商品棚に設置されたいずれかのベースライトのＩＤであれば、ベースライト関連の処理を実行する（ＳＡ１１５０７）。一方、サーバ装置Ａ１１０１５へ送出したＩＤがいずれのシーリングライト・ベースライトにも関連しない無効なＩＤであった場合に、ＤＢ管理部Ａ１１０１４は地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに、異常フラグＡ１１６０１をＴＲＵＥに設定する（ＳＡ１１５０８）。 Subsequently, the flow of the mobile terminal A11001 will be described with reference to FIG. 599. The light receiving control unit A11012 of the mobile terminal A11001 first switches the shutter speed to a high speed setting (SA11500), and when it detects the illuminance pattern of the first light emitting unit A11007 and the second light emitting unit A11011, the pattern detected by the decoding process is detected. It is converted into an ID (SA11501) and stored in the ID storage unit A11013 (SA11502). When the DB management unit A11014 reads the ID from the ID storage unit A11013, it makes an inquiry to the server device A11015 and collates the recorded ID (SA11503). If the collation result (SA11504) shows that the ID is the ID of any ceiling light installed on the ceiling, the ceiling light-related process is executed (SA11505). On the other hand, as a result of collation, if the ID is the ID of any of the base lights installed on the product shelves, the base light-related processing is executed (SA11507). On the other hand, when the ID sent to the server device A11015 is an invalid ID that is not related to any of the ceiling lights and base lights, the DB management unit A11014 sets the valid flag A11301 of the map information storage unit A11017 to FALSE and sets the product information. The valid flag of the storage unit A11016 is set to FALSE, and the abnormality flag A11601 is set to TRUE (SA11508).
続いて、シーリングライト関連処理（ＳＡ１１５０５）について図６０１を用いて詳細に説明する。ＤＢ管理部Ａ１１０１４は図５８９に示すような、該当するシーリングライトとその周辺の地図画像を送信するようサーバ装置Ａ１１０１５にリクエストを送り（ＳＡ１１７０１）、図５８７に示す地図画像を取得して地図情報格納部Ａ１１０１７に格納し（ＳＡ１１７０２）、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＴＲＵＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに設定する（ＳＡ１１７０３）。 Subsequently, the ceiling light-related process (SA11505) will be described in detail with reference to FIG. 601. The DB management unit A11014 sends a request to the server device A11015 (SA11701) to transmit a map image of the corresponding ceiling light and its surroundings as shown in FIG. 589, acquires the map image shown in FIG. 587, and stores the map information. It is stored in the unit A11017 (SA11702), the valid flag A11301 of the map information storage unit A11017 is set to TRUE, and the valid flag of the product information storage unit A11016 is set to FALSE (SA11703).
続いて、ベースライト関連処理（ＳＡ１１５０７）について図６０２を用いて詳細に説明する。ＤＢ管理部Ａ１１０１４はサーバ装置Ａ１１０１５に対して図５９５に示す商品情報をリクエストし（ＳＡ１１８０１）、取得した商品情報を商品情報格納部Ａ１１０１６へ格納し（ＳＡ１１８０２）、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＴＲＵＥに設定する（ＳＡ１１８０３）。 Subsequently, the base light-related processing (SA11507) will be described in detail with reference to FIG. 602. The DB management unit A11014 requests the server device A11015 for the product information shown in FIG. 595 (SA11801), stores the acquired product information in the product information storage unit A11016 (SA11802), and enables the map information storage unit A11017 to have the valid flag A11301. Is set to FALSE, and the valid flag of the product information storage unit A11016 is set to TRUE (SA11803).
続いてＵＩ部Ａ１１０２０について図６０３を用いて説明する。ＵＩ部Ａ１１０２０はタッチパネル部Ａ１２０４と連動しており、地図情報格納Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合（Ｓ１１９０１）、地図情報向けＵＩ処理を実行する（Ｓ１１９０２）。一方、商品情報格納部Ａ１１０１６の有効フラグ１１１０１がＴＲＵＥの場合（Ｓ１１９０３）、商品情報向けＵＩ処理を実行する（Ｓ１１９０４）。
Subsequently, the UI unit A11020 will be described with reference to FIG. 603. The UI unit A11020 is linked to the touch panel unit A1204, and when the valid flag A11301 of the map information storage A11017 is TRUE (S11901), the UI processing for map information is executed (S11902). On the other hand, when the
続いて、地図情報向けＵＩ処理（Ｓ１１８０２）について図６０４を用いて詳細に説明する。使用者がタッチパネル部Ａ１２０４に対してフリック操作をすると、ＵＩ部Ａ１１０２０によって地図オフセットＸＡ１１６０４、地図オフセットＹＡ１１６０５は更新される。具体的には、ＵＩ部Ａ１１０２０はタッチパネル部Ａ１２０４が右方向にフリックされると（ＳＡ１２００１）地図オフセットＸＡ１１６０４をフリック量にあわせて増加させ（ＳＡ１２００２）、タッチパネル部Ａ１２０４が左方向にフリックされると（ＳＡ１２００３）地図オフセットＸＡ１１６０４を減少させ（ＳＡ１２００４）、タッチパネル部Ａ１２０４が上方向にフリックされると（ＳＡ１２００５）地図オフセットＹＡ１１６０５を減少させ（ＳＡ１２００６）、タッチパネル部Ａ１２０４が下方向にフリックされると（ＳＡ１２００７）地図オフセットＹＡ１１６０５を増加させる（ＳＡ１２００８）。 Subsequently, the UI processing for map information (S11802) will be described in detail with reference to FIG. 604. When the user flicks the touch panel unit A1204, the UI unit A11020 updates the map offset XA11604 and the map offset YA11605. Specifically, in the UI unit A11020, when the touch panel unit A1204 is flicked to the right (SA12001), the map offset XA11604 is increased according to the amount of flicking (SA12000), and when the touch panel unit A1204 is flicked to the left (SA12001). SA12003) When the map offset XA11604 is decreased (SA12004) and the touch panel unit A1204 is flicked upward (SA1205), the map offset YA11605 is decreased (SA12006) and when the touch panel unit A1204 is flicked downward (SA12007). The map offset YA11605 is increased (SA12008).
続いて、商品情報向けＵＩ処理（Ｓ１１８０４）について図６０５を用いて詳細に説明する。ＵＩ部Ａ１１０２０によって表示棚奥行きＡ１１６０３は更新される。具体的には、ＵＩ部Ａ１１０２０はタッチパネル部Ａ１２０４が右方向にフリックされると（ＳＡ１２１０１）表示棚奥行きＡ１１６０３を増加させ（ＳＡ１２１０２）、タッチパネル部Ａ１２０４が左方向にフリックされると（ＳＡ１２１０３）表示棚奥行きＡ１１６０３を減少させる（ＳＡ１２１０４）。但し、表示棚奥行きＡ１１６０３が（商品在庫情報Ａ１１１０５の商品のｚ座標のうち最大の値）より大きくなった場合は（ＳＡ１２１０５）表示棚奥行きＡ１１６０３を０に（ＳＡ１２１０６）、表示棚奥行きＡ１１６０３が０より小さくなった場合は（ＳＡ１２１０７）表示棚奥行きＡ１１６０３を（商品在庫情報Ａ１１１０５の商品のｚ座標のうち最大の値）に設定しなおす（ＳＡ１２１０８）。 Subsequently, the UI processing for product information (S11804) will be described in detail with reference to FIG. 605. The display shelf depth A11603 is updated by the UI unit A11020. Specifically, the UI unit A11020 increases the display shelf depth A11603 (SA12102) when the touch panel unit A1204 is flicked to the right (SA12101), and the display shelf when the touch panel unit A1204 is flicked to the left (SA12103). Depth A11603 is reduced (SA12104). However, when the display shelf depth A11603 is larger than (the maximum value of the z-coordinates of the product in the product inventory information A11105), (SA12105) the display shelf depth A11603 is set to 0 (SA12106), and the display shelf depth A11603 is set to 0. When it becomes smaller (SA12107), the display shelf depth A11603 is reset to (the maximum value among the z-coordinates of the product in the product inventory information A11105) (SA12108).
続いて、表示部Ａ１１０１８の処理フローについて図６０６を用いて説明する。更新処理を行う際、まず表示更新前処理を実行する（ＳＡ１２２０１）。続いて、表示更新処理を実行する（ＳＡ１２２０２）。 Subsequently, the processing flow of the display unit A11018 will be described with reference to FIG. 606. When performing the update process, first, the display update pre-process is executed (SA12201). Subsequently, the display update process is executed (SA12202).
続いて、表示更新前処理（ＳＡ１２２０１）について図６０７を用いて詳細に説明する。商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥ（ＳＡ１２３０１）かつ前フレーム描画種別Ａ１１６０２が商品情報以外の場合（ＳＡ１２３０２）、表示する棚の状態を初期化する必要があると判断し、表示棚奥行きＡ１１６０３を０に設定しなおす（ＳＡ１２３０３）。また、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥ（ＳＡ１２３０４）かつ前フレーム描画種別Ａ１１６０２が地図情報以外の場合（ＳＡ１２３０５）、表示する地図の状態を初期化する必要があると判断し、地図オフセットＸＡ１１６０４を０に、地図オフセットＹＡ１１６０５を０に設定しなおす（ＳＡ１２３０６）。更に、状態管理部Ａ１１０１９の前回取得ＩＤとＩＤ格納部Ａ１１０１３とが異なる値を保持している場合（ＳＡ１２３０７）、表示状態を初期化する必要があると判断し、地図オフセットＸＡ１１６０４を０に、地図オフセットＹＡ１１６０５を０に、表示棚奥行きＡ１１６０３を０に設定しなおす（ＳＡ１２３０８）。そして、状態管理部Ａ１１０１９の前回取得ＩＤにＩＤ格納部Ａ１１０１３の内容をコピーすることで旧ＩＤを更新する（ＳＡ１２３０９）。更に、商品情報格納部Ａ１１０１６の有効フラグＡ１１１０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「商品情報」に、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「地図情報」に、異常フラグＡ１１６０１がＴＲＵＥの場合は前フレーム描画種別Ａ１１６０２を「異常」に設定する（ＳＡ１２３１０）。 Subsequently, the display update pre-processing (SA12201) will be described in detail with reference to FIG. 607. When the valid flag A11101 of the product information storage unit A11016 is TRUE (SA12301) and the previous frame drawing type A11602 is other than the product information (SA12302), it is determined that the state of the shelf to be displayed needs to be initialized, and the display shelf depth A11603 Is reset to 0 (SA12303). Further, when the valid flag A11301 of the map information storage unit A11017 is TRUE (SA12304) and the previous frame drawing type A11602 is other than the map information (SA12305), it is determined that it is necessary to initialize the state of the map to be displayed, and the map offset. Reset XA11604 to 0 and map offset YA11605 to 0 (SA12306). Further, when the previously acquired ID of the state management unit A11019 and the ID storage unit A11013 hold different values (SA12307), it is determined that the display state needs to be initialized, and the map offset XA11604 is set to 0. The offset YA11605 is set to 0 and the display shelf depth A11603 is set to 0 (SA12308). Then, the old ID is updated by copying the contents of the ID storage unit A11013 to the previously acquired ID of the state management unit A11019 (SA12309). Further, when the valid flag A11101 of the product information storage unit A11016 is TRUE, the front frame drawing type A11602 is set to "product information", and when the valid flag A11301 of the map information storage unit A11017 is TRUE, the front frame drawing type A11602 is set to "map". In "Information", when the abnormality flag A11601 is TRUE, the previous frame drawing type A11602 is set to "Abnormal" (SA12310).
続いて、表示更新処理について図６０８を用いて詳細に説明する。表示部Ａ１１０１８は地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１がＴＲＵＥの場合は（ＳＡ１２４０１）、地図オフセットＸＡ１１６０４と地図オフセットＹＡ１１６０６とを読み込み（ＳＡ１２４０２）、各オフセット分だけずらしながら図５８９に示すような地図情報のレンダリング処理を実行する（ＳＡ１２４０３）。一方、商品情報格納部Ａ１１０１６の有効フラグがＴＲＵＥの場合は（ＳＡ１２４０４）、表示部Ａ１１０１８は表示棚奥行きＡ１１６０３を読み込み（ＳＡ１２４０４）、表示棚奥行きＡ１１６０３で示される棚の画像を提示するように、図５９６に示すような商品在庫状況のレンダリング処理を実行する（ＳＡ１２４０６）。一方、異常フラグＡ１１６０１がＴＲＵＥの場合は、不正なＩＤを受信した旨、表示部Ａ１１０１８は表示を更新する（ＳＡ１２４０７）。 Subsequently, the display update process will be described in detail with reference to FIG. 608. When the valid flag A11301 of the map information storage unit A11017 is TRUE (SA12401), the display unit A11018 reads the map offset XA11604 and the map offset YA11606 (SA12402), and shifts the map information by each offset as shown in FIG. 589. (SA12403). On the other hand, when the valid flag of the product information storage unit A11016 is TRUE (SA12404), the display unit A11018 reads the display shelf depth A11603 (SA12404) and presents the image of the shelf indicated by the display shelf depth A11603. The rendering process of the product inventory status as shown in 596 is executed (SA12406). On the other hand, when the abnormality flag A11601 is TRUE, the display unit A11018 updates the display to the effect that an invalid ID has been received (SA12407).
（実施の形態２３）
本実施の形態は、実施の形態２２に加えて、受光制御部の構成及びフローを明確にしたものである。
(Embodiment 23)
In this embodiment, in addition to the 22nd embodiment, the configuration and flow of the light receiving control unit are clarified.
まず、実施の形態２３における受光制御部Ａ１１０１２の構成について図６０９を用いて説明する。実施の形態２３における受光制御部Ａ１１０１２は、第１の受光部Ａ１２５０１と、第２の受光部Ａ１２５０２と、これら２つの受光部のどちらを稼動させるかを選択するためのセレクタＡ１２５０３と、セレクタＡ１２５０３における選択処理に必要な情報を供給する加速度検知部Ａ１２５０４と、セレクタＡ１２５０３を経由して第１の受光部Ａ１２５０１又は第２の受光部Ａ１２５０２より得られた受光信号を格納する受光信号格納部Ａ１２５０５と、受光信号格納部Ａ１２５０５から受光信号を読み取り、デコード処理を行ってＩＤを生成し、生成したＩＤをＩＤ格納部Ａ１１０１３に格納するデコード部Ａ１２５０６と、セレクタＡ１２５０３が取得した加速度から、受光制御部Ａ１１０１２を搭載した携帯端末Ａ１１０１１が地面に対して水平か否かを判定するための第１の閾値と第２の閾値が予め格納されている閾値格納部Ａ１２５０７とから構成される。 First, the configuration of the light receiving control unit A11012 according to the 23rd embodiment will be described with reference to FIG. 609. The light receiving control unit A11012 according to the 23rd embodiment is the first light receiving unit A12501, the second light receiving unit A12502, the selector A12503 for selecting which of these two light receiving units to operate, and the selector A12503. An acceleration detection unit A12504 that supplies information necessary for selection processing, a light receiving signal storage unit A12505 that stores a light receiving signal obtained from a first light receiving unit A12501 or a second light receiving unit A12502 via a selector A12503, and a light receiving signal storage unit A12505. The light receiving control unit A11012 is generated from the decoding unit A12506 that reads the received light signal from the light receiving signal storage unit A12505, performs decoding processing to generate an ID, and stores the generated ID in the ID storage unit A11013, and the acceleration acquired by the selector A12503. It is composed of a threshold storage unit A12507 in which a first threshold value and a second threshold value for determining whether or not the mounted mobile terminal A11011 is horizontal with respect to the ground are stored in advance.
続いて、実施の形態２３における受光制御部Ａ１１０１２のフローについて図６１０を用いて説明する。受光制御部Ａ１１０１２は起動後、加速度検知部Ａ１２５０４より携帯端末Ａ１１０１１の背面方向に生じる加速度を検知する（ＳＡ１２６０１）。続いて、取得した加速度と閾値格納部Ａ１２５０７に格納されている閾値とを比較し（ＳＡ１２６０２）、加速度が第１の閾値よりも大きければ、より大きな加速度、即ち重力加速度が携帯端末Ａ１１０１１の背面方向に生じていることから、携帯端末Ａ１１０１１が地面に対して水平で、かつインカメラＡ１２０２が地面に対して上向きであると判定し、インカメラ、即ち第１の受光部Ａ１２５０１を稼動させる（ＳＡ１２６０３）。一方、加速度が第２の閾値以下であれば、重力加速度が携帯端末Ａ１１０１１の背面方向に大きく生じていないことから、携帯端末Ａ１１０１１が地面に対して水平ではなく、アウトカメラＡ１２０３が壁や棚に向けられていると判定し、アウトカメラ、即ち第２の受光部Ａ１２５０２を稼動させる（ＳＡ１２６０４）。以上の処理により、稼動した第１の受光部Ａ１２５０１又は第２の受光部Ａ１２５０２より撮影画像を取得し（ＳＡ１２６０５）、撮影画像から照明の照度変化を取得、即ちデコード処理を実行し（ＳＡ１２６０６）、デコード処理によって得られたＩＤをＩＤ格納部Ａ１１０１３に格納する（ＳＡ１２６０７）。 Subsequently, the flow of the light receiving control unit A11012 in the 23rd embodiment will be described with reference to FIG. 610. After activation, the light receiving control unit A11012 detects the acceleration generated in the back direction of the mobile terminal A11011 from the acceleration detection unit A12504 (SA12601). Subsequently, the acquired acceleration is compared with the threshold stored in the threshold storage unit A12507 (SA12602), and if the acceleration is larger than the first threshold, the larger acceleration, that is, the gravitational acceleration is in the back direction of the mobile terminal A11011. It is determined that the mobile terminal A11011 is horizontal to the ground and the in-camera A1202 is upward to the ground, and the in-camera, that is, the first light receiving unit A12501 is operated (SA12603). .. On the other hand, if the acceleration is equal to or less than the second threshold value, the gravitational acceleration does not occur significantly in the back direction of the mobile terminal A11011, so that the mobile terminal A11011 is not horizontal to the ground and the out-camera A1203 is placed on the wall or shelf. It is determined that the camera is directed, and the out-camera, that is, the second light receiving unit A12502 is operated (SA12604). By the above processing, a photographed image is acquired from the first light receiving unit A12501 or the second light receiving unit A12502 that has been operated (SA12605), and the illuminance change of the illumination is acquired from the photographed image, that is, the decoding process is executed (SA12606). The ID obtained by the decoding process is stored in the ID storage unit A11013 (SA12607).
以上のようにして受光部の選択を行うことで、建物の見取り図を俯瞰する、即ち携帯端末を上から覗き込む場合と、正面にある棚やその他被写体を水平方向に覗き込む場合とにそれぞれ最適化するよう受光部の切り替えが可能となる。 By selecting the light receiving part as described above, it is optimal for a bird's-eye view of the building, that is, for looking into the mobile terminal from above and for looking into the shelf in front or other subjects in the horizontal direction. It is possible to switch the light receiving unit so as to be.
（実施の形態２４）
本実施の形態は、実施の形態２２に加えて、受光制御部の構成及びフローを明確にしたものである。
(Embodiment 24)
In this embodiment, in addition to the 22nd embodiment, the configuration and flow of the light receiving control unit are clarified.
まず、実施の形態２３における受光制御部Ａ１１０１２の構成について図６１１を用いて説明する。実施の形態２３における受光制御部Ａ１１０１２は、第１の受光部Ａ１２７０１と、第２の受光部Ａ１２７０２と、これら２つの受光部のどちらを稼動させるかを選択するためのセレクタＡ１２７０３と、セレクタＡ１２７０３における選択処理に必要な情報を供給するタイマ制御部Ａ１２７０４と、セレクタＡ１２５０３を経由して第１の受光部Ａ１２７０１又は第２の受光部受光部Ａ１２７０２より得られた受光信号を格納する受光信号格納部Ａ１２７０５と、受光信号格納部Ａ１２７０５から受光信号を読み取り、デコード処理を行ってＩＤを生成し、生成したＩＤをＩＤ格納部Ａ１１０１３に格納するデコード部Ａ１２７０６と、セレクタＡ１２７０３が第１の受光部Ａ１２７０１から受光を始めて第２の受光部Ａ１２７０２の受光への切り替えに要する時間の閾値１を格納し、更にセレクタＡ１２７０３が第２の受光部Ａ１２７０２から受光を始めて第１の受光部Ａ１２７０１の受光への切り替えに要する時間の閾値２とが予め格納されている閾値格納部Ａ１２７０７とから構成される。
First, the configuration of the light receiving control unit A11012 according to the 23rd embodiment will be described with reference to FIG. 611. The light receiving control unit A11012 according to the 23rd embodiment is the first light receiving unit A12701, the second light receiving unit A12702, the selector A12703 for selecting which of these two light receiving units to operate, and the selector A12703. A light receiving signal storage unit A12705 that stores a light receiving signal obtained from a timer control unit A12704 that supplies information necessary for selection processing and a light receiving unit A12701 or a second light receiving unit A12702 via a selector A12503. The light receiving signal is read from the light receiving signal storage unit A12705, decoding processing is performed to generate an ID, and the decoding unit A12706 storing the generated ID in the ID storage unit A11013 and the selector A12703 receive light from the first light receiving unit A12701. Is stored for a
続いて、実施の形態２４における受光制御部Ａ１１０１２のフローについて図６１２を用いて説明する。受光制御部Ａ１１０１２は起動後、タイマ制御部Ａ１２７０４が稼動していなければ（ＳＡ１２８０１）、タイマ制御部Ａ１２７０４を稼動させるとともに、第１の受光部Ａ１２７０１を稼動させる（ＳＡ１２８０２）。続いて、第１の受光部Ａ１２７０１が稼働中の場合（ＳＡ１２８０３）、第１の受光部Ａ１２７０１が稼動し始めてから第１の閾値の時間が経過していれば（ＳＡ１２８０４）、各受光部をバランスよく稼動させるため、第１の受光部Ａ１２７０１を停止すると共に、第２の受光部Ａ１２７０２を稼動させる（ＳＡ１２８０６）。一方、第１の受光部Ａ１２７０１が停止中、即ち第２の受光部Ａ１２７０２が稼働中である場合（ＳＡ１２８０３）、第２の受光部Ａ１２７０２が稼動してから第２の閾値の時間が経過していれば（ＳＡ１２８０５）、各受光部をバランスよく稼動させるため、第２の受光部Ａ１２７０２を停止すると共に、第１の受光部Ａ１２７０１を稼動させる（ＳＡ１２８０７）。以上の処理により、稼動した第１の受光部Ａ１２５０１又は第２の受光部Ａ１２５０２より撮影画像を取得し（ＳＡ１２８０８）、撮影画像から照明の照度変化を取得、即ちデコード処理を実行し（ＳＡ１２８０９）、デコード処理によって得られたＩＤをＩＤ格納部Ａ１１０１３に格納する（ＳＡ１２８１０）。 Subsequently, the flow of the light receiving control unit A11012 in the 24th embodiment will be described with reference to FIG. 612. After the light receiving control unit A11012 is started, if the timer control unit A12704 is not operating (SA12801), the timer control unit A12704 is operated and the first light receiving unit A12701 is operated (SA12802). Subsequently, when the first light receiving unit A12701 is in operation (SA12803) and the first threshold time has elapsed since the first light receiving unit A12701 started operating (SA12804), each light receiving unit is balanced. In order to operate well, the first light receiving unit A12701 is stopped and the second light receiving unit A12702 is operated (SA12806). On the other hand, when the first light receiving unit A12701 is stopped, that is, when the second light receiving unit A12702 is operating (SA12803), the time of the second threshold value has elapsed since the second light receiving unit A12702 was operated. (SA12805), in order to operate each light receiving unit in a well-balanced manner, the second light receiving unit A12702 is stopped and the first light receiving unit A12701 is operated (SA12807). By the above processing, a photographed image is acquired from the first light receiving unit A12501 or the second light receiving unit A12502 that has been operated (SA12808), and the illuminance change of the illumination is acquired from the photographed image, that is, the decoding process is executed (SA12809). The ID obtained by the decoding process is stored in the ID storage unit A11013 (SA12810).
以上のようにして受光部の選択を行うことで、図５９３に示すような腕時計型デバイスを水平に構えた場合において、天井のシーリングライトＡ１９０４から得られるＩＤと、棚に設置されたベースライトＡ１９０５から得られるＩＤとをそれぞれバランスよく取得することが可能となる。 By selecting the light receiving unit as described above, when the wristwatch-type device as shown in FIG. 593 is held horizontally, the ID obtained from the ceiling light A1904 and the base light A1905 installed on the shelf It is possible to acquire the IDs obtained from the above in a well-balanced manner.
なお、本実施の形態２３に加速度検知部を更に付与し、腕時計型デバイスの表示面が地面に水平でない、即ち使用者が腕時計型デバイスの表示面を見ていないと予想される場合は、第１の受光部Ａ１２５０１と第２の受光部Ａ１２５０２を停止し、消費電力の削減を図るようにしても良い。 If an acceleration detection unit is further added to the 23rd embodiment, and the display surface of the wristwatch-type device is not horizontal to the ground, that is, it is expected that the user is not looking at the display surface of the wristwatch-type device, the first step is made. The light receiving unit A12501 of 1 and the light receiving unit A12502 of the second light receiving unit A12502 may be stopped to reduce power consumption.
（実施の形態２５）
本実施の形態は、実施の形態２２をベースに、視線検出の技術を応用して、ユーザの意思をより的確に表示部Ａ１１０１８に反映させることを目的としたものである。
(Embodiment 25)
This embodiment is based on the 22nd embodiment and is intended to more accurately reflect the user's intention on the display unit A11018 by applying the line-of-sight detection technique.
図６１３は本実施の形態における携帯端末を使用する際のイメージ図である。図６１３に示すように、使用者が携帯端末Ａ１２９０１を手に持って、棚Ａ１２９０３に携帯端末Ａ１２９０１の背面部分を向けている場合、携帯端末Ａ１２９０１の表示部には棚Ａ１２９０３の情報が表示される。一方、この状態で使用者が棚Ａ１２９０１の右側を向いた場合、携帯端末Ａ１２９０１はユーザの視線を画像認識処理によって検知し、「ユーザが見ているものは棚Ａ１２９０１ではなく、棚Ａ１２９０１の右隣に設置されている棚Ａ１２９０５である」と判定し、携帯端末Ａ１２９０１の表示部に棚Ａ１２９０５に関する情報を表示する。このように、携帯端末Ａ１２９０１の正面に存在する照明に加え、ユーザの視線を考慮して表示する対象物を選択することで、よりユーザの意図を反映させた情報確認が可能となる。 FIG. 613 is an image diagram when the mobile terminal according to the present embodiment is used. As shown in FIG. 613, when the user holds the mobile terminal A12901 in his hand and points the back portion of the mobile terminal A12901 toward the shelf A12903, the information of the shelf A12903 is displayed on the display unit of the mobile terminal A12901. .. On the other hand, when the user turns to the right side of the shelf A12901 in this state, the mobile terminal A12901 detects the user's line of sight by image recognition processing and says, "What the user is looking at is not the shelf A12901 but the right side of the shelf A12901. It is determined that the shelf A12905 is installed in the mobile terminal A12905, and information about the shelf A12905 is displayed on the display unit of the mobile terminal A12901. In this way, in addition to the lighting existing in front of the mobile terminal A12901, by selecting the object to be displayed in consideration of the user's line of sight, it is possible to confirm the information that more reflects the user's intention.
続いて、実施の形態２５における携帯端末Ａ１２９０１の構成について、図６１４を用いて説明する。なお、実施の形態２２と重複している構成要素については図５９４と図６１４とで同じ番号を使用するようにする。携帯端末Ａ１２９０１は、受光制御部Ａ１３００２と、ＩＤ格納部Ａ１１０１３と、ＤＢ管理部Ａ１３００３と、商品情報格納部Ａ１１０１６と、地図情報格納部Ａ１１０１７と、表示部Ａ１１０１８と、状態管理部Ａ１１０１９と、ＵＩ部Ａ１１０２０と、視線情報格納部Ａ１３００１とから構成される。また、携帯端末Ａ１２９０１はサーバ装置Ａ１３００４に無線通信により接続されている。 Subsequently, the configuration of the mobile terminal A12901 according to the 25th embodiment will be described with reference to FIG. 614. For the components that overlap with the embodiment 22, the same numbers are used in FIGS. 594 and 614. The mobile terminal A12901 includes a light receiving control unit A1302, an ID storage unit A11013, a DB management unit A13003, a product information storage unit A11016, a map information storage unit A11017, a display unit A11018, a state management unit A11019, and a UI unit. It is composed of A11020 and a line-of-sight information storage unit A13001. Further, the mobile terminal A12901 is connected to the server device A13004 by wireless communication.
続いて、携帯端末Ａ１２９０１の振る舞いについて説明する。携帯端末Ａ１２９０１の受光制御部Ａ１３００２は第１の発光部Ａ１１００７及び第２の発光部Ａ１１０１１の照度パターンを検知すると、検知したパターンをＩＤに変換し、ＩＤ格納部Ａ１１０１３へ格納する。本実施の形態の場合、第１の発光部Ａ１１００７又は第２の発光部Ａ１１０１１の照度パターンを検知したものであるから、ＩＤ格納部Ａ１１０１３に格納されるＩＤは第１のＩＤ格納部Ａ１１００４または第２のＩＤ格納部Ａ１１００８のいずれかに格納されているＩＤと等しくなる。更に、受光制御部Ａ１３００２は自身が内蔵している内受光機能により、使用者の視線が「正面・右・左」のどれに分類されるかを示す視線分類情報を検出し、検出した分類結果を視線情報格納部Ａ１３００１に格納する。 Subsequently, the behavior of the mobile terminal A12901 will be described. When the light receiving control unit A13002 of the mobile terminal A12901 detects the illuminance pattern of the first light emitting unit A11007 and the second light emitting unit A11011, the detected pattern is converted into an ID and stored in the ID storage unit A11013. In the case of the present embodiment, since the illuminance pattern of the first light emitting unit A11007 or the second light emitting unit A11011 is detected, the ID stored in the ID storage unit A11013 is the first ID storage unit A11004 or the first. It becomes equal to the ID stored in any of the ID storage units A11008 of 2. Further, the light receiving control unit A13002 detects the line of sight classification information indicating whether the user's line of sight is classified into "front, right, or left" by the internal light receiving function built in the unit, and the detected classification result. Is stored in the line-of-sight information storage unit A13001.
続いて、ＤＢ管理部Ａ１３００３のフローについて説明する。本実施の形態は、実施の形態２２に対して図６０２のＳＡ１１８０１が詳細化される。そこで、ＳＡ１１８０１の詳細フローについて説明する。図６１６は、実施の形態２５におけるサーバ問い合わせ時のフローチャートである。ＤＢ管理部Ａ１３００３はＩＤ格納部Ａ１１０１３からＩＤを読み込み、更に視線情報格納部Ａ１３００１から視線分類情報を読み込むと、サーバ装置Ａ１１０１５に対して商品情報をリクエストする。この時、ベースライトのＩＤをサーバ装置Ａ１１０１５に送出すると共に、視線情報格納部Ａ１３００１に格納された視線分類情報もサーバ装置Ａ１１０１５に送出する（ＳＡ１３２０１）。サーバ装置Ａ１１０１５は図６１５に示すようなＤＢを保持しており、まず受信したＩＤをＡ１３１０２列から検索する（ＳＡ１３２０２）。該当する行が検索された場合、その行から棚識別子を抽出する（ＳＡ１３２０３）。この時、視線分類情報が正面の場合はＡ１３１０１列を、視線分類情報が「左」の場合はＡ１３１０３列を、視線分類情報が「右」の場合はＡ１３１０４列を参照し（ＳＡ１３２０３）、該当行の参照によって棚識別子を得る（ＳＡ１３２０５）。そして、得られた棚識別子をＡ１３１０１列から検索し、（ＳＡ１３２０８）該当行の棚情報Ａ１３１０５を携帯端末Ａ１２９０１のＤＢ管理部Ａ１３００３に通知する（ＳＡ１３２０９）。一方、受信したＩＤがＡ１３１０２列から検出されたものの、ＩＤと視線分類情報とから棚識別子を抽出できなかった場合（ＳＡ１３２０６）、受信したＩＤが検索された行の棚情報Ａ１３１０５を携帯端末Ａ１２９０１のＤＢ管理部Ａ１３００３に通知する（ＳＡ１３２０７）。また、受信したＩＤがＡ１３１０２列から検出されなかった場合（ＳＡ１３２０３）、サーバ装置Ａ１１０１５は該当ＩＤ無しの旨を携帯端末Ａ１２９０１のＤＢ管理部Ａ１３００３に通知する（ＳＡ１３２０４）。例えば、ＩＤの値が２００、視線分類情報が「右」のものを受信した場合、ＩＤが２００のものを照明ＩＤＡ１３１０２から検索すると１行目に存在し、１行目の右隣の棚識別子Ａ１３１０４は１０１であるから、携帯端末Ａ１２９０１には棚識別子Ａ１３１０１が１０１である行における棚情報Ａ１３１０５、即ち棚情報２が送出される。
Subsequently, the flow of the DB management unit A13003 will be described. In this embodiment, SA11801 of FIG. 602 is refined with respect to the 22nd embodiment. Therefore, the detailed flow of SA11801 will be described. FIG. 616 is a flowchart at the time of server inquiry in the 25th embodiment. When the DB management unit A13003 reads the ID from the ID storage unit A11013 and further reads the line-of-sight classification information from the line-of-sight information storage unit A13001, it requests the server device A11015 for product information. At this time, the ID of the base light is transmitted to the server device A11015, and the line-of-sight classification information stored in the line-of-sight information storage unit A13001 is also transmitted to the server device A11015 (SA13201). The server device A11015 holds a DB as shown in FIG. 615, and first searches the received ID from the A13102 column (SA13202). When the corresponding row is searched, the shelf identifier is extracted from the row (SA13203). At this time, if the line-of-sight classification information is front, refer to column A13101, if the line-of-sight classification information is "left", refer to column A13103, and if the line-of-sight classification information is "right", refer to column A13104 (SA13203). The shelf identifier is obtained by reference to (SA13205). Then, the obtained shelf identifier is searched from the A13101 column, and (SA13208) the shelf information A13105 of the corresponding row is notified to the DB management unit A1303 of the mobile terminal A12901 (SA13209). On the other hand, when the received ID is detected from the A13102 column, but the shelf identifier cannot be extracted from the ID and the line-of-sight classification information (SA13206), the shelf information A13105 of the row in which the received ID is searched is used in the mobile terminal A12901. Notify the DB management unit A13003 (SA13207). If the received ID is not detected in the A13102 column (SA13203), the server device A11015 notifies the DB management unit A1303 of the mobile terminal A12901 that there is no corresponding ID (SA13204). For example, when an ID value of 200 and a line-of-sight classification information of "right" are received, a search for an ID of 200 from the illumination IDA13102 is found in the first line, and the shelf identifier A13104 to the right of the first line is present. Is 101, so that the shelf information A13105 in the row where the shelf identifier A13101 is 101, that is, the
ついで、携帯端末Ａ１２９０１のＤＢ管理部Ａ１３００３は取得した商品情報を商品情報格納部Ａ１１０１６へ格納し、地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに設定すると共に、商品情報格納部Ａ１１０１６の有効フラグをＴＲＵＥに、異常フラグＡ１１６０１をＦＡＬＳＥに設定する。一方、サーバ装置Ａ１１０１５へ送出したＩＤがいずれのシーリングライト・ベースライトにも関連しない無効なＩＤであった場合に、ＤＢ管理部Ａ１３００３は地図情報格納部Ａ１１０１７の有効フラグＡ１１３０１をＦＡＬＳＥに、商品情報格納部Ａ１１０１６の有効フラグをＦＡＬＳＥに、異常フラグＡ１１６０１をＴＲＵＥに設定する。 Next, the DB management unit A13003 of the mobile terminal A12901 stores the acquired product information in the product information storage unit A11016, sets the valid flag A11301 of the map information storage unit A11017 in FALSE, and sets the valid flag of the product information storage unit A11016. Set the error flag A11601 to FALSE in TRUE. On the other hand, when the ID sent to the server device A11015 is an invalid ID that is not related to any of the ceiling lights and base lights, the DB management unit A13003 sets the valid flag A11301 of the map information storage unit A11017 to FALSE and sets the product information. The valid flag of the storage unit A11016 is set to FALSE, and the abnormality flag A11601 is set to TRUE.
（実施の形態２６）
本実施の形態は、実施の形態２５をベースにしたものであって、受光制御部Ａ１１０１２の構成を明確化したものである。図６１７は、実施の形態２６における受光制御部の構造図である。実施の形態２６における受光制御部Ａ１１０１２は、第１の受光部Ａ１２５０１と、第２の受光部Ａ１２５０２と、これら２つの受光部のどちらを稼動させるかを選択するためのセレクタＡ１２５０３と、セレクタＡ１２５０３における選択処理に必要な情報を供給する加速度検知部Ａ１２５０４と、セレクタＡ１２５０３を経由して第１の受光部Ａ１２５０１又は第２の受光部受光部Ａ１２５０２より得られた受光信号を格納する受光信号格納部Ａ１２５０５と、受光信号格納部Ａ１２５０５から受光信号を読み取り、デコード処理を行ってＩＤを生成し、生成したＩＤをＩＤ格納部Ａ１１０１３に格納するデコード部Ａ１２５０６と、セレクタＡ１２５０３が取得した加速度から、受光制御部Ａ１１０１２を搭載した携帯端末Ａ１１０１１が地面に対して水平か否かを判定するための第１の閾値と第２の閾値が予め格納されている閾値格納部Ａ１２５０７とを備え、更に受光部Ａ１２５０１から映像信号を受け、ユーザの視線位置を検出し、視線分類情報を視線情報格納部Ａ１３００１に格納する視線検出部Ａ１３３０１から構成される。なお、本実施の形態において、受光部Ａ１２５０１はカメラデバイスのような映像撮像装置とする。
(Embodiment 26)
This embodiment is based on the 25th embodiment, and clarifies the configuration of the light receiving control unit A11012. FIG. 617 is a structural diagram of the light receiving control unit according to the 26th embodiment. The light receiving control unit A11012 according to the twenty-sixth embodiment is the first light receiving unit A12501, the second light receiving unit A12502, the selector A12503 for selecting which of these two light receiving units to operate, and the selector A12503. A light receiving signal storage unit A12505 that stores a light receiving signal obtained from an acceleration detection unit A12504 that supplies information necessary for selection processing and a light receiving unit A12501 or a second light receiving unit A12502 via a selector A12503. The light receiving control unit is based on the decoding unit A12506 that reads the received light signal from the light receiving signal storage unit A12505, performs decoding processing to generate an ID, and stores the generated ID in the ID storage unit A11013, and the acceleration acquired by the selector A12503. The mobile terminal A11011 equipped with the A11012 is provided with a threshold storage unit A12507 in which a first threshold value and a second threshold value for determining whether or not the mobile terminal A11011 is horizontal with respect to the ground are stored in advance, and an image is further generated from the light receiving unit A12501. It is composed of a line-of-sight detection unit A13301 that receives a signal, detects a user's line-of-sight position, and stores the line-of-sight classification information in the line-of-sight information storage unit A13001. In the present embodiment, the light receiving unit A12501 is a video imaging device such as a camera device.
（実施の形態２７）
本実施の形態は、実施の形態２５をベースにしたものであって、受光制御部Ａ１１０１２の構成を明確化したものである。図６１８は、実施の形態２７における受光制御部の構造図である。実施の形態２６における受光制御部Ａ１１０１２は、第１の受光部Ａ１２５０１と、第２の受光部Ａ１２５０２と、これら２つの受光部のどちらを稼動させるかを選択するためのセレクタＡ１２５０３と、セレクタＡ１２５０３における選択処理に必要な情報を供給する加速度検知部Ａ１２５０４と、セレクタＡ１２５０３を経由して第１の受光部Ａ１２５０１又は第２の受光部受光部Ａ１２５０２より得られた受光信号を格納する受光信号格納部Ａ１２５０５と、受光信号格納部Ａ１２５０５から受光信号を読み取り、デコード処理を行ってＩＤを生成し、生成したＩＤをＩＤ格納部Ａ１１０１３に格納するデコード部Ａ１２５０６と、セレクタＡ１２５０３が取得した加速度から、受光制御部Ａ１１０１２を搭載した携帯端末Ａ１１０１１が地面に対して水平か否かを判定するための第１の閾値と第２の閾値が予め格納されている閾値格納部Ａ１２５０７とを備え、更に撮像部Ａ１３４０１と、撮像部Ａ１３４０１から映像信号を受け、ユーザの視線位置を検出し、視線分類情報を視線情報格納部Ａ１３００１に格納する視線検出部Ａ１３４０２から構成される。なお、本実施の形態において、撮像部Ａ１３４０１はカメラデバイスのような映像撮像装置とし、受光部Ａ１２５０１は照度センサのようなセンサデバイスとする。
(Embodiment 27)
This embodiment is based on the 25th embodiment, and clarifies the configuration of the light receiving control unit A11012. FIG. 618 is a structural diagram of the light receiving control unit according to the 27th embodiment. The light receiving control unit A11012 according to the twenty-sixth embodiment is the first light receiving unit A12501, the second light receiving unit A12502, the selector A12503 for selecting which of these two light receiving units to operate, and the selector A12503. A light receiving signal storage unit A12505 that stores a light receiving signal obtained from an acceleration detection unit A12504 that supplies information necessary for selection processing and a light receiving unit A12501 or a second light receiving unit A12502 via a selector A12503. The light receiving control unit is based on the decoding unit A12506 that reads the received light signal from the light receiving signal storage unit A12505, performs decoding processing to generate an ID, and stores the generated ID in the ID storage unit A11013, and the acceleration acquired by the selector A12503. A mobile terminal A11011 equipped with the A11012 is provided with a threshold storage unit A12507 in which a first threshold value and a second threshold value for determining whether or not the mobile terminal A11011 is horizontal to the ground are stored in advance, and further, an imaging unit A13401 and an imaging unit A13401. It is composed of a line-of-sight detection unit A13402 that receives a video signal from the image pickup unit A13401, detects the user's line-of-sight position, and stores the line-of-sight classification information in the line-of-sight information storage unit A13001. In the present embodiment, the imaging unit A13401 is a video imaging device such as a camera device, and the light receiving unit A12501 is a sensor device such as an illuminance sensor.
以上の実施の形態により、携帯端末の姿勢に応じて、使用者の現在位置及び意図をより反映した情報の提示が可能となる。 According to the above embodiment, it is possible to present information that more reflects the current position and intention of the user according to the posture of the mobile terminal.
（実施の形態２８）
図６１９は、実施の形態２８におけるユースケースを説明するための図である。この図６１９を用いて、本発明のＰＰＭ方式もしくはＦＤＭ方式ＦＳＫ方式もしくは周波数割り当て方式の変調方式を用いた受信部１０２８を用いた場合の実施の形態を述べる。
(Embodiment 28)
FIG. 619 is a diagram for explaining a use case according to the 28th embodiment. An embodiment in the case of using the
まず発光機の発光動作を述べる。天井や壁に取り付けられた照明器具やＴＶモニタ等の発光機１００３では、まず時間毎に変化する乱数発生部１０１２を用いて、認証ＩＤ発生部１０１０で、認証ＩＤを発生させる。発光機のＩＤとこの認証ＩＤ１００４は、割り込み処理（１０１１）がない場合、携帯端末１０２０より送られた「発信データ列」がないと判断して、（１）発光機ＩＤと（２）認証ＩＤと光送信と電子機器１０４０から携帯端末１００３経由で送られてきた送信データ列１００９があるかどうかを識別するための識別子つまり（３）送信データ列フラグ＝０の３つをＬＥＤ等の発光部１０１６から、連続的に、もしくは間欠的に外部に光信号を送る。
First, the light emitting operation of the light emitter will be described. In a
送られた発光信号は、電子機器１０４０のフォトセンサ１０４１で受信され（１０４２）、ステップ１０４３で電子機器１０４０の機器ＩＤ、認証ＩＤが正規のものであるか確認し、ＹＥＳなら送信データ列フラグ＝１かをチェックし（ステップ１０５１）、ＹＥＳの場合のみ、送信データ列のデータ、例えば料理のレシピ実行等のユーザーコマンドを実行する（ステップ１０４５）。
The transmitted light emission signal is received by the
ここで電子機器１０４０の本発明の光変調方式を用いて光送信する仕組みを述べる。電子機器１０４０は、機器ＩＤ、機器を認証するための認証ＩＤ、そして、前述のように電子機器１０４０が受信した、つまり確実に受信が可能な発光機１００３のＩＤを表示部１０４７のＬＥＤバックライト部１０５０等を用いて送る（１０４６）。
Here, a mechanism for optical transmission using the optical modulation method of the present invention of the
電子レンジやＰＯＳ機等の液晶等の表示部１０４７から、本発明の光信号がちらつきのない６０Ｈｚ以上の変調周波数で、ＰＰＭもしくはＦＤＭもしくはＦＳＫ方式で送られているため、一般消費者には光信号が送られていることはわからないため、表示部には、例えば電子レンジのメニュー等の独立した表示ができる。
Since the optical signal of the present invention is transmitted by the PPM, FDM, or FSK method at a modulation frequency of 60 Hz or higher without flicker from the
（電子機器１０４０が受信できる発光機１００３のＩＤ検出方法）
電子レンジ等を使用しようとする使用者は、携帯端末のインカメラ部１０１７で発光機１００３からの光信号を受け取り、インカメラ処理部１０２６で、発光機ＩＤと発光機認証ＩＤを受信部１０２７で受信しておく。電子機器１０４０の受光可能な発光機ＩＤは、３Ｇ等の携帯電話の電波やＷｉ−Ｆｉを用いた位置情報とクラウド１０３２や携帯端末内部に記録されている、その位置に存在する発光機ＩＤを検出してもよい（１０２５）。
(ID detection method of
A user who intends to use a microwave oven or the like receives an optical signal from the
さて、説明ステップを戻して、使用者は携帯端末１０２０のアウトカメラ１０１９を、例えば電子レンジ１０４０の表示部１０４７に向けると、本発明の光信号１０４８を、ＭＯＳカメラを用いて復調することができる。シャッター速度を速めると、より高速のデータを受信できる。受信部１０２８では、電子機機１０４０の機器ＩＤ、認証ＩＤ、サービスＩＤ、もしくは、サービスＩＤから変換した、サービス提供用のクラウドのＵＲＬや、機器の状況を受信する。
Now, returning to the explanation step, when the user points the out-
ステップ１０２９では、３Ｇ Ｗｉ−Ｆｉ通信部１０３１を通して端末の内部にある、もしくは受信したＵＲＬを用いて外部にあるクラウド１０３２に接続し、サービスＩＤ、機器ＩＤを送る。クラウド１０３２では、データベース１０３３にある、機器ＩＤ、サービスＩＤに各々対応したデータを検索し、携帯端末１０２０に送る。このデータを元にして携帯端末の画面にビデオデータやコマンドのボタン等を表示する。これを見た使用者は希望するコマンドを画面のボタンを押す等の入力方法により入力する（ステップ１０３０）。ＹＥＳ（入力）の場合、送信部１０２４で電子機器１０４０等の機器ＩＤ、機器認証ＩＤ、発光機ＩＤ、発光機認証ＩＤ、ステップ１０３０のユーザコマンド等からなる送信データ列をＢＴＬＥ（Ｂｌｕｅ Ｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）の送受信部１０２１を介して送信する。
In
発光機１００３はＢＴＬＥ送受部１００４の受信部１００７で「送信データ列」を受信し、割り込み処理部１０１１で、「送信データ列」を受信したことを検出する（ＹＥＳ）と「送信データ列＋ＩＤ＋送信データフラグ＝１」のデータを本発明の変調部で変調し、ＬＥＤ等の発光部１０１６から光送信する。Ｎｏの場合は発光機ＩＤ等を連続的に送る。
The
前述のように、この電子機器１０４０は既に発光機１００３からの信号を受信できることを実際に受信して確認しているので確実に受信できる。
As described above, since the
この場合、割り込み処理部１０１１では、送信データ列の中に発光機ＩＤが含まれるため、そのＩＤの発光機の光照射範囲内に送信対象の電子機器が存在することがわかる。従って、他の発光機から信号を送ることなく、電子機器がある極めて狭い位置にある発光機のみから送られるため、電波空間を効率的に使うことができる。
In this case, since the interrupt
この方式を採用しない場合、ブルートゥース（登録商標）信号は遠くまで届くため、電子機器とは異なる他の位置にある発光機から光信号が送られてしまう。従って、ある発光機が発光期間中には、送信したい他の電子機器への光送信ができなくなる、もしくは妨害を与えるため、この方式による解決策は効果がある。 If this method is not adopted, the Bluetooth (registered trademark) signal reaches a long distance, so that the optical signal is sent from the light emitter at a position different from that of the electronic device. Therefore, the solution by this method is effective because a certain light emitter cannot transmit light to another electronic device to be transmitted or interferes with the light transmission during the light emitting period.
次に電子機器の誤動作対策を述べる。 Next, countermeasures against malfunctions of electronic devices will be described.
フォトセンサ１０４１で、ステップ１０４２で光信号を受信する。まず、発光機ＩＤをチェックするため、別の発光機ＩＤの発光信号は除去できるため誤作動が減る。
The
本発明では、送信データ列１００９には受信すべき電子機器の機器ＩＤと機器認証ＩＤが含まれる。従ってステップ１０４３で機器認証ＩＤと機器ＩＤがこの電子機器１０４０のＩＤかをチェックするので、誤動作しない。別の電子機器１０４０ａへ送信された信号を誤って処理し、電子レンジ等の誤作動を防止できるという効果がある。
In the present invention, the
ユーザコマンドの実行の誤作動を防止する方法を述べる。 A method for preventing malfunction of user command execution will be described.
ステップ１０４４で送信フラグ＝１の時、ユーザコマンドがあると判断し、０の時は停止する。１の時、ユーザデータ列の機器ＩＤ、認証ＩＤを認証してから、ユーザコマンド等の送信データ列を実行する、例えば、レシピを取り出し、画面に表示し、使用者がボタンを押せば、レシピすなわち６００ｗを３分、２００ｗを１分、スチーム調理を２分といった動作を誤動作することなく開始する。
In
ユーザコマンドを実行すると、電子レンジの場合、２．４ＧＨｚの電磁ノイズを発生する。これを低減するため、スマートフォンを介して、ブルートゥース（登録商標）やＷｉ−Ｆｉで命令を受け、動作する場合、間欠駆動部１０６１により間欠的、例えば２秒間には１００ｍｓの程度、電子レンジの出力を止める。この間にブルートゥース（登録商標）やＷｉ−Ｆｉ８０２．１１ｎ等の通信が可能となる。例えばレンジを止めない時は、スマートフォンからＢＴＬＥで発光機１００３に停止命令を妨害される。一方、本発明では妨害電波の影響を受けないで送れ、光発光信号によりレンジを停止したり、レンジのレシピの変更をすることができる。
When a user command is executed, in the case of a microwave oven, an electromagnetic noise of 2.4 GHz is generated. In order to reduce this, when receiving commands from Bluetooth (registered trademark) or Wi-Fi via a smartphone and operating, the
本実施の形態の特長が１つ数円位のコストのフォトセンサ１０４１を、表示部のついた電子機器に追加するだけで、クラウドと連携したスマートフォンと双方向の通信ができるため、低コストの白物家電に搭載しスマート家電化することができるという効果がある。ただし、実施の形態として白物家電を用いたが、表示部のついたＰＯＳ端末でもよいし、スーパーマーケットの電子値札板でもパソコンでも同様の効果が得られる。
One of the features of this embodiment is that it is possible to perform two-way communication with a smartphone linked to the cloud simply by adding the
また、この実施の形態では電子機器の上部にある照明器からしか発光機ＩＤを受信できない。受信領域が狭いため、発光機毎にＷｉ−Ｆｉ等の小さいゾーンＩＤを規定し、各々のゾーンの中で位置の下記のＩＤを割り当てることにより、発光部のＩＤの桁数を減らすという効果もある。この場合、本発明の前述のＰＰＭやＦＳＫ、ＦＤＭを用いて送信する発光機のＩＤの桁数が減ることにより、小さな光源から光信号を受信したり、早くＩＤを取得したり、遠くの光源のデータを受信できる等の効果がある。 Further, in this embodiment, the light emitter ID can be received only from the illuminator on the upper part of the electronic device. Since the reception area is narrow, a small zone ID such as Wi-Fi is specified for each light emitter, and the following IDs of positions in each zone are assigned to reduce the number of digits of the ID of the light emitting unit. is there. In this case, by reducing the number of digits of the ID of the light emitter transmitted by using the above-mentioned PPM, FSK, and FDM of the present invention, an optical signal can be received from a small light source, an ID can be acquired quickly, or a distant light source can be obtained. It has the effect of being able to receive the data of.
（実施の形態２９）
可視光発信機器から可視光ＩＤを受信する際、可視光ＩＤ受信までに時間を要するため、ユーザは可視光ＩＤ受信を一定時間待たなければならず、また可視光ＩＤ受信に失敗する場合が生じることが課題である。前記課題は、ユニークに特定可能な可視光ＩＤはビット列長が長いために生じる。特に、周波数変調方式を採用する可視光発信機器では頻繁に発生する。
(Embodiment 29)
When receiving the visible light ID from the visible light transmitting device, it takes time to receive the visible light ID, so that the user has to wait for the visible light ID reception for a certain period of time, and the visible light ID reception may fail. Is a challenge. The problem arises because the uniquely identifiable visible light ID has a long bit string length. In particular, it frequently occurs in visible light transmitting devices that employ a frequency modulation method.
本実施の形態では、モバイル端末の現在いるエリアを特定して、予め可視光ＩＤの一部分を先行して取得することで、可視光ＩＤの受光時にユーザがモバイル端末に対して実施するモバイル端末の現在いるエリアを検知して、可視光ＩＤの取得先発光機器をユーザの意図に応じた機器に限定することが可能となる手段を提供する。 In the present embodiment, the current area of the mobile terminal is specified, and a part of the visible light ID is acquired in advance, so that the user performs the mobile terminal on the mobile terminal when the visible light ID is received. Provided is a means capable of detecting the current area and limiting the light emitting device to which the visible light ID is acquired to the device according to the user's intention.
また、モバイル端末の現在いるエリアのような明示的なユーザ操作以外にも、モバイル端末の筐体姿勢を検知することで自動的に可視光ＩＤの取得先発光機器の限定や、モバイル端末に複数搭載されるカメラのいずれかを利用するかを決定する等にも利用できるため、ユーザの暗示的な意図をくみ取ることも可能となる。 In addition to explicit user operations such as the current area of the mobile terminal, by detecting the posture of the mobile terminal's housing, the visible light ID acquisition destination light emitting device is automatically limited, and multiple mobile terminals can be used. Since it can also be used to decide whether to use one of the mounted cameras, it is possible to grasp the implicit intention of the user.
以下、本実施の形態について詳細に説明する。 Hereinafter, the present embodiment will be described in detail.
図６２０は、本発明のシステム構成を示す図である。図６２０では、モバイル端末（Ｂ０１０１）内が備える前面カメラ（Ｂ０１０６）、または、背面カメラ（Ｂ０１０７）を用いて、可視光発信機器（Ｂ０１２０）が発光する可視光を受光して、可視光ＩＤ受光処理手段（Ｂ０１０５）で可視光ＩＤへの変換処理を実施する。 FIG. 620 is a diagram showing a system configuration of the present invention. In FIG. 620, the visible light emitted by the visible light transmitting device (B0120) is received by using the front camera (B0106) or the rear camera (B0107) provided in the mobile terminal (B0101) to receive the visible light ID. The processing means (B0105) performs the conversion process to the visible light ID.
一方、可視光ＩＤを選別するための情報として、モバイル端末（Ｂ０１０１）に対するユーザの持つモバイル端末が現在いるエリアを用いる。モバイル端末の現在いるエリアを取得するために、モバイル端末（Ｂ０１０１）が備えるセンシング手段（Ｂ０１０３）から取得したセンシングデータを用いる。センシング手段（Ｂ０１０３）から取得したセンシングデータを用いてエリア検出手段（Ｂ０１０２）がモバイル端末の現在いるエリアに関する情報を検出する。 On the other hand, as the information for selecting the visible light ID, the area where the user's mobile terminal currently exists for the mobile terminal (B0101) is used. In order to acquire the current area of the mobile terminal, the sensing data acquired from the sensing means (B0103) provided in the mobile terminal (B0101) is used. Using the sensing data acquired from the sensing means (B0103), the area detecting means (B0102) detects information about the current area of the mobile terminal.
問合せＩＤ生成手段（Ｂ０１０４）は、エリア検出手段（Ｂ０１０２）にて特定されたユーザの持つモバイル端末が現在いるエリアのＩＤをエリアＩＤ情報サーバ（Ｂ０１４１）へ通信手段（Ｂ０１０８）を介して問合せる。エリアＩＤ情報サーバ（Ｂ０１４１）は、モバイル端末（Ｂ０１０１）から受信したエリアに関する情報を受信する。エリアに関する情報は、通信手段（Ｂ０１４２）を介して、エリア情報判定手段（Ｂ０１４３）へ渡される。エリア情報判定手段（Ｂ０１４３）は、エリアＩＤ情報保持手段（Ｂ０１４４）の保持情報とモバイル端末（Ｂ０１０１）から受信したエリアに関する情報を照合して、エリアＩＤを判定した後、通信手段（Ｂ０１４２）を介して、モバイル端末（Ｂ０１０１）へエリアＩＤを送信する。 The inquiry ID generation means (B0104) inquires the area ID information server (B0141) of the ID of the area where the mobile terminal of the user specified by the area detection means (B0102) currently exists via the communication means (B0108). The area ID information server (B0141) receives information about the area received from the mobile terminal (B0101). The information about the area is passed to the area information determination means (B0143) via the communication means (B0142). The area information determining means (B0143) collates the holding information of the area ID information holding means (B0144) with the information about the area received from the mobile terminal (B0101), determines the area ID, and then uses the communication means (B0142). The area ID is transmitted to the mobile terminal (B0101) via the mobile terminal (B0101).
問合せＩＤ生成手段（Ｂ０１０４）は、前記エリアＩＤ情報サーバ（Ｂ０１４１）から受信したエリアＩＤと可視光ＩＤ受光処理手段（Ｂ０１０５）を用いて受光した可視光ＩＤを合わせて問合せＩＤを生成した後、通信手段（Ｂ０１０８）へ可視光ＩＤに対応する情報取得を依頼することで、公衆ネットワーク（Ｂ０１３０）を介して、ＩＤ対応情報変換サーバ（Ｂ０１１１）からＩＤに対応する情報を取得する。 The inquiry ID generation means (B0104) generates an inquiry ID by combining the area ID received from the area ID information server (B0141) and the visible light ID received by the visible light ID light receiving processing means (B0105). By requesting the communication means (B0108) to acquire the information corresponding to the visible light ID, the information corresponding to the ID is acquired from the ID-compatible information conversion server (B0111) via the public network (B0130).
但し、問合せＩＤ生成手段（Ｂ０１０４）は、エリアＩＤと可視光ＩＤを合わせたＩＤが、所定の問合せＩＤの条件を満たさない場合には、補間ＩＤ生成手段（Ｂ０１１０）を用いて、問合せＩＤの不足部分を補間するためのＩＤを生成する。補間ＩＤ生成手段（Ｂ０１１０）は、センシング手段（Ｂ０１０３）を用いたモバイル端末（Ｂ０１０１）の姿勢検出による補間ＩＤ生成や、ユーザ情報保持手段（Ｂ０１５１）を用いたユーザ属性に基づく補間ＩＤ生成を行う。 However, when the ID obtained by combining the area ID and the visible light ID does not satisfy the condition of the predetermined inquiry ID, the inquiry ID generation means (B0110) uses the interpolation ID generation means (B0110) to generate the inquiry ID. Generate an ID to interpolate the missing part. The interpolation ID generation means (B0110) generates an interpolation ID by detecting the posture of the mobile terminal (B0101) using the sensing means (B0103), and generates an interpolation ID based on the user attribute using the user information holding means (B0151). ..
ＩＤ対応情報変換サーバ（Ｂ０１１１）の通信手段（Ｂ０１１２）が、モバイル端末（Ｂ０１０１）の通信手段（Ｂ０１０８）から情報取得要求受付けた場合、変換情報判定手段（Ｂ０１１３）にて受信した可視光ＩＤに対応する可視光ＩＤ対応情報をＩＤ対応情報保持手段（Ｂ０１１４）から取得する。 When the communication means (B0112) of the ID-compatible information conversion server (B0111) receives an information acquisition request from the communication means (B0108) of the mobile terminal (B0101), the visible light ID received by the conversion information determination means (B0113) is used. The corresponding visible light ID correspondence information is acquired from the ID correspondence information holding means (B0114).
ＩＤ対応情報保持手段（Ｂ０１１４）は、取得した可視光ＩＤ対応情報を通信手段（Ｂ０１１２）へ渡すことで、通信手段（Ｂ０１１２）が公衆ネットワーク（Ｂ０１３０）を介して、モバイル端末（Ｂ０１０１）へ可視光ＩＤ対応情報を送信する。 The ID-corresponding information holding means (B0114) passes the acquired visible light ID-corresponding information to the communication means (B0112) so that the communication means (B0112) can be seen by the mobile terminal (B0101) via the public network (B0130). Optical ID correspondence information is transmitted.
図６２１は、モバイル端末（Ｂ０１０１）のエリア検出処理フローチャートである。 FIG. 621 is an area detection processing flowchart of the mobile terminal (B0101).
ステップＳＢ０２０１で開始して、ステップＳＢ０２０２でエリア検出手段（Ｂ０１０２）を開始して、センシング手段（Ｂ０１０３）からの通知を監視することで、モバイル端末（Ｂ０１０１）がいるエリアを算出準備を行い、ステップＳＢ０２０３でエリア検出手段（Ｂ０１０２）がモバイル端末がいるエリアを検知したかどうかを確認し、ＮＯの場合は再度確認し、ＹＥＳの場合はステップＳＢ０２０４に進む。ステップＳＢ０２０４でエリア検出手段（Ｂ０１０２）は、問合せＩＤ生成手段（Ｂ０１０４）に対して検出したモバイル端末のエリア情報を渡して、ステップＳＢ０２０５で問合せＩＤ生成手段（Ｂ０１０４）は、エリア検出手段（Ｂ０１０２）から受取ったエリア情報をエリアＩＤ情報サーバ（Ｂ０１４１）へ送信して、ステップＳＢ０２０６（１）に進む。 By starting in step SB0201 and starting the area detection means (B0102) in step SB0202 and monitoring the notification from the sensing means (B0103), the area where the mobile terminal (B0101) is located is prepared for calculation, and the step It is confirmed by SB0203 whether or not the area detecting means (B0102) has detected the area where the mobile terminal is located, and if it is NO, it is confirmed again, and if it is YES, the process proceeds to step SB0204. The area detection means (B0102) in step SB0204 passes the area information of the mobile terminal detected to the inquiry ID generation means (B0104), and the inquiry ID generation means (B0104) in step SB0205 is the area detection means (B0102). The area information received from is transmitted to the area ID information server (B0141), and the process proceeds to step SB0206 (1).
図６２２は、モバイル端末（Ｂ０１０１）からエリアＩＤ情報を要求された場合のエリアＩＤ情報サーバ（Ｂ０４１１）内の処理フローチャートである。 FIG. 622 is a processing flowchart in the area ID information server (B0411) when the area ID information is requested from the mobile terminal (B0101).
ステップＳＢ０２０６（１）からステップＳＢ０３０１へ進み、エリアＩＤ情報サーバ（Ｂ０４１１）の通信手段（Ｂ０４１２）がモバイル端末（Ｂ０１０１）の検出したエリア情報を受信したかどうかを確認して、ＮＯの場合は再度確認し、ＹＥＳの場合はステップＳＢ０３０２へ進み、通信手段（Ｂ０４１２）が受信したエリア情報をエリア情報判定手段（Ｂ０４１３）へ渡して、ステップＳＢ０３０３でエリア情報判定手段（Ｂ０４１３）が通知されたエリア情報に対応するＩＤをエリアＩＤ情報保持手段（Ｂ０４１４）へ問合せて、ステップＳＢ０３０４でエリアＩＤ情報保持手段（Ｂ０４１４）の図６３７で示すテーブル内に通知されたエリア情報に合致する情報が存在するかどうかを確認して、ＹＥＳの場合はステップＳＢ０３０５に進み、ステップＳＢ０３０５でエリアＩＤ情報保持手段（Ｂ０４１４）は図６３７で示すテーブル内から該当するエリアＩＤをエリア情報判定手段（Ｂ０４１３）へ通知して、ステップＳＢ０３０６でエリア情報判定手段（Ｂ０４１３）はＩＤ対応情報通知を生成して、通信手段（Ｂ０４１２）へ渡して、ステップＳＢ０３０７に進む。ステップＳＢ０３０４でＮＯの場合はステップＳＢ０３０８に進み、エリアＩＤ情報保持手段（Ｂ０４１４）はテーブル内に存在しない旨をエリア情報判定手段（Ｂ０４１３）へ通知して、ステップＳＢ０３０９でエリア情報判定手段（Ｂ０４１３）はＩＤ対応情報無し通知を生成して、通信手段（Ｂ０４１２）へ渡して、ステップＳＢ０３０７に進む。ステップＳＢ０３０７で通信手段（Ｂ０４１２）はエリアＩＤ要求元のモバイル端末（Ｂ０１０１）へエリア情報判定手段（Ｂ０４１３）から受取ったＩＤ情報を返して、ステップＳＢ０３０８（２）へ進む。 Proceeding from step SB0206 (1) to step SB0301, it is confirmed whether the communication means (B0412) of the area ID information server (B0411) has received the area information detected by the mobile terminal (B0101), and if NO, again. If the result is YES, the process proceeds to step SB0302, the area information received by the communication means (B0412) is passed to the area information determination means (B0413), and the area information notified by the area information determination means (B0413) in step SB0303. The ID corresponding to is inquired to the area ID information holding means (B0414), and whether or not there is information matching the area information notified in the table shown in FIG. 637 of the area ID information holding means (B0414) in step SB0304. If YES, the process proceeds to step SB0305. In step SB0305, the area ID information holding means (B0414) notifies the area information determining means (B0413) of the corresponding area ID from the table shown in FIG. 637. In step SB0306, the area information determination means (B0413) generates an ID correspondence information notification, passes it to the communication means (B0412), and proceeds to step SB0307. If NO in step SB0304, the process proceeds to step SB0308, the area ID information holding means (B0414) notifies the area information determining means (B0413) that it does not exist in the table, and the area information determining means (B0413) in step SB0309. Generates a notification without ID correspondence information, passes it to the communication means (B0412), and proceeds to step SB0307. In step SB0307, the communication means (B0412) returns the ID information received from the area information determination means (B0413) to the mobile terminal (B0101) that requests the area ID, and proceeds to step SB0308 (2).
図６２３は、モバイル端末（Ｂ０１０１）がエリアＩＤ情報サーバ（Ｂ０４１１）からエリアＩＤ情報を受信した際の処理フローチャートである。 FIG. 623 is a processing flowchart when the mobile terminal (B0101) receives the area ID information from the area ID information server (B0411).
ステップＳＢ０３０８（２）からステップＳＢ０４０１へ進み、通信手段（Ｂ０１０８）は、エリアＩＤ情報サーバ（Ｂ０４１１）から受信したエリアＩＤ情報を問合せＩＤ生成手段（Ｂ０１０４）へ渡して、ステップＳＢ０４０２で問合せＩＤ生成手段（Ｂ０１０４）は、エリア検出手段（Ｂ０１０２）から新たなエリア情報が提供されるまでの間、エリアＩＤ情報を保持して、ステップＳＢ０４０３（３）へ進む。 From step SB0308 (2) to step SB0401, the communication means (B0108) passes the area ID information received from the area ID information server (B0411) to the inquiry ID generation means (B0104), and the inquiry ID generation means in step SB0402. (B0104) retains the area ID information and proceeds to step SB0403 (3) until new area information is provided by the area detecting means (B0102).
図６２４は、モバイル端末（Ｂ０１０１）が可視光発信機器（Ｂ０１２０）からＩＤ受光する際の処理フローチャートである。 FIG. 624 is a processing flowchart when the mobile terminal (B0101) receives an ID from the visible light transmitting device (B0120).
ステップＳＢ０４０３（３）からステップＳＢ０５０１へ進み、可視光ＩＤ受光処理手段（Ｂ０１０５）は可視光ＩＤ受光に用いるカメラのシャッタースピードを上げて、カメラからの入力を待って、ステップＳＢ０５０２で問合せＩＤ生成手段（Ｂ０１０４）が可視光ＩＤ受光処理手段（Ｂ０１０５）から可視光ＩＤ受光の通知を受けたかどうかを確認して、ＮＯの場合はステップＳＢ０５０１へ戻る。ＹＥＳの場合はステップＳＢ０５０３へ進み、受光した可視光ＩＤは全ビット（１２８ビット）揃っているかどうかを確認して、ＹＥＳの場合はステップＳＢ０５０６（４）へ進む。ＮＯの場合はステップＳＢ０５０４へ進み、受光した可視光ＩＤとエリアＩＤ情報サーバ（Ｂ０１４１）から受信したエリアＩＤ情報を合わせると全ビット（１２８ビット）揃っているかどうかを確認して、ＮＯの場合はステップＳＢ０５０７（５）へ進む。ＹＥＳの場合はステップＳＢ０５０５へ進み、問合せＩＤ生成手段（Ｂ０１０４）は保持するエリアＩＤ情報と受光した可視光ＩＤを合わせたＩＤを生成して、ＹＥＳの場合はステップＳＢ０５０６（４）へ進む。 From step SB0403 (3) to step SB0501, the visible light ID light receiving processing means (B0105) increases the shutter speed of the camera used for visible light ID light receiving, waits for input from the camera, and in step SB0502, the inquiry ID generating means. It is confirmed whether (B0104) has received the notification of the visible light ID light reception from the visible light ID light receiving processing means (B0105), and if NO, the process returns to step SB0501. If YES, the process proceeds to step SB0503, it is confirmed whether all the received visible light IDs (128 bits) are aligned, and if YES, the process proceeds to step SB0506 (4). If NO, the process proceeds to step SB0504, and if the received visible light ID and the area ID information received from the area ID information server (B0141) are combined, it is confirmed whether all the bits (128 bits) are aligned. The process proceeds to step SB0507 (5). If YES, the process proceeds to step SB0505, the inquiry ID generation means (B0104) generates an ID that combines the retained area ID information and the received visible light ID, and if YES, proceeds to step SB0506 (4).
図６２５は、モバイル端末（Ｂ０１０１）が可視光ＩＤ対応情報を要求する際の処理フローチャートである。 FIG. 625 is a processing flowchart when the mobile terminal (B0101) requests the visible light ID correspondence information.
ステップＳＢ０５０６（４）からステップＳＢ０６０１へ進み、問合せＩＤ生成手段（Ｂ０１０４）は、通知された可視光ＩＤに関する情報取得のために、通信手段（Ｂ０１０８）へ情報取得依頼をして、ステップＳＢ０６０２で通信手段（Ｂ０１０８）が、公衆ネットワーク（Ｂ０１３０）を介してサーバへＩＤ対応情報取得を行い、ステップＳＢ０６０３（６）に進む。 Proceeding from step SB0506 (4) to step SB0601, the inquiry ID generation means (B0104) requests the communication means (B0108) to acquire information in order to acquire the information regarding the notified visible light ID, and communicates in step SB0602. The means (B0108) acquires ID correspondence information from the server via the public network (B0130), and proceeds to step SB0603 (6).
図６２６は、ＩＤ対応情報サーバ（Ｂ０１１１）がモバイル端末（Ｂ０１０１）からＩＤ対応情報を要求された場合の処理フローチャートである。 FIG. 626 is a processing flowchart when the ID correspondence information server (B0111) requests the ID correspondence information from the mobile terminal (B0101).
ステップＳＢ０６０３（６）からステップＳＢ０７０２へ進み、ＩＤ対応情報サーバ（Ｂ０１１１）の通信手段（Ｂ０１１２）がＩＤ対応情報要求を受信したかどうかを確認して、ＮＯの場合は再度確認する。ＹＥＳの場合はステップＳＢ０７０３に進み、通信手段（Ｂ０１１２）が受信したＩＤを変換情報判定手段（Ｂ０１１３）へ通知して、ステップＳＢ０７０４で変換情報判定手段（Ｂ０１１３）が通知されたＩＤの対応情報をＩＤ対応情報保持手段（Ｂ０１１４）へ問合せて、ステップＳＢ０７０５でＩＤ対応情報保持手段（Ｂ０１１４）の図６２９で示すテーブル内に通知されたＩＤが存在するかどうかを確認して、ＹＥＳの場合はステップＳＢ０７０６に進み、ＩＤ対応情報保持手段（Ｂ０１１４）は図６２９で示すテーブル内から該当する列のデータを変換情報判定手段（Ｂ０１１３）へ通知してステップＳＢ０７０７で変換情報判定手段（Ｂ０１１３）はＩＤ対応情報通知を生成して、通信手段（Ｂ０１１２）へ渡して、ステップＳＢ０７０８へ進む。ステップＳＢ０７０２でＮＯの場合はステップＳＢ０７０９に進み、ＩＤ対応情報保持手段（Ｂ０１１４）はテーブル内に存在しない旨を変換情報判定手段（Ｂ０１１３）へ通知して、ステップＳＢ０７１０で変換情報判定手段（Ｂ０１１３）はＩＤ対応情報無し通知を生成して、通信手段（Ｂ０１１２）へ渡して、ステップＳＢ０７０８へ進む。ステップＳＢ０７０８で通信手段（Ｂ０１１２）はＩＤ対応情報要求元のモバイル端末（Ｂ０１０１）へ変換情報判定手段（Ｂ０１１３）から受取った情報を返して、ステップＳＢ０７１１（７）に進む。 Proceeding from step SB0603 (6) to step SB0702, it is confirmed whether or not the communication means (B0112) of the ID correspondence information server (B0111) has received the ID correspondence information request, and if NO, it is confirmed again. If YES, the process proceeds to step SB0703, the ID received by the communication means (B0112) is notified to the conversion information determination means (B0113), and the corresponding information of the ID notified by the conversion information determination means (B0113) in step SB0704 is transmitted. Inquire to the ID correspondence information holding means (B0114), confirm in step SB0705 whether or not the notified ID exists in the table shown in FIG. 629 of the ID correspondence information holding means (B0114), and if YES, step. Proceeding to SB0706, the ID correspondence information holding means (B0114) notifies the conversion information determination means (B0113) of the data of the corresponding column from the table shown in FIG. 629, and the conversion information determination means (B0113) corresponds to the ID in step SB0707. The information notification is generated, passed to the communication means (B0112), and the process proceeds to step SB0708. If NO in step SB0702, the process proceeds to step SB0709, the conversion information determination means (B0113) is notified that the ID correspondence information holding means (B0114) does not exist in the table, and the conversion information determination means (B0113) is in step SB0710. Generates a notification without ID correspondence information, passes it to the communication means (B0112), and proceeds to step SB0708. In step SB0708, the communication means (B0112) returns the information received from the conversion information determination means (B0113) to the mobile terminal (B0101) that requests the ID correspondence information, and proceeds to step SB0711 (7).
図６２７は、モバイル端末（Ｂ０１０１）が可視光発信機器（Ｂ０１２０）から短いＩＤを受光した際の処理フローチャートである。 FIG. 627 is a processing flowchart when the mobile terminal (B0101) receives a short ID from the visible light transmitting device (B0120).
ステップＳＢ０５０７（５）からステップＳＢ０８０１へ進み、問合せＩＤ生成手段（Ｂ０１０４）は、可視光ＩＤ受光処理手段（Ｂ０１０５）に対して受光ＩＤが前面カメラ（Ｂ０１０６）または背面カメラ（Ｂ０１０７）のいずれかで取得したＩＤかについて問合せて、ステップＳＢ０８０２で可視光ＩＤ受光処理手段（Ｂ０１０５）は、問合せＩＤ生成手段（Ｂ０１０４）に対して、受光ＩＤが前面カメラ（Ｂ０１０６）または背面カメラ（Ｂ０１０７）のいずれかについて応答して、ステップＳＢ０８０３で問合せＩＤ生成手段（Ｂ０１０４）は、補間ＩＤ生成手段（Ｂ０１１０）に対して、受光ＩＤに追加して付与する補間ＩＤを要求して、ステップＳＢ０８０４で補間ＩＤ生成手段（Ｂ０１１０）は、センシング手段（Ｂ０１０３）から受取るセンシングデータやユーザ情報保持手段（Ｂ０１５１）が保持する情報を用いて、補間ＩＤを生成し、問合せＩＤ生成手段（Ｂ０１０４）へ渡して、ステップＳＢ０８０５で問合せＩＤ生成手段（Ｂ０１０４）は、保持するエリアＩＤ情報と受光した可視光ＩＤと補間ＩＤとを合わせたＩＤを生成して、ステップＳＢ０５０６（４）に進む。 From step SB0507 (5) to step SB0801, the inquiry ID generation means (B0104) has a light receiving ID of either the front camera (B0106) or the rear camera (B0107) with respect to the visible light ID light receiving processing means (B0105). Inquiring about the acquired ID, in step SB0802, the visible light ID light receiving processing means (B0105) has the light receiving ID of either the front camera (B0106) or the rear camera (B0107) with respect to the inquiry ID generating means (B0104). In response to the above, the inquiry ID generation means (B0104) requests the interpolation ID generation means (B0110) to be additionally assigned to the light receiving ID in step SB0803, and the interpolation ID generation means in step SB0804. (B0110) generates an interpolation ID using the sensing data received from the sensing means (B0103) and the information held by the user information holding means (B0151), passes it to the inquiry ID generating means (B0104), and in step SB0805. The inquiry ID generation means (B0104) generates an ID that is a combination of the retained area ID information, the received visible light ID, and the interpolation ID, and proceeds to step SB0506 (4).
図６２８は、モバイル端末（Ｂ０１０１）の表示時の処理フローチャートである。 FIG. 628 is a processing flowchart when the mobile terminal (B0101) is displayed.
ステップＳＢ０７１１（７）から、ステップＳＢ０９０１に進み、モバイル端末（Ｂ０１０１）の通信手段（Ｂ０１０８）が、公衆ネットワーク（Ｂ０１３０）を介してサーバからＩＤ対応情報を受信して、ステップＳＢ０９０２でモバイル端末（Ｂ０１０１）の通信手段（Ｂ０１０８）は、問合せＩＤ生成手段（Ｂ０１０４）へ受信したＩＤ対応情報を渡して、ステップＳＢ０９０３で問合せＩＤ生成手段（Ｂ０１０４）が表示手段（Ｂ０１０９）に対して、可視光ＩＤを受光したことを通知して、ステップＳＢ０９０４で表示手段（Ｂ０１０９）は、受け取った通知内容で可能な部分に関して表示を行い、ステップＳＢ０９０５で終了する。 From step SB0711 (7), the process proceeds to step SB0901, the communication means (B0108) of the mobile terminal (B0101) receives the ID correspondence information from the server via the public network (B0130), and the mobile terminal (B0101) in step SB0902. The communication means (B0108) of (1) passes the received ID correspondence information to the inquiry ID generation means (B0104), and the inquiry ID generation means (B0104) gives a visible light ID to the display means (B0109) in step SB0903. Notifying that the light has been received, the display means (B0109) displays the possible part of the received notification content in step SB0904, and ends in step SB0905.
図６２９は、補足ＩＤ生成手段（Ｂ０１１０）がユーザ属性に基づく補足ＩＤを生成する処理フローチャートである。本処理フローチャートでは、図６３５で示すユーザ属性のテーブルと、図６３６で示す補間ＩＤとユーザ属性の対応テーブルを用いる。 FIG. 629 is a processing flowchart in which the supplementary ID generation means (B0110) generates supplementary IDs based on user attributes. In this processing flowchart, the table of user attributes shown in FIG. 635 and the table of correspondence between the interpolation ID and user attributes shown in FIG. 636 are used.
ステップＢ１００１で開始して、ステップＢ１００２で補間ＩＤ生成手段（Ｂ０１１０）は、ユーザ情報保持手段（Ｂ０１５１）が保持するすべてのユーザ属性を読み込んで、ステップＢ１００３で補間ＩＤ生成手段（Ｂ０１１０）は、補間ＩＤを選定するために自らが保持する補間ＩＤとユーザ属性の対応テーブルを取り出して（但し、上記テーブルを補間ＩＤ生成手段が保持していない場合は、ネットワークを介して外部サーバから読み込んでも良い）、ステップＢ１００４でユーザ情報保持手段（Ｂ０１５１）から読み込んだ１つ以上のユーザ属性それぞれに対して、上記テーブルで定義された補間ＩＤを対応させて、ステップＢ１００５でユーザ属性保持手段（Ｂ０１５１）から読み込んだユーザ属性全てに対して、補間ＩＤとの対応を確認したかどうかを確認して、ＮＯの場合はステップＢ１００４に戻る。ＹＥＳの場合はステップＢ１００６へ進み、対応するユーザ属性が最も多い補間ＩＤを、本モバイル端末を利用するユーザに合った補間ＩＤであると判定し、問合せＩＤ手段へ渡して、ステップＢ１００７で終了する。 Starting in step B1001, the interpolation ID generation means (B0110) reads all the user attributes held by the user information holding means (B0151) in step B1002, and the interpolation ID generation means (B0110) interpolates in step B1003. Take out the correspondence table of the interpolation ID and the user attribute held by itself to select the ID (however, if the above table is not held by the interpolation ID generation means, it may be read from an external server via the network). , The interpolation ID defined in the above table is associated with each one or more user attributes read from the user information holding means (B0151) in step B1004, and read from the user attribute holding means (B0151) in step B1005. However, it is confirmed whether or not the correspondence with the interpolation ID is confirmed for all the user attributes, and if NO, the process returns to step B1004. If YES, the process proceeds to step B1006, the interpolation ID having the most corresponding user attributes is determined to be the interpolation ID suitable for the user using the mobile terminal, passed to the inquiry ID means, and ended in step B1007. ..
図６３０は、補足ＩＤ生成手段（Ｂ０１１０）がセンシング手段と受信カメラに基づき可視光発信機器（Ｂ０１２０）の設置位置を特定する処理フローチャートである。本処理フローチャートは、図６３２で示す状況下での可視光発信機器の位置特定を想定している。 FIG. 630 is a processing flowchart in which the supplementary ID generation means (B0110) specifies the installation position of the visible light transmitting device (B0120) based on the sensing means and the receiving camera. This processing flowchart assumes the position identification of the visible light transmitting device under the situation shown in FIG. 632.
ステップＢ１１０１で開始して、ステップＢ１１０２で補間ＩＤ生成手段（Ｂ０１１０）は、モバイル端末が可視光発信機器（Ｂ０１２０）からＩＤ受信した際のモバイル端末のＸ、Ｙ、Ｚ軸方向の傾きをセンシング手段から受け取る加速度センサやジャイロセンサ、地磁気センサの値から推定して、ステップＢ１１０３で補間ＩＤ生成手段（Ｂ０１１０）は、問合せＩＤ生成手段（Ｂ０１０４）から可視光ＩＤを受け取る際に、本可視光ＩＤがモバイル端末の前面カメラまたは背面カメラのいずれかで受信したＩＤかについての情報を取り出して、ステップＢ１１０４で、前記Ｂ１１０２で推定したモバイル端末の傾きと前記Ｂ１１０３で取り出したＩＤ受信を行ったカメラ情報とに基づき、可視光発信機器（Ｂ０１２０）の位置を特定して、ステップＢ１１０５（８）へ進む。 Starting in step B1101, the interpolating ID generation means (B0110) in step B1102 senses the inclination of the mobile terminal in the X, Y, Z-axis directions when the mobile terminal receives the ID from the visible light transmitting device (B0120). Estimating from the values of the acceleration sensor, gyro sensor, and geomagnetic sensor received from the camera, the interpolating ID generation means (B0110) in step B1103 receives the visible light ID from the inquiry ID generation means (B0104). Information about whether the ID was received by either the front camera or the rear camera of the mobile terminal was taken out, and in step B1104, the tilt of the mobile terminal estimated in B1102 and the camera information obtained by receiving the ID taken out in B1103 were obtained. Based on the above, the position of the visible light transmitting device (B0120) is specified, and the process proceeds to step B1105 (8).
図６３１は、補足ＩＤ生成手段が（Ｂ０１１０）可視光発信機器の設置位置に基づき補間ＩＤを生成する処理フローチャートである。 FIG. 631 is a processing flowchart in which the supplementary ID generation means generates the interpolation ID based on the installation position of the (B0110) visible light transmitting device.
ステップＢ１１０５（８）からステップＢ１２０１へ進み、補間ＩＤ生成手段（Ｂ０１１０）は、可視光発信機器（Ｂ０１２０）の設置位置に応じた補間ＩＤを選別するために、自らが保持する補間ＩＤと可視光発信機器位置の対応テーブルを取り出して（但し、上記テーブルを補間ＩＤ生成手段が保持していない場合は、ネットワークを介して外部サーバ等から読み込んでも良い）、ステップＢ１２０２で特性した可視光発信機器（Ｂ０１２０）の設置位置に対応する補間ＩＤを上記テーブルより取得して問合せＩＤ手段へ渡して、ステップＢ１２０３で終了する。 From step B1105 (8) to step B1201, the interpolation ID generation means (B0110) has its own interpolation ID and visible light in order to select the interpolation ID according to the installation position of the visible light transmitting device (B0120). The visible light transmitting device characterized in step B1202 by taking out the corresponding table of the transmitting device position (however, if the above table is not held by the interpolation ID generation means, it may be read from an external server or the like via the network). The interpolation ID corresponding to the installation position of B0120) is acquired from the above table and passed to the inquiry ID means, and the process ends in step B1203.
図６３２と図６３３と図６３４は、図６３０と図６３１のフローチャートで示す補間ＩＤ生成手段（Ｂ０１１０）が可視光発信機器の設置位置に基づき補間ＩＤ生成を行う場合の詳細を示す。 632, 633, and 634 show details when the interpolation ID generation means (B0110) shown in the flowcharts of FIGS. 630 and 631 generates the interpolation ID based on the installation position of the visible light transmitting device.
図６３２は、モバイル端末（Ｂ０１０１）を使用しているユーザを取り巻く可視光発信機器（Ｂ０１２０）を表す図である。 FIG. 632 is a diagram showing a visible light transmitting device (B0120) surrounding a user using a mobile terminal (B0101).
Ｂ１３０２は天井に設置された照明等の可視光発信機器であり、Ｂ１３０３はユーザ前方に設置されたサイネージ等の可視光発信機器であり、Ｂ１３０４はユーザ後方に設置されたサイネージ等の可視光発信機器であり、Ｂ１３０５は床に設置された照明等の可視光発信機器である。 B1302 is a visible light transmitting device such as lighting installed on the ceiling, B1303 is a visible light transmitting device such as a signage installed in front of the user, and B1304 is a visible light transmitting device such as a signage installed behind the user. B1305 is a visible light transmitting device such as lighting installed on the floor.
モバイル端末（Ｂ０１０１）の傾き角度Ｒ（Ｂ１３０１）、かつ、可視光ＩＤを受信したカメラが前面カメラ（Ｂ０１０６）や背面カメラ（Ｂ０１０７）のいずれかであるか、についての情報を用いてＢ１３０２、Ｂ１３０３、Ｂ１３０４、Ｂ１３０５のいずれの可視光発信機器から受信したＩＤであるかを特定する。 B1302, B1303 using information about the tilt angle R (B1301) of the mobile terminal (B0101) and whether the camera that received the visible light ID is either the front camera (B0106) or the rear camera (B0107). , B1304, or B1305, which is the ID received from the visible light transmitting device.
図６３３は、補間ＩＤ生成手段（Ｂ０１１０）がセンシング手段（Ｂ０１０３）を用いて検知した筐体姿勢と可視光ＩＤを受信したカメラが前面カメラ（Ｂ０１０６）や背面カメラ（Ｂ０１０７）のいずれかであるかの情報に基づき可視光発信機器（Ｂ０１２０）の位置を特定する例である。 In FIG. 633, the camera that receives the housing posture and the visible light ID detected by the interpolation ID generation means (B0110) using the sensing means (B0103) is either the front camera (B0106) or the rear camera (B0107). This is an example of specifying the position of the visible light transmitting device (B0120) based on the information.
また、モバイル端末（Ｂ０１０１）はセンシング手段（Ｂ０１０３）より筐体姿勢を検知して、前面カメラ（Ｂ０１０６）や背面カメラ（Ｂ０１０７）でのみ可視光（Ｂ１１０１）の受光を行うことで、反射光等による不正動作の誘発を軽減することができ、また、電力消費を抑えることができる。例えば、モバイル端末（Ｂ０１０１）の筐体姿勢を角度Ｂ１１０２で示すように４５度以上傾けた場合は前面カメラ（Ｂ０１０６）のみを起動し、角度（Ｂ１４０３）の示すように４５度より小さな傾きの場合は背面カメラ（Ｂ０１０７）のみを起動するような制御を行う。 Further, the mobile terminal (B0101) detects the posture of the housing from the sensing means (B0103) and receives visible light (B1101) only by the front camera (B0106) and the rear camera (B0107) to receive reflected light or the like. It is possible to reduce the induction of fraudulent operation due to, and it is possible to suppress power consumption. For example, when the housing posture of the mobile terminal (B0101) is tilted by 45 degrees or more as shown by the angle B1102, only the front camera (B0106) is activated, and when the tilt is smaller than 45 degrees as shown by the angle (B1403). Controls to activate only the rear camera (B0107).
図６３４は、補間ＩＤ生成手段（Ｂ０１１０）が機器位置に基づく補間ＩＤを選定するために用いるテーブルの一例である。 FIG. 634 is an example of a table used by the interpolation ID generation means (B0110) to select the interpolation ID based on the device position.
Ｂ１５０１は利用したカメラを表す列であり、Ｂ１５０２は図６３２で示すモバイル端末（Ｂ０１０１）の傾き角度Ｒ（Ｂ１３０１）である。Ｂ１５０３は、Ｂ１５０２及びＢ１５０３の情報に基づき推定される可視光発信機器（Ｂ１５０３）の位置である。 B1501 is a column representing the used camera, and B1502 is an inclination angle R (B1301) of the mobile terminal (B0101) shown in FIG. 632. B1503 is the position of the visible light transmitting device (B1503) estimated based on the information of B1502 and B1503.
例として、Ｂ１５０４の行を説明すると、前面カメラを利用して受信した可視光ＩＤであり、モバイル端末の角度は３１５度から３６０度または０度から４５度の範囲であるため、モバイル端末（Ｂ０１０１）を使用するユーザの後方に設置される図６３２で示すＢ１３０４の可視光発信機器であると判定できる。更に、この場合の補間ＩＤは、１Ｃ１であると特定できる。 As an example, the line of B1504 will be described as a visible light ID received by using the front camera, and since the angle of the mobile terminal is in the range of 315 degrees to 360 degrees or 0 degrees to 45 degrees, the mobile terminal (B0101). ) Is installed behind the user and can be determined to be the visible light transmitting device of B1304 shown in FIG. 632. Further, the interpolation ID in this case can be specified to be 1C1.
図６３５は、ユーザ情報保持手段（Ｂ０１５１）の保持するユーザ属性テーブルの一例である。 FIG. 635 is an example of the user attribute table held by the user information holding means (B0151).
Ｂ１６０１はユーザ情報を表す氏名や性別等の属性名を示す列であり、Ｂ１６０２は属性名に対応する各ユーザの属性値を示す列である。 B1601 is a column showing an attribute name such as a name and a gender representing user information, and B1602 is a column showing an attribute value of each user corresponding to the attribute name.
図６３６は、補間ＩＤ生成手段（Ｂ０１１０）がユーザ属性に基づく補間ＩＤを選定するために用いるテーブルの一例である。 FIG. 636 is an example of a table used by the interpolation ID generation means (B0110) to select the interpolation ID based on the user attribute.
Ｂ１７０１は補間ＩＤを示す列であり、Ｂ１７０２はＢ１７０１の補間ＩＤを選択する際に用いるユーザ属性である。補間ＩＤ生成手段（Ｂ０１１０）は、図６３５に示すユーザ情報を用いて、Ｂ１７０２で示す条件に合致するか否かを確認して、補間ＩＤを選択する。 B1701 is a column indicating the interpolation ID, and B1702 is a user attribute used when selecting the interpolation ID of B1701. The interpolation ID generation means (B0110) uses the user information shown in FIG. 635 to confirm whether or not the condition shown in B1702 is met, and selects the interpolation ID.
例えば、図６３５に示すユーザ情報は、Ｂ１６０３の性別が男であり、Ｂ１６０４の会員ランクがプレミアムであり、年齢が３５歳であることから、図６３６の補間ＩＤ １Ｂ１ が選択される。 For example, in the user information shown in FIG. 635, since the gender of B1603 is male, the membership rank of B1604 is premium, and the age is 35 years old, the interpolation ID 1B1 of FIG. 636 is selected.
図６３７は、可視光ＩＤ対応情報データ保持手段（Ｂ０１１４）が保持するデータテーブルの一例である。Ｂ１８０１は、モバイル端末（Ｂ０１０１）の問合せＩＤ生成手段（Ｂ０１１０）で生成されたＩＤを示す列であり、モバイル端末（Ｂ０１０１）が可視光発信機器（Ｂ０１２０）から受信した可視光ＩＤを含めた１２８ビットのビット列からなる。Ｂ１８０２は、可視光ＩＤ対応情報を示す列であり、Ｂ１８０１の問合せＩＤに対応するＵＲＬ等の各可視光ＩＤに対応する情報である。 FIG. 637 is an example of a data table held by the visible light ID corresponding information data holding means (B0114). B1801 is a column indicating an ID generated by the inquiry ID generation means (B0110) of the mobile terminal (B0101), and 128 including the visible light ID received by the mobile terminal (B0101) from the visible light transmitting device (B0120). It consists of a bit string of bits. B1802 is a column indicating visible light ID correspondence information, and is information corresponding to each visible light ID such as a URL corresponding to the inquiry ID of B1801.
図６３８は、エリアＩＤ情報サーバ（Ｂ０１４１）が保持するエリアＩＤ情報テーブルの一例である。 FIG. 638 is an example of the area ID information table held by the area ID information server (B0141).
無線ＬＡＮアクセスポイント識別子（Ｂ１１０３）には、例えば、無線ＬＡＮアクセスポイントの識別には、アクセスポイントの識別子ＳＳＩＤや特定の無線ＬＡＮアクセスポイントを複数合わせて構成される識別子ＥＳＳＩＤ等を用いる。店舗情報は入店時に、店舗内に設置されたＷｉ−ＦｉアクセスポイントやＢｌｕｅｔｏｏｔｈ（登録商標）通信機器からモバイル端末（Ｂ０１０１）が受け取る情報である。 As the wireless LAN access point identifier (B1103), for example, an access point identifier SSID, an identifier ESSID composed of a plurality of specific wireless LAN access points, and the like are used to identify the wireless LAN access point. The store information is information received by the mobile terminal (B0101) from a Wi-Fi access point or a Bluetooth (registered trademark) communication device installed in the store at the time of entering the store.
図６３９は、本実施の形態で示すユースケース図である。 FIG. 639 is a use case diagram shown in this embodiment.
１．でユーザが店舗へ来店し、２．で店舗内の特定の売り場でモバイル端末（Ｂ０１０１）を取り出し、３．でモバイル端末（Ｂ０１０１）の画面にＩＤ対応情報変換サーバから受取った情報を表示するまでを示している。 1. 1. The user comes to the store and 2. Take out the mobile terminal (B0101) at a specific sales floor in the store. Shows up to displaying the information received from the ID-compatible information conversion server on the screen of the mobile terminal (B0101).
図６４０は、モバイル端末（Ｂ０１０１）がＩＤ対応情報変換サーバ（Ｂ０１１１）への問合せＩＤの内部構成の例である。 FIG. 640 is an example of the internal configuration of the inquiry ID of the mobile terminal (B0101) to the ID-compatible information conversion server (B0111).
問合せＩＤは特定の情報へＷＥＢ経由でアクセスを行うための識別番号であり、本実施の形態では、問合せＩＤ全体のビット列長を１２８ビットとして説明する。 The inquiry ID is an identification number for accessing specific information via the WEB, and in the present embodiment, the bit string length of the entire inquiry ID will be described as 128 bits.
問合せＩＤの内部構成は、Ｂ２１０１で示すエリアＩＤ情報サーバ（Ｂ０１４１）から提供されるＩＤ１２０ビットと、Ｂ２１０２で示す可視光発信機器からの受信やモバイル端末が保持するユーザ属性情報から生成されるＩＤ８ビットから構成される。Ｂ２１０１は店舗やエリア等を特定するために用いるビット列であり、Ｂ２１０２は店舗やエリア内の任意の場所を特定するために用いるビット列である。 The internal configuration of the inquiry ID consists of 120 bits of ID provided by the area ID information server (B0141) indicated by B2101, and 8 bits of ID generated from reception from the visible light transmitting device indicated by B2102 and user attribute information held by the mobile terminal. Consists of. B2101 is a bit string used to specify a store, an area, or the like, and B2102 is a bit string used to specify an arbitrary place in the store or area.
なお、問合せＩＤの内部構成は、上記以外の１１０ビットと１８ビット等の組み合わせであっても良い、また、Ｂ２１０１で示すＩＤ１２０ビットはエリアＩＤ情報サーバ（Ｂ０１４１）を介さずに可視光発信機器からの受信やモバイル端末が保持するユーザ属性情報から生成されても良い。 The internal configuration of the inquiry ID may be a combination of 110 bits and 18 bits other than the above, and the ID 120 bits indicated by B2101 can be transmitted from the visible light transmitting device without going through the area ID information server (B0141). It may be generated from the reception of the user or the user attribute information held by the mobile terminal.
図６４１は、モバイル端末（Ｂ０１０１）が問合せＩＤの生成を行う例である。 FIG. 641 is an example in which the mobile terminal (B0101) generates an inquiry ID.
例１は、エリアＩＤ情報サーバ（Ｂ０１４１）を介さずに可視光発信機器（Ｂ０１２０）から問合せＩＤ１２８ビットすべてをモバイル端末（Ｂ０１０１）にて受信する場合を示す。 Example 1 shows a case where the mobile terminal (B0101) receives all 128 bits of the inquiry ID from the visible light transmitting device (B0120) without going through the area ID information server (B0141).
例２は、エリアＩＤ情報サーバ（Ｂ０１４１）から図６４０のＢ２１０１で示すＩＤ１２８ビットを受信し、可視光発信機器（Ｂ０１２０）から残りの８ビットを受信する場合を示す。 Example 2 shows a case where the ID 128 bits shown in B2101 of FIG. 640 are received from the area ID information server (B0141) and the remaining 8 bits are received from the visible light transmitting device (B0120).
例３は、エリアＩＤ情報サーバ（Ｂ０１４１）から図６４０のＢ２１０１で示すＩＤ１２８ビットを受信し、可視光発信機器（Ｂ０１２０）から４ビットを受信し、残り４ビットをモバイル端末が保持するユーザ属性情報等から生成する場合を示す。 In Example 3, the user attribute information in which the ID 128 bits shown in B2101 of FIG. 640 are received from the area ID information server (B0141), 4 bits are received from the visible light transmitting device (B0120), and the remaining 4 bits are held by the mobile terminal. The case where it is generated from the above is shown.
図６４２は、図６４１の例２の詳細ユースケースである。 FIG. 642 is a detailed use case of Example 2 of FIG. 641.
１．はユーザが店舗へ来店した際に実施されるモバイル端末（Ｂ０１０１）の処理であり、モバイル端末（Ｂ０１０１）を用いて、店舗のＧＰＳ、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、音等の通信を用いて特定し、エリアＩＤ情報サーバへ１２０ビットのＩＤを要求する。 1. 1. Is the processing of the mobile terminal (B0101) that is performed when the user visits the store, and the mobile terminal (B0101) is used to communicate the store's GPS, Wi-Fi, Bluetooth (registered trademark), sound, etc. It is specified by using and requests a 120-bit ID from the area ID information server.
２．は店舗内の特定の売り場でモバイル端末を取出した際に実施されるモバイル端末（Ｂ０１０１）の処理であり、可視光発信機器（Ｂ０１２０）より８ビットの可視光ＩＤを受信した後、１．で受信した１２０ビットと受信した可視光ＩＤ８ビットを合わせた１２８ビットを用いて、ＩＤ対応情報変換サーバ（Ｂ０１１１）へ情報を要求する。 2. Is the processing of the mobile terminal (B0101) that is performed when the mobile terminal is taken out at a specific sales floor in the store. After receiving the 8-bit visible light ID from the visible light transmitting device (B0120), 1. Information is requested from the ID-compatible information conversion server (B0111) using 128 bits, which is a total of 120 bits received in the above and 8 bits of the received visible light ID.
３．はＩＤ対応情報変換サーバ（Ｂ０１１１）がモバイル端末（Ｂ０１０１）から受取った１２８ビットの問合せＩＤから応答する情報を判別して通知する。モバイル端末（Ｂ０１０１）は、ＩＤ対応情報変換サーバ（Ｂ０１１１）から受取った情報を画面へ表示する。 3. 3. Determines and notifies the information to be answered from the 128-bit inquiry ID received from the mobile terminal (B0101) by the ID-corresponding information conversion server (B0111). The mobile terminal (B0101) displays the information received from the ID-compatible information conversion server (B0111) on the screen.
図６４３は、図６４１の例３の詳細ユースケースである。 FIG. 643 is a detailed use case of Example 3 of FIG. 641.
１．はユーザが店舗へ来店した際に実施されるモバイル端末（Ｂ０１０１）の処理であり、モバイル端末（Ｂ０１０１）を用いて、店舗のＧＰＳ、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、音等の通信を用いて特定し、エリアＩＤ情報サーバへ１２０ビットのＩＤを要求する。 1. 1. Is the processing of the mobile terminal (B0101) that is performed when the user visits the store, and the mobile terminal (B0101) is used to communicate the store's GPS, Wi-Fi, Bluetooth (registered trademark), sound, etc. It is specified by using and requests a 120-bit ID from the area ID information server.
２．は店舗内の特定の売り場でモバイル端末を取出した際に実施されるモバイル端末（Ｂ０１０１）の処理であり、可視光発信機器（Ｂ０１２０）より４ビットの可視光ＩＤを受信した後、スマホの姿勢等から、可視光発信機器（Ｂ０１２０）の位置を特定し、機器位置を示す補間ＩＤ４ビットを生成する。
2. Is the processing of the mobile terminal (B0101) that is performed when the mobile terminal is taken out at a specific sales floor in the store. After receiving the 4-bit visible light ID from the visible light transmitting device (B0120), the posture of the smartphone The position of the visible light transmitting device (B0120) is specified from the above, and an
１．で受信した１２０ビットと可視光ＩＤ４ビットと補間ＩＤ４ビットを合わせた１２８ビットを用いて、ＩＤ対応情報変換サーバ（Ｂ０１１１）へ情報を要求する。
1. 1. Information is requested from the ID-compatible information conversion server (B0111) using 128 bits, which is a total of 120 bits received in the above,
３．ではＩＤ対応情報変換サーバ（Ｂ０１１１）がモバイル端末（Ｂ０１０１）から受取った１２８ビットの問合せＩＤから応答する情報を判別して通知する。モバイル端末（Ｂ０１０１）は、ＩＤ対応情報変換サーバ（Ｂ０１１１）から受取った情報を画面へ表示する。 3. 3. Then, the ID-corresponding information conversion server (B0111) determines and notifies the information to be answered from the 128-bit inquiry ID received from the mobile terminal (B0101). The mobile terminal (B0101) displays the information received from the ID-compatible information conversion server (B0111) on the screen.
本発明は、情報通信装置等に利用でき、特に、スマートフォン、タブレット、携帯電話、スマートウォッチ、ヘッドマウントディスプレイ等の携帯端末と、エアコン、照明機器、炊飯器、テレビ、レコーダ、プロジェクタなどの家電機器との通信方法に利用される情報通信装置等に利用することができる。 The present invention can be used for information communication devices and the like, and in particular, mobile terminals such as smartphones, tablets, mobile phones, smart watches and head mount displays, and home appliances such as air conditioners, lighting devices, rice cookers, televisions, recorders and projectors. It can be used for information communication devices and the like used for communication methods with.
１１０１ テレビ
１１０５ スマートフォン
１１０６ 電子レンジ
１１０７ 空気清浄機
１２０１ スマートフォン
１３０１ 送信側装置
１３０９ 送信速度判定部
１４０１ 受信側装置
１４０４ 画像取得部
１４０６ 点滅情報取得部
３００１ａ モバイル端末
３００１ｂ ドアホン宅内器
３００１ｃ ドアホン宅外器
３００１ｅ 宅配注文サーバ
３００１ｆ 宅配者モバイル端末
４０４０ａ 電子レンジテーブル
４０４０ｂ 携帯テーブル
４０４０ｃ 携帯機種テーブル
４０４０ｄ ユーザ音声特性テーブル
４０４０ｅ ユーザキーワード音声テーブル
４０４０ｆ ユーザ所有機器位置テーブル
４０４０ｈ ユーザ位置テーブル
Ａ１１００１ 携帯端末
Ａ１１００２ 第１の照明機器
Ａ１１００３ 第２の照明機器
Ａ１１００４ 第１のＩＤ格納部
Ａ１１００５ 第１のエンコード部
Ａ１１００６ 第１の照度パターン格納部
Ａ１１００７ 第１の発光部
Ａ１１００８ 第２のＩＤ格納部
Ａ１１００９ 第２のエンコード部
Ａ１１０１０ 第２の照度パターン格納部
Ａ１１０１１ 第２の発光部
Ａ１１０１２ 受光制御部
Ａ１１０１３ ＩＤ格納部
Ａ１１０１４ ＤＢ管理部
Ａ１１０１５ サーバ装置
Ａ１１０１６ 商品情報格納部
Ａ１１０１７ 地図情報格納部
Ａ１１０１８ 表示部
Ａ１１０１９ 状態管理部
Ａ１１０２０ ＵＩ部
Ａ１２５０１ 第１の受光部
Ａ１２５０２ 第２の受光部
Ａ１２５０３ セレクタ
Ａ１２５０４ 加速度検知部
Ａ１２５０５ 受光信号格納部
Ａ１２５０６ デコード部
Ａ１２５０７ 閾値格納部
Ａ１２７０１ 第１の受光部
Ａ１２７０２ 第２の受光部
Ａ１２７０３ セレクタ
Ａ１２７０４ タイマ制御部
Ａ１２７０５ 受光信号格納部
Ａ１２７０６ デコード部
Ａ１２７０７ 閾値格納部
Ａ１３００１ 視線情報格納部
Ａ１３００２ 受光制御部
Ａ１３００３ ＤＢ管理部
Ａ１３００４ サーバ装置
Ａ１３３０１ 視線検出部
Ａ１３４０１ 撮像部
Ａ１３４０２ 視線検出部
Ｂ０１０１ モバイル端末
Ｂ０１０２ エリア検出手段
Ｂ０１０３ センシング手段
Ｂ０１０４ 問合せＩＤ生成手段
Ｂ０１０５ 可視光ＩＤ受光処理手段
Ｂ０１０６ 前面カメラ
Ｂ０１０７ 背面カメラ
Ｂ０１０８ 通信手段
Ｂ０１０９ 表示手段
Ｂ０１１０ 補間ＩＤ生成手段
Ｂ０１１１ ＩＤ対応情報変換サーバ
Ｂ０１１２ 通信手段
Ｂ０１１３ 変換情報判定手段
Ｂ０１１４ ＩＤ対応情報保持手段
Ｂ０１２０ 可視光発信機器
Ｂ０１３０ 公衆ネットワーク、または、機器間で一時的に確立されるアドホックネットワーク
Ｂ０１４１ エリアＩＤ情報サーバ
Ｂ０１４２ 通信手段
Ｂ０１４３ エリア情報判定手段
Ｂ０１４４ エリアＩＤ情報保持手段
Ｂ０１５１ ユーザ情報保持手段
Ｂ１３０１ モバイル端末角度
Ｂ１３０２ 天井に設置された照明等の可視光発信機器
Ｂ１３０３ ユーザ前方に設置されたサイネージ等の可視光発信機器
Ｂ１３０４ ユーザ後方に設置されたサイネージ等の可視光発信機器
Ｂ１３０５ 床に設置された照明等の可視光発信機器
Ｂ１４０１ 可視光発光機器からの発光
Ｂ２１０１ エリアを示すＩＤビット列
Ｂ２１０２ エリア内の特定の場所を示すＩＤビット列
Ｋ１０ 情報通信装置
Ｋ１１ 決定部
Ｋ１２ 送信部
Ｋ２０ 情報通信装置
Ｋ２１ 露光時間設定部
Ｋ２２ 輝線画像取得部
Ｋ２３ 情報取得部
Ｋ２４ 扉制御部
1101 TV 1105 Smartphone 1106 Microwave oven 1107 Air purifier 1201 Smartphone 1301 Transmitter device 1309 Transmission speed determination unit 1401 Receiver device 1404 Image acquisition unit 1406 Blinking information acquisition unit 3001a Mobile terminal 3001b Doorphone Home appliance 3001c Doorphone Home delivery order 3001e Server 3001f Delivery person mobile terminal 4040a Microwave table 4040b Mobile table 4040c Mobile model table 4040d User voice characteristic table 4040e User keyword voice table 4040f User-owned device position table 4040h User position table A11001 Mobile terminal A11002 First lighting device A11003 Second Lighting equipment A11004 1st ID storage unit A11005 1st encoding unit A11006 1st illuminance pattern storage unit A11007 1st light emitting unit A11002 2nd ID storage unit A11009 2nd encoding unit A11010 2nd illuminance pattern storage unit A11011 Second light emitting unit A11012 Light receiving control unit A11013 ID storage unit A11014 DB management unit A11015 Server device A11016 Product information storage unit A11017 Map information storage unit A11018 Display unit A11019 State management unit A11020 UI unit A12501 First light receiving unit A12502 Light receiving part A12503 Selector A12504 Acceleration detection part A12505 Light receiving signal storage part A12506 Decoding part A12507 Threshold storage part A12701 First light receiving part A12702 Second light receiving part A12703 Selector A12704 Timer control unit A12705 Light receiving signal storage part A12705 Part A13001 Line-of-sight information storage unit A1302 Light-receiving control unit A1003 DB management unit A1300 4 Server device A13301 Line-of-sight detection unit A13401 Imaging unit A13402 Line-of-sight detection unit B0101 Mobile terminal B0102 Area detection means B0103 Sensing means B0104 Query ID generation means B0105 B0106 Front camera B0107 Rear camera B0108 Communication means B0109 Display means B0110 Interpolated ID generation means B0111 ID correspondence information conversion server B0112 Communication means B0113 Conversion information determination means B0114 ID correspondence information holding means B0120 Visible light transmission device B0130 Public network or ad hoc network temporarily established between devices B0141 Area ID Information server B0142 Communication means B0143 Area information judgment means B0144 Area ID information holding means B0151 User information holding means B1301 Mobile terminal angle B1302 Visible light transmitting device such as lighting installed on the ceiling B1303 Visible light such as signage installed in front of the user Transmission device B1304 Visible light transmission device such as signage installed behind the user B1305 Visible light transmission device such as lighting installed on the floor B1401 Light emission from visible light light emitting device B2101 ID bit string indicating area B2102 Specific location in area ID bit string indicating K10 Information communication device K11 Determination unit K12 Transmission unit K20 Information communication device K21 Exposure time setting unit K22 Visible light image acquisition unit K23 Information acquisition unit K24 Door control unit
Claims (9)
前記情報通信装置のコンピュータに対して、
前記情報通信装置の表示面が地面に対し垂直である場合を基準として、前記基準に対する前記情報通信装置の表示面の傾きが所定の角度よりも大きい場合には、前記情報通信装置の表示面側に位置する第１のイメージセンサを用いて、ユーザの上方に設置されている第１の送信装置から第１の情報を取得させる第１の処理と、
前記基準に対する前記情報通信装置の表示面の傾きが所定の角度以下である場合には、前記情報通信装置の背面側に位置する第２のイメージセンサを用いて、ユーザの前方に設置されている第２の送信装置から第２の情報を取得させる第２の処理と、を実行させる、
プログラム。 A program that controls an information communication device that acquires information from a transmitter using an image sensor.
For the computer of the information communication device
Based on the case where the display surface of the information communication device is perpendicular to the ground, when the inclination of the display surface of the information communication device with respect to the reference is larger than a predetermined angle, the display surface side of the information communication device The first process of acquiring the first information from the first transmitter installed above the user by using the first image sensor located in
When the inclination of the display surface of the information communication device with respect to the reference is equal to or less than a predetermined angle, a second image sensor located on the back side of the information communication device is used and installed in front of the user. The second process of acquiring the second information from the second transmitter and the second process are executed.
program.
前記第１のイメージセンサを用いる場合には、前記第２のイメージセンサをオフさせ、前記第２のイメージセンサを用いる場合には、前記第１のイメージセンサをオフさせる、
請求項１に記載のプログラム。 For the computer
When the first image sensor is used, the second image sensor is turned off, and when the second image sensor is used, the first image sensor is turned off.
The program according to claim 1.
前記第２の処理では、前記第２の情報を取得した場合、前記第２の情報を用いて特定されるサービスの情報を前記表示面に表示する、
請求項１または２に記載のプログラム。 In the first process, when the first information is acquired, the position of the first transmitting device is specified by using the first information, and the map stored in the information communication device is displayed. It is displayed on the surface, and the position of the first transmitting device is superimposed on the map and displayed on the display surface.
In the second process, when the second information is acquired, the information of the service specified by using the second information is displayed on the display surface.
The program according to claim 1 or 2.
前記第２の処理では、最も前列に配置された第１の商品の情報を最初に前記表示面に表示し、前記ユーザが前記表示面に対しフリックした場合、前記第１の商品の後方に配置された第２の商品の情報を、前記表示面に表示する、
請求項３に記載のプログラム。 The service information is information related to a plurality of products placed on the shelves.
In the second process, the information of the first product arranged in the front row is first displayed on the display surface, and when the user flicks on the display surface, the information is arranged behind the first product. The information of the second product is displayed on the display surface.
The program according to claim 3.
請求項４に記載のプログラム。 In the second process, when the user flicks right with respect to the display surface, information on products arranged behind the display surface is displayed on the display surface, and when the user flicks left with respect to the display surface. , Display the information of the product placed in front on the display surface,
The program according to claim 4.
請求項３に記載のプログラム。 In the first process, when the user flicks on the display surface, the offset of the map is updated.
The program according to claim 3.
請求項６に記載のプログラム。 In the first process, the amount of offset to be updated is increased according to the number of times the user flicks right, and the amount of offset to be updated is decreased according to the number of times the user flicks left.
The program according to claim 6.
前記情報通信装置の表示面が地面に対し垂直である場合を基準として、前記基準に対する前記情報通信装置の表示面の傾きが所定の角度よりも大きい場合には、前記情報通信装置の表示面側に位置する第１のイメージセンサを用いて、ユーザの上方に設置されている第１の送信装置から第１の情報を取得し、
前記基準に対する前記情報通信装置の表示面の傾きが所定の角度以下である場合には、前記情報通信装置の背面側に位置する第２のイメージセンサを用いて、ユーザの前方に設置されている第２の送信装置から第２の情報を取得する、
制御方法。 It is a control method that controls an information communication device that acquires information from a transmission device using an image sensor.
Based on the case where the display surface of the information communication device is perpendicular to the ground, when the inclination of the display surface of the information communication device with respect to the reference is larger than a predetermined angle, the display surface side of the information communication device The first image sensor located in is used to acquire the first information from the first transmitter installed above the user.
When the inclination of the display surface of the information communication device with respect to the reference is equal to or less than a predetermined angle, a second image sensor located on the back side of the information communication device is used and installed in front of the user. Acquiring the second information from the second transmitter,
Control method.
前記情報通信装置の表示面が地面に対し垂直である場合を基準として、前記基準に対する前記情報通信装置の表示面の傾きが所定の角度よりも大きい場合には、前記情報通信装置の表示面側に位置する第１のイメージセンサを用いて、ユーザの上方に設置されている第１の送信装置から第１の情報を取得する第１の取得手段と、
前記基準に対する前記情報通信装置の表示面の傾きが所定の角度以下である場合には、前記情報通信装置の背面側に位置する第２のイメージセンサを用いて、ユーザの前方に設置されている第２の送信装置から第２の情報を取得する第２の取得手段と、を備える
制御装置。
A control device that controls an information communication device that acquires information from a transmission device using an image sensor.
Based on the case where the display surface of the information communication device is perpendicular to the ground, when the inclination of the display surface of the information communication device with respect to the reference is larger than a predetermined angle, the display surface side of the information communication device A first acquisition means for acquiring the first information from the first transmission device installed above the user by using the first image sensor located in
When the inclination of the display surface of the information communication device with respect to the reference is equal to or less than a predetermined angle, a second image sensor located on the back side of the information communication device is used and installed in front of the user. A control device including a second acquisition means for acquiring second information from a second transmission device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021034396A JP2021122107A (en) | 2012-12-27 | 2021-03-04 | Visible light communication methods and programs |
Applications Claiming Priority (36)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261746315P | 2012-12-27 | 2012-12-27 | |
| JP2012286339 | 2012-12-27 | ||
| JP2012286339 | 2012-12-27 | ||
| US61/746,315 | 2012-12-27 | ||
| US201361805978P | 2013-03-28 | 2013-03-28 | |
| US61/805,978 | 2013-03-28 | ||
| JP2013070740 | 2013-03-28 | ||
| JP2013070740 | 2013-03-28 | ||
| US201361810291P | 2013-04-10 | 2013-04-10 | |
| JP2013082546 | 2013-04-10 | ||
| JP2013082546 | 2013-04-10 | ||
| US61/810,291 | 2013-04-10 | ||
| JP2013110445 | 2013-05-24 | ||
| JP2013110445 | 2013-05-24 | ||
| US201361859902P | 2013-07-30 | 2013-07-30 | |
| JP2013158359 | 2013-07-30 | ||
| JP2013158359 | 2013-07-30 | ||
| US61/859,902 | 2013-07-30 | ||
| US201361872028P | 2013-08-30 | 2013-08-30 | |
| US61/872,028 | 2013-08-30 | ||
| JP2013180729 | 2013-08-30 | ||
| JP2013180729 | 2013-08-30 | ||
| US201361895615P | 2013-10-25 | 2013-10-25 | |
| JP2013222827 | 2013-10-25 | ||
| US61/895,615 | 2013-10-25 | ||
| JP2013222827 | 2013-10-25 | ||
| US201361896879P | 2013-10-29 | 2013-10-29 | |
| US61/896,879 | 2013-10-29 | ||
| JP2013224805 | 2013-10-29 | ||
| JP2013224805 | 2013-10-29 | ||
| US201361904611P | 2013-11-15 | 2013-11-15 | |
| US61/904,611 | 2013-11-15 | ||
| JP2013237460 | 2013-11-15 | ||
| JP2013237460 | 2013-11-15 | ||
| JP2013242407 | 2013-11-22 | ||
| JP2013242407 | 2013-11-22 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018025434A Division JP6616440B2 (en) | 2012-12-27 | 2018-02-15 | Program, control method, and information communication apparatus |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021034396A Division JP2021122107A (en) | 2012-12-27 | 2021-03-04 | Visible light communication methods and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020031438A JP2020031438A (en) | 2020-02-27 |
| JP6849773B2 true JP6849773B2 (en) | 2021-03-31 |
Family
ID=69622916
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019202658A Active JP6849773B2 (en) | 2012-12-27 | 2019-11-07 | Programs, control methods and controls |
| JP2021034396A Pending JP2021122107A (en) | 2012-12-27 | 2021-03-04 | Visible light communication methods and programs |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021034396A Pending JP2021122107A (en) | 2012-12-27 | 2021-03-04 | Visible light communication methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6849773B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230249588A1 (en) * | 2022-02-10 | 2023-08-10 | Matthew BAYES | Vehicle seat adjustment system and method |
| US12506636B2 (en) * | 2022-11-04 | 2025-12-23 | Bsh Home Appliances Corporation | Appliance management system |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2952513B2 (en) * | 1990-08-29 | 1999-09-27 | コニカ株式会社 | Camera remote control device |
| JP3981036B2 (en) * | 2003-03-27 | 2007-09-26 | 株式会社東芝 | Wireless optical communication system |
| DE102004046503B4 (en) * | 2004-09-23 | 2009-04-09 | Eads Deutschland Gmbh | Indirect optical free-space communication system for broadband transmission of high-rate data in the passenger compartment of an aircraft |
| JP4960158B2 (en) * | 2007-06-26 | 2012-06-27 | パナソニック株式会社 | Visible light communication system |
| JP2009009809A (en) * | 2007-06-27 | 2009-01-15 | Nec Lighting Ltd | lighting equipment |
| WO2009113416A1 (en) * | 2008-03-10 | 2009-09-17 | 日本電気株式会社 | Communication system, transmission device, and reception device |
| JP2012181319A (en) * | 2011-03-01 | 2012-09-20 | Nec Casio Mobile Communications Ltd | Portable terminal, control method of portable terminal, and program |
-
2019
- 2019-11-07 JP JP2019202658A patent/JP6849773B2/en active Active
-
2021
- 2021-03-04 JP JP2021034396A patent/JP2021122107A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021122107A (en) | 2021-08-26 |
| JP2020031438A (en) | 2020-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6616440B2 (en) | Program, control method, and information communication apparatus | |
| JP6118006B1 (en) | Information communication method, information communication apparatus, and program | |
| JP6378511B2 (en) | Information communication method, information communication apparatus, and program | |
| WO2014103156A1 (en) | Information communication method | |
| WO2014103152A1 (en) | Information communication method | |
| JP6970146B2 (en) | Programs, control methods, and information and communication equipment | |
| JP5608307B1 (en) | Information communication method | |
| JP6849773B2 (en) | Programs, control methods and controls | |
| WO2014103153A1 (en) | Information communication method | |
| JP6944571B2 (en) | Programs, devices and control methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210304 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6849773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |