JP4870993B2 - Remote control system - Google Patents
Remote control system Download PDFInfo
- Publication number
- JP4870993B2 JP4870993B2 JP2006015031A JP2006015031A JP4870993B2 JP 4870993 B2 JP4870993 B2 JP 4870993B2 JP 2006015031 A JP2006015031 A JP 2006015031A JP 2006015031 A JP2006015031 A JP 2006015031A JP 4870993 B2 JP4870993 B2 JP 4870993B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- videophone terminal
- control
- image information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、遠隔制御システムに関する。 The present invention relates to a remote control system.
従来より、テレビ電話にてキャラクタ等の代替画像を表示させたり、テレビ電話を用いた遠隔操作システム等、テレビ電話を用いた種々の技術が提案されている。
例えば、特許文献１に記載された従来技術では、テレビ電話の留守番電話の応答時に、ユーザ自身の映像に代わる代替画像を表示させ、代替画像表示時にアクションコマンドの入力により、アクションコマンドを反映した代替画像を表示させるテレビ電話端末が提案されている。当該テレビ電話端末において留守番電話の応答側（着信側）では、入力されたアクションコマンドを解析して（発信側に）表示されている代替画像を動作させる。
また特許文献２に記載された従来技術には、テレビ電話の通信端末にて、音声、トーン信号、文字、画像、動画像を用いて録画再生機器を遠隔操作する録画再生機器操作装置が提案されている。
また特許文献３に記載された従来技術には、テレビ電話回線を用いて、携帯電話にて遠隔地からの映像を受信し、当該携帯電話からＤＴＭＦ信号を送信して遠隔地の撮像手段の動作を制御する遠隔操作映像システムが提案されている。
For example, in the related art described in
Also, in the prior art described in
Also, in the prior art described in
特許文献１に記載した従来技術では、代替画像を受信して表示している発信側の機器は、受信した代替画像を表示するのみであり、当該代替画像を用いて何らかの制御を行うものではない。
特許文献２に記載した従来技術には、携帯通信端末から画像または動画像を送信して、当該画像または動画像を使ってどのように遠隔操作を行うか、という具体的な構成について何も記載されていない。
特許文献３に記載された従来技術では、遠隔操作の制御にはＤＴＭＦ信号（Dial Tone Multi Frequency信号：プッシュ音、トーン信号）を用いており、音声信号にて被制御機器を制御するものである。ＤＴＭＦ信号を用いて遠隔操作を行う場合、制御の種類はプッシュ音を出すボタンの数に依存し、制御命令の数の限界が低く、比較的不便である。また、押すことが可能なボタンは１度に１つであり、複数のボタンを同時に押して複数の制御を同時に行うことはできない。
本発明は、このような点に鑑みて創案されたものであり、制御命令の数を増加させることが可能であるとともに、拡張性の高い制御を行うことが可能な遠隔制御システムを提供することを課題とする。
In the prior art described in
The prior art described in
In the prior art described in
The present invention has been made in view of the above points, and provides a remote control system capable of increasing the number of control commands and performing highly scalable control. Is an issue.
上記課題を解決するための手段として、本発明の第１発明は、請求項１に記載されたとおりの遠隔制御システムである。
請求項１に記載の遠隔制御システムは、通信回線を介して情報を送受信可能な第１のテレビ電話端末装置及び第２のテレビ電話端末装置と、前記第２のテレビ電話端末装置に接続された制御サーバとを備える。
前記第１のテレビ電話端末装置は、被制御機器を制御する制御命令に対応させた画像情報が選択されると、選択された画像情報を含むコマンド情報を前記第２のテレビ電話端末装置に送信し、前記第２のテレビ電話端末装置は、受信したコマンド情報に含まれている画像情報を前記制御サーバに出力する。
そして前記制御サーバは、入力された画像情報を解析する画像認識手段と、前記画像認識手段による解析結果に応じた制御命令を判定する判定手段と、判定した制御命令に応じた制御信号を被制御機器に出力する制御信号出力手段とを有する。
さらに、前記画像情報は、キャラクタが所定の部位を所定の動作状態とすることを表示させる画像情報である。
そして前記制御サーバは、前記画像情報が入力されると、前記画像認識手段にて、前記所定の部位の動作状態を認識し、認識した部位における動作状態に応じた制御命令を判定する。
As means for solving the above-mentioned problems, the first invention of the present invention is a remote control system as described in
The remote control system according to
When image information corresponding to a control command for controlling the controlled device is selected, the first videophone terminal device transmits command information including the selected image information to the second videophone terminal device. Then, the second videophone terminal device outputs the image information included in the received command information to the control server.
The control server includes: an image recognition unit that analyzes input image information; a determination unit that determines a control command according to an analysis result by the image recognition unit; and a control signal according to the determined control command. Control signal output means for outputting to the device.
Further, the image information is image information for displaying that the character sets a predetermined part in a predetermined motion state.
When the image information is input, the control server recognizes the operation state of the predetermined part by the image recognition unit and determines a control command according to the operation state of the recognized part.
また、本発明の第２発明は、請求項２に記載されたとおりの遠隔制御システムである。
請求項２に記載の遠隔制御システムは、請求項１に記載の遠隔制御システムであって、前記画像情報におけるキャラクタは、所定の部位を所定の動作状態とする表示を複数組み合わせて複数の部位を各々所定の動作状態とする表示が可能である。
そして前記制御サーバは、前記画像情報におけるキャラクタの各々の部位における各々の動作状態に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号を被制御機器に出力する。
A second invention of the present invention is a remote control system as set forth in
The remote control system according to
The control server determines each control command according to each motion state in each part of the character in the image information, and outputs a control signal according to the determined plurality of control commands to the controlled device.
また、本発明の第３発明は、請求項３に記載されたとおりの遠隔制御システムである。
請求項３に記載の遠隔制御システムは、請求項１または２のいずれかに記載の遠隔制御システムであって、前記第１のテレビ電話端末装置は複数であり、前記制御サーバには、複数の第１のテレビ電話端末装置からの前記画像情報を入力することが可能であるとともに、第１のテレビ電話端末装置に対応させて遠隔制御の許可及び禁止を示すアクセス権情報が記憶されている。
そして前記制御サーバは、画像情報を送信してきた第１のテレビ電話端末装置と前記アクセス権情報とを照合し、当該第１のテレビ電話端末装置に対応する遠隔制御が許可を示している場合に制御信号を被制御機器に出力する。
According to a third aspect of the present invention, there is provided a remote control system according to the third aspect .
A remote control system according to
The control server collates the first videophone terminal device that has transmitted the image information with the access right information, and the remote control corresponding to the first videophone terminal device indicates permission. Output control signals to controlled devices.
また、本発明の第４発明は、請求項４に記載されたとおりの遠隔制御システムである。
請求項４に記載の遠隔制御システムは、請求項１〜３のいずれかに記載の遠隔制御システムであって、前記制御サーバは、前記制御命令に応じて制御された前記被制御機器が出力する画像情報または音声情報の少なくとも一方を含む被制御情報を、前記第２のテレビ電話端末装置及び前記通信回線を介して前記第１のテレビ電話端末装置に送信可能である。
そして前記第１のテレビ電話端末装置は、前記被制御情報を、前記通信回線を介して受信可能であり、受信した被制御情報に含まれている画像情報または音声情報の少なくとも一方を再生可能である。
According to a fourth aspect of the present invention, there is provided a remote control system according to the fourth aspect .
The remote control system according to claim 4 is the remote control system according to any one of
The first videophone terminal device can receive the controlled information via the communication line, and can reproduce at least one of image information and audio information included in the received controlled information. is there.
請求項１に記載の遠隔制御システムを用いれば、画像情報を用いるとともに、当該画像情報を解析する画像認識手段による解析結果にて制御命令を判定するので、ＤＴＭＦ信号の数に制限されることなく、画像認識手段による認識の数を増やすことでＤＴＭＦ信号の数以上の種々の制御命令を利用することが可能である。また、キャラクタの一部の部位の動作状態に制御命令を対応させることで、利用者が制御命令を意味づけして記憶し易く、画像情報と制御命令の対応を覚えることが容易である。
If the remote control system according to
また、請求項２に記載の遠隔制御システムを用いれば、ＤＴＭＦ信号を用いた場合には不可能であった複数の制御命令の組み合わせが可能であり、任意の制御命令を組み合わせて同時に制御を行うことが可能である。
Further, if the remote control system according to
また、請求項３に記載の遠隔制御システムを用いれば、アクセス権を適切に設定することが可能であり、セキュリティを要する被制御機器を適切に遠隔制御することができる。
Further, if the remote control system according to
また、請求項４に記載の遠隔制御システムを用いれば、遠隔制御を指示する第１のテレビ電話端末装置にて、遠隔制御した被制御機器の出力（画像情報または音声情報の少なくとも一方）を受信して確認することができるので、便利である。 If the remote control system according to claim 4 is used , the output (at least one of image information and audio information) of the remotely controlled device is received by the first videophone terminal device instructing the remote control. It is convenient because it can be confirmed.
以下に本発明を実施するための最良の形態を図面を用いて説明する。図１は、本発明の遠隔制御システム１の全体概略図の一実施の形態を示している。
図１の例に示すように、遠隔制御システム１は、通信回線３０を介して情報を送受信可能な第１のテレビ電話端末装置１０（この例では携帯端末装置であり、遠隔制御の指示を行うテレビ電話端末装置）、及び第２のテレビ電話端末装置２０（遠隔制御の指示を受けるテレビ電話端末装置）と、第２のテレビ電話端末装置２０に接続された制御サーバ４０にて構成される。なお通信回線３０には、テレビ電話回線やインターネット等、種々のものを用いることができる。例えば本実施の形態ではテレビ電話回線を通信回線３０として利用した。
第１のテレビ電話端末装置１０と第２のテレビ電話端末装置２０とが通信回線３０を介してテレビ電話が可能に接続された状態にて、第１のテレビ電話端末装置１０から所定のコマンド情報を送信すると、中継局３２及び通信回線３０を介して第２のテレビ電話端末装置２０がコマンド情報を受信して、受信したコマンド情報に含まれている画像情報を制御サーバ４０に出力する。
制御サーバ４０は、入力された画像情報に基づいた制御信号を出力し、所定エリアＡ（例えば個人宅）の被制御機器５０（（録画）再生装置、エアコン、照明、パーソナルコンピュータ等のリモートコントロールが可能な機器）を制御する。
また、制御支援サーバ６０は、本発明の遠隔制御システム１のサービス提供企業のサーバであり、第１のテレビ電話端末装置１０へのコマンド情報の提供（配信）や、制御サーバ４０への制御プログラム及び画像データベース（後述）の提供（配信）を行う。なお、制御支援サーバ６０は省略してもよい。
The best mode for carrying out the present invention will be described below with reference to the drawings. FIG. 1 shows an embodiment of an overall schematic view of a
As shown in the example of FIG. 1, the
Predetermined command information from the first
The
The
次に、図２を用いて制御サーバ４０の構成と動作について説明する。本実施の形態にて説明する遠隔制御システム１は、ＤＴＭＦ信号（プッシュ音、トーン信号）を用いて遠隔制御コマンドを送信していた従来技術とは異なり、テレビ電話を用いて、遠隔地の第１のテレビ電話端末装置１０から制御命令に対応させた画像情報を含むコマンド情報を送信し、第２のテレビ電話端末装置２０にて受信した画像情報を、制御サーバ４０の画像認識手段を用いて制御命令を解析して制御信号を出力する。
制御サーバ４０は、第２のテレビ電話端末装置２０から出力される画像情報を取り込む画像取り込み装置４２（画像キャプチャユニット等）、取り込んだ画像情報を解析するとともに解析結果に応じた制御命令を判定するパーソナルコンピュータ４３（画像認識手段及び判定手段に相当し、以下、パソコン４３と記載する）、判定した制御命令に応じた制御信号を出力するリモコン装置４４（制御信号出力手段に相当）にて構成される。
そしてリモコン装置４４から出力された制御信号ＬＲ（例えば赤外線信号）にて、被制御機器５０（（録画）再生装置、エアコン、照明、パソコン等）が制御される。
Next, the configuration and operation of the
The
The controlled device 50 ((recording) playback device, air conditioner, lighting, personal computer, etc.) is controlled by a control signal LR (for example, an infrared signal) output from the
なお、被制御機器５０とパソコン４３とが同一である場合、制御信号出力手段は当該パソコン４３を遠隔制御するソフトウェアが相当する。また、第２のテレビ電話端末装置２０と画像取り込み装置４２とパーソナルコンピュータ４３とリモコン装置４４の任意の機器を組み合わせて一体で構成してもよい。例えば、画像取り込み装置４２とパソコン４３は一体で構成されていてもよい。
また第２のテレビ電話端末装置２０には、第１のテレビ電話端末装置１０と画像情報及び音声情報を送受信して、ユーザ同士の顔を確認しながら通話を行う一般的なテレビ電話を利用する場合にはカメラ２１とマイク及びヘッドフォン等（図示省略）が必要である。しかし、本発明の遠隔制御システムとして利用し、一般的なテレビ電話を利用しなければ、第２のテレビ電話端末装置２０からカメラ２１とマイク及びヘッドフォン等は省略してもよい。その代わりに、第２のテレビ電話端末装置２０は、被制御機器５０から出力される画像情報及び音声情報を取り込む入力端子を備え、入力された画像情報及び音声情報を第１のテレビ電話端末装置１０に送信する。
If the controlled
The second
次にユーザが第１のテレビ電話端末装置１０を用いて、第２のテレビ電話端末装置２０及び制御サーバ４０を介して被制御機器５０を遠隔制御する手順を説明するとともに、図６に示すフローチャートを用いて制御サーバ４０の処理手順も説明する。
ユーザは第１のテレビ電話端末装置１０を用いて第２のテレビ電話端末装置２０との間でテレビ電話接続を確立させる。
制御サーバ４０は、ステップＳ１０にてテレビ電話接続されたか否かを判定する。接続された場合（Ｙｅｓ）、ステップＳ２０に進み、接続されていない場合（Ｎｏ）、ステップＳ１０に戻る。
Next, a procedure for the user to remotely control the controlled
The user uses the first
The
次にユーザは制御命令に対応する画像情報を含むコマンド情報を選択し、第２のテレビ電話端末装置２０を介して制御サーバ４０にコマンド情報を送信する。
コマンド情報に含まれている画像情報は、例えば、図３（Ａ）〜（Ｈ）に示すような、キャラクタが所定の部位を所定の状態（動作状態）とすることを表示させる画像情報や、図５（Ｂ）に示すような、制御命令による被制御機器に関する動作を示す図柄を表示させる画像情報である。
なお、本実施の形態にて説明するキャラクタは、「利用者の分身」として表示するものであり、例えばアバタと呼ばれるものである。まず、キャラクタを画像情報として用いる場合の例を説明する。
図３（Ａ）〜（Ｈ）は、キャラクタ「うさぎ」の画像情報の例を示しており、テレビ電話に用いる画像情報として、ユーザ自身の画像でなく当該キャラクタの画像情報を送信することができる。またユーザは当該キャラクタに動作等（アクション等）を与えた画像情報を任意に選択することができる。
また、キャラクタにおける各画像情報は、被制御機器５０を制御する制御命令に対応付けられている。例えば図３（Ａ）はキャラクタ基本形であり、制御状態を維持（何も制御しない）命令に対応付けられており、図３（Ｂ）はサングラスを装着した状態を示しており照明（被制御機器）に対する「オン（点灯）」の制御命令に対応付けられている。また例えば図３（Ｃ）は右手上げの状態で録画再生機器（被制御機器）に対する「再生」の制御命令に対応付けられ、図３（Ｄ）は左手上げの状態で録画再生機器（被制御機器）に対する「録画」の制御命令に対応付けられている。
Next, the user selects command information including image information corresponding to the control command, and transmits the command information to the
The image information included in the command information is, for example, image information for displaying that the character is in a predetermined state (motion state) as shown in FIGS. 3A to 3H, FIG. 5B is image information for displaying a symbol indicating an operation related to a controlled device according to a control command as shown in FIG.
Note that the character described in the present embodiment is displayed as “user's alternation” and is called, for example, an avatar. First, an example of using a character as image information will be described.
3A to 3H show examples of image information of the character “Rabbit”, and image information of the character can be transmitted as image information used for the videophone, not the user's own image. . Further, the user can arbitrarily select image information that gives an action or the like (action or the like) to the character.
Each image information in the character is associated with a control command for controlling the controlled
次に、図４を用いて遠隔制御を行っている第１のテレビ電話端末装置１０の表示部１０ａにおける表示例を説明する。
表示部１０ａには、テレビ電話の通話相手から受信した画像を表示する主画面１０ｂと、テレビ電話の通話相手に送信する自画像を表示する子画面１０ｃとが表示される。
通常のテレビ電話として利用する場合は、主画面１０ｂには通話相手の顔が表示され、子画面１０ｃには第１のテレビ電話端末装置１０を操作しているユーザの顔が表示される。
本実施の形態にて説明する遠隔制御として利用する場合は、第１のテレビ電話端末装置１０は、遠隔制御された被制御機器５０から出力された画像情報または音声情報の少なくとも一方を含む被制御情報（例えば（録画）再生装置の再生画像及び再生音声）を再生することが可能である。例えば図４（Ａ）に示すように、主画面１０ｂに被制御情報に含まれている画像情報を表示し、被制御情報に含まれている音声情報を出力することが可能である。また子画面１０ｃには、現在第２のテレビ電話端末装置２０に送信している画像情報が表示されている。
この場合、図２の例に示すように（録画）再生装置（被制御機器５０）の出力をテレビ電話端末装置２０に接続し、当該（録画）再生装置から出力された被制御情報（画像情報、音声情報等）を、通信回線３０を介して第１のテレビ電話端末装置１０にて受信可能に構成する。
そして第１のテレビ電話端末装置１０は、通信回線３０を介して被制御情報を受信可能であり、受信した被制御情報に基づいた（含まれている）画像情報または音声情報の少なくとも一方を再生可能に構成されている。
Next, the example of a display in the
The
When used as a normal videophone, the face of the other party is displayed on the
When used as remote control described in the present embodiment, the first
In this case, as shown in the example of FIG. 2, the output of the (recording) playback device (controlled device 50) is connected to the
The first
なお、図４（Ａ）では、第１のテレビ電話端末装置１０を用いて、図４（Ｂ）の例に示す制御命令に対応させた画像情報の中から「Ｎｏ．３」の画像を選択して、（録画）再生装置に対して「再生」の制御命令を送信した場合の例を示している。この場合、第１のテレビ電話端末装置１０は、子画面１０ｃに表示されている制御命令「再生」を指示する「Ｎｏ．３」の画像を送信し、（録画）再生装置から受信した被制御情報の画像情報を主画面１０ｂに表示する。
なお、第１のテレビ電話端末装置１０のユーザは画面の切り替え操作を行うことで、子画面１０ｃには（録画）再生装置への制御命令の選択を支援するメニュー画面を表示させたり、全画面モードに移行して図４（Ｂ）に示す画像情報の一覧を表示することができる。なお、メニュー画面に表示されていない制御命令であっても、ユーザの操作によって表示されたキャラクタ選択画面等（例えば図４（Ｂ）に示す一覧画面）から、所望する制御命令に対応する動作状態のキャラクタを選択することができる。
In FIG. 4A, the first
Note that the user of the first
次に図５を用いて、図柄を画像情報として用いる場合の例を説明する。
なお、図５（Ａ）では、第１のテレビ電話端末装置１０を用いて、図５（Ｂ）の例に示す制御命令に対応させた画像情報（この場合、図柄）の中から「Ｎｏ．１０」の画像を選択して、（録画）再生装置に対して「再生」の制御命令を送信した場合の例を示している。画像情報としてキャラクタを用いた場合と比較して、図柄を用いる方法では、制御命令と図柄とを、より理解し易く対応付けすることができるので便利である。
なお、図５（Ｂ）の例では、各図柄を一覧表示（全部とは限らない）した図柄を図柄基本形としており、この図柄では現在の制御状態を維持する（変化させない）ことが好ましい。
Next, with reference to FIG. 5, an example in the case of using a symbol as image information will be described.
In FIG. 5A, the first
In the example of FIG. 5 (B), the symbols in which each symbol is displayed as a list (not necessarily all) are used as the symbol basic shape, and the current control state is preferably maintained (not changed) in this symbol.
ユーザは、第１のテレビ電話端末装置１０に表示された第２のテレビ電話端末装置２０からの画像を確認することで、テレビ電話接続が確立していること確認し、選択したコマンド情報を送信する（例えば図３（Ｂ）の画像情報（制御命令「照明オン」）を選択して送信する）。
第２のテレビ電話端末装置２０は、コマンド情報を受信し、コマンド情報に含まれている画像情報を制御サーバ４０に出力する。この場合、テレビ電話の画面では、ユーザの画像がテレビ電話に表示されているのではなく、コマンド情報に含まれている画像情報がテレビ電話に表示されている。
そして制御サーバ４０はステップＳ２０にて、テレビ電話に表示されている画像情報（この場合、図３（Ｂ）の画像情報）を取り込み、ステップＳ３０に進む。
The user confirms that the videophone connection has been established by confirming the image from the second
The second
In step S20, the
制御サーバ４０はステップＳ３０にて、制御サーバ４０に予め記憶されている画像データベースを参照して画像認識を行い、取り込んだ画像情報のキャラクタの種類（または図柄のグループの種類）を判定する。なお、画像データベースを制御支援サーバ６０に記憶しておき、制御サーバ４０から制御支援サーバ６０に参照にいくように構成してもよい。また画像情報を制御サーバ４０から制御支援サーバ６０に送信し、制御支援サーバ６０による判定結果を制御サーバ４０で受信するように構成してもよい。
なお、画像認識によるキャラクタ種類の判定方法は、例えば画像データベースに記憶されている輪郭を参照して一致する輪郭のキャラクタ（または図柄）と判定させたり、画像における所定位置（例えば領域Ｇ９の右下部）に識別用の特定図柄を挿入するようにしてもよい。
図３ではキャラクタ「うさぎ」の例を示したが、ユーザの嗜好に合わせた複数のキャラクタ（または図柄グループ）を用意しておくことが可能であり、キャラクタ毎（または図柄のグループ毎）に異なる制御が可能である。
ステップＳ４０では、認識したキャラクタの種類（または図柄のグループの種類）が遠隔制御用のキャラクタ（または図柄のグループ）であるか否かを判定する。遠隔制御用キャラクタ（または図柄のグループ）であると判定した場合（Ｙｅｓ）はステップＳ５０に進む。また、遠隔制御用キャラクタ（または図柄のグループ）でないと判定した場合（Ｎｏ）は、例えば第１のテレビ電話端末装置１０に「遠隔制御用のキャラクタではありません」等のメッセージ出力用の情報を送信し、ステップＳ１０に戻ってもよいし、メッセージ出力等を行わずに（何も処理を行わずに）ステップＳ１０に戻ってもよい。
In step S30, the
Note that the character type determination method based on image recognition can be determined as a character (or pattern) having a matching contour with reference to the contour stored in the image database, for example, or a predetermined position in the image (for example, the lower right portion of the region G9) ) May be inserted with a specific symbol for identification.
FIG. 3 shows an example of the character “rabbit”, but it is possible to prepare a plurality of characters (or symbol groups) according to the user's preference, and it is different for each character (or symbol group). Control is possible.
In step S40, it is determined whether or not the recognized character type (or symbol group type) is a remote control character (or symbol group). If it is determined that the character is a remote control character (or symbol group) (Yes), the process proceeds to step S50. If it is determined that the character is not a remote control character (or symbol group) (No), for example, message output information such as “not a remote control character” is transmitted to the first
ステップＳ５０に進んだ場合、当該コマンド情報を送信してきた第１のテレビ電話端末装置１０が、当該キャラクタを用いた遠隔制御を行うアクセス権を有しているか否かを確認する。制御サーバ４０は、特定の第１のテレビ電話端末装置だけでなく、複数の第１のテレビ電話端末装置から遠隔制御を利用することが可能である（例えば第１のテレビ電話端末装置１０Ａから第２のテレビ電話端末装置２０を介して遠隔制御が可能であり、第１のテレビ電話端末装置１０Ｂから第２のテレビ電話端末装置２０を介して遠隔制御が可能である）。
制御サーバ４０には、第１のテレビ電話端末装置に対応させて制御命令の許可及び禁止を示すアクセス権情報が記憶されている。例えば第１のテレビ電話端末装置１０Ａについては（電話番号、固有ＩＤ等で特定）キャラクタ「うさぎ」による遠隔制御を「許可」と記憶し、他のキャラクタによる遠隔制御を、それぞれ「禁止」と記憶する。
制御サーバ４０は、コマンド情報を送信してきた第１のテレビ電話端末装置の電話番号、固有ＩＤ等（コマンド情報等に含まれている）から第１のテレビ電話端末装置を特定し、アクセス権情報と照合する。そしてアクセス権情報に、認識したキャラクタの項目に「許可」が設定されている場合（Ｙｅｓ）はステップＳ６０に進む。また、「許可」が設定されていない場合（Ｎｏ）は、例えば第１のテレビ電話端末装置に「このキャラクタで遠隔制御する権限がありません」等のメッセージ出力用の情報を送信し、ステップＳ１０に戻ってもよいし、メッセージ出力等を行わずに（何も処理を行わずに）ステップＳ１０に戻ってもよい。
When the process proceeds to step S50, it is confirmed whether or not the first
The
The
ステップＳ６０に進んだ場合、制御サーバ４０は、画像認識手段を用いて、認識したキャラクタの種類（この場合、キャラクタ「うさぎ」）における所定の部位の動作状態を認識して（この場合、「サングラス装着」を認識）、ステップＳ７０に進む。
制御サーバ４０における画像認識では、例えば図３に示すように、表示した画像情報を複数の領域（図３の例では領域Ｇ１〜領域Ｇ９）に分割し、分割された各領域内にて、キャラクタの基本形の画像（図３の例では（Ａ））と相違する領域（所定の部位に相当）と相違内容（所定の動作状態に相当）を判定する。例えば図３（Ｂ）に示す画像では、制御サーバ４０は、基本形である図３（Ａ）の各領域Ｇ１〜Ｇ９と図３（Ｂ）の各領域Ｇ１〜Ｇ９とを比較して「領域Ｇ５」に相違があることを認識する。そして制御サーバは、図３（Ｂ）の領域Ｇ５と、キャラクタ「うさぎ」の領域５に関する画像データベースと参照して、相違内容は「サングラス装着」であることを認識する。なお図示省略するが、同じ領域Ｇ５であっても、「両目閉じ」、「右目ウィンク」、「帽子装着」等、種々の動作状態を設定可能であり、従来のＤＴＭＦ信号のトーン信号数に制限されることなく、種々の制御命令を遠隔制御で使用することができる。
なお、第１のテレビ電話端末装置１０の子画面１０ｃに、制御命令に対応させた画像情報が表示されるので、従来のＤＴＭＦ信号の「音」よりも、「現在、どのような制御命令を指示したか」を、より判り易く報知することができる。
なお、所定の部位の所定の動作状態を判定する画像認識方法は、上記の方法に限定されず、種々の方法（ロジック）で実現することができる。
When the process proceeds to step S60, the
In the image recognition in the
In addition, since the image information corresponding to the control command is displayed on the sub-screen 10c of the first
Note that the image recognition method for determining a predetermined operation state of a predetermined part is not limited to the above method, and can be realized by various methods (logic).
そしてステップＳ７０では、認識したキャラクタにおける所定の部位の動作状態に応じた制御命令（この場合、「照明オン」）を判定し、ステップＳ８０に進む。
そして制御サーバ４０はステップＳ８０にて、判定した制御命令に応じた制御信号（この場合、照明を点灯させる制御信号）を制御信号出力手段から出力し、ステップＳ１０に戻る（画像データベースには、制御命令が、前記の部位及び動作状態に対応させて記憶されている）。
なお、キャラクタの画像情報において、所定の部位を所定の動作状態とする表示を複数組み合わせて複数の部位を各々所定の動作状態とした画像情報を用いることもできる。例えば図３（Ｃ）が「領域Ｇ４、Ｇ７」の部位にて「右手上げ」の動作状態を表示して（録画）再生機器への「再生」の制御命令に対応付けられており、図３（Ｄ）が「領域Ｇ６、Ｇ９」の部位にて「左手上げ」の動作状態を表示して（録画）再生機器への「録画」の制御命令に対応付けられている場合、図３（Ｇ）に示す「領域Ｇ４、Ｇ７」の「右手上げ」と「領域Ｇ６、Ｇ９」の「左手上げ」を組み合わせた画像情報をコマンド情報として利用すると、「再生」と「録画」の制御命令を実行することができる（例えば（録画）再生機器がＨＤＤレコーダの場合、録画しながら再生することが可能である）。
更には、図３（Ｈ）に示すように「領域Ｇ５」の「サングラス装着」も組み合わせると、「再生」と「録画」に加えて「照明点灯」の制御命令も実行することが可能となる。
In step S70, a control command (in this case, “illumination on”) according to the motion state of the predetermined part of the recognized character is determined, and the process proceeds to step S80.
In step S80, the
In the image information of the character, image information in which a plurality of parts are in a predetermined motion state can be used by combining a plurality of displays in which the predetermined part is in a predetermined motion state. For example, FIG. 3C shows the operation state of “right hand raising” in the region “region G4, G7” and is associated with the “playback” control command to the (recording) playback device. When (D) displays the operation state of “left-handed up” at the part of “regions G6 and G9” and is associated with the “recording” control command to the (recording) playback device, FIG. ), The control commands for “playback” and “recording” are executed when the image information obtained by combining “right-handed” of “regions G4 and G7” and “left-handed” of “regions G6 and G9” shown in FIG. (For example, if the (recording) playback device is an HDD recorder, it can be played back while recording).
Furthermore, as shown in FIG. 3H, when “Sunglasses wearing” of “region G5” is also combined, it becomes possible to execute a control command of “illumination lighting” in addition to “playback” and “recording”. .
また、例えば図５（Ａ）及び（Ｂ）に示すように、第１のテレビ電話端末装置１０の子画面１０ｃに遠隔制御用の画像情報の一覧メニューに相当する画面（例えば「Ｎｏ．１図柄基本形」）を表示する。そしてユーザが、当該一覧の中から例えば「１←（左矢印）」と「９（右向き三角形）」を選択すると、第１のテレビ電話端末装置１０は、選択した図柄を組み合わせた「図柄Ｎｏ．（ｎ）（左矢印と右向き三角形）」を生成し、子画面１０ｃに表示するとともに、第２のテレビ電話端末装置２０に送信する。
制御サーバ４０は、画像認識手段を用いて、「図柄Ｎｏ．（ｎ）（左矢印と右向き三角形）」の画像から「１←（左矢印）」と「９（右向き三角形）」を認識し、認識した各々の図柄に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号（この場合、「カーソル左移動」と「再生」）を被制御機器５０に出力する。なお、「１←（左矢印）」と「９（右向き三角形）」の形状はもちろんのこと、色彩も異なるものとしておけば、より容易に認識（識別）することができる。
Further, for example, as shown in FIGS. 5A and 5B, a screen corresponding to a list menu of image information for remote control (for example, “No. 1 design” is displayed on the
The
本実施の形態にて説明した遠隔制御システム１では、従来のＤＴＭＦ信号による制御では不可能であった複数の制御命令の組み合わせ（上記）に加えて、継続的に制御状態を保持する制御も可能である（例えば（録画）再生機器の再生中に早送りボタンを押し続ける早送り再生等）。例えば、制御命令「再生」のコマンド情報を送信した後、制御命令「早送り」のコマンド情報を、所望する継続期間中、送信し続ければよい。
また本実施の形態にて説明した遠隔制御システム１では、従来のＤＴＭＦ信号による制御とは異なり、プッシュ音を利用していないので、第３者が盗聴し易い音声の盗聴を回避することができ、より安全である。
また、キャラクタの動作状態に制御命令を対応付けることで意味づけが可能であり（例えば、照明を点灯したから（眩しくて）サングラスをかける等）、ユーザが制御命令に対する画像情報を覚えることが容易である。
In the
Also, in the
In addition, it is possible to make sense by associating a control command with a character's motion state (for example, because the lighting is turned on (because of dazzling sunglasses)), it is easy for the user to remember image information for the control command. is there.
次に、図７に第１のテレビ電話端末装置１０、第２のテレビ電話端末装置２０、制御サーバ４０の機能ブロック図の例を示す。
図７にて太字で示した第１のテレビ電話端末装置１０のステップＳ１００、画像生成ブロック１２、テレビ電話で送信する画像情報を選択する画像選択ブロック１３、及び制御サーバ４０が、従来のＤＴＭＦ信号を用いた遠隔制御システムから変更した個所である。
制御サーバ４０内の各機能については既に説明しているので省略する。
第１のテレビ電話端末装置１０において、ステップＳ１００は、本実施の形態にて説明した画像情報による遠隔制御を行うか否かを判定しており、「否」の場合（Ｎｏ）は、通常のテレビ電話または従来のＤＴＭＦ信号による遠隔制御を行うことができる。ＤＴＭＦ信号による遠隔制御を行う場合、図７では点線で示しているＤＴＭＦ信号生成ブロック１１、ＤＴＭＦ装置８０を必要とする。
Next, FIG. 7 shows an example of a functional block diagram of the first
Step S100 of the first
Since each function in the
In the first
画像生成ブロック１２は、ユーザからの指示に応じた画像情報を選択するブロックである。なお、図３の例における領域Ｇ１〜Ｇ９の領域毎の動作状態をユーザが選択することで、ユーザが任意の画像を生成できるようにしてもよい。
画像選択ブロック１３では、ユーザを撮像するカメラからの画像をテレビ電話で利用するか、上記の生成した画像をテレビ電話で利用するか、ユーザの指示に応じて選択する。なお、画像選択ブロック１３から出力されている「子画面合成」は、図４（Ａ）における子画面１０ｃの表示情報（この場合、遠隔制御のメニュー画面）を生成することを示している。
ＤＴＭＦ信号を用いた従来の遠隔制御システムでは、図７のＤＴＭＦ装置８０にてスーパーインポーズ機能を用いて遠隔制御のメニュー画面等をテレビ電話画像に挿入しており、テレビ電話通信のノイズ等の影響により第１のテレビ電話端末装置１０に表示される画像の鮮明度が低く、且つ第２のテレビ電話端末装置２０から送信される画像情報を表示する主画面１０ｂを隠してしまう（覆うように表示される）。しかし本実施の形態では、図７の画像選択ブロックにて遠隔制御のメニュー画面等を生成して表示しているので、テレビ電話通信を介しておらず、非常に鮮明度の高いメニュー画面等を表示させることができるとともに、子画面１０ｃにメニュー画面等を表示するので、主画面１０ｂをメニュー画面等で隠してしまうことがない。
The
In the
In the conventional remote control system using the DTMF signal, a menu screen for remote control is inserted into the videophone image using the superimpose function in the DTMF device 80 of FIG. Due to the influence, the sharpness of the image displayed on the first
次に図８を用いて、第１のテレビ電話端末装置１０Ａと第２のテレビ電話端末装置２０Ａとを用いたテレビ電話システムＡと、第１のテレビ電話端末装置１０Ｂと第２のテレビ電話端末装置２０Ｂとを用いたテレビ電話システムＢとの、複数の異なるテレビ電話システムにて、１台の制御サーバ４０から被制御機器５０を遠隔制御する構成について説明する。なお、図８の例では１台の制御サーバ４０に２組のテレビ電話システムを接続した構成の例を示したが、３組以上のテレビ電話システムを接続することも可能である。この構成にて、制御サーバ４０にて例えばオンラインゲーム等のサービスを提供することができる。
第２のテレビ電話端末装置２０Ａが出力する画像情報と、第２のテレビ電話端末装置２０Ｂが出力する画像情報とを、制御サーバ４０の画像取り込み装置４２に入力する。そして、２台の第２のテレビ電話端末装置２０Ａ、２０Ｂからの各々の画像情報を画像認識して制御命令を判定（アクセス権の判定も各々の画像情報にて行うことが可能）し、２台の第２のテレビ電話端末装置２０Ａ、２０Ｂに対応させて設けた２台の制御信号出力手段４４から制御信号を出力する。
なお図８の例では、第２のテレビ電話端末装置２０Ａの音声出力と被制御機器５０からの音声出力とを合成して第２のテレビ電話端末装置２０Ｂの音声入力部に入力し、第２のテレビ電話端末装置２０Ｂの音声出力と被制御機器５０からの音声出力とを合成して第２のテレビ電話端末装置２０Ａの音声入力部に入力している。
また、第２のテレビ電話端末装置２０Ａの画像入力には被制御機器からの画像を入力し、第２のテレビ電話端末装置２０Ｂの画像入力には被制御機器からの画像を入力している。この場合、制御サーバ４０の画像認識手段及び制御命令の判定手段は２組設ける必要がない。
Next, referring to FIG. 8, a videophone system A using the first
The image information output from the second
In the example of FIG. 8, the audio output of the second
Further, an image from the controlled device is input to the image input of the second
本発明の遠隔制御システム１は、本実施の形態で説明した外観、構成、処理、表示例等に限定されず、本発明の要旨を変更しない範囲で種々の変更、追加、削除が可能である。
本実施の形態にて説明したコマンド情報に含ませる画像情報は静止画像の例を用いたが、動画像を用いて画像認識させることも可能である。この場合、動作速度の変化も加えることができるので、更に複数の制御命令に対応付けすることが可能である。
また、音声情報と画像情報は干渉しないので、従来のＤＴＭＦとの併用が可能である。従って、既存のＤＴＭＦ信号による遠隔制御を利用しながら、本実施の形態にて説明した遠隔制御を行うことも可能である。
また遠隔制御としては、家電製品のリモコン操作やパソコン４３のソフトウェアの操作等、種々の制御を行うことが可能である。
また、第１のテレビ電話端末装置１０の画像生成プログラム（コマンド情報に含ませる画像情報を生成するプログラム）、制御サーバ４０の画像データベース及び画像認識プログラム等は、制御支援サーバ６０から配信することが可能である。
本実施の形態の説明では、遠隔制御の指示を行う第１のテレビ電話端末装置１０に携帯端末装置を用いたが、第１のテレビ電話端末装置１０は携帯端末装置に限定されるものではなく、テレビ電話端末装置であれば、固定式等であってもよい。
The
The image information included in the command information described in this embodiment uses a still image example, but it is also possible to recognize an image using a moving image. In this case, since a change in the operation speed can be added, it is possible to further associate with a plurality of control commands.
Further, since audio information and image information do not interfere with each other, it can be used in combination with a conventional DTMF. Therefore, it is possible to perform the remote control described in the present embodiment while using the existing remote control by the DTMF signal.
As remote control, various controls such as remote control operation of home appliances and software operation of the
Further, the image generation program of the first videophone terminal device 10 (program for generating image information included in the command information), the image database of the
In the description of the present embodiment, the mobile terminal device is used as the first
１ 遠隔制御システム
１０ 第１のテレビ電話端末装置
２０ 第２のテレビ電話端末装置
３０ 通信回線
３２ 基地局
４０ 制御サーバ
４２ 画像取り込み装置
４３ パーソナルコンピュータ（画像認識手段、判定手段）
４４ リモコン装置（制御信号出力手段）
５０ 被制御機器
６０ 制御支援サーバ
DESCRIPTION OF
44 Remote control device (control signal output means)
50
Claims (4)
前記第１のテレビ電話端末装置は、被制御機器を制御する制御命令に対応させた画像情報が選択されると、選択された画像情報を含むコマンド情報を前記第２のテレビ電話端末装置に送信し、
前記第２のテレビ電話端末装置は、受信したコマンド情報に含まれている画像情報を前記制御サーバに出力し、
前記制御サーバは、
入力された画像情報を解析する画像認識手段と、
前記画像認識手段による解析結果に応じた制御命令を判定する判定手段と、
判定した制御命令に応じた制御信号を被制御機器に出力する制御信号出力手段とを有し、
前記画像情報は、キャラクタが所定の部位を所定の動作状態とすることを表示させる画像情報であり、
前記制御サーバは、前記画像情報が入力されると、前記画像認識手段にて、前記所定の部位の動作状態を認識し、認識した部位における動作状態に応じた制御命令を判定する、
ことを特徴とする遠隔制御システム。 A first videophone terminal device and a second videophone terminal device capable of transmitting and receiving information via a communication line, and a control server connected to the second videophone terminal device;
When image information corresponding to a control command for controlling the controlled device is selected, the first videophone terminal device transmits command information including the selected image information to the second videophone terminal device. And
The second videophone terminal device outputs image information included in the received command information to the control server,
The control server
Image recognition means for analyzing input image information;
Determination means for determining a control command according to an analysis result by the image recognition means;
A control signal corresponding to the determined control command have a control signal output means for outputting to the controlled device,
The image information is image information for displaying that the character sets a predetermined part in a predetermined motion state,
When the image information is input, the control server recognizes the operation state of the predetermined part by the image recognition unit, and determines a control command according to the operation state of the recognized part.
A remote control system characterized by that.
前記画像情報におけるキャラクタは、所定の部位を所定の動作状態とする表示を複数組み合わせて複数の部位を各々所定の動作状態とする表示が可能であり、
前記制御サーバは、前記画像情報におけるキャラクタの各々の部位における各々の動作状態に応じた各々の制御命令を判定し、判定した複数の制御命令に応じた制御信号を被制御機器に出力する、
ことを特徴とする遠隔制御システム。 The remote control system according to claim 1 ,
The character in the image information is capable of displaying a plurality of parts in a predetermined motion state by combining a plurality of displays in which the predetermined part is in a predetermined motion state,
The control server determines each control command according to each motion state in each part of the character in the image information, and outputs a control signal according to the determined plurality of control commands to the controlled device.
A remote control system characterized by that.
前記第１のテレビ電話端末装置は複数であり、
前記制御サーバには、複数の第１のテレビ電話端末装置からの前記画像情報を入力することが可能であるとともに、第１のテレビ電話端末装置に対応させて遠隔制御の許可及び禁止を示すアクセス権情報が記憶されており、
前記制御サーバは、画像情報を送信してきた第１のテレビ電話端末装置と前記アクセス権情報とを照合し、当該第１のテレビ電話端末装置に対応する遠隔制御が許可を示している場合に制御信号を被制御機器に出力する、
ことを特徴とする遠隔制御システム。 The remote control system according to claim 1 or 2 ,
A plurality of the first videophone terminal devices;
The control server is capable of inputting the image information from a plurality of first videophone terminal devices, and access indicating permission and prohibition of remote control corresponding to the first videophone terminal devices Rights information is stored,
The control server collates the first videophone terminal device that has transmitted image information with the access right information, and performs control when the remote control corresponding to the first videophone terminal device indicates permission. Output signals to controlled devices,
A remote control system characterized by that.
前記制御サーバは、前記制御命令に応じて制御された前記被制御機器が出力する画像情報または音声情報の少なくとも一方を含む被制御情報を、前記第２のテレビ電話端末装置及び前記通信回線を介して前記第１のテレビ電話端末装置に送信可能であり、
前記第１のテレビ電話端末装置は、前記被制御情報を、前記通信回線を介して受信可能であり、受信した被制御情報に含まれている画像情報または音声情報の少なくとも一方を再生可能である、
ことを特徴とする遠隔制御システム。 The remote control system according to any one of claims 1 to 3 ,
The control server transmits controlled information including at least one of image information and audio information output from the controlled device controlled in accordance with the control command via the second videophone terminal device and the communication line. Can be transmitted to the first videophone terminal device,
The first videophone terminal device can receive the controlled information via the communication line and can reproduce at least one of image information and audio information included in the received controlled information. ,
A remote control system characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006015031A JP4870993B2 (en) | 2006-01-24 | 2006-01-24 | Remote control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006015031A JP4870993B2 (en) | 2006-01-24 | 2006-01-24 | Remote control system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007201597A JP2007201597A (en) | 2007-08-09 |
| JP4870993B2 true JP4870993B2 (en) | 2012-02-08 |
Family
ID=38455763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006015031A Expired - Fee Related JP4870993B2 (en) | 2006-01-24 | 2006-01-24 | Remote control system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4870993B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5431118B2 (en) * | 2009-11-05 | 2014-03-05 | シャープ株式会社 | Transmission device, execution device, remote control system, control method for transmission device, control method for execution device, control program, and recording medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3372148B2 (en) * | 1995-10-03 | 2003-01-27 | 京セラミタ株式会社 | Communication equipment |
| JP2000032153A (en) * | 1998-07-14 | 2000-01-28 | Sharp Corp | Home control system |
| JP2002281567A (en) * | 2001-03-14 | 2002-09-27 | Nec Corp | Method/system for remote control and program for remote control system |
-
2006
- 2006-01-24 JP JP2006015031A patent/JP4870993B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007201597A (en) | 2007-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220224735A1 (en) | Information processing apparatus, non-transitory computer readable medium storing program, and method | |
| US9661264B2 (en) | Multi-display video communication medium, apparatus, system, and method | |
| CN101646992B (en) | Content reproduction system, content reproduction/control device | |
| CN113439255A (en) | Information processing apparatus, information processing method, and program | |
| KR102413269B1 (en) | Information processing device | |
| CN104539871B (en) | Multimedia session method and device | |
| JP6283160B2 (en) | Information processing program, information processing apparatus, information processing system, and information processing method | |
| JP5407777B2 (en) | Mobile terminal device and communication method between mobile terminal devices | |
| KR101141478B1 (en) | Graphical user interface apparatus and connection method in two-way communication system | |
| US20230126656A1 (en) | Video call method and display apparatus | |
| JP6414223B2 (en) | Operation system, communication terminal, communication system, operation method, and program | |
| CN112073761B (en) | Implementation method and device of bluetooth function, dual hardware system display device | |
| WO2017026170A1 (en) | Client device, server device, display processing method, and data distribution method | |
| KR101594861B1 (en) | Web server for supporting collaborative animation production service and method thereof | |
| JP2007213364A (en) | Image converter, image conversion method, and image conversion program | |
| JP2006041884A (en) | Information processing apparatus and method, recording medium, and program | |
| JP6422286B2 (en) | Karaoke management system | |
| JP4870993B2 (en) | Remote control system | |
| JP7300505B2 (en) | Information processing device and image display method | |
| JP2015172883A (en) | Terminal equipment, information communication method, and information communication program | |
| KR102391327B1 (en) | Method and system to provide and use shared content | |
| JP4296976B2 (en) | Communication terminal device | |
| JP2007158945A (en) | Communication terminal device and communication system | |
| CN115412771B (en) | Interactive control method between intelligent watch and intelligent television and related equipment | |
| CN211744635U (en) | Remote controller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20081007 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20081022 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081022 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20081022 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081215 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090105 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110819 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111118 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |