Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3603674B2 - Computer system power control system - Google Patents
[go: Go Back, main page]

JP3603674B2 - Computer system power control system - Google Patents

Computer system power control system Download PDF

Info

Publication number
JP3603674B2
JP3603674B2 JP17562799A JP17562799A JP3603674B2 JP 3603674 B2 JP3603674 B2 JP 3603674B2 JP 17562799 A JP17562799 A JP 17562799A JP 17562799 A JP17562799 A JP 17562799A JP 3603674 B2 JP3603674 B2 JP 3603674B2
Authority
JP
Japan
Prior art keywords
state
power supply
power
computer system
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17562799A
Other languages
Japanese (ja)
Other versions
JP2001005550A (en
Inventor
孝宏 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP17562799A priority Critical patent/JP3603674B2/en
Publication of JP2001005550A publication Critical patent/JP2001005550A/en
Application granted granted Critical
Publication of JP3603674B2 publication Critical patent/JP3603674B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Power Sources (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、コンピュータシステムの電源制御システムに関し、特にコンピュータシステムにおけるサスペンド、レジューム機能等による電源制御システムに関する。
【0002】
【従来の技術】
従来、電源制御システムは、自動的に電源の遮断及び電力の出力軽減を実行する機能によって、消費電力を抑え、又機器の消耗を抑える等の目的で広く利用されている。
【0003】
特にコンピュータシステムにおいては、消費電力を抑え、ディスプレイの焼き付けを防止し、コンピュータシステムの加熱を防止し、また電源の入力切断の動作の手間を省き自動化する等の目的のため、従来から電源制御システムを備えることが一般的である。このコンピュータシステムにおける電源制御方法では、主にサスペンド、レジューム機能等が用いられている。
【0004】
また、従来の電源制御システムでは、利用者がコンピュータ機器を使用中であるかどうかを認識する方法として、機器を直接操作した最後の時点からの経過時間を用いて一定時間が経過している場合に使用中でないと判断する認識方法が広く利用されている。
【0005】
従来、パソコン等の一般にコンピュータシステムと言われる機器において、経過時間を用いる方法が利用されているのは、従来この方法はカメラ等の特別の装備を必要とせずに、キーボード、マウス等からの入力を監視することで容易に電源制御が実現できるためである。しかし、これらのコンピュータシステムでは利用者がディスプレイの前で利用中でも長時間キーボード等の操作のないことが多く、この場合にも利用者がディスプレイの表示を見ていたり、要求した処理の終了待ち等があり、経過時間による電源制御方法は好ましくない点があった。このため利用者の存在するかどうかを認識して電源制御を行なう電源制御方法が、パソコン等のコンピュータシステムでも利用されるようになっている。
【0006】
コンピュータシステムにおける、利用者の存在認識による電源制御方法の従来の技術としては、赤外線センサーを用いて機器と利用者の距離を判断する方法(特開平5−19905号公報、特開平10−326126号公報)が提案されている。
【0007】
また、カメラを用いて機器の前面の画像を取り、この画像を分析し利用者の顔面、胴体等の位置を分析し判断して電源制御を行なう方法(特開平7−271482号公報、特開平7−325639号公報)がある。
【0008】
特開平7−271482号公報では、カメラから取りこんだ画像を処理して利用者の存在等を認識し、コンピュータシステムの電源の投入や遮断、又はスリープ状態やその解除を行なう技術が記載されている。この従来技術における利用者の存在の認識方法は、カメラから取りこんだ画像を処理し、その画像内に顔面、胴体の両方が存在することを認識した場合において、利用者がコンピュータシステムに向かって作業をしているものと判定する。また、特開平7−325639号公報では、カメラにより利用者の顔面を認識することにより、作業の中断及び再開を認識し、コンピュータシステムにレジューム機能を実現する技術が記載されている。
【0009】
【発明が解決しようとする課題】
上述したように従来の電源制御システムでは、以下に述べるような問題点があった。
【0010】
従来の電源制御システムでは、ユーザー自らの設定が必要である。また、従来の方法ではサスペンド状態等からの復帰や、レジューム機能を作動させた場合の再起動にはキーボードやマウスを動かしたり、又電源スイッチを入れることが必要であった。
【0011】
より簡単に、または利用者の一切の操作を必要としない電源制御が求められている。
【0012】
また、前記特開平7−271482号公報に公開された従来技術では以下のような問題点がある。
【0013】
この従来技術では、コンピュータシステムの電源の投入と遮断を行なうが、しかしシステムのバックアップ、その復元等から成るレジューム機能がない。よってこの従来技術では、電源の投入や遮断の機能の利用分野は周辺機器等に限られ、コンピュータシステムのシステム本体の電源に対する電源の遮断には適切でなく、コンピュータシステムの消費電力を抑えるためには不十分である。
【0014】
この従来技術による電源制御の動作は、電源の投入や遮断を行なう動作か、又はスリープ状態やその解除を行なう動作かのいずれか一方である。電源制御の動作には、レジューム機能とサスペンドを組み合わせる等のより柔軟で効率のよい方法が求められる。
【0015】
この従来技術による利用者の存在の認識方法では、カメラから取りこんだ画像内に顔面、胴体の両方が存在する場合に利用中であると判定するため、人物が機器の前方にいれば、全く機器のほうに顔や目を向けていなにもかかわらず、利用中であると認識されるという問題が生じる。これにより、機器が設置されている机等にて、利用者が機器の使用を中止し他の作業を始めることは実際に多くあるにもかかわらず、この場合には利用中と判断され電源制御が開始しない。また、機器の前を人が通り過ぎただけで利用中と判断され、サスペンドが解除される等の問題が生じる。
【0016】
特開平7−325639号公報に公開された従来技術では以下のような問題点がある。
【0017】
この従来技術ではレジューム機能を持つため、コンピュータシステムのシステム本体の電源に対する電源の遮断を含む電源制御が可能である。しかし、レジューム機能のみで、サスペンドの機能がく、作業の中断時には、サスペンドを行なうことなくレジューム機能を実行する。レジューム機能を行ない電源を停止する場合では、サスペンドにより一時的に周辺機器を止めた場合よりも作業が再開できるまでの時間が掛かり、さらにレジューム機能を行なうためにはバックアップ等のより大掛かりな作業を必要とする。
【0018】
よって、作業の中断や再開が頻繁に行なわれる場合等では、作業が再開できるまでの待ち時間や、機器の消耗等の問題点がある。
【0019】
本発明の目的は、上記従来技術の欠点を解決するため、利用者からの指示を必要とすることなく電源制御が可能で、消費電力の効率良い削減が可能なコンピュータシステムの電源制御システムを提供することにある。
【0020】
本発明の他の目的は、コンピュータシステムが使用中であるかどうかを適切に判断し、その判断結果と各種の電源制御方式を組み合わせることで、より効率的な電源制御を可能とするコンピュータシステムの電源制御システムを提供することにある。
【0021】
【課題を解決するための手段】
上記目的を達成するため本発明は、コンピュータシステムの電源を制御する電源制御システムにおいて、一定の時間間隔での撮像による利用者の顔画像の認識により、コンピュータシステムが使用中か否かを判定し、当該判定結果と現在の電源状態の組み合わせに基づいて、通常運転状態からサスペンド状態、前記サスペンド状態からレジューム機能による電源OFF状態、前記サスペンド状態又は前記レジューム機能による電源OFF状態から前記通常運転状態へ、前記電源の状態を変更する制御を行うことを特徴とする。
【0022】
請求項2の本発明の電源制御システムによれば、前記利用者を撮影する撮影手段と、撮影された画像を解析して顔画像を抽出することにより、前記利用者の有無と利用者の顔と目の向きがディスプレイ画面に向いているかどうかで、前記コンピュータシステムが使用中であるかどうかを判定する画像判定手段と、前記コンピュータシステムが不使用状態である場合に前記電源がサスペンド状態となり、前記コンピュータシステムが不使用状態でかつ前記電源がサスペンド状態である場合に前記電源がレジューム機能による電源OFF状態となり、使用中の場合に前記電源のサスペンド状態又はレジューム機能による電源OFF状態が解除されるように、前記電源の制御を行なう制御手段とを備えることを特徴とする。
【0023】
請求項3の本発明の電源制御システムによれば、前記電源の状態が通常運転状態かサスペンド状態か又はレジューム機能による電源OFF状態かを検出して電源状態信号として前記制御手段に通知する電源状態検出手段を備え、前記画像判定手段は、前記抽出した顔画像を予め用意されたテンプレートとマッチングすることにより、前記利用者の顔と目の向きがディスプレイ画面に向いているかを判定し、前記コンピュータシステムが使用中であるかどうかの顔画像判定信号を前記制御手段に通知し、前記制御手段は、前記電源状態検出手段から通知された電源状態信号と前記画像判定手段から通知された前記顔画像判定信号に基づいて、前記電源の制御を行なうことを特徴とする。
【0024】
請求項4の本発明の電源制御システムによれば、前記撮影手段は、設定された画像取り込み時間間隔で画像を撮影し、前記制御手段は、前記前記画像判定手段から通知された前記顔画像判定信号の内容に応じて、前記画像取り込み時間間隔の設定を変更し、かつ前記電源をサスペンド状態又はレジューム機能による電源OFF状態とし、またサスペンド状態又はレジューム機能による電源OFF状態から前記通常運転状態へ解除するための条件を変更することを特徴とする。
【0025】
請求項5の本発明の電源制御システムによれば、前記電源をサスペンド状態又はレジューム機能による電源OFF状態とし、またサスペンド状態又はレジューム機能による電源OFF状態から前記通常運転状態へ解除するための条件として、前記顔画像判定信号の受信回数を設定することを特徴とする
【0029】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して詳細に説明する。図1は、本発明を適用したの第1の実施の形態による顔画像の認識による電源制御システムの構成を示すブロック図である。本実施の形態では、本発明の電源制御システムをコンピュータシステムであるパソコンや携帯端末に適用した場合を説明する。
【0030】
図1を参照すると、本実施例による電源制御システム10は、カメラ制御部100と、顔画像判定部200と、電源制御部300と、電源部400から構成され、その動作の概要は、カメラ制御部100が撮影した画像を、顔画像判定部200が処理をし顔画像の解析を行ない、この解析結果と現在の電源の状態を基に電源制御部300が電源部400に対して電源制御を実行し電源の状態の変更を行なう。
【0031】
カメラ制御部100は、発振器110と、タイマ回路120と、スイッチ130と、CCDカメラ140から構成され、一定間隔毎にCCDカメラ140から画像を取込み、顔画像判定部200に対し画像データを送信する。発振器110は、一定時間毎にクロックパルス信号をタイマ回路120に対し送信し続ける。CCDカメラ140は、コンピュータシステムのディスプレイ画面の前方を向けて配置され、コンピュータシステムの利用者を撮影する。
【0032】
図2は、本発明を適用した第1の実施の形態によるタイマ回路120の構成を示すブロック図である。
【0033】
図2を参照すると、タイマ回路120は、カウンタ121と比較器122で構成され、発振器110から供給されるクロックパルス信号のパルス数をカウントすることで、画像を取込む間隔である一定時間を計り、かつこの一定時間毎にスイッチ130に対しカメラスイッチON信号を送信する。
【0034】
カウンタ121は、発振器110からクロックパルス信号を受信するたびに、そのパルス数を計数し、この受信パルスの総数であるカウント値を比較器122に対し送信する。カウンタ121は、スイッチ130が押されるたびにスイッチ130よりカウンタリセット信号を受信し、カウント値をリセットする。
【0035】
比較器122は、画像を取込む間隔である一定時間を計るためにあらかじめ定められた設定値と、カウンタ121から受信したカウント値とが一致した時に、スイッチ130に対しカメラスイッチON信号を送信する。
【0036】
顔画像判定部200は、カメラ制御部100からCCDカメラ140で撮影した画像を受信し、この画像に対し処理を施し、かつ予め登録されているテンプレートとのマッチングを行なうことで撮影した画像に顔画像があるかどうか、かつ顔及び眼球がコンピュータシステムのディスプレイ画面側に向いているかどうかの判断を行なう。
【0037】
図3は、本発明を適用した第1の実施の形態の顔画像判定部200の画像処理の動作を示すフローチャートである。
【0038】
図3を参照すると、本実施例の顔画像判定部200の処理は、前処理(ステップ3002)、特徴抽出(ステップ3003、3007)、マッチング(ステップ3004、3006、3008)の3つの大きな行程よりなる。
【0039】
前処理では、入力された画像データについて2値化処理、ノイズ除去やサイズの正規化等の処理を行う(ステップ3002)。そして、前処理後のデータに対し特徴抽出を行う(ステップ3003)。特徴抽出の方法としては、輪郭を抽出する方法などを利用する。
【0040】
そして、抽出した特徴と、予め登録されている顔画像テンプレートとのマッチングを行ない、これにより撮影された画像中の顔画像の有無の判断を行なう(ステップ3004)。つまり、抽出した特徴と近いテンプレートがあれば顔画像があると判断し、近いテンプレートがなければ顔画像がないと判断する。
【0041】
撮影した画像に顔画像が存在しなければ、コンピュータシステムが不使用状態と判断し、その旨を示す顔画像判定信号を電源制御部300に対して送信する(ステップ3005)。ここでは、顔画像判定信号として顔画像が存在しないことを示す信号”0”を送信する。
【0042】
撮影した画像に顔画像が存在する場合、上記抽出した特徴と、顔の向きを判定するために予め登録したテンプレートとのマッチングを行なうことにより、撮影した顔がコンピュータシステムのディスプレイ画面方法を向いているかどうかを判定する(ステップ3006)。
【0043】
判定の結果、撮影した顔がコンピュータシステムのディスプレイ画面方法を向いていないと判定した場合には、コンピュータシステムが利用中でない(不使用状態)と判断し、その旨を示す顔画像判定信号”0”を電源制御部300に対して送信する(ステップ3005)。
【0044】
次いで、撮影した顔がコンピュータシステムのディスプレイ画面方法を向いていると判定した場合には、さらに、上記の顔画像から目(眼球)の部分の画像を抽出し(ステップ3007)、その抽出した目の画像中の瞳に相当する黒画素が集中している部分の位置から顔画像の目がコンピュータシステムのディスプレイ画面方法を向いているかどうかを判定する(ステップ3008)。この場合、ディスプレイ画面を見ていると思われる場合の眼球の位置の組み合わせを予めテンプレートとして登録し、瞳に相当する黒画素が集中している部分の位置と登録したテンプレートを比較することで、目がコンピュータシステムのディスプレイ画面方法を向いているかどうかを判定する。
【0045】
判定の結果、目がコンピュータシステムのディスプレイ画面方法を向いていないと判定した場合には、コンピュータシステムが利用中でないと判断し、その旨を示す顔画像判定信号”0”を電源制御部300に対して送信する(ステップ3005)。
【0046】
目がコンピュータシステムのディスプレイ画面方法を向いていると判定した場合には、最終的にコンピュータシステムが利用中(使用状態)であると判断し、その旨を示す顔画像判定信号を電源制御部300に対して送信する(ステップ3008)。ここでは、顔画像判定信号として信号”1”を送信する。
【0047】
電源制御部300は、電源状態検出部310と、制御判定部320から構成され、顔画像判定部200からの顔画像判定信号と、現在の電源の状態を基に、電源部400に対し電源の状態を変更する制御を行なうものである。
【0048】
電源状態検出部310は、電源部400の状態を調べ、そのデータを制御判定部320に送信する。制御判定部320は、顔画像判定部200と電源状態検出部310から送信されたデータを基に、電源部400の状態を変更する制御を行なう。
【0049】
図5は、本発明を適用した第1の実施の形態による制御判定部320の各条件下の詳細な制御動作を説明するための表である。
【0050】
電源状態検出部310は、電源部400の状態が、サスペンド状態か、通常の使用可能な状態の2つの状態のうちどれであるかを調べ、そのサスペンド状態信号を制御判定部320に送信する。
【0051】
ここで、サスペンドとは、コンピュータシステムの利用を途中で休止した場合、利用を再開するときのために備え、システム全体ではなく入出力装置の動作を停止する等の方法によりシステムの機能を休止することで、システムの機能を直ちに再開でき、すぐに作業に入れるようにした電源制御方法である。
【0052】
図5において、顔画像判定信号は上記のようにコンピュータシステムを利用中であるかどうかを示す信号であり、顔画像判定部200から送信され、利用中である場合が”1”、利用中でない場合が”0”である。電源状態検出部310から送信されるサスペンド状態信号は、電源部400がサスペンド状態又は電源OFF状態の時が”1”、電源ONでかつサスペンドが働いていない時が”0”である。
【0053】
図5を参照すると、制御判定部320は、コンピュータシステムの電源状態を、サスペンド状態でかつコンピュータシステムが利用中である場合にはサスペンド状態を解除して通常運転状態に変更し、電源が通常運転状態でコンピュータシステムが使用中でない場合には、サスペンド状態に変更する。この他の場合、通常運転状態でコンピュータシステムが利用中である場合と、サスペンド状態で利用中でない場合には電源部400の状態の変更を行なわない。
【0054】
上記制御判定部320は、半導体や基板上のハードウェア回路として構成することは勿論として、ソフトウェアを用いてこの機能を実現することも可能である。
【0055】
図4は、制御判定部320の回路例を示す図である。
【0056】
この回路は、顔画像判定信号とサスペンド状態信号を入力し、電源制御のための制御信号を出力する2入力1出力の回路であり、入力と出力の関係は図5で表されている。ここでは、XNORゲート321とXORゲート322を用いて構成することで、入力信号が共に0又は1の時に、電源状態を制御する制御信号がサスペンド状態と非サスペンドの状態との間で変化する仕組みとしている。
【0057】
次に、上記の如く構成される第1の実施の形態の動作について、具体的に説明する。
【0058】
ここでは、CCDカメラ140を撮影する一定間隔を1分と定め、1分毎にCCDカメラ140の画像を顔画像判定部200に送るものとする。
【0059】
図6は、カメラ制御部100の動作を説明するタイミングチャートである。図6を参照すると、時間T0から時間T1までの間(1分)では、発振器110からクロックパルス信号が送られ、タイマ回路120で時間が計数される。
【0060】
時間T1で、タイマ回路120が時間1分を計数すると、タイマ回路120からスイッチON信号がスイッチ130に送信される。
【0061】
このスイッチON信号により、スイッチ130がONされて、CCDカメラ140による画像撮影が実行される。
【0062】
また、スイッチ130がONされた時に、スイッチ130からタイマ回路120に対しカウンタリセット信号が送信され、タイマ回路120のカウンタ121がリセットされる。
【0063】
CCDカメラ140によって撮られた画像データは、顔画像判定部200に送信される。そして、以上の処理を繰返すことにより、一定間隔(1分)毎にカメラ制御部100から撮影した画像が顔画像判定部200に送信される。
【0064】
次に、顔画像判定部200では、上述した図3の処理に従って、利用者がコンピュータシステムを利用中かどうかを示す顔画像判定信号を、電源制御部300の制御判定部320に送信する。
【0065】
電源状態検出部310は、現在の電源部400の電源の状態を認識し、この状態をサスペンド状態信号として制御判定部320に送信する。
【0066】
そして、制御判定部320は、図7のタイミングチャートで示すように、電源部400の状態制御を行なう。
【0067】
図7を参照すると、時間T0から時間T1間においては、コンピュータシステムが利用中でかつ非サスペンド状態であるため、現状態を保持するように制御する制御信号を出力する。この結果、電源部300は、非サスペンド状態(通常使用状態)を維持する。
【0068】
そして、時間T1で、コンピュータシステムが利用中でなくなると、電源状態をサスペンド状態に変更する制御信号を出力する。この結果、電源部300は、通常運転状態からサスペンド状態に変化する。
【0069】
サスペンド状態でコンピュータシステムが利用中でないと判定される限り、サスペンド状態を保持する制御信号を出力する(時間T2から時間T3)。
【0070】
また、サスペンド状態でコンピュータシステムが利用中であると判定されると(時間T3)、電源部300のサスペンド状態を解除して通常運転状態に変更する制御信号を出力する。
【0071】
以上説明したように、第1の実施の形態による顔画像の認識による電源制御システムでは、画像中の顔の向きと目(眼球)の向きに着目し、その組み合わせで利用者がコンピュータの前にいて、かつ画面を見ているかどうかを判断し、画面を見ていない時はサスペンド状態とし、画面を見ている時はサスペンドを解除する等の制御をすることができる。これにより、より効率的な電源制御が可能となる。
【0072】
机の上にパソコンのディスプレイを置いた場合など、その机でディスプレイ画面を見ずに何か別の作業を行なうことがある。このように画面を見ていない時にも利用中ではないことを認識しサスペンド等を行なうことで、ユーザーに負担を掛けずに消費電力の節約ができる。
【0073】
次に、本発明の第2の実施の形態について図面を参照して詳細に説明する。
【0074】
本発明の第2の実施の形態による顔画像の認識による電源制御システムは、第1の実施の形態の構成に加え、電源制御部300がレジューム機能とサスペンド機能による電源制御を順次併せて実行することができる構成としている。全体のシステム構成及びカメラ制御部100の構成は、図1に示す第1の実施の形態と同様であるので説明を省略する。
【0075】
ここで、レジューム機能とは、利用者が本体の電源を切ったとき、コンピュータシステムは使用中のアプリケーション等のそのときの状態を保存し、この保存されたデータにより次に電源を入れたときに即座に以前の使用時の状態を再現する電源制御方法である。
【0076】
電源制御部300の電源状態検出部310は、現在の電源部400の電源の状態を認識し、この状態のデータを上述したサスペンド状態信号と電源状態信号を用いて制御判定部320に送信する。
【0077】
電源制御部300の制御判定部320に対しては、顔画像判定部200からの顔画像判定信号が送られる。顔画像判定部200における動作は、第1の実施の形態と同じであるので説明を省略する。
【0078】
図8は、第2の実施の形態による制御判定部320の各条件下の詳細な制御動作を説明するための表である。
【0079】
電源状態検出部310は、電源部400の状態が電源OFF状態(レジューム機能によるOFF状態)か、サスペンド状態か、通常の運転可能な状態の3つの状態のうちどれであるかを検出し、その検出信号を制御判定部320に送信する。本実施の形態では、この検出信号は、サスペンド状態信号と電源状態信号の2種類の信号からなる。
【0080】
図8において、コンピュータシステムが利用中(使用状態)であるかどうかを示す顔画像判定信号は、顔画像判定部200から送信され、利用中である場合が”1”、利用中でない場合が”0”である。
【0081】
サスペンド状態信号は、電源状態検出部310から送信される信号であり、サスペンド状態又電源OFF状態(レジューム機能によるOFF状態)の時が”1”、電源ONでかつサスペンドが働いていないときが”0”である。電源状態信号は、電源状態検出部310から送信される信号であり、電源OFFの場合が”1”、電源ONの場合が”0”である。
【0082】
図8を参照すると、制御判定部320は、コンピュータシステムの電源状態を、電源OFF状態でかつコンピュータシステムが利用中である場合には電源部400をONして通常運転状態に変更し、サスペンド状態でかつコンピュータシステムが利用中である場合にはサスペンド状態を解除して通常運転状態に変更し、一定時間サスペンド状態でかつコンピュータシステムが利用中でない場合にはレジューム機能を作動させて電源を切り電源OFF状態に変更し、通常運転状態でコンピュータシステムが利用中でない場合にはサスペンド状態に変更する。
【0083】
この他の場合、つまり通常運転状態でコンピュータシステムが利用中である場合と、電源OFF状態でコンピュータシステムが利用中でない場合には電源部400の状態の変更を行なわずに状態を維持する。
【0084】
以上説明したように、第2の形態による顔画像の認識による電源制御システムでは、レジューム機能とサスペンドの双方を組み合わせた電源制御ができる。
【0085】
図9は、本発明の第2の実施の形態による制御判定部320の動作を説明するタイミングチャートである。図9を参照すると、最初の状態は、コンピュータシステムが使用中でかつ非サスペンド状態であり、コンピュータシステムの不使用状態が認識されるまでその状態が維持される(T0からT1)。
【0086】
そして、その後、コンピュータシステムの不使用状態が認識されると(T1)、サスペンド状態に変わる(T2)。
【0087】
サスペンド状態でコンピュータシステムの使用状態が認識されない限り、サスペンド状態が維持される(T2からT3)。
【0088】
そして、サスペンド状態でコンピュータシステムの使用状態が認識されると(T3)、非サスペンド状態に変わる(T4)。
【0089】
また、コンピュータシステムが不使用状態となり(T5)、サスペンド状態に変わり(T6)、その後そのままコンピュータシステムの不使用状態が一定時間続くと、今度はさらにレジューム機能を開始し現在の状態が保存され本体の電源がOFF状態となる(T7)。レジューム機能を開始する時間については、コンピュータシステムに応じて任意に設定することができる。
【0090】
そして、電源OFF状態でコンピュータシステムの使用状態が認識されると(T8)、本体に電源が再び入りレジューム機能によって保存された以前の使用時の状態が再現され、通常の使用可能な状態に戻る(T9)。
【0091】
以上のように、サスペンド機能とレジューム機能を組み合わせることにより、より効率のよい電源制御システムが実現できる。
【0092】
次に、本発明の第3の実施の形態について図面を参照して詳細に説明する。図10は、本発明の第3の実施の形態による顔画像の認識による電源制御システムの構成を示すブロック図である。
【0093】
図10を参照すると、本発明の第3の実施の形態による顔画像の認識による電源制御システムは、図1の第1の実施の形態による電源制御システムに比べて、制御判定部320aからタイマ回路120aに対し、画像取込み間隔の設定値を設定することにより、サスペンドによる電源制御の開始時間を制御できる構成としている。
【0094】
第1及び第2の実施の形態では、サスペンドを行なう時とサスペンドを解除する時における、CCDカメラ140で画像を取込む時間間隔は一定である。
【0095】
しかし、一般にサスペンドに入るまでの時間よりも、サスペンドを解除するまでの時間は短いことが望ましい。このため、本実施の形態では、CCDカメラ140で画像を取込む間隔を電源制御の開始と解除に応じて設定できるようにしている。
【0096】
例えば、サスペンドを開始を実行する等の電源制御は、比較的に遅く開始しても良いため、CCDカメラ140で画像を取込む間隔も長く設定することが許される。またサスペンドを解除したり電源を入れる等の電源制御は、比較的に早く開始することが要求されるため、CCDカメラ140で画像を取込む間隔も短く設定する必要がある。
【0097】
図11は、第3の実施の形態におけるタイマ回路120aの構成を示すブロック図である。
【0098】
図11を参照すると、図2の本発明の第1の実施の形態のタイマ回路120との違いは、比較器122aに対して、制御判定部320aから画像取込み間隔設定値を受信して設定する機能を設たことであり、タイマ回路120aはこの設定値に基づきカウンタ121から受信するパルス数カウント値と比較を行なうことで、スイッチ130に対するカメラスイッチON信号を出力する間隔を変化させる。
【0099】
図12は、制御判定部320aの構成を示すブロック図である。図12を参照すると、図4の第1の実施の形態による制御判定部320との違いは、内部に設定値決定部323、とカウンタ324と、比較器325を設けた点である。
【0100】
設定値決定部323は、顔画像判定信号に基づいて画像取込み間隔設定値をタイマ回路120aに対し送信し、かつ送信した画像取込み間隔設定値に応じて比較器325に対しサスペンド等の各電源制御を開始するまでの顔画像判定信号の受信数の設定値を送信する。
【0101】
カウンタ324は、制御判定部320aが受信する顔画像判定信号の数をカウントし、カウント数を比較器325に対し送信する。
【0102】
比較器325は、カウンタ324から送信される顔画像判定信号の数と、設定値決定部323によって設定された顔画像判定信号の受信数の設定値を比較し、顔画像判定信号の受信数が設定値以上に達した場合に、各電源制御の状態を変える信号を出力する。
【0103】
次に、第3の実施の形態の動作について詳細に説明する。この第3の実施の形態では、制御判定部320aからタイマ回路120aに対し、画像取込み間隔の設定値を送信し、かつこの設定値に基づきカメラ制御部100が画像を撮る間隔を変更する。
【0104】
ここでは、通常の電源使用中の場合のCCDカメラ140による画像取込み間隔を20秒とし、サスペンド状態の場合のCCDカメラ140による画像取込み間隔を5秒として場合について説明する。
【0105】
制御判定部320aの設定値決定部323は、顔画像判定信号がコンピュータシステムの使用中を示している場合、画像取り込み間隔の設定値として”20秒”をタイマ回路120aの比較器122aに送信し、かつ比較器325に対し顔画像判定信号の受信数の設定値として”3”を設定する。また、顔画像判定信号がコンピュータシステムの不使用状態を示している場合、画像取り込み間隔の設定値として”5秒”をタイマ回路120aの比較器122aに送信し、かつ比較器325に対し顔画像判定信号の受信数の設定値として”2”を設定するものとする。
【0106】
ここで、順を追って図12に示される制御判定部320aの動作について説明する。
【0107】
サスペンド状態を解除する時は2回(10秒後)、サスペンド状態にする時には3回(60秒後)、制御判定部320aが顔画像判定信号の受信をカウントした時に実行するものとする。
【0108】
制御判定部320aが、顔画像判定信号”1”とサスペンド状態信号”1”を受信し、信号がサスペンド状態を解除させる組合せの場合には、カウンタ324は、受信回数を計りこの回数を比較器325に送信する。さらに、比較器325は、この回数が、サスペンドを解除するときの設定値である”2”と比較し、設定値以上であれば電源状態の変更を行なうため”1”の信号を送信し、そうでない場合には”0”の信号を送信する。
【0109】
制御判定部320aが、顔画像判定信号”0”とサスペンド状態信号”0”を受信し、信号がサスペンドを実行する組合せの場合には、カウンタ324は、受信回数を計りこの回数を比較器325に送信し、さらに比較器325は、この回数がサスペンドを実行するときの設定値である”3”比較し、設定値以上であれば電源状態の変更を行なうため”1”の信号を送信し、そうでない場合には”0”の信号を送信する。
【0110】
そして比較器325は、”1”の信号を出力した場合、カウンタ324に対しカウンタリセット信号を送りカウンタ324をリセットする。
【0111】
また、信号が前述のいずれの場合でもない場合、つまり顔画像判定信号”1”とサスペンド状態信号”0”を受信した場合及び、顔画像判定信号”0”とサスペンド状態信号”1”を受信した場合には、カウンタ324によるカウントはなされない。
【0112】
設定値決定部323は、顔画像判定信号を受信すると、CCDカメラ140が画像を取込む間隔の設定値をタイマ回路120aに対し送信し、サスペンド等の各電源制御を開始するまでの顔画像判定信号の受信数の設定値を比較器325に対し送信する。上記のように、画像取込み間隔は、顔画像判定信号が”1”の時に5秒、顔画像判定信号が”0”の時に20秒に設定する。
【0113】
この他の動作は、第1の実施の形態と同様である。
【0114】
なお、第2の実施の形態のように、サスペンドとレジューム機能を組み合わせた場合には、レジューム機能を実行する(電源OFF)時と解除する(電源ON)ときにも、上記の構成を適用することが可能である。
【0115】
以上説明したように、第3の形態による顔画像の認識による電源制御システムでは、制御判定部320aに、設定値決定部323とカウンタ324及び比較器325を備えたことで、サスペンド等の電源制御を実行する条件を、コンピュータシステムが使用中や不使用中の状態が一回ではなく、各電源制御に対し定められた一定回数以上、同じ状態が続いたことを条件にすることができる。これにより、柔軟に各電源制御を開始するまでの時間を定めることができ、より効率的な電源制御が可能となる。
【0116】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することが出来る。
【0117】
前述の、第2の実施の形態ではサスペンドとレジューム機能の電源制御の機能を併せて備えているが、利用においてこれらの機能を選択し、使用しない機能を作動しないよう設定する切りかえを備えることで、サスペンドのみ、レジューム機能のみ等の電源制御に切かえる機能や、又これら電源制御の機能全てを作動しない様に切りかえる機能が実現できる。
【0118】
【発明の効果】
以上説明したように本発明の顔画像の認識による電源制御システムによれば、以下のような効果が得られる。
【0119】
第1に、利用者の特別な操作を必要とせずに、装置を利用中であるかどうかを正しく認識し、消費電力の節約ができる。その理由は、利用者の顔画像を処理することで顔の向きと目の向きを認識し、これにより装置を現に使用しているか否かを判断し、電源状態を変更することができるからである。
【0120】
第2に、利用者の特別な操作を必要とせず、簡単で効率良く消費電力の節約ができる。その理由は、電源制御の方法としてサスペンドとレジューム機能を組合せることで、効率のよい電源制御を行なうことができるからである。
【0121】
第3に、各電源制御を開始するまでの時間を柔軟に定めることができ、より効率的な電源制御が可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態による顔画像の認識による電源制御システムの構成を示すブロック図である。
【図2】本発明の第1の実施の形態によるタイマ回路の構成を示すブロック図である。
【図3】本発明の第1の実施の形態による顔画像判定部の画像処理の動作を説明するフローチャートである。
【図4】本発明の第1の実施の形態による制御判定部の回路の構成を説明する図である。
【図5】本発明の第1の実施の形態による制御判定部の各条件下での制御動作を説明する表である。
【図6】本発明の第1の実施の形態によるカメラ制御部の動作を説明するタイミングチャートである。
【図7】本発明の第1の実施の形態による制御判定部の動作を説明するタイミングチャートである。
【図8】本発明の第2の実施の形態による制御判定部の各条件下での制御動作を説明する表である。
【図9】本発明の第2の実施の形態による制御判定部の動作を説明するタイミングチャートである。
【図10】本発明の第3の実施の形態による顔画像の認識による電源制御システムの構成を示すブロック図である。
【図11】本発明の第3の実施による形態のタイマ回路の構成を示すブロック図である。
【図12】本発明の第3の実施の形態による制御判定部の回路の構成を説明する図である。
【符号の説明】
10 電源制御システム
100 カメラ制御部
110 発振器
120、120a タイマ回路
121 カウンタ
122、122a 比較器
130 スイッチ
140 CCDカメラ
200 顔画像判定部
300 電源制御部
310 電源状態検出部
320、320a 制御判定部
323 設定値決定部
324 カウンタ
325 比較器
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a power supply control system for a computer system, and more particularly, to a power supply control system using a suspend and resume function in a computer system.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a power supply control system has been widely used for the purpose of suppressing power consumption and suppressing equipment consumption by a function of automatically shutting off a power supply and reducing power output.
[0003]
In particular, in computer systems, power supply control systems have conventionally been used for the purpose of suppressing power consumption, preventing burn-in of a display, preventing heating of the computer system, and reducing the time and effort required to turn off and on the power supply. It is common to provide. The power supply control method in the computer system mainly uses a suspend function, a resume function, and the like.
[0004]
Also, in the conventional power supply control system, as a method of recognizing whether or not the user is using the computer device, when a certain time has elapsed using the elapsed time from the last time when the device was directly operated. Recognition methods for determining that a device is not in use are widely used.
[0005]
Conventionally, a method using elapsed time is used in a device generally called a computer system such as a personal computer. Conventionally, this method does not require a special device such as a camera, and allows input from a keyboard, a mouse, or the like. This is because power supply control can be easily realized by monitoring. However, in these computer systems, the user often does not operate the keyboard or the like for a long time even when the user is in front of the display. In this case, the user is watching the display on the display or waiting for the end of the requested processing. Therefore, the power supply control method based on the elapsed time is not preferable. For this reason, a power supply control method of recognizing whether or not a user is present and performing power supply control is also used in computer systems such as personal computers.
[0006]
As a conventional technique of a power control method based on recognition of the presence of a user in a computer system, a method of judging a distance between a device and a user by using an infrared sensor (JP-A-5-199005, JP-A-10-326126) Gazette) has been proposed.
[0007]
Also, a method of taking an image of the front of the device using a camera, analyzing the image, analyzing and judging the position of the user's face, torso, etc., and performing power control (Japanese Patent Application Laid-Open Nos. Hei 7-271482 and Hei 7-271482). No. 7-325639).
[0008]
Japanese Patent Application Laid-Open No. Hei 7-271482 describes a technique for processing an image captured from a camera, recognizing the presence of a user, and turning on or off the power of a computer system, or sleeping or canceling a sleep state. . In this prior art, the method of recognizing the presence of a user processes an image captured from a camera, and when the user recognizes that both the face and the torso are present in the image, the user works toward the computer system. Is determined to have been performed. Japanese Patent Application Laid-Open No. 7-325639 describes a technique for recognizing the interruption and resumption of work by recognizing a user's face with a camera and realizing a resume function in a computer system.
[0009]
[Problems to be solved by the invention]
As described above, the conventional power supply control system has the following problems.
[0010]
In the conventional power supply control system, the user needs to make his own settings. Further, in the conventional method, it is necessary to move a keyboard or a mouse or to turn on a power switch to return from a suspended state or the like or to restart when a resume function is operated.
[0011]
There is a need for power control that is simpler and does not require any user operation.
[0012]
The prior art disclosed in the above-mentioned Japanese Patent Application Laid-Open No. Hei 7-271482 has the following problems.
[0013]
In this conventional technique, the power supply of a computer system is turned on and off, but there is no resume function for backing up and restoring the system. Therefore, in this conventional technology, the application field of the power on / off function is limited to peripheral devices and the like, and is not suitable for shutting off the power to the power supply of the system body of the computer system. Is not enough.
[0014]
The operation of the power supply control according to this conventional technique is either an operation of turning on or off the power, or an operation of canceling the sleep state or the sleep state. The power control operation requires a more flexible and efficient method such as a combination of the resume function and the suspend function.
[0015]
According to the method for recognizing the presence of a user according to this conventional technique, it is determined that the user is using the camera when both the face and the torso are present in the image captured from the camera. There is a problem that it is recognized as being used even though the face or eyes are not turned toward the user. As a result, at the desk where the device is installed, the user stops using the device and starts other work. Does not start. Also, it is determined that the device is in use only by passing a person in front of the device, and a problem such as suspension being released occurs.
[0016]
The prior art disclosed in Japanese Patent Application Laid-Open No. 7-325639 has the following problems.
[0017]
Since this conventional technique has a resume function, it is possible to perform power control including shutting off power to the power of the system body of the computer system. However, only the resume function has no suspend function, and when the work is interrupted, the resume function is executed without suspending. When the resume function is performed and the power is turned off, it takes more time to resume the operation than when the peripheral device is temporarily stopped due to suspending.To perform the resume function, more extensive work such as backup is required. I need.
[0018]
Therefore, when the work is interrupted or restarted frequently, there are problems such as a waiting time until the work can be restarted and equipment consumption.
[0019]
SUMMARY OF THE INVENTION An object of the present invention is to provide a power control system for a computer system capable of controlling power without requiring an instruction from a user and efficiently reducing power consumption in order to solve the above-mentioned drawbacks of the prior art. Is to do.
[0020]
Another object of the present invention is to provide a computer system that enables more efficient power control by appropriately determining whether the computer system is in use and combining the determination result with various power control methods. A power control system is provided.
[0021]
[Means for Solving the Problems]
To achieve the above object, the present invention provides In a power supply control system for controlling the power supply of a computer system, it is determined whether or not the computer system is in use by recognizing a user's face image by imaging at a fixed time interval, and the determination result and the current power state are determined. Based on the combination, control to change the state of the power supply from the normal operation state to the suspend state, from the suspend state to the power OFF state by the resume function, from the suspend state or the power OFF state by the resume function to the normal operation state, Do It is characterized by the following.
[0022]
According to the power supply control system of claim 2 of the present invention, By photographing means for photographing the user, and by analyzing the photographed image to extract a face image, the presence or absence of the user and whether the user's face and eyes face the display screen, Image determining means for determining whether the computer system is in use; and when the computer system is in an unused state, the power supply is in a suspended state, the computer system is in an unused state, and the power supply is in a suspended state. And control means for controlling the power supply so that the power supply is turned off by the resume function when the power supply is in use, and the power supply off state by the resume function is released when the power supply is in use. It is characterized by the following.
[0023]
According to the power supply control system of claim 3 of the present invention, A power supply state detection unit that detects whether the state of the power supply is a normal operation state, a suspend state, or a power supply OFF state by a resume function, and notifies the control unit as a power supply state signal; By matching the face image with a template prepared in advance, it is determined whether the user's face and eyes are facing the display screen, and a face image determination signal indicating whether the computer system is in use is provided. Notifying the control unit, the control unit controls the power based on the power state signal notified from the power state detection unit and the face image determination signal notified from the image determination unit. It is characterized by the following.
[0024]
According to the power supply control system of claim 4 of the present invention, The image capturing unit captures an image at a set image capturing time interval, and the control unit sets the image capturing time interval according to the content of the face image determination signal notified from the image determining unit. And changing the power supply to a suspend state or a power-off state by a resume function, and changing a condition for releasing the suspend state or the power-off state by a resume function to the normal operation state. It is characterized by the following.
[0025]
Claim 5 of the present invention According to the power supply control system, the power supply is set to a power-off state by a suspend state or a resume function, and as a condition for releasing the power-off state by a suspend state or a resume function to the normal operation state, the face image determination signal Set the number of receptions .
[0029]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a power supply control system based on face image recognition according to a first embodiment of the present invention. In the present embodiment, a case will be described in which the power supply control system of the present invention is applied to a personal computer or a portable terminal which is a computer system.
[0030]
Referring to FIG. 1, a power supply control system 10 according to the present embodiment includes a camera control unit 100, a face image determination unit 200, a power supply control unit 300, and a power supply unit 400. The image captured by the unit 100 is processed by the face image determination unit 200 to analyze the face image, and the power control unit 300 controls the power unit 400 based on the analysis result and the current power state. Execute to change the state of the power supply.
[0031]
The camera control unit 100 includes an oscillator 110, a timer circuit 120, a switch 130, and a CCD camera 140. The camera control unit 100 captures an image from the CCD camera 140 at regular intervals, and transmits image data to the face image determination unit 200. . The oscillator 110 continues to transmit the clock pulse signal to the timer circuit 120 at regular intervals. The CCD camera 140 is arranged facing the front of the display screen of the computer system, and photographs a user of the computer system.
[0032]
FIG. 2 is a block diagram showing a configuration of the timer circuit 120 according to the first embodiment to which the present invention is applied.
[0033]
Referring to FIG. 2, the timer circuit 120 includes a counter 121 and a comparator 122, and counts the number of pulses of the clock pulse signal supplied from the oscillator 110 to measure a certain time, which is an image capturing interval. A camera switch ON signal is transmitted to the switch 130 at regular intervals.
[0034]
Each time the counter 121 receives the clock pulse signal from the oscillator 110, the counter 121 counts the number of the pulse and transmits a count value, which is the total number of received pulses, to the comparator 122. Each time the switch 130 is pressed, the counter 121 receives a counter reset signal from the switch 130 and resets the count value.
[0035]
The comparator 122 transmits a camera switch ON signal to the switch 130 when a predetermined value for measuring a certain time as an image capturing interval matches a count value received from the counter 121. .
[0036]
The face image determination unit 200 receives an image captured by the CCD camera 140 from the camera control unit 100, performs processing on the image, and performs matching with a template registered in advance to convert the captured image into a face image. A determination is made as to whether there is an image and whether the face and eyes are facing the display screen side of the computer system.
[0037]
FIG. 3 is a flowchart illustrating an image processing operation of the face image determination unit 200 according to the first embodiment to which the present invention is applied.
[0038]
Referring to FIG. 3, the processing of the face image determination unit 200 of the present embodiment is based on three major steps of preprocessing (step 3002), feature extraction (steps 3003, 3007), and matching (steps 3004, 3006, 3008). Become.
[0039]
In the preprocessing, input image data is subjected to binarization processing, noise removal, size normalization, and the like (step 3002). Then, feature extraction is performed on the pre-processed data (step 3003). As a feature extraction method, a method of extracting a contour or the like is used.
[0040]
Then, matching is performed between the extracted feature and a face image template registered in advance, thereby determining whether or not there is a face image in the captured image (step 3004). That is, if there is a template close to the extracted feature, it is determined that there is a face image, and if there is no close template, it is determined that there is no face image.
[0041]
If there is no face image in the captured image, the computer system determines that the image is not in use, and transmits a face image determination signal indicating that to the power control unit 300 (step 3005). Here, a signal “0” indicating that no face image exists is transmitted as the face image determination signal.
[0042]
When a face image is present in the photographed image, matching is performed between the extracted feature and a template registered in advance in order to determine the direction of the face, so that the photographed face faces the display screen method of the computer system. It is determined whether or not there is (Step 3006).
[0043]
As a result of the determination, if it is determined that the captured face is not suitable for the display screen method of the computer system, it is determined that the computer system is not in use (non-use state), and a face image determination signal “0” indicating that is not used. Is transmitted to the power control unit 300 (step 3005).
[0044]
Next, when it is determined that the photographed face is facing the display screen method of the computer system, an image of the eye (eyeball) is further extracted from the face image (step 3007), and the extracted eye is extracted. It is determined whether the eyes of the face image face the display screen method of the computer system from the position of the portion where the black pixels corresponding to the pupils in the image are concentrated (step 3008). In this case, by registering the combination of the positions of the eyeballs in the case where the user seems to be looking at the display screen as a template in advance, and comparing the registered template with the position of the portion where the black pixels corresponding to the pupils are concentrated, Determine whether the eye is facing the display screen method of the computer system.
[0045]
If the result of the determination is that the eyes are not facing the display screen method of the computer system, it is determined that the computer system is not in use, and a face image determination signal “0” indicating this is sent to the power control unit 300. The message is transmitted (step 3005).
[0046]
If it is determined that the eyes are facing the display screen method of the computer system, it is finally determined that the computer system is in use (in use), and a face image determination signal indicating this is provided to the power control unit 300. (Step 3008). Here, the signal “1” is transmitted as the face image determination signal.
[0047]
The power supply control unit 300 includes a power supply state detection unit 310 and a control determination unit 320. The power supply control unit 300 supplies power to the power supply unit 400 based on the face image determination signal from the face image determination unit 200 and the current power supply state. The control for changing the state is performed.
[0048]
Power state detection section 310 checks the state of power section 400 and transmits the data to control determination section 320. Control determining section 320 performs control to change the state of power supply section 400 based on data transmitted from face image determining section 200 and power state detecting section 310.
[0049]
FIG. 5 is a table for explaining a detailed control operation under each condition of the control determination unit 320 according to the first embodiment to which the present invention is applied.
[0050]
The power state detecting unit 310 checks whether the state of the power unit 400 is a suspended state or a normal usable state, and transmits the suspended state signal to the control determining unit 320.
[0051]
Here, the suspend means that when the use of the computer system is suspended halfway, the function of the system is suspended by a method such as stopping the operation of the input / output device instead of the entire system in preparation for resuming the use. Thus, this is a power control method in which the functions of the system can be restarted immediately and the operation can be started immediately.
[0052]
In FIG. 5, the face image determination signal is a signal indicating whether or not the computer system is being used as described above. The signal is transmitted from the face image determination unit 200. The case is “0”. The suspend state signal transmitted from the power state detecting unit 310 is “1” when the power unit 400 is in the suspend state or the power OFF state, and is “0” when the power is ON and the suspend is not performed.
[0053]
Referring to FIG. 5, the control determination unit 320 changes the power supply state of the computer system to the normal operation state by releasing the suspend state when the computer system is in the suspend state and the computer system is being used. If the computer system is not in use in the state, the state is changed to the suspend state. In other cases, the state of the power supply unit 400 is not changed when the computer system is being used in the normal operation state or when the computer system is not being used in the suspended state.
[0054]
The control determination section 320 can be realized as a hardware circuit on a semiconductor or a board, and can also realize this function using software.
[0055]
FIG. 4 is a diagram illustrating a circuit example of the control determination unit 320.
[0056]
This circuit is a two-input one-output circuit that receives a face image determination signal and a suspend state signal and outputs a control signal for power control, and the relationship between the input and output is shown in FIG. Here, by using the XNOR gate 321 and the XOR gate 322, when the input signals are both 0 or 1, the control signal for controlling the power supply state changes between the suspended state and the non-suspended state. And
[0057]
Next, the operation of the first embodiment configured as described above will be specifically described.
[0058]
Here, it is assumed that the fixed interval for photographing the CCD camera 140 is one minute, and the image of the CCD camera 140 is sent to the face image determination unit 200 every minute.
[0059]
FIG. 6 is a timing chart illustrating the operation of the camera control unit 100. Referring to FIG. 6, a clock pulse signal is sent from the oscillator 110 and the timer circuit 120 counts the time from time T0 to time T1 (one minute).
[0060]
When the timer circuit 120 counts 1 minute at the time T1, a switch ON signal is transmitted from the timer circuit 120 to the switch 130.
[0061]
The switch 130 is turned on by the switch ON signal, and the CCD camera 140 executes image shooting.
[0062]
When the switch 130 is turned on, a counter reset signal is transmitted from the switch 130 to the timer circuit 120, and the counter 121 of the timer circuit 120 is reset.
[0063]
Image data captured by the CCD camera 140 is transmitted to the face image determination unit 200. Then, by repeating the above-described processing, an image captured by the camera control unit 100 is transmitted to the face image determination unit 200 at regular intervals (one minute).
[0064]
Next, the face image determination unit 200 transmits a face image determination signal indicating whether or not the user is using the computer system to the control determination unit 320 of the power supply control unit 300 in accordance with the processing of FIG. 3 described above.
[0065]
The power supply state detection unit 310 recognizes the current power supply state of the power supply unit 400 and transmits this state to the control determination unit 320 as a suspend state signal.
[0066]
Then, the control determination unit 320 controls the state of the power supply unit 400 as shown in the timing chart of FIG.
[0067]
Referring to FIG. 7, during a period from time T0 to time T1, since the computer system is in use and is in the non-suspend state, a control signal for controlling to maintain the current state is output. As a result, the power supply unit 300 maintains the non-suspend state (normal use state).
[0068]
Then, at time T1, when the computer system is not in use, it outputs a control signal for changing the power supply state to the suspend state. As a result, the power supply unit 300 changes from the normal operation state to the suspend state.
[0069]
As long as it is determined that the computer system is not being used in the suspended state, a control signal for maintaining the suspended state is output (from time T2 to time T3).
[0070]
When it is determined that the computer system is being used in the suspended state (time T3), the power supply unit 300 outputs a control signal for releasing the suspended state and changing to the normal operation state.
[0071]
As described above, in the power supply control system based on face image recognition according to the first embodiment, the user pays attention to the direction of the face and the direction of the eyes (eyeballs) in the image. It is possible to determine whether or not the user is looking at the screen and whether the screen is in a suspended state when the user is not looking at the screen or cancel the suspension when the user is looking at the screen. This allows more efficient power supply control.
[0072]
Sometimes, you do something else without looking at the display screen at the desk, such as when you place your computer display on a desk. By recognizing that it is not in use even when the user is not looking at the screen and performing suspending or the like, power consumption can be saved without imposing a burden on the user.
[0073]
Next, a second embodiment of the present invention will be described in detail with reference to the drawings.
[0074]
In the power supply control system based on face image recognition according to the second embodiment of the present invention, in addition to the configuration of the first embodiment, the power supply control unit 300 sequentially executes power supply control using a resume function and a suspend function. It has a configuration that can be used. The entire system configuration and the configuration of the camera control unit 100 are the same as those in the first embodiment shown in FIG.
[0075]
Here, the resume function means that when the user turns off the power of the main unit, the computer system saves the current state of the application in use and the like, and the next time the power is turned on based on the stored data. This is a power supply control method that immediately reproduces the previous use state.
[0076]
The power supply state detection unit 310 of the power supply control unit 300 recognizes the current power supply state of the power supply unit 400 and transmits data of this state to the control determination unit 320 using the above-described suspend state signal and power supply state signal.
[0077]
The face image determination signal from the face image determination unit 200 is sent to the control determination unit 320 of the power supply control unit 300. The operation of the face image determination unit 200 is the same as that of the first embodiment, and the description is omitted.
[0078]
FIG. 8 is a table for explaining a detailed control operation under each condition of the control determination unit 320 according to the second embodiment.
[0079]
The power supply state detection unit 310 detects whether the power supply unit 400 is in one of three states of a power supply OFF state (OFF state by a resume function), a suspend state, and a normal operable state. The detection signal is transmitted to the control determination unit 320. In the present embodiment, this detection signal is composed of two types of signals, a suspend state signal and a power state signal.
[0080]
In FIG. 8, a face image determination signal indicating whether the computer system is in use (in use) is transmitted from the face image determination unit 200, and is “1” when the computer is in use and “1” when not in use. 0 ".
[0081]
The suspend state signal is a signal transmitted from the power state detecting unit 310, and is “1” when the suspend state or the power OFF state (OFF state by the resume function), and “1” when the power is ON and the suspend is not working. 0 ". The power status signal is a signal transmitted from the power status detection unit 310, and is “1” when the power is off and “0” when the power is on.
[0082]
Referring to FIG. 8, the control determination unit 320 changes the power state of the computer system to the normal operation state by turning on the power supply unit 400 when the power supply is in the OFF state and the computer system is being used. If the computer system is in use and the suspend state is released, the system is changed to the normal operation state.If the computer system is suspended for a certain period of time and the computer system is not in use, the resume function is activated and the power is turned off. The state is changed to the OFF state, and if the computer system is not in use in the normal operation state, the state is changed to the suspend state.
[0083]
In other cases, that is, when the computer system is in use in the normal operation state and when the computer system is not in use in the power-off state, the state of the power supply unit 400 is maintained without changing the state.
[0084]
As described above, in the power supply control system based on face image recognition according to the second embodiment, power supply control combining both the resume function and the suspend function can be performed.
[0085]
FIG. 9 is a timing chart illustrating the operation of the control determination unit 320 according to the second embodiment of the present invention. Referring to FIG. 9, the initial state is a state where the computer system is in use and is in a non-suspend state, and this state is maintained until an unused state of the computer system is recognized (from T0 to T1).
[0086]
Then, after that, when the non-use state of the computer system is recognized (T1), the state changes to the suspend state (T2).
[0087]
Unless the use state of the computer system is recognized in the suspend state, the suspend state is maintained (from T2 to T3).
[0088]
When the use state of the computer system is recognized in the suspend state (T3), the state changes to the non-suspend state (T4).
[0089]
When the computer system is not used (T5) and changes to the suspended state (T6), and then the computer system remains unused for a certain period of time, the resume function is started again, the current state is saved, and the main unit is saved. Is turned off (T7). The time to start the resume function can be arbitrarily set according to the computer system.
[0090]
When the use state of the computer system is recognized in the power-off state (T8), the main body is turned on again, the previous use state saved by the resume function is reproduced, and the state returns to the normal usable state. (T9).
[0091]
As described above, a more efficient power supply control system can be realized by combining the suspend function and the resume function.
[0092]
Next, a third embodiment of the present invention will be described in detail with reference to the drawings. FIG. 10 is a block diagram showing a configuration of a power supply control system based on face image recognition according to the third embodiment of the present invention.
[0093]
Referring to FIG. 10, the power control system based on face image recognition according to the third embodiment of the present invention is different from the power control system according to the first embodiment in FIG. By setting a set value of the image capture interval for the image capturing 120a, the start time of the power control by suspend can be controlled.
[0094]
In the first and second embodiments, the time interval at which an image is captured by the CCD camera 140 when suspending and when suspending is released is constant.
[0095]
However, it is generally desirable that the time to release the suspend is shorter than the time to enter the suspend. For this reason, in the present embodiment, the interval at which an image is captured by the CCD camera 140 can be set according to the start and release of the power control.
[0096]
For example, since the power supply control such as the execution of the start of the suspension may be started relatively late, the interval at which images are captured by the CCD camera 140 may be set long. In addition, since power control such as canceling the suspension or turning on the power needs to be started relatively quickly, it is necessary to set a short interval for taking images with the CCD camera 140.
[0097]
FIG. 11 is a block diagram illustrating a configuration of a timer circuit 120a according to the third embodiment.
[0098]
Referring to FIG. 11, the difference from the timer circuit 120 according to the first embodiment of the present invention in FIG. 2 is that the image capturing interval setting value is received and set from the control determining unit 320a for the comparator 122a. This means that the timer circuit 120a changes the interval at which the switch 130 outputs the camera switch ON signal to the switch 130 by comparing it with the pulse count value received from the counter 121 based on the set value.
[0099]
FIG. 12 is a block diagram illustrating a configuration of the control determination unit 320a. Referring to FIG. 12, the difference from the control determining unit 320 according to the first embodiment of FIG. 4 is that a set value determining unit 323, a counter 324, and a comparator 325 are provided therein.
[0100]
The set value determination unit 323 transmits the image capture interval set value to the timer circuit 120a based on the face image determination signal, and controls the comparator 325 for each power supply control such as suspend according to the transmitted image capture interval set value. The set value of the number of receptions of the face image determination signal until the start of the operation is transmitted.
[0101]
The counter 324 counts the number of face image determination signals received by the control determination unit 320a, and transmits the count to the comparator 325.
[0102]
The comparator 325 compares the number of face image determination signals transmitted from the counter 324 with the set value of the number of received face image determination signals set by the set value determination unit 323, and determines whether the number of received face image determination signals is When the value reaches the set value or more, a signal for changing the state of each power supply control is output.
[0103]
Next, the operation of the third embodiment will be described in detail. In the third embodiment, a set value of an image capturing interval is transmitted from the control determining unit 320a to the timer circuit 120a, and the interval at which the camera control unit 100 takes an image is changed based on the set value.
[0104]
Here, a case will be described in which the interval between image captures by the CCD camera 140 when the normal power supply is used is 20 seconds, and the interval between image captures by the CCD camera 140 in the suspended state is 5 seconds.
[0105]
When the face image determination signal indicates that the computer system is in use, the set value determination unit 323 of the control determination unit 320a transmits “20 seconds” as the set value of the image capture interval to the comparator 122a of the timer circuit 120a. And, "3" is set to the comparator 325 as the set value of the reception number of the face image determination signal. When the face image determination signal indicates that the computer system is not used, “5 seconds” is transmitted to the comparator 122 a of the timer circuit 120 a as a set value of the image capture interval, and the face image is transmitted to the comparator 325. It is assumed that “2” is set as the set value of the number of receptions of the determination signal.
[0106]
Here, the operation of the control determination unit 320a shown in FIG. 12 will be described step by step.
[0107]
The process is executed twice (after 10 seconds) when canceling the suspended state, and three times (after 60 seconds) when the suspended state is set, when the control judgment unit 320a counts the reception of the face image judgment signal.
[0108]
When the control determination unit 320a receives the face image determination signal “1” and the suspended state signal “1” and the signal is a combination that cancels the suspended state, the counter 324 measures the number of receptions and compares the number of receptions with a comparator. 325. Further, the comparator 325 compares this number with “2” which is a set value at the time of canceling the suspend. If the number is equal to or more than the set value, the comparator 325 transmits a signal of “1” to change the power supply state. Otherwise, a signal of "0" is transmitted.
[0109]
When the control determination unit 320a receives the face image determination signal “0” and the suspend state signal “0”, and the signal is a combination for executing the suspend, the counter 324 measures the number of receptions and compares this number with the comparator 325. Further, the comparator 325 compares "3", which is the set value at the time of executing the suspend, and transmits a signal of "1" to change the power supply state if the number is equal to or more than the set value. Otherwise, a signal of "0" is transmitted.
[0110]
When the comparator 325 outputs the signal “1”, the comparator 325 sends a counter reset signal to the counter 324 to reset the counter 324.
[0111]
Further, when the signal is neither of the above cases, that is, when the face image determination signal “1” and the suspend state signal “0” are received, and when the face image determination signal “0” and the suspend state signal “1” are received In this case, the counter 324 does not count.
[0112]
When receiving the face image determination signal, the set value determination unit 323 transmits the set value of the interval at which the CCD camera 140 takes in the image to the timer circuit 120a, and determines the face image until the start of each power control such as suspend. The set value of the number of received signals is transmitted to the comparator 325. As described above, the image capture interval is set to 5 seconds when the face image determination signal is “1” and to 20 seconds when the face image determination signal is “0”.
[0113]
Other operations are the same as those in the first embodiment.
[0114]
When the suspend and resume functions are combined as in the second embodiment, the above configuration is also applied when the resume function is executed (power OFF) and when the resume function is canceled (power ON). It is possible.
[0115]
As described above, in the power supply control system based on face image recognition according to the third embodiment, since the control determination unit 320a includes the set value determination unit 323, the counter 324, and the comparator 325, power supply control such as suspension is performed. Can be set as a condition that the computer system is not in use or not in use once but the same state continues for a certain number of times or more set for each power supply control. As a result, the time until each power supply control is started can be flexibly determined, and more efficient power supply control can be performed.
[0116]
Although the present invention has been described with reference to the preferred embodiments and examples, the present invention is not necessarily limited to the above embodiments and examples, and various modifications may be made within the scope of the technical idea. Can be implemented.
[0117]
In the above-described second embodiment, the power supply control functions of the suspend and the resume functions are provided together. However, by selecting these functions in use and providing a setting for setting the functions not to be used not to operate. , A function for switching to a power control such as only a suspend function or a resume function, and a function for switching not to operate all of these power control functions.
[0118]
【The invention's effect】
As described above, according to the power supply control system using face image recognition of the present invention, the following effects can be obtained.
[0119]
First, it is possible to correctly recognize whether or not the apparatus is being used without requiring any special operation by the user, thereby saving power consumption. The reason is that by processing the user's face image, it is possible to recognize the direction of the face and the direction of the eyes, thereby determining whether or not the apparatus is currently used, and changing the power supply state. is there.
[0120]
Second, power consumption can be simply and efficiently reduced without requiring any special operation by the user. The reason is that efficient power control can be performed by combining the suspend and resume functions as the power control method.
[0121]
Third, the time until each power supply control is started can be flexibly determined, and more efficient power supply control can be performed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a power supply control system based on face image recognition according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a timer circuit according to the first embodiment of the present invention.
FIG. 3 is a flowchart illustrating an image processing operation of a face image determination unit according to the first embodiment of the present invention.
FIG. 4 is a diagram illustrating a circuit configuration of a control determination unit according to the first embodiment of the present invention.
FIG. 5 is a table illustrating a control operation under each condition of a control determining unit according to the first embodiment of the present invention.
FIG. 6 is a timing chart illustrating the operation of the camera control unit according to the first embodiment of the present invention.
FIG. 7 is a timing chart illustrating the operation of the control determination unit according to the first embodiment of the present invention.
FIG. 8 is a table for explaining a control operation under each condition of a control determination unit according to a second embodiment of the present invention.
FIG. 9 is a timing chart illustrating an operation of a control determination unit according to a second embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration of a power supply control system based on face image recognition according to a third embodiment of the present invention.
FIG. 11 is a block diagram illustrating a configuration of a timer circuit according to a third embodiment of the present invention.
FIG. 12 is a diagram illustrating a circuit configuration of a control determination unit according to a third embodiment of the present invention.
[Explanation of symbols]
10. Power supply control system
100 Camera control unit
110 oscillator
120, 120a Timer circuit
121 counter
122, 122a comparator
130 switch
140 CCD camera
200 face image judgment unit
300 Power control unit
310 power supply state detector
320, 320a control determination unit
323 Set value determination unit
324 counter
325 comparator

Claims (5)

コンピュータシステムの電源を制御する電源制御システムにおいて、
一定の時間間隔での撮像による利用者の顔画像の認識により、コンピュータシステムが使用中か否かを判定し、
当該判定結果と現在の電源状態の組み合わせに基づいて、通常運転状態からサスペンド状態、前記サスペンド状態からレジューム機能による電源OFF状態、前記サスペンド状態又は前記レジューム機能による電源OFF状態から前記通常運転状態へ、前記電源の状態を変更する制御を行うことを特徴とするコンピュータシステムの電源制御システム。
In a power supply control system for controlling a power supply of a computer system,
By recognizing the user's face image by imaging at regular time intervals, it is determined whether the computer system is in use,
Based on a combination of the determination result and the current power supply state , from the normal operation state to the suspend state, from the suspend state to the power OFF state by the resume function, from the suspend state or the power OFF state by the resume function to the normal operation state, A power supply control system for a computer system, wherein the control is performed to change the state of the power supply.
前記利用者を撮影する撮影手段と、
撮影された画像を解析して顔画像を抽出することにより、前記利用者の有無と利用者の顔と目の向きがディスプレイ画面に向いているかどうかで、前記コンピュータシステムが使用中であるかどうかを判定する画像判定手段と、
前記コンピュータシステムが不使用状態である場合に前記電源がサスペンド状態となり、前記コンピュータシステムが不使用状態でかつ前記電源がサスペンド状態である場合に前記電源がレジューム機能による電源OFF状態となり、使用中の場合に前記電源のサスペンド状態又はレジューム機能による電源OFF状態が解除されるように、前記電源の制御を行なう制御手段とを備えることを特徴とする請求項1に記載のコンピュータシステムの電源制御システム。
Photographing means for photographing the user;
By analyzing the captured image and extracting a face image, the presence or absence of the user and whether or not the user's face and eyes are facing the display screen indicate whether the computer system is in use. Image determination means for determining
When the computer system is in an unused state, the power supply is in a suspended state, and when the computer system is in an unused state and the power supply is in a suspended state, the power supply is in a power OFF state by a resume function, and is in use. 2. The power supply control system for a computer system according to claim 1 , further comprising control means for controlling the power supply such that the power supply is released from a suspended state or a power-off state by a resume function in such a case.
前記電源の状態が通常運転状態かサスペンド状態か又はレジューム機能による電源OFF状態かを検出して電源状態信号として前記制御手段に通知する電源状態検出手段を備え、
前記画像判定手段は、
前記抽出した顔画像を予め用意されたテンプレートとマッチングすることにより、前記利用者の顔と目の向きがディスプレイ画面に向いているかを判定し、前記コンピュータシステムが使用中であるかどうかの顔画像判定信号を前記制御手段に通知し、
前記制御手段は、
前記電源状態検出手段から通知された電源状態信号と前記画像判定手段から通知された前記顔画像判定信号に基づいて、前記電源の制御を行なうことを特徴とする請求項2に記載のコンピュータシステムの電源制御システム。
Power supply state detection means for detecting whether the state of the power supply is a normal operation state, a suspend state, or a power OFF state by a resume function, and notifying the control means as a power supply state signal,
The image determining means includes:
By matching the extracted face image with a template prepared in advance, it is determined whether the orientation of the user's face and eyes is directed to a display screen, and a face image indicating whether the computer system is in use. Notifying the control means of a determination signal ,
The control means,
3. The computer system according to claim 2, wherein the power supply is controlled based on a power supply state signal notified from the power supply state detection unit and the face image determination signal notified from the image determination unit. Power control system.
前記撮影手段は、設定された画像取り込み時間間隔で画像を撮影し、
前記制御手段は、前記前記画像判定手段から通知された前記顔画像判定信号の内容に応じて、前記画像取り込み時間間隔の設定を変更し、かつ前記電源をサスペンド状態又はレジューム機能による電源OFF状態とし、またサスペンド状態又はレジューム機能による電源OFF状態から前記通常運転状態へ解除するための条件を変更することを特徴とする請求項2又は請求項3に記載のコンピュータシステムの電源制御システム。
The photographing means photographs an image at a set image capturing time interval,
The control unit changes the setting of the image capturing time interval according to the content of the face image determination signal notified from the image determination unit, and sets the power supply to a suspend state or a power OFF state by a resume function. , the power supply control system of a computer system according to claim 2 or claim 3, characterized in that to change the conditions for canceling the power OFF state by the suspended state or the resume function to the normal operating state.
前記電源をサスペンド状態又はレジューム機能による電源OFF状態とし、またサスペンド状態又はレジューム機能による電源OFF状態から前記通常運転状態へ解除するための条件として、前記顔画像判定信号の受信回数を設定することを特徴とする請求項4に記載のコンピュータシステムの電源制御システム。The power supply is set to a power-off state by a suspend state or a resume function, and the number of receptions of the face image determination signal is set as a condition for releasing from the power-off state by a suspend state or a resume function to the normal operation state. The power supply control system for a computer system according to claim 4, wherein:
JP17562799A 1999-06-22 1999-06-22 Computer system power control system Expired - Fee Related JP3603674B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17562799A JP3603674B2 (en) 1999-06-22 1999-06-22 Computer system power control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17562799A JP3603674B2 (en) 1999-06-22 1999-06-22 Computer system power control system

Publications (2)

Publication Number Publication Date
JP2001005550A JP2001005550A (en) 2001-01-12
JP3603674B2 true JP3603674B2 (en) 2004-12-22

Family

ID=15999398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17562799A Expired - Fee Related JP3603674B2 (en) 1999-06-22 1999-06-22 Computer system power control system

Country Status (1)

Country Link
JP (1) JP3603674B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005048091A1 (en) * 2003-11-17 2005-05-26 Sony Computer Entertainment Inc. Image display
JP2005221907A (en) * 2004-02-09 2005-08-18 Sanyo Electric Co Ltd Display device
US7302089B1 (en) 2004-04-29 2007-11-27 National Semiconductor Corporation Autonomous optical wake-up intelligent sensor circuit
JP5160293B2 (en) * 2008-04-23 2013-03-13 ソニーモバイルコミュニケーションズ, エービー Mobile terminal, display control method thereof, and display control program
BRPI0917133B1 (en) 2008-08-22 2021-03-02 Sony Corporation image display device, control method, and computer-readable storage medium
TWI475885B (en) * 2008-11-10 2015-03-01 Wistron Corp Control method for backlight module and application thereof
KR101083473B1 (en) 2009-10-23 2011-11-16 고려대학교 산학협력단 How to manage computer power using a webcam
JP4910067B1 (en) 2010-11-26 2012-04-04 株式会社東芝 Electronic device and power saving control method for electronic device
JP5204323B1 (en) 2012-03-02 2013-06-05 株式会社東芝 Electronic device, control method of electronic device, control program, and recording medium
JP5714038B2 (en) * 2013-02-13 2015-05-07 株式会社東芝 Electronic device, control method of electronic device, control program, and recording medium
JP7275239B1 (en) 2021-12-08 2023-05-17 レノボ・シンガポール・プライベート・リミテッド Electronic device and control method
JP7354376B1 (en) 2022-07-26 2023-10-02 レノボ・シンガポール・プライベート・リミテッド Information processing device and control method

Also Published As

Publication number Publication date
JP2001005550A (en) 2001-01-12

Similar Documents

Publication Publication Date Title
US6665805B1 (en) Method and apparatus for real time monitoring of user presence to prolong a portable computer battery operation time
JP3603674B2 (en) Computer system power control system
EP1672460B1 (en) Computer user detection apparatus
JP6994133B2 (en) Information processing equipment and its control method
US11216543B2 (en) One-button power-on processing method and terminal thereof
JP2008503837A (en) System, method, machine-readable medium
KR20100043974A (en) Apparatus and method for controlling alarm using the face recognition
WO2019109855A1 (en) Photography apparatus and detection and start method thereof
US9335812B2 (en) Information processing apparatus and method for controlling the information processing apparatus
US20140376029A1 (en) Image processing apparatus, image processing apparatus control method, and recording medium
US12315412B2 (en) Information processing apparatus and control method
JP2006004093A (en) Switching unit
US20240321236A1 (en) Information processing apparatus and control method
US7251350B2 (en) Method and apparatus for adaptive realtime system power state control
CN119027994A (en) Information processing device and control method
CN120832663A (en) Information processing device and control method
US12293014B2 (en) Information processing apparatus and control method
JP7421603B1 (en) Information processing device and control method
JP7397118B2 (en) Information processing device and control method
JP4510255B2 (en) Power saving method and apparatus in battery-driven electronic device
CN1991686B (en) Computer electric power management device and method
CN118301275A (en) Information processing device and control method
JP2014146317A (en) Electronic equipment and power saving method therefor
CN108181982A (en) A kind of processing method, device and electronic equipment
JP2010049311A (en) Information processing apparatus, pos terminal, and control method for forced termination

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040920

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071008

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081008

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091008

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091008

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101008

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111008

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111008

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111008

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121008

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121008

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121008

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121008

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees