Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4453280B2 - Image server and image server system - Google Patents
[go: Go Back, main page]

JP4453280B2 - Image server and image server system - Google Patents

Image server and image server system Download PDF

Info

Publication number
JP4453280B2
JP4453280B2 JP2003182327A JP2003182327A JP4453280B2 JP 4453280 B2 JP4453280 B2 JP 4453280B2 JP 2003182327 A JP2003182327 A JP 2003182327A JP 2003182327 A JP2003182327 A JP 2003182327A JP 4453280 B2 JP4453280 B2 JP 4453280B2
Authority
JP
Japan
Prior art keywords
image
signal level
image server
exposure time
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003182327A
Other languages
Japanese (ja)
Other versions
JP2005020362A (en
Inventor
健一 菊地
俊弘 藤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2003182327A priority Critical patent/JP4453280B2/en
Priority to US10/874,328 priority patent/US7340767B2/en
Priority to CNB2004100897969A priority patent/CN100385920C/en
Publication of JP2005020362A publication Critical patent/JP2005020362A/en
Priority to US12/022,058 priority patent/US8013912B2/en
Application granted granted Critical
Publication of JP4453280B2 publication Critical patent/JP4453280B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ネットワークを介して、撮像手段で撮像された画像データを送信することができる画像サーバと、さらにこの画像サーバとクライアント端末とをネットワークを介して接続した画像サーバシステムに関する。
【0002】
【従来の技術】
近年、撮像手段で撮像された画像データを、インターネットやLANなどのネットワークを介して、クライアント端末等に送信することができるネットワークカメラ(画像サーバ)が注目されている。このような画像サーバでは、被写体の明るさを自動的に調整するAGC(オートゲインコントロール)、AE(自動光量調整)や露光時間を制御(例えば、30フレーム/分の通常露光モードと、7.5フレーム/分の長時間露光モード)できるものがある(例えば、特許文献1参照)。
【0003】
ここで、AGCやAE制御は、視覚的に違和感がない程度の調整値(調整量が大きすぎると、例えば、被写体の映像が急に明るくなったときに、通常の明るさにすぐ戻るので、視覚的な違和感が生じる。これを抑えるために、ある程度の時間をかけて通常の明るさに戻すように調整する値)を加えることにより、目標のゲイン値や光量値になるようにゲイン値や光量値を調整するように構成されている。従って、被写体の映像が急に明るくなった場合には、ある程度の時間経過後に通常の明るさに戻ることになる。被写体の映像が急に明るくなる場合としては、被写体自体が明るくなる場合と、通常露光モードから長時間露光モードに切り替えられた場合の2つが存在する。被写体自体が明るくなる場合はともかく、通常露光モードから長時間露光モード(例えば、4倍露光)に切り替えられた場合に、実際には被写体自体の明るさは変化ないにもかかわらず、急に被写体の映像が4倍も明るくなった場合には、被写体の映像を見るものにとって視覚的に違和感が大きい。
【0004】
【特許文献1】
特開平11−346327号公報
【0005】
【発明が解決しようとする課題】
以上説明したように従来の画像サーバは、露光時間の切替制御を行なったときに、被写体の映像が急に明るくなるため、視覚的に見苦しく違和感がある被写体の映像をクライアントに送信してしまうことになる。このように従来の画像サーバと画像サーバシステムにおいては、長時間露光モードに変えたときなどに、視覚的に見苦しく違和感のある画像を送らざるを得ないという問題があった。
【0006】
そこで、本発明は、露光時間が変わったとき視覚的に見苦しく違和感がある画像が出力されず、良質で安定した画像を送信できる画像サーバと画像サーバシステムを提供することを目的とする。
【0007】
【課題を解決するための手段】
上記の課題を解決するために本発明の画像サーバは、ネットワークに接続され、該ネットワークに撮像画像データを出力する画像サーバであって、撮像手段から出力された映像信号の信号レベルを所定のレベルに自動調整する映像信号レベル制御手段と、前記映像信号レベル制御手段でレベル調整された画像信号の信号レベルを検知する信号レベル検知手段と、前記映像信号レベル制御手段によって信号レベルが調整された映像信号をキャプチャー、圧縮を行い、所定の画像データ形式に変換後、ネットワークに送信する画像データ送信手段と、前記撮像手段における露光時間を制御する露光制御手段と、前記露光制御手段により露光時間を変化させたとき、前記信号レベル検知手段により検出される信号レベルが前記映像信号レベル制御手段によって前記所定レベルに安定するまでの間、画像データのネットワークへの送信を停止するように前記画像データ送信手段を制御する過渡状態制御手段とを備えて構成している。
【0008】
これにより、ネットワークを介して利用者がアクセスしたときに、露光時間が急激に変わっても良質で安定した画像を送信できる。
【0009】
【発明の実施の形態】
本発明の第1の発明は、ネットワークに接続され、該ネットワークに撮像画像データを出力する画像サーバであって、撮像手段から出力された映像信号の信号レベルを所定のレベルに自動調整する映像信号レベル制御手段と、前記映像信号レベル制御手段でレベル調整された画像信号の信号レベルを検知する信号レベル検知手段と、前記映像信号レベル制御手段によって信号レベルが調整された映像信号をキャプチャー、圧縮を行い、所定の画像データ形式に変換後、ネットワークに送信する画像データ送信手段と、前記撮像手段における露光時間を制御する露光制御手段と、前記露光制御手段により露光時間を変化させたとき、前記信号レベル検知手段により検出される信号レベルが前記映像信号レベル制御手段によって前記所定レベルに安定するまでの間、画像データのネットワークへの送信を停止するように前記画像データ送信手段を制御する過渡状態制御手段とを備えたことを特徴とする画像サーバであり、露光時間が変わったとき信号レベルが安定するまでの過渡状態では画像データがネットワークへ送信されず、露光時間が急激に変わっても視覚的に見苦しく違和感がある画像が出力されず、良質で安定した画像を送信できる。
【0011】
本発明の第の発明は、第1の発明において、前記過渡状態制御手段は、前記露光制御手段が露光時間を変化させた後の時間経過を計時するタイマー手段を備え、露光時間を変化させたときに、前記タイマー手段の出力に従って過渡状態の画像データの送信制御を行う画像サーバであり、露光時間が急激に変わってもタイマー手段の出力に従って送信制御され、良質で安定した画像を送信できる。
【0012】
本発明の第の発明は、第1の発明において、前記過渡状態制御手段は、露光時間を変化させた後の同期信号をカウントするカウンタ手段を備え、露光時間を変化させたときに、前記カウンタ手段のカウントした出力に従って過渡状態の画像データの送信制御を行う画像サーバであり、露光時間が急激に変わってもカウンタ手段のカウントした出力に従って送信制御され、良質で安定した画像を送信できる。
【0013】
本発明の第の発明は、第のいずれかの発明において、前記過渡状態制御手段は、前記露光制御手段が露光時間を変化させたときに、前記撮像手段から出力された映像信号のキャプチャーを停止するように前記画像データ送信手段を制御する画像サーバであり、露光時間が急激に変わっても過渡状態制御手段がキャプチャーを停止するため、良質で安定した画像を送信できる。
【0014】
本発明の第の発明は、第のいずれかの発明において、前記過渡状態制御手段は、前記露光制御手段が露光時間を変化させたときに、前記撮像手段から出力された映像信号の圧縮処理を停止するように前記画像データ送信手段を制御する画像サーバであり、露光時間が急激に変わっても過渡状態制御手段が圧縮処理を停止するため、良質で安定した画像を送信できる。
【0015】
本発明の第の発明は、第1の発明において、前記映像信号レベル制御手段は、前記露光制御手段が前記露光時間を変化したとき、その露光時間の変化率に応じて、信号レベルの変化分を予測し、予測した信号レベルの変化分をだけ、映像信号の信号レベルを調整する画像サーバであり、信号レベルの変化を予め抑えることができるため、露光時間の変化に対する信号レベルの変化に対する応答改善でも過渡的なレベル不安定に対してもネットワークに対しては安定なレベルの画像を出力することが可能となる。
【0016】
本発明の第の発明は、第1の発明において、前記過渡状態制御手段が、前記撮像手段から出力された映像信号のキャプチャーを行うためのタイミング信号を発生するタイミング信号発生手段を備えた画像サーバであり、画像キャプチャーの制御をタイミング信号発生手段の発生するタイミング信号で簡単に制御できる。
【0017】
本発明の第の発明は、第の発明において、前記過渡状態制御手段が、前記信号レベルが安定するまでは、前記タイミング信号発生手段からのタイミング信号の発生を停止する画像サーバであり、過渡状態の信号レベルを示す画像データが過渡状態制御手段によってキャプチャーされず、視覚的に見苦しく違和感がある画像が出力されず、良質で安定した画像のみを送信できる。
【0018】
本発明の第の発明は、第1〜のいずれかの発明の画像サーバと、該画像サーバから画像データを取得することができるクライアント端末と、前記画像サーバと前記クライアント端末が接続されるネットワークとを備えた画像サーバシステムであり、露光時間が急激に変わっても画像サーバから視覚的に見苦しく違和感がある画像が出力されず、良質で安定した画像を送信できる。
【0019】
(実施の形態1)
以下、本発明の実施の形態1における画像サーバと画像サーバシステムについて図面に基づいて説明を行う。図1は本発明の実施の形態1における画像サーバ及び画像サーバシステムの構成図、図2は本発明の実施の形態1における画像サーバの構成図である。
【0020】
図1において、1は被写体を撮影して画像データを送信する画像サーバ、2は利用者が画像サーバ1から転送された画像を受信して表示するとともに、画像サーバ1をカメラ制御信号で制御できるPC等のクライアント端末、3はインターネット等のネットワークで、画像データやカメラ制御信号等を伝送することができるものである。4はドメイン名でアクセスしたときにIPアドレスに変換するためのDNSサーバである。本実施の形態1の画像サーバシステムは、画像サーバ1とクライアント端末2とネットワーク3とから構成される。クライアント端末2については後述する。
【0021】
図2において、5は画像サーバ1に設けられ、被写体を撮影し、これを画像信号に変換して出力するカメラ部であり、5aは被写体像を光電変換するCCDあるいはCMOS等の撮像素子から構成される撮像手段、5bはメカ絞り等を用いて撮像手段5aに入力する光量を制御する光量調整手段である。
【0022】
5cは撮像手段5aから出力された映像信号のレベルを調整し、撮像手段5aから出力される信号レベルが小さくなったときに、ゲインを上げて信号レベルを最適にするAGC制御を行う映像信号レベル調整手段である。この映像信号レベル調整手段5cは、視覚的に違和感がない程度の調整ゲイン値で映像信号を調整することにより、目標のゲイン値や光量値に追従させるように構成されている。したがって、被写体の映像が急に明るくなった場合には、ある程度の時間経過後に所定の明るさに戻ることになる。
【0023】
5dは映像信号レベル調整手段5cからの出力信号を処理し、輝度信号(Y)および色信号(Cb,Cr)を発生する映像信号処理手段、5d1は輝度信号からの映像信号の信号レベルを検知する信号レベル検知手段である。映像信号処理手段5dが行う具体的な処理には、輝度/色分離、CDS(相関二重サンプリング回路)、ホワイトバランス、輪郭補正、ガンマ補正等がある。発生される映像信号は、輝度信号および色信号が分離した形態、合成された形態あるいは原色RGB信号の形態等が考えられる。カメラ部5は、本実施の形態1においては画像サーバ1に内蔵されているが、画像サーバ1とは別体として外付けのカメラとしてもよい。これについては実施の形態5で説明する。
【0024】
6は、カメラ部5から入力する輝度信号および色信号を所定のタイミングでキャプチャーし、その画像信号を圧縮/符号化処理する画像データ送信手段、6aはこのキャプチャーを行う画像キャプチャー制御手段である。画像データ送信手段6で実行する圧縮は、JPEGをはじめMPEGその他の形式で行い、DCT処理、量子化、符号化等を行って、所定のヘッダーを追加する。このDCT(Discrete Cosine Transform)処理は、画像信号を周波数成分となるDCT係数で表現するために離散コサイン変換する。各DCT係数を量子化テーブルの要素である各係数で割り算することで量子化し、符号化は、この量子化によって演算された量子化係数をネットワークのフレームレートに合ったデータ量にするものである。
【0025】
次に、7は撮像手段5aの駆動信号を発生する撮像手段駆動部、8はカメラ部5の撮像手段5aの駆動、映像信号処理手段5dの制御、光量調整手段5bの制御(AE)、映像信号レベル調整手段5c等のコントロールを行う制御部である。さらに、制御部8は、ネットワーク3から送られて来るクライアント端末2のブラウザからの指示に従って、露光時間の変更、画像圧縮処理モード処理の変更、HTMLデータ、画像データ等を発生させる制御を行う。また、露光時間の変更は、画像信号処理手段5dの情報や信号レベル調整手段5c制御信号等により、制御部8の判断で行われる場合もある。制御部8より指示される駆動モードにより、撮像手段5aの駆動信号を変更する。
【0026】
8aは露光時間が変更されて長時間露光モードになったとき、信号レベル検知手段5d1が検出した画像信号レベルを基に画像信号レベルが所定の規定範囲に落ち着いたことを判定し、露光時間変更後の最初の画像処理を行って圧縮・送信を再開する過渡状態制御手段である。8bは、映像信号処理回路から得られる映像信号レベルや露光モード変更に基づいて、光量調整手段5bや映像信号レベル調整手段5cを制御する映像信号レベル制御手段である。
【0027】
9は画像サーバ1とネットワーク3のネットワークインターフェースである。ブラウザからの指示を制御部8に伝えるとともに、画像サーバ1からのHTMLデータ、画像データ等をネットワーク3に送出するものである。また、10は制御部8を構成するCPU等がプログラムやデータを読み出すための記憶部である。
【0028】
続いて、実施の形態1の画像サーバ1が通常露光モードから長時間露光モードに変化したときに画像データの送信の制御について説明する。
【0029】
図3は本発明の実施の形態1における画像サーバの長時間露光モードでの出力する信号レベルとそのデータ送信の説明図である。
【0030】
図3(a)に示すT1〜T14は画像サーバの動作の基準にされる垂直同期タイミングである。垂直同期信号によるタイミングのほかに、別途設けたタイミング信号発生手段の発生するタイミングで制御するのもよい。図3(b)は露光開始のタイミングを示し、T1〜T4は通常露光モードである。この露光開始タイミングは、基本的に撮像手段5aからの映像信号読み出しタイミングに一致する。T5において撮像手段5aからの映像信号読み出し(Image Read)を停止させて、通常露光モードの2倍の露光時間の長時間露光モードに切り替える(以降、映像信号読み出しは、垂直同期信号の一つ飛ばしのタイミングで行なわれる。以下同じ)。この場合、図3(c)に示すように撮像手段5aの映像信号はT6のタイミングで読み出される。
【0031】
図3(e)においてT1〜T4の時点に通常露光の映像信号は画像キャプチャー制御手段6aにキャプチャーされ、図3(f)に示すようにT2〜T5のタイミングで圧縮・送信される。しかしT6〜T7の間にキャプチャーされた画像信号の信号レベルは長時間露光モードであり、通常露光よりも露光時間が長いために、信号レベル検知手段5d1の検出する信号レベルは、図3(g)T7のように信号レベルが大きくなる。このため、映像信号レベル調整手段5cは、信号レベル検知手段5d1が検出した信号レベルに基づいて、T8以降のキャプチャーされる画像信号の信号レベルのゲインを下げるようにレベル調整が行われ、T11のタイミングで長時間露光における画像信号レベルが所定レベルに落ち着く。
【0032】
このように時点T5〜T11の間は、図3(g)に示すように画像信号レベルが大きくなる。この画像信号をそのまま圧縮して送出すると急に画像信号レベルが大きくなるために、不正規なレベルの画像が出力され、違和感の強い画像となる。これが、従来、画像サーバにおいて露光モード切り替え時に画質が悪化した理由である。
【0033】
しかし、実施の形態1においては、露光モードを切り替えたとき、信号レベル検知手段5d1によって画像信号レベルを検知し、過渡状態制御手段8aによって信号レベルが規定範囲に入っていないと判定した間は、この画像信号の圧縮・送信を停止する。過渡状態制御手段8aにタイミング信号発生手段を設け、このタイミング信号を発生したり停止することにより画像信号の圧縮・送信の制御が可能である。その後、映像信号レベル制御手段8bの指示で、映像信号レベル調整手段5cによってAGC制御され、過渡状態制御手段8aにより信号レベルが規定範囲に入ったと判定された場合に、画像信号の圧縮・送信を再開する。
【0034】
続いて、実施の形態1における画像サーバの制御動作について説明する。
【0035】
図4は本発明の実施の形態1におけるカメラ部の露光制御動作のフローチャート、図5は本発明の実施の形態1における画像サーバの信号レベル判定による圧縮・送信の制御動作のフローチャート、図6は本発明の実施の形態1における画像サーバのカウンタによる圧縮・送信の制御動作のフローチャートである。
【0036】
まず、図4に基づいてカメラ部5の露光制御動作について説明する。制御部8は待機中の画像サーバにネットワークから露光時間の変更の要求があったかをチェックし(step1)、変更の要求があった場合には制御部8は露光時間の変更を設定して(step2)、露光時間を調整するとともに、露光時間変更前の最終画像の信号レベルLToldを取得して(step3)、制御部8に出力し、step1に戻る。step1において、変更の要求がなければ最新の画像の信号レベルLTnewを取得して(step4)、制御部8に出力し、再びstep1に戻って待機する。
【0037】
次に、図5に基づいて画像サーバの画像信号レベル判定による圧縮・送信の制御動作について説明する。露光時間の変更の要求があって露光時間の変更が設定された後、映像信号処理手段5dが出力する画像が露光時間変更後の最初の画像であるか否かがチェックされる(step11)。出力される画像が露光時間変更後における最初の画像の場合、信号レベル検知手段5d1によって信号レベルLTnewを取得し(step12)、制御部8に出力して、画像キャプチャー制御手段8aがキャプチャーを開始する(step13)。次いで過渡状態制御手段8aは信号レベルLTnewとLToldから、(LTnew−LTold)/LToldを計算し、この計算値が規定範囲内にあるか否かをチェックする(step14)。規定範囲内にあれば、露光モード切り替え時の信号レベル変動は終了したものとして、過渡状態制御手段8aは露光時間変更後における最初の画像処理のステータスを終了し(step15)、画像データを画像データ送信手段6で圧縮し、ネットワークインターフェース9から送信する(step16)。step14において、計算値が規定範囲内にない場合はstep11に戻る。また、step11において、映像信号処理手段5dが出力する画像が露光時間変更後の最初の画像でない場合には、step15に進み、露光モード切り替えは終了しているものとして、露光時間変更後における最初の画像処理のステータスが終了する。
【0038】
ところで、上述の画像信号レベルの判定によって行う圧縮・送信に代えて、変更後の画像の数をカウンタによってカウントして行う圧縮・送信の制御動作について説明する。図6に示すように、露光時間の変更の要求があって露光時間の変更が設定された後、映像信号処理手段5dが出力する画像が露光時間変更後における最初の画像であるか否かがチェックされる(step21)。初期値としてカウンタ(図示しない)に0がセットされる。step21において露光時間変更後における最初の画像の場合、過渡状態制御手段8aはカウンタが所定の規定値になったか否かをチェックし(step22)、規定値になっていない場合、カウンタの値に1を加えて(step23)、step21に戻る。step22で、カウンタ値が所定の規定値になった場合、露光モード切り替え時の信号レベル変動は終了したものとして、露光時間変更後における最初の画像処理のステータスを終了し(step24)、画像データを画像データ送信手段6で圧縮し、ネットワークインターフェース9から送信する(step25)。また、step21において、映像信号処理手段5dが出力する画像が露光時間変更後の最初の画像でない場合には、step25に進み、露光モード切り替えが終了したものとして、露光時間変更後における過渡的な画像処理のステータスを終了する。
【0039】
このように実施の形態1の画像サーバと画像サーバシステムは、通常露光モードから長時間露光モードに切り替わったとき何画面か明るさの変化が大きい画像が出力しないように、露光時間変更後に画像信号レベルが所定の規定範囲のレベルに落ち着くまで画像データの圧縮と圧縮データの送信を停止することができ、露光モード切り替え時に良質で安定した画像だけを送信できる。
【0040】
(実施の形態2)
本発明の実施の形態2の画像サーバは、キャプチャー制御手段6anable/disableすることによって、画像の送信を停止するものである。キャプチャーを行わない場合は、画像信号圧縮・送信は行われない。図7は本発明の実施の形態2における画像サーバの長時間露光モードでの出力する信号レベルとそのデータ送信の説明図である。なお、実施の形態2の画像サーバの構成は、実施の形態1の構成と基本的に同一であり、同一符号は同一構成を示すから、実施の形態2においても図1,2を参照する。
【0041】
図7(a)に示すT1〜T14は画像サーバの動作の基準にされる垂直同期タイミングである。図7(b)は露光開始のタイミングを示し、T1〜T4は通常露光モードであり、図7(e1)に示すようにキャプチャーはenable状態である。なお、Highレベルのときがenable状態となる。図7(e1)のT5において撮像手段5aからの映像信号読み出し(Image Read)を停止させて、通常露光モードの2倍の露光時間である長時間露光モードに切り替え、キャプチャーもdisableとする。このとき、図7(c)に示すように撮像手段5aの映像信号はT6のタイミングで読み出される。
【0042】
T1〜T4の通常露光の映像信号は画像キャプチャー制御手段6aにキャプチャーされ、図7(f)に示すようにT2〜T5のタイミングで圧縮・送信される。しかしT6にキャプチャーされた画像信号の信号レベルは長時間露光モードであり、通常露光よりも露光時間が長いために、信号レベル検知手段5d1の検出する信号レベルは、図7(g)T7のように信号レベルが大きくなる。このため、映像信号レベル調整手段5cは、信号レベル検知手段5d1が検出した信号レベルに基づいて、T8以降のキャプチャーされる画像信号の信号レベルのゲインを下げるように、レベル調整が行われ、T11のタイミングで長時間露光における画像信号レベルが所定レベルに落ち着く。信号レベルが規定範囲に入ると、キャプチャーをenableにして、映像信号処理手段5dが出力する映像信号出力と同期してキャプチャーを再開し、さらにこの画像信号の圧縮・送信を再開する。
【0043】
このように時点T5〜T11の間は、図7(g)に示すように信号レベルが大きくなる。この信号をそのまま送出すると急に画像信号レベルが大きくなるために、違和感の強い見苦しい画像となるが、実施の形態2の画像サーバは画像キャプチャー制御手段6aがdisableにされるので、画像信号の圧縮・送信を停止することができる。
【0044】
カメラ部5と画像データ送信手段6が別ブロックとなっている場合に、キャプチャー制御信号により画像キャプチャー制御手段6aのキャプチャーをenable/disableすることが可能であり、制御が容易に行われる。なお、露光時間変更時の信号レベルの変化量は予測できるため、その変化が規定範囲に入って安定するまでの期間はある程度予測できる。従って、信号レベルが規定範囲になることを監視する代わりに、露光時間を変更してからの時間を監視して、所定時間経過したところで画像送信を開始してよい。
【0045】
続いて、実施の形態2における画像サーバの制御動作について説明する。図8は本発明の実施の形態2におけるカメラ部の露光制御動作のフローチャート、図9は本発明の実施の形態2における画像サーバの画像信号レベル判定による圧縮・送信の制御動作のフローチャート、図10は本発明の実施の形態2における画像サーバのカウンタによる圧縮・送信の制御動作のフローチャートである。
【0046】
まず、図8に基づいてカメラ部5の露光制御動作について説明する。制御部8は待機中の画像サーバにネットワークから露光時間の変更の要求があったかをチェックし(step31)、変更の要求があった場合には制御部8は露光時間の変更を設定して(step32)、露光時間を調整するとともに、露光時間変更前の最終画像の信号レベルLToldを取得して(step33)、過渡状態制御手段8aは、画像キャプチャー制御手段6aに対するキャプチャーenableをLOWレベルにして(step34)、step31に戻る。
【0047】
step31において、変更の要求がなければ最新の画像の信号レベルLTnewを取得して(step35)、過渡状態制御手段8aは信号レベルLTnewとLToldから、(LTnew−LTold)/LToldを計算し、この計算値が規定範囲内にあるか否かをチェックする(step36)。規定範囲内にあれば、露光モード切り替えの信号レベル変動は終了したものとして、キャプチャーenableをHIGHレベルにして(step37)、再びstep31に戻って待機する。計算値が規定範囲内にないときもstep31に戻って待機する。
【0048】
次に、図9に基づいて画像サーバのキャプチャー制御信号による圧縮・送信の制御動作について説明する。露光時間の変更の要求あって露光時間の変更が設定された後、キャプチャーenableの状態取得を行う(step41)。取得したキャプチャーenable状態がHIGHになるまで繰り返し(step42)、画像キャプチャー制御手段8aがキャプチャーを開始する(step43)。次いで、画像データを画像データ送信手段6で圧縮し、ネットワークインターフェース9から送信する(step44)。
【0049】
ところで、step31〜step37の信号レベルの判定によって行う露光制御動作に代えて、露光モード変更後の画像の数をカウンタ(図示しない)によってカウントする露光制御動作について説明する。図10に示すように、制御部8は待機中の画像サーバにネットワークから露光時間の変更の要求があったかをチェックし(step51)、変更の要求があった場合には制御部8は露光時間の変更を設定して(step52)、露光時間を調整するとともに、露光時間変更前の最終画像の信号レベルLToldを取得して(step53)、過渡状態制御手段8aは、画像キャプチャー制御手段6aに対するキャプチャーenableをLOWレベルにして(step54)、カウンタに初期値として0をセットする(step55)。カウンタ値が規定値以上であるか否かがチェックされ(step56)、カウンタ値が規定値より小さいときカウンタ値に1を加えて(step57)step51に戻る。カウンタ値が規定値以上の場合は、キャプチャーenableをHIGHレベルにして(step58)、再びstep51に戻って待機する。
【0050】
このように実施の形態2においては、露光モードを切り替えたとき、信号レベル検知手段5d1によって信号レベルを検知し、過渡状態制御手段8aによって信号レベルが規定範囲に入っていないと判定した間は、画像キャプチャー制御手段6aをdisableとしてキャプチャーを停止するため、画像信号の圧縮・送信を停止することができる。そして、その後、信号レベルが規定範囲に入ったと判定された場合に、画像信号の圧縮・送信を再開するため、通常露光モードから長時間露光モードに切り替わったとき何画面か明るさの変化が大きい画像が撮像手段5aから出力されるが、画像信号レベルが所定の規定範囲のレベルに落ち着くまで画像は画像サーバの利用者に送られない。
【0051】
(実施の形態3)
本発明の実施の形態3の画像サーバは実施の形態2の画像サーバと同様に、画像のキャプチャーをenable/disableすることによって、画像の送信を停止するが、露光時間を変更したとき、強制的に映像信号レベル調整手段5cを急激に変化させ、信号レベル変化の応答性を改善したものである。
【0052】
図11は本発明の実施の形態3における画像サーバの長時間露光モードでの出力する信号レベルとそのデータ送信の説明図である。なお、実施の形態3の画像サーバの構成は、実施の形態2の構成と基本的に同一であり、同一符号は同一構成を示すから、実施の形態3においても図1,2を参照する。
【0053】
T1〜T4は通常露光モードであり、図11(e1)に示すようにキャプチャーはenable状態である。Highレベルがenable状態となる。図11(e1)のT5において撮像手段5aからの映像信号読み出し(Image Read)を停止させて、通常露光モードの2倍の露光時間である長時間露光モードに切り替え、キャプチャーもdisableとする。このとき、図11(c)に示すように撮像手段5aの映像信号はT6のタイミングで読み出される。
【0054】
T6でキャプチャーされた画像信号の信号レベルは長時間露光モードで、通常露光よりも露光時間が長いために、信号レベル検知手段5d1の検出する信号レベルは、図11(g)T7のタイミングで本来信号レベルが大きくなる。そこで、T6の前に信号レベルの変化を予測して映像信号レベル制御手段8bの指示に従って映像信号レベル調整手段5cによって、予測した信号レベルの変化分をだけ信号レベルを低下させる。この予測は、露光時間の変化率に基づいて行なわれる。例えば、通常露光モードから通常露光モードの2倍の長時間露光モードに切り替えられたとすると、おおよそ2倍の明るさになることが予測されるため、信号レベルを1/2にするようなゲインが設定されることになる。その後、時点T9に信号レベルが規定範囲に入ると、キャプチャーをenableとして映像信号出力と同期して画像信号キャプチャーを再開し、同時に画像信号の圧縮・送信を再開する。
【0055】
このように時点T5〜T11の間は、図11(g)に示すように信号レベルが大きくなる。この信号をそのまま送出すると急に画像信号レベルが大きくなるために、違和感の強い画像となるが、実施の形態3の画像サーバは映像信号レベル調整手段5aが強制的に信号レベルを低下し、画像キャプチャー制御手段6aがdisableにされるので、画像信号の圧縮・送信を停止することができる。
【0056】
カメラ部5と画像データ送信手段6が別ブロックとなっている場合に、キャプチャー制御信号によりキャプチャーをenable/disableすることが可能であり、制御が容易に行われる。また、露光時間変更時の画像信号レベルの変化量を予測できるため、その変化が規定範囲に入って安定するまでの期間はある程度予測できる。従って、信号レベルが規定範囲になることを監視する代わりに、露光時間を変更してからの時間を監視して、所定時間経過したところで画像送信を開始してよい。
【0057】
このように強制的に信号レベルを変化させることにより、信号レベルの変化を予め抑えることができるため、露光時間の変化に対する信号レベルの変化に対する応答改善をする場合においても、露光時間が変化する際の過渡的なレベル不安定に対してもネットワークに対しては安定なレベルの画像を出力することが可能となる。
【0058】
実施の形態3の場合において、キャプチャーをenable/disableする方式にて説明したが、実施の形態1と同様にすべての画像信号はキャプチャーするが、検出された映像信号レベルによってネットワークへの送信を制御する方式でもよい。
【0059】
(実施の形態4)
本発明の実施の形態4は、実施の形態1のカメラ部が画像サーバに内蔵されていない場合の画像サーバである。図12は本発明の実施の形態4における画像サーバの長時間露光モードでの出力する信号レベルとそのデータ送信の説明図である。図1,2に示す実施の形態1の画像サーバと同一符号の構成は、同一の構成を示しているので、詳細な説明は省略する。
【0060】
図12において、8cは画像サーバとは別体に構成され、被写体を撮影して画像信号を出力するカメラ部5の制御を行うカメラ制御部である。カメラ制御部8cは、カメラ部5の撮像手段5aの駆動、映像信号処理手段5dの制御、光量調整手段5bの制御(AE)、AGC/AWB等のコントロールを具体的なレベルで行う。
【0061】
制御部8は、ネットワークインターフェース9を介してネットワーク3から送られて来るクライアント端末2のブラウザからの指示に従って、画像圧縮処理モード処理の変更やHTMLデータ、画像データ等を発生させる制御を行う。そして、通常露光モードから長時間露光モードに切り替わったとき、画像信号と同一の周期で画像信号圧縮および画像データの送出ができるように、制御部8は、カメラ制御部8cに対して撮像手段5a、映像信号処理手段5d、光量調整手段5b、またAGC/AWB等のコントロールを命じる。
【0062】
このように実施の形態5の画像サーバは、カメラ部5が内蔵されず、外付けできる点で、カメラ部5との組み合わせで様々の画像サーバを構成でき、利便性が高くなる。
【0063】
以上、実施の形態1〜5において、露光時間が変更された際に、映像信号レベル調整手段5cによって、AGC制御として映像信号レベルを制御するとして説明したが、光量調整手段5bによって、撮像手段5aへ入力する光量を変化させることによって、映像信号レベルを制御してもよい。
【0064】
また、実施の形態1〜5において、露光時間変更は、通常露光時間に対して長い露光時間に関する露光時間の変更として説明したが、撮像手段5aのシャッター機能を用いて露光時間を変更するような通常露光時間に対して短い露光時間に関する露光時間の変更に対しても同様な制御を行ってもよい。
【0065】
【発明の効果】
本発明の画像サーバと画像サーバシステムによれば、露光時間が変わったとき不正規なレベルの画像が出力されず、良質で安定した画像を送信できる。
【図面の簡単な説明】
【図1】本発明の実施の形態1における画像サーバ及び画像サーバシステムの構成図
【図2】本発明の実施の形態1における画像サーバの構成図
【図3】本発明の実施の形態1における画像サーバの長時間露光モードでの出力する信号レベルとそのデータ送信の説明図
【図4】本発明の実施の形態1におけるカメラ部の露光制御動作のフローチャート
【図5】本発明の実施の形態1における画像サーバの画像信号レベル判定による圧縮・送信の制御動作のフローチャート
【図6】本発明の実施の形態1における画像サーバのカウンタによる圧縮・送信の制御動作のフローチャート
【図7】本発明の実施の形態2における画像サーバの長時間露光モードでの出力する信号レベルとそのデータ送信の説明図
【図8】本発明の実施の形態2におけるカメラ部の露光制御動作のフローチャート
【図9】本発明の実施の形態2における画像サーバの画像信号レベル判定による圧縮・送信の制御動作のフローチャート
【図10】本発明の実施の形態2における画像サーバのカウンタによる圧縮・送信の制御動作のフローチャート
【図11】本発明の実施の形態3における画像サーバの長時間露光モードでの出力する信号レベルとそのデータ送信の説明図
【図12】本発明の実施の形態4における画像サーバの長時間露光モードでの出力する信号レベルとそのデータ送信の説明図
【符号の説明】
1 画像サーバ
2 クライアント端末
3 ネットワーク
4 DNSサーバ
5 カメラ部
5a 撮像手段
5b 光量調整手段
5c 映像信号レベル調整手段
5d 映像信号処理手段
5d1 信号レベル検知手段
6 画像データ送信手段
6a 画像キャプチャー制御手段
7 撮像手段駆動部
8 制御部
8a 過渡状態制御手段
8b 映像信号レベル制御手段
8c カメラ制御部
9 ネットワークインターフェース
10 記憶部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image server capable of transmitting image data picked up by an image pickup means via a network, and further to an image server system in which the image server and a client terminal are connected via a network.
[0002]
[Prior art]
In recent years, a network camera (image server) that can transmit image data captured by an imaging unit to a client terminal or the like via a network such as the Internet or a LAN attracts attention. In such an image server, AGC (automatic gain control), AE (automatic light amount adjustment) for automatically adjusting the brightness of the subject, and exposure time control (for example, a normal exposure mode of 30 frames / min; There is one that can perform a long exposure mode of 5 frames / minute (for example, see Patent Document 1).
[0003]
Here, the AGC or AE control is an adjustment value that does not give a sense of incongruity (if the adjustment amount is too large, for example, when the image of the subject suddenly becomes brighter, it immediately returns to normal brightness. In order to suppress this, a gain value or light intensity value is set so that the target gain value or light intensity value is obtained by adding a value that is adjusted to return to normal brightness over a certain period of time. The light intensity value is adjusted. Therefore, when the image of the subject suddenly becomes bright, it returns to normal brightness after a certain amount of time has elapsed. There are two cases where the image of the subject suddenly becomes brighter: when the subject itself becomes brighter and when the normal exposure mode is switched to the long exposure mode. Regardless of whether the subject itself becomes brighter or not, when the normal exposure mode is switched to the long exposure mode (for example, 4 times exposure), the subject suddenly becomes bright even though the brightness of the subject itself does not change. Is 4 times brighter, it is visually uncomfortable for those who see the subject image.
[0004]
[Patent Document 1]
JP-A-11-346327
[0005]
[Problems to be solved by the invention]
As described above, when the conventional image server performs exposure time switching control, the subject image suddenly becomes brighter, and therefore the visually unsightly and uncomfortable subject image is transmitted to the client. become. As described above, in the conventional image server and image server system, there is a problem that a visually unsightly and uncomfortable image has to be sent when changing to the long exposure mode.
[0006]
SUMMARY OF THE INVENTION An object of the present invention is to provide an image server and an image server system capable of transmitting a high-quality and stable image without outputting an unsightly and uncomfortable image when the exposure time changes.
[0007]
[Means for Solving the Problems]
In order to solve the above problems, an image server of the present invention is an image server that is connected to a network and outputs captured image data to the network, and the signal level of the video signal output from the imaging means is set to a predetermined level. Video signal level control means for automatically adjusting the signal level, signal level detection means for detecting the signal level of the image signal whose level has been adjusted by the video signal level control means, and video whose signal level has been adjusted by the video signal level control means The signal is captured and compressed, converted into a predetermined image data format, and then transmitted to the network. The image data transmitting means, the exposure control means for controlling the exposure time in the imaging means, and the exposure control means changing the exposure time. When letting The image data transmission means is controlled to stop transmission of image data to the network until the signal level detected by the signal level detection means is stabilized at the predetermined level by the video signal level control means. And a transient state control means.
[0008]
Thereby, when a user accesses via a network, a high-quality and stable image can be transmitted even if the exposure time changes drastically.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
A first invention of the present invention is an image server connected to a network and outputting captured image data to the network, wherein the video signal automatically adjusts the signal level of the video signal output from the imaging means to a predetermined level. Level control means, signal level detection means for detecting the signal level of the image signal level adjusted by the video signal level control means, and capture and compression of the video signal whose signal level is adjusted by the video signal level control means. When the exposure time is changed by the image data transmission means for transmitting to the network after being converted into a predetermined image data format, the exposure control means for controlling the exposure time in the imaging means, and the exposure control means, The image data transmission means is controlled to stop transmission of image data to the network until the signal level detected by the signal level detection means is stabilized at the predetermined level by the video signal level control means. An image server comprising a transient state control means, when the exposure time changes In the transient state until the signal level stabilizes, the image data is not sent to the network, Even if the exposure time changes abruptly, a visually unsightly and uncomfortable image is not output, and a high-quality and stable image can be transmitted.
[0011]
First of the present invention 2 In the first aspect of the invention, in the first aspect, the transient state control means includes timer means for measuring a time elapsed after the exposure control means has changed the exposure time, and when the exposure time is changed, It is an image server that performs transmission control of image data in a transient state according to the output of the timer means. Transmission control is performed according to the output of the timer means even when the exposure time changes abruptly, and a high-quality and stable image can be transmitted.
[0012]
First of the present invention 3 In the first aspect of the invention, the transient state control means includes counter means for counting a synchronization signal after changing the exposure time, and the counter means counts when the exposure time is changed. It is an image server that performs transmission control of image data in a transient state according to the output, and transmission control is performed according to the output counted by the counter means even if the exposure time changes abruptly, and a high-quality and stable image can be transmitted.
[0013]
First of the present invention 4 The invention of the 1 ~ 3 In any one of the inventions, the transient state control means stops capturing the video signal output from the imaging means when the exposure control means changes the exposure time. Said It is an image server that controls the image data transmission means, and even when the exposure time changes suddenly, the transient state control means stops capturing, so that a high-quality and stable image can be transmitted.
[0014]
First of the present invention 5 The invention of the 1 ~ 3 In any one of the inventions, the transient state control means stops the compression processing of the video signal output from the imaging means when the exposure control means changes the exposure time. Said It is an image server that controls the image data transmission means, and the transient state control means stops the compression process even if the exposure time changes suddenly, so that a high-quality and stable image can be transmitted.
[0015]
First of the present invention 6 In the first aspect of the invention, the video signal level control means predicts a change in the signal level according to a change rate of the exposure time when the exposure control means changes the exposure time. Adjust the signal level of the video signal only by the expected change in the signal level. Painting Since it is an image server and can suppress changes in signal level in advance, it can improve the response to changes in signal level with respect to changes in exposure time, and it can maintain a stable level for the network against transient level instability. Can be output.
[0016]
First of the present invention 7 The invention of claim 1 is the image server according to the first invention, wherein the transient state control means comprises timing signal generation means for generating a timing signal for capturing the video signal output from the imaging means, Capture control can be easily controlled by the timing signal generated by the timing signal generating means.
[0017]
First of the present invention 8 The invention of the 7 In the invention, the transient state control means includes the signal Until the level is stabilized, the image server stops the generation of the timing signal from the timing signal generating means, and the image data indicating the signal level in the transient state is not captured by the transient state controlling means, and is visually unsightly and uncomfortable. A certain image is not output, and only a good and stable image can be transmitted.
[0018]
First of the present invention 9 The inventions 1 to 1 8 An image server system comprising: the image server according to any one of the invention; a client terminal capable of acquiring image data from the image server; and a network to which the image server and the client terminal are connected. Even if the value changes suddenly, the image server does not output an unsightly and uncomfortable image, and a high-quality and stable image can be transmitted.
[0019]
(Embodiment 1)
Hereinafter, an image server and an image server system according to Embodiment 1 of the present invention will be described with reference to the drawings. FIG. 1 is a configuration diagram of an image server and an image server system according to Embodiment 1 of the present invention, and FIG. 2 is a configuration diagram of an image server according to Embodiment 1 of the present invention.
[0020]
In FIG. 1, reference numeral 1 denotes an image server that captures a subject and transmits image data. Reference numeral 2 denotes a user that receives and displays an image transferred from the image server 1, and can control the image server 1 with a camera control signal. A client terminal 3 such as a PC is a network such as the Internet, which can transmit image data, camera control signals, and the like. Reference numeral 4 denotes a DNS server for converting to an IP address when accessed by a domain name. The image server system according to the first embodiment includes an image server 1, a client terminal 2, and a network 3. The client terminal 2 will be described later.
[0021]
In FIG. 2, 5 is a camera unit that is provided in the image server 1 and shoots a subject, converts it into an image signal, and outputs the image signal, and 5a includes an image sensor such as a CCD or CMOS that photoelectrically converts the subject image. The image pickup means 5b is a light amount adjusting means for controlling the amount of light input to the image pickup means 5a using a mechanical aperture or the like.
[0022]
5c adjusts the level of the video signal output from the image pickup means 5a, and when the signal level output from the image pickup means 5a decreases, the video signal level for performing AGC control to optimize the signal level by increasing the gain. It is an adjustment means. The video signal level adjusting means 5c is configured to follow the target gain value and light amount value by adjusting the video signal with an adjustment gain value that is visually uncomfortable. Therefore, when the image of the subject suddenly becomes bright, it returns to a predetermined brightness after a certain amount of time has elapsed.
[0023]
5d processes the output signal from the video signal level adjusting means 5c and generates a luminance signal (Y) and color signals (Cb, Cr). 5d1 detects the signal level of the video signal from the luminance signal. Signal level detecting means. Specific processing performed by the video signal processing means 5d includes luminance / color separation, CDS (correlated double sampling circuit), white balance, contour correction, gamma correction, and the like. The generated video signal may have a form in which a luminance signal and a color signal are separated, a synthesized form, a form of a primary color RGB signal, or the like. Although the camera unit 5 is built in the image server 1 in the first embodiment, it may be an external camera as a separate body from the image server 1. This will be described in the fifth embodiment.
[0024]
Reference numeral 6 denotes an image data transmission unit that captures the luminance signal and the color signal input from the camera unit 5 at a predetermined timing, and compresses / encodes the image signal. Reference numeral 6a denotes an image capture control unit that performs the capture. The compression executed by the image data transmission means 6 is performed in MPEG or other formats including JPEG, DCT processing, quantization, encoding, etc. are performed, and a predetermined header is added. In this DCT (Discrete Cosine Transform) process, discrete cosine transform is performed in order to express an image signal with DCT coefficients as frequency components. Each DCT coefficient is quantized by dividing by each coefficient that is an element of the quantization table, and encoding is performed by setting the quantized coefficient calculated by this quantization to a data amount that matches the frame rate of the network. .
[0025]
Next, 7 is an image pickup means drive section that generates a drive signal for the image pickup means 5a, 8 is a drive of the image pickup means 5a of the camera section 5, a control of the video signal processing means 5d, a control (AE) of the light amount adjustment means 5b, and an image It is a control part which controls signal level adjustment means 5c etc. Further, the control unit 8 performs control to generate exposure time change, image compression processing mode change, HTML data, image data, and the like according to instructions from the browser of the client terminal 2 sent from the network 3. Further, the exposure time may be changed based on the determination of the control unit 8 based on the information of the image signal processing unit 5d, the control signal of the signal level adjusting unit 5c, or the like. The drive signal of the imaging means 5a is changed according to the drive mode instructed by the control unit 8.
[0026]
8a determines that the image signal level has settled within a predetermined specified range based on the image signal level detected by the signal level detection means 5d1 when the exposure time is changed to enter the long exposure mode, and the exposure time change is performed. This is a transient state control means for performing subsequent first image processing and restarting compression / transmission. Reference numeral 8b denotes video signal level control means for controlling the light amount adjusting means 5b and the video signal level adjusting means 5c based on the video signal level obtained from the video signal processing circuit and the exposure mode change.
[0027]
Reference numeral 9 denotes a network interface between the image server 1 and the network 3. An instruction from the browser is transmitted to the control unit 8 and HTML data, image data, and the like from the image server 1 are transmitted to the network 3. Reference numeral 10 denotes a storage unit for the CPU or the like constituting the control unit 8 to read out programs and data.
[0028]
Next, transmission control of image data when the image server 1 of Embodiment 1 changes from the normal exposure mode to the long exposure mode will be described.
[0029]
FIG. 3 is an explanatory diagram of signal levels output in the long exposure mode of the image server and data transmission thereof according to Embodiment 1 of the present invention.
[0030]
T1 to T14 shown in FIG. 3A are vertical synchronization timings that are used as a reference for the operation of the image server. In addition to the timing based on the vertical synchronizing signal, the timing may be controlled by a timing generated by a separately provided timing signal generating means. FIG. 3B shows the exposure start timing, and T1 to T4 are normal exposure modes. This exposure start timing basically coincides with the video signal readout timing from the imaging means 5a. At T5, the video signal readout (Image Read) from the imaging means 5a is stopped and switched to the long exposure mode having an exposure time twice as long as the normal exposure mode (hereinafter, the video signal readout skips one of the vertical synchronization signals). (The same applies hereinafter) In this case, as shown in FIG. 3C, the video signal of the imaging means 5a is read at the timing T6.
[0031]
In FIG. 3 (e), the normal exposure video signal is captured by the image capture control means 6a at the time T1-T4, and is compressed and transmitted at the timing T2-T5 as shown in FIG. 3 (f). However, since the signal level of the image signal captured between T6 and T7 is the long exposure mode and the exposure time is longer than the normal exposure, the signal level detected by the signal level detection means 5d1 is as shown in FIG. ) The signal level increases as in T7. Therefore, the video signal level adjusting unit 5c performs level adjustment so as to reduce the gain of the signal level of the captured image signal after T8 based on the signal level detected by the signal level detecting unit 5d1. At the timing, the image signal level in the long exposure is settled to a predetermined level.
[0032]
As described above, the image signal level increases between the time points T5 and T11 as shown in FIG. If this image signal is compressed and sent out as it is, the image signal level suddenly increases, so an image with an irregular level is output, resulting in a strong sense of incongruity. This is the reason why the image quality has deteriorated when switching the exposure mode in the image server.
[0033]
However, in the first embodiment, when the exposure mode is switched, while the image signal level is detected by the signal level detection unit 5d1, and the transient state control unit 8a determines that the signal level is not within the specified range, The compression / transmission of this image signal is stopped. By providing timing signal generating means in the transient state control means 8a and generating or stopping the timing signal, compression / transmission of the image signal can be controlled. Thereafter, when the AGC control is performed by the video signal level adjusting unit 5c in response to an instruction from the video signal level control unit 8b and the signal level is determined to be within the specified range by the transient state control unit 8a, the compression / transmission of the image signal is performed. Resume.
[0034]
Next, the control operation of the image server in the first embodiment will be described.
[0035]
4 is a flowchart of the exposure control operation of the camera unit in the first embodiment of the present invention, FIG. 5 is a flowchart of the compression / transmission control operation by the signal level determination of the image server in the first embodiment of the present invention, and FIG. 6 is a flowchart of compression / transmission control operations by the counter of the image server according to the first embodiment of the present invention.
[0036]
First, the exposure control operation of the camera unit 5 will be described with reference to FIG. The control unit 8 checks whether there is a request for changing the exposure time from the network to the waiting image server (step 1). If there is a change request, the control unit 8 sets the change of the exposure time (step 2). ) Adjusts the exposure time, acquires the signal level LTold of the final image before the change of the exposure time (step 3), outputs it to the control unit 8, and returns to step 1. If there is no change request at step 1, the signal level LTnew of the latest image is acquired (step 4), and is output to the control unit 8, and then returns to step 1 and waits.
[0037]
Next, the compression / transmission control operation based on the image signal level determination of the image server will be described with reference to FIG. After a change in exposure time is requested and the change in exposure time is set, it is checked whether or not the image output from the video signal processing means 5d is the first image after the change in exposure time (step 11). When the output image is the first image after changing the exposure time, the signal level detection unit 5d1 acquires the signal level LTnew (step 12), outputs it to the control unit 8, and the image capture control unit 8a starts capturing. (Step 13). Next, the transient state control means 8a calculates (LTnew−LTold) / LTold from the signal levels LTnew and LTold, and checks whether or not the calculated value is within a specified range (step 14). If it is within the specified range, it is assumed that the signal level fluctuation at the time of switching the exposure mode has ended, and the transient state control means 8a ends the status of the first image processing after changing the exposure time (step 15), and the image data is converted into image data. The data is compressed by the transmission means 6 and transmitted from the network interface 9 (step 16). In step 14, if the calculated value is not within the specified range, the process returns to step 11. In step 11, if the image output from the video signal processing means 5d is not the first image after changing the exposure time, the process proceeds to step 15, assuming that the exposure mode switching has been completed, and the first after changing the exposure time. The status of image processing ends.
[0038]
By the way, instead of the compression / transmission performed by the above-described determination of the image signal level, a compression / transmission control operation performed by counting the number of changed images with a counter will be described. As shown in FIG. 6, after the exposure time change is requested and the exposure time change is set, it is determined whether or not the image output from the video signal processing means 5d is the first image after the exposure time change. It is checked (step 21). A counter (not shown) is set to 0 as an initial value. In the case of the first image after changing the exposure time in step 21, the transient state control means 8a checks whether or not the counter has reached a predetermined specified value (step 22). Is added (step 23), and the process returns to step 21. When the counter value reaches a predetermined specified value at step 22, the signal level fluctuation at the time of switching the exposure mode is assumed to be finished, and the status of the first image processing after the change of the exposure time is finished (step 24), and the image data is The image data transmitting means 6 compresses the data and transmits it from the network interface 9 (step 25). In step 21, if the image output from the video signal processing means 5d is not the first image after the change of the exposure time, the process proceeds to step 25, where the exposure mode switching is completed and the transitional image after the change of the exposure time is completed. End the status of the process.
[0039]
As described above, the image server and the image server system according to the first embodiment have the image signal after changing the exposure time so that an image with a large change in brightness is not output for several screens when the normal exposure mode is switched to the long exposure mode. The compression of the image data and the transmission of the compressed data can be stopped until the level settles to a predetermined specified range, and only a good quality and stable image can be transmitted when the exposure mode is switched.
[0040]
(Embodiment 2)
The image server according to the second embodiment of the present invention stops image transmission by disabling / disabling the capture control means 6. When capture is not performed, image signal compression / transmission is not performed. FIG. 7 is an explanatory diagram of signal levels output in the long exposure mode of the image server and data transmission thereof according to the second embodiment of the present invention. The configuration of the image server of the second embodiment is basically the same as the configuration of the first embodiment, and the same reference numerals indicate the same configuration. Therefore, the second embodiment also refers to FIGS.
[0041]
T1 to T14 shown in FIG. 7A are vertical synchronization timings that are used as a reference for the operation of the image server. FIG. 7B shows the exposure start timing, T1 to T4 are the normal exposure mode, and the capture is in the enable state as shown in FIG. 7E1. Note that the enable state is set when the level is high. At T5 in FIG. 7 (e1), the video signal readout (Image Read) from the imaging means 5a is stopped, and the exposure mode is switched to the long exposure mode, which is twice as long as the normal exposure mode, and the capture is also disabled. At this time, as shown in FIG. 7C, the video signal of the imaging means 5a is read at the timing of T6.
[0042]
The normal exposure video signals from T1 to T4 are captured by the image capture control means 6a, and compressed and transmitted at the timings from T2 to T5 as shown in FIG. However, since the signal level of the image signal captured at T6 is the long exposure mode and the exposure time is longer than the normal exposure, the signal level detected by the signal level detection means 5d1 is as shown in FIG. 7 (g) T7. The signal level increases. Therefore, the video signal level adjusting unit 5c performs level adjustment so as to lower the gain of the signal level of the captured image signal after T8 based on the signal level detected by the signal level detecting unit 5d1, and T11 At this timing, the image signal level in the long-time exposure settles to a predetermined level. When the signal level falls within the specified range, the capture is enabled, the capture is resumed in synchronization with the video signal output from the video signal processing means 5d, and the compression / transmission of this image signal is resumed.
[0043]
As described above, the signal level increases between the time points T5 and T11 as shown in FIG. If this signal is sent as it is, the level of the image signal suddenly increases, resulting in an unsightly image with a strong sense of incongruity, but the image capture control means 6a is disabled in the image server of the second embodiment.・ Transmission can be stopped.
[0044]
When the camera unit 5 and the image data transmission means 6 are separate blocks, the capture of the image capture control means 6a can be enabled / disabled by the capture control signal, and the control is easily performed. Since the amount of change in the signal level when the exposure time is changed can be predicted, the period until the change falls within the specified range and stabilizes can be predicted to some extent. Therefore, instead of monitoring that the signal level falls within the specified range, the time after changing the exposure time may be monitored, and image transmission may be started when a predetermined time has elapsed.
[0045]
Next, the control operation of the image server in the second embodiment will be described. 8 is a flowchart of the exposure control operation of the camera unit according to the second embodiment of the present invention, FIG. 9 is a flowchart of the compression / transmission control operation by the image signal level determination of the image server according to the second embodiment of the present invention, and FIG. These are the flowcharts of the compression / transmission control operation by the counter of the image server in Embodiment 2 of the present invention.
[0046]
First, the exposure control operation of the camera unit 5 will be described with reference to FIG. The control unit 8 checks whether there is a request to change the exposure time from the network to the waiting image server (step 31). If there is a change request, the control unit 8 sets the change of the exposure time (step 32). ), Adjusting the exposure time, obtaining the signal level LTold of the final image before changing the exposure time (step 33), and the transient state control means 8a sets the capture enable for the image capture control means 6a to the LOW level (step 34). ), Return to step 31.
[0047]
In step 31, if there is no change request, the signal level LTnew of the latest image is acquired (step 35), and the transient state control means 8a calculates (LTnew−LTold) / LTold from the signal levels LTnew and LTold, and this calculation is performed. It is checked whether or not the value is within a specified range (step 36). If it is within the specified range, it is determined that the exposure mode switching signal level fluctuation has ended, the capture enable is set to the HIGH level (step 37), and the process returns to step 31 and waits again. Even when the calculated value is not within the specified range, the process returns to step 31 and waits.
[0048]
Next, the compression / transmission control operation by the capture control signal of the image server will be described with reference to FIG. After the exposure time change is requested and the exposure time change is set, the capture enable state is acquired (step 41). It repeats until the acquired capture enable state becomes HIGH (step 42), and the image capture control means 8a starts capture (step 43). Next, the image data is compressed by the image data transmitting means 6 and transmitted from the network interface 9 (step 44).
[0049]
By the way, instead of the exposure control operation performed by determining the signal levels of step 31 to step 37, an exposure control operation for counting the number of images after changing the exposure mode using a counter (not shown) will be described. As shown in FIG. 10, the control unit 8 checks whether there is a request to change the exposure time from the network to the waiting image server (step 51), and if there is a change request, the control unit 8 sets the exposure time. The change is set (step 52), the exposure time is adjusted, the signal level LTold of the final image before the exposure time change is acquired (step 53), and the transient state control unit 8a captures to the image capture control unit 6a. Is set to LOW level (step 54), and 0 is set as an initial value in the counter (step 55). It is checked whether or not the counter value is greater than or equal to the specified value (step 56). When the counter value is smaller than the specified value, 1 is added to the counter value (step 57) and the process returns to step 51. If the counter value is greater than or equal to the specified value, the capture enable is set to the HIGH level (step 58), and the process returns to step 51 again and waits.
[0050]
As described above, in the second embodiment, when the exposure mode is switched, the signal level is detected by the signal level detection unit 5d1, and the transient state control unit 8a determines that the signal level is not within the specified range. Since the capture is stopped by disabling the image capture control means 6a, the compression / transmission of the image signal can be stopped. After that, when it is determined that the signal level is within the specified range, the compression / transmission of the image signal is resumed. Therefore, when the mode is switched from the normal exposure mode to the long exposure mode, the brightness of the screen changes greatly. An image is output from the image pickup means 5a, but the image is not sent to the user of the image server until the image signal level settles to a predetermined prescribed range level.
[0051]
(Embodiment 3)
The image server according to the third embodiment of the present invention, like the image server according to the second embodiment, stops image transmission by enabling / disabling image capture, but is forced when the exposure time is changed. The video signal level adjusting means 5c is rapidly changed to improve the response level of the signal level change.
[0052]
FIG. 11 is an explanatory diagram of signal levels output in the long exposure mode of the image server and data transmission thereof according to the third embodiment of the present invention. The configuration of the image server according to the third embodiment is basically the same as the configuration according to the second embodiment, and the same reference numerals indicate the same configuration. Therefore, the third embodiment also refers to FIGS.
[0053]
T1 to T4 are normal exposure modes, and the capture is enabled as shown in FIG. High level is enabled. At T5 in FIG. 11 (e1), the video signal readout (Image Read) from the imaging means 5a is stopped, and the exposure mode is switched to the long exposure mode, which is twice the exposure time of the normal exposure mode, and the capture is also disabled. At this time, as shown in FIG. 11C, the video signal of the imaging means 5a is read at the timing of T6.
[0054]
Since the signal level of the image signal captured at T6 is the long exposure mode and the exposure time is longer than the normal exposure, the signal level detected by the signal level detection means 5d1 is originally the timing of T7 in FIG. 11 (g). The signal level increases. Therefore, the change in the signal level is predicted before T6, and the signal level is reduced by the predicted change in the signal level by the video signal level adjustment unit 5c according to the instruction of the video signal level control unit 8b. This prediction is performed based on the change rate of the exposure time. For example, if the normal exposure mode is switched to the long exposure mode that is twice that of the normal exposure mode, it is predicted that the brightness will be approximately twice that of the normal exposure mode. Will be set. Thereafter, when the signal level enters the specified range at time T9, the capture is enabled, the image signal capture is resumed in synchronization with the video signal output, and the compression / transmission of the image signal is resumed at the same time.
[0055]
As described above, the signal level increases between the time points T5 and T11 as shown in FIG. If this signal is sent as it is, the image signal level suddenly increases, resulting in a strong sense of incongruity. However, in the image server of Embodiment 3, the video signal level adjusting means 5a forcibly decreases the signal level and the image level is reduced. Since the capture control unit 6a is disabled, the compression / transmission of the image signal can be stopped.
[0056]
When the camera unit 5 and the image data transmission means 6 are separate blocks, the capture can be enabled / disabled by the capture control signal, and the control is easily performed. Further, since the amount of change in the image signal level at the time of changing the exposure time can be predicted, the period until the change enters the specified range and stabilizes can be predicted to some extent. Therefore, instead of monitoring that the signal level falls within the specified range, the time after changing the exposure time may be monitored, and image transmission may be started when a predetermined time has elapsed.
[0057]
By forcibly changing the signal level in this way, the change in the signal level can be suppressed in advance. Therefore, even when improving the response to the change in the signal level with respect to the change in the exposure time, the exposure time changes. It is possible to output a stable level image to the network even when the level is unstable.
[0058]
In the case of the third embodiment, the method of enabling / disabling capture has been described. However, as in the first embodiment, all image signals are captured, but transmission to the network is controlled according to the detected video signal level. It may be a method to
[0059]
(Embodiment 4)
The fourth embodiment of the present invention is an image server when the camera unit of the first embodiment is not built in the image server. FIG. 12 is an explanatory diagram of signal levels output in the long exposure mode of the image server and data transmission thereof according to the fourth embodiment of the present invention. The configurations with the same reference numerals as those of the image server according to the first embodiment shown in FIGS.
[0060]
In FIG. 12, 8c is a camera control unit that is configured separately from the image server and controls the camera unit 5 that captures a subject and outputs an image signal. The camera control unit 8c performs the driving of the imaging unit 5a of the camera unit 5, the control of the video signal processing unit 5d, the control (AE) of the light amount adjusting unit 5b, the control of AGC / AWB, and the like at a specific level.
[0061]
The control unit 8 performs control for changing the image compression processing mode processing, generating HTML data, image data, and the like in accordance with an instruction from the browser of the client terminal 2 sent from the network 3 via the network interface 9. Then, when the normal exposure mode is switched to the long exposure mode, the control unit 8 transmits the image signal 5a to the camera control unit 8c so that the image signal can be compressed and the image data can be transmitted in the same cycle as the image signal. The video signal processing means 5d, the light amount adjusting means 5b, and control of AGC / AWB, etc. are ordered.
[0062]
As described above, the image server according to the fifth embodiment does not include the camera unit 5 and can be externally attached, so that various image servers can be configured in combination with the camera unit 5 and the convenience is enhanced.
[0063]
As described above, in the first to fifth embodiments, it has been described that the video signal level is controlled as the AGC control by the video signal level adjusting unit 5c when the exposure time is changed, but the imaging unit 5a is controlled by the light amount adjusting unit 5b. The video signal level may be controlled by changing the amount of light input to.
[0064]
In the first to fifth embodiments, the change of the exposure time has been described as the change of the exposure time related to the exposure time longer than the normal exposure time. However, the exposure time is changed using the shutter function of the imaging unit 5a. Similar control may be performed for a change in exposure time with respect to an exposure time shorter than the normal exposure time.
[0065]
【The invention's effect】
According to the image server and the image server system of the present invention, when the exposure time changes, an irregular level image is not output, and a high-quality and stable image can be transmitted.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an image server and an image server system according to Embodiment 1 of the present invention.
FIG. 2 is a configuration diagram of an image server according to Embodiment 1 of the present invention.
FIG. 3 is an explanatory diagram of signal levels output in the long exposure mode of the image server and data transmission thereof according to the first embodiment of the present invention.
FIG. 4 is a flowchart of the exposure control operation of the camera unit according to the first embodiment of the present invention.
FIG. 5 is a flowchart of compression / transmission control operations based on image signal level determination of the image server according to Embodiment 1 of the present invention;
FIG. 6 is a flowchart of the compression / transmission control operation by the counter of the image server according to the first embodiment of the present invention.
FIG. 7 is an explanatory diagram of signal levels output in the long exposure mode of the image server and data transmission thereof according to the second embodiment of the present invention.
FIG. 8 is a flowchart of the exposure control operation of the camera unit in the second embodiment of the present invention.
FIG. 9 is a flowchart of the compression / transmission control operation by the image signal level determination of the image server according to the second embodiment of the present invention.
FIG. 10 is a flowchart of the compression / transmission control operation by the counter of the image server according to the second embodiment of the present invention.
FIG. 11 is an explanatory diagram of signal levels output in the long exposure mode of the image server and data transmission thereof according to the third embodiment of the present invention.
FIG. 12 is an explanatory diagram of a signal level output and data transmission in the long exposure mode of the image server according to the fourth embodiment of the present invention.
[Explanation of symbols]
1 Image server
2 Client terminal
3 network
4 DNS server
5 Camera part
5a Imaging means
5b Light intensity adjustment means
5c Video signal level adjusting means
5d video signal processing means
5d1 signal level detection means
6 Image data transmission means
6a Image capture control means
7 Imaging means drive unit
8 Control unit
8a Transient state control means
8b Video signal level control means
8c Camera control unit
9 Network interface
10 storage unit

Claims (9)

ネットワークに接続され、該ネットワークに撮像画像データを出力する画像サーバであって、
撮像手段から出力された映像信号の信号レベルを所定のレベルに自動調整する映像信号レベル制御手段と、
前記映像信号レベル制御手段でレベル調整された像信号の信号レベルを検知する信号レベル検知手段と、
前記映像信号レベル制御手段によって信号レベルが調整された映像信号をキャプチャー、圧縮を行い、所定の画像データ形式に変換後、ネットワークに送信する画像データ送信手段と、
前記撮像手段における露光時間を制御する露光制御手段と、
前記露光制御手段により露光時間を変化させたとき、前記信号レベル検知手段により検出される信号レベルが前記映像信号レベル制御手段によって前記所定レベルに安定するまでの間、画像データのネットワークへの送信を停止するように前記画像データ送信手段を制御する過渡状態制御手段とを備えたことを特徴とする画像サーバ。
An image server connected to a network and outputting captured image data to the network,
Video signal level control means for automatically adjusting the signal level of the video signal output from the imaging means to a predetermined level;
A signal level detecting means for detecting the signal level of the level adjusted movies image signal in the video signal level control means,
Image data transmitting means for capturing and compressing a video signal whose signal level has been adjusted by the video signal level control means, converting the video signal to a predetermined image data format, and transmitting the image data to a network;
Exposure control means for controlling an exposure time in the imaging means;
When the exposure time is changed by the exposure control means , the image data is transmitted to the network until the signal level detected by the signal level detection means is stabilized at the predetermined level by the video signal level control means. An image server comprising: transient state control means for controlling the image data transmission means to stop .
前記過渡状態制御手段は、前記露光制御手段が露光時間を変化させた後の時間経過を計時するタイマー手段を備え、露光時間を変化させたときに、前記タイマー手段の出力に従って過渡状態の画像データの送信制御を行うことを特徴とする請求項1に記載の画像サーバ。The transient state control means includes timer means for measuring the time elapsed after the exposure control means has changed the exposure time, and when the exposure time is changed, the transient state image data according to the output of the timer means. The image server according to claim 1, wherein transmission control is performed. 前記過渡状態制御手段は、露光時間を変化させた後の同期信号をカウントするカウンタ手段を備え、露光時間を変化させたときに、前記カウンタ手段のカウントした出力に従って過渡状態の画像データの送信制御を行うことを特徴とする請求項1に記載の画像サーバ。The transient state control means includes counter means for counting a synchronization signal after changing the exposure time. When the exposure time is changed, transmission control of image data in the transient state is performed according to the output counted by the counter means. The image server according to claim 1, wherein: 前記過渡状態制御手段は、前記露光制御手段が露光時間を変化させたときに、前記撮像手段から出力された映像信号のキャプチャーを停止するように前記画像データ送信手段を制御することを特徴とする請求項記載の画像サーバ。Said transient state control means, when said exposure control means changing the exposure time, and controls the image data transmission unit to stop the capture of the output video signal from said image pickup means claims 1 to 3, the image server according. 前記過渡状態制御手段は、前記露光制御手段が露光時間を変化させたときに、前記撮像手段から出力された映像信号の圧縮処理を停止するように前記画像データ送信手段を制御することを特徴とする請求項記載の画像サーバ。Said transient state control means, when said exposure control means changing the exposure time, and controls said image data transmission unit to stop a compression process of the video signal outputted from said image pickup means The image server according to any one of claims 1 to 3 . 前記映像信号レベル制御手段は、前記露光制御手段が前記露光時間を変化したとき、その露光時間の変化率に応じて、信号レベルの変化分を予測し、予測した信号レベルの変化分をだけ、映像信号の信号レベルを調整することを特徴とする請求項1に記載の画像サーバ。When the exposure control unit changes the exposure time, the video signal level control unit predicts a change in the signal level according to a change rate of the exposure time, and only the predicted signal level change, image server according to claim 1, wherein the benzalkonium adjust the signal level of the video signal. 前記過渡状態制御手段が、前記撮像手段から出力された映像信号のキャプチャーを行うためのタイミング信号を発生するタイミング信号発生手段を備えたことを特徴とする請求項1記載の画像サーバ。2. The image server according to claim 1, wherein the transient state control means includes timing signal generation means for generating a timing signal for capturing the video signal output from the imaging means. 前記過渡状態制御手段が、前記信号レベルが安定するまでは、前記タイミング信号発生手段からのタイミング信号の発生を停止することを特徴とする請求項記載の画像サーバ。8. The image server according to claim 7, wherein the transient state control unit stops generating the timing signal from the timing signal generation unit until the signal level is stabilized. 請求項1〜のいずれかに記載の画像サーバと、該画像サーバから画像データを取得することができるクライアント端末と、前記画像サーバと前記クライアント端末が接続されるネットワークとを備えたことを特徴とする画像サーバシステム。Wherein the image server according to any one of claims 1-8, and a client terminal capable of acquiring image data from said image server, said client terminal and said image server and a network connected An image server system.
JP2003182327A 2003-06-26 2003-06-26 Image server and image server system Expired - Fee Related JP4453280B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003182327A JP4453280B2 (en) 2003-06-26 2003-06-26 Image server and image server system
US10/874,328 US7340767B2 (en) 2003-06-26 2004-06-24 Camera apparatus, image server and image server system
CNB2004100897969A CN100385920C (en) 2003-06-26 2004-06-28 Image server, its control method and image server system
US12/022,058 US8013912B2 (en) 2003-06-26 2008-01-29 Camera apparatus, image server and image server system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003182327A JP4453280B2 (en) 2003-06-26 2003-06-26 Image server and image server system

Publications (2)

Publication Number Publication Date
JP2005020362A JP2005020362A (en) 2005-01-20
JP4453280B2 true JP4453280B2 (en) 2010-04-21

Family

ID=34182741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003182327A Expired - Fee Related JP4453280B2 (en) 2003-06-26 2003-06-26 Image server and image server system

Country Status (1)

Country Link
JP (1) JP4453280B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7290317B2 (en) * 2019-08-28 2023-06-13 ザインエレクトロニクス株式会社 Video signal transmitter, video signal receiver, and video signal transmission/reception system

Also Published As

Publication number Publication date
JP2005020362A (en) 2005-01-20

Similar Documents

Publication Publication Date Title
KR101578600B1 (en) Image processing device, image processing method, and computer readable storage medium
JP5173837B2 (en) Adaptive filtering to improve video encoder performance
US8013912B2 (en) Camera apparatus, image server and image server system
EP3069504B1 (en) Imaging apparatus, external apparatus, control method for imaging apparatus, control method for external apparatus and programs
KR100893419B1 (en) Imaging Device and Imaging Method
US8009963B2 (en) Adaptive filtering to enhance video bit-rate control performance
JP7795583B2 (en) Image processing device, image processing method, and image processing program
WO2009060970A1 (en) Signal processing apparatus and signal processing program
JP4032262B2 (en) Electronic camera
JP2015088784A (en) Imaging device
JP5220657B2 (en) Imaging apparatus and image processing program
EP1993280B1 (en) Imaging apparatus and method , and computer program product
US8488681B2 (en) Image capturing apparatus, control method therefor, program, and storage medium
JP4453280B2 (en) Image server and image server system
WO2020161969A1 (en) Image processing device, photographing device, image processing method, and image processing program
JP4285109B2 (en) Camera device, image server, and image server system
JP2005094432A (en) Image server
RU2860221C2 (en) Method, device and electronic device for encoding control and data medium
WO2006054763A1 (en) Electronic camera
JP2006332914A (en) Image capturing apparatus and image data transfer method
JP2005094433A (en) Image server
JP2008010955A (en) Network camera system
JP2008131475A (en) Imaging device
TWI518636B (en) Method for photographing wide dynamic range image
JP2021158614A (en) Image processing equipment and programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060623

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090130

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140212

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees