JP4492582B2 - 情報処理装置および監視処理システム - Google Patents

Description

本発明は、情報処理装置および監視処理システムに関し、特に、イベントが発生した場合、それをユーザに通知し、以後のイベントの通知を判断することができるようにした情報処理装置および監視処理システムに関する。

従来、ホームセキュリティシステムとして、撮像装置から送信される監視画像を表示するモニタＴＶ(Television)を見ることにより、センサ情報を知る手法が提案されている（例えば、特許文献１参照）。

また、赤外線センサと画像センサが組み合わされた監視装置が、人体の有無および画策の有無を判定することにより、監視領域内に進入した人体を検出する手法が提案されている（例えば、特許文献２参照）。

これらの特許文献１および特許文献２に記載の発明においては、主に、特定の場所または特定の異常（イベント）が検出される。
特開平８−１２４０７８号公報 特開２０００−３３９５５４号公報

本発明はこのような状況に鑑みてなされたものであり、イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができるようにするものである。

本発明の一側面の情報処理装置は、カメラと１以上のセンサを有し、前記センサの検出結果からイベントが発生したか否かを判定して、前記イベントが発生した場合に、前記カメラで撮像された画像を前記イベントの発生を通知するイベント通知データとして出力する監視装置を制御する情報処理装置において、前記監視装置から無線通信により送信されてくる前記イベント通知データを受信するイベント通知受信手段と、前記イベント通知データを受信した場合、前記イベント通知データを、所定の表示装置に送信する表示装置送信手段と、前記イベント通知データにより前記表示装置に表示された前記画像に基づいて、前記イベントを今後も呈示させるか否かについてユーザが判断した結果を表す信号である判断信号を、前記情報処理装置のリモートコントローラから、無線通信により受信する判断信号受信手段と、受信した前記判断信号を、前記監視装置に送信する判断信号送信手段とを備え、前記監視装置は、前記判断信号送信手段により送信されてきた前記判断信号が前記イベントを呈示させないことを表す信号である場合、以後の同一の前記センサの検出結果をイベントとして通知しないように前記センサの検出条件を変更することを特徴とする。

前記表示装置は、前記情報処理装置のリモートコントローラの一部として組み込まれており、前記表示装置送信手段は、無線通信により、前記イベント通知データを、前記情報処理装置のリモートコントローラに送信し、前記判断信号受信手段が前記リモートコントローラから受信する前記判断信号は、ユーザが前記リモートコントローラに表示された前記画像に基づいて、前記イベントを今後も呈示させるか否かについて判断した結果を表す信号とすることができる。

放送信号を受信する放送信号受信手段と、前記イベント通知データを受信した場合、前記放送信号に基づくデータに前記イベント通知データを挿入した呈示データを作成する呈示データ作成手段とをさらに備え、前記呈示データ作成手段は、前記イベント通知データを受信していない場合には、前記放送信号受信手段が受信した前記放送信号を前記表示装置とは異なる他の表示装置に出力し、前記イベント通知データを受信した場合には、作成した前記呈示データを前記他の表示装置に出力し、前記判断信号受信手段が前記リモートコントローラから受信する前記判断信号は、ユーザが前記他の表示装置に表示された前記画像に基づいて、前記イベントを今後も呈示させるか否かについて判断した結果を表す信号とすることができる。

本発明の一側面の監視処理システムは、カメラと１以上のセンサを有し、前記センサの検出結果からイベントが発生したか否かを判定して、前記イベントが発生した場合に、前記カメラで撮像された画像を前記イベントの発生を通知するイベント通知データとして出力する監視装置と、それを制御する情報処理装置からなる監視処理システムであって、前記情報処理装置は、前記監視装置から無線通信により送信されてくる前記イベント通知データを受信するイベント通知受信手段と、前記イベント通知データを受信した場合、前記イベント通知データを、所定の表示装置に送信する表示装置送信手段と、前記イベント通知データにより前記表示装置に表示された前記画像に基づいて、前記イベントを今後も呈示させるか否かについてユーザが判断した結果を表す信号である判断信号を、前記情報処理装置のリモートコントローラから、無線通信により受信する判断信号受信手段と、受信した前記判断信号を、前記監視装置に送信する判断信号送信手段とを備え、前記監視装置は、前記判断信号送信手段により送信されてきた前記判断信号が前記イベントを呈示させないことを表す信号である場合、以後の同一の前記センサの検出結果をイベントとして通知しないように前記センサの検出条件を変更することを特徴とする。

前記センサには、赤外線センサを含み、前記カメラの電源を通常はオフに制御し、前記赤外線センサの検出結果から前記イベントの発生が判定された場合に、前記カメラの電源をオンに制御する電源制御手段をさらに備えることができる。

前記制御手段は、時間の経過、または、前記センサの検出結果に応じて、１以上の前記センサの電源をオンまたはオフする制御も実行することができる。

前記表示装置と前記監視装置それぞれは、複数設けられるようにすることができる。

本発明においては、監視装置において、センサの検出結果からイベントが発生したか否かが判定されて、イベントが発生した場合に、カメラで撮像された画像がイベントの発生を通知するイベント通知データとして出力される。また、監視装置を制御する情報処理装置において、監視装置から無線通信により送信されてくるイベント通知データが受信された場合、イベント通知データが、所定の表示装置に送信され、イベント通知データにより表示装置に表示された画像に基づいて、イベントを今後も呈示させるか否かについてユーザが判断した結果を表す信号である判断信号が、情報処理装置のリモートコントローラから、無線通信により受信され、受信された判断信号が、監視装置に送信される。監視装置では、送信されてきた判断信号がイベントを呈示させないことを表す信号である場合、以後の同一のセンサの検出結果をイベントとして通知しないようにセンサの検出条件が変更される。

本発明によれば、イベントを通知することができる。また、本発明によれば、イベントが発生していない場合において、通常、所定の信号をユーザに視聴させつつ、イベントが発生した場合、それをユーザに通知することができる。

図１は、本発明を適用した監視システム１０の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ１が備えられており、図中右側の通知・呈示側に、処理ボックス２、呈示部３、および、処理ボックス２を遠隔操作するためのリモートコントローラ４が備えられている。マルチセンサカメラ１と処理ボックス２は、無線通信を行なう。

マルチセンサカメラ１には、複数のセンサが設けられており、各センサは、バッテリにより駆動される。また、各センサは、イベントを監視したい領域（必要な場所）に設置されている。イベントが発生した場合、処理ボックス２は、呈示画像および音声を構築し、呈示部３およびリモートコントローラ４に通知し、呈示させる。呈示部３は、例えば、一般のテレビジョン受像機とされる。この場合、呈示部３は、イベントが発生していない場合（通常）、一般の視聴信号（放送信号に基づく映像）を表示し、イベントが発生した場合、一般の視聴信号の一部分にイベント画像が挿入されたピクチャインピクチャの画像を表示する。なお、呈示部３は、テレビジョン受像機に限定されるものではなく、専用のモニタでもよい。また、表示される画像は、ピクチャインピクチャの画像ではなく、画面全体の画像としてもよい。

ユーザは、呈示されたイベントに対して、判断を行ない、判断の結果に基づいて、リモートコントローラ４から指令を入力することができる。例えば、イベントを今後も知らせて欲しいときは、そのことを、OKボタン（後述する図９のＯＫボタン２９１）を操作して指示することができる。このユーザからの判断の入力に基づいて、処理ボックス２により検出されるイベントが時間と共に変化し、ユーザが監視システム１０を使う度にユーザが意図するイベントのみが検出され、通知されるようになる。

マルチセンサカメラ１に搭載されている複数のセンサおよび信号処理部（図示せず）は必要な時に、必要なもののみが動作するため、無駄な消費電力を抑えることができる。

図２は、図１のマルチセンサカメラ１の機能的構成を示すブロック図である。

マルチセンサカメラ１には、カメラ２１、マイクロホン２２、赤外線センサ２３、その他のセンサ２４、信号処理部２５、送信部２６、受信部２７、およびバッテリ２８が設けられている。

信号処理部２５は、赤外線センサ２３、その他のセンサ２４など、複数のセンサから得られるデータに基づいて、イベントを検出し、イベントが発生した場合、イベント呈示に必要なデータを、送信部２６を介して処理ボックス２に送信する（処理ボックス２にイベントを通知する）。その他のセンサ２４は、例えば、明るさを検出するフォトセンサである場合、部屋の電気をつけたことを検知し、また、例えば、マイクロ波センサである場合、動いている物体の距離および動きを検出する。バッテリ２８は、マルチセンサカメラ１の各部に対して必要な電力を供給している。

受信部２７は、イベント通知に対応して処理ボックス２から送信されてくるユーザの判断信号、センサ制御信号、または、信号処理制御信号を受信し、信号処理部２５に供給する。信号処理部２５は、これらの信号に基づく処理を実行する。マルチセンサカメラ１がユーザ判断入力を取得することにより、イベント検出および呈示に必要なセンサ、信号処理部２５、送信部２６、および受信部２７のみを動作させることができるため、マルチセンサカメラ１の消費電力を抑えることができる。

また、このマルチセンサカメラ１は、小型、かつ、バッテリ駆動であり、さらに、無線通信機能を有しているため、大きなスペースを必要とせず、また、電源供給のための配線処理が不要なため、家庭内の様々な場所に、設置することができる。さらに、複数のセンサを搭載しているため、家庭内における様々なイベントを検知することができる。

図３は、図１の処理ボックス２の機能的構成を示すブロック図である。

受信部５１は、マルチセンサカメラ１の送信部２６から無線（電波）で送信された信号を受信し、信号処理部５２に供給する。信号処理部５２は、一般視聴信号（テレビジョン放送信号）を受信するとともに、受信部５１から供給された信号に基づく処理または呈示画像の構築を行なう。イベントが発生した場合、信号処理部５２は、呈示部３への呈示データを構築し、呈示部３に出力するとともに、リモートコントローラ４へのリモコン呈示データを構築し、送信部５３を介して、無線（赤外線または電波）でリモートコントローラ４に送信する。

受信部５４は、リモートコントローラ４から無線（赤外線または電波）で送信されたユーザの判断に基づく信号（ユーザ判断信号）を受信し、これを信号処理部５２に供給する。信号処理部５２は、このユーザ判断信号に基づく処理を実行するとともに、必要なデータを、送信部５５を介して、マルチセンサカメラ１に無線（電波）で送信する。

図４は、図１のリモートコントローラ４の機能的構成を示すブロック図である。

受信部８１は、処理ボックス２の送信部５３から無線（赤外線または電波）で送信された信号（例えば、リモコン呈示データ）を受信し、信号処理部８２に供給する。信号処理部８２は、取得した信号の復号または符号化など、信号に基づく処理を実行する。

リモコン呈示部８３は、信号処理部８２から送信された信号に基づく画像（文字、記号などを含む）を呈示する。ユーザ入力ＩＦ（インターフェース）部８４は、イベントに対するユーザからの判断に基づく入力を受け付け、入力に基づく信号を信号処理部８２に供給する。

イベントが発生した場合、受信部８１は、処理ボックス２の送信部５３から送信されてくるリモコン呈示データを受信し、信号処理部８２は、この呈示データに基づく画像をリモコン呈示部８３に呈示させる。ユーザにより、ユーザ入力ＩＦ部８４に判断が入力されると、ユーザ判断信号を信号処理部８２に供給する。信号処理部８２は、ユーザ判断信号を、送信部８５から、無線（赤外線または電波）で処理ボックス２に送信する。

ユーザによる、例えば、「今後も知らせて欲しいイベントである」、または、「今後知らせないでよいイベントである」などの判断を入力することができるように、リモートコントローラ４上に２つのボタン（例えば、後述する図９のＯＫボタン２９１とＮＧボタン２９２）が設けられる。マルチセンサカメラ１と処理ボックス２は、このユーザからの判断の入力に基づいて、処理を変化させる。

図２乃至図４のマルチセンサカメラ１、処理ボックス２、および、リモートコントローラ４により構成される図１の監視システム１０の主要部を接続して得られる原理的構成は、図５に示されるようになる。ただし、無線による通信路も有線の通信路として示されている。

図５の例における、複数のセンサ１０１ａ乃至センサ１０１ｎからなるセンサ１０１は、図２のマルチセンサカメラ１に対応させ、特徴量抽出部１０２、イベント判定部１０３、呈示データ構築部１０４、並びに、パラメータ制御部１２１、信号処理制御部１２２、および電源制御部１２３により構成される制御部１０８は、図３の処理ボックス２に対応させ、リモコン呈示部８３およびユーザ入力ＩＦ部８４は、図４のリモートコントローラ４に対応させることができる。ただし、この対応関係は任意であり、例えば、特徴量抽出部１０２、イベント判定部１０３、および制御部１０８のうちの一部または全部は、マルチセンサカメラ１側の構成として設けることも可能である（この例が、後述する図７に示されている）。

次に、図６のフローチャートを参照して、図５の監視システム１０により実行される処理を説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。

ステップＳ１において、特徴量抽出部１０２は、監視領域に設けられているセンサ１０１を構成する複数のセンサ１０１ａ，１０１ｂ，・・・，１０１ｎのそれぞれからセンサデータを取得する。

ステップＳ２において、特徴量抽出部１０２は、ステップＳ１の処理により取得した各種センサデータから各種特徴量を計算する。例えば、画像信号のフレーム間差分を取り、移動物体の位置を表すフレーム間差分の重心位置が計算される。あるいは、赤外線センサのデータの変化量が算出される。

ステップＳ３において、イベント判定部１０３は、特徴量抽出部１０２により計算された各種特徴量を取得する。

ステップＳ４において、イベント判定部１０３は、取得した各種特徴量に基づいて、イベントが発生したか否か（イベントであるか否か）を判定する。このととき、イベント判定部１０３は、自分自身に保持されているイベントを判定するための判定パラメータに基づいて、イベントを判定する。このパラメータは、パラメータ制御部１２１により制御され、更新される。ステップＳ４において、イベントであると判定された場合、処理はステップＳ５に進み、イベント判定部１０３は、イベントが発生したことを表すイベント発生信号と、イベント通知および呈示に必要なデータを呈示データ構築部１０４に供給する。

ステップＳ６において、呈示データ構築部１０４は、特徴量抽出部１０２からイベント発生信号、イベント通知および呈示に必要なデータを取得し、一般視聴信号（テレビジョン放送信号）の一部にイベント呈示データを挿入した呈示データを作成する。また、呈示データ構築部１０４は、イベント呈示データにより構成される（一般視聴信号を含まない）リモートコントローラ４用の呈示データ（以下、リモコン呈示データと称する）を作成する。

ステップＳ７において、呈示データ構築部１０４は、ステップＳ６の処理により作成した呈示データを呈示部３に出力し、呈示部３に呈示させる。また、呈示データ構築部１０４は、リモコン呈示データをリモコン呈示部８３に出力し、リモコン呈示部８３に呈示させる。

呈示データは、一般の視聴信号の一部にイベント呈示データを挿入して構成されているため、呈示部３には、ピクチャインピクチャの表示（例えば、後述する図１５に示されるような表示）が呈示される。また、リモコン呈示データは、イベント呈示データから構成されているため、リモコン呈示部８３には、イベントを表す表示（例えば、監視している場所の画像）のみが呈示される。

ユーザは、リモコン呈示部８３に通知および呈示されたイベント（画像および音声）を見て、判断（例えば、いま呈示されているイベントは、今後も知らせて欲しいイベントであるのか、または、今後しらせないでよいイベントであるのかの判断）を入力する。このとき、例えば、判断を入力させるように促す画像を、リモコン呈示部８３に、表示させるようにしてもよい。ユーザからの判断が入力されると、ステップＳ８において、ユーザ入力ＩＦ部８４は、ユーザからのイベントに対する判断の入力を取得する。ユーザ入力ＩＦ部８４は、取得したユーザからの判断の入力に基づくユーザ判断信号を、パラメータ制御部１２１、信号処理制御部１２２、および電源制御部１２３により構成される制御部１０８に供給する。

ステップＳ９において、パラメータ制御部１２１は、ステップＳ８の処理により取得したユーザ判断信号に基づいて、イベント判定部１０３に保持されているイベントを判定するための判定パラメータの更新を行ない、ユーザが意図するイベント検出が行なえるようにする。例えば、基準値以上の明るさが検出された場合、イベント検出信号が発生されるように設定されているとき、その基準値をより明るい基準値、またはより暗い基準値に変更することができる。

ステップＳ１０において、信号処理制御部１２２は、ユーザ判断信号（ステップＳ８の処理により取得したユーザ判断信号）に基づいて、特徴量抽出部１０２を制御する。具体的には、不要な特徴量の検出を中止するように制御したり、軽い処理（例えば、少ない数の特徴量を検出する処理）から、必要な場合に重い処理（より多い数の特徴量を検出し、より正確に判定できるようにする処理）に切り換えるなどの制御をする。例えば、後述する図１５に示されるような領域３２２（イベントとして検出して欲しい領域）と領域３２３（イベントとして検出する必要がない領域）のうち、領域３２３で人が撮影されたとしても、それを特徴量として検出させないようにすることができる。

ステップＳ１１において、電源制御部１２３は、ユーザ判断信号（ステップＳ８の処理により取得したユーザ判断信号）に基づいて、センサ１０１の電源をオンまたはオフするように制御する。具体的には、センサ１０１ａ乃至センサ１０１ｎのうち、特徴量抽出部１０２およびイベント判定部１０３で必要のないセンサの電源はオフするように制御する。これにより無駄なバッテリを消費するのを防ぐことができる。

ステップＳ１１の処理の後、処理はステップＳ１に戻り、同様の処理が繰り返される。

一方、ステップＳ４において、イベント判定部１０３により、イベントでないと判定された場合、処理はステップＳ１２に進み、呈示データ構築部１０４は、一般視聴信号（テレビジョン放送信号）をそのまま呈示データとして呈示部３に出力する。呈示部３は、一般視聴信号を呈示する。その後、処理はステップＳ１に戻り、それ以降の処理が繰り返される。

図６の処理により、ユーザは簡易な判断入力を行なうことにより、ユーザが意図するイベントを確実に検出することができ、かつ、必要な時のみ、各センサと処理部を動作するように制御することができるため、無駄な電力を消費することなく、マルチセンサカメラ１の低消費電力化が実現できる。

以下に、図７乃至図１８を参照して、監視システム（ホームセキュリティシステム）の具体例の１つを示す。

この例の場合、使用するセンサは、カメラ２０１および赤外線センサ２０２（図７）であり、ユーザは呈示されたイベントに対して「ＯＫ（今後もイベントとして検出して欲しい）」または「ＮＧ（今後はイベントとして検出しなくてもよい）」を入力する。また、この場合の、マルチセンサカメラ１の構成例は図７に示され、処理ボックス２の構成例は図８に示され、リモートコントローラ４の構成例は図９に示されている。さらに、各機器における処理を説明するフローチャートが図１０乃至図１４に示され、呈示部３に呈示される画像が図１５および図１６に示されている。また、リモコン呈示部２８３に呈示される画像が図１７および図１８に示されている。図中、図５と対応する部分については、同一の符号を付してあり、その説明は、繰り返しになるので省略する。

図７において、カメラ２０１と赤外線センサ２０２により取得されるセンサデータは、特徴量抽出部１０２に供給される。例えば、赤外線センサ２０２は、常にオンとされ、カメラ２０１は、電力消費を少なくするために通常はオフとされる（上述したように、制御部１０８により制御されている）。特徴量抽出部１０２は、赤外線センサ２０２により取得されたセンサデータから特徴量を抽出し、イベント判定部１０３に供給する。

イベントが発生したことの通知に使用される通知用データが特徴量抽出部１０２から符号化部２０３へ供給され、符号化部２０３は、これを符号化し、送信部２０４に供給する。イベントが発生した場合、送信部２０４は、符号化された通知用データを処理ボックス２へ送信する。また、処理ボックス２から送信されてくるユーザ判断信号は、受信部２０５により受信され、復号部２０６により復号された後、制御部１０８に供給される。制御部１０８は、上述したように、ユーザ判断信号に基づく処理を実行する。

具体的には、制御部１０８は、図５を参照して説明したように、イベント判定部１０３を、イベント判定のパラメータを更新するように制御したり、特徴量抽出部１０２を、画像の特徴量の抽出処理を開始したり、または停止するよう制御したり、カメラ２０１または赤外線センサ２０２を、オンまたはオフするよう制御する。

符号化部２０３、送信部２０４、受信部２０５、および復号部２０６も、イベントが発生したときのみ処理を実行させるようにすることで、無駄に電力を消費することなく、マルチセンサカメラ１を動作させることができる。

マルチセンサカメラ１の送信部２０４からイベント通知（通知用データ）が送信されて来た場合、通知用データは、図８の処理ボックス２の受信部２４１により受信され、復号部２４２により復号された後、呈示データ構築部１０４に供給される。呈示データ構築部１０４は、上述したように、一般視聴信号の一部にイベント信号を重畳した呈示データを作成し、呈示部３へ出力するとともに、イベントデータそのものを、リモコン呈示データとして符号化部２４３に符号化させ、送信部２４４に送信させる。マルチセンサカメラ１からイベント通知（通知用データ）が送信されて来ない場合（イベントが発生していない場合）、呈示データ構築部１０４は、一般視聴信号そのものを呈示データとして呈示部３へ出力し、呈示させる。

リモコン呈示データの送信に伴って、リモートコントローラ４から、ユーザ判断信号が送信されてくる。そこで、処理ボックス２の受信部２４５は、これを受信し、復号部２４６に復号させる。復号されたユーザ判断信号は、呈示データ構築部１０４および符号化部２４７に供給される。呈示データ構築部１０４は、ユーザ判断信号に基づいて、例えば、ピクチャインピクチャの画像を生成する処理を中止するなどの処理を実行する。符号化部２４７は、供給されたユーザ判断信号を符号化し、送信部２４８に送信させる。送信部２４８により送信されたユーザ判断信号は、マルチセンサカメラ１の受信部２０５に受信される。

処理ボックス２の送信部２４４からリモコン呈示データが送信されてきた場合、図９のリモートコントローラ４の受信部２８１は、これを受信し、復号部２８２に供給する。復号部２８２は、リモコン呈示データを復号し、復号されたリモコン呈示データに基づく画像をリモコン呈示部８３に呈示させる。

これに対して、ユーザは、ＯＫボタン２９１またはＮＧボタン２９２を操作することにより、判断（イベントとして検出する（ＯＫ）か、しない（ＮＧ）か）を入力することができる。

ユーザ入力ＩＦ８４は、ＯＫボタン２９１またはＮＧボタン２９２のうち、いずれか１つが操作されたことを検出し、ユーザ判断信号として符号化部２８３に供給する。符号化部２８３は、ユーザ判断信号を符号化し、送信部２８４に送信させる。送信部２８４は、ユーザ判断信号を、処理ボックス２の受信部２４５に送信する。

次に、図１０乃至図１４のフローチャートを参照して、図７のマルチセンサカメラ１、図８の処理ボックス２、および図９のリモートコントローラ４における処理を説明する。

最初に、図１０と図１１のフローチャートを参照して、図７のマルチセンサカメラ１における処理を説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。

ステップＳ５１において、必要であるとされているカメラ２０１と赤外線センサ２０２は、それぞれ画像データと検出データをセンサデータとして取得し、特徴量抽出部１０２に供給する。いまの例の場合、カメラ２０１と赤外線センサ２０２が両方とも動作している（必要である）ようにしたが、これに限定されず、例えば、赤外線センサ２０２のみ、または、カメラ２０１のみが動作しているものとしてもよい。

ステップＳ５２において、特徴量抽出部１０２は、必要な特徴量を計算する。具体的には、カメラ２０１が出力した画像データのフレーム間差分、フレーム間差分の重心位置、および赤外線センサ２０２が出力したセンサデータの変化量等の必要な特徴量を計算する。なお、必要な特徴量は時によって変換する。これは、制御部１０８により制御されるためである。特徴量抽出部１０２は、計算した各種特徴量を、イベント判定部１０３に供給するとともに、通知用データとして符号化部２０３に供給する。

ステップＳ５３において、イベント判定部１０３は、供給された各種特徴量（ステップＳ５２の処理により計算され、供給された各種特徴量）を取得する。

ステップＳ５４において、イベント判定部１０３は、取得した各種特徴量に基づいて、イベントが発生したか否か（イベントであるか否か）を判定する。このとき、イベント判定部１０３は、自分自身に保持されているイベントを判定するための判定パラメータに基づいて、イベントを判定する。このパラメータは、制御部１０８により制御され、更新される。ステップＳ５４において、イベントであると判定された場合、処理はステップＳ５５に進み、イベント判定部１０３は、イベント発生信号を符号化部２０３、送信部２０４、受信部２０５および復号部２０６に送信する。符号化部２０３、送信部２０４、受信部２０５および復号部２０６は、このイベント発生信号が供給されたとき動作状態となる。従って、イベント発生信号が供給されないとき、非動作状態（オフ状態）となっているので、電力が無駄に消費されるのを抑制することができる。

ステップＳ５６において、符号化部２０３は、ステップＳ５２の処理により特徴量抽出部１０２から送信された通知用データ（イベント通知用データ）を受信し、符号化し、送信部２０４に供給する。

ステップＳ５７において、送信部２０４は、符号化部２０３により符号化され、供給された通知用データを処理ボックス２に送信する。

処理ボックス２は、この通知用データを受信し（後述する図１２のステップＳ１０３）、これに対応するユーザ判断信号を送信してくる（後述する図１２のステップＳ１１２）。

そこで、ステップＳ５８において、受信部２０５は、ユーザ判断信号が送信されてきたか否かを判定する。ユーザ判断信号が送信されてきた場合、処理はステップＳ５９に進み、受信部２０５は、ユーザ判断信号を受信し、復号部２０６に供給する。

ステップＳ６０において、復号部２０６は、ユーザ判断信号を復号し、制御部１０８に供給する。

ステップＳ６１において、制御部１０８は、イベント判定部１０３のパラメータ変更制御、特徴量抽出部１０２の信号処理制御、およびセンサの電源制御などの制御を実行する。詳細は、図５と図６を参照して説明したので省略する。

ステップＳ５４においてイベントでないと判定された場合、ステップＳ５８においてユーザ判断信号が送信されてこないと判定された場合、または、ステップＳ６１の処理の後、処理はステップＳ５１に戻り、それ以降の処理が繰り返される。

次に、図１２と図１３を参照して、図１０と図１１のマルチセンサカメラ１の処理に対応する図８の処理ボックス２における処理を説明する。なお、この処理は、ユーザにより呈示部３に対して一般視聴信号（放送番組信号）に対応する画像の呈示または、監視領域における開始を開始するよう指令されたとき、開始される。

ステップＳ１０１において、受信部２４１は、イベント通知があるか否かを判定する。具体的には、受信部２４１は、マルチセンサカメラ１の送信部２０４から通知用データが送信されてきたか否かを判定する。ステップＳ１０１において、イベント通知がされないと判定された場合（通知用データが送信されてこないと判定された場合）、処理はステップＳ１０２に進み、呈示データ構築部１０４は、一般視聴信号をそのまま呈示データとして、呈示部３に出力し、呈示部３に呈示させる。その後、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。

ステップＳ１０１において、イベント通知があると判定された場合、ステップＳ１０３において、受信部２４１は、通知用データを受信し、復号部２４２に復号させる。復号部２４２は、復号した通知用データを呈示データ構築部１０４に供給する。

ステップＳ１０４において、呈示データ構築部１０４は、供給された通知用データを受信し、呈示データを作成する。具体的には、呈示データ構築部１０４は、一般視聴画像の一部にイベント画像を多重化させることで呈示データを作成する（ピクチャインピクチャとなる画像データを作成する）。その後、呈示データ構築部１０４は、作成した呈示データを呈示部３に出力し、呈示させる。

このとき、呈示部３には、図１５または図１６に示されるような画像が表示される。図１５の例の場合、呈示部３には、一般視聴画面３２０の一部に、イベント呈示領域３２１が呈示されている。イベント呈示領域３２１の、図中、左側の領域３２２と、右側の領域３２３のうち、右側の領域３２３に、カメラ２０１で撮影された人の画像が表示されている。このイベント呈示に対してユーザは、リモートコントローラ４のＯＫ（今後もイベントとして検出して欲しい）ボタン２９１、またはＮＯ（今後はイベントとして検出しなくてもよい）ボタン２９２を操作することで、判断を入力することになる。このユーザ判断信号がリモートコントローラ４から送信されてくる（後述する図１４のステップＳ１５６）。

いま、領域３２２と領域３２３のうち、左側の領域３２２が、ユーザがイベントとして検出して欲しい領域であるとすると、ユーザは、図１５に示されているようなイベントの呈示に対して、ＮＯボタン２９２を操作する。ユーザによりＮＯボタン２９２が操作された場合、これに対応するユーザ判断信号が、リモートコントローラ４から送信されてくる。処理ボックス２はこれを受信すると、それをマルチセンサカメラ１に送信する（後述するステップＳ１１２）。上述したように、マルチセンサカメラ１の制御部１０８は、このユーザ判断信号を受信すると、特徴量抽出部１０２を制御し、カメラ２０１の画角の右側の領域を特徴量抽出の範囲から除外する（図１１のステップＳ６１）。その結果、以後、画角の右側の領域で人が撮影されても、イベント発生信号が発生されず、左側の領域で人が撮影されたとき、イベント通知が行なわれる。これにより、例えば、図１６に示されるような呈示が行なわれるようになる。

ユーザによりＮＯボタン２９２が操作された場合、呈示部３には、一般視聴画像のみが呈示される。すなわち、イベント呈示領域３２１は表示されない。これによりユーザは無駄なイベントを呈示されることなく、必要な場所だけ、イベント呈示領域３２１を見ることができる。

図１２に戻って、ステップＳ１０５において、呈示データ構築部１０４は、リモコン呈示データを作成し、符号化部２４３に出力する。リモコン呈示データには、一般視聴信号は含まれず、リモコン呈示データは、通知用データそのものから構成されている。リモートコントローラ４は、リモコン呈示データを受信すると、対応する画像を図１７または図１８に示されるように表示する（後述する図１４のステップＳ１５３）。

ステップＳ１０６において、符号化部２４３は、ステップＳ１０５の処理により供給されたリモコン呈示データを符号化し、これを送信部２４４に供給する。

ステップＳ１０７において、送信部２４４は、ステップＳ１０６の処理により供給された、符号化されたリモコン呈示データをリモートコントローラ４に送信する。リモートコントローラ４は、これを受信し（後述する図１４のステップＳ１５１）、呈示した（後述する図１４のステップＳ１５３）後、ユーザにより入力された判断に基づく信号であるユーザ判断信号を送信してくる（後述する図１４のステップＳ１５６）。

そこで、ステップＳ１０８において、受信部２４５は、ユーザ判断信号が送信されてきたか否かを判定する。ユーザ判断信号が送信されてきたと判定された場合、ステップＳ１０９において、受信部２４５は、ユーザ判断信号を受信し、これを復号部２４６に供給する。

ステップＳ１１０において、復号部２４６は、ステップＳ１０９の処理により供給されたユーザ判断信号を復号し、これを呈示データ構築部１０４に供給するとともに、符号化部２４７に供給する。

ステップＳ１１１において、符号化部２４７は、ステップＳ１１０の処理により供給されたユーザ判断信号を符号化し、これを送信部２４８に供給する。

ステップＳ１１２において、送信部２４８は、ステップＳ１１１の処理により符号化され、供給されたユーザ判断信号をマルチセンサカメラ１に送信する。マルチセンサカメラ１は、上述したように、ユーザ判断信号に基づく処理を実行する（図１１のステップＳ６１）。

ステップＳ１１３において、呈示データ構築部１０４は、ステップＳ１１０の処理により復号部２４６により復号されたユーザ判断信号を取得し、ユーザ判断信号に基づく処理を実行する。

このとき、上述したように、呈示データ構築部１０４は、ユーザ判断信号に、呈示データの構築を停止するような信号（例えば、後述する図１７のＮＧボタン２９２が操作されたとされる信号）が含まれていた場合、イベント画像を含む呈示データの構築を停止するなどの処理を実行する。このとき、呈示部３には、イベント呈示領域３２１が呈示されない。

また、呈示データ構築部１０４は、ユーザ判断信号に、呈示データの構築を続けるような信号（例えば、後述する図１７のＯＫボタン２９１が操作されたとされる信号）が含まれていた場合、イベント画像を含む呈示データの構築を続ける処理を実行する。このとき、呈示部３には、図１６に示されるようなイベント呈示領域３２１が呈示される。

ステップＳ１０２の処理の後、ステップＳ１０８においてユーザ判断信号が送信されてこないと判定された場合、またはステップＳ１１３の処理の後、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。

次に、図１４を参照して、図１２と図１３の処理ボックス２の処理に対応する図９のリモートコントローラ４における処理を説明する。なお、この処理は、処理ボックス２の送信部２４４により、図１２のステップＳ１０７の処理が実行されたとき、開始される。

ステップＳ１５１において、受信部２８１は、処理ボックス２の送信部２４４から送信されてきた（図１２のステップＳ１０７の処理により処理ボックス２の送信部２４４から送信されてきた）リモコン呈示データを受信し、これを復号部２８２に供給する。

ステップＳ１５２において、復号部２８２は、ステップＳ１５１の処理により受信されたリモコン呈示データを復号し、復号したリモコン呈示データをリモコン呈示部８３に供給する。

ステップＳ１５３において、リモコン呈示部８３は、受信したリモコン呈示データに基づく画像を呈示する。

このとき、リモコン呈示部８３には、図１７または図１８に示されるような画像が表示される。この画像は、上述した図１５と図１６のイベント呈示領域３２１の画像と同様の画像である。すなわち、リモコン呈示データには、呈示部３に対して出力される呈示データのうちの、イベント呈示領域３２１に対応するデータのみが含まれている。

図１７の例の場合、リモコン呈示部８３には、リモコン呈示データに基づくイベントが呈示されている。リモコン呈示部８３の図中左側の領域２９３と右側の領域２９４のうち、左側の領域２９３が、ユーザがイベントとして検出して欲しい領域であるとすると、図１７に示されるように、右側の領域２９４に人の画像が表示されている場合、このイベント呈示に対してユーザは、ＯＫ（今後もイベントとして検出して欲しい）ボタン２９１とＮＯ（今後はイベントとして検出しなくてもよい）ボタン２９２のうち、ＮＯボタン２９２を操作する。これに対して、図１８に示されるように、左側の領域２９３に人の画像が表示されている場合、ユーザは、ＯＫボタン２９１を操作する。

そこで、ステップＳ１５４において、ユーザ入力ＩＦ部８４は、ユーザの判断が、入力されたか（ＯＫボタン２９１またはＮＧボタン２９２のいずれか１つが操作されたか）否かを判定する。ユーザの判断が入力されたと判定された場合、処理はステップＳ１５５に進み、ユーザ入力ＩＦ部８４は、ユーザの判断に基づく信号であるユーザ判断信号を符号化部２８３に供給し、符号化部２８３は、これを符号化する。その後、符号化部２８３は、符号化したユーザ判断信号を送信部２８４に供給する。

ステップＳ１５６において、送信部２８４は、符号化されたユーザ判断信号（ステップＳ１５４の処理により符号化部２８３により符号化されたユーザ判断信号）を、処理ボックス２に対して送信する。マルチセンサカメラ１と処理ボックス２はこれを受信し（図１１のステップＳ５９と図１２のステップＳ１０９）、上述したように、ユーザ判断信号に基づく処理を実行する。例えば、図１７に示されるような呈示に対してＮＧボタン２９２のユーザ判断信号が送信されてきた場合、マルチセンサカメラ１は、カメラ２０１で撮像される範囲（画角）のうち、右側の領域は、特徴量抽出の処理の対象外とする。その結果、以後、図１７に示されるような右側の領域２９４に人が表示されているような画像は、イベントとして送信してこなくなり、図１８に示されるような左側の領域２９３に人が表示されている画像がイベントの画像として呈示される。

ステップＳ１５４の処理において、ユーザの判断が入力されていないと判定された場合、またはステップＳ１５６の処理の後、処理はステップＳ１５１に戻り、それ以降の処理が繰り返される。

なお、マルチセンサカメラ１の処理の変化の例として、例えば、監視システム１０の利用を開始した後の所定の期間（ユーザの判断入力の回数が所定の回数を下回る場合）は、カメラ２０１と赤外線センサ２０２を常にオンするようにし、所定の期間の経過後（ユーザの判断入力の回数が所定の回数を上回った場合）は、カメラ２０１は通常オフとし、赤外線センサ２０２が反応したとき、初めてカメラ２０１をオンするように制御することもできる。

また、イベント判定部１０３の処理に関しても、例えば、監視システム１０の利用を開始した後の所定の期間（ユーザの判断入力の回数が所定の回数を下回る場合）は、人（侵入者）の撮像位置（領域）がどこであったとしてもイベントとして出力するようにし、所定の期間の経過後（ユーザの判断入力の回数が所定の回数を上回った場合）は、ＯＫボタン２９１を操作することでユーザが指定した位置（領域）で人（侵入者）が撮像された場合にのみ、イベントとして出力するようにイベント判定部１０３の判定パラメータを変更させるようにすることもできる。

以上の処理により、ユーザの判断に基づいて、動作するセンサを切り換え、さらに、ユーザの判断の繰り返しにより、マルチセンサカメラ１における処理を変化させることにより、ユーザが意図するイベントのみを検知および通知させるようにすることができ、かつ、必要なセンサ、信号処理等だけが動作するため、柔軟にイベントを検出および通知し、無駄な消費電力を抑えることができる。マルチセンサカメラ１は、バッテリ２８により駆動されるので、できるだけ電力消費を少なくするために、特徴量抽出部１０２、イベント判定部１０３、および制御部１０８の１つ以上を、処理ボックス２に収容するようにするのが好ましい。

また、マルチセンサカメラ１の消費電力を抑えることができ、さらに小型化することができるため、様々な場所に手軽に設置できる。

なお、以上の例は、監視システム１０を実現する一例であり、他にも、多数のシステム構成が考えられる。以下にその例を示す。

例えば、使用するセンサは、カメラ、マイクロホン、赤外線センサに限らず、他のセンサを搭載することができる。また、検出するイベントも、上述した例に限られるものではない。

また、例えば、マルチセンサカメラ１と処理ボックス２の間の通信は、無線通信に限られるものではなく、有線による通信であってもよい。

また、マルチセンサカメラ１は、１台ではなく、複数設けることも可能である。

さらに、呈示部３は、１つではなく、複数設けることも可能である。

また、処理ボックス２は、呈示部３と別の筐体とせず、一体型とすることもできる。

さらに、リモートコントローラ４にリモコン呈示部８３を設けずに、呈示部３のみの呈示としてもよい。

また、リモートコントローラ４にイベントを呈示するのではなく、処理ボックス２にイベントの呈示部およびユーザの判断を入力するための入力ＩＦ部を設けることもできる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどの、記録媒体からインストールされる。この場合、上述した処理は、図１９に示されるようなパーソナルコンピュータ５００により実行される。

図１９において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。

入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT（Cathode Ray Tube），LCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行なう。

入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図１９に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。

なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用した監視システムの構成例を示す図である。 図１のマルチセンサカメラの機能的構成を示すブロック図である。 図１の処理ボックスの機能的構成を示すブロック図である。 図１のリモートコントローラの機能的構成を示すブロック図である。 図１の監視システムの原理的構成を示すブロック図である。 図５の監視システムにより実行されるイベント検出処理を説明するフローチャートである。 図１のマルチセンサカメラの構成例を示すブロック図である。 図１の処理ボックスの構成例を示すブロック図である。 図１のリモートコントローラの構成例を示すブロック図である。 図７のマルチセンサカメラにおける処理を説明するフローチャートである。 図７のマルチセンサカメラにおける処理を説明するフローチャートである。 図８の処理ボックスにおける処理を説明するフローチャートである。 図８の処理ボックスにおける処理を説明するフローチャートである。 図９のリモートコントローラにおける処理を説明するフローチャートである。 図１２のステップＳ１０４の処理における呈示例を示す図である。 図１２のステップＳ１０４の処理における呈示例を示す図である。 図１４のステップＳ１５３の処理における呈示例を示す図である。 図１４のステップＳ１５３の処理における呈示例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ マルチセンサカメラ， ２ 処理ボックス， ３ 呈示部， ４ リモートコントローラ， １０ 監視システム， ８３ 呈示部， ８４ ユーザ入力ＩＦ部， １０１ センサ， １０２ 特徴量抽出部， １０３ イベント判定部， １０４ 呈示データ構築部， １０８ 制御部， １２１ パラメータ制御部， １２２ 信号処理制御部， １２３ 電源制御部， ２９１ ＯＫボタン， ２９２ ＮＧボタン

Claims (7)

1. カメラと１以上のセンサを有し、前記センサの検出結果からイベントが発生したか否かを判定して、前記イベントが発生した場合に、前記カメラで撮像された画像を前記イベントの発生を通知するイベント通知データとして出力する監視装置を制御する情報処理装置において、
   前記監視装置から無線通信により送信されてくる前記イベント通知データを受信するイベント通知受信手段と、
   前記イベント通知データを受信した場合、前記イベント通知データを、所定の表示装置に送信する表示装置送信手段と、
   前記イベント通知データにより前記表示装置に表示された前記画像に基づいて、前記イベントを今後も呈示させるか否かについてユーザが判断した結果を表す信号である判断信号を、前記情報処理装置のリモートコントローラから、無線通信により受信する判断信号受信手段と、
   受信した前記判断信号を、前記監視装置に送信する判断信号送信手段と
   を備え、
   前記監視装置は、前記判断信号送信手段により送信されてきた前記判断信号が前記イベントを呈示させないことを表す信号である場合、以後の同一の前記センサの検出結果をイベントとして通知しないように前記センサの検出条件を変更する
   ことを特徴とする情報処理装置。
2. 前記表示装置は、前記情報処理装置のリモートコントローラの一部として組み込まれており、
   前記表示装置送信手段は、無線通信により、前記イベント通知データを、前記情報処理装置のリモートコントローラに送信し、
   前記判断信号受信手段が前記リモートコントローラから受信する前記判断信号は、ユーザが前記リモートコントローラに表示された前記画像に基づいて、前記イベントを今後も呈示させるか否かについて判断した結果を表す信号である
   ことを特徴とする請求項１に記載の情報処理装置。
3. 放送信号を受信する放送信号受信手段と、
   前記イベント通知データを受信した場合、前記放送信号に基づくデータに前記イベント通知データを挿入した呈示データを作成する呈示データ作成手段と
   をさらに備え、
   前記呈示データ作成手段は、前記イベント通知データを受信していない場合には、前記放送信号受信手段が受信した前記放送信号を前記表示装置とは異なる他の表示装置に出力し、前記イベント通知データを受信した場合には、作成した前記呈示データを前記他の表示装置に出力し、
   前記判断信号受信手段が前記リモートコントローラから受信する前記判断信号は、ユーザが前記他の表示装置に表示された前記画像に基づいて、前記イベントを今後も呈示させるか否かについて判断した結果を表す信号である
   ことを特徴とする請求項１に記載の情報処理装置。
4. カメラと１以上のセンサを有し、前記センサの検出結果からイベントが発生したか否かを判定して、前記イベントが発生した場合に、前記カメラで撮像された画像を前記イベントの発生を通知するイベント通知データとして出力する監視装置と、それを制御する情報処理装置からなる監視処理システムであって、
   前記情報処理装置は、
   前記監視装置から無線通信により送信されてくる前記イベント通知データを受信するイベント通知受信手段と、
   前記イベント通知データを受信した場合、前記イベント通知データを、所定の表示装置に送信する表示装置送信手段と、
   前記イベント通知データにより前記表示装置に表示された前記画像に基づいて、前記イベントを今後も呈示させるか否かについてユーザが判断した結果を表す信号である判断信号を、前記情報処理装置のリモートコントローラから、無線通信により受信する判断信号受信手段と、
   受信した前記判断信号を、前記監視装置に送信する判断信号送信手段と
   を備え、
   前記監視装置は、前記判断信号送信手段により送信されてきた前記判断信号が前記イベントを呈示させないことを表す信号である場合、以後の同一の前記センサの検出結果をイベントとして通知しないように前記センサの検出条件を変更する
   ことを特徴とする監視処理システム。
5. 前記センサには、赤外線センサを含み、
   前記カメラの電源を通常はオフに制御し、前記赤外線センサの検出結果から前記イベントの発生が判定された場合に、前記カメラの電源をオンに制御する電源制御手段をさらに備える
   ことを特徴とする請求項４に記載の監視処理システム。
6. 前記制御手段は、時間の経過、または、前記センサの検出結果に応じて、１以上の前記センサの電源をオンまたはオフする制御も実行する
   ことを特徴とする請求項５に記載の監視処理システム。
7. 前記表示装置と前記監視装置それぞれは、複数設けられている
   ことを特徴とする請求項６に記載の監視処理システム。

Images