JP3965580B2 - 監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、人の行動を区別し、通知することができるようにした監視システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラムに関する。

従来、ホームセキュリティシステムとして、撮像装置から送信される監視画像を表示するモニタＴＶ(Television)を見ることにより、センサ情報を知る手法が提案されている（例えば、特許文献１参照）。

また、赤外線センサと画像センサが組み合わされた監視装置が、人体の有無および画策の有無を判定することにより、監視領域内に進入した人体を検出する手法が提案されている（例えば、特許文献２参照）。

さらに、複数台のインテリジェントカメラを有する監視カメラシステムが、監視領域の異常を検知し、検知した映像や音声を記録または再生する手法が提案されている（例えば、特許文献３参照）。

これらの特許文献１乃至特許文献３に記載の発明においては、主に、特定の場所または特定の異常（イベント）が検出される。

特開平８−１２４０７８号公報 特開２０００−３３９５５４号公報 特開平７−２１２７４８号公報

しかしながら、これらの特許文献１乃至特許文献３に記載されている発明では、監視領域内に進入した人体を検出することはできるものの、その人の行動（例えば、接近しているのか、あるいは、遠ざかっているのかなど）を区別することができない課題があった。

勿論、例えば、ビデオカメラで常に監視するようにすれば、行動の識別が可能であるが、そのようにすると電力消費が大きくなり、バッテリを使ったシステムに適用することが困難になる課題があった。

本発明はこのような状況に鑑みてなされたものであり、監視領域内に進入した人の行動を区別し、通知することができるようにするものである。

本発明の監視システムは、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得手段と、取得手段により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述手段と、状態データ記述手段により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定手段と、判定手段おいて、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件を満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データを構築する構築手段と、構築手段により構築された呈示データに基づく呈示を行う呈示手段とを備えることを特徴とする。

前記第１のセンサは、フォトセンサであり、第２のセンサは、マイクロ波センサであるものとすることができる。

前記状態データは、第１のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第２のセンサの反応状態に関する特徴量を含むものとすることができる。

前記構築手段は、テレビジョン放送に基づく信号にイベントデータを挿入して呈示データを構築するようにすることができる。

前記構築手段は、判定手段において、第１の条件を満たし、第２の条件は満たさないと判定された場合、予め定められた信号に基づくデータを呈示データとするようにすることができる。

本発明の監視方法は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップとを含むことを特徴とする。

本発明の第１の記録媒体に記録されているプログラムは、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップとを含む処理をコンピュータに行わせることを特徴とする。

本発明の第１のプログラムは、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップと、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップとを含む処理をコンピュータに行わせることを特徴とする。

本発明の第１の情報処理装置は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得手段と、取得手段により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述手段と、状態データ記述手段により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定手段と、判定手段において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを他の装置に送信する送信手段とを備えることを特徴とする。

前記他の装置から供給された判定テーブルを取得し、蓄積する判定テーブル蓄積手段をさらに設けるようにすることができる。

前記イベントの通知が終了された場合、送信手段は、イベントデータの送信を停止し、状態データ記述手段により記述された状態データを他の装置に送信するようにすることができる。

前記第１のセンサは、フォトセンサであり、第２のセンサは、マイクロ波センサであるものとすることができる。

前記状態データは、第１のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第２のセンサの反応状態に関する特徴量を含むものとすることができる。

本発明の第１の情報処理方法は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを他の装置に送信する送信ステップとを含むことを特徴とする。

本発明の第２の記録媒体に記録されているプログラムは、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを他の装置に送信する送信ステップとを含む処理をコンピュータに行わせることを特徴とする。

本発明の第２のプログラムは、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを他の装置に送信する送信ステップとを含む処理をコンピュータに行わせることを特徴とする。

本発明の第２の情報処理装置は、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知を受信する受信手段と、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信手段により受信された状態データを判定テーブルとして蓄積する蓄積手段と、受信手段においてイベントの通知を受信した場合、イベントの通知とともに受信されたイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段と、蓄積手段に蓄積されている判定テーブルを他の装置に送信する送信手段とを備えることを特徴とする。

前記構築手段により構築された呈示データに基づく呈示を行う呈示手段をさらに設けるようにすることができる。

前記呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段をさらに設け、蓄積手段は、取得手段により取得されたユーザからの判断の入力を状態データに対応付けるようにすることができる。

前記蓄積手段に蓄積されている判定テーブルを他の装置に送信する送信手段をさらに設けるようにすることができる。

前記受信手段においてイベントの通知を受信していない場合、構築手段は、予め定められた信号に基づくデータを呈示データとするようにすることができる。

前記第１のセンサは、フォトセンサであり、第２のセンサは、マイクロ波センサであるものとすることができる。

前記状態データは、第１のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第２のセンサの反応状態に関する特徴量を含むものとすることができる。

本発明の第２の情報処理方法は、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知を受信する受信ステップと、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された状態データを判定テーブルとして蓄積する蓄積ステップと、受信ステップの処理においてイベントの通知を受信した場合、イベントの通知とともに受信されたイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、蓄積されている判定テーブルを他の装置に送信する送信ステップとを含むことを特徴とする。

本発明の第３の記録媒体に記録されているプログラムは、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知を受信する受信ステップと、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された状態データを判定テーブルとして蓄積する蓄積ステップと、受信ステップの処理においてイベントの通知を受信した場合、イベントの通知とともに受信されたイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、蓄積されている判定テーブルを他の装置に送信する送信ステップとを含む処理をコンピュータに行わせることを特徴とする。

本発明の第３のプログラムは、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知を受信する受信ステップと、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された状態データを判定テーブルとして蓄積する蓄積ステップと、受信ステップの処理においてイベントの通知を受信した場合、イベントの通知とともに受信されたイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、蓄積されている判定テーブルを他の装置に送信する送信ステップとを含む処理をコンピュータに行わせることを特徴とする。

第１の本発明においては、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサからそれぞれ第１および第２のセンサデータが取得され、それらのデータに基づいて、第１および第２のセンサの反応状態に関する状態データが記述され、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かが判定され、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データが構築されて呈示される。

第２の本発明においては、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサからそれぞれ第１および第２のセンサデータが取得され、それらのデータに基づいて、第１および第２のセンサの反応状態に関する状態データが記述され、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かが判定され、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータが他の装置に送信される。

第３の本発明においては、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知が受信され、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された状態データが判定テーブルとして蓄積され、イベントの通知が受信された場合、イベントの通知とともに受信されたイベントデータが、予め定められた信号に基づくデータに挿入されて呈示データが構築される。また、蓄積されている判定テーブルが他の装置に送信される。

第１の本発明によれば、検知したイベントを呈示することができる。特に、監視領域内に進入した人の行動を区別し、イベントとして呈示することが可能となる。

第２の本発明によれば、検知したイベントを通知することができる。特に、監視領域内に進入した人の行動を区別し、他の装置に通知することが可能となる。

第３の本発明によれば、検知したイベントを呈示することができる。特に、他の装置で発生したイベントを呈示するとともに、発生したイベント時の状態を、イベント通知の判定処理に用いるテーブルとして蓄積することが可能となる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の監視システム（例えば、図１の監視システム１０）は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得手段（例えば、図２６のステップＳ２の処理を実行する図４の状態記述部４１）と、取得手段により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述手段（例えば、図２７のステップＳ２１乃至Ｓ２９の処理を実行する図４の状態記述部４１）と、状態データ記述手段により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定手段（例えば、図２８のステップＳ４１乃至Ｓ４８の処理を実行する図４のイベント通知判定部４２）と、判定手段において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データを構築する構築手段（例えば、図２９のステップＳ６３の処理を実行する図４の呈示画像構築部５２）と、構築手段により構築された呈示データに基づく呈示を行う呈示手段（例えば、図２９のステップＳ６３の処理を実行する図４の呈示部３、または図３１のステップＳ１１２の処理を実行する図４の呈示部６２）とを備えることを特徴とする。

請求項２に記載の監視システムの第１のセンサは、フォトセンサ（例えば、図２のフォトセンサ２２）であり、第２のセンサは、マイクロ波センサ（例えば、図２のマイクロ波センサ２３）であることを特徴とする。

請求項３に記載の監視システムの状態データ（例えば、図２２に示す状態記述データ１１１−１乃至１１１−ｎ）は、第１のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第２のセンサの反応状態に関する特徴量を含むことを特徴とする。

請求項４に記載の監視システムの構築手段は、テレビジョン放送に基づく信号（例えば、図４に示す一般視聴信号）にイベントデータを挿入して呈示データを構築することを特徴とする。

請求項５に記載の監視システムの構築手段は、判定手段において、第１の条件を満たし、第２の条件は満たさないと判定された場合、予め定められた信号（例えば、図４に示す一般視聴信号）に基づくデータを呈示データとすることを特徴とする。

請求項６に記載の監視方法は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップ（例えば、図２６のステップＳ２）と、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップ（例えば、図２７のステップＳ２１乃至Ｓ２９）と、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップ（例えば、図２８のステップＳ４１乃至Ｓ４８）と、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップ（例えば、図２９のステップＳ６３）と、構築ステップの処理により構築された呈示データに基づく呈示を行う呈示ステップ（例えば、図２９のステップＳ６３または図３１のステップＳ１１２）とを含むことを特徴とする。

なお、請求項７に記載の記録媒体に記録されているプログラム、および請求項８に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項６に記載の監視方法と同様である。

請求項９に記載の情報処理装置（例えば、図１のマルチセンサカメラ１）は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得手段（例えば、図２６のステップＳ２の処理を実行する図４の状態記述部４１）と、取得手段により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述手段（例えば、図２７のステップＳ２１乃至Ｓ２９の処理を実行する図４の状態記述部４１）と、状態データ記述手段により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定手段（例えば、図２８のステップＳ４１乃至Ｓ４８の処理を実行する図４のイベント通知判定部４２）と、判定手段において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを他の装置に送信する送信手段（例えば、図２６のステップＳ１１の処理を実行する図４のイベント通知判定部４２）とを備えることを特徴とする。

請求項１０に記載の情報処理装置は、他の装置（例えば、図１の処理ボックス２）から供給された判定テーブル（例えば、図２５に示すパターン１４１−１乃至１４１−ｋからなる通知判定テーブル）を取得し、蓄積する判定テーブル蓄積手段（例えば、図２６のステップＳ１３の処理を実行する図２３の通知判定テーブル蓄積部１２２）をさらに備えることを特徴とする。

請求項１１に記載の情報処理装置は、前記イベントの通知が終了された場合（例えば、図２６のステップＳ５）、送信手段が、イベントデータの送信を停止し、状態データ記述手段により記述された状態データを他の装置に送信する（図２６のステップＳ７）ことを特徴とする。

請求項１２に記載の情報処理装置の第１のセンサは、フォトセンサ（例えば、図２のフォトセンサ２２）であり、第２のセンサは、マイクロ波センサ（例えば、図２のマイクロ波センサ２３）であることを特徴とする。

請求項１３に記載の情報処理装置の状態データ（例えば、図２２に示す状態記述データ１１１−１乃至１１１−ｎ）は、第１のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第２のセンサの反応状態に関する特徴量を含むことを特徴とする。

請求項１４に記載の情報処理方法は、物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップ（例えば、図２６のステップＳ２）と、取得ステップの処理により取得された第１および第２のセンサデータに基づいて、第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップ（例えば、図２７のステップＳ２１乃至Ｓ２９）と、状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、状態データのうち第１のセンサの反応状態に基づく第１の判定データが判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、第１の判定データが第１の条件を満たす場合には、さらに、状態データのうち第２のセンサの反応状態に基づく第２の判定データが判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップ（例えば、図２８のステップＳ４１乃至Ｓ４８）と、判定ステップの処理において、第１の条件を満たしていないと判定されるか、または、第１の条件を満たし、さらに第２の条件も満たすと判定された場合、イベントに関するデータであるイベントデータを他の装置に送信する送信ステップ（例えば、図２６のステップＳ１１）とを含むことを特徴とする。

なお、請求項１５に記載の記録媒体に記録されているプログラム、および請求項１６に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項１４に記載の情報処理方法と同様である。

請求項１７に記載の情報処理装置（例えば、図１の処理ボックス２）は、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知を受信する受信手段（例えば、図２９のステップＳ６６の処理を実行する図４の受信部５１）と、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信手段により受信された状態データを判定テーブルとして蓄積する蓄積手段（例えば、図２９のステップＳ６８の処理を実行する図４の状態記述データ蓄積部５３）と、受信手段においてイベントの通知を受信した場合、イベントの通知とともに受信されたイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段（例えば、図２９のステップＳ６３の処理を実行する図４の呈示画像構築部５２）と、蓄積手段に蓄積されている判定テーブルを他の装置に送信する送信手段（例えば、図２９のステップＳ７４の処理を実行する図４の送信部５５）とを備えることを特徴とする。

請求項１８に記載の情報処理装置は、構築手段により構築された呈示データに基づく呈示を行う呈示手段（例えば、図２９のステップＳ６３の処理を実行する図４の呈示部３、または図３１のステップＳ１１２の処理を実行する図４の呈示部６２）をさらに備えることを特徴とする。

請求項１９に記載の情報処理装置は、呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段（例えば、図２９のステップＳ６９の処理を実行する図４の通知判定テーブル更新部５４）をさらに備え、蓄積手段は、取得手段により取得されたユーザからの判断の入力を状態データに対応付ける（例えば、図２９のステップＳ７１）ことを特徴とする。

請求項２０に記載の情報処理装置は、受信手段においてイベントの通知を受信していない場合、構築手段が、予め定められた信号（例えば、図４に示す一般視聴信号）に基づくデータを呈示データとすることを特徴とする。

請求項２１に記載の情報処理装置の第１のセンサは、フォトセンサ（例えば、図２のフォトセンサ２２）であり、第２のセンサは、マイクロ波センサ（例えば、図２のマイクロ波センサ２３）であることを特徴とする。

請求項２２に記載の情報処理装置の状態データ（例えば、図２２に示す状態記述データ１１１−１乃至１１１−ｎ）は、第１のセンサの反応状態に応じて分類される反応記号および反応状態の継続時間、並びに、反応状態における第２のセンサの反応状態に関する特徴量を含むことを特徴とする。

請求項２３に記載の情報処理方法は、物体の存在を検出する第１のセンサおよび物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、イベントに関するデータであるイベントデータ、状態データ、及びイベントの通知を受信する受信ステップ（例えば、図２９のステップＳ６６）と、状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された状態データを判定テーブルとして蓄積する蓄積ステップ（例えば、図２９のステップＳ６８）と、受信ステップの処理においてイベントの通知を受信した場合、イベントの通知とともに受信されたイベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップ（例えば、図２９のステップＳ６３）と、蓄積されている判定テーブルを他の装置に送信する送信ステップ（例えば、図２９のステップＳ７４）とを含むことを特徴とする。

なお、請求項２４に記載の記録媒体に記録されているプログラム、および請求項２５に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項２３に記載の情報処理方法と同様である。

以下に、本発明の実施の形態について図面を参照して説明する。

図１は、本発明を適用した監視システム１０の構成例を表している。この構成例においては、図中左側の監視領域側にマルチセンサカメラ１が備えられており、図中右側の通知・呈示側に、処理ボックス２、呈示部３、および、処理ボックス２を遠隔操作するためのリモートコントローラ４が備えられている。マルチセンサカメラ１と処理ボックス２は、無線アンテナ１Ａと無線アンテナ２Ａを介して、相互に無線通信を行なう。処理ボックス２とリモートコントローラ４は、相互に無線通信あるいは赤外線通信を行う。処理ボックス２と呈示部３は、バスなどの有線あるいは無線により接続されている。なお、マルチセンサカメラ１と処理ボックス２は、無線通信に限られるものではなく、有線による通信であってもよい。

マルチセンサカメラ１は、イベントを監視したい領域（必要な場所）に設置されている。マルチセンサカメラ１には、例えば、図２に示されるように、CCD（Charge Coupled Device）カメラ２１、フォトセンサ２２、およびマイクロ波センサ２３が設けられており、各センサは、図示せぬバッテリにより駆動される。

CCDカメラ２１は、監視領域（視野角）内の状況を随時撮影する。その詳細は後述するが、マルチセンサカメラ１は、フォトセンサ２２およびマイクロ波センサ２３で検出されたイベントに基づいて、イベントデータを通知するか否かを判定し、イベントデータを通知すると判定した場合、CCDカメラ２１で撮影された画像データ（イベントデータ）を処理ボックス２に送信する。

フォトセンサ２２は、図３に示されるように、自己が監視することが可能な領域３１内の平均輝度を検知信号として出力しており、人物が領域３１内に進入または退出したことに応じて、その出力が変化する。

マイクロ波センサ２３は、マイクロ波を発生し、図３に示されるように、自己が監視することが可能な領域３２内に照射しており、そのマイクロ波が人物（監視対象）に当たって反射されたときの反射波を検知し、反射波が基準の位相より進んでいるか、または遅れているかを表わす検知信号を生成する。この位相の進みと遅れは、ドップラ効果によるものであり、物体の接近または離反に対応している。以下、フォトセンサ２２およびマイクロ波センサ２３が監視することが可能な領域３１，３２を、単に、監視領域３１，３２と記載する。なお、図３の例では、フォトセンサ２２の監視領域３１は、マイクロ波センサ２３の監視領域３２に較べ、その領域（視野角）が狭くなっている。

図１の説明に戻る。マルチセンサカメラ１は、イベントを通知すると判定した場合、無線アンテナ１Ａを介して、イベント呈示に必要なデータを処理ボックス２に送信する。

処理ボックス２は、マルチセンサカメラ１から送信されてきたイベント呈示に必要なデータを、無線アンテナ２Ａを介して受信し、その受信データに基づいて呈示画像および音声を構築し、呈示部３およびリモートコントローラ４に供給または送信して、イベントを呈示させる。

呈示部３は、例えば、一般のテレビジョン受像機とされ、イベントが発生していない場合（通常の場合）、一般の視聴信号（放送信号に基づく映像）を表示し、イベントが発生した場合、一般の視聴信号の一部分にイベント画像が挿入されたピクチャインピクチャの画像を表示する。なお、呈示部３は、テレビジョン受像機に限定されるものではなく、専用のモニタでもよい。また、表示される画像は、ピクチャインピクチャの画像ではなく、画面全体の画像としてもよい。

ユーザは、呈示部３に呈示されたイベントに対して、判断を行ない、その判断の結果に基づいて、リモートコントローラ４から各種指令を入力することができる。例えば、いま発生したイベントを今後も知らせて欲しいときは、その旨を、OKボタン（図示せず）を操作し、いま発生したイベントを今後は知らせなくてもよいときは、その旨を、NGボタン（図示せず）を操作して指示入力することができる。このユーザからの判断の入力に基づいて、処理ボックス２で作成される、イベントを通知するか否かを判定する際に用いられる通知判定テーブル（後述）が時間とともに変化するため、ユーザが監視システム１０を使用する度にユーザが意図するイベントのみが検知され、通知されるようになる。

またマルチセンサカメラ１に搭載されるCCDカメラ２１は、イベントを通知すると判定された場合にのみ動作するため、無駄な消費電力を抑えることができる。

図４は、図１に示した監視システム１０の機能的構成例を示すブロック図である。

マルチセンサカメラ１のCCDカメラ２１は、監視領域内の状況を随時撮影し、画像信号を通知画像データとしてスイッチ４４を介して送信部４５に供給する。

フォトセンサ２２は、監視領域３１（図３）内の平均輝度をフォトセンサデータとして状態記述部４１に供給する。

ここで、図５乃至図７を参照して、フォトセンサ２２の原理について説明する。

図５は、フォトセンサ２２が出力する検知信号の例を説明する図である。

図５Ａは、人物７１が、図中矢印で示される方向からフォトセンサ２２の監視領域３１内に進入し、退出する様子を模式的に示している。フォトセンサ２２は、常時、監視領域３１内の平均輝度を検知信号として出力しており、図５Ａに示されるように人物７１が行動した場合、それに対応して、例えば、図５Ｂに示されるような変化を示す。同図において、縦軸はフォトセンサ２２が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。また、基準値Ｌは、人物７１が監視領域３１内に侵入していない場合のセンサ出力値であり、背景の平均輝度に対応している。この例の場合、フォトセンサ２２が出力する検知信号８１は、人物７１が監視領域３１内に進入していくに従って、その出力レベルが徐々に大きくなり、退出するに従って、その出力レベルが徐々に小さくなる。

なお、図５Ｂに示す検知信号８１は、人物７１に対する平均輝度の出力レベルが基準値（背景に対する平均輝度）Ｌより高い場合の特性を表わしており、人物７１に対する平均輝度の出力レベルが基準値Ｌより低い場合には、検知信号８１の出力変化は、負の方向に変化する。

図６は、フォトセンサ２２が出力する検知信号の他の例を説明する図である。

図６Ａは、フォトセンサ２２の監視領域３１内において、人物７１が、図中矢印で示されるように、フォトセンサ２２に接近し、離反する（遠ざかる）様子を模式的に示している。上述したように、フォトセンサ２２は、常時、監視領域３１内の平均輝度を検知信号として出力しており、図６Ａに示されるように人物７１が行動した場合、それに対応して、例えば、図６Ｂに示されるような変化を示す。この例の場合、フォトセンサ２２が出力する検知信号８１は、人物７１がフォトセンサ２２に接近していくに従って、その出力レベルが徐々に大きくなり、離反するに従って、その出力レベルが徐々に小さくなる。また、人物７１が監視領域３１内に侵入している状態で、フォトセンサ２２に接近し、離反しているため、図６Ｂに示す検知信号８１の出力レベルは、図５Ｂに示した値より高い特性を示している。

なお、上述したように、図６Ｂに示す検知信号８１は、人物７１に対する平均輝度の出力レベルが基準値Ｌより高い場合の特性を表わしており、人物７１に対する平均輝度の出力レベルが基準値Ｌより低い場合には、検知信号８１の出力変化は、やはり負の方向に変化する。

図５および図６に示したように、人物７１の行動に応じて、フォトセンサ２２が出力する検知信号８１の出力レベルの変化および変化する方向（すなわち、徐々に大きくなる方向、または徐々に小さくなる方向）には決まった特性が表れる。従って、フォトセンサ２２が出力する検知信号８１の出力レベルの変化および変化する方向に着目することにより、人物７１が、監視領域３１内でどのような行動を取っているかをおおよそ推定することができる。

図７は、フォトセンサ２２が出力する検知信号８１の出力レベルの変化と人物７１の行動との関係を示す図である。

反応区間Ｘは、フォトセンサ２２が出力する検知信号８１の出力レベルが基準値Ｌから変化している区間（時間）であり、人物７１が監視領域３１内に存在していることを表わしている。この反応区間Ｘにおいて、検知信号８１の出力レベルが基準値Ｌから離れる方向（図７の例の場合、正の方向に離れているが、負の方向に離れる場合も含む）に変化する区間Ａは、人物７１が監視領域３１内に進入しているか、または監視領域３１内でフォトセンサ２２に接近していることを表わし、検知信号８１の出力レベルが変化しない区間Ｂは、人物７１が監視領域３１内で行動していない（静止している）ことを表わし、検知信号８１の出力レベルが基準値Ｌに近づく方向（図７の例の場合、負の方向に近づいているが、正の方向に近づく場合も含む）に変化する区間Ｃは、人物７１が監視領域３１から退出しているか、または監視領域３１内でフォトセンサ２２から離反していることを表わしている。

このように、フォトセンサ２２が出力する検知信号８１の出力レベルの変化および変化する方向に応じて、監視領域３１内における人物７１の行動をおおよそ推定することができる。

図４の説明に戻る。マイクロ波センサ２３は、監視領域３２（図３）内にマイクロ波を照射しており、接近の反応を表わす検知信号および離反の反応を表わす検知信号をマイクロ波センサデータとして状態記述部４１に供給する。

ここで、図８乃至図１１を参照して、マイクロ波センサ２３の原理について説明する。

図８と図９は、マイクロ波センサ２３が出力する検知信号の例を説明する図である。

図８は、マイクロ波センサ２３の監視領域３２内において、人物７１−１，７１−２が、それぞれ、図中矢印で示されるように、マイクロ波センサ２３に接近または離反している様子を模式的に示している。マイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図８に示されるように、センサを中心とした円周に対し人物７１−１がほぼ垂直に接近するように行動した場合、それに対応して、例えば、図９Ａに示されるような接近の反応を表わす検知信号９１を出力する。またマイクロ波センサ２３は、センサを中心とした円周に対し人物７１−２がほぼ垂直に離反するように行動した場合、それに対応して、例えば、図９Ｂに示されるような離反の反応を表わす検知信号９２を出力する。同図において、縦軸はマイクロ波センサ２３が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。なお、検知信号９１，９２は、いずれも２値出力とされる。

図１０は、マイクロ波センサ２３が出力する検知信号の他の例を説明する図である。

図１０Ａは、マイクロ波センサ２３の監視領域３２内において、人物７１が、センサを中心とした円周上を、図中矢印で示される方向に行動している様子を模式的に示している。上述したように、マイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図１０Ａに示されるように、センサを中心とした円周上を人物７１が行動した場合、それに対応して、例えば、図１０Ｂに示されるような検知信号を出力する。この例の場合、接近の反応を表わす検知信号９１および離反の反応を表わす検知信号９２が不規則に出力されている（不安定な反応の検知信号が出力されている）。

図１１は、マイクロ波センサ２３が出力する検知信号の他の例を説明する図である。

図１１Ａは、マイクロ波センサ２３の監視領域３２内において、人物７１が、センサを中心とした円周上付近を、図中矢印で示されるように、円の接線に平行な方向に行動している様子を模式的に示している。上述したように、マイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図１１Ａに示されるように、センサを中心とした円の接線付近を人物７１が行動した場合、それに対応して、例えば、図１１Ｂに示されるような検知信号を出力する。この例の場合、円周の接点Ｓより手前では接近の反応を表わす検知信号９１が出力され、円周の接点Ｓ付近では接近の反応を表わす検知信号９１および離反の反応を表わす検知信号９２の両方が出力され（不安定な反応の検知信号が出力され）、円周の接点Ｓより先では離反の反応を表わす検知信号９２が出力されている。

また図示は省略するが、人物７１が円周の接点Ｓより離れていくに従って、マイクロ波センサ２３が出力する検知信号は不安定な反応となり、最終的には無反応となる。

ところで、マイクロ波センサ２３から出力される検知信号を短時間で観測した場合、その信頼度が低い。例えば、検知信号が接近反応であったとしても、それが安定的に接近している行動の一部に応じて出力されたものであるのか、あるいは、不安定な反応の一部であるのかを区別することができず、人物７１の行動を推定することが困難である。そこで、マイクロ波センサ２３から出力される検知信号を充分な長さの時間で観測する（例えば、時間方向で接近または離反の反応数を積算する）必要がある。ただし、時間方向で長く観測しすぎた場合、反応数が増えることによりセンサの信頼度は向上するが、人物７１の行動を推定するまでに時間がかかり、処理能力は低下してしまう。

以上のことから、本実施の形態では、フォトセンサ２２とマイクロ波センサ２３を統合利用して、短時間で、かつ、高精度に、さらに、電力消費を増大させることなく、人物７１の行動を推定するようにする。

すなわち、図７に示したように、フォトセンサ２２が反応している区間（反応区間Ｘ）における、検知信号８１の出力レベルの変化の方向により区分されたそれぞれの区間（区間Ａ乃至区間Ｃ）において、マイクロ波センサ２３から出力される接近または離反を表わす検知信号９１，９２をそれぞれ積算し、その割合（正規化）を特徴量として記述する。

具体的には、フォトセンサ２２が反応している所定の区間において、図１２Ａに示されるように、マイクロ波センサ２３から出力される接近、離反、または無反応を表わす検知信号をそれぞれ積算し、接近反応数、離反反応数、および無反応数と規定する。そして、各反応数を、積算に利用した全データ数で正規化したもの（割合）を特徴量として記述（プロット）する。なお、各割合は、０．０乃至１．０の値で表わすこととする。

図１２Ｂは、離反反応数の割合（縦軸）と接近反応数の割合（横軸）との関係を示している。同図に示されるように、領域１０１にプロットされる特徴量は、接近反応数が多いことを表わし、領域１０２にプロットされる特徴量は、離反反応数が多いことを表わし、領域１０３にプロットされる特徴量は、接近反応数と離反反応数が混在していることを表わし、領域１０４にプロットされる特徴量は、反応が少ない（無反応数が多い）ことを表わしている。

例えば、接近反応数が１５、離反反応数が７０、無反応数が１５に積算された場合、全データ数は１００（＝１５＋７０＋１５）となり、接近反応数の割合は０．１５（＝１５／１００）、離反反応数の割合は０．７（＝７０／１００）、無反応数の割合は０．１５（＝１５／１００）に正規化される。図中、この特徴量Ｑがプロットされている。

このように、図７に示した区間Ａ乃至区間Ｃにおける、マイクロ波センサ２３の出力反応に基づいて、人物７１の行動を分類することができる。

次に、図１３乃至図２１を参照して、フォトセンサ２２およびマイクロ波センサ２３を統合利用した場合の原理について説明する。

図１３と図１４は、フォトセンサ２２およびマイクロ波センサ２３が出力する検知信号の例を説明する図である。

図１３は、フォトセンサ２２の監視領域３１を含むマイクロ波センサ２３の監視領域３２内において、人物７１−１乃至７１−３が、それぞれ、図中矢印で示される方向（図中、左上から右下方向、左から右方向、または左下から右上方向）に行動している様子を模式的に示している。上述したように、フォトセンサ２２は、常時、監視領域３１内の平均輝度を検知信号として出力しており、またマイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図１３に示されるように人物７１−１乃至７１−３が行動した場合、それらに対応して、例えば、図１４Ａ乃至図１４Ｃに示されるような検知信号をそれぞれ出力する。同図において、縦軸はフォトセンサ２２およびマイクロ波センサ２３が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。ただし、マイクロ波センサ２３が出力する検知信号９１−１乃至９１−３，９２−１乃至９２−３は、いずれも２値出力とされる。

図１４Ａの例の場合、フォトセンサ２２が出力する検知信号８１−１は、人物７１−１が監視領域３１内に、遠い位置から近づきつつ横切って侵入していくに従って、その出力レベルが徐々に小さくなり、退出するに従って、その出力レベルが徐々に大きくなる。ここで、検知信号８１−１は、人物７１−１に対する平均輝度の出力レベルが基準値より低い場合の特性を表わしているため、負の方向に変化している（後述する図１４Ｂの検知信号８１−２および図１４Ｃの検知信号８１−３も同様である）。またマイクロ波センサ２３からは、接近の反応を表わす検知信号９１−１が出力されている。なお、離反の反応を表わす検知信号９２−１の出力レベルは０である。

図１４Ｂの例の場合、フォトセンサ２２が出力する検知信号８１−２は、人物７１−２が監視領域３１内を横切るように侵入していくに従って、その出力レベルが徐々に小さくなり、退出するに従って、その出力レベルが徐々に大きくなる。またマイクロ波センサ２３からは、接近の反応を表わす検知信号９１−２、および離反の反応を表わす検知信号９２−２が不規則に出力されている（不安定な反応の検知信号が出力されている）。

図１４Ｃの例の場合、フォトセンサ２２が出力する検知信号８１−３は、人物７１−３が監視領域３１内に、近い位置から遠ざかりつつ横切って侵入していくに従って、その出力レベルが徐々に小さくなり、退出するに従って、その出力レベルが徐々に大きくなる。またマイクロ波センサ２３からは、接近の反応を表わす検知信号９１−３、および離反の反応を表わす検知信号９２−３が出力されている。

次に、図１４Ａ乃至図１４Ｃに示したフォトセンサ２２の反応区間Ｘにおいて、マイクロ波センサ２３から出力される検知信号９１−１乃至９１−３，９２−１乃至９２−３をそれぞれ積算し、正規化したものを特徴量として記述する場合の具体例について、図１５乃至図１７を参照して説明する。

図１５は、フォトセンサ２２の反応区間Ｘにおけるマイクロ波センサ２３の特徴量の例を説明する図である。

図１５Ｂは、反応区間Ｘにおける離反反応数の割合（縦軸）と接近反応数の割合（横軸）との関係を示している。ここで、反応区間Ｘとは、図１５Ａに示されるように、フォトセンサ２２が出力する検知信号８１の出力レベルが基準値Ｌから離れている区間を表わす。この例では、図１３に示した人物７１−１乃至７１−３のそれぞれの行動に対応し、反応区間Ｘにおけるマイクロ波センサ２３の特徴量が５回算出され、プロットされている。

図１５Ｂにおいて、プロット群Ｐ１は、図１５Ａの反応区間Ｘにおけるマイクロ波センサ２３の検知信号９１−１（図１４Ａ）に基づいて算出された特徴量の集まりを表わしている。プロット群Ｐ２は、反応区間Ｘにおけるマイクロ波センサ２３の検知信号９１−２，９２−２（図１４Ｂ）に基づいて算出された特徴量の集まりを表わしている。プロット群Ｐ３は、反応区間Ｘにおけるマイクロ波センサ２３の検知信号９１−３，９２−３（図１４Ｃ）に基づいて算出された特徴量の集まりを表わしている。

このように、フォトセンサ２２が出力する検知信号の出力レベルの変化および変化する方向（図１４Ａ乃至図１４Ｃ）には、顕著な違いが現れないが、マイクロ波センサ２３の特徴量（図１５Ｂ）には、明らかに違いがあり、人物７１−１乃至７１−３の行動を区別することが可能となる。

次に、上述した反応区間Ｘを細分類し、分類された所定の区間におけるマイクロ波センサ２３の特徴量の例について説明する。

図１６は、反応区間Ｘのうち、基準値Ｌから離れる区間Ａにおけるマイクロ波センサ２３の特徴量の例を説明する図である。

図１６Ｂは、図１６Ａの反応区間Ｘのうち、基準値Ｌから離れる区間Ａにおける離反反応数の割合（縦軸）と接近反応数の割合（横軸）との関係を示している。ここで、基準値Ｌから離れる区間Ａとは、図１６Ａに示されるように、フォトセンサ２２が出力する検知信号８１の出力レベルが基準値Ｌから離れる方向（図１６Ａの例の場合、負の方向に離れているが、正の方向に離れる場合も含む）に変化する反応区間を表わす。この例では、図１３に示した人物７１−１乃至７１−３のそれぞれの行動に対応し、基準値Ｌから離れる区間Ａにおけるマイクロ波センサ２３の特徴量が５回算出され、プロットされている。

図１６Ｂにおいて、プロット群Ｐ１１は、基準値Ｌから離れる区間Ａにおけるマイクロ波センサ２３の検知信号９１−１（図１４Ａ）に基づいて算出された特徴量の集まりを表わしている。プロット群Ｐ１２は、基準値Ｌから離れる区間Ａにおけるマイクロ波センサ２３の検知信号９１−２（図１４Ｂ）に基づいて算出された特徴量の集まりを表わしている。プロット群Ｐ１３は、基準値Ｌから離れる区間Ａにおけるマイクロ波センサ２３の検知信号９１−３，９２−３（図１４Ｃ）に基づいて算出された特徴量の集まりを表わしている。

図１７は、反応区間Ｘのうち、基準値Ｌに近づく区間Ｃにおけるマイクロ波センサ２３の特徴量の例を説明する図である。

図１７Ｂは、図１７Ａの反応区間Ｘのうち、基準値Ｌに近づく区間Ｃにおける離反反応数の割合（縦軸）と接近反応数の割合（横軸）との関係を示している。ここで、基準値Ｌに近づく区間Ｃとは、図１７Ａに示されるように、フォトセンサ２２が出力する検知信号８１の出力レベルが基準値Ｌに近づく方向（図１７Ａの例の場合、正の方向に近づいているが、負の方向に近づく場合も含む）に変化する反応区間を表わす。この例では、図１３に示した人物７１−１乃至７１−３のそれぞれの行動に対応し、基準値Ｌに近づく区間Ｃにおけるマイクロ波センサ２３の特徴量が５回算出され、プロットされている。

図１７Ｂにおいて、プロット群Ｐ２１は、基準値Ｌに近づく区間Ｃにおけるマイクロ波センサ２３の検知信号９１−１（図１４Ａ）に基づいて算出された特徴量の集まりを表わしている。プロット群Ｐ２２は、基準値Ｌに近づく区間Ｃにおけるマイクロ波センサ２３の検知信号９２−２（図１４Ｂ）に基づいて算出された特徴量の集まりを表わしている。プロット群Ｐ２３は、基準値Ｌに近づく区間Ｃにおけるマイクロ波センサ２３の検知信号９２−３（図１４Ｃ）に基づいて算出された特徴量の集まりを表わしている。

このように、フォトセンサ２２が出力する検知信号８１の出力レベルの変化からは、進入し、退出している行動か、あるいは、接近し、離反している行動かを推定することしかできなかったが、マイクロ波センサ２３が出力する検知信号９１，９２に基づいて算出された特徴量から、人物が、どの方向から進入してきたか、あるいは、どの方向に退出したかなどを区別することができる。

以上においては、反応区間Ｘのうち、フォトセンサ２２の検知信号８１の出力レベルが変化する区間Ａおよび区間Ｃにおけるマイクロ波センサ２３の特徴量から、人物の行動を推定する場合の具体例について説明した。次に、反応区間Ｘのうち、フォトセンサ２２の検知信号８１の出力レベルが変化しない区間Ｂ（図７）におけるマイクロ波センサ２３の特徴量から、人物の行動を推定する場合の具体例について、図１８乃至図２１を参照して説明する。

図１８は、監視領域内で人物７１が完全停止した場合における、フォトセンサ２２およびマイクロ波センサ２３が出力する検知信号の例を説明する図である。

図１８Ａは、フォトセンサ２２の監視領域３１を含むマイクロ波センサ２３の監視領域３２内において、人物７１が、図中矢印で示される方向に平行に横切るように行動し、途中、完全停止した様子を模式的に示している。上述したように、フォトセンサ２２は、常時、監視領域３１内の平均輝度を検知信号として出力しており、またマイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図１８Ａに示されるように人物７１が行動した場合、それに対応して、例えば、図１８Ｂに示されるよう検知信号を出力する。同図において、縦軸はフォトセンサ２２およびマイクロ波センサ２３が出力する検知信号の出力レベルを表わし、横軸は時間を表わしている。ただし、マイクロ波センサ２３が出力する検知信号９１，９２は、いずれも２値出力とされる。

図１８Ｂの例の場合、フォトセンサ２２が出力する検知信号８１は、人物７１が監視領域３１内に侵入していくに従って、その出力レベルが徐々に小さくなり、途中、完全停止している区間Ｂは何も変化せず、退出するに従って、その出力レベルが徐々に大きくなる。ここで、検知信号８１は、人物７１に対する平均輝度の出力レベルが基準値より低い場合の特性を表わしているため、負の方向に変化している（後述する図１９Ｂおよび図２０Ｂの検知信号８１も同様である）。またマイクロ波センサ２３からは、接近の反応を表わす検知信号９１、および離反の反応を表わす検知信号９２が出力されている。

図１９は、監視領域内で人物が軽く足踏みした場合における、フォトセンサ２２およびマイクロ波センサ２３が出力する検知信号の例を説明する図である。

図１９Ａは、フォトセンサ２２の監視領域３１を含むマイクロ波センサ２３の監視領域３２内において、人物７１が、図中矢印で示されるように平行に横切る方向に行動し、途中、軽く足踏みした様子を模式的に示している。上述したように、フォトセンサ２２は、常時、監視領域３１内の平均輝度を検知信号として出力しており、またマイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図１９Ａに示されるように人物７１が行動した場合、それに対応して、例えば、図１９Ｂに示されるような検知信号を出力する。

図１９Ｂの例の場合、フォトセンサ２２が出力する検知信号８１は、人物７１が監視領域３１内に侵入していくに従って、その出力レベルが徐々に小さくなり、途中、その場で軽く足踏みしている区間Ｂは何も変化せず、退出するに従って、その出力レベルが徐々に大きくなる。またマイクロ波センサ２３からは、接近の反応を表わす検知信号９１、および離反の反応を表わす検知信号９２が出力されている。

図２０は、監視領域内で人物が激しく足踏みした場合における、フォトセンサ２２およびマイクロ波センサ２３が出力する検知信号の例を説明する図である。

図２０Ａは、フォトセンサ２２の監視領域３１を含むマイクロ波センサ２３の監視領域３２内において、人物７１が、図中矢印で示されるように平行に横切る方向に行動し、途中、激しく足踏みした様子を模式的に示している。上述したように、フォトセンサ２２は、常時、監視領域３１内の平均輝度を検知信号として出力しており、またマイクロ波センサ２３は、常時、監視領域３２内にマイクロ波を照射しており、図２０Ａに示されるように人物７１が行動した場合、それに対応して、例えば、図２０Ｂに示されるような検知信号を出力する。

図２０Ｂの例の場合、フォトセンサ２２が出力する検知信号８１は、人物７１が監視領域３１内に侵入していくに従って、その出力レベルが徐々に小さくなり、途中、その場で激しく足踏みしている区間Ｂは何も変化せず、退出するに従って、その出力レベルが徐々に大きくなる。またマイクロ波センサ２３からは、接近の反応を表わす検知信号９１、および離反の反応を表わす検知信号９２が出力されている。

次に、図１８Ｂ、図１９Ｂ、および図２０Ｂに示したフォトセンサ２２の反応区間Ｘのうち、何も変化しない区間Ｂにおいて、マイクロ波センサ２３から出力される検知信号９１，９２をそれぞれ積算し、正規化したものを特徴量として記述する場合の例について、図２１を参照して説明する。

図２１の例では、図１８Ａ、図１９Ａ、および図２０Ａにそれぞれ示した人物７１の行動に対応し、何も変化しない区間Ｂにおけるマイクロ波センサ２３の特徴量が１回算出され、プロットされている。同図において、特徴量Ｑ１１は、何も変化しない区間Ｂにおける、図１８Ｂに示したマイクロ波センサ２３の出力（すなわち、出力レベル０）に基づいて算出された特徴量を表わしている。特徴量Ｑ１２は、何も変化しない区間Ｂにおける、図１９Ｂに示したマイクロ波センサ２３の検知信号９１，９２に基づいて算出された特徴量を表わしている。特徴量Ｑ１３は、何も変化しない区間Ｂにおける、図２０Ｂに示したマイクロ波センサ２３の検知信号９１，９２に基づいて算出された特徴量を表わしている。

このように、フォトセンサ２２の反応区間Ｘのうち、何も変化しない区間Ｂ（図１８Ｂ乃至図２０Ｂ）については、反応が似ているため、監視領域３１内の行動を区別することが困難であるが、マイクロ波センサ２３の特徴量（図２１）には、明らかに違いがあり、監視領域３１内での人物７１の行動を区別することが可能となる。

以上のように、フォトセンサ２２の反応、およびマイクロ波センサ２３の特徴量を組み合わせることにより、単独のセンサでは区別することができなかった人物の行動をより高精度に区別することができる。また、この場合、CCDカメラ２１は動作していないので、電力消費を抑えることができる。

図４の説明に戻る。状態記述部４１は、フォトセンサ２２から供給されたフォトセンサデータ、およびマイクロ波センサ２３から供給されたマイクロ波センサデータに基づいて、監視領域内における人物７１の一連の行動（センサ反応）の状態に関するデータ（以下、状態記述データと称する）を記述し、それをイベント通知判定部４２に供給するとともに、スイッチ４３を介して送信部４５に供給する。

ここで、図２２を参照して、状態記述データの例について説明する。

状態記述部４１は、フォトセンサ２２から供給されたフォトセンサデータ（検知信号８１）から、図７を用いて上述したように、検知信号８１の出力レベルが基準値Ｌから離れる方向に変化する区間Ａ、何も変化しない区間Ｂ、および、検知信号８１の出力レベルが基準値Ｌに近づく方向に変化する区間Ｃに分類し、区間Ａ乃至区間Ｃにそれぞれ対応させて、反応記号Ａ乃至Ｃをフォトセンサ２２の状態として記述する。その際、反応区間毎の反応継続時間も記述する。

また状態記述部４１は、マイクロ波センサ２３から供給されたマイクロ波センサデータから、図１２を用いて上述したように、フォトセンサ２２の反応区間Ａ乃至Ｃにおける、接近反応数の割合（０．０乃至１．０）、および離反反応数の割合（０．０乃至１．０）をマイクロ波センサ２３の状態（特徴量）として記述する。

すなわち、状態記述部４１は、フォトセンサ２２に関する状態を表わす反応記号およびその継続時間、並びに、マイクロ波センサ２３に関する状態を表わす接近反応数の割合および離反反応数の割合を１単位とし、それを時間軸方向に連続的に並べたものを状態記述データ１１１−１乃至１１１−ｎ（以下、状態記述データ１１１−１乃至１１１−ｎを個々に区別する必要がない場合、単に状態記述データ１１１と称する）として記述する。

再び、図４の説明に戻る。イベント通知判定部４２は、状態記述部４１から供給された状態記述データ１１１（図２２）と、受信部４６を介して処理ボックス２から受信した通知判定テーブル（後述）を比較し、比較の結果、イベントを通知すると判定した場合、処理ボックス２に通知するイベントを送信部４５に供給するとともに、CCDカメラ２１に電源制御信号を供給してその電源をオンさせ、スイッチ４３に状態記述データ送信制御信号を供給してオンさせ、スイッチ４４に通知画像送信制御信号を供給してオンさせる。これにより、CCDカメラ２１から出力された通知画像データが、スイッチ４４を介して送信部４５に供給され、状態記述部４１から出力された状態記述データ１１１がスイッチ４３を介して送信部４５に供給される。

なお、マルチセンサカメラ１の初期状態においては、処理ボックス２から通知判定テーブルが送信されておらず、イベント通知判定部４２は、この通知判定テーブルを保持していないため、状態記述部４１から状態記述データ９１が供給されると、直ちに通知イベントと判定する。すなわち、初期状態においては、全てのイベントが通知されることになる。これにより、必要なイベントがユーザに通知されないことが防止される。

送信部４５は、処理ボックス２に対し、イベント通知判定部４２から供給された通知イベントを送信するとともに、CCDカメラ２１から供給された通知画像データおよび状態記述部４１から供給された状態記述データ１１１を送信する。

受信部４６は、処理ボックス２から送信されてきた通知判定テーブルを受信し、それをイベント通知判定部４２に供給する。

処理ボックス２の受信部５１は、マルチセンサカメラ１から送信されてきた通知画像データおよび通知イベントを呈示画像構築部５２に供給する。また受信部５１は、マルチセンサカメラ１から送信されてきた状態記述データ１１１を状態記述データ蓄積部５３に供給し、そこに蓄積させる。

呈示画像構築部５２は、受信部５１を介してマルチセンサカメラ１からイベントが通知された場合、一般視聴信号（テレビジョン放送信号）の一部に通知画像データを挿入した通知データを構築（作成）し、それを呈示部３に供給して呈示させる。また、呈示画像構築部５２は、通知画像データにより構成される（一般視聴信号を含まない）リモートコントローラ４用の通知データを構築し、送信部５６に供給する。なお、呈示画像構築部５２は、イベントが通知されていない場合（通常の場合）、一般の視聴信号（放送信号に基づく映像）を呈示部３に供給して呈示させる。

呈示部３用の通知データは、一般の視聴信号の一部に通知画像データを挿入して構成されているため、呈示部３には、ピクチャインピクチャの表示が呈示される。また、リモートコントローラ４用の通知データは、通知画像データから構成されているため、リモートコントローラ４の呈示部６２には、イベントを表わす表示（例えば、監視している場所の画像）のみが呈示される。

通知判定テーブル更新部５４は、受信部５７を介してリモートコントローラ４からユーザフィードバック（FB）に関する信号（以下、適宜、ユーザFB信号と称する）を受信した場合、そのユーザフィードバックを状態記述データ蓄積部５３に供給し、そこに蓄積させる。また通知判定テーブル更新部５４は、状態記述データ蓄積部５３に蓄積されている状態記述データ１１１とそれに対応するユーザフィードバックを読み込み、それらと通知判定テーブルを比較し、比較の結果に基づいてテーブルを更新する。そして、通知判定テーブル更新部５４は、以前にマルチセンサカメラ１に送信した通知判定テーブルと異なる場合、新しい通知判定テーブルを送信部５５に供給する。

ここで、ユーザフィードバックとは、ユーザが、呈示されたイベントに対して、判断を行ない、リモートコントローラ４の入力部６３を用いて入力されたユーザの判断入力を意味する。例えば、ユーザは、イベントを今後も知らせて欲しい場合には、入力部６３のOKボタン（図示せず）を操作し、今後はイベントとして検出しなくてもよい場合には、NGボタン（図示せず）を操作することで、ユーザフィードバックとして入力することができる。あるいは、イベントとして検出しなくてもよい場合だけ、フォードバックさせるようにしてもよい。

状態記述データ蓄積部５３は、受信部５１から状態記述データ１１１が供給されたときに、通知判定テーブル更新部５４からユーザフィードバックが供給された場合、状態記述データ１１１とユーザフィードバックを対応付けて蓄積し、状態記述データ１１１またはユーザフィードバックのいずれか一方のみが供給された場合、新規の状態記述データまたは新規のユーザフィードバックとして蓄積する。

送信部５５は、通知判定テーブル更新部５４から供給された通知判定テーブルをマルチセンサカメラ１に送信する。送信部５６は、呈示画像構築部５２から供給された通知データをリモートコントローラ４に送信する。受信部５７は、リモートコントローラ４から送信されてきたユーザFB信号を受信し、それを通知判定テーブル更新部５４に供給する。

リモートコントローラ４の受信部６１は、処理ボックス２から送信されてきた通知データを受信し、それを呈示部６２に呈示させる。入力部６３は、呈示されたイベントに対するユーザからの判断に基づく入力を受け、その入力（ユーザフィードバック）に関する信号を送信部６４に供給する。送信部６４は、入力部６３から供給されたユーザFB信号を処理ボックス２に送信する。

ここで、ユーザフィードバックとは、上述したように、例えば、「今後も知らせて欲しいイベントである」、あるいは、「今後は知らせなくてよいイベントである」などのユーザによる判断の入力を示す。マルチセンサカメラ１と処理ボックス２は、このユーザフィードバックに基づいて、処理を変化させる。

図２３は、図４のマルチセンサカメラ１のイベント通知判定部４２の詳細な構成例を示すブロック図である。

パターン一致判定部１２１は、状態記述部４１から供給された状態記述データ１１１（図２２）と、通知判定テーブル蓄積部１２２に蓄積されている通知判定テーブルを比較し、一致するパターンがあれば、その全ての状態記述データ１１１および通知判定テーブル中のパターンをマイクロ波センサ状態距離判定部１２３に供給する。ここで、パターンとは、状態記述データ１１１に含まれる反応記号の分類を表わす。

マイクロ波センサ状態距離判定部１２３は、パターン一致判定部１２１から供給された状態記述データ１１１および通知判定テーブル中のパターンに関し、マイクロ波センサ２３の状態の距離判定を行う。マイクロ波センサ状態距離判定部１２３は、距離判定の結果、イベントを通知すると判定した場合、処理ボックス２に通知するイベントを送信部４５に供給し、電源制御信号をCCDカメラ２１に供給し、状態記述データ送信制御信号をスイッチ４３に供給し、通知画像送信制御信号をスイッチ４４に供給する。これにより、CCDカメラ２１の電源がオンされ、スイッチ４３，４４がオンされ、CCDカメラ２１から出力された通知画像データおよび状態記述部４１から出力された状態記述データ１１１が送信部４５を介して処理ボックス２に送信される。

通知判定テーブル蓄積部１２２は、処理ボックス２から送信されてきた通知判定テーブルを蓄積する。なお、通知判定テーブルの詳細は、図２５を参照して、後述する。

図２４は、図４の処理ボックス２の通知判定テーブル更新部５４の詳細な構成例を示すブロック図である。

ユーザフィードバック（FB）判定部１３１は、状態記述データ蓄積部５３に蓄積されている状態記述データ１１１（図２２）とそれに対応するユーザフィードバックを読み込み、ユーザフィードバックが「OK」を示すデータであるか、または「NG」を示すデータであるかを判定し、判定結果を状態記述データ１１１とともに状態記述パターン比較部１３２に供給する。

状態記述パターン比較部１３２は、ユーザフィードバック判定部１３１から「NG（今後はイベントとして検出しなくてもよい）」を示す判定結果が供給された場合、その判定結果とともに供給される状態記述データ１１１と、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブル中のパターンとを比較する。状態記述パターン比較部１３２は、比較の結果、状態記述データ１１１と仮の通知判定テーブル中のパターンが一致するものがあれば、その状態記述データ１１１とそれに一致するパターンを既存パターン更新部１３４に供給し、一致するものがなければ、状態記述データ１１１を新規パターン作成部１３３に供給する。

新規パターン作成部１３３は、状態記述パターン比較部１３２から供給された状態記述データ１１１に含まれる反応記号とそれに対応する継続時間を、新規の通知判定テーブルの継続時間の最小値および最大値として仮通知判定テーブル蓄積部１３５に追加し、そこに蓄積させるとともに、現在の状態記述データ１１１に含まれるマイクロ波センサ２３の接近反応数の割合と離反反応数の割合を、フォトセンサ２２の状態を表わす反応記号毎に追加する。

既存パターン更新部１３４は、状態記述パターン比較部１３２から供給された、現在の状態記述データ１１１に含まれる継続時間と、状態記述データ１１１に一致するパターンに対応する継続時間の最小値および最大値を比較する。既存パターン更新部１３４は、比較の結果、一致するパターンに対応する継続時間の最小値より現在の状態記述データ１１１の継続時間の方が短いと判定した場合、一致するパターンの継続時間の最小値を現在のデータの継続時間に置き換え（更新し）、一致するパターンに対応する継続時間の最大値より現在の状態記述データ１１１の継続時間の方が長いと判定した場合、一致するパターンの継続時間の最大値を現在のデータの継続時間に置き換える（更新する）。そして、既存パターン更新部１３４は、置き換えたデータを、更新通知判定テーブルとして仮通知判定テーブル蓄積部１３５に蓄積させるとともに、現在のデータに含まれるマイクロ波センサ２３の接近反応数の割合と離反反応数の割合を、フォトセンサ２２の状態を表わす反応記号毎に追加する。

仮通知判定テーブル蓄積部１３５は、新規パターン作成部１３３により追加された仮の通知判定テーブルであって、必要に応じて既存パターン更新部１３４により更新された通知判定テーブルを蓄積する。

テーブル比較部１３６は、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルと、過去通知判定テーブル蓄積部１３７に蓄積されている過去の通知判定テーブルを比較し、同じであると判定した場合、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルを過去の通知判定テーブル蓄積部１３７に供給し、更新通知判定テーブルとして蓄積させる。これに対し、仮の通知判定テーブルと過去の通知判定テーブルが同じではないと判定した場合、テーブル比較部１３６は、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルを、送信部５５を介してマルチセンサカメラ１に送信した後、その通知判定テーブルを過去通知判定テーブル蓄積部１３７に供給し、更新通知判定テーブルとして蓄積させる。

過去通知判定テーブル蓄積部１３７は、テーブル比較部１３６により更新された通知判定テーブルを過去の通知判定テーブルとして蓄積する。

図２５は、過去通知判定テーブル蓄積部１３７に蓄積される通知判定テーブルの例を示す図である。

同図に示されるように、フォトセンサ２２に関する状態を表わす反応記号、その反応記号（すなわち反応区間）における継続時間の最小値および最大値、並びに、その反応記号におけるマイクロ波センサ２３に関する状態を表わす、複数の接近反応数の割合および離反反応数が１つの状態記述データに規定される。この状態記述データ１５１−１乃至１５１−ｍからなる人物の行動が１つのパターンに規定される。そして、パターン１４１−１乃至１４１−ｋからなる通知判定テーブルが過去通知判定テーブル蓄積部１３７に蓄積される。

以下、状態記述データ１５１−１乃至１５１−ｍを個々に区別する必要がない場合、単に状態記述データ１５１と称し、パターン１４１−１乃至１４１−ｋを個々に区別する必要がない場合、単にパターン１４１と称する。

次に、図２６のフローチャートを参照して、マルチセンサカメラ１における処理について説明する。なお、この処理は、ユーザにより、監視領域における監視を開始するよう指令されたとき、開始される。

ステップＳ１において、イベント通知判定部４２は、CCDカメラ２１に電源制御信号を供給してその電源をオフさせ、イベント通知フラグをオフし、通知判定テーブル蓄積部１２２に蓄積されている通知判定テーブルをクリアする。

ステップＳ２において、状態記述部４１は、オンされているフォトセンサ２２からフォトセンサデータを取得するとともに、オンされているマイクロ波センサ２３からマイクロ波センサデータを取得する。ステップＳ３において、状態記述部４１は、ステップＳ２の処理で取得したフォトセンサデータとマイクロ波センサデータに基づいて、監視領域内における人物７１の一連の行動に関し、状態データ記述処理を行う。この状態データ記述処理の詳細については、図２７のフローチャートを参照して後述するが、この処理により、状態記述部４１から状態記述データ１１１（図２２）がイベント通知判定部４２に出力される。

ステップＳ４において、イベント通知判定部４２は、イベント通知フラグがオンである（通知イベント発生中である）か否かを判定し、イベント通知フラグがオンではなくオフである（通知イベント発生中ではない）と判定した場合、ステップＳ８に進み、イベント通知判定処理を行う。このイベント通知判定処理の詳細については、図２８のフローチャートを参照して後述するが、この処理により、イベント通知判定部４２から通知イベントが発生されるか、または非通知イベントが発生される（イベントは通知されない）。

ステップＳ９において、イベント通知判定部４２は、ステップＳ８の処理結果に基づいて、通知イベントであるか否かを判定し、通知イベントであると判定した場合、ステップＳ１０に進み、CCDカメラ２１に電源制御信号を供給して電源をオンさせるとともに、イベント通知フラグをオンする。すなわち、通知イベントであると判定された場合にのみCCDカメラ２１の電源がオンされ、通知イベントでない場合には、CCDカメラ２１の電源はオフのままとなっており、これにより、無駄なバッテリ消費を抑えることができる。

ステップＳ１１において、イベント通知判定部４２は、送信部４５を介して処理ボックス２にイベントを通知するとともに、通知画像送信制御信号をスイッチ４４に供給してオンさせる。これにより、CCDカメラ２１から処理ボックス２に対し、通知画像データ（イベント画像）の送信が開始される。処理ボックス２は、この通知画像データを受信し、呈示部３に呈示させる（後述する図２９のステップＳ６３）。

ステップＳ９において、通知イベントではない、すなわち非通知イベントであると判定された場合、ステップＳ１０，Ｓ１１の処理はスキップされ、ステップＳ１２に進む。

ステップＳ４において、イベント通知フラグがオンである（通知イベント発生中である）と判定された場合、ステップＳ５に進み、イベント通知判定部４２は、イベント終了であるか否かを判定し、イベント終了であると判定した場合、ステップＳ６に進み、CCDカメラ２１に電源制御信号を供給してその電源をオフさせるとともに、イベント通知フラグをオフする。

ステップＳ７において、イベント通知判定部４２は、状態記述データ送信制御信号をスイッチ４３に供給してオンさせ、通知画像送信制御信号をスイッチ４４に供給してオフさせる。これにより、ステップＳ３の処理で状態記述部４１から出力された状態記述データ１１１がスイッチ４３および送信部４５を介して処理ボックス２に送信され、CCDカメラ２１からスイッチ４４および送信部４５を介して処理ボックス２に送信されていた通知画像データ（イベント画像）の送信が停止される。処理ボックス２は、この状態記述データ１１１を受信し、通知判定テーブルとして状態記述データ蓄積部５３に蓄積するとともに（後述する図２９のステップＳ６８）、この通知判定テーブルを必要に応じて更新し（後述する図２９のステップＳ７３）、更新した通知判定テーブルを送信してくる（後述する図２９のステップＳ７４）。

ステップＳ５において、イベント終了ではないと判定された場合、ステップＳ６，Ｓ７の処理はスキップされ、ステップＳ１２に進む。

ステップＳ１２において、イベント通知判定部４２は、受信部４６を介して処理ボックス２より通知判定テーブルを受信したか否かを判定し、通知判定テーブルを受信したと判定した場合、ステップＳ１３に進み、通知判定テーブル蓄積部１２２に受信した通知判定テーブルを供給して更新させる。

ステップＳ１２において、処理ボックス２より通知判定テーブルを受信していないと判定された場合、または、ステップＳ１３の処理の後、処理はステップＳ２に戻り、上述した処理が繰り返し実行される。

次に、図２７のフローチャートを参照して、図２６のステップＳ３における状態データ記述処理の詳細について説明する。

状態記述部４１は、ステップＳ２１において、フォトセンサ２２から取得したフォトセンサデータを読み込み、ステップＳ２２において、マイクロ波センサ２３から取得したマイクロ波センサデータを読み込む。

ステップＳ２３において、状態記述部４１は、ステップＳ２１の処理で読み込んだフォトセンサデータから、フォトセンサ２２が反応している区間であるか否か、すなわち、図７に示したように、フォトセンサデータ（検知信号８１）の出力レベルが基準値Ｌから離れている反応区間Ｘであるか否かを判定し、フォトセンサ２２が反応している区間であると判定した場合、ステップＳ２４に進む。

ステップＳ２４において、状態記述部４１は、フォトセンサ２２の反応を、基準値Ｌから離れる区間Ａ、何も変化しない区間Ｂ、または基準値Ｌに近づく区間Ｃに細分類する。ステップＳ２５において、状態記述部４１は、ステップＳ２４の処理で反応区間を分類した結果、フォトセンサ２２が今までの反応と同じであるか否かを判定し、フォトセンサ２２が今までの反応と同じであると判定した場合、ステップＳ２６に進む。

ステップＳ２６において、状態記述部４１は、ステップＳ２２の処理で読み込んだマイクロ波センサデータから、接近反応、離反反応、または無反応の数を積算し、それを蓄積した後、ステップＳ２１に戻り、上述した処理を繰り返し実行する。

ステップＳ２３において、フォトセンサ２２が反応している区間ではないと判定された場合、ステップＳ２７に進み、状態記述部４１は、さらに、フォトセンサ２２が今まで反応していたか否かを判定し、今まで反応していないと判定した場合、ステップＳ２１に戻り、上述した処理を繰り返し実行する。

ステップＳ２７において、フォトセンサ２２が今まで反応していたと判定された場合、または、ステップＳ２５において、フォトセンサ２２が今までの反応と同じではないと判定された場合、ステップＳ２８に進み、状態記述部４１は、ステップＳ２６の処理で蓄積された、接近反応数、離反反応数、および無反応数を全体のデータ数で正規化する。これにより、マイクロ波センサ２３の特徴量が算出される。

ステップＳ２９において、状態記述部４１は、フォトセンサ２２の反応記号（Ａ，ＢまたはＣ）とその継続時間、ステップＳ２８の処理で算出されたマイクロ波センサの特徴量（接近反応数の割合および離反反応数の割合）から、状態記述データ１１１（図２２）を記述し、イベント通知判定部４２に出力するとともに、スイッチ４３に出力する。

以上の処理により、状態記述部４１から出力された状態記述データ１１１は、図２６のステップＳ８において、イベント通知判定処理に用いられ、ステップＳ１１において、処理ボックス２に送信される。

次に、図２８のフローチャートを参照して、図２６のステップＳ８におけるイベント通知判定処理の詳細について説明する。

イベント通知判定部４２のパターン一致判定部１２１は、ステップＳ４１において、状態記述部４１から出力された（図２７のステップＳ２９の処理により出力された）状態記述データ１１１を読み込み、ステップＳ４２において、通知判定テーブル蓄積部１２２から通知判定テーブル（図２５）を読み込む。

ステップＳ４３において、パターン一致判定部１２１は、ステップＳ４１の処理で読み込んだ状態記述データ１１１に含まれるフォトセンサ２２の状態に関する反応記号およびその継続時間と、ステップＳ４２の処理で読み込んだ通知判定テーブル（図２５）のパターン１４１内の状態記述データ１５１に含まれる反応記号、継続時間最小値、および継続時間最大値を比較する。

ステップＳ４４において、パターン一致判定部１２１は、ステップＳ４３の処理による比較の結果、パターンが一致するものがあるか否か、すなわち、反応記号が同じで、かつ、状態記述データ１１１に含まれる継続時間が、継続時間最小値と継続時間最大値の範囲に存在する状態記述データ１５１があるか否かを判定する。

ステップＳ４４において、パターンが一致するものがあると判定された場合、ステップＳ４５に進み、パターン一致判定部１２１は、状態記述データ１１１に一致する全ての通知判定テーブル中の状態記述データ１５１を抽出し、マイクロ波センサ状態距離判定部１２３に出力する。

ステップＳ４６において、マイクロ波センサ状態距離判定部１２３は、ステップＳ４５の処理でパターン一致判定部１２１から出力された状態記述データ１１１および通知判定テーブル中の状態記述データ１５１に基づいて、マイクロ波センサ２３の状態の距離判定を行う。ここでは、通知判定テーブル中の状態記述データ１５１の各反応記号に対応するマイクロ波センサの接近反応数の割合と離反反応数の割合の組のそれぞれと、現在の状態記述データ１１１の反応記号に対応するマイクロ波センサの接近反応数の割合と離反反応数の割合の距離が算出される。

ステップＳ４７において、マイクロ波センサ状態距離判定部１２３は、ステップＳ４６の処理で算出した全ての距離が所定の閾値以上であるか否かを判定し、全ての距離が所定の閾値以上であると判定した場合、ステップＳ４８に進む。また、ステップＳ４４の処理において、パターンが一致するものがないと判定された場合もステップＳ４８に進む。

ステップＳ４８において、マイクロ波センサ状態距離判定部１２３は、処理ボックス２に通知するイベントを発生する。またステップＳ４７において、ステップＳ４６の処理で算出した距離のうち、所定の閾値以上でないものがあると判定された場合、ステップＳ４８の処理はスキップされる。この場合、通知イベントは発生されない（非通知イベントである）。

以上の処理により、イベント通知判定部４２から通知イベントが発生された場合、図２６のステップＳ９において、CCDカメラ２１の電源がオンされ、イベント通知フラグがオンされ、ステップＳ１０において、処理ボックス２に対し、イベントが通知されるとともに通知画像データ（イベント画像）の送信が開始される。

なお、マルチセンサカメラ１の初期状態においては、未だ通知判定テーブルが処理ボックス２から送信されておらず、イベント通知判定部４２が、この通知判定テーブルを保持していないため、状態記述部４１から状態記述データ１１１が供給されると、直ちに通知イベントと発生する。

次に、図２９のフローチャートを参照して、図２６のマルチセンサカメラ１の処理に対応して実行される処理ボックス２における処理について説明する。なお、この処理は、ユーザにより、呈示部３に対して一般視聴信号（放送番組信号）に対応する画像の呈示を行うよう指令されたとき、または監視領域における監視を開始するよう指令されたとき、開始される。

ステップＳ６１において、通知判定テーブル更新部５４は、状態記述データ蓄積部５３に蓄積されている状態記述データ、および仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルをクリアするとともに、ユーザフィードバック受信フラグをオフする。受信部５１は、イベント受信フラグ、および状態記述データ受信フラグをオフする。

ステップＳ６２において、受信部５１は、イベント受信フラグがオンである（通知イベント受信中である）か否かを判定し、イベント受信フラグがオンであると判定した場合、（上述した図２６のステップＳ１１の処理により）マルチセンサカメラ１から送信されてきた通知画像データおよび通知イベントを呈示画像構築部５２に供給し、ステップＳ６３に進む。

ステップＳ６３において、呈示画像構築部５２は、受信部５１から供給された通知画像データを一般視聴信号の一部に通知画像データを挿入した通知データ（ピクチャインピクチャで呈示するための画像データ）を構築し、それを呈示部３に呈示させる。また呈示画像構築部５２は、一般視聴信号を含まないリモートコントローラ４用の通知データ（通知画像データにより構成されるデータ）を構築し、送信部５６を介してリモートコントローラ４に送信する。リモートコントローラ４は、この通知データを受信し、呈示部６２に呈示させる（後述する図３１のステップＳ１１２）。

ステップＳ６２において、イベント受信フラグがオンではなくオフであると判定された場合、ステップＳ６４に進み、受信部５１は、マルチセンサカメラ１から通知イベントを受信したか否かを判定し、通知イベントを受信したと判定した場合、ステップＳ６５に進み、イベント受信フラグをオンする。

ステップＳ６３の処理の後、ステップＳ６５の処理の後、またはステップＳ６４において、通知イベントを受信していないと判定された場合、ステップＳ６６に進み、受信部５１は、マルチセンサカメラ１から状態記述データ１１１を受信したか否かを判定する。

ステップＳ６６において、状態記述データを受信したと判定された場合、ステップＳ６７に進み、受信部５１は、状態記述データ受信フラグをオンし、ステップＳ６８において、（上述した図２６のステップＳ７の処理により）マルチセンサカメラ１から送信されてきた状態記述データ１１１を受信し、状態記述データ蓄積部５３に蓄積させる。ただし、このときに、既にユーザフィードバック受信フラグがオンである場合、そのユーザフィードバックに対応付けて状態記述データ１１１が蓄積される。

ステップＳ６８の処理の後、または、ステップＳ６６において、状態記述データを受信していないと判定された場合、ステップＳ６９に進み、通知判定テーブル更新部５４は、受信部５７を介してリモートコントローラ４から（後述する図３１のステップＳ１１４の処理により）送信されてきたユーザFB信号を受信したか否かを判定し、ユーザFB信号を受信したと判定した場合、ステップＳ７０に進む。

ステップＳ７０において、通知判定テーブル更新部５４は、ユーザフィードバック受信フラグをオンし、受信部５１は、イベント受信フラグをオフする。ステップＳ７１において、通知判定テーブル更新部５４は、このとき、状態記述データ受信フラグがオンであれば、ユーザフィードバック（「OK（今後も通知して欲しい）」または「NG（今後は通知しなくても良い）」）を状態記述データ蓄積部５３に蓄積されている状態記述データ１１１に対応付け、状態記述データ受信フラグがオフであれば新規のユーザフィードバックとして蓄積させる。また、イベント受信フラグがオフであればそのユーザフィードバックは無視する。

すなわち、ユーザフィードバックを状態記述データ１１１に対応付けて通知判定テーブルとして蓄積することにより、ユーザが意図するイベントのみを検知し、通知することが可能になる。

ステップＳ７２において、通知判定テーブル更新部５４は、状態記述データ受信フラグおよびユーザフィードバック受信フラグが共にオンであるか否かを判定し、状態記述データ受信フラグおよびユーザフィードバック受信フラグが共にオンであると判定した場合、ステップＳ７３に進み、通知判定テーブル更新処理を行う。この通知判定テーブル更新処理の詳細については、図３０のフローチャートを参照して後述するが、この処理により、過去通知判定テーブル蓄積部１３７に蓄積される通知判定テーブルが更新される。

ステップＳ７４において、通知判定テーブル更新部５４は、ステップＳ７３の処理により、過去の通知判定テーブルと異なる通知判定テーブルが作成され、過去通知判定テーブル蓄積部１３７に蓄積された場合には、その新しい通知判定テーブルを、送信部５５を介してマルチセンサカメラ１に送信する。マルチセンサカメラ１は、この新しい通知判定テーブルを受信し、通知判定テーブル蓄積部１２２を更新する（上述した図２６のステップＳ１３）。

ステップＳ７５において、通知判定テーブル更新部５４は、状態記述データ受信フラグおよびユーザフィードバック受信フラグをオフする。

ステップＳ７５の処理の後、または、ステップＳ７２において、状態記述データ受信フラグまたはユーザフィードバック受信フラグのうち、少なくともいずれか一方がオンではないと判定された場合、ステップＳ６２に戻り、上述した処理が繰り返し実行される。

次に、図３０のフローチャートを参照して、図２９のステップＳ７３における通知判定テーブル更新処理の詳細について説明する。

ステップＳ９１において、通知判定テーブル更新部５４の状態記述パターン比較部１３２は、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルをクリアする。ステップＳ９２において、ユーザフィードバック判定部１３１は、状態記述データ蓄積部５３に蓄積されている状態記述データ１１１とそれに対応するユーザフィードバックを読み込む。

ステップＳ９３において、ユーザフィードバック判定部１３１は、ステップＳ９２の処理で読み込んだユーザフィードバックが「NG（今後はイベントとして検出しなくてもよい）」を示すデータであるか否かを判定し、ユーザフィードバックが「NG」を示すデータであると判定した場合、その判定結果を状態記述データ１１１（図２２）とともに状態記述パターン比較部１３２に供給し、ステップＳ９４に進む。

ステップＳ９４において、状態記述パターン比較部１３２は、ユーザフィードバック判定部１３１から供給された状態記述データ１１１に含まれるフォトセンサの状態に関する反応記号（Ａ，ＢまたはＣ）と、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブル（図２５）のパターン１４１内の状態記述データ１５１に含まれる反応記号を比較する。

ステップＳ９５において、状態記述パターン比較部１３２は、ステップＳ９４の処理による比較の結果、パターンが一致するものがあるか否か、すなわち、反応記号が同じパターン１４１があるか否かを判定し、パターンが一致するものがあると判定した場合、状態記述データ１１１とそれに一致するパターン１４１を既存パターン更新部１３４に供給し、ステップＳ９６に進む。

ステップＳ９６において、既存パターン更新部１３４は、状態記述パターン比較部１３２から供給された、現在の状態記述データ１１１に含まれる継続時間と、状態記述データ１１１に一致するパターン１４１に対応する継続時間の最小値および最大値を比較する。

そして既存パターン更新部１３４は、比較の結果、一致するパターン１４１に対応する継続時間の最小値より現在の状態記述データ１１１の継続時間の方が短いと判断した場合、一致するパターン１４１の継続時間の最小値を現在の状態記述データ１１１の継続時間に置き換え（更新し）、また、一致するパターン１４１に対応する継続時間の最大値より現在の状態記述データ１１１の継続時間の方が長いと判断した場合、一致するパターン１４１の継続時間の最大値を現在の状態記述データ１１１の継続時間に置き換え（更新し）、仮通知判定テーブル蓄積部１３５に更新通知判定テーブルとして蓄積させる。さらに、既存パターン更新部１３４は、現在の状態記述データ１１１に含まれるマイクロ波センサ２３の状態を表わす接近反応数の割合と離反反応数の割合を、フォトセンサ２２の状態を表わす反応記号毎に追加する。

ステップＳ９５において、ステップＳ９４の処理による比較の結果、パターンが一致するものがないと判定された場合、状態記述データ１１１を新規パターン作成部１３３に供給し、ステップＳ９７に進む。

ステップＳ９７において、新規パターン作成部１３３は、状態記述パターン比較部１３２から供給された状態記述データ１１１に含まれる反応記号とそれに対応する継続時間を、新規の通知判定テーブルの継続時間の最小値および最大値として仮通知判定テーブル蓄積部１３５に追加し、そこに蓄積させる。さらに、新規パターン作成部１３３は、現在の状態記述データ１１１に含まれるマイクロ波センサ２３の状態を表わす接近反応数の割合と離反反応数の割合を、フォトセンサ２２の状態を表わす反応記号毎に追加する。

ステップＳ９６の処理の後、またはステップＳ９７の処理の後、ステップＳ９８において、ユーザフィードバック判定部１３１は、状態記述データ蓄積部５３に蓄積されている全ての状態記述データ１１１とそれに対応するユーザフィードバックを読み込んだか否かを判定し、未だ読み込んでいないデータがあると判定した場合、ステップＳ９２に戻り、上述した処理を繰り返し実行する。

ステップＳ９８において、全ての状態記述データ１１１とそれに対応するユーザフィードバックを読み込んだと判定された場合、ステップＳ９９に進み、テーブル比較部１３６は、過去通知判定テーブル蓄積部１３７に蓄積されている過去の通知判定テーブルと、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルを比較する。

ステップＳ１００において、テーブル比較部１３６は、ステップＳ９９の処理による比較の結果、過去の通知判定テーブルと仮の通知判定テーブルが同じであるか否かを判定し、同じではないと判定した場合、ステップＳ１０１に進み、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルを、送信部５５に送信し、ステップＳ１０２に進む。これにより、図２９のステップＳ７４において、マルチセンサカメラ１に仮の通知判定テーブルが送信される。

ステップＳ１００において、過去の通知判定テーブルと仮の通知判定テーブルが同じであると判定された場合、またはステップＳ１０１の処理の後、ステップＳ１０２において、テーブル比較部１３６は、仮通知判定テーブル蓄積部１３５に蓄積されている仮の通知判定テーブルを過去通知判定テーブル蓄積部１３７に供給し、更新通知判定テーブルとして更新させる。

以上の処理により、図２５に示したようなパターン１４１−１乃至１４１−ｋからなる通知判定テーブルが過去通知判定テーブル蓄積部１３７に蓄積される。いわば、この通知判定テーブルには、イベントとして通知しなくてよい場合のパターンが記憶されることになる。

次に、図３１のフローチャートを参照して、図２９の処理ボックス２の処理に対応して実行されるリモートコントローラ４における処理について説明する。なお、この処理は、処理ボックス２の送信部５６により、図２９のステップＳ６３の処理が実行されたとき、開始される。

ステップＳ１１１において、受信部６１は、処理ボックス２より通知イベントを受信したか否かを判定し、通知イベントを受信するまで待機する。そして、通知イベントを受信したと判定した場合、ステップＳ１１２に進み、受信部６１は、（上述した図２９のステップＳ６３の処理により）処理ボックス２から通知イベントとともに送信されてきた通知データに基づくイベント画像（通知画像データ）を呈示部６２に呈示させる。

ユーザは、呈示部６２に呈示されたイベント画像を見て、入力部６３を操作し、判断（例えば、いま呈示されているイベントは今後も知らせて欲しいイベントであるか、あるいは、今後は知らせなくてよいイベントであるのか）を入力する。

ステップＳ１１３において、入力部６３は、呈示されたイベントに対するユーザからの判断（ユーザフィードバック）が入力されたか否かを判定し、ユーザフィードバックが入力されたと判定した場合、ユーザFB信号を、送信部６４に供給し、ステップＳ１１４に進む。

ステップＳ１１４において、送信部６４は、入力部６３から供給されたユーザFB信号を処理ボックス２に送信する。処理ボックス２は、これを受信し、状態記述データ蓄積部５３に蓄積されている状態記述データ１１１に対応付ける（図２９のステップＳ７１）。

ステップＳ１１４の処理の後、または、ステップＳ１１３において、ユーザフィードバックが入力されていないと判定された場合、処理はステップＳ１１１に戻り、上述した処理が繰り返し実行される。

以上のように、フォトセンサ２２の反応、およびマイクロ波センサ２３の特徴量を組み合わせることにより、単独のセンサでは区別することができなかった人物の行動を、短時間で、かつ、高精度に区別することができる。

またマルチセンサカメラ１の状態記述部４１が、フォトセンサ２２の反応、およびマイクロ波センサ２３の特徴量に基づいて状態記述データ１１１（図２２）を記述し、それを通知イベントに用いるようにしたので、より効果的なイベント通知システムを構築することが可能となる。

さらに、ユーザからのフィードバックに基づいて、イベント通知の判定に用いる通知判定テーブルを変化（更新）させるようにしたので、ユーザが意図するイベントのみを検出することができ、かつ、イベントを通知する場合にのみ、CCDカメラ２１の電源をオンするようにしたので、無駄なバッテリ消費を抑えることができる。

なお、図４に示したマルチセンサカメラ１には、１つのフォトセンサ２２を設けるようにしたが、本発明はこれに限らず、例えば、図３２に示されるように、３つのフォトセンサ２２−１乃至２２−３を設けるようにすることも可能である。

図３２に示す監視システム１０には、３つのフォトセンサ２２−１乃至２２−３が設けられているが、その他の構成は、図４に示した監視システム１０と同様であり、その説明は適宜省略する。

図３３は、図３２に示すフォトセンサ２２−１乃至２２−３の監視領域を示す図である。同図に示されるように、フォトセンサ２２−１乃至２２−３は、空間方向アレイ状に配置されている。フォトセンサ２２−１乃至２２−３は、それぞれ、監視領域３１−１乃至３１−３内の平均輝度を検知信号として出力しており、人物が領域３１−１乃至３１−３内に進入または退出したことに応じて、その出力が変化する。

状態記述部４１は、フォトセンサ２２−１乃至２２−３から供給されたフォトセンサデータ、およびマイクロ波センサ２３から供給されたマイクロ波センサデータに基づいて、監視領域内における人物７１の一連の行動（センサ反応）の状態記述データ１１１（図２２）を記述する。

図３４は、状態記述部４１が記述するフォトセンサ２２−１乃至２２−３の反応記号の例を示す図である。

状態記述部４１は、フォトセンサ２２−１から供給されたフォトセンサデータ（検知信号８１）から、図７を用いて上述したように、検知信号８１の出力レベルが基準値Ｌから離れる方向に変化する区間Ａ、何も変化しない区間Ｂ、および、検知信号８１の出力レベルが基準値Ｌに近づく方向に変化する区間Ｃに分類し、区間Ａ乃至区間Ｃにそれぞれ対応させて、反応記号ＬＡ、ＬＢ、ＬＣをフォトセンサ２２−１の状態として記述する。同様に、状態記述部４１は、フォトセンサ２２−２，２２−３から供給されたフォトセンサデータから、上述したようにして区間Ａ乃至区間Ｃに分類し、区間Ａ乃至区間Ｃにそれぞれ対応させて、反応記号ＣＡ、ＣＢ、ＣＣをフォトセンサ２２−２の状態として記述し、反応記号ＲＡ、ＲＢ、ＲＣをフォトセンサ２２−３の状態として記述する。その際、反応区間毎の反応継続時間も記述する。

また状態記述部４１は、マイクロ波センサ２３から供給されたマイクロ波センサデータ（特徴量）から、図１２を用いて上述したように、フォトセンサ２２−１の反応区間ＬＡ乃至ＬＣ、フォトセンサ２２−２の反応区間ＣＡ乃至ＣＣ、およびフォトセンサ２２−３の反応区間ＲＡ乃至ＲＣにおける、接近反応数の割合（０．０乃至１．０）、および離反反応数の割合（０．０乃至１．０）をマイクロ波センサ２３の状態として記述する。

すなわち、状態記述部４１は、フォトセンサ２２−１乃至２２−３に関する状態を表わす反応記号および継続時間、並びに、マイクロ波センサ２３に関する状態を表わす接近反応数の割合および離反反応数の割合を１単位とし、それを時間軸方向に連続的に並べたものを状態記述データ１１１として記述する。

なお、この場合のマルチセンサカメラ１における処理は、基本的に、図２６のフローチャートを参照して説明した処理と同様であり、処理ボックス２における処理は、基本的に、図２９のフローチャートを参照して説明した処理と同様であり、またリモートコントローラ４における処理は、基本的に、図３１を参照して説明した処理と同様であるため、それらの説明は省略するが、異なる点は、フォトセンサ２２−１乃至２２−３により取得したフォトセンサデータに基づいて処理が行われること、および、処理に用いられる状態記述データ１１１および通知判定テーブルが、反応記号ＬＡ，ＬＢ，ＬＣ，ＣＡ，ＣＢ，ＣＣ，ＲＡ，ＲＢまたはＲＣを含んでいることである。

以上のように、フォトセンサ２２−１乃至２２−３の反応、およびマイクロ波センサ２３の特徴量を組み合わせることにより、１つのフォトセンサ２２では区別することができなかった人物の行動をより詳細に区別することが可能となる。

以上においては、フォトセンサ２２およびマイクロ波センサ２３を統合利用する場合の例について説明したが、これに限らず、例えば、マイクロホン、赤外線センサ、あるいは、他のセンサを搭載し、統合利用することも勿論可能である。

また、マルチセンサカメラ１や呈示部３は、１台ではなく、複数台設けるようにしたり、処理ボックス２は、呈示部３と別の筐体とせず、一体型とするようにしたり、リモートコントローラ４に呈示部６２を設けずに、呈示部３のみの呈示とするようにしたり、あるいは、処理ボックス２にユーザフィードバックを入力するための入力部を設けるようにすることができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

図３５は、汎用のパーソナルコンピュータ２００の内部の構成例を示す図である。CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記憶されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インターフェース２０５も接続されている。

入出力インターフェース２０５には、ボタン、スイッチ、キーボードあるいはマウスなどで構成される入力部２０６、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などのディスプレイ、並びにスピーカなどで構成される出力部２０７、ハードディスクなどで構成される記憶部２０８、およびモデムやターミナルアダプタなどで構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して通信処理を行う。

入出力インターフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、そこから読み出されたコンピュータプログラムが、記憶部２０８にインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図３５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０３または記憶部２０８に含まれるハードディスクなどで構成される。

なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。

本発明を適用した監視システムの構成例を示す図である。 マルチセンサカメラの外観の構成例を示す図である。 フォトセンサとマイクロ波センサの監視領域を示す図である。 図１の監視システムの機能的構成例を示すブロック図である。 フォトセンサが出力する検知信号の例を説明する図である。 フォトセンサが出力する検知信号の他の例を説明する図である。 フォトセンサが出力する検知信号の出力レベルの変化と人物の行動との関係を示す図である。 マイクロ波センサが出力する検知信号の例を説明する図である。 マイクロ波センサが出力する検知信号の例を説明する図８に続く図である。 マイクロ波センサが出力する検知信号の他の例を説明する図である。 マイクロ波センサが出力する検知信号の他の例を説明する図である。 マイクロ波センサが出力する検知信号の離反反応数の割合と接近反応数の割合との関係を示している。 フォトセンサおよびマイクロ波センサが出力する検知信号の例を説明する図である。 フォトセンサおよびマイクロ波センサが出力する検知信号の例を説明する図１３に続く図である。 フォトセンサの反応区間におけるマイクロ波センサの特徴量の例を説明する図である。 反応区間のうち、基準値から離れる区間におけるマイクロ波センサの特徴量の例を説明する図である。 反応区間のうち、基準値に近づく区間におけるマイクロ波センサの特徴量の例を説明する図である。 監視領域内で人物が完全停止した場合における、フォトセンサおよびマイクロ波センサが出力する検知信号の例を説明する図である。 監視領域内で人物が軽く足踏みした場合における、フォトセンサおよびマイクロ波センサが出力する検知信号の例を説明する図である。 監視領域内で人物が激しく足踏みした場合における、フォトセンサおよびマイクロ波センサが出力する検知信号の例を説明する図である。 反応区間のうち、何も変化しない区間におけるマイクロ波センサの特徴量の例を説明する図である。 状態記述データの例を示す図である。 図４のイベント通知判定部の詳細な構成例を示すブロック図である。 図４の通知判定テーブル更新部の詳細な構成例を示すブロック図である。 通知判定テーブルの例を示す図である。 マルチセンサカメラにおける処理を説明するフローチャートである。 図２６のステップＳ３における状態記述データ記述処理の詳細を説明するフローチャートである。 図２６のステップＳ８におけるイベント通知判定処理の詳細を説明するフローチャートである。 処理ボックスにおける処理を説明するフローチャートである。 図２９のステップＳ７３における通知判定テーブル更新処理の詳細を説明するフローチャートである。 リモートコントローラにおける処理を説明するフローチャートである。 本発明を適用した監視システムの他の構成例を示す図である。 図３２のフォトセンサの監視領域を示す図である。 図３２の状態記述部が記述するフォトセンサの反応記号の例を示す図である。 汎用のパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ マルチセンサカメラ， ２ 処理ボックス， ３ 呈示部， ４ リモートコントローラ， １０ 監視システム， ２２ フォトセンサ， ２３ マイクロ波センサ， ４１ 状態記述部， ４２ イベント通知判定部， ５２ 呈示画像構築部， ５３ 状態記述データ蓄積部， ５４ 通知判定テーブル更新部， ６２ 呈示部， ６３ 入力部， １２１ パターン一致判定部， １２２ 通知判定テーブル蓄積部， １２３ マイクロ波センサ状態距離判定部， １３１ ユーザフィードバック判定部， １３２ 状態記述パターン比較部， １３３ 新規パターン作成部， １３４ 既存パターン更新部， １３５ 仮通知判定テーブル蓄積部， １３６ テーブル比較部， １３７ 過去通知判定テーブル蓄積部

Claims (25)

1. 物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、前記物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得手段と、
   前記取得手段により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述手段と、
   前記状態データ記述手段により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定手段と、
   前記判定手段において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを含む呈示データを構築する構築手段と、
   前記構築手段により構築された前記呈示データに基づく呈示を行う呈示手段と
   を備えることを特徴とする監視システム。
2. 前記第１のセンサは、フォトセンサであり、
   前記第２のセンサは、マイクロ波センサである
   ことを特徴とする請求項１に記載の監視システム。
3. 前記状態データは、前記第１のセンサの反応状態に応じて分類される反応記号および前記反応状態の継続時間、並びに、前記反応状態における前記第２のセンサの反応状態に関する特徴量を含む
   ことを特徴とする請求項１に記載の監視システム。
4. 前記構築手段は、テレビジョン放送に基づく信号に前記イベントデータを挿入して前記呈示データを構築する
   ことを特徴とする請求項１に記載の監視システム。
5. 前記構築手段は、前記判定手段において、前記第１の条件を満たし、前記第２の条件は満たさないと判定された場合、予め定められた信号に基づくデータを呈示データとする
   ことを特徴とする請求項１に記載の監視システム。
6. 物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、前記物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、
   前記取得ステップの処理により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
   前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、
   前記判定ステップの処理において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップと、
   前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと
   を含むことを特徴とする監視方法。
7. 物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、前記物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、
   前記取得ステップの処理により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
   前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、
   前記判定ステップの処理において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップと、
   前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
8. 物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、前記物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、
   前記取得ステップの処理により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
   前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、
   前記判定ステップの処理において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを含む呈示データを構築する構築ステップと、
   前記構築ステップの処理により構築された前記呈示データに基づく呈示を行う呈示ステップと
   をコンピュータに実行させることを特徴とするプログラム。
9. 物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、前記物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得手段と、
   前記取得手段により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述手段と、
   前記状態データ記述手段により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定手段と、
   前記判定手段において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを他の装置に送信する送信手段と
   を備えることを特徴とする情報処理装置。
10. 前記他の装置から供給された前記判定テーブルを取得し、蓄積する判定テーブル蓄積手段をさらに備える
    ことを特徴とする請求項９に記載の情報処理装置。
11. 前記イベントの通知が終了された場合、前記送信手段は、前記イベントデータの送信を停止し、前記状態データ記述手段により記述された前記状態データを前記他の装置に送信する
    ことを特徴とする請求項９に記載の情報処理装置。
12. 前記第１のセンサは、フォトセンサであり、
    前記第２のセンサは、マイクロ波センサである
    ことを特徴とする請求項９に記載の情報処理装置。
13. 前記状態データは、前記第１のセンサの反応状態に応じて分類される反応記号および前記反応状態の継続時間、並びに、前記反応状態における前記第２のセンサの反応状態に関する特徴量を含む
    ことを特徴とする請求項９に記載の情報処理装置。
14. 物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、前記物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、
    前記取得ステップの処理により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
    前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、
    前記判定ステップの処理において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを他の装置に送信する送信ステップと
    を含むことを特徴とする情報処理方法。
15. 物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、前記物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、
    前記取得ステップの処理により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
    前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、
    前記判定ステップの処理において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを他の装置に送信する送信ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
16. 物体の存在を検出する第１のセンサから第１のセンサデータを取得するとともに、前記物体が接近しているのかまたは離反しているのかを検出する第２のセンサから第２のセンサデータを取得する取得ステップと、
    前記取得ステップの処理により取得された前記第１および第２のセンサデータに基づいて、前記第１および第２のセンサの反応状態に関する状態データを記述する状態データ記述ステップと、
    前記状態データ記述ステップの処理により記述された状態データと判定テーブルを比較し、前記状態データのうち前記第１のセンサの反応状態に基づく第１の判定データが前記判定テーブルに保持されるデータに基づく第１の条件を満たすか否かを判定し、前記第１の判定データが前記第１の条件を満たす場合には、さらに、前記状態データのうち前記第２のセンサの反応状態に基づく第２の判定データが前記判定テーブルに保持されるデータに基づく第２の条件を満たすか否かを判定することによって、イベントを通知するか否かを判定する判定ステップと、
    前記判定ステップの処理において、前記第１の条件を満たしていないと判定されるか、または、前記第１の条件を満たし、さらに前記第２の条件も満たすと判定された場合、前記イベントに関するデータであるイベントデータを他の装置に送信する送信ステップと
    をコンピュータに実行させることを特徴とするプログラム。
17. 物体の存在を検出する第１のセンサおよび前記物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、前記イベントに関するデータであるイベントデータ、前記状態データ、及び前記イベントの通知を受信する受信手段と、
    前記状態データを蓄積するかどうかを表す外部からのデータに基づいて、前記受信手段により受信された前記状態データを判定テーブルとして蓄積する蓄積手段と、
    前記受信手段において前記イベントの通知を受信した場合、前記イベントの通知とともに受信された前記イベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築手段と、
    前記蓄積手段に蓄積されている前記判定テーブルを前記他の装置に送信する送信手段と
    を備えることを特徴とする情報処理装置。
18. 前記構築手段により構築された前記呈示データに基づく呈示を行う呈示手段をさらに備える
    ことを特徴とする請求項１７に記載の情報処理装置。
19. 前記呈示手段による呈示に基づいて、ユーザからの判断の入力を取得する取得手段をさらに備え、
    前記蓄積手段は、前記取得手段により取得された前記ユーザからの判断の入力を前記状態データに対応付ける
    ことを特徴とする請求項１８に記載の情報処理装置。
20. 前記受信手段において前記イベントの通知を受信していない場合、前記構築手段は、前記予め定められた信号に基づくデータを呈示データとする
    ことを特徴とする請求項１７に記載の情報処理装置。
21. 前記第１のセンサは、フォトセンサであり、
    前記第２のセンサは、マイクロ波センサである
    ことを特徴とする請求項１７に記載の情報処理装置。
22. 前記状態データは、前記第１のセンサの反応状態に応じて分類される反応記号および前記反応状態の継続時間、並びに、前記反応状態における前記第２のセンサの反応状態に関する特徴量を含む
    ことを特徴とする請求項１７に記載の情報処理装置。
23. 物体の存在を検出する第１のセンサおよび前記物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、前記イベントに関するデータであるイベントデータ、前記状態データ、及び前記イベントの通知を受信する受信ステップと、
    前記状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された前記状態データを判定テーブルとして蓄積する蓄積ステップと、
    前記受信ステップの処理において前記イベントの通知を受信した場合、前記イベントの通知とともに受信された前記イベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、
    蓄積されている前記判定テーブルを前記他の装置に送信する送信ステップと
    を含むことを特徴とする情報処理方法。
24. 物体の存在を検出する第１のセンサおよび前記物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、前記イベントに関するデータであるイベントデータ、前記状態データ、及び前記イベントの通知を受信する受信ステップと、
    前記状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された前記状態データを判定テーブルとして蓄積する蓄積ステップと、
    前記受信ステップの処理において前記イベントの通知を受信した場合、前記イベントの通知とともに受信された前記イベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、
    蓄積されている前記判定テーブルを前記他の装置に送信する送信ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
25. 物体の存在を検出する第１のセンサおよび前記物体が接近しているのかまたは離反しているのかを検出する第２のセンサの反応状態に関する状態データと判定テーブルとに基づいてイベントを通知する他の装置から送信されてくる、前記イベントに関するデータであるイベントデータ、前記状態データ、及び前記イベントの通知を受信する受信ステップと、
    前記状態データを蓄積するかどうかを表す外部からのデータに基づいて、受信された前記状態データを判定テーブルとして蓄積する蓄積ステップと、
    前記受信ステップの処理において前記イベントの通知を受信した場合、前記イベントの通知とともに受信された前記イベントデータを、予め定められた信号に基づくデータに挿入して呈示データを構築する構築ステップと、
    蓄積されている前記判定テーブルを前記他の装置に送信する送信ステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images