JP7623308B2 - 監視システム及び監視方法 - Google Patents

Description

本発明は、監視システム及び監視方法に関し、特に、監視情報を伝送する構成を含む監視システム及び監視方法に関する。

監視システムでは映像以外に、センサや映像解析によって取得した監視情報を伝送している。従来技術で監視情報を伝送するには、映像とは別の通信を確立するか、映像上に検知情報を視覚的に重畳する手法が用いられてきた。検知情報を視覚的に重畳する手法としては、例えば、検知した人物を四角で囲む等である。

一方、特許文献１には、顔照合システムにおける個人情報の流出を防止するために、登録済みの人物の顔画像の特徴を表す特徴量であって顔画像の復元が不可能な不可逆特徴量を記憶する不可逆特徴量データベースを有し、照合装置が撮像装置による撮像映像に含まれる人物の顔画像に基づいて不可逆特徴量を算出不可逆特徴量データベースに登録されている不可逆特徴量と比較することで、撮像映像に含まれる人物がデータベースに登録済みか否かの判定を行うことが開示されている。

国際公開第２０２０／００３４００号

しかしながら、監視情報をネットワークカメラ側で映像上に視覚的に重畳して伝送する場合、受信側で取得可能なのは重畳後の映像のみである。この監視情報を重畳した映像は、保存した映像を１コマずつ確認する場合等において、重畳した情報が邪魔な場合が多い。それにも関わらず、重畳した情報を後から消去することは不可能であった。また、第三者に映像が流出した場合に、どのようなものを監視対象としているかが容易に判別できてしまし、セキュリティ性が低いことも課題となる。

一方、監視情報を映像とは別の通信で伝送する場合、映像と検知情報を正確に同期させることが必要となる。特に録画を含むシステムでは、映像と監視情報を別のファイルとして管理する必要があり、データ管理が煩雑になるという課題が生じる。また、監視情報と合わせて映像を再生する場合は、そのためのシステムや処理能力が求められる。

また、特許文献１では、照合処理された顔照合の結果は、表示装置に出力する構成であるが、上記の課題は同様に存在する。

本発明は、上記課題に鑑みて、秘匿性及び有用性を高めて監視情報を伝送可能な監視システム及び監視方法を提供することを目的とする。

上記目的を達成するため、代表的な本発明の監視システムの一つは、映像から監視対象を検知する検知部と、前記検知した対象に関する情報を取得しコード化するコード化部と、前記コード化した情報を映像上に不可視のパターンとして重畳する重畳部と、前記重畳部で重畳した映像を送信する送信部と、を備えることを特徴とする。

さらに本発明の監視方法の一つは、映像から監視対象を検知する検知ステップと、前記検知した対象に関する情報を取得しコード化するコード化ステップと、前記コード化した情報を映像上に不可視のパターンとして重畳する重畳ステップと、前記重畳ステップで重畳した映像を送信する送信ステップと、を有することを特徴とする。

本発明によれば、監視システム及び監視方法において、秘匿性及び有用性を高めて監視情報を伝送できる。
上記以外の課題、構成及び効果は、以下の実施形態により明らかにされる。

図１は、本開示の実施形態による態様を実施するためのコンピュータシステムのブロック図である。 図２は、本発明の監視システムの一実施形態を示すブロック図である。 図３は、本発明の監視システムの送信側の処理の一例を示すフローチャートである。 図４は、本発明の監視システムの受信側の処理の一例を示すフローチャートである。 図５は、本発明の監視システムの送信側の処理の具体例を説明する図である。 図６は、本発明の監視システムの受信側の処理の具体例を説明する図である。

本発明を実施するための形態を説明する。

＜実施形態による態様を実施するためのコンピュータシステム＞
図１は、本開示の実施形態による態様を実施するためのコンピュータシステム３００のブロック図である。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインターフェース３１４、Ｉ／Ｏ（入出力）デバイスインターフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。

コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の処理装置３０２Ａ及び３０２Ｂを含んでもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。ある実施形態では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム３００は単一の処理装置によるシステムであってもよい。処理装置としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を適用できる。

ある実施形態では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。ある実施形態では、メモリ３０４は、コンピュータシステム３００の仮想メモリ全体を表しており、ネットワークを介してコンピュータシステム３００に接続された他のコンピュータシステムの仮想メモリを含んでもよい。メモリ３０４は、概念的には単一のものとみなされてもよいが、他の実施形態では、このメモリ３０４は、キャッシュおよび他のメモリデバイスの階層など、より複雑な構成となる場合がある。例えば、メモリは複数のレベルのキャッシュとして存在し、これらのキャッシュは機能毎に分割されてもよい。その結果、１つのキャッシュは命令を保持し、他のキャッシュはプロセッサによって使用される非命令データを保持する構成であってもよい。メモリは、いわゆるＮＵＭＡ（Ｎｏｎ－Ｕｎｉｆｏｒｍ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コンピュータアーキテクチャのように、分散され、種々の異なる処理装置に関連付けられてもよい。

メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、潜在因子特定アプリケーション３５０を格納していてもよい。ある実施形態では、潜在因子特定アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよく、あるいは別の命令又は記述によって解釈される命令又は記述を含んでもよい。ある実施形態では、潜在因子特定アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および／または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、潜在因子特定アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。このような構成では、プロセッサ３０２がメモリ３０４及び潜在因子識別アプリケーションにアクセスする必要性が低減する可能性がある。

コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインターフェースユニット３１２、３１４、３１６、及び３１８と通信してもよい。表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された１つまたは複数のセンサ等のデバイスを含んでもよい。例えば、コンピュータシステム３００は、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示メモリは、ビデオデータをバッファするための専用メモリであってもよい。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。ある実施形態では、表示装置３２６は、オーディオをレンダリングするためスピーカを含んでもよい。あるいは、オーディオをレンダリングするためのスピーカは、Ｉ／Ｏインターフェースユニットと接続されてもよい。他の実施形態では、表示システム３２４が提供する機能は、プロセッサ３０２を含む集積回路によって実現されてもよい。同様に、バスインターフェースユニット３０９が提供する機能は、プロセッサ３０２を含む集積回路によって実現されてもよい。

Ｉ／Ｏインターフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インターフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。

ストレージインターフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。

図１に示されるコンピュータシステム３００は、プロセッサ３０２、メモリ３０４、バスインタフェース３０９、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０の間の直接通信経路を提供するバス構造を備えているが、他の実施形態では、コンピュータシステム３００は、階層構成、スター構成、又はウェブ構成のポイントツーポイントリンク、複数の階層バス、平行又は冗長の通信経路を含んでもよい。さらに、Ｉ／Ｏバスインターフェースユニット３１０及びＩ／Ｏバス３０８が単一のユニットとして示されているが、実際には、コンピュータシステム３００は複数のＩ／Ｏバスインターフェースユニット３１０又は複数のＩ／Ｏバス３０８を備えてもよい。また、Ｉ／Ｏバス３０８を様々なＩ／Ｏデバイスに繋がる各種通信経路から分離するための複数のＩ／Ｏインターフェースユニットが示されているが、他の実施形態では、Ｉ／Ｏデバイスの一部または全部が、１つのシステムＩ／Ｏバスに直接接続されてもよい。

ある実施形態では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

＜ブロック図＞
図２は、本発明の監視システムの一実施形態を示すブロック図である。図２で示す監視システムは、撮像装置１０、送信側処理装置２０、記憶装置３０、受信側処理装置４０、記憶装置５０、表示装置６０、警報装置７０を備えている。また、送信側処理装置２０と受信側処理装置４０はネットワーク８０を介して情報の伝送が可能となっている。

撮像装置１０と送信側処理装置２０と記憶装置３０は、送信側として情報のやりとりができるようにして別体に構成してもよいし、一体の装置として構成してもよい。受信側処理装置４０、記憶装置５０、表示装置６０、警報装置７０は、受信側として情報のやりとりができるようにして別体に構成してもよいし、一体の装置として構成してもよい。これらは、図１で示したコンピュータシステム３００の構成を用いることができる。この場合、送信側と受信側でそれぞれコンピュータシステム３００を適用できる。送信側と受信側は複数設けてもよい。

撮像装置１０は、カメラの構成を備えており、様々な場所に配置可能である。例えば、監視カメラとして監視箇所に配置する等である。撮像装置１０は、レンズや絞りを介して撮像素子に入射光を結像して情報を得るカメラの構成を適用できる。ここでの撮像素子の例としては、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等があげられる。撮像装置１０は、映像として、例えば、１秒間に３フレーム（３ｆｐｓ）以上等で撮影して、その情報は、送信側処理装置２０へ送られる。撮像装置１０は、状況に応じて複数設置可能である。

送信側処理装置２０は、撮像装置１０から映像を入力して処理を行う。送信側処理装置２０は、例えば、ＣＰＵ、ＦＰＧＡ、ＧＰＵ、ＤＳＰ等、必要に応じて適した方式の処理装置を用いることができる。送信側処理装置２０は、物体検知部２１、コード化部２２、重畳部２３、送信部２４の各機能を備えている。なお、物体は検知対象であることを示し、人も含む概念である。

物体検知部２１は、撮像装置１０からの映像に基づき特定の物体を検知する。検知は監視対象を検知するためにあらかじめ用意された学習モデルを用いることができる。映像を画像解析することにより、検知対象の有無及び検知対象の座標を取得する。物体検知部２１の処理は後述する図３のＳ１０２で具体例を示す。

コード化部２２は、検知物体に関する情報を取得し、バーコードやＱＲコード等の特定の二次元のパターン（模様）としてコード化する。ここで、検知物体に関する情報は、名称、重要度、表示方法等であり、記憶装置３０のテーブル３１から取得する。コード化部２２の処理は後述する図３のＳ１０５で具体例を示す。

重畳部２３は、コード化部２２でコード化がされたパターンの情報を撮像装置１０からの映像の画像に重畳する。このパターンは電子透かしのように、撮像装置１０からの映像の画像に重畳される。重畳の際は、コード化されたパターンを不可視の状態で映像上に重畳する。これは、例えば、人の目に見えない程の画素値の違いにして画像上に重畳する。重畳部２３の処理は後述する図３のＳ１０６で具体例を示す。

送信部２４は、重畳部２３でコードが重畳された映像を、ネットワーク８０を介して受信側処理装置４０へ送信する。ここでの処理は後述する図３のＳ１０７が対応する。

記憶装置３０は、送信側処理装置２０の処理で必要な情報を記録する装置である。ここでは、テーブル３１の情報が格納されている。また、撮像装置１０で撮影した映像を記録してもよい。記憶装置３０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＤＤＳ（Ｄｉｇｉｔａｌ Ｄａｔａ Ｓｔｏｒａｇｅ）等、必要に応じて適した方式を適用できる。テーブル３１は、あらかじめ監視対象を検知する学習モデル及び、監視対象の名称、重要度、表示方法等を列記したテーブルである。

受信側処理装置４０は、送信側処理装置２０から送られた情報に対しての処理を行う。受信側処理装置４０は、例えば、ＣＰＵ、ＦＰＧＡ、ＧＰＵ、ＤＳＰ等、必要に応じて適した方式の処理装置を用いることができる。受信側処理装置４０は、受信部４１、コード取得部４２、情報取得部４３、可視化部４４、発報部４５の各機能を備えている。

受信部４１は、送信側処理装置２０の送信部２４から送信された映像を受信する。ここでの処理は後述する図４のＳ１５１が対応する。

コード取得部４２は、受信部４１で受信したコードが重畳された映像から、コードを取得する。コード取得部４２の処理は後述する図４のＳ１５２で具体例を示す。

情報取得部４３は、取得したコードからの検知物体に関する情報を取得する。必要に応じて暗号化された情報の復号処理を行ってもよい。情報取得部４３の処理は後述する図４のＳ１５３で具体例を示す。

可視化部４４は、監視対象の情報が取得された場合、検知された物体を特定しやすいように、枠等の追加情報を生成して映像に重畳する。このとき、設定情報５１の設定内容に基づき、追加情報を重畳するか否かを選択できる。追加情報は、図や文字などを適用でき、例えば、検知物体を囲う四角枠等により映像上で視覚化する。また、設定情報５１に基づき映像に追加情報を重畳するか否かを判定する。可視化部４４の処理は後述する図４のＳ１５５～Ｓ１５７で具体例を示す。

発報部４５は、警報装置７０での発報を行うための信号を送信する。信号の送信は情報取得部４３で取得した検知物体に関する情報に基づいて行うことができる。

記憶装置５０は、受信側処理装置４０の処理で必要な情報を記録する装置である。ここでは、設定情報５１の情報が格納されている。また、受信側処理装置４０で出力した情報を記録してもよい。記憶装置５０は、例えば、ＨＤＤ、ＳＳＤ、ＤＤＳ等、必要に応じて適した方式を適用できる。設定情報５１は、可視化部４４において、枠等の追加情報を映像に重畳するか否かの情報が格納されている。この設定情報５１は、ユーザ等の操作によりあらかじめ設定しておくことができる。

表示装置６０は、受信側処理装置４０で出力した映像等の内容を表示できる装置である。例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬ（ＯＥＬ）ディスプレイ、タッチパネル等の構成により表示させる。また、表示装置６０は、操作ボタンを付属していてもよく、受信側処理装置４０や設定情報５１の設定を入力できるようにしてもよい。

警報装置７０は、受信側処理装置４０の処理の結果に基づき表示装置６０とは別に映像以外の情報を発報する装置である。警報装置７０は、ブザー、スピーカ等の音による発報装置やＬＥＤ等の発光による発報装置等を適用できる。これらは、重要度に応じて発報方法を変更してもよい。例えば、重要度が高くなると、音を大きくしていく、警告音の種類を変える、光の強さを強くしていく、光を点滅させる、光を点滅の度合いを短くしていく、発光色を変える等である。ここで重要度は監視対象の危険度を含む概念とすることができる。

ネットワーク８０は、各装置を結ぶデータ通信可能な回線である。専用線、イントラネット、インターネット等のＩＰネットワーク等、回線の種類は問わず適用可能である。

＜フローチャート＞
図３は、本発明の監視システムの送信側の処理の一例を示すフローチャートである。
ここでは、図３のフローチャートを参照して、送信側処理装置２０での処理について説明する。

まずＳ１０１では、撮像装置１０であるカメラにおいて、電源ＯＮなどの開始操作を行って被写体を撮像する。撮像された映像は、撮像装置１０から送信側処理装置２０へ送られ送信側処理装置２０が取得する。

次にＳ１０２では、画像処理による物体検知の処理が行われる。ここで物体検知とは、撮像された映像における画像中に何かしらの物や人などを検知することを示している。物体検知の際に検知された物体に関する座標も取得する。

物体検知は、予め登録されている対象を特定すればよい。例えば、人であることを特定して、その人の特徴を特定する。また、その人の行動や、特定の物（例えばナイフ等）を所持している人を特定してもよい。また、物であれば、物の特徴を特定することも可能である。また１つのフレームだけでなく、複数のフレームを参照して物体検知を行ってもよい。

物体検知方法としては、各種方法を適用できる。例えばＡＩ（人工知能）を用いて物体検知を特定してもよい。ＡＩの場合の一例をあげれば、例えば、ニューラルネットワークやディープラーニング等を用いて特徴量を抽出する処理等である。学習済みモデルを用いることで、人や物を特定できる。また、あらかじめ定めたパターンに沿って検知する等、ＡＩを用いない方法でも適用できる。

次にＳ１０３では、物体検知の処理により、物体が検知されたか否かが判定される。ここで、物体が検知された場合（Ｙｅｓの場合）は、Ｓ１０４へ進む。一方、物体が検知されない場合（Ｎｏの場合）は、Ｓ１０７へ進み、特に情報を重畳することなく映像が送信される。

Ｓ１０４では、検知された物体が定義されているか否かが判定される。ここでは、予め登録されている特定の物や人等の監視対象であるか否かを判定する。これにより検知された物体が監視対象であるか否かを判定できる。検知された物体が定義されている場合（Ｙｅｓの場合）はＳ１０５へ進む。検知された物体が定義されていない場合（Ｎｏの場合）はＳ１０７に進み、特に情報を重畳することなくそのまま映像が配信される。

検知された物体が定義されているか否かは、検知対象の重要度等を定義するテーブル１１０を用いる。ここでのテーブル１１０は、図２のテーブル３１が対応している。テーブル１１０では、検知対象の特徴の情報が記録されており、Ｓ１０２で検知された物体の特徴と一致するか否かを特定することができる。例えば、一致度が所定以上なら、検知された物体が定義されていると判定できる。さらに、テーブル１１０には、その物体に対する、名称、重要度、表示方法等の情報も格納されている。これにより、検知された物体が定義されていることが判明した場合は、その物体の名称や重要度、表示方法が同時に情報として取得できる。

Ｓ１０５では、検知された物体に関する情報を二次元上にコード化する。二次元上のコード化とは、特定の規則に従って二次元上に表すことができるパターンに変換することを意味する。ここでは、例えば、バーコード（一次元コードまたは二次元コード）やＱＲコード（二次元コード）等のコードを用いることができる。これらのコードは、検知された物体に関する情報を数値化するなどして、コード内の情報として格納可能である。コード化されたパターンは、例えば、白や黒の２種類の情報の組み合わせの模様として適用することができる。

検知された物体に関する情報は、その物体の名称、重要度、表示方法等である。この情報は、上述したテーブル１１０に格納されている。名称は、物体が人であれば、その人の属性や名前、行動の状態、物体が物であれば、その物の種類や名称等である。重要度は、その物体の重要度であり、数段階（例えば２段階以上、３段階以上、４段階以上等）に分けて重要度を定義してもよい。表示方法は、その物体に対して受信側処理装置４０で表示処理を行う場合の表示方法である。例えば、特定された物体に対して、四角で表示する場合は、物体近傍の４点の座標による四角の枠で覆うことの情報等である。この場合の座標は、Ｓ１０２で取得する。また、表示方法は、重要度に応じて、枠の太さを変更する、枠の色を変更する、枠の点滅の有無や点滅の間隔を変更する等してもよい。

また、検知された物体に関する情報を二次元上にコード化する際に、暗号化を行って、秘匿性を高めてもよい。この場合、コード化する前の情報（数値情報等）に対して暗号化を行う。例えば、送信側処理装置２０と受信側処理装置４０で同じ鍵を持っておき、乱数にしか見えないような数値に暗号化を行う。この暗号化の際にパスワードなどを設定して第三者が簡単に復号できないようにする。

次に、Ｓ１０６では、二次元上にコード化されたパターンを映像に重畳する。二次元上にコード化されたパターンはＳ１０５で作成され、映像はＳ１０１で受信した映像である。ここでの重畳は、通常は目視では確認できないが、受信側処理装置４０の特定の処理によりコード化されたパターンを取得できる表示方法である。すなわち、映像内の画像の画素の中に不可視な程度の画素値の傾きをかけて、重畳を行う。例えば、コード化されたパターンの色をどんどん薄くしていき、人の目に見えない程度の画素値の差にして、画像上に情報をのせる。ここで、コード化されたパターンは、画像の一部でも可能であるが、画像全体に重畳するとよりよい。このことで、画像数が多くなるため、多くの情報をのせることができる。

次に、Ｓ１０７では、コード化されたパターンを重畳した映像を送信側処理装置２０から受信側処理装置４０へ送信する。なお、Ｓ１０３で物体を検知していないと判定された場合及びＳ１０４で検知された物体が定義されていないと判定された場合は、Ｓ１０１で取得した撮像装置１０で撮影されたそのままの映像となる。コード化されたパターンを重畳した映像は、映像内の各画像に情報が入っているため、重畳した情報がない場合と比べて、情報量に変化がほとんど生じない。

図４は、本発明の監視システムの受信側の処理の一例を示すフローチャートである。ここでは、図４のフローチャートを参照して、受信側処理装置４０での処理について説明する。

まずＳ１５１では、受信側処理装置４０の電源ＯＮなどの開始操作が行われた後、送信側処理装置２０側から送信された映像は受信側処理装置４０で受信する。ここでの映像は、図３のＳ１０７で出力された映像である。

次にＳ１５２では、Ｓ１５１で受信した映像から二次元上にコード化されたパターンを識別し、コードを抽出する。コード化されたパターンが重畳している場合は、特徴的な色の勾配を備えているため、受信側処理装置４０でそれを識別することができる。例えば、送信側処理装置２０でどのようなパターンでコード化しているかという情報を受信側処理装置４０も保持しておくことで、コード化されたパターンをより的確に抽出することが可能となる。

次にＳ１５３では、抽出したコードを復号化し、監視対象である検知物体に関する情報を取得する。ここでのコードは、バーコードやＱＲコード等のコードであるので、このパターンの情報から数値等の情報を取得できる。さらに、取得した情報が図３のＳ１０５で暗号化されている場合は、受信側処理装置４０に保存しているパスワードを入力などすることにより復号を行える。復号化された情報は、検知物体に関する情報となる。この数値等の情報の法則をあらかじめ定めておくことで検知物体に関する情報として取得可能とある。ここでの情報は、その物体の名称、重要度、表示方法等である。

Ｓ１５３で検知物体に関する情報を取得した場合は、Ｓ１５４へ行き、サイレン、警告灯等、映像表示以外の方法で警報する機器へのアラート発報を行うことができる。ここでの発報は、受信側処理装置４０からの情報に基づき図２で示した警報装置７０で行うことができる。

Ｓ１５３の次はＳ１５５へ進む。Ｓ１５５では、表示設定情報１６０を取込み、表示設定情報に基づいて映像表示する際、映像に枠等の重畳表示が許可されているか否かを判定する。表示設定情報１６０は、受信側処理装置４０側に記録されており、図２の記録装置
５０の設定情報５１が対応している。表示設定情報１６０は、映像に枠等の追加情報の重畳表示を行ってよいかの情報を保持している。映像に重畳表示が許可されている場合（Ｙｅｓの場合）は、Ｓ１５６へ進む。映像に重畳表示が許可されていない場合（Ｎｏの場合）は、Ｓ１５８に進み、Ｓ１５１で受信したそのままの映像を出力する。

Ｓ１５６では、座標や重要度等の情報に基づき検知物体を囲む枠等の追加情報を生成する。ここでの情報は、Ｓ１５３で取得した検知物体に関する情報に基づく。このとき、重要度に応じて、線の太さや色、点滅するか否かを変えるなどして、枠の表示を変更してもよい。例えば、重要度が高い場合は、線の太さを太くする、もしくは、他の色から赤い色に変更する、点滅させる、点滅の間隔を短くする等である。

次にＳ１５７では、Ｓ１５６で生成した枠等の追加情報を、映像内の対応する各画像に重畳する。ここでの映像は、Ｓ１５６で受信した映像である。枠は、検知物体に対して覆うことで、ユーザが検知物体を視覚的に識別しやすくする。なお、対象となる検知物体が存在しない画像に対しては、枠は重畳されない。

次にＳ１５８では、映像を出力する。ここでの映像は、Ｓ１５７で枠等の追加情報が重畳している場合は、それらが重畳された映像が出力される。Ｓ１５５で映像に重畳表示が許可されていない場合はＳ１５６で受信した映像が出力される。出力先は、図２で示した表示装置６０等であり、この表示装置で映像の内容を確認できる。

＜具体例＞
図５は、本発明の監視システムの送信側の処理の具体例を説明する図である。

図５の（ａ）は、図３のＳ１０１の例で、取得した撮像装置１０で撮影された映像内の１つの画像例である画像２０１を表している。この画像に対して図３のＳ１０２の物体検知の処理を行う。ここでの物体検知は、人を特定する検知である例を示している。この物体検知により人物２１０と人物２１１の二人の人物が検知される。

図５の（ｂ）は、図３のＳ１０４の例で、物体が定義されているか否かが判定される。ここでは、図３のテーブル１１０を参照して、例えば特徴量等を用いて、この二人の人物２１０と人物２１１が定義されているか否かの判定を行う。図５の（ｂ）では、人物２１０は定義されて、人物２１１は定義されていなかった場合の例を示している。テーブル１１０の情報から人物２１０は、名称が「ｘｘ」、重要度が「Ｂ」となる。また、座標は、画像内の位置から特定する。図５の（ｂ）では、「（ｘ１，ｙ１），（ｘ１，ｙ２），（ｘ２，ｙ１），（ｘ２，ｙ２）」の例を示している。座標は、人物２１０の顔の周りを取り囲む座標であり、これは枠の表示方法であることも示している。これらの情報は、検知物体に関する情報２３０となる。

図５の（ｃ）は、図３のＳ１０５の例で、検知物体に関する情報２３０を二次元上にコード化する。ここでのコードはバーコード２４０の例を示している。検知物体に関する情報２３０を数値化するなどして、バーコード２４０に変換する。このとき、いったん暗号化した数値を用いてバーコード２４０に変換してもよい。

図５の（ｄ）は、図３のＳ１０６の例で、コード化されたパターンを映像に重畳した画像２０２を示している。具体的には、バーコード２４０を画像２０１に重畳する。重畳は、画像２０１全体にバーコード２４０をのせるとよい。バーコード２４０を重畳するとき、人の目には見えないような画素値の傾きをかける。例えば、バーコード２４０の黒に相当する部分に、２５６階調であれば、５以内、さらには３以内、さらには１の画素値を追加する等である。このようにして重畳した画像２０２は、わずかな画素値の違いのため、人の目では識別することができない。

図６は、本発明の監視システムの受信側の処理の具体例を説明する図である。

図６の（ａ）は、図４のＳ１５１の例で、送信側処理装置２０側から送信され受信側処理装置４０で受信した映像の画像例である画像２０２を表している。図５の（ａ）の画像２０１と比較をすると見た目は同じであるが、コード化されたパターンの情報であるバーコード２４０の情報が重畳されている。

図６の（ｂ）は、図４のＳ１５２の例で、画像２０２からバーコード２４０のパターンを識別し、バーコード２４０を抽出する。

図６の（ｃ）は、図４のＳ１５３の例で、バーコード２４０を復号化して検知物体に関する情報を取得する。バーコード２４０を識別すると数値等の情報を取得でき、これから検知物体に関する情報に変換される。なお、数値等の情報から検知物体に関する情報への変換は、あらかじめ法則を定めておくとよい。さらに、バーコード２４０から読み取られた数値等の情報が暗号化されている場合は、パスワードを入力などすることにより復号を行える。

図６の（ｄ）は、図４のＳ１５６の例で、監視情報として人物２１０の顔の周りに枠２５０を重畳された例を示している。この枠は座標（ｘ１，ｙ１），（ｘ１，ｙ２），（ｘ２，ｙ１），（ｘ２，ｙ２）の情報に基づき形成される。また、重要度がＢであることから、この重要度に応じた枠の表示（色や太さ）などで行われる。

以上のように、映像のみの情報で監視情報を伝送できるため、新たな情報を伝送するためのシステムを追加する必要がなく、既存のシステムの流用性が高いものとなる。例えば既存の録画装置をそのまま用いることができる。このとき、受信側処理装置４０に送られてきた映像をそのまま録画しても、監視情報は映像上に保持されたままとなり、監視情報を付加するための装置は必要とならない。

さらに、監視情報の秘匿性を高くして送信側処理装置２０から映像を伝送することが可能である。このとき、映像上に不可視で重畳していることにより、映像を第三者が取得しても情報の有無を簡単には判別できない。また監視情報を重畳しても映像のデータ量は増加しないため、監視情報が重畳している映像であることがデータ量からも判別することができない。このため、不正アクセスにおけるパケット解析のターゲットとされる可能性が低く、不正アクセスにおいても情報が流出しづらい。

さらに、監視情報を受信側処理装置４０側で表示とするか非表示とするかの選択が可能であるため、監視システムの有用性が向上する。例えば、重畳した枠等が監視の確認上邪魔になる場合は、その情報は表示させないようにすることができる。

以上の様に、本発明の実施形態について説明してきたが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

例えば、撮像装置１０は、カメラによる構成例を示したが、カメラ以外のセンサによる情報でも適用可能である。

また、図６の（ｄ）では、追加情報として四角の枠による重畳の例を示したが、これ以外に、丸や楕円、多角形、直線、曲線など、監視情報として分かる情報であれば、様々な形状であってよい。また、何等かの形状の枠で重畳する場合、枠内は透明（色なし）でも半透明でも色付きにしてもよい。また、例えば、検知物体を表示したくない場合は、枠内全体を覆うように構成してもよい。このほか文字情報を付加してもよい。

１０…撮像装置、２０…送信側処理装置、２１…物体検知部、２２…コード化部、２３…重畳部、２４…送信部、３０…記憶装置、３１…テーブル、４０…受信側処理装置、４１…受信部、４２…コード取得部、４３…情報取得部、４４…可視化部、４５…発報部、５０…記憶装置、５１…設定情報、６０…表示装置、７０…警報装置、８０…ネットワーク、１１０…テーブル、１６０…表示設定情報、２０１、２０２…画像、２１０、２１１…人物、２３０…検知物体に関する情報、２４０…バーコード、２５０…枠、３００…コンピュータシステム、３０２…プロセッサ、３０２Ａ…処理装置、３０４…メモリ、３０６…メモリバス、３０８…Ｉ／Ｏバス、３０９…バスインターフェースユニット、３１０…Ｉ／Ｏバスインターフェースユニット、３１２…端末インターフェースユニット、３１４…ストレージインターフェース、３１６…Ｉ／Ｏデバイスインターフェース、３１８…ネットワークインターフェース、３２０…ユーザＩ／Ｏデバイス、３２４…表示システム、３２６…表示装置、３３０…ネットワーク、３５０…潜在因子特定アプリケーション

Claims (8)

1. 映像から監視対象を検知する検知部と、
   前記検知した対象に関する情報を取得しコード化するコード化部と、
   前記コード化した情報を映像上に不可視のパターンとして重畳する重畳部と、
   前記重畳部で重畳した映像を送信する送信部と、を備えることを特徴とする監視システム。
2. 請求項１に記載の監視システムにおいて、
   前記送信部で送信した映像を受信する受信部と、
   前記受信部で受信した映像に重畳しているコードを取得するコード取得部と、
   前記コード取得部で取得したコードから前記検知した対象に関する情報を取得する情報取得部と、を備えることを特徴とする監視システム。
3. 請求項２に記載の監視システムにおいて、
   前記情報取得部で取得した情報に基づき前記受信部で受信した映像上に図または文字を含む追加情報を重畳する可視化部を備えることを特徴とする監視システム。
4. 請求項３に記載の監視システムにおいて、
   前記可視化部は、表示設定情報を取得し、前記表示設定情報の情報に基づき前記追加情報を重畳するか否かを決定することを特徴とする監視システム。
5. 請求項２から請求項４のいずれか一項に記載の監視システムにおいて、
   前記情報取得部で取得した情報に基づき警報を行う警報装置に情報を発信する発報部を備えることを特徴とする監視システム。
6. 請求項１から請求項５のいずれか一項に記載の監視システムにおいて、
   前記検知した対象に関する情報は、前記監視対象の重要度の情報を含むことを特徴とする監視システム。
7. 映像から監視対象を検知する検知ステップと、
   前記検知した対象に関する情報を取得しコード化するコード化ステップと、
   前記コード化した情報を映像上に不可視のパターンとして重畳する重畳ステップと、
   前記重畳ステップで重畳した映像を送信する送信ステップと、を有することを特徴とする監視方法。
8. 請求項７に記載の監視方法において、
   前記送信ステップで送信した映像を受信する受信ステップと、
   前記受信ステップで受信した映像に重畳しているコードを取得するコード取得ステップと、
   前記コード取得ステップで取得したコードから前記検知した対象に関する情報を取得する情報取得ステップと、を有することを特徴とする監視方法。

Images