JP7250440B2 - 撮影装置、情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、撮影した画像について解析し物体を検出する技術に関する。

従来、撮影装置により撮影した画像に映像解析を行い、映像解析結果として検出した物体の情報をメタデータとして配信する撮影装置がある。

また、撮影画像をクライアント装置へ配信する撮影装置において、クライアント装置から撮影装置に対して、設定変更の指示や、画像やメタデータの配信の開始を指示するコマンド群が実装されていることが一般的である。例えば、そのようなコマンド群の例として、ＯＮＶＩＦ（Ｏｐｅｎ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ Ｆｏｒｕｍ）により策定された規格によって定義されるものが知られている。ＯＮＶＩＦはメタデータの内容についても定義しており、そのメタデータの内容としては、例えば、映像解析によって検出した物体の詳細を含む物体情報がある。物体情報としては、画像において検出した物体の位置を示す位置情報がある。

また、特許文献１では、配信映像の映像種別に基づいて、メタデータを「配信する・しない」を判断する撮影装置が開示されている。

特許第５９９９３９５号

ここで、検出した物体の物体情報に変化があった場合のみ、メタデータに物体情報を含めるプロトコルを利用すると、メタデータを受信するクライアント装置は、最後に受信した物体情報を保持し続けることがある。このとき、撮影装置が送信する画像について検出機能が無効になると、クライアント装置は最後に受信した物体情報を保持し続け、物体が検出され続けていると判断することがあった。ここで、クライアント装置が保持し続ける物体情報は、撮影装置の検出機能が無効になった以降は無効な情報である。

特許文献１の技術では、撮影装置側で検出機能が無効になっても、クライアント装置は撮影装置側で物体が検出され続けていると判断してしまい、ユーザーに誤解を与える表示をしてしまうことがあった。

本発明は、このような問題に鑑みてなされたものであり、クライアント装置が無効な物体情報を保持し続けることの抑制を目的としている。

本発明は、撮影手段により撮影された画像を取得する取得手段と、前記取得手段により取得された画像における物体を検出する検出手段と、指定された画像種別に基づき、配信画像を生成する制御手段と、前記検出手段により検出された物体に関する物体情報を含むメタデータと、前記配信画像とを情報処理装置へ送信する送信手段と、を有し、前記送信手段は、前記検出手段により物体を検出する処理が行われる画像の種別と、前記送信手段が送信する配信画像の画像種別とが不一致である場合、前記物体を検出していないことを示す無効情報を前記情報処理装置へ送信することを特徴とする。

本発明によれば、クライアント装置が無効な物体情報を保持し続けることを抑制できる。

システム構成を示す模式図である。 撮影装置およびクライアント装置のハードウェア構成を示す概略図である。 撮影装置およびクライアント装置の機能ブロック図である。 撮影装置およびクライアント装置の間における画像配信とメタデータ配信のシーケンスを示す図である。 表示装置に表示される画面の模式図である。 情報追加処理および情報更新処理のフローチャートである。 メタデータの記述例を示す概略図である。 撮影装置およびクライアント装置の間の画像配信とメタデータ配信に関するシーケンス図である。 情報追加処理および情報更新処理のフローチャートである。 撮影装置およびクライアント装置の間の画像配信とメタデータ配信のシーケンス図である。 情報更新処理のフローチャートである。

以下、添付図面を参照しながら本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

（実施形態１）
図１は、本実施形態に係るシステム構成を示す模式図である。撮影装置１００は、画像を撮影する装置であり、ネットワーク１０３を介して画像を送信できるネットワークカメラや監視カメラなどである。

クライアント装置１０１は、情報処理装置であり、撮影装置１００とネットワーク１０３を介して通信可能に接続されている。クライアント装置１０１は、画像配信とメタデータ配信を要求するコマンドや、映像解析を行っている画像の種別を取得するコマンド等の各制御コマンドを撮影装置１００へ送信する。撮影装置１００は、クライアント装置１０１から送信されたコマンドに対するレスポンス、画像配信要求に対する画像、メタデータ配信要求に対するメタデータをクライアント装置１０１に送信する。

表示装置１０２は、クライアント装置１０１に接続され、撮影装置１００から送信される画像データに基づく画像などを表示するディスプレイ等である。

また、撮影装置１００およびクライアント装置１０１は、ネットワーク１０３を介して互いに通信を行う。ネットワーク１０３は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。ネットワーク１０３はインターネットや有線ＬＡＮ（ＬＯＣＡＬ ＡＲＥＡ ＮＥＴＷＯＲＫ）、無線ＬＡＮ（ＷＩＲＥＬＥＳＳ ＬＡＮ）、ＷＡＮ（ＷＩＤＥ ＡＲＥＡ ＮＥＴＷＯＲＫ）等により構成されてもよい。

次に、図２を参照して、撮影装置１００およびクライアント装置１０１のハードウェア構成について説明する。図２は、撮影装置１００およびクライアント装置１０１のハードウェア構成を示す概略図である。

まず撮影装置１００のハードウェア構成について説明する。ＣＰＵ（ＣＥＮＴＲＡＬ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）２００は、撮影装置１００を統括制御する中央処理装置である。

Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２０１は、ネットワーク１０３を介してＯＮＶＩＦ等のプロトコルに従って、クライアント装置１０１との通信を行う。Ｉ／Ｆ２０１は、クライアント装置１０１へ画像やメタデータを送信したり、撮影装置１００を制御するための各種のコマンドなどをクライアント装置１０１から受信したりする。

ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）２０２は、ＣＰＵ２００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ２０２は、Ｉ／Ｆ２０１を介して外部から取得したデータ（コマンドや撮影条件に関するパラメータなど）を一時的に記憶する。また、ＲＡＭ２０２は、後述する図６（ａ）、図９（ａ）に示すフローチャート、図４、図８、図１０に示すシーケンスなどをＣＰＵ２００が実行する際に用いるワークエリアを提供する。また、ＲＡＭ２０２は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＲＯＭ２０３は、ＣＰＵ２００が撮影装置１００を制御するためのプログラムなどを記憶する。なお、ＲＯＭ２０３に加えて、後述するＨＤＤ２１３と同等な二次記憶装置を備えるようにしてもよい。

撮影デバイス２０４は、撮像光学系を構成するレンズ群及び撮像素子を備える。レンズ群は、入射光を結像するための光学レンズを有し、入射光を撮像素子に集光させる。撮像素子は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）センサやＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等で構成されている。そして、撮影デバイス２０４は、撮影装置１００のレンズ群を通って撮像素子に結像された被写体像を光電変換して電気信号を生成する。さらに、撮影デバイス２０４は、生成された電気信号をデジタル信号へ変換する処理や、ＪＰＥＧ或いはＨ．２６４やＨ．２６５等の形式に基づき圧縮符号化処理を行うことにより画像データを生成する。

次に、クライアント装置１０１のハードウェア構成について説明する。ＣＰＵ２１０は、クライアント装置１０１を制御する。

Ｉ／Ｆ２１１は、ネットワーク１０３を介してＯＮＶＩＦ等のプロトコルに従って、撮影装置１００との通信を行う。また、Ｉ／Ｆ２１１は、撮影装置１００から送信される画像を受信したり、撮影装置１００を制御するための各種のコマンドなどを送信したりする。

ＲＡＭ２１２は、ＣＰＵ２１０が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ２１２は、Ｉ／Ｆ２１１を介して外部から取得したデータ（コマンドや画像データ）などを一時的に記憶する。また、ＲＡＭ２１２は、ＣＰＵ２１０が後述の図６（ｂ）、図９（ｂ）、図１１に示すフローチャート、図４、図８、図１０に示すシーケンスなどを実行する際に用いるワークエリアを提供する。また、ＲＡＭ２１２は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

ＣＰＵ２１０は、ＲＡＭ２１２に格納されるコンピュータプログラムを実行する。なおＣＰＵ以外にも、ＤＳＰ（ＤＩＧＩＴＡＬ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＯＲ）等のプロセッサを用いてもよい。

ＨＤＤ（ＨＡＲＤ ＤＩＳＫ ＤＲＩＶＥ）２１３は、オペレーティングシステムのプログラムや画像データを記憶する。後述するフローチャートおよびシーケンスなどを実行するためのコンピュータプログラムやデータはＨＤＤ２１３に格納され、ＣＰＵ２１０による制御に従い、適宜、ＲＡＭ２１２にロードされ、ＣＰＵ２１０によって実行される。なおＨＤＤ以外にもフラッシュメモリ等の他の記憶媒体を用いてもよい。

なお、クライアント装置１０１の筐体は表示装置１０２と一体であってもよい。ＵＩ（ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）２１４は、キーボードやマウスなどの入力装置である。

なお、以降の説明では、ＣＰＵ２１０が後述のフローチャートおよびシーケンスなどを実行する例について説明するが、ＣＰＵ２１０の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、表示装置１０２にＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）や画像データを表示する処理は、ＧＰＵ（ＧＲＡＰＨＩＣＳ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ）で実行してもよい。また、ＨＤＤ２１３からプログラムコードを読み出してＲＡＭ２１２に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

次に図３（ａ）を参照して、本実施形態に係る撮影装置１００について説明する。図３（ａ）は、撮影装置１００の機能ブロック図である。図３（ａ）において、撮影装置１００は、画像取得部３００と、制御部３０１と、検出部３０２と、通信部３０３と、記憶部３０４とを有する。なお、以降の説明において、図３（ａ）に示す、撮影装置１００が有する各機能ブロックは、ＣＰＵ２００がＲＯＭ２０３のプログラムを実行することにより実現されるものとする。

画像取得部３００は、撮影デバイス２０４により生成された画像データを取得する。

制御部３０１は、ＣＰＵ２００の処理に従って、撮影装置１００の全体の処理を制御する。

検出部３０２は、画像取得部３００が取得した画像において物体を検出する処理を行う。検出部３０２が検出した物体の物体情報は通信部３０３や記憶部３０４へ送られる。

本実施形態における検出部３０２は、照合パターン（辞書）を使用したパターンマッチングを行い、画像において人体を検出する。なお、検出部３０２は、ユーザーが検出したい対象である物体を画像から検出する機能を有していればよく、既知の動体検出や肌色検出などでもよく、パターンマッチング処理に限定されるものではない。また、以降の説明では、本実施形態における検出部３０２は、検出を行う対象を人体として説明するが、検出を行う対象として、例えば、人の顔、車、動物等であってもよい。

通信部３０３は、Ｉ／Ｆ２０１を介して、各制御コマンドをクライアント装置１０１から受信する。また、通信部３０３は、Ｉ／Ｆ２０１を介して、クライアント装置１０１から受信した各制御コマンドに基づいて、画像やメタデータをクライアント装置１０１へ送信したり、イベント通知をクライアント装置１０１へ送信したりする。

また、本実施形態に係る通信部３０３は、次のような処理を行う。すなわち、通信部３０３は、通信部３０３が送信する第一の画像について検出部３０２の検出機能が有効であり、第一の画像の後に送信する第二の画像について検出機能が無効であると、第二の画像について物体を検出していないことを示す無効情報を送信する。

なお本実施形態における無効情報は、物体を検出していないことを示すメタデータであるとする。また、本実施形態における検出機能は、検出部３０２による物体を検出する機能を意味している。また、本実施形態において、通信部３０３が送信する配信画像の画像種別と、検出部３０２が物体を検出する処理を行う画像の画像種別とが一致している場合、検出機能が有効であり、不一致の場合は検出機能が無効であるとする。これは、配信画像と関係性が低い画像について検出機能が動作させても、その検出結果はユーザーにとって価値が低いためである。

記憶部３０４は、天井付けや壁付け等のカメラの設置状態を示す設定値、配信画像の画像種別の設定値、映像解析が行われる画像の画像種別の設置値、画像取得部３００が取得した画像データなどを記憶する。なお、ここでの画像種別は、撮影デバイス２０４により生成された画像の種別を表し、例えば、魚眼カメラにより撮影された魚眼画像や、その魚眼画像に対して画像補正や画像切り出しが行われて生成されたパノラマ画像などがある。

また本実施形態において、映像解析は、検出部３０２による画像から物体を検出する処理であるとして説明する。

次に図３（ｂ）を参照して、本実施形態に係るクライアント装置１０１について説明する。図３（ｂ）は、クライアント装置１０１の機能ブロック図である。図３（ｂ）において、クライアント装置１０１は、制御部３３０と、通信部３３１と、表示部３３２と、記憶部３３３とを有する。なお、以降の説明において、図３（ｂ）に示すようなクライアント装置１０１が有する各機能ブロックは、ＣＰＵ２１０により実行されるものとする。

制御部３３０は、ＣＰＵ２１０が実行する処理に従って、クライアント装置１０１の全体の処理の制御を行う。

通信部３３１は、Ｉ／Ｆ２１１を介して、画像配信やメタデータ配信などを要求するコマンド、映像解析が行われる画像の画像種別を取得するコマンド等の各制御コマンドなどを撮影装置１００へ送信する。また、通信部３３１は、Ｉ／Ｆ２１１を介して、撮影装置１００から送信された各制御コマンドに対するレスポンス、撮影された画像やメタデータ、イベント通知等を撮影装置１００から受信する。

表示部３３２は、通信部３３１を介して受信した画像を表示装置１０２に出力させる。また、表示部３３２は、撮影装置１００の検出部３０２が検出した物体の物体情報に基づく情報を表示装置１０２に出力させる。なお、本実施形態における表示部３３２は、検出部３０２が検出した物体の物体情報に基づき、画像における物体の位置を示す外接矩形を受信した画像に重畳させて表示装置１０２に出力させる。

記憶部３３３は、撮影装置１００が撮影した画像の画像データ、撮影装置１００により映像解析が行われる画像の画像種別等の様々なデータの格納領域として使用される。

次に図４を参照して、撮影装置１００がクライアント装置１０１に画像配信とメタデータ配信を行うシーケンスについて説明する。図４は、本実施形態において、撮影装置１００からクライアント装置１０１へ画像配信とメタデータ配信が行われるシーケンスを示す図である。

クライアント装置１０１の制御部３３０は、通信部３３１を制御して、撮影装置１００から画像配信とメタデータ配信を受けるために、画像の種別を指定した画像配信とメタデータ配信を要求するコマンドを送信させる。

撮影装置１００の通信部３０３は、画像配信とメタデータ配信を要求するコマンドを受信する。

撮影装置１００の制御部３０１は、受信したコマンドに基づいて、クライアント装置１０１が指定した画像種別での配信画像と、メタデータに物体情報を追加する情報追加処理４００によるメタデータとを生成する。なお、本実施形態における情報追加処理４００についての詳細な説明は、図６（ａ）および図７を参照して後述する。

撮影装置１００の制御部３０１は、通信部３０３を制御して、生成された画像とメタデータとをクライアント装置１０１へ送信させる。そして、クライアント装置１０１の通信部３３１は、送信された画像とメタデータとを受信する。なお、クライアント装置１０１は、物体情報を含むメタデータ、または、物体を検出していないことを示すメタデータを受信した場合、情報更新処理４０１を行う。なお、本実施形態に係る情報更新処理４０１の詳しい説明は、図６（ｂ）を参照して後述する。

なお、図４に示すクライアント装置１０１と撮影装置１００との間の通信に用いるコマンドのプロトコルはＯＮＶＩＦでもよいし、各メーカーが用意する監視カメラ独自の制御プロトコルでもよい。

次に図５を参照して、クライアント装置１０１の表示部３３２による処理について説明する。図５は、ビューア画面の一例を示す図である。図５におけるビューア画面５００は、クライアント装置１０１の表示部３３２により表示装置１０２に表示される。表示部３３２は、撮影装置１００から受信した画像に、受信したメタデータに含まれる物体情報の外接矩形５０２を重畳して表示させる。

次に図６（ａ）および図７を参照して、本実施形態に係る情報追加処理４００について説明する。図６（ａ）は、メタデータに物体情報、または、物体を検出していないことを示す物体検出無しの情報を追加する処理の流れを示すフローチャートである。なお、図６（ａ）に示すフローチャートの処理は、撮影装置１００のＲＯＭ２０３に格納されたコンピュータプログラムをＣＰＵ２００が実行することにより実現される図３（ａ）の各機能ブロックにより実行されるものとして説明する。

ステップＳ６０１にて、制御部３０１は、検出部３０２の検出機能が有効か無効かを示す情報を取得する。このとき、本実施形態における制御部３０１は、通信部３０３が送信する配信画像の画像種別と、検出部３０２が物体を検出する処理を行う画像の画像種別とが一致している場合、検出機能が有効であり、不一致の場合、検出機能が無効であると判断する。例えば、制御部３０１は、通信部３０３が送信する配信画像が魚眼画像であり、検出部３０２が物体を検出する処理を行う画像がパノラマ画像である場合、通信部３０３が送信する画像について検出部３０２の検出機能が無効であると判断する。

そこで、本実施形態における制御部３０１は、配信画像の画像種別と、映像解析が行われる画像の画像種別とを取得する。このとき、本実施形態における制御部３０１は、記憶部３０４から、配信画像の画像種別の設定値と、カメラの設置状態を示す設定値とを取得するものとする。そして、制御部３０１は、撮影装置１００の設置状態が天井設置の場合に映像解析が行われる画像の画像種別を魚眼画像とし、カメラの設置状態が壁設置の場合に映像解析が行われる画像の画像種別をパノラマ画像とする。このように、本実施形態における制御部３０１は、撮影装置１００の設置状態に基づいて、映像解析が行われる画像の画像種別を取得する。

なお、映像解析が行われる画像種別の設定値が記憶部３０４にて記憶されている場合、制御部３０１は、配信画像の画像種別の設定値と、映像解析が行われる画像種別の設定値とを記憶部３０４から取得するようにしてもよい。

そして、本実施形態に係る制御部３０１は、取得した配信画像の画像種別と、映像解析が行われる画像種別とに基づいて、通信部３０３が送信する画像について検出部３０２の検出機能が有効か無効かを判断することで、検出機能の情報を取得する。

ステップＳ６０２にて、記憶部３０４は、通信部３０３が送信する画像の送信順序を示す画像ＩＤと、その画像について制御部３０１により判断された検出部３０２の検出機能が有効か無効かを示す情報とを関連付けて記憶する。例えば、制御部３０１は、通信部３０３を介して１番目に送信される画像に対し、画像ＩＤとして“１”を付与し、２番目に送信される画像に対し、画像ＩＤとして“２”を付与する。そして、記憶部は、画像ＩＤと、画像ＩＤに対応する画像についての検出機能の情報とを関連付けて記憶する。

ステップＳ６０３にて、制御部３０１は、通信部３０３が送信する画像について検出部３０２の検出機能が有効か否かを判断し、有効である場合はステップＳ６０４へ遷移し、無効である場合はステップＳ６０６へ遷移する。

ステップＳ６０４にて、前回メタデータ配信した物体情報に変化がある場合はステップＳ６０５に遷移し、変化がない場合は処理を終了する。

次に、ステップＳ６０５にて、撮影装置１００の制御部３０１は、検出部３０２が検出した物体の物体情報をメタデータに追加し処理を終了する。

ステップＳ６０６にて、制御部３０１は、記憶部３０４に記憶された、画像の送信順序を示す画像ＩＤと、その画像について検出機能が有効か無効化を示す情報とに基づき、前回送信した画像について検出部３０２の検出機能が有効か無効かを判断する。このとき、通信部３０３が前回送信した画像について検出機能が有効であった場合、ステップＳ６０７に遷移し、無効であった場合、処理を終了する。なお、前回送信した画像がない場合、すなわち、クライアント装置１０１から画像配信およびメタデータ配信の要求が撮影装置１００へ送信されたのち、一回目の情報追加処理４００が行われている場合、ステップＳ６０４では処理を終了するものとする。

ステップＳ６０７にて、制御部３０１は、検出部３０２が物体を検出していないことを示す情報をメタデータに追加し、処理を終了する。

以上説明した情報追加処理４００により生成されたメタデータは、クライアント装置１０１へ送信される。

次に、図６（ｂ）に示すクライアント装置１０１の情報更新処理４０１について説明する。なお、クライアント装置１０１は、物体情報を含むメタデータ、または、物体を検出していないことを示すメタデータを受信した場合、情報更新処理４０１を行う。

ステップＳ６０８にて、メタデータに物体が検出されていないことを示す情報が含まれていない場合は、ステップＳ６０９へ遷移し、メタデータに物体が検出されていないことを示す情報が含まれている場合は、ステップＳ６１１へ遷移する。

ステップＳ６０９にて、クライアント装置１０１の制御部３３０は、撮影装置１００から受信したメタデータに含まれる物体情報で更新し、ステップＳ６１０へ遷移する。

ステップＳ６１０にて、表示部３３２は、ステップＳ６１０にて更新された物体情報を配信画像に重畳して表示装置１０２に表示し、処理を終了する。本実施形態では、表示部３３２は、更新された物体情報に基づき、検出された物体の位置を示す外接矩形を配信画像に重畳して、表示装置１０２に表示させる。

ステップＳ６１１にて、クライアント装置１０１の制御部３３０は、物体を検出していないことを示す情報で物体情報を更新する。

ステップＳ６１２にて、表示装置１０２に表示された配信画像に物体情報が重畳されていない場合は処理を終了し、配信画像に物体情報が重畳されている場合、ステップＳ６１３へ遷移する。

ステップＳ６１３にて、表示部３３２は、表示装置１０２に表示された配信画像に重畳されている物体情報に基づく外接矩形を削除する。

配信画像の画像種別と映像解析が行われる画像種別とが不一致の場合、クライアント側で物体情報を配信画像に重畳する際に、無効な位置に重畳してしまうことがある。例えば、本実施形態における撮影装置１００は、魚眼レンズにより魚眼画像を撮影し、さらにその魚眼画像に歪み補正や画像切り出しを行うことによりパノラマ画像を生成できるとする。

このとき、配信画像は魚眼画像であり、映像解析はパノラマ画像で行う場合、配信される画像は魚眼画像だが、メタデータ配信される物体情報はパノラマ画像上で検出された物体の物体情報となる。その結果、パノラマ画像で検出された物体情報が魚眼画像に重畳される。したがって、外接矩形は魚眼画像の内容と関係無い位置に重畳されるので、クライアント装置に送信される画像について検出機能は有効ではなくなったことになる（無効になってしまう）。

また他にも、例えば、配信画像が魚眼画像であり、魚眼画像から切り出した画像で映像解析を行う場合も同様に、魚眼画像の内容と関係無い位置に外接矩形が重畳されるので、クライアント装置１０１に送信される画像について検出機能は無効になってしまう。

そこで、本実施形態における撮影装置１００は、撮影装置１００が映像解析を行っている画像種別と配信画像の画像種別とを取得する。そして、撮影装置１００は、配信画像と映像画像を行っている映像種別が不一致となった場合、送信する画像について検出部の検出機能は無効なものとして扱い、物体が何も検出されてないことを示す情報をメタデータに追加し、クライアント装置１０１に送信する。こうすることにより、クライアント装置１０１が無効な物体情報を保持することを抑制できる。

なお、ステップＳ６０１にて、本実施形態における制御部３０１は、配信画像の画像種別と、映像解析が行われる画像種別とに基づいて、通信部３０３が送信する画像について検出機能が有効か否かを判断し、検出機能の情報を取得するが、これに限らない。

例えば、制御部３０１は、送信する画像について、検出部３０２により物体を検出する処理を実行する設定がされているか否かを示す情報を取得するようにしてもよい。この場合、制御部３０１は、検出部３０２により物体を検出する処理を実行する設定がされている場合、送信する画像について検出部３０２の検出機能が有効であると判断する。そして、制御部３０１は、検出部３０２により物体を検出する処理を実行しない設定がされている場合、送信する画像について検出部３０２の検出機能が無効であると判断する。

なお、ステップＳ６０２にて、本実施形態に係る記憶部３０４は、通信部３０３が送信する画像の送信順序を示す画像ＩＤと、その画像についての検出機能が有効か無効かを示す情報とを関連付けて記憶するが、これに限らない。例えば、記憶部３０４は、通信部３０３が前回送信した画像についての検出機能の情報と、現在送信する画像についての検出機能の情報とを記憶するようにしてもよい。

次に図７を参照して、ＯＮＶＩＦ規格のメタデータを例に、物体検出無しの情報について説明する。図７は、ＯＮＶＩＦ規格に則ったメタデータの記述例を示す図である。

ＯＮＶＩＦはメタデータをＸＭＬで定義しており、データは階層構造となっている。メタデータ７００は、ステップＳ６０５にて物体情報が追加されたメタデータの一例である。メタデータ７００において、＜ＭｅｔａｄａｔａＳｔｒｅａｍ＞タグはメタデータ全体を表し、映像解析結果である物体の物体情報、撮影装置のＰＴＺ位置、イベント等を含む。

＜ＶｉｄｅｏＡｎａｌｙｔｉｃｓ＞における＜Ｆｒａｍｅ＞タグは、映像解析の結果を表す。また＜Ｆｒａｍｅ＞タグにおける＜Ｏｂｊｅｃｔ＞タグは、検出部３０２が画像において検出した物体の物体情報を表す。

また、＜Ｏｂｊｅｃｔ＞タグ内の＜ＢｏｕｎｄｉｎｇＢｏｘ＞タグが物体の位置を示す外接矩形を表し、配信画像におけるｘ、ｙ座標上に、ｌｅｆｔ、ｔｏｐとｒｉｇｈｔ、ｂｏｔｔｏｍの２点で表される。

メタデータ７０１は、ステップＳ６０７にて検出部３０２が物体を検出していないことを示す情報が追加されたメタデータの一例である。この場合、メタデータには、映像解析結果を示す＜Ｆｒａｍｅ＞タグは存在するが、＜Ｆｒａｍｅ＞タグ内に＜Ｏｂｊｅｃｔ＞タグが無く、物体が何も検出されていないことを表している。

なお、ステップＳ６０４およびステップＳ６０６にてＮＯの場合、＜ＶｉｄｅｏＡｎａｌｙｔｉｃｓ＞タグを含まないメタデータが生成され、クライアント装置１０１へ送信されるものとする。クライアント装置１０１は、そのメタデータを受信しても、過去に受信した物体情報があれば、その物体情報を保持し続ける。

なお、図７に示すメタデータは本実施形態に係る好適な一例であり、そのフォーマットを制限するものではない。ＯＮＶＩＦや監視カメラ独自のフォーマットでよく、物体を検出していることを示すメタデータと、物体を検出していないことを示すメタデータとが表せればよい。

以上説明したように、本実施形態における制御部３０１は、通信部３０３が送信する第一の画像について検出部３０２の検出機能が有効であり、第一の画像の後に送信する第二の画像について検出機能が無効になったかを判断する。そして、第二の画像について検出機能が無効になると、制御部３０１は、第二の画像について物体を検出していないことを示す情報をメタデータに追加し、通信部３０３を介して、そのメタデータはクライアント装置１０１へ送信する。こうすることにより、クライアント装置１０１が無効な物体情報を保持し続けることを抑制することができる。

（実施形態２）
実施形態２に係る撮影装置１００の制御部３０１は、通信部３０３を制御して、検出機能が有効から無効へ変化したことをイベント通知としてクライアント装置１０１に送信させる。以下、図８および図９を参照して、実施形態２に係る撮影装置１００およびクライアント装置１０１の処理について説明する。なお、実施形態１と同一または同等の機能構成、処理には同一の符号を付すとともに、重複する説明は適宜省略する。

なお、本実施形態に係る通信部３０３は、次のような処理を行う。すなわち、通信部３０３が送信する第一の画像について検出部３０２の検出機能が有効であり、第一の画像の後に送信する第二の画像について検出機能が無効であると、第二の画像について物体を検出していないことを示す無効情報を送信する。このとき、本実施形態に係る無効情報は、検出機能が有効から無効に変化したことを示すイベント通知であるとする。

図８を参照して、クライアント装置１０１が撮影装置１００から画像とメタデータを受信するシーケンスについて説明する。図８は、クライアント装置１０１が撮影装置１００から画像とメタデータを受信するシーケンスを示す図である。

クライアント装置１０１の制御部３３０は、通信部３３１を制御し、撮影装置１００からの画像配信とメタデータ配信とを受けるために、配信画像の画像種別を指定するための情報と、画像配信とメタデータ配信とを要求する指示と、を含むコマンドを送信させる。

撮影装置１００の通信部３０３は、画像配信とメタデータ配信とを要求するコマンドを受信する。そして、制御部３０１は、クライアント装置１０２から指定された画像種別に基づく配信画像の生成と、情報追加処理８００によりメタデータに物体情報を追加する処理によるメタデータの生成とを行う。

制御部３０１は、通信部３０３を制御して、生成された配信画像とメタデータとをクライアント装置１０１へ送信させる。そして、クライアント装置１０１の通信部３３１は、送信された配信画像とメタデータとを受信する。

また、情報追加処理８００にて、撮影装置１００の制御部３０１は、送信する画像について検出部３０２の検出機能が有効から無効に変化したことを判断し、検出機能が有効から無効に変化した場合、変化したことを示すイベントの通知を行う。このとき、制御部３０１は、通信部３０３を制御して、イベント通知をクライアント装置１０１に対して行う。

クライアント装置１０１の通信部３３１は、送信されたイベント通知を受信する。

クライアント装置１０１の制御部３３０は、物体情報を含むメタデータ、または、イベント通知を受信した場合、情報更新処理８０１を行う。

尚、図８に示すクライアント装置１０１と撮影装置１００との間の通信に用いるコマンドのプロトコルはＯＮＶＩＦでもよいし、各メーカーが用意する監視カメラ独自の制御プロトコルでもよい。

次に、図９を参照して、本実施形態に係る情報追加処理８００について説明する。図９（ａ）は、本実施形態における、撮影装置１００による情報追加処理８００の流れを示すフローチャートである。図９（ｂ）は、本実施形態における、クライアント装置１０１による情報更新処理８０１の流れを示すフローチャートである。

なお、図９（ａ）に示すフローチャートの処理は、撮影装置１００のＲＯＭ２０３に格納されたコンピュータプログラムをＣＰＵ２００が実行することにより実現される図３（ａ）の各機能ブロックにより実行されるものとして説明する。

また、図９（ｂ）に示すフローチャートの処理は、クライアント装置１０１のＨＤＤ２１３に格納されたコンピュータプログラムをＣＰＵ２１０が実行することにより実現される図３（ｂ）の各機能ブロックにより実行されるものとして説明する。

まず、図９（ａ）に示す情報追加処理について説明する。

ステップＳ６０１～ステップＳ６０６までの処理は、実施形態１と同様であるため、説明を省略する。

ステップＳ９０１にて、本実施形態に係る制御部３０１は、送信する画像について検出部３０２の検出機能が有効から無効に変化したことを示すイベント通知を行う。

そして、図８を参照して説明したように、クライアント装置１０１の通信部３３１は、イベント通知を受信する。

なお、ステップＳ６０４およびステップＳ６０６にてＮＯの場合、また、ステップＳ６０６にてＹｅｓの場合、＜ＶｉｄｅｏＡｎａｌｙｔｉｃｓ＞タグを含まないメタデータが生成され、クライアント装置１０１へ送信されるものとする。クライアント装置１０１は、そのメタデータを受信しても、過去に受信した物体情報があれば、その物体情報を保持し続ける。

次に、図９（ｂ）に示すクライアント装置１０１の情報更新処理８０１について説明する。なお、図９（ｂ）に示す情報更新処理は、クライアント装置１０１が撮影装置１００から物体情報を含むメタデータ、または、イベント通知を受信した場合に行われるものとする。

ステップＳ９０２にて、クライアント装置１０１がイベント通知を受信した場合はステップＳ６１１へ遷移し、イベント通知を受信していない場合はステップＳ６０９へ遷移する。

ステップＳ６０９～ステップＳ６１３までの処理は、実施形態１と同様であるため説明を省略する。

以上説明したように、実施形態２におけるクライアント装置１０１は、撮影装置１００の検出機能が有効から無効へ変化したことをイベント通知として受信し、物体情報を物体検出無しに更新する。こうすることにより、配信画像とメタデータを受信するクライアント装置が無効な物体情報を保持することを抑制できる。

（実施形態３）
実施形態３に係るクライアント装置１０１は、撮影装置１００の検出機能が有効から無効へ変化したことを撮像装置１００に問い合わせる（ポーリング）。以下、図１０、図１１を参照して、実施形態３に係るクライアント装置１０１の物体情報を更新する情報更新処理１００２について説明する。なお、実施形態１と同一または同等の機能構成、処理については同一の符号を付すとともに、重複する説明は適宜省略する。

図１０を参照して、クライアント装置１０１が撮影装置１００から画像とメタデータを受信するシーケンスについて説明する。図１０は、クライアント装置１０１が撮影装置１００から画像とメタデータを受信するシーケンスを示す図である。

クライアント装置１０１の制御部３３０は、通信部３３１を制御して、撮影装置１００から画像配信とメタデータ配信を受けるために、画像の種別を指定した画像配信とメタデータ配信を要求するコマンドを送信する。

撮影装置１００の通信部３０３は、クライアント装置１０１から送信された画像配信とメタデータ配信を要求するコマンドを受信する。

撮影装置１００の制御部３０１は、受信したコマンドに基づいて、クライアント装置１０１が指定した画像種別での配信画像と、情報追加処理１０００によりメタデータに物体情報を追加する処理によりメタデータとを生成する。なお、本実施形態に係る情報追加処理１０００は、前回送信した物体情報に変化があった場合、物体情報をメタデータに追加する。また、前回送信した物体情報に変化がない場合、＜ＶｉｄｅｏＡｎａｌｙｔｉｃｓ＞タグを含まないメタデータが生成され、クライアント装置１０１へ送信されるものとする。クライアント装置１０１は、そのメタデータを受信しても、過去に受信した物体情報があれば、その物体情報を保持し続ける。ただし、前回送信した物体情報がない場合、つまり画像配信およびメタデータ配信要求をクライアント装置１０１から受信した撮影装置１００が一回目の情報追加処理１０００を行った場合、物体情報をメタデータに追加する。

撮影装置１００の制御部３０１は、通信部３０３を制御して、生成された画像とメタデータとをクライアント装置１０１へ送信する。そして、クライアント装置１０１の通信部３３１は、送信された画像とメタデータとを受信する。

通信部３３１が送信された画像とメタデータとを受信したのち、制御部３３０は、通信部３３１を制御して、受信した画像について検出部３０２の検出機能が有効か無効かを示す情報の取得を要求するコマンドを送信する。なおこのとき、本実施形態における制御部３３０は、通信部３３１を制御して、映像解析が行われた画像種別を要求するコマンドを送信するものとする。

撮影装置１００の通信部３０３は、そのコマンドを受信し、取得処理１００１により制御部３０１は検出機能が有効か無効かを示す情報を取得する。なおこのとき、本実施形態における取得処理１００１にて、制御部３０１は、映像解析の画像種別を取得するものとする。この場合、制御部３０１は、記憶部３０４から、映像解析の画像種別の設置値を取得するようにしてもよいし、撮影装置１００の設置状態から映像解析の画像種別を取得するようにしてもよい。

なお、取得処理１００１にて、制御部３０１は、検出部３０２により物体を検出する処理を実行する設定がされているか否かを示す情報を取得するようにしてもよい。この場合、制御部３０１は、検出部３０２により物体を検出する処理を実行する設定がされている場合、配信画像について検出部３０２の検出機能が有効であると判断する。そして、制御部３０１は、検出部３０２により物体を検出する処理を実行しない設定がされている場合、配信画像について検出部３０２の検出機能が無効であると判断する。

制御部３０１は、取得した検出機能に関する情報をコマンドの応答に設定し、レスポンスとして通信部３０３からクライアント装置１０１へ送信する。なおこのとき、本実施形態において、制御部３０１は、取得した映像解析の画像種別をコマンドの応答に設定する。

クライアント装置１０１の通信部３３１はそのレスポンスを受信し、物体情報の更新処理１０００を行う。

なお、図１０に示すクライアント装置１０１と撮影装置１００との間の通信に用いるコマンドのプロトコルはＯＮＶＩＦでもよいし、各メーカーが用意する監視カメラ独自の制御プロトコルでもよい。

次に、図１１を参照して、本実施形態に係るクライアント装置１０１の物体情報の更新処理１０００について説明する。図１１は、クライアント装置１０１の物体情報の更新処理１０００の流れを示すフローチャートである。

なお、図１１に示すフローチャートの処理は、クライアント装置１０１のＨＤＤ２１３に格納されたコンピュータプログラムをＣＰＵ２１０が実行することにより実現される図３（ｂ）の各機能ブロックにより実行されるものとして説明する。

ステップＳ１１０１にて、制御部３３０は、受信した画像について検出部３０２の検出機能が有効か無効かを示す情報を取得する。なお、本実施形態における制御部３３０は、通信部３３１が受信した配信画像の画像種別と、検出部３０２が物体を検出する処理を行う画像の画像種別とが一致している場合、検出機能が有効であり、不一致の場合、検出機能が無効であると判断する。

この場合、ステップＳ１１０１にて、本実施形態における制御部３３１は、配信画像の画像種別と、映像解析が行われる画像の画像種別とを取得する。なお、制御部３３１は、画像の種別を指定した画像配信を撮影装置１００に要求したコマンドから配信画像の画像種別の設定値を取得する。また、制御部３３１は、受信した画像について検出部３０２の検出機能が有効か無効かを示す情報の取得を要求するコマンドに対するレスポンスから、映像解析が行われる画像の画像種別を取得する。

そして、本実施形態に係る制御部３０１は、取得した配信画像の画像種別と、映像解析が行われる画像種別とに基づいて、通信部３０３が送信する画像について検出部３０２の検出機能が有効か否かを判断する。

ステップＳ１１０２にて、記憶部３３３は、通信部３３１が受信した画像の受信順序を示す画像ＩＤと、その画像について制御部３３０により判断された検出部３０２の検出機能が有効か無効化を示す情報とを関連付けて記憶する。

ステップＳ１１０３にて、制御部３３０は、通信部３３１が受信した画像について検出部３０２の検出機能が有効か否かを判断し、有効である場合はステップＳ６０９へ遷移し、無効である場合はステップＳ１１０４へ遷移する。

ステップＳ６０９およびステップＳ６１０は実施形態１と同様であるため説明を省略する。

ステップＳ１１０４にて、制御部３３０は、記憶部３３３に記憶された、受信した画像の受信順序を示す画像ＩＤと、その画像について検出機能が有効か無効化を示す情報とに基づき、前回受信した画像について検出部３０２の検出機能が有効か無効かを判断する。このとき、通信部３３１が前回受信した画像について検出機能が有効であった場合、ステップＳ６１１に遷移し、無効であった場合、処理を終了する。なお前回受信した画像がない場合、つまり、クライアント装置１０１が画像配信とメタデータ配信を要求するコマンドを撮影装置１００へ送信したのち、一回目の情報追加処理１０００が行われている場合、ステップＳ１１０４ではＮｏへ遷移し、処理を終了する。

ステップＳ６１１～ステップＳ６１３までの処理は、実施形態１と同様であるため説明を省略する。

以上、説明したように、実施形態３におけるクライアント装置１０１は、受信した画像について映像解析を行っている検出部３０２の検出機能が有効であるか否かの情報を撮影装置１００から取得する。そして、クライアント装置１０１は、通信部３３１が受信した第一の画像について検出部３０２の検出機能が有効であり、第一の画像の後に受信する第二の画像について検出機能が無効になったかを判断する。そして、第二の画像について検出機能が無効になると、制御部３３０は、物体を検出していないことを示す情報で物体情報を更新する。こうすることにより、クライアント装置１０１が無効な物体情報を保持することを抑制することができる。

１００ 撮影装置
１０１ クライアント装置

Claims (8)

1. 撮影手段により撮影された画像を取得する取得手段と、
   前記取得手段により取得された画像における物体を検出する検出手段と、
   指定された画像種別に基づき、配信画像を生成する制御手段と、
   前記検出手段により検出された物体に関する物体情報を含むメタデータと、前記配信画像とを情報処理装置へ送信する送信手段と、を有し、
   前記送信手段は、
   前記検出手段により物体を検出する処理が行われる画像の種別と、前記送信手段が送信する配信画像の画像種別とが不一致である場合、前記物体を検出していないことを示す無効情報を前記情報処理装置へ送信することを特徴とする画像処理装置。
2. 前記制御手段は、
   前記検出手段により物体を検出する処理が行われる画像の種別と、前記配信画像の画像種別とが一致する場合、前記検出手段の検出機能は有効であると判定し、
   前記検出手段により物体を検出する処理が行われる画像の種別と、前記配信画像の画像種別とが不一致である場合、前記検出手段の検出機能は無効であると判定し、
   前記送信手段は、
   前記送信手段が送信する第１配信画像について前記検出機能が有効であると判定され、前記第１配信画像の後に前記送信手段が送信する第２配信画像について前記検出機能が無効であると判定された場合、前記無効情報を前記情報処理装置に送信することを特徴とする請求項１に記載の画像処理装置。
3. 前記送信手段は、
   前記検出手段により物体を検出する処理が行われる画像の画像種別が魚眼画像であって、前記送信手段が送信する前記配信画像の種別が魚眼画像ではない場合、前記検出機能が無効であると判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記送信手段は、
   前記検出手段により物体を検出する処理が行われる画像の画像種別がパノラマ画像であって、前記送信手段が送信する前記配信画像の画像種別がパノラマ画像ではない場合、前記検出機能が無効であると判定することを特徴とする請求項２に記載の画像処理装置。
5. 前記無効情報は、メタデータであることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記無効情報は、ＯＮＶＩＦ規格に準拠した情報であり、
   前記無効情報は、映像解析の結果を特定するための＜Ｆｒａｍｅ＞タグを備えるメタデータであり、
   前記無効情報における前記＜Ｆｒａｍｅ＞タグには、検出された物体の情報に関する＜Ｏｂｊｅｃｔ＞タグが含まれないことを特徴とする請求項５に記載の画像処理装置。
7. 撮影手段により撮影された画像を取得する取得工程と、
   前記取得工程において取得された画像における物体を検出する検出工程と、
   指定された画像種別に基づき、配信画像を生成する制御工程と、
   前記検出工程により検出された物体に関する物体情報を含むメタデータと、前記配信画像とを情報処理装置へ送信する送信工程と、を有し、
   前記送信工程において、
   前記検出工程において物体を検出する処理が行われる画像の種別と、前記情報処理装置に送信する配信画像の画像種別とが不一致である場合、前記物体を検出していないことを示す無効情報を前記情報処理装置へ送信することを特徴とする画像処理方法。
8. コンピュータを請求項１乃至６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images