JP7574006B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近年、大型店舗に限らず、小規模店舗においても、防犯や窃盗被害の防止のために、監視システムの導入が進んでいる。カメラを店内に設置することで、一定の防犯の効果や、犯罪を防止する効果はあるものの、その効果は時間が経過するとともに薄れる。例えば、店舗では、店舗商品の棚卸や品出しの時まで在庫数が少ないことに気づかず、万引き被害が発覚することが多々ある。このとき、監視システムの録画映像を再生し、盗難被害を確認しようとするが、その作業は多くの時間を要する。また、必ずしも盗難現場が録画されているとは限らない。そのため、店舗側は時間をかけて調査したにも関わらず犯行を発見できず追及をあきらめてしまうことも少なくない。

こうした作業を容易にするため、特許文献１では、録画された人物の行動を時系列に表示し、犯行を特定する方法が提案されている。この方法では、あらかじめ、監視カメラの映像中の人物から顔や全身の特徴を抽出しておき、顔、全身の画像、などの条件を元に映像を検索する。そして、人物の行動に基づき、時系列に画像を表示し、被疑者を探し出す作業を補助するとしている。

特開２０１７－４０９８２号公報

特許文献１による検索技術を利用することで、被写体の特徴に基づいて条件に合致する人物を抽出することが可能である。しかし、例えば万引きの犯人がその他の商品を万引きしているかを探そうとすると、抽出した人物がそれぞれ盗難商品を手に取りカバンに入れるなどの行動をしたことを目視で見返す必要があり、多くの作業時間を要する。

本発明は上述した問題を解決するためになされたものであり、盗難が発覚した場合に、被疑者によるその他の盗難品の特定を迅速に行うことができるようにすることを目的としている。

本発明に係る画像処理装置は、映像の中から人物を検出し、前記人物の行動履歴を含む人物情報を取得する取得手段と、人物が映っている画像を表示手段に表示させる制御手段と、前記表示手段に表示される画像内の人物、または前記人物が映っている画像のファイルを指定することにより、検索対象の人物を指定する入力を受け付ける受け付け手段と、前記取得手段により取得される人物情報のうち、前記受け付け手段によって受け付けられた検索対象の人物に係る人物情報に含まれる行動履歴に基づいて、商品の在庫数、販売数および廃棄数の和に不整合が生じている商品のうち、前記受け付け手段により受け付けられた人物に関連する商品の情報を出力する出力手段とを有することを特徴とする。

本発明によれば、盗難の被疑者によるその他の盗難品の特定を迅速に行うことができる。

本実施形態の監視システムのシステム構成例を示すブロック図である。 撮像処理手順の一例を示すフローチャートである。 録画・メタデータ保存処理手順の一例を示すフローチャートである。 被害品抽出処理手順の一例を示すフローチャートである。 被疑者情報入力における画像指定方法の選択画面の例を示す図である。 被疑者情報入力における被疑者画像の選択画面の例を示す図である。 被疑者情報入力における被疑者画像の選択画面の例を示す図である。 商品在庫情報の例を示す図である。 商品在庫情報の例を示す図である。 被害品候補一覧画面の例を示す図である。 被害品確認画面の例を示す図である。 被害品レポート画面の例を示す図である。 被害品抽出処理手順の一例を示すフローチャートである。 被害品抽出条件入力画面の例を示す図である。

（第１の実施形態）
以下、添付の図面を参照して、本発明の第１の実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
本実施形態では、監視システムの一例として、コンビニエンスストアなどの小売店舗にカメラを設置し、撮影と録画とを行い、窃盗が発生した場合に被疑者を撮影した画像を含むレポート作成を行う例について説明する。

図１（ａ）は、本実施形態の画像処理装置に係る監視システムのシステム構成の一例を示すブロック図である。また、図１（ｂ）は、本実施形態に係る映像処理装置２００のハードウェア構成例を示すブロック図である。本システムは、撮像装置１００、映像処理装置２００、および操作装置３００を備えている。
撮像装置１００は、撮像部１０１と映像送信部１０２とを有する。撮像部１０１は、撮像レンズや、ＣＣＤやＣＭＯＳなどの撮像センサや、Ａ／Ｄ変換および所定の信号処理を行う映像信号処理部などから構成される。撮像部１０１で撮像された映像は、所定の時間間隔で静止画（フレーム画像）に変換され、映像送信部１０２に送られる。映像送信部１０２では、受信したフレーム画像に、撮像装置情報、時刻などの付加情報が付与され、ネットワーク上に送信可能なデータに変換され、映像処理装置２００へ送信される。

次に、映像処理装置２００のハードウェア構成について図１（ｂ）を参照しながら説明する。
映像処理装置２００は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、ＨＤＤ１４と、表示部１５と、入力Ｉ／Ｆ１６と、通信部１７とを有している。ＣＰＵ１１は、ＲＯＭ１２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１３は、ＣＰＵ１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１４は、各種データや各種プログラム等を記憶する。表示部１５は、各種情報を表示する。なお、表示部１５はタッチパネルと一体型の表示装置であってもよい。入力Ｉ／Ｆ１６は、操作装置３００の操作情報を入力するためのインターフェースである。通信部１７は、有線または無線によりネットワークを介して撮像装置１００等の外部装置との通信処理を行う。

なお、後述する映像処理装置２００の機能や処理は、ＣＰＵ１１がＲＯＭ１２又はＨＤＤ１４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、他の例としては、ＣＰＵ１１は、ＲＯＭ１２等に替えて、ＳＤカード等の記録媒体に格納されているプログラムを読み出してもよい。

なお、本実施形態では、映像処理装置２００は、１つのプロセッサ（ＣＰＵ１１）が１つのメモリ（ＲＯＭ１２）を用いて後述するフローチャートに示す各処理を実行するものとするが、他の様態であっても構わない。例えば複数のプロセッサーや複数のＲＡＭ、ＲＯＭ及びストレージを協働させて後述するフローチャートに示す各処理を実行することもできる。また、ハードウェア回路を用いて一部の処理を実行するようにしても良い。また、ＣＰＵ以外のプロセッサーを用いて後述する映像処理装置２００の機能や処理を実現することとしてもよい（例えば、ＣＰＵに替えてＧＰＵ（Graphics Processing Unit）を用いることとしてもよい。）。

次に、映像処理装置２００の機能構成について図１（ａ）を参照しながら説明する。映像処理装置２００は、以下の構成を有する。
映像受信部２０１は、通信部１７を介して撮像装置１００の内部にある映像送信部１０２から送信されたフレーム画像を受信し、受信したフレーム画像を、録画部２０２と人体検出追尾部２０４とに送信する。録画部２０２は、映像受信部２０１から送られた所定間隔のフレーム画像を所定の形式に変換し、映像録画部２０３にその映像を記録する。

人体検出追尾部２０４は、映像受信部２０１から送信されたフレーム画像に写っている人物の検出処理および追尾処理を行う。なお、人物の検出処理において、画像から人物を検出する方法は任意でよい。例えば、画像上のエッジと人物形状とをパターンマッチングする方法や、ＣＮＮ（Convolutional Neural Network）を用いた方法や、背景差分法などによってもよい。人体検出追尾部２０４で検出された人物は、フレーム画像の左上を原点とし、人物を囲む矩形の左上と右下の２点の座標で表す。また、人物の追尾処理は、検出された人物を時間方向の複数の画像で対応付ける処理である。なお、追尾処理を行う方法は任意でよい。例えば前フレーム画像に含まれる人物の中心位置と移動ベクトルとから現フレーム画像における人物の位置を予測し、人物の予測位置と現フレーム画像に含まれる人物の中心位置とに基づいて、人物の対応付けを行う。対応付けされた人物にはＩＤを付与し同一人物として扱われる。人体検出追尾部２０４で得られたデータ（メタデータ）は、人体属性検出部２０５に出力され、さらに人物情報記憶部２０６に記憶される。

人体属性検出部２０５は、人体検出追尾部２０４で得られた情報（メタデータ）に基づいて、付与された人物ＩＤごとに、人体属性の取得処理および人物の行動認識処理を行う。ここで、人体属性とは、年齢、性別、身長、体格、髪型特徴、顔特徴などの、主に外見から得られる特性を意味する。行動認識とは、例えば人物の不審行動の行動履歴を検出し、それに基づいて不審度を取得することを意味する。つまり、不審行動である、特定の行動、例えばきょろきょろしていることや鞄をごそごそしているなど、通常とは異なる行動（不審行動）の度合いを数値化して不審度として取得するものである。

また、人体属性検出部２０５は、棚の前にいつ滞在したかといった人物の行動と、人物ＩＤとを関連付ける。ここで、棚がどの撮像装置で撮影され画像上のどの座標に配置されているかといった棚の情報は、棚位置記憶部２１１に記憶されている。棚の情報と人物とを関連させておくことで、棚に置かれた商品と人物ＩＤとを関連させることができる。

また、人体属性検出部２０５は、棚だけでなく、商品を手に取ったことや、商品をかごに入れたこと、商品を手に取ったが、棚に戻したなどの情報も、人物行動のデータとして取得する。これらの情報は、画像から抽出することも可能であり、例えば姿勢検知、姿勢推定などを行い、人物が商品に触ったことを検出する方法によって取得してもよい。また、画像から情報を取得する方法のみでなく、例えば棚にセンサを取り付け、商品に触れたことを検知する手法によってこれらの情報を取得してもよい。人体属性検出部２０５が出力するデータ（メタデータ）は、人体検出追尾部２０４が出力する情報と共に、人物情報記憶部２０６で記憶される。

商品情報管理部２０７では、商品コードや外観情報、そして商品が置かれている場所、および商品の在庫と販売数と廃棄数とを含む商品情報を記憶している。
映像抽出部２０８は、商品情報管理部２０７からの商品情報と人物情報記憶部２０６からの情報をもとに、映像録画部２０３に保存されている映像から条件に合う映像を抽出する。
候補表示部２０９は、映像抽出部２０８で抽出された映像を表示部１５に表示する制御を行う。
出力部２１０は、被害品情報、被疑者、被疑者確認情報をまとめてレポートを作成し、出力する。

操作装置３００は、被疑者情報入力部３０１と操作入力部３０２とを有する。被疑者情報入力部３０１は、ユーザの操作により盗難の被疑者情報を入力し、映像処理装置２００へ送る。また、操作入力部３０２は、映像処理装置２００を操作するためのインターフェースとして使用される。なお、表示部１５がタッチパネルを搭載した表示装置である場合は、被疑者情報入力部３０１を映像処理装置２００の内部に含む構成としてもよい。

次に、本実施形態の撮像装置１００の処理について、図２のフローチャートを用いて説明する。
ステップＳ１０１において、撮像装置１００の内部にある撮像部１０１は、映像を撮像し、所定のフレームレートでフレーム画像を取得する。

ステップＳ１０２において、映像送信部１０２は、撮像部１０１によって取得された画像に撮像装置固有番号や時間情報などの付加情報を付与し、ネットワーク上に送信可能な形式に加工して、フレーム画像を映像処理装置２００に送信する。
ステップＳ１０３において、撮像装置１００は、画像送信を終了する要求があるか否かを判断する。終了する要求があった場合、処理を終了する。一方、終了する要求がなかった場合、再度、ステップＳ１０１に戻り、フレーム画像の取得を行う。

次に、本実施形態の映像処理装置２００の録画・メタデータ保存処理について、図３のフローチャートを用いて説明する。
ステップＳ２０１において、映像処理装置２００の内部にある映像受信部２０１は、撮像装置１００から送られたフレーム画像を受信し、所定のフレームレートのフレーム画像を取得する。
ステップＳ２０２において、録画部２０２は、映像受信部２０１により取得されたフレーム画像を蓄積して、タイムスタンプや撮像装置番号などの付与情報と共に、映像録画部２０３に映像として保存する。

ステップＳ２０３において、人体検出追尾部２０４は、映像受信部２０１により取得されたフレーム画像の人体の検出処理および追尾処理をする。さらに、人体検出追尾部２０４は、人体検出結果である人体の画像上の矩形座標、および追尾処理結果となる人物ＩＤや画像上の座標などのメタデータを生成する。
ステップＳ２０４において、人体属性検出部２０５は、人体検出追尾部２０４により生成されたメタデータに基づいて、人体属性検出処理をする。本処理において、人体属性検出部２０５は、年齢、性別、身長、体格、髪型特徴、顔特徴などの人体の属性情報を検出する。また、人体属性検出部２０５は、人物の行動認識処理を行い、人物の不審度の数値を出力する。

ステップＳ２０５において、人体検出追尾部２０４は、ステップＳ２０３において生成されたメタデータを人物情報記憶部２０６に記憶する。さらに、人体属性検出部２０５は、ステップＳ２０４において生成されたメタデータを人物情報記憶部２０６に記憶する。以上までのステップは、フレーム画像が取得されるごとに行われる処理である。ステップＳ２０６において、映像受信部２０１は、フレーム画像の受信が終了したか否かを判断する。フレーム画像の受信が終了した場合、処理は終了する。一方、フレーム画像の受信がまだ終了していない場合は、処理は再度、ステップＳ２０１へ戻り、フレーム画像の受信が行われる。

次に、本実施形態の映像処理装置２００の盗難商品抽出処理について、図４のフローチャートおよび図５～図１２を用いて説明する。
まず、ステップＳ３０１において、映像抽出部２０８は、操作装置３００から検索対象の人物（盗難の被疑者）の情報を入力する。

本システムにおける盗難商品抽出処理は、ステップＳ３０１において、盗難の被疑者情報の入力から始まる。盗難の被疑者情報は、ユーザが操作装置３００を操作することにより被疑者情報入力部３０１から入力される。被疑者情報入力画面の一例を、図５から図７に示す。この例では、被疑者情報の入力方法として、映像から被疑者を探して選択する方法と、被疑者が映っている画像ファイルを指定する方法とがある。図５～図７に示す画面は、映像抽出部２０８の表示制御により表示部１５に表示される画面であり、ユーザが図５のボタン７０１を選択すると、映像から被疑者を探して選択する画面（図６）へ遷移する。また、ユーザが図５のボタン７０２を選択すると、被疑者が映っている画像ファイルを指定する画面（図７）へ遷移する。

図６において、ユーザは映像表示部８０１に映っている被疑者を選択すると、選択された被疑者の画像が選択画像表示部８０２へ表示される。ユーザが画像決定ボタン８０３を選択すると、選択画像は被疑者画像として決定され、被疑者画像が被疑者情報として映像抽出部２０８へ通知され、次のステップＳ３０２へ進む。異なる時間の映像を確認する場合は、時間変更部８０４を操作することで異なる時間の映像が映像表示部８０１へ表示させる。また、異なるカメラの映像を表示させたい場合は、ユーザはカメラ切り換えボタン８０５を選択すれば、異なるカメラの映像へ切り換えることができる。

図７は、図６とは別の被疑者画像指定方法で表示される画面の例を示す図である。図７では、ユーザは、被疑者の画像ファイルを指定する。画像ファイル一覧表示部９０１には、画像フォルダパス９０２で指定されたフォルダ内の画像ファイルが一覧表示される。ユーザが被疑者を選択すると、選択された画像のファイルパスが、選択中画像ファイルパス表示部９０３に表示されるとともに、選択された被疑者画像が、選択画像表示部９０４へ表示される。画像決定ボタン９０５が選択されると、選択画像は被疑者画像として決定され、被疑者画像が被疑者情報として映像抽出部２０８へ通知され、次のステップＳ３０２へ進む。

ステップＳ３０２において、映像抽出部２０８は、ステップＳ３０１で受信した被疑者画像から顔の特徴量を抽出し、抽出した顔の特徴量と、人物情報記憶部２０６に記憶されている各人物情報の顔の特徴量とを照合する。照合した結果、照合が成功した人物情報を被疑者の人物情報とする。人物情報には、各時刻における人物の位置の情報が含まれるので、この処理により、被疑者がいつどの位置にいたかを知ることができる。

ステップＳ３０３において、映像抽出部２０８は、商品情報管理部２０７から商品情報を取得して、商品の在庫数、販売数、および廃棄数の和に不整合がある場合は被害品候補商品として挙げる。被害品候補商品の判定方法について、図８および図９で説明する。

図８および図９は、商品情報管理部２０７から取得する商品情報の例であり、それぞれ同じ商品について別の日時の商品情報の例を示している。商品情報には、店舗での設置場所（店舗棚番）、在庫数、販売数、廃棄数などが含まれる。図８は商品の入荷時の情報であり、在庫数は１００個であり、販売数は０個であり、廃棄数は０個なので、在庫数と販売数と廃棄数との和は１００個である。図９は商品の最新の情報であり、在庫数は１０個であり、販売数は８９個であり、廃棄数は０個なので、在庫数と販売数と廃棄数との和は９９個である。つまり図８の商品情報の時点から図９の商品情報の時点までの間に、１個の商品が消えており、商品の在庫数、販売数、および廃棄数の和に不整合が起きている。映像抽出部２０８は、このように不整合が発生している商品を、被害品候補商品と判定する。なお、在庫数の更新については、店員による棚卸しの他、商品棚に備え付けられたセンサでカウントしてもよいし、監視カメラの映像から商品をカウントしてもよい。

ステップＳ３０４において、映像抽出部２０８は、ステップＳ３０２で取得した被疑者の人物情報と、ステップＳ３０３で判定した被害品候補商品とを比較する。比較した結果、被疑者が被害品候補商品の配置された棚（棚にある商品）に接近した時間帯があれば、その時刻の映像を映像録画部２０３から抽出する。

ステップＳ３０５において、候補表示部２０９は、ステップＳ３０４で映像抽出部２０８により抽出された画像を表示部１５に表示する。ここで、抽出される画像の表示例を図１０に示す。図１０の例では、被疑者が被害品候補商品に接近した映像１００１が４個抽出されている。ユーザは確認したい映像を選んでから、選択映像の確認ボタン１００２を選択すると、その映像についての画面例である図１１へと遷移する。

図１１は、被害品候補商品に被疑者が接近している映像の確認画面の例を示す図である。図１１の例では、商品情報表示部１１０１に、商品情報が表示されている。映像表示部１１０２には、被疑者が被害品候補商品に接近している時の映像が映っている。異なる時間の映像を確認する場合は、時間変更部１１０４を操作することで異なる時間の映像を映像表示部１１０２へ表示させる。盗難被害を確認出来た場合に、ユーザは被害品確定ボタン１１０３を選択すると、被害品候補商品が被害品として登録され、また、被疑者情報および商品に接近している映像がレポート用情報として登録されて、図１０の画面へ遷移する。

ステップＳ３０６において、ユーザによる操作の待機状態となる。被害品確定ボタン１１０３が選択されずに、図１０の終了ボタン１００３あるいは図１１の終了ボタン１１０５が選択された場合は、処理は終了する。また、終了指示がなされていない場合は、ステップＳ３０５に戻り、処理を継続する。一方、被害品確定ボタン１１０３が選択され、被害品が確定されている状態で図１０の終了ボタン１００３あるいは図１１の終了ボタン１１０５が選択された場合は、ステップＳ３０７に進む。ステップＳ３０７においては、出力部２１０は、被疑者レポート作成処理を行う。

次に、ステップＳ３０７における被疑者レポート作成処理について、図１２を用いて説明する。図１２は、被疑者レポート情報の例を示す図であり、被疑者レポート情報が、これまでの処理結果をもとに表示部１５に表示される。被害品情報表示部１２０１には、確定した被害品情報が、商品情報管理部２０７から取り出された商品情報と共に表示されている。被疑者情報表示部１２０２には、指定した被疑者に関する情報が表示されている。被疑者画像表示部１２０３には特定した被疑者のサムネイル画像が表示されている。被疑者特徴表示部１２０４には、被疑者の外的特徴が表示されている。なお、外的特徴は、人体属性検出部２０５により作成されたメタデータ情報に基づいて表示されている。被疑者確認画像表示部１２０５には、被疑者が被害品に接近した際の録画された映像の一部が表示されている。確認画像情報表示部１２０６には、画像に付加された情報である録画時刻および場所、さらに人物情報に関連付けられた商品棚情報が表示されている。また、追加情報表示部１２０７は被疑者報告書に追加情報やコメントを追加したいときのためのスペースである。本被疑者レポート情報では、商品情報や被疑者情報が抽出されるが、ユーザが操作装置３００を操作してさらに情報を追加することも可能である。ステップＳ３０７において、図１２の被疑者レポート情報が表示部１５に表示されている状態でユーザにより印刷ボタン１２０８が選択されると、出力部２１０は、不図示の外部の印刷装置に対してレポート印刷を指示する。また、ページ移動ボタン１２０９が選択されると、例えば被害品情報入力ページなどへ移動し、次の被害商品に関する被疑者特定作業に戻ることができる。

以上のように、本システムでは、映像録画と共に人体属性検出によるメタデータを保存し、被疑者情報を入力することで、被害候補商品リストを作成し、被疑者によるその他の盗難商品の特定作業を迅速かつ容易に行うことができる。これによりユーザは、その他の盗難商品を特定してレポート作成作業を、迅速かつ容易に行うことができる。

（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。第２の実施形態の構成は第１の実施形態と同様であり、差分について説明する。
本実施形態の映像処理装置２００の盗難商品抽出処理について、図１３のフローチャートおよび図１４を用いて説明する。ここで、図４と同様の処理については、図１３に同じ部番を付与して説明を省略する。

ステップＳ１３０３において、映像抽出部２０８は、ユーザの操作により、操作装置３００から映像抽出条件を入力する。ここで、映像抽出条件を入力するための画面例を図１４に示す。図１４に示す画面の抽出条件１４０１から、ユーザは、映像抽出に使いたい条件を選択する。ここで、選択されている条件を太字で表記する。図１４の例では、被疑者の不審行動を検知した時刻の前後１５分で、商品を手に取った映像を、期間指定された期間の中で抽出する。選択画像表示部１４０２には、ステップS３０１で選択された被疑者画像が表示される。ユーザが被害品抽出開始ボタン１４０３を選択すると、選択された被疑者の映像の中から、抽出条件１４０１の条件を満たす映像を抽出する。抽出された映像は、図１０のように一覧表示される。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０３ 映像録画部、２０４ 人体検出追尾部、２０５ 人体属性検出部、２０６ 人体情報記憶部、２０７ 商品情報管理部、２０８ 映像抽出部

Claims (12)

1. 映像の中から人物を検出し、前記人物の行動履歴を含む人物情報を取得する取得手段と、
   人物が映っている画像を表示手段に表示させる制御手段と、
   前記表示手段に表示される画像内の人物、または前記人物が映っている画像のファイルを指定することにより、検索対象の人物を指定する入力を受け付ける受け付け手段と、
   前記取得手段により取得される人物情報のうち、前記受け付け手段によって受け付けられた検索対象の人物に係る人物情報に含まれる行動履歴に基づいて、商品の在庫数、販売数および廃棄数の和に不整合が生じている商品のうち、前記受け付け手段により受け付けられた人物に関連する商品の情報を出力する出力手段と
   を有することを特徴とする画像処理装置。
2. 前記取得手段によって取得された人物情報の行動履歴を、人物毎に記憶する記憶手段を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記検索対象の人物は、ユーザによって指定される人物であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記検索対象の人物は、盗難行為の被疑者であり、
   前記出力手段は、前記被疑者に関連する商品として、前記被疑者によって盗難された可能性のある商品の情報を出力することを特徴とする請求項１～３の何れか１項に記載の画像処理装置。
5. 前記受け付け手段により受け付けられた人物に関連する商品は、前記検索対象の人物が特定の行動を取った商品を含む
   ことを特徴とする請求項１～４の何れか１項に記載の画像処理装置。
6. 前記特定の行動は、商品に接近することを含む
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記特定の行動は、商品を触ることを含む
   ことを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記人物情報に基づいて、前記映像の中から前記検索対象の人物が前記特定の行動を取った時刻に対応する画像を抽出する抽出手段を更に有し、
   前記出力手段は、前記抽出手段により抽出される画像に基づいて、前記受け付け手段により受け付けられた人物に関連する商品の情報を出力することを特徴とする請求項５～７の何れか１項に記載の画像処理装置。
9. 期間を指定する指定手段を更に有し、
   前記抽出手段は、前記指定手段により指定される期間に対応する映像の中から前記検索対象の人物が前記特定の行動を取った時刻に対応する画像を抽出することを特徴とする請求項８に記載の画像処理装置。
10. 前記取得手段は、前記映像の中から、人物の外見に係る人体属性を前記人物情報として取得することを特徴とする請求項１～９の何れか１項に記載の画像処理装置。
11. 映像の中から人物を検出し、前記人物の行動履歴を含む人物情報を取得する取得工程と、
    人物が映っている画像を表示手段に表示させる制御工程と、
    前記表示手段に表示される画像内の人物、または前記人物が映っている画像のファイルを指定することにより、検索対象の人物を指定する入力を受け付ける受け付け工程と、
    前記取得工程において取得される人物情報のうち、前記受け付け工程において受け付けられた検索対象の人物に係る人物情報に含まれる行動履歴に基づいて、商品の在庫数、販売数および廃棄数の和に不整合が生じている商品のうち、前記受け付け工程において受け付けられた人物に関連する商品の情報を出力する出力工程と
    を有することを特徴とする画像処理方法。
12. コンピュータを、請求項１～１０の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images