JP7819558B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

従来、カメラにより人の行動を監視する技術が知られている。特許文献１には、店舗での万引きを防止するために、カメラで撮影された映像データを分析するシステムが開示されている。

特開２０１７－７６１７１号公報

従来のシステムでは、監視カメラのそれぞれが撮影した二次元の映像データを分析していたが、二次元の映像データでは深度を特定できないため、人の行動を特定する精度が低いという問題が生じていた。

そこで、本発明はこれらの点に鑑みてなされたものであり、複数の撮像装置が生成した複数の撮像画像データを用いて、人の行動を特定するために有用な距離画像データを作成できるようにすることを目的とする。

本発明の第１の態様の画像処理装置は、所定の空間に設置された複数の撮像装置が生成した複数の撮像画像データを取得するデータ取得部と、前記所定の空間内の人の位置を検出する検出部と、前記検出部が検出した前記位置に基づいて、前記複数の撮像画像データから２つの撮像画像データを選択する選択部と、前記選択部が選択した前記２つの撮像画像データに基づいて、距離情報を含む距離画像データを作成する距離画像作成部と、を有する。

前記選択部は、前記検出部が検出した人の位置と前記撮像装置の位置との距離が所定の範囲内の２つの前記撮像装置が生成した前記２つの撮像画像データを選択してもよい。

前記選択部は、前記検出部が検出した人の位置と前記複数の撮像装置それぞれとの位置との距離が最も近い２つの前記撮像装置が生成した前記２つの撮像画像データを選択してもよい。

前記所定の空間は複数のエリアを有しており、前記画像処理装置は、前記複数のエリアそれぞれと２つ以上の撮像装置とを関連付けて記憶するエリアデータ記憶部をさらに有し、前記検出部は、人が存在するエリアを検出し、前記選択部は、前記検出部が検出したエリアに関連付けて前記エリアデータ記憶部に記憶された２つの撮像装置が生成した前記２つの撮像画像データを選択してもよい。

前記画像処理装置は、同一の人が共通に存在する複数の距離画像データを当該人に関連付けて検出データ記憶部に記憶させる記録処理部をさらに有してもよい。

前記記録処理部は、前記複数の距離画像データに対応する前記撮像画像データが生成された時刻に関連付けて、前記複数の距離画像データを前記検出データ記憶部に記憶させてもよい。

前記選択部は、前記検出部が特定した異なる時刻に対応する複数の位置の関係に基づいて、前記検出部が検出した人の進行方向を特定した結果に基づいて、複数の前記２つ以上の撮像画像データを選択してもよい。

本発明の第２の態様の画像処理装置は、所定の空間に設置された複数の撮像装置が生成した複数の撮像画像データを取得するデータ取得部と、前記所定の空間内の人の位置を検出する検出部と、前記検出部が検出した前記位置に基づいて、前記複数の撮像装置から２つの撮像装置を選択する選択部と、前記選択部が選択した前記２つの撮像装置が生成した２つの撮像画像データに基づいて、距離情報を含む距離画像データを作成する距離画像作成部と、を有する。

本発明の第３の態様のプログラムは、コンピュータを所定の空間に設置された複数の撮像装置が生成した複数の撮像画像データを取得するデータ取得部と、前記所定の空間内の人の位置を検出する検出部と、前記検出部が検出した前記位置に基づいて、前記複数の撮像画像データから２つの撮像画像データを選択する選択部と、前記選択部が選択した前記２つの撮像画像データに基づいて、距離情報を含む距離画像データを作成する距離画像作成部と、として機能させる。

本発明の第４の態様のプログラムは、コンピュータを所定の空間に設置された複数の撮像装置が生成した複数の撮像画像データを取得するデータ取得部と、前記所定の空間内の人の位置を検出する検出部と、前記検出部が検出した前記位置に基づいて、前記複数の撮像装置から２つの撮像装置を選択する選択部と、前記選択部が選択した前記２つの撮像装置が生成した２つの撮像画像データに基づいて、距離情報を含む距離画像データを作成する距離画像作成部と、として機能させる。

本発明によれば、複数の撮像装置が生成した複数の撮像画像データを用いて、人の行動を特定するために有用な距離画像データを作成できるようになるという効果を奏する。

画像処理システム１００の概要を説明するための図である。 店舗Ｓのレイアウトを示す模式図である。 店舗Ｓにおける複数のエリアそれぞれのエリアＩＤであるアドレスを示す図である。 画像処理装置１の構成を示す図である。 エリアデータの一例を示す図である。 第１検出データの一例を示す図である。 第２検出データの一例を示す図である。 距離画像作成部１４４が距離画像データを作成する方法を説明するための図である。 同じ位置に長時間にわたって滞在している顧客Ｍと滞在位置とを関連付けたデータの一例である。 不審な行動であることを示すデータの一例を示す図である。 棚ＩＤと顧客Ｍの滞在時間とを関連付けたデータの一例を示す図である。 画像処理装置１における処理の流れを示すフローチャートである。 記録処理部１４７が距離画像データを検出データ記憶部１３４に記憶させる処理の流れを示すフローチャートである。

［画像処理システム１００の概要］
図１は、本実施の形態に係る画像処理システム１００の概要を説明するための図である。画像処理システム１００は、人の行動を監視するためのシステムであり、例えば、店舗Ｓにおける万引きを防止するため、又は店舗Ｓにいる人（以下、「顧客Ｍ」という場合がある。）がどの商品に関心を持っているかを把握するために用いられる。本実施の形態においては、画像処理システム１００が店舗Ｓの顧客の行動を監視する場合を例示するが、画像処理システム１００は他の場所の人が撮影された画像を処理するシステムであってもよい。

図１に示す例においては、店舗Ｓに複数の撮像装置であるカメラＣが設置されており、複数のカメラＣが店舗内の顧客Ｍを撮影することにより撮像画像データを生成する。複数のカメラＣの視野角は任意であるが、本実施の形態におけるカメラＣは、３６０度方向を撮影可能なカメラであるとする。

複数のカメラＣは、通信線を介して画像処理装置１に撮像画像データを送信する。通信線は有線であっても無線であってもよい。本実施の形態においては、撮像画像データが動画像データである場合を例示するが、撮像画像データは静止画像データであってもよい。

画像処理装置１は、撮像画像データの画像処理をするための装置であり、例えばコンピュータである。画像処理装置１は、例えば店舗Ｓのオフィスに設置されたパーソナルコンピュータであるが、店舗Ｓと異なる場所に設置されたコンピュータ又はサーバであってもよい。

図２は、店舗Ｓのレイアウトを示す模式図である。図３は、店舗Ｓにおける複数のエリアそれぞれのエリアＩＤであるアドレスを示す図である。複数のエリアのアドレスは、横方向アドレスｘ１～ｘ８と縦方向アドレスｙ１～ｙ６の組み合わせにより表されるエリア識別情報である。例えば、左上のエリアのアドレスは（ｘ１，ｙ１）と表される。図３に示す一点鎖線の矢印は、顧客Ｍ１が移動してきた経路を示している。

店舗Ｓには、商品棚Ｔ１及び商品棚Ｔ２が設置されている。図３に示すように、商品棚Ｔ１は、商品棚Ｔ１１～Ｔ２２により構成されており、商品棚Ｔ２は商品棚Ｔ２３～Ｔ３４により構成されている。商品棚Ｔ１の上方には、カメラＣ１１～Ｃ１５が設置されており、商品棚Ｔ２の上方には、カメラＣ２１～Ｃ２５が設置されている。Ｃ１１～Ｃ１５及びＣ２１～Ｃ２５は、カメラＣを識別するためのカメラ識別情報（以下、「カメラＩＤ」という。）として使用される。

商品棚Ｔ１及び商品棚Ｔ２の周囲の通路の上方にカメラが設置されていてもよい。来店した顧客（図２においては、Ｍ１～Ｍ５）は、通路を自由に移動することができる。複数のカメラＣは、それぞれの視野の範囲内を撮影することにより、それぞれ異なる撮像画像データを生成する。

画像処理装置１は、複数のカメラＣが生成した複数の撮像画像データから選択した２つの撮像画像データを用いて、複数のカメラＣの間の距離を視差として用いることにより距離画像データを作成する。距離画像データには深度情報（すなわち、奥行方向の距離を示す情報）が含まれているので、画像処理装置１は距離画像データを解析することで、二次元の撮像画像データのみを用いる場合に比べて高い精度で被写体である顧客Ｍの行動を解析することができる。
以下、画像処理装置１の構成及び動作を詳細に説明する。

［画像処理装置１の構成］
図４は、画像処理装置１の構成を示す図である。画像処理装置１は、通信部１１と、設定受付部１２と、記憶部１３と、制御部１４と、を有する。

通信部１１は、外部装置との間でデータを送受信するためのインターフェースであり、例えばＬＡＮ（Local Area Network）コントローラ又は無線通信コントローラを有する。通信部１１は、複数のカメラＣから撮像画像データを受信する。

設定受付部１２は、画像処理装置１のユーザ（例えば店舗Ｓの管理者）による各種の設定を受け付けるためのインターフェースである。設定受付部１２は、例えば、キーボード又はマウス等の操作デバイスを含む。設定受付部１２は、入力された設定内容を示すデータを記憶部１３に記憶させたり制御部１４に通知したりする。

記憶部１３は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）又はＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１３は、制御部１４が実行するプログラムを記憶する。また、記憶部１３は、撮像画像データに基づく各種の処理を実行するために用いられるデータを記憶する。

記憶部１３は、プログラム記憶部１３１と、設定データ記憶部１３２と、エリアデータ記憶部１３３と、検出データ記憶部１３４と、を有する。プログラム記憶部１３１は、制御部１４が実行するプログラムを記憶する。

設定データ記憶部１３２は、ユーザが設定した各種のデータを記憶する。設定データ記憶部１３２は、設定受付部１２が受け付けた設定内容を示すデータを記憶する。設定データ記憶部１３２は、例えば、設定受付部１２が受け付けた、撮像画像データから検出する対象となる顧客Ｍの身体の部位である検出対象部位を示す設定データを記憶する。検出対象部位は、例えば、顔、左手、右手、全身、利き手であり、ユーザが監視をしたい対象の部位に対応する。

設定データ記憶部１３２は、複数の顧客Ｍの部位それぞれと一以上のカメラＣとを関連付けて記憶してもよい。設定データ記憶部１３２は、例えば、比較的高い位置を撮影可能なカメラＣのカメラＩＤに関連付けて、頭を撮影可能であることを記憶し、比較的低い位置を撮影可能なカメラＣのカメラＩＤに関連付けて、手を撮影可能であることを記憶する。

顧客Ｍがいる位置によって、１台のカメラＣが写すことができる部位に違いが生じることがある。例えば、カメラＣ１１の近くの（ｘ２，ｙ３）の位置に顧客Ｍがいる場合、カメラＣ１１が顧客Ｍの頭しか写すことができないが、カメラＣ１１から少し離れた（ｘ３，ｙ３）の位置に顧客Ｍがいる場合、カメラＣ１１が顧客Ｍの全身を写すことができるという場合がある。そこで、設定データ記憶部１３２は、エリアＩＤと、カメラＩＤとに関連付けて、検出可能な人の部位を記憶してもよい。

エリアデータ記憶部１３３は、複数のエリアそれぞれと２つ以上のカメラＣとが関連付けられたエリアデータを関連付けて記憶する。エリアデータ記憶部１３３は、エリアＩＤと、エリアＩＤに対応するエリアに設置された商品棚を識別するための棚識別情報である棚ＩＤとを関連付けて記憶してもよい。棚ＩＤは、例えば図３におけるＴ１１、Ｔ１２等の文字列である。

図５は、エリアデータの一例を示す図である。図５に示すエリアデータにおいては、エリアのアドレスとカメラＩＤとが関連付けられている。複数のカメラＣが撮影することができないエリアのアドレスには、１台のカメラＣのカメラＩＤのみが関連付けられている。２台以上のカメラＣが撮影することができるエリアのアドレスには、２台以上のカメラＣのカメラＩＤが関連付けられている。

検出データ記憶部１３４は、撮像画像データにおいて検出された顧客Ｍが存在する複数の撮像画像データと検出された顧客Ｍとが関連付けられた第１検出データを記憶する。検出データ記憶部１３４は、例えば、後述する特徴特定部１４５が特定した特徴に基づいて人特定部１４６が特定した同一の顧客ごとに、その顧客が写っている撮像画像データを、撮像画像データが生成された日時の順番に時系列に記憶する。

図６は、第１検出データの一例を示す図である。図６は、撮像画像データにおいて検出された３人の顧客（例えば顧客Ｍ１、Ｍ２、Ｍ３）それぞれに対応する第１検出データＤ０１、Ｄ０２、Ｄ０３を示しているが、検出データ記憶部１３４は、より多くの顧客に対応する複数の第１検出データを記憶してもよい。以下の説明において、第１検出データに対応する顧客を識別するためのＤ０１、Ｄ０２、Ｄ０３のような情報を特徴ＩＤという場合がある。検出データ記憶部１３４には、特徴ＩＤに関連付けて、特徴の内容が記憶されていてもよい。

図６に示す第１検出データにおいては、それぞれの第１検出データに対応する顧客Ｍの画像が写っている撮像画像データが生成された順番に、それぞれの撮像画像データに顧客Ｍが写っている時間の開始日時及び終了日時と、当該撮像画像データのファイル名と、当該撮像画像データを生成したカメラＣのカメラＩＤとが関連付けられている。画像データ名は、検出データ記憶部１３４内のアドレスに関連付けられた撮像画像データのファイル名であり、制御部１４は、画像データ名を指定することにより撮像画像データにアクセスすることができる。

図６に示す第１検出データは、図３に示した店舗Ｓにいる顧客Ｍ１が店舗Ｓに入ってからアドレス（ｘ４，ｙ３）の位置まで、一点鎖線で示す経路で移動する間に撮影された複数の撮像画像データに対応している。ここでは、顧客Ｍ１が１秒ごとにアドレスを移動している状態が想定されている。

図５のエリアデータが示すように、店舗Ｓに入った顧客Ｍ１がアドレス（ｘ１，ｙ１）、（ｘ１，ｙ２）にいる間は、カメラＣ１１のみが顧客Ｍ１を撮影できるので、最初の２秒間（１３時４５分００秒～１３時４５分０２秒）は、カメラＣ１１のみが顧客Ｍ１を撮影している。その後、顧客Ｍ１がアドレス（ｘ１，ｙ３）に移動すると、カメラＣ２１も顧客Ｍ１を撮影できるようになり、１３時４５分０２秒～１３時４５分０５秒の間は、Ｃ２１も顧客Ｍ１を撮影している。

その後、顧客Ｍ１がアドレス（ｘ２，ｙ３）～（ｘ４，ｙ３）にいる１３時４５分０３秒～１３時４５分０６秒の間は、カメラＣ１２、Ｃ２２が顧客Ｍ１を撮影している。顧客Ｍ１が１３時４５分０４秒にアドレス（ｘ３，ｙ３）に到達すると、さらにカメラＣ１３、Ｃ２３も顧客Ｍ１を撮影している。このように、第１検出データには、顧客Ｍ１が写っている撮像画像データが時系列に記録されているので、画像処理装置１は、効率良く顧客Ｍ１の行動を分析することが可能になる。また、顧客Ｍが写っている画像をユーザが時系列で見ることができるので、ユーザが顧客Ｍそれぞれの行動を確認したいという場合に好適である。

また、検出データ記憶部１３４は、距離画像データにおいて検出された人が存在する複数の距離画像データと当該人とが関連付けられた第２検出データを記憶する。検出データ記憶部１３４は、例えば、顧客Ｍごとに、その顧客Ｍが写っている複数の距離画像データを、距離画像データの作成に用いられた２つの撮像画像データが生成された日時の順番に時系列に記憶する。

図７は、第２検出データの一例を示す図である。図７は、撮像画像データにおいて検出された３人の顧客（例えば顧客Ｍ１、Ｍ２、Ｍ３）それぞれに対応する第２検出データＤ１１、Ｄ１２、Ｄ１３を示しているが、検出データ記憶部１３４は、より多くの顧客に対応する複数の第２検出データを記憶してもよい。

図７に示す第２検出データにおいては、それぞれの第２検出データに対応する顧客Ｍの画像が写っている撮像画像データが生成された順番に、撮像画像データに基づいて生成された距離画像データに顧客Ｍが含まれている時間の開始日時及び終了日時と、距離画像データのファイル名と、距離画像データの作成に用いられた撮像画像データを生成したカメラのカメラＩＤとが関連付けられている。距離画像データのファイル名には、距離画像データの作成に用いられた２つの撮像画像データを生成した２台のカメラＣのカメラＩＤが含まれている。

距離画像データの作成には２つの撮像画像データが用いられるので、第２検出データにおいては、距離画像データに２つのカメラＩＤが関連付けられている。ただし、１３時４５分００秒～１３時４５分０２秒の間は、カメラＣ１１が生成した撮像画像データにしか顧客Ｍ１が写っていないため、この間は、距離画像データではなくカメラＣ１１が生成した撮像画像データしか記録されていない。

顧客Ｍ１がアドレス（ｘ１，ｙ３）から（ｘ４，ｙ３）まで移動するまでの間は複数のカメラＣにより顧客Ｍ１が撮影されているので、２つの撮像画像データに基づいて作成された距離画像データが記録されている。この間、３つ以上のカメラＣにより顧客Ｍ１が撮影されている時点においては、２つ以上の距離画像データが作成可能である。したがって、例えば１３時４５分０３秒～１３時４５分０５秒の間には、カメラＣ１１とカメラＣ２１の組み合わせ、カメラＣ１１とカメラＣ１２の組み合わせ、カメラＣ２１とカメラＣ２２の組み合わせ及びカメラＣ１２とカメラＣ２２の組み合わせに対応する４つの２組の撮像画像データに基づく４つの距離画像データが作成されている。

制御部１４は、プログラム記憶部１３１に記憶されたプログラムを実行することにより、データ取得部１４１、検出部１４２、選択部１４３、距離画像作成部１４４、特徴特定部１４５、人特定部１４６及び記録処理部１４７の少なくともいずれかとして機能する。制御部１４は、これらの全ての構成部の機能を実行してもよく、これらの一部の構成部の機能を実行してもよい。

データ取得部１４１は、所定の空間に設置された複数のカメラＣが生成した複数の撮像画像データを取得する。上述のとおり、本実施の形態における所定の空間は、例えば店舗Ｓ内の空間である。

データ取得部１４１が取得する撮像画像データは、動画像データであってもよく、静止画像データであってもよい。データ取得部１４１は、取得した複数の撮像画像データを検出部１４２に入力する。データ取得部１４１は、撮像画像データを送信したカメラＣのカメラＩＤに関連付けて複数の撮像画像データを検出データ記憶部１３４に記憶させてもよい。

検出部１４２は、店舗Ｓ内の顧客Ｍの位置を検出する。検出部１４２は、複数の撮像画像データに基づいて、店舗Ｓ内の複数のエリアのうちどのエリアに人が滞在しているかを検出する。検出部１４２は、複数の撮像画像データに基づいて、顧客Ｍが滞在しているエリアにおけるどの商品棚の前に人が滞在しているかを検出してもよい。

検出部１４２が顧客Ｍの位置を検出する方法は任意であるが、検出部１４２は例えば撮像画像データに基づいて顧客Ｍの位置を特定する。具体的には、検出部１４２は、複数の撮像画像データを生成した複数のカメラＣがエリアデータ記憶部１３３において関連付けられたエリアを特定することにより、店舗Ｍ内の複数のエリアのうちどのエリアに人が滞在しているかを検出する。

この場合、検出部１４２は、まずデータ取得部１４１から入力された複数の撮像画像データにおいて輝度値の変化量が閾値以上である輪郭線を特定し、輪郭線の形状が予め記憶部１３に記憶された人間の輪郭線と類似していることにより、顧客Ｍの画像が含まれている撮像画像データを特定する。検出部１４２は、エリアデータ記憶部１３３に記憶されたエリアデータを参照し、顧客Ｍの画像が含まれていることを特定した撮像画像データを送信したカメラＣの位置を特定することにより、顧客Ｍの位置を検出する。

なお、検出部１４２は、店舗Ｓにおける複数の位置に設けられた人感センサー（不図示）からの信号に基づいて顧客Ｍの位置を検出してもよい。この場合、検出部１４２は、人を検出したことを示す信号を送信した人感センサーが人を検出する範囲に基づいて、顧客Ｍの位置を検出する。検出部１４２は、検出した顧客Ｍの位置を選択部１４３に通知する。

検出部１４２は、顧客Ｍが滞在しているエリアにおける所定の位置を検出部１４２が検出した人が向いている時間を検出してもよい。検出部１４２は、例えば、人が滞在しているエリアにおける商品棚を人が向いている時間を検出する。検出部１４２は、商品棚から所定の距離以内（例えば商品棚に手が届く距離以内）の同一の位置に顧客Ｍが滞在している時間を検出してもよい。検出部１４２は、検出した時間を人特定部１４６に通知する。検出部１４２は、顧客Ｍが向いている商品棚又は顧客Ｍから最も近い商品棚の棚ＩＤを、検出した時間とともに人特定部１４６に通知してもよい。

選択部１４３は、検出部１４２が検出した顧客Ｍの位置に基づいて、複数の撮像画像データから２つの撮像画像データを選択する。選択部１４３は、検出部１４２が検出した位置が含まれているエリアに関連付けてエリアデータ記憶部１３３に記憶された２つのカメラＣが生成した２つの撮像画像データを選択する。選択部１４３は、例えば、検出部１４２が検出した顧客Ｍの位置に基づいて、店舗Ｓに設置された複数のカメラＣから２つのカメラＣを選択し、選択した２つのカメラＣが生成した２つの撮像画像データを選択する。

具体的には、選択部１４３は、図５に示したエリアデータを参照し、検出部１４２が顧客Ｍを検出した位置のアドレスに対応する２つのカメラＣを選択する。選択部１４３は、選択した２つのカメラＣが生成した２つの撮像画像データを選択する。選択部１４３は、距離画像作成部１４４が距離画像データを作成できるように、選択した２つの撮像画像データを距離画像作成部１４４に入力する。選択部１４３は、２つの撮像画像データを識別するための情報（例えば画像ファイル名）を距離画像作成部１４４に通知してもよい。

ところで、図５のエリアデータが示すように、位置によっては３台以上のカメラＣが顧客Ｍを撮影できる場合がある。このような場合、選択部１４３は、検出部１４２が検出した顧客Ｍの位置とカメラＣの位置との距離が所定の範囲内の２つの撮像装置が生成した２つの撮像画像データを選択する。所定の範囲は、例えば、距離画像データの作成に適した距離として設定された範囲である。所定の範囲は、検出対象部位を撮影するために適した距離の範囲であってもよい。

一例として、選択部１４３は、検出部１４２が検出した顧客Ｍの位置と複数のカメラＣそれぞれとの位置との距離が最も近い２つのカメラＣが生成した２つの撮像画像データを選択する。選択部１４３は、２つのカメラＣと顧客Ｍの位置までの距離の平均値又は中央値が最も小さい２つのカメラＣが生成した撮像画像データを選択してもよい。選択部１４３がこのような２つの撮像画像データを選択することで、顧客Ｍが大きく写っている距離画像データが作成されるので、顧客Ｍの行動を特定する精度が高まる。

また、選択部１４３は、顧客Ｍの位置と２つのカメラＣとの距離のばらつきが、距離画像データの作成に適した距離として設定された範囲内である２つのカメラＣを選択してもよい。顧客Ｍの位置と２つのカメラＣとの距離のばらつきが小さいと、２つのカメラＣが撮影した顧客Ｍの大きさが同等になるので、作成される距離画像データの質が高まる。

選択部１４３は、顧客Ｍを撮影可能な２つのカメラＣの間の距離が、予め記憶部１３に記憶された、距離画像データの作成に適した距離の範囲に含まれている２つのカメラＣを選択してもよい。一例として、図３に示すアドレス（ｘ３，ｙ３）に顧客Ｍがいる場合、選択部１４３は、この位置を撮影可能な６台のカメラＣのうち、互いの距離が最も近いカメラＣ１１とカメラＣ１２、又はカメラＣ１２とカメラＣ１３等を選択する。

選択部１４３は、検出部１４２が特定した異なる時刻に対応する複数の位置の関係に基づいて、検出部１４２が検出した顧客Ｍの進行方向を特定した結果に基づいて、複数の２つ以上の撮像画像データを選択してもよい。選択部１４３は、例えば図６に示した第１検出データに基づいて、顧客Ｍ１が撮像画像データに写っている位置のアドレスを時系列に特定し、時間の経過に伴って位置が変化している向きを特定することで、顧客Ｍ１の進行方向を特定する。

選択部１４３は、例えば顧客Ｍの顔を記録することができるように、顧客Ｍ１が（ｘ３，ｙ３）から（ｘ４，ｙ３）の向きに進んでいることを特定した場合、第１検出データに含まれている複数の撮像画像データのうち、進行方向に直交する方向に並んだ２台のカメラＣであるカメラＣ１３及びカメラＣ２３により生成された２つの撮像画像データを選択する。進行方向に直交する方向に並んだ２台のカメラＣの組み合わせが複数ある場合、選択部１４３は、顧客Ｍ１が進んでいる側の２台のカメラＣにより生成された２つの撮像画像データを選択する。選択部１４３がこのような２台のカメラＣにより生成された２つの撮像画像データを選択することで、顧客Ｍ１の顔が写った距離画像データが作成されやすくなる。

選択部１４３は、設定データ記憶部１３２が記憶する検出対象部位を撮影可能なカメラＣが生成した一以上の撮像画像データを複数の撮像画像データから選択してもよい。この場合、選択部１４３は、複数の人の部位のうち、検出対象部位に関連付けて設定データ記憶部１３２に記憶された一以上のカメラＣが生成した一以上の撮像画像データを選択する。

一例として、アドレス（ｘ３，ｙ３）の位置において、当該位置に最も近いカメラＣ１２は顧客Ｍの頭部しか写すことができず、当該位置から離れた位置に設けられたカメラＣ１１及びカメラＣ１３は顧客Ｍの全身を写すことができる場合、選択部１４３は、カメラＣ１１、カメラＣ１３、Ｃ２１、Ｃ２２又はＣ２３のいずれかを選択する。

選択部１４３は、顧客Ｍの進行方向と検出対象部位とに基づいて、複数のカメラＣ又は複数の撮像画像データを選択してもよい。検出対象部位が手である場合、選択部１４３は、複数の撮像画像データのうち顧客Ｍ１の手を撮影可能なカメラＣが生成した撮像画像データを選択する。選択部１４３は、検出対象部位が右手であり、顧客Ｍ１が（ｘ３，ｙ３）から（ｘ４，ｙ３）に進んでいることを特定した場合、第１検出データに含まれている複数の撮像画像データのうち、進行方向の右側に並んだ２台のカメラＣであるカメラＣ２２及びカメラＣ２３により生成された２つの撮像画像データを選択する。検出対象部位が顔である場合、上述のように、選択部１４３は、顧客Ｍの進行方向側に設けられており、かつ顧客Ｍの顔を写すことができるカメラＣ１３及びカメラＣ２３を選択する。

選択部１４３がこのように検出対象部位を撮影可能なカメラＣが生成した撮像画像データを選択することで、検出対象部位が含まれていない距離画像データを距離画像作成部１４４が作成したり、検出対象部位が含まれていない撮像画像データを特徴特定部１４５が解析したりすることを防げる。

選択部１４３は、検出対象部位に対応する撮像画像データを選択する際、検出対象部位に対応する数の撮像画像データを選択してもよい。一例として、記憶部１３が、検出対象部位が頭部である場合に１つの撮像画像データが必要であり、検出対象部位が手である場合に、距離画像データを作成するための２つの撮像画像データが必要であることを記憶しているとする。この場合、検出対象部位として手が設定されたことに応じて、選択部１４３は、手が写っている２以上の撮像画像データを選択する。選択部１４３がこのように動作することで、検出対象部位の解析に適した枚数の撮像画像データを選択部１４３が選択することができる。

選択部１４３は、複数の時刻に生成された複数の撮像画像データから、時刻ごとに一以上の撮像画像データを選択する。選択部１４３は、単位時間（例えば１秒）ごとに一以上の撮像画像データを選択してもよい。一例として、選択部１４３は、顧客Ｍが（ｘ１，ｙ３）にいる時刻においては、カメラＣ１１及びカメラＣ２１の撮像画像データを選択し、顧客Ｍが（ｘ２，ｙ３）にいる時刻においては、カメラＣ１１、カメラＣ１２、カメラＣ２１及びカメラＣ２２の撮像画像データを選択する。選択部１４３は、時刻ごとに、上述のいずれかの方法により２つの撮像画像データを選択してもよい。

選択部１４３は、同じ方向が撮影された２つの撮像画像データを選択してもよい。選択部１４３がこのような２つの撮像画像データを選択することで、距離画像作成部１４４が作成する距離画像データに含まれる距離情報の精度が向上する。２つのカメラＣが３６０度の範囲で撮影可能である場合、選択部１４３は、２つのカメラＣが作成した撮像画像データのうち、同じ方向に対応しており、かつ同じ顧客Ｍが写っている領域の画像データを２つの撮像画像データとして選択する。

距離画像作成部１４４は、選択部１４３が選択した２つの撮像画像データに基づいて、距離情報を含む距離画像データを作成する。距離情報は、被写体までの深度又は奥行を示す情報である。本実施の形態における距離画像データは、例えば、撮像画像データに含まれている色の情報と距離情報とを含むデータである。

選択部１４３が選択した２つの撮像画像データを生成した２つのカメラＣはステレオカメラを構成すると考えられ、距離画像作成部１４４は、ステレオカメラが距離画像データを作成する場合と同様の画像処理方法を用いて距離画像データを作成する。距離画像作成部１４４は、選択部１４３が選択した２つの撮像画像データに対応する２つのカメラＣの間の距離が、ステレオカメラにおける左右のカメラの間の距離であると仮定して、２つのカメラＣを結ぶ直線から被写体までの距離を算出することにより距離画像データを作成する。距離画像作成部１４４が作成した距離画像データは、記録処理部１４７により検出データ記憶部１３４に記憶される。

図８は、距離画像作成部１４４が距離画像データを作成する方法を説明するための図である。図８に示す例では、カメラＣ１１及びカメラＣ１２の焦点距離がＦ、基線長（カメラ間距離）がＢである。距離画像作成部１４４は、カメラＣ１１が生成した撮像画像データにおける顧客Ｍの位置とカメラＣ１２が生成した撮像画像データにおける顧客Ｍの位置との差である視差Ｓを算出し、顧客Ｍまでの距離ＤをＤ＝Ｂ×Ｆ／Ｓにより算出する。

特徴特定部１４５は、撮像画像データ又は距離画像データに含まれる顧客Ｍの特徴を特定する。特徴特定部１４５は、例えば、撮像画像データ又は距離画像データに含まれる顧客Ｍの顔、服装、動き方等の特徴を特定する。特徴特定部１４５は、第１のカメラＣが生成した第１撮像画像データ又は第１動画像データに含まれる顧客Ｍの特徴と、第２のカメラＣにより生成された第２撮像画像データ又は第２動画像データに含まれる顧客Ｍの特徴と、を特定する。

特徴特定部１４５は、特定した特徴が複数の撮像画像データ又は複数の距離画像データにおいて一致する顧客Ｍに対して、同じ特徴ＩＤを付す。特徴ＩＤは、図７に示したＤ１１、Ｄ１２、Ｄ１３のような文字列であり、例えば新たな特徴を有する顧客Ｍが検出されるたびに異なる文字列が割り当てられる。特徴ＩＤは、店舗Ｓにおいて顧客Ｍが初めて検出された日時に対応する文字列であってもよい。

特徴特定部１４５は、複数の種別の特徴を特定し、複数の特徴の組み合わせが一致する顧客Ｍに対して同じ特徴ＩＤを付してもよい。例えば、特徴特定部１４５は、赤い服を着ている顧客Ｍであっても、歩き方の特徴が異なる場合には、それぞれの顧客Ｍに対して異なる特徴ＩＤを割り当てる。

特徴特定部１４５は、撮像画像データを識別するための情報（例えばカメラＩＤ及び撮影時刻）に関連付けて、特定した特徴又は特徴ＩＤの少なくともいずれかを記録処理部１４７に通知することにより、記録処理部１４７が、複数の撮像画像データを顧客Ｍごとに分類し、第１検出データ及び第２検出データを作成できるようにする。

特徴特定部１４５は、顧客Ｍの動き方の特徴を特定する際に、生成された時刻が異なる複数の撮像画像データ、又は生成された時刻が異なる複数の撮像画像データに基づく複数の距離画像データ（すなわち距離動画像データ）を用いる。すなわち、特徴特定部１４５は、動画画像データに含まれている顧客Ｍの位置の変化の特徴を動き方の特徴として特定する。

一例として、特徴特定部１４５は、顧客Ｍの歩き方の特徴を特定する。この場合、特徴特定部１４５は、第１時刻に生成された第１動画像データに含まれる顧客Ｍの頭の高さの変化の特徴を特定し、第１時刻と異なる第２時刻に生成された第２動画像データに含まれる人の頭の高さの変化の特徴を特定することにより、歩き方の特徴を特定する。特徴特定部１４５は、例えば、顧客Ｍの歩き方の特徴を特定するために要する所定時間（例えば５秒間）ごとに、所定時間内に撮影された動画像データを解析して、頭の高さの変化の特徴を特定する。

顧客Ｍによって身長や、歩行時の上下動の大きさが異なる。そこで、特徴特定部１４５は、例えば、第１動画像データ及び第２動画像データに基づいて特定される顧客Ｍの頭の高さと上下変動の幅を特徴として特定する。特徴特定部１４５は、第１動画像データ及び第２動画像データに基づいて特定される顧客Ｍの頭の高さと上下変動の周期を特徴として特定してもよい。

具体的には、特徴特定部１４５は、複数の時刻それぞれに生成された複数の撮像画像データ又は複数の距離画像データにおいて、顧客Ｍの頭の最も上の位置の高さを特定する。特徴特定部１４５は、特定した高さを時刻ごとにプロットして得られる波形の周期を、顧客Ｍの頭の上下変動の周期を示す特徴として特定する。特徴特定部１４５は、特定した高さを時刻ごとにプロットして得られる波形を示すデータを、顧客Ｍの特徴を示すデータとしてもよい。

特徴特定部１４５は、複数の時刻それぞれに生成された複数の距離画像データにおいて、顧客Ｍの頭、肩又は手の奥行方向の位置を特定してもよい。特徴特定部１４５は、特定した奥行方向の位置を時刻ごとにプロットして得られる波形の周期を、顧客Ｍの左右方向の変動の周期を示す特徴として特定する。特徴特定部１４５が左右方向の変動の周期を特徴として特定することで、左右方向に揺れながら歩く癖がある顧客Ｍの特徴を特定することができる。

特徴特定部１４５は、第１動画像データ及び第２動画像データに基づいて特定される顧客Ｍの移動速度を特徴として特定してもよい。特徴特定部１４５は、複数の時刻に対応する撮像画像データにおける顧客Ｍの位置、及び撮像画像データを生成したカメラＣの位置に基づいて、それぞれの時刻における顧客Ｍの店舗Ｓ内の位置を特定した結果に基づいて顧客Ｍの移動速度を特定する。

顧客Ｍは、関心がある商品の近くは速く歩き、関心がない商品の近くはゆっくりと歩く傾向があると考えられる。そこで、特徴特定部１４５は、店舗Ｓ内の位置ごとの顧客Ｍの移動速度を顧客Ｍの特徴として特定してもよい。この場合、特徴特定部１４５は、例えば棚ＩＤと移動速度とが関連付けられた特徴を示すデータを記憶部１３に記憶させる。

人特定部１４６は、撮像画像データ又は距離画像データに基づいて顧客Ｍの行動の内容を特定する。人特定部１４６は、顧客Ｍの行動の内容を特定するために、特徴特定部１４５が第１動画像データに基づいて特定した特徴と、第２動画像データに基づいて特定した特徴とが一致する場合に、当該特徴が特定された人が同一の顧客Ｍであることを特定する。人特定部１４６は、同一の顧客Ｍが含まれている撮像画像データ又は距離画像データに基づいて、顧客Ｍの行動の内容を特定する。

人特定部１４６は、選択部１４３が選択した複数の時刻に対応する一以上の撮像画像データに含まれている顧客Ｍの行動の内容を特定する。人特定部１４６は、距離画像データに含まれている顧客Ｍの行動の内容を特定してもよい。人特定部１４６は、例えば図６に示す第１検出データ又は図７に示す第２検出データを参照することにより、顧客Ｍごとに行動の内容を特定する。

人特定部１４６は、予め記憶部１３に記憶された、動きの特徴と行動の内容とが関連付けられた動き特定用データを参照することにより、撮像画像データ又は距離画像データにおける顧客Ｍの動きの特徴に対応する行動の内容を特定する。一例として、人特定部１４６は、顧客Ｍが手を商品棚の方に移動させる動きを特定した場合、顧客Ｍが商品を取る行動をしたことを特定する。人特定部１４６は、顧客Ｍが商品を手に取った後に、顧客Ｍが持っている買い物かごに商品が入っていないにもかかわらず顧客Ｍの手に商品がない場合に、顧客Ｍが万引きした可能性があることを特定する。

人特定部１４６は、一以上の撮像画像データに含まれている顧客Ｍの手の動きに基づいて当該人の利き手を特定してもよい。人特定部１４６は、例えば、顧客Ｍが商品を手に取る行動を特定した場合に、商品を取った手が利き手であると特定する。人特定部１４６は、記録処理部１４７を介して、顧客Ｍに対応する特徴ＩＤに関連付けて、特定した利き手を示すデータを検出データ記憶部１３４に記憶させる。

人特定部１４６は、顧客Ｍが同一のエリアに滞在している時間を特定してもよい。人特定部１４６は、検出部１４２が所定の時間以上にわたって継続して同一のエリアに滞在していると判定した場合に、検出部１４２が検出した顧客Ｍを識別するための特徴ＩＤと当該エリアを識別するための情報（例えば、アドレス又は棚ＩＤ）とを関連付けて検出データ記憶部１３４に記憶させてもよい。

図９は、同じ位置に長時間にわたって滞在している顧客Ｍと滞在位置とを関連付けたデータの一例である。図９においては、顧客Ｍに対応する特徴ＩＤごとに、１８０秒以上にわたって同じ位置に滞在していた場合の滞在時間と、滞在していた商品棚の位置を示す棚ＩＤとが関連付けられている。人特定部１４６がこのようなデータを作成することで、店舗Ｓの管理者が、同じ位置での滞在時間が長い顧客Ｍの行動履歴を確認しやすくなる。

人特定部１４６は、顧客Ｍの利き手が所定の時間以上にわたって商品の近くにあることを特定した場合に、顧客Ｍの特徴ＩＤと滞在位置を示す情報とを検出データ記憶部１３４に記憶させてもよい。顧客Ｍが万引きする際には、利き手が商品の近くにある時間が長くなる場合が多いと考えられるので、人特定部１４６がこのように動作することで、店舗Ｓの管理者が、万引きが行われた様子が含まれている撮像画像データを確認しやすくなる。

人特定部１４６は、所定の時間以上にわたって継続して同一のエリアに滞在していることを検出部１４２が検出した顧客Ｍの特徴ＩＤと、エリアＩＤと、当該顧客Ｍが所定の位置を向いている時間とを関連付けて検出データ記憶部１３４に記憶させてもよい。人特定部１４６は、顧客Ｍが所定の時間以上にわたって継続して同じ商品棚の位置を向いている場合に、当該顧客Ｍの特徴ＩＤに関連付けて、不審な行動をしていることを示すデータを検出データ記憶部１３４に記憶させてもよい。

図１０は、不審な行動であることを示すデータの一例を示す図である。図１０においては、特徴ＩＤと、滞在時間が所定の時間以上であることが特定された位置に対応するエリアＩＤと、滞在時間と、その時の顧客Ｍの向きと、不審フラグとが関連付けられている。顧客Ｍの向きは、商品の向きを０時の方向とし、商品と反対側の向きを６時の方向として表している。

不審フラグは、万引きをしようとしている可能性がある不審な動きをしているか否かを示すフラグである。人特定部１４６は、商品の向きに相当する１１時から１時の範囲を向いて１８０秒以上滞在している場合には不審であると判定している。このように、人特定部１４６が、長時間にわたって商品の方を向いている顧客Ｍに対応する特徴ＩＤに関連付けて不審フラグを含むデータを検出データ記憶部１３４に記憶させることで、店舗Ｓの管理者が、不審な顧客Ｍが写っている撮像画像データを検索して、当該撮像画像データを確認することで万引きをする可能性がある顧客Ｍの特徴を把握し、同じ特徴を持つ顧客Ｍが来店した場合に注意を払うことが可能になる。

人特定部１４６は、所定の時間以上にわたって継続して同一のエリアに滞在していることを検出部１４２が検出した顧客Ｍの特徴をさらに特定し、特定した特徴を特徴ＩＤ及びエリアＩＤに関連付けて検出データ記憶部１３４に記憶させてもよい。顧客Ｍの特徴を示すデータは、顧客Ｍの服装の種類や色、髪の長さ、顔の表情、顔の形状、肌の色を示す画像データであってもよく、テキストデータであってもよい。人特定部１４６が、同一のエリアに所定の時間以上にわたって滞在している顧客Ｍの特徴を示すデータを検出データ記憶部１３４に記憶させることで、店舗Ｓの管理者が撮像画像データを確認することなく、万引きをする可能性がある顧客Ｍの特徴を把握し、同じ特徴を持つ顧客Ｍが来店した場合に注意を払うことが可能になる。

人特定部１４６は、棚ＩＤと顧客Ｍの滞在時間とを関連付けたデータを作成してもよい。図１１は、棚ＩＤと顧客Ｍの滞在時間とを関連付けたデータの一例を示す図である。図１１に示すデータにおいては、棚ＩＤと、滞在人数と、滞在時間と、滞在していた顧客Ｍの特徴とが関連付けられている。

滞在人数は、１日の間に商品棚の前に所定の時間（例えば１０秒）以上にわたって滞在していた人の数である。滞在時間は、１日の間に商品棚の前に所定の時間以上にわたって滞在していた人の滞在時間の合計値（分）である。顧客の特徴には、男女比、年齢層、子連れの割合が含まれている。人特定部１４６が、顧客Ｍの行動を特定してこのようなデータを集計することで、店舗Ｓの管理者が、どの商品棚にどのような商品を配置するかを検討する際に好適である。また、店舗Ｓの管理者が、どの商品棚に顧客Ｍが長時間にわたって滞在しやすいかを把握することにより、万引きが行われやすい商品棚を把握したいという場合にも好適である。

記録処理部１４７は、撮像画像データ及び距離画像データを検出データ記憶部１３４に記憶させる。記録処理部１４７は、同一の顧客Ｍが共通に存在する複数の撮像画像データを当該顧客Ｍに関連付けて検出データ記憶部１３４に記憶させることにより、図６に示した第１検出データを作成する。記録処理部１４７は、撮像画像データに含まれる顧客Ｍごとに、複数の撮像画像データを分類することにより、図６に示した第１検出データを作成する。具体的には、記録処理部１４７は、特徴特定部１４５が割り当てた特徴ＩＤに関連付けて複数の撮像画像データを検出データ記憶部１３４に記憶させる。

記録処理部１４７は、複数の撮像画像データにおいて同じ特徴を有する顧客Ｍを特徴特定部１４５が検出した場合、検出した顧客Ｍが写っている複数の撮像画像データを関連付けて検出データ記憶部１３４に記憶させることにより、図５に示した第１検出データを作成する。

また、記録処理部１４７は、同一の顧客Ｍが共通に存在する複数の距離画像データを当該顧客Ｍに関連付けて検出データ記憶部１３４に記憶させることにより、図７に示した第２検出データを作成する。記録処理部１４７は、距離画像データに含まれる顧客Ｍごとに、複数の距離画像データを分類することにより、図７に示した第２検出データを作成する。

具体的には、記録処理部１４７は、例えば顧客Ｍ１が含まれる２つの撮像画像データを用いて作成した距離画像データを、時系列に並べて検出データ記憶部１３４に記憶させる。より具体的には、距離画像作成部１４４は、距離画像データの作成に用いた撮像画像データの開始日時及び終了日時と、撮像画像データを生成したカメラＣのカメラＩＤと、距離画像データのファイル名とが関連付けられた第２検出データを作成し、検出データ記憶部１３４における画像データ名に対応するアドレスに距離画像データを記憶させる。

［画像処理装置１における処理の流れ］
図１２は、画像処理装置１における処理の流れを示すフローチャートである。データ取得部１４１は、複数のカメラＣが生成した撮像画像データを取得する（Ｓ１）。検出部１４２は、複数の撮像画像データそれぞれにおいて顧客Ｍの画像を特定し、顧客Ｍの位置を検出する（Ｓ２）。

検出部１４２は、撮像画像データにおいて顧客Ｍを検出した位置と、当該撮像画像データを生成したカメラＣの位置とに基づいて、検出した顧客Ｍがいるエリアを特定する（Ｓ３）。また、検出部１４２は、生成された時刻が異なる複数の撮像画像データにおいて検出した顧客Ｍの位置の変化に基づいて、顧客Ｍの進行方向を特定する（Ｓ４）。

続いて、選択部１４３は、店舗Ｓに設置された複数のカメラＣから、距離画像データに用いる２つのカメラＣを選択する（Ｓ５）。選択部１４３は、例えば検出部１４２が顧客Ｍを検出した位置における顧客Ｍの行動を特定するために適した距離画像データを作成するために使用可能な２つの撮像画像データを生成する２つのカメラＣを選択する。そして、選択部１４３は、選択した２つのカメラＣが生成した２つの撮像画像データを選択する（Ｓ６）。

距離画像作成部１４４は、選択部１４３が選択した２つの撮像画像データを用いて距離画像データを作成する（Ｓ７）。記録処理部１４７は、距離画像データを顧客Ｍごとに検出データ記憶部１３４に記憶させる（Ｓ８）。記録処理部１４７が距離画像データを検出データ記憶部１３４に記憶させる処理の詳細は、図１３を参照しながら後述する。

人特定部１４６は、距離画像作成部１４４が作成した距離画像データを解析して、距離画像データに含まれている顧客Ｍが同じ位置に滞在している時間が閾値以上であるか否かを判定する（Ｓ９）。人特定部１４６は、滞在時間が閾値以上であると判定した場合（Ｓ９においてＹＥＳ）、異なる時刻に撮影された複数の撮像画像データ（すなわち動画像データ）を解析することにより、顧客Ｍの行動内容を特定する（Ｓ１０）。

制御部１４は、撮像画像データの解析を終了する指示を受けるまで、又は予め設定された時刻になるまで（Ｓ１１においてＮＯ）、Ｓ１からＳ１０までの処理を繰り返す。

図１３は、記録処理部１４７が距離画像データを検出データ記憶部１３４に記憶させる処理（Ｓ８）の流れを示すフローチャートである。記録処理部１４７が距離画像データを検出データ記憶部１３４に記憶させる前に、特徴特定部１４５は、距離画像データに含まれている顧客Ｍの特徴を特定する（Ｓ１０１）。

記録処理部１４７は、ある時刻に撮影された撮像画像データに基づく距離画像データに基づいて特徴特定部１４５が顧客Ｍの特徴を特定した場合、過去に同じ特徴に対応する特徴ＩＤが検出データ記憶部１３４に記録されているか否かを判定する（Ｓ１０２）。記録処理部１４７は、過去に同じ特徴ＩＤが検出データ記憶部１３４に記録されている場合（Ｓ１０２においてＹＥＳ）、記録されている特徴ＩＤに関連付けて距離画像データを検出データ記憶部１３４に記憶させることで第２検出データを更新する（Ｓ１０３）。

記録処理部１４７は、同じ特徴に対応する特徴ＩＤが過去の所定の期間内に検出データ記憶部１３４に記録されていない場合（Ｓ１０２においてＮＯ）、新たな特徴ＩＤに関連付けて距離画像データを検出データ記憶部１３４に記憶させることで、新たな特徴ＩＤに対応する第２検出データを作成する（Ｓ１０４）。過去の所定の期間は、例えば店舗Ｓの管理者により設定された期間であり、１日であってもよく１週間であってもよい。

また、記録処理部１４７は、人特定部１４６が不審な行動を検出した場合（Ｓ１０５においてＹＥＳ）、図１０に示すように、不審な行動が検出された顧客Ｍの特徴ＩＤに関連付けて、不審であることを示す不審フラグを検出データ記憶部１３４に記憶させる（Ｓ１０６）。記録処理部１４７は、人特定部１４６が不審な行動を検出していない場合、不審フラグを検出データ記憶部１３４に記憶させない（Ｓ１０７）。

［画像処理装置１による効果］
以上説明したように、画像処理装置１においては、選択部１４３が、店舗Ｓに設置された複数のカメラＣが生成した複数の撮像画像データのうち、検出部１４２が顧客Ｍを検出した位置に基づいて２つの撮像画像データを選択し、距離画像作成部１４４が、選択された２つの撮像画像データを用いて距離画像データを作成する。画像処理装置１がこのように構成されていることで、複数のカメラＣが生成した複数の撮像画像データを用いて、人特定部１４６が高い精度で人の行動を特定するために有用な距離画像データを作成できる。

特徴特定部１４５は、顧客Ｍの特徴を特定し、人特定部１４６は、特徴特定部１４５が第１のカメラＣが生成した第１撮像画像データに基づいて特定した特徴と、第２のカメラＣが生成した第２撮像画像データに基づいて特定した特徴とが一致する場合に、当該特徴が特定された顧客Ｍが同一の顧客Ｍであることを特定する。そして、記録処理部１４７は、特定した顧客Ｍごとに、撮像画像データ又は距離画像データの少なくともいずれかを検出データ記憶部１３４に記憶させる。画像処理装置１がこのように構成されていることで、画像処理装置１が顧客Ｍごとに行動の内容を特定しやすくなる。また、店舗Ｓの管理者が、特定の顧客Ｍの行動を確認できる撮像画像データ又は距離画像データを検索しやすくなる。

また、設定データ記憶部１３２は、撮像画像データから検出する対象となる顧客Ｍの部位である検出対象部位を記憶し、選択部１４３は、設定データ記憶部１３２が記憶する検出対象部位を撮影可能な一以上のカメラＣが生成した一以上の撮像画像データを複数の撮像画像データから選択する。選択部１４３がこのようにして撮像画像データを選択することで、画像処理装置１は、店舗Ｓの管理者が監視したい顧客Ｍの部位の動きを特定するために有用な撮像画像データを解析すればよいので、画像解析処理の効率を向上させることができる。

また、人特定部１４６は、検出部１４２が所定の時間以上にわたって継続して同一のエリアに滞在していると判定した場合に、検出部１４２が検出した顧客Ｍを識別するための特徴ＩＤとエリアＩＤとを関連付けて検出データ記憶部１３４に記憶させる。人特定部１４６がこのように構成されていることで、画像処理装置１は、店舗Ｓの管理者に対して、顧客とエリアの関係に関する情報を提供することができる。

また、特徴特定部１４５は、それぞれのカメラＣが生成した動画像データに含まれる人の頭の高さの変化の特徴を特定する。特徴特定部１４５がこのような特徴を顧客Ｍの特徴の一つとして特定することで、複数のカメラＣが生成した複数の動画像データに共通に含まれている顧客Ｍを検出する精度が向上する。

なお、以上の説明においては、カメラＣが店舗Ｓに設置されており、制御部１４が特徴や行動の内容を特定する対象となる人が店舗Ｓの顧客Ｍである場合を例にして説明したが、カメラＣが設置されている空間は任意であり、制御部１４が特徴や行動の内容を特定する対象となる人も任意である。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ 画像処理装置
１１ 通信部
１２ 設定受付部
１３ 記憶部
１４ 制御部
１００ 画像処理システム
１３１ プログラム記憶部
１３２ 設定データ記憶部
１３３ エリアデータ記憶部
１３４ 検出データ記憶部
１４１ データ取得部
１４２ 検出部
１４３ 選択部
１４４ 距離画像作成部
１４４ 距離画像作成部
１４５ 特徴特定部
１４６ 人特定部
１４７ 記録処理部
Ｃ カメラ

Claims (8)

1. 所定の空間に設置された３以上の撮像装置が生成した３以上の撮像画像データを取得するデータ取得部と、
   前記所定の空間内の人の位置を検出する検出部と、
   前記検出部が検出した前記位置に基づいて、前記３以上の撮像画像データから２つの撮像画像データを選択する選択部と、
   前記選択部が選択した前記２つの撮像画像データに基づいて、距離情報を含む距離画像データを作成する距離画像作成部と、
   を有し、
   前記選択部は、前記検出部が検出した位置の人を撮影可能な３以上の前記撮像装置のうち、前記検出部が検出した人の位置と前記撮像装置の位置との距離が最も近い２つの前記撮像装置が生成した前記２つの撮像画像データを選択する、画像処理装置。
2. 前記所定の空間は複数のエリアを有しており、
   前記画像処理装置は、前記複数のエリアそれぞれと２つ以上の撮像装置とを関連付けて記憶するエリアデータ記憶部をさらに有し、
   前記検出部は、人が存在するエリアを検出し、
   前記選択部は、前記検出部が検出したエリアに関連付けて前記エリアデータ記憶部に記憶された２つの撮像装置が生成した前記２つの撮像画像データを選択する、
   請求項１に記載の画像処理装置。
3. 同一の人が共通に存在する複数の距離画像データを当該人に関連付けて検出データ記憶部に記憶させる記録処理部をさらに有する、
   請求項１又は２に記載の画像処理装置。
4. 前記記録処理部は、前記複数の距離画像データに対応する前記撮像画像データが生成された時刻に関連付けて、前記複数の距離画像データを前記検出データ記憶部に記憶させる、
   請求項３に記載の画像処理装置。
5. 前記選択部は、前記検出部が特定した異なる時刻に対応する複数の位置の関係に基づいて、前記検出部が検出した人の進行方向を特定した結果に基づいて、複数の前記２つの撮像画像データを選択する、
   請求項１から４のいずれか一項に記載の画像処理装置。
6. 所定の空間に設置された３以上の撮像装置が生成した３以上の撮像画像データを取得するデータ取得部と、
   前記所定の空間内の人の位置を検出する検出部と、
   前記検出部が検出した前記位置に基づいて、３以上前記撮像装置から２つの前記撮像装置を選択する選択部と、
   前記選択部が選択した２つの前記撮像装置が生成した２つの撮像画像データに基づいて、距離情報を含む距離画像データを作成する距離画像作成部と、
   を有し、
   前記選択部は、前記検出部が検出した位置の人を撮影可能な３以上の前記撮像装置のうち、前記検出部が検出した人の位置と前記撮像装置の位置との距離が最も近い２つの前記撮像装置が生成した前記２つの撮像画像データを選択する、画像処理装置。
7. コンピュータを
   所定の空間に設置された３以上の撮像装置が生成した３以上の撮像画像データを取得するデータ取得部と、
   前記所定の空間内の人の位置を検出する検出部と、
   前記検出部が検出した前記位置に基づいて、前記３以上の撮像画像データから２つの撮像画像データを選択する選択部と、
   前記選択部が選択した前記２つの撮像画像データに基づいて、距離情報を含む距離画像データを作成する距離画像作成部と、
   として機能させるためのプログラムであって、
   前記選択部は、前記検出部が検出した位置の人を撮影可能な３以上の前記撮像装置のうち、前記検出部が検出した人の位置と前記撮像装置の位置との距離が最も近い２つの前記撮像装置が生成した前記２つの撮像画像データを選択する、プログラム。
8. コンピュータを
   所定の空間に設置された３以上の撮像装置が生成した３以上の撮像画像データを取得するデータ取得部と、
   前記所定の空間内の人の位置を検出する検出部と、
   前記検出部が検出した前記位置に基づいて、３以上前記撮像装置から２つの前記撮像装置を選択する選択部と、
   前記選択部が選択した２つの前記撮像装置が生成した２つの撮像画像データに基づいて、距離情報を含む距離画像データを作成する距離画像作成部と、
   として機能させるためのプログラムであって、
   前記選択部は、前記検出部が検出した位置の人を撮影可能な３以上の前記撮像装置のうち、前記検出部が検出した人の位置と前記撮像装置の位置との距離が最も近い２つの前記撮像装置が生成した前記２つの撮像画像データを選択する、プログラム。