JP6915542B2 - 情報処理装置、通知システム、情報送信方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、通知システム、情報送信方法及びプログラムに関する。

特許文献１には、機械学習のための学習画像の候補を表示し、学習画像として採用する画像をユーザが手動で選択する技術が記載されている。

特開２０１１−１４５７９１号公報

しかしながら、特許文献１に記載の技術では、画像に応じて適切な送信先を決定することはできない。具体的には、特許文献１には、学習画像として採用する画像を選択するための技術が記載されているものの、当該選択を行う者を複数の候補者の中から決定するための技術は記載されていない。

本発明は、上述の課題を解決することのできる情報処理装置、通知システム、情報送信方法及びプログラムを提供することを目的としている。

本発明の第１の態様によれば、情報処理装置は、画像から前記画像に含まれる対象を特定する特定部と、前記対象に関する情報を取得する情報取得部と、前記画像又は前記画像に関する情報の送信先を、前記特定部が特定した前記対象に対応付けられた送信先と異なる送信先に決定し、決定した送信先へ前記画像又は前記画像に関する情報を送信する送信部と、を備える。

本発明の第３の態様によれば、通知システムは、画像から前記画像に含まれる対象を特定し、前記対象に関する情報を出力する出力部を有する第１の情報処理装置と、前記画像又は前記画像に関する情報の送信先を、前記出力部が特定した前記対象に対応付けられた送信先と異なる送信先に決定し、決定した送信先へ前記画像又は前記画像に関する情報を送信する送信部を有する第２の情報処理装置と、を備える。

本発明の第４の態様によれば、情報送信方法は、情報処理装置が、画像から前記画像に含まれる対象を特定するステップと、前記情報処理装置が、前記対象に関する情報を取得する情報取得ステップと、前記情報処理装置が、前記画像又は前記画像に関する情報の送信先を、特定した前記対象に対応付けられた送信先と異なる送信先に決定し、決定した送信先へ前記画像又は前記画像に関する情報を送信する送信ステップと、を含む。

本発明の第５の態様によれば、プログラムは、情報処理装置に、画像から前記画像に含まれる対象を特定するステップと、前記画像に含まれる対象に関する情報を取得する情報取得ステップと、前記画像又は前記画像に関する情報の送信先を、特定した前記対象に対応付けられた送信先と異なる送信先に決定し、決定した送信先へ前記画像又は前記画像に関する情報を送信する送信ステップと、を実行させるためのプログラムである。

この発明によれば、画像に応じた適切な送信先を決定することができる。

本発明の一実施形態に係る通知システムの装置構成の例を示す構成図である。 同実施形態における学習装置の機能構成を示すブロック図である。 同実施形態における画像取得装置の機能構成を示すブロック図である。 同実施形態における不審検知装置の機能構成を示すブロック図である。 同実施形態における異常判定装置の機能構成を示すブロック図である。 同実施形態における不審検知装置の変形例の機能構成を示すブロック図である。 同実施形態における通知システムが行う処理例を示す第１のフローチャートである。 同実施形態における通知システムが行う処理例を示す第２のフローチャートである。 同実施形態における通知システムが行う処理例を示す第３のフローチャートである。 同実施形態における学習装置のハードウェア構成の例を示すブロック図である。 同実施形態における画像取得装置のハードウェア構成の例を示すブロック図である。 同実施形態における不審検知装置のハードウェア構成の例を示すブロック図である。 同実施形態における異常判定装置のハードウェア構成の例を示すブロック図である。 本発明に係る情報処理装置の最小構成を示すブロック図である。 本発明に係る判定装置の最小構成を示すブロック図である。 本発明に係る通知システムの最小構成を示すブロック図である。 同実施形態の情報処理装置が行う処理例を示すフローチャートである。 同実施形態の判定装置が行う処理例を示すフローチャートである。 同実施形態の通知システムが行う処理例を示すフローチャートである。

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本発明の一実施形態に係る通知システムの装置構成の例を示す構成図である。同図に示すように、通知システム１は、学習装置１００と、画像取得装置２００と、不審検知装置３００と、異常判定装置４００とを備える。画像取得装置２００と不審検知装置３００とは通信可能に接続されている。また、学習装置１００と不審検知装置３００と異常判定装置４００とは、ネットワーク９００を介して通信可能に接続されている。

通知システム１は、画像又は画像に関する情報の送信先（通知先）を、当該画像に含まれる対象に関する情報に応じて決定し、決定した送信先へ画像又は画像に関する情報を送信するシステムである。ここでいう対象は、画像認識の対象であり、人であってもよいし、物であってもよいし、組織であってもよい。
具体的には、通知システム１は、監視対象の店舗内の画像を撮影し、キャッシュ・レジスタや、ＰＯＳ（Point Of Sale）システムでの不正精算行為など、店舗内における異常発生の可能性を検知する。そして、通知システム１は、検知した異常に応じて異常発生の可能性の通知先を選択し、選択した通知先へ異常発生の可能性を通知する。例えば、通知システム１は、画像に含まれる人物に応じて、当該人物以外の人物に異常発生の可能性を通知する。画像に含まれる人物とは、画像に映っている人物である。

なお、以下では異常発生の可能性を不審とも称する。但し、後述するように、通知システム１を、店舗内の監視に限らずいろいろな用途に用いることができる。通知システム１を、人の転倒を検出、探し物の発見、迷子の発見に用いる場合など、通知システム１の用途によっては、通知システム１が検出する異常発生の可能性は、疑わしく思うという意味での「不審」には該当せず、通常と異なる可能性があることを意味する。
また、以下では通知システム１がモデルを用いて検出した画像を不審画像とも称する。但し、上記のように、通知システム１が検出する異常発生の可能性が不審に該当しない場合、通知システム１がモデルを用いて検出した画像は、不審な様子が映った画像という意味での「不審画像」には該当せず、通常と異なる可能性がある様子を映した画像である。

学習装置１００は、不審検知のためのモデル（学習モデル）を生成する。学習装置１００は、異常を分類したカテゴリ毎に、当該カテゴリに対応付けられた異常が発生した可能性の評価値を算出するためのモデルを生成する。
また、学習装置１００は、通知先決定装置としても機能し、異常発生の可能性有りと判定された画像に基づいて、当該画像又は当該画像に関する情報の送信先を決定する。例えば、学習装置１００は、異常発生の可能性有りと判定された画像に含まれる人物に応じて、当該人物以外の人物に、異常発生の可能性の通知先を決定し、通知を行う。学習装置１００は、情報処理装置の例に該当する。
なお、学習装置１００が、学習装置１００自らは学習モデルを生成せず、通知システム１の外部の装置から学習モデルを取得するようにしてもよい。

また、学習装置１００は、通報装置としても機能し、異常判定装置４００から通報依頼を受信すると、所定の送信先に異常発生の通報を行う。例えば、異常判定装置４００が、所定の送信先としての警察に異常発生の通報を行うようにしてもよいし、警備会社に異常発生の通報を行うようにしてもよい。
学習装置１００は、例えばコンピュータを含んで構成される。
また、学習装置１００は、クラウド側の装置として構成されている。具体的には、学習装置１００が、異常判定装置４００のユーザから見てネットワーク９００内の装置として構成されている。但し、学習装置１００が、エッジ側の装置として構成されていてもよい。

例えば、学習装置１００と不審検知装置３００とが、一体に構成されて監視対象の店舗内に設置されていてもよい。あるいは、学習装置１００が、監視対象の店舗内に設置された不審検知装置３００と同一のＬＡＮ（Local Area Network）上に設けられていてもよい。あるいは、学習装置１００と不審検知装置３００とが、一体に構成されてクラウド上に設置されていてもよい。あるいは、学習装置１００が、クラウド上に設置された不審検知装置３００と同一のＬＡＮ（Local Area Network）上に設けられていてもよい。

画像取得装置２００は、監視対象の店舗内を撮影し、店舗内の画像を取得する。画像取得装置２００が動画像を撮影するようにしてもよいし、静止画像を撮影するようにしてもよい。
不審検知装置３００は、画像取得装置２００が撮影した画像に対して不審検知処理を行う。すなわち、不審検知装置３００は、画像取得装置２００が撮影した画像に基づいて異常発生の可能性の有無を判定する。具体的には、不審検知装置３００は、画像取得装置２００が撮影した画像についてカテゴリ毎にスコアを算出する。カテゴリは、異常を分類して定められたカテゴリである。スコアは、カテゴリに分類された異常が発生した可能性を表す評価値である。そして、不審検知装置３００は、いずれか１つ以上のカテゴリでスコアが閾値以上になった場合に異常発生の可能性ありと判定する。

また、不審検知装置３００は、画像蓄積装置としても機能し、画像取得装置２００が撮影した画像を画像データにて蓄積する。不審検知装置３００が、画像取得装置２００が撮影した画像をそのまま蓄積するようにしてもよい。あるいは、不審検知装置３００が、異常発生の可能性が判定された画像の前後一定時間分の画像を蓄積するようにしてもよい。不審検知装置３００が、異常発生の可能性が判定された画像の前後一定時間分の画像を蓄積することで、画像蓄積装置としての不審検知装置３００の記憶容量、及び、画像を検索する際の検索時間を低減させることができる。
不審検知装置３００は、例えばコンピュータを含んで構成される。
また、不審検知装置３００は、エッジ側の装置として構成されている。但し、不審検知装置３００が、クラウド側の装置として構成されていてもよい。
検知システム１が備える不審検知装置３００の数は、１つ以上であればよい。また、不審検知装置３００の各々により処理される画像を取得する画像取得装置２００の数は１つ以上であればよい。

異常判定装置４００は、不審検知装置３００が異常発生の可能性有りと判定した画像に基づいて、異常の有無の判定結果を取得する。具体的には、異常判定装置４００は、不審検知装置３００が異常発生の可能性有りと判定した画像を表示し、異常判定装置４００のユーザによる異常の有無の判定結果を取得する。異常判定装置４００では、店舗のマネージャ等の判定者は、不審検知装置３００により判定された画像を含む通知画面を参照して、予め定義されているカテゴリの選択、または新たなカテゴリの作成といった操作により判定を行う。

但し、異常判定装置４００が、異常発生の可能性有りと判定された画像に代えて、異常発生の可能性有りを示す情報を不審検知装置３００から取得するようにしてもよい。あるいは、異常判定装置４００が、異常発生の可能性有りと判定された画像に代えて、異常が発生した可能性場所及び時刻のうちいずれか、または両方を示す情報を取得するようにしてもよい。この場合、判定者は、例えば、異常が発生した可能性がある場所へ出向いて、あるいは異常が発生した可能性がある場所を撮影する監視カメラの画像を参照して、異常の有無を判定し、判定結果を異常判定装置４００に入力する。
また、異常判定装置４００は、通報依頼装置としても機能し、異常有りとの判定結果を取得した場合、学習装置１００に通報を依頼する。

異常判定装置４００は、例えばスマートフォン又は携帯電話機などの携帯通信端末装置を含んで構成される。例えば、店長又は副店長など異常有無の判定者が、携帯端末装置を異常判定装置４００として用いて、当該携帯端末装置が表示する画面に異常（異常状況）が映っているか否かを判定し、判定結果を入力するユーザ操作を行う。異常判定装置４００は判定装置の例に該当する。
異常判定装置４００は、画像を表示して異常有無判定結果を取得可能な装置であればよい。例えば、異常判定装置４００が、店長室に設置されたパソコン（Personal Computer；ＰＣ）を含んで構成されていてもよい。

ネットワーク９００は、学習装置１００と不審検知装置３００との通信、及び、学習装置１００と異常判定装置４００との通信を仲介する。例えば、ネットワーク９００は、インターネットと携帯電話網との組み合わせにて構成されている。ここでいう携帯電話網は、通信事業者がスマートフォン及び携帯電話機向けに提供する無線通信ネットワークである。但し、通知システム１を構成する装置間の通信形態は特定の通信形態に限定されない。例えば、ネットワーク９００が、ＬＡＮなど、インターネットや携帯電話網以外の通信ネットワークであってもよい。あるいは、学習装置１００と、不審検知装置３００と、異常判定装置４００とが、通信ネットワークを介さずに直接通信するようにしてもよい。

なお、通知システム１の装置構成は、図１を参照して上述した構成に限らない。例えば、通知先決定装置及び通報装置の少なくとも何れかが独立の装置として構成されていてもよい。あるいは、通知先決定装置及び通報装置の少なくとも何れかの機能が、不審検知装置３００又は異常判定装置４００にて実現されていてもよい。また、画像蓄積装置が独立の装置として構成されていてもよい。あるいは、画像蓄積装置の機能が、画像取得装置２００又は学習装置１００にて実現されていてもよい。

図２は、学習装置１００の機能構成を示すブロック図である。同図に示すように、学習装置１００は、第一通信部１１０と、第一記憶部１７０と、第一制御部１８０とを備える。第一制御部１８０は、モデル生成部１８１と、カテゴリ調整部１８２と、送信先決定部１８３と、通報部１８４とを備える。

第一通信部１１０は、ネットワーク９００を介して不審検知装置３００及び異常判定装置４００と通信を行う。第一通信部１１０は、モデル生成部１８１が生成する不審検知のためのモデルを、モデルデータとして不審検知装置３００へ出力（送信）する。また、第一通信部１１０は、不審画像及びカテゴリ候補を不審検知装置３００から取得（受信）する。不審画像は、異常発生の可能性有りと判定された画像である。カテゴリ候補は、不審画像に映っている可能性がある異常のカテゴリの候補である。そして、第一通信部１１０は、取得した不審画像及びカテゴリ候補を、送信先決定部１８３が送信先として決定した異常判定装置４００に送信する。また、第一通信部１１０は、不審画像の送信要求を不審検知装置３００に送信し、当該送信要求に応じて不審検知装置３００が送信する画像データを受信する。また、第一通信部１１０は、異常の有無の判定結果を異常判定装置４００から受信する。また、第一通信部１１０は、異常判定装置４００からの通報依頼を受信し、当該通報依頼に基づく通報を、所定の送信先（通報先）に送信する。

第一記憶部１７０は、各種データを記憶する。第一記憶部１７０は、学習装置１００が備える記憶デバイスを用いて実現される。
第一制御部１８０は、学習装置１００の各部を制御して各種機能を実行する。第一制御部１８０は、例えば、学習装置１００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、第一記憶部１７０からプログラムを読み出して実行することで実現される。

モデル生成部１８１は、画像を抽出するために用いられるモデルデータを機械学習によって生成する。具体的には、モデル生成部１８１は、不審検知装置３００が不審検知処理に用いるモデルデータをカテゴリ毎に生成する。上述したように、不審検知装置３００は、当該モデルデータが示すモデルを用いて、カテゴリ毎にスコアを算出し、いずれか１つ以上のカテゴリでスコアが閾値以上になった場合に異常発生の可能性ありと判定する。

モデル生成部１８１は、異常発生の可能性有りと判定された不審画像のうち、当該異常が含まれる部分画像を用いてモデルデータの生成を行う。異常が含まれる部分画像とは、不審画像のうち当該異常が映っている部分の画像である。このように、モデル生成部１８１が、異常が含まれる部分画像を用いて学習を行うことで、モデル生成部１８１は、異常が含まれる画像の特徴をより正確に抽出することができる。この点で、モデル生成部１８１は、より高精度に学習を行うことができる。異常が含まれる部分画像の切出しは、後述する不審検知装置３００の部分画像切出し部３８４が行う。

モデル生成部１８１が行う機械学習のアルゴリズムは、画像をカテゴリに分類できるアルゴリズムであればよく、いろいろなものを用いることができる。例えば、モデル生成部１８１が、サポート・ベクター・マシン（Support Vector Machine）又はニューラルネットワーク（Neural Network、例えば誤差逆伝播法（Backpropagation））など、公知の学習アルゴリズムを用いて機械学習を行うようにしてもよい。

カテゴリ調整部１８２は、異常を分類したカテゴリを、学習に必要な数の学習用データ（教師データ）が各カテゴリに含まれるように調整する。具体的には、あるカテゴリに含まれる学習用データの数が不足している場合、カテゴリ調整部１８２は、当該カテゴリと、当該カテゴリに類似するカテゴリとをサブカテゴリにして、これらのサブカテゴリを結合したカテゴリを生成する。すなわち、カテゴリ調整部１８２は、複数のカテゴリのうち当該カテゴリに該当する学習用データの数が所定数より少ない第１カテゴリを検出した場合、当該第１カテゴリと他のカテゴリとの類似度を算出し、類似度が高い１つ以上の第２カテゴリと第１カテゴリとを１つのカテゴリに纏める。

店舗での異常のカテゴリの例として、万引き、レジでの不正操作、及び、禁止エリアへの侵入を挙げることができる。万引きのサブカテゴリの例として、商品を鞄の中に入れる手口、及び、商品を服の中に隠す手口を挙げることができる。レジでの不正操作のサブカテゴリの例として、商品をレジに通さない手口、バーコードを隠して商品をレジにかざしたふりをする手口、同じパッケージを複数重ねてレジを通し、１つの商品のバーコードのみレジに読み取らせる手口を挙げることができる。禁止エリアへの侵入のサブカテゴリとして、棚の上に上る行為、及び、従業員室への進入を挙げることができる。

このようにカテゴリの結合を行うために、カテゴリ調整部１８２は、カテゴリの近似度の評価を行う。
具体的には、カテゴリ調整部１８２は、学習用データの画像に対し、全てのカテゴリについて、不審検知装置３００によるスコア算出を適用する。そして、カテゴリ調整部１８２は、得られたスコアが閾値以上であったカテゴリと、学習用データのカテゴリとが近似していると評価する。

例えば、カテゴリＡ〜Ｅまである場合、カテゴリ調整部１８２は、カテゴリＡの教師データの中からランダムに画像を選択する。そして、カテゴリ調整部１８２は、選択した画像を、第一通信部１１０を介して不審検知装置３００に送信する。不審検知装置３００は、カテゴリＡ〜Ｅの各々についてスコアを算出し、学習装置１００に送信（回答）する。
例えば、各カテゴリのスコアが、カテゴリＡ：９５％、カテゴリＢ：３０％、カテゴリＣ：２％、カテゴリＤ：８０％、カテゴリＥ：４５％であり、閾値が７０％であった場合、カテゴリ調整部１８２は、カテゴリＡとカテゴリＤとが近似していると評価する。

近似していると評価されたカテゴリは、学習用データの数が少ない場合にカテゴリを１つに纏める候補となる。例えば、カテゴリＡとカテゴリＤとを１つに纏める場合、カテゴリ調整部１８２は、カテゴリＡ及びカテゴリＤをそれぞれサブカテゴリＡ及びサブカテゴリＤとし、サブカテゴリＡとサブカテゴリＤとを纏めたカテゴリを新たなカテゴリＦとする。

但し、カテゴリ調整部１８２がカテゴリの近似度を評価するアルゴリズムは、画像の近似度を算出可能なアルゴリズムであればよく、いろいろなものを用いることができる。画像の近似度は、例えば画像に含まれる行為や画像に映った行為の近似度である。カテゴリ調整部１８２がカテゴリの近似度を評価するアルゴリズムとして公知のアルゴリズムを用いるようにしてもよい。例えば、色特徴、テクスチャ、形状のいずれか又はこれらの組み合わせを特徴量として用いる類似画像検索方法を、カテゴリ調整部１８２がカテゴリの近似度を評価するアルゴリズムとして用いることができる。

また、１つのカテゴリが複数のサブカテゴリを含み、全てのサブカテゴリが学習に必要な数の学習用データを含んでいる場合、カテゴリ調整部１８２は、当該カテゴリをサブカテゴリに分割し、各サブカテゴリをカテゴリに昇格させる。すなわち、カテゴリ調整部１８２は、１つのカテゴリに纏められた複数のサブカテゴリの各々に該当する学習用データの数を計数し、何れのサブカテゴリも学習用データが所定数以上あると判定した場合、１つのカテゴリに纏められた複数のサブカテゴリを分割し、各サブカテゴリをカテゴリとする。

また、カテゴリ調整部１８２は、対象の行為のカテゴリ（異常を分類したカテゴリ）として設定されている複数のカテゴリのうち、不審画像に含まれる対象の行為に該当するカテゴリを示す情報と不審画像とを取得する。そして、カテゴリ調整部１８２は、当該画像と情報が示すカテゴリとを関連付ける。

送信先決定部１８３は、不審画像に基づいて、当該画像又は当該画像に関する情報の送信先を決定する。
例えば、送信先決定部１８３は、不審画像に含まれる人物に応じて、当該人物以外の人物に、異常発生の可能性の通知先を決定する。ここで、店舗内で不正行為が行われた場合、不正行為が行われた可能性があることを当該不正行為の当事者或いは仲間に通知しても、通知を受けた者は当該通知を無視する又は通知を受けたことをもみ消すと考えられる。これでは、不正行為が行われた可能性があることを通知しても、状況が改善されない可能性が高い。また、不審画像に含まれる人物は、不正行為の場に居た点で、不正行為の当事者又は仲間である可能性が比較的高い。

そこで、送信先決定部１８３は、不審画像に含まれる人物以外の人物に、異常発生の可能性の通知先を決定する。これにより、送信先決定部１８３は、不正行為の当事者又は仲間である可能性が比較的低い人物に通知を行うことができ、この点で、状況が改善される可能性を高めることができる。

例えば、送信先決定部１８３は、不審画像に店長が含まれている場合、副店長の異常判定装置を通知先に決定する。
なお、送信先決定部１８３が、不審画像に含まれる人物以外の人物に加えて、不審画像に含まれる人物を通知先に決定するようにしてもよい。不正行為の当事者又は仲間に通知することで警告の効果を期待でき、この点で、状況が改善される可能性がある。

送信先決定部１８３が、通知先（送信先）として、メールの送信先アドレスを決定するようにしてもよい。あるいは、送信先決定部１８３が、通知先として、通知先の異常判定装置４００の識別情報を決定するようにしてもよい。例えば、異常判定装置４００がスマートフォンまたは携帯電話機である場合、送信先決定部１８３が、通知先の異常判定装置４００の電話番号またはＩＭＳＩ（International Mobile Subscriber Identity）を通知先に決定するようにしてもよい。

なお、送信先決定部１８３が、不審画像に代えて、不審画像が撮影された時刻又は場所に関する情報に基づいて、不審画像又は不審画像に関する情報の送信先を決定するようにしてもよい。例えば、送信先決定部１８３が、不審画像が撮影された時刻と、従業員の勤務時間とに基づいて、画像が撮影された時間が勤務時間に該当しない従業員に送信先を決定するようにしてもよい。

送信先決定部１８３と第一通信部１１０とを組み合わせた送信部１９０は、通知先決定装置として機能する。具体的には、送信先決定部１８３が、対象に関する情報に応じて、画像又は画像に関する情報の送信先を決定し、第一通信部１１０が、画像又は画像に関する情報を当該送信先に送信する。送信部１９０は、上記のように、不審画像に含まれる人物に対応付けられた送信先と異なる送信先を、画像又は画像に関する情報の送信先に決定する。不審画像に含まれる人物は、後述する不審検知装置３００の特定部３８２が特定した対象の例に該当する。

また、送信部１９０は、不審画像の撮影時刻を含む所定時間範囲内に撮影された複数の画像を送信する。所定時間範囲内に撮影された複数の画像は、例えば、不審画像と、その不審画像が撮影された時刻の前後に撮影された画像とが含まれる。あるいは、送信部１９０が、当該複数の画像に関する情報を送信するようにしてもよい。複数の画像に関する情報は、例えば、複数の画像を取得するためのアクセス先を示す情報である。

また、送信部１９０は、不審画像に加えて、当該画像に対応付けられたカテゴリを示す情報を送信する。不審画像に対応付けられたカテゴリを示す情報は、当該画像に含まれる以上の種類の候補を示す情報である。当該カテゴリを示す情報は、画像を抽出するために用いられた前記モデルデータに関する情報の例に該当する。
学習装置１００は、送信部１９０を含む点で第２の情報処理装置の例に該当する。送信部１９０は、第２の情報処理装置の送信部の例に該当する。
通報部１８４は、異常判定装置４００からの通報依頼に応じて、第一通信部１１０を介して所定の送信先に異常発生の通報を行う。このように、第一通信部１１０と通報部１８４との組み合わせにて、通報装置として機能する。

図３は、画像取得装置２００の機能構成を示すブロック図である。同図に示すように、画像取得装置２００は、画像取得部２１０と、画像出力部２２０とを備える。
画像取得部２１０はカメラを含んで構成され、監視対象の店舗内を撮影する。画像取得部２１０が、動画像を撮影するようにしてもよいし、静止画像を撮影するようにしてもよい。
画像出力部２２０は、画像取得部２１０が撮影した画像を画像データにて不審検知装置３００へ出力（送信）する。

図４は、不審検知装置３００の機能構成を示すブロック図である。同図に示すように、不審検知装置３００は、第二通信部３１０と、第二記憶部３７０と、第二制御部３８０とを備える。第二記憶部３７０は、画像データ記憶部３７１を備える。第二制御部３８０は、画像管理部３８１と、特定部３８２と、画像抽出部３８３と、部分画像切出し部３８４とを備える。

第二通信部３１０は、画像取得装置２００の画像出力部２２０と通信を行う。第二通信部３１０は、画像出力部２２０が送信する画像データを受信する。
また、第二通信部３１０は、ネットワーク９００を介して学習装置１００の第一通信部１１０と通信を行う。第二通信部３１０は、第一通信部１１０が送信するモデルデータを受信する。また、第二通信部３１０は、不審画像及びカテゴリ候補を第一通信部１１０に送信する。
また、第二通信部３１０は、第一通信部１１０からの画像送信要求を受信し、当該送信要求への応答としての画像データを送信する。画像送信要求は、不審画像の送信要求である。

第二記憶部３７０は、各種データを記憶する。第二記憶部３７０は、不審検知装置３００が備える記憶デバイスを用いて実現される。
画像データ記憶部３７１は、画像取得部２１０が撮影した画像を画像データにて蓄積（記憶）する。
第二制御部３８０は、不審検知装置３００の各部を制御して各種機能を実行する。第二制御部３８０は、例えば、不審検知装置３００が備えるＣＰＵが、第二記憶部３７０からプログラムを読み出して実行することで実現される。

画像管理部３８１は、画像データ記憶部３７１が記憶する画像データを管理する。画像管理部３８１は、画像取得部２１０が撮影した画像の画像データを第二通信部３１０が受信すると、当該画像データを画像データ記憶部３７１に記憶させる。また、画像管理部３８１は、学習装置１００からの画像送信要求を第二通信部３１０が受信すると、画像データ記憶部３７１を検索して当該画像送信要求に応じた画像データを読み出し、第二通信部３１０を介して学習装置１００へ送信する。
画像データ記憶部３７１と画像管理部３８１との組み合わせにて画像蓄積装置として機能する。

特定部３８２は、画像から対象を特定する。具体的には、特定部３８２は、画像に含まれている人物が、予め登録されている人物のいずれに該当するか、或いはいずれの人物にも該当しないかを判定する。
但し、特定部３８２が対象を特定する方法は、画像認識による方法に限らない。例えば、特定部３８２が、画像が撮影された時間と従業員の勤務時間とに基づいて、画像が撮影された時間が勤務時間に該当する従業員を特定するようにしてもよい。あるいは、特定部３８２が、画像を撮影した画像取得装置２００の撮影範囲に基づいて、当該撮影範囲を含むエリアを担当する従業員を特定するようにしてもよい。
不審検知装置３００は、特定部３８２および第二通信部３１０を含む点で第１の情報処理装置の例に該当する。特定部３８２と第二通信部３１０との組み合わせは、第１の情報処理装置の出力部の例に該当する。

画像抽出部３８３は、対象が含まれる画像を抽出する。具体的には、画像抽出部３８３は、モデル生成部１８１が機械学習によって生成したモデルデータを用いて、対象が含まれる画像を抽出する。さらに具体的には、画像取得装置２００が撮影した画像についてカテゴリ毎にスコアを算出する。画像抽出部３８３は、当該カテゴリ毎のスコアの算出を、モデル生成部１８１がカテゴリ毎に生成したモデルデータを用いて行う。そして、画像抽出部３８３は、いずれか１つ以上のカテゴリでスコアが閾値以上になった場合に異常発生の可能性ありと判定する。当該判定により、画像抽出部３８３は、画像取得部２１０が撮影した画像の中から特定の画像を抽出する。

さらに、画像抽出部３８３は、異常発生の可能性ありと判定した画像の撮影時刻を含む所定時間範囲内に撮影された複数の画像を、画像管理部３８１を介して画像データ記憶部３７１から読み出すことにより、当該画像の画像データを抽出する。画像抽出部３８３が、異常発生の可能性ありと判定した画像だけでなく、当該画像の撮影時刻を含む所定時間範囲内に撮影された画像も抽出することで、画像を参照するユーザは、画像に含まれる人物の行為を時系列で把握することができる。これにより、ユーザが、画像に含まれる人物の行為を把握し易くなる。

部分画像切出し部３８４は、不審画像のうち、モデルデータ生成に用いる対象の行為が示されている部分画像を切り出すことにより取得する。例えば、異常有無の判定者が、異常発生の可能性有りと判定された画像を異常判定装置４００にて参照して異常有りと判定した場合、当該異常が映っている部分を指定する。そして、部分画像切出し部３８４は、判定者が指定した部分の部分画像を切り出す。

図５は、異常判定装置４００の機能構成を示すブロック図である。同図に示すように、異常判定装置４００は、第三通信部４１０と、表示部４２０と、操作入力部４３０と、第三記憶部４７０と、第三制御部４８０とを備える。第三制御部４８０は、異常判定部４８１を備える。異常判定部４８１は、行為有無判定結果取得部４８２と、カテゴリ判定結果取得部４８３とを備える。

第三通信部４１０は、ネットワーク９００を介して第一通信部１１０と通信を行う。第三通信部４１０は、第一通信部１１０が送信する不審画像及びカテゴリ候補を受信する。また、第三通信部４１０は、異常の有無の判定結果を第一通信部１１０に送信する。異常有りと判定された場合、第三通信部４１０は、異常のカテゴリと、不審画像のうち異常が映っている部分を示す情報とを判定結果として送信する。モデル生成部１８１は、当該判定結果を学習用データとして用いて機械学習を行いモデルを生成する。
また、異常有りと判定された場合、第三通信部４１０は、異常の通報依頼を第一通信部１１０に送信する。

表示部４２０は、例えば液晶パネルなどの表示画面を有し、各種画像を表示する。表示部４２０は、不審画像又は不審画像に関する情報を表示する。例えば、表示部４２０が不審画像を表示するようにしてもよいし、不審画像を取得するためのアクセス先を表示するようにしてもよい。
操作入力部４３０は、例えば表示部４２０の表示画面に設けられてタッチパネルを構成するタッチセンサなどの入力デバイスを有し、ユーザ操作を受ける。操作入力部４３０は、不審画像における異常の有無の判定結果を示すユーザ操作を受ける。不審画像における異常の有無は、例えば、不正行為の有無である。また、不審画像に異常が映っている場合、操作入力部４３０は、当該異常が映っている部分を示すユーザ操作を受ける。

但し、異常判定装置４００が、画像中に異常が映っている部分を検出する方法は、ユーザ操作を受ける方法に限らない。例えば、異常判定装置４００が、前後に撮影された画像との背景差分に基づいて、変化のある部分を、異常が映っている部分として検出するようにしてもよい。或いは、異常判定装置４００が、判定者の視線を検知し、判定者が注視している部分を、異常が映っている部分として検出するようにしてもよい。

第三記憶部４７０は、各種データを記憶する。第三記憶部４７０は、異常判定装置４００が備える記憶デバイスを用いて実現される。
第三制御部４８０は、異常判定装置４００の各部を制御して各種機能を実行する。第三制御部４８０は、例えば、異常判定装置４００が備えるＣＰＵが、第三記憶部４７０からプログラムを読み出して実行することで実現される。

異常判定部４８１は、判定部の例に該当し、不審画像又は不審画像に関する情報を判定する。具体的には、異常判定部４８１は、不審画像に異常が映っているか否かの判定を行う。
行為有無判定結果取得部４８２は、表示部４２０が表示した不審画像又は不審画像に関する情報が、機械学習の対象となる行為が行われたときの画像又は情報か否かの判定結果を取得する。具体的には、第三制御部４８０のユーザが操作入力部４３０にて判定結果の入力操作を行い、行為有無判定結果取得部４８２は、当該入力操作にて示される異常有無判定結果を取得する。

カテゴリ判定結果取得部４８３は、表示部４２０が表示した不審画像又は不審画像に関する情報が、機械学習の対象となる行為が行われたときの画像又は情報であると判定された場合、当該行為が該当するカテゴリの判定結果を取得する。具体的には、第三制御部４８０のユーザが、不審画像に示される画像が該当するカテゴリを判定して、操作入力部４３０にて判定結果の入力操作を行う。そして、カテゴリ判定結果取得部４８３は、当該入力操作にて示されるカテゴリ判定結果を取得する。

なお、学習装置１００の第一通信部１１０は、情報取得部の例に該当する。例えば、第一通信部１１０は、不審検知装置３００の特定部３８２が特定した人物を識別する識別情報を受信する。特定部３８２が特定した人物を識別する識別情報は、画像に含まれる対象に関する情報の例に該当する。
なお、学習装置１００に代えて不審検知装置３００が、不審画像又は不審画像に関する情報の送信先を決定するようにしてもよい。例えば、不審検知装置３００が、送信先決定部を備えるようにしてもよい。不審検知装置３００に備えられる送信決定部は、学習装置１００に備えられる送信決定部１８３が行う処理と同様の処理を行う。この場合、不審検知装置３００の送信先決定部は、特定部３８２から情報を取得する情報取得部の例に該当する。

図６は、不審検知装置３００の変形例である不審検知装置３０１の機能構成を示すブロック図である。
同図に示すように、不審検知装置３０１は、第二通信部３１０と、第二記憶部３７０と、第二制御部３８０とを備える。第二記憶部３７０は、画像データ記憶部３７１を備える。第二制御部３８０は、画像管理部３８１と、特定部３８２と、画像抽出部３８３と、部分画像切出し部３８４と、送信先決定部３８５とを備える。
図６の各部のうち図４の各部と対応して同様の機能を有する部分には同一の符号（３１０、３７０、３７１、３８１、３８２、３８３、３８４）を付して説明する。不審検知装置３０１は、第二制御部３８０に代えて第二制御部３９０を備える点で図４に示した不審検知装置３００と異なる。第二制御部３９０は、図４に示した第二制御部３８０が備える各部に加えてさらに送信先決定部３８５を備える点で第二制御部３８０と異なる。

送信先決定部３８５は、図２に示した送信先決定部１８３と同様、不審画像に基づいて、当該画像又は当該画像に関する情報の送信先を決定する。例えば、上述したように特定部３８２が画像から対象を特定し、送信先決定部３８５は、特定部３８２が特定した対象に基づいて、不審画像又は不審画像に関する情報の送信先を決定する。
なお、送信先決定部３８５が、不審画像に代えて、不審画像が撮影された時刻又は場所に関する情報に基づいて、不審画像又は不審画像に関する情報の送信先を決定するようにしてもよい点も、送信先決定部１８３の場合と同様である。
不審検知装置３０１は、情報処理装置の例に該当する。

なお、通知システム１の適用範囲は、店舗内の監視に限らない。得られた画像によって当該画像又は当該画像に関する情報の送信先を選択するいろいろな用途に通知システム１を用いることができる。
例えば、通知システム１が、人の転倒など特定の動作を検出するようにしてもよい。人の転倒を検出した場合、通知システム１が、転倒を検出したことを救護センターに通知するようにしてもよい。その場合、例えば情報取得部は画像に含まれる対象の情報として「人物の特徴量」及び「転倒」という情報のうち少なくともいずれかを取得する。そして送信部は、対象に関する情報である「人物の特徴量」及び「転倒」という情報のうち少なくともいずれかに応じて、救護センターに送信すると決定する。さらに、送信部は、救護センターに画像に関する情報として、人の転倒を撮影した画像や画像が撮影されたときの撮影時刻、画像の撮影場所を送信する。

あるいは、通知システム１が、探し物など特定の物を検出するようにしてもよい。探し物を検出（発見）した場合、通知システム１が、探し物を発見したことを、サービスカウンターなど探し物を取り扱う部門に通知するようにしてもよい。その場合、例えば情報取得部は画像に含まれる対象の情報として「探し物の特徴量」を取得する。そして、送信部は、対象に関する情報である「探し物の特徴量」に応じて、探し物を発見したことを、サービスカウンターなど探し物を取り扱う部門に送信すると決定する。さらに、送信部は、サービスカウンターなど探し物を取り扱う部門に、画像に関する情報として、撮影された探し物の画像やその撮影時間、撮影場所を送信する。「探し物の特徴量」は、例えば、画像取得装置２００により取得された画像において、探し物の画像を用いたパターンマッチングを行うことにより取得される。

あるいは、通知システム１が、迷子など特定の人物を検出するようにしてもよい。迷子を検出（発見）した場合、通知システム１が、迷子を発見したことを、サービスカウンターなど迷子に応対する部門、又は、迷子の親に通知するようにしてもよい。その場合、例えば情報取得部は画像に含まれる対象の情報として「人物の特徴量」を取得する。そして、送信部は、対象に関する情報である「人物の特徴量」に応じて、迷子を発見したことを、サービスカウンターなど探し物を取り扱う部門に送信すると決定する。さらに、送信部は、サービスカウンターなど迷子を取り扱う部門又は迷子の親に、画像に関する情報として、撮影された迷子の画像やその撮影時間、撮影場所を送信する。「人物の特徴量」は、例えば、画像取得装置２００により取得された画像において、人物の画像を用いたパターンマッチングを行うことにより取得される。

次に、図７〜図９を参照して通知システム１の動作について説明する。
図７〜図９は、通知システム１が行う処理例を示すフローチャートである。
同図のステップＳ１０１〜Ｓ１５１では、学習装置１００が予めモデルを生成する。
まず、カテゴリ調整部１８２は、カテゴリを設定する（ステップＳ１０１）。例えば、通知システム１の管理者がカテゴリを設定するユーザ操作を行い、カテゴリ調整部１８２は、当該ユーザ操作に従ってカテゴリを設定する。

次に、モデル生成部１８１がモデルを生成する（ステップＳ１０２）。具体的には、モデル生成部１８１は、画像とカテゴリとが対応付けられた学習用データを用いて機械学習を行い、カテゴリ毎にモデルを生成する。
次に、カテゴリ調整部１８２は、カテゴリの近似度を評価する（ステップＳ１０３）。例えば、カテゴリ調整部１８２は、モデル生成部１８１が生成したカテゴリ毎のモデルからカテゴリ毎の特徴情報（例えば特長ベクトル）を抽出し、特徴情報の近似度を評価することでカテゴリの近似度を評価する。

そして、カテゴリ調整部１８２は、ステップＳ１０３で得られたカテゴリの近似度に基づいて、近似カテゴリの有無を判定する（ステップＳ１０４）。例えば、カテゴリ調整部１８２は、近似度が所定の閾値以上となっているカテゴリの組である近似カテゴリの有無を判定する。
近似カテゴリ有りと判定した場合（ステップＳ１０４：ＹＥＳ）、カテゴリ調整部１８２は、近似カテゴリのうち少なくとも１つの近似カテゴリに含まれる学習用データ数が不足しているか否かを判定する（ステップＳ１１１）。例えば、カテゴリ調整部１８２は、近似カテゴリの各々について学習用データ数が所定の閾値以上か否かを判定する。そして、学習用データ数が閾値未満のカテゴリを検出した場合、カテゴリ調整部１８２は、学習用データ数が不足していると判定する。一方、近似カテゴリに含まれる全てのカテゴリについて学習用データ数が閾値以上であると判定したい場合、カテゴリ調整部１８２は、カテゴリの学習に必要な学習用データが足りていると判定する。

学習用データ数が不足していると判定した場合（ステップＳ１１１：ＹＥＳ）、カテゴリ調整部１８２は、カテゴリの結合を行う（ステップＳ１２１）。具体的には、カテゴリ調整部１８２は、近似カテゴリと判定したカテゴリの各々をサブカテゴリとして、これらサブカテゴリを一纏めにしたカテゴリを生成する。
ステップＳ１２１の後、ステップＳ１０２へ戻る。

一方、ステップＳ１０４で、近似カテゴリ無しと判定した場合（ステップＳ１０４：ＮＯ）、カテゴリ調整部１８２は、サブカテゴリが結合されて構成されているカテゴリについて、各サブカテゴリの学習用データ数が十分存在するか否かを判定する（ステップＳ１３１）。具体的には、カテゴリ調整部１８２は、１つのカテゴリに含まれるサブカテゴリの各々について、学習用データ数が所定の閾値以上か否かを判定する。そして、全てのサブカテゴリについて学習用データ数が閾値以上であると判定した場合、カテゴリ調整部１８２は、学習用データ数が十分存在すると判定する。一方、いずれかのサブカテゴリについて学習用データ数が閾値未満であると判定した場合、カテゴリ調整部１８２は、学習用データ数が不足していると判定する。
また、ステップＳ１１１で、学習用データが足りていると判定した場合も（ステップＳ１１１：ＮＯ）、カテゴリ調整部１８２は、ステップＳ１３１へ進む。

ステップＳ１３１で、学習用データ数が十分存在すると判定した場合（ステップＳ１３１：ＹＥＳ）、カテゴリ調整部１８２は、当該カテゴリをサブカテゴリに分割し、各サブカテゴリをカテゴリに昇格させる（ステップＳ１４１）。
ステップＳ１４１の後、カテゴリ調整部１８２は、ステップＳ１０２へ戻る。
一方、ステップＳ１３１で学習用データ数が不足していると判定した場合（ステップＳ１３１：ＮＯ）、第一通信部１１０は、モデル生成部１８１が生成したモデルを不審検知装置３００へ送信（出力）する（ステップＳ１５１）。なお、ステップＳ１３１で、サブカテゴリが結合されて構成されているカテゴリが存在しないと判定した場合も、カテゴリ調整部１８２は、ステップＳ１５１へ進む。

ステップＳ１６１〜Ｓ２１４では、画像取得装置２００が画像を撮影し、不審検知装置３００が当該画像について不審検知処理を行う。
まず、不審検知装置３００の第二通信部３１０が、ステップＳ１５１で第一通信部１１０が送信したモデルデータを受信する（ステップＳ１６１）。
また、画像取得装置２００の画像取得部２１０が、監視対象の店舗内を撮影する（ステップＳ２０１）。そして、画像出力部２２０が、ステップＳ２０１で得られた画像を画像データにて不審検知装置３００へ送信（出力）する（ステップＳ２０２）。

不審検知装置３００では、ステップＳ２０２で画像出力部２２０が送信した画像データを第二通信部３１０が受信する（ステップＳ２１１）。
次に、画像抽出部３８３が、ステップＳ２１１で得られた画像について異常発生の可能性の有無、すなわち不審の有無を判定する（ステップＳ２１２）。上述したように、画像抽出部３８３は、ステップＳ２１１で得られた画像についてカテゴリ毎にスコアを算出する。そして、画像抽出部３８３は、いずれか１つ以上のカテゴリでスコアが閾値以上になった場合に異常発生の可能性ありと判定する。
なお、ステップＳ２１２で画像抽出部３８３が異常発生の可能性無しと判定した場合（ステップＳ２１２：ＮＯ）、通知システム１は、画像取得部２１０が撮影した当該画像に対する処理を終了する。この場合、画像取得装置２００による次の撮影タイミングで、ステップＳ２０１から処理を再開する。

ステップＳ２１２で画像抽出部３８３が異常発生の可能性有りと判定した場合（ステップＳ２１２：ＹＥＳ）、画像抽出部３８３は、異常発生の可能性有りと判定した当該画像（不審画像）の撮影時刻を含む所定時間範囲内に撮影された複数の画像を抽出する（ステップＳ２１３）。具体的には、画像抽出部３８３は、不審画像の撮影時刻を含む所定時間範囲内に撮影された複数の画像を、画像管理部３８１を介して画像データ記憶部３７１から読み出す。

次に、第二通信部３１０は、異常発生の可能性有りと判定された不審画像及びカテゴリ候補を示す情報を学習装置１００へ送信する（ステップＳ２１４）。具体的には、第二通信部３１０は、ステップＳ２１３で得られた複数の画像と、ステップＳ２１２でスコアが閾値以上と判定されたカテゴリを示す情報とを送信する。ステップＳ２１２で複数のカテゴリのスコアが閾値以上と判定された場合、第二通信部３１０が、スコアが閾値以上と判定された全てのカテゴリを示す情報を送信するようにしてもよい。あるいは、第二通信部３１０が、最もスコアの高かったカテゴリを示す情報を送信するなど、代表的な１つ以上のカテゴリを示す情報を送信するようにしてもよい。

さらに、特定部３８２が、不審画像に含まれる対象を特定し、第二通信部３１０は、特定部３８２による特定結果を示す情報をステップＳ２１４で送信する。例えば、特定部３８２は、不審画像に含まれる人物を検出し、検出した人物を特定する。そして、第二通信部３１０は、特定部３８２が特定した人物を識別する識別情報を学習装置１００へ送信する。
あるいは、学習装置１００が特定部３８２に相当する機能部を備えて対象の特定を行うようにしてもよい。

ステップＳ２２１〜Ｓ２２３では、学習装置１００が、不審画像を含む複数の画像及びカテゴリ候補の送信先を決定し、決定した送信先に不審画像及びカテゴリの候補を示す情報を送信する。
具体的には、第一通信部１１０は、第二通信部３１０がステップＳ２１４で送信した情報を受信する（ステップＳ２２１）。
そして、送信先決定部１８３は、特定部３８２が特定した人物に基づいて、当該以外の人物を不審画像及びカテゴリ候補の送信先に決定する（ステップＳ２２２）。不審画像及びカテゴリ候補の送信先は、例えば、特定部３８２が特定した人物以外の人物が所持している異常判定装置４００である。
そして、第一通信部１１０は、ステップＳ２２１で受信した不審画像を含む複数の画像及びカテゴリ候補を、ステップＳ２２２で送信先決定部１８３が決定した送信先に送信する（ステップＳ２２３）。

ステップＳ２３１〜Ｓ３０２では、異常判定装置４００が、不審画像における異常の有無を判定する。
具体的には、第三通信部４１０は、ステップＳ２２３で第一通信部１１０が送信した不審画像を含む複数の画像及びカテゴリ候補を示す情報を受信する（ステップＳ２３１）。
そして、異常判定部４８１が、異常有無判定結果、及び、カテゴリ判定結果を取得する（ステップＳ３０１）。具体的には、上述したように、表示部４２０が不審画像を含む複数の画像を表示する。そして、行為有無判定結果取得部４８２は、ユーザ操作に基づいて異常有無判定結果を取得する。また、カテゴリ判定結果取得部４８３は、ユーザ操作に基づいてカテゴリ判定結果を取得する。

そして、第三通信部４１０は、ステップＳ３０１で得られた判定結果を学習装置１００へ送信する（ステップＳ３０２）。具体的には、第三通信部４１０は、不審画像又は当該画像を示す識別情報と、不審画像が該当するカテゴリの判定結果とを学習装置１００へ送信する。
さらに第三通信部４１０は、不審画像のうち異常が映っている部分を示す情報を、ステップＳ３０２で学習装置１００へ送信する。

ステップＳ３１１〜Ｓ３３２では、学習装置１００が、不審画像を取得して学習用データを生成する。
具体的には、第一通信部１１０は、ステップＳ３０２で第三通信部４１０が送信したデータを受信する（ステップＳ３１１）。
そして、第一通信部１１０は、ステップＳ３１１で得られた不審画像の識別情報と、不審画像のうち異常が映っている部分を示す情報とを含む不審画像要求を、第一制御部１８０の制御に従って不審検知装置３００へ送信する（ステップＳ３１２）。

不審検知装置３００では、第二通信部３１０が、学習装置１００からの不審画像要求を受信し、画像管理部３８１は、不審画像要求に含まれる識別情報に基づいて画像データ記憶部３７１を検索して不審画像を取得する（ステップＳ３２１）。
そして、部分画像切出し部３８４は、不審画像から異常が映っている部分を切り出す（ステップＳ３２２）。具体的には、部分画像切出し部３８４は、異常が映っている部分を示す情報に基づいて、当該情報が示す部分の部分画像を、ステップＳ３２１で得られた不審画像から切り出す。

そして、第二通信部３１０は、部分画像切出し部３８４が切り出した部分画像を学習装置１００へ送信する（ステップＳ３２３）。また、通知システム１が複数の画像取得装置２００を備えている場合、第二通信部３１０は、不審画像を撮影した画像取得装置２００を識別するカメラＩＤ（Identifier）を学習装置１００へ送信する。

学習装置１００では、第一通信部１１０が、ステップＳ３２２で第二通信部３１０が送信したデータを受信する（ステップＳ３３１）。
そして、モデル生成部１８１は、ステップＳ３３１で得られた部分画像と、ステップＳ３１１で得られたカテゴリ判定結果が示すカテゴリとを対応付けて（紐付けて）学習用データを生成する（ステップＳ３３２）。
モデル生成の処理については、モデル生成部１８１は、ステップＳ３３２の後、処理をステップＳ１０２へ戻す。

ステップＳ３４１〜Ｓ３６２では、異常判定装置４００が学習装置１００に通報を依頼し、学習装置１００は、依頼に基づいて通報を行う。
具体的には、異常判定装置４００の第三制御部４８０は、ステップＳ３０１での判定結果に基づいて処理の分岐を行う（ステップＳ３４１）。
ステップＳ３０１で判定結果が異常無しである場合（ステップＳ３４１：ＮＯ）、第三制御部４８０は、通報処理について図７〜図９の処理を終了する。

一方、ステップＳ３０１で判定結果が異常有りである場合（ステップＳ３４１：ＹＥＳ）、第三通信部４１０は、第三制御部４８０の制御に従って通報依頼を学習装置１００へ送信する（ステップＳ３５１）。
ステップＳ３５１の後、異常判定装置４００の第三制御部４８０は、通報処理について図７〜図９の処理を終了する。
一方、学習装置１００では、第一通信部１１０が異常判定装置４００からの通報依頼を受信する（ステップＳ３６１）。
そして、通報部１８４は、ステップＳ３６１で得られた通報依頼に基づいて、所定の通報先に通報を行う（ステップＳ３６２）。
ステップＳ３６２の後、学習装置１００は、通報処理について図７〜図９の処理を終了する。

次に、図１０〜図１３を参照して、通知システム１に含まれる各装置のハードウェア構成例について説明する。
図１０は、学習装置１００のハードウェア構成の例を示すブロック図である。同図に示すように、学習装置１００は、第一通信装置５１１と、第一記憶デバイス５１２と、第一ＣＰＵ５１３とを備える。
第一通信装置５１１は、他の装置と通信を行う装置であり、第一通信部１１０を実現する。第一記憶デバイス５１２は、各種データを記憶するデバイスであり、第一記憶部１７０を実現する。第一ＣＰＵ５１３は、プログラムを実行するデバイスである。第一ＣＰＵ５１３は、第一記憶デバイス５１２からプログラムを読み出して実行することで、第一制御部１８０を実現する。

図１１は、画像取得装置２００のハードウェア構成の例を示すブロック図である。同図に示すように、画像取得装置２００は、カメラ５２１と、第二通信装置５２２とを備える。
カメラ５２１は、撮影を行って画像データを出力する装置であり、画像取得部２１０を実現する。第二通信装置５２２は、他の装置と通信を行う装置であり、画像出力部２２０を実現する。

図１２は、不審検知装置３００のハードウェア構成の例を示すブロック図である。同図に示すように、不審検知装置３００は、第三通信装置５３１と、第二記憶デバイス５３２と、第二ＣＰＵ５３３とを備える。
第三通信装置５３１は、他の装置と通信を行う装置であり、第二通信部３１０を実現する。第二記憶デバイス５３２は、各種データを記憶するデバイスであり、第二記憶部３７０を実現する。第二ＣＰＵ５３３は、プログラムを実行するデバイスである。第二ＣＰＵ５３３は、第二記憶デバイス５３２からプログラムを読み出して実行することで、第二制御部３８０を実現する。

図１３は、異常判定装置４００のハードウェア構成の例を示すブロック図である。同図に示すように、異常判定装置４００は、第四通信装置５４１と、表示装置５４２と、入力デバイス５４３と、第三記憶デバイス５４４と、第三ＣＰＵ５４５とを備える。
第四通信装置５４１は、他の装置と通信を行う装置であり、第三通信部４１０を実現する。表示装置５４２は、表示画面を有して各種画像を表示する装置であり、表示部４２０を実現する。入力デバイス５４３は、例えば表示装置５４２の表示画面に設けられてタッチパネルを構成するタッチセンサなど、ユーザ操作を検出するデバイスであり、操作入力部４３０を実現する。第三記憶デバイス５４４は、各種データを記憶するデバイスであり、第三記憶部４７０を構成する。第三ＣＰＵ５４５は、プログラムを実行するデバイスである。第三ＣＰＵ５４５は、第三記憶デバイス５４４からプログラムを読み出して実行することで、第三制御部４８０を実現する。

以上のように、情報取得部は、画像に含まれる対象に関する情報を取得する。そして、送信部１９０は、対象に関する情報に応じて、画像又は画像に関する情報の送信先を決定し、送信する。
これにより、通知システム１（例えば、学習装置１００）は、画像に応じた適切な送信先を決定することができ、決定した送信先に画像又は画像に関する情報を送信することができる。

また、特定部３８２は、不審画像から対象を特定する。そして、送信部１９０は、特定部が特定した対象に対応付けられた送信先と異なる送信先に、不審画像又は不審画像に関する情報の送信先を決定する。
これにより、通知システム１（例えば、学習装置１００）は、不正行為の当事者又は仲間が画像に映っている場合に、当該当事者又は仲間以外の者を選択して情報を送信することができる。送信される情報は、例えば、異常発生の可能性を通知する情報である。これにより、異常状況が改善される可能性を高めることができる。

また、画像抽出部３８３は、不審画像を抽出する。そして、画像抽出部３８３は、不審画像の撮影時刻を含む所定時間範囲内に撮影された複数の画像を抽出する。
そして、送信部１９０は、不審画像又は不審画像に関する情報として、画像抽出部３８３によって抽出された複数の画像又は複数の画像に関する情報を送信する。
このように、画像抽出部３８３が複数の画像を抽出することで、当該画像を参照するユーザは、画像に含まれる人物の動作を把握し易くなる。

また、画像抽出部３８３は、機械学習によって生成されたモデルデータを用いて不審画像を抽出する。そして、送信部１９０は、不審画像を抽出するために用いられたモデルデータに関する情報を送信する。具体的には、送信部１９０は、不審画像が該当するカテゴリの候補を示す情報を送信する。
これにより、ユーザは、当該カテゴリの候補を参照して不審画像が該当するカテゴリを判定することができる。学習装置１００は、当該カテゴリの判定結果を用いて学習用データを生成し、学習することができる。

また、部分画像切出し部３８４は、不審画像のうち、前記モデルデータ生成に用いる前記対象の行為が示されている部分画像を切り出す。
モデル生成部１８１は、当該部分画像を用いて学習を行うことで、異常を示す画像の特徴をより正確に把握することができ、より高精度に学習を行うことができる。

また、情報取得部は、不審画像に含まれる対象に関する情報として、対象の行為のカテゴリとして設定されている複数のカテゴリのうち、不審画像に含まれる前記対象の行為に該当する前記カテゴリを取得し、不審画像と該当するカテゴリとを関連付ける。
これにより、ユーザは、不審画像とカテゴリとを参照して異常の有無を判定することができ、この点で、ユーザは、より容易に異常の有無を判定することができる。

また、モデル生成部１８１は、機械学習によって、不審画像を抽出するために用いられるモデルデータを生成する。
そして、カテゴリ調整部１８２は、複数のカテゴリのうち当該カテゴリに該当する学習用データの数が所定数より少ない第１カテゴリを検出した場合、当該第１カテゴリと他のカテゴリとの類似度を算出し、類似度が高い１つ以上の第２カテゴリと前記第１カテゴリとを１つのカテゴリに纏める。
これにより、各カテゴリに含まれる学習用データの数を確保することができる。学習用データの数を確保することで、モデル生成部１８１が行う学習の精度を高めることができる。

また、カテゴリ調整部１８２は、１つのカテゴリに纏められた複数のサブカテゴリの各々について当該サブカテゴリに該当する学習用データの数を計数し、何れのサブカテゴリも学習用データが所定数以上あると判定した場合、纏められたカテゴリを複数のサブカテゴリに分割し、各サブカテゴリをカテゴリとする。
これにより、カテゴリを細分化することができ、モデル生成部１８１が行う学習の精度を高めることができる。

また、表示部４２０は、画像に含まれる対象に関する情報に応じて、画像又は画像に関する情報の送信先を決定し送信する情報処理装置から、画像又は画像に関する情報を取得し、画像又は画像に関する情報を表示する。そして、異常判定部４８１は、画像又は画像に関する情報を判定する。第三通信部４１０は、判定結果を機械学習の学習用データとして出力する。
これにより、機械学習を行う装置（学習装置１００）は、当該学習用データを用いて学習精度を高めることができる。

また、行為有無判定結果取得部４８２は、表示部４２０が表示した画像又は画像に関する情報が、機械学習の対象となる行為が行われたときの画像又は情報か否かの判定結果を取得する。ここでいう、画像に関する情報は、例えば、画像が撮影された時刻、画像を撮影した画像取得装置２００の位置情報、及び、画像に映っている対象のうちいずれか、或いはこれらの組み合わせであってもよい。画像に映っている対象は、例えば人、物または組織である。

また、カテゴリ判定結果取得部４８３は、表示部４２０が表示した画像又は画像に関する情報が、機械学習の対象となる行為が行われたときの画像又は情報であると判定された場合、当該行為が該当するカテゴリの判定結果を取得する。
これにより、機械学習を行う装置（学習装置１００）は、機械学習の対象となる行為が映っている画像とカテゴリとが対応付けた学習用データを取得して学習を行うことができ、学習精度を高めることができる。

また、通知システム１では、上記のように、学習装置１００が行う機械学習により、不審検知装置３００が不審人物又は不審行動等を検知する。学習装置１００は、不審検知装置３００が不審人物又は不審行動等を検出した画像を、その前後一定時間の画像と共に、店舗のマネージャ等が所持する異常判定装置４００に通知する。
学習装置１００は、通知先を、あらかじめ設定された通知先のうち、不審行動と検知した画像に映りこんでいない人物への通知先に決定する。これにより、店舗マネージャ等の管理者権限を持つ人物自身が不正に関与していた場合に、通知のもみ消しや、通知に対して何も対応を行わずに放置することを防止することができる。

異常判定装置４００では、店舗のマネージャ等の判定者は、通知画面を参照して、予め定義されているカテゴリの選択、または新たなカテゴリの作成といった操作により判定を行う。
判定者は、通知画面に表示される画像等を参照して異常の有無及び異常の種類を判定すればよく、学習装置１００による学習を意識することなく操作を行うことができる。判定対象の異常は、例えば、不正行為や、転倒などの事故である。
なお、学習装置１００が、通知を複数人に行い、複数人の判定結果による多数決等で判定精度を高めるようにしてもよい。

異常判定装置４００は、判定者によって判定されたカテゴリと、学習装置１００が異常判定装置４００に通知した画像とを関連づけて、追加学習データとして学習装置１００に登録する。その際、異常判定装置４００は、判定者による画像の部分の指定操作、画像の背景差分、或いは判定者の視線検知などにより、画像のうち不審行動と判断できる部分のみを切り出して、追加学習データとして送信する。これによりデータ転送量の削減、学習時間の短縮、および学習モデルの精度向上が可能になる。

一方、学習装置１００は、不審検知装置３００が検出した不審画像の一部のみではなく、画像全体を異常判定装置４００に送信する。これにより、不審検知装置３００が検知した異常の可能性（不審）と別の異常がたまたま画像に映っていた場合に、判定者は、当該異常を発見して異常有りと判定することができる。例えば、不審検知装置３００がレジでの不正操作の可能性有りと判定した画像に、たまたま、万引きの様子が映っていた場合、判定者は、カテゴリを万引きとして、万引きの様子が映っている部分を示すユーザ操作を行う。
これにより、学習装置１００は、不審検知装置３００が検知した異常の可能性と異なる異常を示す学習用データを取得することができ、当該異常を学習することができる。

ここで、機械学習では、十分な教師データ数がなければ認識精度が得られない。そのため、上記のように学習装置１００のカテゴリ調整部１８２は、カテゴリ間の近似度をチェックし、一定以上の近似が認められるカテゴリを結合することで教師データ不足を補間し、認識精度を確保する。
また、カテゴリ調整部１８２は、通知システム１の運用にて、１つのカテゴリで十分な数が得られた場合は、似て非なるものとしてカテゴリを分ける。これにより、より詳細な検知及びカテゴリの分類を実現する。

このように、通知システム１では、ユーザが複雑なシステムを理解することなく追加学習を行えることで、検知精度が向上、及び、損害の予防が可能である。
また、サービス提供者は初期に最低限の学習を学習装置１００に行わせれば、その後は学習メンテナンスの作業を行う必要がない。この点で、サービス提供者の作業コストを低減させることができる。
また、サービス提供者のメンテナンス作業者が介在しないため、作業者へのプライバシー漏洩のリスクが低減する。

ここで、不正監視の方法として、監視カメラシステムを用いて常時監視する方法や、監視カメラで常時撮影を行って録画データを確認ないし分析する方法が考えられる。しかしながら、これらの方法では、常時監視、又は、画像データの確認ないし分析に要する人的コストが非常に高くなってしまう可能性がある。これに対し、通知システム１では、店舗のマネージャ等の判定者は、不審検知装置３００が不審画像を検知した場合のみ異常の有無を判定すればよい。この点で判定者の負担を軽減させることができる。

例えば、ＰＯＳシステム（レジ）での不正操作として、商品を２つ重ねて１つの商品のバーコードのみをＰＯＳシステムに読ませる、商品のバーコードをＰＯＳシステムに通さない、バーコードを手で覆い隠すといった操作が挙げられる。さらには、新たな手口の不正操作が行われる可能性がある。
これに対し、学習装置１００は、異常判定装置４００から得られる学習用データを用いて、既存の手口の不正操作に加えて新たな手口の不正操作を学習することができる。これにより、通知システム１は、新たな手口の不正操作を検知することができる。

なお、不審検知装置３００が不審有りと判定する閾値の値を低めに設定しておいてもよい。例えば、不審検知装置３００が、いずれかのカテゴリとの類似度６０％以上を示すスコアを算出した御場合に、不審画像として検出するようにしてもよい。
これにより、不審検知装置３００が、新たな手口の不正操作が映った画像を不審画像として検出する可能性を高めることができる。

次に、図１４〜図１６を参照して本発明の最小構成について説明する。
図１４は、本発明に係る情報処理装置の最小構成を示すブロック図である。同図に示す情報処理装置１０は、情報取得部１１と、送信部１２とを備える。
情報取得部１１は、画像に含まれる対象に関する情報を取得する。そして、送信部１２は、対象に関する情報に応じて、画像又は画像に関する情報の送信先を決定し、送信する。
これにより、情報処理装置１０は、画像に応じた適切な送信先を決定することができ、決定した送信先に画像又は画像に関する情報を送信することができる。

図１５は、本発明に係る判定装置の最小構成を示すブロック図である。同図に示す判定装置２０は、表示部２１と、判定部２２と、出力部２３とを備える。
表示部２１は、画像に含まれる対象に関する情報に応じて、画像又は画像に関する情報の送信先を決定し送信する情報処理装置から、画像又は画像に関する情報を取得し、画像又は画像に関する情報を表示する。そして、判定部２２は、画像又は画像に関する情報を機械学習に用いるか否か判定する。出力部２３は、判定結果を機械学習の学習用データとして出力する。
これにより、機械学習を行う装置は、当該学習用データを用いて学習精度を高めることができる。

図１６は、本発明に係る通知システムの最小構成を示すブロック図である。同図に示す通知システム３０は、第１の情報処理装置３１と、第２の情報処理装置３３とを備える。第１の情報処理装置３１は、出力部３２を備える。第２の情報処理装置３３は、送信部３４を備える。
第１の情報処理装置３１の出力部３２は、画像に含まれる対象に関する情報を出力する。第２の情報処理装置３３の送信部３４は、対象に関する情報に応じて、画像又は画像に関する情報の送信先を決定し、送信する。
これにより、第２の情報処理装置３３（送信部３４）は、画像に応じた適切な送信先を決定することができ、決定した送信先に画像又は画像に関する情報を送信することができる。

次に、図１７〜図１９を参照して、本発明の最小構成の動作について説明する。
図１７は、情報処理装置１０（図１４）が行う処理の例を示すフローチャートである。同図に示す処理にて、情報取得部１１は、画像に含まれる対象に関する情報を取得する情報取得ステップを実行する（ステップＳ４１１）。そして、送信部１２は、対象に関する情報に応じて、画像又は画像に関する情報の送信先を決定し、送信する送信ステップを実行する（ステップＳ４１２）。

図１８は、判定装置２０（図１５）が行う処理例を示すフローチャートである。同図に示す処理にて、表示部２１は、画像に含まれる対象に関する情報に応じて、画像又は画像に関する情報の送信先を決定し送信する情報処理装置から、画像又は画像に関する情報を取得し、画像又は画像に関する情報を表示する表示ステップを実行する（ステップＳ４２１）。そして、判定部２２は、画像又は画像に関する情報を判定する判定ステップを実行する（ステップＳ４２２）。出力部２３は、判定結果を機械学習の学習用データとして出力する出力ステップを実行する（ステップＳ４２３）。

図１９は、通知システム３０（図１６）が行う処理例を示すフローチャートである。同図に示す処理にて、第１の情報処理装置３１の出力部３２は、画像に含まれる対象に関する情報を出力する出力ステップを実行する（ステップＳ４３１）。第２の情報処理装置３３の送信部３４は、対象に関する情報に応じて、画像又は画像に関する情報の送信先を決定し、送信する送信ステップを実行する（ステップＳ４３２）。

なお、上述した実施形態における情報処理装置１０、判定装置２０、第１の情報処理装置３１、第２の情報処理装置３３、学習装置１００、不審検知装置３００、不審検知装置３０１及び異常判定装置４００の全部又は一部の機能を、ＣＰＵがプログラムを読み出して実行することで実現することができる。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本願は、２０１５年９月３０日に、日本国に出願された特願２０１５−１９５２１８号に基づき優先権を主張し、その内容をここに援用する。

本発明は、画像に応じた適切な送信先を決定することが不可欠な用途にも適用できる。

１、３０ 通知システム
１０ 情報処理装置
１１ 情報取得部
１２、３４、１９０ 送信部
２０ 判定装置
２１、４２０ 表示部
２２ 判定部
２３、３２ 出力部
３１ 第１の情報処理装置
３３ 第２の情報処理装置
１００ 学習装置
１１０ 第一通信部
１７０ 第一記憶部
１８０ 第一制御部
１８１ モデル生成部
１８２ カテゴリ調整部
１８３ 送信先決定部
１８４ 通報部
２００ 画像取得装置
２１０ 画像取得部
２２０ 画像出力部
３００、３０１ 不審検知装置
３１０ 第二通信部
３７０ 第二記憶部
３７１ 画像データ記憶部
３８０、３９０ 第二制御部
３８１ 画像管理部
３８２ 特定部
３８３ 画像抽出部
３８４ 部分画像切出し部
３８５ 送信先決定部
４００ 異常判定装置
４１０ 第三通信部
４３０ 操作入力部
４７０ 第三記憶部
４８０ 第三制御部
４８１ 異常判定部
４８２ 行為有無判定結果取得部
４８３ カテゴリ判定結果取得部
５１１ 第一通信装置
５１２ 第一記憶デバイス
５１３ 第一ＣＰＵ
５２１ カメラ
５２２ 第二通信装置
５３１ 第三通信装置
５３２ 第二記憶デバイス
５３３ 第二ＣＰＵ
５４１ 第四通信装置
５４２ 表示装置
５４３ 入力デバイス
５４４ 第三記憶デバイス
５４５ 第三ＣＰＵ
９００ ネットワーク

Claims (12)

1. 画像から前記画像に含まれる対象を特定する特定部と、
   前記対象に関する情報を取得する情報取得部と、
   前記画像又は前記画像に関する情報の送信先を、前記特定部が特定した前記対象に対応付けられた送信先と異なる送信先に決定し、決定した送信先へ前記画像又は前記画像に関する情報を送信する送信部と、
   を備える情報処理装置。
2. 前記対象が含まれる前記画像を抽出する画像抽出部を備え、
   前記画像抽出部は、前記対象が含まれる前記画像の撮影時刻を含む所定時間範囲内に撮影された複数の画像を抽出し、
   前記送信部は、前記画像又は前記画像に関する情報として、前記画像抽出部によって抽出された前記複数の画像又は前記複数の画像に関する情報を送信する
   請求項１に記載の情報処理装置。
3. 前記画像抽出部は、機械学習によって生成されたモデルデータを用いて前記対象が含まれる前記画像を抽出し、
   前記送信部は、前記画像を抽出するために用いられた前記モデルデータに関する情報を前記画像又は前記画像に関する情報の送信先へ送信する
   請求項２に記載の情報処理装置。
4. 前記画像のうち、前記モデルデータの生成に用いる前記対象の行為が示されている部分画像を切り出す部分画像切出し部を備え、
   前記モデルデータは、前記部分画像切出し部によって切り出された部分画像に基づいて生成される
   請求項３に記載の情報処理装置。
5. 前記情報取得部は、前記画像に含まれる対象に関する情報として、前記対象の行為のカテゴリとして設定されている複数のカテゴリのうち、前記画像に含まれる前記対象の行為に該当する前記カテゴリを取得し、前記画像と該当するカテゴリとを関連付ける
   請求項１から４の何れか一項に記載の情報処理装置。
6. 機械学習によって、前記画像を抽出するために用いられるモデルデータを生成するモデル生成部と、
   前記複数のカテゴリのうち当該カテゴリに該当する学習用データの数が所定数より少ない第１カテゴリを検出した場合、前記第１カテゴリと他のカテゴリとの類似度を算出し、類似度が閾値より高い１つ以上の第２カテゴリと前記第１カテゴリとを１つのカテゴリに纏めるカテゴリ調整部と、
   を備える請求項５に記載の情報処理装置。
7. 前記カテゴリ調整部は、１つのカテゴリに纏められた複数のサブカテゴリの各々に該当する学習用データの数を計数し、何れのサブカテゴリも学習用データが所定数以上あると判定した場合、纏められたカテゴリを前記複数のサブカテゴリに分割し、前記複数のサブカテゴリそれぞれをカテゴリとする、
   請求項６に記載の情報処理装置。
8. 画像から前記画像に含まれる対象を特定し、前記対象に関する情報を出力する出力部を有する第１の情報処理装置と、
   前記画像又は前記画像に関する情報の送信先を、前記出力部が特定した前記対象に対応付けられた送信先と異なる送信先に決定し、決定した送信先へ前記画像又は前記画像に関する情報を送信する送信部を有する第２の情報処理装置と、
   を備える通知システム。
9. 判定装置をさらに備え、
   前記判定装置は、
   前記第２の情報処理装置から、前記画像又は前記画像に関する情報を取得し、前記画像又は前記画像に関する情報を表示する表示部と、
   前記画像又は前記画像に関する情報を機械学習に用いるか否かを判定する判定部と、
   前記判定の結果を前記機械学習の学習用データとして出力する出力部と、
   を備える
   請求項８に記載の通知システム。
10. 前記判定部は、
    前記表示部が表示した前記画像又は前記画像に関する情報が、前記機械学習の対象となる行為が行われたときの画像又は情報か否かの判定結果を取得する行為有無判定結果取得部と、
    前記表示部が表示した前記画像又は前記画像に関する情報が、前記機械学習の対象となる行為が行われたときの画像又は情報であると判定された場合、当該行為が該当するカテゴリの判定結果を取得するカテゴリ判定結果取得部と、
    を備える
    請求項９に記載の通知システム。
11. 情報処理装置が、画像から前記画像に含まれる対象を特定するステップと、
    前記情報処理装置が、前記対象に関する情報を取得する情報取得ステップと、
    前記情報処理装置が、前記画像又は前記画像に関する情報の送信先を、特定した前記対象に対応付けられた送信先と異なる送信先に決定し、決定した送信先へ前記画像又は前記画像に関する情報を送信する送信ステップと、
    を含む情報送信方法。
12. 情報処理装置に、
    画像から前記画像に含まれる対象を特定するステップと、
    前記対象に関する情報を取得する情報取得ステップと、
    前記画像又は前記画像に関する情報の送信先を、特定した前記対象に対応付けられた送信先と異なる送信先に決定し、決定した送信先へ前記画像又は前記画像に関する情報を送信する送信ステップと、
    を実行させるためのプログラム。

Images