JP6959197B2 - ゴミ分別支援システム、端末装置、ゴミ分別支援方法、及びプログラム - Google Patents

Description

本発明の実施形態は、ゴミ分別支援システム、端末装置、ゴミ分別支援方法、及びプログラムに関する。

廃棄するゴミの分別情報を、ゴミを廃棄しようとしている自治体における分別情報に応じて特定し、かつそれを回収する容器まで指定する技術が知られている（例えば、特許文献１参照）。この技術では、端末は、自治体を特定する情報をサーバに送信することにより、サーバに存在する自治体情報の一覧と自治体別ゴミ分別情報の一覧と回収協力店情報の一覧から該当する自治体の自治体ゴミ分別情報を取得し、取得した自治体ゴミ分別情報と廃棄しようとしている商品の商品分別情報とを照合することによりゴミの分別方法を簡単に特定する。さらに、この技術では、端末に保持してある回収容器ゴミ分別情報の一覧から該当するゴミを回収する容器を特定し、分別作業の負荷軽減と分別精度の向上を実現する。

特開２００５−１７３９６１号公報

従来の技術では、ユーザが端末を操作し、廃棄するゴミの属性情報を入力すると、廃棄すべきゴミ箱の情報が得られる。しかし、ゴミを捨てるときに端末を操作してゴミの属性情報を入力しなければ、廃棄すべきゴミ箱の情報を得ることができない。また、仮にペットボトルを廃棄する場合に、ラベルはプラ製容器包装、本体は資源ゴミ、キャップは容器包装プラスチックなど、一つの商品が複数の分別対象に分離され、分離された分別対象の処分先ゴミ箱が別れてしまう場合がある。そのため、廃棄するゴミの分別方法を、文章や図解で説明することが複雑となる場合がある。
本発明は、上記問題を解決すべくなされたもので、その目的は、ゴミの分別の利便性を向上できるゴミ分別支援システム、端末装置、ゴミ分別支援方法、及びプログラムを提供することにある。

（１）本発明の一態様は、端末装置と、サーバとを備えるゴミ分別支援システムであって、前記端末装置は、ゴミの画像情報を取得する画像入力部と、自端末装置の位置を測位する位置測位部と、前記画像入力部が取得した前記ゴミの前記画像情報と、前記位置測位部が測位した前記自端末装置の位置情報とを含み、前記ゴミの分別の判定を要求する信号であるゴミ分別判定要求を作成する制御部と、前記制御部が作成した前記ゴミ分別判定要求を前記サーバへ送信し、送信した前記ゴミ分別判定要求に対する応答信号であるゴミ分別応答を受信する通信部と、前記通信部が受信した前記ゴミ分別応答に含まれるゴミの分別方法を示す画像情報を取得し、取得した前記ゴミの分別方法を示す画像情報に基づいて、ゴミの分別方法を示す画像と、前記画像入力部が取得したゴミ箱の画像情報から得られる前記ゴミ箱の前記画像とを合成して表示する画像出力部とを備え、前記サーバは、前記端末装置が送信した前記ゴミ分別判定要求に含まれる前記ゴミの前記画像情報と、前記自端末装置の前記位置情報とを取得し、取得した前記ゴミの前記画像情報に基づいて、前記ゴミの画像の特徴量を抽出し、抽出した前記ゴミの画像の前記特徴量に該当する前記ゴミの分別名称を、ゴミの画像の特徴量と該ゴミの画像で示されるゴミの分別名称とを関連付けて記憶したデータベースから取得し、取得した前記ゴミの前記分別名称と前記自端末装置の前記位置情報とに基づいて、前記ゴミの分別方法を示す情報を取得し、取得した前記ゴミの前記分別方法を示す情報に基づいて、前記ゴミの前記分別方法を示す画像情報を取得し、取得した前記ゴミの前記分別方法を示す画像情報を含む前記ゴミ分別応答を作成する画像認識部と、前記画像認識部が作成した前記ゴミ分別応答を、前記端末装置へ送信するサーバ通信部とを備え、前記画像入力部は、前記ゴミ箱の前記画像情報を取得し、前記制御部は、前記ゴミ箱の前記画像情報をさらに含む前記ゴミ分別判定要求を作成し、前記画像認識部は、前記端末装置が送信した前記ゴミ分別判定要求に含まれる前記ゴミ箱の前記画像情報をさらに取得し、取得した前記ゴミ箱の前記画像情報と、前記自端末装置の前記位置情報とに基づいて、前記ゴミ箱の位置情報を取得し、取得した前記ゴミの前記分別名称と前記ゴミ箱の前記位置情報とに基づいて、前記ゴミの前記分別方法を示す情報を取得する、ゴミ分別支援システムである。
（２）本発明の一態様は、上記（１）に記載のゴミ分別支援システムにおいて、前記端末装置は、前記自端末装置の向きを検出する姿勢検出部を備え、前記画像出力部は、前記姿勢検出部が検出した前記向きを示す情報に基づいて、前記画像入力部が取得した前記ゴミ箱の前記画像情報から得られる前記画像に合成する前記ゴミの前記分別方法を示す画像の位置を補正する。
（３）本発明の一態様は、上記（１）又は上記（２）に記載のゴミ分別支援システムにおいて、前記画像認識部は、取得した前記ゴミの前記画像情報と前記自端末装置の前記位置情報とに基づいて、前記自端末装置の位置から所定の範囲のゴミ箱の位置情報を取得し、前記サーバ通信部は、前記画像認識部が取得した前記ゴミ箱の前記位置情報さらに含む前記ゴミ分別応答を作成する。
（４）本発明の一態様は、ゴミの画像情報とゴミ箱の画像情報とを取得する画像入力部と、自端末装置の位置を測位する位置測位部と、前記画像入力部が取得した前記ゴミの前記画像情報に基づいて、前記ゴミの画像の特徴量を抽出し、抽出した前記ゴミの画像の前記特徴量に該当する前記ゴミの分別名称を、ゴミの画像の特徴量と該ゴミの画像で示されるゴミの分別名称とを関連付けて記憶したデータベースから取得し、取得した前記ゴミの前記分別名称とゴミ箱の画像情報と前記位置測位部が測位した前記自端末装置の位置情報とに基づいて取得される前記ゴミ箱の位置情報とに基づいて、前記ゴミの分別方法を示す情報を取得し、取得した前記ゴミの前記分別方法を示す情報に基づいて、前記ゴミの前記分別方法を示す画像情報を取得する画像認識部と、前記画像認識部が取得した前記ゴミの前記分別方法を示す前記画像情報に基づいて、前記ゴミの前記分別方法を示す画像と、前記画像入力部が取得したゴミ箱の画像情報から得られる前記ゴミ箱の前記画像とを合成して表示する画像出力部とを備える、端末装置である。
（５）本発明の一態様は、端末装置と、サーバとを備えるゴミ分別支援システムが実行するゴミ分別支援方法であって、前記端末装置が、ゴミの画像情報とゴミ箱の画像情報とを取得するステップと、前記端末装置が、自端末装置の位置を測位するステップと、前記端末装置が、前記ゴミの前記画像情報と、前記ゴミ箱の前記画像情報と、前記自端末装置の位置情報とを含み、前記ゴミの分別の判定を要求する信号であるゴミ分別判定要求を作成するステップと、前記端末装置が、前記ゴミ分別判定要求を前記サーバへ送信するステップと、前記サーバが、前記端末装置が送信した前記ゴミ分別判定要求に含まれる前記ゴミの前記画像情報と、前記ゴミ箱の前記画像情報と、前記自端末装置の前記位置情報とを取得するステップと、前記サーバが、前記ゴミの前記画像情報に基づいて、前記ゴミの画像の特徴量を抽出し、抽出した前記ゴミの画像の前記特徴量に該当する前記ゴミの分別名称を、ゴミの画像の特徴量と該ゴミの画像で示されるゴミの分別名称とを関連付けて記憶したデータベースから取得するステップと、前記サーバが、前記ゴミの分別名称と、前記ゴミ箱の前記画像情報と前記自端末装置の前記位置情報とに基づいて取得される前記ゴミ箱の位置情報とに基づいて、前記ゴミの分別方法を示す情報を取得するステップと、前記サーバが、前記ゴミの前記分別方法を示す情報に基づいて、前記ゴミの前記分別方法を示す画像情報を取得するステップと、前記サーバが、前記ゴミの前記分別方法を示す前記画像情報を含むゴミ分別応答を作成するステップと、前記サーバが、前記ゴミ分別応答を、前記端末装置へ送信するステップと、前記端末装置が、前記サーバが送信した前記ゴミ分別応答を受信するステップと、前記端末装置が、前記ゴミ分別応答に含まれる前記ゴミの前記分別方法を示す前記画像情報を取得し、取得した前記ゴミの前記分別方法を示す前記画像情報に基づいて、前記ゴミの前記分別方法を示す画像と、取得したゴミ箱の画像情報から得られる前記ゴミの前記画像とを合成して表示するステップとを有する、ゴミ分別支援方法である。
（６）本発明の一態様は、端末装置と通信を行うサーバのコンピュータに、前記端末装置が送信したゴミ分別判定要求に含まれるゴミの画像情報と、ゴミ箱の前記画像情報と、前記端末装置の位置情報とを取得するステップと、取得した前記ゴミの前記画像情報に基づいて、前記ゴミの画像の特徴量を抽出し、抽出した前記ゴミの画像の前記特徴量に該当する前記ゴミの分別名称を、ゴミの画像の特徴量と該ゴミの画像で示されるゴミの分別名称とを関連付けて記憶したデータベースから取得するステップと、取得した前記ゴミの前記分別名称と、前記ゴミ箱の前記画像情報と前記端末装置の前記位置情報とに基づいて取得される前記ゴミ箱の位置情報とに基づいて、前記ゴミの分別方法を示す情報を取得するステップと、取得した前記ゴミの前記分別方法を示す情報に基づいて、前記ゴミの前記分別方法を示す画像情報を取得するステップと、前記ゴミの前記分別方法を示す前記画像情報を含むゴミ分別応答を作成し、作成した前記ゴミ分別応答を、前記端末装置へ送信するステップとを実行させる、プログラムである。

本発明によれば、ゴミの分別の利便性を向上できるゴミ分別支援システム、端末装置、ゴミ分別支援方法、及びプログラムを提供できる。

本発明の実施形態のゴミ分別支援システムの一例を示す図である。 本発明の実施形態のゴミ分別支援システムを構成するサーバのハードウェア構成と、端末装置のハードウェア構成との一例を示す図である。 本発明の実施形態のゴミ分別支援システムを構成するサーバと、端末装置とを示すブロック図である。 本発明の実施形態のゴミ分別支援システムの動作の一例を示すシーケンスチャートである。 本発明の実施形態のゴミ分別支援システムの動作の一例を示す図である。 本発明の実施形態のゴミ分別支援システムの動作の一例を示す図である。 本発明の実施形態のゴミ分別支援システムの動作の一例を示す図である。 本発明の実施形態のゴミ分別支援システムの動作の一例を示す図である。 本発明の実施形態のゴミ分別支援システムの動作の一例を示す図である。 本発明の実施形態のゴミ分別支援システムを構成する端末装置を示すブロック図である。

次に、本実施形態のゴミ分別支援システム、端末装置、ゴミ分別支援方法、及びプログラムを、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づく」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づく」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

（実施形態）
（ゴミ分別支援システム）
図１に示すように、本実施形態のゴミ分別支援システム３は、サーバ１と、端末装置２とを備える。サーバ１と端末装置２との間は、携帯電話網、インターネットなどのネットワーク４を介して接続される。観光地、空港などの外国人が多い公共施設にゴミ箱５が設置される。訪日客などの観光客は、端末装置２にインストールされているゴミ分別アプリを起動する。ゴミ分別アプリが起動することによって、端末装置２は、「分別対象のゴミとゴミ箱とを撮影してください」などのゴミとゴミ箱との撮影（撮像）を促すメッセージを表示する。
端末装置２のユーザ（観光客）は、端末装置２に表示されたメッセージにしたがって、ゴミとゴミ箱とを撮影する。ユーザが撮影することによって、端末装置２は、ゴミの画像情報と、ゴミ箱の画像情報とを生成する。端末装置２は、端末装置２の識別情報と、端末装置２の位置情報と、生成したゴミの画像情報と、ゴミ箱の画像情報とを含むゴミ分別判定要求を作成し、作成したゴミ分別判定要求を、サーバ１へ送信する。

サーバ１は、端末装置２が送信したゴミ分別判定要求に含まれるゴミの画像情報に基づいて、ゴミの分別名称などの属性を識別し、ゴミ箱の画像情報に基づいて、ゴミ箱の構成を識別し、ゴミの属性の識別結果とゴミ箱の構成の識別結果とに基づいて、ゴミの分別方法の説明文と、ゴミの分別方法を説明するための情報（以下「ゴミ分別方法説明情報」という）を取得する。ゴミの分別方法は、ゴミ箱５が設置された地域のルールにしたがったものである。サーバ１は、取得したゴミ分別方法説明情報を含み、端末装置２をあて先とするゴミ分別応答を作成し、作成したゴミ分別応答を、端末装置２へ送信する。端末装置２は、サーバ１が送信したゴミ分別応答を受信し、受信したゴミ分別応答に含まれるゴミ分別方法説明情報に基づいて、拡張現実技術(AR: Augmented Reality)により、端末装置２が備える撮像部が撮影したゴミ箱の画像に、ゴミの分別方法を合成して表示する。
図１に示される例では、ゴミ箱５は、可燃ゴミ箱５１と、不燃ゴミ箱５２と、資源ゴミ箱５３との３個の分別ゴミ箱を含む。可燃ゴミ箱５１、不燃ゴミ箱５２、資源ゴミ箱５３などの複数の分別ゴミ箱の各々には、互いに異なる色、文字などの識別情報が割り当てられている。例えば、複数の分別ゴミ箱の各々に、互いに異なる色が割り当てられている場合には、一例として、可燃ゴミ箱５１の筐体は赤色で塗装され、不燃ゴミ箱５２の筐体は青色で塗装され、資源ゴミ箱５３の筐体は緑色で塗装される。
ゴミ箱５を設置した場合に、設置者は、ゴミ箱５の画像情報、文字情報などのゴミ箱の特徴が判別できる情報と、そのゴミ箱５の構成を示す情報（以下「ゴミ箱構成情報」という）を、サーバ１に入力する。以下、ゴミ箱の特徴が判別できる情報の一例として、ゴミ箱５の画像情報を使用した場合について説明を続ける。サーバ１は、ゴミ箱５の画像情報に基づいて、ゴミ箱５の画像の特徴量を導出し、導出したゴミ箱５の画像の特徴量と、ゴミ箱構成情報とを関連付けて記憶する。具体的には、設置者は、サーバ１を操作することによって、ゴミ箱５の画像情報を入力し、入力したゴミ箱５の画像の特徴量を認識させる。設置者は、ゴミ箱構成情報を入力し、サーバ１に、ゴミ箱５の画像の特徴量と、ゴミ箱構成情報とを関連付けて、記憶させる。ゴミ箱構成情報の一例は、各分別ゴミ箱が、可燃ゴミ、不燃ゴミ、資源ゴミのいずれかに該当するかを示す情報である。ここで、可燃ゴミとは燃やせるゴミのことであり、具体的には、生ゴミ、紙くず、繊維くず、プラスチック類、ゴムや皮革などがあげられる。不燃ゴミとは燃やせないゴミのことであり、具体的には、金属、ガラス、陶磁器を原材料とした製品があげられる。資源ゴミとは一般に再資源化が可能なゴミであり、主に缶、ペットボトル、瓶、紙類、電池、金属塊などがあげられる。サーバ１は、ゴミ箱５の画像の特徴量とゴミ箱構成情報とを関連付けて記憶する。

ゴミ分別支援システムが実際に使用される場合について説明する。ゴミを捨てようとする者（以下「ユーザ」という）は、端末装置２を操作することによって、ゴミ分別アプリを起動する。ゴミ分別アプリが起動することによって、端末装置２は、ゴミとゴミ箱との撮影を促すメッセージを表示する。端末装置２のユーザは、端末装置２に表示されたメッセージにしたがって、ゴミとゴミ箱とを撮影する。ユーザが撮影することによって、端末装置２は、ゴミの画像情報と、ゴミ箱の画像情報とを生成する。端末装置２は、生成したゴミの画像情報と、ゴミ箱の画像情報と、端末装置２の向きを示す情報と、端末装置２の識別情報と、端末装置２の位置情報とを含むゴミ分別判定要求を作成し、作成したゴミ分別判定要求を、サーバ１へ送信する。サーバ１は、端末装置２が送信したゴミ分別判定要求を受信し、受信したゴミ分別判定要求に含まれるゴミの画像情報と、ゴミ箱の画像情報と、端末装置２の向きを示す情報と、端末装置２の識別情報と、端末装置２の位置情報とを取得する。サーバ１は、取得したゴミの画像情報に基づいて、ゴミの画像からゴミの画像の特徴量を抽出する。サーバ１は、取得したゴミ箱の画像情報に基づいて、ゴミ箱の画像から、ゴミ箱の画像の特徴量を抽出する。
サーバ１は、抽出したゴミの画像の特徴量を示す情報に基づいて、ゴミの画像の特徴量とそのゴミの画像で示されるゴミの分別名称とを関連付けて記憶したデータベースから、そのゴミの画像の特徴量に該当するゴミの分別名称を検索する。また、サーバ１は、抽出したゴミ箱の画像の特徴量を示す情報に基づいて、ゴミ箱の画像の特徴量とそのゴミ箱の構成情報とを関連付けて記憶したデータベースから、そのゴミ箱の画像の特徴量に該当するゴミ箱の構成情報を示す情報を取得する。また、サーバ１は、取得した端末装置２の位置情報と、端末装置の向きを示す情報とに基づいて、ゴミ箱５の位置を推定する。サーバ１は、ゴミ箱５の位置の推定結果に基づいて、地域を示す情報と、その地域でのゴミの分別方法とを関連付けて記憶するデータベースから、そのゴミ箱５の位置の推定結果に該当する地域を示す情報に関連付けて記憶されているゴミの分別方法を示す情報を取得する。
さらに、サーバ１は、取得したゴミの分別方法を示す情報に基づいて、ゴミの分別方法を示す情報と、そのゴミ分別方法説明情報を関連付けて記憶したデータベースから、そのゴミの分別方法を示す情報に該当するゴミ分別方法説明情報を取得する。サーバ１は、取得したゴミ分別方法説明情報を含むゴミ分別応答を作成し、作成したゴミ分別応答を、端末装置２へ送信する。
端末装置２は、サーバ１が送信したゴミ分別応答を受信し、受信したゴミ分別応答に基づいて、端末装置２のユーザに、ゴミ箱５を撮像させる。端末装置２は、ゴミ分別応答に含まれるゴミ分別方法説明情報に基づいて、拡張現実技術により、端末装置２が撮像したゴミ箱５に、ゴミ分別方法説明情報を合成して表示する。以下、ゴミ分別支援システムを構成するサーバ１と、端末装置２とについて、説明する。

（ゴミ分別支援システムのハードウェア構成）
図２を参照して、ゴミ分別支援システム３を構成するサーバ１のハードウェア構成と端末装置２のハードウェア構成とについて順次説明する。サーバ１は、ＣＰＵ１５２と、メモリ１５４と、不揮発性メモリ１５６と、操作部１６２と、通信Ｉ／Ｆ１６６と、内部バス１５０とを備えている。ＣＰＵ１５２は、例えば不揮発性メモリ１５６に格納されるプログラム１５６２を実行し、メモリ１５４をワークメモリとして使用して、サーバ１の各部を制御する。メモリ１５４は、半導体素子を利用した揮発性のメモリなどのＲＡＭによって構成され、ＣＰＵ１５２のワークメモリとして使用される。不揮発性メモリ１５６は、例えばＲＯＭ等によって構成される。不揮発性メモリ１５６には、ＣＰＵ１５２によって実行されるプログラム１５６２と、端末情報１５６３と、ゴミ別特徴量１５６４と、ゴミ箱別特徴量１５６５と、地域別分別情報１５６６と、分別方法説明情報１５６７とが格納される。端末情報１５６３と、ゴミ別特徴量１５６４と、ゴミ箱別特徴量１５６５と、地域別分別情報１５６６と、分別方法説明情報１５６７とについては、後述する。
操作部１６２は、ゴミ箱５の設置者などの操作を受け付ける入力デバイスである。具体的には、設置者は、操作部１６２を操作することによって、ゴミ箱５の画像情報と、ゴミ箱構成情報とを入力する。通信Ｉ／Ｆ１６６は、外部機器や、ネットワーク４に接続された端末装置２などと通信して、データの送受信を行うためのインターフェースである。具体的には、通信Ｉ／Ｆ１６６は、ワイファイ（登録商標）等の無線通信技術で無線通信を行う無線デバイスによって構成される。また、通信Ｉ／Ｆ１６６は、有線ＬＡＮ等の通信技術で通信を行うデバイスによって構成されてもよい。内部バス１５０は、ＣＰＵ１５２、メモリ１５４、不揮発性メモリ１５６、操作部１６２、及び通信Ｉ／Ｆ１６６を互いに接続する。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやり取りを行うことができるようにされている。

端末装置２は、ＣＰＵ２５２と、メモリ２５４と、測位部２５５と、不揮発性メモリ２５６と、操作部２５７と、表示部２５８と、撮像部２５９と、センサ２６０と、通信Ｉ／Ｆ２６６と、内部バス２５０とを備えている。ＣＰＵ２５２は、例えば不揮発性メモリ２５６に格納されるプログラム２５６２を実行し、メモリ２５４をワークメモリとして使用して、端末装置２の各部を制御する。メモリ２５４は、半導体素子を利用した揮発性のメモリなどのＲＡＭによって構成され、ＣＰＵ２５２のワークメモリとして使用される。不揮発性メモリ２５６は、例えばＲＯＭ等によって構成される。不揮発性メモリ２５６には、ＣＰＵ２５２によって実行されるプログラム２５６２が格納される。測位部２５５は、例えば、ＧＰＳ衛星を用いた位置測位、又は携帯電話網の基地局を用いた位置測位などを用いて、端末装置２の位置を測位する。操作部２５７は、例えば、タッチパネルなどによって構成され、表示部２５８に表示される画面に対するタッチ操作を検出し、タッチ操作の検出結果を、ＣＰＵ２５２へ出力する。タッチ操作には、ゴミ分別アプリを起動する操作などが含まれる。表示部２５８は、例えば、タッチパネルによって構成され、ゴミとゴミ箱との撮影を促すメッセージを表示する。撮像部２５９は、例えば、カメラによって構成され、外部の風景の静止画と動画とを撮像する。センサ２６０は、加速度センサ、地磁気センサなどによって構成され、端末装置２の向きを検出する。
通信Ｉ／Ｆ２６６は、外部機器や、ネットワーク４に接続されたサーバ１などと通信して、データの送受信を行うためのインターフェースである。具体的には、通信Ｉ／Ｆ２６６は、ワイファイ（登録商標）等の無線通信技術で無線通信を行う無線デバイスによって構成される。また、通信Ｉ／Ｆ２６６は、有線ＬＡＮ等の通信技術で通信を行うデバイスによって構成されてもよい。内部バス２５０は、ＣＰＵ２５２、メモリ２５４、測位部２５５、不揮発性メモリ２５６、操作部２５７、表示部２５８、撮像部２５９、センサ２６０、通信Ｉ／Ｆ２６６を互いに接続する。内部バス２５０に接続される各部は、内部バス２５０を介して互いにデータのやり取りを行うことができるようにされている。

（本実施形態に係るゴミ分別支援システムの機能構成）
図３に示すように、サーバ１は、サーバ通信部１０１と、端末識別部１０２と、端末情報記憶部１０３と、画像認識部１０４と、ゴミ別特徴量記憶部１０５と、ゴミ箱別特徴量記憶部１０６と、地域別分別情報記憶部１０７と、分別方法説明情報記憶部１０８とを有している。これらの各部は、図２に示されている各構成要素のいずれかが、不揮発性メモリ１５６からメモリ１５４上に展開されたプログラム１５６２を実行するＣＰＵ１５２からの命令によって動作することで実現される機能である。
図２及び図３を用いて、サーバ１の各機能構成について詳細に説明する。サーバ１のサーバ通信部１０１は、ＣＰＵ１５２からの命令、及び通信Ｉ／Ｆ１６６によって実現される。サーバ通信部１０１は、端末装置２などの他の装置との間でセッションが構築された後、各種データの送受信を行う。具体的には、サーバ通信部１０１は、端末装置２が送信したゴミ分別判定要求を受信し、受信したゴミ分別判定要求を、端末識別部１０２へ出力する。ゴミ分別判定要求には、端末装置２の識別情報と、端末装置２の位置情報と、端末装置２の向きを示す情報と、ゴミの画像情報と、ゴミ箱の画像情報とが含まれる。ここで、端末装置２の識別情報は、端末装置２のＩＰアドレス、ＭＡＣアドレスなどである。以下、端末装置２の識別情報が、端末装置２のＩＰアドレスである場合について、説明を続ける。サーバ１と端末装置２とは、端末装置２のＩＰアドレスを使用して、相互に通信する。端末装置２の位置情報は、例えば、ＧＰＳ衛星を用いた位置測位、又は携帯電話網の基地局を用いた位置測位などにより取得した、端末装置２の利用場所を表す情報である。
端末装置２の向きを示す情報は、端末装置２のセンサ２６０が検出した端末装置２の傾きを示す情報と方角を示す情報とを含む。端末装置２の向きを示す情報と、端末装置２の位置情報とによって、ゴミ箱５の位置が推定される。ゴミの画像情報は、端末装置２が撮像した分別対象のゴミの画像情報である。ゴミ箱の画像情報は、ユーザがゴミを廃棄しようとしているゴミ箱の画像情報である。また、サーバ通信部１０１は、画像認識部１０４が出力したゴミ分別応答を取得し、取得したゴミ分別応答を、端末装置２へ、送信する。

端末識別部１０２は、ＣＰＵ１５２からの命令によって実現される。端末識別部１０２は、サーバ通信部１０１が出力したゴミ分別判定要求を取得する。端末識別部１０２は、取得したゴミ分別判定要求に含まれる端末装置２の識別情報と、端末装置２の位置情報と、端末装置２の向きを示す情報と、ゴミの画像情報と、ゴミ箱の画像情報とを取得する。端末識別部１０２は、取得した端末装置２の識別情報と、端末装置２の位置情報と、端末装置２の姿勢を示す情報とを、端末情報記憶部１０３に出力する。また、端末識別部１０２は、取得した端末装置２の識別情報と、端末装置２の位置情報と、端末装置２の向きを示す情報と、ゴミの画像情報と、ゴミ箱の画像情報とを画像認識部１０４へ出力する。
端末情報記憶部１０３は、不揮発性メモリ１５６の端末情報１５６３によって実現される。端末情報記憶部１０３は、データベースであり、端末識別部１０２が出力した端末装置２の識別情報と、端末装置２の位置情報と、端末装置２の姿勢を示す情報とを取得し、取得した端末装置２の識別情報と、端末装置２の位置情報と、端末装置２の姿勢を示す情報とを関連付けて記憶する。端末情報記憶部１０３に記憶された情報は、サーバ１と端末装置２とが相互接続するために使用される。
画像認識部１０４は、ＣＰＵ１５２からの命令によって実現される。画像認識部１０４は、端末識別部１０２が出力した端末装置２の識別情報と、端末装置２の位置情報と、端末装置２の向きを示す情報と、ゴミの画像情報と、ゴミ箱の画像情報とを取得する。画像認識部１０４は、取得したゴミの画像情報と、ゴミ箱の画像情報とに基づいて、ゴミの画像と、ゴミ箱の画像とに対して、画像処理技術などを活用し、画像解析を行うことによって、特徴量を抽出する。
画像認識部１０４は、ゴミ別特徴量記憶部１０５に検索させることによって、抽出したゴミの画像の特徴量と関連付けて記憶されている分別名称を示す情報を取得する。画像認識部１０４は、ゴミ別特徴量記憶部１０５に、ペットボトルや缶など詳細な分別名称まで取得させる。画像認識部１０４は、ゴミ別特徴量記憶部１０５が出力した画像の被写体のゴミが該当する分別名称を示す情報を取得する。また、画像認識部１０４は、画像の被写体のゴミの画像の特徴量と一致するゴミの画像の特徴量がない場合は、ゴミ別特徴量記憶部１０５から、該当する対象がないことを示す情報を取得する。画像認識部１０４は、ゴミ箱別特徴量記憶部１０６に検索させることによって抽出させたゴミ箱の画像の特徴量と一致するゴミ箱の構成情報を取得させる。画像認識部１０４は、ゴミ箱別特徴量記憶部１０６が出力したゴミ箱の構成情報を取得する。また、画像認識部１０４は、画像の被写体のゴミ箱の画像の特徴量と一致するゴミ箱の画像の特徴量がない場合は、ゴミ箱別特徴量記憶部１０６から、該当する対象がないことを示す情報を取得する。

画像認識部１０４は、端末装置２の位置情報と、端末装置２の向きを示す情報とに基づいて、ゴミ箱５が設置された場所を推定する。画像認識部１０４は、ゴミの分別名称を示す情報を取得した場合に、地域別分別情報記憶部１０７に検索させることによって、取得したゴミの分別名称と、ゴミ箱５が設置された場所の推定結果とに関連付けて記憶されている地域別の分別情報を取得させる。画像認識部１０４は、地域別分別情報記憶部１０７が出力した地域別分別情報を取得する。また、画像認識部１０４は、地域別分別情報がない場合は、地域別分別情報記憶部１０７から、該当する対象がないことを示す情報を取得する。画像認識部１０４は、地域別の分別情報を取得した場合に、分別方法説明情報記憶部１０８に検索させることによって、取得した地域別の分別情報に関連付けて記憶されているゴミ分別方法説明情報を取得させる。画像認識部１０４は、分別方法説明情報記憶部１０８が出力したゴミ分別方法説明情報を取得する。また、画像認識部１０４は、ゴミ分別方法説明情報がない場合は、分別方法説明情報記憶部１０８から、該当する対象がないことを示す情報を取得する。
画像認識部１０４は、分別方法説明情報記憶部１０８が出力したゴミ分別方法説明情報を取得した場合には、取得したゴミ分別方法説明情報と、端末装置２の識別情報とを含むゴミ分別応答を作成し、作成したゴミ分別応答を、端末識別部１０２を経由して、サーバ通信部１０１へ出力する。また、画像認識部１０４は、ゴミ別特徴量記憶部１０５が出力した画像の被写体のゴミの画像の特徴量と一致するゴミの画像の特徴量がないことを示す情報を取得した場合には、分別名称がないことを示す情報と、端末装置２の識別情報とを含むゴミ分別応答を作成し、作成したゴミ分別応答を、端末識別部１０２を経由して、サーバ通信部１０１へ出力する。また、画像認識部１０４は、ゴミ箱別特徴量記憶部１０６が出力した画像の被写体のゴミ箱の画像の特徴量と一致するゴミ箱の画像の特徴量がないことを示す情報を取得した場合には、画像の被写体のゴミ箱の画像の特徴量と一致するゴミ箱の画像の特徴量がないことを示す情報と、端末装置２の識別情報とを含むゴミ分別応答を作成し、作成したゴミ分別応答を、端末識別部１０２を経由して、サーバ通信部１０１へ出力する。また、画像認識部１０４は、地域別分別情報記憶部１０７が出力した地域別分別情報がないことを示す情報を取得した場合、地域別分別情報がないことを示す情報と、端末装置２の識別情報とを含むゴミ分別応答を作成し、作成したゴミ分別応答を、端末識別部１０２を経由して、サーバ通信部１０１へ出力する。また、画像認識部１０４は、分別方法説明情報記憶部１０８が出力したゴミ分別方法説明情報がないことを示す情報を取得した場合、ゴミ分別方法説明情報がないことを示す情報と、端末装置２の識別情報とを含むゴミ分別応答を作成し、作成したゴミ分別応答を、端末識別部１０２を経由して、サーバ通信部１０１へ出力する。

ゴミ別特徴量記憶部１０５は、不揮発性メモリ１５６のゴミ別特徴量１５６４によって実現される。ゴミ別特徴量記憶部１０５は、ゴミの分別名称と、そのゴミの画像の特徴量とを関連付けて記憶したデータベースである。ゴミ別特徴量記憶部１０５は、画像認識部１０４が出力したゴミの画像の特徴量に基づいて、画像の被写体のゴミがどの分別名称に該当するゴミであるかを検索する。ゴミ別特徴量記憶部１０５は、画像の被写体のゴミに該当する分別名称がある場合にはその分別名称を示す情報を、画像認識部１０４へ出力し、画像の被写体のゴミの画像の特徴量がない場合にはゴミの画像の特徴量がないことを示す情報を、画像認識部１０４へ出力する。
ゴミ箱別特徴量記憶部１０６は、不揮発性メモリ１５６のゴミ箱別特徴量１５６５によって実現される。ゴミ箱別特徴量記憶部１０６は、ゴミ箱の構成情報と、ゴミ箱の画像の特徴量とを関連付けて記憶したデータベースである。ゴミ箱別特徴量記憶部１０６は、画像認識部１０４が出力したゴミ箱の画像の特徴量に基づいて、画像の被写体のゴミ箱の構成情報を検索する。ゴミ箱別特徴量記憶部１０６は、画像の被写体のゴミ箱の画像の特徴量に該当するゴミ箱の構成情報がある場合にはそのゴミ箱の構成情報を示す情報を、画像認識部１０４へ出力し、画像の被写体のゴミ箱の画像の特徴量がない場合にはゴミ箱の画像の特徴量がないことを示す情報を、画像認識部１０４へ出力する。
地域別分別情報記憶部１０７は、不揮発性メモリ１５６の地域別分別情報１５６６によって実現される。地域別分別情報記憶部１０７は、地域ごとのゴミの分別方法を記憶したデータベースである。具体的には、地域別分別情報記憶部１０７は、地域の緯度の範囲と経度の範囲を示す情報と、ゴミの分別名称を示す情報と、そのゴミのゴミ分別方法を示す情報とを関連付けて記憶する。地域別分別情報記憶部１０７は、画像認識部１０４が出力したゴミの分別名称と、ゴミ箱５が設置された場所の推定結果とを取得し、取得したゴミの分別名称と、ゴミ箱５が設置された場所の推定結果とに基づいて、ゴミの分別方法を示す情報を検索する。地域別分別情報記憶部１０７は、取得したゴミの分別名称と、ゴミ箱５が設置された場所の推定結果とに該当するゴミの分別方法がある場合にはそのゴミの分別方法を示す情報を、画像認識部１０４へ出力し、取得したゴミの分別名称と、ゴミ箱５が設置された場所の推定結果とに該当するゴミの分別方法がない場合にはゴミの分別方法がないことを示す情報を、画像認識部１０４へ出力する。
このように構成することによって、地域別分別情報記憶部１０７は、ゴミ箱５が設置された場所の推定結果に基づいて、ゴミ箱５がある地域のゴミの分別情報を検索することができる。分別方法説明情報記憶部１０８は、不揮発性メモリ１５６の分別方法説明情報１５６７によって実現される。分別方法説明情報記憶部１０８は、ゴミの分別方法を示す情報と、ゴミ分別方法説明情報とを関連付けて記憶したデータベースである。ここで、ゴミ分別方法説明情報のゴミの分別方法を説明するための情報の一例は、アニメーション表示である。分別方法説明情報記憶部１０８は、画像認識部１０４が出力したゴミの分別方法を示す情報を取得し、取得したゴミの分別方法を示す情報に基づいて、ゴミ分別方法説明情報を検索する。

端末装置２は、画像入力部２０１と、制御部２０２と、画像認識部２０３と、姿勢検出部２０４と、位置測定部２０５と、通信部２０６と、画像出力部２０７とを有している。画像入力部２０１は、ＣＰＵ２５２からの命令、及び撮像部２５９によって実現される。画像入力部２０１は、端末装置２に搭載されている撮像部２５９が撮像することによって得られる動画の映像情報と静止画の画像情報とのいずれか一方又は両方が入力されることによって、動画の映像情報と静止画の画像情報とのいずれか一方又は両方を取得する。本実施形態では、撮像部２５９が、ゴミと、ゴミ箱とを撮像することによって、ゴミの画像情報と、ゴミ箱の画像情報とを、生成する場合について説明を続ける。画像入力部２０１は、取得した画像情報を、制御部２０２へ出力する。
制御部２０２は、ＣＰＵ２５２からの命令によって実現される。制御部２０２は、端末装置２の動作全般の制御と、管理とを行う。制御部２０２は、画像入力部２０１が出力したゴミの画像情報と、ゴミ箱の画像情報とを取得する。また、制御部２０２は、位置測定部２０５が出力した端末装置２の位置情報を取得する。また、制御部２０２は、姿勢検出部２０４が出力した端末装置２の向きを示す情報を取得する。制御部２０２は、取得したゴミの画像情報と、ゴミ箱の画像情報と、端末装置２の識別情報と、端末装置２の位置情報とを含み、サーバ１を宛先とするゴミ分別判定要求を作成し、作成したゴミ分別判定要求を、通信部２０６へ出力する。また、制御部２０２は、通信部２０６が出力したゴミ分別応答を取得し、取得したゴミ分別応答に含まれるゴミ分別方法説明情報と、分別名称がないことを示す情報と、ゴミ箱の画像の特徴量がないことを示す情報と、地域別分別情報がないことを示す情報と、ゴミ分別方法説明情報がないことを示す情報とのいずれかを取得する。制御部２０２は、ゴミ分別方法説明情報を取得した場合にはそのゴミ分別説明情報を、拡張現実技術を用いて処理することによって、画像入力部２０１が取得した画像情報を画像処理することによって得られる画像に、リアルタイムで合成する。制御部２０２は、ゴミ分別方法説明情報を合成した画像情報を、画像出力部２０７へ出力する。制御部２０２は、ゴミ分別方法説明情報以外の情報を取得した場合にはその情報を、拡張現実技術を用いて処理することによって、画像入力部２０１が取得した画像情報を画像処理することによって得られる画像に、リアルタイムで合成する。
制御部２０２は、ゴミ分別方法説明情報以外の情報を合成した画像情報を、画像出力部２０７へ出力する。具体的には、制御部２０２は、ゴミ分別方法説明情報を合成する場合には、画像認識部２０３に、画像入力部２０１が取得したゴミ箱５の画像から、ゴミ箱５の画像の特徴量を抽出させる。また、制御部２０２は、姿勢検出部２０４に、端末装置２の向きを検出させる。制御部２０２は、画像認識部２０３に抽出させたゴミ箱５の画像の特徴量に基づいて、ゴミ分別方法説明情報が、ゴミ箱５などの対象物の画像に重なって表示されるように、ゴミ分別方法説明情報を表示する位置を調整する。また、制御部２０２は、姿勢検出部２０４に検出させた端末装置２の向きに基づいて、ゴミ分別方法説明情報が、ゴミ箱５などの対象物の画像に重なって表示されるように、ゴミ分別方法説明情報を表示する位置を調整する。
画像認識部２０３は、ＣＰＵ２５２からの命令によって実現される。画像認識部２０３は、画像入力部２０１が取得した画像情報に対して、画像処理技術を用いて、画像の特徴量を抽出する。画像認識部２０３は、制御部２０２が、ゴミ分別方法説明情報を、拡張現実技術を用いて、画像に、リアルタイムで合成する場合に、抽出した画像の特徴量を制御部２０２へ出力する。

姿勢検出部２０４は、ＣＰＵ２５２からの命令、及びセンサ２６０によって実現される。姿勢検出部２０４は、端末装置２の向きを検出する。具体的には、姿勢検出部２０４は、端末装置２の傾きを示す情報と方角を示す情報とを取得し、取得した傾きを示す情報と方角を示す情報とを、制御部２０２へ出力する。制御部２０２は、姿勢検出部２０４が出力した傾きを示す情報と方角を示す情報とを取得し、取得した傾きを示す情報と方角を示す情報とを、ゴミ分別判定要求に含める。また、姿勢検出部２０４は、傾きを示す情報と方角を示す情報とを使用して、ゴミ分別方法説明情報を、拡張現実技術を用いて、画像入力部２０１が取得した画像情報を画像処理することによって得られる画像に、リアルタイムで合成する。このように構成することによって、ゴミ分別方法説明情報を、拡張現実技術を用いて、画像に、合成するときの位置精度を向上させることができる。位置測定部２０５は、ＣＰＵ２５２からの命令、及び測位部２５５によって実現される。位置測定部２０５は、端末装置２が利用されている場所を特定する。位置測定部２０５は、測位部２５５によって、端末装置２の絶対位置情報を測定する。システムの絶対位置情報の一例は、経度と緯度とで示される。位置測定部２０５は、端末装置２の位置情報を、制御部２０２へ出力する。通信部２０６は、ＣＰＵ２５２からの命令、及び通信Ｉ／Ｆ１６６によって実現される。通信部２０６は、制御部２０２が出力したゴミ分別判定要求を取得し、取得したゴミ分別判定要求を、ネットワーク４を経由して、サーバ１へ送信する。また、通信部２０６は、サーバ１が送信したゴミ分別応答を受信し、受信したゴミ分別応答を、制御部２０２へ出力する。画像出力部２０７は、ＣＰＵ２５２からの命令、及び表示部２５８によって実現される。画像出力部２０７は、制御部２０２が出力したゴミ分別方法説明情報を合成した画像情報取得し、取得したゴミ分別方法説明情報を合成した画像情報を、表示部２５８に表示する。

（ゴミ分別支援システムの動作）
図４を参照して、本発明の実施形態のゴミ分別支援システムの動作の一例について説明する。図４に示される例では、ゴミと、ゴミ箱５とを、端末装置２で撮像し、撮像することによって得られたゴミの画像と、ゴミ箱５の画像とに基づいて、ゴミの分別方法を示す情報を取得する。
（ステップＳ１０）
端末装置２のユーザは、操作部２５７を操作することによって、ゴミ分別アプリを起動させる。
（ステップＳ１１）
端末装置２では、ゴミ分別アプリが起動することによって、表示部２５８に、ゴミの撮像を促すメッセージが表示される。
（ステップＳ１２）
ユーザは、表示部２５８に表示されたメッセージを参照し、操作部２５７に対して、ゴミを撮像する操作を行う。図５に示されるように、表示部２５８には、撮像するゴミの一例として、ペットボトルＰが表示されている。画像入力部２０１は、撮像部２５９にゴミを撮像させる。画像入力部２０１は、ゴミを撮像することによって得られたゴミの画像情報を制御部２０２へ出力する。図４に戻り説明を続ける。
（ステップＳ１３）
ユーザは、操作部２５７に対して、ゴミ箱を撮像する操作を行う。図６に示されるように、表示部２５８には、撮像するゴミ箱５の一例として、可燃ゴミ箱５１と、不燃ゴミ箱５２と、資源ゴミ箱５３との３個の分別ゴミ箱を含むゴミ箱５が示されている。画像入力部２０１は、撮像部２５９にゴミ箱を撮像させる。画像入力部２０１は、ゴミ箱を撮像することによって得られたゴミ箱の画像情報を、制御部２０２へ出力する。図４に戻り説明を続ける。
（ステップＳ１４）
姿勢検出部２０４は、センサ２６０が検出した加速度、地磁気などに基づいて、端末装置２の向きを示す情報を取得し、取得した端末装置２の位置情報を、制御部２０２へ出力する。
（ステップＳ１５）
位置測定部２０５は、測位部２５５が検出した位置情報を取得し、取得した端末装置２の位置情報を、制御部２０２へ出力する。
（ステップＳ１６）
制御部２０２は、画像入力部２０１が出力したゴミの画像情報と、ゴミ箱の画像情報とを取得し、姿勢検出部２０４が出力した端末装置２の向きを示す情報を取得し、位置測定部２０５が出力した端末装置２の位置情報を取得する。制御部２０２は、取得したゴミの画像情報と、ゴミ箱の画像情報と、端末装置２の向きを示す情報と、端末装置２の位置情報と、端末装置２の識別情報とを含むゴミ分別判定要求を作成し、作成したゴミ分別判定要求を、通信部２０６へ出力する。
（ステップＳ１７）
通信部２０６は、制御部２０２が出力したゴミ分別判定要求を取得し、取得したゴミ分別判定要求を、サーバ１へ送信する。
（ステップＳ１８）
サーバ通信部１０１は、端末装置２が送信したゴミ分別判定要求を受信し、受信したゴミ分別判定要求を、端末識別部１０２へ出力する。端末識別部１０２は、サーバ通信部１０１が出力したゴミ分別判定要求を取得し、取得したゴミ分別判定要求に含まれるゴミの画像情報と、ゴミ箱の画像情報と、端末装置２の向きを示す情報と、端末装置２の位置情報と、端末装置２の識別情報とを取得する。端末識別部１０２は、取得した端末装置２の向きを示す情報と、端末装置２の位置情報と、端末装置２の識別情報とを関連付けて、端末情報記憶部１０３に記憶する。また、端末識別部１０２は、取得したゴミの画像情報と、ゴミ箱の画像情報と、端末装置２の向きを示す情報と、端末装置２の位置情報と、端末装置２の識別情報とを画像認識部１０４へ出力する。
（ステップＳ１９）
画像認識部１０４は、端末識別部１０２が出力したゴミの画像情報と、ゴミ箱５の画像情報と、端末装置２の向きを示す情報と、端末装置２の位置情報と、端末装置２の識別情報とを取得し、取得したゴミの画像情報に基づいて、ゴミの画像の特徴量を抽出する。
（ステップＳ２０）
画像認識部１０４は、取得したゴミ箱の画像情報に基づいて、ゴミ箱の画像の特徴量を抽出する。

（ステップＳ２１）
画像認識部１０４は、ゴミ別特徴量記憶部１０５に検索させることによって、抽出したゴミの画像の特徴量に該当するゴミの分別名称を示す情報を取得する。
（ステップＳ２２）
画像認識部１０４は、ゴミ箱別特徴量記憶部１０６に検索させることによって、抽出させたゴミ箱の画像の特徴量に該当するゴミ箱の構成情報を取得させる。
（ステップＳ２３）
画像認識部１０４は、端末装置２の位置情報と、端末装置２の向きを示す情報とに基づいて、ゴミ箱５が設置された場所を推定する。画像認識部１０４は、地域別分別情報記憶部１０７に検索させることによって、識別させたゴミの分別名称と、ゴミ箱５が設置された場所の推定結果とに関連付けて記憶されている地域別の分別情報を取得させる。地域別分別情報記憶部１０７は、識別させた分別名称と、ゴミ箱５が設置された場所の推定結果とに該当する地域別分別情報がある場合には、その該当する地域別分別情報を、画像認識部１０４へ出力する。
（ステップＳ２４）
画像認識部１０４は、分別方法説明情報記憶部１０８に検索させることによって、取得した地域別の分別情報に関連付けて記憶されているゴミ分別方法説明情報を取得させる。分別方法説明情報記憶部１０８は、取得した地域別の分別情報に関連付けて記憶されているゴミ分別方法説明情報に該当するゴミ分別方法説明情報がある場合には、その該当するゴミ分別方法説明情報を、画像認識部１０４へ出力する。
（ステップＳ２５）
画像認識部１０４は、分別方法説明情報記憶部１０８が出力したゴミ分別方法説明情報を取得した場合、取得したゴミ分別方法説明情報と、端末装置２の識別情報とを含むゴミ分別応答を作成し、作成したゴミ分別応答を、端末識別部１０２を経由して、サーバ通信部１０１へ出力する。
（ステップＳ２６）
サーバ通信部１０１は、作成したゴミ分別応答を、端末装置２へ送信する。
（ステップＳ２７）
通信部２０６は、サーバ１が送信したゴミ分別応答を受信し、受信したゴミ分別応答を、制御部２０２へ出力する。
（ステップＳ２８）
制御部２０２は、通信部２０６が出力したゴミ分別応答を取得し、取得したゴミ分別応答に含まれるゴミ分別方法説明情報を取得する。制御部２０２は、取得したゴミ分別方法説明情報を、拡張現実技術を用いて処理することによって、画像入力部２０１が取得した画像情報を画像処理することによって得られる画像に、リアルタイムで合成する。図７に示されるように、端末装置２の表示部２５８に、画像入力部２０１が取得したゴミ箱５の画像情報を画像処理することによって得られるゴミ箱５の画像に、ペットボトルＰＩが表示される。ここで、ペットボトルＰＩには、ラベルＲａＩが取り付けられている。図８に示されるように、端末装置２の表示部２５８に表示されているペットボトルＰＩが表示されている状態で、ラベルＲａＩが外されている。図９に示されるように、端末装置２の表示部２５８に表示されているペットボトルＰＩと、ラベルＲａＩとの各々について、端末装置２の表示部２５８に表示されているゴミ箱５Ｉの３個の分別ゴミ箱のうち、いずれの分別ゴミ箱に捨てるべきかを矢印などの指示画像で表示している。具体的には、ペットボトルＰＩについては資源ゴミ箱５３に捨てるよう、ラベルＲａＩについては不燃ゴミ箱５２に捨てるように表示されている。

前述した実施形態では、ゴミ箱５が、可燃ゴミ箱５１と、不燃ゴミ箱５２と、資源ゴミ箱５３との３個の分別ゴミ箱を含む場合について説明したが、この例に限られない。例えば、ゴミ箱５は、可燃ゴミ箱５１と、不燃ゴミ箱５２と、資源ゴミ箱５３とのうちの少なくとも１個を含んで構成されてもよい。また、ゴミ箱５は、可燃ゴミ箱５１と、不燃ゴミ箱５２と、資源ゴミ箱５３との３個に限らず、４以上の構成、例えば、雑誌、空き缶、空き瓶などのゴミ箱を含んで構成されてもよい。
前述した実施形態では、端末装置２によって、ゴミと、ゴミ箱とが撮像される場合について説明したが、この例に限られない。例えば、ユーザは、端末装置２を操作することによって、ゴミ箱５が満杯である場合に、そのゴミ箱５を撮像してもよい。サーバ１は、端末装置２が送信したゴミ箱の画像情報に基づいて、ゴミ箱５の状態を推定し、ゴミ箱５の状態の推定結果を示す情報を含む状態通知情報を作成し、作成した状態通知情報を外部装置へ送信してもよい。このように構成することによって、外部装置に通知された状態通知情報に基づいて、ゴミ箱５のゴミの回収などの所定の処理を行うことができる。ゴミ箱５のゴミの回収の効率を向上できるとともに、ゴミ箱５の衛生環境を向上できる。また、端末装置２にゴミ箱の構成情報を予め設定し、設定されたゴミ箱の構成情報と同様の構成であるゴミ箱については、ゴミ箱の撮像を省略させてもよい。つまり、ゴミの画像情報に基づいて、上述した処理が行われてもよい。このように構成することによって、ユーザにゴミ箱を撮像させる手間をなくすことができるとともに、サーバ１の処理を削減できる。
前述した実施形態において、端末装置２に、ゴミの画像情報とゴミ箱の画像情報とゴミ分別方法説明情報とを関連付けて記憶する記憶部を備えてもよい。そして、制御部２０２は、画像入力部２０１から入力されたゴミの画像情報と、ゴミ箱の画像情報と関連付けて記憶されているゴミ分別方法説明情報を、記憶部から取得し、取得したゴミ分別方法説明情報を、拡張現実技術を用いて処理することによって、画像入力部２０１が取得した画像情報を画像処理することによって得られる画像に、リアルタイムで合成する。このように構成することによって、端末装置２から、サーバ１へゴミの分別方法を問い合わせる処理を省略できるため、ゴミと、ゴミ箱とを撮像してから、端末装置２からゴミの分別方法が出力されるまでの時間を短縮できる。
前述した実施形態において、画像認識部１０４は、取得したゴミの画像情報と端末装置２の位置情報とに基づいて、端末装置２の位置から所定の範囲のゴミ箱の位置情報を取得し、取得したゴミ箱の位置情報をさらに含むゴミ分別応答を作成してもよい。このように構成することによって、ユーザに近傍のゴミ箱を知らせることができる。
本実施形態のゴミ分別判定システムによれば、拡張現実技術を応用し、廃棄対象のゴミとゴミ箱とを撮像部で撮影することにより、端末装置２の表示画面にゴミの分別方法が、ゴミ分別方法説明情報によって、表示される。分別方法が、文章とアニメーションとによって表示されるため、ゴミの分別に不慣れな外国人、異なる地域から訪れた観光客に対しても、十分に分別方法を理解させることができる。

（変形例）
前述した実施形態では、ゴミ分別支援システム３が、サーバ１と、端末装置２とを含む場合について説明したが、この例に限られない。例えば、サーバ１の機能が、端末装置２ａに含まれるように構成してもよい。図１０に示されるように、端末装置２ａは、画像入力部２０１と、制御部２０２ａと、画像認識部２０３と、姿勢検出部２０４と、位置測定部２０５と、通信部２０６と、画像出力部２０７と、画像認識部２０４ａと、ゴミ別特徴量記憶部２０５ａと、ゴミ箱別特徴量記憶部２０６ａと、地域別分別情報記憶部２０７ａと、分別方法説明情報記憶部２０８ａとを有している。端末装置２ａのハードウェア構成は、図２を適用できる。これらの各部は、図２に示されている各構成要素のいずれかが、不揮発性メモリ２５６からメモリ２５４上に展開されたプログラム２５６２を実行するＣＰＵ２５２からの命令によって動作することで実現される機能である。
制御部２０２ａは、ＣＰＵ２５２からの命令によって実現される。制御部２０２ａは、端末装置２ａの動作全般の制御と、管理とを行う。制御部２０２ａは、画像入力部２０１が出力した画像情報を取得する。また、制御部２０２ａは、位置測定部２０５が出力した端末装置２ａの位置情報を取得する。また、制御部２０２ａは、姿勢検出部２０４が出力した端末装置２ａの向きを示す情報を取得する。制御部２０２ａは、取得した画像情報と、端末装置２ａの位置情報と、端末装置２ａの向きを示す情報とを、画像認識部２０４ａに出力する。
また、制御部２０２ａは、画像認識部２０４ａが出力したゴミ分別方法説明情報と、分別名称がないことを示す情報と、ゴミ箱の画像の特徴量がないことを示す情報と、地域別分別情報がないことを示す情報と、ゴミ分別方法説明情報がないことを示す情報とのいずれかを取得する。制御部２０２ａは、ゴミ分別方法説明情報を取得した場合にはそのゴミ分別説明情報を、拡張現実技術を用いて処理することによって、画像入力部２０１が取得した画像情報を画像処理することによって得られる画像に、リアルタイムで合成する。制御部２０２ａは、ゴミ分別方法説明情報を合成した画像情報を、画像出力部２０７へ出力する。制御部２０２ａは、ゴミ分別方法説明情報以外の情報を取得した場合にはその情報を、拡張現実技術を用いて処理することによって、画像入力部２０１が取得した画像情報を画像処理することによって得られる画像に、リアルタイムで合成する。制御部２０２ａは、ゴミ分別方法説明情報以外の情報を合成した画像情報を、画像出力部２０７へ出力する。具体的には、制御部２０２ａは、画像認識部２０３に、画像入力部２０１が取得した画像から、特徴量を抽出させる。また、制御部２０２ａは、姿勢検出部２０４に、端末装置２ａの向きを検出させる。制御部２０２ａは、画像認識部２０３に抽出させた特徴量に基づいて、ゴミ分別方法説明情報が、ゴミ箱５などの対象物の画像に重なって表示されるように、ゴミ分別方法説明情報を表示する位置を設定する。また、制御部２０２ａは、姿勢検出部２０４に検出させた端末装置２ａの向きに基づいて、ゴミ分別方法説明情報が、ゴミ箱５などの対象物の画像に重なって表示されるように、ゴミ分別方法説明情報を表示する位置を設定する。

画像認識部２０４ａは、ＣＰＵ２５２からの命令によって実現される。画像認識部２０４ａは、端末識別部１０２が出力した端末装置２ａの位置情報と、端末装置２ａの姿勢を示す情報と、ゴミの画像情報と、ゴミ箱の画像情報とを取得する。画像認識部２０４ａは、取得したゴミの画像情報と、ゴミ箱の画像情報とに基づいて、ゴミの画像と、ゴミ箱の画像とに対して、画像処理技術などを活用し、画像解析を行うことによって、特徴量を抽出する。画像認識部２０４ａは、ゴミ別特徴量記憶部２０５ａに検索させることによって、抽出したゴミの画像の特徴量と関連付けて記憶されている分別名称を示す情報を取得する。画像認識部２０４ａは、ゴミ別特徴量記憶部２０５ａに、ペットボトルや缶など詳細な分別名称まで取得させる。画像認識部２０４ａは、ゴミ別特徴量記憶部２０５ａが出力した画像の被写体のゴミが該当する分別名称を示す情報を取得する。また、画像認識部２０４ａは、ゴミ別特徴量記憶部１０５から、画像の被写体のゴミの画像の特徴量と一致するゴミの画像の特徴量がないことを示す情報を取得する。画像認識部２０４ａは、ゴミ箱別特徴量記憶部２０６ａに検索させることによって抽出させたゴミ箱の画像の特徴量と一致するゴミ箱の構成情報を取得させる。画像認識部２０４ａは、ゴミ箱別特徴量記憶部２０６ａが出力した、ゴミ箱の構成情報を取得する。画像認識部２０４ａは、ゴミ箱別特徴量記憶部２０６ａから、画像の被写体のゴミ箱の画像の特徴量と一致するゴミ箱の画像の特徴量がないことを示す情報を取得する。
画像認識部２０４ａは、端末装置２ａの位置情報と、端末装置２ａの向きを示す情報とに基づいて、ゴミ箱５が設置された場所を推定する。画像認識部２０４ａは、地域別分別情報記憶部２０７ａに検索させることによって、識別させたゴミの分別名称と、ゴミ箱５が設置された場所の推定結果とに関連付けて記憶されている地域別の分別情報を取得させる。画像認識部２０４ａは、地域別分別情報記憶部２０７ａが出力した地域別分別情報を取得する。画像認識部２０４ａは、地域別分別情報記憶部２０７ａから、地域別分別情報がないことを示す情報を取得する。画像認識部２０４ａは、分別方法説明情報記憶部２０８ａに検索させることによって、取得した地域別の分別情報に関連付けて記憶されているゴミ分別方法説明情報を取得させる。画像認識部２０４ａは、分別方法説明情報記憶部２０８ａが出力したゴミ分別方法説明情報を取得する。画像認識部２０４ａは、分別方法説明情報記憶部２０８ａから、ゴミ分別方法説明情報とがないことを示す情報を取得する。

画像認識部２０４ａは、分別方法説明情報記憶部２０８ａが出力したゴミ分別方法説明情報を取得した場合には、取得したゴミ分別方法説明情報を、制御部２０２ａへ出力する。また、画像認識部２０４ａは、ゴミ別特徴量記憶部２０５ａが出力した画像の被写体のゴミの画像の特徴量と一致するゴミの画像の特徴量がないことを示す情報を取得した場合には、分別名称がないことを示す情報を、制御部２０２ａへ出力する。また、画像認識部２０４ａは、ゴミ箱別特徴量記憶部２０６ａが出力した画像の被写体のゴミ箱の画像の特徴量と一致するゴミ箱の画像の特徴量がないことを示す情報を取得した場合には、画像の被写体のゴミ箱の画像の特徴量と一致するゴミ箱の画像の特徴量がないことを示す情報を、制御部２０２ａへ出力する。また、画像認識部２０４ａは、地域別分別情報記憶部２０７ａが出力した地域別分別情報がないことを示す情報を取得した場合、地域別分別情報がないことを示す情報を、制御部２０２ａへ出力する。
ゴミ別特徴量記憶部２０５ａ、ゴミ箱別特徴量記憶部２０６ａ、地域別分別情報記憶部２０７ａ、分別方法説明情報記憶部２０８ａは、それぞれ、前述した実施形態で説明したゴミ別特徴量記憶部１０５、ゴミ箱別特徴量記憶部１０６、地域別分別情報記憶部１０７、分別方法説明情報記憶部１０８を適用できる。
変形例の端末装置２ａによれば、実施形態の端末装置２と比較して、サーバ１と通信を行うことなく、ユーザに、ゴミの分別方法を通知できる。
以上、実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。なお、上述したゴミ分別支援システム３は、コンピュータで実現するようにしてもよい。その場合、各機能ブロックの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録する。この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、ＣＰＵが実行することで実現してもよい。ここでいう「コンピュータシステム」とは、ＯＳ(Operating System)や周辺機器などのハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭなどの可搬媒体のことをいう。また、「コンピュータ読み取り可能な記録媒体」は、コンピュータシステムに内蔵されるハードディスクなどの記憶装置を含む。さらに「コンピュータ読み取り可能な記録媒体」とは、短時間の間、動的にプログラムを保持するものを含んでいてもよい。短時間の間、動的にプログラムを保持するものは、例えば、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線である。
また、「コンピュータ読み取り可能な記録媒体」には、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよい。また、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記プログラムは、プログラマブルロジックデバイスを用いて実現されるものであってもよい。プログラマブルロジックデバイスは、例えば、ＦＰＧＡ(Field Programmable Gate Array)である。なお、上述のゴミ分別支援システム３は内部にコンピュータを有している。そして、上述したサーバ１、端末装置２、端末装置２ａの各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…サーバ、２…端末装置、３…ゴミ分別支援システム、４…ネットワーク、５…ゴミ箱、５１…可燃ゴミ箱、５２…不燃ゴミ箱、５３…資源ゴミ箱、１０１…サーバ通信部、１０２…端末識別部、１０３…端末情報記憶部、１０４、２０４ａ…画像認識部、１０５、２０５ａ…ゴミ別特徴量記憶部、１０６、２０６ａ…ゴミ箱別特徴量記憶部、１０７、２０７ａ…地域別分別情報記憶部、１０８、２０８ａ…分別方法説明情報記憶部、２０１…画像入力部、２０２、２０２ａ…制御部、１０４、２０３、２０４ａ…画像認識部、２０４…姿勢検出部、２０５…位置測定部、２０６…通信部、２０７…画像出力部、１５２、２５２…ＣＰＵ、１５４、２５４…メモリ、１５６、２５６…不揮発性メモリ、１６２、２５７…操作部、１６６、２６６…通信Ｉ／Ｆ、２５５…測位部、２６０…センサ、２５８…表示部、２５９…撮像部

Claims (6)

1. 端末装置と、サーバとを備えるゴミ分別支援システムであって、
   前記端末装置は、
   ゴミの画像情報を取得する画像入力部と、
   自端末装置の位置を測位する位置測位部と、
   前記画像入力部が取得した前記ゴミの前記画像情報と、前記位置測位部が測位した前記自端末装置の位置情報とを含み、前記ゴミの分別の判定を要求する信号であるゴミ分別判定要求を作成する制御部と、
   前記制御部が作成した前記ゴミ分別判定要求を前記サーバへ送信し、送信した前記ゴミ分別判定要求に対する応答信号であるゴミ分別応答を受信する通信部と、
   前記通信部が受信した前記ゴミ分別応答に含まれるゴミの分別方法を示す画像情報を取得し、取得した前記ゴミの分別方法を示す画像情報に基づいて、ゴミの分別方法を示す画像と、前記画像入力部が取得したゴミ箱の画像情報から得られる前記ゴミ箱の前記画像とを合成して表示する画像出力部とを備え、
   前記サーバは、
   前記端末装置が送信した前記ゴミ分別判定要求に含まれる前記ゴミの前記画像情報と、前記自端末装置の前記位置情報とを取得し、取得した前記ゴミの前記画像情報に基づいて、前記ゴミの画像の特徴量を抽出し、抽出した前記ゴミの画像の前記特徴量に該当する前記ゴミの分別名称を、ゴミの画像の特徴量と該ゴミの画像で示されるゴミの分別名称とを関連付けて記憶したデータベースから取得し、取得した前記ゴミの前記分別名称と前記自端末装置の前記位置情報とに基づいて、前記ゴミの分別方法を示す情報を取得し、取得した前記ゴミの前記分別方法を示す情報に基づいて、前記ゴミの前記分別方法を示す画像情報を取得し、取得した前記ゴミの前記分別方法を示す画像情報を含む前記ゴミ分別応答を作成する画像認識部と、
   前記画像認識部が作成した前記ゴミ分別応答を、前記端末装置へ送信するサーバ通信部と
   を備え、
   前記画像入力部は、前記ゴミ箱の前記画像情報を取得し、
   前記制御部は、前記ゴミ箱の前記画像情報をさらに含む前記ゴミ分別判定要求を作成し、
   前記画像認識部は、前記端末装置が送信した前記ゴミ分別判定要求に含まれる前記ゴミ箱の前記画像情報をさらに取得し、取得した前記ゴミ箱の前記画像情報と、前記自端末装置の前記位置情報とに基づいて、前記ゴミ箱の位置情報を取得し、
   取得した前記ゴミの前記分別名称と前記ゴミ箱の前記位置情報とに基づいて、前記ゴミの前記分別方法を示す情報を取得する、ゴミ分別支援システム。
2. 前記端末装置は、
   前記自端末装置の向きを検出する姿勢検出部
   を備え、
   前記画像出力部は、前記姿勢検出部が検出した前記向きを示す情報に基づいて、前記画像入力部が取得した前記ゴミ箱の前記画像情報から得られる前記ゴミ箱の前記画像に合成する前記ゴミの前記分別方法を示す画像の位置を補正する、請求項１に記載のゴミ分別支援システム。
3. 前記画像認識部は、取得した前記ゴミの前記画像情報と前記自端末装置の前記位置情報とに基づいて、前記自端末装置の位置から所定の範囲のゴミ箱の位置情報を取得し、
   前記サーバ通信部は、前記画像認識部が取得した前記ゴミ箱の前記位置情報をさらに含む前記ゴミ分別応答を作成する、請求項１又は請求項２に記載のゴミ分別支援システム。
4. ゴミの画像情報とゴミ箱の画像情報とを取得する画像入力部と、
   自端末装置の位置を測位する位置測位部と、
   前記画像入力部が取得した前記ゴミの前記画像情報に基づいて、前記ゴミの画像の特徴量を抽出し、抽出した前記ゴミの画像の前記特徴量に該当する前記ゴミの分別名称を、ゴミの画像の特徴量と該ゴミの画像で示されるゴミの分別名称とを関連付けて記憶したデータベースから取得し、取得した前記ゴミの前記分別名称とゴミ箱の画像情報と前記位置測位部が測位した前記自端末装置の位置情報とに基づいて取得される前記ゴミ箱の位置情報とに基づいて、前記ゴミの分別方法を示す情報を取得し、取得した前記ゴミの前記分別方法を示す情報に基づいて、前記ゴミの前記分別方法を示す画像情報を取得する画像認識部と、
   前記画像認識部が取得した前記ゴミの前記分別方法を示す前記画像情報に基づいて、前記ゴミの前記分別方法を示す画像と、前記画像入力部が取得したゴミ箱の画像情報から得られる前記ゴミ箱の前記画像とを合成して表示する画像出力部と
   を備える、端末装置。
5. 端末装置と、サーバとを備えるゴミ分別支援システムが実行するゴミ分別支援方法であって、
   前記端末装置が、ゴミの画像情報とゴミ箱の画像情報とを取得するステップと、
   前記端末装置が、自端末装置の位置を測位するステップと、
   前記端末装置が、前記ゴミの前記画像情報と、前記ゴミ箱の前記画像情報と、前記自端末装置の位置情報とを含み、前記ゴミの分別の判定を要求する信号であるゴミ分別判定要求を作成するステップと、
   前記端末装置が、前記ゴミ分別判定要求を前記サーバへ送信するステップと、
   前記サーバが、前記端末装置が送信した前記ゴミ分別判定要求に含まれる前記ゴミの前記画像情報と、前記ゴミ箱の前記画像情報と、前記自端末装置の前記位置情報とを取得するステップと、
   前記サーバが、前記ゴミの前記画像情報に基づいて、前記ゴミの画像の特徴量を抽出し、抽出した前記ゴミの画像の前記特徴量に該当する前記ゴミの分別名称を、ゴミの画像の特徴量と該ゴミの画像で示されるゴミの分別名称とを関連付けて記憶したデータベースから取得するステップと、
   前記サーバが、前記ゴミの分別名称と、前記ゴミ箱の前記画像情報と前記自端末装置の前記位置情報とに基づいて取得される前記ゴミ箱の位置情報とに基づいて、前記ゴミの分別方法を示す情報を取得するステップと、
   前記サーバが、前記ゴミの前記分別方法を示す情報に基づいて、前記ゴミの前記分別方法を示す画像情報を取得するステップと、
   前記サーバが、前記ゴミの前記分別方法を示す前記画像情報を含むゴミ分別応答を作成するステップと、
   前記サーバが、前記ゴミ分別応答を、前記端末装置へ送信するステップと、
   前記端末装置が、前記サーバが送信した前記ゴミ分別応答を受信するステップと、
   前記端末装置が、前記ゴミ分別応答に含まれる前記ゴミの前記分別方法を示す前記画像情報を取得し、取得した前記ゴミの前記分別方法を示す前記画像情報に基づいて、前記ゴミの前記分別方法を示す画像と、取得したゴミ箱の画像情報から得られる前記ゴミ箱の前記画像とを合成して表示するステップと
   を有する、ゴミ分別支援方法。
6. 端末装置と通信を行うサーバのコンピュータに、
   前記端末装置が送信したゴミ分別判定要求に含まれるゴミの画像情報と、ゴミ箱の前記画像情報と、前記端末装置の位置情報とを取得するステップと、
   取得した前記ゴミの前記画像情報に基づいて、前記ゴミの画像の特徴量を抽出し、抽出した前記ゴミの画像の前記特徴量に該当する前記ゴミの分別名称を、ゴミの画像の特徴量と該ゴミの画像で示されるゴミの分別名称とを関連付けて記憶したデータベースから取得するステップと、
   取得した前記ゴミの前記分別名称と、前記ゴミ箱の前記画像情報と前記端末装置の前記位置情報とに基づいて取得される前記ゴミ箱の位置情報とに基づいて、前記ゴミの分別方法を示す情報を取得するステップと、
   取得した前記ゴミの前記分別方法を示す情報に基づいて、前記ゴミの前記分別方法を示す画像情報を取得するステップと、
   前記ゴミの前記分別方法を示す前記画像情報を含むゴミ分別応答を作成し、作成した前記ゴミ分別応答を、前記端末装置へ送信するステップと
   を実行させる、プログラム。

Images