JP7467400B2 - 移動店舗管理システム、移動店舗管理装置、移動店舗管理方法及びコンピュータプログラム - Google Patents

Description

本発明は、移動店舗管理システム、移動店舗管理装置、移動店舗管理方法及びコンピュータプログラムに関する。

近年、カメラによって撮影された商品の画像を解析することによって、購入対象の商品を特定する技術が知られている。
特許文献１に記載された技術は、商品を載置する台の載置面をカメラで撮影した画像の中の物体を検出し、検出された物体がいずれの商品であるかを認識している。
特許文献２に記載された技術は、利用者が購入対象の商品の運搬に用いる商品運搬カートに載せた商品を認識し、商品運搬カートの周辺の状態を認識し、商品の認識結果と状態の認識結果とを用いて購入対象の商品を特定している。

国際公開第２０１９／１８１０３３号 特開２０２０－７７２７５号公報

しかし、上述した従来の技術では、自律的に移動するロボットを利用する移動店舗に適用することが難しい。当該移動店舗では、カメラをロボットに搭載して商品を撮影することになるが、カメラの搭載場所が限定されるために、商品を認識することができるように、購入対象の商品を撮影することができないという課題があった。

本発明は、このような事情を考慮してなされたものであり、その目的は、移動店舗の外部の移動体が備えるカメラ（撮像部）によって、当該移動店舗における購入対象の商品を特定するための画像を撮像することを図ることにある。

（１）本発明の一態様は、移動体と、移動店舗管理装置とを備える移動店舗管理システムであり、前記移動体は、撮像角度を変更可能な撮像部と、前記撮像部によって撮像された撮像画像に基づいて前記移動体の動作を計画する動作計画部と、前記動作計画部によって計画された計画動作に基づいて前記移動体を自律的に移動させる動作制御部と、前記撮像画像を前記移動店舗管理装置へ送信する無線通信部と、を備え、前記移動店舗管理装置は、前記撮像画像を解析する画像解析部と、前記画像解析部によって解析された前記撮像画像の画像解析結果と、移動店舗に備わる特徴点とに基づいて、前記移動体に指示する移動位置及び撮像角度を算出する移動位置角度算出部と、前記移動位置角度算出部によって算出された移動位置及び撮像角度を前記移動体へ指示する移動位置角度指示部と、を備え、前記動作計画部は、前記移動店舗管理装置から指示された移動位置及び撮像角度に基づいて、前記移動体の自律移動及び撮像に関する動作を計画し、前記動作制御部は、前記動作計画部によって計画された自律移動に関する計画動作に基づいて前記移動体を自律的に移動させると共に、前記動作計画部によって計画された撮像に関する計画動作に基づいて撮像角度を制御する、移動店舗管理システムである。
（２）本発明の一態様は、前記移動位置角度算出部は、前記移動体の位置情報及び撮像角度情報と前記撮像画像の画像解析結果とを関連付けし、前記特徴点が写っている前記撮像画像に関連付けられた前記移動体の位置情報及び撮像角度情報と、前記特徴点が写っていない前記撮像画像に関連付けられた前記移動体の位置情報及び撮像角度情報とに基づいて、前記移動体に指示する移動位置及び撮像角度を算出する、上記（１）の移動店舗管理システムである。
（３）本発明の一態様は、前記移動店舗管理装置は、前記移動店舗で販売される商品の外観データを含む商品情報を格納する商品情報データベースと、前記画像解析部によって解析された前記撮像画像の画像解析結果と、前記外観データとに基づいて、ユーザが前記移動店舗から取り出した商品を判定する商品認識部と、をさらに備える、上記（１）又は（２）のいずれかの移動店舗管理システムである。
（４）本発明の一態様は、前記商品認識部は、ユーザが手に取った商品を判定する、上記（３）の移動店舗管理システムである。
（５）本発明の一態様は、前記商品認識部は、ユーザが商品を手に取る前後における前記移動店舗の商品棚の在庫状態の変化に基づいて、ユーザが前記移動店舗から取り出した商品を判定する、上記（３）又は（４）のいずれかの移動店舗管理システムである。
（６）本発明の一態様は、前記移動店舗管理装置は、前記移動店舗の巡回経路を探索する巡回経路探索部と、前記巡回経路を前記移動店舗へ配信する巡回経路配信部と、をさらに備える、上記（１）から（５）のいずれかの移動店舗管理システムである。
（７）本発明の一態様は、前記移動店舗管理装置は、複数の前記移動体の経路を管理し、前記巡回経路探索部は、前記複数の前記移動体の経路に基づいて、少なくとも１台の前記移動体の経路に合わせるように、前記移動店舗の巡回経路を探索する、上記（６）の移動店舗管理システムである。

（８）本発明の一態様は、移動体によって撮像された撮像画像を解析する画像解析部と、前記画像解析部によって解析された前記撮像画像の画像解析結果と、移動店舗に備わる特徴点とに基づいて、前記移動体に指示する移動位置及び撮像角度を算出する移動位置角度算出部と、前記移動位置角度算出部によって算出された移動位置及び撮像角度を前記移動体へ指示する移動位置角度指示部と、を備える移動店舗管理装置である。

（９）本発明の一態様は、移動体と、移動店舗管理装置とを備える移動店舗管理システムの移動店舗管理方法であって、前記移動体は、撮像角度を変更可能な撮像部を備え、前記移動体が、前記撮像部によって撮像された撮像画像に基づいて前記移動体の動作を計画する第１動作計画ステップと、前記移動体が、前記第１動作計画ステップによって計画された計画動作に基づいて前記移動体を自律的に移動させる第１動作制御ステップと、前記移動体が、前記撮像画像を前記移動店舗管理装置へ送信する無線通信ステップと、前記移動店舗管理装置が、前記撮像画像を解析する画像解析ステップと、前記移動店舗管理装置が、前記画像解析ステップによって解析された前記撮像画像の画像解析結果と、移動店舗に備わる特徴点とに基づいて、前記移動体に指示する移動位置及び撮像角度を算出する移動位置角度算出ステップと、前記移動店舗管理装置が、前記移動位置角度算出ステップによって算出された移動位置及び撮像角度を前記移動体へ指示する移動位置角度指示ステップと、前記移動体が、前記移動店舗管理装置から指示された移動位置及び撮像角度に基づいて、前記移動体の自律移動及び撮像に関する動作を計画する第２動作計画ステップと、前記移動体が、前記第２動作計画ステップによって計画された自律移動に関する計画動作に基づいて前記移動体を自律的に移動させると共に、前記第２動作計画ステップによって計画された撮像に関する計画動作に基づいて撮像角度を制御する第２動作制御ステップと、を含む移動店舗管理方法である。

（１０）本発明の一態様は、移動店舗管理装置のコンピュータに、移動体によって撮像された撮像画像を解析する画像解析ステップと、前記画像解析ステップによって解析された前記撮像画像の画像解析結果と、移動店舗に備わる特徴点とに基づいて、前記移動体に指示する移動位置及び撮像角度を算出する移動位置角度算出ステップと、前記移動位置角度算出ステップによって算出された移動位置及び撮像角度を前記移動体へ指示する移動位置角度指示ステップと、を実行させるためのコンピュータプログラムである。

本発明によれば、移動店舗の外部の移動体が備えるカメラ（撮像部）によって、当該移動店舗における購入対象の商品を特定するための画像を撮像することができるという効果が得られる。

一実施形態に係る移動店舗管理システムの構成例を示すブロック図である。 一実施形態に係る移動位置及び撮像角度の算出方法の説明図である。 一実施形態に係る移動店舗管理方法の手順の例を示すフローチャートである。

以下、図面を参照し、本発明の実施形態について説明する。
図１は、一実施形態に係る移動店舗管理システムの構成例を示すブロック図である。図１において、移動店舗管理システムは、複数の移動店舗１―１，１－２，・・・，１－ｎ（ｎは２以上の整数）と、移動店舗管理装置２と、を備える。以下、移動店舗１―１，１－２，・・・，１－ｎを特に区別しないときは移動店舗１と称する。移動店舗１は、無線通信ネットワークを介して移動店舗管理装置２と通信を行う。

移動店舗１は、所定の領域内を自律的に移動しながら商品を販売する。所定の領域は、例えば、オフィスやイベント会場等の屋内施設や、広場や公園等の屋外施設である。

本実施形態では、自律的に移動するロボット（以下、移動ロボットと称する）を移動店舗１に利用する。また、複数の移動店舗１を集団で移動させる。例えば、複数の移動店舗１が隊列を組んで移動してもよい。

以下の説明では、本実施形態に係る一例として、２台の移動店舗１－１，１－ｎが集団で移動しながら商品を販売する。また、移動店舗１－１に搭載されたカメラ（撮像部）によって、移動店舗１－ｎにおける購入対象の商品を特定するための画像を撮像する。なお、移動店舗１－ｎに搭載されたカメラ（撮像部）によって、移動店舗１－１における購入対象の商品を特定するための画像を撮像してもよい。

［移動店舗］
移動店舗１は、商品搭載部１０１と、無線通信部１０２と、経路情報格納部１０３と、現在位置取得部１０４と、状態取得部１０５と、撮像部１０６と、動作計画部１０７と、動作制御部１０８と、購入処理部１０９と、購入表示部１１０と、を備える。

商品搭載部１０１は、商品を搭載する棚である。なお、商品搭載部１０１は、棚に限定されず、商品を格納する箱であってもよく、当該箱の開口部を開閉自在にする扉が設けられてもよい。また、商品搭載部１０１は、搭載された商品を保温又は保冷するための装置を含んでもよい。また、商品搭載部１０１への商品の搭載は、人手で行ってもよく、又はアームロボット等を用いて行ってもよい。

無線通信部１０２は、自移動店舗１以外の外部の装置と情報の送受信を行うための無線通信モジュールである。無線通信部１０２は、移動店舗管理装置２との間で無線通信を介して情報の送受信を行う。例えば、無線通信部１０２は、ＬＴＥ（Long Term Evolution）や５Ｇ（第５世代移動通信システム）等の無線通信方式に対応する基地局を介して、無線通信を行う。また、Ｗｉ－Ｆｉ（登録商標）等のアンライセンス系の無線通信を行ってもよい。なお、無線通信方式として、将来の実用化が見込まれる６Ｇ（第６世代移動通信システム）等が利用されてもよい。

無線通信部１０２は、移動店舗管理装置２の巡回経路配信部２０４から送信された経路情報を受信して経路情報格納部１０３に格納する。経路情報格納部１０３に格納された経路情報は、移動店舗１が商品を販売する所定の領域内を巡回する経路（巡回経路）を示す経路情報であって、移動店舗１の動作の判断に活用される。経路情報格納部１０３は、移動店舗管理装置２から新たな巡回経路が取得される度に、自己が格納している巡回経路を新たな巡回経路に更新する。

現在位置取得部１０４は、ＧＰＳ（Global Positioning System）等の測位システムによって、現在位置を示す位置情報を取得する。
状態取得部１０５は、移動店舗１に備わる各種センサから、バッテリー残量や温度や移動速度等のデータ（状態情報）を取得する。

撮像部１０６は、移動店舗１の周辺を撮像する。撮像部１０６は、撮像角度（撮影方向）を変更可能に構成される。例えば、撮像部１０６は、レンズ等から成る撮像機構を移動させる移動機構を備え、移動機構を制御することによって撮像角度を変更する。撮像部１０６は、例えば、移動店舗１の進行方向の前方や左右や上下などを撮像したり、又は他の移動店舗１を撮像したりする。撮像部１０６は、撮像した画像（撮像画像）を生成する。

動作計画部１０７は、自移動店舗１の動作を計画する。動作計画部１０７は、経路情報格納部１０３内の経路情報に示される巡回経路を移動する際に、現在位置取得部１０４により取得した位置情報、状態取得部１０５により取得した状態情報及び撮像部１０６により撮像された撮像画像に基づいて、自移動店舗１の周囲の環境に応じた動作を計画する。例えば、動作計画部１０７は、経路情報に示される巡回経路上において、位置情報に示される位置から進行方向の前方に、撮像画像の画像認識結果の障害物が存在する場合、障害物回避時の所定の速度で当該障害物を避ける経路を移動するように動作を計画する。

また、動作計画部１０７は、撮像部１０６によって撮像された撮像画像を解析し、撮像画像の解析の結果、ユーザが手を挙げたことやユーザが自移動店舗１に近づいていることなどを認識した場合、自移動店舗１を停止させ、商品搭載部１０１の棚の扉を開いてユーザが商品を取り出せるようにする動作を計画してもよい。

また、例えば移動店舗１－１において、動作計画部１０７は、移動店舗管理装置２から指示された移動位置及び撮像角度に基づいて、自移動店舗１－１の自律移動及び撮像に関する動作を計画する。移動店舗１－１が移動店舗管理装置２から指示される移動位置及び撮像角度は、ユーザが他の移動店舗１－ｎから取り出した商品を特定するための画像を、移動店舗１－１の撮像部１０６によって撮像するための情報である。

動作制御部１０８は、動作計画部１０７が計画した計画動作に従って自移動店舗１の動作を制御する。動作制御部１０８は、移動店舗１の前進や後退や右左折や停止等の走行種別及び走行速度、並びに撮像部１０６の撮像角度の変更や商品搭載部１０１の棚の扉の開閉等の走行以外の動作種別を制御する。

購入処理部１０９は、ユーザが商品を購入するめの購入処理を行う。購入処理部１０９は、ユーザが商品搭載部１０１から取り出した商品を特定する購入商品情報を、移動店舗管理装置２から受信する。例えば移動店舗１－ｎが移動店舗管理装置２から受信する購入商品情報は、他の移動店舗１－１の撮像部１０６によって撮像された撮像画像の画像解析結果に基づいて特定された商品の情報である。

また、購入処理部１０９は、商品搭載部１０１から商品を取り出したユーザを特定する購入ユーザ情報を、移動店舗管理装置２から受信する。例えば移動店舗１－ｎが移動店舗管理装置２から受信する購入ユーザ情報は、他の移動店舗１－１の撮像部１０６によって撮像された撮像画像に含まれる顔画像の画像解析結果に基づいて特定されたユーザの情報である。

なお、購入処理部１０９は、移動店舗１に搭載されたＩＣカードリーダや二次元コードリーダなどを用いて、ユーザのＩＣカードやスマートフォン等に表示された二次元コードからユーザ識別情報（ユーザＩＤ）を読み取ることによって、購入ユーザを特定してもよい。

購入表示部１１０は、移動店舗管理装置２から商品の購入代金の決済が完了したことを示す代金決済完了情報を受信すると、商品の購入処理が完了したことを示す購入処理完了情報を画面上に表示させる。例えば、購入表示部１１０は、特定された商品を示す情報、特定された購入ユーザを示す情報、及び商品の購入代金の決済が完了したことを示す情報を、例えばユーザが操作可能なタッチパネル等のディスプレイに表示させる。商品を示す情報は、例えば商品名、商品の価格、商品の割引率などである。購入ユーザを示す情報は、購入ユーザを特定できる情報であって、例えば購入ユーザの氏名又は会員番号である。なお、購入表示部１１０は、商品の購入処理が完了したことを示す音声又は効果音を出力させてもよい。

無線通信部１０２は、現在位置取得部１０４が取得した位置情報、状態取得部１０５が取得した状態情報、撮像部１０６が撮像した撮像画像、撮像部１０６の撮像角度を示す撮像角度情報等の各種の情報を移動店舗管理装置２へ送信する。

［移動店舗管理装置］
移動店舗管理装置２は、複数の移動店舗１―１，１－２，・・・，１－ｎの管理を行う。移動店舗管理装置２は、運用監視部２０１と、地図情報格納部２０２と、巡回経路探索部２０３と、巡回経路配信部２０４と、画像解析部２０５と、移動位置・角度算出部２０６と、移動位置・角度指示部２０７と、個人情報データベース（個人情報ＤＢ）２０８と、購入者認証部２０９と、商品情報データベース（商品情報ＤＢ）２１０と、商品認識部２１１と、決済部２１２と、購入履歴情報データベース（購入履歴情報ＤＢ）２１３と、を備える。

移動店舗管理装置２の各機能は、移動店舗管理装置２がＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリ等のコンピュータハードウェアを備え、ＣＰＵがメモリに格納されたコンピュータプログラムを実行することにより実現される。なお、移動店舗管理装置２として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、移動店舗管理装置２は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、移動店舗管理装置２の各機能はクラウドコンピューティングにより実現されてもよい。また、移動店舗管理装置２は、単独のコンピュータにより実現するものであってもよく、又は移動店舗管理装置２の機能を複数のコンピュータに分散させて実現するものであってもよい。

運用監視部２０１は、複数の移動店舗１―１，１－２，・・・，１－ｎに対して運用監視を行う。運用監視部２０１は、各移動店舗１からリアルタイムに受信した位置情報や状態情報や撮像画像や撮像角度情報等を当該移動店舗１の個体を識別する情報（移動店舗ＩＤ）と関連付けて格納し、運用監視を行う。運用監視部２０１は、定期的に、例えば１秒間隔で更新される情報（位置情報や状態情報や撮像画像等）に基づいて運用監視する。運用監視部２０１は、移動店舗１から受信した位置情報や状態情報や撮像画像等を解析し、移動店舗１の障害を検出した場合には、例えば、監視者に対して警報を発出する。

地図情報格納部２０２は、移動店舗１が移動する可能性がある屋内や屋外の地図情報を地図データとして格納する。地図データは、例えば、分岐点をノードとして複数の部分に分割し、各ノード間の部分をリンクとして規定したリンクデータとして与えられる。このリンクデータは、リンク固有の識別子（リンクＩＤ）、リンク長、リンクの始点・終点（ノード）の位置情報、角度（方向）データ、通路幅、通路種別などのデータを含んで構成される。

巡回経路探索部２０３は、移動店舗１の巡回経路を探索する。巡回経路探索部２０３は、例えば、複数の場所をそれぞれ目的地として設定し、各目的地を順次移動するように巡回経路を探索する。巡回経路探索部２０３は、例えば、ある出発地から次の目的地へ向けて、次に到達できる分岐点（ノード）までの通路（リンク）のコストの計算（積算）を順次行なっていき、当該出発地から当該目的地までが最小コストとなる経路を選択する。

巡回経路探索部２０３は、販売対象になる人が多いリンクが選択されやすくするために、人口密度が大きい区域に含まれる経路ほどリンクコストが小さくなるように各リンクの重み付けを行ってもよい。また、巡回経路探索部２０３は、移動店舗１―１の撮像部１０６によって移動店舗１－ｎにおける購入対象の商品を特定するための画像を撮像することが難しいリンクが選択され難くするために、例えば所定の通路幅未満の通路や凸凹な通路等に対してリンクコストが大きくなるように重み付けを行ってもよい。

巡回経路配信部２０４は、巡回経路探索部２０３が探索した結果の巡回経路を示す経路情報を移動店舗１へ送信する。

画像解析部２０５は、移動店舗１から受信した撮像画像を解析する。

移動位置・角度算出部２０６は、画像解析部２０５によって解析された移動店舗１－１の撮像画像の画像解析結果と、移動店舗１－ｎに備わる特徴点とに基づいて、移動店舗１－１に指示する移動先の位置（移動位置）及び撮像角度を算出する。移動位置・角度算出部２０６は、ユーザが移動店舗１－ｎから取り出した商品を特定するための画像を移動店舗１－１の撮像部１０６によって撮像することができるように、移動店舗１－１に指示する移動位置及び撮像角度を算出する。

ここで、図２を参照して本実施形態に係る移動位置及び撮像角度の算出方法を説明する。図２は、本実施形態に係る移動位置及び撮像角度の算出方法の説明図である。図２に示されるように、移動店舗１－ｎの商品搭載部１０１には、商品Ｇが搭載されている。ユーザ３は、移動店舗１－ｎの商品搭載部１０１から商品Ｇ＿ａを取り出して手に取っている。図２に示されるように、移動店舗１－ｎには、特徴点Ｐが設けられる。特徴点Ｐは、図２に例示されるように、特定のマークであってもよい。移動店舗１－ｎの特徴点Ｐが移動店舗１－１の撮像部１０６の撮像視野Ｂの中に入っている場合に、移動店舗１－１の撮像部１０６が撮像した撮像画像は、ユーザ３が手に取った商品Ｇ＿ａを含む範囲Ｄを含んで撮像された撮像画像になる。この撮像画像の画像解析結果によれば、ユーザ３が手に取った商品Ｇ＿ａを特定することができる。

移動店舗１－１の撮像部１０６は、移動店舗１－１の進行方向の前方の基準方向Ｃに対して撮像方向Ａが成す撮像角度θを変更可能に構成されている。したがって、移動店舗１－１の位置及び撮像角度θが、移動店舗１－ｎの特徴点Ｐが移動店舗１－１の撮像部１０６の撮像視野Ｂの中に入るように制御されれば、移動店舗１－１の撮像部１０６によって、ユーザ３が手に取った商品Ｇ＿ａを含む範囲Ｄを含んで撮像することができる。

移動位置・角度算出部２０６は、画像解析部２０５によって解析された移動店舗１－１の撮像画像の画像解析結果と、移動店舗１－ｎに備わる特徴点Ｐとに基づいて、移動店舗１－ｎの特徴点Ｐが移動店舗１－１の撮像部１０６の撮像視野Ｂの中に入るように、移動店舗１－１に指示する移動位置及び撮像角度を算出する。

例えば、移動位置・角度算出部２０６は、運用監視部２０１に格納された移動店舗１－１の位置情報及び撮像角度情報と、画像解析部２０５による移動店舗１－１の撮像画像の画像解析結果とを関連付けする。次いで、移動位置・角度算出部２０６は、移動店舗１－ｎの特徴点Ｐが写っている撮像画像に関連付けられた移動店舗１－１の位置情報及び撮像角度情報と、特徴点Ｐが写っていない撮像画像に関連付けられた移動店舗１－１の位置情報及び撮像角度情報とに基づいて、移動店舗１－１に指示するより適切な移動位置及び撮像角度を算出する。例えば、移動位置・角度算出部２０６は、移動店舗１－ｎの特徴点Ｐが移動店舗１－１の撮像部１０６の撮像視野Ｂの中心により近くなるように、移動店舗１－１に指示する移動位置及び撮像角度を算出する。

なお、上述の図２を参照した移動位置及び撮像角度の算出方法では、ユーザ３が手に取った商品Ｇ＿ａを含む範囲Ｄを含んで撮像された撮像画像の画像解析結果に基づいて、ユーザ３が手に取った商品Ｇ＿ａ（ユーザ３が移動店舗１－ｎの商品搭載部１０１から取り出した商品Ｇ＿ａ）が特定されるが、これに限定されない。

例えば、ユーザ３が商品Ｇ＿ａを手に取る前後における移動店舗１－ｎの商品搭載部１０１の棚（商品棚）の在庫状態の変化に基づいて、ユーザ３が移動店舗１－ｎから取り出した商品Ｇ＿ａが特定されてもよい。この場合、移動位置・角度算出部２０６は、移動店舗１－１の撮像部１０６によって、移動店舗１－ｎの商品搭載部１０１の棚が撮像されるように、移動店舗１－１に指示する移動位置及び撮像角度を算出する。このときの特徴点は、例えば、商品搭載部１０１の棚である。したがって、移動位置・角度算出部２０６は、画像解析部２０５によって解析された移動店舗１－１の撮像画像の画像解析結果と、移動店舗１－ｎに備わる商品搭載部１０１の棚（特徴点）とに基づいて、移動店舗１－ｎの商品搭載部１０１の棚が移動店舗１－１の撮像部１０６の撮像視野Ｂの中に入るように、移動店舗１－１に指示する移動位置及び撮像角度を算出する。さらには、移動位置・角度算出部２０６は、移動店舗１－ｎの商品搭載部１０１の棚の中心部が移動店舗１－１の撮像部１０６の撮像視野Ｂの中心により近くなるように、移動店舗１－１に指示する移動位置及び撮像角度を算出する。

説明を図１に戻す。
移動位置・角度指示部２０７は、移動位置・角度算出部２０６によって算出された移動位置及び撮像角度を移動店舗１－１へ指示する。移動店舗１－１の動作計画部１０７は、移動店舗管理装置２から指示された移動位置へ移動店舗１－１を自律移動させるように、また移動店舗管理装置２から指示された撮像角度（指示角度）に撮像部１０６の撮像角度を合わせるように、各動作を計画する。次いで、動作計画部１０７は、その計画された計画動作に従って、移動店舗１－１を移動させる制御を行うと共に、撮像部１０６の撮像角度を指示角度に合わせる制御を行う。これにより、移動店舗１－１が移動位置へ自律移動すると共に、移動店舗１－１の撮像部１０６の撮像角度が指示角度に合わせられる。

個人情報ＤＢ２０８は、各ユーザの属性情報を格納する。ユーザの属性情報は、例えば氏名や会員番号や性別や年齢などのユーザ属性を含む情報である。また、個人情報ＤＢ２０８は、各ユーザの顔の特徴を示す特徴データを格納する。

購入者認証部２０９は、ユーザの個人認証を行い、移動店舗１－ｎの商品搭載部１０１から商品を取り出したユーザ（購入ユーザ）を特定する。購入者認証部２０９は、個人情報ＤＢ２０８に格納されている各ユーザの顔の特徴データと、画像解析部２０５による移動店舗１－１の撮像画像の画像解析結果の顔情報との類似度を判定し、この判定の結果に基づいて購入ユーザを特定する。このため、図２において、移動店舗１－１の撮像部１０６によって、ユーザ３が手に取った商品Ｇ＿ａを含む範囲Ｄに加えてさらに、当該ユーザ３の顔も同時に撮像されるように、特徴点Ｐが配置されることが好ましい。

商品情報ＤＢ２１０は、移動店舗１に搭載される候補の各商品の情報（商品情報）を格納する。商品情報は、例えば、商品名や商品の価格や商品の外観などの情報を含む。また、商品の外観の情報（商品外観情報）は、例えば、商品の３次元の外観を示す３次元データ（商品外観３次元データ）である。

商品認識部２１１は、ユーザが移動店舗１－ｎの商品搭載部１０１から取り出した商品を特定する。商品認識部２１１は、商品情報ＤＢ２１０に格納されている各商品の商品外観情報（例えば、商品外観３次元データ）と、画像解析部２０５による移動店舗１－１の撮像画像の画像解析結果の商品外観情報との類似度を判定し、この判定の結果に基づいて、ユーザが移動店舗１－ｎの商品搭載部１０１から取り出した商品を特定する。商品認識部２１１は、（１）ユーザが手に取った商品を判定することによって移動店舗１－ｎの商品搭載部１０１から取り出された商品を特定してもよく、（２）ユーザが商品を手に取る前後における移動店舗１－ｎの商品搭載部１０１の棚の在庫状態を比較することによって移動店舗１－ｎの商品搭載部１０１から取り出された商品を特定してもよく、（３）これら（１）及び（２）を組み合わせることによって移動店舗１－ｎの商品搭載部１０１から取り出された商品を特定してもよい。

決済部２１２は、購入者認証部２０９が特定した購入ユーザを示す購入ユーザ情報と、商品認識部２１１が特定した商品を示す購入商品情報とを取得し、当該取得した購入ユーザ情報及び購入商品情報に基づいて商品の購入代金の決済処理を行う。決済部２１２は、当該決済処理が完了すると、商品の購入代金の決済処理が完了したことを示す代金決済完了情報を移動店舗１－ｎへ送信する。

購入履歴情報ＤＢ２１３は、決済部２１２による決済処理が完了した後に、ユーザの購入ログを履歴情報として格納する。

次に図３を参照して本実施形態に係る移動店舗管理方法を説明する。図３は、本実施形態に係る移動店舗管理方法の手順の例を示すフローチャートである。

（ステップＳ１） 移動店舗管理装置２は、移動店舗１－１（第１移動店舗）が撮像した撮像画像を解析する。

（ステップＳ２） 移動店舗管理装置２は、ステップＳ１で解析された撮像画像の画像解析結果と、移動店舗１－ｎ（第ｎ移動店舗）に備わる特徴点とに基づいて、移動店舗１－１に指示する移動位置及び撮像角度を算出する。

（ステップＳ３） 移動店舗管理装置２は、ステップＳ２で算出された移動位置及び撮像角度を移動店舗１－１へ指示する。

（ステップＳ４） 移動店舗１－１は、ステップＳ３で指示された移動位置及び撮像角度に基づいて、自己の位置及び撮像角度を制御する。

（ステップＳ５） 移動店舗管理の終了である場合には図３の処理を終了する。移動店舗管理の継続である場合にはステップＳ１に戻る。

なお、上述した実施形態では、２台の移動店舗１－１，１－ｎが集団で移動する場合を例に挙げて説明したが、３台以上の移動店舗１が集団で移動する場合に適用してもよい。この場合、３台以上の移動店舗１の中から、被写体になる移動店舗１の特徴点を最も撮像しやすい他の移動店舗１を選択し、当該選択された移動店舗１に対して移動位置及び撮像角度を指示してもよい。また、複数の移動店舗１が各撮像部１０６で同じ被写体の移動店舗１を撮像した撮像画像を用いて、当該被写体の移動店舗１から取り出された商品を特定してもよい。

また、上述した実施形態では、移動店舗１－１（移動体）が移動店舗１－ｎを撮像する場合を例に挙げて説明したが、移動店舗１－ｎ（移動体）が移動店舗１－１を撮像してもよい。

また、移動店舗１以外の他の移動ロボット（移動体）が移動店舗１を撮像してもよい。例えば、移動店舗１を撮像することを専門にする移動ロボット（移動体）を設けてもよい。例えば、移動店舗１が商品を販売する所定の領域内を移動しながら所定の作業（例えば、道路の検査や清掃など）を実施する移動ロボット（移動体）が、移動店舗１を撮像してもよい。また、移動店舗管理装置２が複数の移動ロボット（移動体）の経路を管理し、巡回経路探索部２０３は、当該複数の移動ロボットの経路に基づいて、少なくとも１台の移動ロボットの経路に合わせるように、移動店舗１の巡回経路を探索してもよい。これにより、例えば道路の検査や清掃などを実施する移動ロボット（移動体）をより効果的に活用することができる。

上述した実施形態によれば、移動店舗の外部の移動体が備えるカメラ（撮像部）によって、当該移動店舗における購入対象の商品を特定するための画像を撮像することができるという効果が得られる。

なお、これにより、例えば移動店舗を用いた移動販売サービスにおける総合的なサービス品質の向上を実現することができることから、国連が主導する持続可能な開発目標（SDGs）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…移動店舗、２…移動店舗管理装置、１０１…商品搭載部、１０２…無線通信部、１０３…経路情報格納部、１０４…現在位置取得部、１０５…状態取得部、１０６…撮像部、１０７…動作計画部、１０８…動作制御部、１０９…購入処理部、１１０…購入表示部、２０１…運用監視部、２０２…地図情報格納部、２０３…巡回経路探索部、２０４…巡回経路配信部、２０５…画像解析部、２０６…移動位置・角度算出部、２０７…移動位置・角度指示部、２０８…個人情報データベース（個人情報ＤＢ）、２０９…購入者認証部、２１０…商品情報データベース（商品情報ＤＢ）、２１１…商品認識部、２１２…決済部、２１３…購入履歴情報データベース（購入履歴情報ＤＢ）

Claims (10)

1. 移動体と、移動店舗管理装置とを備える移動店舗管理システムであり、
   前記移動体は、
   撮像角度を変更可能な撮像部と、
   前記撮像部によって撮像された撮像画像に基づいて前記移動体の動作を計画する動作計画部と、
   前記動作計画部によって計画された計画動作に基づいて前記移動体を自律的に移動させる動作制御部と、
   前記撮像画像を前記移動店舗管理装置へ送信する無線通信部と、を備え、
   前記移動店舗管理装置は、
   前記撮像画像を解析する画像解析部と、
   前記画像解析部によって解析された前記撮像画像の画像解析結果と、移動店舗に備わる特徴点とに基づいて、前記移動体に指示する移動位置及び撮像角度を算出する移動位置角度算出部と、
   前記移動位置角度算出部によって算出された移動位置及び撮像角度を前記移動体へ指示する移動位置角度指示部と、を備え、
   前記動作計画部は、前記移動店舗管理装置から指示された移動位置及び撮像角度に基づいて、前記移動体の自律移動及び撮像に関する動作を計画し、
   前記動作制御部は、前記動作計画部によって計画された自律移動に関する計画動作に基づいて前記移動体を自律的に移動させると共に、前記動作計画部によって計画された撮像に関する計画動作に基づいて撮像角度を制御する、
   移動店舗管理システム。
2. 前記移動位置角度算出部は、前記移動体の位置情報及び撮像角度情報と前記撮像画像の画像解析結果とを関連付けし、前記特徴点が写っている前記撮像画像に関連付けられた前記移動体の位置情報及び撮像角度情報と、前記特徴点が写っていない前記撮像画像に関連付けられた前記移動体の位置情報及び撮像角度情報とに基づいて、前記移動体に指示する移動位置及び撮像角度を算出する、
   請求項１に記載の移動店舗管理システム。
3. 前記移動店舗管理装置は、
   前記移動店舗で販売される商品の外観データを含む商品情報を格納する商品情報データベースと、
   前記画像解析部によって解析された前記撮像画像の画像解析結果と、前記外観データとに基づいて、ユーザが前記移動店舗から取り出した商品を判定する商品認識部と、をさらに備える、
   請求項１又は２のいずれか１項に記載の移動店舗管理システム。
4. 前記商品認識部は、ユーザが手に取った商品を判定する、
   請求項３に記載の移動店舗管理システム。
5. 前記商品認識部は、ユーザが商品を手に取る前後における前記移動店舗の商品棚の在庫状態の変化に基づいて、ユーザが前記移動店舗から取り出した商品を判定する、
   請求項３又は４のいずれか１項に記載の移動店舗管理システム。
6. 前記移動店舗管理装置は、
   前記移動店舗の巡回経路を探索する巡回経路探索部と、
   前記巡回経路を前記移動店舗へ配信する巡回経路配信部と、をさらに備える、
   請求項１から５のいずれか１項に記載の移動店舗管理システム。
7. 前記移動店舗管理装置は、複数の前記移動体の経路を管理し、
   前記巡回経路探索部は、前記複数の前記移動体の経路に基づいて、少なくとも１台の前記移動体の経路に合わせるように、前記移動店舗の巡回経路を探索する、
   請求項６に記載の移動店舗管理システム。
8. 移動体によって撮像された撮像画像を解析する画像解析部と、
   前記画像解析部によって解析された前記撮像画像の画像解析結果と、移動店舗に備わる特徴点とに基づいて、前記移動体に指示する移動位置及び撮像角度を算出する移動位置角度算出部と、
   前記移動位置角度算出部によって算出された移動位置及び撮像角度を前記移動体へ指示する移動位置角度指示部と、
   を備える移動店舗管理装置。
9. 移動体と、移動店舗管理装置とを備える移動店舗管理システムの移動店舗管理方法であって、
   前記移動体は、撮像角度を変更可能な撮像部を備え、
   前記移動体が、前記撮像部によって撮像された撮像画像に基づいて前記移動体の動作を計画する第１動作計画ステップと、
   前記移動体が、前記第１動作計画ステップによって計画された計画動作に基づいて前記移動体を自律的に移動させる第１動作制御ステップと、
   前記移動体が、前記撮像画像を前記移動店舗管理装置へ送信する無線通信ステップと、
   前記移動店舗管理装置が、前記撮像画像を解析する画像解析ステップと、
   前記移動店舗管理装置が、前記画像解析ステップによって解析された前記撮像画像の画像解析結果と、移動店舗に備わる特徴点とに基づいて、前記移動体に指示する移動位置及び撮像角度を算出する移動位置角度算出ステップと、
   前記移動店舗管理装置が、前記移動位置角度算出ステップによって算出された移動位置及び撮像角度を前記移動体へ指示する移動位置角度指示ステップと、
   前記移動体が、前記移動店舗管理装置から指示された移動位置及び撮像角度に基づいて、前記移動体の自律移動及び撮像に関する動作を計画する第２動作計画ステップと、
   前記移動体が、前記第２動作計画ステップによって計画された自律移動に関する計画動作に基づいて前記移動体を自律的に移動させると共に、前記第２動作計画ステップによって計画された撮像に関する計画動作に基づいて撮像角度を制御する第２動作制御ステップと、
   を含む移動店舗管理方法。
10. 移動店舗管理装置のコンピュータに、
    移動体によって撮像された撮像画像を解析する画像解析ステップと、
    前記画像解析ステップによって解析された前記撮像画像の画像解析結果と、移動店舗に備わる特徴点とに基づいて、前記移動体に指示する移動位置及び撮像角度を算出する移動位置角度算出ステップと、
    前記移動位置角度算出ステップによって算出された移動位置及び撮像角度を前記移動体へ指示する移動位置角度指示ステップと、
    を実行させるためのコンピュータプログラム。

Images