JP6589062B2 - 空席管理システム、空席管理方法及びプログラム - Google Patents

Description

本発明は、カメラで撮像した撮像画像を画像解析して空席を管理する空席管理システム、空席管理方法及びプログラムに関する。

近年、公共交通機関や飲食店等において、椅子に重量センサ等の各種センサを設け、センサの検知結果から、この椅子が空席であるか否かを判定するシステムが存在する。このようなシステムにおいて、判定結果を、ユーザが所持する端末等に送信することにより、空席情報をユーザに通知することが可能となっている。

このような空席管理システムにおいて、管理装置が、計測指示を各種センサに送信し、この指示に基づいて、各種センサが、検知した検知結果を管理装置に送信する。管理装置は、この検知結果に基づいて、座席が空席であるか否かを判定し、空席である座席の場所を、端末に送信する構成が開示されている（特許文献１参照）。

特開２０１３−２２２３５８号公報

しかしながら、特許文献１の構成では、椅子毎にセンサを設ける必要性があるため、全ての椅子の空席を管理するには、コストが上昇してしまうという問題があった。また、客が自身の荷物等を椅子に置いた際、この荷物の重量次第で、この椅子は、本来なら空席であるにも関わらず、人が座っていると判断してしまうおそれがあり、利便性が低いという問題があった。

本発明は、コストを抑制しつつ、利便性を向上させた空席管理システム、空席管理方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、カメラで撮像した撮像画像を画像解析して空席を管理する空席管理システムであって、
前記撮像画像を取得する撮像画像取得手段と、
前記取得した撮像画像を画像解析する画像解析手段と、
前記画像解析の解析結果に基づいて、テーブルに椅子が何脚あるかを検出する第１検出手段と、
前記画像解析の解析結果に基づいて、前記椅子に人が座っているかどうかを検出する第２検出手段と、
前記検出した椅子の数と、前記検出した人の有無とに基づいて、空席情報を表示する空席情報表示手段と、
を備えることを特徴とする空席管理システムを提供する。

第１の特徴に係る発明によれば、カメラで撮像した撮像画像を画像解析して空席を管理する空席管理システムは、前記撮像画像を取得し、前記取得した撮像画像を画像解析し、前記画像解析の解析結果に基づいて、テーブルに椅子が何脚あるかを検出し、前記画像解析の解析結果に基づいて、前記椅子に人が座っているかどうかを検出し、前記検出した椅子の数と、前記検出した人の有無とに基づいて、空席情報を表示する。

第１の特徴に係る発明は、空席管理システムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

第２の特徴に係る発明は、前記空席情報表示手段が、前記検出した全ての椅子が空いていた場合に、注目度を変更して表示する、
ことを特徴とする第１の特徴に係る発明である空席管理システムを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明である空席管理システムは、前記検出した全ての椅子が空いていた場合に、注目度を変更して表示する。

第３の特徴に係る発明は、前記空席情報表示手段が、前記テーブルに何名の空きがあるかを表示する、
ことを特徴とする第１の特徴に係る発明である空席管理システムを提供する。

第３の特徴に係る発明によれば、第１の特徴に係る発明である空席管理システムは、前記テーブルに何名の空きがあるかを表示する。

第４の特徴に係る発明は、前記画像解析の解析結果に基づいて、前記椅子に座っている人の属性情報を検出する第３検出手段と、
前記検出した属性情報を表示する属性情報表示手段と、
を備えることを特徴とする第１の特徴に係る発明である空席管理システムを提供する。

第４の特徴に係る発明によれば、第１の特徴に係る発明である空席管理システムは、前記画像解析の解析結果に基づいて、前記椅子に座っている人の属性情報を検出し、前記検出した属性情報を表示する。

第５の特徴に係る発明は、ユーザ端末を登録するユーザ端末登録手段と、
前記登録したユーザ端末に、前記空席情報を通知する通知手段と、
を備えることを特徴とする第１の特徴に係る発明である空席管理システムを提供する。

第５の特徴に係る発明によれば、第１の特徴に係る発明である空席管理システムは、ユーザ端末を登録し、前記登録したユーザ端末に、前記空席情報を通知する。

第６の特徴に係る発明は、カメラで撮像した撮像画像を画像解析して空席を管理する空席管理方法であって、
前記撮像画像を取得するステップと、
前記取得した撮像画像を画像解析するステップと、
前記画像解析の解析結果に基づいて、テーブルに椅子が何脚あるかを検出するステップと、
前記画像解析の解析結果に基づいて、前記椅子に人が座っているかどうかを検出するステップと、
前記検出した椅子の数と、前記検出した人の有無とに基づいて、空席情報を表示するステップと、
を備えることを特徴とする空席管理方法を提供する。

第７の特徴に係る発明は、カメラで撮像した撮像画像を画像解析して空席を管理する空席管理システムに、
前記撮像画像を取得するステップ、
前記取得した撮像画像を画像解析するステップ、
前記画像解析の解析結果に基づいて、テーブルに椅子が何脚あるかを検出するステップ、
前記画像解析の解析結果に基づいて、前記椅子に人が座っているかどうかを検出するステップ、
前記検出した椅子の数と、前記検出した人の有無とに基づいて、空席情報を表示するステップ、
を実行させるためのプログラムを提供する。

本発明によれば、コストを抑制しつつ、利便性を向上させた空席管理システム、空席管理方法及びプログラムを提供することが可能となる。

図１は、空席管理システム１の概要を示す図である。 図２は、空席管理システム１の全体構成図である。 図３は、コンピュータ１０、カメラ１００、ユーザ端末２００の機能ブロック図である。 図４は、コンピュータ１０、ユーザ端末２００が実行する登録処理を示すフローチャートである。 図５は、コンピュータ１０、カメラ１００が実行する撮像処理を示すフローチャートである。 図６は、コンピュータ１０が実行する空席管理処理を示すフローチャートである。 図７は、コンピュータ１０が実行する空席管理処理を示すフローチャートである。 図８は、コンピュータ１０が実行する空席管理処理を示すフローチャートである。 図９は、ユーザ端末２００が実行する空席表示処理を示すフローチャートである。 図１０は、コンピュータ１０が実行する画像解析の結果の一例を示す図である。 図１１は、コンピュータ１０が実行する画像解析の結果の一例を示す図である。 図１２は、ユーザ端末２００が表示するメッセージの一例を示す図である。 図１３は、ユーザ端末２００が表示する座席確認画面の一例を示す図である。 図１４は、ユーザ端末２００が表示するメッセージの一例を示す図である。 図１５は、ユーザ端末２００が表示する他店舗紹介画面の一例を示す図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［空席管理システム１の概要］
本発明の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である空席管理システム１の概要を説明するための図である。空席管理システム１は、コンピュータ１０、カメラ１００、ユーザ端末２００から構成される。カメラ１００、ユーザ端末２００の数は、１つに限らず複数であってもよい。また、後述する各処理は、コンピュータ１０、カメラ１００、ユーザ端末２００のいずれか又は複数の組合わせにより実現されてもよい。

コンピュータ１０は、カメラ１００、ユーザ端末２００とデータ通信可能な計算機である。

カメラ１００は、コンピュータ１０とデータ通信可能な、ネットワークカメラ等の撮像装置である。カメラ１００は、飲食店等の施設内部に設けられ、施設内のテーブル、椅子及び人物等を動画や静止画等の撮像画像として撮像する。

ユーザ端末２００は、コンピュータ１０とデータ通信可能な、ユーザが所持する端末装置である。ユーザ端末２００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。

はじめに、カメラ１００は、撮像画像を撮像する（ステップＳ０１）。カメラ１００は、テーブルと、このテーブルに属する椅子とを撮像する。このとき、カメラ１００は、一のテーブルを撮像する構成であってもよいし、施設内に存在する全てのテーブルと各テーブルに属する椅子とを撮像する構成であってもよい。カメラ１００が一のテーブルを撮像する場合、各テーブル毎にカメラ１００が存在する構成であってもよい。

カメラ１００は、撮像した撮像画像のデータである撮像画像データを、コンピュータ１０に送信する（ステップＳ０２）。

コンピュータ１０は、カメラ１００が送信した撮像画像データを受信することにより、カメラ１００が撮像した撮像画像を取得する。

コンピュータ１０は、撮像画像データを画像解析する（ステップＳ０３）。コンピュータ１０は、テーブルの位置やその数、各テーブルに属する椅子の位置やその数、客の位置や数等を解析する。

コンピュータ１０は、画像解析の結果に基づいて、テーブルに椅子が何脚あるかを検出する（ステップＳ０４）。コンピュータ１０は、複数のテーブルが存在する場合、各テーブル毎に、椅子が何脚あるかを検出する。

コンピュータ１０は、画像解析の結果に基づいて、検出した椅子に人が座っているかどうかを検出する（ステップＳ０５）。

なお、コンピュータ１０は、画像解析の結果に基づいて、椅子に座っている人の入店時間、注文内容、購入金額、滞在時間等の属性情報を検出する構成であってもよい。例えば、コンピュータ１０は、椅子に人が座った時刻を検出し、現在の時刻を検出することにより、入店時間や滞在時間を検出することが可能となる。また、例えば、コンピュータ１０は、テーブルに載置された飲食物を画像解析することにより、注文内容や購入金額等を検出することが可能となる。

コンピュータ１０は、椅子の数と人の有無とに基づいて、テーブルの空き及び椅子の空き等の空席情報を作成し、ユーザ端末２００に通知する（ステップＳ０６）。

なお、コンピュータ１０は、予めユーザ端末２００の登録を受け付け、登録を受け付けたユーザ端末２００に、空席情報を通知する構成であってもよい。

ユーザ端末２００は、空席情報を受信する。ユーザ端末２００は、受信した空席情報を表示する（ステップＳ０７）。ユーザ端末２００は、この施設のテーブル及び椅子の位置を表示するとともに、人が座っていない椅子と座っている椅子とを区別して表示する。

なお、ユーザ端末２００は、全ての椅子が空いていた場合に、注目度を変更して表示する構成であってもよい。また、ユーザ端末２００は、椅子に座っている人の属性情報を表示する構成であってもよい。また、ユーザ端末２００は、テーブルに何名の空きがあるかを表示する構成であってもよい。

以上が、空席管理システム１の概要である。

［空席管理システム１のシステム構成］
図２に基づいて、空席管理システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である空席管理システム１のシステム構成を示す図である。空席管理システム１は、コンピュータ１０、カメラ１００、ユーザ端末２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。なお、カメラ１００、ユーザ端末２００は、１つに限らず、複数であってもよい。また、後述する各処理は、コンピュータ１０、カメラ１００、ユーザ端末２００のいずれか又は複数の組み合わせにより実現されてもよい。また、各装置は、実在する装置又は仮想的な装置により実現されてもよい。

コンピュータ１０は、後述の機能を備えた上述した計算機である。

カメラ１００は、後述の機能を備えた上述した撮像装置である。

ユーザ端末２００は、後述の機能を備えた上述した端末装置である。

［各機能の説明］
図３に基づいて、空席管理システム１の機能について説明する。図３は、コンピュータ１０、カメラ１００、ユーザ端末２００の機能ブロック図を示す図である。

コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、コンピュータ１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、解析部１４として、取得した撮像画像の画像解析を実行する解析デバイス等を備える。

コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、データ送受信モジュール２０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１３と協働して、記憶モジュール３０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、解析部１４と協働して、解析モジュール４０を実現する。

カメラ１００は、コンピュータ１０と同様に、制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス等を備える。また、カメラ１００は、撮像部１４０として、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイス等を備える。

カメラ１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、データ送受信モジュール１５０を実現する。また、カメラ１００において、制御部１１０が所定のプログラムを読み込むことにより、撮像部１４０と協働して、撮像モジュール１７０を実現する。

ユーザ端末２００は、コンピュータ１０と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイス等を備える。また、ユーザ端末２００は、入出力部２４０として、制御部２１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部等を備える。

ユーザ端末２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、データ送受信モジュール２５０を実現する。また、ユーザ端末２００において、制御部２１０が所定のプログラムを読み込むことにより、入出力部２４０と協働して、入力受付モジュール２８０、表示モジュール２８１を実現する。

なお、以下の説明において、カメラ１００、ユーザ端末２００の各装置は１つであるものとして説明しているが、複数であっても本処理は実行可能であることはいうまでもない。

［登録処理］
図４に基づいて、空席管理システム１が実行する登録処理について説明する。図４は、コンピュータ１０、ユーザ端末２００が実行する登録処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

はじめに、入力受付モジュール２８０は、ユーザからの入力を受け付け、ユーザ登録に必要な個人情報の入力を受け付ける（ステップＳ１０）。入力受付モジュール２８０は、自身がコンピュータ１０等から取得した登録用の入力フォーム等に、自身の氏名、電話番号、メールアドレス、来店者数、来店時間等の個人情報の入力を受け付ける。

なお、ステップＳ１０の処理は、ユーザ端末２００以外の端末装置により実行される構成であってもよい。例えば、施設に設置された端末装置に、ユーザが、上述した個人情報を入力する構成であってもよい。この場合、この端末装置が、入力を受け付けた個人情報を、コンピュータ１０に送信する構成であればよい。

データ送受信モジュール２５０は、入力を受け付けた個人情報を、コンピュータ１０に送信する（ステップＳ１１）。ステップＳ１１において、データ送受信モジュール２５０は、個人情報に加え、自身の端末番号、製造番号、ＭＡＣアドレス等の端末に固有な端末固有情報を送信する。

データ送受信モジュール２０は、個人情報及び端末固有情報を受信する。記憶モジュール３０は、受信した個人情報及び端末固有情報を登録情報として記憶する（ステップＳ１２）。

なお、ステップＳ１２において、記憶モジュール３０は、個人情報のみを登録情報として記憶する構成であってもよい。また、入力受付モジュール２８０が入力を受け付ける個人情報は、上述した構成に限らず適宜変更可能である。

以上が、登録処理である。

［撮像処理］
図５に基づいて、空席管理システム１が実行する撮像処理について説明する。図５は、コンピュータ１０、カメラ１００が実行する撮像処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

撮像モジュール１７０は、飲食店等の施設内の動画や静止画等の撮像画像を撮像する（ステップＳ２０）。ステップＳ２０において、撮像モジュール１７０は、常時撮像画像を撮像する。カメラ１００は、施設内を一望できる位置に設けられており、施設内に存在する全てのテーブル及びこのテーブルに属する椅子を撮像する。

なお、ステップＳ２０において、複数のカメラ１００を施設内に設け、各カメラ１００が、対応する一のテーブル又は複数のテーブルと、このテーブルに属する椅子を撮像する構成であってもよい。この場合、テーブルの数に応じたカメラ１００を空席管理システム１に追加すればよい。また、撮像モジュール１７０は、所定の時間間隔、例えば、５分毎、１０分毎等の時間間隔で撮像画像を撮像してもよい。

データ送受信モジュール１５０は、撮像画像のデータである撮像画像データを、コンピュータ１０に送信する（ステップＳ２１）。ステップＳ２１において、データ送受信モジュール１５０は、撮像画像データに、現在時刻を付与し、コンピュータ１０に送信する。

コンピュータ１０は、撮像画像データを受信する。コンピュータ１０は、撮像画像データを受信することにより、カメラ１００が撮像した撮像画像を取得する。

なお、ステップＳ２１において、データ送受信モジュール１５０は、撮像画像データのみをコンピュータ１０に送信する構成であってもよい。また、データ送受信モジュール１５０は、上述した構成以外の他のデータや情報を付与し、コンピュータ１０に送信する構成であってもよい。

以上が、撮像処理である。

［空席管理処理］
図６、図７及び図８に基づいて、空席管理システム１が実行する空席管理処理について説明する。図６、図７及び図８は、コンピュータ１０が実行する空席管理処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

解析モジュール４０は、取得した撮像画像を画像解析する（ステップＳ３０）。ステップＳ３０において、解析モジュール４０は、撮像画像に映っているテーブルの位置やその数、各テーブルに属する椅子の数や位置、客の位置や数、テーブルに載置された飲食物等を解析する。例えば、解析モジュール４０は、撮像画像の特徴量を抽出することにより、テーブル、椅子及び客を解析する。解析モジュール４０は、解析結果に基づいて、テーブルの空席状況、客の数、客の注文内容等を判断する。

なお、解析モジュール４０は、予め記憶したテーブルや椅子の画像と、撮像画像から解析したテーブルや椅子の画像とを比較することにより、テーブルや椅子を解析する構成であってもよい。また、解析モジュール４０は、他の方法により、画像解析を実行する構成であってもよい。

解析モジュール４０は、画像解析の結果に基づいて、撮像画像中に映っているテーブルに椅子が何脚あるかを検出する（ステップＳ３１）。ステップＳ３１において、解析モジュール４０は、撮像画像に映っているテーブル毎に、椅子が何脚あるかを検出する。解析モジュール４０は、例えば、円形又は矩形のテーブルを検出した場合、このテーブルの周囲に存在する椅子を、このテーブルの椅子であると検出する。また、解析モジュール４０は、例えば、矩形のテーブルを検出し、このテーブルを挟んで対向する位置に存在する椅子を、このテーブルの椅子であると検出する。また、解析モジュール４０は、例えば、矩形のテーブルを検出し、一の辺に沿って並置された椅子を、このテーブルの椅子であると検出する。解析モジュール４０は、其々のテーブルにおいて、椅子の数と配置を検出する。

図１０は、解析モジュール４０が実行する画像解析の結果の一例を示す図である。図１０において、解析モジュール４０は、撮像画像中に映っているテーブルと、各テーブルに属する椅子の数とを検出する。すなわち、図１０において、解析モジュール４０は、撮像画像中に映っているテーブルとして、第１テーブル３００、第２テーブル３１０、第３テーブル３２０、第４テーブル３３０、第５テーブル３４０、第６テーブル３５０を検出する。また、解析モジュール４０は、第１テーブル３００に属する４脚の椅子４００、第２テーブル３１０に属する４脚の椅子４１０、第３テーブル３２０に属する２脚の椅子４２０、第４テーブル３３０に属する２脚の椅子４３０、第５テーブル３４０に属する２脚の椅子４４０、第６テーブル３５０に属する椅子４５０，４６０，４７０を検出する。

解析モジュール４０は、各椅子の形状等に基づいて、どの椅子がどのテーブルに属するかを判断し、各テーブルに属する椅子を検出する。例えば、解析モジュール４０は、テーブルが円形である場合、この円形の周囲に位置する椅子を、このテーブルに属する椅子であるとして検出する。また、解析モジュール４０は、テーブルが矩形である場合、周囲の位置又は対向する位置に配置された椅子を、このテーブルに属する椅子であるとして検出する。また、解析モジュール４０は、テーブルが矩形である場合、この矩形の一辺に並置された椅子を、このテーブルに属するものの、異なるグループの椅子として検出する。すなわち、図１０において、第１〜第５テーブル３００〜３４０は、各テーブルに属する椅子が一のグループとして扱われるのに対して、第６テーブル３５０は、椅子４５０，４６０，４７０は、異なるグループとして扱われる。

解析モジュール４０は、画像解析の結果に基づいて、検出した椅子に人が座っているかどうかを判断する（ステップＳ３２）。ステップＳ３２において、解析モジュール４０は、一のテーブルに属する椅子に人が座っているかどうかを判断する。ステップＳ３２において、解析モジュール４０は、人が座っていると判断した場合（ステップＳ３２ ＹＥＳ）、解析モジュール４０は、この椅子に座っている人の属性情報を検出する（ステップＳ３３）。

ステップＳ３３において、解析モジュール４０は、属性情報として、入店時刻、滞在時間、注文内容、購入金額等を検出する。解析モジュール４０は、この属性情報を、人が座っている椅子が属するテーブルに載置された飲食物や、この人を初めて検出した時刻や、入店時刻等に基づいて検出する。解析モジュール４０は、画像解析の結果に基づいて、テーブルに載置された飲食物の特徴量を抽出し、抽出した特徴量により飲食物を特定する。解析モジュール４０は、この特定した飲食物に対応付けられた料金表等に基づいて、購入金額を特定する。また、解析モジュール４０は、初めてこの椅子に人が座っていることを検出した時刻を、入店時刻として特定する。また、解析モジュール４０は、この入店時刻から現在時刻までの間の時間を滞在時間として特定する。

なお、解析モジュール４０が検出する属性情報は、上述した構成に限らず他の情報を検出してもよい。また、ステップＳ３３の処理は、省略可能である。この場合、ステップＳ３２の処理を実行したのち、後述する各処理を実行すればよい。

また、データ送受信モジュール２０は、属性情報を、図示していない店舗端末に送信する構成であってもよい。このようにすることにより、店舗端末により、客単価、客の滞在時間、客の注文内容等を把握することが容易となり、施設経営に必要な情報を得ることが容易となる。

図１１は、解析モジュール４０が実行する画像解析の結果の一例を示す図である。図１１は、図１０の解析結果に、人の検出結果と、属性情報とを検出した状態を説明するための図である。図１１において、解析モジュール４０は、各テーブル毎に人を検出するとともに、各テーブル又は人の属性情報を検出する。図１１において、解析モジュール４０は、第１テーブル３００に３人の人５００を検出する。また、解析モジュール４０は、第３テーブル３２０に２人の人５１０を検出する。また、第４テーブル３３０に１人の人５２０を検出する。また、第６テーブル３５０に１人の人５３０を検出する。

図１１において、解析モジュール４０は、各テーブル毎に客の滞在時間、客の人数、注文内容を検出する。解析モジュール４０は、第１テーブル３００にて検出した人５００の人数、この人５００を最初に検出した時刻から現在時刻までの間の時間を検出する。また、解析モジュール４０は、テーブルに載置された飲食物を画像解析することにより、注文内容を検出する。例えば、解析モジュール４０は、飲食物の特徴量を検出し、この特徴量と一致する特徴量を有する注文内容を特定することにより、注文内容を検出する。解析モジュール４０は、この検出した滞在時間、客数、注文内容等の属性情報を客が存在するテーブル毎又は客毎に検出する。図１１において、例えば、第１テーブル３００において、解析モジュール４０は、３人の人５００を検出し、滞在時間が５０分であることを検出し、注文内容がランチ、コーヒー、コーヒーを検出する。解析モジュール４０は、この属性情報を、第１テーブル３００と対応付ける。解析モジュール４０は、第１テーブル３００に引出線を引き、属性情報７００を対応付けていることを示している。同様に、第３テーブル３２０において、解析モジュール４０は、２人の人５１０を検出し、滞在時間が２０分であることを検出し、注文内容がコーヒー、コーヒーであることを検出する。解析モジュール４０は、第３テーブル３２０に引出線を引き、属性情報７１０を対応付けていることを示している。また、同様に、第４テーブル３３０において、解析モジュール４０は、１人の人５２０を検出し、滞在時間が１０分であることを検出し、注文内容がコーヒーであることを検出する。解析モジュール４０は、第４テーブル３３０に引出線を引き、属性情報７２０を対応付けていることを示している。また、同様に、第６テーブル３５０において、解析モジュール４０は、１人の人５３０が椅子４５０に座っていることを検出し、滞在時間が１０分であることを検出し、注文内容がコーヒーであることを検出する。解析モジュール４０は、人５３０に引出線を引き、属性情報７３０を対応付けていることを示している。

また、図１１において、解析モジュール４０が人を検出できなったテーブル又は椅子に空席アイコンを示している。解析モジュール４０は、人を検出できなかった第２テーブル３１０に空席アイコン６００を重畳させる。また、解析モジュール４０は、人を検出できなかった第５テーブル３４０に空席アイコン６１０を重畳させる。また、解析モジュール４０は、人を検出できなかった第６テーブル３５０に属する椅子４６０に空席アイコン６２０を重畳させ、椅子４７０に空席アイコン６３０を重畳させる。これら空席アイコン６００〜６３０は、各テーブルの空席の数も示している。

また、図１１において、解析モジュール４０は、第１テーブル３００にて人を検出したものの、空席となっている椅子４００に、空席アイコン６４０を重畳させる。また、同様に、解析モジュール４０は、第４テーブル３３０にて人を検出したものの、空席となっている椅子４３０に空席アイコン６５０を重畳させる。これら空席アイコン６４０，６５０は、相席の数を示している。なお、解析モジュール４０は、全ての空席となっている椅子に空席アイコンを重畳させる構成であってもよい。また、その他の構成により、空席であることを示してもよい。また、空席が存在する全てのテーブルに対して、空席アイコンを重畳させる構成であってもよい。

解析モジュール４０は、一のテーブルに属する全ての椅子に人が座っているかどうかを判断する（ステップＳ３４）。ステップＳ３４において、解析モジュール４０は、一のテーブルの周囲又は近傍にある椅子に人が座っているかどうかを判断する。ステップＳ３４において、解析モジュール４０は、全ての椅子に人が座っていると判断した場合（ステップＳ３４ ＹＥＳ）、解析モジュール４０は、この一のテーブルでは、人が座る余地がないとする満席情報を作成する（ステップＳ３５）。

一方、ステップＳ３４において、解析モジュール４０は、全ての椅子には人がいないと判断した場合（ステップＳ３４ ＮＯ）、すなわち、一のテーブルにおいて人が座っている椅子と座っていない椅子とがあると判断した場合、解析モジュール４０は、この一のテーブルに人が座る余地があるとする相席情報を作成する（ステップＳ３６）。

ステップＳ３２において、解析モジュール４０は、人が座っていないと判断した場合（ステップＳ３２ ＮＯ）、解析モジュール４０は、一のテーブルの周囲又は近傍にある椅子に人が座っているかどうかを判断する（ステップＳ３７）。すなわち、ステップＳ３７において、この一のテーブルに人がいるかどうかを判断する。

ステップＳ３７において、解析モジュール４０は、人が座っていると判断した場合（ステップＳ３７ ＹＥＳ）、解析モジュール４０は、椅子に座っている人の属性情報を検出する（ステップＳ３８）。その後、解析モジュール４０は、上述した相席情報を作成する（ステップＳ３６）。

一方、ステップＳ３７において、解析モジュール４０は、人が座っていないと判断した場合（ステップＳ３７ ＮＯ）、このテーブルが空いているとする空席情報を作成する（ステップＳ３９）。

解析モジュール４０は、全ての椅子に対して、上述した処理を完了したか否かを判断する（ステップＳ４０）。ステップＳ４０において、解析モジュール４０は、完了していないと判断した場合（ステップＳ４０ ＮＯ）、上述したステップＳ３２の処理を再度実行する。

一方、ステップＳ４０において、解析モジュール４０は、完了したと判断した場合（ステップＳ４０ ＹＥＳ）、解析モジュール４０は、各テーブルの満席情報、空席情報、相席情報をまとめた座席情報を作成する（ステップＳ４１）。座席情報は、例えば、各テーブル毎の空席状況、全体の空席状況、各テーブル毎の属性情報、各個人の属性情報、残り滞在予想時間等である。残り滞在予想時間は、これまでの客の人数における滞在時間や、注文内容における滞在時間や、客の性別における滞在時間等から推測する。

解析モジュール４０は、座席情報、この施設のＳＮＳ等のメッセージ、この施設の周辺地図、この施設の所在地、座席確認用のリンク、他店舗の紹介用リンク等を含んだメッセージを作成する（ステップＳ４２）。このメッセージの詳細は、後述する。

なお、このメッセージは、上述した全ての構成を含んでいなくともよい。例えば、座席情報のみであってもよいし、上述した構成のいずれかを組合わせてもよいし、その他の構成を追加してもよい。

また、メッセージとして、上述した構成を含むウェブサイトへのリンク用ＵＲＬを作成する構成であってもよい。

データ送受信モジュール２０は、メッセージをユーザ端末２００に送信する（ステップＳ４３）。ステップＳ４３において、データ送受信モジュール２０は、上述した登録処理において、登録を受け付けたユーザ端末２００に、メッセージを送信する。このとき、例えば、データ送受信モジュール２０は、登録を受け付けたユーザ端末２００のメールアドレス宛てや電話番号宛に、メッセージを送信する。

なお、ステップＳ４３において、データ送受信モジュール２０は、メッセージを、登録を受け付けていないユーザ端末２００に送信する構成であってもよい。また、データ送受信モジュール２０は、メッセージ以外の構成により、座席情報等をユーザ端末２００に送信する構成であってもよい。また、データ送受信モジュール２０は、座席情報等をその他の構成によりユーザ端末２００に送信してもよい。

以上が、空席管理処理である。

［空席表示処理］
図９に基づいて、空席管理システム１が実行する空席表示処理について説明する。図９は、ユーザ端末２００が実行する空席表示処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

データ送受信モジュール２５０は、メッセージを受信する。表示モジュール２８１は、受信したメッセージを表示する（ステップＳ５０）。

入力受付モジュール２８０は、メッセージとして表示した座席情報へのリンクＵＲＬへの入力を受け付け、データ送受信モジュール２５０は、座席情報を取得し、表示モジュール２８１は、座席情報を表示する（ステップＳ５１）。

図１２は、表示モジュール２８１が表示するメッセージの一例を示す図である。図１２において、表示モジュール２８１は、メッセージとして、施設名通知８００、施設説明通知８１０、空席状況通知８２０、施設周辺地図８３０、施設情報８４０、ＳＮＳ通知８５０、座席確認アイコン８６０を表示する。表示モジュール２８１は、施設名通知８００として、この施設の名称を表示する。また、表示モジュール２８１は、施設説明通知８１０として、この施設に関する説明文を表示する。また、表示モジュール２８１は、空席状況通知８２０として、空席の有無や、空席が存在する場合、空席の内容及びその数を表示する。また、表示モジュール２８１は、施設周辺地図８３０として、この施設の周辺地図を表示する。また、表示モジュール２８１は、施設情報８４０として、この施設の住所、電話番号、営業時間等を表示する。また、表示モジュール２８１は、ＳＮＳ通知８５０として、この施設が利用する各種ＳＮＳメッセージの一部を表示する。

入力受付モジュール２８０は、座席確認アイコン８６０への入力を受け付ける。表示モジュール２８１は、座席確認アイコン８６０への入力を受け付け、後述する座席確認画面を表示する。

図１３は、表示モジュール２８１が表示する座席確認画面の一例を示す図である。上述した図１１と同様の構成については、同様の符号を付し、その詳細な説明は省略する。表示モジュール２８１は、撮像画像と図１０及び図１１において検出したテーブル、椅子、人、属性情報、空席アイコンを座席確認画面として表示する。

図１３において、表示モジュール２８１は、各テーブルの空席状況と、各テーブルを使用中の客の属性情報とを撮像画像に重畳させて表示する。図１３において、表示モジュール２８１は、第１テーブル３００が、４脚の椅子４００のうち、１脚の椅子４００が空席であることを、空席アイコン６４０をこの椅子４００に重畳させて表示する。また、表示モジュール２８１は、第１テーブル３００の属性情報７００として、残り滞在予想時間を表示する。この残り滞在予想時間は、客の滞在時間が所定の時間、例えば、４０分以上、５０分以上であるときに表示する。表示モジュール２８１は、第２テーブル３１０が、４脚の椅子４１０のうち、全ての椅子４１０が空席であることを、第２テーブル３１０に空席アイコン６００を重畳させて表示する。表示モジュール２８１は、空席アイコン６００に空席の数を表示することにより、この第２テーブル３１０に何名の空きがあるかを表示する。表示モジュール２８１は、第３テーブル３２０の属性情報７１０として、第３テーブル３２０の客の滞在時間と客数とを表示する。表示モジュール２８１は、第４テーブル３３０が、２脚の椅子４３０のうち、１脚の椅子４３０が空席であることを、この椅子４３０に空席アイコン６５０を重畳させて表示する。また、表示モジュール２８１は、第４テーブル３３０の属性情報７２０として、第４テーブルの客の滞在時間と客数とを表示する。また、表示モジュール２８１は、第５テーブル３４０が、２脚の椅子４４０のうち、全ての椅子４４０が空席であることを、第５テーブル３４０に空席アイコン６１０を重畳させて表示する。表示モジュール２８１は、空席アイコン６１０に空席の数を表示することにより、この第５テーブル３４０に何名の空きがあるかを表示する。また、表示モジュール２８１は、第６テーブル３５０に属する其々の椅子４５０，４６０，４７０に対して、空席アイコンや属性情報を表示する。表示モジュール２８１は、椅子４５０に座っている客の属性情報７３０として、残り滞在予想時間を表示する。また、表示モジュール２８１は、椅子４６０が空席であることを、この椅子４６０に空席アイコン６２０を重畳させて表示する。また、表示モジュール２８１は、椅子４７０が空席であることを、この椅子４７０に空席アイコン６３０を重畳させて表示する。

表示モジュール２８１は、テーブルに属する椅子が全て空席である場合と、テーブルに属する一部の椅子が空席である場合とで、表示態様を変更する。すなわち、表示モジュール２８１は、全ての椅子が空いていた場合に、注目度を変更して表示する。

なお、表示モジュール２８１が表示するメッセージは、上述した構成に限らず他の表示態様であってもよい。例えば、表示モジュール２８１は、予約アイコンを表示し、入力受付モジュール２８０は、予約アイコンへの入力を受け付け、この施設へ電話を発呼する構成であってもよい。また、入力受付モジュール２８０が予約アイコンへの入力を受け付けたとき、ユーザ端末２００は、予約用のウェブサイトにアクセスし、予約に必要な内容をコンピュータ１０に送信する構成であってもよい。

また、表示モジュール２８１が表示する属性情報は、上述した構成に限らず、その他の構成であってもよい。例えば、属性情報として、残り滞在予想時間と、滞在時間と、客数とを表示する構成であってもよいし、上述した図１１で検出した属性情報を表示する構成であってもよいし、その他の情報等を表示する構成であってもよい。

また、図１４は、表示モジュール２８１が表示するメッセージの一例を示す図である。図１２と図１４との相違点は、図１２が、空席が存在する場合のメッセージの一例であるのに対して、図１４は、空席が存在しない場合のメッセージの一例である点である。なお、図１２と同様の構成については、同様の符号を付し、その詳細な説明は省略する。

図１４において、表示モジュール２８１は、図１２と同様に、施設名通知８００、施設説明通知８１０、空席状況通知８２０、施設周辺地図８３０、施設情報８４０、ＳＮＳ通知８５０、座席確認アイコン８６０を表示する。加えて、表示モジュール２８１は、他店舗用アイコン８７０を表示する。入力受付モジュール２８０は、他店舗用アイコン８７０の入力を受け付け、後述する他店舗紹介画面を表示する。

図１５は、表示モジュール２８１が表示する他店舗紹介画面の一例を示す図である。図１５において、表示モジュール２８１は、他店舗紹介画面として、紹介通知９００、施設名通知９１０、周辺地図９２０、施設情報９３０、ＳＮＳ通知９４０を表示する。表示モジュール２８１は、紹介通知９００として、他店舗を紹介する画面であることを示す通知を表示する。また、表示モジュール２８１は、施設名通知９１０として、自身の現在地の周辺にある同様の施設名を一又は複数表示する。表示モジュール２８１は、周辺地図９２０として、自身の現在地及び核施設の位置を表示する。また、表示モジュール２８１は、施設情報９３０として、各施設の住所、電話番号、営業時間等を表示する。また、表示モジュール２８１は、ＳＮＳ通知９４０として、各施設が利用する各種ＳＮＳメッセージの一部を其々表示する。

以上が、空席表示処理である。

なお、上述した登録処理、撮像処理、空席管理処理又は空席表示処理は、上述した各モジュールが各処理を実行する構成に限らず、コンピュータ１０、カメラ１００、ユーザ端末２００のいずれか又は複数の組み合わせにより、各処理を実行する構成であってもよい。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 空席管理システム、１０ コンピュータ、１００ カメラ、２００ ユーザ端末

Claims (7)

1. カメラで撮像した撮像画像を画像解析して空席を管理する空席管理システムであって、
   前記撮像画像を取得する撮像画像取得手段と、
   前記取得した撮像画像を画像解析する画像解析手段と、
   前記画像解析の解析結果に基づいて、テーブルに椅子が何脚あるかを検出する第１検出手段と、
   前記画像解析の解析結果に基づいて、前記椅子に人が座っているかどうかを検出する第２検出手段と、
   前記画像解析の解析結果に基づいて、前記椅子に座っている人の注文内容及び滞在時間を含む属性情報を検出する第３検出手段と、
   これまでの客の人数における滞在時間、注文内容における滞在時間、客の性別における滞在時間に関するデータを参照し、一のテーブルに対する人数の検出結果、前記注文内容及び前記滞在時間の検出結果、前記椅子に座っている人の性別の検出結果から、客の残り滞在時間を推測する推測手段と、
   前記検出した椅子の数と、前記検出した人の有無とに基づいて、空席情報を、既に着席している客の前記残り滞在時間の情報とともに表示する空席情報表示手段と、
   を備えることを特徴とする空席管理システム。
2. 前記空席情報表示手段は、前記検出した全ての椅子が空いていた場合に、注目度を変更して表示する、
   ことを特徴とする請求項１に記載の空席管理システム。
3. 前記空席情報表示手段は、前記テーブルに何名の空きがあるかを表示する、
   ことを特徴とする請求項１に記載の空席管理システム。
4. 前記検出した属性情報を表示する属性情報表示手段と、
   を備えることを特徴とする請求項１に記載の空席管理システム。
5. ユーザ端末を登録するユーザ端末登録手段と、
   前記登録したユーザ端末に、前記空席情報を通知する通知手段と、
   を備えることを特徴とする請求項１に記載の空席管理システム。
6. カメラで撮像した撮像画像を画像解析して空席を管理する空席管理方法であって、
   前記撮像画像を取得するステップと、
   前記取得した撮像画像を画像解析するステップと、
   前記画像解析の解析結果に基づいて、テーブルに椅子が何脚あるかを検出するステップと、
   前記画像解析の解析結果に基づいて、前記椅子に人が座っているかどうかを検出するステップと、
   前記画像解析の解析結果に基づいて、前記椅子に座っている人の注文内容及び滞在時間を含む属性情報を検出するステップと、
   これまでの客の人数における滞在時間、注文内容における滞在時間、客の性別における滞在時間に関するデータを参照し、一のテーブルに対する人数の検出結果、前記注文内容及び前記滞在時間の検出結果、前記椅子に座っている人の性別の検出結果から、客の残り滞在時間を推測するステップと、
   前記検出した椅子の数と、前記検出した人の有無とに基づいて、空席情報を、既に着席している客の前記残り滞在時間の情報とともに表示するステップと、
   を備えることを特徴とする空席管理方法。
7. カメラで撮像した撮像画像を画像解析して空席を管理する空席管理システムに、
   前記撮像画像を取得するステップ、
   前記取得した撮像画像を画像解析するステップ、
   前記画像解析の解析結果に基づいて、テーブルに椅子が何脚あるかを検出するステップ、
   前記画像解析の解析結果に基づいて、前記椅子に人が座っているかどうかを検出するステップ、
   前記画像解析の解析結果に基づいて、前記椅子に座っている人の注文内容及び滞在時間を含む属性情報を検出するステップ、
   これまでの客の人数における滞在時間、注文内容における滞在時間、客の性別における滞在時間に関するデータを参照し、一のテーブルに対する人数の検出結果、前記注文内容及び前記滞在時間の検出結果、前記椅子に座っている人の性別の検出結果から、客の残り滞在時間を推測するステップ、
   前記検出した椅子の数と、前記検出した人の有無とに基づいて、空席情報を、既に着席している客の前記残り滞在時間の情報とともに表示するステップ、
   を実行させるためのプログラム。