JP7773243B2 - 提供可否判定システム、提供可否判定方法、及び提供可否判定プログラム - Google Patents

Description

本発明は、提供可否判定システム、提供可否判定方法、及び提供可否判定プログラムに関する。

従来、誤った対象者への食事の提供（いわゆる誤配膳）を防止する技術が知られていた。

例えば、特許文献１に記載されている誤認防止システムは、画像を用いて誤認を防止するシステムである。当該システムは、患者情報が記録されている患者情報記録部と、画像情報を得る画像取得部と、患者情報と画像情報との比較を行う比較部を備える。当該システムにおける比較部は、患者情報により得られた行われるべき処置、あるいは供給すべき物と画像情報とを比較し、一致及び／又は不一致を表示する。

特開２０２３－４７４５９号公報

ところで、対象者に提供されるべき食事は、アレルギー食材の考慮のみならず、メニューの提供形態（例えば、一口大、刻み、極刻み、ミキサー、ムース等）の考慮が重要である場合がある。しかしながら、特許文献１に記載されている誤認防止システムは、患者のアレルギーを考慮して、誤配膳を防止することができるにとどまり、メニューの提供形態については考慮されていない。

そこで、本発明は、メニューの提供形態を考慮して、食事の提供可否を判定することを目的とする。

本発明の一態様に係る提供可否判定システムは、対象者に提供される提供食事の食事画像、及び提供食事とともに対象者に提供され、対象者及び提供食事の提供形態の条件の少なくともいずれかを識別する識別情報が記載される食札の食札画像を取得する画像取得部と、事前に設定される、識別情報と、提供形態の条件に関する食事条件情報と、の条件対応関係に基づいて、食札に対応する食事条件情報を特定する食事条件特定部と、学習用メニューの学習用画像と、学習用メニューに関する学習用メニュー情報と、の複数の組み合わせに基づいて学習されるメニュー対応関係に基づいて、食事画像が示す提供食事に含まれるメニューに関するメニュー情報を特定するメニュー特定部と、複数の提供形態のそれぞれと、複数の提供形態のそれぞれで学習用メニューが調理された学習用画像と、の複数の組み合わせに基づいて学習される形態対応関係に基づいて、特定されたメニューそれぞれの提供形態に関する形態情報を特定する内容特定部と、特定された食事条件情報及び形態情報に基づいて、食事画像が示す提供食事の提供可否を判定する提供可否判定部と、を備える。

本発明によれば、メニューの提供形態を考慮して、食事の提供可否を判定することができる。

本発明の一実施形態である提供可否判定システム１００における処理の概要を示す図である。 本発明の一実施形態である提供可否判定システム１００の構成を示す図である。 食事画像の例を示す図である。 食札の例を示す図である。 記憶部１１０に記憶される対象者情報の例を示す図である。 メニュー対応関係の概要を示す図である。 形態対応関係の概要を示す図である。 食材対応関係の概要を示す図である。 提供可否判定システム１００における処理の例を示すフローチャートである。 提供可否判定システム１００における処理の例を示すフローチャートである。

添付図面を参照して、本発明の好適な実施形態について説明する。図１は、本発明の一実施形態である提供可否判定システム１００における処理の概要を示す図である。

提供可否判定システム１００は、提供可否判定プログラムによって実現される情報処理システムである。提供可否判定システム１００は、対象者に提供される提供食事の食事画像、並びに、提供食事とともに対象者に提供され、対象者及び提供食事の提供形態の条件の少なくともいずれかを識別する識別情報が記載される食札の食札画像に基づいて、提供食事の提供可否を判定する。

まず、提供可否判定システム１００は、対象者に提供される提供食事の食事画像及び食札画像を取得する。提供可否判定システム１００は、食札画像に基づいて、対象者の食事条件を特定する（Ｓ１０１）。

続いて、提供可否判定システム１００は、食事画像に基づいて、提供食事に含まれるメニューを特定する（Ｓ１０２）。提供可否判定システム１００は、食事画像に基づいて、特定されたメニューの提供形態（例えば、一口大、刻み、極刻み、ミキサー、ムース等）を特定する（Ｓ１０３）。

そして、提供可否判定システム１００は、特定された食事条件及び提供食事の形態に基づいて、対象者への提供食事の提供可否を判定する（Ｓ１０４）。

提供可否判定システム１００は、例えば、対象者が利用する施設において、対象者に食事を提供する際に、提供可否判定処理を実行することができる。ここで、対象者が利用する施設は、例えば、医療施設、介護施設、宿泊施設等であってもよい。

図２は、本発明の一実施形態である提供可否判定システム１００の構成を示す図である。提供可否判定システム１００は、メニュー管理装置２００、対象者情報管理装置３００、第１カメラ４００、第２カメラ５００とインターネット等のネットワークを介して通信可能に接続される。提供可否判定システム１００の詳細については、後述する。

メニュー管理装置２００は、対象者に提供される提供食事のメニューに関するメニュー情報を管理する情報処理装置である。

メニュー管理装置２００は、例えば、対象者に提供され得る予定の予定メニュー（例えば、当日若しくは今後一週間に提供される予定のメニュー）の予定メニュー情報を管理することができる。

また、メニュー管理装置２００は、例えば、過去に提供された食事のメニュー情報を管理することができる。

また、メニュー管理装置２００は、後述する学習部１２５による学習処理に用いる学習用メニュー情報を管理することができる。学習用メニュー情報は、過去に提供された食事のメニュー情報であってもよく、学習用に生成された、提供された実績のないメニュー情報であってもよい。

本実施形態において、「メニュー」との用語は、例えば、一度の食事（いわば、献立）において提供される少なくとも１つの料理（特に例えば、複数の料理）のそれぞれを指すものとして用いる。すなわち、「メニュー」は、例えば、「肉じゃが」、「八宝菜」を含む。なお、「メニュー」は、複数の料理を含む、いわば「献立」であってもよく、この場合、適宜、「メニュー」を「献立」と読み替えてもよい。この場合、提供可否判定システム１００は、献立に含まれる料理（例えば、「肉じゃが」、「八宝菜」）ごとに、本実施形態に記載の処理を実行することができる。

対象者情報管理装置３００は、対象者に関する対象者情報を管理する情報処理装置である。対象者情報の詳細については、後述する。

対象者情報管理装置３００は、例えば、対象者が利用する施設の管理者の操作に応じて、対象者情報の登録を受け付けることができる。このとき、当該施設の管理者は、例えば、問診票若しくはカルテ等に記載されている情報に基づいて、対象者情報を登録してもよい。

第１カメラ４００は、食事画像及び食札画像を撮影する撮影装置である。

第１カメラ４００は、例えば、複数の対象者が提供食事の提供を受ける所定の空間（例えば、食堂）に設置される。第１カメラ４００は、例えば、当該所定の空間において、食事を対象者に運ぶ配膳者に提供食事を提供する窓口に設置され、配膳者に提供食事が提供される際に、食事画像及び食札画像を撮影してもよい。

また、第１カメラ４００は、例えば、対象者が利用する部屋（例えば、個室や相部屋）に設置されるカメラであってもよい。この場合、第１カメラ４００は、例えば、当該部屋において、対象者に提供食事が提供される際に、食事画像及び食札画像を撮影してもよい。

第２カメラ５００は、食札画像及び対象者の顔の画像を撮影する撮影装置である。

第２カメラ５００は、例えば、複数の対象者が提供食事の提供を受ける所定の空間（例えば、食堂）に設置され、複数の対象者のそれぞれに対する提供食事の提供を検知して、食札画像及び対象者の顔の画像を撮影することができる。第２カメラ５００は、例えば、提供食事を載せた盆が対象者に渡されたこと、又は、対象者若しくは対象者を補助する者（例えば、看護師、介護士等）が手を挙げたこと、を検知して、提供食事の提供を検知してもよい。このとき、第２カメラ５００は、提供食事の提供の検知に応じて、当該提供にズームして、食札画像及び対象者の顔の画像を撮影してもよい。

第１カメラ４００及び第２カメラ５００は、同一のカメラであってもよく、異なるカメラであってもよい。また、第１カメラ４００及び第２カメラ５００は、提供可否判定システム１００における処理に専用のカメラであってもよく、汎用のカメラ（例えば、監視用若しくは防犯用の用途をも備えるカメラ）であってもよい。

第１カメラ４００及び第２カメラ５００は、例えば、所定の施設の職員が利用する情報処理装置（例えば、携帯型の情報処理装置）に備わるカメラであってもよい。

図２において、メニュー管理装置２００、対象者情報管理装置３００、第１カメラ４００、第２カメラ５００は、それぞれ１つずつ示されているが、それぞれ複数のメニュー管理装置２００、対象者情報管理装置３００、第１カメラ４００、第２カメラ５００であってもよい。

続いて、提供可否判定システム１００の詳細について説明する。提供可否判定システム１００は、記憶部１１０、画像取得部１１５、対象者情報取得部１２０、学習部１２５、食事条件特定部１３０、メニュー特定部１３５、内容特定部１４０、認証部１４５、提供可否判定部１５０、通知部１５５を備える。図２に示す各部は、例えば、記憶領域を用いたり、記憶領域に格納されたプログラムをプロセッサが実行したりすることにより実現することができる。

記憶部１１０は、提供可否判定システム１００において処理される情報を記憶する。記憶部１１０は、例えば、後述する、食事画像、食札画像、対象者情報、特定された食事条件情報、特定されたメニュー情報、特定された形態情報、特定された食材情報、認証結果情報、判定結果情報を記憶することができる。

画像取得部１１５は、対象者に提供される提供食事の食事画像、並びに、提供食事とともに対象者に提供され、対象者及び提供食事の提供形態の条件の少なくともいずれかを識別する識別情報が記載される食札の食札画像を取得し、取得した食事画像及び食札画像を記憶部１１０に格納する。画像取得部１１５は、取得した食事画像及び食札画像を対応付けて記憶部１１０に格納してもよい。

ここで、食札は、例えば、提供食事を提供する際の盆の上に置かれる札である。なお、食札の材質や形状は問わない。

従来、食札には、例えば、対象者を識別する情報（例えば、対象者の氏名）及び当該対象者の食事条件が記載されている場合がある。この場合、対象者に食事を提供する提供者は、例えば、食札に記載されている氏名と、対象者の顔とを識別し、対象者のために作られた提供食事であるかを確認した上で、提供食事を対象者に提供する。このとき、提供者は、食札に記載されている食事条件を参照し、提供時に、提供食事を確認し、当該食事条件を満たしているか（すなわち、例えば、対象者に与えてはいけない食材が含まれていないか、あるいは、対象者に適した提供形態になっているか等）を確認した上で、提供食事を提供する。

本実施形態では、食札には、対象者及び提供食事の提供形態の条件の少なくともいずれかを識別する識別情報が記載されていればよい。識別情報は、テキストであってもよく、また、所定コード（例えば、バーコードや二次元コード）や画像であってもよい。

また、画像取得部１１５は、後述する学習部１２５の学習処理に用いられる、学習用メニューの学習用画像を取得することができる。

図３は、食事画像の例を示す図である。食事画像は、複数のメニュー（例えば、メニュー３０１）を含む。

図４は、食札の例を示す図である。食札は、例えば、対象者を識別する識別情報が記載される領域４０１、提供食事の提供形態の条件を識別する識別情報が記載される領域４０２を含む。図４に示す例では、領域４０１及び領域４０２において、テキストを用いて、それぞれの情報が記載されているが、食札には、テキストの代わりに、所定の装置で読み取り可能な情報（例えば、二次元コード）が記載されてもよい。

対象者情報取得部１２０は、対象者に関する対象者情報を取得し、記憶部１１０に格納する。

対象者情報取得部１２０は、例えば、対象者情報管理装置３００から、対象者情報を取得することができる。

対象者情報取得部１２０は、例えば、食札画像に記載されている識別情報に基づいて、食札に対応する対象者の対象者情報を取得することができる。具体的には、識別情報が、対象者を識別する情報である場合、対象者情報取得部１２０は、例えば対象者情報管理装置３００にアクセスし、当該識別情報が示す対象者に対応する対象者情報を取得する。また、識別情報が、食事条件を識別する情報である場合、対象者情報取得部１２０は、当該識別情報に記載の食事条件情報を対象者情報として取得する。

対象者情報は、例えば、対象者を識別する識別情報（例えば、ＩＤ、氏名等）、対象者の食事条件に関する食事条件情報を含む。

図５は、記憶部１１０に記憶される対象者情報の例を示す図である。記憶部１１０に記憶される対象者情報は、例えば、対象者ＩＤ、食事条件情報を含む。食事条件情報は、例えば、対象者のアレルギーに関するアレルギー情報、対象者に提供する際の食事の提供形態の条件に関する形態情報を含む。

形態情報は、例えば、「一口大」、「刻み」、「極刻み」、「ミキサー」、若しくは「ムース」であってもよい。なお、形態の分類の個数及び名称は、これに限られない。

学習部１２５は、提供可否判定システム１００の処理において用いられる対応関係を学習し、学習した対応関係を記憶部１１０に格納する。学習部１２５は、例えば、メニュー対応関係、形態対応関係、食材対応関係を学習することができる。

メニュー対応関係は、例えば、学習用メニューの学習用画像と、学習用メニューに関する学習用メニュー情報と、の複数の組み合わせに基づいて学習される対応関係である。すなわち、後述するメニュー特定部１３５は、メニュー対応関係に、所定のメニューの画像を入力することにより、当該画像に含まれるメニュー情報（例えば、メニュー名）を特定することができる。

図６Ａは、メニュー対応関係の概要を示す図である。メニュー対応関係は、例えば、食事画像の入力を受け付け（Ｓ６０１）、当該画像に含まれるメニュー情報を特定する（Ｓ６０２）。

形態対応関係は、例えば、複数の提供形態のそれぞれと、複数の提供形態のそれぞれで学習用メニューが調理された学習用画像と、の複数の組み合わせに基づいて学習される対応関係である。すなわち、後述する内容特定部１４０は、形態対応関係に、メニューの画像を入力することにより、当該画像に含まれるメニューの提供形態（例えば、一口大、刻み、極刻み、ミキサー、ムース等）を特定することができる。

形態対応関係は、例えば、メニュー（例えば、料理）ごとに、複数の提供形態の形状を学習した対応関係である。形態対応関係は、メニュー情報（例えば、メニューの名称）にさらに基づいて学習されてもよい。

図６Ｂは、形態対応関係の概要を示す図である。形態対応関係は、例えば、所定のメニューの画像を含む食事画像の入力を受け付け（Ｓ６０３）、当該画像に含まれるメニューの提供形態を特定する（Ｓ６０４）。

食材対応関係は、例えば、学習用画像と、学習用メニュー情報と、学習用メニューに含まれる学習用食材に関する学習用食材情報と、の複数の組み合わせに基づいて学習される対応関係である。すなわち、後述する内容特定部１４０は、食材対応関係に、所定のメニューの画像及びメニュー情報（例えば、メニュー名）を入力することにより、当該メニューに含まれる食材を特定することができる。

図６Ｃは、食材対応関係の概要を示す図である。食材対応関係は、例えば、所定のメニューの画像を含む食事画像の入力を受け付け（Ｓ６０５）、当該メニューに含まれる食材を特定する（Ｓ６０６）。

学習部１２５は、例えば、機械学習により、メニュー対応関係、形態対応関係、及び食材対応関係を学習することができる。なお、学習部１２５による学習のアルゴリズムは、これに限られない。

食事条件特定部１３０は、事前に設定される、識別情報と、提供形態の条件に関する食事条件情報と、の条件対応関係に基づいて、食札に対応する食事条件情報を特定し、特定された食事条件情報を記憶部１１０に格納する。

ここで、条件対応関係は、例えば、対象者ＩＤ及び食事条件情報を含む対象者情報であってもよい。この場合、食事条件特定部１３０は、対象者情報に基づいて、食札に対応する食事条件情報を特定することができる。

なお、食札に、食事条件を識別する識別情報が記載されている場合、食事条件特定部１３０は、当該識別情報に基づいて、当該識別情報が示す食事条件情報を、食札に対応する食事条件情報として特定してもよい。

メニュー特定部１３５は、メニュー対応関係に基づいて、食事画像が示す提供食事に含まれるメニューに関するメニュー情報を特定し、特定されたメニュー情報を記憶部１１０に格納する。

また、メニュー特定部１３５は、事前に設定される、対象者に提供され得る予定メニューに関する予定メニュー情報にさらに基づいて、メニュー情報を特定することができる。予定メニュー情報は、例えば、メニュー管理装置２００において管理される情報であってもよい。これにより、提供食事に含まれ得るメニューの候補が、予定メニューの範囲で限定されることから、提供可否判定システム１００は、メニュー特定処理を簡易かつ高精度にすることができる。

内容特定部１４０は、形態対応関係に基づいて、特定されたメニューそれぞれの提供形態に関する形態情報を特定し、特定された形態情報を記憶部１１０に格納する。

また、内容特定部１４０は、メニュー情報に基づいて、食事画像が示す提供食事に含まれる食材に関する食材情報をさらに特定し、特定された食材情報を記憶部１１０に格納することができる。

また、内容特定部１４０は、食材対応関係にさらに基づいて、食材情報を特定することができる。

特定される食材情報は、例えば、「人参」、「玉ねぎ」、「ピーナッツ」等であってもよい。特定される食材情報は、メニューに用いられた食材に関する食材情報であってもよく、また、メニューに用いられた食材のうちのアレルギー食材に関する食材情報のみであってもよい。

また、内容特定部１４０は、事前に設定される、予定メニュー情報と、予定メニューに含まれ得る予定食材の予定食材情報と、の予定食材対応関係にさらに基づいて、食材情報を特定することができる。これにより、メニューに含まれ得る食材の候補が、予定食材の範囲で限定されることから、提供可否判定システム１００は、食材特定処理を簡易かつ高精度にすることができる。

認証部１４５は、食札に記載される対象者を識別する情報と、提供食事の提供に際して取得される対象者に関する情報とに基づいて、提供食事を提供する対象者を認証し、認証結果に関する認証結果情報を記憶部１１０に格納する。認証部１４５は、例えば、食札に記載される識別情報が、対象者を識別する情報を含む場合に、認証処理を行うことができる。

認証部１４５は、例えば、食札に記載される対象者を識別する情報と、提供食事の提供に際して取得される対象者の顔の画像と、に基づいて、認証し、認証の結果に関する認証結果情報を記憶部１１０に格納することができる。

また、認証部１４５は、例えば、第２カメラ５００によって撮影された食札画像に含まれる対象者を識別する情報と、第２カメラ５００によって撮影された対象者の顔の画像とに基づいて、提供食事を提供する対象者を認証してもよい。

ここで、第２カメラ５００は、例えば、複数の対象者が提供食事の提供を受ける所定の空間（例えば、食堂）に設置され、複数の対象者のそれぞれに対する提供食事の提供を検知して、食札画像及び対象者の顔の画像を撮影する。すなわち、認証部１４５は、例えば、提供食事の提供を検知して撮影される、食札画像及び対象者の顔の画像に基づいて、提供食事の提供を受ける対象者を認証することができる。これにより、提供可否判定システム１００は、複数の対象者が提供食事の提供を受ける所定の空間においても、正しい対象者に、正しい提供食事が提供されるように担保することができる。

提供可否判定部１５０は、特定された食事条件情報及び形態情報に基づいて、食事画像が示す提供食事の提供可否を判定し、判定結果に関する判定結果情報を記憶部１１０に格納する。

提供可否判定部１５０は、例えば、特定された形態情報が示す形態（すなわち、提供食事に含まれるメニューの提供形態）が、特定された食事条件情報が示す食事条件（すなわち、対象者の食事条件）を満たす場合に、提供食事の提供を可と判定することができる。これにより、提供可否判定システム１００は、提供食事に含まれるメニューの提供形態を考慮して、提供可否を判定することができる。

また、提供可否判定部１５０は、食材情報にさらに基づいて、提供可否を判定することができる。すなわち、提供可否判定部１５０は、例えば、食材情報が示す食材（すなわち、提供食事に含まれる食材）が、特定された食事条件情報が示す食事条件（すなわち、対象者の食事条件）を満たす場合に、提供食事の提供を可と判定することができる。これにより、提供可否判定システム１００は、提供食事に含まれる食材をさらに考慮して、提供可否を判定することができる。

また、提供可否判定部１５０は、認証の結果（例えば認証結果情報）にさらに基づいて、提供可否を判定することができる。すなわち、提供可否判定部１５０は、例えば、認証結果にさらに基づいて、食札が示す対象者と、提供食事の提供先の者とが認証部１４５による認証処理を通じて一致していると判断される場合に、提供食事の提供を可と判定することができる。これにより、提供可否判定システム１００は、提供食事に含まれる食材を考慮して、提供可否を判定することができる。

提供可否判定部１５０は、第１の提供可否判定処理及び第２の提供可否判定処理を行ってもよい。第１の提供可否判定処理において、提供可否判定部１５０は、例えば、特定された食事条件情報及び形態情報に基づいて、若しくは、食材情報にさらに基づいて、食事画像が示す提供食事の提供可否を判定してもよい。第２に提供可否判定処理において、提供可否判定部１５０は、認証の結果に基づいて、提供可否を判定してもよい。これにより、提供可否判定部１５０は、提供可否判定処理を二段階で行うことができる。これにより、例えば、提供食事が提供される窓口と対象者が提供食事を受け取る場所が別々である場合（例えば、食堂の場合）であっても、適切な提供食事を対象者に提供することができる。

なお、提供可否判定部１５０による判定の結果は、「可」「不可」に限られず、例えば、提供食事を提供する提供者の注意を喚起するための「要確認」であってもよい。

通知部１５５は、判定の結果（例えば、判定結果情報）に基づいて、外部の情報処理装置に対して、警告情報を通知する。通知部１５５は、例えば、対象者が利用する施設の職員が利用する装置（例えば、携帯型の情報処理装置）に、警告情報を通知することができる。

通知部１５５は、例えば、判定の結果に基づいて、提供食事の提供が可と判定された場合に、可との判定結果を、通知することができる。また、通知部１５５は、例えば、判定の結果に基づいて、提供食事の提供が不可と判定された場合に、不可との判定結果を、通知することができる。

なお、通知部１５５は、例えば、可若しくは不可の一方の場合にのみ通知し、他方の場合には通知しなくてもよい。すなわち、具体的には、通知部１５５は、提供食事の提供が不可と判定された場合にのみ、不可との判定結果を、通知することができる。これにより、通知を受ける者（例えば、職員）に対する注意喚起を効果的に行うことができる。

図７は、提供可否判定システム１００における処理の例を示すフローチャートである。図７に示すフローチャートは、提供可否判定システム１００における対応関係の学習処理に関するフローチャートである。

まず、提供可否判定システム１００（例えば、学習用情報取得部）が、学習用の情報（例えば、学習用画像、学習用メニュー情報等）を取得する（Ｓ７０１）。このとき、画像取得部１１５が、学習用メニューの学習用画像を取得してもよい。続いて、学習部１２５が、学習用の情報に基づいて、メニュー対応関係、形態対応関係、及び食材対応関係を学習する（Ｓ７０２）。

図８は、提供可否判定システム１００における処理の例を示すフローチャートである。図８に示すフローチャートは、提供可否判定システム１００における提供可否判定処理に関するフローチャートである。

まず、画像取得部１１５が、食事画像及び食札画像を取得する（Ｓ８０１）。対象者情報取得部１２０が、対象者情報を取得する（Ｓ８０２）。

食事条件特定部１３０が、条件対応関係に基づいて、食札に対応する食事条件を特定する（Ｓ８０３）。メニュー特定部１３５が、メニュー対応関係に基づいて、食事画像が示す提供食事に含まれるメニューに関するメニュー情報を特定し、内容特定部１４０が、特定されたメニューそれぞれの提供形態に関する形態情報を特定する（Ｓ８０４）。このとき、内容特定部１４０は、食材対応関係にさらに基づいて、メニュー情報に対応する食材情報を特定してもよい。

認証部１４５が、提供食事を提供する対象者を認証する（Ｓ８０５）。提供可否判定部１５０が、提供可否を判定する（Ｓ８０６）。通知部１５５が、判定の結果を通知する（Ｓ８０７）。

なお、図８に示すフローチャートにおける処理の順番は適宜変更することができる。例えば、食事条件特定部１３０による処理は、提供可否判定部１５０による処理に前に実行されていればよく、メニュー特定部１３５及び内容特定部１４０による処理の後に実行されてもよい。

提供可否判定システム１００は、例えば、対象者が利用する施設における、対象者の部屋（例えば、対象者のベッドが設置されている部屋）にて、当該施設の職員が、対象者に対して提供食事を提供する際に用いることができる。なお、ここで、対象者の部屋は、例えば、対象者の個室であってもよく、相部屋であってもよい。

この場合、例えば、職員が、対象者の部屋に提供食事を運ぶ。職員は、当該職員が利用する装置（例えば、携帯型の情報処理装置）を用いて、提供食事及び食札を撮影して提供可否判定システム１００に提供し、画像取得部１１５が、食事画像及び食札画像を取得する。続いて、図８に示す処理と同様の処理により、提供可否が判定され、通知部１５５が、判定の結果を、職員（例えば、職員が利用する装置）に通知する。また、このとき、職員が、当該職員が利用する装置を用いて対象者の顔を撮影し、認証部１４５が、当該撮影された画像に基づいて、認証処理を行ってもよい。

また、提供可否判定システム１００は、例えば、対象者が利用する施設における、複数の対象者が提供食事の提供を受ける所定の空間（例えば、食堂）にて、当該施設の職員が、対象者に対して提供食事を提供する際に用いることができる。

食堂を例に説明する。食堂は、例えば、対象者に食事を運ぶ配膳者が食事を受け取る窓口と、複数の対象者が食事を行う食事スペースを備える。例えば、窓口において、窓口職員が配膳者に提供食事を提供する際、窓口に設置される第１カメラ４００が、食事画像及び食札画像を撮影して提供可否判定システム１００に提供し、画像取得部１１５が、食事画像及び食札画像を取得する。続いて、図８に示す処理と同様の処理により、提供可否が判定され、通知部１５５が、判定の結果を、窓口職員若しくは配膳者（例えば、窓口職員若しくは配膳者が利用する装置）に通知する。配膳者は、判定の結果に応じて提供食事を受け取り、対象者に運ぶ。

配膳者は、対象者に提供食事を提供し、所定の動作（例えば、手を挙げる）を行う。第２カメラ５００が、当該所定の動作を提供食事の提供として検知して、食札画像及び対象者の顔の画像を取得し、認証部１４５が認証する。そして、提供可否判定部１５０が、認証処理の結果に基づいてさらに提供可否を判定し、通知部１５５が通知する。配膳者は、判定の結果に応じて、対象者が提供食事を食べることを許可する。

このように、提供可否判定システム１００は、提供食事の提供形態を学習し、提供形態に基づいて、提供可否を判定することができる。これにより、提供可否判定システム１００は、対象者に適した提供食事を提供することができる。

また、提供可否判定システム１００は、提供食事の提供形態及び食札に記載される食事条件に基づく提供可否判定と、認証部１４５による認証処理の結果（すなわち、提供食事が提供される対象者に関する情報（例えば、顔の画像）及び食札に記載される識別情報）に基づく提供可否判定と、を二段階で行うことができる。これにより、例えば、提供食事が提供される窓口と対象者が提供食事を受け取る場所が別々である場合（例えば、食堂の場合）であっても、適切な提供食事を対象者に提供することができる。

以上、本発明の一実施形態について説明した。提供可否判定システム１００は、食事画像及び食札画像を取得し、条件対応関係に基づいて、食札に対応する食事条件情報を特定し、メニュー対応関係に基づいて、提供食事に含まれるメニューに関するメニュー情報を特定し、形態対応関係に基づいて、特定されたメニューそれぞれの提供形態に関する形態情報を特定し、特定された食事条件情報及び形態情報に基づいて、食事画像が示す提供食事の提供可否を判定することができる。これにより、提供可否判定システム１００は、メニューの提供形態を考慮して、食事の提供可否を判定することができる。

また、提供可否判定システム１００は、判定の結果に基づいて、外部の情報処理装置に対して、警告情報を通知することができる。これにより、提供可否判定システム１００は、判定の結果を、例えば、対象者が利用する施設の職員に通知することができる。

また、提供可否判定システム１００は、メニュー情報に基づいて、提供食事に含まれる食材に関する食材情報をさらに特定し、食材情報にさらに基づいて、提供可否を判定することができる。また、提供可否判定システム１００は、食材対応関係に基づいて、食材情報を特定することができる。これにより、提供可否判定システム１００は、提供食事に含まれる食材、例えば、アレルギー食材の有無を考慮して、食事の提供可否を判定することができる。

また、提供可否判定システム１００は、予定メニュー情報にさらに基づいて、メニュー情報を特定することができる。これにより、提供可否判定システム１００は、予定メニューの範囲内で、簡易かつ高精度に、メニューを特定することができる。

また、提供可否判定システム１００は、予定食材対応関係にさらに基づいて、食材情報を特定することができる。これにより、提供可否判定システム１００は、予定食材の範囲内で、簡易かつ高精度に、食材を特定することができる。

また、提供可否判定システム１００は、食札に記載される対象者を識別する情報と、提供食事の提供に際して取得される対象者に関する情報とに基づいて、提供食事を提供する対象者を認証し、認証の結果にさらに基づいて、提供可否を判定することができる。これにより、提供可否判定システム１００は、提供する対象者を認証して提供食事を提供することができ、誤配膳を防止することができる。

また、提供可否判定システム１００は、対象者の顔の画像に基づいて、認証することができる。

また、提供可否判定システム１００は、複数の対象者が提供食事の提供を受ける所定の空間に設置されたカメラが、複数の対象者のそれぞれに対する提供食事の提供を検知して、撮影した食札画像及び対象者の顔の画像に基づいて、提供可否を判定することができる。これにより、提供可否判定システム１００は、例えば食堂において、複数の対象者のそれぞれが提供食事の提供を受ける場合であっても、誤配膳を防止することができる。

なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。

また、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」又は装置が有する機能が２つ以上の物理的手段、装置、又はソフトウェアにより実現されても、２つ以上の「部」又は装置の機能が１つの物理的手段、装置、又はソフトウェアにより実現されてもよい。

１００ 提供可否判定システム、１１０ 記憶部、１１５ 画像取得部、１２０ 対象者情報取得部、１２５ 学習部、１３０ 食事条件特定部、１３５ メニュー特定部、１４０ 内容特定部、１４５ 認証部、１５０ 提供可否判定部、１５５ 通知部、２００ メニュー管理装置、３００ 対象者情報管理装置、４００ 第１カメラ、５００ 第２カメラ

Claims (12)

1. 対象者に提供される提供食事の食事画像、並びに、前記提供食事とともに前記対象者に提供され、前記対象者及び前記提供食事の提供形態の条件の少なくともいずれかを識別する識別情報が記載される食札の食札画像を取得する画像取得部と、
   事前に設定される、前記識別情報と、前記提供形態の条件に関する食事条件情報と、の条件対応関係に基づいて、前記食札に対応する前記食事条件情報を特定する食事条件特定部と、
   学習用メニューの学習用画像と、前記学習用メニューに関する学習用メニュー情報と、の複数の組み合わせに基づいて学習されるメニュー対応関係及び、事前に設定される前記対象者に提供され得る予定メニューに関する予定メニュー情報に基づいて、前記食事画像が示す前記提供食事に含まれるメニューに関するメニュー情報を特定するメニュー特定部と、
   複数の提供形態のそれぞれと、前記複数の提供形態のそれぞれで学習用メニューが調理された学習用画像と、の複数の組み合わせに基づいて学習される形態対応関係に基づいて、前記特定されたメニューそれぞれの提供形態に関する形態情報を特定する内容特定部と、
   前記特定された食事条件情報及び前記形態情報に基づいて、前記食事画像が示す提供食事の提供可否を判定する提供可否判定部と、
   を備える提供可否判定システム。
2. 前記判定の結果に基づいて、外部の情報処理装置に対して、警告情報を通知する通知部、をさらに備える、請求項１に記載の提供可否判定システム。
3. 前記内容特定部は、前記メニュー情報に基づいて、前記食事画像が示す前記提供食事に含まれる食材に関する食材情報をさらに特定し、
   前記提供可否判定部は、前記食材情報にさらに基づいて、前記提供可否を判定する、
   請求項１又は２に記載の提供可否判定システム。
4. 前記内容特定部は、前記学習用画像と、前記学習用メニュー情報と、前記学習用メニューに含まれる学習用食材に関する学習用食材情報と、の複数の組み合わせに基づいて学習される食材対応関係にさらに基づいて、前記メニュー情報に対応する前記食材情報を特定する、請求項３に記載の提供可否判定システム。
5. 前記内容特定部は、事前に設定される、前記予定メニュー情報と、前記予定メニューに含まれ得る予定食材の予定食材情報と、の予定食材対応関係にさらに基づいて、前記食材情報を特定する、
   請求項４に記載の提供可否判定システム。
6. 前記識別情報は、前記対象者を識別する情報を含み、
   前記提供可否判定システムは、前記食札に記載される前記対象者を識別する情報と、前記提供食事の提供に際して取得される前記対象者に関する情報とに基づいて、前記提供食事を提供する前記対象者を認証する認証部、をさらに備え、
   前記提供可否判定部は、前記認証の結果にさらに基づいて、前記提供可否を判定する、
   請求項１又は２に記載の提供可否判定システム。
7. 前記対象者に関する情報は、前記対象者の顔の画像である、請求項６に記載の提供可否判定システム。
8. 前記食事画像及び前記食札画像を撮影する第１カメラ、をさらに備え、
   前記画像取得部は、前記第１カメラによって撮影される前記食事画像及び前記食札画像を取得する、
   請求項１又は２に記載の提供可否判定システム。
9. 前記識別情報は、前記対象者を識別する情報を含み、
   前記提供可否判定システムは、
   前記食札画像及び前記対象者の顔の画像を取得する第２カメラと、
   前記第２カメラによって撮影された前記食札画像に含まれる前記対象者を識別する情報と、前記第２カメラによって撮影された前記対象者の顔の画像とに基づいて、前記提供食事を提供する前記対象者を認証する認証部と、
   をさらに備え、
   前記提供可否判定部は、前記認証の結果にさらに基づいて、前記提供可否を判定する、
   請求項８に記載の提供可否判定システム。
10. 前記第２カメラは、複数の対象者が前記提供食事の提供を受ける所定の空間に設置され、前記複数の対象者のそれぞれに対する提供食事の提供を検知して、前記食札画像及び前記対象者の顔の画像を撮影する、請求項９に記載の提供可否判定システム。
11. コンピュータが、
    対象者に提供される提供食事の食事画像、並びに、前記提供食事とともに前記対象者に提供され、前記対象者及び前記提供食事の提供形態の条件の少なくともいずれかを識別する識別情報が記載される食札の食札画像を取得し、
    事前に設定される、前記識別情報と、前記提供形態の条件に関する食事条件情報と、の条件対応関係に基づいて、前記食札に対応する前記食事条件情報を特定し、
    学習用メニューの学習用画像と、前記学習用メニューに関する学習用メニュー情報と、の複数の組み合わせに基づいて学習されるメニュー対応関係及び、事前に設定される前記対象者に提供され得る予定メニューに関する予定メニュー情報に基づいて、前記食事画像が示す前記提供食事に含まれるメニューに関するメニュー情報を特定し、
    複数の提供形態のそれぞれと、前記複数の提供形態のそれぞれで学習用メニューが調理された学習用画像と、の複数の組み合わせに基づいて学習される形態対応関係に基づいて、前記特定されたメニューそれぞれの提供形態に関する形態情報を特定し、
    前記特定された食事条件情報及び前記形態情報に基づいて、前記食事画像が示す提供食事の提供可否を判定する、
    提供可否判定方法。
12. コンピュータに、
    対象者に提供される提供食事の食事画像、並びに、前記提供食事とともに前記対象者に提供され、前記対象者及び前記提供食事の提供形態の条件の少なくともいずれかを識別する識別情報が記載される食札の食札画像を取得することと、
    事前に設定される、前記識別情報と、前記提供形態の条件に関する食事条件情報と、の条件対応関係に基づいて、前記食札に対応する前記食事条件情報を特定することと、
    学習用メニューの学習用画像と、前記学習用メニューに関する学習用メニュー情報と、の複数の組み合わせに基づいて学習されるメニュー対応関係及び、事前に設定される前記対象者に提供され得る予定メニューに関する予定メニュー情報に基づいて、前記食事画像が示す前記提供食事に含まれるメニューに関するメニュー情報を特定することと、
    複数の提供形態のそれぞれと、前記複数の提供形態のそれぞれで学習用メニューが調理された学習用画像と、の複数の組み合わせに基づいて学習される形態対応関係に基づいて、前記特定されたメニューそれぞれの提供形態に関する形態情報を特定することと、
    前記特定された食事条件情報及び前記形態情報に基づいて、前記食事画像が示す提供食事の提供可否を判定することと、
    を実行させる、提供可否判定プログラム。