JP7651387B2 - Storage support device and method - Google Patents
Storage support device and method Download PDFInfo
- Publication number
- JP7651387B2 JP7651387B2 JP2021103829A JP2021103829A JP7651387B2 JP 7651387 B2 JP7651387 B2 JP 7651387B2 JP 2021103829 A JP2021103829 A JP 2021103829A JP 2021103829 A JP2021103829 A JP 2021103829A JP 7651387 B2 JP7651387 B2 JP 7651387B2
- Authority
- JP
- Japan
- Prior art keywords
- item
- storage
- registered
- information
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 195
- 230000008859 change Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 description 157
- 238000001514 detection method Methods 0.000 description 68
- 238000012545 processing Methods 0.000 description 62
- 230000004044 response Effects 0.000 description 42
- 238000010415 tidying Methods 0.000 description 39
- 238000005259 measurement Methods 0.000 description 20
- 230000007613 environmental effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 8
- 230000008520 organization Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011900 installation process Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、収納支援装置及び方法に関する。 The present invention relates to a storage assistance device and method.
片付けにおいて、片づけられていない物品が収納先に収納される。片付けを支援する片付け支援システムが提案されている（例えば下記特許文献１参照）。
When tidying up, items that have not been put away are stored in a storage location. A tidying up support system that supports tidying up has been proposed (see, for example,
片付け等のための物品の収納が支援されれば、物品の適正な収納が図られ、利便性が高い。 If assistance is provided for storing items for tidying up, etc., items can be stored properly, which is highly convenient.
本発明は、物品の収納を支援できる収納支援装置及び方法を提供することを目的とする。 The present invention aims to provide a storage assistance device and method that can assist in storing items.
本発明に係る収納支援装置は、物品の収納を支援する収納支援装置において、各物品が複数の登録物品の何れであるかを識別する制御部と、各登録物品を収納すべき規定収納先の情報を含むデータベースと、を備え、前記制御部は、前記識別の結果と前記データベースとに基づいて、各物品の収納を支援する収納支援情報をユーザに通知する。 The storage assistance device according to the present invention is a storage assistance device that assists in the storage of items, and includes a control unit that identifies which of a plurality of registered items each item is, and a database that includes information on the specified storage destination in which each registered item should be stored, and the control unit notifies the user of storage assistance information that assists in the storage of each item based on the results of the identification and the database.
本発明によれば、物品の収納を支援できる収納支援装置及び方法を提供することが可能となる。 The present invention makes it possible to provide a storage assistance device and method that can assist in storing items.
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。 Below, examples of embodiments of the present invention will be described in detail with reference to the drawings. In each of the drawings referred to, the same parts are given the same reference numerals, and duplicated explanations of the same parts will be omitted as a general rule. In this specification, for the sake of simplicity, a symbol or code referring to information, a signal, a physical quantity, a member, etc. may be written, and the name of the information, signal, physical quantity, member, etc. corresponding to the symbol or code may be omitted or abbreviated.
図１に本発明の実施形態に係る収納支援装置１の構成ブロック図を示す。収納支援装置１を収納支援システム１と称することもできる。収納支援装置１を１以上の人物が居住する住居に対して用いることができる。住居の形態は任意である。従って例えば、収納支援装置１が適用される住居は戸建て住居であっても良いし、集合住宅の住居であっても良い。ここでは、図２に示す如く、住居ＨＨに対して収納支援装置１が適用されることを想定する。
Figure 1 shows a configuration block diagram of a
収納支援装置１は、制御部１０、センサ部２０、記録部３０及びインターフェース部４０を備える。収納支援装置１の全体が住居ＨＨ内に設置されて良いが、収納支援装置１の一部の構成要素は住居ＨＨの外に設置され得る。例えば、記録部３０は住居ＨＨの外に設置される記録装置であっても良い。制御部１０及び記録部３０の双方が住居ＨＨの外に設置されることがあっても良い。
The
制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等を含んで構成され、収納支援装置１の全体動作を統括的に制御する。制御部１０は、磁気ディスク又は半導体メモリ等から成るプログラムメモリ（不図示）を有し、プログラムメモリに格納されたプログラムをＣＰＵにて実行することで制御部１０の各種機能が実現される。上記プログラムをＣＰＵにて実行することにより実現される機能ブロックとして、制御部１０は、登録処理部１１、物体検出部１２、トラッキング処理部１３、音声対応部１４及び通知部１５を備えるが、それらの機能については後述される。
The
センサ部２０は、カメラ部２１、光検出部２２及び環境測定部２３を備える。センサ部２０は自身の構成要素を用いて得られるセンサ情報ＳＩ２０を制御部１０に出力する。住居ＨＨの居住空間内にセンシング空間が設定される。センシング空間は、住居ＨＨの居住空間の全体であり得るし、住居ＨＨの居住空間の一部であり得る。以下では、センシング空間は、住居ＨＨの居住空間の全体を一致すると考える。カメラ部２１、光検出部２２及び環境測定部２３の各構成要素と制御部１０とは有線又は無線にて接続されており、センサ情報ＳＩ２０は有線又は無線にてセンサ部２０から制御部１０に送られる。
The
カメラ部２１は１以上の定点カメラ２１ａを備える。カメラ部２１を構成する定点カメラ２１ａの総数は１以上であれば任意であるが、以下では、カメラ部２１に複数の定点カメラ２１ａが含まれると考える。各定点カメラ２１ａは住居ＨＨ内の適所（例えば住居ＨＨの各部屋の天井）に固定して設置される。各定点カメラ２１ａは自身の視野内の被写体を撮影し、撮影結果を表す画像情報（以下、撮影画像情報とも称する）を生成及び出力する。任意のカメラの視野はカメラの撮影範囲又は撮影領域と表現され得る。住居ＨＨの居住空間内に各定点カメラ２１ａの視野が設定される。カメラ部２１に含まれる複数の定点カメラ２１ａの視野を合成したものが、カメラ部２１の視野に相当する。複数の定点カメラ２１ａの視野を互いに異ならせることで（但し、部分的には重複し得る）、住居ＨＨ内の居住空間の全体又は多くの部分がカメラ部２１の視野に含められる。センシング空間はカメラ部２１の視野に含まれ、カメラ部２１の視野がセンシング空間に相当すると考えて良い。カメラ部２１から出力される撮影画像情報ＳＩ２１は各定点カメラ２１ａが生成した撮影画像情報を含む。センサ情報ＳＩ２０は撮影画像情報ＳＩ２１を含む。
The
光検出部２２は１以上のＬＩＤＡＲ（Light Detection and Ranging）２２ａを備え、光を用いて任意の物体（人物を含む）を検出する。光検出部２２を構成するＬＩＤＡＲ２２ａの総数は１以上であれば任意であるが、以下では、光検出部２２に複数のＬＩＤＡＲ２２ａが含まれると考える。各ＬＩＤＡＲ２２ａは住居ＨＨ内の適所（例えば住居ＨＨの各部屋の天井）に固定して設置される。各ＬＩＤＡＲ２２ａは、自身が出射した光の対象物による反射光を受信することで自身と対象物との間の距離を検出し、その検出結果を示す光検出情報を生成及び出力する。各ＬＩＤＡＲ２２ａにおいて、距離の検出が可能な対象物の存在範囲を検出範囲と称する。住居ＨＨの居住空間内に各ＬＩＤＡＲ２２ａの検出範囲が設定される。光検出部２２に含まれる複数のＬＩＤＡＲ２２ａの検出範囲を合成したものが、光検出部２２の検出範囲に相当する。複数のＬＩＤＡＲ２２ａの検出範囲を互いに異ならせることで（但し、部分的には重複し得る）、住居ＨＨ内の居住空間の全体又は多くの部分が光検出部２２の検出範囲に含められ、上記センシング空間は光検出部２２の検出範囲に含まれる。光検出部２２から出力される光検出情報ＳＩ２２は各ＬＩＤＡＲ２２ａが生成した光検出情報を含む。センサ情報ＳＩ２０は光検出情報ＳＩ２２を含む。
The light detection unit 22 includes one or more LIDARs (Light Detection and Ranging) 22a and detects any object (including a person) using light. The total number of LIDARs 22a constituting the light detection unit 22 can be any number as long as it is one or more, but in the following, it is considered that the light detection unit 22 includes
環境測定部２３は１以上の環境測定センサ２３ａを備える。各環境測定センサ２３ａは測定対象位置における環境を測定し、測定結果を示す環境測定情報を生成及び出力する。測定される環境は測定対象位置の温度及び湿度を含む。環境測定部２３から出力される環境測定情報ＳＩ２３は各環境測定センサ２３ａが生成した環境測定情報を含む。センサ情報ＳＩ２０は環境測定情報ＳＩ２３を含む。
The
記録部３０は、磁気ディスク又は半導体メモリなどの任意の記録媒体から成る記録装置である。制御部１０は、任意の情報を記録部３０に記録させることができると共に、記録部３０に記録された任意の情報を読み出すことができる。制御部１０及び記録部３０は有線又は無線にて互いに双方向通信が可能な態様で接続される。制御部１０の制御の下、記録部３０にてデータベースＤＢが形成及び保持される。データベースＤＢの詳細は後述される。
The
インターフェース部４０は、収納支援装置１とユーザとの間のマンマシンインターフェースであり、表示部４１、操作部４２、マイクロホン４３及びスピーカ４４を備える。本実施形態において、ユーザとは、収納支援装置１の利用者であって、住居ＨＨ内に位置する任意の人物がユーザとなり得る。後述の各登録者はユーザとなり得る。制御部１０及びインターフェース部４０は有線又は無線にて互いに双方向通信が可能な態様で接続される。
The
表示部４１は液晶ディスプレイパネル等にて構成される表示装置であり、制御部１０の制御の下で任意の画像を表示する。操作部４２はユーザから任意の操作の入力を受け付ける。表示部４１及び操作部４２によりタッチパネルが構成されていても良く、操作部４２への操作はタッチパネルに対する操作であっても良い。マイクロホン４３は、マイクロホン４３の周辺音を収音し、収音した音を電気信号に変換する。マイクロホン４３の収音の対象は、主としてユーザの発話による音声である。スピーカ４４は制御部１０の制御の下で任意の音を出力する。音声認識機能を有して人物との音声による会話が可能な人工知能を制御部１０に設けておいても良く、この場合、マイクロホン４３及びスピーカ４４を用いて、ユーザ及び収納支援装置１間の意思疎通が実現されても良い。以下の説明において、ユーザ操作とは、インターフェース部４０を介してユーザが収納支援装置１に入力する操作を指す。ユーザ操作は、上記タッチパネルへの操作であっても良いし、操作部４２中の操作部材への操作であっても良いし、ユーザ発話による音声操作であっても良い。また、ユーザからの任意の指示は、インターフェース部４０を介してユーザが収納支援装置１に与える指示を指す。ユーザからの指示はユーザ操作により実現されるため、それらは実質的に同じものを指すと解して良い。
The
尚、収納支援装置１とは別に設けられた端末装置がインターフェース部４０として用いられても良い。端末装置は、例えば、スマートホン、タブレット端末、パーソナルコンピュータ、テレビ受信機である。マイクロホン４３及びスピーカ４４は所謂スマートスピーカに設けられたものであっても良い。
In addition, a terminal device provided separately from the
図３に示す如く、データベースＤＢに、登録者データベースＤＢ＿ａ、収納先データベースＤＢ＿ｂ、物品データベースＤＢ＿ｃ及び総合管理データベースＤＢ＿ｄが設けられる。図４（ａ）～（ｄ）にデータベースＤＢ＿ａ～ＤＢ＿ｄの構造を簡易的に示す。 As shown in FIG. 3, the database DB includes a registrant database DB_a, a storage destination database DB_b, an item database DB_c, and a general management database DB_d. The structures of the databases DB_a to DB_d are shown in simplified form in FIG. 4 (a) to (d).
後述の初期登録処理において１以上の人物が登録者として収納支援装置１に登録される。収納支援装置１への登録はデータベースＤＢへの登録と同義であると解して良い。登録者データベースＤＢ＿ａには登録者ごとに登録者データセット６１０が格納される。尚、初期登録処理の後にも登録者は追加され得る。
In the initial registration process described below, one or more people are registered as registrants in the
後述の初期登録処理において１以上の収納先が収納支援装置１に登録される。収納先とは、何らかの物品を収納することのできる収納場所（家具又は空間等）を指し、住居ＨＨ内に設けられる。例えば、箪笥、クローゼット、おもちゃ箱、収納ケース、本棚、書庫、物置及びロッカーなどが、収納先に該当する。収納先データベースＤＢ＿ｂには収納先ごとに収納先データセット６３０が格納される。尚、初期登録処理の後にも収納先は追加され得る。
One or more storage destinations are registered in the
後述の初期登録処理において１以上の物品が収納支援装置１に登録される。登録された物品は、以下では、登録物品と称されることがある。本実施形態における物品とは、いずれかの収納先に収納され得る物品を指す。物品データベースＤＢ＿ｃには登録物品ごとに物品データセット６５０が格納される。尚、初期登録処理の後にも登録物品は追加され得る。
One or more items are registered in the
総合管理データベースＤＢ＿ｄは登録物品に対する様々な情報を管理するためのデータベースであり、総合管理データベースＤＢ＿ｄには登録物品ごとに管理データセット６７０が格納される。総合管理データベースＤＢ＿ｄには管理データセット６７０以外のデータも含まれるが、これについては後に説明される。尚、ここでは、データベースＤＢ＿ｃ及びＤＢ＿ｄが別々に設けられることを想定するが、データベースＤＢ＿ｃ及びＤＢ＿ｄの代わりに、データベースＤＢ＿ｃ及びＤＢ＿ｄを統合したデータべースを構成するようにしても良い。データベースＤＢ＿ｃ及びＤＢ＿ｄを統合したデータべースは登録物品ごとに物品データセット６５０と管理データセット６７０を含むことになる。
The comprehensive management database DB_d is a database for managing various information regarding registered items, and a
図５に登録者データベースＤＢ＿ａの構造及び登録者データベースＤＢ＿ａ中のデータの例を示す。尚、本実施形態において用語“情報”と用語“データ”は互いに同義であると考えて良い。ここでは登録者が複数存在することを想定し、第ｉ番目の登録者を第ｉ登録者と称する。ｉは任意の自然数を表す。登録者ごとの登録者データセット６１０は情報６１１～６１６を含む。即ち、第１登録者の登録者データセット６１０は第１登録者の情報６１１～６１６を含み、第２登録者の登録者データセット６１０は第２登録者の情報６１１～６１６を含む（他の登録者も同様）。図５では、図面の煩雑化防止又は図示の簡略化上、情報６１１～６１６の内、一部の情報についてのみ内容を図示し、幾つかの情報の内容の図示は割愛されている。
Figure 5 shows the structure of the registrant database DB_a and an example of data in the registrant database DB_a. In this embodiment, the terms "information" and "data" may be considered to be synonymous with each other. Here, it is assumed that there are multiple registrants, and the i-th registrant is referred to as the i-th registrant. i represents any natural number. The
第ｉ登録者の情報６１１は第ｉ登録者の名前（本名又はニックネーム等）を表す。情報６１２は各登録者に固有の登録者ＩＤを表す。以下、第ｉ登録者に対する登録者ＩＤを記号“ａａ［ｉ］”にて参照する。
The
情報６１３は各登録者の収納指定区域を表す。収納支援装置１において住居ＨＨの居住空間は複数の居住区域に分割して管理され、複数の居住区域の内の１以上の居住区域が、登録者ごとに収納指定区域として設定される。第ｉ登録者の収納指定区域は、第ｉ登録者が所有者となっている物品を収納すべき居住区域を表している。
制御部１０は、画像認識によって、センシング空間内の各人物が何れの登録者であるのかを識別する人物識別処理を実行できる。情報６１４は当該識別を行うために参照される画認用画像情報である。第ｉ登録者の情報６１４は、第ｉ登録者を撮影することで得られた画像情報を含む。識別の精度を高めるべく、第ｉ登録者を複数の方向から撮影することで得られた複数枚の撮影画像に基づく画像情報を、第ｉ登録者の情報６１４に含めておくと良い。第ｉ登録者の情報６１４は、少なくとも第ｉ登録者の顔画像の画像情報を含む。各登録者の情報６１４が登録者データベースＤＢ＿ａに格納された後、制御部１０は、撮影画像情報ＳＩ２１（図１参照）と各登録者の情報６１４とに基づいて人物識別処理を実行することができる。人物識別処理において光検出情報ＳＩ２２が更に参照されても良い。
The
情報６１５は各登録者の嗜好を表す嗜好情報である（図５において内容を図示せず）。情報６１６は情報６１１～６１５に分類されない他情報である（図５において内容を図示せず）。第ｉ登録者の情報６１６に第ｉ登録者に関する任意の情報を含めることができる。
図６に収納先データベースＤＢ＿ｂの構造及び収納先データベースＤＢ＿ｂ中のデータの例を示す。ここでは収納先が複数存在することを想定し、収納支援装置１に登録された第ｉ番目の収納先を第ｉ収納先と称する。本実施形態で述べる収納先は、特に記述なき限り収納支援装置１に登録された収納先を指す。収納先ごとの収納先データセット６３０は情報６３１～６３８を含む。即ち、第１収納先の収納先データセット６３０は第１収納先の情報６３１～６３８を含み、第２収納先の収納先データセット６３０は第２収納先の情報６３１～６３８を含む（他の収納先も同様）。図６では、図面の煩雑化防止又は図示の簡略化上、情報６３１～６３８の内、一部の情報についてのみ内容を図示し、幾つかの情報の内容の図示は割愛されている。
Figure 6 shows an example of the structure of the storage destination database DB_b and the data in the storage destination database DB_b. Here, it is assumed that there are multiple storage destinations, and the i-th storage destination registered in the
第ｉ収納先の情報６３１は第ｉ収納先の名前（呼び名）を表す。情報６３２は各収納先に固有の収納先ＩＤを表す。以下、第ｉ収納先に対する収納先ＩＤを記号“ｂｂ［ｉ］”にて参照する。各収納先は物品を収納可能な収納空間を有する。第ｉ収納先の情報６３３は、第ｉ収納先が有する収納空間の全容積（以下、収納全容積と称する）を表す。第ｉ収納先の情報６３４は第ｉ収納先の所在区域を表す。第ｉ収納先の所在区域は上記複数の居住区域の何れかとなる。
The
第ｉ収納先の情報６３５は第ｉ収納先の３次元マップ（以下、３Ｄマップと称する）を表す。第ｉ収納先の３次元マップは、少なくとも第ｉ収納先の収納空間の大きさ及び形状を表す。第ｉ収納先の３次元マップは、仮想３次元空間に設定されるデータであって、第ｉ収納先の情報６３５により仮想３次元空間において第ｉ収納先の収納空間が定義される。仮想３次元空間は制御部１０により形成される仮想空間である。
The
第ｉ収納先の情報６３６は第ｉ収納先の推定残容積を表す（図６において内容を図示せず）。第ｉ収納先の推定残容積とは、第ｉ収納先の収納全容積と、現時点において第ｉ収納先の収納空間に収納されている物品の全容積との差を表し、前者から後者を差し引くことで第ｉ収納先の推定残容積が得られる。つまり、第ｉ収納先の推定残容積は、第ｉ収納先に対して更に追加的に収納することのできる物品の最大容積を表す。
The
第ｉ収納先の情報６３７は第ｉ収納先の環境を表す環境情報である（図６において内容を図示せず）。情報６３７により、第ｉ収納先の環境として第ｉ収納先の収納空間の温度及び湿度が示される。第ｉ収納先の情報６３７は、第ｉ収納先の収納空間に設置された環境測定センサ２３ａから得られる。情報６３８は情報６３１～６３７に分類されない他情報である（図６において内容を図示せず）。第ｉ収納先の情報６３８に第ｉ収納先に関する任意の情報を含めることができる。
The
図７に物品データベースＤＢ＿ｃの構造及び物品データベースＤＢ＿ｃ中のデータの例を示す。ここでは登録物品が複数存在することを想定し、第ｉ番目の登録物品を第ｉ登録物品と称する。登録物品ごとの物品データセット６５０は情報６５１～６６１を含む。即ち、第１登録物品の物品データセット６５０は第１登録物品の情報６５１～６６１を含み、第２登録物品の物品データセット６５０は第２登録物品の情報６５１～６６１を含む（他の登録物品も同様）。図７では、図面の煩雑化防止又は図示の簡略化上、情報６５１～６６１の内、一部の情報についてのみ内容を図示し、幾つかの情報の内容の図示は割愛されている。
Figure 7 shows an example of the structure of the item database DB_c and the data in the item database DB_c. Here, it is assumed that there are multiple registered items, and the i-th registered item is referred to as the i-th registered item. The
第ｉ登録物品の情報６５１は第ｉ登録物品の名前（呼び名）を表す。登録物品の名前（呼び名）は、一般的な商品名でもよいし、所有者等が付与した愛称等でも良い。情報６５２は各登録物品に固有の物品ＩＤを表す。以下、第ｉ登録物品に対する物品ＩＤを記号“ｃｃ［ｉ］”にて参照する。第ｉ登録物品の情報６５３は第ｉ登録物品を撮影画像である１以上の物品画像（１以上の物品画像の画像情報）を表す。第ｉ登録物品の情報６５４は第ｉ登録物品の形状（例えば三次元形状）を示す形状情報である。第ｉ登録物品の情報６５５は第ｉ登録物品の容積（体積）を表す。
The
制御部１０において任意の物品は複数の種類の何れかに分類される。この分類を実現する処理は物体分類処理と称される。例えば、上記複数の種類の例として、おもちゃ、文房具、書籍、電子機器、キッチン用具及びスポーツ用具などが該当する。第ｉ登録物品の情報６５６は第ｉ登録物品が何れの種類の物品に属するのかを表す分類情報である。
In the
第ｉ登録物品の情報６５７は第ｉ登録物品の所有者を表す。何れかの登録者が第ｉ登録物品の所有者となる。第ｉ登録物品の情報６５８は第ｉ登録物品が収納支援装置１及びデータベースＤＢに登録された日付（物品登録日）を表す登録日情報である。第ｉ登録物品の情報６５９は第ｉ登録物品が収納されるべき規定収納先を表す。規定収納先は、収納先データベースＤＢ＿ｂにて収納先ＩＤ（６３２）が割り当てられた何れかの収納先である。第ｉ登録物品の情報６５９として、第ｉ登録物品の規定収納先の収納先ＩＤが設定される。
The
第ｉ登録物品の情報６６０は第ｉ登録物品の使用履歴を表す（図７において内容を図示せず）。情報６６１は情報６５１～６６０に分類されない他情報である（図７において内容を図示せず）。第ｉ登録物品の情報６６１に第ｉ登録物品に関する任意の情報を含めることができる。
The
図８に総合管理データベースＤＢ＿ｄの構造及び総合管理データベースＤＢ＿ｄ中のデータの例を示す。上述したように、総合管理データベースＤＢ＿ｄは登録物品ごとに管理データセット６７０を有する。登録物品ごとの管理データセット６７０は情報６７１～６８０を含む。即ち、第１登録物品の管理データセット６７０は第１登録物品の情報６７１～６８０を含み、第２登録物品の管理データセット６７０は第２登録物品の情報６７１～６８０を含む（他の登録物品も同様）。図７では、図面の煩雑化防止又は図示の簡略化上、情報６７１～６８０の内、一部の情報についてのみ内容を図示し、幾つかの情報の内容の図示は割愛されている。
Figure 8 shows the structure of the comprehensive management database DB_d and an example of data in the comprehensive management database DB_d. As described above, the comprehensive management database DB_d has a
第ｉ登録物品の情報６７１は第ｉ登録物品の物品ＩＤを表す。即ち、第ｉ登録物品の情報６７１は、第ｉ登録物品の情報６５２（図７）と同じものを指す。情報６７１及び６５２に基づき第ｉ登録物品の管理データセット６７０と第ｉ登録物品の物品データセット６５０は互いに関連付けられる。
The
第ｉ登録物品の情報６７２は第ｉ登録物品が現在収納されている収納先（以下、現収納先と称され得る）を表す。第ｉ登録物品の情報６７２として、第ｉ登録物品の現収納先の収納先ＩＤが設定される。第ｉ登録物品の情報６７３は第ｉ登録物品の使用者を表す情報である。第ｉ登録物品の使用者は１以上の登録者である。第ｉ登録物品の情報６７３として、第ｉ登録物品の使用者の登録者ＩＤが設定される。第ｉ登録物品の情報６７４は第ｉ登録物品の最終使用者を表す情報である。第ｉ登録物品の情報６７４として、第ｉ登録物品の最終使用者の登録者ＩＤが設定される。
The
第ｉ登録物品の情報６７５は第ｉ登録物品の移動履歴を表す（図８において内容を図示せず）。第ｉ登録物品の情報６７６、６７７、６７８は、夫々、第ｉ登録物品に対する廃棄提案フラグ、廃棄済推定フラグ、消耗品フラグを表す（図８において内容を図示せず）。第ｉ登録物品の情報６７９は第ｉ登録物品の状態（物品状態）を表す（図８において内容を図示せず）。情報６８０は情報６７１～６７９に分類されない他情報である（図８において内容を図示せず）。第ｉ登録物品の情報６８０に第ｉ登録物品に関する任意の情報を含めることができる。
総合管理データベースＤＢ＿ｄは情報６８５を更に備える。情報６８５は、総合管理データベースＤＢ＿ｄの内容が最後に更新された日時（更新日時）を表す。
The comprehensive management database DB_d further includes
図９に示す如く、収納支援装置１の運用にあたっては、まずステップＳ１の設置工程及びステップＳ２の校正工程が実施され、続いてステップＳ３の初期登録工程が実施される。その後にステップＳ４の実運用工程に進む。
As shown in FIG. 9, when operating the
ステップＳ１の設置工程では、任意の人物により、各定点カメラ２１ａ、各ＬＩＤＡＲ２２ａ及び各環境測定センサ２３ａが、住居ＨＨ内の適所に設置される。
In the installation process of step S1, each fixed
制御部１０によりステップＳ２の校正工程が行われる。校正工程では、住居ＨＨの居住空間の全体の３次元形状を表す全空間３Ｄマップが上述の仮想３次元空間内に定義される。予め用意された全空間３Ｄマップが収納支援装置１に与えられても良いし、各定点カメラ２１ａ及び各ＬＩＤＡＲ２２ａを用いて全空間３Ｄマップが作成されても良い。
The
校正工程において全空間３Ｄマップ内の各位置と実際の３次元空間であるセンシング空間内の各位置との対応付けが行われる。また、校正工程では、全空間３Ｄマップにおいて、各定点カメラ２１ａの位置及び撮影方向並びに各ＬＩＤＡＲ２２ａの位置及び光の出射方向が特定される。この結果、全空間３Ｄマップ上の各位置と、各定点カメラ２１ａの位置及び視野（撮影範囲）並びに各ＬＩＤＡＲ２２ａの位置及び検出範囲と、が対応付けられる。校正工程を経た後、制御部１０は、各定点カメラ２１ａがセンシング空間内の何れの部分をどの向きに撮影しているのか、及び、各ＬＩＤＡＲ２２ａがセンシング空間内の何れの位置からどの向きに光を出射しているのかを把握できる。制御部１０は、この把握内容と撮影画像情報ＳＩ２１及び光検出情報ＳＩ２２に基づき、センシング空間内の各人物又は各物品の位置及び移動を認識できる。尚、設置工程及び校正工程はユーザ以外のサービススタッフ等の管理の下で実施されても良い。
In the calibration process, each position in the
上述の如く、住居ＨＨの居住空間は複数の居住区域から成る。全空間３Ｄマップにおいて複数の居住区域の位置関係並びに各居住区域の形状及び大きさが規定される。ここでは、住居ＨＨの居住空間に、１階洋室、１階和室、２階洋室、リビング及びキッチンが含まれるものとする（図１０参照）。そして、１階洋室、１階和室、２階洋室、リビング、キッチンが、夫々、第１～第５居住区域に設定されたものとする。第１～第５居住区域とは異なる居住区域が更に存在していても良いが、本実施形態では、説明の具体化のため、これら５つの居住区域にのみ注目し、他の居住区域の存在を無視する。第１～第５居住区域は上記センシング空間に含まれる。
As described above, the living space of the residence HH is made up of multiple living areas. The positional relationships of the multiple living areas as well as the shape and size of each living area are defined in the full-
設置工程において各居住区域には１以上の定点カメラ２１ａが設置されるものとする。更に、各居住区域に１以上のＬＩＤＡＲ２２ａが設置されて良い。各居住区域には１以上の収納先が設置される。各収納先に環境測定センサ２３ａが設置される（但し、１以上の収納先に対して環境測定センサ２３ａは非設置であっても良い）。各収納先の位置が全空間３Ｄマップにて定義されていると良い。
In the installation process, one or more
ステップＳ３の初期登録工程において登録処理部１１（図１参照）は初期登録処理を実行する。初期登録処理は、人物登録処理、収納先登録処理及び物品登録処理を含む。初期登録処理を構成する各処理は、ユーザ操作に基づいて実行されて良い。 In the initial registration process of step S3, the registration processing unit 11 (see FIG. 1) executes the initial registration process. The initial registration process includes a person registration process, a storage destination registration process, and an item registration process. Each process constituting the initial registration process may be executed based on a user operation.
人物登録処理について説明する（図５を適宜参照）。人物登録処理において、登録処理部１１は、ユーザ操作に基づき、１以上の人物を１以上の登録者としてデータベースＤＢに登録する。登録処理部１１は、人物登録処理におけるユーザ操作の内容に基づき、登録される人数分だけ登録者データベースＤＢ＿ａに登録者データセット６１０を生成すると共に、各登録者の名前を取得して各登録者の情報６１１を設定する。登録処理部１１は、登録者ごとに登録者ＩＤを割り当てることで情報６１２を設定する。本実施形態においては、第１～第３登録者を含む３以上の登録者が存在するものとし、第３登録者は子供であって、且つ、第１及び第２登録者は第３登録者の両親であるとする。
The person registration process will be described (see FIG. 5 as appropriate). In the person registration process, the
人物登録処理において、登録処理部１１はユーザ操作に基づき各登録者の情報６１３を設定する。上述したように第ｉ登録者の情報６１３は第ｉ登録者の収納指定区域を表す。ここでは、第１登録者が１階洋室及び１階和室を良く利用しており、ユーザは第１登録者の所有物の収納先として１階洋室又は１階和室内の収納先を希望しているものとする。そうすると、その旨が第１登録者に対応付けてユーザ操作により入力されることで、１階洋室及び１階和室が第１登録者の収納指定区域に設定される。同様にして、ここでは、第２登録者の収納指定区域がリビング及びキッチンに設定されると共に、第３登録者の収納指定区域が２階洋室及びリビングに設定されたものとする。
In the person registration process, the
また、人物登録処理において、登録処理部１１は、登録者ごとに情報６１４を取得して登録者データベースＤＢ＿ａに格納する。情報６１４を得るための撮影は、カメラ部２１中の定点カメラ２１ａにより行われても良いし、他のカメラにより行われても良い。人物登録処理において、登録処理部１１は、ユーザ操作により第ｉ登録者の嗜好を表す情報が入力されたならば、その入力内容に基づいて第ｉの登録者の嗜好情報６１５を設定する。この他、人物登録処理において、登録処理部１１は、ユーザ操作に基づき他情報６１６をデータベースＤＢ＿ａに格納することができる。
In addition, in the person registration process, the
このように、図５に示される各登録者の情報６１１～６１４は人物登録処理にて設定される。１以上の登録者の情報６１５は人物登録処理にて設定されることもある。各登録者の情報６１５は実運用工程の中で設定されることもある。情報６１６には人物登録処理で設定される情報が含まれる場合もあるし、実運用工程の中で設定及び更新される情報が含まれる場合もある。
In this way, information 611-614 of each registrant shown in FIG. 5 is set in the person registration process.
収納先登録処理について説明する（図６を適宜参照）。収納先登録処理において、登録処理部１１は、収納先登録処理におけるユーザ操作に基づき、各収納先の名称を取得して各収納先の情報６３１を設定する。登録処理部１１は、収納先ごとに収納先ＩＤを割り当てることで情報６３２を設定する。
The storage destination registration process will be described (see FIG. 6 as appropriate). In the storage destination registration process, the
収納先登録処理において、第ｉ収納先の収納空間が、第ｉ収納先の収納空間を撮影可能な定点カメラ２１ａにて又は他の任意のカメラにて撮影される。その撮影結果が登録処理部１１に与えられ、登録処理部１１は当該撮影結果に基づいて第ｉ収納先の収納全容積を推定すると共に第ｉ収納先の３Ｄマップを生成する。第ｉ収納先の収納全容積の推定結果が情報６３３として保存される。但し、ユーザ操作に基づき情報６３３が設定されても良い。生成された第ｉ収納先の３Ｄマップが第ｉ収納先の情報６３５としてデータベースＤＢ＿ｂに格納される。
In the storage destination registration process, the storage space of the i-th storage destination is photographed by a fixed
収納先登録処理において、ユーザ操作に基づき各収納先が所在する居住区域（以下、所在区域と称され得る）が設定される。第ｉ登録者の収納指定区域（図５の情報６１３に対応）に第ｊ収納先の所在区域が含まれるとき、第ｊ収納先は第ｉ登録者の所有物を収納すべき収納先の１つとして第ｉ登録者に対応付けられる（ｊは整数）。結果、各収納先は何れかの登録者に対応付けられる。１つの収納先が一人の登録者にのみ対応付けられることもあるし、１つの収納先が複数の登録者に対応付けられることもある。ここでは、第１～第４収納先が２階洋室に設置されており、第５及び第６収納先が１階洋室に設置されているものとする。その旨がユーザ操作により収納支援装置１に入力されることで、第１～第４収納先の所在区域は第２洋室（従って第３居住区域；図１０参照）であり、且つ、第５及び第６収納先の所在区域は第１洋室（従って第１居住区域；図１０参照）であることが情報６３４にて示される。
In the storage destination registration process, the residential area (hereinafter, may be referred to as the location area) in which each storage destination is located is set based on user operation. When the designated storage area of the i-th registrant (corresponding to
このように、図６に示される各収納先の情報６３１～６３５は収納先登録処理にて設定される。情報６３６及び６３７は実運用工程の中で設定及び更新される。情報６３８には収納先登録処理で設定される情報が含まれる場合もあるし、実運用工程の中で設定及び更新される情報が含まれる場合もある。
In this way, the
物品登録処理について説明する（図７を適宜参照）。物品登録処理において、登録処理部１１は、物品登録処理におけるユーザ操作に基づき、登録物品として登録される各物品の名称を取得して各登録物品の情報６５１を設定する。登録処理部１１は、登録物品ごとに物品ＩＤを割り当てることで情報６５２を設定する。
The item registration process will now be described (see FIG. 7 as appropriate). In the item registration process, the
物品登録処理において、登録処理部１１は、登録物品ごとに情報６５３～６５６を取得して物品データベースＤＢ＿ｃに格納する。
In the item registration process, the
物品登録処理において、第ｉ登録物品が、第ｉ登録物品を撮影可能な定点カメラ２１ａにて又は他の任意のカメラにて撮影され、登録処理部１１は当該撮影結果に基づいて情報６５３～６５６を取得する。第ｉ登録物品は互いに異なる方向（視点）から複数枚撮影される。第ｉ登録物品を複数回撮影することで得られる複数の撮影画像が第ｉ登録物品の物品画像として情報６５３に含められる。登録処理部１１は、第ｉ登録物品の情報６５３における複数の撮影画像に基づき、第ｉ登録物品の形状（例えば三次元形状）を示す情報を第ｉ登録物品の形状情報６５４として生成すると共に第ｉ登録物品の大きさ（容積）を推定し、その推定結果を第ｉ登録物品の情報６５５に含める。更に、登録処理部１１は、第ｉ登録物品の情報６５３における複数の撮影画像に基づき第ｉ登録物品の種類を判別し、第ｉ登録物品の種類の判別結果を第ｉ登録物品の情報６５６に設定する。各登録物品の種類の判別を可能とするための学習済みのディープニューラルネットワーク（ＤＮＮ）が登録処理部１１に設けられていて良い。第ｉ登録物品の種類を判別する処理は上記の物体分類処理に相当する。但し、第ｉ登録物品の情報６５５及び６５６の内、少なくとも一方は、ユーザ操作に基づき設定されても良い。
In the item registration process, the i-th registered item is photographed by a fixed
物品登録処理において、各登録物品の情報６５７及び６５９はユーザ操作に基づき設定される。物品登録処理において、或る物品が第ｉ登録物品として登録された日付が第ｉ登録物品の情報６５８に設定される。
In the item registration process,
このように、図７に示される各登録物品の情報６５１～６５９は物品登録処理にて設定される。図７の情報６６０は実運用工程の中で設定及び更新される。また、図８の情報６７２～６７７及び６７９も実運用工程の中で設定及び更新される（情報６７８については後述）。図７の情報６６１及び図８の情報６８０には物品登録処理で設定される情報が含まれる場合もあるし、実運用工程の中で設定及び更新される情報が含まれる場合もある。
In this way, information 651-659 of each registered item shown in Figure 7 is set in the item registration process.
図１を再度参照し、登録処理部１１以外の制御部１０の各機能ブロックの機能を説明する。物体検出部１２、トラッキング処理部１３、音声対応部１４及び通知部１５は、実運用工程において有益に動作する。以下における各種の動作は、特に記述なき限り、ステップＳ３の初期登録工程が完了した後の動作であるとする。
Referring again to FIG. 1, the functions of each functional block of the
物体検出部１２は、カメラ部２１の撮影画像情報ＳＩ２１と、各登録者の情報（画認用画像情報）６１４と、各登録物品の情報（物品画像）６５３と、に基づき、物体検出処理を行う。物体検出処理は光検出情報ＳＩ２２も更に参照して実行されるものであっても良い。物体検出処理では、センシング空間内の各物体の位置が検出されると共にセンシング空間内の各物体が識別される。物体検出処理はセンシング空間内の各物体の色の検出も含んでいて良い。本実施形態において人物及び物品は物体に属し、物品は人物ではない物体である。物体検出処理では、センシング空間内における任意の注目物体が、人物及び物品の何れであるのか、人物であるなら何れの登録者であるのか、物品であるなら何れの登録物品であるのかが識別される。注目物体が人物であることを想定したとき、物体検出処理は上述の人物識別処理に相当する。故に、物体検出処理は人物識別処理を含んでおり、物体検出部１２は人物識別処理を行う人物識別部を含むと解される。注目物体が物品であることを想定したとき、物体検出処理は注目物体（注目物品）が複数の登録物品の何れかであるのかを識別する物品識別処理に相当する。故に、物体検出処理は物品識別処理を含み、物体検出部１２は物品識別処理を行う物品識別部を含むと解される。
The
トラッキング処理部１３は、順次実行される物体検出処理の結果に基づき、センシング空間内の各物体（各登録者及び各登録物品を含む）の位置を追跡するトラッキング処理を行う。 The tracking processing unit 13 performs a tracking process to track the position of each object (including each registered person and each registered item) in the sensing space based on the results of the object detection processes that are executed sequentially.
音声対応部１４は、マイクロホン４３にて収音されたユーザの発話内容を認識する音声認識処理を行うと共に、ユーザの発話内容に対して応答する応答処理を実行する。応答処理では、応答内容を示す画像が表示部４１に表示されても良いし、これに代えて又はこれに加えて、応答内容を示す音声がスピーカ４４から出力されても良い。尚、特に図示しないが、制御部１０に文字入力機能が設けられていても良く、この場合、表示部４１のタッチパネル上にユーザが入力した文字が制御部１０にて認識され、制御部１０は認識した文字に基づく応答処理を行っても良い。
The voice response unit 14 performs voice recognition processing to recognize the contents of the user's speech picked up by the
通知部１５はユーザに対して様々な通知を行う。ユーザに対する任意の通知は、通知内容を示す画像を表示部４１に表示することによる通知（以下、画像通知と称する）であっても良いし、通知内容を示す音声をスピーカ４４から出力することによる通知（以下、音声通知と称する）であっても良く、画像通知及び音声通知の双方を含んでいても良い。以下の説明において、制御部１０によるユーザへの通知は通知部１５による通知であると解して良い。
The
データベースＤＢ中の幾つかの情報について説明を加える。 Explain some of the information in the database DB.
図８を参照する（図１も参照）。物体検出部１２による物体検出処理及びトラッキング処理部１３によるトラッキング処理により、センシング空間内の各物体が何れの登録者であるか或いは何れの登録物品であるかが識別された上で、各物体の位置が追跡される。この追跡結果に基づき、制御部１０は各登録物品の移動履歴を示す情報６７５を生成する。第ｉ登録物品の情報６７５は、第ｉ登録物品の位置（所在地）の変化の履歴を表す。
See FIG. 8 (also see FIG. 1). Through object detection processing by the
例えば、図１１に示すような物品７１１の移動（位置変化）について考える。物品７１１は任意の登録物品（第ｉ登録物品）である。物品７１１が２０２０年５月１日の時刻ｔ１に収納先７１２から登録者７１３により取り出されて登録者７１３と共に収納先７１２から移動した後、物品７１１がセンシング空間内の或る位置７１４に載置され、その後、同日の時刻ｔ２に物品７１１が位置７１４から登録者７１３と共に移動して収納先７１５に収納されたという事実Ｆ１があった場合を考える。時刻ｔ１及びｔ２間における撮影画像情報ＳＩ２１及び光検出情報ＳＩ２２に基づく物体検出処理及びトラッキング処理により、当該事実Ｆ１が制御部１０にて認識され、制御部１０は認識した事実Ｆ１の内容を、物品７１１としての第ｉ登録物品の情報６７５に含める。
For example, consider the movement (position change) of an
更に、時刻ｔ２の後、物品７１１が２０２０年５月１日の時刻ｔ３に収納先７１５から登録者７１６により取り出されて登録者７１６と共に収納先７１５から移動した後、物品７１１がセンシング空間内の或る位置７１７に載置され、その後、同日の時刻ｔ４に物品７１１が位置７１７から登録者７１６と共に移動して収納先７１８に収納されたという事実Ｆ２があった場合を考える。時刻ｔ３及びｔ４間における撮影画像情報ＳＩ２１及び光検出情報ＳＩ２２に基づく物体検出処理及びトラッキング処理により、当該事実Ｆ２が制御部１０にて認識され、制御部１０は認識した事実Ｆ２の内容を、物品７１１としての第ｉ登録物品の情報６７５に含める。
Furthermore, consider a case in which, after time t2 , a fact F2 exists in which the
その後も物品７１１の移動がある度に、その移動の内容が物品７１１としての第ｉ登録物品の情報６７５に含められる。但し、現時点から見て所定期間（例えば１年）以上の過去の移動履歴は情報６７５から消去されても良い。尚、各登録物品の移動履歴にて示される時刻は、収納支援装置１内の計時部（不図示）で取得される時刻であっても良いし、他の任意のデバイスの計時部（不図示）で取得される時刻であっても良い（後述の使用履歴に関しても同様）。
After that, each
制御部１０は、物体検出処理及びトラッキング処理の結果を用いて第ｉ登録物品の現収納先を表す情報６７２（図８参照）を生成できる。図１１に示す例であれば、物品７１１としての第ｉ登録物品の現収納先は、時刻ｔ１の以前において収納先７１２であり、時刻ｔ２の後から時刻ｔ３の直前までにおいて収納先７１５であり、時刻ｔ４の後において収納先７１８である。尚、第ｉ登録物品が何れの収納先にも収納されていない期間（例えば第ｉ登録物品としての物品７１１が位置７１４又は７１７に載置されている期間）においては、第ｉ登録物品の情報６７２に対し、現収納先の代わりに“使用中”というフラグ情報が格納される。尚、物品７１１のトラッキング処理が行われている期間、具体的には、物品７１１が位置７１４又は７１７に載置されている期間における物品７１１の撮影画像情報及び物品７１１の周辺の撮影画像情報を取得して、記録部３０に保存しておいても良い。
The
第ｉ登録物品の情報６７３は上述したように第ｉ登録物品の使用者を表す。第ｉ登録物品の使用者とは、第ｉ登録物品を使用した人物であって、第ｉ登録物品に対して一定時間以上継続して接触した人物は第ｉ登録物品の使用者とみなされて良い。制御部１０において、撮影画像情報ＳＩ２１及び光検出情報ＳＩ２２に基づいて、登録物品ごとに各登録者が当該登録物品の使用者であるか否かが判別される。第ｉ登録物品の使用者の内、第ｉ登録物品の最後の使用者（第ｉ登録物品を最後に使用した人物）が第ｉ登録物品の最終使用者であって、第ｉ登録物品の最終使用者が第ｉ登録物品の情報６７４にて示される。図１１の例であれば、物品７１１としての第ｉ登録物品の最終使用者は、時刻ｔ３の直前において登録者７１３であり、時刻ｔ４の後において登録者７１６である。但し、登録者７１３及び７１６は互いに同一の登録者であり得るし、互いに異なる登録者であり得る。
The
上述の如く、第ｉ登録物品の情報６６０は第ｉ登録物品の使用履歴を表す使用履歴情報（図７において内容を図示せず）である。第ｉ登録物品の使用履歴は、第ｉ登録物品の使用率、使用頻度及び使用タイミングの夫々の履歴を含む。制御部１０は、第ｉ登録物品が任意の収納先に収納されている状態において第ｉ登録物品が非使用状態にあるとみなし、第ｉ登録物品が任意の収納先から取り出されている状態において第ｉ登録物品が使用状態にあるとみなす。任意の登録物品が使用状態にある期間を使用期間と称し、任意の登録物品が非使用状態にある期間を非使用期間と称する。第ｉ登録物品の使用率は、第ｉ登録物品の使用期間及び非使用期間の和に対する第ｉ登録物品の使用期間の比である。第ｉ登録物品の使用頻度は、一定の時間長さを有する注目期間において、第ｉ登録物品が非使用状態から使用状態に切り替わった回数を表す。第ｉ登録物品の使用タイミングは、第ｉ登録物品の使用期間の日時を表す。現時点より所定期間（例えば１年）だけ前の時点から現時点までの期間を使用履歴算定期間に設定し、使用履歴算定期間における第ｉ登録物品の使用履歴を第ｉ登録物品の情報６６０に含めておく。
As described above, the
図８を再度参照し、第ｉ登録物品の情報６７６による廃棄提案フラグは、第ｉ登録物品が廃棄提案物品であるか否かを表すフラグである。第ｉ登録物品の情報６７７による廃棄済推定フラグは、第ｉ登録物品が廃棄済推定物品であるか否かを表すフラグである。第ｉ登録物品の情報６７８による消耗品フラグは、第ｉ登録物品が消耗品であるか否かを表すフラグである。これらのフラグの活用方法等は後述される。
Referring again to FIG. 8, the discard suggested flag based on the
第ｉ登録物品の情報６７９は第ｉ登録物品の状態（物品状態）を表す。第ｉ登録物品について、情報６７９は、第ｉ登録物品が正常であるのか、故障又は破損しているのか等を表すこともあるし、第ｉ登録物品が消耗品である場合にあっては第ｉ登録物品の消耗の程度を表すこともある。制御部１０は、第ｉ登録物品の撮影結果を含む撮影画像情報ＳＩ２１等に基づき、第ｉ登録物品の情報６７９を生成及び更新できる。
The
図６を参照し、制御部１０は、第ｉ収納先の情報６３６としての第ｉ収納先の推定残容積を、第ｉ収納先の収納全容積（６３３）と、第ｉ収納先に現在収納されている各登録物品の容積の合計と、に基づいて導出することができる。この導出に際し、情報６５５及び６７２が参照される（図７及び図８参照）。
Referring to FIG. 6, the
図１２に、実運用工程における表示部４１の表示内容を示す。ここでは、表示部４１の表示画面にてタッチパネルが形成されていることを想定する。表示部４１の表示画面上にアイコンＢ１～Ｂ６が表示される。ユーザによりアイコンＢ１～Ｂ６の何れかを押下することで、押下されたアイコンに応じた処理が制御部１０により実行される。
Figure 12 shows the display contents of the
本実施形態は、以下の実施例ＥＸ１＿Ａ、ＥＸ１＿Ｂ及びＥＸ２～ＥＸ１１を含む。それらの実施例の中で、収納支援装置１の具体的な動作等を説明する。後述の各実施例において、上述の事項と矛盾する事項がある場合には、各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる（即ち複数の実施例の内の任意の２以上の実施例を組み合わせることも可能である）。
This embodiment includes the following Examples EX1_A, EX1_B, and EX2 to EX11. In these Examples, the specific operation of the
［実施例ＥＸ１＿Ａ］
実施例ＥＸ１＿Ａを説明する。ユーザによりアイコンＢ１（図１２参照）の押下操作が入力されると（ユーザから第１指示を受けると）制御部１０により片付け支援処理が実行される。アイコンＢ１の押下操作がなくとも、ユーザにより片付けに関わるキーワードが発話されることで片付け支援処理が実行されても良い。ユーザが行うべき作業（行動）であって、収納先に収納されていない状態の各物品を収納先に収納する作業を片付け作業と称する。片付け支援処理ではユーザによる片付け作業が支援される。
[Example EX1_A]
Example EX1_A will be described. When the user presses icon B1 (see FIG. 12) (when a first instruction is received from the user), the
今、図１３に示す如く、物品ＯＢＪ＿１１が何れの収納先にも収納されていない状態ＳＴ１を考える。状態ＳＴ１では、居住空間内の何れかの床の上に何れかの登録物品である物品ＯＢＪ＿１１が載置されている。片付け作業を行うべき登録者は任意であるが、ここでは、子供である第３登録者が片付け作業を行うべき人物であるとする。 Now, consider state ST1, in which object OBJ_11 is not stored in any storage location, as shown in FIG. 13. In state ST1, object OBJ_11, which is a registered object, is placed on any floor in the living space. Any registered person can be selected to perform the tidying up task, but in this case, it is assumed that the third registered person, who is a child, is the person who should perform the tidying up task.
片付け支援処理の実行期間において、第３登録者が物品ＯＢＪ＿１１を手に取って物品ＯＢＪ＿１１をどこに収納すべきかの問い合わせ８１０を収納支援装置１に対して行う（図１４参照）。問い合わせ８１０は発話による問い合わせ（例えば「このおもちゃは、どこに直せばいい？」という発話による問い合わせ）であっても良いし、タッチパネル又はタッチパネル以外の操作部材を操作することによる問い合わせであっても良い（後述の任意の問い合わせについても同様）。また、問い合わせは、他の人物（例えば第１又は第２登録者）が行っても良い。発話による問い合わせを行う場合、発話者の発話内容を収音できる位置にマイクロホン４３があるものとする（後述の任意の問い合わせについても同様）。
During the execution period of the tidying support process, the third registrant picks up the item OBJ_11 and makes an
問い合わせ８１０を受けると、制御部１０は、撮影画像情報ＳＩ２１に基づいて問い合わせの対象となっている物品が物品ＯＢＪ＿１１であると認識すると共に、物品ＯＢＪ＿１１に対する物体検出処理の結果に基づき物品ＯＢＪ＿１１が何れの登録物品であるかを識別する。制御部１０は、その識別結果とデータベースＤＢに基づいて、物品ＯＢＪ＿１１の収納を支援する収納支援情報をユーザに通知する（図１４参照）。通知の対象となるユーザは、問い合わせの発信者（ここでは第３登録者）を含み、更にそれ以外の登録者も含み得る。
When receiving
収納支援情報の通知により各物品の適正な収納が支援される（例えば効率的な収納が支援される）。 Notification of storage assistance information helps with proper storage of each item (e.g., efficient storage).
収納支援情報の通知は視覚的な通知を含んでいると良く、これにより各物品の適正な収納が促進される。視覚的な通知は表示部４１への収納支援情報の表示を含む。尚、上述したように、表示部４１はスマートホンやタブレット端末等の表示部であり得る。
The notification of the storage assistance information preferably includes a visual notification, which promotes proper storage of each item. The visual notification includes displaying the storage assistance information on the
収納支援情報の通知は物品ＯＢＪ＿１１の規定収納先を明示する通知であって良い。例えば、物品ＯＢＪ＿１１が第１登録物品であって且つ第１登録物品の規定収納先が収納先ＩＤ“ｂｂ［１］”で示される第１収納先であるならば（図６及び図７参照）、物品ＯＢＪ＿１１の規定収納先が第１収納先であることを明示する通知を収納支援情報の通知として行って良い（例えば「緑のおもちゃ箱にしまおう」という音声通知又は画像通知を行う）。物品ＯＢＪ＿１１が第１登録物品以外の登録物品である場合も同様である。 The notification of the storage assistance information may be a notification that clearly indicates the specified storage destination of the item OBJ_11. For example, if the item OBJ_11 is the first registered item and the specified storage destination of the first registered item is the first storage destination indicated by the storage destination ID "bb[1]" (see Figures 6 and 7), a notification that clearly indicates that the specified storage destination of the item OBJ_11 is the first storage destination may be given as the notification of the storage assistance information (for example, a voice or image notification saying "Put it away in the green toy box" is given). The same applies when the item OBJ_11 is a registered item other than the first registered item.
収納支援情報の通知は、上記問い合わせが行われたユーザ（ここでは第３登録者）の位置から物品ＯＢＪ＿１１の規定収納先までの移動ルートを案内するルート案内を含んでいても良い。ルート案内では、上記移動ルートを示す画像が表示部４１に表示される。
The notification of the storage assistance information may include route guidance that provides guidance on the travel route from the location of the user (here, the third registrant) who made the inquiry to the specified storage destination of the item OBJ_11. In the route guidance, an image showing the travel route is displayed on the
尚、片付け支援処理の実行期間においては、第３登録者が物品ＯＢＪ＿１１を手に取ったことが撮影画像情報ＳＩ２１に基づいて検知されたとき、上記問い合わせが行われなくとも、制御部１０は、上記問い合わせが行われたときと同様の通知を行っても良い。
In addition, during the execution period of the tidying support process, when it is detected based on the captured image information SI21 that the third registered person has picked up the item OBJ_11, even if the above inquiry is not made, the
制御部１０は、物品ＯＢＪ＿１１の収納を支援する収納支援情報をユーザに通知する際、物品ＯＢＪ＿１１の規定収納先を通知する（例えば明示する）と共に、物品ＯＢＪ＿１１の規定収納先への推奨収納方法を通知（提示）するようにしても良い。
When notifying the user of storage assistance information that assists in storing item OBJ_11, the
物品ＯＢＪ＿１１が第１登録物品であって且つ物品ＯＢＪ＿１１の規定収納先が第１収納先であることを想定して、推奨収納方法の通知について説明する。 Assuming that item OBJ_11 is the first registered item and the specified storage destination for item OBJ_11 is the first storage destination, notification of the recommended storage method will be explained.
推奨収納方法の通知では、例えば、物品ＯＢＪ＿１１の規定収納先である第１収納先の３Ｄマップ（６３５；図６参照）と、物品ＯＢＪ＿１１の容積（６５５；図７参照）と、物品ＯＢＪ＿１１の形状情報（６５４；図７）と、を含む判断指標Ｑ１ＥＸ１＿Ａが参照される。制御部１０は、判断指標Ｑ１ＥＸ１＿Ａに基づき、物品ＯＢＪ＿１１の規定収納先のどの位置に物品ＯＢＪ＿１１を収納するのが良いかを判断し、その判断結果を推奨収納方法の通知としてユーザ（第３登録者）に伝える。このような判断を実現するための機械学習済みのＤＮＮが制御部１０に搭載されていると良い。推奨収納方法の通知では、上記判断指標Ｑ１ＥＸ１＿Ａに基づく動画像を表示部４１に表示して、当該動画像により、物品ＯＢＪ＿１１を第１収納先のどの位置にどのように収納したら良いのかを案内する。
In the notification of the recommended storage method, for example, a judgment index Q1 EX1_A including a 3D map (635; see FIG. 6) of the first storage destination, which is the specified storage destination of the item OBJ_11, the volume of the item OBJ_11 (655; see FIG. 7), and shape information (654; FIG. 7) of the item OBJ_11 is referenced. The
また例えば、状態ＳＴ１の内、第１収納先に既に１以上の他の登録物品が収納されていることが制御部１０に認識されている状態ＳＴ１ａを想定する（制御部１０は各登録物品の情報６７２により当該認識が可能である）。
As another example, assume a state ST1a within state ST1 in which the
状態ＳＴ１ａにおいて、物品ＯＢＪ＿１１の規定収納先である第１収納先の３Ｄマップ（６３５；図６参照）と、物品ＯＢＪ＿１１の容積（６５５；図７参照）と、物品ＯＢＪ＿１１の形状情報（６５４；図７）と、上記１以上の他の登録物品の容積（６５５；図７参照）と、上記１以上の他の登録物品の形状情報（６５４；図７）と、を含む判断指標Ｑ２ＥＸ１＿Ａが参照される。制御部１０は、判断指標Ｑ２ＥＸ１＿Ａに基づき、物品ＯＢＪ＿１１の規定収納先のどの位置に物品ＯＢＪ＿１１を収納するのが良いかを判断し、その判断結果を推奨収納方法の通知としてユーザ（第３登録者）に伝える。このような判断を実現するための機械学習済みのＤＮＮが制御部１０に搭載されていると良い。推奨収納方法の通知では、上記判断指標Ｑ２ＥＸ１＿Ａに基づく動画像を表示部４１に表示して、当該動画像により、物品ＯＢＪ＿１１を第１収納先のどの位置にどのように収納したら良いのかを案内する。この際、物品ＯＢＪ＿１１を規定収納先の奥の方に収納することが推奨されるのであれば、既に規定収納先に収納済みの他の登録物品を一旦規定収納先から取り出してから、物品ＯＢＪ＿１１を規定収納先内の推奨位置に収納し、その後、取り出した他の登録物品を再び規定収納先に収納する様子を示す動画像を生成して表示部４１に表示すれば良い。
In state ST1a, a judgment index Q2 EX1_A including a 3D map (635; see FIG. 6) of the first storage destination, which is the specified storage destination of the item OBJ_11, a volume (655; see FIG. 7) of the item OBJ_11, shape information (654; see FIG. 7) of the item OBJ_11, the volume (655; see FIG. 7) of the one or more other registered items, and shape information (654; see FIG. 7) of the one or more other registered items is referenced. Based on the judgment index Q2 EX1_A , the
推奨収納方法を通知するための上記の各動画像は、拡張現実（Augmented Reality；ＡＲ）を利用した動画像であっても良い。 The above-mentioned video images for notifying the user of the recommended storage method may be video images that utilize augmented reality (AR).
推奨収納方法の通知（提示）により各物品の適正な収納が支援される。特に片付け作業を行うべき人物が小さな子供である場合には、一人での適正な片付けが難しい場合もある。推奨収納方法の通知により、子供に適正な片付けの仕方を学ばせることができるという作用も期待される。 Notification (presentation) of the recommended storage method helps ensure that each item is stored properly. In particular, when the person who is supposed to tidy up is a small child, it can be difficult for them to tidy up properly on their own. It is expected that notification of the recommended storage method will also have the effect of teaching children how to tidy up properly.
１つの物品ＯＢＪ＿１１に注目したが、複数の物品の片付け作業を行うべきときにも、物品（登録物品）ごとに、物品ＯＢＪ＿１１に対するものと同様の処理及び通知が行われて良い。 Although the focus has been on one item OBJ_11, when multiple items need to be put away, the same processing and notification as for item OBJ_11 may be performed for each item (registered item).
［実施例ＥＸ１＿Ｂ］
実施例ＥＸ１＿Ｂを説明する。実施例ＥＸ１＿Ｂでは、片付け支援処理の他の具体例を示す。実施例ＥＸ１＿Ａと同様に図１３の状態ＳＴ１を考え、子供である第３登録者が片付け作業を行うべき人物であるとする。図１４に示す如く、片付け支援処理の実行期間において、第３登録者が物品ＯＢＪ＿１１を手に取って物品ＯＢＪ＿１１をどこに収納すべきかの問い合わせ８１０（例えば「このおもちゃは、どこに直せばいい？」という発話）を収納支援装置１に対して行う。
[Example EX1_B]
Example EX1_B will be described. Example EX1_B shows another specific example of the tidying up support process. As in Example EX1_A, consider state ST1 in FIG. 13, and assume that the third registrant, who is a child, is the person who should perform the tidying up work. As shown in FIG. 14, during the execution period of the tidying up support process, the third registrant picks up the item OBJ_11 and makes an
問い合わせ８１０を受けると、制御部１０は、撮影画像情報ＳＩ２１に基づいて問い合わせの対象となっている物品が物品ＯＢＪ＿１１であると認識する。更に、制御部１０は、物品ＯＢＪ＿１１に対する物体検出処理の結果に基づき物品ＯＢＪ＿１１が何れの登録物品であるかを識別し、その識別結果とデータベースＤＢに基づいて、物品ＯＢＪ＿１１の収納を支援する収納支援情報をユーザに通知する。但し、収納支援情報をユーザに通知する際、実施例ＥＸ１＿Ｂに係る制御部１０は、ユーザ（ここでは第３登録者）にゲームを提示することを通じて物品ＯＢＪ＿１１の規定収納先をユーザに通知する。
When receiving
例えば、ゲームでは、何らかの課題を表示部４１による画像表示又はスピーカ４４からの音声出力でユーザ（ここでは第３登録者）に提示し、その課題が達成されたときに、物品ＯＢＪ＿１１の規定収納先をユーザ（ここでは第３登録者）に明示して通知する。但し、課題の達成が失敗に終わっても物品ＯＢＪ＿１１の規定収納先のユーザ（ここでは第３登録者）への明示は実行されて良い。
For example, in a game, a task is presented to the user (here, the third registered person) by displaying an image on the
ゲームの具体例としてクイズゲームを採用できる。図１５に状態ＳＴ１に対応するクイズゲームの例を示す。当該クイズゲームにおいて、制御部１０は、物品ＯＢＪ＿１１を収納するための収納先の候補として複数の選択肢が示された画像８２０を表示部４１に表示する。その上で、制御部１０は、物品ＯＢＪ＿１１を収納するのに適した収納先（即ち物品ＯＢＪ＿１１の規定収納先）を選択するための選択操作を、ユーザ（ここでは第３登録者）に対して促す。画像８２０には、各選択肢を示すテキスト文字と各選択肢の収納先の外観を示す画像とが含まれる。複数の選択肢の内の１つのみが、物品ＯＢＪ＿１１の規定収納先に相当する。つまり、物品ＯＢＪ＿１１の規定収納先を正解回答とする質問をユーザ（ここでは第３登録者）に提示する。ユーザ（ここでは第３登録者）は選択操作にて上記複数の選択肢の何れか１つを選択することにより、質問に対して回答する。制御部１０は、この回答に応じた表示（画像表示）を表示部４１にて行うことを通じて物品ＯＢＪ＿１１の規定収納先をユーザ（ここでは第３登録者）に認識させ且つ通知する。
A quiz game can be used as a specific example of the game. FIG. 15 shows an example of a quiz game corresponding to state ST1. In the quiz game, the
インターフェース部４０に対するユーザの選択操作において、物品ＯＢＪ＿１１の規定収納先を示す選択肢が選択された場合、制御部１０は正解応答を行い、物品ＯＢＪ＿１１の規定収納先を示す選択肢が選択されなかった場合、制御部１０は不正解応答を行う。正解応答は、ユーザの選択が正しいことを示す画像（映像）を表示部４１に表示する正解対応処理を含み、当該正解対応処理を通じて物品ＯＢＪ＿１１の規定収納先をユーザに明示する。不正解応答は、ユーザの選択に誤りがあることを示す画像（映像）を表示部４１に表示する不正解対応処理を含む。不正解応答では、不正解対応処理と共に又は当該不正解対応処理を経て、正解の選択肢、即ち物品ＯＢＪ＿１１の規定収納先をユーザに明示する。
When the user selects an option indicating the specified storage destination of the object OBJ_11 in a selection operation on the
ゲームの具体例としてクイズゲームを挙げたが、ゲームの内容等は任意である。例えば、所謂シューティングゲームを採用し、シューティングゲームにて一定の条件が達成されたときに物品ＯＢＪ＿１１の規定収納先がユーザに通知されるようにしても良い。 Although a quiz game has been given as a specific example of a game, the content of the game is arbitrary. For example, a so-called shooting game may be adopted, and the user may be notified of the specified storage location of the object OBJ_11 when a certain condition is met in the shooting game.
特に子供に関しては、片付けの習慣が身につくまで、飽きさせることなく何度も片付け作業を経験させることが必要と考えられる。収納支援情報の通知においてゲーム性を持たせることで子供が片付け作業を楽しんで行うと期待される。つまり、適正な片付けを楽しみながら子供に覚えさせることが可能となる。大人についても同様であり、大人も片付け作業を楽しむことができる。 In particular, it is thought that with children, it is necessary to let them experience tidying up repeatedly without getting bored until they acquire the habit of tidying up. It is expected that children will enjoy tidying up by adding a game-like element to the notification of storage support information. In other words, it is possible to teach children how to tidy up properly while having fun. The same applies to adults, who can also enjoy tidying up.
正解応答又は不正解応答において、物品ＯＢＪ＿１１の実際に何れかの収納先に収納される前に、拡張現実を適宜利用しつつ、物品ＯＢＪ＿１１が選択操作にて選択された収納先に収納される様子を表す動画像を表示部４１に表示させても良い。これによって、選択操作にて選択された収納先に物品ＯＢＪ＿１１を収納して良いか否か（選択操作にて選択された収納先に物品ＯＢＪ＿１１を収納することが正しいのか否か）を、ユーザ（ここでは第３登録者）に再検討させることができる。これは、正しい片付けの習熟に役立つ。
In either a correct or incorrect response, before the object OBJ_11 is actually stored in one of the storage locations, a moving image showing the object OBJ_11 being stored in the storage location selected by the selection operation may be displayed on the
尚、登録者の他情報６１６にゲームポイントを含めておいて良い。制御部１０は、正解応答が行われる際、ゲームを行ったユーザのゲームポイントに第１得点を加算し、不正解応答が行われる際、ゲームを行ったユーザのゲームポイントに第２得点を加算する。ゲームを行ったユーザは、ここでは第３登録者である。第１得点は第２得点よりも大きい。第２得点はゼロでも良い。ゲームポイントが一定値以上となれば、何らかの特典が第３登録者に与えられる仕組みを収納支援装置１に組み込ませて良いし、或いは、何らかの特典が第３登録者に与えられる仕組みを住居ＨＨの居住者間で取り決めておいても良い。
The
物品ＯＢＪ＿１１の規定収納先がユーザに通知される際、実施例ＥＸ１＿Ａの如く、推奨収納方法の通知も行われるようにしても良い。１つの物品ＯＢＪ＿１１に注目したが、複数の物品の片付け作業を行うべきときにも、物品（登録物品）ごとに、物品ＯＢＪ＿１１に対するものと同様の処理及び通知が行われて良い。 When the user is notified of the specified storage destination for the object OBJ_11, a recommended storage method may also be notified, as in embodiment EX1_A. Although the focus is on one object OBJ_11, when multiple objects need to be put away, the same processing and notification as for the object OBJ_11 may be performed for each object (registered object) as in the case of the object OBJ_11.
また、片付け支援処理において、物品ＯＢＪ＿１１の規定収納先がユーザ（ここでは第３登録者）に通知又は認識された後、制御部１０は、実際に物品ＯＢＪ＿１１が規定収納先に収容されるまでにもゲームを実施して良い。例えば、以下の片付けゲームを実施しても良い。片付けゲームにおいて、制御部１０は、物品ＯＢＪ＿１１の規定収納先をユーザ（ここでは第３登録者）に通知した後、片付けの開始をユーザ（ここでは第３登録者）に通知し、その後、物品ＯＢＪ＿１１が規定収納先に収納されるまでにかかった時間（以下、片付け時間と称する）を計測する。制御部１０は、物品ＯＢＪ＿１１及び規定収納先を撮影する１以上の定点カメラ２１ａの撮影画像情報に基づいて、物品ＯＢＪ＿１１が規定収納先に収納されたか否かを検出できる。
In addition, in the tidying support process, after the specified storage destination of the item OBJ_11 is notified or recognized by the user (here, the third registered person), the
更に、片付けゲームにおいて、制御部１０は、物品ＯＢＪ＿１１の規定収納先への収納の状態（収納位置、収納の向き等）について理想収納状態を設定する。片付けゲームにおいて、制御部１０は、物品ＯＢＪ＿１１及び規定収納先を撮影する１以上の定点カメラ２１ａの撮影画像情報に基づいて、実際の物品ＯＢＪ＿１１の規定収納先への収納の状態を特定し、特定した状態を理想収納状態と比較する。片付けゲームにおいて、制御部１０は、その比較結果と上記片付け時間とを得点化することで、物品ＯＢＪ＿１１の実際の片付け作業の良し悪しを表す片付け結果得点を導出し、片付け結果得点をユーザ（ここでは第３登録者）に通知する。片付け結果得点が所定条件を満たせば、ゲームクリアとなって、制御部１０はユーザ（ここでは第３登録者）に対し何らかの報酬（当該ユーザに興味がありそうな動画像を表示部４１に表示する等）を与えるようにしても良い。片付け結果得点を、上記ゲームポイントに加算するようにしても良い。物品ＯＢＪ＿１１以外の物品についても同様である。
Furthermore, in the tidying game, the
［実施例ＥＸ２］
実施例ＥＸ２を説明する。ユーザによりアイコンＢ２（図１２参照）の押下操作が入力されると（ユーザから第２指示を受けると）制御部１０により物品追加処理が実行される。アイコンＢ２の押下操作がなくとも、ユーザにより物品追加に関わるキーワードが発話されることで物品追加処理が実行されても良い。初期登録工程での物品登録処理により複数の登録物品が設定された後、新たに他の物品を登録物品として収納支援装置１に登録したい場合がある。この新たに登録されるべき他の物品を新規物品と称する。物品追加処理を経て新規物品は収納支援装置１における複数の登録物品に組み込まれる（複数の登録物品に追加される）。
[Example EX2]
Example EX2 will be described. When the user presses icon B2 (see FIG. 12) (when a second instruction is received from the user), the
登録処理部１１により物品追加処理が実行される。現在、計ｎ個の登録物品が収納支援装置１に登録されている状況において新規物品を新たに登録することを想定する（ｎは２以上の整数）。この場合、新規物品は物品追加処理を経て第（ｎ＋１）登録物品となる。
The item addition process is executed by the
物品追加処理において、登録処理部１１は、物品追加処理におけるユーザ操作に基づき、新規物品の名称を取得して、取得した名称を第（ｎ＋１）登録物品の情報６５１に設定する。登録処理部１１は、新規物品に対して固有の物品ＩＤを割り当てることで第（ｎ＋１）登録物品の情報６５２を設定する。
In the item addition process, the
物品追加処理において、登録処理部１１は、新規物品としての第（ｎ＋１）登録物品の情報６５３～６５６を取得して物品データベースＤＢ＿ｃに格納する。
In the item addition process, the
物品追加処理において、新規物品が、新規物品を撮影可能な定点カメラ２１ａにて又は他の任意のカメラにて撮影され、登録処理部１１は当該撮影結果に基づいて第（ｎ＋１）登録物品の情報６５３～６５６を取得する。新規物品は互いに異なる方向（視点）から複数枚撮影される。新規物品を複数回撮影することで得られる複数の撮影画像が第（ｎ＋１）登録物品の物品画像として情報６５３に含められる。登録処理部１１は、第（ｎ＋１）登録物品の情報６５３における複数の撮影画像に基づき、第（ｎ＋１）登録物品の形状（例えば三次元形状）を示す情報を第（ｎ＋１）登録物品の形状情報６５４として生成すると共に、第（ｎ＋１）登録物品の大きさ（容積）を推定し、その推定結果を第（ｎ＋１）登録物品の情報６５５に含める。更に、登録処理部１１は、第（ｎ＋１）登録物品の情報６５３における複数の撮影画像に基づき第（ｎ＋１）登録物品の種類を判別し、第（ｎ＋１）登録物品の種類の判別結果を第（ｎ＋１）登録物品の情報６５６に設定する。第（ｎ＋１）登録物品の情報６５５及び６５６の内、少なくとも一方は、ユーザ操作に基づき設定されても良い。
In the item addition process, the new item is photographed by the fixed
物品追加処理において、ユーザ操作に基づき新規物品の所有者が設定され、設定された新規物品の所有者が第（ｎ＋１）登録物品の情報６５７に設定される。物品追加処理において、新規物品が第（ｎ＋１）登録物品として登録された日付が第（ｎ＋１）登録物品の情報６５８に設定される。
In the item addition process, the owner of the new item is set based on user operation, and the set owner of the new item is set in the (n+1)th registered
物品追加処理において、ユーザ操作に基づき、新規物品としての第（ｎ＋１）登録物品の情報６５１～６５８が設定された後、登録処理部１１は、以下の規定収納先提案処理を実行することができる。
In the item addition process, after the
規定収納先提案処理では、第（ｎ＋１）登録物品の情報６５３に含められた新規物品の撮影画像と、データベースＤＢに登録されている複数の収納先に関する情報と、に基づき、複数の収納先の中から新規物品が収納されるべき収納先（以下、提案収納先と称する）を選択（設定）する。登録者の人数は一人であり得ても良いが、本実施形態の如く複数の登録者が存在する場合にあっては、新規物品の所有者に対応付けられた１以上の収納先の中から提案収納先が選択される。提案収納先が制御部１０によりユーザ（例えばアイコンＢ２の押下操作を行ったユーザ）に通知される。
In the specified storage destination suggestion process, a storage destination (hereinafter referred to as a suggested storage destination) where the new item should be stored is selected (set) from among multiple storage destinations based on the photographed image of the new item included in the (n+1)th registered
例えば、図１６を参照し、新規物品の所有者が第ｉＢ登録者であって、第ｉＢ登録者に対して第ｊＢ～第（ｊＢ＋３）収納先のみが対応付けられている状態ＳＴ２を考える（ｉＢ及びｊＢは整数）。当該状態ＳＴ２においては、第ｊＢ～第（ｊＢ＋３）収納先の何れか１つが提案収納先として選択される。この選択内容の通知を受けてユーザ（基本的には例えば第ｉＢ登録者）が所定の承認操作を収納支援装置１に入力すると、提案収納先が第（ｎ＋１）登録物品の規定収納先として情報６５９（図７参照）に設定される。
For example, referring to Fig. 16, consider state ST2 in which the owner of the new item is the i- th B registrant, and only the j -th to (j -th +3) storage destinations are associated with the i-th B registrant (i- th B and j-th B are integers). In state ST2, one of the j- th to (j -th +3) storage destinations is selected as the suggested storage destination. When a user (basically the i-th B registrant, for example) receives notification of this selection and inputs a predetermined approval operation into the
但し、第ｊＢ～第（ｊＢ＋３）収納先の内、２以上の収納先が提案収納先として選択されることがあり得ても良い。この場合、２以上の提案収納先をユーザに通知し、ユーザが２以上の提案収納先の何れか１つをユーザ操作により指定する。すると、指定された提案収納先が第（ｎ＋１）登録物品の規定収納先として情報６５９（図７参照）に設定される。 However, two or more of the j B to (j B +3) storage destinations may be selected as suggested storage destinations. In this case, the two or more suggested storage destinations are notified to the user, and the user selects one of the two or more suggested storage destinations by user operation. The selected suggested storage destination is then set in information 659 (see FIG. 7) as the default storage destination for the (n+1)th registered item.
新規物品の撮影画像を参照することにより、新規物品の収納先として好ましい収納先の選択が可能となり、物品の整理整頓が容易化される。 By referencing the photographed image of the new item, it becomes possible to select a preferred storage location for the new item, making it easier to organize the items.
規定収納先提案処理において、例えば、登録処理部１１は、新規物品の撮影画像に基づく新規物品の容積（６５５）と、新規物品の所有者に対応付けられた各収納先の推定残容積（６３６）と、に基づいて、提案収納先を選択することができる。状態ＳＴ２において、仮に、新規物品の容積が第ｊＢ～第（ｊＢ＋２）収納先の各推定残容積よりも大きく且つ第（ｊＢ＋３）収納先の推定残容積より小さいのであれば、第（ｊＢ＋３）収納先を提案収納先として選択する。
In the prescribed storage destination suggestion process, for example, the
提案収納先を選択に際して、新規物品の撮影画像に基づく新規物品の形状情報（６５４）が考慮されても良い。状態ＳＴ２において、登録処理部１１は、新規物品の撮影画像に基づく新規物品の三次元形状と、第ｊＢ～第（ｊＢ＋３）収納先の各３Ｄマップ（６３５）と、を参照することで、第ｊＢ～第（ｊＢ＋３）収納先の中から、新規物品の収納に適した収納先を提案収納先として選択することができる。
When selecting the proposed storage destination, shape information (654) of the new item based on the photographed image of the new item may be taken into consideration. In state ST2, the
提案収納先を選択に際して、各収納先の環境情報（６３７）が参照されても良い。状態ＳＴ２において、登録処理部１１は、新規物品に対する物体分類処理の結果から新規物品の保管において推奨される温度又は湿度を判断する。登録処理部１１は、その判断結果と、第ｊＢ～第（ｊＢ＋３）収納先の環境情報（６３７）と、に基づき、第ｊＢ～第（ｊＢ＋３）収納先の中から、新規物品の収納に適した収納先を提案収納先として選択することができる。
When selecting a suggested storage destination, the environmental information (637) of each storage destination may be referred to. In state ST2, the
規定収納先提案処理では、新規物品の所有者の嗜好情報も考慮して提案収納先の選択及び通知を行っても良い。制御部１０は、各登録者がどのような種類の物品をどこの収納先に収納する傾向にあるのかを学習し、その学習結果に基づき各登録者の嗜好情報（６１５）を生成する。説明の具体化のため、図１６の状態ＳＴ２を再度想定する。状態ＳＴ２において考慮される嗜好情報は、新規物品の所有者である第ｉＢ登録者の嗜好情報（６１５；図５参照）である。
In the prescribed storage destination suggestion process, the suggested storage destination may be selected and notified taking into consideration the preference information of the owner of the new item. The
新規物品に対する規定収納先提案処理が行われる前において、第ｉＢ登録者が所有物となっている登録物品の内、文房具に分類される物品は全て又は殆ど第ｊＢ収納先が規定収納先に設定され且つ第ｊＢ収納先に収納され、且つ、書籍に分類される物品は全て又は殆ど第（ｊＢ＋１）収納先が規定収納先に設定され且つ第（ｊＢ＋１）収納先に収納され、且つ、電子機器に分類される物品は全て又は殆ど第（ｊＢ＋２）収納先が規定収納先に設定され且つ第（ｊＢ＋２）収納先に収納され、スポーツ用具に分類される物品は全て又は殆ど第（ｊＢ＋３）収納先が規定収納先に設定され且つ第（ｊＢ＋３）収納先に収納されているものとする。このような収納状況から、制御部１０は、第ｉＢ登録者は、文房具、書籍、電子機器、スポーツ用具を、夫々、第ｊＢ、第（ｊＢ＋１）、第（ｊＢ＋２）、第（ｊＢ＋３）収納先に収納する傾向があるという嗜好情報（第ｉＢ登録者の嗜好情報６１５）を取得する。この場合において、例えば、新規物品が物体分類処理にてスポーツ用具に分類されたならば、登録処理部１１は、第ｉＢ登録者の嗜好情報６１５に基づき（即ち上記傾向に従い）第（ｊＢ＋３）収納先を新規物品に対する提案収納先に選択する、とったことが可能である。
Before the process of proposing a specified storage destination for a new item is performed, among the registered items owned by the i-th B registrant, all or almost all of the items classified as stationery have the j-th B storage destination set as the specified storage destination and are stored in the j-th B storage destination, all or almost all of the items classified as books have the (j-th B +1)-th storage destination set as the specified storage destination and are stored in the (j-th B +1)-th storage destination, all or almost all of the items classified as electronic devices have the (j-th B +2)-th storage destination set as the specified storage destination and are stored in the (j- th B +2)-th storage destination, and all or almost all of the items classified as sports equipment have the (j- th B +3)-th storage destination set as the specified storage destination and are stored in the (j-th B +3)-th storage destination. From such storage situations, the
新規物品の所有者の嗜好情報も考慮して提案収納先を選択することにより、新規物品の所有者の嗜好に沿った提案収納先の提案が可能となる。 By selecting a suggested storage destination while taking into consideration the preference information of the owner of the new item, it becomes possible to suggest a suggested storage destination that matches the preferences of the owner of the new item.
物品追加処理において、規定収納先提案処理に関係なく、ユーザ指示に基づき新規物品に対する規定収納先が設定されても構わない。 When adding an item, a default storage destination for a new item may be set based on user instructions, regardless of the default storage destination suggestion process.
ユーザ（ここでは第ｉＢ登録者）が新規物品に対する規定収納先として或る特定の収納先（ユーザが望ましいと考えた収納先）を指定したとき、制御部１０は、基本的に、その指定に従って新規物品に対する規定収納先を設定する。しかしながら、特定の収納先の収納状態や新規物品の大きさ等によっては、特定の収納先に新規物品を収納できないときがある。このような場合、制御部１０にて以下の入替提案処理が行われても良い。図１６の状態ＳＴ２を想定して入替提案処理を説明する。
When a user (here, the i-th B registrant) specifies a specific storage location (a storage location that the user considers desirable) as the default storage location for a new item, the
今、上記特定の収納先が第ｊＢ収納先であるとする。第ｊＢ収納先の推定残容積よりも新規物品の容積（６５５）が大きい場合、制御部１０は収納不可と判定する。或いは、第ｊＢ収納先の３Ｄマップと新規物品の形状情報（６５４）に基づき、第ｊＢ収納先の収納空間に新規物品が収まらないと判断されるときにも、制御部１０は収納不可と判定する。例えば、新規物品が長尺の物品であって、第ｉ収納先の収納空間の大きさと比べて新規物品の全長が大きすぎる場合、収納不可と判定される。
Now, assume that the specific storage destination is the jth B storage destination. If the volume (655) of the new item is larger than the estimated remaining volume of the jth B storage destination, the
制御部１０は、収納不可と判定したとき、第（ｊＢ＋１）～第（ｊＢ＋３）収納先の推定残容積及び第（ｊＢ＋１）～第（ｊＢ＋３）収納先の３Ｄマップに基づき、新規物品を収納可能な収納先を、入替候補として、第（ｊＢ＋１）～第（ｊＢ＋３）収納先の中から抽出する。入替候補は２以上抽出されても良い。
When the
入替候補を抽出すると、制御部１０は、第ｊＢ収納先に対して新規物品を収納することができない旨をユーザ（ここでは第ｉＢ登録者）に通知すると共に、入替候補をユーザに通知する。入替候補が１つの場合、入替候補の通知では、入替候補を新規物品の規定収納先に設定することがユーザに対して提案される。この提案に同意する旨を表すユーザ操作があると、制御部１０は、入替候補を新規物品の規定収納先に設定し、その設定結果を物品データベースＤＢ＿ｃに含める。入替候補が複数ある場合、制御部１０は、複数の入替候補の何れかを新規物品の規定収納先にすることができる旨をユーザに通知する。この通知を受けて、ユーザは、複数の入替候補の何れか１つをユーザ操作を通じて選択する。そうすると、制御部１０は、選択された入替候補を新規物品の規定収納先に設定し、その設定結果を物品データベースＤＢ＿ｃに含める。
When a replacement candidate is extracted, the
制御部１０は、入替候補を新規物品の規定収納先に設定すると、ユーザ（ここでは第ｉＢ登録者）に対し、新規物品の規定収納先への収納を案内しても良い。この案内は、ユーザ（ここでは第ｉＢ登録者）の現在位置から新規物品の規定収納先までの移動ルートを案内するルート案内を含んでいても良いし、上述したような推奨収納方法の通知を含んでいても良い。上記案内は任意の規定収納先提案処理でも行われて良い。
When the
ここで、物品の容積について説明を加えておく。説明の便宜上、任意の注目された物品を注目物品と称し、注目物品の容積について説明する。注目物品は登録物品である。但し、注目物品は登録物品以外の物品であっても良い。まず基準解釈方法を説明する。基準解釈方法において、注目物品の容積は文字通り注目物品の実際の容積であり、注目物品の実際の容積（例えば注目物品の実際の容積の推定結果）が注目物品の情報６５５として物品データベースＤＢ＿ｃに含められる。例えば、注目物品がバケツのような中空部を有する物品である場合、注目物品の容積は中空部の容積を含まない。実施例ＥＸ２を含め、本実施形態に係る制御部１０では基準解釈方法が採用される。
Here, an explanation will be given regarding the volume of an object. For ease of explanation, any object that has been focused on will be referred to as an object of attention, and the volume of the object of attention will be explained. The object of attention is a registered object. However, the object of attention may be an object other than a registered object. First, the reference interpretation method will be explained. In the reference interpretation method, the volume of the object of attention is literally the actual volume of the object of attention, and the actual volume of the object of attention (for example, an estimated result of the actual volume of the object of attention) is included in the object database DB_c as
但し、制御部１０において、注目物品の全体を包囲する最小の直方体を想定し、想定した直方体の容積を注目物品の容積と捉える方法（以下、変形解釈方法と称する）を採用しても良い。変形解釈方法が採用される場合、注目物品が上記バケツであれば、注目物品の容積は上記中空部の容積も含むことになる。変形解釈方法が採用される場合、変形解釈方法の下での注目物品の容積が注目物品の情報６５５として物品データベースＤＢ＿ｃに含められる。変形解釈方法が採用される場合、或る注目された収納先の３Ｄマップに、直方体と想定された登録物品を詰め込んでいくことが制御部１０内でイメージ化される。その上で、制御部１０は、新規物品を更に上記注目された収納先に追加収納できるかを判断することになる。
However, the
［実施例ＥＸ３］
実施例ＥＸ３を説明する。ユーザによりアイコンＢ３（図１２参照）の押下操作が入力されると（ユーザから第３指示を受けると）制御部１０により物品捜索処理が実行される。アイコンＢ３の押下操作がなくとも、ユーザにより物品捜索に関わるキーワードが発話されることで物品捜索処理が実行されても良い。
[Example EX3]
Example EX3 will be described. When the user presses icon B3 (see FIG. 12) (when the third instruction is received from the user), the
図１７を参照し、実施例ＥＸ３では、ユーザ８５０が任意の登録物品（以下、捜索対象物品と称する）を探しているものとする。ユーザ８５０は任意の登録者であって良い。物品捜索処理の実行期間において、ユーザ８５０は捜索対象物品の所在地の問い合わせ８６０（即ち捜索対象物品が現在どこにあるかの問い合わせ）を収納支援装置１に対して行う。登録物品として第１～第ｎ登録物品がデータベースＤＢに登録されているものとする（ｎは２以上の整数）。問い合わせ８６０は捜索対象物品が第１～第ｎ登録物品の何れであるかを推定又は認識するための情報を含み、その情報に基づき、制御部１０は、捜索対象物品が第１～第ｎ登録物品の何れであるかを特定する。
Referring to FIG. 17, in Example EX3, it is assumed that a
例えば、捜索対象物品の名称又は物品ＩＤが問い合わせ８６０に含まれていて良く、この場合には即座に上記特定が可能となり得る。各登録物品を表示部４１にリスト表示し、ユーザ操作に基づき、その中から捜索対象物品が指定されても良い。また例えば、ユーザ８５０及び制御部１０間で音声等による会話を行い、会話の中でユーザ８５０が捜索対象物品の特徴を収納支援装置１に入力（伝達）するようにしても良い。制御部１０は、入力された特徴に基づき、捜索対象物品の候補を第１～第ｎ登録物品の中から絞り込んでゆき、最終的に捜索対象物品が第１～第ｎ登録物品の何れであるかを特定することができる。捜索対象物品が第１～第ｎ登録物品の何れであるかを特定するのに際し、制御部１０は、捜索対象物品の候補として１以上の登録物品の画像（６５３；図７参照）を表示部４１に表示して、「探しているのは、これですか？」といった確認問い合わせをユーザ８５０に行うようにしても良い。
For example, the name or item ID of the search target item may be included in the
各登録物品を撮影するカメラ部２１の撮影画像情報ＳＩ２１に基づく上記の物体検出処理及びトラッキング処理によりセンシング空間内で各登録物品が追跡され（詳細には各登録物品の位置及び移動の軌跡が追跡され）、追跡の結果に基づく情報がデータベースＤＢに含められる。尚、上述したように、物体検出処理及びトラッキング処理では、ＬＩＤＡＲ２２ａを用いた光検出情報ＳＩ２２も利用され得る。上記追跡の結果に基づく情報は図８に示される情報６７２及び６７５を含む。制御部１０は、捜索対象物品に対する追跡の結果に基づく情報（６７２、６７５）に基づき、問い合わせ８６０に対する応答８６２を行う（図１７参照）。問い合わせ８６０に対する応答８６２は、表示部４１での表示による応答を含み、更にスピーカ４４からの音声出力による応答を含みうる（後述の他の任意の応答についても同様）。
The object detection process and tracking process described above are based on the captured image information SI21 of the
これにより、ユーザの探し物が容易に見つかるようになる。 This makes it easier for users to find what they're looking for.
捜索対象物品が第ｉＣ登録物品であることを想定して応答８６２の例を説明する（ｉＣはｎ以下の自然数）。制御部１０は、第ｉＣ登録物品の情報６７２又は６７５に基づき第ｉＣ登録物品の現在の所在地を応答８６２に含める。基本的には、制御部１０は、第ｉＣ登録物品の情報６７２（図８参照）にて示される第ｉＣ登録物品の現収納先を応答８６２の内容に含める。但し、第ｉＣ登録物品の情報６７２に“使用中”というフラグ情報が格納されている場合にあっては、第ｉＣ登録物品の移動履歴を表す情報６７５に基づき、第ｉＣ登録物品の現在の所在地を応答８６２に含める。例えば、捜索対象物品が図１１に示した物品７１１である場合において、物品７１１が収納先７１５に収納されているときに問い合わせ８６０があったならば捜索対象物品（７１１）が収納先７１５内にあることを応答８６２に含める。また例えば、捜索対象物品が図１１に示した物品７１１である場合において、物品７１１が位置７１７にあるときに問い合わせ８６０があったならば捜索対象物品（７１１）が位置７１７にあることを応答８６２に含める。
An example of the
尚、移動履歴の情報６７５をデータベースＤＢに含めておくことで、何らかの事情（追跡の失敗等）により捜索対象物品の真の所在地が収納支援装置１にとって不明になった場合でも、情報６７５中の移動履歴をたどることで、捜索対象物品を見つけることができる可能性がある。制御部１０は、任意のタイミングにおいて、ユーザ操作に応じ各登録物品の移動履歴の情報（６７５）をユーザに通知することができる。
By including the
［実施例ＥＸ４］
実施例ＥＸ４を説明する。ユーザによりアイコンＢ４（図１２参照）の押下操作が入力されると（ユーザから第４指示を受けると）制御部１０により廃棄提案処理（物品整理処理）が実行される。アイコンＢ４の押下操作がなくとも、ユーザにより物品廃棄又は物品整理に関わるキーワードが発話されることで廃棄提案処理が実行されても良い。
[Example EX4]
Example EX4 will be described. When the user presses icon B4 (see FIG. 12) (when a fourth instruction is received from the user), the
廃棄提案処理において、制御部１０は何れか１以上の登録物品の廃棄を提案する通知（以下、廃棄提案通知と称する）をユーザに対して行う。廃棄の提案に際し、情報６７６による廃棄提案フラグが参照される（図８参照）。上述したように、第ｉ登録物品の情報６７６による廃棄提案フラグは、第ｉ登録物品が廃棄提案物品であるか否かを表すフラグである。制御部１０は、第ｉ登録物品の使用履歴情報６６０に基づき、第ｉ登録物品の廃棄提案フラグ（６７６）に“１”又は“０”の値を代入する。各登録物品の廃棄提案フラグの初期値は“０”である。第ｉ登録物品について“１”の廃棄提案フラグは、第ｉ登録物品が廃棄提案物品であることを指し示す。廃棄提案物品は廃棄が提案される物品であり、故に廃棄提案通知にて廃棄提案物品の廃棄が提案される。つまり、廃棄提案通知において、対応する廃棄提案フラグが“１”となる登録物品の廃棄がユーザに提案される。
In the disposal suggestion process, the
このように、使用履歴情報（６６０）に基づき廃棄提案物品を特定して廃棄の提案を行うことにより、例えば、殆ど使用していないような物品の廃棄が促進され、住居ＨＨ内の整理整頓が図られる。 In this way, by identifying items suggested for disposal based on the usage history information (660) and making disposal suggestions, for example, the disposal of items that are hardly used is encouraged, leading to tidying up the residence HH.
例えば、使用履歴情報６６０に基づく第ｉ登録物品の使用率又は使用頻度が所定値以下であるとき、制御部１０は第ｉ登録物品についての廃棄提案フラグに“１”を代入する。或いは例えば、使用履歴情報６６０に基づき第ｉ登録物品が一定期間以上継続して非使用状態に維持されていると判断されるとき、制御部１０は第ｉ登録物品についての廃棄提案フラグに“１”を代入しても良い。
For example, when the usage rate or frequency of use of the i-th registered item based on the
使用履歴情報６６０に加え、制御部１０は登録日情報６５８（図７参照）も考慮して廃棄提案フラグの値の決定及び廃棄提案通知を行うようにしても良い。即ち例えば、第ｉ登録物品の登録日が現在から見て所定日数（例えば３６５日×２）以上過去であって、且つ、使用履歴情報６６０に基づく第ｉ登録物品の使用率又は使用頻度が所定値以下であるとき、制御部１０は第ｉ登録物品についての廃棄提案フラグに“１”を代入するようにしても良い。或いは例えば、第ｉ登録物品の登録日が現在から見て所定日数（例えば３６５日×２）以上過去であって、且つ、使用履歴情報６６０に基づき第ｉ登録物品が一定期間以上継続して非使用状態に維持されていると判断されるとき、制御部１０は第ｉ登録物品についての廃棄提案フラグに“１”を代入しても良い。
In addition to the
これにより例えば、古く且つ殆ど使用していないような物品の廃棄が促進され、住居ＨＨ内の整理整頓が図られる。 This, for example, encourages the disposal of old and rarely used items, leading to better organization and tidying up the home HH.
廃棄提案処理において、制御部１０は、使用履歴情報６６０に基づきつつ、又は、使用履歴情報６６０及び登録日情報６５８に基づきつつ、各登録者の嗜好情報６１５（図５参照）も考慮して廃棄提案通知を行うようにしても良い。
In the disposal proposal process, the
これにより例えば、所有者の嗜好に合致していない物品の廃棄が提案される（より妥当な廃棄提案が実現される）。 This allows, for example, suggestions for disposal of items that do not match the owner's preferences (realizing more reasonable disposal suggestions).
例えば、物体分類処理により第１種類に分類される第１～第３おもちゃと第２種類に分類される第４～第６おもちゃとがあって、第１～第６おもちゃが夫々第ｉＤ１～第ｉＤ６登録物体として２０２０年４月１日にデータベースＤＢに登録されたとする（ｉＤ１～ｉＤ６は互いに異なる自然数）。第１種類及び第２種類は互いに異なる。第１～第６おもちゃの所有者は第３登録者である。２０２０年４月１日から２０２０年４月３０日までは、第３登録者が第１～第６おもちゃの全てを使って遊んでいたが、２０２０年５月１日から２０２０年１２月１日までは第３登録者が第１～第３おもちゃのみを使用し（第１～第３おもちゃのみで遊び）、第４～第６おもちゃを使用してなかった（第４～第６おもちゃを使って遊んでいなかった）状況を想定する。２０２０年４月１日から２０２０年１２月１日までの期間において、上記の状況を、制御部１０は、撮影画像情報ＳＩ２１に基づいて、又は、撮影画像情報ＳＩ２１及び光検出情報ＳＩ２２に基づいて認識し、その認識結果に基づき第３登録者の嗜好情報６１５を生成する。結果、２０２０年１２月１日時点の第３登録者の嗜好情報６１５には、第３登録者が第１種類のおもちゃを好み且つ第２種類のおもちゃを好まないという情報が含められる。
For example, suppose that there are first to third toys classified as a first type by the object classification process and fourth to sixth toys classified as a second type, and the first to sixth toys are registered in the database DB on April 1, 2020 as the iD1 to iD6 registered objects, respectively ( iD1 to iD6 are natural numbers different from each other). The first type and the second type are different from each other. The owner of the first to sixth toys is the third registrant. Assume that from April 1, 2020 to April 30, 2020, the third registrant played with all of the first to sixth toys, but from May 1, 2020 to December 1, 2020, the third registrant only used the first to third toys (played only with the first to third toys) and did not use the fourth to sixth toys (did not play with the fourth to sixth toys). The
この場合例えば、２０２０年１２月２日において、制御部１０は、第３登録者の嗜好情報６１５に基づき、第ｉＤ１～第ｉＤ３登録物体の各廃棄提案フラグの値を“０”に維持する一方、第ｉＤ４～第ｉＤ６登録物体の各廃棄提案フラグに“１”を代入する、といったことが可能である。
In this case, for example, on December 2, 2020, the
但し、第３登録者以外の登録者が第ｉＤ４～第ｉＤ６登録物体を使用する場合もあるので、嗜好情報６１５だけでなく、使用履歴情報６６０も参照して（更には登録日情報６５８も参照して）各登録物体の廃棄提案フラグの値を制御すると良い。まとめると例えば、第ｉ登録物品の使用履歴情報６６０と、第ｉ登録物品の登録日情報６５８と、第ｉ登録物品の所有者の嗜好情報６１５と、に基づき、制御部１０にて第ｉ登録物品の廃棄提案評価値を導出し、廃棄提案評価値が所定値以上となると第ｉ登録物品の廃棄提案フラグに“１”を代入する、といった方法を採用可能である。
However, since a registrant other than the third registrant may use the i-th D4 to i-th D6 registered objects, it is advisable to control the value of the disposal suggestion flag for each registered object by referring to not only the
［実施例ＥＸ５］
実施例ＥＸ５を説明する。ユーザによりアイコンＢ５（図１２参照）の押下操作が入力されると（ユーザから第５指示を受けると）制御部１０により収納変更提案処理が実行される。アイコンＢ５の押下操作がなくとも、ユーザにより所定のキーワードが発話されることで収納変更提案処理が実行されても良い。
[Example EX5]
Example EX5 will be described. When the user presses icon B5 (see FIG. 12) (when a fifth instruction is received from the user), the
各登録物品及び各登録者を撮影するカメラ部２１の撮影画像情報ＳＩ２１に基づく上記の物体検出処理及びトラッキング処理によりセンシング空間内で各登録物品及び各登録者が追跡され（詳細には各登録物品及び各登録者の位置及び移動の軌跡が追跡され）、追跡の結果に基づく情報がデータベースＤＢに含められる。尚、上述したように、物体検出処理及びトラッキング処理では、ＬＩＤＡＲ２２ａを用いた光検出情報ＳＩ２２も利用され得る。上記追跡の結果に基づく情報は図８に示される情報６７２及び６７５を含む。
The above object detection process and tracking process are based on the captured image information SI21 of the
第ｉ登録物品の情報６７５により、任意の期間において第ｉ登録物品が何れかの登録者に使用されていたのか、及び、使用されていたとすれば何れの登録者に使用されていたのか、が示される。第ｉ登録物品が任意の収納先から取り出されている状態では第ｉ登録物品が何れかの登録者により使用状態にあるとみなされる。制御部１０は、第ｉ登録物品が使用状態にある期間（使用期間）において、撮影画像情報ＳＩ２１に基づき（更には光検出情報ＳＩ２２に基づき）、第ｉ登録物品の使用者を特定できる。登録物品ごとに、各時刻において当該登録物品が何れかの登録者に使用されていたのか、及び、使用されていたとすれば何れの登録者に使用されていたのかを蓄積してゆくことで、制御部１０により各登録者による各登録物品の使用状況が認識される。
The
収納変更提案処理に係る制御部１０は、各登録者による各登録物品の使用状況の認識結果に基づき、何れか１以上の登録物品に対する新たな規定収納先を提案する。この提案は表示部４１又はスピーカ４４を用いて行われ、当該提案に対して同意する旨の指示をユーザから受けると、制御部１０は、自身が提案した内容に従って各登録物品に対する規定収納先を更新する。
The
更新前の規定収納先を特に旧規定収納先と称し、上記新たな規定収納先に相当する更新後の規定収納先を特に新規定収納先と称する。例えば、第ｉＥ１登録物品の所有者が第１登録者であって第ｉＥ１登録物品の旧規定収納先が第１登録者に対応付けられた第ｉＥ２収納先に設定されている状態を想定する。この状態を起点に、以後、第ｉＥ１登録物品が第１登録者に全く又は殆ど使用されず、第２登録者が第１登録者よりも第ｉＥ１登録物品を長時間又は高頻度で使用しているとき、収納変更提案処理に係る制御部１０は、第ｉＥ１登録物品に対する新たな規定収納先として第２登録者に対応付けられた第ｉＥ３収納先を提案する。この提案がユーザにより同意されると、第ｉＥ３収納先が第ｉＥ１登録物品の新規定収納先となる（ｉＥ１～ｉＥ３は整数；但しｉＥ２≠ｉＥ３）。
The designated storage destination before the update is specifically referred to as the old designated storage destination, and the designated storage destination after the update corresponding to the new designated storage destination is specifically referred to as the new designated storage destination. For example, assume that the owner of the i E1 registered item is the first registered person, and the old designated storage destination of the i E1 registered item is set to the i E2 storage destination associated with the first registered person. Starting from this state, when the i E1 registered item is never or almost never used by the first registered person, and the second registered person uses the i E1 registered item for a longer period of time or more frequently than the first registered person, the
本実施例によれば、各登録物品の使用状況に応じて、より良い規定収納先が設定されるようになる。 In this embodiment, a better default storage location can be set according to the usage status of each registered item.
［実施例ＥＸ６］
実施例ＥＸ６を説明する。ユーザによりアイコンＢ６（図１２参照）の押下操作が入力されると（ユーザから第６指示を受けると）制御部１０によりレイアウト変更処理が実行される。アイコンＢ６の押下操作がなくとも、ユーザにより所定のキーワードが発話されることでレイアウト変更処理が実行されても良い。
[Example EX6]
Example EX6 will be described. When the user presses icon B6 (see FIG. 12) (when a sixth instruction is received from the user), the
レイアウト変更処理は、住居ＨＨ内の模様替え等により、各登録物品の収納先を様々に組み替えるときに実行される。ここでは、住居ＨＨ内の模様替えにより、複数の登録物品を収納すべき複数の収納先が第１収納先群から第２収納先群に切り替えられることを想定する。この切り替えを、便宜上、収納先切り替えと称する。第１収納先群及び第２収納先群の夫々は複数の収納先から成る。収納切り替え前においては第１収納先群を構成する複数の収納先が住居ＨＨ内に設置され、収納切り替え後においては第２収納先群を構成する複数の収納先が住居ＨＨ内に設置される。第１収納先群を構成する複数の収納先と第２収納先群を構成する複数の収納先は、互いに同じ収納先を含むこともあるが、ここでは、第１収納先群を構成する複数の収納先と第２収納先群を構成する複数の収納先とが全く相違することを考える。 The layout change process is executed when the storage locations of the registered items are rearranged in various ways due to rearrangements in the residence HH, etc. Here, it is assumed that the storage locations in which the registered items are to be stored are switched from a first storage location group to a second storage location group due to rearrangements in the residence HH. For convenience, this switching is referred to as storage location switching. The first storage location group and the second storage location group each consist of multiple storage locations. Before the storage switching, the multiple storage locations constituting the first storage location group are installed in the residence HH, and after the storage switching, the multiple storage locations constituting the second storage location group are installed in the residence HH. The multiple storage locations constituting the first storage location group and the multiple storage locations constituting the second storage location group may include the same storage locations, but here, it is assumed that the multiple storage locations constituting the first storage location group and the multiple storage locations constituting the second storage location group are completely different.
収納先切り替えの前後において基本的に登録者データベースＤＢ＿ａの各情報に変化はないが、収納指定区域の情報６１３は変化し得る（ここでは情報６１３の変化を無視する）。収納先切り替えの前後において、規定収納先の情報６５９を除き物品データベースＤＢ＿ｃの各情報に変化はない。規定収納先の情報６５９はレイアウト変更処理の中で新たに設定される。収納先切り替えの前後において、現収納先の情報６７２を除き総合管理データベースＤＢ＿ｄの各情報に変化はない。現収納先の情報６７２はレイアウト変更処理の実行時において破棄されて良い。
Basically, there is no change in the information in the registrant database DB_a before and after the storage destination is switched, but the designated
レイアウト変更処理では、レイアウト変更処理前の収納先データベースＤＢ＿ｂが破棄され、第２収納先群を構成する収納先ごとに初期登録処理における収納先登録処理を実行することで収納先データベースＤＢ＿ｂを新たに構築する。新たに構築された収納先データベースＤＢ＿ｂにおいて、第２収納先群を構成する収納先ごとに情報６３１～６３５が設定される（図６参照）。第２収納先群を構成する各収納先の所在区域の情報６３４と、登録者データベースＤＢ＿ａにおける収納指定区域の情報６１３（図５参照）と、に基づき、データベースＤＢにおいて（ＤＢ＿ａ及びＤＢ＿ｂにおいて）第２収納先群を構成する各収納先が何れかの登録者に対応付けられる。この対応付けの内容に基づき、制御部１０は、第２収納先群の何れかの収納先を各登録物品の新たな規定収納先としてユーザに提案する。この提案は表示部４１又はスピーカ４４を用いて行われ、当該提案に対して同意する旨の指示をユーザから受けると、制御部１０は、自身が提案した内容に従って各登録物品に対する規定収納先を設定する。
In the layout change process, the storage destination database DB_b before the layout change process is discarded, and a new storage destination database DB_b is constructed by executing the storage destination registration process in the initial registration process for each storage destination that constitutes the second storage destination group. In the newly constructed storage destination database DB_b, information 631-635 is set for each storage destination that constitutes the second storage destination group (see FIG. 6). Based on
例えば、図１８に示す如く、第２収納群中の４つの収納先である第ｊＦ～第（ｊＦ＋３）収納先が第ｉＦ登録者に対応付けられる場合において、登録物品９１０の所有者が第ｉＦ登録者である状態ＳＴ６を考える（ｉＦ及びｊＦは整数）。状態ＳＴ６において、レイアウト変更処理に係る制御部１０は、第ｊＦ～第（ｊＦ＋３）収納先の何れか１つを登録物品９１０の新たな規定収納先としてユーザに提案する。この際、登録物品９１０の容積（６５５）及び形状情報（６５４）、並びに、第ｊＦ～第（ｊＦ＋３）収納先の３Ｄマップ（６３５）に基づき、制御部１０は、登録物品９１０にとって好ましい収納先を登録物品９１０の新たな規定収納先としてユーザに提案すれば良い。
For example, as shown in Fig. 18, in the case where the jF to ( jF + 3) storage destinations, which are four storage destinations in the second storage group, are associated with the iF registrant, consider a state ST6 in which the owner of the registered
本実施例によれば、レイアウト変更等により収納先が切り替えられる際に、登録済みの情報を用いて速やかに妥当な規定収納先が提案され、物品の整理整頓が速やかに完了する。 According to this embodiment, when the storage destination is switched due to a layout change or the like, a suitable default storage destination is quickly proposed using registered information, and the organization and tidying of items is quickly completed.
登録物品９１０の新たな規定収納先として例えば第ｊＦ収納先を提案する場合、制御部１０は、登録物品９１０の画像（６５３）、形状（６５４）及び容積（６５５）と、第ｊＦ収納先の３Ｄマップ（６３５）と、に基づき、登録物品９１０が第ｊＦ収納先に収納される様子を示す動画像を生成して表示部４１に表示して良い。これにより、登録物品９１０が第ｊＦ収納先に収納されるイメージを分かりやすくユーザに提示することができる。
When proposing, for example, the jth Fth storage destination as a new specified storage destination for the registered
［実施例ＥＸ７］
実施例ＥＸ７を説明する。上述したように、物体検出処理及びトラッキング処理によりセンシング空間内で各登録物品が追跡され（詳細には各登録物品の位置及び移動の軌跡が追跡され）、追跡の結果に基づき各登録物体の現収納先（６７２）が検出される。制御部１０は以下の収納先相違対応処理を行っても良い。
[Example EX7]
Example EX7 will be described. As described above, each registered article is tracked in the sensing space by the object detection process and the tracking process (more specifically, the position and movement trajectory of each registered article are tracked), and the current storage destination (672) of each registered object is detected based on the tracking result. The
収納先相違対応処理において、制御部１０は、第ｉ登録物品の現収納先と第ｉ登録物品の規定収納先とを比較し、それらが相違する場合、ユーザに対して所定の相違対応通知を行う。収納先相違対応処理を登録物品ごとに実行することができる。制御部１０は、収納先相違対応処理を、例えば周期的に実行しても良いし、ユーザ指示に基づき実行しても良い。
In the storage destination discrepancy response process, the
相違対応通知は、第ｉ登録物品の現収納先が第ｉ登録物品の規定収納先と異なることを示す通知を含んでいて良い。相違対応通知は、第ｉ登録物品を第ｉ登録物品の規定収納先に戻すようユーザに促す通知を含んでいても良い。これにより、第ｉ登録物品の正しい収納が促進される。 The discrepancy response notification may include a notification indicating that the current storage location of the i-th registered item is different from the specified storage location of the i-th registered item. The discrepancy response notification may also include a notification prompting the user to return the i-th registered item to the specified storage location of the i-th registered item. This promotes correct storage of the i-th registered item.
相違対応通知において、制御部１０は、第ｉ登録物品の規定収納先を第ｉ登録物品の現収納先に変更するかをユーザに問い合わせても良い。この問い合わせを受けたユーザが当該変更を肯定する指示を収納支援装置１に入力したとき、制御部１０は第ｉ登録物品の規定収納先を第ｉ登録物品の現収納先に変更すると良い（即ち、第ｉ登録物品の情報６５９を第ｉ登録物品の現収納先を表す情報に更新しても良い）。これにより、第ｉ登録物品の実際の収納先に併せて規定収納先を現実に即したものに更新してゆくことができる。
In the discrepancy response notification, the
［実施例ＥＸ８］
実施例ＥＸ８を説明する。第ｉ登録物品の情報６７８（図８参照）による消耗品フラグにより第ｉ登録物品が消耗品であるか否かが表わされる。第ｉ登録物品について“１”の消耗品フラグは、第ｉ登録物品が消耗品であることを指し示す。第ｉ登録物品が消耗品であるか否かの判別は上記の物体分類処理において実現される。
[Example EX8]
An embodiment EX8 will be described. The consumables flag according to the
任意の第ｉ登録物品が消耗品である場合には特に、住居ＨＨ内に存在する第ｉ登録物品の個数をデータベースＤＢにて管理及び登録しておくと良い。ここでは、第ｉ登録物品の個数を第ｉ登録物品の他情報６８０に設定しておくものとする（図８参照）。制御部１０は、撮影画像情報ＳＩ２１に基づいて、又は、撮影画像情報ＳＩ２１及び光検出情報ＳＩ２２に基づいて、住居ＨＨ内に存在する第ｉ登録物品の個数を検出し、その検出された個数（以下、第ｉ登録物品の検出個数ＮＵＭＤＥＴと称する）を第ｉ登録物品の他情報６８０に設定できる。
In particular, when any ith registered item is a consumable item, it is advisable to manage and register the number of ith registered items present in the residence HH in the database DB. Here, the number of ith registered items is set in the
そして、他情報６８０に設定された第ｉ登録物品の検出個数ＮＵＭＤＥＴは、ユーザ操作に基づき表示部４１に表示されるなどして、ユーザに通知されると良い。これにより、第ｉ登録物品の個数をユーザは容易に知ることができる。
The detected number NUM DET of the i-th registered article set in the
特定の種類の物品（主に消耗品）に関しては必要数が制御部１０にて設定されている。特定の種類の物品とは、イベント時に複数個消費されるような物品であり、例えば、紙コップ、使い捨て歯ブラシ及びペットボトル入りジュース等である。必要数はユーザ操作により予め定められているものとする。例えば、第ｉ登録物品が紙コップである場合、第ｉ登録物品は特定の種類の物品に属し、第ｉ登録物品の検出個数ＮＵＭＤＥＴと共に第ｉ登録物品の必要数ＮＵＭＮＥＥＤも第ｉ登録物品の他情報６８０に設定される。そして例えば、第ｉ登録物品の検出個数ＮＵＭＤＥＴと第ｉ登録物品の必要数ＮＵＭＮＥＥＤとの間に所定条件が満たされるとき、例えば差（ＮＵＭＤＥＴ－ＮＵＭＮＥＥＤ）がゼロ又は正の所定値以下であるとき、制御部１０は、第ｉ登録物品の補充（個数増大）を促す補充通知をユーザに行っても良い。
The required number of specific types of items (mainly consumables) is set by the
［実施例ＥＸ９］
実施例ＥＸ９を説明する。第ｉ登録物品の情報６７７（図８参照）による廃棄済推定フラグは、第ｉ登録物品が廃棄済推定物品であるか否かを表すフラグである。第ｉ登録物品について“１”の廃棄済推定フラグは第ｉ登録物品が廃棄済推定物品であることを指し示す。廃棄済推定物品とは、廃棄された物品であると制御部１０により推定された物品を指す。各登録物品の廃棄済推定フラグの初期値は“０”である。例えば、制御部１０は、ユーザの発話内容に対する音声認識処理の結果に基づき又はインターフェース部４０への入力操作の内容に基づき第ｉ登録物品が廃棄されたのかを推定する。そして、第ｉ登録物品が廃棄されたと推定される場合、第ｉ登録物品の廃棄済推定フラグ（６７７）に“１”を代入する。例えば、特定の登録物品の名称が“ＢＢＢ”である場合において、登録者間の会話で「ＢＢＢは少し前に捨てたよ」という発話があったとき、その発話の内容に対する音声認識処理の結果に基づき、制御部１０は特定の登録物品に対する廃棄済推定フラグ（６７７）に“１”を代入する。尚、第ｉ登録物品の廃棄とは、第ｉ登録物品が住居ＨＨの居住空間（収納先を含む）に存在しなくなることを意味する。
[Example EX9]
Example EX9 will be described. The discarded estimated flag according to the
各登録物品の廃棄済推定フラグに基づく情報は、ユーザ操作に基づき表示部４１に表示されるなどしてユーザに通知されて良い。これにより、任意の登録物品に関して当該登録物品が廃棄されたか否かをユーザに知らせることが可能となる。任意の登録者は自身が何らかの物品を廃棄したのにも関わらず、廃棄したという事実を忘れる場合がある。また、任意の登録者が知らない内に他の登録者が何らかの物品を廃棄する場合もある。これらの場合において上記通知は有益となり得る。
Information based on the discarded inferred flag for each registered item may be notified to the user, for example by being displayed on the
［実施例ＥＸ１０］
実施例ＥＸ１０を説明する。
[Example EX10]
Example EX10 will now be described.
任意の第ｉ登録物品の規定収納先が登録される際、ユーザは任意の付加情報を収納支援装置１に入力することで、付加情報を第ｉ登録物品に関連づけてデータベースＤＢに保存することができる。例えば、第ｉ登録物品の規定収納先として第１収納先が登録される際、ユーザは、第ｉ登録物品の規定収納先を第１収納先にしている理由を付加情報に含めておくことができる。その後、保存された付加情報は、任意のタイミングにおいてユーザ操作に基づき表示部４１に表示されるなどしてユーザに通知されて良い。これにより、複数の登録者間で当該理由を共有するといったことが可能である。
When the designated storage destination of any registered item i is registered, the user can input any additional information into the
実施例ＥＸ６では、同一の住居ＨＨ内で各登録物品の収納先を切り替える例を挙げたが、実施例ＥＸ６に示した方法は住居自体の変更を伴う引っ越しにおいても適用できる。 In Example EX6, an example was given of switching the storage location of each registered item within the same residence HH, but the method shown in Example EX6 can also be applied to moving, which involves changing the residence itself.
図１のセンサ部２０において光検出部２２は省略され得る。この場合、撮影画像情報ＳＩ２１及び光検出情報ＳＩ２２に基づいて実行されると上述した任意の処理又は動作は、光検出情報ＳＩ２２を利用することなく撮影画像情報ＳＩ２１に基づいて実行されることになる。また、センサ部２０において環境測定部２３は省略可能である。
The light detection unit 22 may be omitted from the
複数の登録者が存在することを前提として上述の各実施例を説明したが、登録者の総数は１であり得る。 The above examples have been described assuming that there are multiple registered users, but the total number of registered users may be one.
［実施例ＥＸ１１］
実施例ＥＸ１１を説明する。
[Example EX11]
Example EX11 will now be described.
住居ＨＨに対して収納支援装置１が適用される例を上述したが、住居ＨＨの代わりに、任意の工場、任意の施設、任意の乗り物などに収納支援装置１が適用されて良い。
Although the above describes an example in which the
収納支援装置１が適用される乗り物には車両が含まれる。車両は任意の種類の自動車を含み、一般乗用車でも良いし、バス又は救急車などの公共の自動車でも良い。収納支援装置１が適用される車両は複数の収納先を備える。車両に収納支援装置１が適用される場合、車両の適所に収納支援装置１が設置され、上述の居住空間は車両の車室内の空間に読み替えられる。車両に収納支援装置１が適用される場合、各登録物品は車両に積載されるべき物品であり、車両に設けられる複数の収納先の中から、登録物品ごとに規定収納先が選択及び設定されると良い。
Vehicles to which the
車両において道具等の収納場所が定められているケースも多い。例えば救急車には多数の医療器具が搭載されており、多くの医療器具については収納されるべき場所（収納先）が定められていることから、収納支援装置１が有益に機能すると期待される。また、住居の引っ越しにおける収納支援装置１の動作を、車両での荷物積替支援にも適用できる。
In many cases, storage locations for tools and the like are designated in vehicles. For example, ambulances are equipped with many medical instruments, and since many of the medical instruments have designated locations (storage destinations) where they should be stored, it is expected that the
本発明に係る任意の装置（例えば収納支援装置１）を、便宜上、対象装置と称する。対象装置を、集積回路等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。対象装置にて実現される機能の全部又は一部である任意の特定の機能をプログラムとして記述して、該プログラムを対象装置に搭載可能なメモリに保存しておいても良い。そして、該プログラムをプログラム実行装置（例えば、対象装置に搭載可能なマイクロコンピュータ）上で実行することによって、その特定の機能を実現するようにしても良い。上記プログラムは任意の記録媒体に記録されうる。上記プログラムを記録する記録媒体は対象装置と異なる機器（サーバ機器等）に搭載又は接続されても良い。 Any device according to the present invention (e.g., storage assistance device 1) is referred to as a target device for convenience. The target device can be configured as hardware such as an integrated circuit, or a combination of hardware and software. Any specific function that is all or part of the functions realized by the target device can be written as a program, and the program can be stored in a memory that can be mounted on the target device. The specific function can then be realized by executing the program on a program execution device (e.g., a microcomputer that can be mounted on the target device). The program can be recorded on any recording medium. The recording medium that records the program can be mounted on or connected to a device (such as a server device) different from the target device.
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。 The embodiments of the present invention can be modified in various ways as appropriate within the scope of the technical ideas set forth in the claims. The above embodiments are merely examples of the present invention, and the meanings of the terms of the present invention or each of the constituent elements are not limited to those described in the above embodiments. The specific numerical values shown in the above description are merely examples, and can, of course, be changed to various numerical values.
１ 収納支援装置
１０ 制御部
１１ 登録処理部
１２ 物体検出部
１３ トラッキング処理部
１４ 音声対応部
１５ 通知部
２０ センサ部
２１ カメラ部
２２ 光検出部
２３ 環境測定部
３０ 記録部
４０ インターフェース部
４１ 表示部
４２ 操作部
４３ マイクロホン
４４ スピーカ
ＤＢ データベース
ＤＢ＿ａ 登録者データベース
ＤＢ＿ｂ 収納先データベース
ＤＢ＿ｃ 物品データベース
ＤＢ＿ｄ 総合管理データベース
REFERENCE SIGNS
Claims (14)
各物品が複数の登録物品の何れであるかを識別する制御部と、
各登録物品を収納すべき規定収納先の情報を含むデータベースと、を備え、
前記制御部は、前記識別の結果と前記データベースとに基づいて、各物品の収納を支援する収納支援情報をユーザに通知し、
前記制御部は、収納されるべき注目物品に対する前記収納支援情報をユーザに通知する際、ゲームをユーザに提示することを通じて前記注目物品に対する前記規定収納先をユーザに通知し、前記ゲームにおいて前記注目物品に対する前記規定収納先を正解回答とする質問をユーザに提示し、前記質問に対するユーザの回答に応じた表示を行うことを通じて前記注目物品に対する前記規定収納先をユーザに通知する
、収納支援装置。 A storage assistance device that assists in the storage of items,
A control unit that identifies which of a plurality of registered articles each of the articles is a registered article;
A database including information on the designated storage location for storing each registered item;
The control unit notifies a user of storage assistance information for assisting in storage of each item based on a result of the identification and the database,
The control unit, when notifying a user of the storage assistance information for a focused item to be stored, notifies the user of the specified storage destination for the focused item by presenting a game to the user, presents the user with a question in the game in which the correct answer is the specified storage destination for the focused item, and notifies the user of the specified storage destination for the focused item by displaying a message corresponding to the user's answer to the question.
前記制御部は、新規物品を前記複数の登録物品に追加するとき、前記新規物品のカメラによる撮影結果と、前記複数の収納先に関する情報と、に基づき、前記複数の収納先の中から前記新規物品が収納されるべき収納先を選択してユーザに通知する
、請求項１に記載の収納支援装置。 the database includes information regarding a plurality of storage locations;
2. The storage assistance device of claim 1, wherein when a new item is added to the plurality of registered items, the control unit selects a storage destination from among the plurality of storage destinations to which the new item should be stored based on the photograph of the new item taken by a camera and information regarding the plurality of storage destinations, and notifies the user.
各物品が複数の登録物品の何れであるかを識別する制御部と、
各登録物品を収納すべき規定収納先の情報を含むデータベースと、を備え、
前記制御部は、前記識別の結果と前記データベースとに基づいて、各物品の収納を支援する収納支援情報をユーザに通知し、
前記データベースは複数の収納先に関する情報を含み、
前記制御部は、新規物品を前記複数の登録物品に追加するとき、前記新規物品のカメラによる撮影結果と、前記複数の収納先に関する情報と、に基づき、前記複数の収納先の中から前記新規物品が収納されるべき収納先を選択してユーザに通知し、
前記データベースにおいて、複数の登録者及び前記複数の収納先が登録されるとともに各収納先が何れかの登録者に対応付けられ、
前記制御部は、前記新規物品の所有者を特定の登録者に設定した上で前記新規物品を前記複数の登録物品に追加するとき、前記特定の登録者に対応付けられた１以上の収納先の中から前記新規物品が収納されるべき収納先を選択してユーザに通知する
、収納支援装置。 A storage assistance device that assists in the storage of items,
A control unit that identifies which of a plurality of registered articles each of the articles is a registered article;
A database including information on the designated storage location for storing each registered item;
The control unit notifies a user of storage assistance information for assisting in storage of each item based on a result of the identification and the database,
the database includes information regarding a plurality of storage locations;
When adding a new item to the plurality of registered items, the control unit selects a storage destination where the new item should be stored from among the plurality of storage destinations based on the photographed result of the new item by the camera and information on the plurality of storage destinations, and notifies the user of the selection;
In the database, a plurality of registrants and a plurality of depositories are registered, and each depository is associated with one of the registrants;
When the control unit sets the owner of the new item to a specific registered person and adds the new item to the multiple registered items, the control unit selects a storage destination where the new item should be stored from one or more storage destinations associated with the specific registered person and notifies the user.
前記制御部は、前記新規物品の所有者を前記特定の登録者に設定した上で前記新規物品を前記複数の登録物品に追加するとき、前記特定の登録者の嗜好情報も考慮して前記選択を行う
、請求項３に記載の収納支援装置。 The database includes preference information for each registrant,
4. The storage assistance device according to claim 3, wherein when the control unit sets an owner of the new item to the specific registrant and adds the new item to the plurality of registered items, the control unit makes the selection while also taking into consideration preference information of the specific registrant.
各物品が複数の登録物品の何れであるかを識別する制御部と、
各登録物品を収納すべき規定収納先の情報を含むデータベースと、を備え、
前記制御部は、前記識別の結果と前記データベースとに基づいて、各物品の収納を支援する収納支援情報をユーザに通知し、
前記データベースにおいて、複数の登録者及び複数の収納先が登録されるとともに各収納先が何れかの登録者に対応付けられ、
前記制御部は、各登録物品及び各登録者を撮影するカメラ部を用いて各登録者による各登録物品の使用状況を認識し、各登録物品に対して前記規定収納先が設定されている状態において、前記使用状況の認識結果に基づき何れかの登録物品に対する新たな規定収納先を提案する
、収納支援装置。 A storage assistance device that assists in the storage of items,
A control unit that identifies which of a plurality of registered articles each of the articles is a registered article;
A database including information on the designated storage location for storing each registered item;
The control unit notifies a user of storage assistance information for assisting in storage of each item based on a result of the identification and the database,
In the database, a plurality of registrants and a plurality of depositories are registered, and each depository is associated with one of the registrants;
The control unit of the storage support device recognizes the usage status of each registered item by each registered person using a camera unit that photographs each registered item and each registered person, and when a specified storage destination has been set for each registered item, suggests a new specified storage destination for any of the registered items based on the recognition results of the usage status.
各物品が複数の登録物品の何れであるかを識別する制御部と、
各登録物品を収納すべき規定収納先の情報を含むデータベースと、を備え、
前記制御部は、前記識別の結果と前記データベースとに基づいて、各物品の収納を支援する収納支援情報をユーザに通知し、
前記データベースにおいて、複数の登録者及び前記複数の登録物品が登録されるとともに各登録物品の所有者が登録され、
前記複数の登録物品を収納すべき複数の収納先が第１収納先群から第２収納先群に切り替えられるとき、前記データベースにおいて前記第２収納先群を構成する各収納先が何れかの登録者に対応付けられ、前記制御部は、その対応付けの内容に基づき、前記第２収納先群の何れかの収納先を各登録物品の新たな規定収納先としてユーザに提案する
、収納支援装置。 A storage assistance device that assists in the storage of items,
A control unit that identifies which of a plurality of registered articles each of the articles is a registered article;
A database including information on the designated storage location for storing each registered item;
The control unit notifies a user of storage assistance information for assisting in storage of each item based on a result of the identification and the database,
In the database, a plurality of registrants and the plurality of registered items are registered, and an owner of each registered item is registered;
When the multiple storage locations in which the multiple registered items are to be stored are switched from a first storage location group to a second storage location group, each storage location constituting the second storage location group is associated with a registered user in the database, and the control unit suggests to the user one of the storage locations in the second storage location group as a new default storage location for each registered item based on the contents of the association.
各登録物品は前記車両に積載されるべき物品であり、前記規定収納先は前記車両に設けられる
、請求項１～６の何れかに記載の収納支援装置。 The storage assistance device is installed in a vehicle,
7. The storage assistance device according to claim 1, wherein each registered article is an article to be loaded onto the vehicle, and the specified storage location is provided on the vehicle.
、請求項１に記載の収納支援装置。 The storage assistance device of claim 1, wherein the control unit detects the current storage destination of each registered item by tracking each registered item using a camera unit that photographs each registered item, and if the current storage destination of any registered item differs from the specified storage destination of the registered item, provides a predetermined notification to the user.
、請求項８に記載の収納支援装置。 The storage assistance device according to claim 8, wherein in the specified notification when the current storage destination of any registered item differs from the specified storage destination of the registered item, the control unit inquires the user as to whether to change the specified storage destination of the registered item to the current storage destination of the registered item.
各物品が複数の登録物品の何れであるかを識別する識別工程と、
前記識別の結果と各登録物品を収納すべき規定収納先の情報を含むデータベースとに基づいて、各物品の収納を支援する収納支援情報をユーザに通知する通知工程と、を備え、
収納されるべき注目物品に対する前記収納支援情報をユーザに通知する際、ゲームをユーザに提示することを通じて前記注目物品に対する前記規定収納先をユーザに通知し、前記ゲームにおいて前記注目物品に対する前記規定収納先を正解回答とする質問をユーザに提示し、前記質問に対するユーザの回答に応じた表示を行うことを通じて前記注目物品に対する前記規定収納先をユーザに通知する
、収納支援方法。 A storage assistance method executed by a computer for assisting in the storage of an item, comprising:
an identification step of identifying each item as one of a plurality of registered items;
and a notification step of notifying a user of storage support information for supporting the storage of each item based on the result of the identification and a database including information on a prescribed storage destination in which each registered item should be stored,
The storage assistance method includes, when notifying a user of storage assistance information for a focused item to be stored, notifying the user of the specified storage destination for the focused item by presenting a game to the user, presenting the user with a question in the game in which the specified storage destination for the focused item is a correct answer, and notifying the user of the specified storage destination for the focused item by displaying a display corresponding to the user's answer to the question.
各物品が複数の登録物品の何れであるかを識別する識別工程と、
前記識別の結果と各登録物品を収納すべき規定収納先の情報を含むデータベースとに基づいて、各物品の収納を支援する収納支援情報をユーザに通知する通知工程と、を備え、
前記データベースは複数の収納先に関する情報を含み、
当該収納支援方法では、新規物品を前記複数の登録物品に追加するとき、前記新規物品のカメラによる撮影結果と、前記複数の収納先に関する情報と、に基づき、前記複数の収納先の中から前記新規物品が収納されるべき収納先を選択してユーザに通知し、
前記データベースにおいて、複数の登録者及び前記複数の収納先が登録されるとともに各収納先が何れかの登録者に対応付けられ、
当該収納支援方法では、前記新規物品の所有者を特定の登録者に設定した上で前記新規物品を前記複数の登録物品に追加するとき、前記特定の登録者に対応付けられた１以上の収納先の中から前記新規物品が収納されるべき収納先を選択してユーザに通知する
、収納支援方法。 A storage assistance method executed by a computer for assisting in the storage of an item, comprising:
an identification step of identifying each item as one of a plurality of registered items;
and a notification step of notifying a user of storage support information for supporting the storage of each item based on the result of the identification and a database including information on a prescribed storage destination in which each registered item should be stored,
the database includes information regarding a plurality of storage locations;
In the storage support method, when a new item is added to the plurality of registered items, a storage destination in which the new item should be stored is selected from the plurality of storage destinations based on the photographed result of the new item by the camera and information on the plurality of storage destinations, and notifies the user of the selection;
In the database, a plurality of registrants and a plurality of depositories are registered, and each depository is associated with one of the registrants;
In this storage assistance method, when the owner of the new item is set to a specific registered person and the new item is added to the multiple registered items, a storage destination where the new item should be stored is selected from one or more storage destinations associated with the specific registered person and notified to the user.
各物品が複数の登録物品の何れであるかを識別する識別工程と、
前記識別の結果と各登録物品を収納すべき規定収納先の情報を含むデータベースとに基づいて、各物品の収納を支援する収納支援情報をユーザに通知する通知工程と、を備え、
前記データベースにおいて、複数の登録者及び複数の収納先が登録されるとともに各収納先が何れかの登録者に対応付けられ、
当該収納支援方法では、各登録物品及び各登録者を撮影するカメラ部を用いて各登録者による各登録物品の使用状況を認識し、各登録物品に対して前記規定収納先が設定されている状態において、前記使用状況の認識結果に基づき何れかの登録物品に対する新たな規定収納先を提案する
、収納支援方法。 A storage assistance method executed by a computer for assisting in the storage of an item, comprising:
an identification step of identifying each item as one of a plurality of registered items;
and a notification step of notifying a user of storage support information for supporting the storage of each item based on the result of the identification and a database including information on a prescribed storage destination in which each registered item should be stored,
In the database, a plurality of registrants and a plurality of depositories are registered, and each depository is associated with one of the registrants;
In this storage assistance method, a camera unit is used to photograph each registered item and each registered person, to recognize the usage status of each registered item by each registered person, and when a designated storage destination has been set for each registered item, a new designated storage destination for one of the registered items is proposed based on the recognition results of the usage status.
各物品が複数の登録物品の何れであるかを識別する識別工程と、
前記識別の結果と各登録物品を収納すべき規定収納先の情報を含むデータベースとに基づいて、各物品の収納を支援する収納支援情報をユーザに通知する通知工程と、を備え、
前記データベースにおいて、複数の登録者及び前記複数の登録物品が登録されるとともに各登録物品の所有者が登録され、
前記複数の登録物品を収納すべき複数の収納先が第１収納先群から第２収納先群に切り替えられるとき、前記データベースにおいて前記第２収納先群を構成する各収納先が何れかの登録者に対応付けられ、当該収納支援方法では、その対応付けの内容に基づき、前記第２収納先群の何れかの収納先を各登録物品の新たな規定収納先としてユーザに提案する
、収納支援方法。 A storage assistance method executed by a computer for assisting in the storage of an item, comprising:
an identification step of identifying each item as one of a plurality of registered items;
and a notification step of notifying a user of storage support information for supporting the storage of each item based on the result of the identification and a database including information on a prescribed storage destination in which each registered item should be stored,
In the database, a plurality of registrants and the plurality of registered items are registered, and an owner of each registered item is registered;
When the multiple storage destinations for storing the multiple registered items are switched from a first storage destination group to a second storage destination group, each storage destination constituting the second storage destination group is associated with a registered user in the database, and the storage support method suggests to the user one of the storage destinations in the second storage destination group as a new default storage destination for each registered item based on the contents of the association.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021103829A JP7651387B2 (en) | 2021-06-23 | 2021-06-23 | Storage support device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021103829A JP7651387B2 (en) | 2021-06-23 | 2021-06-23 | Storage support device and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023002958A JP2023002958A (en) | 2023-01-11 |
| JP7651387B2 true JP7651387B2 (en) | 2025-03-26 |
Family
ID=84817188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021103829A Active JP7651387B2 (en) | 2021-06-23 | 2021-06-23 | Storage support device and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7651387B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7426760B1 (en) * | 2023-03-29 | 2024-02-02 | オーリス株式会社 | House product management system and house product management method |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004005197A (en) | 2002-05-31 | 2004-01-08 | Ricoh Co Ltd | Simulation system, simulation method and program |
| JP2004323135A (en) | 2003-04-22 | 2004-11-18 | Matsushita Electric Ind Co Ltd | Goods management system |
| JP2006343964A (en) | 2005-06-08 | 2006-12-21 | Canon Inc | Document management system, document management method, and program |
| JP2007111854A (en) | 2003-06-02 | 2007-05-10 | Matsushita Electric Ind Co Ltd | Article handling system and article handling server |
| JP2010020425A (en) | 2008-07-08 | 2010-01-28 | King Jim Co Ltd | Management database device and article management system |
| JP2018056253A (en) | 2016-09-28 | 2018-04-05 | パナソニックＩｐマネジメント株式会社 | Component management support system and component management support method |
| JP2019104096A (en) | 2017-12-14 | 2019-06-27 | 株式会社レイテクト | Tool storage shed |
| WO2019130977A1 (en) | 2017-12-25 | 2019-07-04 | パナソニックＩｐマネジメント株式会社 | Tidying-up assistance system and program |
| JP2019113901A (en) | 2017-12-20 | 2019-07-11 | ヤフー株式会社 | Device, method, and program for processing information |
| JP2019167240A (en) | 2018-03-26 | 2019-10-03 | パナソニックＩｐマネジメント株式会社 | Loading information provision system and loading information provision method |
| JP2021051346A (en) | 2019-09-20 | 2021-04-01 | 旭化成ホームズ株式会社 | Cleanup support device, cleanup support program and cleanup support method |
-
2021
- 2021-06-23 JP JP2021103829A patent/JP7651387B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004005197A (en) | 2002-05-31 | 2004-01-08 | Ricoh Co Ltd | Simulation system, simulation method and program |
| JP2004323135A (en) | 2003-04-22 | 2004-11-18 | Matsushita Electric Ind Co Ltd | Goods management system |
| JP2007111854A (en) | 2003-06-02 | 2007-05-10 | Matsushita Electric Ind Co Ltd | Article handling system and article handling server |
| JP2006343964A (en) | 2005-06-08 | 2006-12-21 | Canon Inc | Document management system, document management method, and program |
| JP2010020425A (en) | 2008-07-08 | 2010-01-28 | King Jim Co Ltd | Management database device and article management system |
| JP2018056253A (en) | 2016-09-28 | 2018-04-05 | パナソニックＩｐマネジメント株式会社 | Component management support system and component management support method |
| JP2019104096A (en) | 2017-12-14 | 2019-06-27 | 株式会社レイテクト | Tool storage shed |
| JP2019113901A (en) | 2017-12-20 | 2019-07-11 | ヤフー株式会社 | Device, method, and program for processing information |
| WO2019130977A1 (en) | 2017-12-25 | 2019-07-04 | パナソニックＩｐマネジメント株式会社 | Tidying-up assistance system and program |
| JP2019167240A (en) | 2018-03-26 | 2019-10-03 | パナソニックＩｐマネジメント株式会社 | Loading information provision system and loading information provision method |
| JP2021051346A (en) | 2019-09-20 | 2021-04-01 | 旭化成ホームズ株式会社 | Cleanup support device, cleanup support program and cleanup support method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023002958A (en) | 2023-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11334084B2 (en) | Apparatus and method of generating map data of cleaning space | |
| Puntoni et al. | Consumers and artificial intelligence: An experiential perspective | |
| Long et al. | Co-designing AI literacy exhibits for informal learning spaces | |
| US11413764B2 (en) | Serving robot and method for receiving customer using the same | |
| CN111201539B (en) | Method, medium and computer system for determining matching scenarios of user behavior | |
| US10992491B2 (en) | Smart home automation systems and methods | |
| CN110326041B (en) | Natural language interaction for smart assistants | |
| KR100979516B1 (en) | Service recommendation method and service recommendation device for network-based robot | |
| US20190369628A1 (en) | Artificial intelligence device for guiding arrangement location of air cleaning device and operating method thereof | |
| WO2021127225A1 (en) | Methods and systems for defining emotional machines | |
| CN106415509A (en) | Hub-to-hub peripheral discovery | |
| JP7273538B2 (en) | Apparatus, method and program | |
| KR102134189B1 (en) | Method and apparatus for providing book contents using artificial intelligence robots | |
| JP7651387B2 (en) | Storage support device and method | |
| JP2012213828A (en) | Robot control device and program | |
| US11686591B2 (en) | Information processing apparatus, information processing methods and information processing system | |
| JP7342965B2 (en) | Information processing device, control method and program | |
| US12397416B2 (en) | Robot control method, storage medium and electronic device | |
| US20240386667A1 (en) | Handheld personal device for providing customized content by a virtual docent | |
| JP2024080488A (en) | Administrator management device, administrator management method, and storage support device | |
| WO2021132088A1 (en) | Information processing system, information processing device, and information processing method | |
| US20210004747A1 (en) | Information processing device, information processing method, and program | |
| JP7425681B2 (en) | Social ability generation device, social ability generation method, and communication robot | |
| JP2024071165A (en) | Information terminal, product recommendation system, product recommendation method and program | |
| US20250137794A1 (en) | Behavior suggestion device and behavior suggestion method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20241120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250313 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7651387 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |