JP6738655B2 - Guide display system, guide display method, and guide display program - Google Patents
Guide display system, guide display method, and guide display program Download PDFInfo
- Publication number
- JP6738655B2 JP6738655B2 JP2016116633A JP2016116633A JP6738655B2 JP 6738655 B2 JP6738655 B2 JP 6738655B2 JP 2016116633 A JP2016116633 A JP 2016116633A JP 2016116633 A JP2016116633 A JP 2016116633A JP 6738655 B2 JP6738655 B2 JP 6738655B2
- Authority
- JP
- Japan
- Prior art keywords
- comfort
- unit
- information
- guide
- destination candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、利用者に対して、案内情報を提供するための案内表示システム、案内表示方法及び案内表示プログラムに関する。 The present invention relates to a guidance display system, guidance display method, and guidance display program for providing guidance information to a user.
屋外、店頭、公共空間、交通機関等で、ネットワークに接続したディスプレイなどの電子的な表示機器を使って情報を発信するデジタルサイネージ（Digital Signage：電子看板）が利用されつつある。 Digital signage (digital signage) that transmits information using an electronic display device such as a display connected to a network is being used outdoors, in stores, in public spaces, and in transportation facilities.
このデジタルサイネージにおいては、不特定多数に同じ広告を流すのではなく、設置場所の地域性を考慮した視聴者ターゲットを設定し、この設定したターゲットの特定層に焦点を絞った広告メッセージを発信することができる。更に、印刷物と異なり、取替えの手間がかからない。また、動画を表示できるため、視聴者の注目度を高めることができるので、優れた広告効果が期待できる。 In this digital signage, instead of sending the same advertisement to an unspecified number of people, we set the audience target considering the regionality of the installation location, and send the advertising message focusing on the specific layer of this set target. be able to. Furthermore, unlike printed matter, it does not take time to replace. In addition, since a moving image can be displayed, the degree of attention of the viewer can be increased, and an excellent advertising effect can be expected.
このようなデジタルサイネージを、アンケートに利用する技術が検討されている（例えば、特許文献１参照。）。この文献に開示されたデジタルサイネージシステムにおいては、広告等を表すコンテンツを配信するサーバと、タッチパネルとを備えており、配信されたコンテンツを受信してタッチパネルに表示させる表示端末とを有する。ここで、表示端末は、タッチパネルにアンケート画面を表示し、アクセス者によるタッチパネルの操作を通じたアンケートの回答を受け付けて、回答の結果をサーバに送信する。また、サーバは、回答の結果を受信して記憶する。 A technique of using such digital signage for a questionnaire has been studied (for example, see Patent Document 1). The digital signage system disclosed in this document includes a server that distributes content representing advertisements and the like, and a touch panel, and has a display terminal that receives the distributed content and displays it on the touch panel. Here, the display terminal displays the questionnaire screen on the touch panel, accepts the answer to the questionnaire through the operation of the touch panel by the accessor, and transmits the answer result to the server. The server also receives and stores the result of the reply.
また、来店者に適した情報を提供するための技術が検討されている（例えば、特許文献２参照。）。この文献に開示された技術においては、店舗に設置されるカメラ装置、センサ装置を用いて、店内人情報及び店舗環境情報を検出する。そして、店内人情報、店舗環境情報と同じ属性の情報であって、顧客の行動履歴の分析結果に基づき設定される条件情報を記憶する。検出された情報と条件情報とを同じ属性同志で比較し、所定の条件が満たされるか否かを判定し、所定の条件と店舗内にある所定の機器を制御するための制御情報とを関連付けて記憶する。判定手段により所定の条件が満たされると判定された場合、所定の条件に関連付けられた制御情報を抽出し、所定の機器を制御する。 Further, a technique for providing information suitable for a visitor is under consideration (for example, refer to Patent Document 2). In the technique disclosed in this document, in-store person information and store environment information are detected using a camera device and a sensor device installed in the store. Then, the condition information, which has the same attribute as the in-store person information and the store environment information and is set based on the analysis result of the behavior history of the customer, is stored. The detected information and the condition information are compared with each other with the same attribute, and it is determined whether or not a predetermined condition is satisfied, and the predetermined condition and the control information for controlling a predetermined device in the store are associated with each other. To remember. When the determining unit determines that the predetermined condition is satisfied, the control information associated with the predetermined condition is extracted to control the predetermined device.
また、視聴者の人数やグループに応じたコンテンツを表示するためのデジタルサイネージ端末も検討されている（例えば、特許文献３参照。）。この文献に開示された情報表示装置は、所定の範囲内にいる視聴者の情報を入力し、入力された視聴者の情報に基づき視聴者の人数、視聴者のグループを判定する。更に、情報表示装置は、この視聴者のグループに基づいてコンテンツを選択し、表示部に表示する。 In addition, a digital signage terminal for displaying content according to the number of viewers and groups has been studied (see, for example, Patent Document 3). The information display device disclosed in this document inputs the information of the viewers within a predetermined range, and determines the number of viewers and the group of viewers based on the input information of the viewers. Further, the information display device selects the content based on the viewer group and displays the content on the display unit.
人通りが多いパブリックスペースに隣接する野外や、利用頻度の低い場所等を活性化するためには、対象場所の利点の宣伝、イベントの開催、インセンティブの付与等により、利用者をこれらの場所に誘導する必要があった。この場合、パブリックスペースにおいて、上述したデジタルサイネージを設置し、誘導先としての周辺地域に関する案内を表示し、周辺地域への誘導を行なうことも可能である。 In order to activate outdoor areas that are adjacent to public spaces with a large number of people and places that are used infrequently, users can be promoted to these places by promoting the advantages of the target places, holding events, giving incentives, etc. I had to induce. In this case, it is also possible to install the above-mentioned digital signage in a public space, display guidance on the surrounding area as a guidance destination, and guide the surrounding area.
しかしながら、デジタルサイネージは多様な利用者が閲覧する。このために、所定のターゲット層だけではなく、多様な利用者の状況に応じた情報提供が望ましい。ここで、利用者の状況等に応じた情報提供ができなければ、周辺地域への誘導や活性化は困難である。例えば、特許文献２においては、性別等の顧客の属性情報を利用することにより、顧客に関連する情報を提供する。しかしながら、顧客の属性だけではなく、利用者の快適性を考慮しなければ、的確な誘導を実現することができない。また、特許文献３に記載されているようにグループを考慮する場合にも、グループと誘導先との相性が良くなければ、快適感がある場所への案内を提供することは困難である。 However, digital signage is viewed by various users. For this reason, it is desirable to provide information not only for a predetermined target group but also for various user situations. If information cannot be provided according to the situation of the user, it is difficult to guide or activate the surrounding area. For example, in Patent Document 2, information relating to a customer is provided by using attribute information of the customer such as gender. However, accurate guidance cannot be realized without considering not only the attributes of the customer but also the comfort of the user. Further, even when considering a group as described in Patent Document 3, it is difficult to provide guidance to a comfortable place unless the group and the guide destination are compatible with each other.
本発明は、上述の問題に鑑みてなされたものであり、この目的は、利用者における快適感の向上可能な場所への案内情報を提供するための案内表示システム、案内表示方法及び案内表示プログラムを提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a guidance display system, a guidance display method, and a guidance display program for providing guidance information to a place where the user's comfort can be improved. To provide.
上記問題点を解決するための案内表示システムは、撮影画像に基づいて特定される変数値に対して、多変量解析によって算出された快適感指標に関連付けられた誘導先候補を記録した快適感情報記憶部と、撮影部及び表示部に接続された制御部を備える。そして、前記制御部が、前記撮影部において撮影された画像において対象者を特定し、前記対象者の撮影画像に基づいて、本人状況を特定し、前記対象者の同行者の有無を特定し、前記快適感情報記憶部を用いて、前記同行者の有無の特定結果及び前記本人状況に基づいて、快適感指標が高い誘導先候補を特定し、前記表示部において出力する。これにより、利用者の本人状況や同行者状況を考慮して、快適感を向上可能な誘導先に案内することができる。 The guidance display system for solving the above-mentioned problems is comfort information in which guidance destination candidates associated with a comfort index calculated by multivariate analysis are recorded for variable values specified based on captured images. A storage unit and a control unit connected to the imaging unit and the display unit are provided. Then, the control unit identifies the target person in the image photographed by the photographing unit, based on the photographed image of the target person, identifies the person's condition, and identifies the presence or absence of a companion of the subject person, Using the comfort feeling information storage unit, a guide destination candidate having a high comfort feeling index is specified based on the result of the presence/absence of the accompanying person and the person's condition, and is output on the display unit. As a result, it is possible to guide the user to a guidance destination that can improve the feeling of comfort, taking into consideration the user's personal situation and the accompanying person situation.
・上記案内表示システムにおいては、前記本人状況として、前記対象者の撮影画像に基づいて算出した心拍情報を特定し、前記心拍情報に基づいて、前記快適感指標が高い誘導先候補を特定することが好ましい。これにより、心拍情報（心拍数及び心拍変動）に基づいて評価した利用者の心身状態等を考慮して、誘導先候補を選定することができる。ここで、心身状態指標は、利用者の同行者に対する好感度、緊張度等を表わした指標である。 -In the guidance display system, heartbeat information calculated based on a captured image of the target person is specified as the personal condition, and a guide destination candidate with a high comfort index is specified based on the heartbeat information. Is preferred. Thereby, the guide destination candidate can be selected in consideration of the physical and mental condition of the user evaluated based on the heartbeat information (heartbeat rate and heartbeat variability). Here, the psychosomatic state index is an index that represents the user's liking for the accompanying person, the degree of tension, and the like.
・上記案内表示システムにおいては、前記対象者及び同行者の人間関係を特定し、前記人間関係に基づいて、前記快適感指標が高い誘導先候補を特定することが好ましい。これにより、同行者との関係を考慮して、誘導先候補を選定することができる。 In the guidance display system, it is preferable that the human relationship between the target person and the accompanying person is specified, and a guide destination candidate with a high comfort index is specified based on the human relationship. Thereby, the guide destination candidate can be selected in consideration of the relationship with the accompanying person.
・上記案内表示システムにおいては、誘導先候補の気象情報を取得し、前記気象情報に基づいて、前記快適感指標が高い誘導先候補を特定することが好ましい。これにより、気象状況を考慮して、誘導先候補を選定することができる。 -In the guidance display system, it is preferable that the weather information of the guide destination candidate is acquired and the guide destination candidate having the high comfort index is specified based on the weather information. Thereby, the guide destination candidate can be selected in consideration of the weather condition.
・上記案内表示システムにおいては、前記本人状況として、前記対象者の撮影画像に基づいて本人属性を特定し、前記本人属性に基づいて、前記快適感指標が高い誘導先候補を特定することが好ましい。これにより、対象者の本人属性を考慮して、誘導先候補を選定することができる。
・上記案内表示システムにおいては、前記撮影画像に基づいて、前記対象者の同行者の有無を特定することが好ましい。これにより、効率的に同行者状況を特定することができる。
-In the guidance display system, it is preferable that the person's attribute is specified as the person's situation based on the captured image of the target person, and the guide destination candidate with the high comfort index is specified based on the person's attribute. .. Thereby, the guide destination candidate can be selected in consideration of the personal attributes of the target person.
-In the guidance display system, it is preferable to identify the presence or absence of a companion of the subject based on the captured image. As a result, it is possible to efficiently identify the accompanying person situation.
本発明によれば、利用者における快適感の向上可能な場所への案内情報を提供することができる。 According to the present invention, it is possible to provide guidance information to a place where the user's comfort can be improved.
以下、一実施形態を、図１〜図５に従って説明する。本実施形態では、パブリックスペースにおいて、デジタルサイネージを利用して、利用者を所定の場所（周辺店舗や野外等）に誘導するサービスを提供するための案内表示システムとして説明する。 Hereinafter, one embodiment will be described with reference to FIGS. 1 to 5. This embodiment will be described as a guide display system for providing a service for guiding a user to a predetermined place (a peripheral store, outdoors, etc.) by using digital signage in a public space.
本実施形態では、図１に示すように、デジタルサイネージ装置１０、管理サーバ２０、気象情報提供部３０を用いる。デジタルサイネージ装置１０、気象情報提供部３０は、ネットワークを介して、管理サーバ２０に接続される。 In this embodiment, as shown in FIG. 1, a digital signage device 10, a management server 20, and a weather information providing unit 30 are used. The digital signage device 10 and the weather information providing unit 30 are connected to the management server 20 via a network.
デジタルサイネージ装置１０は、利用者の状況等に関する各種情報を取得するとともに、利用者に対して誘導先に関する情報を出力するユーザインターフェイスである。デジタルサイネージ装置１０は、表示部１１と撮影部１２とを備える。本実施形態では、表示部１１として、タッチパネルディスプレイを用いる。これにより、利用者に対して各種情報を出力するとともに、利用者の入力により情報を取得することができる。撮影部１２は、デジタルサイネージ装置１０の正面を撮影する。そして、デジタルサイネージ装置１０は、撮影画像において、利用者を認識するとともに、画像処理によって利用者に関する各種情報を特定することができる。更に、デジタルサイネージ装置１０は、利用者が保有するスマートフォン等の利用者端末４０との通信機能を有する。そして、デジタルサイネージ装置１０は、この通信機能により、利用者端末４０の識別情報を取得する。これにより、デジタルサイネージ装置１０を利用した利用者を特定することができる。 The digital signage device 10 is a user interface that acquires various kinds of information about the user's situation and outputs information about the guide destination to the user. The digital signage device 10 includes a display unit 11 and a photographing unit 12. In this embodiment, a touch panel display is used as the display unit 11. As a result, various information can be output to the user and the information can be acquired by the input of the user. The image capturing unit 12 captures an image of the front of the digital signage device 10. Then, the digital signage device 10 can recognize the user in the captured image and specify various information regarding the user by image processing. Furthermore, the digital signage device 10 has a communication function with the user terminal 40 such as a smartphone owned by the user. Then, the digital signage device 10 acquires the identification information of the user terminal 40 by this communication function. Thereby, the user who has used the digital signage device 10 can be specified.
気象情報提供部３０は、気象に関する情報を収集する気象計測装置である。この気象情報提供部３０は、デジタルサイネージ装置１０の周辺地域における気象情報（天気、気温、湿度、風速、日射量、雨量等）を測定する。そして、気象情報提供部３０は、測定した気象情報を管理サーバ２０に提供する。なお、気象情報提供部３０として、インターネットに接続された気象情報サイトを用いることも可能である。 The weather information providing unit 30 is a weather measuring device that collects information about weather. The weather information providing unit 30 measures weather information (weather, temperature, humidity, wind speed, solar radiation amount, rainfall amount, etc.) in the area around the digital signage device 10. Then, the weather information providing unit 30 provides the measured weather information to the management server 20. It is also possible to use a weather information site connected to the Internet as the weather information providing unit 30.
管理サーバ２０は、デジタルサイネージ装置１０の利用者を誘導先に案内するコンピュータである。本実施形態では、デジタルサイネージ装置１０において撮影された撮影画像を用いて、誘導先を案内する利用者（対象者）を特定する。この管理サーバ２０は、制御部２１、誘導先情報記憶部２２、サンプル情報記憶部２３、快適感情報記憶部２４を備えている。 The management server 20 is a computer that guides the user of the digital signage device 10 to a guide destination. In the present embodiment, the user (target person) who guides the guide destination is specified using the captured image captured by the digital signage device 10. The management server 20 includes a control unit 21, a guide destination information storage unit 22, a sample information storage unit 23, and a comfort feeling information storage unit 24.
制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成された制御手段として機能し、後述する処理（対象者特定段階、同行者特定段階、気象情報取得段階、誘導先抽出段階、リコメンド処理段階、フィードバック段階、分析段階等を含む処理）を行なう。このための案内表示プログラムを実行することにより、対象者特定部２１１、同行者特定部２１２、気象情報取得部２１３、誘導先選定部２１４、リコメンド処理部２１５、フィードバック部２１６、分析部２１７等として機能する。 The control unit 21 functions as a control unit composed of a CPU, a RAM, a ROM, and the like, and is described later (target person identification step, accompanying person identification step, weather information acquisition step, guide destination extraction step, recommendation processing step, feedback). Process including analysis step and analysis step). By executing the guidance display program for this purpose, the target person identification unit 211, the accompanying person identification unit 212, the weather information acquisition unit 213, the guidance destination selection unit 214, the recommendation processing unit 215, the feedback unit 216, the analysis unit 217, etc. Function.
対象者特定部２１１は、デジタルサイネージ装置１０の撮影部１２で撮影した撮影画像を用いて、誘導先を案内する対象者（デジタルサイネージ装置１０の利用者）を特定する処理を実行する。更に、対象者特定部２１１は、撮影画像（静止画及び動画）を用いて、利用者の状況に関する情報を取得する処理を実行する。 The target person identifying unit 211 uses the captured image captured by the capturing unit 12 of the digital signage device 10 to perform a process of identifying a target person (user of the digital signage device 10) to be guided to the guide destination. Furthermore, the target person identifying unit 211 executes a process of acquiring information regarding the situation of the user by using the captured image (still image and moving image).
同行者特定部２１２は、デジタルサイネージ装置１０の撮影部１２で撮影した撮影画像を用いて、利用者の同行者の状況（同行者の有無、人数等）を判定する処理を実行する。
気象情報取得部２１３は、気象情報提供部３０において測定した気象情報を取得する処理を実行する。
The companion identification unit 212 uses the captured image captured by the capturing unit 12 of the digital signage device 10 to perform a process of determining the status of the user's companion (presence or absence of companion, number of companions, etc.).
The weather information acquisition unit 213 executes a process of acquiring the weather information measured by the weather information providing unit 30.
誘導先選定部２１４は、快適感の予測関数を用いて、撮影画像や気象情報提供部３０から取得した情報に基づいて利用者を案内する誘導先候補を評価する処理を実行する。この快適感の予測関数については、後述する。 The guide destination selection unit 214 executes a process of evaluating a guide destination candidate that guides the user based on the captured image and the information acquired from the weather information providing unit 30, using the comfort prediction function. The comfort function prediction function will be described later.
リコメンド処理部２１５は、評価した誘導先候補に関する情報をデジタルサイネージ装置１０に出力する処理を実行する。
フィードバック部２１６は、誘導先を訪問した利用者から、誘導先の評価情報を取得する処理を実行する。
The recommendation processing unit 215 executes a process of outputting information about the evaluated guide destination candidate to the digital signage device 10.
The feedback unit 216 executes a process of acquiring the evaluation information of the guide destination from the user who visited the guide destination.
分析部２１７は、誘導先を訪問した利用者の評価情報に基づいて、快適感指標を算出するための処理を実行する。本実施形態では、快適感を予測するための予測関数を重回帰分析により算出する。 The analysis unit 217 executes processing for calculating the comfort index based on the evaluation information of the user who visited the guidance destination. In the present embodiment, a prediction function for predicting comfort is calculated by multiple regression analysis.
（快適感の予測関数の算出）
まず、快適感の予測関数の算出方法について説明する。ここでは、誘導先、同行者の有無に対して、利用者状況、同行者状況、環境状況、誘導先状況に基づいて、利用者における快適感を予測するための関数を算出する。
(Calculation of comfort prediction function)
First, a method of calculating a comfort feeling prediction function will be described. Here, a function for predicting the user's comfort is calculated based on the user situation, companion situation, environmental situation, and guide destination situation with respect to the guide destination and the presence or absence of a companion.
図２に示すように、快適感を算出するための予測関数を生成する。この予測関数は、目的変数（ｙ）を、複数の説明変数（ｘ）、偏回帰係数（ａ）、切片（ｂ）により算出する関数である。偏回帰係数（ａ）及び切片（ｂ）は、サンプルデータの重回帰分析により算出する。 As shown in FIG. 2, a prediction function for calculating comfort is generated. This prediction function is a function for calculating the objective variable (y) from a plurality of explanatory variables (x), partial regression coefficient (a), and intercept (b). The partial regression coefficient (a) and the intercept (b) are calculated by multiple regression analysis of sample data.
目的変数としては快適感指標を用い、説明変数（ｘ）として、時期、利用者状況、環境状況、同行者状況、誘導先候補状況を数値化した情報を用いる。
時期情報は、利用時期を数値化した評価値である。この時期情報としては、システムタイマのカレンダから取得した「休日」又は「平日」を識別した値を用いる。
A comfort index is used as the objective variable, and information that quantifies the time, user situation, environmental situation, companion situation, and guide destination candidate situation is used as the explanatory variable (x).
The time information is an evaluation value that numerically represents the time of use. As this time information, a value that identifies "holiday" or "weekday" acquired from the calendar of the system timer is used.
利用者状況情報としては、利用者の属性情報や心身状態情報を用いる。
属性情報は、利用者の本人属性を数値化した評価値である。ここでは、属性情報として、年代（年齢層）、性別、職業（会社員、学生、自営業、主婦、その他）等を数値化した情報を用いる。この属性情報は、撮影部１２において撮影した対象者画像を用いた画像認識処理により算出される。
As the user status information, the user's attribute information and psychosomatic state information are used.
The attribute information is an evaluation value obtained by digitizing the user's own attribute. Here, as the attribute information, numerical information such as age (age group), sex, occupation (company employee, student, self-employed, housewife, etc.) is used. This attribute information is calculated by image recognition processing using the subject image captured by the image capturing unit 12.
心身状態情報は、利用者の同行者に対する好感度や緊張度を数値化した評価値である。この心身状態情報は、撮影部１２において撮影した対象者動画を用いて算出した心拍情報（心拍数、心拍変動等）に基づいて予測される。例えば、交感神経緊張時には、心臓の促進作用に加えて、心拍に変動が生じ、これに伴う脈波の変化を画像により特定し、心身状態を評価することができる。 The psychosomatic state information is an evaluation value that is a numerical value of the user's companionship and tension to the accompanying person. This psychosomatic state information is predicted based on the heartbeat information (heartbeat rate, heartbeat variability, etc.) calculated using the subject moving image captured by the imaging unit 12. For example, at the time of sympathetic nervous tension, in addition to the stimulating action of the heart, fluctuations in the heartbeat occur, and changes in the pulse wave accompanying this can be specified by an image to evaluate the physical and mental condition.
更に、利用者状況情報には、飲食状況情報や利用目的情報、事前行動状況情報も含まれる。
飲食状況情報は、飲食履歴や飲食予定と快適感との相関値である。例えば、コーヒーや紅茶、ジュース類、アルコール類、ケーキや軽食等の飲食が快適感に与える影響度を数値化する。この飲食状況情報は、予め行なうアンケート等で、飲食状況に関する質問を行ない、この質問に対する回答に基づいて算出される。
Further, the user status information also includes eating and drinking status information, usage purpose information, and prior behavior status information.
The eating and drinking situation information is a correlation value between eating and drinking history and eating and drinking schedule and comfort. For example, the degree of influence of eating and drinking such as coffee, tea, juices, alcohols, cakes and light meals on the feeling of comfort is quantified. This eating and drinking situation information is calculated by asking a question regarding the eating and drinking situation in a questionnaire conducted in advance and based on the answer to this question.
利用目的情報は、誘導先の利用目的と快適感との相関値である。本実施形態では、利用目的情報としては、飲食、喫茶、休憩、待ち合わせ、談話、読書、仕事、インターネット利用等が快適感に与える影響度を数値化した値を用いる。この利用目的情報は、予め行なうアンケート等で、利用目的に関する質問を行ない、この質問に対する回答に基づいて算出される。 The purpose-of-use information is a correlation value between the purpose of use of the guide destination and the comfort level. In the present embodiment, as the purpose-of-use information, a value obtained by digitizing the degree of influence of eating and drinking, a coffee shop, a break, a meeting, a conversation, a reading, a work, the use of the Internet, and the like on comfort is used. The purpose-of-use information is calculated by asking a question about the purpose of use in a questionnaire conducted in advance and based on the answer to this question.
事前行動状況情報は、デジタルサイネージ装置１０の利用前の利用者の行動や、同行者の状況と快適感との相関値である。本実施形態では、予め行なうアンケート等で、事前行動状況に関する質問を行ない、この質問に対する回答に基づいて算出される。 The pre-action status information is a user's behavior before using the digital signage device 10 or a correlation value between the companion's situation and a feeling of comfort. In the present embodiment, a question regarding the pre-action state is asked by a questionnaire or the like performed in advance, and the question is calculated based on the answer to this question.
環境状況情報は、誘導先の気象を数値化した評価値である。本実施形態では、気象情報提供部３０から取得した気象情報に基づいて、数値化した情報を用いる。この環境状況情報は、気温、湿度、風速、日射量、降雨量であり、予め行なうアンケート等に基づいて算出した温冷感、風速に基づいて算出した気流感、日射量に基づいて日差し感等との関係性から季節毎の閾値を決定し、屋内外の誘導先判定の一項目とする。 The environmental condition information is an evaluation value that digitizes the weather of the destination. In the present embodiment, the digitized information is used based on the weather information acquired from the weather information providing unit 30. This environmental condition information includes temperature, humidity, wind speed, solar radiation, and rainfall. The thermal sensation calculated based on a questionnaire conducted in advance, the airflow sensation calculated based on the wind speed, the sunshine sensation based on the amount of solar radiation, etc. The threshold value for each season is determined based on the relationship with, and this is an item for determining the indoor/outdoor destination.
同行者状況情報としては、利用者の同行者の状況（同行者パターン）に関する情報を用いる。この同行者の状況情報には、同行者の人数や人間関係等を数値化した情報を用いる。この同行者の状況情報は、撮影部１２において撮影した全体画像を用いて算出する。また、人間関係は、同行者がいる利用者の心身状態情報に基づいて算出される。 As the companion status information, information on the status of the companion of the user (accompanying person pattern) is used. As the situation information of the accompanying persons, information that digitizes the number of the accompanying persons, human relationships, and the like is used. The companion status information is calculated using the entire image taken by the imaging unit 12. Further, the human relationship is calculated based on the mental and physical condition information of the user who is accompanied by the person.
誘導先候補状況情報は、誘導先の場所における状況と快適感との相関値である。本実施形態では、誘導先候補状況情報としては、場所評価要因、使い心地等を数値化した情報を用いる。この誘導先候補状況情報は、予め行なうアンケート等で誘導先候補状況情報に関する質問を行ない、この質問に対する回答に基づいて算出される。 The guidance destination candidate situation information is a correlation value between the situation and the feeling of comfort at the place of the guidance destination. In the present embodiment, as the guidance destination candidate situation information, information in which the place evaluation factor, the comfort, and the like are digitized is used. This guide destination candidate status information is calculated by asking a question about the guide destination candidate status information in a questionnaire or the like which is conducted in advance and based on the answer to this question.
座席状況情報としては、座席の選択可否、スタッフの誘導の有無が快適感に与える影響度を数値化した値を用いる。
場所評価要因情報としては、開放感、落ち着き度、自然感、活気等が快適感に与える影響度を評価した値を用いる。
As the seat status information, a value obtained by quantifying the degree of influence on whether or not the seat can be selected and whether or not the staff is guided to the comfort is used.
As the place evaluation factor information, a value obtained by evaluating the degree of influence of the feeling of openness, calmness, natural feeling, liveliness, and the like on comfort is used.
図３（ａ）に示すように、誘導先情報記憶部２２には、利用者を案内する誘導先候補に関する誘導先候補データ２２０が記録される。この誘導先候補データ２２０は、誘導先候補が登録された場合に記録される。誘導先候補データ２２０は、誘導先候補識別子、名称、説明、場所、順路に関するデータを含んで構成される。 As shown in FIG. 3A, the guidance destination information storage unit 22 records guidance destination candidate data 220 regarding guidance destination candidates for guiding the user. The guide destination candidate data 220 is recorded when the guide destination candidate is registered. The guide destination candidate data 220 is configured to include data regarding a guide destination candidate identifier, a name, a description, a place, and a route.
誘導先候補識別子データ領域には、誘導先候補を特定するための識別子に関するデータが記録される。本実施形態では、誘導先として、デジタルサイネージ装置１０の設置場所の周辺地域の場所を用いる。 Data relating to an identifier for identifying a guide destination candidate is recorded in the guide destination candidate identifier data area. In the present embodiment, a place in the surrounding area of the installation place of the digital signage device 10 is used as the guide destination.
名称、説明、場所の各データ領域には、それぞれ、誘導先候補の名称、説明、場所に関するデータが記録される。 In each of the data areas of name, description, and place, data relating to the name, description, and place of the guide destination candidate are recorded.
順路データ領域には、デジタルサイネージ装置１０が設置された場所から誘導先候補に移動するための順路に関するデータが記録される。 In the route data area, data relating to the route for moving from the place where the digital signage device 10 is installed to the guide destination candidate is recorded.
図３（ｂ）に示すように、サンプル情報記憶部２３には、快適感の予測関数を生成するための重回帰分析を行なうためのサンプルデータ２３０が記録される。このサンプルデータ２３０は、本サービスの提供前に、説明変数や各誘導先候補の快適感に関するアンケートを行ない、アンケート結果を回収した場合に記録される。更に、本サービスの提供開始後には、利用者に対して誘導先候補情報を提供し、誘導先についてのフィードバックを取得した場合に追加される。サンプルデータ２３０は、サンプル識別子、説明変数、回答結果に関するデータを含んで構成される。 As shown in FIG. 3B, the sample information storage unit 23 records sample data 230 for performing multiple regression analysis for generating a comfortable feeling prediction function. This sample data 230 is recorded when a questionnaire is conducted on the explanatory variables and the comfort of each guidance destination candidate before the service is provided, and the questionnaire results are collected. Further, it is added when the guidance destination candidate information is provided to the user after the start of the provision of this service and the feedback about the guidance destination is acquired. The sample data 230 is configured to include a sample identifier, an explanatory variable, and data regarding a response result.
サンプル識別子データ領域には、重回帰分析に用いるサンプルを特定するための識別子に関するデータが記録される。
説明変数データ領域には、上述した時期、利用者状況、同行者状況、環境状況の評価値に関するデータが記録される。
回答結果データ領域には、訪れた誘導先や、この誘導先における快適感に関するデータが記録される。
In the sample identifier data area, data regarding an identifier for identifying a sample used for multiple regression analysis is recorded.
In the explanatory variable data area, data relating to the evaluation values of the above-described time period, user situation, companion situation, and environmental situation are recorded.
In the answer result data area, data regarding a visited destination and a feeling of comfort at the destination is recorded.
図３（ｃ）に示すように、快適感情報記憶部２４には、快適感指標を算出するための予測関数を含む快適感管理データ２４０が記録される。この快適感管理データ２４０は、快適感指標を算出するための重回帰分析を行なって、予測関数を算出した場合に記録される。快適感管理データ２４０は、誘導先候補及び同行者パターン（一人、友達、恋人、家族等）毎に、目的変数としての快適感指標を算出するための回帰式（予測関数）により構成される。 As shown in FIG. 3C, the comfort feeling information storage unit 24 records comfort feeling management data 240 including a prediction function for calculating a comfort feeling index. The comfort management data 240 is recorded when the multiple regression analysis for calculating the comfort index is performed and the prediction function is calculated. The comfort management data 240 is composed of a regression equation (prediction function) for calculating a comfort index as an objective variable for each guide destination candidate and companion pattern (one person, friend, lover, family, etc.).
次に、上記のように構成された管理サーバ２０において、利用者を誘導先に案内する場合の処理手順について、図４〜図５を用いて説明する。
（快適感情報の記録処理）
本サービスの提供前に、管理サーバ２０に、サンプルデータを入力する。このサンプルデータには、誘導先候補及び同行者パターン毎に、重回帰分析に必要な説明変数に関する情報及び快適感（目的変数）に関する情報が含まれる。この場合、管理サーバ２０の制御部２１は、入力されたサンプルデータを、サンプル情報記憶部２３に記録する。制御部２１の分析部２１７は、サンプルデータ２３０を用いて、重回帰分析を行ない、誘導先候補、同行者パターン毎に、予測関数の偏回帰係数、切片を算出する。そして、分析部２１７は、誘導先候補及び同行者パターン毎に算出した予測関数を含めた快適感管理データ２４０を、快適感情報記憶部２４に記録する。
Next, in the management server 20 configured as described above, a processing procedure for guiding the user to the guide destination will be described with reference to FIGS. 4 to 5.
(Recording of comfort information)
Before providing this service, sample data is input to the management server 20. This sample data includes information on explanatory variables and comfort (objective variables) necessary for multiple regression analysis for each guide destination candidate and companion pattern. In this case, the control unit 21 of the management server 20 records the input sample data in the sample information storage unit 23. The analysis unit 217 of the control unit 21 performs the multiple regression analysis using the sample data 230, and calculates the partial regression coefficient and intercept of the prediction function for each guidance destination candidate and companion pattern. Then, the analysis unit 217 records the comfort feeling management data 240 including the prediction function calculated for each guide destination candidate and the accompanying person pattern in the comfort feeling information storage unit 24.
（利用者に対する案内処理）
次に、図４を用いて、利用者に対する案内処理を説明する。
まず、管理サーバ２０の制御部２１は、利用者状況の取得処理を実行する（ステップＳ１−１）。具体的には、制御部２１の対象者特定部２１１は、デジタルサイネージ装置１０の撮影部１２から撮影画像を取得する。そして、対象者特定部２１１は、撮影画像に含まれる人物像を特定する。対象者特定部２１１は、撮影画像を用いて利用者状況情報（説明変数値）を算出する。更に、対象者特定部２１１は、撮影画像において特定した利用者について、動画を取得し、この動画の画像処理により心拍情報を抽出する。次に、対象者特定部２１１は、心身状況を算出し、デジタルサイネージ装置１０の表示部１１に出力する。
そして、対象者特定部２１１は、表示部１１において利用希望の入力を検知した場合、制御部２１の同行者特定部２１２は、デジタルサイネージ装置１０の撮影部１２で撮影した画像を用いて、同行者の有無を判定する。ここでは、撮影画像において、対象者の中に存在する人物像により、同行者の有無、同行者の人数を判定する。
(User guidance process)
Next, the guidance process for the user will be described with reference to FIG.
First, the control unit 21 of the management server 20 executes a user status acquisition process (step S1-1). Specifically, the target person identifying unit 211 of the control unit 21 acquires a captured image from the capturing unit 12 of the digital signage device 10. Then, the target person identifying unit 211 identifies a person image included in the captured image. The target person identifying section 211 calculates user situation information (explanatory variable value) using the captured image. Further, the target person identifying unit 211 acquires a moving image of the user identified in the captured image and extracts heartbeat information by image processing of this moving image. Next, the target person identifying unit 211 calculates the mental and physical condition and outputs it to the display unit 11 of the digital signage device 10.
Then, when the target person identifying unit 211 detects an input desired to be used on the display unit 11, the accompanying person identifying unit 212 of the control unit 21 uses the image captured by the image capturing unit 12 of the digital signage device 10 to accompany. The presence or absence of a person is determined. Here, in the captured image, the presence/absence of accompanying persons and the number of accompanying persons are determined based on the image of the person present in the subject.
この場合、対象者特定部２１１は、デジタルサイネージ装置１０の表示部１１において、対象者の利用者端末４０の読取依頼を出力する。そして、デジタルサイネージ装置１０は、利用者端末４０の端末番号を読み取り、管理サーバ２０に送信する。この場合、管理サーバ２０の制御部２１は、端末番号に関連付けて、説明変数をサンプル情報記憶部２３に記録する。ここでは、利用者端末４０の端末番号をサンプル識別子として用いるが、各利用者を識別できる情報であれば、端末番号に限定されるものではない。 In this case, the target person specifying unit 211 outputs a read request of the user terminal 40 of the target person on the display unit 11 of the digital signage device 10. Then, the digital signage device 10 reads the terminal number of the user terminal 40 and transmits it to the management server 20. In this case, the control unit 21 of the management server 20 records the explanatory variable in the sample information storage unit 23 in association with the terminal number. Here, the terminal number of the user terminal 40 is used as the sample identifier, but the information is not limited to the terminal number as long as the information can identify each user.
次に、管理サーバ２０の制御部２１は、気象情報の取得処理を実行する（ステップＳ１−２）。具体的には、制御部２１の気象情報取得部２１３は、気象情報提供部３０から気象情報を取得する。そして、気象情報取得部２１３は、取得した気象情報を、サンプルデータ２３０に追加する。 Next, the control unit 21 of the management server 20 executes a weather information acquisition process (step S1-2). Specifically, the weather information acquisition unit 213 of the control unit 21 acquires the weather information from the weather information providing unit 30. Then, the weather information acquisition unit 213 adds the acquired weather information to the sample data 230.
次に、管理サーバ２０の制御部２１は、同行者状況の特定処理を実行する（ステップＳ１−３）。具体的には、制御部２１の同行者特定部２１２は、判定された同行者の属性に基づいて、同行者モデルを算出する。例えば、１人の同行者を検出した場合には、対象者の心身状況において、緊張感の高さに応じて、同行者関係として「友達」、「恋人」を判定してもよい。一方、複数の同行者を検出し、対象者の心身状況において緊張感が低い場合には、同行者関係として「家族」と判定してもよい。この場合、デジタルサイネージ装置１０の表示部１１に同行者についての話題を出力し、この時の心身状況（心拍数）の変化に基づいて、同行者関係を判定するようにしてもよい。そして、同行者特定部２１２は、判定した同行者関係を、サンプルデータ２３０に追加する。 Next, the control unit 21 of the management server 20 executes a process of identifying the accompanying person situation (step S1-3). Specifically, the companion identification unit 212 of the control unit 21 calculates a companion model based on the determined attributes of the companion. For example, when one companion is detected, “friend” or “lover” may be determined as the companionship relationship depending on the degree of tension in the physical and mental condition of the subject. On the other hand, when a plurality of accompanying persons are detected and the feeling of tension in the physical and mental condition of the subject is low, it may be determined that the accompanying person is a "family". In this case, the topic about the accompanying person may be output to the display unit 11 of the digital signage device 10, and the accompanying person relationship may be determined based on the change in the psychosomatic condition (heart rate) at this time. Then, the companion identification unit 212 adds the determined companionship relationship to the sample data 230.
次に、管理サーバ２０の制御部２１は、誘導先候補の特定処理を実行する（ステップＳ１−４）。具体的には、制御部２１の誘導先選定部２１４は、気象情報に基づいて、利用可能な誘導先候補を選定する。例えば、雨天や強風等の悪天候時には、室内の誘導先候補を抽出する。誘導先選定部２１４は、選択した誘導先候補、及び同行者パターンに関連付けられた快適感管理データ２４０の予測関数を、快適感情報記憶部２４から抽出する。次に、誘導先選定部２１４は、説明変数の項目値を、各予測関数に代入して、誘導先候補毎に快適感指標を算出する。そして、誘導先選定部２１４は、快適感指標が最も高い誘導先候補、この誘導先候補における偏回帰係数を用いて利用目的を特定する。 Next, the control unit 21 of the management server 20 executes the process of identifying the guide destination candidate (step S1-4). Specifically, the guide destination selection unit 214 of the control unit 21 selects an available guide destination candidate based on the weather information. For example, in the case of bad weather such as rainy weather or strong wind, indoor guidance destination candidates are extracted. The guidance destination selection unit 214 extracts the selected guidance destination candidate and the prediction function of the comfort feeling management data 240 associated with the companion pattern from the comfort feeling information storage unit 24. Next, the guide destination selection unit 214 substitutes the item value of the explanatory variable into each prediction function to calculate the comfort feeling index for each guide destination candidate. Then, the guide destination selection unit 214 specifies the use purpose by using the guide destination candidate having the highest comfort index and the partial regression coefficient in the guide destination candidate.
次に、管理サーバ２０の制御部２１は、リコメンド処理を実行する（ステップＳ１−５）。具体的には、制御部２１のリコメンド処理部２１５は、デジタルサイネージ装置１０の表示部１１に、特定した誘導先候補（快適な場所）、利用目的（快適な行動）に関する情報を出力する。この場合、リコメンド処理部２１５は、表示部１１に表示する複数のキャラクタを出力し、利用者が選択した１つのキャラクタが会話するタイムライン上に、リコメンド情報（誘導先）を出力する。
なお、リコメンド処理部２１５が、利用者の撮影画像に基づいてキャラクタを決定するようにしてもよい。この場合には、リコメンド処理部２１５に、利用者の属性情報に対応してキャラクタを決定するためのキャラクタ決定テーブルを保持させておく。
Next, the control unit 21 of the management server 20 executes the recommendation process (step S1-5). Specifically, the recommendation processing unit 215 of the control unit 21 outputs information regarding the identified guide destination candidate (comfortable place) and purpose of use (comfortable action) to the display unit 11 of the digital signage device 10. In this case, the recommendation processing unit 215 outputs a plurality of characters to be displayed on the display unit 11, and outputs the recommendation information (guidance destination) on the timeline where one character selected by the user has a conversation.
Note that the recommendation processing unit 215 may determine the character based on the captured image of the user. In this case, the recommendation processing unit 215 holds a character determination table for determining a character corresponding to the attribute information of the user.
図５は、デジタルサイネージ装置１０の表示部１１に出力させた表示画面５００の説明図である。この表示画面５００は、撮影画像欄５１０、心身状態表示欄５２０、コミュニケーション欄５３０を含んで構成される。
撮影画像欄５１０には、撮影部１２で撮影した撮影画像が表示される。そして、撮影画像において、顔認識により、対象者を認識フレーム５１１で捕捉している。更に、顔認識により、同行者を認識フレーム５１２で捕捉している。なお、本実施形態では、表示画面５００には、対象者を捕捉した認識フレーム５１１は表示される。一方、同行者を捕捉した認識フレーム５１２は表示されない。
更に、心身状態表示欄５２０には、撮影画像により算出した推定心拍数を表示する。
そして、コミュニケーション欄５３０において、タイムライン形式により、キャラクタの会話や質問を出力する。ここでは、撮影画像において取得できない説明変数を、質問形式で出力し、利用者の回答を取得する。更に、気象情報等を取得して、気象条件の閾値から誘導先を屋内か屋外かを判定し、快適感が高い誘導先を特定する。そして、コミュニケーション欄５３０において、誘導先を含めたリコメンド情報を出力する。誘導先については、誘導先情報記憶部２２に記録された名称、説明、場所、順路を表示する。
FIG. 5 is an explanatory diagram of the display screen 500 output to the display unit 11 of the digital signage device 10. This display screen 500 is configured to include a photographed image column 510, a physical and mental state display column 520, and a communication column 530.
In the captured image column 510, captured images captured by the capturing unit 12 are displayed. Then, in the captured image, the target person is captured in the recognition frame 511 by face recognition. Furthermore, the face comprehension captures the accompanying person in the recognition frame 512. In the present embodiment, the recognition frame 511 that captures the target person is displayed on the display screen 500. On the other hand, the recognition frame 512 capturing the accompanying person is not displayed.
Furthermore, the estimated heart rate calculated from the captured image is displayed in the psychosomatic state display field 520.
Then, in the communication column 530, the conversation or question of the character is output in a timeline format. Here, the explanatory variables that cannot be acquired in the captured image are output in a question format to acquire the user's answer. Further, the weather information or the like is acquired, and whether the guide destination is indoors or outdoors is determined from the threshold value of the weather condition, and the guide destination having a high feeling of comfort is specified. Then, in the communication field 530, the recommendation information including the guide destination is output. Regarding the guide destination, the name, description, place, and route recorded in the guide destination information storage unit 22 are displayed.
そして、利用者が、デジタルサイネージ装置１０において案内された誘導先を訪問し、フィードバックを行なう場合には、利用者端末４０を用いて、管理サーバ２０にアクセスする。 Then, when the user visits the guidance destination guided by the digital signage device 10 and gives feedback, the user terminal 40 is used to access the management server 20.
この場合、管理サーバ２０の制御部２１は、フィードバック処理を実行する（ステップＳ１−６）。具体的には、管理サーバ２０の制御部２１のフィードバック部２１６は、利用者端末４０に、誘導先に関する質問を含めたアンケート画面を表示する。そして、フィードバック部２１６は、利用者端末４０からアンケート回答を取得する。次に、フィードバック部２１６は、アクセスを受けた利用者端末４０の端末識別子を特定し、サンプル情報記憶部２３において、端末識別子がサンプル識別子データ領域に記録されているサンプルデータ２３０を特定する。そして、フィードバック部２１６は、アンケート回答を、サンプルデータ２３０に追加記録する。 In this case, the control unit 21 of the management server 20 executes the feedback process (step S1-6). Specifically, the feedback unit 216 of the control unit 21 of the management server 20 displays on the user terminal 40 a questionnaire screen including questions regarding the guide destination. Then, the feedback unit 216 acquires the questionnaire response from the user terminal 40. Next, the feedback unit 216 identifies the terminal identifier of the user terminal 40 that has been accessed, and identifies the sample data 230 in which the terminal identifier is recorded in the sample identifier data area in the sample information storage unit 23. Then, the feedback unit 216 additionally records the questionnaire response in the sample data 230.
次に、管理サーバ２０の制御部２１は、重回帰分析処理を実行する（ステップＳ１−７）。具体的には、制御部２１の分析部２１７は、新たに回収したアンケート回答を含めたサンプルデータ２３０を用いて、重回帰分析を行なう。そして、分析部２１７は、快適感の予測関数を算出し、快適感情報記憶部２４に記録された予測関数を更新する。 Next, the control unit 21 of the management server 20 executes multiple regression analysis processing (step S1-7). Specifically, the analysis unit 217 of the control unit 21 performs the multiple regression analysis using the sample data 230 including the newly collected questionnaire response. Then, the analysis unit 217 calculates a comfort feeling prediction function and updates the prediction function recorded in the comfort feeling information storage unit 24.
本実施形態の案内表示システムによれば、以下のような効果を得ることができる。
（１）本実施形態では、管理サーバ２０の制御部２１は、誘導先候補の特定処理を実行する（ステップＳ１−４）。この場合、利用者状況、同行者状況、環境状況、誘導先状況に基づいて、利用者にとって快適感がある誘導先を案内する。このため、快適感情報記憶部２４には、快適感指標を算出するための予測関数が記録される。これにより、デジタルサイネージ装置１０を用いて、利用者自身や同行者の状況を考慮して、快適感を向上可能な場所に誘導することができる。
According to the guidance display system of this embodiment, the following effects can be obtained.
(1) In the present embodiment, the control unit 21 of the management server 20 executes a process of identifying a guide destination candidate (step S1-4). In this case, based on the user situation, the companion situation, the environmental situation, and the guide destination situation, the guide destination that provides the user with a comfortable feeling is provided. Therefore, the comfort function information storage unit 24 records a prediction function for calculating the comfort index. With this, by using the digital signage device 10, it is possible to guide the user to a place where comfort can be improved in consideration of the situations of the user himself/herself and the accompanying person.
（２）本実施形態では、管理サーバ２０の制御部２１は、利用者状況の取得処理を実行する（ステップＳ１−１）。これにより、利用者の属性だけではなく、心身状況を考慮して、誘導先候補を選定することができる。 (2) In the present embodiment, the control unit 21 of the management server 20 executes a user status acquisition process (step S1-1). Thereby, the guide destination candidate can be selected in consideration of not only the attribute of the user but also the mental and physical condition.
（３）本実施形態では、管理サーバ２０の制御部２１は、気象情報の取得処理を実行する（ステップＳ１−２）。例えば、屋外の場合には、時期や気象状況によって快適感が異なる。これにより、気象状況に応じて、快適感を向上可能な誘導先候補を選定することができる。 (3) In the present embodiment, the control unit 21 of the management server 20 executes a weather information acquisition process (step S1-2). For example, in the case of outdoors, the feeling of comfort varies depending on the time and weather conditions. As a result, it is possible to select a guide destination candidate that can improve comfort according to weather conditions.
（４）本実施形態では、管理サーバ２０の制御部２１は、同行者状況の特定処理を実行する（ステップＳ１−３）。利用者を誘導する場合、同行者の有無や同行者との関係が、快適感に大きな影響を与えることがある。これにより、この同行者の状況を考慮して、快適感を向上可能な誘導先候補を選定することができる。 (4) In the present embodiment, the control unit 21 of the management server 20 executes a companion status identification process (step S1-3). When guiding the user, the presence or absence of a companion and the relationship with the companion may greatly affect the comfort. Accordingly, it is possible to select a guide destination candidate that can improve the feeling of comfort in consideration of the situation of the accompanying person.
（５）本実施形態では、管理サーバ２０の制御部２１は、リコメンド処理を実行する（ステップＳ１−５）。この場合、表示部１１は、キャラクタが会話するタイムライン上に、リコメンド情報を出力する。これにより、会話形式で、利用者の興趣を高めることができる。 (5) In this embodiment, the control unit 21 of the management server 20 executes the recommendation process (step S1-5). In this case, the display unit 11 outputs the recommendation information on the timeline where the characters talk. As a result, the interest of the user can be increased in a conversational manner.
また、上記実施形態は、以下のように変更してもよい。
・上記実施形態では、管理サーバ２０に、制御部２１、誘導先情報記憶部２２、サンプル情報記憶部２３、快適感情報記憶部２４を設ける。ハードウェア構成はこれらに限定されるものではない。例えば、予め行なわれたアンケートのみで、快適感の予測関数を算出するようにしてもよい。この場合には、サンプル情報記憶部２３は不要である。また、誘導先情報記憶部２２と快適感情報記憶部２４とを、一つの情報記憶部で構成するようにしてもよい。
・上記実施形態では、目的変数として快適感指標を用い、説明変数として、時期、利用者状況、環境状況、誘導先候補状況を数値化した情報を用いる。説明変数はこれらに限定されるものではなく、上述した説明変数の一部を用いたり、他の説明変数を用いたりしてもよい。例えば、利用者の持ち物（飲食物、ＰＣ、書籍等）や服装等を特定して、説明変数として用いることも可能である。この場合には、利用者の撮影画像に基づいて、持ち物の画像認識を行なう。
Further, the above embodiment may be modified as follows.
In the above embodiment, the management server 20 is provided with the control unit 21, the guide destination information storage unit 22, the sample information storage unit 23, and the comfort feeling information storage unit 24. The hardware configuration is not limited to these. For example, the comfort function predicting function may be calculated only with a questionnaire conducted in advance. In this case, the sample information storage unit 23 is unnecessary. Further, the guide destination information storage unit 22 and the comfort information storage unit 24 may be configured by one information storage unit.
In the above-described embodiment, the comfort index is used as the objective variable, and the explanatory variable is the information obtained by digitizing the time, the user situation, the environmental situation, and the candidate destination situation. The explanatory variables are not limited to these, and a part of the above described explanatory variables or another explanatory variable may be used. For example, it is possible to identify the user's belongings (food and drink, PC, book, etc.), clothes, etc., and use them as explanatory variables. In this case, the image of the belongings is recognized based on the captured image of the user.
また、利用者の歩行速度を、説明変数として用いることも可能である。この場合には、利用者がデジタルサイネージ装置１０に至るまでの動画を撮影し、この動画に基づいて歩行速度を算出する。ここで、動画に基づいて、同行者との会話状態を評価し、この会話状態を説明変数として用いることも可能である。
また、利用者の位置は、スマホ連携等で、屋内外ＧＰＳにより特定し、移動速度や位置から、屋外を歩いてきたか、屋内の空調空間にいたかなどを判別できる。このような説明変数と快適感との重回帰分析によって、リコメンドすることも可能である。
また、誘導先までの誘導ルートを含めて、快適感指標を算出するようにしてもよい。この場合には、訪問先候補と誘導ルートとを独立して快適感指標を算出し、両者の快適感指標の総合値（例えば合計値）に基づいて、訪問先及び誘導ルートを選定する。
The walking speed of the user can also be used as an explanatory variable. In this case, the user shoots a moving image up to the digital signage device 10 and calculates the walking speed based on this moving image. Here, it is also possible to evaluate the conversation state with the companion based on the moving image and use this conversation state as an explanatory variable.
Further, the position of the user can be specified by indoor/outdoor GPS by smartphone cooperation or the like, and it can be determined from the moving speed or position whether the user has walked outdoors or was in an indoor air-conditioned space. It is also possible to recommend by a multiple regression analysis of such explanatory variables and comfort.
Further, the comfort index may be calculated including the guide route to the guide destination. In this case, the comfort candidate index is calculated independently for the visited destination candidate and the guide route, and the visited place and the guide route are selected based on the total value (for example, the total value) of both comfort index.
・上記実施形態では、同行者特定部２１２が、デジタルサイネージ装置１０の撮影部１２で撮影した撮影画像を用いて、利用者の同行者の状況（同行者の有無、人数等）を判定する処理を実行する。同行者状況の特定方法は、デジタルサイネージ装置１０において、利用者が入力した同行者に関する情報を取得して、同行者の有無を特定するようにしてもよい。 In the above-described embodiment, the companion identification unit 212 uses the captured image captured by the capturing unit 12 of the digital signage device 10 to determine the status of the user's companion (presence/absence of companion, number of companions, etc.). To execute. As a method of identifying the travel companion, the digital signage device 10 may acquire the information about the travel companion input by the user and specify the presence or absence of the travel companion.
・上記実施形態では、管理サーバ２０の制御部２１は、誘導先を訪問した利用者の評価情報に基づいて、快適感の予測関数を算出する。予測関数の算出方法は、これに限定されるものではない。例えば、担当者が、回収したアンケート回答に基づいて、手動により予測関数を算出するようにしてもよい。 -In the said embodiment, the control part 21 of the management server 20 calculates the prediction function of a feeling of comfort based on the evaluation information of the user who visited the guidance destination. The method of calculating the prediction function is not limited to this. For example, the person in charge may manually calculate the prediction function based on the collected questionnaire answers.
・上記実施形態では、利用者端末４０を用いて、デジタルサイネージ装置１０を利用した利用者を特定する。利用者を特定せずに、アンケート等によりサンプルデータ２３０を生成するようにしてもよい。また、利用者を特定する場合にも、利用者端末４０を用いる方法に限定されるものではない。例えば、利用者を撮影した画像の画像処理により、特定することも可能である。この場合には、利用者の顔画像等の特徴量を算出して、この特徴量を用いて利用者を特定する。 -In the said embodiment, the user who used the digital signage apparatus 10 is specified using the user terminal 40. The sample data 230 may be generated by a questionnaire or the like without specifying the user. Also, the method of using the user terminal 40 is not limited to the method of specifying the user. For example, it is also possible to identify the user by image processing of the captured image. In this case, the feature amount of the user's face image or the like is calculated, and the user is specified using this feature amount.
・上記実施形態では、デジタルサイネージ装置１０において撮影した利用者の撮影画像に基づいて心拍情報を算出し、心身状態を特定する。心身状態の特定方法は、これに限定されるものではない。例えば、デジタルサイネージ装置１０が、利用者のウエアラブル端末と通信を行ない、ウエアラブル端末から利用者の生体情報を取得するようにしてもよい。更に、ウエアラブル端末から健康状態の履歴情報を取得し、利用者の健康状態に基づいて、誘導先候補を絞り込むようにしてもよい。 -In the said embodiment, heartbeat information is calculated based on the picked-up image of the user image|photographed in the digital signage apparatus 10, and a psychosomatic state is specified. The method of identifying the physical and mental condition is not limited to this. For example, the digital signage device 10 may communicate with the wearable terminal of the user and acquire the biometric information of the user from the wearable terminal. Further, the history information of the health condition may be acquired from the wearable terminal and the guide destination candidates may be narrowed down based on the health condition of the user.
・上記実施形態では、管理サーバ２０の制御部２１は、誘導先候補の特定処理を実行する（ステップＳ１−４）。具体的には、制御部２１の誘導先選定部２１４は、気象情報に基づいて、利用可能な誘導先候補を選定する。ここで、誘導先候補の状況に応じて、誘導先候補を絞り込むようにしてもよい。この場合には、誘導先候補の状況として、混雑状況を用いることができる。この場合には、管理サーバ２０において、誘導先候補毎に混雑状況を取得する。例えば、店舗の場合には、順番待ち状況に関する情報を取得する。また、パブリックスペースの場合には、パブリックスペースの撮影画像を取得し、この撮影画像に基づいて、存在する人数を、画像認識を用いて算出することにより混雑情報を取得する。 -In the said embodiment, the control part 21 of the management server 20 performs the identification process of a guidance destination candidate (step S1-4). Specifically, the guide destination selection unit 214 of the control unit 21 selects an available guide destination candidate based on the weather information. Here, the guide destination candidates may be narrowed down according to the situation of the guide destination candidates. In this case, the congestion status can be used as the status of the guidance destination candidate. In this case, the management server 20 acquires the congestion status for each guide destination candidate. For example, in the case of a store, information on the waiting situation is acquired. In the case of a public space, a photographed image of the public space is acquired, and the number of existing people is calculated based on the photographed image using image recognition to acquire congestion information.
・上記実施形態では、管理サーバ２０の制御部２１は、リコメンド処理を実行する（ステップＳ１−５）。ここでは、デジタルサイネージ装置１０の表示部１１に、誘導先候補に関する情報を出力する。ここで、誘導先候補の特定時の上位因子を出力するようにしてもよい。
この場合、制御部２１のリコメンド処理部２１５は、特定した誘導先候補において、偏回帰係数と項目値との乗算値が高い方から３個の説明変数を上位因子として特定する。
そして、リコメンド処理部２１５は、デジタルサイネージ装置１０の表示部１１に、特定した誘導先候補とともに、上位因子に関する情報を出力する。これにより、利用者は、リコメンドの要因を把握することができる。
-In the said embodiment, the control part 21 of the management server 20 performs a recommendation process (step S1-5). Here, information about the guide destination candidate is output to the display unit 11 of the digital signage device 10. Here, you may make it output the upper factor at the time of identification of a guidance destination candidate.
In this case, the recommendation processing unit 215 of the control unit 21 specifies three explanatory variables as higher factors from the higher multiplication value of the partial regression coefficient and the item value in the specified guidance destination candidates.
Then, the recommendation processing unit 215 outputs the information on the upper factors to the display unit 11 of the digital signage device 10 together with the identified guide destination candidate. This allows the user to understand the factors of recommendation.
・上記実施形態では、誘導先候補として、周辺店舗やパブリックスペースへの案内を行なった。本発明の適用範囲はこれに限定されるものではない。例えば、学校や病院等の人が集まる空間に適用することができる。
・上記実施形態では、快適感を予測するための予測関数を重回帰分析により算出する。サンプルに基づいて、快適感を予測するための予測関数を算出することができれば、重回帰分析に限定されるものではなく、各種の多変量解析を用いることができる。
In the above-described embodiment, guidance to the surrounding stores and public spaces is provided as the guide destination candidate. The scope of application of the present invention is not limited to this. For example, it can be applied to spaces where people gather, such as schools and hospitals.
-In the said embodiment, the prediction function for predicting a feeling of comfort is calculated by multiple regression analysis. If a prediction function for predicting comfort can be calculated based on a sample, it is not limited to multiple regression analysis, and various multivariate analyzes can be used.
・上記実施形態では、管理サーバ２０の制御部２１は、フィードバック処理を実行する（ステップＳ１−６）。この場合、管理サーバ２０は、利用者端末４０を利用してフィードバックを取得する。フィードバックの取得方法は、これに限定されるものではない。例えば、リコメンド処理（ステップＳ１−５）において、サンプル識別子として固有番号を割り振り、フィードバック時にこの固有番号を入力してもらうようにしてもよい。 -In the said embodiment, the control part 21 of the management server 20 performs a feedback process (step S1-6). In this case, the management server 20 acquires feedback using the user terminal 40. The method of obtaining feedback is not limited to this. For example, in the recommendation process (step S1-5), a unique number may be assigned as a sample identifier and the unique number may be input at the time of feedback.
また、誘導後にアンケート用紙を用いたり、誘導先にフィードバックを入力するためのアンケート端末を設けたりしてもよい。アンケート用紙を用いる場合には、誘導時にサンプル識別子を印字したアンケートを利用者に提供し、後で回収する。また、アンケート端末を用いる場合にも、利用者に割り振ったサンプル識別子に基づいて、快適感に関するアンケート回答を取得する。更に、この場合、デジタルサイネージ装置１０において撮影した利用者の顔画像及びアンケート端末において撮影した利用者の顔画像の特徴量をサンプル識別子として用いることも可能である。 Further, a questionnaire form may be used after the guidance, or a questionnaire terminal for inputting feedback to the guidance destination may be provided. When using a questionnaire form, provide the user with a questionnaire with a sample identifier printed at the time of guidance and collect it later. Also when using the questionnaire terminal, the questionnaire response regarding the comfort is acquired based on the sample identifier assigned to the user. Further, in this case, it is also possible to use the feature amount of the face image of the user photographed by the digital signage device 10 and the face image of the user photographed by the questionnaire terminal as the sample identifier.
１０…デジタルサイネージ装置、１１…表示部、１２…撮影部、２０…管理サーバ、２１…制御部、２１１…対象者特定部、２１２…同行者特定部、２１３…気象情報取得部、２１４…誘導先選定部、２１５…リコメンド処理部、２１６…フィードバック部、２１７…分析部、２２…誘導先情報記憶部、２３…サンプル情報記憶部、２４…快適感情報記憶部、３０…気象情報提供部、４０…利用者端末。 10... Digital signage device, 11... Display unit, 12... Imaging unit, 20... Management server, 21... Control unit, 211... Target person specifying unit, 212... Companion specifying unit, 213... Weather information acquisition unit, 214... Guidance Destination selection unit, 215... Recommendation processing unit, 216... Feedback unit, 217... Analysis unit, 22... Guidance destination information storage unit, 23... Sample information storage unit, 24... Comfortable feeling information storage unit, 30... Weather information providing unit, 40... User terminal.
Claims (8)
撮影部及び表示部に接続された制御部を備えた案内表示システムであって、
前記制御部が、
前記撮影部において撮影された画像において対象者を特定し、
前記快適感指標に関連付けられた説明変数について、前記対象者の撮像画像において取得できない説明変数に関する質問を、前記撮像画像とともに前記表示部に出力し、前記質問に対する回答を取得し、
前記対象者の撮影画像と前記回答とに基づいて、本人状況を特定し、
前記対象者の同行者の有無を特定し、
前記快適感情報記憶部を用いて、前記同行者の有無の特定結果及び前記本人状況に基づいて、快適感指標が高い誘導先候補を特定し、前記表示部において出力することを特徴とする案内表示システム。 For an explanatory variable including a variable value specified based on a captured image, a comfort feeling information storage unit that records a guide destination candidate associated with a comfort feeling index calculated by multivariate analysis,
A guide display system including a control unit connected to a photographing unit and a display unit,
The control unit,
Identify the target person in the image taken by the imaging unit,
Regarding the explanatory variable associated with the comfort index, a question regarding an explanatory variable that cannot be acquired in the captured image of the subject is output to the display unit together with the captured image, and an answer to the question is acquired,
Based on the photographed image of the subject and the answer , identify the person's situation,
Identifying the presence or absence of a companion of the target person,
Using the comfort information storage unit, a guide destination candidate having a high comfort index is specified on the basis of the result of the presence/absence of the accompanying person and the personal condition, and the guide target is output on the display unit. Display system.
前記心拍情報に基づいて、前記快適感指標が高い誘導先候補を特定することを特徴とする請求項１に記載の案内表示システム。 The heart rate information calculated based on the captured image of the target person is specified as the personal condition,
The guidance display system according to claim 1, wherein a guide destination candidate having a high comfort index is specified based on the heartbeat information.
前記人間関係に基づいて、前記快適感指標が高い誘導先候補を特定することを特徴とする請求項１又は２に記載の案内表示システム。 Specify the human relationship between the subject and the accompanying person,
The guidance display system according to claim 1 or 2, wherein a guide destination candidate having a high comfort index is specified based on the human relationship.
前記気象情報に基づいて、前記快適感指標が高い誘導先候補を特定することを特徴とする請求項１〜３のいずれか一項に記載の案内表示システム。 Get the weather information of the destination candidate,
The guide display system according to any one of claims 1 to 3, wherein a guide destination candidate having a high comfort index is specified based on the weather information.
前記本人属性に基づいて、前記快適感指標が高い誘導先候補を特定することを特徴とする請求項１〜４のいずれか一項に記載の案内表示システム。 As the personal situation, identify the personal attribute based on the captured image of the target person,
The guide display system according to any one of claims 1 to 4, wherein a guide destination candidate having a high comfort index is specified based on the personal attribute.
撮影部及び表示部に接続された制御部を備えた案内表示システムを用いて案内表示を行なうための方法であって、
前記制御部が、
前記撮影部において撮影された画像において対象者を特定し、
前記快適感指標に関連付けられた説明変数について、前記対象者の撮像画像において取得できない説明変数に関する質問を、前記撮像画像とともに前記表示部に出力し、前記質
問に対する回答を取得し、
前記対象者の撮影画像と前記回答とに基づいて、本人状況を特定し、
前記対象者の同行者の有無を特定し、
前記快適感情報記憶部を用いて、前記同行者の有無の特定結果及び前記本人状況に基づいて、快適感指標が高い誘導先候補を特定し、前記表示部において出力することを特徴とする案内表示方法。 For an explanatory variable including a variable value specified based on a captured image, a comfort feeling information storage unit that records a guide destination candidate associated with a comfort feeling index calculated by multivariate analysis,
A method for performing guidance display using a guidance display system including a control unit connected to an imaging unit and a display unit,
The control unit,
Identify the target person in the image taken by the imaging unit,
Regarding the explanatory variable associated with the comfort index, a question regarding an explanatory variable that cannot be obtained in the captured image of the subject is output to the display unit together with the captured image, and the quality is output.
Get answers to questions,
Based on the photographed image of the subject and the answer , identify the person's situation,
Identifying the presence or absence of a companion of the target person,
Using the comfort information storage unit, a guide destination candidate having a high comfort index is specified on the basis of the result of the presence/absence of the accompanying person and the personal condition, and the guide target is output on the display unit. Display method.
撮影部及び表示部に接続された制御部を備えた案内表示システムを用いて案内表示を行なうためのプログラムであって、
前記制御部を、
前記撮影部において撮影された画像において対象者を特定し、
前記快適感指標に関連付けられた説明変数について、前記対象者の撮像画像において取得できない説明変数に関する質問を、前記撮像画像とともに前記表示部に出力し、前記質問に対する回答を取得し、
前記対象者の撮影画像と前記回答とに基づいて、本人状況を特定し、
前記対象者の同行者の有無を特定し、
前記快適感情報記憶部を用いて、前記同行者の有無の特定結果及び前記本人状況に基づいて、快適感指標が高い誘導先候補を特定し、前記表示部において出力する手段として機能させることを特徴とする案内表示プログラム。 For an explanatory variable including a variable value specified based on a captured image, a comfort feeling information storage unit that records a guide destination candidate associated with a comfort feeling index calculated by multivariate analysis,
A program for performing guidance display using a guidance display system including a control unit connected to an imaging unit and a display unit,
The control unit,
Identify the target person in the image taken by the imaging unit,
Regarding an explanatory variable associated with the comfort index, a question regarding an explanatory variable that cannot be acquired in the captured image of the subject is output to the display unit together with the captured image, and an answer to the question is acquired,
Based on the photographed image of the subject and the answer , identify the person's situation,
Identifying the presence or absence of a companion of the target person,
Using the comfort information storage unit, based on the identification result of the presence or absence of the companion and the personal situation, to identify a guide destination candidate with a high comfort index, to function as a means to output on the display unit. Characteristic guide display program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016116633A JP6738655B2 (en) | 2016-06-10 | 2016-06-10 | Guide display system, guide display method, and guide display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016116633A JP6738655B2 (en) | 2016-06-10 | 2016-06-10 | Guide display system, guide display method, and guide display program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017220181A JP2017220181A (en) | 2017-12-14 |
| JP6738655B2 true JP6738655B2 (en) | 2020-08-12 |
Family
ID=60657688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016116633A Active JP6738655B2 (en) | 2016-06-10 | 2016-06-10 | Guide display system, guide display method, and guide display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6738655B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6773923B2 (en) * | 2018-02-07 | 2020-10-21 | 株式会社ウフル | Spatial value output system, spatial value output method, and program |
| JP7476881B2 (en) * | 2019-03-25 | 2024-05-01 | 日本電気株式会社 | Information processing device, information processing method, and program |
| JPWO2021199216A1 (en) * | 2020-03-30 | 2021-10-07 | ||
| CN114554409B (en) * | 2022-01-06 | 2023-03-24 | 杭州朱道实业有限公司 | Electronic information intelligent identification guide system based on Internet of things |
| WO2025220150A1 (en) * | 2024-04-17 | 2025-10-23 | 三菱電機株式会社 | Automatic response system, automatic response method, and program |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5578571B2 (en) * | 2011-03-31 | 2014-08-27 | Ｋｄｄｉ株式会社 | Multimodal dialogue program, system and method considering input / output device information |
| JP5672144B2 (en) * | 2011-05-20 | 2015-02-18 | 富士通株式会社 | Heart rate / respiration rate detection apparatus, method and program |
| JP2013073489A (en) * | 2011-09-28 | 2013-04-22 | Nifty Corp | Information processor, information processing method and program |
| US20130138499A1 (en) * | 2011-11-30 | 2013-05-30 | General Electric Company | Usage measurent techniques and systems for interactive advertising |
| JP5797549B2 (en) * | 2011-12-28 | 2015-10-21 | 東芝テック株式会社 | Information display device and program |
| JP6500374B2 (en) * | 2014-09-11 | 2019-04-17 | 富士ゼロックス株式会社 | Image processing apparatus and image processing program |
-
2016
- 2016-06-10 JP JP2016116633A patent/JP6738655B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017220181A (en) | 2017-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hadinejad et al. | Physiological and self-report methods to the measurement of emotion in tourism | |
| US11200964B2 (en) | Short imagery task (SIT) research method | |
| Wang et al. | Restorative quality in tourist hotel marketing pictures: Natural and built characteristics | |
| JP6738655B2 (en) | Guide display system, guide display method, and guide display program | |
| US10111611B2 (en) | Personal emotional profile generation | |
| JP7440020B2 (en) | Information processing method, terminal device, information processing device, and information processing system | |
| Liu et al. | The indoor thermal environment of rural school classrooms in Northwestern China | |
| US20190216333A1 (en) | Thermal face image use for health estimation | |
| EP2580732A1 (en) | Mental state analysis using web services | |
| CN103154953A (en) | Measuring affective data for web-enabled applications | |
| Lassen et al. | Field investigations of a smiley-face polling station for recording occupant satisfaction with indoor climate | |
| US20130102854A1 (en) | Mental state evaluation learning for advertising | |
| US20130262182A1 (en) | Predicting purchase intent based on affect | |
| US11468377B2 (en) | System and method for creating a census hub in resource constrained regions | |
| Van Gelder et al. | Seeing is believing? Comparing negative affect, realism and presence in visual versus written guardianship scenarios | |
| US20130218663A1 (en) | Affect based political advertisement analysis | |
| Azzazy et al. | The significance of indoor thermal comfort on occupants’ perception: in university buildings in Auckland, New Zealand | |
| Tavakoli et al. | Psycho-behavioral responses to urban scenes: An exploration through eye-tracking | |
| Chana et al. | Reading in the city: mobile eye-tracking and evaluation of text in an everyday setting | |
| KR102179104B1 (en) | Big data-based pet animal service information provision system | |
| Bauer et al. | Built to attract: Evaluating trade show booth designs using attention analysis in a live communication context | |
| Wei et al. | Antecedents and consequences of experiential versus utilitarian consumption in the travel context | |
| Shen et al. | Analyzing spatial visual characteristics in Japanese stroll gardens based on eye-tracking technology: Case study of Saihō-ji Garden | |
| US20130052621A1 (en) | Mental state analysis of voters | |
| Stamps | Atmospheric permeability and perceived enclosure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190520 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200720 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6738655 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |