Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7602179B2 - Information presentation device, information presentation method, and program - Google Patents
[go: Go Back, main page]

JP7602179B2 - Information presentation device, information presentation method, and program - Google Patents

Information presentation device, information presentation method, and program Download PDF

Info

Publication number
JP7602179B2
JP7602179B2 JP2023520656A JP2023520656A JP7602179B2 JP 7602179 B2 JP7602179 B2 JP 7602179B2 JP 2023520656 A JP2023520656 A JP 2023520656A JP 2023520656 A JP2023520656 A JP 2023520656A JP 7602179 B2 JP7602179 B2 JP 7602179B2
Authority
JP
Japan
Prior art keywords
information
display
positional relationship
user
screen layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023520656A
Other languages
Japanese (ja)
Other versions
JPWO2022239152A1 (en
Inventor
宇翔 草深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2022239152A1 publication Critical patent/JPWO2022239152A1/ja
Application granted granted Critical
Publication of JP7602179B2 publication Critical patent/JP7602179B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報提示装置、情報提示方法、及びプログラムに関する。 The present invention relates to an information presentation device, an information presentation method, and a program.

従来、応対者(以下、たとえば、接客スタッフのことをいう。)及び会話相手(以下、応対者の対になる存在であり、接客等のシーンで言えば、問い合わせを行う顧客のことをいう。)が文字などの伝達したい情報を伝達交換する情報提示装置では、会話相手の意志を表す文字情報などと、それに対応する応対者のいくつかの返事、答えなどを会話相手が理解できる文字情報などとして、同時にひとつのディスプレイの同じ画面に表示している。また、情報提示装置の一例である異言語間対話装置では、異なる言語を使用する応対者及び会話相手の発話を、翻訳処理を行うことにより、両者間の意思疎通を可能にする文字情報などとして、同時にひとつのディスプレイの同じ画面に表示している。さらに、ひとつのディスプレイ画面における会話相手に関する表示部分のみの表示の向きを転回することで会話相手に伝達したい文字情報などを見やすくする処理が行われている。Conventionally, in information presentation devices in which a person serving (hereinafter, referring to, for example, a customer service staff member) and a conversation partner (hereinafter, referring to the counterpart of the person serving, in the case of a customer service scene, referring to a customer making an inquiry) communicate and exchange information to be communicated, such as text, text information expressing the conversation partner's intentions and some of the person serving's corresponding replies and answers as text information that the conversation partner can understand are displayed simultaneously on the same screen of a single display. In addition, in an interlingual dialogue device, which is an example of an information presentation device, the speech of a person serving and a conversation partner who speak different languages is translated and displayed simultaneously on the same screen of a single display as text information that enables communication between the two. Furthermore, a process is performed in which the orientation of only the display portion related to the conversation partner on one display screen is rotated to make the text information to be communicated to the conversation partner easier to see.

例えば、特許文献1には、複数の端末部のそれぞれにおいて、互いに異なる言語を使用するユーザ(以下、会話参加者であり、応対者と会話相手の総称をいう。)の間の意思疎通を可能にする異言語間対話装置が記載され、特許文献2には、異なる言語を使用するユーザの間の意思疎通を可能にする対話処理方法が記載されている。また、特許文献3には、応対者が会話相手に情報を伝達するにあたり、情報表示装置上の情報の表示方法を天地反転して会話相手が見やすい向きに伝達したい情報を表示する手段を備える情報表示装置が記載されている。For example, Patent Document 1 describes an interlingual dialogue device that enables communication between users (hereinafter, conversation participants, a collective term for the respondent and the conversation partner) who use different languages on each of a number of terminal units, and Patent Document 2 describes a dialogue processing method that enables communication between users who use different languages. Patent Document 3 describes an information display device that includes a means for displaying the information to be transmitted in an orientation that is easy for the conversation partner to view by inverting the display method of the information on the information display device when the respondent transmits information to the conversation partner.

特開2004-355226号公報JP 2004-355226 A 特開2005-322145号公報JP 2005-322145 A 特開2001-195049号公報JP 2001-195049 A

特許文献1及び特許文献2では、翻訳など、応対を円滑にするための工夫が提案されているが、ユーザの位置、及びそれを踏まえてレイアウトを動的に制御する方法については考慮されていない。また、特許文献3では、構成として、情報の表示を天地反転させることで、ユーザにとっての情報の見やすさを考慮しているが、ユーザの位置の変化に応じた画面レイアウトの動的な制御については考慮されていない。 Patent Document 1 and Patent Document 2 propose ways to facilitate smooth communication, such as translation, but do not take into consideration the user's position or a method of dynamically controlling the layout based on that. Furthermore, Patent Document 3 takes into consideration the ease of viewing information for the user by inverting the display of information upside down, but does not consider dynamic control of the screen layout in response to changes in the user's position.

かかる事情に鑑みてなされた本発明の目的は、ユーザの位置関係に応じて動的に画面レイアウトの変更を行うことが可能な情報提示装置、情報提示方法、及びプログラムを提供することにある。In view of the above circumstances, the object of the present invention is to provide an information presentation device, an information presentation method, and a program that are capable of dynamically changing the screen layout depending on the user's positional relationship.

上記課題を解決するため、一実施形態に係る情報提示装置は、複数のユーザにディスプレイを介して情報を提示する情報提示装置であって、前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定する位置関係推定部と、前記位置関係に応じて動的に画面レイアウトを決定し、該画面レイアウトに基づく表示情報を前記ディスプレイに出力する画面レイアウト決定部と、を備える。In order to solve the above problem, an information presentation device according to one embodiment is an information presentation device that presents information to multiple users via a display, and includes a positional relationship estimation unit that acquires positional information of the users and estimates a positional relationship of the users to the display, and a screen layout determination unit that dynamically determines a screen layout according to the positional relationship and outputs display information based on the screen layout to the display.

また、上記課題を解決するため、一実施形態に係る情報提示方法は、複数のユーザにディスプレイを介して情報を提示する情報提示装置における情報提示方法であって、情報提示装置により、前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定するステップと、前記位置関係に応じて動的に画面レイアウトを決定し、該画面レイアウトに基づく表示情報を前記ディスプレイに出力するステップと、を含む。In addition, in order to solve the above problem, an information presentation method according to one embodiment is an information presentation method in an information presentation device that presents information to multiple users via a display, and includes a step of acquiring position information of the users by the information presentation device and estimating a positional relationship of the users to the display, and a step of dynamically determining a screen layout according to the positional relationship, and outputting display information based on the screen layout to the display.

また、上記課題を解決するため、一実施形態に係るプログラムは、コンピュータを、上記情報提示装置として機能させる。 In addition, to solve the above problem, a program in one embodiment causes a computer to function as the above-mentioned information presentation device.

本発明によれば、煩雑な操作なく、会話の特性に応じた画面レイアウトで情報を利用可能となる。 According to the present invention, information can be used in a screen layout that corresponds to the characteristics of the conversation, without complicated operations.

第1の実施形態に係る情報提示装置の構成例を示すブロック図である。1 is a block diagram showing an example of a configuration of an information presentation device according to a first embodiment. 推定した位置関係に基づく画面レイアウトを示す概略図である。FIG. 13 is a schematic diagram showing a screen layout based on an estimated positional relationship. 推定した位置関係に基づく画面レイアウトを示す概略図である。FIG. 13 is a schematic diagram showing a screen layout based on an estimated positional relationship. 対話時の位置関係に応じた画面レイアウトの動的な変更を説明する図である。11A and 11B are diagrams illustrating dynamic changes in the screen layout according to positional relationships during dialogue. 第1の実施形態に係る情報提示装置が実行する情報提示方法の一例を示すフローチャートである。4 is a flowchart illustrating an example of an information presenting method executed by the information presenting device according to the first embodiment. 第2の実施形態に係る情報提示装置の構成例を示すブロック図である。FIG. 11 is a block diagram showing an example of the configuration of an information presentation device according to a second embodiment. 第2の実施形態に係る情報提示装置が実行する情報提示方法の一例を示すフローチャートである。10 is a flowchart illustrating an example of an information presenting method executed by an information presenting device according to a second embodiment. 第3の実施形態に係る情報提示装置の構成例を示すブロック図である。FIG. 13 is a block diagram showing an example of the configuration of an information presentation device according to a third embodiment. 第3の実施形態に係る情報提示装置が実行する情報提示方法の一例を示すフローチャートである。13 is a flowchart illustrating an example of an information presenting method executed by an information presenting device according to a third embodiment. 第4の実施形態に係る情報提示装置の構成例を示すブロック図である。FIG. 13 is a block diagram showing an example of the configuration of an information presentation device according to a fourth embodiment. 第4の実施形態に係る情報提示装置の構成例を示すブロック図である。FIG. 13 is a block diagram showing an example of the configuration of an information presentation device according to a fourth embodiment. 360度任意の位置から閲覧可能なディスプレイを説明する概略図である。FIG. 1 is a schematic diagram illustrating a display that can be viewed from any position in 360 degrees. 360度任意の位置から閲覧可能なディスプレイを説明する概略図である。FIG. 1 is a schematic diagram illustrating a display that can be viewed from any position in 360 degrees. 第5の実施形態に係る情報提示装置の構成例を示すブロック図である。FIG. 13 is a block diagram showing an example of the configuration of an information presentation device according to a fifth embodiment. 複数のデバイスの連携により情報の提示を行う概略図である。FIG. 1 is a schematic diagram showing how a plurality of devices cooperate to present information. 第5の実施形態に係る情報提示装置が実行する情報提示方法の一例を示すフローチャートである。13 is a flowchart illustrating an example of an information presenting method executed by an information presenting apparatus according to a fifth embodiment. 情報提示装置として機能するコンピュータの概略構成を示すブロック図である。FIG. 2 is a block diagram showing a schematic configuration of a computer functioning as an information presentation device.

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。 Below, the form for implementing the present invention is explained in detail with reference to the drawings.

(第1の実施形態)
図1は、第1の実施形態に係る情報提示装置1の構成例を示すブロック図である。図1に示す情報提示装置1は、位置関係推定部11と、画面レイアウト決定部12と、画面表示部13と、を備える。なお、画面表示部13は、情報提示装置1の外部に備えられていてもよい。
First Embodiment
Fig. 1 is a block diagram showing an example of a configuration of an information display device 1 according to a first embodiment. The information display device 1 shown in Fig. 1 includes a positional relationship estimation unit 11, a screen layout determination unit 12, and a screen display unit 13. Note that the screen display unit 13 may be provided outside the information display device 1.

位置関係推定部11は、ユーザの位置情報を受信して取得し、ユーザの画面表示部13に対する位置関係(以下、単に「位置関係」という。)を推定する。そして、位置関係推定部11は、推定した位置関係を示す位置関係情報を画面レイアウト決定部12に出力する。ユーザの位置情報は、情報提示装置1と連携して機能するマイク、環境カメラ、Bluetooth(登録商標)、UWB(Ultra Wide Band)などを利用して取得され、位置関係推定部11へ送信される。The positional relationship estimation unit 11 receives and acquires the user's positional information, and estimates the user's positional relationship with respect to the screen display unit 13 (hereinafter simply referred to as "positional relationship"). The positional relationship estimation unit 11 then outputs positional relationship information indicating the estimated positional relationship to the screen layout determination unit 12. The user's positional information is acquired using a microphone, an environmental camera, Bluetooth (registered trademark), UWB (Ultra Wide Band), etc. that function in conjunction with the information presentation device 1, and is transmitted to the positional relationship estimation unit 11.

画面レイアウト決定部12は、位置関係推定部11において推定された位置関係に応じて動的に、提示する情報の画面レイアウトを決定する。そして、画面レイアウト決定部12は、決定した画面レイアウトに基づく表示情報を生成し、画面表示部13に出力する。The screen layout determination unit 12 dynamically determines the screen layout of the information to be presented in accordance with the positional relationship estimated by the positional relationship estimation unit 11. Then, the screen layout determination unit 12 generates display information based on the determined screen layout and outputs it to the screen display unit 13.

画面表示部13は、画面レイアウト決定部12から入力した表示情報を表示するディスプレイである。画面表示部13は、例えば液晶ディスプレイ又は有機EL(Electro-Luminescence)ディスプレイである。ディスプレイは、透過ディスプレイであってもよい。The screen display unit 13 is a display that displays the display information input from the screen layout determination unit 12. The screen display unit 13 is, for example, a liquid crystal display or an organic EL (Electro-Luminescence) display. The display may be a transmissive display.

図2A及び図2Bでは、情報提示装置1は3人のユーザU1,U2,U3の位置関係を推定し、推定した位置関係に基づく画面レイアウトを決定し、そして決定された画面レイアウトに基づいた情報を透過ディスプレイD(画面表示部13)に出力している。図2Aでは、ユーザU3が、透過ディスプレイDを挟んで、横並びのユーザU1及びユーザU2と会話をしている。この時、ユーザU3から見て、ユーザU3が利用する画面には通常文字が提示され、ユーザU1及びユーザU2が利用する画面には反転文字が提示される。図2Bでは、横並びのユーザU2及びUユーザU3が、透過ディスプレイDを挟んで、ユーザU1と会話をしている。この時、ユーザU2及びユーザU3から見て、ユーザU2及びユーザU3が利用する画面には通常文字が提示され、ユーザU1が利用する画面には反転文字が提示される。2A and 2B, the information presentation device 1 estimates the positional relationship of three users U1, U2, and U3, determines a screen layout based on the estimated positional relationship, and outputs information based on the determined screen layout to the transparent display D (screen display unit 13). In FIG. 2A, user U3 is having a conversation with users U1 and U2, who are side by side, across the transparent display D. At this time, normal characters are presented on the screen used by user U3, and inverted characters are presented on the screen used by users U1 and U2, as seen from user U3. In FIG. 2B, users U2 and U3, who are side by side, are having a conversation with user U1, across the transparent display D. At this time, normal characters are presented on the screen used by users U2 and U3, and inverted characters are presented on the screen used by user U1, as seen from users U2 and U3.

図3は、対話時の位置関係に応じた画面レイアウトの動的な変更を説明する図である。会話時の位置関係には、会話の特性に応じて、応対者と会話相手とがひとつの透過ディスプレイDを挟んで向かい合い画面を閲覧する形態(以下、形態Aという。)と、応対者と会話相手とがひとつの透過ディスプレイDの同じ画面を横並びに並んだ位置から閲覧する形態(以下、形態Bという。)とが含まれる。これらの位置関係に応じて、図3の左に示す形態Aでは、応対者の画面には通常文字を、会話相手の画面には反転文字を提示する画面レイアウトが提示される。一方、図3の右に示す形態Bでは、応対者及び会話相手の画面には通常文字を提示する画面レイアウトが提示される。ここで、応対者と会話相手の対話中の位置関係が変化すると、その位置関係に応じて、画面レイアウトが動的に変更される。形態Bでは応対者及び会話相手の閲覧方向が同じとなるため、物を参照した会話が容易となる。 Figure 3 is a diagram for explaining dynamic changes in the screen layout according to the positional relationship during conversation. The positional relationship during conversation includes a form in which the respondent and the conversation partner face each other across one transparent display D and view the screen (hereinafter referred to as form A), and a form in which the respondent and the conversation partner view the same screen of one transparent display D side by side (hereinafter referred to as form B). According to these positional relationships, in form A shown on the left of Figure 3, a screen layout is presented in which normal characters are presented on the screen of the respondent and inverted characters are presented on the screen of the conversation partner. On the other hand, in form B shown on the right of Figure 3, a screen layout is presented in which normal characters are presented on the screens of the respondent and the conversation partner. Here, when the positional relationship between the respondent and the conversation partner changes during the conversation, the screen layout is dynamically changed according to the positional relationship. In form B, the viewing direction of the respondent and the conversation partner is the same, making it easy to have a conversation referring to objects.

たとえば、形態Aにより対面で外国人観光客への応対を翻訳を利用して開始し、会話の途中から、形態Bにより付近の案内板を利用しながら会話を行うことも可能となる。For example, it is possible to start a face-to-face conversation with a foreign tourist using mode A, using translation, and then, midway through the conversation, continue the conversation using mode B, using nearby information boards.

図4は、情報提示装置1が実行する情報提示方法の一例を示すフローチャートである。 Figure 4 is a flowchart showing an example of an information presentation method executed by the information presentation device 1.

ステップS101では、ユーザの位置情報を受信すると、位置関係推定部11が、位置関係を推定する。 In step S101, when the user's location information is received, the location relationship estimation unit 11 estimates the location relationship.

ステップS102では、画面レイアウト決定部12が、位置関係推定部11において推定された位置関係を基に提示する情報の画面レイアウトを決定する。In step S102, the screen layout determination unit 12 determines the screen layout of the information to be presented based on the positional relationship estimated by the positional relationship estimation unit 11.

ステップS103では、画面表示部13が、画面レイアウト決定部12において決定された画面レイアウトに基づいた情報の表示を行う。In step S103, the screen display unit 13 displays information based on the screen layout determined by the screen layout determination unit 12.

ステップS104では、会話が継続中であると判定されると、ステップS101からステップS103までのステップが繰り返し実行され、図3に示すように、この間に位置関係が形態Aから形態B、又は形態Bから形態Aに変わると、それに伴って情報を表示する画面レイアウトが変更される。会話が終了したと判定されると、情報表示が終了する。In step S104, if it is determined that the conversation is continuing, steps S101 to S103 are repeatedly executed, and as shown in FIG. 3, if the positional relationship changes during this time from form A to form B, or from form B to form A, the screen layout for displaying information is changed accordingly. If it is determined that the conversation has ended, the information display is terminated.

本実施形態に係る情報提示装置1によれば、位置関係に応じて動的に画面レイアウトの変更を行うことが可能となり、煩雑な操作なく、参加人数、情報の閲覧方向などの会話の特性に応じた画面レイアウトで情報を利用可能となる。 According to the information presentation device 1 of this embodiment, it is possible to dynamically change the screen layout depending on the positional relationship, and information can be used in a screen layout that corresponds to the characteristics of the conversation, such as the number of participants and the direction in which the information is viewed, without complicated operations.

(第2の実施形態)
次に、音声を利用してユーザの位置情報を取得する例を、第2の実施形態として説明する。図5は、第2の実施形態に係る情報提示装置2の構成例を示すブロック図である。図5に示す情報提示装置2は、位置関係推定部11と、画面レイアウト決定部12と、画面表示部13と、音声取得部14と、発話者・位置推定部15と、位置関係DB16と、を備える。情報提示装置2は、第1の実施形態に係る情報提示装置1と比較して、音声取得部14、発話者・位置推定部15、及び位置関係DB16を更に備える点が相違する。第1の実施形態と同一の構成については、第1の実施形態と同一の参照番号を付して適宜説明を省略する。
Second Embodiment
Next, an example of acquiring user position information using voice will be described as a second embodiment. FIG. 5 is a block diagram showing a configuration example of an information display device 2 according to the second embodiment. The information display device 2 shown in FIG. 5 includes a positional relationship estimation unit 11, a screen layout determination unit 12, a screen display unit 13, a voice acquisition unit 14, a speaker/position estimation unit 15, and a positional relationship DB 16. The information display device 2 is different from the information display device 1 according to the first embodiment in that it further includes the voice acquisition unit 14, the speaker/position estimation unit 15, and the positional relationship DB 16. The same configurations as those of the first embodiment are given the same reference numbers as those of the first embodiment, and the description thereof will be omitted as appropriate.

音声取得部14は、ユーザの発話音声を取得するマイクなどである。音声取得部14は、取得した音声を示す音声情報を発話者・位置推定部15に出力する。The voice acquisition unit 14 is a microphone or the like that acquires the user's speech. The voice acquisition unit 14 outputs voice information indicating the acquired speech to the speaker/position estimation unit 15.

位置関係DB16は、応対者の利用位置と音声取得部14の位置とを紐づけて保存する。The location relationship DB16 stores the respondent's usage location in association with the location of the voice acquisition unit 14.

発話者・位置推定部15は、音声取得部14により取得された音声を基に、発話者(ある時点で発話を行ったユーザ)の位置の推定を行う。たとえば、音声取得部14が指向性マイク又はマイクアレイである場合、発話者・位置推定部15は、音声の大きさにより発話者の位置を推定することができる。そして、発話者・位置推定部15は、推定した発話位置を示す位置情報を位置関係推定部11へ出力するとともに、位置関係DB16に保存された発話者の位置情報を更新する。The speaker/position estimation unit 15 estimates the position of the speaker (the user who spoke at a certain point in time) based on the voice acquired by the voice acquisition unit 14. For example, if the voice acquisition unit 14 is a directional microphone or a microphone array, the speaker/position estimation unit 15 can estimate the position of the speaker based on the volume of the voice. The speaker/position estimation unit 15 then outputs position information indicating the estimated speaking position to the positional relationship estimation unit 11, and updates the speaker position information stored in the positional relationship DB 16.

位置関係推定部11は、発話者・位置推定部15での処理終了を契機とし、位置関係DB16を参照し、会話に参加する発話者同士の位置関係の推定を行う。たとえば、2人の発話者AとBが存在する場合、発話者AとBはディスプレイの同じ面側に立っており、発話者Aが右側、発話者Bは左側に存在していると推定する。別の例としては、発話者AとBはディスプレイの異なる面側に立ち対面していると推定する。そして、位置関係推定部11は、推定した位置関係を示す位置関係情報を画面レイアウト決定部12へ出力する。 When the speaker/position estimation unit 15 finishes processing, the positional relationship estimation unit 11 refers to the positional relationship DB 16 and estimates the positional relationship between speakers participating in the conversation. For example, if there are two speakers, A and B, it is estimated that speakers A and B are standing on the same side of the display, with speaker A on the right and speaker B on the left. As another example, it is estimated that speakers A and B are standing on different sides of the display and facing each other. The positional relationship estimation unit 11 then outputs positional relationship information indicating the estimated positional relationship to the screen layout determination unit 12.

図6は、第2の実施形態に係る情報提示装置2が実行する情報提示方法の一例を示すフローチャートである。 Figure 6 is a flowchart showing an example of an information presentation method performed by the information presentation device 2 relating to the second embodiment.

情報提示装置2が情報提示方法を実行する前に、事前準備として、応対者の利用位置とマイクの位置を紐づけて位置関係DB16へ保存する。Before the information presentation device 2 executes the information presentation method, as a preliminary step, the user's position and the microphone position are linked and stored in the positional relationship DB 16.

ステップS201では、情報提示装置2の音声取得部14が発話音声を取得する。 In step S201, the voice acquisition unit 14 of the information presentation device 2 acquires the spoken voice.

ステップS202では、発話者・位置推定部15が、取得した音声データを基に発話者及びその位置の推定を行うとともに、位置関係DB16に保存された発話者及びその位置情報の更新を行う。In step S202, the speaker/position estimation unit 15 estimates the speaker and its position based on the acquired voice data, and updates the speaker and its position information stored in the positional relationship DB 16.

ステップS203では、位置関係推定部11が、位置関係DB16に保存された情報を基に、会話に参加している発話者の位置関係の推定を行う。In step S203, the positional relationship estimation unit 11 estimates the positional relationship of the speakers participating in the conversation based on the information stored in the positional relationship DB 16.

ステップS204では、画面レイアウト決定部12が、位置関係推定部11において推定された位置関係を基に提示する情報の画面レイアウトを決定する。In step S204, the screen layout determination unit 12 determines the screen layout of the information to be presented based on the positional relationship estimated by the positional relationship estimation unit 11.

ステップS205では、画面表示部13が、画面レイアウト決定部12において決定された画面レイアウトに基づいた情報の表示を行う。 In step S205, the screen display unit 13 displays information based on the screen layout determined by the screen layout determination unit 12.

ステップS206では、会話が継続中であると判定されると、ステップS201からステップS205までのステップが繰り返し実行され、図3に示すように、この間に発話者の位置関係が形態Aから形態B、又は形態Bから形態Aに変わると、それに伴って情報を表示する画面レイアウトが変更される。会話が終了したと判定されると、情報表示が終了する。In step S206, if it is determined that the conversation is continuing, steps S201 to S205 are repeatedly executed, and as shown in Fig. 3, if the positional relationship of the speaker changes during this time from form A to form B, or from form B to form A, the screen layout for displaying information is changed accordingly. If it is determined that the conversation has ended, the information display is terminated.

本実施形態に係る情報提示装置2によれば、簡便な方法によりユーザの位置情報を取得することができる。 According to the information presentation device 2 of this embodiment, the user's location information can be obtained in a simple manner.

(第3の実施形態)
次に、画像を利用してユーザの位置情報を取得する例を、第3の実施形態として説明する。図7は、第3の実施形態に係る情報提示装置3の構成例を示すブロック図である。図7に示す情報提示装置3は、位置関係推定部11と、画面レイアウト決定部12と、画面表示部13と、発話者・位置推定部15と、位置関係DB16と、画像取得部17と、顔認証DB18と、を備える。情報提示装置3は、第2の実施形態に係る情報提示装置2と比較して、音声取得部14に代えて画像取得部17を備える点、及び顔認証DB18を更に備える点が相違する。第2の実施形態と同一の構成については、第2の実施形態と同一の参照番号を付して適宜説明を省略する。
Third Embodiment
Next, an example of acquiring user position information using an image will be described as a third embodiment. FIG. 7 is a block diagram showing a configuration example of an information display device 3 according to the third embodiment. The information display device 3 shown in FIG. 7 includes a positional relationship estimation unit 11, a screen layout determination unit 12, a screen display unit 13, a speaker/position estimation unit 15, a positional relationship DB 16, an image acquisition unit 17, and a face authentication DB 18. The information display device 3 is different from the information display device 2 according to the second embodiment in that it includes an image acquisition unit 17 instead of the voice acquisition unit 14, and further includes a face authentication DB 18. The same configurations as those of the second embodiment are given the same reference numbers as those of the second embodiment, and descriptions thereof will be omitted as appropriate.

画像取得部17は、ユーザの画像情報を取得するカメラなどである。画像取得部17は、取得した顔認識及び顔認証に利用される発話者の顔を示す画像情報を発話者・位置推定部15に出力する。The image acquisition unit 17 is a camera or the like that acquires image information of the user. The image acquisition unit 17 outputs the acquired image information showing the speaker's face to be used for face recognition and face authentication to the speaker/position estimation unit 15.

ここで、顔認証とは顔の目、鼻、口などの特徴点の位置や顔領域の位置や大きさを基に個人を判別する認証方式をいう。一方、顔認識とは人であることを判別するが、個人を判別しない。すなわち、顔認証DB18に登録された情報により顔認証を行えば、応対者と客との判別を行うことができる。 Here, facial recognition refers to an authentication method that distinguishes individuals based on the positions of facial features such as the eyes, nose, and mouth, and the position and size of the facial area. On the other hand, facial recognition distinguishes that a person is a person, but does not distinguish individuals. In other words, by performing facial recognition using the information registered in the facial recognition DB18, it is possible to distinguish between a customer and a waiter.

顔認証DB18は、応対者を顔認証により特定の個人として判別するために必要な顔認証情報をあらかじめ登録する。 The facial recognition DB18 pre-registers the facial recognition information required to identify the person in question as a specific individual through facial recognition.

発話者・位置推定部15は、画像取得部17により取得された画像情報に基づいて顔認識を実行して、ユーザの位置情報を推定する。そして、発話者・位置推定部15は、推定したユーザの位置情報を位置関係推定部11へ出力する。また、発話者・位置推定部15は、位置関係DB16に保存したユーザの位置情報を更新する。The speaker/position estimation unit 15 performs face recognition based on the image information acquired by the image acquisition unit 17, and estimates the user's position information. The speaker/position estimation unit 15 then outputs the estimated user's position information to the positional relationship estimation unit 11. The speaker/position estimation unit 15 also updates the user's position information stored in the positional relationship DB 16.

また、発話者・位置推定部15は、顔認証DB18に登録された顔認証情報、及び画像取得部17により取得された画像情報に基づいて、顔認証を実行して、応対者と他のユーザの位置を区別して推定する。応対者とはたとえば接客スタッフであり、他のユーザとはたとえば応対者の会話相手である。In addition, the speaker/position estimation unit 15 performs face recognition based on the face recognition information registered in the face recognition DB 18 and the image information acquired by the image acquisition unit 17, and estimates the positions of the person who is speaking to the person and other users by distinguishing between them. The person who is speaking to the person is, for example, a customer service staff member, and the other users are, for example, the person who is speaking to the person who is speaking to the person.

位置関係推定部11は、発話者・位置推定部15での処理終了を契機とし、位置関係DB16を参照して位置関係を推定し、推定した位置関係を画面レイアウト決定部12へ出力する。尚、上述の実施形態2では、顔認証を利用しないため、事前準備として、応対者の利用位置とマイクの位置を紐づけて位置関係DB16へ保存したが、実施形態3では顔認証を用いるため、応対者の位置を事前に決めておく必要はない。The positional relationship estimation unit 11, upon the completion of processing by the speaker/position estimation unit 15, estimates the positional relationship by referring to the positional relationship DB 16, and outputs the estimated positional relationship to the screen layout determination unit 12. In the above-mentioned embodiment 2, since face recognition is not used, the use position of the person who answers the phone and the position of the microphone are linked and stored in the positional relationship DB 16 as advance preparation, but since face recognition is used in embodiment 3, it is not necessary to determine the position of the person who answers the phone in advance.

尚、第3の実施形態に係る情報提示装置3は、画像取得部17と合わせて、上述の音声取得部14を更に備えてもよい。音声取得部14は、取得した音声を示す音声情報を発話者・位置推定部15に出力する。これにより、発話者・位置推定部15は、音声取得部14により取得された音声を基に、発話位置の推定を行うことも可能となる。 The information presentation device 3 according to the third embodiment may further include the above-mentioned voice acquisition unit 14 in addition to the image acquisition unit 17. The voice acquisition unit 14 outputs voice information indicating the acquired voice to the speaker/position estimation unit 15. This enables the speaker/position estimation unit 15 to estimate the speaking position based on the voice acquired by the voice acquisition unit 14.

図8は、第3の実施形態に係る情報提示装置3が実行する情報提示方法の一例を示すフローチャートである。 Figure 8 is a flowchart showing an example of an information presentation method performed by the information presentation device 3 relating to the third embodiment.

情報提示装置3が情報提示方法を実行する前に、事前準備として、顔認証DB18へ、応対者を顔認証により特定の個人として判別するために必要な応対者の情報を登録しておく。Before the information presentation device 3 executes the information presentation method, as a preliminary preparation, information on the respondent required to identify the respondent as a specific individual through facial recognition is registered in the facial recognition DB 18.

ステップS301では、情報提示装置3の画像取得部17が顔認証及び顔認識を実行するための発話者の顔の画像情報を取得する。In step S301, the image acquisition unit 17 of the information presentation device 3 acquires image information of the speaker's face to perform facial authentication and facial recognition.

ステップS302では、発話者・位置推定部15が顔認証及び顔認識を実行して、発話者及びその位置の推定を行うとともに、位置関係DB16に保存された発話者の位置情報の更新を行う。In step S302, the speaker/position estimation unit 15 performs face authentication and face recognition to estimate the speaker and its position, and updates the speaker's position information stored in the positional relationship DB 16.

ステップS303では、位置関係推定部11が位置関係DB16に保存された情報を基に、会話に参加している発話者の位置関係の推定を行う。In step S303, the positional relationship estimation unit 11 estimates the positional relationship of the speakers participating in the conversation based on the information stored in the positional relationship DB 16.

ステップS304では、画面レイアウト決定部12が位置関係推定部11において推定された位置関係を基に提示する情報の画面レイアウトを決定する。In step S304, the screen layout determination unit 12 determines the screen layout of the information to be presented based on the positional relationship estimated by the positional relationship estimation unit 11.

ステップS305では、画面表示部13が画面レイアウト決定部12において決定された画面レイアウトに基づいた情報の表示を行う。In step S305, the screen display unit 13 displays information based on the screen layout determined by the screen layout determination unit 12.

ステップS306では、会話が継続中であると判定されると、ステップS301からステップS305までのステップが繰り返し実行され、図3に示すように、この間に位置関係が形態Aから形態B、又は形態Bから形態Aに変わると、それに伴って情報を表示する画面レイアウトが変更される。会話が終了したと判定されると、情報表示が終了する。In step S306, if it is determined that the conversation is continuing, steps S301 to S305 are repeatedly executed, and as shown in FIG. 3, if the positional relationship changes during this time from form A to form B, or from form B to form A, the screen layout for displaying information is changed accordingly. If it is determined that the conversation has ended, the information display is terminated.

本実施形態に係る情報提示装置3によれば、簡便な方法によりユーザの位置情報を取得することができる。また、応対者と他のユーザを区別することができるため、応対者と他のユーザとで異なる情報を提示することが可能となる。また、画像取得部17に音声取得部14を組み合わせた場合には、ユーザの位置情報をより高精度に取得することができる。 According to the information presentation device 3 of this embodiment, the user's location information can be obtained by a simple method. In addition, since it is possible to distinguish between the person in charge and other users, it is possible to present different information to the person in charge and other users. Furthermore, when the image acquisition unit 17 is combined with the voice acquisition unit 14, the user's location information can be obtained with higher accuracy.

(第4の実施形態)
図9A及び図9Bは、第4の実施形態に係る情報提示装置4の構成例を示すブロック図である。第4の実施形態に係る情報提示装置4は、画面表示部が平面のみでなく、360度任意の位置から閲覧可能なディスプレイを備える情報提示装置である。このため、情報提示装置4に係る画面表示部の符号を13ではなく13’とした。図9Aは、第2の実施形態に係る情報提示装置2のブロック図である図5と比較して、画面表示部13’を有する点が相違する。図9Bは、第3の実施形態に係る情報提示装置3のブロック図である図7と比較して、画面表示部13’を有する点が相違する。
(Fourth embodiment)
9A and 9B are block diagrams showing a configuration example of an information presentation device 4 according to a fourth embodiment. The information presentation device 4 according to the fourth embodiment is an information presentation device having a screen display unit that is not only flat but also has a display that can be viewed from any position in 360 degrees. For this reason, the reference numeral 13' is used for the screen display unit of the information presentation device 4 instead of 13. FIG. 9A is different from FIG. 5, which is a block diagram of the information presentation device 2 according to the second embodiment, in that it has a screen display unit 13'. FIG. 9B is different from FIG. 7, which is a block diagram of the information presentation device 3 according to the third embodiment, in that it has a screen display unit 13'.

図10Aに示すように、360度任意の位置から閲覧可能なディスプレイDを利用すると、ユーザU1、U2、U3はそれぞれの位置から画面を見たときに、情報が通常文字で出力される。図10Bは、図10Aを上方から俯瞰してみた図である。As shown in Figure 10A, when using a display D that can be viewed from any position in 360 degrees, information is output in normal characters when users U1, U2, and U3 look at the screen from their respective positions. Figure 10B is a bird's-eye view of Figure 10A from above.

本実施形態に係る情報提示装置4によれば、閲覧方向の自由度が高めることができ、たとえば空中映像を表示させることも可能となる。 The information presentation device 4 of this embodiment allows for greater freedom in the viewing direction, making it possible, for example, to display aerial images.

(第5の実施形態)
図11は、第5の実施形態に係る情報提示装置5の構成例を示すブロック図である。図11に示す情報提示装置5は、位置関係推定部11と、画面レイアウト決定部12と、画面表示部13aと、音声取得部14と、発話者・位置推定部15と、位置関係DB16と、画面出力振分部19と、画面位置DB20と、を備える。情報提示装置5は、第2の実施形態に係る情報提示装置2と比較して、画面出力振分部19及び画面位置DB20を更に備える点が相違する。第2の実施形態と同一の構成については、第2の実施形態と同一の参照番号を付して適宜説明を省略する。情報提示装置5は、1以上の画面表示部13b~13nと接続される。
Fifth Embodiment
FIG. 11 is a block diagram showing a configuration example of an information display device 5 according to the fifth embodiment. The information display device 5 shown in FIG. 11 includes a positional relationship estimation unit 11, a screen layout determination unit 12, a screen display unit 13a, a voice acquisition unit 14, a speaker/position estimation unit 15, a positional relationship DB 16, a screen output allocation unit 19, and a screen position DB 20. The information display device 5 is different from the information display device 2 according to the second embodiment in that it further includes a screen output allocation unit 19 and a screen position DB 20. The same configurations as those in the second embodiment are given the same reference numbers as those in the second embodiment and will not be described as appropriate. The information display device 5 is connected to one or more screen display units 13b to 13n.

画面位置DB20は、複数の画面表示部13a~13nの各々の位置情報を保存する。 The screen position DB 20 stores the position information of each of the multiple screen display units 13a to 13n.

画面レイアウト決定部12は、位置関係推定部11により推定された位置関係、及び画面位置DB20に保存された位置情報に基づいて、画面表示部13a~13nそれぞれの画面レイアウトを決定する。そして、画面レイアウト決定部12は、画面表示部13a~13nそれぞれの画面レイアウトに基づく表示情報を画面出力振分部19へ出力する。The screen layout determination unit 12 determines the screen layout of each of the screen display units 13a to 13n based on the positional relationship estimated by the positional relationship estimation unit 11 and the positional information stored in the screen position DB 20. Then, the screen layout determination unit 12 outputs display information based on the screen layout of each of the screen display units 13a to 13n to the screen output allocation unit 19.

たとえば、図12において、ユーザU1,U2,U3が会話に参加している場合に、画面レイアウト決定部12は、ユーザU1,U2,U3の位置関係及び透過ディスプレイD1、D2の位置を基に、透過ディスプレイD1にはユーザU1に提示する表示情報を生成し、透過ディスプレイD2にはユーザU2,U3に提示する表示情報を生成する。図12に示す例では、ユーザU2から見て、ユーザU2が利用する画面には通常文字が提示され、ユーザU1、U3が利用する画面には反転文字が提示される。12, when users U1, U2, and U3 are participating in a conversation, the screen layout determination unit 12 generates display information to be presented to user U1 on transparent display D1 and generates display information to be presented to users U2 and U3 on transparent display D2 based on the relative positions of users U1, U2, and U3 and the positions of transparent displays D1 and D2. In the example shown in FIG. 12, as seen from user U2, normal characters are presented on the screen used by user U2, and inverted characters are presented on the screen used by users U1 and U3.

画面出力振分部19は画面レイアウト決定部12から入力した表示情報を複数の画面表示部13a~13nへ振り分けて転送を行う。 The screen output distribution unit 19 distributes and transfers the display information input from the screen layout determination unit 12 to multiple screen display units 13a to 13n.

第5の実施形態に係る情報提示装置5は複数のデバイスの連携により情報の提示を行ってもよい。すなわち、情報提示装置5は、会話相手の保有する、情報提示装置5の外部に備えられているデバイスとの連携により、該デバイスが備えるディスプレイへ情報の提示を行ってもよい。この場合、図11の画面表示部13b~13nは、複数のデバイスにおけるディスプレイを意味する。該デバイスには、スマートフォン、タブレット等の携帯情報端末が含まれる。この場合、画面出力振分部19は、Bluetooth、UWB等の近距離無線などにより、該デバイスへ表示情報の転送を行う。The information presentation device 5 according to the fifth embodiment may present information in cooperation with multiple devices. That is, the information presentation device 5 may present information on a display provided on a device owned by a conversation partner and provided outside the information presentation device 5 in cooperation with the device. In this case, the screen display units 13b to 13n in FIG. 11 refer to displays on multiple devices. Such devices include mobile information terminals such as smartphones and tablets. In this case, the screen output allocation unit 19 transfers display information to the device via short-range wireless communication such as Bluetooth or UWB.

尚、第5の実施形態に係る情報提示装置5は、音声取得部14と合わせて、上述の画像取得部17及び顔認証DB18を更に備えてもよい。画像取得部17は、取得した顔認識及び顔認証に利用される発話者の顔を示す画像情報を発話者・位置推定部15に出力する。これにより、発話者・位置推定部15は、画像取得部17により取得された画像を基に、顔認証及び顔認識を実行して、ユーザの位置情報の推定を行うことも可能となる。 The information presentation device 5 according to the fifth embodiment may further include the above-mentioned image acquisition unit 17 and face authentication DB 18 in addition to the voice acquisition unit 14. The image acquisition unit 17 outputs image information indicating the face of the speaker used for the acquired face recognition and face authentication to the speaker/position estimation unit 15. This enables the speaker/position estimation unit 15 to perform face authentication and face recognition based on the image acquired by the image acquisition unit 17, and estimate the user's position information.

図13は、第5の実施形態に係る情報提示装置5が実行する情報提示方法の一例を示すフローチャートである。 Figure 13 is a flowchart showing an example of an information presentation method performed by the information presentation device 5 relating to the fifth embodiment.

情報提示方法の実行を開始する前に、事前準備として、各画面の位置を画面位置DB20へ保存する。 Before starting the execution of the information presentation method, as a preliminary step, the position of each screen is stored in the screen position DB20.

ステップS401では、情報提示装置5の音声取得部14が発話音声を取得する。 In step S401, the voice acquisition unit 14 of the information presentation device 5 acquires the spoken voice.

ステップS402では、発話者・位置推定部15が発話者及び位置の推定を行うとともに、位置関係DB16に保存された発話者及びその位置情報の更新を行う。In step S402, the speaker/position estimation unit 15 estimates the speaker and position, and updates the speaker and its position information stored in the positional relationship DB 16.

ステップS403では、位置関係推定部11が位置関係DB16に保存された情報を基に、会話に参加している発話者の位置関係の推定を行う。In step S403, the positional relationship estimation unit 11 estimates the positional relationship of the speakers participating in the conversation based on the information stored in the positional relationship DB 16.

ステップS404では、画面レイアウト決定部12が位置関係推定部11において推定された位置関係及び画面位置DB20に保存された各画面の位置情報を基に提示する情報の画面レイアウトを決定する。In step S404, the screen layout determination unit 12 determines the screen layout of the information to be presented based on the positional relationship estimated by the positional relationship estimation unit 11 and the positional information of each screen stored in the screen position DB 20.

ステップS405では、画面出力振分部19が画面レイアウト決定部12より渡された画面レイアウトを基に、各画面表示部13a~13nへ表示内容及び表示出力を依頼する。 In step S405, the screen output allocation unit 19 requests each screen display unit 13a to 13n to provide display content and display output based on the screen layout passed from the screen layout determination unit 12.

ステップS406では、画面表示部13a~13nが、画面へ、決定された画面レイアウトに基づいた情報の出力を行う。 In step S406, the screen display units 13a to 13n output information to the screen based on the determined screen layout.

ステップS407では、会話が継続中であると判定されると、ステップS401からステップS406までのステップが繰り返し実行され、図3に示すように、この間に発話者の位置が形態Aから形態B、又は形態Bから形態Aに変わると、それに伴って情報を表示する画面レイアウトが変更される。会話が終了したと判定されると、情報表示が終了する。In step S407, if it is determined that the conversation is continuing, steps S401 to S406 are repeatedly executed, and as shown in FIG. 3, if the speaker's position changes during this time from form A to form B, or from form B to form A, the screen layout for displaying information is changed accordingly. If it is determined that the conversation has ended, the information display is terminated.

上記の情報提示装置1,2,3,4,5における位置関係推定部11、画面レイアウト決定部12、発話者・位置推定部15、及び画面出力振分部19は、制御演算回路(コントローラ)の一部を構成する。該制御演算回路は、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。The positional relationship estimation unit 11, screen layout determination unit 12, speaker/position estimation unit 15, and screen output allocation unit 19 in the above-mentioned information presentation devices 1, 2, 3, 4, and 5 constitute a part of a control and calculation circuit (controller). The control and calculation circuit may be constituted by dedicated hardware such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array), may be constituted by a processor, or may be constituted by including both.

また、上記の情報提示装置1,2,3,4,5を機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。図14は、情報提示装置1,2,3,4,5として機能するコンピュータの概略構成を示すブロック図である。ここで、コンピュータ100は、汎用コンピュータ、専用コンピュータ、ワークステーション、PC(Personal Computer)、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。 It is also possible to use a computer capable of executing program instructions to function the above-mentioned information presentation devices 1, 2, 3, 4, and 5. FIG. 14 is a block diagram showing a schematic configuration of a computer functioning as the information presentation devices 1, 2, 3, 4, and 5. Here, the computer 100 may be a general-purpose computer, a dedicated computer, a workstation, a PC (Personal Computer), an electronic notepad, or the like. The program instructions may be program code, code segments, or the like for performing the required tasks.

図14に示すように、コンピュータ100は、プロセッサ110と、記憶部としてROM(Read Only Memory)120、RAM(Random Access Memory)130、及びストレージ140と、入力部150と、出力部160と、通信インターフェース(I/F)170と、を備える。各構成は、バス180を介して相互に通信可能に接続されている。上記の情報提示装置2,4,5における音声取得部14及び情報提示装置3,4における画像取得部17は入力部150として構築されてもよく、情報提示装置1,2,3,4,5における画面表示部13は出力部160として構築されていてもよい。As shown in FIG. 14, the computer 100 includes a processor 110, a memory unit including a ROM (Read Only Memory) 120, a RAM (Random Access Memory) 130, and a storage 140, an input unit 150, an output unit 160, and a communication interface (I/F) 170. Each component is communicatively connected to each other via a bus 180. The voice acquisition unit 14 in the information presentation devices 2, 4, and 5 and the image acquisition unit 17 in the information presentation devices 3 and 4 may be constructed as the input unit 150, and the screen display unit 13 in the information presentation devices 1, 2, 3, 4, and 5 may be constructed as the output unit 160.

ROM120は、各種プログラム及び各種データを保存する。RAM130は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ140は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム及び各種データを保存する。本発明では、ROM120又はストレージ140に、本発明に係るプログラムが保存されている。また、本発明の実施形態に係る位置関係DB16、顔認証DB18、及び画面位置DB20は、ストレージ140として構築されていてもよい。 ROM 120 stores various programs and various data. RAM 130 temporarily stores programs or data as a working area. Storage 140 is configured with a HDD (Hard Disk Drive) or SSD (Solid State Drive) and stores various programs and various data including an operating system. In the present invention, the program according to the present invention is stored in ROM 120 or storage 140. In addition, the positional relationship DB 16, face recognition DB 18, and screen position DB 20 according to the embodiments of the present invention may be constructed as storage 140.

プロセッサ110は、具体的にはCPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、SoC(System on a Chip)などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサ110は、ROM120又はストレージ140からプログラムを読み出し、RAM130を作業領域としてプログラムを実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。Specifically, the processor 110 is a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), etc., and may be composed of multiple processors of the same or different types. The processor 110 reads a program from the ROM 120 or storage 140, and executes the program using the RAM 130 as a working area, thereby controlling each of the above components and performing various arithmetic processing. At least a portion of these processing contents may be realized by hardware.

プログラムは、コンピュータ100が読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータ100にインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性(non-transitory)の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROM、DVD-ROM、USB(Universal Serial Bus)メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。尚、本発明の実施形態に係る位置関係DB16、顔認証DB18、及び画面位置DB20は、かかる記録媒体に構築されていてもよい。The program may be recorded on a recording medium that can be read by the computer 100. By using such a recording medium, the program can be installed on the computer 100. Here, the recording medium on which the program is recorded may be a non-transitory recording medium. The non-transitory recording medium is not particularly limited, and may be, for example, a CD-ROM, a DVD-ROM, or a USB (Universal Serial Bus) memory. In addition, the program may be downloaded from an external device via a network. In addition, the positional relationship DB 16, the face authentication DB 18, and the screen position DB 20 according to the embodiment of the present invention may be constructed on such a recording medium.

以上の実施形態に関し、更に以下の付記を開示する。 The following notes are further disclosed with respect to the above embodiments.

(付記項1)
複数のユーザにディスプレイを介して情報を提示する情報提示装置であって、
前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定し、前記位置関係に応じて動的に画面レイアウトを決定し、該画面レイアウトに基づく表示情報を前記ディスプレイに出力する制御部
を備える情報提示装置。
(付記項2)
前記制御部は、
前記ユーザの発話音声を取得し、
前記発話音声に基づいて前記ユーザの位置情報を推定する、付記項1に記載の情報提示装置。
(付記項3)
前記制御部は、
前記ユーザの画像情報を取得し、
前記画像情報に基づいて顔認識を実行して、前記ユーザの位置情報を更新する、付記項1に記載の情報提示装置。
(付記項4)
応対者を顔認証により特定の個人として判別するための顔認証情報を登録する顔認証DBを更に備え、
前記制御部は、前記顔認証情報及び前記画像情報に基づいて顔認証を実行して、前記応対者と他のユーザの位置を区別して推定する、付記項3に記載の情報提示装置。
(付記項5)
前記制御部は、前記表示情報を360度任意の位置から閲覧可能なディスプレイに出力する、付記項1から4のいずれか一項に記載の情報提示装置。
(付記項6)
前記表示情報を表示する複数のディスプレイの位置情報を保存する画面位置DBを更に備え、
前記制御部は、前記表示情報を、前記複数のディスプレイへ振り分けて転送を行い、
前記位置関係、及び前記ディスプレイの位置情報に基づいて、前記複数のディスプレイそれぞれの画面レイアウトを決定する、付記項1から5のいずれか一項に記載の情報提示装置。
(付記項7)
複数のユーザにディスプレイを介して情報を提示する情報提示装置における情報提示方法であって、
情報提示装置により、
前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定するステップと、
前記位置関係に応じて動的に画面レイアウトを決定し、該画面レイアウトに基づく表示情報を前記ディスプレイに出力するステップと、
を含む情報提示方法。
(付記項8)
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項1から6のいずれか一項に記載の情報提示装置として機能させるプログラムを記憶した非一時的記憶媒体。
(Additional Note 1)
An information presentation device that presents information to a plurality of users via a display,
An information presentation device comprising a control unit that acquires the user's position information, estimates the user's positional relationship with respect to the display, dynamically determines a screen layout based on the positional relationship, and outputs display information based on the screen layout to the display.
(Additional Note 2)
The control unit is
Acquire a speech of the user;
2. The information presentation device according to claim 1, further comprising: estimating position information of the user based on the speech voice.
(Appendix 3)
The control unit is
Acquire image information of the user;
2. The information presentation device according to claim 1, further comprising: a face recognition unit configured to perform face recognition based on the image information and update location information of the user.
(Additional Note 4)
The system further includes a face recognition DB that registers face recognition information for identifying the person who answers the phone as a specific individual by face recognition,
The information presentation device according to claim 3, wherein the control unit performs face authentication based on the face authentication information and the image information, and estimates the positions of the person in charge and other users in a distinguished manner.
(Additional Note 5)
The information presentation device according to any one of claims 1 to 4, wherein the control unit outputs the display information to a display that can be viewed from any position within 360 degrees.
(Additional Note 6)
The display device further includes a screen position DB for storing position information of a plurality of displays for displaying the display information,
The control unit distributes and transfers the display information to the plurality of displays;
The information presentation device according to any one of claims 1 to 5, further comprising: determining a screen layout for each of the plurality of displays based on the positional relationship and position information of the displays.
(Additional Note 7)
An information presentation method in an information presentation device that presents information to a plurality of users via a display, comprising:
The information display device
acquiring position information of the user and estimating a positional relationship of the user with respect to the display;
dynamically determining a screen layout in accordance with the positional relationship, and outputting display information based on the screen layout to the display;
A method of presenting information including:
(Additional Note 8)
A non-transitory storage medium storing a program executable by a computer, the non-transitory storage medium storing a program that causes the computer to function as an information presentation device described in any one of appendix 1 to 6.

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。たとえば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。Although the above-described embodiments have been described as representative examples, it will be apparent to those skilled in the art that many modifications and substitutions can be made within the spirit and scope of the present invention. Therefore, the present invention should not be interpreted as being limited by the above-described embodiments, and various modifications or changes are possible without departing from the scope of the claims. For example, it is possible to combine multiple configuration blocks shown in the configuration diagram of the embodiment into one, or to divide one configuration block.

1,2,3,4,5 情報提示装置
11 位置関係推定部
12 画面レイアウト決定部
13,13’,13a~13n 画面表示部(ディスプレイ)
14 音声取得部
15 発話者・位置推定部
16 位置関係DB
17 画像取得部
18 画面位置DB
19 画面出力振分部
20 画面位置DB
100 コンピュータ
110 プロセッサ
120 ROM
130 RAM
140 ストレージ
150 入力部
160 出力部
170 通信インターフェース(I/F)
180 バス
1, 2, 3, 4, 5 Information presentation device 11 Positional relationship estimation unit 12 Screen layout determination unit 13, 13', 13a to 13n Screen display unit (display)
14 Voice acquisition unit 15 Speaker/position estimation unit 16 Positional relationship DB
17 Image acquisition unit 18 Screen position DB
19 Screen output distribution section 20 Screen position DB
100 Computer 110 Processor 120 ROM
130 RAM
140 Storage 150 Input section 160 Output section 170 Communication interface (I/F)
180 Bus

Claims (9)

複数のユーザにディスプレイを介して情報を提示する情報提示装置であって、
前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定する位置関係推定部と、
前記位置関係に応じて、動的に、前記提示する情報の一部反転させることを含む画面レイアウトを決定し、該画面レイアウトに基づいて前記提示する情報を前記ディスプレイに出力する画面レイアウト決定部と、
を備える情報提示装置。
An information presentation device that presents information to a plurality of users via a display,
a positional relationship estimation unit that acquires position information of the user and estimates a positional relationship of the user with respect to the display;
a screen layout determination unit that dynamically determines a screen layout including inverting a part of the information to be presented according to the positional relationship, and outputs the information to be presented on the display based on the screen layout;
An information presentation device comprising:
前記ユーザの発話音声を取得する音声取得部と、
前記発話音声に基づいて前記ユーザの位置情報を推定する発話者・位置推定部と、
を更に備える、請求項1に記載の情報提示装置。
A voice acquisition unit that acquires a speech voice of the user;
a speaker/position estimation unit that estimates position information of the user based on the spoken voice;
The information presentation device according to claim 1 , further comprising:
前記ユーザの画像情報を取得する画像取得部と、
前記画像情報に基づいて顔認識を実行して、前記ユーザの位置情報を推定する発話者・位置推定部と、
を更に備える、請求項1に記載の情報提示装置。
an image acquisition unit that acquires image information of the user;
a speaker/position estimation unit that performs face recognition based on the image information to estimate position information of the user;
The information presentation device according to claim 1 , further comprising:
複数のユーザにディスプレイを介して情報を提示する情報提示装置であって、
前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定する位置関係推定部と、
前記位置関係に応じて動的に画面レイアウトを決定し、該画面レイアウトに基づいて前
記提示する情報を前記ディスプレイに出力する画面レイアウト決定部と、
前記ユーザの画像情報を取得する画像取得部と、
前記画像情報に基づいて顔認識を実行して、前記ユーザの位置情報を推定する発話者・位置推定部と、
応対者を顔認証により特定の個人として判別するための顔認証情報を登録する顔認証DBと、を備え、
前記発話者・位置推定部は、前記顔認証情報及び前記画像情報に基づいて顔認証を実行して、前記応対者と他のユーザの位置を区別して推定する、情報提示装置。
An information presentation device that presents information to a plurality of users via a display,
a positional relationship estimation unit that acquires position information of the user and estimates a positional relationship of the user with respect to the display;
a screen layout determination unit that dynamically determines a screen layout in accordance with the positional relationship and outputs the information to be presented to the display based on the screen layout;
an image acquisition unit that acquires image information of the user;
a speaker/position estimation unit that performs face recognition based on the image information to estimate position information of the user;
A face recognition DB that registers face recognition information for identifying a person who answers a call as a specific individual by face recognition,
The speaker/position estimation unit performs face authentication based on the face authentication information and the image information, and estimates the positions of the speaker and other users separately.
前記画面レイアウト決定部は、前記提示する情報を360度任意の位置から閲覧可能なディスプレイに出力する、請求項1から4のいずれか一項に記載の情報提示装置。 The information presentation device according to any one of claims 1 to 4, wherein the screen layout determination unit outputs the presented information to a display that can be viewed from any position in a 360-degree range. 前記提示する情報を表示する複数のディスプレイの位置情報を保存する画面位置DBと、
前記提示する情報を、前記複数のディスプレイへ振り分けて転送を行う画面出力振分部と、
を更に備え、
前記画面レイアウト決定部は、前記位置関係、及び前記複数のディスプレイの位置情報に基づいて、前記複数のディスプレイそれぞれの画面レイアウトを決定する、請求項1から5のいずれか一項に記載の情報提示装置。
a screen position DB that stores position information of a plurality of displays that display the presented information;
a screen output distribution unit that distributes and transfers the information to be presented to the plurality of displays;
Further comprising:
The information presentation device according to claim 1 , wherein the screen layout determination unit determines a screen layout of each of the plurality of displays based on the positional relationship and position information of the plurality of displays.
複数のユーザに円柱状であって360度任意の位置から閲覧可能なディスプレイを介して情報を提示する情報提示装置であって、
前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定する位置関係推定部と、
前記位置関係に応じて、動的に、前記提示する情報を表示する向きを転回させることを含む画面レイアウトを決定し、該画面レイアウトに基づいて前記提示する情報を前記ディスプレイに出力する画面レイアウト決定部と、
を備える情報提示装置。
An information presentation device that presents information to a plurality of users via a cylindrical display that can be viewed from any position in 360 degrees,
a positional relationship estimation unit that acquires position information of the user and estimates a positional relationship of the user with respect to the display;
a screen layout determination unit that determines a screen layout including dynamically rotating a display orientation of the presented information according to the positional relationship, and outputs the presented information to the display based on the screen layout;
An information presentation device comprising :
複数のユーザにディスプレイを介して情報を提示する情報提示装置における情報提示方法であって、
情報提示装置により、
前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定するステップと、
前記位置関係に応じて、動的に、前記提示する情報の一部反転させることを含む画面レイアウトを決定し、該画面レイアウトに基づいて前記提示する情報を前記ディスプレイに出力するステップと、
を実行する情報提示方法。
An information presentation method in an information presentation device that presents information to a plurality of users via a display, comprising:
The information display device
acquiring position information of the user and estimating a positional relationship of the user with respect to the display;
determining a screen layout including dynamically inverting a part of the information to be presented in accordance with the positional relationship, and outputting the information to be presented on the display based on the screen layout;
A method of presenting information that:
コンピュータを、請求項1から7のいずれか一項に記載の情報提示装置として機能させるためのプログラム。 A program for causing a computer to function as an information presentation device according to any one of claims 1 to 7.
JP2023520656A 2021-05-12 2021-05-12 Information presentation device, information presentation method, and program Active JP7602179B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018067 WO2022239152A1 (en) 2021-05-12 2021-05-12 Information presentation device, information presentation method, and program

Publications (2)

Publication Number Publication Date
JPWO2022239152A1 JPWO2022239152A1 (en) 2022-11-17
JP7602179B2 true JP7602179B2 (en) 2024-12-18

Family

ID=84028032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023520656A Active JP7602179B2 (en) 2021-05-12 2021-05-12 Information presentation device, information presentation method, and program

Country Status (2)

Country Link
JP (1) JP7602179B2 (en)
WO (1) WO2022239152A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120569702A (en) * 2023-02-24 2025-08-29 京瓷株式会社 Program, display control device, and control method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026327A (en) 2008-07-22 2010-02-04 Canon Inc Device and method for controlling display device, and computer program
WO2015098188A1 (en) 2013-12-27 2015-07-02 ソニー株式会社 Display control device, display control method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3054378B1 (en) * 2013-10-04 2022-11-02 Sony Group Corporation Information processing device, information processing method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026327A (en) 2008-07-22 2010-02-04 Canon Inc Device and method for controlling display device, and computer program
WO2015098188A1 (en) 2013-12-27 2015-07-02 ソニー株式会社 Display control device, display control method, and program

Also Published As

Publication number Publication date
WO2022239152A1 (en) 2022-11-17
JPWO2022239152A1 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
US9966075B2 (en) Leveraging head mounted displays to enable person-to-person interactions
CN102169482B (en) Information processing apparatus and teleconference system
WO2020140720A1 (en) Rendering method and apparatus for virtual reality scene, and device
WO2021083125A1 (en) Call control method and related product
WO2018061173A1 (en) Tv conference system, tv conference method, and program
US20170185365A1 (en) System and method for screen sharing
JP7602179B2 (en) Information presentation device, information presentation method, and program
US11715271B2 (en) XR preferred movement along planes
JP2020136921A (en) Video call system and computer program
JP2019057047A (en) Display control system, display control method and program
EP4210307B1 (en) Incoming call prompting method and electronic device
JP2016048301A (en) Electronic device
US11341729B2 (en) Method and electronic device for correcting external reality pixels and virtual content pixels within an augmented reality environment
US11417070B2 (en) Augmented and virtual reality object creation
WO2021121291A1 (en) Image processing method and apparatus, electronic device and computer-readable storage medium
JP2013205995A (en) Server, electronic device, control method of server and control program of server
CN115576470A (en) Image processing method and device, augmented reality system and medium
US12353705B2 (en) Terminal apparatus
JP2023099954A (en) Insurance consultation system, solicitor terminal, and insurance consultation program
JP2017059079A (en) Information distribution apparatus and information distribution program
JP7574815B2 (en) Information processing method, information processing device, and program
JP7713605B2 (en) Language communication in virtual worlds
EP4664245A1 (en) Information processing system, program, and information processing method
CN115314588B (en) Background synchronization method, device, terminal, equipment, system and storage medium
WO2025055594A1 (en) Display method and electronic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241118

R150 Certificate of patent or registration of utility model

Ref document number: 7602179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350