JP7602179B2 - Information presentation device, information presentation method, and program - Google Patents
Information presentation device, information presentation method, and program Download PDFInfo
- Publication number
- JP7602179B2 JP7602179B2 JP2023520656A JP2023520656A JP7602179B2 JP 7602179 B2 JP7602179 B2 JP 7602179B2 JP 2023520656 A JP2023520656 A JP 2023520656A JP 2023520656 A JP2023520656 A JP 2023520656A JP 7602179 B2 JP7602179 B2 JP 7602179B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- positional relationship
- user
- screen layout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、情報提示装置、情報提示方法、及びプログラムに関する。 The present invention relates to an information presentation device, an information presentation method, and a program.
従来、応対者(以下、たとえば、接客スタッフのことをいう。)及び会話相手(以下、応対者の対になる存在であり、接客等のシーンで言えば、問い合わせを行う顧客のことをいう。)が文字などの伝達したい情報を伝達交換する情報提示装置では、会話相手の意志を表す文字情報などと、それに対応する応対者のいくつかの返事、答えなどを会話相手が理解できる文字情報などとして、同時にひとつのディスプレイの同じ画面に表示している。また、情報提示装置の一例である異言語間対話装置では、異なる言語を使用する応対者及び会話相手の発話を、翻訳処理を行うことにより、両者間の意思疎通を可能にする文字情報などとして、同時にひとつのディスプレイの同じ画面に表示している。さらに、ひとつのディスプレイ画面における会話相手に関する表示部分のみの表示の向きを転回することで会話相手に伝達したい文字情報などを見やすくする処理が行われている。Conventionally, in information presentation devices in which a person serving (hereinafter, referring to, for example, a customer service staff member) and a conversation partner (hereinafter, referring to the counterpart of the person serving, in the case of a customer service scene, referring to a customer making an inquiry) communicate and exchange information to be communicated, such as text, text information expressing the conversation partner's intentions and some of the person serving's corresponding replies and answers as text information that the conversation partner can understand are displayed simultaneously on the same screen of a single display. In addition, in an interlingual dialogue device, which is an example of an information presentation device, the speech of a person serving and a conversation partner who speak different languages is translated and displayed simultaneously on the same screen of a single display as text information that enables communication between the two. Furthermore, a process is performed in which the orientation of only the display portion related to the conversation partner on one display screen is rotated to make the text information to be communicated to the conversation partner easier to see.
例えば、特許文献1には、複数の端末部のそれぞれにおいて、互いに異なる言語を使用するユーザ(以下、会話参加者であり、応対者と会話相手の総称をいう。)の間の意思疎通を可能にする異言語間対話装置が記載され、特許文献2には、異なる言語を使用するユーザの間の意思疎通を可能にする対話処理方法が記載されている。また、特許文献3には、応対者が会話相手に情報を伝達するにあたり、情報表示装置上の情報の表示方法を天地反転して会話相手が見やすい向きに伝達したい情報を表示する手段を備える情報表示装置が記載されている。For example, Patent Document 1 describes an interlingual dialogue device that enables communication between users (hereinafter, conversation participants, a collective term for the respondent and the conversation partner) who use different languages on each of a number of terminal units, and
特許文献1及び特許文献2では、翻訳など、応対を円滑にするための工夫が提案されているが、ユーザの位置、及びそれを踏まえてレイアウトを動的に制御する方法については考慮されていない。また、特許文献3では、構成として、情報の表示を天地反転させることで、ユーザにとっての情報の見やすさを考慮しているが、ユーザの位置の変化に応じた画面レイアウトの動的な制御については考慮されていない。
Patent Document 1 and
かかる事情に鑑みてなされた本発明の目的は、ユーザの位置関係に応じて動的に画面レイアウトの変更を行うことが可能な情報提示装置、情報提示方法、及びプログラムを提供することにある。In view of the above circumstances, the object of the present invention is to provide an information presentation device, an information presentation method, and a program that are capable of dynamically changing the screen layout depending on the user's positional relationship.
上記課題を解決するため、一実施形態に係る情報提示装置は、複数のユーザにディスプレイを介して情報を提示する情報提示装置であって、前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定する位置関係推定部と、前記位置関係に応じて動的に画面レイアウトを決定し、該画面レイアウトに基づく表示情報を前記ディスプレイに出力する画面レイアウト決定部と、を備える。In order to solve the above problem, an information presentation device according to one embodiment is an information presentation device that presents information to multiple users via a display, and includes a positional relationship estimation unit that acquires positional information of the users and estimates a positional relationship of the users to the display, and a screen layout determination unit that dynamically determines a screen layout according to the positional relationship and outputs display information based on the screen layout to the display.
また、上記課題を解決するため、一実施形態に係る情報提示方法は、複数のユーザにディスプレイを介して情報を提示する情報提示装置における情報提示方法であって、情報提示装置により、前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定するステップと、前記位置関係に応じて動的に画面レイアウトを決定し、該画面レイアウトに基づく表示情報を前記ディスプレイに出力するステップと、を含む。In addition, in order to solve the above problem, an information presentation method according to one embodiment is an information presentation method in an information presentation device that presents information to multiple users via a display, and includes a step of acquiring position information of the users by the information presentation device and estimating a positional relationship of the users to the display, and a step of dynamically determining a screen layout according to the positional relationship, and outputting display information based on the screen layout to the display.
また、上記課題を解決するため、一実施形態に係るプログラムは、コンピュータを、上記情報提示装置として機能させる。 In addition, to solve the above problem, a program in one embodiment causes a computer to function as the above-mentioned information presentation device.
本発明によれば、煩雑な操作なく、会話の特性に応じた画面レイアウトで情報を利用可能となる。 According to the present invention, information can be used in a screen layout that corresponds to the characteristics of the conversation, without complicated operations.
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。 Below, the form for implementing the present invention is explained in detail with reference to the drawings.
(第1の実施形態)
図1は、第1の実施形態に係る情報提示装置1の構成例を示すブロック図である。図1に示す情報提示装置1は、位置関係推定部11と、画面レイアウト決定部12と、画面表示部13と、を備える。なお、画面表示部13は、情報提示装置1の外部に備えられていてもよい。
First Embodiment
Fig. 1 is a block diagram showing an example of a configuration of an information display device 1 according to a first embodiment. The information display device 1 shown in Fig. 1 includes a positional
位置関係推定部11は、ユーザの位置情報を受信して取得し、ユーザの画面表示部13に対する位置関係(以下、単に「位置関係」という。)を推定する。そして、位置関係推定部11は、推定した位置関係を示す位置関係情報を画面レイアウト決定部12に出力する。ユーザの位置情報は、情報提示装置1と連携して機能するマイク、環境カメラ、Bluetooth(登録商標)、UWB(Ultra Wide Band)などを利用して取得され、位置関係推定部11へ送信される。The positional
画面レイアウト決定部12は、位置関係推定部11において推定された位置関係に応じて動的に、提示する情報の画面レイアウトを決定する。そして、画面レイアウト決定部12は、決定した画面レイアウトに基づく表示情報を生成し、画面表示部13に出力する。The screen
画面表示部13は、画面レイアウト決定部12から入力した表示情報を表示するディスプレイである。画面表示部13は、例えば液晶ディスプレイ又は有機EL(Electro-Luminescence)ディスプレイである。ディスプレイは、透過ディスプレイであってもよい。The
図2A及び図2Bでは、情報提示装置1は3人のユーザU1,U2,U3の位置関係を推定し、推定した位置関係に基づく画面レイアウトを決定し、そして決定された画面レイアウトに基づいた情報を透過ディスプレイD(画面表示部13)に出力している。図2Aでは、ユーザU3が、透過ディスプレイDを挟んで、横並びのユーザU1及びユーザU2と会話をしている。この時、ユーザU3から見て、ユーザU3が利用する画面には通常文字が提示され、ユーザU1及びユーザU2が利用する画面には反転文字が提示される。図2Bでは、横並びのユーザU2及びUユーザU3が、透過ディスプレイDを挟んで、ユーザU1と会話をしている。この時、ユーザU2及びユーザU3から見て、ユーザU2及びユーザU3が利用する画面には通常文字が提示され、ユーザU1が利用する画面には反転文字が提示される。2A and 2B, the information presentation device 1 estimates the positional relationship of three users U1, U2, and U3, determines a screen layout based on the estimated positional relationship, and outputs information based on the determined screen layout to the transparent display D (screen display unit 13). In FIG. 2A, user U3 is having a conversation with users U1 and U2, who are side by side, across the transparent display D. At this time, normal characters are presented on the screen used by user U3, and inverted characters are presented on the screen used by users U1 and U2, as seen from user U3. In FIG. 2B, users U2 and U3, who are side by side, are having a conversation with user U1, across the transparent display D. At this time, normal characters are presented on the screen used by users U2 and U3, and inverted characters are presented on the screen used by user U1, as seen from users U2 and U3.
図3は、対話時の位置関係に応じた画面レイアウトの動的な変更を説明する図である。会話時の位置関係には、会話の特性に応じて、応対者と会話相手とがひとつの透過ディスプレイDを挟んで向かい合い画面を閲覧する形態(以下、形態Aという。)と、応対者と会話相手とがひとつの透過ディスプレイDの同じ画面を横並びに並んだ位置から閲覧する形態(以下、形態Bという。)とが含まれる。これらの位置関係に応じて、図3の左に示す形態Aでは、応対者の画面には通常文字を、会話相手の画面には反転文字を提示する画面レイアウトが提示される。一方、図3の右に示す形態Bでは、応対者及び会話相手の画面には通常文字を提示する画面レイアウトが提示される。ここで、応対者と会話相手の対話中の位置関係が変化すると、その位置関係に応じて、画面レイアウトが動的に変更される。形態Bでは応対者及び会話相手の閲覧方向が同じとなるため、物を参照した会話が容易となる。 Figure 3 is a diagram for explaining dynamic changes in the screen layout according to the positional relationship during conversation. The positional relationship during conversation includes a form in which the respondent and the conversation partner face each other across one transparent display D and view the screen (hereinafter referred to as form A), and a form in which the respondent and the conversation partner view the same screen of one transparent display D side by side (hereinafter referred to as form B). According to these positional relationships, in form A shown on the left of Figure 3, a screen layout is presented in which normal characters are presented on the screen of the respondent and inverted characters are presented on the screen of the conversation partner. On the other hand, in form B shown on the right of Figure 3, a screen layout is presented in which normal characters are presented on the screens of the respondent and the conversation partner. Here, when the positional relationship between the respondent and the conversation partner changes during the conversation, the screen layout is dynamically changed according to the positional relationship. In form B, the viewing direction of the respondent and the conversation partner is the same, making it easy to have a conversation referring to objects.
たとえば、形態Aにより対面で外国人観光客への応対を翻訳を利用して開始し、会話の途中から、形態Bにより付近の案内板を利用しながら会話を行うことも可能となる。For example, it is possible to start a face-to-face conversation with a foreign tourist using mode A, using translation, and then, midway through the conversation, continue the conversation using mode B, using nearby information boards.
図4は、情報提示装置1が実行する情報提示方法の一例を示すフローチャートである。 Figure 4 is a flowchart showing an example of an information presentation method executed by the information presentation device 1.
ステップS101では、ユーザの位置情報を受信すると、位置関係推定部11が、位置関係を推定する。
In step S101, when the user's location information is received, the location
ステップS102では、画面レイアウト決定部12が、位置関係推定部11において推定された位置関係を基に提示する情報の画面レイアウトを決定する。In step S102, the screen
ステップS103では、画面表示部13が、画面レイアウト決定部12において決定された画面レイアウトに基づいた情報の表示を行う。In step S103, the
ステップS104では、会話が継続中であると判定されると、ステップS101からステップS103までのステップが繰り返し実行され、図3に示すように、この間に位置関係が形態Aから形態B、又は形態Bから形態Aに変わると、それに伴って情報を表示する画面レイアウトが変更される。会話が終了したと判定されると、情報表示が終了する。In step S104, if it is determined that the conversation is continuing, steps S101 to S103 are repeatedly executed, and as shown in FIG. 3, if the positional relationship changes during this time from form A to form B, or from form B to form A, the screen layout for displaying information is changed accordingly. If it is determined that the conversation has ended, the information display is terminated.
本実施形態に係る情報提示装置1によれば、位置関係に応じて動的に画面レイアウトの変更を行うことが可能となり、煩雑な操作なく、参加人数、情報の閲覧方向などの会話の特性に応じた画面レイアウトで情報を利用可能となる。 According to the information presentation device 1 of this embodiment, it is possible to dynamically change the screen layout depending on the positional relationship, and information can be used in a screen layout that corresponds to the characteristics of the conversation, such as the number of participants and the direction in which the information is viewed, without complicated operations.
(第2の実施形態)
次に、音声を利用してユーザの位置情報を取得する例を、第2の実施形態として説明する。図5は、第2の実施形態に係る情報提示装置2の構成例を示すブロック図である。図5に示す情報提示装置2は、位置関係推定部11と、画面レイアウト決定部12と、画面表示部13と、音声取得部14と、発話者・位置推定部15と、位置関係DB16と、を備える。情報提示装置2は、第1の実施形態に係る情報提示装置1と比較して、音声取得部14、発話者・位置推定部15、及び位置関係DB16を更に備える点が相違する。第1の実施形態と同一の構成については、第1の実施形態と同一の参照番号を付して適宜説明を省略する。
Second Embodiment
Next, an example of acquiring user position information using voice will be described as a second embodiment. FIG. 5 is a block diagram showing a configuration example of an
音声取得部14は、ユーザの発話音声を取得するマイクなどである。音声取得部14は、取得した音声を示す音声情報を発話者・位置推定部15に出力する。The
位置関係DB16は、応対者の利用位置と音声取得部14の位置とを紐づけて保存する。The location relationship DB16 stores the respondent's usage location in association with the location of the
発話者・位置推定部15は、音声取得部14により取得された音声を基に、発話者(ある時点で発話を行ったユーザ)の位置の推定を行う。たとえば、音声取得部14が指向性マイク又はマイクアレイである場合、発話者・位置推定部15は、音声の大きさにより発話者の位置を推定することができる。そして、発話者・位置推定部15は、推定した発話位置を示す位置情報を位置関係推定部11へ出力するとともに、位置関係DB16に保存された発話者の位置情報を更新する。The speaker/
位置関係推定部11は、発話者・位置推定部15での処理終了を契機とし、位置関係DB16を参照し、会話に参加する発話者同士の位置関係の推定を行う。たとえば、2人の発話者AとBが存在する場合、発話者AとBはディスプレイの同じ面側に立っており、発話者Aが右側、発話者Bは左側に存在していると推定する。別の例としては、発話者AとBはディスプレイの異なる面側に立ち対面していると推定する。そして、位置関係推定部11は、推定した位置関係を示す位置関係情報を画面レイアウト決定部12へ出力する。
When the speaker/
図6は、第2の実施形態に係る情報提示装置2が実行する情報提示方法の一例を示すフローチャートである。
Figure 6 is a flowchart showing an example of an information presentation method performed by the
情報提示装置2が情報提示方法を実行する前に、事前準備として、応対者の利用位置とマイクの位置を紐づけて位置関係DB16へ保存する。Before the
ステップS201では、情報提示装置2の音声取得部14が発話音声を取得する。
In step S201, the
ステップS202では、発話者・位置推定部15が、取得した音声データを基に発話者及びその位置の推定を行うとともに、位置関係DB16に保存された発話者及びその位置情報の更新を行う。In step S202, the speaker/
ステップS203では、位置関係推定部11が、位置関係DB16に保存された情報を基に、会話に参加している発話者の位置関係の推定を行う。In step S203, the positional
ステップS204では、画面レイアウト決定部12が、位置関係推定部11において推定された位置関係を基に提示する情報の画面レイアウトを決定する。In step S204, the screen
ステップS205では、画面表示部13が、画面レイアウト決定部12において決定された画面レイアウトに基づいた情報の表示を行う。
In step S205, the
ステップS206では、会話が継続中であると判定されると、ステップS201からステップS205までのステップが繰り返し実行され、図3に示すように、この間に発話者の位置関係が形態Aから形態B、又は形態Bから形態Aに変わると、それに伴って情報を表示する画面レイアウトが変更される。会話が終了したと判定されると、情報表示が終了する。In step S206, if it is determined that the conversation is continuing, steps S201 to S205 are repeatedly executed, and as shown in Fig. 3, if the positional relationship of the speaker changes during this time from form A to form B, or from form B to form A, the screen layout for displaying information is changed accordingly. If it is determined that the conversation has ended, the information display is terminated.
本実施形態に係る情報提示装置2によれば、簡便な方法によりユーザの位置情報を取得することができる。
According to the
(第3の実施形態)
次に、画像を利用してユーザの位置情報を取得する例を、第3の実施形態として説明する。図7は、第3の実施形態に係る情報提示装置3の構成例を示すブロック図である。図7に示す情報提示装置3は、位置関係推定部11と、画面レイアウト決定部12と、画面表示部13と、発話者・位置推定部15と、位置関係DB16と、画像取得部17と、顔認証DB18と、を備える。情報提示装置3は、第2の実施形態に係る情報提示装置2と比較して、音声取得部14に代えて画像取得部17を備える点、及び顔認証DB18を更に備える点が相違する。第2の実施形態と同一の構成については、第2の実施形態と同一の参照番号を付して適宜説明を省略する。
Third Embodiment
Next, an example of acquiring user position information using an image will be described as a third embodiment. FIG. 7 is a block diagram showing a configuration example of an
画像取得部17は、ユーザの画像情報を取得するカメラなどである。画像取得部17は、取得した顔認識及び顔認証に利用される発話者の顔を示す画像情報を発話者・位置推定部15に出力する。The
ここで、顔認証とは顔の目、鼻、口などの特徴点の位置や顔領域の位置や大きさを基に個人を判別する認証方式をいう。一方、顔認識とは人であることを判別するが、個人を判別しない。すなわち、顔認証DB18に登録された情報により顔認証を行えば、応対者と客との判別を行うことができる。 Here, facial recognition refers to an authentication method that distinguishes individuals based on the positions of facial features such as the eyes, nose, and mouth, and the position and size of the facial area. On the other hand, facial recognition distinguishes that a person is a person, but does not distinguish individuals. In other words, by performing facial recognition using the information registered in the facial recognition DB18, it is possible to distinguish between a customer and a waiter.
顔認証DB18は、応対者を顔認証により特定の個人として判別するために必要な顔認証情報をあらかじめ登録する。 The facial recognition DB18 pre-registers the facial recognition information required to identify the person in question as a specific individual through facial recognition.
発話者・位置推定部15は、画像取得部17により取得された画像情報に基づいて顔認識を実行して、ユーザの位置情報を推定する。そして、発話者・位置推定部15は、推定したユーザの位置情報を位置関係推定部11へ出力する。また、発話者・位置推定部15は、位置関係DB16に保存したユーザの位置情報を更新する。The speaker/
また、発話者・位置推定部15は、顔認証DB18に登録された顔認証情報、及び画像取得部17により取得された画像情報に基づいて、顔認証を実行して、応対者と他のユーザの位置を区別して推定する。応対者とはたとえば接客スタッフであり、他のユーザとはたとえば応対者の会話相手である。In addition, the speaker/
位置関係推定部11は、発話者・位置推定部15での処理終了を契機とし、位置関係DB16を参照して位置関係を推定し、推定した位置関係を画面レイアウト決定部12へ出力する。尚、上述の実施形態2では、顔認証を利用しないため、事前準備として、応対者の利用位置とマイクの位置を紐づけて位置関係DB16へ保存したが、実施形態3では顔認証を用いるため、応対者の位置を事前に決めておく必要はない。The positional
尚、第3の実施形態に係る情報提示装置3は、画像取得部17と合わせて、上述の音声取得部14を更に備えてもよい。音声取得部14は、取得した音声を示す音声情報を発話者・位置推定部15に出力する。これにより、発話者・位置推定部15は、音声取得部14により取得された音声を基に、発話位置の推定を行うことも可能となる。
The
図8は、第3の実施形態に係る情報提示装置3が実行する情報提示方法の一例を示すフローチャートである。
Figure 8 is a flowchart showing an example of an information presentation method performed by the
情報提示装置3が情報提示方法を実行する前に、事前準備として、顔認証DB18へ、応対者を顔認証により特定の個人として判別するために必要な応対者の情報を登録しておく。Before the
ステップS301では、情報提示装置3の画像取得部17が顔認証及び顔認識を実行するための発話者の顔の画像情報を取得する。In step S301, the
ステップS302では、発話者・位置推定部15が顔認証及び顔認識を実行して、発話者及びその位置の推定を行うとともに、位置関係DB16に保存された発話者の位置情報の更新を行う。In step S302, the speaker/
ステップS303では、位置関係推定部11が位置関係DB16に保存された情報を基に、会話に参加している発話者の位置関係の推定を行う。In step S303, the positional
ステップS304では、画面レイアウト決定部12が位置関係推定部11において推定された位置関係を基に提示する情報の画面レイアウトを決定する。In step S304, the screen
ステップS305では、画面表示部13が画面レイアウト決定部12において決定された画面レイアウトに基づいた情報の表示を行う。In step S305, the
ステップS306では、会話が継続中であると判定されると、ステップS301からステップS305までのステップが繰り返し実行され、図3に示すように、この間に位置関係が形態Aから形態B、又は形態Bから形態Aに変わると、それに伴って情報を表示する画面レイアウトが変更される。会話が終了したと判定されると、情報表示が終了する。In step S306, if it is determined that the conversation is continuing, steps S301 to S305 are repeatedly executed, and as shown in FIG. 3, if the positional relationship changes during this time from form A to form B, or from form B to form A, the screen layout for displaying information is changed accordingly. If it is determined that the conversation has ended, the information display is terminated.
本実施形態に係る情報提示装置3によれば、簡便な方法によりユーザの位置情報を取得することができる。また、応対者と他のユーザを区別することができるため、応対者と他のユーザとで異なる情報を提示することが可能となる。また、画像取得部17に音声取得部14を組み合わせた場合には、ユーザの位置情報をより高精度に取得することができる。
According to the
(第4の実施形態)
図9A及び図9Bは、第4の実施形態に係る情報提示装置4の構成例を示すブロック図である。第4の実施形態に係る情報提示装置4は、画面表示部が平面のみでなく、360度任意の位置から閲覧可能なディスプレイを備える情報提示装置である。このため、情報提示装置4に係る画面表示部の符号を13ではなく13’とした。図9Aは、第2の実施形態に係る情報提示装置2のブロック図である図5と比較して、画面表示部13’を有する点が相違する。図9Bは、第3の実施形態に係る情報提示装置3のブロック図である図7と比較して、画面表示部13’を有する点が相違する。
(Fourth embodiment)
9A and 9B are block diagrams showing a configuration example of an information presentation device 4 according to a fourth embodiment. The information presentation device 4 according to the fourth embodiment is an information presentation device having a screen display unit that is not only flat but also has a display that can be viewed from any position in 360 degrees. For this reason, the reference numeral 13' is used for the screen display unit of the information presentation device 4 instead of 13. FIG. 9A is different from FIG. 5, which is a block diagram of the
図10Aに示すように、360度任意の位置から閲覧可能なディスプレイDを利用すると、ユーザU1、U2、U3はそれぞれの位置から画面を見たときに、情報が通常文字で出力される。図10Bは、図10Aを上方から俯瞰してみた図である。As shown in Figure 10A, when using a display D that can be viewed from any position in 360 degrees, information is output in normal characters when users U1, U2, and U3 look at the screen from their respective positions. Figure 10B is a bird's-eye view of Figure 10A from above.
本実施形態に係る情報提示装置4によれば、閲覧方向の自由度が高めることができ、たとえば空中映像を表示させることも可能となる。 The information presentation device 4 of this embodiment allows for greater freedom in the viewing direction, making it possible, for example, to display aerial images.
(第5の実施形態)
図11は、第5の実施形態に係る情報提示装置5の構成例を示すブロック図である。図11に示す情報提示装置5は、位置関係推定部11と、画面レイアウト決定部12と、画面表示部13aと、音声取得部14と、発話者・位置推定部15と、位置関係DB16と、画面出力振分部19と、画面位置DB20と、を備える。情報提示装置5は、第2の実施形態に係る情報提示装置2と比較して、画面出力振分部19及び画面位置DB20を更に備える点が相違する。第2の実施形態と同一の構成については、第2の実施形態と同一の参照番号を付して適宜説明を省略する。情報提示装置5は、1以上の画面表示部13b~13nと接続される。
Fifth Embodiment
FIG. 11 is a block diagram showing a configuration example of an
画面位置DB20は、複数の画面表示部13a~13nの各々の位置情報を保存する。
The
画面レイアウト決定部12は、位置関係推定部11により推定された位置関係、及び画面位置DB20に保存された位置情報に基づいて、画面表示部13a~13nそれぞれの画面レイアウトを決定する。そして、画面レイアウト決定部12は、画面表示部13a~13nそれぞれの画面レイアウトに基づく表示情報を画面出力振分部19へ出力する。The screen
たとえば、図12において、ユーザU1,U2,U3が会話に参加している場合に、画面レイアウト決定部12は、ユーザU1,U2,U3の位置関係及び透過ディスプレイD1、D2の位置を基に、透過ディスプレイD1にはユーザU1に提示する表示情報を生成し、透過ディスプレイD2にはユーザU2,U3に提示する表示情報を生成する。図12に示す例では、ユーザU2から見て、ユーザU2が利用する画面には通常文字が提示され、ユーザU1、U3が利用する画面には反転文字が提示される。12, when users U1, U2, and U3 are participating in a conversation, the screen
画面出力振分部19は画面レイアウト決定部12から入力した表示情報を複数の画面表示部13a~13nへ振り分けて転送を行う。
The screen
第5の実施形態に係る情報提示装置5は複数のデバイスの連携により情報の提示を行ってもよい。すなわち、情報提示装置5は、会話相手の保有する、情報提示装置5の外部に備えられているデバイスとの連携により、該デバイスが備えるディスプレイへ情報の提示を行ってもよい。この場合、図11の画面表示部13b~13nは、複数のデバイスにおけるディスプレイを意味する。該デバイスには、スマートフォン、タブレット等の携帯情報端末が含まれる。この場合、画面出力振分部19は、Bluetooth、UWB等の近距離無線などにより、該デバイスへ表示情報の転送を行う。The
尚、第5の実施形態に係る情報提示装置5は、音声取得部14と合わせて、上述の画像取得部17及び顔認証DB18を更に備えてもよい。画像取得部17は、取得した顔認識及び顔認証に利用される発話者の顔を示す画像情報を発話者・位置推定部15に出力する。これにより、発話者・位置推定部15は、画像取得部17により取得された画像を基に、顔認証及び顔認識を実行して、ユーザの位置情報の推定を行うことも可能となる。
The
図13は、第5の実施形態に係る情報提示装置5が実行する情報提示方法の一例を示すフローチャートである。
Figure 13 is a flowchart showing an example of an information presentation method performed by the
情報提示方法の実行を開始する前に、事前準備として、各画面の位置を画面位置DB20へ保存する。 Before starting the execution of the information presentation method, as a preliminary step, the position of each screen is stored in the screen position DB20.
ステップS401では、情報提示装置5の音声取得部14が発話音声を取得する。
In step S401, the
ステップS402では、発話者・位置推定部15が発話者及び位置の推定を行うとともに、位置関係DB16に保存された発話者及びその位置情報の更新を行う。In step S402, the speaker/
ステップS403では、位置関係推定部11が位置関係DB16に保存された情報を基に、会話に参加している発話者の位置関係の推定を行う。In step S403, the positional
ステップS404では、画面レイアウト決定部12が位置関係推定部11において推定された位置関係及び画面位置DB20に保存された各画面の位置情報を基に提示する情報の画面レイアウトを決定する。In step S404, the screen
ステップS405では、画面出力振分部19が画面レイアウト決定部12より渡された画面レイアウトを基に、各画面表示部13a~13nへ表示内容及び表示出力を依頼する。
In step S405, the screen
ステップS406では、画面表示部13a~13nが、画面へ、決定された画面レイアウトに基づいた情報の出力を行う。
In step S406, the
ステップS407では、会話が継続中であると判定されると、ステップS401からステップS406までのステップが繰り返し実行され、図3に示すように、この間に発話者の位置が形態Aから形態B、又は形態Bから形態Aに変わると、それに伴って情報を表示する画面レイアウトが変更される。会話が終了したと判定されると、情報表示が終了する。In step S407, if it is determined that the conversation is continuing, steps S401 to S406 are repeatedly executed, and as shown in FIG. 3, if the speaker's position changes during this time from form A to form B, or from form B to form A, the screen layout for displaying information is changed accordingly. If it is determined that the conversation has ended, the information display is terminated.
上記の情報提示装置1,2,3,4,5における位置関係推定部11、画面レイアウト決定部12、発話者・位置推定部15、及び画面出力振分部19は、制御演算回路(コントローラ)の一部を構成する。該制御演算回路は、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などの専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。The positional
また、上記の情報提示装置1,2,3,4,5を機能させるために、プログラム命令を実行可能なコンピュータを用いることも可能である。図14は、情報提示装置1,2,3,4,5として機能するコンピュータの概略構成を示すブロック図である。ここで、コンピュータ100は、汎用コンピュータ、専用コンピュータ、ワークステーション、PC(Personal Computer)、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
It is also possible to use a computer capable of executing program instructions to function the above-mentioned
図14に示すように、コンピュータ100は、プロセッサ110と、記憶部としてROM(Read Only Memory)120、RAM(Random Access Memory)130、及びストレージ140と、入力部150と、出力部160と、通信インターフェース(I/F)170と、を備える。各構成は、バス180を介して相互に通信可能に接続されている。上記の情報提示装置2,4,5における音声取得部14及び情報提示装置3,4における画像取得部17は入力部150として構築されてもよく、情報提示装置1,2,3,4,5における画面表示部13は出力部160として構築されていてもよい。As shown in FIG. 14, the
ROM120は、各種プログラム及び各種データを保存する。RAM130は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ140は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム及び各種データを保存する。本発明では、ROM120又はストレージ140に、本発明に係るプログラムが保存されている。また、本発明の実施形態に係る位置関係DB16、顔認証DB18、及び画面位置DB20は、ストレージ140として構築されていてもよい。
プロセッサ110は、具体的にはCPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、SoC(System on a Chip)などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサ110は、ROM120又はストレージ140からプログラムを読み出し、RAM130を作業領域としてプログラムを実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。Specifically, the
プログラムは、コンピュータ100が読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータ100にインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性(non-transitory)の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROM、DVD-ROM、USB(Universal Serial Bus)メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。尚、本発明の実施形態に係る位置関係DB16、顔認証DB18、及び画面位置DB20は、かかる記録媒体に構築されていてもよい。The program may be recorded on a recording medium that can be read by the
以上の実施形態に関し、更に以下の付記を開示する。 The following notes are further disclosed with respect to the above embodiments.
(付記項1)
複数のユーザにディスプレイを介して情報を提示する情報提示装置であって、
前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定し、前記位置関係に応じて動的に画面レイアウトを決定し、該画面レイアウトに基づく表示情報を前記ディスプレイに出力する制御部
を備える情報提示装置。
(付記項2)
前記制御部は、
前記ユーザの発話音声を取得し、
前記発話音声に基づいて前記ユーザの位置情報を推定する、付記項1に記載の情報提示装置。
(付記項3)
前記制御部は、
前記ユーザの画像情報を取得し、
前記画像情報に基づいて顔認識を実行して、前記ユーザの位置情報を更新する、付記項1に記載の情報提示装置。
(付記項4)
応対者を顔認証により特定の個人として判別するための顔認証情報を登録する顔認証DBを更に備え、
前記制御部は、前記顔認証情報及び前記画像情報に基づいて顔認証を実行して、前記応対者と他のユーザの位置を区別して推定する、付記項3に記載の情報提示装置。
(付記項5)
前記制御部は、前記表示情報を360度任意の位置から閲覧可能なディスプレイに出力する、付記項1から4のいずれか一項に記載の情報提示装置。
(付記項6)
前記表示情報を表示する複数のディスプレイの位置情報を保存する画面位置DBを更に備え、
前記制御部は、前記表示情報を、前記複数のディスプレイへ振り分けて転送を行い、
前記位置関係、及び前記ディスプレイの位置情報に基づいて、前記複数のディスプレイそれぞれの画面レイアウトを決定する、付記項1から5のいずれか一項に記載の情報提示装置。
(付記項7)
複数のユーザにディスプレイを介して情報を提示する情報提示装置における情報提示方法であって、
情報提示装置により、
前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定するステップと、
前記位置関係に応じて動的に画面レイアウトを決定し、該画面レイアウトに基づく表示情報を前記ディスプレイに出力するステップと、
を含む情報提示方法。
(付記項8)
コンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、前記コンピュータを付記項1から6のいずれか一項に記載の情報提示装置として機能させるプログラムを記憶した非一時的記憶媒体。
(Additional Note 1)
An information presentation device that presents information to a plurality of users via a display,
An information presentation device comprising a control unit that acquires the user's position information, estimates the user's positional relationship with respect to the display, dynamically determines a screen layout based on the positional relationship, and outputs display information based on the screen layout to the display.
(Additional Note 2)
The control unit is
Acquire a speech of the user;
2. The information presentation device according to claim 1, further comprising: estimating position information of the user based on the speech voice.
(Appendix 3)
The control unit is
Acquire image information of the user;
2. The information presentation device according to claim 1, further comprising: a face recognition unit configured to perform face recognition based on the image information and update location information of the user.
(Additional Note 4)
The system further includes a face recognition DB that registers face recognition information for identifying the person who answers the phone as a specific individual by face recognition,
The information presentation device according to
(Additional Note 5)
The information presentation device according to any one of claims 1 to 4, wherein the control unit outputs the display information to a display that can be viewed from any position within 360 degrees.
(Additional Note 6)
The display device further includes a screen position DB for storing position information of a plurality of displays for displaying the display information,
The control unit distributes and transfers the display information to the plurality of displays;
The information presentation device according to any one of claims 1 to 5, further comprising: determining a screen layout for each of the plurality of displays based on the positional relationship and position information of the displays.
(Additional Note 7)
An information presentation method in an information presentation device that presents information to a plurality of users via a display, comprising:
The information display device
acquiring position information of the user and estimating a positional relationship of the user with respect to the display;
dynamically determining a screen layout in accordance with the positional relationship, and outputting display information based on the screen layout to the display;
A method of presenting information including:
(Additional Note 8)
A non-transitory storage medium storing a program executable by a computer, the non-transitory storage medium storing a program that causes the computer to function as an information presentation device described in any one of appendix 1 to 6.
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。たとえば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。Although the above-described embodiments have been described as representative examples, it will be apparent to those skilled in the art that many modifications and substitutions can be made within the spirit and scope of the present invention. Therefore, the present invention should not be interpreted as being limited by the above-described embodiments, and various modifications or changes are possible without departing from the scope of the claims. For example, it is possible to combine multiple configuration blocks shown in the configuration diagram of the embodiment into one, or to divide one configuration block.
1,2,3,4,5 情報提示装置
11 位置関係推定部
12 画面レイアウト決定部
13,13’,13a~13n 画面表示部(ディスプレイ)
14 音声取得部
15 発話者・位置推定部
16 位置関係DB
17 画像取得部
18 画面位置DB
19 画面出力振分部
20 画面位置DB
100 コンピュータ
110 プロセッサ
120 ROM
130 RAM
140 ストレージ
150 入力部
160 出力部
170 通信インターフェース(I/F)
180 バス
1, 2, 3, 4, 5
14
17
19 Screen
100
130 RAM
180 Bus
Claims (9)
前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定する位置関係推定部と、
前記位置関係に応じて、動的に、前記提示する情報の一部を反転させることを含む画面レイアウトを決定し、該画面レイアウトに基づいて前記提示する情報を前記ディスプレイに出力する画面レイアウト決定部と、
を備える情報提示装置。 An information presentation device that presents information to a plurality of users via a display,
a positional relationship estimation unit that acquires position information of the user and estimates a positional relationship of the user with respect to the display;
a screen layout determination unit that dynamically determines a screen layout including inverting a part of the information to be presented according to the positional relationship, and outputs the information to be presented on the display based on the screen layout;
An information presentation device comprising:
前記発話音声に基づいて前記ユーザの位置情報を推定する発話者・位置推定部と、
を更に備える、請求項1に記載の情報提示装置。 A voice acquisition unit that acquires a speech voice of the user;
a speaker/position estimation unit that estimates position information of the user based on the spoken voice;
The information presentation device according to claim 1 , further comprising:
前記画像情報に基づいて顔認識を実行して、前記ユーザの位置情報を推定する発話者・位置推定部と、
を更に備える、請求項1に記載の情報提示装置。 an image acquisition unit that acquires image information of the user;
a speaker/position estimation unit that performs face recognition based on the image information to estimate position information of the user;
The information presentation device according to claim 1 , further comprising:
前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定する位置関係推定部と、
前記位置関係に応じて動的に画面レイアウトを決定し、該画面レイアウトに基づいて前
記提示する情報を前記ディスプレイに出力する画面レイアウト決定部と、
前記ユーザの画像情報を取得する画像取得部と、
前記画像情報に基づいて顔認識を実行して、前記ユーザの位置情報を推定する発話者・位置推定部と、
応対者を顔認証により特定の個人として判別するための顔認証情報を登録する顔認証DBと、を備え、
前記発話者・位置推定部は、前記顔認証情報及び前記画像情報に基づいて顔認証を実行して、前記応対者と他のユーザの位置を区別して推定する、情報提示装置。 An information presentation device that presents information to a plurality of users via a display,
a positional relationship estimation unit that acquires position information of the user and estimates a positional relationship of the user with respect to the display;
a screen layout determination unit that dynamically determines a screen layout in accordance with the positional relationship and outputs the information to be presented to the display based on the screen layout;
an image acquisition unit that acquires image information of the user;
a speaker/position estimation unit that performs face recognition based on the image information to estimate position information of the user;
A face recognition DB that registers face recognition information for identifying a person who answers a call as a specific individual by face recognition,
The speaker/position estimation unit performs face authentication based on the face authentication information and the image information, and estimates the positions of the speaker and other users separately.
前記提示する情報を、前記複数のディスプレイへ振り分けて転送を行う画面出力振分部と、
を更に備え、
前記画面レイアウト決定部は、前記位置関係、及び前記複数のディスプレイの位置情報に基づいて、前記複数のディスプレイそれぞれの画面レイアウトを決定する、請求項1から5のいずれか一項に記載の情報提示装置。 a screen position DB that stores position information of a plurality of displays that display the presented information;
a screen output distribution unit that distributes and transfers the information to be presented to the plurality of displays;
Further comprising:
The information presentation device according to claim 1 , wherein the screen layout determination unit determines a screen layout of each of the plurality of displays based on the positional relationship and position information of the plurality of displays.
前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定する位置関係推定部と、
前記位置関係に応じて、動的に、前記提示する情報を表示する向きを転回させることを含む画面レイアウトを決定し、該画面レイアウトに基づいて前記提示する情報を前記ディスプレイに出力する画面レイアウト決定部と、
を備える情報提示装置。 An information presentation device that presents information to a plurality of users via a cylindrical display that can be viewed from any position in 360 degrees,
a positional relationship estimation unit that acquires position information of the user and estimates a positional relationship of the user with respect to the display;
a screen layout determination unit that determines a screen layout including dynamically rotating a display orientation of the presented information according to the positional relationship, and outputs the presented information to the display based on the screen layout;
An information presentation device comprising :
情報提示装置により、
前記ユーザの位置情報を取得し、前記ユーザの前記ディスプレイに対する位置関係を推定するステップと、
前記位置関係に応じて、動的に、前記提示する情報の一部を反転させることを含む画面レイアウトを決定し、該画面レイアウトに基づいて前記提示する情報を前記ディスプレイに出力するステップと、
を実行する情報提示方法。 An information presentation method in an information presentation device that presents information to a plurality of users via a display, comprising:
The information display device
acquiring position information of the user and estimating a positional relationship of the user with respect to the display;
determining a screen layout including dynamically inverting a part of the information to be presented in accordance with the positional relationship, and outputting the information to be presented on the display based on the screen layout;
A method of presenting information that:
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/018067 WO2022239152A1 (en) | 2021-05-12 | 2021-05-12 | Information presentation device, information presentation method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2022239152A1 JPWO2022239152A1 (en) | 2022-11-17 |
| JP7602179B2 true JP7602179B2 (en) | 2024-12-18 |
Family
ID=84028032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023520656A Active JP7602179B2 (en) | 2021-05-12 | 2021-05-12 | Information presentation device, information presentation method, and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7602179B2 (en) |
| WO (1) | WO2022239152A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120569702A (en) * | 2023-02-24 | 2025-08-29 | 京瓷株式会社 | Program, display control device, and control method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010026327A (en) | 2008-07-22 | 2010-02-04 | Canon Inc | Device and method for controlling display device, and computer program |
| WO2015098188A1 (en) | 2013-12-27 | 2015-07-02 | ソニー株式会社 | Display control device, display control method, and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3054378B1 (en) * | 2013-10-04 | 2022-11-02 | Sony Group Corporation | Information processing device, information processing method, and program |
-
2021
- 2021-05-12 JP JP2023520656A patent/JP7602179B2/en active Active
- 2021-05-12 WO PCT/JP2021/018067 patent/WO2022239152A1/en not_active Ceased
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010026327A (en) | 2008-07-22 | 2010-02-04 | Canon Inc | Device and method for controlling display device, and computer program |
| WO2015098188A1 (en) | 2013-12-27 | 2015-07-02 | ソニー株式会社 | Display control device, display control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022239152A1 (en) | 2022-11-17 |
| JPWO2022239152A1 (en) | 2022-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9966075B2 (en) | Leveraging head mounted displays to enable person-to-person interactions | |
| CN102169482B (en) | Information processing apparatus and teleconference system | |
| WO2020140720A1 (en) | Rendering method and apparatus for virtual reality scene, and device | |
| WO2021083125A1 (en) | Call control method and related product | |
| WO2018061173A1 (en) | Tv conference system, tv conference method, and program | |
| US20170185365A1 (en) | System and method for screen sharing | |
| JP7602179B2 (en) | Information presentation device, information presentation method, and program | |
| US11715271B2 (en) | XR preferred movement along planes | |
| JP2020136921A (en) | Video call system and computer program | |
| JP2019057047A (en) | Display control system, display control method and program | |
| EP4210307B1 (en) | Incoming call prompting method and electronic device | |
| JP2016048301A (en) | Electronic device | |
| US11341729B2 (en) | Method and electronic device for correcting external reality pixels and virtual content pixels within an augmented reality environment | |
| US11417070B2 (en) | Augmented and virtual reality object creation | |
| WO2021121291A1 (en) | Image processing method and apparatus, electronic device and computer-readable storage medium | |
| JP2013205995A (en) | Server, electronic device, control method of server and control program of server | |
| CN115576470A (en) | Image processing method and device, augmented reality system and medium | |
| US12353705B2 (en) | Terminal apparatus | |
| JP2023099954A (en) | Insurance consultation system, solicitor terminal, and insurance consultation program | |
| JP2017059079A (en) | Information distribution apparatus and information distribution program | |
| JP7574815B2 (en) | Information processing method, information processing device, and program | |
| JP7713605B2 (en) | Language communication in virtual worlds | |
| EP4664245A1 (en) | Information processing system, program, and information processing method | |
| CN115314588B (en) | Background synchronization method, device, terminal, equipment, system and storage medium | |
| WO2025055594A1 (en) | Display method and electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240820 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7602179 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |