JP7753753B2 - Information processing device and information processing program - Google Patents
Information processing device and information processing programInfo
- Publication number
- JP7753753B2 JP7753753B2 JP2021157061A JP2021157061A JP7753753B2 JP 7753753 B2 JP7753753 B2 JP 7753753B2 JP 2021157061 A JP2021157061 A JP 2021157061A JP 2021157061 A JP2021157061 A JP 2021157061A JP 7753753 B2 JP7753753 B2 JP 7753753B2
- Authority
- JP
- Japan
- Prior art keywords
- augmented reality
- information processing
- movement
- reality image
- contact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、情報処理装置、及び情報処理プログラムに関する。 The present invention relates to an information processing device and an information processing program.
特許文献1には、拡張現実を体験中のユーザに、現実世界の物体との接触の可能性を知覚可能とさせる情報処理装置が開示されている。この情報処理装置は、仮想物体により現実物体の表示領域が隠され、かつ、観察者と現実物体との間の距離が所定の距離以内である場合に、仮想物体を半透明表示又は輪郭線表示としている。 Patent Document 1 discloses an information processing device that allows a user experiencing augmented reality to perceive the possibility of contact with a real-world object. This information processing device displays the virtual object semi-transparently or as an outline when the display area of the real object is hidden by the virtual object and the distance between the viewer and the real object is within a predetermined distance.
拡張現実の空間では、操作を行うためのアイコン等の拡張現実に描画される画像の表示枠に、現実空間にいる人等の物体が移動してくることにより、物体と拡張現実の画像とが接触し、重複してしまう場合がある。このように何らかの物体が拡張現実の画像に接触し、拡張現実の画像の視認性が損なわれてしまうことがある。 In an augmented reality space, when an object such as a person in the real world moves into the display frame of an image drawn in the augmented reality, such as an icon for performing an operation, the object and the augmented reality image may come into contact and overlap. In this way, an object may come into contact with the augmented reality image, impairing the visibility of the augmented reality image.
本開示の目的は、物体が拡張現実の画像に接触しようとする場合に、拡張現実の画像の視認性を確保する情報処理装置、及び情報処理プログラムを提供することである。 The objective of the present disclosure is to provide an information processing device and information processing program that ensures visibility of an augmented reality image when an object attempts to come into contact with the augmented reality image.
本開示の第1態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、拡張現実の空間に、拡張現実の画像を配置する制御を行い、移動する物体が前記拡張現実の画像に接触するように移動したとき、前記物体に接触しないように前記拡張現実の画像を移動する制御を行う。 An information processing device according to a first aspect of the present disclosure includes a processor, which controls the placement of an augmented reality image in an augmented reality space, and when a moving object moves so as to come into contact with the augmented reality image, controls the movement of the augmented reality image so as not to come into contact with the object.
本開示の第2態様に係る情報処理装置は、本開示の第1態様に係る情報処理装置であって、前記プロセッサは、前記移動する制御において、前記物体に接触せず、かつ、前記拡張現実の画像を縮小させるように移動する方向として奥方向に移動させる。 An information processing device according to a second aspect of the present disclosure is the information processing device according to the first aspect of the present disclosure, wherein the processor, in controlling the movement, moves the object backward so as not to come into contact with the object and to reduce the augmented reality image.
本開示の第3態様に係る情報処理装置は、本開示の第1態様又は第2態様に係る情報処理装置であって、前記プロセッサは、前記拡張現実の画像が、前記拡張現実の空間を操作するユーザの操作対象、又は前記ユーザの視線の対象となっている場合に、前記移動する制御を行う。 An information processing device according to a third aspect of the present disclosure is an information processing device according to the first or second aspect of the present disclosure, wherein the processor performs the movement control when the augmented reality image is the object of operation by a user who operates the augmented reality space or the object of the user's line of sight.
本開示の第4態様に係る情報処理装置は、本開示の第1態様又は第2態様に係る情報処理装置であって、前記プロセッサは、前記拡張現実の空間に複数の拡張現実の画像を配置した場合、前記物体の移動により接触の対象になった前記拡張現実の画像に隣り合う別の拡張現実の画像が、前記拡張現実の空間を操作するユーザの操作対象、又は前記ユーザの視線の対象となっている場合に、前記移動する制御を行う。 An information processing device according to a fourth aspect of the present disclosure is an information processing device according to the first or second aspect of the present disclosure, wherein when multiple augmented reality images are arranged in the augmented reality space, the processor performs the movement control if another augmented reality image adjacent to an augmented reality image that has become the target of contact due to the movement of the object is the target of operation by a user operating the augmented reality space or the target of the user's line of sight.
本開示の第5態様に係る情報処理装置は、本開示の第1態様~第4態様の何れかに係る情報処理装置であって、前記プロセッサは、前記移動する制御において、前記物体の移動範囲にならない空間に、前記拡張現実の画像を移動させる。 An information processing device according to a fifth aspect of the present disclosure is an information processing device according to any one of the first to fourth aspects of the present disclosure, wherein the processor, in the movement control, moves the augmented reality image to a space that is not within the movement range of the object.
本開示の第6態様に係る情報処理装置は、本開示の第1態様~第5態様の何れかに係る情報処理装置であって、前記プロセッサは、前記拡張現実の画像が移動する制御の対象である場合は、前記移動する制御を行い、前記拡張現実の画像が移動する制御の対象ではない場合は、前記移動する制御を行わない。 An information processing device according to a sixth aspect of the present disclosure is an information processing device according to any one of the first to fifth aspects of the present disclosure, wherein the processor performs the movement control if the augmented reality image is subject to movement control, and does not perform the movement control if the augmented reality image is not subject to movement control.
本開示の第7態様に係る情報処理装置は、本開示の第1態様~第6態様の何れかに係る情報処理装置であって、前記移動する制御の後に、前記拡張現実の画像の移動前の元の位置から前記物体が離れた場合に、移動させた前記拡張現実の画像を、移動前の元の位置に戻す制御を行う。 An information processing device according to a seventh aspect of the present disclosure is an information processing device according to any one of the first to sixth aspects of the present disclosure, and, if, after the movement control, the object moves away from the original position of the augmented reality image before the movement, controls to return the moved augmented reality image to its original position before the movement.
本開示の第8態様に係る情報処理装置は、本開示の第1態様~第7態様の何れかに係る情報処理装置であって、前記プロセッサは、前記移動する制御において、前記拡張現実の空間に、配置された別の物体がある場合に、前記物体に接触せず、かつ、配置された前記別の物体がない空間に、前記拡張現実の画像を移動させる制御を行う。 An information processing device according to an eighth aspect of the present disclosure is an information processing device according to any one of the first to seventh aspects of the present disclosure, wherein, in the movement control, if there is another object placed in the augmented reality space, the processor controls the movement of the augmented reality image to a space that does not come into contact with the object and does not contain the other object.
本開示の第9態様に係る情報処理装置は、本開示の第1態様~第8態様の何れかに係る情報処理装置であって、前記プロセッサは、前記拡張現実の空間に複数の拡張現実の画像を配置した場合、前記複数の拡張現実の画像のうちのいずれかの拡張現実の画像に前記物体が接触するように移動したとき、前記複数の拡張現実の画像を、前記物体に接触しないように、前記移動する制御を行う。 An information processing device according to a ninth aspect of the present disclosure is an information processing device according to any one of the first to eighth aspects of the present disclosure, wherein when a plurality of augmented reality images are arranged in the augmented reality space, and when the object moves so as to come into contact with one of the plurality of augmented reality images, the processor controls the movement of the plurality of augmented reality images so as not to come into contact with the object.
本開示の第10態様に係る情報処理装置は、本開示の第9態様に係る情報処理装置であって、前記プロセッサは、前記移動する制御において、前記複数の拡張現実の画像のうちの前記物体と接触の対象になった個別の拡張現実の画像を、前記物体に接触せず、かつ、他の拡張現実の画像がない空間に移動させる。 An information processing device according to a tenth aspect of the present disclosure is the information processing device according to the ninth aspect of the present disclosure, wherein the processor, in the movement control, moves an individual augmented reality image among the plurality of augmented reality images that is the subject of contact with the object to a space that is not in contact with the object and is free of other augmented reality images.
本開示の第11態様に係る情報処理装置は、本開示の第1態様~第10態様の何れかに係る情報処理装置であって、前記プロセッサは、前記物体の移動により接触の対象になった前記拡張現実の画像を、表示領域外の空間へ移動させる。 An information processing device according to an eleventh aspect of the present disclosure is an information processing device according to any one of the first to tenth aspects of the present disclosure, wherein the processor moves the augmented reality image that has become the target of contact due to the movement of the object to a space outside the display area.
本開示の第12態様に係る情報処理装置は、本開示の第9態様に係る情報処理装置であって、前記プロセッサは、前記物体の移動により接触の対象になった前記拡張現実の画像を、他の拡張現実の画像の一部に重畳させるように、前記移動する制御を行う。 An information processing device according to a twelfth aspect of the present disclosure is the information processing device according to the ninth aspect of the present disclosure, wherein the processor controls the movement so that the augmented reality image that has become the target of contact due to the movement of the object is superimposed on a portion of another augmented reality image.
本開示の第13態様に係る情報処理装置は、本開示の第9態様又は第12態様に係る情報処理装置であって、前記プロセッサは、前記物体の移動により接触の対象になった前記拡張現実の画像について、当該拡張現実の画像の種類に応じて、関連した種類の別の拡張現実の画像に隣接するように、前記移動する制御を行う。 An information processing device according to a thirteenth aspect of the present disclosure is an information processing device according to the ninth or twelfth aspect of the present disclosure, wherein the processor controls the movement of the augmented reality image that has become the target of contact due to the movement of the object, so that the augmented reality image is adjacent to another augmented reality image of a related type, depending on the type of the augmented reality image.
本開示の第14態様に係る情報処理プログラムは、コンピュータに、拡張現実の空間に、拡張現実の画像を配置する制御を行い、移動する物体が前記拡張現実の画像に接触するように移動したとき、前記物体に接触しないように前記拡張現実の画像を移動する制御を行う、処理を実行させる。 An information processing program according to a fourteenth aspect of the present disclosure causes a computer to execute processing to control the placement of an augmented reality image in an augmented reality space, and, when a moving object moves so as to come into contact with the augmented reality image, to control the movement of the augmented reality image so as not to come into contact with the object.
本開示の第1態様及び第14態様によれば、物体が拡張現実の画像に接触しようとする場合に、拡張現実の画像の視認性を確保する。 According to the first and fourteenth aspects of the present disclosure, visibility of the augmented reality image is ensured when an object attempts to come into contact with the augmented reality image.
本開示の第2態様によれば、奥行き方向を活用して、拡張現実の画像の視認性を確保できる。 According to the second aspect of the present disclosure, the depth direction can be utilized to ensure visibility of augmented reality images.
本開示の第3態様によれば、ユーザの操作に応じて、必要な視認性を確保できる。 According to the third aspect of the present disclosure, the necessary visibility can be ensured in response to user operations.
本開示の第4態様によれば、ユーザの操作に応じて、必要な視認性を確保できる。 According to the fourth aspect of the present disclosure, the necessary visibility can be ensured in response to user operations.
本開示の第5態様によれば、物体の移動範囲に応じて視認性を確保できる。 According to the fifth aspect of the present disclosure, visibility can be ensured according to the range of movement of the object.
本開示の第6態様によれば、画像に応じて、必要な視認性を確保できる。 According to the sixth aspect of the present disclosure, the necessary visibility can be ensured depending on the image.
本開示の第7態様によれば、物体の移動に応じて配置を整理できる。 According to the seventh aspect of the present disclosure, the placement can be adjusted according to the movement of the object.
本開示の第8態様によれば、別の物体を避けて必要な視認性を確保できる。 According to the eighth aspect of the present disclosure, it is possible to avoid other objects and ensure the necessary visibility.
本開示の第9態様によれば、複数の拡張現実の画像について視認性を確保できる。 According to the ninth aspect of the present disclosure, visibility can be ensured for multiple augmented reality images.
本開示の第10態様によれば、他の拡張現実の画像に影響しない位置に移動させて視認性を確保できる。 According to the tenth aspect of the present disclosure, visibility can be ensured by moving the image to a position that does not affect other augmented reality images.
本開示の第11態様によれば、表示領域外を活用して視認性を確保できる。 According to the eleventh aspect of the present disclosure, visibility can be ensured by utilizing areas outside the display area.
本開示の第12態様によれば、スペースを確保して視認性を確保できる。 According to the twelfth aspect of the present disclosure, space can be secured and visibility can be ensured.
本開示の第13態様によれば、拡張現実の画像の関連性に応じて視認性を確保できる。 According to the thirteenth aspect of the present disclosure, visibility can be ensured according to the relevance of the augmented reality image.
以下、本開示の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。 An example of an embodiment of the present disclosure will now be described with reference to the drawings. Note that the same reference numerals are used throughout the drawings to designate identical or equivalent components and parts. Also, the dimensional proportions in the drawings have been exaggerated for the sake of explanation and may differ from the actual proportions.
まず、本実施形態の前提とする概要を説明する。本実施形態の情報処理システムは、現実空間に重畳して表示される拡張現実の空間を対象に処理を行う。拡張現実の空間は、HMD(Head-Mounted Display)等を装着したユーザの視界に描画される。以下ではHMDとして、メガネ型のAR(Augmented Reality)グラス等の視覚的な描画が可能なスマートデバイスであってもよい。ARグラスは、ユーザの視界に、拡張現実として重畳して表示される画像(以下、単に拡張現実の画像という)を描画する。ユーザが手又は足等の動作によって拡張現実の操作が可能である。ARグラスに付随する各種センサはユーザの視線、視界内のユーザの動き、及び外部の物体の動きを検知する。拡張現実の画像は、例えばメニューのアイコン及びコンテンツ等が画像として描画され、ユーザの顔の向き、すなわち視界の方向に追従する。ユーザは拡張現実において視線の移動又は手の指先の動作による操作によって、拡張現実の画像の操作を行うことができる。図1は、拡張現実において描画されるメニューのアイコンの一例を示す図である。図1の例では、拡張現実の空間Vに、メニューのアイコンMI及び操作アイコンOIの画像が描画されている。なお、拡張現実の空間Vは、ARグラスに表示される表示領域の内外が含まれる。操作アイコンOIは視線又は手の指先の動作により操作できる。ユーザは、操作アイコンOIを操作し、メニューのアイコンを選択することにより、アイコンの種類に応じた内容の画像を拡張現実に表示し、体験できる。アイコンの種類は、例えば、インターネット、動画視聴及びSNS等のコンテンツのアイコン、ヘルプ及び設定等の補助的なアイコンが一例として挙げられる。メニューの個々のアイコンが、本開示の拡張現実の画像の一例である。以下、アイコンという場合は拡張現実の画像として描画されるアイコンを指す。 First, an overview of the present embodiment will be described. The information processing system of this embodiment performs processing on an augmented reality space that is displayed superimposed on real space. The augmented reality space is rendered in the field of view of a user wearing an HMD (Head-Mounted Display) or the like. Hereinafter, the HMD may refer to a smart device capable of visual rendering, such as eyeglass-type AR (Augmented Reality) glasses. The AR glasses render an image (hereinafter simply referred to as an augmented reality image) that is superimposed on the user's field of view as augmented reality. The user can operate the augmented reality by moving their hands, feet, or the like. Various sensors associated with the AR glasses detect the user's line of sight, the user's movement within the field of view, and the movement of external objects. The augmented reality image is rendered as, for example, a menu icon and content, and follows the direction of the user's face, i.e., the field of view. The user can operate the augmented reality image by moving their line of sight or by moving their fingertips in augmented reality. Figure 1 shows an example of a menu icon rendered in augmented reality. In the example of FIG. 1 , images of a menu icon MI and an operation icon OI are rendered in an augmented reality space V. The augmented reality space V includes both the inside and outside of the display area displayed on the AR glasses. The operation icon OI can be operated by eye contact or by moving the fingertips. By operating the operation icon OI and selecting a menu icon, the user can experience an image of content corresponding to the type of icon displayed in augmented reality. Examples of icon types include icons for content such as the Internet, video viewing, and SNS, as well as auxiliary icons such as help and settings. Each menu icon is an example of an augmented reality image of the present disclosure. Hereinafter, the term "icon" refers to an icon rendered as an augmented reality image.
本実施形態では、このような拡張現実の空間において、拡張現実を操作するユーザ以外に、空間内に人及びペット等の移動する物体が存在する場合を想定する。移動する物体が拡張現実の画像に接触して、拡張現実の画像に重複した場合、拡張現実の視認性が損なわれてしまう。ユーザが視界の方向を変えれば物体の存在しない空間に拡張現実の画像も追従するが、ユーザの視界の方向を都度、変えさせるのはユーザインタフェースとして好ましくない場合もある。そこで本実施形態に係る手法では、物体が拡張現実の画像に接触しようとする場合に、拡張現実の画像を移動させて視認性を確保する。なお、以下に説明する例ではメニューのアイコンの画像を移動させる場合を例に説明するが、これに限らず、拡張現実の画像として描画される対象であればメニューのアイコン以外にも、他のコンテンツの画像にも同様に適用可能である。 In this embodiment, we consider a case in which, in addition to the user operating the augmented reality, there are moving objects, such as people and pets, in the augmented reality space. If a moving object comes into contact with the augmented reality image and overlaps with it, the visibility of the augmented reality image will be impaired. If the user changes their field of view, the augmented reality image will follow in a space where no objects exist, but forcing the user to change their field of view each time may not be desirable as a user interface. Therefore, in the method of this embodiment, when an object is about to come into contact with the augmented reality image, the augmented reality image is moved to ensure visibility. Note that the example described below will be an example of moving the image of a menu icon, but this is not limited to this, and the method can be applied to images of other content other than menu icons as long as they are rendered as an augmented reality image.
図2を参照して、本開示の実施形態に係る情報処理システム1の構成を説明する。図1に示すように、情報処理システム1は、情報処理装置10と、ARグラスであるデバイス30とがネットワークNを介して接続されている。 The configuration of an information processing system 1 according to an embodiment of the present disclosure will be described with reference to FIG. 2. As shown in FIG. 1, the information processing system 1 includes an information processing device 10 and a device 30, which is AR glasses, connected via a network N.
情報処理装置10のハードウェア構成を説明する。本実施形態では、情報処理装置10として、コンピュータ、又はサーバ等の装置を適用してもよい。本実施形態に係る情報処理装置10は、CPU11、一時記憶領域としてのメモリ12、不揮発性の記憶部13、及び外部デバイスとの通信を行う通信部14を備えている。各構成はバスB2を介して互いに接続されている。 The hardware configuration of the information processing device 10 will now be described. In this embodiment, the information processing device 10 may be a computer, a server, or other device. The information processing device 10 according to this embodiment includes a CPU 11, a memory 12 as a temporary storage area, a non-volatile storage unit 13, and a communication unit 14 that communicates with external devices. Each component is connected to one another via a bus B2.
記憶部13は、HDD、SSD、又はフラッシュメモリ等の記憶装置によって実現される。なお、記憶媒体としての記憶部13には、情報処理プログラム13Aが記憶されている。CPU11は、情報処理プログラム13Aを記憶部13から読み出してメモリ12に展開し、情報処理プログラム13Aが有するプロセスを順次実行する。情報処理プログラム13Aは、デバイス30の表示部35での拡張現実の画像の作成及び描画を制御する描画制御処理、及び拡張現実の画像を移動させる移動処理を実行する。描画制御処理、及び移動処理の指令は、デバイス30に送信される。デバイス30の表示部35では、指令をもとに、表示の制御が行われる。また、情報処理プログラム13Aは、デバイス30から受け付けた画像から、移動処理に必要な物体の検知を実行する。さらに、記憶部13には、情報記憶部13B等の各種記憶しておく必要のある情報が記憶される。情報記憶部13Bには、デバイス30の拡張現実の処理に必要な各種情報、及び後述する許容距離の情報が格納される。なお、情報処理プログラム13Aをデバイス30側に設けて処理してもよい。この場合、デバイス30が本開示の情報処理装置として機能する。 The memory unit 13 is realized by a storage device such as an HDD, SSD, or flash memory. The memory unit 13, which serves as a storage medium, stores an information processing program 13A. The CPU 11 reads the information processing program 13A from the memory unit 13, expands it into the memory 12, and sequentially executes the processes contained in the information processing program 13A. The information processing program 13A executes a drawing control process that controls the creation and drawing of an augmented reality image on the display unit 35 of the device 30, and a movement process that moves the augmented reality image. Commands for the drawing control process and the movement process are sent to the device 30. The display unit 35 of the device 30 controls the display based on the commands. The information processing program 13A also executes object detection necessary for the movement process from images received from the device 30. The memory unit 13 also stores various pieces of information that need to be stored, such as the information storage unit 13B. The information storage unit 13B stores various pieces of information necessary for the augmented reality processing of the device 30, as well as allowable distance information, which will be described later. Note that the information processing program 13A may be provided on the device 30 side for processing. In this case, the device 30 functions as the information processing device of the present disclosure.
デバイス30には、拡張現実の画像を描画及び操作するための各種デバイスが付随する。デバイス30は、構成として、CPU31、メモリ32、記憶部33、通信部34、表示部35、撮像部36、音声部37、及び解析部38を備えている。各構成はバスC2を介して互いに接続されている。記憶部33には、描画制御処理で描画の対象となるアイコン及びコンテンツ等の拡張現実の画像の情報が予め格納されている。表示部35は、グラス部分であり、情報処理装置10から描画制御処理の指令を受け付け、記憶部33から必要なデータを読み出し、拡張現実の画像を表示させる。撮像部36は、現実空間を撮影するカメラ等の撮影デバイスであり、撮影した画像を情報処理装置10に送信する。撮像部36の位置は、中央、左端、又は右端等グラスタイプのデバイスに適宜実装可能な位置に設置される。また、撮像部36には内部センサが付随し、ユーザの視線の動きを検出する。音声部37は、データの音声への変換を行い、イヤホン又はスピーカーを介して出力する。解析部38は、撮影した画像について必要な解析をする。情報処理装置10の情報処理プログラム13Aで行う物体の検知を解析部38が行ってもよい。なお、デバイス30の構成はこれに限定されるものではない。 The device 30 is equipped with various devices for drawing and manipulating augmented reality images. The device 30 includes a CPU 31, memory 32, storage unit 33, communication unit 34, display unit 35, imaging unit 36, audio unit 37, and analysis unit 38. These components are connected to each other via bus C2. The storage unit 33 pre-stores information about augmented reality images, such as icons and content to be drawn in the drawing control process. The display unit 35 is the glasses portion, receives drawing control process commands from the information processing device 10, reads necessary data from the storage unit 33, and displays the augmented reality images. The imaging unit 36 is a photographing device, such as a camera, that captures images of real space and transmits the captured images to the information processing device 10. The imaging unit 36 is installed in a position suitable for mounting on a glasses-type device, such as the center, left edge, or right edge. The imaging unit 36 also includes an internal sensor that detects the user's line of sight. The audio unit 37 converts the data into audio and outputs it through earphones or speakers. The analysis unit 38 performs the necessary analysis of the captured image. The object detection performed by the information processing program 13A of the information processing device 10 may be performed by the analysis unit 38. However, the configuration of the device 30 is not limited to this.
情報処理装置10による情報処理の流れを説明する。図3は、情報処理装置10のデバイス30に対する拡張現実の画像の基本的な描画制御処理の流れを示すフローチャートである。 The flow of information processing by the information processing device 10 will be explained. Figure 3 is a flowchart showing the flow of basic rendering control processing for an augmented reality image on the device 30 of the information processing device 10.
ステップS100では、CPU11は、デバイス30から拡張現実の起動要求を受け付ける。 In step S100, the CPU 11 receives a request to start augmented reality from the device 30.
ステップS102では、CPU11は、起動要求に従って、拡張現実の空間にメニューの画像を配置する。以下、拡張現実の空間に配置された画像は、デバイス30の表示部35によって表示される。 In step S102, the CPU 11 places a menu image in the augmented reality space in accordance with the startup request. The image placed in the augmented reality space is then displayed by the display unit 35 of the device 30.
ステップS104では、CPU11は、ユーザの拡張現実の空間における操作を受け付ける。ユーザは、操作アイコンOIを視線又は手の指先の動作により操作することにより操作を行う。 In step S104, the CPU 11 accepts the user's operation in the augmented reality space. The user performs the operation by manipulating the operation icon OI with their line of sight or fingertip movements.
ステップS106では、CPU11は、操作に応じて、拡張現実のコンテンツの画像を描画する。 In step S106, the CPU 11 renders an image of the augmented reality content in response to the operation.
次に、拡張現実のメニューの画像が描画された状態で、移動する物体がメニューのアイコンに接触するように移動している場合にアイコンを移動させる移動処理を説明する。図4は、情報処理装置10のアイコンの移動処理の流れを示すフローチャートである。 Next, we will explain the movement process for moving an icon when an augmented reality menu image is rendered and a moving object is moving so as to come into contact with the menu icon. Figure 4 is a flowchart showing the flow of the icon movement process on the information processing device 10.
ステップS200では、CPU11は、拡張現実の空間を移動する物体を検知する。移動する物体の検知は、デバイス30の撮像部36で撮影された画像を受け付け、画像を解析し物体の位置、移動情報、移動速度等の移動情報を検出することにより行う。なお、デバイス30側の解析部38で物体の検知を行ってもよい。 In step S200, the CPU 11 detects an object moving in the augmented reality space. The moving object is detected by receiving an image captured by the imaging unit 36 of the device 30, analyzing the image, and detecting movement information such as the object's position, movement information, and movement speed. Note that the object may also be detected by the analysis unit 38 on the device 30 side.
ステップS202では、CPU11は、移動する物体が、メニューのアイコンに接触するように移動しているか否かを判定する。接触するように移動していると判定した場合にはステップS204へ移行し、接触するように移動していないと判定した場合にはステップS200に戻って検知の処理を繰り返す。接触するように移動しているか否かは、アイコンの接近を許容する距離、又は接触の深さ等の許容距離の基準を予め定めておき、許容距離の基準を用いて判定を行えばよい。移動する物体とアイコンとの距離が許容距離の基準を満たす場合には接触するように移動していると判定し、許容距離の基準を満たさない場合には接触するように移動していないと判定する。また、許容距離の基準は、移動する物体の移動速度及び物体の大きさ等に応じて変更してもよい。また、許容距離の基準をアイコンの種類に応じて定めてもよい。 In step S202, the CPU 11 determines whether the moving object is moving so as to come into contact with the menu icon. If it is determined that the object is moving so as to come into contact, the process proceeds to step S204; if it is determined that the object is not moving so as to come into contact, the process returns to step S200 and repeats the detection process. Whether the object is moving so as to come into contact can be determined by pre-determining the allowable distance criteria, such as the distance at which the icons are allowed to approach or the depth of contact, and using the allowable distance criteria. If the distance between the moving object and the icon meets the allowable distance criteria, the object is determined to be moving so as to come into contact; if the distance does not meet the allowable distance criteria, the object is determined not to be moving so as to come into contact. The allowable distance criteria may also be changed depending on the speed and size of the moving object, etc. The allowable distance criteria may also be determined depending on the type of icon.
ステップS204では、CPU11は、拡張現実の空間において、移動する物体に接触しないように拡張現実のメニューのアイコンの画像を移動する制御を行う。 In step S204, the CPU 11 controls the movement of the image of the augmented reality menu icon in the augmented reality space so as not to come into contact with moving objects.
上記ステップS204のアイコンの画像を移動する制御に関しては、どのように移動をさせるかについて様々なバリエーションが存在するため、以下にバリエーションについて説明する。 Regarding the control of moving the icon image in step S204 above, there are many variations on how the movement can be performed, so these variations are explained below.
図5は、アイコン全体を移動させるケースの一例を示す図である。図5の例では、拡張現実の空間にアイコンMIa、MIb、及びMIcがそれぞれ配置されている。(A1)~(A3)は、空間内にいる人物が移動する物体U1として左側からアイコンMIaに接触するように移動してきた場合の時系列の推移を表している。この場合、物体U1に接触しないように、アイコンMIa、MIb、及びMIcの間の空間を詰めるように右側に移動させる。このようにアイコンを移動する制御では、アイコン全体を調整するように移動させることができる。また、全体を調整するケースについては、アイコン間の空間を詰める例に限らず、上下方向にスペースがある場合には、上下方向に移動させてもよい。例えば(B3)に示すように、下方向にスペースがある場合には、物体U1に接触しないように、アイコンMIa、MIb、及びMIcを下部に移動させることもできる。また、物体U1の移動方向を予測して、アイコンの移動方向を決定してもよい。この場合、物体U1の加速度を検知し、さらに右側に移動していくことが予測された場合には、(A3)ではなく、(B3)のような物体U1の移動方向ではない方向にアイコンを移動させる。 Figure 5 is a diagram showing an example of moving an entire icon. In the example of Figure 5, icons MIa, MIb, and MIc are each placed in an augmented reality space. (A1) to (A3) show the time series progression when a person in the space moves as a moving object U1 from the left side so as to come into contact with icon MIa. In this case, icons MIa, MIb, and MIc are moved to the right to close the space between them so as not to come into contact with object U1. In this control of icon movement, the icons can be moved so as to adjust the entire icon. Furthermore, the case of adjusting the entire icon is not limited to narrowing the space between icons. If there is space in the vertical direction, the icons can be moved vertically. For example, as shown in (B3), if there is space below, icons MIa, MIb, and MIc can be moved downward so as not to come into contact with object U1. The direction of icon movement may also be determined by predicting the direction of movement of object U1. In this case, if the acceleration of object U1 is detected and it is predicted that it will move further to the right, the icon is moved in a direction other than the direction of movement of object U1, as in (B3), rather than (A3).
図6は、空きのある空間にアイコンを移動させるケースの一例を示す図である。図6の例では、図5の例にあったアイコンMIbの空間に空きがある。そのため、物体U1がアイコンMIaに接触するように移動してきた場合、空きがある右側の空間にアイコンMIaを移動させる。このように移動する制御では、アイコンを個別に空きのある空間に移動させることができる。 Figure 6 is a diagram showing an example of a case where an icon is moved into an empty space. In the example of Figure 6, there is an empty space in the space of icon MIb, which was in the example of Figure 5. Therefore, if object U1 moves so as to come into contact with icon MIa, icon MIa is moved to the empty space on the right. With this movement control, icons can be moved individually into empty spaces.
図7は、アイコンを縮小させるように移動させるケースの一例を示す図である。(C1)に示す例では、アイコンMIaを縮小させるように移動する方向として奥方向に移動させる。(C2)に示す例では、アイコンMIaを縮小させるように奥方向に移動させ、かつ、アイコンMIbの一部に重畳するように移動させる。(C3)に示す例では、奥方向への移動はせずに、アイコンMIa自体を縮小し、アイコンMIbの一部に重畳するように移動させる。なお、本実施例ではアイコンMIaと異なるアイコンMIbの下部に重畳するように移動させたが、アイコンMIbの一部に重畳するように移動させればよいので、重畳する領域は下部に限定されない。例えば、アイコンMIbの上部に重畳するように移動させてもよい。 Figure 7 shows an example of a case where an icon is moved so as to shrink. In the example shown in (C1), icon MIa is moved in the depth direction as the direction of shrinkage. In the example shown in (C2), icon MIa is moved in the depth direction as a direction of shrinkage, and is moved so as to overlap part of icon MIb. In the example shown in (C3), icon MIa is not moved in the depth direction, but is instead shrunk and moved so as to overlap part of icon MIb. Note that in this embodiment, icon MIa is moved so as to overlap the bottom of icon MIb, which is different from icon MIa, but the overlapping area is not limited to the bottom, as long as it is moved so as to overlap part of icon MIb. For example, icon MIa may be moved so as to overlap the top of icon MIb.
図8は、ユーザの操作対象となっているアイコンを移動させるケースの一例を示す図である。(D1)~(D3)は、アイコンMIaが操作アイコンOIの操作対象になっている場合に、移動する物体U1が左側からアイコンMIaに接触するように移動してきた場合の時系列の推移を表している。この場合、アイコンMIaが操作アイコンOIの操作対象になっているため、移動する制御を行う。他方で、(D2’)に示すように、アイコンMIaが操作アイコンOIの操作対象の場合、接触するように移動していない。そのため、この場合には移動する制御は行わない。また、操作アイコンOIをユーザの視線に代えて、ユーザの視線の対象となっている場合に適用してもよい。 Figure 8 is a diagram showing an example of a case where an icon being operated by a user is moved. (D1) to (D3) show the time series progression when icon MIa is the operation target of operation icon OI and a moving object U1 moves from the left side to come into contact with icon MIa. In this case, icon MIa is the operation target of operation icon OI, so movement control is performed. On the other hand, as shown in (D2'), when icon MIa is the operation target of operation icon OI, it is not moving to come into contact. Therefore, movement control is not performed in this case. This method may also be applied when the operation icon OI is the target of the user's gaze, replacing the user's gaze.
図9は、表示領域外の空間へ移動させるケースの一例を示す図である。(E1)~(E3)は、アイコンMIaが操作アイコンOIの操作対象になっている場合に、移動する物体U1が左側からアイコンMIaに接触するように移動してきた場合の時系列の推移を表している。この場合、(E3)においてアイコンMIaを表示領域Jの外の左側の空間に移動させる。また、このとき、アイコンMIaが移動した先を示す通知情報nnを表示させる。例えばアイコンの名前が“XX”であれば、通知情報nnは移動方向を示す矢印及び「XXメニュー」の文言の表示にすることができる。通知情報nnは表示に限らず、音声又は通知音等による通知でもよい。また、(E4)に示すように、ユーザの視線の移動により、アイコンMIaを表示領域J内に再び表示させることが可能である。また、視線の移動に限らず、ユーザの動作による操作により、表示領域J内に戻せるようにしてもよい。このとき、アイコンMIcが表示領域J外になってしまう場合にはアイコンMIcについての通知情報nnを表示する。以下の表示領域J外へ移動させるケースでは同様の処理が可能である。 Figure 9 shows an example of a case where icon MIa is moved to a space outside the display area. (E1) to (E3) show the time series progression when icon MIa is the target of operation of operation icon OI, and a moving object U1 moves from the left side to contact icon MIa. In this case, (E3) shows icon MIa being moved to the space on the left side outside display area J. At this time, notification information nn indicating the destination of icon MIa is displayed. For example, if the icon's name is "XX," the notification information nn can be an arrow indicating the direction of movement and the words "XX Menu." The notification information nn is not limited to display, but can also be a voice or notification sound. Furthermore, as shown in (E4), icon MIa can be displayed again within display area J by moving the user's gaze. Furthermore, icon MIa can also be returned to display area J by a user's motion, not just by moving the gaze. At this time, if icon MIc moves outside display area J, notification information nn for icon MIc is displayed. Similar processing is possible in the following cases where the object is moved outside the display area J.
図10は、上方向の表示領域外の空間へ移動させるバリエーションを示す図である。例えば、表示領域J外への移動方向が予め設定されていない場合には、(E2*)及び(E3*)に示すように、表示領域J外の上方向に表示させる。このように上方向の移動であれば、一般的に上方向は他の物体などの障害物が存在する可能性が低いと考えられる。そのため、このように移動する物体の移動範囲にならない空間にアイコンを移動させる。なお、表示領域J内外の障害物の位置を予め検知しておき、障害物のない又は少ない方向の表示領域J外に移動させるように制御してもよい。図11は、表示領域外の空間へ移動させるバリエーションを示す図である。例えば(E2’)及び(E3’)に示すように、アイコンMIaが操作対象又はユーザの視線の対象になっている場合には、対象になっていないアイコンMIcを表示領域J外に移動させて、アイコンMIa及びMIbを右側に移動させてもよい。また、(E4’)に示すように、接触の対象になったアイコンMIaに隣り合う別のアイコンMIbが操作対象又はユーザの視線の対象になっている場合には、アイコンMIbの位置は移動させないようにし、アイコンMIaを表示領域J外へ移動させる。また、移動する物体U2が存在し、アイコンMIcが接触の対象になった場合も同様である。また、アイコンごとに移動する制御の対象とするかを定めるようにしてもよい。例えば、アイコンが接触の対象になった場合に、当該アイコンが、移動する制御の対象であれば移動する制御を行い、移動する制御の対象でなければ、移動する制御を行わないようにする。 Figure 10 shows variations in moving an icon to a space outside the display area in the upward direction. For example, if the direction of movement outside the display area J is not preset, the icon is displayed in the upward direction outside the display area J, as shown in (E2*) and (E3*). For such upward movement, it is generally considered that there is a low possibility of obstacles, such as other objects, being present in the upward direction. Therefore, the icon is moved to a space that is not within the range of movement of such a moving object. Note that the positions of obstacles inside and outside the display area J may be detected in advance, and control may be exercised to move the icon outside the display area J in a direction where there are no or few obstacles. Figure 11 shows variations in moving an icon to a space outside the display area. For example, as shown in (E2') and (E3'), if icon MIa is the target of operation or the user's line of sight, icon MIc, which is not the target, may be moved outside the display area J, and icons MIa and MIb may be moved to the right. Furthermore, as shown in (E4'), if another icon MIb adjacent to the icon MIa that has become the contact target is the target of operation or the target of the user's line of sight, the position of the icon MIb is not moved, and the icon MIa is moved outside the display area J. The same applies when a moving object U2 is present and the icon MIc becomes the contact target. It may also be possible to determine for each icon whether it is the target of movement control. For example, when an icon becomes the contact target, if the icon is the target of movement control, it is moved, but if it is not the target of movement control, it is not moved.
図12は、複数の物体がアイコンに接触するように移動してきた場合のケースの一例を示す図である。(F1)に示すように、物体U1がアイコンMIa、物体U2がアイコンMIcにそれぞれ接触するように移動してきた場合、(F2-1)又は(F2-2)のようにアイコンを移動する制御を行う。(F2-1)では上方向の表示領域J外にアイコンMIa及びアイコンMIcを移動させる。(2-2)では縮小させるように奥方向にアイコンMIa及びアイコンMIcを移動させる。 Figure 12 shows an example of a case where multiple objects are moving so as to come into contact with icons. As shown in (F1), when object U1 is moving so as to come into contact with icon MIa and object U2 is moving so as to come into contact with icon MIc, control is performed to move the icons as shown in (F2-1) or (F2-2). In (F2-1), icons MIa and MIc are moved upward outside of display area J. In (F2-2), icons MIa and MIc are moved backward so as to shrink them.
図13は、拡張現実の空間に障害物等の他の物体が存在する場合のケースの一例を示す図である。(G1)及び(G2)に示す例は、アイコンMIa及びアイコンMIcの間にテレビのような他の物体Eが存在する場合である。(G1)に示すようにアイコンMIaに物体U1が接触するように移動してきた場合、(G2)に示すように物体Eを避けて、アイコンMIaを表示領域J外へ移動させる。なお、物体Eに衝突する方向でなければ方向は上方向又は下方向でもよく、ユーザの視線若しくは操作の対象、又はデバイス30の角度等を考慮して移動させる方向を決定してもよい。 Figure 13 is a diagram showing an example of a case where another object, such as an obstacle, is present in the augmented reality space. The examples shown in (G1) and (G2) are cases where another object E, such as a television, is present between icon MIa and icon MIc. When object U1 moves so as to come into contact with icon MIa as shown in (G1), icon MIa is moved outside of display area J, avoiding object E, as shown in (G2). Note that the direction may be upward or downward as long as it does not result in a collision with object E, and the direction of movement may be determined taking into account the user's line of sight, the target of operation, the angle of device 30, etc.
図14は、アイコンの種類に応じて、隣接するように移動させるケースの一例を示す図である。図14の例では、アイコンMIa及びMIcの種類がコンテンツのメニュー、アイコンMIbの種類がヘルプのメニューであったとする。(H1)に示すようにアイコンMIaに物体U1が接触するように移動してきた場合、(H2)に示すようにアイコンMIaを同じ種類のアイコンMIcに隣接するように移動させる。 Figure 14 shows an example of a case where icons are moved adjacent to each other depending on their type. In the example of Figure 14, icons MIa and MIc are content menu types, and icon MIb is a help menu type. When object U1 moves so as to come into contact with icon MIa as shown in (H1), icon MIa is moved adjacent to icon MIc of the same type as shown in (H2).
ここまでは複数のアイコンを配置した場合を例に説明したが、本実施形態の手法はアイコンを単体で配置した場合にも適用可能である。 So far, we have used the example of placing multiple icons, but the method of this embodiment can also be applied when placing a single icon.
図15は、拡張現実の空間に1つのアイコンを配置した場合の例である。図14の例では拡張現実の空間にアイコンMIaだけ配置されている。(I1)に示すように、アイコンMIaに物体U1が接触するように移動してきた場合、(I2)に示すように、アイコンMIaに物体U1接触しないように、アイコンMIaを右側に移動させる。また、(I3)に示すように、物体U1がさらに右側に移動して、移動前の元の位置から物体が離れた場合に、アイコンMIaを元の位置に戻す制御を行う。なお、(I3)のように移動前の元の位置に戻す制御は、上述した複数のアイコンの場合にも適用してよい。図16は、拡張現実の空間に1つのアイコンを配置し、縮小させるようにアイコンを移動させる場合の例である。(J1)に示すように、アイコンMIaに物体U1が接触するように移動してきた場合、(J2)に示すように、アイコンMIaに物体U1接触しないように縮小させるように、アイコンMIaを奥方向に移動させる。また、(J3)に示すように、物体U1がさらに右側に移動して、移動前の元の位置から物体が離れた場合に、アイコンMIaを元の大きさになるように、元の位置に戻す制御を行う。 Figure 15 shows an example of a single icon being placed in an augmented reality space. In the example of Figure 14, only icon MIa is placed in the augmented reality space. When object U1 moves so as to come into contact with icon MIa as shown in (I1), icon MIa is moved to the right so as not to come into contact with object U1 as shown in (I2). Furthermore, when object U1 moves further to the right and moves away from its original position before the movement as shown in (I3), control is performed to return icon MIa to its original position. Note that the control of returning to its original position before the movement as shown in (I3) may also be applied to the case of multiple icons as described above. Figure 16 shows an example of a single icon being placed in an augmented reality space and moved so as to shrink. When object U1 moves so as to come into contact with icon MIa as shown in (J1), icon MIa is moved backward so as to shrink so as not to come into contact with object U1 as shown in (J2). Furthermore, as shown in (J3), if the object U1 moves further to the right and moves away from its original position before the movement, control is performed to return the icon MIa to its original size and position.
以上のように、本実施形態によれば、物体が拡張現実の画像に接触しようとする場合に、拡張現実の画像の視認性を確保できる。 As described above, according to this embodiment, visibility of the augmented reality image can be ensured when an object is about to come into contact with the augmented reality image.
なお、本開示は、上述した実施形態に限定されるものではなく、開示の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 Note that this disclosure is not limited to the above-described embodiments, and various modifications and applications are possible without departing from the spirit of the disclosure.
なお、上記実施形態でCPUがソフトウェア(プログラム)を読み込んで実行した情報処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、情報処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。 In the above embodiments, the information processing performed by the CPU after loading software (programs) may be performed by various processors other than the CPU. Examples of processors in this case include PLDs (Programmable Logic Devices) such as FPGAs (Field-Programmable Gate Arrays), whose circuit configuration can be changed after manufacture, and dedicated electrical circuits, such as ASICs (Application Specific Integrated Circuits), which are processors with circuit configurations designed specifically to perform specific processes. Information processing may be performed by one of these various processors, or by a combination of two or more processors of the same or different types (e.g., multiple FPGAs, or a combination of a CPU and an FPGA). The hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor devices.
また、上記実施形態では、情報処理のプログラムがROMまたはストレージに予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的(non-transitory)記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。 In addition, while the above embodiment describes an embodiment in which the information processing program is pre-stored (installed) in ROM or storage, this is not limited to this. The program may also be provided in a form recorded on a non-transitory recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), or a USB (Universal Serial Bus) memory. The program may also be downloaded from an external device via a network.
また上記実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。 Furthermore, the processor operations in the above embodiments may not only be performed by a single processor, but may also be performed by multiple processors located in physically separate locations working together. Furthermore, the order of the processor operations is not limited to the order described in the above embodiments, and may be changed as appropriate.
1 情報処理システム
10 情報処理装置
11、31 CPU
12、32 メモリ
13、33 記憶部
13A 情報処理プログラム
13B 情報記憶部
14、34 通信部
30 デバイス
35 表示部
36 撮像部
37 音声変換部
38 解析部
1 Information processing system 10 Information processing device 11, 31 CPU
12, 32 Memory 13, 33 Storage unit 13A Information processing program 13B Information storage unit 14, 34 Communication unit 30 Device 35 Display unit 36 Imaging unit 37 Audio conversion unit 38 Analysis unit
Claims (13)
前記プロセッサは、
拡張現実の空間に、拡張現実の画像を配置する制御を行い、
移動する物体が前記拡張現実の画像に接触するように移動したとき、前記物体に接触しないように前記拡張現実の画像を移動する制御を行い、
前記移動する制御において、前記物体に接触せず、かつ、前記拡張現実の画像を縮小させるように移動する方向として奥方向に移動させる、
情報処理装置。 having a memory and a processor,
The processor:
Control the placement of augmented reality images in the augmented reality space,
When a moving object moves so as to come into contact with the augmented reality image, control is performed to move the augmented reality image so as not to come into contact with the object;
In the control of the movement, the object is moved in a direction away from the object so as not to come into contact with the object and to reduce the augmented reality image.
Information processing device.
前記拡張現実の画像が、前記拡張現実の空間を操作するユーザの操作対象、又は前記ユーザの視線の対象となっている場合に、前記移動する制御を行う請求項1に記載の情報処理装置。 The processor:
The information processing device according to claim 1 , wherein the movement control is performed when the augmented reality image is an object of operation by a user who operates the augmented reality space or an object of the user's line of sight.
前記拡張現実の空間に複数の拡張現実の画像を配置した場合、
前記物体の移動により接触の対象になった前記拡張現実の画像に隣り合う別の拡張現実の画像が、前記拡張現実の空間を操作するユーザの操作対象、又は前記ユーザの視線の対象となっている場合に、
前記接触の対象になった前記拡張現実の画像について、前記移動する制御を行う請求項1又は請求項2に記載の情報処理装置。 The processor:
When a plurality of augmented reality images are placed in the augmented reality space,
When another augmented reality image adjacent to the augmented reality image that has become the contact target due to the movement of the object is the operation target of a user who operates the augmented reality space or the target of the user's line of sight,
The information processing device according to claim 1 , wherein the movement control is performed on the augmented reality image that has been contacted .
前記移動する制御において、前記物体の移動範囲にならない空間に、前記拡張現実の画像を移動させる請求項1~請求項3の何れか1項に記載の情報処理装置。 The processor:
The information processing device according to any one of claims 1 to 3 , wherein the control of movement involves moving the augmented reality image to a space that is not within a movement range of the object.
前記拡張現実の画像が移動する制御の対象である場合は、前記移動する制御を行い、
前記拡張現実の画像が移動する制御の対象ではない場合は、前記移動する制御を行わない請求項1~請求項4の何れか1項に記載の情報処理装置。 The processor:
If the augmented reality image is a target of movement control, the movement control is performed;
The information processing device according to any one of claims 1 to 4 , wherein when the augmented reality image is not a target of movement control, the movement control is not performed.
前記移動する制御の後に、
前記拡張現実の画像の移動前の元の位置から前記物体が離れた場合に、移動させた前記拡張現実の画像を、移動前の元の位置に戻す制御を行う請求項1~請求項5の何れか1項に記載の情報処理装置。 The processor:
After the moving control,
An information processing device according to any one of claims 1 to 5 , wherein when the object moves away from its original position before the augmented reality image is moved, the information processing device controls the augmented reality image to return to its original position before the movement.
前記移動する制御において、前記拡張現実の空間に、配置された別の物体がある場合に、前記物体に接触せず、かつ、配置された前記別の物体がない空間に、前記拡張現実の画像を移動させる制御を行う請求項1~請求項6の何れか1項に記載の情報処理装置。 The processor:
An information processing device according to any one of claims 1 to 6, wherein in the movement control, if there is another object placed in the augmented reality space, control is performed to move the augmented reality image to a space that does not come into contact with the object and where there is no other object placed.
前記拡張現実の空間に複数の拡張現実の画像を配置した場合、
前記複数の拡張現実の画像のうちのいずれかの拡張現実の画像に前記物体が接触するように移動したとき、前記複数の拡張現実の画像を、前記物体に接触しないように、前記移動する制御を行う請求項1~請求項7の何れか1項に記載の情報処理装置。 The processor:
When a plurality of augmented reality images are placed in the augmented reality space,
An information processing device as described in any one of claims 1 to 7, wherein when the object moves so as to come into contact with any of the plurality of augmented reality images, the movement of the plurality of augmented reality images is controlled so as not to come into contact with the object .
前記移動する制御において、前記複数の拡張現実の画像のうちの前記物体と接触の対象になった個別の拡張現実の画像を、前記物体に接触せず、かつ、他の拡張現実の画像がない空間に移動させる請求項8に記載の情報処理装置。 The processor:
The information processing device described in claim 8, wherein in the movement control, an individual augmented reality image among the plurality of augmented reality images that is the subject of contact with the object is moved to a space that does not contact the object and that does not contain other augmented reality images.
前記物体の移動により接触の対象になった前記拡張現実の画像を、表示領域外の空間へ移動させる請求項1~請求項9の何れか1項に記載の情報処理装置。 The processor:
The information processing device according to any one of claims 1 to 9 , wherein the augmented reality image that has become a contact target due to the movement of the object is moved to a space outside a display area.
前記物体の移動により接触の対象になった前記拡張現実の画像を、他の拡張現実の画像の一部に重畳させるように、前記移動する制御を行う請求項8に記載の情報処理装置。 The processor:
The information processing device according to claim 8 , wherein the movement control is performed so that the augmented reality image that has become a contact target due to the movement of the object is superimposed on a part of another augmented reality image.
前記物体の移動により接触の対象になった前記拡張現実の画像について、
当該拡張現実の画像の種類に応じて、関連した種類の別の拡張現実の画像に隣接するように、前記移動する制御を行う請求項8又は請求項11に記載の情報処理装置。 The processor:
Regarding the augmented reality image that has become a contact target due to the movement of the object,
The information processing device according to claim 8 or 11 , wherein the control of moving the augmented reality image is performed in accordance with the type of the augmented reality image so that the augmented reality image is adjacent to another augmented reality image of a related type.
拡張現実の空間に、拡張現実の画像を配置する制御を行い、
移動する物体が前記拡張現実の画像に接触するように移動したとき、前記物体に接触しないように前記拡張現実の画像を移動する制御を行い、
前記移動する制御において、前記物体に接触せず、かつ、前記拡張現実の画像を縮小させるように移動する方向として奥方向に移動させる、
処理を実行させる、情報処理プログラム。 On the computer,
Control the placement of augmented reality images in the augmented reality space,
When a moving object moves so as to come into contact with the augmented reality image, control is performed to move the augmented reality image so as not to come into contact with the object;
In the control of the movement, the object is moved in a direction away from the object so as not to come into contact with the object and to reduce the augmented reality image.
An information processing program that executes processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021157061A JP7753753B2 (en) | 2021-09-27 | 2021-09-27 | Information processing device and information processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021157061A JP7753753B2 (en) | 2021-09-27 | 2021-09-27 | Information processing device and information processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023047887A JP2023047887A (en) | 2023-04-06 |
| JP7753753B2 true JP7753753B2 (en) | 2025-10-15 |
Family
ID=85779204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021157061A Active JP7753753B2 (en) | 2021-09-27 | 2021-09-27 | Information processing device and information processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7753753B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018084886A (en) | 2016-11-22 | 2018-05-31 | セイコーエプソン株式会社 | Head mounted type display device, head mounted type display device control method, computer program |
| JP2019028772A (en) | 2017-07-31 | 2019-02-21 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, information processing system, control method thereof, and program |
| JP2020024752A (en) | 2013-12-25 | 2020-02-13 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, control method therefor, and program |
| JP2020187778A (en) | 2020-07-15 | 2020-11-19 | キヤノンマーケティングジャパン株式会社 | Information processing device, information processing system, control method therefor, and program |
-
2021
- 2021-09-27 JP JP2021157061A patent/JP7753753B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020024752A (en) | 2013-12-25 | 2020-02-13 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, control method therefor, and program |
| JP2018084886A (en) | 2016-11-22 | 2018-05-31 | セイコーエプソン株式会社 | Head mounted type display device, head mounted type display device control method, computer program |
| JP2019028772A (en) | 2017-07-31 | 2019-02-21 | キヤノンマーケティングジャパン株式会社 | Information processing apparatus, information processing system, control method thereof, and program |
| JP2020187778A (en) | 2020-07-15 | 2020-11-19 | キヤノンマーケティングジャパン株式会社 | Information processing device, information processing system, control method therefor, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023047887A (en) | 2023-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6633220B2 (en) | Apparatus and related methods | |
| KR102733399B1 (en) | Gaze-based user interactions | |
| US11683470B2 (en) | Determining inter-pupillary distance | |
| EP3019939B1 (en) | Display control apparatus and computer-readable recording medium | |
| US10832479B2 (en) | Information processing apparatus, information processing method, and program | |
| EP2996017B1 (en) | Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display | |
| JP7392105B2 (en) | Methods, systems, and media for rendering immersive video content using foveated meshes | |
| US10372229B2 (en) | Information processing system, information processing apparatus, control method, and program | |
| JP6801263B2 (en) | Display control program, display control method and display control device | |
| JP7005161B2 (en) | Electronic devices and their control methods | |
| EP3236336B1 (en) | Virtual reality causal summary content | |
| CN112292657B (en) | Moving around the scenery | |
| WO2017169369A1 (en) | Information processing device, information processing method, program | |
| US12366926B2 (en) | Finger orientation touch detection | |
| US20200273146A1 (en) | Movement within an environment | |
| US10796477B2 (en) | Methods, devices, and systems for determining field of view and producing augmented reality | |
| KR102404118B1 (en) | Postponing the state change of an information affecting the graphical user interface until during the conditon of inattentiveness | |
| US10061492B2 (en) | Path-linked viewpoints from point of interest | |
| JP7753753B2 (en) | Information processing device and information processing program | |
| KR20190129982A (en) | Electronic device and its control method | |
| US20240203012A1 (en) | Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor | |
| JP6208910B1 (en) | Moving image processing apparatus, moving image processing system, moving image processing method, and moving image processing program | |
| US12045931B2 (en) | Method and electronic device for selective magnification in three dimensional rendering systems | |
| US12423907B2 (en) | Displaying a rendered volumetric representation according to different display modes | |
| US20250148700A1 (en) | Information processing apparatus capable of preventing unwanted objects from entering into photographing range of virtual camera in xr space, control method for information processing apparatus, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250610 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250902 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250915 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7753753 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |