JP3392080B2 - ユーザインタフェース方法、ユーザインタフェース装置、空間描画装置、ワークステーション装置およびプログラム記憶媒体 - Google Patents
ユーザインタフェース方法、ユーザインタフェース装置、空間描画装置、ワークステーション装置およびプログラム記憶媒体Info
- Publication number
- JP3392080B2 JP3392080B2 JP24929599A JP24929599A JP3392080B2 JP 3392080 B2 JP3392080 B2 JP 3392080B2 JP 24929599 A JP24929599 A JP 24929599A JP 24929599 A JP24929599 A JP 24929599A JP 3392080 B2 JP3392080 B2 JP 3392080B2
- Authority
- JP
- Japan
- Prior art keywords
- user interface
- command
- user
- arrangement
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、仮想空間における
物体配置のためのユーザインタフェース方法および装
置、更には、ワークステーション装置などに関する。
物体配置のためのユーザインタフェース方法および装
置、更には、ワークステーション装置などに関する。
【０００２】
【従来の技術】仮想空間や複合現実空間（以下、本明細
書では両空間を「仮想空間」と総称する）において、仮
想物体を配置する場合には、配置先を指定しなければな
らない。
書では両空間を「仮想空間」と総称する）において、仮
想物体を配置する場合には、配置先を指定しなければな
らない。
【０００３】従来のコンピュータ装置では、マウスなど
のポインティングデバイスを用いて対象物体と配置先と
を指定していた。
のポインティングデバイスを用いて対象物体と配置先と
を指定していた。
【０００４】
【発明が解決しようとする問題点】しかしながら、マウ
スなどのポインティングデバイスは、二次元空間での操
作を行うこととなるために、重なり合った複数の物体の
中から１つの対象物体を指定する、特に配置先を三次元
的に指定するときの操作性には悪いものがあった。
スなどのポインティングデバイスは、二次元空間での操
作を行うこととなるために、重なり合った複数の物体の
中から１つの対象物体を指定する、特に配置先を三次元
的に指定するときの操作性には悪いものがあった。
【０００５】三次元空間において精度よく座標値を入力
する方法や装置は種々提案されている、しかしながら、
仮想空間を体験中には、その空間中に没入する（特に、
頭部装着型のディスプレイを装着している場合）ことが
あるために、そのような装置(HMD)を用いるために、HMD
を外して改めて現実世界に立ち返ることは、操作性を滅
却させる。
する方法や装置は種々提案されている、しかしながら、
仮想空間を体験中には、その空間中に没入する（特に、
頭部装着型のディスプレイを装着している場合）ことが
あるために、そのような装置(HMD)を用いるために、HMD
を外して改めて現実世界に立ち返ることは、操作性を滅
却させる。
【０００６】従来技術の１つに、エージェント（仮想空
間に現れるhumanoid）に対して、空間に配置する対象の
物体を指定するという技術（例えば、”Gandalf: An Em
bodied Humanoid Capable of Real-Time Multimodal Di
alogue with People）も提案されているが、配置先をど
のように指定するかについては指摘されていない。
間に現れるhumanoid）に対して、空間に配置する対象の
物体を指定するという技術（例えば、”Gandalf: An Em
bodied Humanoid Capable of Real-Time Multimodal Di
alogue with People）も提案されているが、配置先をど
のように指定するかについては指摘されていない。
【０００７】本発明の目的は、曖昧な指定であっても、
仮想空間に物体を配置することを可能にするユーザイン
タフェース方法および装置を提案する。
仮想空間に物体を配置することを可能にするユーザイン
タフェース方法および装置を提案する。
【０００８】
【課題を解決するための手段】上記課題を達成するため
の、三次元空間描画システムに対するユーザコマンドに
より、三次元仮想空間に物体を配置するためのユーザイ
ンタフェース方法は、三次元空間描画システムに対する
ユーザコマンドにより、三次元仮想空間に物体を配置す
るためのユーザインタフェース方法であって、ユーザ入
力により前記仮想空間中に物体を配置するコマンドであ
って、配置対象の物体を指定する対象物体情報と、任意
物体に対する相対的な配置方向を表す配置方向情報とを
含むコマンドを入力する入力工程と、入力したコマンド
の対象物体情報に基づいて、前記対象物体の前記仮想空
間における配置前位置を認識する認識工程と、ユーザの
視点位置および視線方向を検出し、検出された視点位置
および視線方向を取得する検出工程と、前記取得された
視点位置および視線方向と、認識された前記配置前位置
と、前記配置方向情報とに基づいて、前記対象物体の配
置先を表す配置先位置情報を生成する生成工程とを具備
することを特徴とする。
の、三次元空間描画システムに対するユーザコマンドに
より、三次元仮想空間に物体を配置するためのユーザイ
ンタフェース方法は、三次元空間描画システムに対する
ユーザコマンドにより、三次元仮想空間に物体を配置す
るためのユーザインタフェース方法であって、ユーザ入
力により前記仮想空間中に物体を配置するコマンドであ
って、配置対象の物体を指定する対象物体情報と、任意
物体に対する相対的な配置方向を表す配置方向情報とを
含むコマンドを入力する入力工程と、入力したコマンド
の対象物体情報に基づいて、前記対象物体の前記仮想空
間における配置前位置を認識する認識工程と、ユーザの
視点位置および視線方向を検出し、検出された視点位置
および視線方向を取得する検出工程と、前記取得された
視点位置および視線方向と、認識された前記配置前位置
と、前記配置方向情報とに基づいて、前記対象物体の配
置先を表す配置先位置情報を生成する生成工程とを具備
することを特徴とする。
【０００９】配置先位置が、ユーザの視点位置および視
線方向と、配置前の物体位置と、配置方向とに基づいて
決定される。これにより、曖昧な配置指示が許される。
線方向と、配置前の物体位置と、配置方向とに基づいて
決定される。これにより、曖昧な配置指示が許される。
【００１０】
【００１１】ユーザインタフェース自体が仮想物体配置
の描画を行ってもよい。そこで、請求項２によれば、前
記対象物体の仮想画像を、前記生成工程おいて生成され
た配置先情報に従って前記対象物体が前記仮想空間に配
置されているように、描画する描画工程をさらに具備す
る。
の描画を行ってもよい。そこで、請求項２によれば、前
記対象物体の仮想画像を、前記生成工程おいて生成され
た配置先情報に従って前記対象物体が前記仮想空間に配
置されているように、描画する描画工程をさらに具備す
る。
【００１２】視界を通して仮想空間に没入する場合は、
コマンド入力のために、視界を通した現実世界とのイン
タフェースが必要になるときは、その没入を中断しなけ
ればならない。そこで、本発明の好適な一態様である請
求項３に拠れば、前記入力工程は、前記コマンドを表す
音声を入力する工程と、入力された音声を認識する工程
とを具備することにより、その中断を防ぐ。
コマンド入力のために、視界を通した現実世界とのイン
タフェースが必要になるときは、その没入を中断しなけ
ればならない。そこで、本発明の好適な一態様である請
求項３に拠れば、前記入力工程は、前記コマンドを表す
音声を入力する工程と、入力された音声を認識する工程
とを具備することにより、その中断を防ぐ。
【００１３】本発明の好適な一態様である請求項４に拠
れば、前記入力工程は、ポインティングデバイス（例え
ばキーボードの矢印キーなど）を用いて入力する。
れば、前記入力工程は、ポインティングデバイス（例え
ばキーボードの矢印キーなど）を用いて入力する。
【００１４】ユーザが仮想空間に向かう場合、特に、エ
ージェントに対してコマンドを与える場合には、ユーザ
は、方向を、自己中心に考える。そこで、本発明の好適
な一態様である請求項５に拠れば、前記任意物体はユー
ザであり、前記コマンドに含まれる前記配置方向情報
は、このユーザに対する現実空間での左方向または右方
向または手前方向または奥行き方向のいずれかを示す情
報を含む。同じく、請求項６によれば、前記コマンドに
含まれる前記配置方向情報は、このユーザに対する現実
空間での上方向または下方向のいずれかを示す情報を含
む。
ージェントに対してコマンドを与える場合には、ユーザ
は、方向を、自己中心に考える。そこで、本発明の好適
な一態様である請求項５に拠れば、前記任意物体はユー
ザであり、前記コマンドに含まれる前記配置方向情報
は、このユーザに対する現実空間での左方向または右方
向または手前方向または奥行き方向のいずれかを示す情
報を含む。同じく、請求項６によれば、前記コマンドに
含まれる前記配置方向情報は、このユーザに対する現実
空間での上方向または下方向のいずれかを示す情報を含
む。
【００１５】方向はあくまでも仮想空間を中心に定義し
てもよい。そこで、請求項７によれば、前記任意物体は
仮想空間中の任意物体であり、前記コマンドに含まれる
前記配置方向情報は、前記任意物体に対する左方向また
は右方向または手前方向または奥行き方向のいずれかを
示す情報を含む。同じく、請求項８によれば、前記任意
物体は仮想空間中の任意物体であり、前記コマンドに含
まれる前記配置方向情報は、前記任意物体に対する上方
向または下方向のいずれかを示す情報を含むことを特徴
とする。
てもよい。そこで、請求項７によれば、前記任意物体は
仮想空間中の任意物体であり、前記コマンドに含まれる
前記配置方向情報は、前記任意物体に対する左方向また
は右方向または手前方向または奥行き方向のいずれかを
示す情報を含む。同じく、請求項８によれば、前記任意
物体は仮想空間中の任意物体であり、前記コマンドに含
まれる前記配置方向情報は、前記任意物体に対する上方
向または下方向のいずれかを示す情報を含むことを特徴
とする。
【００１６】移動量をシステムが与えるようにすると、
その仮想空間の性質（重力関係や干渉関係）と矛盾が発
生する場合がある。そこで、本発明の好適な一態様であ
る請求項９に拠れば、前記生成工程は、前記配置先位置
情報の妥当性を、前記仮想画像の空間規則に従ってチェ
ックし、妥当でない場合に、前記配置先位置情報が表す
配置先情報を補正する。
その仮想空間の性質（重力関係や干渉関係）と矛盾が発
生する場合がある。そこで、本発明の好適な一態様であ
る請求項９に拠れば、前記生成工程は、前記配置先位置
情報の妥当性を、前記仮想画像の空間規則に従ってチェ
ックし、妥当でない場合に、前記配置先位置情報が表す
配置先情報を補正する。
【００１７】インタラクティブな配置の指示はエージェ
ントに対して行うことが好ましい。そこで、請求項１０
によれば、前記コマンドを仮想空間に存在するエージェ
ントに送られたことを検出する工程と、前記エージェン
トが前記対象物体を前記配置先位置に配置するように、
前記エージェントの仮想画像を描画する工程を具備す
る。
ントに対して行うことが好ましい。そこで、請求項１０
によれば、前記コマンドを仮想空間に存在するエージェ
ントに送られたことを検出する工程と、前記エージェン
トが前記対象物体を前記配置先位置に配置するように、
前記エージェントの仮想画像を描画する工程を具備す
る。
【００１８】また、更に、上記課題は、ユーザインタフ
ェース装置または空間描画装置によっても達成される。
ェース装置または空間描画装置によっても達成される。
【００１９】
【発明の実施の形態】以下本発明を、エージェントを用
いた仮想空間体験システムに適用した実施形態を説明す
る。
いた仮想空間体験システムに適用した実施形態を説明す
る。
【００２０】第１図にその仮想空間体験システムのブロ
ック図を示す。図中、１０１は、実写画像群を撮像した
り、或いは既に作成されているCG画像を外部から入力す
る画像入力部である。尚、画像入力部１０１の代わり
に、予め撮影した多数枚の画像を格納したデータベース
を用いてもよい。１０２は記憶部１０３に記憶されてい
る処理手順に従って処理を行うCPUである。１０３は記
憶部であり、該実写画像群の画像データや多視点画像か
ら生成された光線空間データ、CPUの処理手順を示した
プログラム等を記憶し、また、その一部をワークメモリ
として使用する。１０４は観察者の視点位置・視線方向
を検出するための視点・視線検出部である。視点・視線
検出部には、キーボードやマウスなどの入力デバイスを
用いるか、またはHMD（ヘッドマウントディスプレイ）
などセンサの付いているデバイスなどを用いることがで
きる。１０５は、観察者の視点位置・視線方向にしたが
って生成された画像を表示するための画像出力部であ
る。画像出力部には、CRTや液晶などの一般的な２次元
ディスプレイを用いても、レンティキュラやHMDなどの
３次元ディスプレイを用いてもよい。なお、プログラム
は、FD（フロッピーディスク）・CD-ROM・磁気テープ等
の記憶媒体に記録しておき、記憶媒体読み取り部１０６
から読みだして記憶部１０３に記憶させてもよい。
ック図を示す。図中、１０１は、実写画像群を撮像した
り、或いは既に作成されているCG画像を外部から入力す
る画像入力部である。尚、画像入力部１０１の代わり
に、予め撮影した多数枚の画像を格納したデータベース
を用いてもよい。１０２は記憶部１０３に記憶されてい
る処理手順に従って処理を行うCPUである。１０３は記
憶部であり、該実写画像群の画像データや多視点画像か
ら生成された光線空間データ、CPUの処理手順を示した
プログラム等を記憶し、また、その一部をワークメモリ
として使用する。１０４は観察者の視点位置・視線方向
を検出するための視点・視線検出部である。視点・視線
検出部には、キーボードやマウスなどの入力デバイスを
用いるか、またはHMD（ヘッドマウントディスプレイ）
などセンサの付いているデバイスなどを用いることがで
きる。１０５は、観察者の視点位置・視線方向にしたが
って生成された画像を表示するための画像出力部であ
る。画像出力部には、CRTや液晶などの一般的な２次元
ディスプレイを用いても、レンティキュラやHMDなどの
３次元ディスプレイを用いてもよい。なお、プログラム
は、FD（フロッピーディスク）・CD-ROM・磁気テープ等
の記憶媒体に記録しておき、記憶媒体読み取り部１０６
から読みだして記憶部１０３に記憶させてもよい。
【００２１】１０７はコマンド入力部であり、本実施形
態ではマイクロフォンを用いている。マイクで取得され
たコマンドの音声はディジタル形式に変換されて、音声
認識部に送られる。この音声認識部は周知の音声認識処
理をコマンドの音声データに対して行う。後述するよう
に、本実施形態では、空間配置のためのコマンドは所定
の形式を有しているために、自然言語認識を必要としな
い。
態ではマイクロフォンを用いている。マイクで取得され
たコマンドの音声はディジタル形式に変換されて、音声
認識部に送られる。この音声認識部は周知の音声認識処
理をコマンドの音声データに対して行う。後述するよう
に、本実施形態では、空間配置のためのコマンドは所定
の形式を有しているために、自然言語認識を必要としな
い。
【００２２】第２図は、第１図の実施形態システムにお
けるソフト機能をブロック図として示したものである。
コマンド変換部３００は、マイクが拾った音声信号を、
コマンドに変換してエージェントプロセス２００に送
る。エージェントプロセス２００は、この仮想空間に対
して設けられている所定のルールを考慮して、受け取っ
たコマンドに存在する曖昧性を除去し、仮想空間／複合
現実空間システム４００に渡す。尚、入力コマンドは音
声入力に限られず、同図に示すように、キーボードから
入力されてもよい。
けるソフト機能をブロック図として示したものである。
コマンド変換部３００は、マイクが拾った音声信号を、
コマンドに変換してエージェントプロセス２００に送
る。エージェントプロセス２００は、この仮想空間に対
して設けられている所定のルールを考慮して、受け取っ
たコマンドに存在する曖昧性を除去し、仮想空間／複合
現実空間システム４００に渡す。尚、入力コマンドは音
声入力に限られず、同図に示すように、キーボードから
入力されてもよい。
【００２３】第３図は、本実施形態の仮想空間の一例で
ある。この実施形態では、仮想空間は１つの部屋であ
り、内部に、机２０２と、その側に椅子２０１が置か
れ、机の上には配置対象の矩形の箱２０３がおかれてい
るものとする。エージェントはこの箱２０３を仮想空間
中に移動するもとする。
ある。この実施形態では、仮想空間は１つの部屋であ
り、内部に、机２０２と、その側に椅子２０１が置か
れ、机の上には配置対象の矩形の箱２０３がおかれてい
るものとする。エージェントはこの箱２０３を仮想空間
中に移動するもとする。
【００２４】第４図は、この実施形態において用意され
ているコマンドの形態を示す。仮想空間コマンドは４つ
の部分に分かれ、最初のオペランドは「命令」オペラン
ドであり、配置のための動作を示す。この例では、
ているコマンドの形態を示す。仮想空間コマンドは４つ
の部分に分かれ、最初のオペランドは「命令」オペラン
ドであり、配置のための動作を示す。この例では、
【００２５】MOVE, SHIFT, SWAP, ROTATE
【００２６】というコマンドが用意されている。２番目
のオペランドは配置対象の物体Ａを特定する。この実施
形態では、物体Ａとして仮想空間中の物体の名称、例え
ば、「イス」、「ツクエ」、「ハコ」、が挿入される。
３番目と４番目のオペランドは、これらの２つにより移
動先の位置を示す。例えば、 MOVE A B right (left, front, back, up, down) は、物体Ａを物体Ｂの右（或いは、左、前、後、上、
下）に移動するコマンドである。また、 SHIFT A (A) right (left, front, back, up, down) は、物体Ａを物体Ａの右（或いは、左、前、後、上、
下）に移動（即ち、シフト）するコマンドである。
のオペランドは配置対象の物体Ａを特定する。この実施
形態では、物体Ａとして仮想空間中の物体の名称、例え
ば、「イス」、「ツクエ」、「ハコ」、が挿入される。
３番目と４番目のオペランドは、これらの２つにより移
動先の位置を示す。例えば、 MOVE A B right (left, front, back, up, down) は、物体Ａを物体Ｂの右（或いは、左、前、後、上、
下）に移動するコマンドである。また、 SHIFT A (A) right (left, front, back, up, down) は、物体Ａを物体Ａの右（或いは、左、前、後、上、
下）に移動（即ち、シフト）するコマンドである。
【００２７】SWAP、A、B、
は物体Ａと物体Ｂ相互の位置を交換する。
ROTATE、A、(A)、right (left, front, back)
は、物体Ａを、物体Ａの周りに右方向に（左、前、後方
向に）回転させるものである。
向に）回転させるものである。
【００２８】MOVE、A、away
は、物体Ａを、特定の位置に移動する。移動先は固定の
位置であるので、コマンド中に指定する必要はない。上
記のコマンドは全てタイプIに分類されている。タイプI
とは、オペランド２の物体を移動する基準は仮想空間内
の位置（オペランド３で指定される）であるということ
である。尚、上記コマンドは、その配置方向の基準はユ
ーザということである。即ち、物体Ａの右（或いは、
左、前、後、上、下）というのは、ユーザ側から見た方
向をいう。従って、ユーザ側から見て物体Ａの右（或い
は、左、前、後、上、下）は、システム内ではユーザに
向かって物体Ａの左（或いは、右、後、前、上、下）で
ある。
位置であるので、コマンド中に指定する必要はない。上
記のコマンドは全てタイプIに分類されている。タイプI
とは、オペランド２の物体を移動する基準は仮想空間内
の位置（オペランド３で指定される）であるということ
である。尚、上記コマンドは、その配置方向の基準はユ
ーザということである。即ち、物体Ａの右（或いは、
左、前、後、上、下）というのは、ユーザ側から見た方
向をいう。従って、ユーザ側から見て物体Ａの右（或い
は、左、前、後、上、下）は、システム内ではユーザに
向かって物体Ａの左（或いは、右、後、前、上、下）で
ある。
【００２９】コマンドを第４図のような形式にすること
で、自然言語形式でのコマンド入力ではないものの、入
力された音声データから、コマンドを音声認識すること
が容易となる。
で、自然言語形式でのコマンド入力ではないものの、入
力された音声データから、コマンドを音声認識すること
が容易となる。
【００３０】第５図は、第３図の仮想空間内の各々の仮
想物体についての定義テーブルを示す。このテーブル
は、音声入力されたコマンド中のオペランド１とオペラ
ンド２中の物体が仮想空間中のどの物体に相当するのか
を探索するときに使われる。即ち、音声認識されたオペ
ランド内の物体名が、例えば“ツクエ”であれば、その
物体はオブジェクト１として仮想空間内で同定される。
想物体についての定義テーブルを示す。このテーブル
は、音声入力されたコマンド中のオペランド１とオペラ
ンド２中の物体が仮想空間中のどの物体に相当するのか
を探索するときに使われる。即ち、音声認識されたオペ
ランド内の物体名が、例えば“ツクエ”であれば、その
物体はオブジェクト１として仮想空間内で同定される。
【００３１】本実施形態の特徴は、音声入力されたコマ
ンドが第４図のように曖昧な形式であっても、エージェ
ントプロセス２００がその曖昧性を除去して、空間プロ
セス部４００に渡す点にある。エージェントプロセス２
００と空間システム部４００とを分けたのは、空間シス
テム部４００を、既存のアプリケーション・プログラム
をそのまま使えるようにするためである。即ち、コマン
ドを簡略化すると、その曖昧さを除去するプロセスが必
須となるが、そのプロセスを空間処理アプリケーション
・プログラムから独立させることにより、既存のアプリ
ケーション・プログラムの使用可能性、即ち、互換性を
維持するという長所が生まれるからである。
ンドが第４図のように曖昧な形式であっても、エージェ
ントプロセス２００がその曖昧性を除去して、空間プロ
セス部４００に渡す点にある。エージェントプロセス２
００と空間システム部４００とを分けたのは、空間シス
テム部４００を、既存のアプリケーション・プログラム
をそのまま使えるようにするためである。即ち、コマン
ドを簡略化すると、その曖昧さを除去するプロセスが必
須となるが、そのプロセスを空間処理アプリケーション
・プログラムから独立させることにより、既存のアプリ
ケーション・プログラムの使用可能性、即ち、互換性を
維持するという長所が生まれるからである。
【００３２】本実施形態で、曖昧性がどのように除去さ
れるかを第６図などを参照して説明する。
れるかを第６図などを参照して説明する。
【００３３】第６図は、第３図の仮想空間内に配置され
ているツクエ２０２を示す。このツクエの左右方向の幅
はＷの大きさを有するとする。この上に置かれている物
体２０３を、例えば右に移動するという命令が入力され
たとする。本実施形態では、コマンドに、移動量や移動
方向についての曖昧さを許容する。このために移動量に
ついてデフォルト値（デフォルトのアルゴリズム）を有
する。即ち、ある物体Ｂ（ツクエ２０２）上に載置され
ている物体Ａ（ハコ２０３）を移動する場合には、その
移動量は、 物体Ｂの幅Ｗの１／２ に設定されている。勿論、１／２の値は任意の１／ｋで
もよい。
ているツクエ２０２を示す。このツクエの左右方向の幅
はＷの大きさを有するとする。この上に置かれている物
体２０３を、例えば右に移動するという命令が入力され
たとする。本実施形態では、コマンドに、移動量や移動
方向についての曖昧さを許容する。このために移動量に
ついてデフォルト値（デフォルトのアルゴリズム）を有
する。即ち、ある物体Ｂ（ツクエ２０２）上に載置され
ている物体Ａ（ハコ２０３）を移動する場合には、その
移動量は、 物体Ｂの幅Ｗの１／２ に設定されている。勿論、１／２の値は任意の１／ｋで
もよい。
【００３４】本実施形態の特徴は、仮想空間の特性に従
って上記移動量を補正するものである。
って上記移動量を補正するものである。
【００３５】今、第６図のように、ハコ２０３がツクエ
２０２の縁から距離ｘ（x<W/2）のところにあるとす
る。この状態でハコ２０３をW/2だけ移動させると、ハ
コ２０３はツクエ２０２の縁からはずれてしまう。換言
すれば、移動されたハコ２０３は空中に浮いているよう
に見えてしまう。物体が空中に浮くことが問題であるか
否かは、空間システム４００が定義するこの仮想空間の
性質による。もし、この仮想空間が空中に物体が浮かぶ
のを禁止するのであれば、移動量を、W/2からｘに変更
（補正）する。
２０２の縁から距離ｘ（x<W/2）のところにあるとす
る。この状態でハコ２０３をW/2だけ移動させると、ハ
コ２０３はツクエ２０２の縁からはずれてしまう。換言
すれば、移動されたハコ２０３は空中に浮いているよう
に見えてしまう。物体が空中に浮くことが問題であるか
否かは、空間システム４００が定義するこの仮想空間の
性質による。もし、この仮想空間が空中に物体が浮かぶ
のを禁止するのであれば、移動量を、W/2からｘに変更
（補正）する。
【００３６】尚、変形例として、エージェントプロセス
２００が、システム４００が定義する仮想空間の性質に
関するデータを知らされているのであれば、その性質に
関するルールに従って、例えば、第７図のように移動経
路を修正し、その軌跡に関するコマンドを再構成して、
空間システム４００に渡すように修正してもよい。
２００が、システム４００が定義する仮想空間の性質に
関するデータを知らされているのであれば、その性質に
関するルールに従って、例えば、第７図のように移動経
路を修正し、その軌跡に関するコマンドを再構成して、
空間システム４００に渡すように修正してもよい。
【００３７】空間の性質として、仮想物体が仮想の壁に
めり込むのを許さないものであれば、例えば、第８図の
ように、壁までの距離ｙに移動距離を変更する。
めり込むのを許さないものであれば、例えば、第８図の
ように、壁までの距離ｙに移動距離を変更する。
【００３８】第９図の制御手順は、エージェントプロセ
ス部の制御手順を示す。
ス部の制御手順を示す。
【００３９】まず、ステップＳ１０２で音声信号を入力
し、ステップＳ１０４で音声認識を行う。ステップＳ１
０６では、認識された音声をコードにして、オペランド
に分解する。ステップＳ１０８では、コマンド中に対象
物体オペランド（オペランド２，３）を特定する。ステ
ップＳ１１０では、特定された対象物体の識別子をシス
テム４００に送り、その空間データ（位置情報）をもら
う。ステップＳ１１２では、ユーザの視線方向を取得す
る。ステップＳ１１４では、ユーザの視線方向と空間の
方向とを対比する。これは、ユーザが仮想空間の正面と
向き合っていれば、仮想空間での左右方向と前号方向と
が、ユーザのそれらと反対になるからである。ステップ
Ｓ１１６では、移動対象の物体の座標値に移動量を加算
する。ステップＳ１１８では、当該仮想空間の性質デー
タを読み込む。この性質データは前もって制定され、ル
ール化されて記憶部１０３に記憶されている。これらの
性質とは、重力関係と干渉関係に関する性質である。重
力関係は、物体が空中に浮くのを許すか否かである。干
渉関係は物体が他の物体中に入り込むのを許すかであ
る。矛盾があれば、ステップＳ１２２で補正する。ステ
ップＳ１２４では対象物体を移動する。
し、ステップＳ１０４で音声認識を行う。ステップＳ１
０６では、認識された音声をコードにして、オペランド
に分解する。ステップＳ１０８では、コマンド中に対象
物体オペランド（オペランド２，３）を特定する。ステ
ップＳ１１０では、特定された対象物体の識別子をシス
テム４００に送り、その空間データ（位置情報）をもら
う。ステップＳ１１２では、ユーザの視線方向を取得す
る。ステップＳ１１４では、ユーザの視線方向と空間の
方向とを対比する。これは、ユーザが仮想空間の正面と
向き合っていれば、仮想空間での左右方向と前号方向と
が、ユーザのそれらと反対になるからである。ステップ
Ｓ１１６では、移動対象の物体の座標値に移動量を加算
する。ステップＳ１１８では、当該仮想空間の性質デー
タを読み込む。この性質データは前もって制定され、ル
ール化されて記憶部１０３に記憶されている。これらの
性質とは、重力関係と干渉関係に関する性質である。重
力関係は、物体が空中に浮くのを許すか否かである。干
渉関係は物体が他の物体中に入り込むのを許すかであ
る。矛盾があれば、ステップＳ１２２で補正する。ステ
ップＳ１２４では対象物体を移動する。
【００４０】尚、上記実施形態では、前後関係、左右間
系は、ユーザを基準にして決定したが、仮想空間を基準
にして決定してもよい。この場合には、ユーザが仮想空
間の正面と向き合って物体Ａを右に移動するとは、ユー
ザから見て物体Ａが左に移動される。
系は、ユーザを基準にして決定したが、仮想空間を基準
にして決定してもよい。この場合には、ユーザが仮想空
間の正面と向き合って物体Ａを右に移動するとは、ユー
ザから見て物体Ａが左に移動される。
【００４１】また、本発明は、複数の機器から構成され
るシステムに適用しても、一つの機器からなる装置に適
用しても良い。また、本発明はシステムあるいは装置に
プログラムを供給することによって実施される場合にも
適用されることは言うまでもない。この場合、本発明に
係るプログラムを格納した記憶媒体が、本発明を構成す
ることになる。そして、該記憶媒体からそのプログラム
をシステムあるいは装置に読み出すことによって、その
システムあるいは装置が、予め定められた方法で動作す
る。
るシステムに適用しても、一つの機器からなる装置に適
用しても良い。また、本発明はシステムあるいは装置に
プログラムを供給することによって実施される場合にも
適用されることは言うまでもない。この場合、本発明に
係るプログラムを格納した記憶媒体が、本発明を構成す
ることになる。そして、該記憶媒体からそのプログラム
をシステムあるいは装置に読み出すことによって、その
システムあるいは装置が、予め定められた方法で動作す
る。
【００４２】
【発明の効果】以上詳述したように、本発明によれば、
曖昧な指定であっても、仮想空間に物体を配置すること
を可能にするユーザインタフェース方法および装置を提
供できた。
曖昧な指定であっても、仮想空間に物体を配置すること
を可能にするユーザインタフェース方法および装置を提
供できた。
【図１】 実施形態の仮想空間システムのハード構成を
説明するブロック図。
説明するブロック図。
【図２】 実施形態の仮想空間システムのソフト構成を
説明するブロック図。
説明するブロック図。
【図３】 対象とする仮想空間の構成を説明する図。
【図４】 実施形態のユーザインタフェース装置に設定
された各種コマンドの形式を説明する図。
された各種コマンドの形式を説明する図。
【図５】 実施形態で、コマンドと仮想空間内の物体と
をリンクする手法を説明する図。
をリンクする手法を説明する図。
【図６】 仮想空間の一例で重力関係で矛盾が発生する
様子を説明する図。
様子を説明する図。
【図７】 重力関係で矛盾が発生した場合に回避を説明
する図。
する図。
【図８】 干渉関係で矛盾が発生する様子を説明する
図。
図。
【図９】 実施形態の処理手順を示すフローチャート。
フロントページの続き
(56)参考文献 特開 平７−85303（ＪＰ，Ａ)
特開 平８−101758（ＪＰ，Ａ)
特開 平９−97355（ＪＰ，Ａ)
特開 平７−271546（ＪＰ，Ａ)
特開 平11−18025（ＪＰ，Ａ)
特開 平11−195131（ＪＰ，Ａ)
望月研二 外１名，”自然言語による
３次元画像へのアクセス”，電子情報通
信学会技術研究報告 ＰＲＵ92−35〜44
パターン認識・理解，社団法人電子情
報通信学会，1992年10月15日，第92巻,
第255号，ｐ．69−75
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 17/40
G06F 3/00
G06F 3/033
ＣＳＤＢ（日本国特許庁)
Claims (23)
- 【請求項１】 三次元空間描画システムに対するユーザ
コマンドにより、三次元仮想空間に物体を配置するため
のユーザインタフェース方法であって、 ユーザ入力により前記仮想空間中に物体を配置するコマ
ンドであって、配置対象の物体を指定する対象物体情報
と、任意物体に対する相対的な配置方向を表す配置方向
情報とを含むコマンドを入力する入力工程と、 入力したコマンドの対象物体情報に基づいて、前記対象
物体の前記仮想空間における配置前位置を認識する認識
工程と、ユーザの視点位置および視線方向を検出し、検出された
視点位置および視線方向を取得する検出工程と、 前記取得された視点位置および視線方向と、認識された
前記配置前位置と、前記配置方向情報とに基づいて、前
記対象物体の配置先を表す配置先位置情報を生成する生
成工程とを具備することを特徴とするユーザインタフェ
ース方法。 - 【請求項２】 前記対象物体の仮想画像を、前記生成工
程おいて生成された配置先情報に従って前記対象物体が
前記仮想空間に配置されているように、描画する描画工
程をさらに具備することを特徴とする請求項１に記載の
ユーザインタフェース方法。 - 【請求項３】 前記入力工程は、 前記コマンドを表す音声を入力する工程と、 入力された音声を認識する工程とを具備することを特徴
とする請求項１又は２に記載のユーザインタフェース方
法。 - 【請求項４】 前記入力工程は、ポインティングデバイ
スを用いて入力することを特徴とする請求項１又は２に
記載のユーザインタフェース方法。 - 【請求項５】 前記任意物体はユーザであり、前記コマ
ンドに含まれる前記配置方向情報は、このユーザに対す
る現実空間での左方向または右方向または手前方向また
は奥行き方向のいずれかを示す情報を含むことを特徴と
する請求項１乃至４のいずれかに記載のザインタフェー
ス方法。 - 【請求項６】 前記任意物体はユーザであり、前記コマ
ンドに含まれる前記配置方向情報は、このユーザに対す
る現実空間での上方向または下方向のいずれかを示す情
報を含むことを特徴とする請求項１乃至４のいずれかに
記載のユーザインタフェース方法。 - 【請求項７】 前記任意物体は仮想空間中の任意物体で
あり、前記コマンドに含まれる前記配置方向情報は、前
記任意物体に対する左方向または右方向または手前方向
または奥行き方向のいずれかを示す情報を含むことを特
徴とする請求項１乃至６のいずれかに記載のユーザイン
タフェース方法。 - 【請求項８】 前記任意物体は仮想空間中の任意物体で
あり、前記コマンドに含まれる前記配置方向情報は、前
記任意物体に対する上方向または下方向のいずれかを示
す情報を含むことを特徴とする請求項１乃至６のいずれ
かに記載のユーザインタフェース方法。 - 【請求項９】 前記生成工程は、 前記配置先位置情報の妥当性を、前記仮想画像の空間規
則に従ってチェックし、 妥当でない場合に、前記配置先位置情報が表す配置先情
報を補正することを特徴とする請求項１乃至８のいずれ
かに記載のユーザインタフェース方法。 - 【請求項１０】 前記コマンドを仮想空間に存在するエ
ージェントに送られたことを検出する工程と、 前記エージェントが前記対象物体を前記配置先位置に配
置するように、前記エージェントの仮想画像を描画する
工程を具備することを特徴とする請求項１乃至９のいず
れかに記載のユーザインタフェース方法。 - 【請求項１１】 三次元空間描画システムに対するユー
ザコマンドにより、三次元仮想空間に物体を配置するた
めのユーザインタフェース装置であって、 ユーザ入力により前記仮想空間中に物体を配置するコマ
ンドであって、配置対象の物体を指定する対象物体情報
と、任意物体に対する相対的な配置方向を表す配置方向
情報とを含むコマンドを入力する入力手段と、 入力したコマンドの対象物体情報に基づいて、前記対象
物体の前記仮想空間における配置前位置を認識する認識
手段と、 前記ユーザの視点位置および視線方向と、認識された前
記配置前位置と、前記配置方向情報とに基づいて、前記
対象物体の配置先を表す配置先位置情報を生成する生成
手段と、 前記ユーザの視点位置および視線方向を検出し、検出さ
れた視点位置および視線方向を前記生成手段に渡す検出
手段と を具備することを特徴とするユーザインタフェー
ス装置。 - 【請求項１２】 前記対象物体の仮想画像を、前記生成
手段おいて生成された配置先情報に従って前記対象物体
が前記仮想空間に配置されているように、描画する描画
手段をさらに具備することを特徴とする請求項１１に記
載のユーザインタフェース装置。 - 【請求項１３】 前記入力手段は、 前記コマンドを表す音声を入力する手段と、 入力された音声を認識する手段とを具備することを特徴
とする請求項１１又は１２に記載のユーザインタフェー
ス装置。 - 【請求項１４】 前記入力手段は、ポインティングデバ
イスを用いて入力することを特徴とする請求項１１乃至
１３のいずれかに記載のユーザインタフェース装置。 - 【請求項１５】 前記任意物体はユーザであり、前記コ
マンドに含まれる前記配置方向情報は、このユーザに対
する現実空間での左方向または右方向または手前方向ま
たは奥行き方向のいずれかを示す情報を含むことを特徴
とする請求項１１乃至１４のいずれかに記載のユーザイ
ンタフェース装置。 - 【請求項１６】 前記任意物体はユーザであり、前記コ
マンドに含まれる前記配置方向情報は、このユーザに対
する現実空間での上方向または下方向のいずれかを示す
情報を含むことを特徴とする請求項１１乃至１４のいず
れかに記載のユーザインタフェース装置。 - 【請求項１７】 前記任意物体は仮想空間中の任意物体
であり、前記コマンドに含まれる前記配置方向情報は、
前記任意物体に対する左方向または右方向または手前方
向または奥行き方向のいずれかを示す情報を含むことを
特徴とする請求項１１乃至１６のいずれかに記載のユー
ザインタフェース装置。 - 【請求項１８】 前記任意物体は仮想空間中の任意物体
であり、前記コマンドに含まれる前記配置方向情報は、
前記任意物体に対する上方向または下方向のいずれかを
示す情報を含むことを特徴とする請求項１１乃至１６の
いずれかに記載のユーザインタフェース装置。 - 【請求項１９】 前記生成手段は、 前記配置先位置情報の妥当性を、前記仮想画像の空間規
則に従ってチェックし、 妥当でない場合に、前記配置先位置情報が表す配置先情
報を補正することを特徴とする請求項１１乃至１８のい
ずれかに記載のユーザインタフェース装置。 - 【請求項２０】 前記コマンドを仮想空間に存在するエ
ージェントに送られたことを検出する手段と、 前記エージェントが前記対象物体を前記配置先位置に配
置するように、前記エージェントの仮想画像を描画する
手段を具備することを特徴とする請求項１１乃至１９の
いずれかに記載のユーザインタフェース装置。 - 【請求項２１】 請求項１乃至１０のいずれかに記載の
ユーザインタフェース方法を実現するコンピュータプロ
グラムを記憶するプログラム記憶媒体。 - 【請求項２２】 請求項１１乃至２０のいずれかに記載
のユーザインタフェース装置を組み込まれた空間描画装
置。 - 【請求項２３】 請求項１１乃至２０のいずれかに記載
のユーザインタフェース装置を組み込まれたワークステ
ーション装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24929599A JP3392080B2 (ja) | 1999-09-02 | 1999-09-02 | ユーザインタフェース方法、ユーザインタフェース装置、空間描画装置、ワークステーション装置およびプログラム記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24929599A JP3392080B2 (ja) | 1999-09-02 | 1999-09-02 | ユーザインタフェース方法、ユーザインタフェース装置、空間描画装置、ワークステーション装置およびプログラム記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001076182A JP2001076182A (ja) | 2001-03-23 |
| JP3392080B2 true JP3392080B2 (ja) | 2003-03-31 |
Family
ID=17190860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24929599A Expired - Fee Related JP3392080B2 (ja) | 1999-09-02 | 1999-09-02 | ユーザインタフェース方法、ユーザインタフェース装置、空間描画装置、ワークステーション装置およびプログラム記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3392080B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2025070037A (ja) * | 2023-10-19 | 2025-05-02 | 株式会社日立製作所 | 空間生成装置、空間生成方法及び空間生成プログラム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3344499B2 (ja) * | 1993-06-30 | 2002-11-11 | 株式会社東芝 | オブジェクト操作支援装置 |
| JPH07271546A (ja) * | 1994-03-31 | 1995-10-20 | Olympus Optical Co Ltd | 画像表示制御方法 |
| JPH08101758A (ja) * | 1994-09-30 | 1996-04-16 | Toshiba Corp | 仮想空間内のデータ操作装置 |
| JP3245336B2 (ja) * | 1995-09-29 | 2002-01-15 | 富士通株式会社 | モデリング方法およびモデリングシステム |
| JP4251673B2 (ja) * | 1997-06-24 | 2009-04-08 | 富士通株式会社 | 画像呈示装置 |
| JPH11195131A (ja) * | 1997-12-26 | 1999-07-21 | Canon Inc | 仮想現実方法及び装置並びに記憶媒体 |
-
1999
- 1999-09-02 JP JP24929599A patent/JP3392080B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 望月研二 外１名，"自然言語による３次元画像へのアクセス"，電子情報通信学会技術研究報告 ＰＲＵ９２−３５〜４４ パターン認識・理解，社団法人電子情報通信学会，１９９２年１０月１５日，第９２巻，第２５５号，ｐ．６９−７５ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001076182A (ja) | 2001-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11978243B2 (en) | System and method using augmented reality for efficient collection of training data for machine learning | |
| JP7079231B2 (ja) | 情報処理装置及び情報処理システム及び制御方法、プログラム | |
| US8751969B2 (en) | Information processor, processing method and program for displaying a virtual image | |
| US9495802B2 (en) | Position identification method and system | |
| Kato et al. | Marker tracking and hmd calibration for a video-based augmented reality conferencing system | |
| US7755608B2 (en) | Systems and methods of interfacing with a machine | |
| US6629065B1 (en) | Methods and apparata for rapid computer-aided design of objects in virtual reality and other environments | |
| US9495013B2 (en) | Multi-modal gestural interface | |
| CN110070556B (zh) | 使用深度传感器的结构建模 | |
| US20170351734A1 (en) | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes | |
| US20150138086A1 (en) | Calibrating control device for use with spatial operating system | |
| EP2560145A2 (en) | Methods and systems for enabling the creation of augmented reality content | |
| US20150040074A1 (en) | Methods and systems for enabling creation of augmented reality content | |
| US6559870B1 (en) | User interface method for determining a layout position of an agent, information processing apparatus, and program storage medium | |
| US6057827A (en) | Automatic pointer positioning for 3D computer modeling | |
| US20230326147A1 (en) | Helper data for anchors in augmented reality | |
| JPH08329281A (ja) | 画像表示方法 | |
| JP3392080B2 (ja) | ユーザインタフェース方法、ユーザインタフェース装置、空間描画装置、ワークステーション装置およびプログラム記憶媒体 | |
| EP3088991B1 (en) | Wearable device and method for enabling user interaction | |
| KR102350226B1 (ko) | 증강현실 컨텐츠 배치 장치 및 방법 | |
| Asiminidis | Augmented and Virtual Reality: Extensive Review | |
| CN114911382A (zh) | 一种签名展示方法、装置及其相关设备和存储介质 | |
| KR102799192B1 (ko) | 특정 공간에 대한 동영상과 복수의 이미지들을 이용하여 3차원 공간 모델링 데이터를 생성하는 장치 및 방법과 이를 위한 프로그램 | |
| US20230325549A1 (en) | System and method for automatic floorplan generation | |
| CN115861509A (zh) | 虚拟车展实现方法、计算机装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030106 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090124 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090124 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100124 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110124 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120124 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130124 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140124 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |