JP4182892B2 - Behavior simulation system - Google Patents
Behavior simulation system Download PDFInfo
- Publication number
- JP4182892B2 JP4182892B2 JP2004018977A JP2004018977A JP4182892B2 JP 4182892 B2 JP4182892 B2 JP 4182892B2 JP 2004018977 A JP2004018977 A JP 2004018977A JP 2004018977 A JP2004018977 A JP 2004018977A JP 4182892 B2 JP4182892 B2 JP 4182892B2
- Authority
- JP
- Japan
- Prior art keywords
- action
- virtual
- behavior
- virtual human
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004088 simulation Methods 0.000 title claims description 47
- 230000009471 action Effects 0.000 claims description 256
- 239000013598 vector Substances 0.000 claims description 87
- 230000007613 environmental effect Effects 0.000 claims description 74
- 239000000779 smoke Substances 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 230000003542 behavioural effect Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 92
- 230000006870 function Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000411 inducer Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、災害時などにおける人の行動を仮想空間において模擬する行動シミュレーションシステムに関するものである。 The present invention relates to a behavior simulation system that simulates human behavior in a virtual space during a disaster or the like.
従来から、コンピュータにより生成される仮想空間において人の行動を模擬するシステムが種々提案されている。この種のシステムとしては、たとえば、初期状態と目標状態とを与え、「if(条件)then(行動)」という形式のルールを格納した知識ベースを用いることによって、初期状態から目標状態に向かう行動の系列であるプランを生成するためのルールを知識ベースから探索するプランナを備えるものが知られている(たとえば、特許文献1参照)。特許文献1には、想定シナリオに対して、プランナが出した行動の候補を実世界シミュレータ(すなわち、仮想空間)に適用することによって、実世界の状態が行動の候補によってどのように変化するかを評価している。すなわち、想定シナリオにおいて、知識ベースに記述されていない内容を実世界シミュレータに問い合わせることにより、知識ベースのルールからは導き出せないプランを生成するようにしてある。
ところで、上述した特許文献1に記載されたシステムは、災害時などにおいて人がとるべき行動の系列をプランとして生成することはできるものの、目標状態に到達するために効果が高いと考えられる行動の系列を生成するものであるから、災害時などにおいて刻々と変化する環境条件に対して人がどのように振る舞うかを模擬することはできない。たとえば、災害時における種々の環境条件の変化に対して人がどのように避難するかを検証するような目的には用いることができない。 By the way, although the system described in Patent Document 1 described above can generate a sequence of actions to be taken by a person in a disaster or the like as a plan, the action that is considered to be highly effective for reaching the target state. Since a sequence is generated, it is impossible to simulate how a person behaves in response to environmental conditions that change every moment during a disaster or the like. For example, it cannot be used for the purpose of verifying how people evacuate in response to changes in various environmental conditions during a disaster.
本発明は上記事由に鑑みて為されたものであり、その目的は、刻々と変化する環境条件に対応して行動を修正するバーチャルヒューマンを用いることによって、環境条件の変化に対する人の振る舞いを模擬することができるようにした行動シミュレーションシステムを提供することにある。 The present invention has been made in view of the above-mentioned reasons, and its purpose is to simulate human behavior with respect to changes in environmental conditions by using a virtual human that corrects behavior in response to environmental conditions that change every moment. The object is to provide a behavior simulation system that can be used.
請求項1の発明は、バーチャルヒューマンが行動する仮想空間の環境をあらかじめ与えられた環境シナリオに従って生成する環境模擬手段と、バーチャルヒューマンの初期位置および目標となる最終位置を指定する位置指定手段と、環境模擬手段が生成する仮想空間においてバーチャルヒューマンに可能な複数種類の行動と各行動を起動する環境条件とを対応付けた行動ルールが格納された行動データベースと、環境条件を検出するセンサ手段と、センサ手段が検出する環境条件を行動データベースに照合することにより行動の種類を決定しかつバーチャルヒューマンの現在位置と位置指定手段により指定された最終位置とセンサ手段により検出された環境条件とからバーチャルヒューマンの行動の向きを含む行動ベクトルを決定する行動決定手段と、行動決定手段で決定された行動の種類および行動ベクトルに従う行動の実行をバーチャルヒューマンに指示する行動指示手段と、行動指示手段で指示された行動を実行するバーチャルヒューマンを環境模擬手段で生成した仮想空間とともに表示手段の画面上に表示する出力手段とを備え、前記センサ手段は、バーチャルヒューマンが最終位置に向かう際に障害となる物体の存否を知覚する機能と、バーチャルヒューマンが最終位置に向かう際に共に行動する他人の存否を知覚する機能とを少なくとも備え、前記行動決定手段は、バーチャルヒューマンの現在位置から最終位置に向かうベクトルと、センサ手段により検出される物体を回避する向きのベクトルに物体との距離が第1の閾値以内であるときに距離が近いほど大きくなる第1の重み係数を乗じたベクトルと、センサ手段により検出される他人に近付く向きのベクトルに他人との距離が第2の閾値以上であるときに距離が遠いほど大きくなる第2の重み係数を乗じたベクトルとを合成することにより行動ベクトルを決定し、バーチャルヒューマンが行動指示手段で指示された行動を実行しセンサ手段で環境条件を検出する動作をバーチャルヒューマンが最終位置に到達するまで単位時間毎に繰り返すことを特徴とする。 The invention of claim 1 is an environment simulation unit that generates an environment of a virtual space in which a virtual human behaves according to an environment scenario given in advance, a position specifying unit that specifies an initial position and a target final position of the virtual human, An action database storing action rules in which a plurality of types of actions that can be performed by a virtual human in the virtual space generated by the environment simulation means and an environment condition that activates each action are stored; a sensor means that detects the environment condition; The type of action is determined by collating the environmental conditions detected by the sensor means with the action database, and the virtual human is determined from the current position of the virtual human, the final position specified by the position specifying means, and the environmental conditions detected by the sensor means. Action decision to determine action vector including direction of action The environment simulation means generates a virtual human that executes the action instructed by the action instruction means and the action instruction means that instructs the virtual human to execute the action according to the action type and action vector determined by the action determination means Output means for displaying on the screen of the display means together with the virtual space, the sensor means perceives the presence or absence of an object that becomes an obstacle when the virtual human heads to the final position, and the virtual human at the final position. At least a function of perceiving the presence or absence of another person who acts together when heading, wherein the behavior determination means includes a vector heading from the current position of the virtual human to the final position, and a vector for avoiding an object detected by the sensor means When the distance to the object is within the first threshold, the closer the distance is, the larger the distance is The vector multiplied by the weighting factor of 1 and the vector detected by the sensor means that approaches the other person are multiplied by the second weighting factor that increases as the distance increases when the distance to the other person is equal to or greater than the second threshold. The action vector is determined by combining the obtained vector, the virtual human performs the action instructed by the action instruction means, and the sensor means detects the environmental condition every unit time until the virtual human reaches the final position. It is characterized by repeating.
この構成によれば、センサ手段で検出した環境条件に応じた行動をバーチャルヒューマンが実行し、さらに単位時間後にセンサ手段で検出した環境条件に応じた行動をバーチャルヒューマンが実行するという動作を、バーチャルヒューマンが最終位置に到達するまで単位時間毎に繰り返すから、単位時間毎にバーチャルヒューマンの行動が見直されることになり、災害時のように時間経過に伴ってバーチャルヒューマンの周囲環境が変化する場合でも、周囲環境の変化に応じてバーチャルヒューマンの行動を修正することができ、仮想空間内のバーチャルヒューマンを自律的に行動させることができる。すなわち、バーチャルヒューマンは周囲環境の変化に対応するように自律的に行動するから、バーチャルヒューマンによって実空間における人の行動を精度よく模擬することができる。また、バーチャルヒューマンの行動の種類がセンサ手段により検出される環境条件に応じて決定され、バーチャルヒューマンの現在位置と最終位置と環境条件とを用いて行動の向きを含む行動ベクトルが決定されるから、バーチャルヒューマンが現在位置から最終位置に到達するまでの経路上に障害物が存在しているときに回避することを行動ルールとして規定している場合や、仮想空間内に複数のバーチャルヒューマンが存在しており他のバーチャルヒューマンに追い付くと追従して行動することを行動ルールを規定している場合などでは、障害物の回避行動や他人に対する追従行動などを、行動の向きを含む行動ベクトルを用いて簡単に表すことができ、行動の種類と行動ベクトルとの簡単な情報でバーチャルヒューマンの行動を規定することができる。
さらに、障害物に対する回避行動と他人に近付く行動とをベクトルで表し、これらのベクトルに重み係数を乗じて合成することによって行動ベクトルで表しているから、障害物の回避行動と他人に近付く行動とを行動ベクトルに反映させることができる。すなわち、障害物に近付くほど障害物を回避するベクトルに対する重み係数が大きくなるから、行動ベクトルは障害物を回避するように向きが設定され、一方、他人からの距離が遠いほど他人に近付く向きのベクトルに対する重み係数が大きくなるから、行動ベクトルは他人に短時間で接近するように設定されることになる。このように、バーチャルヒューマンが移動する向きを表す行動ベクトルを用いるだけで、最終位置に到達するという目標だけではなく、障害物の回避行動と他人に近付く行動とを実現することが可能になる。また、障害物との距離および他人との距離に閾値を設定し、障害物との距離が第1の閾値以内であるときに障害物を回避するという行動目標を起動し、他人との距離が第2の閾値以上であるときに他人に近付くという行動目標を起動するから、障害物との距離が第1の閾値以上では障害物の影響を受けず、また他人との距離が第2の閾値以内であればそれ以上は近付くことがないのであって、障害物や他人との距離に応じて適切な行動ルールが採用される。
According to this configuration, the virtual human performs an action according to the environmental condition detected by the sensor means, and further, the virtual human performs an action according to the environmental condition detected by the sensor means after a unit time. Since it repeats every unit time until the human reaches the final position, the behavior of the virtual human will be reviewed every unit time, even if the surrounding environment of the virtual human changes over time like a disaster The behavior of the virtual human can be corrected according to changes in the surrounding environment, and the virtual human in the virtual space can be made to act autonomously. That is, since the virtual human behaves autonomously so as to respond to changes in the surrounding environment, the human behavior in the real space can be accurately simulated by the virtual human. In addition, the type of action of the virtual human is determined according to the environmental conditions detected by the sensor means, and the action vector including the direction of the action is determined using the current position, final position, and environmental conditions of the virtual human. , If the behavior rule specifies avoiding when there is an obstacle on the route from the current position to the final position, or there are multiple virtual humans in the virtual space For example, if the behavior rules stipulate that you want to follow and act after catching up with other virtual humans, use an action vector that includes the direction of the action to avoid obstacles and follow other people. The behavior of virtual humans is defined by simple information of action types and action vectors. It is possible.
Furthermore, since the avoidance behavior for obstacles and the behavior approaching others are represented by vectors, and these vectors are represented by behavior vectors by multiplying them by weighting factors, the avoidance behavior for obstacles and the behavior approaching others are Can be reflected in the action vector. In other words, the closer to the obstacle, the greater the weighting factor for the vector that avoids the obstacle, so the direction of the action vector is set to avoid the obstacle, while the distance from the other person is closer to the other person. Since the weight coefficient for the vector becomes large, the action vector is set to approach another person in a short time. As described above, it is possible to realize not only the goal of reaching the final position but also the obstacle avoidance action and the action of approaching another person only by using the action vector representing the moving direction of the virtual human. In addition, a threshold is set for the distance to the obstacle and the distance to the other person, and when the distance to the obstacle is within the first threshold, an action target of avoiding the obstacle is started, and the distance to the other person is Since the action target of approaching another person is activated when it is equal to or greater than the second threshold value, the distance from the obstacle is not affected by the obstacle when the distance to the obstacle is equal to or greater than the first threshold value, and the distance from the other person is equal to the second threshold value. If it is within the range, no further approach is taken, and appropriate action rules are adopted according to the distance to the obstacles and others.
請求項2の発明では、請求項1の発明において、前記環境模擬手段が生成する仮想空間は三次元であって、仮想空間を二次元の仮想平面にマッピングするマッピング手段が付加され、前記行動決定手段はマッピング手段により得られる仮想平面内で行動ベクトルを決定することを特徴とする。 According to a second aspect of the present invention, in the first aspect of the invention, the virtual space generated by the environment simulation means is three-dimensional, and mapping means for mapping the virtual space to a two-dimensional virtual plane is added, and the action determination The means is characterized in that an action vector is determined in a virtual plane obtained by the mapping means.
この構成によれば、行動ベクトルの決定に関しては二次元の仮想平面内で処理を行っており、室内などでの人の移動は通常は二次元の平面内で行われるから、人の行動の模擬に十分な情報を用いながらも三次元の情報を用いて移動ベクトルを決定する場合に比較すると処理負荷が小さくなり、結果的に行動ベクトルの決定に要する時間が短くなる。すなわち、センサ手段による環境条件の検出から行動ベクトルの決定までの処理を実時間で行うことが可能になり、表示手段の画面上でバーチャルヒューマンを滑らかに行動させることが可能になる。 According to this configuration, the action vector is determined in a two-dimensional virtual plane, and the movement of a person in a room or the like is normally performed in a two-dimensional plane. Compared with the case where the movement vector is determined using three-dimensional information while using sufficient information, the processing load is reduced, and as a result, the time required for determining the action vector is shortened. That is, the processing from the detection of the environmental condition by the sensor means to the determination of the behavior vector can be performed in real time, and the virtual human can be smoothly acted on the screen of the display means.
請求項3の発明では、請求項1または請求項2の発明において、前記センサ手段は、バーチャルヒューマンの行動目標を規定する特定の環境条件を知覚する機能を少なくとも備え、前記行動決定手段は、センサ手段が前記環境条件の存在を検出したときに当該環境条件に対応する行動目標が達成されるまで他の行動を禁止することを特徴とする。 According to a third aspect of the present invention, in the first or second aspect of the present invention, the sensor means includes at least a function of perceiving a specific environmental condition that defines a behavioral goal of a virtual human, and the behavior determining means includes a sensor When the means detects the presence of the environmental condition, another action is prohibited until an action goal corresponding to the environmental condition is achieved.
この構成によれば、特定の環境条件が生じたときにバーチャルヒューマンの行動目標を規定することができ、最終位置に到達するという行動目標を他の行動目標に切り換えることが可能になる。たとえば、仮想空間において地震を模擬する場合であって、最終位置として避難口に到達することが通常の目標であるときに、バーチャルヒューマンの近傍に机が存在するという特定の環境条件のもとで、落下物を避けるために机の下に入る行動を行動目標として起動することが可能になる。この場合、机の下に入るという行動が完了するまでは避難口に移動するという行動は禁止される。なお、机の下に入るという行動が完了することによって、落下物を避けている間に地震が収まれば避難口に移動するという目標は不要になるから、センサ手段により地震が検出されなくなれば避難口に移動するという目標を解除することが可能である。あるいはまた、地震によって火災が生じるように環境シナリオが設定されている場合には、センサ手段による火災の検出により避難口に移動するという行動を再び起動すればよい。上述の動作から明らかなように、最終目標を達成するまでに中間目標を設定し、バーチャルヒューマンに中間目標を達成させた後に最終目標に近付くように行動させることが可能になる。 According to this configuration, the action target of the virtual human can be defined when a specific environmental condition occurs, and the action target of reaching the final position can be switched to another action target. For example, in the case of simulating an earthquake in virtual space, when it is a normal goal to reach the evacuation exit as the final position, under certain environmental conditions that there is a desk near the virtual human In order to avoid falling objects, it is possible to start the action of entering under the desk as an action target. In this case, the action of moving to the evacuation exit is prohibited until the action of entering under the desk is completed. By completing the action of entering under the desk, the goal of moving to the evacuation exit becomes unnecessary if the earthquake stops while avoiding falling objects, so if the earthquake is no longer detected by the sensor means, evacuation It is possible to cancel the goal of moving to the mouth. Alternatively, when an environmental scenario is set so that a fire is caused by an earthquake, the action of moving to the evacuation exit by detecting the fire by the sensor means may be activated again. As is apparent from the above-described operation, it is possible to set an intermediate target until the final goal is achieved, and allow the virtual human to act so as to approach the final target after achieving the intermediate target.
請求項4の発明では、請求項1または請求項2の発明において、前記環境模擬手段は、仮想空間内に火災時の環境を生成するとともに火災時における仮想空間内の煙の濃度分布の時間変化を模擬する機能を有し、前記センサ手段は煙濃度を検出する機能を有し、前記行動データベースは、バーチャルヒューマンの現在位置を中心とする規定の範囲内の煙濃度が規定の閾値以上になるという環境条件に対して煙濃度の低い方に移動するという行動を対応付けた行動ルールを格納していることを特徴とする。
In the invention of claim 4, in the invention of claim 1 or
この構成によれば、仮想空間において火災を模擬する場合に煙濃度の分布に着目し、バーチャルヒューマンの周囲の煙濃度が規定の閾値以上になったときには、煙濃度の低いほうに避難するように行動を規定しているから、火災時における煙を回避する行動を模擬することができる。 According to this configuration, when simulating a fire in a virtual space, pay attention to the smoke density distribution, and when the smoke density around the virtual human exceeds the specified threshold, evacuate to the lower smoke density. Since the behavior is defined, it is possible to simulate the behavior of avoiding smoke during a fire.
請求項5の発明では、請求項1または請求項2の発明において、前記環境模擬手段は、仮想空間内に地震時の環境を生成する機能を有し、前記センサ手段はバーチャルヒューマンの行動目標を規定する特定の環境条件として机を検出する機能を有し、前記行動データベースは、机の存在という環境条件に対して机の下に入るという行動を対応付けた行動ルールを格納しており、前記行動決定手段はセンサ手段が机の存在を検出したときに机の下に入るという行動目標が達成されるまで他の行動を禁止することを特徴とする。 According to a fifth aspect of the present invention, in the first or second aspect of the invention, the environment simulation means has a function of generating an environment at the time of an earthquake in a virtual space, and the sensor means determines a virtual human action target. It has a function of detecting a desk as a specific environmental condition to be defined, and the behavior database stores an action rule that associates an action of entering the desk with respect to the environmental condition of the presence of the desk, The behavior determining means is characterized in that when the sensor means detects the presence of the desk, other actions are prohibited until the behavior goal of entering under the desk is achieved.
この構成によれば、仮想空間において地震を模擬する場合であってバーチャルヒューマンの近傍に机が存在する場合には、落下物を避けるために机の下に入るように行動を規定しているから、地震時において落下物を回避する行動を模擬することができる。しかも、机の下に入るという行動が完了するまでは他の行動を禁止しているから、机の下に入る行動と他の行動とが競合することがなく、机の下に入るという行動が完了した後には、センサ手段で検出される環境条件に応じて避難口に移動するというような他の行動が可能になる。 According to this configuration, when an earthquake is simulated in a virtual space and there is a desk in the vicinity of the virtual human, the action is prescribed to enter under the desk to avoid falling objects. The behavior of avoiding falling objects during an earthquake can be simulated. In addition, other actions are prohibited until the action of entering under the desk is completed, so the action of entering under the desk does not conflict with other actions. After completion, other actions are possible, such as moving to an evacuation exit according to the environmental conditions detected by the sensor means.
請求項6の発明では、請求項1ないし請求項5の発明において、前記環境模擬手段により生成する仮想空間を編集する仮想空間エディタと、前記環境模擬手段により生成する仮想空間の環境シナリオを編集する環境シナリオエディタと、前記出力手段において表示手段に表示するバーチャルヒューマンの属性を編集するバーチャルヒューマンエディタと、前記行動データベースに格納する行動の種類および行動ルールを編集する行動エディタとを備えることを特徴とする。 According to a sixth aspect of the present invention, in the first to fifth aspects of the invention, a virtual space editor that edits a virtual space generated by the environment simulating means, and an environment scenario of a virtual space that is generated by the environment simulating means is edited. An environment scenario editor, a virtual human editor that edits virtual human attributes displayed on the display means in the output means, and an action editor that edits action types and action rules stored in the action database, To do.
この構成によれば、仮想空間と環境シナリオとを編集可能であるから、たとえばビル設計などの際に設計するビルを仮想空間としてユーザによる仮想空間の編集が可能であるとともに、火災や地震などビルにおいて想定される環境をユーザが仮想空間内に表現することができ、これらの環境下でのバーチャルヒューマンの行動を監視することによって、設計の改善などに用いることができる情報を得ることができる。また、バーチャルヒューマンの属性と行動ルールとを編集可能であるから、バーチャルヒューマンの属性として他のバーチャルヒューマンを誘導する誘導者としての属性を付与したり、逆に誘導者により誘導される被誘導者としての属性を付与したりすることによって、避難誘導の模擬を行った有り、避難行動の模擬を行ったりすることが可能になる。また、行動ルールについても、老人を想定して走ることを行動の種類に含まないようにするなど環境条件に応じて起動される行動の種類を制限あるいは強化したり、環境シナリオに応じて行動ベクトルの求め方を調節したりするなど、種々の条件での模擬が可能になる。 According to this configuration, since the virtual space and the environmental scenario can be edited, for example, a building designed for building design or the like can be used as a virtual space, and the user can edit the virtual space. The environment assumed in the above can be expressed in the virtual space by the user, and information that can be used to improve the design can be obtained by monitoring the behavior of the virtual human in these environments. In addition, since the virtual human attributes and action rules can be edited, the virtual human attributes are given as attributes that induce other virtual humans, or conversely, the induced person is guided by the inducer. Or the like, the evacuation guidance is simulated, and the evacuation behavior can be simulated. In addition, with regard to action rules, the type of action that is activated according to environmental conditions, such as not including the run assuming the elderly, is restricted or enhanced, or the action vector is set according to the environmental scenario. It is possible to simulate under various conditions such as adjusting the method of obtaining the value.
請求項7の発明では、請求項6の発明において、前記バーチャルヒューマンエディタは、環境模擬手段により生成する仮想空間に複数のバーチャルヒューマンを配置可能であって、バーチャルヒューマンの属性として他のバーチャルヒューマンの行動を誘導する誘導者を選択可能であることを特徴とする。 In the invention of claim 7, in the invention of claim 6 , the virtual human editor can arrange a plurality of virtual humans in a virtual space generated by the environment simulating means, and an attribute of another virtual human can be used as an attribute of the virtual human. It is possible to select a guider that induces an action.
この構成によれば、仮想空間に存在する複数のバーチャルヒューマンに誘導者としての属性を設定することによって、避難誘導などの模擬が可能になる。 According to this configuration, it is possible to simulate evacuation guidance and the like by setting attributes as a guider to a plurality of virtual humans existing in the virtual space.
本発明の構成によれば、センサ手段で検出した環境条件に応じた行動をバーチャルヒューマンが実行し、さらに単位時間後にセンサ手段で検出した環境条件に応じた行動をバーチャルヒューマンが実行するという動作を、バーチャルヒューマンが最終位置に到達するまで単位時間毎に繰り返すから、単位時間毎にバーチャルヒューマンの行動が見直されることになり、災害時のように時間経過に伴ってバーチャルヒューマンの周囲環境が変化する場合でも、周囲環境の変化に応じてバーチャルヒューマンの行動を修正することができ、仮想空間内のバーチャルヒューマンを自律的に行動させることができる。その結果、バーチャルヒューマンは周囲環境の変化に対応するように自律的に行動するから、バーチャルヒューマンによって実空間における人の行動を精度よく模擬することができるという利点がある。また、バーチャルヒューマンの行動の種類がセンサ手段により検出される環境条件に応じて決定され、バーチャルヒューマンの現在位置と最終位置と環境条件とを用いて行動の向きを含む行動ベクトルが決定されるから、バーチャルヒューマンが現在位置から最終位置に到達するまでの経路上に障害物が存在しているときに回避することを行動ルールとして規定している場合や、仮想空間内に複数のバーチャルヒューマンが存在しており他のバーチャルヒューマンに追い付くと追従して行動することを行動ルールを規定している場合などでは、障害物の回避行動や他人に対する追従行動などを、行動の向きを含む行動ベクトルを用いて簡単に表すことができ、行動の種類と行動ベクトルとの簡単な情報でバーチャルヒューマンの行動を規定することができるという効果がある。
さらに、障害物に対する回避行動と他人に近付く行動とをベクトルで表し、これらのベクトルに重み係数を乗じて合成することによって行動ベクトルで表しているから、障害物の回避行動と他人に近付く行動とを行動ベクトルに反映させることができる。すなわち、障害物に近付くほど障害物を回避するベクトルに対する重み係数が大きくなるから、行動ベクトルは障害物を回避するように向きが設定され、一方、他人からの距離が遠いほど他人に近付く向きのベクトルに対する重み係数が大きくなるから、行動ベクトルは他人に短時間で接近するように設定されることになる。このように、バーチャルヒューマンが移動する向きを表す行動ベクトルを用いるだけで、最終位置に到達するという目標だけではなく、障害物の回避行動と他人に近付く行動とを実現することが可能になる。また、障害物との距離および他人との距離に閾値を設定し、障害物との距離が第1の閾値以内であるときに障害物を回避するという行動目標を起動し、他人との距離が第2の閾値以上であるときに他人に近付くという行動目標を起動するから、障害物との距離が第1の閾値以上では障害物の影響を受けず、また他人との距離が第2の閾値以内であればそれ以上は近付くことがないのであって、障害物や他人との距離に応じて適切な行動ルールが採用される。
According to the configuration of the present invention, the virtual human performs an action according to the environmental condition detected by the sensor unit, and the virtual human performs an action according to the environmental condition detected by the sensor unit after a unit time. Because it repeats every unit time until the virtual human reaches the final position, the behavior of the virtual human will be reviewed every unit time, and the surrounding environment of the virtual human will change over time like a disaster Even in this case, the behavior of the virtual human can be corrected according to changes in the surrounding environment, and the virtual human in the virtual space can be made to act autonomously. As a result, since the virtual human behaves autonomously in response to changes in the surrounding environment, there is an advantage that the human behavior in the real space can be accurately simulated by the virtual human. In addition, the type of action of the virtual human is determined according to the environmental conditions detected by the sensor means, and the action vector including the direction of the action is determined using the current position, final position, and environmental conditions of the virtual human. , If the behavior rule specifies avoiding when there is an obstacle on the route from the current position to the final position, or there are multiple virtual humans in the virtual space For example, if the behavior rules stipulate that you want to follow and act after catching up with other virtual humans, use an action vector that includes the direction of the action to avoid obstacles and follow other people. The behavior of virtual humans is defined by simple information of action types and action vectors. That there is an effect that it is.
Furthermore, since the avoidance behavior for obstacles and the behavior approaching others are represented by vectors, and these vectors are represented by behavior vectors by multiplying them by weighting factors, the avoidance behavior for obstacles and the behavior approaching others are Can be reflected in the action vector. In other words, the closer to the obstacle, the greater the weighting factor for the vector that avoids the obstacle, so the direction of the action vector is set to avoid the obstacle, while the distance from the other person is closer to the other person. Since the weight coefficient for the vector becomes large, the action vector is set to approach another person in a short time. As described above, it is possible to realize not only the goal of reaching the final position but also the obstacle avoidance action and the action of approaching another person only by using the action vector representing the moving direction of the virtual human. In addition, a threshold is set for the distance to the obstacle and the distance to the other person, and when the distance to the obstacle is within the first threshold, an action target of avoiding the obstacle is started, and the distance to the other person is Since the action target of approaching another person is activated when it is equal to or greater than the second threshold value, the distance from the obstacle is not affected by the obstacle when the distance to the obstacle is equal to or greater than the first threshold value, and the distance from the other person is equal to the second threshold value. If it is within the range, no further approach is taken, and appropriate action rules are adopted according to the distance to the obstacles and others.
本実施形態は、コンピュータを主構成とするものであって、図1に示すように、三次元の仮想空間の環境をあらかじめ与えられた環境シナリオに従って生成する環境模擬手段11と、環境模擬手段11が生成した仮想空間内において行動するバーチャルヒューマンの感覚器としてのセンサ手段12と、バーチャルヒューマンが仮想空間において行動する間にセンサ手段12が検出する環境条件に応じてバーチャルヒューマンの行動の種類および行動の向きを含む行動ベクトルを決定する行動決定手段13と、行動決定手段13で決定した行動の種類および行動ベクトルに従う行動の実行をバーチャルヒューマンに指示する行動指示手段14とを備えた模擬装置1を設けてある。
The present embodiment is mainly composed of a computer. As shown in FIG. 1, an environment simulation unit 11 for generating a three-dimensional virtual space environment according to a predetermined environment scenario, and an environment simulation unit 11 The sensor means 12 as a sensory organ of a virtual human acting in the virtual space generated by the virtual human, and the type and behavior of the virtual human depending on the environmental conditions detected by the sensor means 12 while the virtual human acts in the virtual space The simulation apparatus 1 includes an
また、模擬装置1に設けた行動指示手段14から指示される行動を実行するバーチャルヒューマンを環境模擬手段11で生成した仮想空間とともに表示手段22の画面上に表示する出力手段21を備えた映像化装置2を設けてある。出力手段21は、使用者が選択した外観を有するバーチャルヒューマンに行動指示手段14から指示された行動のための動きを付与する機能を有している。バーチャルヒューマンの外観や動きに関するデータは、映像化装置2に設けたモーションデータベース23に格納されており、出力手段21は行動指示手段14から指示された行動に対応する動きに必要なデータをモーションデータベース23から取得することによって、バーチャルヒューマンを表示手段22に表示する。表示手段22は、画面上に動画像を表示することができるものであればよく、CRTや液晶表示器など周知のものを用いることができる。また、視差を利用して立体視を可能とする表示手段22を用いれば臨場感を高めることができ、半球状の凹面の画面を有し人の視野よりも広い範囲の画像を画面に表示する表示手段22を用いて立体視を行うようにすれば没入感が得られ臨場感を一層高めることができる。
In addition, the image forming apparatus includes an
模擬装置1について、さらに詳しく説明する。本実施形態は、主として火災、地震、洪水、交通渋滞などの異常状態における人の行動をバーチャルヒューマンによって模擬するものであり、環境模擬手段11が生成する仮想空間の環境をバーチャルヒューマンが検出することによって、バーチャルヒューマンが行動を自律的に決定する機能を模擬装置1によって実現している。このような環境化ではバーチャルヒューマンの行動の目的は、現在位置から目標位置まで短時間で移動すること、あるいは安全を確保することであるから、人の行動を模擬するための初期条件として、初期位置と最初の行動の種類と最初の行動の向きとが与えられている。また、通常は目標として到達すべき最終位置が設定されている。換言すれば、初期位置から最終位置に移動することが主目標になる。このような初期条件や最終位置は、キーボードやマウスを用いた入力手段を備える位置指定手段16により与えられる。 The simulation device 1 will be described in more detail. The present embodiment mainly simulates human behavior in an abnormal state such as a fire, an earthquake, a flood, and a traffic jam by a virtual human, and the virtual human detects the environment of the virtual space generated by the environment simulation means 11. Thus, the simulation device 1 realizes the function of the virtual human to determine the behavior autonomously. In such an environment, the purpose of virtual human behavior is to move from the current position to the target position in a short time, or to ensure safety, so as an initial condition for simulating human behavior, The position, the type of the first action and the direction of the first action are given. Usually, the final position that should be reached as a target is set. In other words, the main goal is to move from the initial position to the final position. Such initial conditions and final positions are given by the position specifying means 16 having an input means using a keyboard and a mouse.
環境模擬手段11は、三次元の仮想空間の場所や範囲を特定するほか、仮想空間に存在する物体の種類と位置とを規定し、さらに物体がバーチャルヒューマンの行動に及ぼす影響を考慮した物体の属性を規定する。また、異常状態においては時間経過に伴って環境が変化することが多いから、環境模擬手段11は環境の時間変化を環境シナリオに従って実現する機能も備えている。環境シナリオで想定する環境の時間変化には、たとえば火災時において生じるバーチャルヒューマンの周囲の煙濃度の分布の時間変化、地震時において家具が倒れるなどしてバーチャルヒューマンの行動経路における障害物の位置に生じる時間変化などを含む。環境シナリオは、模擬しようとする異常状態や場所に応じて適宜に設定される。 The environment simulation means 11 specifies the location and range of the three-dimensional virtual space, specifies the type and position of the object existing in the virtual space, and further considers the influence of the object on the behavior of the virtual human. Specify attributes. In an abnormal state, the environment often changes with the passage of time, so the environment simulating means 11 also has a function of realizing the time change of the environment according to the environment scenario. The environmental time changes assumed in the environmental scenario include, for example, the temporal change in the smoke density distribution around the virtual human that occurs during a fire, and the position of an obstacle in the virtual human's action path due to furniture falling over during an earthquake. Including time changes that occur. The environmental scenario is appropriately set according to the abnormal state or place to be simulated.
上述したように、バーチャルヒューマンの行動範囲である仮想空間の環境はバーチャルヒューマンが行動しなくとも時間経過に伴って変化する場合があり、またバーチャルヒューマンが仮想空間内を移動すれば物体との距離のようにバーチャルヒューマンの行動に影響する条件が変化する。このように、仮想空間においてバーチャルヒューマンの行動を変化させる条件を、環境シナリオにより生成される環境であるかバーチャルヒューマンの行動に伴って生成される環境であるかにかかわらず、以下では環境条件と呼ぶ。 As described above, the environment of the virtual space that is the range of action of the virtual human may change over time even if the virtual human does not act, and if the virtual human moves in the virtual space, the distance from the object The conditions that affect the behavior of virtual humans change. In this way, the conditions for changing the behavior of the virtual human in the virtual space, regardless of whether the environment is generated by the environmental scenario or the environment generated by the virtual human behavior, are as follows: Call.
環境模擬手段11で生成される仮想空間に含まれる物体は、オブジェクト名とオブジェクト名に付随する属性とによって表される。オブジェクト名により表されるノードには、親子関係で階層化された複合ノードと、階層化されていない孤立ノードとがある。複合ノードにおける階層化とは、たとえば「キッチン」を親ノードに持ち、「ドア」「収納棚」「流し台」などを子ノードに持つような場合を意味する。つまり、親ノードは部屋や場所のような空間の名称をオブジェクト名とし、親ノードの属性には子ノードのオブジェクト名が対応付けられる。また、子ノードは親ノードのオブジェクト名で表される空間に存在する設備や道具のような物体の名称をオブジェクト名とする。このように、ノードを階層化することによって、バーチャルヒューマンの存在場所を親ノードのオブジェクト名で表すだけで、どのような物体が周囲に存在しているかを認識することが可能になり、環境条件の設定が容易になる。 An object included in the virtual space generated by the environment simulation unit 11 is represented by an object name and an attribute attached to the object name. The nodes represented by the object names include composite nodes that are hierarchized in a parent-child relationship and isolated nodes that are not hierarchized. Hierarchization in a composite node means, for example, a case where “kitchen” is a parent node and “door”, “storage shelf”, “sink” is a child node. That is, the parent node uses the name of a space such as a room or place as an object name, and the attribute of the parent node is associated with the object name of the child node. The child node uses the name of an object such as a facility or tool existing in the space represented by the object name of the parent node as the object name. In this way, by layering nodes, it is possible to recognize what kind of objects exist around by simply representing the location of the virtual human by the object name of the parent node, and environmental conditions. Easy to set up.
子ノードおよび孤立ノードの属性は、オブジェクト名で表される個々の物体の位置、占有領域(サイズ)、物体の向きを少なくとも含む。孤立ノードおよび子ノードの属性である位置は、オブジェクト名により表される物体の代表点の位置を表す。位置については三次元の位置情報を保有しており、たとえば(X,Y,Z)の三次元座標で表される。後述するように、バーチャルヒューマンは通常は高さ情報(Z)を認識せず、移動の際にはXY平面である仮想平面に関する情報を用いる。また、物体の占有領域は二次元の仮想平面における矩形領域で表され、仮想平面に沿った互いに直交する二方向(X方向とY方向)の寸法で表される。ここに、椅子などは人が持ち上げて移動させることがあり、大型の什器などは転倒することがあるから、椅子や什器の移動ないし転倒を伴うような環境を模擬する場合には、物体の向きや高さ情報を用い物体の占有領域を変化させることにより、物体の移動や転倒に伴う環境の変化を仮想空間に折り込むことが可能になっている。 The attributes of the child node and the isolated node include at least the position of each object represented by the object name, the occupied area (size), and the direction of the object. The position that is the attribute of the isolated node and the child node represents the position of the representative point of the object represented by the object name. The position has three-dimensional position information, and is represented by, for example, three-dimensional coordinates (X, Y, Z). As will be described later, the virtual human normally does not recognize the height information (Z), and uses information related to the virtual plane which is the XY plane when moving. The occupied area of the object is represented by a rectangular area in a two-dimensional virtual plane, and is represented by dimensions in two directions (X direction and Y direction) perpendicular to each other along the virtual plane. Here, a chair may be lifted and moved by a person, and a large fixture may fall, so when simulating an environment that involves the movement or fall of a chair or fixture, the orientation of the object By changing the occupancy area of the object using the height information, it is possible to fold the change in the environment accompanying the movement or the fall of the object into the virtual space.
しかして、上述した環境条件を知覚するために、模擬装置1にはセンサ手段12が設けられている。センサ手段12は、人の複数種類の感覚をそれぞれ模擬することができるように複数種類のセンサ12a,12b,……を備え、各センサ12a,12b,……は知覚結果をそれぞれ感覚データとして出力する。センサ12a,12b,……の種類は対象とする環境に応じて設定される。したがって、センサ手段12が出力する環境条件は複数個の感覚データの組になる。センサ手段12での環境条件の検出は単位時間(たとえば、1秒)毎に行われる。各センサ12a,12b,……で得られる感覚データの具体例は後述する。 Therefore, in order to perceive the environmental conditions described above, the simulation apparatus 1 is provided with sensor means 12. The sensor means 12 includes a plurality of types of sensors 12a, 12b,... So that a plurality of types of human sensations can be simulated, and each sensor 12a, 12b,. To do. The types of sensors 12a, 12b,... Are set according to the target environment. Therefore, the environmental condition output by the sensor means 12 is a set of a plurality of sensory data. Detection of the environmental condition by the sensor means 12 is performed every unit time (for example, 1 second). Specific examples of sensory data obtained by the sensors 12a, 12b,... Will be described later.
センサ手段12で検出された環境条件は行動決定手段13に与えられ、行動決定手段13は環境条件を行動データベース15に照合することによって行動の種類を決定する。すなわち、行動データベース15には、環境模擬手段11で生成された仮想空間においてバーチャルヒューマンに可能な複数種類の行動と、各行動を起動する環境条件とを対応付けた行動ルールが格納されており、行動決定手段13では、センサ手段12から環境条件が与えられると行動データベース15の行動ルールに照合して行動の種類を決定する。行動決定手段13は、センサ手段12から与えられた環境条件に対してバーチャルヒューマンが初期位置から最終位置までの移動に対して優先的に達成すべき行動目標が生じるか否かを検出する行動目標検出部13aと、センサ手段12から与えられた環境条件に対してバーチャルヒューマンが行動する向きを含む行動ベクトルを決定する行動演算部13bとを備える。行動目標検出部13aが検出する行動目標と、行動演算部13bにおいて演算される行動ベクトルとについては後述する。
The environmental condition detected by the sensor means 12 is given to the
行動決定手段13では、単位時間毎にセンサ手段12で検出される環境条件を行動目標検出部13aが行動データベース15に照合しても行動目標が検出されなければ行動の種類を変更せずに行動演算部13bで行動ベクトルの演算のみを行う。また、センサ手段12からの環境条件を行動データベース15に照合したときに最終位置に達成するまでに優先的に行うべき行動目標が検出されたときには、当該行動目標を達成するように行動データベース15の照合結果により行動の種類を決定し、行動演算部13bでは当該行動に対して行動ベクトルの演算を行う。初期位置から最終位置に到達することを主目標とするとき、主目標に優先して達成する目標は中間目標ということができる。行動決定手段13では、行動目標検出部13aにおいて中間目標の達成が要求されると、中間目標が達成されるまでは他の行動を禁止するようにしてある。たとえば、地震を想定する場合であって、バーチャルヒューマンの存在する室内に机が存在しているときには、落下物を避けるために机の下に入ることを中間目標(行動目標)とすることができる。この場合、地震の環境シナリオにおいて、バーチャルヒューマンが室内に存在し、かつ当該室内に下に人の入ることのできる机が存在しているという環境条件があるときに、机の下に入るという行動目標が起動される。
In the action determination means 13, if the action target is not detected even if the action target detection unit 13a collates the environmental conditions detected by the sensor means 12 every unit time with the action database 15, the action type is not changed and the action is not changed. Only the behavior vector is calculated by the
ところで、行動演算部13bでは、センサ12a,12b,……から得られた感覚データを参考に用いて、バーチャルヒューマンの移動の向きおよび速度を決めるベクトルを加算(合成)することで行動ベクトルを求める。すなわち、センサ12a,12b,……から得られる感覚データに基づいて重み係数を決定し、センサ12a,12b,……が検出する環境にそれぞれ関係付けて規定される複数のベクトルにそれぞれ重み係数を乗じて加算することにより、行動ベクトルを決定するようになっている。行動ベクトルを求めるためのベクトルはセンサ12a,12b,……で検出する環境に関係しているから、これらのベクトルについてはセンサ12a,12b,……の種類とともに後述する。
By the way, the
上述のようにして行動決定手段13において行動の種類と行動ベクトルとが決定されると、行動指示手段14は行動の種類と行動ベクトルとを用いてバーチャルヒューマンに対して行動を指示する。たとえば、行動指示手段14では、行動の種類を関数名とし、行動ベクトルをパラメータとする関数を設定し、行動ベクトルで指定された向きおよび速度で関数名に対応する行動をバーチャルヒューマンに行わせる。ここに、移動のための関数名としては、「歩く」と「走る」との2種類を選択可能としてあり、「歩く」と「走る」とは速度の相違のみではなく、表示手段22に表示するバーチャルヒューマンの形態を変化させるための情報として用いられる。すなわち、「歩く」姿勢で「走る」のは不自然であるから、「走る」ときには出力手段21においてモーションデータベース23から「走る」姿勢が抽出される。ここに、「歩く」か「走る」かは速度の情報を含むから、行動演算部13bで求めた行動ベクトルの大きさに応じて選択する。
When the action type and the action vector are determined by the
行動決定手段13において行動の種類および行動ベクトルが決定され、バーチャルヒューマンに対して行動指示手段14が行動の内容を指示することによってバーチャルヒューマンが行動を実行すると、センサ12a,12b,……が検出する環境に変化が生じる。 When the action determination means 13 determines the action type and action vector, and the action instruction means 14 instructs the contents of the action to the virtual human, and the virtual human executes the action, the sensors 12a, 12b,... Changes in the environment.
たとえば、バーチャルヒューマンの行動する室内に簡単には動かすことのできない机が存在しており、バーチャルヒューマンが初期位置から最終位置に向かって直進しようとすると机が障害物となるような場合に、机に接近するまでは最終位置に向かって直進すればよいが、机の近傍では障害物である机を避けるように移動する向きを変更しなければならない。そこで、センサ手段12に設けるセンサ12aでは机のような障害物を検出するものが必要になる。いま、センサ12aがバーチャルヒューマンの現在位置から障害物までの距離を検出するものとする。行動目標検出部13aではセンサ12aで検出する距離に閾値が規定され、センサ12aで検出する距離が閾値以内である場合には、行動を起動する環境条件が存在すると判断し、センサ12aで検出した距離に対応付けた重み係数を用いて行動ベクトルの演算を行わせる。ただし、センサ12aで検出した距離が閾値を越える場合には、センサ12aの出力は行動ベクトルの演算に対しては無効になる。すなわち、図2(a)に示すように、距離について閾値Th1が設定され、距離が閾値Th1以内であるときには距離が小さくなるほど大きくなる重み係数w1(0≦w1≦1)を設定する。距離が閾値Th1を越える範囲では重み係数w1は0であって、障害物までの距離が遠いときには障害物までの距離はバーチャルヒューマンが移動する向きとは無関係になる。閾値Th1は重み係数w1が0.6〜0.8の範囲で選択できる距離に設定される。 For example, if there is a desk that cannot be moved easily in the room where the virtual human acts, and the virtual human tries to go straight from the initial position to the final position, the desk becomes an obstacle. It is only necessary to go straight to the final position until it approaches, but in the vicinity of the desk, the direction of movement must be changed so as to avoid the desk that is an obstacle. Therefore, the sensor 12a provided in the sensor means 12 needs to detect an obstacle such as a desk. It is assumed that the sensor 12a detects the distance from the current position of the virtual human to the obstacle. In the behavior target detection unit 13a, a threshold is defined for the distance detected by the sensor 12a. When the distance detected by the sensor 12a is within the threshold, it is determined that there is an environmental condition for starting the behavior, and the detection is performed by the sensor 12a. An action vector is calculated using a weighting factor associated with the distance. However, when the distance detected by the sensor 12a exceeds the threshold, the output of the sensor 12a is invalid for the calculation of the action vector. That is, as shown in FIG. 2A, a threshold value Th1 is set for the distance, and when the distance is within the threshold value Th1, a weighting factor w1 (0 ≦ w1 ≦ 1) that increases as the distance decreases is set. In the range where the distance exceeds the threshold Th1, the weighting factor w1 is 0. When the distance to the obstacle is far, the distance to the obstacle is independent of the direction in which the virtual human moves. The threshold Th1 is set to a distance that allows the weighting factor w1 to be selected in the range of 0.6 to 0.8.
また、災害などの避難行動では近くに他人がいるときには他人に追従して避難することが多いから、センサ手段12には他人の存否を検出するセンサ12bも必要である。センサ12bは、互いに他のバーチャルヒューマンまでの距離を検出する機能を有する。また、仮想空間内に3以上のバーチャルヒューマンが存在するときには、もっとも近いバーチャルヒューマンまでの距離を採用する。距離には閾値が設定されており、センサ12bで検出する距離が閾値以上である場合には、行動を起動する環境条件が存在すると判断し、センサ12bで検出した距離に対応付けた重み係数を用いて行動ベクトルの演算を行わせる。ただし、センサ12bで検出した距離が閾値より小さい場合は、センサ12bの出力は行動ベクトルの演算に対しては無効になる。すなわち、図2(b)に示すように、距離について閾値Th2が設定され、距離が閾値Th2以上であるときには距離が大きくなるほど大きくなる重み係数w2(0≦w2≦1)を設定する。距離が閾値Th2より小さい範囲では重み係数w2は0であって、他のバーチャルヒューマンまでの距離が近いときには他のバーチャルヒューマンとの距離はバーチャルヒューマンが移動する向きとは無関係になる。ただし、閾値Th2よりも距離が近いときには、隣接するバーチャルヒューマンのうちで最終位置にもっとも近いバーチャルヒューマンに追従して移動するという行動ルールが採用される。閾値Th2は重み係数w2が0.1〜0.3の範囲で選択できる距離に設定される。 Further, in evacuation behavior such as a disaster, when there are other people nearby, the sensor means 12 often needs a sensor 12b for detecting the existence of others. The sensor 12b has a function of detecting the distance to each other virtual human. When there are three or more virtual humans in the virtual space, the distance to the closest virtual human is adopted. A threshold is set for the distance. If the distance detected by the sensor 12b is equal to or greater than the threshold, it is determined that there is an environmental condition for starting the action, and a weighting factor associated with the distance detected by the sensor 12b is set. To calculate the action vector. However, when the distance detected by the sensor 12b is smaller than the threshold value, the output of the sensor 12b becomes invalid for the calculation of the action vector. That is, as shown in FIG. 2B, a threshold value Th2 is set for the distance, and when the distance is greater than or equal to the threshold value Th2, a weighting factor w2 (0 ≦ w2 ≦ 1) that increases as the distance increases is set. In the range where the distance is smaller than the threshold Th2, the weighting factor w2 is 0, and when the distance to the other virtual human is short, the distance to the other virtual human is irrelevant to the direction in which the virtual human moves. However, when the distance is closer than the threshold value Th2, an action rule is adopted in which the virtual human moves closest to the final position among the adjacent virtual humans. The threshold Th2 is set to a distance that can be selected in the range where the weight coefficient w2 is 0.1 to 0.3.
ところで、火災時の環境を模擬する場合を想定すると煙濃度もバーチャルヒューマンの行動に影響を与える。センサ手段12に煙濃度を検出するセンサ12cを設ける場合には、図3に示すようにバーチャルヒューマンが移動する仮想平面内において、バーチャルヒューマンの現在位置P1を中心とする適宜形状(図示例では正方形)の近傍領域DAを設定し、さらに近傍領域DAを複数個(図示例では9個)の単位領域D11〜D13,D21〜D23,D31〜D33に分割する。一般に仮想空間での位置は直交座標系を用いて表すから、図示例では処理を単純化するために単位領域D11〜D13,D21〜D23,D31〜D33の形状として正方形を採用している。ただし、1つの単位領域D11〜D13,D21〜D23,D31〜D33の大きさや形状は模擬する環境に応じて適宜に設定することができる。 By the way, assuming the case of simulating the environment at the time of fire, the smoke density also affects the behavior of the virtual human. When the sensor unit 12 is provided with the sensor 12c for detecting the smoke density, as shown in FIG. 3, an appropriate shape centered on the current position P1 of the virtual human (in the illustrated example, a square) ) And the neighborhood area DA is further divided into a plurality (9 in the illustrated example) of unit areas D11 to D13, D21 to D23, and D31 to D33. Since the position in the virtual space is generally expressed using an orthogonal coordinate system, in the illustrated example, squares are adopted as the shapes of the unit areas D11 to D13, D21 to D23, and D31 to D33 in order to simplify the processing. However, the size and shape of one unit region D11-D13, D21-D23, D31-D33 can be appropriately set according to the environment to be simulated.
センサ12cでは煙濃度を各単位領域D11〜D13,D21〜D23,D31〜D33ごとに検出する。すべての単位領域D11〜D13,D21〜D23,D31〜D33の煙濃度が規定した閾値以下であれば現在位置P1からすべての向きに移動可能であり、単位領域D11〜D13,D21〜D23,D31〜D33のうちのいずれかの煙濃度が閾値を越えるときには煙濃度が最小である向きに移動可能になる。このような煙濃度に対する行動ルールは行動データベースに格納されており、行動目標検出部13aにおいて、単位領域D11〜D13,D21〜D23,D31〜D33のうちのいずれか1つでも煙濃度が閾値を越えていると判断したときには、上述のようにして煙濃度の分布により決まる移動向きのベクトルを大きくするように重み係数w3が1に設定され、いずれも煙濃度が閾値以下であると判断したときには重み係数w3が0に設定される。ここでは、重み係数w3として0と1との2値を採用しているが、重み係数w3を煙濃度に応じて変化させてもよい。 The sensor 12c detects the smoke density for each of the unit areas D11 to D13, D21 to D23, and D31 to D33. If the smoke density of all the unit areas D11 to D13, D21 to D23, D31 to D33 is equal to or less than the prescribed threshold, the unit areas D11 to D13, D21 to D23, D31 can be moved in all directions from the current position P1. When the smoke density of any one of -D33 exceeds the threshold value, the smoke density can be moved in the minimum direction. Such behavior rules for the smoke density are stored in the behavior database, and the smoke density has a threshold value in any one of the unit areas D11 to D13, D21 to D23, and D31 to D33 in the behavior target detection unit 13a. When it is determined that it exceeds, the weighting factor w3 is set to 1 so as to increase the moving direction vector determined by the smoke concentration distribution as described above. The weight coefficient w3 is set to 0. Here, binary values of 0 and 1 are adopted as the weighting factor w3, but the weighting factor w3 may be changed according to the smoke density.
障害物までの距離に関する閾値Th1、他のバーチャルヒューマンまでの距離に関する閾値Th2、煙濃度に関する閾値はいずれも行動ルールの切換点であり、閾値Th1は障害物を回避するという行動目標の行動ルールを起動する切換点、閾値Th2は他のバーチャルヒューマンに近付くという行動目標の行動ルールを起動する切換点、煙濃度に対する閾値は煙から逃れるという行動目標の行動ルールを起動する切換点になる。たとえば、閾値Th2よりも距離が大きい区間は、他のバーチャルヒューマンに近付くという行動ルールが採用されるが、距離が閾値Th2以下である区間は、他のバーチャルヒューマンに追従するという行動ルールが採用され、区間に応じて異なる行動ルールが採用される。つまり、他のバーチャルヒューマンに追従するという行動ルールが採用されるときには、他のバーチャルヒューマンに近付くという行動ルールに対するベクトルは0になるが、他のバーチャルヒューマンに追従するという行動ルールでのベクトルは0ではなく、他のバーチャルヒューマンと同じ行動ベクトルになる。 The threshold Th1 related to the distance to the obstacle, the threshold Th2 related to the distance to other virtual humans, and the threshold related to the smoke density are all action rule switching points, and the threshold Th1 is the action rule of the action target of avoiding the obstacle. The switching point to be activated, the threshold value Th2, is a switching point for activating an action rule for an action target to approach another virtual human, and the threshold value for smoke density is a switching point for activating the action rule for an action target to escape from smoke. For example, an action rule of approaching another virtual human is adopted in a section having a distance larger than the threshold Th2, but an action rule of following another virtual human is adopted in a section having a distance equal to or less than the threshold Th2. Different action rules are adopted depending on the section. That is, when an action rule that follows another virtual human is adopted, the vector for the action rule that approaches another virtual human is 0, but the vector in the action rule that follows another virtual human is 0. Instead, it becomes the same action vector as other virtual humans.
いま、障害物を回避する向きのベクトルをV1、他のバーチャルヒューマンに近付く向きのベクトルをV2、煙濃度の分布により決まるベクトルをV3として、これらのベクトルV1〜V3を用いてバーチャルヒューマンの行動ベクトルVを決定するものとすれば、行動演算部13bではベクトルV1〜V3を以下の演算式によって合成する。
V=w1・V1+w2・V2+w3・V3
このような行動ベクトルVを用いてバーチャルヒューマンの移動の向きおよび速度を規定することにより、障害物を回避し、他のバーチャルヒューマンに追従し、煙から逃れるという条件を満たすようにバーチャルヒューマンの行動を決定することができる。
Now, let V1 be a vector for avoiding obstacles, V2 be a vector approaching other virtual humans, V3 be a vector determined by the smoke density distribution, and use these vectors V1 to V3 to make a virtual human action vector. If V is to be determined, the
V = w1, V1 + w2, V2 + w3, V3
By defining the direction and speed of the movement of the virtual human using such an action vector V, the behavior of the virtual human can be satisfied so as to avoid obstacles, follow other virtual humans, and escape from smoke. Can be determined.
なお、上述した行動ベクトルVを二次元の仮想平面内で決定できるから、上述した3条件のみでバーチャルヒューマンの行動を決定する場合には、バーチャルヒューマンが行動する三次元の仮想空間のうちバーチャルヒューマンが行動する二次元の仮想平面の情報のみを抽出するマッピング手段17を設けてあり、マッピング手段17により得られる仮想平面で行動ベクトルVを決定する。このような処理によって、三次元の仮想空間を用いて上述の演算を行う場合に比較すると計算量を大幅に低減することができ、実時間で行動ベクトルを決定することができる。 Since the above-described action vector V can be determined in a two-dimensional virtual plane, when the action of the virtual human is determined only by the above three conditions, the virtual human in the three-dimensional virtual space in which the virtual human behaves is determined. Mapping means 17 for extracting only information of a two-dimensional virtual plane on which the person acts is provided, and the action vector V is determined on the virtual plane obtained by the mapping means 17. By such processing, the amount of calculation can be greatly reduced as compared with the case where the above-described calculation is performed using a three-dimensional virtual space, and an action vector can be determined in real time.
上述のようにして行動の種類(火災時には基本的には「走る」と「歩く」との2種類の行動が選択される)と行動ベクトルとを決定し、行動指示手段14を通してバーチャルヒューマンに行動を指示すると、バーチャルヒューマンは行動ベクトルにより指示された向きに指示された速度で移動する。本発明は、単位時間ごとにセンサ手段12が環境条件を検出しているから、バーチャルヒューマンはセンサ手段12が検出した環境条件により決定された行動を単位時間だけ行い、行動の後に、センサ手段12が再び検出した環境条件により決定された行動を単位時間だけ行うという動作を繰り返す。すなわち、単位時間毎に環境条件の検出と行動とを繰り返すのであって、環境シナリオあるいはバーチャルヒューマンの行動を原因としてセンサ手段12により検出される環境条件が変化すれば、環境条件の変化に対応するように行動を変化させることができる。このような、環境条件の知覚と知覚した環境条件に応じた行動の修正という行為は、人が実際に行動する際の脳での処理を高い精度で模擬しており、仮想空間でのバーチャルヒューマンの行動によって実空間での人の行動を正確に模擬することが可能になる。 As described above, the type of action (two types of action, “running” and “walking” are basically selected in the event of a fire) and the action vector are determined, and the action is given to the virtual human through the action instruction means 14. , The virtual human moves at the speed indicated in the direction indicated by the action vector. In the present invention, since the sensor means 12 detects the environmental condition every unit time, the virtual human performs the action determined by the environmental condition detected by the sensor means 12 for the unit time, and after the action, the sensor means 12 The operation of performing the action determined by the environmental condition detected again for a unit time is repeated. That is, the detection of the environmental condition and the action are repeated every unit time, and if the environmental condition detected by the sensor means 12 changes due to the environmental scenario or the action of the virtual human, it corresponds to the change of the environmental condition. Can change the behavior. Such actions of perception of environmental conditions and modification of behavior according to perceived environmental conditions simulate the processing in the brain when humans actually act with high accuracy, and virtual humans in virtual space This makes it possible to accurately simulate human behavior in real space.
上述の例では火災時の行動を模擬する場合を想定して説明したが、本発明は、火災以外にも地震、洪水、交通渋滞などの異常状態での人の行動を模擬することが可能であって、たとえば地震に際しては、家具が倒れるなどして障害物の位置が変化したり、あるいは火災時には避難経路における障害物となる机を避難場所に利用したりすることが可能になる。また、机の下を避難場所にできるのは室内だけであって、自動車内などでは机が存在しないから室内とは異なる行動ルールを適用することが必要になる。室内か自動車内かの相違は環境シナリオによって決まるから、この相違は環境シナリオに応じた行動ルールのセットを行動データベース15に設定しておくことで対応する。したがって、地震を模擬する場合には、センサ手段12に設けるセンサ12a,12b,……として、設置されている家具だけではなく転倒した家具などを避けるべき障害物として検出できるもの、下に入ることができる机の存在を検出するもの、火災時と同様に他のバーチャルヒューマンの存在を検出するものなどが必要になる。また、地震時には、「ガス栓を止める」、「ブレーカを落とす」というような行動が必要になる場合があるから、この種の行動の対象物の存在を検出することが必要になる場合もある。さらに、地震時には火災も生じることが多いから、火災時と同様に煙濃度の分布を検出することも必要になることがある。 In the above example, the case where the behavior at the time of a fire is simulated has been described. However, the present invention can simulate the behavior of a person in an abnormal state such as an earthquake, a flood, and a traffic jam in addition to a fire. Thus, for example, in the event of an earthquake, the position of an obstacle can be changed due to furniture falling down, or a desk that becomes an obstacle in the evacuation route can be used as an evacuation site in the event of a fire. In addition, since it is only indoors that can be used as an evacuation area under the desk, there is no desk in an automobile or the like, so it is necessary to apply behavior rules different from those in the room. Since the difference between indoors and cars is determined by the environmental scenario, this difference is dealt with by setting a set of action rules corresponding to the environmental scenario in the action database 15. Therefore, when simulating an earthquake, the sensors 12a, 12b,... Provided in the sensor means 12 can be detected as obstacles to avoid not only installed furniture but also fallen furniture, etc. It is necessary to have something that detects the presence of desks that can be used, and something that detects the presence of other virtual humans as well as in the event of a fire. Also, during an earthquake, actions such as “stop the gas tap” and “drop the breaker” may be required, so it may be necessary to detect the presence of an object of this type of action. . Furthermore, since fires often occur during an earthquake, it may be necessary to detect the smoke concentration distribution as in the case of a fire.
いま、地震時において「机の下に入る」という行動ルールが規定されており、下に入ることのできる机が室内に存在するか否かをセンサ手段12により探索し、存在が検出され、かつ環境シナリオにより設定された地震の震度が閾値以上であることがセンサ手段12により検出されると、行動目標検出部13aがこの行動ルールを起動する(発火させる)ものとする。この行動ルールが起動された場合には、行動目標は「机の下に入る」ことであるから、「机の下に入る」という行動目標が達成されるまでは他の種類の行動は起動されず、机に近付くように行動ベクトルが設定される。「机の下に入る」という行動目標は、机の下に入った状態で地震の振動がなくなれば完了する。行動目標の完了後には通常の行動に戻り、バーチャルヒューマンが最終位置に移動できるように行動ベクトルが生成される。 Now, an action rule of “entering under the desk” is defined in the event of an earthquake, and the sensor means 12 searches whether there is a desk that can enter under the room, and the presence is detected, and When the sensor means 12 detects that the seismic intensity of the earthquake set by the environmental scenario is equal to or greater than the threshold, the behavior target detection unit 13a activates (ignites) this behavior rule. When this action rule is activated, the action target is “enter under the desk”, so other types of actions are activated until the action target “enter under the desk” is achieved. First, an action vector is set so as to approach the desk. The goal of “entering under the desk” is completed when there is no earthquake vibration in the state under the desk. After the completion of the action target, the action vector is generated so that the action returns to the normal action and the virtual human can move to the final position.
地震時には、転倒した家具や落下物が障害物になることがあるが、これらの障害物は既知ではなく地震が発生することによって生じるものである。したがって、これらの障害物の位置に関する知識をバーチャルヒューマンがあらかじめ持つことはできず、障害物が生じてから知覚することになる。そこで、この種の障害物を検出するセンサは、通常の障害物を検出するセンサ12aに比較すると行動ルールの切換点となる距離を小さくしてある。つまり、実空間において人がこの種の障害物を認識するのは障害物に近付いてからであるから、通常の障害物を認識する場合よりも近い距離をこの種の障害物に対する行動ルールの切換点に設定しているのである。 In the event of an earthquake, fallen furniture and falling objects may become obstacles, but these obstacles are not known and are caused by the occurrence of an earthquake. Therefore, the virtual human cannot have knowledge about the position of these obstacles in advance, and is perceived after the obstacle occurs. In view of this, a sensor that detects this type of obstacle has a smaller distance that serves as a switching point of the action rule than the sensor 12a that detects a normal obstacle. In other words, since a person recognizes this kind of obstacle in real space only after approaching the obstacle, the switching of action rules for this kind of obstacle is performed at a shorter distance than when a normal obstacle is recognized. It is set to a point.
なお、環境模擬手段11が生成する環境はバーチャルヒューマンが知識として保有しており、バーチャルヒューマンは現在位置に対する相対的な環境(距離など)をセンサ手段12によって知覚するようにしてある。また、煙濃度のように仮想空間内で時間変化する環境については、模擬する時間範囲で仮想空間内の各場所ごとの単位時間毎の環境があらかじめ演算されており、演算済のデータからバーチャルヒューマンの現在位置に応じた領域のデータがセンサ手段12により抽出されることになる。 The environment generated by the environment simulating means 11 is held by the virtual human as knowledge, and the virtual human perceives the environment (distance etc.) relative to the current position by the sensor means 12. In addition, for environments that change over time in the virtual space, such as smoke density, the environment for each unit time for each location in the virtual space is calculated in advance within the simulated time range, and virtual humans are calculated from the calculated data. The data of the area corresponding to the current position is extracted by the sensor means 12.
模擬装置1において模擬する環境や行動を使用者が設定できるように、模擬装置1にはユーザインタフェース3が接続される。ユーザインターフェース3には、環境模擬手段11が生成する仮想空間の作成および編集を可能とする仮想空間エディタ31および環境模擬手段11に設定する環境シナリオの作成および編集を可能とする環境シナリオエディタ32が設けられる。仮想空間や環境シナリオは、別途のアプリケーション30から提供してもよく、たとえば、インターネットのウェブサイトで提供されている仮想空間のデータを流用することも可能である。また、バーチャルヒューマンの属性であるセンサ手段12の機能はセンサエディタ33により選択および編集が可能であり、バーチャルヒューマンの属性であるモーションデータベース23の内容はモーションエディタ34によって作成および編集が可能になっている。すなわち、センサエディタ33およびモーションエディタ34は、バーチャルヒューマンエディタ(図示せず)の一部を構成する。バーチャルヒューマンエディタは、仮想空間に複数のバーチャルヒューマンを配置する機能も備え、複数のバーチャルヒューマンを配置した場合には、各バーチャルヒューマンごとに属性を付与することができる。バーチャルヒューマンの属性としては、他のバーチャルヒューマンの行動を誘導する誘導者を選択することができる。ここに、誘導者は、仮想空間において他のバーチャルヒューマンに行動経路を指示する役割を持ち、他のバーチャルヒューマンは誘導者からの指示があれば、他の行動に優先して指示された行動を行う。また、バーチャルヒューマンエディタでは、複数のバーチャルヒューマンを仮想空間に配置したときには、着目するバーチャルヒューマンを特定する機能、複数のバーチャルヒューマンが接近したときに他のバーチャルヒューマンに追従するか他のバーチャルヒューマンを従えるかを選択する機能も備える。さらに、ユーザインターフェース3には、行動データベース15における行動の種類および行動ルールの作成と編集とを行うための行動エディタ35が設けられる。
A user interface 3 is connected to the simulation apparatus 1 so that the user can set the environment and behavior to be simulated in the simulation apparatus 1. The user interface 3 includes a
上述のように模擬装置1および映像化装置2の各部について、外部からデータを与えたりデータを編集したりすることが可能であるから、模擬装置1と映像化装置2とユーザインターフェース3とを実現するプログラムを提供し、仮想空間、環境シナリオ、行動の種類および行動ルール、バーチャルヒューマンの属性を使用者自身に設定させるようにしてもよい。たとえば、建築会社において火災時の避難経路が確保されているか否かを検証するために用いる場合には、建物を設計した図面データを作成したCADのようなアプリケーション30から図面データを環境模擬手段11に取り込むことで仮想空間を設定し、ユーザインターフェース3を用いて火災の模擬に必要なデータを設定すれば、当該建物における避難行動を模擬することが可能になる。したがって、避難行動の問題点を容易に見出すことができ、避難経路を確保する設計や誘導者の配置を適正化するのに役立つことになる。
As described above, since each unit of the simulation apparatus 1 and the
また、模擬装置1と映像化装置2のうちの表示手段22を除く部分とユーザインターフェース3を実現するプログラムとをネットワークサーバに持たせ、ネットワークサーバに接続される端末に表示手段22を設けるとともに端末からユーザインターフェース3の操作を可能とすれば、インターネットなどのネットワークを用いたアプリケーションサービスプロバイダ(ASP)として、バーチャルヒューマンによる行動シミュレーションシステムのサービスを提供することが可能になる。
Further, a part of the simulation apparatus 1 and the
1 模擬装置
2 映像化装置
3 ユーザインターフェース
11 環境模擬手段
12 センサ手段
12a,12b,……センサ
13 行動決定手段
13a 行動目標検出部
13b 行動演算部
14 行動指示手段
15 行動データベース
16 位置指定手段
17 マッピング手段
21 出力手段
31 仮想空間エディタ
32 環境シナリオエディタ
33 センサエディタ
34 モーションエディタ
35 行動エディタ
DESCRIPTION OF SYMBOLS 1
Claims (7)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004018977A JP4182892B2 (en) | 2004-01-27 | 2004-01-27 | Behavior simulation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004018977A JP4182892B2 (en) | 2004-01-27 | 2004-01-27 | Behavior simulation system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005215801A JP2005215801A (en) | 2005-08-11 |
| JP4182892B2 true JP4182892B2 (en) | 2008-11-19 |
Family
ID=34903330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004018977A Expired - Fee Related JP4182892B2 (en) | 2004-01-27 | 2004-01-27 | Behavior simulation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4182892B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006107231A (en) * | 2004-10-07 | 2006-04-20 | Shimizu Corp | Evacuation behavior prediction system and evacuation behavior prediction method |
| JP4915550B2 (en) * | 2006-01-31 | 2012-04-11 | 清水建設株式会社 | Evacuation behavior prediction system and evacuation behavior prediction method |
| KR101931649B1 (en) * | 2017-01-06 | 2018-12-21 | 한국과학기술원 | Method and system for making training program based on virtual reality |
| KR101889655B1 (en) * | 2017-03-30 | 2018-08-20 | 세종대학교산학협력단 | System and method for implementing customized behavioral characteristics of virtual users for 3d space evaluation |
| CN115129163B (en) * | 2022-08-30 | 2022-11-11 | 环球数科集团有限公司 | Virtual human behavior interaction system |
-
2004
- 2004-01-27 JP JP2004018977A patent/JP4182892B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005215801A (en) | 2005-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101669455B1 (en) | Automatic checking system for fire fighting regulation and anti-disaster regulation of building structure, and method for the same | |
| Shi et al. | Agent-based evacuation model of large public buildings under fire conditions | |
| Braun et al. | Simulating virtual crowds in emergency situations | |
| Shao et al. | Autonomous pedestrians | |
| Gwynne et al. | Modelling occupant interaction with fire conditions using the buildingEXODUS evacuation model | |
| US8005656B1 (en) | Apparatus and method for evaluation of design | |
| Filippidis et al. | Representing the influence of signage on evacuation behavior within an evacuation model | |
| KR102383010B1 (en) | Apparatus and method for simulating fire evacuation | |
| Zhang et al. | Virtual reality-based evaluation of indoor earthquake safety actions for occupants | |
| US10769855B2 (en) | Personnel movement simulation and control | |
| JP2017191482A (en) | Risk evaluation device in fire occurrence and risk evaluation program in fire occurrence | |
| Mao et al. | An emotion based simulation framework for complex evacuation scenarios | |
| Kim et al. | Understanding human-robot proxemic norms in construction: How do humans navigate around robots? | |
| JP4182892B2 (en) | Behavior simulation system | |
| Usman et al. | A social distancing index: Evaluating navigational policies on human proximity using crowd simulations | |
| Ünal et al. | Generating emergency evacuation route directions based on crowd simulations with reinforcement learning | |
| Owen et al. | Advanced occupant behavioural features of the building-EXODUS evacuation model | |
| CN112435348A (en) | Method and device for browsing event activity virtual venue | |
| Xie et al. | 3D indoor-pedestrian interaction in emergencies: A review of actual evacuations and simulation models | |
| KR20150003561A (en) | Apparatus for Recognizing Human Behavior Patterns using Affordance and Belief-Desire-Intension based Agent Model | |
| Xi et al. | Exploring the reuse of fire evacuation behaviour in virtual environments | |
| Filippidis et al. | Simulating the Interaction of Occupants with Signage systems | |
| WO2012059781A1 (en) | System and method for providing a virtual representation | |
| KR101273662B1 (en) | Method for human behavior pattern recognition using affordance-based agent model | |
| Schaumann et al. | Spatiotemporal Influence and Affordance Maps for Occupant Behavior Simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080513 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080714 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080825 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |