JP7850693B2

JP7850693B2 - Communication systems, information terminals, and programs

Info

Publication number: JP7850693B2
Application number: JP2023162870A
Authority: JP
Inventors: 教広原田; 竜也長尾; 智史伊藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2023-09-26
Filing date: 2023-09-26
Publication date: 2026-04-23
Anticipated expiration: 2043-09-26
Also published as: JP2025053812A

Description

本発明は、通信システム、情報端末及びプログラムに関する。 This invention relates to a communication system, an information terminal, and a program.

従来、Ｗｉ－Ｆｉ（登録商標）により三点測量により推定した人間の位置を、慣性センサにより推定した位置の情報を用いて補正する技術が知られている（例えば、非特許文献１を参照）。 Conventionally, a technique is known for correcting the human position estimated by triangulation using Wi-Fi (registered trademark) with position information estimated by an inertial sensor (see, for example, Non-Patent Document 1).

A. Poulose, O. S. Eyobu and D. S. Han, "A Combined PDR and Wi-Fi Trilateration Algorithm for Indoor Localization," 2019 International Conference on Artificial Intelligence in Information and CommunicationA. Poulose, O. S. Eyobu and D. S. Han, "A Combined PDR and Wi-Fi Trilateration Algorithm for Indoor Localization," 2019 International Conference on Artificial Intelligence in Information and Communication

携帯電話網の基地局から送信された電波を、身体に装着された複数の中継デバイスが情報端末にミリ波帯以上の高周波帯域の電波により中継することにより、基地局と情報端末との間で高速データ通信を実現させることが検討されている。人の動作により情報端末と中継デバイスが移動する環境下で情報端末と中継デバイスとの間で良好な通信状態を維持するためには、情報端末が中継デバイスの位置を高精度で推定し、推定した位置に対応する方向の電波を受信する必要がある。 It is being considered that high-speed data communication between a mobile phone base station and an information terminal can be achieved by having multiple relay devices worn on the body relay radio waves transmitted from the base station to the information terminal using radio waves in the millimeter wave band or higher. In an environment where the information terminal and relay devices move due to human movement, maintaining good communication between the information terminal and the relay devices requires the information terminal to accurately estimate the position of the relay devices and receive radio waves in the direction corresponding to the estimated position.

しかしながら、中継デバイスが身体に装着している場合、人の動きによって情報端末と中継デバイスとの間での電波の伝搬状態が変化してしまい、中継デバイスが送信する電波に基づく中継デバイスの位置の検出精度が低下するという問題があった。 However, when the relay device is worn on the body, the propagation of radio waves between the information terminal and the relay device changes due to the person's movements, leading to a problem where the accuracy of detecting the relay device's location based on the radio waves it transmits decreases.

そこで、本発明はこれらの点に鑑みてなされたものであり、身体に装着されたデバイスの位置を推定する精度を向上させることを目的とする。 Therefore, this invention has been made in view of these points, and aims to improve the accuracy of estimating the position of a device worn on the body.

本発明の第１の態様の通信システムは、情報端末と、人の身体に装着された状態で前記情報端末及び携帯電話網の基地局と通信可能な複数の中継デバイスと、を備える。前記複数の中継デバイスのそれぞれは、前記中継デバイスの加速度及び角速度の少なくともいずれかの検出データを出力する検出部を有する。前記情報端末は、前記複数の中継デバイスそれぞれから前記検出データを受信するデータ受信部と、前記複数の中継デバイスに対応する複数の前記検出データに基づいて推定した、前記複数の中継デバイスが装着された人の骨格を示す骨格データを生成する骨格推定部と、前記情報端末が装着される端末概略位置と、前記複数の中継デバイスそれぞれが装着される複数のデバイス概略位置と、を示す装着位置データと、前記骨格データと、に基づいて、前記情報端末と前記複数の中継デバイスそれぞれとの間の複数の電波伝搬モデルを作成するモデル作成部と、所定の掃引範囲で電波を掃引することにより、前記複数の中継デバイスそれぞれから受信した電波の到来方向及び強度を含む電波状態を測定する電波測定部と、前記到来方向及び前記強度を前記電波伝搬モデルにより補正した補正方向及び補正強度に基づいて、前記複数の中継デバイスの推定位置を決定する位置推定部と、を有し、前記電波測定部は、直前に前記位置推定部が決定した前記推定位置に基づいて決定した前記掃引範囲で電波を掃引する。 A first aspect of the present invention is a communication system comprising an information terminal and a plurality of relay devices that are worn on a person's body and can communicate with the information terminal and a base station of a mobile phone network. Each of the plurality of relay devices has a detection unit that outputs detection data of at least one of the acceleration and angular velocity of the relay device. The information terminal comprises: a data receiving unit that receives the detection data from each of the multiple relay devices; a skeleton estimation unit that generates skeleton data indicating the skeleton of a person to whom the multiple relay devices are attached, estimated based on the multiple detection data corresponding to the multiple relay devices; a model creation unit that creates multiple radio wave propagation models between the information terminal and each of the multiple relay devices based on the approximate terminal position to which the information terminal is attached, the approximate device positions to which each of the multiple relay devices is attached, and the skeleton data; a radio wave measurement unit that measures the radio wave state, including the direction of arrival and intensity of the radio waves received from each of the multiple relay devices, by sweeping the radio waves within a predetermined sweep range; and a position estimation unit that determines the estimated position of the multiple relay devices based on the corrected direction and corrected intensity obtained by correcting the direction of arrival and intensity using the radio wave propagation model. The radio wave measurement unit sweeps the radio waves within the sweep range determined based on the estimated position determined immediately before by the position estimation unit.

前記モデル作成部は、前記骨格データにおける前記端末概略位置から前記端末概略位置に対応する距離だけ離れた位置を前記情報端末の位置である端末位置として推定し、前記骨格データにおける前記デバイス概略位置から前記デバイス概略位置に対応する距離だけ離れた位置を前記中継デバイスの位置であるデバイス位置として推定し、前記端末位置と、前記デバイス位置と、前記端末位置及び前記デバイス位置から所定範囲内における前記骨格データが示す骨格の位置及び向きと、に基づいて、前記電波伝搬モデルを作成してもよい。 The model creation unit may estimate a terminal position, which is the location of the information terminal, at a distance corresponding to the approximate terminal position in the skeletal data, and estimate a device position, which is the location of the relay device, at a distance corresponding to the approximate device position in the skeletal data. Based on the terminal position, the device position, and the position and orientation of the skeleton indicated by the skeletal data within a predetermined range from the terminal position and the device position, the radio wave propagation model may be created.

前記モデル作成部は、前記デバイス位置から発せられた電波が前記端末位置まで伝搬する間に前記骨格データに対応する人の身体の一部で反射して生じる反射波、又は前記デバイス位置から発せられた電波が前記端末位置まで伝搬する間に前記骨格データに対応する人の身体の一部の背後に回り込んで生じる回折波の影響が反映された前記電波伝搬モデルを作成してもよい。 The model creation unit may create a radio wave propagation model that reflects the effects of reflected waves generated when radio waves emitted from the device location are reflected by a part of the human body corresponding to the skeletal data as they propagate to the terminal location, or diffracted waves generated when radio waves emitted from the device location bend around the back of a part of the human body corresponding to the skeletal data as they propagate to the terminal location.

前記モデル作成部は、前記複数の中継デバイスを装着した人が撮影された撮像画像データに写っている人の身体と前記複数の中継デバイスそれぞれの位置との関係を特定した結果にさらに基づいて前記端末位置及び前記デバイス位置を特定してもよい。 The model creation unit may further determine the terminal position and the device position based on the results of identifying the relationship between the person's body in the captured image data of a person wearing the multiple relay devices and the position of each of the multiple relay devices.

前記モデル作成部は、前記複数の中継デバイスを装着した人が着用している服装を示すデータにさらに基づいて前記電波伝搬モデルを作成してもよい。 The model creation unit may further create the radio wave propagation model based on data indicating the clothing worn by the person wearing the multiple relay devices.

前記モデル作成部は、前記複数の中継デバイスの周囲が撮影された撮像画像データに写っている物体の形状及び位置にさらに基づいて前記電波伝搬モデルを作成してもよい。 The model creation unit may further create the radio wave propagation model based on the shapes and positions of objects captured in the image data surrounding the multiple relay devices.

前記骨格推定部は、前記複数の中継デバイスに対応する複数の前記検出データを入力することで前記骨格データを出力する骨格推定モデルに複数の前記検出データを入力することで、前記骨格データを生成してもよい。 The skeletal estimation unit may generate the skeletal data by inputting multiple detection data corresponding to the multiple relay devices into a skeletal estimation model that outputs the skeletal data.

前記骨格推定部は、複数の骨格推定モデル候補から前記複数の中継デバイスの種別又は数に基づいて選択した前記骨格推定モデルを用いて前記骨格データを生成してもよい。 The skeletal estimation unit may generate the skeletal data using the skeletal estimation model selected from a plurality of candidate skeletal estimation models based on the type or number of the plurality of relay devices.

前記位置推定部は、前記複数の中継デバイスそれぞれの向きをさらに推定し、前記電波測定部は、前記位置推定部が推定した前記複数の中継デバイスそれぞれの向きにさらに基づいて前記掃引範囲を決定してもよい。 The position estimation unit may further estimate the orientation of each of the multiple relay devices, and the radio wave measurement unit may determine the sweep range based on the orientations of each of the multiple relay devices estimated by the position estimation unit.

本発明の第２の態様の情報端末は、複数の中継デバイスと通信可能な情報端末であって、前記複数の中継デバイスそれぞれから前記中継デバイスの加速度及び角速度の少なくともいずれかを示す検出データを受信するデータ受信部と、前記複数の中継デバイスに対応する複数の前記検出データに基づいて推定した、前記複数の中継デバイスが装着された人の骨格を示す骨格データを生成する骨格推定部と、前記情報端末が装着される端末概略位置と、前記複数の中継デバイスそれぞれが装着される複数のデバイス概略位置と、を示す装着位置データと、前記骨格データと、に基づいて、前記情報端末と前記複数の中継デバイスそれぞれとの間の複数の電波伝搬モデルを作成するモデル作成部と、所定の掃引範囲で電波を掃引することにより、前記複数の中継デバイスそれぞれから受信した電波の到来方向及び強度を測定する電波測定部と、前記到来方向及び前記強度を前記電波伝搬モデルにより補正した補正方向及び補正強度に基づいて、前記複数の中継デバイスの推定位置を決定する位置推定部と、を有し、前記電波測定部は、直前に前記位置推定部が決定した前記推定位置に基づいて決定した前記掃引範囲で電波を掃引する。 A second aspect of the present invention provides an information terminal capable of communicating with a plurality of relay devices, comprising: a data receiving unit that receives detection data from each of the plurality of relay devices indicating at least one of the acceleration and angular velocity of the relay device; a skeleton estimation unit that generates skeleton data indicating the skeleton of a person to whom the plurality of relay devices are attached, estimated based on a plurality of the detection data corresponding to the plurality of relay devices; a model creation unit that creates a plurality of radio wave propagation models between the information terminal and each of the plurality of relay devices based on mounting position data indicating the approximate terminal position to which the information terminal is attached, the approximate device positions to which each of the plurality of relay devices is attached, and the skeleton data; a radio wave measurement unit that measures the direction of arrival and intensity of radio waves received from each of the plurality of relay devices by sweeping radio waves within a predetermined sweep range; and a position estimation unit that determines the estimated position of the plurality of relay devices based on a corrected direction and corrected intensity obtained by correcting the direction of arrival and intensity using the radio wave propagation model, wherein the radio wave measurement unit sweeps radio waves within the sweep range determined based on the estimated position determined immediately before by the position estimation unit.

本発明の第３の態様のプログラムは、複数の中継デバイスと通信可能な情報端末が有するプロセッサが実行するプログラムであって、前記プロセッサが実行することにより、前記プロセッサを、前記複数の中継デバイスそれぞれから前記中継デバイスの加速度及び角速度の少なくともいずれかを示す検出データを受信するデータ受信部と、前記複数の中継デバイスに対応する複数の前記検出データに基づいて推定した、前記複数の中継デバイスが装着された人の骨格を示す骨格データを生成する骨格推定部と、前記情報端末が装着される端末概略位置と、前記複数の中継デバイスそれぞれが装着される複数のデバイス概略位置と、を示す装着位置データと、前記骨格データと、に基づいて、前記情報端末と前記複数の中継デバイスそれぞれとの間の複数の電波伝搬モデルを作成するモデル作成部と、所定の掃引範囲で電波を掃引することにより、前記複数の中継デバイスそれぞれから受信した電波の到来方向及び強度を含む電波状態を測定する電波測定部と、前記到来方向及び前記強度を前記電波伝搬モデルにより補正した補正方向及び補正強度に基づいて、前記複数の中継デバイスの推定位置を決定する位置推定部と、として機能させ、前記電波測定部は、直前に前記位置推定部が決定した前記推定位置に基づいて決定した前記掃引範囲で電波を掃引する。 A third aspect of the present invention is a program executed by a processor in an information terminal capable of communicating with a plurality of relay devices, wherein the processor, when executed, provides the processor with: a data receiving unit that receives detection data from each of the plurality of relay devices indicating at least one of the acceleration and angular velocity of the relay device; a skeleton estimation unit that generates skeleton data indicating the skeleton of a person to whom the plurality of relay devices are attached, estimated based on a plurality of the detection data corresponding to the plurality of relay devices; the approximate location of the terminal to which the information terminal is attached; and the approximate locations of the plurality of devices to which each of the plurality of relay devices is attached. The system functions as follows: a model creation unit that creates multiple radio wave propagation models between the information terminal and each of the multiple relay devices based on mounting position data and skeletal data; a radio wave measurement unit that measures the radio wave state, including the direction of arrival and intensity of radio waves received from each of the multiple relay devices, by sweeping radio waves within a predetermined sweep range; and a position estimation unit that determines the estimated positions of the multiple relay devices based on the corrected direction and corrected intensity obtained by correcting the direction of arrival and intensity using the radio wave propagation model. The radio wave measurement unit sweeps radio waves within the sweep range determined based on the estimated position determined by the position estimation unit immediately prior to the sweep.

本発明によれば、身体に装着されたデバイスの位置を推定する精度を向上させることができるという効果を奏する。 According to this invention, the accuracy of estimating the position of a device worn on the body can be improved.

通信システムＳの概要を説明するための図である。This is a diagram illustrating the overview of communication system S. 通信システムＳの概要を説明するための図である。This is a diagram illustrating the overview of communication system S. 通信システムＳにおける処理の流れの概要を説明するための図である。This diagram illustrates the general flow of processing in the communication system S. 情報端末１が生成する骨格データの一例を示す図である。This figure shows an example of the skeletal data generated by information terminal 1. 電波伝搬モデルについて説明するための図である。This is a diagram used to explain the radio wave propagation model. 位置を推定する処理について説明するための図である。This is a diagram illustrating the process of estimating position. 情報端末１及び中継デバイス２の構成を示す図である。This diagram shows the configuration of information terminal 1 and relay device 2. 通信システムＳにおける処理の流れを示すフローチャートである。This is a flowchart showing the processing flow in communication system S.

［通信システムＳの概要］
図１及び図２は、通信システムＳの概要を説明するための図である。通信システムＳは、情報端末１と、情報端末１を使用するユーザＵの身体に装着された複数の中継デバイス２と、を含んでいる。図２に示すように、情報端末１は、複数の中継デバイス２を介して携帯電話網の基地局３との間でデータを送受信する。 [Overview of Communication System S]
Figures 1 and 2 are diagrams illustrating the overview of the communication system S. The communication system S includes an information terminal 1 and a plurality of relay devices 2 attached to the body of user U who uses the information terminal 1. As shown in Figure 2, the information terminal 1 transmits and receives data to and from a base station 3 of the mobile phone network via the plurality of relay devices 2.

複数の中継デバイス２は、例えばユーザＵの身体に装着されている。図１に示す例において、複数の中継デバイス２は、ユーザＵの両手首、両足首及び頭に装着されている。中継デバイス２は、人の身体に装着された状態で情報端末１及び携帯電話網の基地局３と通信可能なデバイスである。複数の中継デバイス２は、基地局３との間で第１周波数帯の電波（例えばミリ波）を用いてデータを送受信する。複数の中継デバイス２は、情報端末１との間で第２周波数帯の電波（例えばテラヘルツ波）を用いてデータを送受信する。 Multiple relay devices 2 are attached to the body of user U, for example. In the example shown in Figure 1, multiple relay devices 2 are attached to both wrists, both ankles, and the head of user U. The relay devices 2 are devices that can communicate with the information terminal 1 and the base station 3 of the mobile phone network while attached to a person's body. The multiple relay devices 2 transmit and receive data with the base station 3 using radio waves in the first frequency band (e.g., millimeter waves). The multiple relay devices 2 transmit and receive data with the information terminal 1 using radio waves in the second frequency band (e.g., terahertz waves).

複数の中継デバイス２それぞれは、基地局３から受信したデータを情報端末１に送信し、情報端末１から受信したデータを基地局３に送信する。情報端末１は、複数の中継デバイス２を介して基地局３とデータを送受信するので、情報端末１が基地局３との間で直接データを送受信する場合よりも高速に基地局３との間でデータを送受信することができる。 Each of the multiple relay devices 2 transmits data received from the base station 3 to the information terminal 1, and transmits data received from the information terminal 1 to the base station 3. Since the information terminal 1 transmits and receives data with the base station 3 via the multiple relay devices 2, it can transmit and receive data with the base station 3 at a faster speed than if the information terminal 1 were to transmit and receive data directly with the base station 3.

図２に示すように、情報端末１は、時分割でアンテナの方向を変化させて複数の異なる方向で複数の中継デバイス２と電波を送受信することができる。ところが、情報端末１が複数の中継デバイス２との間でデータを送受信する際に使用する電波の周波数が高いと、電波の指向性が強い。したがって、情報端末１は、高精度で中継デバイス２の位置を推定し、推定した位置にアンテナを向ける必要がある。 As shown in Figure 2, the information terminal 1 can change the direction of its antenna in a time-division multiplexing manner to send and receive radio waves with multiple relay devices 2 in multiple different directions. However, if the frequency of the radio waves used by the information terminal 1 to send and receive data with multiple relay devices 2 is high, the directivity of the radio waves becomes strong. Therefore, the information terminal 1 needs to estimate the position of the relay devices 2 with high accuracy and point its antenna at the estimated position.

そこで、情報端末１は、高精度で中継デバイス２の位置を推定するために、複数の中継デバイス２から受信した位置推定用電波に基づいて複数の中継デバイス２の位置を推定する。しかしながら、情報端末１と中継デバイス２との通信に用いる電波は、ユーザＵの身体で反射してから送信先に到達したり、ユーザＵの身体を回折してから送信先に到達したりする。ユーザＵの近傍の伝搬環境はユーザＵの姿勢の変化によって動的に変化する。ユーザＵの姿勢の変化に伴って伝搬環境が変化すると、情報端末１が受信する電波の強度が変化してしまい、位置の推定に誤差が生じてしまう。 Therefore, in order to estimate the position of relay devices 2 with high accuracy, information terminal 1 estimates the positions of multiple relay devices 2 based on position estimation radio waves received from multiple relay devices 2. However, the radio waves used for communication between information terminal 1 and relay devices 2 are reflected by the user U's body before reaching the destination, or diffracted by the user U's body before reaching the destination. The propagation environment near user U changes dynamically with changes in user U's posture. When the propagation environment changes with changes in user U's posture, the intensity of the radio waves received by information terminal 1 changes, resulting in errors in position estimation.

誤差の影響を小さくするために、情報端末１は、ユーザＵの姿勢（すなわち情報端末１及び複数の中継デバイス２の位置）に応じて変化する電波伝搬環境に対応する電波伝搬モデルを作成する。情報端末１は、電波伝搬モデルに基づいて、受信した電波の特性を補正し、補正した結果を用いて複数の中継デバイス２の位置を推定することで、推定した位置の精度を向上させることができる。そして、情報端末１は、推定した複数の中継デバイス２の位置に基づいてアンテナの向きを制御することで、人の動きによって情報端末１と複数の中継デバイス２との位置関係が変化した場合であっても、複数の中継デバイス２との間で通信ができる状態を維持することができる。 To minimize the impact of errors, the information terminal 1 creates a radio wave propagation model that corresponds to the radio wave propagation environment, which changes according to the user U's posture (i.e., the positions of the information terminal 1 and the multiple relay devices 2). Based on the radio wave propagation model, the information terminal 1 corrects the characteristics of the received radio waves and uses the corrected results to estimate the positions of the multiple relay devices 2, thereby improving the accuracy of the estimated positions. Furthermore, by controlling the antenna orientation based on the estimated positions of the multiple relay devices 2, the information terminal 1 can maintain communication with the multiple relay devices 2 even when the positional relationship between the information terminal 1 and the multiple relay devices 2 changes due to human movement.

［通信システムＳにおける処理の流れの概要］
図３は、通信システムＳにおける処理の流れの概要を説明するための図である。図３に示す処理は、所定の時間間隔で情報端末１により実行される。所定の時間間隔は、情報端末１と中継デバイス２との間の通信品質が劣化する距離だけ中継デバイス２の位置が移動し得る時間以下に設定されており、例えば１００ミリ秒である。 [Overview of the processing flow in communication system S]
Figure 3 is a diagram illustrating the general flow of processing in the communication system S. The processing shown in Figure 3 is executed by the information terminal 1 at predetermined time intervals. The predetermined time interval is set to be less than or equal to the time required for the relay device 2 to move by a distance that would degrade the communication quality between the information terminal 1 and the relay device 2, for example, 100 milliseconds.

情報端末１は、情報端末１及び複数の中継デバイス２が有する慣性センサにより測定された中継デバイス２の移動状態を示す情報（例えば加速度又は角速度）と、直前の処理タイミングにおいて特定した情報端末１及び複数の中継デバイス２の位置と、に基づいて、ユーザＵの最新の骨格の状態を推定する。最初の処理タイミングにおいては、直前の処理タイミングにおける情報端末１及び複数の中継デバイス２の位置が、例えばユーザＵが直立した状態に対応する初期位置であるものとする。 The information terminal 1 estimates the latest skeletal state of user U based on information indicating the movement state of the relay devices 2 (e.g., acceleration or angular velocity) measured by the inertial sensors of the information terminal 1 and the multiple relay devices 2, and the positions of the information terminal 1 and the multiple relay devices 2 identified at the previous processing timing. At the first processing timing, the positions of the information terminal 1 and the multiple relay devices 2 at the previous processing timing are assumed to be the initial positions corresponding to, for example, user U standing upright.

情報端末１は、例えば、初期位置を設定するための画面を表示し、ユーザＵにより、情報端末１を保持している位置及び複数の中継デバイス２が装着された部位の入力を受け付けることにより、情報端末１及び複数の中継デバイス２の初期位置を特定する。情報端末１は、例えば、「頭」、「右手首」、「左手首」、「右足首」、「左足首」といったように、身体の部位を示す概略位置の名称の入力を受け付けて、受け付けた名称に関連付けて記憶した位置を初期位置として特定する。 Information terminal 1, for example, displays a screen for setting the initial position and receives input from user U regarding the position where information terminal 1 is being held and the body parts to which the multiple relay devices 2 are attached, thereby determining the initial positions of information terminal 1 and the multiple relay devices 2. Information terminal 1 also accepts input of approximate location names indicating body parts, such as "head," "right wrist," "left wrist," "right ankle," and "left ankle," and identifies the location stored in association with the received name as the initial position.

情報端末１は、情報端末１及び複数の中継デバイス２が有するセンサから入力された検出データが示す加速度及び角速度の少なくともいずれか（以下、「加速度又は角速度」という）に基づいて、直前の処理タイミングから最新の処理タイミングまでの間に、情報端末１及び複数の中継デバイス２が移動した距離及び方向を特定することにより、ユーザＵの最新の骨格の状態を推定する（図３におけるＳ１）。一例として、情報端末１は、骨格における複数の位置が移動した距離及び方向を入力することで、変化後の骨格の状態を示す骨格データを出力する骨格推定モデルに、直前の処理タイミングにおける情報端末１及び複数の中継デバイス２の位置と、情報端末１及び複数の中継デバイス２の加速度又は角速度と、を入力することにより、最新の骨格データを生成する。 The information terminal 1 estimates the latest skeletal state of user U by determining the distance and direction of movement of the information terminal 1 and the multiple relay devices 2 between the previous processing timing and the latest processing timing, based on at least one of the acceleration and angular velocity (hereinafter referred to as "acceleration or angular velocity") indicated by the detection data input from sensors on the information terminal 1 and the multiple relay devices 2 (S1 in Figure 3). As an example, the information terminal 1 generates the latest skeletal data by inputting the positions of the information terminal 1 and the multiple relay devices 2 at the previous processing timing, and the acceleration or angular velocity of the information terminal 1 and the multiple relay devices 2, into a skeletal estimation model that outputs skeletal data indicating the changed skeletal state based on the distance and direction of movement of multiple positions in the skeletal structure.

図４は、情報端末１が生成する骨格データの一例を示す図である。図４に示すように、骨格データは、人間の主要な骨及び関節の位置の関係を示すデータである。骨格データは画像データであってもよく、複数の骨及び関節の特徴点の位置座標を示すデータであってもよい。骨格推定モデルは、直前の骨格データにおける指定された部位を指定された方向に指定された距離だけ移動させることで影響が及ぶ関節及び骨の位置又は向きを変更することにより、骨格データを更新する。骨格推定モデルは、情報端末１が有するプロセッサが実行することにより骨格データを生成するプログラムであってもよく、情報端末１の外部のプロセッサが実行することにより骨格データを生成するプログラムであってもよい。 Figure 4 shows an example of skeletal data generated by information terminal 1. As shown in Figure 4, skeletal data is data that shows the positional relationships of major bones and joints in a human body. Skeletal data may be image data, or it may be data that shows the positional coordinates of feature points of multiple bones and joints. The skeletal estimation model updates the skeletal data by changing the position or orientation of the affected joints and bones by moving a specified part in the immediately preceding skeletal data by a specified distance in a specified direction. The skeletal estimation model may be a program that generates skeletal data by being executed by the processor of information terminal 1, or it may be a program that generates skeletal data by being executed by an external processor of information terminal 1.

図３に戻り、情報端末１は、生成した骨格データに基づいて電波伝搬モデルを作成する（図３におけるＳ２）。図５は、電波伝搬モデルについて説明するための図である。
図５に示すように、例えば中継デバイス２が情報端末１に向けて送信した電波に基づいて、直接波、反射波及び回折波が生じて、これらの電波が情報端末１に到達する。そこで、情報端末１は、複数の中継デバイス２のそれぞれに対して、反射波及び回折波の直接波に対する強度及び位相を示す電波伝搬モデルを作成する。 Returning to Figure 3, the information terminal 1 creates a radio wave propagation model based on the generated skeletal data (S2 in Figure 3). Figure 5 is a diagram illustrating the radio wave propagation model.
As shown in Figure 5, for example, based on the radio waves transmitted by relay device 2 toward information terminal 1, direct waves, reflected waves, and diffracted waves are generated, and these radio waves reach information terminal 1. Therefore, information terminal 1 creates a radio wave propagation model for each of the multiple relay devices 2 that shows the intensity and phase of the reflected and diffracted waves relative to the direct wave.

また、情報端末１は、電波伝搬モデルの作成と並行して、生成した骨格データに基づいて、情報端末１及び複数の中継デバイス２の最新の位置及び向きを推定してもよい（図３におけるＳ３）。情報端末１及び複数の中継デバイス２の最新の位置及び向きは、例えば、情報端末１の位置を基準とする複数の中継デバイス２それぞれの相対位置及び相対向きである。情報端末１は、最新の骨格データにおける情報端末１及び複数の中継デバイス２の装着部位の名称に対応する骨格の位置である概略位置から、当該概略位置と情報端末１及び複数の中継デバイス２が装着される位置との距離だけ離れた位置を、中継デバイス２の最新の位置として推定する。 Furthermore, in parallel with the creation of the radio wave propagation model, the information terminal 1 may estimate the latest position and orientation of the information terminal 1 and the multiple relay devices 2 based on the generated skeletal data (S3 in Figure 3). The latest position and orientation of the information terminal 1 and the multiple relay devices 2 are, for example, the relative position and relative orientation of each of the multiple relay devices 2 relative to the position of the information terminal 1. The information terminal 1 estimates the latest position of the relay device 2 as a position separated by the distance between the approximate position, which is the skeletal position corresponding to the name of the mounting location of the information terminal 1 and the multiple relay devices 2 in the latest skeletal data, and the position where the information terminal 1 and the multiple relay devices 2 are mounted.

図６は、位置を推定する処理について説明するための図である。図６における星印Ｈは、骨格データにおける頭部の位置を示している。図６における六角形の図形は、左耳に装着された中継デバイス２を示している。このように、装着位置が「頭部」だとしても、骨格データにおける頭部の位置と、実際に中継デバイス２が装着された位置とは異なる。したがって、情報端末１は、骨格データにおける装着部位に対応する位置座標に、情報端末１及び複数の中継デバイス２の装着位置までの距離及び方向に基づく差分量を加算することにより、情報端末１及び複数の中継デバイス２の位置座標を算出する。その結果、情報端末１は、情報端末１を基準とする複数の中継デバイス２の相対位置を高い精度で推定することができる。 Figure 6 illustrates the process of estimating position. In Figure 6, the star H indicates the position of the head in the skeletal data. The hexagonal shape in Figure 6 represents the relay device 2 attached to the left ear. Thus, even though the attachment position is "head," the position of the head in the skeletal data differs from the actual position where the relay device 2 is attached. Therefore, the information terminal 1 calculates the position coordinates of the information terminal 1 and the multiple relay devices 2 by adding a difference based on the distance and direction to the attachment positions of the information terminal 1 and the multiple relay devices 2 to the position coordinates corresponding to the attachment site in the skeletal data. As a result, the information terminal 1 can estimate the relative positions of the multiple relay devices 2 relative to the information terminal 1 with high accuracy.

情報端末１は、骨格データに基づく複数の中継デバイス２の相対位置の推定と並行して、作成した電波伝搬モデルと、複数の中継デバイス２それぞれが送信する位置推定用電波とに基づいて、複数の中継デバイス２の位置及び向きを推定する（図３におけるＳ４）。位置推定用電波は、中継デバイス２の所定の向きに所定の強度で送信される電波である。位置推定用電波は、中継デバイス２が情報端末１から受信した電波の強度を示す信号（ＲＳＳＩ信号）を含む電波であってもよい。情報端末１は、電波を受信した方向に基づいて中継デバイス２の向きを推定し、受信した電波の強度に基づいて中継デバイス２までの距離を推定することにより、情報端末１を基準とする複数の中継デバイス２の相対位置を特定する。 The information terminal 1 estimates the relative positions of multiple relay devices 2 based on skeletal data, and simultaneously estimates the positions and orientations of the multiple relay devices 2 based on the created radio wave propagation model and the position-estimating radio waves transmitted by each of the multiple relay devices 2 (S4 in Figure 3). The position-estimating radio waves are radio waves transmitted at a predetermined intensity in a predetermined direction from the relay device 2. The position-estimating radio waves may also include a signal (RSSI signal) indicating the intensity of the radio waves received by the relay device 2 from the information terminal 1. The information terminal 1 determines the relative positions of the multiple relay devices 2 relative to the information terminal 1 by estimating the orientation of the relay device 2 based on the direction from which the radio waves were received and estimating the distance to the relay device 2 based on the intensity of the received radio waves.

ところで、複数の中継デバイス２から情報端末１が受信した電波の状態が悪い状況においては、Ｓ４で推定された電波に基づく位置の精度が低い。また、情報端末１及び複数の中継デバイス２に設けられた慣性センサの精度が低い状況においては、Ｓ３で推定された骨格データに基づく位置の精度が低い。そこで、情報端末１は、骨格データに基づいて複数の中継デバイス２の位置（以下、「第１推定位置」という場合がある）及び向き（以下、「第１推定向き」という場合がある）を推定した場合、電波に基づいて推定した複数の中継デバイス２の位置（以下、「第２推定位置」という場合がある）及び向き（以下、「第２推定向き」という場合がある）と、第１推定位置及び第１推定向きとに基づいて、複数の中継デバイス２の位置及び向きを特定してもよい（図３におけるＳ５）。 Incidentally, when the radio wave conditions received by the information terminal 1 from multiple relay devices 2 are poor, the accuracy of the position estimated in S4 based on the radio waves is low. Furthermore, when the accuracy of the inertial sensors provided on the information terminal 1 and the multiple relay devices 2 is low, the accuracy of the position estimated in S3 based on the skeletal data is low. Therefore, when the information terminal 1 estimates the position (sometimes referred to as the "first estimated position") and orientation (sometimes referred to as the "first estimated orientation") of the multiple relay devices 2 based on the skeletal data, it may determine the position and orientation of the multiple relay devices 2 based on the position (sometimes referred to as the "second estimated position") and orientation (sometimes referred to as the "second estimated orientation") estimated based on the radio waves, as well as the first estimated position and first estimated orientation (S5 in Figure 3).

詳細については後述するが、情報端末１は、骨格データに基づく第１推定位置及び第１推定向きの第１信頼度と、電波に基づく第２推定位置及び第２推定向きの第２信頼度と、に基づいて、複数の中継デバイス２の位置及び向きを算出する。情報端末１は、骨格データに基づいて推定された第１推定位置の第１信頼度と、電波に基づいて推定された第２推定位置の第２信頼度と、に対応する重みを用いて第１推定位置及び第２推定位置を加重平均することにより、複数の中継デバイス２の位置を算出する。情報端末１は、第１信頼度及び第２信頼度に対応する重みを用いて、第１推定向き及び第２推定向きを加重平均することにより、複数の中継デバイス２の向きを算出してもよい。 As will be described in detail later, the information terminal 1 calculates the positions and orientations of multiple relay devices 2 based on the first confidence level of the first estimated position and first estimated orientation based on skeletal data, and the second confidence level of the second estimated position and second estimated orientation based on radio waves. The information terminal 1 calculates the positions of the multiple relay devices 2 by weighting the first and second estimated positions using weights corresponding to the first confidence level of the first estimated position estimated based on skeletal data and the second confidence level of the second estimated position estimated based on radio waves. The information terminal 1 may also calculate the orientations of the multiple relay devices 2 by weighting the first and second estimated orientations using weights corresponding to the first and second confidence levels.

［情報端末１及び中継デバイス２の構成］
図７は、情報端末１及び中継デバイス２の構成を示す図である。情報端末１は、慣性センサ１１と、受信アンテナ１２と、受信アンテナ１３と、記憶部１４と、制御部１５と、を有する。制御部１５は、骨格推定部１５１と、モデル作成部１５２と、第１位置推定部１５３と、電波測定部１５４と、第２位置推定部１５５と、重み決定部１５６と、位置特定部１５７と、を有する。中継デバイス２は、慣性センサ２１と、送信アンテナ２２と、データ生成部２３と、送信アンテナ２４と、を有する。 [Configuration of Information Terminal 1 and Relay Device 2]
Figure 7 shows the configuration of the information terminal 1 and the relay device 2. The information terminal 1 includes an inertial sensor 11, a receiving antenna 12, a receiving antenna 13, a storage unit 14, and a control unit 15. The control unit 15 includes a skeleton estimation unit 151, a model creation unit 152, a first position estimation unit 153, a radio wave measurement unit 154, a second position estimation unit 155, a weight determination unit 156, and a position identification unit 157. The relay device 2 includes an inertial sensor 21, a transmitting antenna 22, a data generation unit 23, and a transmitting antenna 24.

まず、中継デバイス２の各部について説明する。慣性センサ２１は、中継デバイス２の加速度又は角速度を測定することができるセンサである。慣性センサ２１は、加速度又は角速度を示す検出データを骨格推定部１５１に出力する検出部である。慣性センサ２１は、例えば６軸センサであるが、他の種別のセンサであってもよい。 First, let's describe the various parts of the relay device 2. The inertial sensor 21 is a sensor capable of measuring the acceleration or angular velocity of the relay device 2. The inertial sensor 21 is a detection unit that outputs detection data indicating acceleration or angular velocity to the skeletal estimation unit 151. The inertial sensor 21 is, for example, a 6-axis sensor, but other types of sensors may also be used.

データ生成部２３は、中継デバイス２が情報端末１に送信するデータを生成する。データ生成部２３は、例えば位置推定用データを生成する。送信アンテナ２４は位置推定用データを含む位置推定用電波を送信する。 The data generation unit 23 generates data that the relay device 2 transmits to the information terminal 1. For example, the data generation unit 23 generates position estimation data. The transmitting antenna 24 transmits position estimation radio waves containing the position estimation data.

なお、図７には示されていないが、中継デバイス２は、基地局３との間でデータを送受信するための通信回路をさらに有してもよい。中継デバイス２は、情報端末１から受信したデータを、当該通信回路を介して基地局３に送信し、基地局３から受信したデータを、当該通信回路を介して情報端末１に送信する。 Although not shown in Figure 7, the relay device 2 may further include a communication circuit for sending and receiving data with the base station 3. The relay device 2 transmits data received from the information terminal 1 to the base station 3 via the communication circuit, and transmits data received from the base station 3 to the information terminal 1 via the communication circuit.

続いて、情報端末１の各部について説明する。慣性センサ１１は、情報端末１の加速度又は角速度を測定することができるセンサである。慣性センサ１１は、例えば６軸センサであるが、他の種別のセンサであってもよい。慣性センサ１１は、検出した加速度又は角速度を示すデータを骨格推定部１５１に入力する。 Next, the various parts of the information terminal 1 will be described. The inertial sensor 11 is a sensor capable of measuring the acceleration or angular velocity of the information terminal 1. The inertial sensor 11 is, for example, a 6-axis sensor, but other types of sensors may also be used. The inertial sensor 11 inputs the detected acceleration or angular velocity data to the skeletal estimation unit 151.

受信アンテナ１２は、中継デバイス２の加速度又は角速度を中継デバイス２から受信するためのアンテナである。受信アンテナ１２は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）により中継デバイス２から送信された加速度又は角速度を示すデータを受信するためのアンテナである。受信アンテナ１２は、複数の中継デバイス２それぞれから検出データを受信するデータ受信部として機能する。受信アンテナ１２は、受信した加速度又は角速度を示すデータを骨格推定部１５１に入力する。 The receiving antenna 12 is an antenna for receiving acceleration or angular velocity from the relay device 2. The receiving antenna 12 is an antenna for receiving acceleration or angular velocity data transmitted from the relay device 2, for example, via Bluetooth®. The receiving antenna 12 functions as a data receiving unit, receiving detection data from each of the multiple relay devices 2. The receiving antenna 12 inputs the received acceleration or angular velocity data to the skeletal estimation unit 151.

受信アンテナ１３は、中継デバイス２が基地局３から受信したデータ及び位置推定用電波を受信するためのアンテナである。受信アンテナ１３は、受信アンテナ１２が受信可能な周波数よりも高い周波数に対応しており、例えばミリ波帯又はテラヘルツ帯の電波を受信することができる。 The receiving antenna 13 is an antenna for receiving data and position estimation radio waves received by the relay device 2 from the base station 3. The receiving antenna 13 supports frequencies higher than those that the receiving antenna 12 can receive, and can receive radio waves in the millimeter wave band or terahertz band, for example.

記憶部１４は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶媒体を有する。記憶部１４は、制御部１５が実行するプログラムを記憶している。また、記憶部１４は、複数の中継デバイス２を識別するための中継デバイスＩＤ及び時刻に関連付けて、中継デバイス２の位置及び向きを記憶する。 The memory unit 14 has storage media such as ROM (Read Only Memory) and RAM (Random Access Memory). The memory unit 14 stores the program executed by the control unit 15. Furthermore, the memory unit 14 stores the position and orientation of the relay devices 2, associated with relay device IDs and timestamps for identifying multiple relay devices 2.

制御部１５は、例えばＣＰＵ（Central Processing Unit）を有する。制御部１５は、記憶部１４に記憶されたプログラムを実行することにより、骨格推定部１５１、モデル作成部１５２、第１位置推定部１５３、電波測定部１５４、第２位置推定部１５５、重み決定部１５６及び位置特定部１５７として機能する。 The control unit 15 includes, for example, a CPU (Central Processing Unit). By executing a program stored in the memory unit 14, the control unit 15 functions as a skeleton estimation unit 151, a model creation unit 152, a first position estimation unit 153, a radio wave measurement unit 154, a second position estimation unit 155, a weight determination unit 156, and a position identification unit 157.

骨格推定部１５１は、複数の中継デバイス２に対応する複数の検出データに基づいて推定した、複数の中継デバイス２が装着された人の骨格を示す骨格データを生成する。骨格推定部１５１は、位置特定部１５７が直前に特定した複数の中継デバイス２それぞれの位置と、複数の検出データとに基づいて骨格データを生成する。 The skeleton estimation unit 151 generates skeleton data representing the skeleton of a person wearing multiple relay devices 2, estimated based on multiple detection data corresponding to multiple relay devices 2. The skeleton estimation unit 151 generates skeleton data based on the positions of each of the multiple relay devices 2 identified immediately beforehand by the position identification unit 157, and the multiple detection data.

具体的には、骨格推定部１５１は、直前の情報端末１及び複数の中継デバイス２の位置及び向きと、直前の骨格データと、慣性センサ１１が検出した情報端末１の加速度又は角速度と、複数の中継デバイス２に対応する複数の検出データが示す複数の中継デバイス２の加速度又は角速度と、に基づいて、最新の骨格データを生成する。骨格推定部１５１は、生成した骨格データを記憶部１４に記憶させる。 Specifically, the skeletal estimation unit 151 generates the latest skeletal data based on the position and orientation of the information terminal 1 and the multiple relay devices 2 immediately prior to the data transfer, the previous skeletal data, the acceleration or angular velocity of the information terminal 1 detected by the inertial sensor 11, and the acceleration or angular velocity of the multiple relay devices 2 indicated by the multiple detection data corresponding to the multiple relay devices 2. The skeletal estimation unit 151 stores the generated skeletal data in the storage unit 14.

骨格推定部１５１は、複数の中継デバイス２に対応する複数の検出データを入力することで骨格データを出力する骨格推定モデルに複数の検出データを入力することで、骨格データを生成する。概要を上述したように、骨格推定部１５１は、骨格における複数の位置が移動した距離及び方向を入力することで、変化後の骨格の状態を示す骨格データを出力する骨格推定モデルに、直前の処理タイミングにおける情報端末１及び複数の中継デバイス２の位置と、情報端末１及び複数の中継デバイス２の加速度又は角速度と、を入力する。骨格推定部１５１は、当該骨格推定モデルから出力される骨格データを最新の骨格データとして生成する。 The skeleton estimation unit 151 generates skeleton data by inputting multiple detection data corresponding to multiple relay devices 2 into a skeleton estimation model that outputs skeleton data. As outlined above, the skeleton estimation unit 151 inputs the positions of the information terminal 1 and multiple relay devices 2 at the previous processing timing, as well as the acceleration or angular velocity of the information terminal 1 and multiple relay devices 2, into a skeleton estimation model that outputs skeleton data indicating the state of the skeleton after changes, based on the distance and direction of movement of multiple positions in the skeleton. The skeleton estimation unit 151 generates the skeleton data output from the skeleton estimation model as the latest skeleton data.

複数の中継デバイス２の種別又は数によって、適した骨格推定モデルが異なるという場合が想定される。例えば、中継デバイス２が１０個装着されている場合に１０個のセンサから出力された検出データを教師データとして機械学習して作成された骨格推定モデルは、中継デバイス２が５個しか装着されていないときには適していないという場合がある。また、６軸の慣性センサが出力した検出データを教師データとして機械学習して作成された骨格推定モデルは、中継デバイス２が３軸の慣性センサを有しているときには適していないという場合がある。 It is conceivable that the appropriate skeletal estimation model may differ depending on the type or number of relay devices 2. For example, a skeletal estimation model created by machine learning using detection data output from 10 sensors (when 10 relay devices 2 are installed) may not be suitable when only 5 relay devices 2 are installed. Similarly, a skeletal estimation model created by machine learning using detection data output from a 6-axis inertial sensor may not be suitable when the relay device 2 has a 3-axis inertial sensor.

そこで、骨格推定部１５１は、複数の骨格推定モデル候補から複数の中継デバイス２の種別又は数に基づいて選択した骨格推定モデルを用いて骨格データを生成してもよい。骨格推定部１５１がこのように動作することで、骨格推定部１５１が生成する最新の骨格データの精度を向上させることができる。 Therefore, the skeleton estimation unit 151 may generate skeleton data using a skeleton estimation model selected from multiple candidate skeleton estimation models based on the type or number of multiple relay devices 2. By operating in this manner, the accuracy of the latest skeleton data generated by the skeleton estimation unit 151 can be improved.

モデル作成部１５２は、情報端末１が装着される位置である端末概略位置と、複数の中継デバイス２それぞれが装着される位置である複数のデバイス概略位置と、を示す装着位置データと、骨格推定部１５１が生成した骨格データと、に基づいて、情報端末１と複数の中継デバイス２それぞれとの間の複数の電波伝搬モデルを作成する。端末概略位置及びデバイス概略位置は、「右手」、「右手首」、「右耳」等のような身体の部位の名称により表され、モデル作成部１５２は、例えば、ユーザＵから端末概略位置及びデバイス概略位置の入力を受ける。モデル作成部１５２は、情報端末１の画面に表示した図１のような身体画像においてユーザＵが指定した位置を端末概略位置及びデバイス概略位置として取得してもよい。 The model creation unit 152 creates multiple radio wave propagation models between the information terminal 1 and each of the relay devices 2, based on mounting position data indicating the approximate terminal position where the information terminal 1 is attached, the approximate device positions where each of the multiple relay devices 2 is attached, and skeletal data generated by the skeletal estimation unit 151. The approximate terminal position and device position are represented by names of body parts such as "right hand," "right wrist," and "right ear," and the model creation unit 152 receives input for the approximate terminal position and device position from, for example, the user U. The model creation unit 152 may also acquire the position specified by the user U in a body image displayed on the screen of the information terminal 1, as shown in Figure 1, as the approximate terminal position and device position.

モデル作成部１５２は、例えば図６を参照しながら説明した方法により、骨格データにおける端末概略位置から端末概略位置に対応する距離だけ離れた位置を情報端末１の位置である端末位置として推定する。また、モデル作成部１５２は、骨格データにおけるデバイス概略位置からデバイス概略位置に対応する距離だけ離れた位置を中継デバイス２の位置であるデバイス位置として推定する。モデル作成部１５２は、端末位置と、デバイス位置と、端末位置及びデバイス位置から所定範囲内における骨格データが示す骨格の位置及び向きに基づいて、電波伝搬モデルを作成する。モデル作成部１５２は、中継デバイス２の位置から発せられた電波が端末位置まで伝搬する間に骨格データに対応する人の身体の一部で反射して生じる反射波、又は中継デバイス２の位置から発せられた電波が端末位置まで伝搬する間に骨格データに対応する人の身体の一部の背後に回り込んで生じる回折波の影響が反映された電波伝搬モデルを作成する。 The model creation unit 152 estimates the terminal position, which is the location of information terminal 1, as a position located a distance corresponding to the terminal's approximate position in the skeletal data, using a method described, for example, with reference to Figure 6. The model creation unit 152 also estimates the device position, which is the location of relay device 2, as a position located a distance corresponding to the device's approximate position in the skeletal data. Based on the terminal position, the device position, and the position and orientation of the skeleton indicated by the skeletal data within a predetermined range from the terminal and device positions, the model creation unit 152 creates a radio wave propagation model that reflects the effects of reflected waves generated when radio waves emitted from the relay device 2 propagate to the terminal position by reflecting off a part of the human body corresponding to the skeletal data, or diffracted waves generated when radio waves emitted from the relay device 2 propagate to the terminal position by bending around the back of a part of the human body corresponding to the skeletal data.

モデル作成部１５２は、端末位置、デバイス位置、並びに骨格の位置及び向きと、既知の伝搬モデルと、を教師データとして機械学習したモデルであってもよい。この場合、モデル作成部１５２は、直前の処理タイミングで特定された端末位置、デバイス位置、及び骨格データの入力を受けると電波伝搬モデルを出力する。 The model creation unit 152 may be a model created by machine learning using terminal position, device position, and skeletal position and orientation, along with a known propagation model, as training data. In this case, the model creation unit 152 outputs a radio wave propagation model upon receiving input of terminal position, device position, and skeletal data identified in the previous processing timing.

モデル作成部１５２は、複数の中継デバイス２を装着した人が撮影された撮像画像データに写っている人の身体と複数の中継デバイス２それぞれの位置との関係を特定した結果にさらに基づいて端末位置及びデバイス位置を特定してもよい。モデル作成部１５２は、複数の中継デバイス２を装着した人が撮影された撮像画像データを外部装置から取得し、当該撮像画像データに写っている人の身体と複数の中継デバイス２それぞれの位置との関係を特定した結果に基づいて推定された端末位置及びデバイス位置を補正してもよい。 The model creation unit 152 may further determine the terminal position and device position based on the results of identifying the relationship between the person's body in the captured image data of a person wearing multiple relay devices 2 and the position of each of the multiple relay devices 2. The model creation unit 152 may also acquire captured image data of a person wearing multiple relay devices 2 from an external device and correct the estimated terminal position and device position based on the results of identifying the relationship between the person's body in the captured image data and the position of each of the multiple relay devices 2.

例えば、ユーザＵが中継デバイス２の装着部位を「右手首」と設定したにもかかわらず、実際には右肘に中継デバイス２が装着されていたとする。このような場合、モデル作成部１５２は、撮像画像データに基づいて概略位置が「右肘」であると判定した場合、右手首に対応するデバイス位置を、骨格データにおける右肘に対応する位置に補正する。モデル作成部１５２がこのように動作することで、ユーザＵが装着位置の設定を間違ったり、中継デバイス２の装着位置を間違ったりした場合であっても、モデル作成部１５２が適切な電波伝搬モデルを作成することができる。 For example, suppose user U sets the mounting location for relay device 2 to "right wrist," but in reality, relay device 2 is mounted on the right elbow. In such a case, if the model creation unit 152 determines that the approximate position is "right elbow" based on the captured image data, it corrects the device position corresponding to the right wrist to the position corresponding to the right elbow in the skeletal data. This operation by the model creation unit 152 allows it to create an appropriate radio wave propagation model even if user U makes a mistake in setting the mounting location or mounting relay device 2 incorrectly.

ところで、ユーザＵが着用している服の材質及び形状に基づいて、反射波及び回折波の強度が変化する。そこで、モデル作成部１５２は、複数の中継デバイス２を装着した人が着用している服装を示すデータにさらに基づいて電波伝搬モデルを作成してもよい。服装を示すデータは、例えば予めユーザＵにより設定されて記憶部１４に記憶されている。モデル作成部１５２がこのように構成されていることで、ユーザＵの服装によって電波伝搬モデルの精度が低下することを防げる。 Incidentally, the intensity of reflected and diffracted waves changes based on the material and shape of the clothing worn by user U. Therefore, the model creation unit 152 may create a radio wave propagation model based on data indicating the clothing worn by a person wearing multiple relay devices 2. This clothing data is, for example, pre-set by user U and stored in the storage unit 14. This configuration of the model creation unit 152 prevents a decrease in the accuracy of the radio wave propagation model due to user U's clothing.

また、ユーザＵの周囲の物体の有無及び物体の形状等によっても反射波及び回折波の発生状態が変化する。そこで、モデル作成部１５２は、複数の中継デバイス２の周囲が撮影された撮像画像データに写っている物体の形状及び位置にさらに基づいて電波伝搬モデルを作成してもよい。モデル作成部１５２がこのように構成されていることで、ユーザＵの周囲の状況によって電波伝搬モデルの精度に差が生じることを抑制できる。 Furthermore, the generation of reflected and diffracted waves changes depending on the presence and shape of objects surrounding the user U. Therefore, the model creation unit 152 may create a radio wave propagation model based on the shapes and positions of objects captured in the image data surrounding the multiple relay devices 2. This configuration of the model creation unit 152 suppresses differences in the accuracy of the radio wave propagation model depending on the surrounding conditions of the user U.

第１位置推定部１５３は、複数の慣性センサ２１が出力した複数の検出データに基づいて、複数の中継デバイス２それぞれの位置である第１推定位置を決定する。一例として、第１位置推定部１５３は、複数の中継デバイス２それぞれが装着される概略位置を示す装着位置データと、骨格推定部１５１が複数の検出データに基づいて生成した骨格データと、に基づいて、複数の中継デバイス２それぞれの位置である第１推定位置を決定する。第１位置推定部１５３は、例えば図６を参照しながら説明したように、骨格データにおける概略位置に対応する位置から概略位置に対応する距離だけ離れた位置を第１推定位置として推定する。 The first position estimation unit 153 determines the first estimated position, which is the position of each of the multiple relay devices 2, based on the multiple detection data output by the multiple inertial sensors 21. For example, the first position estimation unit 153 determines the first estimated position, which is the position of each of the multiple relay devices 2, based on mounting position data indicating the approximate mounting position of each of the multiple relay devices 2, and skeletal data generated by the skeletal estimation unit 151 based on the multiple detection data. As explained with reference to Figure 6, for example, the first position estimation unit 153 estimates the first estimated position as a position that is a distance corresponding to the approximate position in the skeletal data from the position corresponding to the approximate position.

具体的には、第１位置推定部１５３は、まず、例えば情報端末１が有する操作デバイスを介してユーザＵが設定した、複数の中継デバイス２の装着部位を概略位置として示す装着部位データを取得する。装着部位データは、「右手首」、「左手首」等のように、装着部位を識別するための情報を含むデータである。 Specifically, the first position estimation unit 153 first acquires attachment location data, which indicates the approximate locations of the attachment locations of multiple relay devices 2, as set by the user U via, for example, the operating device of the information terminal 1. The attachment location data includes information for identifying the attachment location, such as "right wrist" or "left wrist."

第１位置推定部１５３は、例えば上述したように、骨格データにおける情報端末１及び複数の中継デバイス２の装着部位に対応する概略位置の座標に、情報端末１及び複数の中継デバイス２の装着位置までの距離及び方向に基づく差分量を加算することにより、情報端末１及び複数の中継デバイス２の位置座標を算出する。第１位置推定部１５３は、決定した第１推定位置を位置特定部１５７に通知する。 The first position estimation unit 153 calculates the position coordinates of the information terminal 1 and the multiple relay devices 2 by adding a difference amount based on the distance and direction to the mounting positions of the information terminal 1 and the multiple relay devices 2 to the approximate position coordinates corresponding to the mounting locations of the information terminal 1 and the multiple relay devices 2 in the skeletal data, as described above. The first position estimation unit 153 notifies the position identification unit 157 of the determined first estimated position.

骨格データは、複数の中継デバイス２において測定された加速度又は角速度に基づいて最も確からしい骨格の状態を推定することにより生成されているので、一部の中継デバイス２で測定された加速度又は角速度に誤差がある場合であっても、誤差の影響が骨格データに表れにくい。したがって、第１位置推定部１５３が骨格データを用いて中継デバイス２の位置を推定することで、第１推定位置の精度が向上する。 Since the skeletal data is generated by estimating the most likely skeletal state based on acceleration or angular velocity measured at multiple relay devices 2, even if there are errors in the acceleration or angular velocity measured at some of the relay devices 2, the effect of these errors is less likely to appear in the skeletal data. Therefore, by using the skeletal data to estimate the position of the relay devices 2, the accuracy of the first estimated position is improved.

第１位置推定部１５３は、複数の中継デバイス２それぞれが装着される概略位置を示す装着位置データと、骨格データと、に基づいて、複数の中継デバイス２それぞれの向きを特定してもよい。第１位置推定部１５３は、例えば、骨格推定部１５１が作成した骨格データにおける装着位置データに基づいて決定した第１推定位置の近傍の骨の向きに基づいて、第１推定位置における複数の中継デバイス２それぞれの向きを特定する。 The first position estimation unit 153 may determine the orientation of each of the multiple relay devices 2 based on mounting position data indicating the approximate position where each of the multiple relay devices 2 is attached, and skeletal data. For example, the first position estimation unit 153 may determine the orientation of each of the multiple relay devices 2 at the first estimated position based on the orientation of bones near the first estimated position determined based on the mounting position data in the skeletal data created by the skeletal estimation unit 151.

第１位置推定部１５３は、複数の中継デバイス２を装着した人が撮影された撮像画像データを外部装置から取得し、当該撮像画像データに写っている人の身体と複数の中継デバイス２それぞれの位置との関係を特定した結果に基づいて第１推定位置を補正してもよい。例えば、ユーザＵが中継デバイス２の装着部位を「右手首」と設定したにもかかわらず、実際には右肘に中継デバイス２が装着されていたとする。このような場合、第１位置推定部１５３は、撮像画像データに基づいて概略位置が「右肘」であると判定した場合、右手首に対応する第１推定位置を、骨格データにおける右肘に対応する位置に補正する。第１位置推定部１５３がこのように動作することで、ユーザＵが装着位置の設定を間違ったり、中継デバイス２の装着位置を間違ったりした場合であっても、第１位置推定部１５３が中継デバイス２の位置を正しく推定することができる。 The first position estimation unit 153 may acquire image data from an external device showing a person wearing multiple relay devices 2, and correct the first estimated position based on the results of identifying the relationship between the person's body in the image data and the positions of each of the multiple relay devices 2. For example, suppose user U sets the attachment site for the relay device 2 to "right wrist," but the relay device 2 is actually attached to the right elbow. In such a case, if the first position estimation unit 153 determines that the approximate position is "right elbow" based on the image data, it corrects the first estimated position corresponding to the right wrist to the position corresponding to the right elbow in the skeletal data. This operation allows the first position estimation unit 153 to correctly estimate the position of the relay device 2 even if user U makes a mistake in setting the attachment position or attaching the relay device 2 incorrectly.

なお、第１位置推定部１５３は、骨格データを用いることなく中継デバイス２の位置を推定してもよい。第１位置推定部１５３は、例えば、慣性センサ２１が出力した中継デバイス２の加速度又は角速度に基づいて、直前に位置特定部１５７が特定した中継デバイス２の位置からの移動量及び移動向きを特定し、直前の中継デバイス２の位置に、特定した移動量を特定した移動向きの方向に加算することで第１推定位置を決定してもよい。 Furthermore, the first position estimation unit 153 may estimate the position of the relay device 2 without using skeletal data. For example, the first position estimation unit 153 may determine the first estimated position by determining the amount and direction of movement from the position of the relay device 2 previously determined by the position determination unit 157, based on the acceleration or angular velocity of the relay device 2 output by the inertial sensor 21, and adding the determined amount of movement in the direction of the determined movement to the previous position of the relay device 2.

電波測定部１５４は、例えば第２位置推定部１５５又は位置特定部１５７が直前の処理タイミングで特定した複数の中継デバイス２の位置に基づいて決定した掃引範囲で電波を掃引することにより、複数の中継デバイス２それぞれから受信した電波の到来方向及び強度を含む電波状態を測定する。 The radio wave measurement unit 154 measures the radio wave conditions, including the direction of arrival and intensity of the radio waves received from each of the multiple relay devices 2, by sweeping the radio waves within a sweep range determined based on the positions of the multiple relay devices 2 identified by, for example, the second position estimation unit 155 or the position identification unit 157 at the immediately preceding processing timing.

具体的には、電波測定部１５４は、受信アンテナ１３が向くことができる複数の方向のうち、複数の第２推定位置それぞれに対応する掃引範囲内の複数の方向に受信アンテナ１３を順次向けるように受信アンテナ１３を制御する。電波測定部１５４は、複数の方向に受信アンテナ１３を順次向けながら、それぞれの方向において受信アンテナ１３が受信した電波の強度を測定し、強度が最も大きい方向を電波の到来方向とする。電波測定部１５４は、複数の中継デバイス２それぞれが送信する位置推定用信号に含まれる中継デバイスＩＤに基づいて、複数の中継デバイス２それぞれが送信する電波の到来方向及び強度を特定する。 Specifically, the radio wave measurement unit 154 controls the receiving antenna 13 to sequentially orient it in multiple directions within the sweep range corresponding to each of the multiple second estimated positions, from among the multiple directions the receiving antenna 13 can face. While sequentially orienting the receiving antenna 13 in multiple directions, the radio wave measurement unit 154 measures the intensity of the radio waves received by the receiving antenna 13 in each direction, and determines the direction with the greatest intensity as the direction of arrival of the radio waves. Based on the relay device ID included in the position estimation signal transmitted by each of the multiple relay devices 2, the radio wave measurement unit 154 identifies the direction of arrival and intensity of the radio waves transmitted by each of the multiple relay devices 2.

電波測定部１５４は、第２位置推定部１５５又は位置特定部１５７が直前の処理タイミングで特定した複数の中継デバイス２それぞれの向きにさらに基づいて掃引範囲を決定してもよい。電波測定部１５４は、中継デバイス２の向きが、中継デバイス２が送信した電波が身体のいずれかの部位で反射して情報端末１に到達する可能性がある向きである場合に、反射波が到来する方向を掃引範囲に含むようにする。 The radio wave measurement unit 154 may further determine the sweep range based on the orientation of each of the multiple relay devices 2 identified by the second position estimation unit 155 or the position identification unit 157 at the immediately preceding processing timing. The radio wave measurement unit 154 ensures that the sweep range includes the direction from which the reflected waves arrive when the orientation of the relay device 2 is such that radio waves transmitted by the relay device 2 could potentially be reflected by any part of the body and reach the information terminal 1.

第２位置推定部１５５は、電波状態に基づいて、複数の中継デバイス２の位置である第２推定位置を決定する。第２位置推定部１５５は、情報端末１の位置を基準として、電波測定部１５４が測定した電波の到来方向において、電波測定部１５４が測定した電波の強度に対応する距離に中継デバイス２があると判定する。第２位置推定部１５５は、位置推定用電波の到来方向及び強度を電波伝搬モデルにより補正した補正方向及び補正強度に基づいて、複数の中継デバイス２の第２推定位置を決定する。 The second position estimation unit 155 determines the second estimated position, which is the position of the multiple relay devices 2, based on the radio wave conditions. Using the position of the information terminal 1 as a reference, the second position estimation unit 155 determines that the relay devices 2 are located at a distance corresponding to the radio wave intensity measured by the radio wave measurement unit 154, in the direction of arrival of the radio waves measured by the radio wave measurement unit 154. The second position estimation unit 155 then determines the second estimated position of the multiple relay devices 2 based on the corrected direction and corrected intensity obtained by correcting the direction of arrival and intensity of the position estimation radio waves using a radio wave propagation model.

第２位置推定部１５５は、例えば位置推定用電波の到来方向及び強度を電波伝搬モデルに入力し、電波伝搬モデルから出力される補正方向及び補正強度を取得することにより、第２推定位置を決定する。第２位置推定部１５５は、位置推定用電波の到来方向及び強度を、電波伝搬モデルが示す演算式に入力することにより補正方向及び補正強度を取得してもよい。第２位置推定部１５５は、複数の中継デバイス２それぞれに対して、情報端末１の位置を基準とする中継デバイス２の第２推定位置を特定する。第２位置推定部１５５は、第２推定位置を重み決定部１５６に通知する。 The second position estimation unit 155 determines the second estimated position by, for example, inputting the direction of arrival and intensity of the position estimation radio waves into the radio wave propagation model and obtaining the correction direction and correction intensity output from the radio wave propagation model. The second position estimation unit 155 may also obtain the correction direction and correction intensity by inputting the direction of arrival and intensity of the position estimation radio waves into the calculation formula shown by the radio wave propagation model. For each of the multiple relay devices 2, the second position estimation unit 155 identifies the second estimated position of the relay device 2 based on the position of the information terminal 1. The second position estimation unit 155 notifies the weight determination unit 156 of the second estimated position.

重み決定部１５６は、慣性センサ１１及び慣性センサ２１が出力した検出データの第１信頼度又は受信アンテナ１３が受信した電波状態の第２信頼度に基づいて、位置特定部１５７が複数の中継デバイス２それぞれの位置を特定するために実行する演算における第１推定位置の第１重みと第２推定位置の第２重みとを決定する。重み決定部１５６は、例えば、受信アンテナ１３が受信した電波の強度が小さいほど、又は電波の到来方向の分散が大きいほど第２信頼度が低いと判定して第１重みに対する第２重みの比を小さくする。 The weight determination unit 156 determines the first weight for the first estimated position and the second weight for the second estimated position in the calculation performed by the position identification unit 157 to identify the position of each of the multiple relay devices 2, based on the first confidence level of the detection data output by the inertial sensors 11 and 21, or the second confidence level of the radio wave conditions received by the receiving antenna 13. For example, the weight determination unit 156 determines that the second confidence level is lower the smaller the intensity of the radio waves received by the receiving antenna 13, or the greater the dispersion in the direction of arrival of the radio waves, and reduces the ratio of the second weight to the first weight.

一方、重み決定部１５６は、中継デバイス２の周辺の温度又は湿度と、中継デバイス２の動作に適した所定の温度又は湿度との差が大きいほど第１信頼度が低いと判定して第１重みに対する第２重みの比を大きくしてもよい。重み決定部１５６は、複数の中継デバイス２の周辺の温度又は湿度を特定するために、不図示の温度センサ又は湿度センサから、温度又は湿度を示す環境データを取得してもよく、ユーザＵにより入力された環境データを取得してもよい。 On the other hand, the weight determination unit 156 may determine that the greater the difference between the temperature or humidity around the relay device 2 and a predetermined temperature or humidity suitable for the operation of the relay device 2, the lower the first reliability, and may increase the ratio of the second weight to the first weight. To determine the temperature or humidity around multiple relay devices 2, the weight determination unit 156 may acquire environmental data indicating temperature or humidity from a temperature sensor or humidity sensor (not shown), or it may acquire environmental data input by the user U.

重み決定部１５６は、慣性センサ１１及び慣性センサ２１が出力した加速度又は角速度が予め設定された正常範囲外の異常な値を示している場合に、第１重みに対する第２重みの比を大きくしてもよい。重み決定部１５６は、受信アンテナ１２が受信した電波の強度が小さいほど第１重みに対する第２重みの比を小さくしてもよい。 The weight determination unit 156 may increase the ratio of the second weight to the first weight when the acceleration or angular velocity output by the inertial sensors 11 and 21 shows abnormal values outside a preset normal range. The weight determination unit 156 may also decrease the ratio of the second weight to the first weight as the intensity of the radio waves received by the receiving antenna 12 decreases.

なお、複数の中継デバイス２の位置によって温度が異なったり、中継デバイス２から情報端末１への電波の伝搬路の状態が異なったりし得る。そこで、重み決定部１５６は、複数の中継デバイス２が装着された位置ごとに第１重みと第２重みとを決定してもよい。重み決定部１５６は、複数の中継デバイス２それぞれに対して、第１重み及び第２重みを決定してもよい。 Furthermore, the temperature may differ depending on the location of the multiple relay devices 2, and the state of the radio wave propagation path from the relay devices 2 to the information terminal 1 may also differ. Therefore, the weight determination unit 156 may determine a first weight and a second weight for each location where the multiple relay devices 2 are installed. Alternatively, the weight determination unit 156 may determine a first weight and a second weight for each of the multiple relay devices 2.

位置特定部１５７は、第１推定位置と第２推定位置とを変数として含む所定の演算をすることにより、複数の中継デバイス２それぞれの位置を特定する。位置特定部１５７は、例えば、第１推定位置及び第２推定位置の平均値又は中央値を、複数の中継デバイス２それぞれの位置とする。 The position determination unit 157 determines the position of each of the multiple relay devices 2 by performing a predetermined calculation that includes the first estimated position and the second estimated position as variables. For example, the position determination unit 157 uses the average or median value of the first estimated position and the second estimated position as the position of each of the multiple relay devices 2.

しかしながら、上述のとおり、慣性センサ１１及び慣性センサ２１の周囲の環境によっては、慣性センサ１１及び慣性センサ２１が出力した検出データに基づく第１推定位置の第１信頼度が低いという場合がある。また、情報端末１及び中継デバイス２の周囲の環境によっては、受信アンテナ１３が受信した電波状態に基づく第２推定位置の第２信頼度が低いという場合もある。 However, as described above, depending on the environment surrounding the inertial sensors 11 and 21, the first confidence level of the first estimated position based on the detection data output by the inertial sensors 11 and 21 may be low. Furthermore, depending on the environment surrounding the information terminal 1 and the relay device 2, the second confidence level of the second estimated position based on the radio wave conditions received by the receiving antenna 13 may be low.

そこで、位置特定部１５７は、例えば、重み決定部１５６と連動してカルマンフィルタとして機能し、複数の中継デバイス２の位置を第１推定位置及び第２推定位置よりも高い精度で特定する。位置特定部１５７は、第１重み及び第２重みに基づいて第１推定位置及び第２推定位置を加重平均することにより、複数の中継デバイス２それぞれの位置を特定する。 Therefore, the position determination unit 157 functions as a Kalman filter, for example, in conjunction with the weight determination unit 156, to determine the positions of the multiple relay devices 2 with higher accuracy than the first and second estimated positions. The position determination unit 157 determines the position of each of the multiple relay devices 2 by weighting the first and second estimated positions based on the first and second weights.

具体的には、位置特定部１５７は、例えば以下の演算式１により複数の中継デバイス２それぞれの位置を特定する。重み決定部１５６が複数の中継デバイス２が装着された位置ごとに異なる第１重み及び第２重みを決定した場合、位置特定部１５７は、複数の中継デバイス２が装着された位置ごとに演算式１により位置を特定する。重み決定部１５６が複数の中継デバイス２それぞれに対して異なる第１重み及び第２重みを決定した場合、位置特定部１５７は、複数の中継デバイス２それぞれに対して演算式１により位置を特定する。
［演算式１］
中継デバイス２の位置＝第１推定位置×第１重み＋第２推定位置×第２重み
ただし、第１重み＋第２重み＝１ Specifically, the position identification unit 157 identifies the position of each of the multiple relay devices 2 using, for example, the following calculation formula 1. If the weight determination unit 156 determines different first and second weights for each of the multiple relay devices 2 installed, the position identification unit 157 identifies the position for each of the multiple relay devices 2 installed using the calculation formula 1. If the weight determination unit 156 determines different first and second weights for each of the multiple relay devices 2, the position identification unit 157 identifies the position for each of the multiple relay devices 2 using the calculation formula 1.
[Equation 1]
The position of relay device 2 = first estimated position × first weight + second estimated position × second weight, where first weight + second weight = 1

位置特定部１５７が、このように慣性センサ１１及び慣性センサ２１の検出データに基づく第１推定位置、及び電波に基づく第２推定位置のそれぞれの信頼度に基づいて加重平均することで、特定される複数の中継デバイス２それぞれの位置の精度が向上する。 The position identification unit 157 improves the accuracy of the position of each of the identified relay devices 2 by performing a weighted average based on the reliability of the first estimated position, which is determined from the detection data of the inertial sensors 11 and 21, and the second estimated position, which is determined from radio waves.

［通信システムＳにおける処理の流れ］
図８は、通信システムＳにおける処理の流れを示すフローチャートである。図８に示すフローチャートは、情報端末１及び中継デバイス２の電源が投入された時点から開始している。 [Processing flow in communication system S]
Figure 8 is a flowchart showing the processing flow in the communication system S. The flowchart shown in Figure 8 starts from the moment the power to the information terminal 1 and the relay device 2 is turned on.

中継デバイス２は、慣性センサ２１が検出した加速度又は角速度を示す検出データを送信し（Ｓ２１）、位置推定用電波を送信する（Ｓ２２）。情報端末１は、中継デバイス２が送信した検出データを受信アンテナ１２で受信する（Ｓ１１）。骨格推定部１５１は、直前の骨格の状態と、直前の複数の中継デバイス２の位置と、検出データが示す複数の中継デバイス２の加速度又は角速度と、に基づいて、現在の骨格の状態を推定して骨格データを生成する（Ｓ１２）。続いて、第１位置推定部１５３は、生成された骨格データに基づいて、複数の中継デバイス２の位置（第１推定位置）を推定する（Ｓ１３）。 The relay device 2 transmits detection data indicating the acceleration or angular velocity detected by the inertial sensor 21 (S21) and transmits radio waves for position estimation (S22). The information terminal 1 receives the detection data transmitted by the relay device 2 with the receiving antenna 12 (S11). The skeleton estimation unit 151 estimates the current skeleton state and generates skeleton data based on the previous skeleton state, the previous positions of the multiple relay devices 2, and the acceleration or angular velocity of the multiple relay devices 2 indicated by the detection data (S12). Subsequently, the first position estimation unit 153 estimates the positions (first estimated positions) of the multiple relay devices 2 based on the generated skeleton data (S13).

第１位置推定部１５３の動作と並行して、モデル作成部１５２は、電波伝搬モデルを作成する（Ｓ１４）。電波測定部１５４は、推定された複数の中継デバイス２の位置に基づく方向で電波を掃引することにより、中継デバイス２が送信した位置推定用電波を受信し、第２位置推定部１５５は、電波伝搬モデルと、受信した位置推定用電波が示す電波状態とに基づいて、複数の中継デバイス２それぞれの位置（第２推定位置）を推定する（Ｓ１５）。 In parallel with the operation of the first position estimation unit 153, the model creation unit 152 creates a radio wave propagation model (S14). The radio wave measurement unit 154 receives position estimation radio waves transmitted by the relay devices 2 by sweeping the radio waves in a direction based on the estimated positions of the multiple relay devices 2. The second position estimation unit 155 then estimates the position of each of the multiple relay devices 2 (second estimated position) based on the radio wave propagation model and the radio wave conditions indicated by the received position estimation radio waves (S15).

位置特定部１５７は、第１重み及び第２重みを用いた加重平均により、複数の中継デバイス２それぞれの位置を特定する（Ｓ１６）。位置特定部１５７が特定した最新の位置は、次の処理タイミングでモデル作成部１５２が電波伝搬モデルを作成する際、及び骨格推定部１５１が骨格データを生成する際に使用される。 The position identification unit 157 identifies the position of each of the multiple relay devices 2 by weighted averaging using the first and second weights (S16). The latest position identified by the position identification unit 157 is used when the model creation unit 152 creates a radio wave propagation model and when the skeleton estimation unit 151 generates skeleton data at the next processing timing.

［通信システムＳによる効果］
以上説明したように、情報端末１は、情報端末１が装着される端末概略位置と、複数の中継デバイス２それぞれが装着される複数のデバイス概略位置と、を示す装着位置データと、骨格データと、に基づいて、情報端末１と複数の中継デバイス２それぞれとの間の複数の電波伝搬モデルを作成する。そして、第２位置推定部１５５は、位置推定用電波の到来方向及び強度を電波伝搬モデルにより補正した補正方向及び補正強度に基づいて、複数の中継デバイス２の推定位置を決定する。情報端末１がこのように構成されていることで、ユーザＵの姿勢が変化した場合であっても、姿勢に応じた反射波及び回折波の影響が考慮されて複数の中継デバイス２の位置が推定されるので、推定精度が向上する。 [Effects of communication system S]
As described above, the information terminal 1 creates multiple radio wave propagation models between the information terminal 1 and each of the multiple relay devices 2 based on mounting position data indicating the approximate terminal position on which the information terminal 1 is attached, the approximate device positions on which each of the multiple relay devices 2 is attached, and skeletal data. The second position estimation unit 155 then determines the estimated positions of the multiple relay devices 2 based on the corrected direction and corrected intensity obtained by correcting the direction and intensity of the radio waves used for position estimation using the radio wave propagation model. With the information terminal 1 configured in this way, even if the user U's posture changes, the positions of the multiple relay devices 2 are estimated by taking into account the effects of reflected and diffracted waves according to the posture, thus improving the estimation accuracy.

なお、以上の説明においては、制御部１５が第１位置推定部１５３を有しており、位置特定部１５７が、第１推定位置及び第２推定位置を加重平均したが、制御部１５が第１位置推定部１５３を有しておらず、位置特定部１５７が第２推定位置を中継デバイス２の位置であるとしてもよい。 In the above explanation, the control unit 15 has a first position estimation unit 153, and the position identification unit 157 performs a weighted average of the first estimated position and the second estimated position. However, the control unit 15 may not have a first position estimation unit 153, and the position identification unit 157 may use the position of the relay device 2 as the second estimated position.

なお、本発明により、国連が主導する持続可能な開発目標（SDGs）の目標９「産業と技術革新の基盤をつくろう」に貢献することが可能となる。 Furthermore, this invention will make it possible to contribute to Goal 9 of the United Nations-led Sustainable Development Goals (SDGs), "Build resilient infrastructure, promote inclusive and sustainable industrialization and foster innovation."

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes are possible within the scope of its gist. For example, all or part of the device can be configured by functionally or physically distributing and integrating them in any unit. Furthermore, new embodiments resulting from any combination of multiple embodiments are also included in the embodiments of the present invention. The effects of the new embodiments resulting from the combinations are combined with the effects of the original embodiments.

１情報端末
２中継デバイス
３基地局
１１慣性センサ
１２受信アンテナ
１３受信アンテナ
１４記憶部
１５制御部
２１慣性センサ
２２送信アンテナ
２３データ生成部
２４送信アンテナ
１５１骨格推定部
１５２モデル作成部
１５３第１位置推定部
１５４電波測定部
１５５第２位置推定部
１５６決定部
１５７位置特定部 1 Information terminal 2 Relay device 3 Base station 11 Inertial sensor 12 Receiving antenna 13 Receiving antenna 14 Storage unit 15 Control unit 21 Inertial sensor 22 Transmitting antenna 23 Data generation unit 24 Transmitting antenna 151 Skeleton estimation unit 152 Model creation unit 153 First position estimation unit 154 Radio wave measurement unit 155 Second position estimation unit 156 Determination unit 157 Position identification unit

Claims

The system comprises an information terminal and a plurality of relay devices that can communicate with the information terminal and a base station of a mobile phone network while being worn on a person's body.
Each of the plurality of relay devices has a detection unit that outputs detection data of at least one of the acceleration and angular velocity of the relay device.
The aforementioned information terminal is
A data receiving unit that receives the detection data from each of the multiple relay devices,
A skeleton estimation unit that generates skeleton data indicating the skeleton of a person to whom the multiple relay devices are attached, estimated based on the multiple detection data corresponding to the multiple relay devices,
A model creation unit creates multiple radio wave propagation models between the information terminal and each of the multiple relay devices based on mounting position data indicating the approximate terminal location where the information terminal is mounted, the approximate device locations where each of the multiple relay devices is mounted, and the skeletal data.
A radio wave measuring unit measures the radio wave conditions, including the direction of arrival and intensity of radio waves received from each of the plurality of relay devices, by sweeping radio waves within a predetermined sweep range.
A position estimation unit that determines the estimated positions of the plurality of relay devices based on the corrected direction and corrected intensity obtained by correcting the aforementioned direction of arrival and the aforementioned intensity using the radio wave propagation model,
It has,
The radio wave measurement unit sweeps the radio waves within the sweep range determined based on the estimated position determined by the position estimation unit immediately beforehand.
Communication system.

The model creation unit estimates a terminal position, which is the location of the information terminal, at a distance corresponding to the terminal approximate position in the skeletal data, and estimates a device position, which is the location of the relay device, at a distance corresponding to the device approximate position in the skeletal data, and creates the radio wave propagation model based on the terminal position, the device position, and the position and orientation of the skeleton indicated by the skeletal data within a predetermined range from the terminal position and the device position.
The communication system according to claim 1.

The model creation unit creates a radio wave propagation model that reflects the effects of reflected waves generated when radio waves emitted from the device location are reflected by a part of the human body corresponding to the skeletal data as they propagate to the terminal location, or diffracted waves generated when radio waves emitted from the device location bend around the back of a part of the human body corresponding to the skeletal data as they propagate to the terminal location.
The communication system according to claim 2.

The model creation unit further determines the terminal position and the device position based on the results of determining the relationship between the person's body captured in the image data taken by a person wearing the multiple relay devices and the position of each of the multiple relay devices.
The communication system according to claim 2.

The model creation unit further creates the radio wave propagation model based on data indicating the clothing worn by the person wearing the multiple relay devices.
A communication system according to any one of claims 1 to 4.

The model creation unit further creates the radio wave propagation model based on the shapes and positions of objects captured in the image data of the surrounding area of the multiple relay devices.
A communication system according to any one of claims 1 to 4.

The skeleton estimation unit generates the skeleton data by inputting a plurality of detection data corresponding to the plurality of relay devices into a skeleton estimation model that outputs the skeleton data.
The communication system according to claim 1.

The skeleton estimation unit generates the skeleton data using the skeleton estimation model selected from a plurality of candidate skeleton estimation models based on the type or number of the plurality of relay devices.
The communication system according to claim 7.

The position estimation unit further estimates the orientation of each of the plurality of relay devices,
The radio wave measurement unit further determines the sweep range based on the orientation of each of the plurality of relay devices estimated by the position estimation unit.
The communication system according to claim 1.

An information terminal capable of communicating with multiple relay devices,
A data receiving unit that receives detection data from each of the plurality of relay devices indicating at least one of the acceleration and angular velocity of the relay device,
A skeleton estimation unit that generates skeleton data indicating the skeleton of a person to whom the multiple relay devices are attached, estimated based on the multiple detection data corresponding to the multiple relay devices,
A model creation unit creates multiple radio wave propagation models between the information terminal and each of the multiple relay devices based on mounting position data indicating the approximate terminal location where the information terminal is mounted, the approximate device locations where each of the multiple relay devices is mounted, and the skeletal data.
A radio wave measuring unit that measures the direction of arrival and intensity of radio waves received from each of the multiple relay devices by sweeping radio waves within a predetermined sweep range,
A position estimation unit that determines the estimated positions of the plurality of relay devices based on the corrected direction and corrected intensity obtained by correcting the aforementioned direction of arrival and the aforementioned intensity using the radio wave propagation model,
It has,
The radio wave measurement unit sweeps the radio waves within the sweep range determined based on the estimated position determined by the position estimation unit immediately beforehand.
Information terminal.

A program executed by a processor in an information terminal capable of communicating with multiple relay devices, wherein the execution of the program causes the processor to...
A data receiving unit that receives detection data from each of the plurality of relay devices indicating at least one of the acceleration and angular velocity of the relay device,
A skeleton estimation unit that generates skeleton data indicating the skeleton of a person to whom the multiple relay devices are attached, estimated based on the multiple detection data corresponding to the multiple relay devices,
A model creation unit creates multiple radio wave propagation models between the information terminal and each of the multiple relay devices based on mounting position data indicating the approximate terminal location where the information terminal is mounted, the approximate device locations where each of the multiple relay devices is mounted, and the skeletal data.
A radio wave measuring unit measures the radio wave conditions, including the direction of arrival and intensity of radio waves received from each of the plurality of relay devices, by sweeping radio waves within a predetermined sweep range.
A position estimation unit that determines the estimated positions of the plurality of relay devices based on the corrected direction and corrected intensity obtained by correcting the aforementioned direction of arrival and the aforementioned intensity using the radio wave propagation model,
To make it function as,
The radio wave measurement unit sweeps the radio waves within the sweep range determined based on the estimated position determined by the position estimation unit immediately beforehand.
program.