JP7790267B2

JP7790267B2 - Apparatus and method for keypoint recognition based on radio radar signals

Info

Publication number: JP7790267B2
Application number: JP2022073909A
Authority: JP
Inventors: ジャオ・チエヌ; リ・ホォンチュヌ; ティアン・ジュン; シエ・リリ
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2021-06-01
Filing date: 2022-04-27
Publication date: 2025-12-23
Anticipated expiration: 2042-04-27
Also published as: CN115436894A; JP2022184745A; CN115436894B

Description

本発明は、レーダーによる検出の技術分野に関する。 The present invention relates to the technical field of radar detection.

人体の動作を検出する過程では人体のキーポイント（特徴点ともいう）、例えば、頭、首、腕、足、腰などを検出することができる。人体キーポイント検出は幅広い適用シナリオがあり、スマートホーム、ヘルスモニタリング、行動理解などのアプリケーションの重要な技術である。 In the process of detecting human body movements, key points (also known as feature points) on the human body, such as the head, neck, arms, legs, and waist, can be detected. Human body key point detection has a wide range of application scenarios and is an important technology for applications such as smart homes, health monitoring, and behavior understanding.

今のところ、ビデオに基づく人体キーポイント検出技術が広く使用されている。しかし、ビデオはプライバシーを侵害する場合があり、プライベートな状況では使用することができない。また、ビデオに基づくキーポイント検出は環境（例えば、ブロッキング、照明、煙霧など）の影響を大きく受けるため、光無しやブロッキング有りのようなシーンで役割を果たすことができず、さらに、衣服、姿勢、視点などの影響を大きく受けることもある。 Currently, video-based human body keypoint detection technology is widely used. However, video can invade privacy and cannot be used in private situations. Furthermore, video-based keypoint detection is heavily affected by the environment (e.g., blocking, lighting, haze, etc.), making it ineffective in scenes with no light or blocking. Furthermore, it can also be heavily affected by clothing, pose, viewpoint, etc.

対して、レーダーは無線信号によりオブジェクト（例えば、人体）を検出するため、プライバシーを曝すことがなく、照明などの外部条件に依存せず、部分的に遮られたシーンでも正常に機能することができる。よって、レーダーに基づくキーポイント検出はビデオに基づく検出の不足を補うことができる。 In contrast, radar detects objects (e.g., human bodies) using radio signals, so it does not expose privacy, is independent of external conditions such as lighting, and can work well even in partially obstructed scenes. Therefore, radar-based keypoint detection can compensate for the shortcomings of video-based detection.

しかしながら、発明者が次のようなことを発見した。即ち、従来のレーダーベースのキーポイント検出は少数の特定のアクション（動作や動き）しか検出できず、その応用シナリオを大幅に制限している。 However, the inventors discovered that conventional radar-based keypoint detection can only detect a small number of specific actions (movements or movements), significantly limiting its application scenarios.

上述のような技術的問題を解決するために、本発明の実施例は無線レーダー信号に基づくキーポイント検出装置及び方法を提供する。これにより、レーダーポイントクラウド（点群）に基づいてオブジェクト（例えば、人体）のキーポイントを検出することができるだけでなく、動作の類別（カテゴリ）に限定されず、必要な計算リソースが少なく、かつ検出の正確度が高い。 To solve the above-mentioned technical problems, an embodiment of the present invention provides a keypoint detection device and method based on wireless radar signals, which not only can detect keypoints of an object (e.g., a human body) based on a radar point cloud, but also is not limited to action categories, requires fewer computational resources, and has high detection accuracy.

本発明の実施例の1つの側面によれば、無線レーダー信号に基づくキーポイント検出装置が提供され、それは、
レーダーによりオブジェクトを検出（感知）してポイントクラウドデータを取得する検出ユニット；
所定期間内に取得されるポイントクラウドデータに対して特徴抽出を行い、反射ポイントクラウドの第一空間特徴データ、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データを取得する特徴抽出ユニット；
前記第一空間特徴データ、前記ドップラー速度特徴データ、前記反射エネルギー特徴データ、前記密度分布特徴データ及び前記時間分布特徴データをカスケード接続するカスケード接続ユニット；
ニューラルネットワークに基づく融合特徴抽出モデルを用いてカスケード接続後の特徴データを検出し、融合特徴情報を取得する特徴検出ユニット；及び
ニューラルネットワークに基づくキーポイント検出モデルを用いて前記融合特徴情報を検出し、前記オブジェクトのキーポイントデータを出力するキーポイント検出ユニットを含む。 According to one aspect of an embodiment of the present invention, there is provided a keypoint detection device based on a radio radar signal, which includes:
A detection unit that detects (senses) objects using radar and acquires point cloud data;
a feature extraction unit that performs feature extraction on the point cloud data acquired within a predetermined period of time to obtain first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data and time distribution feature data of the reflection point cloud;
a cascade connection unit for cascading the first spatial feature data, the Doppler velocity feature data, the reflected energy feature data, the density distribution feature data, and the time distribution feature data;
The method includes a feature detection unit that uses a neural network-based fusion feature extraction model to detect the cascaded feature data and obtain fusion feature information; and a keypoint detection unit that uses a neural network-based keypoint detection model to detect the fusion feature information and output keypoint data of the object.

本発明の実施例のもう1つの側面によれば、無線レーダー信号に基づくキーポイント検出方法が提供され、それは、
レーダーによりオブジェクトを検出（感知）してポイントクラウドデータを取得し；
所定期間内に取得されるポイントクラウドデータに対して特徴抽出を行い、反射ポイントクラウドの第一空間特徴データ、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データを取得し；
前記第一空間特徴データ、前記ドップラー速度特徴データ、前記反射エネルギー特徴データ、前記密度分布特徴データ及び前記時間分布特徴データをカスケード接続し；
ニューラルネットワークに基づく融合特徴抽出モデルを用いてカスケード接続後の特徴データを検出し、融合特徴情報を取得し；及び
ニューラルネットワークに基づくキーポイント検出モデルを用いて前記融合特徴情報を検出し、前記オブジェクトのキーポイントデータを出力することを含む。 According to another aspect of an embodiment of the present invention, there is provided a keypoint detection method based on a wireless radar signal, which includes:
Detect (sense) objects using radar and obtain point cloud data;
Perform feature extraction on the point cloud data acquired within a predetermined period to obtain first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data, and time distribution feature data of the reflection point cloud;
cascading the first spatial feature data, the Doppler velocity feature data, the reflected energy feature data, the density distribution feature data, and the time distribution feature data;
Detecting the cascaded feature data using a neural network-based fusion feature extraction model to obtain fusion feature information; and detecting the fusion feature information using a neural network-based keypoint detection model to output keypoint data of the object.

本発明の実施例の有利な効果は次のとおりであり、即ち、所定期間内に取得されるポイントクラウドデータに対して特徴抽出を行い、反射ポイントクラウドの第一空間特徴データ、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データを取得し；ニューラルネットワークに基づく融合特徴抽出モデルを用いてカスケード接続後の特徴データを検出し、融合特徴情報を取得し；及び、ニューラルネットワークに基づくキーポイント検出モデルを用いて前記融合特徴情報を検出し、オブジェクトのキーポイントデータを出力することにより、レーダーポイントクラウドに基づいてオブジェクト（例えば、人体）のキーポイントを検出することができるとともに、動作のカテゴリに限定されず、必要な計算リソースが少なく、かつ検出の正確度が高く；さらに、実現及び操作が簡単であり、ノイズ耐性が高く、かつプライバシー保護に優れている。 The advantageous effects of an embodiment of the present invention are as follows: feature extraction is performed on point cloud data acquired within a predetermined period of time to obtain first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data, and time distribution feature data of the reflection point cloud; the cascaded feature data is detected using a neural network-based fusion feature extraction model to obtain fusion feature information; and the fusion feature information is detected using a neural network-based keypoint detection model to output keypoint data of the object, thereby enabling keypoints of an object (e.g., a human body) to be detected based on the radar point cloud, without being limited to action categories, requiring few computational resources, and achieving high detection accuracy; furthermore, the present invention is simple to implement and operate, has high noise resistance, and provides excellent privacy protection.

本発明の実施例における無線レーダー信号ベースのキーポイント検出方法を示す図である。FIG. 1 illustrates a wireless radar signal-based keypoint detection method according to an embodiment of the present invention. 本発明の実施例における人体のキーポイントの一例を示す図である。FIG. 2 is a diagram showing an example of key points of a human body in an embodiment of the present invention. 本発明の実施例における反射点間距離を示す図である。FIG. 10 is a diagram showing the distance between reflection points in an embodiment of the present invention. 本発明の実施例における複数のネットワークモデルを示す図である。FIG. 1 illustrates a plurality of network models in an embodiment of the present invention. 本発明の実施例における特徴データを示す図である。FIG. 10 is a diagram showing feature data in the embodiment of the present invention. 本発明の実施例における空間特徴データの変換を示す図である。FIG. 10 is a diagram illustrating the transformation of spatial feature data in an embodiment of the present invention. 本発明の実施例におけるニューラルネットワークベースの空間変換モデルを示す図である。FIG. 1 illustrates a neural network-based spatial transformation model in an embodiment of the present invention. 本発明の実施例における複数のネットワークモデルを示す他の図である。FIG. 10 is another diagram illustrating multiple network models in an embodiment of the present invention. 本発明の実施例におけるニューラルネットワークベースの融合特徴抽出モデルを示す図である。FIG. 1 illustrates a neural network-based feature fusion model in an embodiment of the present invention. 本発明の実施例におけるニューラルネットワークベースのキーポイント検出モデルを示す図である。FIG. 1 illustrates a neural network-based keypoint detection model in an embodiment of the present invention. 本発明の実施例における無線レーダー信号ベースのキーポイント認識装置を示す図である。FIG. 1 illustrates a wireless radar signal based keypoint recognition device in an embodiment of the present invention. 本発明の実施例における電子機器を示す図である。1 is a diagram illustrating an electronic device according to an embodiment of the present invention.

以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、このような実施例は例示に過ぎず、本発明を限定するものではない。 Below, preferred embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings. Note that these embodiments are merely illustrative and do not limit the present invention.

本発明の実施例ではレーダーがミリ波（mm Wave）レーダーであっても良いが、これに限られない。該レーダーは送信アンテナにより電磁波を送信し、電磁波が異なるオブジェクトにより反射後に、その対応する反射波（レーダーエコー情報ともいう）を受信する。レーダーエコー情報を分析することで、オブジェクトからレーダーまでの距離（位置）、径方向移動速度などの情報を効果的に抽出することができ、これらの情報は多くの適用シナリオのニーズを満たすことができる。 In embodiments of the present invention, the radar may be, but is not limited to, a millimeter wave (mm Wave) radar. The radar transmits electromagnetic waves through a transmitting antenna and receives corresponding reflected waves (also known as radar echo information) after the electromagnetic waves are reflected by different objects. By analyzing the radar echo information, information such as the distance (position) from the object to the radar and its radial movement speed can be effectively extracted, which can meet the needs of many application scenarios.

本発明の実施例では、検出目標（ターゲット）としてのオブジェクトは様々な年齢の人々、例えば、高齢者や子供であっても良く、高齢者及び/又は看護スタッフ、子供及び/又は看護スタッフであっても良い。本発明はこれに限定されず、検出目標としてのオブジェクトはさらに生命現象を有する動物や生命現象を有しないロボットなどであり得る。以下、人体を例にして説明を行う。 In embodiments of the present invention, the detection target object may be people of various ages, such as elderly people and children, or elderly people and/or nursing staff, or children and/or nursing staff. The present invention is not limited to this, and the detection target object may also be a living animal or an inanimate robot. The following explanation will be given using the human body as an example.

＜第一側面の実施例＞
本発明の実施例では無線レーダー信号に基づくキーポイント検出方法が提供される。図1は本発明の実施例における無線レーダー信号に基づくキーポイント検出方法を示す図である。図1に示すように、該方法は以下のステップを含む。 <Example of the first aspect>
In an embodiment of the present invention, a keypoint detection method based on a wireless radar signal is provided. Figure 1 is a diagram showing the keypoint detection method based on a wireless radar signal in an embodiment of the present invention. As shown in Figure 1, the method includes the following steps:

101：レーダーによりオブジェクトを検出（感知）してポイントクラウドデータを取得し；
102：所定期間内に取得されるポイントクラウドデータに対して特徴抽出を行い、反射ポイントクラウドの第一空間特徴データ、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データを取得し；
103：第一空間特徴データ、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データをカスケード接続し；
104：ニューラルネットワークに基づく融合特徴抽出モデルを用いてカスケード接続後の特徴データを検出することで、融合特徴情報を取得し；及び
105：ニューラルネットワークに基づくキーポイント検出モデルを用いて融合特徴情報を検出することにより、オブジェクトのキーポイントデータを出力する。 101: Detect (sense) objects using radar and obtain point cloud data;
102: Perform feature extraction on the point cloud data acquired within a predetermined period to obtain first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data, and time distribution feature data of the reflection point cloud;
103: Cascade-connecting the first spatial feature data, the Doppler velocity feature data, the reflected energy feature data, the density distribution feature data, and the time distribution feature data;
104: Obtaining fusion feature information by detecting the cascaded feature data using a neural network-based fusion feature extraction model; and
105: Output keypoint data of the object by detecting fused feature information using a keypoint detection model based on a neural network.

なお、上述の図1は本発明の実施例を例示的に説明するためのものに過ぎず、本発明はこれに限られない。例えば、各操作（ステップ）間の実行順序を適切に調整したり、幾つかの操作を増減したりすることができる。当業者は、図1の記載に限られず、上述の内容に対して適切な変更、変形などを行うことができる。 Note that the above-mentioned Figure 1 is merely an illustrative example of an embodiment of the present invention, and the present invention is not limited to this. For example, the execution order of each operation (step) can be appropriately adjusted, or some operations can be added or removed. Those skilled in the art are not limited to the description of Figure 1, and can make appropriate changes and modifications to the above content.

幾つかの実施例において、レーダーは無線信号により外部空間に対して検出（感知）を行い、レーダーにより出力されるポイントクラウドデータはレーダーが検出した空間内のオブジェクトの距離、速度、位置情報などを含む。レーダーは周期的に無線信号を送信して検出を行い、ポイントクラウド情報も周期的に出力される。レーダーが1回の検出を行うことで出力するポイントクラウド情報は1フレームのポイントクラウドデータと称されても良い。 In some embodiments, the radar detects (senses) the external space using radio signals, and the point cloud data output by the radar includes information such as the distance, speed, and position of objects in the space detected by the radar. The radar periodically transmits radio signals to perform detection, and the point cloud information is also periodically output. The point cloud information output by the radar after one detection may be referred to as one frame of point cloud data.

本発明の実施例では、Nフレームの連続したレーダーポイントクラウドデータを入力とし、レーダーポイントクラウドデータのプリ処理及び動作検出モデルの計算を経て、人体のキーポイント情報を出力し、このようなキーポイント情報は人体の動作を表すために用いられる。NフレームのレーダーポイントクラウドデータはΡ={P_i,1≦i≦N}により表されても良く；フレーム番号（順番号）iは時系列に並べられ、フレーム番号が大きいほど、その対応するポイントクラウドデータが遅く出現する。よって、P_Nは最新のレーダーポイントクラウドデータを表す。 In an embodiment of the present invention, N frames of continuous radar point cloud data are input, and after pre-processing of the radar point cloud data and calculation of a motion detection model, key point information of a human body is output, which is used to represent the motion of the human body. The N frames of radar point cloud data can be represented by P = {P _i , 1≦i≦N}, where i is the frame number (sequential number) arranged in chronological order, and the larger the frame number, the later the corresponding point cloud data appears. Therefore, P _N represents the latest radar point cloud data.

幾つかの実施例において、レーダーの1フレームのポイントクラウドデータPが複数の点（ポイント）からなり、P={p_j,1≦j≦n}であり、そのうち、nは該フレームのポイントクラウドに含まれる点の数であり、p_jは第j個目の点である。ポイントクラウドデータにおける1つの点がｐで表され、ｐ=(s,v,p,x,y,z)であり、そのうち、sはフレーム番号であり、vはレーダーに対するドップラー速度であり、pは該点の信号強度であり、(x,y,z)はその空間の座標値である。 In some embodiments, the point cloud data P of one frame of radar consists of multiple points, where P = {p _j , 1≦j≦n}, where n is the number of points included in the point cloud of the frame and p _j is the j-th point. A point in the point cloud data is represented by p, where p = (s, v, p, x, y, z), where s is the frame number, v is the Doppler velocity relative to the radar, p is the signal strength of the point, and (x, y, z) are its spatial coordinates.

よって、直接、レーダーの出力信号により取得されるオリジナル空間特徴データを反射ポイントクラウドの第一空間特徴データとし、レーダーの出力信号により取得されるドップラー速度vを反射ポイントクラウドのドップラー速度特徴データとし、レーダーの出力信号により取得される信号強度pを反射ポイントクラウドの反射エネルギー特徴データとすることができる。 Therefore, the original spatial feature data obtained from the radar output signal can be directly used as the first spatial feature data of the reflection point cloud, the Doppler velocity v obtained from the radar output signal can be used as the Doppler velocity feature data of the reflection point cloud, and the signal strength p obtained from the radar output signal can be used as the reflection energy feature data of the reflection point cloud.

あるいは、レーダーの出力信号により取得されるオリジナル空間特徴データ、ドップラー速度及び信号強度に対して処理を行い、処理後のデータをそれぞれ反射ポイントクラウドの第一空間特徴データ、ドップラー速度特徴データ及び反射エネルギー特徴データとすることもできる。例えば、レーダーの出力信号のオリジナル空間座標値（x0,y0,z0）に対してトランスレーション、回転などの処理を行い、処理後に取得される空間座標の変換値（x1,y1,z1）を反射ポイントクラウドの第一空間特徴データとすることができるが、本発明はこれに限定されない。 Alternatively, the original spatial feature data, Doppler velocity, and signal intensity obtained from the radar output signal can be processed, and the processed data can be used as the first spatial feature data, Doppler velocity feature data, and reflected energy feature data of the reflection point cloud, respectively. For example, the original spatial coordinate values (x0, y0, z0) of the radar output signal can be subjected to translation, rotation, and other processing, and the transformed spatial coordinate values (x1, y1, z1) obtained after processing can be used as the first spatial feature data of the reflection point cloud, but the present invention is not limited to this.

幾つかの実施例において、人体のキーポイントは人体の主要な関節又は器官、例えば、鼻、肩、肘、手首、腰などに対応する。本発明は人体のキーポイントの選択を制限せず、具体的なアプリケーションのニーズに応じて他のキーポイントを選んでも良い。 In some embodiments, the human body key points correspond to major joints or organs of the human body, such as the nose, shoulders, elbows, wrists, waist, etc. The present invention does not limit the selection of human body key points, and other key points may be selected according to the needs of a specific application.

図2は本発明の実施例における人体のキーポイントの一例を示す図である。図2に示すように、人体キーポイント情報とは、キーポイントに対応する人体の関節や器官の相対位置関係を指しても良く、それはH={(x_k,y_k,z_k),1≦k≦m}で表されても良く、(x_k,y_k,z_k)は第k個目のキーポイントの座標である。2次元位置情報のみあるときに、キーポイント座標の或る1次元を0と設定することができ、例えば、zを0と設定し、このようにすると、(x,y)だけは有効な位置情報を含む。 2 is a diagram showing an example of human body keypoints in an embodiment of the present invention. As shown in FIG. 2, human body keypoint information may refer to the relative positional relationship of the joints and organs of the human body corresponding to the keypoints, which may be expressed as H={( _xk , _yk , _zk ), 1≦k≦m}, where ( _xk , _yk , _zk ) is the coordinate of the kth keypoint. When only two-dimensional position information is available, one dimension of the keypoint coordinates can be set to 0, for example, z can be set to 0, in which case only (x, y) contains valid position information.

以上、レーダーポイントクラウドデータについて例示的に説明したが、本発明はこれに限られない。また、レーダーポイントクラウドデータに基づいて密度分布特徴データ及び時間分布特徴データを取得することもできる。 The above describes radar point cloud data as an example, but the present invention is not limited to this. It is also possible to obtain density distribution feature data and time distribution feature data based on radar point cloud data.

レーダーポイントクラウドの分布位置がランダム性を有し、動きが異なるときに異なる位置のレーダーポイントクラウドの密集度は異なる。例えば、検出目標の上肢の移動範囲が比較的大きいときに、レーダーポイントクラウドは上肢の所在する位置に比較的に集中し、他の位置のポイントクラウド分布は比較的疎らになる。 The distribution position of the radar point cloud is random, and the density of the radar point cloud at different positions varies with different movements. For example, when the range of movement of the upper limbs of the detected target is relatively large, the radar point cloud will be relatively concentrated at the position where the upper limbs are located, and the point cloud distribution at other positions will be relatively sparse.

幾つかの実施例において、反射ポイントクラウドの密度分布特徴データを得ることは、各反射点と他の反射点の間の距離（値）を計算し；及び、確率密度関数を用いて前記距離に対応する確率を算出し、前記確率を前記密度分布特徴データとすることを含む。 In some embodiments, obtaining density distribution feature data of the reflectance point cloud includes calculating the distance (value) between each reflectance point and other reflectance points; and calculating a probability corresponding to the distance using a probability density function, and using the probability as the density distribution feature data.

図3は本発明の実施例における反射点間距離を示す図である。ここで、平均値を例にとるが、本発明はこれに限られない。図3に示すように、N*3の反射点について言えば、反射点の間のN*N個の距離を計算することで、N*1個の距離平均値を取得することができる。これにより、シングル反射点の密度d_i（i=1,…,N）を得ることができる。 FIG. 3 is a diagram showing the distance between reflection points in an embodiment of the present invention. Here, the average value is taken as an example, but the present invention is not limited to this. As shown in FIG. 3, for N*3 reflection points, by calculating N*N distances between the reflection points, N*1 distance average values can be obtained. This allows the density d _i (i=1,...,N) of single reflection points to be obtained.

例えば、前記確率密度関数は、
である。D_iは前記距離（例えば、平均値）であり；μは所定の距離パラメータであり；σは分散（値）である。 For example, the probability density function is
where _{D i} is the distance (e.g., the mean value); μ is a predetermined distance parameter; and σ is the variance (value).

幾つかの実施例において、異なる分散が異なる確率に対応し、これによって複数の密度分布特徴データを取得することができる。 In some embodiments, different variances correspond to different probabilities, thereby allowing multiple density distribution feature data to be obtained.

例えば、μ=0、σ=0.1のときに、１つの密度分布特徴データを取得することができ；それ相応に、σ=0.2のときに、もう１つの密度分布特徴データを取得することができ；σ=0.4のときに、またもう１つの密度分布特徴データを取得することができ；σ=0.6のときに、さらにもう１つの密度分布特徴データを取得することができる。これにより、各反射点について4つの異なる密度分布特徴を得ることで、N*4次元の密度分布特徴データを形成し、そして、それをニューラルネットワーク構成内の異なるチャンネルの入力特徴とすることができる。 For example, when μ=0 and σ=0.1, one density distribution feature data can be obtained; correspondingly, when σ=0.2, another density distribution feature data can be obtained; when σ=0.4, yet another density distribution feature data can be obtained; and when σ=0.6, yet another density distribution feature data can be obtained. This allows four different density distribution features to be obtained for each reflection point, forming N*4-dimensional density distribution feature data, which can then be used as input features for different channels in a neural network configuration.

幾つかの実施例において、反射ポイントクラウドの時間分布特徴データを得ることは、各反射点に対応する時間（値）を計算し；及び、時間密度関数を用いて前記時間に対応する確率を算出し、そして、前記確率を前記時間分布特徴データとすることを含む。 In some embodiments, obtaining time distribution feature data of the reflectance point cloud includes calculating a time (value) corresponding to each reflectance point; and calculating a probability corresponding to the time using a time density function, and using the probability as the time distribution feature data.

例えば、レーダーの出力信号により、各反射点のフレーム番号を直接取得することができる（例えば、レーダーの出力信号の時間間隔が0.1sであり、即ち、1フレーム/0.1sである）。レーダー反射点のフレーム番号（1、2、…）を使用してポイントクラウドフレーム番号の分布特徴を計算することで、レーダー反射ポイントクラウドの時系列の分布特徴を得ることができる。 For example, the frame number of each reflection point can be directly obtained from the radar output signal (for example, the time interval of the radar output signal is 0.1s, i.e., 1 frame/0.1s). By calculating the distribution characteristics of the point cloud frame numbers using the frame numbers of the radar reflection points (1, 2, ...), the time series distribution characteristics of the radar reflection point cloud can be obtained.

例えば、前記時間密度関数は、
である。f_iは前記時間であり；μは所定の時間パラメータであり；σは分散である。 For example, the time density function is
where _{f i} is the time; μ is a predetermined time parameter; and σ is the variance.

幾つかの実施例において、異なる分散が異なる確率に対応し、これによって複数の時間分布特徴データを得ることができる。 In some embodiments, different variances correspond to different probabilities, thereby providing multiple time distribution feature data.

例えば、f_iが反射点のフレーム番号（1,2,…）であり、ポイントクラウドの時間的連続性情報を表す。μ=0、σ=0.5のときに、１つの時間分布特徴データを得ることができ；それ相応に、σ=1.0のときに、もう１つの時間分布特徴データを得ることができ；σ=1.5のときに、またもう１つの時間分布特徴データを得ることができ；σ=2.0のときに、さらにもう１つの時間分布特徴データを得ることができる。これにより、各反射点について4つの異なる時間分布特徴を取得することで、N*4次元の時間分布特徴データを形成し、そして、それをニューラルネットワーク構成内の異なるチャンネルの入力特徴とすることができる。 For example, f _i is the frame number (1, 2, ...) of the reflection point, representing the temporal continuity information of the point cloud. When μ = 0 and σ = 0.5, one time distribution feature data can be obtained; correspondingly, when σ = 1.0, another time distribution feature data can be obtained; when σ = 1.5, another time distribution feature data can be obtained; and when σ = 2.0, yet another time distribution feature data can be obtained. Thus, by obtaining four different time distribution features for each reflection point, N*4-dimensional time distribution feature data can be formed, which can then be used as input features for different channels in the neural network configuration.

以上、第一空間特徴データ、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データについて例示的に説明した。本発明の実施例はこれらの特徴データに基づいてキーポイントの認識を行うことができる。 The above provides an illustrative description of first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data, and time distribution feature data. Embodiments of the present invention can recognize keypoints based on these feature data.

図4は本発明の実施例における複数のネットワークモデルを示す図である。図4に示すように、第一空間特徴データ（例えば、N*3次元）、ドップラー速度特徴データ（例えば、N*1次元）、反射エネルギー特徴データ（例えば、N*1次元）、密度分布特徴データ（例えば、N*4次元）及び時間分布特徴データ（例えば、N*4次元）の計N*13次元の特徴データを融合特徴抽出モデル401の入力データとすることができる。 Figure 4 is a diagram showing multiple network models in an embodiment of the present invention. As shown in Figure 4, a total of N*13-dimensional feature data, including first spatial feature data (e.g., N*3 dimensions), Doppler velocity feature data (e.g., N*1 dimension), reflected energy feature data (e.g., N*1 dimension), density distribution feature data (e.g., N*4 dimensions), and time distribution feature data (e.g., N*4 dimensions), can be used as input data for the fusion feature extraction model 401.

図4に示すように、融合特徴抽出モデル401は特徴データを出力し、該特徴データはキーポイント検出モデル402の入力データとされる。図4に示すように、キーポイント検出モデル402はキーポイント情報を出力することで、オブジェクトのキーポイント認識を実現することができる。 As shown in Figure 4, the fusion feature extraction model 401 outputs feature data, which is used as input data for the keypoint detection model 402. As shown in Figure 4, the keypoint detection model 402 outputs keypoint information, enabling keypoint recognition of an object.

これにより、レーダーポイントクラウドに基づくオブジェクト（例えば、人体）のキーポイントの検出は、動作のカテゴリに限定されず、必要な計算リソースが少なく、かつ検出の正確度が高い。また、複数のネットワークモデルにより特徴データに対して深層分析を行うことで、異なる動作間の特徴の差を区別することができるため、動作が異なるときのキーポイント情報をさらに正確に認識することができる。 As a result, the detection of key points for objects (e.g., human bodies) based on radar point clouds is not limited to action categories, requires fewer computational resources, and has high detection accuracy. Furthermore, by performing deep analysis of feature data using multiple network models, it is possible to distinguish between feature differences between different actions, thereby enabling more accurate recognition of key point information for different actions.

幾つかの実施例において、さらに、ニューラルネットワークに基づく空間変換モデルを用いて第一空間特徴データ（オリジナル空間特徴データ）に対して変換を行い、正規化後の第二空間特徴データを取得し；及び、正規化後の第二空間特徴データと、第一空間特徴データ、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データとに対してカスケード接続を行い、カスケード接続後の特徴データを融合特徴抽出モデルに入力することができる。 In some embodiments, a spatial transformation model based on a neural network may be further used to transform the first spatial feature data (original spatial feature data) to obtain normalized second spatial feature data; and the normalized second spatial feature data may be cascaded with the first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data, and time distribution feature data, and the cascaded feature data may be input to the fusion feature extraction model.

図5は本発明の実施例における特徴データを示す図である。図5に示すように、所定期間内に取得されるポイントクラウドデータに対して特徴抽出を行い（501参照）、第一空間特徴データ（オリジナル空間特徴データ（502参照））、ドップラー速度特徴データ（503参照）、反射エネルギー特徴データ（504参照）、密度分布特徴データ（505参照）及び時間分布特徴データ（506参照）を取得することができる。 Figure 5 is a diagram showing feature data in an embodiment of the present invention. As shown in Figure 5, feature extraction is performed on point cloud data acquired within a predetermined period (see 501), and first spatial feature data (original spatial feature data (see 502)), Doppler velocity feature data (see 503), reflected energy feature data (see 504), density distribution feature data (see 505), and time distribution feature data (see 506) can be acquired.

図5に示すように、さらに、ニューラルネットワークに基づく空間変換モデルを用いて第一空間特徴データ（オリジナル空間特徴データ）に対して変換を行い、正規化後の第二空間特徴データ（507参照）を取得することができる。そして、正規化後の第二空間特徴データと、第一空間特徴データ、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データとをカスケード接続することができる。 As shown in Figure 5, a spatial transformation model based on a neural network can be used to transform the first spatial feature data (original spatial feature data) to obtain normalized second spatial feature data (see 507). The normalized second spatial feature data can then be cascaded with the first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data, and time distribution feature data.

図5に示すように、第一空間特徴データ（オリジナル空間特徴データ）、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データを入力1（input 1）、正規化後の第二空間特徴データを入力2（input 2）として共同で融合特徴抽出モデル508に入力することができる。 As shown in Figure 5, the first spatial feature data (original spatial feature data), Doppler velocity feature data, reflected energy feature data, density distribution feature data, and time distribution feature data can be jointly input as input 1 (input 1), and the normalized second spatial feature data as input 2 (input 2) to the fusion feature extraction model 508.

図6は本発明の実施例における空間特徴データの変換を示す図である。図6に示すように、N*3次元の第一空間特徴データ（601参照）に対して特徴拡張を行い、N*M次元の拡張空間特徴データ（602参照）を取得し；N*M次元の拡張空間特徴データに対してプーリング操作（例えば、最大プーリング操作）を行い、1*M次元のグローバル空間特徴データ（603参照）を取得し；1*M次元のグローバル空間特徴データに対して特徴変換を行い、1*9次元の特徴データを取得した後に3*3次元の空間特徴データ（604参照）に変換し；及び、前記N*3次元の第一空間特徴データと前記3*3次元の空間特徴データとの行列乗算を行い、前記正規化後の第二空間特徴データ（605参照）を取得することができ、そのうち、Nは1よりも大きい正の整数であり、Mは3よりも大きい正の整数である。 FIG. 6 illustrates the transformation of spatial feature data in an embodiment of the present invention. As shown in FIG. 6, feature expansion is performed on N*3-dimensional first spatial feature data (see 601) to obtain N*M-dimensional expanded spatial feature data (see 602); a pooling operation (e.g., max pooling) is performed on the N*M-dimensional expanded spatial feature data to obtain 1*M-dimensional global spatial feature data (see 603); feature transformation is performed on the 1*M-dimensional global spatial feature data to obtain 1*9-dimensional feature data, which is then converted into 3*3-dimensional spatial feature data (see 604); and matrix multiplication of the N*3-dimensional first spatial feature data and the 3*3-dimensional spatial feature data is performed to obtain the normalized second spatial feature data (see 605), where N is a positive integer greater than 1 and M is a positive integer greater than 3.

図7は本発明の実施例におけるニューラルネットワークに基づく空間変換モデルを示す図である。図7に示すように、例えば、200*3次元の第一空間特徴データに対して１次元畳み込みニューラルネットワークを用いて特徴拡張を行い（701参照）、200*256次元の拡張空間特徴データを取得し；200*256次元の拡張空間特徴データに対して最大プーリング操作を行い（702参照）、1*256次元のグローバル空間特徴データを取得し；1*256次元のグローバル空間特徴データに対して全結合ニューラルネットワークを使用して特徴変換を行い（703参照）、1*64次元の特徴データを取得した後に再び全結合ネットワークを使用して1*9次元の空間特徴データに変換し、その後、1*9次元の特徴データを3*3次元の空間特徴データに変換し（704参照）；及び、200*3次元の第一空間特徴データと該3*3次元の空間特徴データとの行列乗算を行い（705参照）、正規化後の200*3次元の第二空間特徴データを取得することができる。 Figure 7 illustrates a spatial transformation model based on a neural network in an embodiment of the present invention. As shown in Figure 7, for example, feature expansion is performed on 200*3-dimensional first spatial feature data using a one-dimensional convolutional neural network (see 701) to obtain 200*256-dimensional expanded spatial feature data; max pooling is performed on the 200*256-dimensional expanded spatial feature data (see 702) to obtain 1*256-dimensional global spatial feature data; feature transformation is performed on the 1*256-dimensional global spatial feature data using a fully connected neural network (see 703) to obtain 1*64-dimensional feature data, which is then converted again using a fully connected neural network to 1*9-dimensional spatial feature data, and the 1*9-dimensional feature data is then converted to 3*3-dimensional spatial feature data (see 704); and matrix multiplication of the 200*3-dimensional first spatial feature data and the 3*3-dimensional spatial feature data (see 705) can be performed to obtain normalized 200*3-dimensional second spatial feature data.

図8は本発明の実施例における複数のネットワークモデルを示すもう１つの図である。図8に示すように、第一空間特徴データ（例えば、N*3次元）、ドップラー速度特徴データ（例えば、N*1次元）、反射エネルギー特徴データ（例えば、N*1次元）、密度分布特徴データ（例えば、N*4次元）及び時間分布特徴データ（例えば、N*4次元）の計N*13次元の特徴データを融合特徴抽出モデル801の入力1とすることができる。 Figure 8 is another diagram showing multiple network models in an embodiment of the present invention. As shown in Figure 8, a total of N*13-dimensional feature data, including first spatial feature data (e.g., N*3 dimensions), Doppler velocity feature data (e.g., N*1 dimension), reflected energy feature data (e.g., N*1 dimension), density distribution feature data (e.g., N*4 dimensions), and time distribution feature data (e.g., N*4 dimensions), can be used as input 1 of the fusion feature extraction model 801.

図8に示すように、さらに、ニューラルネットワークに基づく空間変換モデル802を利用して第一空間特徴データ（オリジナル空間特徴データ）に対して変換を行い、正規化後の第二空間特徴データ（例えば、N*3次元）を取得し、正規化後の第二空間特徴データを融合特徴抽出モデル801の入力2とすることができる。 As shown in Figure 8, a spatial transformation model 802 based on a neural network can be used to transform the first spatial feature data (original spatial feature data) to obtain normalized second spatial feature data (e.g., N*3 dimensions), which can then be used as input 2 of the fusion feature extraction model 801.

図8に示すように、融合特徴抽出モデル801は特徴データを出力し、該特徴データはキーポイント検出モデル803の入力データとされる。図8に示すように、キーポイント検出モデル803はキーポイント情報を出力することで、オブジェクトのキーポイントの認識を実現することができる。 As shown in Figure 8, the fusion feature extraction model 801 outputs feature data, which is used as input data for the keypoint detection model 803. As shown in Figure 8, the keypoint detection model 803 outputs keypoint information, enabling recognition of the keypoints of an object.

これにより、レーダーポイントクラウドに基づくオブジェクト（例えば、人体）のキーポイントの検出は、動作のカテゴリに限定されず、必要な計算リソースが少なく、かつ検出の正確度をさらに向上させることができる。また、複数のネットワークモデルにより特徴データに対して深層分析を行うことで、異なる動作間の特徴の差を区別することができるため、異なる動作のときのキーポイント情報をより一層正確に認識することができる。 This means that the detection of key points for objects (e.g., human bodies) based on radar point clouds is not limited to action categories, requires fewer computational resources, and can further improve detection accuracy. Furthermore, by performing deep analysis of feature data using multiple network models, it is possible to distinguish between feature differences between different actions, thereby enabling more accurate recognition of key point information for different actions.

幾つかの実施例において、ニューラルネットワークに基づく融合特徴抽出モデルを用いてカスケード接続後の特徴データを検出して融合特徴情報を取得することは、N*L次元のカスケード接続特徴データに対して特徴拡張を行い、N*K次元の拡張特徴データを取得；N*K次元の拡張特徴データに対してプーリング操作を行い、1*K次元のグローバル特徴データを取得し；1*K次元のグローバル特徴データに対して特徴変換を行い、1*L²次元の特徴データを取得した後にL*L次元の特徴データに変換し；及び、前記N*L次元のカスケード接続特徴データと前記L*L次元の特徴データとの行列乗算を行い、N*L次元の融合特徴情報を得ることを含み、そのうち、N、L及びKは何れも1よりも大きい正の整数であり、かつLはKよりも小さい。 In some embodiments, using a neural network-based feature fusion extraction model to detect cascaded feature data and obtain fused feature information includes: performing feature extension on the N*L-dimensional cascaded feature data to obtain N*K-dimensional extended feature data; performing a pooling operation on the N*K-dimensional extended feature data to obtain 1*K-dimensional global feature data; performing feature transformation on the 1*K-dimensional global feature data to obtain 1*L ^two- dimensional feature data, which is then transformed into L*L-dimensional feature data; and performing matrix multiplication on the N*L-dimensional cascaded feature data and the L*L-dimensional feature data to obtain N*L-dimensional fused feature information, where N, L, and K are all positive integers greater than 1, and L is less than K.

図9は本発明の実施例におけるニューラルネットワークに基づく融合特徴抽出モデルを示す図である。図9に示すように、例えば、第一空間特徴データ（200*3次元）、前記ドップラー速度特徴データ（200*1次元）、前記反射エネルギー特徴データ（200*1次元）、前記密度分布特徴データ（200*4次元）及び前記時間分布特徴データ（200*4次元）を200*13次元の入力1とし、正規化後の第二空間特徴データ（200*3次元）を200*3次元の入力2とし、そして、入力1と入力2をカスケード接続し（901参照）、200*16次元の融合特徴情報を形成して該融合特徴抽出モデルの入力データとすることができる。 Figure 9 is a diagram illustrating a neural network-based fusion feature extraction model in an embodiment of the present invention. As shown in Figure 9, for example, the first spatial feature data (200*3 dimensions), the Doppler velocity feature data (200*1 dimension), the reflected energy feature data (200*1 dimension), the density distribution feature data (200*4 dimensions), and the time distribution feature data (200*4 dimensions) can be used as 200*13-dimensional input 1, and the normalized second spatial feature data (200*3 dimensions) can be used as 200*3-dimensional input 2. Input 1 and input 2 can then be cascaded (see 901) to form 200*16-dimensional fusion feature information, which can be used as input data for the fusion feature extraction model.

図9に示すように、200*16次元の融合特徴データに対して１次元畳み込みニューラルネットワークを用いて特徴拡張を行い（902参照）、200*64次元の特徴データ（特徴データ1（Feature 1））を得た後に200*256次元の特徴データを取得し（903参照）；200*256次元の特徴データに対して最大プーリング操作を行い（904参照）、1*256次元の特徴データを取得し；1*256次元の特徴データに対して全結合ニューラルネットワークを用いて特徴変換を行い（905参照）、1*64次元の特徴データを得た後に再び全結合ネットワークを用いて1*4096次元の特徴データに変換し、その後、1*4096次元の特徴データを64*64次元の特徴データ（特徴データ2（Feature 2））に変換し（906参照）；及び、200*64次元の特徴データ1と該64*64次元の特徴データ2との行列乗算を行い（907参照）、200*64次元の特徴データ（融合特徴情報（908参照））を取得することができる。 As shown in Figure 9, feature expansion is performed on the 200*16-dimensional fused feature data using a one-dimensional convolutional neural network (see 902), obtaining 200*64-dimensional feature data (Feature 1), which is then converted to 200*256-dimensional feature data (see 903); max pooling is performed on the 200*256-dimensional feature data (see 904), which is then converted to 1*256-dimensional feature data; feature transformation is performed on the 1*256-dimensional feature data using a fully connected neural network (see 905), which is then converted to 1*4096-dimensional feature data using a fully connected neural network again, which is then converted to 64*64-dimensional feature data (Feature 2). 2)) (see 906); and then perform matrix multiplication of the 200*64 dimensional feature data 1 and the 64*64 dimensional feature data 2 (see 907) to obtain 200*64 dimensional feature data (fused feature information (see 908)).

幾つかの実施例において、ニューラルネットワークに基づくキーポイント検出モデルを用いて融合特徴情報を検出してオブジェクトのキーポイントデータを出力することは、N*L次元の融合特徴情報に対して特徴拡張を行い、N*J次元の拡張特徴データを取得し；N*J次元の拡張特徴データに対してプーリング操作を行い、1*J次元のグローバル特徴データを取得し；及び、1*J次元のグローバル特徴データに対して特徴変換を行い、1*P次元のキーポイント位置情報を取得することを含み、そのうち、N、L及びJは何れも1よりも大きい正の整数であり、かつLはJよりも小さい。 In some embodiments, using a neural network-based keypoint detection model to detect fusion feature information and output object keypoint data includes: performing feature expansion on the N*L-dimensional fusion feature information to obtain N*J-dimensional expanded feature data; performing a pooling operation on the N*J-dimensional expanded feature data to obtain 1*J-dimensional global feature data; and performing feature transformation on the 1*J-dimensional global feature data to obtain 1*P-dimensional keypoint location information, where N, L, and J are all positive integers greater than 1, and L is less than J.

図10は本発明の実施例におけるニューラルネットワークに基づくキーポイント検出モデルを示す図である。図10に示すように、例えば、該融合特徴抽出モデルにより出力される200*64次元の特徴データをキーポイント検出モデルの入力データとすることができる。 Figure 10 shows a keypoint detection model based on a neural network in an embodiment of the present invention. As shown in Figure 10, for example, the 200*64-dimensional feature data output by the fusion feature extraction model can be used as input data for the keypoint detection model.

図10に示すように、200*64次元の特徴データに対して１次元畳み込みニューラルネットワークを用いて特徴拡張を行い（1001参照）、200*128次元の特徴データを得た後に200*256次元の特徴データを取得し（1002参照）；200*256次元の特徴データに対して最大プーリング操作を行い（1003参照）、1*256次元の特徴データを取得し；1*256次元の特徴データに対して全結合ニューラルネットワークを使用して特徴変換を行い（1004参照）、1*64次元の特徴データを得た後に再び全結合ネットワークを使用して1*34次元の特徴データに変換し（1005参照）、その後、キーポイント情報を出力することができる。 As shown in Figure 10, feature expansion is performed on 200*64 dimensional feature data using a one-dimensional convolutional neural network (see 1001), obtaining 200*128 dimensional feature data, which is then converted to 200*256 dimensional feature data (see 1002); max pooling is performed on the 200*256 dimensional feature data (see 1003), which obtains 1*256 dimensional feature data; feature transformation is performed on the 1*256 dimensional feature data using a fully connected neural network (see 1004), obtaining 1*64 dimensional feature data, which is then converted to 1*34 dimensional feature data using a fully connected neural network again (see 1005), after which keypoint information can be output.

本発明の実施例では、シミュレーションによる実験より次のようなことが分かった。即ち、N*13次元の特徴データを使用し、かつ複数のネットワークモデルを使用して特徴抽出及び検出を行うことにより、キーポイント情報を正確に検出することができ、オリジナルなN*6次元のデータを使用した場合に比べて、検出の正確度を向上させることができる。また、N*13次元の特徴データを使用し、かつ複数のネットワークモデルを使用して特徴抽出及び検出を行うことで、検出の正確度をさらに向上させることができる。 In an embodiment of the present invention, the following was found through simulation experiments: By using N*13-dimensional feature data and performing feature extraction and detection using multiple network models, keypoint information can be accurately detected, and detection accuracy can be improved compared to when the original N*6-dimensional data is used. Furthermore, by using N*13-dimensional feature data and performing feature extraction and detection using multiple network models, detection accuracy can be further improved.

以上、認識方法及びモデルについて例示的に説明した。本発明の実施例は教師有りの訓練方法を用いて１組/複数組の最適パラメータを取得し；その後、パラメータを検出モデルに適用し、入力されるレーダーポイントクラウドデータに対して演算を行うことで、対応する人体キーポイント情報を得ることができる。本発明の実施例はモデルの具体的な訓練方式について限定せず、例えば、SGD (Stochastic Gradient Descent)最適化、Adam (Adaptive Moment Estimation)最適化などを使用することができる。 The above provides an exemplary description of the recognition method and model. Embodiments of the present invention use a supervised training method to obtain one or more sets of optimal parameters; then, the parameters are applied to a detection model, and calculations are performed on the input radar point cloud data to obtain corresponding human body keypoint information. Embodiments of the present invention are not limited to specific training methods for the model; for example, SGD (Stochastic Gradient Descent) optimization, Adam (Adaptive Moment Estimation) optimization, etc. can be used.

また、以上、本発明に直接関連している各ステップ又はプロセスについて説明したが、本発明はこれに限られない。動作検出方法はさらに他のステップ又はプロセスを含んでも良い。これらのステップ又はプロセスの具体的な内容については従来技術を参照することができる。さらに、以上、動作検出モデルの幾つかの構成を例にして本発明の実施例について例示的に説明したが、本発明はこれらの構成に限定されず、これらの構成に対して適切な変形を行うこともでき、これらの変形例もすべて本発明の実施例の範囲内に属する。 Furthermore, while the above describes each step or process directly related to the present invention, the present invention is not limited to this. The motion detection method may further include other steps or processes. For the specific content of these steps or processes, reference may be made to the prior art. Furthermore, the above describes exemplary embodiments of the present invention using several configurations of the motion detection model, but the present invention is not limited to these configurations, and appropriate modifications can be made to these configurations, all of which fall within the scope of the embodiments of the present invention.

上述の各実施例は本発明の実施例を例示的に説明するためのものに過ぎず、本発明はこれらに限られない。上述の各実施例をもとに適切な変形などを行うこともできる。例えば、上述の各実施例を単独で使用することができ、また、上述の各実施例のうちの１つ又は複数を組み合わせて使用することもできる。 The above-described embodiments are merely illustrative of embodiments of the present invention, and the present invention is not limited to these. Appropriate modifications can be made based on the above-described embodiments. For example, the above-described embodiments can be used alone, or one or more of the above-described embodiments can be used in combination.

上述の実施例から分かるように、所定期間内に取得されるポイントクラウドデータに対して特徴抽出を行い、反射ポイントクラウドの第一空間特徴データ、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データを取得し；ニューラルネットワークに基づく融合特徴抽出モデルを用いてカスケード接続後の特徴データを検出し、融合特徴情報を取得し；及び、ニューラルネットワークに基づくキーポイント検出モデルを用いて前記融合特徴情報を検出し、オブジェクトのキーポイントデータを出力することにより、レーダーポイントクラウドに基づいてオブジェクト（例えば、人体）のキーポイントを検出することができるとともに、動作のカテゴリに限定されず、必要な計算リソースが少なく、かつ検出の正確度が高く；さらに、実現及び操作が簡単であり、ノイズ耐性が高く、かつプライバシー保護に優れている。 As can be seen from the above examples, feature extraction is performed on point cloud data acquired within a predetermined period to obtain first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data, and time distribution feature data of the reflection point cloud; the cascaded feature data is detected using a neural network-based fusion feature extraction model to obtain fusion feature information; and the fusion feature information is detected using a neural network-based keypoint detection model to output keypoint data of the object, thereby enabling keypoints of an object (e.g., a human body) to be detected based on the radar point cloud, without being limited to action categories, requiring few computational resources, and achieving high detection accuracy; furthermore, it is easy to implement and operate, has high noise resistance, and provides excellent privacy protection.

＜第二側面の実施例＞
本発明の実施例では無線レーダー信号に基づくキーポイント認識装置が提供され、ここでは第一側面の実施例と同じ内容が省略される。 <Example of the second aspect>
An embodiment of the present invention provides a keypoint recognition device based on a radio radar signal, in which the same content as the embodiment of the first aspect is omitted.

図11は本発明の実施例における無線レーダー信号に基づくキーポイント認識装置を示す図である。図11に示すように、無線レーダー信号に基づくキーポイント認識装置1100は以下のものを含む。 Figure 11 illustrates a keypoint recognition device based on a wireless radar signal in an embodiment of the present invention. As shown in Figure 11, the keypoint recognition device 1100 based on a wireless radar signal includes:

検出ユニット1101：レーダーによりオブジェクトを検出してポイントクラウドデータを取得し；
特徴抽出ユニット1102：所定期間内に取得されるポイントクラウドデータに対して特徴抽出を行い、反射ポイントクラウドの第一空間特徴データ、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データを取得し；
カスケード接続ユニット1103：前記第一空間特徴データ、前記ドップラー速度特徴データ、前記反射エネルギー特徴データ、前記密度分布特徴データ及び前記時間分布特徴データに対してカスケード接続を行い；
特徴検出ユニット1104：ニューラルネットワークに基づく融合特徴抽出モデルを用いてカスケード接続後の特徴データを検出し、融合特徴情報を取得し；及び
キーポイント検出ユニット1105：ニューラルネットワークに基づくキーポイント検出モデルを用いて前記融合特徴情報を検出し、前記オブジェクトのキーポイントデータを出力する。 A detection unit 1101: detects objects by radar and obtains point cloud data;
Feature extraction unit 1102: performs feature extraction on the point cloud data acquired within a predetermined period of time to obtain first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data and time distribution feature data of the reflection point cloud;
a cascade connection unit 1103: for performing cascade connection on the first spatial feature data, the Doppler velocity feature data, the reflected energy feature data, the density distribution feature data and the time distribution feature data;
a feature detection unit 1104: using a neural network-based fusion feature extraction model to detect the cascaded feature data and obtain fusion feature information; and a keypoint detection unit 1105: using a neural network-based keypoint detection model to detect the fusion feature information and output keypoint data of the object.

幾つかの実施例において、図11に示すように、無線レーダー信号に基づくキーポイント認識装置1100はさらに次のようなものを含んでも良い。 In some embodiments, as shown in FIG. 11, the wireless radar signal based keypoint recognition device 1100 may further include:

特徴変換ユニット1106：ニューラルネットワークに基づく空間変換モデルを利用して前記第一空間特徴データに対して変換を行い、正規化後の第二空間特徴データを取得する。 Feature transformation unit 1106: Transforms the first spatial feature data using a spatial transformation model based on a neural network to obtain normalized second spatial feature data.

前記カスケード接続ユニット1103はさらに、前記正規化後の第二空間特徴データと、前記第一空間特徴データ、前記ドップラー速度特徴データ、前記反射エネルギー特徴データ、前記密度分布特徴データ及び前記時間分布特徴データとをカスケード接続し、カスケード接続後の特徴データを前記融合特徴抽出モデルに入力するために用いられる。 The cascade connection unit 1103 is further used to cascade the normalized second spatial feature data with the first spatial feature data, the Doppler velocity feature data, the reflected energy feature data, the density distribution feature data, and the time distribution feature data, and input the cascaded feature data into the fusion feature extraction model.

幾つかの実施例において、前記特徴変換ユニット1106は、
N*3次元の第一空間特徴データに対して特徴拡張を行い、N*M次元の拡張空間特徴データを取得し；
N*M次元の拡張空間特徴データに対してプーリング操作を行い、1*M次元のグローバル空間特徴データを取得し；
1*M次元のグローバル空間特徴データに対して特徴変換を行い、1*9次元の特徴データを得た後に3*3次元の空間特徴データに変換し；及び
前記N*3次元の第一空間特徴データと前記3*3次元の空間特徴データとの行列乗算を行い、前記正規化後の第二空間特徴データを取得するために用いられ、
そのうち、Nは1よりも大きい正の整数であり、Mは3よりも大きい正の整数である。 In some embodiments, the feature transformation unit 1106 comprises:
Feature expansion is performed on the N*3-dimensional first spatial feature data to obtain N*M-dimensional expanded spatial feature data;
Perform pooling on the N*M dimensional extended spatial feature data to obtain 1*M dimensional global spatial feature data;
performing feature transformation on the 1*M-dimensional global spatial feature data to obtain 1*9-dimensional feature data, and then transforming the result into 3*3-dimensional spatial feature data; and performing matrix multiplication between the N*3-dimensional first spatial feature data and the 3*3-dimensional spatial feature data to obtain the normalized second spatial feature data;
In this, N is a positive integer greater than 1, and M is a positive integer greater than 3.

幾つかの実施例において、前記特徴検出ユニット1104は、
N*L次元のカスケード接続特徴データに対して特徴拡張を行い、N*K次元の拡張特徴データを取得し；
N*K次元の拡張特徴データに対してプーリング操作を行い、1*K次元のグローバル特徴データを取得し；
1*K次元のグローバル特徴データに対して特徴変換を行い、1*L²次元の特徴データを得た後にL*L次元の特徴データに変換し；及び
前記N*L次元のカスケード接続特徴データと前記L*L次元の特徴データとの行列乗算を行い、N*L次元の融合特徴情報を取得すルために用いられ、
そのうち、N、L及びKは何れも1よりも大きい正の整数であり、かつLはKよりも小さい。 In some embodiments, the feature detection unit 1104 comprises:
Feature expansion is performed on the N*L dimensional cascaded feature data to obtain N*K dimensional expanded feature data;
Perform pooling on the N*K dimensional extended feature data to obtain 1*K dimensional global feature data;
Performing feature transformation on 1*K-dimensional global feature data to obtain 1*L ^two- dimensional feature data, and then transforming the resulting data into L*L-dimensional feature data; and performing matrix multiplication between the N*L-dimensional cascaded feature data and the L*L-dimensional feature data to obtain N*L-dimensional fusion feature information;
Among them, N, L, and K are all positive integers greater than 1, and L is smaller than K.

幾つかの実施例において、前記特徴抽出ユニット1102が反射ポイントクラウドの前記密度分布特徴データを得ることは、
各反射点と他の反射点の間の距離を計算し；及び
確率密度関数を用いて前記距離に対応する確率を計算し、前記確率を前記密度分布特徴データとすることを含む。 In some embodiments, the feature extraction unit 1102 obtaining the density distribution feature data of the reflectance point cloud comprises:
calculating the distance between each reflection point and other reflection points; and calculating the probability corresponding to the distance using a probability density function, and setting the probability as the density distribution feature data.

幾つかの実施例において、前記確率密度関数は、
であり、d_iは前記距離であり；μは所定の距離パラメータであり；σは分散である。 In some embodiments, the probability density function is:
where d _i is the distance; μ is a predetermined distance parameter; and σ is the variance.

そのうち、異なる分散が異なる確率に対応し、これによって複数の前記密度分布特徴データを取得する。 Different variances correspond to different probabilities, thereby obtaining multiple density distribution feature data.

幾つかの実施例において、前記特徴抽出ユニット1102が反射ポイントクラウドの前記時間分布特徴データを得ることは、
各反射点に対応する時間を計算し；及び
時間密度関数を用いて前記時間に対応する確率を計算し、前記確率を前記時間分布特徴データとすることを含む。
In some embodiments, the feature extraction unit 1102 obtaining the time distribution feature data of the reflectance point cloud comprises:
Calculating a time corresponding to each reflection point; and calculating a probability corresponding to the time using a time density function, and setting the probability as the time distribution characteristic data.

幾つかの実施例において、前記時間密度関数は、
であり、f_iは前記時間であり；μは所定の時間パラメータであり；σは分散である。 In some embodiments, the time density function is:
where f _i is the time; μ is a predetermined time parameter; and σ is the variance.

そのうち、異なる分散値が異なる確率に対応し、これによって複数の前記時間分布特徴データを取得する。 Different variance values correspond to different probabilities, thereby obtaining multiple pieces of time distribution feature data.

幾つかの実施例において、前記キーポイント検出ユニット1105は、
N*L次元の融合特徴情報に対して特徴拡張を行い、N*J次元の拡張特徴データを取得し；
N*J次元の拡張特徴データに対してプーリング操作を行い、1*J次元のグローバル特徴データを取得し；及び
1*J次元のグローバル特徴データに対して特徴変換を行い、1*P次元のキーポイント位置情報を取得するために用いられ、
そのうち、N、L、J及びPは何れも1よりも大きい正の整数であり、かつLはJよりも小さく、PはJよりも小さい。 In some embodiments, the keypoint detection unit 1105 comprises:
Feature expansion is performed on the N*L dimensional fused feature information to obtain N*J dimensional expanded feature data;
Perform a pooling operation on the N*J dimensional extended feature data to obtain 1*J dimensional global feature data; and
It is used to perform feature transformation on 1*J-dimensional global feature data to obtain 1*P-dimensional keypoint position information.
Among them, N, L, J, and P are all positive integers greater than 1, and L is smaller than J, and P is smaller than J.

なお、以上、本発明に直接関連している各部品又はモジュールを説明したが、本発明はこれに限定されない。無線レーダー信号に基づくキーポイント認識装置1100はさらに他の部品又はモジュールを含んでも良いが、これらの部品又はモジュールの具体的な内容については関連技術を参照することができる。 Note that while the above describes the components and modules directly related to the present invention, the present invention is not limited to these. The keypoint recognition device 1100 based on wireless radar signals may also include other components or modules, and reference can be made to related art for specific details of these components or modules.

なお、便宜のため、図11では各部品又はモジュール間の接続関係又は信号方向のみ示されているが、当業者が理解すべきは、バス総線接続などの各種の関連技術を採用しても良いということである。これらの各部品又はモジュールは例えば処理器、記憶器などのハードウェアによって実現されても良く、本発明の実施例はこれについて限定しない。 For convenience, Figure 11 only shows the connection relationships or signal directions between each component or module. However, those skilled in the art should understand that various related technologies, such as bus-based connections, may also be used. Each of these components or modules may also be implemented using hardware, such as a processor or memory, and the embodiments of the present invention are not limited to this.

上述の各実施例は本発明の実施例を例示的に説明するためのものに過ぎず、本発明はこれらに限られない。上述の各実施例をもとに適切な変形などを行うこともできる。例えば、上述の各実施例を単独で使用しても良く、また、上述の各実施例のうちの1つ又は複数を組み合わせて使用しても良い。 The above-described embodiments are merely illustrative of the present invention, and the present invention is not limited to these. Appropriate modifications can be made based on the above-described embodiments. For example, each of the above-described embodiments may be used alone, or one or more of the above-described embodiments may be used in combination.

＜第三側面の実施例＞
本発明の実施例では電子機器が提供され、それは第二側面の実施例に記載の無線レーダー信号に基づくキーポイント認識装置1100を含み、その内容はここに合併される。該電子機器は例えば、コンピュータ、サーバー、ワークステーション、ノートパソコン、スマートフォンなどであっても良いが、本発明の実施例はこれらに限定されない。 <Example of the third aspect>
In an embodiment of the present invention, an electronic device is provided, which includes the keypoint recognition device 1100 based on a wireless radar signal as described in the embodiment of the second aspect, the contents of which are incorporated herein. The electronic device may be, for example, a computer, a server, a workstation, a laptop, a smartphone, etc., but the embodiment of the present invention is not limited thereto.

図12は本発明の実施例における電子機器を示す図である。図12に示すように、電子機器1200は処理器（例えば、中央処理器CPU）1210及び記憶器1220を含んでも良く、記憶器1220は中央処理器1210に接続される。そのうち、該記憶器1220は各種のデータを記憶することができ、また、情報処理用のプログラム1221をさらに記憶することができ、かつ処理器1210の制御下で該プログラム1221を実行することができる。 Figure 12 is a diagram illustrating an electronic device according to an embodiment of the present invention. As shown in Figure 12, the electronic device 1200 may include a processor (e.g., a central processing unit (CPU)) 1210 and a memory 1220, which is connected to the central processing unit 1210. The memory 1220 can store various data and can further store a program 1221 for information processing, and can execute the program 1221 under the control of the processor 1210.

幾つかの実施例において、無線レーダー信号に基づくキーポイント認識装置1100の機能は処理器1210に統合することができる。そのうち、処理器1210は第一側面の実施例に記載の無線レーダー信号に基づくキーポイント認識方法を実現するように構成される。 In some embodiments, the functionality of the wireless radar signal-based keypoint recognition device 1100 can be integrated into the processor 1210, where the processor 1210 is configured to implement the wireless radar signal-based keypoint recognition method described in the embodiments of the first aspect.

幾つかの実施例において、無線レーダー信号に基づくキーポイント認識装置1100は処理器1210と別々で配置され、例えば、無線レーダー信号に基づくキーポイント認識装置1100は処理器1210に接続されるチップとして構成され、処理器1210の制御によって無線レーダー信号に基づくキーポイント認識装置1100の機能を実現しても良い。 In some embodiments, the wireless radar signal-based keypoint recognition device 1100 may be located separately from the processor 1210; for example, the wireless radar signal-based keypoint recognition device 1100 may be configured as a chip connected to the processor 1210, and the functions of the wireless radar signal-based keypoint recognition device 1100 may be realized under the control of the processor 1210.

例えば、処理器1210は次のような制御を行うように構成されても良く、即ち、レーダーによりオブジェクトを検出してポイントクラウドデータを取得し；所定期間内に取得されるポイントクラウドデータに対して特徴抽出を行い、反射ポイントクラウドの第一空間特徴データ、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データを取得し；前記第一空間特徴データ、前記ドップラー速度特徴データ、前記反射エネルギー特徴データ、前記密度分布特徴データ及び前記時間分布特徴データをカスケード接続し；ニューラルネットワークに基づく融合特徴抽出モデルを用いてカスケード接続後の特徴データを検出し、融合特徴情報を取得し；及び、ニューラルネットワークに基づくキーポイント検出モデルを用いて前記融合特徴情報を検出し、前記オブジェクトのキーポイントデータを出力する。 For example, the processor 1210 may be configured to perform the following controls: detect an object using radar and acquire point cloud data; perform feature extraction on the point cloud data acquired within a predetermined period of time to acquire first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data, and time distribution feature data of the reflection point cloud; cascade the first spatial feature data, the Doppler velocity feature data, the reflected energy feature data, the density distribution feature data, and the time distribution feature data; detect the cascaded feature data using a neural network-based fusion feature extraction model to acquire fusion feature information; and detect the fusion feature information using a neural network-based keypoint detection model to output keypoint data of the object.

また、図12に示すように、電子機器1200はさらに入出力（I/O）装置1230、表示器1240などを含んでも良く、そのうち、これらの部品の機能は従来技術と類似したので、ここではその詳しい説明を省略する。なお、電子機器1200は図12に示す全ての部品を含む必要がない。また、電子機器1200はさらに図12にない部品を含んでも良いが、これについては関連技術を参照することができる。 Furthermore, as shown in FIG. 12, electronic device 1200 may further include an input/output (I/O) device 1230, a display 1240, etc., of which the functions are similar to those of conventional technology, and therefore detailed description thereof will be omitted here. Note that electronic device 1200 does not need to include all of the components shown in FIG. 12. Furthermore, electronic device 1200 may further include components not shown in FIG. 12, but reference can be made to related art for this information.

本発明の実施例ではコンピュータ可読プログラムがさらに提供され、そのうち、電子機器で前記プログラムを実行するときに、前記プログラムはコンピュータに、前記電子機器で第一側面の実施例に記載の無線レーダー信号に基づくキーポイント認識方法を実行させる。 An embodiment of the present invention further provides a computer-readable program, which, when executed by an electronic device, causes a computer to execute the keypoint recognition method based on a wireless radar signal described in the embodiment of the first aspect on the electronic device.

本発明の実施例ではコンピュータ可読プログラムを記憶している記憶媒体がさらに提供され、そのうち、前記コンピュータ可読プログラムはコンピュータに、電子機器で第一側面の実施例に記載の無線レーダー信号に基づくキーポイント認識方法を実行させる。 An embodiment of the present invention further provides a storage medium storing a computer-readable program, wherein the computer-readable program causes a computer to execute the keypoint recognition method based on a wireless radar signal described in the embodiment of the first aspect in an electronic device.

また、上述の装置及び方法は、ソフトウェア又はハードウェアにより実現されても良く、ハードウェアとソフトウェアとの組み合わせにより実現されても良い。本発明はさらに、下記のようなコンピュータ読み取り可能なプログラムに関し、即ち、該プログラムは、ロジック部品により実行されるときに、該ロジック部品に上述の装置又は構成部品を実現させ、又は、該ロジック部品に上述の各種の方法又はステップを実現させる。ロジック部品は、例えば、FPGA(Field Programmable Gate Array)、マイクロプロセッサ、コンピュータに用いる処理器などであっても良い。本発明は、さらに、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ハードディスク、DVD、フラッシュメモリなどにも関する。 The above-described devices and methods may be implemented using software or hardware, or a combination of hardware and software. The present invention also relates to a computer-readable program as described below, which, when executed by a logic component, causes the logic component to implement the above-described devices or components, or to implement the various methods or steps described above. The logic component may be, for example, an FPGA (Field Programmable Gate Array), a microprocessor, or a processing device used in a computer. The present invention also relates to a storage medium, such as a hard disk, magnetic disk, optical hard disk, DVD, or flash memory, that stores the above-described program.

さらに、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、本明細書に記載の機能を実行するための汎用処理器、デジタル信号処理器(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)又は他のプログラム可能な論理部品、ディスクリートゲート又はトランジスタ論理部品、ディスクリートハードウェアアセンブリ又は他の任意の適切な組み合わせとして実現されても良い。また、図面に記載の機能ブロックのうちの１つ又は複数の組み合わせ及び／又は機能ブロックの１つ又は複数の組み合わせは、さらに、計算装置の組み合わせ、例えば、DSP及びマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPと通信により接続される１つ又は複数のマイクロプロセッサ又は他の任意の構成の組み合わせとして構成されても良い。 Furthermore, one or more combinations of the functional blocks depicted in the figures and/or one or more combinations of the functional blocks may be implemented as a general-purpose processor, a digital signal processor (DSP), an application-specific integrated circuit (ASIC), a field-programmable gate array (FPGA) or other programmable logic component, a discrete gate or transistor logic component, a discrete hardware assembly, or any other suitable combination for performing the functions described herein. Furthermore, one or more combinations of the functional blocks depicted in the figures and/or one or more combinations of the functional blocks may be further configured as a combination of computing devices, such as a combination of a DSP and a microprocessor, multiple microprocessors, one or more microprocessors communicatively coupled with a DSP, or any other configuration.

さらに、以上の実施例などに関し、以下のように付記として開示する。 Furthermore, with respect to the above examples, the following supplementary notes are disclosed:

（付記１)
無線レーダー信号に基づくキーポイント認識方法であって、
レーダーによりオブジェクトを検出してポイントクラウドデータを取得し；
所定期間内に取得されるポイントクラウドデータに対して特徴抽出を行い、反射ポイントクラウドの第一空間特徴データ、ドップラー速度特徴データ、反射エネルギー特徴データ、密度分布特徴データ及び時間分布特徴データを取得し；
前記第一空間特徴データ、前記ドップラー速度特徴データ、前記反射エネルギー特徴データ、前記密度分布特徴データ及び前記時間分布特徴データをカスケード接続し；
ニューラルネットワークに基づく融合特徴抽出モデルを用いてカスケード接続後の特徴データを検出し、融合特徴情報を取得し；及び
ニューラルネットワークに基づくキーポイント検出モデルを用いて前記融合特徴情報を検出し、前記オブジェクトのキーポイントデータを出力することを含む、方法。 (Appendix 1)
A keypoint recognition method based on a radio radar signal, comprising:
Detect objects with radar and obtain point cloud data;
Perform feature extraction on the point cloud data acquired within a predetermined period to obtain first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data, and time distribution feature data of the reflection point cloud;
cascading the first spatial feature data, the Doppler velocity feature data, the reflected energy feature data, the density distribution feature data, and the time distribution feature data;
Detecting the cascaded feature data using a neural network-based fusion feature extraction model to obtain fusion feature information; and detecting the fusion feature information using a neural network-based keypoint detection model to output keypoint data of the object.

（付記2）
付記1に記載の方法であって、さらに、
ニューラルネットワークに基づく空間変換モデルを用いて前記第一空間特徴データに対して変換を行い、正規化後の第二空間特徴データを取得し；及び
前記正規化後の第二空間特徴データと、前記第一空間特徴データ、前記ドップラー速度特徴データ、前記反射エネルギー特徴データ、前記密度分布特徴データ及び前記時間分布特徴データとをカスケード接続し、カスケード接続後の特徴データを前記融合特徴抽出モデルに入力することを含む、方法。 (Appendix 2)
The method of claim 1, further comprising:
performing a transformation on the first spatial feature data using a spatial transformation model based on a neural network to obtain normalized second spatial feature data; and cascading the normalized second spatial feature data with the first spatial feature data, the Doppler velocity feature data, the reflected energy feature data, the density distribution feature data, and the time distribution feature data, and inputting the cascaded feature data into the fusion feature extraction model.

（付記3）
付記1又は2に記載の方法であって、
ニューラルネットワークに基づく空間変換モデルを用いて前記第一空間特徴データに対して変換を行うことは、
N*3次元の第一空間特徴データに対して特徴拡張を行い、N*M次元の拡張空間特徴データを取得し；
N*M次元の拡張空間特徴データに対してプーリング操作を行い、1*M次元のグローバル空間特徴データを取得し；
1*M次元のグローバル空間特徴データに対して特徴変換を行い、1*9次元の特徴データを得た後に3*3次元の空間特徴データに変換し；及び
前記N*3次元の第一空間特徴データと前記3*3次元の空間特徴データとの行列乗算を行い、前記正規化後の第二空間特徴データを取得することを含み、
Nは1よりも大きい正の整数であり、Mは3よりも大きい正の整数である、方法。 (Appendix 3)
10. The method according to claim 1 or 2,
performing a transformation on the first spatial feature data using a neural network-based spatial transformation model;
Feature expansion is performed on the N*3-dimensional first spatial feature data to obtain N*M-dimensional expanded spatial feature data;
Perform pooling on the N*M dimensional extended spatial feature data to obtain 1*M dimensional global spatial feature data;
performing feature transformation on the 1*M-dimensional global spatial feature data to obtain 1*9-dimensional feature data, and then converting the 1*9-dimensional feature data into 3*3-dimensional spatial feature data; and performing matrix multiplication of the N*3-dimensional first spatial feature data and the 3*3-dimensional spatial feature data to obtain the normalized second spatial feature data,
A method wherein N is a positive integer greater than 1 and M is a positive integer greater than 3.

（付記4）
付記1乃至3のうちの何れか1項に記載の方法であって、
ニューラルネットワークに基づく融合特徴抽出モデルを用いてカスケード接続後の特徴データを検出することは、
N*L次元のカスケード接続特徴データに対して特徴拡張を行い、N*K次元の拡張特徴データを取得し；
N*K次元の拡張特徴データに対してプーリング操作を行い、1*K次元のグローバル特徴データを取得し；
1*K次元のグローバル特徴データに対して特徴変換を行い、1*L²次元の特徴データを得た後にL*L次元の特徴データに変換し；及び
前記N*L次元のカスケード接続特徴データと前記L*L次元の特徴データとの行列乗算を行い、N*L次元の融合特徴情報を取得することを含み、
N、L及びKは何れも1よりも大きい正の整数であり、かつLはKよりも小さい、方法。 (Appendix 4)
4. The method of any one of claims 1 to 3, comprising:
Detecting cascaded feature data using a neural network-based fusion feature extraction model
Feature expansion is performed on the N*L dimensional cascaded feature data to obtain N*K dimensional expanded feature data;
Perform pooling on the N*K dimensional extended feature data to obtain 1*K dimensional global feature data;
performing feature transformation on 1*K-dimensional global feature data to obtain 1*L ^two- dimensional feature data, and then transforming the resulting data into L*L-dimensional feature data; and performing matrix multiplication between the N*L-dimensional cascaded feature data and the L*L-dimensional feature data to obtain N*L-dimensional fused feature information;
A method wherein N, L and K are all positive integers greater than 1, and L is less than K.

（付記5）
付記1乃至4のうちの何れか1項に記載の方法であって、
反射ポイントクラウドの前記密度分布特徴データを取得することは、
反射点と他の反射点の間の距離を計算し；及び
確率密度関数を用いて前記距離に対応する確率を計算し、前記確率を前記密度分布特徴データとすることを含む、方法。 (Appendix 5)
5. The method of any one of claims 1 to 4, comprising:
Obtaining the density distribution feature data of the reflectance point cloud includes:
calculating a distance between a reflection point and another reflection point; and calculating a probability corresponding to the distance using a probability density function, and setting the probability as the density distribution feature data.

（付記6）
付記5に記載の方法であって、
前記確率密度関数は、
であり、
d_iは前記距離であり；μは所定の距離パラメータであり；σは分散である、方法。 (Appendix 6)
6. The method of claim 5,
The probability density function is
and
The method wherein d _i is the distance; μ is a predetermined distance parameter; and σ is the variance.

（付記7）
付記6に記載の方法であって、
異なる分散が異なる確率に対応し、これによって複数の前記密度分布特徴データを取得する、方法。 (Appendix 7)
7. The method of claim 6,
The method, wherein different variances correspond to different probabilities, thereby obtaining a plurality of said density distribution feature data.

（付記8）
付記1乃至7のうちの何れか1項に記載の方法であって、
反射ポイントクラウドの前記時間分布特徴データを取得することは、
各反射点に対応する時間を計算し；及び
時間密度関数を用いて前記時間に対応する確率を計算し、前記確率を前記時間分布特徴データとすることを含む、方法。 (Appendix 8)
8. The method of any one of claims 1 to 7, comprising:
Obtaining the time distribution feature data of the reflectance point cloud includes:
calculating a time corresponding to each reflection point; and calculating a probability corresponding to the time using a time density function, and setting the probability as the time distribution feature data.

（付記9）
付記8に記載の方法であって、
前記時間密度関数は、
であり、
f_iは前記時間であり；μは所定の時間パラメータであり；σは分散である、方法。 (Appendix 9)
9. The method of claim 8,
The time density function is
and
The method wherein f _i is the time; μ is a predetermined time parameter; and σ is the variance.

（付記10）
付記9に記載の方法であって、
異なる分散が異なる確率に対応し、これによって複数の前記時間分布特徴データを取得する、方法。 (Appendix 10)
10. The method of claim 9,
The method, wherein different variances correspond to different probabilities, thereby obtaining a plurality of said time distribution feature data.

（付記11）
付記1乃至10のうちの何れか1項に記載の方法であって、
ニューラルネットワークに基づくキーポイント検出モデルを用いて前記融合特徴情報を検出することは、
N*L次元の融合特徴情報に対して特徴拡張を行い、N*J次元の拡張特徴データを取得し；
N*J次元の拡張特徴データに対してプーリング操作を行い、1*J次元のグローバル特徴データを取得し；及び
1*J次元のグローバル特徴データに対して特徴変換を行い、1*P次元のキーポイント位置情報を取得することを含み、
N、L、J及びPは何れも1よりも大きい正の整数であり、かつLはJよりも小さく、PはJよりも小さい、方法。 (Appendix 11)
11. The method of any one of claims 1 to 10, comprising:
Detecting the fused feature information using a neural network-based keypoint detection model includes:
Feature expansion is performed on the N*L dimensional fused feature information to obtain N*J dimensional expanded feature data;
Perform a pooling operation on the N*J dimensional extended feature data to obtain 1*J dimensional global feature data; and
Performing feature transformation on the 1*J-dimensional global feature data to obtain 1*P-dimensional keypoint location information;
A method in which N, L, J, and P are all positive integers greater than 1, and L is less than J and P is less than J.

（付記12）
電子機器であって、
記憶器及び処理器を含み、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は、前記コンピュータプログラムを実行することによって付記1乃至11のうちの何れか1項に記載の無線レーダー信号に基づくキーポイント認識方法を実現するように構成される、電子機器。 (Appendix 12)
An electronic device,
a memory and a processor;
The storage device stores a computer program,
12. An electronic device, wherein the processor is configured to implement the method for recognizing keypoints based on a radio radar signal according to any one of Supplementary Notes 1 to 11 by executing the computer program.

（付記13）
コンピュータ可読プログラムを記憶している記憶媒体であって、
前記コンピュータ可読プログラムはコンピュータに、電子機器で付記1乃至11のうちの何れか1項に記載の無線レーダー信号に基づくキーポイント認識方法を実行させる、記憶媒体。 (Appendix 13)
A storage medium storing a computer-readable program,
A storage medium, the computer-readable program causing a computer to execute the method for recognizing keypoints based on radio radar signals according to any one of Supplementary Notes 1 to 11 in an electronic device.

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。 The above describes a preferred embodiment of the present invention, but the present invention is not limited to this embodiment, and any modifications to the present invention that do not depart from the spirit of the present invention fall within the technical scope of the present invention.

Claims

A keypoint recognition device based on radio radar signals, comprising:
a detection unit that detects objects by radar and obtains point cloud data;
a feature extraction unit that performs feature extraction on the point cloud data acquired within a predetermined period of time to obtain first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data and time distribution feature data of the reflection point cloud;
a cascade connection unit for cascading the first spatial feature data, the Doppler velocity feature data, the reflected energy feature data, the density distribution feature data, and the time distribution feature data;
A keypoint recognition device, comprising: a feature detection unit that uses a neural network-based fusion feature extraction model to detect cascaded feature data and obtain fusion feature information; and a keypoint detection unit that uses a neural network-based keypoint detection model to detect the fusion feature information and output keypoint data of the object.

2. The keypoint recognition device according to claim 1,
a feature transformation unit that performs transformation on the first spatial feature data using a spatial transformation model based on a neural network to obtain normalized second spatial feature data;
the cascade connection unit further cascades the normalized second spatial feature data with the first spatial feature data, the Doppler velocity feature data, the reflected energy feature data, the density distribution feature data, and the time distribution feature data, and inputs the cascaded feature data into the fusion feature extraction model.

3. The keypoint recognition device according to claim 2,
The feature transformation unit
Feature expansion is performed on the N*3-dimensional first spatial feature data to obtain N*M-dimensional expanded spatial feature data;
Perform pooling on the N*M dimensional extended spatial feature data to obtain 1*M dimensional global spatial feature data;
Performing feature transformation on the 1*M-dimensional global spatial feature data to obtain 1*9-dimensional feature data, which is then converted into 3*3-dimensional spatial feature data; and performing matrix multiplication of the N*3-dimensional first spatial feature data and the 3*3-dimensional spatial feature data to obtain the normalized second spatial feature data;
where N is a positive integer greater than 1 and M is a positive integer greater than 3.

2. The keypoint recognition device according to claim 1,
The feature detection unit
Feature expansion is performed on the N*L dimensional cascaded feature data to obtain N*K dimensional expanded feature data;
Perform pooling on the N*K dimensional extended feature data to obtain 1*K dimensional global feature data;
Perform feature transformation on the 1*K-dimensional global feature data to obtain 1*L ^two- dimensional feature data, which is then transformed into L*L-dimensional feature data; and perform matrix multiplication of the N*L-dimensional cascaded feature data and the L*L-dimensional feature data to obtain N*L-dimensional fused feature information;
Here, N, L, and K are all positive integers greater than 1, and L is less than K.

2. The keypoint recognition device according to claim 1,
The feature extraction unit obtaining the density distribution feature data of the reflectance point cloud includes:
Calculating a distance between each reflection point and other reflection points; and calculating a probability corresponding to the distance using a probability density function, and setting the probability as the density distribution feature data.

6. The keypoint recognition device according to claim 5,
The probability density function is
and
where d _i is the distance, μ is a predetermined distance parameter, and σ is the variance,
The keypoint recognition device, wherein different distributions correspond to different probabilities, thereby obtaining a plurality of said density distribution feature data.

2. The keypoint recognition device according to claim 1,
The feature extraction unit obtaining the time distribution feature data of the reflectance point cloud includes:
A keypoint recognition device, comprising: calculating a time corresponding to each reflection point; and calculating a probability corresponding to the time using a time density function, and setting the probability as the time-distribution feature data.

8. The keypoint recognition device according to claim 7,
The time density function is
and
where f _i is the time, μ is a predetermined time parameter, and σ is the variance,
The keypoint recognition device, wherein different variances correspond to different probabilities, thereby obtaining a plurality of said time-distributed feature data.

2. The keypoint recognition device according to claim 1,
The keypoint detection unit
Feature expansion is performed on the N*L dimensional fused feature information to obtain N*J dimensional expanded feature data;
Perform a pooling operation on the N*J dimensional extended feature data to obtain 1*J dimensional global feature data; and
Feature transformation is performed on the 1*J-dimensional global feature data to obtain 1*P-dimensional keypoint position information.
Here, N, L, J, and P are all positive integers greater than 1, and L is less than J and P is less than J. A keypoint recognition device.

A keypoint recognition method based on a radio radar signal, comprising:
Detect objects with radar and obtain point cloud data;
Perform feature extraction on the point cloud data acquired within a predetermined period to obtain first spatial feature data, Doppler velocity feature data, reflected energy feature data, density distribution feature data, and time distribution feature data of the reflection point cloud;
cascading the first spatial feature data, the Doppler velocity feature data, the reflected energy feature data, the density distribution feature data, and the time distribution feature data;
A keypoint recognition method, comprising: detecting cascaded feature data using a neural network-based fusion feature extraction model to obtain fusion feature information; and detecting the fusion feature information using a neural network-based keypoint detection model to output keypoint data of the object.