JP7374375B2 - 信号識別装置 - Google Patents

Description

本開示技術は、信号識別装置に関する。

本開示技術に係る信号識別は、信号のカテゴリを予測すること、すなわち信号をその所属するクラスに分類することを目的とする。ここで取り扱う信号は、画像データを電気的に変換した信号を含む。

分類の問題、すなわちカテゴリを予測する問題に対しては、機械学習が有効であることが広く知られている。機械学習される学習モデルとして、ニューラルネットワークが用いられることも広く知られている。

ニューラルネットワークを使った生成モデルの１つに、変分オートエンコーダが知られている。機械学習の技術分野において、変分オートエンコーダを用いて学習データである入力データの特徴を学習する学習装置も提案されている。変分オートエンコーダは、多次元正規分布で表現される潜在変数ｚの平均と分散を出力する。変分オートエンコーダにおいて潜在変数ｚの平均及び分散の学習の精度を向上させた学習装置が開示されている（例えば特許文献１）。

特開２０２０－１５４５６１号公報

ところで人は、或る画像を見て、その画像に写っている対象が何を表しているかを判断し、その画像を分類することができる。人が行う分類の判断は、人類が作り上げてきた言葉と概念とに基づいて行われる。例えば、人類は「トリ」という言葉と「体表が特有の羽毛でおおわれており、くちばし、つばさ、を持つ」という概念とを対応させている。さらに人類が作り上げてきた概念には、例えば「トリ」という上位概念に対して「スズメ」という下位概念も可能である。上位概念と下位概念とは、分類の問題における大分類と小分類とに置き換えることができる。
人は画像に写っている対象が未知のものであっても、人類が作り上げてきた概念に基づいて予測をすることもできる。例えば「エミュー」を知らないが、他のトリを知っている人がいた、と想定する。この人は「エミュー」が写っている画像を見て、体表が特有の羽毛でおおわれていて、くちばしとつばさとを持っているから、トリの一種だ、と予測することができる。

一方で特許文献１に例示される従来の学習モデルは、未学習のクラスに属する信号データに対しては、色彩などの画像が有する特徴に基づいて、学習済みのクラスの中で最も近いものを候補として算出することは可能である。しかし従来の学習モデルは、人類が作り上げてきた概念を持たない。したがって従来技術は、未学習の「エミュー」の画像に対して、色彩が茶色という画像の特徴に基づいてトリではない「カピバラに近い」と分類をし、人にとってあまり望ましくない分類を行うおそれがある。

本開示技術に係る信号識別装置は上記課題を解決し、未学習クラスの信号データに対して人類が作り上げてきた概念に沿った予測をすることを目的とする。

本開示技術に係る信号識別装置は、画像データを電気的に変換した信号を識別する信号識別装置であって、既知信号学習部を含む学習部と、信号識別部を含む推論部と、を備え、既知信号学習部は、信号データと教師データとに基づいて、学習済みモデルを生成し、学習済みモデルは、推論モデルと、生成モデルと、識別モデルと、を含み、推論モデルは、小分類のクラスにより潜在空間における小分類のそれぞれに分布が定義される第１潜在変数と、小分類のクラスの上位概念の大分類により潜在空間における大分類のそれぞれに分布が定義される第２潜在変数と、を生成し、信号識別部は、クラスのそれぞれの分布におけるｎ％区間を表す等確率曲線をクラスに属すると認定する境界と定める、というものである。

本開示技術に係る信号識別装置は上記構成を備えるため、未学習クラスの信号データに対して人類が作り上げてきた概念に沿った予測ができる。

図１は、実施の形態１に係る信号識別装置の構成を示す構成図である。 図２は、実施の形態１に係る信号識別装置をコンピュータで実現した場合のハードウエア構成図である。 図３は、学習フェーズにおける学習部の構成例を示した模式図である。 図４は、潜在空間と第２潜在空間とにおけるプロットの例を示した参考図である。 図５は、従来技術による学習の結果と本開示技術による学習の結果とを比較例を示したグラフである。

実施の形態１．
図１は、実施の形態１に係る信号識別装置３の構成を示す構成図である。図１に示されるように信号識別装置３は、学習部３１と、推論部３６と、を含む。学習部３１は、既知信号学習部３３を含む。
また図１が示すように信号識別装置３は、２つの入力系統と、１つの出力系統と、を含む。１つ目の入力系統は、図１の左側上部に記載されており、学習フェーズにおいて学習部３１が用いるための入力系統である（以降、「学習用入力」と呼ぶ）。２つ目の入力系統は、図１の左側下部に記載されており、推論フェーズにおいて推論部３６が用いるための入力系統である（以降、「推論用入力」と呼ぶ）。出力系統は図１の下部に記載されており、推論フェーズにおいて推論部３６が識別結果（４）を出力するためのものである（以降、「推論用出力」と呼ぶ）。

図１に示す信号データセット（１）は、信号データ（３２）と対応する教師データ（３４）がペアとなり複数存在していることを特徴とする。具体的に言えば信号データ（３２）は、レーダで取得した電波信号でもよく、また光学画像でもよい。教師データ（３４）は、学習させたい信号データ（３２）が属するクラスに関する情報を含むものである。例えば或る信号データ（３２）がハトの画像の場合、対応する教師データ（３４）は、「トリ、ハト目、ハト科」といった情報を含むラベルである。前述の人類が作り上げてきた概念に関する情報は、この教師データ（３４）に含まれる。
教師データ（３４）は、実装上はあらかじめラベルごとに割り振られた簡易なもの、例えば、文字、数字、アルファベット、記号、又はこれらの組合せであってもよい。例えば、「トリ、ハト目、ハト科」のラベルは、あらかじめ１００１の整数が割り振られていてもよい。またラベルに割り振る整数は、生物に係るラベルの場合、哺乳類は０～９９９、トリは１０００～１９９９、サカナは２０００～２９９９、といった前述の人類が作り上げてきた概念に沿った割り振られ方であってよい。概念上近いクラスのラベルは、近い整数が割り振られていてもよい。さらにラベルに割り振る数字類は、１次元に限定するものではなく、（１００１、Ｂ、…、０）といった多次元のものでもよい。
本開示技術に係る教師データ（３４）の好ましい一例は、教師データ（３４）と別の教師データ（３４）との距離が定義され、それぞれの概念が近い場合は距離が小さくなる、というものである。

学習により学習部３１の既知信号学習部３３が生成する学習モデルは、図１の中央に記載されており、学習済みモデル（３５）と示されている。既知信号学習部３３は、信号データ（３２）と教師データ（３４）とに基づいて、学習済みモデル（３５）を生成する。学習済みモデル（３５）の詳細は、後述の説明により明らかになる。

図１に示す入力信号データ（２）は、信号識別装置３に識別させたい対象の信号データである。入力信号データ（２）と信号データ（３２）とは、信号識別装置３の用途に応じて、レーダで取得した電波信号でもよく、また光学画像でもよい。
また図１に示す識別結果（４）は、入力信号データ（２）の分類の結果である。入力信号データ（２）の分類の結果、或る学習済みクラスに属すると判定した場合、識別結果（４）はこのクラスの情報を含む。入力信号データ（２）の分類の結果、いずれのクラスにも属さず未学習であると判定した場合、識別結果（４）は未学習クラスであることと属するであろう上位概念の大分類結果とを含む。例えば前述の「エミュー」の例で言えば識別結果（４）は、未学習クラスであることと、属するであろう上位概念の大分類が「トリ」であることと、を含む。また、本開示技術に係る信号識別装置３は、属するであろう上位概念の大分類結果に代えて、概念上最も性質が近い学習済みクラスを識別結果（４）で示してもよい。例えば前述の「エミュー」の例で言えば別結果（４）は、未学習クラスであることと、概念上最も性質が近いクラスが学習済みクラス「ダチョウ」であること、であってもよい。

図２は、実施の形態１に係る信号識別装置３をコンピュータで実現した場合のハードウエア構成図である。図２が示すとおり信号識別装置３は、コンピュータで実現されてもよい。図２における信号識別装置３は、プロセッサ５０と、メモリ５１と、信号入力インターフェース５２と、信号処理プロセッサ５３と、表示器インターフェース５４と、を含む。

信号識別装置３の動作は、学習フェーズと推論フェーズとに分けた以下の説明により明らかになる。

信号識別装置３の学習フェーズにおける動作は、従来の機械学習との比較により明らかになる。
従来の機械学習には、分類の課題に対して、空間にクラスごとの境界をどのように引けばよいかという観点で開発されたものが知られている。この観点のものの一例は、サポートベクターマシンである。サポートベクターマシンは、余裕のある分類面を獲得するように設計され、分類面が曲面といった非線形なものも知られている。ここで空間とは、特徴量空間と呼ばれたり、潜在空間と呼ばれたりされている。
従来の教師あり学習の機械学習は、ラベルが付された入力データに対して、入力データの特徴のみを変数とした空間を考慮する。前述の「エミュー」と「カピバラ」とを例にとると、両者の画像はともに色彩が茶色という特徴を有しているため、特徴量空間において近い場所にプロットされてしまう。このため従来技術は、未学習の「エミュー」の画像に対して、色彩が茶色という画像の特徴に基づいて、「カピバラに近い」といった人にとってあまり望ましくない分類を行うおそれがある。

本開示技術に係る信号識別装置３は、入力データの特徴からなる変数のみならず、教師データに基づいた変数をも考慮する。このため本開示技術は、入力データの特徴からなる変数と教師データに基づいた変数とを含んだ特徴量空間を考えてもよい。教師データに基づいた変数は、前述のラベルに割り振られた数字類であってよい。前述の「エミュー」と「カピバラ」とを例にとると、両者の入力データの特徴からなる複数の変数はそれぞれ近い値となるが、両者の教師データに基づいた変数は近い値とはならない。よって本開示技術は、未学習の「エミュー」の画像に対して、「カピバラに近い」といった人にとってあまり望ましくない分類を行うおそれはない。

本開示技術は、上記のように特徴量空間の次元を、入力データの特徴からなる変数の次元と、教師データに基づいた変数の次元と、を足したものにしてもよい。また本開示技術は、特徴量空間の次元を入力データの特徴からなる変数の次元としたまま、教師データの情報を反映するような座標変換がなされていてもよい。
特徴量空間、又は潜在空間において、入力データの連続的な変化に対する連続性を有することのほか、教師データの連続的な変化に対する連続性を有する、このような構造は、本開示技術では「多様体構造」と称する。空間が次元を変えずに多様体構造を有することを実現する方法は、以下の説明により明らかになる。ここでの「連続的な変化」という表現は、「微小な変化」又は「近傍に位置する」と言い換えられてもよい。

従来技術と本開示技術との差異は、学習フェーズで用いられる損失関数にも表れる。損失関数は、コストファンクション、コスト関数、又は評価関数とも呼ばれる。
図３は、学習フェーズにおける学習部３１の構成例を示した模式図である。図３は、本開示技術の学習フェーズで用いられる損失関数について明らかにする。図３が示すとおり、学習部３１は、推論モデルと、生成モデルと、識別モデルと、を含む。
図３におけるｘは、信号データを表す。図３におけるｔは、教師データを表す。

図３における推論モデルは、信号データ（ｘ）が入力され、信号データ（ｘ）の第１潜在変数（以降、単に「潜在変数」と称する）ｚと、信号データ（ｘ）の第２潜在変数ｍと、を出力する。図３で示す推論モデルは、多次元正規分布で表現される潜在変数ｚの平均と分散を出力するオートエンコーダである。信号データ（ｘ）が画像データである場合、推論モデルは画像空間から潜在空間への写像だと言える。
図３が示す潜在変数ｚは、平均がμとなり分散がσ^２となるように生成される。また図３が示す第２潜在変数ｍは、平均がμ_Ｈとなり分散がσ_Ｈ ^２となるように生成される。より具体的に潜在変数ｚは、平均がμで分散がσ^２であるガウス分布からサンプリングすることで得るようにしてよい。潜在変数ｚは、従来技術に係るものと同じ意味を持つ変数である。潜在変数ｚを表す潜在空間において潜在変数ｚのプロットは、小分類のクラスごとにガウス分布となるように生成される。一方、本開示技術の特徴である第２潜在変数ｍは、上位概念の大分類が同じ複数のクラスをまとめてひとつのガウス分布となるように生成される。具体的に第２潜在変数ｍは、上位概念の大分類が同じ複数のクラスそれぞれの代表値である。例えば第２潜在変数ｍは、或るクラスにおける潜在変数ｚの平均値として定義されてもよい。
推論モデルは、例えばニューラルネットワークであってもよいし、その他の数理モデルであってもよい。

図３における識別モデルは、潜在変数ｚが入力され、信号データ（ｘ）が属するクラスについての識別結果（以降、「クラス識別結果」と呼ぶ）を出力する。クラス識別結果は、図３ではｙにハットを付した記号で表されている。例えばクラス識別結果は、前述のラベルに割り振られた整数であってもよい。言い換えれば識別モデルは、潜在空間から識別空間への写像である。
識別モデルは、例えばニューラルネットワークであってもよいし、その他の数理モデルであってもよい。

図３における生成モデルは、潜在変数ｚが入力され、信号データ（ｘ）を復元するように信号データ（ｘ）の推定値を出力する。信号データ（ｘ）の推定値は、図３ではｘにハットを付した記号で表されている。言い換えれば識別モデルは、潜在空間から画像空間への写像である。
生成モデルは、例えばニューラルネットワークであってもよいし、その他の数理モデルであってもよい。

推論モデル、識別モデル、及び生成モデルは、学習の目的を達成するように学習過程で変化する。学習の目的を数値化したものが、前述の損失関数である。推論モデル、識別モデル、及び生成モデルの変化する部分は、重みパラメータ又は単にパラメータと呼ばれる。
従来技術に係る学習装置は、損失関数として図３に示す「再構成誤差」に関する項から構成される。再構成誤差は、信号データ（ｘ）と信号データ（ｘ）の推定値との差である。損失関数における再構成誤差に関する項は、例えば以下の数式により表される。

数式（１）は１ノルムで定義されているが、再構成誤差に関する項はこれに限定されない。再構成誤差に関する項は、２ノルム等の他のノルムで定義されてもよいし、最小二乗法が使える２ノルムの二乗で定義されてもよい。

本開示技術に係る学習部３１が用いる損失関数は、再構成誤差のほか、「識別誤差」に関する項を含む。識別誤差とは、教師データ（ｔ）とクラス識別結果との差である。損失関数における識別誤差に関する項は、例えば以下の数式により表される。

数式（２）は、交差エントロピーを誤差関数としている一般的なもので定義されているが、これに限定されない。

学習部３１が用いる損失関数は、より好ましくはさらに２つのＫＬダイバージェンスに関する項を含む。２つのＫＬダイバージェンスに関する項は、例えば以下の数式により表される。

ＫＬダイバージェンスは、２つの確率分布がどの程度似ているかを表す尺度である。数式（３）と数式（４）とで表されたＤ_ＫＬ［ || ］は、ＫＬダイバージェンスを求める関数を表す。またＩは、単位行列を表す。
数式（３）は、平均がμで分散がσ^２であるガウス分布と、平均がｍで分散がＩであるガウス分布と、のＫＬダイバージェンスである。数式（４）は、平均がμ_Ｈで分散がσ_Ｈ ^２であるガウス分布と、平均が０で分散がＩである正規分布と、のＫＬダイバージェンスである。この２つのＫＬダイバージェンスの役割は、後述により明らかになる。

実施の形態１に係る信号識別装置３は、学習部３１の学習に用いる損失関数として以下の数式で表されるものを用いてもよい。

ここでα、β、及びγは、それぞれ重みである。
学習部３１の学習は、数式（５）に表される損失関数を最小化するように行われる。推論モデル、識別モデル、及び生成モデルのそれぞれのパラメータの更新は、例えば確率的勾配降下法による最適化手法が用いられてよい。学習済みの推論モデル、識別モデル、及び生成モデルのそれぞれは、図１の学習済みモデル（３５）として表されている。

数式（２）に示すＬ_ｃの項の効果は、信号識別装置３が正しいクラス識別結果を出力するように識別モデルを更新するものである。
また数式（４）に示すＬ_ＫＬＭの項の効果は、第２潜在空間において、上位概念の大分類が同じ複数のクラスのプロットが１つのガウス分布を形成することである。言い換えれば上位概念の大分類が同じものは、第２潜在空間における距離が近い。上位概念の大分類が異なるものは、たとえ画像の特徴が似ていても第２潜在空間における距離が遠い。
損失関数にＬ_ｃの項とＬ_ＫＬＭの項とを備えることによって学習部３１は、信号データセット全体の多様体構造を抽出するように学習される。

数式（１）に示すＬ_ｒの項の効果は、生成モデルが信号データ（ｘ）を正しく復元するように生成モデルを更新するものである。
また数式（３）に示すＬ_ＫＬの項の効果は、潜在空間にいて、クラスごとにガウス分布を形成することである。
本開示技術において各クラスの中心は、データセット全体の多様体構造を持つｍであるため、各クラスのガウス分布の位置関係は、第２潜在空間の多様体構造を引き継ぐことができる。

以上までをまとめると、潜在空間は従来技術と同様のそれぞれの信号データ単位のものであり、第２潜在空間はマクロ的にみたクラス単位のものである、と言える。

図４は、潜在空間と第２潜在空間とにおけるプロットの例を示した参考図である。図４が示すように潜在空間のプロット例は、クラスごとにガウス分布が形成されていることがわかる。第２潜在空間のプロット例は、上位概念の大分類が同じ複数のクラス、すなわちデータセット全体が、１つのガウス分布に形成されていることがわかる。さらに潜在空間のプロット例は、クラスごとにガウス分布が形成されていると同時に、第２潜在空間における各クラスの位置関係を反映している。すなわち本開示技術に係る潜在変数ｚは、信号データセット全体の多様体構造を保った状態だと言える。

図５は、従来技術による学習の結果と本開示技術による学習の結果とを比較例を示したグラフである。図５は、左列が従来技術による学習の結果を示し、右列が本開示技術による学習の結果を示している。
図５でしめした例示は、学習済みクラスが自動車、トラック、猫、及び鳥であり、未学習クラスが犬、である。
従来技術による学習の結果は、学習済みクラスの分布の並びに規則性はなく、「動物」「機械」という上位概念による大分類がなされていない。
対照的に本開示技術による学習の結果は、「動物」「機械」という上位概念による大分類がなされ、未学習クラスである犬の分布が同じ動物である猫の分布に近い位置に現れる。

信号識別装置３の推論フェーズにおける動作は、以下の説明により明らかになる。
推論フェーズにおいて推論部３６は、学習フェーズで学習された学習済みモデル（３５）を使用する（図３を参照）。
学習済みモデル（３５）は、学習したクラスごとに潜在空間で定義されたそれぞれのガウス分布を有する。
推論部３６の信号識別部３７は、学習済みモデル（３５）と入力信号データ（２）とが入力される。信号識別部３７は、入力信号データ（２）の潜在変数ｚを潜在空間へプロットし、学習済みモデル（３５）で定義された学習済みクラスのそれぞれのガウス分布との相関を算出する。

ところで、ガウス分布は正規分布とも呼ばれ、確率分布の一つである。正規分布を利用した技術の一つに、異常検知が知られている。さらに正規分布の測定結果を用い、あるサンプルの外れ度合を測る方法として、マハラノビス距離を用いるものが知られている。
本開示技術に係る推論部３６もマハラノビス距離を用いて、入力信号データ（２）の識別結果（４）を算出することが考えられる。

ここで、ｋは学習したクラスの通し番号、下添え文字Ｔｒａｉｎは学習済みであることを示したもの、である。また上添え字Ｔは転置を表す。また数式（６）のz_ｘは、入力信号データ（２）の潜在変数ｚを表す。
数式（６）で計算されたマハラノビス距離に基づいて、推論部３６は以下の数式で示す識別結果（４）を出力する。

推論部３６の信号識別部３７は、各クラスごとの分布におけるｎ％区間を表す等確率曲線をそのクラスに属すると認定する境界と定めてよい。すなわち信号識別部３７は、z_ｘが或るクラスの等確率曲線の内側にあれば、識別結果としてそのクラスに属することが確からしい、としてよい。また信号識別部３７は、z_ｘがいずれのクラスの等確率曲線の内側になければ、識別結果として未学習クラスであることが確からしい、としてよい。いずれのクラスの等確率曲線の内側にもない場合に信号識別部３７は、マハラノビス距離が最も近いクラスの分布の情報から、最も近いクラスの情報を出力したり、上位概念である大分類を出力したり、してよい。

以上のとおり実施の形態１に係る信号識別装置３は上記構成を備え機能するため、未学習クラスの信号データに対して人類が作り上げてきた概念に沿った予測ができる。

本開示技術に係る信号識別装置３は、レーダで取得した電波信号の信号識別、カメラで取得された画像の識別、その他の信号識別をする装置として応用できるため、産業上の利用可能性を有する。

３ 信号識別装置、 ３１ 学習部、 ３３ 既知信号学習部、 ３６ 推論部、 ３７ 信号識別部、 ５０ プロセッサ、 ５１ メモリ、 ５２ 信号入力インターフェース、 ５３ 信号処理プロセッサ、 ５４ 表示器インターフェース。

Claims (3)

1. 画像データを電気的に変換した信号を識別する信号識別装置であって、
   既知信号学習部を含む学習部と、
   信号識別部を含む推論部と、を備え、
   前記既知信号学習部は、信号データと教師データとに基づいて、学習済みモデルを生成し、
   前記学習済みモデルは、推論モデルと、生成モデルと、識別モデルと、を含み、
   前記推論モデルは、小分類のクラスにより潜在空間における前記小分類のそれぞれに分布が定義される第１潜在変数と、前記小分類の前記クラスの上位概念の大分類により前記潜在空間における前記大分類のそれぞれに分布が定義される第２潜在変数と、を生成し、
   前記信号識別部は、前記クラスのそれぞれの分布におけるｎ％区間を表す等確率曲線を前記クラスに属すると認定する境界と定める、
   信号識別装置。
2. 前記推論モデルは、前記信号データと、前記信号データが属する前記クラスの情報及び前記クラスの前記上位概念の情報を含む前記教師データと、により学習される、
   請求項１に記載の信号識別装置。
3. ハードウエア構成として、信号入力インターフェースと、信号処理プロセッサと、表示器インターフェースと、を含むコンピュータにより実現される、
   請求項１に記載の信号識別装置。

Images