JP7582307B2 - 情報処理方法、情報処理装置及び情報処理プログラム - Google Patents

Description

本開示は、情報処理方法、情報処理装置及び情報処理プログラムに関する。

例えば特許文献１は、一つの曲の各部分データの特徴量を変更することによって別の曲を生成する手法を開示する。

国際公開第２０２０／０８０２６８号

生成の元となるデータとして、生成されるデータと同程度のデータ量を有するデータを準備することが困難な場合もある。

本開示の一側面は、データ準備負担を軽減することのできる情報処理方法、情報処理装置及び情報処理プログラムを提案する。

本開示の一側面に係る情報処理方法は、結合関係にない複数の特徴量と、学習済みモデルとを用いて、変更された複数の特徴量から得られる新規データを生成し、学習済みモデルは、複数の特徴量が入力されると、変更された複数の特徴量を出力する。

本開示の一側面に係る情報処理装置は、結合関係にない複数の特徴量と、学習済みモデルとを用いて、変更された複数の特徴量から得られる新規データを生成する生成部を備え、学習済みモデルは、複数の特徴量が入力されると、変更された複数の特徴量を出力する。

本開示の一側面に係る情報処理プログラムは、コンピュータを機能させるための情報処理プログラムであって、結合関係にない複数の特徴量と、学習済みモデルとを用いて、変更された複数の特徴量から得られる新規データを生成すること、をコンピュータに実行させ、学習済みモデルは、複数の特徴量が入力されると、変更された複数の特徴量を出力する。

実施形態に係る情報処理装置の概略構成の例を示す図である。 入力画面の例を示す図である。 出力画面の例を示す図である。 情報処理装置の機能ブロックの例を示す図である。 複数の部分データの例を示す図である。 学習済みモデルの概略構成の例を示す図である。 エンコーダの事前学習の例を示す図である。 識別器及び生成器の事前学習の例を示す図である。 新規データの例を示す図である。 情報処理装置において実行される処理（情報処理方法）の例を示すフローチャートである。 学習済みモデルの生成の例を示すフローチャートである。 学習済みモデルの概略構成の例を示す図である。 入力画面の例を示す図である。 複数の部分データの例を示す図である。 新規データの例を示す図である。 出力画面の例を示す図である。 学習済みモデルの概略構成の例を示す図である。 入力画面の例を示す図である。 情報処理装置のハードウェア構成の例を示す図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

以下に示す項目順序に従って本開示を説明する。
１． 実施形態
２． 変形例
３． 効果

１． 実施形態
以下では、主に、実施形態に係る情報処理方法に用いることのできる情報処理装置を例に挙げて説明する。処理対称となる情報の例は、音楽データ、言語データ、ＤＮＡ配列データ、画像データ等である。音楽データの例は、シンボリック音楽（シンボル系列）のような音楽シーケンス、オーディオ等である。言語の例は、文書、詩、プログラミング言語等である。

情報処理装置は、結合関係にない複数の特徴量から新規データを生成する。結合関係にない複数の特徴量とは、例えば、それらの特徴量をそのまま結合（連続して並べてつなげる等）した場合に不連続性等の不自然さが生ずる関係をいう。結合関係にない複数の特徴量の例は、各特徴量の抽出元のデータ（以下、「部分データ」という。）どうしが結合関係になかった特徴量である。例えば、同じデータ中に連続して存在していた複数の部分データは、結合関係にあったといえる。同じデータ中でも、連続性がなかったりそのままつなげると不自然さが生じたりする程度に離れて存在していた複数の部分データは、結合関係になかったといえる。別々のデータ中に存在していた複数の部分データは、結合関係になかったといえる。なお、生成される新規データのデータ長は部分データのデータ長よりも長い。換言すれば、部分データは、新規データのデータ長よりも短いデータ長を有する。特徴量の別の例は、抽出元の部分データが存在しない特徴量であり、後に図１６を参照して説明するような標準正規分布Ｎ（０、Ｉ）からサンプルされた特徴量である。

結合関係にない複数の特徴量それぞれの準備は、例えば新規データと同程度のデータ量を有するデータの特徴量を準備するよりも容易な場合も少なくない。したがって、データ準備負担を軽減することができる。

新規データは、変更された複数の特徴量から得られるデータである。変更された複数の特徴量は、変更前の複数の特徴量それぞれの特徴を残しつつも、変更前の各特徴量をそのまま結合するだけでは得ることのできない斬新な特徴量となりうる。変更前の各特徴量をそのまま結合した場合に生じうる不連続性等の不自然さも低減されうる。

例えば複数の特徴量のいずれにも抽出元の部分データが存在する場合、新規データは、融合性が高められるように変更された複数の部分データが結合されたデータとなる（系列の結合的融合）。このような結合的融合によって生成された新規データは、変更前の部分データの特徴を残しつつ、変更前の部分データをそのまま結合するだけでは得られない斬新なデータとなりうる。変更前の各部分データをそのまま結合した場合に生じうる不連続性等の不自然さも低減されうる。例えばアイデアの断片を部分データとして用いることで、アイデアの断片から新しいアイデアを生み出せる可能性がある。

以下、抽出元の部分データが存在する特徴量の例について、図１～図１６を参照して説明する。その後、抽出元の部分データが存在しない特徴量の例について、図１７及び図１８を参照して説明する。部分データの例として、音楽シーケンスを用いて説明する。

図１は、実施形態に係る情報処理装置の外観の例を示す図である。情報処理装置１は、例えば汎用のコンピュータにおいて所定のプログラム（ソフトウェア）を実行させることによって実現される。図１に示される例では、情報処理装置１は、ユーザＵが使用するラップトップである。情報処理装置１の表示画面を、表示画面１ａと称し図示する。ラップトップ以外にも、ＰＣ、スマートフォンといった種々の装置によって情報処理装置１が実現されうる。

図２は、入力画面の例を示す図である。この例では、ユーザＵは、２つの音楽シーケンスを入力する。項目「シーケンス１」において、ユーザＵは、フォルダ等を参照してファイル選択する。選択されたファイルに示される音楽シーケンスが、可視化表示される。同様に、項目「シーケンス２」において、ユーザＵは、フォルダ等を参照してファイル選択する。選択されたファイルに示される音楽シーケンスが、可視化表示される。

さらに、項目「iteration数」において、ユーザＵは、iteration数を設定する。iteration数は、２つの音楽シーケンスの融合性の程度（融合度）に関連し、詳細については後に図６を参照して説明する。この例では、iteration数は、自動設定又は指定可能である。ここでは、iteration数が３に設定されるものとする。

図３は、出力画面の例を示す図である。上述のiteration数３に応じて、iteration数が１～３それぞれに対応する３つの新規シーケンスが可視化表示される。新規シーケンスは、シーケンス１及びシーケンス２をそのまま結合するだけでは得られない斬新なシーケンスとなりうる。シーケンス１及びシーケンス２をそのまま結合した場合に生じうる不連続性等の不自然さも低減されうる。

なお、以上説明した図１～図３は情報処理装置１の外観及び入出力画面の構成の例示に過ぎず、以降に説明する内容も含めさまざまな入出力態様に対応可能なあらゆる構成が採用されてよい。

図４は、情報処理装置の機能ブロックの例を示す図である。情報処理装置１は、入力部１０と、記憶部２０と、生成部３０と、出力部４０とを含む。

入力部１０には、複数の部分データが入力される。複数の部分データは、冒頭で述べたように、結合関係になかった複数の部分データである。データの例について、図５を参照して説明する。

図５は、複数の部分データの例を示す図である。この例では、複数の部分データは、時刻及び音高値（MIDI pitch）で表される２つの音楽シーケンスである。time(bars)は小節番号を示す。各部分データの有するデータ長（この例では４小節）は、生成される新規データのデータ（後述の図９の例では８小節）よりも短い。

図４に戻り、入力部１０には、先に図３を参照して説明したiteration数を示すデータ、また、後に図１３を参照して説明するスタイルの有無（図１３等を参照）を示すデータ、図１６を参照して説明する特徴量Ｓの設定データ等も入力される。

記憶部２０は、情報処理装置１で用いられる種々の情報を記憶する。このうち、学習済みモデル２１及び情報処理プログラム２２が例示される。学習済みモデル２１については後述する。情報処理プログラム２２は、情報処理装置１において実行される処理を実現するためのプログラムである。

生成部３０は、入力部１０の入力結果に応じて、複数の特徴量と、学習済みモデル２１とを用いて、新規データを生成する。複数の特徴量それぞれは、複数の部分データそれぞれの特徴量であり、結合関係にない特徴量である。学習済みモデル２１について、図６～図８を参照して説明する。

図６は、学習済みモデルの概略構成の例を示す図である。学習済みモデル２１は、エンコーダｑθと、生成器Ｇ_Ψと、デコーダｐθとを含む。

エンコーダｑθは、部分データＸ_Ｌ及び部分データＸ_Ｒの特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒを抽出する。エンコーダｑθは、部分データＸ_Ｌ及び部分データＸ_Ｒを特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒに変換する変換関数ともいえる。特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒは、多次元空間中の位置（点）を示す。このような多次元空間は、潜在空間、潜在特徴空間等とも称され、以下では潜在空間と称する。特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒはベクトルであってよい。エンコーダｑθは、デコーダｐθとともに事前学習を行うことによって生成される。これについて、図７を参照して説明する。

図７は、エンコーダ及びデコーダの事前学習の例を示す図である。図７に示されるエンコーダｑθ及びデコーダｐθは、学習が完了する前の（暫定の）エンコーダ及びデコーダであり、上述の図６に示される学習済みのエンコーダ及びデコーダとは異なる点に留意されたい。

図７を参照して、エンコーダｑθ及びデコーダｐθは、いずれもニューラルネットワークであり、部分データＸの特徴量Ｚすなわち潜在空間中の位置をＶＡＥ（Variational Auto Encoder）で学習することによって生成される。ここでの部分データＸ並びに特徴量Ｚは、先に図６を参照して説明した部分データＸ_Ｌ及び部分データＸ_Ｒ並びに特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒに相当しうる。ＶＡＥのエンコーダｑθ及びデコーダｐθは、例えばＲＮＮ（Recurrent Neural Network）を用いて実装される。エンコーダｑθは、部分データＸの特徴量Ｚを抽出する。デコーダｐθは、特徴量Ｚを部分データＸ´として再構成する。

図７には、損失関数として、損失Ｌ_ｒｅｃ及び損失Ｌ_ｐｒｉが例示される。損失Ｌ_ｒｅｃは、部分データＸ´を部分データＸに近づけるために用いられる再構成誤差である。損失Ｌ_ｐｒｉは、エンコーダｑθによって抽出された特徴量の分布すなわち多次元空間中の位置の分布を標準正規分布Ｎ（０、Ｉ）に近づけるために用いられるプライア誤差である。

図６に戻り、生成器Ｇ_Ψは、特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒが入力されると、特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒを生成（出力）する。特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒは、変更された特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒである。なお、特徴量を変更することは、潜在空間中の特徴量の位置を移動させることに相当する。生成器Ｇ_Ψは、識別器とともに事前学習を行うことによって生成される。これについて、図８を参照して説明する。

図８は、識別器及び生成器の事前学習の例を示す図である。図８に示される生成器Ｇ_Ψは、学習が完了する前の（暫定の）生成器であり、上述の図６に示される学習済みの生成器Ｇ_Ψとは異なる点に留意されたい。

図８を参照して、生成器Ｇ_Ψは、特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒを入力とし、特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒを出力（生成）する。識別器Ｄ_Ψは、生成器Ｇ_Ψによって生成された特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒの結合特徴量（結合ベクトル）を識別する。生成器Ｇ_Ψ及び識別器Ｄ_Ψは、ＧＡＮ（Generative Adversarial Networks）を用いて実装される。アーキテクチャの例は、多層パーセプトロン、ＲＮＮ及びＴｒａｎｓｆｏｒｍｅｒ等である。

図８には、損失関数として、損失Ｌ^ｐ _ｄｉｓ、損失Ｌ^Ｎ _ｄｉｓ、損失Ｌ^ｐ _ｇｅｎ及び損失Ｌ_ｓｉｍが例示される。損失Ｌ^ｐ _ｄｉｓは、識別器Ｄ_Ψの正例に関する損失関数である。損失Ｌ^Ｎ _ｄｉｓは、識別器Ｄ_Ψの負例に関する損失関数である。損失Ｌ^ｐ _ｇｅｎは、生成器Ｇ_Ψに関する損失関数である。損失Ｌ_ｓｉｍは、特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒを、特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒに近づけるための損失関数である。これらの損失関数を用いることにより、特徴量Ｚ´_Ｌに特徴量Ｚ_Ｌとの関連性が残り、特徴量Ｚ´_Ｌと特徴量Ｚ_Ｒとの類似性が担保される。また、特徴量Ｚ´_Ｒに特徴量Ｚ_Ｒとの関連性が残り、特徴量Ｚ´_Ｒと特徴量Ｚ_Ｒとの類似性が担保される。この類似性の担保により、生成された新規データに、部分データＸ_Ｌ及び部分データＸ_Ｒの特徴が残る。

識別器Ｄ_Ψの学習についてさらに述べる。識別器Ｄ_Ψの学習では、正例と負例を識別するように勾配降下が用いられる。誤差関数には、クロスエントロピーが用いられてよい。正例及び負例について順に説明する。

正例の例は、２つの部分データ全体のデータ長（例えば８小節）と同じデータ長を有するデータの前半部分（例えば前半の４小節）の特徴量及び後半部分（例えば後半の４小節）の特徴量の結合特徴量（結合ベクトル）である。このような結合特徴量は、結合関係にあった部分データの特徴量すなわち結合関係にある特徴量が結合された特徴量であり、生成目的として適切である。

負例として、４つの例を挙げる。第１の例は、ランダムにサンプルされた２つの部分データそれぞれの特徴量の結合特徴量である。第２の例は、標準正規分布からサンプルされた２つの特徴量の結合特徴量である。これらの結合特徴量を負例とするのは、これらの結合特徴量が、結合関係になかった２つの部分データの特徴量すなわち結合関係にない特徴量をそのまま結合したに過ぎず、生成目的に反するからである。

第３の例は、上述の第１の例においてサンプルされた２つの部分データそれぞれの特徴量を暫定の生成器Ｇ_Ψに入力することによって生成された特徴量の結合特徴量である。第４の例は、上述の第２の例においてサンプルされた２つの部分データそれぞれの特徴量を暫定の生成器Ｇ_Ψに入力することによって生成された特徴量の結合特徴量である。これらの結合特徴量を負例とするのは、ＧＡＮにおける敵対的学習のためである。

生成器Ｇ_Ψの学習についてさらに述べる。生成器Ｇ_Ψの学習では、上述の第１の例における結合特徴量、及び、上述の第２の例における結合特徴量を生成器Ｇ_Ψに入力する。生成器Ｇ_Ψの出力を識別器Ｄ_Ψに入力し、識別器Ｄ_Ψの出力を正例とするようなクロスエントロピー誤差関数を計算する。さらに、特徴量Ｚと特徴量Ｚ´との類似度誤差関数、及び、特徴量Ｚ_Ｒと特徴量Ｚ´_Ｒとの類似度誤差関数を計算する。類似度誤差関数の例は、両特徴量の二乗誤差である。ただし、他の類似度誤差関数が用いられてもよい。上述のクロスエントロピー誤差関数、特徴量Ｚ_Ｌと特徴量Ｚ´_Ｌとの類似度誤差関数、及び、特徴量Ｚ_Ｒと特徴量Ｚ´_Ｒとの誤差関数の３つの誤差関数の加算結果を最終誤差関数とし、生成器Ｇ_Ψのパラメータを勾配法で更新する。

図６に戻り、デコーダｐθは、特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒを、部分データＸ´_Ｌ及び部分データＸ´_Ｒとして再構成する。デコーダｐθは特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒを部分データＸ´_Ｌ及び部分データＸ´_Ｒに変換する変換関数ともいえる。

生成部３０は、部分データＸ´_Ｌ及び部分データＸ´_Ｒを結合することによって、新規データを生成する。

図６における「optionally iterate」は、生成部３０が、生成器Ｇ_Ψの出力結果を、新規データの生成に用いるだけでなく、任意選択的に生成器Ｇ_Ψの入力に戻してよいことを示す。生成器Ｇ_Ψによる生成を繰り返し実行することで、特徴量をさらに変更することができる。生成器Ｇ_Ψが生成を行う回数をiterate数とすると、iterate数が増加するにつれて、特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒに対する特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒの融合度の程度が大きくなり、新規データにおける部分データＸ´_Ｌ及び部分データＸ´_Ｒの融合度が高くなる。したがって、iteration数と同じ数の異なる新規データが生成される。

図２に戻り、出力部４０は、生成部３０によって生成された新規データを出力する。データの例について、図９を参照して説明する。

図９は、新規データの例を示す図である。この例では、３通りのiterate数に対応する３つの新規データが例示される。各新規データは、８小節のデータ長、すなわち入力された複数の部分データ（図５）全体のデータ長と同じデータ長を有する。前半４小節の音楽シーケンスは、もとの音楽シーケンス（図５の左側）が変更された音楽シーケンスである。後半４小節の音楽シーケンスは、もとの音楽シーケンス（図５の右側）が変更された音楽シーケンスである。上下方向に並んで表示された３つの新規データのiterate数は、上から下に向かうにつれて増加し、例えばもとの音楽シーケンスからの変更の度合いも大きくなり、融合度が高められる。

出力部４０は、先に図３を参照しても説明したように、新規データとiterate数とを対応付けて表示してよい。これにより、iterate数を確認することができ、また、別のiterate数を用いた新規データの生成を行うことができる。

図１０は、情報処理装置において実行される処理（情報処理方法）の例を示すフローチャートである。

ステップＳ１において、複数の部分データを入力する。例えば先に図２を参照して説明したように、２つの音楽シーケンスが入力され、入力部１０がそれらを受け付ける。入力された２つの音楽シーケンスは、これまで説明した部分データＸ_Ｌ及び部分データＸ_Ｒに相当する。なお、iterate数等の他のデータも入力部１０に入力されてよい。

ステップＳ２において、特徴量を抽出する。例えば、生成部３０が、学習済みモデル２１のエンコーダｑθを用いて、先のステップＳ１で入力された部分データＸ_Ｌ及び部分データＸ_Ｒの特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒを抽出する。

ステップＳ３において、変更された特徴量を生成する。例えば、生成部３０が、学習済みモデル２１の生成器Ｇ_Ψを用いて、先のステップＳ２で抽出された特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒから変更された特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒを生成する。

ステップＳ４において、変更された特徴量を部分データとして再構成する。例えば、生成部３０が、学習済みモデル２１のデコーダｐθを用いて、先のステップＳ３で生成された特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒを、部分データＸ´_Ｌ及び部分データＸ´_Ｒとして再構成する。

ステップＳ５において、新規データを生成する。例えば、生成部３０が、先のステップＳ４で得られた部分データＸ´_Ｌ及び部分データＸ´_Ｒを結合することによって、新規データを生成する。

ステップＳ６において、新規データを出力する。例えば、出力部４０が、先に図３及び図９を参照して説明したように、新規データを出力する。後に図１６等を参照して説明するような出力態様もありうる。

ステップＳ６の処理が完了した後、フローチャートの処理は終了する。例えばこのようにして新規データを生成することができる。

学習済みモデル２１の生成手順の例について、図１１を参照して説明する。

図１１は、学習済みモデルの生成の例を示すフローチャートである。

ステップＳ１１において、部分データを用いたＶＡＥの学習を行う。例えば、先に図７を参照して説明したように、部分データＸを用いた学習を行い、エンコーダｑθ及びデコーダｐθを生成する。

ステップＳ１２において、変数ｉの値を１に設定する。変数ｉは、後述のステップＳ１３及びステップＳ１４の処理を、決められたiteration数だけ繰り返すために用いられる。iteration数は、想定されるiteration数の範囲内で適宜設定されてよい。

ステップＳ１３において、１バッチ分のサンプルを取得する。サンプルは例えばミニバッチサンプルであり、先に識別器Ｄ_Ψ及び生成器Ｇ_Ψの学習に用いる訓練データの一例である。例えば１バッチが１００個のデータに相当する場合、先に図８を参照して説明したような正例及び負例のグループを１００個準備する。

ステップＳ１４において、識別器及び生成器の学習を行う。すなわち、先のステップＳ１１で学習したＶＡＥと、先のステップＳ１２で取得した１バッチ分のサンプルとを用いて、識別器Ｄ_Ψ及び生成器Ｇ_Ψの学習を行う。標準正規分布Ｎ（０、Ｉ）からサンプルされた特徴量も学習に用いられてよい。これにより、例えば人間が作ったデータからでは得られにくい特徴量にも対応可能な生成器Ｇ_Ψが生成される。このような特徴量は、iteration数が２以上の場合に生成器Ｇ_Ψに入力される可能性が高く、とくにこの意味において学習に用いる意義がある。

ステップＳ１５において、変数ｉが、決められたiteration数以上であるか否かを判断する。変数ｉが決められたiteration数以上の場合（ステップＳ１５：Ｙｅｓ）、フローチャートの処理は終了する。そうでない場合（ステップＳ１５：Ｎｏ）、ステップＳ１６に処理が進められる。

ステップＳ１６において、変数ｉの値が１だけ増加され、ステップＳ１３に処理が戻される。

例えば以上のようにして、学習済みモデル２１を生成することができる。

以上、本開示の一実施形態について説明した。本開示は、上記実施形態に限定されない。いくつかの変形例について述べる。

２． 変形例
上記実施形態では、特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒのみが用いられる例について説明した。ただし、特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒに加えて、特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒの変更の方向性を与える追加特徴量も用いられてよい。これについて、図１２～図１５を参照して説明する。

図１２は、学習済みモデルの概略構成の例を示す図である。図１２に示される学習済みモデル２１Ａは、学習済みモデル２１（図６）と比較して、特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒだけでなく、特徴量Ｓも生成器Ｇ_Ψに入力される点において相違する。特徴量Ｓは、多次元分布ｕ（０、１）^ｄｓからサンプルされた特徴量（ベクトル）であり、特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒと同様に、潜在空間中の位置（点）を示す。なお、多次元分布ｕ（０、１）^ｄｓのｄsは次元数を示す。

生成器Ｇ_Ψに特徴量Ｓが入力されたことに起因して、特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒに変化が表れる。部分データＸ´_Ｌ及び部分データＸ´_Ｒ、さらにはこれらの結合データである新規データにも変化が表れる。例えば、特徴量Ｓの潜在空間中の或る方向に特徴量Ｓの位置を移動させると、新規データに現れる或る変化の傾向が顕在化したり潜在化したりする。潜在空間中の別の方向に特徴量Ｓを移動させると、新規データに現れる別の変化の傾向が顕在化したり潜在化したりする。このような特徴量Ｓは、生成される新規データのスタイルにバリエーションを与える特徴量（スタイル空間のベクトル）ともいえる。

学習済みモデル２１Ａの学習は、学習済みモデル２１の生成と比較して、特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒとともに特徴量Ｓも生成器Ｇ_Ψに入力する点において相違する。すなわち、学習の際、先に説明した第１の例における結合特徴量に、多次元分布ｕ（０、１）^ｄｓからサンプルされた特徴量を結合したうえで、生成器Ｇ_Ψに入力する。また、先に説明した第２の例における結合特徴量に、多次元分布ｕ（０、１）^ｄｓからサンプルされた特徴量を結合したうえで、生成器Ｇ_Ψに入力する。先に説明した図１１に示されるフローチャートでいうと、ステップＳ１４が上述の学習済みモデル２１Ａの学習に適合するように変更される。生成された学習済みモデル２１Ａは、特徴量Ｚ_Ｌ、特徴量Ｚ_Ｒ及び特徴量Ｓが入力されると、特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒを出力する。

生成部３０による新規データの生成手順も、学習済みモデル２１Ａの使用に適合するように変更される。先に説明した図１０に示されるフローチャートでいうと、ステップＳ３において、生成部３０が、学習済みモデル２１Ａの生成器Ｇ_Ψ、特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒの他に、特徴量Ｓも用いて、特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒを生成する。

学習済みモデル２１Ａを用いた場合の入出力の例について、図１３～図１６を参照して説明する。

図１３は、入力画面の例を示す図である。先に説明した図２と比較して、項目「スタイル」が追加されている。ユーザＵは、スタイルの有無を選択する。先にも述べたが、このスタイルの有無を示すデータも入力部１０（図４）に入力される。スタイル有りが選択された場合、例えば予め定められた数の上述の特徴量Ｓが用いられ、新規データが生成される。この例では、９つの特徴量Ｓが用いられるものとする。

図１４は、複数の部分データの例を示す図である。これまでと同様に、２つの音楽シーケンスが例示される。各音楽シーケンスのデータ長は４小節である。

図１５は、新規データの例を示す図である。異なる特徴量Ｓに対応する９つの新規データが例示される。各新規データは、８小節のデータ長を有する音楽シーケンスである。このデータ長８小節は、入力された２つの音楽シーケンスそれぞれのデータ長の合計データ長である。前半４小節の音楽シーケンスは、もとの音楽シーケンス（図１４の左側）が変更された音楽シーケンスである。後半４小節の音楽シーケンスは、もとの音楽シーケンス（図１４の右側）が変更された音楽シーケンスである。

学習済みモデル２１Ａが用いられる場合、出力部４０（図４）は、新規データと特徴量Ｓとを対応づけて表示してよい。これにより、ユーザＵは、新規データに現れる変化と特徴量Ｓとの関係を知ることができる。出力部４０は、ユーザＵが特徴量Ｓを指定可能な態様で、新規データと特徴量Ｓとを対応づけて表示してよい。これにより、ユーザＵは、表示されている新規データの特徴量Ｓ以外の特徴量Ｓを用いた新規データの生成を行うことができる。出力画面の例を、図１６を参照して説明する。

図１６は、出力画面の例を示す図である。９つの新規データは、特徴量Ｓ、より具体的には潜在空間中の或る２次元平面上の特徴量Ｓの位置に対応付けて表示される。左右方向に延在する矢印の両端には、ラベルＡＡＡ及びラベルＢＢＢが表示される。ラベルＡＡＡは、特徴量Ｓを２次元平面上の左方向に移動させた場合に新規データに現れる変化の傾向を示す。ラベルの内容の例は、音楽の雰囲気（明るい、寂しい等）、コード進行等である。このようなラベルの内容は、例えば各新規データを解析することによって取得される。解析は、出力部４０又は生成部３０によって行われてよい。

他のラベルについて述べると、ラベルＢＢＢは、特徴量Ｓを２次元平面上の右方向に移動させた場合の変化の傾向を示す。同様に、上下方向に延在する矢印の両端には、ラベルＣＣＣ及びラベルＤＤＤが表示される。ラベルＣＣＣは、特徴量Ｓを２次元平面上の下方向に移動させた場合の変化の傾向を示す。ラベルＤＤＤは、特徴量Ｓを２次元平面上の上方向に移動させた場合の変化の傾向を示す。

潜在空間中の別の２次元平面上の特徴量Ｓに対応する新規データも生成されている場合には、それらの新規データを特徴量Ｓと対応付けた表示への切り替えが行われてもよい。

図１６に示される例では、２次元平面を区画するグリッド線ＧＲが表示される。ユーザＵは、グリッド線ＧＲで区間された部分をポインタＰで選択することで、その位置に対応する特徴量Ｓを設定することができる。この特徴量Ｓの設定データも、入力部１０（図４）に入力される。これにより、設定された特徴量Ｓを用いて新たに新規データを生成し、出力することができる。

新規データが、特徴量Ｓ及びiterate数の両方のファクタに対応付けられてもよい。この場合、両ファクタの対応付けが一度に表示されてよい。例えば、一方のファクタを画面平面方向に対応させ、他方のファクタを画面奥行き方向に対応させる等の表示が行われてよい。

上記実施形態では、部分データＸ_Ｌ及び部分データＸ_Ｒの特徴量を生成器Ｇ_Ψに入力する例について説明した。ただし、部分データＸ_Ｌ及び／又は部分データＸ_Ｒの代わりに、標準正規分布からサンプルされた特徴量が用いられてよい。これについて、図１７を参照して説明する。

図１７は、学習済みモデルの概略構成の例を示す図である。図１７に示される学習済みモデル２１Ｂは、学習済みモデル２１Ａ（図１２）と比較して、部分データＸ_Ｌの特徴量及び部分データＸ_Ｒの特徴量の少なくとも一方に代えて標準正規分布Ｎ（０、Ｉ）からサンプルされた特徴量を用いることが可能となっている点において相違する。

標準正規分布Ｎ（０、Ｉ）からサンプルされた特徴量を特徴量Ｚ_Ｌ及び／又は特徴量Ｚ_Ｒとして用いることで、部分データＸ_Ｌ及び／又は部分データＸ_Ｒが入力されない場合でも、新規データを生成することができる。学習済みモデル２１Ｂの学習は、先に説明した図１１のステップＳ１４で述べたように、標準正規分布Ｎ（０、Ｉ）からサンプルされた特徴量も生成器Ｇ_Ψに入力することによって行われる。

生成部３０による新規データの生成手順は、学習済みモデル２１Ｂの使用に適合するように変更される。先に説明した図１０に示されるフローチャートでいうと、ステップＳ２において、部分データＸ_Ｌ及び／部分データＸ_Ｒの特徴量を抽出する代わりに、標準正規分布Ｎ（０、Ｉ）から特徴量がサンプルされうる。

学習済みモデル２１Ｂを用いた場合の入力画面の例について、図１８を参照して説明する。

図１８は、入力画面の例を示す図である。先に説明した図２と比較して、項目「シーケンス１」及び項目「シーケンス２」において、ファイルを選択する以外に、ファイル無しを選択することもできるようになっている。これらの選択結果も、入力部１０（図４）に入力される。項目「シーケンス１」においてファイル無しが選択されると、特徴量Ｚ_Ｌとして、標準正規分布Ｎ（０、Ｉ）からサンプルされた特徴量が用いられる。項目「シーケンス２」においてファイル無しが選択されると、特徴量Ｚ_Ｒとして、標準正規分布Ｎ（０、Ｉ）からサンプルされた特徴量が用いられる。その分、部分データの準備が不要となる。

最後に、情報処理装置１のハードウェア構成について、図１９を参照して説明する。

図１９は、情報処理装置のハードウェア構成の例を示す図である。この例では、情報処理装置１は、コンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が情報処理装置１として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、生成部３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラム（記憶部２０の情報処理プログラム２２）、記憶部２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

上記実施形態では、複数の特徴量として、２つの特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒが用いられる例について説明した。ただし、３つ以上の特徴量が用いられてもよい。部分データの数も３以上であってよい。

上記実施形態では、標準正規分布Ｎ（０、Ｉ）からサンプルされた特徴量を選択的に用いる形態（図１７）において、特徴量Ｓも用いる例について説明した。ただし、特徴量Ｓを用いない形態（図６等）において、標準正規分布Ｎ（０、Ｉ）からサンプルされた特徴量を選択的に用いてもよい。

上記実施形態では、音楽シーケンスを生成する例について説明した。ただし、これ以外にも、冒頭で述べたような、オーディオ等の音楽、文書、詩、プログラミング言語等の言語、ＤＮＡ配列、画像等、あらゆるデータが生成されてよい。

情報処理装置１の一部の機能は、情報処理装置１の外部（例えば外部サーバ）で実現されてもよい。その場合、情報処理装置１は、記憶部２０及び生成部３０の一部又は全部の機能を、外部サーバに備えていてよい。情報処理装置１が外部サーバと通信することにより、これまで説明した情報処理装置１の処理が同様に実現される。

３． 効果
以上説明した実施形態は、例えば次のように特定される。図４、図６及び図１０等を参照して説明したように、情報処理方法は、結合関係にない複数の特徴量（特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒ）と、学習済みモデル２１とを用いて、変更された複数の特徴量（特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒ）から得られる新規データを生成する（ステップＳ２～ステップＳ５）。学習済みモデル２１（の生成器Ｇ_Ψ）は、複数の特徴量が入力されると、変更された複数の特徴量を出力する。

上記の情報処理方法によれば、結合関係にない複数の特徴量と、学習済みモデルとを用いて新規データが生成される。結合関係にない複数の特徴量それぞれの準備は、例えば新規データと同程度のデータ量を有するデータの特徴量を準備するよりも容易な場合も少なくない。したがって、データ準備負担を軽減するこができる。また、変更された複数の特徴量は、変更前の複数の特徴量それぞれの特徴を残しつつ、変更前の各特徴量をそのまま結合するだけでは得られない斬新な特徴量となりうる。変更前の各特徴量をそのまま結合した場合に生じうる不連続性等の不自然さも低減されうる。

図５、図６及び図９等を参照して説明したように、複数の特徴量は、新規データのデータ長よりも短いデータ長を有する部分データ（部分データＸ_Ｌ及び／又は部分データＸ_Ｒ）から抽出された特徴量（特徴量Ｚ_Ｌ及び／又は特徴量Ｚ_Ｒ）を含んでよい。複数の特徴量は、いずれも、新規データのデータ長よりも短いデータ長を有する部分データ（部分データＸ_Ｌ及び部分データＸ_Ｒ）から抽出された特徴量（特徴量Ｚ_Ｌ及びは特徴量Ｚ_Ｒ）であってもよく、この場合、新規データは、複数の特徴量それぞれに対応する部分データの合計データ長と同じデータ長を有してよい。これにより、部分データの準備負担を軽減することができる。生成される新規データは、部分データの特徴を残しつつ、変更前の部分データをそのまま結合するだけでは得られない斬新なデータとなりうる。各部分データをそのまま結合した場合に生じうる不連続性等の不自然さも低減されうる。

図６等を参照して説明したように、学習済みモデル２１（の生成器Ｇ_Ψ）の出力結果と、学習済みモデル２１（の生成器Ｇ_Ψ）とを用いて、さらに変更された複数の特徴量から得られる新規データを生成してよい。これにより、新規データにおける融合度、例えば部分データＸ´_Ｌ及び部分データＸ´_Ｒの融合性をさらに高めることができる。

図３及び図９等を参照して説明したように、生成した新規データと、学習済みモデル２１（の生成器Ｇ_Ψ）によって複数の特徴量が変更された回数（iteration数）とを対応付けて表示してよい。これにより、iterate数を確認し、例えば別のiterate数を用いた新規データの生成を行うことができる。

図１２等を参照して説明したように、複数の特徴量（特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒ）の変更の方向性を与える追加特徴量（特徴量Ｓ）も用いて、新規データを生成してよい。この場合に用いられる学習済みモデル２１Ａは、複数の特徴量及び追加特徴量が入力されると、変更された複数の特徴量（特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒ）を出力する。これにより、生成される新規データのスタイルにバリエーションを与えることができる。

図１６等を参照して説明したように、生成した新規データと、追加特徴量（特徴量Ｓ）によって与えられる変更の方向性とを対応づけて表示してよい。また、生成した新規データに対応する追加特徴量以外の前記追加特徴量を指定可能な態様で表示してよい。これにより、追加特徴量を用いたさらなる新規データの生成を行うことができる。

図１７等を参照して説明したように、複数の特徴量（特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒ）は、標準正規分布Ｎ（０、Ｉ）からサンプルされた特徴量を含んでよい。標準正規分布Ｎ（０、Ｉ）からサンプルされた特徴量を、新規データのデータ長よりも短いデータ長を有する部分データ（部分データＸ_Ｌ及び部分データＸ_Ｒ）から抽出された特徴量の代わりに用いてもよい。これにより、部分データＸ_Ｌ及び部分データＸ_Ｒが入力されない場合でも、新規データを生成することができる。したがって、データ準備負担をさらに軽減することができる。

図４等を参照して説明した情報処理装置１も、本開示の一態様である。すなわち、情報処理装置１は、結合関係にない複数の特徴量（特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒ）と、学習済みモデル２１とを用いて、変更された複数の特徴量（特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒ）から得られる新規データを生成する生成部３０とを備える。また、図４及び図１９等を参照して説明した情報処理プログラム２２も、本開示の一態様である。すなわち、情報処理プログラム２２は、コンピュータ１０００を機能させるための情報処理プログラムであって、結合関係にない複数の特徴量（特徴量Ｚ_Ｌ及び特徴量Ｚ_Ｒ）と、学習済みモデル２１とを用いて、変更された複数の特徴量（特徴量Ｚ´_Ｌ及び特徴量Ｚ´_Ｒ）から得られる新規データを生成すること、をコンピュータ１０００に実行させる。これらの情報処理装置１及び情報処理プログラム２２によっても、上述の情報処理方法と同様に、データ準備負担を軽減することができる等の効果が奏される。

なお、本開示に記載された効果は、あくまで例示であって、開示された内容に限定されない。他の効果があってもよい。

以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
結合関係にない複数の特徴量と、学習済みモデルとを用いて、変更された前記複数の特徴量から得られる新規データを生成し、
前記学習済みモデルは、前記複数の特徴量が入力されると、変更された前記複数の特徴量を出力する、
情報処理方法。
（２）
前記複数の特徴量は、前記新規データのデータ長よりも短いデータ長を有する部分データから抽出された特徴量を含む、
（１）に記載の情報処理方法。
（３）
前記複数の特徴量は、いずれも、前記新規データのデータ長よりも短いデータ長を有する部分データから抽出された特徴量であり、
前記新規データは、前記複数の特徴量それぞれに対応する部分データの合計データ長と同じデータ長を有する、
（１）又は（２）に記載の情報処理方法。
（４）
前記学習済みモデルの出力結果と、前記学習済みモデルとを用いて、さらに変更された前記複数の特徴量から得られる前記新規データを生成する、
（１）～（３）のいずれかに記載の情報処理方法。
（５）
生成した前記新規データと、前記学習済みモデルによって前記複数の特徴量が変更された回数とを対応づけて表示する、
（４）に記載の情報処理方法。
（６）
前記複数の特徴量の変更の方向性を与える追加特徴量も用いて、前記新規データを生成し、
前記学習済みモデルは、前記複数の特徴量及び前記追加特徴量が入力されると、変更された前記複数の特徴量を出力する、
（１）～（５）のいずれかに記載の情報処理方法。
（７）
生成した前記新規データと、前記追加特徴量によって与えられる前記変更の方向性とを対応づけて表示する、
（６）に記載の情報処理方法。
（８）
生成した前記新規データを表示するとともに、表示されている前記新規データに対応する前記追加特徴量以外の前記追加特徴量を指定可能な態様で表示する、
（６）又は（７）に記載の情報処理方法。
（９）
前記複数の特徴量は、標準正規分布からサンプルされた特徴量を含む、
（１）～（８）のいずれかに記載の情報処理方法。
（１０）
前記標準正規分布からサンプルされた特徴量を、前記新規データのデータ長よりも短いデータ長を有する部分データから抽出された特徴量の代わりに用いる、
（９）に記載の情報処理方法。
（１１）
結合関係にない複数の特徴量と、学習済みモデルとを用いて、変更された前記複数の特徴量から得られる新規データを生成する生成部を備え、
前記学習済みモデルは、前記複数の特徴量が入力されると、変更された前記複数の特徴量を出力する、
情報処理装置。
（１２）
コンピュータを機能させるための情報処理プログラムであって、
結合関係にない複数の特徴量と、学習済みモデルとを用いて、変更された前記複数の特徴量から得られる新規データを生成すること、
を前記コンピュータに実行させ、
前記学習済みモデルは、前記複数の特徴量が入力されると、変更された前記複数の特徴量を出力する、
情報処理プログラム。

１ 情報処理装置
１ａ 表示画面
１０ 入力部
２０ 記憶部
２１ 学習済みモデル
２２ 情報処理プログラム
３０ 生成部
４０ 出力部

Claims (10)

1. 結合関係にない複数の特徴量と、学習済みモデルとを用いて、変更された前記複数の特徴量から得られる新規データを生成する情報処理方法であって、
   前記学習済みモデルは、前記複数の特徴量が入力されると、変更された前記複数の特徴量を出力し、
   前記複数の特徴量は、いずれも、前記新規データのデータ長よりも短いデータ長を有する部分データから抽出された特徴量であり、
   前記新規データは、前記複数の特徴量それぞれに対応する部分データの合計データ長と同じデータ長を有し、
   前記新規データ及び前記部分データは、いずれも、小節単位のデータ長を有する音楽データであり、
   前記新規データのデータ長の小節数は、前記複数の特徴量それぞれに対応する部分データのデータ長の小節数の合計数である、
   情報処理方法。
2. 前記学習済みモデルの出力結果と、前記学習済みモデルとを用いて、さらに変更された前記複数の特徴量から得られる前記新規データを生成する、
   請求項１に記載の情報処理方法。
3. 生成した前記新規データと、前記学習済みモデルによって前記複数の特徴量が変更された回数とを対応づけて表示する、
   請求項２に記載の情報処理方法。
4. 前記複数の特徴量の変更の方向性を与える追加特徴量も用いて、前記新規データを生成し、
   前記学習済みモデルは、前記複数の特徴量及び前記追加特徴量が入力されると、変更された前記複数の特徴量を出力する、
   請求項１に記載の情報処理方法。
5. 生成した前記新規データと、前記追加特徴量によって与えられる前記変更の方向性とを対応づけて表示する、
   請求項４に記載の情報処理方法。
6. 生成した前記新規データに対応する前記追加特徴量以外の前記追加特徴量を指定可能な態様で表示する、
   請求項４に記載の情報処理方法。
7. 前記複数の特徴量は、標準正規分布からサンプルされた特徴量を含む、
   請求項１に記載の情報処理方法。
8. 前記標準正規分布からサンプルされた特徴量を、前記新規データのデータ長よりも短いデータ長を有する部分データから抽出された特徴量の代わりに用いる、
   請求項７に記載の情報処理方法。
9. 結合関係にない複数の特徴量と、学習済みモデルとを用いて、変更された前記複数の特徴量から得られる新規データを生成する生成部を備える情報処理装置であって、
   前記学習済みモデルは、前記複数の特徴量が入力されると、変更された前記複数の特徴量を出力し、
   前記複数の特徴量は、いずれも、前記新規データのデータ長よりも短いデータ長を有する部分データから抽出された特徴量であり、
   前記新規データは、前記複数の特徴量それぞれに対応する部分データの合計データ長と同じデータ長を有し、
   前記新規データ及び前記部分データは、いずれも、小節単位のデータ長を有する音楽データであり、
   前記新規データのデータ長の小節数は、前記複数の特徴量それぞれに対応する部分データのデータ長の小節数の合計数である、
   情報処理装置。
10. コンピュータを機能させるための情報処理プログラムであって、
    結合関係にない複数の特徴量と、学習済みモデルとを用いて、変更された前記複数の特徴量から得られる新規データを生成すること、
    を前記コンピュータに実行させ、
    前記学習済みモデルは、前記複数の特徴量が入力されると、変更された前記複数の特徴量を出力し、
    前記複数の特徴量は、いずれも、前記新規データのデータ長よりも短いデータ長を有する部分データから抽出された特徴量であり、
    前記新規データは、前記複数の特徴量それぞれに対応する部分データの合計データ長と同じデータ長を有し、
    前記新規データ及び前記部分データは、いずれも、小節単位のデータ長を有する音楽データであり、
    前記新規データのデータ長の小節数は、前記複数の特徴量それぞれに対応する部分データのデータ長の小節数の合計数である、
    情報処理プログラム。

Images