JP7428182B2 - 情報処理装置および方法、並びにプログラム - Google Patents

Description

本技術は、情報処理装置および方法、並びにプログラムに関し、特に、より簡単かつ高速に検索を行うことができるようにした情報処理装置および方法、並びにプログラムに関する。

従来、楽曲制作現場では、予め個別に収録およびサンプリングされた複数の音源、すなわちオーディオ信号が用いられ、それらが組み合わせられて音楽が作り上げられている。

以前は音源の数が少なかったため、クリエイタは音色の異なるシンセサイザやパーカッション等の音源を選択する程度であったが、近年では弦楽器や効果音など、使用できる音源の数が飛躍的に増加している。

例えば音源データベースでは、楽器名やアンプ（増幅器）等の機材名、エフェクタの種類、調整パラメータ等のキーワードが各音源にタグ付けされており、クリエイタはキーワードを指定することで音源データベースから所望の音源を検索することができる。

一方で、音源の検索手法として、手元にある音源と類似するものを照合（マッチング）により音源データベースから探し出す手法も存在する。

このような手法を用いれば、クリエイタは自身が持っている楽曲や録音した音源を用いて、それらの音源と類似するものを探し出すことができる。

例えばオーディオ信号の照合に関する技術として、楽曲のトーンを特徴量化し、その特徴量に基づいてデータベースとの照合を行うことで、楽曲を同定する技術が提案されている（例えば、特許文献１参照）。

また、ユーザがマイクロホンで入力した鼻歌に対してピッチ検出を行い、その検出結果に基づいて類似する楽曲をデータベースから検索する技術も提案されている（例えば、特許文献２参照）。この技術では、検索により得られた楽曲が、ユーザの鼻歌に追従して再生される。

特許第５７３２９９４号公報 特開２０１３－１１７６８８号公報

しかしながら、上述した技術では、簡単かつ高速に所望の音源の信号を検索することは困難であった。

通常、音源データベースには数千から数十万もの音源のオーディオ信号が保存されているため、そのなかからクリエイタ等がキーワードに基づいて類似の音源を探し出す作業には長い時間が必要となってしまう。

この場合、検索を行うクリエイタ等が、所望する音源と各キーワードとの結びつきに関する知識をもっていれば、ある程度、候補となる音源を絞り込むことができる。

具体的には、例えば所定のギターの音を検索により探し出したい場合、クリエイタ等は、そのギターの音色と各キーワードの結びつきに関する知識があれば、候補となる音源の絞り込みを行うことができる。

しかし、クリエイタ等は自身が使いたいと思う全ての音源について、適切なキーワードを指定するのに十分な知識を持ち合わせているわけではないため、自身のイメージと一致するものを探し出すことが困難なことも多い。

しかも、ギター等の音にも様々な音色が存在するため、ある程度の絞り込みができたとしても検索効率向上の効果は限定的である。

また、クリエイタ等の手元にある楽曲等を用いて、音源データベースとの照合により所望の音源を検索する場合、その手元にある楽曲等には所望する音源の音だけでなく、様々な音源の音が含まれていることが多い。

このような複数の音源の混合音を用いると、音源データベースとの照合精度が著しく低下してしまい、クリエイタ等のイメージと合致する音源を探し出すことは困難となる。

具体的には、例えば特許文献１に記載の技術では、特徴量として楽曲のトーン成分が抽出されるが、楽曲のトーン成分の多くはボーカルや楽曲メロディの主旋律のものである。

したがって、例えば特許文献１に記載の技術を音源データベースとの照合に利用しても、手元にある楽曲等を用いて、ボーカルや楽曲メロディの主旋律以外のギター等の音源を探し出すことは困難である。

しかもこの場合、ギター等の音色の照合を行うことは困難であるので、クリエイタ等は検索により得られた音源ごとに、それらの音源を再生し、自身がイメージする音色と合致するかを確認しなければならない。

また、例えば特許文献２に記載の技術は、入力された鼻歌と同様の旋律の音源を検索するのに利用することができる。

しかし、特許文献２に記載の技術では、和音や独特な音色の音源を検索することができないだけでなく、パーカッションや効果音、環境音など、音源によっては鼻歌入力が困難なものもある。

本技術は、このような状況に鑑みてなされたものであり、より簡単かつ高速に検索を行うことができるようにするものである。

本技術の第１の側面の情報処理装置は、複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得する制御部を備え、前記指定音源の信号は、前記オーディオ信号の前記指定区間を切り出し、前記指定音源として指定された音源の信号を音源分離により前記オーディオ信号における前記指定区間の信号から分離することで得られた分離信号であり、前記制御部は、前記指定音源の候補となる複数の候補音源のリストを表示させ、前記複数の前記候補音源のなかからユーザにより指定された前記候補音源を前記指定音源として指定する。

本技術の第１の側面の情報処理方法またはプログラムは、複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得するステップをを含み、前記指定音源の信号は、前記オーディオ信号の前記指定区間を切り出し、前記指定音源として指定された音源の信号を音源分離により前記オーディオ信号における前記指定区間の信号から分離することで得られた分離信号であり、前記指定音源の候補となる複数の候補音源のリストを表示させ、前記複数の前記候補音源のなかからユーザにより指定された前記候補音源を前記指定音源として指定する。

本技術の第１の側面においては、複数の音源の音が含まれるオーディオ信号の指定区間と指定音源が指定され、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果が取得される。また、前記指定音源の信号は、前記オーディオ信号の前記指定区間を切り出し、前記指定音源として指定された音源の信号を音源分離により前記オーディオ信号における前記指定区間の信号から分離することで得られた分離信号とされ、前記指定音源の候補となる複数の候補音源のリストが表示され、前記複数の前記候補音源のなかからユーザにより指定された前記候補音源が前記指定音源として指定される。
本技術の第２の側面の情報処理装置は、複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得する制御部を備え、前記指定音源の信号は、前記オーディオ信号に対する前記指定区間の切り出しおよび音源分離により得られた複数の分離信号のうちのユーザにより指定された前記分離信号であり、前記制御部は、前記複数の前記分離信号の音源のリストを表示させ、前記リストにより示される音源のなかから前記ユーザにより指定された音源を前記指定音源として指定する。
本技術の第２の側面の情報処理方法またはプログラムは、複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得するステップを含み、前記指定音源の信号は、前記オーディオ信号に対する前記指定区間の切り出しおよび音源分離により得られた複数の分離信号のうちのユーザにより指定された前記分離信号であり、前記複数の前記分離信号の音源のリストを表示させ、前記リストにより示される音源のなかから前記ユーザにより指定された音源を前記指定音源として指定する。
本技術の第２の側面においては、複数の音源の音が含まれるオーディオ信号の指定区間と指定音源が指定され、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果が取得される。また、前記指定音源の信号は、前記オーディオ信号に対する前記指定区間の切り出しおよび音源分離により得られた複数の分離信号のうちのユーザにより指定された前記分離信号とされ、前記複数の前記分離信号の音源のリストが表示され、前記リストにより示される音源のなかから前記ユーザにより指定された音源が前記指定音源として指定される。

情報処理装置の構成例を示す図である。 音源検索処理を説明するフローチャートである。 表示画面例を示す図である。 表示画面例を示す図である。 表示画面例を示す図である。 表示画面例を示す図である。 表示画面例を示す図である。 表示画面例を示す図である。 表示画面例を示す図である。 情報処理装置の構成例を示す図である。 音源検索処理を説明するフローチャートである。 表示画面例を示す図である。 情報処理装置の構成例を示す図である。 音源検索処理を説明するフローチャートである。 音源検索システムの構成例を示す図である。 音源検索システムの構成例を示す図である。 音源検索システムの構成例を示す図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈本技術について〉
本技術は、音源分離を行うことで、クリエイタ等がイメージした楽器等の音源の音を含む楽曲を用いて、その音源と類似する音源の信号を音源データベースから簡単かつ高速に検索できるようにするものである。

すなわち、本技術では、ユーザであるクリエイタ等がイメージしている、検索したい音源を含む楽曲や録音した音のオーディオ信号（以下、入力オーディオ信号とも称する）が用いられて、音源データベースを構成する複数の音源の音源信号との照合が行われる。

このとき、ユーザにより指定された入力オーディオ信号から、ユーザが検索対象としたい所望の音源のオーディオ信号が音源分離により抽出されて照合に用いられる。

音源データベースは、例えばギターの音や効果音、環境音などの複数の音源のオーディオ信号である音源信号と、それらの各音源信号に対応付けられた、各音源に関する情報であるメタデータとからなる。

例えば音源データベースを構成する音源信号は、ギターの音など、１つの音源の音を再生するための数秒程度のショートトラックのデータである。

また、メタデータは楽器名等の音源の種別や、音源の音の増幅に用いられたアンプ等の機材名、音源の生成に用いたエフェクタの種類、コード名（和音名）、音色等の調整パラメータなどを示す情報である。メタデータは音源のキーワード検索などにも用いることができる。

ユーザであるクリエイタは、日頃から様々な楽曲に触れており、自身が使用してみたい音源を含む楽曲を準備することは容易である。

したがって、クリエイタは所望する音源を含む楽曲等を用いて、その所望する音源と類似する音源の音源信号を簡単かつ高速に検索できるのであれば、作業効率を大幅に向上させることができる。

さらに、検索対象とする音源は楽器に限らず、普段の生活や環境音を録音して得られたオーディオ信号中に存在する任意の音（音源）とすることができる。すなわち、クリエイタは、自身が使ってみたいと思っている任意の音について、類似の音を音源データベースから検索することが可能である。

通常、クリエイタは、自身が使用してみたいと思う音があった場合には、その所望の音のみが録音されるように、すなわち不要な音の入り込みを防ぐためにマイクロホンを所望の音源近くに設置し、個別にサンプリングおよび録音を行う必要があった。

しかし、本技術のように音源分離を行うようにすれば、他の音の入り込みを防ぐような録音作業は必要なくなるので、より効率のよい楽曲制作環境を提供することができる。

なお、以下では、具体的な例として、検索対象の音がギターの音である場合について説明するが、検索対象の音はどのような音源の音であってもよい。

例えば検索対象のギターの音を含む楽曲には、ギター以外にもベースやドラム、シンセサイザ、ボーカル等の音が含まれている。本技術では、音源分離により所望のギターの音が抽出され、抽出されたギターの音と音源データベースとの照合が行われる。

〈情報処理装置の構成例〉
それでは、以下、本技術を適用したより具体的な実施の形態について説明する。

図１は、本技術を適用した情報処理装置の一実施の形態の構成例を示す図である。

図１に示す情報処理装置１１は、入力部２１、制御部２２、音源データベース保持部２３、表示部２４、および再生部２５を有している。

入力部２１は、例えばマウスやキーボード、スイッチ、ボタン、タッチパネルなどからなり、クリエイタ等のユーザの操作に応じた信号を制御部２２に供給する。

制御部２２は、情報処理装置１１全体を制御する。

例えば制御部２２は、表示部２４における各種の画像（画面）の表示を制御したり、再生部２５における音の再生を制御したりする。

また、制御部２２は、入力部２１からの信号に応じて、入力オーディオ信号に対する切り出しを行う区間や、その区間から抽出する音源を指定して制御部２２の各部を動作させることで音源データベースとの照合を行わせ、その照合結果を取得する。

制御部２２は、区間切り出し部３１、音源分離部３２、および音源照合部３３を有している。

これらの区間切り出し部３１乃至音源照合部３３は、例えば制御部２２が音楽制作ソフトウェア（DTM（Desk Top Music）ソフトウェア）を構成するプログラムを実行することにより実現される。

区間切り出し部３１は、制御部２２に供給された楽曲等のオーディオ信号である入力オーディオ信号から、制御部２２により指定された検索対象とする区間（以下、指定区間とも称する）を切り出して対象区間信号とし、音源分離部３２に供給する。

ここでは、入力オーディオ信号には、少なくとも検索したい音源を含む、１または複数の音源の音が含まれている。

音源分離部３２は、区間切り出し部３１から供給された対象区間信号に対して音源分離を行うことで、制御部２２により指定された所望の音源（以下、指定音源とも称する）の信号を分離させ、音源照合部３３に供給する。

なお、以下、音源分離により分離された信号を分離信号とも称することとする。音源分離部３２では、入力オーディオ信号の指定区間における指定音源の分離信号が音源分離により得られることになる。

音源照合部３３は、音源分離部３２から供給された分離信号と、音源データベース保持部２３に保持されている音源データベースの各音源の音源信号との照合を行う。

音源データベース保持部２３は、例えばメモリなどの記録装置からなり、複数の各音源のオーディオ信号である音源信号とメタデータとが対応付けられた音源データベースを保持している。音源データベース保持部２３は、必要に応じて音源データベースの音源信号やメタデータを音源照合部３３に供給する。

表示部２４は、例えば液晶表示パネル等からなり、制御部２２の制御に従ってDTMソフトウェアの表示画面等の各種の画像を表示する。

再生部２５は、例えばスピーカなどからなり、制御部２２から供給された音源信号等のオーディオ信号に基づいて音を出力する。

なお、入力部２１や音源データベース保持部２３、表示部２４、再生部２５は、情報処理装置１１に設けられているようにしてもよいし、情報処理装置１１の外部に設けられているようにしてもよい。

〈音源検索処理の説明〉
続いて、情報処理装置１１の動作について説明する。

すなわち、以下、図２のフローチャートを参照して、情報処理装置１１により行われる音源検索処理について説明する。

ステップＳ１１において制御部２２は、入力部２１から供給された信号に応じて入力オーディオ信号の読み込みおよび波形表示を行う。

すなわち、例えばDTMソフトウェアが起動すると、制御部２２は表示部２４に図３に示す表示画面を表示させる。

図３の例では、表示画面にはメニュー表示領域R11と、波形表示領域R12と、再生系ボタン表示領域R13とが設けられている。

例えばメニュー表示領域R11には、音源検索などの各種の処理を行うためのボタンが表示され、波形表示領域R12には、読み込んだ入力オーディオ信号の波形が表示される。また、再生系ボタン表示領域R13には、音源の再生等のためのボタンが表示される。

ユーザは、表示部２４にこのような表示画面が表示されている状態で入力部２１を操作することで、例えば検索したい音源を含む楽曲等のファイルを指定したり、検索したい音源を含む楽曲等のファイルを波形表示領域R12にドロップしたりすることで、読み込みを指示する。

すると、制御部２２は入力部２１から供給された信号に応じて、ユーザにより指定された楽曲等のファイル、すなわち楽曲等のオーディオ信号を入力オーディオ信号として読み込んで区間切り出し部３１に供給する。

また、制御部２２は、読み込んだ入力オーディオ信号に基づいて、その入力オーディオ信号の波形（時間波形）の表示を表示部２４に指示する。

すると、表示部２４は、制御部２２の指示に応じて入力オーディオ信号の波形を表示する。これにより、表示部２４に表示される表示画面は、例えば図４に示すように更新される。なお、図４において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図４に示す例では、入力オーディオ信号として読み込まれたＬチャンネルとＲチャンネルの各信号の時間波形が波形表示領域R12に表示されている。特に波形表示領域R12では、図中、横方向は時間方向を示している。

ユーザは、入力部２１を操作して、再生系ボタン表示領域R13に設けられた再生ボタンBT11を操作することで、入力オーディオ信号に基づく音を再生することができる。したがって、ユーザは実際に音を聞いて、検索対象としたい音を確かめることができる。

このとき、再生ボタンBT11が操作されると、制御部２２は、入力部２１から供給された信号に応じて入力オーディオ信号を再生部２５に供給し、入力オーディオ信号の音を再生させる。

図２のフローチャートの説明に戻り、ステップＳ１２において区間切り出し部３１は、供給された入力オーディオ信号に対する指定区間の切り出しを行う。

例えば、入力オーディオ信号が読み込まれると、ユーザは入力オーディオ信号の音を聞きながら入力部２１を操作し、入力オーディオ信号の全区間のなかから、所望の音源の音が含まれている区間を検索対象とする指定区間として指定する。

具体的には、例えばユーザは入力部２１としてのマウスを操作し、波形表示領域R12に表示されている入力オーディオ信号の波形の所望の区間をドラッグすることで、指定区間を指定する。

制御部２２は、入力部２１から供給された指定区間を示す信号に基づいて表示部２４を制御し、例えば図５に示すように表示画面を更新させる。なお、図５において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図５の例では、波形表示領域R12における一部の区間CR11が指定区間とされている。この区間CR11の部分は、他の部分とは異なる色で表示されており、ユーザは瞬時に区間CR11が選択状態となっていること、つまり指定区間として指定されていることを把握することができる。

なお、指定区間の指定は、入力部２１としてのマウスの操作に限らず、入力部２１としてのキーボードによる入力操作や、入力部２１としてのタッチパネルによる指定操作などにより行われてもよい。

また、ユーザの操作に応じて、入力部２１から制御部２２に指定区間を示す信号が供給されると、制御部２２は入力部２１から供給された信号に基づいて、区間切り出し部３１に対して指定区間を指定する。

区間切り出し部３１は制御部２２による指定区間の指定に応じて、入力オーディオ信号における指定区間の信号を切り出して対象区間信号とする。区間切り出し部３１は、このようにして得られた対象区間信号を音源分離部３２に供給する。

ステップＳ１３において制御部２２は、表示部２４を制御し、表示画面上に音源リストを表示させる。

例えば図６に示すように、表示部２４に表示画面が表示されている状態において、ユーザが入力部２１を操作し、メニュー表示領域R11に設けられた検索ボタンBT21を操作すると、検索対象の候補となる楽器（音源）の一覧のダイアログDG11が表示される。なお、図６において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図６の例では、ダイアログDG11には、プリセットされた複数の楽器を示す項目が並べられた楽器の一覧が音源リストとして表示されている。音源リストにより示されるこれらの複数の楽器は指定音源の候補となる音源、より詳細には音源の種類である。

例えばユーザは入力部２１を操作し、ギターを示す文字「Guitar」が表示された項目を指定することで、指定音源としてギターを指定することができる。

なお、ここではダイアログDG11に一覧表示される楽器（音源）が予め定められている場合について説明するが、入力オーディオ信号に対する解析処理により特定された楽器がダイアログDG11に一覧表示されるようにしてもよい。

そのような場合、検索ボタンBT21が操作されると、制御部２２は区間切り出し部３１で得られた対象区間信号に対して解析処理を行い、指定区間中に音が含まれている楽器の種類を識別（特定）する。

そして、制御部２２は表示部２４を制御し、識別の結果として得られた１または複数の楽器の一覧を音源リストとしてダイアログDG11に表示させる。

対象区間信号に対する解析処理、つまり楽器の識別処理は、どのような手法であってもよい。

オーディオ信号に音が含まれている楽器の識別方法として、例えば「Tetsuro Kitahara, Masataka Goto, Kazunori Komatani, Tetsuya Ogata, and Hiroshi G. Okuno,"Instrument Identification in Polyphonic Music: Feature Weighting to Minimize Influence of Sound Overlaps," EURASIP Journal on Advances in Signal Processing, Special Issue on Music Information Retrieval based on Signal Processing, Vol.2007, No.51979, pp.1--15, 2007.」に記載されている方法等を採用することができる。

その他、音源リストの表示において、入力オーディオ信号のメタデータなどが利用されるようにしてもよい。

例えば入力オーディオ信号のメタデータとして、楽曲の種別「ロック」を示す情報が含まれているとする。

そのような場合、制御部２２が種別「ロック」に対して予め定められている音源（楽器）の種類である「ボーカル」、「ギター」、「ベース」、「ドラム」、および「シンセサイザ」を示す情報をダイアログDG11に音源リストとして一覧表示させるようにしてもよい。

図２のフローチャートの説明に戻り、ユーザが入力部２１を操作して、音源リストから検索対象とする所望の音源（楽器）を指定音源として指定する操作を行うと、ユーザの操作に応じた信号が入力部２１から制御部２２に供給される。

すると、制御部２２は、入力部２１から供給された信号に応じて、音源分離部３２に対して指定音源を指定する。

ステップＳ１４において音源分離部３２は、区間切り出し部３１から供給された対象区間信号に対して、制御部２２により指定された指定音源に応じた音源分離を行い、指定音源の分離信号を対象区間信号から分離させる。

音源分離では、例えば指定音源を含む、いくつかの楽器等の音源の信号を分離するニューラルネットワークが音源分離器として用いられ、指定音源を含む１または複数の音源ごとの分離信号が分離される。これにより、指定音源の分離信号、つまり指定音源の音のみが含まれている分離信号が得られる。

音源分離については、例えば「Naoya Takahashi and Yuki Mitsufuji, “Multi-scale Multi-band DenseNets for Audio Source Separation,” IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), 2017」などに詳細に記載されている。

また、ここでは対象区間信号から指定音源の分離信号を抽出する技術として音源分離を用いる例について説明するが、これに限らず、楽器抽出や音声抽出、イベント音抽出等の既知の技術を用いるようにしてもよい。

音源分離部３２は、音源分離の結果として得られた指定音源の分離信号を音源照合部３３に供給する。

なお、ここでは指定音源の分離信号そのものを音源照合部３３に供給する例について説明するが、指定音源の分離信号から得られる特徴量が音源照合部３３に供給され、その特徴量に基づいて音源データベースとの照合が行われるようにしてもよい。

そのような場合、音源分離部３２における音源分離の出力が指定音源の特徴量とされるようにしてもよいし、音源分離部３２や音源照合部３３において分離信号から特徴量が算出されるようにしてもよい。

ステップＳ１５において音源照合部３３は、音源分離部３２から供給された指定音源の分離信号と、音源データベース保持部２３に保持されている音源データベースとを照合する音源照合処理を行う。

具体的には、例えば音源照合部３３は、音源データベースを構成する各音源の音源信号について、音源信号と指定音源の分離信号との波形レベルの二乗誤差最小距離を算出する。

そして、音源照合部３３は、音源データベースの複数の音源のなかから、二乗誤差最小距離が小さいものから順番に予め定めた所定数だけ音源、より詳細には音源の音源信号を選択していき、選択された音源を示す情報を照合結果として得る。

音源データベースの各音源と指定音源との組み合わせごとに算出される二乗誤差最小距離は、指定音源の音と、音源データベースの音源の音との類似の度合いを示しているということができる。

したがって、音源照合処理として行われる、二乗誤差最小距離が小さい音源を選択するという処理は、指定音源の分離信号に基づいて、その指定音源の分離信号と類似する音源信号を検索する処理であるということができる。

すなわち、音源照合処理は指定音源の分離信号と、音源データベースを構成する複数の各音源信号とを照合することで、音源データベースを構成する複数の音源信号のなかから、指定音源の分離信号に類似する音源信号を検索する処理であるといえる。

なお、ここでは照合結果として得られる音源、つまり指定音源と類似する音源の数は、予め定められている例について説明するが、二乗誤差最小距離が所定の閾値以下である音源が全て選択され、それらの選択された音源を示す情報が照合結果とされてもよい。

また、例えば指定音源の分離信号から得られた特徴量に基づいて音源照合処理が行われるようにしてもよい。

例えば分離信号から得られる特徴量は、分離信号の時間周波数信号や、フレーム分割した分離信号の振幅スペクトル、ピッチ、トーン、スペクトル包絡など、どのようなものであってもよい。また、特徴量はスカラ値であってもよいし、ベクトル値（特徴量ベクトル）であってもよい。

具体的には、例えば指定音源の分離信号の特徴量として、分離信号の時間周波数信号が音源照合部３３に供給されたとする。

そのような場合、音源照合部３３は音源データベースの各音源の音源信号の特徴量と、指定音源の特徴量とに基づいて、各音源と指定音源の狭帯域の時間変動や調波構造を評価することで各音源と指定音源との照合を行い、得られた評価値に基づいて照合結果を得る。

なお、音源データベースの各音源の音源信号の特徴量は、音源照合部３３で算出されるようにしてもよいし、予め算出されて音源データベースにおいて各音源の音源信号と対応付けられて保存されているようにしてもよい。

また、ここでは分離信号そのものを用いて照合を行う例と、特徴量に基づいて照合を行う例について説明したが、これに限らず音源データベースの各音源と指定音源の照合は、他のどのような手法により行われてもよい。

一般的な照合処理では、音源の信号そのものが用いられることが多いため、音源照合処理に指定音源の分離信号そのものを用いる場合、既存の音源データベースや音源照合処理ブロックに手を加えることなく、そのまま流用することができるという利点がある。

すなわち、音源分離部３２を構成するモジュールと、音源照合部３３を構成するモジュールとを独立したものとすることができ、これによりシステムの流動性や可搬性を向上させることができる。

これに対して、音源分離部３２から、音源分離の結果として指定音源の特徴量が出力され、その特徴量に基づいて音源照合処理が行われる場合には、音源照合処理を高速に行うことができるという利点がある。

すなわち、この場合、事前に各音源信号の特徴量を求め、音源データベースにおいて音源信号と対応付けて保存しておく必要があるが、音源照合処理の開始時には必要な特徴量が得られているため、少ない処理時間で照合結果を得ることができる。これにより、ユーザの待ち時間を減らすことができる。

しかも、音源分離の出力が特徴量であるときには、音源分離部３２や音源照合部３３において特徴量を算出するための時間周波数変換や、その逆変換などを行わなくて済むので、冗長な処理を削減し、さらに高速に照合結果を得ることができる。

何れの手法においても音源照合部３３では、音源分離部３２で得られた音源分離結果に基づいて、音源データベースの音源（音源信号）との照合が行われるため、ユーザが検索したいと思う音源の成分のみが用いられて音源照合処理が行われることになる。

したがって、音源照合処理では音色や和音、音程などが指定音源の音と近いものが照合結果（検索結果）として得られることになる。すなわち、指定音源のものと音色等が類似する音源信号など、ユーザが所望する音源の音源信号を照合結果として得ることができる。

さらに、制御部２２は、音源照合部３３により音源照合処理が行われている間、つまり指定音源に類似する音源の検索が行われている間、表示部２４を制御し、例えば図７に示すダイアログDG21を表示させる。なお、図７において図６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図７の例では、表示画面の中央に、ユーザに対して音源の検索中である旨、つまり検索の処理中である旨を伝える文字メッセージ「検索中」が表示されたダイアログDG21が表示されている。したがって、ユーザはダイアログDG21を見ることで、検索の処理中であることを瞬時に把握することができる。

図２のフローチャートの説明に戻り、音源照合部３３において照合結果（検索結果）が得られると、制御部２２は音源照合部３３からその照合結果を取得する。

ステップＳ１６において制御部２２は、表示部２４を制御し、ステップＳ１５の音源照合処理により得られた照合結果を表示画面上に表示させ、音源検索処理は終了する。すなわち、制御部２２は、表示部２４における照合結果の表示を制御する。

例えば制御部２２は、ステップＳ１５の音源照合処理で得られた照合結果を音源照合部３３から取得すると、その照合結果に基づいて図８に示す類似音源リストLT11を表示部２４に表示させる。換言すれば、照合結果として類似音源リストLT11が表示される。

なお、図８において図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図８の例では、図５に示した表示画面に重畳されて類似音源リストLT11が表示されている。この類似音源リストLT11には、図中、上から下方向に指定音源との類似の度合いが高い順に、すなわち、例えば上述した二乗誤差最小距離が小さい順に、音源データベースの音源の音源信号を示すファイル名が並べられて表示されている。

また、各ファイル名の図中、左側にはそれらのファイル名の音源信号を再生するための再生ボタンが表示されている。

そのため、ユーザは再生ボタンを操作して各音源の音を実際に聞いて確かめることができ、使用する音源を簡単に選択することができる。

具体的には、例えばユーザが入力部２１を操作することで再生ボタンBT31を操作すると、入力部２１から制御部２２にはユーザの操作に応じた信号が供給される。

すると、制御部２２は、入力部２１からの信号に応じて音源データベース保持部２３から、ファイル名が「Guitar_00135_F.wav」である音源信号を読み出して再生部２５に供給し、その音源信号に基づく音を再生させる。

また、ユーザが入力部２１を操作して類似音源リストLT11上の所望の音源信号のファイル名を指定し、そのファイル名のファイル（音源信号）のDTMソフトウェア上への展開を指示すると、制御部２２はその指示に従って音源データベース保持部２３から指定された音源信号を読み出す。このようにして所望の音源の音源信号が読み出され、DTMソフトウェア上に展開されると、音源検索処理は終了する。

なお、図８では、類似の度合いが高い順に音源信号のファイル名が並べられた類似音源リストLT11が照合結果として表示される例について説明したが、これに限らず、例えば最も類似の度合いが高い音源信号のファイル名のみが照合結果として表示されてもよい。

その他、例えば照合結果（検索結果）として、図９に示す類似音源リストLT21が表示部２４に表示されるようにしてもよい。

この例では、類似音源リストLT21には、照合結果として得られた音源信号のファイル名が表示されるリスト表示領域R31と、他の関連する音源信号へのリンクボタンが表示されるリンク表示領域R32とが設けられている。

ユーザは、入力部２１を操作してリンク表示領域R32内のリンクボタンを操作することで、照合結果として得られた音源信号と同じ音源（楽器）の音であって、類似音源リストLT21に表示されたものとはコードや音程、音階等が異なる音源信号へと容易にアクセスすることができる。換言すれば、音色が同じで、コードや音程、音階等が異なるファイルへと容易にアクセスすることができる。

したがって、ユーザは、関連する音源のファイル（音源信号）へと簡単にアクセスし、使用したい音源のファイルを簡単に見つけ出すことができる。

具体的には、図９の例では各種のギターでコード「F」を演奏したときの音のファイル（音源信号）のファイル名が指定音源と類似する音源の検索結果（照合結果）としてリスト表示領域R31に表示されている。

このとき、例えばユーザがリンク表示領域R32内にある、文字「F7」が記されたリンクボタンBT41を操作したとする。

すると制御部２２は、表示部２４を制御して、リスト表示領域R31に表示されている各ファイル名のファイルと同じギターでコード「F7」を演奏したときの音のファイルのリスト（一覧）と、それらのファイルの再生ボタンとを表示部２４にさらに表示させる。

その他、例えばユーザがリスト表示領域R31でファイル名「Guitar_00135_F.wav」を指定した状態でリンクボタンBT41を操作したときに、制御部２２が表示部２４上に、ファイル名「Guitar_00135_F.wav」のファイルと同じギターでコード「F7」を演奏したときの音のファイルのファイル名を表示させるようにしてもよい。

以上のようにして情報処理装置１１は、入力オーディオ信号に対して音源分離を行い、その音源分離結果を用いて音源データベースとの照合を行う。

このように音源分離結果を用いて音源データベースとの照合を行うことで、より簡単かつ高速に検索を行うことができる。

すなわち、ユーザは検索したい楽器等を指定するだけで、音源データベースの各音源信号を１つずつ再生することなく、簡単かつ高速に所望の音源、より詳細には所望の音源の音源信号を探し出すことができる。

特に、ユーザは検索したい音源とキーワード等との結びつきなどの知識がなくても、楽器等を指定するだけで簡単に検索を行うことができる。

しかも情報処理装置１１では、入力オーディオ信号が音源分離によって個々の音源の信号に分離されるので、従来は困難であった音源単位、つまり楽器単位での検索を実現することができる。これにより、より適切な検索結果（照合結果）を簡単に得ることができる。

したがって、例えば環境音中に含まれる個々の音についても、それらの音を別途サンプリング録音することなく、音源データベース中から類似する音を検索することができる。

また、音源分離によって個々の音源の信号に分離されるので、音源照合処理時に指定音源のピッチや音階等を容易に推定することができ、これにより音源データベースとの照合精度を向上させることができる。

特に、指定音源としたい楽器の旋律が、入力オーディオ信号のボーカル主旋律メロディと異なる場合などであっても、情報処理装置１１では、指定音源としたい楽器の旋律のみが含まれる分離信号を得ることができるので、高精度に照合を行うことが可能である。

〈第２の実施の形態〉
〈情報処理装置の構成例〉
ところで、指定音源の候補となる音源の音源リストを表示させる場合に、プリセットされた音源の一覧を表示するのではなく、対象区間信号に対して音源分離を行うことで、対象区間信号に実際に音が含まれている音源の音源リストが表示されるようにしてもよい。

特に、第１の実施の形態において、対象区間信号に対して楽器の識別処理を行うことで、対象区間信号に音が含まれている楽器の種類を識別する例についても説明を行ったが、この識別処理を音源分離に置き換えるようにしてもよい。

音源分離により対象区間信号に実際に音が含まれている音源を特定する場合、情報処理装置は、例えば図１０に示すように構成される。なお、図１０において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１０に示す情報処理装置５１は、入力部２１、制御部２２、音源データベース保持部２３、表示部２４、および再生部２５を有している。

また、制御部２２は、区間切り出し部３１、音源分離部３２、音源選択部６１、および音源照合部３３を有している。

情報処理装置５１の構成は、新たに音源選択部６１が設けられた点で情報処理装置１１の構成と異なり、その他の点では情報処理装置１１と同じ構成となっている。

情報処理装置５１では、音源分離部３２は、区間切り出し部３１から供給された対象区間信号に対して音源分離を行うことで、対象区間信号に含まれている各音源の信号を分離信号として対象区間信号から抽出し、全ての音源の分離信号を音源選択部６１に供給する。

音源選択部６１は、音源分離部３２から供給された全音源の分離信号のなかから、制御部２２により指定された指定音源の分離信号を選択し、音源照合部３３に供給する。

したがって、情報処理装置５１では、音源分離後に指定音源、すなわち検索したい音源の種類が選択（指定）されることになる。

〈音源検索処理の説明〉
次に、図１１のフローチャートを参照して、情報処理装置５１により行われる音源検索処理について説明する。

なお、ステップＳ４１およびステップＳ４２の処理は、図２のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。

ステップＳ４３において音源分離部３２は、区間切り出し部３１から供給された対象区間信号に対して音源分離を行い、対象区間信号に含まれている全ての音源の信号を分離信号として分離し、それらの各音源の分離信号を音源選択部６１に供給する。

ステップＳ４４において制御部２２は、ステップＳ４３の音源分離の結果に基づいて表示部２４を制御し、表示画面に音源分離により得られた各分離信号の音源の一覧である音源リストを表示させる。

これにより、例えば図１２に示すダイアログDG41が表示部２４に表示される。なお、図１２において図６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１２の例では音源リストとしてダイアログDG41が表示されており、この音源リストは、音源分離により分離された各分離信号の音源（楽器）の一覧となっている。

特に、ここでは音源を示す楽器名としてボーカル「Vocal」、ギター「Guitar」、バス「Bass」、およびドラム「Drums」が並べられて表示されており、ユーザは指定区間内にはこれらの音源の音が含まれていることを把握することができる。なお、楽器名（音源の種類）が不明である音源については、その旨が分かるような予め定められた楽器名が表示される。

また、ダイアログDG41では、各楽器名の図中、左側には再生ボタンが表示されており、ユーザはそれらの再生ボタンを操作することで、各楽器（音源）の分離信号に基づく音を再生させることができる。

具体的には、例えばユーザがギター「Guitar」の図中、左側に設けられた再生ボタンを操作すると、入力部２１から制御部２２にはユーザの操作に応じた信号が供給される。

すると、制御部２２は、入力部２１から供給された信号に応じて、音源分離部３２で得られた各音源の分離信号のうち、ユーザにより指定された音源であるギター「Guitar」の分離信号を再生部２５に供給し、分離信号に基づく音を再生させる。これにより、再生部２５では、指定区間におけるギターの音のみが再生される。

情報処理装置５１では、プリセットされた音源の種類ではなく、実際に対象区間信号に対して音源分離を行った結果として得られた各音源の種類（楽器）がダイアログDG41に表示され、またそれらの各音源の音を実際に聞くことができるようになっている。

そのため、ユーザは、自身が所望する音源、すなわち検索しようとする楽器を確実に指定することができる。

図１１のフローチャートに戻り、ステップＳ４５において音源選択部６１は、音源分離部３２から供給された各音源の分離信号のなかから、制御部２２により指定音源として指定された音源の分離信号を選択し、その選択した分離信号を音源照合部３３に供給する。

例えばユーザが入力部２１を操作することで、表示部２４に表示された音源リストから、指定音源としたい音源を指定すると、入力部２１から制御部２２にはユーザの操作に応じた信号が供給される。すると、制御部２２は、入力部２１から供給された信号に応じて、音源選択部６１に対して指定音源を指定する。

音源選択部６１は、制御部２２による指定音源の指定に応じて、各音源の分離信号のうち、制御部２２により指定音源として指定された音源の分離信号を選択する。

このようにして指定音源の分離信号が選択されると、その後、ステップＳ４６およびステップＳ４７の処理が行われて音源検索処理は終了するが、これらの処理は図２のステップＳ１５およびステップＳ１６の処理と同様であるので、その説明は省略する。

なお、ステップＳ４６においても図２のステップＳ１５における場合と同様に、分離信号から得られる特徴量に基づいて音源照合処理が行われるようにしてもよい。

以上のようにして情報処理装置５１は、音源分離を行ってから指定音源を選択し、その指定音源の分離信号に基づいて音源照合処理を行う。

このようにすることで、より簡単かつ高速に検索を行うことができる。

特に、この例では音源分離結果から得られる音源リストがユーザに提示され、その音源リストから指定音源が指定される。

そのため、情報処理装置５１において音源分離により分離された音源の種類が不明である場合でも、ユーザはその不明な種類の音源を指定音源として指定することができるので、ユーザが所望する適切な音源の音源信号を検索（照合）により得ることができる。

〈第３の実施の形態〉
〈情報処理装置の構成例〉
また、ユーザの待ち時間をさらに削減するために、バックグラウンドで音源分離が行われるようにしてもよい。

そのような場合、情報処理装置は、例えば図１３に示すように構成される。なお、図１３において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１３に示す情報処理装置９１は、入力部２１、制御部２２、分離信号保持部１０１、音源データベース保持部２３、表示部２４、および再生部２５を有している。

また、情報処理装置９１の制御部２２は、履歴確認部１１１、音源分離部３２、区間切り出し部３１、および音源照合部３３を有している。

情報処理装置９１の構成は、新たに履歴確認部１１１および分離信号保持部１０１が設けられた点で情報処理装置１１の構成と異なり、その他の点では情報処理装置１１と同じ構成となっている。

分離信号保持部１０１は、例えばメモリなどの記録装置からなり、入力オーディオ信号に対して音源分離を行うことで得られた分離信号を保持（保存）している。

より詳細には分離信号保持部１０１では、入力オーディオ信号に対する音源分離で得られた分離信号と、その分離信号に関するメタデータとが対応付けられて保持されている。なお、メタデータと同様の内容の管理ファイルが生成されて、その管理ファイルにより分離信号が管理されるようにしてもよい。

ここで、分離信号のメタデータには、例えば分離信号の分離元の入力オーディオ信号の楽曲名を示す情報や、分離信号の音源、より詳細には音源の種類（楽器）を示す情報などが含まれている。

また、情報処理装置９１では、制御部２２は入力オーディオ信号とともに、その入力オーディオ信号のメタデータも取得する。

入力オーディオ信号とそのメタデータが取得されると、履歴確認部１１１は、入力オーディオ信号のメタデータと、分離信号保持部１０１に保持されている分離信号のメタデータとに基づいて、入力オーディオ信号が過去に読み込まれたものであるか否かを特定する。

そして、履歴確認部１１１は、入力オーディオ信号が過去に読み込まれていないものである場合、音源分離部３２に入力オーディオ信号に対する音源分離を指示する。

〈音源検索処理の説明〉
次に、図１４のフローチャートを参照して、情報処理装置９１により行われる音源検索処理について説明する。

なお、ステップＳ７１の処理は、図２のステップＳ１１の処理と同様であるので、その説明は省略する。ステップＳ７１では、ユーザにより指定された楽曲等の入力オーディオ信号だけでなく、その入力オーディオ信号のメタデータも読み込まれる。

ステップＳ７２において履歴確認部１１１は、読み込まれた入力オーディオ信号のメタデータと、分離信号保持部１０１に保持されている分離信号のメタデータとに基づいて、入力オーディオ信号が過去に読み込まれた履歴があるか否かを判定する。すなわち、過去に読み込まれた入力オーディオ信号であるか否かが判定される。

例えば履歴確認部１１１は、複数の各分離信号のメタデータにより示される楽曲名のなかに、ステップＳ７１で読み込まれた入力オーディオ信号のメタデータにより示される楽曲名と同じものがある場合、読み込まれた履歴があると判定する。

ステップＳ７２において履歴がないと判定された場合、履歴確認部１１１は、音源分離部３２に対して、ステップＳ７１で読み込まれた入力オーディオ信号に対する音源分離を指示し、その後、処理はステップＳ７３へと進む。

ステップＳ７３において音源分離部３２は、制御部２２により読み込まれた入力オーディオ信号に対して音源分離を行い、入力オーディオ信号を音源ごとの分離信号に分離させ、得られた分離信号を分離信号保持部１０１に供給する。

ステップＳ７３では、音源分離部３２は入力オーディオ信号全体、すなわち楽曲全体に対して音源分離を行う。

そして音源分離部３２は、音源分離の結果として得られた分離信号とともに、音源の種類を示す情報や、分離信号の有音区間、つまり分離信号の無音でない区間を示す情報など、各分離信号に関する情報も分離信号保持部１０１に供給する。

ステップＳ７４において分離信号保持部１０１は、音源分離部３２から供給された分離信号を保存する。

具体的には分離信号保持部１０１は、履歴確認部１１１から入力オーディオ信号のメタデータを取得し、取得したメタデータと、音源分離部３２から供給された分離信号に関する情報とに基づいて、音源分離部３２から供給された各分離信号のメタデータを生成する。

例えば分離信号のメタデータには、楽曲名を示す情報や、音源の種類を示す情報、有音区間を示す情報など、分離信号に関する各種の情報が含まれている。

分離信号保持部１０１は、以上のようにして得られたメタデータと分離信号とを対応付けて保存する。

このようにして入力オーディオ信号から分離信号が分離されて保存されると、その後、処理はステップＳ７５へと進む。

これに対して、ステップＳ７２において履歴があると判定された場合、分離信号保持部１０１には既に入力オーディオ信号に対応する分離信号が保存されているので、ステップＳ７３およびステップＳ７４の処理は行われず、その後、処理はステップＳ７５へと進む。

すなわち、１度読み込まれた楽曲については、その楽曲に含まれている音源ごとの分離信号が既に保存されているので、２回目以降の読み込み時には特に音源分離等の処理は行われない。

なお、ステップＳ７２乃至ステップＳ７４の処理は、特にユーザの指示を受けることなく、またユーザに処理の実行を通知することなく、バックグラウンドで行われる。

ステップＳ７４の処理が行われたか、またはステップＳ７２において履歴があると判定された場合、ステップＳ７５において制御部２２は指定区間の指定を受け付ける。

指定区間の受け付けが開始されると、ユーザは入力部２１を操作し、例えば図５を参照して説明したようにドラッグ操作等を行うことで、入力オーディオ信号の指定区間を指定する。これにより、入力部２１から制御部２２にはユーザの操作に応じた信号が供給される。

ステップＳ７６において制御部２２は、入力部２１から供給された信号、すなわちユーザにより指定された指定区間と、分離信号保持部１０１に保持されている、入力オーディオ信号から分離された各分離信号のメタデータとに基づいて、表示部２４に音源リストを表示させる。

例えば制御部２２は、各音源の分離信号のメタデータに基づいて、ステップＳ７１で読み込まれた入力オーディオ信号から分離された分離信号のうち、指定区間内において有音である、つまり無音でない分離信号を特定する。

そして、制御部２２は、特定された分離信号の音源の種類のリストを音源リストとして表示部２４に表示させる。

これにより、例えば図１２に示したダイアログDG41と同様のダイアログが音源リストとして表示部２４に表示される。

音源リストが表示されると、ユーザは必要に応じて再生ボタンを操作して分離信号に基づく音を再生させるなどし、音源リストのなかから所望の音源を指定音源として指定する。

すると、入力部２１から制御部２２には、ユーザの操作に応じた信号、すなわち指定音源を示す信号が供給される。

制御部２２は、入力部２１から供給された信号に応じて、区間切り出し部３１に対して、ユーザにより指定された指定音源の分離信号に対する指定区間の切り出しを指示する。換言すれば制御部２２は、区間切り出し部３１に対して指定区間および指定音源を指定する。

ステップＳ７７において区間切り出し部３１は、制御部２２の指示に応じて、分離信号保持部１０１から、入力オーディオ信号から分離された指定音源の分離信号を読み出す。

ステップＳ７８において区間切り出し部３１は、ステップＳ７７で読み出した分離信号に対して、ステップＳ７５で指定された指定区間の切り出しを行い、その結果得られた信号を音源照合部３３に供給する。

このようにして指定音源の分離信号の指定区間の信号が切り出されると、その後、ステップＳ７９およびステップＳ８０の処理が行われて音源検索処理は終了するが、これらの処理は図２のステップＳ１５およびステップＳ１６と同様であるので、その説明は省略する。

以上のようにして情報処理装置９１は、予めバックグラウンドで音源分離を行っておき、ユーザにより指定された指定音源および指定区間に基づいて、指定音源の分離信号から指定区間の信号を切り出して音源照合処理を行う。

このようにすることでも第１の実施の形態や第２の実施の形態と同様に、より簡単かつ高速に検索を行うことができる。

しかも、この場合、初めて読み込まれた入力オーディオ信号に対しては、ユーザにより指定音源や指定区間が指定される前にバックグラウンドで音源分離が行われ、読み込みが２回目以降であれば、音源分離も行われない。

そのため、ユーザが指定区間や指定音源を指定してから、つまり類似の音源の検索を指示してから、照合結果が提示（表示）されるまでの期間においては音源分離は行われず、音源照合処理のみが行われるため、処理時間を大幅に削減することができる。すなわち、ユーザが検索を指示してから照合結果が提示されるまでの待ち時間を大幅に削減することができる。

〈第４の実施の形態〉
〈音源検索システムの構成例〉
ところで、以上においては情報処理装置１１や情報処理装置５１、情報処理装置９１など、１つの装置において類似の音源を検索する全ての処理が行われる例について説明した。すなわち、１つの装置において音源検索処理が行われる例について説明した。

しかし、例えば上述の情報処理装置１１等を構成する一部のブロック（モジュール）をクラウド上で実装するなど、音源検索処理が複数の装置により行われるようにしてもよい。

以下では、例として、図１に示した情報処理装置１１の一部のブロックがクラウドを構成するサーバに設けられる例について説明するが、情報処理装置５１や情報処理装置９１についても同様に、それらの装置の一部のブロックがサーバに設けられてもよい。

例えば入力オーディオ信号の指定区間の切り出しが情報処理装置１１側で行われ、音源分離と音源照合処理がサーバ（クラウド）側で行われる場合、音源検索処理を行う音源検索システムは、図１５に示すように構成される。なお、図１５において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１５に示す例では、音源検索システムは、情報処理装置１１およびサーバ１４１を有している。

この例では、情報処理装置１１は入力部２１、制御部２２、表示部２４、再生部２５、および通信部１５１を有しており、制御部２２は区間切り出し部３１を有している。

また、サーバ１４１は通信部１６１、制御部１６２、および音源データベース保持部２３を有しており、制御部１６２は音源分離部３２および音源照合部３３を有している。

音源検索システムでは、情報処理装置１１がエッジ側となっており、サーバ１４１がクラウド側となっている。

情報処理装置１１で入力オーディオ信号が読み込まれて、ユーザにより指定区間が指定されると、区間切り出し部３１により入力オーディオ信号の指定区間の信号が切り出され、その結果得られた対象区間信号が制御部２２から通信部１５１に供給される。

また、ユーザにより検索対象とする楽器等、すなわち指定音源が指定されると、その指定音源を示す指定音源情報が制御部２２から通信部１５１に供給される。

そして、通信部１５１からサーバ１４１に対して、指定音源情報と対象区間信号が送信され、サーバ１４１では、それらの指定音源情報と対象区間信号が通信部１６１により受信されて制御部１６２へと供給される。

さらに、サーバ１４１では、音源分離部３２によって指定音源情報に基づいて音源分離が行われ、対象区間信号から指定音源の分離信号が分離される。

また、音源照合部３３は、音源データベース保持部２３に保持されている音源データベースと、音源分離部３２から供給された分離信号とに基づいて音源照合処理を行う。

制御部１６２は、音源照合処理により得られた照合結果と、その照合結果として得られた音源の音源信号とを通信部１６１へと供給し、通信部１６１は、制御部１６２から供給された照合結果と音源信号を情報処理装置１１へと送信する。

なお、ここでは１つのサーバ１４１により音源分離と音源照合処理が行われる例について説明するが、これらの処理は複数のサーバにより分担されて行われてもよい。

情報処理装置１１では、通信部１５１により照合結果および音源信号が受信されて制御部２２に供給されると、制御部２２は表示部２４を制御し、表示部２４に照合結果を表示させる。

この場合、サーバ１４１と情報処理装置１１との間で授受される主なデータは、対象区間信号と、照合結果に応じた音源の音源信号である。

これらの対象区間信号や音源信号は、長くても２秒から３秒程度のショートトラックであるため、データ量としては数十から数百キロバイト程度である。したがって、これらのデータの伝送時に遅延等の影響が生じることはないので、ユーザの待ち時間が増えてしまうことはない。

以上のような音源検索システムでは、ユーザからすれば、図１に示した情報処理装置１１が単体で音源検索処理を行う場合と違いはないように見える。

図１５に示した音源検索システムのようにクラウド化を行う場合、より高性能な計算資源を利用して音源分離や音源照合処理を実行できることや、より大きな音源データベースを利用できるという利点がある。

すなわち、図１５の音源検索システムによれば、情報処理装置１１の処理能力等によらず、より高度な計算を迅速に行ったり、より大きな音源データベースを利用したりすることができ、ユーザの作業効率を向上させることができる。

〈第４の実施の形態の変形例１〉
〈音源検索システムの構成例〉
また、例えば図１６に示すように、音源検索処理のうち、音源照合処理がクラウド側で行われるようにしてもよい。なお、図１６において図１５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１６に示す音源検索システムは、情報処理装置１１およびサーバ１４１を有している。

この例では、情報処理装置１１は入力部２１、制御部２２、表示部２４、再生部２５、および通信部１５１を有しており、制御部２２は区間切り出し部３１および音源分離部３２を有している。

また、サーバ１４１は通信部１６１、制御部１６２、および音源データベース保持部２３を有しており、制御部１６２は音源照合部３３を有している。

したがって、この例では入力オーディオ信号に対する指定区間の切り出しと、切り出しにより得られた対象区間信号に対する音源分離までの処理が情報処理装置１１側で行われ、音源分離で得られた指定音源の分離信号が通信部１５１によりサーバ１４１に送信される。

そしてサーバ１４１側では、通信部１６１により指定音源の分離信号が受信されると、制御部１６２の音源照合部３３において、指定音源の分離信号に基づいて音源照合処理が行われる。通信部１６１は、音源照合処理の照合結果と、その照合結果として得られた音源の音源信号とを情報処理装置１１に送信する。

〈第４の実施の形態の変形例２〉
〈音源検索システムの構成例〉
さらに、例えば図１７に示すように、音源検索処理のうち、音源分離がクラウド側で行われるようにしてもよい。なお、図１７において図１５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１７に示す音源検索システムは、情報処理装置１１およびサーバ１４１を有している。

この例では、情報処理装置１１は入力部２１、制御部２２、音源データベース保持部２３、表示部２４、再生部２５、および通信部１５１を有しており、制御部２２は区間切り出し部３１および音源照合部３３を有している。

また、サーバ１４１は通信部１６１および制御部１６２を有しており、制御部１６２は音源分離部３２を有している。

したがって、この例では、まずは情報処理装置１１において、入力オーディオ信号に対する指定区間の切り出しが行われ、その結果得られた対象区間信号と、指定音源情報とが通信部１５１によりサーバ１４１に送信される。

そしてサーバ１４１では、通信部１６１により受信された対象区間信号と指定音源情報に基づいて、音源分離部３２により音源分離が行われ、その結果得られた分離信号が通信部１６１により情報処理装置１１に送信される。

すると、情報処理装置１１では、通信部１５１により受信された分離信号と、音源データベース保持部２３に保持されている音源データベースとに基づいて、音源照合部３３により音源照合処理が行われる。

以上のように、情報処理装置１１とサーバ１４１とで分担して音源検索処理が行われる場合、情報処理装置１１の処理能力や、音源データベースの規模等に応じて、柔軟に音源検索システムの運用を行うことが可能である。

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得する制御部を備える
情報処理装置。
（２）
前記指定音源の信号は、前記オーディオ信号に対する前記指定区間の切り出しおよび音源分離により得られた分離信号である
（１）に記載の情報処理装置。
（３）
前記指定音源の信号は、前記指定音源として指定された音源の信号を前記音源分離により前記オーディオ信号から分離することで得られた分離信号である
（２）に記載の情報処理装置。
（４）
前記制御部は、前記指定音源の候補となる複数の候補音源のリストを表示させ、前記複数の前記候補音源のなかからユーザにより指定された前記候補音源を前記指定音源として指定する
（３）に記載の情報処理装置。
（５）
前記指定音源の信号は、前記音源分離により得られた複数の前記分離信号のうちのユーザにより指定された前記分離信号である
（２）に記載の情報処理装置。
（６）
前記制御部は、前記音源分離により得られた前記複数の前記分離信号の音源のリストを表示させ、前記リストにより示される音源のなかから前記ユーザにより指定された音源を前記指定音源として指定する
（５）に記載の情報処理装置。
（７）
前記制御部は、音源データベースを構成する複数の前記音源信号のなかから、前記指定音源の信号に類似する前記音源信号を検索して得られた前記検索結果を取得する
（１）乃至（６）の何れか一項に記載の情報処理装置。
（８）
前記制御部は、前記指定音源の信号と前記音源信号とを照合することで検索された、前記指定音源の信号に類似する前記音源信号の前記検索結果を取得する
（１）乃至（７）の何れか一項に記載の情報処理装置。
（９）
前記制御部は、前記検索結果の表示を制御する
（１）乃至（８）の何れか一項に記載の情報処理装置。
（１０）
情報処理装置が、
複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得する
情報処理方法。
（１１）
複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得する
ステップを含む処理をコンピュータに実行させるプログラム。

１１ 情報処理装置， ２１ 入力部， ２２ 制御部， ２３ 音源データベース保持部， ２４ 表示部， ２５ 再生部， ３１ 区間切り出し部， ３２ 音源分離部， ３３ 音源照合部， ６１ 音源選択部， １０１ 分離信号保持部， １１１ 履歴確認部

Claims (9)

1. 複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得する制御部を備え、
   前記指定音源の信号は、前記オーディオ信号の前記指定区間を切り出し、前記指定音源として指定された音源の信号を音源分離により前記オーディオ信号における前記指定区間の信号から分離することで得られた分離信号であり、
   前記制御部は、前記指定音源の候補となる複数の候補音源のリストを表示させ、前記複数の前記候補音源のなかからユーザにより指定された前記候補音源を前記指定音源として指定する
   情報処理装置。
2. 前記制御部は、音源データベースを構成する複数の前記音源信号のなかから、前記指定音源の信号に類似する前記音源信号を検索して得られた前記検索結果を取得する
   請求項１に記載の情報処理装置。
3. 前記制御部は、前記指定音源の信号と前記音源信号とを照合することで検索された、前記指定音源の信号に類似する前記音源信号の前記検索結果を取得する
   請求項１に記載の情報処理装置。
4. 前記制御部は、前記検索結果の表示を制御する
   請求項１に記載の情報処理装置。
5. 情報処理装置が、
   複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得する
   ステップを含み、
   前記指定音源の信号は、前記オーディオ信号の前記指定区間を切り出し、前記指定音源として指定された音源の信号を音源分離により前記オーディオ信号における前記指定区間の信号から分離することで得られた分離信号であり、
   前記情報処理装置が、前記指定音源の候補となる複数の候補音源のリストを表示させ、前記複数の前記候補音源のなかからユーザにより指定された前記候補音源を前記指定音源として指定する
   情報処理方法。
6. 複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得する
   ステップを含む処理をコンピュータに実行させ、
   前記指定音源の信号は、前記オーディオ信号の前記指定区間を切り出し、前記指定音源として指定された音源の信号を音源分離により前記オーディオ信号における前記指定区間の信号から分離することで得られた分離信号であり、
   前記指定音源の候補となる複数の候補音源のリストを表示させ、前記複数の前記候補音源のなかからユーザにより指定された前記候補音源を前記指定音源として指定する
   プログラム。
7. 複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得する制御部を備え、
   前記指定音源の信号は、前記オーディオ信号に対する前記指定区間の切り出しおよび音源分離により得られた複数の分離信号のうちのユーザにより指定された前記分離信号であり、
   前記制御部は、前記複数の前記分離信号の音源のリストを表示させ、前記リストにより示される音源のなかから前記ユーザにより指定された音源を前記指定音源として指定する
   情報処理装置。
8. 情報処理装置が、
   複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得する
   ステップを含み、
   前記指定音源の信号は、前記オーディオ信号に対する前記指定区間の切り出しおよび音源分離により得られた複数の分離信号のうちのユーザにより指定された前記分離信号であり、
   前記情報処理装置が、前記複数の前記分離信号の音源のリストを表示させ、前記リストにより示される音源のなかから前記ユーザにより指定された音源を前記指定音源として指定する
   情報処理方法。
9. 複数の音源の音が含まれるオーディオ信号の指定区間と指定音源を指定し、前記オーディオ信号の前記指定区間における前記指定音源の信号に基づいて検索された、前記指定音源の信号に類似する音源信号の検索結果を取得する
   ステップを含む処理をコンピュータに実行させ、
   前記指定音源の信号は、前記オーディオ信号に対する前記指定区間の切り出しおよび音源分離により得られた複数の分離信号のうちのユーザにより指定された前記分離信号であり、
   前記複数の前記分離信号の音源のリストを表示させ、前記リストにより示される音源のなかから前記ユーザにより指定された音源を前記指定音源として指定する
   プログラム。

Images