JP3705000B2 - Music generation method - Google Patents

Description

数１において最小となる画素位置（a,b）の値をこの画素ブロックの動きベクトルとする。
【００１８】
より具体的には、パラメータa,bにそれぞれ０〜１５の値を与えながら、フレームｋにおけるＸ1 1〜Ｘ15 15までの各画素の画素値と、フレームｋ−１におけるＸ1±a 1±b〜Ｘ15±a 15±bとの差の絶対値を累算した場合に、数１の解が最小となる（a,b）の組を検索する。そして、画素位置の差が（a,b）である各画素値同士を比較して画素値の差がなければ、フレームｋ−１からフレームｋまでの間に注目画素は（a,b）だけ移動したことになる。
そして、画素ブロックに含まれる全画素について画素値の差を求め、この差を累算した値が最小となる（a,b）が、この画素フレームの動きを最もよく表す各画素ブロックの動きベクトルとして検出される。但し、前記差を累算した値が最小となる（a,b）について、その累算値が所定のしきい値以下にならない場合には、その画素ブロックの動きベクトルは検出不能と判断される。
図６は、各画素ブロックにおいて検出した（a,b）を画素ブロックの中心からのベクトルとして示している。本実施形態では１画面の画素数は６４０画素×４８０画素であるから、縦３０×横４０個の画素ブロックの動きベクトルＶｋ１〜Ｖｋ１２００が検出される。
１画面分の動きベクトルＶｋは、例えば図７に示すように、各画素ブロックの動きベクトルＶｋ１〜Ｖｋ１２００の平均値、重み付け平均値、自乗平均値等として算出されたベクトルとしたり、複数画素ブロックの複数ベクトルの中から選択された最大の大きさをもつベクトルとすればよい。あるいは、該大きさが上位のｎ個のベクトルの平均ベクトルが最も大きくなるものの平均ベクトルとしてもよい。
このように、「動きベクトル」を抽出すれば、被写体を特定する必要なく動き量を示すことができるようになる。
【００１９】
（３）演奏制御生成部
次に、演奏制御情報生成部１３０の動作について説明する。演奏制御情報生成部１３０は、動きベクトル抽出部１２０において抽出された動きベクトルＶｋに基づいて、演奏のパラメータ制御データＰｓを生成して出力する。
本実施形態では、パラメータ制御データＰｓを生成する処理として、
▲１▼操作子５００を操作することによって、いずれのパラメータについて制御を行うかを選択することができる「操作子選択モード」、
▲２▼指揮者が腕を上下に振る動作に基づいてテンポを制御する「テンポモード」、▲３▼予め設定されたエリア内の動きベクトルに基づいて制御を行う「エリアモード」、
の３つの制御モードの中から選択できる。なお、各モードはパラメータ制御データＰｓを生成する処理の例示であって、以下に説明する各態様に限定されるものではなく、３つの制御モード中に示す各要素を任意に組み合わせたモードであっても構わない。
【００２０】
▲１▼操作子選択モード
操作子選択モードは、操作子５００を操作することによって、いずれのパラメータについて制御を行うかを選択することができるモードである。ここで、操作子５００は、例えば演奏者が手に装着する「指スイッチ」であり、この「指スイッチ」は、人指し指で操作するスイッチＳｈと、中指で操作するスイッチＳｎとを備えており、いずれかのスイッチを親指で押下することによってオン状態にすることができるようになっている。
本実施形態では、人指し指で操作するスイッチＳｈがオン状態の場合は、ボリューム制御用のパラメータ制御データＶＯＬを動きベクトルに基づいて生成する。また、中指で操作するスイッチＳｎがオン状態の場合は、テンポパラメータ制御用のパラメータ制御データΔＴＭＰを動きベクトルに基づいて生成する。スイッチＳｈ、Ｓｎのいずれもがオフ状態の場合は、パラメータ制御を行わず、パラメータ制御データＰｓは生成しない。
なお、このモードにおける具体的な処理は、図１１を参照しながら後述する。
【００２１】
▲２▼テンポモード
テンポモードは、指揮者が腕を上下に振る動作に基づいてテンポを制御するモードであり、上下方向の動きベクトルを検出してテンポ制御用のパラメータ制御データＰｓｔを生成する。
なお、このモードにおける具体的な処理は、図１２を参照しながら後述する。
【００２２】
▲３▼エリアモード
エリアモードは、予め設定されたエリア内の動きベクトルに基づいて制御を行うモードである。本実施形態では、図８に示すように、３つのエリア（ｉ１、ｉ２、ｉ３）が予め設定されており、各エリアにおける動きベクトルを検出して、それぞれのエリアに割り当てられたパラメータの制御を行う。それぞれに割り当てられたパラメータは、例えばエリアｉ１はボリューム、エリアｉ２はテンポ、エリアｉ３はパンニングである。
【００２３】
また、ディスプレイ３００には、図９に示すように被写体を左右反転させて表示されるようになっており（上述した反転画像モード）、演奏者にとっては、鏡に映った自分の姿を見ながら動作できるようになっている。
そして、予め各パラメータに割り当てられたエリアｉ１、ｉ２、ｉ３は、演奏者が確認できるように、ディスプレイ３００にスーパーインポーズによって表示される。例えば、演奏者がボリュームの制御を所望する場合は、ディスプレイ３００に表示されたエリアｉ１内に自己の動作が表示されるようにすれば、演奏制御装置１００がエリアｉ１内における動きベクトルを検出してボリュームの制御を行う。
なお、このモードにおける具体的な処理は、図１３を参照しながら後述する。
【００２４】
２−２．処理の内容
次に、上述した本実施形態における動作を実現するためのＣＰＵ１０１にける処理について、フローチャートを参照（１０図〜１３図）しながら説明する。
【００２５】
（１）メインルーチン
まず、図１０は、メインルーチンを示すフローチャートである。
メインルーチンが起動され、処理が開始すると、まず、ＣＰＵ１０１は初期設定を行う（Ｓ１０１）。初期設定においては、例えば操作子５００の状態などに基づいて動作モードを選択する処理や、各種変数の初期化などを行う。
なお、画像データをビデオキャプチャ１０６から取り込んで、ＲＡＭ１０３に記憶しておく処理は、キャプチャ１０６によって、以下に説明するステップＳ１０２〜Ｓ１０５のＣＰＵ処理と並行して行われており、後述するように、ステップＳ１０６において読み出され、動きベクトルが抽出されるものとする。
ＣＰＵ１０１は、初期設定を終了すると、次に、ＭＩＤＩ処理を行う（Ｓ１０２）。ＭＩＤＩ処理は、ステップＳ１０１の初期化処理において外部入力モード（図３）あるいは反転画像モード（図５）が選択された場合には、電子楽器４００から出力されるＭＩＤＩデータを読み込む処理であり、シーケンサモード（図４）が選択された場合には、シーケンサ１５０において曲データに基づいてＭＩＤＩデータを生成する処理である。
【００２６】
ＣＰＵ１０１は、ＭＩＤＩ処理に続いて、操作子処理を行う（Ｓ１０３）。操作子処理は、操作子５００の状態を読み込んでＲＡＭ１０３に記憶したり、状態の変化に応じて各種設定を変更する処理などが該当する。
操作子処理が終了すると、ＣＰＵ１０１は、その他の処理を行う（Ｓ１０４）。その他の処理とは、ステップＳ１０２において読み込んだないし生成したＭＩＤＩデータに基づいて、音源１１０における楽音の生成を制御したり、ステップＳ１０３において読み込まれた操作子５００の状態に応じたシステム状態の変更などを行う処理である。
【００２７】
その他の処理が終了すると、ＣＰＵ１０１は、所定のタイミングから所定の時間が経過したか否かをタイマ１０５によって計時された時刻に基づいて判別する（Ｓ１０５）。ここで、所定のタイミングとは、当該判別が最初の判別であれは、初期設定（Ｓ１０１）を行ったタイミングをいい、当該判別が２回目以降の判別であれば、前回動きベクトルの抽出（Ｓ１０６）を行ったタイミングをいう。
ステップＳ１０５の判別において、所定の時間が経過していないと判別した場合は（Ｓ１０５；ＮＯ）、処理をステップＳ１０２に移行させ、再びＭＩＤＩ処理を行う。すなわち、タイマ１０５が所定の時間を計時するまでの間は、ステップＳ１０２〜ステップＳ１０５を循環しながら、動きベクトルに影響されない楽音生成処理を行っている。
【００２８】
一方、ステップＳ１０５の判別において、所定の時間が経過していると判別した場合は（Ｓ１０５；ＹＥＳ）、所定時間内に入力された画像データに基づいて前述したように動きベクトルを抽出する処理を行う（Ｓ１０６）。
そして、ステップＳ１０６において抽出された動きベクトルに基づいて、動きベクトルに応じた楽音制御処理を行う（Ｓ２００）。この楽音制御処理は、前述した各モード（▲１▼操作子選択モード、▲２▼テンポモード、▲３▼エリアモード）に応じて異なるので、以下、楽音制御処理について、各モード毎に処理を説明する。
【００２９】
（２）楽音制御処理
１．操作子選択モード
まず、操作子選択モードにおける処理について図１１に示すフローチャートを参照しながら説明する。
楽音制御処理が開始すると、まず、メインルーチンのステップＳ１０３において読み込んだ操作子５００の状態についての判別を行う（Ｓ２１０１）。
操作子５００には、前述の指スイッチが含まれており、ここでは、人指し指で操作するスイッチＳｈがオン状態の場合はボリューム制御用のパラメータ制御データＶＯＬを生成し、中指で操作するスイッチＳｎがオン状態の場合はテンポ制御用のパラメータ制御データΔＴＭＰを生成する。スイッチＳｈ、Ｓｎのいずれもがオフ状態の場合は、パラメータ制御を行わず、パラメータ制御データＰｓは生成しない。
従って、ステップＳ２１０１の判別において、スイッチＳｈがオン状態であると判別した場合は、音量を制御するパラメータ制御データＶＯＬ（ＭＩＤＩデータの１つ）を生成する処理に移行する（Ｓ２１０２）。
具体的には、ステップＳ１０６において抽出した時刻ｋにおけるフレームｋの各動きベクトルＶｋ１〜Ｖｋ１２００に基づいて、各動きベクトルのｙ方向の成分を求め、１画面分の全画素ブロックのｙ方向成分の平均値Ｖｋを検出する。
そして、Ｖｋに基づいてパラメータ制御データＶＯＬを生成する。そして、パラメータ制御データＶＯＬに応じて楽音の音量を制御する（Ｓ２１０３）。具体的には、その時点の音量値をパラメータ制御データＶＯＬに基づいて決定された音量値をパラメータとするＭＩＤＩデータ（例えばコントロールチェンジメッセージ）として発生する。なお、過去に発生した音量を制御するＭＩＤＩデータの値を保持しておけば、その時点の音量値は判別できる。
このように、抽出された動きベクトルのｙ方向成分の平均値に応じて音量を制御したのち、処理をメインルーチンに戻す。
【００３０】
ところで、ステップＳ２１０１の判別において、スイッチＳｎがオン状態であると判別した場合は、テンポを制御するパラメータ制御データΔＴＭＰを生成する処理に移行する（Ｓ２１０４）。
具体的には、ステップＳ１０６において抽出した時刻ｋにおけるフレームｋの各動きベクトルＶｋ１〜Ｖｋ１２００に基づいて、各動きベクトルのうちの最大ベクトルの長さを検出して、パラメータ制御データΔＴＭＰを生成する。
そして、パラメータ制御データΔＴＭＰに応じて楽音のテンポを制御する（Ｓ２１０５）。具体的には、例えば、曲データが指示するテンポが１２０であれば、本来は４分音符１拍分のノートオンメッセージを０．５秒間隔で出力する（１分間に４分音符が１２０拍）が、パラメータ制御データΔＴＭＰがテンポを６０まで下げることを指示していた場合は、シーケンサ１５０は、４分音符１拍分のノートオンメッセージを１秒間隔で出力する（１分間に４分音符が６０拍）。
このように、動きベクトルの最大ベクトルの長さに応じてテンポを制御した後、処理をメインルーチンに戻す。
ところで、ステップＳ２１０１の判別において、スイッチＳｈあるいはスイッチＳｎのいずれもがオフ状態であると判別した場合は、楽音制御処理を行わず、そのまま処理をメインルーチンに戻す。
【００３１】
このように、操作子５００を操作することによって、動きベクトルをどのような制御に用いるかを選択できるので、演奏中に制御内容を自由に切り換えることができるようになる。
【００３２】
２．テンポモード
次に、テンポモードにおける処理について図１２に示すフローチャートを参照しながら説明する。
テンポモードは、動きベクトルのｙ方向成分に基づいてテンポを制御するモードであるので、まず、ｙ方向成分のピークを検出して変数Ｖｙの値とする（Ｓ２２０１）。次に、ステップＳ２２０１において検出した値をローパスフィルタに通して雑音と除去し、変数Ｖｙとする（Ｓ２２０２）。
テンポモードは、ｙ方向における被写体の往復運動の速さに基づいてテンポを制御するので、ｙ正方向の動きが加速から減速に転じたタイミングを検出し、前回の加速から減速に転じたタイミングとの時間間隔で１往復運動に要した時間を計測する処理を行う。
具体的には、ｙ方向における被写体の動きは、だんだん加速してピークを迎えた後減速し、戻りの動作が行われるという１サイクルを仮定し、以下に説明するように、動きベクトルのｙ成分であるＶｙの大きさを、ｙ方向における被写体の動作の速さとを示す値として扱う。また、１サイクルにおける動きベクトルのｙ成分の最大値Ｐｙを、ｙ方向における被写体の動作のピークを示す値として扱う。
そして、ｙ正方向における演奏者の動作状態を、ＳＴ＝０、ＳＴ＝１、ＳＴ＝２のいずれかによって示すものとしている。
ここで、ＳＴ＝０は、被写体のｙ方向における動きが検出されない場合を示している。この場合は、ステップＳ２２０２で決定したＶｙは、負の値を示しているか、後述するように、しきい値Ｔｙを超えていない。また、ＳＴ＝１は、被写体のｙ方向における動きがｙ正方向において加速している場合を示している。この場合は、ステップＳ２２０２で決定したＶｙは、しきい値Ｔｙを超えている。
また、Ｖｙは、前回更新した最大値Ｐｙを超えており、被写体のｙ方向における動きがさらに速くなったことを示している。
そして、ＳＴ＝２は、被写体のｙ方向における動きが正方向において減速している場合を示している。この場合は、ステップＳ２２０２で決定したＶｙは、正の値を示すが、最大値Ｐｙ以下となる。
【００３３】
このような規則に従って被写体の動き状態を判別するために、ステップＳ２２０２においてＶｙを決定した後、動きベクトルのｙ方向成分の態様を示すステートメントＳＴを判別する（Ｓ２２０３）。
まず、ステップＳ２２０３の判別において、ＳＴ＝０、すなわち正方向の動きが検出されていないと判別した場合は（Ｓ２２０３；ＳＴ＝０）、次に、Ｖｙ＞Ｔｙ、すなわちｙ方向のピーク値Ｖｙがしきい値Ｔｙよりも大きいか否かを判別する（Ｓ２２０４）。
ここでＶｙ≦Ｔｙと判別した場合は（Ｓ２２０４；ＮＯ）、検出されたｙ方向のピーク値がしきい値以下（負方向を含む）であるので、ステートメントＳＴの値を変更せず、そのまま処理をメインルーチンに戻す。
【００３４】
一方、ステップＳ２２０４の判別においてＶｙ＞Ｔｙであると判別した場合は（Ｓ２２０４；ＹＥＳ）、正方向への動きを検出したのでステートメントＳＴを１とし、ステップＳ２２０１において検出したＶｙを当該サイクルのピーク値Ｐｙとして（Ｓ２２０５）、処理をメインルーチンに戻す。
すなわち、次回のステップＳ２２０３の判別においてＳＴ＝１と判別すると（Ｓ２２０３；ＳＴ＝１）、次に、Ｖｙ＞Ｐｙであるか否かの判別を行う（Ｓ２２０６）。ここでは、Ｓ２２０１において検出されたＶｙが当該サイクルのピーク値Ｐｙよりも大きければ、被写体の動きは未だ加速中であると判別できる。
従って、Ｖｙ＞Ｐｙであると判別した場合は（Ｓ２２０６；ＹＥＳ）、ＰｙをＶｙで更新して（Ｓ２２０７）、処理をメインルーチンに戻す。
【００３５】
一方、ステップＳ２２０６の判別において、Ｖｙ≦Ｐｙと判別した場合は（Ｓ２２０６；ＮＯ）、ｙ方向成分がピーク値Ｐｙを下回り始めたと判別できるので、ステートメントＳＴを２とし、現在時刻を示す変数ｔを、タイマ１０５（図２参照）によって計時している時刻とする（Ｓ２２０８）。
そして、ステップＳ２２０８おける時刻を示すｔから同様の処理を前回行った際の時刻を示すｔ０を引いて、１サイクルに要した時間Δｔを求める。Δｔを求めた後は、次回のサイクルにおいて同様に時間差を算出できるように、ｔ０の値をｔの値で更新する（Ｓ２２０９）。
このようにして求めた１サイクルに要した時間Δｔに応じて、例えば、Δｔが現在のテンポ値に対応した拍の時間間隔に比べて小さければテンポを加速し、大きければテンポを減速するといったテンポ制御を行い（Ｓ２２１０）、処理をメインルーチンに戻す。
ただし、Δｔと前記拍の時間間隔の差が大きく離れていた場合には、前記テンポの制御は行わない方がよい。また、拍の時間間隔と比較する代わりに、２拍の時間間隔や１小節の時間間隔と比較するようにしてもよい。
【００３６】
被写体のｙ方向への動きが減速に転じてステートメントＳＴ＝２となると、ステップＳ２２０３の判別の後、Ｖｙ＜０であるか否か、すなわち、動きベクトルのｙ成分の値が正に転じたか否かを判別し（Ｓ２２１１）、Ｖｙ≧０と判別すると（Ｓ２２１１；ＮＯ）、被写体のｙ正方向における動きは減速中であるので、次のサイクルに移行していない。従って、ステートメントＳＴの値は変更せず、そのまま処理をメーンルーチンに戻す。
一方、ステップＳ２２１１の判別において、Ｖｙ＜０であると判別した場合は（Ｓ２２１１；ＹＥＳ）、被写体のｙ方向における動作が負方向に転じたので、次のサイクルに移行させるためにステートメントＳＴ＝０とし（Ｓ２２１２）、処理をメインルーチンに戻す。
【００３７】
このような処理を循環する過程において、演奏者が上下に手を振る動きに応じてＳＴ＝０→ＳＴ＝１→ＳＴ＝２→ＳＴ＝０……というサイクルが形成され、ＳＴ＝１からＳＲ＝２に転じる時刻において、前回ＳＴ＝１からＳＲ＝２に転じた時刻との時間差Δｔに応じたテンポ制御が行われる。
従って、被写体である演奏者が手を速く動かせばテンポが速くなり、遅く動かせばテンポが遅くなる。ここでは、複数画素ブロックの動きベクトルからピーク値を抽出してテンポ制御を行ったが、ピーク値の代わりに平均値等を使用してもよい。
【００３８】
▲３▼エリアモード
次に、エリアモードにおける処理について図１３に示すフローチャートを参照しながら説明する。
本実施形態においては、図８に示したように、予め設定されたエリアｉ１、ｉ２、およびｉ３における動きベクトルに基づいて制御を行うので、各エリアについて順次動きベクトルの抽出を行い、当該エリアに割り当てられたパラメータについて動きベクトルに基づいた制御を行う。
そこで、まずエリアｉ１から処理を行うべく、エリアを示す変数ｉを１に設定し（Ｓ２３０１）、画面中のエリアｉ１の最大ベクトルを抽出し、ｘ方向成分とｙ方向成分を（Ｍｘ，Ｍｙ）とする（Ｓ２３０２）。なお、（Ｍｘ，Ｍｙ）の具体例については、図９に示している。
そして、まず動きベクトルのｙ成分を示すＭｙを使用するか否かを判別し（Ｓ２３０３）、Ｍｙを使用すると判別した場合は（Ｓ２３０３；ＹＥＳ）、次にＭｙに応じてパラメータＰＹｉを制御する（Ｓ２３０４）。
パラメータＰＹｉとは、エリアｉにおけるｙ方向に割り当てられた制御対象のパラメータである。本実施形態では、エリアｉ１にはボリュームが割り当てられており、動きベクトルのｙ方向成分に基づいてボリュームを制御する。
従ってｉ＝１である場合は、ステップＳ２３０３の判別においてＹＥＳと判別されて、ｙ方向のベクトル成分Ｍｙに応じてボリュームが制御される。
【００３９】
ステップＳ２３０３の判別において、Ｍｙを使用しないと判別した場合（Ｓ２３０３；ＮＯ）、あるいは、ステップＳ２３０４の処理を終了した場合は、次に、動きベクトルのｘ成分を示すＭｘを使用するか否かを判別し（Ｓ２３０５）、Ｍｘを使用すると判別した場合は（Ｓ２３０５；ＹＥＳ）、Ｍｘに応じてパラメータＰＸｉを制御する（Ｓ２３０６）。ここで、パラメータＰＸｉは、エリアｉにおけるｘ方向に割り当てられた制御対象のパラメータである。本実施形態では、エリアｉ３にはパンニングが割り当てられており、動きベクトルのｘ方向成分に基づいてパンニングを制御する。
従ってｉ＝３である場合は、ステップＳ２３０５の判別においてＹＥＳと判別されて、ｘ方向のベクトル成分Ｍｘに応じてパンニングが制御され、左右のバランスが変化する。
【００４０】
ステップＳ２３０５の判別において、Ｍｘを使用しないと判別した場合（Ｓ２３０５；ＮＯ）、あるいは、ステップＳ２３０４の処理を終了した場合は、次に、残りのエリアがあるか否かを判別する（Ｓ２３０７）。すなわち、予め設定されたエリアｉ１、ｉ２、ｉ３の全てについて処理を行ったか否かを判別する。
ステップＳ２３０７の判別において、残りエリアがあると判別した場合は（Ｓ２３０７；ＹＥＳ）、次のエリアの処理を行うべく変数ｉを１インクリメントして（Ｓ２３０８）、処理をステップＳ２３０２に移行させる。
一方、残りエリアがない、すなわちエリアｉ１、ｉ２、ｉ３の全てについて処理が終了したと判別した場合は（Ｓ２３０７；ＮＯ）、処理をメインルーチンに戻す。
【００４１】
このように、ステップＳ２３０２からＳ２３０７の処理を循環する過程において、エリアｉ１においては、ｙ方向のベクトル成分に応じてボリュームが制御（Ｓ２３０４）、エリアｉ２においては、ｙ方向のベクトル成分に応じてテンポが制御され（Ｓ２３０４）、エリアｉ３においては、ｘ方向のベクトル成分に応じてパンニングが制御される（Ｓ２３０６）。
なお、設定するエリアの数や形状、また、そのエリアを画面上の何処に配置するかは任意であり、例えば、操作子５００の操作に応じてユーザが任意に選択・設定できるようにすればよい。さらに、各エリアの動きベクトルを何で制御するかも任意であり、同じく、操作子５００の操作に応じてユーザが任意に設定・選択できるようにすればよい。また、上記説明では、１つのエリアの動きベクトルのｘ成分とｙ成分のいずれか一方でパラメータを制御するようにしたが、ｘｙ両方の成分で同一ないし互いに異なるパラメータを独立して制御するようにしてもよい。
【００４２】
２−３．まとめ
このように、ビデオカメラ２００で撮影した画像に基づいて、まず画像全体の各画素ブロックの動きベクトルを機械的に求め、その１画面分の複数の動きベクトルから制御用の動きベクトルを生成して楽音制御を行うので、被写体における検出すべき映像要素の位置を正確に特定する必要がなくなり、動きに応じた制御を容易に行うことができるようになる。
また、画素ブロック毎の動きベクトルを抽出する技術は、ＭＰＥＧなどの規格で、すでに広く用いられているので、その技術の進歩を容易に本発明に組み入れていくことができる。すなわち、本発明によれば、画像圧縮の目的で抽出される動きベクトルを、演奏の制御に容易に用いることができるようになる。
【００４３】
３．変形例
なお、本発明は既述した実施形態に限定されるものではなく、以下のような各種の変形が可能である。
【００４４】
動画像から抽出された動きベクトルに基づいて制御量を決定する手段は、上記実施形態に限定されるものではなく、例えば、上記実施形態では、ビデオカメラ２００によって撮影されたビデオ信号に基づいて動きベクトルを抽出しているが、ＭＰＥＧの画像データ等に含まれている画素ブロック毎の動きベクトルを利用してもよい。また、動きベクトルを抽出する際の画素ブロックの単位は、上記実施形態のように１６画素×１６画素に限らず、例えば８画素×８画素、５画素×１０画素、その他３角形の形状等、任意の画素ブロックでもかまわない。
また、上記実施形態では、例えば操作子選択モード（図１１参照）ではＹ方向の成分だけを使用して制御しているが、ここで、ｘ成分を用いて制御するようにしても構わなく、ｙ方向の成分とｘ方向の成分との両方を使用して制御を行っても構わない。同様に、他の例（図１２、図１３）においても、使用する成分は実施例に限定されるものではない。
また、必ずしもフレームごとに動きベクトルを抽出する必要はなく、複数フレームおきに抽出するようにしてもよい。
【００４５】
また、上記実施形態においてフレームｋにおける動きベクトルＶｋは、各画素ブロックの動きベクトルの平均値として説明しているが、これに限らず、全画素ブロックの動きベクトルのピーク値や最大値など、他の代表値でも構わない。
動作モードや制御モードも上記実施形態に限定されるものではなく、例えば、一定時間内の複数フレームにおける動きベクトルを積分して作成した、積分画像を用いて制御するようなモードがあってもよい。
また、上記実施形態の外部入力モード（▲１▼）においては、動きベクトルにより制御する制御対象を、操作子５００に設けられた人指し指と中指のスイッチで選択するものとして説明したが、選択の方法はこれに限らない。例えば、他の指のスイッチや、ベルトやウエアに設けられたスイッチ、フットスイッチ、光スイッチ、圧力センサ、傾きセンサ等、いかなる検出器の検出結果により選択を行うようにしてもよい。
スイッチ個々に割り当てられた検出対象をオン／オフする選択方法に限らず、複数スイッチの組み合わせ操作により制御したり、同じスイッチの操作で異なる制御方法を順次選択するようにしてもよい。また、操作子で選択する代わりに、同時に演奏する曲データに埋め込まれ、演奏情報とともに再生される選択イベント情報に応じて選択するようにしてもよい。
このように選択された制御対象に応じて、複数画素ブロックの動きベクトルから動きベクトルを生成する方法を異ならせることにより、制御対象に応じて最適な制御を行うことができる。
【００４６】
また、各モードの切り換え指示を、上記実施形態のように操作子５００を用いて指示してもよいし、被写体の動作によって指示できるようにしてもよい。例えば、上述のエリアモードにおいて、外部入力モードとシーケンサモードとを切り換えるためのエリアを設定しておき、当該エリアにおいて所定の動きベクトルが検出された場合はモード切り替えを行うようにしてもよい。
【００４７】
決定した制御量に応じて演奏を制御する手段も上記実施形態に限定されるものではなく、例えば、上記実施形態では、動きベクトルによって制御するパラメータとして、ボリューム、テンポ、パンニングを挙げたが、これらに限定されるものではなく、例えば、音色の変更や音高の変更などを行ってもよい。
また、上記実施形態ではＭＩＤＩデータを用いているが、これに限らず、音楽情報をデジタルデータとして扱うことができる規格であればどのようなものでもよく、独自の規格のデータであってもよい。
【００４８】
上記実施形態では、プログラムはＲＯＭ１０２に記憶されているが、これに限らず、不揮発性メモリカード、ＣＤ−ＲＯＭ、フロッピーディスク、光磁気ディスク、および磁気ディスク等の可搬型の記録媒体に記録されたデータをハードディスク１０４等の記憶装置に転送できるように構成してもよい。このようにすれば、制御情報や制御プログラム等の追加（インストール）や更新（バージョンアップ）の際に便利である。また、可搬型の記録媒体から直接ＲＡＭ１０３へデータを転送するようにしてもよい。
さらに、可搬型の記録媒体経由ではなく、図示せぬ通信インターフェイス経由で、ハードディスク等の記録装置上の制御情報や制御プログラム等を通信ネットワーク側からダウンロードするようにしてもよい。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、比較的簡易なシステムを用いて画像に応じた演奏の制御を行うことができる。
【図面の簡単な説明】
【図１】 実施形態の全体構成を示す図である。
【図２】 演奏制御装置の構成を示すブロック図である。
【図３】 実施形態の機能ブロック図である（その１）。
【図４】 実施形態の機能ブロック図である（その２）。
【図５】 実施形態の機能ブロック図である（その３）。
【図６】 １画面分の動きベクトルを説明する図である（その１）。
【図７】 １画面分の動きベクトルを説明する図である（その２）。
【図８】 予めエリアを設定した画像の例である。
【図９】 予め設定したエリアにおける動きベクトルを説明する図である。
【図１０】 実施形態の動作のメインルーチンを示すフローチャートである。
【図１１】 楽音制御処理のサブルーチンを示すフローチャートである（その１）。
【図１２】 楽音制御処理のサブルーチンを示すフローチャートである（その２）。
【図１３】 楽音制御処理のサブルーチンを示すフローチャートである（その３）。
【符号の説明】
１００……演奏制御装置、１０１……ＣＰＵ、１０２……ＲＯＭ、１０３……ＲＡＭ、１０４……ハードディスク、１０５……タイマ、１０６……ビデオキャプチャ、１０７……ビデオ再生、１０８……ＭＩＤＩインターフェイス、１０９……操作子インターフェイス、１１０……音源、２００……ビデオカメラ、３００……ディスプレイ、４００……電子楽器、５００……操作子、６００……サウンドシステム。[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a method for generating musical sounds using video images.LawAbout.
[0002]
[Prior art]
  Conventionally, a technique for controlling performance corresponding to an image has been proposed. As such a technique, for example, Japanese Patent No. 262974 and Patent No.2508136Japanese Laid-Open Patent Publication No. Hokukai discloses a technique for controlling the tempo and the like using the contour of a subject. According to these technologies, R (red), G (green), and B (blue) color signals are separated from the input video signal, and gradation data representing gradation is generated as digital data for each color. To do. Then, a subject is specified based on the gradation data of each color and predetermined threshold data, and the contour of the subject is detected.
  After specifying the contour in this way, the technique described in Japanese Patent No. 2629740 controls the performance according to the complexity of the contour.2508136In the technique described in Japanese Patent Publication No. Gazette, the performance is controlled according to the movement of the center of gravity of the subject.
[0003]
[Problems to be solved by the invention]
  However, in the conventional technique described above, it is necessary to identify the subject and detect the contour, so that there is a problem that the processing load is large. That is, gradation data for each RGB color must be created for each pixel and compared with a threshold value, and in addition, the complexity of the contour of the detected object, the movement of the center of gravity, etc. must be obtained. There wasn't. In addition, it is difficult to determine a predetermined threshold value for specifying a subject, and it is not always possible to detect a contour with high accuracy.
  As described above, conventionally proposed techniques for controlling performance based on images have a complicated system configuration for subject detection,ofThere was a problem that operation became unstable by setting.
[0004]
  The present invention has been made to solve the above-described problems, and uses a relatively simple system to easily perform musical performance control according to an image.LawThe purpose is to provide.
[0005]
[Means for Solving the Problems]
  In order to solve the above-described problem, the invention according to claim 1 specifies one of a process of supplying performance information indicating the content of a performance and a plurality of performance control parameters for controlling the performance. A process, a process of supplying a video image including a plurality of blocks, a process of extracting a plurality of motion vectors corresponding to the plurality of blocks from the supplied video image, and the extracted motion vectorsCorresponding to the specified performance control parametercontroldataThe process of calculatingCalculationSaid control issuedTo dataAnd a step of changing or adding the specified performance control parameter, and a step of generating a musical tone based on the supplied performance information and the changed or added performance control parameter. Features.
  The invention according to claim 22. The musical tone generation method according to claim 1, wherein the process of changing or adding the performance control parameter is specified based on a performance control parameter generated in the past in addition to the calculated control data. The performance control parameters are changed or added.
  The invention described in claim 3 is the musical sound generation method according to claim 1 or 2, wherein the control is performed.dataIs calculated from a plurality of motion vectors corresponding to a part of the extracted plurality of blocks.TheIt is characterized by calculating.
  According to a fourth aspect of the present invention, there is provided a musical sound generation method according to any one of the first to third aspects, wherein a step of designating a partial area in the video image in accordance with an operation of an operator, And detecting a change in the image in the partial area, and a detection signal indicating the changeThe process of generatingFurther, the performance control parameterChange or addThe process is based on the generated detection signal and the specified performance control parameterChange or addIt is characterized by that.
  The invention described in claim 5 is the musical sound generation method according to any one of claims 1 to 4, wherein the inversion process of inverting the left and right of the video image and the video image output in the inversion process are displayed. And a display process.
  According to a sixth aspect of the present invention, in the musical sound generating method according to the first to fifth aspects, the step of supplying the performance information includes any one of the plurality of performance control parameters together with the performance information. The process of supplying event information for designating and specifying any one of the plurality of performance control parameters is to specify any one of the plurality of performance control parameters based on the event information. It is characterized by.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0007]
1. Configuration of the embodiment
1-1. Outline Configuration of Embodiment
FIG. 1 is a diagram illustrating a schematic configuration of the embodiment. In the present embodiment, as shown in FIG. 1, a video camera 200, a display 300, an electronic musical instrument 400, an operator 500, and a sound system 600 are connected to the performance control apparatus 100 according to the present invention. .
The performance control device 100 is a device that controls a performance input from the electronic musical instrument 400 or an automatic performance in the performance control device 100 based on an image photographed by the video camera 200 and an operation of the operation element 500. FIG. A configuration described with reference to the drawings is provided.
The video camera 200 is a device that captures the action of a player who is a subject, and generates and outputs a video signal.
The display 300 is a device that displays an image captured by the video camera 200, and uses, for example, a CRT (Cathode Ray Tube), an LCD (Liquid Crystal Display), a plasma display, or the like. In the present embodiment, a display with a resolution of 640 pixels × 480 pixels will be described, but the resolution is not limited to this.
[0008]
The electronic musical instrument 400 is a device that generates and outputs performance data based on the MIDI (Musical Instrument Digital Interface) standard in accordance with the operating state of a performance operator (keyboard, pedal, etc.), such as an electronic piano or a MIDI guitar. Is used.
The operation element 500 is for performing various settings in the performance control apparatus 100, and corresponds to, for example, a key switch or a panel operation element. This operation element 500 may be provided in the performance control apparatus 100, or may be cable-connected as a separate body. Further, the operation state may be transmitted by radio such as infrared rays or radio waves.
The sound system 600 includes an amplifier, a speaker, and the like, and is a device that amplifies the sound signal output from the performance control apparatus 100 and emits the sound.
[0009]
1-2. Performance control device 100
Next, the configuration of the performance control apparatus 100 will be described with reference to FIG.
As shown in FIG. 2, the performance control apparatus 100 includes a CPU 101, ROM 102, RAM 103, hard disk 104, timer 105, video capture 106, video playback 107, MIDI interface 108, operator interface 109, and A sound source 110 is provided.
The CPU 101 controls each unit connected via the bus based on various programs stored in the ROM 102. The ROM 102 stores various programs that control the operation of the performance control apparatus 100. The RAM 103 is used for temporarily storing data in addition to setting a work area necessary for the operation of the CPU 101.
The hard disk 104 is a large-capacity storage medium capable of storing a large amount of data, and stores music data used when the performance controller 100 performs automatic performance.
[0010]
Next, the timer 105 measures the time and indicates the current time. The video capture 106 converts a video signal output from the video camera 200 into image data that is digital data. The video playback 107 converts image data into a video signal and outputs the video signal to the display 300. For example, the video playback 107 corresponds to a board having a video memory, a video controller, and the like.
The MIDI interface 108 performs an interface operation with the electronic musical instrument 400, and the operation element interface 109 performs an interface operation with the operation element 500.
The sound source 110 generates a musical sound signal based on the MIDI data, and the generated musical sound signal is emitted from the sound system 600.
[0011]
2. Operation of the embodiment
Next, the operation of the embodiment having the above configuration will be described.
[0012]
2-1. Overview processing
First, an overview of processing in the present embodiment will be described.
[0013]
(1) Operation mode
In the present embodiment, a desired operation mode can be selected from preset operation modes.
The operation mode includes
(1) “External input mode” for performing control by performing predetermined processing on MIDI data inputted in real time from the electronic musical instrument 400;
(2) “Sequencer mode” for performing performance control by reading out MIDI music data stored in the hard disk 104 and generating MIDI data sequence data; and
{Circle around (3)} There are three types of modes: “inverted image mode” in which an image obtained by reversing the performer on the left and right is displayed on the display 300 and the performer operates while viewing the display 300 to instruct performance control.
Here, FIGS. 3, 4 and 5 are functional block diagrams showing an outline of the operation of the performance control apparatus 100 in each operation mode, FIG. 3 shows an outline operation in the external input mode, and FIG. 4 shows a sequencer mode. FIG. 5 shows an outline operation in the reverse image mode.
Hereinafter, the outline of operations in the external input mode (FIG. 3), the sequencer mode (FIG. 4), and the reverse image mode (FIG. 5) will be described.
[0014]
1.External input mode
  In the external input mode, as shown in FIG. 3, the motion vector extracting unit 120, the performance control information generating unit 130, and the MIDI data changing unit 140 are configured by the processing of the CPU 101 based on the program stored in the ROM 102. .
  The motion vector extraction unit 120 extracts a motion vector Vk based on image data output from the video camera 200 and input via the video capture 106. The motion vector Vk will be described in detail later.
  The performance control information generation unit 130 generates parameter control data Ps that is performance control information based on the motion vector Vk extracted by the motion vector extraction unit 120.
  Also, the MIDI data changing unit 140 changes or adds MIDI data output from the electronic musical instrument 400 and input via the MIDI interface 108 based on the parameter control data Ps generated by the performance control information generating unit 130. And supply to the sound source 110. here,The change or addition of MIDI data means, for example, generating a new message for controlling the volume, pan, EG parameter, etc. controlled by the control change message as a relative value or an absolute value with respect to the current value, or note-on This includes control of all MIDI data such as changing the pitch or velocity value included in the message, or generating a system message for controlling the sequencer or the like.
  For example, if the MIDI data output from the electronic musical instrument 400 is a control change message for controlling the volume, the MIDI data changing unit 140 sets a value indicating the volume included in the control change message based on the parameter control data Ps. change.
[0015]
(2) Sequencer mode
In the sequencer mode, as shown in FIG. 4, the motion vector extraction unit 120, the performance control information generation unit 130, and the sequencer 150 are configured by the processing of the CPU 101 based on the program stored in the ROM 102. The motion vector extraction unit 120 and the performance control information generation unit 130 are the same as those shown in FIG.
The sequencer 150 interprets the music data read from the hard disk 104 and stored in the RAM 103, generates MIDI data, and supplies it to the sound source 110. Here, the sequencer 150 changes the MIDI data to be generated based on the song data based on the parameter control data Ps generated by the performance control information generation unit 130, or the MIDI data generated based on the song data. Change or add.
For example, when the tempo indicated by the song data is 120 and the parameter control data Ps indicates a tempo increase, the sequencer 150 outputs the MIDI data to the sound source 100 so that the tempo becomes 150, for example. . Alternatively, the MIDI data generated based on the music data is changed or added in the same manner as in the case of (1).
[0016]
(3) Reverse image mode
In the reverse image mode, as shown in FIG. 5, the motion vector extraction unit 120, the performance control information generation unit 130, the MIDI data change unit 140 and the image inversion unit 160 are processed by the CPU 101 based on the program stored in the ROM 102. Is configured. The motion vector extracting unit 120, the performance control information generating unit 130, and the MIDI data changing unit 140 are the same as those shown in FIG.
The image inverting unit 160 generates image data for horizontally inverting the image to be displayed on the display 300. An image displayed on the display 300 based on the generated image data is like an image reflected in a mirror. A performance control process suitable for this operation mode will be described later (see FIG. 13).
When MIDI music data is used without connecting the electronic musical instrument 400, the MIDI interface 108 is replaced with the hard disk 104 and the RAM 103, and the MIDI data changing unit 140 is replaced with the sequencer 150.
[0017]
(2) Motion vector extraction unit
Next, the motion vector extraction unit 120 will be described.
The motion vector extraction unit 120 detects a motion vector Vk as described below based on a plurality of frames of image data continuously input from the video capture 106. The “motion vector” is data indicating the magnitude and direction of motion in each frame screen, and is used for motion compensation in MPEG (Moving Picture Experts Group phase), which is an international standard for compressing image data and audio data. It has been.
In the present embodiment, the “motion vector” represents the pixel position at a certain point in time (k frame) using pixels in the past (k−1 frame). Here, each coordinate data included in one frame of image data is referred to as a pixel.
Specifically, in order to indicate a pixel Xijk (ij is a coordinate and k is a frame) of k frames, a pixel value Xim closest to Xil is searched from images in k−1 frames. Then, the spatial deviations | i-l | and | j-m | between Xil and Xim are obtained. The pixel value Xim closest to Xil is a pixel that is shifted horizontally and vertically within a 15-pixel range and has the smallest difference.
In the present embodiment, a plurality of pixels constituting one frame screen are divided into a plurality of pixel blocks each having 16 pixels × 16 pixels as one pixel block, and a motion vector of each pixel block is obtained, and these motion vectors are obtained. Is a motion vector Vk for one screen in k frames. Specifically, the motion vector of the pixel block in the frame k is obtained as follows.
[Expression 1]

The value of the pixel position (a, b) that is minimum in Equation 1 is set as the motion vector of this pixel block.
[0018]
More specifically, while giving values of 0 to 15 to the parameters a and b, respectively, the pixel values of each pixel from X11 to X1515 in the frame k, and X1 ± a1 ± b to the frame k−1 When the absolute value of the difference from X15 ± a15 ± b is accumulated, a set of (a, b) that minimizes the solution of Equation 1 is searched. If there is no difference between the pixel values when the pixel position differences are (a, b) and there is no difference in pixel values, the pixel of interest is only (a, b) between frame k-1 and frame k. It has moved.
Then, the difference between the pixel values is obtained for all the pixels included in the pixel block, and the accumulated value of the difference is minimized (a, b), but the motion vector of each pixel block that best represents the motion of this pixel frame. Detected as However, when the accumulated value of the difference is minimum (a, b), if the accumulated value does not fall below a predetermined threshold, the motion vector of the pixel block is determined to be undetectable. .
FIG. 6 shows (a, b) detected in each pixel block as a vector from the center of the pixel block. In this embodiment, since the number of pixels in one screen is 640 pixels × 480 pixels, motion vectors Vk1 to Vk1200 of 30 × 40 pixel blocks are detected.
For example, as shown in FIG. 7, the motion vector Vk for one screen is a vector calculated as an average value, a weighted average value, a mean square value, or the like of the motion vectors Vk1 to Vk1200 of each pixel block. A vector having the maximum size selected from a plurality of vectors may be used. Alternatively, the average vector having the largest average vector of the n vectors having the highest magnitude may be used.
Thus, by extracting the “motion vector”, it is possible to indicate the amount of motion without the need to specify the subject.
[0019]
(3) Performance control generator
Next, the operation of the performance control information generation unit 130 will be described. The performance control information generation unit 130 generates and outputs performance parameter control data Ps based on the motion vector Vk extracted by the motion vector extraction unit 120.
In the present embodiment, as the process of generating the parameter control data Ps,
(1) “Operator selection mode” in which it is possible to select which parameter to control by operating the operator 500;
(2) “Tempo mode” for controlling the tempo based on the action of the conductor swinging his / her arm up and down; (3) “area mode” for controlling based on a motion vector in a preset area;
The three control modes can be selected. Each mode is an example of processing for generating the parameter control data Ps, and is not limited to each mode described below, and is a mode in which the elements shown in the three control modes are arbitrarily combined. It doesn't matter.
[0020]
(1) Operator selection mode
The operator selection mode is a mode in which it is possible to select which parameter is controlled by operating the operator 500. Here, the operator 500 is, for example, a “finger switch” worn by the performer on the hand, and this “finger switch” includes a switch Sh operated by the index finger and a switch Sn operated by the middle finger. The switch can be turned on by pressing any switch with a thumb.
In the present embodiment, when the switch Sh operated by the index finger is in the on state, the parameter control data VOL for volume control is generated based on the motion vector. Further, when the switch Sn operated with the middle finger is in an ON state, parameter control data ΔTMP for tempo parameter control is generated based on the motion vector. When both of the switches Sh and Sn are in the off state, parameter control is not performed and parameter control data Ps is not generated.
Specific processing in this mode will be described later with reference to FIG.
[0021]
(2) Tempo mode
The tempo mode is a mode in which the conductor controls the tempo based on the movement of his / her arm up and down, and detects the vertical motion vector to generate parameter control data Pst for tempo control.
Specific processing in this mode will be described later with reference to FIG.
[0022]
(3) Area mode
The area mode is a mode in which control is performed based on a motion vector within a preset area. In this embodiment, as shown in FIG. 8, three areas (i1, i2, and i3) are set in advance, and a motion vector in each area is detected to control parameters assigned to each area. Do. For example, the parameter assigned to each area is volume for area i1, tempo for area i2, and panning for area i3.
[0023]
In addition, the display 300 displays the subject as reversed left and right as shown in FIG. 9 (inverted image mode as described above), and for the performer while watching his / her appearance in the mirror. It can be operated.
Then, the areas i1, i2, and i3 previously assigned to the parameters are displayed on the display 300 by superimposition so that the performer can confirm them. For example, if the performer wants to control the volume, the performance control device 100 detects a motion vector in the area i1 if the player's own operation is displayed in the area i1 displayed on the display 300. Control the volume.
A specific process in this mode will be described later with reference to FIG.
[0024]
2-2. Processing details
Next, processing in the CPU 101 for realizing the operation in the above-described embodiment will be described with reference to flowcharts (FIGS. 10 to 13).
[0025]
(1) Main routine
First, FIG. 10 is a flowchart showing a main routine.
When the main routine is activated and the process starts, first, the CPU 101 performs initial setting (S101). In the initial setting, for example, processing for selecting an operation mode based on the state of the operation element 500, initialization of various variables, and the like are performed.
Note that the process of capturing image data from the video capture 106 and storing it in the RAM 103 is performed by the capture 106 in parallel with the CPU processing of steps S102 to S105 described below. It is assumed that a motion vector is extracted by reading in step S106.
After completing the initial setting, the CPU 101 performs a MIDI process (S102). The MIDI process is a process of reading MIDI data output from the electronic musical instrument 400 when the external input mode (FIG. 3) or the reverse image mode (FIG. 5) is selected in the initialization process of step S101. When the mode (FIG. 4) is selected, the sequencer 150 generates MIDI data based on the song data.
[0026]
The CPU 101 performs operator processing following the MIDI processing (S103). The manipulator process corresponds to a process of reading the state of the manipulator 500 and storing it in the RAM 103, or changing various settings in accordance with a change in the state.
When the operator processing is finished, the CPU 101 performs other processing (S104). Other processing includes controlling the generation of musical sound in the sound source 110 based on the MIDI data read or generated in step S102, changing the system state in accordance with the state of the operator 500 read in step S103, and the like. It is a process to perform.
[0027]
When the other processing is completed, the CPU 101 determines whether or not a predetermined time has elapsed from a predetermined timing based on the time counted by the timer 105 (S105). Here, the predetermined timing means the timing at which the initial setting (S101) is performed even if the determination is the first determination. If the determination is the second or subsequent determination, the previous motion vector is extracted (S106). ).
If it is determined in step S105 that the predetermined time has not elapsed (S105; NO), the process proceeds to step S102, and the MIDI process is performed again. That is, until the timer 105 counts a predetermined time, a musical sound generation process that is not affected by the motion vector is performed while circulating through steps S102 to S105.
[0028]
On the other hand, if it is determined in step S105 that the predetermined time has elapsed (S105; YES), the process of extracting the motion vector as described above based on the image data input within the predetermined time is performed. Perform (S106).
Then, based on the motion vector extracted in step S106, a musical tone control process corresponding to the motion vector is performed (S200). Since this musical tone control process differs depending on the above-mentioned modes ((1) operator selection mode, (2) tempo mode, (3) area mode), hereinafter, the musical tone control process is performed for each mode. explain.
[0029]
(2) Musical sound control processing
1.Controller selection mode
  First, processing in the operator selection mode will be described with reference to the flowchart shown in FIG.
  When the musical tone control process is started, first, a determination is made as to the state of the operation element 500 read in step S103 of the main routine (S2101).
  The operator 500 includes the above-described finger switch. Here, when the switch Sh operated with the index finger is in the on state, the parameter control data VOL for volume control is generated, and the switch Sn operated with the middle finger is displayed. In the on state, parameter control data ΔTMP for tempo control is generated. When both of the switches Sh and Sn are in the off state, parameter control is not performed and parameter control data Ps is not generated.
  Therefore, if it is determined in step S2101 that the switch Sh is in the ON state, the process proceeds to processing for generating parameter control data VOL (one of MIDI data) for controlling the volume (S2102).
  Specifically, based on the motion vectors Vk1 to Vk1200 of the frame k extracted at the time k extracted in step S106, the y-direction component of each motion vector is obtained, and the average of the y-direction components of all the pixel blocks for one screen is obtained. The value Vk is detected.
  Then, parameter control data VOL is generated based on Vk. Then, the tone volume is controlled according to the parameter control data VOL (S2103). Specifically, the current soundQuantity valueMIDI data (for example, control change message) whose volume value is determined based on the parameter control data VOLAsOccur. If the value of the MIDI data for controlling the volume generated in the past is held, the volume value at that time can be determined.
  As described above, after controlling the volume according to the average value of the y-direction components of the extracted motion vectors, the process returns to the main routine.
[0030]
If it is determined in step S2101 that the switch Sn is on, the process proceeds to processing for generating parameter control data ΔTMP for controlling the tempo (S2104).
Specifically, based on the motion vectors Vk1 to Vk1200 of the frame k extracted at the time k extracted in step S106, the length of the maximum vector among the motion vectors is detected, and the parameter control data ΔTMP is generated.
Then, the tempo of the musical tone is controlled according to the parameter control data ΔTMP (S2105). Specifically, for example, if the tempo indicated by the song data is 120, a note-on message for one beat of a quarter note is output at an interval of 0.5 seconds (a quarter note is 120 beats per minute). ) Indicates that the parameter control data ΔTMP indicates that the tempo is to be reduced to 60, the sequencer 150 outputs a note-on message for one quarter note at one second intervals (quarter notes per minute). 60 beats).
Thus, after controlling the tempo according to the length of the maximum vector of motion vectors, the process is returned to the main routine.
By the way, if it is determined in step S2101 that both the switch Sh and the switch Sn are in the OFF state, the musical tone control process is not performed, and the process returns to the main routine as it is.
[0031]
In this way, by operating the operation element 500, it is possible to select what kind of control the motion vector is used for, so that the control content can be freely switched during performance.
[0032]
2.Tempo mode
  Next, processing in the tempo mode will be described with reference to the flowchart shown in FIG.
  Since the tempo mode is a mode for controlling the tempo based on the y direction component of the motion vector, first, the peak of the y direction component is detected and set as the value of the variable Vy (S2201). Next, the value detected in step S2201 is passed through a low-pass filter to remove noise and set as a variable Vy (S2202).
  In the tempo mode, the tempo is controlled based on the speed of the reciprocating motion of the subject in the y direction. Therefore, the timing at which the movement in the positive y direction changes from acceleration to deceleration is detected, and the timing at which the acceleration changes from the previous acceleration to A process for measuring the time required for one reciprocating motion at a time interval of is performed.
  Specifically, the movement of the subject in the y direction is assumed to be one cycle in which the object gradually accelerates, reaches a peak, then decelerates, and a return operation is performed. As described below, the y component of the motion vector Is treated as a value indicating the speed of movement of the subject in the y direction. The maximum value Py of the y component of the motion vector in one cycle is treated as a value indicating the peak of the subject's motion in the y direction.
  The player's operation state in the positive y direction is indicated by one of ST = 0, ST = 1, and ST = 2.
  Here, ST = 0 indicates a case where no movement of the subject in the y direction is detected. In this case, Vy determined in step S2202 indicates a negative value or does not exceed the threshold value Ty as described later. ST = 1 indicates a case where the movement of the subject in the y direction is accelerating in the y positive direction. In this case, Vy determined in step S2202 exceeds the threshold value Ty.TheYes.
  Further, Vy exceeds the previously updated maximum value Py, indicating that the movement of the subject in the y direction is further accelerated.
  ST = 2 indicates a case where the movement of the subject in the y direction is decelerated in the positive direction. In this case, Vy determined in step S2202 shows a positive value, but is not more than the maximum value Py.
[0033]
In order to determine the motion state of the subject according to such a rule, after determining Vy in step S2202, a statement ST indicating the mode of the y direction component of the motion vector is determined (S2203).
First, in the determination of step S2203, when it is determined that ST = 0, that is, no positive direction motion is detected (S2203; ST = 0), then Vy> Ty, that is, the peak value Vy in the y direction is It is determined whether or not it is larger than the threshold value Ty (S2204).
If it is determined that Vy ≦ Ty (S2204; NO), since the detected peak value in the y direction is equal to or less than the threshold value (including the negative direction), the value of the statement ST is not changed and the process is performed as it is. Return to the main routine.
[0034]
On the other hand, if it is determined in step S2204 that Vy> Ty is satisfied (S2204; YES), since the movement in the positive direction is detected, the statement ST is set to 1, and Vy detected in step S2201 is the peak value of the cycle. As Py (S2205), the process returns to the main routine.
That is, if it is determined that ST = 1 in the next determination in step S2203 (S2203; ST = 1), it is then determined whether or not Vy> Py (S2206). Here, if Vy detected in S2201 is larger than the peak value Py of the cycle, it can be determined that the movement of the subject is still accelerating.
Therefore, if it is determined that Vy> Py (S2206; YES), Py is updated with Vy (S2207), and the process returns to the main routine.
[0035]
On the other hand, if it is determined in step S2206 that Vy ≦ Py (S2206; NO), it can be determined that the y-direction component has started to fall below the peak value Py, so the statement ST is set to 2 and the variable t indicating the current time is set. The time measured by the timer 105 (see FIG. 2) is set (S2208).
Then, the time Δt required for one cycle is obtained by subtracting t0 indicating the time when the same processing was previously performed from t indicating the time in step S2208. After obtaining Δt, the value of t0 is updated with the value of t so that the time difference can be calculated similarly in the next cycle (S2209).
In accordance with the time Δt required for one cycle thus obtained, for example, the tempo is accelerated if Δt is smaller than the beat time interval corresponding to the current tempo value, and the tempo is decelerated if larger. Control is performed (S2210), and the process returns to the main routine.
However, it is better not to control the tempo when the difference between the time intervals of Δt and the beat is greatly separated. Further, instead of comparing with the beat time interval, it may be compared with the time interval of two beats or the time interval of one measure.
[0036]
When the movement of the subject in the y direction turns to deceleration and the statement ST = 2, whether or not Vy <0 is satisfied after the determination in step S2203, that is, whether or not the value of the y component of the motion vector has turned positive. If it is determined that Vy ≧ 0 (S2211; NO), the movement of the subject in the positive y direction is decelerating, and thus the process does not proceed to the next cycle. Therefore, the value of the statement ST is not changed, and the process is returned to the main routine as it is.
On the other hand, if it is determined in step S2211 that Vy <0 (S2211: YES), the movement of the subject in the y direction has changed to the negative direction, so that the statement ST = 0 in order to shift to the next cycle. (S2212), and the process returns to the main routine.
[0037]
In the process of circulating such processing, a cycle of ST = 0 → ST = 1 → ST = 2 → ST = 0... Is formed in accordance with the movement of the player waving up and down, and ST = 1 to SR. Tempo control is performed according to the time difference Δt from the time when the previous ST = 1 to SR = 2.
Therefore, if the performer who is the subject moves his / her hand quickly, the tempo increases, and if the player moves slowly, the tempo decreases. Here, the tempo control is performed by extracting the peak value from the motion vectors of the plurality of pixel blocks, but an average value or the like may be used instead of the peak value.
[0038]
(3) Area mode
Next, processing in the area mode will be described with reference to the flowchart shown in FIG.
In the present embodiment, as shown in FIG. 8, control is performed based on the motion vectors in the preset areas i1, i2, and i3. Therefore, motion vectors are sequentially extracted for each area, The assigned parameter is controlled based on the motion vector.
Therefore, first, in order to perform processing from the area i1, the variable i indicating the area is set to 1 (S2301), the maximum vector of the area i1 in the screen is extracted, and the x-direction component and the y-direction component are (Mx, My). (S2302). A specific example of (Mx, My) is shown in FIG.
First, it is determined whether or not My indicating the y component of the motion vector is used (S2303). If it is determined that My is used (S2303; YES), then the parameter PYi is controlled according to My (S2303; S2304).
The parameter PYi is a control target parameter assigned in the y direction in the area i. In this embodiment, a volume is assigned to the area i1, and the volume is controlled based on the y-direction component of the motion vector.
Therefore, if i = 1, YES is determined in the determination in step S2303, and the volume is controlled according to the vector component My in the y direction.
[0039]
If it is determined in step S2303 that My is not used (S2303; NO), or if the process in step S2304 is terminated, it is next determined whether or not Mx indicating the x component of the motion vector is used. If it is determined (S2305) and it is determined that Mx is used (S2305; YES), the parameter PXi is controlled according to Mx (S2306). Here, the parameter PXi is a control target parameter assigned in the x direction in the area i. In the present embodiment, panning is assigned to the area i3, and panning is controlled based on the x-direction component of the motion vector.
Therefore, if i = 3, YES is determined in the determination in step S2305, panning is controlled according to the vector component Mx in the x direction, and the left / right balance changes.
[0040]
If it is determined in step S2305 that Mx is not used (S2305; NO), or if the process in step S2304 is terminated, it is next determined whether there is a remaining area (S2307). That is, it is determined whether or not the processing has been performed for all the preset areas i1, i2, and i3.
If it is determined in step S2307 that there is a remaining area (S2307; YES), the variable i is incremented by 1 to perform processing for the next area (S2308), and the process proceeds to step S2302.
On the other hand, when it is determined that there is no remaining area, that is, the processing has been completed for all the areas i1, i2, and i3 (S2307; NO), the processing is returned to the main routine.
[0041]
As described above, in the process of circulating the processing from step S2302 to S2307, the volume is controlled according to the vector component in the y direction in the area i1 (S2304), and the tempo in the area i2 according to the vector component in the y direction. Is controlled (S2304), and in the area i3, panning is controlled in accordance with the vector component in the x direction (S2306).
Note that the number and shape of the areas to be set and where the areas are arranged on the screen are arbitrary. For example, if the user can arbitrarily select and set according to the operation of the operator 500, Good. Furthermore, what controls the motion vector of each area is arbitrary, and similarly, the user may arbitrarily set and select according to the operation of the operation element 500. In the above description, the parameter is controlled by either the x component or the y component of the motion vector of one area, but the same or different parameters are controlled independently by both the xy components. May be.
[0042]
2-3. Summary
As described above, based on the image captured by the video camera 200, first, a motion vector of each pixel block of the entire image is mechanically obtained, and a motion vector for control is generated from the plurality of motion vectors for one screen. Since the musical tone control is performed, it becomes unnecessary to accurately specify the position of the video element to be detected in the subject, and the control according to the movement can be easily performed.
In addition, since a technique for extracting a motion vector for each pixel block is already widely used in standards such as MPEG, the progress of the technique can be easily incorporated into the present invention. That is, according to the present invention, a motion vector extracted for the purpose of image compression can be easily used for performance control.
[0043]
3. Modified example
The present invention is not limited to the above-described embodiments, and various modifications as described below are possible.
[0044]
The means for determining the control amount based on the motion vector extracted from the moving image is not limited to the above embodiment. For example, in the above embodiment, the motion is based on the video signal photographed by the video camera 200. Although vectors are extracted, a motion vector for each pixel block included in MPEG image data or the like may be used. Further, the unit of the pixel block at the time of extracting the motion vector is not limited to 16 pixels × 16 pixels as in the above embodiment, and for example, 8 pixels × 8 pixels, 5 pixels × 10 pixels, other triangular shapes, etc. Any pixel block may be used.
In the above embodiment, for example, in the operator selection mode (see FIG. 11), the control is performed using only the component in the Y direction. However, the control may be performed using the x component. Control may be performed using both the y-direction component and the x-direction component. Similarly, in other examples (FIGS. 12 and 13), the components to be used are not limited to the examples.
Further, it is not always necessary to extract a motion vector for each frame, and it may be extracted every plural frames.
[0045]
In the above embodiment, the motion vector Vk in the frame k is described as an average value of the motion vectors of each pixel block. The representative value may be used.
The operation mode and the control mode are not limited to the above embodiment. For example, there may be a mode in which control is performed using an integrated image created by integrating motion vectors in a plurality of frames within a certain time. .
Further, in the external input mode (1) of the above embodiment, the control target controlled by the motion vector has been described as being selected by the index finger and middle finger switches provided on the operation element 500. Is not limited to this. For example, the selection may be made based on the detection result of any detector such as another finger switch, a switch provided on a belt or wear, a foot switch, an optical switch, a pressure sensor, or a tilt sensor.
It is not limited to the selection method for turning on / off the detection target assigned to each switch, but may be controlled by a combination operation of a plurality of switches, or different control methods may be sequentially selected by the operation of the same switch. Further, instead of selecting with an operator, selection may be made according to selected event information embedded in music data to be played simultaneously and reproduced together with performance information.
By varying the method for generating the motion vector from the motion vectors of the plurality of pixel blocks according to the control target selected in this way, optimal control can be performed according to the control target.
[0046]
In addition, the switching instruction of each mode may be instructed by using the operation element 500 as in the above embodiment, or may be instructed by the operation of the subject. For example, in the above-described area mode, an area for switching between the external input mode and the sequencer mode may be set, and mode switching may be performed when a predetermined motion vector is detected in the area.
[0047]
The means for controlling performance according to the determined control amount is not limited to the above embodiment. For example, in the above embodiment, volume, tempo, and panning are listed as parameters controlled by motion vectors. For example, the tone color or the pitch may be changed.
In the above embodiment, MIDI data is used. However, the present invention is not limited to this, and any standard that can handle music information as digital data may be used. .
[0048]
In the above embodiment, the program is stored in the ROM 102. However, the program is not limited to this, and is recorded on a portable recording medium such as a nonvolatile memory card, a CD-ROM, a floppy disk, a magneto-optical disk, and a magnetic disk. Data may be transferred to a storage device such as the hard disk 104. This is convenient when adding (installing) or updating (upgrading) control information, control programs, and the like. Further, data may be directly transferred from the portable recording medium to the RAM 103.
Furthermore, control information, a control program, and the like on a recording device such as a hard disk may be downloaded from the communication network side not via a portable recording medium but via a communication interface (not shown).
[0049]
【The invention's effect】
As described above, according to the present invention, it is possible to control performance according to an image using a relatively simple system.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of an embodiment.
FIG. 2 is a block diagram showing a configuration of a performance control device.
FIG. 3 is a functional block diagram of the embodiment (part 1);
FIG. 4 is a functional block diagram of the embodiment (No. 2).
FIG. 5 is a functional block diagram of the embodiment (part 3);
FIG. 6 is a diagram for explaining motion vectors for one screen (No. 1).
FIG. 7 is a diagram for explaining a motion vector for one screen (part 2);
FIG. 8 is an example of an image in which an area is set in advance.
FIG. 9 is a diagram illustrating motion vectors in a preset area.
FIG. 10 is a flowchart showing a main routine of the operation of the embodiment.
FIG. 11 is a flowchart showing a musical sound control process subroutine (part 1);
FIG. 12 is a flowchart showing a musical sound control processing subroutine (part 2);
FIG. 13 is a flowchart showing a musical sound control process subroutine (No. 3);
[Explanation of symbols]
100... Performance controller 101... CPU, 102... ROM, 103... RAM, 104... Hard disk, 105 .. Timer, 106. 109: operation unit interface, 110: sound source, 200 ... video camera, 300 ... display, 400 ... electronic musical instrument, 500 ... operation unit, 600 ... sound system.

Claims (6)

A process of supplying performance information indicating the content of the performance;
Designating any one of a plurality of performance control parameters for controlling the performance;
Providing a video image consisting of multiple blocks;
Extracting a plurality of motion vectors corresponding to the plurality of blocks from the supplied video image;
A step of calculating control data corresponding to the designated performance control parameter from the extracted plurality of motion vectors;
On the basis of the control data issued calculated, and the process to make a change or addition of the specified the performance control parameter,
A musical sound generation method comprising: generating a musical sound based on the supplied performance information and the changed or added performance control parameter. In the musical sound production | generation method of Claim 1,
The process of changing or adding the performance control parameters includes:
In addition to the calculated control data, the specified performance control parameters are changed or added based on performance control parameters that have occurred in the past.
A musical sound generation method characterized by the above. The process of calculating the control data includes:
The musical sound generation method according to claim 1, wherein one is calculated from a plurality of motion vectors corresponding to a partial region of the extracted plurality of blocks. In the musical sound production | generation method in any one of Claim 1 thru | or 3,
A process of designating a partial area in the video image according to the operation of the operator;
Detecting a change in an image in the specified partial area and generating a detection signal indicating the change;
Further comprising a,
The process of changing or adding the performance control parameters includes:
A musical tone generation method comprising changing or adding the specified performance control parameter based on the generated detection signal. In the musical sound production | generation method in any one of Claim 1 thru | or 4,
An inversion process for inverting the left and right of the video image;
And a display process for displaying the video image output in the inversion process. In the musical sound production | generation method in any one of Claim 1 thru | or 5,
The process of supplying the performance information includes:
Along with the performance information, supplying event information specifying any of the plurality of performance control parameters,
The process of designating any one of the plurality of performance control parameters includes:
Specify any one of the plurality of performance control parameters based on the event information
A musical sound generation method characterized by the above.

Images