JP2004024863A

JP2004024863A - 口唇認識装置および発生区間認識装置

Info

Publication number: JP2004024863A
Application number: JP2003158723A
Authority: JP
Inventors: Hidetsugu Maekawa; 英嗣前川; Tatsumi Watanabe; 辰巳渡辺; Kazuaki Obara; 和昭小原; Kazuhiro Kayashima; 一弘萱嶋; Kenji Matsui; 謙二松井; Yoshihiko Matsukawa; 善彦松川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-05-13
Filing date: 2003-06-03
Publication date: 2004-01-29

Abstract

【課題】人間にとって自然な音声による操作を可能とするゲーム装置を提供する。
【解決手段】音声認識部２音声を認識し、発声区間検出部４は画像入力部３が取り込んだ話者（装置の操作者）の口唇付近の動きから、話者の発声区間を検出する。統合判断部５は、音声認識結果と検出された発声区間の情報とに基づいて、話者が発声した音声認識結果のみを抽出する。認識結果は制御部６に送られ、飛行船７の制御に利用される。以上の構成により、話者以外の周囲騒音による誤認識を防止することができる。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、音声を用いて操作するゲーム装置、口唇画像や音声を入力する入力装置、および音声反応装置に関する。
【０００２】
【従来の技術】
図３４に従来のゲーム装置の例として、無線受信機を備えた飛行船を操作者の手元の無線受信器付きリモートコントローラーによって操作するゲーム装置を示す。図３４に示すように、従来のゲーム装置では、リモートコントローラに備えられたジョイスティック１６１を用いて対象物を操作するのが一般的である。操作者がジョイスティック１６１を動かすと、その角度が角度検出部１６２および１６３によって検出され、電気信号に変換されて制御部１６４に出力される。制御部１６４は、これらの電気信号に基づき、ジョイスティック１６１の角度に応じて飛行船７の移動を制御するためのラジオコントロール信号を出力する。
【０００３】
【発明が解決しようとする課題】
しかしながら従来のゲーム装置は、ジョイスティック１６１による操作であるため、人間にとって自然な操作とはなっていない。このため操作習熟に時間がかかる、とっさの反応に鈍くなる等の問題点を有していた。また、飛行船ではなく、駆動装置付きの風船を操作するゲーム装置もあるが、この装置においても上述したようにして風船の動きが制御されるため、風船の動きが非生物的になってしまい、風船独特の暖かみが薄れるという問題があった。
【０００４】
また、操作者の口唇の画像を入力することにより、音声を認識する装置も提案されているが、このような装置では、高度な光学系レンズを必要とするために装置自体が大ががりなものとなってしまう上に高価であるという問題点がある。
【０００５】
本発明はこのような現状に鑑みてなされたものであり、その目的は、（１）自然な音声による操作が可能であり、操作習熟を必要とせず、さらに騒音下あるいは音声を発しにくい状況での利用、および発声に障害を持つ者の利用を可能にするゲーム装置を低コストかつ簡易な構成で提供すること、（２）操作者の口唇の動きおよび音声を簡易な構成により入力することが可能である入力装置、（３）同一の入力音声に対して、複数の言葉の中からランダムに選択された言葉を音声として出力する音声選択装置、（４）音声によって自然な動作をさせることができるゲーム装置または玩具、ならびにこれらに用いられる音声認識装置を提供すること、および（５）入力される音声に応じて動作を変えることができる音声反応装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明のゲーム装置は、操作者によって発生された音声を含む少なくとも１つの音声を入力し、入力された該音声を第１の電気信号に変換し、該第１の電気信号を出力する音声入力手段と、該音声入力手段から出力された該第１の電気信号に基づいて該少なくとも１つの音声を認識する音声認識手段と、該操作者の口唇の動きを光学的に検出し、検出された該口唇の動きを第２の電気信号に変換し、該第２の電気信号を出力する画像入力手段と、該第２の電気信号を受け取り、受け取った該第２の電気信号に基づいて、該話者によって該音声が発生されている区間を求める発生区間検出手段と、該音声認識手段によって認識された該少なくとも１つの音声と、該発生区間検出手段によって求められた該区間とに基づいて、該少なくとも１つの音声から該操作者によって発生された該音声を抽出する統合判断手段と、該統合判断手段によって抽出された該音声に基づいて、対象物を制御する制御手段とを備えており、そのことにより上記目的を達成する。
【０００７】
前記発声区間検出手段は、前記画像入力手段から出力される前記第２の電気信号の変化の度合いを検出する微分手段と、該微分手段によって検出される該変化の度合いが所定の値を超えたときに、対応する音声は前記操作者によって発生されたと判断する手段とを備えていてもよい。
【０００８】
前記統合判断手段は、前記発声区間検出手段によって求められた前記区間に所定の長さの区間を加えることにより評価区間を作成する手段と、前記音声認識手段によって認識された前記少なくとも１つの音声が、該音声認識手段から出力された認識結果出力時間を検出する手段と、該認識結果出力時間と該評価区間とを比較し、該少なくとも１つの音声のうち、該認識結果出力時間が該評価区間内に収まっている音声を前記操作者によって発声された前記音声と判断する手段とを備えていてもよい。
【０００９】
本発明の他のゲーム装置は、操作者の口唇の動きを光学的に入力し、該入力された口唇の動きを電気信号に変換し、該電気信号を出力する画像入力手段と、該電気信号に基づいて該口唇の動きを求め、該求められた口唇の動きに対応する言葉を認識し、認識結果を出力する口唇認識手段と、該認識結果に基づいた制御信号に応じて対象物を制御する制御手段とを備えており、そのことにより上記目的を達成する。
【００１０】
前記口唇認識手段は、所定数の言葉を記憶している記憶手段と、前記求められた口唇の動きに応じて該所定数の言葉から１つを選択し、該選択された言葉を該口唇の動きに対応する該言葉であると判断するマッチング手段とを備えていてもよい。
【００１１】
前記記憶手段は、前記所定数の言葉に対応する口唇の動きを標準パターンとして記憶しており、前記マッチング手段は、該標準パターンの全てについて、前記求められた口唇の動きとの距離を算出し、該標準パターンのうちの該距離が最も小さい１つに対応する言葉を選択してもよい。
【００１２】
前記ゲーム装置は、音声を入力し、該音声を他の電気信号に変換し、該他の電気信号を出力する音声入力手段と、該音声入力手段から出力された該他の電気信号に基づいて該音声を認識する音声認識手段と、該音声認識手段による認識結果と、前記口唇認識手段による前記認識結果との両方に基づいて、前記制御手段に与えられるべき前記制御信号を出力する統合判断手段とをさらに備えていてもよい。
【００１３】
前記ゲーム装置は、前記音声認識手段による前記認識結果に対して、音声認識信頼度を求める手段と、前記口唇認識手段による前記認識結果に対して、口唇認識信頼度を求める手段とを有しており、前記統合判断手段は、該音声認識信頼度および該口唇認識信頼度に基づいて、該音声認識手段による該認識結果および該口唇認識手段の該認識結果のうちの一方を選択し、それを前記制御信号として出力してもよい。
【００１４】
前記画像入力手段は、光を出射する発光手段と、前記操作者の前記口唇によって反射された該光を受け取り、該受け取った光を前記第２の電気信号に変換する受光手段とを有していてもよい。
【００１５】
前記画像入力手段は、光を出射する発光手段と、前記操作者の前記口唇によって反射された該光を受け取り、該受け取った光を前記電気信号に変換する受光手段とを有していてもよい。
【００１６】
前記画像入力手段は、光を出射する発光手段と、前記操作者の前記口唇によって反射された該光を受け取り、該受け取った光を前記電気信号に変換する受光手段とを有していてもよい。
【００１７】
前記光は、前記口唇に側方から照射されてもよい。
【００１８】
前記光は、前記口唇に正面から照射されてもよい。
【００１９】
前記音声入力手段は、少なくとも１つのマイクロフォンを有していてもよい。
前記音声入力手段は少なくとも１つのマイクロフォンを有しており、該少なくとも１つのマイクロフォン、および前記画像入力手段の前記発光手段および前記受光手段は、１つの台上に設けられていてもよい。
【００２０】
本発明の入力装置は、ヘッドフォン状のヘッドセットと、一端が該ヘッドセットに接合されている支柱と、該支柱の他端に接合されている台であって、その上に、操作者の口唇に照射される光を発生する少なくとも１つの発光素子と、該口唇によって反射された該光を受け取る少なくとも１つの受光素子とが設けられている台とを備えており、そのことにより上記目的を達成する。
【００２１】
前記台上には、音声を入力する音声入力手段が設けられていてもよい。
【００２２】
本発明の音声選択装置は、複数のテーブルを格納する第１の記憶手段であって、該複数のテーブルのそれぞれは、１つの入力に対して出力されうる複数の言葉を含んでいる第１の記憶手段と、該複数のテーブルのうちの１つを格納する第２の記憶手段と、外部からの入力に応じて、該第２の記憶手段に格納されている該１つのテーブルに含まれている該複数の言葉から１つの言葉を選択し、該選択された１つの言葉を音声として出力する選択手段と、該第２の記憶手段に格納されている該１つのテーブルを、該第１の記憶手段に格納されている該複数のテーブルのうちから該選択された１つの言葉に応じて決定される他のテーブルに更新する遷移手段とを備えており、そのことにより上記目的を達成する。
【００２３】
前記音声選択装置は、乱数を発生する手段をさらに備えており、前記選択手段は該乱数を用いて前記複数の言葉から前記１つの言葉を選択してもよい。
【００２４】
本発明の他の音声選択装置は、テーブルを格納する記憶手段であって、該テーブルは、１つの入力に応じて出力されうる複数の言葉を含んでいる記憶手段と、外部からの入力を受け取り、該記憶手段に格納されている該テーブルに含まれている該複数の言葉から乱数を用いて１つの言葉を選択し、それを音声として出力する選択手段と、該乱数を発生する手段とを備えており、そのことにより上記目的を達成する。
【００２５】
本発明の音声反応装置は、上述した音声選択装置と、音声を入力し、該音声を認識し、認識結果を該音声選択装置に与える音声認識手段とを備えており、そのことにより上記目的を達成する。
【００２６】
本発明の他のゲーム装置は、上述した音声反応装置を備えており、そのことにより上記目的を達成する。
【００２７】
本発明の他のゲーム装置は、上述した音声反応装置を複数個備えており、それにより該音声反応装置がお互いに対話し、そのことにより上記目的を達成する。
本発明の他のゲーム装置は、入力した音声を電気信号に変換する複数の音声入力部であって、該複数の音声入力部はそれぞれ異なる方向に対応している音声入力部と、該電気信号のエネルギーを該複数の音声入力部のそれぞれについて求め、該複数の音声入力部のうちの該エネルギーが最大である１つを決定し、該決定された１つの音声入力部に対応する方向を該音声が発生された方向であると判定する方向検出手段とを備えており、そのことにより上記目的を達成する。
【００２８】
前記ゲーム装置は、対象物を動作させる動作手段と、前記判定された方向に該対象物の動作する方向を変更するように該動作手段を制御する制御手段とをさらに備えていてもよい。
【００２９】
前記ゲーム装置は、対象物の動作の現在の方向を計測する計測手段、および前記判定された方向を入力し、該現在の方向および該判定された方向に基づいて目的方向を求め、該目的方向を格納する手段とを有している方向選択手段と、該対象物を動作させる動作手段とをさらに備えており、該方向選択手段は、該目的方向と該現在の方向の差を用いて、該対象物の動作の該現在の方向と該目的方向とが実質的に一致するように該動作手段を制御してもよい。
【００３０】
本発明の他のゲーム装置は、音声により相対的な方向を入力する入力手段と、対象物の現在の方向を計測する計測手段と、該現在の方向および該入力された相対的な方向に基づいて目的方向を求め、該目的方向を格納する手段とを有する方向選択手段を備えたゲーム装置であって、該方向選択手段によって、該目的方向と該現在の方向の差を用いて、該対象物の該現在の方向と該目的方向とが実質的に一致するように該対象物を制御し、そのことにより上記目的を達成する。
【００３１】
前記入力手段は、前記音声が入力される入力部と、該入力された音声に基づいて前記相対的な方向を認識する認識部とを有していてもよい。
【００３２】
本発明の他のゲーム装置は、音声により絶対的な方向を入力する入力手段と、該絶対的な方向に基づいて目的方向を決定し、該目的方向を格納する手段と、対象物の現在の方向を計測する計測手段とを有する方向選択手段を備えたゲーム装置であって、該方向選択手段によって、該目的方向と該現在の方向の差を用いて、該対象物の該現在の方向と該目的方向とが実質的に一致するように該対象物を制御し、そのことにより上記目的を達成する。
【００３３】
前記入力手段は、前記音声が入力される入力部と、該入力された音声に基づいて前記絶対的な方向を認識する認識部とを有していてもよい。
【００３４】
本発明の音声認識装置は、音声に対応する電気信号を受け取り、該電気信号から、該音声の入力が終了した時間である音声終了点を検出する第１の検出手段と、該電気信号に基づいて、該音声が入力された区間のうちの該音声が発声された区間である発声区間を決定する第２の検出手段と、該電気信号の該発声区間の部分に基づいて、特徴量ベクトルを作成する特徴量抽出手段と、予め作成された複数の候補音声の特徴量ベクトルを記憶する記憶手段と、該特徴量抽出手段からの該特徴量ベクトルを、該記憶手段に記憶されている該複数の候補音声の該特徴量ベクトルのそれぞれと比較することにより、該入力された音声を認識する手段とを備えており、そのことにより上記目的を達成する。
【００３５】
前記第１の検出手段は、前記電気信号を、それぞれが所定の長さを有する複数のフレームに分割する手段と、該複数のフレームのそれぞれに対して該電気信号のエネルギーを求める算出手段と、該エネルギーの分散に基づいて前記音声終了点を決定する決定手段とを備えていてもよい。
【００３６】
前記決定手段は、予め定められている閾値と前記エネルギーの前記分散とを比較することにより前記音声終了点を決定し、該音声終了点は、該エネルギーの該分散が該閾値とよりも大きい値から小さい値に変化するときに該分散が該閾値と一致する時間であってもよい。
【００３７】
前記決定手段は、前記複数のフレームの前記エネルギーのうちの所定数のフレームのエネルギーに対する分散を用いてもよい。
【００３８】
前記第２の検出手段は、前記電気信号の前記エネルギーを平滑化する手段と、該電気信号の該エネルギーを平滑化しないままフレーム毎に順次格納する第１の循環式記憶手段と、該平滑化されたエネルギーをフレーム毎に順次格納する第２の循環式記憶手段と、前記音声終了点が検出されたときに該第１の循環式記憶手段に格納されている該平滑化されていないエネルギーおよび該第２の循環式記憶手段に格納されている平滑化されたエネルギーの両方を用いて、発声区間検出用閾値を算出する閾値算出手段と、該平滑化されていないエネルギーを該発声区間検出用閾値と比較することにより、前記発声区間を決定する発声区間決定手段とを有していてもよい。
【００３９】
前記閾値算出手段は、前記音声終了点が検出された時点で前記第１の循環式記憶手段に格納されている前記平滑化されていないエネルギーの最大値と、該音声終了点が検出されていない時点で前記第２の循環式記憶手段に格納されている前記平滑化エネルギーの最小値とを用いて、前記発声区間検出用閾値を算出してもよい。
【００４０】
前記特徴量検出手段は、前記電気信号の前記発声区間の部分から、該電気信号のフレーム毎のゼロ交差数と、該電気信号を微分して得られる信号のフレーム毎のゼロ交差数と、該電気信号の前記エネルギーとを算出し、これらを前記特徴量ベクトルの要素としてもよい。
【００４１】
本発明の他の音声反応装置は、少なくとも１つの上述した音声認識装置と、該少なくとも１つの音声認識装置の認識結果に基づいて対象物を制御する少なくとも１つの制御手段とを備えており、そのことにより上記目的を達成する。
【００４２】
前記音声反応装置は、前記少なくとも１つの音声認識装置に接続されており、該少なくとも１つの音声認識装置による前記認識結果を送信する送信手段と、前記少なくとも１つの制御装置に接続されており、該送信された認識結果を受け取り、該少なくとも１つの制御装置に与える受信手段とをさらに備えており、該少なくとも１つの制御装置および該受信手段は前記対象物に取り付けられており、それにより該対象物を遠隔より操作することを可能としてもよい。
【００４３】
以下、作用について説明する。
本発明のゲーム装置では、音声認識手段は入力された音声を認識し、発声区間検出装置は話者（操作者）の口唇の動きから話者が発声している区間である発声区間を検出する。この音声認識結果、および発声区間の検出結果に基づいて、統合判断部が話者が音声により入力したコマンドを認識し、そのコマンドに応じて制御部が対象物を制御する。これにより、人間の音声によりゲームを操作することが可能であり、話者以外の者の音声を誤認識したことに起因する誤操作を防ぐことができる。また、本発明の他のゲーム装置では、操作者の口唇の動きから直にコマンドを認識するので、人間の音声により、騒音下、あるいは音声を発しにくい状況でもゲームを操作することが可能となる。また、このゲーム装置は、発生に障害のある者の利用も可能とする。本発明のさらに他のゲーム装置では、音声認識手段による認識結果と口唇の動きに基づく認識結果との両方から統合判断部がより確からしい認識結果を判定する。このため、上述した利点に加えて、音声によるゲーム操作の信頼性をより高くすることができるという利点も得られる
。
【００４４】
本発明の入力装置は、軽いヘッドセットに支柱を取り付け、支柱に取り付けた台に安価な発光素子（例えば、ＬＥＤ等）と安価が受光素子（フォトダイオード等）を取り付けているために、非常に軽く、しかも安価に入力装置を提供することができる。さらに、ヘッドセットを伸縮可能にしておけば、その入力装置の操作者ごとにヘッドセットの長さを調節して、発光素子および受光素子と操作者の口唇付近との位置関係を調節することができる。
【００４５】
本発明の音声選択装置では、外部から１つの入力があると、第２の記憶手段に格納されているテーブルに含まれている言葉のうちの１つが選択され、音声として出力される。そして、第２の記憶手段に格納されているテーブルは、第１の記憶手段に格納されている複数のテーブルのうちからこの出力に応じて選ばれるテーブルに変更される。次に外部から入力があると、上述した動作が繰り返される。このようにして、本発明の音声選択装置は、１つの入力に１つの言葉を返すという１回の動作だけではなく、次々と与えられる入力に応じて言葉を返していくということができる。この音声選択装置を音声認識装置と組み合わせれば、入力された音声からそれに対応する言葉を認識し、その認識結果に応じて、ランダムに選ばれた言葉を音声として出力する音声反応装置を構成することができる。ゲーム装置にこの音声反応装置を少なくとも１個設ければ、音声反応装置に操作者と対話を行わせることができるし、また複数個設けると、装置同士で対話を行うゲーム装置を構成することもできる。また１つの入力に対して出力されるべき言葉を乱数を用いて選択することにより、同一の入力に対して常に同じ言葉を出力するというのではなく、変化のある出力を行うことができる。
【００４６】
本発明の他のゲーム装置では、それぞれが異なる方向に対応している複数の音声入力部を用いて音声が入力された方向を検出する。そして、検出された方向に対象物の移動の向きあるいは対象物自体の向きを変更する。このようにして、音声により対象物を動作させることができる。また本発明の他のゲーム装置では、音声によって入力された方向と現在の対象物の移動方向あるいは向きとの差を方位計で検出しながら、対象物の移動方向あるいは向きを変更する。
【００４７】
本発明の音声認識装置は、入力された音声に対応する電気信号から音声の入力が終了した点を検出する。続いて、このようにして求められる音声が入力されている区間分の電気信号から、さらに音声が発声されている区間を抽出する。この音声が発声されている区間分の電気信号から、実際に候補音声の特徴量ベクトルと比較される特徴量ベクトルを作成するので、本発明の音声認識装置は簡単な構成で精度よく音声を認識することができる。また、音声が発声されている区間の抽出に用いられる閾値は、上記電気信号のエネルギーおよびこのエネルギーを平滑化したものとに基づいて算出される。これにより、音声が発声されている区間を良好に検出することができる。さらに、この音声認識装置を、対象物の動作を制御する手段と組み合わせて得られる音声反応装置では、入力された音声に対応する動作を対象物に行わせることができる。
【００４８】
【発明の実施の形態】
（第１の実施例）
以下、図面を参照しながら本発明のゲーム装置の第１の実施例を説明する。本実施例は、飛行船の動きに応じた音声コマンドで飛行船を操作するゲーム装置である。音声コマンドは、「前」・「後ろ」・「右」・「左」・「上」・「下」の６個のコマンドを含んでいる。
【００４９】
本実施例では、話者（ゲーム装置の操作者）の音声信号とともに話者の口唇の動きを表す信号を入力し、これらの信号に基づいて話者が発声しているか否かを判定する処理を行っている。これにより、周囲の騒音、特に他者が話した声による誤動作を防止することが可能となる。
【００５０】
図１に、本実施例のゲーム装置の構成を簡単に示す。本実施例のゲーム装置は、入力された音声を処理するための音声入力部１および音声認識部２、口唇の動きを入力し、口唇の動きを示す信号を処理するための画像入力部３および発声区間検出部４を備えている。音声認識部２および発声区間検出部４は、ともに統合判断部５に接続されており、ここで入力された音声および口唇の動きの両方に基づき、話者が発声したコマンドが何であるかが判断される。統合判断部５の判断結果は制御部６に入力され、これに基づいて制御部６は飛行船７を制御する。
【００５１】
まず、話者が発声したコマンドを含む音声が音声入力部１に入力される。音声の入力は、例えば、通常のマイクロフォン等を利用することができる。音声入力部１は入力された音声を電気信号に変換し、これを音声信号１１として音声認識部２に出力する。音声認識部２は音声信号１１を解析し、その結果を音声認識結果１２として出力する。音声信号１１の解析は、例えばＤＰマッチング等の従来から知られている手法により行うことができる。
【００５２】
以上の入力音声の処理と平行して、口唇の動きを表す電気信号の処理が行われる。話者がコマンドを発声すると、そのときの口唇の動きが画像入力部３に入力される。図２に画像入力部３の構成例を示す。本実施例の画像入力部３は、ＬＥＤ２１から発した光を話者の口唇部分に照射し、口唇部分に反射された光をフォトダイオード２２によって検出する。これにより、口唇の動きに応じた電気信号１３を出力する。話者の口唇に動きがある場合、電気信号１３のレベルは、話者の口唇付近の陰影の変化に応じて変化する。なお、話者の口唇には、ＬＥＤ２１からの光を正面から照射してもよいし、側面から照射してもよい。
【００５３】
画像入力部３からの電気信号１３は発声区間検出部４に入力される。図３に、本実施例の発声区間検出部４の構成を示す。発声区間検出部４は、微分回路３１と区間検出部３２とを有している。微分回路３１は、入力された電気信号１３の変化度合いを示す微分信号３３を出力する。微分信号３３の波形の一例を図５に示す。図５は、ＬＥＤ２１からの光を話者の口唇に側面から照射した状態で話者がコマンド「前」および「後ろ」を発声したときに得られた微分信号３３を示している。図５から分かるように、話者が発声している場合には、微分信号３３の振幅が大きくなる。また、話者の口唇に側面からＬＥＤ光を当てているため、コマンド「後ろ」の「う」を発した時に唇が尖る動きが波形に反映されているのがわかる。なお、ＬＥＤ２１からの光を話者の口唇に正面からあてる場合には、光が話者の顔のみに当たるので、電気信号１３および微分信号３３は背景の動きに起因するノイズの影響を受けないという利点がある。
【００５４】
区間検出部３２は、この微分信号３３を受け取り、微分信号３３の振幅の大きさを判定し、話者の発声区間を検出する。具体的な発声区間の検出法を図６を参照しながら説明する。
【００５５】
区間検出部３２は、微分信号３３のレベルが所定の振幅閾値５１を超えると、その微分信号３３は話者がコマンドを発声したことによって生じたものであると判断し、微分信号３３のレベルが振幅閾値５１を超えている区間を発声区間とする。図６に示す例では、区間１および区間２が発声区間である。続いて、隣接する発声区間のインターバルを所定の時間閾値５２と比較する。この時間閾値５２は、複数の発声区間が同一の発声に対応するものか否か、つまり複数の発声区間が連続するものか否かを判断するために用いられる値である。発声区間のインターバルが時間閾値５２以内であれば、そのインターバルを挟んだ２つの発声区間は連続した発声区間であると判断される。このようにして判定された連続した発声区間を表す信号１４が発声区間検出部４から出力される。なお、振幅閾値５１および時間閾値５２は、いずれも、予め適当な値に設定され得る。
【００５６】
以上述べたようにして、発声区間検出部４は、微分信号３３を用いて口唇の動きの激しさと持続時間を検出することにより、話者がコマンドを発声した区間を求める。
【００５７】
次に、統合判断部５の動作について説明する。統合判断部５は、図４に示すように、音声認識時間判定部４１、出力判定部４２および出力ゲート４３を有している。音声認識時間判定部４１は音声認識結果１２を受け取り、認識された音声が音声入力部１に入力された時間を出力判定部４２に伝える。出力判定部４２には、音声認識時間判定部４１からの出力の他に、発声区間検出部４からの発声区間検出信号１４が入力される。ここで、図７を参照しながら出力判定部４２の動作を説明する。
【００５８】
出力判定部４２は、まず、受け取った発声区間検出信号１４に基づいて、発声区間の前後に評価用の時間閾値７１を足すことにより評価用発声区間７２を作成する。次に、音声認識結果１２が音声認識部２から出力された時間が、上記評価用発声区間７２に収まっているか否かを判定する。収まっている場合には、音声入力部１に入力され、音声認識部２によって認識された音声は、話者によって発声されたものであると判断される。判断の結果は信号１５として制御部６に出力される。
【００５９】
なお、評価用発声区間７２を作成するための時間閾値７１は、音声認識部２が行う認識処理に要する時間を考慮して設定される。これは、認識された音声が話者の発声によるものかどうかを判断する材料の１つとして、音声認識結果１２が出力された時間を用いているためである。
【００６０】
このようにして、音声によって入力されたコマンドに対応する信号１５が得られると、制御部６は、入力されたコマンドに応じたラジオコントロール信号を出力することにより飛行船７を制御する。
【００６１】
以上のように第１の実施例では、話者がコマンドを発声したときの口唇の動きから話者が発声している発声区間を検出し、これに基づいて、認識された音声が話者のものか否かを判断する。このため、話者以外の発声による誤認識、およびその結果生じる対象物の誤動作を防止することができる。
【００６２】
従って、音声による操作という人間にとって自然な操作によるゲーム装置を実現することが可能となる。また、本実施例では、話者の口唇の動きを、ＬＥＤとフォトダイオードとの組み合わせといった簡易な構成・方法によって検出している。このため、話者の口唇の画像をビデオカメラ等を用いて取り入れていた従来の装置と比較して、非常に安価に実現することができる。もちろん、フォトダイオードの代わりにフォトトランジスタを用いても構わない。
【００６３】
なお、図２、図３の回路構成は一例を示したもので、この構成のみに限定されるものではない。また、計算機のソフトウェアを利用して実現することも可能である。
【００６４】
（第２の実施例）
本発明の第２の実施例のゲーム装置では、コマンドを音声により入力するのではなく、口唇の動きのみで入力し、入力されたコマンドに応じて飛行船を制御する。これにより、騒音下での利用、また例えば真夜中等の音声を発声できない状況における利用、あるいは発声に障害がある者の利用を可能にする。
【００６５】
図８は、本実施例のゲーム装置の構成を簡単に示す図である。本実施例のゲーム装置は、上記実施例１と同様に、画像入力部３、制御部６、飛行船７を備えており、さらに、口唇の動きから話者（操作者）の言葉を認識する口唇認識部８１を備えている。
【００６６】
口唇認識部８１の構成例を図９に示す。本実施例では、口唇認識部８１は、微分回路３１、差分計算部９１、データベース９２およびパターンマッチング部９３から構成される。微分回路３１は、上記第１の実施例のゲーム装置の発声区間検出部４において用いられたものと同じである。差分計算部９１は、微分回路３１からの微分信号３３を所定の時間幅でサンプリングし、サンプリングデータ間の差分を計算する。差分計算の結果は、差分計算部９１からデータベース９２およびパターンマッチング部９３の両方に送られる。データベース９２には、認識に用いられる標準パターンの差分計算結果が保持されている。パターンマッチング部９３は、保持されている標準パターンの差分結果と、認識対象となっている入力パターンの差分計算結果との距離の差を求め、この差に基づいて口唇の動きとして入力された言葉を認識する。もちろん、差が小さいほど認識結果の信頼性は高い。
【００６７】
以下、本実施例のゲーム装置の動作を詳細に説明する。本実施例では、口唇認識部８１は、上述したように標準パターンと入力パターンとの比較により入力された言葉の認識を行うために、認識動作を行うよりも前に標準パターンを予め口唇認識部８１に登録しておく必要がある。
【００６８】
（登録動作）
まず、画像入力部３が、話者の口唇部分によって反射されたＬＥＤ反射光を受け、口唇の動きに応じた電気信号１３を口唇認識部８１に出力する。電気信号１３は口唇認識部８１の微分回路３１に入力される。微分回路３１は、電気信号１３の変化の度合いを示す微分信号３３を差分計算部９１に伝える。ここまでは、第１の実施例と同様である。
【００６９】
差分計算部９１の動作を図１０を参照しながら説明する。まず、微分信号３３を時間幅（Δｔ）でサンプリングし、得られたサンプリングデータにおいて隣り合うサンプリングデータ間の差を計算する。計算されたサンプリングデータ間の差、すなわち一連の差分データはデータベース９２に出力される。データベース９２はこの差分データ列を保持する。以上の動作を、認識されるべき言葉（カテゴリー）の数だけ繰り返し、全てのカテゴリーに対して差分データ列を格納する。格納された差分データ列は、認識に用いられる標準パターンとして保持されることになる。本実施例では、対象物の制御に用いられるコマンドは、「前」・「後ろ」・「右」・「左」・「上」・「下」の６つである。従って、上述した差分データ列の格納は６回繰り返され、最終的には６つの標準パターンがデータベース９２に保持されることになる。
【００７０】
このようにして全ての標準パターンをデータベース９２に登録し終えると、データベース９２は各差分データ列を調べ、口唇が動いている部分に相当するデータが続いている区間の長さを各差分データ列に対して抽出する。具体的には、例えば、差分データ列内でゼロに近い値が所定の時間よりも長く続いていれば、その区間は口唇が動いていないときに相当すると判断する。そして、全ての標準パターンについて口唇が動いている部分に対応する区間の長さを抽出し終わると、最も長い長さを有する標準パターンを選び出し、その長さを標準パターンの差分データ列長（Ｎ）と定める。以上で登録動作が終了し、標準パターンの差分データ列がデータベース９２に保持された状態となる。
【００７１】
（認識動作時）
口唇部分の動きを入力してから微分信号３３を得るまでの動作は、登録動作時と全く同様である。ここでは、微分信号３３が差分計算部９１に入力されてから後の動作を図１１を参照しながら説明する。
【００７２】
差分計算部９１に入力された微分信号３３は、登録動作時と同じように時間幅（Δｔ）でサンプリングされる。続いて、標準パターンの差分データ列長（Ｎ）の長さ分の区間内のサンプリングデータについて、隣接するサンプリングデータ間の差分を計算し、得られた一連の差分データをその区間の差分データ列とする。差分が計算される区間は順次Δｔずつ時間的に後方にずらしていく。図１１では、一番目のサンプリングデータを区間の始まりとし、区間の長さがＮであるような区間１１１についての差分データ列、および区間１１１からＮ／２だけ時間的に後方にずれた区間１１２について差分データ列のみを図示している。
【００７３】
区間の長さがＮである複数の区間の差分データ列（以下、これらを認識差分データ列とする）が求められると、これらの認識差分データ列は、パターンマッチング部９３に送られる。パターンマッチング部９３は、データベース９２から標準パターンを読み出してきて、複数の認識差分データ列のそれぞれについて、標準パターンのそれぞれとの距離を求める。本実施例では、上述したように６個の標準パターンがデータベース９２に登録されているので、パターンマッチング部９３は認識差分データ列のそれぞれについて、各標準パターンとの距離を１つずつ計算することになる。
【００７４】
認識差分データ列と標準パターンとの距離は、以下の式を用いて計算される。
Ｎ
ｄ^ｊ＝Σ　（ｒ^ｉ−ｐ^ｉｊ）^２
ｉ＝１
ここで、ｒ^ｉはｉ番目の認識差分データ列、ｐ^ｉｊはｊ番目の標準パターン（ｊ番目のカテゴリーに対応）、ｄ^ｊは認識差分データ列とｊ番目の標準パターンとの距離である。パターンマッチング部９３は、この距離ｄ^ｊ　がある一定値以下となると、認識差分データ列がｊ番目の標準パターンと一致したと判断し、そのｊ番目のカテゴリー（言葉）に対応する信号８２を判断結果として出力する。
【００７５】
この判断結果は制御部６に入力され、制御部６はｊ番目のカテゴリーに対応したラジオコントロール信号を出力して、飛行船７を制御する。
【００７６】
以上述べたように、本実施例では、口唇の動きのみを基に入力された言葉（コマンド）を認識し、認識された言葉に応じて飛行船を制御する。このため、騒音下での利用や、声が出しにくい状況での利用、また発声に障害がある者の利用が可能になる。
【００７７】
また、口唇の動きを入力する画像入力部３は、上記実施例１と同様に、ＬＥＤ２１とフォトダイオード２２の組み合わせによって実現され得るため、ビデオカメラ等を用いて口唇の画像自体を取り込む従来の方法と比較して、非常に安価なゲーム装置を提供することができる。
【００７８】
なお、本実施例ではゲームの利用者が、コマンドの入力に先立って、コマンドの認識に用いられる標準パターンの登録を行っている。しかし、例えばゲーム装置製造時あるいは出荷時等にあらかじめ不特定の利用者の口唇の動きに対応できるような標準パターンをデータベース９２に登録しておき、利用者による登録を省略するようにしてもよい。
【００７９】
（第３の実施例）
続いて、本発明の第３の実施例のゲーム装置を説明する。本実施例では、コマンドを音声および話者（操作者）の口唇の動きの両方により入力し、両方の認識結果を統合して判断することにより、飛行船を操作する。このため、騒音下においても話者が発声したコマンドを確実に認識することが可能である。
【００８０】
図１２に本実施例のゲーム装置の構成を簡単に示す。本実施例のゲーム装置は、実施例１のゲーム装置と同様の構成を有する音声入力部１、画像入力部３、制御部６および飛行船７を備えている。また、さらに音声処理部１２１および口唇処理部１２２を備えている。音声処理部１２１は、上記実施例１の音声認識部２と同様にして入力された音声を認識し、続いて認識結果の信頼度を算出する。また、口唇処理部１２２は、実施例２の口唇認識部８１と同様にして口唇の動きとして入力された言葉（コマンド）を認識し、それとあわせて認識結果の信頼度を算出する。音声処理部１２１および口唇処理部１２２からの出力はともに統合判断部１２３に入力される。統合判断部１２３は、各処理部１２１および１２２からの認識結果、および信頼度から統合的に話者の入力したコマンドを判断し、判断結果を出力する。
【００８１】
以下、本実施例のゲーム装置の動作を詳細に説明する。
【００８２】
話者（ゲーム装置の操作者）が発声した音声を音声入力部１が入力し、入力された音声に対応する電気信号１１を音声処理部１２１に伝えるのは、実施例１と同様である。音声処理部１２１は、電気信号１１を受け取り、これに基づいて入力された音声を認識する。音声認識の手法としては、従来から知られているどの方法を用いてもよい。ここでは、例えば上記実施例の口唇認識部の説明において述べた方法と同様に、入力される可能性のある全てのコマンドについてそれを発声したときに得られる電気信号１１を処理して得られるデータ列を標準パターンとして予め登録しておき、実際にゲーム装置の操作者がコマンドを発声したときに得られた電気信号１１を処理して得られた認識対象データ列と、予め登録された全ての標準パターンとの距離を算出することにより、音声入力部から入力されたコマンド（音声）が何であるかを認識する。このようにして音声が認識されると、続いて音声処理部１２１は、認識結果はどの程度信頼がおけるものかを示す信頼度を求め、音声認識結果と信頼度との両方を出力１２４として統合判断部１２３に与える。信頼度の求め方は後で述べる。
【００８３】
また入力された音声の処理と平行して、口唇の動きを表す信号の処理が行われる。まず、画像入力部３は、話者の口唇の動きを実施例１と同様にして入力し、口唇の動きに応じてレベルが変化する電気信号１３を出力する。口唇処理部１２２は電気信号１３を受け取り、実施例２と同様の処理を行う。ただし、本実施例の口唇処理部１２２は、認識差分データ列と標準パターンとのパターンマッチングの結果、認識差分データ列がｊ番目の標準パターンと一致するものと判断されると、その認識差分データ列とｊ番目の標準パターンとの距離ｄ^ｊに基づいて、認識結果の信頼度を算出する。このようにして得られた認識結果と信頼度はともに統合判断部１２３に出力される。
【００８４】
次に、簡単に信頼度の算出方法を簡単に説明する。本実施例では、音声認識結果の信頼度も口唇の動きに基づく認識結果の信頼度も同じ処理により求められる。以下、音声認識結果の信頼度の算出を説明する。音声認識結果の信頼度を「大」、「中」、「小」の３段階で評価する場合を考える。なお、信頼度「小」のときが最も認識結果の信頼性が高く、信頼度「大」のときに認識結果の信頼性は最も低いものとする。この場合、信頼度「小」と「中」とを分ける閾値α^Ｌ、および信頼度「中」と「大」とを区切る閾値α^Ｈ（ただしα^Ｌ＜α^Ｈ）を用い、認識対象と一致すると判断された標準パターンと認識対象との距離ｄを上記閾値と比較する。比較した結果ｄ＜α^Ｌならば信頼度は「小」と判定される。同様に、α^Ｌ≦ｄ＜α^Ｈ、ｄ≧α^Ｈのときには、それぞれ信頼度は「中」、「大」と判定される。口唇の動きに基づく認識結果についても同様に、閾値との比較により信頼度がどの段階であるかが判定される。なお、ここで用いられる閾値は、適当な値に設定することができる。また、信頼度の算出方法は、ここで説明した方法に限られず、公知のどの方法を用いてもよい。
【００８５】
続いて、統合判断部１２３の動作を、図１３を参照しながら説明する。
【００８６】
図１３は、統合判断を行う方法の概念を示す図である。まず、統合判断部１２３は、音声認識結果が音声処理部１２１から出力された時間（すなわち出力１２４が発生された時間）および口唇の動きに基づく認識結果が口唇処理部１２２から出力された時間（すなわち出力１２５が発生された時間）を検出し、検出された各出力時間の前後に所定の閾値１３１に相当する区間を足すことにより、評価用区間１３２ａおよび１３２ｂを作成する。続いて、口唇認識結果についての評価用区間１３２ａと音声認識結果について作成された評価用認識区間１３２ｂとが重なっているか否かを判定する。重なっている場合には、統合判断部１２３は、口唇の動きを入力した操作者が発声した音声が入力され、認識されたと判断する。重なっていない場合には、認識された音声は、周囲の騒音や操作者以外のものの発声によると判断される。これにより、操作者以外の音声の誤認識を防ぐことができる。
【００８７】
次に、統合判断部１２３は、口唇の動きに基づく認識結果と音声に基づく認識結果とが一致しているかどうかを判定し、一致した場合にはそれらの認識結果を統合判断結果とする（図１３の統合判断結果「前」）。一致しなかった場合、各認識結果に対して求められた信頼度に応じて統合判断結果を決定する。認識結果に対する信頼度の組み合わせと、その組み合わせに応じて決定される統合判断結果との対応関係の例を図１４に示す。この例では、上述したように、各認識結果に対する信頼度を、最も信頼性の低い「大」、最も信頼性の高い「小」、およびこれらの間の「中」との３段階で評価している。図１４の（ａ）は、信頼度が同等であるときに音声認識結果を優先する場合の対応関係であり、（ｂ）は口唇認識結果を優先する場合の対応関係である。どちらの認識結果を採用するかは、このゲーム装置が操作される周囲の環境等の要因に応じて決定されるものであり、これを予めゲーム装置に登録しておくことも可能であるし、あるいは操作者が自分で入力するようにゲーム装置を構成してもよい。例えば、（ａ）のように音声認識結果が優先されるのは、発声に支障がない健常者でかつ周囲の騒音が比較的小さい場合であり、発声に障害を持つ話者の場合や周囲の騒音が非常に大きい場合には（ｂ）を採用する。
【００８８】
統合判断部１２３は、以上述べたように決定された統合判断結果を信号１５として出力する。最後に、制御部６が判断結果に応じたラジオコントロール信号を出力して、飛行船７を制御する。
【００８９】
以上のように本実施例によれば、音声信号とともに口唇の動きも認識し、両者の結果を統合的に使って認識するため、騒音下においても確実に話者が発声した言葉（コマンド）を認識することができる。同時に、発声に障害を持つ者が音声操作によるゲームを利用することを可能にするという効果もある。また、上述した実施例１および２と同様に、ＬＥＤ２１とフォトダイオード２２の組み合わせで口唇の動きを検出しているため、ビデオカメラ等を用いて口唇の画像を取り込む方法と比較して非常に安価に実現できる、という効果もある。
【００９０】
なお、詳細な説明は省略したが、本実施例でも第２の実施例と同様に、ゲームの利用者が口唇認識時の標準パターンの登録を行うが、あらかじめ不特定話者に対応できる形の標準パターンを準備しておき、利用者による登録を省略するようにしてもよい。
【００９１】
また、上記実施例１〜３では、飛行船７をラジオコントロール信号によって制御するゲーム装置を例として説明しているが、本発明が適用されうるゲーム装置はこれに限られないのはもちろんである。例えば、上記実施例のいずれかで述べたような構成を操作者の数だけ設ければ、複数の操作者が同時にプレイすることが可能なゲーム装置を実現することができる。
【００９２】
以下、本発明の入力装置を説明する。図１５は、本発明の入力装置の構成を簡単に示す図である。本発明の入力装置は、ヘッドセット１５４と、それに取り付けられた支柱１５５と、フォトダイオード１５１およびＬＥＤ１５２が設けられた台１５３とを有しており、台１５３は所定の角度で支柱１５５に接合されている（図１５の（ａ）参照）。台１５３と支柱１５５との角度を調整すれば、ＬＥＤ１５２が発した光が操作者の口唇部分に照射される方向を変更することができる。この入力装置は、ＬＥＤ１５２が発した光を操作者の口唇部分に照射し、反射された光をフォトダイオード１５１で検出することにより、口唇の動きを入力する装置である。このような入力装置は、例えば、上記実施例１〜３における画像入力部として用いることができる。また、台１５３にマイク１５６を付加すれば（図１５の（ｂ）参照）、この入力装置を音声入力装置としても用いることができる。
【００９３】
図１５の（ａ）に示すようにマイクを設けていない入力装置は、上記実施例２の画像入力部として用いることができる。また、図１５の（ｂ）に示すようにマイクを有する入力装置は、上記実施例１および３の音声入力部と画像入力部とを兼ねた装置として用いることができる。
【００９４】
このように、本発明の入力装置は、非常にサイズが小さく、かつ非常に軽く実装することができるフォトダイオード１５１、ＬＥＤ１５２、およびマイク１５６を用いているので、入力装置全体のサイズおよび重量は非常に小さい。また、使用している構成要素はすべて安価であるため、低コストで実現することができる。さらに、本発明の入力装置は、ヘッドセット１５４により操作者の頭部に固定されるため、口唇とフォトダイオード１５１およびＬＥＤ１５２の位置を実質的に一定にすることができる。このため、口唇の動きを安定して入力することができる。また、本発明の入力装置は光により口唇の動きを入力し、それを電気信号に変換して出力するので、従来の入力装置、例えば口唇の動きではなく画像を入力する装置や、超音波を用いる装置といった大がかりで複雑な構成にならざるを得ない入力装置よりも簡易な構成にすることが可能である。
【００９５】
なお、ここでは、フォトダイオードとＬＥＤはそれぞれ１つずつしか実装していないが、それぞれを複数個実装することも可能である。たとえば、ＬＥＤとフォトダイオードを２組準備し、各組を十字状に配置すれば面上での動き方向が検出できるといった効果がある。
【００９６】
以上説明したように、本発明によれば、人間にとって自然な音声による操作が可能であり、かつ操作習熟を必要としないゲーム装置を得ることができる。また、音声のみから入力された言葉（コマンド）を認識するのではなく、口唇の動きを利用しているので、騒音下においても安定な操作が可能である。さらに、口唇の動きをＬＥＤとフォトダイオード（フォトトランジスタ）の組み合わせでとらえるため、ビデオカメラ、あるいは超音波等を利用する場合と比較して、低コストで実現することができる。
【００９７】
さらに、上記第１の実施例で述べたように、口唇の動きから話者の発声区間を検出し、これを音声認識結果の判断材料とするため、話者以外の発声による誤認識を防止することができる。また、上記第２および第３の実施例で述べたように、口唇の動きから入力された言葉（コマンド）を認識して飛行船の制御を行うようにすれば、騒音下においても、また声が出しにくい状況や、発声に障害を持つ者の利用も可能となる。
【００９８】
また、本発明の入力装置は、軽いヘッドセットと支柱および台に安価な発光素子（ＬＥＤ等）と安価な受光素子（フォトダイオード等）を取り付けている。このため、非常に軽く、しかも安価な入力装置を実現することができる。
【００９９】
上記実施例１〜３では、認識された音声あるいは口唇の動きに応じて、対象物の移動が制御される例を説明した。しかし、音声あるいは口唇の動きに基づいて制御される対象物の動作は移動に限らず、例えば何らかの言葉を言い返す、等の動作であってもよい。以下に説明するのは、認識された音声に応じて、対象物に何らかの動作（移動を含む）を行わせるための様々な装置である。
【０１００】
以下に、認識された音声に応じて対象物に何らかの動作を行わせるための装置を各実施例において説明する。
【０１０１】
（第４の実施例）
本実施例では、認識された音声に応じて、その音声に対して用意された出力音声の集合から１つの出力音声を選択し、それを出力する装置を説明する。
【０１０２】
図１６に本実施例の音声選択装置１００の構成を簡単に示す。音声選択装置１００は、乱数発生部１０１、選択部１０２、入出力状態メモリ１０３、状態遷移部１０４および入出力状態データベース１０５とを有している。入出力状態データベース１０５には、複数個の入出力状態テーブルが予め記憶されている。各入出力状態テーブルは、状態ｓにおける入力ｘ（ｘは負でない整数）と、入力ｘに対するｎ（ｓ）個の出力音声の集合ｓｐ（ｘ，ｉ）（０≦ｉ＜ｎ（ｓ））とを含んでいる。入出力状態テーブルの例を図１７に示す。入出力状態メモリ１０３には、最初、図１７（ａ）に示す初期状態のテーブル２０１が格納されている。乱数発生部１０１は、出力音声の集合から出力すべき１つの音声を選択するのに用いられるｉを決定する。
【０１０３】
以下、この音声選択装置１００の動作を説明する。選択部１０２に外部から入力ｘがあると、選択部１０２は、入出力状態メモリ１０３に格納されている入出力状態テーブルを参照し、入力ｘに対応する出力音声集合ｓｐ（ｘ，ｉ）を選択する。続いて、選択部１０２は、乱数発生部１０１に乱数ｒ（ｎ（ｓ））（ただし、０≦ｒ（ｎ（ｓ））＜ｎ（ｓ））によって決定させ、ｉ＝ｒ（ｎ（ｓ））として出力音声集合ｓｐ（ｘ，ｉ）の中から１つの音声を選び出す。そして、これを外部に出力する。
【０１０４】
選択部１０２からの出力は、外部だけではなく、状態遷移部１０４にも与えられる。選択部１０２からの出力を受け取ると、状態遷移部１０４は、入出力状態データベース１０５を参照しながら、入出力状態メモリ１０３の内容を、選択部１０２からの出力に対する入出力状態テーブルに書き換える。例えば、初期状態２０１において「元気？」が出力された場合、状態遷移部１０４は、入出力状態データベース１０５を参照して、出力「元気？」に対する入出力状態２０２のテーブルを取り出す。そして、取り出した状態２０２のテーブルを入出力状態メモリ１０３に格納する。
【０１０５】
このようにして本実施例の音声選択装置１００は、入力された音声に対して、乱数を用いて選ばれた音声を出力する。従って、この音声選択装置１００を用いれば簡単な対話システムを構築することが可能となる。また、図１８に示すように、状態遷移部１０４と入出力状態データベース１０５とを省略した簡単な構成の音声選択装置１００ａを用いれば、入力された音声に対して一回だけの応答をさせるようにすることもできる。
【０１０６】
上記音声選択装置１００および１００ａは、図２７に示すように音声反応装置１２０３の音声選択装置１２０２として、音声認識装置１２０１と組み合わせて用いられ得る。具体的に説明すると、まず、音声認識装置１２０１によって音声が認識されると、その認識結果は、例えばその音声に付された識別番号によって音声選択装置１２０２に入力される。音声選択装置１２０２は、入力された識別番号を入力ｘとして出力音声集合から１つの音声をランダムに選択し、それを出力する。これにより、ある音声を入力するとそれに対応した音声が出力され、しかも、同じ入力音声に対してもさまざまな応答をすることができる音声反応装置１２０３を実現することができる。例えば、音声選択装置１２０２が初期状態にあるときに音声認識装置１２０１が「おはよう」という音声を認識結果として出力すると、音声選択装置１２０２には、「おはよう」という音声に与えられた識別番号１が入力ｘとして入力される（図２（ａ）参照）。これに応じて、音声選択装置１２０２は、「おはよう」、「元気？」の２つの出力音声を含む集合ｓｐ（１，ｉ）から１つをランダムに選び、出力する。
【０１０７】
この音声反応装置１２０３では、実際の動作に先立って、音声選択装置１２０２に入力として受け入れられ得る音声を登録しておく必要がある。登録音声集合に含まれていない音声が音声選択装置１２０２に入力されたときには、例えば、「何？」という音声を音声選択装置１２０２から出力させればよい。また上記実施例３の装置を音声認識装置１２０１として用いた場合には、認識された音声の信頼性が低いときにはもう一度音声入力をしてもらうための音声を音声認識選択装置１２０２から出力させることもできる。
【０１０８】
このように本発明の音声選択装置では、入出力の状態を表すテーブルを複数個用意し、過去の入出力の履歴に応じて入出力の状態を遷移させている。従って本発明の音声選択装置を用いれば、簡単な対話を行う装置を実現することが可能となる。また、この音声選択装置では、１つの入力に対して複数の出力音声の候補を有しており、これらの出力音声候補から１つをランダムに選択して出力する。
このため、１つの入力に対して常に同じ応答をするのではなく、変化のある応答をすることができる音声反応装置が得られる。
【０１０９】
（第５の実施例）
次に、本発明の方向検出装置および方向選択装置を説明する。
【０１１０】
まず、図１９を参照しながら方向検出装置４００を説明する。方向検出装置４００は、方向検出部４０１とこれに接続された複数のマイク４０２を有しており、マイク４０２は、制御される対象物に取り付けられている。ここでは、マイクの個数が４個である場合を例として方向検出装置４００の動作を説明する。４個のマイクｍ（ｉ）（ｉ＝０，１，２，３）から音声が入力されると、方向検出部４０１は、図２０に示すように、入力された音声ｓｐ（ｍ（ｉ），ｔ）をフレームｆ（ｍ（ｉ），ｊ）５０１（０≦ｊ）に分割する。例えば１フレームの長さは１６ｍｓとされる。次に方向検出部４０１は、各フレームについてフレーム内の音声のエネルギーｅ（ｍ（ｎ），ｊ）を求め、求められたエネルギーｅ（ｍ（ｎ），ｊ）を長さｌ（例えば長さ１００）の循環メモリ（不図示）に順次蓄えていく。このとき方向検出部４０１は、１フレーム毎のエネルギーが蓄えられる度に各マイクについて過去ｌフレーム分のエネルギーの和を求め、エネルギーの和が最大となるマイクを決定する。続いて方向検出部４０１は、エネルギーの和の最大値を予め実験的に定められた閾値Ｔｈｅと比較し、エネルギーの和の最大値が閾値Ｔｈｅよりも大きければ、方向検出部４０１からそのマイクへ至る方向が音声が聞こえてくる方向であると判定する。こうして判定されたマイクの番号ｉが、音声が入力された方向として方向検出部４０１から出力する。
【０１１１】
このように動作する方向検出装置４００を、例えば、図２８に示すように動作装置１３０２と組み合わせて用いれば、音声の聞こえた方向に応じて所定の動作を行う音声反応装置１３０３を構成することができる。具体的には、例えば対象物（例えば風船やぬいぐるみなど）にこれを動かすための動作装置１３０２および方向検出装置１３０１（図１９では４００）を取り付ければ、人間の声のする方に対象物が移動するというように、音声に応じて音声が聞こえてくる方向に向けて所定の動作を行う装置を作ることができる。
【０１１２】
なお、上述した動作装置１３０２の一例としては、対象物に取り付けられたプロペラ付きのモーターを３個とこれらのモーターの駆動装置とを有しており、次に移動しようとする方向を入力すると、対象物がその方向へ移動するように３個のモーターを制御する装置がある。
【０１１３】
次に図２１を参照しながら方向選択装置を説明する。方向選択装置６００は、オフセット算出部６０１、方位計６０２および目的方向メモリ６０３を有しており、対象物の移動する方向あるいは対象物の向きを制御するための装置として用いられ得る。オフセット算出部６０１は、次に対象物が移動すべき方向あるいは対象物が向くべき方向を示す入力ｘ（ｘは負でない整数）が入力されると、予めオフセット算出部６０１に格納されているテーブルに基づいて、入力ｘに応じたオフセットを出力する。出力されたオフセットは、方位計６０２によって計測されたその時点での対象物の実際の方向に加算されて目的方向メモリ６０３に送られる。目的方向メモリ６０３は、方位計６０２からの実際の方向にオフセットを加えたものを次に対象物が移動すべき方向あるいは次に対象物が向くべき方向として記憶する。
【０１１４】
このように図２１の方向選択装置は、入力ｘに応じて、現在対象物が移動している方向あるいは対象物が向いている方向を基準として対象物の方向を変えるために用いられる。
【０１１５】
また、図２１の方向選択装置６００に代えて図２２の方向選択装置７００を用いれば、現在の方向を基準とした相対的な方向に対象物の方向を変えるのではなく、絶対的な方向に変えることができる。図２２の方向選択装置７００では、方向算出部７０１は、絶対的な方向（例えば、北など）を示す入力ｘ（ｘは負でない整数）を外部から受け取ると、入力ｘに対応する値を出力する。出力された値は目的とする方向としてそのまま目的方向メモリ６０３に記憶される。この方向算出部７０１も上述したオフセット算出部６０１と同様に、入力ｘに対する絶対的な方向の値をテーブルとして保持することによって実現可能である。このように目的とする方向をメモリ６０３に格納した後、方向選択装置７００は、対象物が移動していく、あるいは向きを変えていく中での現在の方向を方位計６０２で順次計測し、計測された方向と目的方向メモリ６０３に記憶された方向との差分を出力する。この出力に基づいて対象物に対してフィードバック制御を行えば、目的とする絶対的な方向に対象物を移動させたり、対象物の向きを変えたりすることができる。
【０１１６】
上述したような方向選択装置を、音声認識装置および動作装置と組み合わせれば、図２９に示すように、対象物の向きあるいは移動方向を音声によって入力すればそれに応じて対象物の向きあるいは移動方向が変化する音声反応装置１４０２を実現することができる。音声反応装置１４０２では、音声認識装置１２０１の認識結果を方向選択装置１４０１の入力とし、さらに方向選択装置１４０１の出力を動作装置１３０２に入力している。これにより、現在の対象物の向きあるいは移動方向と目的とする方向とを比較しながら、対象物の動作を制御することが可能になる。
【０１１７】
例えば、北を０度とし、東回りを正の方向としたときに、対象物が現在０度の方向を向いている場合を考える。このとき、方向選択装置１４０１として上述した方向選択装置６００（図２１参照）を用いているものとする。目的とする方向を示す音声が音声認識装置１２０１により「右」という言葉であると認識されると、方向選択装置６００のオフセット算出部６０１に「右」という言葉に＋９０度が対応づけられているテーブルを格納しておけば、方向選択装置６００は、動作装置１３０２に対して、対象物の向きあるいは移動方向を現在の向きから東回りに９０度ほど変えるようにという出力を送る。このとき、方向選択装置６００によって、対象物の向きあるいは移動方向の変化中に現在の方向と目的とする方向とは常に比較される。動作装置１３０２は、方向選択装置６００の出力によって目的とする方向に対象物の向きあるいは移動方向が変わるように制御される。
あるいは方向選択装置１４０１として用いられているのが図２２の方向選択装置７００である場合には、目的とする方向を表す言葉として、「右」や「左」ではなく「北」や「南西」というような絶対的な方向を表す言葉が入力されることになる。このとき、方向選択装置７００は、入力された言葉が「北」であれば０度を、「南西」であれば−１３５度を目的とする絶対的な方向として目的方向メモリに格納し、上述したような動作を行う。なお、ここで目的とする方向は−１８０度〜＋１８０度とする。
【０１１８】
また、本実施例の方向検出装置および方向選択装置を動作装置と組み合わせてもよい。この場合、図３０に示すように、方向検出装置１３０１の検出結果を方向選択装置１４０１の入力とし、方向選択装置１４０１の出力を動作装置１３０２の入力とする。これにより、対象物の向きあるいは移動している方向を、現在の対象物の向きあるいは移動している方向と目的とする方向とを比較しながら音声が聞こえてくる方向に変えるという音声反応装置１５０１を実現することができる。
【０１１９】
（第６の実施例）
本実施例では、音声認識に関する装置を説明する。この装置は、図２６に示すように、音声終了点検出装置１１０１、音声検出装置１１０２、特徴量抽出装置１１０３、距離計算装置１１０４および辞書１１１０５を有している。
【０１２０】
まず、入力された音声に対応する信号を受け取り、その信号に基づいて音声終了点を検出する音声終了点検出装置１１０１を説明する。本明細書では「音声終了点」は音声入力が終了した時間を意味するものとする。
【０１２１】
本実施例の音声終了点検出装置１１０１は、マイクなどの音声入力装置に接続されている。音声入力装置から音声ｓ（ｔ）が入力されると、音声終了点検出装置１１０１は、図２３に示すように入力された音声ｓ（ｔ）をフレームｆ（ｉ）（ｉは負でない整数）に分割し、各フレーム内のエネルギーｅ（ｉ）を求める。図２３では、音声ｓ（ｔ）を曲線８０１で、エネルギーｅ（ｉ）を曲線８０２で表している。続いて音声終了点検出装置１１０１は、１フレーム分の音声が入力される度にそのフレームから所定個数前のフレームまでのエネルギーの分散を求め、予め実験的に定められている閾値Ｔｈｖと比較する。比較の結果、エネルギーの分散が閾値Ｔｈｖと大きい方から小さい方に交差していれば、交差した時点を音声終了点と判定する。
【０１２２】
ここで一定期間のフレーム毎のエネルギーから分散を求める方法を述べる。まず、循環メモリを使う方法であるが、フレーム毎に求まるエネルギーを順次、長さｌの循環メモリ８０３に格納していく。そして、１フレームのエネルギーが求まる度に、そこから一定期間ほど遡ったフレームのエネルギーを循環メモリ８０３から参照することにより、分散を求める。
【０１２３】
また、循環メモリを用いずにエネルギーの分散を求める方法もある。この方法では、音声終了点検出装置１１０１に過去の所定数個のフレームについての平均ｍ（ｉ−１）と分散ｖ（ｉ−１）を保持させておき、新しいフレームに対してエネルギーｅ（ｉ）が求められる度に、新しく求められたエネルギーｅ（ｉ）と過去のエネルギーの平均ｍ（ｉ−１）との重みづけした和を新しいエネルギーの平均ｍ（ｉ）とし、同じく過去の分散ｖ（ｉ−１）と｜ｅ（ｉ）−ｍ（ｉ）｜との重みづけ和を新しい分散ｖ（ｉ）とする。このようにすれば擬似的なエネルギーの分散を求めることができる。ここで、重みづけには減衰定数αを用い、次式を用いて新しい平均と分散とを求める。αとしては１．０２を用いている。
【０１２４】
【数１】

【０１２５】
このようにすることにより、循環メモリを必要とせず、メモリの節約につながり、新しいエネルギーが求まる度に一定期間内のエネルギーの総和を求める等の手間が省け、処理時間の短縮にもつながる。
【０１２６】
次に、実際に音声が発音された区間を抽出する音声検出装置１１０２を説明する。この区間の抽出のために、エネルギーを格納するための循環メモリ８０３とは別に、平滑化エネルギーを格納するための循環メモリ９０２を用意しておき、図２４に示すように、１フレームのエネルギーが求まる度にメモリ８０３にはエネルギー８０２を、メモリ９０２には平滑化エネルギー９０１を蓄えてゆく。上述したようにして音声終了点９０３が求まった時点では、これらの循環メモリ８０３および９０２にはエネルギーおよび平滑化エネルギーの履歴が残っており、これらの循環メモリの長さｌを十分な長さ（例えば２秒に相当する長さ）にしておけば、一単語分のエネルギーを残しておくことができる。そこで、音声検出装置１１０２は、これらのメモリに格納されているエネルギーおよび平滑化エネルギーを用いて音声が発音された区間を抽出する。
【０１２７】
区間の抽出は次のような手順で行われる。まず、後で説明するようにして閾値Ｔｈを決定する。この閾値Ｔｈと循環メモリ８０３内に格納されているエネルギーとを過去のものから順に比較していき、エネルギーが初めてその閾値を超える点を音声が発音された区間の始点とする。また、逆に音声終了点から過去に遡っていくときにエネルギーが初めて閾値と交差する点を音声が発音された区間の終点とする。このようにして、音声が発音された区間を抽出する。
【０１２８】
ここで閾値Ｔｈの決定の仕方を説明する。まず、音声終了点が検出された時点でのメモリ８０３内のエネルギーの最大値ｍａｘ１００１と、メモリ９０２ないの平滑化エネルギーの最小値ｍｉｎ１００２とを求める。これらの値を用いて、次式から閾値Ｔｈを算出する。
【０１２９】
【数２】

【０１３０】
ただし、βとしては０．０７程度の値を採用した。
【０１３１】
またここでは、エネルギーを平滑化する方法としては一定ウインドウ内のメディアン値を採る方法を用いている。しかし、平滑化の方法はこれに限定されるものではなく、例えば平均値を採ってもかまわない。なお、閾値Ｔｈを求める際に平滑化エネルギーの最大値ではなくエネルギーの最大値を用いたのは、閾値Ｔｈを求めるのに平滑化エネルギーの最大値を用いると、単語の長さが変動した場合に最大値が大幅に変動し、それに伴なって閾値Ｔｈも変動してしまい、結果的に良好な音声検出ができなくなるからである。また、平滑化エネルギーの最小値を閾値Ｔｈの算出に用いているので、音声ではないノイズが検出されるのを防ぐこともできる。
【０１３２】
上述したようにして、音声が発音されている区間の抽出、すなわち入力された信号のうちの音声に相当する部分の検出が音声検出装置１１０２によって行われる。
【０１３３】
次に、検出された音声から、特徴量抽出装置１１０３によって、認識のための特徴量を抽出する。特徴量もエネルギー同様、フレーム毎に求めるものとし、循環メモリに蓄えていくものとする。ここで特徴量とは、原信号のゼロ交差数と原信号の微分信号のゼロ交差数と原信号のエネルギーの対数をとったもののフレーム間差分の３つの要素を含む特徴量ベクトルとする。
【０１３４】
このように音声終了点検出装置１１０１、音声検出装置１１０２、および特徴量抽出装置１１０３を経て得られた音声の特徴量ベクトルは、距離計算装置１１０４に入力される。距離計算装置１１０４は、辞書１１０５に予め登録されている複数の音声の特徴量ベクトルのそれぞれと入力された特徴量ベクトルとを照合し、最もスコアがよかったものを認識結果として出力する。照合の方法は単純にベクトル間のユークリッド距離を取ってもよいし、ＤＰマッチング法を用いてもよい。
【０１３５】
以上説明したようにして、本実施例の装置は音声認識を行う。この音声認識装置は、図２７に示すように実施例４で述べた音声選択装置１２０２と組み合わせて用いることもできるし、図２９に示すように実施例５で述べた方向選択装置１４０１、および動作装置１３０２に組み合わせることもできる。また、単に動作装置１３０２と組み合わせて、音声認識装置１２０１の結果を動作装置１３０２の入力として目的の方向へ装置全体を移動させる音声反応装置１６０１を構成することもできる。
【０１３６】
さらに、実施例４〜６で述べた音声反応装置のうち音声認識装置１２０１を含むものでは、音声認識装置側に信号送信装置１７０１を付加し、それぞれの構成の中で音声認識装置の後段に来る音声選択装置１２０２や方向選択装置１４０１や動作装置１３０２に信号受信装置１７０２を付加すれば、音声認識装置のみを手元のリモコンとして対象物を遠隔操作することが可能となる。ここで信号送受信に赤外線や無線を用いることが可能である。
【０１３７】
また、上述した音声反応装置を風船に取りつけることによって、風船と対話したり、風船をコントロールすることが可能になり、風船独特のあたたかみを生かした玩具を作ることが可能となる。
【０１３８】
また、図３３に示すように、上述した音声認識装置と音声選択装置とを備えた音声反応装置１２０３を風船１８０１に取り付けた物を２つ用意し、人がこの音声反応装置に話しかけるのではなく、２つの音声反応装置同士がお互いに対話するように構成すれば、勝手に対話するような玩具を作ることが可能となる。さらに、この音声反応装置付き風船１８０１を複数用意し、対話させることも可能である。このときに、それぞれの音声反応装置付き風船に音声認識過程でリジェクト機能を持たせれば、特定の言葉に対してのみ反応することが可能となり、ある発声に対し一つの風船だけが反応するように構成することも可能となる。例えば、それぞれの風船１８０１に名前を付け、その名前を呼んだ時だけ反応させることが可能となる。ここでリジェクトの方法は音声認識を行う時に内部の辞書と距離を計算するが、実験的に閾値を決めておき、その閾値を越えたものをリジェクトするというものがある。さらに、音声反応装置に時計を組み込んで、所定の時間が経過したら、登録されている出力音声集合の中から１つの音声をランダムに選んで出力させることにより、音声反応装置側から対話を始めることのできる玩具を構成することも可能である。
【０１３９】
なお、上記対象物は風船に限定されるものではなく、ぬいぐるみや人形、あるいは写真や絵であってもかまわない。また、ディスプレイ中の動画であってもよい。また、対象物として、風船以外の反重力装置（例えば、ヘリコプターのようにプロペラによって浮上するものや、リニアモーターカーのように磁力によって浮上するもの）を用いてもよい。
【０１４０】
【発明の効果】
以上説明したように、本発明によれば、人間にとって自然な音声による操作が可能であり、かつ操作習熟を必要としないゲーム装置を得ることができる。また、音声のみから入力された言葉（コマンド）を認識するのではなく、口唇の動きを利用しているので、騒音下においても安定な操作が可能である。さらに、口唇の動きをＬＥＤとフォトダイオード（フォトトランジスタ）の組み合わせでとらえるため、ビデオカメラ、あるいは超音波等を利用する場合と比較して、低コストで実現することができる。
【０１４１】
さらに、本発明の音声認識装置では、口唇の動きから話者の発声区間を検出し、これを音声認識結果の判断材料とするため、話者以外の発声による誤認識を防止することができる。また、本発明の他の音声認識装置では、口唇の動きから入力された言葉（コマンド）を認識して飛行船の制御を行うために、騒音下においても、また声が出しにくい状況や、発声に障害を持つ者の利用も可能となる。
【０１４２】
また、本発明の入力装置は、軽いヘッドセットと支柱および台に安価な発光素子（ＬＥＤ等）と安価な受光素子（フォトダイオード等）を取り付けている。このため、非常に軽く、しかも安価な入力装置を実現することができる。
【０１４３】
以上説明したように、本発明の音声選択装置は、入出力の状態を複数用意し過去の入出力の履歴により入出力の状態を遷移させる。このため、この音声選択装置を用いることにより簡単な対話をする装置を提供することが可能となる。また、本発明の音声選択装置は１つの入力に対し複数の出力を用意しており、この中からランダムに選択した１つを出力するので、１つの入力に対し常に同じ応答ではなく、変化のある応答をすることができる。
【０１４４】
また、本発明の方向検出装置は、複数のマイクによって音声を入力し、エネルギーが最大となるマイクを検出する。これにより、音声が発声された方向を検出することができる。さらに、本発明の方向選択装置を用いれば、方位計によって現在の位置を検出しながら、対象物を入力された方向に正確に移動させたり、あるいは入力された方向に対象物の向きを変えたりすることができる。
【０１４５】
また、本発明の音声認識装置は、音声終了点検出装置によりまず大まかな音声の終了点を求めてから、音声検出装置で自動的に閾値を求める。ここで、入力された音声のエネルギーの最大値と、エネルギーを平滑化したものの最小値とから閾値を決定しているので、音声の発声区間の長短に関係なく、良好な音声区間抽出を行うことができる。音声検出装置が閾値を用いて音声を検出すると、この音声から特徴量を求め、これに基づいて音声認識を行う。
【０１４６】
また、上述した装置を適宜組み合わせることにより、様々な音声反応装置を得ることができる。例えば、音声認識装置と音声選択装置を組み合わせれば、人が声で話しかけると返答する音声反応装置が得られ、これによりマン・マシンインターフェースを構築することが可能となる。また、方向検出装置と動作装置を組み合わせれば、音声に反応して対象物を動作させることが可能となるし、音声認識装置と方向選択装置と動作装置を組み合わせれば、音声の内容が示す方向に対象物を正確に移動させたり、音声の内容が示す方向に対象物の向きを変えたりすることが可能となる。さらに、音声反応装置のうちの音声認識装置に信号送信装置を接続し、音声認識装置の後段にくる装置に信号受信装置を接続して対象物に取り付ければ、遠隔からの操作が可能である音声反応装置を実現することができる。
【０１４７】
さらに、上述したような音声反応装置を複数個用意すれば、音声反応装置間で自動的に対話をする玩具を構成することも可能である。また、音声反応装置をそれぞれ風船に付ければ、風船独特の暖かみを持ち、しかも話しかけることが可能な玩具を作ることができる。また、時計を組み込み、ある時間がくれば適当な音声を出力することによって人間から話かけるのではなく、自分から話しかける音声反応装置を作ることも可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施例のゲーム装置の構成を示すブロック図である。
【図２】本発明の第１〜第３の実施例の画像入力部の詳細な構成を示す図である。
【図３】本発明の第１の実施例における発声区間検出部の詳細な構成を示す図である。
【図４】本発明の第１の実施例における統合判断部の詳細な構成を示すブロック図である。
【図５】本発明の第１〜第３の実施例における微分信号の出力例を示すグラフである。
【図６】図３の発声区間検出部の処理動作を説明するための図である。
【図７】図４の統合判断部の処理動作を説明するための図である。
【図８】本発明の第２の実施例のゲーム装置の構成を示すブロック図である。
【図９】本発明の第２、第３の実施例における口唇認識部の詳細な構成を示すブロック図である。
【図１０】本発明の第２、第３の実施例における微分回路の処理動作を示す図である。
【図１１】本発明の第２、第３の実施例のパターンマッチング部の処理動作を示す図である。
【図１２】本発明の第３の実施例のゲーム装置の構成を示すブロック図である。
【図１３】本発明の第３の実施例における統合判断部の処理動作を示す図である。
【図１４】本発明の第３の実施例における統合判断部の処理動作を示す図である。
【図１５】本発明の入力装置の具体的構成例を示す図である。
【図１６】本発明の第４の実施例の音声選択装置の構成を示す図である。
【図１７】図１６の音声選択装置における入出力状態を示す図である。
【図１８】本発明の変形例の音声選択装置の構成を示す図である。
【図１９】本発明の第５の実施例の方向検出装置の構成を示す図である。
【図２０】入力された音声の波形とフレームとを説明する図である。
【図２１】本発明の第５の実施例の方向選択装置の構成を示す図である。
【図２２】本発明の第５の実施例の他の方向選択装置の構成を示す図である。
【図２３】音声波形、エネルギー、および循環メモリを説明する図である。
【図２４】本発明の第６の実施例における音声終了点の検出方法を説明する図である。
【図２５】本発明の第６の実施例における音声検出方法を説明する図である。
【図２６】本発明の第６の実施例の音声認識装置の構成を示すブロック図である。
【図２７】本発明の音声認識装置、および音声選択装置を用いた音声反応装置の構成を示す図である。
【図２８】本発明の方向検出装置、および動作装置を用いた音声反応装置の構成を示す図である。
【図２９】本発明の音声認識装置、方向選択装置、および動作装置を用いた音声反応装置の構成を示す図である。
【図３０】本発明の方向検出装置、方向選択装置、および動作装置を用いた音声反応装置の構成を示す図である。
【図３１】本発明の音声認識装置、および動作装置を用いた音声反応装置の構成を示す図である。
【図３２】本発明の遠隔操作が可能な音声反応装置の構成を示す図である。
【図３３】本発明の音声反応装置を用いた玩具の一例を示す図である。
【図３４】従来のゲーム装置の構成を示す図である。
【符号の説明】
１　音声入力部
３　画像入力部
２　音声認識部
４　発声区間検出部
５、１２３　統合判断部
６　制御部
７　飛行船
２１　ＬＥＤ
２２　フォトダイオード
８１　口唇認識部
１００，１００ａ　音声選択装置
１０１　乱数発生部
１０２　音声選択部
１０３　入出力状態メモリ
１０４　状態遷移部
１０５　入出力状態データベース
４００、１３０１　方向検出装置
４０１　方向検出部
６００、７００、１４０１　方向選択装置
６０１　オフセット算出装置
６０２　方位計
６０３　目的方向メモリ
７０１　方向算出装置
１１０１　音声終了点検出装置
１１０２　音声検出装置
１１０３　特徴量抽出装置
１１０４　距離計算装置
１１０５　辞書
１２０１　音声認識装置
１２０２　音声選択装置
１３０２　動作装置
１７０１　信号送信装置
１７０２　信号受信装置

Claims

操作者の口唇の動きを光学的に入力し、該入力された口唇の動きを電気信号に変換し、該電気信号を出力する画像入力手段と、
該電気信号に基づいて該口唇の動きを求め、該求められた口唇の動きに対応する言葉を認識し、認識結果を出力する口唇認識手段と、
該認識結果に基づいた制御信号に応じて対象物を制御する制御手段と、
を備えているゲーム装置。
前記口唇認識手段は、
所定数の言葉を記憶している記憶手段と、
前記求められた口唇の動きに応じて該所定数の言葉から１つを選択し、該選択された言葉を該口唇の動きに対応する該言葉であると判断するマッチング手段と、
を備えている請求項１に記載のゲーム装置。
前記記憶手段は、前記所定数の言葉に対応する口唇の動きを標準パターンとして記憶しており、
前記マッチング手段は、該標準パターンの全てについて、前記求められた口唇の動きとの距離を算出し、該標準パターンのうちの該距離が最も小さい１つに対応する言葉を選択する、請求項２に記載のゲーム装置。
音声を入力し、該音声を他の電気信号に変換し、該他の電気信号を出力する音声入力手段と、
該音声入力手段から出力された該他の電気信号に基づいて該音声を認識する音声認識手段と、
該音声認識手段による認識結果と、前記口唇認識手段による前記認識結果との両方に基づいて、前記制御手段に与えられるべき前記制御信号を出力する統合判断手段と、
をさらに備えている、請求項１に記載のゲーム装置。
前記音声認識手段による前記認識結果に対して、音声認識信頼度を求める手段と、
前記口唇認識手段による前記認識結果に対して、口唇認識信頼度を求める手段と、
を有しており、前記統合判断手段は、該音声認識信頼度および該口唇認識信頼度に基づいて、該音声認識手段による該認識結果および該口唇認識手段の該認識結果のうちの一方を選択し、それを前記制御信号として出力する、請求項４に記載のゲーム装置。
前記画像入力手段は、光を出射する発光手段と、前記操作者の前記口唇によって反射された該光を受け取り、該受け取った光を前記電気信号に変換する受光手段とを有している、請求項１に記載のゲーム装置。
前記画像入力手段は、光を出射する発光手段と、前記操作者の前記口唇によって反射された該光を受け取り、該受け取った光を前記電気信号に変換する受光手段とを有している、請求項４に記載のゲーム装置。
前記光は、前記口唇に側方から照射される、請求項６または７に記載のゲーム装置。
前記光は、前記口唇に正面から照射される、請求項６または７に記載のゲーム装置。
前記音声入力手段は、少なくとも１つのマイクロフォンを有している、請求項４に記載のゲーム装置。
前記音声入力手段は少なくとも１つのマイクロフォンを有しており、該少なくとも１つのマイクロフォン、および前記画像入力手段の前記発光手段および前記受光手段は、１つの台上に設けられている、請求項７に記載のゲーム装置。