JP4333364B2 - ロボット装置、顔認識方法及び顔認識装置 - Google Patents
ロボット装置、顔認識方法及び顔認識装置 Download PDFInfo
- Publication number
- JP4333364B2 JP4333364B2 JP2003523462A JP2003523462A JP4333364B2 JP 4333364 B2 JP4333364 B2 JP 4333364B2 JP 2003523462 A JP2003523462 A JP 2003523462A JP 2003523462 A JP2003523462 A JP 2003523462A JP 4333364 B2 JP4333364 B2 JP 4333364B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- feature amount
- gabor filter
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動的に変化する作業環境下で一定時間内に応答できるようなヒューマン・インターフェースを備えたロボット装置、並びに、ロボット用にヒューマン・インターフェースとして適用することができる顔認識方法及び顔認識装置に係り、動的に変化する作業環境下でユーザの顔を一定時間内に認識することができるロボット装置、並びに、顔認識方法及び顔認識装置に関する。
【０００２】
さらに詳しくは、本発明は、モーフィングなどの位置合わせを行なう必要なく、回転、位置などの変化に対してロバストな顔認識を行なうロボット装置、顔認識方法及び顔認識装置に係り、特に、照明条件やカメラ・パラメータが異なる環境下でロバストな顔認識を行なうロボット装置、顔認識方法及び顔認識装置に関する。
【０００３】
【従来の技術】
顔認識の技術は、ユーザに負担をかけない個人認証システムをはじめとして、性別の識別など、マンマシン・インターフェースに幅広く適用が可能である。初期は横顔を使った認識技術も検討されたが、現在は、正面画像の認識技術が中心となっている。
【０００４】
顔認識に関する研究は、パターン認識理論を検証する上でベンチマーク的な位置付けを持っており、古くからさまざまな手法が開発されてきた。そこで想定されていたアプリケーションは、セキュリティ・システムにおける認証や大規模データベースからの人物検索など、静的な環境下で正確性を要するものがほとんどである。
【０００５】
ところで、近年、外観形状が犬などの動物に模して形成され、エンターテインメントとしてのロボット装置が提供されている。例えば、ソニー株式会社は、２０００年１１月２５日に２足歩行の人間型ロボット"ＳＤＲ−３Ｘ"を公表した。この種の脚式移動ロボットは、不安定で姿勢制御や歩行制御が難しくなるが、階段や梯子の昇降や障害物の乗り越えなど、整地・不整地の区別を問わない柔軟な歩行・走行動作を実現できるという点で優れている。さらにロボットのインテリジェンスを高め、自律的な装置動作を可能とすることにより、同じ住空間において人間とロボットが共存することも夢ではなくなる。
【０００６】
インテリジェントなロボット装置は、外部からの情報（例えば、周囲環境の情報など）や内部の状態（例えば、感情状態など）などに応じて目や脚などを自律的に動作させることで、動物のような仕草を表出させることができる。
【０００７】
このようなロボット装置の出現により、動的に変化する作業環境下で一定時間内に応答できるようなヒューマン・インターフェース技術が要求されてきており、その１つとしてロボット装置による顔識別を挙げることができる。例えば、顔識別を利用することにより、ロボット装置は、多くの中からユーザ（飼い主又はともだち、若しくは正当なユーザ）を識別することができ、ユーザ毎にリアクションを変えるなどして、よりエンターテインメント性のあるものとなる。
【０００８】
ロボット装置への適用が求められている顔認識技術は、セキュリティ・システムにおける認証や大規模データベースからの人物検索などの適用分野とは相違し、多少不正確であっても、動的に変化する環境下で一定時間内に応答できることである。
【０００９】
こうしたロボット装置に搭載される顔識別のアプリケーションでは、ある与えられた１枚のシーンの中から人物を識別するという問題に加え、次のような問題を解決する必要がある。
【００１０】
（１）ロボット装置自身が移動するため、環境の変化やその多様性を許容しなくてはならない。
【００１１】
（２）人間とロボット装置の位置関係も変化するため、インタラクション中に人間を視野内に入れ続ける必要がある。
【００１２】
（３）数多くのシーン画像から人物の識別に使える画像を選び出し、総合的に判断しなくてはならない。
【００１３】
（４）ある時間内に応答しなくてはならない。
【００１４】
従来、顔認識の手法は、ニューラル・ネットワークを用いた方法や、顔画像の各輝度値を要素とするベクトル空間に主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ Ａｎａｌｙｓｉｓ：ＰＣＡ）を適用する手法（固有空間法）などが主流であったが、これら従来技術には以下のような欠点がある。
【００１５】
まず、ニューラル・ネットワークによる顔認識では、インクリメンタルな学習が不可能である。
【００１６】
また、固有顔による方法の場合、直交する部分線形空間を仮定している（すなわち、２枚の顔画像の平均をとると人の顔になる）が、実際には線形でないことが多く、このために、モーフィング（ｍｏｒｐｈｉｎｇ）あるいはアラインメント（ａｌｉｇｎｍｅｍｔ）と呼ばれる正確な位置合わせが必要となる。この前処理により、位置、回転、大きさに対して正規化し、その影響をなくそうとするものもあるが、なかなかうまく処理できないこともあり、認識性能を低下させる原因になっている。また、顔空間の次元を著しく小さくしてその空間での分離をするため、高次元の特徴が失われる可能性もある。
【００１７】
また、上述したいずれの顔認識方法であっても、照明条件の変化やカメラ・パラメータの変化、ノイズ、位置、回転に対して影響を受け易く、ノイズ・フィルタリングやモーフィングなどの前処理を必要とする。また、汎化能力の点でも疑問が残る。
【００１８】
【発明が解決しようとする課題】
本発明の目的は、動的に変化する作業環境下で一定時間内に応答できるようなヒューマン・インターフェースを備えたロボット装置、並びに、ロボット用にヒューマン・インターフェースとして適用することができる、優れた顔認識方法及び顔認識装置を提供することにある。
【００１９】
本発明のさらなる目的は、動的に変化する作業環境下でユーザの顔を一定時間内に認識することができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することにある。
【００２０】
本発明のさらなる目的は、照明条件やカメラ・パラメータが異なる環境下でロバストな顔認識を行なうことができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することにある。
【００２１】
本発明のさらなる目的は、モーフィングなどの位置合わせを行なう必要なく、回転、位置などの変化に対してロバストな顔認識を行なうことができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することにある。
【００２２】
本発明のさらなる目的は、モーフィングなどの位置合わせを行なう必要なく、回転、位置などの変化に対してロバストな顔認識を行なうことができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することにある。
【００２３】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、自律的に行動するロボット装置であって、
顔画像を入力する画像入力手段と、
方位選択性を持ち周波数成分の異なる複数のフィルタを用いることにより、前記顔画像の特徴量を抽出する顔特徴量抽出手段と、
前記顔特徴量抽出手段による顔特徴量抽出結果を、カーネル関数を用いて非線形な写像を行ない、該写像後の特徴空間内で分離する超平面を求めることにより、特定の顔と、該特定の顔以外の顔とを識別する顔識別手段と、
を具備することを特徴とするロボット装置である。
【００２４】
ここで、前記顔特徴量抽出手段はガボア・フィルタで構成することができる。また、前記顔識別手段はサポート・ベクタ・マシンで構成することができる。
【００２５】
本発明の第１の側面によれば、ロボット装置は、入力画像に対してモーフィングなどの位置合わせを行なうことなく、すなわち、回転や位置などの変化に対してロバストな顔認識を行なうことができる。すなわち、ロボット装置は、動的に変化する作業環境下でユーザの顔を一定時間内に認識することができ、ユーザ毎の対応を実時間で行うことができる。
【００２６】
ここで、前記顔特徴量抽出手段は、認識タスクに応じて前記ガボア・フィルタの種類を変更するフィルタ変更手段をさらに備えていてもよい。
【００２７】
また、前記顔特徴量抽出手段は、低周波でのフィルタリングではフィルタリング後のイメージをダウンサンプリングして次元を落すようにすることができる。ダウンサンプリングされた各ベクトルを一列に並べて、長いベクトルを構成して、後段の顔識別手段に渡す。
【００２８】
また、本発明の第２の側面は、ロボット用のヒューマン・インターフェースとして適用可能な顔認識装置又は顔認識方法であって、
顔画像を入力する画像入力手段又はステップと、
方位選択性を持ち周波数成分の異なる複数のフィルタを用いることにより、前記顔画像の特徴量を抽出する顔特徴量抽出手段又はステップと、
前記顔特徴量抽出手段又はステップによる顔特徴量抽出結果を、カーネル関数を用いて非線形な写像を行ない、該写像後の特徴空間内で分離する超平面を求めることにより、特定の顔と、該特定の顔以外の顔とを識別する顔識別手段又はステップと、
を具備することを特徴とする顔認識装置又は顔認識方法である。
【００２９】
ここで、前記顔特徴量抽出手段はガボア・フィルタで構成することができる。また、前記顔識別手段はサポート・ベクタ・マシンで構成することができる。
【００３０】
本発明の第２の側面に係る顔認識装置又は顔認識方法によれば、入力画像に対してモーフィングなどの位置合わせを行なうことなく、すなわち、回転や位置などの変化に対してロバストな顔認識を行なうことができる。すなわち、動的に変化する作業環境下であってもユーザの顔を一定時間内に認識することができる。したがって、本発明の第２の側面に係る顔認識装置又は顔認識方法をロボット装置に適用することにより、該ロボット装置は、ユーザ毎に異なるリアクションを遅延時間なく実行することができるなど、エンターテインメント性を向上させることができる。
【００３１】
ここで、前記顔特徴量抽出手段又はステップは、認識タスクに応じて前記ガボア・フィルタの種類を変更するフィルタ変更手段又はステップをさらに備えていてもよい。
【００３２】
また、前記顔特徴量抽出手段又はステップは、低周波でのフィルタリングではフィルタリング後のイメージをダウンサンプリングして次元を落すようにすることができる。ダウンサンプリングされた各ベクトルを一列に並べて、長いベクトルを構成して、後段の顔認識手段又はステップに渡す。
【００３３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３５】
後述する本発明の実施形態は、本発明を、外観形状がヒトに模して形成された２足脚式移動のロボット装置すなわちヒューマノイド・ロボット（ｈｕｍａｎｏｉｄ ｒｏｂｏｔ）に適用したものである。但し、本発明の要旨はこれに限定されるものではなく、例えば犬などの４足脚式移動ロボットにも同様に本発明を適用することができる。
【００３６】
本実施形態に係るロボット装置は、外部からの情報（例えば、周囲環境の情報など）や内部の状態（例えば、感情状態など）などに応じて目や脚等を自律的に動作させることで、リアリティのある仕草を表出させている。そして、このロボット装置は、ヒューマン・インターフェースとしての顔認識機能を装備して、ユーザ（友達又は飼い主）などの顔を識別することができるものとして構成されており、顔認識結果に基づいて、ユーザ毎に異なるリアクションを形成することができる。
【００３７】
Ａ．ロボットの構成
図１及び図２には本発明の実施に供される脚式移動ロボット１００を前方及び後方の各々から眺望した様子を示している。さらに、図３には、この脚式移動ロボット１００が具備する関節自由度構成を模式的に示している。
【００３８】
図３に示すように、脚式移動ロボット１００は、２本の腕部と頭部１を含む上肢と、移動動作を実現する２本の脚部からなる下肢と、上肢と下肢とを連結する体幹部とで構成された、複数の肢を備えた構造体である。
【００３９】
頭部１を支持する首関節は、首関節ヨー軸２と、首関節ピッチ軸３と、首関節ロール軸４という３自由度を有している。
【００４０】
また、各腕部は、肩関節ピッチ軸８と、肩関節ロール軸９と、上腕ヨー軸１０と、肘関節ピッチ軸１１と、前腕ヨー軸１２と、手首関節ピッチ軸１３と、手首関節ロール軸１４と、手部１５とで構成される。手部１５は、実際には、複数本の指を含む多関節・多自由度構造体である。但し、手部１５の動作はロボット１００の姿勢制御や歩行制御に対する寄与や影響が少ないので、本明細書ではゼロ自由度と仮定する。したがって、各腕部は７自由度を有するとする。
【００４１】
また、体幹部は、体幹ピッチ軸５と、体幹ロール軸６と、体幹ヨー軸７という３自由度を有する。
【００４２】
また、下肢を構成する各々の脚部は、股関節ヨー軸１６と、股関節ピッチ軸１７と、股関節ロール軸１８と、膝関節ピッチ軸１９と、足首関節ピッチ軸２０と、足首関節ロール軸２１と、足部２２とで構成される。本明細書中では、股関節ピッチ軸１７と股関節ロール軸１８の交点は、本実施形態に係る脚式移動ロボット１００の股関節位置を定義する。人体の足部２２は実際には多関節・多自由度の足底を含んだ構造体であるが、本実施形態に係る脚式移動ロボット１００の足底はゼロ自由度とする。したがって、各脚部は６自由度で構成される。
【００４３】
以上を総括すれば、本実施例に係る脚式移動ロボット１００全体としては、合計で３＋７×２＋３＋６×２＝３２自由度を有することになる。但し、エンターテインメント向けの脚式移動ロボット１００が必ずしも３２自由度に限定される訳ではない。設計・製作上の制約条件や要求仕様などに応じて、自由度すなわち関節数を適宜増減することができることは言うまでもない。
【００４４】
上述したような脚式移動ロボット１００が持つ各自由度は、実際にはアクチュエータを用いて実装される。外観上で余分な膨らみを排してヒトの自然体形状に近似させること、２足歩行という不安定構造体に対して姿勢制御を行うことなどの要請から、アクチュエータは小型且つ軽量であることが好ましい。本実施例では、ギア直結型で且つサーボ制御系をワンチップ化してモータ・ユニットに内蔵したタイプの小型ＡＣサーボ・アクチュエータを搭載することとした。なお、この種のＡＣサーボ・アクチュエータに関しては、例えば本出願人に既に譲渡されている特開２０００−２９９９７０号公報（特願平１１−３３３８６号）に開示されている。
【００４５】
図４には、脚式移動ロボット１００の制御システム構成を模式的に示している。この制御システムは、コントロール部１１６と、このロボット装置１００の動力源としてのバッテリ１１７とで構成され、例えば、脚式移動ロボットの機体胴体部やその背面部に搭載されている。コントロール部１１６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１１と、フラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）カード・インターフェース回路１１３及び信号処理回路１１４が内部バス１１５を介して相互に接続されることにより構成される。また、機体には、ロボット装置１００の向きや動きの加速度を検出するための角速度センサ１１８及び加速度センサ１１９なども装備されている。
【００４６】
また、機体の頭部には、外部の状況を撮像するためのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）カメラ１２０と、ユーザからの「撫でる」や「叩く」といった物理的な働きかけにより受けた圧力を検出するためのタッチ・センサ１２１と、前方に位置する物体までの距離を測定するための距離センサ１２２と、外部音を集音するためのマイクロフォン１２３と、鳴き声等の音声を出力するためのスピーカ１２４などがそれぞれ機体上の所定位置に配設されている。ここで、ＣＣＤカメラ１２０は、顔識別において顔画像を撮像するための画像入力手段を構成する。
【００４７】
さらに、各脚部ユニットの関節部分や、各脚部ユニット及び胴体部ユニットの各連結部分、並びに頭部ユニット及び胴体部ユニットの連結部分などには、それぞれ自由度数分のアクチュエータ１２５−１〜１２５−ｎ及びポテンショメータ１２６−１〜１２６−ｎが配設されている。例えば、アクチュエータ１２５−１〜１２５−ｎはそれぞれ１つのサーボモータによって構成される。これらサーボモータの駆動により、脚部ユニットが制御されて、目標の姿勢あるいは動作に遷移する。
【００４８】
そして、前述した角速度センサ１１８、加速度センサ１１９、タッチ・センサ１２１、距離センサ１２２、マイクロフォン１２３、スピーカ１２４、並びに各ポテンショメータ１２６−１〜１２６−ｎなどの各種センサ、及び各アクチュエータ１２５−１〜１２５−ｎは、それぞれ対応するハブ１２７−１〜１２７−ｎに集線された後に、コントロール部１１６の信号処理回路１１４と接続されている。また、ＣＣＤカメラ１２０及びバッテリ１１７は、それぞれ信号処理回路１１４と直接接続されている。
【００４９】
信号処理回路１ｌ４は、上述の各センサから供給されるセンサ・データや画像データ、及び音声データを逐次取り込んで、これらをそれぞれ内部バス１１５を介してＤＲＡＭ１１１内の所定のアドレスに適宜格納する。また、信号処理回路１１４は、これとともにバッテリ１１７から供給されるバッテリ残量を表すバッテリ残量データを逐次取り込み、これも同様にＤＲＡＭ１１１内の所定のアドレスに格納する。
【００５０】
このようにしてＤＲＡＭ１１１に格納された各センサ・データ、画像データ、音声データ、並びにバッテリ残量データは、この後、ＣＰＵ１１０がこのロボット装置１００の機体の動作制御を行う際に利用可能となる。
【００５１】
実際上、ＣＰＵ１１０は、ロボット装置１００の電源が投入された初期時、胴体部ユニット２の図示しないＰＣカード・スロットに装填されたメモリ・カード１２８又はフラッシュＲＯＭ１１２に格納された制御プログラムをＰＣカード・インターフェース回路１１３経由で又は直接読み出して、これをＤＲＡＭ１１１にロードする。
【００５２】
また、ＣＰＵ１１０は、このようなプログラム・ロードの後、上述したように信号処理回路１１４よりＤＲＡＭ１１１に逐次格納されている各センサ・データ、画像データ、音声データ、並びにバッテリ残量データに基づいて、自己及び機体周囲の状況や、使用者からの指示及び働きかけの有無などを判断するようになっている。
【００５３】
さらに、ＣＰＵ１１０は、この判断結果及びＤＲＡＭ１１１に格納した制御プログラムに基づいて続く行動を決定するとともに、当該決定結果に基づいて必要なアクチュエータ１２５−１〜１２５−ｎを駆動させることにより、頭部を左右に振らせたり、各脚部ユニットを駆動させたりして歩行やその他の脚式作業を実行させる。
【００５４】
また、このようなプログラム実行の際、ＣＰＵ１１０は、必要に応じて音声データを生成して、これを信号処理回路１１４経由で音声信号としてスピーカ２４に与えることにより、当該音声信号に基づく音声を外部に出力させたりする。
【００５５】
このようにして、このロボット装置１００においては、自己及び周囲の状況や、使用者からの指示及び働きかけに応じて自律的に行動し得るように構成されている。
【００５６】
Ｂ．制御プログラムのソフトウェア構成
図５には、本実施形態に係るロボット装置１００の処理動作を実現するための制御プログラムのソフトウェア構成を模式的に示している。
【００５７】
同図に示すように、デバイス・ドライバ・レイヤ１３０は、この制御プログラムの最下位層に位置し、複数のデバイス・ドライバからなるデバイス・ドライバ・セット３１から構成されている。この場合、各デバイス・ドライバは、ＣＣＤカメラ２０（図４を参照のこと）やタイマなどの通常のコンピュータ処理に用いられるハードウェアに直接アクセスすることを許されたオブジェクトであり、一般には、対応するハードウェアからの割り込みに応答して処理を開始するようになっている（割り込みハンドラ）。
【００５８】
また、ロボティック・サーバ・オブジェクト１３２は、デバイス・ドライバ・レイヤ１３０の最下位層に位置し、例えば上述の各種センサやアクチュエータ１２５−１〜１２５−ｎなどのハードウェアにアクセスするためのインターフェースを提供するソフトウェア群でなるバーチャル・ロボット１３３と、電源の切換えなどを管理するソフトウェア群でなるパワー・マネージャ１３４と、他のさまざまのデバイス・ドライバを管理するソフトウェア群でなるデバイス・ドライバ・マネージャ１３５と、ロボット装置１００の機構を管理するソフトウェア群でなるデザインド・ロボット１３６とで構成される。
【００５９】
マネージャ・オブジェクト１３７は、オブジェクト・マネージャ１３８及びサービス・マネージャ１３９から構成される。オブジェクト・マネージャ１３８は、ロボティック・サーバ・オブジェクト１３２、ミドルウェア・レイヤ１４０、及びアプリケーション・レイヤ１４１に含まれる各ソフトウェア群の起動や終了を管理するソフトウェア群である。また、サービス・マネージャ１３９は、メモリ・カード１２８（図４を参照のこと）に格納されたコネクション・ファイルに記述されている各オブジェクト間の接続情報に基づいて各オブジェクトの接続を管理するソフトウェア群である。
【００６０】
ミドルウェア・レイヤ１４０は、ロボティック・サーバ・オブジェクト１３２の直近上位に位置し、画像処理や音声処理など本実施形態に係るロボット装置１００の基本的な機能を提供するソフトウェア群から構成される。また、アプリケーション・レイヤ１４１は、ミドルウェア・レイヤ４０の直近上位に位置し、当該ミドルウェア・レイヤ１４０を構成する各ソフトウェア群によって処理された処理結果に基づいてロボット装置１００の行動を決定するためのソフトウェア群から構成される。
【００６１】
図６には、ミドルウェア・レイヤ１４０の具体なソフトウェア構成を詳細に示している。
【００６２】
同図に示すように、ミドルウェア・レイヤ１４０は、騒音検出用、温度検出用、明るさ検出用、音階認識用、距離検出用、姿勢検出用、タッチ・センサ用、動き検出用、及び色認識用の各信号処理モジュール１５０〜１５８、並びに入力セマンティクス・コンバータ・モジュール１５９などを有する認識系ミドルウェア１６０と、出力セマンティクス・コンバータ・モジュール１６８、姿勢管理用、トラッキング用、モーション再生用、歩行用、転倒復帰用、及び、音再生用の各信号処理モジュール１６１〜１６７などを有する出力系ミドルウェア１６９とで構成される。
【００６３】
認識系ミドルウェア１６０の各信号処理モジュール１５０〜１５８は、ロボティック・サーバ・オブジェクト１３２のバーチャル・ロボット１３３によりＤＲＡＭ１１（図４を参照のこと）から読み出される各センサ・データや画像データ（顔画像データ）及び音声データのうちの対応するデータを取り込んで、当該データに基づいて所定の処理を施して、処理結果を入力セマンティクス・コンバータ・モジュール１５９に与える。ここで、例えば、バーチャル・ロボット１３３は、所定の通信規約によって、信号の授受あるいは変換をする部分として構成されている。
【００６４】
入力セマンティクス・コンバータ・モジュール１５９は、これら各信号処理モジュール１５０〜１５８から与えられる処理結果に基づいて、「うるさい」、「暑い」、「明るい」、「ボールを検出した」、「転倒を検出した」、「撫でられた」、「叩かれた」、「ドミソの音階が聞こえた」、「動く物体を検出した」、又は、「障害物を検出した」、「人Ａを見つけた（認識した）」などの自己及び周囲の状況を認識したり、使用者からの指令及び働きかけを認識したりして、認識結果をアプリケーション・レイヤ１４１に出力するようになっている。
【００６５】
図７には、アプリケーション・レイヤ１４ｌの具体なソフトウェア構成を詳細に示している。同図に示すように、アプリケーション・レイヤ１４ｌは、行動モデル・ライブラリ１７０、行動切換えモジュール１７１、学習モジュール１７２、感情モデル１７３、及び本能モデル１７４の５つのモジュールで構成される。
【００６６】
図８には、行動モデル・ライブラリ１７０の具体的なソフトウェア構成を詳細に示している。同図に示すように、行動モデル・ライブラリ１７０には、「バッテリ残量が少なくなった場合」、「転倒復帰する」、「障害物を回避する場合」、「感情を表現する場合」、「ボールを検出した場合」、「人Ａを見つけた（認識した）」などのあらかじめ選択された幾つかの条件項目に対応させて、それぞれ独立した行動モデル１７０−１〜１７０−ｎが設けられている。
【００６７】
そして、これら行動モデル１７０−１〜１７０−ｎは、それぞれ入力セマンティクス・コンバータ・モジュール１５９から認識結果が与えられたときや、最後の認識結果が与えられてから一定時間が経過したときなどに、後述するように、必要に応じて感情モデル１７３に保持されている対応する情動のパラメータ値や、本能モデル１７４に保持されている対応する欲求のパラメータ値を参照しながら後続の行動をそれぞれ決定して、この決定結果を行動切換えモジュール１７１に出力するになっている。
【００６８】
なお、本実施形態の場合、各行動モデル１７０−１〜１７０−ｎは、次の行動を決定する手法として、図９に示すような有限確率オートマトンと呼ばれるアルゴリズムを用いる。有限確率オートマトンによれば、同図に示すように、１つのノード（状態）ＮＯＤＥ０〜ＮＯＤＥｎから他のいずれのノードＮＯＤＥ０〜ＮＯＤＥｎに遷移するかを各ノードＮＯＤＥ０〜ＮＯＤＥｎに間を接続するアークＡＲＣ１〜ＡＲＣｎに対してそれぞれ設定された遷移確率Ｐ１〜Ｐｎに基づいて確率的に決定することができる。
【００６９】
具体的には、各行動モデル１７０−１〜１７０−ｎは、それぞれ自己の行動モデル１７０−１〜１７０−ｎを形成するノードＮＯＤＥ０〜ＮＯＤＥｎにそれぞれ対応させて、これらノードＮＯＤＥ０〜ＮＯＤＥｎ毎に、図１０に示すような状態遷移表１８０を有している。
【００７０】
この状態遷移表１８０では、そのノードＮＯＤＥ０〜ＮＯＤＥｎにおいて遷移条件とする入力イベント（認識結果）が「入力イベント名」の行に優先順に列記され、その遷移条件についてのさらなる条件が「データ名」及び「データ範囲」の行における対応する列に記述されている。
【００７１】
例えば、図１０に示す状態遷移表１８０で表されるノードＮＯＤＥ１００では、「ボールを検出（ＢＡＬＬ）」という認識結果が与えられた場合に、当該認識結果とともに与えられるそのボールの「大きさ（ＳＩＺＥ）」が「０から１０００」の範囲であることが他のノードに遷移するための条件となっている。同様に、「障害物を検出（ＯＢＳＴＡＣＬＥ）」という認識結果が与えられた場合には、当該認識結果とともに与えられるその障害物までの「距離（ＤＩＳＴＡＮＣＥ）」が「０から１００」の範囲であることが他のノードに遷移するための条件である。
【００７２】
また、このノードＮＯＤＥ１００では、認識結果の入力がない場合においても、行動モデル１７０−１〜１７０−ｎが周期的に参照する感情モデル１７３及び本能モデル１７４にそれぞれ保持された各情動及び各欲求のパラメータ値のうち、感情モデル１７３に保持された「喜び（ＪＯＹ）」、「驚き（ＳＵＲＰＲＩＳＥ）」、若しくは「悲しみ（ＳＵＤＮＥＳＳ）」のいずれかのパラメータ値が「５０から１００」の範囲であるときには、他のノードに遷移することができるようになっている。
【００７３】
また、状態遷移表１８０では、「他のノードヘの遷移確率」の欄における「遷移先ノード」の列にそのノードＮＯＤＥ０〜 ＮＯＤＥｎから遷移できるノード名が列記されているとともに、「入力イベント名」、「データ値」及び「データの範囲」の行に記述されたすべての条件が揃ったときに遷移できる他の各ノードＮＯＤＥ０〜ＮＯＤＥｎへの遷移確率が「他のノードヘの遷移確率」の欄内の対応する箇所にそれぞれ記述されており、そのノードＮＯＤＥ０〜ＮＯＤＥｎに遷移する際に出力すべき行動が「他のノードヘの遷移確率」の欄における「出力行動」の行に記述されている。なお、「他のノードヘの遷移確率」の欄における各行の確率の和は１００［％］となる。
【００７４】
したがって、図１０に示す状態遷移表１８０で表されるノードＮＯＤＥ１００では、例えば「ボールを検出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大きさ）」が「０から１０００」の範囲であるという認識結果が与えられた場合には、「３０［％］」の確率で「ノードＮＯＤＥ１２０（ｎｏｄｅ １２０）」に遷移でき、そのとき「ＡＣＴＩＯＮ１」の行動が出力すなわち機体動作が実行されることとなる。
【００７５】
各行動モデル１７０−１〜１７０−ｎは、それぞれこのような状態遷移表１８０として記述されたノードＮＯＤＥ０〜 ＮＯＤＥｎがいくつも繋がるようにして構成されている。したがって、入力セマンティクス・コンバータ・モジュール１５９から認識結果が与えられたときなどに、対応するノードＮＯＤＥ０〜ＮＯＤＥｎの状態遷移表を利用して確率的に次の行動を決定し、決定結果を行動切換えモジュール１７１に出力するようなっている。また、図１０に示す状態遷移表に、「人Ａを見つけた（認識した）」という入力イベント名を持つエントリを用意し、さらに遷移条件などを記述しておくことにより、ロボット装置１００が特定のユーザを認識したときに起こすべきリアクションを規定することができる。
【００７６】
図７に示した行動切換えモジュール１７１は、行動モデル・ライブラリ１７０の各行動モデル１７０−１〜１７０−ｎからそれぞれ出力される行動のうち、あらかじめ定められた優先順位の高い行動モデル１７０−１〜１７０−ｎから出力された行動を選択して、当該行動を実行すべき旨のコマンド（以下、これを「行動コマンド」という。）をミドルウェア・レイヤ１４０の出力セマンティクス・コンバータ・モジュール１６８に送出するようになっている。なお、本実施形態においては、図８において下側に表記された行動モデル１７０−１〜１７０−ｎほど優先順位が高く設定されているものとする。
【００７７】
また、行動切換えモジュール１７１は、行動完了後に出力セマンティクス・コンバータ・モジュール１６８から与えられる行動完了情報に基づいて、その行動が完了したことを学習モジュール１７２、感情モデル１７３、並びに本能モデル１７４に通知する。
【００７８】
一方、学習モジュール１７２は、入力セマンティクス・コンバータ・モジュール１５９から与えられる認識結果のうち、「叩かれた」や「撫でられた」など、使用者からの働きかけとして受けた教示の認識結果を入力する。
【００７９】
そして、学習モジュール１７２は、この認識結果及び行動切換えモジュール１７１からの通知に基づいて、「叩かれた（叱られた）」ときにはその行動の発現確率を低下させ、「撫でられた（誉められた）」ときにはその行動の発現確率を上昇させるように、行動モデル・ライブラリ１７０における対応する行動モデル１７０−１〜１７０−ｎの対応する遷移確率を変更する。
【００８０】
他方、感情モデル１７３は、「喜び（ｊｏｙ）」、「悲しみ（ｓａｄｎｅｓｓ）」、「怒り（ａｎｇｅｒ）」、「驚き（ｓｕｒｐｒｉｓｅ）」、「嫌悪（ｄｉｓｇｕｓｔ）」及び「恐れ（ｆｅａｒ）」の合計６つの情動について、情動毎にその情動の強さを表すパラメータを保持している。そして、感情モデル１７３は、これら各情動のパラメータ値を、それぞれ入力セマンティクス・コンバータ・モジュール１５９から与えられる「叩かれた」及び「撫でられた」などの特定の認識結果と、経過時間及び行動切換えモジュール１７１からの通知となどに基づいて周期的に更新する。
【００８１】
具体的には、感情モデル１７３は、入力セマンティクス・コンバータ・モジュール１５９から与えられる認識結果と、そのときのロボット装置１００の行動と、前回更新してからの経過時間となどに基づいて所定の演算式により算出されるそのときのその情動の変動量を△Ｅ［ｔ］、現在のその情動のパラメータ値をＥ［ｔ］、その情動の感度を表す係数をｋｅとして、下式（１）によって次の周期におけるその情動のパラメータ値Ｅ［ｔ＋１］を算出し、これを現在のその情動のパラメータ値Ｅ［ｔ］と置き換えるようにして、その情動のパラメータ値を更新する。また、感情モデル１７３は、これと同様にしてすべての情動のパラメータ値を更新する。
【００８２】
【数１】
【００８３】
なお、各認識結果や出力セマンティクス・コンバータ・モジュール１６８からの通知が各情動のパラメータ値の変動量△Ｅ［ｔ］にどの程度の影響を与えるかはあらかじめ決められている。例えば、「叩かれた」といった認識結果は、「怒り」を表す情動のパラメータ値の変動量△Ｅ［ｔ］に大きな影響を与える。また、「撫でられた」といった認識結果は、「喜び」を表す情動のパラメータ値の変動量△Ｅ［ｔ］に大きな影響を与えるようになっている。
【００８４】
ここで、出力セマンティクス・コンバータ・モジュール１６８からの通知とは、いわゆる行動のフィードバック情報（行動完了情報）であり、行動の出現結果の情報である。感情モデル１７３は、このような情報によっても感情を変化させる。これは、例えば、「吠える」といった行動により怒りの感情レベルが下がるといったようなことである。なお、出力セマンティクス・コンバータ・モジュール１６８からの通知は、上述した学習モジュール１７２にも入力されている。学習モジュール１７２は、その通知に基づいて行動モデル１７０−１〜１７０−ｎの対応する遷移確率を変更する。
【００８５】
なお、行動結果のフィードバックは、行動切換えモジュレータ１７１の出力（感情が付加された行動）によりなされるものであってもよい。
【００８６】
一方、本能モデル１７４は、「運動欲（ｅｘｅｒｃｉｓｅ）」、「愛情欲（ａｆｆｅｃｔｉｏｎ）」、「食欲（ａｐｐｅｔｉｔｅ）」及び「好奇心（ｃｕｒｉｏｓｉｔｙ）」の互いに独立した４つの欲求について、これら欲求毎にその欲求の強さを表すパラメータを保持している。そして、本能モデル１７４は、これらの欲求のパラメータ値を、それぞれ入力セマンティクス・コンバータ・モジュール１５９から与えられる認識結果や、経過時間及び行動切換えモジュール１７１からの通知などに基づいて周期的に更新する。
【００８７】
具体的には、本能モデル１７４は、「運動欲」、「愛情欲」及び「好奇心」については、認識結果、経過時間及び出力セマンティクス・コンバータ・モジュール１６８からの通知などに基づいて所定の演算式により算出されるそのときのその欲求の変動量をΔＩ［ｋ］、現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の感度を表す係数ｋｉとして、所定周期で下式（２）を用いて次の周期におけるその欲求のパラメータ値Ｉ［ｋ＋１］を算出し、この演算結果を現在のその欲求のパラメータ値Ｉ［ｋ］と置き換えるようにしてその欲求のパラメータ値を更新する。また、本能モデル１７４は、これと同様にして「食欲」を除く各欲求のパラメータ値を更新する。
【００８８】
【数２】
【００８９】
なお、認識結果及び出力セマンティクス・コンバータ・モジュール１６８からの通知などが各欲求のパラメータ値の変動量△Ｉ［ｋ］にどの程度の影響を与えるかはあらかじめ決められている。例えば、出力セマンティクス・コンバータ・モジュール１６８からの通知は、「疲れ」のパラメータ値の変動量△Ｉ［ｋ］に大きな影響を与えるようになっている。
【００９０】
なお、本実施の形態においては、各情動及び各欲求（本能）のパラメータ値がそれぞれ０から１００までの範囲で変動するように規制されており、また係数ｋｅ、ｋｉの値も情動毎及び欲求毎に個別に設定されている。
【００９１】
一方、ミドルウェア・レイヤ１４０の出力セマンティクス・コンバータ・モジュール１６８は、図６に示したように、上述のようにしてアプリケーション・レイヤ１４１の行動切換えモジュール１７１から与えられる「前進」、「喜ぶ」、「鳴く」又は「トラッキング（ボールを追いかける）」といった抽象的な行動コマンドを出力系セマンティックス・コンバータ・モジュール１６９内の対応する信号処理モジュール１６１〜１６７に与える。
【００９２】
そして、これら信号処理モジュール１６１〜１６７は、行動コマンドが与えられると、当該行動コマンドに基づいて、その行動を行うために対応するアクチュエータ１２５−１〜１２５−ｎ（図４を参照のこと）に与えるべきサーボ指令値や、スピーカ１２４から出力する音の音声データなどの駆動データを生成して、これらのデータをロボティック・サーバ・オブジェクト１３２のバーチャル・ロボット１３３及び信号処理回路１１４を順次介して対応するアクチュエータ１２５−１〜１２５−ｎ又はスピーカ１２４に順次送出する。
【００９３】
このようにしてロボット装置１００においては、制御プログラムに基づいて、自己（内部）及び周囲（外部）の状況や、使用者からの指示及び働きかけに応じた自律的な行動を行うことができるようになされている。
【００９４】
Ｃ．ロボット装置による顔識別
インテリジェントなロボット装置には、動的に変化する作業環境下で一定時間内に応答できるようなヒューマン・インターフェース技術が要求されている。本実施形態に係るロボット装置１００は、顔認識技術を適用することにより、多くの中からユーザ（飼い主又はともだち、若しくは正当なユーザ）を識別するとともに、認識結果に基づいて（すなわちユーザに応じて）リアクションを制御することによって、より高いエンターテインメント性を実現する。
【００９５】
本実施形態に係る顔認識システム１０００は、動的に変化する環境下で一定時間内に応答することができるが、ＣＣＤカメラによる撮像画像から顔パターンを抽出する顔抽出処理部１００１と、抽出された顔パターンを基に顔を認識する顔認識部１００２で構成される。本実施形態では、顔パターンを抽出する（顔画像の特徴量を抽出する）顔抽出処理には、方位選択性を持ち周波数成分の異なる複数のフィルタを用いることにより、前記顔画像の特徴量を抽出する「ガボア・フィルタリング（Ｇａｂｏｒ Ｆｉｌｔｅｒｉｎｇ）」を採用している。また、顔パターンから顔を認識する顔認識処理には、カーネル関数を用いて非線形な写像を行ない、該写像後の特徴空間内で分離する超平面を求めることにより、特定の顔と、該特定の顔以外の顔とを識別する「サポート・ベクタ・マシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：ＳＶＭ）」を採用している。
【００９６】
この顔認識システム１０００は、顔パターンを顔認識部が学習する学習段階と、学習されたデータを基に、撮像画像から抽出された顔パターンを認識する認識段階を持つ。
【００９７】
図１１には、本実施形態に係る顔認識システム１０００の学習段階の構成を、また、図１２には、同顔認識システム１０００の認識段階の構成をそれぞれ示している。
【００９８】
学習段階においては、図１１に示すように、ＣＣＤカメラから入力されたユーザの撮像画像をガボア・フィルタリング１００１で顔抽出した結果がサポート・ベクタ・マシン１００２に投入される。サポート・ベクタ・マシン１００２では、外部から供給される学習用のデータすなわち教師データを用いて、暫定的な識別関数を得る。
【００９９】
また、識別段階においては、図１２に示すように、ＣＣＤカメラから入力されたユーザの撮像画像をガボア・フィルタリング１００１で顔抽出した結果がサポート・ベクタ・マシン１００２に投入される。サポート・ベクタ・マシン１００２では、暫定的に得られた識別関数をさまざまなデータベース上の画像に試して顔の検出を行なう。そして、検出に成功したものを顔データとして出力する。また、検出に失敗したものを非顔データとして学習データに追加して、さらに学習をし直す。
【０１００】
以下では、ガボア・フィルタリングとサポート・ベクタ・マシンについて、それぞれ詳細に説明する。
【０１０１】
ガボア・フィルタリング：
人間の視覚細胞には、ある特定の方位に対して選択性を持つ細胞が存在することが既に判っている。これは、垂直の線に対して発火する細胞と、水平の線に反応する細胞で構成される。ガボア・フィルタリングは、これと同様に、方位選択性を持つ複数のフィルタで構成される空間フィルタである。
【０１０２】
ガボア・フィルタは、ガボア関数によって空間表現される。ガボア関数ｇ（ｘ，ｙ）は、下式（３）に示すように、コサイン成分からなるキャリアｓ（ｘ，ｙ）と、２次元ガウス分布状のエンベロープｗr（ｘ，ｙ）とで構成される。
【０１０３】
【数３】
【０１０４】
キャリアｓ（ｘ，ｙ）は、複素関数を用いて、下式（４）のように表現される。ここで、座標値（ｕ0，ｖ0）は空間周波数を表し、また、Ｐはコサイン成分の位相を表す。
【０１０５】
【数４】
【０１０６】
上式（４）に示すキャリアは、下式（５）に示すように、実数成分Ｒｅ（ｓ（ｘ，ｙ））と虚数成分Ｉｍ（ｓ（ｘ，ｙ））に分離することができる。
【０１０７】
【数５】
【０１０８】
一方、２次元ガウス分布からなるエンベロープは、下式（６）のように表現される。
【０１０９】
【数６】
【０１１０】
ここで、座標値（ｘ0，ｙ0）はこの関数のピークであり、定数ａ及びｂはガウス分布のスケール・パラメータである。また、添え字ｒは、下式（７）に示すような回転操作を意味する。
【０１１１】
【数７】
【０１１２】
したがって、上式（４）及び上式（６）より、ガボア・フィルタは、下式（８）に示すような空間関数として表現される。
【０１１３】
【数８】
【０１１４】
本実施形態に係る顔抽出部１００１は、８種類の方向と３通りの周波数を採用して、合計２４個のガボア・フィルタを用いて顔抽出処理を行なう。本実施形態で使用されるガボア・フィルタの空間領域での様相を図１３〜図３６に示しておく。このうち、図１３〜図２０は、方向を２２．５度ずつずらした高周波成分のガボア・フィルタである。また、図２１〜図２８は、方向を２２．５度ずつずらした中周波成分のガボア・フィルタである。また、図２９〜図３６は、方向を２２．５度ずつずらした低周波成分のガボア・フィルタである。但し、各図における濃淡は紙面に直交する座標軸方向の成分に相当すると理解されたい。
【０１１５】
ガボア・フィルタのレスポンスは、Ｇiをｉ番目のガボア・フィルタとし、ｉ番目のガボアの結果（Ｇａｂｏｒ Ｊｅｔ）をＪiとし、入力イメージをＩとし、すると、以下の式（９）で表される。式（９）の演算は、実際には高速フーリエ変換を用いて高速化することができる。
【０１１６】
【数９】
【０１１７】
図３７に示すような入力画像（但し、入力画像は２０×２０画素とする）を、図１３〜図３６に示す各ガボア・フィルタでフィルタリングされた結果を、図３８〜図６１に示しておく。ガボア・フィルタは、たいていすべての周波数を埋め尽くすことができる。
【０１１８】
作成したガボア・フィルタの性能を調べるためには、フィルタリングして得られた画像を再構築することによって行なう。再構築されたイメージＨは、下式（１０）のように表される。
【０１１９】
【数１０】
【０１２０】
そして、入力画像Ｉと再構築された画像ＨとのエラーＥは、下式（１１）のように表される。
【０１２１】
【数１１】
【０１２２】
このエラーＥを最小にするような最適なａを求めることにより再構築することができる。
【０１２３】
サポート・ベクタ・マシン：
本実施形態では、顔認識に関して、パターン認識の分野で最も学習汎化能力が高いとされるサポート・ベクタ・マシン（ＳＶＭ）を用いて該当する顔か否かの識別を行なう。
【０１２４】
ＳＶＭ自体に関しては、例えばＢ．ｓｈｏｌｋｏｐｆ外著の報告（Ｂ． Ｓｈｏｌｋｏｐｆ，Ｃ．Ｂｕｒｇｅｓ，Ａ．Ｓｍｏｌａ，“Ａｄｖａｎｃｅ ｉｎ Ｋｅｒｎｅｌ Ｍｅｔｈｏｄｓ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｌｅａｒｎｉｎｇ”，Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ，１９９９．）を挙げることができる。本発明者らが行なった予備実験の結果からは、ＳＶＭによる顔認識方法は、主成分分析（ＰＣＡ）やニューラル・ネットワークを用いる手法に比べ、良好な結果を示すことが判っている。
【０１２５】
ＳＶＭは、識別関数に線形識別器(パーセプトロン)を用いた学習機械であり、カーネル関数を使うことで非線形空間に拡張することができる。また、識別関数の学習では、クラス間分離のマージンを最大にとるように行なわれ、その解は２次数理計画法を解くことで得られるため、グローバル解に到達できることを理論的に保証することができる。
【０１２６】
通常、パターン認識の問題は、テスト・サンプルｘ＝（ｘ１，ｘ２，…，ｘｎ）に対して、以下の識別関数ｆ（ｘ）を求めることである。
【０１２７】
【数１２】
【０１２８】
ここで、ＳＶＭの学習用の教師ラベルを以下のようにおく。
【０１２９】
【数１３】
【０１３０】
すると、ＳＶＭにおける顔パターンの認識を以下に示す制約条件の下での重み因子ｗの二乗の最小化する問題としてとらえることができる。
【０１３１】
【数１４】
【０１３２】
このような制約のついた問題は、ラグランジュの未定定数法を用いて解くことができる。すなわち、以下に示すラグランジュをまず導入して、
【０１３３】
【数１５】
【０１３４】
次いで、下式に示すように、ｂ，ｗの各々について偏微分する。
【０１３５】
【数１６】
【０１３６】
この結果、ＳＶＭにおける顔パターンの識別を以下に示す２次計画問題としてとらえることができる。
【０１３７】
【数１７】
【０１３８】
特徴空間の次元数が、訓練サンプルの数よりも少ない場合は、スラック変数ξ≧０を導入して、制約条件を以下のように変更する。
【０１３９】
【数１８】
【０１４０】
最適化については、以下の目的関数を最小化する。
【０１４１】
【数１９】
【０１４２】
上式（１９）において、Ｃは、制約条件をどこまで緩めるかを指定する係数であり、実験的に値を決定する必要がある。
【０１４３】
【数２０】
【０１４４】
しかし、上式（２０）のままでは、非線型の問題を解くことはできない。そこで、本実施形態では、カーネル関数Ｋ（ｘ，ｘ'）を導入して、一旦、高次元の空間に写像して（カーネル・トリック）、その空間で線形分離することにしている。したがって、元の空間では非線型分離していることと同等となる。
【０１４５】
カーネル関数は、ある写像Φを用いて下式のように表される。
【０１４６】
【数２１】
【０１４７】
また、式（１２）に示した識別関数も、以下のように表すことができる。
【０１４８】
【数２２】
【０１４９】
また、学習に関しても、以下に示す２次計画問題としてとらえることができる。
【０１５０】
【数２３】
【０１５１】
カーネルとしては、以下に示すガウシアン・カーネル（ＲＢＦ（Ｒａｄｉｕｓ Ｂａｓｉｃ Ｆｕｎｃｔｉｏｎ））などを用いることができる。
【０１５２】
【数２４】
【０１５３】
なお、ガボア・フィルタリングに関しては、認識タスクに応じてフィルタの種類を変更するようにしてもよい。
【０１５４】
低周波でのフィルタリングでは、フィルタリング後のイメージすべてをベクトルとして持っているのは冗長である。そこで、ダウンサンプリングして、ベクトルの次元を落すようにしてもよい。ダウンサンプリングされた２４種類のベクトルを一列に並べ、長いベクトルにする。
【０１５５】
また、本実施形態において顔パターンの認識に適用されるＳＶＭは、特徴空間を２分する識別器なので、「人Ａ」か「人Ａでない」かを判別するように学習する。そのため、データベースの画像中から、まず人Ａの顔画像を集め、ガボア・フィルタリング後のベクトルに「人Ａでない」というラベルを貼る。一般に、集める顔画像の数は、特徴空間の次元より多い方がよい。１０人の顔を認識したい場合は、同様に、「人Ｂである」、「人Ｂでない」…のように、それぞれの人に対して１つの識別器を構成する。
【０１５６】
このような学習により、例えば、「人Ａ」と「人Ａでない」を分けるサポート・ベクタが求まる。ＳＶＭは、特徴空間を２つに仕切る識別器であり、新しい顔画像が入力されてきたときに、やはりガボア・フィルタリングのベクトルが、求めたサポート・ベクタが構成する境界面のどちら側にあるかで認識結果を出力する。そして、境界に対して、「人Ａ」の領域にあれば「人Ａ」と認識することができる。また、「人Ａではない」領域であれば「人Ａでない」と認識される。
【０１５７】
ＣＣＤカメラなどから入力される入力画像から顔の部分として切り取られる領域は一定ではない。このため、特徴空間で認識したいカテゴリとは離れた点に投影される可能性がある。したがって、目や鼻、口といった特徴を持つパーツを推定してアフィン変換によりモーフィングすることにより認識率が向上する可能性がある。
【０１５８】
また、認識性能を上げるために、ブートストラップ手法を採用することができる。学習に用いる画像とは別に画像を撮影して、ブートストラップに用いる。これは、学習した識別器が誤った認識結果を出したときに、その入力画像を学習セットに投入して学習し直すことを意味する。
【０１５９】
また、認識性能を上げるために、認識結果の時間変化を見る方法もある。最も簡単な方法では、１０回中８回「人Ａ」と認識されたら「人Ａ」と認識するなどである。他に、カルマン・フィルタを用いた予測法なども提案されている。
【０１６０】
他の実施形態
上述したように、顔抽出部１００１では、認識タスクに応じて前記ガボア・フィルタの種類を変更することができる。ここで言うガボア・フィルタの種類とは、具体的には、周波数の数と各周波数、方向の数と各方向を設定することを指す。
【０１６１】
上述した例では、ガボア・フィルタの周波数を３種類用意しているが、周波数が１つだけでも顔画像を認識することができる。勿論、認識率が低下する可能性はあるが、このことは計算量の削減にもつながる。限られた計算機資源を動作制御や内部状態（感情や本能）制御などの多くのプログラムで消費するエンターテインメント・ロボットにおいては、計算量の削減は大きなメリットとなる。
【０１６２】
本実施形態に係る顔認識システム１０００を搭載するロボット１００（図１〜３を参照のこと）においては、例えば２台のカメラによるステレオ視から距離情報を取得するように構成されている。この距離情報を用いて、ガボア・フィルタを工夫することができる。
【０１６３】
顔の大きさと距離の関係は前もって求めることができる。また、顔画像の大きさとガボア・フィルタの周波数との間には一定の関係がある。つまり、顔画像が小さいときには高い周波数で特徴抽出を行なう必要があるが、顔画像が大きいときには低い周波数でよい。
【０１６４】
顔領域だけ切り取られた画像入力でない場合には、画像全体から、どこに顔があり、その顔が誰であるかを識別しなくてはならない。このような場合、距離画像の分布から、その距離に応じた周波数を選択するということができる。そして、その結果を後続のサポート・ベクタ・マシン（ＳＶＭ：後述）で識別する。
【０１６５】
以下では、距離情報を利用したガボア・フィルタによる顔抽出処理の手順について説明する。
【０１６６】
［準備］
１：画像中での顔の大きさ（Ｔ画素×Ｔ画素）と距離（Ｍｃｍ）の関係を求める。 図６２において、横軸に距離、縦軸に顔画像の大きさをとる。ここで、縦軸は顔画像が正方領域であるとし、その辺の長さをとっている。これは、例えば、ある決められた距離で画像を撮影し、この中で顔領域がどのくらいの大きさであるかを人間が計測する。
【０１６７】
２：各大きさの顔画像を高速フーリエ変換（ＦＦＴ）により、周波数領域でのピークを求める（図６３を参照のこと）。さまざまな大きさの顔画像を撮影し、それぞれの周波数のピークを求める。
【０１６８】
３：距離と周波数の関係を求める（図６４を参照のこと）。上記１，２を基に、図６４に示す距離と周波数の関係を求める
【０１６９】
［認識］（図６５を参照のこと）
１：ある画像に対して距離を求める
（画像中の各画素に対して３次元座標が決定される）。
【０１７０】
２：距離から周波数を求める。
準備の手順３で得られた関係から周波数を求める
【０１７１】
３：求められた周波数のガボア・フィルタにより特徴抽出する。
【０１７２】
４：得られた画像をサポート・ベクタ・マシンで識別し、特定顔か非特定顔であるかを求める。
【０１７３】
追補
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。
【０１７４】
本発明の要旨は、必ずしも「ロボット」と称される製品には限定されない。すなわち、電気的若しくは磁気的な作用を用いて人間の動作に似せた運動を行う機械装置であるならば、例えば玩具等のような他の産業分野に属する製品であっても、同様に本発明を適用することができる。
【０１７５】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１７６】
【発明の効果】
以上詳記したように、本発明によれば、動的に変化する作業環境下で一定時間内に応答できるようなヒューマン・インターフェースを備えたロボット装置、並びに、ロボット用にヒューマン・インターフェースとして適用することができる、優れた顔認識方法及び顔認識装置を提供することができる。
【０１７７】
また、本発明によれば、動的に変化する作業環境下でユーザの顔を一定時間内に認識することができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することができる。
【０１７８】
また、本発明によれば、モーフィングなどの位置合わせを行なう必要なく、回転、位置などの変化に対してロバストな顔認識を行なうことができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することができる。
【０１７９】
また、本発明によれば、照明条件やカメラ・パラメータが異なる環境下でロバストな顔認識を行なうことができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することができる。
【０１８０】
【図面の簡単な説明】
【図１】 図１は、本発明の実施に供される脚式移動ロボット１００を前方から眺望した様子を示した図である。
【図２】 図２は、本発明の実施に供される脚式移動ロボット１００を後方から眺望した様子を示した図である。
【図３】 図３は、本実施形態に係る脚式移動ロボット１００が具備する自由度構成モデルを模式的に示した図である。
【図４】 図４は、脚式移動ロボット１００の制御システム構成を模式的に示した図である。
【図５】 図５は、本実施形態に係るロボット装置１００の処理動作を実現するための制御プログラムのソフトウェア構成を模式的に示した図である。
【図６】 図６は、ミドルウェア・レイヤ１４０の具体なソフトウェア構成を詳細に示した図である。
【図７】 図７は、アプリケーション・レイヤ１４１の具体なソフトウェア構成を詳細に示した図である。
【図８】 図８は、行動モデル・ライブラリ１７０の具体的なソフトウェア構成を詳細に示した図である。
【図９】 図９は、各行動モデル１７０−１〜１７０−ｎから次の行動を決定するための有限確率オートマトンの仕組みを示した図である。
【図１０】 図１０は、自己の行動モデル１７０−１〜１７０−ｎを形成するノードＮＯＤＥ０〜ＮＯＤＥｎにそれぞれ対応させて用意された状態遷移表を示した図である。
【図１１】 図１１は、本実施形態に係る顔認識システム１０００の学習段階における機能構成を示したブロック図である。
【図１２】 図１２は、本実施形態に係る顔認識システム１０００の認識段階における機能構成を示したブロック図である。
【図１３】 図１３は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図１４】 図１４は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図１５】 図１５は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図１６】 図１６は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図１７】 図１７は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図１８】 図１８は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図１９】 図１９は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２０】 図２０は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２１】 図２１は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２２】 図２２は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２３】 図２３は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２４】 図２４は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２５】 図２５は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２６】 図２６は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２７】 図２７は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２８】 図２８は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２９】 図２９は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３０】 図３０は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３１】 図３１は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３２】 図３２は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３３】 図３３は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３４】 図３４は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３５】 図３５は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３６】 図３６は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３７】 図３７は、入力画像の一例を示した図である。
【図３８】 図３８は、図３７に示す入力画像を、図１３に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図３９】 図３９は、図３７に示す入力画像を、図１４に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４０】 図４０は、図３７に示す入力画像を、図１５に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４１】 図４１は、図３７に示す入力画像を、図１６に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４２】 図４２は、図３７に示す入力画像を、図１７に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４３】 図４３は、図３７に示す入力画像を、図１８に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４４】 図４４は、図３７に示す入力画像を、図１９に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４５】 図４５は、図３７に示す入力画像を、図２０に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４６】 図４６は、図３７に示す入力画像を、図２１に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４７】 図４７は、図３７に示す入力画像を、図２２に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４８】 図４８は、図３７に示す入力画像を、図２３に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４９】 図４９は、図３７に示す入力画像を、図２４に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５０】 図５０は、図３７に示す入力画像を、図２５に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５１】 図５１は、図３７に示す入力画像を、図２６に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５２】 図５２は、図３７に示す入力画像を、図２７に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５３】 図５３は、図３７に示す入力画像を、図２８に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５４】 図５４は、図３７に示す入力画像を、図２９に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５５】 図５５は、図３７に示す入力画像を、図３０に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５６】 図５６は、図３７に示す入力画像を、図３１に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５７】 図５７は、図３７に示す入力画像を、図３２に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５８】 図５８は、図３７に示す入力画像を、図３３に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５９】 図５９は、図３７に示す入力画像を、図３４に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図６０】 図６０は、図３７に示す入力画像を、図３５に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図６１】 図６１は、図３７に示す入力画像を、図３６に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図６２】 図６２は、画像中の顔の大きさと距離の関係を示した図である。
【図６３】 図６３は、各顔の大きさの画像を高速フーリエ変換して周波数領域のピークを求める処理を説明するための図である。
【図６４】 図６４は、距離とガボア・フィルタの周波数の関係を示した図である。
【図６５】 図６５は、距離情報を利用したガボア・フィルタによる顔抽出処理の手順を示したフローチャートである。
【発明の属する技術分野】
本発明は、動的に変化する作業環境下で一定時間内に応答できるようなヒューマン・インターフェースを備えたロボット装置、並びに、ロボット用にヒューマン・インターフェースとして適用することができる顔認識方法及び顔認識装置に係り、動的に変化する作業環境下でユーザの顔を一定時間内に認識することができるロボット装置、並びに、顔認識方法及び顔認識装置に関する。
【０００２】
さらに詳しくは、本発明は、モーフィングなどの位置合わせを行なう必要なく、回転、位置などの変化に対してロバストな顔認識を行なうロボット装置、顔認識方法及び顔認識装置に係り、特に、照明条件やカメラ・パラメータが異なる環境下でロバストな顔認識を行なうロボット装置、顔認識方法及び顔認識装置に関する。
【０００３】
【従来の技術】
顔認識の技術は、ユーザに負担をかけない個人認証システムをはじめとして、性別の識別など、マンマシン・インターフェースに幅広く適用が可能である。初期は横顔を使った認識技術も検討されたが、現在は、正面画像の認識技術が中心となっている。
【０００４】
顔認識に関する研究は、パターン認識理論を検証する上でベンチマーク的な位置付けを持っており、古くからさまざまな手法が開発されてきた。そこで想定されていたアプリケーションは、セキュリティ・システムにおける認証や大規模データベースからの人物検索など、静的な環境下で正確性を要するものがほとんどである。
【０００５】
ところで、近年、外観形状が犬などの動物に模して形成され、エンターテインメントとしてのロボット装置が提供されている。例えば、ソニー株式会社は、２０００年１１月２５日に２足歩行の人間型ロボット"ＳＤＲ−３Ｘ"を公表した。この種の脚式移動ロボットは、不安定で姿勢制御や歩行制御が難しくなるが、階段や梯子の昇降や障害物の乗り越えなど、整地・不整地の区別を問わない柔軟な歩行・走行動作を実現できるという点で優れている。さらにロボットのインテリジェンスを高め、自律的な装置動作を可能とすることにより、同じ住空間において人間とロボットが共存することも夢ではなくなる。
【０００６】
インテリジェントなロボット装置は、外部からの情報（例えば、周囲環境の情報など）や内部の状態（例えば、感情状態など）などに応じて目や脚などを自律的に動作させることで、動物のような仕草を表出させることができる。
【０００７】
このようなロボット装置の出現により、動的に変化する作業環境下で一定時間内に応答できるようなヒューマン・インターフェース技術が要求されてきており、その１つとしてロボット装置による顔識別を挙げることができる。例えば、顔識別を利用することにより、ロボット装置は、多くの中からユーザ（飼い主又はともだち、若しくは正当なユーザ）を識別することができ、ユーザ毎にリアクションを変えるなどして、よりエンターテインメント性のあるものとなる。
【０００８】
ロボット装置への適用が求められている顔認識技術は、セキュリティ・システムにおける認証や大規模データベースからの人物検索などの適用分野とは相違し、多少不正確であっても、動的に変化する環境下で一定時間内に応答できることである。
【０００９】
こうしたロボット装置に搭載される顔識別のアプリケーションでは、ある与えられた１枚のシーンの中から人物を識別するという問題に加え、次のような問題を解決する必要がある。
【００１０】
（１）ロボット装置自身が移動するため、環境の変化やその多様性を許容しなくてはならない。
【００１１】
（２）人間とロボット装置の位置関係も変化するため、インタラクション中に人間を視野内に入れ続ける必要がある。
【００１２】
（３）数多くのシーン画像から人物の識別に使える画像を選び出し、総合的に判断しなくてはならない。
【００１３】
（４）ある時間内に応答しなくてはならない。
【００１４】
従来、顔認識の手法は、ニューラル・ネットワークを用いた方法や、顔画像の各輝度値を要素とするベクトル空間に主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ Ａｎａｌｙｓｉｓ：ＰＣＡ）を適用する手法（固有空間法）などが主流であったが、これら従来技術には以下のような欠点がある。
【００１５】
まず、ニューラル・ネットワークによる顔認識では、インクリメンタルな学習が不可能である。
【００１６】
また、固有顔による方法の場合、直交する部分線形空間を仮定している（すなわち、２枚の顔画像の平均をとると人の顔になる）が、実際には線形でないことが多く、このために、モーフィング（ｍｏｒｐｈｉｎｇ）あるいはアラインメント（ａｌｉｇｎｍｅｍｔ）と呼ばれる正確な位置合わせが必要となる。この前処理により、位置、回転、大きさに対して正規化し、その影響をなくそうとするものもあるが、なかなかうまく処理できないこともあり、認識性能を低下させる原因になっている。また、顔空間の次元を著しく小さくしてその空間での分離をするため、高次元の特徴が失われる可能性もある。
【００１７】
また、上述したいずれの顔認識方法であっても、照明条件の変化やカメラ・パラメータの変化、ノイズ、位置、回転に対して影響を受け易く、ノイズ・フィルタリングやモーフィングなどの前処理を必要とする。また、汎化能力の点でも疑問が残る。
【００１８】
【発明が解決しようとする課題】
本発明の目的は、動的に変化する作業環境下で一定時間内に応答できるようなヒューマン・インターフェースを備えたロボット装置、並びに、ロボット用にヒューマン・インターフェースとして適用することができる、優れた顔認識方法及び顔認識装置を提供することにある。
【００１９】
本発明のさらなる目的は、動的に変化する作業環境下でユーザの顔を一定時間内に認識することができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することにある。
【００２０】
本発明のさらなる目的は、照明条件やカメラ・パラメータが異なる環境下でロバストな顔認識を行なうことができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することにある。
【００２１】
本発明のさらなる目的は、モーフィングなどの位置合わせを行なう必要なく、回転、位置などの変化に対してロバストな顔認識を行なうことができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することにある。
【００２２】
本発明のさらなる目的は、モーフィングなどの位置合わせを行なう必要なく、回転、位置などの変化に対してロバストな顔認識を行なうことができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することにある。
【００２３】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、自律的に行動するロボット装置であって、
顔画像を入力する画像入力手段と、
方位選択性を持ち周波数成分の異なる複数のフィルタを用いることにより、前記顔画像の特徴量を抽出する顔特徴量抽出手段と、
前記顔特徴量抽出手段による顔特徴量抽出結果を、カーネル関数を用いて非線形な写像を行ない、該写像後の特徴空間内で分離する超平面を求めることにより、特定の顔と、該特定の顔以外の顔とを識別する顔識別手段と、
を具備することを特徴とするロボット装置である。
【００２４】
ここで、前記顔特徴量抽出手段はガボア・フィルタで構成することができる。また、前記顔識別手段はサポート・ベクタ・マシンで構成することができる。
【００２５】
本発明の第１の側面によれば、ロボット装置は、入力画像に対してモーフィングなどの位置合わせを行なうことなく、すなわち、回転や位置などの変化に対してロバストな顔認識を行なうことができる。すなわち、ロボット装置は、動的に変化する作業環境下でユーザの顔を一定時間内に認識することができ、ユーザ毎の対応を実時間で行うことができる。
【００２６】
ここで、前記顔特徴量抽出手段は、認識タスクに応じて前記ガボア・フィルタの種類を変更するフィルタ変更手段をさらに備えていてもよい。
【００２７】
また、前記顔特徴量抽出手段は、低周波でのフィルタリングではフィルタリング後のイメージをダウンサンプリングして次元を落すようにすることができる。ダウンサンプリングされた各ベクトルを一列に並べて、長いベクトルを構成して、後段の顔識別手段に渡す。
【００２８】
また、本発明の第２の側面は、ロボット用のヒューマン・インターフェースとして適用可能な顔認識装置又は顔認識方法であって、
顔画像を入力する画像入力手段又はステップと、
方位選択性を持ち周波数成分の異なる複数のフィルタを用いることにより、前記顔画像の特徴量を抽出する顔特徴量抽出手段又はステップと、
前記顔特徴量抽出手段又はステップによる顔特徴量抽出結果を、カーネル関数を用いて非線形な写像を行ない、該写像後の特徴空間内で分離する超平面を求めることにより、特定の顔と、該特定の顔以外の顔とを識別する顔識別手段又はステップと、
を具備することを特徴とする顔認識装置又は顔認識方法である。
【００２９】
ここで、前記顔特徴量抽出手段はガボア・フィルタで構成することができる。また、前記顔識別手段はサポート・ベクタ・マシンで構成することができる。
【００３０】
本発明の第２の側面に係る顔認識装置又は顔認識方法によれば、入力画像に対してモーフィングなどの位置合わせを行なうことなく、すなわち、回転や位置などの変化に対してロバストな顔認識を行なうことができる。すなわち、動的に変化する作業環境下であってもユーザの顔を一定時間内に認識することができる。したがって、本発明の第２の側面に係る顔認識装置又は顔認識方法をロボット装置に適用することにより、該ロボット装置は、ユーザ毎に異なるリアクションを遅延時間なく実行することができるなど、エンターテインメント性を向上させることができる。
【００３１】
ここで、前記顔特徴量抽出手段又はステップは、認識タスクに応じて前記ガボア・フィルタの種類を変更するフィルタ変更手段又はステップをさらに備えていてもよい。
【００３２】
また、前記顔特徴量抽出手段又はステップは、低周波でのフィルタリングではフィルタリング後のイメージをダウンサンプリングして次元を落すようにすることができる。ダウンサンプリングされた各ベクトルを一列に並べて、長いベクトルを構成して、後段の顔認識手段又はステップに渡す。
【００３３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３５】
後述する本発明の実施形態は、本発明を、外観形状がヒトに模して形成された２足脚式移動のロボット装置すなわちヒューマノイド・ロボット（ｈｕｍａｎｏｉｄ ｒｏｂｏｔ）に適用したものである。但し、本発明の要旨はこれに限定されるものではなく、例えば犬などの４足脚式移動ロボットにも同様に本発明を適用することができる。
【００３６】
本実施形態に係るロボット装置は、外部からの情報（例えば、周囲環境の情報など）や内部の状態（例えば、感情状態など）などに応じて目や脚等を自律的に動作させることで、リアリティのある仕草を表出させている。そして、このロボット装置は、ヒューマン・インターフェースとしての顔認識機能を装備して、ユーザ（友達又は飼い主）などの顔を識別することができるものとして構成されており、顔認識結果に基づいて、ユーザ毎に異なるリアクションを形成することができる。
【００３７】
Ａ．ロボットの構成
図１及び図２には本発明の実施に供される脚式移動ロボット１００を前方及び後方の各々から眺望した様子を示している。さらに、図３には、この脚式移動ロボット１００が具備する関節自由度構成を模式的に示している。
【００３８】
図３に示すように、脚式移動ロボット１００は、２本の腕部と頭部１を含む上肢と、移動動作を実現する２本の脚部からなる下肢と、上肢と下肢とを連結する体幹部とで構成された、複数の肢を備えた構造体である。
【００３９】
頭部１を支持する首関節は、首関節ヨー軸２と、首関節ピッチ軸３と、首関節ロール軸４という３自由度を有している。
【００４０】
また、各腕部は、肩関節ピッチ軸８と、肩関節ロール軸９と、上腕ヨー軸１０と、肘関節ピッチ軸１１と、前腕ヨー軸１２と、手首関節ピッチ軸１３と、手首関節ロール軸１４と、手部１５とで構成される。手部１５は、実際には、複数本の指を含む多関節・多自由度構造体である。但し、手部１５の動作はロボット１００の姿勢制御や歩行制御に対する寄与や影響が少ないので、本明細書ではゼロ自由度と仮定する。したがって、各腕部は７自由度を有するとする。
【００４１】
また、体幹部は、体幹ピッチ軸５と、体幹ロール軸６と、体幹ヨー軸７という３自由度を有する。
【００４２】
また、下肢を構成する各々の脚部は、股関節ヨー軸１６と、股関節ピッチ軸１７と、股関節ロール軸１８と、膝関節ピッチ軸１９と、足首関節ピッチ軸２０と、足首関節ロール軸２１と、足部２２とで構成される。本明細書中では、股関節ピッチ軸１７と股関節ロール軸１８の交点は、本実施形態に係る脚式移動ロボット１００の股関節位置を定義する。人体の足部２２は実際には多関節・多自由度の足底を含んだ構造体であるが、本実施形態に係る脚式移動ロボット１００の足底はゼロ自由度とする。したがって、各脚部は６自由度で構成される。
【００４３】
以上を総括すれば、本実施例に係る脚式移動ロボット１００全体としては、合計で３＋７×２＋３＋６×２＝３２自由度を有することになる。但し、エンターテインメント向けの脚式移動ロボット１００が必ずしも３２自由度に限定される訳ではない。設計・製作上の制約条件や要求仕様などに応じて、自由度すなわち関節数を適宜増減することができることは言うまでもない。
【００４４】
上述したような脚式移動ロボット１００が持つ各自由度は、実際にはアクチュエータを用いて実装される。外観上で余分な膨らみを排してヒトの自然体形状に近似させること、２足歩行という不安定構造体に対して姿勢制御を行うことなどの要請から、アクチュエータは小型且つ軽量であることが好ましい。本実施例では、ギア直結型で且つサーボ制御系をワンチップ化してモータ・ユニットに内蔵したタイプの小型ＡＣサーボ・アクチュエータを搭載することとした。なお、この種のＡＣサーボ・アクチュエータに関しては、例えば本出願人に既に譲渡されている特開２０００−２９９９７０号公報（特願平１１−３３３８６号）に開示されている。
【００４５】
図４には、脚式移動ロボット１００の制御システム構成を模式的に示している。この制御システムは、コントロール部１１６と、このロボット装置１００の動力源としてのバッテリ１１７とで構成され、例えば、脚式移動ロボットの機体胴体部やその背面部に搭載されている。コントロール部１１６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１１と、フラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）カード・インターフェース回路１１３及び信号処理回路１１４が内部バス１１５を介して相互に接続されることにより構成される。また、機体には、ロボット装置１００の向きや動きの加速度を検出するための角速度センサ１１８及び加速度センサ１１９なども装備されている。
【００４６】
また、機体の頭部には、外部の状況を撮像するためのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）カメラ１２０と、ユーザからの「撫でる」や「叩く」といった物理的な働きかけにより受けた圧力を検出するためのタッチ・センサ１２１と、前方に位置する物体までの距離を測定するための距離センサ１２２と、外部音を集音するためのマイクロフォン１２３と、鳴き声等の音声を出力するためのスピーカ１２４などがそれぞれ機体上の所定位置に配設されている。ここで、ＣＣＤカメラ１２０は、顔識別において顔画像を撮像するための画像入力手段を構成する。
【００４７】
さらに、各脚部ユニットの関節部分や、各脚部ユニット及び胴体部ユニットの各連結部分、並びに頭部ユニット及び胴体部ユニットの連結部分などには、それぞれ自由度数分のアクチュエータ１２５−１〜１２５−ｎ及びポテンショメータ１２６−１〜１２６−ｎが配設されている。例えば、アクチュエータ１２５−１〜１２５−ｎはそれぞれ１つのサーボモータによって構成される。これらサーボモータの駆動により、脚部ユニットが制御されて、目標の姿勢あるいは動作に遷移する。
【００４８】
そして、前述した角速度センサ１１８、加速度センサ１１９、タッチ・センサ１２１、距離センサ１２２、マイクロフォン１２３、スピーカ１２４、並びに各ポテンショメータ１２６−１〜１２６−ｎなどの各種センサ、及び各アクチュエータ１２５−１〜１２５−ｎは、それぞれ対応するハブ１２７−１〜１２７−ｎに集線された後に、コントロール部１１６の信号処理回路１１４と接続されている。また、ＣＣＤカメラ１２０及びバッテリ１１７は、それぞれ信号処理回路１１４と直接接続されている。
【００４９】
信号処理回路１ｌ４は、上述の各センサから供給されるセンサ・データや画像データ、及び音声データを逐次取り込んで、これらをそれぞれ内部バス１１５を介してＤＲＡＭ１１１内の所定のアドレスに適宜格納する。また、信号処理回路１１４は、これとともにバッテリ１１７から供給されるバッテリ残量を表すバッテリ残量データを逐次取り込み、これも同様にＤＲＡＭ１１１内の所定のアドレスに格納する。
【００５０】
このようにしてＤＲＡＭ１１１に格納された各センサ・データ、画像データ、音声データ、並びにバッテリ残量データは、この後、ＣＰＵ１１０がこのロボット装置１００の機体の動作制御を行う際に利用可能となる。
【００５１】
実際上、ＣＰＵ１１０は、ロボット装置１００の電源が投入された初期時、胴体部ユニット２の図示しないＰＣカード・スロットに装填されたメモリ・カード１２８又はフラッシュＲＯＭ１１２に格納された制御プログラムをＰＣカード・インターフェース回路１１３経由で又は直接読み出して、これをＤＲＡＭ１１１にロードする。
【００５２】
また、ＣＰＵ１１０は、このようなプログラム・ロードの後、上述したように信号処理回路１１４よりＤＲＡＭ１１１に逐次格納されている各センサ・データ、画像データ、音声データ、並びにバッテリ残量データに基づいて、自己及び機体周囲の状況や、使用者からの指示及び働きかけの有無などを判断するようになっている。
【００５３】
さらに、ＣＰＵ１１０は、この判断結果及びＤＲＡＭ１１１に格納した制御プログラムに基づいて続く行動を決定するとともに、当該決定結果に基づいて必要なアクチュエータ１２５−１〜１２５−ｎを駆動させることにより、頭部を左右に振らせたり、各脚部ユニットを駆動させたりして歩行やその他の脚式作業を実行させる。
【００５４】
また、このようなプログラム実行の際、ＣＰＵ１１０は、必要に応じて音声データを生成して、これを信号処理回路１１４経由で音声信号としてスピーカ２４に与えることにより、当該音声信号に基づく音声を外部に出力させたりする。
【００５５】
このようにして、このロボット装置１００においては、自己及び周囲の状況や、使用者からの指示及び働きかけに応じて自律的に行動し得るように構成されている。
【００５６】
Ｂ．制御プログラムのソフトウェア構成
図５には、本実施形態に係るロボット装置１００の処理動作を実現するための制御プログラムのソフトウェア構成を模式的に示している。
【００５７】
同図に示すように、デバイス・ドライバ・レイヤ１３０は、この制御プログラムの最下位層に位置し、複数のデバイス・ドライバからなるデバイス・ドライバ・セット３１から構成されている。この場合、各デバイス・ドライバは、ＣＣＤカメラ２０（図４を参照のこと）やタイマなどの通常のコンピュータ処理に用いられるハードウェアに直接アクセスすることを許されたオブジェクトであり、一般には、対応するハードウェアからの割り込みに応答して処理を開始するようになっている（割り込みハンドラ）。
【００５８】
また、ロボティック・サーバ・オブジェクト１３２は、デバイス・ドライバ・レイヤ１３０の最下位層に位置し、例えば上述の各種センサやアクチュエータ１２５−１〜１２５−ｎなどのハードウェアにアクセスするためのインターフェースを提供するソフトウェア群でなるバーチャル・ロボット１３３と、電源の切換えなどを管理するソフトウェア群でなるパワー・マネージャ１３４と、他のさまざまのデバイス・ドライバを管理するソフトウェア群でなるデバイス・ドライバ・マネージャ１３５と、ロボット装置１００の機構を管理するソフトウェア群でなるデザインド・ロボット１３６とで構成される。
【００５９】
マネージャ・オブジェクト１３７は、オブジェクト・マネージャ１３８及びサービス・マネージャ１３９から構成される。オブジェクト・マネージャ１３８は、ロボティック・サーバ・オブジェクト１３２、ミドルウェア・レイヤ１４０、及びアプリケーション・レイヤ１４１に含まれる各ソフトウェア群の起動や終了を管理するソフトウェア群である。また、サービス・マネージャ１３９は、メモリ・カード１２８（図４を参照のこと）に格納されたコネクション・ファイルに記述されている各オブジェクト間の接続情報に基づいて各オブジェクトの接続を管理するソフトウェア群である。
【００６０】
ミドルウェア・レイヤ１４０は、ロボティック・サーバ・オブジェクト１３２の直近上位に位置し、画像処理や音声処理など本実施形態に係るロボット装置１００の基本的な機能を提供するソフトウェア群から構成される。また、アプリケーション・レイヤ１４１は、ミドルウェア・レイヤ４０の直近上位に位置し、当該ミドルウェア・レイヤ１４０を構成する各ソフトウェア群によって処理された処理結果に基づいてロボット装置１００の行動を決定するためのソフトウェア群から構成される。
【００６１】
図６には、ミドルウェア・レイヤ１４０の具体なソフトウェア構成を詳細に示している。
【００６２】
同図に示すように、ミドルウェア・レイヤ１４０は、騒音検出用、温度検出用、明るさ検出用、音階認識用、距離検出用、姿勢検出用、タッチ・センサ用、動き検出用、及び色認識用の各信号処理モジュール１５０〜１５８、並びに入力セマンティクス・コンバータ・モジュール１５９などを有する認識系ミドルウェア１６０と、出力セマンティクス・コンバータ・モジュール１６８、姿勢管理用、トラッキング用、モーション再生用、歩行用、転倒復帰用、及び、音再生用の各信号処理モジュール１６１〜１６７などを有する出力系ミドルウェア１６９とで構成される。
【００６３】
認識系ミドルウェア１６０の各信号処理モジュール１５０〜１５８は、ロボティック・サーバ・オブジェクト１３２のバーチャル・ロボット１３３によりＤＲＡＭ１１（図４を参照のこと）から読み出される各センサ・データや画像データ（顔画像データ）及び音声データのうちの対応するデータを取り込んで、当該データに基づいて所定の処理を施して、処理結果を入力セマンティクス・コンバータ・モジュール１５９に与える。ここで、例えば、バーチャル・ロボット１３３は、所定の通信規約によって、信号の授受あるいは変換をする部分として構成されている。
【００６４】
入力セマンティクス・コンバータ・モジュール１５９は、これら各信号処理モジュール１５０〜１５８から与えられる処理結果に基づいて、「うるさい」、「暑い」、「明るい」、「ボールを検出した」、「転倒を検出した」、「撫でられた」、「叩かれた」、「ドミソの音階が聞こえた」、「動く物体を検出した」、又は、「障害物を検出した」、「人Ａを見つけた（認識した）」などの自己及び周囲の状況を認識したり、使用者からの指令及び働きかけを認識したりして、認識結果をアプリケーション・レイヤ１４１に出力するようになっている。
【００６５】
図７には、アプリケーション・レイヤ１４ｌの具体なソフトウェア構成を詳細に示している。同図に示すように、アプリケーション・レイヤ１４ｌは、行動モデル・ライブラリ１７０、行動切換えモジュール１７１、学習モジュール１７２、感情モデル１７３、及び本能モデル１７４の５つのモジュールで構成される。
【００６６】
図８には、行動モデル・ライブラリ１７０の具体的なソフトウェア構成を詳細に示している。同図に示すように、行動モデル・ライブラリ１７０には、「バッテリ残量が少なくなった場合」、「転倒復帰する」、「障害物を回避する場合」、「感情を表現する場合」、「ボールを検出した場合」、「人Ａを見つけた（認識した）」などのあらかじめ選択された幾つかの条件項目に対応させて、それぞれ独立した行動モデル１７０−１〜１７０−ｎが設けられている。
【００６７】
そして、これら行動モデル１７０−１〜１７０−ｎは、それぞれ入力セマンティクス・コンバータ・モジュール１５９から認識結果が与えられたときや、最後の認識結果が与えられてから一定時間が経過したときなどに、後述するように、必要に応じて感情モデル１７３に保持されている対応する情動のパラメータ値や、本能モデル１７４に保持されている対応する欲求のパラメータ値を参照しながら後続の行動をそれぞれ決定して、この決定結果を行動切換えモジュール１７１に出力するになっている。
【００６８】
なお、本実施形態の場合、各行動モデル１７０−１〜１７０−ｎは、次の行動を決定する手法として、図９に示すような有限確率オートマトンと呼ばれるアルゴリズムを用いる。有限確率オートマトンによれば、同図に示すように、１つのノード（状態）ＮＯＤＥ０〜ＮＯＤＥｎから他のいずれのノードＮＯＤＥ０〜ＮＯＤＥｎに遷移するかを各ノードＮＯＤＥ０〜ＮＯＤＥｎに間を接続するアークＡＲＣ１〜ＡＲＣｎに対してそれぞれ設定された遷移確率Ｐ１〜Ｐｎに基づいて確率的に決定することができる。
【００６９】
具体的には、各行動モデル１７０−１〜１７０−ｎは、それぞれ自己の行動モデル１７０−１〜１７０−ｎを形成するノードＮＯＤＥ０〜ＮＯＤＥｎにそれぞれ対応させて、これらノードＮＯＤＥ０〜ＮＯＤＥｎ毎に、図１０に示すような状態遷移表１８０を有している。
【００７０】
この状態遷移表１８０では、そのノードＮＯＤＥ０〜ＮＯＤＥｎにおいて遷移条件とする入力イベント（認識結果）が「入力イベント名」の行に優先順に列記され、その遷移条件についてのさらなる条件が「データ名」及び「データ範囲」の行における対応する列に記述されている。
【００７１】
例えば、図１０に示す状態遷移表１８０で表されるノードＮＯＤＥ１００では、「ボールを検出（ＢＡＬＬ）」という認識結果が与えられた場合に、当該認識結果とともに与えられるそのボールの「大きさ（ＳＩＺＥ）」が「０から１０００」の範囲であることが他のノードに遷移するための条件となっている。同様に、「障害物を検出（ＯＢＳＴＡＣＬＥ）」という認識結果が与えられた場合には、当該認識結果とともに与えられるその障害物までの「距離（ＤＩＳＴＡＮＣＥ）」が「０から１００」の範囲であることが他のノードに遷移するための条件である。
【００７２】
また、このノードＮＯＤＥ１００では、認識結果の入力がない場合においても、行動モデル１７０−１〜１７０−ｎが周期的に参照する感情モデル１７３及び本能モデル１７４にそれぞれ保持された各情動及び各欲求のパラメータ値のうち、感情モデル１７３に保持された「喜び（ＪＯＹ）」、「驚き（ＳＵＲＰＲＩＳＥ）」、若しくは「悲しみ（ＳＵＤＮＥＳＳ）」のいずれかのパラメータ値が「５０から１００」の範囲であるときには、他のノードに遷移することができるようになっている。
【００７３】
また、状態遷移表１８０では、「他のノードヘの遷移確率」の欄における「遷移先ノード」の列にそのノードＮＯＤＥ０〜 ＮＯＤＥｎから遷移できるノード名が列記されているとともに、「入力イベント名」、「データ値」及び「データの範囲」の行に記述されたすべての条件が揃ったときに遷移できる他の各ノードＮＯＤＥ０〜ＮＯＤＥｎへの遷移確率が「他のノードヘの遷移確率」の欄内の対応する箇所にそれぞれ記述されており、そのノードＮＯＤＥ０〜ＮＯＤＥｎに遷移する際に出力すべき行動が「他のノードヘの遷移確率」の欄における「出力行動」の行に記述されている。なお、「他のノードヘの遷移確率」の欄における各行の確率の和は１００［％］となる。
【００７４】
したがって、図１０に示す状態遷移表１８０で表されるノードＮＯＤＥ１００では、例えば「ボールを検出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大きさ）」が「０から１０００」の範囲であるという認識結果が与えられた場合には、「３０［％］」の確率で「ノードＮＯＤＥ１２０（ｎｏｄｅ １２０）」に遷移でき、そのとき「ＡＣＴＩＯＮ１」の行動が出力すなわち機体動作が実行されることとなる。
【００７５】
各行動モデル１７０−１〜１７０−ｎは、それぞれこのような状態遷移表１８０として記述されたノードＮＯＤＥ０〜 ＮＯＤＥｎがいくつも繋がるようにして構成されている。したがって、入力セマンティクス・コンバータ・モジュール１５９から認識結果が与えられたときなどに、対応するノードＮＯＤＥ０〜ＮＯＤＥｎの状態遷移表を利用して確率的に次の行動を決定し、決定結果を行動切換えモジュール１７１に出力するようなっている。また、図１０に示す状態遷移表に、「人Ａを見つけた（認識した）」という入力イベント名を持つエントリを用意し、さらに遷移条件などを記述しておくことにより、ロボット装置１００が特定のユーザを認識したときに起こすべきリアクションを規定することができる。
【００７６】
図７に示した行動切換えモジュール１７１は、行動モデル・ライブラリ１７０の各行動モデル１７０−１〜１７０−ｎからそれぞれ出力される行動のうち、あらかじめ定められた優先順位の高い行動モデル１７０−１〜１７０−ｎから出力された行動を選択して、当該行動を実行すべき旨のコマンド（以下、これを「行動コマンド」という。）をミドルウェア・レイヤ１４０の出力セマンティクス・コンバータ・モジュール１６８に送出するようになっている。なお、本実施形態においては、図８において下側に表記された行動モデル１７０−１〜１７０−ｎほど優先順位が高く設定されているものとする。
【００７７】
また、行動切換えモジュール１７１は、行動完了後に出力セマンティクス・コンバータ・モジュール１６８から与えられる行動完了情報に基づいて、その行動が完了したことを学習モジュール１７２、感情モデル１７３、並びに本能モデル１７４に通知する。
【００７８】
一方、学習モジュール１７２は、入力セマンティクス・コンバータ・モジュール１５９から与えられる認識結果のうち、「叩かれた」や「撫でられた」など、使用者からの働きかけとして受けた教示の認識結果を入力する。
【００７９】
そして、学習モジュール１７２は、この認識結果及び行動切換えモジュール１７１からの通知に基づいて、「叩かれた（叱られた）」ときにはその行動の発現確率を低下させ、「撫でられた（誉められた）」ときにはその行動の発現確率を上昇させるように、行動モデル・ライブラリ１７０における対応する行動モデル１７０−１〜１７０−ｎの対応する遷移確率を変更する。
【００８０】
他方、感情モデル１７３は、「喜び（ｊｏｙ）」、「悲しみ（ｓａｄｎｅｓｓ）」、「怒り（ａｎｇｅｒ）」、「驚き（ｓｕｒｐｒｉｓｅ）」、「嫌悪（ｄｉｓｇｕｓｔ）」及び「恐れ（ｆｅａｒ）」の合計６つの情動について、情動毎にその情動の強さを表すパラメータを保持している。そして、感情モデル１７３は、これら各情動のパラメータ値を、それぞれ入力セマンティクス・コンバータ・モジュール１５９から与えられる「叩かれた」及び「撫でられた」などの特定の認識結果と、経過時間及び行動切換えモジュール１７１からの通知となどに基づいて周期的に更新する。
【００８１】
具体的には、感情モデル１７３は、入力セマンティクス・コンバータ・モジュール１５９から与えられる認識結果と、そのときのロボット装置１００の行動と、前回更新してからの経過時間となどに基づいて所定の演算式により算出されるそのときのその情動の変動量を△Ｅ［ｔ］、現在のその情動のパラメータ値をＥ［ｔ］、その情動の感度を表す係数をｋｅとして、下式（１）によって次の周期におけるその情動のパラメータ値Ｅ［ｔ＋１］を算出し、これを現在のその情動のパラメータ値Ｅ［ｔ］と置き換えるようにして、その情動のパラメータ値を更新する。また、感情モデル１７３は、これと同様にしてすべての情動のパラメータ値を更新する。
【００８２】
【数１】
なお、各認識結果や出力セマンティクス・コンバータ・モジュール１６８からの通知が各情動のパラメータ値の変動量△Ｅ［ｔ］にどの程度の影響を与えるかはあらかじめ決められている。例えば、「叩かれた」といった認識結果は、「怒り」を表す情動のパラメータ値の変動量△Ｅ［ｔ］に大きな影響を与える。また、「撫でられた」といった認識結果は、「喜び」を表す情動のパラメータ値の変動量△Ｅ［ｔ］に大きな影響を与えるようになっている。
【００８４】
ここで、出力セマンティクス・コンバータ・モジュール１６８からの通知とは、いわゆる行動のフィードバック情報（行動完了情報）であり、行動の出現結果の情報である。感情モデル１７３は、このような情報によっても感情を変化させる。これは、例えば、「吠える」といった行動により怒りの感情レベルが下がるといったようなことである。なお、出力セマンティクス・コンバータ・モジュール１６８からの通知は、上述した学習モジュール１７２にも入力されている。学習モジュール１７２は、その通知に基づいて行動モデル１７０−１〜１７０−ｎの対応する遷移確率を変更する。
【００８５】
なお、行動結果のフィードバックは、行動切換えモジュレータ１７１の出力（感情が付加された行動）によりなされるものであってもよい。
【００８６】
一方、本能モデル１７４は、「運動欲（ｅｘｅｒｃｉｓｅ）」、「愛情欲（ａｆｆｅｃｔｉｏｎ）」、「食欲（ａｐｐｅｔｉｔｅ）」及び「好奇心（ｃｕｒｉｏｓｉｔｙ）」の互いに独立した４つの欲求について、これら欲求毎にその欲求の強さを表すパラメータを保持している。そして、本能モデル１７４は、これらの欲求のパラメータ値を、それぞれ入力セマンティクス・コンバータ・モジュール１５９から与えられる認識結果や、経過時間及び行動切換えモジュール１７１からの通知などに基づいて周期的に更新する。
【００８７】
具体的には、本能モデル１７４は、「運動欲」、「愛情欲」及び「好奇心」については、認識結果、経過時間及び出力セマンティクス・コンバータ・モジュール１６８からの通知などに基づいて所定の演算式により算出されるそのときのその欲求の変動量をΔＩ［ｋ］、現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の感度を表す係数ｋｉとして、所定周期で下式（２）を用いて次の周期におけるその欲求のパラメータ値Ｉ［ｋ＋１］を算出し、この演算結果を現在のその欲求のパラメータ値Ｉ［ｋ］と置き換えるようにしてその欲求のパラメータ値を更新する。また、本能モデル１７４は、これと同様にして「食欲」を除く各欲求のパラメータ値を更新する。
【００８８】
【数２】
なお、認識結果及び出力セマンティクス・コンバータ・モジュール１６８からの通知などが各欲求のパラメータ値の変動量△Ｉ［ｋ］にどの程度の影響を与えるかはあらかじめ決められている。例えば、出力セマンティクス・コンバータ・モジュール１６８からの通知は、「疲れ」のパラメータ値の変動量△Ｉ［ｋ］に大きな影響を与えるようになっている。
【００９０】
なお、本実施の形態においては、各情動及び各欲求（本能）のパラメータ値がそれぞれ０から１００までの範囲で変動するように規制されており、また係数ｋｅ、ｋｉの値も情動毎及び欲求毎に個別に設定されている。
【００９１】
一方、ミドルウェア・レイヤ１４０の出力セマンティクス・コンバータ・モジュール１６８は、図６に示したように、上述のようにしてアプリケーション・レイヤ１４１の行動切換えモジュール１７１から与えられる「前進」、「喜ぶ」、「鳴く」又は「トラッキング（ボールを追いかける）」といった抽象的な行動コマンドを出力系セマンティックス・コンバータ・モジュール１６９内の対応する信号処理モジュール１６１〜１６７に与える。
【００９２】
そして、これら信号処理モジュール１６１〜１６７は、行動コマンドが与えられると、当該行動コマンドに基づいて、その行動を行うために対応するアクチュエータ１２５−１〜１２５−ｎ（図４を参照のこと）に与えるべきサーボ指令値や、スピーカ１２４から出力する音の音声データなどの駆動データを生成して、これらのデータをロボティック・サーバ・オブジェクト１３２のバーチャル・ロボット１３３及び信号処理回路１１４を順次介して対応するアクチュエータ１２５−１〜１２５−ｎ又はスピーカ１２４に順次送出する。
【００９３】
このようにしてロボット装置１００においては、制御プログラムに基づいて、自己（内部）及び周囲（外部）の状況や、使用者からの指示及び働きかけに応じた自律的な行動を行うことができるようになされている。
【００９４】
Ｃ．ロボット装置による顔識別
インテリジェントなロボット装置には、動的に変化する作業環境下で一定時間内に応答できるようなヒューマン・インターフェース技術が要求されている。本実施形態に係るロボット装置１００は、顔認識技術を適用することにより、多くの中からユーザ（飼い主又はともだち、若しくは正当なユーザ）を識別するとともに、認識結果に基づいて（すなわちユーザに応じて）リアクションを制御することによって、より高いエンターテインメント性を実現する。
【００９５】
本実施形態に係る顔認識システム１０００は、動的に変化する環境下で一定時間内に応答することができるが、ＣＣＤカメラによる撮像画像から顔パターンを抽出する顔抽出処理部１００１と、抽出された顔パターンを基に顔を認識する顔認識部１００２で構成される。本実施形態では、顔パターンを抽出する（顔画像の特徴量を抽出する）顔抽出処理には、方位選択性を持ち周波数成分の異なる複数のフィルタを用いることにより、前記顔画像の特徴量を抽出する「ガボア・フィルタリング（Ｇａｂｏｒ Ｆｉｌｔｅｒｉｎｇ）」を採用している。また、顔パターンから顔を認識する顔認識処理には、カーネル関数を用いて非線形な写像を行ない、該写像後の特徴空間内で分離する超平面を求めることにより、特定の顔と、該特定の顔以外の顔とを識別する「サポート・ベクタ・マシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：ＳＶＭ）」を採用している。
【００９６】
この顔認識システム１０００は、顔パターンを顔認識部が学習する学習段階と、学習されたデータを基に、撮像画像から抽出された顔パターンを認識する認識段階を持つ。
【００９７】
図１１には、本実施形態に係る顔認識システム１０００の学習段階の構成を、また、図１２には、同顔認識システム１０００の認識段階の構成をそれぞれ示している。
【００９８】
学習段階においては、図１１に示すように、ＣＣＤカメラから入力されたユーザの撮像画像をガボア・フィルタリング１００１で顔抽出した結果がサポート・ベクタ・マシン１００２に投入される。サポート・ベクタ・マシン１００２では、外部から供給される学習用のデータすなわち教師データを用いて、暫定的な識別関数を得る。
【００９９】
また、識別段階においては、図１２に示すように、ＣＣＤカメラから入力されたユーザの撮像画像をガボア・フィルタリング１００１で顔抽出した結果がサポート・ベクタ・マシン１００２に投入される。サポート・ベクタ・マシン１００２では、暫定的に得られた識別関数をさまざまなデータベース上の画像に試して顔の検出を行なう。そして、検出に成功したものを顔データとして出力する。また、検出に失敗したものを非顔データとして学習データに追加して、さらに学習をし直す。
【０１００】
以下では、ガボア・フィルタリングとサポート・ベクタ・マシンについて、それぞれ詳細に説明する。
【０１０１】
ガボア・フィルタリング：
人間の視覚細胞には、ある特定の方位に対して選択性を持つ細胞が存在することが既に判っている。これは、垂直の線に対して発火する細胞と、水平の線に反応する細胞で構成される。ガボア・フィルタリングは、これと同様に、方位選択性を持つ複数のフィルタで構成される空間フィルタである。
【０１０２】
ガボア・フィルタは、ガボア関数によって空間表現される。ガボア関数ｇ（ｘ，ｙ）は、下式（３）に示すように、コサイン成分からなるキャリアｓ（ｘ，ｙ）と、２次元ガウス分布状のエンベロープｗr（ｘ，ｙ）とで構成される。
【０１０３】
【数３】
キャリアｓ（ｘ，ｙ）は、複素関数を用いて、下式（４）のように表現される。ここで、座標値（ｕ0，ｖ0）は空間周波数を表し、また、Ｐはコサイン成分の位相を表す。
【０１０５】
【数４】
上式（４）に示すキャリアは、下式（５）に示すように、実数成分Ｒｅ（ｓ（ｘ，ｙ））と虚数成分Ｉｍ（ｓ（ｘ，ｙ））に分離することができる。
【０１０７】
【数５】
一方、２次元ガウス分布からなるエンベロープは、下式（６）のように表現される。
【０１０９】
【数６】
ここで、座標値（ｘ0，ｙ0）はこの関数のピークであり、定数ａ及びｂはガウス分布のスケール・パラメータである。また、添え字ｒは、下式（７）に示すような回転操作を意味する。
【０１１１】
【数７】
したがって、上式（４）及び上式（６）より、ガボア・フィルタは、下式（８）に示すような空間関数として表現される。
【０１１３】
【数８】
本実施形態に係る顔抽出部１００１は、８種類の方向と３通りの周波数を採用して、合計２４個のガボア・フィルタを用いて顔抽出処理を行なう。本実施形態で使用されるガボア・フィルタの空間領域での様相を図１３〜図３６に示しておく。このうち、図１３〜図２０は、方向を２２．５度ずつずらした高周波成分のガボア・フィルタである。また、図２１〜図２８は、方向を２２．５度ずつずらした中周波成分のガボア・フィルタである。また、図２９〜図３６は、方向を２２．５度ずつずらした低周波成分のガボア・フィルタである。但し、各図における濃淡は紙面に直交する座標軸方向の成分に相当すると理解されたい。
【０１１５】
ガボア・フィルタのレスポンスは、Ｇiをｉ番目のガボア・フィルタとし、ｉ番目のガボアの結果（Ｇａｂｏｒ Ｊｅｔ）をＪiとし、入力イメージをＩとし、すると、以下の式（９）で表される。式（９）の演算は、実際には高速フーリエ変換を用いて高速化することができる。
【０１１６】
【数９】
図３７に示すような入力画像（但し、入力画像は２０×２０画素とする）を、図１３〜図３６に示す各ガボア・フィルタでフィルタリングされた結果を、図３８〜図６１に示しておく。ガボア・フィルタは、たいていすべての周波数を埋め尽くすことができる。
【０１１８】
作成したガボア・フィルタの性能を調べるためには、フィルタリングして得られた画像を再構築することによって行なう。再構築されたイメージＨは、下式（１０）のように表される。
【０１１９】
【数１０】
そして、入力画像Ｉと再構築された画像ＨとのエラーＥは、下式（１１）のように表される。
【０１２１】
【数１１】
このエラーＥを最小にするような最適なａを求めることにより再構築することができる。
【０１２３】
サポート・ベクタ・マシン：
本実施形態では、顔認識に関して、パターン認識の分野で最も学習汎化能力が高いとされるサポート・ベクタ・マシン（ＳＶＭ）を用いて該当する顔か否かの識別を行なう。
【０１２４】
ＳＶＭ自体に関しては、例えばＢ．ｓｈｏｌｋｏｐｆ外著の報告（Ｂ． Ｓｈｏｌｋｏｐｆ，Ｃ．Ｂｕｒｇｅｓ，Ａ．Ｓｍｏｌａ，“Ａｄｖａｎｃｅ ｉｎ Ｋｅｒｎｅｌ Ｍｅｔｈｏｄｓ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｌｅａｒｎｉｎｇ”，Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ，１９９９．）を挙げることができる。本発明者らが行なった予備実験の結果からは、ＳＶＭによる顔認識方法は、主成分分析（ＰＣＡ）やニューラル・ネットワークを用いる手法に比べ、良好な結果を示すことが判っている。
【０１２５】
ＳＶＭは、識別関数に線形識別器(パーセプトロン)を用いた学習機械であり、カーネル関数を使うことで非線形空間に拡張することができる。また、識別関数の学習では、クラス間分離のマージンを最大にとるように行なわれ、その解は２次数理計画法を解くことで得られるため、グローバル解に到達できることを理論的に保証することができる。
【０１２６】
通常、パターン認識の問題は、テスト・サンプルｘ＝（ｘ１，ｘ２，…，ｘｎ）に対して、以下の識別関数ｆ（ｘ）を求めることである。
【０１２７】
【数１２】
ここで、ＳＶＭの学習用の教師ラベルを以下のようにおく。
【０１２９】
【数１３】
すると、ＳＶＭにおける顔パターンの認識を以下に示す制約条件の下での重み因子ｗの二乗の最小化する問題としてとらえることができる。
【０１３１】
【数１４】
このような制約のついた問題は、ラグランジュの未定定数法を用いて解くことができる。すなわち、以下に示すラグランジュをまず導入して、
【０１３３】
【数１５】
次いで、下式に示すように、ｂ，ｗの各々について偏微分する。
【０１３５】
【数１６】
この結果、ＳＶＭにおける顔パターンの識別を以下に示す２次計画問題としてとらえることができる。
【０１３７】
【数１７】
特徴空間の次元数が、訓練サンプルの数よりも少ない場合は、スラック変数ξ≧０を導入して、制約条件を以下のように変更する。
【０１３９】
【数１８】
最適化については、以下の目的関数を最小化する。
【０１４１】
【数１９】
上式（１９）において、Ｃは、制約条件をどこまで緩めるかを指定する係数であり、実験的に値を決定する必要がある。
【０１４３】
【数２０】
しかし、上式（２０）のままでは、非線型の問題を解くことはできない。そこで、本実施形態では、カーネル関数Ｋ（ｘ，ｘ'）を導入して、一旦、高次元の空間に写像して（カーネル・トリック）、その空間で線形分離することにしている。したがって、元の空間では非線型分離していることと同等となる。
【０１４５】
カーネル関数は、ある写像Φを用いて下式のように表される。
【０１４６】
【数２１】
また、式（１２）に示した識別関数も、以下のように表すことができる。
【０１４８】
【数２２】
また、学習に関しても、以下に示す２次計画問題としてとらえることができる。
【０１５０】
【数２３】
カーネルとしては、以下に示すガウシアン・カーネル（ＲＢＦ（Ｒａｄｉｕｓ Ｂａｓｉｃ Ｆｕｎｃｔｉｏｎ））などを用いることができる。
【０１５２】
【数２４】
なお、ガボア・フィルタリングに関しては、認識タスクに応じてフィルタの種類を変更するようにしてもよい。
【０１５４】
低周波でのフィルタリングでは、フィルタリング後のイメージすべてをベクトルとして持っているのは冗長である。そこで、ダウンサンプリングして、ベクトルの次元を落すようにしてもよい。ダウンサンプリングされた２４種類のベクトルを一列に並べ、長いベクトルにする。
【０１５５】
また、本実施形態において顔パターンの認識に適用されるＳＶＭは、特徴空間を２分する識別器なので、「人Ａ」か「人Ａでない」かを判別するように学習する。そのため、データベースの画像中から、まず人Ａの顔画像を集め、ガボア・フィルタリング後のベクトルに「人Ａでない」というラベルを貼る。一般に、集める顔画像の数は、特徴空間の次元より多い方がよい。１０人の顔を認識したい場合は、同様に、「人Ｂである」、「人Ｂでない」…のように、それぞれの人に対して１つの識別器を構成する。
【０１５６】
このような学習により、例えば、「人Ａ」と「人Ａでない」を分けるサポート・ベクタが求まる。ＳＶＭは、特徴空間を２つに仕切る識別器であり、新しい顔画像が入力されてきたときに、やはりガボア・フィルタリングのベクトルが、求めたサポート・ベクタが構成する境界面のどちら側にあるかで認識結果を出力する。そして、境界に対して、「人Ａ」の領域にあれば「人Ａ」と認識することができる。また、「人Ａではない」領域であれば「人Ａでない」と認識される。
【０１５７】
ＣＣＤカメラなどから入力される入力画像から顔の部分として切り取られる領域は一定ではない。このため、特徴空間で認識したいカテゴリとは離れた点に投影される可能性がある。したがって、目や鼻、口といった特徴を持つパーツを推定してアフィン変換によりモーフィングすることにより認識率が向上する可能性がある。
【０１５８】
また、認識性能を上げるために、ブートストラップ手法を採用することができる。学習に用いる画像とは別に画像を撮影して、ブートストラップに用いる。これは、学習した識別器が誤った認識結果を出したときに、その入力画像を学習セットに投入して学習し直すことを意味する。
【０１５９】
また、認識性能を上げるために、認識結果の時間変化を見る方法もある。最も簡単な方法では、１０回中８回「人Ａ」と認識されたら「人Ａ」と認識するなどである。他に、カルマン・フィルタを用いた予測法なども提案されている。
【０１６０】
他の実施形態
上述したように、顔抽出部１００１では、認識タスクに応じて前記ガボア・フィルタの種類を変更することができる。ここで言うガボア・フィルタの種類とは、具体的には、周波数の数と各周波数、方向の数と各方向を設定することを指す。
【０１６１】
上述した例では、ガボア・フィルタの周波数を３種類用意しているが、周波数が１つだけでも顔画像を認識することができる。勿論、認識率が低下する可能性はあるが、このことは計算量の削減にもつながる。限られた計算機資源を動作制御や内部状態（感情や本能）制御などの多くのプログラムで消費するエンターテインメント・ロボットにおいては、計算量の削減は大きなメリットとなる。
【０１６２】
本実施形態に係る顔認識システム１０００を搭載するロボット１００（図１〜３を参照のこと）においては、例えば２台のカメラによるステレオ視から距離情報を取得するように構成されている。この距離情報を用いて、ガボア・フィルタを工夫することができる。
【０１６３】
顔の大きさと距離の関係は前もって求めることができる。また、顔画像の大きさとガボア・フィルタの周波数との間には一定の関係がある。つまり、顔画像が小さいときには高い周波数で特徴抽出を行なう必要があるが、顔画像が大きいときには低い周波数でよい。
【０１６４】
顔領域だけ切り取られた画像入力でない場合には、画像全体から、どこに顔があり、その顔が誰であるかを識別しなくてはならない。このような場合、距離画像の分布から、その距離に応じた周波数を選択するということができる。そして、その結果を後続のサポート・ベクタ・マシン（ＳＶＭ：後述）で識別する。
【０１６５】
以下では、距離情報を利用したガボア・フィルタによる顔抽出処理の手順について説明する。
【０１６６】
［準備］
１：画像中での顔の大きさ（Ｔ画素×Ｔ画素）と距離（Ｍｃｍ）の関係を求める。 図６２において、横軸に距離、縦軸に顔画像の大きさをとる。ここで、縦軸は顔画像が正方領域であるとし、その辺の長さをとっている。これは、例えば、ある決められた距離で画像を撮影し、この中で顔領域がどのくらいの大きさであるかを人間が計測する。
【０１６７】
２：各大きさの顔画像を高速フーリエ変換（ＦＦＴ）により、周波数領域でのピークを求める（図６３を参照のこと）。さまざまな大きさの顔画像を撮影し、それぞれの周波数のピークを求める。
【０１６８】
３：距離と周波数の関係を求める（図６４を参照のこと）。上記１，２を基に、図６４に示す距離と周波数の関係を求める
【０１６９】
［認識］（図６５を参照のこと）
１：ある画像に対して距離を求める
（画像中の各画素に対して３次元座標が決定される）。
【０１７０】
２：距離から周波数を求める。
準備の手順３で得られた関係から周波数を求める
【０１７１】
３：求められた周波数のガボア・フィルタにより特徴抽出する。
【０１７２】
４：得られた画像をサポート・ベクタ・マシンで識別し、特定顔か非特定顔であるかを求める。
【０１７３】
追補
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。
【０１７４】
本発明の要旨は、必ずしも「ロボット」と称される製品には限定されない。すなわち、電気的若しくは磁気的な作用を用いて人間の動作に似せた運動を行う機械装置であるならば、例えば玩具等のような他の産業分野に属する製品であっても、同様に本発明を適用することができる。
【０１７５】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１７６】
【発明の効果】
以上詳記したように、本発明によれば、動的に変化する作業環境下で一定時間内に応答できるようなヒューマン・インターフェースを備えたロボット装置、並びに、ロボット用にヒューマン・インターフェースとして適用することができる、優れた顔認識方法及び顔認識装置を提供することができる。
【０１７７】
また、本発明によれば、動的に変化する作業環境下でユーザの顔を一定時間内に認識することができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することができる。
【０１７８】
また、本発明によれば、モーフィングなどの位置合わせを行なう必要なく、回転、位置などの変化に対してロバストな顔認識を行なうことができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することができる。
【０１７９】
また、本発明によれば、照明条件やカメラ・パラメータが異なる環境下でロバストな顔認識を行なうことができる、優れたロボット装置、顔認識方法及び顔認識装置を提供することができる。
【０１８０】
【図面の簡単な説明】
【図１】 図１は、本発明の実施に供される脚式移動ロボット１００を前方から眺望した様子を示した図である。
【図２】 図２は、本発明の実施に供される脚式移動ロボット１００を後方から眺望した様子を示した図である。
【図３】 図３は、本実施形態に係る脚式移動ロボット１００が具備する自由度構成モデルを模式的に示した図である。
【図４】 図４は、脚式移動ロボット１００の制御システム構成を模式的に示した図である。
【図５】 図５は、本実施形態に係るロボット装置１００の処理動作を実現するための制御プログラムのソフトウェア構成を模式的に示した図である。
【図６】 図６は、ミドルウェア・レイヤ１４０の具体なソフトウェア構成を詳細に示した図である。
【図７】 図７は、アプリケーション・レイヤ１４１の具体なソフトウェア構成を詳細に示した図である。
【図８】 図８は、行動モデル・ライブラリ１７０の具体的なソフトウェア構成を詳細に示した図である。
【図９】 図９は、各行動モデル１７０−１〜１７０−ｎから次の行動を決定するための有限確率オートマトンの仕組みを示した図である。
【図１０】 図１０は、自己の行動モデル１７０−１〜１７０−ｎを形成するノードＮＯＤＥ０〜ＮＯＤＥｎにそれぞれ対応させて用意された状態遷移表を示した図である。
【図１１】 図１１は、本実施形態に係る顔認識システム１０００の学習段階における機能構成を示したブロック図である。
【図１２】 図１２は、本実施形態に係る顔認識システム１０００の認識段階における機能構成を示したブロック図である。
【図１３】 図１３は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図１４】 図１４は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図１５】 図１５は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図１６】 図１６は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図１７】 図１７は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図１８】 図１８は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図１９】 図１９は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２０】 図２０は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２１】 図２１は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２２】 図２２は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２３】 図２３は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２４】 図２４は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２５】 図２５は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２６】 図２６は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２７】 図２７は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２８】 図２８は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図２９】 図２９は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３０】 図３０は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３１】 図３１は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３２】 図３２は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３３】 図３３は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３４】 図３４は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３５】 図３５は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３６】 図３６は、本実施形態で使用されるガボア・フィルタの空間領域での様相を示した図である。
【図３７】 図３７は、入力画像の一例を示した図である。
【図３８】 図３８は、図３７に示す入力画像を、図１３に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図３９】 図３９は、図３７に示す入力画像を、図１４に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４０】 図４０は、図３７に示す入力画像を、図１５に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４１】 図４１は、図３７に示す入力画像を、図１６に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４２】 図４２は、図３７に示す入力画像を、図１７に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４３】 図４３は、図３７に示す入力画像を、図１８に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４４】 図４４は、図３７に示す入力画像を、図１９に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４５】 図４５は、図３７に示す入力画像を、図２０に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４６】 図４６は、図３７に示す入力画像を、図２１に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４７】 図４７は、図３７に示す入力画像を、図２２に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４８】 図４８は、図３７に示す入力画像を、図２３に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図４９】 図４９は、図３７に示す入力画像を、図２４に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５０】 図５０は、図３７に示す入力画像を、図２５に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５１】 図５１は、図３７に示す入力画像を、図２６に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５２】 図５２は、図３７に示す入力画像を、図２７に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５３】 図５３は、図３７に示す入力画像を、図２８に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５４】 図５４は、図３７に示す入力画像を、図２９に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５５】 図５５は、図３７に示す入力画像を、図３０に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５６】 図５６は、図３７に示す入力画像を、図３１に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５７】 図５７は、図３７に示す入力画像を、図３２に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５８】 図５８は、図３７に示す入力画像を、図３３に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図５９】 図５９は、図３７に示す入力画像を、図３４に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図６０】 図６０は、図３７に示す入力画像を、図３５に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図６１】 図６１は、図３７に示す入力画像を、図３６に示すガボア・フィルタでフィルタリングした結果を示した図である。
【図６２】 図６２は、画像中の顔の大きさと距離の関係を示した図である。
【図６３】 図６３は、各顔の大きさの画像を高速フーリエ変換して周波数領域のピークを求める処理を説明するための図である。
【図６４】 図６４は、距離とガボア・フィルタの周波数の関係を示した図である。
【図６５】 図６５は、距離情報を利用したガボア・フィルタによる顔抽出処理の手順を示したフローチャートである。
Claims (6)
- 自律的に行動するロボット装置であって、
顔画像を入力する画像入力手段と、
方位選択性を持ち周波数成分の異なる複数のフィルタからなるガボア・フィルタを用いることにより、前記顔画像の特徴量を抽出する顔特徴量抽出手段と、
サポート・ベクタ・マシンで構成され、前記顔特徴量抽出手段による顔特徴量抽出結果を、カーネル関数を用いて非線形な写像を行ない、該写像後の特徴空間内で分離する超平面を求めることにより、特定の顔と、該特定の顔以外の顔とを識別する顔識別手段と、
顔画像の大きさに応じて前記顔特徴量抽出手段において用いる前記ガボア・フィルタの周波数を変更するフィルタ変更手段と、
を具備することを特徴とするロボット装置。 - 前記顔特徴量抽出手段は、低周波でのフィルタリングではフィルタリング後のイメージをダウンサンプリングして次元を落すようにする、
ことを特徴とする請求項１に記載のロボット装置。 - 顔画像を入力する画像入力手段と、
方位選択性を持ち周波数成分の異なる複数のフィルタからなるガボア・フィルタを用いることにより、前記顔画像の特徴量を抽出する顔特徴量抽出手段と、
サポート・ベクタ・マシンで構成され、前記顔特徴量抽出手段による顔特徴量抽出結果を、カーネル関数を用いて非線形な写像を行ない、該写像後の特徴空間内で分離する超平面を求めることにより、特定の顔と、該特定の顔以外の顔とを識別する顔識別手段と、
顔画像の大きさに応じて前記顔特徴量抽出手段において用いる前記ガボア・フィルタの周波数を変更するフィルタ変更手段と、
を具備することを特徴とする顔認識装置。 - 前記顔特徴量抽出手段は、低周波でのフィルタリングではフィルタリング後のイメージをダウンサンプリングして次元を落すようにする、
ことを特徴とする請求項３に記載の顔認識装置。 - コンピュータを用いて構築される顔認識システム上で、顔画像を認識する顔認識方法であって、
前記コンピュータが備える画像入力手段が、顔画像を入力する画像入力ステップと、
前記コンピュータが備える顔特徴量抽出手段が、方位選択性を持ち周波数成分の異なる複数のフィルタからなるガボア・フィルタを用いることにより、前記顔画像の特徴量を抽出する顔特徴量抽出ステップと、
前記コンピュータが備えるサポート・ベクタ・マシンで構成される顔識別手段が、前記顔特徴量抽出ステップによる顔特徴量抽出結果を、カーネル関数を用いて非線形な写像を行ない、該写像後の特徴空間内で分離する超平面を求めることにより、特定の顔と、該特定の顔以外の顔とを識別する顔識別ステップと、
顔画像の大きさに応じて前記顔特徴量抽出ステップにおいて用いる前記ガボア・フィルタの周波数を変更するフィルタ変更ステップと、
を有することを特徴とする顔認識方法。 - 前記顔特徴量抽出ステップでは、低周波でのフィルタリングではフィルタリング後のイメージをダウンサンプリングして次元を落すようにする、
ことを特徴とする請求項５に記載の顔認識方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001253700 | 2001-08-23 | ||
| JP2001253700 | 2001-08-23 | ||
| PCT/JP2002/008433 WO2003019475A1 (en) | 2001-08-23 | 2002-08-21 | Robot apparatus, face recognition method, and face recognition apparatus |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009097230A Division JP4609584B2 (ja) | 2001-08-23 | 2009-04-13 | ロボット装置、顔認識方法及び顔認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2003019475A1 JPWO2003019475A1 (ja) | 2004-12-16 |
| JP4333364B2 true JP4333364B2 (ja) | 2009-09-16 |
Family
ID=19081987
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003523462A Expired - Fee Related JP4333364B2 (ja) | 2001-08-23 | 2002-08-21 | ロボット装置、顔認識方法及び顔認識装置 |
| JP2009097230A Expired - Fee Related JP4609584B2 (ja) | 2001-08-23 | 2009-04-13 | ロボット装置、顔認識方法及び顔認識装置 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009097230A Expired - Fee Related JP4609584B2 (ja) | 2001-08-23 | 2009-04-13 | ロボット装置、顔認識方法及び顔認識装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7369686B2 (ja) |
| EP (1) | EP1343115B1 (ja) |
| JP (2) | JP4333364B2 (ja) |
| KR (1) | KR100941209B1 (ja) |
| CN (1) | CN1273912C (ja) |
| DE (1) | DE60216411T2 (ja) |
| WO (1) | WO2003019475A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9259159B2 (en) | 2012-03-29 | 2016-02-16 | Sony Corporation | Information processing apparatus, information processing method, and computer program for measuring eardrum temperature |
Families Citing this family (131)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2395781A (en) * | 2002-11-29 | 2004-06-02 | Sony Uk Ltd | Face detection |
| JP3994950B2 (ja) * | 2003-09-19 | 2007-10-24 | ソニー株式会社 | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 |
| JP4303602B2 (ja) * | 2004-01-09 | 2009-07-29 | 本田技研工業株式会社 | 顔面像取得システム |
| JP4439927B2 (ja) * | 2004-01-19 | 2010-03-24 | 三菱電機株式会社 | 検出対象識別装置 |
| CN1294521C (zh) * | 2004-06-28 | 2007-01-10 | 李剑华 | 商用迎宾机器人的识别方法 |
| JP4601380B2 (ja) * | 2004-10-08 | 2010-12-22 | 富士通株式会社 | 生体認証システムの登録方法、生体認証システム及びそのプログラム |
| US7734067B2 (en) | 2004-12-07 | 2010-06-08 | Electronics And Telecommunications Research Institute | User recognition system and method thereof |
| JP4595750B2 (ja) * | 2005-08-29 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| US20070060830A1 (en) * | 2005-09-12 | 2007-03-15 | Le Tan Thi T | Method and system for detecting and classifying facial muscle movements |
| US7835821B2 (en) * | 2005-11-17 | 2010-11-16 | Electronics And Telecommunications Research Institute | Robot server for controlling robot, system having the same for providing content, and method thereof |
| JP2007157063A (ja) | 2005-12-08 | 2007-06-21 | Sony Corp | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム |
| EP1971963A4 (en) * | 2006-01-13 | 2013-05-08 | New Jersey Tech Inst | METHOD FOR IDENTIFYING MARKED PICTURES USING AT LEAST PARTIAL STATISTICAL MOMENTS BASED ON A JPEG ARRAY |
| US7822223B2 (en) * | 2006-01-13 | 2010-10-26 | New Jersey Institute Of Technology | Method for identifying marked images using statistical moments based at least in part on a JPEG array |
| CN101089874B (zh) * | 2006-06-12 | 2010-08-18 | 华为技术有限公司 | 一种远程人脸图像的身份识别方法 |
| JP4321645B2 (ja) | 2006-12-08 | 2009-08-26 | ソニー株式会社 | 情報処理装置および情報処理方法、認識装置および情報認識方法、並びに、プログラム |
| EP1930842B1 (en) * | 2006-12-08 | 2010-07-28 | Sony Corporation | Face recognition with Gabor filters |
| JP2008152530A (ja) | 2006-12-18 | 2008-07-03 | Sony Corp | 顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラム |
| JP2008191816A (ja) | 2007-02-02 | 2008-08-21 | Sony Corp | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| JP5632609B2 (ja) * | 2007-08-21 | 2014-11-26 | 富士通株式会社 | ロボット制御装置およびロボット制御方法 |
| JP4946730B2 (ja) | 2007-08-27 | 2012-06-06 | ソニー株式会社 | 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム |
| US8588539B2 (en) * | 2008-02-20 | 2013-11-19 | Canon Kabushiki Kaisha | Methods and devices for filtering and coding a digital signal |
| JP5414416B2 (ja) * | 2008-09-24 | 2014-02-12 | キヤノン株式会社 | 情報処理装置及び方法 |
| KR20100086262A (ko) * | 2009-01-22 | 2010-07-30 | 삼성전자주식회사 | 로봇 및 그 제어방법 |
| US8224042B2 (en) * | 2009-03-12 | 2012-07-17 | Seiko Epson Corporation | Automatic face recognition |
| JP2010244381A (ja) * | 2009-04-08 | 2010-10-28 | Sony Corp | ガボアフィルタ、画像認識装置および方法、プログラム、並びに記録媒体 |
| TWI415011B (zh) * | 2009-12-17 | 2013-11-11 | Ind Tech Res Inst | 人臉辨識方法及應用此方法之系統 |
| US9405975B2 (en) | 2010-03-26 | 2016-08-02 | Brain Corporation | Apparatus and methods for pulse-code invariant object recognition |
| US8467623B2 (en) | 2010-03-26 | 2013-06-18 | Brain Corporation | Invariant pulse latency coding systems and methods systems and methods |
| US9122994B2 (en) | 2010-03-26 | 2015-09-01 | Brain Corporation | Apparatus and methods for temporally proximate object recognition |
| US9311593B2 (en) | 2010-03-26 | 2016-04-12 | Brain Corporation | Apparatus and methods for polychronous encoding and multiplexing in neuronal prosthetic devices |
| US9906838B2 (en) | 2010-07-12 | 2018-02-27 | Time Warner Cable Enterprises Llc | Apparatus and methods for content delivery and message exchange across multiple content delivery networks |
| US9152915B1 (en) | 2010-08-26 | 2015-10-06 | Brain Corporation | Apparatus and methods for encoding vector into pulse-code output |
| US8942466B2 (en) | 2010-08-26 | 2015-01-27 | Brain Corporation | Sensory input processing apparatus and methods |
| US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US9047568B1 (en) | 2012-09-20 | 2015-06-02 | Brain Corporation | Apparatus and methods for encoding of sensory data using artificial spiking neurons |
| US8990133B1 (en) | 2012-12-20 | 2015-03-24 | Brain Corporation | Apparatus and methods for state-dependent learning in spiking neuron networks |
| US9566710B2 (en) | 2011-06-02 | 2017-02-14 | Brain Corporation | Apparatus and methods for operating robotic devices using selective state space training |
| US9147156B2 (en) | 2011-09-21 | 2015-09-29 | Qualcomm Technologies Inc. | Apparatus and methods for synaptic update in a pulse-coded network |
| US9070039B2 (en) | 2013-02-01 | 2015-06-30 | Brian Corporation | Temporal winner takes all spiking neuron network sensory processing apparatus and methods |
| US8725658B2 (en) | 2011-09-21 | 2014-05-13 | Brain Corporation | Elementary network description for efficient memory management in neuromorphic systems |
| US9460387B2 (en) | 2011-09-21 | 2016-10-04 | Qualcomm Technologies Inc. | Apparatus and methods for implementing event-based updates in neuron networks |
| US9104973B2 (en) | 2011-09-21 | 2015-08-11 | Qualcomm Technologies Inc. | Elementary network description for neuromorphic systems with plurality of doublets wherein doublet events rules are executed in parallel |
| US8725662B2 (en) | 2011-09-21 | 2014-05-13 | Brain Corporation | Apparatus and method for partial evaluation of synaptic updates based on system events |
| US8719199B2 (en) | 2011-09-21 | 2014-05-06 | Brain Corporation | Systems and methods for providing a neural network having an elementary network description for efficient implementation of event-triggered plasticity rules |
| US9412064B2 (en) | 2011-08-17 | 2016-08-09 | Qualcomm Technologies Inc. | Event-based communication in spiking neuron networks communicating a neural activity payload with an efficacy update |
| US9098811B2 (en) | 2012-06-04 | 2015-08-04 | Brain Corporation | Spiking neuron network apparatus and methods |
| US10210452B2 (en) | 2011-09-21 | 2019-02-19 | Qualcomm Incorporated | High level neuromorphic network description apparatus and methods |
| US9104186B2 (en) | 2012-06-04 | 2015-08-11 | Brain Corporation | Stochastic apparatus and methods for implementing generalized learning rules |
| US8712939B2 (en) | 2011-09-21 | 2014-04-29 | Brain Corporation | Tag-based apparatus and methods for neural networks |
| US9117176B2 (en) | 2011-09-21 | 2015-08-25 | Qualcomm Technologies Inc. | Round-trip engineering apparatus and methods for neural networks |
| US9015092B2 (en) | 2012-06-04 | 2015-04-21 | Brain Corporation | Dynamically reconfigurable stochastic learning apparatus and methods |
| US9156165B2 (en) | 2011-09-21 | 2015-10-13 | Brain Corporation | Adaptive critic apparatus and methods |
| US9146546B2 (en) | 2012-06-04 | 2015-09-29 | Brain Corporation | Systems and apparatus for implementing task-specific learning using spiking neurons |
| US9213937B2 (en) | 2011-09-21 | 2015-12-15 | Brain Corporation | Apparatus and methods for gating analog and spiking signals in artificial neural networks |
| KR101443139B1 (ko) * | 2011-09-30 | 2014-09-19 | 아이포콤 주식회사 | 단일 영상을 사용한 위조 얼굴 검출 방법 |
| JP5836095B2 (ja) * | 2011-12-05 | 2015-12-24 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| CN102592136B (zh) | 2011-12-21 | 2013-10-16 | 东南大学 | 基于几何图像中中频信息的三维人脸识别方法 |
| US9129221B2 (en) | 2012-05-07 | 2015-09-08 | Brain Corporation | Spiking neural network feedback apparatus and methods |
| US9224090B2 (en) | 2012-05-07 | 2015-12-29 | Brain Corporation | Sensory input processing apparatus in a spiking neural network |
| US9412041B1 (en) | 2012-06-29 | 2016-08-09 | Brain Corporation | Retinal apparatus and methods |
| US9111215B2 (en) | 2012-07-03 | 2015-08-18 | Brain Corporation | Conditional plasticity spiking neuron network apparatus and methods |
| US8977582B2 (en) | 2012-07-12 | 2015-03-10 | Brain Corporation | Spiking neuron network sensory processing apparatus and methods |
| US9256215B2 (en) | 2012-07-27 | 2016-02-09 | Brain Corporation | Apparatus and methods for generalized state-dependent learning in spiking neuron networks |
| US9256823B2 (en) | 2012-07-27 | 2016-02-09 | Qualcomm Technologies Inc. | Apparatus and methods for efficient updates in spiking neuron network |
| US9186793B1 (en) | 2012-08-31 | 2015-11-17 | Brain Corporation | Apparatus and methods for controlling attention of a robot |
| US9440352B2 (en) | 2012-08-31 | 2016-09-13 | Qualcomm Technologies Inc. | Apparatus and methods for robotic learning |
| US8793205B1 (en) | 2012-09-20 | 2014-07-29 | Brain Corporation | Robotic learning and evolution apparatus |
| US9367798B2 (en) | 2012-09-20 | 2016-06-14 | Brain Corporation | Spiking neuron network adaptive control apparatus and methods |
| US9189730B1 (en) | 2012-09-20 | 2015-11-17 | Brain Corporation | Modulated stochasticity spiking neuron network controller apparatus and methods |
| US9311594B1 (en) | 2012-09-20 | 2016-04-12 | Brain Corporation | Spiking neuron network apparatus and methods for encoding of sensory data |
| US9082079B1 (en) | 2012-10-22 | 2015-07-14 | Brain Corporation | Proportional-integral-derivative controller effecting expansion kernels comprising a plurality of spiking neurons associated with a plurality of receptive fields |
| US9111226B2 (en) | 2012-10-25 | 2015-08-18 | Brain Corporation | Modulated plasticity apparatus and methods for spiking neuron network |
| US9183493B2 (en) | 2012-10-25 | 2015-11-10 | Brain Corporation | Adaptive plasticity apparatus and methods for spiking neuron network |
| US9218563B2 (en) | 2012-10-25 | 2015-12-22 | Brain Corporation | Spiking neuron sensory processing apparatus and methods for saliency detection |
| US9275326B2 (en) | 2012-11-30 | 2016-03-01 | Brain Corporation | Rate stabilization through plasticity in spiking neuron network |
| US9123127B2 (en) | 2012-12-10 | 2015-09-01 | Brain Corporation | Contrast enhancement spiking neuron network sensory processing apparatus and methods |
| US9195934B1 (en) | 2013-01-31 | 2015-11-24 | Brain Corporation | Spiking neuron classifier apparatus and methods using conditionally independent subsets |
| US9177245B2 (en) | 2013-02-08 | 2015-11-03 | Qualcomm Technologies Inc. | Spiking network apparatus and method with bimodal spike-timing dependent plasticity |
| US8996177B2 (en) | 2013-03-15 | 2015-03-31 | Brain Corporation | Robotic training apparatus and methods |
| US9764468B2 (en) | 2013-03-15 | 2017-09-19 | Brain Corporation | Adaptive predictor apparatus and methods |
| US9008840B1 (en) | 2013-04-19 | 2015-04-14 | Brain Corporation | Apparatus and methods for reinforcement-guided supervised learning |
| US9242372B2 (en) | 2013-05-31 | 2016-01-26 | Brain Corporation | Adaptive robotic interface apparatus and methods |
| US9384443B2 (en) | 2013-06-14 | 2016-07-05 | Brain Corporation | Robotic training apparatus and methods |
| US9314924B1 (en) * | 2013-06-14 | 2016-04-19 | Brain Corporation | Predictive robotic controller apparatus and methods |
| US9792546B2 (en) | 2013-06-14 | 2017-10-17 | Brain Corporation | Hierarchical robotic controller apparatus and methods |
| US9239985B2 (en) | 2013-06-19 | 2016-01-19 | Brain Corporation | Apparatus and methods for processing inputs in an artificial neuron network |
| US9436909B2 (en) | 2013-06-19 | 2016-09-06 | Brain Corporation | Increased dynamic range artificial neuron network apparatus and methods |
| CN104257490B (zh) * | 2013-06-26 | 2016-04-13 | 中国科学院合肥物质科学研究院 | 一种穿戴型下肢助力机器人的折叠方法 |
| US9552546B1 (en) | 2013-07-30 | 2017-01-24 | Brain Corporation | Apparatus and methods for efficacy balancing in a spiking neuron network |
| US9579789B2 (en) | 2013-09-27 | 2017-02-28 | Brain Corporation | Apparatus and methods for training of robotic control arbitration |
| US9296101B2 (en) | 2013-09-27 | 2016-03-29 | Brain Corporation | Robotic control arbitration apparatus and methods |
| US9489623B1 (en) | 2013-10-15 | 2016-11-08 | Brain Corporation | Apparatus and methods for backward propagation of errors in a spiking neuron network |
| US9463571B2 (en) | 2013-11-01 | 2016-10-11 | Brian Corporation | Apparatus and methods for online training of robots |
| US9597797B2 (en) | 2013-11-01 | 2017-03-21 | Brain Corporation | Apparatus and methods for haptic training of robots |
| US9248569B2 (en) | 2013-11-22 | 2016-02-02 | Brain Corporation | Discrepancy detection apparatus and methods for machine learning |
| US9358685B2 (en) | 2014-02-03 | 2016-06-07 | Brain Corporation | Apparatus and methods for control of robot actions based on corrective user inputs |
| US9987743B2 (en) | 2014-03-13 | 2018-06-05 | Brain Corporation | Trainable modular robotic apparatus and methods |
| US9364950B2 (en) | 2014-03-13 | 2016-06-14 | Brain Corporation | Trainable modular robotic methods |
| US9533413B2 (en) | 2014-03-13 | 2017-01-03 | Brain Corporation | Trainable modular robotic apparatus and methods |
| US9630317B2 (en) | 2014-04-03 | 2017-04-25 | Brain Corporation | Learning apparatus and methods for control of robotic devices via spoofing |
| US9613308B2 (en) | 2014-04-03 | 2017-04-04 | Brain Corporation | Spoofing remote control apparatus and methods |
| US9346167B2 (en) | 2014-04-29 | 2016-05-24 | Brain Corporation | Trainable convolutional network apparatus and methods for operating a robotic vehicle |
| US10194163B2 (en) * | 2014-05-22 | 2019-01-29 | Brain Corporation | Apparatus and methods for real time estimation of differential motion in live video |
| US9713982B2 (en) | 2014-05-22 | 2017-07-25 | Brain Corporation | Apparatus and methods for robotic operation using video imagery |
| US9939253B2 (en) | 2014-05-22 | 2018-04-10 | Brain Corporation | Apparatus and methods for distance estimation using multiple image sensors |
| US9848112B2 (en) | 2014-07-01 | 2017-12-19 | Brain Corporation | Optical detection apparatus and methods |
| US10057593B2 (en) | 2014-07-08 | 2018-08-21 | Brain Corporation | Apparatus and methods for distance estimation using stereo imagery |
| US9849588B2 (en) | 2014-09-17 | 2017-12-26 | Brain Corporation | Apparatus and methods for remotely controlling robotic devices |
| US9860077B2 (en) | 2014-09-17 | 2018-01-02 | Brain Corporation | Home animation apparatus and methods |
| US9579790B2 (en) | 2014-09-17 | 2017-02-28 | Brain Corporation | Apparatus and methods for removal of learned behaviors in robots |
| US9821470B2 (en) | 2014-09-17 | 2017-11-21 | Brain Corporation | Apparatus and methods for context determination using real time sensor data |
| US10055850B2 (en) | 2014-09-19 | 2018-08-21 | Brain Corporation | Salient features tracking apparatus and methods using visual initialization |
| US9630318B2 (en) | 2014-10-02 | 2017-04-25 | Brain Corporation | Feature detection apparatus and methods for training of robotic navigation |
| US9881349B1 (en) | 2014-10-24 | 2018-01-30 | Gopro, Inc. | Apparatus and methods for computerized object identification |
| US9426946B2 (en) | 2014-12-02 | 2016-08-30 | Brain Corporation | Computerized learning landscaping apparatus and methods |
| JP6632288B2 (ja) * | 2014-12-12 | 2020-01-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
| CN105844202A (zh) * | 2015-01-12 | 2016-08-10 | 芋头科技（杭州）有限公司 | 一种影像识别系统及方法 |
| US9717387B1 (en) | 2015-02-26 | 2017-08-01 | Brain Corporation | Apparatus and methods for programming and training of robotic household appliances |
| US9840003B2 (en) | 2015-06-24 | 2017-12-12 | Brain Corporation | Apparatus and methods for safe navigation of robotic devices |
| US10197664B2 (en) | 2015-07-20 | 2019-02-05 | Brain Corporation | Apparatus and methods for detection of objects using broadband signals |
| CN105599821B (zh) * | 2016-01-06 | 2019-03-01 | 山东优宝特智能机器人有限公司 | 具有环境感知能力的电驱动仿生四足机器人及控制方法 |
| US10295972B2 (en) | 2016-04-29 | 2019-05-21 | Brain Corporation | Systems and methods to operate controllable devices with gestures and/or noises |
| JP2019101492A (ja) * | 2017-11-28 | 2019-06-24 | トヨタ自動車株式会社 | コミュニケーション装置 |
| US11068741B2 (en) * | 2017-12-28 | 2021-07-20 | Qualcomm Incorporated | Multi-resolution feature description for object recognition |
| CN108161953A (zh) * | 2018-02-24 | 2018-06-15 | 上海理工大学 | 一种智能机器人头部系统 |
| CN108297109A (zh) * | 2018-02-24 | 2018-07-20 | 上海理工大学 | 一种智能机器人系统 |
| US11106896B2 (en) * | 2018-03-26 | 2021-08-31 | Intel Corporation | Methods and apparatus for multi-task recognition using neural networks |
| TWI668639B (zh) * | 2018-05-30 | 2019-08-11 | 瑞軒科技股份有限公司 | 臉部辨識系統與方法 |
| CN111595450B (zh) * | 2020-05-15 | 2022-03-25 | 北京百度网讯科技有限公司 | 测量温度的方法、装置、电子设备和计算机可读存储介质 |
| CN113524205B (zh) * | 2021-09-15 | 2021-12-31 | 深圳市优必选科技股份有限公司 | 仿人机器人的冗余手臂的抛投轨迹规划方法、装置及介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2921936B2 (ja) * | 1990-07-13 | 1999-07-19 | 株式会社東芝 | 画像監視装置 |
| US5909516A (en) | 1996-03-29 | 1999-06-01 | Sarnoff Corporation | Method and apparatus for decomposing an image stream into units of local contrast |
| JPH1153525A (ja) | 1997-08-06 | 1999-02-26 | Matsushita Electric Ind Co Ltd | 顔器官検出装置及び媒体 |
| US6421463B1 (en) * | 1998-04-01 | 2002-07-16 | Massachusetts Institute Of Technology | Trainable system to search for objects in images |
| AU3639699A (en) | 1998-04-13 | 1999-11-01 | Eyematic Interfaces, Inc. | Wavelet-based facial motion capture for avatar animation |
| JP3307354B2 (ja) * | 1999-01-29 | 2002-07-24 | 日本電気株式会社 | 人物識別方法及び装置と人物識別プログラムを記録した記録媒体 |
| WO2000053281A1 (en) | 1999-03-05 | 2000-09-14 | Namco, Ltd. | Virtual pet device and medium on which its control program is recorded |
| JP3435666B2 (ja) | 1999-09-07 | 2003-08-11 | ソニー株式会社 | ロボット |
| JP2001188555A (ja) | 1999-12-28 | 2001-07-10 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
| JP4403477B2 (ja) | 2000-01-26 | 2010-01-27 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US6983065B1 (en) * | 2001-12-28 | 2006-01-03 | Cognex Technology And Investment Corporation | Method for extracting features from an image using oriented filters |
| US7035467B2 (en) * | 2002-01-09 | 2006-04-25 | Eastman Kodak Company | Method and system for processing images for themed imaging services |
-
2002
- 2002-08-21 KR KR1020037005576A patent/KR100941209B1/ko not_active Expired - Fee Related
- 2002-08-21 WO PCT/JP2002/008433 patent/WO2003019475A1/ja not_active Ceased
- 2002-08-21 US US10/399,740 patent/US7369686B2/en not_active Expired - Fee Related
- 2002-08-21 EP EP02762820A patent/EP1343115B1/en not_active Expired - Lifetime
- 2002-08-21 DE DE60216411T patent/DE60216411T2/de not_active Expired - Lifetime
- 2002-08-21 JP JP2003523462A patent/JP4333364B2/ja not_active Expired - Fee Related
- 2002-08-21 CN CNB02803094XA patent/CN1273912C/zh not_active Expired - Fee Related
-
2009
- 2009-04-13 JP JP2009097230A patent/JP4609584B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9259159B2 (en) | 2012-03-29 | 2016-02-16 | Sony Corporation | Information processing apparatus, information processing method, and computer program for measuring eardrum temperature |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4609584B2 (ja) | 2011-01-12 |
| EP1343115A4 (en) | 2005-03-09 |
| CN1476589A (zh) | 2004-02-18 |
| US7369686B2 (en) | 2008-05-06 |
| WO2003019475A1 (en) | 2003-03-06 |
| US20050036649A1 (en) | 2005-02-17 |
| DE60216411D1 (de) | 2007-01-11 |
| EP1343115B1 (en) | 2006-11-29 |
| KR100941209B1 (ko) | 2010-02-10 |
| DE60216411T2 (de) | 2007-10-04 |
| JP2009157948A (ja) | 2009-07-16 |
| CN1273912C (zh) | 2006-09-06 |
| EP1343115A1 (en) | 2003-09-10 |
| JPWO2003019475A1 (ja) | 2004-12-16 |
| KR20040028660A (ko) | 2004-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4333364B2 (ja) | ロボット装置、顔認識方法及び顔認識装置 | |
| JP4590717B2 (ja) | 顔識別装置及び顔識別方法 | |
| US7532743B2 (en) | Object detector, object detecting method and robot | |
| US8060272B2 (en) | System and method for image mapping and visual attention | |
| US9630318B2 (en) | Feature detection apparatus and methods for training of robotic navigation | |
| JP3945279B2 (ja) | 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置 | |
| CN114080583A (zh) | 视觉教导和重复移动操纵系统 | |
| JP2004133637A (ja) | 顔検出装置、顔検出方法及びプログラム、並びにロボット装置 | |
| JPWO2002099545A1 (ja) | マン・マシン・インターフェースユニットの制御方法、並びにロボット装置及びその行動制御方法 | |
| JP2003271975A (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び平面抽出装置搭載型ロボット装置 | |
| Wang et al. | A generative human-robot motion retargeting approach using a single depth sensor | |
| CN115311739A (zh) | 一种基于kapao网络的人体姿态识别与模拟系统 | |
| JP2003271958A (ja) | 画像処理方法、その装置、そのプログラム、その記録媒体及び画像処理装置搭載型ロボット装置 | |
| Koert et al. | Incremental learning of an open-ended collaborative skill library | |
| JP4193098B2 (ja) | トラッキング装置、トラッキング装置のトラッキング方法及びロボット装置 | |
| Ziouzios et al. | A survey of fpga robotics applications in the period 2010–2019 | |
| Valipour | Deep learning in robotics | |
| CA2625805C (en) | System and method for image mapping and visual attention | |
| Takahashi et al. | An entertainment robot based on head pose estimation and facial expression recognition | |
| Roongpraiwan et al. | Digital twin-based transfer learning for collaborative robot systems: A proof of concept | |
| Kornuta et al. | Behavior-based control system of a robot actively recognizing hand postures | |
| Joshi | Antipodal Robotic Grasping using Deep Learning | |
| ICHIWARA | Multimodal Integrated Learning for Robust Robot Motion Generation | |
| Ribeiro | A deep learning approach to visual servo control and grasp detection for autonomous robotic manipulation | |
| Zeng et al. | Object manipulation learning by imitation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050715 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081002 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090413 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090513 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090602 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090615 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |