JP5590728B2 - パターン分類システムと集団学習法 - Google Patents

Description

本発明は、全般的にはパターン認識のための方法およびシステムに関し、より詳細には、ローカル環境の変化に適応し、同様の環境に設置された他のローカルシステムを設定するために、複数のローカルパターン認識システムからデータを収集および蓄積するための方法およびシステムに関する。

パターン認識システムは長年にわたって意図されており、一部の応用分野で普及してきている。しかし、システムの導入、設定、および保守の難しさが、より広い普及や利用を妨げる大きな障害の１つになっている。これらのシステムの導入を検討している顧客が、準備や設定の手順が複雑すぎて費用対効果が上がらないという単純な理由で導入を見送る場合が多い。そうした困難の原因となっている基本的な問題として、パターン分類システムは、分類器の設定に用いる情報と同じ程度の精度にしかならないことが挙げられる。

パターン分類システムは、センサが取得したデータのパターンを既存の分類データベースすなわち「トレーニングセット」と照合するように設計される。トレーニングセットは、認識対象となる１つ以上のオブジェクトクラスに属する広範な種類のパターン例を提供するように、装置にプログラミングされる。データパターンとトレーニングセットが一定の精度の範囲内で一致した場合は、検出されたデータが特定のクラスに属するものとして分類される。測定したデータをパターン認識システムがどれだけ正確に分類できるかは、トレーニングセットの大きさおよび多様性に左右される。残念ながら、分類システムの設計段階において、システムが測定するデータの変動を予測することは困難な場合が多い。たとえば、実際のクラスメンバの変動、センサの誤差から生じる測定値の変動、センサノイズ、システムの設定に伴う変動、システムノイズ、環境の変動または環境ノイズの変動などは、現場に設置された個々のシステムによって異なる場合がある。

これらの変動のために、パターン認識システムには、監督者付き学習または監督者なし学習を通じて新しい分類データに適応する機能が組み込まれることが多い。この適応機能を用いることで、トレーニングセットを拡張し、初期導入後に収集された新しいデータを追加できるようになる。また、新しいトレーニングデータを「現場でトレーニングされた」装置から抽出し、将来設置されるパターン認識システムに手動で追加することが多い。

ただし、こうしたアプローチには幾つかの基本的な問題がある。たとえば、静的なシステム、つまり、学習において適応分類アルゴリズムを用いないシステムの場合には、そのローカル環境に付随する実際の変動に適応することができない。変動の例として、クラスメンバの変動、センサの誤差に起因する測定値の変動、センサノイズ、システムの設定に伴う変動、システムノイズ、環境の変動または環境ノイズの変動がある。

一方で、監督者なし学習に依存した適応分類アルゴリズムを用いるシステムの場合、センサの設計者は分類トレーニングセットの終了状態に限定された制御しかできない。そうした制御の制限のため、装置ごとに異なるデータが「学習」され、それに伴う非決定性の学習特性が原因となって、同一条件下でも個々のセンサが異なる動作をするという、望ましくない効果が生じる。また、このような監督者なし学習のアプローチに依存したシステムでは、装置側でさらに多くのコンピューティングリソースと処理能力が必要になる。

監督者付き学習のみに依存した適応アルゴリズムを用いるシステムの場合、設計者または設置者は、現場に設置した各々の装置について新しい条件に適応するようにトレーニングを監督することを強いられる。従って、設置者はシステムをトレーニングするために、分類メンバの変動および環境変動をできるだけ多くシミュレートする必要がある。こうしたアプローチは実用的でない場合が多く、システムの複雑度に関する顧客の不満を正当化するものとなる。

前記に示した欠点の多くを克服するため、しばしばシステム設計者は高性能の構成要素を指定することによって変動を最小限に抑えようとするが、その場合システムのコストが増大する。たとえば、高性能センサを用いることでセンサのバイアス、およびノイズが最小限に抑えられる。高価なハードウェアフィルタを用いればセンサ、システム、および環境のノイズが最小限に抑えられる。高速処理プロセッサで複雑なソフトウェアフィルタを実装し、特徴抽出、および複合分類のアルゴリズムを実行することもできる。大量のシステムメモリは大きなトレーニングセットを格納することができ、実際のクラスメンバで予測される変動だけでなく、環境条件の変動についても、可能な限り多数処理することが可能である。

さらに、システムには高帯域幅のデータポート接続を装備するのが普通である。これにより、設置者は設置中にセンサデータを直接監視でき、装置の監督者付き学習を支援できる。環境条件が変化した場合には、システム性能が影響を受け、設置者がシステムを再調整することが多い。

エンドユーザから、新しいオブジェクトクラスまたはデータクラスの認識といった、システム運用の変更を求められた場合、設計者は新たに分類トレーニングセットを作成する必要があり、設置者は設置手順を繰り返して、新しいクラスメンバに合わせてシステムを調整する必要がある。

従って、複数のローカル画像処理システムからパターン認識データを収集および編集し、収集したデータを用いて、環境の変化に対応できるようにローカル画像処理システムを更新することができ、その他の画像処理システムの設定と更新を行なえるようにするためのシステムと方法が必要である。

本発明は、集団学習パターン認識システムのローカル画像処理システムを設定および更新するための方法およびシステムを有利に提供するものである。概して、本発明では、集団学習パターン認識システム内のローカル画像処理システムから収集した情報を用いて、同様の環境に設置された他のローカル画像処理システムの設定と更新を自動的に行なう。

本発明の一態様は、少なくとも１つの第１ローカル画像処理システムからオブジェクト認識データを受信し、少なくとも１つのグローバルデータベースにそのオブジェクト認識データを格納することにより、パターン認識システムを設定するための方法を含む。第２ローカル画像処理システムの設定データは、少なくとも１つの第１ローカル画像処理システムから受信したオブジェクト認識データに少なくとも部分的に基づいて決定され、第２ローカル画像処理システムに送信される。

また、別の態様では、本発明は、パターン認識システムを設定するための方法を提供し、その方法では、第１システムパラメータセットを中央エキスパートパターン認識システムに送信する。それに応答して、設定データ（少なくとも１つの他のローカル画像処理システムから収集された第１システムパラメータセットおよびオブジェクト認識データに少なくとも部分的に基づく）を中央エキスパートパターン認識システムから受信する。

また、さらに別の態様では、本発明は、パターン認識システムを提供する。なおこのパターン認識システムには、少なくとも１つのローカル画像処理システムおよび少なくとも１つのローカル画像処理システムの各々と通信可能に接続された少なくとも１つの中央エキスパートパターン認識システムが存在する。少なくとも１つの中央エキスパートパターン認識システムは、少なくとも１つの第１のローカル画像処理システムからオブジェクト認識データを受信し、そのオブジェクト認識データを少なくとも１つのグローバルデータベースに格納する。次に、中央パターン認識システムは、少なくとも１つの第１のローカル画像処理システムから受信したオブジェクト認識データに少なくとも部分的に基づいて、第２ローカル画像処理システムの設定データを決定し、その設定データを第２ローカル画像処理システムに送信する。

本発明のより完全な理解と、本発明に付随する利点および機能については、以降の詳細な説明を付属の図面と共に参照することで、より容易に理解される。

本発明の原理に従って構築された例示的な集団学習パターン認識システムのブロック図である。 本発明の原理に従って構築された例示的なローカル画像処理システムのブロック図である。 本発明の原理に従って構築された例示的な中央エキスパートシステムのブロック図である。 本発明の原理に従ったローカル画像処理システム設定プロセスのフローチャートである。 本発明の原理に従って実行されるパターン認識データ収集プロセスのフローチャートである。 本発明の原理に従って実行される画像処理システム最適化プロセスのフローチャートである。

本発明に従った例示的な実施形態を詳しく説明する前に述べておくが、実施形態では、複数の末端装置からパターン認識データを収集および蓄積し、収集したデータを用いて別の末端装置の設定と更新を行なうためのシステムおよび方法の実装に関連する装置の構成要素と処理手順の組み合わせが主となることに注意されたい。そのため、装置および方法の構成要素は図面では適宜従来の記号で表記しており、本明細書の説明の恩恵を有する当業者が容易に理解できるような詳細により開示が不明瞭とならない程度で、本発明の実施形態の理解に関係のある特定の詳細のみを示している。

本明細書では、実体または要素のいかなる物理的または論理的な関係または順序を必ずしも必要としたり暗示したりすることなく、単に実体または要素を互いに区別するだけの目的で、「第１」と「第２」、「上部」と「下部」のような相対関連を示す用語を用いている場合がある。「センサデータ」には、画像センサを含むが画像センサに限定されない任意のセンサから受信したデータが含まれる。

本発明の一実施形態として、ローカル画像処理システムまたは末端装置の内部に低複雑度で低コストのアーキテクチャを組み込んだ、ビデオおよびデータのいずれか１つまたはその両方のパターン認識および分類システムが挙げられる。ローカルシステムは、低複雑度のローカルシステム学習を支援する、複雑度のより高い中央エキスパートシステムと通信する。低複雑度末端装置から送られる情報には、光センサで得られた画像、他のセンサデータ、および装置のＩＤ番号が含まれる場合があるが、それらに限定されない。エキスパートシステムは、自身が持つ、末端装置のハードウェア、ソフトウェア、およびローカルデータに関する知識を利用して、分類の結果を確認し、分類不可能な結果を解決する。エキスパートシステムは、低複雑度装置で用いられる分類および特徴抽出のアルゴリズムを必要に応じて更新することもできる。

また、エキスパートシステムは多数の低複雑度末端装置からデータを収集し、それらの情報を利用してシステム有効性に関する自身のグローバルな知識を改善することもできる。その結果、エキスパートシステムでは末端装置の設置ごとに用いる最善のアルゴリズムおよび分類手法を学習できる。新たに設置された低複雑度末端装置はこれらの情報を利用して、既に設置済みの装置の知識のメリットを享受できる。設置者は設置時に、ネットワークへの登録時に低複雑度末端装置に対してプログラムされる好ましいアルゴリズムを事前に選択するために、設置の環境特性を参照することができる。これにより、末端装置は、既に同様の環境に設置されている装置から得られる知識を、設置後のトレーニングに先立つ開始ポイントとして、組み込むことができる。こうしたシステムは、セキュリティシステムと組み合わせて、またはセキュリティシステムの一部として利用することもできる。

続いて図面の説明に移る。図面では、同様の参照番号は同様の要素を指す。図１は、総括的に「１０」として示される、本発明の原理に従って構築された集団学習パターン認識システムである。システム１０には中央エキスパートシステム１２が含まれる。中央エキスパートシステム１２には、複数のローカル画像処理システム１６（図では２つ）から受信される情報をもとに構築されるグローバルパターン認識データベース１４を含めることができる。中央エキスパートシステム１２は、インターネット１８またはその他の通信ネットワークを経由して、直接的に、またはウェブサービス２０などを用いて間接的に、ローカル画像処理システム１６と通信する。情報は、各ローカル画像処理システム１６から、または各ローカル画像処理システム１６へ、直接、またはゲートウェイもしくはネットワークアプライアンス２２を通してルーティングされる。

図２は、本発明の原理に従って構築された例示的なローカル画像処理システム１６のブロック図である。画像センサ２４はビデオ画像データを獲得（capture）し、その情報をローカル制御パネル２６に転送する。有線または無線のデータ通信プロトコルとしてTCP/IPなどが知られている。ローカル制御パネル２６はネットワーク通信インタフェース２８を用いて画像センサ２４からビデオデータを受信する。ネットワーク通信インタフェースは、有線装置、無線装置、または有線装置と無線装置の組み合わせであってもよい。また、ローカル制御パネル２６は、認識可能なパターンのより高い精度での判断を支援するために、音響センサ３０（図では１つ）、受動型赤外線センサ３２（図では１つ）、およびその他の各種センサ３４から、補助情報を受信することができる。たとえば、音響センサ３０からの警報の起動をトリガとして、ローカル画像処理システム１６で画像データの獲得と処理を開始することができる。画像センサ２４、音響センサ３０、受動型赤外線センサ３２、およびその他のセンサは、単一の低複雑度末端装置内に制御パネル２６とともに共同設置することも、制御パネル２６の通信範囲内で遠隔配置することもできる。

また、例示的な制御パネル２６はプロセッサ３６を含めることができる。プロセッサは、本明細書に説明される諸機能を含む、制御パネルの様々な機能を監督し実行する。プロセッサ３６は、通信インタフェース２８および不揮発性メモリ３８と通信可能に接続される。不揮発性メモリ３８にはデータメモリ４０とプログラムメモリ４２を含めることができる。データメモリ４０およびプログラムメモリ４２には、ローカル画像処理システム１６内部でのパターン認識にのみ用いられる、ローカル版のデータベースおよび実行可能なパターン認識ルーチンを含めることができる。データメモリ４０には、パターンの認識と分類を行なうためのローカルデータベース（ローカル分類知識ベース４４、ローカル動作知識ベース４６、ローカル規則推論知識ベース４８など）を含めることができる。プログラムメモリ４２には、単純特徴抽出エンジン５０、単純分類エンジン５２、単純動作モデリングエンジン５４、および規則推論エンジン５６を含めることができる。

ローカルデータベース４４、４６、４８、およびローカルパターン認識ルーチン５０、５２、５４、５６は、中央エキスパートシステム１２から受信される情報に従って定期的に更新および修正することができる。プロセッサ３６は画像データセットを処理するために、必要に応じて各々のパターン認識ルーチンを呼び出すことができる。たとえば、単純特徴抽出エンジン５０は、画像センサ２４から収集された画像データセットに含まれている顕著な特徴データを抽出する。単純分類エンジン５２は、ローカル分類知識ベース４４を用いて、各々の顕著な特徴セットのオブジェクトクラスを分類し決定する。単純動作モデリングエンジン５４は、画像センサ２４の視野範囲内にあるオブジェクトを一定の期間にわたって追跡し、一定の期間にわたるオブジェクトの動作を分類し、オブジェクトの動作のモデルを作成して、それらのモデルをローカル動作知識ベース４６に格納する。単純規則推論エンジン５６は、識別された動作を、ローカル規則推論知識ベース４８に格納されている一連の動作規則と比較し、警報条件が存在するかどうかを判断する。

図３は、例示的な中央エキスパートシステム１２のブロック図を示したものである。エキスパートシステム１２には、中央エキスパートシステムの機能を制御するためのプロセッサ５８を含めることができる。なおプロセッサ５８はローカル画像処理システム１６との通信を維持するため、有線または無線のネットワーク通信インタフェース６０に通信可能に接続される。プロセッサ５８は、データメモリ６４およびプログラムメモリ６６を含む不揮発性メモリ６２と通信可能に接続される。データメモリ６４には広範囲データベース（グローバル分類知識ベース６８、グローバル動作知識ベース７０、グローバル規則推論知識ベース７２など）を含めることができる。広範囲データベースには、パターン認識システム１００全体の中にあるすべてのローカル画像処理システムから収集および蓄積された情報が格納される。これらのグローバルデータベース６８、７０、７２は対応するローカルデータベース４４、４６、４８に似ているが、概して容量がより大きく範囲がより広い。中央エキスパートシステム１２は、各々のローカル画像処理システム１６から受信した新しいデータに基づいてグローバルデータベース６８、７０、７２を拡張する機能も備える。また、プログラムメモリ６６には高度なパターン認識および分類ルーチン（強力な特徴抽出エンジン７４、エキスパート分類エンジン７６、エキスパート動作モデリングエンジン７８、ロバスト推定エンジン８０など）を含めることができる。これらはそれぞれ、対応するローカルのパターン認識および分類ルーチン５０、５２、５４、５６に似ているが、概してより複雑度が高く、より高い処理能力を必要とする。

図４は、中央エキスパートシステム１２によって複数のローカル画像処理システムから収集されたパターン認識データを用いて、ローカル画像処理システム１６の設定と更新を行なうために、ローカル画像処理システム１６で実行されるステップを説明する例示的な運用フローチャートである。このプロセスは、設置者が特定の場所にローカル画像処理システム１６を設置した時点（ステップＳ１０２）から始まる。設置者は、ローカル画像処理システム１６で受信および／または格納される設置パラメータを入力する（ステップＳ１０４）。設置パラメータには、システムの場所（「ＡＢＣ株式会社、店舗番号４５６、正面入口」など）、望ましい機能（交通量の監視、人数計測、侵入検出など）、および一般的な環境特性（室内か室外か、窓有か窓無か、床がカーペット敷きかタイル張りかなど）といった特性を含めることができる。次に、ローカル画像処理システム１６は、たとえばネットワークと接続して中央エキスパートシステム１２との通信を確立する時点で、自身を中央エキスパートシステム１２に登録する（ステップＳ１０６）。ローカル画像処理システム１６は、たとえば、装置またはシステムＩＤ、および１つ以上のその他の設置パラメータを含む、ローカル画像処理システムのパラメータをエキスパートシステム１２に送信することによって登録を行なうことができる。

ローカル画像処理システム１６は、受信したシステムパラメータに基づいて特定のローカル画像処理システム用にカスタマイズされた設定データをエキスパートシステム１２から受信する（ステップＳ１０８）。設定データには、受信したシステムパラメータを有するローカルシステム用に特別に設計された、特徴抽出、分類、動作モデリング、および規則推論のための更新されたアルゴリズムを含めることができる。

設定の完了後、ローカル画像処理システム１６は画像データの収集と分析を開始する。（概して中央エキスパートシステム１２と比較した場合）低複雑度のローカル画像処理システム１６は、システムまたは装置ＩＤと、１つ以上のデータ（画像、画像の変換表現、特徴ベクトル、センサデータ、特徴抽出アルゴリズムの結果、分類アルゴリズムの結果、動作モデリングの結果、および規則推論による判定の結果）を、分析のためにエキスパートシステム１２に送信する（ステップＳ１１０）。ローカル画像処理システム１６から送信されるセンサデータは、ローカル画像処理システム１６で得られた全データセットのうちの縮小されたセットを含む、低帯域幅データとすることができる。たとえば、ローカル画像処理システム１６により送信されるデータは、エキスパートシステム１２が画像パターンを分類および認識するのに必要となる顕著な情報だけを含むことができる。２００８年１月３１日に出願のStewart E. Hallに付与された「Video Sensor and Alarm System with Object and Event Classification」を発明の名称とする米国特許出願第１２／０２３６５１号は、低複雑度末端装置を用いて画像データから顕著な特徴を抽出するための１つの方法を開示するものであり、その内容は参照により本明細書に組み込まれる。

次に、ローカル画像処理システム１６は、自身のローカルデータベース（ローカル分類知識ベース４４、ローカル動作知識ベース４６、ローカル規則推論知識ベース４８など）に対する最新情報および／またはパターン認識ルーチン（単純特徴抽出エンジン４２、単純分類エンジン５２、単純動作モデリングエンジン５４、および規則推論エンジン５６など）に対する最新情報をエキスパートシステム１２から受信し、自身の性能を修正および改善する（ステップＳ１１２）。更新されたデータベースおよび／またはパターン認識ルーチンは、同様の環境に設置された他のローカル画像処理システムで収集および学習されたデータに基づくものであってもよい。

図５は、複数のローカル画像処理システム１６からパターン認識データを収集および蓄積し、収集したデータを用いて別の画像処理装置の設定と更新を行なうために、中央エキスパートシステム１２で実行されるプロセスを説明する例示的な運用フローチャートである。運用中、中央エキスパートシステム１２は、新たに設置されたローカル画像処理システム１６から得られるローカル画像処理システムパラメータを含む登録データを受信する（ステップＳ１１６）。エキスパートシステム１２は、受信したローカル画像処理システムパラメータを分析し、受信したパラメータに基づいて、設定データをローカル画像処理システム１６に転送する（ステップＳ１１８）。設定データには、ローカルデータベースに対する最新情報、および／または特徴抽出、分類、動作モデリング、および規則推論のアルゴリズムに対する最新情報を含めることができる。

次に、エキスパートシステム１２は、画像に関するデータ、画像／オブジェクトの認識に関するデータ、画像の圧縮表現または変換表現、およびその他のセンサデータを受信する。このデータを用いることで背景画像の特性（背景画像の明暗の変動、画像内部の動き、センサデータの変動など）を評価できる。また、このデータには、ローカル画像処理システムのパターン認識アルゴリズムの有効性を評価する目的で分類される特徴およびオブジェクトを含めることができる。

また、エキスパートシステム１２は、ローカル画像処理システムの特徴抽出エンジン４２、分類エンジン５２、動作モデリングエンジン５４、および／または規則推論エンジン５６の直接出力を受信することができる。次に、エキスパートシステム１２は、個々のローカル画像処理システム１６から受信したデータを用いて、同様の環境にあるか、または同様の作業で用いられる、ローカル画像処理システムのグループ（つまり、少なくとも１つの共通のシステムパラメータを有するローカル画像処理システム群）について、その性能を修正および改善することができる（ステップＳ１２２）。

また、このデータを用いて、ローカル画像処理のアルゴリズムの有効性を評価および検証し、これらのアルゴリズムに変更を加える必要があるかどうかを判断することもできる。たとえば図６に示すように、エキスパートシステム１２は、オリジナルの対応する画像データだけでなく、少なくとも１つのローカル画像処理システム１６から得られる少なくとも１つのパターン認識アルゴリズム（特徴抽出エンジン５０、分類エンジン５２、動作モデリングエンジン５４、規則推論エンジン５６など）に基づく認識結果も受信する（ステップＳ１２８）。次に、エキスパートシステム１２は、自身の対応するパターン認識アルゴリズム（強力な特徴抽出エンジン７４、エキスパート分類エンジン７６、エキスパート動作モデリングエンジン７８、ロバスト規則推論エンジン８０など）をオリジナル画像データに対して実行し、その結果を、ローカル画像処理システム１６から受信した出力結果と比較することによって、ローカル画像処理システム１６の性能を評価してもよい（ステップＳ１３０）。性能が満足のいくものと判断された場合（ステップＳ１３２）、エキスパートシステム１２はそれ以上何も実行せず、単に追加の結果を受信するまで待機する。しかし、データに何らかの食い違いがある場合、エキスパートシステム１２はローカル画像処理システム１６を更新する必要があると判断することができる。

エキスパートシステム１２は、ローカルの環境特性と指定された分類、動作検出と規則推論の要件に従って、ローカル画像処理システム１６をグループ化することによって、システムの最適化を実行する（ステップＳ１３４）。次に、エキスパートシステム１２は、ローカル画像処理システム１６の各々のグループについてローカル画像処理および分類の手順を変更することによって、グループで実現できる性能改善の可能性を評価する（ステップＳ１３６）。また、エキスパートシステム１２は、システム全体の複雑度にもたらされる変更の影響を評価し、システム１６が最適化されたかどうかを判断する。システム１６全体が最適化されない場合（ステップＳ１３８）、エキスパートシステムはステップＳ１３４に戻り、最適化手順を続行する。システム１６全体が最適化される場合（ステップＳ１３８）、エキスパートシステム１２は、各々のローカル画像処理システムグループの中で処理のおよび分類の手順に対して推奨される変更を蓄積する（ステップＳ１４０）。オプションとして、推奨される変更について実装前にシステム管理者からの承認を必要とするようにできる。

エキスパートシステム１２は、改善されたパターン認識アルゴリズムおよび／またはトレーニングセットデータベースを含む最新情報について、スケジュールを設定し、ローカル画像処理システム１６に送信する（ステップＳ１４２）。エキスパートシステム１２によるこの集団学習能力が、本発明の有益な機能である。

図５に戻って、エキスパートシステム１２は他のエキスパートシステム（図示せず）とも通信し（ステップＳ１２４）、末端装置（ローカル画像処理システム）から受信した結果を共有することもできる。また、エキスパートシステム１２は、人的介入がなければ分類できない不確定データに対する実際の真実（ground truth）を定義するために、専門家による人的介入の要求（ステップＳ１２６）および／または受信を行なうことができる。この機能によってエキスパートシステム１２の学習能力が強化され、各々のローカルサイトで人的介入を必要とせずに、学習能力がローカル画像処理システム１６にシームレスに伝達される。

本発明が先行技術よりも有利な点は、ローカル画像処理を主体とする同様のシステムを単一のグループとしてプログラミングおよび再プログラミングできることである。たとえば、小売デパートチェーンでは、店舗ごとに特定の類似した外観と雰囲気（look and feel）を持たせている。そのため、各々の店舗に設置されたローカル画像処理システム１６は必ず同様の環境下に置かれる。新規の店舗で新規のシステムを設置することはきわめて容易である。設置者はまず、設置サイトの所在地（店舗チェーン名）や特定の機能（カーペットや室内）などの既知の品質によって決められた、基本的なパラメータセットを準備する。エキスパートシステム１２は１か所を学習するだけで済み、同様のパラメータを持つ他のローカルシステムは同じものと見なすことができる。たとえば、店舗「Ｘ」の正面口はすべて同じものと見なすことができる。こうしたグループ学習によって、ローカルシステムを設置する前であってもエキスパートシステムが場所を「事前学習」することが可能になる。システムが運用を始めると、正確な検出に必要なローカルシステムの具体的な特性（照明など）が学習される。すべてのローカルシステムが、個々のシステムが学習した適応情報のメリットを享受することができる。

ローカルシステムの性能の最適化は、システムを複雑にすることにより行われる。すなわち、各々のローカル画像処理システムの意思決定プロセスが隣接システムのものとは異なる能力をもたなければならないからである。システムの性能とシステムの複雑度を同時に最適化するため、エキスパートシステムは、同様の運用特性を持つローカル装置をグループ化し、まったく同じ意思決定プロセスを用いてグループのすべてのメンバをプログラミングしてもよい。この場合は、個々の装置の性能が犠牲になる。最適化された装置グループ化が決まると、エキスパートシステムはこの最適化されたシステム設定を用いて、必要に応じて新しいトレーニングデータを各々のローカル装置に提供し、システム全体の運用を改善する。また、エキスパートシステムはその後、将来新しい装置が登録されるときにそれらの新しい装置に提供する命令とトレーニングデータの基本状態を修正する。その結果、各々の新しい装置が独自に学習をする必要なしに、既に集団グローバル知識ベースに組み込まれた個々のローカル装置の「経験」をすぐに利用できるようになる。

さらに、ローカルシステムを個別単位ではなくグループとして再プログラミングすることができる。たとえば、店舗「Ｘ」の全従業員の作業用ベストが同じ色だとする。店舗「Ｘ」で、任意の所与の時点で作業現場にいる従業員の人数を追跡することになった場合、特定の色のベストを着用していると識別される人について、その人数の追跡を始めるように店舗「Ｘ」に属するすべてのローカル画像処理システムを同時に再プログラミングすることができる。

本発明の一実施形態では、ローカル画像処理システムまたは末端装置のアルゴリズムに変更を加えることが可能な適応型アプローチを利用している。これにより、実際のクラスメンバの変動や、測定データの変動（センサの誤差、センサノイズ、システムの設定に伴う変動、システムノイズ、環境の変動または環境ノイズの変動などを原因とするもの）に適応するように、ローカルシステムを変更できる。ただし、ローカルシステムに対する変更は中央エキスパートシステムで監督されており、監督者なし学習で起こりうる変動や無制御学習は最小限に抑えられる。

本発明は、エキスパートシステムによって監督され、最終的には人間のオペレータによって制御される適応型トレーニングアルゴリズムを用いているので、設置時に広範なトレーニングを行なわなくてもローカルシステムを設置できる。末端装置は継続的に精度が評価されるので、末端装置で発生する可能性のあるすべての変動を予測する必要はない。エキスパートシステムは多数のローカルシステムからデータを収集できるので、旧システムのトレーニングデータを新システムの初期準備時に利用することが可能である。

また、環境条件によってローカルシステムの性能が変化した場合、設置者がローカルシステムを再調整しなくても、エキスパートシステムがそれらの変化の多くを補正することができる場合がある。新しいオブジェクトクラスまたはデータクラスの認識など、システム運用に対して新たに変更要求が生じた場合、設置者が各々の末端装置を再トレーニングする必要はなく、新しい分類トレーニングセットを開発して遠隔でアップグレードを実行できる。

別の実施形態では、動作モデリングまたは規則推論エンジンを不要な場合に取り除いてもよい。また、本発明の基本的なアイデアを変えずにブロックの機能を組み合わせてもよい。

まとめると、本発明の原理に従うことによって、「経験」がローカルに収集されると同時に、学習がグローバルに達成される。情報や意思決定をグローバルのレベルにまで転送しないで、ローカルデータベースにより高速な処理が可能となる。ただし、学習、つまり、意思決定プロセスに対する変更はすべて、エキスパートシステムのレベルで行なわれる。こうした意思決定プロセスに対する変更は、エキスパートシステムが１つ以上のローカル装置上のローカルデータベースを変更することによって完結する。

本明細書で検討した実施形態は主にビデオパターン分類の用途を中心としているが、本発明の全般的な概念を変えることなく、ビデオセンサのデータをその他のセンサのデータに置き換えることや、ビデオセンサのデータとその他のセンサのデータを一緒に用いることも考えられる。本発明は、低コストで低複雑度の末端装置を用いてデータを分類し、それらのデータの分類に基づいて有益な情報を提供できる、数多くの分野に応用できる。たとえば、人数計測、ライン管理、小売店舗での顧客の追跡、カート追跡、車両追跡、人の認識、大人と子供を区別した検出、などが考えられる。

当業者には、本発明が本明細書でこれまでに図示し説明した内容に限定されるものではないことを理解されたい。また、前記で特にそうではないと明記した場合を除き、すべての添付の図面は原寸に比例していないことに留意されたい。前記の教示を踏まえたうえで、は下記の請求項によってのみ制限を受ける本発明の範囲や意図を逸脱しない限り、様々な修正や変更を加えることが可能である。

Claims (22)

1. パターン認識システムにおける適応学習のための方法であって、
   少なくとも１つの第１ローカル画像処理システムから、画像データと、少なくとも１つの第１ローカル分類アルゴリズムに基づくローカルオブジェクト認識データを受信するステップと、
   前記ローカルオブジェクト認識データを、中央エキスパートシステムと関連付けた少なくとも１つのグローバルデータベースに格納するステップと、
   前記画像データを、少なくとも１つのエキスパートシステム分類アルゴリズムを用いて分析するステップと、
   前記少なくとも１つのエキスパートシステム分類アルゴリズムによる分析に基づき前記第１ローカル分類アルゴリズムの精度を決定するステップと、
   前記少なくとも１つの第１ローカル分類アルゴリズムに最新情報を送信し、それにより前記精度を改善するステップと、
   を具備することを特徴とする方法。
2. 前記最新情報は、ローカル画像処理システムデータベースに対する最新情報、特徴抽出エンジンに対する最新情報、オブジェクト分類エンジンに対する最新情報、動作モデリングエンジンに対する最新情報、および規則推論エンジンに対する最新情報のうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
3. 前記オブジェクト認識データは、画像、画像の圧縮表現、画像の変換表現、センサデータ、顕著な特徴、分類オブジェクト、動作モデリングエンジンからの出力、および規則推論エンジンからの出力、のうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
4. 前記グローバルデータベースは、分類知識ベース、動作知識ベース、および規則推論知識ベースのうちの少なくとも１つを含むことを特徴とする請求項１に記載の方法。
5. 第２ローカル画像処理システムの設定データを決定するステップであって、前記設定データは、前記少なくとも１つの第１ローカル画像処理システムから受信した前記オブジェクト認識データに少なくとも部分的に基づくことを特徴とするステップと、
   前記設定データを前記第２ローカル画像処理システムに送信するステップと、をさらに具備することを特徴とする請求項１に記載の方法。
6. 前記第２ローカル画像処理システムから第１システムパラメータセットを受信するステップと、
   前記設定データを、前記第１システムパラメータセットに少なくとも部分的に基づいて決定するステップと、
   をさらに具備することを特徴とする請求項５に記載の方法。
7. 前記システムパラメータセットは、装置ＩＤ、システムＩＤ、場所、望ましい機能、および環境特性、のうちの少なくとも１つを含むことを特徴とする請求項６に記載の方法。
8. 前記少なくとも１つの第１ローカル画像処理システムから第２システムパラメータセットを受信するステップをさらに含み、
   前記第２ローカル画像処理システムから受信した前記第１システムパラメータセットからの少なくとも１つのパラメータは、前記少なくとも１つの第１ローカル画像処理システムから受信した前記第２システムパラメータセットからの少なくとも１つのパラメータと同じであることを特徴とする請求項６に記載の方法。
9. 前記少なくとも１つのローカル画像処理システムから画像データを受信するステップと、
   第１パターン認識アルゴリズムに基づいて第１パターン認識データセットを受信するステップと、
   前記受信した画像データに対して第２パターン認識アルゴリズムを実行して第２パターン認識データセットを生成するステップと、
   前記第１パターン認識データセットを前記第２パターン認識データセットと比較して、相互の矛盾を明らかにするステップと、
   矛盾の発見に応答して、前記第１パターン認識アルゴリズムおよび前記少なくとも１つのローカル画像処理システムのデータベースのうちの少なくとも１つに、最新情報を送信するステップと、
   をさらに具備することを特徴とする請求項１に記載の方法。
10. パターン認識システムにおける適応学習のための方法であって、
    第１パターン認識アルゴリズムに基づく第１パターン認識データセットを含む画像データを、少なくとも１つのローカル画像処理システムから、中央エキスパートシステムへ送信するステップを具備し、
    前記中央エキスパートシステムは、
    受信した画像データに第２パターン認識アルゴリズムを実行して第２パターン認識データセットを生成するステップと、
    前記第１パターン認識データセットと前記第２パターン認識データセットとを比較し、相互の矛盾を明らかにするステップと、
    矛盾の発見に応答して、前記第１パターン認識アルゴリズムおよび前記少なくとも１つのローカル画像処理システムのデータベースのうちの少なくとも１つに、最新情報を送信するステップと、
    を具備することを特徴とする、
    パターン認識システムにおける適応学習のための方法。
11. 前記第２パターン認識アルゴリズムは、特徴抽出エンジン、オブジェクト分類エンジン、動作モデリングエンジン、および規則推論エンジンのうちの少なくとも１つであることを特徴とする請求項１０に記載の方法。
12. 前記第２パターン認識アルゴリズムは、前記少なくとも１つのグローバルデータベースを参照して、前記第２パターン認識データセットを生成することを特徴とする請求項１１に記載の方法。
13. ローカル画像処理システムを設定するための方法であって、
    第１システムパラメータセットを中央エキスパートパターン認識システムに送信するステップと、
    設定データを前記中央エキスパートパターン認識システムから受信するステップであって、前記設定データは、少なくとも１つのローカルパターン認識アルゴリズムを含み、前記設定データは、前記第１システムパラメータセットと、少なくとも１つの他のローカル画像処理システムから収集されたオブジェクト認識データとに少なくとも部分的に基づくものであり、前記少なくとも１つの他のローカル画像処理システムは、第２ローカルパターン認識アルゴリズムを含み、前記中央エキスパートパターン認識システムは、前記第１システムパラメータセットと、前記第２ローカルパターン認識アルゴリズムとに少なくとも部分的に基づいて、前記少なくとも１つのローカルパターン認識アルゴリズムを決定することを特徴とするステップと、
    を具備することを特徴とする、
    ローカル画像処理システムを設定するための方法。
14. 画像データを獲得するステップと、
    前記受信した設定データおよび前記獲得した画像データを用いてオブジェクト認識データを生成するステップと、
    前記オブジェクト認識データを前記中央エキスパートパターン認識システムに送信するステップと、
    を具備し、
    前記中央エキスパートパターン認識システムは、
    前記オブジェクト認識データを、少なくとも１つのエキスパートシステム分類アルゴリズムを用いて分析するステップと、
    前記少なくとも１つのエキスパートシステム分類アルゴリズムによる分析に基づき前記少なくとも１つのローカルパターン認識アルゴリズムの精度を決定するステップと、
    前記少なくとも１つのローカルパターン認識アルゴリズムに最新情報を送信し、それにより前記精度を改善するステップと、
    を実行することを特徴とする、
    請求項１３に記載の方法。
15. 複数のローカル画像処理システムであって、前記複数のローカル画像処理システムの各々は、ローカル画像データを収集し、少なくとも１つのローカル分類アルゴリズムに基づきローカルオブジェクト分類知識ベースを生成することを特徴とするローカル画像処理システムと、
    前記複数のローカル画像処理システムの各々と通信可能に接続された少なくとも１つの中央エキスパートパターン認識システムであって、前記少なくとも１つの中央エキスパートパターン認識システムは、
    少なくとも１つの前記ローカル画像処理システムから、画像データと、ローカルオブジェクト認識データを受信し、
    前記ローカル画像データを、少なくとも１つのエキスパートシステムアルゴリズムを用いて分析して、エキスパートオブジェクト認識データを生成し、
    前記エキスパートオブジェクト認識データをローカルオブジェクト認識データと比較し、前記少なくとも１つのローカル分類アルゴリズムの精度を決定し、
    前記少なくとも１つのローカル分類アルゴリズムに最新情報を送信し、それにより前記精度を改善することを特徴とする中央エキスパートパターン認識システムと、
    を具備するパターン認識システム。
16. 前記複数のローカル画像処理システムの各々のローカル画像処理システムは、
    通信インタフェースと、
    ビデオ画像データを獲得する画像獲得装置と、
    前記通信インタフェースおよび前記画像獲得装置と通信可能に接続され、且つ前記獲得した画像データからオブジェクト認識データを生成するプロセッサと、
    を具備することを特徴とする請求項１５に記載のシステム。
17. 各々のローカル画像処理システムは、ローカルオブジェクト分類知識ベース、ローカル動作知識ベース、およびローカル規則推論知識ベースのうちの少なくとも１つをさらに具備することを特徴とする請求項１６に記載のシステム。
18. 前記最新情報は、ローカル画像処理システムデータベースに対する最新情報、特徴抽出エンジンに対する最新情報、オブジェクト分類エンジンに対する最新情報、動作モデリングエンジンに対する最新情報、および規則推論エンジンに対する最新情報のうちの少なくとも１つを具備することを特徴とする請求項１６に記載のシステム。
19. 前記少なくとも１つの中央エキスパートパターン認識システムは、
    通信インタフェースと、
    前記少なくとも１つのローカル画像処理システムから受信したオブジェクト認識データを含む少なくとも１つのグローバル知識ベースと、
    前記通信インタフェースおよび前記少なくとも１つのグローバル知識ベースと通信可能に接続されたプロセッサと、
    を具備し、
    前記プロセッサは、
    前記受信したオブジェクト認識データを蓄積し、
    前記受信したオブジェクト認識データに基づいて第２番目の前記ローカル画像処理システムの設定データを決定することを特徴とする、
    請求項１５に記載のシステム。
20. 前記中央エキスパートシステムはさらに、
    第２番目の前記ローカル画像処理システムからシステムパラメータセットを受信し、
    前記システムパラメータセットに基づいて設定データを決定する、
    ことを特徴とする請求項１５に記載のシステム。
21. 前記複数のローカル画像処理システムは、第１ローカル画像処理システムを含み、前記中央エキスパートパターン認識システムは、前記第１ローカル画像処理システムから受信したオブジェクト認識データに少なくとも部分的に基づいて、第２ローカル画像処理システムの設定データを決定し、前記中央エキスパートパターン認識システムは、前記第２ローカル画像処理システムに前記設定データを送信することを特徴とする、請求項１５に記載のシステム。
22. 第２ローカル画像処理システムの設定データを決定するステップであって、前記設定データは、前記少なくとも１つの第１ローカル画像処理システムから受信したオブジェクト認識データに少なくとも部分的に基づくものであることを特徴とする、ステップと、
    前記第２ローカル画像処理システムに前記設定データを送信するステップと、
    をさらに実行することを特徴とする請求項１５に記載のシステム。

Images