JP7167526B2 - 通信システム及び通信方法 - Google Patents

Description

本開示内容は、通信システム及び通信方法に関する。

近年、IoT(Internet of Things)が注目されている。例えば、クラウドコンピューティングを中心とする大規模な通信システムが構築されている。この通信システムでは、画像取得端末側で画像や音声のデータを取得し、インターネットを介してサーバに送信し、サーバ側で認識処理を行なう。特許文献１では、人物の顔を認識する処理を実行する目的で、画像取得端末（エッジノード）側に顔認識のためのカメラを設置し、画像取得端末はカメラから取得した画像データを中央のサーバ（顔認識のプリケーションサーバ）に送信し、サーバで顔の認識処理を実行するクラウドサービスプラットフォームが開示されている。

しかしながら、特許文献１に記載の発明のように、大規模な通信システムでは、ネットワーク負荷の増大、応答遅延が懸念される。例えば、画像取得端末が画像や音声等のデータをデジタル化してそのままサーバに送信してしまうと、短時間に大量のデータがインターネット上を流れることになり、ネットワークの負荷増大につながる。一方、サーバ側では、受信した被照合データ及び照合データに対して特徴量を抽出した後に照合の処理を実施しなければならないため、サーバ側での負荷も大きく、結果的にサーバから画像取得端末への応答（照合結果の送信）が遅延してしまうという課題が生じる。

請求項１に係る発明は、被写体を撮像して撮像画像のデータを得る画像取得端末と、前記撮像画像を表示する分散データ処理端末と、前記撮像画像における物体部分の領域である部分画像のデータとしての被照合データ、及び所定の物体を示す画像のデータであって予め登録されている照合データを照合する集中データ処理サーバと、を有する通信システムであって、前記画像取得端末は、前記撮像画像から前記部分画像を検出する物体検出手段と、前記部分画像のデータとしての前記被照合データを、前記分散データ処理端末に送信する第１の送信手段と、を有し、前記分散データ処理端末は、前記照合データを登録する登録手段と、前記登録手段によって登録された前記照合データ及び前記画像取得端末から受信された前記被照合データを、前記集中データ処理サーバに送信する第２の送信手段と、を有し、前記集中データ処理サーバは、前記分散データ処理端末から受信された前記照合データ及び前記被照合データの照合を行なう照合手段と、前記照合の結果を示す照合結果情報を、前記分散データ処理端末に送信する第３の送信手段と、を有する通信システムである。

以上説明したように本発明によれば、ネットワークの負荷の増大を抑制するとともに、照合結果の送信の遅延を抑制することができるという効果を奏する。

第１の実施形態に係る通信システムの概略図である。 実時間データ処理端末のハードウェア構成図である。 撮像ユニットのハードウェア構成図である。 図４（ａ）は撮像ユニット４０ｂで撮影された半球画像（前側）、図４（ｂ）は撮像ユニット４０ｂで撮影された半球画像（後側）、図４（ｃ）は正距円筒図法により表された画像を示した図である。 近端末データ処理装置又は分散データ処理端末のハードウェア構成図である。 集中データ処理サーバのハードウェア構成図である。 画像取得端末における実時間データ処理端末及び近端末データ処理装置のソフトウェア構成図である。 第１の実施形態に係る通信システムの機能ブロック図である。 （ａ）は素子数管理テーブルを示す概念図、（ｂ）は照合データ管理テーブルの概念図である。 画像認識の開始要求の処理を示したシーケンス図である。 第１の実施形態に係り、画像認識の処理を示したシーケンス図である。 第１の実施形態に係り、実時間処理のうちの物体検出の処理を示したフローチャートである。 第１の実施形態に係り、実時間処理のうちのイベント生成の処理を示したフローチャートである。 分散データ処理端末における撮像画像の表示例を示した図である。 第１の実施形態に係り、照合する処理を示したシーケンス図である。 （ａ）は分散データ処理端末における照合データのファイル選択画面の表示例、（ｂ）は分散データ処理端末における照合データの登録画面の表示例である。 分散データ処理端末における照合結果メッセージの表示例である。 第２の実施形態に係り、図１５に示されている照合する処理の他の例を示したシーケンス図である。 第３の実施形態に係り、ある部屋に画像取得端末を配置した状況を示した図である。 第３の実施形態に係り、図１３に示されている実時間処理のうちのイベント生成の処理の変形例を示したフローチャートである。 第３の実施形態に係り、図１５に示されている照合する処理の他の例を示したフローチャートである。 第４の実施形態に係り、図１０に示されている画像認識の開始要求の他の例を示したフローチャートである。 第４の実施形態に係り、図１３に示されているイベント生成の他の例を示したフローチャートである。 第５の実施形態に係り、図８に示されている通信システムの他の例を示した機能ブロック図である。 特徴量管理テーブルを示す概念図である。 第５の実施形態に係り、図１５に示されている照合する処理の他の例を示したシーケンス図である。 第５の実施形態に係り、図１５に示されている照合する処理の他の例を示したシーケンス図である。 第６の実施形態に係る通信システムの概略図である。 分散データ処理端末がビデオ会議端末の場合のハードウェア構成図である。 第６の実施形態に係り、分散処理システム１００ａの機能ブロック図である。 第６の実施形態に係り、分散処理システム１００ｂの機能ブロック図である。 第６の実施形態に係り、集中データ処理サーバ７ａ、通信管理サーバ９、及び中継装置１０の機能ブロック図である。 （ａ）端末・装置管理テーブルの概念図、（ｂ）セッション管理テーブルの概念図である。 第６の実施形態に係り、画像認識の開始要求の処理を示したシーケンス図である。 分散データ処理端末８ａにおけるビデオ通話画面の例である。 分散データ処理端末８ａにおいて参加者名を表示する前の拠点詳細情報を示した拠点詳細画面の例である。 第６の実施形態に係り、画像認識の処理を示したシーケンス図である。 第６の実施形態に係り、実時間処理のうちのイベント生成の処理を示したフローチャートである。 第６の実施形態に係り、照合する処理を示したシーケンス図である。 第６の実施形態に係り、照合結果を表示する処理を示したシーケンス図である。 分散データ処理端末８ａにおいて参加者名を表示した後の拠点詳細情報を示した拠点詳細画面の例である。

〔全体概略〕
以下、図面を用いて、本発明の一実施形態の全体の概略について説明する。

＜＜実施形態の全体構成＞＞
図1は、本実施形態に係る通信システムの概略図である。図１に示されているように、本実施形態の通信システムは、実時間データ処理端末（リアルタイムデータ処理端末）３、近端末データ処理装置５、分散データ処理端末６、集中データ処理サーバ７によって構築されている。なお、実時間データ処理端末３、近端末データ処理装置５、及び分散データ処理端末６によって、分散処理システム１００が構築されている。

これらのうち、実時間データ処理端末３は、撮像画像のデータを得るための実時間処理（リアルタイムの処理）を行なう端末である。実時間データ処理端末３には、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの被写体を撮像する画像センサを備えた撮像ユニット４０が着脱自在に接続される。これにより、実時間データ処理端末３は、撮像ユニット４０から入力された撮像画像のデータ（以下、「撮像画像データ」という）をデジタル化し、実時間（たとえば１／６０秒ごと）で物体（ここでは、顔）の画像を検出する。実時間データ処理端末３は、撮像画像のうちの物体部分の領域である部分画像のデータ（以下、「部分画像データ」という）を近端末データ処理装置５に送信する。

近端末データ処理装置５は、実時間データ処理端末３に最も近いところに配置され、例えばハードウェア的にも密接なデータバスやＵＳＢ(Universal Serial Bus)等で1対1に接続されている。近端末データ処理装置５は、実時間データ処理端末３から受信した部分画像データをＪＰＥＧ(Joint Photographic Experts Group)などの汎用的なフォーマットに符号化した後、顔画像の照合が行なわれる場合の被照合データとして、イントラネット２００を介して分散データ処理端末６に送信する。なお、通常、実時間データ処理端末３と近端末データ処理装置５は接続されて一体になっており、ここでは、実時間データ処理端末３と近端末データ処理装置５とで画像取得端末２を構成している。

分散データ処理端末６は、近端末データ処理装置５に比較的近い位置で利用者によって利用され、利用者の各種操作を受け付けることが可能なコンピュータである。分散データ処理端末６は、予め、顔画像の照合が行なわれる場合の照合データを登録して保存している。分散データ処理端末６は、インターネット６００を介して、集中データ処理サーバ７に、照合データと被照合データとの照合を要求することができる。この場合、分散データ処理端末６は、近端末データ処理装置５から受信した被照合データ、及び予め登録している照合データも送信する。更に、分散データ処理端末６は、集中データ処理サーバ７から、照合結果を示す照合結果情報を応答として受信することができる。また、分散データ処理端末６は、グラフィックインターフェースを介して照合結果を表示させることができる。

集中データ処理サーバ７は、近端末データ処理装置５から比較的遠い位置に設置されており、分散データ処理端末６とはインターネット６００等の通信ネットワークを介して通信することができる。集中データ処理サーバ７は、照合要求を示す照合要求情報並びに照合データ及び被照合データを受信した場合、照合データ及び被照合データの照合を行い、類似度を判断する。そして、集中データ処理サーバ７は、分散データ処理端末６に対して、類似度を含んだ照合結果を示す照合結果情報を送信する。

＜＜ハードウェア構成＞＞
次に、図２乃至図５を用いて、本実施形態の通信システムの各ハードウェア構成について説明する。

＜実時間データ処理端末のハードウェア構成＞
図２は、実時間データ処理端末のハードウェア構成図である。実時間データ処理端末３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＥＥＰＲＯＭ３０４、ＣＭＯＳセンサ３０５、加速度・方位センサ３０６、メディアＩ／Ｆ３０８、ＧＰＳ受信部３０９を備えている。

これらのうち、ＣＰＵ３０１は、実時間データ処理端末３全体の動作を制御する。ＲＯＭ３０２は、ＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＥＥＰＲＯＭ３０４は、ＣＰＵ３０１の制御にしたがって、実時間データ処理端末用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ３０５は、ＣＰＵ３０１の制御に従って被写体（主に撮影ユニット４０の死角）を撮像し画像データを得る。加速度・方位センサ３０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ３０８は、フラッシュメモリ等の記録メディア３０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部３０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、実時間データ処理端末３は、撮像ユニットＩ／Ｆ３１３、マイク３１４、スピーカ３１５、音入出力Ｉ／Ｆ３１６、ディスプレイ３１７、外部機器接続Ｉ／Ｆ３１８、及びタッチパネル３２１を備えている。

これらのうち、撮像ユニットＩ／Ｆ３１３は、外付けの撮像ユニット４０が接続された場合に、撮像ユニット４０の駆動を制御する回路である。マイク３１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１６は、ＣＰＵ３０１の制御に従ってマイク３１４及びスピーカ３１５との間で音信号の入出力を処理する回路である。ディスプレイ３１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ３１８は、各種の外部機器を接続するためのインターフェースである。タッチパネル３２１は、利用者がディスプレイ３１７を押下することで、実時間データ処理端末３を操作する入力手段の一種である。

また、実時間データ処理端末３は、バスライン３１０を備えている。バスライン３１０は、図２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜撮像ユニットのハードウェア構成＞
図３は、撮像ユニットのハードウェア構成図である。特に、図３（ａ）は、撮像ユニット４０のうち、単眼の撮像ユニット４０ａのハードウェア構成図である。図３（ｂ）は、撮像ユニット４０のうち、複眼の撮像ユニット４０ｂのハードウェア構成図である。なお、撮像ユニット４０は、撮像素子の数が異なる複数種類の撮像ユニット（撮像ユニット４０ａ、４０ｂ等）の総称である。

図３（ａ）に示されているように、撮像ユニット４０ａは、ＣＭＯＳやＣＣＤ等の撮像素子４０１ａ、レンズ４０２ａ、及び実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に電気的に接続するための接続Ｉ／Ｆ４０８ａを有している。撮像ユニット４０ａが実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に接続された場合には、撮像素子４０１ａは、撮像ユニットＩ／Ｆ３１３から接続Ｉ／Ｆ４０８ａを介して送られて来た撮像制御信号により撮像を行い、接続Ｉ／Ｆ４０８ａを介して撮像ユニットＩ／Ｆ３１３に撮像画像データを送信する。

また、図３（ｂ）に示されているように、撮像ユニット４０ｂは、ＣＭＯＳやＣＣＤ等の撮像素子４０１ｂ１，４０１ｂ２、レンズ４０２ｂ１，４０２ｂ２、及び実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に電気的に接続するための接続Ｉ／Ｆ４０８ｂを有している。レンズ４０２ｂ１，４０２ｂ２は、例えば、魚眼レンズである。撮像ユニット４０ｂが実時間データ処理端末３の撮像ユニットＩ／Ｆ３１３に接続された場合には、撮像素子４０１ｂ１，４０１ｂ２は、撮像ユニットＩ／Ｆ３１３から接続Ｉ／Ｆ４０８ｂを介して送られて来た撮像制御信号により撮像を行い、接続Ｉ／Ｆ４０８ｂを介して撮像ユニットＩ／Ｆ３１３に、複数の撮像画像データを送信する。

図３（ａ）に示されている撮像ユニット４０ａは、一般の平面画像を得るが、図３（ｂ）に示されている撮像ユニット４０ｂは、全天球画像を得ることができる。ここで、図４を用いて、撮像ユニット４０ｂで撮像された画像から正距円筒射影画像ＥＣが作成されるまでの処理の概略を説明する。なお、図４（ａ）は撮像ユニット４０ｂで撮影された半球画像（前側）、図４（ｂ）は撮像ユニット４０ｂで撮影された半球画像（後側）、図４（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。

図４（ａ）に示されているように、撮像素子４０１ｂ１によって得られた画像は、レンズ４０２ｂ１によって湾曲した半球画像（前側）となる。また、図４（ｂ）に示されているように、撮像素子４０３ｂによって得られた画像は、レンズ４０２ｂ２によって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは合成され、図４（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

＜近端末データ処理装置、分散データ処理端末のハードウェア構成＞
図５は、近端末データ処理装置又は分散データ処理端末のハードウェア構成図である。ここでは、近端末データ処理装置５と分散データ処理端末６とは、同じハードウェア構成を備えている場合を示しているため、近端末データ処理装置５について説明し、分散データ処理端末６の説明は省略する。

図５に示されているように、近端末データ処理装置５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。

これらのうち、ＣＰＵ５０１は、近端末データ処理装置５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、近端末データ処理装置用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に近端末データ処理装置５を操作するユーザの自画像）を撮像し画像データを得る。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、近端末データ処理装置５は、遠距離通信回路５１１、遠距離通信回路５１１のアンテナ５１１ａ、カメラ５１２、撮像素子Ｉ／Ｆ５１３、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ、及びタッチパネル５２１を備えている。

これらのうち、遠距離通信回路５１１は、イントラネット２００を介して、他の機器と通信する回路である。カメラ５１２は、ＣＰＵ５０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３は、カメラ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、ＮＦＣ(Near Field radio Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、近端末データ処理装置５を操作する入力手段の一種である。

また、近端末データ処理装置５は、バスライン５１０を備えている。バスライン５１０は、図５に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜集中データ処理サーバのハードウェア構成＞
図６は、集中データ処理サーバのハードウェア構成図である。集中データ処理サーバ７は、コンピュータによって構築されており、図６に示されているように、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０４、ＨＤＤ(Hard Disk Drive)ドライブ７０５、記録メディア７０６、メディアＩ／Ｆ７０７、ディスプレイ７０８、ネットワークＩ／Ｆ７０９、キーボード７１１、マウス７１２、ＣＤ－ＲＷドライブ７１４、及び、バスライン７１０を備えている。なお、集中データ処理サーバ７は、サーバとして機能するため、キーボード７１１やマウス７１２等の入力装置や、ディスプレイ７０８等の出力装置はなくてもよい。

これらのうち、ＣＰＵ７０１は、集中データ処理サーバ７全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤ７０４は、プログラム等の各種データを記憶する。ＨＤＤドライブ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。ディスプレイ７０８は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークＩ／Ｆ７０９は、インターネット６００を利用してデータ通信をするためのインターフェースである。キーボード７１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＣＤ－ＲＷドライブは、着脱可能な記録媒体の一例としてのＣＤ－ＲＷ(Compact Disc-ReWritable)７１３に対する各種データの読み出し等を制御する。

また、集中データ処理サーバ７は、バスライン７１０を備えている。バスライン７１０は、図６に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜＜ソフトウェア構成＞＞
図７は、画像取得端末における実時間データ処理端末及び近端末データ処理装置のソフトウェア構成図である。

図７に示されているように、実時間データ処理端末３は、ＯＳ３００、及び画像認識アプリケーション（以下、「アプリケーション」は「アプリ」と示す）ＡＰ１を有している。画像認識アプリＡＰ１は、実時間データ処理端末３のＲＡＭ３０３の作業上で動作する。このうち、ＯＳ３００は、基本的な機能を提供し、実時間データ処理端末３全体を管理する基本ソフトウェアである。画像認識アプリＡＰ１は、撮像画像から人物や動物等の顔を認識するためのアプリである。

また、近端末データ処理装置５は、ＯＳ５００、及び通信アプリＡＰ２を有している。通信アプリＡＰ２は、近端末データ処理装置５のＲＡＭ５０３の作業上で動作する。このうち、ＯＳ５００は、基本的な機能を提供し、近端末データ処理装置５全体を管理する基本ソフトウェアである。通信アプリＡＰ２は、分散データ処理端末６等の他の端末（装置）と通信を行うためのアプリである。

このように、画像取得端末２では、実時間データ処理端末３が画像認識を行うのに対して、近端末データ処理装置５がイントラネット２００を介して分散データ処理端末６と通信を行なうことで、分散処理を行なうことができる。

なお、ＯＳ３００及びＯＳ５００は、同じオペレーティングシステムの同じバージョン、又は、同じオペレーティングシステムの異なるバージョンであってもよい。または、ＯＳ３００及びＯＳ５００は、異なるオペレーティングシステムであってもよい。

また、画像認識アプリケーションＡＰ１と通信アプリケーションＡＰ２とが共に動作する１つのＯＳで構成されていてもよい。この場合、一例として、実時間データ処理端末３と近端末データ処理装置５とを同じハードウェアにして１つの画像取得端末２を構成する。また、別の例では、実時間データ処理端末３と近端末データ処理装置５のいずれか一方が、実時間データ処理端末３と近端末データ処理装置５との間で共有する１つのＯＳを有している。例えば、近端末データ処理装置５にＯＳが搭載されている場合には、近端末データ処理装置５と実時間データ処理端末３との間の通信により、ＯＳが備えられていない実時間データ処理端末３は、近端末データ処理装置５のＯＳを利用する。

但し、実時間データ処理端末３と近端末データ処理装置５とが１つの装置として構成されている場合や、１つのＯＳで動作している場合であっても、異なるアプリケーション、すなわち画像認識アプリケーションＡＰ１と通信アプリケーションＡＰ２との間で通信を行う。したがって、実時間データ処理とデータ送信を同時に行うことができ、処理全体の効率は向上したままである。

また、実時間データ処理端末３と近端末データ処理装置５とが１つの装置として構成されている場合であっても、１つの装置に２つのＯＳ３００及びＯＳ５００が搭載され、ＯＳ３００の上で画像認識アプリケーションＡＰ１が実行され、ＯＳ５００の上で通信アプリケーションＡＰ２が実行されるようにしてもよい。

また、実時間データ処理端末３及び近端末データ処理装置５は、ＯＳだけでなく、ドライバ、ソフトウェア開発キット(SDK)、またはアプリケーションプログラミングインタフェース(API)を搭載しており、それぞれが異なっていてもよい。

〔第１の実施形態〕
続いて、図面を用いて、本発明の第１の実施形態の機能構成及び処理について説明する。

＜＜実施形態の機能構成＞＞
まず、図８及び図９を用いて、本実施形態に係る通信システムを構成する端末、装置、及びサーバの各機能構成について説明する。図８は、第１の実施形態に係る通信システムの機能ブロック図である。図８では、図１に示されている分散データ処理端末６の一例として、分散データ処理端末６ａを示している。また、図８では、図１に示されている集中データ処理サーバ７の一例として、集中データ処理サーバ７ａを示している。

＜実時間データ処理端末の機能構成＞
図８に示されているように、実時間データ処理端末３は、判断部３３、画像処理部３４、物体検出部３５、イベント生成部３６、表示制御部３７、接続部３８、記憶・読出部３９、及び通信部４８を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ３０４からＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって、動作することで実現される機能又は手段である。

また、実時間データ処理端末３は、図２に示されているＲＯＭ３０２、ＲＡＭ３０３、及びＥＥＰＲＯＭ３０４によって構築される記憶部３０００を有している。記憶部３０００には、後述の形状モデルデータが記憶されている。更に、記憶部３０００には、素子数管理ＤＢ３００１が構築されている。素子数管理ＤＢ３００１は、後述の素子数管理テーブルによって構成されている。

（素子数管理テーブル）
図９（ａ）は、素子数管理テーブルを示す概念図である。この素子数管理テーブルでは、撮像ユニット４０の製造番号、及び撮像ユニット４０が有する撮像素子の数が関連付けて管理されている。なお、製造番号は、撮像素子の数の違いに応じた撮像ユニットの種類を示す種類情報の一例である。

（実時間データ処理端末の各機能構成）
次に、図８を用いて、実時間データ処理端末３の各機能構成について更に詳細に説明する。

実時間データ処理端末３の判断部３３は、ＣＰＵ３０１の処理によって実現され、各種判断を行なう。例えば、判断部３３は、撮像ユニット４０から送られて来る製造番号に基づき、素子数管理ＤＢ３００１を参考にして、撮像素子の数を判断する。

画像処理部３４は、ＣＰＵ３０１の処理によって実現され、撮像ユニット４０から送られて来る撮像画像を、実時間（例えば／６０秒間隔）のデジタル画像にして取得する。また、画像処理部３４は、判断部３３で判断された内容に応じた画像処理を行う。

物体検出部３５は、ＣＰＵ３０１の処理によって実現され、画像処理部３４で取得された撮像画像のデータにおいて、顔などの予め決められた特定の物体の候補となる特徴点を検出し、顔などの予め定められた特定の物体の形状モデルを示す形状モデルデータを参照して、撮像画像の中の物体の位置を検出する。

イベント生成部３６は、ＣＰＵ３０１の処理によって実現され、物体検出部３５で物体の位置が検出された旨の検出情報（イベント情報）を生成する。

表示制御部３７は、ＣＰＵ３０１の処理によって実現され、表示手段の一例であるディスプレイ３１７に各種画面を表示させる。

接続部３８は、撮像ユニットＩ／Ｆ３１３、及びＣＰＵ３０１の処理によって実現され、撮像ユニット４０を実時間データ処理端末３に機械的及び電気的に接続するためのインターフェースである。

記憶・読出部３９は、ＣＰＵ３０１の処理によって実現され、記憶部３０００に各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

通信部４８は、外部機器接続Ｉ／Ｆ３１８、及びＣＰＵ３０１の処理によって実現され、1対1の通信を介して近端末データ処理装置５の後述の通信部５８と各種データ（または情報）の送受信を行う。なお、この通信は有線だけでなく無線であってもよい。

＜近端末データ処理装置の機能構成＞
図８に示されているように、近端末データ処理装置５は、送受信部５１、データ検出部５６、表示制御部５７、通信部５８、及び記憶・読出部５９を有している。これら各部は、図５に示されている各構成要素のいずれかが、近端末データ処理装置５において、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって、動作することで実現される機能又は手段である。

また、近端末データ処理装置５は、図５に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部５０００を有している。

（近端末データ処理装置の各機能構成）
次に、図８を用いて、近端末データ処理装置５の各機能構成について更に詳細に説明する。

近端末データ処理装置５の送受信部５１は、遠距離通信回路５１１、アンテナ５１１ａ、及びＣＰＵ５０１の処理によって実現され、通信ネットワーク（ここでは、イントラネット２００）を介して、分散データ処理端末６ａとの間で各種データ（または情報）の送受信を行う。

データ検出部５６は、ＣＰＵ５０１の処理によって実現され、実時間データ処理端末３からのデータを受信するべきイベントが発生しているか否か、データの受信が完了したか否かを検出する。

表示制御部５７は、ＣＰＵ５０１の処理によって実現され、表示手段の一例であるディスプレイ５１７に各種画面を表示させる。

通信部５８は、外部機器接続Ｉ／Ｆ５１８、及びＣＰＵ５０１の処理によって実現され、1対1の通信を介して実時間データ処理端末３の通信部４８と各種データ（または情報）の送受信を行う。なお、この通信は有線だけでなく、無線であってもよい。

記憶・読出部５９は、ＣＰＵ５０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜分散データ処理端末の機能構成＞
図８に示されているように、分散データ処理端末６ａは、送受信部６１、受付部６２、判断部６３、表示制御部６７、及び記憶・読出部６９を有している。これら各部は、図５に示されている各構成要素のいずれかが、分散データ処理端末６ａにおいて、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって、動作することで実現される機能又は手段である。

また、分散データ処理端末６ａは、図５に示されているＲＯＭ５０２、ＲＡＭ５０３、及びＥＥＰＲＯＭ５０４によって構築される記憶部６０００を有している。この記憶部６０００には、照合データが記憶されている。更に、記憶部６０００には、照合データ管理ＤＢ６００１が構築されている。照合データ管理ＤＢ６００１は、後述の照合データ管理テーブルによって構成されている。なお、照合データは、分散データ処理端末６ａ以外の他のデータ管理サーバ等で記憶してもよい。

（照合データ管理テーブル）
図９（ｂ）は、照合データ管理テーブルを示す概念図である。この照合データ管理テーブルでは、照合データのファイル名を示す画像ファイル、及び顔画像で示される人物の名前が関連付けて管理されている。

（分散データ処理端末の各機能構成）
分散データ処理端末６ａの送受信部６１は、分散データ処理端末６ａにおける、遠距離通信回路５１１、アンテナ５１１ａ、及びＣＰＵ５０１の処理によって実現され、通信ネットワーク（ここでは、インターネット６００）を介して、集中データ処理サーバ７ａと各種データ（または情報）の送受信を行う。例えば、送受信部６１は、照合データと被照合データとの照合要求を集中データ処理サーバ７ａに対して送信したり、集中データ処理サーバ７ａから送られて来た照合結果に対する処理を行ったりする。

受付部６２は、分散データ処理端末６における、タッチパネル５２１、及びＣＰＵ５０１の処理によって実現され、利用者の各種操作を受け付ける。

判断部６３は、分散データ処理端末６ａにおけるＣＰＵ５０１の処理によって実現され、各種判断を行なう。

表示制御部６７は、分散データ処理端末６ａにおけるＣＰＵ５０１の処理によって実現され、表示手段の一例であるディスプレイ５１７に各種画面を表示させる。

記憶・読出部６９は、分散データ処理端末６ａにおけるＣＰＵ５０１の処理によって実現され、記憶部６０００に各種データ（または情報）を記憶したり、記憶部６０００から各種データ（または情報）を読み出したりする。例えば、記憶・読出部６９は、受付部６２で受け付けられた登録要求により、照合データ（ここでは、顔画像データ）を記憶部６０００に記憶して登録させる。

＜集中データ処理サーバの機能構成＞
図８に示されているように、集中データ処理サーバ７ａは、送受信部７１、受付部７２、特徴量生成部７４、照合部７５、表示制御部７７及び記憶・読出部７９を有している。これら各部は、図６に示されている各構成要素のいずれかが、分散データ処理端末６ａにおいて、ＨＤ７０４からＲＡＭ７０３上に展開されたプログラムに従ったＣＰＵ７０１からの命令によって、動作することで実現される機能又は手段である。

また、集中データ処理サーバ７ａは、図６に示されているＲＯＭ７０２、ＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部７０００を有している。記憶部７０００には、後述の照合側の特徴量データが記憶されている。

（集中データ処理サーバの各機能構成）
集中データ処理サーバ７ａの送受信部７１は、ネットワークＩ／Ｆ７０９、及びＣＰＵ７０１の処理によって実現され、通信ネットワーク（ここでは、インターネット６００）を介して、分散データ処理端末６ａと各種データ（または情報）の送受信を行う。送受信部７１は、照合データと被照合データとの照合要求を分散データ処理端末６ａから受信したり、分散データ処理端末６ａに対して照合結果を示す照合結果情報を送信したりする。

受付部７２は、キーボード７１１、マウス７１２、及びＣＰＵ７０１の処理によって実現され、利用者の各種操作を受け付ける。

特徴量生成部７４は、ＣＰＵ７０１の処理によって実現され、送受信部７１によって受信された被照合データ（部分画像データ）及び照合データから特徴量のパラメータを生成する。

照合部７５は、ＣＰＵ７０１の処理によって実現され、特徴量生成部７４で生成された特徴量を用いて照合データ側の特徴量と被照合データ側の特徴量とを照合し、類似度を示す得点（ポイント）を算出する。

表示制御部７７は、ＣＰＵ７０１の処理によって実現され、表示手段の一例であるディスプレイ７０８に各種画面を表示させる。

記憶・読出部７９は、ＣＰＵ７０１の処理によって実現され、記憶部７０００に各種データ（または情報）を記憶したり、記憶部７０００から各種データ（または情報）を読み出したりする。

＜＜本実施形態の処理又は動作＞＞
続いて、図１０乃至図１９を用いて、本実施形態の処理又は動作について説明する。図１０は、画像認識の開始要求の処理を示したシーケンス図である。

図１０に示されているように、分散データ処理端末６ａでは、受付部６２が利用者から画像認識の開始要求を受け付ける（Ｓ１－１）。この場合、分散データ処理端末６ａのＧＵＩ(Graphical User Interface)が利用される。これにより、分散データ処理端末６ａの送受信部６１は、近端末データ処理装置５に対して、画像認識の開始要求を示す画像認識の開始要求情報を送信する（Ｓ２－１）。これにより、近端末データ処理装置５の送受信部５１は、画像認識の開始要求情報を受信する。そして、通信部５８は、実時間データ処理端末３に対して、画像認識の開始要求情報を送信する（Ｓ３－１）。これにより、実時間データ処理端末３の通信部４８は、画像認識の開始要求情報を受信する。このように、ユーザーインタフェースを実時間データ処理端末３から分離することで、分散データ処理端末６ａから遠隔（リモート）操作が可能となる。

続いて、図１１を用いて、画像認識の処理を説明する。図１１は、画像認識の処理を示したシーケンス図である。まず、実時間データ処理端末３は、実時間処理を行なう（Ｓ１１）。
ここで、図１２及び図１３を用いて、実時間処理について説明する。図１２は、実時間処理のうちの物体検出の処理を示したフローチャートである。

まず、判断部３３は、接続されている撮像ユニット４０における撮像素子の数が１つであるか否かを判断する（Ｓ１０１）。この際、記憶・読出部３９は、接続部３８によって撮像ユニット４０から取得された撮像ユニット４０の製造番号を検索キーとして、素子数管理ＤＢ３００１を検索することにより、対応する撮像素子の数を読み出す。これにより、判断部３３は、撮像素子の数を判断することができる。そして、撮像素子の数が１つの場合には（Ｓ１０１；ＹＥＳ）、画像処理部３４が、処理を繰り返すサイクル値を１／６０秒に設定する（Ｓ１０２）。次に、接続部３８は、撮像ユニット４０（ここでは、撮像ユニット４０ａ）から１系統である撮像画像データを取得する（Ｓ１０３）。この撮像画像データは、デジタル画像データであり、たとえば４Ｋ画像（幅3840画像×高さ2160画素）のデータである。

次に、物体検出部３５が、撮像画像データにおいて、物体の候補となる特徴点を検出することで、物体を検出する（Ｓ１０４）。この場合、物体検出部３５は、予め記憶部３０００に記憶されている物体の形状モデルデータと比較しながら撮像画像の端から矩形を探索し、もっともらしい物体の特徴点の位置を選択する。なお、ステップＳ１０４の処理については、例えば、「顔認識技術とその応用：パブリックセーフティを支える要素技術・ソリューション特集 ; バイオメトリクス認証, NEC技報, Vol.63, no.3, pp.26－30, 2010-09」で開示されているような、既知技術を用いることができる。

一方、上記ステップＳ１０１において、撮像素子の数が１つではない場合には（Ｓ１０１；ＮＯ）、画像処理部３４は、実時間処理を繰り返すサイクル値を１／３０秒に設定する（Ｓ１０５）。この場合、サイクル値を１／３０秒とすることで、１入力と比較して、サイクル値を大きく取ることにより、後述の画像合成処理が間に合わなくなることを防ぐことが出来る。

次に、接続部３８は、撮像ユニット４０（ここでは、撮像ユニット４０ｂ）から２系統である２つの撮像画像データを取得する（Ｓ１０６）。２つの撮像画像データは、それぞれ図４（ａ）、（ｂ）に示されているような半球画像のデータである。そして、画像処理部３４は、２つの撮像画像データを合成して、図４（ｃ）に示されているような正距円筒射影画像ＥＣを作成する（Ｓ１０７）。その後は、ステップＳ１０４に進み、物体検出部３５は、正距円筒射影画像ＥＣのデータにおいて、物体の候補となる特徴点を検出することで、物体を検出する。

なお、実時間データ処理端末３は、実時間オペレーティングシステムに基づいて制御するため、ステップＳ１０１，Ｓ１０２～Ｓ１０４～Ｓ２１３、及びステップＳ１０１，Ｓ１０５～Ｓ１０４～Ｓ２１３の繰り返し処理については、例えば１／６０秒の間隔で高速に実行される。

以上により、図１１に示されているように、実時間データ処理端末３の通信部４８は、近端末データ処理装置５の通信部５８へ撮像画像データを送信する（Ｓ１２）。そして、近端末データ処理装置５の送受信部５１は、ステップＳ１２で受信された撮像画像データを、分散データ処理端末６ａの送受信部６１へ送信する（Ｓ１３）。これにより、分散データ処理端末６ａの表示制御部６７は、ディスプレイ５１７に、図１４（ａ）に示されているような撮像画像をリアルタイムで表示させる。図１４は、分散データ処理端末における撮像画像の表示例を示した図である。この撮像画像には、物体検出（ここでは、顔検出）された矩形を示す枠が表示されている。ステップＳ１２～Ｓ１４は、ストリーミングの処理である。

続いて、図１３を用いて、実時間処理のうちのイベント生成の処理を説明する。図１３は、実時間処理のうちのイベント生成の処理を示したフローチャートである。

上述のステップＳ１０７の処理によって、物体検出部３５が物体（ここでは、顔）を検出しなかった場合で（Ｓ２１１；ＮＯ）、１系統のときはステップＳ１０３の処理へ戻り、２系統のときはステップＳ１０６の処理に戻る。これに対し、上述のステップＳ１０４の処理によって、物体検出部３５が物体（ここでは、顔）を検出した場合には（Ｓ２１１；ＹＥＳ）、ステップＳ２１２の処理へ進む。そして、上述のステップＳ１０４の処理によって、物体検出部３５が、物体（ここでは、顔）を複数検出した場合には（Ｓ２１２；ＮＯ）、表示制御部３７は、図１４（ｂ）に示すように、メッセージｍ１を重畳した撮像画像を表示する（Ｓ２１３）。このメッセージｍ１は、一つの顔が撮影対象となるように利用者の行動を促す内容を示している。ステップＳ２１３の処理後は、１系統の場合はステップＳ１０３の処理へ戻り、２系統の場合はステップＳ１０６の処理に戻る。

一方、上述のステップＳ１０４の処理によって、物体検出部３５が、物体（ここでは、顔）を１つだけ検出した場合には（Ｓ２１２；ＹＥＳ）、表示制御部３７は、図１４（ｂ）に示されているメッセージｍ１を表示しない（Ｓ２１４）。この場合、表示制御部３７は、既にメッセージｍ１を表示している場合には、メッセージｍ１を表示しないようにする。

次に、物体検出部３５は、検出された位置での顔を含んだ部分画像データをJPEGなどの汎用形式で符号化する（Ｓ２１５）。そして、イベント生成部３６は、近端末データ処理装置５に対して部分画像データを送信することを通知するイベントメッセージを生成する（Ｓ２１６）。具体的には、イベント生成部３６は、”Send”といったイベントメッセージｍ２を生成する。

以上により、図１１に示されているステップＳ１１の処理が終了する。これにより、通信部４８は、近端末データ処理装置５の通信部５８に対して、ステップＳ２１６で生成されたイベントメッセージｍ２、及びステップＳ１０４で検出された部分画像データを送信する（Ｓ１５）。なお、ステップＳ１０４の処理において、複数の物体（ここでは、顔）が検出された場合には、１つのイベントメッセージｍ２と共に、複数の部分画像データが送信される。また、通信システムが、店舗等で利用される場合、実時間データ処理端末３は、イベントメッセージｍ２及び部分画像データを保存しておき、店舗が閉店した後（例えば、夜）に、まとめて近端末データ処理装置５に送信してもよい。

次に、近端末データ処理装置５では、データ検出部５６が、通信部５８によって”Send”のイベントメッセージｍ２の受信の有無を検出する（Ｓ１６）。そして、イベントメッセージｍ２の受信が検出された場合には（Ｓ１６；ＹＥＳ）、通信部５８は、イベントメッセージｍ２と共に送信された部分画像データを受信する（Ｓ１７）。そして、記憶・読出部５９が、記憶部５０００に部分画像データを一時的に記憶する（Ｓ１８）。

次に、データ検出部５６は、部分画像データの受信が完了したか否かを監視する（Ｓ１９）。このステップＳ１９の処理は、１つのイベントメッセージｍ２につき、全ての部分画像データが受信されるまで繰り返される（Ｓ１９；ＮＯ）。そして、部分画像データの受信が完了した場合には（Ｓ１９；ＹＥＳ）、記憶・読出部５９は、記憶部５０００から１つのイベントメッセージｍ２と共に送られ、記憶部５０００に一時的に記憶されている全ての部分画像データを読み出す（Ｓ２０）。その後、送受信部５１は、イントラネット２００を介して、分散データ処理端末６ａの送受信部６１に対して、ステップＳ２０で読み出された全ての部分画像データを送信する（Ｓ２１）。これにより、分散データ処理端末６ａの送受信部６１は、全ての部分画像データを受信する。部分画像データは、後ほど被照合データとして利用される。

続いて、図１５乃至図１７を用いて、部分画像データである被照合データと、登録されている照合データとの照合処理について説明する。図１５は、照合する処理を示したシーケンス図である。図１６（ａ）は、分散データ処理端末における照合データのファイル選択画面の表示例、図１６（ｂ）は、分散データ処理端末における照合データの登録画面の表示例である。図１７は、分散データ処理端末における照合結果メッセージｍ３の表示例である。

まず、利用者は、照合データを登録するために、分散データ処理端末６ａを操作することで、表示制御部６７は、図１６（ａ）に示すように、照合データのファイル選択画面を表示させる。これにより、利用者は、「ファイル選択」ボタンｂ１１を押下後、登録する画像（ここでは、顔の画像）を選択すると、受付部６２は、登録される画像のファイルの選択を受け付ける（Ｓ１１１）。これにより、表示制御部６７は、図１６（ｂ）に示されているように、照合データの登録画面を表示させる。この登録画像には、選択された画像及びファイルａ２１、名前入力欄ａ２２、「登録」ボタンｂ２１、及び「キャンセル」ボタンｂ２２が表示されている。そこで、利用者は、選択された画像及びファイルａ２１が所望の画像であるかを確認後、所望の画像であれば、名前入力欄ａ２２に、照合データとして登録する画像の名前を入力後、「登録」ボタンｂ２１を押下すると、受付部６２は、照合データとしての画像の登録を受け付けることで、記憶・読出部７９が登録を行う（Ｓ１１２）。具体的には、記憶・読出部６９は、照合データ管理ＤＢ６００１に対して、ファイル名ａ２１及び名前入力欄ａ２２に入力された名前を関連付けて記憶する。なお、利用者が、選択された画像及びファイルａ２１が所望の画像でない場合には、「キャンセル」ボタンｂ２２を押下すると、図１６（ａ）に示されているファイル選択画面に戻る。このように、近端末データ処理装置５側で照合データを登録せずに、分散データ処理端末６ａ側で照合データを登録することによって、近端末データ処理装置５と分散データ処理端末６ａとの間の通信ネットワーク通信の負荷を抑制することができるという効果を奏する。

次に、上述のステップＳ２１の処理により、分散データ処理端末６ａの送受信部６１が、部分画像データを受信すると、記憶・読出部６９は、照合データ管理ＤＢ６００１を検索することで、登録されている照合データが残っているか否かを判断する（Ｓ１１３）。そして、残っていると判断された場合には、送受信部６１は、インターネット６００を介し、集中データ処理サーバ７ａに対して、照合要求を示す照合要求情報を送信する（Ｓ１１４）。この照合要求情報には、照合データ及び被照合データが含まれている。これにより、集中データ処理サーバ７ａの送受信部７１は、照合要求情報を受信する。なお、この際、図９（ｂ）に示されている照合データ管理テーブルにおける先頭行に係る照合データから順次送信される。即ち、まず最初に、読み出された照合データとステップＳ２１によって受信された被照合データが送信される。そして、次の照合要求情報が送信される際に、次に読み出された照合データとステップＳ２１によって受信された被照合データが送信される。

次に、集中データ処理サーバ７ａでは、特徴量生成部７４が、両データ（照合データ及び被照合データ）をビットマップデータに復号化する変換を行ない、両データに係る顔画像の目鼻の凹凸や傾き等の個人を識別するための特徴量のパラメータを生成する（Ｓ１１５）。そして、照合部７５は、両データに係る特徴量のパラメータを比較して類似度を算出する（Ｓ１１６）。この類似度の算出方法には、例えば、「ディープラーニングと画像認識 : 基礎と最近の動向（＜特集＞ニューロサイエンスと数理モデリング) オペレーションズ・リサーチ : 経営の科学 60(4), 198-204, 2015-04-01」に開示されているような、深層神経回路網(DNN: Deep Neural Network)が利用される。なお、照合データの特徴量のパラメータは、第１の特徴量のパラメータの一例であり、被照合データの特徴量のパラメータは、第２の特徴量のパラメータの一例である。

次に、集中データ処理サーバ７ａの送受信部７１は、インターネット６００を介して、分散データ処理端末６ａの送受信部６１に対し、ステップＳ１１４の照合要求に対応する応答を示す応答情報を送信する（Ｓ１１７）。この応答情報には、ステップＳ１１６の計算結果である類似度が含まれている。これにより、分散データ処理端末６ａの送受信部６１は、応答情報を受信する。

次に、分散データ処理端末６ａでは、記憶・読出部６９が、ステップＳ１１４で送信された照合要求情報に含まれていた照合データに付けられている「名前」と、ステップＳ１１７で受信された「類似度」とを組にして一時的に記憶部６０００に記憶する（Ｓ１１８）。その後、図９（ｂ）に示されている照合データ管理テーブルにおいて、照合データを次の行へ変更して、ステップＳ１１３の処理が再度行なわれる。

一方、ステップＳ１１３において、照合データが残っていない（全くない場合も含む）と判断された場合には、ステップＳ１１９の処理に進む。そして、記憶・読出部６９は、記憶部６０００に一時的に記憶していた各類似度の中から最大の類似度の照合データに付けられた「名前」を読み出す（Ｓ１１９）。そして、表示制御部６７は、分散データ処理端末６ａのディスプレイ５１７上に、図１４（ａ）に示されているリアルタイムの撮像画像上において、図１７に示されているような照合結果メッセージを表示させる（Ｓ１２０）。この照合結果メッセージｍ３には、照合結果、及び最大類似度の照合データに付けられた「名前」が表示されている。

＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、図７に示されているように、実時間データ処理端末３は画像認識アプリＡＰ１によって撮像画像データから部分画像データを抽出し、近端末データ処理装置５は通信アプリＡＰ２によって部分画像データを分散データ処理端末６ａに送信することで、負荷分散を行なうことができる。これにより、実時間データ処理端末３は、実時間処理を繰り返す１／６０秒のサイクル値を維持することができるという効果を奏する。特に、イントラネット２００内に複数の実時間データ処理端末を設置する場合であっても、近端末データ処理装置５が分散データ処理端末６ａとの通信を行なうため、各実時間データ処理端末は、実時間処理を繰り返す１／６０秒のサイクル値を維持することができるという効果を奏する。更に、実時間データ処理端末３と近端末データ処理装置５とを、分散データ処理端末６ａ及び集中データ処理サーバ７ａと比較して物理的に近い位置で1対1接続することにより、データの受け渡しを高速にできるため、最終的に照合結果を得るまでの処理時間を短縮することができるという効果を奏する。また、図３に示されているように撮像素子の数が変わっても、画像取得端末２が撮像素子の数の影響を受けることを抑制することができる。

また、実時間データ処理端末３は、撮像画像データではなく部分画像データを出力するため、画像取得端末２から分散データ処理端末６ａに送信されるデータは、データ量が大きい撮像画像データではなく、比較的データ量が少ない部分画像データで済むことができる。これにより、イントラネット２００及びインターネット６００に流れるデータ量を抑えることができる。更に、実時間データ処理端末３は、部分画像データを符号化することによりデータ量を圧縮することで、近端末データ処理装置５がイントラネット２００を介して分散データ処理端末６ａに送信するデータのデータ量を小さくすることができる。

また、複数人の顔が検出された場合には、図１４（ｂ）に示されているように、一人で撮影することを要求するメッセージが表示されるため、実時間データ処理端末３には確実に一人の顔だけを認識させるようにすることができるため、顔認識の精度が向上することで、セキュリティを高めることができる。

〔第２の実施形態〕
続いて、図１８を用いて、第２の実施形態について説明する。図１８は、図１５に示されている照合する処理の他の例を示したシーケンス図である。なお、本実施形態は、図１８に示されている処理以外は、構成、機能、及び処理ともに第１の実施形態と同様であるため、説明を省略する。また、本実施形態では、第１の実施形態のステップＳ１１１，Ｓ１１２の処理によって事前に照合データの登録が行なわれる。照合データは、分散データ処理端末６ａの記憶部６０００で記憶しておく必要はなく、他の装置であるデータ管理サーバで記憶しておいてもよい。

まず、図１８では、図１５に示されている第１の実施形態と同様のステップＳ１１１，Ｓ１１２，（Ｓ２１），Ｓ１１３の処理が行なわれる（Ｓ２０１，Ｓ２０２，（Ｓ２１），Ｓ２０３）。

次に、送受信部６１は、インターネット６００を介し、集中データ処理サーバ７ａに対して、照合要求を示す照合要求情報を送信する（Ｓ２０４）。この照合要求情報には、ファイル被照合データの記憶場所を示すＵＲＬ(Uniform Resource Locator)、及び照合データの記憶場所を示すＵＲＬが含まれている。これにより、集中データ処理サーバ７ａの送受信部７１は、照合要求情報を受信する。

次に、集中データ処理サーバ７ａの送受信部７１は、照合の処理（特徴量の生成、類似度の計算）を開始することになった場合には、被照合データの記憶場所を示すＵＲＬにアクセスして被照合データのファイルの読み出し要求を示すファイル読出要求情報を送信すると共に、照合データの記憶場所を示すＵＲＬにアクセスして照合データのファイルの読み出し要求を示すファイル読出要求情報を送信する（Ｓ２０５）。ここでは、分散データ処理端末６ａが被照合データ及び照合データのファイルを記憶しているため、集中データ処理サーバ７ａの送受信部７１は、分散データ処理端末６ａの送受信部６１に対して、ファイル読出要求情報を送信する。なお、上述のデータ管理サーバで被照合データ及び照合データを管理している場合には、集中データ処理サーバ７ａの送受信部７１は、データ管理サーバに対して、ファイル読出要求情報を送信する。

次に、分散データ処理端末６ａでは、記憶・読出部６９が、ファイルの読み出し要求に基づいて、被照合データ及び照合データのファイルを読み出す（Ｓ２０６）。そして、送受信部６１が、集中データ処理サーバ７ａの送受信部７１に対して、被照合データ及び照合データを送信する（Ｓ２０７）。この処理以降は、図１５に示されている第１の実施形態と同様であるため、その説明を省略する。

＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、集中データ処理サーバ７ａは、常に被照合データ及び照合データを要求するのではなく、照合の処理を開始する段階になって初めて被照合データ及び照合データを要求することができる。これにより、集中データ処理サーバ７ａの記憶部７０００におけるデータの占有容量を抑制し、集中データ処理サーバ７ａの性能の低下を防ぐことができる。

〔第３の実施形態〕
続いて、図１９乃至図２１を用いて、第３の実施形態について説明する。図１９は、ある部屋に画像取得端末を配置した状況を示した図である。本実施形態は、画像取得端末２の撮像範囲Ｒ１において、物体の検出範囲が、撮像画像の全体ではなく、撮像画像を２分割して左側半分に限定した場合を示している。例えば、画像取得端末２を監視カメラとして利用する場合、右側は社員専用の出入口Ｄ２であるため、不審者が出入りすることはない。一方で、左側は、一般人用の出入口Ｄ１であるため、不審者が出入りする可能性がある。そこで、本実施形態では、物体の検出範囲を撮像画像の左側半分に限定している。なお、物体の検出範囲は、右側半分、上側半分、下側半分にしてもよい。また、対象についても２分割に限るものではなく、4分割等、用途に応じて適宜分割する数を変更してもよい。

図２０は、図１３に示されている実時間処理のうちのイベント生成の処理の変形例を示したシーケンス図である。図２１は、図１５に示されている照合する処理の他の例を示したシーケンス図である。なお、本実施形態は、図２０及び図２１に示されている処理以外は、構成、機能、及び処理ともに第１の実施形態と同様であるため、説明を省略する。

まず、図２０に示されているように、図１３に示されているステップＳ２１１と同様の処理が行なわれる（Ｓ２２１）。そして、上述のステップＳ１０４の処理によって、物体検出部３５が物体（ここでは、顔）を検出した場合には（Ｓ２２１；ＹＥＳ）、ステップＳ２２２の処理へ進む。そして、物体検出部３５によって検出された物体の位置（ｘ，ｙ）が撮像画像の対象内（ここでは、左半分の内）にない場合には（Ｓ２２２；ＮＯ）、１系統のときはステップＳ１０３の処理へ戻り、２系統のときはステップＳ１０６の処理に戻る。これに対して、物体検出部３５によって検出された物体の位置（ｘ，ｙ）が、撮像画像の対象内（ここでは、左半分の内）にある場合には（Ｓ２２２；ＹＥＳ）、ステップＳ２２３の処理に進む。ここで、物体の位置（ｘ，ｙ）は、それぞれ撮像画像の左上を原点とする幅方向及び高さ方向の座標である。具体的には、撮像画像の全画像の幅がWであるとすると、ｘ＜（Ｗ／２）の場合（Ｓ２２２；ＹＥＳ）と、ｘ≧（Ｗ／２）の場合（Ｓ２２２；ＮＯ）とに分けられる。これ以降は、上述のステップＳ２１５，Ｓ２１６と同様の処理が行なわれる（Ｓ２２３，Ｓ２２４）。

次に、図２１を用いて、通信システムを監視カメラのシステムに応用した場合の処理について説明する。なお、図１５に示されているステップＳ１１１～Ｓ１１９の処理と同様の処理が行なわれるため、その説明を省略する。

ステップＳ１１９の処理後、分散データ処理端末６ａの判断部６３は、ステップＳ１１９によって読み出された最大類似度が閾値（例えば、「１」が完全一致の場合の「０．５」）以上か否かを判断する（Ｓ１３１）。この場合、最大類似度が閾値未満の場合には、分散データ処理端末６ａは、物体（顔）が不明であるとして取り扱う。そして、表示制御部６７は、分散データ処理端末６ａのディスプレイ５１７上に、図１７に示されている照合結果メッセージｍ３の照合結果欄に「不明」である旨のメッセージを表示させる（Ｓ１３２）。この場合、照合結果メッセージｍ３の名前は表示されない。

次に、分散データ処理端末６ａが物体を不明者として取り扱う場合には（Ｓ１３３；ＹＥＳ）、記憶・読出部６９は、記憶部６０００で管理している不明者の数を１カウント増加させる（Ｓ１３４）。そして、送受信部６１は、集中データ処理サーバ７ａの送受信部７１に対して、記憶部６０００で管理されている不明者の1カウント分、及び、この不明者が実時間データ処理端末３で撮像された日時を示す撮影日時情報を送信する（Ｓ１３５）。これにより、集中データ処理サーバ７ａの送受信部７１は、不明者の１カウント分及び撮影日時情報を受信する。

なお、撮影日時情報は、図１１に示されているステップＳ１２，Ｓ１３によって、実時間データ処理端末３から分散データ処理端末６ａへ撮像画像データが送信される際に併せて送信される。また、撮影された日時ではなく、図１１において、近端末データ処理装置５がステップＳ１２によって撮像画像データを受信した日時、若しくは近端末データ処理装置５がステップＳ１３によって撮像画像データを送信した日時であってもよい。または、撮影された日時ではなく、図１１において、分散データ処理端末６ａがステップＳ１３によって撮像画像データを受信した日時であってもよい。

更に、実時間データ処理端末３は、ステップＳ１２の処理の前に、近端末データ処理装置５を介して分散データ処理端末６ａに、実時間データ処理端末３の位置を示す位置情報を送信しておいてもよい。これにより、分散データ処理端末６ａは、上述のステップＳ１３５の処理において、位置情報も送信することができるため、集中データ処理サーバ７ａでは、不明者の１カウント分、撮影日時、及び位置情報を関連付けて管理することができる。なお、集中データ処理サーバ７ａ側で、記憶部７０００に実時間データ処理端末３（または画像取得端末２）を識別するための端末ＩＤ(Identification)及び実時間データ処理端末３（または画像取得端末２）の位置を示す位置情報を関連付けて管理しておき、分散データ処理端末６ａは、ステップＳ１３５の処理において、位置情報の替わりに、端末ＩＤを送信してもよい。これにより、集中データ処理サーバ７ａは、分散データ処理端末６ａの設置位置も管理することができる。

＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、集中データ処理サーバ７ａは、第１の実施形態の効果に加え、物体の検出範囲が半分で済むため、近端末データ処理装置５から分散データ処理端末６ａを介して集中データ処理サーバ７ａに部分画像データを送信する頻度を減少させることができる。これにより、イントラネット２００及びインターネット６００上を送信するデータ量を抑制することができる。

また、不明者の数が集中データ処理サーバ７ａに記憶されるため、分散データ処理端末６ａ等から集中データ処理サーバ７ａにアクセスして、不明者の数を確認することができる。

〔第４の実施形態〕
続いて、図２２及び図２３を用いて、第４の実施形態について説明する。図２２は、図１０に示されている画像認識の開始要求の他の例を示したシーケンス図である。図２３は、図１３に示されているイベント生成の他の例を示したフローチャートである。本実施形態では、分散データ処理端末から画像照合の要求を行なわなければ、画像照合の処理が開始されない場合を示している。なお、本実施形態は、図２２及び図２３に示されている処理以外は、構成、機能、及び処理ともに第１の実施形態と同様であるため、説明を省略する。

まず、図１０に示されているステップＳ１－１，Ｓ２－１，Ｓ３－１の実行後、図２２に示されているように、分散データ処理端末６ａでは、受付部６２が利用者から画像照合の開始要求を受け付ける（Ｓ１－２）。この場合、分散データ処理端末６ａのＧＵＩが利用される。これにより、分散データ処理端末６ａの送受信部６１は、近端末データ処理装置５に対して、画像照合の開始要求を示す画像照合の開始要求情報を送信する（Ｓ２－２）。これにより、近端末データ処理装置５の送受信部５１は、画像照合の開始要求情報を受信する。そして、通信部５８は、実時間データ処理端末３に対して、画像照合の開始要求情報を送信する（Ｓ３－２）。これにより、実時間データ処理端末３の通信部４８は、画像照合の開始要求情報を受信する。このように、ユーザーインタフェースを実時間データ処理端末３から分離することで、分散データ処理端末６ａから遠隔（リモート）操作が可能となる。

次に、実時間データ処理端末３では、図１２に示されている処理と同様の処理が行なわれる。その後に、図２３に示されている処理が行なわれる。ここで、図２３に示されている処理について説明する。

まず、上述のステップＳ１０７の処理によって、物体検出部３５が物体（ここでは、顔）を検出しなかった場合で（Ｓ２３１；ＮＯ）、上述のステップＳ２１１の処理と同様に、１系統のときはステップＳ１０３の処理へ戻り、２系統のときはステップＳ１０６の処理に戻る。これに対し、上述のステップＳ１０４の処理によって、物体検出部３５が物体（ここでは、顔）を検出した場合には（Ｓ２３１；ＹＥＳ）、ステップＳ２３２の処理へ進む。そして、判断部３３は、分散データ処理端末６ａから近端末データ処理装置５を介して、画像照合の開始要求情報が送られて来ているかを判断する（Ｓ２３２）。そして、判断部３３が、画像照合の開始要求情報が送られて来ていないと判断した場合には（Ｓ２３２；ＮＯ）、上述のステップＳ２３１の処理と同様に、１系統の場合はステップＳ１０３の処理へ戻り、２系統の場合はステップＳ１０６の処理に戻る。一方、判断部３３が、画像照合の開始要求情報が送られて来ていると判断した場合には（Ｓ２３２；ＹＥＳ）、実時間データ処理端末３は、上述のステップＳ２１５，Ｓ２１６と同様の処理を行なう。

＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、集中データ処理サーバ７ａは、第１の実施形態の効果に加え、利用者が画像認識の開始要求をした場合のみ、画像認識の処理を行なうため、無駄な処理を省略することができる。これにより、近端末データ処理装置５から分散データ処理端末６ａを介して集中データ処理サーバ７ａに部分画像データを送信する頻度を減少させることができる。これにより、イントラネット２００及びインターネット６００上を送信するデータ量を抑制することができる。

〔第５の実施形態〕
続いて、図２４及び図２７を用いて、第５の実施形態について説明する。図２４は、図８に示されている通信システムの他の例を示した機能ブロック図である。図２４では、図１に示されている分散データ処理端末６の一例として、分散データ処理端末６ｂを示している。また、図２４では、図１に示されている集中データ処理サーバ７の一例として、集中データ処理サーバ７ｂを示している。本実施形態の通信システムは、第１の実施形態における分散データ処理端末６ａから照合データ管理ＤＢ６００１を削除した分散データ処理端末６ｂを有する替わりに、第１の実施形態における集中データ処理サーバ７ａに特徴量管理ＤＢ７００１を追加した集中データ処理サーバ７ｂを有している。特徴量管理ＤＢ７００１は、記憶部７０００に記憶されており、後述の特徴量管理テーブルによって構成されている。なお、本実施形態では、第１の実施形態と同様の構成及び機能については、同一の符号を付して、その説明を省略する。

（特徴量管理テーブル）
図２５は、特徴量管理テーブルを示す概念図である。この特徴量管理テーブルでは、顔画像の目鼻の凹凸や傾き等の個人を識別するための特徴量のパラメータ、及びこの個人の名前が関連付けて管理されている。

＜＜本実施形態の処理又は動作＞＞
続いて、図２６及び図２７を用いて、本実施形態の処理又は動作について説明する。図２６及び図２７は、図１５に示されている照合する処理の他の例を示したシーケンス図である。

まず、分散データ処理端末の受付部６２が、利用者から図１６（ａ）に示されているようなファイル選択画面、及び図１６（ｂ）に示されているような照合データの登録画面の表示を受け付ける（Ｓ３０１）。これにより、分散データ処理端末６ｂの送受信部６１は、集中データ処理サーバ７ｂの送受信部７１に対して、ＧＵＩデータの要求を示すＧＵＩ要求情報を送信する（Ｓ３０２）。これにより、集中データ処理サーバ７ｂの送受信部７１は、ＧＵＩ要求情報を受信する。

次に、集中データ処理サーバ７ｂの送受信部７１は、分散データ処理端末６ｂの送受信部６１に対してＧＵＩデータを送信する。このＧＵＩデータは、記憶・読出部７９によって記憶部７０００から読み出されたデータである。このＧＵＩデータは、予め記憶部７０００に記憶されている。これにより、分散データ処理端末６ｂの送受信部６１は、ＧＵＩデータを受信する。

次に、分散データ処理端末６ｂの表示制御部６７は、分散データ処理端末６ｂのディスプレイ５１７上に、図１６（ａ）に示されているファイル選択画面を表示させる。そして、上述のステップＳ１１１，Ｓ１１２と同様の処理が行なわれる（Ｓ３０４，Ｓ３０５）。これにより、送受信部６１は、集中データ処理サーバ７ｂの送受信部７１に対して、照合データの登録要求を示した登録要求情報を送信する（Ｓ３０６）。この登録要求情報には、ステップＳ３０４で選択されたファイルの照合データ及びステップＳ３０５で入力された名前が含まれている。

次に、集中データ処理サーバ７ｂでは、特徴量生成部７４が、上述のステップＳ３０６で受信された照合データをビットマップデータに復号化する変換を行ない、照合データに係る顔画像の目鼻の凹凸や傾き等の個人を識別するための特徴量のパラメータを生成する（Ｓ３０７）。そして、記憶・読出部７９が、特徴量管理ＤＢ７００１に対して、ステップＳ３０７で生成された特徴量のパラメータ、及びステップＳ３０６で受信された名前を関連付けて記憶することで登録する（Ｓ３０８）。

一方、分散データ処理端末６ｂでは、上述のステップＳ２１の処理により、送受信部６１が被照合データとしての部分画像データを受信した場合には、送受信部６１は、集中データ処理サーバ７ｂに対して、照合要求を示す照合要求情報を送信する（Ｓ３１１）。この照合要求情報には、被照合データが含まれている。これにより、集中データ処理サーバ７ｂの送受信部７１は、照合要求情報を受信する。

次に、集中データ処理サーバ７ｂでは、特徴量生成部７４が、上述のステップＳ３１１で受信された被照合データをビットマップデータに変換し、被照合データに係る顔画像の目鼻の凹凸や傾き等の個人を識別するための特徴量のパラメータを生成する（Ｓ３１２）。そして、記憶・読出部７９は、特徴量管理ＤＢ７００１を検索することで、登録されている照合データの特徴量パラメータが残っているか否かを判断する（Ｓ３１３）。このステップＳ３１３によって特徴量パラメータが残っていると判断された場合には（Ｓ３１３；ＹＥＳ）、照合部７５は、両データ（照合データ及び被照合データ）に係る特徴量のパラメータを比較して類似度を算出する（Ｓ３１４）。その後、ステップＳ３１３の処理に戻ることで、登録されている照合データの特徴量のパラメータに関して全て類似度が算出されるまで、ステップＳ３１３，Ｓ３１４の処理が繰り返される。一方、ステップＳ３１３の処理において、照合データの特徴量のパラメータが残っていない（全くない場合も含む）と判断された場合には、ステップＳ３１５の処理に進む。

次に、記憶・読出部７９が、ステップＳ３０６で送信された登録要求情報に含まれていた照合データに付けられている「名前」と、ステップＳ３１４の処理で計算された「類似度」とを組にして一時的に記憶部７０００に記憶する（Ｓ３１５）。

次に、記憶・読出部７９は、記憶部７０００に一時的に記憶していた類似度の中から最大類似度の照合データに付けられた「名前」を読み出す（Ｓ３１６）。そして、送受信部７１は、分散データ処理端末６ｂに対して、上述のステップＳ３１１の照合要求の応答を示す応答情報を送信する（Ｓ３１７）。この応答情報には、ステップＳ３１６で読み出された「名前」が含まれている。

次に、分散データ処理端末６ｂでは、表示制御部６７が、分散データ処理端末６ｂのディスプレイ５１７上において、図１４（ａ）に示されているリアルタイムの撮像画像上に、図１７に示されているような照合結果メッセージｍ３を表示させる（Ｓ３１８）。この照合結果メッセージｍ３には、照合結果、及び最大類似度の照合データに付けられた「名前」が表示されている。

＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、ステップＳ３０６，Ｓ３１１で、照合データと被照合データを別のタイミングで送受信するため、第１の実施形態に比べて、通信負荷を軽減することができる。

〔第６の実施形態〕
〔全体概略〕
以下、図面を用いて、本発明の第６の実施形態の全体の概略について説明する。なお、第１の実施形態と同一の構成については、同一の符号を付して、その説明を省略する。

＜＜実施形態の全体構成＞＞
図２８は、第６の実施形態に係る通信システムの概略図である。本実施形態は、図１に示されている通信システムを、ビデオ通信に適用した場合を示している。

図２８に示されているように、本実施形態の通信システムは、実時間データ処理端末３ａ，３ｂ、近端末データ処理装置５ａ，５ｂ、分散データ処理端末８ａ，８ｂ、ディスプレイ８２０ａ，８２０ｂ、集中データ処理サーバ７ｃ、通信管理システム９、及び中継装置１０によって構築されている。

近端末データ処理装置５ａ，５ｂと分散データ処理端末８ａ，８ｂは、それぞれＵＳＢ(Universal Serial Bus)ケーブル８３１ａ，８３１ｂによって電気的に接続されている。また、分散データ処理端末８ａ，８ｂとディスプレイ８２０ａ，８２０ｂは、それぞれＨＤＭＩ(登録商標)(High Definition Multimedia Interface)ケーブル８３２ａ，８３２ｂによって電気的に接続されている。なお、ＵＳＢケーブルとＨＤＭＩケーブルは一例である。

また、実時間データ処理端末３ａ、近端末データ処理装置５ａ、及び分散データ処理端末８ａ、及びディスプレイ８２０ａによって、分散処理システム１００ａが構築されている。分散処理システム１００ａは拠点Ａで構築されている。また、実時間データ処理端末３ｂ、近端末データ処理装置５ｂ、及び分散データ処理端末８ｂ、及びディスプレイ８２０ｂによって、分散処理システム１００ｂが構築されている。分散処理システム１００ｂは拠点Ｂで構築されている。更に、実時間データ処理端末３ａと近端末データ処理装置５ａとで画像取得端末２ａを構成している。実時間データ処理端末３ｂと近端末データ処理装置５ｂとで画像取得端末２ｂを構成している。

これらのうち、実時間データ処理端末３ａ，３ｂは、それぞれ、第１の実施形態に係る実時間データ処理端末３と同じ構成であるため、これらの説明を省略する。撮影ユニット４０ａ，４０ｂは、それぞれ、第１の実施形態に係る撮影ユニット４０と同じ構成であるため、これらの説明を省略する。近端末データ処理装置５ａ，５ｂは、それぞれ、第１の実施形態に係る近端末データ処理装置５と同じ構成であるため、これらの説明を省略する。

また、分散データ処理端末８ａ，８ｂは、第１の分散データ処理端末６と異なる構成を備えているため、図２９を用いて後述する。なお、分散データ処理端末８は、分散データ処理端末８ａ，８ｂの総称である。

通信管理サーバ９は、分散データ処理端末８ａからのログイン認証、端末１０の通話状況の管理、宛先リストの管理、及び中継装置３０の通信状況等を一元的に管理する。なお、画像データの画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。

中継装置１０は、複数の分散データ処理端末８の間で、コンテンツデータの中継を行う。

＜＜ハードウェア構成＞＞
＜分散処理データ端末（ビデオ会議端末）のハードウェア構成＞
図２９は、分散データ処理端末がビデオ会議端末の場合のハードウェア構成図である。

図２９に示されているように、分散データ処理端末８は、ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３、フラッシュメモリ８０４、ＳＳＤ８０５、メディアＩ／Ｆ８０７、操作ボタン８０８、電源スイッチ８０９、バスライン８１０、ネットワークＩ／Ｆ８１１、カメラ８１２、撮像素子Ｉ／Ｆ８１３、マイク８１４、スピーカ８１５、音入出力Ｉ／Ｆ８１６、ディスプレイＩ／Ｆ８１７、外部機器接続Ｉ／Ｆ８１８、近距離通信回路８１９、近距離通信回路８１９のアンテナ８１９ａを備えている。これらのうち、ＣＰＵ８０１は、ビデオ会議端末８全体の動作を制御する。ＲＯＭ８０２は、ＩＰＬ等のＣＰＵ８０１の駆動に用いられるプログラムを記憶する。ＲＡＭ８０３は、ＣＰＵ８０１のワークエリアとして使用される。フラッシュメモリ８０４は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。ＳＳＤ８０５は、ＣＰＵ８０１の制御にしたがってフラッシュメモリ８０４に対する各種データの読み出し又は書き込みを制御する。なお、ＳＳＤに代えてＨＤＤを用いてもよい。メディアＩ／Ｆ８０７は、フラッシュメモリ等の記録メディア８０６に対するデータの読み出し又は書き込み（記憶）を制御する。操作ボタン８０８は、分散データ処理端末８の宛先を選択する場合などに操作されるボタンである。電源スイッチ８０９は、分散データ処理端末８の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。

また、ネットワークＩ／Ｆ８１１は、インターネット６００を利用してデータ通信をするためのインターフェースである。カメラ８１２は、ＣＰＵ８０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ８１３は、カメラ８１２の駆動を制御する回路である。マイク８１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ８１６は、ＣＰＵ８０１の制御に従ってマイク８１４及びスピーカ８１５との間で音信号の入出力を処理する回路である。ディスプレイＩ／Ｆ８１７は、ＣＰＵ８０１の制御に従って外付けのディスプレイ８２０に画像データを送信する回路である。外部機器接続Ｉ／Ｆ８１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路８１９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

また、バスライン８１０は、図２に示されているＣＰＵ８０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

ディスプレイ８２０は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬによって構成された表示手段の一種である。また、ディスプレイ８２０は、ＨＤＭＩケーブル８３２によってディスプレイＩ／Ｆ８１７に接続される。このＨＤＭＩケーブル８３２は、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。

なお、ディスプレイ８２０は、後述のディスプレイ８２０ａ，８２０ｂの総称である。また、ＨＤＭＩケーブル８３２は、後述のＨＤＭＩケーブル８３２ａ，８３２ｂの総称である。

カメラ８１２は、レンズや、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子を含み、固体撮像素子として、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)や、ＣＣＤ（Charge Coupled Device）等が用いられる。外部機器接続Ｉ／Ｆ８１８には、ＵＳＢケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ８０１の制御に従って、内蔵型のカメラ８１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、ＣＰＵ８０１の制御に従って、それぞれが内蔵型のマイク８１４や内蔵型のスピーカ８１５に優先して、外付けマイクや外付けスピーカが駆動する。

また、記録メディア８０６は、分散データ処理端末８に対して着脱自在な構成となっている。また、ＣＰＵ８０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ８０４に限らず、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read-Only Memory)等を用いてもよい。

なお、通信管理サーバ９及び中継装置１０のハードウェア構成は、図６に示されている集中データ処理サーバのハードウェア構成と同様であるため、これらの説明を省略する。

＜＜実施形態の機能構成＞＞
図３０乃至図３２を用いて、本実施形態の機能構成について説明する。図３０は、第６の実施形態に係り、分散処理システム１００ａの機能ブロック図である。図３１は、第６の実施形態に係り、分散処理システム１００ｂの機能ブロック図である。図３２は、第６の実施形態に係り、集中データ処理サーバ７ｃ、通信管理サーバ９、及び中継装置１０の機能ブロック図である。

＜分散処理システム１００ａの機能構成＞
図３０に示されているように、画像取得端末２ａの実時間データ処理端末３ａは、判断部３３ａ、画像処理部３４ａ、物体検出部３５ａ、イベント生成部３６ａ、表示制御部３７ａ、接続部３８ａ、記憶・読出部３９ａ、及び通信部４８ａを有している。また、実時間データ処理端末３は、記憶部３０００ａを有している。更に、記憶部３０００には、素子数管理ＤＢ３００１ａが構築されている。これら各機能構成は、それぞれ第１の実施形態における、判断部３３、画像処理部３４、物体検出部３５、イベント生成部３６、表示制御部３７、接続部３８、記憶・読出部３９、及び通信部４８と同様の機能、並びに記憶部３０００と同様の記憶手段であるため、これらの説明を省略する。また、素子数管理ＤＢ３００１ａは、第１の実施形態の素子数管理ＤＢ３００１と同様の素子数管理テーブルによって構成されているため、その説明を省略する。

また、画像取得端末２ａの近端末データ処理装置５ａは、データ検出部５６ａ、表示制御部５７ａ、通信部５８ａ、及び記憶・読出部５９ａを有している。また、近端末データ処理装置５は、記憶部５０００ａを有している。これら各機能構成は、第１の実施形態における、データ検出部５６、表示制御部５７、通信部５８、及び記憶・読出部５９と同様の機能、並びに記憶部５０００と同様の記憶手段であるため、これらの説明を省略する。なお、通信部５８ａは、実時間データ処理端末３ａの通信部４８ａと通信することができると共に、分散データ処理端末８ａの通信部８８ａと通信することができる。

次に、分散データ処理端末８ａは、送受信部８１ａ、受付部８２ａ、判断部８３ａ、表示制御部８７ａ、及び記憶・読出部８９ａを有している。また、分散データ処理端末８ａは、記憶部８０００ａを有している。

送受信部８１ａは、ネットワークＩ／Ｆ８１１、及びＣＰＵ８０１の処理によって実現され、送受信部６１と同様の機能である。

受付部８２ａは、操作ボタン８０８及び電源スイッチ８０９、並びにＣＰＵ８０１の処理によって実現され、受付部６２と同様の機能である。

判断部８３ａは、ＣＰＵ８０１の処理によって実現され、各種判断を行なう。

表示制御部８７ａは、ＣＰＵ８０１の処理によって実現され、表示手段の一例であるディスプレイ８２０ａに各種画面を表示させる。

通信部８８ａは、外部機器Ｉ／Ｆ８１８によって実現され、ＵＳＢケーブル８３１ａを介して近端末データ処理装置５ａの通信部５８ａと通信することができる。

記憶・読出部８９ａは、ＣＰＵ８０１の処理によって実現され、記憶部８０００ａに各種データ（または情報）を記憶したり、記憶部８０００ａから各種データ（または情報）を読み出したりする。

記憶部８０００ａは、記憶部６０００と同様の記憶手段であるため、これらの説明を省略する。

＜分散処理システム１００ｂの機能構成＞
図３１に示されているように、分散処理システム１００ｂにおいて、実時間データ処理端末３ｂ、近端末データ処理装置５ｂ、及び分散データ処理端末８ｂは、分散処理システム１００ａにおいて、それぞれ実時間データ処理端末３ａ、近端末データ処理装置５ａ、及び分散データ処理端末８ａと同様の機能構成を有するため、符号の末尾を「ａ」から「ｂ」に変更しただけで、各機能構成は同様であるため、これらの説明を省略する。

図３２は、第６の実施形態に係り、集中データ処理サーバ７ａ、通信管理サーバ９、及び中継装置１０の機能ブロック図である。

＜集中データ処理サーバ７ｃの機能構成＞
図３２に示されている集中データ処理サーバ７ｃは、第１の実施形態に係る集中データ処理サーバ７ａと同様の機能を有しているため、その説明を省略する。なお、第６の実施形態に係る集中データ処理サーバ７ｃでは、記憶部７０００に、照合データ管理ＤＢ７００２が記憶されている。この照合データ管理ＤＢ７００２は、第１の実施形態の照合データ管理ＤＢ８００１と同様の照合データ管理テーブル（図９（ｂ）参照）によって構成されているため、その説明を省略する。

＜通信管理サーバ９の機能構成＞
図３２に示されているように、通信管理サーバ９は、送受信部９１、及び記憶・読出部９９を有している。これら各部は、図６に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開されたプログラムに従ったＣＰＵ７０１からの命令によって、動作することで実現される機能又は手段である。

また、通信管理サーバ９は、図６に示されているＲＯＭ７０２、ＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部９０００を有している。更に、記憶部９０００には、端末・装置管理ＤＢ９００１、及びセッション管理ＤＢ９００２が構築されている。端末・装置管理ＤＢ９００１は、後述の端末・装置管理テーブルによって構成されている。セッション管理ＤＢ９００２は、後述のセッション管理テーブルによって構成されている。

（端末・装置管理テーブル）
図３３（ａ）は、端末・装置管理テーブルの概念図である。この端末・装置管理テーブルでは、各分散データ処理端末８の端末ＩＤ毎又は中継装置１０の装置ＩＤ毎に、端末（装置）の名称、及び各分散データ処理端末８（中継装置１０）のＩＰアドレスが関連付けられて管理されている。

（セッション管理テーブル）
図３３（ｂ）は、セッション管理テーブルの概念図である。このセッション管理テーブルでは、通信のセッションを識別するためのセッションＩＤ毎に、画像データ及び音データの中継に使用される中継装置１０の中継装置ＩＤ、通話の開始を行う端末である分散データ処理端末８ａ（開始端末）の端末ＩＤ、及び宛先の端末である分散データ処理端末８ｂ（宛先端末）の端末ＩＤが関連付けられて管理されている。

（通信管理サーバの各機能構成）
次に、図３２を用いて、通信管理サーバ９の各機能構成について更に詳細に説明する。

通信管理サーバ９の送受信部９１は、ネットワークＩ／Ｆ７０９、及びＣＰＵ７０１の処理によって実現され、通信ネットワーク（ここでは、インターネット６００）を介して、他のサーバ、装置、及び端末と各種データ（または情報）の送受信を行う。

記憶・読出部９９は、ＣＰＵ７０１の処理によって実現され、記憶部９０００に各種データ（または情報）を記憶したり、記憶部９０００から各種データ（または情報）を読み出したりする。

＜中継装置１０の機能構成＞
図３２に示されているように、中継装置１０は、送受信部（転送部）１１、及び記憶・読出部１９を有している。これら各部は、図６に示されている各構成要素のいずれかが、ＨＤ７０４からＲＡＭ７０３上に展開されたプログラムに従ったＣＰＵ７０１からの命令によって、動作することで実現される機能又は手段である。

また、中継装置１０は、図６に示されているＲＯＭ７０２、ＲＡＭ７０３、及びＨＤ７０４によって構築される記憶部１０００を有している。

（中継装置の各機能構成）
次に、図３２を用いて、中継装置１０の各機能構成について更に詳細に説明する。

中継装置１０の送受信部１１は、ネットワークＩ／Ｆ７０９、及びＣＰＵ７０１の処理によって実現され、通信ネットワーク（ここでは、インターネット６００）を介して、他のサーバ、装置、及び端末と各種データ（または情報）の送受信を行う。

記憶・読出部１９は、ＣＰＵ７０１の処理によって実現され、記憶部１０００に各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

＜＜本実施形態の処理又は動作＞＞
続いて、図３４乃至図４１を用いて、本実施形態の処理又は動作について説明する。なお、分散データ処理端末８ａが通信管理サーバ９を介して他の分散データ処理端末に通話を開始する要求を行った後、分散データ処理端末８ａ，８ｂ及び３つ目の分散データ処理端末（８ｃ）の間で、中継装置１０を介して通話を行っている状態から説明する。

なお、図３４は、第６の実施形態に係り、画像認識の開始要求の処理を示したシーケンス図である。図３５は、分散データ処理端末８ａにおけるビデオ通話画面の例である。図３６は、分散データ処理端末８ａにおいて参加者名を表示する前の拠点詳細情報を示した拠点詳細画面の例である。

まず、分散データ処理端末８ａにおいて、３拠点間でのビデオ通話中に、表示制御部８７ａがディスプレイ８２０ａに対して、図３５に示されているようなビデオ通話画面８５０を表示させる（Ｓ４０１）。このビデオ通話画面８５０には、現在発話している人がいる他拠点の画像を表示するメイン表示領域８５１、自拠点の画像を表示するサブ表示領域８５２、現在発話していない人がいる他拠点の画像を表示するサブ表示領域８５３が含まれている。仮に、サブ表示領域８５３で表示されている人が発話し始めると、表示制御部８７ａは、メイン表示領域８５１に表示されている他拠点の画像と、サブ表示領域８５３に表示されている他拠点の画像を入れ替えて表示させる。

更に、ビデオ通話画面８５０の左下には、「拠点詳細情報」ボタン８５８が表示されている。この「拠点詳細情報」ボタン８５８は、図３６に示されている拠点詳細画面８６０に画面遷移させる場合に利用者によって押下されるためのボタンである。

次に、利用者が「拠点詳細情報」ボタン８５８を押下すると、受付部８２ａが拠点詳細画面の表示を受け付ける（Ｓ４０２）。そして、表示制御部８７ａは、ディスプレイ８２０ａに対して、図３６に示されている拠点詳細画面８６０を表示させる。この拠点詳細画面８６０には、分散データ処理端末８ａと同じ通信セッションで通信中の全ての拠点の端末名を表示する表示欄８６１及び端末ＩＤを表示する表示欄８６２が含まれている。

また、拠点詳細画面８６０の中央部には、メイン表示領域８５１の表示内容を縮小して表示する発話中拠点表示領域８６３が含まれている。更に、拠点詳細画面８６０の左下部には、「参加者認識」ボタン８６８が表示されている。「参加者認識」ボタン８６８は、後述の図３６で示されているように、参加者数及び参加者名を表示する参加者情報表示欄８６５を表示させる場合に利用者によって押下されるためのボタンである。

ここで、利用者が「参加者認識」ボタン８６８を押下すると、受付部８２ａは、参加者の認識を受け付ける（Ｓ４０４）。

次に、分散データ処理端末８ａの送受信部８１ａは、通信管理サーバ９に対して、メイン表示領域８５１に表示中の他拠点の参加者を認識するための要求を示す認識要求情報を送信する（Ｓ４０５）。この認識要求情報には、メイン表示領域８５１に表示中の他拠点の分散データ処理端末を識別するための端末ＩＤが含まれている。これにより、通信管理サーバ９の送受信部９１は、認識要求情報を受信する。

次に、通信管理サーバ９の記憶・読出部９９は、ステップＳ４０５で受信された端末ＩＤを検索キーとして端末・装置管理ＤＢ９００１を検索することにより、対応するＩＰアドレスを読み出す（Ｓ４０６）。そして、送受信部９１は、読み出されたＩＰアドレスで特定される分散データ処理端末８ｂに対して、画像照合の開始要求を示す画像照合の開始要求情報を送信する（Ｓ４０７）。これにより、分散データ処理端末８ｂの送受信部８１ｂは、画像照合の開始要求情報を受信する。

次に、分散データ処理端末８ｂの通信部８８ｂは、近端末データ処理装置５ｂに対して、画像照合の開始要求情報を送信する（Ｓ４０８）。これにより、近端末データ処理装置５ｂの通信部５８ｂは、画像照合の開始要求情報を受信する。そして、通信部５８ｂは、実時間データ処理端末３ｂに対して、画像照合の開始要求情報を送信する（Ｓ４０９）。これにより、実時間データ処理端末３の通信部４８ｂは、画像照合の開始要求情報を受信する。なお、ステップＳ４０７～Ｓ４０９は、それぞれ図２２に示されているステップＳ１－２～Ｓ３－２に対応する。

続いて、図３７を用いて、第６の実施形態に係る画像認識の処理を説明する。図３７は、画像認識の処理を示したシーケンス図である。この処理は、図１１に示されている第１の実施形態の画像認識の処理のうち、ステップＳ１２，Ｓ１３が省略され、部分画像データの数を示す部分画像データ数が送受信される点が異なる。

まず、実時間データ処理端末３ｂは、実時間処理を行なう（Ｓ４１１）。ここで、図３８を用いて、実時間処理について説明する。なお、実時間処理のうちの物体検出の処理は、第１の実施形態（図１２参照）と同様であるため、その説明を省略する。図３８は、第６の実施形態に係り、実時間処理のうちのイベント生成の処理を示したフローチャートである。なお、図３８の処理は、図１３の処理の変形例である。

図３８に示されているように、上述のステップＳ１０７の処理によって、物体検出部３５ｂが物体（ここでは、顔）を検出しなかった場合で（Ｓ６１１；ＮＯ）、１系統のときはステップＳ１０３の処理へ戻り、２系統のときはステップＳ１０６の処理に戻る。これに対し、上述のステップＳ１０４の処理によって、物体検出部３５ｂが物体（ここでは、顔）を検出した場合には（Ｓ６１１；ＹＥＳ）、ステップＳ６１２の処理へ進む。そして、物体検出部３５ｂは、物体（ここでは、顔）数をカウントする（Ｓ６１２）。

次に、物体検出部３５ｂは、検出された位置での顔を含んだ部分画像データをJPEGなどの汎用形式で符号化する（Ｓ６１５）。そして、イベント生成部３６は、近端末データ処理装置５ｂに対して部分画像データを送信することを通知するイベントメッセージを生成する（Ｓ６１６）。具体的には、イベント生成部３６は、”Send”といったイベントメッセージｍ２を生成する。

以上により、図３７に示されているステップＳ４１１の処理が終了する。これにより、通信部４８ｂは、近端末データ処理装置５ｂの通信部５８ｂに対して、ステップＳ６１６で生成されたイベントメッセージｍ２、ステップＳ１０４で検出された部分画像データ、及びステップＳ６１２でカウントされた部分画像データ数を送信する（Ｓ４１５）。なお、ステップＳ１０４の処理において、複数の物体（ここでは、顔）が検出された場合には、１つのイベントメッセージｍ２と共に、複数の部分画像データ及び部分画像データ数が送信される。

次に、近端末データ処理装置５ｂでは、第１の実施形態の処理（Ｓ１６～Ｓ２１）と同様の処理が実行される（Ｓ４１６～Ｓ４２１）。なお、第１の実施形態に係るステップＳ２１では、近端末データ処理装置５の送受信部５１が分散データ処理端末６ａの送受信部６１に対して、被照合データとしての部分画像データを送信した。これに対して、第６の実施形態に係るステップＳ４２１では、近端末データ処理装置５ｂの通信部５８ｂが、分析データ処理端末８ｂの通信部８８ｂに対して、被照合データとしての部分画像データだけでなく、部分画像データ数も送信する。この送信される部分画像データ数は、ステップＳ４１５の処理で受信された部分画像データ数の情報である。

続いて、図３９乃至図４１を用いて、部分画像データである被照合データと、登録されている照合データとの照合処理について説明する。図３９は、第６の実施形態に係り、照合する処理を示したシーケンス図である。図４０は、第６の実施形態に係り、照合結果を表示する処理を示したシーケンス図である。図４１は、分散データ処理端末８ａにおいて参加者名を表示した後の拠点詳細情報を示した拠点詳細画面の例である。なお、第６の実施形態に係る照合及び表示する処理（図３９、図４０参照）は、第１の実施形態に係る照合する処理（図１５参照）の変形例である。第１の実施形態では、分散データ処理端末６で行われていた処理が、基本的に集中データ処理サーバ７で行われる。

まず、管理者は、照合データを登録するために、集中データ処理サーバ７を操作することで、表示制御部７７は、図１６（ａ）と同様に、照合データのファイル選択画面を表示させる。これにより、管理者は、「ファイル選択」ボタンｂ１１を押下後、登録する画像（ここでは、顔の画像）を選択すると、受付部７２は、登録される画像のファイルの選択を受け付ける（Ｓ５１１）。これにより、表示制御部７７は、図１６（ｂ）と同様に、照合データの登録画面を表示させる。そこで、管理者は、選択された画像及びファイルａ２１が所望の画像であるかを確認後、所望の画像であれば、名前入力欄ａ２２に、照合データとして登録する画像の名前を入力後、「登録」ボタンｂ２１を押下すると、受付部７２は、照合データとしての画像の登録を受け付けることで、記憶・読出部７９が登録を行う（Ｓ５１２）。具体的には、記憶・読出部７９は、照合データ管理ＤＢ６００１に対して、ファイル名ａ２１及び名前入力欄ａ２２に入力された名前を関連付けて記憶する。なお、利用者が、選択された画像及びファイルａ２１が所望の画像でない場合には、「キャンセル」ボタンｂ２２を押下すると、図１６（ａ）に示されているファイル選択画面に戻る。

次に、集中データ処理サーバ７ｃでは、特徴量生成部７４が、ステップＳ５１２によって登録された照合データをビットマップデータに復号化する変換を行ない、照合データに係る顔画像の目鼻の凹凸や傾き等の個人を識別するための特徴量のパラメータを生成する（Ｓ５１３）。

このように、近端末データ処理装置５ｂ側で照合データを登録せずに、集中データ処理サーバ７ｃ側で照合データを登録することによって、近端末データ処理装置５ｂと集中データ処理サーバ７ｃとの間の通信ネットワーク通信の負荷を抑制することができるという効果を奏する。

次に、上述のステップＳ４２１の処理により、分散データ処理端末８ｂの通信部８８ｂが、被照合データとしての部分画像データ及び部分画像データの数を受信すると、送受信部８１ｂは、通信管理サーバ９に対して、照合要求を示す照合要求情報を送信する（Ｓ５１４）。この照合要求情報には、被照合データ及び被照合データの数が含まれている。これにより、通信管理サーバ９の送受信部９１は、照合要求情報を受信する。

次に、送受信部９１は、集中データ処理サーバ７ｃに対して、ステップＳ５１４で受信した照合要求情報を送信（転送）する（Ｓ５１５）。これにより、集中データ処理サーバ７ｃの送受信部７１は、照合要求情報を受信する。

次に、特徴量生成部７４が、ステップＳ５１５によって受信された被照合データをビットマップデータに復号化する変換を行ない、被照合データに係る顔画像の目鼻の凹凸や傾き等の個人を識別するための特徴量のパラメータを生成する（Ｓ５１６）。

次に、記憶・読出部７９は、照合データ管理ＤＢ７００２を検索することで、登録されている照合データが残っているか否かを判断する（Ｓ５１７）。そして、残っていると判断された場合には、照合部７５は、両データ（照合データ及び被照合データ）に係る特徴量のパラメータを比較して類似度を算出する（Ｓ５１８）。そして、記憶・読出部７９が、ステップＳ５１２で登録された照合データに付けられている「名前」と、ステップＳ５１８で算出された「類似度」とを組にして一時的に記憶部７０００に記憶する（Ｓ５１９）。その後、図９（ｂ）に示されている照合データ管理テーブルにおいて、照合データを次の行へ変更して、ステップＳ５１７の処理が再度行なわれる。

一方、ステップＳ５１７において、照合データが残っていない（全くない場合も含む）と判断された場合には、ステップＳ５２０の処理に進む。そして、記憶・読出部７９は、記憶部７０００に一時的に記憶していた各類似度の中から閾値以上の類似度を検索し、この閾値以上の類似度の中から最大の類似度の照合データに付けられた「名前」を読み出す（Ｓ５２０）。閾値は、例えば「８０％」である。これにより、類似度が低い場合には、「名前」が読み出されない。

なお、ステップＳ５１６～Ｓ５２０の処理は、被照合データの数に応じて繰り返される。即ち、拠点に２人いると認識された場合には、ステップＳ５１６～Ｓ５２０の処理は２回繰り返される。

続いて、集中データ処理サーバ７ｃの送受信部７１は、通信管理サーバ９に対して、照合結果を示す照合結果情報を送信する（Ｓ５２１）。この照合結果情報には、ステップＳ５２０で読み出された「名前」及び、ステップＳ５１５で受信された被照合データ数が含まれている。これにより、通信管理サーバ９の送受信部９１は、照合結果情報を受信する。

次に、通信管理サーバ９の送受信部９１は、分散データ処理端末８ｂに対して、ステップＳ５２１で受信した照合結果情報を送信（転送）する（Ｓ５２２）。これにより、分散データ処理端末８ｂの送受信部８１ｂは、照合結果情報を受信する。

次に、分散データ処理端末８ｂの表示制御部８７ｂは、ディスプレイ８２０ｂ上に、図４１に示されているように、参加者情報表示欄８６５に、照合結果（ここでは、参加者数と参加者名）を表示させる。参加者数は、ステップＳ５２２で受信された照合結果情報に含まれている被照合データ数に基づいて表わされる。また、参加者名は、同じく照合結果情報に含まれている参加者名に基づいて表される。図４１では、上記ステップＳ５２０の処理の結果、閾値以上の類似度であった参加者の場合には、名前（Ｊｉｍ）が表示される。また、閾値未満の類似度であった参加者の場合には、名前が表示されない。ここでは、名前ではなく“Guest”と表示されている。

＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、第１の実施形態に係る照合処理を、ビデオ通話システムに応用することで、分散データ処理端末８は、他拠点の参加者の名前を表示することができるため、通話の参加者は、遠隔の他拠点で参加している人を容易に把握することができるという効果を奏する。

〔補足〕
上記各実施形態では、画像取得端末２が撮像画像データを取得したが、これに限らず、集音により音データを取得してもよいし、温度センサにより温度データを取得してもよいし、湿度センサにより湿度データを取得してもよい。また、この場合、画像取得端末２は「取得端末」としてもよい。

また、各ＣＰＵ３０１，５０１，７０１等の各構成要素は、単一であってもよく複数であってもよい。また、画像取得端末２、分散データ処理端末６、及び集中データ処理サーバ７は、それぞれ複数あってもよい。更に、分散データ処理端末６はサーバであってもよい。

また、上述の実施形態における各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated
Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。

２ 画像取得端末（取得端末の一例）
３ 実時間データ処理端末
５ 近端末データ処理装置
６ 分散データ処理端末
７ 集中データ処理サーバ
３４ 画像処理手段の一例
３５ 物体検出部（物体検出手段の一例）
３８ 接続部（接続手段の一例）
５１ 送受信部（第１の送信手段の一例）
６１ 送受信部（第２の送信手段の一例、受信手段の一例）
６２ 受付部（受付手段の一例）
６７ 表示制御部（表示制御手段の一例）
６９ 記憶・読出部（登録手段の一例）
７１ 送受信部（第３の送信手段の一例）
７４ 特徴量生成部（特徴量生成手段の一例）
７５ 照合部（照合手段の一例）
２００ イントラネット
６００ インターネット
３００１ 素子数管理ＤＢ（素子数管理手段の一例）
６０００ 記憶部（記憶手段の一例）
６００１ 照合データ管理ＤＢ（照合データ管理手段の一例）
７００１ 特徴量管理ＤＢ（特徴量管理手段の一例）

特表２０１６－５１９８１２号公報

Claims (10)

1. 被写体を撮像して撮像画像のデータを得る画像取得端末と、前記撮像画像を表示する分散データ処理端末と、前記撮像画像における物体部分の領域である部分画像のデータとしての被照合データ、及び所定の物体を示す画像のデータであって予め登録されている照合データを照合する集中データ処理サーバと、を有する通信システムであって、
   前記画像取得端末は、
   前記撮像画像から前記部分画像を検出する物体検出手段と、
   前記部分画像のデータとしての前記被照合データを、前記分散データ処理端末に送信する第１の送信手段と、
   を有し、
   前記分散データ処理端末は、
   前記照合データを登録する登録手段と、
   前記登録手段によって登録された前記照合データ及び前記画像取得端末から受信された前記被照合データを、前記集中データ処理サーバに送信する第２の送信手段と、
   を有し、
   前記集中データ処理サーバは、
   前記分散データ処理端末から受信された前記照合データ及び前記被照合データの照合を行なう照合手段と、
   前記照合の結果を示す照合結果情報を、前記分散データ処理端末に送信する第３の送信手段と、
   を有する通信システム。
2. 前記画像取得端末は、
   前記物体検出手段を有し、前記撮像画像のデータを得るための実時間処理を行なう実時間データ処理端末と、
   前記第１の送信手段を有し、前記実時間データ処理端末と接続され、前記実時間データ処理端末から取得した前記部分画像のデータとしての前記被照合データを前記分散データ処理端末に送信する近端末データ処理装置と、
   を有する、請求項１に記載の通信システム。
3. 前記実時間データ処理端末と前記近端末データ処理装置は、それぞれがオペレーティングシステムを有する、請求項２に記載の通信システム。
4. 前記物体検出手段は前記実時間データ処理端末が有する画像認識アプリケーションの実行によって実現され、前記画像取得端末は前記近端末データ処理装置が有する通信アプリケーションの実行によって実現される、請求項２又は３に記載の通信システム。
5. 前記実時間データ処理端末は、
   撮像素子の数の違いに応じた撮像ユニットの種類を示す種類情報、及び当該撮像素子の数を関連付けて管理する素子数管理手段と、
   前記撮像素子の数が異なる複数種類の撮像ユニットが着脱自在に接続され、接続された特定の撮像ユニットから、当該特定の撮像ユニットが撮像して得た撮像画像のデータ及び当該特定の撮像ユニットの特定の種類情報を取得する接続手段と、
   前記素子数管理手段において、前記特定の撮像ユニットから取得された特定の種類情報に対応する特定の撮像素子の数に基づいて、前記特定の撮像ユニットから取得した撮像画像のデータに対する画像処理を行なう画像処理手段と、
   を有する、請求項２乃至４のいずれか一項に記載の通信システム。
6. 前記分散データ処理端末は、
   前記照合データのファイルの選択を受け付け、当該照合データとしての画像データで示される物体の名前を受け付ける受付手段と、
   前記受け付けられた前記照合データのファイルのファイル名及び前記名前を関連付けて管理する照合データ管理手段と、
   前記集中データ処理サーバにおける第３の送信手段から前記照合結果情報を受信する受信手段と、
   前記照合結果情報には前記照合データ及び前記被照合データの類似度が含まれており、前記受信手段が集中データ処理サーバにおける第３の送信手段から複数の照合結果情報を受信した場合には、複数の照合結果情報の各類似度のうち最大の類似度となる照合データに係るファイル名に前記照合データ管理手段において対応する名前を表示する表示制御手段と、
   を有する請求項１に記載の通信システム。
7. 前記分散データ処理端末における前記第２の送信手段は、前記集中データ処理サーバに対して、前記被照合データのＵＲＬ及び前記照合データのＵＲＬを送信し、
   前記集中データ処理サーバにおける前記第３の送信手段は、前記被照合データのＵＲＬにアクセスして前記被照合データを要求すると共に、前記照合データのＵＲＬにアクセスして前記照合データを要求する請求項１に記載の通信システム。
8. 前記分散データ処理端末における第２の送信手段は、前記画像取得端末に対して、前記物体検出手段の処理を開始させる要求を示す開始要求情報を送信する、請求項１叉は７に記載の通信システム。
9. 請求項１に記載の通信システムであって、更に、
   前記集中データ処理サーバは、
   前記照合データとしての画像のデータで示される物体の第１の特徴量のパラメータを生成する特徴量生成手段と、
   前記生成された前記第１の特徴量のパラメータ及び前記照合データとしての画像データで示される物体の名前を関連付けて管理する特徴量管理手段と、
   を有し、
   前記特徴量生成手段は、前記分散データ処理端末から受信された前記被照合データとしての画像のデータで示される物体の第２の特徴量のパラメータを生成し、
   前記照合手段は、前記第１の特徴量のパラメータ及び前記第２の特徴量のパラメータを比較することで、前記照合データ及び前記被照合データの照合を行なう、
   通信システム。
10. 被写体を撮像して撮像画像のデータを得る画像取得端末と、前記撮像画像を表示する分散データ処理端末と、前記撮像画像における物体部分の領域である部分画像のデータとしての被照合データ、及び所定の物体を示す画像のデータであって予め登録されている照合データを照合する集中データ処理サーバと、を有する通信システムが実行する通信方法であって、
    前記画像取得端末は、
    前記撮像画像から前記部分画像を検出する物体検出ステップと、
    前記部分画像のデータとしての前記被照合データを、前記分散データ処理端末に送信する第１の送信ステップと、
    を実行し、
    前記分散データ処理端末は、
    前記照合データを登録する登録ステップと、
    前記登録ステップによって登録された前記照合データ及び前記画像取得端末から受信された前記被照合データを、前記集中データ処理サーバに送信する第２の送信ステップと、
    を実行し、
    前記集中データ処理サーバは、
    前記分散データ処理端末から受信された前記照合データ及び前記被照合データの照合を行なう照合ステップと、
    前記照合の結果を示す照合結果情報を、前記分散データ処理端末に送信する第３の送信ステップと、
    を実行する通信方法。

Images