JP5696482B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明は、画像を処理する情報処理装置に関する。

一般的に、作業現場における作業員の作業をカメラで撮影し、その撮影された画像の信号をカメラから監視装置に送信して監視装置の表示装置に表示し、それによって管理者が表示装置上でその作業を遠隔的に監視することができる。

既知の或るデータセンタ・セキュリティ管理システムでは、データセンタの契約者として外部から派遣されフロア内サーバ・ラック扉前に位置する人物顔画像をラック上部設置Ｗｅｂカメラで撮影認証する。その画像が既登録顔画像と照合一致し更にＩＤカードによる照合一致が同時に成立した時に、現場にて解錠可能とされる。或いは、そのシステムでは、その撮影映像をその人物の派遣元関係者が操作可能な遠隔情報端末にリアルタイムで送信し、その関係者が直に該当者の顔をモニタ画面上で認識して本人確認が行われる。その確認信号と更に現場でのＩＤカードによる照合一致とが同時に成立した時に、遠隔にて解錠が可能とされる。

既知の或る映像監視システムによれば、監視映像システムに知的映像解析システムを移植して知的映像監視システムが形成される。その映像監視システムは、監視領域の境界線を越えて侵入する危険な行為を検知すると、直ちに警報とその判断を下した映像とを、監視員のいる監視室の表示装置、および警備員、関係者の携帯電話等に同時に送信して、犯罪等の早期防止に役立てる。その映像監視システムは、さらに、駐車場等の車の安全を利用者が離れたところで確認できる映像監視システムを提供する。

既知の或る安全監視システムは、外部から区分けされた一定の作業エリアの全部を監視可能な撮影機と、その撮影機に接続する画像処理装置と、その画像処理装置に接続する 治具制御盤と、その治具制御盤に接続するロボット制御盤とを含んでいる。その撮影機が全ての作業エリアを撮影し、その作業エリアの画像が画像処理装置に送られる。作業者がワークセット・エリア内で治具にワークセットを行う場合、そのシステムは、作業用ロボットを停止させる。作業用ロボットの稼働中は、画像処理装置が作業エリア内に進入物を認識した場合、そのシステムは、作業エリア内の全ての電源を遮断し、作業用ロボットを非常停止させる。

特開２００９− ３７５７３号公報 特開２００７−１９５１３０号公報 特開２０１０− ４６７３５号公報

例えばインターネット・データ・センタ（ＩＤＣ）のような、サーバおよび／またはネットワーク機器等が設置された設備において、サーバおよび／または通信機器等の設置、調整、調整、交換、修理、撤去などの作業が行われる。また、その作業のために、作業員が、しばしば、作業のための操作領域とそれ以外の非操作領域を識別するために、特有のまたは識別可能な色を有する剥離可能なマーキング・テープ（例、養生テープ）で操作領域と非操作領域を区画することがある。また、その作業を監視するために、作業の現場に監視員を配置してもよい。

発明者は、監視員によって作業員の作業を、常時、厳格に監視することは困難であり、コストが高い、と認識した。また、発明者は、画像認識技術で識別可能な形態で操作領域を表すマーキングを施し、操作領域およびマーキングをカメラで撮像し、その撮像された画像を画像認識技術を用いて認識することによって、作業員の作業または操作を効率的に監視することができる、と認識した。

本発明の目的は、画像において非操作領域の境界線に対する動体映像の状態を判定できるようにすることである。

実施形態の一観点によれば、入力部を介して画像信号を取り込んで格納する記憶部と、その記憶部に格納された第１の画像信号の画像における境界線と、その境界線によって区画される非操作領域とを決定する決定部と、その記憶部に格納された第２の画像信号における動体映像を検出する検出部と、その第２の画像信号の画像におけるその検出された動体映像がその境界線を貫通しているかどうかに基づいて、その境界線に対するその動体映像の状態を判定する判定部と、その判定された状態に基づいて信号を発生する信号発生部と、含む情報処理装置が提供される。

実施形態の一観点によれば、画像において非操作領域境界線に対する動体映像の状態を判定することができる。

図１は、実施形態による、作業対象または工事対象の設備または装置における操作を監視するための概略的な構成の例を示している。 図２Ａは、情報処理装置の概略的な構成の例を示している。 図２Ｂは、情報処理装置のプロセッサの概略的な構成の例を示している。 図３は、別の情報処理装置の概略的な構成の例を示している。 図４は、カメラの１つによって撮影された画像、および操作監視機能用のソフト・キーを含む、表示装置上の画面の例を示している。 図５は、情報処理装置のプロセッサによって実行される、カメラの１つによって撮影された連続する複数の最新の画像の平均の画像を生成するためのフローチャートの例を示している。 図６は、表示装置の画像を表すデータを格納したメモリ上の領域において、マーキングを認識して非操作領域を決定するための手順の例を説明するためのものである。 図７は、表示装置の画像におけるマーキングの下側の非操作領域を表す画像の映像の例を示している。 図８Ａおよび８Ｂは、情報処理装置のプロセッサによって実行される、メモリ上の表示メモリ領域上で画像のマーキングを識別して非操作領域を決定するためのフローチャートの例を示している。 (図8Aで説明) 図９Ａは、カメラの１つによって撮影されて生成された平均の画像または最新の画像において、最新の画像の操作領域内に留まる動体映像と、最新の動体画像の非操作領域に侵入した動体映像とを含む画像の例を示している。図９Ｂは、図９Ａの画像の一部を拡大した図であり、動体映像がマーキングの映像または境界線を貫通しているかどうかを認識する方法の例を示している。 図１０Ａおよび１０Ｂは、プロセッサによって実行される、各カメラによって撮影され生成された平均の画像または最新の画像において動体映像が非操作領域に侵入したかどうかを判定するためのフローチャートの例を示している。 (図10Aで説明) 図１１Ａ〜１１Ｃは、プロセッサによって実行される、正常操作確認モードにおいて動体映像が正常に操作領域内にあるかどうかを確認するためのフローチャートの例を示している。 (図11Aで説明) (図11Aで説明) 図１２Ａおよび１２Ｂは、合成された画像の更新の例を示している。

発明の目的および利点は、請求の範囲に具体的に記載された構成要素および組み合わせによって実現され達成される。
前述の一般的な説明および以下の詳細な説明は、典型例および説明のためのものであって、本発明を限定するためのものではない、と理解される。

本発明の非限定的な実施形態を、図面を参照して説明する。図面において、同様のコンポーネントおよび素子には同じ参照番号が付されている。

図１は、実施形態による、例えばサーバ・ラックのような作業対象または工事対象の設備または装置２０における操作を監視するための概略的な構成（configuration）の例を示している。

図１において、設備または装置２０には、例えばサーバおよび／またはネットワーク機器等が設置されている。設備または装置２０において、例えばサーバおよび／または通信機器のような機器の設置、調整、交換、修理および撤去など作業または工事のために、設備または装置２０の一部の操作領域または作業領域２４に対して作業員が操作または作業を行うことがある。そのために、作業員は、周辺の操作または作業対象でない非操作領域または非作業領域２６、２７、２８および２９から、操作領域または作業領域２４を視覚的に識別するために、両者の間の境界にマーキング３０を施す。マーキング３０は、例えば、長方形状または多角形状の形態で操作領域２４を区画しまたは囲むように施される。そのマーキング３０は、例えば、剥離可能なカラー・マーキング・テープ（養生テープ）を貼り、取り外し可能なカラー・マーキング・ロープを固定または接着し、またはラックのフレーム等に消去可能なカラー・マーカ（筆記具）で着色を施すなどして、形成してもよい。マーキング３０の色は、周囲の色と識別可能な、例えば、緑色、黄色、赤色であってもよい。カラー・マーキング・テープやカラー・マーキング・ロープが、例えばラックの側板に接着または取り付けられ、ラック内に置かれている作業対象である装置２０には直接触れていない場合、ラック内に置かれている装置２０とカラー・マーキング・テープやカラー・マーキング・ロープとの間に空間が生じることがある。

作業員は、操作領域２４に対して操作または作業を行い、非操作領域２６〜２９内の機器等に手または身体の一部が触れないように注意する。非操作領域２６〜２９に設置された機器に手などが触れると、その機器が障害を起こす危険性があり得る。しかし、マーキング３０を施しても、作業員の手が非操作領域２６〜２９の機器に誤って触れて、設備または装置２０の機器および／またはそれに関連するバスやネットワーク等に障害を発生させる可能性がある。

発明者は、操作領域２４およびマーキング３０をカメラで撮像し、撮像された画像を画像認識技術で認識することによって作業者の身体の非操作領域２６〜２９への誤った侵入を判定することができる、と認識した。また、発明者は、その撮像された画像を画像認識技術で認識することによって作業者の操作領域２４の操作の適正さまたは不適切さを判定することができる、と認識した。発明者は、それによって、作業員の操作およびその監視を効率化することができる、と認識した。

図１において、複数のカメラ２０２、２０４、２０６、２０８および２１０が設備または装置２０に配置される。カメラ２０２〜２１０は、例えばウェブ・カメラのようなライブ・カメラであってもよい。カメラ２０２〜２０８は、設備または装置２０の正面側の操作領域２４の方向を向いて、操作領域２４と非操作領域２６〜２９の間を区画するマーキング３０を撮像するように操作領域２４に接近して分散配置される。それによって、作業者の非操作領域２６〜２９への誤った侵入を表す画像の捕捉が可能となり、または作業者の操作領域２４内での適正な操作の画像の捕捉が可能となる。別のカメラ２１０は、設備または装置２０における作業員の全体の操作を監視するために、操作領域２４付近の映像を広く撮影するように配置される。

カメラ２０２〜２１０は、有線通信または無線通信で、例えばパーソナル・コンピュータのような情報処理装置１００または２００に結合される。カメラ２０２〜２１０は、ケーブルを介し、さらにＵＳＢハブ１４６またはルータ若しくはハブ１４８を介して、情報処理装置１００に結合されてもよい。情報処理装置１００または２００は、さらに有線通信または無線通信で遠隔通信用のネットワークに接続されてもよい。情報処理装置１００、２００は、監視装置または監視用の端末であってもよい。

図２Ａは、情報処理装置１００の概略的な構成（configuration）の例を示している。
情報処理装置１００は、プロセッサ１１２、メモリ１１４、入出力インタフェース（Ｉ／Ｏ）１１６、内部バス、等を含む例えばパーソナル・コンピュータのようなコンピュータまたは装置であってもよい。プロセッサ１１２は、コンピュータ用のＣＰＵ（Central Processing Unit）であってもよい。プロセッサ１１２およびメモリ１１４は、入出力インタフェース１１６に結合されている。メモリ１１４には、例えば、主記憶装置および半導体メモリ等が含まれる。情報処理装置１００は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された、表示装置（ＤＳＰ）１２２、スピーカ（ＳＰＫ）１２４、入力部または入力装置１２６、記録媒体読み取り用のドライブ１２８、およびハードディスク・ドライブ（ＨＤＤ）１３０を含んでいる。入力部１２６は、例えばキーボード、マウスまたはタッチパッドのようなポインティング・デバイス、およびタッチパネルを含んでいてもよい。ドライブ１２８は、例えば光ディスクのような記録媒体１２９を読み取るために設けられている。情報処理装置１００は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された、ＵＳＢインタフェース（ＵＳＢ Ｉ／Ｆ）１４２、およびネットワーク・インタフェース（ＮＷ Ｉ／Ｆ）１４４を含んでいる。情報処理装置１００において、ＵＳＢインタフェース１４２および／またはネットワーク・インタフェース１４４は、少なくともカメラ２０２〜２１０からの画像信号を入力する入力部としても機能してもよい。

情報処理装置１００において、表示装置１２２、スピーカ１２４、入力部１２６およびドライブ１２８は、情報処理装置１００の外部にあって、外部要素として情報処理装置１００に結合されてもよい。

プロセッサ１１２は、操作監視機能を含む例えば集積回路として実装された専用のプロセッサであってもよい。また、プロセッサ１１２は、メモリ１１４および／またはハードディスク・ドライブ１３０に格納された操作監視機能を有するアプリケーション・プログラムに従って動作するものであってもよい。アプリケーション・プログラムは、記録媒体１２９に格納されていて、ドライブ１２８によって記録媒体１２９から読み出されて情報処理装置１００にインストールされてもよい。

カメラ２０２〜２１０は、ＵＳＢケーブルによって、ＵＳＢインタフェース１４２および任意にＵＳＢハブ１４６を介して情報処理装置１００に結合される。情報処理装置１００は、ネットワーク・インタフェース１４４を介し、さらに外部ネットワーク５を介して、監視センタに設置された監視センタ装置３００に接続されてもよい。監視センタ装置３００は、例えばパーソナル・コンピュータのようなコンピュータであってもよく、監視員の操作に従って、情報処理装置１００からカメラ２１０および任意にカメラ２０２〜２０８によって捕捉された画像情報を受信して、その画像を表示装置に表示してもよい。

図２Ｂは、情報処理装置１００のプロセッサ１１２の概略的な構成（configuration）の例を示している。
プロセッサ１１２は、例えば、制御部１１２０、設定部１１２２、画像生成部１１２４、領域決定部１１２６、動体検出部１１２８、動体静止判定部１１３０、状態判定部１１３２、信号発生部１１３４、およびその他の処理部１１３６を含んでいてもよい。処理部１１３６には例えば通信処理部が含まれていてもよい。制御部１１２０は、設定部１１２２、画像生成部１１２４、領域決定部１１２６、動体検出部１１２８、動体静止判定部１１３０、状態判定部１１３２、信号発生部１１３４および処理部１１３６に制御信号を供給して、これらの要素の動作を制御してもよい。

図３は、別の情報処理装置１０２の概略的な構成（configuration）の例を示している。図３において、情報処理装置１０２は、図２Ａの情報処理装置１００の要素１１２〜１４４を含んでいる。情報処理装置１０２のプロセッサ１１２は、図２Ｂに例示された情報処理装置１００のプロセッサ１１２と同様の構成（configuration）を含んでいてもよい。

図３において、情報処理装置１０２は、ネットワーク・インタフェース１４４およびルータまたはハブ１４８を介してカメラ２０２〜２１０に結合される。情報処理装置１０２のその他の構成は、図２Ａの情報処理装置１００のものと同様である。ネットワーク・インタフェース１４４およびルータまたはハブ１４８は、有線通信または無線通信用であってもよい。

図４は、カメラ２０２〜２０８の１つによって撮影された画像４００、および操作監視機能用のソフト・キー４１２、４１４、４１６、４１８、４２０、４２２および４２８を含む、表示装置１２２上の画面の例を示している。画像４００は、操作領域２４を囲むマーキング３０の物体の映像と、その隣接の非操作領域２６〜２９の各部分の映像とを含んでいる。マーキング３０は、例えば天井の照明器具からの光を反射して、１つ以上の白く光る部分３２を含むことがある。

ソフト・キー４１２は、情報処理装置１００または１０２の操作監視機能を初期化するコマンドを入力するためのものである。ソフト・キー４１４は、操作監視機能の手動設定モードを設定するコマンドを入力するためのものである。ソフト・キー４１６は、マーキング３０によって区画される非操作領域２６〜２９と、それ以外の操作領域２４を含む領域とを表示するための領域確認用のコマンドを入力するためのものである。ソフト・キー４１８は、操作監視機能の通常の操作監視モードを開始するためのコマンドを入力するためのものである。ソフト・キー４２０は、操作監視機能における作業員の正常操作を確認するための正常操作確認モードを設定するコマンドを入力するためのものである。複数のソフト・キー４２２は、表示装置１２２に表示される画像４００を撮影する監視用のカメラ２０２〜２１０の１つを選択するコマンドを入力するためのものである。

作業員は、図１に示すような形態で設備２０にマーキング３０を設けた後、設備２０の操作領域２４の周りにカメラ２０２〜２１０を取り付けて、カメラ２０２〜２１０を通信ケーブルで情報処理装置１００または１０２に結合させる。作業員は、必要に応じて、情報処理装置１００または１０２を外部ネットワーク５に接続してもよい。次いで、作業員は、情報処理装置１００または１０２上で操作監視機能または操作監視用のアプリケーションを起動する。作業員は、操作監視機能の初期化の前または初期化処理中に操作監視機能の設定の調整を行ってもよい。作業員は、カメラ２０２〜２０８を選択し、表示装置１２２の画像４００で確認しながら、カメラ２０２〜２０８の配置および角度を調整することによって、マーキング３０に対するカメラ２０２〜２０８の視野を調整する。作業員は、画像４００を回転または反転させるなどして、画像４００の操作領域２４および非操作領域２６〜２９を調整、変更または編集してもよい。

プロセッサ１１２（またはその操作監視機能）は、初期化処理をカメラ２０２〜２０８の各々に対して順次行う。初期化処理において、プロセッサ１１２は、マーキング３０の或る端縁を認識して、その端縁より或る方向に位置する領域を非操作領域２６〜２９と決定する。その或る方向に位置する領域は、例えば、カメラ２０２〜２０８に近い側にあるマーキング３０の端縁３４、３５より下、左下、右下上、右または左の領域であってもよい。カメラ２０２〜２０８の各画像４００について各カメラに近い側にあるマーキング３０の端縁３４、３５を選択しそれを境界として非操作領域２６〜２９とそれ以外の領域を決定することによって、非操作領域２６〜２９の決定と、非操作領域２６〜２９における操作の監視とを単純化できる。ここでは、例示のために、その或る方向に位置する領域は、マーキング３０の下側の端縁３４、３５より下の領域と仮定する。また、プロセッサ１１２は、マーキング３０を認識して、マーキング３０の端縁よりその或る方向とは反対の方向に位置する領域を、操作領域２４を含む領域と決定してもよい。ここでは、その反対の方向に位置する領域は、マーキング３０の下側の端縁３４、３５より上の領域と仮定する。代替形態として、プロセッサ１１２は、カメラ２０２〜２０８に２番目に近い側にあるマーキング３０の端縁３８、３９をも選択し、破線で示されたその端縁３４、３５と端縁３８、３９の間にある線３３を境界として非操作領域２６〜２９とそれ以外の領域を決定してもよい。代替形態として、プロセッサ１１２は、マーキング３０の外側の端縁３４〜３７によって囲まれた領域を操作領域２４と決定してもよい。

プロセッサ１１２は、決定された端縁または２つ端縁の交点Ｉが、画像４００の中心点Ｃの或る半径距離の範囲にない場合、画像４００を撮影したカメラ２０２〜２０８の配置および角度を調整するよう指示してもよい。その指示は、スピーカ１２４および／または表示装置１２２によって音響的および／または視覚的に行われる。決定された端縁または２つ端縁の交点または角Ｉを画像４００の中心点Ｃ付近に配置することによって、操作監視機能による非操作領域２６〜２９における操作の誤りの画像認識の精度が高くなる。

図５は、情報処理装置１００または１０２のプロセッサ１１２（またはその画像生成部１１２４）によって実行される、カメラ２０２〜２０８の１つによって撮影された連続する複数の画像Ｃの平均の画像Ａを生成するためのフローチャートの例を示している。この平均の画像Ａの生成は、操作監視機能の初期化処理においてまたは作業員の操作に従ってその動作中に、カメラ２０２〜２０８の各々によって撮影された複数の画像Ｃに対して行われてもよい。プロセッサ１１２または操作監視機能（以下、単にプロセッサともいう）は、カメラ２０２〜２０８の１つによって撮影された最新の画像Ｃを捕捉しメモリ１１４に格納する。

ステップ５００において、プロセッサ１１２は、メモリ１１４における平均の画像Ａのピクセルの値を初期化する。初期化されたピクセルの値は、全て０（ゼロ）のレベルまたは階調である。

ステップ５０２において、プロセッサ１１２は、平均の画像Ａの生成に使用した最新の画像Ｃの合計数ｎが所要数Ｎ（例えば、Ｎ＝１０または１６）に達したかどうかを判定する。ステップ５０２において、画像Ｃの数ｎが所要数Ｎに等しいと判定された場合は、手順はステップ５１２に進む。画像Ｃの数ｎが所要数Ｎに等しくないまたは所要数Ｎ未満であると判定された場合は、ステップ５０４において、プロセッサ１１２は、カメラ２０２〜２０８の中の選択された１つから最新の画像Ｃを取得してメモリ１１４に格納する。

ステップ５０６において、プロセッサ１１２は、画像Ｃの１フィールドまたは１フレーム分のピクセル値（レベル）に係数１／Ｎを乗算して、平均の画像Ａの対応するフィールドまたはフレームのピクセル値に加算する。ステップ５０８において、プロセッサ１１２は、平均の画像Ａに累積的に加算した画像Ｃの数ｎに１を加算する（ｎ＝ｎ＋１）。

ステップ５１０において、プロセッサ１１２は、例えば１００ｍｓのような或る時間遅延を生じさせる。その後、手順はステップ５０２に戻る。ステップ５０２〜５１０は、連続するＮ個の最新の画像Ｃの平均の画像Ａが決定されるまで繰り返される。平均の画像Ａを用いることによって、画像Ａにおけるノイズが低減または除去できる。

ステップ５１２において、プロセッサ１１２は、その決定された平均の画像Ａを表す１フィールドまたは１フレーム分のピクセル値をメモリ１１４に格納する。

図５の平均の画像Ａの生成は、例えば１時間毎に定期的に行ってもよい。それによって、周囲の明るさの条件の変化した場合に、新しい平均の画像Ａを生成することができる。作業員の操作中に画像Ａを更新する場合、プロセッサ１１２は、ステップ５０４において、最初の画像Ａと最新の画像Ｃを比較して画像認識して、その画像Ｃにおける動体映像を除く背景部分（領域）に、画像Ａにおけるその動体映像の対応位置にある背景部分（領域）を合成して画像Ｃとしてもよい。

図６は、表示装置１２２の画像４０２を表すデータを格納したメモリ１１４上の領域において、マーキング３０を認識して非操作領域２６〜２９を決定するための手順の例を説明するためのものである。この場合、画像４０２は平均の画像Ａを表している。

図６において、１組の点ｐ１〜ｐ１３は、画像４０２の左半分の領域においてマーキング３０の下側の端縁３４を求めて探索する可能な開始点を示している。１組の点ｑ１〜ｑ１３は、画像４０２の右半分の領域においてマーキング３０の下側の端縁３５を求めて探索する可能な開始点を示している。１組の点ｐ１〜ｐ１３と１組の点ｑ１〜ｑ１３は、中央の垂直線に関して左右の鏡面対称の関係にあってもよい。
画像４０２の枠の左下の隅を原点とし、枠の横と縦の長さを基準（１）とすると、枠内の１組の点ｐ１〜ｐ１３の座標の位置は、例えば、次の通りである。
点ｐ１＝（４／１６，１／５）、
点ｐ２＝（５／１６，１／５）、
点ｐ３＝（６／１６，１／５）、
点ｐ４＝（７／１６，１／５）、
点ｐ５＝（８／１６，１／５）、
点ｐ６＝（４／１６，１／４）、
点ｐ７＝（５／１６，１／４）、
点ｐ８＝（６／１６，１／４）、
点ｐ９＝（７／１６，１／４）、
点ｐ１０＝（８／１６，１／４）、
点ｐ１１＝（１／６，１／４）、
点ｐ１２＝（１／６＋１／１６，１／４）、
点ｐ１３＝（１／６＋２／１６，１／４）。
ここで、一連の点ｐ１〜ｐ５は水平方向に互いに１／１６だけ離れている。一連の点ｐ６〜ｐ１３も水平方向に互いに１／１６だけ離れている。一連の点ｐ１１〜ｐ１３も水平方向に互いに１／１６だけ離れている。１組の点ｑ１〜ｑ１３について、画像４０２の枠の右下の隅を原点として、１組の点ｐ１〜ｐ１３と対称の位置にある。

プロセッサ１１２または領域決定部１１２６は、矢印で示されているように、点ｐ１〜ｐ１３の１つを開始点とする垂直方向の直線に沿って上向きに画像４０２の枠の上辺に向かって各ピクセルの色（色相および階調）を検査して、マーキング３０の下側の端縁３４を求めて探索する。プロセッサ１１２（領域決定部１１２６）は、最初の点（例えば、ｐ１、ｐ２）から探索を開始してもマーキング３０の下側の端縁３４を識別または検出できない場合には、次の点（例えば、ｐ２、ｐ３）から探索を再度開始してマーキング３０の下側の端縁３４の識別を試みる。それによって、１組の点ｐ１〜ｐ１３のいずれかについてマーキング３０の下側の或る長さ（例えば、３０ピクセル長）の端縁３０２が識別される。

その後、同様に、プロセッサ１１２（領域決定部１１２６）は、点ｑ１〜ｑ１３の１つを開始点とする垂直方向の直線に沿って上向きに画像４０２の枠の上辺に向かって各ピクセルの色（色相および階調）を検査してマーキング３０の下側の端縁３５を求めて探索する。それによって、１組の点ｑ１〜ｑ１３のいずれかについてマーキング３０の下側の或る長さの端縁３０６が識別される。端縁３０２および３０６は、直線状であると仮定してもよい。

プロセッサ１１２（領域決定部１１２６）は、さらに、メモリ１１４上の領域において、マーキング３０の下側の端縁３０２、３０６の線分を延長して、マーキング３０の下側の延長された端縁または境界線３０４、３０８をそれぞれ決定する。境界線３０４、３０８は、端縁３０２、３０６の線分を直線的に延長したものであってもよい。この場合、プロセッサ１１２（領域決定部１１２６）は、図７において暗い陰影が施された端縁３０４、３０８の下側の領域を非操作領域２６〜２９と決定し、非操作領域２６〜２９を表す画像Ｄのピクセル位置を表すデータをメモリ１１４上の領域に格納する。画像Ｄは１フィールドまたはフレームのデータであってもよい。

図７は、表示装置１２２の画像４０２におけるマーキング３０の下側の非操作領域２６〜２９を表す画像Ｄの映像４０４の例を示している。

初期化処理において、プロセッサ１１２（領域決定部１１２６）は、カメラ２０２〜２０８の各々に対して、非操作領域２６〜２９が決定されたときに、作業員による確認のために画像４０４を表示してもよい。画像４０４は、カメラ画像４０４の次の１つを選択するソフト・キー４２２がクリックされまで、または或る時間期間だけ表示されてもよい。また、作業員は、表示装置１２２の画面において領域確認用のソフト・キー４１６をクリックすることによって、暗い陰影で表される下側の非操作領域２６〜２９を確認してもよい。

初期化処理において、非操作領域２６〜２９の端縁３０４および３０８が適切に決定できないこと、または端縁３０４および３０８の決定に失敗することがあり得る。そのような場合、作業員は、手動設定用のソフト・キー４１４をクリックして手動設定モードを設定してもよい。この場合、作業員は、入力部１２６の例えばポインティング・デバイスで端縁３０４および３０８を表す直線を入力して、下側の非操作領域２６〜２９を決定することができる。プロセッサ１１２（画像生成部１１２４）は、その非操作領域２６〜２９を表す画像Ｄをメモリ１１４上の領域に格納する。初期化処理において、作業員は、画像４０２におけるマーキング３０の映像中の１つ以上のピクセルを、例えばポインティング・デバイスで指定して、マーキング３０の色（色相および階調）を設定してもよい。代替形態として、作業員は、或る色パレットの中からマーキング３０の色として使用する色（色相および階調）を選択してもよい。それによって、プロセッサ１１２（設定部１１２２）は、メモリ１１４上の領域にマーキング３０の特定の色を表すデータを格納することができる。このような非操作領域２６〜２９の決定は、プロセッサ１１２の領域決定部１１２６または操作監視用のアプリケーション・プログラムの一部で実現される。

図８Ａおよび８Ｂは、情報処理装置１００または１０２のプロセッサ１１２によって実行される、メモリ１１４上の表示メモリ領域上で画像４０２のマーキング３０を識別して非操作領域２６〜２９を決定するためのフローチャートの例を示している。この非操作領域２６〜２９の決定は、プロセッサ１１２の領域決定部１１２６または操作監視用のアプリケーション・プログラムの一部で実行される。非操作領域２６〜２９の決定は、操作監視機能の初期化処理において、図５のフローチャートによる平均の画像Ａの生成の後で、カメラ２０２〜２０８の各々によって撮影された最新の画像Ｃに対して行われる。

図８Ａを参照すると、ステップ５２２において、プロセッサ１１２は、メモリ１１４から平均の画像Ａまたは最新の画像Ｃを表すデータと、左側の探索開始点ｐ１〜１３の中の最初の点ｐ１または次の点ｐ２〜ｐ１３を表すデータとを読み込む。ステップ５２４において、プロセッサ１１２は、画像ＡまたはＣ上でマーキング３０の境界を求めて上方向に探索する。そのために、プロセッサ１１２は、画像ＡまたはＣのピクセルを、探索開始点ｐ１〜ｐ１３からピクセル単位で上向きに順次移動して、マーキング３０の特定の色（色相および階調）を表すピクセル値を求めて探索する。

ステップ５２６において、プロセッサ１１２は、マーキング３０の色（色相および階調）の境界を検出したかどうかを判定する。ステップ５２６において境界が検出されなかったと判定された場合は、手順はステップ５２２に戻る。

ステップ５２６において境界が検出されたと判定された場合は、ステップ５２８において、プロセッサ１１２は、マーキング３０の色を有する最初および次の各ピクセルの隣接位置にある左、上、左上および左下の複数のピクセルの色（色相および階調）を検査する。マーキング３０のピクセルの色は、許容誤差の範囲内のものであれば、マーキング３０のピクセルと判定してよい。プロセッサ１１２は、その検査を複数の隣接ピクセルに対して繰り返し実行することによって、マーキング３０の下側端縁３０２に沿ってその境界線を上向きおよび左方向にトレースし検出する。

ステップ５３０において、プロセッサ１１２は、トレースの距離が或る閾値の距離（例えば、３０ピクセル長）を超えたかどうかを判定する。ステップ５３０においてトレースの距離が閾値の距離を超えなかったと判定された場合は、手順はステップ５２２に戻る。

ステップ５３０においてトレースの距離が閾値の距離を超えたと判定された場合は、ステップ５３２において、プロセッサ１１２は、下側端縁３０２を延長し、その延長線を現在の境界線３０４として決定してメモリ１１４に格納する。その後、手順は図８Ｂのステップ５４２に進む。

図８Ｂを参照すると、ステップ５４２において、プロセッサ１１２は、メモリ１１４から右側の探索開始点ｑ１〜ｑ１３の中の最初の点ｑ１または次の点ｑ２〜ｑ１３を表すデータを読み込む。ステップ５４４において、プロセッサ１１２は、ステップ５２２におけるのと同様に、画像ＡまたはＣ上でマーキング３０の境界を求めて上方向に探索する。

ステップ５４６において、プロセッサ１１２は、マーキング３０の色の境界を検出したかどうかを判定する。ステップ５４６において境界が検出されなかったと判定された場合は、手順はステップ５４２に戻る。

ステップ５４６において境界が検出されたと判定された場合は、ステップ５４８において、プロセッサ１１２は、ステップ５２６と同様に、マーキング３０の色を有する最初および次の各ピクセルの隣接位置にある右、上、右上および右下の複数のピクセルの色を検査する。プロセッサ１１２は、その検査を複数の隣接ピクセルに対して繰り返し実行することによって、マーキング３０の下側端縁３０６に沿ってその境界線を上向きおよび右方向にトレースし検出する。

ステップ５５０において、プロセッサ１１２は、トレースの距離が或る閾値距離を超えたかどうかを判定する。ステップ５５０においてトレースの距離が閾値距離を超えなかったと判定された場合は、手順はステップ５４２に戻る。

ステップ５５０においてトレースの距離が閾値の距離を超えたと判定された場合は、ステップ５５２において、プロセッサ１１２は、下側端縁３０６を延長し、その延長線を現在の境界線３０８として決定してメモリ１１４に格納する。

ステップ５５４において、プロセッサ１１２は、境界線３０４および３０８の下側の非操作領域（２６〜２９）を操作禁止領域２６〜２９と決定する。プロセッサ１１２は、図７の境界線３０４、３０８と非操作領域または操作禁止領域２６〜２９とを表す画像Ｄのデータをメモリ１１４に格納する。

プロセッサ１１２は、ステップ５２２において、さらに、許容誤差の範囲でマーキング３０の色（例えば、緑）を有するピクセルに囲まれたまたは挟まれた白く光る部分３２のピクセルの色をマーキング３０の色に置換してもよい。それによって、下側端縁３０２、３０６の検出が容易になる。

代替形態としてまたはそれに加えて、ステップ５２８および５４８の境界線のトレースにおいて、一般化ハフ変換を用いて、複数の短い境界線の間にある空白を補間して長い境界線を推定してもよい。一般化ハフ変換は、始点からの距離と角度のみに基づいて直線を抽出する通常のハフ変換とは異なり、始点と終点を有する線分を抽出することができる。マーキング３０の下側端縁３０２、３０６の座標を一般化ハフ変換することによって、可能性ある短い複数の線分を下側端縁３０２、３０６として抽出できる。そのような抽出された複数の線分の中で最も長いものが下側端縁３０２、３０６として選択されてもよい。代替形態として、そのような抽出された複数の線分の最も長い３乃至６本の線分の中でほぼ同一直線上にあるものが、下側端縁３０２、３０６として選択されてもよい。この場合、暫定的に選択した線分を延長して直線を生成して、その直線と複数の線分の交点が複数の線分に距離的に近い直線が、下側端縁３０２、３０６として選択されてもよい。あるいは、暫定的に選択した線分を延長して直線を生成して、複数の線分との間の角度差が小さいそのような直線が下側端縁３０２、３０６として選択されてもよい。それによって、下側端縁３０２、３０６の検出が容易になる。一般化ハフ変換の技術は、例えば、Ｄｕｄａ他“Use of the Hugh Transformation To Detect Lines and Curves in Pictures”, Graphics Image Processing, Communication of the ACM, Issue 1, November 1970, revised January 1971に記載されている。

図９Ａは、カメラ２０２〜２０８の１つによって撮影されて生成された平均の画像Ａまたは最新の画像Ｃにおいて、画像Ｄの操作領域２４内に留まる動体映像４０と、画像Ｄの非操作領域２６〜２９に侵入した動体映像４２、４４とを含む画像４０６の例を示している。動体映像４０、４２、４４の動体は、例えば作業員の身体の一部、手または指、または装着した手袋、等であってもよい。

図９Ａを参照すると、プロセッサ１１２（状態判定部１１３２）は、動体映像４０全体が境界線３０４および３０８より上または奥にあると判定した場合、その動体が操作領域２４内に留り、即ち非操作領域２６〜２９に侵入していない、と判定する。

プロセッサ１１２（状態判定部１１３２）は、動体映像４２、４４の一部が非操作領域２６〜２９中に位置すると判定した場合、さらに動体映像４２が境界線３０４、３０８を横切って通っているか、即ち境界線３０４、３０８を分断している（貫通）かまたは境界線３０４、３０８で分断されているかを判定する。

動体映像４２が境界線３０４、３０８を横切って通って非操作領域２６〜２９中に達していると判定した場合、プロセッサ１１２（状態判定部１１３２）は、３次元的に見て動体が非操作領域２６〜２９に侵入した、と判定する。一方、動体映像４４が境界線３０４、３０８で分断されまたは境界線３０４、３０８を横切らずに非操作領域２６〜２９中に孤立して位置していると判定した場合、３次元的に見て動体が操作領域２４内に留り、即ち非操作領域２６〜２９に侵入していない、と判定する。動体映像４４では、３次元的に見て、動体が操作領域２４内の奥に深く侵入しているだけで、操作領域２４内に留り、非操作領域２６〜２９に侵入していない、と考えられる。

図１０Ａおよび１０Ｂは、プロセッサ１１２によって実行される、各カメラ２０２〜２０８によって撮影され生成された画像ＡまたはＣにおいて動体映像４０、４２、４４が非操作領域２６〜２９に侵入したかどうかを判定するためのフローチャートの例を示している。この判定を行う操作監視は、図９Ａの表示装置１２２の画面において、ソフト・キー４１８をクリックすることによって、通常の操作監視モードにおいて実行される。

図１０Ａを参照すると、ステップ７０２において、プロセッサ１１２（状態判定部１１３２）は、カメラ２０２〜２０８の各々に関して操作禁止領域を表す画像Ｄのデータをメモリ１１４から読み込む。ステップ７０４において、プロセッサ１１２（状態判定部１１３２）は、カメラ２０２〜２０８の各々に関する平均の画像Ａのデータをメモリ１１４から取得する。画像Ａは、設備２０の周囲の明るさの変化を反映するために新しい画像であることが好ましい。ステップ７０６において、プロセッサ１１２（状態判定部１１３２）は、カメラ２０２〜２０８の各々について最新の画像Ｃのデータをメモリ１１４から取得する。画像Ａは、最新の画像Ｃにおける動体画像Ｍの背景画像に対応する。

ステップ７０８において、プロセッサ１１２（動体検出部１１２８）は、カメラ２０２〜２０８の各々について、最新の画像Ｃのデータを平均の画像Ａのデータと比較して、最新の画像Ｃにおける平均の画像Ａのデータと相違する部分の位置のピクセルを抽出する。プロセッサ１１２（動体検出部１１２８）は、その相違する部分がランダムなノイズでなく或る閾値の面積（例えば、１００ピクセル）を超える１つの領域として存在すれば、その抽出されたピクセルを動体映像４０、４２、４４として含む動体画像Ｍのデータを生成する。動体画像Ｍは、動体映像４０、４２、４４の領域以外のピクセル値が０（ゼロ）であるような１フィールドまたはフレームのデータである。

ステップ８４８において、プロセッサ１１２（状態判定部１１３２）は、有効な動体画像Ｍのデータが存在するかどうかを判定する。有効な動体画像Ｍのデータが存在しないと判定された場合は、手順はステップ７０６に戻る。

ステップ８４８において有効な動体画像Ｍのデータが存在すると判定された場合は、プロセッサ１１２（状態判定部１１３２）は、ステップ８５０において、動体画像Ｍのデータを、操作禁止領域を表す画像Ｄのデータと比較する。

図１０Ｂを参照すると、ステップ８５２において、プロセッサ１１２（状態判定部１１３２）は、カメラ２０２〜２０８の１つ以上の動体画像Ｍの各々について、対応する画像Ｄの操作禁止領域２６〜２９に動体映像４０〜４４が存在するかどうかを判定する。いずれの画像Ｄの操作禁止領域２６〜２９にも動体映像４０が存在しないと判定された場合、手順は図１０Ａのステップ７０６に戻る。

ステップ８５２においていずれかの画像Ｄの操作禁止領域２６〜２９に動体映像４２、４４が存在すると判定された場合、手順はステップ８５４に進む。ステップ８５４において、プロセッサ１１２（状態判定部１１３２）は、動体映像４２、４４とマーキング３０の映像または境界線３０４、３０８との重なりまたは連続性の関係（幾何学的関係）を認識する。

図９Ｂは、図９Ａの画像４０６の一部を拡大した図であり、ステップ８５４において、動体映像４２または４４がマーキング３０の映像または境界線３０４、３０８を貫通して連続しているかどうかを認識する方法の例を示している。

図９Ｂにおいて、プロセッサ１１２（状態判定部１１３２）は、動体映像４２または４４を通過するまたは動体映像４２または４４と接する境界線３０４または３０８の線分を求め、その線分の中点ｆｃを求める。次いで、プロセッサ１１２（状態判定部１１３２）は、動体映像４２または４４において、中点ｆｃを通る直線上にある、境界線３０４、３０８より下にある動体映像４２または４４上の点ｆｄと、マーキング３０上の点ｆｕとを選択する。点ｆｄは、中点ｆｃから例えば下、左下または右下の位置にあり、中点ｆｃから或る数のピクセル分の距離（例えば、４ピクセル分）だけ離れている。点ｆｕは、中点ｆｃから例えば上、右上または左上の位置にあり、中点ｆｃから或る数のピクセル分の距離（例えば、４ピクセル分）だけ離れている。

プロセッサ１１２（状態判定部１１３２）は、点ｆｄと中点ｆｃの間にあるピクセルの色（色相および階調）と、中点ｆｃと点ｆｕの間にあるピクセルの色を判定する。点ｆｄと中点ｆｃの間にあるピクセル色が許容誤差の範囲で中点ｆｃと点ｆｕの間にあるピクセルの色と等しい場合、プロセッサ１１２（状態判定部１１３２）は、動体映像４２がマーキング３０を貫通していると判定する。この判定は、さらに、中点ｆｃと点ｆｕの間にあるピクセルの色がマーキング３０の色でないことを追加的条件として行ってもよい。点ｆｄと中点ｆｃの間にあるピクセル色が、許容誤差の範囲を超えて中点ｆｃと点ｆｕの間にあるピクセルの色と異なる場合、プロセッサ１１２（状態判定部１１３２）は、動体映像４４がマーキング３０を貫通していないと判定する。この判定は、さらに、中点ｆｃと点ｆｕの間にあるピクセルの色が、許容誤差の範囲内でマーキング３０の色であることを追加的条件として行ってもよい。

図１０Ｂを再び参照すると、ステップ８５６において、プロセッサ１１２（状態判定部１１３２）は、操作禁止領域２６〜２９に存在する動体映像４０〜４４がマーキング３０の映像または境界線３０４、３０８を貫通しているか（横切って伸びているか）どうかを判定する。いずれの動体画像Ｍについても動体映像４０、４４がマーキング３０の映像または境界線３０４、３０８を貫通しておらず、または境界線３０４、３０８で分断されていると判定された場合には、手順は図１０Ａのステップ７０６に戻る。

ステップ８５６においていずれかの動体画像Ｍについて動体映像４２がマーキング３０の映像または境界線３０４、３０８を貫通していると判定された場合、プロセッサ１１２（信号発生部１１３４）は、ステップ８５８において警告を表す信号を発生する。従って、カメラ２０２〜２０８で捕捉され生成されたいずれかの画像Ｃについて操作禁止領域に動体が侵入して論理和（ＯＲ）の形態で非操作領域２６〜２９への侵入の条件が成立した場合に、警告を表す信号が発生される。

プロセッサ１１２（信号発生部１１３４）は、警告を表す信号をスピーカ１２４に供給してスピーカ１２４に或る時間の長さ（例えば、２秒）だけ例えばブザー音のような警告音を発生させてもよい。代替的にまたは追加的に、プロセッサ１１２（信号発生部１１３４）は、警告を表すメッセージを表示装置１２２に表示してもよい。それによって、作業員は、操作禁止領域２６〜２９における誤った動体の侵入を確認または認識することができる。その警告を表す信号またはメッセージは、プロセッサ１１２（制御部１１２０、処理部１１３６）によって監視センタ装置３００に送信されてもよい。それによって、作業員の誤操作を監視センタ装置３００で監視することができる。その後、手順は、図１０Ａのステップ７０６に戻る。

ステップ８５８において警告を表す信号を発生する代わりに、またはそれに加えて、ステップ８５７において、プロセッサ１１２（信号発生部１１３４）は、正常操作であることを表す信号を発生してもよい。即ち、ステップ８５７は、ステップ８５２において動体映像４０は存在するがいずれの画像Ｄの操作禁止領域２６〜２９にも存在しないと判定された場合に、実行される。また、ステップ８５７は、ステップ８５６においていずれかの動体画像Ｍについて動体映像４４が存在するがマーキング３０の映像または境界線３０４、３０８を貫通するものはなく、または境界線３０４、３０８で分断されていると判定された場合に、実行される。一方、ステップ８５８が実行されない場合、ステップ８５６においていずれかの動体画像Ｍについて動体映像４２がマーキング３０の映像または境界線３０４、３０８を貫通していると判定された場合には、手順は図１０Ａのステップ７０６に戻る。

プロセッサ１１２（信号発生部１１３４）は、正常操作を表す信号を発生し、スピーカ１２４に音信号を供給して或る時間の長さ（例えば、１秒）だけ例えばチャイム音のような音を発生させてもよい。代替的にまたは追加的に、プロセッサ１１２（信号発生部１１３４）は、正常操作を表すメッセージを表示装置１２２に表示してもよい。それによって、作業員は、操作領域２４における適正な操作を確認または認識することができる。その正常操作を表す信号またはメッセージは、プロセッサ１１２（制御部１１２０、処理部１１３６）によって監視センタ装置３００に送信されてもよい。それによって、作業員の誤操作を監視センタ装置３００で監視することができる。その後、手順は、図１０Ａのステップ７０６に戻る。

一方、作業員は、設備または装置２０において、操作領域２４が分かりにくい場合、例えば操作領域２４が複数分散してある場合または非常に高い位置にある場合に、実際の操作前に、操作しようとする部分の位置が適切な操作領域２４内にあるかどうかを予め確認したいことがある。そのような場合、初期化処理の後、作業員は、ソフト・キー４１８をクリックして、操作監視機能を正常操作確認モードに設定する。プロセッサ１１２（信号発生部１１３４）は、正常操作確認モードで、動体映像４０、４４が３次元的に操作領域２４内で或る時間だけ静止した場合に、上述したような正常操作を表す信号を発生してもよい。また、プロセッサ１１２（信号発生部１１３４）は、正常操作確認モードで、動体映像４２が３次元的に非操作領域２６〜２９で或る時間だけ静止した場合に、上述したような警告を表す信号を発生させてもよい。

図１１Ａ〜１１Ｃは、プロセッサ１１２によって実行される、正常操作確認モードにおいて動体映像４２〜４４が正常に操作領域２４内にあるかどうかを確認するためのフローチャートの例を示している。この場合、画像Ａと連続する複数Ｎ個の画像Ｃとを合成した合成画像Ｂを用いて、動体画像４２〜４４が判定される。そのＮの値は、図５のＮと異なる値であってもよい。

図１１Ａを参照すると、ステップ７０２〜７０６は図１０のものと同様である。この場合、ステップ７０６において、プロセッサ１１２（状態判定部１１３２）は、カメラ２０２〜２０８の各々について１つまたは連続する複数の最新の画像Ｃのデータをメモリ１１４から取得してもよい。複数の画像Ｃの数ｎは、２個〜所定の数Ｎ（例えば、Ｎ＝１０または１６）の範囲の数であってもよい。連続する複数の画像Ｃのデータは、或る時間間隔、例えば１００ｍｓ間隔のものであってもよい。

ステップ８０８において、プロセッサ１１２（画像生成部１１２４）は、カメラ２０２〜２０８の各々について最新の各画像Ｃのデータを平均の画像Ａのデータと比較して、最新の各画像Ｃにおける平均の画像Ａのデータと許容誤差の範囲を超えて相違する部分の位置のピクセルを抽出する。プロセッサ１１２（画像生成部１１２４）は、その相違する部分がランダムなノイズでなく或る閾値の面積を超える１つの領域として存在すれば、その抽出されたピクセルを動体映像４０、４２、４４として含む動体画像Ｍのデータを生成する。

プロセッサ１１２（状態判定部１１３２）は、さらに、画像Ｄに基づいてまたは画像Ａ、ＣおよびＤに基づいて、動体画像Ｍが、操作禁止領域２６〜２９には存在せず境界線３０４、３０８より上にだけある動体映像４０を含んでいる場合に、それを動体画像Ｍ’として決定してもよい。動体画像Ｍ’は、後で説明する図１１Ａ〜１１Ｃの代替形態において動体画像Ｍの代わりに使用される。

図１１Ｂを参照すると、ステップ８２０において、プロセッサ１１２（状態判定部１１３２）は、動体画像Ｍが存在するかどうかを判定する。ステップ８２０において動体画像Ｍが存在しないと判定された場合は、プロセッサ１１２（状態判定部１１３２）は、ステップ８２２において、メモリ１１４のフラグ記憶領域に正常操作を通知するためのフラグが設定されまたはオン状態にあるかどうかを判定する。フラグが設定されていないと判定された場合、手順は図１１Ａのステップ７０６に戻る。

ステップ８２２においてフラグが設定されていると判定された場合、プロセッサ１１２（状態判定部１１３２）は、ステップ８２４において、現在の或る合成された画像Ｂを破棄し、正常操作通知用のフラグを解除しまたはオフ状態にする。ここで、合成された画像Ｂは、背景としての平均の画像Ａに、最新の各画像Ｃ中の各動体画像Ｍを或る重み付けで累積的に加算して生成された画像である。画像Ｂは後で説明する形態で生成される。その後、手順はステップ７０６に戻る。

ステップ８２０において動体画像Ｍが存在すると判定された場合、プロセッサ１１２（状態判定部１１３２）は、ステップ８２６において、フラグが解除されまたはオフ状態にあるかどうかを判定する。フラグが解除されていないまたはオン状態にあると判定された場合、手順はステップ７０６に戻る。それによって、正常操作を表す信号の生成を表すフラグが設定状態にある期間に、正常操作を表す信号が重複してまたは冗長に生成されるのを抑止することができる。

ステップ８２６においてフラグが解除されているまたはオフ状態にあると判定された場合、プロセッサ１１２（状態判定部１１３２）は、ステップ８２８において、合成された画像Ｂが存在するかどうかを判定する。合成された画像Ｂが存在しないと判定された場合、プロセッサ１１２（画像生成部１１２４）は、ステップ８３０において、メモリ１１４中の画像Ａをコピーして新しい初期の画像Ｂを生成してメモリ１１４に格納する。プロセッサ１１２（画像生成部１１２４）は、さらに、初期の画像Ｂに各動体画像Ｍを或る重み付けで加算することによって、動体画像Ｍで画像Ｂを更新してもよい。その後、手順はステップ７０６に戻る。

ステップ８２８において画像Ｂが存在すると判定された場合、プロセッサ１１２（画像生成部１１２４）は、ステップ８４０において、画像Ｂに動体画像Ｍを或る重み付けで加算することによって、動体画像Ｍで画像Ｂを更新する。次いで、プロセッサ１１２（状態判定部１１３２）は、最新の画像Ｃを合成された画像Ｂと比較する。

ステップ８４２において、プロセッサ１１２（動体静止判定部１１３０）は、画像Ｃが静止状態を表しているかどうかを判定する。そのために、例えば、プロセッサ１１２（動体静止判定部１１３０）は、画像Ｃのピクセル値（色相および階調）と画像Ｂの対応するピクセル値の間に誤差の許容範囲を超えて差異があるかどうかを判定してもよい。画像Ｃと画像Ｂの間に許容範囲を超えて差異があることは、動体映像Ｍが静止状態にないかまたは未だ動体映像Ｍの静止状態を決定できないことを表している。手のような動体が動いている場合には、連続的に取得された複数の画像Ｃが互いに異なるものとなり、画像（４１０）中の動体映像４０はぼけたものとなり、画像Ｂと画像Ｃは許容範囲内で一致しない。また、合成された画像Ｃの数が或る数Ｎ（例えば、Ｎ＝８または１０）に満たない場合、画像４１０中の動体映像４０は背景の画像Ａの対応位置の部分と混合されて半透明状態となり、合成された画像Ｂと最新の画像Ｃは一致しない。

ステップ８４２において画像Ｃが静止状態を表していないと判定された場合は、プロセッサ１１２（動体静止判定部１１３０）は、ステップ８４４において、合計Ｎ個の動体画像Ｍが初期の画像Ｂと合成されたかどうかを判定する。Ｎ個の動体画像Ｍが合成されていないと判定された場合は、手順はステップ７０６に戻る。ステップ８４４においてＮ個の動体画像Ｍが合成されたと判定された場合は、プロセッサ１１２（画像生成部１１２４）は、ステップ８４６において、現在の画像Ｂを破棄し、メモリ１１４中の画像Ａをコピーして初期の画像Ｂを再度生成してメモリ１１４に格納する。それによって、静止していない１つ以上の動体画像Ｍのぼけた動体映像４０を含む画像Ｂを使用しないようにする。プロセッサ１１２（画像生成部１１２４）は、さらに、初期の画像Ｂに１つの最新の動体画像Ｍを或る重み付けで加算することによって、最新の動体画像Ｍで画像Ｂを更新してもよい。その後、手順はステップ７０６に戻る。代替形態として、ステップ８４２において画像Ｃが静止状態を表していないと判定された場合、ステップ８４４、８４６を実行することなく、手順はステップ７０６に戻ってもよい。

ステップ８４２において画像Ｃが静止状態を表していると判定された場合、手順は、図１１Ｃのステップ８５０に進む。図１１Ｂのステップ８４２において、画像Ｃと画像Ｂの間に許容範囲を超えた差異がないことは、連続する或る数Ｎ個の画像Ｃの期間にわたって動体が実質的に静止していることを表している。

図１２Ａおよび１２Ｂは、合成された画像Ｂの更新の例を示している。
上述したように、初期の画像Ｂは画像Ａと同じである。プロセッサ１１２（画像生成部１１２４）は、連続的に取得された１つ以上の最新の画像Ｃから生成された各動体画像Ｍの動体映像４０〜４４の位置の対応するピクセル値に或る重み付けｗ_Fを乗じて、重み付けされた動体画像Ｍｗのピクセルを生成する。また、プロセッサ１１２（画像生成部１１２４）は、画像Ｂにおける動体画像Ｍの動体映像４０〜４４に対応する位置のピクセル値にだけ或る重み付けｗ_Bを乗じて、重み付けされた画像Ｂｗのピクセルを生成する。プロセッサ１１２（画像生成部１１２４）は、さらに、動体画像Ｍｗ中の動体映像４０〜４４のピクセル値を、これと対応する位置の画像Ｂｗのピクセル値に加算する。ここで、例えば、合成する画像Ｃの合計数×ｗ_F＋ｗ_B＝１である。その組合せは、例えば、或る数がＮ＝１６の場合、１つの画像Ｃに対して（ｗ_F＝１／５、ｗ_B＝４／５）である。例えば、１６個の動体画像Ｍで画像Ｂを順次更新すると、同じ動体画像Ｍと初期の画像Ｂの比率は、０．９７：０．０３になり、その動体画像Ｍが概ね平均化（加重平均化）される。画像Ｂの各１回の更新において、より少ない数（例えば、１つ）の動体画像Ｍで画像Ｂを更新すると、プロセッサ１１２の処理負荷を時間的に分散できより均一にできる。その合成によって、最初の幾つかの期間は、図１２Ａの画像４０８に示されているような、画像Ａまたは初期画像Ｂに近い薄い半透明の動体映像４０〜４４を含む画像Ｂが生成される。ステップ８４０において、より多くの最新の画像Ｃの動体画像Ｍで画像Ｂを更新することによって、図１２Ｂの画像４１０に示されているような、より濃い半透明の動体映像４０〜４４を含む画像Ｂが生成される。

画像Ａを初期の画像Ｂとして用いることによって、設備または装置２０において明るさが変化して画像Ｃの明るさが変化しても、画像Ｂの背景画像を画像Ａと同じにすることができる。それによって、画像Ｃと画像Ｂを比較する場合に、それらの背景部分の画像が同じになり、動体映像４０〜４４の比較が容易になる。

また、動体が動いている場合には、連続する複数Ｎ個の最新の画像Ｃおよびその動体映像４０〜４４が互いに異なり、画像４１０の動体映像４０〜４４がぼけ、特にその輪郭がぼけたものとなり、画像Ｂと画像Ｃの対応する位置のピクセル値は完全には一致しない。複数Ｎ個の動体映像４０〜４４が位置的に動いた場合、その輪郭付近の動き分の差の面積が誤差の許容範囲であれば、動体映像４０〜４４がほぼ静止していると判定してよい。動体がほぼ静止している場合には、連続する複数Ｎ個の最新の画像Ｃの対応するピクセル値が面積およびレベルの誤差の許容範囲内で同じになり、画像Ｂと画像Ｃの対応する大部分のピクセル値が実質的に一致する。

さらに、動体映像４４が、境界線３０４および３０８より下の禁止領域２６〜２９にもあり、境界線３０４および３０８を貫通せず境界線３０４および３０８で分断されている場合にも、図９Ａおよび９Ｂの場合と同様に、正常な操作と見なすことができる。

図１１Ｃにおいて、ステップ８４２（ＹＥＳ）の後のステップ８５０〜８５６は、図１０Ａおよび１０Ｂのものと同様である。ステップ８５２において、最新の動体画像Ｍが操作禁止領域２６〜２９に存在しないと判定された場合は、手順はステップ８６０に進む。ステップ８５６においていずれの動体画像Ｍについても動体映像４０、４４がマーキング３０の映像または境界線３０４、３０８を貫通しておらず、または境界線３０４、３０８で分断されていると判定された場合に、手順はステップ８６０に進む。

ステップ８６０において、プロセッサ１１２（信号発生部１１３４）は、或る時間期間（例えば、２秒）だけメモリ１１４中のフラグを設定しまたはオン状態にして正常操作を表す信号を発生する。プロセッサ１１２（信号発生部１１３４）は、正常操作を表す信号を、スピーカ１２４に供給してスピーカ１２４に或る時間の長さだけ例えばチャイム音のような音を発生させてもよい。代替形態としてまたは追加的に、プロセッサ１１２（信号発生部１１３４）は、正常操作を表すメッセージを表示装置１２２に表示してもよい。その後で、プロセッサ１１２（信号発生部１１３４）は、フラグを解除しまたはオフ状態にする。それによって、作業員は、操作領域２４における適正な操作を確認または認識することができる。その正常操作を表す信号またはメッセージは、プロセッサ１１２（制御部１１２０、処理部１１３６）によって監視センタ装置３００に送信されてもよい。それによって、作業員の誤操作を監視センタ装置３００で監視することができる。このようにして、３次元的に見て、動体が操作領域２４内にあり、またはその奥に深く侵入しているだけで、操作領域２４内に留り非操作領域２６〜２９に侵入していない場合にも、正常な操作であることを確認することができる。その後、手順はステップ７０６に戻る。

ステップ８５６においていずれかの動体画像Ｍについて動体映像４２が境界線３０４、３０８を貫通していると判定された場合は、手順はステップ７０６に戻る。

図１１Ｂのステップ８６０において正常操作を表す信号を発生する代わりにまたはそれに加えて、図１１Ｃのステップ８５８において、プロセッサ１１２（信号発生部１１３４）は、警告を表す信号を発生してもよい。即ち、ステップ８５８は、ステップ８５６においていずれかの動体画像Ｍの動体映像４２が境界線３０４、３０８を貫通していると判定された場合に、実行される。ステップ８５２において動体映像４０が禁止領域２６〜２９に存在せず、またはステップ８５６においていずれの動体画像Ｍについても動体映像４４がマーキング３０の映像または境界線３０４、３０８を貫通していないと判定された場合、手順は図１１Ａのステップ７０６に戻ってもよい。この場合、ステップ８６０は実行されない。

代替形態として、図１１Ａ〜１１Ｃのフローチャートにおいて、図１２Ａおよび１２Ｂにおいて動体映像４２および４４が境界線３０４および３０８より下の禁止領域２６〜２９にある場合は、正常な操作と見なさないようにしてもよい。この場合、作業員は、操作領域２４のマーキング３０の面領域に例えば手を静止して置き、その奥に手を差し込むことなく、その位置が操作領域２４にあることを確認する。この場合、ステップ８２０〜８４２において、動体画像Ｍの代わりに、境界線３０４および３０８より上の領域だけに動体映像４０を含む動体画像Ｍ’が用いられ、図１１Ｃのステップ８５０〜８５８が実行されず、ステップ８４２（ＹＥＳ）の後でステップ９６０が実行されてもよい。それによって、プロセッサ１１２の処理が簡単になり、その負荷が軽減される。

図１１Ａ〜１１Ｃのフローチャートのステップ８２０〜８５６において、全てのカメラ２０２〜２０８で生成された画像Ｃについて３次元的に操作禁止領域２６〜２９に動体映像が侵入せずに、論理積で正常操作の条件が成立した場合に、ステップ８６０において正常操作を表す信号が生成される。ステップ８２０〜８５６において、いずれかのカメラ２０２〜２０８で生成された画像Ｃについて３次元的に操作禁止領域２６〜２９に動体映像が侵入し、論理和で誤り操作の条件が成立した場合に、ステップ８５８において警告を表す信号が生成される。

代替形態として、図１１Ａ〜１１Ｃにおいて、画像Ａの一部を背景として含む画像Ｂの代わりに、複数のＮ個の画像Ｃの動体画像Ｍを合成して生成した画像Ｂ’を用いてもよい。この場合、ステップ８４０において、比較のために、最新の画像Ｃの代わりにその画像Ｃの動体画像Ｍを用いて、動体画像Ｍを画像Ｂ’と比較してもよい。この場合、初期の画像Ｂ’のピクセル値は全て０（ゼロ）である。更新された画像Ｂ’は、画像Ａのピクセルを含まず、即ち背景画像のピクセル値が全て０（ゼロ）となる。画像Ｂ’において、動体画像Ｍは、画像Ｂの更新と同じ形態で更新すればよい。

この場合、プロセッサ１１２（画像生成部１１２４）は、連続的に取得された各画像Ｃから生成された各動体画像Ｍの動体映像４０〜４４の位置のピクセル値に或る重み付けｗ_Fを乗じて、重み付けされた動体画像Ｍｗのピクセルを生成する。プロセッサ１１２（画像生成部１１２４）は、さらに、動体画像Ｍｗ中の動体映像４０〜４４のピクセル値を、これと対応する位置の画像Ｂ’のピクセル値に加算して画像Ｂ’を更新する。例えば、或る数がＮ＝８の場合、１つの動体画像Ｍに対してｗ_F＝１／８である。例えば、８つの動体画像Ｍで画像Ｂ’を順次更新すると、同じ動体画像Ｍの映像４０〜４４のピクセル位置の総和は８倍のピクセル値を有し、重み付けｗ_F＝１／８を乗じることによって、それが平均化される。

動体が動いている場合には、連続する複数Ｎ個の動体画像Ｍの動体映像４０〜４４が互いに異なり、画像Ｂ’または画像４１０の動体映像４０〜４４がぼけ、特にその輪郭がぼけたものとなり、画像Ｂ’と最新の動体画像Ｍの対応する位置のピクセル値は完全には一致しない。前述の画像Ｂと比較すると、画像Ｂ’のぼやけた輪郭付近のピクセル値のレベルまたは階調が小さくなり、場合によってはそのピクセルの色相が変化することがある。しかし、動体映像４０〜４４が位置的に動いた場合、その輪郭付近の動き分の差の面積が誤差の許容範囲であれば、動体映像４０〜４４がほぼ静止していると判定してよい。動体がほぼ静止している場合には、連続する複数Ｎ個の最新の動体画像Ｍの対応するピクセル値が面積およびレベルの誤差の許容範囲内で同じになり、画像Ｂ’と動体画像Ｍの対応する大部分のピクセル値が実質的に一致する。

設備または装置２０における作業または工事が終了した後で、作業員は、終了を表すソフト・キー４２８をクリックし、カメラ２０２〜２１０を回収し、マーキング３０を外す。

図５、８Ａおよび８Ｂ、１０Ａおよび１０Ｂ、１１Ａ〜１１Ｃ、１３Ａ〜１３Ｃに例示された各フローチャートの複数のステップは、それぞれの機能を実現する１つ以上の集積回路または装置（ユニット）で、また他の回路または装置とともにハードウェア実装することもできる。

ここで挙げた全ての例および条件的表現は、発明者が技術促進に貢献した発明および概念を読者が理解するのを助けるためのものであり、ここで具体的に挙げたそのような例および条件に限定することなく解釈され、また、明細書におけるそのような例の編成は本発明の優劣を示すこととは関係ない、と理解される。本発明の実施形態を詳細に説明したが、本発明の精神および範囲から逸脱することなく、それに対して種々の変更、置換および変形を施すことができる、と理解される。

以上の実施例を含む実施形態に関して、さらに以下の付記を開示する。
（付記１） 入力部を介して画像信号を取り込んで格納する記憶部と、
前記記憶部に格納された第１の画像信号の画像における境界線と、前記境界線によって区画される非操作領域とを決定する決定部と、
前記記憶部に格納された第２の画像信号における動体映像を検出する検出部と、
前記第２の画像信号の画像における前記検出された動体映像と前記境界線の重なり関係に基づいて、前記境界線に対する前記動体映像の状態を判定する判定部と、
前記判定された状態に基づいて信号を発生する信号発生部と、
を含む、情報処理装置。
（付記２） 前記判定部は、前記検出された動体映像が前記境界線を貫通していない場合には前記動体映像の状態が第１の状態にあると判定し、前記検出された動体映像が前記境界線を貫通している場合には前記動体映像の状態が第２の状態にあると判定するものであることを特徴とする、付記１に記載の情報処理装置。
（付記３） 前記判定部は、前記第２の画像信号において前記非操作領域に位置する前記検出された動体映像上の第１の位置から前記境界線を超えて前記非操作領域でない領域に位置する前記境界線に隣接する第２の位置までのピクセルの色を検出し、前記第１の位置から前記境界線までのピクセルの色と前記第２の位置までのピクセルの色が許容誤差の範囲で同じ色の値でなかった場合に、前記動体映像の状態が前記第１の状態にあると判定し、前記第１の位置から前記境界線までのピクセルの色と前記第２の位置までのピクセルの色が許容誤差の範囲で同じ色の値であった場合に、前記動体映像の状態が前記第２の状態にあると判定するものであることを特徴とする、付記２に記載の情報処理装置。
（付記４） 前記決定部は、前記第１の画像信号の画像において仮の非操作領域における或る開始点から或る方向に探索して特定の色の領域の境界を検出し、前記特定の色の領域の前記境界が少なくとも或る距離の範囲において存在することが検出された場合に、前記境界によって形成される線を延長して、前記延長された線を前記境界線の少なくとも一部として決定するものであることを特徴とする、付記１乃至３のいずれかに記載の情報処理装置。
（付記５） 前記判定部は、前記検出された動体の映像が静止状態にあった場合に、前記第２の画像信号の画像における前記検出された動体映像と前記境界線の重なり関係に基づいて、前記動体映像の状態を判定するものであることを特徴とする、付記１乃至４のいずれかに記載の情報処理装置。
（付記６） 入力部を介して画像信号を取り込んで記憶部に格納し、
前記記憶部に格納された第１の画像信号の画像における境界線および前記境界線によって区画される非操作領域を決定し、
前記記憶部に格納された第２の画像信号における動体映像を検出し、
前記第２の画像信号の画像における前記検出された動体映像と前記境界線の重なり関係に基づいて、前記境界線に対する前記動体映像の状態を判定し、
前記判定された状態に基づいて信号を発生する、
処理を情報処理装置に実行させるプログラム。

１００、１０２ 情報処理装置
１１２ プロセッサ
１１４ メモリ
１１６ 入出力インタフェース
１２２ 表示装置
１２４ スピーカ
１２６ 入力部
１２８ 記録媒体読み取り用のドライブ
１３０ ハードディスク・ドライブ
１４２ ＵＳＢインタフェース
１４４ ネットワーク・インタフェース
１１２０ 制御部
１１２２ 設定部
１１２４ 画像生成部
１１２６ 領域決定部
１１２８ 動体検出部
１１３０ 動体静止判定部
１１３２ 状態判定部
１１３４ 信号発生部

Claims (5)

1. 入力部を介して画像信号を取り込んで格納する記憶部と、
   前記記憶部に格納された第１の画像信号の画像における境界線と、前記境界線によって区画される非操作領域とを決定する決定部と、
   前記記憶部に格納された第２の画像信号における動体映像を検出する検出部と、
   前記第２の画像信号の画像における前記検出された動体映像が前記境界線を貫通しているかどうかに基づいて、前記境界線に対する前記動体映像の状態を判定する判定部と、
   前記判定された状態に基づいて信号を発生する信号発生部と、
   を含む、情報処理装置。
2. 前記判定部は、前記検出された動体映像が前記境界線を貫通していない場合には前記動体映像の状態が第１の状態にあると判定し、前記検出された動体映像が前記境界線を貫通している場合には前記動体映像の状態が第２の状態にあると判定するものであることを特徴とする、請求項１に記載の情報処理装置。
3. 前記決定部は、前記第１の画像信号の画像において仮の非操作領域における或る開始点から或る方向に探索して特定の色の領域の境界を検出し、前記特定の色の領域の前記境界が少なくとも或る距離の範囲において存在することが検出された場合に、前記境界によって形成される線を延長して、前記延長された線を前記境界線の少なくとも一部として決定するものであることを特徴とする、請求項１または２に記載の情報処理装置。
4. 前記判定部は、前記検出された動体映像が静止状態にあった場合に、前記第２の画像信号の画像における前記検出された動体映像と前記境界線の重なり関係に基づいて、前記動体映像の状態を判定するものであることを特徴とする、請求項１乃至３のいずれかに記載の情報処理装置。
5. 入力部を介して画像信号を取り込んで記憶部に格納し、
   前記記憶部に格納された第１の画像信号の画像における境界線および前記境界線によって区画される非操作領域を決定し、
   前記記憶部に格納された第２の画像信号における動体映像を検出し、
   前記第２の画像信号の画像における前記検出された動体映像が前記境界線を貫通しているかどうかに基づいて、前記境界線に対する前記動体映像の状態を判定し、
   前記判定された状態に基づいて信号を発生する、
   処理を情報処理装置に実行させるプログラム。

Images