JP7618973B2 - プログラム、管理装置、及びシステム - Google Patents

Description

本開示は、一般に物体検出に関し、より具体的には、環境内の異常な物体又は欠落した物体を検出するプログラム、管理装置、及びシステムに関する。

特定の環境において未知の物体及び／又は欠落した物体を検出するという問題は、いくつかの課題を提供する。様々な関連技術の実世界のアプリケーションでは、自動システムが環境の変化が妥当か否かを判定することが難しい場合があるため、環境の変化の監視はほとんど手動で行われる。このようなタスクは、非常に時間が掛かり、したがって高価である。異常の自動検出は、そのようなタスクにおける手動の労力を大幅に削減するのに役立ち得る。

そのようなシステムは、特定の環境において一般的である物体、すなわち予想される物体（以下、「予想物体」と略称する。）を、特定の環境において異常な物体、すなわち予想されない物体と区別することができる必要があろう。関連技術では、ハイパースペクトル画像における異常検出を含むシステムや、混雑したシーンにおける異常検出を含むシステムが存在している。

米国特許第７６１３６６８号明細書 国際公開第２０１３/０６２７３８号

DENG,J.et al."ImageNet:A Large-Scale Hierarchical Image Database"In CVPR09,2009,8 pages. FARNOOSH,A.et al. "DEEPPBM: DEEP PROBABILISTIC BACKGROUND MODEL ESTIMATION FROM VIDEO SEQUENCES" CoRP,2019,5 pages. KHAZAI,S.et al."Anomaly Detection in Hyperspectral Images Based on an Adaptive Support Vector Method" IEEE GEOSCIENCE AND REMOTE SENSING LETTERS, July 2011,pp.646-650,VOL.8, NO.4. LI,W.et al."Anomaly Detection and Localization in Crowded Scenes" IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, January 2014,pp 18-32,VOL.36, NO.1. LIN,T-Y.et al."Microsoft COCO: Common Objects in Context" CoPR,2014,15 pages. MATTEOLI,S.et al."A Tutorial Overview of Anomaly Detection in Hyperspectral Images" IEEE A&E Systems Magazine, July 2010,pp.5-27,VOL.25,NO.7. RAMCHANDRAN,A.et al."Unsupervised deep learning system for local anomaly event detection in crowded scenes" Multimedia Tools and Applications,May 12,2019,21 pages. REDMON,J.et al."YOLOv3:An Incremental Improvement"CoRP,2018, 6 pages. TARABALKA,Y.et al."Real-time anomaly detection in hyperspectral images using multivariate normal mixture models and GPU processing" J Real-Time Image Processing,2009,pp.287-300. WU,S.et al."Chaotic invariants of Lagrangian particle trajectories for anomaly detection in crowded scenes" 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 2010,pp.2054-2060. YUAN,Y.et al."Online Anomaly Detection in Crowd Scenes via Structure Analysis" IEEE Transactions on Cybernetics, March 2015, pp.562-575,VOL45, NO3. ZHU,Y.et al."Motion-Aware Feature for Improved Video Anomaly Detection" CoPR,2019,12 pages. CHRISTIANSEN,P.et al."DeepAnomaly: Combining Background Subtraction and Deep Learning for Detecting Obstacles and Anomalies in an Agricultural Field" Sensor,October 26,2016,22 pages. KIM,C.et al."A hybrid framework combining background subtraction and deep neural networks for rapid person detection" Journal Big Data(2018), 24 pages TIAN,Y.et al."Robust Detection of Abandoned and RemovedObjects in Complex Surveillance Videos" IEEE Transactions on Systems Man and Cybernetics Part C (Applications and Reviews),2011,13 pages

画像や動画から特定の環境における異常を検出することは、依然として困難なタスクであり得る。それは、（ａ）以前は見えなかった物体を検出すること、（ｂ）物体を異常なもの又は異常でないものとして分類すること、及び（ｃ）物体が欠落しているかどうかを検出することが、いずれも困難であるためである。したがって、これらのタスクは、依然として人間の観察の下で行われる。特定の環境における異常の自動検出は、監視やその他の物体検出シナリオにおける手動の労力を大幅に削減するのに役立ち得る。

本開示の技術は、特定の環境における異常の検出における手動の労力を大幅に削減することを目的とする。

本明細書で説明される例示的な実装形態では、加法的（物体がシーンに追加された）異常と、減法的（物体がシーンから削除された）異常という、考慮される２種類の異常がある。本明細書で説明される例示的な実装形態は、物体検出と前景セグメント化モデルとの組み合わせを含み、シーン内の物体又は物体が以前に占めていた領域のいずれかである関心領域を生成し得る多段階システムを伴う。そのような領域は、その後、正常又は異常として分類される。

本明細書で説明される例示的な実装形態は、静的カメラ、及び環境の場所に関連付けられた動的に移動するカメラで実装され得る。

本開示の態様は、処理を実行するための命令を記憶するコンピュータプログラムであって、命令が、環境に関連付けられたシステムから受信した１又は複数の画像に対して、１又は複数の画像に対して行われた前景セグメント化で抽出された１又は複数の関心領域と、１又は複数の画像に対して行われた物体検出で抽出された１又は複数の検出された物体とのマッチングに基づいて、異常の検出を示す異常検出を行うステップ、及び異常検出に対し異常に基づいて異常処理命令を実行するステップを含む、コンピュータプログラムを含む。命令は、非一時的なコンピュータ可読媒体に記憶され、１又は複数のプロセッサによって実行されるように構成されてもよい。

本開示の態様は、環境に関連付けられたシステムから受信した１又は複数の画像に対して、１又は複数の画像に対して行われた前景セグメント化で抽出された１又は複数の関心領域と、１又は複数の画像に対して行われた物体検出で抽出された１又は複数の検出された物体とのマッチングに基づいて、異常の検出を示す異常検出を行うステップ、及び異常検出に対し異常に基づいて異常処理命令を実行するステップを含む、方法を含む。命令は、非一時的なコンピュータ可読媒体に記憶され、１又は複数のプロセッサによって実行されるように構成されるように構成されてもよい。

本開示の態様は、環境に関連付けられたシステムから受信した１又は複数の画像に対して、前記１又は複数の画像に対して行われた前景セグメント化で抽出された１又は複数の関心領域と、前記１又は複数の画像に対して行われた物体検出で抽出された１又は複数の検出された物体とのマッチングに基づいて、異常の検出を示す異常検出を行う手段と、異常検出に対し異常に基づいて異常処理命令を実行する手段と、を備えるシステムを含む。

本開示の態様は、ネットワークを介して複数のシステムを管理するように構成された管理装置であって、前記複数のシステムの各々が、環境に関連付けられており、管理装置が、複数のシステムの１つから受信した１又は複数の画像に対して、１又は複数の画像に対して行われた前景セグメント化で抽出された１又は複数の関心領域と、１又は複数の画像に対して行われた物体検出で抽出された１又は複数の検出された物体とのマッチングに基づいて、異常の検出を示す異常検出を行い、異常検出に対し異常に基づいて異常処理命令を実行するように構成されたプロセッサを備える、管理装置を含む。

本開示の態様は、環境に関連付けられたシステムであって、カメラシステムと、１又は複数の画像に対して行われた前景セグメント化から抽出された１又は複数の関心領域と、１又は複数の画像に対して行われた物体検出から抽出された１又は複数の検出された物体とのマッチングに基づいて、カメラシステムから受信した１又は複数の画像に対して異常の検出を示す異常検出を行い、異常検出に対し異常に基づいて異常処理命令を実行するように構成されたプロセッサと、を備えるシステムを含む。

上記の態様において、環境が、１又は複数の予想物体に関連付けられており、システムから受信した１又は複数の画像に対して異常検出を行うステップが、１又は複数の関心領域と物体検出とのマッチングで検出されていない１又は複数の予想物体の少なくとも１つに対して、環境から除去された１又は複数の予想物体の少なくとも１つを示す第１の指示を介して前記異常の前記検出を示すこと、及び、環境に関連付けられた１又は複数の予想物体の中には存在しないマッチングで検出された物体に対して、環境に追加された物体を示す第２の指示を介した異常の前記検出を示すこと、を含むようにしてもよい。

上記の態様において、異常検出が、環境に追加された物体の検出を含み、異常処理命令が、環境に追加された物体に関して、環境に関連付けられたユーザにメッセージを送信することを含むようにしてもよい。また、上記の態様において、異常検出が、環境に追加された物体の検出を含み、異常処理命令が、プロジェクタシステムを作動させて、環境に追加された物体に投影するために、システムに命令を送信することを含むようにしてもよい。また、上記の態様において、異常検出が、環境から欠落している物体の検出を含み、異常処理命令が、警告を送信することを含むようにしてもよい。また、上記の態様において、環境を作業ブースとすることができる。

例示的な実装形態に係るシステムの例示的な概要を示す図である。 例示的な実装形態に係る異常分類及び適応システムを示す図である。 例示的な実装形態に係る例示的な検出を示す図である。 例示的な実装形態に係る例示的な検出を示す図である。 例示的な実装形態に係る特定の環境を監視するシステムを示す図である。 プロジェクタを含む例示的な実装形態を示す図である。 例示的な実装形態に係る複数のシステムを管理する管理装置を含むシステムを示す図である。 いくつかの例示的な実装形態における使用に適した例示的なコンピュータ装置を有する例示的なコンピューティング環境を示す図である。 本明細書で説明される例示的な実装形態を容易にするために利用可能な管理情報の例を示す図である。 本明細書で説明される例示的な実装形態を容易にするために利用可能な管理情報の例を示す図である。 本明細書で説明される例示的な実装形態を容易にするために利用可能な管理情報の例を示す図である。 例示的な実装形態に係る作業ブースの例を示す図である。

以下の詳細な説明は、本出願の図面及び例示的な実装形態の詳細を提供する。図面間の重複する要素の参照符号及び説明は、明確化のために省略されている。説明全体にわたって使用される用語は、例示として提供されており、限定を意図するものではない。例えば、「自動」という用語の使用は、本出願の実装形態を実施する当業者の所望の実装形態に応じて、完全自動の実装形態、又は実装形態の特定の態様に対するユーザ又は管理者による制御を含む半自動の実装形態を含んでいてもよい。選択は、ユーザインターフェース又は他の入力手段を介してユーザによって実行されてもよく、又は所望のアルゴリズムを介して実装されてもよい。本明細書に記載される例示的な実装形態は、単独で又は組み合わせて利用されてもよい。これらの例示的な実装形態の機能は、所望の実装形態に係る任意の手段を介して実装されてもよい。

特定の環境において未知の物体及び／又は欠落した物体を検出するという問題は、大規模な公共施設、オフィス環境／職場環境、倉庫などでの未知の物体の監視など、様々な企業アプリケーションを運用する上で重要になり得る。本明細書で説明される例示的な実装形態では、特定の環境を手動で監視し、その中の異常を探すという面倒なプロセスを自動化するように設計されたシステムが存在する。例示的な実装形態は、環境から除去された予想物体（例えば、盗まれた物体、欠落した物体など）、及び特定の環境で見えるとは予想されていない物体（例えば、ユーザによって置き忘れられた物体）の両方を観察するように構成された、深層学習ベースのシステムを含む。

本明細書で説明する例示的な実装形態では、画像から特定の環境における異常を検出してその位置を特定するように構成されたシステムが存在する。そのような異常は、加法的異常（additive anomalies）又は減法的異常（subtractive anomalies）として大まかに分類され得る。本明細書で説明されるように、加法的異常は、以前は未知であった物体、又はシーンに入り込んだ特定の環境にあるはずのない物体である。例えば、作業机に関しては、モニタ、キーボード又はマウスなどの物体はその環境内にあると予測されるが、置き忘れた財布は、加法的異常となり得る。同様に、環境監視システム（例えば、環境内の監視カメラによる周期動作）によって撮像された画像の場合、廊下に忘れられた椅子が、加法的異常の例となり得る。

減法的異常は、環境内にあるはずの物体が以前に占めていたが、欠落した画像の領域である。作業机の例では、欠落したモニタは、減法的異常である。同様に、屋内オフィス空間のための環境監視ロボットの場合、壁又は照明器具から欠落したフレームは、減法的異常と見なし得る。

本明細書で説明される例示的な実装形態はまた、そのような異常検出が過去に発生していた場合に、カテゴリー分類などの異常に関する追加情報を提供するように構成されている。例示的な実装形態はまた、リアルタイムで調整され、過去に異常な物体であったとしても、特定の物体を異常ではないと分類することもできる。

本明細書で説明される例示的な実装形態は、「物体検出」と「前景セグメント化」という２つの主要な特徴を備える深層学習ベースのシステムを含む。これらの各特徴の出力は、環境内の既知の物体及び異常を検出するためにさらに利用される。

図１は、例示的な実装形態に係るシステムの例示的な概要を示している。入力画像１１０が、処理のために前景セグメント化１２０と物体検出１３０とに提供される。これらは、関心領域１４１と境界ボックス１３２とを異常検出１４０に出力する。異常検出１４０は、マッチング１４２を行って異常１５０を特定する。

カメラによって撮像された画像１１０は、前景セグメント化モデル１２０によって使用され、前景抽出１２１を使用して前景マスク１２２を生成することにより、未知の物体を含む領域（regions/areas）が抽出される。前景抽出１２１の機能の例は、これに限定されるものではないが、変分オートエンコーダ（ＶＡＥ）を含むことができる。ＶＡＥは、全ての不変量（non-variant）（例えば、静止物体など、複数のトレーニング画像を通して変化しない画像内の領域）が背景と見なされるようにトレーニングされる。ＶＡＥの出力と元の画像１１０とから、２つの画像間の差を取ることにより、バイナリーの前景マスク１２２が計算される。この前景マスク１２２がさらに使用されて、ＲＯＩ抽出１２３の機能によって、関心領域（ＲＯＩｓ）を含む境界ボックスが抽出される。これらのＲＯＩ（複数可）は、前景画素の十分に高い濃度を示しかつ前景画像と背景画像との間に十分な差がある領域に対して生成される。上述した技術を使用して抽出されたＲＯＩ（複数可）は、環境内に追加された物体又はシーンから除去された既知の物体を有する潜在的な候補となる領域／場所を提供する。閾値は、所望の実装形態に応じて設定され得る。

既知の物体の検出のために、画像内の物体を検出してその位置を特定するために使用される技術であるＹＯＬＯｖ３などの物体検出１３１の機能が利用される。例示的な実装形態では、ＹＯＬＯｖ３モデルは、特定の環境において見出されることが予想される物体（例えば、モニタ、キーボード、マウス、時計、ドア、フレーム、出口標識、環境監視ロボット（ＥＭＲ）のライトなど）に対してトレーニングされる。推定の間に、このモデルは、特定の画像に対して検出された物体の位置（例えば、境界ボックス１３２の形態で）及びカテゴリーの両方を提供する。この情報は、さらに、異常検出１４０の機能に提供される。

異常検出１４０について、前景セグメント化１２０の機能によって検出されたＲＯＩ１４１（複数可）は、物体検出１３１の機能によって検出された物体の位置とマッチング１４２され、特定の環境における未知の物体と既知の物体とが分類される。物体の位置（境界ボックス１３２によって画定される）との十分な重なりを示すＲＯＩ１４１（複数可）は、既知の物体と見なされるが、重なり合う相手方を有しないＲＯＩ１４１（複数可）は、環境内の異常な物体又は未知の物体と見なされる。

図２は、例示的な実装形態に係る異常分類及び適応システムを示している。所望の実装形態によれば、検出された異常１５０は、ＩｍａｇｅＮｅｔ又はＣＯＣＯなどの所望の実装形態に応じた任意の物体分類器法を使用して、さらに分類２２０され得る。

さらに、例示的な実装形態は、異常に適応し、異常物体がそのような物体にフラグ付けされることによってシーン内で繰り返し見られる場合には、それらを異常物体として分類しないように構成され得る。そのような例示的な実装形態は、特徴符号化２１０を行うことにより検出された異常物体を特徴ベクトルに符号化し、それらを以前の検出２００を管理するデータベースに記憶することによって容易化され得る。検出された異常な物体の特徴ベクトルは、続いて、洗練（refining）プロセス２３０を介してこのデータベース２００に記憶された特徴ベクトルと比較され得る。以前に検出された物体（例えば、対応する特徴ベクトル）がユーザ／管理者によって非異常（non-anomalous）としてフラグ付けされている場合、同様の特徴ベクトルを有する検出された物体は、それに応じて非異常としてラベル付けされ得るし、その結果は洗練された異常２４０として提供される。さらに、潜在的な（underlying）物体が、以前の検出２００に基づいて（例えば、ユーザ／管理者によって提供されたラベル付けに基づいて、特定された物体の特徴ベクトルの適用されるライブラリに基づいて）特定され得る場合、未知の物体の分類は、追加情報２５０として提供され得る。

これにより、例示的な実装形態は、加法的異常（例えば、環境に追加された未知の物体）及び減法的異常（例えば、特定の環境において欠落した予想物体）を検出するように構成された深層学習ベースのシステムを容易化する。例示的な実装形態はまた、シーン内の物体の位置を特定し、その物体が以前の場所から移動又は除去されたかどうかを決定することもできる。

例示的な実装形態はまた、ＣＯＣＯ、ＩｍａｇｅＮｅｔなどの予め定義されたカテゴリーのリストから、検出された未知の物体を分類することもできる。異常な物体又は非異常な物体の分類は、実際のアプリケーションにおいて適応され得る。

図３（ａ）及び図３（ｂ）は、例示的な実装形態に係る例示的な検出を示している。図３（ａ）の例では、例示的な環境（キーボード、マウス、時計）に関連付けられた３つの移動アイテムと、１つの静的アイテム（モニタ）とが存在している。さらにまた、各画像は、あるタイプの加法的異常の例（例えば、財布、ペン、ボトル、鍵など）を含む。図３（ｂ）は、例示的な実装形態に係る上記環境の前景マスク１２２の例を示している。

図４（ａ）は、例示的な実装形態に係る特定の環境を監視するシステムを示している。システム４００は、カメラシステム４０１、プロセッサ４０３、メモリ４０４、及びネットワークインターフェース（Ｉ／Ｆ）４０５を含むことができる。所望の実装形態によれば、システム４００は、必要に応じて、プロジェクタシステム４０２及び／又はサウンドシステム４０６を含むことができる。例示的な実装形態では、システム４００は、所望の実装形態に応じて、オフィス空間、囲まれた作業ブース、会議室などの監視される任意の環境設定に実装されるように構成され得る。カメラシステム４０１は、本明細書で説明される例示的な実装形態を容易化するために、１又は複数のカメラを含むことができる。これに限定されるものではないが、赤－緑－青（ＲＧＢ）カメラなどの当該技術分野において知られている任意のカメラが、カメラシステム４０１の機能を容易化するため利用され得る。プロセッサ４０３は、中央処理装置（ＣＰＵ）などの１又は複数の物理的なハードウェア処理装置を含んでいてもよく、又はハードウェア処理装置とソフトウェア処理装置の任意の組み合わせとすることができる。ネットワークＩ／Ｆ４０５は、図５に示すように、システムと管理装置との間の接続やデータの交換を容易にする。

本明細書で説明する例示的な実装形態には、環境内の異常を強調するために光を投影するように構成されたプロジェクタシステム４０２が設けられていてもよい。プロジェクタシステム４０２は、そのような実装形態を容易化するために、光を投影するための当該技術分野において知られている任意のタイプのプロジェクタを含むことができる。例えば、環境のユーザが部屋を離れると、プロジェクタは、光を投影して部屋内の検出された異常を強調し、物体が置き忘れられたことをユーザに示す。所望の実装形態によれば、サウンドシステム４０６は、環境内に異常な物体があることをユーザに示すための音声キューを提供することができる。サウンドシステム４０６は、所望の音声キューを容易化するために１又は複数のスピーカを含むことができ、当業者に知られている任意のタイプのスピーカとすることができる。そのような例示的な実装形態を通じて、環境から退出するユーザは、これにより環境に置き忘れられた潜在的な物体について警告を受けることができる。

所望の実装形態によれば、図４（ａ）に示すシステム４００は、スタンドアロンシステムとして動作してもよく、又は図５に示すように管理装置によって管理される複数のシステムのネットワークの一部として動作してもよい。スタンドアロンシステムの例では、システム４００は、図８に示す作業ブースなどの環境に設置される。

スタンドアロンシステムの例では、メモリ４０４は、図７（ａ）から図７（ｃ）に示す管理情報を記憶するように構成されている。プロセッサ４０３は、図１の１２０、１３０、及び１４０に示すように、カメラシステム４０１から受信した１又は複数の画像に対して、１又は複数の画像に対して行われた前景セグメント化から抽出された１又は複数の関心領域と、１又は複数の画像に対して行われた物体検出から抽出された１又は複数の検出された物体とのマッチングに基づいて、異常検出を行うと共に、図１の１５０及び図２に示すように異常の検出を示す異常検出について、図７（ｃ）に示すように、異常のタイプに応じて命令セットを実行することにより、異常に基づいて異常処理命令を実行するように構成され得る。

異常処理命令のそのような例では、図２に示すように、異常のタイプが異常の分類に基づいて判定される。次に、異常が加法的（例えば、物体が環境に追加された）又は減法的（例えば、システムＩＤ又は環境に基づいて図７（ａ）のリストから判断されるような予想物体）であるかどうか、及び関連する物体であるかどうかが判断される。例えば、異常分類が加法的であり、環境に追加された物体の検出を示す場合、プロセッサ４０３は、図７（ｂ）のスケジュール情報からユーザを特定して、ユーザに関連付けられた連絡先情報に基づいて異常物体の画像のコピーを予め設定されたメッセージと一緒に送信することによって、環境に追加された物体に関して環境に関連付けられたユーザにメッセージを送信するように構成され得る。そのような連絡先情報は、これらに限定されるものではないが、例示的な実装形態に応じて、電子メール、ＳＭＳ又はテキストメッセージングなどを含むことができる。

例示的な実装形態では、システム及び関連する環境は、図７（ａ）に関連付けられている。プロセッサ４０３は、図１及び図２に示すプロセスを実行して、カメラシステム４０１からの１又は複数の画像に対して異常検出を行うように構成され得る。図１及び図２に示すように、１又は複数の予想物体の少なくとも１つが、１又は複数の関心領域と物体検出とのマッチングから検出されない場合、プロセッサ４０３は、環境から除去される１又は複数の予想物体の少なくとも１つを示す指示（indication）を介して、異常の検出を示すことができる。そのような指示は、これらに限定されるものではないが、所望の実装形態に応じて、欠落した物体を示すメッセージを管理者に送信すること、警告を発生させること、環境内に物体を移動するようにユーザにメッセージを提供することなどを含むことができる。加法的異常（例えば、環境に関連付けられた１又は複数の予想物体の中にない物体の検出）の場合、プロセッサ４０３は、物体が環境に追加されていることを示す指示を介して、異常の検出を示すように構成され得る。そのような指示は、所望の実装形態に応じて、図３（ａ）に示すように画像の異常を強調すること、ユーザにメッセージを送信すること、特定された物体のタイプに応じて管理者又はビル管理サービスにメッセージを送信することなどを含むことができる。

加法的異常を検出するための他の例示的な実装形態では、プロセッサ４０３は、プロジェクタシステム４０２を作動させて、環境に追加された物体に投影するように構成され得る。図３（ａ）に示す画像内の検出された物体の位置に基づいて、プロジェクタシステム４０２は、プロセッサ４０３によって制御されて、環境内の物体に光を投影する。他の例示的な実装形態では、プロジェクタシステム４０２は、プロセッサ４０３によって制御されて、環境の出口（例えば、会議室又は作業ブースのドアなど）にメッセージを投影して、物体をユーザに知らせることができる。他の例示的な実装形態では、プロセッサ４０３は、所望の実装形態に応じて、サウンドシステム４０６を作動させて音声キューを提供し、物体をユーザに知らせることができる。

例示的な実装形態では、図７（ａ）に示されるように、システム及び関連する環境は、１又は複数の予想物体に関連付けられている。異常検出が減法的である（例えば、図１及び図２のプロセスで検出されていない１又は複数の予想物体のうちの少なくとも１つ、又は予想物体のうちの少なくとも１つが環境から欠落している）そのような例示的な実装形態では、プロセッサ４０３は、警告を送信するなどの命令を含むことができる。警告は、管理者又はセキュリティにメッセージを送信して、環境を確認したり、サウンドシステム４０６に音声キューを提供したりする形式、又は所望の実装形態に応じて他の方法による形式とすることができる。

図４（ｂ）は、プロジェクタを含む例示的な実装形態を示している。図４（ｂ）の例に示すように、プロジェクタシステム４０２は、プロセッサ４０３によって制御されて、検出された加法的異常に光を投影する。図４（ｂ）の例では、環境の以前のユーザによってコーヒーマグが置き忘れられている。ユーザがカメラシステム４０１によってもはや検知されなくなると、プロジェクタシステム４０２は、検出された加法的異常（図４（ｂ）の例ではコーヒーカップ）に光を投影して、アイテムが置き忘れられていることをユーザに警告する。

図５は、例示的な実装形態に係る複数のシステムを管理する管理装置を含むシステムを示している。図４に示す１又は複数の異常検出システム４００は、ネットワークＩ／Ｆ４０５を介して、ネットワーク５００及び管理装置５０１に通信可能に接続されている。管理装置５０１は、データベース５０２を管理する。データベース５０２は、以前の検出２００の特徴ベクトル、物体分類のための物体のライブラリ、及び複数のシステムによって監視される環境を管理するための他の管理情報などのデータを含むことができる。例示的な実装形態では、異常検出システム４００からのデータは、機器又は企業リソース計画システムなどの機器システムからのデータを記憶する専用データベースなどの中央リポジトリ又は中央データベースに記憶されてもよい。管理装置５０１は、中央リポジトリ又は中央データベースからのデータへのアクセスが可能であるか、又はそのデータの検索が可能である。

図６は、図５に示されるような管理装置５０１などのいくつかの例示的な実装形態において使用するのに適した例示的なコンピュータ装置を有する例示的なコンピューティング環境を示している。コンピューティング環境６００におけるコンピュータ装置６０５は、１又は複数の処理ユニット、コア、又はプロセッサ６１０、メモリ６１５（例えば、ＲＡＭ、ＲＯＭ、及び／又は同様のもの）、内部記憶装置６２０（例えば、磁気、光、固体記憶装置、及び／又は有機）、及び／又はＩ／Ｏインターフェース６２５を含むことができる。これらのうちの任意のものは、情報を通信するために通信機構又はバス６３０に接続されていてもよく、又はコンピュータ装置６０５に内蔵されていてもよい。Ｉ／Ｏインターフェース６２５はまた、所望の実装形態に応じて、カメラから画像を受信するか、又はプロジェクタ若しくはディスプレイに画像を提供するように構成されている。

コンピュータ装置６０５は、入力／ユーザインターフェース６３５及び出力装置／インターフェース６４０に通信可能に接続されていてもよい。入力／ユーザインターフェース６３５及び出力装置／インターフェース６４０のいずれか一方又は両方は、有線又は無線インターフェースとすることができ、着脱可能とすることができる。入力／ユーザインターフェース６３５は、入力を提供するために使用され得る物理的又は仮想的な任意の装置、コンポーネント、センサ、又はインターフェース（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサ、光学式リーダなど）を含んでいてもよい。出力装置／インターフェース６４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでいてもよい。いくつかの例示的な実装形態において、入力／ユーザインターフェース６３５及び出力装置／インターフェース６４０は、コンピュータ装置６０５に内蔵されていてもよく、又は物理的に接続されていてもよい。他の例示的な実装形態において、他のコンピュータ装置は、コンピュータ装置６０５についての入力／ユーザインターフェース６３５や、出力装置／インターフェース６４０として機能してもよく、又はその機能を提供してもよい。

コンピュータ装置６０５の例は、限定されるものではないが、高度なモバイル装置（例えば、スマートフォン、車両及び他の機械における装置、人間及び動物によって携行される装置など）、モバイル装置（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、携帯テレビ、ラジオなど）、並びに移動性のために設計されていない装置（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、１又は複数のプロセッサが内蔵された及び／又はそれに接続されたテレビ、ラジオなど）を含んでいてもよい。

コンピュータ装置６０５は、同じ又は異なる構成の１又は複数のコンピュータ装置を含む任意の数のネットワークコンポーネント、装置、及びシステムと通信するために、外部記憶装置６４５及びネットワーク６５０に（例えば、Ｉ／Ｏインターフェース６２５を介して）通信可能に接続されていてもよい。コンピュータ装置６０５又は任意の接続されたコンピュータ装置は、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、又は他のラベルのサービスを提供するように機能してもよく、又はそのように呼ばれてもよい。

Ｉ／Ｏインターフェース６２５は、限定されるものではないが、コンピューティング環境６００における少なくとも全ての接続されたコンポーネント、装置、及びネットワークとの間で情報を通信するために、任意の通信又はＩ／Ｏプロトコル又は標準規格（例えば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコルなど）を使用する有線及び／又は無線インターフェースを含むことができる。ネットワーク６５０は、任意のネットワーク又はネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）とすることができる。

コンピュータ装置６０５は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能な媒体又はコンピュータ可読媒体を利用して、使用及び／又は通信することができる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスク及びテープ）、光媒体（例えば、ＣＤ－ＲＯＭ、ディジタルビデオディスク、ブルーレイディスク）、固体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、固体記憶装置）、及び他の不揮発性記憶装置又はメモリを含む。

コンピュータ装置６０５は、いくつかの例示的なコンピューティング環境において、技術、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実行するために使用されてもよい。コンピュータ実行可能命令は、一時的媒体から取得されてもよく、非一時的媒体に記憶されて非一時的媒体から取得されてもよい。実行可能命令は、プログラミング言語、スクリプト言語、及び機械語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、ビジュアルベーシック、パイソン、パール、ＪａｖａＳｃｒｉｐｔ（登録商標）など）のうちの１又は複数から生成されてもよい。

プロセッサ６１０は、ネイティブな環境又は仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示しない）の下で動作することができる。論理ユニット６６０、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット６６５、入力ユニット６７０、出力ユニット６７５、並びに、異なるユニットが互いに通信すると共にＯＳや他のアプリケーション（図示しない）と通信するためのユニット間通信機構６９５を含む１又は複数のアプリケーションが展開されてもよい。上記のユニット及び要素は、設計、機能、構成、又は実装において変更可能であり、上述した記載に限定されるものではない。プロセッサ６１０は、中央処理装置（ＣＰＵ）などのハードウェア処理装置の形態、又はハードウェアユニット及びソフトウェアユニットの組み合わせとしてもよい。

いくつかの例示的な実装形態において、情報又は実行命令がＡＰＩユニット６６５によって受信されると、それは、１又は複数の他のユニット（例えば、論理ユニット６６０、入力ユニット６７０、出力ユニット６７５）に伝送されてもよい。いくつかの場合において、論理ユニット６６０は、上述したいくつかの例示的な実装形態において、ユニット間の情報フローを制御し、ＡＰＩユニット６６５、入力ユニット６７０、出力ユニット６７５によって提供されるサービスを導くように構成されてもよい。例えば、１又は複数のプロセス又は実装形態のフローは、論理ユニット６６０によって単独で又はＡＰＩユニット６６５と連携して制御されてもよい。入力ユニット６７０は、例示的な実装形態において説明した計算のための入力を取得するように構成されてもよく、出力ユニット６７５は、例示的な実装形態において説明された計算に基づいて出力を提供するように構成されてもよい。

図５に示す管理装置の例示的な実装形態では、管理装置５０１は、図４に示されるような複数のシステム４００を管理し、それによって複数の環境を管理する。そのような例示的な実装形態では、データベース５０２又はメモリ６１５は、図７（ａ）から図７（ｃ）に示すような管理情報を記憶するように構成されてもよい。複数のシステム４００の各々は、それぞれのカメラシステム４０１からの１又は複数の画像を、ネットワークＩ／Ｆ４０５を介して管理装置５０１に提供するように構成される。

プロセッサ６１０は、図１の１２０、１３０、及び１４０に示すように、各システム４００から受信した１又は複数の画像に対して、１又は複数の画像に対して行われた前景セグメント化から抽出された１又は複数の関心領域と、１又は複数の画像に対して行われた物体検出から抽出された１又は複数の検出された物体とのマッチングに基づいて、異常検出を行うと共に、図１の１５０及び図２に示すように異常の検出を示す異常検出について、図７（ｃ）に示すように、異常のタイプに応じて命令セットを実行することにより、異常に基づいて異常処理命令を実行するように構成され得る。

異常処理命令のそのような例では、図２に示すように、異常のタイプが異常の分類に基づいて判定される。次に、異常が加法的（例えば、物体が環境に追加された）又は減法的（例えば、システムＩＤ又は環境に基づいて図７（ａ）のリストから判定されるような予想物体）であるかどうか、及び関連する物体であるかどうかが判定される。例えば、異常分類が加法的であり、環境に追加された物体の検出を示す場合、プロセッサ４０３は、図７（ｂ）のスケジュール情報からユーザを特定して、ユーザに関連付けられた連絡先情報に基づいて異常物体の画像のコピーを予め設定されたメッセージと一緒に送信することによって、環境に追加された物体に関して環境に関連付けられたユーザにメッセージを送信するように構成され得る。そのような連絡先情報は、これらに限定されるものではないが、例示的な実装形態に応じて、電子メール、ＳＭＳ又はテキストメッセージングなどを含むことができる。

例示的な実装形態では、システム４００及び関連する環境は、図７（ａ）に関連付けられている。プロセッサ６１０は、図１及び図２に示すプロセスを実行して、システム４００からの１又は複数の画像に対して異常検出を行うように構成され得る。図１及び図２に示すように、１又は複数の予想物体の少なくとも１つが、１又は複数の関心領域と物体検出とのマッチングから検出されない場合、プロセッサ６０１は、環境から除去される１又は複数の予想された物体の少なくとも１つを示す指示を介して、異常の検出を示すことができる。そのような指示は、これらに限定されるものではないが、所望の実装形態に応じて、欠落した物体を示すメッセージを管理者に送信すること、警告を発生させること、環境内に物体を移動するようにユーザにメッセージを提供することなどを含むことができる。加法的異常（例えば、環境に関連付けられた１又は複数の予想物体の中にない物体の検出）の場合、プロセッサ４０３は、物体が環境に追加されていることを示す指示を介して、異常の検出を示すように構成され得る。そのような指示は、所望の実装形態に応じて、図３（ａ）に示すように画像の異常を強調すること、ユーザにメッセージを送信すること、特定された物体のタイプに応じて管理者又はビル管理サービスにメッセージを送信することなどを含むことができる。

加法的異常を検出するための他の例示的な実装形態では、プロセッサ６１０は、各システム４００に命令を送信して、対応するプロジェクタシステム４０２を作動させ、環境に追加された物体に投影するように構成され得る。図３（ａ）に示す画像内の検出された物体の位置に基づいて、プロジェクタシステム４０２は、プロセッサ４０３によって制御されて、図４に関して説明したように環境内の物体に光を投影する。

例示的な実装形態では、図７（ａ）に示されるように、システム及び関連する環境は、１又は複数の予想物体に関連付けられている。異常検出が減法的である（例えば、図１及び図２のプロセスから検出されない１又は複数の予想物体のうちの少なくとも１つ、又は予想物体のうちの少なくとも１つが環境から欠落している）そのような例示的な実装形態では、プロセッサ６１０は、警告を送信するなどの命令を含むことができる。管理者又はセキュリティにメッセージを送信して、環境を確認したり、サウンドシステム４０６に音声キューを提供したりする形式、又は所望の実装形態に応じて他の方法による形式とすることができる。

図７（ａ）から図７（ｃ）は、本明細書で説明される例示的な実装形態を容易化するために利用可能な管理情報の例を示している。具体的には、図７（ａ）は、図５に示す複数のシステム４００についての管理情報を示している。各システム４００は、システム識別子（ＩＤ）７０１、予想される物体７０２、システムのスケジュール又はログ７０３、及び異常処理手順７０４に関連付けられてもよい。システムＩＤ７０１は、システム及びシステムに関連付けられた環境に対し固有の識別子を提供する。予想される物体７０２は、環境内にあると予想物体のリストである。そのようなリストは、所望の実装形態に応じて、ユーザ／管理者によって定義されてもよく、又は異常検出から検出されてもよい。スケジュール／ログ７０３は、所望の実装形態に応じて、相互作用のログ又は環境内にいると予想されるユーザのスケジュールを示すことができる。異常処理手順７０４は、異常の検出に基づいて異常処理を行う手順を含む。

図７（ｂ）は、スケジュール／ログ７０３の例を示している。スケジュール／ログ７０３は、作業ブース、レンタルオフィス／一時的なオフィス、会議室などの環境で発生することになる、相互作用又は予定された相互作用を管理する。図７（ｂ）の例では、ユーザＩＤ７１１、入室時間／予定された時間７１２、及び連絡先情報７１３が例示されている。ユーザＩＤ７１１は、環境と相互作用するユーザに割り当てられた固有の識別子である。入室時間／予定された時間７１２は、特定の時間に環境に入室することが予想されるか、又は環境に入室したユーザのスケジュールを示している。連絡先情報７１３は、これらのユーザの連絡先情報を含むことができる。

図７（ｃ）は、異常処理手順７０４の例を示している。各システムは、異常のタイプ７２１に関連する処理を有することができ、関連する異常のタイプを検出するための命令セット７２２を実行することができる。異常のタイプ７２１は、異常のタイプを示すことができ、それが加法的又は減法的かどうか、及び関連する物体かどうか（該当する場合）に関する情報を含むことができる。命令セット７２２は、異常の検出に基づいてシステム４００によって実行される命令のセットを含むことができる。

本明細書で説明される例示的な実装形態では、命令セットは、検出された異常のタイプに応じて、図７（ｂ）の連絡先情報７１３に示されるユーザか、システムの管理者若しくはセキュリティ部門かのどちらかに、通知を送信するように構成され得る。そのような例示的な実装形態では、潜在的な物体及び異常のタイプに応じて通知が送信される。例えば、異常が環境内の予想物体／機器に対して減法的である場合、命令セットは、セキュリティに警告すること、及び予定されたユーザ又は環境内で検出されたユーザの連絡先情報をセキュリティに転送することを含むことができる。そのような通知は、ＳＭＳメッセージ、電子メールメッセージなどを含む、任意の所望の実装形態を介して行うことができる。

ユーザに通知を送信する例示的な実装形態では、異常が加法的であり且つ潜在的な物体がユーザに属する物体（例えば、鍵、携帯電話など）を含む場合、基本的な命令セットは、ユーザが立ち去ろうとしている場合（例えば、オフィスの開口部のドアから、又は他の所望の方法によって検出された場合）に、プロジェクタを作動させて物体を強調すること、及び／又はサウンドスピーカから音声キューを出力させることを含むことができる。他の例示的な実装形態では、そのような命令セットはまた、物体が環境内に置き忘れられたことをユーザに知らせるために、ユーザに連絡すること、及び検出された物体の画像を転送することを含むことができる。

したがって、異常処理は、所望の実装形態を容易化し且つ所望の実装形態に応じて通知を送信するように調整され得るが、本開示は、上記の例によってそれに限定されるものではない。

図８は、例示的な実装形態に係る作業ブースの例を示している。図８に示すように、作業ブースは、会議室、鉄道駅、又は他の公共エリア内に配置することができ、且つユーザによるアクセスに利用可能である、囲まれた作業スペースである。作業ブースへのアクセスは、予定された時間にユーザによって、及び／又は正しい認証によって（例えば、キーカードによる認証、モバイルアプリケーションによる認証など）アクセス可能となるように制御されるドア及びロックによってコントロールされ得る。作業ブースには、所望の実装形態に応じて、椅子、机、無線又はセルラー接続、照明などを設置することができる。所望の実装形態によれば、作業ブースはまた、モニタ、コンピュータ、キーボード、マウスなどのアクセス用の機器を含むことができる。例示的な実装形態では、機器は、作業ブースに関連付けられた物体のリストに組み込まれ、異常を監視するために図４に示すようなシステムが作業ブース内に設置される。

図８は作業ブースを示すものであるが、所望の実装形態に応じて他の環境が利用されてもよく、本開示は、それに限定されるものではない。そのような環境の例は、オフィス、会議室、共有エリア、ラウンジなどを含むことができる。

詳細な説明のいくつかの部分は、コンピュータ内の動作のアルゴリズム及び記号表現に関して提示される。これらのアルゴリズム記述及び記号表現は、その技術革新の本質を当業者に伝えるために、情報処理技術における当業者によって使用される手段である。アルゴリズムは、所望の最終状態又は結果をもたらす一連の定義されたステップである。例示的な実装形態において、実行されるステップは、確実な結果を達成するために有形量の物理的操作を必要とする。

特に明記しない限り、説明から明らかなように、本明細書の全体にわたって、「処理（processing）」、「コンピューティング（computing）」、「計算（calculating）」、「判定（determining）」、「表示（displaying）」などの用語を用いた記載は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを、コンピュータシステムのメモリ又はレジスタ、又は他の情報記憶装置、伝送装置若しくは表示装置内の物理量として同様に表される他のデータに、操作及び変換するコンピュータシステム又は他の情報処理装置の動作及び処理を含むことができることが理解されよう。

例示的な実装形態はまた、本明細書における動作を実行するための装置に関するものであってもよい。この装置は、必要な目的のために特別に構成されることができ、又は１又は複数のコンピュータプログラムによって選択的に起動若しくは再構成された１又は複数の汎用コンピュータを含むことができる。そのようなコンピュータプログラムは、コンピュータ可読記憶媒体又はコンピュータ可読信号媒体などのコンピュータ可読媒体に格納されることができる。コンピュータ可読記憶媒体は、これに限定されるものではないが、光ディスク、磁気ディスク、読み出し専用メモリ、ランダムアクセスメモリ、固体装置及びドライブ、又は電子情報を格納するのに適した他の種類の有形若しくは非一時的媒体などの有形媒体を含むことができる。コンピュータ可読信号媒体は、搬送波などの媒体を含むことができる。本明細書において提示されるアルゴリズム及びディスプレイは、いかなる特定のコンピュータ又は他の装置にも本質的に関連するものではない。コンピュータプログラムは、所望の実装形態の動作を実行する命令を含む純粋なソフトウェア実装形態を含むことができる。

様々な汎用システムは、本明細書における例にかかるプログラム及びモジュールと共に使用されることができるか、又は所望の方法ステップを実行するためにより特化した装置を構築するほうが好都合であると認める場合がある。さらに、例示的な実装形態は、任意の特定のプログラミング言語を参照して記載されていない。本明細書に記載されるような例示的な実装形態の教示を実装するために、様々なプログラミング言語が使用されてもよいことが理解される。プログラミング言語の命令は、１又は複数の処理装置、例えば、中央処理装置（ＣＰＵ）、プロセッサ、又はコントローラによって実行されてもよい。

当該技術分野において公知であるように、上述した動作は、ハードウェア、ソフトウェア、又はソフトウェア及びハードウェアのいくつかの組み合わせによって実行されることができる。例示的な実装形態の様々な態様は、回路及び論理デバイス（ハードウェア）を使用して実装されてもよい一方で、他の態様は、プロセッサによって実行された場合にプロセッサに本出願の実装形態を実行するための方法を実行させる機械可読媒体（ソフトウェア）に格納された命令を使用して実装されてもよい。さらに、本出願のいくつかの例示的な実装形態は、ハードウェアでのみ実行されてもよいのに対して、他の例示的な実装形態は、ソフトウェアでのみ実行されてもよい。さらに、記載された様々な機能は、単一ユニットにおいて実行されることができるか、又は任意数の方法で複数のコンポーネントにわたって分散されることができる。ソフトウェアによって実行される場合、本方法は、コンピュータ可読媒体に格納された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてもよい。所望により、命令は、圧縮及び／又は暗号化されたフォーマットで媒体に格納されることができる。

さらに、本出願の他の実装形態は、本出願の明細書を検討し、本発明の教示を実施することにより、当業者にとっては明らかであろう。説明された例示的な実装形態の様々な態様及び／又は構成要素は、単独で又は任意の組み合わせで使用可能である。本明細書及び例示的な実装形態は、あくまでも単に例として考慮されるように意図されており、本出願の真の範囲及び精神は、以下の特許請求の範囲によって示される。

Claims (15)

1. コンピュータに、
   環境に関連付けられたシステムから受信した１又は複数の画像に対して、前記１又は複数の画像に対して行われた前景セグメント化で抽出された１又は複数の関心領域と、前記１又は複数の画像に対して行われた物体検出で抽出された１又は複数の検出された物体とのマッチングに基づいて、異常の検出を示す異常検出を行うステップと、
   前記異常検出に対し前記異常に基づく異常処理命令を実行するステップと、
   を実行させるためのプログラムであって、
   前記環境が、前記環境に存在すると予想される１又は複数の予想物体に関連付けられており、
   前記システムから受信した前記１又は複数の画像に対して異常検出を行うステップが、
   前記１又は複数の関心領域と前記物体検出との前記マッチングで検出されていない前記１又は複数の予想物体の少なくとも１つに対して、前記環境から除去された前記１又は複数の予想物体の前記少なくとも１つを示す第１の指示を介して前記異常の前記検出を示すこと、
   及び、前記環境に関連付けられた前記１又は複数の予想物体の中には存在しない前記マッチングで検出された物体に対して、前記環境に追加された前記物体を示す第２の指示を介した前記異常の前記検出を示すこと、
   を含む、プログラム。
2. 前記異常検出が、前記環境に追加された物体の検出を含み、
   前記異常処理命令が、前記環境に追加された前記物体に関して、前記環境に関連付けられたユーザにメッセージを送信することを含む、
   請求項１に記載のプログラム。
3. 前記異常検出が、前記環境に追加された物体の検出を含み、
   前記異常処理命令が、プロジェクタシステムを作動させて、前記環境に追加された物体に投影するために、前記システムに命令を送信することを含む、
   請求項１に記載のプログラム。
4. 前記異常検出が、前記環境から欠落している物体の検出を含み、
   前記異常処理命令が、警告を送信することを含む、
   請求項１に記載のプログラム。
5. 前記環境が作業ブースである、請求項１に記載のプログラム。
6. ネットワークを介して複数のシステムを管理するように構成された管理装置であって、 前記複数のシステムの各々が、環境に関連付けられており、
   前記管理装置が、
   前記複数のシステムの１つから受信した１又は複数の画像に対して、前記１又は複数の画像に対して行われた前景セグメント化で抽出された１又は複数の関心領域と、前記１又は複数の画像に対して行われた物体検出で抽出された１又は複数の検出された物体とのマッチングに基づいて、異常の検出を示す異常検出を行い、
   前記異常検出に対し前記異常に基づく異常処理命令を実行する、
   ように構成されたプロセッサを備え、
   前記環境が、前記環境に存在すると予想される１又は複数の予想物体に関連付けられ、
   前記プロセッサが、
   前記１又は複数の関心領域と前記物体検出との前記マッチングで検出されていない前記１又は複数の予想物体の少なくとも１つに対して、前記環境から除去された前記１又は複数の予想物体の前記少なくとも１つを示す第１の指示を介して前記異常の前記検出を表示し、
   前記環境に関連付けられた前記１又は複数の予想物体の中には存在しない前記マッチングで検出された物体に対して、前記環境に追加された前記物体を示す第２の指示を介した前記異常の前記検出を示すことにより、
   前記システムから受信した前記１又は複数の画像に対して異常検出を行うように構成された、
   管理装置。
7. 前記異常検出が、前記環境に追加された物体の検出を含み、
   前記異常処理命令が、前記環境に追加された前記物体に関して、前記環境に関連付けられたユーザにメッセージを送信することを含む、
   請求項６に記載の管理装置。
8. 前記異常検出が、前記環境に追加された物体の検出を含み、
   前記異常処理命令が、プロジェクタシステムを作動させて、前記環境に追加された物体に投影するために、前記システムに命令を送信することを含む、
   請求項６に記載の管理装置。
9. 前記異常検出が、前記環境から欠落している物体の検出を含み、
   前記異常処理命令が、警告を送信することを含む、
   請求項６に記載の管理装置。
10. 前記環境が作業ブースである、請求項６に記載の管理装置。
11. 環境に関連付けられたシステムであって、
    カメラシステムと、
    前記カメラシステムから受信した１又は複数の画像に対して、前記１又は複数の画像に対して行われた前景セグメント化で抽出された１又は複数の関心領域と、前記１又は複数の画像に対して行われた物体検出で抽出された１又は複数の検出された物体とのマッチングに基づいて、異常の検出を示す異常検出を行い、
    前記異常検出に対し前記異常に基づく異常処理命令を実行するように構成されたプロセッサと、
    を備え、
    前記環境が、前記環境に存在すると予想される１又は複数の予想物体に関連付けられ、
    前記プロセッサが、
    前記１又は複数の関心領域と前記物体検出との前記マッチングで検出されていない前記１又は複数の予想物体の少なくとも１つに対して、前記環境から除去された前記１又は複数の予想物体の前記少なくとも１つを示す第１の指示を介して前記異常の前記検出を表示し、
    前記環境に関連付けられた前記１又は複数の予想物体の中には存在しない前記マッチングで検出された物体に対して、前記環境に追加された前記物体を示す第２の指示を介した前記異常の前記検出を示すことにより、
    前記カメラシステムから受信した前記１又は複数の画像に対して異常検出を行うように構成された、
    システム。
12. 前記異常検出が、前記環境に追加された物体の検出を含み、
    前記異常処理命令が、前記環境に追加された前記物体に関して、前記環境に関連付けられたユーザにメッセージを送信することを含む、
    請求項１１に記載のシステム。
13. プロジェクタシステムをさらに備え、
    前記異常検出が、前記環境に追加された物体の検出を含み、
    前記異常処理命令が、前記プロジェクタシステムを作動させて、前記環境に追加された物体に投影することを含む、
    請求項１１に記載のシステム。
14. 前記異常検出が、前記環境から欠落している物体の検出を含み、
    前記異常処理命令が、警告を送信することを含む、
    請求項１１に記載のシステム。
15. 前記環境が作業ブースである、請求項１１に記載のシステム。