JP7292883B2

JP7292883B2 - 情報処理装置、プログラム、被画像認識用マーカセット

Info

Publication number: JP7292883B2
Application number: JP2019005321A
Authority: JP
Inventors: 放徐
Original assignee: Sumitomo Heavy Industries Ltd
Current assignee: Sumitomo Heavy Industries Ltd
Priority date: 2019-01-16
Filing date: 2019-01-16
Publication date: 2023-06-19
Anticipated expiration: 2039-01-16
Also published as: JP2020113950A

Description

本発明は、情報処理装置等に関する。

例えば、工場や倉庫等に設置された撮像装置で取得される画像情報に基づき、工場や倉庫等の内部の物体（例えば、作業者、作業用機器、倉庫内の製品等）を認識しながら、工場や倉庫等の内部を監視するシステムが知られている（例えば、特許文献１参照）。

特開２０１２－１７４２２３号公報

ところで、工場や倉庫等の場合、設置環境によっては、例えば、振動等の影響から撮像装置の姿勢が変化する可能性があるため、撮像装置の姿勢変化を監視し、姿勢変化が認識されると、例えば、物体認識に関するパラメータ補正が行われることが望ましい。よって、例えば、工場や倉庫等の内部の壁や柱等の固定部に所定のマーカを予め設置し、撮像装置の画像情報における当該マーカの位置や形状等の変化をモニタリングすることで、撮像装置の姿勢変化が監視される場合がある。

しかしながら、工場や倉庫等の環境によっては、例えば、窓から入る自然光の時間帯による変化や扉の開閉による扉から入る自然光の変化等により照度環境が大きく変化するため、画像情報からマーカの特徴を適切に認識することができない場合が生じうる。つまり、照度環境の大きな変化によって、撮像装置の姿勢変化の監視精度が低下する可能性がある。よって、撮像装置の姿勢変化に関する監視機能の照度環境の変化に対するロバスト性の向上が期待される。

そこで、上記課題に鑑み、撮像装置の姿勢変化に関する監視機能の照度変化に関するロバスト性を向上させることが可能な情報処理装置等を提供することを目的とする。

上記目的を達成するため、本発明の一実施形態では、
相互に反射具合の異なる複数のマーカを含むマーカセットが複数設置された撮像範囲を撮像する撮像装置の撮像画像に基づき、前記撮像装置の撮像画像における複数の前記マーカセットの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定部を備える、
情報処理装置が提供される。

また、本発明の他の実施形態では、
情報処理装置に、
相互に反射具合の異なる複数のマーカを含むマーカセットが複数設置された撮像範囲を撮像する撮像装置の撮像画像に基づき、前記撮像装置の撮像画像における複数の前記マーカセットの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定ステップを実行させる、
プログラムが提供される。

また、本発明の更に他の実施形態では、
第１のマーカと第２のマーカと、を備え、
前記第１のマーカは、相対的に低い反射具合の塗料による相対的に低い明度の色を有する、被認識対象の第１の形状部と、相対的に高い反射具合の塗料による相対的に高い明度の色を有する、前記第１の形状部の背景としての第１の背景部と、を含み、
前記第２のマーカは、相対的に高い反射具合の塗料による相対的に高い明度の色を有する、被認識対象の第２の形状部と、相対的に低い反射具合の塗料による相対的に低い明度の色を有する、前記第２の形状部の背景としての第２の背景部と、を含む、
被画像認識用マーカセットが提供される。

上述の実施形態によれば、撮像装置の姿勢変化に関する監視機能の照度変化に関するロバスト性を向上させることが可能な情報処理装置等を提供することができる。

一実施形態に係る監視システムの一例の概要を示す図である。一実施形態に係る監視システムのハードウェア構成の一例を示す図である。一実施形態に係る監視システムの機能構成の一例を示す機能ブロック図である。マーカの第１例（マーカセット）を示す図である。マーカの第２例を示す図である。監視装置による姿勢変化監視処理の一例を概略的に示すフローチャートである。カメラにより取得される、相互に露光時間の異なる撮像画像群（複数の撮像画像）の一例を示す図である。監視装置によるマーカ位置測定処理の一例を概略的に示すフローチャートである。撮像画像からマーカ領域画像を抽出する過程を示す図である。マーカ位置測定用画像の取得方法の第１例を説明する図である。マーカ位置測定用画像の取得方法の第２例を説明する図である。撮像画像上のマーカ位置の変化の一例を示す図である。

以下、図面を参照して発明を実施するための形態について説明する。

［監視システムの概要］
まず、図１を参照して、本実施形態に係る監視システム１の概要を説明する。

図１は、本実施形態に係る監視システムの一例（監視システム１）の概要を示す図である。

図１に示すように、本実施形態に係る監視システム１は、カメラ１０と、監視装置２０を含む。

カメラ１０（撮像装置の一例）は、例えば、工場や倉庫等の所定の監視空間１００の天井や壁等の相対的に高い位置等に取り付けられる。カメラ１０は、監視空間１００内の所定の監視対象を監視するための画像を撮像し、カメラ１０の撮像画像に基づき、監視空間１００内の監視対象を監視する機能（以下、「空間監視機能」）を有する所定の外部装置に出力する。監視対象は、例えば、作業者、車両、作業機械（例えば、クレーン、フォークリフト）、出荷待ちの製品等が含まれうる。

また、カメラ１０は、例えば、通信ケーブルを通じて監視装置２０と通信可能に接続され、監視装置２０の制御下で、監視空間１００の様子を撮像し、撮像画像を監視装置２０に出力する。また、カメラ１０は、所定の無線通信（例えば、基地局を末端とする移動体通信網に基づく移動体通信や、ＷｉＦｉ或いはブルートゥース（共に、登録商標）等の近距離通信）によって、監視装置２０と通信可能に接続されてもよい。

監視空間１００において、カメラ１０の撮像範囲には、固定的に複数のマーカ３０が設置される。例えば、複数のマーカ３０は、監視空間１００の壁や柱等の移動しない物体（固定部）に設置される。つまり、カメラ１０の撮像画像には、複数のマーカ３０が含まれる（つまり、映っている）。

監視装置２０（情報処理装置の一例）は、カメラ１０の撮像画像に含まれる複数のマーカ３０の時間変化をモニタリングすることで、カメラ１０の姿勢変化を監視する。以下、監視装置２０によるカメラ１０の姿勢変化を監視する機能を「カメラ姿勢変化監視機能」と称する場合がある。監視装置２０は、監視空間１００が存在する建物或いは当該建物の周辺の建物に設置されてもよいし、監視空間１００が存在する建物から相対的に遠く離れた遠隔地に設置されてもよい。監視装置２０は、例えば、デスクトップ型或いはラップトップ型のコンピュータ端末である。また、監視装置２０は、例えば、監視空間１００に対応する工場や倉庫等の施設の遠隔に配置されるサーバ装置であってもよい。

尚、監視装置２０は、空間監視機能を有していてもよい。つまり、空間監視機能とカメラ姿勢変化監視機能は、異なる装置により実現されてもよいし、共通の装置により実現されてもよい。

［監視システム（監視装置）の構成］
次に、図１に加えて、図２、図３を参照して、本実施形態に係る監視システム１（監視装置）の構成について説明する。

図２は、監視装置２０のハードウェア構成の一例を示す図である。図３は、監視システム１の機能構成の一例を示す機能ブロック図である。

監視装置２０の機能は、任意のハードウェア、或いは、ハードウェア及びソフトウェアの組み合わせにより実現されてよい。図２Ｂに示すように、例えば、監視装置２０は、ドライブ装置２１と、補助記憶装置２２と、メモリ装置２３と、ＣＰＵ２４と、インタフェース装置２５と、表示装置２６と、入力装置２７を含み、それぞれがバスＢ２で接続される。

監視装置２０の各種機能を実現するプログラムは、例えば、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、或いは、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記録媒体２１Ａによって提供される。プログラムが記録された記録媒体２１Ａが、ドライブ装置２１にセットされると、プログラムが記録媒体２１Ａからドライブ装置２１を介して補助記憶装置２２にインストールされる。また、プログラムは、通信ネットワークを介して他のコンピュータからダウンロードされ、補助記憶装置２２にインストールされてもよい。

補助記憶装置２２は、インストールされた各種プログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置２３は、プログラムの起動指示があった場合に、補助記憶装置２２からプログラムを読み出して格納する。

ＣＰＵ２４は、メモリ装置２３に格納された各種プログラムを実行し、プログラムに従って監視装置２０に係る各種機能を実現する。

インタフェース装置２５は、通信ネットワーク（例えば、通信ネットワークＮＷ１，ＮＷ２）に接続するためのインタフェースとして用いられる。

表示装置２６は、例えば、ＣＰＵ２４で実行されるプログラムに従って、ＧＵＩ（Graphical User Interface）を表示する。

入力装置２７は、監視装置２０に関する様々な操作指示を監視装置２０の作業者や管理者等に入力させるために用いられる。

監視装置２０は、例えば、補助記憶装置２２にインストールされる一以上のプログラムをＣＰＵ２４上で実行することにより実現される機能部として、撮像制御部２０１と、マーカ位置測定部２０２と、カメラ姿勢変化測定部２０３と、エラー検出部２０４を含む。

撮像制御部２０１は、カメラ１０に制御指令を出力し、カメラ１０に撮像画像を取得させる。

マーカ位置測定部２０２は、カメラ１０の撮像画像上における複数のマーカ３０の位置を測定する。具体的には、マーカ位置測定部２０２は、カメラ１０の撮像画像上におけるマーカ３０の所定の代表位置（例えば、形状部の中心位置）を測定する。

カメラ姿勢変化測定部２０３（姿勢変化測定部の一例）は、マーカ位置測定部２０２により測定される、カメラ１０の撮像画像上における複数のマーカ３０の位置の時間変化に基づき、カメラ１０の姿勢の変化を測定する。

空間監視機能が監視装置２０により実現される場合、カメラ姿勢変化測定部２０３は、測定結果を空間監視機能に関する構成要素（機能部）に送信する。これにより、空間監視機能に関する構成要素は、測定結果に基づき、カメラ１０の撮像画像に基づき監視対象を監視する際のパラメータを補正する必要があるか否かを判断したり、補正の必要がある場合に、補正をしたりすることができる。

また、空間監視機能が監視装置２０以外の外部装置により実現される場合、カメラ姿勢変化測定部２０３は、測定結果を当該外部装置に送信する。これにより、外部装置は、測定結果に基づき、カメラ１０の撮像画像に基づき監視対象を監視する際のパラメータを補正する必要があるか否かを判断したり、補正の必要がある場合に、補正をしたりすることができる。

エラー検出部２０４は、カメラ姿勢変化測定機能に関する所定のエラー（例えば、カメラ１０の姿勢変化を測定することができない測定不能エラーや、カメラ１０の姿勢変化の測定精度が相対的に低下している測定精度低下エラー等）を検出する。

［マーカの具体例］
次に、図４（図４Ａ、図４Ｂ）を参照して、マーカ３０の具体例について説明する。

＜マーカの第１例＞
まず、図４Ａを参照して、マーカ３０の第１例について説明する。

図４Ａは、マーカ３０の第１例を示す図である。

図４Ａに示すように、マーカ３０は、二つのマーカ３０Ａ，３０Ｂを含む。つまり、マーカ３０は、一組のマーカ３０Ａ，３０Ｂにより構成される。以下、本例のマーカ３０を便宜的に「マーカセット３０」と称する。

マーカ３０Ａは、形状部３０Ａａと、背景部３０Ｂｂを含む。

形状部３０Ａａは、マーカセット３０（マーカ３０Ａ）が被写体としてカメラ１０により撮像される撮像画像における画像認識の対象である。形状部３０Ａａは、例えば、幾何学形状（本例では、４つの正方形の組み合わせ）により構成される。形状部３０Ａａは、被写体としてカメラ１０により撮像される撮像画像上において、背景部３０Ａｂとの間で相対的に大きな輝度勾配（輝度差）が生じるように構成される。本例では、相対的に濃い色、つまり、明度の低い色（本例では、黒）で構成される。これにより、形状部３０Ａａは、相対的に淡い色、つまり、明度の高い色（本例では、白）の背景部３０Ａｂとのコントラストによって、被写体としてカメラ１０により撮像される撮像画像上で画像認識され易くなる。また、形状部３０Ａａは、反射具合が相対的に低くなるように構成される。例えば、形状部３０Ａａは、吸光材、具体的には、吸光性を有する塗料等により形成されてよい。これにより、相対的に照度が高い環境下であっても、カメラ１０の撮像画像における形状部３０Ａａのエッジがぼけてしまうような事態を抑制することができる。つまり、マーカ３０Ａは、相対的に照度が高い環境下において、画像認識され易く構成される。

尚、形状部３０Ａａとして組み合わせられる正方形等の幾何学形状の数は、カメラ１０
の撮像画像上における画像認識が可能であれば、３つ以下であってもよいし、５つ以上であってもよい。以下、マーカ３０Ｂ及びマーカ３０の第２例の場合についても同様である。

背景部３０Ａｂは、画像認識の対象である形状部３０Ａａの背景を構成する。背景部３０Ａｂは、被写体としてカメラ１０により撮像される撮像画像上において、形状部３０Ａａとの間に相対的に大きな輝度勾配（輝度差）が生じるように構成される。本例では、背景部３０Ａｂは、相対的に明度の高い色（本例では、白）で構成される。また、背景部３０Ａｂは、反射具合が相対的に高くなるように構成される。例えば、形状部３０Ａａは、乱反射材、具体的には、乱反射性を有する塗料等により形成されてよい。これにより、カメラ１０の撮像画像上において、形状部３０Ａａと背景部３０Ａｂとの境界、つまり、形状部３０Ａａのエッジを明確に見せることができ、形状部３０Ａａが更に画像認識され易くなる。

マーカ３０Ｂは、マーカ３０Ａと同様に、形状部３０Ｂａと、背景部３０Ｂｂを含む。

形状部３０Ｂａは、マーカセット３０（マーカ３０Ｂ）が被写体としてカメラ１０により撮像される撮像画像における画像認識の対象である。形状部３０Ｂａは、マーカ３０Ａの場合と同様、例えば、幾何学形状（本例では、４つの正方形の組み合わせ）により構成される。形状部３０Ｂａは、被写体としてカメラ１０により撮像される撮像画像上において、背景部３０Ｂｂとの間で相対的に大きな輝度勾配（輝度差）が生じるように構成される。本例では、形状部３０Ｂａは、相対的に明度の高い色（本例では、白）で構成される。これにより、形状部３０Ｂａは、相対的に明度の低い色（本例では、黒）の背景部３０Ｂｂとのコントラストによって、被写体としてカメラ１０により撮像される撮像画像上で画像認識され易くなる。また、形状部３０Ｂａは、反射具合が相対的に高くなるように構成される。例えば、形状部３０Ｂａは、乱反射材、具体的には、乱反射性を有する塗料等により形成されてよい。これにより、相対的に照度が低い環境下であっても、カメラ１０の撮像画像における形状部３０Ａａのエッジを際立たせることができる。つまり、マーカ３０Ａは、相対的に照度が低い環境下において、画像認識され易く構成される。

背景部３０Ｂｂは、画像認識の対象である形状部３０Ｂａの背景を構成する。背景部３０Ｂｂは、被写体としてカメラ１０により撮像される撮像画像上において、形状部３０Ｂａとの間に相対的に大きな輝度勾配（輝度差）が生じるように構成される。本例では、背景部３０Ｂｂは、相対的に明度の低い色（本例では、黒）で構成される。また、背景部３０Ｂｂは、反射具合が相対的に低くなるように構成される。例えば、形状部３０Ｂａは、吸光材、具体的には、吸光性を有する塗料等により形成されてよい。これにより、カメラ１０の撮像画像上において、形状部３０Ｂａと背景部３０Ｂｂとの境界、つまり、形状部３０Ｂａのエッジを明確に見せることができ、形状部３０Ｂａが更に画像認識され易くなる。

このように、本例では、マーカセット３０は、反射具合の異なる２つのマーカ３０Ａ，３０Ｂにより構成される。つまり、マーカセット３０は、相対的に照度が高い環境下でカメラ１０により撮像される撮像画像で画像認識され易いマーカ３０Ａと、相対的に照度が低い環境下でカメラ１０により撮像される撮像画像で画像認識され易いマーカ３０Ｂにより構成される。これにより、マーカ３０Ａ，３０Ｂを予め規定される相対位置関係で監視空間１００の壁や柱等の固定部に設置されることにより、監視空間１００の照度環境が大きく変化する状況であっても、マーカ３０Ａ，３０Ｂの何れかが画像認識される可能性が高くなる。つまり、マーカ３０Ａ，３０Ｂは、監視装置２０によるマーカ３０Ａ，３０Ｂの画像認識処理の照度環境の変化に関するロバスト性を向上させることができる。

尚、マーカセット３０は、相互に反射具合の異なる３以上のマーカを含んでいてもよい。

＜マーカの第２例＞
続いて、図４Ｂを参照して、マーカ３０の第２例について説明する。

図４Ｂは、マーカ３０の第２例を示す図である。

図４Ｂに示すように、マーカ３０は、形状部３０ａと、背景部３０ｂと、変化部３０ｃを含む。

形状部３０ａは、マーカ３０が被写体としてカメラ１０により撮像される撮像画像における画像認識の対象である。形状部３０ａは、例えば、幾何学形状（本例では、４つの正方形の組み合わせ）により構成される。形状部３０ａは、被写体としてカメラ１０により撮像される撮像画像上において、背景部３０ｂとの間で相対的に大きな輝度勾配（輝度差）が生じるように構成される。本例では、相対的に明度の低い色（本例では、黒）で構成される。これにより、形状部３０ａは、相対的に明度の高い色（本例では、白）の背景部３０ｂとのコントラストによって、被写体としてカメラ１０により撮像される撮像画像上で画像認識され易くなる。

背景部３０ｂは、画像認識の対象である形状部３０ａの背景を構成する。背景部３０ｂは、被写体としてカメラ１０により撮像される撮像画像上において、形状部３０ａとの間に相対的に大きな輝度勾配（輝度差）が生じるように構成される。本例では、背景部３０ｂは、相対的に明度の高い色（本例では、白）で構成される。

変化部３０ｃは、マーカ３０が被写体としてカメラ１０により撮像される撮像画像において、撮像範囲（監視空間１００）の照度環境やカメラ１０の露光時間等により見え方が変化する構成要素である。本例では、変化部３０ｃは、変化部３０ｃ１，３０ｃ２を含む。

変化部３０ｃ１は、マーカ３０の上端部（形状部３０ａの上）に設けられる。変化部３０ｃ１は、形状部３０ａと同じ色（つまり、黒）の背景上に、左から右に架けて背景部３０ｂの色（つまり、白）から形状部３０ａの色（つまり、黒）に変化する線形グラデーションを表すグラデーションバーである。

変化部３０ｃ２は、マーカ３０の下端部（形状部３０ａの下）に設けられる。変化部３０ｃ２は、背景部３０ｂと同じ色（つまり、白）の背景上に、変化部３０ｃ１と同様、左から右に架けて背景部３０ｂの色（つまり、白）から形状部３０ａの色（つまり、黒）に変化する線形グラデーションを表すグラデーションバーである。

尚、変化部３０ｃ１，３０ｃ２のうちの何れか一方は省略されてもよい。

形状部３０ａと背景部３０ｂとの間の線形グラデーションを表すグラデーションバーは、撮像範囲の照度環境やカメラ１０の露光時間によって、カメラ１０の撮像画像上における見え方が変化する。よって、監視装置２０（マーカ位置測定部２０２）は、後述の如く、相互に異なる露光時間の異なる複数の撮像画像ごとに、変化部３０ｃ（グラデーションバー）の見え方が、形状部３０ａの画像認識に適した見え方か否かを判断することができる。

このように、本例では、マーカ３０に、カメラ１０の露光時間の変化に応じて、カメラ１０の撮像画像上における見え方が変化する変化部３０ｃが設けられる。これにより、マーカ３０は、相互に露光時間の異なる複数の撮像画像の中でマーカ３０の画像認識に適した撮像画像を選択させることができる。よって、マーカ３０は、監視装置２０によるマーカ３０Ａ，３０Ｂの画像認識処理の照度環境の変化に関するロバスト性を向上させることができる。

［カメラの姿勢変化の測定方法の概要］
次に、図５、図６を参照して、カメラ１０の姿勢変化の測定方法の概要を説明する。

図５は、監視装置２０によるカメラ１０の姿勢変化を監視する処理（以下、「姿勢変化監視処理」）の一例を概略的に示すフローチャートである。図６は、カメラ１０により取得される、相互に露光時間の異なる撮像画像群（複数の撮像画像）の一例を示す図である。

図５に示すように、ステップＳ１０２にて、撮像制御部２０１は、カメラ１０に制御指令を出力し、相互に露光時間の異なる複数の撮像画像（例えば、３枚～５枚の撮像画像）をカメラ１０に撮像させ、ステップＳ１０４に進む。

例えば、図６に示すように、カメラ１０は、相互に露光時間の異なる３枚の撮像画像６１０～６３０を取得する。これにより、カメラ１０は、マーカ３０の見え方が異なる撮像画像６１０～６３０を取得できる。

図５に戻り、ステップＳ１０４にて、マーカ位置測定部２０２は、カメラ１０により撮像される、相互に異なる露光時間の複数の撮像画像に基づき、撮像画像における複数のマーカ３０の位置（つまり、初期位置）を測定する処理（マーカ位置測定処理）を行い、ステップＳ１０６に進む。マーカ位置測定処理の詳細は、後述する。

ステップＳ１０６にて、マーカ位置測定部２０２は、測定された複数のマーカ３０の位置を初期位置として補助記憶装置２２等に保存し（記憶させ）、ステップＳ１０８に進む。

ステップＳ１０８にて、撮像制御部２０１は、カメラ１０の姿勢変化の測定タイミング（以下、単に「測定タイミング」）が到来したか否かを判定する。測定タイミングは、例えば、毎日或いは所定日ごと等の予め規定された時刻であってよい。撮像制御部２０１は、測定タイミングが到来していない場合、測定タイミングが到来するまで待機し、測定タイミングが到来した場合、ステップＳ１１０に進む。

ステップＳ１１０にて、撮像制御部２０１は、ステップＳ１０２と同様、カメラ１０に制御指令を出力し、相互に露光時間の異なる複数の撮像画像をカメラ１０に撮像させ（図６参照）、ステップＳ１１２に進む。

ステップＳ１１２にて、マーカ位置測定部２０２は、カメラ１０により撮像される、相互に異なる露光時間の複数の撮像画像に基づき、撮像画像における複数のマーカ３０の位置（つまり、現在位置）を測定する処理マーカ位置測定処理を行い、ステップＳ１１４に進む。

ステップＳ１１４にて、カメラ姿勢変化測定部２０３は、ステップ１１２で測定された、撮像画像における複数のマーカ３０の現在位置と、ステップＳ１０２で測定された（ステップＳ１０６で保存された）、撮像画像における複数のマーカ３０の初期位置とに基づき、カメラ１０の姿勢の変化を測定し、ステップＳ１１６に進む。また、カメラ姿勢変化測定部２０３は、本ステップの処理が過去に実施済みである場合、今回のステップＳ１１２で測定された、撮像画像における複数のマーカ３０の現在位置と、前回のステップＳ１１２で測定された、撮像画像における複数のマーカ３０の過去位置とに基づき、カメラ１０の姿勢変化を測定してもよい。

ステップＳ１１６にて、エラー検出部２０４は、各種エラーを検出したか否かを判定する。エラー検出部１１６は、エラーを検出した場合、ステップＳ１１８に進み、エラーを検出していない場合、ステップＳ１０８に戻る。

ステップＳ１１８にて、エラー検出部２０４は、表示装置２６等を通じて、アラートを出力し、今回の処理を終了する。

このように、監視装置２０は、エラーが検出されない限り、所定の測定タイミングごとに、カメラ１０の姿勢の変化を測定し、カメラ姿勢変化監視機能を実現する。

［マーカ位置測定処理の詳細］
次に、図７～図９（図９Ａ、図９Ｂ）を参照して、マーカ位置測定処理（図５のステップＳ１０４，Ｓ１１２）の詳細を説明する。

図７は、監視装置２０によるマーカ位置測定処理の一例を概略的に示すフローチャートである。図８は、カメラ１０の撮像画像からマーカセット３０（マーカ３０Ａ，３０Ｂ）の領域の局所画像（以下、「マーカ領域画像」）を抽出する過程を示す図である。図９Ａ、図９Ｂは、それぞれ、マーカセット３０の位置を測定するための画像（以下、「マーカ位置測定用画像」）取得する方法の第１例及び第２例を説明する図である。

＜マーカ位置測定処理の第１例＞
まず、図７、図８、図９Ａを参照して、マーカ位置測定処理の第１例について説明する。具体的には、上述した図４Ａのマーカセット３０が採用される場合のマーカ位置測定処理について説明する。

図７に示すように、ステップＳ２０２にて、マーカ位置測定部２０２は、相互に露光時間の異なる撮像画像ごとに、複数のマーカセット３０のそれぞれを含むと想定される領域の画像（以下、「マーカ大域画像」）を抽出する。例えば、マーカ位置測定部２０２は、複数のマーカセット３０ごとに予め規定される撮像画像の座標範囲に沿って、マーカ大域画像を抽出する（つまり、切り出す）。複数のマーカセット３０の設置場所が既知であるため、撮像画像上の複数のマーカセット３０が含まれる大雑把な位置を規定することができるからである。これにより、複数のマーカセット３０ごとに、相互に露光時間の異なる複数のマーカ大域画像が取得される。

ステップＳ２０４にて、マーカ位置測定部２０２は、複数のマーカセット３０ごとに、形状計測等の既知の方法によって、マーカ大域画像からマーカセット３０が略占有する領域の画像（以下、「マーカ領域画像」）を抽出する。このとき、マーカ位置測定部２０２は、相互に露光時間の異なる複数の画像のそれぞれについて、形状計測等の方法を実施する必要はない。具体的には、マーカ位置測定部２０２は、マーカ領域画像の抽出に適した一の撮像画像で形状計測等によりマーカ領域画像を抽出し、他の撮像画像については、同じ座標範囲をマーカ領域画像として抽出すればよい。これにより、複数のマーカセットごとに、相互に露光時間の異なる複数のマーカ領域画像が取得される。

例えば、図８に示すように、マーカ位置測定部２０２は、撮像画像８１０から予め規定された座標範囲８１１を切り出すことにより、マーカ大域画像８２０を抽出する（ステップＳ２０２）。そして、マーカ位置測定部２０２は、形状計測等の方法を適用し、マーカ３０（マーカセット３０）が略占有する領域８２１を切り出し、マーカ領域画像８３０を抽出する（ステップＳ２０４）。

図７に戻り、ステップＳ２０６にて、マーカ位置測定部２０２は、複数のマーカ３０Ａ及び複数のマーカ３０Ｂごとに、相互に露光時間の異なる複数のマーカ領域画像の中から、マーカ３０の位置の測定に最も適したマーカ領域画像（マーカ位置測定用画像）を取得する。具体的には、マーカ位置測定部２０２は、相互に露光時間の異なる複数のマーカ領域画像ごとに、マーカ３０Ａ，３０Ｂの輝度に関する統計情報や形状情報等に基づき、マーカ３０Ａ，３０Ｂの撮像画像上における認識し易さを判断するための特徴量を取得し、取得した特徴量に基づき、マーカ位置測定用画像を取得する。

例えば、図９Ａに示すように、マーカ位置測定部２０２は、マーカ３０Ａの相互に露光時間の異なるマーカ領域画像９１０，９２０，９３０が取得された場合に、それぞれに対応する画像ヒストグラム（輝度ヒストグラム）９１５，９２５，９３５を算出する。そして、マーカ位置測定部２０２は、画像ヒストグラム９１５，９２５，９３５に基づき、マーカ位置測定用画像を取得する。例えば、マーカ位置測定部２０２は、ヒストグラムの輝度に対応するｘ座標と、ピクセル数に対応するｙ座標との積の和が最小になるヒストグラムに対応するマーカ領域画像をマーカ位置測定用画像として取得してよい。

図７に戻り、ステップＳ２０８にて、マーカ位置測定部２０２は、複数のマーカ３０Ａ及び複数のマーカ３０Ｂごとに、取得されたマーカ位置測定用画像に基づき、マーカ３０Ａ，３０Ｂの位置を測定する。例えば、マーカ位置測定部２０２は、マーカ位置測定用画像と、補助記憶装置２２等に予め準備されるマーカ３０Ａ，３０Ｂの形状を表すデジタルデータ（例えば、ＣＡＤ（Computer Aided Design）データ）とのパターンマッチングによって、カメラ１０の撮像画像（マーカ位置測定用画像）におけるマーカ３０Ａ，３０Ｂの形状部３０Ａａ，３０Ｂａの中心位置を測定してよい。これにより、マーカ位置測定部２０２は、より精度良く、マーカ３０Ａ，３０Ｂの位置（形状部３０Ａａ，３０Ｂａの中心位置）を測定することができる。

尚、上述の図４Ａのマーカセット３０が用いられる場合、標準的な露光時間で取得された一枚の撮像画像に基づき、マーカ大域画像、マーカ領域画像（マーカ位置測定用画像）が取得されてもよい。マーカセット３０には、相互に画像認識がされ易い照度環境が異なる複数のマーカが含まれるため、撮像画像が取得されるタイミングによって、照度環境が大きく変化し得る状況であっても、マーカ位置測定部２０２は、マーカセット３０に含まれる複数のマーカの何れかを適切に認識できる可能性が高く、結果として、マーカセット３０の位置を認識することができるからである。

＜マーカ位置測定処理の第２例＞
続いて、図７、図８、図９Ｂを参照して、マーカ位置測定処理の第２例について説明する。

図７のステップＳ２０２、Ｓ２０４の処理は、上述の第１例の場合と同様であるため、説明を省略する。

ステップＳ２０６にて、マーカ位置測定部２０２は、複数のマーカ３０ごとに、相互に露光時間の異なる複数のマーカ領域画像から、マーカ位置測定用としての合成画像を取得（生成）する。

例えば、図９Ｂに示すように、マーカ位置測定部２０２は、相互に露光時間が異なるマーカ領域画像９４０，９５０，９６０が取得された場合に、マーカ領域画像９４０，９５０，９６０からＨＤＲ（High Dynamic Range）画像９７０を取得する。これにより、マーカ位置測定部２０２は、マーカ３０の特徴を際立たせることができるため、監視空間１００の照度環境が相対的に大きく変化する状況であっても、マーカ３０の形状部３０ａ等を相対的に認識し易くなり、マーカ３０の位置測定精度を向上させることができる。

マーカ位置測定部２０２は、相互に露光時間の異なる全てのマーカ領域画像から合成画像を生成してもよいし、相互に露光時間の異なる複数のマーカ領域画像の中から、マーカ３０の画像認識に適した、つまり、マーカ３０が相対的に画像認識され易い態様で含まれている二以上のマーカ領域画像を抽出し、合成画像を生成してもよい。後者の場合、マーカ位置測定部２０２は、マーカ３０の変化部３０ｃのマーカ領域画像上における見え方に基づき、マーカ３０の画像認識に適したマーカ領域画像を抽出する。具体的には、マーカ位置測定部２０２は、マーカ領域画像上の変化部３０ｃと、画像認識に適した変化部３０ｃの見え方に対応する基準画像データとの比較により、マーカ３０の画像認識に適したマーカ領域画像を抽出してよい。

図７に戻り、ステップＳ２０８の処理は、上述の第１例の場合と同様であるため、説明を省略する。

尚、上述の図４Ｂのマーカ３０が用いられる場合、マーカ位置測定部２０２は、ＨＤＲ画像を生成してもよい。つまり、マーカ位置測定部２０２は、相互に露光時間の異なる複数のマーカ領域画像の中から選択される、マーカ３０の画像認識（つまり、位置の測定）に最も適した撮像画像をそのまま用いて、マーカ３０の位置を測定してもよい。

［カメラ姿勢変化測定処理の詳細］
次に、図１０を参照して、カメラ姿勢変化測定処理（図５のステップＳ１１４）の詳細を説明する。以下、本説明では、図４Ａのマーカセット３０及び図４Ｂのマーカを総括的にマーカ３０と称し、説明を進める。

図１０は、撮像画像上のマーカ３０の位置の変化の一例を示す図である。

カメラ姿勢変化測定部２０３は、複数のマーカ３０のうちの二つのマーカ３０（以下、対象マーカ）の現在位置及び過去の位置（例えば、図５のステップＳ１０４で取得される初期位置或いは前回のステップＳ１１２で取得されたマーカ３０の位置）に基づき、カメラ１０の姿勢の変化を測定する。具体的には、カメラ姿勢変化測定部２０３は、カメラ１０の上下方向の変位（以下、「ｘ変位」）ｄｘ、左右方向の変位（以下、「ｙ変位」）ｄｙ、ロール方向の回転変位（以下、「ロール変位」）ｒ、ヨー方向の回転変位（以下、「ヨー変位」）ｙａｗ、及びピッチング方向の回転変位（以下、「ピッチ変位」）ｐｉｔｃｈを測定する。

例えば、図１０に示すように、カメラ１０の撮像画像１０００におけて、左上のマーカ３０が（ｘ_０，ｙ_０）の画素座標から（Ｘ_０，Ｙ_０）の画素座標に（左下方向に）変位し、右下のマーカ３０が画素座標（ｘ_１，ｙ_１）から（Ｘ_１，Ｙ_１）の画素座標に（右下方向に）変位している場合、カメラ１０のロール変位ｒ、ｘ変位ｄｘ、ｙ変位ｄｙ、ヨー変位ｙａｗ、及びピッチ変位ｐｉｔｃｈは、次の式（１）～（５）で表される。

尚、式（４）のｐ_ｘ及び式（５）のｐ_ｙは、それぞれ、カメラ１０の撮像画像の上下方向（縦方向）及び左右方向（横方向）のそれぞれの画素サイズを表す。また、式（４）、（５）のｆは、カメラ１０のレンズ焦点距離を表す。また、式（１）～（３）のｍは、以下の式（６）で表される。

また、カメラ姿勢変化測定部２０３は、マーカ３０が３以上設置される場合、二つの対象マーカの組み合わせを複数設定し、組み合わせごとに、カメラ１０の姿勢の変化を測定してもよい。この場合、カメラ姿勢変化測定部２０３は、組み合わせごとの測定結果に統計的処理（例えば、クラスタリング処理、平均値の算出処理、中央値の算出処理等）を施すことで、カメラ１０の姿勢の変化を算出してよい。

［本実施形態の作用］
次に、本実施形態に係る監視システム１（監視装置２０）及びマーカ（マーカセット）３０の作用について説明する。

本実施形態では、カメラ姿勢変化測定部２０３は、相互に異なる照度環境で相対的に画像認識され易い複数のマーカ（マーカ３０Ａ，３０Ｂ）を含むマーカセット３０が固定的に複数設置された撮像範囲を撮像するカメラ１０の撮像画像に基づき、カメラ１０の撮像画像における複数のマーカセット３０の位置の時間変化を測定することにより、カメラ１０の姿勢の変化を測定してよい。

これにより、監視装置２０は、複数のマーカセット３０ごとに、マーカセット３０に含まれる複数のマーカの中から撮像画像が取得されたときの撮像範囲の照度環境における画像認識に適したマーカを選択することができる。そのため、監視装置２０は、撮像画像の取得タイミングごとに、撮像範囲の照度環境が相対的に大きく変化してしまうような状況であっても、複数のマーカの何れかを認識し、複数のマーカセット３０の位置の時間変化により、カメラ１０の姿勢変化を測定することができる。よって、監視装置２０は、カメラ姿勢変化監視機能の照度変化に関するロバスト性を向上させることができる。

また、本実施形態では、カメラ姿勢変化測定部２０３は、空間監視機能のためのカメラ１０の撮像画像と露光時間の異なる、カメラ１０の撮像画像に基づき、複数のマーカセット３０の位置の時間変化を測定することにより、カメラ１０の姿勢の変化を測定してよい。

これにより、監視装置２０は、カメラ姿勢変化監視機能における複数のマーカセット３０の画像認識に適した露光時間の撮像画像を用いて、カメラ１０の姿勢の変化を測定することできる。よって、監視装置２０は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。

また、本実施形態では、カメラ姿勢変化測定部２０３は、カメラ１０により所定のタイミングごとに取得される、相互に露光時間が異なる複数の撮像画像に基づき、カメラ１０の撮像画像における複数のマーカセット３０の位置の時間変化を測定してよい。

これにより、監視装置２０は、相互に露光時間の異なる撮像画像の中から選択される、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット３０の画像認識に適した撮像画像を用いて、カメラ１０の姿勢の変化を測定することができる。よって、監視装置２０は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。

また、本実施形態では、マーカ位置測定部２０２は、カメラ１０の撮像画像において、マーカセット３０に含まれる複数のマーカ（マーカ３０Ａ，３０Ｂ）のうちの相対的に画像認識され易い一又は二以上のマーカの位置に基づき、マーカセットの位置を測定してよい。

これにより、監視装置２０は、具体的に、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット３０の画像認識に適した撮像画像を用いて、カメラ１０の姿勢の変化を測定することができる。

また、本実施形態では、マーカ位置測定部２０２は、カメラ１０の撮像画像において、マーカセット３０に含まれる複数のマーカ（マーカ３０Ａ，３０Ｂ）のそれぞれに対応する画像部分のヒストグラムに基づき、相対的に画像認識され易い一又は二以上のマーカを抽出する。そして、マーカ位置測定部２０２は、カメラ１０の撮像画像において、マーカセット３０に含まれる複数のマーカから抽出した一又は二以上のマーカの位置に基づき、マーカセットの位置を測定する。

これにより、監視装置２０は、相互に露光時間が異なる複数の撮像画像の中から、具体的に、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット３０の画像認識に適した撮像画像を抽出することができる。

また、本実施形態では、マーカセット３０は、相互に反射具合の異なる複数のマーカ（マーカ３０Ａ，３０Ｂ）を含む。

これにより、マーカセット３０は、被写体としてカメラ１０により撮像された撮像画像内において、設置場所における照度環境の変化に合わせて、画像認識がされ易いマーカを変化させることができる。そのため、マーカセット３０は、設置場所の照度環境が相対的に大きく変化する状況であっても、被写体としてカメラ１０により撮像された撮像画像内において、画像認識され易くなる。よって、マーカセット３０は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。

また、本実施形態では、マーカセット３０に含まれる複数のマーカのうちの二つのマーカ（マーカ３０Ａ，３０Ｂ）は、互いに、画像認識の対象の形状部及び形状部の背景を構成する背景部の色が反転している。

これにより、マーカセット３０は、具体的に、二つのマーカの相互間の反射具合を異ならせることができる。

また、本実施形態では、マーカセット３０に含まれる複数のマーカのうちの二つのマーカ（マーカ３０Ａ，３０Ｂ）は、互いに、画像認識の対象の形状部と、形状部の背景を構成する背景部との間の相対的な反射具合が反転している。

また、本実施形態では、カメラ姿勢変化測定部２０３は、複数のマーカ３０が固定的に設置された撮像範囲を撮像するカメラ１０の、所定のタイミングごとに取得される相互に露光時間の異なる複数の撮像画像に基づき、カメラ１０の撮像画像における複数のマーカ３０の位置の時間変化を測定することにより、カメラ１０の姿勢の変化を測定してよい。

これにより、監視装置２０は、例えば、相互の露光時間の異なる複数の撮像画像から複数のマーカの特徴を認識し易い撮像画像を選択したり、複数のマーカの特徴を認識し易い合成画像生成したりすることができる。そのため、監視装置２０は、撮像画像の取得タイミングごとに、照度環境が大きく変化してしまうような状況であっても、複数のマーカを適切に認識し、複数のマーカの位置の時間変化により、カメラ１０の姿勢の変化を測定することができる。よって、監視装置２０は、カメラ姿勢変化測定機能の照度変化に関するロバスト性を向上させることができる。

また、本実施形態では、カメラ姿勢変化測定部２０３は、相互に露光時間の異なる複数の撮像画像から生成される合成画像（ＨＤＲ画像）に基づき、カメラ１０の撮像画像における複数のマーカ３０の位置の時間変化を測定することにより、カメラ１０の姿勢の変化を測定してよい。

これにより、監視装置２０は、撮像画像の取得タイミングごとに、照度環境が大きく変化してしまうような状況であっても、相互の露光時間の異なる複数の撮像画像から生成される複数のマーカの特徴を認識し易い合成画像を用いて、複数のマーカを適切に認識することができる。

また、本実施形態では、カメラ姿勢変化測定部２０３は、相互に露光時間の異なる複数の撮像画像のうちの複数のマーカ３０が相対的に画像認識され易い態様で含まれる二以上の撮像画像から生成される合成画像（ＨＤＲ画像）に基づき、カメラ１０の撮像画像における複数のマーカ３０の位置の時間変化を測定してよい。

これにより、監視装置２０は、複数のマーカの特徴をより認識し易い合成画像（ＨＤＲ画像）を用いることができる。よって、監視装置２０は、カメラ姿勢変化測定機能の照度変化に関するロバスト性を更に向上させることができる。

また、本実施形態では、複数のマーカ３０は、それぞれ、画像認識の対象の形状部とは別に、露光時間の変化に応じて、カメラ１０の撮像画像における見え方が変化する変化部を含む。そして、マーカ位置測定部２０２は、複数の撮像画像における複数のマーカ３０の変化部の見え方に基づき、相互に露光時間が異なる複数の撮像画像の中から、複数のマーカ３０が相対的に画像認識され易い態様で含まれる撮像画像を抽出してよい。

これにより、監視装置２０は、カメラ１０の撮像画像における変化部の見え方に基づき、具体的に、複数のマーカ３０が画像認識され易いかどうかを判断し、合成画像の生成に適した撮像画像を抽出することができる。

また、本実施形態では、カメラ姿勢変化測定部２０３は、空間監視機能のためのカメラ１０の撮像画像と露光時間の異なる、カメラ１０の撮像画像に基づき、複数のマーカ３０の位置の時間変化を測定することにより、カメラ１０の姿勢の変化を測定してよい。

これにより、監視装置２０は、カメラ姿勢変化監視機能における複数のマーカ３０の画像認識に適した露光時間の撮像画像を用いて、カメラ１０の姿勢の変化を測定することできる。よって、監視装置２０は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。

また、本実施形態では、マーカ位置測定部２０２は、相互に露光時間の異なる複数の撮像画像から生成される合成画像（ＨＤＲ画像）に基づき、複数のマーカ３０の形状を表すデジタルデータ（ＣＡＤデータ）に対するパターンマッチングによって、カメラ１０の撮像画像における複数のマーカ３０の位置を測定してよい。

これにより、監視装置２０は、カメラ１０の撮像画像上において、複数のマーカ３０の位置をより精度よく測定することができる。よって、監視装置２０は、カメラ１０の姿勢の変化の測定精度を向上させることができる。

また、本実施形態では、マーカ３０は、画像認識の対象の形状部３０ａと、カメラ１０の露光時間の変化に応じて撮像画像上での見え方が変化する変化部３０ｃと、を含む。

これにより、マーカ３０は、カメラ１０の撮像画像における変化部の見え方に基づき、カメラ１０により撮像された、相互に露光時間が異なる複数の撮像画像の中からマーカ３０の画像認識に適した撮像画像を監視装置２０に認識させることができる。よって、マーカ３０は、監視装置２０のカメラ姿勢変化監視機能の照度変化に対するロバスト性を向上させることができる。

また、本実施形態では、変化部３０ｃは、形状部３０ａの色と背景部３０ｂの色との間の線形グラデーションを表すグラデーションバーである。

これにより、マーカ３０は、具体的に、カメラ１０の露光時間の変化に応じて、カメラ１０の撮像画像における変化部３０ｃの見え方を変化させることができる。

以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１監視システム
１０カメラ
２０監視装置（情報処理装置）
３０マーカセット（被画像認識用マーカセット）
３０Ａ，３０Ｂマーカ
２０１撮像制御部
２０２マーカ位置測定部
２０３カメラ姿勢変化測定部（姿勢変化測定部）
２０４エラー検出部

Claims

相互に反射具合の異なる複数のマーカを含むマーカセットが複数設置された撮像範囲を撮像する撮像装置の撮像画像に基づき、前記撮像装置の撮像画像における複数の前記マーカセットの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定部を備える、
情報処理装置。
前記撮像装置は、前記撮像範囲内の所定の監視対象を監視するために設けられ、
前記姿勢変化測定部は、前記監視対象の監視のための前記撮像装置の撮像画像と露光時間の異なる、前記撮像装置の撮像画像に基づき、前記撮像装置の姿勢の変化を測定する、
請求項１に記載の情報処理装置。
前記姿勢変化測定部は、前記撮像装置により所定のタイミングごとに取得される、相互に露光時間が異なる複数の撮像画像に基づき、前記撮像装置の撮像画像における複数の前記マーカセットの位置の時間変化を測定する、
請求項１又は２に記載の情報処理装置。
前記撮像装置の撮像画像において、前記複数のマーカのうちの相対的に画像認識され易い一又は二以上のマーカの位置に基づき、前記マーカセットの位置を測定するマーカ位置測定部を更に備える、
請求項１乃至３の何れか一項に記載の情報処理装置。
前記マーカ位置測定部は、前記撮像装置の撮像画像において、前記複数のマーカのそれぞれに対応する画像部分のヒストグラムに基づき、相対的に画像認識され易い一又は二以上のマーカを抽出し、抽出した一又は二以上のマーカの位置に基づき、前記マーカセットの位置を測定する、
請求項４に記載の情報処理装置。
情報処理装置に、
相互に反射具合の異なる複数のマーカを含むマーカセットが複数設置された撮像範囲を撮像する撮像装置の撮像画像に基づき、前記撮像装置の撮像画像における複数の前記マーカセットの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定ステップを実行させる、
プログラム。
第１のマーカと第２のマーカと、を備え、
前記第１のマーカは、相対的に低い反射具合の塗料による相対的に低い明度の色を有する、被認識対象の第１の形状部と、相対的に高い反射具合の塗料による相対的に高い明度の色を有する、前記第１の形状部の背景としての第１の背景部と、を含み、
前記第２のマーカは、相対的に高い反射具合の塗料による相対的に高い明度の色を有する、被認識対象の第２の形状部と、相対的に低い反射具合の塗料による相対的に低い明度の色を有する、前記第２の形状部の背景としての第２の背景部と、を含む、
被画像認識用マーカセット。