JP7718261B2 - 情報処理装置、照明装置および照明システム - Google Patents

Description

本発明の実施形態は、情報処理装置、照明装置および照明システムに関する。

従来、撮像部によって撮像された撮像画像を情報処理装置で取得し、作業者の特定部位の位置を検出し、特定部位の位置が作業領域内に位置していた場合に、作業者が有効作業を実施していると判別するとともに、有効作業の作業時間を記録し、作業者が1つの単位作業を完了した際の作業時間を記録する技術が提案されている。

特開２０１９－１２０５７７号公報

しかしながら、従来技術では、有効作業の判定を特定部位の侵入のみで判別するため、例えば、ある作業領域に侵入するために、他の作業領域内を通過しなけらばならない場合、他の作業領域内での作業がないにも関わらず、他の作業領域において有効作業の判定することで、誤った作業情報が記録されてしまうおそれがあった。

本発明が解決しようとする課題は、記録される作業情報の精度を高めることができる情報処理装置、照明装置および照明システムを提供することを目的とする。

実施形態に係る情報処理装置は、検出部と、特定部と、判定部と、作業記録部とを具備する。前記検出部は、撮像部によって撮像された撮像画像から作業者の体の特定部位の位置を検出する。前記特定部は、検出した前記特定部位の位置に基づいて前記作業者が行った作業を特定する。前記判定部は、特定した前記作業が予め登録された作業手順から逸脱したか否かを判定する。前記作業記録部は、前記作業手順から逸脱したと判定された前記作業を無効作業として作業情報を記録する。

図１は、実施形態に係る照明システムが有する照明装置の外観例を示す斜視図である。 図２は、実施形態に係る照明システムの概要を示す図である。 図３は、実施形態に係る情報処理装置の構成を示すブロック図である。 図４は、実施形態に係る情報処理の一例を示す図である。 図５は、実施形態に係る情報処理の一例を示す図である。 図６は、実施形態に係る情報処理装置において実行される処理の処理手順を示すフローチャートである。

以下で説明する情報処理装置２０は、検出部２３２と、特定部２３３と、判定部２３４と、作業記録部２３５とを具備する。検出部２３２は、撮像部（カメラ１６）によって撮像された撮像画像から作業者５０の体の特定部位の位置を検出する。特定部２３３は、検出した特定部位の位置に基づいて作業者５０が行った作業を特定する。判定部２３４は、特定した作業が予め登録された作業手順から逸脱したか否かを判定する。作業記録部２３５は、作業手順から逸脱したと判定された作業を無効作業として作業情報を記録する。

以下で説明する判定部２３４は、特定された作業の作業手順が予め設定された例外作業手順となった場合に、逸脱したと判定する。

以下で説明する作業記録部２３５は、予め登録された作業手順から逸脱した作業の後に作業手順通りの作業を実施した場合に、逸脱した作業を無効作業として作業情報を記録する。

以下で説明する照明装置１０は、撮像部と、照明部１１とを具備する。撮像部は、作業者５０を撮像し、撮像画像を情報処理装置２０に送信する。照明部１１は、作業者５０を照らす。

以下で説明する照明システム１は、照明装置１０と、情報処理装置２０とを具備する。照明装置１０は、作業者５０を撮像する撮像部と、作業者５０を照らす照明部１１とを有する。情報処理装置２０は、撮像部によって撮像された撮像画像から作業者５０の体の特定部位の位置を検出する検出部２３２と、検出した特定部位の位置に基づいて作業者５０が行った作業を特定する特定部２３３と、特定した作業が予め登録された作業手順から逸脱したか否かを判定する判定部２３４と、作業手順から逸脱したと判定された作業を無効作業として作業情報を記録する作業記録部２３５とを有する。

以下、図面を参照して、実施形態に係る情報処理装置、照明装置および照明システムを説明する。実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

［照明装置］
最初に、実施形態に係る照明装置１０の構成について、図１を参照しながら説明する。図１は、実施形態に係る照明システム１が有する照明装置１０の外観例を示す斜視図である。

図１に示すように、照明装置１０は、照明部１１と、撮像ユニット１２と、本体部１３とを具備する。照明装置１０は、たとえば、本体部１３が天井面などに設置され、照明部１１から出力される光が床面へと照射される天井直付けタイプの照明装置である。照明装置１０は、たとえば工場での生産ラインの監視やオフィス内での従業員の状態監視などの用途で主に屋内で使用される。

なお、説明を分かりやすくするために、図１には、鉛直下向きを正方向とし、鉛直上向きを負方向とするＺ軸を含む３次元の直交座標系を図示している。また、Ｘ軸は照明装置１０の長さ方向に、Ｙ軸は照明装置１０の幅方向に、それぞれ沿うように図示している。

照明部１１は、Ｙ軸方向に沿うように配置された、長尺状のシャーシまたは基板（不図示）上に所定の間隔で配置された複数の発光素子（不図示）を有し、シャーシとの間に発光素子が収容されるよう床面側、すなわちＺ軸正方向側に拡散カバー１４が設けられた照明バーである。

拡散カバー１４は、たとえば、アクリルやポリカーボネートなどの透光性の材料から作られている。拡散カバー１４は、フロスト処理が施されて複数の発光素子から出射される光を拡散する機能を有するようになっている。なお、拡散カバー１４に適宜拡散材や着色剤を混入させてもよい。

撮像ユニット１２は、遮光カバー１５と、カメラ１６とを有する。カメラ１６は、撮像部の一例である。撮像ユニット１２は、照明部１１のＸ軸負方向側に隣り合うように並んで配置される。

本体部１３は、照明部１１および撮像ユニット１２を保持する。また、本体部１３は、照明装置１０を天井等の所定の位置に取り付けるための取付部材を兼ねる。

遮光カバー１５は、本体部１３との間にカメラ１６を覆うように本体部１３のＺ軸正方向側に配設される。また、遮光カバー１５は、カメラ１６のレンズと対向する位置に設けられた貫通口を有する。このような遮光カバー１５を配設することで、照明部１１の拡散カバー１４から照射された光をカメラ１６のレンズに入り込みにくくすることができる。

［照明システム］
つづいて、実施形態に係る照明システム１の構成について、図２を参照しながら説明する。図２は、実施形態に係る照明システム１の概要を示す図である。なお、以下では、照明システム１が工場に導入される場合を例に挙げて説明する。

図２に示すように、実施形態に係る照明システム１は、複数の照明装置１０と、情報処理装置２０とを備える。また、図２に示す例では、各照明装置１０が工場の作業現場（たとえば、製造ラインなど）に設置される場合を示す。

複数の照明装置１０は、たとえば、生産ラインにおける各作業者５０の作業スペース４０（図４参照）の上部にそれぞれ設けられ、カメラ１６により、各作業スペース４０を上部から撮像する。

情報処理装置２０は、作業現場に設置された各照明装置１０を管理する装置である。たとえば、情報処理装置２０は、ネットワークＮを介して、各照明装置１０の照明部１１の照明態様や、カメラ１６の撮像処理などを遠隔で制御する。

また、情報処理装置２０は、各照明装置１０のカメラ１６で撮像された撮像画像を収集し、記憶する。たとえば、情報処理装置２０によって収集された撮像画像は、作業現場の監視などに用いられる。なお、本開示において、情報処理装置２０は、静止画としての撮像画像を取得してもよく、動画としての撮像画像を取得してもよい。

［情報処理装置］
つづいて、実施形態に係る情報処理装置２０の構成について、図３を参照しながら説明する。図３は、実施形態に係る情報処理装置２０の構成を示すブロック図である。図３に示すように、情報処理装置２０は、通信部２１と、記憶部２２と、制御部２３とを具備する。情報処理装置２０は、例えば、クラウドサーバである。

通信部２１は、たとえば、ＮＩＣ（Network Interface Card）などによって実現される。通信部２１は、たとえば、ネットワークＮを介して、複数の照明装置１０や、管理者端末３０との間で情報の送受信を行う。

記憶部２２は、クラウドサーバにおける記憶部として機能する。記憶部２２は、たとえば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって実現される。

図３に示すように、記憶部２２は、撮像画像記憶部２２１と、作業時間記憶部２２２と、作業工程記憶部２２３と、作業情報記憶部２２４と、例外設定記憶部２２５とを具備する。撮像画像記憶部２２１は、各照明装置１０で撮像された撮像画像を記憶する。

作業時間記憶部２２２は、作業者５０（図４参照）が１つの単位作業や１つの後述する作業工程において有効作業を実施した時間（以下、有効作業時間とも呼称する。）と無効作業を実施した時間（以下、無効作業時間とも呼称する。）とを記憶する。

なお、本開示において、有効作業とは、作業の対象物に対して付加価値を付ける作業のことであり、たとえば、対象物に部品を取り付ける作業等である。

また、本開示において、無効作業とは、作業の対象物に対して付加価値を付けない作業のことであり、たとえば、部品や作業用の道具を取る作業などである。さらに、本開示において、１つの単位作業とは、たとえば、１つの対象物に対する作業のことである。

作業工程記憶部２２３は、予め登録された作業工程であり、生産ラインにおいて各作業者５０が行うべき作業工程を記憶する。本開示において、作業工程とは、作業者５０が作業スペース４０において行うべき単位作業のことである。具体的には、作業工程は、行うべき単位作業の種類と、単位作業を行う順序（作業順序）が含まれる。なお、作業順序については作業工程に含まれなくてもよい。

作業情報記憶部２２４は、各作業者５０が行った作業を記憶する。例えば、作業情報記憶部２２４は、作業者５０が行った単位作業の種類や、各単位作業の開始時刻および終了時刻（いずれか一方の時刻のみでもよい）を記憶する。すなわち、作業情報記憶部２２４は、各作業者５０が行った作業の履歴を記憶する。

例外設定記憶部２２５は、無効作業として扱うための例外作業手順を記憶する。例が作業手順は、後述する判定部２３４の判定処理に用いられる。

制御部２３は、クラウドサーバにおける制御部として機能する。制御部２３は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって、情報処理装置２０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３は、たとえば、コントローラであり、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路により実現される。

図３に示すように、制御部２３は、取得部２３１と、検出部２３２と、特定部２３３と、判定部２３４と、作業記録部２３５とを具備し、以下に説明する制御処理の機能や作用を実現または実行する。なお、制御部２３の内部構成は、図３に示した構成に限られず、後述する制御処理を行う構成であれば他の構成であってもよい。

取得部２３１は、照明装置１０のカメラ１６によって撮像された撮像画像を取得する。たとえば、取得部２３１は、リアルタイムで各照明装置１０のカメラ１６から撮像画像を取得し、取得した撮像画像を作業スペース４０毎（あるいは、作業者５０毎）に撮像画像記憶部２２１に格納する。

検出部２３２は、各種の検出を行う。たとえば、検出部２３２は、取得部２３１によって取得され、撮像画像記憶部２２１に格納された撮像画像から作業者５０の両手５１（図４参照）の位置を検出する。作業者５０の両手５１は、作業者５０の体の特定部位の一例である。なお、検出部２３２は、作業者５０の体の特定部位として、片手のみ検出してもよく、頭や、足等の手以外の部位を検出してもよい。

また、検出部２３２は、取得部２３１によって取得された撮像画像から作業スペース４０内における作業対象となる物体（対象物）の位置を検出する。

特定部２３３は、検出部２３２によって検出された作業者５０の両手５１の位置や対象物の位置等に基づいて、作業者５０が行った作業（単位作業）を特定する。例えば、特定部２３３は、作業者５０の手が位置する作業エリアで単位作業を行ったことを特定する。

判定部２３４は、検出部２３２で検出された作業者５０の両手５１の位置や対象物の位置などに基づいて、作業者５０が有効作業を実施しているか、または無効作業を実施しているかを判別する。具体的には、判定部２３４は、作業者５０の両手５１による対象物の保持状態や、両手５１が作業エリア内に存在するか否かにより有効作業か無効作業かを判定する。

また、判定部２３４は、特定部２３３によって特定された作業（単位作業）のうち、有効作業と判定した作業が予め登録された作業手順から逸脱したか否かを判定する。なお、かかる判定処理の詳細については、図４以降で後述する。

また、判定部２３４は、作業者５０が１つの単位作業において有効作業を実施した時間（有効作業時間）と無効作業を実施した時間（無効作業時間）とをそれぞれ計測する。また、判定部２３４は、作業者５０が実施した１つの単位作業における有効作業時間と無効作業時間とを、記憶部２２の作業時間記憶部２２２に記憶する。

作業記録部２３５は、判定部２３４によって作業手順から逸脱したと判定された作業（有効作業）を無効作業として作業情報を記録する。なお、かかる記録処理については、図５で後述する。

次に、情報処理装置２０が実施する情報処理の詳細について、図４および図５を用いて説明する。図４および図５は、実施形態に係る情報処理の一例を示す図である。図４では、作業スペース４０の上部に配置された照明装置１０のカメラ１６で撮像された撮像画像を示している。

また、図４に示す例では、作業者５０が作業台４１において、作業エリアＡ１～Ａ５での作業を行い、完成品エリアＡ６に完成品である対象物を置く作業工程を示している。なお、作業エリアＡ１～Ａ５それぞれには、作業者５０が対象物に対して作業を行う領域と、各部品が置かれる領域とが含まれる。あるいは、作業エリアＡ１～Ａ５それぞれには、各部品が置かれる領域のみが含まれてもよい。かかる場合、作業者５０は、作業台４１におけるエリアＡ１～Ａ６以外のエリアにおいて、各作業エリアＡ１～Ａ５から部品を取って対象物に対して作業を行う。

なお、図４では、各作業エリアＡ１～Ａ５において、１つの単位作業を行う例を示しているが、各作業エリアＡ１～Ａ５において、複数の単位作業が行われてもよい。

ここで、作業者５０は、作業エリアＡ２にて作業を行う場合、図４に示す矢印のように、手が作業エリアＡ３を通過して作業エリアＡ２にアクセスすることとなる。また、作業エリアＡ２で部品を取って戻る場合には、作業エリアＡ３を通過することとなる。

この場合、本来は作業エリアＡ２のみの作業のはずが、従来技術において、作業エリアＡ３、作業エリアＡ２、作業エリアＡ３の作業を行ったとする誤った作業情報が記録されることとなる。

そこで、情報処理装置２０は、予め登録された作業手順から逸脱した作業が行われた場合に、かかる作業を無効作業として作業情報を記録することとした。

具体的には、図５に示すように、判定部２３４は、作業エリアＡ１から作業エリアＡ３までの作業手順において、作業エリアＡ１の後に、作業エリアＡ３、作業エリアＡ２、作業エリアＡ３、作業エリアＡ３となった場合には、２番目の作業エリアＡ３および４番目の作業エリアＡ４の有効作業を無効作業として作業情報を修正することとした。

これにより、実際に記録される作業情報では、作業エリアＡ１、作業エリアＡ２および作業エリアＡ３の順に作業を行ったと記録される。すなわち、記録される作業情報の精度を高めることができる。

具体的には、判定部２３４は、有効作業と判定した作業の作業手順が例外設定記憶部２２５に記憶された例外作業手順と同じとなった場合には、予め登録された作業手順から逸脱したと判定する。

つまり、判定部２３４は、例外作業手順として、作業エリアＡ１、作業エリアＡ３、作業エリアＡ２、作業エリアＡ３、作業エリアＡ３の作業手順が記憶されていた場合には、かかる例外作業手順が実際に発生した場合に、作業手順を逸脱したと判定する。

このような例外作業手順の設定により、作業手順から逸脱した無効作業を高精度に特定することができる。

より具体的には、作業記録部２３５は、予め登録された作業手順から逸脱した作業の後に作業手順通りの作業を実施した場合に、逸脱した作業を無効作業として作業情報を記録する。すなわち、作業エリアＡ１の後に、逸脱した作業エリアＡ３を行い、その後、本来の作業手順である作業エリアＡ２が行われた場合には、かかる作業エリアＡ３の作業を無効作業として作業情報に記録する。

これにより、本来の作業手順である作業エリアＡ２を行うために、他の作業エリアＡ３を通過しなければならない状況等において、記録される作業情報の精度を高めることができる。

次に、図６を用いて、実施形態に係る情報処理装置２０が実行する処理の処理手順について説明する。図６は、実施形態に係る情報処理装置２０において実行される処理の処理手順を示すフローチャートである。

図６に示すように、まず、情報処理装置２０は、作業分析を開始する（ステップＳ１０１）。作業分析の開始は、管理者等からの指示をトリガーとしてもよく、生産ラインの生産開始をトリガーとしてもよい。

つづいて、情報処理装置２０は、作業工程記憶部２２３に記憶された作業工程情報を読み込む（ステップＳ１０２）。つづいて、情報処理装置２０は、照明装置１０から撮像画像の取得を開始する（ステップＳ１０３）。

つづいて、情報処理装置２０は、作業時間の計測を開始する（ステップＳ１０４）。つづいて、情報処理装置２０は、作業者５０の手を検出したか否かを判定する（ステップＳ１０５）。

情報処理装置２０は、作業者５０の手を検出した場合（ステップＳ１０５：Ｙｅｓ）、手が作業エリア内に存在するか否かを判定する（ステップＳ１０６）。つづいて、情報処理装置２０は、手が作業エリア内に存在する場合（ステップＳ１０６：Ｙｅｓ）、特定した作業の作業手順が例外作業手順となっているか否かを判定する（ステップＳ１０７）。

情報処理装置２０は、例外作業手順となっていない場合（ステップＳ１０７：Ｎｏ）、有効作業の作業手順と判定し（ステップＳ１０８）、作業情報として記録し（ステップＳ１０９）、ステップＳ１０５に戻る。

一方、ステップＳ１０７において、情報処理装置２０は、例外作業手順となっている場合（ステップＳ１０７：Ｙｅｓ）、無効作業の作業手順と判定し（ステップＳ１１０）、作業情報として記録し（ステップＳ１１１）、ステップＳ１０５に戻る。

また、ステップＳ１０５において、情報処理装置２０は、作業者５０の手を検出しなかった場合（ステップＳ１０５：Ｎｏ）、作業分析を終了するか否かを判定する（ステップＳ１１２）。なお、作業分析の終了は、例えば、管理者の指示をトリガーとしてもよく、生産ラインの生産終了をトリガーとしてもよい。

情報処理装置２０は、作業分析を終了する場合（ステップＳ１１２：Ｙｅｓ）、作業時間の計測を終了するとともに（ステップＳ１１３）、作業分析を終了し（ステップＳ１１４）、処理を終了する。

また、ステップＳ１１２において、情報処理装置２０は、作業分析を終了しない場合（ステップＳ１１５：Ｎｏ）、ステップＳ１０５に戻る。

また、ステップＳ１０６において、情報処理装置２０は、手が作業エリア内に無い場合（ステップＳ１０６：Ｎｏ）、ステップＳ１０５に戻る。

上述したように、実施形態に係る情報処理装置２０は、検出部２３２と、特定部２３３と、判定部２３４と、作業記録部２３５とを具備する。検出部２３２は、撮像部（カメラ１６）によって撮像された撮像画像から作業者５０の体の特定部位の位置を検出する。特定部２３３は、検出した特定部位の位置に基づいて作業者５０が行った作業を特定する。判定部２３４は、特定した作業が予め登録された作業手順から逸脱したか否かを判定する。作業記録部２３５は、作業手順から逸脱したと判定された作業を無効作業として作業情報を記録する。これにより、記録される作業情報の精度を高めることができる。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 照明システム
１０ 照明装置
１１ 照明部
１２ 撮像ユニット
１３ 本体部
１４ 拡散カバー
１５ 遮光カバー
１６ カメラ
２０ 情報処理装置
２１ 通信部
２２ 記憶部
２３ 制御部
３０ 管理者端末
４０ 作業スペース
４１ 作業台
５０ 作業者
５１ 両手
２２１ 撮像画像記憶部
２２２ 作業時間記憶部
２２３ 作業工程記憶部
２２４ 作業情報記憶部
２２５ 例外設定記憶部
２３１ 取得部
２３２ 検出部
２３３ 特定部
２３４ 判定部
２３５ 作業記録部
Ｎ ネットワーク

Claims (4)

1. 撮像部によって撮像された撮像画像から作業者の体の特定部位の位置を検出する検出部と；
   検出した前記特定部位の位置に基づいて前記作業者が行った作業を特定する特定部と；
   特定した前記作業が予め登録された作業手順から逸脱したか否かを判定する判定部と；
   前記作業手順から逸脱したと判定された前記作業を無効作業として作業情報を記録する作業記録部と；
   を具備し、
   前記判定部は、
   特定された前記作業の作業手順が予め設定された例外作業手順となった場合に、逸脱したと判定する
   情報処理装置。
2. 撮像部によって撮像された撮像画像から作業者の体の特定部位の位置を検出する検出部と；
   検出した前記特定部位の位置に基づいて前記作業者が行った作業を特定する特定部と；
   特定した前記作業が予め登録された作業手順から逸脱したか否かを判定する判定部と；
   前記作業手順から逸脱したと判定された前記作業を無効作業として作業情報を記録する作業記録部と；
   を具備し、
   前記作業記録部は、
   予め登録された作業手順から逸脱した作業の後に前記作業手順通りの作業を実施した場合に、前記逸脱した作業を前記無効作業として作業情報を記録する
   情報処理装置。
3. 照明装置と；
   情報処理装置と；
   を具備し、
   前記照明装置は、
   作業者を撮像する撮像部と；
   前記作業者を照らす照明部と；
   を有し、
   前記情報処理装置は、
   撮像部によって撮像された撮像画像から作業者の体の特定部位の位置を検出する検出部と；
   検出した前記特定部位の位置に基づいて前記作業者が行った作業を特定する特定部と；
   特定した前記作業が予め登録された作業手順から逸脱したか否かを判定する判定部と；
   前記作業手順から逸脱したと判定された前記作業を無効作業として作業情報を記録する作業記録部と；
   を有し、
   前記判定部は、
   特定された前記作業の作業手順が予め設定された例外作業手順となった場合に、逸脱したと判定する
   照明システム。
4. 照明装置と；
   情報処理装置と；
   を具備し、
   前記照明装置は、
   作業者を撮像する撮像部と；
   前記作業者を照らす照明部と；
   を有し、
   前記情報処理装置は、
   撮像部によって撮像された撮像画像から作業者の体の特定部位の位置を検出する検出部と；
   検出した前記特定部位の位置に基づいて前記作業者が行った作業を特定する特定部と；
   特定した前記作業が予め登録された作業手順から逸脱したか否かを判定する判定部と；
   前記作業手順から逸脱したと判定された前記作業を無効作業として作業情報を記録する作業記録部と；
   を有し、
   前記作業記録部は、
   予め登録された作業手順から逸脱した作業の後に前記作業手順通りの作業を実施した場合に、前記逸脱した作業を前記無効作業として作業情報を記録する
   照明システム。