JP6629250B2 - 作業支援装置、作業支援方法およびプログラム - Google Patents

Description

本発明の実施形態は、作業支援装置、作業支援方法およびプログラムに関する。

少量多品種品を扱う生産現場などでは、必要な作業が製品ごとに異なるため、事前に詳細な作業手順を決めずに、作業者が図面などの書類を参照しながら作業を進めることが多い。このような生産現場では、書類の参照や作業のチェック、次の作業の選択などに時間がかかり、作業の効率低下を招く場合がある。このため、作業手順の決まっていない生産現場であっても、作業者が効率的に作業を進められるような作業支援の仕組みが求められている。

特許第４７６９７２３号公報 特開２０１２−４８５１０号公報

本発明が解決しようとする課題は、作業者による作業を適切に支援して作業の効率化を実現できる作業支援装置、作業支援方法およびプログラムを提供することである。

実施形態の作業支援装置は、作業セグメント生成部と、表示制御部と、ラベル付与部と、を備える。作業セグメント生成部は、作業対象物、作業位置、使用する部品、使用する工具、のいずれか１つまたは複数の属性に基づいて分類された複数の作業エレメントのうち、１以上の作業エレメントを含む複数の作業セグメントを生成する。表示制御部は、前記複数の作業セグメントの各々に対応するセグメント表示情報の表示を制御する。ラベル付与部は、前記複数の作業セグメントの各々にラベルを付与する。前記表示制御部は、前記ラベルの違いを認識可能な前記セグメント表示情報を表示させるように制御する。

第１実施形態に係る作業支援装置の構成例を示すブロック図。 作業領域となる分電盤の図面データの一例を説明する図。 作業エレメントデータの一例を示す図。 作業セグメントの一例を示す図。 作業セグメントデータの一例を示す図。 セグメント表示情報の表示例を示す図。 セグメント表示情報の表示例を示す図。 セグメント表示情報の表示例を示す図。 セグメント表示情報の表示例を示す図。 変形例の作業支援装置の構成例を示すブロック図。 選択画面の一例を示す図。 第２実施形態に係る作業支援装置の構成例を示すブロック図。 作業セグメントデータの一例を示す図。 セグメント表示情報の表示例を示す図。 セグメント表示情報の表示例を示す図。 変形例の作業支援装置の構成例を示すブロック図。 カメラの設置例を示す図。 カメラの設置例を示す図。 セグメント表示情報の表示例を示す図。 第３実施形態に係る作業支援装置の構成例を示すブロック図。

実施形態の作業支援装置、作業支援方法およびプログラムは、例えば、詳細な作業手順が決まっていない少量多品種品を扱う生産現場などにおいて、作業の全貌を把握しながら効率的に作業を進められるように、作業者による作業を支援するものである。

近年、各種製品を生産する生産現場では、図面などの書類の電子化が進み、情報処理技術を利用した様々な作業支援を実現できる環境が整ってきている。事前に詳細な作業手順が決められている生産現場では、電子化された作業手順を記憶しておき、作業者の作業進行度に合せて作業手順を提示し、ナビゲートする試みもある。

一方、詳細な作業手順が決まっていない生産現場であっても、ある製品に対して行われる個々の作業（本実施形態ではこれを「作業エレメント」と呼ぶ）に関する電子化されたデータを用いて、作業者が作業しやすい作業単位（本実施形態ではこれを「作業セグメント」と呼ぶ）を類推し、作業者に認識させることで、作業が効率的に進むと考えられる。

そこで、本実施形態では、作業者が作業の全貌を把握しやすく、作業同士の関係を把握しやすいような作業セグメントを生成し、作業セグメントを可視化したセグメント表示情報を表示することで、作業者による作業を支援する。ここで、作業エレメントは、例えば「ネジ締め」、「配線」などといった個々の作業を指し、属性として、「作業対象物」、「作業位置」、「使用する部品」や「使用する工具」などの情報を持つ。作業セグメントは、複数の作業エレメントの集合体であり、各作業エレメントをその属性に基づいて分類することにより生成される。

以下、添付図面を参照しながら、実施形態の作業支援装置、作業支援方法およびプログラムの詳細を説明する。なお、以下の説明において、同様の機能を持つ構成要素については同一の符号を付して、重複した説明を適宜省略する。

＜第１実施形態＞
図１は、第１実施形態に係る作業支援装置１００Ａの構成例を示すブロック図である。本実施形態の作業支援装置１００Ａは、一例として、タブレットコンピュータやスマートフォンなどの携帯型電子機器（コンピュータ）のハードウェアを用いて実現され、生産現場で作業を行う作業者により利用される。この作業支援装置１００Ａは、図１に示すように、電源供給装置１０と、入力装置２０と、表示装置３０と、通信装置４０と、記憶装置５０と、処理回路６０とを備える。

電源供給装置１０は、作業支援装置１００Ａに電源を供給するものであり、例えば、充放電可能な蓄電池（バッテリ）などが用いられる。

入力装置２０は、作業支援装置１００Ａを利用する作業者が入力操作を行うためのものであり、例えば、タッチパネルや操作ボタンなどが用いられる。作業支援装置１００Ａが音声認識処理を行うソフトウェアを搭載している場合、作業者の発話音声を取得するマイクを入力装置２０として用いてもよい。

表示装置３０は、作業支援装置１００Ａを利用する作業者に対して各種情報を表示するものであり、例えば、液晶表示器などが用いられる。

通信装置４０は、作業支援装置１００Ａが外部機器と通信するためのものであり、例えば、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信モジュールが用いられる。

記憶装置５０は、処理回路６０が実行するプログラムや各種データなどを必要に応じて記憶するためのものであり、記憶媒体として、例えば、ＲＡＭやフラッシュメモリなどの半導体メモリ、ハードディスク、光ディスクなどを備える。本実施形態において、記憶装置５０は、電子化された図面データ、処理回路６０により参照される作業エレメントデータ、処理回路６０により生成される作業セグメントデータなどを記憶する。

処理回路６０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサを含む回路である。処理回路６０は、例えば、記憶装置５０から読み出したプログラムをプロセッサで実行することにより、図１に示すように、作業セグメント生成部６１、ラベル付与部６２および表示制御部６３の各機能的な構成要素を実現する。なお、これらの機能的な構成要素は、ＣＰＵやＧＰＵなどの汎用のプロセッサでプログラムを実行する代わりに、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの専用のハードウェアを用いて実現してもよい。また、これらの機能的な構成要素は、複数のプロセッサにより分散して実現する構成であってもよい。

作業セグメント生成部６１は、記憶装置５０が記憶する作業エレメントデータを参照し、複数の作業エレメントを、作業対象物、作業位置、使用する部品、使用する工具、のいずれか１つまたは複数の属性に基づいて分類して、各々が１以上の作業エレメントを含む複数の作業セグメントを生成する。そして、作業セグメント生成部６１は、生成した作業セグメントを示す作業セグメントデータを記憶装置５０に格納する。作業エレメントデータおよび作業セグメントデータの詳細は後述する。

ラベル付与部６２は、作業セグメント生成部６１により生成された作業セグメントの各々にラベルを付与する。このとき、ラベル付与部６２は、記憶装置５０が記憶する作業エレメントデータおよび作業セグメントデータを参照し、作業セグメント生成部６１により生成された作業セグメントに含まれる作業エレメントの属性に基づいて、作業セグメント間の類似性を判断する。そして、類似する作業セグメントに対しては共通のラベルを付与する。

表示制御部６３は、作業セグメント生成部６１により生成された作業セグメントの各々に対応するセグメント表示情報の表示を制御する。セグメント表示情報は、作業セグメント生成部６１により生成された作業セグメントを可視化した情報であり、例えば、作業セグメントの範囲を表す図形や文字、記号などを含む。表示制御部６３は、例えば、記憶装置５０が記憶する図面データ上にセグメント表示情報を重畳した画像を、表示装置３０に表示させる。このとき、表示制御部６３は、ラベル付与部６２により各作業セグメントに付与されたラベルの違いを認識可能なセグメント表示情報を、表示装置３０に表示させる。例えば、表示制御部６３は、ラベルに応じて図形の色や線種などの表示形態が異なるセグメント表示情報を、表示装置３０に表示させる。セグメント表示情報の具体例は後述する。

ここで、少量多品種品の一例である分電盤の生産現場における作業を例に挙げて、上述の作業セグメント生成部６１、ラベル付与部６２および表示制御部６３による処理の具体例を説明する。以下では、ある製品に対する個々の作業（作業エレメント）が行われる範囲内の領域（本例においては分電盤の領域）を「作業領域」と呼ぶ。

図２は、作業領域となる分電盤の図面データ２００の一例を示す図であり、図３は、図２に示す図面データ２００に対応する作業エレメントデータ３００の一例を示す図である。図２および図３に示すように、１つの作業領域（本例では分電盤）ＷＡに対する作業は複数の作業エレメントから構成され、個々の作業エレメントに関する情報が、作業エレメントデータ３００として記憶装置５０に記憶されている。なお、図２では、便宜的に、作業エレメントを識別するエレメントＩＤを符号として用いて、作業領域ＷＡ内の個々の作業エレメントを示している。

作業エレメントデータ３００は、例えば図３に示すように、個々の作業エレメントごとに、その作業エレメントを識別するエレメントＩＤと、その作業エレメントの概要と、その作業エレメントの属性とを対応付けた形式とすることができる。図３の例では、作業エレメントの属性は「作業対象物」、「作業位置」、「使用する部品」、「使用する工具」であるが、これらのいずれか１つであってもよいし、いずれか２つまたは３つの組み合わせであってもよい。また、属性の値は、図３に示すような一般的な用語に限らず、生産現場で利用されている特殊な用語（現場用語）や記号などを用いてもよい。

作業エレメントデータ３００は、作業領域ごとに１まとまりのデータとして事前に生成され、記憶装置５０に格納される。なお、図３では、図２に示す図面データ２００に対応する作業エレメントデータ３００の一部を示している。作業エレメントデータ３００の生成は、人手による入力により行ってもよいが、図面データ２００などの電子化された書類の記号や文字情報と作業エレメントデータ３００の項目値とを事前に関連付けておけば、自動で作成することもできる。

作業セグメント生成部６１は、図３に示すような作業エレメントデータ３００を参照し、作業領域ＷＡに含まれる複数の作業エレメントを、いずれかの属性に基づいて分類して複数の作業セグメントを生成し、生成した作業セグメントを示す作業セグメントデータを記憶装置５０に格納する。

図４は、作業エレメントの属性のうち、「作業対象物」を用いて生成された作業セグメントの一例を示す図であり、図５は、図４に示す作業セグメントに対応する作業セグメントデータ４００の一例を示す図である。なお、図４では、図２と同様の図面データ２００上で作業セグメントを表しており、便宜的に、作業セグメントを識別するセグメントＩＤを符号として用いて各作業セグメントを示している。

「作業対象物」を用いて作業セグメントを生成する場合、作業セグメント生成部６１は、「作業対象物」が同じ作業エレメントが１つの作業セグメントに属するように、各作業エレメントを分類して、作業セグメントを生成する。例えば図４において、「作業対象物」がスイッチＡである作業エレメントＥ００１，Ｅ００２，Ｅ００３，Ｅ００４，Ｅ００５，Ｅ００６，Ｅ００７が１つの作業セグメントを構成するように分類されることで、作業セグメントＳ００１が生成される。

作業セグメントデータ４００は、例えば図５に示すように、生成された作業セグメントごとに、その作業セグメントを識別するセグメントＩＤと、その作業セグメントに含まれる作業エレメントのエレメントＩＤとを対応付けた形式とすることができる。作業セグメントデータ４００は、これらセグメントＩＤとエレメントＩＤだけでなく、例えば、セグメント表示情報の表示に有用な様々な情報など、他の情報を含んでいてもよい。

ラベル付与部６２は、「作業対象物」を用いて生成された作業セグメントの各々に対し、作業セグメントの類似性に応じたラベルを付与する。すなわち、類似する作業セグメントに共通のラベルを付与する。図４の例では、作業セグメントＳ００１，Ｓ００２，Ｓ００３に対して共通のラベルが付与され、作業セグメントＳ００４，Ｓ００６に対して共通のラベルが付与され、作業セグメントＳ００７，Ｓ００８に対して共通のラベルが付与される。作業セグメントの類似性は、作業セグメントに含まれる作業エレメントの属性を用いて判断される。例えば、「作業対象物」の型番が同じ作業セグメントを類似した作業セグメントとしたり、作業セグメントに含まれる作業エレメントの数や属性を数値化した情報をクラスタリング手法によって分類して、同じ分類に分類された作業セグメントを類似した作業セグメントとしたりしてもよい。

表示制御部６３は、図５に示すような作業セグメントデータ４００および図３に示すような作業エレメントデータ３００を参照し、作業セグメント生成部６１により生成された作業セグメントの各々を可視化したセグメント表示情報を、各作業セグメントに付与されたラベルの違いを識別できるように、表示装置３０に表示させる。

図６は、セグメント表示情報ＳＤの表示例を示す図である。表示制御部６３は、例えば図６に示すように、作業セグメント生成部６１により生成された作業セグメントの各々に対応するセグメント表示情報ＳＤを図面データ上に重畳して表示画像Ｉｍを生成し、この表示画像Ｉｍを表示装置３０に表示させるように制御する。図６に示す例では、作業セグメント生成部６１により生成された作業セグメントの各々に対応するセグメント表示情報ＳＤは、図面データにおける各作業セグメントの範囲を表す図形として、図面データ上に重畳されている。ラベル付与部６２により共通のラベルを付与された作業セグメント同士は、例えば、セグメント表示情報ＳＤの図形の色が同色とされる。なお、図面上、セグメント表示情報ＳＤの図形の色の違いはハッチングの種類の違いにより表している。

なお、セグメント表示情報ＳＤは、表示装置３０を参照した作業者が作業セグメントを認識できるように表示されればよく、表示の方法は図６に示す例に限らない。例えば、図６に示すような図形とともに、あるいは図形の代わりに文字や記号などを用いたセグメント表示情報ＳＤを表示させてもよい。セグメント表示情報ＳＤに文字や記号を用いる場合、作業セグメントの生成に用いた作業エレメントの属性の値を用いてもよいし、作業セグメントの特徴を表す任意の文字や記号を用いてもよい。作業セグメントごとに異なる文字や記号を各作業エレメントの位置に重畳し、セグメント表示情報ＳＤとしてもよい。

また、作業セグメントに付与されたラベルの違いを識別させる方法は、セグメント表示情報ＳＤの色の違いに限らず、例えば、線種や模様の違いなど、視覚的に違いを認識できる他の方法を用いてもよい。また、図６では、図面データ上にセグメント表示情報ＳＤを重畳して表示する例を示したが、例えば図３に示したような作業エレメントデータ３００上にセグメント表示情報を重畳して表示装置３０に表示させてもよい。

以上説明した例のように、作業エレメントの属性のうち、「作業対象物」を用いて作業セグメントを生成し、類似した作業セグメントに共通のラベルを付与した場合、共通のラベルが付与された作業セグメントは同じ作業の繰り返しとなる。したがって、作業セグメントの各々に対応するセグメント表示情報ＳＤを、各作業セグメントのラベルの違いを認識可能に表示することで、このセグメント表示情報ＳＤを参照した作業者は、作業の全貌を把握しながら同じ作業のまとまりを把握して、効率よく作業を進めることができる。

作業セグメントの生成に用いる作業エレメントの属性は、「作業対象物」のほか、例えば、「作業位置」、「作業対象物」と「使用する部品」または「使用する工具」との組み合わせ、「作業位置」と「使用する部品」または「使用する工具」との組み合わせなどが考えられる。

図７は、作業セグメント生成部６１が、作業エレメントの属性のうち、「作業位置」を用いて作業セグメントを生成した場合のセグメント表示情報ＳＤの表示例を示す図である。

「作業位置」を用いて作業セグメントを生成する場合、作業セグメント生成部６１は、「作業位置」が近い作業エレメントが１つの作業セグメントに属するように、各作業エレメントを分類して作業セグメントを生成する。例えば、作業セグメント生成部６１は、「作業位置」をもとに各作業エレメント間の距離を算出し、作業エレメント間の距離が所定の閾値以下となる作業エレメントの集合を１つの作業セグメントとしたり、クラスタリング手法で「作業位置」を分類し、同じ分類にある作業エレメントを１つの作業セグメントとしたりすることにより、「作業位置」に応じた作業セグメントを生成する。

「作業位置」を用いて生成された作業セグメントの各々に対し、ラベル付与部６２は、作業セグメントの類似性に応じたラベルを付与する。すなわち、類似する作業セグメントに共通のラベルを付与する。この場合の類似性の判断は、例えば、「使用する部品」や「使用する工具」が同じ作業エレメントを含む作業セグメント同士を類似する作業セグメントとするといった方法を用いることができる。

そして、表示制御部６３は、例えば図７に示すように、作業セグメント生成部６１により生成された作業セグメントの各々に対応するセグメント表示情報ＳＤを図面データ上に重畳した表示画像Ｉｍを生成し、この表示画像Ｉｍを表示装置３０に表示させるように制御する。図面データ上に重畳されるセグメント表示情報ＳＤは、例えば色の違いによってラベルの違いを認識可能とされる。

以上のように、作業エレメントの属性のうち、「作業位置」を用いて作業セグメントを生成し、類似した作業セグメントに共通のラベルを付与した場合も、セグメント表示情報ＳＤを参照した作業者は、作業の全貌を把握しながら同じ作業のまとまりを把握して、効率よく作業を進めることができる。

図８は、作業セグメント生成部６１が、作業エレメントの属性のうち、「作業対象物」と「使用する部品」または「使用する工具」とを用いて作業セグメントを生成した場合のセグメント表示情報ＳＤの表示例を示す図である。

「作業対象物」と「使用する部品」または「使用する工具」とを用いて作業セグメントを生成する場合、作業セグメント生成部６１は、「作業対象物」が同じで、かつ、「使用する部品」または「使用する工具」が同じ作業エレメントが１つの作業セグメントに属するように、各作業エレメントを分類して作業セグメントを生成する。

「作業対象物」と「使用する部品」または「使用する工具」とを用いて生成された作業セグメントの各々に対し、ラベル付与部６２は、作業セグメントの類似性に応じたラベルを付与する。すなわち、類似する作業セグメントに共通のラベルを付与する。この場合の類似性の判断は、例えば、作業エレメントの「作業対象物」が類似し、かつ、「使用する部品」または「使用する工具」が同じ作業セグメント同士を類似する作業セグメントとするといった方法を用いることができる。

そして、表示制御部６３は、例えば図８に示すように、作業セグメント生成部６１により生成された作業セグメントの各々に対応するセグメント表示情報ＳＤを図面データ上に重畳した表示画像Ｉｍを生成し、この表示画像Ｉｍを表示装置３０に表示させるように制御する。図面データ上に重畳されるセグメント表示情報ＳＤは、例えば色の違いによってラベルの違いを認識可能とされる。

図９は、作業セグメント生成部６１が、作業エレメントの属性のうち、「作業位置」と「使用する部品」または「使用する工具」とを用いて作業セグメントを生成した場合のセグメント表示情報ＳＤの表示例を示す図である。

「作業位置」と「使用する部品」または「使用する工具」とを用いて作業セグメントを生成する場合、作業セグメント生成部６１は、「作業位置」が近く、かつ、「使用する部品」または「使用する工具」が同じ作業エレメントが１つの作業セグメントに属するように、各作業エレメントを分類して作業セグメントを生成する。

「作業位置」と「使用する部品」または「使用する工具」とを用いて生成された作業セグメントの各々に対し、ラベル付与部６２は、作業セグメントの類似性に応じたラベルを付与する。すなわち、類似する作業セグメントに共通のラベルを付与する。この場合の類似性の判断は、例えば、作業エレメントの「作業対象物」が類似し、かつ、「使用する部品」または「使用する工具」が同じ作業セグメント同士を類似する作業セグメントとするといった方法を用いることができる。

そして、表示制御部６３は、例えば図９に示すように、作業セグメント生成部６１により生成された作業セグメントの各々に対応するセグメント表示情報ＳＤを図面データ上に重畳した表示画像Ｉｍを生成し、この表示画像Ｉｍを表示装置３０に表示させるように制御する。図面データ上に重畳されるセグメント表示情報ＳＤは、例えば色の違いによってラベルの違いを認識可能とされる。

作業セグメントの生成やラベル付与に「使用する部品」や「使用する工具」を用いた場合、セグメント表示情報ＳＤを参照した作業者は、工具の持ち替え回数を少なくするように作業を選択することができ、作業負担を軽減することができる。

以上説明したように、本実施形態の作業支援装置１００Ａは、所定の作業領域内の複数の作業エレメントをその属性に基づいて分類して、各々が１以上の作業エレメントを含む複数の作業セグメントを生成する。そして、生成された作業セグメントの各々に対し、作業セグメントの類似性に応じたラベルを付与し、作業セグメントの各々に対応するセグメント表示情報ＳＤを、ラベルの違いを認識可能な形態で表示する。したがって、本実施形態の作業支援装置１００Ａによれば、セグメント表示情報ＳＤを参照する作業者に対して、作業の全貌を把握させつつ作業しやすいまとまりを把握させることができ、作業者による作業を適切に支援して作業の効率化を実現することができる。

（変形例）
なお、上述の第１実施形態では、作業セグメントの生成に用いる作業エレメントの属性が事前に決まっているものとして、いくつかの作業エレメントの属性を用いた作業セグメントの生成について述べたが、作業セグメントの生成に用いる作業エレメントの属性を作業者が選択できるように構成してもよい。

図１０は、本変形例の作業支援装置１００Ａ’の構成例を示すブロック図である。本変形例の作業支援装置１００Ａ’は、図１に示した作業支援装置１００Ａの構成に対し、属性指定受付部６４が追加された構成である。属性指定受付部６４は、例えば、プロセッサがプログラムを実行することにより処理回路６０において実現される機能的な構成要素であり、作業者による属性指定の操作を受け付ける機能を持つ。

属性指定受付部６４は、例えば図１１に示すような選択画面５００を表示装置３０に表示させる。この選択画面５００には、作業セグメントの生成に用いる作業エレメントの属性を指定するためのチェックボックス５０１と、「実行」ボタン５０２とが設けられている。この選択画面５００上で、作業者が所望の属性に対応するチェックボックス５０１にチェックを入れ、「実行」ボタン５０２をタップする操作を行うと、属性指定受付部６４は、作業者による属性指定の操作を受け付けて、作業者により指定された属性を作業セグメント生成部６１に伝えて、作業セグメントの生成を依頼する。

作業セグメント生成部６１は、属性指定受付部６４の依頼を受けて、作業者により指定された属性に基づいて作業領域内の複数の作業エレメントを分類することにより、各々が１以上の作業エレメントを含む複数の作業セグメントを生成する。

本変形例のように、作業セグメントの生成に用いる作業エレメントの属性を作業者が選択できる構成とすることで、作業者の好みの方法で作業セグメントを生成することができる。したがって、作業者は、生成された作業セグメントの各々に対応するセグメント表示情報ＳＤを参照することで、作業の全貌を把握しつつ、自身が作業しやすいと考える基準に従った作業のまとまりを把握することができる。

＜第２実施形態＞
図１２は、第２実施形態に係る作業支援装置１００Ｂの構成例を示すブロック図である。本実施形態の作業支援装置１００Ｂは、図１に示した第１実施形態の作業支援装置１００Ａの構成に対し、作業セグメント状態更新部６５が追加されている。作業セグメント状態更新部６５は、例えば、プロセッサがプログラムを実行することにより処理回路６０において実現される機能的な構成要素であり、作業セグメント生成部６１により生成された作業セグメントの状態を更新する機能を持つ。

作業セグメントの状態とは、例えば、その作業セグメントに対する作業（作業セグメントに含まれる作業エレメントの作業）が完了したか、未完了であるかを示す。このような作業セグメントの状態は、例えば、作業セグメントデータ４００上で管理することができる。この場合の作業セグメントデータ４００の一例を図１３に示す。図１３の作業セグメントデータ４００は、作業セグメント生成部６１により生成された各作業セグメントのセグメントＩＤと、その作業セグメントに含まれる作業エレメントのエレメントＩＤに加えて、その作業セグメントに対する作業が完了したか未完了であるかを示す「状態」を保持している。

作業セグメント状態更新部６５は、例えば、作業セグメント生成部６１が作業セグメントを生成して作業セグメントデータ４００を記憶装置５０に格納すると、各作業セグメントの状態を「未完了」に設定する。そして、いずれかの作業セグメントに対する作業が完了し、作業者が入力装置２０を用いて作業が完了したことを入力すると、作業セグメント状態更新部６５は、作業セグメントデータ４００に保持された各作業セグメントの状態のうち、作業が完了した作業セグメントの状態を「未完了」から「完了」に更新する。

本実施形態では、タブレットコンピュータやスマートフォンなどの携帯型電子機器の機能として作業支援装置１００Ｂが実現される例を想定しているため、入力装置２０は表示装置３０の画面上のタッチ操作を受け付けるタッチパネルである。したがって、作業者は、表示装置３０に表示されているセグメント表示情報ＳＤのうち、作業が完了した作業セグメントに対応するセグメント表示情報ＳＤをタップすることにより、当該作業セグメントに対する作業が完了したことを入力することができる。作業セグメント状態更新部６５は、タップされたセグメント表示情報ＳＤに対応する作業セグメントの状態を「未完了」から「完了」に更新する。

本実施形態では、表示制御部６３が、作業セグメントの状態に応じてセグメント表示情報ＳＤの表示を変化させる。例えば、表示制御部６３は、状態が「未完了」から「完了」になった作業セグメントに対応するセグメント表示情報ＳＤの表示を、「完了」を表す表示に変更する。「完了」を表す表示とは、例えば図６に示したような図形を用いてセグメント表示情報ＳＤを表示している場合、図１４に示すように、作業が完了した作業セグメント（ここではスイッチＡに関わる作業セグメント）に対応する図形を削除するといった例が挙げられる。また、作業が完了した作業セグメントに対応するセグメント表示情報ＳＤの表示色を「完了」を表す色に変更したり、「済」などの文字や記号を、作業が完了した作業セグメントに対応するセグメント表示情報ＳＤに付加したりしてもよい。また、図３に示したような作業エレメントデータ３００上にセグメント表示情報ＳＤを重畳して表示している場合は、作業が完了した作業セグメントに属する各作業エレメントの項目を黒塗りにしたり、作業が完了した作業セグメントに属する各作業エレメントの項目を作業エレメントデータ３００から削除したりするようにしてもよい。

作業セグメントの状態は、「未完了」と「完了」だけでなく、「作業中」、「作業進行度（作業セグメント内の作業エレメントの何％が完了しているか）」という状態を含んでもよい。この場合も、作業セグメント状態更新部６５は、作業者の入力操作に応じて作業セグメントの状態を更新し、表示制御部６３は、作業セグメントの状態に応じてセグメント表示情報ＳＤの表示を変化させる。

作業セグメントの状態に「作業中」が含まれている場合は、例えば、作業者が作業前にこれから作業する作業セグメントに対応するセグメント表示情報ＳＤの図形をタップすると、その図形が「作業中」を表す色に変わり、作業完了後にタップするとその図形が削除されて「完了」を表すといった表示の変化が挙げられる。「作業中」の状態は、色の変更だけでなく、セグメント表示情報ＳＤの図形の点滅や輝度の変化などで表してもよい。また、セグメント表示情報ＳＤに「作業開始」ボタンや「作業完了」ボタンを設け、作業者がこれらのボタンを押すことで状態を変化させてもよい。

作業セグメントの状態に「作業進行度」が含まれている場合、この「作業進行度」は作業セグメントに含まれる作業エレメントの数を用いて算出される。例えば、ある作業セグメントに対して、作業者が１つの作業エレメントの作業が完了するたびにセグメント表示情報ＳＤをタップすることで、完了した作業エレメント数を特定できる。作業セグメント状態更新部６５は、例えば、完了した作業エレメント数／作業セグメント内の作業エレメント総数×１００％を「作業進行度」として算出する。この場合、表示制御部６３は、例えば図１５に示すように、対象となるセグメント表示情報ＳＤを「作業中」を表す色で表示させるとともに、そのセグメント表示情報ＳＤ上に「作業進行度」を表すグラフＧを表示させる。「作業進行度」を表す表示は、図１５に示すようなグラフＧだけでなく、数値などで示してもよい。また、作業セグメント内の作業エレメント上に印を設け、印をタップすることで作業エレメントの完了を入力してもよい。

作業セグメントの状態に「作業中」や「作業進行度」を含んでいる場合、表示制御部６３は、ある作業セグメントの状態が「完了」になると、その作業セグメントに類似する他の作業セグメント、つまり、作業が完了した作業セグメントと共通のラベルを持つ他の作業セグメントのセグメント表示情報ＳＤを、例えば点滅表示などの方法で強調表示するように制御してもよい。このようなセグメント表示情報ＳＤの強調表示により、作業者による次の作業セグメントの選択をアシストすることができる。セグメント表示情報ＳＤを強調表示する方法は点滅に限らず、対象となるセグメント表示情報ＳＤの輝度を上げるなど、他の方法を用いてもよい。また、作業が完了した作業セグメントと共通のラベルを持つ他の作業セグメントがない場合などは、作業が完了した作業セグメントの近傍にある他の作業セグメントのセグメント表示情報ＳＤを強調表示してもよい。

また、作業セグメント間に順序がある場合は、作業セグメント生成部６１が作業セグメントを生成するときに、順序が必要な作業セグメントに対して順序を付与し、先に行うべき作業セグメントに対する作業が完了しないと、それ以降に行うべき作業セグメントのセグメント表示情報ＳＤを表示させないようにしてもよい。例えば、配線を固定してから蓋をねじ止めする作業がある場合、配線固定を含む作業セグメントが先に行うべき作業セグメントとなり、蓋のねじ止めを含む作業セグメントが次に行うべき作業セグメントとなる。この場合、表示制御部６３は、配線固定を含む作業セグメントの状態が「完了」にならないと、蓋のねじ止めを含む作業セグメントのセグメント表示情報ＳＤを表示させないように制御する。ただし、特定のセグメント表示情報ＳＤのみを表示する構成であると、作業者が作業の全貌を把握できないことが想定されるため、最初にすべての作業セグメントに対応するセグメント表示情報ＳＤを表示させた後、作業員がボタンを押したり画面をスライドさせたりすることにより、作業の順番に応じたセグメント表示情報ＳＤの表示制御を行う構成としてもよい。

以上説明したように、本実施形態の作業支援装置１００Ｂによれば、作業セグメントの状態に応じてセグメント表示情報ＳＤの表示を変化させるようにしているので、第１実施形態と同様に、作業者に作業の全貌を把握させつつ作業しやすいまとまりを把握させることができることに加え、作業がどの程度進行しているかを作業者に把握させることができる。

（変形例）
なお、上述の第２実施形態では、作業セグメントの状態を作業者による入力操作に基づいて判断していたが、例えば、カメラで撮影した作業領域の画像を用いて作業者が作業する作業セグメントやその状態を推定して、作業セグメントの状態を自動で更新する構成としてもよい。

図１６は、本変形例の作業支援装置１００Ｂ’の構成例を示すブロック図である。本変形例の作業支援装置１００Ｂ’は、図１２に示した作業支援装置１００Ｂの構成に対し、カメラ７０と推定部６６とが追加された構成である。カメラ７０は、作業領域ＷＡの画像（動画あるいは連続的な静止画）を撮影する。推定部６６は、例えば、プロセッサがプログラムを実行することにより処理回路６０において実現される機能的な構成要素であり、カメラ７０により撮影された画像に基づいて、作業者が作業を行っている作業セグメントやその状態を推定する機能を持つ。

図１７は、作業領域ＷＡを撮影するカメラ７０の設置例を示す図である。この図１７に示す例では、カメラ７０は作業者Ｗの背後に設置され、作業領域ＷＡの全域と作業者Ｗとを含む画像を撮影する。カメラ７０により撮影された画像は、通信装置４０を介して処理回路６０に随時入力される。

作業者Ｗは、作業前に作業領域ＷＡの前に直立する。推定部６６は、このときにカメラ７０で撮影された画像から作業領域ＷＡと作業者Ｗの頭、肩、肘、手を認識し、作業領域ＷＡの外形と作業者Ｗの上半身の骨格系モデルとを推定する。その後、推定部６６は、カメラ７０から送られてきた画像に作業者Ｗが写っている場合には、推定した作業者Ｗの骨格系モデルを用いて作業者Ｗの頭部に対する手先位置を推定し、作業領域ＷＡの外形と作業者Ｗの頭部の位置との位置関係から、作業領域ＷＡ内のどの作業セグメント付近に作業者Ｗの手先があるかを推定する。そして、作業者Ｗの手先が「未完了」の作業セグメントの１つに所定時間以上とどまり続けた場合、その作業セグメントで作業者Ｗが作業を行っていると判断し、その作業セグメントの状態を「作業中」と推定する。

また、作業者Ｗの手先が所定時間以上、「作業中」の作業セグメントから離れた場合は、「作業中」であった作業セグメントの作業が完了したものとして、その作業セグメントの状態を「完了」とする。ここで、所定時間は例えば３０秒とするが、作業者Ｗの熟練度や生産現場などに応じて異なる値としてもよい。

また、カメラ７０は、作業者Ｗが注目する作業領域ＷＡ内の一部の領域の画像を撮影する構成であってもよい。図１８は、この場合のカメラ７０の設置例を示す図であり、作業者Ｗが小型のＣＣＤカメラであるカメラ７０を装着した例を示している。この図１８に示す例では、例えば、作業者Ｗがかぶる作業帽にカメラ７０を縫い付けたり、作業者Ｗが装着するメガネのフレームにカメラ７０を取り付けたりすることにより、作業者Ｗの頭部にカメラ７０を固定して、作業領域ＷＡ内で作業者Ｗが注目している一部の領域の画像をカメラ７０により撮影する。

作業者Ｗは、まず、作業前にカメラ７０の画角内に作業領域ＷＡの全域が収まるように、作業領域ＷＡから少し離れた位置に立ち、カメラ７０で作業領域ＷＡの全域の画像を撮影する。このときカメラ７０により撮影された作業領域ＷＡの全域の画像は、通信装置４０を介して、例えば記憶装置５０や処理回路６０内部のメモリなどに記憶される。その後、作業者Ｗが作業領域ＷＡに近づいて作業を開始すると、カメラ７０は作業領域ＷＡ内の作業者Ｗが注目している一部の領域の画像を撮影する。このときの画像は、通信装置４０を介して処理回路６０に随時入力される。

推定部６６は、カメラ７０から随時入力される画像と、先に記憶した作業領域ＷＡの全域の画像とのマッチングを取ることにより、作業者Ｗが注目している領域内の作業セグメントを推定する。そして、その作業セグメントの状態が「未完了」であれば、推定部６６は、カメラ７０からの画像にその作業セグメントが所定時間以上継続して含まれている場合に、その作業セグメントの状態を「作業中」とする。また、状態が「作業中」の作業セグメントがカメラ７０からの画像に所定時間以上継続して含まれなくなると、その作業セグメントに対する作業が完了したものとして、その作業セグメントの状態を「完了」とする。ここで、所定時間は例えば３０秒とするが、作業者Ｗの熟練度や生産現場などに応じて異なる値としてもよい。

図１８に示すような小型のＣＣＤカメラをカメラ７０として用い、作業領域ＷＡ内の作業者Ｗが注目している領域の画像を撮影した場合には、作業領域ＷＡ内で使用する部品または工具の画像を予め撮影して記憶装置５０などに記憶させておくことにより、推定部６６は「作業進行度」の推定を行うこともできる。例えば、推定部６６は、カメラ７０から随時入力される画像と、作業領域ＷＡ内で使用する部品または工具の画像とのマッチングにより、作業者Ｗが使用している部品または工具を特定する。そして、カメラ７０からの画像に連続して同じ部品または工具が写っている場合には、その部品または工具を使用する作業をし続けているものとみなす。また、カメラ７０からの画像にその部品または工具が含まれなくなった場合、その部品または工具を使用する作業が完了したとみなす。推定部６６は、作業セグメントに含まれる作業エレメントの属性より、部品または工具の種類と使用回数を予め求めておき、該当する部品または工具の使用された回数より、「作業進行度」を算出する。例えば、ある作業セグメント内の作業エレメントが、「ネジＡ締め（部品：スクリューＡ）」２回、「ネジＢ締め（部品：イモネジＢ）」１回である場合、その作業セグメントに対し、スクリューＡが１回、イモネジＢが１回使用されたとき、その作業セグメントの「作業進行度」は、２／３＝６７％となる。

また、推定部６６は、カメラ７０から随時入力される画像と、先に記憶した作業領域ＷＡの全域の画像とのマッチングを取ることにより、状態が「作業中」の作業セグメント内で作業者Ｗが作業を行っている作業エレメントを推定してもよい。この場合、表示制御部６３は、例えば図１９に示すように、作業が完了した作業エレメントの位置に「済」マークＭを付けるなど、作業セグメント内の作業エレメントごとに作業が完了したか否かを表したセグメント表示情報ＳＤを表示させることができる。なお、図１９に示す例では、「済」マークＭを用いて作業が完了した作業エレメントを認識させているが、これに限らず、文字や記号あるいは図形などを用いて作業が完了した作業エレメントを認識させるようにしてもよい。

本変形例のように、カメラ７０で撮影した画像を用いて作業者Ｗが作業する作業セグメントやその状態を推定し、作業セグメントの状態を自動で更新する構成とすることで、作業者Ｗの操作負担を軽減させることができる。

＜第３実施形態＞
図２０は、第３実施形態に係る作業支援装置１００Ｃの構成例を示すブロック図である。上述の第１実施形態や第２実施形態およびその変形例では、セグメント表示情報ＳＤを内部の表示装置３０に表示させていたが、本実施形態では、表示制御部６３が生成したセグメント表示情報ＳＤを、通信装置４０を介して外部表示装置８０に送信し、外部表示装置８０にセグメント表示情報ＳＤを表示させる。外部表示装置８０としては、例えば、プロジェクタやメガネ型ディスプレイなどを用いることができる。

外部表示装置８０としてプロジェクタを用いる場合は、予めプロジェクタの投影位置を作業領域ＷＡに合わせておき、プロジェクションマッピングにより、作業領域ＷＡに対してセグメント表示情報ＳＤを重ね合わせるように表示させる。この場合、表示制御部６３は、作業者Ｗが作業中であるか否かに応じてセグメント表示情報ＳＤの表示を変化させることが望ましい。例えば、推定部６６がカメラ７０からの画像に基づいて作業者Ｗが作業中か否かを推定する。そして、表示制御部６３は、作業者Ｗが作業中でなければセグメント表示情報ＳＤを表示させ、作業者Ｗが作業中の場合は、作業の邪魔にならないようにセグメント表示情報ＳＤの表示を停止させるように制御する。また、推定部６６がカメラ７０からの画像に基づいて作業中の作業セグメントを推定し、表示制御部６３は、作業中の作業セグメントのセグメント表示情報ＳＤの表示のみを停止させたり、状態が「未完了」の作業セグメントのセグメント表示情報ＳＤのみを表示させたりといった制御を行うようにしてもよい。

外部表示装置８０としてメガネ型ディスプレイを用いる場合は、例えば図１８に示したような小型のＣＣＤカメラをカメラ７０として用い、推定部６６が、作業領域ＷＡ内の作業者Ｗが注目している領域内の作業セグメントを上述した方法により推定する。そして、表示制御部６３は、推定部６６が推定した作業セグメントに対応するセグメント表示情報ＳＤをメガネ型ディスプレイに表示させる。

以上説明したように、本実施形態の作業支援装置１００Ｃによれば、プロジェクタやメガネ型ディスプレイなどの外部表示装置８０にセグメント表示情報ＳＤを表示させるようにしているので、作業者Ｗに作業の全貌や作業しやすいまとまりをより直感的に把握させることができる。

＜補足説明＞
上述した各実施形態およびその変形例では、作業者が利用するタブレットコンピュータやスマートフォンなどの携帯型電子機器の機能として作業支援装置が実現される例を想定したが、作業支援装置は、このような携帯型電子機器とネットワークを介して接続されるサーバ装置により実現する構成であってもよい。この場合、サーバ装置が上述の作業セグメント生成部６１、ラベル付与部６２、表示制御部６３、属性指定受付部６４、作業セグメント状態更新部６５および推定部６６などを備え、作業者が利用する携帯型電子機器にセグメント表示情報を表示させる。

上述の作業支援装置を構成する各部（作業セグメント生成部６１、ラベル付与部６２、表示制御部６３、属性指定受付部６４、作業セグメント状態更新部６５および推定部６６）は、例えば、１または複数のプロセッサにプログラムを実行させること、すなわち、ソフトウェアにより実現することができる。また、上記各部は、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、上記各部のうち１つを実現してもよいし、上記各部のうち２以上を実現してもよい。

以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

３０ 表示装置
５０ 記憶装置
６０ 処理回路
６１ 作業セグメント生成部
６２ ラベル付与部
６３ 表示制御部
６４ 属性指定受付部
６５ 作業セグメント状態更新部
６６ 推定部
７０ カメラ
８０ 外部表示装置
１００Ａ，１００Ａ’，１００Ｂ，１００Ｂ’，１００Ｃ 作業支援装置

Claims (13)

1. 作業対象物、作業位置、使用する部品、使用する工具、のいずれか１つまたは複数の属性に基づいて分類された複数の作業エレメントのうち、１以上の作業エレメントを含む複数の作業セグメントを生成する作業セグメント生成部と、
   前記複数の作業セグメントの各々に対応するセグメント表示情報の表示を制御する表示制御部と、
   前記複数の作業セグメントの各々にラベルを付与するラベル付与部と、
   を備え、
   前記表示制御部は、前記ラベルの違いを認識可能な前記セグメント表示情報を表示させるように制御する、作業支援装置。
2. 前記ラベル付与部は、作業セグメントに含まれる作業エレメントの前記属性に基づいて作業セグメント間の類似性を判断し、類似する作業セグメントに共通のラベルを付与する、
   請求項１に記載の作業支援装置。
3. 前記作業セグメント生成部は、前記属性のうち、少なくとも作業対象物に基づいて複数の作業エレメントを分類して前記複数の作業セグメントを生成し、
   前記ラベル付与部は、少なくとも作業対象物が類似する作業セグメントを類似する作業セグメントと判断して共通のラベルを付与する、
   請求項２に記載の作業支援装置。
4. 前記作業セグメント生成部は、前記属性のうち、作業対象物と使用する部品または使用する工具とに基づいて複数の作業エレメントを分類して前記複数の作業セグメントを生成し、
   前記ラベル付与部は、作業対象物が類似し、かつ、使用する部品または使用する工具が同じ作業セグメントを類似する作業セグメントと判断して共通のラベルを付与する、
   請求項３に記載の作業支援装置。
5. 前記作業セグメント生成部は、前記属性のうち、少なくとも作業位置に基づいて複数の作業エレメントを分類して前記複数の作業セグメントを生成し、
   前記ラベル付与部は、少なくとも使用する部品または使用する工具が同じ作業セグメントを類似する作業セグメントと判断して共通のラベルを付与する、
   請求項２に記載の作業支援装置。
6. 作業対象物、作業位置、使用する部品、使用する工具、のいずれか１つまたは複数の属性に基づいて分類された複数の作業エレメントのうち、１以上の作業エレメントを含む複数の作業セグメントを生成する作業セグメント生成部と、
   前記複数の作業セグメントの各々に対応するセグメント表示情報の表示を制御する表示制御部と、
   前記属性のうちの少なくとも１つを指定する操作を受け付ける属性指定受付部と、を備え、
   前記作業セグメント生成部は、指定された前記属性に基づいて複数の作業エレメントを分類して前記複数の作業セグメントを生成する、作業支援装置。
7. 前記表示制御部は、作業セグメントの状態に応じて、該作業セグメントに対応する前記セグメント表示情報の表示を変化させる、
   請求項１乃至６のいずれか一項に記載の作業支援装置。
8. 前記表示制御部は、前記複数の作業セグメントのいずれかに対する作業が完了した場合に、作業が完了した作業セグメントに類似する他の作業セグメント、または、作業が完了した作業セグメントの近傍の他の作業セグメントを強調するように、前記他の作業セグメントに対応する前記セグメント表示情報の表示を変化させる、
   請求項７に記載の作業支援装置。
9. 作業者を含む作業領域の画像または前記作業者が注目する前記作業領域内の一部の領域の画像を撮影する撮影部と、
   前記撮影部により撮影された画像に基づいて、前記複数の作業セグメントのうち、前記作業者が作業する作業セグメントおよび該作業セグメントの状態を推定する推定部と、をさらに備え、
   前記表示制御部は、前記推定部により推定された作業セグメントの状態に応じて、該作業セグメントに対応する前記セグメント表示情報の表示を変化させる、
   請求項７または８に記載の作業支援装置。
10. 前記推定部は、前記撮影部により撮影された画像に基づいて、前記作業者が作業中であるか否かを推定し、
    前記表示制御部は、前記作業者が作業中であるか否かに応じて、前記セグメント表示情報の表示を変化させる、
    請求項９に記載の作業支援装置。
11. 作業対象物、作業位置、使用する部品、使用する工具、のいずれか１つまたは複数の属性に基づいて分類された複数の作業エレメントのうち、１以上の作業エレメントを含む複数の作業セグメントを生成する作業セグメント生成ステップと、
    前記複数の作業セグメントの各々に対応するセグメント表示情報の表示を制御する表示制御ステップと、
    前記複数の作業セグメントの各々にラベルを付与するラベル付与ステップと、
    を含み、
    前記表示制御ステップは、前記ラベルの違いを認識可能な前記セグメント表示情報を表示させるように制御する、作業支援方法。
12. コンピュータに、
    作業対象物、作業位置、使用する部品、使用する工具、のいずれか１つまたは複数の属性に基づいて分類された複数の作業エレメントのうち、１以上の作業エレメントを含む複数の作業セグメントを生成する作業セグメント生成部の機能と、
    前記複数の作業セグメントの各々に対応するセグメント表示情報の表示を制御する表示制御部の機能と、
    前記複数の作業セグメントの各々にラベルを付与するラベル付与部の機能と、
    を実現させ、
    前記表示制御部は、前記ラベルの違いを認識可能な前記セグメント表示情報を表示させるように制御する、プログラム。
13. 作業対象物、作業位置、使用する部品、使用する工具、のいずれか１つまたは複数の属性に基づいて分類された複数の作業エレメントのうち、１以上の作業エレメントを含む複数の作業セグメントを生成する作業セグメント生成部と、
    前記複数の作業セグメントの各々に対応するセグメント表示情報の表示を制御する表示制御部と、
    を備え、
    前記表示制御部は、前記複数の作業セグメントのうち、作業セグメントに含まれる作業エレメントの前記属性に基づいて類似と判断された作業セグメントの各々に対して、共通する特徴を有するセグメント表示情報を表示させるように制御する、作業支援装置。

Images