JP7294505B2 - 教師データの生成方法、教師データの生成装置及びプログラム - Google Patents

Description

本発明は、教師データの生成方法、教師データの生成装置及びプログラムに関する。

近年、機械学習の技術の発展に伴い、当該機械学習に用いるアノテーション（画像の教師データ）の生成が行われている。例えば、教師データとして用いる対象物の特定部分の画像を指定する作業の一例としては、手動操作による医用画像のアノテーション作業がある（例えば、特許文献１参照）。

特開２０２０－３５０９５号公報

しかしながら上述の技術では、教師データの生成に必要な画像の選別は作業者の手動操作に頼るところが多く、手間がかかっていた。

本願発明は、上記問題点に鑑みてなされたもので、教師データとして用いる画像の登録を効率良く行うことを目的とする。

上記目的を達成するため、本発明に係る教師データの生成方法は、コンピュータが、撮像画像から、移動体の識別情報を取得するための第１の画像領域を含む第２の画像領域を決定する決定処理と、前記決定処理で決定された前記第２の画像領域に対応するデータを機械学習用の教師データとして生成する生成処理と、を実行し、前記決定処理は、前記撮像画像に含まれる前記第１の画像領域が複数有る場合、前記第１の画像領域間の距離に基づいて、前記第２の画像領域を決定する、ことを特徴とする。

上記目的を達成するため、本発明に係る教師データの生成装置は、撮像画像から、移動体の識別情報を取得するための第１の画像領域を含む第２の画像領域を決定する決定手段と、前記決定手段により決定された前記第２の画像領域に対応するデータを機械学習用の教師データとして生成する生成手段と、を備え、前記決定手段は、前記撮像画像に含まれる前記第１の画像領域が複数有る場合、前記第１の画像領域間の距離に基づいて、前記第２の画像領域を決定する、ことを特徴とする。

上記目的を達成するため、本発明に係るプログラムは、コンピュータを、撮像画像から、移動体の識別情報を取得するための第１の画像領域を含む第２の画像領域を決定する決定手段、前記決定手段により決定された前記第２の画像領域に対応するデータを機械学習用の教師データとして生成する生成手段、として機能させ、前記決定手段は、前記撮像画像に含まれる前記第１の画像領域が複数有る場合、前記第１の画像領域間の距離に基づいて、前記第２の画像領域を決定する、ことを特徴とする。

本発明によれば、教師データとして用いる画像の登録を効率良く行うことができる。

本発明の実施形態に係る可視光通信システムの構成の一例を示す図である。 同実施形態に係るフォークリフトの構成の一例を示す図である。 同実施形態に係るカメラとサーバとデータベースとの構成の一例を示す図である。 同実施形態に係る撮像画像データの一例を示す図である。 （ａ）は同実施形態に係るマーカの画像領域とフォークリフトの画像領域の一例を示す図であり、（ｂ）は（ａ）と比較してマーカの画像領域が小さい場合を示す図である。 同実施形態に係る領域データの一例を示す図である。 同実施形態に係る教師データの一例を示す図である。 （ａ）は同実施形態に係るフォークリフトの画像領域の一例を示す図であり、（ｂ）は（ａ）においてマーカの画像領域の色を変更したフォークリフトの画像領域の一例を示す図である。 同実施形態に係る教師データ生成処理の一例を示すフローチャートである。 同実施形態に係るマーカの画像領域の色変更処理の一例を示すフローチャートである。 本発明の他の実施形態に係る教師データ生成処理の一例を示すフローチャートである。 同実施形態に係る警報通知処理の一例を示すフローチャートである。 （ａ）はフォークリフトの画像領域の他の例を示す図であり、（ｂ）は（ａ）と比較してフォークリフトの画像領域が小さい場合の図である。 （ａ）は、フォークリフトの画像領域の他の例を示す図であり、（ｂ）は（ａ）と比較してマーカの画像領域が画像の上にある場合を示す図である。

以下、図面を参照して、本発明の実施形態に係る可視光通信システムを説明する。

図１は、可視光通信システムの構成の一例を示す図である。図１に示すように、可視光通信システム１が適用される空間Ｓには、棚４００ａ、４００ｂが設置されており、フォークリフト１００ａ、１００ｂ（以下、フォークリフト１００ａ、１００ｂのそれぞれを限定しない場合には、適宜「フォークリフト１００」と称する）と、カメラ２００ａ、２００ｂ、２００ｃ、２００ｄ（以下、カメラ２００ａ、２００ｂ、２００ｃ、２００ｄのそれぞれを限定しない場合には、適宜「カメラ２００」と称する）と、ハブ２１０と、サーバ３００と、データベース５００とが含まれる。

フォークリフト１００ａは、ＬＥＤ（Light Emitting Diode）であるマーカ（発光体）１０２ａを含み、フォークリフト１００ｂは、マーカ１０２ｂを含む（以下、マーカ１０２ａ、１０２ｂのそれぞれを限定しない場合には、適宜「マーカ１０２」と称する）。サーバ３００は、ハブ２１０を介してカメラ２００を接続する。また、図示しないネットワークＬＡＮ（Local Area Network）を介してデータベース５００に接続される。

本実施形態において、フォークリフト１００に取り付けられたマーカ１０２は、送信対象の情報であるフォークリフト１００の識別情報を含む通信データに対応して発光色を時系列に変化させ、可視光通信により送信する。本実施形態において識別情報は、フォークリフト１００がフォークリフトであることを示す分類ＩＤである。なお、識別情報は、分類ＩＤの他にフォークリフト１００を一意に特定する情報である車両番号等を含んでいてもよい。

一方、カメラ２００は、空間Ｓ全体の撮像を行う。サーバ３００は、カメラ２００の撮像により得られた空間Ｓ全体の画像から、可視光通信により、画像におけるマーカ１０２の位置（２次元位置）や空間Ｓにおけるマーカ１０２の位置（３次元位置）を取得し、更にマーカ１０２の時系列的に変化する発光の内容を復調し、フォークリフト１００から通信データを取得する。また、本実施形態において、サーバ３００は、機械学習において画像内のフォークリフト１００の画像領域を識別する際に用いる教師データを生成する。

図２は、フォークリフト１００の構成の一例を示す図である。図２に示すように、フォークリフト１００は、マーカ１０２、制御部１０３、メモリ１０４、通信部１１０、駆動部１１２、及び、電池１５０を含む。

制御部１０３は、例えばＣＰＵ（Central Processing Unit）によって構成される。制御部１０３は、メモリ１０４に記憶されたプログラムに従ってソフトウェア処理を実行することにより、フォークリフト１００が具備する各種機能を制御する。

メモリ１０４は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）である。メモリ１０４は、フォークリフト１００における制御等に用いられる各種情報（プログラム等）を記憶する。

通信部１１０は、例えばＬＡＮカードである。通信部１１０は、サーバ３００等との間で無線通信を行う。電池１５０は、フォークリフト１００の作動に必要な電力を各部に供給する。

制御部１０３は、メモリ１０４に記憶されたフォークリフト１００の識別情報を読み出す。

制御部１０３内には発光制御部１２４が構成される。発光制御部１２４は、通信データである識別情報に対応して発光色を時系列に変化させる発光パターンを決定する。

更に、発光制御部１２４は、発光パターンの情報を駆動部１１２へ出力する。駆動部１１２は、発光制御部１２４からの発光パターンの情報に応じて、マーカ１０２が発する光の色相を時間的に変化させるための駆動信号を生成する。マーカ１０２は、駆動部１１２から出力される駆動信号に応じて、時間的に色相が変化する光を発する。例えば、発光色は３原色であり、可視光通信における色変調に用いる波長帯の色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかである。

図３は、カメラ２００とサーバ３００とデータベース５００との構成の一例を示す図である。図３に示すように、カメラ２００とサーバ３００とはハブ２１０を介して接続され、データベース５００とはネットワークＬＡＮを介して接続される。カメラ２００は、撮像部２０２及びレンズ２０３を含む。サーバ３００は、制御部３０２、画像処理部３０４、メモリ３０５、操作部３０６、表示部３０７及び通信部３０８を含む。データベース５００は、撮像データ記憶部５０１、領域データ記憶部５０２及び教師データ記憶部５０３を備える。

カメラ２００内のレンズ２０３は、ズームレンズ等により構成される。レンズ２０３は、サーバ３００内の操作部３０６からのズーム制御操作、及び、制御部３０２による合焦制御により移動する。レンズ２０３の移動によって撮像部２０２が撮像する撮像画角や光学像が制御される。

撮像部２０２は、規則的に二次元配列された複数の受光素子により、撮像面を含む受光面が構成される。受光素子は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像デバイスである。撮像部２０２は、レンズ２０３を介して入光された光学像を、サーバ３００内の制御部３０２からの制御信号に基づいて所定範囲の撮像画角で撮像（受光）し、その撮像画角内の画像信号をデジタルデータに変換してフレームを生成する。また、撮像部２０２は、撮像とフレームの生成とを時間的に連続して行い、連続するフレームのデジタルデータを画像処理部３０４に出力する。

画像処理部３０４は、制御部３０２からの制御信号に基づいて、撮像部２０２から出力されたフレームのデジタルデータに対し歪曲補正、色味調整、及び、ノイズ除去を行い、制御部３０２へ出力する。

制御部３０２は、例えばＣＰＵ等のプロセッサによって構成される。制御部３０２は、メモリ３０５に記憶されたプログラムに従ってソフトウェア処理を実行することにより、後述する図９～図１２に示す処理を行う等、サーバ３００が具備する各種機能を制御する。

メモリ３０５は、例えばＲＡＭやＲＯＭである。メモリ３０５は、サーバ３００における制御等に用いられる各種情報（プログラム等）を記憶する。

操作部３０６は、テンキーやファンクションキー等によって構成され、ユーザの操作内容を入力するために用いられるインタフェースである。表示部３０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electro Luminescence）ディスプレイ等によって構成される。表示部３０７は、制御部３０２から出力された画像信号に従って画像を表示する。通信部３０８は、例えばＬＡＮカードである。通信部３０８は、外部の通信装置との間で通信を行う。

制御部３０２には、登録部３３２、画像領域範囲特定部３３４、移動検出部３３６、色変更部３３８、画像領域比較部３４０及び通知部３４２が構成される。

登録部３３２は、カメラ２００内の撮像部２０２が出力する複数のフレームのデジタルデータ（画像データ）のそれぞれについて、当該画像データの識別情報である画像ＩＤを付加して撮像画像データを生成する。

図４は、撮像画像データの一例を示す図である。画像ＩＤは、対応する画像データを出力したカメラ２００、換言すれば、対応する画像を撮像したカメラの識別情報であるカメラＩＤと、カメラ２００による撮像日時とにより構成される。

なお、画像ＩＤ、カメラＩＤ、及び、撮影日時の各情報は、撮影画像データの画像データと共にプロファイルデータとして格納されているが、画像データと対応付けられた独立したデータとして設定されていてもよい。

再び、図３に戻って説明する。登録部３３２は、生成した撮像画像データをデータベース５００内の撮像画像データ記憶部５０１に登録する。

画像領域範囲特定部３３４は、撮像部２０２が出力する複数のフレームのデジタルデータそれぞれについて、当該フレームを構成する各画素の輝度値を取得する。次に、画像領域範囲特定部３３４は、フレームにおいて輝度値が所定値以上である画素の位置をマーカ１０２の位置であるとみなす。更に、画像領域範囲特定部３３４は、フレーム内のマーカ１０２の位置における発光色の変化の復号処理を行い、マーカ１０２が送信した通信データに含まれる分類ＩＤを取得する。以下の処理は、分類ＩＤ毎にそれぞれ行われる。

画像領域範囲特定部３３４は、撮像画像データ記憶部５０１から撮像画像データを読み出し、当該撮像画像データに含まれる画像データに対応する撮像画像内にマーカ１０２の画像領域が含まれるか否かを判定する。具体的には、画像領域範囲特定部３３４は、撮像画像内に輝度値が所定値以上である画素が存在する場合、マーカ１０２の画像領域が含まれると判定する。

マーカ１０２の画像領域が含まれる場合、画像領域範囲特定部３３４は、撮像画像データに含まれる画像データに対応する撮像画像において、フォークリフト１００の画像が存在すると判断される画像領域の範囲を特定する。具体的には、画像領域範囲特定部３３４は、撮像画像内におけるマーカ１０２の画像領域の位置を中心に、上下方向おいてはマーカ１０２の像がやや上に、左右方向においてはマーカ１０２の像が中心に来るように、また、マーカ１０２の画像領域の大きさに比例してそのサイズが大きくなるように、且つ、フォークリフト１００の画像が概ねその範囲に収まるように、予め設定された範囲（第１の画像範囲）をフォークリフト１００の画像領域の範囲として特定する。

この際、画像領域範囲特定部３３４は、マーカ１０２の画像領域の大きさを判別する。画像領域範囲特定部３３４は、マーカ１０２の画像領域が大きいほど撮像画像内におけるフォークリフト１００の画像領域が大きくなるように、フォークリフト１００の画像領域の範囲を特定する。なお、このフォークリフト１００の画像領域は、撮像画像からのフォークリフト１００の画像の検出処理や画像認識を行うことなく特定される。つまり、マーカ１０２の撮像画像における位置と大きさに基づいて、このマーカ１０２を備えるフォークリフト１００画像の撮像画像内の位置や範囲を推定し、その推定結果に基づいて特定する。

図５（ａ）及び図５（ｂ）は、マーカ１０２の画像領域とフォークリフト１００の画像領域の一例を示す図である。図５（ａ）の撮像画像６００ａと、図５（ｂ）の撮像画像６００ｂとを比較すると、図５（ａ）におけるマーカ１０２ａの画像領域６０２ａは図５（ｂ）におけるマーカ１０２ａの画像領域６０２ｂよりも大きい。このため、図５（ａ）におけるフォークリフト１００ａの画像領域６０４ａは、図５（ｂ）におけるフォークリフト１００ｂの画像領域６０４ｂよりも大きくなる。

このように画像領域範囲特定部３３４は、識別情報であるマーカ１０２の像の大きさに比例して、特定する画像領域の大きさを変えるよう制御する。

再び、図３に戻って説明する。フォークリフト１００の画像領域の範囲を特定した後、画像領域範囲特定部３３４は、フォークリフト１００の画像領域を特定する情報である領域データを生成する。

図６は、領域データの一例を示す図である。図６に示す領域データ５１２は、対応するフォークリフト１００の画像領域を含む撮像画像の画像ＩＤと、フォークリフト１００の画像領域を特定するための画像領域データとを含む。画像領域データは、撮像画像におけるフォークリフト１００の画像領域の左上の座標、水平方向であるＸ方向の長さ、及び、垂直方向であるＹ方向の長さを示す。なお、図６に示す画像領域データは、フォークリフト１００の画像領域が矩形の場合の例である。フォークリフト１００の画像領域の形状に応じて画像領域データの形式は異なったものとなる。

再び、図３に戻って説明する。登録部３３２は、画像領域範囲特定部３３４によって生成された領域データを撮影画像データと対応付けてデータベース５００内の領域データ記憶部５０２に登録する。

次に、画像領域範囲特定部３３４は、生成した領域データに対応する教師データを生成する。図７は、教師データの一例を示す図である。図７に示すように、教師データ５１３は、分類ＩＤとフォークリフト１００の画像領域に対応する画像データ（フォークリフト領域画像データ）とにより構成される。

教師データを生成する際、画像領域範囲特定部３３４は、上述した処理によって取得した通信データに含まれる分類ＩＤを取得する。次に、画像領域範囲特定部３３４は、分類ＩＤに対応する領域データ内の画像ＩＤを含む撮像画像データを撮像画像データ記憶部５０１から読み出す。更に、画像領域範囲特定部３３４は、読み出した撮像画像データ内の画像データから、生成した領域データ内の画像領域データによって特定される範囲を切り出し、フォークリフト領域画像データとして分類ＩＤに付加する。

再び、図３に戻って説明する。登録部３３２は、画像領域範囲特定部３３４によって生成された教師データをデータベース５００内の教師データ記憶部５０３に登録する。

教師データが生成、登録された後、制御部３０２内の色変更部３３８は、教師データ内のフォークリフト領域画像データに対応する画像において、マーカ１０２の画像領域の色を、当該マーカ１０２の周辺の色に変更する。色変更部３３８は、上述と同様、輝度値が所定値以上である画素をマーカ１０２の画像領域として特定することができる。マーカ１０２の画像領域の色が変更されることにより、例えば、図８（ａ）に示すフォークリフト１００の画像領域６０４ａは、マーカ１０２ａの画像領域の色が変更されることにより、図８（ｂ）に示すフォークリフト１００の画像領域６１４ａとなる。このようにマーカ１０２の像を消去することで教師データとして汎用性の高いフォークリフト１００の画像領域のデータが生成される。

以下、フローチャートを参照しつつ、サーバ３００が行う処理を説明する。

図９は、教師データ生成処理の一例を示すフローチャートである。サーバ３００の制御部３０２内の画像領域範囲特定部３３４は、教師データの生成処理が未実行である撮像画像データが撮像画像データ記憶部５０１に登録されているか否かを判定する（ステップＳ１０１）。教師データの生成処理が未実行である撮像画像データが登録されていない、すなわち、撮像画像データ記憶部５０１に登録されている撮像画像データ全てから教師データが生成されていると判定した場合には（ステップＳ１０１；ＮＯ）、教師データ生成処理に係る一連の動作が終了する。

一方、教師データの生成処理が未実行である撮像画像データが登録されていると判定した場合（ステップＳ１０１；ＹＥＳ）、画像領域範囲特定部３３４は、その教師データの生成処理が未実行である撮像画像データを撮像画像データ記憶部５０１から読み出す（ステップＳ１０２）。次に、画像領域範囲特定部３３４は、読み出した撮像画像データに含まれる画像データに対応する撮像画像内にマーカ１０２の画像領域が含まれるか否かを判定する（ステップＳ１０３）。撮像画像内にマーカ１０２の画像領域が含まれないと判定した場合には（ステップＳ１０３；ＮＯ）、当該撮像画像データには、教師データの対象となる画像領域が含まれていないと判定し、再びステップＳ１０１以降の動作が繰り返される。

一方、撮像画像内にマーカ１０２の画像領域が含まれると判定した場合（ステップＳ１０３；ＹＥＳ）、画像領域範囲特定部３３４は、撮像画像において、教師データとして用いるフォークリフト１００の画像領域の範囲を特定する（ステップＳ１０４）。次に、画像領域範囲特定部３３４は、撮像画像内においてフォークリフト１００の画像領域を特定する情報である領域データを生成する。登録部３３２は、画像領域範囲特定部３３４によって撮像画像から抽出され生成された領域データをデータベース５００内の領域データ記憶部５０２に登録する（ステップＳ１０５）。

次に、画像領域範囲特定部３３４は、生成した領域データに対応する教師データを生成する。登録部３３２は、画像領域範囲特定部３３４によって生成された教師データをデータベース５００内の教師データ記憶部５０３に登録する（ステップＳ１０６）。

図１０は、マーカの画像領域の色変更処理の一例を示すフローチャートである。サーバ３００の制御部３０２内の色変更部３３８は、教師データ記憶部５０３に登録されている教師データにおいて、マーカの画像領域が存在するものが登録されているか否かを判定する（ステップＳ２０１）。教師データ記憶部５０３にマーカの画像領域が存在する教師データが登録されていないと判定した場合には（ステップＳ２０１；ＮＯ）、一連の動作が終了する。

一方、教師データ記憶部５０３にマーカの画像領域が存在する教師データが登録されていると判定した場合（ステップＳ２０１；ＹＥＳ）、色変更部３３８は、教師データ内のフォークリフト領域画像データに対応する画像において、マーカ１０２の画像領域の色を、当該マーカ１０２の周辺の色に変更する（ステップＳ２０２）。

このように、本実施形態では、サーバ３００は、カメラ２００の撮像によって得られる画像データに対応する撮像画像におけるマーカ１０２の画像領域を特定し、撮像画像からの検出処理や画像認識を行うことなくフォークリフト１００の位置や範囲を特定する。つまり、マーカ１０２の撮像画像における位置と大きさに基づいて、このマーカ１０２を備えるフォークリフト１００画像の撮像画像内の位置や範囲を推定し、その推定結果に基づいて特定する。更に、サーバ３００は、フォークリフト１００の画像領域を特定する情報を教師データとして生成し登録する。これにより、教師データの生成に際し撮影環境や作業者によるばらつきを防止し、また、必要な画像の選別を手動操作に頼る必要がなく、教師データとして用いる画像の登録を効率良く行うことができる。

また、サーバ３００は、マーカ１０２の画像領域が大きいほど、フォークリフト１００の画像領域が大きくなるように、フォークリフト１００の画像領域の範囲を特定する。これにより、マーカ１０２の画像領域が大きいほど、フォークリフト１００の画像領域は大きくなるとみなしうることを利用した的確なフォークリフト１００の画像領域の範囲の特定が可能となる。

また、サーバ３００は、教師データにおけるフォークリフト領域画像データに対応する画像において、マーカ１０２の画像領域の色を、当該マーカ１０２の周辺の色に変更する。これにより、通常はフォークリフト１００にマーカ１０２が取り付けられていないことを考慮し、マーカ１０２のない状態を擬製した汎用性の高い教師データの生成が可能となる。

また、サーバ３００は、分類ＩＤ毎に画像データをまとめて教師データとして生成する。このため、機械学習においては、分類ＩＤの単位で対象物の特定しやすくすることができる。

次に、他の実施形態について説明する。本実施形態においては、図３に示すサーバ３００の制御部３０２内の登録部３３２は、上述と同様、カメラ２００内の撮像部２０２が出力する複数のフレームのデジタルデータ（画像データ）のそれぞれについて、当該画像データの識別情報である画像ＩＤを付加して撮像画像データを生成し、データベース５００内の撮像画像データ記憶部５０１に登録する。

画像領域範囲特定部３３４は、上述と同様、複数のカメラ２００のそれぞれからの撮像画像に対応する画像データを解析することにより、各画像データにおいて輝度値が所定値以上である画素の位置をマーカ１０２の位置であるとみなす。更に、画像領域範囲特定部３３４は、フレーム内のマーカ１０２の位置における発光色の変化の復号処理を行い、マーカ１０２が送信した通信データに含まれる分類ＩＤを取得する。以下の処理は、分類ＩＤ毎に行われる。

次に、画像領域範囲特定部３３４は、少なくとも２つのカメラ２００内の撮像部２０２が出力するフレームのデジタルデータ（画像データ）に対応する撮像画像データに基づいて、フォークリフト１００の空間Ｓにおける３次元位置を特定する。

具体的には、画像領域範囲特定部３３４は、少なくとも２つのカメラ２００の撮像によって得られた同一の撮像日時に対応する撮像画像データを撮像画像データ記憶部５０１から読み出す。次に、画像領域範囲特定部３３４は、読み出した撮像画像データ内の画像データを解析し、輝度値が所定値以上であり、且つ、同一の発光態様を示すものをマーカ１０２として特定する。

更に、画像領域範囲特定部３３４は、読み出した各撮像画像データ内の画像データに対応する画像内のマーカ１０２の位置（２次元位置）、各カメラ２００の設置位置、及び、各カメラ２００の撮像範囲等の情報を用いて、例えば、特開２０２０－９５００５号公報に記載された技術により、マーカ１０２の空間Ｓにおける３次元位置を特定する。

次に、制御部３０２内の移動検出部３３６は、時間的に連続するマーカ１０２の空間Ｓにおける３次元位置の変化の態様を特定し、例えば、その特定された変化の態様からマーカ１０２を備えたフォークリフト１００の挙動において所定のスケジュールに沿った動作から外れた、例えば急減速又は急停止したか否かを判定する。例えば、移動検出部３３６は、所定の時間周期でマーカ１０２の空間Ｓにおける３次元位置を特定し、その３次元位置の変化が急激に小さくなった場合には、フォークリフト１００の挙動において急減速又は急停止したと判定する。

フォークリフト１００の挙動において急減速又は急停止した場合、移動検出部３３６は、その急減速又は急停止が発生した時間を特定する。急減速又は急停止が発生した時間は、対応する撮像画像データ内の撮像日時により特定可能である。

次に、画像領域範囲特定部３３４は、急減速又は急停止が発生した時間を含む所定時間内を撮像日時として含み、且つ、上述したマーカ１０２の空間Ｓにおける３次元位置の特定に用いた撮像画像データと同一のカメラＩＤを含む撮像画像データを撮像画像データ記憶部５０１から読み出す。

更に、画像領域範囲特定部３３４は、読み出した撮像画像データ内の画像データを解析し、輝度値が所定値以上であり、且つ、同一の発光態様を示すものをマーカ１０２の画像領域として特定する。

マーカ１０２の画像領域が含まれる場合、画像領域範囲特定部３３４は、撮像画像データに含まれる画像データに対応する撮像画像において、教師データとして用いる、フォークリフト１００の画像領域の範囲を特定する。具体的には、画像領域範囲特定部３３４は、上述と同様、撮像画像内におけるマーカ１０２の画像領域の大きさを判別する。更に、画像領域範囲特定部３３４は、マーカ１０２の画像領域が大きいほど、撮像画像内におけるフォークリフト１００の画像領域は大きくなるとみなし、マーカ１０２の画像領域が大きいほど、フォークリフト１００の画像領域が大きくなるように、フォークリフト１００の画像領域の範囲を特定する。

フォークリフト１００の画像領域の範囲を特定した後は、画像領域範囲特定部３３４は、上述と同様に、急減速又は急停止が発生した時間を含む所定時間内における、フォークリフト１００の画像領域を特定する情報である領域データを生成する。登録部３３２は、画像領域範囲特定部３３４によって生成された、急減速又は急停止が発生した時間を含む所定時間内における領域データをデータベース５００内の領域データ記憶部５０２に登録する。

次に、画像領域範囲特定部３３４は、上述と同様に、急減速又は急停止が発生した時間を含む所定時間内における教師データを生成する。登録部３３２は、画像領域範囲特定部３３４によって生成された、急減速又は急停止が発生した時間を含む所定時間内における教師データをデータベース５００内の教師データ記憶部５０３に登録する。

教師データが生成、登録された後、あるいは、教師データの生成、登録と並行して、フォークリフト１００急減速又は急停止が発生した際の警報通知の処理が行われる。

具体的には、制御部３０２内の画像領域比較部３４０は、カメラ２００からの画像データを取得、解析し、輝度値が所定値以上である画素をマーカ１０２の画像領域として特定する。次に、画像領域比較部３４０は、特定したマーカ１０２の画像領域の周辺の画像領域を特定する。

更に、画像領域比較部３４０は、特定したマーカ１０２の画像領域の周辺の画像領域の画像と、教師データ記憶部５０３に登録されている、急減速又は急停止が発生した時間を含む所定時間内における教師データ内のフォークリフト領域画像データに対応する画像とを比較し、双方の画像が同一又は近似するか否かを判定する。双方の画像が同一又は近似する場合、制御部３０２内の通知部３４２は、表示部３０７に警報の表示を行う等、報知処理を行う。

以下、フローチャートを参照しつつ、サーバ３００が行う処理を説明する。

図１１は、本実施形態における教師データ生成処理の一例を示すフローチャートである。サーバ３００の制御部３０２内の画像領域範囲特定部３３４は、少なくとも２つのカメラ２００内の撮像部２０２が出力するフレームのデジタルデータ（画像データ）に対応する撮像画像データに基づいて、フォークリフト１００の空間Ｓにおける３次元位置を特定する（ステップＳ３０１）。

次に、移動検出部３３６は、時系列において連続するマーカ１０２の空間Ｓにおける３次元位置の変化の態様を特定し、フォークリフト１００の挙動において、急減速又は急停止が発生したか否かを判定する（ステップＳ３０２）。急減速及び急停止の何れも発生していないと判定した場合には（ステップＳ３０２；ＮＯ）、フォークリフト１００の空間Ｓにおける３次元位置の特定（ステップＳ３０１）以降の動作が繰り返される。

一方、フォークリフト１００の急減速又は急停止が発生したと判定した場合（ステップＳ３０２；ＹＥＳ）、移動検出部３３６は、その急減速又は急停止が発生した時間を特定する（ステップＳ３０３）。

次に、画像領域範囲特定部３３４は、急減速又は急停止が発生した時間を含む所定時間内の撮像画像におけるフォークリフト１００の画像領域の範囲を特定する（ステップＳ３０４）。

次に、画像領域範囲特定部３３４は、急減速又は急停止が発生した時間を含む所定時間内における、空間Ｓ内において急減速又は急停止が発生した領域を特定する領域データを生成する。登録部３３２は、急減速又は急停止が発生した時間を含む所定時間内における領域データをデータベース５００内の領域データ記憶部５０２に登録する（ステップＳ３０５）。
次に、画像領域範囲特定部３３４は、急減速又は急停止が発生した時間を含む所定時間内における教師データを生成する。登録部３３２は、急減速又は急停止が発生した時間を含む所定時間内における教師データをデータベース５００内の教師データ記憶部５０３に登録する（ステップＳ３０６）。その後は、システムが停止するまで、フォークリフト１００の空間Ｓにおける３次元位置の特定（ステップＳ３０１）以降の動作が繰り返される。

図１２は、警報通知処理の一例を示すフローチャートである。制御部３０２内の画像領域比較部３４０は、カメラ２００からの画像データを取得する（ステップＳ４０１）。

次に、画像領域比較部３４０は、マーカ１０２の画像領域の周辺の画像領域を特定する（ステップＳ４０２）。

更に、画像領域比較部３４０は、特定したマーカ１０２の画像領域の周辺の画像領域の画像と、教師データ記憶部５０３に登録されている、急減速又は急停止が発生した時間を含む所定時間内における教師データ内のフォークリフト領域画像データに対応する画像とを比較し、双方の画像が同一又は近似するか否かを判定する（ステップＳ４０３）。双方の画像が同一でも近似でもないと判定した場合には（ステップＳ４０３；ＮＯ）、画像データの取得（ステップＳ４０１）以降の動作が繰り返される。

一方、双方の画像が同一又は近似すると判定した場合（ステップＳ４０３；ＹＥＳ）、通知部３４２は、報知処理を行う（ステップＳ４０４）。その後は、システムが停止するまで、画像データの取得（ステップＳ４０１）以降の動作が繰り返される。

このように、本実施形態では、サーバ３００は、マーカ１０２の移動を検出し、フォークリフト１００の急減速又は急停止が発生した場合には、急減速又は急停止が発生した時間を含む所定時間内におけるフォークリフト１００の画像領域の範囲を特定し、教師データを生成する。更に、サーバ３００は、新たな撮像画像と急減速又は急停止が発生した時間を含む所定時間内における教師データ内の画像データに対応する画像とを比較して、一致又は近似すると判定した場合には所定の報知処理を行う。これにより、フォークリフト１００の急減速又は急停止という異常が発生した場合に特化した教師データを用いた報知が可能となる。

なお、本発明は、上記実施形態の説明及び図面によって限定されるものではなく、上記実施形態及び図面に適宜変更等を加えることは可能である。

上述した実施形態では、図５（ａ）及び図５（ｂ）に示すように、マーカ１０２の画像領域が大きいほど、フォークリフト１００の画像領域が大きくなるように、フォークリフト１００の画像領域の範囲を特定した。しかしながら、フォークリフト１００の画像領域の範囲の特定はこれに限定されない。

例えば、１台のフォークリフト１００に対し複数のマーカ１０２が予め定められた間隔で取り付けられている場合には、画像上のマーカ１０２の間の距離が長いほど、フォークリフト１００がカメラ２００の近くに存在するとみなして、フォークリフト１００の画像領域の範囲を大きくするようにしてもよい。

例えば、図１３（ａ）及び図１３（ｂ）で説明すると、フォークリフト１００には２つのマーカ１０２ａ、１０２ｃが距離Ｌ（不図示）で取り付けられているとする。図１３（ａ）の撮像画像６００ｃにおいて、マーカ１０２ａ、１０２ｃの画像上の距離がＬ１であることから、フォークリフト１００の画像領域６２１ａが設定される。これと比較し、図１３（ｂ）の撮像画像６００ｄにおいては、マーカ１０２ａ、１０２ｃの画像上の距離が図１３（ａ）のＬ１より距離が短いＬ２であることから、フォークリフト１００の画像領域６２１ｂが画像領域６２１ａよりも小さく設定されている。

また、例えば、カメラ２００は通常高い位置に取り付けられ、撮像方向が下方であることを考慮し、画像上のマーカ１０２の位置が下であるほど、フォークリフト１００がカメラ２００の近くに存在するとみなして、フォークリフト１００の画像領域の範囲を大きくするようにしてもよい。

例えば、図１４（ａ）の撮像画像６００ｅでは、マーカ１０２ａの画像における位置に基づき、フォークリフト１００の画像領域６３１ａが設定される。これと比較し、図１４（ｂ）の撮像画像６００ｄにおいては、マーカ１０２ａの画像の位置が、図１４（ａ）におけるマーカ１０２ａの画像の位置よりも上にあることから、フォークリフト１００の画像領域６３１ｂは、画像領域６３１ａよりも小さく設定されている。

また、上述した実施形態では、分類ＩＤはフォークリフトであることを示す情報としたが、これに限定されず、分類ＩＤには製造メーカの情報、荷物の有無、荷物を特定する情報であってもよい。この場合も、分類ＩＤ毎に処理が行われ、分類ＩＤ毎に教師データが生成される。

また、上述した実施形態における撮像画像データと領域データとを紐付けて教師データとしてもよい。

また、予めフォークリフト１００の急減速又は急停止が発生した場合に教師データが生成された後、再度フォークリフト１００の急減速又は急停止が発生した場合には、その教師データとの同一又は近似した場合に報知処理が行われるようにした。しかし、これに限定されず、その位置では通常発生しえないフォークリフトの挙動、例えば急発進や急加速、急旋回等といった３次元位置の態様の変化も教師データとして生成してもよい。また、その後、フォークリフト１００の撮像画像と同一又は近似した場合には異常を示すものとして報知処理が行われるようにしてもよい。

また、上述した実施形態では、可視光である赤、緑、青の光を通信に用いる場合について説明したが、他の色の可視光を用いてもよい。また、情報が輝度の時間方向の変化のみによって変調される可視光通信においても本発明を適用することができる。

また、フォークリフト１００の画像領域の範囲を特定するための識別情報として用いるものはマーカ１０２に限定されない。例えば、表示装置を構成するＬＣＤ、ＰＤＰ、ＥＬディスプレイ等の一部に光源が構成されていてもよい。さらには、マーカ１０２に代えて、フォークリフト１００の画像領域の範囲を色または形、或いはバーコードのような幾何学模様で特定した物（紙媒体、シール、プレート等）をフォークリフト１００におけるカメラ２００から視認・撮影可能な位置（例えばトップやサイド部分）に設置するようにしても良い。

また、サーバ３００は、カメラ２００が内装されたものであってもよい。

また、上記実施形態において、実行されるプログラムは、取り外して持ち運び可能なハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto - Optical disc）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。

また、プログラムをインターネット等のネットワーク上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
コンピュータが実行する画像処理方法であって、
撮像画像から、前記撮像画像における識別情報の画像領域を含む、前記識別情報の画像領域に基づいて設定された画像領域の範囲を特定し、
前記特定された、前記識別情報の画像領域に基づいて設定された画像領域の範囲を機械学習用の教師データとして記憶手段に登録することを特徴とする画像処理方法。

（付記２）
前記識別情報の大きさに基づいて、前記識別情報の画像領域に基づいて設定された画像領域の範囲を特定することを特徴とする付記１に記載の画像処理方法。

（付記３）
前記識別情報の画像領域が複数含まれる場合、前記撮像画像における前記識別情報の距離に基づいて、前記識別情報の画像領域に基づいて設定された画像領域の範囲を特定することを特徴とする付記１に記載の画像処理方法。

（付記４）
前記撮像画像における前記識別情報の位置に基づいて、前記識別情報の画像領域に基づいて設定された画像領域の範囲を特定することを特徴とする付記１に記載の画像処理方法。

（付記５）
前記撮像画像は、時系列において連続して撮像された複数の画像であり、
前記複数の画像における前記識別情報の移動を検出し、
前記検出された前記識別情報の移動の内容が所定の条件を満たす時の前記識別情報の画像領域に基づいて設定された画像領域の範囲を特定することを特徴とする付記１～４の何れか１つに記載の画像処理方法。

（付記６）
前記特定された、前記識別情報の画像領域に基づいて設定された画像領域の範囲に含まれる前記識別情報を、前記識別情報の周辺の色に変更することを更に含むことを特徴とする付記１～５の何れか１つに記載の画像処理方法。

（付記７）
前記識別情報の画像領域に基づいて設定された画像領域の範囲には対象物の像が含まれ、前記識別情報は前記対象物の像に対応する対象物の分類を定義する情報であることを特徴とする付記１～６の何れか１つに記載の画像処理方法。

（付記８）
前記特定された、前記識別情報の画像領域に基づいて設定された画像領域の範囲と、前記記憶手段に前記教師データとして登録されている、前記識別情報の画像領域に基づいて設定された画像領域の範囲とを比較し、
比較結果に基づいて、通知手段に対し所定の通知を行わせることを特徴とする付記１～７の何れか１つに記載の画像処理方法。

（付記９）
前記記憶手段に登録されている前記教師データは、前記識別情報の移動の内容が所定の挙動である場合の前記識別情報の画像領域に基づいて設定された画像領域の範囲を含み、
前記所定の通知とは、前記識別情報の移動の内容が所定の挙動であることに関連する通知であることを特徴とする付記８に記載の画像処理方法。

（付記１０）
前記識別情報の画像領域に基づいて設定された画像領域の範囲は、前記識別情報を有する対象物の像を含む範囲であることを特徴とする付記１～９の何れか１つに記載の画像処理方法。

（付記１１）
更に前記識別情報を前記記憶手段に登録することを特徴とする付記１～１０の何れか１つに記載の画像処理方法。

（付記１２）
前記識別情報は、発光手段による発光像により形成されることを特徴とする付記１～１１の何れか１つに記載の画像処理方法。

（付記１３）
前記発光手段は、前記識別情報が定義付けられた発光色で発光することを特徴とする付記１２に記載の画像処理方法。

（付記１４）
前記発光手段は、前記識別情報が定義付けられた変更パターンで色を変えて発光することを特徴とする付記１２に記載の画像処理方法。

（付記１５）
コンピュータを、
撮像画像から、前記撮像画像における識別情報の画像領域を含む、前記識別情報の画像領域に基づいて設定された画像領域の範囲を特定する特定手段、
前記特定手段により特定された、前記識別情報の画像領域に基づいて設定された画像領域の範囲を機械学習用の教師データとして記憶手段に登録する登録手段、
として機能させることを特徴とするプログラム。

（付記１６）
撮像画像から、前記撮像画像における識別情報の画像領域を含む、前記識別情報の画像領域に基づいて設定された画像領域の範囲を特定する特定手段と、
前記特定手段により特定された、前記識別情報の画像領域に基づいて設定された画像領域の範囲を機械学習用の教師データとして記憶手段に登録する登録手段と、
を備えることを特徴とする画像処理装置。

１…可視光通信システム、１００、１００ａ、１００ｂ…フォークリフト、１０２、１０２ａ、１０２ｂ、１０２ｃ…マーカ、１０３、３０２…制御部、１０４、３０５…メモリ、１１０、３０８…通信部、１１２…駆動部、１２４…発光制御部、１５０…電池、２００、２００ａ、２００ｂ、２００ｃ、２００ｄ…カメラ、２０２…撮像部、２０３…レンズ、２１０…ハブ、３００…サーバ、３０４…画像処理部、３０６…操作部、３０７…表示部、３３２…登録部、３３４…画像領域範囲特定部、３３６…移動検出部、３３８…色変更部、３４０…画像領域比較部、３４２…通知部、４００ａ、４００ｂ…棚、５００…データベース、５０１…撮像画像データ記憶部、５０２…領域データ記憶部、５０３…教師データ記憶部、５１１…撮像画像データ、５１２…領域データ、５１３…教師データ、６００ａ、６００ｂ、６００ｃ、６００ｄ、６００ｅ、６００ｆ…撮像画像、６０２ａ、６０２ｂ…マーカの画像領域、６０４ａ、６０４ｂ、６１４ａ、６２１ａ、６２１ｂ、６３１ａ、６３１ｂ…フォークリフトの画像領域、Ｌ１、Ｌ２…マーカ間距離、Ｓ…空間

Claims (4)

1. コンピュータが、
   撮像画像から、移動体の識別情報を取得するための第１の画像領域を含む第２の画像領域を決定する決定処理と、
   前記決定処理で決定された前記第２の画像領域に対応するデータを機械学習用の教師データとして生成する生成処理と、
   を実行し、
   前記決定処理は、前記撮像画像に含まれる前記第１の画像領域が複数有る場合、前記第１の画像領域間の距離に基づいて、前記第２の画像領域を決定する、
   教師データの生成方法。
2. 前記撮像画像は、時系列において連続して撮像された複数の画像であり、
   前記決定処理は、前記複数の画像における前記第１の画像領域の移動を検出し前記第１の画像領域の移動に応じて前記第２の画像領域を決定する、
   請求項１に記載の教師データの生成方法。
3. 撮像画像から、移動体の識別情報を取得するための第１の画像領域を含む第２の画像領域を決定する決定手段と、
   前記決定手段により決定された前記第２の画像領域に対応するデータを機械学習用の教師データとして生成する生成手段と、
   を備え、
   前記決定手段は、前記撮像画像に含まれる前記第１の画像領域が複数有る場合、前記第１の画像領域間の距離に基づいて、前記第２の画像領域を決定する、
   教師データの生成装置。
4. コンピュータを、
   撮像画像から、移動体の識別情報を取得するための第１の画像領域を含む第２の画像領域を決定する決定手段、
   前記決定手段により決定された前記第２の画像領域に対応するデータを機械学習用の教師データとして生成する生成手段、
   として機能させ、
   前記決定手段は、前記撮像画像に含まれる前記第１の画像領域が複数有る場合、前記第１の画像領域間の距離に基づいて、前記第２の画像領域を決定する、
   プログラム。

Images