JP7743782B2 - 画像処理装置、光通信装置、光通信システム、プログラム及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、光通信装置、光通信システム、プログラム及び画像処理方法に関する。

光送信装置としての光源を所定の点灯パターンで変化させ、光受信装置としての撮像装置で点灯パターンを撮像し、解析することにより、情報を伝送する技術が知られている。この種の技術が記載されるものとして特許文献１がある。特許文献１は、光源として可視光ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｅｖｉｃｅ）や赤外光ＬＥＤを用いた光伝送装置に関するものである。

特表２０２０－５２３７５２公報

ところで、移動体に点滅する可視光源を搭載し、当該可視光源の動きを追従することで移動体の軌跡を解析する場合、可視光源の点滅が人の目に影響し、不快感を与えるおそれがある。可視光源ではなく目に見えない赤外光源を使用することも考えられるが、赤外光源が点滅すると、赤外光源が消灯している状態では赤外光源の位置を特定できないため、画像処理による光源の追従を精度良く行うことができない。従来技術には追従性の向上という観点で改善の余地があった。

本発明は、このような状況に鑑みてなされたものであり、追従性に優れ、可視光源の点滅の不愉快さの無い光通信を実現することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、経時的に連続する画像を取得し、連続する画像の中の可視光源の位置を移動体の位置として取得し、移動体に設けられた不可視光源の不可視光を取得し、不可視光に基づく情報を取得する、処理部を備えることを特徴とする。

本発明の光通信装置、光通信システム、プログラム及び画像処理方法によれば、光の点滅の不愉快さがなく光源への追従性の優れた光通信を実現できる。

本発明の一実施形態に係る光通信システムの構成を示す模式図である。 図１のＬＥＤ送信装置のハードウェアの構成を示すブロック図である。 図１の撮像装置及び画像処理装置のハードウェアの構成を示すブロック図である。 図１の画像処理装置のＣＰＵが制御処理を実行するための機能的構成を示す機能ブロック図である。 図１の移動体の移動を撮像装置が撮影する様子を示す模式図である。 図５の移動体の有するＬＥＤの輝点の移動を映す画像の例を示す図である。 図６の輝点の内、特に緑輝点の画像中での色の様子を示す図である。 図６の輝点の内、特に赤外光輝点の画像中での色の様子を示す図である。 図６の輝点の画像中での色の様子を示す図である。 本実施形態の画像処理装置が実行する画像処理の概要を説明するフローチャートである。 本実施形態の画像処理装置が実行する画像処理のデコードを中心とする詳細を説明するフローチャートである。

以下、本発明の実施形態に係る光通信システム１について、図面を用いて説明する。

図１は、本発明の一実施形態に係る光通信システム１の構成を示す模式図である。図１に示すように、光通信システム１は、ＬＥＤ送信装置２と、撮像装置４と、画像処理装置５と、業務管理装置６と、を含む。なお、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

ＬＥＤ送信装置２は光源を利用する光送信装置の一例である。ＬＥＤは光源の一例であり、光を発する光源であればその種類は問わない。例えば、電球或いはレーザ等が用いられてもよい。光源としては、目に見える光である可視光と目に見えない光である不可視光とが用いられる。不可視光とは、例えば、赤外光或いは紫外光である。

ＬＥＤ送信装置２は、移動体３に搭載される光送信装置である。移動体３は、例えば、フォークリフトである。図１には３台の移動体３ａ～３ｃが示されている。

本実施形態のＬＥＤ送信装置２は、追従用の可視光の常時点灯と、識別番号等の情報伝達用の赤外光の点滅又は明滅と、を制御可能に構成される。

ＬＥＤ送信装置２は、可視光を常時点灯させ、並行して、光通信により送信する情報を赤外光の変化に変換して発光する。可視光源の位置が移動体３の位置として取得され、不可視光である赤外光に基づく情報が取得される。光通信により送信する情報は、例えば移動体３の識別情報である。図１中のＬＥＤ送信装置２ａ～２ｃは、移動体３ａ～３ｃのそれぞれに配置され、それぞれ異なる識別情報を光通信により発信する。

撮像装置４は、移動体３の移動を撮像可能な位置に配置される。例えば、撮像装置４は、はデジタルカメラである。撮像装置４は、経時的に連続する画像４４（動画）を撮像する。図１に示す例においては、撮像装置４はＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）の画素数（Ｘ方向１９２０ピクセル（ｐｉｘ）、Ｙ方向１０８０ピクセル（ｐｉｘ））を有する。三つの移動体３（フォークリフト）の識別番号（ＩＤ）と撮像装置４の撮影する画像上の位置がピクセルの位置により表されている。例えば、図中左上の移動体３ａについては、識別番号（ＩＤ）が１０１、Ｘ方向の位置が１９２０ピクセルの内の２８０番目、Ｙ方向の位置が１０８０ピクセルの内の５９０番目であると特定されている。

画像処理装置５は、常時点灯する可視光ＬＥＤ２９の画像上の位置を追従し、可視光ＬＥＤ２９と同位置で点滅又は明滅する赤外光ＬＥＤ３０の点滅又は明滅パターンを解析する情報処理装置である。光受信装置として撮像装置４を利用しているのは、図１の様に、ＬＥＤ送信装置２からの情報を同時に複数個所から取得することができるとともに、ＬＥＤ送信装置２の画像上の位置を実際の位置座標に置き換えて移動体３の位置を分析できるからである。

可視光ＬＥＤ２９は、可視光を発光する可視光源の一例である。可視光を発する光源であればその種類は問わない。例えば、電球或いはレーザ等が用いられてもよい。赤外光ＬＥＤ３０は、赤外光を発光する赤外光源の一例である。赤外光を発する光源であればその種類は問わない。例えば、赤外フィルタを付した電球あるいは赤外レーザ等が用いられてもよい。

業務管理装置６は、移動体３の移動の解析結果に基づいて作業状況や移動体３が搬送する荷物の運搬を解析する上位のコンピュータである。図１において業務管理装置６は、画像処理装置５と別体で構成されているが、業務管理装置６と画像処理装置５が一台のコンピュータによって構成されていてもよいし、３台以上のコンピュータによって構成されていてもよい。

次に、図２を参照してＬＥＤ送信装置２のハードウェア構成の一例について説明する。図２は、図１のＬＥＤ送信装置２のハードウェアの構成を示すブロック図である。図２に示すように、ＬＥＤ送信装置２は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、加速度センサ２４と、スイッチ２５と、乾電池２６と、電源制御器２７と、ＬＥＤドライバ２８と、可視光ＬＥＤ２９と、赤外光ＬＥＤ３０と、を備える。

ＣＰＵ２１は、ＲＯＭ２２に記録されているプログラム、又は、ＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。ＣＰＵ２１は、演算処理を実行するプロセッサによって実現される。プロセッサには、例えば、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものが含まれる。

ＲＡＭ２３には、ＣＰＵ２１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

加速度センサ２４は、移動体３の移動加速度を検知する。スイッチ２５は、ＣＰＵ２１のスイッチング及びリセットを行う。乾電池２６は電源として電力を供給する。電源制御器２７は、ＬＥＤドライバ等への電力供給を制御する。

ＬＥＤドライバ２８は、ＣＰＵ２１による指令に基づいて可視光ＬＥＤ２９及び赤外光ＬＥＤ３０に電力を供給し、可視光ＬＥＤ２９及び赤外光ＬＥＤ３０の点灯及び点滅又は明滅を制御する。

可視光ＬＥＤ２９と赤外光ＬＥＤ３０とは近接して配置される。可視光ＬＥＤ２９と赤外光ＬＥＤ３０は、例えば、カバーガラス局面或いはカバーガラスの凹凸によって屈折散乱して周囲に向かって光が出射される。撮像装置４に写る場合には、単一の場所を表すものとして可視光ＬＥＤ２９と赤外光ＬＥＤ３０とは認識される。

可視光ＬＥＤ２９が常時点灯され、赤外光ＬＥＤ３０の点滅又は明滅を利用して情報の伝達が行われる。例えば、赤外光ＬＥＤ３０は、ＣＰＵ２１による指令に基づいてＲＯＭ２２に記憶されている移動体３の識別番号に対応づけられた点灯パターンである点滅又は明滅パターンを出射する。なお、赤外光ＬＥＤ３０の点滅又は明滅パターンには冗長性を持たせることでノイズとの区別が容易となり、より確実な情報（識別番号等）の抽出が可能となる。

図３を参照して画像処理装置５のハードウェア構成の一例について説明する。図３に示すように、画像処理装置５は、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３と、入力部５４と、出力部５５と、記憶部５６と、通信部５７と、を備える。

ＣＰＵ５１は、ＲＯＭ５２に記録されているプログラム、又は、記憶部５６からＲＡＭ５３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ５３には、ＣＰＵ５１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ５１、ＲＯＭ５２及びＲＡＭ５３は、バスを介して相互に接続されている。このバスには、入出力インターフェースも接続されている。入出力インターフェースには、撮像装置４、入力部５４、出力部５５、記憶部５６、通信部５７が接続されている。

入力部５４は、各種釦やマイク等で構成され、ユーザの指示操作に応じて各種情報を入力する。出力部５５は、ディスプレイやスピーカ等で構成され、画像４４や音声を出力する。記憶部５６は、ハードディスク或いはフラッシュメモリ等で構成され、各種の画像４４のデータを記憶する。通信部５７は、インターネットを含むネットワークを介して業務管理装置６等の他の装置との間で行う通信を制御するネットワークインターフェースである。

撮像装置４は、カラーフィルタ４１と、光学レンズ部４２と、イメージセンサ４３と、を備える。イメージセンサ４３は単一であり、可視光と不可視光との双方を受光可能であり、撮像した画像４４を出力する。

カラーフィルタ４１は赤、緑、青の光を透過させるフィルタがイメージセンサ４３の各画素に１つずつ形成されている。赤、緑、青の３つの組み合わせが１つの単位をなす。

光学レンズ部４２は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサ４３の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部４２には、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサ４３は、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部４２から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像装置４の出力信号として出力される。このような撮像装置４の出力信号は、以下、「撮像画像」と呼ばれる。撮像画像のデータは、ＣＰＵ５１等に適宜供給される。

次に、図４を参照して画像処理装置５のＣＰＵ５１によって実現される処理部６０について説明する。処理部６０は、プロセッサということもできる。処理部６０は、画像取得部６１と、追従処理部６２と、解析処理部６３と、を有する。

画像取得部６１は、撮像装置４が撮像した画像４４を取得する。撮像装置４は例えばＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ， １９２０ ｘ １０８０画素）の撮像素子を有し、１秒間に例えば３０枚の画像４４を撮影する。画像取得部６１は、このデジタル情報を撮像装置４から取得する。

追従処理部６２は、画像取得部６１が取得した画像４４において、常時点灯している輝点４５、特に緑に常時点灯している緑輝点４５Ｇを特定する。例えば、追従処理部６２は、画像４４における緑副画素における信号のみを抽出し、常時緑信号が所定の閾値を超えている画素を見出す。そして、追従処理部６２は、画像４４中で位置を連続的に変える緑輝点４５Ｇを追従し、その画像４４中の位置を特定する。位置としては、例えば、追従処理部６２は、画像４４のどの画素の位置なのかを特定する。図１の例においては、例えば、左上のＩＤ１０１のフォークリフトの有する輝点４５の位置は、Ｘ方向で２８０番目、Ｙ方向で５９０番目の画素の位置であることが特定されている。

解析処理部６３は、追従処理部６２が抽出した緑輝点４５Ｇと同位置で点滅又は明滅する赤外光ＬＥＤ３０の点滅又は明滅パターンを解析し、例えば、ＬＥＤ送信装置２の識別番号（ＩＤ、Ｉｄｅｎｄｉｆｉｃａｔｉｏｎ）を特定する。

ここで、図５から図９を用いて、移動体３の移動と撮像装置４及び画像処理装置５によって受信される光信号の例を説明する。図５に示すように、移動体３が左から右に移動するのを撮像装置４が撮影している。移動体３の有するＬＥＤ送信装置２が可視光ＬＥＤ２９を常時点灯し、赤外光ＬＥＤ３０を点滅又は明滅させている。

常時点灯する可視光ＬＥＤ２９に緑色のＬＥＤを使う事により、赤外光の変化が捉えやすくする。通常のカラーフィルタ４１を用いているイメージセンサ４３では赤外カットフィルタが用いられている。本発明の一実施形態に係るイメージセンサ４３は、赤外カットフィルタを利用していない、もしくは、赤外カット能が弱いフィルタを用いる。この場合、赤緑青の各カラーフィルタ４１を通った光を受光する何れのイメージセンサ４３も赤外光に反応する。通常、ホワイトバランスを取るため、受光強度の高い緑に比して青と赤との出力が増幅されている。

赤外光に対する受光強度は赤緑青に違いがないため、出力の増幅されている青赤の信号が相対的に強くなり、赤外光は紫色のごとき出力信号をもたらす。このため、例えば、赤外光が緑と同時に受光される場合、全体として白色に近い色となる。緑が点灯しており赤外光がない場合には緑になる。そして、緑が常時点灯されていて、赤外光が点滅又は明滅している場合、白と緑との点滅又は明滅となる。このため、緑と赤外光との組み合わせは、単純な色の遷移（白と緑）のデコード処理を可能とし、優れたロバスト性をもたらす。この状態では、送信機は赤や青の発光をしないため、人の目には「緑」の常時点灯しか見えずチラチラしないため、不快さが低減される。

常時点灯している可視光ＬＥＤ２９及び点滅又は明滅する赤外光ＬＥＤ３０は、図６に示すように輝点４５の軌跡として、画像４４中に写しだされる。可視光ＬＥＤ２９は例えば緑色であり、緑輝点４５Ｇとして認識され、図７に示すように移動の間常時点灯されている。緑輝点４５Ｇを表すため、図７では画像上の緑輝点４５Ｇには右斜めの斜線が引かれている。赤外光ＬＥＤ３０は、図８に示すように点滅又は明滅させられており、上述のように、撮像装置４にとっては紫色として認識される。赤外光輝点４５Ｐを表すため、図８では画像上の赤外光輝点４５Ｐには左斜めの斜線が引かれている。これらが合わさり、図９に示すように、緑色の可視光ＬＥＤ２９と赤外光ＬＥＤ３０とが点灯している時は白輝点４５Ｗ、赤外光ＬＥＤ３０が消灯している時は緑色の可視光ＬＥＤ２９は常に点灯されているため緑輝点４５Ｇとして認識される。白輝点４５Ｗを表すため、図９では右斜めと左斜めとの双方の斜線が引かれている。図９に示すように、輝点４５は、緑輝点４５Ｇと白輝点４５Ｗとの間で点滅又は明滅する輝点４５として認識される。

次に、図１０及び図１１を参照して撮像装置４の画像４４の取得から移動体３の識別、画像上の位置の把握までの処理を説明する。図１０にて概要を説明し、図１１にて画像４４のデコード処理に関係する詳細を説明する。

図１０に示すように、光通信システム１がスタートすると、画像処理装置５の有する画像取得部６１は、撮像装置４の撮影した画像４４を取得する（ステップＳ１０１）。

次に、追従処理部６２は、画像４４中の常時点灯している可視光の輝点４５、より具体的には緑輝点４５Ｇ、を抽出し、画像４４中の位置を特定する画像解析処理を行う（ステップＳ１０２）。並行して、解析処理部６３は、緑輝点４５Ｇと同位置での点滅又は明滅している赤外光輝点４５Ｐの点滅又は明滅パターンから情報、より具体的には輝点４５と紐づけられている移動体３の識別番号、を明確化する画像解析処理を行う（ステップＳ１０２）。但し、一旦、輝点４５の識別番号が明確化されていれば、常時点灯している緑輝点４５Ｇが追従されている限り、赤外光輝点４５Ｐの点滅又は明滅パターンから識別番号を新たに取得する必要はない。

次に、解析処理部６３は、画像処理装置５の有する出力部５５を通して、解析結果を業務管理装置６に出力する解析結果出力処理を行い（ステップＳ１０３）、処理を終了する（ステップＥＮＤ）。

図１１を参照してより詳細に説明する。画像処理装置５の画像取得部６１は、連続して撮影される映像の中から１フレーム分の画像４４を取得する画像取得処理を行う（ステップＳ２０１）。次に追従処理部６２は、緑成分のある輝点４５を抽出する輝点４５抽出処理を行い（ステップＳ２０２）、輝点４５の移動履歴から移動体３の移動方向を推定する方向推定処理を行う（ステップＳ２０３）。

ステップＳ２０３の後、追従処理部６２は移動方向に重みづけを行い、規定内の移動範囲の近隣の緑成分を含む輝点４５を候補点として抽出し、緑輝点４５Ｇの移動を追従する、候補点抽出処理を行う（ステップＳ２０４）。可視光ＬＥＤ２９の明かりは撮像素子では比較的明るい輝点４５となるので、暗めに撮影するだけでかなり輝点４５を絞り込むことが可能である。

ステップＳ２０４の後、追従処理部６２は、形状フィルタリングすることで光通信を行っていると思われる候補点を絞り込み、候補点抽出処理を完成させる（ステップＳ２０４）。

更に、解析処理部６３は、輝点位置における赤外光の変化履歴を利用してデコード処理を行う（ステップＳ２０５）。赤外光はイメージセンサ４３では上述したように紫として認識される。このため、赤外光の変化履歴は、画像４４中においては、緑と、緑と紫との合わさった白と、の間での変化履歴となる。白と認識される時に赤外光が発光している。

解析処理部６３は、デコード結果から有効発光パターンの検出を試みるパターン検出処理を行う（ステップＳ２０６）。有効発光パターンが検出される場合（ステップＳ２０６：Ｙｅｓ）、解析処理部６３は、有効発光パターンから移動体３のＩＤと画面内位置を記憶部５６に記憶する記録処理を行う（ステップＳ２０７）。

検出処理においてデコード結果から有効発光パターンを検出できなかった場合（ステップＳ２０６：Ｎｏ）、及び、記憶処理（ステップＳ２０７）が行われた後、全ての輝点４５のパターンチェックが完了したかを検証する検証処理が行われる（ステップＳ２０８）。完了していない場合（ステップＳ２０８：Ｎｏ）、緑成分のある輝点４５を抽出する輝点抽出処理（ステップＳ２０２）に処理は戻る。全ての輝点４５のパターンチェックが完了している場合、処理フローは終了する（ステップＥＮＤ）。

以上説明したように、画像処理装置５は、経時的に連続する画像４４を取得し、連続する前記画像４４の中の可視光ＬＥＤ２９の位置を移動体３の位置として取得し、前記移動体３に設けられた赤外光ＬＥＤ３０の赤外光を取得し、前記赤外光に基づく情報を取得する、処理部６０を備える。

これにより、追従性に優れ、可視光ＬＥＤ２９の点滅の不愉快さの無い光通信を実現する画像処理装置５を得ることができる。一般的なカメラを用いた光通信では白色ＬＥＤの点滅を利用して情報の伝達を行っているが、ＬＥＤの消灯のタイミングが増えてしまうと、そのＬＥＤを追従することが困難である。可視光ＬＥＤ２９を常時点灯させることで、ＬＥＤ送信装置２の移動への追従性を確保したまま、赤外光ＬＥＤ３０を自由に点滅又は明滅させるフォーマットにすることで、コード化率を高めたまま追従性を確保することができる。そして点滅又は明滅する赤外光ＬＥＤ３０の赤外光は人間には見えないので、不愉快の原因とはならない。

画像処理装置５は、可視光ＬＥＤ２９の可視光と赤外光ＬＥＤ３０の赤外光とを取得する単一のイメージセンサ４３を備える。

これにより、単一のイメージセンサ４３上に可視光ＬＥＤ２９と赤外光ＬＥＤ３０との像が投影される。可視光ＬＥＤ２９と赤外光ＬＥＤ３０との像を同一の画像４４中に配置することができる。可視光ＬＥＤ２９と赤外光ＬＥＤ３０とを紐づけることができる。

画像処理装置５の有する処理部６０は、常時点灯または明滅している緑色の可視光ＬＥＤ２９Ｇの位置を移動体３の位置として追尾し、赤外光ＬＥＤ３０の赤外領域の赤外光の点灯パターンを取得する。

これにより撮像装置４の感度の高い緑が使用されるため優れた視認性が実現される。また、赤外光と合わせて撮像装置４により受光された時に、ホワイトバランス調整回路により緑信号が抑えられ、全体として白と判定される。白と緑との２値の点滅又は明滅が実現され、解析が容易で信頼性の高いものとなる。

画像処理装置５において、可視光ＬＥＤ２９と赤外光ＬＥＤ３０とは、互いに近傍に設けられる。

可視光ＬＥＤ２９からの可視光と赤外光ＬＥＤ３０からの赤外光とは、イメージセンサ４３の同一の画素にて受光され得る。赤外光ＬＥＤ３０からの赤外光は赤緑青の各副画素にて受光され、信号を出す。赤外光ＬＥＤ３０からの赤外光は可視光の如く色を与える。赤外光に基づく信号と可視光に基づく信号とが合わさり、赤緑青からなる画素の色信号が創出される。

画像処理装置５の処理部６０は、対象位置において緑色に代表される単色を検出した場合は、可視光ＬＥＤ２９及び赤外光源のうち、可視光ＬＥＤ２９のみが点灯していると判定し、対象位置において白色を検出した場合は、可視光ＬＥＤ２９及び赤外光源の両方が点灯していると判定する。

これにより、可視光ＬＥＤ２９は常時点灯として判定され、位置の追従が容易となる。また、赤外光ＬＥＤ３０の点滅又は明滅が抽出され、点滅又は明滅パターンの解析により精度の高い情報を得ることができる。

ＬＥＤ送信装置２は、移動体３に搭載される光通信用のＬＥＤ送信装置２であって、移動体３の位置を取得するために点灯制御される可視光ＬＥＤ２９と、移動体３に配置され、移動体３に対応する情報を発信するように点灯するように制御される赤外光ＬＥＤ３０と、を備える。

これにより撮像装置４による可視光ＬＥＤ２９と赤外光ＬＥＤ３０とからの光の受信により、ＬＥＤ送信装置２の搭載されている移動体３の識別番号、及び、位置が特定される。そして、点滅の不愉快さがなく移動する光源への追従性の優れた光通信を実現することができる。一般的なカメラを用いた光通信では白色光源の点滅を利用して情報の伝達を行っているが、光源の消灯のタイミングが増えてしまうと、その光源を追従することが困難である。可視光ＬＥＤ２９を常時点灯させることで、移動体３の移動への追従性を確保したまま、赤外光源を自由に点滅又は明滅させるフォーマットにすることで、コード化率を高めたまま追従性を確保することができる。そして点滅又は明滅する赤外光源の赤外光は人間には見えないので、不愉快の原因とはならない。

光通信システム１は、移動体３の位置を取得するために点灯制御される可視光ＬＥＤ２９と、移動体３に配置され、移動体３に対応する情報を発信するように点灯するように制御される赤外光ＬＥＤ３０と、を有するＬＥＤ送信装置２と、経時的に連続する画像４４を取得し、連続する画像４４の中の可視光ＬＥＤ２９の位置を移動体３の位置として取得し、赤外光ＬＥＤ３０の赤外光を取得し、赤外光に基づく情報を取得する処理部６０を有する画像処理装置５と、を備える。

これにより、追従性に優れ、可視光ＬＥＤ２９の点滅の不愉快さの無い光通信を実現する光通信システム１を実現することができる。

プログラムは、経時的に連続する画像４４を取得する画像取得機能と、連続する画像４４の中の可視光ＬＥＤ２９の位置を移動体３の位置として取得する取得処理機能と、移動体３に設けられた赤外光ＬＥＤ３０の赤外光を取得し、赤外光に基づく情報を取得する解析処理機能と、を画像処理装置５に実行させる。

これにより、追従性に優れ、可視光ＬＥＤ２９の点滅の不愉快さの無い光通信を実現するプログラムを実現することができる。

画像処理方法は、画像処理装置５が実行する画像処理方法であって、経時的に連続する画像４４を取得する画像取得ステップと、連続する画像４４の中の可視光ＬＥＤ２９の位置を移動体３の位置として取得する取得処理ステップと、移動体３に設けられた赤外光ＬＥＤ３０の赤外光を取得し、赤外光に基づく情報を取得する解析処理ステップと、を含む。

これにより、追従性に優れ、可視光ＬＥＤ２９の点滅の不愉快さの無い光通信を実現する画像処理方法を実現することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、可視光ＬＥＤ２９について、緑以外の色を発光する可視光ＬＥＤ２９が採用されてもよい。例えば、注意喚起の意味を含めて可視光ＬＥＤ２９として赤色の可視光ＬＥＤ２９が使用されてもよい。この場合、撮像装置４においては、上記したように、赤外光ＬＥＤ３０と赤色の可視光ＬＥＤ２９との双方が点灯している時に白と認識できるように、撮像装置４の増幅回路或いは画像処理装置５の演算回路等で信号を調整してもよい。この場合には、点滅又は明滅パターンは画像処理装置５による解析処理の段階においては白と赤との点滅又は明滅になる。

不可視光として、赤外光ではなく紫外光が使用されてもよい。紫外光も人には見えないのでその点滅は不快感を生まず、また、点滅パターンから情報を得ることが可能である。この場合、撮像装置４においては、緑色ＬＥＤ２９Ｇと紫外光との双方が点灯している時に白と認識できるように、撮像装置４の増幅回路或いは画像処理装置５の演算回路等で信号を調整してもよい。この場合には、点滅又は明滅パターンは画像処理装置５による解析処理の段階においては白と緑との点滅又は明滅になる。

情報の伝達において、赤外光の点滅ではなく、赤外光の波長の変化が用いられてもよい。撮像装置４の感度は赤外光の波長に依存するので、赤外光の波長の変化を受光信号の強さの変化、或いは、赤緑青の各副画素での受光信号の強さの違い即ち色の違いとして、赤外光の波長の変化は認識される。

可視光ＬＥＤ２９について、常時点灯している実施形態をここまで説明してきた。可視光ＬＥＤ２９は、不快感を伴わず追尾可能な明滅、即ち通常は点灯しており適宜消灯するような状態を有してもよい。この場合にも、不快感を伴わず安定した追尾が可能という、常時点灯状態にある可視光ＬＥＤ２９と同様の効果が得られる。

また、上述の実施形態では、本発明が適用される撮像装置４は、デジタルカメラを例として説明したが、特にこれに限定されない。また、撮像装置４と画像処理装置５とは独立した装置として説明されているが、画像処理装置５が撮像装置４に内蔵される構成であってもよい。

また、各図で１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置５に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。

また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。

コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等のものも含む。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ２２や、図３の記憶部５６に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
〔付記１〕
経時的に連続する画像を取得し、
連続する前記画像の中の可視光源の位置を移動体の位置として取得し、
前記移動体に設けられた不可視光源の不可視光を取得し、前記不可視光に基づく情報を取得する、
処理部を備えることを特徴とする画像処理装置。
〔付記２〕
前記可視光源の前記可視光と前記不可視光源の前記不可視光とを取得する単一のイメージセンサを備えることを特徴とする
付記１に記載の画像処理装置。
〔付記３〕
前記処理部は、
常時点灯または明滅している緑色の前記可視光源の位置を前記移動体の位置として追尾し、
前記不可視光源の赤外領域の不可視光の点灯パターンを取得することを特徴とする
付記１又は２に記載の画像処理装置。
〔付記４〕
前記可視光源と前記不可視光源とは、互いに近傍に設けられることを特徴とする
付記１乃至３に記載の画像処理装置。
〔付記５〕
前記処理部は、
前記対象位置において緑色を検出した場合は、前記可視光源及び前記赤外光源のうち、前記可視光源のみが点灯していると判定し、
前記対象位置において白色を検出した場合は、前記可視光源及び前記赤外光源の両方が点灯していると判定する
付記４に記載の画像処理装置。
〔付記６〕
移動体に搭載される光通信用の光送信装置であって、
前記移動体の位置を取得するために点灯制御される可視光源と、
前記移動体に配置され、前記移動体に対応する情報を発信するように点灯するように制御される不可視光源と、
を備える光送信装置。
〔付記７〕
移動体の位置を取得するために点灯制御される可視光源と、前記移動体に配置され、前記移動体に対応する情報を発信するように点灯するように制御される不可視光源と、を有する光送信装置と、
経時的に連続する画像を取得し、連続する前記画像の中の前記可視光源の位置を前記移動体の位置として取得し、前記不可視光源の不可視光を取得し、前記不可視光に基づく情報を取得する処理部を有する画像処理装置と、
を備える光通信システム。
〔付記８〕
経時的に連続する画像を取得する画像取得機能と、
連続する前記画像の中の可視光源の位置を移動体の位置として取得する取得処理機能と、
前記移動体に設けられた不可視光源の不可視光を取得し、前記不可視光に基づく情報を取得する解析処理機能と、
を画像処理装置に実行させるプログラム。
〔付記９〕
画像処理装置が実行する画像処理方法であって、
経時的に連続する画像を取得する画像取得ステップと、
連続する前記画像の中の可視光源の位置を移動体の位置として取得する取得処理ステップと、
前記移動体に設けられた不可視光源の不可視光を取得し、前記不可視光に基づく情報を取得する解析処理ステップと、
を含む画像処理方法。

１ 光通信システム
２ ＬＥＤ送信装置
３ 移動体
４ 撮像装置
５ 画像処理装置
６ 業務管理装置

Claims (8)

1. 経時的に連続する画像を取得し、
   連続する前記画像の中の可視光源の位置を移動体の位置として取得し、
   前記移動体に設けられた不可視光源の不可視光を取得し、前記不可視光に基づく情報を取得する、
   処理部を備えることを特徴とする画像処理装置。
2. 前記可視光源の可視光と前記不可視光源の前記不可視光とを取得する単一のイメージセンサを備えることを特徴とする
   請求項１に記載の画像処理装置。
3. 前記処理部は、
   常時点灯または明滅している緑色の前記可視光源の位置を前記移動体の位置として追尾し、
   前記不可視光源の赤外領域の不可視光の点灯パターンを取得することを特徴とする
   請求項１又は２に記載の画像処理装置。
4. 前記可視光源と前記不可視光源とは、互いに近傍に設けられることを特徴とする
   請求項１乃至３に記載の画像処理装置。
5. 前記処理部は、
   対象位置において緑色を検出した場合は、前記可視光源及び赤外光源のうち、前記可視光源のみが点灯していると判定し、
   前記対象位置において白色を検出した場合は、前記可視光源及び前記赤外光源の両方が点灯していると判定する
   請求項４に記載の画像処理装置。
6. 移動体に配置され、前記移動体の位置を取得するために点灯制御される可視光源と、前記移動体に配置され、前記移動体に対応する情報を発信するように点灯するように制御される不可視光源と、を有する光送信装置と、
   経時的に連続する画像を取得し、連続する前記画像の中の前記可視光源の位置を前記移動体の位置として取得し、前記不可視光源の不可視光を取得し、前記不可視光に基づく情報を取得する処理部を有する画像処理装置と、
   を備える光通信システム。
7. 経時的に連続する画像を取得する画像取得機能と、
   連続する前記画像の中の可視光源の位置を移動体の位置として取得する取得処理機能と、
   前記移動体に設けられた不可視光源の不可視光を取得し、前記不可視光に基づく情報を取得する解析処理機能と、
   を画像処理装置に実行させるプログラム。
8. 画像処理装置が実行する画像処理方法であって、
   経時的に連続する画像を取得する画像取得ステップと、
   連続する前記画像の中の可視光源の位置を移動体の位置として取得する取得処理ステップと、
   前記移動体に設けられた不可視光源の不可視光を取得し、前記不可視光に基づく情報を取得する解析処理ステップと、
   を含む画像処理方法。