JP6419601B2 - 移動光通信システムとその光送信装置および撮像制御方法 - Google Patents

Description

本発明の実施形態は、移動光通信システムに関する。

移動光通信システムは、空間を伝搬する光を媒体として用いる光通信システムである。この種のシステムは移動体通信などに用いられる。例えば車両間通信システムにこのシステムを適用し、一方の車両で撮影された大容量の映像データを他方の車両に伝送するシステムがある。あるいは飛行体から基地へのリアルタイム映像伝送など、幅広い応用が可能である。

この種のシステムでは、伝送光（赤外線レーザなど）を用いて移動体間の光軸合わせも行う。送信局から目標（受信局）に伝送光を照射する装置はタレットと称される。タレットは、レーザ光発生機、レーザ光照射装置および撮像機と、これらを搭載するジンバル機構とを備える。タレットは、目標に伝送光を照射し、目標のコーナリフレクタで反射された伝送光を撮像機で受光する。撮像機で得られた画像から得られる目標の位置情報に基づいて、タレットは目標位置を高精度に検出し、レーザ光照射装置の光軸を補正する。

特開２０１０-１８５９９８号公報

移動光通信システムにおいて、伝送光の光軸が外れると伝送光が受信局に届かなくなるので通信エラーが生じる。リアルタイム性を要求されるデータ（映像データなど）を伝送するためには通信エラーを極力、低減する必要がある。

通信エラーを低減するためには送信局から受信局への光軸を精密に合わせこむ必要があり、そのための制御は大変難しい。光軸調整の精度は、撮像機で撮影された画像フレームの転送レート（フレームレート）に大きく左右される。フレームレートが低いと、目標の揺動や振動により生じる位置ずれの高周波成分を補正しきれなくなるからである。

フレームレートを制限する要因は、露光時間、および、読み出し画素数の転送時間が支配的である。このうち読み出し画素数の転送時間を短縮するために、既存の技術では読み出し範囲を正方形とし、その正方形のサイズを変えることで読み出し画素数を減らすようにしていた。しかしながら一般に揺動及び振動方向は偏っているので、不要な範囲の画素データが転送されている可能性がある。フレームレートをさらに高速化し、光軸調整の精度をさらに高め得る技術が要望されている。

目的は、光軸調整の精度を向上させ、これにより通信エラーの低減を図った移動光通信システムとその光送信装置および撮像制御方法を提供することにある。

実施形態によれば、移動光通信システムは、通信データを重畳された伝送光を送信する光送信装置と、空間を伝播する伝送光を受信する光受信装置とを具備する。光送信装置は、レーザ光照射装置と、ジンバル機構と、撮像部と、予測部と、指向制御部と、撮像制御部とを備える。レーザ光照射装置は、伝送光を光受信装置に向け照射する。ジンバル機構は、レーザ光照射装置を空間安定化させる。撮像部は、光受信装置から再帰的に反射された伝送光を含む画像を撮像する。予測部は、撮像部から出力される画像フレームにおける光受信装置の位置を予測する。指向制御部は、予測された位置に基づいて、ジンバル機構を制御して伝送光の光軸を光受信装置に指向させる。撮像制御部は、予測された位置に基づいて、画像フレームの読み出し範囲の形状を適応的に変化させる。

図１は、実施形態に係る移動光通信システムの一例を示す図である。 図２は、図１に示されるシステムに用いられるタレットの一例を示す概略図である。 図３は、光送信装置１００の一例を示す機能ブロック図である。 図４は、光送信装置１００の処理手順の一例を示すフローチャートである。 図５は、目標位置の予測について説明するための図である。 図６は、実施形態により得られる効果を説明するための図である。

図１は、実施形態に係る移動光通信システムの一例を示す図である。この移動光通信システムは、空間を介して光通信する車両１および２を含む。車両１は光送信装置１００を備え、車両２は光受信装置２００を備える。光送信装置１００は、通信データを重畳された伝送光を光受信装置に向け照射する。この伝送光は光受信装置２００に備わるコーナリフレクタ（図示せず）により再帰的に反射され、光送信装置１００に戻る。光送信装置１００はこの反射光をトラッキングすることで、光受信装置への伝送光の光軸を合わせる。

通信データは、例えば車両１で撮影された大容量の映像データなどである。この映像データに撮影場所のＧＰＳ（Global Positioning System）データや時刻情報をメタデータとして付加してもよい。また、映像データはリアルタイムに伝送されることも可能である。このような形態で利用される車両１は、プローブカーとも称される。

図２は、図１に示されるシステムに用いられるタレットの一例を示す概略図である。すなわち光送信装置１００は、レーザ光照射装置としてのタレットに装荷される。このタレットは、２軸（アジマス（ＡＺ）軸およびエレベーション（ＥＬ）軸）周りに回動する支持機構を有するジンバル機構により空間安定化される。タレットは赤外線照射器１０１から伝送光を放射し、その反射光を撮像機１０２で受光する。この実施形態では伝送光として赤外線レーザ光を想定する。

撮像機１０２は、光受信装置２００から再帰的に反射された反射光（伝送光）を含む画像を撮像する。タレットは、撮像機１０２により取得された画像から目標（例えば光受信装置２００）の位置情報を検出し、光軸を補正する。

図３は、この実施形態に関わる光送信装置１００の一例を示す機能ブロック図である。光送信装置１００は、タレット１０と、このタレットを制御する制御部２０とを備える。

タレット１０は、ジンバル機構のジンバル角（ＡＺ，ＥＬ）と、撮像機１０２から出力される画像フレームとを制御部２０に渡す。画像フレームは画素データを含む。実施形態では画素データの画素数を最小限にすることでフレームレートを向上させる技術について説明する。

制御部２０は、画像生成部２１、目標位置算出部２２、露光時間算出部２３、撮像機制御部２４、目標位置予測部２５、タレット指向方向算出部２６およびレーザ光光軸補正部２７を備える。

画像生成部２１は、画素データを含む画像フレームから画像（画像データ）を生成し、目標位置算出部２２に渡す。また画像生成部２１は、画像フレームの輝度平均を算出して露光時間算出部２３に渡す。露光時間算出部２３は、この輝度平均に基づいて最適な露光時間を算出し、撮像機制御部２４に渡す。撮像機制御部２４は、この露光時間を撮像機１０２に設定する。

目標位置算出部２２は、現在の画像フレームに含まれる目標（光受信装置２００）の位置（目標位置情報）を算出し、目標位置予測部２５に渡す。

目標位置予測部２５は、目標位置情報を目標位置算出部２２から取得する。また目標位置予測部２５は、車両１のロール、ピッチ、ヨーの各軸ごとの姿勢角を各種センサ（図示せず）から取得する。さらに目標位置予測部２５は、ジンバル機構の軸ごとのジンバル角（ＡＺ，ＥＬ）をタレット１０から取得する。そして目標位置予測部２５は、取得したこれらの情報の少なくともいずれかに基づいて、次の画像フレームにおける目標の位置（目標予測範囲）を予測する。目標予測範囲は、例えば光受信装置２００の移動方向である。

撮像機制御部２４は、目標予測範囲に基づいて、画像フレームの読み出し範囲の形状を適応的に変化させる。すなわち撮像機制御部２４は、画像フレームごとに画素データの読み出し領域を計算し、撮像機１０２に指示する。例えば撮像機制御部２４は、読み出し範囲の縦横比を、画像フレームごとに変化させる。この縦横比は、例えば予測された光受信装置の移動方向と、光送信装置１００の揺動方向および振動方向に基づいて計算され、画像フレームごとに設定される。

タレット指向方向算出部２６は、目標予測範囲に基づいてタレットの指向方向を算出し、ジンバル機構を制御する。レーザ光光軸補正部２７は、ジンバル機構にレーザ光光軸補正角を与えて伝送光の光軸を光受信装置２００に指向させる。

図４は、光送信装置１００の処理手順の一例を示すフローチャートである。手順が開始すると、光送信装置１００は通信相手としての目標（光受信装置２００）を捜索する（ステップＳ１）。このステップでは、光送信装置１００は例えばレーザ光の指向方向を変化させながら空間をスキャンし、反射光をキャッチすることで目標を捕捉する。この手順においては撮像機１０２のフレームレートを低くしても構わない。

目標が捕捉されると、トラッキングモードが開始される（ステップＳ２）。このステップでは、光送信装置１００は目標からの反射光が途絶えないように目標をトラッキングする。トラッキングモードでは撮像機１０２のフレームレートを捜索モードよりも高くする。トラッキングが安定している状態で、光送信装置１００は画像データを重畳したレーザ光を光受信装置２００に向け送信する（ステップＳ４）。これにより通信が継続される。なお目標をロストすると（ステップＳ３でＹｅｓ）処理手順はステップＳ１の捜索モードに戻る。

図５は、目標位置の予測について説明するための図である。撮像機１０２から出力される画素データのフレームレートは、露光時間と、読み出し画素の転送時間とに制限される。特に、読み出し画素の転送時間が支配的である。そこで実施形態では画素データ範囲を制限することで読み出し画素数を最小限にし、転送時間を短縮することでフレームレートを高速化する。読み出し範囲は、予測された目標位置の近傍に設定され、目標位置は過去データの解析結果から算出される。

図５を参照して、目標位置予測部２５による目標予測範囲の算出について説明する。目標位置予測部２５は、姿勢角情報や目標位置情報などを取得し、例えば線形近似により予測点を算出する。

目標位置予測部２５は、ジンバル角（ＡＺ，ＥＬ）及び姿勢角（ロール、ピッチ、ヨー）の過去複数フレーム分のデータを保持する。姿勢角データと、予め設定された取付位置情報に基づいて、目標位置予測部２５は姿勢角をタレット座標系に変換する。さらに、目標位置予測部２５は、姿勢角の過去複数フレーム分のタレット座標系の位置情報にジンバル角（ＡＺ，ＥＬ）を加算して、タレット座標系での複数フレーム分にわたる目標位置情報を求める。

次に、求めたＡＺ及びＥＬの目標位置情報を微分して、目標位置情報を角速度情報に変換する（等角速度処理）。その結果をフレームごとに順にプロットして図５のグラフが得られる。図５の縦軸は角速度（θ）を示し、横軸は時間の経過を示す。最小二乗法によりこのグラフを直線近似し、得られた直線近似線から最も離れた点までの距離（角速度）を複数倍する。または、直線近似線からの距離（角速度）から標準偏差を求めて複数倍する。

一方、角速度の算出結果を積分して角速度を角度に変換する。これらの２種類の結果に、予め設定した重み付け係数を乗じ、それぞれＡＺ，ＥＬに分離することで予測点と予測範囲を算出する。また、直線近似の決定係数を求める。

決定係数とは、残差の二乗和を標本値の平均からの差の二乗和で割った値を１から減算して得られる値である。例えば式（１）により決定係数を求めることができる。

式（１）における変数ｙは標本値を示し、変数ｆは近似式による推定値を示し、インデックスｉは標本数を示す。

さらに、目標位置予測部２５は、求めたＡＺ及びＥＬの目標位置情報を２回微分（２階微分）して、目標位置情報を角加速度情報に変換する（等角加速度移動処理、または等角加速度処理）。それらの結果を最小二乗法により直線近似し、得られた直線近似線から最も離れた点までの距離（角加速度）を複数倍する。または、直線近似線からの距離（角加速度）から標準偏差を求めて複数倍する。

さらに、角加速度の算出結果を２回（２階）積分して角加速度を角度に変換する。これらの２種類の結果に、予め設定した重み付け係数を乗じて、それぞれＡＺ，ＥＬに分離することで予測点と予測範囲を算出する。また、式（１）を用いて直線近似の決定係数を求める。

そして、等角速度処理および等角加速度処理でそれぞれ求めた目標位置予測範囲に規格化された重み付け係数を乗じた和から、目標位置予測範囲を算出する。重み付け係数は、決定係数により決定することができる。特に、各処理で求めた決定係数の比率の和が１になるように規格化した値を重み付け係数とする。

式（１）の左辺のＲ^２は、直線近似線の近似らしさを示す指標である。等角速度処理および等角加速度処理ごとにＲ_２を比較し、比率を求める（比率の和が１になるように規格化する）。この比率（決定係数）は、目標が等角度で動いているのか、等角速度なのか、角加速度なのかの程度を示す指標となる。区別のため等角度処理で得られる決定係数をＲ^２ _ａとし、等角速度処理で得られる決定係数をＲ^２ _ｂ、とし、等角加速度処理で得られる決定係数をＲ^２ _ｃとする。ここで、添え字ａは等角度処理で得られる値であることを示し、添え字ｂは等角速度処理で得られる値であることを示し、添え字ｃは等角加速度処理で得られる値であることを示す。

さらに、各処理（等角度処理、等角速度処理および等角加速度処理）における目標予測範囲を求める。データと近似線の差の標準偏差を求め、その例えば３倍の角度、または、近似線から最も離れたデータの角度差の例えば３倍を、予測範囲とする。

例えば、等角度処理（Δθ_ＡＺａ、Δθ_ＥＬａ）、等角速度処理（Δθ_ＡＺｂ、Δθ_ＥＬｂ）、等角加速度処理（Δθ_ＡＺｃ、Δθ_ＥＬｃ）として示す。これらの値から目標位置予測範囲を求めることができる。

具体的には、求めた比率と予測範囲との積を処理ごとに求め、その総和を算出する。その結果を目標位置予測範囲とする。これをアジマス方向およびエレベーション方向ごとに求める。目標位置予測範囲のＡＺ方向成分をΔθ_ＡＺとし、目標位置予測範囲のＥＬ方向成分：Δθ_ＥＬとすると、例えば式（２）により目標位置予測範囲を算出することができる。

図６は、実施形態により得られる効果を説明するための図である。図６（ａ）は既存技術を踏襲する手法を示し、画像フレーム内における読み出し範囲の形状は正方形である。点線丸印が１フレーム前の目標位置を示し、黒丸が現在の目標位置を示す。

図６（ａ）に示されるように、既存技術では正方形の読み出し範囲のサイズが変わるだけであり、その位置（中央の位置）は変わらない。よって読み出し範囲を最小限にしようとすると現目標位置は読み出し範囲の端に位置することが多くなる。目標予測位置が画像フレームの端に近づけば近づくほど正方形のサイズは大きくなり、読み出すべき画素数が多くなってフレームレートが低下する。

これに対し図６（ｂ）は、図３に示される制御部２０（目標位置予測部２５）により算出される読み出し範囲を示す。すなわち実施形態では画像フレームごとに目標位置を予測し、その結果に基づいて読み出し範囲の位置および縦横比を適応的に変化させる。これにより、予測された目標位置は読み出し範囲の中央で捕えられるようになる。また、縦横比を最適化することで読み出し範囲のサイズを必要最小限にでき、従って読み出し画素数も必要最小限にできる。

さらに、目標の移動方向、自装置の揺動方向、自装置の振動方向に基づいて読み出し範囲の縦横比を求めるようにしているので、目標の出現確率に応じて読み出し範囲を最適化することができる。例えば縦揺れが支配的であれば縦長の読み出し範囲を設定すればよい。つまり次の画像フレームにおける目標の出現確率の高い箇所に読み出し範囲を設定し、出現確率の低い領域を読み出し範囲から除くことで、自装置の揺動方向および振動方向の偏りに対処でき、不要な範囲の画素データが転送されないようにできる。

以上説明したようにこの実施形態によれば、読み出し画素数を効果的に低減することができるようになり、従ってフレームレートの高速化を促進することができる。ひいては光軸調整の精度を高め、通信エラーを低減することができるようになる。これらのことから実施形態によれば、光軸調整の精度を向上させ、これにより通信エラーの低減を図った移動光通信システムとその光送信装置および撮像制御方法を提供することが可能となる。

なお、この発明は上記実施の形態に限定されるものではない。実施形態では移動光通信システムを車両間のデータ伝送に応用する例を示した。これに代えて本発明に関わる移動光通信システムは、空中に浮遊する主装置と、遠隔を飛行する無人飛行体との通信にも応用することが可能である。

また実施形態では、目に見えず減衰も少ない赤外線レーザ光の利用を想定したが、これに限らず可視光領域や紫外線領域の光を用いても良い。また実施形態では読み出し範囲の縦横比を変化させるようにしたが、より一般的に、読み出し範囲の形状を変化させるようにしても良い。

実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１，２…車両、１０…タレット、２０…制御部、２１…画像生成部、２２…目標位置算出部、２３…露光時間算出部、２４…撮像機制御部、２５…目標位置予測部、２６…タレット指向方向算出部、２７…レーザ光光軸補正部、１００…光送信装置、１０１…赤外線照射器、１０２…撮像機、２００…光受信装置

Claims (9)

1. 通信データを重畳された伝送光を送信する光送信装置と、
   空間を伝播する前記伝送光を受信する光受信装置とを具備し、
   前記光送信装置は、
   前記伝送光を前記光受信装置に向け照射するレーザ光照射装置と、
   前記レーザ光照射装置を空間安定化させるジンバル機構と、
   前記光受信装置から再帰的に反射された前記伝送光を含む画像を撮像する撮像部と、
   前記撮像部から出力される画像フレームにおける前記光受信装置の位置を予測する予測部と、
   前記予測された位置に基づいて、前記ジンバル機構を制御して前記伝送光の光軸を前記光受信装置に指向させる指向制御部と、
   前記予測された位置に基づいて、前記画像フレームの読み出し範囲の形状を適応的に変化させる撮像制御部とを備えることを特徴とする、移動光通信システム。
2. 前記撮像制御部は、前記読み出し範囲の縦横比を変化させることを特徴とする、請求項１に記載の移動光通信システム。
3. 前記予測部は、前記ジンバル機構の軸ごとのジンバル角に基づいて前記光受信装置の移動方向を予測し、
   前記撮像制御部は、前記予測された光受信装置の移動方向と、前記光送信装置の揺動方向および振動方向とに基づいて前記縦横比を変化させることを特徴とする、請求項２に記載の移動光通信システム。
4. 通信データを重畳された伝送光を、空間を介して光受信装置に送信する光送信装置において、
   前記伝送光を前記光受信装置に向け照射するレーザ光照射装置と、
   前記レーザ光照射装置を空間安定化させるジンバル機構と、
   前記光受信装置から再帰的に反射された前記伝送光を含む画像を撮像する撮像部と、
   前記撮像部から出力される画像フレームにおける前記光受信装置の位置を予測する予測部と、
   前記予測された位置に基づいて、前記ジンバル機構を制御して前記伝送光の光軸を前記光受信装置に指向させる指向制御部と、
   前記予測された位置に基づいて、前記画像フレームの読み出し範囲の形状を適応的に変化させる撮像制御部とを具備することを特徴とする、光送信装置。
5. 前記撮像制御部は、前記読み出し範囲の縦横比を変化させることを特徴とする、請求項４に記載の光送信装置。
6. 前記予測部は、前記ジンバル機構の軸ごとのジンバル角に基づいて前記光受信装置の移動方向を予測し、
   前記撮像制御部は、前記予測された光受信装置の移動方向と、前記光送信装置の揺動方向および振動方向とに基づいて前記縦横比を変化させることを特徴とする、請求項５に記載の光送信装置。
7. 通信データを重畳された伝送光を光受信装置に送信する光送信装置に適用可能な撮像制御方法において、
   ジンバル機構により空間安定化されるレーザ光照射装置により前記伝送光を前記光受信装置に向け照射し、
   前記光受信装置から再帰的に反射された前記伝送光を含む画像を撮像する撮像部から出力される画像フレームにおける前記光受信装置の位置を予測し、
   前記予測された位置に基づいて、前記ジンバル機構を制御して前記伝送光の光軸を前記光受信装置に指向させ、
   前記予測された位置に基づいて、前記画像フレームの読み出し範囲の形状を適応的に変化させることを特徴とする、撮像制御方法。
8. 前記予測された位置に基づいて、前記読み出し範囲の縦横比を変化させることを特徴とする、請求項７に記載の撮像制御方法。
9. 前記ジンバル機構の軸ごとのジンバル角に基づいて前記光受信装置の移動方向を予測し、
   前記予測された光受信装置の移動方向と、前記光送信装置の揺動方向および振動方向とに基づいて前記読み出し範囲の縦横比を変化させることを特徴とする、請求項８に記載の撮像制御方法。