JP4568697B2 - 映像配信システム - Google Patents

Description

本発明は、崩落があった場所の映像を配信する映像配信システムに関わる。

近年の集中豪雨は断続的に長期化している傾向にあるため、河川増水、土砂崩れが都市部で発生する頻度が高まってきている。また、災害は、雨が降っていない晴天下でも頻繁に行っていることも数多く報告されるになった。特に、土砂崩れでは道路の寸断により交通障害が引き起こされ、どのような被害がでているのかを瞬時に把握することが困難な状況もある。このような背景から、自動的に映像で被害状況を把握できるシステムが求められている。

非特許文献１によれば、土砂災害のメカニズムは、落下（落石、岩盤崩落）、滑動（斜面崩壊、地すべり）、流動（土石流）などに分類されている。土砂、岩の重量は大きいので、それが運動すると著しい破壊力をもたらす。しかも、突発的・局地的であるので、予測や対応が難しいとされている。土砂や岩の集合的運動を引き起こす誘因には大雨と地震もある。多くの人的被害をもたらすため、災害後の情報という観点からは何らか迅速な状況把握が重要であるのは言うまでもない。

道路が土砂流出により寸断された場合、これまではヘリコプターによる上空からの視察が中心である。監視カメラが設置されているところではその映像が送信され、状況把握ができるようになっている。

画像処理に土砂斜面の変化を画像処理で行う試みもなされている。
水谷武司，"自然災害と防災の科学"，東京大学出版会

第１の問題点）ヘリコプターによる視察ではコスト的に高く、さまざまな制約が多い。

第２の問題点）地上に監視カメラを設置しているため、土砂とともに流れてしまう。

第３の問題点）監視カメラは人が監視していることが多いため、土砂のわずかな運動を見逃してしまい、兆候に気づかない。

第４の問題点）悪天候による見えにくい映像の場合、土砂斜面の変化を画像処理で捉えるのが困難となる。

第５の問題点）夜間での可視画像撮影では土砂斜面を観測することができない。

本発明では、１）土砂崩れのように、少しずつ様相が変化していく現象を画像処理に基づいたオプティカルフロー法により細かい動き検出を行う。また、２）自動的に気球をあげて、無線カメラを上空にあげると同時に電源を入れ、監視側に送信する。また、３）悪天候による見えにくい映像からでも、土砂斜面のわずかな変化を安定かつ精度よく推定できるロバスト関数を介したオプティカルフロー法を適用する。また、４）赤外灯を土砂面に投光して、赤外線カメラを用いて夜間でも観測をする。また、５）動きベクトルを時系列的分類し、加速度変化から崖崩れの進行を検知する。

本発明によれば、１）土砂崩れのように、少しずつ様相が変化していく現象を画像処理に基づいたオプティカルフロー法により細かい動き検出できる。また、２）自動的に気球をあげて、無線カメラを上空にあげると同時に電源を入れ、監視側に送信できる。また、３）悪天候による見えにくい映像からでも、ロバスト関数を介したオプティカルフロー法を適用することで土砂斜面のわずかな変化を安定かつ精度よく推定できる。また、４）赤外灯を土砂面に投光して、赤外線カメラを用いて夜間でも観測できる。

これにより、被害発生の初期の状況を容易に把握できるようになり、適切な対処ができるようになり、人命救助などの情報として重要な手がかりとなる効果がある。

以下、本発明の実施の形態を図面を参照して説明する。

図１は、本実施の形態に係る映像配信システムの構成図である。

本システムは、映像入力手段１、速度検出手段２、崩落判定手段３および映像配信手段４により構成され、集中豪雨などによる崩落が予想される場所で使用される。また、崩落による影響が大きい道路の近傍で使用される。かかる場所を便宜的に被災地という。

本システムが行う映像配信方法では、カメラ（例えば、可視光で撮像するもの）を用いた映像入力手段１に、被災地の斜面の土砂などの映像が入力される。夜間では、赤外灯を斜面などに投光し、赤外光で撮像するカメラを用いることがある。速度検出手段２は、映像における岩などの物の速度ベクトルをロバストなオプティカルフロー法により検出し、崩落判定手段３が、検出された速度ベクトルにより崩落の有無を判定する。崩落が有ると判定された場合、映像配信手段４が、被災地の映像を配信する。

速度検出手段２は、連続した画像間の輝度変化が線形方程式に基づくものとして、非線形ロバスト推定法およびMaximum-Likelihood（最尤）推定法を用いる。

図２は、斜面の土砂の映像を示す図である。映像では、大小様々な岩Ａや砂Ｂが不規則に落下している。速度検出手段２は、この映像から画像処理により、岩などの速度ベクトルを検出する。

図３は、悪天候時の映像を示す図である。この映像には、雨や雪が撮像されているので、その速度ベクトルまでもが検出される可能性がある。そこで速度検出手段２は、以下のような処理を行う。

（ロバストなオプティカルフロー推定法）
画像シーケンスの時点ｔ、カメラ座標上（ｘ，ｙ）における輝度をＩ（ｘ，ｙ，ｔ）、微小時間δｔ移動した後の対応する位置の輝度をＩ（ｘ＋δｘ、ｙ＋δｙ，ｔ＋δｔ）とおく。後者を位置と時間についてTaylor展開を１次オーダまで施すと、式（１）が得られる。

微小時間における対応点間の動きに伴った輝度の差をｑとおく（式（２））。

悪天候下で、土砂斜面を観測すると、土砂の落下と雨や雪の落下が多重に混在してしまう。これらを明瞭に分離することは、その形状、動きの多様さから容易ではない。土砂の動き検出を目的とした場合、雨や雪はそれらを隠蔽（オクルージョン）する問題も絡んでいる。ここで、画像間の観測時間間隔が小さいと仮定すると、土砂と雨、雪の間で、輝度変動率に違いがあると考えることができる。画像のある１点と微小変位点において、そこの間を落下移動する土砂の輝度はほとんど一定である。それに対して、雨や雪は光の反射、透明度などにより大きな輝度変化が生じる。これらについて、輝度変化を線形変化として近似すると、式（３）のようにおくことができる。αは変化の傾き、βはバイアスであり、画素単位ごとに自動的に推定できる。

あるいは等価であるが、式（４）のように記述できる。

ただし、式（５）は、移動対象のオプティカルフローを表している。

また、式（６）と書いても良い。

次に、この拘束条件に基づくオプティカルフローの解法について述べる。ある画素の、画像強度をＩ、空間の１階微分をＩｘ，Ｉｙ、時間１階差分をＩｔとする。速度、係数について離散化して格子点上に表現する。時間方向にはｎ分割し（ｔ＝ｎ・δｔ）、空間的には、画像（窓）をＭ×Ｎに分割する。分割幅をδt＝１．０，ｈx＝１．０，ｈy＝１．０とする。ただし、ｉ，ｊは０＜ｉ＜Ｍ，０＜ｊ＜Ｎなる整数とする。

位置ベクトル、２つの係数はそれぞれ、式（７）に示すように離散表示される。

時間ｎ、位置（ｉ，ｊ）における各画素の空間、時間の１階微分は、式（８）のように与えられる。

一方、式（６）から、以下の式（９）のように誤差関数errを定義する。

誤差関数は式（８）、（９）に基づいて離散化して画素（ｉ，ｊ）における誤差err_i,jが、式（１０）のように得られる。

従来のほとんどのオプティカルフロー推定において、画像間の輝度変動が一定であるというモデルが用いられる。これは、ｑ＝０とした場合で表現される。

悪天候下では、雨や雪が土砂斜面の前を覆ってしまうため、本来の対象のオプティカルフローとは異なった速度ベクトルが推定されてしまう。そこで、推定精度を低下させる要因となるオクルージョン近傍などにおける大きな誤差（以下、外れ値と呼ぶ）を抑制する手段として、統計手法の一つであるＭ−ロバスト推定法を適用する。

具体的には、一定窓領域中から式（１０）の４つの未知数を最小二乗法により推定する際、非線形ロバスト関数を適用する。非線形ロバスト関数を適用した理由は、降雪の雪粒の速度が広範囲に連続的に分布していると考えられるためである。式（１０）を窓内で最小化するための目的関数を式（１１）のように定義する。

ただし、φは非線形ロバスト関数である。また、画像座標の添字（ｉ，ｊ）記法は省略している。

一方、対象となる移動物体の運動は微小でかつその速度成分の空間的な変化が滑らかであること、即ち、その１次微分が、式（１２）の拘束条件を満たすものとする。

ここで、雪粒によるオクルージョンのために式（１２）も大きな誤差が表れる領域があると考えられ、ここにもロバスト関数を適用し、式（１１）と併せて、式（１３）のような目的関数を定義する。

式（１１）は非線形関数となるので、非線形最小二乗法の枠組みで解を求める。ここでηは平滑化の程度を制御する。

さて、式（１１）が最小値をもつためには、４つの未知数についての１次微分値がゼロとなればよい。即ち、式（１４）が条件となる。

この条件のもとで解を求める。ここでは最急降下法を適用して、４つの未知数を数〜十数画素四方（サブブロック）から、１画素ごとに１組ずつ推定する。式（１４）を適当な初期値より、４つの未知数について一定の収束基準まで反復計算する。反復回数ｐ、調整パラメータλとすれば、式（１５）で表される。

調整パラメータλは経験的に決定される。式（１５）で必要とされる４つの１次微分値については、chain-ruleに基づいて、式（１６）に示すようになる。

ただし、非線形ロバスト関数φ（ｚ）が１次導関数Γ（ｚ）をもつとすれば、式（１７）となる。

１次微分値は、式（１８）で与えられる。

図４は、崩落判定手段３の構成図である。

崩落判定手段３は、速度ベクトル入力部３１と、方向検出部３２と、平均値計算部３３と、時系列データ蓄積部３４と、加速度計算部３５と、崩落判定部３６とを備える。

速度ベクトル入力部３１には、速度ベクトルの検出が順次に行われたときの各タイミング（観測時刻）で検出された速度ベクトルが入力される。方向検出部３２は、そのタイミングごとに速度ベクトルの方向を検出する。ここでは、速度ベクトルがもつ水平方向の成分と鉛直方向の成分の比を求め、この比と三角関数により、当該速度ベクトルの方向（当該速度ベクトルがもつ角度）を求める。

平均値計算部３３には予め角度の範囲が設定されている。この範囲は、鉛直方向を中心とした、例えば、±３０度の範囲である。平均値計算部３３は、まず、各タイミングで得られた速度ベクトルの内、当該範囲内の方向への速度ベクトルを選択する。この角度が当該範囲内であれば、当該速度ベクトルを選択する。

図５の実線矢印は、選択される速度ベクトルを示し、同図の破線矢印は、選択されない速度ベクトルを示す。そして、平均値計算部３３は、選択した速度ベクトルの大きさの平均を求める。

細かな土砂が動く方向は風により水平方向となることが多いので、ここでは、かかる土砂による速度ベクトルが選択されないようにするのである。逆に、崩落では岩などが鉛直方向に落下することが多いので、ここでは、かかる岩による速度ベクトルを選択し、その大きさの平均を求めるのである。

平均値計算部３３は、各タイミングについての平均（データ）からなる時系列データを時系列データ蓄積部３４に記憶させる。

次に、加速度計算部３５は、上に例示した岩などの加速度を求める。具体的には、時系列データを読み出し、その中のデータ（平均）同士の差（加速度）を求める。

そして、崩落判定部３６は、その加速度が予め設定されたしきい値以上か否かを判定し、しきい値以上の場合、崩落があると判定して、それを映像配信手段４に通知する。一方、しきい値未満の場合に崩落がないと判定して、このときは、通知を行わない。

崩落は、例えば、崖崩れが急速に進行している状態と定義できるので、ここでは、そのような場合を崩落として映像配信手段４に通知するのである。

図６は、映像配信手段４の構成を示す図である。

図６（ａ）に示すように、映像配信手段４は、気球４１と、気球４１にロープなどで接続されたカメラ４２と、気球４１とカメラ４２が収納された箱４３と、箱４３のフタ４３１を開けるためのモータ４４と、気球４１に水素ガスなどを吸入して膨張させるためのボンベ４５と、制御部４６と、配信部４７とを備える。カメラ４２とモータ４４とボンベ４５には、電源４８（商用電源やバッテリ）から常に電力が供給されている。

制御部４６は、崩落判定手段３から、崩落が有ると通知された場合に、モータ４４とボンベ４５を制御して、図６（ｂ）に示すように、フタ４３１を開け、気球４１にガスを吸入し膨張させる。これにより、気球４１とカメラ４２が被災地上空へ上昇する。

カメラ４２は、被災地を撮像し、その映像を無線（例えば電波）で配信部４７に送信する。これを配信部４７は受信し、例えば、消防署などに設けられた受信装置に配信する。消防署などでは、受信された被災地の映像が再生される。消防署などでは、崩落時に映像が配信されることが予め知らされており、映像配信により、崩落を知らせることができる。また、映像により被災地の様子を知らせることができる。

なお、映像配信手段４を設ける代わりに、気球だけを上げることや、発煙筒に着火して発煙することで、崩落のみを知らせるようにしてもよい。

本実施の形態に係る映像配信システムの構成図である。 斜面の土砂の映像を示す図である。 悪天候時の映像を示す図である。 崩落判定手段３の構成図である。 速度ベクトルの分類を示す図である。 映像配信手段４の構成を示す図である。

符号の説明

１ 映像入力手段
２ 速度検出手段
３ 崩落判定手段
４ 映像配信手段
３１ 速度ベクトル入力部
３２ 方向検出部
３３ 平均値計算部
３４ 時系列データ蓄積部
３５ 加速度計算部
３６ 崩落判定部
４１ 気球
４２ カメラ
４６ 制御部
４７ 配信部

Claims (6)

1. 崩落が予測される場所の映像が入力される映像入力手段と、
   前記入力された映像における物の速度ベクトルをロバストなオプティカルフロー法により検出する速度検出手段と、
   前記検出された速度ベクトルにより崩落の有無を判定する崩落判定手段と、
   前記崩落が有ると判定された場合、前記場所の映像を配信する映像配信手段と
   を備え、
   前記崩落判定手段は、
   予め設定された鉛直方向を含む範囲内の方向への速度ベクトルを選択するとともに当該選択した速度ベクトルの大きさの平均を求めることを複数回行い、当該求めた平均同士の差を求め、当該差が予め設定されたしきい値以上の場合に崩落が有ると判定し、当該差が当該しきい値未満の場合に崩落がないと判定することを特徴とする映像配信システム。
2. 前記速度検出手段は、
   連続した画像間の輝度変化が線形方程式に基づくものとして、非線形ロバスト推定法およびMaximum-Likelihood（最尤）推定法を用いることを特徴とする請求項１記載の映像配信システム。
3. 前記映像配信手段は、
   気球と、
   前記気球に接続されたカメラと、
   前記気球と前記カメラが収納される箱と、
   該箱のフタを開けるためのモータと、
   前記気球にガスを吸入するためのボンベと、
   前記崩落が有ると判定された場合に、前記モータと前記ボンベを制御して、前記フタを開け、前記気球にガスを吸入させる制御手段と、
   前記箱のフタが開くとともに前記気球にガスが吸入されたことにより上昇したカメラから無線により受信した映像を配信する配信手段と
   を備えることを特徴とする請求項１または２記載の映像配信システム。
4. 映像配信システムの映像入力手段に、崩落が予測される場所の映像が入力され、
   前記映像配信システムの速度検出手段が、前記入力された映像における物の速度ベクトルをロバストなオプティカルフロー法により検出し、
   前記映像配信システムの崩落判定手段が、前記検出された速度ベクトルにより崩落の有無を判定し、
   前記映像配信システムの映像配信手段が、前記崩落が有ると判定された場合、前記場所の映像を配信し、
   前記崩落判定手段は、前記崩落の有無の判定において、
   予め設定された鉛直方向を含む範囲内の方向への速度ベクトルを選択するとともに当該選択した速度ベクトルの大きさの平均を求めることを複数回行い、当該求めた平均同士の差を求め、当該差が予め設定されたしきい値以上の場合に崩落が有ると判定し、当該差が当該しきい値未満の場合に崩落がないと判定する
   ことを特徴とする映像配信方法。
5. 前記速度検出手段は、
   連続した画像間の輝度変化が線形方程式に基づくものとして、非線形ロバスト推定法およびMaximum-Likelihood（最尤）推定法を用いることを特徴とする請求項４記載の映像配信方法。
6. 前記映像配信手段は、
   気球と、
   前記気球に接続されたカメラと、
   前記気球と前記カメラが収納される箱と、
   該箱のフタを開けるためのモータと、
   前記気球にガスを吸入するためのボンベとを備え、
   前記映像配信手段の制御手段が、前記崩落が有ると判定された場合に、前記モータと前記ボンベを制御して、前記フタを開け、前記気球にガスを吸入させ、
   前記映像配信手段の配信手段が、前記箱のフタが開くとともに前記気球にガスが吸入されたことにより上昇したカメラから無線により受信した映像を配信する
   ことを特徴とする請求項４または５記載の映像配信方法。