JP3750436B2 - 物体表示方法及び装置 - Google Patents
物体表示方法及び装置 Download PDFInfo
- Publication number
- JP3750436B2 JP3750436B2 JP25672599A JP25672599A JP3750436B2 JP 3750436 B2 JP3750436 B2 JP 3750436B2 JP 25672599 A JP25672599 A JP 25672599A JP 25672599 A JP25672599 A JP 25672599A JP 3750436 B2 JP3750436 B2 JP 3750436B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- point
- time
- ship
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、物体を探知する物体探知に関する。その中でも、水中または水上に存在する物体を探知し、探知された物体の表示に関する。また、船舶障害物探知に関し、船舶を安全に航行させるシステムに関する。また、水中の魚を探知する魚群探知にも関する。
【０００２】
【従来の技術】
本発明に関する文献として以下のものがある。
【０００３】
（１）文献１：海洋音響学会 海洋音響学会誌 第25巻第１号(通巻89号) P25〜P29、本文献は、アクティブソナーに関するものである。
【０００４】
（２）特開平７−１８１２５５ 真野邦彦 中村文夫：船舶衝突座礁予防システム上記（１）は、アクティブソナーとして、一般的に知られている方法で、探信波を探索方向に発射し、反射波を測定することにより、障害物までの距離を計測するものである。これにより時系列的に探知画像が得られる。
【０００５】
上記（２）は、大型輸送船に搭載された無人ヘリをヘリコントローラにより遠隔制御によって飛行させ、この無人ヘリからのレーザ光の反射光に基づいた水面と水底までの深さと飛行現在位置を船舶上で受信する。この無人ヘリからの深さ及び飛行現在位置を受信してCRTに表示させるようにし、その深さから暗礁であると判断したときは、その暗礁付近に航走体を航走させて、超音波による海底または暗礁の詳細情報を得て、この詳細情報に基づいて、海底形状を３次元表示させるものである。
【０００６】
【発明が解決しようとする課題】
上記従来技術（１）は、暗礁や流木等の船舶の航行に妨げになる障害物を検知するために用いられている。しかし、アクティブソナーによる反射波には、上記障害物の反射波以外にセンサの性能や潮流等によるノイズが含まれている。
【０００７】
上記従来技術（２）は、上記従来技術（１）を用いて撮影した探知画像を基に運用を行なう方法について述べているが、探知画像のノイズ除去方法については述べられていない。
【０００８】
本発明が解決しようとする課題は、正確な物体の位置、特に深さまたは高さ方向、を探知することである。また、時系列的に得られる信号からノイズを除去し、表示されたものから物体とノイズを区別し、物体を抽出することにある。また、特にノイズを除去し、船舶航行の障害物を探知し易くすることで、船舶の航行の安全を図ることにある。
【０００９】
【課題を解決するための手段】
上記課題を解決するため以下の構成とした。
【００１０】
（１）移動方向検出手段
図１は探知画像t=-10から探知画像t=0までを順に積み重ねて表現したものである。平滑化に用いるt=0からt=-10までの時間を平滑化時間１０７と呼び、図１の例では、平滑化時間１０７は11である。平滑化時間１０７は、図１の例のように11とするだけでなく11より短くても良いし、長くしても良い。
【００１１】
船が移動していなければ、探知画像t=0の時の着目点AのG(i,j,0) １０１は、探知画像t=-10の時の同じ着目点DのG(i,j,-10) １０４と同じ信号値となるはずである。しかし、船が移動する場合は、障害物の船からの相対的な位置は変化する。この変化に対応できるように、平滑化時間１０７と船の航行速度より、探知画像t=-10の時の着目点DのG(i,j,-10)より船の移動量を考慮したオフセット１０５を設ける。さらに平滑化時間１０７、潮流、水中の温度や他の要因による誤差が存在し、船の移動量を考慮したオフセットから推定最大移動点B１０２と推定最小移動点C１０３を設け、推定最大移動点B１０２から推定最小移動点C１０３までの範囲をY軸サーチ範囲１０６と呼ぶ。
【００１２】
最大推定移動点１０２、最小推定移動点１０３、船の移動量を考慮したオフセット１０５は、船の速度や、平滑化時間１０７、その他の誤差要因に応じて所定の計算値を用いて範囲指定することができる。
【００１３】
最大推定移動点１０２、最小推定移動点１０３、船の移動量を考慮したオフセット１０５は、船の速度や、平滑化時間１０７、その他の誤差要因に応じて自由に設定できる。
【００１４】
探知画像t=0の時の着目点AのG(i,j,0)１０１と探知画像t=-10のY軸サーチ範囲上の点を結んだ各方向より移動方向を求め、平滑化すべき信号がどの方向に有るかを推定する。
【００１５】
図２は、図１の例をｔ軸−ｙ軸断面に投影したものである。推定最大移動量B１０２から推定最小移動量C１０３のＹ軸サーチ範囲１０６の直線上にある各点を探知画像t=0の時の着目点AのG(i,j,0)１０１を結び各方向を定義したものである。白丸２０１で示した点が画像上の画素のサンプリング点で、黒丸２０２で示した点が画素上になく補間を必要とするサンプリング点である。補間の仕方は各種あり、同探知画像上の左右上下のうち近い２点の平均とする方法や近傍の４点または１６点からキュービックコンボリューションをする方法や前後の探知画像を用い、近傍の６４点から３次元のキュービックコンボリューションをする方法や、最も近い画素点のうち特定の画素の値とする方法などがある。
【００１６】
サンプリングされた各方向毎に平滑化処理を行ない、各方向に平滑化された値の最大値となる方向を移動方向と定義する。
【００１７】
以上の移動方向検出手段で選択された移動方向は、船の移動による被写体の画像の位置ずれを各点毎に推定して求めたものとなる。
【００１８】
（２）非線形平滑化手段
画像の各点毎に（１）移動方向検出手段により求められた所定の移動方向に１次元非線形平滑化を行なう。ここで、平滑化するサンプリング点は、移動方向検出手段で使用したサンプリング点と同一のサンプリング点から選ぶこともできるし、それと異なる点を選び、サンプリング点数を増やすことや減らすこともできる。ただし、（１）移動方向検出手段と同一のサンプリング点、平滑化方法を用いる場合は、（１）移動方向検出手段で算出した移動方向の平滑化値をそのまま用いることができる。
【００１９】
なお、上記の（１）移動方向検出手段および（２）非線形平滑化手段は、共に用いてもよく、それぞれ独立に一方を用いてもよい。
【００２０】
本発明の構成は、以下の通りでもある。
【００２１】
アクティブソナー装置から探知画像を時系列に入力し、時系列に入力された探知画像から複数の探知画像を選択し、選択された探知画像のそれぞれについて、同一物体を示す箇所を対応付け、対応付けられた箇所それぞれが有する表示データの値のうち、前記値の大きさが所定の順位の値を用いて表示を行うことを特徴とする物体表示方法である。
【００２２】
また、この物体表示方法において、前記所定の順位とは、最大値から選択された検知画像の数のうち４分の１番目で値であることを特徴とする物体表示方法である。
【００２３】
さらに、この物体表示方法において、前記４分の１番目が整数でない場合は、４分の１に最も近い２つの順位の値の平均を用いて表示することを特徴とする物体表示方法でもある。
【００２４】
また、本発明は、移動体における障害物を検知する障害物探知装置において、前記移動体の進行方向を監視するアクティブソナー装置より時系列的に得られる探知画像を入力する手段と、入力された探知画像のうち所定の探知画像の所定箇所と障害物として対応する可能性のある箇所の複数のグループを、入力された探知画像を用いて作成する手段と、作成されたそれぞれのグループの表示データの値の和を求める手段と、前記複数のグループのうち、最も表示データの値の和の大きなグループを前記障害物を表わすグループとして選択する手段とを有することを特徴とする障害物探知装置でもある。
【００２５】
また、この障害物探知装置において、選択されたグループの示す障害物は、前記グループそれぞれの箇所が有する表示データの値のうち、前記値の大きさが所定の順位の値を用いて表示を行う表示手段を有することを特徴とする障害物探知装置でもある。
【００２６】
さらに本発明は、以下の構成でもある。
【００２７】
船舶障害物探知に関し、船舶を安全に航行させるシステムにおいて、船舶の前方監視するためのアクティブソナー装置を有し、該アクティブソナー装置より時系列的に得られる探知画像を処理する装置において、各時刻で得られる探知画像を時系列的に並べて２次元画像に新たに時間軸を加えた３次元データを構成し、所定の時刻の上記探知画像に着目し、該着目探知画像から時間的に＋方向及び−方向にそれぞれ所定の時間内に限定した部分３次元データを対象として、該着目探知画像から該部分３次元データで船の移動量を考慮した被写体の該部分３次元データでの移動方向を求めその方向に推定されたデータを参照して平滑化処理することを特徴とする船舶障害物探知方法である。
【００２８】
また、この船舶障害物探知方法において、上記時間軸−方向に限定して平滑化することを特徴とする船舶障害物探知方法である。
【００２９】
また、この船舶障害物探知方法において、上記該着目探知画像から該部分３次元データで船の移動量を考慮した被写体の該部分３次元データでの移動方向を求める処理として、上記着目画像の各点毎に時間軸を含む所定の方向毎に平滑化処理を行ない、所定の方向の平滑化された値のうち最大値となる方向の１次元データを選択し、該１次元データを平滑化することを特徴とする船舶障害物探知方法でもある。
【００３０】
またさらに、この船舶障害物探知方法において、平滑化方法として、上記選択された１次元データを小さい順に並べた時、データ数の3/4地点またはその周辺のデータ値を出力することを特徴とする船舶障害物探知方法でもある。
【００３１】
さらに、この船舶障害物探知方法において、上記船の移動量から求めた移動距離と上記３次元データでの移動方向から被写体までの距離変化を求め、該船の移動距離と該被写体までの距離変化より船から被写体までの水平距離と被写体の深度を測定することを特徴とする船舶障害物探知方法でもある。
【００３２】
【発明の実施の形態】
以下に示す各実施例は、船舶障害物探知方法の発明であり、具体的には下記の方法を実施するプログラムまたはハードを作成することにより実現できる。ある時刻Tにアクティブソナーを発射することによって得られる反射波の信号を画像化したものを探知画像t=Tと呼び、画像上のｘ軸は、反射波信号の方向を表し、ｙ軸は船からの距離を表している。探知画像t=T上にある任意の点（i,j）の信号の振幅PをP= G(i,j,T)と表現する。
【００３３】
図３に示すように各時刻における船は、アクティブソナーを発射することにより時刻t=-10の時の船３０２は時刻t=-10の時の観測領域３０５の反射波の信号を得ることができ、時刻t=0の時の船３０１は時刻t=0の時の観測領域３０４の反射波の信号を得ることができる。船の航路上には、船が座礁する岩３０３があり、時刻t=-10から時刻t=0までの反射波の信号を用いて座礁する岩３０３を検出する。
【００３４】
図４は、ある時刻Tに障害物の反射波を測定した時の船の観測領域をモデル化したものである。船４０７はビームフォーミングすることにより観測領域４００の反射波を観測することができる。方向A４０１にビームフォーミングした測定領域４０４は、方向A４０１にビームフォーミングして測定された信号４１１として得ることができる。また、方向B４０２にビームフォーミングした測定領域４０５は、方向B４０２にビームフォーミングして測定された信号４１２として得ることができる。同様に方向C４０３にビームフォーミングした測定領域４０６は、方向C４０３にビームフォーミングして測定された信号４１３して得ることができる。２次元配列４１０は、方向Aから方向Cまでの各方向の信号を並べて配列化したものである。この２次元配列４０１を適当な値で濃度変換することにより探知画像が得られる。
【００３５】
図５は、時刻t=-10から時刻t=0までに得られた探知画像である。時刻t=0の時の探知画像５０１上には、時刻t=0の時に測定された座礁する岩５０２がある。それぞれに探知画像には、時刻t=-1の時に測定された座礁する岩５０３、時刻t=-2の時に測定された座礁する岩５０４、時刻t=-10の時に測定された座礁する岩５０５が測定されている。これらの時刻t=-10から時刻t=0までの探知画像から、ノイズを除去し、船舶航行の障害物となる座礁する岩等を探知する。
【００３６】
本発明の概要を以下に示す。
探知画像には、突発的に大きな信号となるバーストノイズが含まれることがあり、また障害物の反射波が小さくなり認識できない場合がある。探知画像が例えば１秒おきに取得できる場合、１０秒間に１０枚の探知画像を得ることができる。この１０枚の画像から障害物の反射波を安定に取得する処理を行なう。得られた１０枚の探知画像中に岩などの障害物がある場合、船が移動すると障害物も移動するように見える（図５）。船の移動により探知画像の映る位置も移動するが、海表面に岩などの障害物がある場合と、海中のある深さの岩などの障害物がある場合では、探知画像上で、映る場所が変化する移動距離が異なる。そこで、１０枚の画像からそれぞれの探知画像に映っている画素毎に深さに応じた移動方向を推定する。そのために、深さ０からソナーで観測する最大深度までの移動方向について、それぞれ図２のように深さに応じた移動方向を定義し、各移動方向の線上のデータ値から物体が安定して映っているかを判定する。
【００３７】
各移動方向の１０個のデータは、バーストノイズを含んでいたり、反射波の信号が小さくなっているものなどを含んでいる。そこで１０個のデータを平滑化する。例えば、１０個データを昇順に並べると１番大きい値や２番目に大きい値は、バーストノイズの可能性あり、１番小さい値や、２番目に小さい値は、不明瞭に映ったデータの可能性がある。そこでなるべく強く映っていて、バーストノイズを取らないような値としてデータの昇順で並べた時のデータ数×3/4番目のデータ値を求める。各移動方向にデータの昇順で並べた時のデータ数×3/4番目のデータ値を求め、各移動方向のうち最大値をとる移動方向を実際に反射物があると思われる移動方向と推定する。その推定した移動方向のデータ数×3/4番目のデータ値を出力値とする。この処理を探知画像の各点に行なうことによりバーストノイズなどのノイズを除去し、安定した探知画像を得ることができる。
【００３８】
本発明の第１の実施例を（１）節、第２の実施例を（２）節、第３の実施例を（３）節、第４の実施例を（４）節で説明する。
【００３９】
（１）課題を解決する本発明第１の実施例
図６は本発明の課題を解決する方法の処理手順を示した図であり、図６の番号をステップ番号として以下に説明する。
【００４０】
ステップ６０１：データ入力処理
時刻t=-10から時刻t=0までの探知画像を入力する。
【００４１】
ステップ６０２：移動方向検出処理
各移動方向においてサンプリングされた１次元データを平滑化し、各移動方向の平滑化された値のうち最大値をとる方向を移動方向とする。
【００４２】
各移動方向の移動量の計算の仕方は各種あり具体例を以下のa)〜g）に示す。
【００４３】
a)3/4メディアン法
各移動方向の所定のサンプリング点についての3/4メディアン値（数１）である。
【００４４】
【数１】
S(i,j,f,d)=median3_4(I(i,j,f,d,m))…（数１）
ただし、i,jは画像の着目点の位置、fは探知画像t=f、dはY軸サーチ範囲１０６の各点から探知画像t=fの着目点G(i,j,f)を結んだ各方向、mは着目点G(i,j,f)を基点として各方向にサンプリングされた点を順序づけた順番でｍ＝０の時は探知画像t=0の着目点、ｍ≧１の時は探知画像t=0より後に取得された探知画像t=m上の点、ｍ≦−１の時はt=0より前に取得された探知画像t=-m上の点を示し、I(i,j,f,d,m)は着目点G(i,j,f)からｄ方向にｍサンプリング点進んだ点の数値を表し、 median3_4(i,j,f,d,m)は、d方向のm個のサンプリング点から昇順で(n-1)*3/4番目の値を返す関数であり、(n-1)*3/4番目の配列がない場合は、最も近い値をとったり、近い配列要素の２つの平均をとったり、近い配列要素の加重平均をとり3/4メディアン値とする。Sは、着目点(i,j,f)における方向dにおける変化量である。以上の（数１）の他にも変化量を算出する定義は各種あり下記b)からf)に例を示す。
【００４５】
b)平均法
【００４６】
【数２】
S(i,j,f,d)=total/m…（数２）
【００４７】
【数３】
total=Σ (Ｉ(i,j,f,d,m))…（数３）
上記移動方向の所定のサンプリング点について加算平均した値を平滑化の値（数２）とする方法である。
【００４８】
ただし、各記号は（数１）と同様であり、totalは上記各移動方向の所定のサンプリング点について加算したもの、Hはtotalをサンプリング数で平均したもの、Σはmについて所定の点数全ての和を示したものである。なお、Σは所定の点数全てでなくともよい。例えば、最高点を除いたものの和でもよい。
【００４９】
c)メディアン法
【００５０】
【数４】
S(i,j,f,d)=median(i,j,f,d,m)…（数４）
上記移動方向の所定のサンプリング点についてのメディアン値を平滑化の値（数４）とする方法である。メディアン値は、サンプリング点数の値を昇順または降順に並べた時、その順列の中間値をとるものである。奇数の場合は中央の値、偶数の場合は、中央の２つ内どちらか一方、または２つの値の平均をとる。ただし、各記号は（数１）と同様であり、median(i,j,f,d,m)は、d方向のm個のサンプリング点からメディアン値を返す関数である。
【００５１】
d)平均値−原画の加重平均法
【００５２】
【数５】
S(i,j,f,d)=ａ*Ｈ１+ (1-ａ)*Ｇ(i,j,f)…（数５）
【００５３】
【数６】
ａ=ρ0**2／(ρ1**2＋(αDρ)**2)…（数６）
平均値と原画の値の間になるようにしたものを平滑化の値（数５）とする方法である。ただし、各記号は（数１）と同様であり、Ｈ１は上記移動方向の所定のサンプリング点について加算平均した値で、ρ1は上記移動方向の所定のサンプリング点について偏差を求めた値であり、ρは画像からノイズの程度を決める値で、例えば探知画像t=0からt=-10までの最大値より５％以下の点の平均値であり、αは平滑化の程度を決める所定の定数である。
【００５４】
e)メディアン値−原画の加重平均法
【００５５】
【数７】
S(i,j,f,d)=ａ*M１ + (1-ａ)*Ｇ(i,j,f)…（数７）
メディアン値と原画の値の間になるようにしたものを平滑化の値（数７）とする方法である。ただし、各記号は（数１）と同様であり、 M１は上記移動方向の所定のサンプリング点についてのメディアン値である。
【００５６】
f)輝度の差に応じたウェイト付け法
【００５７】
【数８】
S(i,j,f,d)= Σ (Ｗ(i,j,f,d,m)*Ｉ(i,j,f,d,m))…（数８）
【００５８】
【数９】
Ｗ(i,j,f,d,m) = ｗ(i,j,f,d,m)／wt…（数９）
【００５９】
【数１０】
ｍ≧１の時、ｗ(i,j,f,d,m) = ｗ(i,j,f,d,m-1)／（１+((I(i,j,f,d,m)-Ｇ(i,j,f))/(αDρ))**k）…（数１０）
【００６０】
【数１１】
ｍ＝０の時、ｗ(i,j,f,d,0) = １…（数１１）
【００６１】
【数１２】
ｍ≦−１の時、ｗ(i,j,f,d,m) = ｗ(i,j,f,d,m +1)／（１+((I(i,j,f,d,m)-Ｇ(i,j,f))/(αDρ))**k）…（数１２）
ただし、各記号は（数１）、（数２）、（数６）と同様であり、Ｗ(i,j,f,d,m) は、平滑化でI(i,j,f,d,m)を加算する際のウェイトを示し、ｗ(i,j,f,d,m)とwtはウェイトWを計算する際の途中の項でｋは所定の定数で、**kはｋ乗を意味する。
【００６２】
また（数８）から（数１２）の他にも各種方法があり、例えば（数１０）を（数１３）に変え、（数１２）を（数１４）に変えて実行することもできる。
【００６３】
【数１３】
ｍ≧１の時、ｗ(i,j,f,d,m) = ｗ(i,j,q,m-1)／（１+exp((Ｉ(i,j,f,d,m)-Ｇ(i,j,f))/(αDρ))）…（数１３）
【００６４】
【数１４】
ｍ≦−１の時、ｗ(i,j,f,d,m) = ｗ(i,j,q,m+1)／（１+exp((Ｉ(i,j,f,d,m)-Ｇ(i,j,f))/(αDρ))）…（数１４）
g)最小変化法
また、上記の平滑化方法を用いずに以下の（数１５）から（数１６）を用いて方向を検出することもできる。この場合は、最小値をとる方向を移動方向と定義する。
【００６５】
【数１５】
【００６６】
各方向のうち、最小値となる方向を移動方向と定義する。ただし、各記号は（数１）、（数２）と同様であり、abs()は、()内の値の絶対値をとる関数である。
【００６７】
【数１６】
【００６８】
ただし、各記号は（数１）、（数２）と同様である。
【００６９】
各方向のうち、最小値となる方向を移動方向と定義する。
以上移動方向検出の方法の具体例をa)〜g)まで示した。これらの方法のどれを用いることもできるし、その他の方法を用いることもできる。また、これらの方法を複数使い、
以上の操作を各点について行うが、画像の端の点は、同様の所定のサンプリング点を取れないため、特殊処理を行う必要がある。特殊処理として、画像の両端がつながっているとして中心部と同様の所定のサンプリング点を取る方法や、端の点は処理をせずに原画や０を出力する方法、端のサンプリング点を少なくして処理する方法、原画のまま出力する方法など、端の部分の特殊処理方法は各種ある。
【００７０】
ステップ６０３：非線形平滑化処理
ステップ６０２により求められた方向に非線形平滑化処理を行なう。ただし、ステップ６０２と同じサンプリング点と平滑化方法を用いる場合には、ステップ６０２で得られた平滑化値をそのまま用いることができる。非線形平滑化処理の方法は各種ありステップ６０２の平滑化方法と同一である。
【００７１】
ステップ６０４：データ出力処理
平滑化して得られた探知画像を出力する。
【００７２】
以上により、着目した探知画像から時間的に−方向に船の移動量を考慮した被写体の移動方向を求めその方向に推定されたデータを参照して平滑化処理することができるようになる。
【００７３】
（２） 課題を解決する本発明第２の実施例
第２の実施例は、障害物が移動している場合に有効な例を説明する。
流木などの障害物が潮流に流され移動している場合がある。この場合は、同一の方向に信号が検出されず、時系列的に障害物の方向は変化する。この移動する障害物に対応するため図７に示すように障害物がどの方向を推移したかを推定するためX軸サーチ範囲７０１を設ける。X軸サーチ範囲は、潮流や検出する障害物などにより常識的な範囲があり自由に設定できる。この場合、探知画像t=0の時の着目点G(i,j,0)がX軸サーチ範囲７０１とY軸サーチ範囲１０６に囲まれた矩形内の点を結んだ各方向より移動方向を求め、平滑化すべき信号がどの方向に有るかを推定することになる。
【００７４】
図８は、図７を拡大したものである。X軸サーチ範囲７０１とY軸サーチ範囲１０６に囲まれた矩形内の各点と探知画像t=0の時の着目点AのG(i,j,0)を結んだ方向を定義する。白丸８０１で示した点が画像上の画素のサンプリング点で、黒丸８０２で示した点が画素上になく補間を必要とするサンプリング点である。補間方法は上記移動方向検出手段で述べたように各種ある。それぞれの方向にサンプリングされた点を用いて移動方向を検出し、最小となる方向に１次元非線形平滑化処理を行ない平滑化する。
【００７５】
また、時刻t=0より過去のデータを参照し平滑化する方法だけでなく、図９に示すように図１の探知画像t=0より後に取得される探知画像t=1からt=10を用い、前後の時刻の探知画像を用い平滑化することも可能である。任探知画像t=0の着目点AのG(i,j,0)１０１とした時、時間軸−方向はいままでと同様の構成を持ち、時間軸＋方向に時間軸＋方向の平滑化時間９０３、時間軸＋方向の船の移動量を考慮したオフセット９０１、時間軸＋方向のY軸サーチ範囲９０２を設ける。時間軸＋方向の平滑化時間は、例のように11とするだけでなく自由に設定できる。また、時間軸＋方向の船の移動量を考慮したオフセット、時間軸＋方向のＹ軸サーチ範囲も同様に自由に設定できる。探知画像t=0の着目点AのG(i,j,0)に対し時間軸＋方向、時間軸−方向に移動方向を検出し、求められたそれぞれの移動方向から１次元データを選択し１次元の非線形平滑化処理を行なうこともできる。これにより着目した探知画像から時間的に＋方向及び−方向に船の移動量を考慮した被写体の移動方向を求めその方向に推定されたデータを参照して平滑化処理することができるようになる。
【００７６】
図１０は本発明の課題を解決する方法の処理手順を示した図であり、第１の実施例と異なるステップのみ図１０の番号をステップ番号として以下に説明する。
【００７７】
ステップ１００１：データ圧縮処理１
入力された探知画像tに対し、S/N比を向上するためにY軸方向にデータを1/pに圧縮する（数１７）に従った処理を行なう。
【００７８】
【数１７】
G'(i,j,t)=press(i,j*p,t)…（数１７）
ただし、G'(i,j,t)は1/pに圧縮した出力値であり、pressはG(i,q,t)からG(i,q,t)までの最大値をとる関数であり、qはj*pからj*p+p-1までの値をとる。pは正の整数値である。以上の操作を出力画像G'(i,j,t)の各点について元画像より圧縮した値を求めるが、画像の端の点は、同様の所定のサンプリング点を取れないため、特殊処理を行う必要がある。画像の端の部分の特殊処理については、以下のステップ１００２のデータボケ化処理を行う。
【００７９】
ステップ１００２：データボケ化処理
探知画像tに対し、信号検出を容易にするために着目点G(i,j,t)とY軸方向の前後の点G(i,j-n,t)からG(i,j+n,t)の内、最大値を選択する（数１８）の処理を行なう。
【００８０】
【数１８】
G'(i,j,t)=max(i,j,t,n)…（数１８）
ただし、G'(i,j,t)はデータボケ化処理後の値であり、maxはG(i,j,t)を中心にしてY軸方向に前後n点の内最大値を返す関数である。以上の操作を各点について行うが、画像のY軸方向の端の点は、同様の所定のサンプリング点を取れないため、特殊処理を行う必要がある。
【００８１】
ステップ１００３：データ圧縮処理２
平滑化後の探知画像に対し、S/N比を向上するためにY軸方向にデータを圧縮する処理をデータ圧縮処理１と同様に行なう。
【００８２】
ステップ１００４：濃度調節処理
平滑化後の探知画像に対し、濃度を調節し障害物の信号をより検出し易くする（数１９）の処理を行なう。
【００８３】
【数１９】
G'(i,j,t)=G(i,j,t)/ave(i,j,t,n);…（数１９）
ただし、 G'(i,j,t)は濃度変換処理後の値であり、aveはG(i,j,t)を中心にしてY軸方向に前後n点の平均を返す関数である。
【００８４】
以上の操作を各点について行うが、画像のY軸方向の端の点は、同様の所定のサンプリング点を取れないため、特殊処理を行う必要がある。
【００８５】
（３） 課題を解決する本発明第３の実施例
探知画像のエッジ画像を用いて移動方向の検出を行ない、この検出された移動方向を用いて探知画像tの平滑化を行なう。図１１は本発明の課題を解決する方法の処理手順を示した図であり、第２の実施例と異なるステップのみ図１１の番号をステップ番号として以下に説明する。
【００８６】
ステップ１１０１：エッジ処理
探知画像tに対しエッジ画像を作成する。エッジ画像については上述の文献２に記載されている。
【００８７】
ステップ１１０２：移動方向検出処理
ステップ１１０１で作成された探知画像tのエッジ画像を用いて移動方向を検出する。移動方向の検出処理は、実施例１のステップ６０２と同様である。
【００８８】
ステップ１１０３：非線形平滑化処理
ステップ１１０２で求められた各点の移動方向に平滑化処理を行なう。非線形平滑化処理方法は実施例１のステップ６０３と同様である。
【００８９】
（４） 課題を解決する本発明第４の実施例
船の移動距離と移動方向検出手段により検出された障害物の移動方向より障害物の深度を測定することができる。図１２は、船の移動方向と障害物の移動方向が一致する場合の模擬図である。時刻t=0の時の障害物までの距離と深度および他のパラメータとの相関関係を表した。この場合の船の障害物までの水平距離yと障害物の深度dの求め方を以下に示す。
【００９０】
時刻t=0における船の位置１２０１、時刻t=-10における船の位置１２０２とした時、時刻t=-10から時刻t=0までに移動する船の距離１２０５をl、時刻t=0における障害物までの距離１２０３を 、時刻t=-10における障害物までの距離１２０４を とすると、時系列に重ねた探知画像の時間軸−距離断面図においては、移動方向検出手段により検出された方向が方向１２０８の時、時刻t=-10から時刻t=0までに移動する船の距離１２０５は、１０５にあたり、時刻t=0における障害物までの距離１２０３は１２０９にあたり、時刻t=-10における障害物までの距離１２０４は、１２１０にそれぞれあたる。
【００９１】
時刻t=0の時の障害物までの水平距離１２０６をy、障害物の深度１２０７をdとすると以下の（数２０）、（数２１）を用いて求めることができる。
【００９２】
【数２０】
【００９３】
【数２１】
【００９４】
なお、上記の実施例では、船舶について述べているが、航空機、潜水艦などの他のものでも適用可能である。また、ノイズ除去に関しては、アクティブソナーで検出されたもののみでなく、画像処理における表示全般について適用可能である。
【００９５】
【発明の効果】
本発明によれば、時系列的に得られる探知画像からノイズを除去し、船舶航行の障害物を探知し船舶の航行が安全になるという効果がある。
【図面の簡単な説明】
【図１】本発明による時系列に重ねた探知画像を最小変化方向に１次元非線形平滑化する処理の概念図である。
【図２】図１の時系列に重ねた探知画像の時間軸−距離断面図を示す図である。
【図３】船からのアクティブソナー観測領域を示す図である。
【図４】船からのビームフォーミング測定領域と測定信号を示す図である。
【図５】時系列に並べた探知画像を示す図である。
【図６】本発明第１の実施例の手順を示す図である。
【図７】障害物の移動を考慮して最小変化方向に１次元非線形平滑化する処理の概念図である。
【図８】図７を拡大した図である。
【図９】時間軸＋方向及び−方向に最小変化方向に１次元非線形平滑化する処理の概念図である。
【図１０】本発明第２の実施例の手順を示す図である。
【図１１】本発明第３の実施例の手順を示す図である。
【図１２】船の移動方向と障害物の移動方向が一致する場合の模擬図である。
【符号の説明】
１０１：探知画像t=0の時の着目点G(i,j,0)、１０２：推定最大移動点、１０３：推定最小移動点、１０４：探知画像t=-10の時の着目点(i,j,-10)、１０５：船の移動量を考慮したオフセット、１０６：ｙ軸サーチ範囲、１０７：平滑化時間、２０１：画素上のサンプリング点、２０２：補間を要すサンプリング点、３０１：t=0の時の船、３０２：t=-10の時の船、３０３：船が座礁する岩、３０４：t=0の時の観測域、３０５：t=-10の時の観測域、４０１：方向A、４０２：方向B、４０３：方向C、４０４：方向Aにビームフォーミングした測定領域、４０５：方向Bにビームフォーミングした測定領域、４０６：方向Cにビームフォーミングした測定領域、４１０：船の観測域、４１１：方向Aにビームフォーミングして測定された信号、４１２：方向Bにビームフォーミングして測定された信号、４１３：方向Cにビームフォーミングして測定された信号、５０１：t=0の時の方向Aから方向Cまでの各方向の信号を濃度変換して得られた探知画像、５０２：t=0の時に測定された障害物、５０３：t=-1の時に測定された障害物、５０４：t=-2の時に測定された障害物、５０５：t=-10の時に測定された障害物、６０１：データ入力処理、６０２：移動方向検出処理、６０３：非線形平滑化処理、６０４：データ出力処理、７０１：ｘ軸サーチ範囲、８０１：画素上のサンプリング点、８０２：補間を要すサンプリング点、９０１：時間ｔ軸＋方向の船の移動量を考慮したオフセット、９０２：時間ｔ軸＋方向のｙ軸サーチ範囲、９０３：時間ｔ軸＋方向の平滑化時間、１００１：データ圧縮処理１、１００２：データボケ化処理、１００３：データ圧縮処理２、１００４：濃度調節処理、１１０１：エッジ処理、１２０１：時刻t=0における船、１２０２：時刻t=-10における船、１２０３：時刻t=0における障害物までの距離、１２０４：時刻t=-10における障害物までの距離、１２０５：時刻t=-10から時刻t=0までに移動する船の距離、１２０６：時刻t=0の時の障害物までの水平距離、１２０７：障害物の深度、１２０８：移動方向検出手段により検出された方向、１２０９：探知画像の時間軸−距離断面図における時刻t=0における障害物までの距離、１２１０：探知画像の時間軸−距離断面図における時刻t=-10における障害物までの距離。
【発明の属する技術分野】
本発明は、物体を探知する物体探知に関する。その中でも、水中または水上に存在する物体を探知し、探知された物体の表示に関する。また、船舶障害物探知に関し、船舶を安全に航行させるシステムに関する。また、水中の魚を探知する魚群探知にも関する。
【０００２】
【従来の技術】
本発明に関する文献として以下のものがある。
【０００３】
（１）文献１：海洋音響学会 海洋音響学会誌 第25巻第１号(通巻89号) P25〜P29、本文献は、アクティブソナーに関するものである。
【０００４】
（２）特開平７−１８１２５５ 真野邦彦 中村文夫：船舶衝突座礁予防システム上記（１）は、アクティブソナーとして、一般的に知られている方法で、探信波を探索方向に発射し、反射波を測定することにより、障害物までの距離を計測するものである。これにより時系列的に探知画像が得られる。
【０００５】
上記（２）は、大型輸送船に搭載された無人ヘリをヘリコントローラにより遠隔制御によって飛行させ、この無人ヘリからのレーザ光の反射光に基づいた水面と水底までの深さと飛行現在位置を船舶上で受信する。この無人ヘリからの深さ及び飛行現在位置を受信してCRTに表示させるようにし、その深さから暗礁であると判断したときは、その暗礁付近に航走体を航走させて、超音波による海底または暗礁の詳細情報を得て、この詳細情報に基づいて、海底形状を３次元表示させるものである。
【０００６】
【発明が解決しようとする課題】
上記従来技術（１）は、暗礁や流木等の船舶の航行に妨げになる障害物を検知するために用いられている。しかし、アクティブソナーによる反射波には、上記障害物の反射波以外にセンサの性能や潮流等によるノイズが含まれている。
【０００７】
上記従来技術（２）は、上記従来技術（１）を用いて撮影した探知画像を基に運用を行なう方法について述べているが、探知画像のノイズ除去方法については述べられていない。
【０００８】
本発明が解決しようとする課題は、正確な物体の位置、特に深さまたは高さ方向、を探知することである。また、時系列的に得られる信号からノイズを除去し、表示されたものから物体とノイズを区別し、物体を抽出することにある。また、特にノイズを除去し、船舶航行の障害物を探知し易くすることで、船舶の航行の安全を図ることにある。
【０００９】
【課題を解決するための手段】
上記課題を解決するため以下の構成とした。
【００１０】
（１）移動方向検出手段
図１は探知画像t=-10から探知画像t=0までを順に積み重ねて表現したものである。平滑化に用いるt=0からt=-10までの時間を平滑化時間１０７と呼び、図１の例では、平滑化時間１０７は11である。平滑化時間１０７は、図１の例のように11とするだけでなく11より短くても良いし、長くしても良い。
【００１１】
船が移動していなければ、探知画像t=0の時の着目点AのG(i,j,0) １０１は、探知画像t=-10の時の同じ着目点DのG(i,j,-10) １０４と同じ信号値となるはずである。しかし、船が移動する場合は、障害物の船からの相対的な位置は変化する。この変化に対応できるように、平滑化時間１０７と船の航行速度より、探知画像t=-10の時の着目点DのG(i,j,-10)より船の移動量を考慮したオフセット１０５を設ける。さらに平滑化時間１０７、潮流、水中の温度や他の要因による誤差が存在し、船の移動量を考慮したオフセットから推定最大移動点B１０２と推定最小移動点C１０３を設け、推定最大移動点B１０２から推定最小移動点C１０３までの範囲をY軸サーチ範囲１０６と呼ぶ。
【００１２】
最大推定移動点１０２、最小推定移動点１０３、船の移動量を考慮したオフセット１０５は、船の速度や、平滑化時間１０７、その他の誤差要因に応じて所定の計算値を用いて範囲指定することができる。
【００１３】
最大推定移動点１０２、最小推定移動点１０３、船の移動量を考慮したオフセット１０５は、船の速度や、平滑化時間１０７、その他の誤差要因に応じて自由に設定できる。
【００１４】
探知画像t=0の時の着目点AのG(i,j,0)１０１と探知画像t=-10のY軸サーチ範囲上の点を結んだ各方向より移動方向を求め、平滑化すべき信号がどの方向に有るかを推定する。
【００１５】
図２は、図１の例をｔ軸−ｙ軸断面に投影したものである。推定最大移動量B１０２から推定最小移動量C１０３のＹ軸サーチ範囲１０６の直線上にある各点を探知画像t=0の時の着目点AのG(i,j,0)１０１を結び各方向を定義したものである。白丸２０１で示した点が画像上の画素のサンプリング点で、黒丸２０２で示した点が画素上になく補間を必要とするサンプリング点である。補間の仕方は各種あり、同探知画像上の左右上下のうち近い２点の平均とする方法や近傍の４点または１６点からキュービックコンボリューションをする方法や前後の探知画像を用い、近傍の６４点から３次元のキュービックコンボリューションをする方法や、最も近い画素点のうち特定の画素の値とする方法などがある。
【００１６】
サンプリングされた各方向毎に平滑化処理を行ない、各方向に平滑化された値の最大値となる方向を移動方向と定義する。
【００１７】
以上の移動方向検出手段で選択された移動方向は、船の移動による被写体の画像の位置ずれを各点毎に推定して求めたものとなる。
【００１８】
（２）非線形平滑化手段
画像の各点毎に（１）移動方向検出手段により求められた所定の移動方向に１次元非線形平滑化を行なう。ここで、平滑化するサンプリング点は、移動方向検出手段で使用したサンプリング点と同一のサンプリング点から選ぶこともできるし、それと異なる点を選び、サンプリング点数を増やすことや減らすこともできる。ただし、（１）移動方向検出手段と同一のサンプリング点、平滑化方法を用いる場合は、（１）移動方向検出手段で算出した移動方向の平滑化値をそのまま用いることができる。
【００１９】
なお、上記の（１）移動方向検出手段および（２）非線形平滑化手段は、共に用いてもよく、それぞれ独立に一方を用いてもよい。
【００２０】
本発明の構成は、以下の通りでもある。
【００２１】
アクティブソナー装置から探知画像を時系列に入力し、時系列に入力された探知画像から複数の探知画像を選択し、選択された探知画像のそれぞれについて、同一物体を示す箇所を対応付け、対応付けられた箇所それぞれが有する表示データの値のうち、前記値の大きさが所定の順位の値を用いて表示を行うことを特徴とする物体表示方法である。
【００２２】
また、この物体表示方法において、前記所定の順位とは、最大値から選択された検知画像の数のうち４分の１番目で値であることを特徴とする物体表示方法である。
【００２３】
さらに、この物体表示方法において、前記４分の１番目が整数でない場合は、４分の１に最も近い２つの順位の値の平均を用いて表示することを特徴とする物体表示方法でもある。
【００２４】
また、本発明は、移動体における障害物を検知する障害物探知装置において、前記移動体の進行方向を監視するアクティブソナー装置より時系列的に得られる探知画像を入力する手段と、入力された探知画像のうち所定の探知画像の所定箇所と障害物として対応する可能性のある箇所の複数のグループを、入力された探知画像を用いて作成する手段と、作成されたそれぞれのグループの表示データの値の和を求める手段と、前記複数のグループのうち、最も表示データの値の和の大きなグループを前記障害物を表わすグループとして選択する手段とを有することを特徴とする障害物探知装置でもある。
【００２５】
また、この障害物探知装置において、選択されたグループの示す障害物は、前記グループそれぞれの箇所が有する表示データの値のうち、前記値の大きさが所定の順位の値を用いて表示を行う表示手段を有することを特徴とする障害物探知装置でもある。
【００２６】
さらに本発明は、以下の構成でもある。
【００２７】
船舶障害物探知に関し、船舶を安全に航行させるシステムにおいて、船舶の前方監視するためのアクティブソナー装置を有し、該アクティブソナー装置より時系列的に得られる探知画像を処理する装置において、各時刻で得られる探知画像を時系列的に並べて２次元画像に新たに時間軸を加えた３次元データを構成し、所定の時刻の上記探知画像に着目し、該着目探知画像から時間的に＋方向及び−方向にそれぞれ所定の時間内に限定した部分３次元データを対象として、該着目探知画像から該部分３次元データで船の移動量を考慮した被写体の該部分３次元データでの移動方向を求めその方向に推定されたデータを参照して平滑化処理することを特徴とする船舶障害物探知方法である。
【００２８】
また、この船舶障害物探知方法において、上記時間軸−方向に限定して平滑化することを特徴とする船舶障害物探知方法である。
【００２９】
また、この船舶障害物探知方法において、上記該着目探知画像から該部分３次元データで船の移動量を考慮した被写体の該部分３次元データでの移動方向を求める処理として、上記着目画像の各点毎に時間軸を含む所定の方向毎に平滑化処理を行ない、所定の方向の平滑化された値のうち最大値となる方向の１次元データを選択し、該１次元データを平滑化することを特徴とする船舶障害物探知方法でもある。
【００３０】
またさらに、この船舶障害物探知方法において、平滑化方法として、上記選択された１次元データを小さい順に並べた時、データ数の3/4地点またはその周辺のデータ値を出力することを特徴とする船舶障害物探知方法でもある。
【００３１】
さらに、この船舶障害物探知方法において、上記船の移動量から求めた移動距離と上記３次元データでの移動方向から被写体までの距離変化を求め、該船の移動距離と該被写体までの距離変化より船から被写体までの水平距離と被写体の深度を測定することを特徴とする船舶障害物探知方法でもある。
【００３２】
【発明の実施の形態】
以下に示す各実施例は、船舶障害物探知方法の発明であり、具体的には下記の方法を実施するプログラムまたはハードを作成することにより実現できる。ある時刻Tにアクティブソナーを発射することによって得られる反射波の信号を画像化したものを探知画像t=Tと呼び、画像上のｘ軸は、反射波信号の方向を表し、ｙ軸は船からの距離を表している。探知画像t=T上にある任意の点（i,j）の信号の振幅PをP= G(i,j,T)と表現する。
【００３３】
図３に示すように各時刻における船は、アクティブソナーを発射することにより時刻t=-10の時の船３０２は時刻t=-10の時の観測領域３０５の反射波の信号を得ることができ、時刻t=0の時の船３０１は時刻t=0の時の観測領域３０４の反射波の信号を得ることができる。船の航路上には、船が座礁する岩３０３があり、時刻t=-10から時刻t=0までの反射波の信号を用いて座礁する岩３０３を検出する。
【００３４】
図４は、ある時刻Tに障害物の反射波を測定した時の船の観測領域をモデル化したものである。船４０７はビームフォーミングすることにより観測領域４００の反射波を観測することができる。方向A４０１にビームフォーミングした測定領域４０４は、方向A４０１にビームフォーミングして測定された信号４１１として得ることができる。また、方向B４０２にビームフォーミングした測定領域４０５は、方向B４０２にビームフォーミングして測定された信号４１２として得ることができる。同様に方向C４０３にビームフォーミングした測定領域４０６は、方向C４０３にビームフォーミングして測定された信号４１３して得ることができる。２次元配列４１０は、方向Aから方向Cまでの各方向の信号を並べて配列化したものである。この２次元配列４０１を適当な値で濃度変換することにより探知画像が得られる。
【００３５】
図５は、時刻t=-10から時刻t=0までに得られた探知画像である。時刻t=0の時の探知画像５０１上には、時刻t=0の時に測定された座礁する岩５０２がある。それぞれに探知画像には、時刻t=-1の時に測定された座礁する岩５０３、時刻t=-2の時に測定された座礁する岩５０４、時刻t=-10の時に測定された座礁する岩５０５が測定されている。これらの時刻t=-10から時刻t=0までの探知画像から、ノイズを除去し、船舶航行の障害物となる座礁する岩等を探知する。
【００３６】
本発明の概要を以下に示す。
探知画像には、突発的に大きな信号となるバーストノイズが含まれることがあり、また障害物の反射波が小さくなり認識できない場合がある。探知画像が例えば１秒おきに取得できる場合、１０秒間に１０枚の探知画像を得ることができる。この１０枚の画像から障害物の反射波を安定に取得する処理を行なう。得られた１０枚の探知画像中に岩などの障害物がある場合、船が移動すると障害物も移動するように見える（図５）。船の移動により探知画像の映る位置も移動するが、海表面に岩などの障害物がある場合と、海中のある深さの岩などの障害物がある場合では、探知画像上で、映る場所が変化する移動距離が異なる。そこで、１０枚の画像からそれぞれの探知画像に映っている画素毎に深さに応じた移動方向を推定する。そのために、深さ０からソナーで観測する最大深度までの移動方向について、それぞれ図２のように深さに応じた移動方向を定義し、各移動方向の線上のデータ値から物体が安定して映っているかを判定する。
【００３７】
各移動方向の１０個のデータは、バーストノイズを含んでいたり、反射波の信号が小さくなっているものなどを含んでいる。そこで１０個のデータを平滑化する。例えば、１０個データを昇順に並べると１番大きい値や２番目に大きい値は、バーストノイズの可能性あり、１番小さい値や、２番目に小さい値は、不明瞭に映ったデータの可能性がある。そこでなるべく強く映っていて、バーストノイズを取らないような値としてデータの昇順で並べた時のデータ数×3/4番目のデータ値を求める。各移動方向にデータの昇順で並べた時のデータ数×3/4番目のデータ値を求め、各移動方向のうち最大値をとる移動方向を実際に反射物があると思われる移動方向と推定する。その推定した移動方向のデータ数×3/4番目のデータ値を出力値とする。この処理を探知画像の各点に行なうことによりバーストノイズなどのノイズを除去し、安定した探知画像を得ることができる。
【００３８】
本発明の第１の実施例を（１）節、第２の実施例を（２）節、第３の実施例を（３）節、第４の実施例を（４）節で説明する。
【００３９】
（１）課題を解決する本発明第１の実施例
図６は本発明の課題を解決する方法の処理手順を示した図であり、図６の番号をステップ番号として以下に説明する。
【００４０】
ステップ６０１：データ入力処理
時刻t=-10から時刻t=0までの探知画像を入力する。
【００４１】
ステップ６０２：移動方向検出処理
各移動方向においてサンプリングされた１次元データを平滑化し、各移動方向の平滑化された値のうち最大値をとる方向を移動方向とする。
【００４２】
各移動方向の移動量の計算の仕方は各種あり具体例を以下のa)〜g）に示す。
【００４３】
a)3/4メディアン法
各移動方向の所定のサンプリング点についての3/4メディアン値（数１）である。
【００４４】
【数１】
S(i,j,f,d)=median3_4(I(i,j,f,d,m))…（数１）
ただし、i,jは画像の着目点の位置、fは探知画像t=f、dはY軸サーチ範囲１０６の各点から探知画像t=fの着目点G(i,j,f)を結んだ各方向、mは着目点G(i,j,f)を基点として各方向にサンプリングされた点を順序づけた順番でｍ＝０の時は探知画像t=0の着目点、ｍ≧１の時は探知画像t=0より後に取得された探知画像t=m上の点、ｍ≦−１の時はt=0より前に取得された探知画像t=-m上の点を示し、I(i,j,f,d,m)は着目点G(i,j,f)からｄ方向にｍサンプリング点進んだ点の数値を表し、 median3_4(i,j,f,d,m)は、d方向のm個のサンプリング点から昇順で(n-1)*3/4番目の値を返す関数であり、(n-1)*3/4番目の配列がない場合は、最も近い値をとったり、近い配列要素の２つの平均をとったり、近い配列要素の加重平均をとり3/4メディアン値とする。Sは、着目点(i,j,f)における方向dにおける変化量である。以上の（数１）の他にも変化量を算出する定義は各種あり下記b)からf)に例を示す。
【００４５】
b)平均法
【００４６】
【数２】
S(i,j,f,d)=total/m…（数２）
【００４７】
【数３】
total=Σ (Ｉ(i,j,f,d,m))…（数３）
上記移動方向の所定のサンプリング点について加算平均した値を平滑化の値（数２）とする方法である。
【００４８】
ただし、各記号は（数１）と同様であり、totalは上記各移動方向の所定のサンプリング点について加算したもの、Hはtotalをサンプリング数で平均したもの、Σはmについて所定の点数全ての和を示したものである。なお、Σは所定の点数全てでなくともよい。例えば、最高点を除いたものの和でもよい。
【００４９】
c)メディアン法
【００５０】
【数４】
S(i,j,f,d)=median(i,j,f,d,m)…（数４）
上記移動方向の所定のサンプリング点についてのメディアン値を平滑化の値（数４）とする方法である。メディアン値は、サンプリング点数の値を昇順または降順に並べた時、その順列の中間値をとるものである。奇数の場合は中央の値、偶数の場合は、中央の２つ内どちらか一方、または２つの値の平均をとる。ただし、各記号は（数１）と同様であり、median(i,j,f,d,m)は、d方向のm個のサンプリング点からメディアン値を返す関数である。
【００５１】
d)平均値−原画の加重平均法
【００５２】
【数５】
S(i,j,f,d)=ａ*Ｈ１+ (1-ａ)*Ｇ(i,j,f)…（数５）
【００５３】
【数６】
ａ=ρ0**2／(ρ1**2＋(αDρ)**2)…（数６）
平均値と原画の値の間になるようにしたものを平滑化の値（数５）とする方法である。ただし、各記号は（数１）と同様であり、Ｈ１は上記移動方向の所定のサンプリング点について加算平均した値で、ρ1は上記移動方向の所定のサンプリング点について偏差を求めた値であり、ρは画像からノイズの程度を決める値で、例えば探知画像t=0からt=-10までの最大値より５％以下の点の平均値であり、αは平滑化の程度を決める所定の定数である。
【００５４】
e)メディアン値−原画の加重平均法
【００５５】
【数７】
S(i,j,f,d)=ａ*M１ + (1-ａ)*Ｇ(i,j,f)…（数７）
メディアン値と原画の値の間になるようにしたものを平滑化の値（数７）とする方法である。ただし、各記号は（数１）と同様であり、 M１は上記移動方向の所定のサンプリング点についてのメディアン値である。
【００５６】
f)輝度の差に応じたウェイト付け法
【００５７】
【数８】
S(i,j,f,d)= Σ (Ｗ(i,j,f,d,m)*Ｉ(i,j,f,d,m))…（数８）
【００５８】
【数９】
Ｗ(i,j,f,d,m) = ｗ(i,j,f,d,m)／wt…（数９）
【００５９】
【数１０】
ｍ≧１の時、ｗ(i,j,f,d,m) = ｗ(i,j,f,d,m-1)／（１+((I(i,j,f,d,m)-Ｇ(i,j,f))/(αDρ))**k）…（数１０）
【００６０】
【数１１】
ｍ＝０の時、ｗ(i,j,f,d,0) = １…（数１１）
【００６１】
【数１２】
ｍ≦−１の時、ｗ(i,j,f,d,m) = ｗ(i,j,f,d,m +1)／（１+((I(i,j,f,d,m)-Ｇ(i,j,f))/(αDρ))**k）…（数１２）
ただし、各記号は（数１）、（数２）、（数６）と同様であり、Ｗ(i,j,f,d,m) は、平滑化でI(i,j,f,d,m)を加算する際のウェイトを示し、ｗ(i,j,f,d,m)とwtはウェイトWを計算する際の途中の項でｋは所定の定数で、**kはｋ乗を意味する。
【００６２】
また（数８）から（数１２）の他にも各種方法があり、例えば（数１０）を（数１３）に変え、（数１２）を（数１４）に変えて実行することもできる。
【００６３】
【数１３】
ｍ≧１の時、ｗ(i,j,f,d,m) = ｗ(i,j,q,m-1)／（１+exp((Ｉ(i,j,f,d,m)-Ｇ(i,j,f))/(αDρ))）…（数１３）
【００６４】
【数１４】
ｍ≦−１の時、ｗ(i,j,f,d,m) = ｗ(i,j,q,m+1)／（１+exp((Ｉ(i,j,f,d,m)-Ｇ(i,j,f))/(αDρ))）…（数１４）
g)最小変化法
また、上記の平滑化方法を用いずに以下の（数１５）から（数１６）を用いて方向を検出することもできる。この場合は、最小値をとる方向を移動方向と定義する。
【００６５】
【数１５】
各方向のうち、最小値となる方向を移動方向と定義する。ただし、各記号は（数１）、（数２）と同様であり、abs()は、()内の値の絶対値をとる関数である。
【００６７】
【数１６】
ただし、各記号は（数１）、（数２）と同様である。
【００６９】
各方向のうち、最小値となる方向を移動方向と定義する。
以上移動方向検出の方法の具体例をa)〜g)まで示した。これらの方法のどれを用いることもできるし、その他の方法を用いることもできる。また、これらの方法を複数使い、
以上の操作を各点について行うが、画像の端の点は、同様の所定のサンプリング点を取れないため、特殊処理を行う必要がある。特殊処理として、画像の両端がつながっているとして中心部と同様の所定のサンプリング点を取る方法や、端の点は処理をせずに原画や０を出力する方法、端のサンプリング点を少なくして処理する方法、原画のまま出力する方法など、端の部分の特殊処理方法は各種ある。
【００７０】
ステップ６０３：非線形平滑化処理
ステップ６０２により求められた方向に非線形平滑化処理を行なう。ただし、ステップ６０２と同じサンプリング点と平滑化方法を用いる場合には、ステップ６０２で得られた平滑化値をそのまま用いることができる。非線形平滑化処理の方法は各種ありステップ６０２の平滑化方法と同一である。
【００７１】
ステップ６０４：データ出力処理
平滑化して得られた探知画像を出力する。
【００７２】
以上により、着目した探知画像から時間的に−方向に船の移動量を考慮した被写体の移動方向を求めその方向に推定されたデータを参照して平滑化処理することができるようになる。
【００７３】
（２） 課題を解決する本発明第２の実施例
第２の実施例は、障害物が移動している場合に有効な例を説明する。
流木などの障害物が潮流に流され移動している場合がある。この場合は、同一の方向に信号が検出されず、時系列的に障害物の方向は変化する。この移動する障害物に対応するため図７に示すように障害物がどの方向を推移したかを推定するためX軸サーチ範囲７０１を設ける。X軸サーチ範囲は、潮流や検出する障害物などにより常識的な範囲があり自由に設定できる。この場合、探知画像t=0の時の着目点G(i,j,0)がX軸サーチ範囲７０１とY軸サーチ範囲１０６に囲まれた矩形内の点を結んだ各方向より移動方向を求め、平滑化すべき信号がどの方向に有るかを推定することになる。
【００７４】
図８は、図７を拡大したものである。X軸サーチ範囲７０１とY軸サーチ範囲１０６に囲まれた矩形内の各点と探知画像t=0の時の着目点AのG(i,j,0)を結んだ方向を定義する。白丸８０１で示した点が画像上の画素のサンプリング点で、黒丸８０２で示した点が画素上になく補間を必要とするサンプリング点である。補間方法は上記移動方向検出手段で述べたように各種ある。それぞれの方向にサンプリングされた点を用いて移動方向を検出し、最小となる方向に１次元非線形平滑化処理を行ない平滑化する。
【００７５】
また、時刻t=0より過去のデータを参照し平滑化する方法だけでなく、図９に示すように図１の探知画像t=0より後に取得される探知画像t=1からt=10を用い、前後の時刻の探知画像を用い平滑化することも可能である。任探知画像t=0の着目点AのG(i,j,0)１０１とした時、時間軸−方向はいままでと同様の構成を持ち、時間軸＋方向に時間軸＋方向の平滑化時間９０３、時間軸＋方向の船の移動量を考慮したオフセット９０１、時間軸＋方向のY軸サーチ範囲９０２を設ける。時間軸＋方向の平滑化時間は、例のように11とするだけでなく自由に設定できる。また、時間軸＋方向の船の移動量を考慮したオフセット、時間軸＋方向のＹ軸サーチ範囲も同様に自由に設定できる。探知画像t=0の着目点AのG(i,j,0)に対し時間軸＋方向、時間軸−方向に移動方向を検出し、求められたそれぞれの移動方向から１次元データを選択し１次元の非線形平滑化処理を行なうこともできる。これにより着目した探知画像から時間的に＋方向及び−方向に船の移動量を考慮した被写体の移動方向を求めその方向に推定されたデータを参照して平滑化処理することができるようになる。
【００７６】
図１０は本発明の課題を解決する方法の処理手順を示した図であり、第１の実施例と異なるステップのみ図１０の番号をステップ番号として以下に説明する。
【００７７】
ステップ１００１：データ圧縮処理１
入力された探知画像tに対し、S/N比を向上するためにY軸方向にデータを1/pに圧縮する（数１７）に従った処理を行なう。
【００７８】
【数１７】
G'(i,j,t)=press(i,j*p,t)…（数１７）
ただし、G'(i,j,t)は1/pに圧縮した出力値であり、pressはG(i,q,t)からG(i,q,t)までの最大値をとる関数であり、qはj*pからj*p+p-1までの値をとる。pは正の整数値である。以上の操作を出力画像G'(i,j,t)の各点について元画像より圧縮した値を求めるが、画像の端の点は、同様の所定のサンプリング点を取れないため、特殊処理を行う必要がある。画像の端の部分の特殊処理については、以下のステップ１００２のデータボケ化処理を行う。
【００７９】
ステップ１００２：データボケ化処理
探知画像tに対し、信号検出を容易にするために着目点G(i,j,t)とY軸方向の前後の点G(i,j-n,t)からG(i,j+n,t)の内、最大値を選択する（数１８）の処理を行なう。
【００８０】
【数１８】
G'(i,j,t)=max(i,j,t,n)…（数１８）
ただし、G'(i,j,t)はデータボケ化処理後の値であり、maxはG(i,j,t)を中心にしてY軸方向に前後n点の内最大値を返す関数である。以上の操作を各点について行うが、画像のY軸方向の端の点は、同様の所定のサンプリング点を取れないため、特殊処理を行う必要がある。
【００８１】
ステップ１００３：データ圧縮処理２
平滑化後の探知画像に対し、S/N比を向上するためにY軸方向にデータを圧縮する処理をデータ圧縮処理１と同様に行なう。
【００８２】
ステップ１００４：濃度調節処理
平滑化後の探知画像に対し、濃度を調節し障害物の信号をより検出し易くする（数１９）の処理を行なう。
【００８３】
【数１９】
G'(i,j,t)=G(i,j,t)/ave(i,j,t,n);…（数１９）
ただし、 G'(i,j,t)は濃度変換処理後の値であり、aveはG(i,j,t)を中心にしてY軸方向に前後n点の平均を返す関数である。
【００８４】
以上の操作を各点について行うが、画像のY軸方向の端の点は、同様の所定のサンプリング点を取れないため、特殊処理を行う必要がある。
【００８５】
（３） 課題を解決する本発明第３の実施例
探知画像のエッジ画像を用いて移動方向の検出を行ない、この検出された移動方向を用いて探知画像tの平滑化を行なう。図１１は本発明の課題を解決する方法の処理手順を示した図であり、第２の実施例と異なるステップのみ図１１の番号をステップ番号として以下に説明する。
【００８６】
ステップ１１０１：エッジ処理
探知画像tに対しエッジ画像を作成する。エッジ画像については上述の文献２に記載されている。
【００８７】
ステップ１１０２：移動方向検出処理
ステップ１１０１で作成された探知画像tのエッジ画像を用いて移動方向を検出する。移動方向の検出処理は、実施例１のステップ６０２と同様である。
【００８８】
ステップ１１０３：非線形平滑化処理
ステップ１１０２で求められた各点の移動方向に平滑化処理を行なう。非線形平滑化処理方法は実施例１のステップ６０３と同様である。
【００８９】
（４） 課題を解決する本発明第４の実施例
船の移動距離と移動方向検出手段により検出された障害物の移動方向より障害物の深度を測定することができる。図１２は、船の移動方向と障害物の移動方向が一致する場合の模擬図である。時刻t=0の時の障害物までの距離と深度および他のパラメータとの相関関係を表した。この場合の船の障害物までの水平距離yと障害物の深度dの求め方を以下に示す。
【００９０】
時刻t=0における船の位置１２０１、時刻t=-10における船の位置１２０２とした時、時刻t=-10から時刻t=0までに移動する船の距離１２０５をl、時刻t=0における障害物までの距離１２０３を 、時刻t=-10における障害物までの距離１２０４を とすると、時系列に重ねた探知画像の時間軸−距離断面図においては、移動方向検出手段により検出された方向が方向１２０８の時、時刻t=-10から時刻t=0までに移動する船の距離１２０５は、１０５にあたり、時刻t=0における障害物までの距離１２０３は１２０９にあたり、時刻t=-10における障害物までの距離１２０４は、１２１０にそれぞれあたる。
【００９１】
時刻t=0の時の障害物までの水平距離１２０６をy、障害物の深度１２０７をdとすると以下の（数２０）、（数２１）を用いて求めることができる。
【００９２】
【数２０】
【数２１】
なお、上記の実施例では、船舶について述べているが、航空機、潜水艦などの他のものでも適用可能である。また、ノイズ除去に関しては、アクティブソナーで検出されたもののみでなく、画像処理における表示全般について適用可能である。
【００９５】
【発明の効果】
本発明によれば、時系列的に得られる探知画像からノイズを除去し、船舶航行の障害物を探知し船舶の航行が安全になるという効果がある。
【図面の簡単な説明】
【図１】本発明による時系列に重ねた探知画像を最小変化方向に１次元非線形平滑化する処理の概念図である。
【図２】図１の時系列に重ねた探知画像の時間軸−距離断面図を示す図である。
【図３】船からのアクティブソナー観測領域を示す図である。
【図４】船からのビームフォーミング測定領域と測定信号を示す図である。
【図５】時系列に並べた探知画像を示す図である。
【図６】本発明第１の実施例の手順を示す図である。
【図７】障害物の移動を考慮して最小変化方向に１次元非線形平滑化する処理の概念図である。
【図８】図７を拡大した図である。
【図９】時間軸＋方向及び−方向に最小変化方向に１次元非線形平滑化する処理の概念図である。
【図１０】本発明第２の実施例の手順を示す図である。
【図１１】本発明第３の実施例の手順を示す図である。
【図１２】船の移動方向と障害物の移動方向が一致する場合の模擬図である。
【符号の説明】
１０１：探知画像t=0の時の着目点G(i,j,0)、１０２：推定最大移動点、１０３：推定最小移動点、１０４：探知画像t=-10の時の着目点(i,j,-10)、１０５：船の移動量を考慮したオフセット、１０６：ｙ軸サーチ範囲、１０７：平滑化時間、２０１：画素上のサンプリング点、２０２：補間を要すサンプリング点、３０１：t=0の時の船、３０２：t=-10の時の船、３０３：船が座礁する岩、３０４：t=0の時の観測域、３０５：t=-10の時の観測域、４０１：方向A、４０２：方向B、４０３：方向C、４０４：方向Aにビームフォーミングした測定領域、４０５：方向Bにビームフォーミングした測定領域、４０６：方向Cにビームフォーミングした測定領域、４１０：船の観測域、４１１：方向Aにビームフォーミングして測定された信号、４１２：方向Bにビームフォーミングして測定された信号、４１３：方向Cにビームフォーミングして測定された信号、５０１：t=0の時の方向Aから方向Cまでの各方向の信号を濃度変換して得られた探知画像、５０２：t=0の時に測定された障害物、５０３：t=-1の時に測定された障害物、５０４：t=-2の時に測定された障害物、５０５：t=-10の時に測定された障害物、６０１：データ入力処理、６０２：移動方向検出処理、６０３：非線形平滑化処理、６０４：データ出力処理、７０１：ｘ軸サーチ範囲、８０１：画素上のサンプリング点、８０２：補間を要すサンプリング点、９０１：時間ｔ軸＋方向の船の移動量を考慮したオフセット、９０２：時間ｔ軸＋方向のｙ軸サーチ範囲、９０３：時間ｔ軸＋方向の平滑化時間、１００１：データ圧縮処理１、１００２：データボケ化処理、１００３：データ圧縮処理２、１００４：濃度調節処理、１１０１：エッジ処理、１２０１：時刻t=0における船、１２０２：時刻t=-10における船、１２０３：時刻t=0における障害物までの距離、１２０４：時刻t=-10における障害物までの距離、１２０５：時刻t=-10から時刻t=0までに移動する船の距離、１２０６：時刻t=0の時の障害物までの水平距離、１２０７：障害物の深度、１２０８：移動方向検出手段により検出された方向、１２０９：探知画像の時間軸−距離断面図における時刻t=0における障害物までの距離、１２１０：探知画像の時間軸−距離断面図における時刻t=-10における障害物までの距離。
Claims (4)
- アクティブソナー装置から探知画像を時系列に入力し、
時系列に入力された探知画像から複数の探知画像を選択し、
選択されたそれぞれの探知画像について、移動体が同一物体と推定し得る所定の最大推定移動点と最小推定移動点との間をサンプリングし、着目点とサンプリングによって得たサンプリング点とを結んだ方向毎に平滑化を行い、平滑化された値の中から最大値を取る方向を前記移動体の移動方向とし、
前記最大値を前記それぞれの探知画像の値として表示することを特徴とする物体表示方法。 - 請求項１に記載の物体表示方法において、
前記方向毎に平滑化を行う場合に、方向毎の平滑化の対象とされるデータを昇順に並べた時の（データ数×３／４）番目のデータ値から前記平滑化された値を得ることを特徴とする物体表示方法。 - アクティブソナー装置から探知画像を時系列に入力する手段と、
時系列に入力された探知画像から複数の探知画像を選択する手段と、
選択されたそれぞれの探知画像について、移動体が同一物体と推定し得る所定の最大推定移動点と最小推定移動点との間をサンプリングし、着目点とサンプリングによって得たサンプリング点とを結んだ方向毎に平滑化を行い、平滑化された値の中から最大値を取る方向を前記移動体の移動方向とする手段と、
前記最大値を前記それぞれの探知画像の値として表示する手段とを備えたことを特徴とする物体表示装置。 - 請求項３に記載の物体表示装置において、
前記移動体の移動方向とする手段は、前記方向毎に平滑化を行う場合に、方向毎の平滑化の対象とされるデータを昇順に並べた時の（データ数×３／４）番目のデータ値から前記平滑化された値を得ることを特徴とする物体表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25672599A JP3750436B2 (ja) | 1999-09-10 | 1999-09-10 | 物体表示方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25672599A JP3750436B2 (ja) | 1999-09-10 | 1999-09-10 | 物体表示方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001083236A JP2001083236A (ja) | 2001-03-30 |
| JP3750436B2 true JP3750436B2 (ja) | 2006-03-01 |
Family
ID=17296593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25672599A Expired - Lifetime JP3750436B2 (ja) | 1999-09-10 | 1999-09-10 | 物体表示方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3750436B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5805922B2 (ja) * | 2009-03-26 | 2015-11-10 | 株式会社日本総合研究所 | 方向検出装置 |
| JP6205722B2 (ja) * | 2013-01-07 | 2017-10-04 | 日本電気株式会社 | ソーナー画像処理装置、ソーナー画像処理方法、ソーナー画像処理プログラムおよび記録媒体 |
| JP6008125B2 (ja) * | 2013-02-22 | 2016-10-19 | 三菱電機株式会社 | ノイズ低減装置及びノイズ低減方法 |
| KR101696086B1 (ko) * | 2015-08-11 | 2017-01-13 | 포항공과대학교 산학협력단 | 소나 이미지 내의 물체 부분 추출 방법 및 장치 |
-
1999
- 1999-09-10 JP JP25672599A patent/JP3750436B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001083236A (ja) | 2001-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11435427B2 (en) | Marine electronic device for presentment of nautical charts and sonar images | |
| CA2814839C (en) | Detecting structural changes to underwater structures | |
| KR102535115B1 (ko) | 선박 및 항만 모니터링 장치 및 방법 | |
| JP2013545096A (ja) | 水中構造物に対する水中航走体の位置および向きの推定 | |
| JP2020003379A (ja) | データ生成装置、画像識別装置、データ生成方法及びプログラム | |
| KR102520844B1 (ko) | 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치 | |
| Ji et al. | Acoustic camera-based 3D measurement of underwater objects through automated extraction and association of feature points | |
| Sung et al. | Image-based super resolution of underwater sonar images using generative adversarial network | |
| CN112884635A (zh) | 基于rov搭载双频前视声呐的海底环境可视化方法及装置 | |
| CN118096875A (zh) | 一种多声呐的障碍检测方法、系统、电子设备及存储介质 | |
| JP3750436B2 (ja) | 物体表示方法及び装置 | |
| JP3446888B2 (ja) | 波浪計測システム | |
| US12243262B2 (en) | Apparatus and method for estimating distance and non-transitory computer-readable medium containing computer program for estimating distance | |
| Neto et al. | Autonomous underwater vehicle to inspect hydroelectric dams | |
| CN112882037B (zh) | 侧扫声呐海底线检测方法及装置 | |
| KR102276943B1 (ko) | 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇 | |
| JP4513455B2 (ja) | ３次元海底地形図表示装置及び方法 | |
| RU2716311C1 (ru) | Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети | |
| KR101780558B1 (ko) | 측면주사소나 데이터 처리장치 및 그 방법 | |
| Xu et al. | Evaluation of a canonical image representation for sidescan sonar | |
| JP5847652B2 (ja) | 藻場分布測定方法、藻場分布測定装置、藻場分布測定用プログラム | |
| CN119359924A (zh) | 一种基于视觉和声呐信息融合的港池三维重建方法 | |
| JP3267383B2 (ja) | 画像処理方法および画像プロセッサ | |
| WO2023176653A1 (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
| Sahalan et al. | Tilt compensated mechanical measurement mechanism for very shallow water USV bathymetry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051014 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051128 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3750436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081216 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121216 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131216 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |