Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3677833B2 - ナビゲーション装置,ナビゲート方法及び自動車 - Google Patents
[go: Go Back, main page]

JP3677833B2 - ナビゲーション装置,ナビゲート方法及び自動車 - Google Patents

ナビゲーション装置,ナビゲート方法及び自動車 Download PDF

Info

Publication number
JP3677833B2
JP3677833B2 JP26754795A JP26754795A JP3677833B2 JP 3677833 B2 JP3677833 B2 JP 3677833B2 JP 26754795 A JP26754795 A JP 26754795A JP 26754795 A JP26754795 A JP 26754795A JP 3677833 B2 JP3677833 B2 JP 3677833B2
Authority
JP
Japan
Prior art keywords
data
display
place name
displayed
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP26754795A
Other languages
English (en)
Other versions
JPH09114491A (ja
Inventor
和夫 石井
英二 山本
幸 田中
弘史 角田
康治 浅野
浩明 小川
雅則 表
活樹 南野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP26754795A priority Critical patent/JP3677833B2/ja
Publication of JPH09114491A publication Critical patent/JPH09114491A/ja
Application granted granted Critical
Publication of JP3677833B2 publication Critical patent/JP3677833B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えば自動車に搭載させて道路地図などを表示させるナビゲーション装置及びナビゲート方法、並びにこれらの装置が搭載された自動車に関する。
【0002】
【従来の技術】
従来、自動車などに搭載させるナビゲーション装置が各種開発されている。このナビゲーション装置は、例えば道路地図データが記憶されたCD−ROMなどの大容量データ記憶手段と、現在位置の検出手段と、検出した現在位置の近傍の道路地図を、データ記憶手段から読出したデータに基づいて表示させるディスプレイ装置とで構成される。この場合、現在位置の検出手段としては、GPS(Global Positioning System )と称される測位用の人工衛星を使用した測位システムを使用したものや、車両の走行方向,走行速度などの情報に基づいて出発地点から現在位置の変化を追跡する自律航法によるものなどがある。
【0003】
また、ディスプレイ装置に表示される地図としては、キー操作などを行うことで、現在位置の近傍だけでなく、地図データが用意されている限りは、所望の位置の地図を表示させることができるようにしてある。
【0004】
このようなナビゲーション装置の場合には、例えば自動車用の場合、運転席の近傍にディスプレイ装置を設置して、運転者が走行中や信号停止などの一時停止中に現在位置の近傍の地図を見れるようにするのが一般的である。
【0005】
【発明が解決しようとする課題】
ところで、このようなナビゲーション装置は、自動車の運転などを邪魔しないで操作できるようにする必要があり、例えば走行中は複雑な操作を禁止するようにしてある。即ち、このようなナビゲーション装置を車両に設置する場合には、何らかの走行状態検出部(例えば自動車のパーキングブレーキスイッチ)と接続して、この検出部の状態により車両が停止していることが検出されるときだけ、全ての操作ができるように設定し、停止してない状態(即ち走行中)には、複雑なキー操作を禁止するように設定してある。
【0006】
ところが、このように走行中に表示地図を切換える等の操作ができないのは不便であり、走行中であっても、運転を邪魔することなく、高度な操作ができるようにすることが要請されている。
【0007】
本発明はかかる点に鑑み、自動車の運転などを邪魔することなく、ナビゲーション装置などの各種装置の高度な操作が簡単にできるようにすることを目的とする。
【0008】
【課題を解決するための手段】
本発明のナビゲーション装置は、音声処理部で認識した認識対象語の候補を表示する映像信号を作成する映像信号作成手段と、この映像信号作成手段で認識対象語の候補の映像信号を作成させる際に、その候補となる認識対象語の区分が、地名を指示する言葉と、指令を行う言葉とで区分し、この区分毎に、異なる表示態様で表示させる映像信号とする表示制御手段とを備えたものである。
【0013】
本発明のナビゲーション装置によると、認識対象語の候補の表示状態が、候補の対象語の区分毎に異なる表示態様になるので、同じ区分毎の候補が判り易くなり、見やすい表示状態となる。
【0014】
また本発明のナビゲート方法は、音声認識した認識対象語の候補を表示させる場合に、その候補となる認識対象語の区分が、地名を指示する言葉と、指令を行う言葉とで区分し、この区分毎に、異なる表示態様で表示させるようにしたものである。
【0015】
本発明のナビゲート方法によると、認識対象語の候補の表示状態が、候補の対象語の区分毎に異なる表示態様になるので、同じ区分毎の候補が判り易くなり、見やすい表示状態となる。
【0016】
また本発明の自動車は、車内の所定位置に配された表示手段に、入力した音声の認識に基づいて地図を表示させる装置を備えた自動車において、音声処理部で認識した認識対象語の候補を表示する映像信号を作成して表示手段に供給する映像信号作成手段と、この映像信号作成手段で認識対象語の候補の映像信号を作成させる際に、その候補となる認識対象語の区分が、地名を指示する言葉と、指令を行う言葉とで区分し、この区分毎に、異なる表示態様で表示させる映像信号とする表示制御手段とを備えたものである。
【0017】
本発明の自動車によると、認識対象語の候補の表示状態が、候補の対象語の区分毎に異なる表示態様になるので、同じ区分毎の候補が判り易くなり、見やすい表示状態となる。
【0018】
【発明の実施の形態】
以下、本発明の一実施例を、添付図面を参照して説明する。
【0019】
本例においては、自動車に搭載されるナビゲーション装置に適用したもので、まず図2,図3を参照して本例の装置の自動車への設置状態を説明する。図2に示すように、自動車50は、ハンドル51が運転席52の前方に取付けられ、基本的には、運転席52に着席した運転者がナビゲーション装置の操作を行うようにしたものである。但し、この自動車50内の他の同乗者が操作する場合もある。そして、ナビゲーション装置の本体20及びこのナビゲーション装置本体20に接続された音声認識装置10は、自動車50内の任意の空間(例えば後部のトランク内)に設置され、後述する測位信号受信用アンテナ21が車体の外側(或いはリアウィンドウの内側などの車内)に取付けてある。
【0020】
そして、図3に運転席の近傍を示すように、ハンドル51の脇には、後述するトークスイッチ18やナビゲーション装置の操作キー27が配置され、これらのスイッチやキーは、運転中に操作されても支障がないように配置してある。また、ナビゲーション装置に接続されたディスプレイ装置40が、運転者の前方の視界を妨げない位置に配置してある。また、ナビゲーション装置20内で音声合成された音声信号を出力させるスピーカ32が、運転者に出力音声が届く位置(例えばディスプレイ装置40の脇など)に取付けてある。
【0021】
また、本例のナビゲーション装置は音声入力ができるようにしてあり、そのためのマイクロフォン11が、運転席52の前方のフロントガラス上部に配されたサンバイバイザ53に取付けてあり、運転席52に着席した運転者の話し声を拾うようにしてある。
【0022】
また、本例のナビゲーション装置本体20は、この自動車のエンジン制御用コンピュータ54と接続してあり、エンジン制御用コンピュータ54から車速に比例したパルス信号が供給されるようにしてある。
【0023】
次に、本例のナビゲーション装置の内部の構成について図1を参照して説明すると、本例においては、音声認識装置10をナビゲーション装置20と接続して構成させたもので、音声認識装置10は、マイクロフォン11が接続してある。このマイクロフォン11としては、例えば指向性が比較的狭く設定されて、自動車の運転席に着席した者の話し声だけを良好に拾うようなものを使用し、例えば後述するトークスイッチ18が押されてオン状態となっている間だけ電源が投入されて音声を拾う動作を行うようにしてある。
【0024】
そして、このマイクロフォン11が拾って得た音声信号を、アナログ/デジタル変換器12に供給し、所定のサンプリング周波数のデジタル音声信号に変換する。そして、このアナログ/デジタル変換器12が出力するデジタル音声信号を、DSP(デジタル・シグナル・プロセッサ)と称される集積回路構成のデジタル音声処理回路13に供給する。このデジタル音声処理回路13では、帯域分割,フィルタリングなどの処理で、デジタル音声信号をベクトルデータとし、このベクトルデータを音声認識回路14に供給する。
【0025】
この音声認識回路14には音声認識データ記憶用ROM15が接続され、デジタル音声処理回路13から供給されるベクトルデータとの所定の音声認識アルゴリズム(例えばHMM:隠れマルコフモデル)に従った認識動作を行い、ROM15に記憶された音声認識用音韻モデルから候補を複数選定し、その候補の中で最も一致度の高い音韻モデルに対応して記憶された文字データを読出す。なお、本例の音声認識回路14は、音声認識装置10内の各部の処理の制御を行う制御手段としても機能するようにしてあり、後述するトークスイッチ18の操作についても、この音声認識回路14が判断するようにしてある。
【0026】
ここで、本例の音声認識データ記憶用ROM15のデータ記憶状態について説明すると、本例の場合には、地名と、ナビゲーション装置の操作を指示する言葉だけを認識するようにしてあり、地名としては、図4に記憶エリアの設定状態を示すように、国内の都道府県と、市区町村の名前だけを登録させてあり、各都道府県と市区町村毎に、その地名の文字コードと、地名を音声認識させるためのデータである音韻モデルが記憶させてある。
【0027】
なお、例えば日本国内の場合には、全国の市区町村の数は約3500であり、この約3500の地名が記憶されることになる。但し、「××町」の地名の場合には、「××マチ」と発音した場合のデータと、「××チョウ」と発音した場合のデータとの双方が記憶させてある。同様に、「××村」の地名の場合には、「××ソン」と発音した場合のデータと、「××ムラ」と発音した場合のデータとの双方が記憶させてある。
【0028】
また、都道府県の境界に隣接した位置の市区町村などのように、都道府県名を間違えて覚える可能性の高い市区町村名については、間違えやすい都道府県名を付与させて登録させてある。即ち、例えば正しい例である「カナガワケン カワサキシ(神奈川県川崎市)」と登録させると共に、間違った例である隣接した都道府県名を付与させた「トウキョウト カワサキシ(東京都川崎市)」としても登録させる。
【0029】
また、ナビゲーション装置の操作を指示する言葉としては、「目的地」,「出発地」,「経由地」,「自宅」などの表示位置を指示する言葉や、「今何時」 (現在時刻を聞く指令),「今どこ」(現在位置を聞く指令),「次は」(次の交差点を聞く指令),「あとどれくらい」(目的地までの距離を聞く指令),「速度は」(現在速度を聞く指令),「高度は」(現在の高度を聞く指令),「進行方向は」(進行方向を聞く指令),「一覧表」(認識できる指令の一覧表をディスプレイに表示させるための指令)等のその他の各種操作指令を行う言葉の文字コードと、その言葉に対応する音韻モデルが記憶させてある。
【0030】
そして、音声認識回路14で、入力ベクトルデータから、所定の音声認識アルゴリズムを経て得られた認識結果に一致する、音韻モデルに対応した文字コードが、地名の文字コードである場合には、この文字コードを、ROM15から読出す。そして、この読出された文字コードを、経緯度変換回路16に供給する。この経緯度変換回路16には経緯度変換データ記憶用ROM17が接続され、音声認識回路14から供給される文字データに対応した経緯度データ及びその付随データをROM17から読出す。
【0031】
なお、本例の音声認識回路14には、認識結果を一時的に記憶するメモリ(図示せず)が備えられ、このメモリ内に認識結果を履歴リストとして記憶させるようにしてある。また、認識処理時に、最も一致度が高い音声から順にある程度まで一致する音声についてまでのデータを、候補リストとして記憶させるようにしてある。この履歴リストや候補リストは、記憶されてからある程度の時間が経過すると消去される。
【0032】
ここで、本例の経緯度変換データ記憶用ROM17のデータ記憶状態について説明すると、本例の場合には、音声認識データ記憶用ROM15に記憶された地名の文字コードと同じ文字コード毎に記憶エリアが設定され、図5に示すように、各文字コード毎に、その文字で示される地名の緯度と経度のデータと、付随するデータとして表示スケールのデータとが記憶させてある。また、音声認識データ記憶用ROM15から読出された文字コードとしては、カタカナによる文字コードとしてあるが、この経緯度変換データ記憶用ROM17には、発音を文字列で示すカタカナによる文字コードの他に、表示用の漢字,平仮名,カタカナ等を使用した文字コードについても記憶させてある。
【0033】
なお、本例の場合には、地名毎の緯度と経度のデータとしては、その地名で示される地域の役所(市役所,区役所,町役場,村役場)の所在地の絶対位置を示す緯度と経度のデータとしてある。また、付随データとして、表示用の文字コードと表示スケールのデータを、緯度と経度のデータと共に出力するようにしてある。この表示スケールのデータとしては、その地名で示される地域の大きさに応じて設定された表示スケールのデータとしてあり、例えば数段階に表示スケールを指示するデータとしてある。
【0034】
そして、経緯度変換データ記憶用ROM17から読出された経緯度データ及びその付随データを、音声認識装置10の出力として出力端子10aに供給する。また、音声認識回路14で一致が検出された入力音声の文字コードのデータを、音声認識装置10の出力として出力端子10bに供給する。この出力端子10a,10bに得られるデータは、ナビゲーション装置20に供給する。
【0035】
なお、本例の音声認識装置10には、ロックされない開閉スイッチ(即ち押されたときだけオン状態になるスイッチ)であるトークスイッチ18が接続され、このトークスイッチ18が少なくとも300m秒以上継続して押されている間に、マイクロフォン11が拾った音声信号だけを、アナログ/デジタル変換器12から経緯度変換回路16までの回路で上述した処理を行うようにしてある。この音声認識装置10内での処理は、音声認識回路14の制御に基づいて行われ、トークスイッチ18の状態についても、音声認識回路14が判断するようにしてある。
【0036】
そして本例においては、音声認識回路14で所定時間以内(例えば10秒以内)に、再度入力した音声の認識処理が行われた場合において、このとき認識した音声が、音声認識回路14内のメモリに記憶された履歴リストに記憶されているとき、この認識音声を履歴リストから削除し、削除された履歴リストの最も高い順位に記憶された音声を、音声認識したと判断するようにしてある。また、このような処理が複数回(例えば5回)連続して行われたときには、候補となる認識音声のデータを候補リストから読出して、ナビゲーション装置20側に供給し、ナビゲーション装置20に接続されたディスプレイ装置40に候補リストを表示させるようにしてある。これらの処理の詳細については、後述する。
【0037】
また、本例の音声認識装置10内の音声認識回路14からは、端子10bを介してナビゲーション装置20側に上述した文字コード以外の各種制御データについても伝送できるようにしてあり、例えば音声出力処理や地図データの作成処理を中断させる制御データをナビゲーション装置20側に送ることもある。
【0038】
次に、音声認識装置10と接続されたナビゲーション装置20の構成について説明する。このナビゲーション装置20は、GPS用アンテナ21を備え、このアンテナ21が受信したGPS用衛星からの測位用信号を、現在位置検出回路22で受信処理し、この受信したデータを解析して、現在位置を検出する。この検出した現在位置のデータとしては、そのときの絶対的な位置である緯度と経度のデータである。
【0039】
そして、この検出した現在位置のデータを、演算回路23に供給する。この演算回路23は、ナビゲーション装置20による動作を制御するシステムコントローラとして機能する回路で、道路地図データが記憶されたCD−ROM(光ディスク)がセットされて、このCD−ROMの記憶データを読出すCD−ROMドライバ24と、データ処理に必要な各種データを記憶するRAM25と、このナビゲーション装置が搭載された車両の動きを検出する車速センサ26と、操作キー27とが接続させてある。そして、現在位置などの経緯度の座標データが得られたとき、CD−ROMドライバ24にその座標位置の近傍の道路地図データを読出す制御を行う。そして、CD−ROMドライバ24で読出した道路地図データをRAM25に一時記憶させ、この記憶された道路地図データを使用して、道路地図を表示させるための表示データを作成する。このときには、自動車内の所定位置に配置された操作キー27の操作などにより設定された表示スケール(縮尺)で地図を表示させるような表示データとする。
【0040】
そして、演算回路23で作成された表示データを、映像信号生成回路28に供給し、この映像信号生成回路28で表示データに基づいて所定のフォーマットの映像信号を生成させ、この映像信号を出力端子20cに供給する。
【0041】
そして、この出力端子20cから出力される映像信号を、ディスプレイ装置40に供給し、このディスプレイ装置40で映像信号に基づいた受像処理を行い、ディスプレイ装置40の表示パネルに道路地図などを表示させる。
【0042】
そして、このような現在位置の近傍の道路地図を表示させる他に、操作キー27の操作などで指示された位置の道路地図なども、演算回路23の制御に基づいて表示できるようにしてある。また、操作キー27の操作などに基づいて、「目的地」,「出発地」,「経由地」,「自宅」などの特定の座標位置を登録することができるようにしてある。この特定の座標位置を登録した場合には、その登録した座標位置のデータ(経度と緯度のデータ)をRAM25に記憶させる。
【0043】
また、車速センサ26が自動車の走行を検出したときには、演算回路23が操作キー27の操作の内の比較的簡単な操作以外の操作を受け付けないようにしてある。
【0044】
また、このナビゲーション装置20は、自律航法部29を備え、自動車側のエンジン制御用コンピュータ等から供給される車速に対応したパルス信号に基づいて、自動車の正確な走行速度を演算すると共に、自律航法部29内のジャイロセンサの出力に基づいて進行方向を検出し、速度と進行方向に基づいて決められた位置からの自律航法による現在位置の測位を行う。例えば現在位置検出回路22で位置検出ができない状態になったとき、最後に現在位置検出回路22で検出できた位置から、自律航法による測位を行う。
【0045】
また、演算回路23には音声合成回路31が接続させてあり、演算回路23で音声による何らかの指示が必要な場合には、音声合成回路31でこの指示する音声の合成処理を実行させ、音声合成回路31に接続されたスピーカ32から音声を出力させるようにしてある。例えば、「目的地に近づきました」,「進行方向は左です」などのナビゲーション装置として必要な各種指示を音声で行うようにしてある。また、この音声合成回路31では、音声認識装置10で認識した音声を、供給される文字データに基づいて音声合成処理して、スピーカ32から音声として出力させるようにしてある。その処理については後述する。
【0046】
ここで、このナビゲーション装置20は、音声認識装置10の出力端子10a,10bから出力される経緯度データとその付随データ及び文字コードのデータが供給される入力端子20a,20bを備え、この入力端子20a,20bに得られる経緯度データとその付随データ及び文字コードのデータを、演算回路23に供給する。
【0047】
そして、演算回路23では、この経緯度データなどが音声認識装置10側から供給されるとき、その経度と緯度の近傍の道路地図データをCD−ROMドライバ24でディスクから読出す制御を行う。そして、CD−ROMドライバ24で読出した道路地図データをRAM25に一時記憶させ、この記憶された道路地図データを使用して、道路地図を表示させるための表示データを作成する。このときには、供給される経度と緯度が中心に表示される表示データとすると共に、経緯度データに付随する表示スケールで指示されたスケール(縮尺)で地図を表示させるような表示データとする。
【0048】
そして、この表示データに基づいて、映像信号生成回路28で映像信号を生成させ、ディスプレイ装置40に、音声認識装置10から指示された座標位置の道路地図を表示させる。
【0049】
また、音声認識装置10の出力端子10bからナビゲーション装置の操作を指示する言葉の文字コードが供給される場合には、その操作を指示する言葉の文字コードを演算回路23で判別すると、対応した制御を演算回路23が行うようにしてある。この場合、「目的地」,「出発地」,「経由地」,「自宅」などの表示位置を指示する言葉の文字コードである場合には、この表示位置の座標がRAM25に登録されているか否か判断した後、登録されている場合には、その位置の近傍の道路地図データをCD−ROMドライバ24でディスクから読出す制御を行う。
【0050】
また、演算回路23に音声認識装置10から、認識した音声の発音を示す文字コードのデータが供給されるときには、その文字コードで示される言葉を、音声合成回路31で合成処理させ、音声合成回路31に接続されたスピーカ32から音声として出力させるようにしてある。例えば、音声認識装置10側で「トウキョウト ブンキョウク(東京都文京区)」と音声認識したとき、この認識した発音の文字列のデータに基づいて「トウキョウト ブンキョウク」と発音させる音声信号を生成させる合成処理を、音声合成回路31で行い、その生成された音声信号をスピーカ32から出力させる。
【0051】
この場合、本例においては音声認識装置10で音声認識を行った場合に、ナビゲーション装置20の端子20aに経度,緯度のデータが供給されるのと、端子20bに認識した音声の発音を示す文字コードのデータが供給されるのが、ほぼ同時であるが、演算回路23では最初に音声合成回路31で認識した言葉を音声合成させる処理を実行させ、次に経度,緯度のデータに基づいた道路地図の表示データの作成処理を実行させるようにしてある。
【0052】
次に、本例の音声認識装置10とナビゲーション装置20を使用して、道路地図表示などを行う場合の動作を説明する。まず、音声認識装置10での音声認識動作を、図6のフローチャートに示すと、最初にトークスイッチ18がオンか否か判断し(ステップ101)、このトークスイッチ18がオンとなったことを判別した場合には、そのオンとなった期間にマイクロフォン11が拾った音声信号を、アナログ/デジタル変換器12でサンプリングさせ、デジタル音声処理回路13で処理させて、ベクトルデータ化させる(ステップ102)。そして、このベクトルデータに基づいて音声認識回路14で音声認識処理させる(ステップ103)。
【0053】
ここで、音声認識データ記憶用ROM15に記憶された地名(即ち予め登録された地名)の音声を認識したか否か判断し(ステップ104)、登録された地名の音声を認識した場合には、認識した地名を発音させるための文字データをROM15から読出して出力端子10bから出力させる(ステップ105)と共に、認識した地名の経度,緯度のデータを経緯度変換回路16に接続された経緯度変換データ記憶用ROM17から読出す(ステップ106)。ここでの地名の音声認識としては、本例のROM15に登録された地名が、国内の都道府県と、市区町村の名前であるので、例えば「××県 ××市」と言う音声や、「××市 ××区」(ここでは区の場合には都道府県を省略しても認識できるようにしてある)と言う音声を認識する。
【0054】
そして、認識した音声に基づいて読出した経度,緯度のデータと付随データとを、出力端子10aから出力させる(ステップ107)。
【0055】
そして、ステップ104で、登録された地名の音声を認識できなかった場合には、地名以外の登録された特定の音声を認識したか否か判断する(ステップ108)。ここで、地名以外の登録された特定の音声を認識した場合には、識別した音声に対応した文字コードを判別し(ステップ109)、その判別した文字コードを出力端子10bから出力させる(ステップ110)。
【0056】
また、ステップ108で地名以外の登録された特定の音声も認識できなかった場合には、このときの処理を終了する。或いは、音声認識できなかったことを、ナビゲーション装置20側に指示し、音声合成回路31での音声合成又はディスプレイ装置40で表示される文字などで警告する。
【0057】
次に、ナビゲーション装置20側での動作を、図7のフローチャートに示すと、まず演算回路23では現在位置の表示モードが設定されているか否か判断する(ステップ201)。そして、現在位置の表示モードが設定されていると判断したときには、現在位置検出回路22で現在位置の測位を実行させ(ステップ202)、その測位した現在位置の近傍の道路地図データをCD−ROMから読出させ(ステップ203)、その読出した道路地図データに基づいた道路地図の表示処理を行い、ディスプレイ装置40に対応した座標位置の道路地図を表示させる(ステップ204)。
【0058】
そして、ステップ201で現在位置の表示モードが設定されてないと判断したとき、或いはステップ204での現在位置の道路地図の表示処理が終了し、その道路地図が表示された状態となっているときに、音声認識装置10から入力端子20a,20bを介して経度,緯度データなどが供給されるか否か判断する(ステップ205)。ここで、経度,緯度データとそれに付随する文字データなどが供給されたことを判別したときには、まず端子20bを介して供給される発音用の文字コードを音声合成回路31に供給して、音声認識装置10で認識した音声を音声合成させてスピーカ32から出力させる(ステップ206)。続いて、経度,緯度データで示される位置の近傍の道路地図データをCD−ROMから読出させ(ステップ207)、その読出した道路地図データに基づいた道路地図の表示処理を行い、ディスプレイ装置40に対応した座標位置の道路地図を表示させる(ステップ208)。
【0059】
そして、ステップ205で音声認識装置10から経度,緯度データが供給されないと判断したとき、或いはステップ208での指定された地名の道路地図の表示処理が終了し、その道路地図が表示された状態となっているときに、音声認識装置10から入力端子20bを介して表示位置を直接指示する文字コードが供給されるか否か判断する(ステップ209)。そして、端子20bから文字コードが供給されたと判断したときには、その文字コードを音声合成回路31に供給して、音声認識装置10で認識した音声をスピーカ32から出力させる(ステップ210)。そして次に、ステップ209で表示位置を直接指示する文字コード(即ち「目的地」,「出発地」,「経由地」,「自宅」などの言葉)を判別したときには、これらの文字で指示された座標位置がRAM25に登録されているか否か判断し(ステップ211)、登録されている場合には、その登録された座標位置である経度,緯度データで示される位置の近傍の道路地図データをCD−ROMから読出させ(ステップ212)、その読出した道路地図データに基づいた道路地図の表示処理を行い、ディスプレイ装置40に対応した座標位置の道路地図を表示させ(ステップ213)、この表示が行われた状態で、ステップ201の判断に戻る。
【0060】
そして、ステップ209で表示位置を直接指示する文字コードが音声認識装置10から供給されないと判断したときには、操作キー27の操作により、表示位置を指定する操作があるか否か演算回路23で判断する(ステップ214)。そして、この表示位置を指定する操作がある場合には、車速センサ26の検出データを判断して、現在車両が走行中か否か判断する(ステップ215)。そして、走行中であると演算回路23が判断したときには、そのときの操作を無効とし、ステップ201の判断に戻る(このとき何らかの警告を行うようにしても良い)。
【0061】
そして、車両が走行中でないと判断したときに、ステップ211に移り、登録された座標があるか否か判断した後、登録された座標位置がある場合には、その位置の道路地図の表示処理(ステップ212,213)を行った後、ステップ201の判断に戻る。
【0062】
そして、ステップ211で「目的地」,「出発地」,「経由地」,「自宅」などの対応した位置の座標の登録がない場合には、音声合成回路31での音声合成又はディスプレイ装置40での文字表示で、未登録を警告させ(ステップ216)、ステップ201の判断に戻る。
【0063】
なお、この図7のフローチャートでは、地図表示に関係する処理について説明したが、音声認識装置10側から地図表示以外の操作を指示する音声を認識した結果による文字コードが供給される場合には、演算回路23の制御に基づいて、対応した処理を行うようにしてある。例えば、「イマナンジ」などと認識して文字コードが供給されるとき、演算回路23の制御に基づいて、現在時刻を発音させる音声を音声合成回路31で合成させてスピーカ32から出力させるようにしてある。その他の指令についても、回答の音声を音声合成回路31で合成させてスピーカ32から出力させるか、或いは該当する表示をディスプレイ装置40で行うように処理する。
【0064】
以上のように処理されることで、音声入力により表示位置を全国どこでも自由に設定することができ、簡単に所望の位置の道路地図を表示させることができる。即ち、例えば操作者がトークスイッチ18を押しながら、マイクロフォン11に向かって「××県 ××市」や「××市 ××区」と話すだけで、その音声が認識されて、その地域の道路地図が表示されるので、キー操作で位置の指示などを行う必要がなく、例えばキー操作が困難な状況であっても、ナビゲーション装置の操作ができる。この場合、本例においては音声認識装置10で認識する地名の音声を、国内の都道府県と、市区町村の名前に限定したので、認識する音声の数が比較的少ない数(約3500)に制限され、音声認識装置10内の音声認識回路14で比較的少ない処理量による短時間での音声認識処理で、地名を認識でき、入力した音声により指示された地図が表示されるまでの時間を短縮することができると共に、認識する地名の数が限定されることで、認識率自体も向上する。
【0065】
ここで本例においては、以上説明した音声入力があって認識処理が行われた後に、再度音声入力があったとき、その認識処理時に過去の認識結果を参照するようにしてある。以下、その処理を図8のフローチャートに示す。
【0066】
まず、前回の音声認識処理から充分な時間(例えば数分)が経過している場合には、音声認識回路14内の履歴リストをクリアし(ステップ401)、その後発話が開始、即ちトークスイッチ18がオン状態になったか否か判断し(ステップ402)、発話が開始されたと判断すると、前回の発話から所定時間Th(ここでは10秒)が経過しているか否か判断し(ステップ403)、経過している場合には音声認識回路14内の履歴リストをクリアする(ステップ404)。そして、前回の発話から所定時間Thが経過してない場合には、履歴リストをクリアしない。
【0067】
そして次に、音声認識回路14の制御に基づいて、入力された音声の認識処理を行う(ステップ405)。そして、この認識結果で得られた候補の音声データと、履歴リストにある音声データとを照合し、履歴リストに同じデータがある場合には、そのデータを認識された候補の中から削除する(ステップ406)。そして次に、履歴リストの項目数がN個(ここでは5個)以上か否か判断する(ステップ407)。そして、N個以上でない場合(即ちN回連続して発話がされてない場合)には、ステップ408に移って、このときの残りの候補のデータの中で、最も認識度(一致度)が高かったデータを、認識された結果として、ナビゲーション装置20の音声合成回路31に供給し、スピーカ32から音声として出力させる。そして、この認識された結果が地域を示す音声(即ち本例の場合には都道府県名及び市区町村名)である場合には、その市区町村を表示させる地図を、ナビゲーション装置20内での処理でディスプレイ装置40に表示させる(ステップ409)。そして、このとき認識された結果を、履歴リストに追加し(ステップ410)、ステップ402に戻り、次の発話開始まで待機する。
【0068】
そして、ステップ407で履歴リストの項目数がN個であると判断された場合(即ちN回連続して発話がされた場合)には、ステップ411に移って、候補リストの表示処理を行う。即ち、ここまでの認識処理で認識された候補のデータを、音声認識回路14内の候補リスト用メモリから読出し、このデータをナビゲーション装置20に供給して、ナビゲーション装置20内の映像信号生成回路28で候補リストの映像信号を生成させ、その映像信号をディスプレイ装置40に供給して、候補リストをディスプレイ装置40に表示させる。
【0069】
このときの候補リストは、例えば図9に示すように表示される。即ち、最も一致度が高かった順に、一位の候補から五位程度までの候補まで表示させる(スクロール操作などでより下位の候補まで表示させるようにしても良い)。このとき、地名の候補と、コマンドの候補とは異なる態様で表示する(例えば文字の表示色を変える)ようにしてある。図9の例では、字体を変えて表示させてある。
【0070】
そして、この候補リストが表示された最初の段階では、このリスト内の候補の内の一位の候補に、選択されたことを示す印aを付与するようにしてある。この選択する候補を示す印aは、操作キー27の操作によるスクロール操作で、移動させることができるが、次にこのスクロール操作が行われたか否か判断する(ステップ412)。ここで、スクロール操作が行われた場合には、選択される候補に付与する印aの位置を移動させる(ステップ413)。
【0071】
この状態で、操作キー27の中の決定用のボタンが押されたか否か判断する(ステップ414)。この決定用のボタンが押されたと判断したときには、そのとき印aで示された候補が選択されたと判断し、その候補に関するデータ(経緯度のデータ,音声出力用の文字データなど)の読出しを音声認識装置10側に指示し、その読出されたデータをナビゲーション装置20側に供給させる。そして、その供給されたデータに基づいて、音声合成回路31で、音声合成処理を行って、地名をスピーカ32から音声として出力させる(ステップ415)。そして、供給された経緯度のデータに基づいて、該当する位置の道路地図を表示させる映像信号を作成させ、ディスプレイ装置40に選択された候補の地図を表示させ(ステップ416)。そして、このとき選択された結果を、履歴リストに追加し(ステップ417)、ステップ402に戻り、次の発話開始まで待機する。
【0072】
そして、ステップ414で決定用のボタンが押さないと判断された場合には、その後発話が開始、即ちトークスイッチ18がオン状態になったか否か判断し(ステップ418)、発話が開始されたと判断すると、候補リストの表示を中止させて、ステップ403の処理に戻る。そして、ステップ418で発話が開始されないと判断した場合には、ステップ411での候補リストの表示が開始されてから、所定時間Td(このTdは例えば10秒程度の時間)が経過したか否か判断し(ステップ419)、この時間Tdが経過してない場合には、ステップ412の処理に戻り、候補リストが表示された状態を継続させる。そして、ステップ419で所定時間Tdが経過したと判断したときには、ステップ412でスクロール操作が行われたか否か判断し(ステップ420)、スクロール操作が行われた場合には、ステップ412の処理に戻り、候補リストが表示された状態を継続させる。
【0073】
そして、ステップ420でスクロール操作が行われてないと判断したときには、ステップ408に移って、候補リストの一位の結果を音声で出力させ、この一位の地名の地図を表示させる。
【0074】
このように制御されることで、発話を一定時間内(例えば10秒以内)に続けて行われたときには、言い直されたと見なされて、前回の認識結果の一位候補が認識対象語から外れることになり、言い直しても間違った地名が再度認識されて、所望の地名が認識されない事故を防止できる。例えば、似た地名として「横浜市神奈川区」と「横浜市金沢区」が存在するが、音声入力をした者が「横浜市神奈川区」と話した場合に、「横浜市金沢区」と誤認識されたとする。このとき、同じ発音を繰り返すことで、なにも対処しない場合には再度「横浜市金沢区」と誤認識される可能性が高いが、ここでは二回目の音声入力時には履歴リストに「横浜市金沢区」の発音が既にあるので、この「横浜市金沢区」が認識対象語から外れることになる。そして、二位の候補に「横浜市神奈川区」があったとき、この「横浜市神奈川区」が一位の候補に繰り上がることになり、「横浜市神奈川区」が認識されたと判断され、結果として言い直した場合には誤認識が防止されたことになり、それだけ認識率を向上させることができる。
【0075】
そして、短時間に所定回(ここでは5回)繰り返し音声入力があった場合には、このときの連続的な入力音声信号により認識された認識対象語を、認識度が高い順に一覧表示され、そのときの認識状態が容易に判断できるようになると共に、その一覧表示された中から言葉を選択できるので、音声入力による認識が困難な場合の対処が簡単な操作で容易にできるようになる。
【0076】
そして本例においては、このときの認識対象語の候補の一覧表示として、その認識対象語が、地名の音声の場合の表示状態(図9では通常の文字による表示)と、何らかの指令などのコマンドの場合の表示状態(図9では白抜きの文字による表示)とを変えるようにしたので、それぞれの種類の音声が迅速に表示から判断できるようになる。なお、図9の例では文字の状態を変えるようにしたが、例えば地名の候補の場合の文字(又は文字の周囲)の表示色と、コマンドの候補の場合の文字(又は文字の周囲)の表示色とを変えるようにしても良い。
【0077】
また、このように地名とコマンドで表示状態を変える他に、地名を地域毎に区分分けして、その区分毎に表示状態を変えるようにしても良い。即ち、例えば都道府県毎に表示色を変えたり、或いは関東地方,東北地方のような地域毎に表示色を変えるようにしても良い。
【0078】
なお、図8のフローチャートでは、選択された候補が地名であり、その地名に基づいて地図表示が行われる場合について説明したが、選択された候補が何らかの指令(コマント)である場合には、地図表示の代わりに対応した指令を実行させるものである。
【0079】
また、候補リストを図9に示すように一覧表示させた場合には、この一覧表示された認識対象語を、音声合成回路31での音声合成処理で、順にスピーカ32から音声として出力させるようにしても良い。このようにすることで、ディスプレイ装置40の表示を見なくても、認識対象語の候補が判り、ナビゲーション装置としての使い勝手が向上する。
【0080】
なお、上述実施例では音声認識装置で認識する地名を、国内の都道府県と、市区町村の名前に限定したが、より細かい地名や目標物の名前などまで認識するようにしても良い。但し、認識できる地名などを多くすると、それだけ音声認識に必要な処理量と処理時間が多く必要になり、認識率を高くするためからも、市区町村の名前程度に限定するのが最も好ましい。
【0081】
また、上述実施例では各地名毎の中心の座標を、その地域の役所(市役所,区役所,町役場,村役場)の所在地の絶対位置を示す緯度と経度のデータとしたが、その他の位置を示す緯度と経度のデータとしても良い。例えば、単純にその地域(市区町村)の中心の緯度と経度のデータとしても良い。
【0082】
また、このように中心の緯度と経度のデータを記憶させる代わりに、その地域の東西南北の端部の座標位置のデータを記憶させるようにしても良い。この場合には、東西の経度と南北の緯度の4つのデータがあれば良い。
【0083】
また、上述実施例では音声認識装置内の音声認識回路14で、認識した音声を文字コードに変換してから、この文字コードを経緯度変換回路16で経度,緯度のデータに変換するようにしたが、認識した音声より直接経度,緯度のデータに変換するようにしても良い。また、このように直接経度,緯度のデータに変換させない場合でも、これらの変換データを記憶するROM15とROM17は、同一のメモリで構成させて、例えば地名の記憶エリアを共用するようにしても良い。
【0084】
また、上述実施例ではGPSと称される測位システムを使用したナビゲーション装置に適用したが、他の測位システムによるナビゲーション装置にも適用できることは勿論である。
【0085】
【発明の効果】
本発明のナビゲーション装置によると、認識対象語の候補の表示状態が、候補の対象語の区分毎に異なる表示態様になるので、同じ区分毎の候補が判り易くなり、見やすい表示状態となる。例えば、地図を表示させるための地名の表示と、動作などを指示するためのコマンドの表示とを、異なる態様で表示することで、認識対象語の候補の表示から、地名やコマンドなどの必要とする候補を探すことが容易にできるようになり、ナビゲーション装置としての使い勝手が向上する。
【0088】
また本発明のナビゲート方法によると、認識対象語の候補の表示状態が、候補の対象語の区分毎に異なる表示態様になるので、同じ区分毎の候補が判り易くなり、見やすい表示状態となる。例えば、地図を表示させるための地名の表示と、動作などを指示するためのコマンドの表示とを、異なる態様で表示することで、認識対象語の候補の表示から、地名やコマンドなどの必要とする候補を探すことが容易にできるようになり、ナビゲーション装置としての使い勝手が向上する。
【0089】
また本発明の自動車によると、認識対象語の候補の表示状態が、候補の対象語の区分毎に異なる表示態様になるので、同じ区分毎の候補が判り易くなり、見やすい表示状態となり、例えば自動車の運転状況などにより表示を長時間見るのが困難な場合でも、必要とする候補を探すことが容易にできるようになり、自動車の運転の安全性を確保した上での良好な操作が可能になる。
【図面の簡単な説明】
【図1】本発明の一実施例を示す構成図である。
【図2】一実施例の装置を自動車に組み込んだ状態を示す斜視図である。
【図3】一実施例の装置を自動車に組み込んだ場合の運転席の近傍を示す斜視図である。
【図4】一実施例による音声認識用メモリの記憶エリア構成を示す説明図である。
【図5】一実施例による経緯度変換用メモリの記憶エリア構成を示す説明図である。
【図6】一実施例の音声認識による処理を示すフローチャートである。
【図7】一実施例のナビゲーション装置での表示処理を示すフローチャートである。
【図8】一実施例の音声認識を複数回実行したときの処理を示すフローチャートである。
【図9】一実施例による候補リストの表示例を示す説明図である。
【符号の説明】
10 音声認識装置
11 マイクロフォン
12 アナログ/デジタル変換器
13 デジタル音声処理回路(DSP)
14 音声認識回路
15 音声認識データ記憶用ROM
16 経緯度変換回路
17 経緯度変換データ記憶用ROM
18 トークスイッチ
20 ナビゲーション装置
23 演算回路
24 CD−ROMドライバ
25 RAM
26 車速センサ
27 操作キー
28 映像信号生成回路
31 音声合成回路
32 スピーカ
40 ディスプレイ装置
50 自動車

Claims (7)

  1. 音声信号入力手段と、
    該音声信号入力手段に入力された音声信号から、特定の地名の音声を含む予め決められた複数の認識対象語の音声を認識処理する音声処理部と、
    該音声処理部が認識した特定の地名のデータを、この地名で示される絶対的な座標位置データに変換する変換部と、
    地図データの記憶手段と、
    上記変換部で変換された座標位置データで示される位置の地図データを上記記憶手段から読出して、地図表示用映像信号を作成すると共に、上記音声処理部で認識した認識対象語の候補を表示する映像信号を作成する映像信号作成手段と、
    上記映像信号作成手段で上記認識対象語の候補の映像信号を作成させる際に、その候補となる認識対象語の区分が、地名を指示する言葉と、指令を行う言葉とで区分し、この区分毎に異なる表示態様で表示させる映像信号とする表示制御手段とを備えた
    ナビゲーション装置。
  2. 上記区分毎に異なる表示態様は、異なる文字種類による表示とした
    請求項1記載のナビゲーション装置。
  3. 上記区分毎に異なる表示態様は、異なる表示色による表示とした
    請求項1記載のナビゲーション装置。
  4. 入力された音声信号から、特定の地名を示す音声を含む予め決められた複数の認識対象語の音声を認識処理し、
    この認識した特定の地名のデータを、この地名で示される絶対的な座標位置データに変換し、
    この変換した座標位置データで示される位置の地図を表示させると共に、
    上記認識した認識対象語の候補を表示させ、
    この認識対象語の候補を表示させる場合に、その候補となる認識対象語の区分毎が、地名を指示する言葉と、指令を行う言葉とで区分し、この区分毎に、異なる表示態様で表示させるようにしたナビゲート方法。
  5. 上記区分毎に異なる表示態様は、異なる文字種類による表示とした
    請求項4記載のナビゲーション方法。
  6. 上記区分毎に異なる表示態様は、異なる表示色による表示とした
    請求項4記載のナビゲーション方法。
  7. 車内の所定位置に配された表示手段に、地図を表示させる装置を備えた自動車において、
    音声信号入力手段と、
    該音声信号入力手段に入力された音声信号から、特定の地名の音声を含む予め決められた複数の認識対象語の音声を認識処理する音声処理部と、
    該音声処理部が認識した特定の地名のデータを、この地名で示される絶対的な座標位置データに変換する変換部と、
    地図データの記憶手段と、
    上記変換部で変換された座標位置データで示される位置の地図データを上記記憶手段から読出して、地図表示用映像信号を作成すると共に、上記音声処理部で認識した認識対象語の候補を表示する映像信号を作成して、上記表示手段に供給する映像信号作成手段と、
    上記映像信号作成手段で上記認識対象語の候補の映像信号を作成させる際に、その候補となる認識対象語の区分が、地名を指示する言葉と、指令を行う言葉とで区分し、この区分毎に、異なる表示態様で表示させる映像信号とする表示制御手段とを備えた
    自動車。
JP26754795A 1995-10-16 1995-10-16 ナビゲーション装置,ナビゲート方法及び自動車 Expired - Lifetime JP3677833B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26754795A JP3677833B2 (ja) 1995-10-16 1995-10-16 ナビゲーション装置,ナビゲート方法及び自動車

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26754795A JP3677833B2 (ja) 1995-10-16 1995-10-16 ナビゲーション装置,ナビゲート方法及び自動車

Publications (2)

Publication Number Publication Date
JPH09114491A JPH09114491A (ja) 1997-05-02
JP3677833B2 true JP3677833B2 (ja) 2005-08-03

Family

ID=17446337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26754795A Expired - Lifetime JP3677833B2 (ja) 1995-10-16 1995-10-16 ナビゲーション装置,ナビゲート方法及び自動車

Country Status (1)

Country Link
JP (1) JP3677833B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4684583B2 (ja) * 2004-07-08 2011-05-18 三菱電機株式会社 対話装置
JP2006330577A (ja) * 2005-05-30 2006-12-07 Alpine Electronics Inc 音声認識装置及び音声認識方法
JP2007065347A (ja) * 2005-08-31 2007-03-15 Denso Corp 音声認識システム
JP4745933B2 (ja) * 2006-09-25 2011-08-10 富士通テン株式会社 表示装置
KR102453603B1 (ko) * 2015-11-10 2022-10-12 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112017651B (zh) * 2019-05-31 2024-06-04 百度在线网络技术(北京)有限公司 电子设备的语音控制方法、装置、计算机设备和存储介质
JP7151694B2 (ja) * 2019-11-27 2022-10-12 井関農機株式会社 コンバイン

Also Published As

Publication number Publication date
JPH09114491A (ja) 1997-05-02

Similar Documents

Publication Publication Date Title
JP2907079B2 (ja) ナビゲーション装置,ナビゲート方法及び自動車
US6253174B1 (en) Speech recognition system that restarts recognition operation when a new speech signal is entered using a talk switch
EP0768638B1 (en) Apparatus and methods for voice recognition, map display and navigation
JP2644376B2 (ja) 車両用音声ナビゲーション方法
EP0875729B1 (en) Map display controlling method and apparatus
JP2000510944A (ja) データ記憶のためにオーディオcdプレイヤーを利用するナビゲーションシステム
JPH09292255A (ja) ナビゲーション方法及び装置
JP3677833B2 (ja) ナビゲーション装置,ナビゲート方法及び自動車
JP2947143B2 (ja) 音声認識装置及びナビゲーション装置
KR101755308B1 (ko) 음성 인식 모듈, 그를 가지는 단말기 및 차량
JP2019100130A (ja) 車両制御装置及びコンピュータプログラム
JPH08328584A (ja) 音声認識装置、音声認識方法及びナビゲーション装置
JP3818352B2 (ja) ナビゲーション装置及び記憶媒体
JP2877045B2 (ja) 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車
JPH09114488A (ja) 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車
JPH1062198A (ja) ナビゲーション装置
JP3484818B2 (ja) 音声認識装置及びナビゲーション装置
KR100455108B1 (ko) 음성인식장치,음성인식방법,지도표시장치,네비게이션장치,네비게이션방법및네비게이션기능을갖춘자동차
JPH09113287A (ja) 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車
JP6936772B2 (ja) 情報提供装置
JPH09114369A (ja) ナビゲーション装置,ナビゲート方法及び自動車
JPH09114485A (ja) 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車
KR100466737B1 (ko) 네비게이션장치,네비게이션방법및자동차
JPH09114490A (ja) 音声認識装置,音声認識方法,ナビゲーション装置,ナビゲート方法及び自動車
JP3679033B2 (ja) ナビゲーション装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050502

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090520

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110520

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120520

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term