JP4307792B2

JP4307792B2 - Communication system and communication service method

Info

Publication number: JP4307792B2
Application number: JP2002162994A
Authority: JP
Inventors: 敏之伊藤
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2002-06-04
Filing date: 2002-06-04
Publication date: 2009-08-05
Anticipated expiration: 2022-06-04
Also published as: JP2004015196A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば携帯端末などの端末がサーバから受信された画像を表示することにより、ユーザがサーバから受信された画像を見ながら例えば目的地の設定などを行うことが可能となる通信システムおよび通信サービス方法に関する。
【０００２】
【発明が解決しようとする課題】
近年、サーバが例えば携帯端末に画像を送信し、携帯端末がサーバから受信された画像を表示することにより、ユーザがサーバから受信された画像を見ながら例えば目的地の設定などを行うことが可能となる通信システムが実用化されつつある。
【０００３】
具体的には、ユーザが携帯端末にて目的地の設定を開始するための操作を行うと、携帯端末は、ユーザが行った操作の内容を表す操作情報をサーバに送信する。サーバは、携帯端末から操作情報が受信されると、その旨をオペレータに知らせ、オペレータは、ユーザが目的地を設定するために必要な画像（例えば地図など）を用意し、サーバは、このようにしてオペレータにより用意された画像を携帯端末に送信する。そして、携帯端末は、サーバから画像が受信されると、受信された画像を表示する。このような一連の処理によって、ユーザは、サーバから目的地を設定するために必要な画像を受信することができ、これ以降、サーバから受信された画像を見ながら所望の目的地を設定することができる。
【０００４】
しかしながら、このように、携帯端末がサーバから受信された画像を表示するだけでは、ユーザは、これ以降、表示される画像のみに頼って操作を行わなければならず、操作性に優れているとは言い難いものである。
【０００５】
本発明は、上記した事情に鑑みてなされたものであり、その目的は、ユーザがサーバから受信された画像を見ながら例えば目的地の設定などを行うものにおいて、ユーザが端末を操作する際の操作性を高めることができる通信システムおよび通信サービス方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載した通信システムによれば、ユーザが端末を操作したり音声を発すると、端末は、操作の内容を表す操作情報や音声をサーバに送信すると共に、サーバから当該サーバにて用意された画像および音声を受信する前に、自身の表示領域のサイズや通信速度などを表す端末能力をサーバに送信する。サーバは、端末から操作情報や音声が受信されると、オペレータにより用意された画像を端末に送信する。このとき、サーバは、オペレータにより用意された画像を端末に送信するのみでなく、端末から受信された端末能力を解析することにより、端末に表示される画像と同じ画像を端末能力に基づいて表示し、オペレータが音声を発すると、オペレータにより発せられた音声をも端末能力に基づいて端末に送信する。そして、端末は、サーバから当該サーバにて用意されて画像および音声が受信されると、受信された画像を当該自身の表示領域のサイズで表示すると共に、当該通信速度で受信された音声を出力する。
【０００７】
したがって、オペレータは、サーバが端末に表示される画像と同じ画像を表示するので、ユーザが見る画像と同じ画像を見ることができ、ユーザの立場で、つまり、ユーザが端末を操作する状況を想定しながら、ユーザの操作を適切に促すような指示を音声により行うことができる。また、ユーザは、端末がサーバから受信された画像を表示するのみでなく、端末がサーバから受信された音声を出力するので、サーバから受信された音声、つまり、オペレータが発した音声を聞くことにより、サーバから受信された画像を見ると共に、オペレータが発した音声を聞きながら例えば目的地を設定するための操作を行うことができる。これにより、ユーザが端末を操作する際の操作性を高めることができる。また、端末とサーバとの間の性能の相違を吸収する（調整を図る）ことにより、端末とサーバとの間の性能の相違が原因となって不具合が生じることを未然に回避することができる。
【０００８】
請求項２に記載した通信システムによれば、端末およびサーバは、それぞれ表示領域を区画化した状態で画像を表示する。したがって、ユーザやオペレータは、例えば地図上の任意の地点を指定するような場合に、区画化されたいずれかの表示領域を指定することにより、適切な操作を行うことができる。
【０００９】
請求項３に記載した通信システムによれば、ユーザが端末を操作したり音声を発すると、端末は、操作の内容を表す操作情報や音声をサーバに送信すると共に、サーバから当該サーバにて用意された画像および音声を受信する前に、自身の表示領域のサイズや通信速度などを表す端末能力をサーバに送信する。サーバは、端末から操作情報や音声が受信されると、受信された操作情報を解析することにより、または、受信された音声に対して音声認識を行うことにより、画像を用意して端末に送信する。このとき、サーバは、画像を端末に送信するのみでなく、端末に表示される画像と同じ画像を端末能力に基づいて表示すると共に、端末から受信された操作情報を解析することにより、または、端末から受信された音声に対して音声認識を行うことにより、音声をも用意して端末能力に基づいて端末に送信する。そして、端末は、サーバから当該サーバにて用意されて画像および音声が受信されると、受信された画像を当該自身の表示領域のサイズで表示すると共に、当該通信速度で受信された音声を出力する。
したがって、ユーザは、端末がサーバから受信された画像を表示するのみでなく、端末がサーバから受信された音声を出力するので、サーバから受信された音声、つまり、サーバが用意した音声を聞くことにより、サーバから受信された画像を見ると共に、サーバが用意した音声を聞きながら例えば目的地を設定するための操作を行うことができる。これにより、上記した請求項１に記載したものと同様にして、ユーザが端末を操作する際の操作性を高めることができる。また、端末とサーバとの間の性能の相違を吸収する（調整を図る）ことにより、端末とサーバとの間の性能の相違が原因となって不具合が生じることを未然に回避することができる。
【００１２】
【発明の実施の形態】
（第１実施例）
以下、本発明の端末を携帯端末に適用した第１実施例について、図１ないし図７を参照して説明する。
まず、図１は、通信システムの全体構成を概略的に示している。携帯端末１は、ユーザが携帯可能な構造となっており、ユーザが携帯端末１にて操作を行うと、または、ユーザが音声を発すると、操作の内容を表す操作情報や音声を携帯電話網や固定電話網などの各種の電話網から構成される電話網２を通じてサーバ３に送信する。サーバ３は、例えばデスクトップ型のコンピュータ端末および周辺機器から構成されており、携帯端末１から操作情報や音声が受信されると、受信された操作情報を表示したり、受信された音声を出力して、その旨をオペレータに知らせる。
【００１３】
図２は、上記した携帯端末１の電気的な構成を機能ブロック図として示している。携帯端末１は、制御プログラム（本発明でいうコンピュータプログラム）を実行するＣＰＵ（Central Processing Unit）４、マイクロホン５、スピーカ６、音声インタフェース部７、データインタフェース部８、多重化部９、通信部１０、記憶部１１、操作部１２、表示部１３を備えて構成されている。
【００１４】
マイクロホン５は、ユーザにより発せられた音声を入力すると、入力された音声を音声インタフェース部７に出力し、音声インタフェース部７は、マイクロホン５から音声を入力すると、入力された音声を送信処理して多重化部９に出力する。多重化部９は、音声インタフェース部７から音声を入力すると共に、データインタフェース部８からデータを入力すると、それら入力された音声とデータとを多重化し、音声とデータとが多重化された送信信号を通信部１０に出力する。そして、通信部１０は、多重化部９から送信信号を入力すると、入力された送信信号を電波により送信する。
【００１５】
また、通信部１０は、音声とデータとが多重化された受信信号を電波により受信すると、受信された受信信号を多重化部９に出力する。多重化部９は、通信部１０から受信信号を入力すると、入力された受信信号から音声とデータとを抽出し、音声を音声インタフェース部７に出力すると共に、データをデータインタフェース部８に出力する。音声インタフェース部７は、多重化部９から音声を入力すると、入力された音声を受信処理してスピーカ６に出力し、そして、スピーカ６は、音声インタフェース部７から音声を入力すると、入力された音声を外部に出力する。
【００１６】
記憶部１１は、各種の情報を記憶可能に構成されている。操作部１２は、ユーザが操作するもので、幾つかのキー（ボタン）が配列されて構成されている。この場合、操作部１２は、表示部１３に表示されるタッチパネル形式のキーから構成されるものであっても良い。表示部１３は、サーバ３から受信された画像（例えば地図）などを表示する。
【００１７】
図３は、上記したサーバ３の電気的な構成を機能ブロック図として示している。サーバ３は、本体１４、オペレータにより発せられた音声を入力する音声入力装置１５、携帯端末１から受信された音声を出力する音声出力装置１６、オペレータが操作する操作装置１７、各種の情報を表示する表示装置１８、携帯端末1との間の通信処理を行う通信装置１９、各種の情報を記憶する記憶装置２０を備えて構成されている。
以上に説明した構成では、携帯端末１とサーバ３とは、音声とデータ（画像、操作情報など）とを同時に通信可能となっている。
【００１８】
次に、上記した構成の作用について、図４ないし図７を参照して説明する。尚、ここでは、一例として、ユーザが携帯端末１を操作して目的地を設定する場合を説明する。
【００１９】
携帯端末１は、ユーザが目的地の設定を開始するための操作を操作部１２にて行った旨を検出すると（図４中、ステップＳ１）、サーバ３との間で通信リンク（音声およびデータ）を通信部１０により確立し、目的地の設定の開始を要求すべくリクエスト信号を通信部１０から電話網３を通じてサーバ３に送信する。尚、この場合、携帯端末１は、リクエスト信号をサーバ３に送信すると共に、端末に固有の端末識別番号を通信部１０から電話網３を通じてサーバ３に送信する。
【００２０】
サーバ３は、携帯端末１からリクエスト信号および端末識別番号が通信装置１９により受信されると、受信された端末識別番号を解析し（図４中、ステップＴ１）、図５（ａ）に示すように、例えば「携帯端末（端末ＩＤ：ＮＮＮＮ）から目的地を設定する要求があります。応答しますか？」という表示メッセージを表示装置１８に表示する（図４中、ステップＴ２）。
【００２１】
さて、オペレータは、このようにして表示装置１８に表示された表示メッセージを確認すると、携帯端末１からの目的地の設定の要求に対して応答するか否かを選択する。ここで、サーバ３は、オペレータが携帯端末１からの目的地の設定の要求に対して応答するための操作を操作装置１７にて行った旨を検出すると（図４中、ステップＴ３）、目的地の設定の要求に対して応答すべくレスポンス信号を通信装置１９から電話網３を通じて携帯端末１に送信する。
【００２２】
次いで、携帯端末１は、サーバ３からレスポンス信号が通信部１０により受信されると、自身の表示領域のサイズや通信速度を表す端末能力を通信部１０から電話網３を通じてサーバ３に送信する。ここで、携帯端末１が端末能力をサーバ３に送信するのは、携帯端末１とサーバ３との間の性能の相違が原因となって不具合が生じることを未然に回避するためである。
【００２３】
サーバ３は、携帯端末１から端末能力が通信装置１９により受信されると、受信された端末能力を解析し（図４中、ステップＴ４）、携帯端末１との間の性能の相違を吸収する（調整を図る）。そして、サーバ３は、図５（ｂ）に示すように、携帯端末１（の表示部１３）の外観（Ｐ参照）の概略を表示装置１８に表示する（図４中、ステップＴ５）。これにより、オペレータは、これ以降、携帯端末１の表示部１３に表示される画像と同じ画像を見ることになる。
【００２４】
次いで、サーバ３は、オペレータが目的地を設定するために必要な画像を用意すると共に、用意された画像に適切な例えば「画像を表示します。領域を指定して下さい。」という音声を発した旨を検出すると（図４中、ステップＴ６）、図６に示すように、オペレータにより用意された画像を、表示領域を複数のブロック（図６では、Ａ１〜Ａ３、Ｂ１〜Ｂ３の６つのブロック）に区画化し、先に解析された端末能力に基づいて表示装置１８に表示すると共に、表示装置１８に表示された画像と同じ画像および音声入力装置１５により入力された例えば「画像を表示します。領域を指定して下さい。」という音声を、先に解析された端末能力に基づいて通信装置１９から電話網３を通じて携帯端末１に送信する。
【００２５】
携帯端末１は、サーバ３から画像および音声が通信部１０により受信されると、受信された画像を表示部１３に表示すると共に、受信された音声をスピーカ６から出力する（図４中、ステップＳ２）。これにより、ユーザは、サーバ３から受信された表示領域が複数のブロックに区画化された画像を見ると共に、サーバ３から受信された音声、つまり、オペレータが発した例えば「画像を表示します。領域を指定して下さい。」という音声を聞くことが可能となる。
【００２６】
ここで、ユーザは、このようにして表示部１３に表示された画像を確認すると共に、オペレータが発した音声を確認すると、オペレータからの指示にしたがって、いずれかの領域を指定する。携帯端末１は、ユーザがいずれかの領域を指定するための操作を操作部１２にて行った旨を検出すると（図４中、ステップＳ３）、ユーザが行った操作の内容を表す操作情報を通信部１０からサーバ３に送信する。
【００２７】
サーバ３は、携帯端末１から操作情報が通信装置１９により受信されると、受信された操作情報をオペレータに報知する（図４中、ステップＴ７）。そして、オペレータは、サーバ３から報知された操作情報に基づいて、次の画像を用意すると共に、用意された画像に適切な次の音声を発し、これ以降、上記した動作を繰返し、ユーザが目的地を設定する作業を支援する。尚、図７は、一例としてユーザが図６に示す地図にて例えば「Ａ２」の領域を指定した場合を示している。そして、詳しくは説明しないが、これ以降、ユーザやオペレータの操作に応じて、これと同様にして、携帯端末１の表示部１３およびサーバ３の表示装置１８に表示される画像が例えば広域な地図の画像から詳細な地図の画像に順次更新されていくことになる。
【００２８】
以上のようにして、オペレータは、ユーザが見る画像と同じ画像を見ることができ、ユーザは、サーバから受信された画像を見ると共に、オペレータが発した音声を聞きながら目的地を設定するための操作を行うことができる。
【００２９】
ところで、以上は、ユーザが領域を指定するのに操作部１２にて操作する場合を説明したものであるが、ユーザが音声を発することにより領域を指定することが可能となる構成であっても良い。また、以上は、ユーザがサーバ３から受信された画像に基づいて目的地を設定する場合を説明したものであるが、例えばユーザが現在位置から目的地に至るまでの経路を検索する場合や、電子メールを閲覧する場合や、情報検索を行う場合などでも、サーバ３から受信された画像を見ると共に、オペレータが発した音声を聞きながら、ユーザがそれらの操作を行うことが可能となる構成であっても良い。
【００３０】
以上に説明したように第１実施例によれば、サーバ３は、携帯端末１から操作情報や音声が受信されると、オペレータにより用意された画像を携帯端末１に送信するのみでなく、携帯端末１に表示される画像と同じ画像を表示すると共に、オペレータにより発せられた音声をも携帯端末１に送信し、携帯端末１は、サーバ３から画像および音声が受信されると、受信された画像を表示すると共に、受信された音声を出力するように構成した。
【００３１】
したがって、オペレータは、サーバ３が携帯端末１に表示される画像と同じ画像を表示するので、ユーザが見る画像と同じ画像を見ることができ、ユーザの立場で、つまり、ユーザが携帯端末１を操作する状況を想定しながら、ユーザの操作を適切に促すような指示を音声により行うことができる。また、ユーザは、携帯端末１がサーバから受信された画像を表示するのみでなく、携帯端末１がサーバ３から受信された音声をも出力するので、サーバ３から受信された音声、つまり、オペレータが発した音声を聞くことにより、サーバ３から受信された画像を見ると共に、オペレータが発した音声を聞きながら目的地を設定するための操作を行うことができる。これにより、ユーザが携帯端末１を操作する際の操作性を高めることができる。
【００３２】
また、サーバ３は、携帯端末１から受信された端末能力を解析することにより、携帯端末１に表示される画像と同じ画像を端末能力に基づいて表示すると共に、オペレータにより発せられた音声を端末能力に基づいて携帯端末１に送信するように構成したので、携帯端末１とサーバ３との間の性能の相違を吸収する（調整を図る）ことにより、携帯端末１とサーバ３との間の性能の相違が原因となって不具合が生じることを未然に回避することができる。
【００３３】
さらに、携帯端末１およびサーバ３は、それぞれ表示領域を区画化した状態で画像を表示するように構成したので、ユーザやオペレータは、例えば地図上の任意の地点を指定するような場合に、区画化されたいずれかの表示領域を指定することにより、適切な操作を行うことができる。
【００３４】
（第２実施例）
次に、本発明の第２実施例について、図８を参照して説明する。尚、上記した第１実施例と同じ部分については説明を省略し、異なる部分について説明する。
上記した第１実施例は、オペレータが配置されていることにより、オペレータが携帯端末１から受信された操作情報や音声に対して対応するように構成されているものであるが、これに対して、この第２実施例は、第１実施例で説明したオペレータが行う処理をサーバが行うことにより、サーバがオペレータに代わって携帯端末１から受信された操作情報や音声に対して対応するように構成されている。
【００３５】
すなわち、サーバ２１は、上記した第１実施例で説明したサーバ３とは異なって、携帯端末１から受信された操作情報を自動的に認識する操作認識機能や、携帯端末１から受信された音声を自動的に認識する音声認識機能を有しており、携帯端末１から操作情報や音声が受信されると、受信された操作情報を解析することにより、または、受信された音声に対して音声認識を行うことにより、画像および音声を用意して携帯端末１に送信するように構成されている。
【００３６】
以上に説明したように第２実施例によれば、サーバ２１は、操作認識機能や音声認識機能を有し、携帯端末１から操作情報や音声が受信されると、受信された操作情報を解析することにより、または、受信された音声に対して音声認識を行うことにより、画像を用意して携帯端末１に送信するのみでなく、音声をも用意して携帯端末１に送信するように構成した。
【００３７】
したがって、ユーザは、携帯端末１がサーバ２１から受信された画像を表示するのみでなく、携帯端末１がサーバ２１から受信された音声を出力するので、サーバ２１から受信された音声、つまり、サーバ２１が用意した音声を聞くことにより、サーバ２１から受信された画像を見ると共に、サーバ２１が用意した音声を聞きながら目的地を設定するための操作を行うことができる。これにより、上記した第１実施例に記載したものと同様にして、ユーザが携帯端末１を操作する際の操作性を高めることができる。
【００３８】
（その他の実施例）
本発明は、上記した実施例にのみ限定されるものではなく、以下のように変形または拡張することができる。
端末は、携帯端末に限らず、携帯電話機や、自動車に搭載される車載端末であっても良い。
オペレータが携帯端末から受信された操作情報や音声に対して対応する期間と、サーバが音声認識機能を働かせることにより、サーバが携帯端末から受信された操作情報や音声に対して対応する期間とが混在し、それらが選択可能な構成であっても良い。
ユーザやオペレータが領域を指定する手順として、例えばタッチペンで操作する（マーキングする）などの他の方法が採用される構成であっても良い。
【図面の簡単な説明】
【図１】本発明の第１実施例の全体構成を概略的に示す図
【図２】携帯端末の電気的な構成を示す機能ブロック図
【図３】サーバの電気的な構成を示す機能ブロック図
【図４】処理の流れを概略的に示す図
【図５】サーバにおける表示の一例を示す図
【図６】携帯端末およびサーバにおける表示の一例を示す図
【図７】図６相当図
【図８】本発明の第２実施例の全体構成を概略的に示す図
【符号の説明】
図面中、１は携帯端末（端末）、３はサーバ、２１はサーバである。[0001]
BACKGROUND OF THE INVENTION
The present invention provides a communication system that allows a user to set, for example, a destination while viewing an image received from a server, by displaying an image received from the server by a terminal such as a portable terminal. The present invention relates to a communication service method.
[0002]
[Problems to be solved by the invention]
In recent years, a server can send an image to a mobile terminal, for example, and the mobile terminal can display an image received from the server, so that a user can set a destination, for example, while viewing the image received from the server. The communication system which becomes becomes practical.
[0003]
Specifically, when the user performs an operation for starting the setting of the destination on the mobile terminal, the mobile terminal transmits operation information representing the content of the operation performed by the user to the server. When the operation information is received from the mobile terminal, the server notifies the operator of the fact, and the operator prepares an image (for example, a map) necessary for the user to set the destination. Thus, the image prepared by the operator is transmitted to the portable terminal. And a portable terminal will display the received image, if an image is received from a server. Through such a series of processing, the user can receive an image necessary for setting the destination from the server, and thereafter, the user can set a desired destination while viewing the image received from the server. Can do.
[0004]
However, if the mobile terminal simply displays the image received from the server in this way, the user has to rely on only the displayed image thereafter, and the operability is excellent. Is hard to say.
[0005]
The present invention has been made in view of the above-described circumstances, and the purpose of the present invention is when a user operates a terminal, for example, in setting a destination while viewing an image received from a server. An object of the present invention is to provide a communication system and a communication service method capable of improving operability.
[0006]
[Means for Solving the Problems]
According to the communication system described in claim 1, when the user operates the terminal or makes a sound, the terminal transmits operation information and sound representing the content of the operation to the server and prepares the server from the server. Before the received image and sound are received, the terminal capability indicating the size of the display area and the communication speed is transmitted to the server. When operation information or sound is received from the terminal, the server transmits an image prepared by the operator to the terminal. At this time, the server not only transmits the image prepared by the operator to the terminal, but also displays the same image as the image displayed on the terminal based on the terminal capability by analyzing the terminal capability received from the terminal. When the operator utters voice, the voice uttered by the operator is also transmitted to the terminal based on the terminal capability. When the terminal receives an image and sound prepared by the server from the server, the terminal displays the received image in the size of its own display area and outputs the sound received at the communication speed. To do.
[0007]
Therefore, since the server displays the same image as the image displayed on the terminal, the operator can see the same image as the image that the user sees, and assumes the situation where the user operates the terminal from the user's standpoint. However, it is possible to give an instruction to prompt the user's operation by voice. In addition, the user not only displays the image received from the server, but also outputs the sound received from the server, so the user listens to the sound received from the server, that is, the sound emitted by the operator. Thus, it is possible to perform an operation for setting a destination, for example, while viewing an image received from the server and listening to a voice uttered by the operator. Thereby, the operativity at the time of a user operating a terminal can be improved. Further, by absorbing (adjusting) the difference in performance between the terminal and the server, it is possible to avoid occurrence of a malfunction due to the difference in performance between the terminal and the server. .
[0008]
According to the communication system described in claim 2, the terminal and the server each display an image with the display area partitioned. Therefore, the user or operator can perform an appropriate operation by designating one of the partitioned display areas, for example, when designating an arbitrary point on the map.
[0009]
According to the communication system described in claim 3, when the user operates the terminal or makes a sound, the terminal transmits operation information and sound representing the content of the operation to the server and prepares the server from the server. Before the received image and sound are received, the terminal capability indicating the size of the display area and the communication speed is transmitted to the server. When the server receives operation information or voice from the terminal, the server prepares an image by analyzing the received operation information or performing voice recognition on the received voice, and transmits it to the terminal To do. At this time, the server not only transmits the image to the terminal, but also displays the same image as the image displayed on the terminal based on the terminal capability, and analyzes the operation information received from the terminal, or By performing voice recognition on the voice received from the terminal, the voice is also prepared and transmitted to the terminal based on the terminal capability. When the terminal receives an image and sound prepared by the server from the server, the terminal displays the received image in the size of its own display area and outputs the sound received at the communication speed. To do.
Therefore, the user not only displays the image received from the server, but also outputs the sound received from the server, so that the user listens to the sound received from the server, that is, the sound prepared by the server. Thus, while viewing the image received from the server, it is possible to perform an operation for setting a destination, for example, while listening to the sound prepared by the server. Thereby, similarly to what was described in Claim 1 above, the operativity at the time of a user operating a terminal can be improved. Further, by absorbing (adjusting) the difference in performance between the terminal and the server, it is possible to avoid occurrence of a malfunction due to the difference in performance between the terminal and the server. .
[0012]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
A first embodiment in which the terminal of the present invention is applied to a portable terminal will be described below with reference to FIGS.
First, FIG. 1 schematically shows the overall configuration of a communication system. The mobile terminal 1 has a structure that can be carried by the user. When the user performs an operation on the mobile terminal 1 or when the user utters a voice, operation information and voice representing the content of the operation are transmitted to the mobile phone network. And transmitted to the server 3 through the telephone network 2 composed of various telephone networks such as a fixed telephone network and the like. The server 3 includes, for example, a desktop computer terminal and peripheral devices. When operation information or sound is received from the mobile terminal 1, the server 3 displays the received operation information or outputs the received sound. Inform the operator to that effect.
[0013]
FIG. 2 shows the electrical configuration of the mobile terminal 1 as a functional block diagram. The mobile terminal 1 includes a CPU (Central Processing Unit) 4 that executes a control program (computer program in the present invention), a microphone 5, a speaker 6, a voice interface unit 7, a data interface unit 8, a multiplexing unit 9, and a communication unit 10. , A storage unit 11, an operation unit 12, and a display unit 13.
[0014]
When the microphone 5 inputs a voice uttered by the user, the microphone 5 outputs the input voice to the voice interface unit 7. When the voice interface unit 7 inputs a voice from the microphone 5, the microphone 5 performs a transmission process on the input voice. The data is output to the multiplexing unit 9. Multiplexer 9 receives audio from audio interface unit 7 and receives data from data interface unit 8, and multiplexes the input audio and data, and a transmission signal in which the audio and data are multiplexed. Is output to the communication unit 10. And the communication part 10 will transmit the input transmission signal by an electromagnetic wave, if a transmission signal is input from the multiplexing part 9. FIG.
[0015]
In addition, when the communication unit 10 receives a reception signal in which voice and data are multiplexed by radio waves, the communication unit 10 outputs the received reception signal to the multiplexing unit 9. When receiving the reception signal from the communication unit 10, the multiplexing unit 9 extracts voice and data from the input reception signal, outputs the voice to the voice interface unit 7, and outputs the data to the data interface unit 8. . The voice interface unit 7 receives the voice from the multiplexing unit 9, receives the input voice and outputs it to the speaker 6, and the speaker 6 receives the voice from the voice interface unit 7 and receives it. Output audio to the outside.
[0016]
The storage unit 11 is configured to be able to store various types of information. The operation unit 12 is operated by a user, and is configured by arranging several keys (buttons). In this case, the operation unit 12 may include a touch panel key displayed on the display unit 13. The display unit 13 displays an image (for example, a map) received from the server 3.
[0017]
FIG. 3 shows the electrical configuration of the server 3 as a functional block diagram. The server 3 displays a main body 14, a voice input device 15 for inputting a voice uttered by an operator, a voice output device 16 for outputting a voice received from the portable terminal 1, an operation device 17 operated by the operator, and various information. A display device 18 that performs communication processing with the mobile terminal 1, and a storage device 20 that stores various types of information.
In the configuration described above, the mobile terminal 1 and the server 3 can communicate voice and data (image, operation information, etc.) simultaneously.
[0018]
Next, the operation of the above configuration will be described with reference to FIGS. Here, as an example, a case where the user operates the portable terminal 1 to set a destination will be described.
[0019]
When the portable terminal 1 detects that the user has performed an operation for starting destination setting on the operation unit 12 (step S1 in FIG. 4), the portable terminal 1 communicates with the server 3 (voice and data). ) Is established by the communication unit 10, and a request signal is transmitted from the communication unit 10 to the server 3 through the telephone network 3 in order to request the start of destination setting. In this case, the mobile terminal 1 transmits a request signal to the server 3 and transmits a terminal identification number unique to the terminal from the communication unit 10 to the server 3 through the telephone network 3.
[0020]
When the request signal and the terminal identification number are received from the mobile terminal 1 by the communication device 19, the server 3 analyzes the received terminal identification number (step T1 in FIG. 4), as shown in FIG. For example, a display message “There is a request to set the destination from the mobile terminal (terminal ID: NNNN). Do you want to respond?” Is displayed on the display device 18 (step T2 in FIG. 4).
[0021]
When the operator confirms the display message displayed on the display device 18 in this manner, the operator selects whether to respond to the destination setting request from the portable terminal 1. When the server 3 detects that the operator has performed an operation for responding to the destination setting request from the portable terminal 1 on the operation device 17 (step T3 in FIG. 4), the server 3 A response signal is transmitted from the communication device 19 to the portable terminal 1 through the telephone network 3 in order to respond to the request for setting the ground.
[0022]
Next, when the response signal is received from the server 3 by the communication unit 10, the mobile terminal 1 transmits terminal capability indicating the size of the display area and the communication speed from the communication unit 10 to the server 3 through the telephone network 3. Here, the reason why the mobile terminal 1 transmits the terminal capability to the server 3 is to prevent a problem from occurring due to a difference in performance between the mobile terminal 1 and the server 3.
[0023]
When the terminal capability is received by the communication device 19 from the mobile terminal 1, the server 3 analyzes the received terminal capability (step T4 in FIG. 4) and absorbs the performance difference from the mobile terminal 1. (Aim to adjust). And the server 3 displays the outline of the external appearance (refer P) of the portable terminal 1 (the display part 13) on the display apparatus 18, as shown in FIG.5 (b) (step T5 in FIG. 4). Thereby, the operator will see the same image as that displayed on the display unit 13 of the portable terminal 1 thereafter.
[0024]
Next, the server 3 prepares an image necessary for the operator to set the destination, and makes a sound appropriate for the prepared image, for example, “Display an image. Specify an area”. When it is detected (step T6 in FIG. 4), as shown in FIG. 6, the image prepared by the operator is displayed in a plurality of blocks (in FIG. 6, six blocks A1 to A3 and B1 to B3). And is displayed on the display device 18 based on the previously analyzed terminal capability, and the same image as the image displayed on the display device 18 and the voice input device 15 for example “display image” “Specify the area.” Is transmitted from the communication device 19 to the portable terminal 1 through the telephone network 3 based on the terminal capability analyzed previously.
[0025]
When the image and sound are received from the server 3 by the communication unit 10, the portable terminal 1 displays the received image on the display unit 13 and outputs the received sound from the speaker 6 (step in FIG. 4). S2). As a result, the user sees the image in which the display area received from the server 3 is partitioned into a plurality of blocks, and displays the voice received from the server 3, that is, for example, an “image uttered by the operator. "Please specify the area."
[0026]
Here, the user confirms the image displayed on the display unit 13 in this way, and when confirming the voice uttered by the operator, designates one of the areas according to the instruction from the operator. When the mobile terminal 1 detects that the user has performed an operation for designating one of the areas on the operation unit 12 (step S3 in FIG. 4), the mobile terminal 1 displays operation information representing the content of the operation performed by the user. It is transmitted from the communication unit 10 to the server 3.
[0027]
When the operation information is received from the mobile terminal 1 by the communication device 19, the server 3 notifies the received operation information to the operator (step T7 in FIG. 4). Then, the operator prepares the next image based on the operation information notified from the server 3 and utters an appropriate next sound to the prepared image. Assist in setting the ground. FIG. 7 shows a case where the user designates, for example, an area “A2” on the map shown in FIG. 6 as an example. Then, although not described in detail, the images displayed on the display unit 13 of the mobile terminal 1 and the display device 18 of the server 3 in the same manner in accordance with the operation of the user or the operator are, for example, a wide area map. The images will be sequentially updated from the images in FIG.
[0028]
As described above, the operator can view the same image as the user sees, and the user can view the image received from the server and set the destination while listening to the voice uttered by the operator. The operation can be performed.
[0029]
By the way, the above describes the case where the user operates the operation unit 12 to specify the area. However, even if the configuration allows the user to specify the area by emitting a voice. good. In addition, the above describes the case where the user sets the destination based on the image received from the server 3. For example, when the user searches for a route from the current position to the destination, Even when browsing e-mails or searching for information, the user can perform operations while viewing images received from the server 3 and listening to voices uttered by the operator. There may be.
[0030]
As described above, according to the first embodiment, when the operation information and voice are received from the mobile terminal 1, the server 3 not only transmits the image prepared by the operator to the mobile terminal 1, but also the mobile The same image as the image displayed on the terminal 1 is displayed, and the voice uttered by the operator is also transmitted to the portable terminal 1, and the portable terminal 1 is received when the image and the voice are received from the server 3. An image is displayed and the received sound is output.
[0031]
Therefore, since the server 3 displays the same image as the image displayed on the mobile terminal 1, the operator can see the same image as the image that the user sees. An instruction that appropriately prompts the user's operation can be given by voice while assuming the operating situation. The user not only displays the image received from the server by the mobile terminal 1, but also outputs the audio received from the server 3, so that the audio received from the server 3, that is, the operator By listening to the voice uttered, the image received from the server 3 can be viewed and an operation for setting the destination can be performed while listening to the voice uttered by the operator. Thereby, the operativity at the time of a user operating the portable terminal 1 can be improved.
[0032]
In addition, the server 3 analyzes the terminal capability received from the portable terminal 1 to display the same image as the image displayed on the portable terminal 1 based on the terminal capability, and the voice uttered by the operator is displayed on the terminal. Since it was configured to transmit to the mobile terminal 1 based on the capability, the difference in performance between the mobile terminal 1 and the server 3 is absorbed (adjusted), thereby allowing the mobile terminal 1 and the server 3 to It is possible to avoid the occurrence of problems due to the difference in performance.
[0033]
Furthermore, since the mobile terminal 1 and the server 3 are configured to display an image in a state where the display area is partitioned, the user or the operator can specify the partition when specifying an arbitrary point on the map, for example. An appropriate operation can be performed by designating one of the displayed areas.
[0034]
(Second embodiment)
Next, a second embodiment of the present invention will be described with reference to FIG. The description of the same parts as those in the first embodiment will be omitted, and different parts will be described.
In the first embodiment described above, the operator is arranged so that the operator responds to the operation information and voice received from the portable terminal 1. In the second embodiment, the server performs the processing performed by the operator described in the first embodiment so that the server responds to the operation information and voice received from the portable terminal 1 on behalf of the operator. It is configured.
[0035]
That is, unlike the server 3 described in the first embodiment, the server 21 automatically recognizes the operation information received from the mobile terminal 1 and the voice received from the mobile terminal 1. When the operation information or the voice is received from the portable terminal 1, the received operation information is analyzed or the voice is received with respect to the received voice. By performing the recognition, an image and sound are prepared and transmitted to the mobile terminal 1.
[0036]
As described above, according to the second embodiment, the server 21 has an operation recognition function and a voice recognition function. When operation information and voice are received from the mobile terminal 1, the received operation information is analyzed. Or by performing voice recognition on the received voice, not only preparing an image and transmitting it to the mobile terminal 1, but also preparing a voice and transmitting it to the mobile terminal 1. did.
[0037]
Therefore, the user not only displays the image received from the server 21 by the portable terminal 1 but also outputs the voice received from the server 21, so that the voice received from the server 21, that is, the server By listening to the sound prepared by the server 21, an image received from the server 21 can be viewed, and an operation for setting a destination can be performed while listening to the sound prepared by the server 21. Thereby, the operability when the user operates the portable terminal 1 can be improved in the same manner as described in the first embodiment.
[0038]
(Other examples)
The present invention is not limited to the embodiments described above, and can be modified or expanded as follows.
The terminal is not limited to a mobile terminal, but may be a mobile phone or an in-vehicle terminal mounted on a car.
There are a period corresponding to operation information and voice received by the operator from the portable terminal, and a period corresponding to operation information and voice received by the server from the portable terminal when the server activates the voice recognition function. It may be a configuration in which they are mixed and selectable.
As a procedure in which a user or an operator designates an area, another method such as operation (marking) with a touch pen may be employed.
[Brief description of the drawings]
FIG. 1 is a diagram schematically showing an overall configuration of a first embodiment of the present invention. FIG. 2 is a functional block diagram showing an electrical configuration of a mobile terminal. FIG. 3 is a functional block showing an electrical configuration of a server. FIG. 4 is a diagram schematically showing the flow of processing. FIG. 5 is a diagram showing an example of a display on a server. FIG. 6 is a diagram showing an example of a display on a mobile terminal and a server. FIG. 8 is a diagram schematically showing the overall configuration of the second embodiment of the present invention.
In the drawings, 1 is a portable terminal (terminal), 3 is a server, and 21 is a server.

Claims

In response to the user operating the terminal or producing a sound, a terminal that transmits operation information or sound representing the content of the operation to the server,
A communication system comprising a server that transmits an image prepared by an operator to a terminal in response to reception of operation information or sound from the terminal,
The server analyzes the terminal capability received from the terminal, displays the same image as the image displayed on the terminal based on the terminal capability, and transmits the voice uttered by the operator to the terminal based on the terminal capability Configured to
Before receiving the image and sound prepared by the server from the server, the terminal transmits the terminal capability indicating the size of the display area and the communication speed to the server, and the server prepares the server by the server. A communication system configured to display a received image in the size of its own display area and to output sound received from a server at the communication speed .

The communication system according to claim 1,
A communication system, wherein the terminal and the server are configured to display an image in a state where the display area is partitioned.

In response to the user operating the terminal or producing a sound, a terminal that transmits operation information or sound representing the content of the operation to the server,
Prepare the image and send it to the terminal by analyzing the received operation information in response to the reception of the operation information and voice from the terminal, or by performing voice recognition on the received voice A communication system comprising a server that performs
The server analyzes the terminal capability received from the terminal, displays the same image as the image displayed on the terminal based on the terminal capability, and analyzes the operation information received from the terminal, or By performing voice recognition on the voice received from the terminal, the voice is prepared and transmitted to the terminal based on the terminal capability,
Before receiving the image and sound prepared by the server from the server, the terminal transmits the terminal capability indicating the size of the display area and the communication speed to the server, and the server prepares the server by the server. A communication system configured to display a received image in the size of its own display area and to output sound received from a server at the communication speed .

In response to the user operating the terminal or uttering voice, the terminal sends operation information or voice representing the content of the operation to the server,
The server is a communication service method for transmitting an image prepared by an operator to a terminal in response to reception of operation information or sound from the terminal,
Before the terminal receives the image and sound prepared in the server from the server, the terminal transmits the terminal capability indicating the size of the display area and the communication speed to the server,
The server analyzes the terminal capability received from the terminal, displays the same image as the image displayed on the terminal based on the terminal capability, and transmits the voice uttered by the operator to the terminal based on the terminal capability And
A communication service method characterized in that a terminal displays an image prepared and received from a server in the size of its own display area and outputs audio received from the server at the communication speed .

In response to the user operating the terminal or uttering voice, the terminal sends operation information or voice representing the content of the operation to the server,
The server prepares an image by analyzing the received operation information in response to reception of operation information and sound from the terminal, or by performing sound recognition on the received sound. A communication service method for transmitting to a terminal,
Before the terminal receives the image and sound prepared in the server from the server, the terminal transmits the terminal capability indicating the size of the display area and the communication speed to the server,
By analyzing the terminal capability received from the terminal, the server displays the same image as the image displayed on the terminal based on the terminal capability, and analyzing the operation information received from the terminal, or By performing voice recognition on the voice received from the terminal, prepare the voice and send it to the terminal based on the terminal capabilities,
A communication service method characterized in that a terminal displays an image prepared and received from a server in the size of its own display area and outputs audio received from the server at the communication speed .