Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5079893B2 - Data input device and method, and program - Google Patents
[go: Go Back, main page]

JP5079893B2 - Data input device and method, and program - Google Patents

Data input device and method, and program Download PDF

Info

Publication number
JP5079893B2
JP5079893B2 JP2011005206A JP2011005206A JP5079893B2 JP 5079893 B2 JP5079893 B2 JP 5079893B2 JP 2011005206 A JP2011005206 A JP 2011005206A JP 2011005206 A JP2011005206 A JP 2011005206A JP 5079893 B2 JP5079893 B2 JP 5079893B2
Authority
JP
Japan
Prior art keywords
voice
data
order
input
item name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011005206A
Other languages
Japanese (ja)
Other versions
JP2011103007A (en
Inventor
雅則 竹内
直樹 関根
誠 野沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Tec Corp
Original Assignee
Toshiba Tec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Tec Corp filed Critical Toshiba Tec Corp
Priority to JP2011005206A priority Critical patent/JP5079893B2/en
Publication of JP2011103007A publication Critical patent/JP2011103007A/en
Application granted granted Critical
Publication of JP5079893B2 publication Critical patent/JP5079893B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、音声認識技術を利用したデータ入力装置及び音声認識手段を備えたコンピュータのデータ入力方法並びに音声認識手段を備えたコンピュータを本発明のデータ入力装置として機能させるためのプログラムに関する。   The present invention relates to a data input device using voice recognition technology, a data input method for a computer having voice recognition means, and a program for causing a computer having voice recognition means to function as the data input device of the invention.

近年、入力手段としてキーボード等の代わりに音声を用いる音声認識の技術が開発され、様々な分野で実用化されつつある。音声認識は、通常、入力された音声信号から音声の特徴量である音声パターンを計算し、予め用意されている標準パターンと比較した上で類似度が高いものを抽出するという仕組みである。   In recent years, a speech recognition technique using speech instead of a keyboard or the like as an input means has been developed and is being put into practical use in various fields. Speech recognition is a mechanism in which a speech pattern that is a feature amount of speech is calculated from an input speech signal, and a speech pattern having a high degree of similarity is extracted after comparison with a standard pattern prepared in advance.

このような音声認識技術を利用して、例えばレストラン等の飲食店において客のオーダに従ったデータ入力を処理するようにしたデータ入力装置も、既に知られている(例えば、特許文献1参照)。
特開2004−326513号公報
A data input device that uses such voice recognition technology to process data input according to customer orders in restaurants such as restaurants is already known (see, for example, Patent Document 1). .
JP 2004-326513 A

しかしながら一般に、現在の音声認識技術は標準パターンの音声と同じように発話しなければ認識されない確率が高い。すなわち認識率は、人間の発話内容に左右され易い。一方、飲食店では「ラーメン」,「タンメン」,「タンタンメン」等のように品目名が似通ったメニュー商品が多々ある。これらの品目名の音声を確実に認識させるためには、1音ずつ正確にかつ丁寧に発話しなければならない。このため、オーダの音声入力には時間がかかるという懸念がある。また、様々な客層の客が出入りする飲食店の店内では、周囲の雑音や会話に影響されて音声を認識できない場合もある。しかも、「北京ダック」の「ッ」や「ハンバーグセット」の「ン」や「ッ」のような促音や撥音を含む品目名を発話すると、音声が一時的に無音すなわち非音声となるため、「ン」や「ッ」の手前で音声が終わったと認識されて誤認識が発生する場合もある。このような点から、接客を伴う飲食店向けのオーダ入力装置に音声認識技術を適用するのは実用にそぐわないと考えられていた。   In general, however, current speech recognition technology has a high probability of not being recognized unless it is spoken in the same way as a standard pattern speech. That is, the recognition rate is easily influenced by the content of human speech. On the other hand, there are many menu products with similar item names such as “ramen”, “tanmen”, “tantanmen”, etc. in restaurants. In order to reliably recognize the voices of these item names, it is necessary to speak accurately and carefully one sound at a time. For this reason, there is a concern that the voice input of the order takes time. In addition, in restaurants where customers of various customers come and go, there are cases where voices cannot be recognized due to the influence of surrounding noise and conversation. Moreover, if you utter an item name that includes a sound or sound repellent, such as “Be” of “Beijing Duck” or “N” or “tsu” of “Hamburg Set”, the sound will be temporarily silent, that is, no sound, In some cases, it may be recognized that the voice has ended before “n” or “tsu” and erroneous recognition occurs. From this point of view, it has been considered that applying speech recognition technology to an order input device for restaurants with customer service is not practical.

本発明はこのような事情に基づいてなされたもので、その目的とするところは、周囲の雑音や会話等の影響を受け難い上、発話の内容に類似したものが多かったり促音や撥音を含むことが多かったりする場合でも音声を利用して確実にデータを入力することができ、データ入力作業の簡便化を図り得るデータ入力装置及びその方法並びにプログラムを提供しようとするものである。   The present invention has been made on the basis of such circumstances, and the object of the present invention is not easily affected by ambient noise and conversations, and many of them are similar to the content of utterances, and include sounding and repelling. Therefore, it is an object of the present invention to provide a data input device, a method thereof, and a program which can input data reliably using voice even when there are many cases, and can simplify data input work.

本発明に係るデータ入力装置は、複数の注文対象品をそれぞれ識別する品目名及びこの品目名に対応して設定された品コードと前記品目名の音声データとを記憶する音声メニューファイルと、音声を入力する音声入力手段と、前記音声入力手段により音声を入力する間、継続して操作する発話キーと、前記発話キーが継続して操作されている間を音声入力区間として検知する入力区間検知手段と、前記入力区間検知手段により検知された前記音声入力区間内に前記音声入力手段を介して入力された音声パターンを認識する音声認識手段と、前記音声認識手段により認識された音声パターンデータを前記音声メニューファイルに記憶されている注文対象品毎の品目名音声データと個々に比較して一致率を求め、該一致率が予め設定されたしきい値を超える複数の品目名音声データを抽出する類似名検索手段と、前記類似名検索手段により抽出された複数の品目名音声データにそれぞれ対応する品コード及び品目名を前記音声メニューファイルから取得する類似データ取得手段と、前記類似データ取得手段により得られた複数の品目名候補について当該各候補の品目名を前記一致率が高い順に選択可能に一覧表示する候補メニュー表示手段と、前記候補メニュー表示手段により表示された複数の品目名の中から任意の品目名が選択されると、その選択された品目名をもとに前記音声メニューファイルから読み出した品コードをオーダ入力データとして処理する音声入力データ処理手段と、前記音声入力データ処理手段でオーダ入力データとして処理された品目名及びオーダ点数を含むオーダ入力データの一覧をオーダメニューとして表示するオーダメニュー表示手段と、前記オーダメニュー表示手段に一覧表示されたオーダ入力データを確定する確定キーと、前記確定キーが操作された際、前記オーダメニュー表示手段で表示された品目名に対する品コード及びオーダ点数を含むオーダ入力データを、オーダデータを記憶管理するステーションに送信する送信手段とを具備したことを特徴とする。 The data input device according to the present invention includes an audio menu file for storing an item name for identifying a plurality of items to be ordered, an item code set corresponding to the item name, and audio data of the item name, and an audio Voice input means for inputting a voice, an utterance key that is operated continuously while voice is input by the voice input means, and an input section detection that detects that the voice key is continuously operated as a voice input section means, a speech recognition means for recognizing the speech pattern input through the voice input means to said speech input in the interval detected by the input section detecting means, a sound pattern data recognized by said speech recognition means the sought item name voice data and match rates compared individually audio menu each ordered to products stored in a file, the matching ratio is preset threshold A similar name search means for extracting a plurality of item-name sound data of more than, similar to get the goods codes and item names corresponding to a plurality of item name audio data extracted by said similar name retrieval means from said voice menu file a data acquisition means, a candidate menu display means for said selectably list item name of the each candidate for a plurality of item name candidates obtained by the similar data acquisition unit sequentially higher the match rate, the candidate menu display means When an arbitrary item name is selected from the plurality of item names displayed by the above, voice input data for processing the item code read from the voice menu file based on the selected item name as order input data Processing means and an order name including the item name and the order score processed as the order input data by the voice input data processing means. Order menu display means for displaying a list of order input data as an order menu, a confirm key for confirming the order input data displayed in a list on the order menu display means, and the order menu display when the confirm key is operated Transmission means for transmitting order input data including an item code and an order score for the item name displayed by the means to a station that stores and manages the order data.

また、本発明に係るデータ入力方法は、複数の注文対象品をそれぞれ識別する品目名及びこの品目名に対応して設定された品コード前記品目名の音声データとを記憶する音声メニューファイルと、音声を入力する音声入力手段と、前記音声入力手段により音声を入力する間、継続して操作する発話キーと、前記音声入力手段を介して入力された音声を認識する音声認識手段とを備えたコンピュータのデータ入力方法であって、前記コンピュータは、前記発話キーが継続して操作されている間を音声入力区間として検知し、前記検知された音声入力区間内に入力された音声パターンを認識し、認識された音声パターンデータで前記音声メニューファイルに記憶されている注文対象品毎の品目名音声データと個々に比較して一致率を求め、該一致率が予め設定されたしきい値を超える複数の品目名音声データを抽出し、抽出された複数の品目名音声データにそれぞれ対応する品コード及び品目名を前記音声メニューファイルから取得し、得られた複数の品目名候補について当該各候補の品目名を前記一致率が高い順に選択可能に一覧表示し、該一覧表示された複数の品目名の中から任意の品目名が選択されると、その選択された品目名をもとに前記音声メニューファイルから読み出した品コードをオーダ入力データとして処理し、その品目名及びオーダ点数を含むオーダ入力データの一覧をオーダメニューとして表示し、確定キーが操作された際、前記オーダメニュー表示手段で表示された品目名に対する品コード及びオーダ点数を含むオーダ入力データを、オーダデータを記憶管理するステーションに送信することを特徴とする。 Further, the data input method according to the present invention includes a voice menu file for storing audio data item name to identify a plurality of orders goods for each and the item name goods code set in correspondence with the item name comprises an audio input means for inputting a voice, while inputting a speech by the speech input means, a speech key to be operated continuously, and speech recognition means for recognizing a voice input through the voice input means A computer data input method, wherein the computer detects a voice input section while the utterance key is continuously operated, and recognizes a voice pattern input in the detected voice input section. and obtains the recognized item name voice data and match rates compared individually for each ordered to goods stored in the voice menu file in the voice pattern data, the one Rate extracts a plurality of item name audio data exceeding the preset threshold value, respectively on the extracted plurality of line items audio data to obtain a corresponding article code and item name from said voice menu file, obtained and a plurality of item name candidate item name of each of the candidate and selectably listed in order the matching rate is high, when an arbitrary item name from among a plurality of line items that are the list is selected, the The item code read from the voice menu file based on the selected item name is processed as order input data, a list of the order input data including the item name and the order score is displayed as an order menu, and the enter key is operated. The order input data including the item code and the order score for the item name displayed on the order menu display means is stored and managed. And transmits to the station that.

また、本発明に係るプログラムは、複数の注文対象品をそれぞれ識別する品目名及びこの品目名に対応して設定された品コードと前記品目名の音声データとを記憶する音声メニューファイルと、音声を入力する音声入力手段と、前記音声入力手段により音声を入力する間、継続して操作する発話キーとを備えたコンピュータに、前記発話キーが継続して操作されている間を音声入力区間として検知する入力区間検知機能と、前記入力区間検知手段により検知された前記音声入力区間内に前記音声入力手段を介して入力された音声パターンを認識する音声認識機能と、前記音声認識手段により認識された音声パターンデータで前記音声メニューファイルに記憶されている注文対象品毎の品目名音声データと個々に比較して一致率を求め、該一致率が予め設定されたしきい値を超える複数の品目名音声データを抽出する類似名検索機能と、前記類似名検索機能により抽出された複数の品目名音声データにそれぞれ対応する品コード及び品目名前記音声メニューファイルから取得する類似データ取得機能と、前記類似データ取得機能により得られた複数の品目名候補について当該各候補の品目名を前記一致率が高い順に選択可能に一覧表示する候補メニュー表示機能と、前記候補メニュー表示機能により表示された複数の品目名の中から任意の品目名が選択されると、その選択された品目名をもとに前記音声メニューファイルから読み出した品コードをオーダ入力データとして処理する音声入力データ処理機能と、前記音声入力データ処理機能で処理された品目名及びオーダ点数を含むオーダ入力データの一覧をオーダメニューとして表示するオーダメニュー表示機能と、前記オーダメニュー表示機能に一覧表示されたオーダ入力データを確定する確定キーが操作された際、前記オーダメニュー表示機能で表示された品目名に対する品コード及びオーダ点数を含むオーダ入力データを、オーダデータを記憶管理するステーションに送信する送信機能とを実現させるためのものである。 In addition, the program according to the present invention includes an audio menu file for storing an item name for identifying a plurality of items to be ordered, an item code set corresponding to the item name , and audio data of the item name , A voice input section is a period during which the utterance key is continuously operated in a computer provided with a voice input means for inputting the voice and an utterance key that is operated continuously while the voice is input by the voice input means. An input section detection function to be detected , a voice recognition function for recognizing a voice pattern input via the voice input means within the voice input section detected by the input section detection means, and a voice recognition means sought item name voice data and match rates compared individually for each ordered to goods stored in the voice menu file in the voice pattern data, said matching There the similarity name search function for extracting a plurality of item names audio data exceeding the preset threshold value, the goods codes and item names corresponding to a plurality of item name audio data extracted by said similar name search function Similar data acquisition function acquired from the voice menu file, and candidate menu display for selecting a plurality of item name candidates obtained by the similar data acquisition function so that the item names of each candidate can be selected in descending order of the match rate order function and, when an arbitrary item name from among a plurality of item name displayed by the candidate menu display function is selected, the article code read from said voice menu file based on the selected item name and the Includes voice input data processing function to be processed as input data, and item name and order score processed by the voice input data processing function And order menu display function of displaying a list of over Da input data as the order menu, when the enter key to confirm the order entry data listed in the order menu display function is operated is displayed in the order menu display function This is to realize a transmission function for transmitting the order input data including the item code and the order score for the item name to the station that stores and manages the order data .

かかる手段を講じた本発明によれば、周囲の雑音や会話等の影響を受け難い上、発話の内容に類似したものが多かったり促音や撥音を含むことが多かったりする場合でも音声を利用して確実にデータを入力することができ、データ入力作業の簡便化を図ることができる効果を奏する。   According to the present invention in which such measures are taken, it is difficult to be affected by ambient noise, conversation, etc., and voice is used even when there are many things similar to the content of the utterance or often contain prompting sounds and sound repellents. As a result, data can be input reliably, and the data input operation can be simplified.

以下、本発明を実施するための最良の形態について、図面を用いて説明する。
なお、この実施の形態は、飲食店において客が注文するメニュー商品のオーダデータ入力を処理するデータ入力装置,いわゆるオーダ入力装置に本発明を適用した場合である。
The best mode for carrying out the present invention will be described below with reference to the drawings.
This embodiment is a case where the present invention is applied to a data input device that processes order data input of a menu item ordered by a customer at a restaurant, so-called order input device.

図1は本実施の形態におけるオーダ入力装置1の外観を示す斜視図であり、図2は同オーダ入力装置1の要部構成を示すブロック図である。オーダ入力装置1は、装置本体11とディスプレイユニット12とから構成されている。また、音声を入力する音声入力手段としてマイクロホン13が設けられている。ディスプレイユニット12は、例えば液晶を利用したディスプレイ121とタッチパネルセンサ122とからなるタッチパネル式のものである。なお、マイクロホン13は、図示の如く装置本体11から突出して設けられているものに限定されるものではなく、例えばディスプレイユニット12に内蔵されていてもよい。   FIG. 1 is a perspective view showing an external appearance of an order input device 1 according to the present embodiment, and FIG. 2 is a block diagram showing a main configuration of the order input device 1. The order input device 1 includes a device main body 11 and a display unit 12. A microphone 13 is provided as a voice input means for inputting voice. The display unit 12 is a touch panel type composed of a display 121 using a liquid crystal and a touch panel sensor 122, for example. Note that the microphone 13 is not limited to the one protruding from the apparatus main body 11 as shown in the figure, and may be built in the display unit 12, for example.

装置本体11には、コンピュータの中枢部分を担うCPU(Central Processing Unit)111、前記CPU111の動作を制御するプログラム等の固定的データが予め格納されたROM(Read Only Memory)112、前記CPU111によってデータの書込みや読出しが行われるRAM(Random Access Memory)113、大容量の記憶媒体であるHDD(Hard Disk Drive)114、LAN(Local Area Network)等の通信ネットワークを介して接続される電子機器とのデータ通信を制御する通信インターフェイス115、前記ディスプレイ121の画面表示を制御する表示コントローラ116、前記タッチパネルセンサ122からタッチ検出信号が入力されるタッチパネルインターフェイス117、前記マイクロホン13から入力されたアナログの音声信号をディジタル信号に変換するA/Dコンバータ118及びこのA/Dコンバータ118から出力されるディジタル音声信号に基づいて音声認識を行う音声認識エンジン119が搭載されている。そしてCPU111と、ROM112,RAM113,HDD114,通信インターフェイス115,表示コントローラ116,タッチパネルインターフェイス117及び音声認識エンジン119とは、アドレスバス,データバス等のバスラインBLで電気的に接続されている。   The apparatus main body 11 includes a CPU (Central Processing Unit) 111 that plays a central part of the computer, a ROM (Read Only Memory) 112 in which fixed data such as a program for controlling the operation of the CPU 111 is stored in advance, and data by the CPU 111. RAM (Random Access Memory) 113 to which data is written and read, HDD (Hard Disk Drive) 114 as a large-capacity storage medium, and electronic devices connected via a communication network such as a LAN (Local Area Network) A communication interface 115 that controls data communication, a display controller 116 that controls screen display of the display 121, a touch panel interface 117 that receives a touch detection signal from the touch panel sensor 122, and an analog audio signal that is input from the microphone 13. Digital signal Speech recognition engine 119 to perform speech recognition based on the digital audio signal output from the A / D converter 118 and the A / D converter 118 for converting is mounted on. The CPU 111, the ROM 112, the RAM 113, the HDD 114, the communication interface 115, the display controller 116, the touch panel interface 117, and the voice recognition engine 119 are electrically connected by a bus line BL such as an address bus or a data bus.

通信インターフェイス115には、各客のオーダデータを記憶管理するステーションが接続されている。また、厨房への調理指示を行う厨房端末機や、飲食代金の会計を処理するPOS端末機等の電子機器が接続されている。   The communication interface 115 is connected to a station for storing and managing each customer's order data. Also, electronic devices such as a kitchen terminal that gives instructions for cooking to the kitchen and a POS terminal that processes accounting for food and drink are connected.

HDD114には、図3に示すように、メニューマスタファイル31,音声メニューファイル32,音響辞書ファイル33等の種々のデータファイルが保存されている。   As shown in FIG. 3, the HDD 114 stores various data files such as a menu master file 31, an audio menu file 32, and an acoustic dictionary file 33.

メニューマスタファイル31には、当該オーダ入力装置1が使用される飲食店で提供される各種のメニュー商品をそれぞれ識別するための各メニュー品コードに対応して、そのメニュー品コードによって特定される飲食メニュー商品の品目名,単価等のメニュー商品に関する種々のデータが格納されている。   The menu master file 31 corresponds to each menu item code for identifying each of the various menu items provided at the restaurant where the order input device 1 is used, and is identified by the menu item code. Various data relating to the menu product such as the item name and unit price of the menu product are stored.

音声メニューファイル32には、前記各メニュー品コードに対応して、そのメニュー品コードによって特定されるメニュー商品の品目名と、この品目名を発話したときの音声の特徴量を数値化した標準的な音声パターンである品目名音声データとが格納されている。ここに、音声メニューファイル32は、複数の対象(注文対象品)をそれぞれ識別する対象名(品目名)及びこの対象名に対応して設定された対象コード(品コード)と上記対象名の音声データとを記憶する記憶手段を構成している。なお、音声メニューファイル32に品目名データを記憶せず、メニューマスタファイル31の品目名データを利用してもよい。   In the voice menu file 32, a standardized value is obtained by quantifying the item name of the menu item specified by the menu item code and the voice feature amount when the item name is spoken in correspondence with each menu item code. Item name voice data which is a simple voice pattern is stored. Here, the voice menu file 32 includes a target name (item name) for identifying a plurality of targets (order target products), a target code (product code) set corresponding to the target name, and a voice of the target name. Storage means for storing data is configured. The item name data in the menu master file 31 may be used without storing the item name data in the voice menu file 32.

音響辞書ファイル33には、所定の語句を発話したときの音声の特徴量を数値化した標準的な音声パターンデータである語句音声データが格納されている。音声メニューファイル32と音響辞書ファイル33との違いについて説明すると、音響辞書ファイル33は、音声認識エンジン119がマイクロホン13から入力された音声の認識を行う際に使用するデータファイルであるのに対し、音声メニューファイル32は、CPU111が音声認識エンジン119で認識された音声パターンデータに類似する品目名音声データを抽出する際に使用するデータファイルである。   The acoustic dictionary file 33 stores phrase audio data, which is standard audio pattern data obtained by quantifying the voice feature amount when a predetermined word is uttered. The difference between the voice menu file 32 and the acoustic dictionary file 33 will be described. The acoustic dictionary file 33 is a data file used when the voice recognition engine 119 recognizes the voice input from the microphone 13. The voice menu file 32 is a data file used when the CPU 111 extracts item name voice data similar to the voice pattern data recognized by the voice recognition engine 119.

例えばメニュー商品「ラーメン」,「タンメン」,「タンタンメン」の3品目を例にすると、音響辞書ファイル33には語句「ラー」と語句「メン」と語句「タン」の各語句音声データが格納されている。一方、音声メニューファイル32には、メニュー商品「ラーメン」のメニューコードに対しては、語句「ラー」と語句「メン」の2つの語句音声データを結合した品目名音声データが格納されており、メニュー商品「タンメン」のメニューコードに対しては、語句「タン」と語句「メン」の2つの語句音声データを結合した品目名音声データが格納されており、メニュー商品「タンタンメン」のメニューコードに対しては、語句「タン」,語句「タン」及び語句「メン」の3つの語句音声データを結合した品目名音声データが格納されている。   For example, in the case of three items of menu products “ramen”, “tanmen”, and “tantanmen”, the audio dictionary file 33 stores the phrase voice data of the phrase “ra”, the phrase “men”, and the phrase “tan”. ing. On the other hand, the voice menu file 32 stores item name voice data obtained by combining two phrase voice data of the phrase “Ra” and the phrase “Men” for the menu code of the menu item “Ramen”. For the menu code of the menu product "Tanmen", the item name voice data that combines the two phrases audio data of the phrase "Tan" and the phrase "Men" is stored. On the other hand, item name voice data obtained by combining three phrase voice data of the phrase “tan”, the phrase “tan”, and the phrase “men” is stored.

かかる構成のオーダ入力装置は、音声によるオーダデータ入力機能を実現するためのプログラムがROM112に保存されている。また、このプログラムを実行する上で必要なメモリエリアとして、図4に示すように、入力音声データメモリ41と、対比音声データメモリ42と、オーダ候補テーブル43の各メモリエリアがRAM113に形成されている。因みにオーダ候補テーブル43は、1からの昇順に設定されたテーブル番号に対応して、メニュー品コード,品目名及び一致率の各データを書き込めるようになっている。なお、プログラムはHDD114に保存し、起動時にCPU111が読み出してRAM113のプログラムエリアに展開するようにしてもよい。   In the order input device having such a configuration, a program for realizing a voice order data input function is stored in the ROM 112. As memory areas necessary for executing this program, as shown in FIG. 4, each of the memory areas of the input voice data memory 41, the comparison voice data memory 42, and the order candidate table 43 is formed in the RAM 113. Yes. Incidentally, the order candidate table 43 can write menu item code, item name, and match rate data corresponding to the table numbers set in ascending order from 1. Note that the program may be stored in the HDD 114 and read out by the CPU 111 at the time of activation and expanded in the program area of the RAM 113.

しかして、例えば電源オンによりオーダ入力装置1が立ち上がり、業務メニューの中からオーダ入力業務が選択されると、上記プログラムが起動する。これにより、CPU111は、図5の流れ図に示す手順に従い客のオーダデータ入力を処理するものとなっている。   Thus, for example, when the power is turned on, the order input device 1 starts up, and when the order input job is selected from the job menu, the program is started. Thus, the CPU 111 processes customer order data input according to the procedure shown in the flowchart of FIG.

先ず、CPU111は、ST(ステップ)1として座席情報,人数,担当者情報等のオーダ入力に関する初期情報の入力画面をディスプレイ121に表示させる。また、RAM113に形成されているオーダメモリ(不図示)をクリアする。次に、CPU111は、ST2として上記初期情報が入力されるのを待機する。そして、タッチパネルセンサ122からの信号により、これらの座席情報,人数,担当者情報等が入力されたことを検知したならば、CPU111は、ST3としてディスプレイ121の画面をオーダ入力画面50に切換える。   First, the CPU 111 causes the display 121 to display an initial information input screen regarding order input such as seat information, number of persons, person-in-charge information as ST (step) 1. Further, the order memory (not shown) formed in the RAM 113 is cleared. Next, the CPU 111 waits for the input of the initial information as ST2. If it is detected by the signal from the touch panel sensor 122 that the seat information, the number of persons, the person in charge information, and the like are input, the CPU 111 switches the screen of the display 121 to the order input screen 50 as ST3.

なお、初期情報の項目は、座席情報,人数及び担当者情報の3項目に限定されるものではなく、他の項目を組み合わせても良い。また、いずれかの項目を省略してもよい。あるいは初期情報の入力を無くし、立ち上がり後の初期画面をオーダ入力画面50としてもよい。   The items of initial information are not limited to the three items of seat information, number of persons, and person-in-charge information, and other items may be combined. Any item may be omitted. Alternatively, the initial information may be omitted, and the initial screen after rising may be the order input screen 50.

オーダ入力画面50の一例を図7に示す。図示するようにオーダ入力画面50には、「0」〜「9」のテンキー51の他、複数のメニュー分類キー52、複数のメニューキー53、乗算キー54、確認キー55、取消キー56、音声認識キー57等のタッチキーイメージが表示されている。また、オーダ入力内容を確認するためのオーダメニュー欄58や、置数データを表示するための置数表示欄59等が形成されている。各メニュー分類キー52には、単品メニュー,セットメニュー,飲料メニュー,デザートメニュー等のように各種の飲食メニュー商品を分類する項目がそれぞれ割り当てられている。各メニューキー53には、上記メニュー分類キー52のタッチ操作により選択されたメニュー分類項目に属する各種飲食メニュー商品の品目がそれぞれ割り当てられる。   An example of the order input screen 50 is shown in FIG. As shown in the figure, the order input screen 50 includes a plurality of menu classification keys 52, a plurality of menu keys 53, a multiplication key 54, a confirmation key 55, a cancel key 56, a voice in addition to the numeric keys 51 of “0” to “9”. Touch key images such as the recognition key 57 are displayed. Further, an order menu column 58 for confirming the order input content, a number display column 59 for displaying the number data, and the like are formed. Each menu classification key 52 is assigned an item for classifying various food menu items such as a single item menu, a set menu, a beverage menu, and a dessert menu. Each menu key 53 is assigned an item of various food menu items belonging to the menu category selected by the touch operation of the menu category key 52.

オーダ入力画面50を表示後、CPU111は、ST4として音声によるオーダデータ入力が宣言されたか否かを判断する。音声によるオーダデータ入力が宣言されていない場合には、CPU111は、ST5としてキー操作によるオーダデータ入力が行われたか否かを判断する。キー操作によるオーダデータ入力が行われていない場合には、CPU111は、ST7の処理に進む。   After displaying the order input screen 50, the CPU 111 determines whether or not voice order data input is declared in ST4. If the order data input by voice is not declared, the CPU 111 determines whether or not the order data input by key operation is performed at ST5. If no order data is input by key operation, the CPU 111 proceeds to the process of ST7.

ST5にてタッチパネルセンサ122からの信号により各メニューキー53のなかのいずれかのメニューキーがタッチ操作されたことを検知した場合には、そのタッチ操作されたメニューキーに割り当てられているメニュー商品のオーダデータ入力が宣言されたので、CPU111は、ST6としてオーダデータ入力処理を実行する。すなわち、当該メニュー商品のメニュー品コードとオーダ点数nをRAM113のオーダメモリ(不図示)に登録する。また、当該メニュー商品の品目名とオーダ点数nをオーダメニュー欄58に表示させる。なお、オーダ点数nは初期値を「1」とし、テンキー51と乗算キー54によって乗数が入力された場合にはその乗数とする。その後、CPU111は、ST7の処理に進む。ST7では、CPU111は、オーダデータ入力の確認が宣言されたか否かを判断する。オーダデータ入力の確認が宣言されていない場合には、ST4の処理に戻る。   If it is detected in ST5 that any of the menu keys 53 is touched by a signal from the touch panel sensor 122, the menu item assigned to the touched menu key is selected. Since order data input has been declared, the CPU 111 executes an order data input process as ST6. That is, the menu item code and the order number n of the menu item are registered in the order memory (not shown) of the RAM 113. Further, the item name and the order score n of the menu product are displayed in the order menu column 58. The order number n is set to “1” as an initial value, and when a multiplier is input by the ten key 51 and the multiplication key 54, the order number is the multiplier. Thereafter, the CPU 111 proceeds to the process of ST7. In ST7, the CPU 111 determines whether confirmation of order data input has been declared. If confirmation of order data input is not declared, the process returns to ST4.

ST7にてタッチパネルセンサ122からの信号により確認キー55がタッチ操作されたことを検知した場合には、オーダデータ入力の確認が宣言されたので、CPU111は、ST8としてオーダデータ入力済か否かを判断する。オーダメモリにデータが登録されていない場合には、オーダデータ入力済でないので、ST4の処理に戻る。   If it is detected in ST7 that the confirmation key 55 has been touched by a signal from the touch panel sensor 122, confirmation of order data input has been declared, so the CPU 111 determines whether or not the order data has been input in ST8. to decide. If no data is registered in the order memory, the order data has not been input, and the process returns to ST4.

ST8にてオーダメモリにデータが登録されている場合には、オーダデータ入力済なので、CPU111は、ST9としてディスプレイ121の画面をオーダ確認画面に切換える。図示しないが、オーダ確認画面には、オーダデータ入力されたメニュー商品の品名,オーダ点数,価格や合計金額等が表示される。また、オーダの確定を宣言する確定キーのタッチキーイメージが表示される。   If data has been registered in the order memory in ST8, since the order data has already been input, the CPU 111 switches the screen of the display 121 to the order confirmation screen in ST9. Although not shown, on the order confirmation screen, the item name, the order score, the price, the total amount, and the like of the menu product for which order data has been input are displayed. In addition, a touch key image of a confirmation key that declares confirmation of the order is displayed.

ここで、ST10としてタッチパネルセンサ122からの信号により上記確定キーがタッチ操作されたことを検知したならば、CPU111は、ST11として通信インターフェイス115を介して接続されたステーションに対し、オーダメモリに登録されたオーダデータを送信する。以上で、1客に対するオーダ入力処理を終了し、CPU111は、ディスプレイ121の画面を初期情報入力画面に戻す。   Here, if it is detected in ST10 that the confirmation key has been touched by a signal from the touch panel sensor 122, the CPU 111 registers the station connected through the communication interface 115 in ST11 in the order memory. Order data is sent. This completes the order input process for one customer, and the CPU 111 returns the screen of the display 121 to the initial information input screen.

ST4にてタッチパネルセンサ122からの信号により音声認識キー57がタッチ操作されたことを検知した場合には、音声によるオーダデータ入力が宣言されたので、CPU111は、ST12としてディスプレイ121の画面を音声オーダ入力画面60に切換える。   When it is detected in ST4 that the voice recognition key 57 has been touched by a signal from the touch panel sensor 122, since order data input by voice is declared, the CPU 111 displays the screen of the display 121 as a voice order in ST12. Switch to the input screen 60.

音声オーダ入力画面60の一例を図8に示す。図示するように音声オーダ入力画面60には、テンキー61の他、複数の候補メニューキー62、乗算キー63、確認キー64、取消キー65、音声認識終了キー66、発話キー67等のタッチキーイメージが表示されている。また、オーダ入力内容を確認するためのオーダメニュー欄68や、置数データを表示するための置数表示欄69等が形成されている。複数の候補メニューキー62には、この時点では1つもメニュー商品の品目が表示されていない。発話キー67には、「このボタンを押しながら発話してください」なるメッセージが表示されている。ここに、CPU111は、ディスプレイ121に発話キー67、つまりは音声入力指示用のタッチキーイメージを表示させる画面制御手段を構成する。   An example of the voice order input screen 60 is shown in FIG. As shown in the figure, on the voice order input screen 60, touch key images such as a plurality of candidate menu keys 62, a multiplication key 63, a confirmation key 64, a cancel key 65, a voice recognition end key 66, a speech key 67, etc. in addition to the numeric keypad 61. Is displayed. Also, an order menu column 68 for confirming the order input content, a number display column 69 for displaying the number data, and the like are formed. In the plurality of candidate menu keys 62, no item of the menu product is displayed at this time. In the utterance key 67, a message “Please speak while pressing this button” is displayed. Here, the CPU 111 constitutes screen control means for displaying the utterance key 67, that is, the touch key image for voice input instruction, on the display 121.

音声オーダ入力画面60を表示させた後、CPU111は、ST13として音声認識終了が宣言されたか否かを判断する。音声入力終了が宣言されていない場合には、CPU111は、ST14として発話キー67がオン操作されたか否かを判断する。発話キー67がオン操作されていない場合には、CPU111は、ST13の処理に戻る。   After displaying the voice order input screen 60, the CPU 111 determines whether or not the voice recognition end is declared in ST13. When the voice input end is not declared, the CPU 111 determines whether or not the speech key 67 is turned on in ST14. If the speech key 67 is not turned on, the CPU 111 returns to the process of ST13.

ST14にてタッチパネルセンサ122からの信号により発話キー67がタッチ操作されたことを検知すると、CPU111は、マイクロホン13を介して入力され、A/Dコンバータ118にてディジタルデータに変換された音声データを音声認識エンジン119に取込む。この音声データの取込みは、ST16として発話キー67から指が離されてオフ操作されるまで継続する。そして、発話キー67のオフ操作を検知すると、CPU111は、ST17として音声認識エンジン119を動作させて、発話キー67がオン操作されている期間中に取り込んだ音声データの音声パターンを認識する。   When detecting that the utterance key 67 is touched by a signal from the touch panel sensor 122 in ST14, the CPU 111 receives the voice data input through the microphone 13 and converted into digital data by the A / D converter 118. The voice recognition engine 119 is taken in. The capturing of the voice data continues until the finger is released from the speech key 67 and turned off in ST16. When detecting the turn-off operation of the utterance key 67, the CPU 111 operates the voice recognition engine 119 in ST17 to recognize the voice pattern of the voice data captured during the period when the utterance key 67 is turned on.

ここに、CPU111は、ST14及びST16の処理により、音声入力の開始と終了を検知する入力区間検知手段を構成する。また、ST15の処理により、音声入力開始から終了までの区間内に音声入力手段を介して入力された音声パターンを認識する音声認識手段を構成する。   Here, the CPU 111 constitutes an input section detecting means for detecting the start and end of voice input by the processes of ST14 and ST16. Further, the processing of ST15 constitutes a voice recognition means for recognizing a voice pattern input via the voice input means within a section from the voice input start to the end.

入力された音声データの音声パターン認識を終了すると、CPU111は、ST18として図6に具体的に示すメニュー候補検索処理を実行する。すなわちCPU111は、ST31として認識した音声パターンに相当する入力音声データを入力音声データメモリ41に上書きする。また、ST32としてオーダ候補テーブル43からメニュー品コード,品目名及び一致率の各データをクリアして、オーダ候補テーブル43を初期化する。   When the voice pattern recognition of the input voice data is completed, the CPU 111 executes a menu candidate search process specifically shown in FIG. 6 as ST18. That is, the CPU 111 overwrites the input sound data memory 41 with the input sound data corresponding to the sound pattern recognized as ST31. In ST32, the menu item code, the item name, and the match rate data are cleared from the order candidate table 43, and the order candidate table 43 is initialized.

次に、CPU111は、ST33として音声メニューファイル32から1メニュー商品の品目名音声データを読み込み、対比音声データメモリ42に上書きする。そして、ST34として入力音声データメモリ41内の入力音声データと対比音声データメモリ42内の品目名音声データとを比較して、音声パターンの一致率を算出する。   Next, the CPU 111 reads the item name voice data of one menu product from the voice menu file 32 and overwrites the comparison voice data memory 42 in ST33. In ST34, the input voice data in the input voice data memory 41 is compared with the item name voice data in the comparison voice data memory 42, and the voice pattern matching rate is calculated.

次に、CPU111は、ST35として上記音声パターンの一致率が予め設定されたしきい値P(例えば50%)を超えているか否かを判断する。ここで、一致率がしきい値P以下の場合には、CPU111は、ST38の処理に進む。   Next, in step ST35, the CPU 111 determines whether or not the voice pattern matching rate exceeds a preset threshold value P (for example, 50%). If the coincidence rate is equal to or less than the threshold value P, the CPU 111 proceeds to the process of ST38.

これに対し、一致率がしきい値Pを越える場合には、CPU111は、ST36として当該品目名音声データに対応するメニュー品コードと品目名を音声メニューファイル32から読み込む。そして、このメニュー品コード,品目名及び一致率の各データをオーダ候補テーブル43に書き込む。しかる後、ST37としてオーダ候補テーブル43に複数のデータが格納されている場合には、テーブル番号「1」のデータから順に一致率が低くなるようにデータの並べ替えを行う。その後、ST38の処理に進む。   On the other hand, when the matching rate exceeds the threshold value P, the CPU 111 reads the menu item code and the item name corresponding to the item name audio data from the audio menu file 32 as ST36. Then, each data of the menu item code, item name, and matching rate is written in the order candidate table 43. Thereafter, when a plurality of data is stored in the order candidate table 43 as ST37, the data is rearranged so that the matching rate decreases in order from the data of the table number “1”. Thereafter, the process proceeds to ST38.

ST38では、音声メニューファイル32に他のメニュー商品のデータが存在するか否かを判断する。そして、他のメニュー商品のデータが存在する場合にはST33の処理に戻り、音声メニューファイル32から他のメニュー商品の品目名音声データを読み込んで対比音声データメモリ42に上書きする。そして以後、ST33〜ST38の各処理を再度実行する。   In ST38, it is determined whether or not data of another menu product exists in the voice menu file 32. If other menu product data exists, the process returns to ST33, and the item name voice data of the other menu product is read from the voice menu file 32 and overwritten in the comparison voice data memory. Thereafter, the processes of ST33 to ST38 are executed again.

ここに、CPU111は、ST31〜ST35,ST38の各処理により、認識された音声パターンデータで記憶手段(音声メニューファイル32)に記憶されている対象毎の対象名音声データ(品目名音声データ)を検索して、類似する複数の対象名音声データを抽出する類似名検索手段を構成する。また、ST36の処理により、抽出された複数の対象名音声データにそれぞれ対応する対象コード(品コード)及び対象名(品目名)を記憶手段(音声メニューファイル32)から取得する類似データ取得手段を構成する。   Here, the CPU 111 obtains the target name voice data (item name voice data) for each target stored in the storage means (voice menu file 32) as the recognized voice pattern data by the processes of ST31 to ST35 and ST38. Similar name search means for searching and extracting a plurality of similar target name speech data is configured. Further, similar data acquisition means for acquiring the target code (product code) and the target name (item name) respectively corresponding to the plurality of extracted target name voice data by the processing of ST36 from the storage means (voice menu file 32). Configure.

ST38にて音声メニューファイル32に他のメニュー商品のデータが存在しないことを確認した場合には、CPU111は、ST39としてオーダ候補テーブル43に記憶されているデータ数が2以上か否かを判断する。すなわち、入力音声データと音声パターンの一致率がP%を超える品目名音声データが2つ以上抽出されたか否かを判断する。ここで、データ数が1以下であった場合には、CPU111は、ST40として予め設定されたしきい値Pに1未満の係数(例えば0.9)を乗算して、しきい値Pを下げる。しかる後、ST32に戻り、オーダ候補テーブル43を初期化した後、ST33以降の処理を再度実行する。   If it is confirmed in ST38 that there is no other menu product data in the voice menu file 32, the CPU 111 determines whether the number of data stored in the order candidate table 43 is 2 or more in ST39. . That is, it is determined whether or not two or more item name voice data having a matching rate between the input voice data and the voice pattern exceeding P% are extracted. If the number of data is 1 or less, the CPU 111 multiplies the threshold value P preset in ST40 by a coefficient less than 1 (for example, 0.9) to lower the threshold value P. . Thereafter, the process returns to ST32, the order candidate table 43 is initialized, and the processes after ST33 are executed again.

ST39にてオーダ候補テーブル43に記憶されているデータ数が2以上の場合には、CPU111は、ST41としてオーダ候補テーブル43に記憶されている2以上の品目名データを、音声オーダ入力画面60の候補メニューキー62に順番に表示させる。以上で、このメニュー候補検索処理を終了する。   When the number of data stored in the order candidate table 43 in ST39 is 2 or more, the CPU 111 stores two or more item name data stored in the order candidate table 43 in ST41 on the voice order input screen 60. The candidate menu keys 62 are displayed in order. This is the end of the menu candidate search process.

ここに、CPU111とタッチパネル付のディスプレイユニット12は、類似データ取得手段により得られた複数の品目名を選択可能に出力する出力手段を構成する。   Here, the CPU 111 and the display unit 12 with a touch panel constitute output means for selectively outputting a plurality of item names obtained by the similar data acquisition means.

上記メニュー候補検索処理を終了すると、CPU111は、ST19として音声オーダ入力画面60の取消キー65がタッチ操作されるか、ST20として候補メニュー商品の1つが選択操作されるのを待機する。ここで、タッチパネルセンサ122からの信号により、取消キー65がタッチ操作されたことを検知した場合には、CPU111は、ST12の処理に戻る。すなわち、音声オーダ入力画面60の各候補メニューキー62に表示されている品目名を消去する。そして、ST13以降の処理を再度実行する。   When the menu candidate search process is completed, the CPU 111 waits for the cancel key 65 of the voice order input screen 60 to be touched in ST19 or for selection of one of the candidate menu products in ST20. Here, when it is detected from the signal from the touch panel sensor 122 that the cancel key 65 is touched, the CPU 111 returns to the process of ST12. That is, the item name displayed on each candidate menu key 62 on the voice order input screen 60 is deleted. And the process after ST13 is performed again.

一方、タッチパネルセンサ122からの信号により、品目名が表示されているいずれかの候補メニューキー62がタッチ操作されたことを検知した場合には、CPU111は、ST21としてその品目名データに対応するメニュー品コードをオーダ候補テーブル43から読み出す。そして、このメニュー品コードとオーダ点数nをRAM113のオーダメモリに登録する。また、当該メニュー商品の品目名とオーダ点数nをオーダメニュー欄68に表示させる。なお、オーダ点数nは初期値を「1」とし、テンキー61と乗算キー63によって乗数が入力された場合にはその乗数とする。その後、CPU111は、ST12の処理に戻り、音声オーダ入力画面60の各候補メニューキー62から品目名を消去する。そして、ST13以降の処理を再度実行する。   On the other hand, when it is detected by a signal from the touch panel sensor 122 that any candidate menu key 62 displaying the item name is touched, the CPU 111 selects a menu corresponding to the item name data as ST21. The product code is read from the order candidate table 43. The menu item code and the order number n are registered in the order memory of the RAM 113. In addition, the item name and the order score n of the menu product are displayed in the order menu column 68. The order number n is set to “1” as an initial value, and when a multiplier is input by the ten key 61 and the multiplication key 63, the order point is the multiplier. Thereafter, the CPU 111 returns to the process of ST12 and deletes the item name from each candidate menu key 62 of the voice order input screen 60. And the process after ST13 is performed again.

ここに、CPU111は、ST21の処理により、出力された複数の対象名(品目名)の中から任意の対象名が選択されると、その対象名とともに記憶手段(音声メニューファイル32)から読み出した対象コード(品コード)を入力データとして処理する音声入力データ処理手段を構成する。   Here, when an arbitrary target name is selected from a plurality of output target names (item names) in the process of ST21, the CPU 111 reads the target names together with the target names from the storage means (voice menu file 32). A voice input data processing means for processing the target code (product code) as input data is configured.

ST13にて音声認識終了キー66がタッチ操作されたことを検知した場合には、CPU111は、ST3の処理に戻り、ディスプレイ121の画面をオーダ入力画面50に切換える。   If it is detected in ST13 that the voice recognition end key 66 has been touched, the CPU 111 returns to the process of ST3 and switches the screen of the display 121 to the order input screen 50.

このように構成された本実施の形態のオーダ入力装置1を利用する飲食店においては、客のオーダ内容を従来どおりタッチキーの操作により入力するだけでなく、音声により入力することも可能となる。   In the restaurant using the order input device 1 of the present embodiment configured as described above, it is possible not only to input the contents of the customer's order by the operation of the touch key as usual, but also to input by voice. .

音声によるオーダデータ入力を利用する場合、オペレータは、図7に示すオーダ入力画面50において、音声認識キー57をタッチ操作する。そうすると、図8に示す音声オーダ入力画面60に切り換わるので、オペレータは、発話キー67をタッチ操作しながらオーダするメニュー商品の品目名を発話する。このとき、品目名を一音ずつ正確にかつ丁寧に発話する必要はなく、品目名の一部を発話するだけでもよい。なお、オペレータは、店員でもよいし客自身でもよい。   When using order data input by voice, the operator touches the voice recognition key 57 on the order input screen 50 shown in FIG. Then, the voice order input screen 60 shown in FIG. 8 is displayed, and the operator speaks the item name of the menu item to be ordered while touching the speech key 67. At this time, it is not necessary to utter the item name accurately and carefully one tone at a time, and only a part of the item name may be uttered. The operator may be a store clerk or a customer.

例えば今、メニュー商品「アイスクリーム」をオーダするために、発話キー67をタッチ操作しながら「アイス」と発話したとする。そうすると、発話キー67に指が触れたときから指が離れるまでの間にマイクロホン13から取り込まれ認識された入力音声データと、音声メニューファイル32に予め登録されている各種メニュー商品の品目名音声データとが個々に比較され、各々について一致率が算出される。そして、一致率が所定のしきい値Pを超える複数のメニュー商品が抽出され、それらの品目名が音声オーダ入力画面60の複数の候補メニューキー62にそれぞれ表示される。   For example, suppose that the user speaks “ice” while touching the speech key 67 to order the menu item “ice cream”. Then, the input voice data captured and recognized from the microphone 13 between the time when the finger touches the speech key 67 and the time when the finger is released, and the item name voice data of various menu products registered in the voice menu file 32 in advance. Are individually compared, and a coincidence rate is calculated for each. Then, a plurality of menu products whose matching rate exceeds a predetermined threshold value P are extracted, and their item names are displayed on the plurality of candidate menu keys 62 on the voice order input screen 60, respectively.

今、発話した内容「アイス」に対して、一致率がしきい値Pを超えるメニュー商品が、一致率の高い順に「ライス」,「ライチ」,「半ライス」,「梅酒」,「アイスクリーム」,「アップルパイ」の6品目であったとする。この場合、音声オーダ入力画面60の各候補メニューキー62には、図9に示すように、上記6品目の品目名がそれぞれ表示される。   Menu items with a matching rate exceeding the threshold P for the content “ice” uttered now are “rice”, “lychee”, “half-rice”, “plum wine”, “ice cream” in descending order of matching rate. ”And“ Apple pie ”. In this case, the item names of the six items are displayed on the candidate menu keys 62 of the voice order input screen 60, as shown in FIG.

そこでオペレータは、オーダするメニュー商品「アイスクリーム」の品目名が表示された候補メニューキー62をタッチ操作する。そうすると、このメニュー商品「アイスクリーム」のメニュー品コードとオーダ点数とがオーダメモリに登録される。また、図10に示すように、音声オーダ入力画面60のオーダメニュー欄68に品目名,オーダ点数及び金額が表示される。   The operator then touches the candidate menu key 62 on which the item name of the menu item “Ice Cream” to be ordered is displayed. Then, the menu item code and the order score of this menu item “ice cream” are registered in the order memory. Also, as shown in FIG. 10, the item name, the order score, and the amount are displayed in the order menu column 68 of the voice order input screen 60.

このように、オペレータは音声を利用してオーダ内容を入力することができる。なお、音声を入力したが所望する品目名が候補メニューキー62に表示されない場合には、取消キー65をタッチ操作した後、音声を入力しなおせばよい。   In this way, the operator can input the order contents using the voice. If the desired item name is not displayed on the candidate menu key 62 after the voice is input, the voice may be input again after touching the cancel key 65.

こうして、音声によるオーダデータ入力を終了したならば、オペレータは音声認識終了キー66をタッチ操作する。そうすると、画面がオーダ入力画面50に戻るので、確認キー55をタッチ操作する。そうすると、画面がオーダ確認画面に切り替わるので、オペレータはオーダ内容を確認し、間違いが無ければ確定キーをタッチ操作する。かくして、今回のオーダデータがネットワークを介して伝送され、ステーションで処理される。   When the voice order data input is thus completed, the operator touches the voice recognition end key 66. Then, the screen returns to the order input screen 50, and the confirmation key 55 is touched. Then, since the screen is switched to the order confirmation screen, the operator confirms the order contents, and if there is no mistake, touches the confirmation key. Thus, the current order data is transmitted via the network and processed at the station.

このように本実施の形態によれば、タッチパネル形式のディスプレイ121上に表示される音声オーダ入力画面60に発話キー67を配置し、この発話キー67がタッチ操作されている期間中だけマイクロホン13から入力される音声データを取り込んで認識するようにしている。したがって、当該オーダ入力装置1の周囲で別の会話がされていたり、周囲の騒音が大きかったりしても、発話キー67に指が触れる直前までの音や指が離れた直後の音を認識対象の音声データから排除できるので、認識率を高めることができる。また、例えば「ン」や「ッ」のような促音や撥音を含む品目名を発話する場合でも、促音や撥音の手前で音声が終わったと認識されることがないので、促音や撥音を含む音声の認識率も高めることができる。   As described above, according to the present embodiment, the utterance key 67 is arranged on the voice order input screen 60 displayed on the touch panel type display 121, and the microphone 13 is used only during the period during which the utterance key 67 is touched. The input voice data is captured and recognized. Therefore, even if another conversation is made around the order input device 1 or the surrounding noise is loud, the sound immediately before the finger touches the speech key 67 and the sound immediately after the finger is released are recognized. Since it can be excluded from the voice data, the recognition rate can be increased. In addition, even when uttering an item name that includes a sound or sound repellent such as “n” or “tsu”, it is not recognized that the sound has ended before the sound or sound repellent. Can also increase the recognition rate.

それに加え、本実施の形態では、上記の如く高い認識率で認識された入力音声データについて、音声メニューファイル32に予め登録されている各種メニュー商品の品目名音声データとの一致率を求め、所定のしきい値Pを超える全てのメニュー商品を候補メニュー商品として抽出するようにしている。しかも、一致率がしきい値Pを超えるメニュー商品が1品も抽出できない場合、若しくは1品しか抽出できない場合には、しきい値Pを低く設定し直して再検索し、少なくとも2品以上の候補メニュー商品を抽出するようにしている。そして、抽出された複数の候補メニュー商品の各品目名をそれぞれ音声オーダ入力画面60の複数の候補メニューキー62に表示させて選択可能とし、当該候補メニューキー62のタッチ操作により選択された品目名のメニュー商品に対するメニュー品コードをオーダ入力データとして処理するようにしている。   In addition, in the present embodiment, the input voice data recognized at a high recognition rate as described above is obtained for the matching rate with the item name voice data of various menu products registered in advance in the voice menu file 32, All menu items exceeding the threshold value P are extracted as candidate menu items. In addition, if one menu item whose matching rate exceeds the threshold value P cannot be extracted, or if only one item can be extracted, the threshold value P is set to a lower value and the search is performed again. Candidate menu products are extracted. Each item name of the extracted plurality of candidate menu products is displayed on the plurality of candidate menu keys 62 of the voice order input screen 60 so as to be selected, and the item name selected by the touch operation of the candidate menu key 62 is selected. The menu item code for the menu item is processed as order input data.

したがって、品目名の一部を発話するだけでも高い確率でオーダするメニュー商品の品目名を候補メニューキー62に表示させることができるので、メニュー商品の品目名を1音ずつ正確にかつ丁寧に発話する必要がなく、音声入力を容易に活用することができる。また、音声入力後は、候補メニューキー62に表示された品目名の中からオーダするメニュー商品の品目名が表示された候補メニューキー62をタッチ操作するだけで当該メニュー商品のオーダ入力を行うことができるので、メニュー商品数が多い飲食店でも所望するオーダ商品のタッチキーを容易に見つけ出して入力することができ、能率的である。   Therefore, even if a part of the item name is uttered, the item name of the menu product ordered with a high probability can be displayed on the candidate menu key 62, so that the item name of the menu product is accurately and carefully uttered one by one. There is no need to do so, and voice input can be easily utilized. Further, after the voice input, the order input of the menu product can be performed simply by touching the candidate menu key 62 displaying the item name of the menu product to be ordered from among the item names displayed on the candidate menu key 62. Therefore, even in restaurants with a large number of menu items, it is possible to easily find and input touch keys of desired order items, which is efficient.

なお、この発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。   The present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.

例えば前記実施の形態では、飲食店において客が注文するメニュー商品のオーダデータ入力を処理するデータ入力装置に本発明を適用したが、オーダデータ以外の音声データ入力にも本発明を適用することができる。例えば鉄道等の乗車券を販売する券売機に対して行先データを音声で入力する場合や、コンサート,映画等のチケットやゲームソフト等のコンテンツを販売する情報端末機に対してオーダデータを音声で入力する場合等にも適用できる。すなわち、対象名及び対象コードは、前記実施の形態の品目名及び品コードに限定されるものではない。   For example, in the above-described embodiment, the present invention is applied to the data input device that processes the order data input of the menu product ordered by the customer at the restaurant. However, the present invention can also be applied to voice data input other than the order data. it can. For example, when inputting destination data by voice to a ticket vending machine that sells tickets such as railways, or by ordering data to an information terminal that sells content such as tickets for concerts, movies, etc. and game software. It can also be applied to input. That is, the target name and the target code are not limited to the item name and the product code in the above embodiment.

また、前記実施の形態では装置内部のROM112に発明を実施する機能プログラムが予め記録されている場合で説明をしたが、これに限らず同様の機能プログラムをネットワークから装置にダウンロードしても良いし、同様の機能プログラムを記録媒体に記憶させたものを装置にインストールしてもよい。記録媒体としては、CD−ROM等プログラムを記憶でき、かつ装置が読み取り可能な記録媒体であれば、その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のOS(オペレーティング・システム)等と協働してその機能を実現させるものであってもよい。   In the above embodiment, the function program for carrying out the invention is recorded in advance in the ROM 112 inside the apparatus. However, the present invention is not limited to this, and a similar function program may be downloaded from the network to the apparatus. A similar function program stored in a recording medium may be installed in the apparatus. The recording medium may be any form as long as the recording medium can store the program and can be read by the apparatus, such as a CD-ROM. In addition, the function obtained by installing or downloading in advance may be realized in cooperation with an OS (operating system) inside the apparatus.

この他、前記実施形態に開示されている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を組合わせてもよい。   In addition, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, the constituent elements over different embodiments may be combined.

本発明の一実施の形態であるオーダ入力装置の外観斜視図。1 is an external perspective view of an order input device according to an embodiment of the present invention. 同オーダ入力装置の要部構成を示すブロック図。The block diagram which shows the principal part structure of the order input device. 同オーダ入力装置のHDDに保存される主要なデータファイルを示す模式図。The schematic diagram which shows the main data files preserve | saved at HDD of the same order input device. 同オーダ入力装置のRAMに形成される主要なメモリエリアを示す模式図。The schematic diagram which shows the main memory areas formed in RAM of the same order input device. 同オーダ入力装置のCPUが実行する本発明に係るプログラム処理手順の要部を示す流れ図。The flowchart which shows the principal part of the program processing procedure which concerns on this invention which CPU of the same order input device performs. 図5におけるメニュー候補検索処理の手順を具体的に示す流れ図。6 is a flowchart specifically showing a procedure of menu candidate search processing in FIG. 5. 同オーダ入力装置のディスプレイに表示されるオーダ入力画面の一例を示す模式図。The schematic diagram which shows an example of the order input screen displayed on the display of the order input device. 同オーダ入力装置のディスプレイに表示される音声オーダ入力画面の一例を示す模式図。The schematic diagram which shows an example of the audio | voice order input screen displayed on the display of the same order input device. 同音声オーダ入力画面の音声認識後の画面例を示す模式図。The schematic diagram which shows the example of a screen after the speech recognition of the voice order input screen. 同音声オーダ入力画面のオーダ入力後の画面例を示す模式図。The schematic diagram which shows the example of a screen after order input of the voice order input screen.

1…オーダ入力装置、11…装置本体、12…ディスプレイユニット、13…マイクロホン、31…メニューマスタファイル、32…音声メニューファイル、33…音響辞書ファイル、41…入力音声メモリ、42…対比音声メモリ、43…オーダ候補テーブル、111…CPU、119…音声認識エンジン、121…ディスプレイ、122…タッチパネルセンサ。   DESCRIPTION OF SYMBOLS 1 ... Order input device, 11 ... Apparatus main body, 12 ... Display unit, 13 ... Microphone, 31 ... Menu master file, 32 ... Voice menu file, 33 ... Acoustic dictionary file, 41 ... Input voice memory, 42 ... Contrast voice memory, 43 ... Order candidate table, 111 ... CPU, 119 ... Voice recognition engine, 121 ... Display, 122 ... Touch panel sensor.

Claims (6)

複数の注文対象品をそれぞれ識別する品目名及びこの品目名に対応して設定された品コードと前記品目名の音声データとを記憶する音声メニューファイルと、
音声を入力する音声入力手段と、
前記音声入力手段により音声を入力する間、継続して操作する発話キーと、
前記発話キーが継続して操作されている間を音声入力区間として検知する入力区間検知手段と、
前記入力区間検知手段により検知された前記音声入力区間内に前記音声入力手段を介して入力された音声パターンを認識する音声認識手段と、
前記音声認識手段により認識された音声パターンデータを前記音声メニューファイルに記憶されている注文対象品毎の品目名音声データと個々に比較して一致率を求め、該一致率が予め設定されたしきい値を超える複数の品目名音声データを抽出する類似名検索手段と、
前記類似名検索手段により抽出された複数の品目名音声データにそれぞれ対応する品コード及び品目名を前記音声メニューファイルから取得する類似データ取得手段と、
前記類似データ取得手段により得られた複数の品目名候補について当該各候補の品目名を前記一致率が高い順に選択可能に一覧表示する候補メニュー表示手段と、
前記候補メニュー表示手段により表示された複数の品目名の中から任意の品目名が選択されると、その選択された品目名をもとに前記音声メニューファイルから読み出した品コードをオーダ入力データとして処理する音声入力データ処理手段と、
前記音声入力データ処理手段でオーダ入力データとして処理された品目名及びオーダ点数を含むオーダ入力データの一覧をオーダメニューとして表示するオーダメニュー表示手段と、
前記オーダメニュー表示手段に一覧表示されたオーダ入力データを確定する確定キーと、
前記確定キーが操作された際、前記オーダメニュー表示手段で表示された品目名に対する品コード及びオーダ点数を含むオーダ入力データを、オーダデータを記憶管理するステーションに送信する送信手段と、
を具備したことを特徴とするデータ入力装置。
An audio menu file for storing an item name for identifying each of a plurality of items to be ordered, an item code set corresponding to the item name, and audio data of the item name;
Voice input means for inputting voice;
An utterance key that is continuously operated while inputting voice by the voice input means;
An input section detecting means for detecting a voice input section while the speech key is continuously operated ;
A speech recognition means for recognizing the speech pattern input through the voice input means to said speech input in the interval detected by the input section detecting means,
The voice pattern data recognized by the voice recognition means is individually compared with the item name voice data for each order target item stored in the voice menu file to obtain a match rate, and the match rate is preset. Similar name search means for extracting a plurality of item name voice data exceeding the threshold ,
And similar data acquisition means for acquiring the article code and item names corresponding to a plurality of item name audio data extracted by said similar name retrieval means from said voice menu file,
A candidate menu display means for selectably list item name of each of the candidate in decreasing order of the matching rate for the plurality of items name candidates obtained by the similar data acquisition unit,
When an arbitrary item name is selected from a plurality of item names displayed by the candidate menu display means, an item code read from the voice menu file based on the selected item name is used as order input data. Voice input data processing means for processing;
Order menu display means for displaying, as an order menu, a list of order input data including item names and order points processed as order input data by the voice input data processing means;
A confirmation key for confirming the order input data displayed in a list on the order menu display means;
Transmitting means for transmitting order input data including an item code and an order score for the item name displayed on the order menu display means to the station that stores and manages the order data when the confirmation key is operated ;
A data input device comprising:
タッチパネル付のディスプレイを備え、
前記候補メニュー表示手段は、前記類似データ取得手段により得られた複数の品目名がそれぞれ割当てられた複数のタッチキー画面を前記ディスプレイに表示する手段であることを特徴とする請求項1記載のデータ入力装置。
It has a display with a touch panel,
2. The data according to claim 1, wherein the candidate menu display means is a means for displaying a plurality of touch key screens respectively assigned with a plurality of item names obtained by the similar data acquisition means on the display. Input device.
前記ディスプレイに音声入力指示用のタッチキーイメージを表示させる画面制御手段をさらに具備し、
前記入力区間検知手段は、前記音声入力指示用のタッチキーイメージに指が触れたときを音声入力の開始と検知し、指が離れたときを音声入力の終了と検知することを特徴とする請求項2記載のデータ入力装置。
Screen control means for displaying a touch key image for voice input instruction on the display;
The input section detecting means detects when the finger touches the touch key image for voice input instruction as the start of voice input, and detects when the finger is released as the end of voice input. Item 3. The data input device according to Item 2.
前記類似名検索手段は、前記音声認識手段により認識された音声パターンデータを前記音声メニューファイルに記憶されている対象毎の品目名音声データと個々に比較して一致率を求め、この一致率が予め設定されたしきい値以上の品目名音声データを抽出する際、複数の品目名音声データを抽出できないときには前記しきい値を下げて再検索することを特徴とする請求項1記載のデータ入力装置。 The similar name search means compares the voice pattern data recognized by the voice recognition means with the item name voice data for each object stored in the voice menu file to obtain a match rate, and the match rate is 2. The data input according to claim 1, wherein when extracting item name voice data having a predetermined threshold value or more, when a plurality of item name voice data cannot be extracted, the threshold value is lowered and the search is performed again. apparatus. 複数の注文対象品をそれぞれ識別する品目名及びこの品目名に対応して設定された品コードと前記品目名の音声データとを記憶する音声メニューファイルと、音声を入力する音声入力手段と、前記音声入力手段により音声を入力する間、継続して操作する発話キーと、前記音声入力手段を介して入力された音声を認識する音声認識手段とを備えたコンピュータのデータ入力方法であって、
前記コンピュータは、前記発話キーが継続して操作されている間を音声入力区間として検知し、前記検知された音声入力区間内に入力された音声パターンを認識し、認識された音声パターンデータで前記音声メニューファイルに記憶されている注文対象品毎の品目名音声データと個々に比較して一致率を求め、該一致率が予め設定されたしきい値を超える複数の品目名音声データを抽出し、抽出された複数の品目名音声データにそれぞれ対応する品コード及び品目名を前記音声メニューファイルから取得し、得られた複数の品目名候補について当該各候補の品目名を前記一致率が高い順に選択可能に一覧表示し、該一覧表示された複数の品目名の中から任意の品目名が選択されると、その選択された品目名をもとに前記音声メニューファイルから読み出した品コードをオーダ入力データとして処理し、その品目名及びオーダ点数を含むオーダ入力データの一覧をオーダメニューとして表示し、確定キーが操作された際、前記オーダメニュー表示手段で表示された品目名に対する品コード及びオーダ点数を含むオーダ入力データを、オーダデータを記憶管理するステーションに送信することを特徴とするデータ入力方法。
A voice menu file for storing the audio data of a plurality of item name that identifies ordering goods for each and the item name goods code set corresponding to the item name, an audio input means for inputting a voice, the A computer data input method comprising: an utterance key that is continuously operated while a voice is input by a voice input means; and a voice recognition means that recognizes a voice input via the voice input means,
The computer detects a voice input section while the utterance key is continuously operated , recognizes a voice pattern input in the detected voice input section , and uses the recognized voice pattern data as the voice pattern data. The item name voice data for each order target item stored in the voice menu file is individually compared to obtain a match rate, and a plurality of item name voice data whose match rate exceeds a preset threshold are extracted. The product code and the item name respectively corresponding to the extracted plurality of item name voice data are obtained from the voice menu file, and the item name of each candidate is obtained in descending order of the match rate for the obtained item name candidates. selectably list display, when any item name from among a plurality of line items that are the list is selected, the audio menu file based on the selected item name and the Processing the goods code read out al as order entry data, displays a list of the order input data including the item name and the order number as the order menu, when the confirmation key is operated, displayed in the order menu display means A data input method characterized by transmitting order input data including an item code and an order score for an item name to a station that stores and manages the order data .
複数の注文対象品をそれぞれ識別する品目名及びこの品目名に対応して設定された品コードと前記品目名の音声データとを記憶する音声メニューファイルと、音声を入力する音声入力手段と、前記音声入力手段により音声を入力する間、継続して操作する発話キーとを備えたコンピュータに、
前記発話キーが継続して操作されている間を音声入力区間として検知する入力区間検知機能と、
前記入力区間検知手段により検知された前記音声入力区間内に前記音声入力手段を介して入力された音声パターンを認識する音声認識機能と、
前記音声認識手段により認識された音声パターンデータで前記音声メニューファイルに記憶されている注文対象品毎の品目名音声データと個々に比較して一致率を求め、該一致率が予め設定されたしきい値を超える複数の品目名音声データを抽出する類似名検索機能と、
前記類似名検索機能により抽出された複数の品目名音声データにそれぞれ対応する品コード及び品目名を前記音声メニューファイルから取得する類似データ取得機能と、
前記類似データ取得機能により得られた複数の品目名候補について当該各候補の品目名を前記一致率が高い順に選択可能に一覧表示する候補メニュー表示機能と、
前記候補メニュー表示機能により表示された複数の品目名の中から任意の品目名が選択されると、その選択された品目名をもとに前記音声メニューファイルから読み出した品コードをオーダ入力データとして処理する音声入力データ処理機能と、
前記音声入力データ処理機能で処理された品目名及びオーダ点数を含むオーダ入力データの一覧をオーダメニューとして表示するオーダメニュー表示機能と、
前記オーダメニュー表示機能に一覧表示されたオーダ入力データを確定する確定キーが操作された際、前記オーダメニュー表示機能で表示された品目名に対する品コード及びオーダ点数を含むオーダ入力データを、オーダデータを記憶管理するステーションに送信する送信機能と
を実現させるためのプログラム。
A voice menu file for storing the audio data of a plurality of item name that identifies ordering goods for each and the item name goods code set corresponding to the item name, an audio input means for inputting a voice, the While inputting voice by voice input means, a computer equipped with an utterance key that is operated continuously ,
An input section detection function for detecting as a voice input section while the speech key is continuously operated ;
A voice recognition function for recognizing a voice pattern input via the voice input means in the voice input section detected by the input section detection means ;
The matching rate is obtained by comparing the voice pattern data recognized by the voice recognition means with the item name voice data for each order target item stored in the voice menu file , and the matching rate is preset. Similar name search function to extract multiple item name voice data exceeding the threshold ,
A similar data acquisition function for acquiring item codes and item names respectively corresponding to a plurality of item name audio data extracted by the similar name search function, from the audio menu file ;
A candidate menu display function for displaying a list of the item names of the candidates for the plurality of item name candidates obtained by the similar data acquisition function so that they can be selected in descending order of the matching rate ;
If any item name is selected from among a plurality of item name displayed by the candidate menu display function, the goods code read from said voice menu file based on the selected item name as order entry data The voice input data processing function to process,
An order menu display function for displaying, as an order menu, a list of order input data including item names and order points processed by the voice input data processing function;
Wherein when the order menu enter key to confirm the order entry data listed in the display function is operated, the order input data including the article code and the order number for the item name displayed in the order menu display function, order data A transmission function for transmitting to a station that stores and manages
A program to realize
JP2011005206A 2011-01-13 2011-01-13 Data input device and method, and program Expired - Fee Related JP5079893B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011005206A JP5079893B2 (en) 2011-01-13 2011-01-13 Data input device and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011005206A JP5079893B2 (en) 2011-01-13 2011-01-13 Data input device and method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006045522A Division JP4755918B2 (en) 2006-02-22 2006-02-22 Data input device and method, and program

Publications (2)

Publication Number Publication Date
JP2011103007A JP2011103007A (en) 2011-05-26
JP5079893B2 true JP5079893B2 (en) 2012-11-21

Family

ID=44193325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011005206A Expired - Fee Related JP5079893B2 (en) 2011-01-13 2011-01-13 Data input device and method, and program

Country Status (1)

Country Link
JP (1) JP5079893B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105702255A (en) * 2016-03-28 2016-06-22 华智水稻生物技术有限公司 Agricultural data acquisition method, agricultural data acquisition device and mobile terminal
JP7642207B1 (en) 2024-09-19 2025-03-10 佑斗 井澤 Ordering method and ordering device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574888B2 (en) * 2001-04-12 2010-11-04 エスアイアイ・データサービス株式会社 Order input device and order input support method
JP4093906B2 (en) * 2003-04-25 2008-06-04 シャープ株式会社 Order input device
JP2005055782A (en) * 2003-08-07 2005-03-03 Sharp Corp Data input device, handy terminal, data input method, program, and recording medium

Also Published As

Publication number Publication date
JP2011103007A (en) 2011-05-26

Similar Documents

Publication Publication Date Title
TWI235358B (en) Interactive speech method and system thereof
US20170069335A1 (en) Methods and systems for speech adaptation data
US20130325451A1 (en) Methods and systems for speech adaptation data
US8421932B2 (en) Apparatus and method for speech recognition, and television equipped with apparatus for speech recognition
JP6966979B2 (en) Dialogue system control methods, dialogue systems and programs
US20170010859A1 (en) User interface system, user interface control device, user interface control method, and user interface control program
CN108648750A (en) Mixed model speech recognition
WO2006054724A1 (en) Voice recognition device and method, and program
US20140303975A1 (en) Information processing apparatus, information processing method and computer program
JPH096390A (en) Speech recognition dialogue processing method and speech recognition dialogue apparatus
JP4755918B2 (en) Data input device and method, and program
JP5221768B2 (en) Translation apparatus and program
US8041576B2 (en) Information processing apparatus and information processing method
JP5079893B2 (en) Data input device and method, and program
JP3842497B2 (en) Audio processing device
JP5364412B2 (en) Search device
JP5015806B2 (en) Merchandise sales data processing apparatus and program thereof, and merchandise data input apparatus and program thereof
JP6697270B2 (en) Communication support system, communication support method, and program
JP5378907B2 (en) Spoken dialogue apparatus and spoken dialogue program
US7177806B2 (en) Sound signal recognition system and sound signal recognition method, and dialog control system and dialog control method using sound signal recognition system
JP6832503B2 (en) Information presentation method, information presentation program and information presentation system
WO2007066433A1 (en) Audio recognizing device
JP2006162782A (en) Voice recognition device
WO2019103007A1 (en) Information processing device and information processing method
CN112489640B (en) Speech processing apparatus and speech processing method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120829

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees