JP6822374B2 - Image forming device - Google Patents
Image forming device Download PDFInfo
- Publication number
- JP6822374B2 JP6822374B2 JP2017199661A JP2017199661A JP6822374B2 JP 6822374 B2 JP6822374 B2 JP 6822374B2 JP 2017199661 A JP2017199661 A JP 2017199661A JP 2017199661 A JP2017199661 A JP 2017199661A JP 6822374 B2 JP6822374 B2 JP 6822374B2
- Authority
- JP
- Japan
- Prior art keywords
- voice recognition
- unit
- voice
- image forming
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
- Control Or Security For Electrophotography (AREA)
Description
本発明は、画像形成装置に関し、特に、音声入力での操作を可能とする技術に関する。 The present invention relates to an image forming apparatus, and more particularly to a technique for enabling operation by voice input.
下記の特許文献１に、画像形成装置に接続されたマイクから入力された音声信号に基づく音声認識が成功した場合には、当該音声認識の結果を用いて画像形成装置を制御し、不成功の場合には、端末装置に接続されたマイクで新たに音声入力を受け付け、当該マイクから入力された音声信号に基づく音声認識の結果を用いて画像形成装置を制御することが記載されている。 According to Patent Document 1 below, when voice recognition based on a voice signal input from a microphone connected to an image forming device is successful, the image forming device is controlled using the result of the voice recognition, and the result is unsuccessful. In this case, it is described that a microphone connected to the terminal device newly accepts a voice input, and the image forming device is controlled by using the result of voice recognition based on the voice signal input from the microphone.
ユーザーが発声した音声信号に基づく音声認識が成功していたとしても、正しく認識されているとは限らず、誤って認識されることもある。例えば、「コピー１０枚」とユーザーは発声しているのに、「コピー２０枚」と誤って認識されることもあり得る。このような場合、上記の特許文献１に記載された発明では、ユーザーが意図したものとは異なるコマンドが実行されることになる。 Even if the voice recognition based on the voice signal uttered by the user is successful, it is not always recognized correctly, and it may be recognized incorrectly. For example, even though the user utters "10 copies", it may be mistakenly recognized as "20 copies". In such a case, in the invention described in Patent Document 1 above, a command different from the one intended by the user is executed.
本発明は、上記の事情に鑑みなされたものであり、音声入力で操作可能な画像形成装置において、音声入力による指示の精度を向上させることを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to improve the accuracy of instructions by voice input in an image forming apparatus that can be operated by voice input.
本発明の一局面に係る画像形成装置は、本画像形成装置に接続されたマイクから入力された音声信号の入力を受け付ける音声入力受付部と、前記音声入力受付部で入力を受け付けた音声信号に基づく音声認識を行うための音声認識部と、携帯端末装置と通信を行うための通信部と、本画像形成装置の動作を制御する制御部と、を備え、前記制御部は、前記通信部を介して受信した前記携帯端末装置で行われた音声認識結果と、前記音声認識部による音声認識結果とを照合した照合結果に基づいて、本画像形成装置の動作を制御する。 The image forming apparatus according to one aspect of the present invention includes a voice input receiving unit that receives an input of a voice signal input from a microphone connected to the image forming device and a voice signal that receives the input by the voice input receiving unit. A voice recognition unit for performing voice recognition based on the above, a communication unit for communicating with a mobile terminal device, and a control unit for controlling the operation of the image forming device are provided, and the control unit includes the communication unit. The operation of the image forming apparatus is controlled based on the collation result of collating the voice recognition result performed by the mobile terminal device and the voice recognition result by the voice recognition unit received via the device.
また、本発明の一局面に係る画像形成装置は、本画像形成装置に接続されたマイクから入力された音声信号の入力を受け付ける音声入力受付部と、前記音声入力受付部で入力を受け付けた音声信号に基づく音声認識を行う音声認識部と、携帯端末装置と通信を行う通信部と、本画像形成装置の動作を制御する制御部と、を備え、前記制御部は、前記音声認識部による音声認識結果を、前記通信部を介して前記携帯端末装置へ送信し、前記制御部は、前記通信部を介して前記携帯端末装置から、当該携帯端末装置に接続されたマイクから入力された音声信号に基づく音声認識による音声認識結果と、本画像形成装置から送信されてきた前記音声認識部による音声認識結果と照合した照合結果を受信し、当該照合結果に基づいて、本画像形成装置の動作を制御する。 Further, the image forming apparatus according to one aspect of the present invention includes a voice input receiving unit that receives an input of a voice signal input from a microphone connected to the image forming apparatus, and a voice input receiving unit that receives the input. A voice recognition unit that performs voice recognition based on a signal, a communication unit that communicates with a mobile terminal device, and a control unit that controls the operation of the image forming device are provided, and the control unit is a voice recognition unit. The recognition result is transmitted to the mobile terminal device via the communication unit, and the control unit transmits a voice signal input from the mobile terminal device via the communication unit and from a microphone connected to the mobile terminal device. The voice recognition result by the voice recognition based on the above and the collation result collated with the voice recognition result by the voice recognition unit transmitted from the image forming apparatus are received, and the operation of the image forming apparatus is performed based on the collation result. Control.
本発明によれば、本画像形成装置に接続されたマイクから入力された音声信号に基づく音声認識結果と、携帯端末装置に接続されたマイクから入力された音声信号に基づく音声認識結果との照合結果に基づいて、本画像形成装置の動作を制御するので、音声入力による指示の精度を向上させることができる。 According to the present invention, a collation of a voice recognition result based on a voice signal input from a microphone connected to the image forming apparatus with a voice recognition result based on a voice signal input from a microphone connected to a mobile terminal device. Since the operation of the image forming apparatus is controlled based on the result, the accuracy of the instruction by the voice input can be improved.
以下、本発明の一実施形態に係る画像形成装置について図面を参照して説明する。図１は、本発明の第１実施形態に係る画像形成装置の主要内部構成を概略的に示した機能ブロック図である。図２は、画像形成装置を遠隔操作するための携帯端末装置の主要内部構成を概略的に示した機能ブロック図である。 Hereinafter, the image forming apparatus according to the embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a functional block diagram schematically showing a main internal configuration of an image forming apparatus according to a first embodiment of the present invention. FIG. 2 is a functional block diagram schematically showing a main internal configuration of a mobile terminal device for remotely controlling an image forming device.
画像形成装置１は、例えば、コピー機能、プリンター機能、スキャナー機能、及びファクシミリ機能のような複数の機能を兼ね備えた複合機である。画像形成装置１は、制御ユニット１０、原稿給送部６、原稿読取部５、画像形成部１２、定着部１３、給紙部１４、操作部４７、通信部８０、及びマイク９０を備える。 The image forming apparatus 1 is a multifunction device having a plurality of functions such as a copy function, a printer function, a scanner function, and a facsimile function. The image forming apparatus 1 includes a control unit 10, a document feeding unit 6, a document reading unit 5, an image forming unit 12, a fixing unit 13, a paper feeding unit 14, an operation unit 47, a communication unit 80, and a microphone 90.
画像形成装置１で原稿読取動作が行われる場合について説明する。原稿給送部６により搬送されてきた原稿、又はプラテンガラスに載置されている原稿の画像を、原稿読取部５が光学的に読み取り、そして画像データを生成する。原稿読取部５により生成された画像データは、図略の画像メモリー等に保存される。 A case where the document reading operation is performed by the image forming apparatus 1 will be described. The document reading unit 5 optically reads the image of the document conveyed by the document feeding unit 6 or the document placed on the platen glass, and generates image data. The image data generated by the document reading unit 5 is stored in an image memory or the like (not shown).
画像形成装置１で画像形成動作が行われる場合について説明する。原稿読取動作により生成された画像データや、ネットワーク接続された外部装置としてのコンピューターから受信した画像データ等に基づいて、画像形成部１２が、給紙部１４から給紙される記録媒体としての記録紙にトナー像を形成する。 A case where the image forming operation is performed by the image forming apparatus 1 will be described. Based on the image data generated by the document reading operation, the image data received from the computer as an external device connected to the network, and the like, the image forming unit 12 records as a recording medium to be fed from the paper feeding unit 14. Form a toner image on paper.
定着部１３は、熱圧着によりトナー像を記録紙に定着させるものであり、定着処理が施された記録紙は排出トレイに排出される。給紙部１４は、給紙カセットを備える。 The fixing unit 13 fixes the toner image on the recording paper by thermocompression bonding, and the fixing treatment of the recording paper is discharged to the discharge tray. The paper feed unit 14 includes a paper feed cassette.
操作部４７は、画像形成装置１が実行可能な各種動作及び処理について、操作者から、画像形成動作実行指示等の指示を受け付ける。操作部４７は、操作者への操作案内等を表示する表示部４７３を備えている。表示部４７３はタッチパネルになっており、操作者は画面表示されるボタンやキーに触れて画像形成装置１に対する操作指示を入力する。 The operation unit 47 receives instructions such as an image formation operation execution instruction from the operator for various operations and processes that can be executed by the image forming apparatus 1. The operation unit 47 includes a display unit 473 that displays operation guidance and the like to the operator. The display unit 473 is a touch panel, and the operator touches the buttons and keys displayed on the screen to input operation instructions for the image forming apparatus 1.
通信部８０は、ＬＡＮ（Local Area Network）通信部８１及び近距離無線通信を可能とするＢＬＥ（Bluetooth Low Energy）通信部８２を含んで構成され、ＬＡＮ通信部８１を介して、ローカルエリア内、又はインターネット上のサーバー等の外部装置とデータの送受信を行い、更に、ＢＬＥ通信部８２を介して画像形成装置１の近くに存在する携帯端末装置２とデータの送受信を行う。なお、ＢＬＥとは、Bluetooth（登録商標）の拡張仕様の一つである。 The communication unit 80 includes a LAN (Local Area Network) communication unit 81 and a BLE (Bluetooth Low Energy) communication unit 82 that enables short-range wireless communication, and the communication unit 80 is configured in the local area via the LAN communication unit 81. Alternatively, data is transmitted / received to / from an external device such as a server on the Internet, and further, data is transmitted / received to / from a portable terminal device 2 existing near the image forming device 1 via the BLE communication unit 82. BLE is one of the extended specifications of Bluetooth (registered trademark).
マイク９０は、例えばマイクロフォンを備え、音声を画像形成装置１に入力する。マイク９０は、操作部４７の近くに取り付けられている。 The microphone 90 includes, for example, a microphone, and inputs sound to the image forming apparatus 1. The microphone 90 is attached near the operation unit 47.
制御ユニット１０は、プロセッサー、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＭＰＵ（Micro Processing Unit）等である。制御ユニット１０は、制御部１００と、操作受付部１０１と、音声入力受付部１０２と、音声認識部１０３とを備えている。 The control unit 10 includes a processor, a RAM (Random Access Memory), a ROM (Read Only Memory), and a dedicated hardware circuit. The processor is, for example, a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), an MPU (Micro Processing Unit), or the like. The control unit 10 includes a control unit 100, an operation reception unit 101, a voice input reception unit 102, and a voice recognition unit 103.
制御ユニット１０は、図示しないＨＤＤ（Hard disk drive）に記憶されている制御プログラムに従った動作により、制御部１００、操作受付部１０１、音声入力受付部１０２、及び音声認識部１０３として機能する。但し、制御部１００等は、制御ユニット１０による制御プログラムに従った動作によらず、それぞれハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。 The control unit 10 functions as a control unit 100, an operation reception unit 101, a voice input reception unit 102, and a voice recognition unit 103 by operating according to a control program stored in an HDD (Hard disk drive) (not shown). However, the control unit 100 and the like can be configured by hardware circuits, regardless of the operation according to the control program by the control unit 10. Hereinafter, the same applies to each embodiment unless otherwise specified.
制御部１００は、画像形成装置１の全体的な動作制御を司る。制御部１００は、原稿給送部６、原稿読取部５、画像形成部１２、定着部１３、給紙部１４、操作部４７、通信部８０、及びマイク９０と接続され、これら各部の駆動制御等を行う。 The control unit 100 controls the overall operation of the image forming apparatus 1. The control unit 100 is connected to a document feeding unit 6, a document reading unit 5, an image forming unit 12, a fixing unit 13, a paper feeding unit 14, an operation unit 47, a communication unit 80, and a microphone 90, and drives and controls each of these units. And so on.
操作受付部１０１は、操作部４７を介したユーザーからの操作入力を受け付ける。 The operation reception unit 101 receives an operation input from the user via the operation unit 47.
音声入力受付部１０２は、マイク９０から入力された音声信号の入力を受け付ける。 The voice input receiving unit 102 receives the input of the voice signal input from the microphone 90.
音声認識部１０３は、音声入力受付部１０２で入力を受け付けた音声信号について音声認識を実行する。例えば、音声認識部１０３は、当該音声認識において、内蔵する音声認識辞書（文法や語彙を含む）を参照して、当該音声信号を文字列に変換する。 The voice recognition unit 103 executes voice recognition for the voice signal received by the voice input reception unit 102. For example, the voice recognition unit 103 converts the voice signal into a character string by referring to the built-in voice recognition dictionary (including grammar and vocabulary) in the voice recognition.
携帯端末装置２は、例えば、スマートフォンなどのモバイル機器である。携帯端末装置２は、制御ユニット２００と、操作部２１０と、通信部２２０と、記憶部２３０と、マイク２４０とを備えている。これらの各構成は、互いに通信バスによりデータ又は信号の送受信が可能とされている。 The mobile terminal device 2 is, for example, a mobile device such as a smartphone. The mobile terminal device 2 includes a control unit 200, an operation unit 210, a communication unit 220, a storage unit 230, and a microphone 240. Each of these configurations is capable of transmitting and receiving data or signals via a communication bus with each other.
操作部２１０は、携帯端末装置２が実行可能な各種動作及び処理について、操作者から各種指示を受け付ける。操作部２１０は、操作者への操作案内等を表示する表示部２１１を備えている。表示部２１１は、タッチパネル機能を備えており、タッチパネル機能は、画面表示されるボタンやキーに対するユーザーによるタッチ操作を認識する。また、携帯端末装置２は、ユーザー操作が入力される操作部２１０として、上記のタッチパネル機能に加えて物理キーを備えてもよい。 The operation unit 210 receives various instructions from the operator regarding various operations and processes that can be executed by the mobile terminal device 2. The operation unit 210 includes a display unit 211 that displays operation guidance and the like to the operator. The display unit 211 has a touch panel function, and the touch panel function recognizes a user's touch operation on a button or key displayed on the screen. Further, the mobile terminal device 2 may include a physical key in addition to the above-mentioned touch panel function as an operation unit 210 into which a user operation is input.
通信部２２０は、不図示のＬＡＮチップなどの通信モジュールを備える通信インターフェイスである。携帯端末装置２は、ネットワークを介してサーバーなどの外部装置と接続される。また、通信部２２０は、ＢＬＥ通信部を備え、近くの画像形成装置１との間でデータの送受信を行う。 The communication unit 220 is a communication interface including a communication module such as a LAN chip (not shown). The mobile terminal device 2 is connected to an external device such as a server via a network. Further, the communication unit 220 includes a BLE communication unit, and transmits / receives data to / from a nearby image forming apparatus 1.
記憶部２３０は、不揮発性メモリーなどの記憶装置である。 The storage unit 230 is a storage device such as a non-volatile memory.
制御ユニット２００は、プロセッサー、ＲＡＭ、ＲＯＭ、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ、ＡＳＩＣ、又はＭＰＵ等である。制御ユニット２００は、制御部２０１と、操作受付部２０２と、音声入力受付部２０３と、音声認識部２０４とを備えている。 The control unit 200 includes a processor, RAM, ROM, and a dedicated hardware circuit. The processor is, for example, a CPU, an ASIC, an MPU, or the like. The control unit 200 includes a control unit 201, an operation reception unit 202, a voice input reception unit 203, and a voice recognition unit 204.
制御ユニット２００は、記憶部２３０に記憶されている制御プログラムや各アプリケーションが上記のプロセッサーに実行されることにより、制御部２０１、操作受付部２０２、音声入力受付部２０３、及び音声認識部２０４として機能する。記憶部２３０に記憶されているアプリケーションには、画像形成装置１を音声にて遠隔操作するための遠隔操作アプリケーションが含まれ、携帯端末装置２は当該遠隔操作アプリケーションを用いて画像形成装置１を遠隔操作することが可能である。但し、制御ユニット２００の上記の各構成は、制御ユニット２００による制御プログラム等に基づく動作によらず、それぞれハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。 The control unit 200 serves as a control unit 201, an operation reception unit 202, a voice input reception unit 203, and a voice recognition unit 204 when a control program or each application stored in the storage unit 230 is executed by the above processor. Function. The application stored in the storage unit 230 includes a remote control application for remotely controlling the image forming device 1 by voice, and the mobile terminal device 2 remotely controls the image forming device 1 by using the remote control application. It is possible to operate. However, each of the above configurations of the control unit 200 can be configured by a hardware circuit without depending on the operation based on the control program or the like by the control unit 200. Hereinafter, the same applies to each embodiment unless otherwise specified.
遠隔操作アプリケーションの起動方法には、携帯端末装置２にてアプリ起動用のアイコンを押下するといった方法や、携帯端末装置２を画像形成装置１に接近させることによって起動させるといった方法が挙げられる。 Examples of the method of starting the remote control application include a method of pressing an icon for starting the application on the mobile terminal device 2 and a method of starting the mobile terminal device 2 by bringing it close to the image forming device 1.
携帯端末装置２の制御部２０１は、通信部２２０を介して、画像形成装置１のＢＬＥ通信部８２から送信されてくる電波の強度を検出し、その強度が予め定められた大きさ以上（すなわち、画像形成装置１に接近している）と判定すると、画像形成装置１とのＢＬＥ通信を確立する。すなわち、ＢＬＥ通信で、携帯端末装置２と画像形成装置１とが接続される。 The control unit 201 of the mobile terminal device 2 detects the intensity of the radio wave transmitted from the BLE communication unit 82 of the image forming device 1 via the communication unit 220, and the intensity is equal to or greater than a predetermined magnitude (that is, that is). , It is close to the image forming apparatus 1), and BLE communication with the image forming apparatus 1 is established. That is, the mobile terminal device 2 and the image forming device 1 are connected by BLE communication.
画像形成装置１の制御部１００は、ＢＬＥ通信で携帯端末装置２と接続されると、遠隔操作アプリケーションの起動コマンドを、ＢＬＥ通信部８２を介して携帯端末装置２へ送信する。携帯端末装置２の制御部２０１は、通信部２２０を介して、当該起動コマンドを受信すると、当該起動コマンドに従って、上記遠隔操作アプリケーションを起動する。 When the control unit 100 of the image forming device 1 is connected to the mobile terminal device 2 by BLE communication, the control unit 100 transmits a start command of the remote control application to the mobile terminal device 2 via the BLE communication unit 82. When the control unit 201 of the mobile terminal device 2 receives the activation command via the communication unit 220, the control unit 201 activates the remote control application according to the activation command.
携帯端末装置２の制御部２０１は、携帯端末装置２の全体的な動作制御を司る。制御部２０１は、操作部２１０、通信部２２０、記憶部２３０、及びマイク２４０と接続されており、接続されている上記各構成の動作制御や、各構成との間での信号またはデータの送受信を行う。 The control unit 201 of the mobile terminal device 2 controls the overall operation of the mobile terminal device 2. The control unit 201 is connected to the operation unit 210, the communication unit 220, the storage unit 230, and the microphone 240, and controls the operation of each of the above-mentioned configurations to be connected, and transmits / receives signals or data to / from each configuration. I do.
操作受付部２０２は、ユーザー操作により操作部２１０に入力された指示や情報を受け付ける。 The operation reception unit 202 receives instructions and information input to the operation unit 210 by user operation.
音声入力受付部２０３は、マイク２４０から入力された音声信号の入力を受け付ける。 The voice input receiving unit 203 receives the input of the voice signal input from the microphone 240.
音声認識部２０４は、音声入力受付部２０３で入力を受け付けた音声信号に基づく音声認識を行う。なお、音声認識機能については、サーバーが有し、制御部２０１が、当該音声信号をサーバーに送信し、音声認識については携帯端末装置２の代わりに、サーバーが行うようにしてもよい。 The voice recognition unit 204 performs voice recognition based on the voice signal received by the voice input reception unit 203. The voice recognition function may be provided by the server, the control unit 201 may transmit the voice signal to the server, and the server may perform the voice recognition instead of the mobile terminal device 2.
次に、第１実施形態に係る画像形成装置１の制御ユニット１００で行われる動作概要の一例について、図３に示したフローチャートに基づいて説明する。なお、ここでは携帯端末装置２を携帯するユーザーが画像形成装置１に近づき、遠隔操作アプリケーションが起動している状態で、画像形成装置１のマイク９０と、携帯端末装置２のマイク２４０とに向けて、ユーザーが音声を発した場合について説明する。 Next, an example of the outline of the operation performed by the control unit 100 of the image forming apparatus 1 according to the first embodiment will be described with reference to the flowchart shown in FIG. Here, in a state where the user carrying the mobile terminal device 2 approaches the image forming device 1 and the remote operation application is activated, the microphone 90 of the image forming device 1 and the microphone 240 of the mobile terminal device 2 are directed. The case where the user emits a voice will be described.
画像形成装置１の音声入力受付部１０２が、マイク９０から入力された音声信号の入力を受け付けると（Ｓ１）、音声認識部１０３が、音声入力受付部１０２で入力を受け付けた音声信号に基づく音声認識を行い、当該音声認識により当該音声信号から変換された文字列に対応するコマンド（例えば、カラーコピー１０枚）を、予め記憶しているコマンドの中から特定し、当該コマンドを生成する（Ｓ２）。当然のことであるが、音声認識が成功せず、失敗した場合には、コマンドは生成されない。 When the voice input receiving unit 102 of the image forming apparatus 1 receives the input of the voice signal input from the microphone 90 (S1), the voice recognition unit 103 receives the voice input by the voice input receiving unit 102. Recognition is performed, a command (for example, 10 color copies) corresponding to the character string converted from the voice signal by the voice recognition is specified from the commands stored in advance, and the command is generated (S2). ). Not surprisingly, if speech recognition is unsuccessful and unsuccessful, no command is generated.
一方、携帯端末装置２の音声入力受付部２０３が、マイク２４０から入力された音声信号の入力を受け付けると（Ｓ２１）、音声認識部２０４が、音声入力受付部２０３で入力を受け付けた音声信号に基づく音声認識を行い、当該音声認識により当該音声信号から変換された文字列に対応するコマンドを予め記憶しているコマンドの中から特定し、当該コマンドを生成する（Ｓ２２）。更に、制御部２０１が、当該音声認識を行うことによって得られた音声認識結果（コマンド）を、通信部２２０を介して画像形成装置１へ送信する（Ｓ２３）。但し、音声認識が成功せず、コマンドが生成されない場合、制御部２０１は、音声認識結果として、音声認識に失敗した旨を示す情報を画像形成装置１へ送信する。 On the other hand, when the voice input receiving unit 203 of the mobile terminal device 2 receives the input of the voice signal input from the microphone 240 (S21), the voice recognition unit 204 changes to the voice signal received by the voice input receiving unit 203. Based on the voice recognition, the command corresponding to the character string converted from the voice signal by the voice recognition is specified from the commands stored in advance, and the command is generated (S22). Further, the control unit 201 transmits the voice recognition result (command) obtained by performing the voice recognition to the image forming apparatus 1 via the communication unit 220 (S23). However, if the voice recognition is not successful and the command is not generated, the control unit 201 transmits information indicating that the voice recognition has failed as the voice recognition result to the image forming apparatus 1.
画像形成装置１の制御部１００は、通信部８０を介して携帯端末装置２による音声認識結果を受信すると（Ｓ３）、画像形成装置１（音声認識部１０３）と携帯端末装置２（音声認識部２０４）との両方で音声認識が成功しているか否かを判断する（Ｓ４）。例えば、音声認識結果が画像形成装置１の動作指示として不適切なものであり、上記変換された文字列に対応する上記コマンドを特定できない場合、制御部１００は音声認識が不成功であると判定する。 When the control unit 100 of the image forming device 1 receives the voice recognition result by the mobile terminal device 2 via the communication unit 80 (S3), the image forming device 1 (voice recognition unit 103) and the mobile terminal device 2 (voice recognition unit) It is determined whether or not the voice recognition is successful in both cases (204). For example, if the voice recognition result is inappropriate as an operation instruction of the image forming apparatus 1 and the command corresponding to the converted character string cannot be specified, the control unit 100 determines that the voice recognition is unsuccessful. To do.
制御部１００は、画像形成装置１と携帯端末装置２との両方で音声認識が成功していると判断した場合（Ｓ４でＹＥＳ）、画像形成装置１による音声認識結果（コマンド）と、携帯端末装置２による音声認識結果（コマンド）とを照合し、両者が一致するか否かを判断する（Ｓ５）。 When the control unit 100 determines that the voice recognition is successful in both the image forming device 1 and the mobile terminal device 2 (YES in S4), the voice recognition result (command) by the image forming device 1 and the mobile terminal The voice recognition result (command) by the device 2 is collated, and it is determined whether or not the two match (S5).
制御部１００は、両者が一致する、すなわち、両コマンドが一致すると判断した場合（Ｓ５でＹＥＳ）、画像形成装置１の動作を制御することによって、一致したコマンドを実行する（Ｓ６）。 When the control unit 100 determines that both commands match, that is, both commands match (YES in S5), the control unit 100 executes the matched command by controlling the operation of the image forming apparatus 1 (S6).
一方、制御部１００は、両者は一致しないと判断した場合（Ｓ５でＮＯ）、両者が一致しない旨、そして音声認識結果それぞれのコマンド内容を表示部４７３に表示させて、実行するコマンドをユーザーに選択させる（Ｓ７）。 On the other hand, when the control unit 100 determines that the two do not match (NO in S5), the control unit 100 displays on the display unit 473 the command contents of the two that do not match and the voice recognition result, and gives the user a command to execute. Let them select (S7).
図４は、表示部４７３に表示される表示画面の一例を示した図である。制御部１００による制御で表示部４７３に表示される表示画面Ｄ１には、「音声入力によるコマンドがＭＦＰとモバイルとで一致しません。もう一度、音声入力を行うか、下記のいずれかのボタンを押下してください。」というメッセージＭ１と、画像形成装置１による音声認識結果のコマンドを表す「ＭＦＰ：コピー１０枚」というメッセージＭ２と、携帯端末装置２による音声認識結果のコマンドを表す「モバイル：コピー２０枚」というメッセージＭ３とが表示されると共に、設定ボタンＢ１〜Ｂ３が形成される。設定ボタンＢ１〜Ｂ３にはそれぞれ、「ＭＦＰのコマンドを実行する」、「モバイルのコマンドを実行する」、「操作パネルから入力する」と記されている。 FIG. 4 is a diagram showing an example of a display screen displayed on the display unit 473. On the display screen D1 displayed on the display unit 473 under the control of the control unit 100, "The command by voice input does not match between the MFP and the mobile. Enter the voice again or press one of the following buttons. The message M1 "Please do", the message M2 "MFP: 10 copies" representing the command of the voice recognition result by the image forming device 1, and the message "Mobile: copy" representing the command of the voice recognition result by the mobile terminal device 2. The message M3 "20 sheets" is displayed, and the setting buttons B1 to B3 are formed. The setting buttons B1 to B3 are described as "execute the MFP command", "execute the mobile command", and "input from the operation panel", respectively.
制御部１００は、操作受付部１０１がタッチパネル機能を介して、設定ボタンＢ１〜Ｂ３のいずれかに対する操作を受け付けると、操作受付部１０１が受け付けたユーザー操作（ユーザー選択）に応じた処理を実行する（Ｓ８）。但し、画像形成装置１のマイク９０や携帯端末装置２のマイク２４０に向けて、ユーザーが新たに音声を発し、画像形成装置１の音声入力受付部１０２や携帯端末装置２の音声入力受付部２０３が音声信号の入力を受け付けた場合には、上記Ｓ１，Ｓ２１の動作が行われる。 When the operation reception unit 101 receives an operation for any of the setting buttons B1 to B3 via the touch panel function, the control unit 100 executes a process according to the user operation (user selection) received by the operation reception unit 101. (S8). However, the user newly emits a voice toward the microphone 90 of the image forming device 1 and the microphone 240 of the mobile terminal device 2, and the voice input receiving unit 102 of the image forming device 1 and the voice input receiving unit 203 of the mobile terminal device 2 When the input of the voice signal is accepted, the operations of S1 and S21 are performed.
操作受付部１０１が、設定ボタンＢ１に対する操作を受け付けると、制御部１００は、画像形成装置１による音声認識結果が示すコマンドを実行し、操作受付部１０１が、設定ボタンＢ２に対する操作を受け付けると、制御部１００は、携帯端末装置２による音声認識結果が示すコマンドを実行する。また、操作受付部１０１が、設定ボタンＢ３に対する操作を受け付けると、制御部１００は、表示部４７３にメニュー画面を表示する。 When the operation reception unit 101 receives an operation for the setting button B1, the control unit 100 executes a command indicated by the voice recognition result of the image forming device 1, and when the operation reception unit 101 receives an operation for the setting button B2, The control unit 100 executes a command indicated by a voice recognition result by the mobile terminal device 2. Further, when the operation reception unit 101 receives an operation for the setting button B3, the control unit 100 displays the menu screen on the display unit 473.
また、Ｓ４において、制御部１００は、画像形成装置１と携帯端末装置２との少なくとも一方で音声認識が失敗していると判断した場合（Ｓ４でＮＯ）、画像形成装置１及び携帯端末装置２のうちのいずれか一方で音声認識が成功しているか否かを判断する（Ｓ９）。 Further, in S4, when the control unit 100 determines that voice recognition has failed at least one of the image forming device 1 and the mobile terminal device 2 (NO in S4), the image forming device 1 and the mobile terminal device 2 It is determined whether or not the voice recognition is successful in any one of them (S9).
制御部１００は、画像形成装置１及び携帯端末装置２のうちのいずれか一方で音声認識が成功していると判断した場合（Ｓ９でＹＥＳ）、音声認識が一方しか成功していない旨、そして成功している方の音声認識結果のコマンド内容を表示部４７３に表示すると共に、当該コマンドを実行するか否かをユーザーに選択させる（Ｓ１０）。 When the control unit 100 determines that the voice recognition is successful in either the image forming device 1 or the mobile terminal device 2 (YES in S9), it means that the voice recognition is successful in only one of them, and The command content of the successful voice recognition result is displayed on the display unit 473, and the user is made to select whether or not to execute the command (S10).
図５は、表示部４７３に表示される表示画面の一例を示した図である。制御部１００による制御で表示部４７３に表示される表示画面Ｄ２には、「ＭＦＰとモバイルのいずれかで音声入力に失敗しました。もう一度、音声入力を行うか、下記のいずれかのボタンを押下してください。」というメッセージＭ４と、成功している音声認識結果のコマンドを表す「音声入力したコマンド：コピー１０枚」というメッセージＭ５とが表示されると共に、設定ボタンＢ４，Ｂ５が形成される。設定ボタンＢ４，Ｂ５にはそれぞれ、「音声入力したコマンドを実行する」、「操作パネルから入力する」と記されている。 FIG. 5 is a diagram showing an example of a display screen displayed on the display unit 473. On the display screen D2 displayed on the display unit 473 under the control of the control unit 100, "Voice input failed in either the MFP or mobile. Perform voice input again or press one of the following buttons. The message M4 "Please do" and the message M5 "Voice input command: 10 copies" indicating the command of the successful voice recognition result are displayed, and the setting buttons B4 and B5 are formed. .. The setting buttons B4 and B5 are described as "execute the command input by voice" and "input from the operation panel", respectively.
制御部１００は、操作受付部１０１が設定ボタンＢ４，Ｂ５のいずれかに対する操作を受け付けると、操作受付部１０１が受け付けたユーザー操作（ユーザー選択）に応じた処理を実行する（Ｓ１１）。但し、画像形成装置１のマイク９０や携帯端末装置２のマイク２４０に向けて、ユーザーが新たに音声を発し、画像形成装置１の音声入力受付部１０２や携帯端末装置２の音声入力受付部２０３が音声信号の入力を受け付けた場合には、上記Ｓ１，Ｓ２１の動作が行われる。 When the operation reception unit 101 receives an operation for any of the setting buttons B4 and B5, the control unit 100 executes a process according to the user operation (user selection) received by the operation reception unit 101 (S11). However, the user newly emits a voice toward the microphone 90 of the image forming device 1 and the microphone 240 of the mobile terminal device 2, and the voice input receiving unit 102 of the image forming device 1 and the voice input receiving unit 203 of the mobile terminal device 2 When the input of the voice signal is accepted, the operations of S1 and S21 are performed.
操作受付部１０１が、設定ボタンＢ４に対する操作を受け付けると、制御部１００は、成功している音声認識結果のコマンドを実行し、操作受付部１０１が、設定ボタンＢ５に対する操作を受け付けると、制御部１００は、表示部４７３にメニュー画面を表示する。 When the operation reception unit 101 receives an operation for the setting button B4, the control unit 100 executes a command of a successful voice recognition result, and when the operation reception unit 101 receives an operation for the setting button B5, the control unit 100 executes the command. 100 displays a menu screen on the display unit 473.
また、Ｓ９において、制御部１００は、画像形成装置１と携帯端末装置２との両方で音声認識が失敗していると判断した場合（Ｓ９でＮＯ）、画像形成装置１の音声認識部１０３での音声認識失敗の原因を分析し、当該原因に応じた対処法を設定する（Ｓ１２）。 Further, in S9, when the control unit 100 determines that the voice recognition has failed in both the image forming device 1 and the mobile terminal device 2 (NO in S9), the voice recognition unit 103 of the image forming device 1 determines. The cause of the voice recognition failure is analyzed, and a countermeasure according to the cause is set (S12).
音声認識を失敗する原因としては、ユーザーの発声態様（音量や発声速度）に起因するものや、音声認識におけるソフトウェア上の問題などが挙げられる。そこで、制御部１００は、ユーザー発声における出力の振幅が予め定められた閾値を一定時間連続して超えているか否かを判断し、振幅が当該閾値を一定時間連続して超えていないと判断した場合、音量が小さいことが音声認識の失敗原因であると判定する。 The causes of speech recognition failure include those caused by the user's vocalization mode (volume and vocalization speed), software problems in speech recognition, and the like. Therefore, the control unit 100 determines whether or not the amplitude of the output in the user's voice continuously exceeds the predetermined threshold value for a certain period of time, and determines that the amplitude does not continuously exceed the threshold value for a certain period of time. In this case, it is determined that the low volume is the cause of the voice recognition failure.
また、制御部１００は、ユーザー発声における一文字単位の発生時間が予め定められた閾値以下であるか否かを判断し、当該発生時間が当該閾値以下であると判断した場合、発声速度が速すぎることが音声認識の失敗原因であると判定する。そして、制御部１００は、ユーザーの発声態様（音量や発声速度）に音声認識の失敗原因はないと判定した場合、音声認識部１０３の音声認識におけるソフトウェア上の問題が失敗原因であると判定する。 Further, the control unit 100 determines whether or not the generation time of each character in the user's utterance is equal to or less than a predetermined threshold value, and if it is determined that the generation time is equal to or less than the threshold value, the utterance speed is too fast. It is determined that this is the cause of the voice recognition failure. Then, when the control unit 100 determines that the user's voice recognition mode (volume or voice speed) does not cause the voice recognition failure, the control unit 100 determines that the software problem in the voice recognition of the voice recognition unit 103 is the cause of the failure. ..
音声認識失敗の原因が、ユーザーの発声態様に起因する場合、音声認識を成功させるための対処法としては、失敗の原因をユーザーに知らせることになる。 When the cause of the voice recognition failure is due to the voice recognition mode of the user, the countermeasure for successful voice recognition is to inform the user of the cause of the failure.
一方、音声認識失敗の原因が、音声認識部１０３の音声認識におけるソフトウェア上の問題に起因する場合、音声認識を成功させるための対処法としては、例えば、音声認識辞書を参照して音声認識を行う際の正誤判定値を下げるといった方法が挙げられる。当該正誤判定値を下げると、音声認識の信頼性は落ちるが、音声認識の成功率は上がる。 On the other hand, when the cause of the voice recognition failure is due to a software problem in the voice recognition of the voice recognition unit 103, as a countermeasure for succeeding the voice recognition, for example, the voice recognition is performed by referring to the voice recognition dictionary. There is a method of lowering the correctness judgment value at the time of performing. If the correctness judgment value is lowered, the reliability of voice recognition is lowered, but the success rate of voice recognition is increased.
そこで、制御部１００は、音声認識失敗の原因がユーザーの発声態様に起因すると判断した場合には、失敗の原因をユーザーに知らせることを対処法として設定し、一方、音声認識失敗の原因がユーザーの発声態様に起因しないと判断した場合には、当該正誤判定値を下げることを対処法として設定する。 Therefore, when the control unit 100 determines that the cause of the voice recognition failure is due to the user's vocalization mode, the control unit 100 sets to notify the user of the cause of the failure as a countermeasure, while the cause of the voice recognition failure is the user. If it is determined that it is not due to the utterance mode of, lowering the correctness judgment value is set as a countermeasure.
続いて、制御部１００は、画像形成装置１と携帯端末装置２との両方で音声認識が失敗している旨、そして音声認識失敗の原因がユーザーの発声態様に起因していると判断した場合には、失敗の原因についても表示部４７３に表示する（Ｓ１３）。 Subsequently, when the control unit 100 determines that the voice recognition has failed in both the image forming device 1 and the mobile terminal device 2, and that the cause of the voice recognition failure is due to the vocalization mode of the user. The cause of the failure is also displayed on the display unit 473 (S13).
図６は、表示部４７３に表示される表示画面の一例を示した図である。制御部１００による制御で表示部４７３に表示される表示画面Ｄ３には、「ＭＦＰとモバイルの両方で音声入力に失敗しました。もう一度、音声入力を行うか、下記のボタンを押下してください。」というメッセージＭ６と、音声認識の対処法を表す「もう一度、音声入力を行う場合には、もう少し大きな声でお願いします。」というメッセージＭ７とが表示されると共に、設定ボタンＢ６が形成される。設定ボタンＢ６には「操作パネルから入力する」と記されている。 FIG. 6 is a diagram showing an example of a display screen displayed on the display unit 473. On the display screen D3 displayed on the display unit 473 under the control of the control unit 100, "Voice input failed in both the MFP and mobile. Please input the voice again or press the button below. Message M6 and message M7 indicating "If you want to input voice again, please speak a little louder" are displayed, and the setting button B6 is formed. .. The setting button B6 is described as "input from the operation panel".
制御部１００は、操作受付部１０１が設定ボタンＢ６に対する操作を受け付けると、操作受付部１０１が受け付けたユーザー操作（ユーザー選択）に応じた処理を実行する（Ｓ１４）。但し、画像形成装置１のマイク９０や携帯端末装置２のマイク２４０に向けて、ユーザーが新たに音声を発し、画像形成装置１の音声入力受付部１０２や携帯端末装置２の音声入力受付部２０３が音声信号の入力を受け付けた場合には、上記Ｓ１，Ｓ２１の動作が行われる。 When the operation reception unit 101 receives an operation for the setting button B6, the control unit 100 executes a process according to the user operation (user selection) received by the operation reception unit 101 (S14). However, the user newly emits a voice toward the microphone 90 of the image forming device 1 and the microphone 240 of the mobile terminal device 2, and the voice input receiving unit 102 of the image forming device 1 and the voice input receiving unit 203 of the mobile terminal device 2 When the input of the voice signal is accepted, the operations of S1 and S21 are performed.
また、音声認識失敗の原因がユーザー発声態様に起因しない場合には、上記Ｓ２において、画像形成装置１の音声認識部１０３は、制御部１００が設定した対処法に従い、上記正誤判定値を下げて、音声入力受付部１０２で新たに入力を受け付けた音声信号に対する音声認識を行う。 If the cause of the voice recognition failure is not caused by the user's voice recognition mode, the voice recognition unit 103 of the image forming apparatus 1 lowers the correctness determination value according to the coping method set by the control unit 100 in S2. , The voice input receiving unit 102 performs voice recognition for the voice signal newly received.
上記第１実施形態によれば、画像形成装置１に接続されたマイク９０から入力された音声信号に基づく音声認識結果と、携帯端末装置２に接続されたマイク２４０から入力された音声信号に基づく音声認識結果との両方を用いて、画像形成装置１の動作が制御されるので、音声入力による指示の精度を向上させることができる。 According to the first embodiment, the voice recognition result based on the voice signal input from the microphone 90 connected to the image forming apparatus 1 and the voice signal input from the microphone 240 connected to the mobile terminal device 2 are used. Since the operation of the image forming apparatus 1 is controlled by using both the voice recognition result and the voice recognition result, the accuracy of the instruction by the voice input can be improved.
画像形成装置１による音声認識結果と携帯端末装置２による音声認識結果とが一致する場合には、一致した音声認識結果のコマンドが実行されるが、両者が一致しない場合には、実行すべきコマンドをユーザーが選択する機会が与えられ、いずれかの音声認識が失敗している場合には、コマンドを実行するか否かをユーザーが選択する機会が与えられる。従って、ユーザーの意図しないコマンドが勝手に実行されるのを回避することができる。また、両方の音声認識が失敗した場合には、音声認識が失敗した原因に応じて、対処法が設定されるので、音声認識が成功する確率を高めることができる。 When the voice recognition result by the image forming device 1 and the voice recognition result by the mobile terminal device 2 match, the command of the matching voice recognition result is executed, but when both do not match, the command to be executed is executed. Is given the opportunity for the user to choose, and if any speech recognition fails, the user is given the opportunity to choose whether to execute the command. Therefore, it is possible to prevent the command not intended by the user from being executed without permission. Further, when both voice recognitions fail, a countermeasure is set according to the cause of the voice recognition failure, so that the probability that the voice recognition succeeds can be increased.
ところで、画像形成装置１で対応可能な言語よりも、携帯端末装置２で対応可能な言語の方が多いのが一般的である。例えば、画像形成装置１がイタリア語に対応していないが、携帯端末装置２がイタリア語に対応している場合、画像形成装置１による音声認識は失敗するが、携帯端末装置２による音声認識は成功可能なので、画像形成装置１が対応していない言語についても、音声入力で操作することが可能となる。 By the way, in general, there are more languages that can be supported by the mobile terminal device 2 than languages that can be supported by the image forming device 1. For example, if the image forming apparatus 1 does not support Italian, but the mobile terminal device 2 supports Italian, the voice recognition by the image forming apparatus 1 fails, but the voice recognition by the mobile terminal device 2 does. Since it is possible to succeed, it is possible to operate the language that the image forming apparatus 1 does not support by voice input.
図７は、第２実施形態に係る画像形成装置１の制御ユニット１００で行われる動作概要の一例を示したフローチャートである。当該第２実施形態に係る画像形成装置１における制御部１００は、音声入力受付部１０２で音声信号の入力を受け付けてから予め定められた第１期間Ｔ１内に、音声入力受付部１０２で新たな音声信号の入力を受け付けると、音声入力受付部１０２で新たに入力を受け付けた音声信号に対する音声認識部１０３による音声認識結果と、音声入力受付部１０２で先に入力を受け付けた音声信号に対する音声認識部１０３による音声認識結果とを比較し、予め定められた重要項目の内容すべてが一致する場合には、先の音声認識結果を無効にして、新たに入力を受け付けた音声信号についての音声認識結果を有効にする。 FIG. 7 is a flowchart showing an example of an outline of the operation performed by the control unit 100 of the image forming apparatus 1 according to the second embodiment. The control unit 100 in the image forming apparatus 1 according to the second embodiment is a new voice input reception unit 102 within a predetermined first period T1 after the voice input reception unit 102 receives the input of the voice signal. When the input of the voice signal is received, the voice recognition result by the voice recognition unit 103 for the voice signal newly received by the voice input reception unit 102 and the voice recognition for the voice signal for which the input is received first by the voice input reception unit 102 Compared with the voice recognition result by unit 103, if all the contents of the predetermined important items match, the previous voice recognition result is invalidated and the voice recognition result for the newly accepted voice signal is obtained. To enable.
なお、予め定められた第１期間Ｔ１内は、図７に示した１点破線で囲まれた範囲内であり、Ｓ１において音声入力受付部１０２が音声信号の入力を受け付けてから、例えば、Ｓ６において制御部１００が音声認識に基づくコマンドを実行するまでの期間である。 The predetermined first period T1 is within the range surrounded by the one-dot dashed line shown in FIG. 7, and after the voice input receiving unit 102 receives the voice signal input in S1, for example, S6. This is the period until the control unit 100 executes a command based on voice recognition.
更に、当該第２実施形態に係る画像形成装置１における制御部１００は、携帯端末装置２による音声認識結果を受信してから予め定められた第２期間Ｔ２内に、携帯端末装置２による音声認識結果を新たに受信すると、新たに受信した携帯端末装置２による音声認識結果と、先に受信した携帯端末装置２による音声認識結果とを比較し、予め定められた重要項目の内容すべてが一致する場合には、先の音声認識結果を無効にして、新たに受信した携帯端末装置２による音声信号についての音声認識結果を有効にする。 Further, the control unit 100 in the image forming apparatus 1 according to the second embodiment receives the voice recognition result by the mobile terminal device 2 and then the voice recognition by the mobile terminal device 2 within a predetermined second period T2. When the result is newly received, the newly received voice recognition result by the mobile terminal device 2 is compared with the voice recognition result by the previously received mobile terminal device 2, and all the contents of the predetermined important items match. In this case, the previous voice recognition result is invalidated, and the voice recognition result for the newly received voice signal by the mobile terminal device 2 is enabled.
なお、予め定められた第２期間Ｔ２内は、図７に示した２点破線で囲まれた範囲内であり、Ｓ３において通信部８０が携帯端末装置２による音声認識結果を受信してから、例えば、Ｓ６において制御部１００が音声認識に基づくコマンドを実行するまでの期間である。 The predetermined second period T2 is within the range surrounded by the two-dot dashed line shown in FIG. 7, and after the communication unit 80 receives the voice recognition result by the mobile terminal device 2 in S3, For example, it is a period until the control unit 100 executes a command based on voice recognition in S6.
重要項目としては、例えば、コピーやスキャン、ファクス送信などが挙げられるが、カラーやモノクロ、部数などは重要項目に含まれない。例えば、ユーザーが「カラーコピー１０枚」と発声したすぐ後に、「モノクロコピー２０枚」と発声した場合、重要項目である「コピー」は一致するので、制御部１００は、先に発声された「カラーコピー１０枚」を無効にし、後に発声された「モノクロコピー２０枚」を有効にする。 Important items include, for example, copying, scanning, fax transmission, etc., but color, monochrome, number of copies, etc. are not included in the important items. For example, if the user utters "20 monochrome copies" immediately after uttering "10 color copies", the important item "copy" matches, so the control unit 100 has the previously uttered "20 monochrome copies". Disable "10 color copies" and enable "20 monochrome copies" uttered later.
一方、ユーザーが「カラーコピー」と発声したすぐ後に、「カラースキャン」と発声した場合、重要項目は「コピー」と「スキャン」とで異なるので、制御部１００は、先に発声された「カラーコピー」を無効にしない。また、先に発声されたものが無効にならなかった場合、制御部１００は、先に発声された内容と後に発声された内容とを表示部４７３に表示し、ユーザーにいずれを有効にするのかを選択させる。 On the other hand, if the user utters "color scan" immediately after uttering "color copy", the important items are different between "copy" and "scan", so the control unit 100 controls the previously uttered "color". Do not disable "copy". Further, when the previously uttered content is not invalidated, the control unit 100 displays the previously uttered content and the later uttered content on the display unit 473, and which one is enabled for the user. Let me select.
上記第２実施形態によれば、ユーザーが誤った音声入力をしたことに気づき、すぐに音声入力をし直した場合には、先の音声入力を無効にすることが可能となるので、使い勝手のよいものとすることができる。 According to the second embodiment, if the user notices that the voice input is incorrect and immediately re-inputs the voice, the previous voice input can be invalidated, which is convenient. It can be good.
図８は、第３実施形態に係る画像形成装置を遠隔操作するための携帯端末装置の主要内部構成を概略的に示した機能ブロック図である。携帯端末装置２Ａは、制御ユニット２００が検出部２０５を備える点で、図２に示した携帯端末装置２と相違する。検出部２０５は、携帯端末装置２Ａに接続されたマイク２４０から入力された音声信号から既知の技術により周波数帯域を検出する。例えば、検出部２０５は、音声信号をフーリエ変換することによって、ユーザー音声の周波数帯域を検出する。そして、制御部２０１が、検出部２０５が検出したユーザー音声の周波数帯域を示す周波数帯域情報を、通信部２２０を介して画像形成装置１へ送信する。 FIG. 8 is a functional block diagram schematically showing a main internal configuration of a mobile terminal device for remotely controlling an image forming device according to a third embodiment. The mobile terminal device 2A is different from the mobile terminal device 2 shown in FIG. 2 in that the control unit 200 includes the detection unit 205. The detection unit 205 detects the frequency band from the audio signal input from the microphone 240 connected to the mobile terminal device 2A by a known technique. For example, the detection unit 205 detects the frequency band of the user voice by Fourier transforming the voice signal. Then, the control unit 201 transmits the frequency band information indicating the frequency band of the user voice detected by the detection unit 205 to the image forming apparatus 1 via the communication unit 220.
第３実施形態に係る画像形成装置１の制御ユニット１００で行われる動作概要の一例について、図９に示したフローチャートに基づいて説明する。なお、ここでは携帯端末装置２Ａを携帯するユーザーが画像形成装置１に近づき、遠隔操作アプリケーションが起動している状態で、画像形成装置１のマイク９０と、携帯端末装置２Ａのマイク２４０とに向けて、ユーザーが音声を発した場合について説明する。 An example of an outline of the operation performed by the control unit 100 of the image forming apparatus 1 according to the third embodiment will be described with reference to the flowchart shown in FIG. Here, in a state where the user carrying the mobile terminal device 2A approaches the image forming device 1 and the remote operation application is activated, the microphone 90 of the image forming device 1 and the microphone 240 of the mobile terminal device 2A are directed. The case where the user emits a voice will be described.
携帯端末装置２Ａの音声入力受付部２０３が、マイク２４０から入力された音声信号の入力を受け付けると（Ｓ３１）、音声認識部２０４が、音声入力受付部２０３で入力を受け付けた音声信号に基づく音声認識を行い、コマンドを生成し（Ｓ３２）、検出部２０５が、当該音声信号から周波数帯域を検出し（Ｓ３３）、制御部２０１が、音声認識を行うことによって得られた音声認識結果（コマンド）及び周波数帯域情報を、通信部２２０を介して画像形成装置１へ送信する（Ｓ３４）。但し、音声認識が成功せず、コマンドが生成されない場合、制御部２０１は、音声認識結果として、音声認識に失敗した旨を示す情報を画像形成装置１へ送信する。 When the voice input receiving unit 203 of the mobile terminal device 2A receives the input of the voice signal input from the microphone 240 (S31), the voice recognition unit 204 hears the voice based on the voice signal received by the voice input receiving unit 203. A voice recognition result (command) obtained by performing recognition, generating a command (S32), detecting a frequency band from the voice signal by the detection unit 205 (S33), and performing voice recognition by the control unit 201 (S33). And the frequency band information is transmitted to the image forming apparatus 1 via the communication unit 220 (S34). However, if the voice recognition is not successful and the command is not generated, the control unit 201 transmits information indicating that the voice recognition has failed as the voice recognition result to the image forming apparatus 1.
一方、画像形成装置１の音声入力受付部１０２が、マイク９０から入力された音声信号の入力を受け付け（Ｓ４１）、通信部８０が、携帯端末装置２Ａによる音声認識結果及び周波数帯域情報を受信すると（Ｓ４２）、音声認識部１０３が、当該周波数帯域情報が示す周波数帯域に絞って、音声入力受付部１０２で入力を受け付けた音声信号に基づく音声認識を行い、当該音声信号から変換された文字列に対応するコマンドを、予め記憶しているコマンドの中から特定し、当該コマンドを生成する（Ｓ４３）。なお、これ以降については、図３に示した動作と同じであるため、説明を省略する。 On the other hand, when the voice input receiving unit 102 of the image forming apparatus 1 receives the input of the voice signal input from the microphone 90 (S41), and the communication unit 80 receives the voice recognition result and the frequency band information by the mobile terminal device 2A. (S42), the voice recognition unit 103 narrows down to the frequency band indicated by the frequency band information, performs voice recognition based on the voice signal received by the voice input reception unit 102, and converts a character string from the voice signal. The command corresponding to is specified from the commands stored in advance, and the command is generated (S43). Since the operation after that is the same as the operation shown in FIG. 3, the description thereof will be omitted.
上記第３実施形態によれば、ユーザー音声の周波数帯域に絞って音声認識を行うことができるので、誤認識を防ぐことができる。 According to the third embodiment, the voice recognition can be performed only in the frequency band of the user voice, so that erroneous recognition can be prevented.
また、上記第１乃至第３実施形態では、画像形成装置１が、画像形成装置１による音声認識結果と、携帯端末装置２による音声認識結果とを照合する場合について説明しているが、第４実施形態では、図１０に示すように、携帯端末装置２が、上記照合を行うようにしてもよい。 Further, in the first to third embodiments, the case where the image forming apparatus 1 collates the voice recognition result by the image forming apparatus 1 with the voice recognition result by the mobile terminal device 2 will be described. In the embodiment, as shown in FIG. 10, the mobile terminal device 2 may perform the above collation.
画像形成装置１の制御部１００が、音声認識部１０３による音声認識結果を、通信部８０を介して携帯端末装置２へ送信し（Ｓ５１）、携帯端末装置２の制御部２０１は、通信部２２０を介して画像形成装置１による音声認識結果を受信すると（Ｓ６１）、画像形成装置１による音声認識結果と、携帯端末装置２による音声認識結果とを照合し（Ｓ６２）、照合することによって得られた照合結果を、通信部２２０を介して画像形成装置１へ送信する（Ｓ６３）。 The control unit 100 of the image forming device 1 transmits the voice recognition result by the voice recognition unit 103 to the mobile terminal device 2 via the communication unit 80 (S51), and the control unit 201 of the mobile terminal device 2 is the communication unit 220. When the voice recognition result by the image forming apparatus 1 is received (S61), the voice recognition result by the image forming apparatus 1 and the voice recognition result by the mobile terminal device 2 are collated (S62), and the result is obtained by collating. The collation result is transmitted to the image forming apparatus 1 via the communication unit 220 (S63).
なお、照合結果としては、例えば、画像形成装置１と携帯端末装置２との両方で音声認識が成功しているとの判断結果や、それぞれの音声認識結果が一致しているとの判断結果、一致した音声認識結果のコマンドが挙げられる。 As the collation result, for example, a judgment result that the voice recognition is successful in both the image forming device 1 and the mobile terminal device 2, and a judgment result that the respective voice recognition results are in agreement. Examples include commands with matching speech recognition results.
画像形成装置１の制御部１００は、通信部８０を介して携帯端末装置２による照合結果を受信すると（Ｓ５２）、携帯端末装置２から送信されてきた照合結果に基づいて、画像形成装置１の動作を制御する（Ｓ５３）。 When the control unit 100 of the image forming apparatus 1 receives the collation result by the mobile terminal device 2 via the communication unit 80 (S52), the control unit 100 of the image forming apparatus 1 is based on the collation result transmitted from the mobile terminal apparatus 2. The operation is controlled (S53).
また、本発明は上記実施の形態の構成に限られず種々の変形が可能である。また、上記実施形態では、本発明に係る画像形成装置の一実施形態として複合機を用いて説明しているが、これは一例に過ぎず、例えば、コピー機能、ファクシミリ機能、スキャナー機能等を有した他の画像形成装置でもよい。 Further, the present invention is not limited to the configuration of the above embodiment, and various modifications can be made. Further, in the above embodiment, a multifunction device is described as an embodiment of the image forming apparatus according to the present invention, but this is only an example, and has, for example, a copy function, a facsimile function, a scanner function, and the like. Other image forming devices may be used.
また、上記実施形態では、図１乃至図１０を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。 Further, in the above-described embodiment, the configuration and processing shown by the above-described embodiment with reference to FIGS. 1 to 10 are merely one embodiment of the present invention, and the present invention is not intended to be limited to the configuration and processing.
１ 画像形成装置
２ 携帯端末装置
８０ 通信部
９０ マイク
１００ 制御部
１０１ 操作受付部
１０２ 音声入力受付部
１０３ 音声認識部
２０５ 検出部
1 Image forming device 2 Mobile terminal device 80 Communication unit 90 Microphone 100 Control unit 101 Operation reception unit 102 Voice input reception unit 103 Voice recognition unit 205 Detection unit
Claims (9)
前記音声入力受付部で入力を受け付けた音声信号に基づく音声認識を行う音声認識部と、
携帯端末装置と通信を行う通信部と、
本画像形成装置の動作を制御する制御部と、を備え、
前記制御部は、前記通信部を介して受信した前記携帯端末装置で行われた音声認識結果と、前記音声認識部による音声認識結果とを照合した照合結果に基づいて、本画像形成装置の動作を制御し、
前記音声入力受付部で音声信号の入力を受け付けてから予め定められた第１期間内に、前記音声入力受付部で新たな音声信号の入力を受け付けると、
前記制御部は、前記音声入力受付部で新たに入力を受け付けた音声信号に対する前記音声認識部による音声認識結果と、前記音声入力受付部で先に入力を受け付けた音声信号に対する前記音声認識部による音声認識結果とを比較し、当該両音声認識結果において、予め定められた重要項目の内容すべてが一致する場合には、前記携帯端末装置で行われた音声認識結果との照合において、先の音声認識結果を無効にして、新たに入力を受け付けた音声信号についての音声認識結果を有効にする画像形成装置。 An audio input receiving unit that receives an input of an audio signal input from a microphone connected to this image forming apparatus,
A voice recognition unit that performs voice recognition based on a voice signal received by the voice input reception unit, and a voice recognition unit.
A communication unit that communicates with mobile terminal devices,
It is equipped with a control unit that controls the operation of this image forming apparatus.
The control unit operates the image forming apparatus based on a collation result of collating the voice recognition result performed by the mobile terminal device received via the communication unit with the voice recognition result by the voice recognition unit. Control and
When the voice input reception unit receives a new voice signal input within a predetermined first period after the voice input reception unit receives the voice signal input,
The control unit is based on the voice recognition result of the voice recognition unit for the voice signal newly received by the voice input reception unit and the voice recognition unit for the voice signal previously received by the voice input reception unit. Compared with the voice recognition result, if all the contents of the predetermined important items match in both voice recognition results, the previous voice is collated with the voice recognition result performed by the mobile terminal device. An image forming device that invalidates the recognition result and enables the voice recognition result for the newly received voice signal .
前記音声入力受付部で入力を受け付けた音声信号に基づく音声認識を行う音声認識部と、
携帯端末装置と通信を行う通信部と、
本画像形成装置の動作を制御する制御部と、を備え、
前記制御部は、前記通信部を介して受信した前記携帯端末装置で行われた音声認識結果と、前記音声認識部による音声認識結果とを照合した照合結果に基づいて、本画像形成装置の動作を制御し、
前記携帯端末装置による音声認識結果を受信してから予め定められた第２期間内に、前記携帯端末装置による音声認識結果を新たに受信すると、
前記制御部は、新たに受信した前記携帯端末装置による音声認識結果と、先に受信した前記携帯端末装置による音声認識結果とを比較し、予め定められた重要項目の内容すべてが一致する場合には、前記音声入力受付部で入力を受け付けた音声信号についての音声認識結果との照合において、先の音声認識結果を無効にして、新たに受信した前記携帯端末装置による音声認識結果を有効にする画像形成装置。 An audio input receiving unit that receives an input of an audio signal input from a microphone connected to this image forming apparatus,
A voice recognition unit that performs voice recognition based on a voice signal received by the voice input reception unit, and a voice recognition unit.
A communication unit that communicates with mobile terminal devices,
It is equipped with a control unit that controls the operation of this image forming apparatus.
The control unit operates the image forming apparatus based on a collation result of collating the voice recognition result performed by the mobile terminal device received via the communication unit with the voice recognition result by the voice recognition unit. Control and
When the voice recognition result by the mobile terminal device is newly received within a predetermined second period after receiving the voice recognition result by the mobile terminal device,
The control unit compares the newly received voice recognition result by the portable terminal device with the previously received voice recognition result by the mobile terminal device, and when all the contents of the predetermined important items match. Disables the previous voice recognition result and enables the newly received voice recognition result by the portable terminal device in the collation with the voice recognition result of the voice signal received by the voice input receiving unit. that images forming device.
前記音声入力受付部で入力を受け付けた音声信号に基づく音声認識を行う音声認識部と、
携帯端末装置と通信を行う通信部と、
本画像形成装置の動作を制御する制御部と、を備え、
前記制御部は、前記通信部を介して受信した前記携帯端末装置で行われた音声認識結果と、前記音声認識部による音声認識結果とを照合した照合結果に基づいて、本画像形成装置の動作を制御し、
ユーザーに対して報知を行う報知部と、
ユーザーから指示を受け付ける操作部とを更に備え、
前記制御部は、前記照合結果が、前記音声認識部による音声認識結果と、前記携帯端末装置による音声認識結果とが一致しないことを示す場合、音声認識結果それぞれの予め定められたコマンドの内容を前記報知部によりユーザーに対して報知させると共に、実行対象とするコマンドを当該それぞれのコマンドから選択する指示を、前記操作部を介してユーザーから受け付け、当該指示に従ったコマンドを実行する画像形成装置。 An audio input receiving unit that receives an input of an audio signal input from a microphone connected to this image forming apparatus,
A voice recognition unit that performs voice recognition based on a voice signal received by the voice input reception unit, and a voice recognition unit.
A communication unit that communicates with mobile terminal devices,
It is equipped with a control unit that controls the operation of this image forming apparatus.
The control unit operates the image forming apparatus based on a collation result of collating the voice recognition result performed by the mobile terminal device received via the communication unit with the voice recognition result by the voice recognition unit. Control and
A notification unit that notifies the user and
It also has an operation unit that receives instructions from the user.
When the collation result indicates that the voice recognition result by the voice recognition unit and the voice recognition result by the mobile terminal device do not match, the control unit determines the contents of predetermined commands for each of the voice recognition results. together to notify the user by the notification unit, an instruction to select a command to be executed from the respective commands received from the user via the operation unit, images to run a command to the command is Forming device.
前記音声入力受付部で入力を受け付けた音声信号に基づく音声認識を行う音声認識部と、
携帯端末装置と通信を行う通信部と、
本画像形成装置の動作を制御する制御部と、
ユーザーに対して報知を行う報知部と、
ユーザーから指示を受け付ける操作部と、を備え、
前記制御部は、前記通信部を介して受信した前記携帯端末装置で行われた音声認識結果と、前記音声認識部による音声認識結果とを照合した照合結果に基づいて、本画像形成装置の動作を制御し、
前記音声認識部による音声認識及び前記携帯端末装置による音声認識のうちのいずれか一方だけが成功しているとき、
前記制御部は、成功している方の音声認識結果のコマンドを実行するか否かを前記報知部によりユーザーに対して報知させ、前記操作部を介してユーザーから選択指示を受け付けた方のコマンドを実行する画像形成装置。 An audio input receiving unit that receives an input of an audio signal input from a microphone connected to this image forming apparatus,
A voice recognition unit that performs voice recognition based on a voice signal received by the voice input reception unit, and a voice recognition unit.
A communication unit that communicates with mobile terminal devices,
A control unit that controls the operation of this image forming apparatus,
A notification unit that notifies the user and
Equipped with an operation unit that receives instructions from the user
The control unit operates the image forming apparatus based on a collation result of collating the voice recognition result performed by the mobile terminal device received via the communication unit with the voice recognition result by the voice recognition unit. Control and
When only one of the voice recognition by the voice recognition unit and the voice recognition by the mobile terminal device is successful.
The control unit notifies the user whether or not to execute the command of the voice recognition result of the successful one by the notification unit, and the command of the person who receives the selection instruction from the user via the operation unit. to run the images forming apparatus.
前記制御部は、音声認識を失敗した原因を分析し、当該原因に応じた対処法を設定し、
前記音声認識部は、前記制御部が設定した対処法に従って、前記音声入力受付部で新たに入力を受け付けた音声信号に対する音声認識を行う請求項１乃至請求項５のいずれかに記載の画像形成装置。 When both the voice recognition by the voice recognition unit and the voice recognition by the mobile terminal device are not successful.
The control unit analyzes the cause of the failure in voice recognition, sets a countermeasure according to the cause, and sets a countermeasure.
The image forming according to any one of claims 1 to 5 , wherein the voice recognition unit performs voice recognition for a voice signal newly received by the voice input reception unit according to a coping method set by the control unit. apparatus.
前記音声入力受付部で入力を受け付けた音声信号に基づく音声認識を行う音声認識部と、
携帯端末装置と通信を行う通信部と、
本画像形成装置の動作を制御する制御部と、を備え、
前記制御部は、前記音声認識部による音声認識結果を、前記通信部を介して前記携帯端末装置へ送信し、
前記制御部は、前記通信部を介して前記携帯端末装置から、当該携帯端末装置に接続されたマイクから入力された音声信号に基づく音声認識による音声認識結果と、本画像形成装置から送信されてきた前記音声認識部による音声認識結果と照合した照合結果を受信し、当該照合結果に基づいて、本画像形成装置の動作を制御し、
ユーザーに対して報知を行う報知部と、
ユーザーから指示を受け付ける操作部とを更に備え、
前記制御部は、前記照合結果が、前記音声認識部による音声認識結果と、前記携帯端末装置による音声認識結果とが一致しないことを示す場合、音声認識結果それぞれの予め定められたコマンドの内容を前記報知部によりユーザーに対して報知させると共に、実行対象とするコマンドを当該それぞれのコマンドから選択する指示を、前記操作部を介してユーザーから受け付け、当該指示に従ったコマンドを実行する画像形成装置。 An audio input receiving unit that receives an input of an audio signal input from a microphone connected to this image forming apparatus,
A voice recognition unit that performs voice recognition based on a voice signal received by the voice input reception unit, and a voice recognition unit.
A communication unit that communicates with mobile terminal devices,
It is equipped with a control unit that controls the operation of this image forming apparatus.
The control unit transmits the voice recognition result of the voice recognition unit to the mobile terminal device via the communication unit.
The control unit has been transmitted from the mobile terminal device via the communication unit, a voice recognition result by voice recognition based on a voice signal input from a microphone connected to the mobile terminal device, and a voice recognition result from the image forming device. The collation result collated with the voice recognition result by the voice recognition unit is received, and the operation of the image forming apparatus is controlled based on the collation result .
A notification unit that notifies the user and
It also has an operation unit that receives instructions from the user.
When the collation result indicates that the voice recognition result by the voice recognition unit and the voice recognition result by the mobile terminal device do not match, the control unit determines the contents of predetermined commands for each of the voice recognition results. An image forming apparatus that notifies the user by the notification unit, receives an instruction to select a command to be executed from the respective commands from the user via the operation unit, and executes a command according to the instruction. ..
前記音声入力受付部で入力を受け付けた音声信号に基づく音声認識を行う音声認識部と、
携帯端末装置と通信を行う通信部と、
本画像形成装置の動作を制御する制御部と、
ユーザーに対して報知を行う報知部と、
ユーザーから指示を受け付ける操作部と、を備え、
前記制御部は、前記音声認識部による音声認識結果を、前記通信部を介して前記携帯端末装置へ送信し、
前記制御部は、前記通信部を介して前記携帯端末装置から、当該携帯端末装置に接続されたマイクから入力された音声信号に基づく音声認識による音声認識結果と、本画像形成装置から送信されてきた前記音声認識部による音声認識結果と照合した照合結果を受信し、当該照合結果に基づいて、本画像形成装置の動作を制御し、
前記音声認識部による音声認識及び前記携帯端末装置による音声認識のうちのいずれか一方だけが成功しているとき、
前記制御部は、成功している方の音声認識結果のコマンドを実行するか否かを前記報知部によりユーザーに対して報知させ、前記操作部を介してユーザーから選択指示を受け付けた方のコマンドを実行する画像形成装置。 An audio input receiving unit that receives an input of an audio signal input from a microphone connected to this image forming apparatus,
A voice recognition unit that performs voice recognition based on a voice signal received by the voice input reception unit, and a voice recognition unit.
A communication unit that communicates with mobile terminal devices,
A control unit that controls the operation of this image forming apparatus,
A notification unit that notifies the user and
Equipped with an operation unit that receives instructions from the user
The control unit transmits the voice recognition result of the voice recognition unit to the mobile terminal device via the communication unit.
The control unit has been transmitted from the mobile terminal device via the communication unit, a voice recognition result by voice recognition based on a voice signal input from a microphone connected to the mobile terminal device, and a voice recognition result from the image forming device. The collation result collated with the voice recognition result by the voice recognition unit is received, and the operation of the image forming apparatus is controlled based on the collation result.
When only one of the voice recognition by the voice recognition unit and the voice recognition by the mobile terminal device is successful.
The control unit notifies the user whether or not to execute the command of the voice recognition result of the successful one by the notification unit, and the command of the person who receives the selection instruction from the user via the operation unit. An image forming device that performs .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017199661A JP6822374B2 (en) | 2017-10-13 | 2017-10-13 | Image forming device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017199661A JP6822374B2 (en) | 2017-10-13 | 2017-10-13 | Image forming device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019074608A JP2019074608A (en) | 2019-05-16 |
| JP6822374B2 true JP6822374B2 (en) | 2021-01-27 |
Family
ID=66544147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017199661A Expired - Fee Related JP6822374B2 (en) | 2017-10-13 | 2017-10-13 | Image forming device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6822374B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021092982A (en) | 2019-12-10 | 2021-06-17 | キヤノン株式会社 | Image processing system, image processing device, and image processing method |
| JP2022007620A (en) * | 2020-06-26 | 2022-01-13 | 富士フイルムビジネスイノベーション株式会社 | Information processing equipment and programs |
| JP7655105B2 (en) * | 2021-06-15 | 2025-04-02 | 富士フイルムビジネスイノベーション株式会社 | Information processing device and program |
| JP7319639B1 (en) | 2022-08-24 | 2023-08-02 | ダイレクトソリューションズ株式会社 | Voice input system and its program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3375819B2 (en) * | 1996-04-16 | 2003-02-10 | 株式会社日立製作所 | Recognition method combining method and apparatus for performing the method |
| JP2008256802A (en) * | 2007-04-02 | 2008-10-23 | Fujitsu Ten Ltd | Voice recognition device and voice recognition method |
| JP2009042298A (en) * | 2007-08-06 | 2009-02-26 | Panasonic Electric Works Co Ltd | Device control device by voice |
| JP6171511B2 (en) * | 2013-04-09 | 2017-08-02 | コニカミノルタ株式会社 | Control device, image forming apparatus, portable terminal device, control method, and control program |
-
2017
- 2017-10-13 JP JP2017199661A patent/JP6822374B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019074608A (en) | 2019-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113497855B (en) | Information processing devices, storage media, information processing methods and computer program products | |
| JP6822374B2 (en) | Image forming device | |
| US7844458B2 (en) | Speech recognition for detecting setting instructions | |
| JP2009116841A (en) | Input device | |
| US20200193991A1 (en) | Image processing system, image forming apparatus, voice input inhibition determination method, and recording medium | |
| US20200341728A1 (en) | Information processing system and non-transitory recording medium | |
| JP7520483B2 (en) | Information processing system, information processing device, control method, and program | |
| JP2019215485A (en) | Image forming apparatus, image forming system, control method, and control program | |
| EP3716040A1 (en) | Image forming apparatus and job execution method | |
| JP6455352B2 (en) | Power supply apparatus and image forming apparatus | |
| JP2008257566A (en) | Electronic equipment | |
| US11023190B2 (en) | Image forming apparatus | |
| US20200366800A1 (en) | Apparatus | |
| JP7286321B2 (en) | Information processing system, information processing device, control method, program | |
| US12051411B2 (en) | Speech setting system, speech setting assistance device and non-transitory computer-readable recording medium encoded with speech setting assistance program | |
| US12212724B2 (en) | Information processing system that executes command corresponding to utterance, image processing apparatus, control method for information processing system, and storage medium storing control program for information processing system | |
| JP2021086510A (en) | Electronic apparatus | |
| US20200244824A1 (en) | Image forming apparatus, image forming system, and controlling method of the image forming apparatus | |
| US11350001B2 (en) | Operation receiving apparatus, control method, image forming system, and recording medium | |
| JP7314499B2 (en) | Information processing system, information processing device, job control method and job control program | |
| JP7835325B2 (en) | Image forming apparatus | |
| JP2021082857A (en) | Input control device, image forming apparatus, and input control method | |
| US20240386890A1 (en) | Voice operation device that operates operated device, computer readable non-transitory recording medium having voice operation program stored therein, and voice operating system | |
| JP7435296B2 (en) | Information processing device and program | |
| JP7363075B2 (en) | Information processing device and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190924 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6822374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |