JP6439451B2

JP6439451B2 - Operation system and image forming apparatus

Info

Publication number: JP6439451B2
Application number: JP2015002396A
Authority: JP
Inventors: 弥内田; 一美澤柳; 利通岩井; 智章中島; 敦史田村; 友二田中
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2015-01-08
Filing date: 2015-01-08
Publication date: 2018-12-19
Anticipated expiration: 2035-01-08
Also published as: JP2016126712A

Description

本発明は、ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作技術に関する。 The present invention relates to an operation technique realized by a combination of a terminal device having a function of accepting a user operation and an image forming apparatus that operates in accordance with the user operation.

スキャナー、ファクシミリ、プリンター、複写機等の機能を統合した複合機（以下、ＭＦＰ（Multifunction Peripheral）と呼ぶ。）が普及している。
特許文献１によると、ゲーム装置である端末装置が備えるカメラの撮像方向の実空間に、マーカーが配置されている。マーカーは、長方形の紙に描かれた矢印である。ゲーム装置は、撮像された実画像に対して、パターンマッチング等の画像処理を行うことによって、当該実画像に含まれるマーカーを検出する。実画像中にマーカーが検出された場合、仮想空間がマーカーの中心を原点としたＸＹＺ座標系によって定義される。ゲーム装置の表示部には、撮像された実画像に、仮想空間上の仮想キャラクタが重ね合わされて表示される。これにより、仮想キャラクタがあたかも実空間に存在するような感覚をユーザーに与えることができる。 Multifunction machines (hereinafter referred to as MFP (Multifunction Peripheral)) that integrate functions such as scanners, facsimiles, printers, and copiers have become widespread.
According to Patent Document 1, markers are arranged in real space in the imaging direction of a camera included in a terminal device that is a game device. The marker is an arrow drawn on rectangular paper. The game device detects a marker included in the actual image by performing image processing such as pattern matching on the captured actual image. When a marker is detected in a real image, the virtual space is defined by an XYZ coordinate system with the center of the marker as the origin. On the display unit of the game apparatus, a virtual character in the virtual space is displayed superimposed on the captured real image. Thereby, it is possible to give the user a feeling that the virtual character exists in the real space.

ＭＦＰにおいて、ユーザーの操作を受け付ける場合に、上記の技術を応用することができる。ＭＦＰは、ユーザーの操作を受け付ける操作部を備える。端末装置は、当該端末装置が備えるカメラにより撮影された実画像における現実のＭＦＰを表す画像と仮想的に操作部を表す画像とを合成して表示する。
さらに、端末装置は、仮想的に操作部を表す画像により、ユーザーに対して、操作方法をガイドする。端末装置のカメラは、ユーザーの動作を撮影し、得られた実画像に対して画像処理を施して、ユーザーの操作を推定し、推定した操作の内容をＭＦＰに対して出力する。ＭＦＰは、端末装置からユーザーの操作の内容を受け取り、受け取った操作の内容に基づいて処理を行う。 In the MFP, the above technique can be applied when accepting a user operation. The MFP includes an operation unit that receives user operations. The terminal device synthesizes and displays an image representing an actual MFP and an image representing an operation unit in an actual image taken by a camera included in the terminal device.
Furthermore, the terminal device guides the operation method to the user with an image that virtually represents the operation unit. The camera of the terminal device captures the user's action, performs image processing on the obtained actual image, estimates the user's operation, and outputs the content of the estimated operation to the MFP. The MFP receives the content of the user's operation from the terminal device, and performs processing based on the received content of the operation.

特開２０１２−６９１２６号公報JP 2012-69126 A

上記の応用例において、ＭＦＰの現実の操作部に対して、ユーザーが第１の操作を行うと、現実の操作部は、第１の操作を受け付ける。このとき、端末装置は、ＭＦＰに対するユーザーの第１の操作を、第２の操作として認識し、ＭＦＰに対して、第２の操作の内容を出力する。ＭＦＰは、端末装置から第２の操作の内容を受け取る。ＭＦＰは、第１の操作の内容に応じた処理を行い、さらに、第２の操作の内容に応じた処理を行う。 In the application example described above, when the user performs a first operation on the actual operation unit of the MFP, the actual operation unit accepts the first operation. At this time, the terminal device recognizes the first operation of the user on the MFP as the second operation, and outputs the content of the second operation to the MFP. The MFP receives the content of the second operation from the terminal device. The MFP performs processing according to the content of the first operation, and further performs processing according to the content of the second operation.

この場合、第１の操作と第２の操作は、同一の操作である。このため、ＭＦＰが、第１の操作の内容に応じた処理及び第２の操作の内容に応じた処理の両方を行うならば、その処理結果は、ユーザーの意図しないものとなる。ここで、ＭＦＰが、同一の第１の操作及び第２の操作を受け付けることを、ユーザーの操作が衝突すると言う。
このような問題を解決するために、本発明は、画像形成装置に対するユーザーの操作と、端末装置に対するユーザーの操作とが衝突しないようにできる画像形成装置及び操作システムを提供することを目的とする。 In this case, the first operation and the second operation are the same operation. Therefore, if the MFP performs both processing according to the content of the first operation and processing according to the content of the second operation, the processing result is not intended by the user. Here, when the MFP accepts the same first operation and second operation, it is said that the user's operation collides.
In order to solve such a problem, an object of the present invention is to provide an image forming apparatus and an operation system capable of preventing a user operation on an image forming apparatus from colliding with a user operation on a terminal device. .

上記目的を達成するため、本発明の一態様は、ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムであって、前記画像形成装置は、前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信する受信手段と、ユーザーから、前記端末装置を経由しないで直接、操作を受け付けるユーザーインターフェース手段と、受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にする制御手段とを備え、前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて動作し、前記画像形成装置及び前記端末装置は、それぞれ、撮像手段と、前記撮像手段による撮影画像を解析して、撮像視野内に存在するユーザーの操作体による仮想的な操作であるジェスチャ操作の内容を推定する画像解析手段とを備え、前記フラグ情報は、前記端末装置において、前記ジェスチャ操作が有効であるか否かを示し、前記ユーザーインターフェース手段は、前記画像形成装置が備える前記画像解析手段から、ユーザーのジェスチャ操作の内容を受け取り、前記制御手段は、前記フラグ情報がジェスチャ操作が有効であることを示す場合、前記画像形成装置が備える前記画像解析手段による解析を停止することにより、又は、前記ユーザーインターフェース手段により受け取った前記ジェスチャ操作の内容を破棄することにより、前記画像形成装置に対するジェスチャ操作を無効とし、前記フラグ情報がジェスチャ操作が無効であることを示す場合、前記画像形成装置に対するジェスチャ操作を有効とすることを特徴とする。
また、本発明の別の一態様は、ユーザーの操作を受け付ける機能を有する端末装置とユーザーの操作に応じて動作する画像形成装置との組み合わせで実現する操作システムであって、前記画像形成装置は、前記端末装置から、当該端末装置におけるユーザーによる操作が有効か否かを示すフラグ情報を受信する受信手段と、ユーザーから、前記端末装置を経由しないで直接、操作を受け付けるユーザーインターフェース手段と、受信した前記フラグ情報が有効を示す場合、前記ユーザーインターフェース手段による操作を無効にし、前記フラグ情報が無効を示す場合、前記ユーザーインターフェース手段による操作を有効にする制御手段とを備え、前記ユーザーインターフェース手段により受け付けた操作、又は、前記端末装置により受け付けた操作に応じて動作し、前記端末装置が撮像手段を備えない場合、又は、前記端末装置が撮像手段を備えるが、当該撮像手段による撮像が無効である場合、前記フラグ情報は、さらに、撮像が無効であることを示し、前記ユーザーインターフェース手段は、ユーザーの操作体による接触により、ユーザーの操作を受け付けるとともに、ユーザーに対して操作ガイドを表示する操作パネルであり、前記制御手段は、前記フラグ情報が撮像が無効であることを示す場合、前記操作パネルに対する接触及び前記操作パネルによる表示を無効にすることを特徴とする。 In order to achieve the above object, one aspect of the present invention is an operation system realized by a combination of a terminal device having a function of accepting a user operation and an image forming apparatus that operates in accordance with the user operation. The forming device receives from the terminal device flag information indicating whether or not the user's operation on the terminal device is valid, and user interface means receives the operation directly from the user without going through the terminal device And, when the received flag information indicates validity, invalidates an operation by the user interface means, and when the flag information indicates invalidity, a control means for validating an operation by the user interface means, The operation received by the interface means or the terminal device Operates in response to operation received by the image forming apparatus and the terminal apparatus, respectively, and the imaging unit, analyzes the image captured by the imaging unit, virtually by users of an operator present in the imaging field Image analysis means for estimating the content of the gesture operation, which is a simple operation, the flag information indicates whether the gesture operation is valid in the terminal device, and the user interface means When the content of the user's gesture operation is received from the image analysis means provided in the apparatus, and the control means indicates that the gesture operation is valid, the analysis by the image analysis means provided in the image forming apparatus is performed. The gesture received by the user interface means By discarding the contents of the operation, if the invalidates the gesture operation on the image forming apparatus, indicating that the flag information is invalid gesture operation, and characterized by an active gesture operation with respect to the image forming apparatus To do.
According to another aspect of the present invention, there is provided an operation system realized by a combination of a terminal device having a function of accepting a user operation and an image forming apparatus that operates in accordance with the user operation, wherein the image forming apparatus includes: Receiving means for receiving flag information indicating whether or not an operation by the user on the terminal device is valid, and receiving user interface means for receiving an operation directly from the user without going through the terminal device; Control means for invalidating the operation by the user interface means when the flag information indicates validity, and validating the operation by the user interface means when the flag information indicates invalidity, the user interface means Accepted operation or accepted by the terminal device When the terminal device does not include an imaging unit, or the terminal device includes an imaging unit, but imaging by the imaging unit is invalid, the flag information further includes imaging. The user interface means is an operation panel that accepts a user's operation and displays an operation guide for the user by contact with the user's operation body, and the control means includes the flag When the information indicates that imaging is invalid, contact with the operation panel and display by the operation panel are invalidated.

この態様によると、画像形成装置に対するユーザーの操作と、端末装置に対するユーザーの操作が衝突しないようにできる。
ここで、前記フラグ情報は、さらに、当該端末装置において、ユーザーに対する操作ガイドが有効か否かを示し、前記ユーザーインターフェース手段は、さらに、ユーザーに対して、操作ガイドを行い、前記制御手段は、受信した前記フラグ情報が操作ガイドが有効であることを示す場合、前記ユーザーインターフェース手段による操作ガイドを無効にし、前記フラグ情報が操作ガイドが無効であることを示す場合、前記ユーザーインターフェース手段による操作ガイドを有効にしてもよい。 According to this aspect, it is possible to prevent a user operation on the image forming apparatus from colliding with a user operation on the terminal device.
Here, the flag information further indicates whether or not an operation guide for the user is valid in the terminal device, the user interface means further performs an operation guide for the user, and the control means includes: When the received flag information indicates that the operation guide is valid, the operation guide by the user interface means is invalidated, and when the flag information indicates that the operation guide is invalid, the operation guide by the user interface means May be enabled.

ここで、前記ユーザーインターフェース手段は、前記操作ガイドを表示する操作パネルであり、前記端末装置は、さらに、撮像手段と、前記撮像手段による撮影画像を解析して、撮像視野内に存在する前記操作パネルにより表示されている内容を検出する画像解析手段と、前記操作ガイドとして、検出された当該内容を表す操作パネル画像を生成する画像生成手段と、ユーザーが表示面を通じて前記操作パネルに重畳して視認できる状態で、生成した前記操作パネル画像を表示する表示手段とを備え、前記フラグ情報は、当該端末装置において、表示による操作ガイドが有効か否かを示し、前記制御手段は、前記フラグ情報が表示による操作ガイドが有効であることを示す場合、前記操作パネルによる表示を停止してもよい。 Here, the user interface means is an operation panel for displaying the operation guide, and the terminal device further analyzes the image captured by the image capturing means and the image captured by the image capturing means, and the operation present in the imaging field of view. Image analysis means for detecting the content displayed on the panel, image generation means for generating an operation panel image representing the detected content as the operation guide, and a user superimposed on the operation panel through a display surface Display means for displaying the generated operation panel image in a visually recognizable state, the flag information indicates whether or not an operation guide by display is valid in the terminal device, and the control means includes the flag information May indicate that the operation guide by display is valid, the display by the operation panel may be stopped.

ここで、前記画像形成装置は、さらに、前記操作ガイドの内容を表現する音声情報を基にして、音声信号を生成する音声処理手段を備え、前記ユーザーインターフェース手段は、生成された前記音声信号を変換して、音波を出力するスピーカーであり、前記フラグ情報は、当該端末装置において、音声による操作ガイドが有効か否かを示し、前記制御手段は、前記フラグ情報が音声による操作ガイドが有効であることを示す場合、前記音声信号の生成及び前記音波の出力を停止してもよい。 Here, the image forming apparatus further includes an audio processing unit that generates an audio signal based on audio information expressing the contents of the operation guide, and the user interface unit outputs the generated audio signal. The flag information indicates whether or not the voice operation guide is valid in the terminal device, and the control means has the flag information that the voice operation guide is valid. When indicating that there is, the generation of the audio signal and the output of the sound wave may be stopped.

ここで、前記ユーザーインターフェース手段は、発光により、操作ガイドを行い、前記フラグ情報は、当該端末装置において、表示による操作ガイドが有効か否かを示し、前記制御手段は、前記フラグ情報が表示による操作ガイドが有効であることを示す場合、前記ユーザーインターフェース手段による発光を停止してもよい。
ここで、前記端末装置は、さらに、撮像手段と、前記撮像手段による撮影画像を解析して、撮像視野内に存在するユーザーの操作体による仮想的な操作であるジェスチャ操作の内容を推定する画像解析手段とを備え、前記フラグ情報は、前記端末装置において、前記ジェスチャ操作が有効であるか否かを示し、前記ユーザーインターフェース手段は、接触によりユーザーの操作を受け付ける操作パネルであり、前記制御手段は、前記フラグ情報が前記ジェスチャ操作が有効であることを示す場合、前記操作パネルに対する接触による操作の受け付けを無効としてもよい。 Here, the user interface means performs an operation guide by light emission, the flag information indicates whether or not the operation guide by display is valid in the terminal device, and the control means indicates that the flag information is by display When the operation guide indicates that it is valid, the light emission by the user interface means may be stopped.
Here, the terminal device further analyzes an image captured by the imaging unit and an image captured by the imaging unit, and estimates a content of a gesture operation that is a virtual operation performed by a user's operation body existing in the imaging field of view. Analyzing means, wherein the flag information indicates whether or not the gesture operation is valid in the terminal device, and the user interface means is an operation panel that accepts a user operation by contact, and the control means When the flag information indicates that the gesture operation is valid, the acceptance of the operation by the touch on the operation panel may be invalidated.

ここで、前記端末装置は、音波を変換して音声信号を生成し、生成された音声信号を解析して、ユーザーの発する音声を認識しユーザーの操作内容を推定することにより、ユーザーの操作を受け付け、前記ユーザーインターフェース手段は、音波を変換して音声信号を生成し、前記画像形成装置は、さらに、生成された音声信号を解析して、ユーザーの発する音声を認識しユーザーの操作内容を推定する音声処理手段とを備え、前記ユーザーインターフェース手段は、前記音声処理手段から、ユーザーの前記操作内容を受け取り、前記フラグ情報は、前記端末装置による音声操作が有効であるか否かを示し、前記制御手段は、前記フラグ情報が音声操作が有効であることを示す場合、前記画像形成装置が備える前記音声処理手段による解析を停止することにより、又は、前記ユーザーインターフェース手段により受け取った前記操作内容を破棄することにより、前記画像形成装置に対する音声操作を無効としてもよい。 Here, the terminal device generates a sound signal by converting sound waves, analyzes the generated sound signal, recognizes the sound emitted by the user, and estimates the user's operation content, thereby performing the user's operation. The user interface means converts the sound wave to generate a sound signal, and the image forming apparatus further analyzes the generated sound signal to recognize the sound emitted by the user and estimate the operation content of the user. Voice processing means, the user interface means receives the operation content of the user from the voice processing means, the flag information indicates whether voice operation by the terminal device is valid, When the flag information indicates that the voice operation is valid, the control unit performs analysis by the voice processing unit included in the image forming apparatus. By stopping, or by destroying the operation content received by said user interface means, may disable the voice operation with respect to the image forming apparatus.

実施の形態としてのＭＦＰ１００及びグラス端末２００の外観斜視図である。1 is an external perspective view of an MFP 100 and a glass terminal 200 as an embodiment. ＭＦＰ１００の構成を示すブロック図である。2 is a block diagram showing a configuration of MFP 100. FIG. グラス端末２００の駆動制御部２０１の構成を示すブロック図である。3 is a block diagram illustrating a configuration of a drive control unit 201 of the glass terminal 200. FIG. 表示面２０６に表示される画像の一例を示す。An example of the image displayed on the display surface 206 is shown. 操作者の手によるボタン操作の判断方法の一例を示す。An example of a button operation determination method by the operator's hand will be described. ＭＦＰ１００及び駆動制御部２０１における動作を示すシーケンス図（その１）である。6 is a sequence diagram (part 1) illustrating operations in MFP 100 and drive control unit 201. FIG. ＭＦＰ１００及び駆動制御部２０１における動作を示すシーケンス図（その２）である。6 is a sequence diagram (part 2) illustrating operations in MFP 100 and drive control unit 201. FIG. ＭＦＰ１００及び駆動制御部２０１における動作を示すシーケンス図（その３）である。6 is a sequence diagram (part 3) illustrating operations in MFP 100 and drive control unit 201. FIG. 変形例（１）として、駆動制御部２０１の撮像部２０３が無効である場合において、表示面２０６に表示される画像の一例を示す。As a modified example (1), an example of an image displayed on the display surface 206 when the imaging unit 203 of the drive control unit 201 is invalid is shown. 駆動制御部２０１の撮像部２０３が無効である場合において、ＭＦＰ１００及び駆動制御部２０１における動作を示すシーケンス図である。6 is a sequence diagram illustrating operations in the MFP 100 and the drive control unit 201 when the imaging unit 203 of the drive control unit 201 is invalid. FIG. 変形例（２）として、駆動制御部２０１がフラグ情報を通知する場合におけるＭＦＰ１００及び駆動制御部２０１における動作を示すシーケンス図である。FIG. 10 is a sequence diagram showing operations in MFP 100 and drive control unit 201 when drive control unit 201 notifies flag information as a modified example (2).

１．実施の形態１
本発明に係る実施の形態１としての操作システム１０について説明する。
１．１操作システム１０
操作システム１０は、図１に示すように、ＭＦＰ１００及びグラス端末２００から構成されている。グラス端末２００は、眼鏡型の端末装置である。 1. Embodiment 1
An operation system 10 as Embodiment 1 according to the present invention will be described.
1.1 Operation system 10
As illustrated in FIG. 1, the operation system 10 includes an MFP 100 and a glass terminal 200. Glass terminal 200 is a spectacle-type terminal device.

ユーザーから操作開始の指示を受け付けると、グラス端末２００は、現実の空間を撮影して映像を生成する。映像がＭＦＰ１００における操作パネルを表す場合、グラス端末２００は、映像の中で、ＭＦＰ１００の操作パネルの位置及びその内容を特定する。グラス端末２００は、特定した内容に基づいて、ユーザーに対して操作をガイドするための操作パネル画像を生成する。次に、特定した位置に基づいて、ユーザーがＭＦＰ１００の操作パネルに重畳して視認できるように、生成した操作パネル画像を表示する。グラス端末２００は、ユーザーの操作を受け付け、受け付けた操作内容をＭＦＰ１００に対して送信する。ＭＦＰ１００は、操作内容を受信し、受信した操作内容に従って動作する。 When receiving an operation start instruction from the user, the glass terminal 200 captures an actual space and generates an image. When the video represents the operation panel in MFP 100, glass terminal 200 identifies the position of the operation panel of MFP 100 and the content thereof in the video. The glass terminal 200 generates an operation panel image for guiding the operation to the user based on the specified content. Next, based on the specified position, the generated operation panel image is displayed so that the user can see the image superimposed on the operation panel of MFP 100. Glass terminal 200 receives a user operation and transmits the received operation content to MFP 100. The MFP 100 receives the operation content and operates according to the received operation content.

グラス端末２００は、グラス端末２００におけるユーザーによる操作又はユーザーに対する操作ガイドが有効か否かを示すフラグ情報をＭＦＰ１００に対して送信する。ＭＦＰ１００は、受信したフラグ情報が有効であることを示す場合、ＭＦＰ１００におけるユーザーからの操作又はユーザーに対する操作ガイドを無効にする。ＭＦＰ１００は、受信したフラグ情報が無効であることを示す場合、ＭＦＰ１００におけるユーザーからの操作又はユーザーに対する操作ガイドを有効にする。 Glass terminal 200 transmits to MFP 100 flag information indicating whether or not an operation by the user at glass terminal 200 or an operation guide for the user is valid. When MFP 100 indicates that the received flag information is valid, MFP 100 invalidates the operation from the user or the operation guide for the user. When MFP 100 indicates that the received flag information is invalid, MFP 100 validates an operation from the user in MFP 100 or an operation guide for the user.

１．２ＭＦＰ１００
ＭＦＰ１００は、スキャナー、ファクシミリ、プリンター、複写機等の機能を備えた画像形成装置である。
ＭＦＰ１００は、図２に示すように、スキャナー１０１、画像処理部（画像解析手段）１０２、通信部１０３、無線通信部（受信手段）１０４、撮像部（撮像手段）１０５、メモリ部１０６、ＣＰＵ（Central Processing Unit ）１０７、プリントエンジン１０８、ハードディスク１０９、操作パネル（ユーザーインターフェース手段）１１０、音声処理部（音声処理手段）１１１、マイク（ユーザーインターフェース手段）１１２、スピーカー（ユーザーインターフェース手段）１１３、ＬＥＤ駆動制御部１１４、ＬＥＤ（ユーザーインターフェース手段）１１５、アンテナ１１７及びバス１１６から構成されている。 1.2 MFP 100
The MFP 100 is an image forming apparatus having functions such as a scanner, a facsimile, a printer, and a copier.
As shown in FIG. 2, the MFP 100 includes a scanner 101, an image processing unit (image analysis unit) 102, a communication unit 103, a wireless communication unit (reception unit) 104, an imaging unit (imaging unit) 105, a memory unit 106, a CPU ( Central Processing Unit) 107, print engine 108, hard disk 109, operation panel (user interface means) 110, sound processing unit (sound processing means) 111, microphone (user interface means) 112, speaker (user interface means) 113, LED drive It comprises a control unit 114, an LED (user interface means) 115, an antenna 117 and a bus 116.

スキャナー１０１、画像処理部１０２、通信部１０３、無線通信部１０４、撮像部１０５、メモリ部１０６、ＣＰＵ１０７、プリントエンジン１０８、ハードディスク１０９、操作パネル１１０、音声処理部１１１及びＬＥＤ駆動制御部１１４は、それぞれ、バス１１６に接続されている。
（１）メモリ部１０６及びＣＰＵ１０７
メモリ部１０６は、複数の制御プログラムを記憶している。各制御プログラムは、所定の機能を達成するために、ＣＰＵ１０７に対する指令を示す命令コードが複数個組み合わされて構成されたコンピュータープログラムである。 The scanner 101, the image processing unit 102, the communication unit 103, the wireless communication unit 104, the imaging unit 105, the memory unit 106, the CPU 107, the print engine 108, the hard disk 109, the operation panel 110, the sound processing unit 111, and the LED drive control unit 114 are Each is connected to a bus 116.
(1) Memory unit 106 and CPU 107
The memory unit 106 stores a plurality of control programs. Each control program is a computer program configured by combining a plurality of instruction codes indicating commands to the CPU 107 in order to achieve a predetermined function.

ＣＰＵ１０７は、フェッチ部、解読部、実行部、レジスタファイル、命令カウンタなどから構成されている。フェッチ部は、メモリ部１０６に記憶されている制御プログラムから、制御プログラムに含まれる各命令コードを１個ずつ読み出す。解読部は、読み出した命令コードを解読する。実行部は、解読結果に従って動作する。
ＣＰＵ１０７が、メモリ部１０６に記憶されている制御プログラムに従って動作することにより、ＭＦＰ１００は、その一部の機能を達成する。従って、メモリ部１０６及びＣＰＵ１０７は、図２に示すように、機能的に主制御部（制御手段）１２１及び情報記憶部１２２を構成する。主制御部１２１は、入力部（ユーザーインターフェース手段）１２３を含む。 The CPU 107 includes a fetch unit, a decoding unit, an execution unit, a register file, an instruction counter, and the like. The fetch unit reads each instruction code included in the control program one by one from the control program stored in the memory unit 106. The decrypting unit decrypts the read instruction code. The execution unit operates according to the decoding result.
As CPU 107 operates according to a control program stored in memory unit 106, MFP 100 achieves some of its functions. Accordingly, the memory unit 106 and the CPU 107 functionally configure a main control unit (control unit) 121 and an information storage unit 122 as shown in FIG. The main control unit 121 includes an input unit (user interface means) 123.

（２）情報記憶部１２２
情報記憶部１２２は、グラス端末２００において、フラグ情報として、ジェスチャ操作が有効か否かを示すジェスチャ操作フラグを記憶するための領域を有している。
（３）スキャナー１０１及びプリントエンジン１０８
スキャナー１０１は、原稿を読み取り、画像データを生成する。生成した画像データを、メモリ部１０６又はハードディスク１０９に書き込む。 (2) Information storage unit 122
In the glass terminal 200, the information storage unit 122 has an area for storing a gesture operation flag indicating whether the gesture operation is valid as flag information.
(3) Scanner 101 and print engine 108
The scanner 101 reads a document and generates image data. The generated image data is written into the memory unit 106 or the hard disk 109.

プリントエンジン１０８は、メモリ部１０６又はハードディスク１０９に記憶されている画像データを印刷する。プリントエンジン１０８は、一例として、回転駆動可能に設置された感光体ドラムの周囲に帯電チャージャー、露光部、現像器、転写部、残留トナーのクリーナーを配置した構成である。露光部は、帯電チャージャーによって所定の電位に均一に帯電された感光体ドラムの表面に露光して、入力画像に応じた静電潜像を形成する。この静電潜像は、現像器で現像され、トナー画像とされる。記録用シートが転写部へ搬送され、記録用シートは、ここでトナー画像を転写され、定着器で定着が施された後、ＭＦＰ１００の上部に排出される。 The print engine 108 prints image data stored in the memory unit 106 or the hard disk 109. As an example, the print engine 108 has a configuration in which a charging charger, an exposure unit, a developing unit, a transfer unit, and a residual toner cleaner are arranged around a photosensitive drum that is rotatably installed. The exposure unit exposes the surface of the photosensitive drum uniformly charged to a predetermined potential by the charging charger to form an electrostatic latent image corresponding to the input image. This electrostatic latent image is developed by a developing device to form a toner image. The recording sheet is conveyed to a transfer unit, and the recording sheet is transferred with a toner image, fixed by a fixing device, and then discharged to the upper part of the MFP 100.

（４）通信部１０３、無線通信部１０４、アンテナ１１７、ハードディスク１０９及び操作パネル１１０
通信部１０３は、ネットワークを介して、外部の装置と接続されている。通信部１０３は、外部の装置との間で情報の送受信を行う。
無線通信部１０４は、アンテナ１１７を介して、無線によりグラス端末２００との間で情報の送受信を行う。 (4) Communication unit 103, wireless communication unit 104, antenna 117, hard disk 109, and operation panel 110
The communication unit 103 is connected to an external device via a network. The communication unit 103 transmits / receives information to / from an external device.
The wireless communication unit 104 transmits and receives information to and from the glass terminal 200 wirelessly via the antenna 117.

アンテナ１１７は、電波を受信し、出力する。
ハードディスク１０９は、長期保存用のデータを格納する。
操作パネル１１０は、ユーザーから操作を受け付け、ユーザーに対する操作ガイドを行うユーザーインターフェース手段である。操作パネル１１０は、利用者の操作を受け付ける。また、操作パネル１１０は、ユーザーに対して操作ガイドを行うための操作パネル画像を表示する。操作パネル画像は、複数の選択肢をそれぞれ示す複数の選択肢画像を含む。一例として、選択肢画像は、コピーを指示するための画像、ファクシミリ送信を指示するための画像、原稿のスキャンを指示するための画像等である。それぞれの選択肢画像がユーザーにより選択されると、選択された選択肢画像に対応する処理が行われる。 The antenna 117 receives and outputs radio waves.
The hard disk 109 stores data for long-term storage.
The operation panel 110 is user interface means that receives an operation from a user and performs an operation guide for the user. The operation panel 110 receives user operations. In addition, the operation panel 110 displays an operation panel image for performing an operation guide for the user. The operation panel image includes a plurality of option images each indicating a plurality of options. As an example, the option image is an image for instructing copying, an image for instructing facsimile transmission, an image for instructing scanning of a document, or the like. When each option image is selected by the user, processing corresponding to the selected option image is performed.

グラス端末２００において、ジェスチャ操作が無効である場合、操作パネル１１０は、ユーザーによるタッチ操作を受け付ける。操作パネル１１０は、タッチ位置を検出し、検出したタッチ位置を主制御部１２１に対して出力する。
（５）撮像部１０５及び画像処理部１０２
撮像部１０５は、現実の空間を撮影して、映像を生成する。生成した映像を画像処理部１０２に対して出力する。 In the glass terminal 200, when the gesture operation is invalid, the operation panel 110 receives a touch operation by the user. The operation panel 110 detects the touch position and outputs the detected touch position to the main control unit 121.
(5) Imaging unit 105 and image processing unit 102
The imaging unit 105 captures a real space and generates a video. The generated video is output to the image processing unit 102.

画像処理部１０２は、撮像部１０５から映像を受け取る。受け取った映像の各フレーム画像を解析して、ユーザーのジェスチャによる操作内容を推定する。推定した操作内容を示す操作信号を生成し、生成した操作信号を入力部１２３に対して出力する。詳細については、後述する画像処理部２０２と同様であるので、ここでは、説明を省略する。
（６）音声処理部１１１、マイク１１２及びスピーカー１１３
マイク１１２は、音波を受けて振動する振動板に伴って、磁界内でコイルが振動することにより、音声信号を生成する。次に、生成した音声信号を音声処理部１１１に対して出力する。マイク１１２が受け取る音波は、一例として、ユーザーの指示を表す音声である。ユーザーの音声は、例えば、「コピー」、「スキャン」、「ファクシミリ」等である。 The image processing unit 102 receives video from the imaging unit 105. Each frame image of the received video is analyzed, and the operation content by the user's gesture is estimated. An operation signal indicating the estimated operation content is generated, and the generated operation signal is output to the input unit 123. Details thereof are the same as those of the image processing unit 202 described later, and thus description thereof is omitted here.
(6) Audio processing unit 111, microphone 112, and speaker 113
The microphone 112 generates an audio signal when the coil vibrates in the magnetic field in association with the vibration plate that vibrates in response to the sound wave. Next, the generated audio signal is output to the audio processing unit 111. The sound wave received by the microphone 112 is, for example, a sound representing a user instruction. The user's voice is, for example, “copy”, “scan”, “facsimile”, or the like.

スピーカー１１３は、音声処理部１１１から音声信号を受け取り、受け取った音声信号に従って振動板を振動させて、音波を出力する。
音声処理部１１１は、マイク１１２から受け取った音声信号を解析して、ユーザーの音声を認識し、ユーザーの操作内容を推定する。推定した操作内容を示す操作信号を生成し、生成した操作信号を主制御部１２１の入力部１２３に対して出力する。 The speaker 113 receives an audio signal from the audio processing unit 111, vibrates the diaphragm according to the received audio signal, and outputs a sound wave.
The voice processing unit 111 analyzes the voice signal received from the microphone 112, recognizes the user's voice, and estimates the user's operation content. An operation signal indicating the estimated operation content is generated, and the generated operation signal is output to the input unit 123 of the main control unit 121.

また、音声処理部１１１は、主制御部１２１から音声メッセージを表した音声情報を受け取る。ここで、音声メッセージは、ユーザーに対する操作ガイダンスを表す。音声メッセージは、例えば、「ＣＯＰＹボタンを押してください」、「操作に誤りがあります」、「印刷が完了しました」等である。音声処理部１１１は、受け取った音声情報を基にして、音声信号を生成し、生成した音声信号をスピーカー１１３に対して出力する。 The voice processing unit 111 also receives voice information representing a voice message from the main control unit 121. Here, the voice message represents operation guidance for the user. The voice message is, for example, “Please press the COPY button”, “There is an error in operation”, “Printing is completed”, or the like. The audio processing unit 111 generates an audio signal based on the received audio information, and outputs the generated audio signal to the speaker 113.

（７）ＬＥＤ駆動制御部１１４及びＬＥＤ１１５
ＬＥＤ駆動制御部１１４は、主制御部１２１からの指示により、ＬＥＤ１１５に対して、点灯し、消灯し、点滅し、表示色を変更するように、制御する。
ＬＥＤ１１５は、ＬＥＤ駆動制御部１１４の制御により、点灯し、消灯し、点滅し、表示色を変更する。 (7) LED drive control unit 114 and LED 115
The LED drive control unit 114 controls the LED 115 to turn on, turn off, blink, and change the display color according to an instruction from the main control unit 121.
The LED 115 is turned on, turned off, blinks, and changes the display color under the control of the LED drive control unit 114.

（８）主制御部１２１
主制御部１２１の入力部１２３は、操作パネル１１０、画像処理部１０２及び音声処理部１１１から、ユーザーの入力を示す操作信号を受け取る。操作信号を受け取ると、主制御部１２１は、操作信号に応じた処理を行う。
主制御部１２１は、グラス端末２００から、操作開始信号及びジェスチャ操作フラグを受信する。ここで、操作開始信号は、ユーザーによりグラス端末２００に対する操作が開始されたことを示す信号である。また、ジェスチャ操作フラグは、グラス端末２００において、ユーザーによるジェスチャ操作が有効であるか否かを示すフラグである。 (8) Main control unit 121
The input unit 123 of the main control unit 121 receives operation signals indicating user input from the operation panel 110, the image processing unit 102, and the sound processing unit 111. When receiving the operation signal, the main control unit 121 performs processing according to the operation signal.
The main control unit 121 receives an operation start signal and a gesture operation flag from the glass terminal 200. Here, the operation start signal is a signal indicating that an operation on the glass terminal 200 is started by the user. The gesture operation flag is a flag indicating whether or not the gesture operation by the user is valid in the glass terminal 200.

操作開始信号及びジェスチャ操作フラグを受信すると、主制御部１２１は、操作パネル１１０の表示をＯＦＦにするように、操作パネル１１０を制御する。また、主制御部１２１は、受信したジェスチャ操作フラグを情報記憶部１２２に書き込む。
主制御部１２１は、受信し、情報記憶部１２２に記憶しているジェスチャ操作フラグにより、グラス端末２００において、ジェスチャ操作が有効か否かを判断する。 When receiving the operation start signal and the gesture operation flag, the main control unit 121 controls the operation panel 110 so that the display of the operation panel 110 is turned off. Further, the main control unit 121 writes the received gesture operation flag in the information storage unit 122.
Based on the gesture operation flag received and stored in the information storage unit 122, the main control unit 121 determines whether the gesture operation is valid in the glass terminal 200.

（ジェスチャ操作が有効である場合）
グラス端末２００において、ジェスチャ操作が有効である場合、主制御部１２１は、操作パネル１１０の操作機能をＯＦＦにするように、操作パネル１１０を制御する。
また、この場合、主制御部１２１は、グラス端末２００から、操作の内容を受信する。操作の内容を受信すると、主制御部１２１は、受信した操作の内容に応じた処理を行う。 (When gesture operation is enabled)
In the glass terminal 200, when the gesture operation is valid, the main control unit 121 controls the operation panel 110 to turn off the operation function of the operation panel 110.
In this case, the main control unit 121 receives the operation content from the glass terminal 200. When the operation content is received, the main control unit 121 performs processing according to the received operation content.

（ジェスチャ操作が無効である場合）
グラス端末２００において、ジェスチャ操作が無効である場合、主制御部１２１は、操作パネル１１０の操作機能をＯＮにするように、操作パネル１１０を制御する。
グラス端末２００において、ジェスチャ操作が無効である場合、主制御部１２１は、操作パネル１１０から、ユーザーによるタッチ位置を受け取る。次に、主制御部１２１は、タッチ位置をグラス端末２００に対して送信する。 (When gesture operation is disabled)
In the glass terminal 200, when the gesture operation is invalid, the main control unit 121 controls the operation panel 110 to turn on the operation function of the operation panel 110.
When the gesture operation is invalid in the glass terminal 200, the main control unit 121 receives a touch position by the user from the operation panel 110. Next, the main control unit 121 transmits the touch position to the glass terminal 200.

また、この場合、主制御部１２１は、グラス端末２００から、操作の内容を受信する。操作の内容を受信すると、主制御部１２１は、受信した操作の内容に応じた処理を行う。
１．３グラス端末２００
グラス端末２００は、ヘッドマウントディスプレィ（ＨＭＤ）とも呼ばれる。グラス端末２００は、操作パネル画像を表示するとともにユーザーの操作を受け付ける眼鏡型の拡張現実表示端末である。グラス端末２００は、一例として、表示面に表示される操作パネル画像とともに、透明な表示面を介して外部の景色などを見ることができる透過型の表示装置として構成されている。 In this case, the main control unit 121 receives the operation content from the glass terminal 200. When the operation content is received, the main control unit 121 performs processing according to the received operation content.
1.3 Glass terminal 200
The glass terminal 200 is also referred to as a head mounted display (HMD). The glass terminal 200 is an eyeglass-type augmented reality display terminal that displays an operation panel image and receives a user operation. As an example, the glass terminal 200 is configured as a transmissive display device capable of viewing an external scenery or the like through a transparent display surface together with an operation panel image displayed on the display surface.

グラス端末２００は、図１に示すように、一対のレンズ２４１ａ及び２４１ｂと、レンズ２４１ａ及び２４１ｂの外周縁を支持するレンズ枠２４２と、レンズ枠２４２の両端部に、蝶番により回動可能に支持された一対のテンプル（つる）２４３ａ及び２４３ｂとから構成されている。一対のテンプル２４３ａ及び２４３ｂのうち、一方のテンプル２４３ｂのレンズ枠２４２に近接する側には、駆動制御部２０１が設けられている。 As shown in FIG. 1, the glass terminal 200 is supported by a pair of lenses 241 a and 241 b, a lens frame 242 that supports the outer peripheral edges of the lenses 241 a and 241 b, and both ends of the lens frame 242 by a hinge. A pair of temples 243a and 243b. Of the pair of temples 243a and 243b, the drive control unit 201 is provided on the side of the one temple 243b adjacent to the lens frame 242.

駆動制御部２０１は、図３に示すように、画像処理部（画像解析手段、画像生成手段）２０２、撮像部（撮像手段）２０３、アンテナ２０４、無線通信部（送信手段）２０５、ＣＰＵ２０７、メモリ部２０８、操作部２０９、音声処理部（音声処理手段、音声生成手段）２１０、マイク（音声入力手段）２１１、スピーカー（音声出力手段）２１２、バス２１３及び表示機構２１４（表示手段）から構成されている。 As shown in FIG. 3, the drive control unit 201 includes an image processing unit (image analysis unit, image generation unit) 202, an imaging unit (imaging unit) 203, an antenna 204, a wireless communication unit (transmission unit) 205, a CPU 207, and a memory. Unit 208, operation unit 209, audio processing unit (audio processing unit, audio generation unit) 210, microphone (audio input unit) 211, speaker (audio output unit) 212, bus 213, and display mechanism 214 (display unit). ing.

（１）ＣＰＵ２０７及びメモリ部２０８
メモリ部２０８は、複数の制御プログラムを記憶している。各制御プログラムは、所定の機能を達成するために、ＣＰＵ２０７に対する指令を示す命令コードが複数個組み合わされて構成されたコンピュータープログラムである。
ＣＰＵ２０７は、フェッチ部、解読部、実行部、レジスタファイル、命令カウンタなどから構成されている。フェッチ部は、メモリ部２０８に記憶されている制御プログラムから、制御プログラムに含まれる各命令コードを１個ずつ読み出す。解読部は、読み出した命令コードを解読する。実行部は、解読結果に従って動作する。 (1) CPU 207 and memory unit 208
The memory unit 208 stores a plurality of control programs. Each control program is a computer program configured by combining a plurality of instruction codes indicating commands to the CPU 207 in order to achieve a predetermined function.
The CPU 207 includes a fetch unit, a decoding unit, an execution unit, a register file, an instruction counter, and the like. The fetch unit reads each instruction code included in the control program one by one from the control program stored in the memory unit 208. The decrypting unit decrypts the read instruction code. The execution unit operates according to the decoding result.

ＣＰＵ２０７がメモリ部２０８に記憶されている制御プログラムに従って動作することにより、駆動制御部２０１は、その一部の機能を達成する。従って、ＣＰＵ２０７及びメモリ部２０８は、図３に示すように、機能的に主制御部２２１及び情報記憶部（記憶手段）２２２を構成する。主制御部２２１は、入力部２２３を含む。
（２）情報記憶部２２２
情報記憶部２２２は、グラス端末２００におけるユーザーによる操作又はユーザーに対する操作ガイドが有効か否かを示すフラグ情報を記憶している。フラグ情報の一例は、ジェスチャ操作が有効か否かを示すジェスチャ操作フラグである。ここで、ジェスチャ操作は、グラス端末２００の表示面に表示される操作パネル画像に対する仮想的なユーザーの操作である。 As the CPU 207 operates according to the control program stored in the memory unit 208, the drive control unit 201 achieves some of the functions. Therefore, the CPU 207 and the memory unit 208 functionally configure a main control unit 221 and an information storage unit (storage unit) 222 as shown in FIG. The main control unit 221 includes an input unit 223.
(2) Information storage unit 222
The information storage unit 222 stores flag information indicating whether or not an operation by the user on the glass terminal 200 or an operation guide for the user is valid. An example of the flag information is a gesture operation flag indicating whether or not the gesture operation is valid. Here, the gesture operation is a virtual user operation on the operation panel image displayed on the display surface of the glass terminal 200.

（３）撮像部２０３及び画像処理部２０２
撮像部２０３は、現実の空間を撮影して、映像を生成する。生成した映像を画像処理部２０２に対して出力する。
画像処理部２０２は、撮像部２０３から映像を受け取る。受け取った映像の各フレーム画像を解析して、映像フレーム内における操作パネル１１０に対応するオブジェクトの位置及び当該オブジェクトにおいて表されている内容を検出する。また、検出された内容に基づいて、当該内容を表す操作パネル画像を生成する。 (3) Imaging unit 203 and image processing unit 202
The imaging unit 203 captures a real space and generates a video. The generated video is output to the image processing unit 202.
The image processing unit 202 receives video from the imaging unit 203. Each frame image of the received video is analyzed, and the position of the object corresponding to the operation panel 110 in the video frame and the contents represented in the object are detected. Further, an operation panel image representing the content is generated based on the detected content.

また、画像処理部２０２は、映像の各フレーム画像を解析して、ユーザーのジェスチャによる操作内容を推定する。推定した操作内容を示す操作信号を生成し、生成した操作信号を入力部２２３に対して出力する。
具体的には、図５に示すように、画像処理部２０２は、映像の各フレーム画像を解析する。これにより、フレーム画像がユーザーの手元３０１等である操作体を示すオブジェクトを含んでいるか否かを判断する。フレーム画像がユーザーの手元を示すオブジェクトを含んでいるか否かの判断は、当該オブジェクトと、予め記憶している複数のユーザーの手元を写した複数のサンプル画像とを照合することにより行う。フレーム画像がユーザーの手元を示すオブジェクトを含んでいる場合、画像処理部２０２は、そのオブジェクトから肌色の部分３０２を抽出する。次に、画像処理部２０２は、時系列に抽出した肌色の部分３１１が、肌色の部分３１２のように、一度、下がり、その直後に、肌色の部分３１３のように、上がる動きをしている場合に、ボタンを押す操作をしたと判断する。 In addition, the image processing unit 202 analyzes each frame image of the video and estimates the operation content by the user's gesture. An operation signal indicating the estimated operation content is generated, and the generated operation signal is output to the input unit 223.
Specifically, as shown in FIG. 5, the image processing unit 202 analyzes each frame image of the video. As a result, it is determined whether or not the frame image includes an object indicating an operating tool such as the user's hand 301. Whether or not the frame image includes an object indicating the user's hand is determined by comparing the object with a plurality of sample images obtained by copying a plurality of user's hands stored in advance. When the frame image includes an object indicating the user's hand, the image processing unit 202 extracts a skin color portion 302 from the object. Next, the image processing unit 202 moves the skin color portion 311 extracted in time series once, like the skin color portion 312, and then immediately rises like the skin color portion 313. In this case, it is determined that the button is pressed.

（４）アンテナ２０４及び無線通信部２０５
アンテナ２０４は、電波を受信し、出力する。
無線通信部２０５は、アンテナ２０４を介して、無線によりＭＦＰ１００との間で情報の送受信を行う。
（５）操作部２０９
操作部２０９は、複数のボタンから構成されている。ユーザーにより、これらのボタンが押下されると、各ボタンに対応する操作信号を生成する。次に、生成した操作信号を主制御部２２１に対して出力する。複数のボタンのうちの、一つのボタンの押下は、グラス端末２００に対する操作の開始を示す。このボタンが押下されると、操作部２０９は、グラス端末２００に対する操作の開始を示す操作開始信号を生成する。 (4) Antenna 204 and wireless communication unit 205
The antenna 204 receives and outputs radio waves.
A wireless communication unit 205 transmits and receives information to and from the MFP 100 wirelessly via the antenna 204.
(5) Operation unit 209
The operation unit 209 includes a plurality of buttons. When these buttons are pressed by the user, an operation signal corresponding to each button is generated. Next, the generated operation signal is output to the main control unit 221. Pressing one of the plurality of buttons indicates the start of an operation on the glass terminal 200. When this button is pressed, the operation unit 209 generates an operation start signal indicating the start of an operation on the glass terminal 200.

（６）音声処理部２１０、マイク２１１及びスピーカー２１２
マイク２１１は、音波を受けて振動する振動板に伴って、磁界内でコイルが振動することにより、音声信号を生成する。次に、生成した音声信号を音声処理部２１０に対して出力する。マイク２１１が受け取る音波は、一例として、ユーザーの指示を表す音声である。ユーザーの音声は、例えば、「コピー」、「スキャン」、「ファクシミリ」等である。 (6) Audio processing unit 210, microphone 211, and speaker 212
The microphone 211 generates an audio signal when the coil vibrates in a magnetic field along with a vibration plate that receives and vibrates a sound wave. Next, the generated audio signal is output to the audio processing unit 210. The sound wave received by the microphone 211 is, for example, a sound representing a user instruction. The user's voice is, for example, “copy”, “scan”, “facsimile”, or the like.

スピーカー２１２は、音声処理部２１０から音声信号を受け取り、受け取った音声信号に従って振動板を振動させて、音波を出力する。
音声処理部２１０は、マイク２１１から受け取った音声信号を解析する。次に、解析結果を用いて、ユーザーの音声を認識し、ユーザーの指示を特定する。ユーザーの指示は、例えば、コピーの指示、スキャンの指示、ファクシミリによる送信の指示等である。特定した指示を示す操作信号を生成し、生成した操作信号を主制御部２２１に対して出力する。 The speaker 212 receives an audio signal from the audio processing unit 210, vibrates the diaphragm according to the received audio signal, and outputs a sound wave.
The audio processing unit 210 analyzes the audio signal received from the microphone 211. Next, using the analysis result, the user's voice is recognized, and the user's instruction is specified. The user instruction is, for example, a copy instruction, a scan instruction, or a facsimile transmission instruction. An operation signal indicating the specified instruction is generated, and the generated operation signal is output to the main control unit 221.

また、音声処理部２１０は、主制御部２２１から音声メッセージを表した音声情報を受け取る。ここで、音声メッセージは、ユーザーに対する操作ガイダンス等を表す。音声メッセージは、例えば、「ＣＯＰＹボタンを押してください」、「操作に誤りがあります」、「印刷が完了しました」等である。音声処理部２１０は、受け取った音声情報を基にして、音声信号を生成し、生成した音声信号をスピーカー２１２に対して出力する。 The voice processing unit 210 receives voice information representing a voice message from the main control unit 221. Here, the voice message represents operation guidance for the user. The voice message is, for example, “Please press the COPY button”, “There is an error in operation”, “Printing is completed”, or the like. The audio processing unit 210 generates an audio signal based on the received audio information, and outputs the generated audio signal to the speaker 212.

（７）表示機構２１４
表示機構２１４は、レーザー光源、レーザー制御部及び走査部を備えている。
レーザー光源は、レーザー光を出射する。
走査部は、レーザー光源から出射されるレーザー光を走査して、レーザー光をレンズ２４１ｂ上の表示面（表示部）２０６に照射する。 (7) Display mechanism 214
The display mechanism 214 includes a laser light source, a laser control unit, and a scanning unit.
The laser light source emits laser light.
The scanning unit scans the laser light emitted from the laser light source and irradiates the display surface (display unit) 206 on the lens 241b with the laser light.

レーザー制御部は、主制御部２２１の制御により、レーザー光が操作パネル画像を形成するように、レーザー光源によるレーザー光の出射、及び、走査部による走査を制御する。
レンズ２４１ｂ上の透過型の表示面２０６には、偏向板が張り付けられている。偏向板は、走査部により走査されたレーザー光をユーザーの眼に向かう方向に偏向する。 The laser control unit controls the emission of the laser beam by the laser light source and the scanning by the scanning unit so that the laser beam forms an operation panel image under the control of the main control unit 221.
A deflection plate is attached to the transmissive display surface 206 on the lens 241b. The deflection plate deflects the laser beam scanned by the scanning unit in a direction toward the user's eye.

このように、表示機構２１４は、画像処理部２０２により検出された、操作パネル１１０に対応するオブジェクトの位置を用いて、ユーザーが表示面２０６を通じて、操作パネル１１０に重畳して視認できる状態で、画像処理部２０２により生成された操作パネル画像を表示面２０６に表示する。
（８）主制御部２２１
主制御部２２１の入力部２２３は、操作部２０９、画像処理部２０２及び音声処理部２１０から、ユーザーの操作を示す操作信号を受け取る。操作信号を受け取ると、主制御部２２１は、操作信号に応じた処理を行う。 As described above, the display mechanism 214 is in a state where the user can visually recognize the position of the object corresponding to the operation panel 110 detected by the image processing unit 202 while being superimposed on the operation panel 110 through the display surface 206. The operation panel image generated by the image processing unit 202 is displayed on the display surface 206.
(8) Main control unit 221
The input unit 223 of the main control unit 221 receives an operation signal indicating a user operation from the operation unit 209, the image processing unit 202, and the sound processing unit 210. When receiving the operation signal, the main control unit 221 performs processing according to the operation signal.

操作信号として、操作部２０９から、ユーザーによるグラス端末２００に対する操作の開始を示す操作開始信号を受け取った場合、主制御部２２１は、操作開始信号をＭＦＰ１００に対して送信する。
また、主制御部２２１は、情報記憶部２２２からジェスチャ操作フラグを読み出し、読み出したジェスチャ操作フラグを、ＭＦＰ１００に対して送信する。 When an operation start signal indicating the start of an operation on the glass terminal 200 by the user is received as an operation signal from the operation unit 209, the main control unit 221 transmits an operation start signal to the MFP 100.
In addition, main control unit 221 reads a gesture operation flag from information storage unit 222 and transmits the read gesture operation flag to MFP 100.

主制御部２２１は、画像処理部２０２から、生成された操作パネル画像を受け取る。次に、主制御部２２１は、ユーザーがＭＦＰ１００の操作パネル１１０に重畳して視認できるように、生成した操作パネル画像を、表示するよう、表示機構２１４を制御する。
（ジェスチャ操作が有効である場合）
主制御部２２１は、入力部２２３が受け取ったユーザーの操作を示す操作信号を用いて、仮想的な操作パネルの画面を遷移させる。次に、新たな操作パネル画像を生成する。次に、主制御部２２１は、ユーザーがＭＦＰ１００の操作パネルに重畳して視認できるように、生成した操作パネル画像を、表示するよう、表示機構２１４を制御する。また、主制御部２２１は、操作の内容をＭＦＰ１００に対して送信する。 The main control unit 221 receives the generated operation panel image from the image processing unit 202. Next, the main control unit 221 controls the display mechanism 214 to display the generated operation panel image so that the user can see the operation panel 110 superimposed on the operation panel 110 of the MFP 100.
(When gesture operation is enabled)
The main control unit 221 uses the operation signal indicating the user operation received by the input unit 223 to transition the screen of the virtual operation panel. Next, a new operation panel image is generated. Next, main control unit 221 controls display mechanism 214 to display the generated operation panel image so that the user can see the image superimposed on the operation panel of MFP 100. In addition, main control unit 221 transmits the operation content to MFP 100.

（ジェスチャ操作が無効である場合）
主制御部２２１は、ＭＦＰ１００から、操作パネル１１０におけるユーザーによるタッチ位置を受信する。
主制御部２２１は、タッチ位置と操作の内容との対応を示す対応表を予め記憶している。主制御部２２１は、対応表を用いて、受信したタッチ位置に対応する操作の内容を特定する。次に、特定した操作の内容により、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、主制御部２２１は、ユーザーがＭＦＰ１００の操作パネルに重畳して視認できるように、生成した操作パネル画像を、表示するよう、表示機構２１４を制御する。次に、主制御部２２１は、操作の内容をＭＦＰ１００に対して送信する。 (When gesture operation is disabled)
Main control unit 221 receives a touch position by the user on operation panel 110 from MFP 100.
The main control unit 221 stores a correspondence table indicating correspondence between the touch position and the operation content in advance. The main control unit 221 specifies the content of the operation corresponding to the received touch position using the correspondence table. Next, the operation panel image is transitioned according to the specified operation content, and a new operation panel image is generated. Next, main control unit 221 controls display mechanism 214 to display the generated operation panel image so that the user can see the image superimposed on the operation panel of MFP 100. Next, main control unit 221 transmits the operation content to MFP 100.

１．４操作システム１０の動作
操作システム１０の動作について、図６〜図８に示すシーケンス図を用いて説明する。操作部２０９は、ユーザーからグラス端末２００に対する操作の開始を示す操作を受け付け、操作開始信号を出力する（ステップＳ１０１）。
撮像部２０３は、現実の空間を撮影して、映像を生成する。その撮影先は、ＭＦＰ１００の操作パネル１１０を含む（ステップＳ１０２）。画像処理部２０２は、映像を解析して、操作パネルの内容及び位置を特定する（ステップＳ１０３）。 1.4 Operation of Operation System 10 The operation of the operation system 10 will be described with reference to the sequence diagrams shown in FIGS. The operation unit 209 receives an operation indicating the start of the operation on the glass terminal 200 from the user, and outputs an operation start signal (step S101).
The imaging unit 203 captures a real space and generates a video. The photographing destination includes the operation panel 110 of the MFP 100 (step S102). The image processing unit 202 analyzes the video and specifies the content and position of the operation panel (step S103).

主制御部２２１は、グラス端末２００の操作の開始を示す操作開始信号を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ１０４）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作開始信号を受信する（ステップＳ１０４）。 The main control unit 221 transmits an operation start signal indicating the start of the operation of the glass terminal 200 to the MFP 100 via the wireless communication unit 205 and the antenna 204 (step S104).
The main control unit 121 receives an operation start signal from the glass terminal 200 via the antenna 117 and the wireless communication unit 104 (step S104).

主制御部２２１は、情報記憶部２２２からジェスチャ操作が有効か否かを示すジェスチャ操作フラグを読み出し、読み出したジェスチャ操作フラグを無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ１０５）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、ジェスチャ操作フラグを受信する（ステップＳ１０５）。 The main control unit 221 reads a gesture operation flag indicating whether or not the gesture operation is valid from the information storage unit 222, and transmits the read gesture operation flag to the MFP 100 via the wireless communication unit 205 and the antenna 204 ( Step S105).
The main control unit 121 receives a gesture operation flag from the glass terminal 200 via the antenna 117 and the wireless communication unit 104 (step S105).

主制御部２２１は、特定した操作パネルの内容により、操作パネル画像を生成し、生成した操作パネル画像を、ＭＦＰ１００の操作パネルに重畳するように、表示するよう、表示機構２１４を制御する。表示機構２１４は、操作パネル画像を表示する（ステップＳ１０６）。
ジェスチャ操作フラグを受信すると、主制御部１２１は、操作パネル１１０の表示をＯＦＦにする（ステップＳ１０７）。 Main control unit 221 generates an operation panel image according to the contents of the identified operation panel, and controls display mechanism 214 to display the generated operation panel image so as to be superimposed on the operation panel of MFP 100. The display mechanism 214 displays an operation panel image (step S106).
When receiving the gesture operation flag, the main control unit 121 turns off the display of the operation panel 110 (step S107).

主制御部１２１は、ジェスチャ操作フラグにより、グラス端末２００におけるジェスチャ操作が有効か否かを判断する（ステップＳ１０８）。
ジェスチャ操作が有効である場合（ステップＳ１０８で「有効」）、主制御部１２１は、操作パネル１１０の操作機能をＯＦＦにする（ステップＳ１１０）。
ジェスチャ操作が無効である場合（ステップＳ１０８で「無効」）、主制御部１２１は、操作パネル１１０の操作機能をＯＮにする（ステップＳ１０９）。 Based on the gesture operation flag, the main control unit 121 determines whether or not the gesture operation on the glass terminal 200 is valid (step S108).
When the gesture operation is valid (“valid” in step S108), the main control unit 121 turns off the operation function of the operation panel 110 (step S110).
When the gesture operation is invalid (“invalid” in step S108), the main control unit 121 turns on the operation function of the operation panel 110 (step S109).

（ジェスチャ操作が有効である場合）
以下に、グラス端末２００におけるジェスチャ操作が有効である場合について、図７に示すシーケンス図を用いて、説明する。
ユーザーは、ジェスチャによる入力を行う。撮像部２０３は、現実の空間を撮影して、映像を生成する。その撮影先は、ユーザーの手を含む（ステップＳ１３１）。 (When gesture operation is enabled)
Below, the case where the gesture operation in the glass terminal 200 is effective is demonstrated using the sequence diagram shown in FIG.
The user performs input using gestures. The imaging unit 203 captures a real space and generates a video. The photographing destination includes a user's hand (step S131).

画像処理部２０２は、映像の各フレーム画像を解析して、ユーザーのジェスチャによる操作を特定する（ステップＳ１３２）。
主制御部２２１は、特定された操作により、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、生成した操作パネル画像を、ＭＦＰ１００の操作パネルに重畳するように、表示するよう、表示機構２１４を制御する。表示機構２１４は、新たな操作パネル画像を表示する（ステップＳ１３３）。 The image processing unit 202 analyzes each frame image of the video and specifies an operation by a user gesture (step S132).
The main control unit 221 changes the operation panel image by the identified operation, and generates a new operation panel image. Next, the display mechanism 214 is controlled to display the generated operation panel image so as to be superimposed on the operation panel of the MFP 100. The display mechanism 214 displays a new operation panel image (step S133).

主制御部２２１は、操作の内容を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ１３４）。次に、主制御部２２１は、ステップＳ１３１に戻って、処理を繰り返す。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作の内容を受信する（ステップＳ１３４）。 The main control unit 221 transmits the operation content to the MFP 100 via the wireless communication unit 205 and the antenna 204 (step S134). Next, the main control unit 221 returns to step S131 and repeats the process.
The main control unit 121 receives the content of the operation from the glass terminal 200 via the antenna 117 and the wireless communication unit 104 (step S134).

主制御部１２１は、受信した操作の内容に応じた処理を行う（ステップＳ１３５）。
主制御部１２１は、ステップＳ１３４に戻って、処理を繰り返す。
（ジェスチャ操作が無効である場合）
以下に、グラス端末２００におけるジェスチャ操作が無効である場合について、図８に示すシーケンス図を用いて、説明する。 The main control unit 121 performs processing according to the content of the received operation (step S135).
The main control unit 121 returns to step S134 and repeats the process.
(When gesture operation is disabled)
Below, the case where the gesture operation in the glass terminal 200 is invalid is demonstrated using the sequence diagram shown in FIG.

操作パネル１１０は、ユーザーによるタッチ操作を受け付ける（ステップＳ１５１）。操作パネル１１０は、タッチ位置を検出する（ステップＳ１５２）。主制御部１２１は、タッチ位置を、無線通信部１０４及びアンテナ１１７を介して、グラス端末２００に対して送信する（ステップＳ１５３）。
主制御部２２１は、ＭＦＰ１００から、アンテナ２０４及び無線通信部２０５を介して、タッチ位置を受信する（ステップＳ１５３）。 The operation panel 110 accepts a touch operation by the user (step S151). The operation panel 110 detects the touch position (step S152). The main control unit 121 transmits the touch position to the glass terminal 200 via the wireless communication unit 104 and the antenna 117 (step S153).
The main control unit 221 receives the touch position from the MFP 100 via the antenna 204 and the wireless communication unit 205 (step S153).

主制御部２２１は、受信したタッチ位置を用いて、操作の内容を特定する。次に、特定した操作の内容により、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、生成した操作パネル画像を、ＭＦＰ１００の操作パネルに重畳するように、表示するよう、表示機構２１４を制御する。表示機構２１４は、操作パネル画像を表示する（ステップＳ１５４）。 The main control unit 221 specifies the content of the operation using the received touch position. Next, the operation panel image is transitioned according to the specified operation content, and a new operation panel image is generated. Next, the display mechanism 214 is controlled to display the generated operation panel image so as to be superimposed on the operation panel of the MFP 100. The display mechanism 214 displays an operation panel image (step S154).

主制御部２２１は、操作の内容を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ１５５）。次に、主制御部２２１は、ステップＳ１５３に戻って、処理を繰り返す。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作の内容を受信する（ステップＳ１５５）。主制御部１２１は、受信した操作の内容に応じた処理を行う（ステップＳ１５６）。次に、主制御部１２１は、ステップＳ１５１に戻って、処理を繰り返す。 Main control unit 221 transmits the content of the operation to MFP 100 via wireless communication unit 205 and antenna 204 (step S155). Next, the main control unit 221 returns to step S153 and repeats the process.
The main control unit 121 receives the content of the operation from the glass terminal 200 via the antenna 117 and the wireless communication unit 104 (step S155). The main control unit 121 performs processing according to the content of the received operation (step S156). Next, the main control unit 121 returns to step S151 and repeats the process.

２．変形例（１）
操作システム１０の変形例としての操作システム１０ａについて説明する。
２．１操作システム１０ａ
操作システム１０ａは、操作システム１０と類似した構成を有している。ここでは、操作システム１０との相違点を中心として、説明する。 2. Modification (1)
An operation system 10a as a modification of the operation system 10 will be described.
2.1 Operation system 10a
The operation system 10 a has a configuration similar to that of the operation system 10. Here, it demonstrates centering on difference with the operation system 10. FIG.

操作システム１０ａは、操作システム１０と同様に、ＭＦＰ１００及びグラス端末２００を含む。
操作システム１０ａのグラス端末２００においては、撮像部２０３が無効となっている場合がある。又は、グラス端末２００は、撮像部２０３を備えていない場合がある。
グラス端末２００の撮像部２０３が無効の場合、又は、グラス端末２００が撮像部２０３を備えていない場合には、グラス端末２００は、撮影によりＭＦＰ１００の操作パネル１１０の位置を知ることができない。また、グラス端末２００においては、ジェスチャ操作も使うことができない。 Similar to the operation system 10, the operation system 10 a includes the MFP 100 and the glass terminal 200.
In the glass terminal 200 of the operation system 10a, the imaging unit 203 may be disabled. Alternatively, the glass terminal 200 may not include the imaging unit 203.
When the imaging unit 203 of the glass terminal 200 is invalid, or when the glass terminal 200 does not include the imaging unit 203, the glass terminal 200 cannot know the position of the operation panel 110 of the MFP 100 by photographing. In addition, the gesture operation cannot be used in the glass terminal 200.

この場合、図９に示すように、グラス端末２００の表示面２０６に表示される操作パネル画像２３０ａは、ＭＦＰ１００の操作パネル１１０に重畳されない。
また、グラス端末２００は、ジェスチャ操作ではなく、一例として、ユーザーの音声により、操作を受け付ける。
情報記憶部２２２は、フラグ情報として、撮像が無効であることを示すカメラフラグを記憶している。 In this case, as shown in FIG. 9, operation panel image 230 a displayed on display surface 206 of glass terminal 200 is not superimposed on operation panel 110 of MFP 100.
Further, the glass terminal 200 accepts the operation by a user's voice as an example instead of the gesture operation.
The information storage unit 222 stores a camera flag indicating that imaging is invalid as flag information.

２．２操作システム１０ａの動作
操作システム１０ａの動作について、図１０に示すシーケンス図を用いて説明する。
主制御部２２１は、情報記憶部２２２から、カメラフラグを読み出す。主制御部２２１は、カメラフラグが有効を示すか否かを判断する（ステップＳ２０１）。
カメラフラグが無効を示す場合（ステップＳ２０１で「無効」）、主制御部２２１は、操作パネル画像を生成する。次に、主制御部２２１は、生成した操作パネル画像を表示するよう、表示機構２１４を制御する。表示機構２１４は、新たな操作パネル画像を表示する（ステップＳ２０２）。この場合、操作パネル画像は、ＭＦＰ１００の操作パネル１１０に重畳されない。 2.2 Operation of Operation System 10a The operation of the operation system 10a will be described with reference to the sequence diagram shown in FIG.
The main control unit 221 reads the camera flag from the information storage unit 222. The main control unit 221 determines whether or not the camera flag is valid (step S201).
When the camera flag indicates invalidity (“invalid” in step S201), the main control unit 221 generates an operation panel image. Next, the main control unit 221 controls the display mechanism 214 to display the generated operation panel image. The display mechanism 214 displays a new operation panel image (step S202). In this case, the operation panel image is not superimposed on operation panel 110 of MFP 100.

主制御部２２１は、カメラである撮像部２０３が無効であることを示すカメラフラグを無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ２０３）。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、カメラフラグを受信する（ステップＳ２０３）。 The main control unit 221 transmits a camera flag indicating that the imaging unit 203 as a camera is invalid to the MFP 100 via the wireless communication unit 205 and the antenna 204 (step S203).
The main control unit 121 receives a camera flag from the glass terminal 200 via the antenna 117 and the wireless communication unit 104 (step S203).

カメラフラグを受信すると、主制御部１２１は、操作パネル１１０の表示をＯＦＦにする（ステップＳ２０９）。次に、主制御部１２１は、操作パネル１１０の操作機能をＯＦＦにする（ステップＳ２１０）。
一方、マイク２１１は、音声入力を受け付け、音声信号に変換して音声処理部２１０に対して出力する（ステップＳ２０４）。ここで、音声入力は、ユーザーの指示を表す音声である。ユーザーの音声は、例えば、「コピー」、「スキャン」、「ファクシミリ」等である。 When the camera flag is received, the main control unit 121 turns off the display on the operation panel 110 (step S209). Next, the main control unit 121 turns off the operation function of the operation panel 110 (step S210).
On the other hand, the microphone 211 receives an audio input, converts it into an audio signal, and outputs it to the audio processing unit 210 (step S204). Here, the voice input is a voice representing a user instruction. The user's voice is, for example, “copy”, “scan”, “facsimile”, or the like.

音声処理部２１０は、マイク２１１から受け取った音声信号を解析する（ステップＳ２０５）。次に、音声処理部２１０は、解析結果を用いて、ユーザーの指示を特定する。次に、特定した指示を示す操作信号を主制御部２２１に対して出力する（ステップＳ２０６）。
主制御部２２１は、音声処理部２１０から受け取った指示に基づいて、操作パネル画像を遷移させ、新たな操作パネル画像を生成する。次に、生成した操作パネル画像を表示するよう、表示機構２１４を制御する。表示機構２１４は、新たな操作パネル画像を表示する（ステップＳ２０７）。 The audio processing unit 210 analyzes the audio signal received from the microphone 211 (step S205). Next, the voice processing unit 210 specifies a user instruction using the analysis result. Next, an operation signal indicating the specified instruction is output to the main control unit 221 (step S206).
Based on the instruction received from the sound processing unit 210, the main control unit 221 changes the operation panel image and generates a new operation panel image. Next, the display mechanism 214 is controlled to display the generated operation panel image. The display mechanism 214 displays a new operation panel image (step S207).

主制御部２２１は、操作の内容を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ２０８）。次に、主制御部２２１は、ステップＳ２０４に戻って、処理を繰り返す。
主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作の内容を受信する（ステップＳ２０８）。 Main control unit 221 transmits the content of the operation to MFP 100 via wireless communication unit 205 and antenna 204 (step S208). Next, the main control unit 221 returns to step S204 and repeats the process.
The main control unit 121 receives the details of the operation from the glass terminal 200 via the antenna 117 and the wireless communication unit 104 (step S208).

主制御部１２１は、受信した操作の内容に応じた処理を行う（ステップＳ２１１）。次に、主制御部１２１は、ステップＳ２０８に戻って、処理を繰り返す。
３．変形例（２）
操作システム１０の変形例としての操作システム１０ｂについて説明する。
３．１操作システム１０ｂ
操作システム１０ｂは、操作システム１０と類似した構成を有している。ここでは、操作システム１０との相違点を中心として、説明する。 The main control unit 121 performs processing according to the content of the received operation (step S211). Next, the main control unit 121 returns to step S208 and repeats the process.
3. Modification (2)
An operation system 10b as a modification of the operation system 10 will be described.
3.1 Operation system 10b
The operation system 10 b has a configuration similar to that of the operation system 10. Here, it demonstrates centering on difference with the operation system 10. FIG.

操作システム１０ｂは、操作システム１０と同様に、ＭＦＰ１００及びグラス端末２００を含む。
操作システム１０ｂにおいては、グラス端末２００におけるユーザーの操作と、ＭＦＰ１００におけるユーザーの操作とが衝突している場合には、ＭＦＰ１００における操作を停止する。また、グラス端末２００におけるユーザーの操作に対する操作ガイドが、ＭＦＰ１００における操作ガイドと重複している場合には、ＭＦＰ１００における操作ガイドを停止する。 Similar to the operation system 10, the operation system 10 b includes the MFP 100 and the glass terminal 200.
In the operation system 10b, when the user operation on the glass terminal 200 and the user operation on the MFP 100 collide, the operation on the MFP 100 is stopped. If the operation guide for the user operation on the glass terminal 200 overlaps with the operation guide for the MFP 100, the operation guide for the MFP 100 is stopped.

情報記憶部２２２は、フラグ情報として、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを記憶している。
音声操作フラグは、グラス端末２００において、音声操作が有効か否かを示す。
ジェスチャ操作フラグは、グラス端末２００において、ジェスチャ操作が有効か否かを示す。 The information storage unit 222 stores a voice operation flag, a gesture operation flag, a voice notification flag, and a display flag as flag information.
The voice operation flag indicates whether or not the voice operation is valid in the glass terminal 200.
The gesture operation flag indicates whether or not the gesture operation is valid in the glass terminal 200.

音声通知フラグは、グラス端末２００において、音声通知が有効か否かを示す。
表示フラグは、グラス端末２００において、表示が有効か否かを示す。
３．２操作システム１０ｂの動作
操作システム１０ｂの動作について、図１１に示すシーケンス図を用いて説明する。
主制御部２２１は、グラス端末２００の操作の開始を示す操作開始信号を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ３０１）。 The voice notification flag indicates whether or not the voice notification is valid in the glass terminal 200.
The display flag indicates whether display is valid in the glass terminal 200.
3.2 Operation of Operation System 10b The operation of the operation system 10b will be described with reference to the sequence diagram shown in FIG.
The main control unit 221 transmits an operation start signal indicating the start of the operation of the glass terminal 200 to the MFP 100 via the wireless communication unit 205 and the antenna 204 (step S301).

次に、主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、操作開始信号を受信する（ステップＳ３０１）。
主制御部２２１は、情報記憶部２２２から、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを読み出す。次に、読み出した音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ３０２）。 Next, the main control unit 121 receives an operation start signal from the glass terminal 200 via the antenna 117 and the wireless communication unit 104 (step S301).
The main control unit 221 reads a voice operation flag, a gesture operation flag, a voice notification flag, and a display flag from the information storage unit 222. Next, the read voice operation flag, gesture operation flag, voice notification flag, and display flag are transmitted to the MFP 100 via the wireless communication unit 205 and the antenna 204 (step S302).

主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグを受信する（ステップＳ３０２）。
主制御部１２１は、受信した音声操作フラグを用いて、グラス端末２００において、音声操作が有効か否かを判断する（ステップＳ３０３）。 The main control unit 121 receives a voice operation flag, a gesture operation flag, a voice notification flag, and a display flag from the glass terminal 200 via the antenna 117 and the wireless communication unit 104 (step S302).
The main control unit 121 determines whether or not the voice operation is valid in the glass terminal 200 using the received voice operation flag (step S303).

グラス端末２００において、音声操作が有効である場合（ステップＳ３０３で「Ｙｅｓ」）、主制御部１２１は、音声処理部１１１による解析を停止することにより、又は、入力部１２３により受け取った操作内容（操作信号）を破棄することにより、ＭＦＰ１００に対する音声入力（音声操作）を無効（ＯＦＦ）とする（ステップＳ３０５）。グラス端末２００において、音声操作が無効である場合（ステップＳ３０３で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００の音声操作を有効（ＯＮ）とする（ステップＳ３０４）。 In the glass terminal 200, when the voice operation is valid (“Yes” in step S303), the main control unit 121 stops the analysis by the voice processing unit 111 or the operation content received by the input unit 123 ( By discarding the operation signal), the voice input (voice operation) to the MFP 100 is invalidated (OFF) (step S305). When the voice operation is invalid in the glass terminal 200 (“No” in step S303), the main control unit 121 enables (ON) the voice operation of the MFP 100 (step S304).

主制御部１２１は、受信したジェスチャ操作フラグを用いて、グラス端末２００において、ジェスチャ操作が有効か否かを判断する（ステップＳ３０６）。
グラス端末２００において、ジェスチャ操作が有効である場合（ステップＳ３０６で「Ｙｅｓ」）、主制御部１２１は、画像処理部１０２による解析を停止することにより、又は、入力部１２３により受け取った操作内容を破棄することにより、ＭＦＰ１００に対するジェスチャ操作を無効（ＯＦＦ）とする（ステップＳ３０８）。グラス端末２００において、ジェスチャ操作が無効である場合（ステップＳ３０６で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００に対するジェスチャ操作を有効（ＯＮ）とする（ステップＳ３０７）。 The main control unit 121 determines whether or not the gesture operation is valid in the glass terminal 200 using the received gesture operation flag (step S306).
In the glass terminal 200, when the gesture operation is valid (“Yes” in step S306), the main control unit 121 stops the analysis by the image processing unit 102 or the operation content received by the input unit 123. By discarding, the gesture operation on the MFP 100 is invalidated (OFF) (step S308). In the glass terminal 200, when the gesture operation is invalid (“No” in step S306), the main control unit 121 validates (ON) the gesture operation for the MFP 100 (step S307).

主制御部１２１は、受信した音声通知フラグを用いて、グラス端末２００において、音声通知が有効か否かを判断する（ステップＳ３０９）。
グラス端末２００において、音声通知が有効である場合（ステップＳ３０９で「Ｙｅｓ」）、主制御部１２１は、音声処理部１１１による音声信号の生成を停止することにより及びマイク１１２による音波の出力を停止することにより、ＭＦＰ１００の音声出力を無効（ＯＦＦ）とする（ステップＳ３１１）。グラス端末２００において、音声通知が無効である場合（ステップＳ３０９で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００の音声出力を有効（ＯＮ）とする（ステップＳ３１０）。 The main control unit 121 determines whether or not the voice notification is valid in the glass terminal 200 using the received voice notification flag (step S309).
In the glass terminal 200, when the voice notification is valid (“Yes” in step S309), the main control unit 121 stops the generation of the audio signal by the audio processing unit 111 and stops the output of the sound wave by the microphone 112. As a result, the voice output of the MFP 100 is disabled (OFF) (step S311). When the voice notification is invalid in the glass terminal 200 (“No” in step S309), the main control unit 121 enables (ON) the voice output of the MFP 100 (step S310).

主制御部１２１は、受信した表示フラグを用いて、グラス端末２００において、表示が有効か否かを判断する（ステップＳ３１２）。
グラス端末２００において、表示が有効である場合（ステップＳ３１２で「Ｙｅｓ」）、主制御部１２１は、ＬＥＤ駆動制御部１１４に対してＬＥＤ１１５の発光を停止させ、ＬＥＤ１１５が発光を停止することにより、ＭＦＰ１００のＬＥＤ１１５による通知（発光）を無効（ＯＦＦ）とする（ステップＳ３１４）。グラス端末２００において、表示が無効である場合（ステップＳ３１２で「Ｎｏ」）、主制御部１２１は、ＭＦＰ１００のＬＥＤ１１５による通知（発光）を有効（ＯＮ）とする（ステップＳ３１３）。 The main control unit 121 determines whether the display is valid on the glass terminal 200 using the received display flag (step S312).
In the glass terminal 200, when the display is valid (“Yes” in step S312), the main control unit 121 causes the LED drive control unit 114 to stop the light emission of the LED 115, and the LED 115 stops the light emission. Notification (light emission) by the LED 115 of the MFP 100 is disabled (OFF) (step S314). In the glass terminal 200, when the display is invalid (“No” in step S312), the main control unit 121 enables (ON) notification (light emission) by the LED 115 of the MFP 100 (step S313).

主制御部２２１は、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグの設定変更があるか否かを判断する（ステップＳ３１６）。
設定変更がない場合（ステップＳ３１６で「Ｎｏ」）、主制御部２２１は、ステップＳ３１６に戻って処理を繰り返す。
設定変更がある場合（ステップＳ３１６で「Ｙｅｓ」）、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグの設定変更の通知を無線通信部２０５及びアンテナ２０４を介して、ＭＦＰ１００に対して送信する（ステップＳ３１７）。 The main control unit 221 determines whether there is a change in setting of the voice operation flag, the gesture operation flag, the voice notification flag, and the display flag (step S316).
If there is no setting change (“No” in step S316), the main control unit 221 returns to step S316 and repeats the process.
If there is a setting change (“Yes” in step S316), a notification of setting change of the voice operation flag, the gesture operation flag, the voice notification flag, and the display flag is transmitted to the MFP 100 via the wireless communication unit 205 and the antenna 204. (Step S317).

主制御部１２１は、グラス端末２００から、アンテナ１１７及び無線通信部１０４を介して、設定変更の通知を受信する（ステップＳ３１７）。
主制御部１２１は、音声操作フラグ、ジェスチャ操作フラグ、音声通知フラグ及び表示フラグの設定変更があるか否かを判断する（ステップＳ３１５）。
設定変更がない場合（ステップＳ３１５で「Ｎｏ」）、主制御部１２１は、ステップＳ３１７に戻って処理を繰り返す。 The main control unit 121 receives a setting change notification from the glass terminal 200 via the antenna 117 and the wireless communication unit 104 (step S317).
The main control unit 121 determines whether there is a change in setting of the voice operation flag, the gesture operation flag, the voice notification flag, and the display flag (step S315).
If there is no setting change (“No” in step S315), the main control unit 121 returns to step S317 and repeats the process.

設定変更がある場合（ステップＳ３１５で「Ｙｅｓ」）、主制御部１２１は、ステップＳ３０３に戻って処理を繰り返す。
４．その他の変形例
本発明について、上記の実施の形態に基づいて説明しているが、上記の実施の形態に限定されない。以下に示すようにしてもよい。 If there is a setting change (“Yes” in step S315), the main control unit 121 returns to step S303 and repeats the process.
4). Other Modifications Although the present invention has been described based on the above embodiment, it is not limited to the above embodiment. You may make it show below.

（１）上記の実施の形態及び各変形例において、グラス端末２００は、表示面に表示される操作パネル画像とともに、透明な表示面を介して外部の景色などを見ることができる透過型の表示装置であるとしている。
しかし、これには、限定されない。
グラス端末２００は、非透過型の表示装置であるとしてもよい。この場合、撮像部２０３による映像を、非透過型の表示面に表示する。 (1) In the above-described embodiment and each modification, the glass terminal 200 can display an external scenery or the like through a transparent display surface together with an operation panel image displayed on the display surface. It is said to be a device.
However, this is not a limitation.
The glass terminal 200 may be a non-transmissive display device. In this case, the image by the imaging unit 203 is displayed on the non-transmissive display surface.

また、グラス端末２００に代えて、スマートフォンやタブレットを用いるとしてもよい。
（２）上述したように、各装置は、マイクロプロセッサとメモリとを備えたコンピューターシステムである。前記メモリは、コンピュータープログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータープログラムに従って動作するとしてもよい。 Moreover, it may replace with the glass terminal 200 and may use a smart phone and a tablet.
(2) As described above, each device is a computer system including a microprocessor and a memory. The memory may store a computer program, and the microprocessor may operate according to the computer program.

ここで、コンピュータープログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
また、コンピュータープログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。 Here, the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
The computer program may be recorded on a computer-readable recording medium such as a flexible disk, a hard disk, an optical disk, or a semiconductor memory.

また、コンピュータープログラムを、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するとしてもよい。
また、コンピュータープログラムを前記記録媒体に記録して移送することにより、又はコンピュータープログラムをネットワーク等を経由して移送することにより、独立した他のコンピューターシステムにより実行するとしてもよい。 Further, the computer program may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
The computer program may be executed by another independent computer system by recording the computer program on the recording medium and transferring it, or by transferring the computer program via a network or the like.

（３）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。 (3) The above embodiment and the above modifications may be combined.

本発明に係る操作システムにおいては、画像形成装置に対するユーザー操作と、端末装置に対するユーザー操作が衝突しないようにできる。このため、端末装置及び画像形成装置から構成される操作システムとして、有用である。 In the operation system according to the present invention, the user operation on the image forming apparatus and the user operation on the terminal device can be prevented from colliding with each other. For this reason, it is useful as an operation system composed of a terminal device and an image forming apparatus.

１０、１０ａ、１０ｂ操作システム
１００ＭＦＰ
１０１スキャナー
１０２画像処理部
１０３通信部
１０４無線通信部
１０５撮像部
１０６メモリ部
１０７ＣＰＵ
１０８プリントエンジン
１０９ハードディスク
１１０操作パネル
１１１音声処理部
１１２マイク
１１３スピーカー
１１４ＬＥＤ駆動制御部
１１５ＬＥＤ
１１６バス
１１７アンテナ
１２１主制御部
１２２情報記憶部
１２３入力部
２００グラス端末
２０１駆動制御部
２０２画像処理部
２０３撮像部
２０４アンテナ
２０５無線通信部
２０６表示面
２０７ＣＰＵ
２０８メモリ部
２０９操作部
２１０音声処理部
２１１マイク
２１２スピーカー
２１３バス
２１４表示機構
２２１主制御部
２２２情報記憶部
２２３入力部
２４１ａ、２４１ｂレンズ
２４２レンズ枠
２４３ａ、２４３ｂテンプル 10, 10a, 10b Operation system 100 MFP
DESCRIPTION OF SYMBOLS 101 Scanner 102 Image processing part 103 Communication part 104 Wireless communication part 105 Imaging part 106 Memory part 107 CPU
108 Print Engine 109 Hard Disk 110 Operation Panel 111 Audio Processing Unit 112 Microphone 113 Speaker 114 LED Drive Control Unit 115 LED
116 Bus 117 Antenna 121 Main Control Unit 122 Information Storage Unit 123 Input Unit 200 Glass Terminal 201 Drive Control Unit 202 Image Processing Unit 203 Imaging Unit 204 Antenna 205 Wireless Communication Unit 206 Display Surface 207 CPU
208 Memory unit 209 Operation unit 210 Audio processing unit 211 Microphone 212 Speaker 213 Bus 214 Display mechanism 221 Main control unit 222 Information storage unit 223 Input unit 241a, 241b Lens 242 Lens frame 243a, 243b Temple

Claims

An operation system realized by a combination of a terminal device having a function of accepting a user operation and an image forming apparatus that operates according to the user operation,
The image forming apparatus includes:
Receiving means for receiving, from the terminal device, flag information indicating whether or not an operation by the user in the terminal device is valid;
User interface means for accepting an operation directly from a user without going through the terminal device;
When the received flag information indicates valid, the operation by the user interface means is invalidated, and when the flag information indicates invalid, control means for validating the operation by the user interface means,
Operates according to the operation received by the user interface means or the operation received by the terminal device ,
The image forming apparatus and the terminal device are respectively
Imaging means;
Image analysis means for analyzing a photographed image by the imaging means and estimating the contents of a gesture operation that is a virtual operation by a user's operation body existing in the imaging visual field;
The flag information indicates whether or not the gesture operation is valid in the terminal device,
The user interface means receives the content of a user's gesture operation from the image analysis means included in the image forming apparatus,
When the flag information indicates that the gesture operation is valid, the control unit stops the analysis by the image analysis unit included in the image forming apparatus or the gesture operation received by the user interface unit The gesture operation for the image forming apparatus is invalidated by discarding the content of the image, and when the flag information indicates that the gesture operation is invalid, the gesture operation for the image forming apparatus is validated. Operation system.

An operation system realized by a combination of a terminal device having a function of accepting a user operation and an image forming apparatus that operates according to the user operation,
The image forming apparatus includes:
Receiving means for receiving, from the terminal device, flag information indicating whether or not an operation by the user in the terminal device is valid;
User interface means for accepting an operation directly from a user without going through the terminal device;
When the received flag information indicates valid, the operation by the user interface means is invalidated, and when the flag information indicates invalid, control means for validating the operation by the user interface means,
Operates according to the operation received by the user interface means or the operation received by the terminal device,
When the terminal device does not include an imaging unit, or when the terminal device includes an imaging unit, but imaging by the imaging unit is invalid, the flag information further indicates that imaging is invalid,
The user interface means is an operation panel that accepts a user operation and displays an operation guide for the user by contact with a user operation body,
The control means invalidates the touch on the operation panel and the display by the operation panel when the flag information indicates that imaging is invalid.
An operation system characterized by that.

The flag information further indicates whether or not the operation guide for the user is valid in the terminal device,
The user interface means further provides an operation guide to the user,
When the received flag information indicates that the operation guide is valid, the control means invalidates the operation guide by the user interface means, and when the flag information indicates that the operation guide is invalid, the user operation system according to claim 1 or 2, characterized in that to enable the operation guide by interface means.

The image forming apparatus further includes audio processing means for generating an audio signal based on audio information expressing the contents of the operation guide,
The user interface means further includes a speaker that converts the generated audio signal and outputs a sound wave ,
The flag information further indicates whether or not a voice operation guide is valid in the terminal device,
The operation system according to claim 3 , wherein the control unit stops generating the sound signal and outputting the sound wave when the flag information indicates that a sound operation guide is valid.

The user interface means further performs an operation guide by light emission,
The flag information further indicates whether or not the operation guide by display is valid in the terminal device,
The operation system according to claim 3 , wherein the control means stops light emission by the user interface means when the flag information indicates that an operation guide by display is valid.

Before SL user interface means is an operation panel for receiving user actions by contact,
2. The operation system according to claim 1, wherein when the flag information indicates that the gesture operation is valid, the control unit further invalidates reception of an operation by touching the operation panel.

The terminal device generates a sound signal by converting sound waves, analyzes the generated sound signal, recognizes a sound emitted by the user, and accepts a user operation by estimating a user operation content,
The user interface means further generates sound signals by converting sound waves,
The image forming apparatus further includes an audio processing unit that analyzes the generated audio signal, recognizes an audio generated by the user, and estimates an operation content of the user,
The user interface means further receives the operation content of the user from the voice processing means,
The flag information further indicates whether voice operation by the terminal device is valid,
When the flag information indicates that the voice operation is valid, the control means stops the analysis by the voice processing means included in the image forming apparatus or the operation content received by the user interface means by discarding operation system according to claim 1 or 2, characterized in that the disabling voice operation with respect to the image forming apparatus.

The image forming apparatus in an operation system realized by a combination of a terminal device having a function of accepting a user operation and an image forming apparatus that operates according to the user operation,
Receiving means for receiving, from the terminal device, flag information indicating whether or not an operation by the user in the terminal device is valid;
User interface means for accepting an operation directly from a user without going through the terminal device;
When the received flag information indicates valid, the operation by the user interface means is invalidated, and when the flag information indicates invalid, control means for validating the operation by the user interface means,
Operates according to the operation received by the user interface means or the operation received by the terminal device,
The image forming apparatus and the terminal device are respectively
Imaging means;
Image analysis means for analyzing a photographed image by the imaging means and estimating the contents of a gesture operation that is a virtual operation by a user's operation body existing in the imaging visual field;
The flag information indicates whether or not the gesture operation is valid in the terminal device,
The user interface means receives the content of a user's gesture operation from the image analysis means included in the image forming apparatus,
When the flag information indicates that the gesture operation is valid, the control unit stops the analysis by the image analysis unit included in the image forming apparatus or the gesture operation received by the user interface unit The gesture operation for the image forming apparatus is invalidated by discarding the content of the image, and the gesture operation for the image forming apparatus is validated when the flag information indicates that the gesture operation is invalid.
An image forming apparatus.

The image forming apparatus in an operation system realized by a combination of a terminal device having a function of accepting a user operation and an image forming apparatus that operates according to the user operation,
Receiving means for receiving, from the terminal device, flag information indicating whether or not an operation by the user in the terminal device is valid;
User interface means for accepting an operation directly from a user without going through the terminal device;
When the received flag information indicates valid, the operation by the user interface means is invalidated, and when the flag information indicates invalid, control means for validating the operation by the user interface means,
Operates according to the operation received by the user interface means or the operation received by the terminal device,
When the terminal device does not include an imaging unit, or when the terminal device includes an imaging unit, but imaging by the imaging unit is invalid, the flag information further indicates that imaging is invalid,
The user interface means is an operation panel that accepts a user operation and displays an operation guide for the user by contact with a user operation body,
The control means invalidates the touch on the operation panel and the display by the operation panel when the flag information indicates that imaging is invalid.
An image forming apparatus.

A control method used in the image forming apparatus in an operation system realized by a combination of a terminal device having a function of accepting a user operation and an image forming apparatus that operates in accordance with a user operation,
The receiving means receives flag information indicating whether or not an operation by the user in the terminal device is valid from the terminal device,
The user interface means accepts the operation directly from the user without going through the terminal device,
When the flag information received by the control means indicates valid, the operation by the user interface means is invalidated, and when the flag information indicates invalid, the operation by the user interface means is validated and accepted by the user interface means. Or operating the image forming apparatus in response to an operation received by the terminal device,
The image forming apparatus and the terminal device are respectively
Imaging means;
Image analysis means for analyzing a photographed image by the imaging means and estimating the contents of a gesture operation that is a virtual operation by a user's operation body existing in the imaging visual field;
The flag information indicates whether or not the gesture operation is valid in the terminal device,
The user interface means receives the contents of the user's gesture operation from the image analysis means included in the image forming apparatus,
When the control means indicates that the gesture operation is valid, the gesture operation received by the user interface means or by stopping the analysis by the image analysis means included in the image forming apparatus The gesture operation for the image forming apparatus is invalidated by discarding the content of the image, and the gesture operation for the image forming apparatus is validated when the flag information indicates that the gesture operation is invalid.
A control method characterized by that.

A control method used in the image forming apparatus in an operation system realized by a combination of a terminal device having a function of accepting a user operation and an image forming apparatus that operates in accordance with a user operation,
The receiving means receives flag information indicating whether or not an operation by the user in the terminal device is valid from the terminal device,
The user interface means accepts the operation directly from the user without going through the terminal device,
When the flag information received by the control means indicates valid, the operation by the user interface means is invalidated, and when the flag information indicates invalid, the operation by the user interface means is validated and accepted by the user interface means. Or operating the image forming apparatus in response to an operation received by the terminal device,
When the terminal device does not include an imaging unit, or when the terminal device includes an imaging unit, but imaging by the imaging unit is invalid, the flag information further indicates that imaging is invalid,
The user interface means is an operation panel that accepts a user operation and displays an operation guide for the user by contact with a user operation body,
When the flag information indicates that imaging is invalid, the control means invalidates the touch on the operation panel and the display by the operation panel.
A control method characterized by that.