Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6569261B2 - Operating device, operating method and program, operating system - Google Patents
[go: Go Back, main page]

JP6569261B2 - Operating device, operating method and program, operating system - Google Patents

Operating device, operating method and program, operating system Download PDF

Info

Publication number
JP6569261B2
JP6569261B2 JP2015060202A JP2015060202A JP6569261B2 JP 6569261 B2 JP6569261 B2 JP 6569261B2 JP 2015060202 A JP2015060202 A JP 2015060202A JP 2015060202 A JP2015060202 A JP 2015060202A JP 6569261 B2 JP6569261 B2 JP 6569261B2
Authority
JP
Japan
Prior art keywords
display
state
operation state
camera
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015060202A
Other languages
Japanese (ja)
Other versions
JP2016181772A5 (en
JP2016181772A (en
Inventor
加藤 芳幸
芳幸 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015060202A priority Critical patent/JP6569261B2/en
Publication of JP2016181772A publication Critical patent/JP2016181772A/en
Publication of JP2016181772A5 publication Critical patent/JP2016181772A5/ja
Application granted granted Critical
Publication of JP6569261B2 publication Critical patent/JP6569261B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、複数の電子機器の操作に使用される操作装置に関するものである。   The present invention relates to an operating device used for operating a plurality of electronic devices.

従来、複数台のカメラを1台の操作装置で無線通信により遠隔操作する場合に、各カメラを識別するID情報を無線通信で送受信することによって操作対象となるカメラを操作装置が識別する技術が知られている(例えば下記特許文献1参照)。また、複数台のカメラの映像を同時に表示する場合に、撮影可能なカメラの映像をより大きく表示する技術や(例えば下記特許文献2参照)、映像変化が一番大きいカメラの映像をより大きく表示する技術も知られている(例えば下記特許文献3参照)。   2. Description of the Related Art Conventionally, when a plurality of cameras are remotely operated by wireless communication using a single operation device, a technology for the operation device to identify a camera to be operated by transmitting and receiving ID information for identifying each camera by wireless communication. It is known (see, for example, Patent Document 1 below). Further, when displaying images from a plurality of cameras at the same time, a technology for displaying a larger image of a camera that can be photographed (for example, see Patent Document 2 below), and displaying a larger image of a camera with the largest image change. The technique to do is also known (for example, refer to the following Patent Document 3).

したがって、係る技術を用いれば、1台の操作装置で複数台のカメラの何れかを操作する際には、操作対象となるカメラに関する画像(映像等)を操作装置に表示させることにより、操作装置がカメラを識別するだけでなく、ある程度はユーザーにも操作対象のカメラを把握させることができる。   Therefore, when such a technique is used, when operating any one of a plurality of cameras with a single operation device, the operation device displays an image (video, etc.) relating to the camera to be operated on the operation device. Not only identifies the camera, but also allows the user to grasp the camera to be operated to some extent.

特開2005−252568号公報JP 2005-252568 A 特開2004−221785号公報JP 2004-221785 A 特開2003−9142号公報Japanese Patent Laid-Open No. 2003-9142

しかしながら、上記のように操作対象となるカメラに関する画像(映像等)を操作装置に表示させたとしても、ユーザーにあっては、カメラの台数が多くなったり、カメラ同士の位置が近いなど、複数のカメラの状態によっては、操作対象のカメラがどのカメラなのかが分かり難くなるという問題があった。また、係る問題は、操作対象がカメラ以外の電子機器である場合においても同様であった。   However, even if an image (video or the like) related to the camera to be operated is displayed on the operation device as described above, the user has a plurality of cameras such as an increased number of cameras or the positions of the cameras being close to each other. Depending on the state of the camera, there is a problem that it is difficult to know which camera is the operation target camera. The problem is the same when the operation target is an electronic device other than the camera.

本発明の課題は、かかる従来の課題に鑑みてなされたものであり、複数台の電子機器を1台の操作装置で操作する場合におけるユーザーの使い勝手を向上させることを目的とする。   An object of the present invention has been made in view of such conventional problems, and an object of the present invention is to improve the user-friendliness when operating a plurality of electronic devices with a single operation device.

前記課題を解決するため、本発明の操作装置にあっては、複数の電子機器と連携した操作装置において、表示手段と、前記複数の電子機器各々の複数の動作状態を示す動作情報を前記表示手段に表示させる遠隔操作の動作を制御する制御手段と、前記複数の動作状態のうちで、前記電子機器におけるユーザーの操作に起因して変化する予め決められた第1の動作状態に対応する第1の動作を、当該第1の動作状態とは異なる第2の動作状態に対応し、当該第1の動作とは種類の異なる第2の動作より優先することで、前記動作に際し、前記第1の動作状態を示す動作情報を、前記第2の動作状態を示す動作情報に優先して、前記表示手段に表示させる制御を前記制御手段に行わせる優先制御手段と、を備えたことを特徴とする。 In order to solve the above-mentioned problem, in the operating device according to the present invention, in the operating device linked with a plurality of electronic devices, the display means and operation information indicating a plurality of operating states of each of the plurality of electronic devices are displayed. Control means for controlling the operation of the remote operation to be displayed on the means, and a first corresponding to a predetermined first operation state that changes due to a user operation in the electronic device among the plurality of operation states. The first operation corresponds to a second operation state different from the first operation state, and is prioritized over a second operation different in kind from the first operation . Priority control means for causing the control means to perform control to display the operation information indicating the operation state of the display in preference to the operation information indicating the second operation state. To do.

本発明によれば、複数台の電子機器を1台の操作装置で操作する場合におけるユーザーの使い勝手を向上させることが可能となる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to improve the usability of a user in the case of operating several electronic devices with one operating device.

本発明に係る操作システムの一実施形態を示す図である。It is a figure which shows one Embodiment of the operation system which concerns on this invention. 操作装置とカメラの電気的構成の要部を示すブロック図である。It is a block diagram which shows the principal part of the electrical structure of an operating device and a camera. カメラの動作状態に応じた優先度及び表示形態、更新方法を示す図である。It is a figure which shows the priority according to the operation state of a camera, a display form, and the update method. 動作状態の表示形態、更新方法の具体例を示す図である。It is a figure which shows the specific example of the display form of an operation state, and the update method. 操作装置の本発明に係る動作を示すフローチャートである。It is a flowchart which shows the operation | movement which concerns on this invention of an operating device. 図4の初期表示処理を示すフローチャートである。It is a flowchart which shows the initial display process of FIG. 操作装置とカメラとにおける通信内容、表示画面の更新内容の具体例を示す図である。It is a figure which shows the specific example of the communication content in an operating device and a camera, and the update content of a display screen. 操作装置とカメラとにおける通信内容、表示画面の更新内容の他の具体例を示す図である。It is a figure which shows the other specific example of the communication content in an operating device and a camera, and the update content of a display screen. 操作装置とカメラとにおける通信内容、表示画面の更新内容の他の具体例を示す図である。It is a figure which shows the other specific example of the communication content in an operating device and a camera, and the update content of a display screen.

以下、本発明の実施形態について説明する。図1は、本発明に係る操作システムの一実施形態を示した図である。   Hereinafter, embodiments of the present invention will be described. FIG. 1 is a diagram showing an embodiment of an operation system according to the present invention.

図1に示したように本実施形態の操作システムは、操作装置1と、操作装置1に無線により接続される複数台のカメラ101,101,101(図でカメラ1〜カメラ3)から構成される。なお、操作装置1に無線により接続されるカメラ101の台数は任意である。   As shown in FIG. 1, the operation system according to this embodiment includes an operation device 1 and a plurality of cameras 101, 101, 101 (camera 1 to camera 3 in the figure) connected to the operation device 1 by radio. The The number of cameras 101 connected to the controller device 1 by radio is arbitrary.

図2は、上記の操作装置1とカメラ101の電気的構成の要部を示すブロック図である。   FIG. 2 is a block diagram illustrating a main part of the electrical configuration of the operation device 1 and the camera 101 described above.

まず、前記操作装置1の電気的構成について説明する。図に示したように操作装置1は、制御部11と、無線通信部12、表示部13、記憶部14、操作部15、電源部16の各部を有している。   First, the electrical configuration of the operating device 1 will be described. As shown in the figure, the controller device 1 includes a control unit 11, a wireless communication unit 12, a display unit 13, a storage unit 14, an operation unit 15, and a power supply unit 16.

制御部11は、図示しないCPU(Central Processing Unit)、及びその周辺回路等や、プログラムが格納されたROM(Read Only Memory)、作業用のRAM(Random Access memory)等から構成される。制御部11は、上記ROMに記憶されているプログラム、及び記憶部14に記憶されているプログラムに従い操作装置1の各部を制御するとともに、後述する処理を実行する。   The control unit 11 includes a CPU (Central Processing Unit) (not shown) and its peripheral circuits, a ROM (Read Only Memory) in which a program is stored, a working RAM (Random Access memory), and the like. The control unit 11 controls each unit of the controller device 1 according to the program stored in the ROM and the program stored in the storage unit 14 and executes processing to be described later.

無線通信部12は、前記複数台のカメラ101と無線通信を行うための通信回路等により構成され、後述するようにカメラ101から画像データを受信したり、カメラ101に状態要求信号を送信したりする。なお、本実施形態において無線通信部12により行われる無線通信は、例えばBluetooth(登録商標)や無線LANによるものである。   The wireless communication unit 12 includes a communication circuit for performing wireless communication with the plurality of cameras 101 and receives image data from the camera 101 and transmits a status request signal to the camera 101 as described later. To do. Note that the wireless communication performed by the wireless communication unit 12 in the present embodiment is based on, for example, Bluetooth (registered trademark) or a wireless LAN.

表示部13は、カラー液晶表示パネルと、カラー液晶表示パネルを駆動する表示駆動回路とから構成される。表示部13は、前記複数台のカメラ101から送られた画像データや、ユーザーが操作装置1において各カメラ101,101,101の動作内容を設定にする際にユーザーに提示するメニュー画面等を表示する。   The display unit 13 includes a color liquid crystal display panel and a display drive circuit that drives the color liquid crystal display panel. The display unit 13 displays image data sent from the plurality of cameras 101, a menu screen to be presented to the user when the user sets the operation content of each camera 101, 101, 101 in the operation device 1. To do.

記憶部14は、フラッシュメモリ等の内蔵の半導体メモリであり、制御部11に操作装置1の各部を制御させるための基本的なプログラムや、ユーザーの指示に応じて各カメラ101の動作内容を設定するためプログラム等を記憶する。   The storage unit 14 is a built-in semiconductor memory such as a flash memory, and sets a basic program for causing the control unit 11 to control each unit of the controller device 1 and the operation content of each camera 101 according to a user instruction. To store programs and so on.

操作部15は、操作装置1の本体に設けられた電源スイッチ等の各種スイッチや、前記カラー液晶表示パネルの表面に設けられたタッチパネルから構成される。   The operation unit 15 includes various switches such as a power switch provided on the main body of the operation device 1 and a touch panel provided on the surface of the color liquid crystal display panel.

電源部16は、電源電池(例えばニッケル水素電池等の充電池)、及びDC/DCコンバータ等で構成され、操作装置1の各部に対して各々が必要とする電力を供給する。   The power supply unit 16 includes a power supply battery (for example, a rechargeable battery such as a nickel metal hydride battery), a DC / DC converter, and the like, and supplies power necessary for each unit of the controller device 1.

次に、各カメラ101の電気的構成について説明する。図2に示したようにカメラ101は、制御部111と、撮像部112、記憶部113、振動検出部114、無線通信部115、操作部116、電源部117の各部を有している。   Next, the electrical configuration of each camera 101 will be described. As illustrated in FIG. 2, the camera 101 includes a control unit 111, an imaging unit 112, a storage unit 113, a vibration detection unit 114, a wireless communication unit 115, an operation unit 116, and a power supply unit 117.

制御部111は、図示しないCPU、及びその周辺回路等や、プログラムが格納されたROM、作業用のRAM等から構成される。制御部111は、上記ROMに記憶されているプログラムに従いカメラ101の各部を制御するとともに、後述する各種の処理を実行する。   The control unit 111 includes a CPU (not shown) and its peripheral circuits, a ROM storing a program, a working RAM, and the like. The control unit 111 controls each unit of the camera 101 according to a program stored in the ROM, and executes various processes described later.

撮像部112は、カメラ101の図示しない本体に設けられている撮影レンズを介して被写体を撮像するCCD(Charge Coupled Device)やCMOS(Complementary Meta1 0xide Semiconductor)型の撮像素子と、その駆動回路と、撮像素子から出力された撮像信号の増幅、デジタル信号への変換を行うAFE(Analog Front End)から構成される。撮像部112により撮像された被写体の画像データは制御部111へ供給される。   The imaging unit 112 includes a CCD (Charge Coupled Device) or CMOS (Complementary Meta10 Semiconductor Semiconductor) type imaging device that captures an image of a subject via a photographic lens provided in a main body (not shown) of the camera 101, a drive circuit thereof, It is composed of an AFE (Analog Front End) that amplifies the image signal output from the image sensor and converts it into a digital signal. Image data of the subject imaged by the imaging unit 112 is supplied to the control unit 111.

制御部111に送られた被写体の画像データは、必要に応じて無線通信部115を介して前記操作装置1に供給され、また、JPEG(Joint Photographic Expert Group)方式等により圧縮された後、静止画ファイルとして記憶部113に記憶される。   The subject image data sent to the control unit 111 is supplied to the controller device 1 via the wireless communication unit 115 as necessary, and after being compressed by a JPEG (Joint Photographic Expert Group) method or the like, It is stored in the storage unit 113 as an image file.

記憶部113は、フラッシュメモリ等の内蔵の半導体メモリや、カメラ101に着脱自在なカード型のメモリ等により構成される。   The storage unit 113 includes a built-in semiconductor memory such as a flash memory, a card-type memory that can be attached to and detached from the camera 101, and the like.

振動検出部114は、例えば3軸方向の加速度を検出する加速度センサーと、アンプやA/D変換器から構成され、検出した加速度をカメラ101の移動の有無を示す情報として制御部111へ供給する。   The vibration detection unit 114 includes, for example, an acceleration sensor that detects acceleration in three axis directions, an amplifier, and an A / D converter, and supplies the detected acceleration to the control unit 111 as information indicating whether the camera 101 has moved. .

無線通信部115は、前記操作装置1と無線通信を行うための通信回路等により構成され、操作装置1との間で無線通信を行うとともに、制御部111により生成された画像データや、カメラ101の動作状態を示す識別コード等を必要に応じて前記操作装置1に送信する。   The wireless communication unit 115 is configured by a communication circuit or the like for performing wireless communication with the operation device 1, and performs wireless communication with the operation device 1, image data generated by the control unit 111, and the camera 101. An identification code or the like indicating the operation state is transmitted to the controller device 1 as necessary.

操作部116は、撮影装置101の図示しない本体に設けられた電源スイッチや、動作モードの切換に使用されるモード切替スイッチ等の複数の操作スイッチにより構成される。上記動作モードは、撮影を行うためのRECモード、記憶部113に記憶されている撮影済みの画像を再生するための再生モード、カメラにおける基本設定を行うための設定モードである。   The operation unit 116 includes a plurality of operation switches such as a power switch provided in a main body (not shown) of the photographing apparatus 101 and a mode change switch used for switching operation modes. The operation modes are a REC mode for shooting, a playback mode for playing back a captured image stored in the storage unit 113, and a setting mode for performing basic settings in the camera.

また、設定モードにおいて設定可能な内容は、日付や撮影画像の記録サイズ(大きさ)、RECモードでの動作中における顔検出機能のオン・オフ設定等である。なお、顔検出機能は、撮像部112により逐次撮像される画像から任意の人物の顔部分を検出する機能であり、一般的なデジタルカメラに設けられているものと同様の機能である。   The contents that can be set in the setting mode are the date, the recorded size (size) of the photographed image, the on / off setting of the face detection function during the operation in the REC mode, and the like. Note that the face detection function is a function for detecting a face portion of an arbitrary person from images sequentially captured by the imaging unit 112, and is the same function as that provided in a general digital camera.

電源部117は、電源電池(例えばニッケル水素電池等の充電池)、及びDC/DCコンバータ等で構成され、カメラ101の各部に対して各々が必要とする電力を供給する。   The power supply unit 117 includes a power supply battery (for example, a rechargeable battery such as a nickel metal hydride battery), a DC / DC converter, and the like, and supplies power necessary for each unit of the camera 101.

そして、各カメラ101は、電源が投入されて前記操作装置1と無線通信により接続されている間、制御部111が、カメラ101の動作状態を示す所定の識別コードを操作装置1へ送信するとともに、RECモードでの動作中においては、撮影中の画像を操作装置1へ送信する。   While each camera 101 is powered on and connected to the controller device 1 by wireless communication, the control unit 111 transmits a predetermined identification code indicating the operation state of the camera 101 to the controller device 1. During the operation in the REC mode, the image being shot is transmitted to the controller device 1.

ここで、操作装置1に送信される識別コードは、予め決められている複数の動作状態を示すものであり、具体的には、図3に示したように「0」〜「6」の異なる優先度が予め割り当てられている7種類の状態のいずれかを示すものである。すなわち、設定待ち(優先度6)、画像再生(優先度5)、REC 顔検出(優先度4)、カメラ移動(優先度3)、REC 画像変化有(優先度2)、REC 画像変化無(優先度1)、その他(優先度0)の7種類の状態のいずれかを示すものである。   Here, the identification code transmitted to the controller device 1 indicates a plurality of predetermined operating states, and specifically, “0” to “6” are different as shown in FIG. It indicates one of seven types of states assigned with priorities in advance. That is, waiting for setting (priority 6), image reproduction (priority 5), REC face detection (priority 4), camera movement (priority 3), REC image changed (priority 2), REC image unchanged ( It indicates one of seven states of priority 1) and other (priority 0).

ここで、「設定待ち」とは、モード切替スイッチの操作によって動作モードが設定モードに設定されている状態である。「画像再生」とは、動作モードが再生モードにおいて任意の記録画像を再生している状態である。「REC 顔検出」とは、RECモードでの動作中に顔検出機能によって任意の人物の顔を検出している状態である。   Here, “waiting for setting” is a state in which the operation mode is set to the setting mode by operating the mode switch. “Image reproduction” is a state in which an arbitrary recorded image is being reproduced when the operation mode is the reproduction mode. “REC face detection” is a state in which a face of an arbitrary person is detected by the face detection function during operation in the REC mode.

また、「カメラ移動」とは、カメラ101が移動中の状態である。「REC 画像変化有」とは、RECモードにある間に撮像部112により逐次撮像している画像が変化している状態であり、逆に「REC 画像変化無」とは、逐次撮像している画像に変化が生じていない状態である。「その他」は上記の動作以外の状態である。   “Camera movement” is a state in which the camera 101 is moving. “REC image has changed” is a state in which images sequentially picked up by the image pickup unit 112 while in the REC mode are changing. Conversely, “REC image has not changed” means that images are picked up sequentially. The image is not changed. “Other” is a state other than the above operation.

一方、操作装置1は、複数台のカメラ101,101,101が無線通信により接続されている間、離れた位置にある各カメラ101をユーザーによる所定のスイッチ操作に応じて制御(操作)する。操作装置1によって制御可能な内容は、例えば撮影の開始及び停止や、記録されている画像の表示、設定モードにおける日付や撮影画像の記録サイズ(大きさ)等の基本設定である。   On the other hand, the controller device 1 controls (operates) each camera 101 at a distant position according to a predetermined switch operation by the user while the plurality of cameras 101, 101, 101 are connected by wireless communication. The contents that can be controlled by the operation device 1 are basic settings such as start and stop of shooting, display of recorded images, date in the setting mode, and recording size (size) of the shot image.

また、操作装置1は、操作装置1に複数台のカメラ101,101,101が無線通信により接続されている間、各カメラ101の動作状態を示す動作情報を表示部13に表示する。具体的な動作情報は、後述するように各カメラ101から送信される撮影中の画像や再生中の画像、及び前述した基本設定を行うためのMENU画面である。   In addition, the controller device 1 displays operation information indicating the operation state of each camera 101 on the display unit 13 while a plurality of cameras 101, 101, 101 are connected to the controller device 1 by wireless communication. Specific operation information includes an image being captured and an image being reproduced and transmitted from each camera 101 as will be described later, and a MENU screen for performing the basic settings described above.

表示部13における各動作状態、つまり画像、及びMENU画面の表示形態、及び更新方法は図3に示した通りである。表示形態は、「設定待ち」と「画像再生」については1画面表示であり、その他については多画面表示である。また、更新方法は、「設定待ち」と「画像再生」については逐次更新、「REC 顔検出」と「カメラ移動」については優先更新、「REC 画像変化有」については順次更新、「REC 画像変化無」と「その他」については更新なしである。   Each operation state in the display unit 13, that is, the display form of the image and the MENU screen, and the updating method are as shown in FIG. As for the display mode, “waiting for setting” and “image reproduction” are one-screen display, and the others are multi-screen display. In addition, the update method is sequentially updated for “Waiting for setting” and “image playback”, priority update for “REC face detection” and “camera movement”, sequential update for “REC image change present”, and “REC image change”. There is no update for “None” and “Other”.

図4は、操作装置1に3台のカメラ101,101,101が接続されている場合における画像、又はMENU画面)の表示形態、及び更新方法を具体的に示した図であり、各カメラ101の画像をG1〜G3として示した図である。すなわち図4(a)〜(c)は多画面表示の例、(d)及び(e)は1画面表示の例をそれぞれ示した図である。また、図4(b)は、更新方法における順次更新の例を示した図であり、順次更新は異なるカメラ101の画像を順番に更新する方法である。図4(c)は、更新方法における優先更新の例を示した図であり、優先更新は特定のカメラ101の画像のみを繰り返し更新する方法である。   FIG. 4 is a diagram specifically showing a display form and an update method of an image or a MENU screen when three cameras 101, 101, 101 are connected to the controller device 1. It is the figure which showed these images as G1-G3. 4A to 4C show examples of multi-screen display, and FIGS. 4D and 4E show examples of single-screen display, respectively. FIG. 4B is a diagram illustrating an example of sequential update in the update method. The sequential update is a method of sequentially updating images of different cameras 101. FIG. 4C is a diagram illustrating an example of priority update in the update method. The priority update is a method of repeatedly updating only the image of a specific camera 101.

以下、各カメラ101の画像、及びMENU画面を上述したように表示形態、及び更新方法で表示部13に表示するときの操作装置1の動作を図5及び図6に従い具体的に説明する。なお、ここでは図1に例示したように3台のカメラ101,101,101に電源が投入され、さらに各カメラ101がRECモードで動作している間に、操作装置1に電源が投入されたものとする。   Hereinafter, the operation of the controller device 1 when the images of the cameras 101 and the MENU screen are displayed on the display unit 13 in the display mode and the update method as described above will be specifically described with reference to FIGS. 5 and 6. Here, as illustrated in FIG. 1, power is supplied to the three cameras 101, 101, and 101, and power is supplied to the controller device 1 while each camera 101 is operating in the REC mode. Shall.

図5に示したように制御部11は、電源投入とともに処理を開始すると、直ちに図6に例示した初期表示処理を行う(ステップS1)。   As shown in FIG. 5, when the control unit 11 starts the process upon power-on, the control unit 11 immediately performs the initial display process illustrated in FIG. 6 (step S1).

係る初期表示処理に際して制御部11は、複数のカメラ101,101,101と無線接続する(ステップS101)。なお、その際、制御部11は接続されているカメラ101の総数(ここでは3台)を確認するとともに、各カメラ101について各々の識別に使用するカメラ番号(ここでは1〜3)を割り当てる。   In the initial display process, the control unit 11 wirelessly connects to a plurality of cameras 101, 101, 101 (step S101). At that time, the control unit 11 confirms the total number (here, three) of the connected cameras 101 and assigns camera numbers (here, 1 to 3) used for identification to the respective cameras 101.

次に、制御部11は、全てのカメラ101に対して表示画像の送信を要求する要求信号を送信することにより、各カメラ101から現在撮影中の画像を取得する(ステップS102)。そして、制御部11は取得した画像を各カメラ101の動作状態を示す画像として図6(a)に示したように表示部13に多画面で表示する(ステップS103)。なお、図6(a)は、カメラ番号1〜3の各カメラ101の画像をG1〜G3として示した図であり、これ以降の処理においても係る多画面表示が基本的な表示形態である。   Next, the control unit 11 acquires a currently captured image from each camera 101 by transmitting a request signal requesting transmission of display images to all the cameras 101 (step S102). Then, the control unit 11 displays the acquired image as an image indicating the operation state of each camera 101 on the display unit 13 as shown in FIG. 6A (step S103). FIG. 6A is a diagram showing the images of the cameras 101 with the camera numbers 1 to 3 as G1 to G3, and the multi-screen display is a basic display form in the subsequent processing.

上記初期表示処理を終了した後、制御部11は図5に示した処理に戻り、まず、動作状態の確認対象とするカメラを特定する処理上のカメラ番号(N)を初期化する(ステップS2)。しかる後、制御部11は、前記カメラ番号(N)が初期表示処理で確認したカメラ101の総数となるまで(ステップS3:NO)、以下の処理を繰り返すことにより表示部13の表示画面を逐次更新する。   After completing the initial display process, the control unit 11 returns to the process shown in FIG. 5, and first initializes the camera number (N) in the process for specifying the camera whose operation state is to be confirmed (step S2). ). Thereafter, the control unit 11 sequentially displays the display screen of the display unit 13 by repeating the following processes until the camera number (N) reaches the total number of cameras 101 confirmed in the initial display process (step S3: NO). Update.

まず、制御部11は、カメラ番号(N)をインクリメントして、そのカメラ番号(処理開始当初は「1」)のカメラ101を動作状態の確認対象として設定する(ステップS4)。   First, the control unit 11 increments the camera number (N), and sets the camera 101 with the camera number (“1” at the beginning of the process) as a confirmation target of the operation state (step S4).

次に、制御部11は、確認対象として設定したカメラ番号(N)のカメラ101について現在の動作状態を確認する(ステップS5)。その際、制御部11は、確認対象のカメラ101に対して現在の動作状態を要求する状態要求信号を送信し、それに応答してカメラ101から送信される前述した識別コードを受信し、係る識別コードによって現在の動作状態を確認する。なお、上記識別コードは前述した動作状態の優先度を示す数値データである。しかる後、制御部11はカメラ番号(N)のカメラ101の動作状態に応じて以下の処理を実行する。   Next, the control unit 11 confirms the current operation state of the camera 101 with the camera number (N) set as the confirmation target (step S5). At that time, the control unit 11 transmits a state request signal requesting the current operation state to the camera 101 to be confirmed, receives the above-described identification code transmitted from the camera 101 in response thereto, and performs such identification. Check the current operating status by code. The identification code is numerical data indicating the priority of the operation state described above. Thereafter, the control unit 11 executes the following processing according to the operation state of the camera 101 with the camera number (N).

先ず、上記識別コードの値である動作状態の優先度が「1」又は「0」であって、現在の動作状態が「REC 画像変化無」又は「その他」である場合、制御部11はユーザーによる電源のオフ操作の有無を確認し、電源がオフ操作されていなければ(ステップS15:NO)、前述したステップS3の処理に戻る。つまりカメラ番号(N)のカメラ101の動作状態を示す画像として、それまで表示していた画像(初期表示処理で表示した画像を含む)を使用する。   First, when the priority of the operation state, which is the value of the identification code, is “1” or “0” and the current operation state is “REC Image No Change” or “Other”, the control unit 11 If the power supply is not turned off (step S15: NO), the process returns to step S3 described above. That is, as the image indicating the operation state of the camera 101 with the camera number (N), the image that has been displayed so far (including the image displayed in the initial display process) is used.

また、ステップS5の処理で確認した優先度が「2」であって、現在の動作状態が「REC 画像変化有」である場合、制御部11は、その時点で優先カメラを設定中であれば(ステップS7:YES)、先の場合と同様の処理によって、カメラ番号(N)のカメラ101の動作状態を示す画像として、それまで表示していた画像を使用する。   Further, when the priority confirmed in the process of step S5 is “2” and the current operation state is “REC image change present”, the control unit 11 is currently setting the priority camera. (Step S7: YES), the image displayed up to that point is used as the image indicating the operation state of the camera 101 with the camera number (N) by the same processing as the previous case.

逆に、優先カメラが設定中でなければ(ステップS7:NO)、制御部11は、カメラ番号(N)のカメラ101に対して表示画像を要求する状態要求信号を送信し(ステップS8)、その要求に応答してカメラ101から送信される画像を表示部13に表示させる(ステップS9)。つまりカメラ番号(N)のカメラ101の動作状態を示す画像を更新する。   Conversely, if the priority camera is not being set (step S7: NO), the control unit 11 transmits a state request signal for requesting a display image to the camera 101 with the camera number (N) (step S8). In response to the request, an image transmitted from the camera 101 is displayed on the display unit 13 (step S9). That is, the image indicating the operation state of the camera 101 with the camera number (N) is updated.

また、ステップS5の処理で確認した優先度が「4」又は「3」であって、動作状態が「REC 顔検出」又は「カメラ移動」である場合、制御部11は、カメラ番号(N)のカメラ101を前述した優先カメラに設定する(ステップS10)。   Further, when the priority confirmed in the process of step S5 is “4” or “3” and the operation state is “REC face detection” or “camera movement”, the control unit 11 determines the camera number (N). Camera 101 is set as the above-mentioned priority camera (step S10).

そして、制御部11は、カメラ番号(N)のカメラ101に対して表示画像を要求する状態要求信号を送信し(ステップS8)、その要求に応答してカメラ101から送信される画像を表示部13に表示させる(ステップS9)。つまりカメラ番号(N)のカメラ101の動作状態を示す画像を更新する。   Then, the control unit 11 transmits a state request signal for requesting a display image to the camera 101 with the camera number (N) (step S8), and displays an image transmitted from the camera 101 in response to the request. 13 is displayed (step S9). That is, the image indicating the operation state of the camera 101 with the camera number (N) is updated.

また、ステップS5の処理で確認した優先度が「5」であって、動作状態が「画像再生」である場合、制御部11は、カメラ番号(N)のカメラ101に対して表示画像を要求する状態要求信号を送信し、その要求に応答してカメラ101から送信される画像を表示部13に全画面表示させる(ステップS12)。   When the priority confirmed in the process of step S5 is “5” and the operation state is “image reproduction”, the control unit 11 requests a display image from the camera 101 with the camera number (N). A state request signal to be transmitted is transmitted, and an image transmitted from the camera 101 in response to the request is displayed on the display unit 13 in a full screen (step S12).

また、ステップS5の処理で確認した優先度が「6」であって、動作状態が「設定待ち」である場合、制御部11は、カメラ番号(N)のカメラ101に対してMENUデータを要求する状態要求信号を送信し、その要求に応答してカメラ101から送信されるMENUデータに基づくMENU画面のみを表示部13に表示させる(ステップS14)。   When the priority confirmed in the process of step S5 is “6” and the operation state is “waiting for setting”, the control unit 11 requests the MENU data from the camera 101 with the camera number (N). A state request signal to be transmitted is transmitted, and only the MENU screen based on the MENU data transmitted from the camera 101 in response to the request is displayed on the display unit 13 (step S14).

これにより、ユーザーに当該カメラ101における各種の基本設定を行わせる。このとき制御部11は、上述したステップS9,S12の処理における画像の表示処理とは異なり、MENU画面の表示をユーザーによる設定操作が行われている間は継続し、ユーザーによる設定操作の終了とともに終了する。なお、図示しないが、MENU画面の表示を終了する際には、ユーザーによる最終的な設定内容に関する設定情報をカメラ101へ送信することによってカメラ101に新たな設定内容を記憶させる。   This allows the user to make various basic settings on the camera 101. At this time, unlike the image display process in the processes of steps S9 and S12 described above, the control unit 11 continues displaying the MENU screen while the setting operation by the user is being performed, and with the end of the setting operation by the user. finish. Although not shown, when the display of the MENU screen is terminated, the setting information related to the final setting contents by the user is transmitted to the camera 101, whereby the new setting contents are stored in the camera 101.

上述したステップS9,S12,S14のいずれかの処理によってカメラ番号(N)のカメラ101の動作状態を示す画像を更新した後も、制御部11はユーザーによる電源のオフ操作の有無を確認し、電源がオフ操作されていなければ(ステップS15:NO)、前述したステップS3の処理に戻る。   Even after the image indicating the operation state of the camera 101 with the camera number (N) is updated by any one of the processes in steps S9, S12, and S14 described above, the control unit 11 confirms whether or not the user has turned off the power. If the power is not turned off (step S15: NO), the process returns to step S3 described above.

以後、制御部11は、動作状態の確認対象であったカメラ101のカメラ番号(N)がカメラ101の総数となるまで(ステップS3:NO)、カメラ番号(N)をインクリメントし(ステップS4)、つまり動作状態の確認対象のカメラ101を切り換えてステップS5以降の処理を繰り返し実行する。   Thereafter, the control unit 11 increments the camera number (N) until the camera number (N) of the camera 101 whose operation state has been confirmed reaches the total number of cameras 101 (step S3: NO) (step S4). That is, the camera 101 whose operation state is to be confirmed is switched, and the processes after step S5 are repeatedly executed.

そして、制御部11は、確認対象のカメラ101が一巡した後、つまり全てのカメラ101について動作状態を確認するとともに、各々の動作状態に応じて前述した処理を終了すると(ステップS3:YES)、カメラ番号(N)をいったん初期化する(ステップS2)。しかる後、制御部11は上述したステップS4以降の処理を繰り返し実行する。   Then, the control unit 11 makes a round of the cameras 101 to be confirmed, that is, confirms the operation state of all the cameras 101 and ends the above-described processing according to each operation state (step S3: YES). The camera number (N) is once initialized (step S2). Thereafter, the control unit 11 repeatedly executes the processes after step S4 described above.

その後も、制御部11は、ユーザーによって電源がオフ操作されるまで、前述したステップS2以降の処理を繰り返すとともに、電源がオフ操作された時点で(ステップS15:YES)、全ての処理を終了する。   After that, the control unit 11 repeats the processing from step S2 onward until the power is turned off by the user, and ends all processing when the power is turned off (step S15: YES). .

図7〜図9は、上述した処理中における操作装置1と各カメラ101との通信内容、及び表示部13における表示画面の更新内容の例を具体的に示した図である。   7 to 9 are diagrams specifically illustrating examples of communication contents between the controller device 1 and each camera 101 during the above-described processing and display screen update contents in the display unit 13.

すなわち図7はカメラ番号1〜カメラ番号3の各カメラ101の動作状態がそれぞれ優先度が「2」である「REC 画像変化有」である間の例であり、その間には各カメラ101から表示画像を順番に受信して、表示画面の対応する画像(撮影中の画像)を順番に更新する。   That is, FIG. 7 shows an example in which the operation state of each camera 101 with camera number 1 to camera number 3 is “REC image change present” with a priority “2”. The images are received in order, and the corresponding images (images being taken) on the display screen are updated in order.

また、図8は、上記の間にカメラ番号2のカメラ101の動作状態が、優先度が「4」又は「3」である「REC 顔検出」又は「カメラ移動」に変化したときの例であり、その場合には、カメラ番号2のカメラ101の画像(撮影中の画像)のみが優先的に更新される。そして、カメラ番号2のカメラ101の動作状態が変化するまで、それが繰り返される。   FIG. 8 shows an example when the operating state of the camera 101 with the camera number 2 changes to “REC face detection” or “camera movement” with the priority “4” or “3” during the above. In this case, only the image of the camera 101 with the camera number 2 (the image being captured) is preferentially updated. This is repeated until the operating state of the camera 101 with the camera number 2 changes.

また、図9は、いずれかの時点で、カメラ番号3のカメラ101の動作状態が、優先度が「5」である「画像再生」に変化し、その状態が継続している間に、カメラ番号3のカメラ101の動作状態が、優先度が「6」である「設定待ち」に変化したときの例である。この場には、カメラ番号3のカメラ101の画像(再生中の画像)のみが全画面表示され、それが継続している間に、カメラ番号2のカメラ101の動作状態が「設定待ち」に変化した時点で、カメラ番号2のカメラ101に関するMENU画面のみが直ちに表示部13に表示される。   Also, FIG. 9 shows that at any point in time, the operation state of the camera 101 with the camera number 3 changes to “image playback” with a priority of “5”, and the camera state continues. This is an example when the operating state of the camera 101 with the number 3 changes to “waiting for setting” with a priority “6”. In this case, only the image of the camera 101 with the camera number 3 (the image being played back) is displayed in full screen, and the operation state of the camera 101 with the camera number 2 changes to “waiting for setting” while continuing. At the time of the change, only the MENU screen relating to the camera 101 with the camera number 2 is immediately displayed on the display unit 13.

つまり上述した処理によって表示部13の表示画面が更新される際には、各カメラ101の画像のうちで、各々の動作状態に予め割り当てられている優先度を基準とする優先順位がより高い画像が優先的に表示部13に表示される。さらに、それらの画像に優先して各カメラ101のMENU画面が表示部13に表示される。   That is, when the display screen of the display unit 13 is updated by the above-described processing, among the images of each camera 101, an image having a higher priority order based on the priority assigned in advance to each operation state. Is preferentially displayed on the display unit 13. Further, the MENU screen of each camera 101 is displayed on the display unit 13 in preference to those images.

したがって、ユーザーが操作装置1によって複数台のカメラ101のいずれかを操作する場合には、任意のカメラ101を直接操作して設定モードにすれば、そのカメラ101のMENU画面のみを操作装置1に直ちに表示させることができる。係ることから、例えば操作装置1に接続されている複数台のカメラ101を順に(具体的な順番は任意)操作するような場合、カメラ101の台数が多くとも操作対象のカメラ101がどのカメラなのかが分かり難くなることがない。よって、複数台のカメラ101を1台の操作装置1で操作する場合におけるユーザーの使い勝手を向上させることができる。   Therefore, when the user operates one of the plurality of cameras 101 with the operation device 1, if the user directly operates any camera 101 to enter the setting mode, only the MENU screen of the camera 101 is displayed on the operation device 1. It can be displayed immediately. For this reason, for example, when a plurality of cameras 101 connected to the controller device 1 are operated in order (the specific order is arbitrary), which camera 101 is the operation target even if the number of cameras 101 is large. It will not be difficult to understand. Therefore, it is possible to improve the user-friendliness when operating a plurality of cameras 101 with a single controller 1.

なお、本実施形態においては、MENU画面の表示形態を1画面表示(全画面表示)としたが、表示形態はこれに限らず多画面表示とすることもできる。その場合であっても、カメラ101の台数が多くとも操作対象のカメラ101がどのカメラなのかが分かり難くなることがなく、複数台のカメラ101を1台の操作装置1で操作する場合におけるユーザーの使い勝手を向上させることができる。   In the present embodiment, the display mode of the MENU screen is a single screen display (full screen display). However, the display mode is not limited to this and can be a multi-screen display. Even in such a case, even if the number of cameras 101 is large, it is not difficult to know which camera 101 is the operation target camera, and the user in the case of operating a plurality of cameras 101 with one controller 1. Usability can be improved.

一方、本実施形態においては、各カメラ101の画像(MENU画面以外)については、動作状態の優先順位がより高いカメラ101の画像が優先的に表示部13に表示される。したがって、ユーザーがより必要とする画像や最も必要とする画像を優先的に表示部13に表示させることができる。   On the other hand, in the present embodiment, for the images of the respective cameras 101 (other than the MENU screen), the images of the cameras 101 having the higher priority of the operation state are preferentially displayed on the display unit 13. Therefore, it is possible to preferentially display an image that the user needs more or an image that is most necessary on the display unit 13.

また、動作状態が「REC 顔検出」又は「カメラ移動」のカメラ101の画像(撮影中の画像)の表示方法を優先更新として、動作状態が「REC 画像変化有」、「REC 画像変化無」、「その他」の画像に優先的に更新(表示)させる。これにより、複数台のカメラ101の画像を同時表示する場合には、優先度のより低い画像の表示更新能力を、優先度のより高い画像の表示更新能力に割り当てることで、画像通信量の割り振りを最適化することができる。   In addition, the display state of the image of the camera 101 (image being captured) whose operation state is “REC face detection” or “camera movement” is preferentially updated, and the operation state is “REC image change present”, “REC image change no”. , Update (display) the “other” image with priority. As a result, when simultaneously displaying images from a plurality of cameras 101, allocation of image traffic is performed by allocating display update capability of lower priority images to display update capability of higher priority images. Can be optimized.

なお、本実施形態では、動作状態が「画像再生」のカメラ101の画像(再生中の画像)を1画面表示(全画面表示)としたが、係る画像については、例えばその表示形態を多画面表示とするとともに、同時に表示する他の画像よりも大きなサイズで表示部13に表示するようにしてもよい。その場合であってもユーザーがより必要とする画像や最も必要とする画像を優先的に表示部13に表示させることができる。   Note that in this embodiment, the image of the camera 101 whose operation state is “image playback” (the image being played back) is displayed on a single screen (full screen display). While displaying, you may make it display on the display part 13 by a larger size than the other image displayed simultaneously. Even in this case, the image that the user needs more or the image that is most necessary can be preferentially displayed on the display unit 13.

また、本実施形態では、表示形態を多画面表示とする場合に、全てのカメラ101の画像のすべてを表示部13に表示させる場合について説明したが、一度に表示する画像の数を一定数とし、動作状態の相対的な優先順位がより高い一定数の画像のみを選択的に表示部13に表示させるようにしてもよい。   Further, in the present embodiment, a case has been described in which all the images of all the cameras 101 are displayed on the display unit 13 when the display form is a multi-screen display. However, the number of images to be displayed at a time is a fixed number. Alternatively, only a certain number of images having higher relative priorities of operation states may be selectively displayed on the display unit 13.

また、本実施形態では、各カメラ101がMENU画面や、撮影中の画像、再生画像を表示する表示手段を有していないものについて説明したが、各カメラ101は表示手段を有する構成であっても構わない。   In the present embodiment, each camera 101 has been described as having no MENU screen, no display means for displaying an image being captured, and a reproduced image. However, each camera 101 has a display means. It doesn't matter.

また、本実施形態においては、複数台のカメラ101,101,101を操作対象とする操作装置1に対説明したが、本発明は、カメラ以外の他の電子機器を操作対象とする操作装置にも適用することができる。   Further, in the present embodiment, the description has been given with respect to the operation device 1 having a plurality of cameras 101, 101, 101 as an operation target. However, the present invention is an operation device having an electronic device other than the camera as an operation target. Can also be applied.

また、本実施形態においては、操作装置で電子機器を遠隔操作する場合における表示動作を伴う連携動作の優先順位を制御したが、特に表示動作を伴わない連携動作(例えば、操作装置の操作情報を電子機器に送信する連携動作や、操作装置と電子機器との間でのデータ転送を行う連携動作)の優先順位を制御するようにしてもよい。   In the present embodiment, the priority order of the cooperative operation accompanied by the display operation when the electronic device is remotely operated by the operation device is controlled. However, the cooperative operation not particularly accompanied by the display operation (for example, the operation information of the operation device is displayed). You may make it control the priority of the cooperation operation | movement transmitted to an electronic device, and the cooperation operation | movement which transfers data between an operating device and an electronic device.

また、本実施形態においては、ユーザーの操作に起因して変化する動作状態として、動作モードの変化などの継続的に変化状態が維持される動作状態を対象としたが、これに限らず、例えば、ユーザーの操作に起因してユーザーの操作情報を送信するような、一時的な(瞬間的な)状態変化を対象としてもよい。   In the present embodiment, the operation state that changes due to the user's operation is targeted for the operation state in which the change state is continuously maintained such as the change of the operation mode. A temporary (instantaneous) state change in which user operation information is transmitted due to a user operation may be targeted.

以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
[請求項1]
複数の電子機器の遠隔操作を含む電子機器と連携した連係動作に使用される操作装置において、
前記複数の電子機器の動作状態であって、前記電子機器におけるユーザーの操作に起因して変化する予め決められた第1の動作状態を含む複数の動作状態に係る連携動作を制御する制御手段と、
前記複数の動作状態のうちで前記第1の動作状態に係る連携動作を、それ以外の第2の動作状態に係る連携動作に優先して前記制御手段に制御させる優先制御手段と、
を備えたことを特徴とする操作装置。
[請求項2]
前記連携動作は、ユーザーによる当該操作装置の操作に応じて前記電子機器を制御する遠隔操作の動作である
ことを特徴とする請求項1記載の操作装置。
[請求項3]
前記連携動作は、前記第1の動作状態を含む複数の動作状態を示す動作情報の表示を伴う遠隔操作の動作であり、
前記優先制御手段は、前記連携動作に際し、前記複数の動作状態のうちで前記第1の動作状態を示す動作情報を、それ以外の第2の動作状態を示す動作情報に優先して表示させる制御を前記制御手段に行わせる
ことを特徴とする請求項2記載の操作装置。
[請求項4]
前記動作情報を表示する表示手段を備え、
前記優先制御手段は、前記複数の電子機器のうちで、動作状態毎に予め割り当てられている優先度を基準とする優先順位が最先の電子機器に関する前記動作情報を前記表示手段に選択的に表示させる制御を前記制御手段に行わせる
ことを特徴とする請求項3記載の操作装置。
[請求項5]
前記動作情報を表示する表示手段を備え、
前記優先制御手段は、前記複数の電子機器における前記第2の動作状態に関する前記動作情報を、動作状態毎に予め割り当てられている優先度を基準とする優先順位に応じた異なる大きさで前記表示手段に表示させる制御を前記制御手段に行わせる
ことを特徴とする請求項3記載の操作装置。
[請求項6]
前記動作情報を表示する表示手段を備え、
前記優先制御手段は、前記複数の電子機器の全てにおける前記第2の動作状態に関する前記動作情報を前記表示手段に一覧表示させるとともに、前記動作情報を、動作状態毎に予め割り当てられている優先度を基準とする優先順位に応じた異なる頻度で更新させる制御を前記制御手段に行わせる
ことを特徴とする請求項3記載の操作装置。
[請求項7]
前記複数の電子機器から転送されるとともに前記複数の動作状態に応じた種類の転送データを受信する受信手段を更に備え、
前記優先制御手段は、前記電子機器に関する前記動作情報として、前記受信手段により受信された転送データに基づく動作情報を表示手段に表示させる制御を前記制御手段に行わせる
ことを特徴とする請求項3乃至6のいずれか1項に記載の操作装置。
[請求項8]
前記第1の動作状態には異なる複数の動作状態が含まれることを特徴とする請求項1乃至7のいずれか1項に記載の操作装置。
[請求項9]
前記第2の動作状態には異なる複数の動作状態が含まれるとともに、前記第1の動作状態及び第2の動作状態には動作状態毎に異なる優先度が予め割り当てられ、かつ前記第1の動作状態には前記第2の動作状態よりも高い優先度が予め割り当てられ、
前記優先制御手段は、前記優先度を基準とする優先順位に従い前記複数の電子機器の1又は複数に係る連携動作を前記制御手段に制御させる
ことを特徴とする請求項1乃至8のいずれか1項に記載の操作装置。
[請求項10]
前記複数の電子機器から各々の動作状態を示す識別情報を受信する受信手段を備え、
前記優先制御手段は、前記受信手段により受信された識別情報に基づいて前記複数の電子機器の各々の動作状態を確認することにより前記優先順位を決定する
ことを特徴とする請求項9記載の操作装置。
[請求項11]
前記受信手段により受信された識別情報に基づいて決定した前記優先順位に従い、前記受信手段における前記複数の電子機器からの転送データの受信動作の有無を制御する受信制御手段を更に備えたことを特徴とする請求項10記載の操作装置。
[請求項12]
前記受信制御手段は、前記受信手段に、受信対象を順に切り換えて前記複数の電子機器から前記識別情報を受信させることを特徴とする請求項11記載の操作装置。
[請求項13]
前記電子機器はカメラ装置であり、
前記制御手段は、複数の前記カメラ装置の動作状態であって、前記カメラ装置におけるユーザーの操作に起因して変化する予め決められた第1の動作状態を含む複数の動作状態に係る連携動作を制御する
ことを特徴とする請求項1乃至12のいずれか1項に記載の操作装置。
[請求項14]
前記電子機器はカメラ装置であり、
前記カメラ装置における前記第2の動作状態を示す動作情報は前記カメラ装置により撮影された画像である
ことを特徴とする請求項3乃至7のいずれか1項に記載の操作装置。
[請求項15]
複数の電子機器の遠隔操作を含む電子機器と連携した連係動作に使用される操作装置において、
前記複数の電子機器の動作状態であって、前記電子機器におけるユーザーの操作に起因して変化する予め決められた第1の動作状態を含む複数の動作状態に係る連携動作を制御する制御処理と、
前記制御処理に際し、前記複数の動作状態のうちで前記第1の動作状態に係る連携動作を、それ以外の第2の動作状態に係る連携動作に優先させる優先制御処理と、
を含むことを特徴とする電子機器の操作方法。
[請求項16]
複数の電子機器の遠隔操作を含む電子機器と連携した連係動作に使用される操作装置が有するコンピュータに、
前記複数の電子機器の動作状態であって、前記電子機器におけるユーザーの操作に起因して変化する予め決められた第1の動作状態を含む複数の動作状態に係る連携動作を制御する制御機能と、
前記制御機能による制御に際し、前記複数の動作状態のうちで前記第1の動作状態に係る連携動作を、それ以外の第2の動作状態に係る連携動作に優先して制御させる優先制御機能と、
を含むことを実現させることを特徴とするプログラム。
[請求項17]
複数の電子機器と、それらの遠隔操作を含む電子機器と連携した連係動作に使用される操作装置とを含む操作システムであって、
前記複数の電子機器は、各々の動作状態を示す識別情報を前記操作装置へ送信する送信手段を備え、
前記操作装置は、
前記複数の電子機器から各々の動作状態を示す識別情報を受信する受信手段と、
前記受信手段により受信された識別情報に基づいて前記複数の電子機器の各々の動作状態を確認するとともに、前記複数の電子機器の動作状態であって、前記電子機器におけるユーザーの操作に起因して変化する予め決められた第1の動作状態を含む複数の動作状態に係る連携動作を制御する制御手段と、
前記複数の動作状態のうちで前記第1の動作状態に係る連携動作を、それ以外の第2の動作状態に係る連携動作に優先して前記制御手段に制御させる優先制御手段と、
を備えたことを特徴とする操作システム。
As mentioned above, although embodiment of this invention and its modification were demonstrated, as long as these are in the range with which the effect of this invention is obtained, it can change suitably, and embodiment after change is also in a claim. It is included in the scope of the invention described and equivalent invention. The invention described in the scope of the claims of the present application will be appended below.
[Claim 1]
In an operating device used for linked operation in cooperation with an electronic device including remote control of a plurality of electronic devices,
Control means for controlling cooperative operations related to a plurality of operation states including a predetermined first operation state that is an operation state of the plurality of electronic devices and changes due to a user operation in the electronic device; ,
A priority control unit that controls the control unit to control the cooperative operation related to the first operational state among the plurality of operational states in preference to the cooperative operation related to the second operational state;
An operating device comprising:
[Claim 2]
The operation device according to claim 1, wherein the cooperative operation is a remote operation that controls the electronic device in accordance with an operation of the operation device by a user.
[Claim 3]
The cooperative operation is a remote operation operation accompanied by display of operation information indicating a plurality of operation states including the first operation state,
The priority control means is a control for displaying the operation information indicating the first operation state among the plurality of operation states in preference to the operation information indicating the other second operation state during the cooperative operation. The operating device according to claim 2, wherein the control unit performs the following.
[Claim 4]
Display means for displaying the operation information;
The priority control unit selectively selects, from the plurality of electronic devices, the operation information regarding the electronic device having the earliest priority based on a priority assigned in advance for each operation state. The operating device according to claim 3, wherein the control unit is configured to perform display control.
[Claim 5]
Display means for displaying the operation information;
The priority control means displays the operation information related to the second operation state in the plurality of electronic devices in different sizes according to priorities based on priorities assigned in advance for each operation state. The operating device according to claim 3, wherein the control unit causes the control unit to perform display.
[Claim 6]
Display means for displaying the operation information;
The priority control means causes the display means to display a list of the operation information related to the second operation state in all of the plurality of electronic devices, and the priority assigned in advance for each operation state. The operation device according to claim 3, wherein the control unit performs control to update at a different frequency in accordance with a priority order based on.
[Claim 7]
Receiving means for receiving transfer data of a type according to the plurality of operating states while being transferred from the plurality of electronic devices;
The said priority control means makes the said control means perform control which displays the operation information based on the transfer data received by the said reception means on the display means as the said operation information regarding the said electronic device. The operating device according to any one of 1 to 6.
[Claim 8]
The operating device according to claim 1, wherein the first operation state includes a plurality of different operation states.
[Claim 9]
The second operation state includes a plurality of different operation states, and different priorities are assigned to the first operation state and the second operation state for each operation state, and the first operation state The state is pre-assigned a higher priority than the second operating state,
The said priority control means makes the said control means control the cooperation operation | movement which concerns on 1 or several of these electronic devices according to the priority order on the basis of the said priority, The any one of Claim 1 thru | or 8 characterized by the above-mentioned. The operating device according to item.
[Claim 10]
Receiving means for receiving identification information indicating each operation state from the plurality of electronic devices;
The operation according to claim 9, wherein the priority control unit determines the priority by confirming operation states of each of the plurality of electronic devices based on identification information received by the reception unit. apparatus.
[Claim 11]
According to the priority determined based on the identification information received by the receiving means, the receiving means further comprises a reception control means for controlling presence / absence of a transfer data receiving operation from the plurality of electronic devices. The operating device according to claim 10.
[Claim 12]
12. The operating device according to claim 11, wherein the reception control unit causes the reception unit to switch the reception target in order and receive the identification information from the plurality of electronic devices.
[Claim 13]
The electronic device is a camera device;
The control unit is configured to perform cooperative operations related to a plurality of operation states including a predetermined first operation state that is an operation state of the plurality of camera devices and changes due to a user operation on the camera device. It controls. The operating device of any one of Claim 1 thru | or 12 characterized by the above-mentioned.
[Claim 14]
The electronic device is a camera device;
The operation device according to claim 3, wherein the operation information indicating the second operation state of the camera device is an image captured by the camera device.
[Claim 15]
In an operating device used for linked operation in cooperation with an electronic device including remote control of a plurality of electronic devices,
A control process for controlling cooperative operations related to a plurality of operation states including a predetermined first operation state that is an operation state of the plurality of electronic devices and changes due to a user operation in the electronic device; ,
In the control process, a priority control process that prioritizes the cooperative operation according to the first operational state among the plurality of operational states over the cooperative operation according to the other second operational state;
A method of operating an electronic device, comprising:
[Claim 16]
In a computer having an operation device used for linked operation in cooperation with an electronic device including remote operation of a plurality of electronic devices,
A control function for controlling a cooperative operation related to a plurality of operation states including a predetermined first operation state which is an operation state of the plurality of electronic devices and changes due to a user operation in the electronic device; ,
A priority control function for controlling the cooperative operation related to the first operational state among the plurality of operational states in preference to the cooperative operation related to the other second operational state in the control by the control function;
A program characterized by realizing that it is included.
[Claim 17]
An operation system including a plurality of electronic devices and an operation device used for linkage operation in cooperation with an electronic device including remote control thereof,
The plurality of electronic devices include transmission means for transmitting identification information indicating each operation state to the operation device,
The operating device is:
Receiving means for receiving identification information indicating each operation state from the plurality of electronic devices;
Based on the identification information received by the receiving means, the operation state of each of the plurality of electronic devices is confirmed, and the operation state of the plurality of electronic devices is caused by a user operation on the electronic device. Control means for controlling cooperative operations related to a plurality of operation states including a predetermined first operation state that changes;
A priority control unit that controls the control unit to control the cooperative operation related to the first operational state among the plurality of operational states in preference to the cooperative operation related to the second operational state;
An operation system characterized by comprising:

1 操作装置
11 制御部
12 無線通信部
13 表示部
14 記憶部
15 操作部
101 カメラ
101 撮影装置
111 制御部
112 撮像部
113 記憶部
114 振動検出部
115 無線通信部
116 操作部
DESCRIPTION OF SYMBOLS 1 Operation apparatus 11 Control part 12 Wireless communication part 13 Display part 14 Storage part 15 Operation part 101 Camera 101 Image pick-up device 111 Control part 112 Imaging part 113 Storage part 114 Vibration detection part 115 Wireless communication part 116 Operation part

Claims (15)

複数の電子機器と連携した操作装置において、
表示手段と、
前記複数の電子機器各々の複数の動作状態を示す動作情報を前記表示手段に表示させる遠隔操作の動作を制御する制御手段と、
前記複数の動作状態のうちで、前記電子機器におけるユーザーの操作に起因して変化する予め決められた第1の動作状態に対応する第1の動作を、当該第1の動作状態とは異なる第2の動作状態に対応し、当該第1の動作とは種類の異なる第2の動作より優先することで、前記動作に際し、前記第1の動作状態を示す動作情報を、前記第2の動作状態を示す動作情報に優先して、前記表示手段に表示させる制御を前記制御手段に行わせる優先制御手段と、
を備えたことを特徴とする操作装置。
In an operating device linked to multiple electronic devices,
Display means;
Control means for controlling operation of remote operation for causing the display means to display operation information indicating a plurality of operation states of each of the plurality of electronic devices;
Among the plurality of operation states, a first operation corresponding to a predetermined first operation state that changes due to a user operation in the electronic device is different from the first operation state. Corresponding to the second operation state and prioritizing the second operation different from the first operation, the operation information indicating the first operation state at the time of the operation is displayed as the second operation state. Priority control means for causing the control means to perform control to display on the display means in preference to the operation information indicating :
An operating device comprising:
前記優先制御手段は、前記複数の電子機器のうちで、動作状態毎に予め割り当てられている優先度に基づいて前記動作情報を前記表示手段に選択的に表示させる制御を前記制御手段に行わせる
ことを特徴とする請求項記載の操作装置。
The priority control unit causes the control unit to perform control to selectively display the operation information on the display unit based on a priority assigned in advance for each operation state among the plurality of electronic devices. The operating device according to claim 1 .
前記優先制御手段は、前記複数の電子機器における前記第2の動作状態に関する前記動作情報を、動作状態毎に予め割り当てられている優先度に基づいて前記表示手段に異なる大きさで表示させる制御を前記制御手段に行わせる
ことを特徴とする請求項記載の操作装置。
The priority control means controls the display means to display the operation information related to the second operation state in the plurality of electronic devices in different sizes on the basis of a priority assigned in advance for each operation state. operation device according to claim 1, characterized in that to perform said control means.
前記優先制御手段は、前記複数の電子機器における前記第2の動作状態に関する前記動作情報を前記表示手段に一覧表示させるとともに、前記動作情報を、動作状態毎に予め割り当てられている優先度に基づいて選択的に更新させる制御を前記制御手段に行わせる
ことを特徴とする請求項記載の操作装置。
The priority control means causes the display means to display a list of the operation information related to the second operation state in the plurality of electronic devices, and the operation information is based on a priority assigned in advance for each operation state. operation device according to claim 1, characterized in that to perform said control means controls to selectively updating Te.
前記複数の電子機器から転送される転送データを受信する受信手段を更に備え、
前記優先制御手段は、前記電子機器に関する前記動作情報として、前記受信手段により受信された転送データに基づく動作情報を前記表示手段に表示させる制御を前記制御手段に行わせる
ことを特徴とする請求項乃至のいずれか1項に記載の操作装置。
A receiving means for receiving transfer data transferred from the plurality of electronic devices;
The said priority control means makes the said control means perform control which displays the operation information based on the transfer data received by the said receiving means on the said display means as the said operation information regarding the said electronic device. operating device according to any one of 1 to 4.
前記第1の動作状態には異なる複数の動作状態が含まれることを特徴とする請求項1乃至のいずれか1項に記載の操作装置。 Operating device according to any one of claims 1 to 5, characterized in that includes a plurality of different operating conditions in the first operating state. 前記第2の動作状態には異なる複数の動作状態が含まれるとともに、前記第1の動作状態及び第2の動作状態には動作状態毎に異なる優先度が予め割り当てられ、かつ前記第1の動作状態には前記第2の動作状態よりも高い優先度が予め割り当てられ、
前記優先制御手段は、前記優先度に基づいて前記複数の電子機器の1又は複数に係る動作を前記制御手段に制御させる
ことを特徴とする請求項1乃至のいずれか1項に記載の操作装置。
The second operation state includes a plurality of different operation states, and different priorities are assigned to the first operation state and the second operation state for each operation state, and the first operation state The state is pre-assigned a higher priority than the second operating state,
Said priority control means, operation of any one of claims 1 to 6, characterized in that the control of the said control means operating according to one or more of said plurality of electronic equipment based on said priority apparatus.
前記複数の電子機器から各々の動作状態を示す識別情報を受信する受信手段を備え、
前記優先制御手段は、前記受信手段により受信された識別情報に基づいて前記優先度を確認する
ことを特徴とする請求項記載の操作装置。
Receiving means for receiving identification information indicating each operation state from the plurality of electronic devices;
The operation device according to claim 7 , wherein the priority control unit confirms the priority based on identification information received by the receiving unit.
前記受信手段により受信された識別情報に基づいた前記優先度に従い、前記受信手段における前記複数の電子機器からの転送データの受信動作の有無を制御する受信制御手段を更に備えたことを特徴とする請求項記載の操作装置。 In accordance with the priority based on the identification information received by the receiving means, the receiving means further comprises reception control means for controlling presence / absence of receiving operation of transfer data from the plurality of electronic devices. The operating device according to claim 8 . 前記受信制御手段は、前記受信手段に、受信対象を順に切り換えて前記複数の電子機器から前記識別情報を受信させることを特徴とする請求項記載の操作装置。 The operation device according to claim 9 , wherein the reception control unit causes the reception unit to sequentially switch reception targets and receive the identification information from the plurality of electronic devices. 前記電子機器はカメラ装置であり、
前記制御手段は、複数の前記カメラ装置の複数の動作状態に対応する動作を制御する
ことを特徴とする請求項1乃至10のいずれか1項に記載の操作装置。
The electronic device is a camera device;
The operation device according to any one of claims 1 to 10 , wherein the control unit controls operations corresponding to a plurality of operation states of the plurality of camera devices.
前記電子機器はカメラ装置であり、
前記カメラ装置における前記第2の動作状態を示す動作情報は前記カメラ装置により撮影された画像である
ことを特徴とする請求項乃至のいずれか1項に記載の操作装置。
The electronic device is a camera device;
Operating device according to any one of claims 1 to 5 operation information indicating the second operating state in the camera system is characterized in that an image captured by the camera device.
複数の電子機器と連携し、表示部を有する操作装置において、
前記複数の電子機器各々の複数の動作状態を示す動作情報を前記表示部に表示させる遠隔操作の動作を制御する制御処理と、
前記制御処理に際し、前記複数の動作状態のうちで、前記電子機器におけるユーザーの操作に起因して変化する予め決められた第1の動作状態に対応する第1の動作を、当該第1の動作状態とは異なる第2の動作状態に対応し、当該第1の動作とは種類の異なる第2の動作より優先することで、前記動作に際し、前記第1の動作状態を示す動作情報を、前記第2の動作状態を示す動作情報に優先して、前記表示部に表示させる制御を前記制御処理に行わせる優先制御処理と、
を含むことを特徴とする電子機器の操作方法。
In an operating device having a display unit in cooperation with a plurality of electronic devices,
A control process for controlling the operation of remote operation to display operation information indicating a plurality of operation states of each of the plurality of electronic devices on the display unit ;
During the control process, a first operation corresponding to a predetermined first operation state that changes due to a user operation in the electronic device is selected from the plurality of operation states. Corresponding to a second operation state different from the state and prioritizing a second operation different from the first operation, the operation information indicating the first operation state in the operation, Prioritizing operation information indicating the second operation state, priority control processing for causing the control processing to perform control to be displayed on the display unit ;
A method of operating an electronic device, comprising:
複数の電子機器と連携した操作装置が有するコンピュータに、
表示機能と、
前記複数の電子機器各々の複数の動作状態を示す動作情報を前記表示機能に表示させる遠隔操作の動作を制御する制御機能と、
前記制御機能による制御に際し、前記複数の動作状態のうちで、前記電子機器におけるユーザーの操作に起因して変化する予め決められた第1の動作状態に対応する第1の動作を、当該第1の動作状態とは異なる第2の動作状態に対応し、当該第1の動作とは種類の異なる第2の動作より優先することで、前記動作に際し、前記第1の動作状態を示す動作情報を、前記第2の動作状態を示す動作情報に優先して、前記表示機能に表示させる制御を前記制御機能に行わせる優先制御機能と、
を含むことを実現させることを特徴とするプログラム。
In a computer that has an operation device linked with a plurality of electronic devices,
Display function,
A control function for controlling an operation of remote operation for causing the display function to display operation information indicating a plurality of operation states of each of the plurality of electronic devices;
During the control by the control function, a first operation corresponding to a predetermined first operation state that changes due to a user operation in the electronic device among the plurality of operation states is set as the first operation. Corresponding to the second operation state different from the operation state of the first operation, and giving priority to the second operation different from the first operation, the operation information indicating the first operation state is obtained in the operation. A priority control function that causes the control function to perform control to display on the display function in preference to the operation information indicating the second operation state ;
A program characterized by realizing that it is included.
複数の電子機器と、当該複数の電子機器と連携した操作装置とを含む操作システムであって、
前記複数の電子機器は、各々の動作状態を示す識別情報を前記操作装置へ送信する送信手段を備え、
前記操作装置は、
表示手段と、
前記複数の電子機器から各々の動作状態を示す識別情報を受信する受信手段と、
前記受信手段により受信された識別情報に基づいて前記複数の電子機器の各々の動作状態を確認するとともに、前記複数の電子機器各々の複数の動作状態を示す動作情報を前記表示手段に表示させる遠隔操作の動作を制御する制御手段と、
前記複数の動作状態のうちで、前記電子機器におけるユーザーの操作に起因して変化する予め決められた第1の動作状態に対応する第1の動作を、当該第1の動作状態とは異なる第2の動作状態に対応し、当該第1の動作とは種類の異なる第2の動作より優先することで、前記動作に際し、前記第1の動作状態を示す動作情報を、前記第2の動作状態を示す動作情報に優先して、前記表示手段に表示させる制御を前記制御手段に行わせる優先制御手段と、
を備えたことを特徴とする操作システム。
An operation system including a plurality of electronic devices and an operation device linked with the plurality of electronic devices,
The plurality of electronic devices include transmission means for transmitting identification information indicating each operation state to the operation device,
The operating device is:
Display means;
Receiving means for receiving identification information indicating each operation state from the plurality of electronic devices;
A remote for confirming the operating state of each of the plurality of electronic devices based on the identification information received by the receiving unit and displaying the operation information indicating the plurality of operating states of each of the plurality of electronic devices on the display unit. Control means for controlling the operation of the operation;
Among the plurality of operation states, a first operation corresponding to a predetermined first operation state that changes due to a user operation in the electronic device is different from the first operation state. Corresponding to the second operation state and prioritizing the second operation different from the first operation, the operation information indicating the first operation state at the time of the operation is displayed as the second operation state. Priority control means for causing the control means to perform control to display on the display means in preference to the operation information indicating :
An operation system characterized by comprising:
JP2015060202A 2015-03-23 2015-03-23 Operating device, operating method and program, operating system Expired - Fee Related JP6569261B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015060202A JP6569261B2 (en) 2015-03-23 2015-03-23 Operating device, operating method and program, operating system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015060202A JP6569261B2 (en) 2015-03-23 2015-03-23 Operating device, operating method and program, operating system

Publications (3)

Publication Number Publication Date
JP2016181772A JP2016181772A (en) 2016-10-13
JP2016181772A5 JP2016181772A5 (en) 2018-05-17
JP6569261B2 true JP6569261B2 (en) 2019-09-04

Family

ID=57131934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015060202A Expired - Fee Related JP6569261B2 (en) 2015-03-23 2015-03-23 Operating device, operating method and program, operating system

Country Status (1)

Country Link
JP (1) JP6569261B2 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002189167A (en) * 2000-12-20 2002-07-05 Fuji Photo Film Co Ltd Zoom control method and photographing device with zoom
JP2003060973A (en) * 2001-08-21 2003-02-28 Mitsubishi Heavy Ind Ltd Transmitter for guiding supervisory camera, the supervisory camera and supervisory system
JP2004128646A (en) * 2002-09-30 2004-04-22 Canon Inc Monitoring systems and controllers
JP2005236973A (en) * 2004-01-22 2005-09-02 Hitachi Kokusai Electric Inc Video distribution device
JP2006038905A (en) * 2004-07-22 2006-02-09 Matsushita Electric Ind Co Ltd Information terminal and program thereof
JP4645956B2 (en) * 2006-03-24 2011-03-09 富士フイルム株式会社 Video distribution remote control device, video distribution system, and video distribution method
JP5155279B2 (en) * 2009-10-29 2013-03-06 株式会社日立製作所 Centralized monitoring system and centralized monitoring method using multiple surveillance cameras

Also Published As

Publication number Publication date
JP2016181772A (en) 2016-10-13

Similar Documents

Publication Publication Date Title
US10331018B2 (en) Interchangeable lens, camera system,communication method, and program
JP4890880B2 (en) Image transmitting apparatus, image transmitting method, program, and storage medium
US9635235B2 (en) Communication apparatus and control method thereof
CN104539849A (en) Image pickup apparatus and its control method
JP6614943B2 (en) Imaging control apparatus and control method thereof
CN107682620B (en) Image pickup apparatus, image pickup mode control method, and recording medium
US20200336665A1 (en) Display control apparatus, control method, and storage medium
JP2016187129A (en) Imaging apparatus, control method thereof, and program
US11399132B2 (en) Electronic apparatus, image capture apparatus, method for controlling the same, and storage medium
JP6569261B2 (en) Operating device, operating method and program, operating system
CN105939459B (en) Display device, image display method and recording medium
JP2013132139A (en) Electronic apparatus, imaging apparatus, and control program of electronic apparatus
JP4244539B2 (en) Camera remote control method and camera system
JP4652248B2 (en) Imaging system, imaging control method, and imaging apparatus
JP2001111884A (en) Electronic camera with wireless communication means
JP2017139714A (en) Electronic device and control method thereof
JP2004334582A (en) Information processing apparatus and method, and program
US11039292B2 (en) Image acquisition device capable of acquiring images regardless of communication state, image acquisition method, recording medium, image acquisition system, imaging device, and imaging
JP2017195513A (en) Imaging apparatus and control method thereof
JP7630966B2 (en) Imaging device, control method thereof, and program
JP6478615B2 (en) COMMUNICATION DEVICE, ITS CONTROL METHOD, AND PROGRAM
JP2013005693A (en) Electronic apparatus, battery charger, control program of electronic apparatus, and control program of battery charger
JP6270454B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP5904452B2 (en) Imaging apparatus, imaging processing system, imaging processing method, and program
US20260025765A1 (en) Imaging apparatus, power control method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190722

R150 Certificate of patent or registration of utility model

Ref document number: 6569261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees