Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5312062B2 - Image supply apparatus, display system, and image supply method - Google Patents
[go: Go Back, main page]

JP5312062B2 - Image supply apparatus, display system, and image supply method - Google Patents

Image supply apparatus, display system, and image supply method Download PDF

Info

Publication number
JP5312062B2
JP5312062B2 JP2009013352A JP2009013352A JP5312062B2 JP 5312062 B2 JP5312062 B2 JP 5312062B2 JP 2009013352 A JP2009013352 A JP 2009013352A JP 2009013352 A JP2009013352 A JP 2009013352A JP 5312062 B2 JP5312062 B2 JP 5312062B2
Authority
JP
Japan
Prior art keywords
image
identification information
output request
display
request information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009013352A
Other languages
Japanese (ja)
Other versions
JP2010171809A (en
JP2010171809A5 (en
Inventor
基弘 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009013352A priority Critical patent/JP5312062B2/en
Publication of JP2010171809A publication Critical patent/JP2010171809A/en
Publication of JP2010171809A5 publication Critical patent/JP2010171809A5/en
Application granted granted Critical
Publication of JP5312062B2 publication Critical patent/JP5312062B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To display on a display device an image being displayed on an image supply apparatus. <P>SOLUTION: The image supply apparatus includes an image display section for displaying an image and is communicable with a display device. The image supply apparatus includes: an identification information imparting means for imparting different identification information for each display image being displayed on the image display section; an output request information generating means for generating output request information by setting the identification information imparted by the identification information imparting means; and an output request information transmitting means for transmitting to the display device the output request information generated by the output request information generating means. <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は、画像供給装置から受信した画像データを表示装置に表示する表示システム、その表示システムに用いられて好適な画像供給装置及び画像供給方法関するものである。 The present invention relates to a display system for displaying image data received from the image supply device to the display device, it relates to a preferred image supply device and the image supply method used in the display system.

近年、デジタルスチルカメラ(以下、カメラという)からPCを介さず、フォトダイレクトプリンタ(以下、PDプリンタという)に直接、デジタル静止画像を送信してプリントするダイレクトプリントシステムが知られている。(特許文献1参照)。また、既に製品化されているダイレクトプリントシステムでは、ピクトブリッジ(PictBridge)と呼ばれる規格が用いられている。   2. Description of the Related Art In recent years, a direct print system is known in which a digital still image is directly transmitted from a digital still camera (hereinafter referred to as a camera) to a photo direct printer (hereinafter referred to as a PD printer) without using a PC. (See Patent Document 1). In addition, a standard called PictBridge is used in a direct print system that has already been commercialized.

特開2004−015234号公報JP 2004-015234 A

上述したようにピクトブリッジを用いたダイレクトプリントシステムについての技術は、数多く提案されているものの、カメラのLCD画面に表示されたレイアウトの画像(以下、LCDレイアウト画像)をダイレクトで出力させる方法は提案されていない。すなわち、ユーザは、LCDレイアウト画像をプロジェクタ等の表示装置を用いて、大きなスクリーンで見たいと考える場合があるが、その要望に沿うような技術が提案されていない。
また、上述したような要望を解決する場合、LCDレイアウト画像をダイレクトで表示装置に送信するようなシステムの構成が想定される。この場合、ユーザがカメラの操作を行うごとにLCDレイアウト画像を送信する必要があることから、表示装置においてLCDレイアウト画像を出力するまでに多くの時間を要してしまうと考えられる。
As described above, many techniques have been proposed for the direct print system using the PictBridge, but a method for directly outputting a layout image (hereinafter, LCD layout image) displayed on the LCD screen of the camera is proposed. It has not been. That is, the user may want to view the LCD layout image on a large screen using a display device such as a projector, but a technique that meets the demand has not been proposed.
In order to solve the above-described demand, a system configuration in which an LCD layout image is directly transmitted to a display device is assumed. In this case, since it is necessary to transmit the LCD layout image every time the user operates the camera, it is considered that it takes a long time to output the LCD layout image on the display device.

本発明は、上述したような問題点に鑑みてなされたものであり、画像供給装置に表示されている画像を表示装置により表示させることを目的とする。このとき、表示装置により画像を表示するまでの処理時間を短縮させる。   SUMMARY An advantage of some aspects of the invention is that an image displayed on an image supply device is displayed on a display device. At this time, the processing time until an image is displayed by the display device is shortened.

本発明は、画像を表示する画像表示部を具備し、表示装置との間で通信可能な画像供給装置であって、当該画像表示部の表示状態に対応した画像データを生成する生成手段と、前記画像表示部に表示されている状態が異なるごとに、当該画像表示部の表示状態に対応して前記生成手段で生成された前記画像データに対してそれぞれ異なる識別情報を付与する識別情報付与手段と、出力対象の画像を指定する情報として、前記識別情報付与手段により付与された識別情報を記述した出力要求情報を生成する出力要求情報生成手段と、前記出力要求情報生成手段により生成された出力要求情報を前記表示装置に送信する出力要求情報送信手段とを有することを特徴とする。
また、本発明は、画像を表示する画像表示部を具備し、外部装置との間で通信可能な画像供給装置であって、画像データを記憶する記憶媒体から画像データを読み出す読み出し手段と、通信する外部装置の種別を判別する外部装置判別手段と、出力対象の画像を指定する情報としての識別情報を生成する識別情報生成手段と、出力対象の画像を指定する情報として、前記識別情報生成手段で生成された識別情報を記述した出力要求情報を生成する出力要求情報生成手段と、前記出力要求情報生成手段により生成された出力要求情報を前記外部装置に送信する出力要求情報送信手段とを有し、前記外部装置判別手段により外部装置が印刷装置と判定した場合、前記識別情報生成手段は、前記記憶媒体に記憶されている画像データごとに異なる識別情報を生成し、前記外部装置判別手段により外部装置が表示装置と判定した場合、前記識別情報生成手段は、前記画像表示部に表示されている内容が異なるごとに、当該画像表示部の表示状態を示す表示画像に対して、それぞれ異なる識別情報を生成することを特徴とする
The present invention is an image supply device that includes an image display unit that displays an image and can communicate with the display device, and a generation unit that generates image data corresponding to a display state of the image display unit; Identification information providing means for assigning different identification information to the image data generated by the generating means corresponding to the display state of the image display section each time the state displayed on the image display section is different Output request information generating means for generating output request information describing the identification information given by the identification information giving means, and output generated by the output request information generating means Output request information transmitting means for transmitting request information to the display device.
In addition, the present invention is an image supply device that includes an image display unit that displays an image and can communicate with an external device, and a communication unit that reads the image data from a storage medium that stores the image data. An external device discriminating unit for discriminating the type of the external device to perform; an identification information generating unit for generating identification information as information for designating an image to be output; and an information for specifying the image to be output as the identification information generating unit Output request information generating means for generating output request information describing the identification information generated in step (b), and output request information transmitting means for transmitting the output request information generated by the output request information generation means to the external device. When the external device is determined to be a printing device by the external device determination unit, the identification information generation unit is configured to recognize different information for each image data stored in the storage medium. When the information is generated and the external device is determined to be a display device by the external device determination unit, the identification information generation unit displays the display state of the image display unit every time the content displayed on the image display unit is different. It is characterized in that different identification information is generated for each display image indicating .

本発明によれば、画像供給装置に表示されている画像を表示装置に表示させることができる。また、表示装置に画像を表示するまでの処理時間を短縮させることができる。   According to the present invention, the image displayed on the image supply device can be displayed on the display device. In addition, the processing time until an image is displayed on the display device can be shortened.

以下、図面を参照して、本発明の好適な実施形態について説明する。
(第1の実施形態)
本実施形態では、表示装置に画像を供給する画像供給装置としてデジタルスチルカメラ(以下、カメラという)を用いる。また、表示装置として、液晶プロジェクタ(以下、プロジェクタという)を用いる。
本実施形態では、カメラからデジタル静止画像をプロジェクタに直接送信し、プロジェクタが受信したデジタル静止画像を投写するダイレクトプロジェクションシステム(表示システム)について説明する。なお、本実施形態は、本発明を全て網羅するものではなく、以下の実施形態に限定されるものではない。
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
In this embodiment, a digital still camera (hereinafter referred to as a camera) is used as an image supply device that supplies an image to a display device. A liquid crystal projector (hereinafter referred to as a projector) is used as the display device.
In the present embodiment, a direct projection system (display system) that directly transmits a digital still image from a camera to a projector and projects the digital still image received by the projector will be described. In addition, this embodiment does not cover all this invention, and is not limited to the following embodiment.

図1は、ダイレクトプロジェクションシステム全体の外観構成を示す図である。
ダイレクトプロジェクションシステム10は、プロジェクタ20と、カメラ30とを含んで構成されている。プロジェクタ20とカメラ30とは、USBケーブル35を介して通信可能に接続されている。本実施形態に係るダイレクトプロジェクションシステム10は、ピクトブリッジを用いてカメラ30からプロジェクタ20へのダイレクトプロジェクションを実現している。
プロジェクタ20は、操作パネル101、映像用IF102、USB用IF(プロジェクタ側)103を備えている。操作パネル101は、ユーザが各種の操作を行うためのものである。USB用IF103は、USBケーブル35と接続するインタフェースである。
FIG. 1 is a diagram showing an external configuration of the entire direct projection system.
The direct projection system 10 includes a projector 20 and a camera 30. The projector 20 and the camera 30 are communicably connected via a USB cable 35. The direct projection system 10 according to the present embodiment realizes direct projection from the camera 30 to the projector 20 using a pict bridge.
The projector 20 includes an operation panel 101, a video IF 102, and a USB IF (projector side) 103. The operation panel 101 is for a user to perform various operations. The USB IF 103 is an interface connected to the USB cable 35.

カメラ30は、LCD画面201、操作キー202、駆動モード切替スイッチ203、ダイレクト出力ボタン204、メニュー画面表示ボタン205、シャッター206、表示モード切替スイッチ207、USB用IF(カメラ側)208を備えている。   The camera 30 includes an LCD screen 201, operation keys 202, a drive mode changeover switch 203, a direct output button 204, a menu screen display button 205, a shutter 206, a display mode changeover switch 207, and a USB IF (camera side) 208. .

LCD画面201には、撮像素子であるCCD213(図2参照)に入射する光の像、メモリカード218(図2参照)に記憶された撮像画像及びOSD(オンスクリーンディスプレイ)で構成されるメニュー画面等が表示される。操作キー202は、ユーザが各種の操作を行うためのボタンである。駆動モード切替スイッチ203は、カメラ30の駆動モードを撮影モードや撮像した撮像画像をLCD画面201に表示する撮像画像表示モード等に切り替えるためのスイッチである。   The LCD screen 201 has a menu screen composed of an image of light incident on a CCD 213 (see FIG. 2) as an image sensor, a captured image stored in a memory card 218 (see FIG. 2), and an OSD (on-screen display). Etc. are displayed. The operation key 202 is a button for the user to perform various operations. The drive mode switching switch 203 is a switch for switching the drive mode of the camera 30 to a shooting mode, a captured image display mode for displaying a captured image on the LCD screen 201, or the like.

ダイレクト出力ボタン204は、USBケーブル35を介して接続されたプロジェクタ20に対し、ピクトブリッジを用いて、ダイレクトプロジェクション(ダイレクト印刷)を行うボタンである。メニュー画面表示ボタン205は、メニュー画面の表示/非表示を切り替えるボタンである。表示モード切替スイッチ207は、LCD画面201に撮像画像を表示する撮像画像表示モードの際にシングル表示かインデックス表示かを切り替えるスイッチである。USB用IF208は、USBケーブル35と接続するインタフェースである。   The direct output button 204 is a button for performing direct projection (direct printing) on the projector 20 connected via the USB cable 35 using a pict bridge. The menu screen display button 205 is a button for switching display / non-display of the menu screen. The display mode switch 207 is a switch for switching between single display and index display in the captured image display mode in which the captured image is displayed on the LCD screen 201. The USB IF 208 is an interface connected to the USB cable 35.

ここで、図1に示すLCD画面201には、複数の撮像画像(画像A〜画像I)がインデックス表示されている。さらに、LCD画面201には、枚数表示のOSD31と、カーソル33が重畳され拡大表示された画像Fの撮像日時情報のOSD32とが表示されている。また、図1に示すプロジェクタ20は、後述する処理を経てLCD画面201に表示されている表示画像を投写している。   Here, on the LCD screen 201 shown in FIG. 1, a plurality of captured images (images A to I) are displayed in an index. Further, the LCD screen 201 displays an OSD 31 for displaying the number of images and an OSD 32 for imaging date / time information of the image F on which the cursor 33 is superimposed and enlarged. Further, the projector 20 shown in FIG. 1 projects a display image displayed on the LCD screen 201 through a process described later.

図2は、プロジェクタ20とカメラ30との内部構成及び一部外観構成を示す図である。
プロジェクタ20は、上述した操作パネル101、映像用IF102、USB用IF103に加え、CPU(プロジェクタ側)104、USB用回路(USBのホスト側インタフェース回路)110、映像用回路111を有している。更に、プロジェクタ20は、投写エンジン105、ROM106、RAM107、キャッシュ113を有している。
FIG. 2 is a diagram illustrating an internal configuration and a partial external configuration of the projector 20 and the camera 30.
The projector 20 includes a CPU (projector side) 104, a USB circuit (USB host-side interface circuit) 110, and a video circuit 111 in addition to the operation panel 101, the video IF 102, and the USB IF 103 described above. Further, the projector 20 includes a projection engine 105, a ROM 106, a RAM 107, and a cache 113.

CPU104は、プロジェクタ20全体の制御を行う。USB用回路110は、カメラ30との間で、USB用IF(プリンタ側)103を介して信号を送受信する。映像用回路111は、映像用IF102から入力された映像を受信する。投写エンジン105は、入力された映像を投写する液晶パネル、その駆動ドライバ、レンズ、その駆動系及び光源等から構成されている。これらの各構成部は、内部バス112によって接続されている。
また、CPU104には、PTP(Picture Transfer Protocol)形式のコマンドとピクトブリッジ形式のコマンドとのデコーダ108及びエンコーダ109を備えている。なお、デコーダ108とエンコーダ109とは、後述する図3に示すようなピクトブリッジの通信プロトコルアーキテクチャの構成を取っている。
The CPU 104 controls the entire projector 20. The USB circuit 110 transmits and receives signals to and from the camera 30 via the USB IF (printer side) 103. The video circuit 111 receives the video input from the video IF 102. The projection engine 105 includes a liquid crystal panel that projects an input image, a drive driver, a lens, a drive system, a light source, and the like. Each of these components is connected by an internal bus 112.
Further, the CPU 104 includes a decoder 108 and an encoder 109 for a PTP (Picture Transfer Protocol) format command and a PictBridge format command. Note that the decoder 108 and the encoder 109 have a picto-bridge communication protocol architecture as shown in FIG. 3 to be described later.

ROM106には、CPU104の処理手順を記述した制御プログラムが記憶されている。また、RAM107は、CPU104のワークメモリとして機能する。キャッシュ113は、USB用回路110により受信された画像データと、その画像データに付与されたファイルIDとを関連付けて、一時的に記憶する記憶部である。これらの各構成部の間におけるデータの送受信は、内部バス112を介して行われる。   The ROM 106 stores a control program that describes the processing procedure of the CPU 104. The RAM 107 functions as a work memory for the CPU 104. The cache 113 is a storage unit that temporarily stores the image data received by the USB circuit 110 in association with the file ID assigned to the image data. Data transmission / reception between these components is performed via the internal bus 112.

カメラ30は、上述したLCD画面201、操作キー202、駆動モード切替スイッチ203、ダイレクト出力ボタン204、メニュー画面表示ボタン205、シャッター206、表示モード切替スイッチ207、USB用IF(カメラ側)208を備えている。なお、図2では、操作キー202、駆動モード切替スイッチ203、ダイレクト出力ボタン204、メニュー画面表示ボタン205、シャッター206、表示モード切替スイッチ207、を操作部として示している。
また、カメラ30は、CPU(カメラ側)210、光学ユニット211、光学ユニット制御用ドライバ212、CCD213、USB用回路209(USBのスレーブ側インタフェース回路)を有している。更に、カメラ30は、ROM214、RAM215、LCD画面表示用VRAM216、メモリカードコネクタ217を有している。
The camera 30 includes the above-described LCD screen 201, operation key 202, drive mode changeover switch 203, direct output button 204, menu screen display button 205, shutter 206, display mode changeover switch 207, and USB IF (camera side) 208. ing. In FIG. 2, the operation key 202, the drive mode changeover switch 203, the direct output button 204, the menu screen display button 205, the shutter 206, and the display mode changeover switch 207 are shown as operation units.
The camera 30 includes a CPU (camera side) 210, an optical unit 211, an optical unit control driver 212, a CCD 213, and a USB circuit 209 (USB slave-side interface circuit). Further, the camera 30 includes a ROM 214, a RAM 215, an LCD screen display VRAM 216, and a memory card connector 217.

CPU210は、カメラ30全体の制御を行う。USB用回路209は、プロジェクタ20との間で、USB用IF(カメラ側)208を介して信号を送受信する。光学ユニット211は、レンズ、その駆動系で構成される。
また、CPU210には、PTP(Picture Transfer Protocol)形式のコマンドとピクトブリッジ形式のコマンドとのデコーダ219及びエンコーダ220を備えている。なお、デコーダ219とエンコーダ220とは、後述する図3に示すようなピクトブリッジの通信プロトコルアーキテクチャの構成を取っている。
The CPU 210 controls the entire camera 30. The USB circuit 209 transmits and receives signals to and from the projector 20 via the USB IF (camera side) 208. The optical unit 211 includes a lens and its drive system.
In addition, the CPU 210 includes a decoder 219 and an encoder 220 for PTP (Picture Transfer Protocol) format commands and PictBridge format commands. Note that the decoder 219 and the encoder 220 have a picto-bridge communication protocol architecture as shown in FIG.

更に、CPU210には、画像処理部221、判別部222、OSD作成部224、生成部225、ID付与部226、判定部227、出力要求生成部228を含んでいる。
ここで、画像処理部221は、カメラ30の駆動モードが撮像画像表示モードのとき、LCD画面201に表示するために、メモリカード218より読み出した画像に縮小処理する等の画像処理を行う。判別部222は、カメラ30に接続された外部装置の種別を判別する。なお、本実施形態の判別部222は、接続された外部装置がプロジェクタ20等の表示装置か、プリンタ等の印刷装置かを判定する。
Further, the CPU 210 includes an image processing unit 221, a determination unit 222, an OSD creation unit 224, a generation unit 225, an ID assignment unit 226, a determination unit 227, and an output request generation unit 228.
Here, when the drive mode of the camera 30 is the captured image display mode, the image processing unit 221 performs image processing such as reduction processing on an image read from the memory card 218 for display on the LCD screen 201. The determination unit 222 determines the type of external device connected to the camera 30. Note that the determination unit 222 of this embodiment determines whether the connected external device is a display device such as the projector 20 or a printing device such as a printer.

OSD作成部224は、メニュー画面や図1に示したような枚数表示のOSD、撮像日時情報のOSDを作成する。生成部225は、LCD画面201にOSD等を含む画像がレイアウトされたモニタ画像の画像データ、すなわちLCD画面201に表示されている状態の表示画像の画像データを生成する。ID付与部226は、生成部225により生成された画像データにファイルIDを一意的に付与する。ここで、ファイルIDは識別情報の一例に対応する。判定部227は、LCD画面201に表示される表示画像を変更したときに、変更した表示画像がRAM215に記憶されている表示画像と同一であるか否かを判定する。出力要求生成部228は、接続されている外部装置に対して表示画像を出力するように出力要求情報を生成する。なお、本実施形態では、画像処理部221、判別部222、OSD作成部224、生成部225、ID付与部226、判定部227及び出力要求生成部228は、CPU210がROM214に記憶されたプログラムを実行することにより実現することができる。ただし、この場合に限られず、各機能を実施できる専用の回路で構成してもよい。   The OSD creation unit 224 creates the menu screen, the OSD for the number display as shown in FIG. 1, and the OSD for the imaging date / time information. The generation unit 225 generates image data of a monitor image in which an image including OSD or the like is laid out on the LCD screen 201, that is, image data of a display image displayed on the LCD screen 201. The ID assigning unit 226 uniquely assigns a file ID to the image data generated by the generating unit 225. Here, the file ID corresponds to an example of identification information. When the display image displayed on the LCD screen 201 is changed, the determination unit 227 determines whether or not the changed display image is the same as the display image stored in the RAM 215. The output request generation unit 228 generates output request information so as to output a display image to a connected external device. In this embodiment, the image processing unit 221, the determination unit 222, the OSD creation unit 224, the generation unit 225, the ID assignment unit 226, the determination unit 227, and the output request generation unit 228 are programs stored by the CPU 210 in the ROM 214. This can be realized by executing. However, the present invention is not limited to this, and a dedicated circuit that can perform each function may be used.

ROM214には、CPU210の処理手順を記述した制御プログラムが記憶されている。また、RAM215は、撮像画像を一時的に記憶する等、CPU210のワークメモリとして機能する。メモリカードコネクタ217は、撮像画像を記録するためのメモリカード218を接続するためのコネクタである。これらの各構成部の間におけるデータの送受信は、内部バス223を介して行われる。
上述のように構成されるダイレクトプロジェクションシステム10によれば、カメラ30とプロジェクタ20との間のデータの送受信は、USB用IF(カメラ側)208と、USBケーブル35と、USB用IF(プリンタ側)103とを介して行われる。
The ROM 214 stores a control program that describes the processing procedure of the CPU 210. The RAM 215 functions as a work memory for the CPU 210 such as temporarily storing captured images. The memory card connector 217 is a connector for connecting a memory card 218 for recording captured images. Data transmission / reception between these components is performed via the internal bus 223.
According to the direct projection system 10 configured as described above, data transmission / reception between the camera 30 and the projector 20 is performed using a USB IF (camera side) 208, a USB cable 35, and a USB IF (printer side). ) 103.

次に、図3を参照して、本実施形態において採用されているピクトブリッジの通信プロトコルアーキテクチャを示す。ピクトブリッジでは、物理層にUSB40を用いている。また、物理層上のトランスポート層にはPTPを用いている。また、図3に示すように、トランスポート層とアプリケーション層との間には、新たな変換用のレイヤ層であるDPS層を設けている。このDPS層では、PTPの通信プロトコルとDPSアプリケーションとの間のマッピングを行う。ピクトブリッジは、このDPS層とアプリケーション層とのインタフェースプロトコルを規格化したものである。   Next, referring to FIG. 3, the communication protocol architecture of the PictBridge adopted in this embodiment is shown. In PictBridge, USB 40 is used for the physical layer. Also, PTP is used for the transport layer on the physical layer. Further, as shown in FIG. 3, a DPS layer, which is a new layer for conversion, is provided between the transport layer and the application layer. In the DPS layer, mapping is performed between the PTP communication protocol and the DPS application. PictBridge is a standardized interface protocol between the DPS layer and the application layer.

次に、図3を参照して、ピクトブリッジのソフトウェアコンポーネントについて説明する。ソフトウェアコンポーネントには、アプリケーション層内にあるPrintServer43、PrintClient44、StorageServer45、StorageClient46及びDPS層内にあるDPSDiscovery41、42がある。
ピクトブリッジでは、カメラ30側からの印刷要求に応じてプロジェクタ20側が印刷を実行する際に、プロジェクタ20側がカメラ30側に画像データを要求することを想定している。したがって、通常、ユーザがStorageClient46を意識することはない。DPSアプリケーションでは、基本的に、Clientからの要求に対してServerが応答し、その結果をClientに返答するというシーケンスで各DPSOperationが完結する。また、Serverから発行される通知に対してClientが応答して、その受け取り確認をServerに返答するというシーケンスでDPSEventが完結する。
Next, referring to FIG. 3, the software components of the PictBridge will be described. The software components include PrintServer 43, PrintClient 44, StorageServer 45, StorageClient 46 in the application layer, and DPSD discovery 41, 42 in the DPS layer.
In PictBridge, it is assumed that the projector 20 side requests image data from the camera 30 side when the projector 20 side executes printing in response to a print request from the camera 30 side. Therefore, the user is not normally aware of the StorageClient 46. In the DPS application, each DSO operation is basically completed in a sequence in which the server responds to a request from the client and returns the result to the client. Further, the DPSEEvent is completed in a sequence in which the Client responds to the notification issued from the Server and returns a receipt confirmation to the Server.

次に、図4に示すフローチャートを参照して、カメラ30及びプロジェクタ20で行われる動作処理について説明する。
まず、ステップS10において、ユーザは、プロジェクタ20のUSB用IF103とカメラ30のUSB用IF208とをUSBケーブル35で接続する。
次に、ステップS20において、ユーザは、カメラ30の駆動モード切替スイッチ203を操作して、駆動モードを画像表示モードに切り替える。
Next, operation processing performed by the camera 30 and the projector 20 will be described with reference to the flowchart shown in FIG.
First, in step S <b> 10, the user connects the USB IF 103 of the projector 20 and the USB IF 208 of the camera 30 with the USB cable 35.
Next, in step S20, the user operates the drive mode switch 203 of the camera 30 to switch the drive mode to the image display mode.

このとき、ステップS30において、プロジェクタ20側のCPU104及びカメラ30側のCPU210は、ピクトブリッジの初期化処理を行う。ピクトブリッジの初期化処理では、互いの機器がピクトブリッジ機能を有する機器であるかを判定する。また、カメラ30のCPU210では、接続した機器(外部装置)の種別を判別する。この処理は、外部装置判別手段の一例に対応する。なお、本実施形態では、CPU210は、外部装置が表示装置であるか印刷装置であるかを判定する。
その他、ピクトブリッジの初期化処理では、互いの機器がピクトブリッジのどのようなサービス機能を有するか、プロジェクタ20の設定能力はどのようなものか等の情報を相互に通知する。
At this time, in step S30, the CPU 104 on the projector 20 side and the CPU 210 on the camera 30 side perform pictobridge initialization processing. In the initialization process of PictBridge, it is determined whether or not each device is a device having a PictBridge function. Further, the CPU 210 of the camera 30 determines the type of the connected device (external device). This process corresponds to an example of an external device determination unit. In the present embodiment, the CPU 210 determines whether the external device is a display device or a printing device.
In addition, in the initialization process of PictBridge, information such as what service functions each other's equipment has and what setting capability of the projector 20 is notified to each other.

ステップS30以降、ユーザのキー操作等によって、LCD画面201に表示される表示画像の遷移と連動するプロジェクタ20の表示画像の投写は、ステップS40からステップS190の間で繰り返し行われる。このとき、プロジェクタ20のキャッシュ113にカメラ30からの出力要求情報に設定されているファイルIDが記憶されているか否かによりシーケンスが異なる。   After step S30, the projection of the display image of the projector 20 that is linked with the transition of the display image displayed on the LCD screen 201 by the user's key operation or the like is repeatedly performed between step S40 and step S190. At this time, the sequence differs depending on whether or not the file ID set in the output request information from the camera 30 is stored in the cache 113 of the projector 20.

ステップS40では、ユーザがカメラ30の操作キー202等を操作する。
次に、ステップS50では、カメラ30のCPU210は、ユーザ操作に応じて、メモリカード218から撮像画像を読み出す。さらに、CPU210(OSD作成部224)は、必要なOSDを作成する。作成後、CPU210は、撮影画像とOSDとを重畳させて画像表示部としてのLCD画面201に表示する。ここで、撮影画像とOSDとが重畳されて表示された画像を表示画像(モニタ画像)という。すなわち、表示画像は、LCD画面201に表示されている状態の画像である。なお、CPU210(画像処理部221)は、必要に応じて撮影画像を縮小させる等の画像処理を行う。
In step S40, the user operates the operation keys 202 and the like of the camera 30.
Next, in step S50, the CPU 210 of the camera 30 reads a captured image from the memory card 218 in response to a user operation. Further, the CPU 210 (OSD creation unit 224) creates a necessary OSD. After creation, the CPU 210 superimposes the captured image and the OSD and displays them on the LCD screen 201 as an image display unit. Here, an image displayed by superimposing the captured image and the OSD is referred to as a display image (monitor image). That is, the display image is an image displayed on the LCD screen 201. Note that the CPU 210 (image processing unit 221) performs image processing such as reducing a captured image as necessary.

次に、ステップS60では、カメラ30のCPU210(判定部227)は、LCD画面201に表示した表示画像が、後述するファイルIDと関連付けてRAM215等に記憶されている表示画像と同じであるか否かを判定する。この処理は、判定手段の一例に対応する。同一の表示画像が記憶されていない場合、ステップS70に処理を進める。本実施形態では、表示画像が同一か否かの判定には、表示画像に関するデータを比較する。ここで、表示画像に関するデータとは、例えば、表示画像に表示されている撮像画像のID及びOSDのID、レイアウト位置情報等のデータである。
なお、最初にLCD画面201に表示画像を表示させる場合、表示画像に関するデータは記憶されていないことから、ステップS70に処理を進める。
Next, in step S60, the CPU 210 (determination unit 227) of the camera 30 determines whether the display image displayed on the LCD screen 201 is the same as the display image stored in the RAM 215 or the like in association with a file ID described later. Determine whether. This process corresponds to an example of a determination unit. If the same display image is not stored, the process proceeds to step S70. In this embodiment, data relating to display images are compared to determine whether the display images are the same. Here, the data relating to the display image is, for example, data such as the ID of the captured image and the ID of the OSD displayed on the display image, layout position information, and the like.
Note that when a display image is displayed on the LCD screen 201 for the first time, data relating to the display image is not stored, and thus the process proceeds to step S70.

ステップS70では、カメラ30のCPU210(ID付与部226)は、LCD画面201に表示した撮像画像とOSDとが重畳された表示画像に対してファイルIDを決定する。この処理は、識別情報付与手段の一例に対応する。CPU210(ID付与部226)は、異なる表示画像ごとに、異なる識別情報を決定する。更に、CPU210は、決定したファイルIDと表示画像(表示画像に関するデータ)とを関連付けて、RAM215等の記憶部に記憶させる。この処理は、記憶処理手段の一例に対応する。   In step S70, the CPU 210 (ID assigning unit 226) of the camera 30 determines a file ID for the display image in which the captured image displayed on the LCD screen 201 and the OSD are superimposed. This process corresponds to an example of identification information providing means. CPU210 (ID provision part 226) determines different identification information for every different display image. Further, the CPU 210 associates the determined file ID with the display image (data relating to the display image) and stores it in the storage unit such as the RAM 215. This process corresponds to an example of a storage processing unit.

次に、ステップS80では、カメラ30のCPU210(出力要求生成部228)は、外部装置としてのプロジェクタ20に対して画像出力命令として、ファイルIDを設定した出力要求JOB(出力要求情報)を生成する。この処理は、出力要求情報生成手段の一例に対応する。なお、設定するファイルIDは、ステップS70で決定したファイルIDである。また、本実施形態では、出力要求JOBとして、印刷用の出力要求JOBである印刷要求JOBを生成している。
更に、カメラ30のCPU210は、生成した出力要求JOBを、USB用IF208を介して、プロジェクタ20に送信する。この処理は、出力要求情報送信手段の一例に対応する。
一方、ステップS60において、同一の表示画像が記憶されている場合、ステップS90に処理を進める。ステップS90では、カメラ30のCPU210(出力要求生成部228)は、LCD画面201に表示した表示画像と同一の表示画像に関連付けられたファイルIDを記憶部から取得する。更に、カメラ30のCPU210(出力要求生成部228)は、取得したファイルIDを設定した出力要求JOBを生成する。この処理は、出力要求情報生成手段の一例に対応する。更に、カメラ30のCPU210は、生成した出力要求JOBを、USB用IF208を介して、プロジェクタ20に送信する。この処理は、出力要求情報送信手段の一例に対応する。
Next, in step S80, the CPU 210 (output request generation unit 228) of the camera 30 generates an output request JOB (output request information) in which a file ID is set as an image output command to the projector 20 as an external device. . This process corresponds to an example of an output request information generation unit. Note that the file ID to be set is the file ID determined in step S70. In this embodiment, a print request JOB that is an output request JOB for printing is generated as the output request JOB.
Further, the CPU 210 of the camera 30 transmits the generated output request JOB to the projector 20 via the USB IF 208. This process corresponds to an example of an output request information transmission unit.
On the other hand, if the same display image is stored in step S60, the process proceeds to step S90. In step S90, the CPU 210 (output request generation unit 228) of the camera 30 acquires a file ID associated with the same display image as the display image displayed on the LCD screen 201 from the storage unit. Further, the CPU 210 (output request generation unit 228) of the camera 30 generates an output request JOB in which the acquired file ID is set. This process corresponds to an example of an output request information generation unit. Further, the CPU 210 of the camera 30 transmits the generated output request JOB to the projector 20 via the USB IF 208. This process corresponds to an example of an output request information transmission unit.

次に、ステップS100において、プロジェクタ20のCPU104は、ファイルIDが設定された出力要求JOBを受信する。この処理は、出力要求情報受信手段の一例に対応する。
次に、ステップS110において、プロジェクタ20のCPU104は、出力要求JOBに設定されたファイルIDがキャッシュ113等の記憶部に記憶されているか否かを判定する。この処理は、識別情報判定手段の一例に対応する。ファイルIDがキャッシュ113に記憶されていない場合、ステップS120に処理を進める。一方、ファイルIDがキャッシュ113に記憶されている場合、ステップS200に処理を進める。
Next, in step S100, the CPU 104 of the projector 20 receives the output request JOB in which the file ID is set. This process corresponds to an example of output request information receiving means.
Next, in step S <b> 110, the CPU 104 of the projector 20 determines whether or not the file ID set in the output request JOB is stored in the storage unit such as the cache 113. This process corresponds to an example of the identification information determination unit. If the file ID is not stored in the cache 113, the process proceeds to step S120. On the other hand, if the file ID is stored in the cache 113, the process proceeds to step S200.

ステップS120において、プロジェクタ20のCPU104は、ファイルIDに対応する画像データの送信を要求する画像データ送信要求情報を生成する。この処理は、送信要求情報生成手段の一例に対応する。
更に、プロジェクタ20のCPU104は、生成した画像データ送信要求情報をカメラ30に対して送信する。この処理は、送信要求情報送信手段の一例に対応する。
In step S120, the CPU 104 of the projector 20 generates image data transmission request information for requesting transmission of image data corresponding to the file ID. This process corresponds to an example of a transmission request information generation unit.
Further, the CPU 104 of the projector 20 transmits the generated image data transmission request information to the camera 30. This process corresponds to an example of a transmission request information transmission unit.

次に、ステップS130では、カメラ30のCPU210は、画像データ送信要求情報を受信する。
次に、ステップS140では、カメラ30のCPU210は、LCD画面201において、撮像画像とOSDとを表示している表示画像の画像データを生成する。この処理は、画像データ生成手段の一例に対応する。
次に、ステップS150では、カメラ30のCPU210は、生成した画像データを、USB用IF208を介して、プロジェクタ20に送信する。この処理は、画像データ送信手段の一例に対応する。
Next, in step S130, the CPU 210 of the camera 30 receives image data transmission request information.
Next, in step S <b> 140, the CPU 210 of the camera 30 generates image data of a display image displaying the captured image and the OSD on the LCD screen 201. This process corresponds to an example of image data generation means.
Next, in step S150, the CPU 210 of the camera 30 transmits the generated image data to the projector 20 via the USB IF 208. This process corresponds to an example of image data transmission means.

次に、ステップS160では、プロジェクタ20のCPU104は、画像データを受信する。この処理は、画像データ受信手段の一例に対応する。
次に、ステップS170では、プロジェクタ20のCPU104は、受信した画像データとファイルIDとを関連付けて、キャッシュ113等の記憶部に記憶する。この処理は、画像データ記憶処理手段の一例に対応する。
Next, in step S160, the CPU 104 of the projector 20 receives image data. This process corresponds to an example of image data receiving means.
Next, in step S170, the CPU 104 of the projector 20 associates the received image data with the file ID and stores them in a storage unit such as the cache 113. This process corresponds to an example of an image data storage processing unit.

一方、ステップS110において、出力要求JOBに設定されたファイルIDがキャッシュ113に記憶されている場合、ステップS200に処理を進める。
ステップS200では、プロジェクタ20のCPU104は、キャッシュ113に記憶されているファイルIDに関連付けて記憶されている画像データを取得する。
On the other hand, if the file ID set in the output request JOB is stored in the cache 113 in step S110, the process proceeds to step S200.
In step S <b> 200, the CPU 104 of the projector 20 acquires image data stored in association with the file ID stored in the cache 113.

次に、ステップS180では、プロジェクタ20のCPU104は、ステップS160において受信した画像データ又はステップS200において取得した画像データを投写する。具体的には、受信又は取得した画像データを、画像出力部としての投写エンジン105を介して、スクリーン等に出力する。この処理は、画像出力手段の一例に対応する。
次に、投写終了後、ステップS190では、プロジェクタ20のCPU104は、カメラ30に対して、画像出力命令の結果を送信する。カメラ30のCPU210は、結果を受信する。
Next, in step S180, the CPU 104 of the projector 20 projects the image data received in step S160 or the image data acquired in step S200. Specifically, the received or acquired image data is output to a screen or the like via a projection engine 105 as an image output unit. This process corresponds to an example of an image output unit.
Next, after the projection ends, in step S190, the CPU 104 of the projector 20 transmits the result of the image output command to the camera 30. The CPU 210 of the camera 30 receives the result.

次に、図5を参照して、カメラ30のLCD画面201の表示画像が遷移する場合について説明する。ここでは、図4に示すフローチャートのステップS10及びステップS20の処理が終了し、画像表示モードが選択されているものとする。また図5に示す表示画像は、操作1から操作5を行うことで、順に図5(a)〜(f)までの表示画像を示した図である。
ここで、図5(a)では、ユーザによる操作キーを介した操作により、LCD画面201には、拡大された「画像F」と枚数表示のOSDと撮像日時情報のOSDとが表示されている。このとき、図4に示すフローチャートのステップS60では、図5(a)に示す表示画像を初めて表示したので、ステップS70に処理を進める。ステップS70では、一意に決定されたファイルIDと図5(a)に示す表示画像とが関連付けて記憶される。なお、ここでは、ファイルIDと図5(a)に示す表示画像に関するデータとが記憶される。ここで、表示画像に関するデータとは、「画像F」のIDと各OSDのID及びそれぞれのレイアウト位置情報である。
Next, a case where the display image on the LCD screen 201 of the camera 30 changes will be described with reference to FIG. Here, it is assumed that the processing of step S10 and step S20 in the flowchart shown in FIG. 4 is completed and the image display mode is selected. Moreover, the display image shown in FIG. 5 is the figure which showed the display image to FIG. 5 (a)-(f) in order by performing operation 1 to operation 5. FIG.
Here, in FIG. 5A, the enlarged “image F”, the OSD for displaying the number of images, and the OSD for imaging date / time information are displayed on the LCD screen 201 by the operation through the operation keys by the user. . At this time, in step S60 of the flowchart shown in FIG. 4, since the display image shown in FIG. 5A is displayed for the first time, the process proceeds to step S70. In step S70, the uniquely determined file ID and the display image shown in FIG. 5A are stored in association with each other. Here, the file ID and the data related to the display image shown in FIG. 5A are stored. Here, the data relating to the display image includes the ID of “image F”, the ID of each OSD, and the layout position information thereof.

一方、図5(a)に示す表示画像が表示されることで、プロジェクタ20では、図5(a)に示す表示画像と同じ画像を投写する。このとき、プロジェクタ20のキャッシュ113には、ファイルIDと画像データとは関連付けて記憶されていないので、図4に示すフローチャートのステップS110の分岐をNOに進む。したがって、プロジェクタ20では、カメラ30で生成した図5(a)に示す表示画像の画像データを受信して、画像を投写している。   On the other hand, when the display image shown in FIG. 5A is displayed, the projector 20 projects the same image as the display image shown in FIG. At this time, since the file ID and the image data are not stored in association with each other in the cache 113 of the projector 20, the process proceeds to NO in step S110 of the flowchart shown in FIG. Therefore, the projector 20 receives the image data of the display image shown in FIG. 5A generated by the camera 30 and projects the image.

同様に、図5(b)、(c)、(d)に示す表示画像も初めて表示するので、カメラ30では、それぞれ、ファイルIDと、図5(b)、(c)、(d)に示す表示画像とをそれぞれ関連付けて記憶する。また、同様に、プロジェクタ20では、カメラ30で記憶されたファイルIDと同一のファイルIDは、記憶されていないので、カメラ30で生成した図5(b)、(c)、(d)に示す表示画像の画像データを受信して、画像データを投写する。   Similarly, since the display images shown in FIGS. 5B, 5C, and 5D are also displayed for the first time, the camera 30 displays the file ID and FIGS. 5B, 5C, and 5D, respectively. The displayed display image is stored in association with each other. Similarly, since the projector 20 does not store the same file ID as the file ID stored in the camera 30, it is shown in FIGS. 5B, 5C, and 5D generated by the camera 30. The image data of the display image is received and the image data is projected.

次に、図5(e)に示す表示画像が表示されると、この表示画像は、図5(c)に示す表示画像と同一であることから、カメラ30では、図4に示すフローチャートのステップS60において、ファイルIDが記憶されていると判定し、ステップS90に進む。なお、表示画像が同一か否かの判定は、図5(e)に示す「画像Eが選択された状態の一覧」のIDと各OSDのID及びそれぞれのレイアウト位置情報が同一か否かを判定する。ステップS90では、図5(c)に示す表示画像を表示したときに記憶したファイルIDを設定した出力要求JOBを送信する。
一方、プロジェクタ20では、出力要求JOBに設定されたファイルIDは、図5(c)に示す表示画像の画像データと関連付けてキャッシュ113に記憶されているので、ステップS110の分岐をYESに進む。したがって、ステップS200において、プロジェクタ20は、ファイルIDに関連付けられた画像データをキャッシュ113から取得して、取得した画像データを投写する。
Next, when the display image shown in FIG. 5 (e) is displayed, this display image is the same as the display image shown in FIG. 5 (c). Therefore, in the camera 30, the steps of the flowchart shown in FIG. In S60, it is determined that the file ID is stored, and the process proceeds to Step S90. Whether or not the display images are the same is determined by checking whether the IDs of the “list of states in which the image E is selected”, the IDs of the respective OSDs, and the respective layout position information shown in FIG. judge. In step S90, an output request JOB in which the file ID stored when the display image shown in FIG. 5C is displayed is set.
On the other hand, in the projector 20, since the file ID set in the output request JOB is stored in the cache 113 in association with the image data of the display image shown in FIG. 5C, the branch of step S110 is advanced to YES. Therefore, in step S200, the projector 20 acquires the image data associated with the file ID from the cache 113 and projects the acquired image data.

また、図5(f)に示す表示画像は、図5(b)に示す表示画像と同一であることから、上述した処理と同様に、カメラ30では、図5(b)に示す表示画像を表示したときに記憶したファイルIDを設定した出力要求JOBを送信する。また、プロジェクタ20では、ファイルIDに関連付けられた画像データをキャッシュ113から取得して、取得した画像データを投写する。   Since the display image shown in FIG. 5 (f) is the same as the display image shown in FIG. 5 (b), the camera 30 displays the display image shown in FIG. An output request JOB in which the file ID stored at the time of display is set is transmitted. Further, the projector 20 acquires the image data associated with the file ID from the cache 113 and projects the acquired image data.

このように本実施形態によれば、カメラ30では、異なる表示画像ごとに、異なるファイルIDを設定して出力要求JOBを生成し、生成した出力要求情報を送信する。一方、プロジェクタ20では、受信した出力情報に設定されたファイルIDに基づいて、ファイルIDに関連付けて記憶されている画像データを、投写エンジンを介して出力する。したがって、画像データをカメラ30から取得する必要がないので、画像を出力するまでの処理時間を短縮することができる。   Thus, according to the present embodiment, the camera 30 sets a different file ID for each different display image, generates an output request JOB, and transmits the generated output request information. On the other hand, the projector 20 outputs the image data stored in association with the file ID via the projection engine based on the file ID set in the received output information. Therefore, since it is not necessary to acquire image data from the camera 30, it is possible to shorten the processing time until the image is output.

次に、図6のフローチャートを参照して、図4に示すフローチャートのステップS30の初期化処理において、カメラ30のCPU210が、外部装置が印刷装置であると判定した後の処理について、説明する。
ステップS30において、カメラ30のCPU210は、外部装置が図示しないプリンタ等の印刷装置と判定した後、ステップS300に処理を進める。
ステップS300では、カメラ30のCPU210は、ユーザが印刷したい画像を選択する操作に応じて、印刷する画像データごとにファイルIDを付与する。
Next, processing after the CPU 210 of the camera 30 determines that the external device is a printing device in the initialization processing in step S30 of the flowchart shown in FIG. 4 will be described with reference to the flowchart in FIG.
In step S30, the CPU 210 of the camera 30 determines that the external device is a printing device such as a printer (not shown), and then proceeds to step S300.
In step S300, the CPU 210 of the camera 30 assigns a file ID to each image data to be printed in accordance with an operation for selecting an image to be printed by the user.

次に、ステップS310では、カメラ30のCPU210(出力要求生成部228)は、プリンタに対して画像出力命令として、ファイルIDを設定した出力要求JOBを生成する。この処理は、出力要求情報生成手段の一例に対応する。なお、設定するファイルIDは、ステップS300で決定したファイルIDである。ここでは、出力要求JOBは、印刷用の要求JOBとしての印刷要求JOBである。
更に、カメラ30のCPU210は、生成した出力要求JOBを、USB用IF208を介してプリンタに送信する。この処理は、出力要求情報送信手段の一例に対応する。
In step S310, the CPU 210 (output request generation unit 228) of the camera 30 generates an output request JOB in which a file ID is set as an image output command to the printer. This process corresponds to an example of an output request information generation unit. Note that the file ID to be set is the file ID determined in step S300. Here, the output request JOB is a print request JOB as a print request JOB.
Further, the CPU 210 of the camera 30 transmits the generated output request JOB to the printer via the USB IF 208. This process corresponds to an example of an output request information transmission unit.

次に、ステップS320において、プリンタは、ファイルIDが設定された出力要求JOBを受信する。
次に、ステップS330では、プリンタは、ファイルIDに対応する画像データの送信を要求する画像データ送信要求情報を生成し、生成した画像データ送信要求情報をカメラ30に対して送信する。
次に、ステップS340では、カメラ30のCPU210は、画像データ送信要求情報を受信する。
次に、ステップS350では、カメラ30のCPU210は、ファイルIDに対応する画像データを、USB用IF208を介して、プリンタに送信する。
Next, in step S320, the printer receives an output request JOB in which a file ID is set.
Next, in step S330, the printer generates image data transmission request information requesting transmission of image data corresponding to the file ID, and transmits the generated image data transmission request information to the camera 30.
Next, in step S340, the CPU 210 of the camera 30 receives the image data transmission request information.
Next, in step S350, the CPU 210 of the camera 30 transmits image data corresponding to the file ID to the printer via the USB IF 208.

次に、ステップS360では、プリンタは、画像データを受信する。
次に、ステップS370では、プリンタは、受信した画像データを印刷する。
次に、ステップS380では、プリンタは、カメラ30に対して、画像出力命令の結果を送信する。カメラ30のCPU210は、結果を受信する。
Next, in step S360, the printer receives image data.
Next, in step S370, the printer prints the received image data.
Next, in step S380, the printer transmits the result of the image output command to the camera 30. The CPU 210 of the camera 30 receives the result.

このように、本実施形態によれば、カメラ30のCPU210が接続された外部装置が印刷装置であると判定した場合、印刷装置に画像データを直接印刷するダイレクトプリントを行うことができる。したがって、ユーザは表示装置であるか印刷装置であるかを意識することなくカメラと接続するだけで、接続した外部装置に対して所望する動作を行わせることができる。
また、プロジェクタに対して画像出力命令を生成する場合も、プリンタに対して画像出力命令を生成する場合も、出力要求JOBとして印刷要求JOBを生成している。したがって、プロジェクタに対するプロトコルを新たに開発する必要がなく、開発費用を削減することができる。
As described above, according to the present embodiment, when it is determined that the external device to which the CPU 210 of the camera 30 is connected is a printing device, direct printing for directly printing image data on the printing device can be performed. Therefore, the user can cause the connected external device to perform a desired operation only by connecting to the camera without being conscious of whether it is a display device or a printing device.
Also, a print request JOB is generated as an output request JOB both when generating an image output command for the projector and when generating an image output command for the printer. Therefore, it is not necessary to newly develop a protocol for the projector, and the development cost can be reduced.

(第2の実施形態)
第1の実施形態では、カメラ30は、LCD画面201に表示した表示画像と記憶部に記憶されている表示画像とが同じであるか否かを判定するとき、レイアウト位置情報等の表示画像に関するデータを用いて比較した。本実施形態では、LCD画面201に表示した表示画像の画像データと記憶部に記憶されている表示画像の画像データとを比較する場合について説明する。
(Second Embodiment)
In the first embodiment, when the camera 30 determines whether the display image displayed on the LCD screen 201 is the same as the display image stored in the storage unit, the camera 30 relates to a display image such as layout position information. Comparison was made using the data. In the present embodiment, a case will be described in which image data of a display image displayed on the LCD screen 201 is compared with image data of a display image stored in a storage unit.

次に、図7に示すフローチャートを参照して、カメラ30で行われる動作処理について説明する。本実施形態に係る図7に示すフローチャートでは、第1の実施形態に係る図4に示すフローチャートのステップS50とステップS60との間にステップS400を追加している。また、本実施形態に係る図7に示すフローチャートでは、第1の実施形態に係る図4に示すフローチャートのステップS140が省略されている。それ以外についての処理は略同一であり、適宜省略して説明する。   Next, operation processing performed by the camera 30 will be described with reference to the flowchart shown in FIG. In the flowchart shown in FIG. 7 according to the present embodiment, step S400 is added between step S50 and step S60 in the flowchart shown in FIG. 4 according to the first embodiment. Further, in the flowchart shown in FIG. 7 according to the present embodiment, step S140 of the flowchart shown in FIG. 4 according to the first embodiment is omitted. The other processes are substantially the same, and will be omitted as appropriate.

ステップS50では、カメラ30のCPU210は、必要なOSDを作成して、撮影画像とOSDとを重畳させてLCD画面201に表示画像を表示する。
次に、ステップS400では、カメラ30のCPU210は、LCD画面201において、撮像画像とOSDとを重畳させて表示している表示画像の画像データを生成する。
In step S50, the CPU 210 of the camera 30 creates a necessary OSD and displays the display image on the LCD screen 201 by superimposing the captured image and the OSD.
Next, in step S <b> 400, the CPU 210 of the camera 30 generates image data of a display image that is displayed by superimposing the captured image and the OSD on the LCD screen 201.

次に、ステップS60では、カメラ30のCPU210(判定部227)は、LCD画面201に表示している表示画像の画像データが、後述するファイルIDと関連付けてRAM215等に記憶されている画像データと同じであるか否かを判定する。同一の表示画像が記憶されていない場合、ステップS70に処理を進める。   Next, in step S60, the CPU 210 (determination unit 227) of the camera 30 determines that the image data of the display image displayed on the LCD screen 201 is stored in the RAM 215 or the like in association with a file ID described later. It is determined whether or not they are the same. If the same display image is not stored, the process proceeds to step S70.

ステップS70では、カメラ30のCPU210(ID付与部226)は、LCD画面201に表示した撮像画像とOSDとが重畳された表示画像の画像データに対してファイルIDを決定する。更に、CPU210は、決定したファイルIDと表示画像の画像データとを関連付けて、RAM215等の記憶部に記憶させる。
次に、ステップS80では、カメラ30のCPU210(出力要求生成部228)は、外部装置としてのプロジェクタ20に対して画像出力命令として、ファイルIDを設定した出力要求JOBを生成する。更に、カメラ30のCPU210は、生成した出力要求JOBを、USB用IF208を介して、プロジェクタ20に送信する。
In step S70, the CPU 210 (ID assigning unit 226) of the camera 30 determines a file ID for the image data of the display image in which the captured image displayed on the LCD screen 201 and the OSD are superimposed. Further, the CPU 210 associates the determined file ID with the image data of the display image, and stores it in the storage unit such as the RAM 215.
Next, in step S80, the CPU 210 (output request generation unit 228) of the camera 30 generates an output request JOB in which a file ID is set as an image output command to the projector 20 as an external device. Further, the CPU 210 of the camera 30 transmits the generated output request JOB to the projector 20 via the USB IF 208.

一方、ステップS60において、同一の表示画像が記憶されている場合、ステップS90に処理を進める。ステップS90では、カメラ30のCPU210(出力要求生成部228)は、表示画像と同一の表示画像の画像データに関連付けられたファイルIDを取得して、出力要求JOBを生成する。更に、カメラ30のCPU210は、生成した出力要求JOBを、USB用IF208を介して、プロジェクタ20に送信する。   On the other hand, if the same display image is stored in step S60, the process proceeds to step S90. In step S90, the CPU 210 (output request generation unit 228) of the camera 30 acquires a file ID associated with the image data of the same display image as the display image, and generates an output request JOB. Further, the CPU 210 of the camera 30 transmits the generated output request JOB to the projector 20 via the USB IF 208.

その後、ステップS130では、カメラ30のCPU210は、送信要求情報を受信する。
次に、ステップS150では、カメラ30のCPU210は、ステップS400で生成した画像データを、USB用IF208を介して、プロジェクタ20に送信する。
Thereafter, in step S130, the CPU 210 of the camera 30 receives the transmission request information.
Next, in step S150, the CPU 210 of the camera 30 transmits the image data generated in step S400 to the projector 20 via the USB IF 208.

このように、本実施形態のカメラ30は、LCD画面201に表示画像が表示した後に、画像データを生成している。したがって、カメラ30は、画像データ送信要求情報を受信すると、すぐに画像データを送信することができ、画像データ送信要求情報を受信してから画像データを送信するまでの時間を短縮させることができる。
また、カメラ30は、LCD画面201に表示した表示画像と記憶部に記憶されている表示画像とが同じであるかを生成した画像データ同士で比較しているので、比較するためのデータを新たに作成して記憶する必要がなく、メモリを有効に使用することができる。
As described above, the camera 30 of the present embodiment generates image data after the display image is displayed on the LCD screen 201. Accordingly, when the camera 30 receives the image data transmission request information, the camera 30 can immediately transmit the image data, and the time from the reception of the image data transmission request information to the transmission of the image data can be shortened. .
In addition, since the camera 30 compares the generated image data with each other to determine whether the display image displayed on the LCD screen 201 is the same as the display image stored in the storage unit, new data for comparison is added. Therefore, the memory can be used effectively.

なお、上述した第1の実施形態及び第2の実施形態では、撮影画像を表示する場合について説明したが、この場合に限られない。例えば、撮影されていない画像を表示する場合であっても適用することができる。
また、上述した第1の実施形態及び第2の実施形態では、ユーザによる操作キーに応じて、画像をLCD画面に表示する場合について説明したが、この場合に限られない。例えば、画像供給装置のメモリカード等に記憶されている複数の画像を所定時間ごとに切り替えて表示させる、いわゆるスライド表示であっても、表示装置に表示させることができる。
In the first and second embodiments described above, the case where the captured image is displayed has been described. However, the present invention is not limited to this case. For example, the present invention can be applied even when displaying an image that has not been shot.
In the first embodiment and the second embodiment described above, the case where an image is displayed on the LCD screen according to an operation key by the user has been described. However, the present invention is not limited to this case. For example, even a so-called slide display in which a plurality of images stored in a memory card or the like of the image supply device are switched and displayed at predetermined time intervals can be displayed on the display device.

ダイレクトプロジェクションシステム全体の外観構成を示す図である。It is a figure which shows the external appearance structure of the whole direct projection system. プロジェクタとカメラとの内部構成及び一部外観構成を示す図である。It is a figure which shows the internal structure and partial external appearance structure of a projector and a camera. ピクトブリッジプロトコルを説明するための図である。It is a figure for demonstrating the PictBridge protocol. 第1の実施形態に係るダイレクトプロジェクションシステムの動作処理を示すフローチャートである。It is a flowchart which shows the operation | movement process of the direct projection system which concerns on 1st Embodiment. LCD画面の表示画像が遷移する状態を示す図である。It is a figure which shows the state which the display image of a LCD screen changes. 外部装置が印刷装置である場合の処理を示すフローチャートである。10 is a flowchart illustrating processing when the external device is a printing device. 第2の実施形態に係るダイレクトプロジェクションシステムの動作処理を示すフローチャートである。It is a flowchart which shows the operation | movement process of the direct projection system which concerns on 2nd Embodiment.

10 ダイレクトプロジェクションシステム
20 プロジェクタ
30 カメラ
104 CPU
105 投写エンジン
106 ROM
107 RAM
108 デコーダ
109 エンコーダ
113 キャッシュ
201 LCD画面
202 操作キー
203 駆動モード切替スイッチ
204 ダイレクト出力ボタン
205 メニュー画面表示ボタン
206 シャッター
207 表示モード切替スイッチ
208 USB用IF
209 USB用回路
210 CPU
221 画像処理部
222 判別部
224 OSD作成部
225 生成部
226 ID付与部
227 判定部
228 出力要求生成部
10 Direct Projection System 20 Projector 30 Camera 104 CPU
105 Projection engine 106 ROM
107 RAM
108 Decoder 109 Encoder 113 Cache 201 LCD Screen 202 Operation Key 203 Drive Mode Change Switch 204 Direct Output Button 205 Menu Screen Display Button 206 Shutter 207 Display Mode Change Switch 208 USB IF
209 USB circuit 210 CPU
221 Image processing unit 222 Discrimination unit 224 OSD creation unit 225 generation unit 226 ID assigning unit 227 determination unit 228 output request generation unit

Claims (12)

画像を表示する画像表示部を具備し、表示装置との間で通信可能な画像供給装置であって、
当該画像表示部の表示状態に対応した画像データを生成する生成手段と、
前記画像表示部に表示されている状態が異なるごとに、当該画像表示部の表示状態に対応して前記生成手段で生成された前記画像データに対してそれぞれ異なる識別情報を付与する識別情報付与手段と、
出力対象の画像を指定する情報として、前記識別情報付与手段により付与された識別情報を記述した出力要求情報を生成する出力要求情報生成手段と、
前記出力要求情報生成手段により生成された出力要求情報を前記表示装置に送信する出力要求情報送信手段とを有することを特徴とする画像供給装置。
An image supply device that includes an image display unit that displays an image and can communicate with a display device,
Generating means for generating image data corresponding to the display state of the image display unit;
Identification information providing means for assigning different identification information to the image data generated by the generating means corresponding to the display state of the image display section each time the state displayed on the image display section is different When,
Output request information generating means for generating output request information describing the identification information given by the identification information giving means as information for designating an image to be output;
An image supply apparatus comprising: output request information transmitting means for transmitting the output request information generated by the output request information generating means to the display device.
前記生成手段で生成された前記画像データと前記識別情報付与手段により付与された識別情報とを関連付けて記憶する記憶処理手段と、
前記画像表示部に表示される状態が変更された場合に、前記変更された後の表示の状態が、前記記憶処理手段において記憶された前記画像データに対応した表示状態と同一であるか否かを判定する判定手段とを更に有し、
前記判定手段により、同一であると判定された場合、
前記出力要求情報生成手段は、同一であると判定された前記画像データに関連付けられた識別情報を設定した出力要求情報を生成することを特徴とする請求項1に記載の画像供給装置。
Storage processing means for associating and storing the image data generated by the generating means and the identification information given by the identification information giving means;
When the state in which the image display unit that is displayed is changed, the the changed display state after, whether the same as the display state corresponding to stored the image data in the storage processing unit And determining means for determining
When it is determined by the determination means that they are the same,
The image supply apparatus according to claim 1, wherein the output request information generation unit generates output request information in which identification information associated with the image data determined to be the same is set.
前記出力要求情報に記述された前記識別情報を用いて、前記表示装置から画像データ送信要求情報を受信したことに応じて、受信した前記識別情報に対応する前記画像データを前記表示装置に送信する画像送信手段を更に有することを特徴とする請求項1又は2に記載の画像供給装置。 Using said identification information described in the output request information, the display device in response to receiving the image data transmission request information from, and transmits the image data corresponding to said received identification information to the display device The image supply device according to claim 1, further comprising an image transmission unit. 前記画像データは、画像ファイルに基づく画像と共に表示されるOSDを用いて生成されることを特徴とする請求項1乃至3の何れか1項に記載の画像供給装置。 The image supply device according to claim 1 , wherein the image data is generated using an OSD displayed together with an image based on an image file . 前記表示装置との間の通信プロトコルは、印刷用の通信プロトコルであって、
前記出力要求情報は、前記識別情報が設定された印刷要求JOBであることを特徴とする請求項1乃至4の何れか1項に記載の画像供給装置。
The communication protocol with the display device is a communication protocol for printing,
The image supply apparatus according to claim 1, wherein the output request information is a print request JOB in which the identification information is set.
ユーザが該画像供給装置の操作を行うための操作部を更に具備し、
前記操作部に対するユーザによる操作に応じて表示される状態が変更され、
前記識別情報付与手段は、表示される状態が変更されるごとに識別情報を付与すると共に、前記生成手段で生成された前記画像データを表示装置に送信することを特徴とする請求項1に記載の画像供給装置。
An operation unit for a user to operate the image supply apparatus;
The state displayed according to the user's operation on the operation unit is changed,
The said identification information provision means gives identification information whenever the state displayed is changed, and transmits the said image data produced | generated by the said production | generation means to a display apparatus. Image supply device.
画像を表示する画像表示部を具備し、外部装置との間で通信可能な画像供給装置であって、
画像データを記憶する記憶媒体から画像データを読み出す読み出し手段と、
通信する外部装置の種別を判別する外部装置判別手段と、
出力対象の画像を指定する情報としての識別情報を生成する識別情報生成手段と、
出力対象の画像を指定する情報として、前記識別情報生成手段で生成された識別情報を記述した出力要求情報を生成する出力要求情報生成手段と、
前記出力要求情報生成手段により生成された出力要求情報を前記外部装置に送信する出力要求情報送信手段とを有し、
前記外部装置判別手段により外部装置が印刷装置と判定した場合、
前記識別情報生成手段は、前記記憶媒体に記憶されている画像データごとに異なる識別情報を生成し、
前記外部装置判別手段により外部装置が表示装置と判定した場合、
前記識別情報生成手段は、前記画像表示部に表示されている内容が異なるごとに、当該画像表示部の表示状態を示す表示画像に対して、それぞれ異なる識別情報を生成することを特徴とする画像供給装置。
An image supply device comprising an image display unit for displaying an image and capable of communicating with an external device,
Reading means for reading image data from a storage medium for storing image data;
An external device discriminating means for discriminating the type of external device to communicate;
Identification information generating means for generating identification information as information for designating an image to be output;
Output request information generating means for generating output request information describing the identification information generated by the identification information generating means, as information for designating an image to be output;
Output request information transmitting means for transmitting the output request information generated by the output request information generating means to the external device;
When the external device is determined to be a printing device by the external device determination means,
The identification information generation means generates different identification information for each image data stored in the storage medium,
When the external device is determined to be a display device by the external device determination means,
The identification information generation unit generates different identification information for a display image indicating a display state of the image display unit every time content displayed on the image display unit is different. Feeding device.
前記画像表示部の表示状態を示す表示画像には、OSDが含まれていることを特徴とする請求項7に記載の画像供給装置。   The image supply apparatus according to claim 7, wherein the display image indicating the display state of the image display unit includes an OSD. 前記表示装置との間の通信プロトコルは、印刷用の通信プロトコルであって、
前記出力要求情報は、前記識別情報が設定された印刷要求JOBであることを特徴とする請求項7又は8に記載の画像供給装置。
The communication protocol with the display device is a communication protocol for printing,
The image supply apparatus according to claim 7, wherein the output request information is a print request JOB in which the identification information is set.
画像を表示する画像表示部を具備する画像供給装置と、画像を出力する画像出力部を具備する表示装置とが通信可能な表示システムであって、
前記画像供給装置は、
当該画像表示部の表示状態に対応した画像データを生成する生成手段と、
前記画像表示部に表示されている状態が異なるごとに、当該画像表示部の表示状態に対応して前記生成手段で生成された前記画像データに対してそれぞれ異なる識別情報を付与する識別情報付与手段と、
出力対象の画像を指定する情報として、前記識別情報付与手段により付与された識別情報を記述した出力要求情報を生成する出力要求情報生成手段と、
前記出力要求情報生成手段により生成された出力要求情報を前記表示装置に送信する出力要求情報送信手段とを有し、
前記表示装置は、
前記識別情報が記述された出力要求情報を受信する出力要求情報受信手段と、
前記出力要求情報受信手段により受信された出力要求情報に記述された識別情報が記憶部に記憶されているか否かを判定する識別情報判定手段と、
前記識別情報判定手段による判定の結果に応じて、前記識別情報に関連付けて記憶されている画像データを、前記画像出力部を介して出力する画像出力手段とを有することを特徴とする表示システム。
An image supply apparatus including an image display unit that displays an image and a display system including an image output unit that outputs an image can communicate with each other,
The image supply device includes:
Generating means for generating image data corresponding to the display state of the image display unit;
Identification information providing means for assigning different identification information to the image data generated by the generating means corresponding to the display state of the image display section each time the state displayed on the image display section is different When,
Output request information generating means for generating output request information describing the identification information given by the identification information giving means as information for designating an image to be output;
Output request information transmitting means for transmitting the output request information generated by the output request information generating means to the display device;
The display device
Output request information receiving means for receiving output request information in which the identification information is described;
Identification information determining means for determining whether or not the identification information described in the output request information received by the output request information receiving means is stored in a storage unit;
A display system comprising: image output means for outputting image data stored in association with the identification information via the image output unit in accordance with a result of determination by the identification information determination means.
画像を表示する画像表示部を具備し、表示装置との間で通信可能な画像供給装置における画像供給方法であって、
当該画像表示部の表示状態に対応した画像データを生成する生成ステップと、
前記画像表示部に表示されている状態が異なるごとに、当該画像表示部の表示状態に対応して前記生成ステップで生成された前記画像データに対してそれぞれ異なる識別情報を付与する識別情報付与ステップと、
出力対象の画像を指定する情報として、前記識別情報付与ステップで付与された識別情報を記述した出力要求情報を生成する出力要求情報生成ステップと、
前記出力要求情報生成ステップにより生成された出力要求情報を前記表示装置に送信する出力要求情報送信ステップとを有することを特徴とする画像供給方法。
An image supply method in an image supply apparatus comprising an image display unit for displaying an image and capable of communicating with a display apparatus,
A generation step of generating image data corresponding to the display state of the image display unit;
An identification information providing step of giving different identification information to the image data generated in the generation step corresponding to the display state of the image display unit every time the state displayed on the image display unit is different When,
An output request information generating step for generating output request information describing the identification information given in the identification information giving step as information for designating an output target image;
An image supply method comprising: an output request information transmission step of transmitting the output request information generated in the output request information generation step to the display device.
画像を表示する画像表示部を具備し、外部装置との間で通信可能な画像供給装置における画像供給方法であって、
画像データを記憶する記憶媒体から画像データを読み出す読み出しステップと、
通信する外部装置の種別を判別する外部装置判別ステップと、
出力対象の画像を指定する情報としての識別情報を生成する識別情報生成ステップと、
出力対象の画像を指定する情報として、前記識別情報生成ステップで生成された識別情報を記述した出力要求情報を生成する出力要求情報生成ステップと、
前記出力要求情報生成ステップにより生成された出力要求情報を前記外部装置に送信する出力要求情報送信ステップとを有し、
前記外部装置判別ステップで外部装置が印刷装置と判定した場合、
前記識別情報生成ステップでは、前記記憶媒体に記憶されている画像データごとに異なる識別情報を生成し、
前記外部装置判別ステップで外部装置が表示装置と判定した場合、
前記識別情報生成ステップでは、前記画像表示部に表示されている内容が異なるごとに、当該画像表示部の表示状態を示す表示画像に対して、それぞれ異なる識別情報を生成することを特徴とする画像供給方法。
An image supply method in an image supply apparatus comprising an image display unit for displaying an image and capable of communicating with an external device,
A reading step of reading out the image data from a storage medium for storing the image data;
An external device determining step for determining the type of external device to communicate;
An identification information generation step for generating identification information as information for designating an image to be output;
An output request information generation step for generating output request information describing the identification information generated in the identification information generation step as information for specifying an image to be output;
An output request information transmission step of transmitting the output request information generated by the output request information generation step to the external device;
When the external device is determined to be a printing device in the external device determination step,
In the identification information generation step, different identification information is generated for each image data stored in the storage medium,
When the external device is determined to be a display device in the external device determination step,
In the identification information generation step, each time the contents displayed on the image display unit are different, different identification information is generated for the display image indicating the display state of the image display unit. Supply method.
JP2009013352A 2009-01-23 2009-01-23 Image supply apparatus, display system, and image supply method Expired - Fee Related JP5312062B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009013352A JP5312062B2 (en) 2009-01-23 2009-01-23 Image supply apparatus, display system, and image supply method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009013352A JP5312062B2 (en) 2009-01-23 2009-01-23 Image supply apparatus, display system, and image supply method

Publications (3)

Publication Number Publication Date
JP2010171809A JP2010171809A (en) 2010-08-05
JP2010171809A5 JP2010171809A5 (en) 2012-03-08
JP5312062B2 true JP5312062B2 (en) 2013-10-09

Family

ID=42703489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009013352A Expired - Fee Related JP5312062B2 (en) 2009-01-23 2009-01-23 Image supply apparatus, display system, and image supply method

Country Status (1)

Country Link
JP (1) JP5312062B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6429164B2 (en) * 2014-09-12 2018-11-28 パナソニックIpマネジメント株式会社 Camera and lighting system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004147013A (en) * 2002-10-23 2004-05-20 Seiko Epson Corp Image display system, image input device used therefor, image display device, and image display control method
JP2005130394A (en) * 2003-10-27 2005-05-19 Olympus Corp Direct projecting apparatus and program thereof

Also Published As

Publication number Publication date
JP2010171809A (en) 2010-08-05

Similar Documents

Publication Publication Date Title
US20160269578A1 (en) Head mounted display apparatus and method for connecting head mounted display apparatus to external device
JP2015075832A (en) Ar display system, ar display device, information processor, and program
JP5608981B2 (en) Image display system and image display apparatus
US8284443B2 (en) Apparatus and system for managing form data obtained from outside system
US20150358513A1 (en) Electronic device
US20130208309A1 (en) Remote operation system, image forming apparatus, remote operation apparatus, and recording medium
JP5312062B2 (en) Image supply apparatus, display system, and image supply method
JP4872482B2 (en) Remote support device, remote support system, and remote support method
US12034893B2 (en) Image forming apparatus and information processing apparatus, capable of performing memory reception of facsimile data, methods of controlling image forming apparatus and information processing apparatus, and storage medium
JP5206621B2 (en) Image processing system
JP2006056039A (en) Photo-direct printer
JP4353037B2 (en) Direct print system
JP7740027B2 (en) Information processing device, information display system, and information display method
JP4561272B2 (en) Direct print system
JP4717543B2 (en) Image editing apparatus, control method therefor, program, and storage medium
KR101201227B1 (en) Mage forming apparatus and multi crop image forming method thereof
JP2010183286A (en) Image supplying apparatus, method, and program
JP2008065802A (en) Image information transmitting apparatus, printer apparatus, and image information transfer system
JP4715684B2 (en) Image formation control device
JP4918145B2 (en) Device device and mode switching method thereof
JP5379425B2 (en) Image output apparatus and control method thereof
JP4715893B2 (en) Image input / output system
JP4262280B2 (en) Image processing apparatus, control method therefor, and program
JP2011035448A (en) Image display system, image processing apparatus and display apparatus
JP4089741B2 (en) Image processing device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130702

R151 Written notification of patent or utility model registration

Ref document number: 5312062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees