Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5013982B2 - Image transmitting apparatus, control method therefor, and program - Google Patents
[go: Go Back, main page]

JP5013982B2 - Image transmitting apparatus, control method therefor, and program - Google Patents

Image transmitting apparatus, control method therefor, and program Download PDF

Info

Publication number
JP5013982B2
JP5013982B2 JP2007155377A JP2007155377A JP5013982B2 JP 5013982 B2 JP5013982 B2 JP 5013982B2 JP 2007155377 A JP2007155377 A JP 2007155377A JP 2007155377 A JP2007155377 A JP 2007155377A JP 5013982 B2 JP5013982 B2 JP 5013982B2
Authority
JP
Japan
Prior art keywords
image data
image
transmission
identification information
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007155377A
Other languages
Japanese (ja)
Other versions
JP2008311749A (en
JP2008311749A5 (en
Inventor
直隆 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007155377A priority Critical patent/JP5013982B2/en
Publication of JP2008311749A publication Critical patent/JP2008311749A/en
Publication of JP2008311749A5 publication Critical patent/JP2008311749A5/ja
Application granted granted Critical
Publication of JP5013982B2 publication Critical patent/JP5013982B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、画像データを外部機器に対して送信可能な画像送信装置及びその制御方法、プログラムに関する。 The present invention relates to an image transmission apparatus capable of transmitting image data to an external device, a control method thereof, and a program.

近年、デジタルカメラの普及に伴い、撮像された被写体の画像データをパーソナルコンピュータ(PC)、他のデジタルカメラやプリンタ等の外部装置に送信することが行われている。   In recent years, with the spread of digital cameras, image data of captured subjects is transmitted to an external device such as a personal computer (PC), another digital camera, or a printer.

画像データの送信に関して、必要な画像データを特定の装置に送信する手段として、外部装置の所有者情報と撮像された画像データ中の被写体情報とを照合し、一致した場合、画像データを外部装置へ伝送することが開示されている(特許文献1参照)。   Regarding transmission of image data, as means for transmitting necessary image data to a specific device, the owner information of the external device is compared with subject information in the captured image data, and if they match, the image data is transferred to the external device. (See Patent Document 1).

また、第2の画像伝送システムに格納してある画像データの中から第2の所有者と親密度が高い人物の特徴量を検出して、その特徴量を第1の画像伝送システムへ送信する。さらに、第1の画像伝送システムで特徴量を用いて画像を検索し、第2の画像伝送システムの所有者が所望する画像を自動的に選択して伝送する発明も開示されている(特許文献2参照)。
特開2005−252457 特開2006−079458
In addition, the feature amount of the person who is close to the second owner is detected from the image data stored in the second image transmission system, and the feature amount is transmitted to the first image transmission system. . Furthermore, an invention is also disclosed in which an image is searched using a feature amount in the first image transmission system, and an image desired by the owner of the second image transmission system is automatically selected and transmitted (Patent Document). 2).
JP-A-2005-252457 JP2006-079458

しかし、特許文献1に記載されている画像伝送システムでは、複数枚の画像を一括して送信する方法について述べられていない。同じ送信先へ画像データを複数枚送信したい場合には、画像データに対して一枚ずつ送信先を指定するよりも、複数枚の画像データでまとめて送信先を指定できる方が効率がよく、ユーザに対する送信先確認の負担を小さくできる。   However, the image transmission system described in Patent Document 1 does not describe a method for transmitting a plurality of images at once. If you want to send multiple image data to the same destination, it is more efficient to specify the destination collectively with multiple image data than to specify the destination for the image data one by one, The burden of confirming the transmission destination for the user can be reduced.

また、特許文献2に記載されている画像伝送システムでは、検索した画像データを一括して送信する際に、送信に失敗した場合の動作が記述されていない。何らかの原因で送信がエラーとなったり、接続先の機器が有線接続で物理的に接続されていなかったり、無線接続で電波環境が悪くて通信が行えないような場合には、画像を検索して送信画像を選択する動作が無駄になってしまう。   Further, in the image transmission system described in Patent Document 2, when the searched image data is transmitted all at once, the operation when the transmission fails is not described. If for some reason the transmission fails, the connected device is not physically connected via a wired connection, or the radio wave environment is poor due to a wireless connection, search for images. The operation of selecting a transmission image is wasted.

本発明は上記問題点を鑑みてなされたものであり、機器間で画像を送信する場合に、簡易に送信先の装置へ所望の画像を一括送信する手段を提供することを目的とする。   The present invention has been made in view of the above-described problems, and an object of the present invention is to provide means for easily transmitting a desired image to a transmission destination apparatus in a batch when transmitting an image between devices.

本発明に係る画像送信装置は、記録媒体と接続する接続手段と、画像データを送信する送信手段と、前記記録媒体に記録された複数の画像データのうち、送信先の装置に送信する画像データを選択する第1の選択手段と、前記第1の選択手段によって選択された画像データから識別情報を検出する検出手段と、前記送信手段により前記第1の選択手段により選択された画像データを送信している間に、記録媒体に記録された複数の画像データから、前記検出手段により検出された識別情報を持つ画像データを検索する検索手段と、前記検索手段により検索された画像データを、前記外部装置に送信する画像データとして選択する第2の選択手段とを有することを特徴とする An image transmission apparatus according to the present invention includes a connection means for connecting to a recording medium, a transmission means for transmitting image data, and image data to be transmitted to a transmission destination apparatus among a plurality of image data recorded on the recording medium. A first selecting unit that selects the image data, a detecting unit that detects identification information from the image data selected by the first selecting unit, and the image data selected by the first selecting unit is transmitted by the transmitting unit. While searching, search means for searching image data having identification information detected by the detection means from a plurality of image data recorded on a recording medium, and the image data searched by the search means, And second selection means for selecting image data to be transmitted to an external device .

本発明によれば、画像を送信する際に、送信中の画像と類似した画像を検索することで、ユーザが簡易に所望の画像データを得ることができる。   According to the present invention, when transmitting an image, a user can easily obtain desired image data by searching for an image similar to the image being transmitted.

以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。   Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the constituent elements described in this embodiment are merely examples, and are not intended to limit the scope of the present invention only to them.

(第1の実施形態)
本実施形態において、画像送信装置をデジタルカメラとし、デジタルカメラで撮影した画像データを、外部機器である他のデジタルカメラへ送信する場合について説明する。
(First embodiment)
In this embodiment, a case will be described in which an image transmission apparatus is a digital camera and image data captured by the digital camera is transmitted to another digital camera that is an external device.

図1は、本発明の実施形態における画像送信装置であるデジタルカメラの構成を示したものである。以下、本発明の実施形態におけるデジタルカメラの構成について説明する。   FIG. 1 shows a configuration of a digital camera which is an image transmission apparatus according to an embodiment of the present invention. Hereinafter, the configuration of the digital camera in the embodiment of the present invention will be described.

1はデジタルカメラである。2は撮影レンズ、3は絞り機能を備えるシャッター、4は光学像を電気信号に変換する撮像素子、5は撮像素子4のアナログ信号出力をデジタル信号に変換するA/D変換器である。   Reference numeral 1 denotes a digital camera. Reference numeral 2 denotes a photographing lens, 3 denotes a shutter having a diaphragm function, 4 denotes an image sensor that converts an optical image into an electric signal, and 5 denotes an A / D converter that converts an analog signal output from the image sensor 4 into a digital signal.

6は、撮像素子4、A/D変換器5、D/A変換器7にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路8及びシステム制御回路9により制御される。   Reference numeral 6 denotes a timing generation circuit that supplies a clock signal and a control signal to the image sensor 4, the A / D converter 5, and the D / A converter 7, and is controlled by the memory control circuit 8 and the system control circuit 9.

10は画像処理回路であり、A/D変換器5からのデータ或いはメモリ制御回路8からのデータに対して所定の画素補間処理や色変換処理を行う。   An image processing circuit 10 performs predetermined pixel interpolation processing and color conversion processing on the data from the A / D converter 5 or the data from the memory control circuit 8.

8はメモリ制御回路であり、A/D変換器5、タイミング発生回路6、画像処理回路10、画像表示メモリ11、D/A変換器7、メモリ12を制御する。   A memory control circuit 8 controls the A / D converter 5, the timing generation circuit 6, the image processing circuit 10, the image display memory 11, the D / A converter 7, and the memory 12.

A/D変換器5のデータが画像処理回路10、メモリ制御回路8を介して、或いはA/D変換器5のデータが直接メモリ制御回路8を介して、画像表示メモリ11或いはメモリ12に書き込まれる。   The data of the A / D converter 5 is written into the image display memory 11 or the memory 12 via the image processing circuit 10 and the memory control circuit 8 or the data of the A / D converter 5 is directly passed through the memory control circuit 8. It is.

11は画像表示メモリ、7はD/A変換器、13はTFT LCD等から成る画像表示部であり、画像表示メモリ11に書き込まれた表示用の画像データはD/A変換器7を介して画像表示部13により表示される。   Reference numeral 11 denotes an image display memory, 7 denotes a D / A converter, 13 denotes an image display unit including a TFT LCD, and the image data for display written in the image display memory 11 passes through the D / A converter 7. It is displayed by the image display unit 13.

画像表示部13を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。   If the image data captured using the image display unit 13 is sequentially displayed, the electronic viewfinder function can be realized.

12は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。   Reference numeral 12 denotes a memory for storing captured still images and moving images, which has a sufficient storage capacity to store a predetermined number of still images and a predetermined time of moving images.

14は絞り機能を備えるシャッター3を制御する露光制御ユニットであり、フラッシュ17と連携することによりフラッシュ調光機能も有するものである。   Reference numeral 14 denotes an exposure control unit that controls the shutter 3 having a diaphragm function, and has a flash light control function in cooperation with the flash 17.

15は撮影レンズ2のフォーカシングを制御する測距制御ユニット、16は撮影レンズ2のズーミングを制御するズーム制御ユニットである。   Reference numeral 15 denotes a distance measurement control unit that controls the focusing of the photographing lens 2, and reference numeral 16 denotes a zoom control unit that controls the zooming of the photographing lens 2.

17はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。   Reference numeral 17 denotes a flash which has an AF auxiliary light projecting function and a flash light control function.

9はデジタルカメラ1全体を制御するシステム制御回路、20はシステム制御回路9の動作用の定数、変数、プログラム等を記憶するメモリである。   Reference numeral 9 denotes a system control circuit that controls the entire digital camera 1, and reference numeral 20 denotes a memory that stores constants, variables, programs, and the like for operation of the system control circuit 9.

18は電源制御ユニットで、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御ユニット18は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路9の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。   Reference numeral 18 denotes a power supply control unit, which includes a battery detection circuit, a DC-DC converter, a switch circuit for switching a block to be energized, and the like. The power supply control unit 18 detects the presence / absence of a battery, the type of battery, and the remaining battery level, controls the DC-DC converter based on the detection result and an instruction from the system control circuit 9, and requires a necessary voltage. It is supplied to each part including the recording medium for a period.

19はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源ユニットである。   A power unit 19 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery, an AC adapter, or the like.

21はシステム制御回路9でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。表示部21は、デジタルカメラ1の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。   Reference numeral 21 denotes a display unit such as a liquid crystal display device or a speaker that displays an operation state, a message, and the like using characters, images, sounds, and the like according to execution of a program in the system control circuit 9. The display unit 21 is installed at a single or a plurality of positions near the operation unit of the digital camera 1 so as to be easily visible, and is configured by a combination of, for example, an LCD, an LED, and a sounding element.

22は電気的に消去・記録可能な不揮発性メモリである。ここに機器の無線接続情報を記憶することができる。   Reference numeral 22 denotes an electrically erasable / recordable nonvolatile memory. The wireless connection information of the device can be stored here.

23はメモリカードを接続する為のメモリカードインタフェースであり、24は外部機器とUSBを用いて接続する為のUSBインタフェースである。   Reference numeral 23 denotes a memory card interface for connecting a memory card, and reference numeral 24 denotes a USB interface for connecting to an external device using a USB.

25は、システム制御回路9の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。   Reference numeral 25 denotes an operation unit for inputting various operation instructions of the system control circuit 9, and is configured by a single or a combination of a switch, a dial, a touch panel, pointing by gaze detection, a voice recognition device, and the like.

26はシャッタースイッチで、撮像素子4から読み出した信号をA/D変換器5、メモリ制御回路8を介してメモリ12に画像データを書き込む露光処理、画像処理回路10やメモリ制御回路8での演算を用いた現像処理という一連の処理の動作開始を指示する。   Reference numeral 26 denotes a shutter switch, which is an exposure process for writing image data into the memory 12 through the A / D converter 5 and the memory control circuit 8 through the signal read from the image sensor 4, and an operation in the image processing circuit 10 and the memory control circuit 8. Instructs the start of a series of processing operations such as development processing using.

27は無線通信回路であり、無線信号を送受信し、無線通信を制御する。28は他の機器と無線通信を行うためのアンテナである。   Reference numeral 27 denotes a wireless communication circuit that transmits and receives wireless signals and controls wireless communication. Reference numeral 28 denotes an antenna for performing wireless communication with other devices.

図2は、本発明における画像送信装置と送信先の装置とで構成される無線ネットワーク例を示したものである。   FIG. 2 shows an example of a wireless network composed of an image transmission apparatus and a transmission destination apparatus in the present invention.

ここでは、画像送信装置であるデジタルカメラ1と、送信先の装置であるデジタルカメラ201、202、203が無線接続可能であることを示している。デジタルカメラ201、202、203は、図1で示したデジタルカメラ1と同様の構成であるとする。これらの機器はそれぞれ無線接続情報をメモリ上に記憶しており、その情報に基づいて画像送信装置であるデジタルカメラ1との接続動作や画像送受信動作を行う。   Here, it is shown that the digital camera 1 that is an image transmission device and the digital cameras 201, 202, and 203 that are transmission destination devices can be wirelessly connected. Assume that the digital cameras 201, 202, and 203 have the same configuration as the digital camera 1 shown in FIG. Each of these devices stores wireless connection information on a memory, and performs a connection operation and an image transmission / reception operation with the digital camera 1 that is an image transmission device based on the information.

図3は、無線接続情報と外部機器の所有者の識別情報とを関連付けた管理データテーブル300を示したものであり、画像送信装置に記憶されている。   FIG. 3 shows a management data table 300 that associates wireless connection information with identification information of the owner of an external device, and is stored in the image transmission apparatus.

管理データテーブルは以下の構成からなる。   The management data table has the following configuration.

登録ナンバー301、複数の登録データを識別するための登録名302、画像データを送信する際に参照する送信先情報303、外部機器を特定するためのデバイスID304と、これらの情報と関連付けられた識別情報としての顔データ305から構成される。   A registration number 301, a registration name 302 for identifying a plurality of registration data, transmission destination information 303 to be referred to when transmitting image data, a device ID 304 for specifying an external device, and an identification associated with these pieces of information It consists of face data 305 as information.

識別情報としての顔データ305には、例えば、管理データの項目に対応する外部機器の所有者の顔データを登録しておくことができる。   In the face data 305 as identification information, for example, face data of the owner of the external device corresponding to the management data item can be registered.

また、管理データの登録方法は、画像送信装置の操作部25によって、画像データから登録する顔データを切り出したうえで、登録名、デバイスID、無線パラメータをソフトウェアキーボードなどで入力する方法が考えられる。また、PCとデジタルカメラを接続し予めPCで作成しておいた管理データをカメラへ送信する方法など、いくつかの手法が考えられるが、その登録手法は本発明を限定するものではない。   As a management data registration method, it is conceivable that the face data to be registered is cut out from the image data by the operation unit 25 of the image transmission apparatus, and the registration name, device ID, and wireless parameters are input using a software keyboard or the like. . In addition, several methods are conceivable, such as a method of connecting a PC and a digital camera and transmitting management data created in advance by the PC to the camera, but the registration method does not limit the present invention.

送信先情報303は、機器同士で無線接続し画像データを送受信する際に必要となる接続プロトコルによって定められた様々な種類のパラメータである。   The transmission destination information 303 is various types of parameters determined by a connection protocol required when wirelessly connecting devices to transmit / receive image data.

例えば、WUSB(Wireless Universal Serial Bus)規格ではデータ暗号化として共通鍵暗号方式を採用しており、WUSBホスト機器とWUSBデバイス機器の間で共通鍵を生成する必要がある。その共通鍵を生成するためのマスター鍵(Connection Key)等からなるCC(Connection Context)を共有するための認証処理がWUSB規格で定義されており、Associationプロセスと呼ばれている。WUSB通信を確立するより前の時点で、そのAssociationプロセスに従ってWUSBホスト機器とWUSBデバイス機器でCCを共有しておく必要がある。この、接続対象となる機器とAssociationプロセスによって交換したCCや、機器間で生成されたデータ暗号化用の共通鍵などを送信先情報303として記憶する。また、接続先の機器を特定する情報として、他装置のIPアドレスやMACアドレスといった情報も記録されている。   For example, the WUSB (Wireless Universal Serial Bus) standard employs a common key encryption method for data encryption, and it is necessary to generate a common key between the WUSB host device and the WUSB device device. An authentication process for sharing a CC (Connection Context) composed of a master key (Connection Key) or the like for generating the common key is defined in the WUSB standard and is called an association process. Before establishing WUSB communication, it is necessary to share the CC between the WUSB host device and the WUSB device device according to the association process. The CC exchanged with the device to be connected by the association process, the common key for data encryption generated between the devices, and the like are stored as the transmission destination information 303. In addition, information such as an IP address and a MAC address of another device is also recorded as information for specifying a connection destination device.

さらに、CCに含まれる情報としてWUSBホスト機器を示す固有のID(Connection Host ID)、WUSBデバイス機器を示す固有のID(Connection Device ID)がある。これらの情報を、外部機器を特定するためのデバイスID304として記憶する。   Further, as information included in the CC, there is a unique ID (Connection Host ID) indicating a WUSB host device, and a unique ID (Connection Device ID) indicating a WUSB device device. These pieces of information are stored as a device ID 304 for specifying an external device.

なお、画像送信機器と外部機器がWUSBで接続する接続形態として、画像送信機器がホスト機器、外部機器がデバイス機器として接続する場合と、その逆の場合が考えられる。しかし、接続先情報303やデバイスID304はそれぞれの接続形態に対応するデータを保持する。   In addition, as a connection form in which the image transmission device and the external device are connected by WUSB, a case where the image transmission device is connected as a host device and an external device as a device device, and vice versa can be considered. However, the connection destination information 303 and the device ID 304 hold data corresponding to each connection form.

図4は、画像送信装置と送信先の装置とで画像データを送受信する動作について示したフローチャートである。   FIG. 4 is a flowchart illustrating an operation of transmitting and receiving image data between the image transmission apparatus and the transmission destination apparatus.

はじめに、画像送信装置に保存されている画像を表示装置21で選択可能に表示する(ステップ101)。ユーザは表示されている画像の中から送信先の装置に対して送信したい画像を選択する(ステップ102)。そしてユーザが選択した画像を送信先の装置に対して送信する(ステップ103)。   First, an image stored in the image transmission device is displayed on the display device 21 so as to be selectable (step 101). The user selects an image to be transmitted to the transmission destination apparatus from the displayed images (step 102). Then, the image selected by the user is transmitted to the destination device (step 103).

図5はユーザが送信したい画像を選択した画面について示したものである。表示されている画像501についてユーザが画像の送信を選択した後、OKボタン502を押下すると送信先の装置へ画像の送信を行う。   FIG. 5 shows a screen for selecting an image to be transmitted by the user. When the user selects image transmission for the displayed image 501 and then presses an OK button 502, the image is transmitted to the transmission destination apparatus.

画像の送信先について、ここでは画像の被写体の顔領域と管理データテーブル300を照合することにより決定する。   Here, the image transmission destination is determined by comparing the face area of the subject of the image with the management data table 300.

図5では画像認識によって、被写体の顔領域504が抽出されている。   In FIG. 5, the face area 504 of the subject is extracted by image recognition.

この顔領域と管理データテーブル300の識別情報305の顔データを照合すると、この顔領域と一致する顔データを登録しているのは管理データテーブル300の登録ナンバー2の項目であることが分かる。よって、この項目から送信先情報303の「WParam2」を読み出して送信先を決定し、画像データを送信する。戻るボタン503を押下すると、画像選択画面へ戻る。   When this face area is collated with the face data of the identification information 305 of the management data table 300, it is found that the face data matching the face area is registered in the item of registration number 2 in the management data table 300. Therefore, “WParam2” of the transmission destination information 303 is read from this item, the transmission destination is determined, and the image data is transmitted. When the return button 503 is pressed, the screen returns to the image selection screen.

次に、送信が指定された画像データを解析し、画像データから識別情報を抽出する(ステップ104)。   Next, the image data designated for transmission is analyzed, and identification information is extracted from the image data (step 104).

図5では画像から被写体の顔領域が選択されている。ここでは、ステップ103で画像の送信先を決定するのに使用したこの顔データを識別情報として抽出する。   In FIG. 5, the face area of the subject is selected from the image. Here, the face data used to determine the image transmission destination in step 103 is extracted as identification information.

次に、抽出された識別情報をもとにして画像の検索動作を行う(ステップ105)。画像送信装置に保存されている画像のうち、ステップ104で抽出された識別情報を持つ画像を検索する。ここでは、識別情報として顔データが抽出されているので、画像送信装置に保存されている画像の中でこの顔データが含まれるものを検索する。   Next, an image search operation is performed based on the extracted identification information (step 105). Of the images stored in the image transmission device, an image having the identification information extracted in step 104 is searched. Here, since the face data is extracted as the identification information, the image stored in the image transmitting apparatus is searched for one containing this face data.

ここで、画像送信装置に保存されている画像データから識別情報を検索する際に、現在の画像データの送信先である機器から受信した画像データは検索対象に含まない。例えば、画像データの送信先として管理データテーブル300から送信先情報303の「Wparam2」が指定されている場合、送信先の機器はデバイスID304より「BBB」となる。   Here, when searching for the identification information from the image data stored in the image transmission device, the image data received from the device that is the transmission destination of the current image data is not included in the search target. For example, when “Wparam2” of the transmission destination information 303 is designated from the management data table 300 as the transmission destination of the image data, the transmission destination device is “BBB” from the device ID 304.

ここで、画像送信装置が保存している画像データのうち、他の装置から受信した画像データについて送信元情報がヘッダ領域に記述されているとすると、識別情報を検索する際にヘッダ領域に「BBB」と記述されている画像データは検索対象から除く。こうすることで、送信先機器が保持している可能性が高い画像を送信することを防ぐことができる。   Here, if the transmission source information is described in the header area for the image data received from another apparatus among the image data stored in the image transmission apparatus, the header area is searched for the identification information. Image data described as “BBB” is excluded from the search target. By doing so, it is possible to prevent an image that is highly likely to be held by the transmission destination device from being transmitted.

送信先の機器が接続されていない場合や、その他通信エラーなどで画像送信が失敗した場合(ステップ106)は、続けて一括送信を行うことができないと考えられるので、送信が失敗したことをユーザに通知して(ステップ108)ステップ111へ進む。   If the destination device is not connected, or if image transmission fails due to other communication errors (step 106), it is considered that the batch transmission cannot be performed continuously. (Step 108), the process proceeds to step 111.

画像送信が成功した場合(ステップ106)、送信が完了したことを知らせると共に、送信した画像と類似した画像の一括送信を行うかどうかをユーザに判定させる表示を行う(ステップ107)。ユーザが画像送信に続けて一括送信の開始を指示したら(ステップ109)、画像の一括送信を行う。   When the image transmission is successful (step 106), a notification is made that the transmission has been completed, and a display for allowing the user to determine whether or not to perform batch transmission of images similar to the transmitted image is performed (step 107). When the user instructs the start of batch transmission following image transmission (step 109), batch transmission of images is performed.

図6は、ステップ103で送信した画像と類似した画像を一括して送信するかどうかを判断させる表示について示したものである。送信が完了したことを通知すると共に、ユーザに対して今送信した画像と類似した画像を送信するかどうか判断させる画面601を表示する。また、ここで一括送信する画像の枚数607を表示する。さらに、一括送信に要する予測時間606をユーザに表示する。予測時間の算出については、まずステップ103で送信した画像について送信に要した時間を記憶しておく。そして画像一枚の送信に要した時間に対して、一括送信する画像の枚数やデータサイズなどを考慮してその割合から予測送信時間を算出する。この時間を表示して、ユーザに予測送信時間を通知する。無線通信による画像送信では無線環境などにより常に一定の速度が出るとは限らないが、ここでは現在の無線環境状況をふまえた精度の高い予測送信時間をユーザに通知することができる。   FIG. 6 shows a display for determining whether images similar to the image transmitted in step 103 are to be transmitted in a lump. A screen 601 for notifying that the transmission has been completed and for allowing the user to determine whether or not to transmit an image similar to the image that has just been transmitted is displayed. Further, the number 607 of images to be transmitted at once is displayed. Further, the estimated time 606 required for batch transmission is displayed to the user. Regarding the calculation of the predicted time, first, the time required for transmission of the image transmitted in step 103 is stored. Then, the estimated transmission time is calculated from the ratio of the time required to transmit one image in consideration of the number of images to be transmitted at once and the data size. This time is displayed to notify the user of the estimated transmission time. In image transmission by wireless communication, a constant speed is not always obtained depending on the wireless environment or the like, but here, it is possible to notify the user of a highly accurate predicted transmission time based on the current wireless environment state.

さらに、ステップ104で抽出した顔データの表示608を行い、ユーザにどの人物が写っている画像を一括送信するのかをわかり易く通知する。   Furthermore, the display 608 of the face data extracted in step 104 is performed, and the user is notified in an easy-to-understand manner which images showing which persons are shown.

ユーザが続けて今送信した画像と類似した画像を一括で送信したいときはOKボタン602を押下して画像の一括送信を開始する。一括で送信する画像の内容を確認したい場合は、確認ボタン603を押下して内容を確認する。今送信した画像とは別の画像を送信したい場合や、撮像動作など別の動作を行いたい場合はキャンセルボタン604を押下して一括送信は行わず、ステップ111へ進む。   When the user wants to transmit images similar to the image that has been transmitted now in a batch, the user presses an OK button 602 to start the batch transmission of images. When it is desired to confirm the contents of the images to be transmitted in a batch, a confirmation button 603 is pressed to confirm the contents. If it is desired to transmit an image different from the image that has just been transmitted, or if another operation such as an imaging operation is to be performed, the cancel button 604 is pressed and batch transmission is not performed, and the process proceeds to step 111.

また、検索結果の画像について、ここで一括送信を開始しないで、送信予約を設定しておき、ユーザが任意のタイミングで一括送信を開始できるようにしてもよい。   In addition, with respect to the search result image, instead of starting batch transmission here, a transmission reservation may be set so that the user can start batch transmission at an arbitrary timing.

図7は、識別情報の検索結果を表示する画面を示したものである。   FIG. 7 shows a screen for displaying the search result of the identification information.

画像送信装置に保存されている画像の中で、ステップ104で抽出された識別情報である顔データを持つ画像の一覧が表示されている。それぞれの画像において、識別情報の顔データが判別し易いように表示枠701で強調表示されている。   A list of images having face data as identification information extracted in step 104 is displayed among images stored in the image transmission apparatus. In each image, face data of identification information is highlighted in a display frame 701 so that it can be easily identified.

ユーザはこれらの画像を確認し、一括して送信してよければ一括送信ボタン702を押下して画像の一括送信を行う。また、検索結果に送信したくない画像が含まれていた場合など、個別に送信する画像を指定したい場合には送信しない画像を個別に選択する。   The user confirms these images, and if it is acceptable to transmit them in a batch, the user presses the batch transmission button 702 to perform batch transmission of the images. Further, when it is desired to designate an image to be transmitted individually, such as when an image that is not desired to be transmitted is included in the search result, an image that is not to be transmitted is individually selected.

それぞれの画像に表示されているチェックボックス704からチェックを外すことで、その画像は送信されない。送信しない画像を選択した後、一括送信ボタン702を押下して画像の一括送信を行う。   By unchecking the check box 704 displayed for each image, the image is not transmitted. After selecting images not to be transmitted, a batch transmission button 702 is pressed to perform batch transmission of images.

ここでWUSBによって画像データの送受信を行う場合、WUSB規格に沿った4−way handshake処理で生成されたホスト機器とデバイス機器で共通の暗号鍵を使用してデータの暗号化を行い、他の機器に通信を解読されないようにする。   Here, when image data is transmitted / received by WUSB, data is encrypted using a common encryption key between the host device and the device device generated by the 4-way handshake process in accordance with the WUSB standard, and other devices are used. To prevent the communication from being deciphered.

画像データの送受信については、例えば上位の通信プロトコルとしてPTP(Picture Transfer Protocol)を使用して画像送信装置と送信先装置との間でセッションを確立し、データをやり取りすることができる。   With regard to transmission / reception of image data, for example, a session can be established between the image transmission apparatus and the transmission destination apparatus using PTP (Picture Transfer Protocol) as an upper communication protocol, and data can be exchanged.

ここで、画像送信装置がPTPの処理を開始する側であるInitiator、送信先装置がPTPのInitiatorからのリクエストに応答する側であるResponderとする。   Here, it is assumed that the initiator is the initiator that starts the PTP processing by the image transmission device, and the responder that is the response side to the request from the PTP initiator.

まず、画像送信装置と送信先装置との間でPTPのセッションを確立し、画像送信装置から撮影した画像データに関する情報を送信する。送信先装置は送信された情報の画像データサイズなどを確認し、受信可能であれば先程情報を受信した画像データを指定して、画像データ取得イベントを画像送信装置に送信する。ここで、画像データ取得イベントを受信した画像送信装置が送信先装置に対して画像データを送信する。   First, a PTP session is established between the image transmission apparatus and the transmission destination apparatus, and information about image data captured from the image transmission apparatus is transmitted. The transmission destination apparatus checks the image data size of the transmitted information, and if it can be received, designates the image data from which the information has been received and transmits an image data acquisition event to the image transmission apparatus. Here, the image transmission apparatus that has received the image data acquisition event transmits the image data to the transmission destination apparatus.

また、ここでも一括送信に要する予測時間705をユーザに表示する。ユーザが個別に送信する画像を指定して、一括送信する画像データの総数が変わった場合はその都度予測送信時間を再計算し、表示する。   Also here, the estimated time 705 required for batch transmission is displayed to the user. When the total number of image data to be collectively transmitted changes when the user designates images to be individually transmitted, the predicted transmission time is recalculated and displayed each time.

キャンセルボタン703が押下された場合は、一括送信は行わず、ステップ111へ進む。   When the cancel button 703 is pressed, batch transmission is not performed and the process proceeds to step 111.

次に、ステップ104で抽出した識別情報に対応する検索結果を保存する(ステップ111)。図8は、顔データ305に対応する検索結果を保存した管理データテーブルである。検索結果306に、ステップ105で検索された画像の情報を保存する。次回、同じ識別情報で画像を検索するときにはここで保存した検索結果を用いることで検索動作を効率的に行うことができる。   Next, the search result corresponding to the identification information extracted in step 104 is stored (step 111). FIG. 8 is a management data table storing search results corresponding to the face data 305. Information about the image searched in step 105 is stored in the search result 306. The next time the image is searched with the same identification information, the search operation can be efficiently performed by using the search result stored here.

前回の検索時より画像送信装置が保存している画像が増えた場合は、差分となる新しく増えた画像データについてのみ検索を行い、保存されているものとあわせて検索結果とすることができる。また、画像データが削除されるときは検索結果からその画像データを除いて検索結果を保存し直すことで画像送信装置が保存している画像データの増減に対応しながら検索動作を効率的に行うことができる。   When the number of images stored in the image transmission apparatus has increased since the previous search, it is possible to search only for the newly increased image data that is the difference, and to obtain a search result together with the stored data. When image data is deleted, the search result is removed from the search result and the search result is stored again, so that the search operation is efficiently performed while accommodating the increase or decrease of the image data stored in the image transmission apparatus. be able to.

また、ステップ107において、ユーザが一括送信せずに送信予約を設定した場合、ここで保存した検索結果の画像について送信予約が設定されていることを判別可能にしておき、ユーザの任意のタイミングで送信予約された画像を一括送信できるようにしてもよい。   In step 107, if the user sets a transmission reservation without performing batch transmission, it is possible to determine that the transmission reservation is set for the image of the search result stored here, and at any timing of the user. Images that have been reserved for transmission may be transmitted collectively.

上述したように、本実施形態によれば、外部の機器(送信先)に画像を送信している間に、送信中の画像と類似した画像を集めておき、ユーザが簡易に送信先の装置へ所望の画像を一括送信する手段を提供できる。   As described above, according to the present embodiment, while transmitting an image to an external device (transmission destination), images similar to the image being transmitted are collected and the user can easily transmit to the transmission destination device. It is possible to provide means for collectively transmitting desired images.

また、本実施形態によれば、ユーザが送信を指定した画像から識別情報を抽出し、その識別情報をもとに画像の検索を行うので、ユーザが検索する画像の条件を指定する手間を省くことができる。   In addition, according to the present embodiment, identification information is extracted from an image designated for transmission by the user, and an image is searched based on the identification information, so that the user is not required to specify conditions for the image to be retrieved. be able to.

また、本実施形態によれば、画像の検索結果を保存しておき、同じ識別情報での検索については保存された検索結果を用いるので、効率よく画像の検索を行うことができる。   Further, according to the present embodiment, the search result of the image is stored, and the search result using the same identification information is used. Therefore, the search of the image can be performed efficiently.

また、本実施形態によれば、一枚の画像データを送信した際の送信時間から、画像を一括送信する際の予測送信時間を算出して通知するので、ユーザにとって使い易い画像一括送信手段を提供できる。   In addition, according to the present embodiment, the estimated transmission time for batch transmission of images is calculated and notified from the transmission time when a single piece of image data is transmitted. Can be provided.

また、本実施形態によれば、一括送信する画像を検索する前にまず一枚の画像データの送信を行うので、従来の、画像を検索し終えてから検索結果の画像の送信を開始する方法に比べて送信失敗の判断を早くすることができる。   In addition, according to the present embodiment, since one image data is first transmitted before searching for images to be collectively transmitted, a conventional method for starting transmission of a search result image after searching for an image is completed. Compared to the above, it is possible to make the determination of transmission failure earlier.

また、本実施形態によれば、一枚の画像データを送信している間に画像データの検索を行うので、画像送信中の空き時間などを有効に利用することができる。   In addition, according to the present embodiment, since image data is searched while one piece of image data is being transmitted, it is possible to effectively use idle time during image transmission.

(第2の実施形態)
次に、第2の実施形態について説明する。
(Second Embodiment)
Next, a second embodiment will be described.

第2の実施形態における画像送信装置の構成は第1の実施形態と同様であり、同様の動作を行う部分についての説明は省略する。第2の実施形態では送信が指定された画像データから複数の識別情報を抽出し、画像データを一括送信する際にそれぞれの識別情報について個別にユーザへ表示する点が第1の実施例と異なる。   The configuration of the image transmission apparatus according to the second embodiment is the same as that of the first embodiment, and a description of parts that perform the same operation is omitted. The second embodiment differs from the first embodiment in that a plurality of pieces of identification information are extracted from image data designated for transmission, and each piece of identification information is individually displayed to the user when the image data is collectively transmitted. .

図9は、画像送信装置と送信先の装置とで画像データを送受信する動作について示したフローチャートである。   FIG. 9 is a flowchart illustrating an operation of transmitting and receiving image data between the image transmission apparatus and the transmission destination apparatus.

はじめに、画像送信装置に保存されている画像を表示装置21で選択可能に表示する(ステップ201)。ユーザは表示されている画像の中から他の装置に対して送信したい画像を選択する(ステップ202)。そしてユーザが選択した画像を他の装置に対して送信する(ステップ203)。   First, an image stored in the image transmission device is displayed on the display device 21 so as to be selectable (step 201). The user selects an image to be transmitted to another device from the displayed images (step 202). Then, the image selected by the user is transmitted to another device (step 203).

画像の送信先について、ここでは画像の被写体の顔領域と管理データテーブル300を照合することにより決定する。図11では画像認識によって、被写体の顔領域1101と顔領域1102が抽出されている。ここで、顔領域1101と1102を選択して照合の対象を決定できる。   Here, the image transmission destination is determined by comparing the face area of the subject of the image with the management data table 300. In FIG. 11, the face area 1101 and the face area 1102 of the subject are extracted by image recognition. Here, the face areas 1101 and 1102 can be selected to determine the target of collation.

ユーザが顔領域1101を選択した場合、管理データテーブル300の識別情報305の顔データを照合する。照合の結果、顔領域1101と一致する顔データを登録しているのは管理データテーブル300の登録ナンバー1の項目なので、この項目から送信先情報303の「Wparam1」を読み出して送信先を決定し、画像データを送信する。   When the user selects the face area 1101, the face data of the identification information 305 in the management data table 300 is collated. As a result of the collation, the face data matching the face area 1101 is registered with the item of the registration number 1 in the management data table 300. Therefore, “Wparam1” of the transmission destination information 303 is read from this item to determine the transmission destination. , Send image data.

同様に、ユーザが顔領域1102を選択した場合、管理データテーブル300の識別情報305の顔データを照合する。照合の結果、顔領域1102と一致する顔データを登録しているのは管理データテーブル300の登録ナンバー3の項目なので、この項目から送信先情報303の「Wparam3」を読み出して送信先を決定し、画像データを送信する。   Similarly, when the user selects the face area 1102, the face data of the identification information 305 in the management data table 300 is collated. As a result of the collation, the face data that matches the face area 1102 is registered as the item of the registration number 3 in the management data table 300. Therefore, “Wparam3” of the transmission destination information 303 is read from this item to determine the transmission destination. , Send image data.

次に、送信が指定された画像データを解析し、画像データから識別情報を抽出する(ステップ204)。画像データから、被写体の顔データの他に、被写体の人数や、画像が撮影された日時や場所、画像に付加されているタグ情報、画像が撮影されたときのモード、画像のサイズなどの属性情報といった複数の識別情報を抽出する。画像データから抽出できる識別情報としては様々な種類の情報が存在するが、本発明はこの情報の種類によって実施例を限定するものではない。   Next, the image data designated for transmission is analyzed, and identification information is extracted from the image data (step 204). From the image data, in addition to the face data of the subject, attributes such as the number of subjects, the date and time when the image was taken, the tag information added to the image, the mode when the image was taken, the size of the image, etc. A plurality of identification information such as information is extracted. Various types of information exist as identification information that can be extracted from image data, but the present invention is not limited to the embodiments depending on the type of information.

また、画像データから抽出する識別情報の種類については、予めユーザが指定できるようにしてもよい。図10は、送信が指定された画像から抽出する識別情報を予めユーザが指定する画面を示したものである。ここで、ユーザが画像から抽出する識別情報をチェックボックス1001で指定する。図10では「人物」と「日付」が、送信指定された画像から抽出する識別情報として選択されていることを示している。   The type of identification information extracted from the image data may be specified in advance by the user. FIG. 10 shows a screen in which the user designates in advance identification information extracted from an image designated for transmission. Here, identification information to be extracted from the image by the user is designated by a check box 1001. FIG. 10 shows that “person” and “date” are selected as identification information extracted from an image designated for transmission.

ここで、図11のような画像が送信された場合、識別情報として人物の顔領域1101と顔領域1102、さらに画像の撮影日時が抽出される。   Here, when an image as shown in FIG. 11 is transmitted, the face area 1101 and the face area 1102 of the person, and the image shooting date and time are extracted as identification information.

次に、抽出された識別情報をもとにして画像の検索動作を行う(ステップ205)。   Next, an image search operation is performed based on the extracted identification information (step 205).

画像送信装置に保存されている画像のうち、ステップ204で抽出された識別情報を持つ画像を検索する。   Of the images stored in the image transmission device, an image having the identification information extracted in step 204 is searched.

例えば、識別情報として顔データが抽出された場合、画像送信装置に保存されている画像の中で同じ顔データが含まれるものを検索する。複数の顔データが抽出された場合は、画像送信装置に保存されている画像の中でそれぞれ同じ顔データが含まれるものを検索する。   For example, when face data is extracted as the identification information, an image stored in the image transmission device that includes the same face data is searched. When a plurality of face data is extracted, an image stored in the image transmission device is searched for one containing the same face data.

また、識別情報として複数の顔データが抽出された場合でも、現在の画像送信先を決定する際にユーザが選択した顔領域と対応するものだけを検索条件としてもよい。   Even when a plurality of pieces of face data are extracted as identification information, only those corresponding to the face area selected by the user when determining the current image transmission destination may be used as the search condition.

また、識別情報として被写体の人数が抽出された場合は、画像送信装置に保存されている画像の中で同じ人数が写っている画像を検索する。もしくは、抽出された人数とある程度近い人数が写っている画像といった範囲を持たせて検索してもよい。これによって例えば、多数の被写体が写っている集合写真だけを検索結果として集めるといったことができる。   Further, when the number of subjects is extracted as the identification information, an image in which the same number of people is shown in the images stored in the image transmission device is searched. Alternatively, the search may be performed with a range such as an image showing the number of people close to the extracted number of people. As a result, for example, it is possible to collect only a group photo including a large number of subjects as a search result.

また、識別情報として画像の撮影日時が抽出された場合は、画像送信装置に保存されている画像の中で、同じ日に撮影された画像データを検索する。もしくは、抽出された時刻から前後数時間といった範囲を指定して検索したり、抽出された日付から前後数日間といった範囲を指定して検索したりしてもよい。   In addition, when the shooting date / time of the image is extracted as the identification information, the image data captured on the same day is searched from the images stored in the image transmission apparatus. Alternatively, the search may be performed by specifying a range such as several hours before and after the extracted time, or may be performed by specifying a range such as several days before and after the extracted date.

また、識別情報として画像の撮影場所が抽出された場合は、画像送信装置に保存されている画像の中で、同じ撮影場所が属性情報として含まれているものを検索する。   In addition, when an image shooting location is extracted as the identification information, an image stored in the image transmission device that includes the same shooting location as attribute information is searched.

また、その他の識別情報が抽出された場合も同様に、画像送信装置に保存されている画像の中から同じ識別情報を含むものを検索する。   Similarly, when other identification information is extracted, an image including the same identification information is searched from images stored in the image transmission apparatus.

送信先の機器が接続されていない場合や、その他通信エラーなどで画像送信が失敗した場合(ステップ206)は、続けて一括送信を行うことができないと考えられるので、送信が失敗したことをユーザに通知して(ステップ208)ステップ213へ進む。   If the destination device is not connected, or if image transmission fails due to other communication errors (step 206), it is considered that batch transmission cannot be performed continuously. (Step 208), the process proceeds to step 213.

画像送信が成功した場合(ステップ206)、送信が完了したことを知らせると共に、送信した画像と類似した画像の一括送信を行うかどうかをユーザに判定させる表示を行う(ステップ207)。   When the image transmission is successful (step 206), a notification is made that the transmission has been completed, and a display for allowing the user to determine whether or not to perform batch transmission of images similar to the transmitted image is performed (step 207).

図14は、ステップ203で送信した画像と類似した画像を一括して送信するかどうかを判断させる表示について示したものである。検索条件とした識別情報の表示1405を行い、それぞれについてその識別情報と類似した画像を一括送信の対象とするかをユーザが判断する。ここでは、ステップ204で抽出された識別情報と同じ顔データを含み、且つ同じ日付で撮影された画像を一括送信の対象としている。ここで、表示された識別情報を一括送信の対象としたくない場合は、チェックボックス1404のチェックを外すことでその識別情報を含んだ画像を一括送信の対象から外すことができる。   FIG. 14 shows a display for determining whether images similar to the image transmitted in step 203 are to be transmitted at once. Display of identification information 1405 as a search condition is performed, and the user determines whether an image similar to the identification information is to be subjected to batch transmission. Here, an image including the same face data as the identification information extracted in step 204 and photographed on the same date is a target for batch transmission. Here, if the displayed identification information is not to be the target of batch transmission, the image including the identification information can be removed from the target of batch transmission by unchecking the check box 1404.

ユーザがこの識別情報を含んだ画像を対象として続けて一括送信を行うときはOKボタン1401を押下して画像の一括送信を開始する。一括で送信する画像の内容を確認したい場合は、確認ボタン1402を押下して内容を確認する。今送信した画像とは別の画像を送信したい場合や、撮像動作など別の動作を行いたい場合はキャンセルボタン1403を押下して一括送信は行わず、ステップ213へ進む。   When the user performs batch transmission continuously for an image including this identification information, the user presses an OK button 1401 to start batch transmission of images. When it is desired to confirm the contents of the images to be transmitted in a batch, a confirmation button 1402 is pressed to confirm the contents. When it is desired to transmit an image different from the image that has just been transmitted, or when another operation such as an imaging operation is to be performed, the cancel button 1403 is pressed and batch transmission is not performed, and the process proceeds to step 213.

図12は識別情報の検索結果を表示する画面を示したものである。   FIG. 12 shows a screen for displaying a search result of identification information.

画像送信装置に保存されている画像の中で、ステップ204で抽出された識別情報を持つ画像の一覧が表示されている。   A list of images having the identification information extracted in step 204 is displayed among the images stored in the image transmission apparatus.

ユーザはこれらの画像を確認し、一括して送信してよければ一括送信ボタン1201を押下して画像の一括送信を行う(ステップ212)。また、検索結果に送信したくない画像が含まれていた場合など、個別に送信する画像を指定したい場合には送信しない画像を個別に選択する。それぞれの画像に表示されているチェックボックス1204からチェックを外すことで、その画像は送信されない。送信しない画像を選択した後、一括送信ボタン1201を押下して画像の一括送信を行う(ステップ212)。   The user confirms these images, and if it is acceptable to send them all at once, the user presses the batch send button 1201 to send the images all at once (step 212). Further, when it is desired to designate an image to be transmitted individually, such as when an image that is not desired to be transmitted is included in the search result, an image that is not to be transmitted is individually selected. By unchecking the check box 1204 displayed for each image, the image is not transmitted. After selecting images not to be transmitted, a batch transmission button 1201 is pressed to perform batch transmission of images (step 212).

これらの検索結果で、ユーザが望んだ検索結果が得られず、送信した画像と対応する識別情報が設定されていないと判断した場合は、識別情報設定ボタン1203を押下して識別情報の指定を行う(ステップ210)。   If it is determined that the search result desired by the user is not obtained from these search results and the identification information corresponding to the transmitted image is not set, the identification information setting button 1203 is pressed to specify the identification information. Perform (step 210).

キャンセルボタン1203が押下された場合は、一括送信は行わず、ステップ213へ進む。   If the cancel button 1203 is pressed, batch transmission is not performed and the process proceeds to step 213.

図13は、ステップ204で抽出し、ステップ205で画像の検索に用いた識別情報が表示されている画面を示したものである。   FIG. 13 shows a screen on which the identification information extracted in step 204 and used for image search in step 205 is displayed.

ここでは、「Aさん」もしくは「Cさん」が写っている画像で、且つ、送信した画像データと同じ日に撮影された画像を検索し、検索結果として図12で表示したことを示している。   Here, it is shown that an image in which “Mr. A” or “Mr. C” is captured and an image taken on the same day as the transmitted image data is retrieved and displayed as a search result in FIG. .

左キー1301又は右キー1303は、表示部1302の識別情報の候補を順番に表示して選択することができる。具体的には、「Aさん」だけを識別情報として設定したり、「Cさん」だけを識別情報として設定したり、「Aさん」と「Cさん」が共に写ったものを識別情報として設定することができる。   The left key 1301 or the right key 1303 can display and select identification information candidates on the display unit 1302 in order. Specifically, only “Mr. A” is set as identification information, only “Mr. C” is set as identification information, or “Mr. A” and “Mr. C” are both set as identification information can do.

例えば、図13では「Aさん」もしくは「Cさん」が写っている画像が検索結果として表示されたとする。しかし、「Aさん」だけが写った写真を一括で送信したかった場合は、左キー1301または右キー1303で表示部1302を選択して「Aさん」だけを識別情報として設定する。そして、OKボタン1305を押下する。   For example, in FIG. 13, it is assumed that an image showing “Mr. A” or “Mr. C” is displayed as a search result. However, if the user wants to transmit a photograph showing only “Mr. A” in a batch, the display unit 1302 is selected with the left key 1301 or the right key 1303 and only “Mr. A” is set as identification information. Then, an OK button 1305 is pressed.

すると、ここで設定した識別情報に従って検索結果が再表示される。ユーザはこれらの画像を確認し、一括して送信してよければ画像の一括送信を行う。   Then, the search result is displayed again according to the identification information set here. The user confirms these images and transmits the images all at once if it is acceptable to transmit them all at once.

また、図13では送信した画像データと同じ日に撮影された画像が検索結果として表示されたが、この日に限らず「Aさん」もしくは「Cさん」が写っている画像を一括して送信したい場合は、チェックボックス1304のチェックを外す。そして、OKボタン1304を押下する。   In FIG. 13, images taken on the same day as the transmitted image data are displayed as search results. However, not only on this date, images that include “Mr. A” or “Mr. C” are collectively transmitted. If you want to do so, uncheck the check box 1304. Then, an OK button 1304 is pressed.

すると、ここで設定した識別情報に従って検索結果が再表示される。ユーザはこれらの画像を確認し、一括して送信してよければ画像の一括送信を行う。   Then, the search result is displayed again according to the identification information set here. The user confirms these images and transmits the images all at once if it is acceptable to transmit them all at once.

次に、ステップ204で抽出した識別情報に対応する検索結果を保存する(ステップ213)。次回、同じ識別情報で画像を検索するときにはここで保存した検索結果を用いることで検索動作を効率的に行うことができる。   Next, the search result corresponding to the identification information extracted in step 204 is stored (step 213). The next time the image is searched with the same identification information, the search operation can be efficiently performed by using the search result stored here.

上述したように本実施形態によれば、送信先に画像を送信している間に、送信中の画像から複数の識別情報を抽出し、その複数の識別情報から検索される所望の画像について簡易に送信先の装置へ一括送信する手段を提供できる。   As described above, according to the present embodiment, while transmitting an image to a transmission destination, a plurality of pieces of identification information are extracted from the image being transmitted, and a desired image retrieved from the plurality of pieces of identification information can be simplified. It is possible to provide means for batch transmission to the destination device.

また、本実施形態では複数の識別情報を抽出した際に、それぞれの識別情報を組み合わせて画像データの検索条件とする例を示したが、それぞれの識別情報で個別に画像データの検索を行い、それらの検索結果をあわせて表示するようにしてもよい。   In the present embodiment, when a plurality of pieces of identification information are extracted, the identification information is combined and used as a search condition for image data. However, image data is individually searched for each piece of identification information, These search results may be displayed together.

(他の実施形態)
上記の実施形態では、送信した一枚の画像データから識別情報を抽出して画像データの検索を行ったが、送信する画像は一枚には限られない。例えば、複数枚の画像データをまとめて送信する際に複数枚の画像データから識別情報を抽出し、その識別情報をもとに画像データの検索を行ってもよい。
(Other embodiments)
In the above embodiment, the identification information is extracted from the transmitted single image data and the image data is searched. However, the transmitted image is not limited to a single image. For example, when a plurality of pieces of image data are transmitted together, identification information may be extracted from the plurality of pieces of image data, and image data may be searched based on the identification information.

本発明の目的は以下のように達成されることは言うまでもない。まず、前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUまたはMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。   Needless to say, the object of the present invention is achieved as follows. First, a recording medium on which software program codes for realizing the functions of the above-described embodiments are recorded is supplied to a system or apparatus. Then, the computer (or CPU or MPU) of the system or apparatus reads and executes the program code stored in the recording medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM、DVDなどを用いることができる。   As a storage medium for supplying the program code, for example, floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM, DVD, etc. Can be used.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけではない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーションシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。   The functions of the above-described embodiments are not only realized by executing the program code read by the computer. For example, an OS (operation system) running on a computer performs part or all of actual processing based on an instruction of the program code, and the functions of the above-described embodiments may be realized by the processing. Needless to say, it is included.

さらに、以下のような処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。まず、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行う。   Furthermore, it goes without saying that the case where the functions of the above-described embodiment are realized by the following processing is also included. First, the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU provided in the function expansion board or function expansion unit performs part or all of the actual processing.

本発明の実施形態におけるデジタルカメラの構成ブロック図である。1 is a configuration block diagram of a digital camera according to an embodiment of the present invention. 本発明の実施形態におけるネットワーク構成例を示す図である。It is a figure which shows the example of a network structure in embodiment of this invention. 本発明の実施形態における無線接続情報と識別情報とを関連付けて記憶した管理データテーブルを示す図である。It is a figure which shows the management data table which linked | related and memorize | stored the wireless connection information and identification information in embodiment of this invention. 本発明の第1の実施形態における画像送信装置の画像送信動作を示すフローチャートである。It is a flowchart which shows the image transmission operation | movement of the image transmission apparatus in the 1st Embodiment of this invention. 本発明の第1の実施形態において、送信する画像を決定する画面について示した図である。In the 1st Embodiment of this invention, it is the figure shown about the screen which determines the image to transmit. 本発明の第1の実施形態において、画像の一括送信動作を行うかどうか決定する画面について示した図である。FIG. 6 is a diagram illustrating a screen for determining whether to perform an image batch transmission operation in the first embodiment of the present invention. 本発明の第1の実施形態における、画像検索結果について示した図である。It is the figure shown about the image search result in the 1st Embodiment of this invention. 本発明の第1の実施形態において、識別情報毎の画像検索結果を追加した管理データテーブルを示す図である。It is a figure which shows the management data table which added the image search result for every identification information in the 1st Embodiment of this invention. 本発明の第2の実施形態における画像送信装置の画像送信動作を示すフローチャートである。It is a flowchart which shows the image transmission operation | movement of the image transmission apparatus in the 2nd Embodiment of this invention. 本発明の第2の実施形態における、画像データから抽出する識別情報を指定する画面について示した図である。It is the figure shown about the screen which designates the identification information extracted from the image data in the 2nd Embodiment of this invention. 本発明の第2の実施形態における送信画像を示した図である。It is the figure which showed the transmission image in the 2nd Embodiment of this invention. 本発明の第2の実施形態における、画像検索結果について示した図である。It is the figure shown about the image search result in the 2nd Embodiment of this invention. 本発明の第2の実施形態において抽出された識別情報を表示する画面について示した図である。It is the figure shown about the screen which displays the identification information extracted in the 2nd Embodiment of this invention. 本発明の第2の実施形態において、画像の一括送信動作を行うかどうか決定する画面について示した図である。In the 2nd Embodiment of this invention, it is the figure shown about the screen which determines whether the batch transmission operation | movement of an image is performed.

符号の説明Explanation of symbols

1 デジタルカメラ
2 撮影レンズ
3 シャッター
4 撮像素子
5 A/D変換器
6 タイミング発生回路
7 D/A変換器
8 メモリ制御回路
9 システム制御回路
10 画像処理回路
11 画像表示メモリ
12 メモリ
13 画像表示部
14 露光制御ユニット
15 測距制御ユニット
16 ズーム制御ユニット
17 フラッシュ
18 電源制御ユニット
19 電源ユニット
20 メモリ
21 表示部
22 不揮発性メモリ
23 メモリカードインタフェース
24 USBインタフェース
25 操作部
26 シャッタースイッチ
27 無線通信回路
28 アンテナ
DESCRIPTION OF SYMBOLS 1 Digital camera 2 Shooting lens 3 Shutter 4 Imaging device 5 A / D converter 6 Timing generation circuit 7 D / A converter 8 Memory control circuit 9 System control circuit 10 Image processing circuit 11 Image display memory 12 Memory 13 Image display part 14 Exposure control unit 15 Distance control unit 16 Zoom control unit 17 Flash 18 Power supply control unit 19 Power supply unit 20 Memory 21 Display unit 22 Non-volatile memory 23 Memory card interface 24 USB interface 25 Operation unit 26 Shutter switch 27 Wireless communication circuit 28 Antenna

Claims (13)

記録媒体と接続する接続手段と、
画像データを送信する送信手段と、
前記記録媒体に記録された複数の画像データのうち、送信先の装置に送信する画像データを選択する第1の選択手段と、
前記第1の選択手段により選択された画像データから識別情報を検出する検出手段と、
前記送信手段によって前記第1の選択手段により選択された画像データを送信している間に、記録媒体に記録された複数の画像データから、前記検出手段により検出された識別情報を持つ画像データを検索する検索手段と、
前記検索手段により検索された画像データを、前記外部装置に送信する画像データとして選択する第2の選択手段とを有することを特徴とする画像送信装置。
Connection means for connecting to the recording medium;
A transmission means for transmitting image data;
First selection means for selecting image data to be transmitted to a transmission destination device from among a plurality of image data recorded on the recording medium;
Detecting means for detecting identification information from the image data selected by the first selecting means;
While transmitting the image data selected by the first selection unit by the transmission unit, image data having identification information detected by the detection unit is extracted from a plurality of image data recorded on a recording medium. A search means for searching;
An image transmission apparatus comprising: second selection means for selecting the image data searched by the search means as image data to be transmitted to the external apparatus.
前記検索手段により検索された画像データを送信するか否かを前記第2の選択手段により選択するための画面を表示する表示手段と、
前記送信手段は、表示手段に表示された画面を用いて画像データの送信が指示された場合、前記検索手段により検索された画像データを一括で送信することを特徴とする請求項1に記載の画像送信装置。
Display means for displaying a screen for selecting by the second selection means whether to transmit the image data searched by the search means;
The said transmission means transmits the image data searched by the said search means collectively, when transmission of image data is instruct | indicated using the screen displayed on the display means. Image transmission device.
前記検索手段により検索された画像データを送信するか否かを前記第2の選択手段により選択するための画面を表示する表示手段をさらに有し、
前記表示手段は、前記検索手段により検索された複数の画像データについてそれぞれ個別に送信するか否かを選択するための画面を表示することを特徴とする請求項1または2に記載の画像送信装置。
A display means for displaying a screen for selecting by the second selection means whether to transmit the image data searched by the search means;
The image transmission apparatus according to claim 1, wherein the display unit displays a screen for selecting whether or not to individually transmit a plurality of image data searched by the search unit. .
前記検索手段により検索された画像データを一括で送信する際の送信時間を予測する予測手段をさらに有し、
前記予測手段による予測時間をユーザに通知することを特徴とする請求項2に記載の画像送信装置。
A prediction unit that predicts a transmission time when the image data searched by the search unit is transmitted in a batch;
The image transmission apparatus according to claim 2, wherein the prediction time by the prediction unit is notified to a user.
前記検出手段より検出する識別情報が被写体の顔の画像であることを特徴とする請求項1乃至4のいずれか1項に記載の画像送信装置。   The image transmission apparatus according to claim 1, wherein the identification information detected by the detection unit is an image of a face of a subject. 前記検出手段より検出する識別情報が被写体の数であることを特徴とする請求項1乃至5のいずれか1項に記載の画像送信装置。   6. The image transmission apparatus according to claim 1, wherein the identification information detected by the detection unit is the number of subjects. 前記検出手段より検出する識別情報が画像の属性情報であることを特徴とする請求項1乃至6のいずれか1項に記載の画像送信装置。   The image transmission apparatus according to claim 1, wherein the identification information detected by the detection unit is image attribute information. 前記送信手段による画像データの送信先情報と送信先の装置の所有者を識別する情報を対応つけて記憶する記憶手段と、
前記検出手段より検出された識別情報と前記記憶手段に記憶された所有者の識別情報とを照合する照合手段とをさらに有し、
前記照合手段による照合の結果、前記識別情報と前記所有者の識別情報が同じであると判断された場合、前記所有者の識別情報と対応する送信先へ画像データを送信することを特徴とする請求項1乃至5のいずれか1項に記載の画像送信装置。
Storage means for storing image data transmission destination information by the transmission means in association with information for identifying the owner of the transmission destination device;
A collation unit that collates the identification information detected by the detection unit and the identification information of the owner stored in the storage unit;
As a result of the collation by the collation means, when it is determined that the identification information and the owner identification information are the same, image data is transmitted to a transmission destination corresponding to the owner identification information. The image transmission device according to claim 1.
前記検索手段は、画像データの送信先の装置から取得した画像データを検索対象に含まないように検索することを特徴とする請求項1乃至8のいずれか1項に記載の画像送信装置。   9. The image transmission apparatus according to claim 1, wherein the search unit searches the image data acquired from the image data transmission destination apparatus so as not to be included in the search target. 前記検出手段から複数の識別情報が検出された場合、前記検索手段による検索結果を、前記識別情報ごとに個別に表示することを特徴とする請求項1乃至9のいずれか1項に記載の画像送信装置。   10. The image according to claim 1, wherein when a plurality of pieces of identification information are detected from the detection unit, a search result obtained by the search unit is individually displayed for each piece of the identification information. Transmitter device. 前記検索手段による検索結果が既に記憶されている場合は、前回の検索からの差分となる画像データについてのみ画像の検索を行い、既に記憶されていた画像データとあわせて検索結果を得ることを特徴とする請求項1乃至10のいずれか1項に記載の画像送信装置。   When the search result by the search means is already stored, the image is searched only for the image data that is a difference from the previous search, and the search result is obtained together with the already stored image data. The image transmission device according to claim 1. 記憶媒体と接続した画像送信装置の制御方法であって、
前記記録媒体に記録された複数の画像データのうち、送信先の装置に送信する画像データを選択する第1の選択工程と、
前記第1の選択工程で選択された画像データから識別情報を検出する検出工程と、
前記第1の選択工程で選択された画像データを送信している間に、前記記録媒体に記録された複数の画像データから、前記検出工程で検出された識別情報を持つ画像データを検索する検索工程と、
前記検索工程で検索された画像データを、前記外部装置に送信する画像データとして選択する第2の選択工程とを有することを特徴とする画像送信装置の制御方法。
A method for controlling an image transmission apparatus connected to a storage medium, comprising:
A first selection step of selecting image data to be transmitted to a transmission destination device from among a plurality of image data recorded on the recording medium;
A detection step of detecting identification information from the image data selected in the first selection step;
A search for searching image data having identification information detected in the detection step from a plurality of image data recorded on the recording medium while transmitting the image data selected in the first selection step . Process,
And a second selection step of selecting the image data searched in the search step as image data to be transmitted to the external device.
コンピュータを、
記録媒体と接続する接続手段と、
画像データを送信する送信手段と、
前記記録媒体に記録された複数の画像データのうち、送信先の装置に送信する画像データを選択する第1の選択手段と、
前記第1の選択手段により選択された画像データから識別情報を検出する検出手段と、
前記送信手段によって前記第1の選択手段により選択された画像データを送信している間に、前記記録媒体に記録された複数の画像データから、前記検出手段により検出された識別情報を持つ画像データを検索する検索手段と、
前記検索手段により検索された画像データを、前記外部装置に送信する画像データとして選択する第2の選択手段として機能させるためのプログラム。
Computer
Connection means for connecting to the recording medium;
A transmission means for transmitting image data;
First selection means for selecting image data to be transmitted to a transmission destination device from among a plurality of image data recorded on the recording medium;
Detecting means for detecting identification information from the image data selected by the first selecting means;
Image data having identification information detected by the detecting means from a plurality of image data recorded on the recording medium while the image data selected by the first selecting means is transmitted by the transmitting means. A search means for searching for,
A program for causing image data searched by the search means to function as second selection means for selecting image data to be transmitted to the external device.
JP2007155377A 2007-06-12 2007-06-12 Image transmitting apparatus, control method therefor, and program Expired - Fee Related JP5013982B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007155377A JP5013982B2 (en) 2007-06-12 2007-06-12 Image transmitting apparatus, control method therefor, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007155377A JP5013982B2 (en) 2007-06-12 2007-06-12 Image transmitting apparatus, control method therefor, and program

Publications (3)

Publication Number Publication Date
JP2008311749A JP2008311749A (en) 2008-12-25
JP2008311749A5 JP2008311749A5 (en) 2010-07-15
JP5013982B2 true JP5013982B2 (en) 2012-08-29

Family

ID=40238995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007155377A Expired - Fee Related JP5013982B2 (en) 2007-06-12 2007-06-12 Image transmitting apparatus, control method therefor, and program

Country Status (1)

Country Link
JP (1) JP5013982B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010171586A (en) * 2009-01-21 2010-08-05 Canon Inc Image supply side apparatus, image request side apparatus, image communication system, control method, and program
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
JP5644846B2 (en) * 2011-12-21 2014-12-24 キヤノンマーケティングジャパン株式会社 Imaging system, imaging apparatus, control method, and program
US9843623B2 (en) 2013-05-28 2017-12-12 Qualcomm Incorporated Systems and methods for selecting media items
KR101748670B1 (en) 2015-11-24 2017-07-03 엘지전자 주식회사 Mobile terminal and emotion sharing method thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369164A (en) * 2001-06-06 2002-12-20 Nikon Corp Electronic imaging device and electronic imaging system
JP2004318603A (en) * 2003-04-17 2004-11-11 Nippon Telegr & Teleph Corp <Ntt> Image retrieval method, self-portrait estimation device and method, and self-portrait estimation program
JP2005252457A (en) * 2004-03-02 2005-09-15 Canon Inc Image transmission system, apparatus and method
JP4708888B2 (en) * 2005-07-12 2011-06-22 キヤノン株式会社 Image processing apparatus, image processing method, and computer program
JP2007102683A (en) * 2005-10-07 2007-04-19 Nikon Corp Image distribution system and image distribution method

Also Published As

Publication number Publication date
JP2008311749A (en) 2008-12-25

Similar Documents

Publication Publication Date Title
JP5273998B2 (en) Imaging apparatus, control method thereof, and program
US9438847B2 (en) Information processing device, control method thereof, and storage medium
JP5030462B2 (en) Digital camera system
US12519910B2 (en) Information processing device and method for controlling image data thereof
JP5013982B2 (en) Image transmitting apparatus, control method therefor, and program
US8994993B2 (en) Management system, management server, and recording medium
JP2009206774A (en) System and device for transmitting image, and control method
JP2003046707A (en) Imaging device, information processing device and control method thereof, image processing device and method, and image processing system
CN103581554B (en) Communicator and the control method of this communicator
US8068137B2 (en) Image processing apparatus, control method, and storage medium
JP2019046145A (en) System, imaging device, information processing device, control method, and program
US9774554B2 (en) Device management system, device management apparatus, communication device, and control methods therefor, and storage medium
JP4551826B2 (en) Imaging apparatus and method, and program
JP2008252317A (en) Digital camera
JP2013165481A (en) Imaging apparatus, control method of the same, and program
JP5031589B2 (en) Information processing apparatus, information processing apparatus control method, and program
JP2017055366A (en) COMMUNICATION DEVICE, COMMUNICATION DEVICE CONTROL METHOD, PROGRAM
JP5159174B2 (en) Network control device, control method thereof, and program
JP2012048320A (en) Information apparatus
JP2019101783A (en) Information processing device and method
JP2009124438A (en) COMMUNICATION DEVICE, ITS CONTROL METHOD, AND PROGRAM
JP2004253915A (en) Imaging device, method, program, and computer-readable storage medium
JP2017092865A (en) Communication device
JP5972085B2 (en) Data transfer control device, control method thereof, and program
JP5264125B2 (en) COMMUNICATION DEVICE, ITS CONTROL METHOD, AND PROGRAM

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100531

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100531

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120605

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5013982

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees