JP5090135B2 - Image viewing system, image viewing method, image viewing server, and terminal device - Google Patents
Image viewing system, image viewing method, image viewing server, and terminal device Download PDFInfo
- Publication number
- JP5090135B2 JP5090135B2 JP2007295370A JP2007295370A JP5090135B2 JP 5090135 B2 JP5090135 B2 JP 5090135B2 JP 2007295370 A JP2007295370 A JP 2007295370A JP 2007295370 A JP2007295370 A JP 2007295370A JP 5090135 B2 JP5090135 B2 JP 5090135B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual space
- unit
- user
- exhibition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 30
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 48
- 230000008569 process Effects 0.000 description 18
- 238000005034 decoration Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009191 jumping Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003704 image resize Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Description
本発明は、画像鑑賞システム、画像鑑賞方法、画像鑑賞用サーバー、および端末機器に関し、詳しくは、仮想空間内に展示されている画像をユーザーフレンドリーに探すことのできる画像鑑賞システム、画像鑑賞方法、画像鑑賞用サーバー、および端末機器に関する。 The present invention relates to an image viewing system, images viewing method, image viewing server, and to a terminal device, and more particularly, an image viewing system that can search for images on display in the virtual space to a user-friendly, Watching images The present invention relates to a method , a server for viewing images, and a terminal device .
近年、コンピューターグラフィックで作られた仮想空間に、ネットワークを通じてアクセス可能としたサービスが普及してきている。この仮想空間へのアクセスは、いままでのネットを通じたデータアクセスとは異なったフレンドリーなユーザーインターフェースを用い、ユーザーをネットの向こうに広がっている世界に誘うのに効果を発揮している。 In recent years, services that enable access to a virtual space created by computer graphics via a network have become widespread. Access to this virtual space is effective in inviting users to a world that extends beyond the Internet using a friendly user interface that is different from data access through the Internet.
仮想空間では、現実の世界と同様の疑似体験が可能であり、これまでのネット・サービスのうち、単純なデータストア一つを置き換えるとしても、その空間特性を活かしたテーマ分類なども可能としている。このようなネットワークを介して接続されたサーバー内のデータなどにアクセスし、またサーバー内に構築された仮想空間を利用する技術は種々提案されている。 In virtual space, it is possible to have a simulated experience similar to that in the real world, and even if one simple data store is replaced, it is possible to classify themes using the characteristics of the space. . Various techniques for accessing data in a server connected through such a network and using a virtual space built in the server have been proposed.
例えば、特許文献1には、仮想空間ではないが、2次元コードを用いてシステムにアクセスすると、そこからコンテンツが配信されるコンテンツ配信システムが開示されている。このコンテンツ配信システムでは、写真プリントにプリントされているQRコードを用い、携帯電話からコンテンツ配信システムにアクセスし、ユーザー認証されると占いコンテンツが配信される。また、特許文献2には、仮想空間に展示スペースをレンタルできる展示会システムが開示されている。この展示会システムでは、出展者は仮想空間上のレンタルスペースに出展でき、また、閲覧者はネットワークを介して仮想空間提供端末にアクセスし、仮想空間内をアバターになって出展物を閲覧することが可能である。
特許文献1に開示のコンテンツ配信システムは、仮想空間の特性を活かした展示とはなっていない。特許文献2に開示の展示会システムは、アバターで出展物を閲覧するなど仮想空間の特性を利用しているが、目的とするものを容易に見つけるということまでは考慮されていない。すなわち、多数の画像が展示されうるような仮想空間の中で、目的とする画像を楽しみながら容易に見出すことは困難である。 The content distribution system disclosed in Patent Document 1 is not an exhibition that takes advantage of the characteristics of a virtual space. The exhibition system disclosed in Patent Document 2 uses the characteristics of the virtual space, such as browsing exhibits with an avatar, but does not take into account the easy finding of the target one. That is, it is difficult to easily find a target image while enjoying the target image in a virtual space where a large number of images can be displayed.
本発明は、このような事情を鑑みてなされたものであり、多数の画像が展示されうる仮想空間の中で、目的とする画像を楽しみながら容易に見出すことのできる画像鑑賞システム、画像鑑賞方法、画像鑑賞用サーバー、および端末機器を提供することを目的とする。 The present invention, such are those was made in view circumstances, in the virtual space number of images can be exhibited, image viewing system, viewing images which can be found easily while enjoying the image of interest It is an object to provide a method , an image viewing server, and a terminal device .
上記目的を達成するため第1の発明に係わる画像鑑賞システムは、複数の画像収納室を有する仮想空間に鑑賞者を案内する画像鑑賞システムであって、元画像をリサイズしたサンプル画像を送信する送信部と、仮想空間内に特定画像を合成して表示するためのデータを生成する仮想空間合成部と、上記仮想空間合成部によって生成された上記データを表す画像を表示する仮想空間表示部と、上記仮想空間内において、ユーザーによる移動の指示操作を判定する操作判定部と上記仮想空間内の所定位置を表す基準場所の画像を生成するとともに、上記サンプル画像を基に上記元画像を加工した画像が展示されている仮想空間内の展示場所を検索し、上記操作判定部によって判定された上記移動の指示操作に従って、上記仮想空間の場所を表わす画像を切換え、上記展示場所に案内するためのデータを生成する案内部と、を具備し、上記案内部によって生成された上記データを表す画像を上記仮想空間表示部に表示させる。 In order to achieve the above object, an image viewing system according to a first invention is an image viewing system for guiding a viewer to a virtual space having a plurality of image storage rooms, and transmits a sample image obtained by resizing an original image. and parts, and the virtual spatial synthesis unit for generating data for displaying by combining the specific image in the virtual space, the virtual space display unit that displays an image representing the data generated by the virtual spatial synthesis unit, In the virtual space, an operation determination unit that determines a movement instruction operation by a user and an image of a reference location that represents a predetermined position in the virtual space, and an image obtained by processing the original image based on the sample image There searching exhibit location in the virtual space on display, in accordance with an instruction operation of the movement is determined by the operation determining unit represents the location of the virtual space Switching an image, anda guide unit for generating data for guiding to the exhibit location, an image representing the data generated by the guide portion to be displayed on the virtual space display unit.
第2の発明に係わる画像鑑賞システムは、上記第1の発明において、上記特定画像は、上記加工した画像と、上記画像収納室を表わす仮想空間とが合成されたものである。 Image viewing system according to the second aspect of the invention related to the first invention, the specific image differs from that of the image obtained by the above processing, the virtual space representing the image storage chamber is synthesized.
第3の発明に係わる画像鑑賞システムは、上記第1の発明において、上記複数の画像収納室は、それぞれテーマと関連付けられている。
第4の発明に係わる画像鑑賞システムは、上記第3の発明において、上記案内部は、上記テーマに従って決められたルートを通るように、該上記仮想空間内を案内する。
第5の発明に係わる画像鑑賞システムは、上記第3の発明において、上記案内部は、撮影者の嗜好に従った画像が展示されたルートを通るように、上記仮想空間内を案内する。
In the image appreciation system according to a third aspect of the present invention, in the first aspect, each of the plurality of image storage rooms is associated with a theme.
In the image appreciation system according to a fourth aspect of the present invention, in the third aspect, the guide section guides the virtual space so as to pass a route determined according to the theme .
In the image appreciation system according to a fifth aspect of the present invention, in the third aspect, the guide unit guides the virtual space so as to pass through a route on which images according to the photographer's preference are displayed.
上記目的を達成するため第6の発明に係わる画像鑑賞方法は、複数の画像収納室を有する仮想空間に鑑賞者を案内する画像鑑賞方法であって、送信部によって、元画像をリサイズしたサンプル画像を送信するステップと、仮想空間合成部によって仮想空間内に特定画像を合成して表示するためのデータを生成するステップと、操作判定部によって、上記仮想空間内において、ユーザーによる移動の指示操作を判定するステップと、上記仮想空間内の所定位置を表わす基準場所の画像を生成するとともに、案内部によって、上記サンプル画像を基に上記元画像を加工した画像が展示されている仮想空間内の展示場所を検索し、上記操作判定部によって判定された上記移動の指示操作に従って、上記仮想空間の場所を表わす画像を切換え、上記展示場所に案内するためのデータを生成するステップと、を備える。 In order to achieve the above object, an image viewing method according to a sixth invention is an image viewing method for guiding a viewer to a virtual space having a plurality of image storage rooms, wherein the sample image is resized by the transmission unit. Transmitting data, a step of generating data for combining and displaying a specific image in the virtual space by the virtual space combining unit , and a movement instruction operation by the user in the virtual space by the operation determining unit. A display in a virtual space in which an image of a reference place representing a predetermined position in the virtual space is generated and an image obtained by processing the original image based on the sample image is displayed by the guide unit Find the location in accordance with an instruction operation of the movement is determined by the operation determination unit to switch the image representing the location of the virtual space, the exhibition Comprising a step of generating data for guiding the location, the.
第7の発明に係わる画像鑑賞用サーバーは、複数の画像収納室を有する仮想空間に鑑賞者を案内する画像鑑賞用サーバーであって、仮想空間内に特定画像を合成して表示するためのデータを生成する仮想空間合成部と、外部の機器から入力し、検索対象となる元画像をリサイズしたサンプル画像を記憶するサンプル画像記憶部と、上記仮想空間内において、ユーザーによる移動の指示操作を判定する操作判定部と、上記仮想空間内の所定位置を表わす基準場所の画像を生成するとともに、上記サンプル画像を基に元画像を含む画像群が展示されている仮想空間内の展示場所を検索し、上記操作判定部によって判定された上記移動の指示に従って上記仮想空間の場所を表わす画像を切換え、上記展示場所に案内するためのデータを生成し、外部に送信する案内部と、を備える。 An image viewing server according to a seventh aspect of the present invention is an image viewing server for guiding a viewer to a virtual space having a plurality of image storage rooms, and is data for combining and displaying a specific image in the virtual space. A virtual space compositing unit that generates an image, a sample image storage unit that stores a sample image that is input from an external device and is resized from the original image to be searched, and determines a movement instruction operation by a user in the virtual space And an operation determination unit for generating a reference location image representing a predetermined position in the virtual space, and searching for an exhibition location in the virtual space on which the image group including the original image is displayed based on the sample image The image representing the location of the virtual space is switched in accordance with the movement instruction determined by the operation determination unit, and data for guiding to the exhibition location is generated. And a guide portion for transmitting.
本発明によれば、サンプル画像に基づき仮想空間に案内するためのデータを生成する案内部を有しており、該サンプル画像に関連する多数の画像が展示されうる仮想空間の中で、目的とする画像を楽しみながら容易に見出すことのできる画像鑑賞システムおよび画像鑑賞方法を提供することができる。 According to the present invention, there is provided a guide unit that generates data for guiding to a virtual space based on a sample image, and in the virtual space where a large number of images related to the sample image can be displayed, It is possible to provide an image appreciation system and an image appreciation method that can be easily found while enjoying an image to be played.
以下、図面に従って本発明を適用した画像鑑賞システムを用いて好ましい実施形態について説明する。図1は本発明の第1実施形態に係わるカメラ10、サーバー20、携帯電話30とからなる画像鑑賞システムの構成を示すブロック図である。カメラ10はデジタルカメラであり、撮影部1、画像記録部2、代表画像リサイズ部3、赤外通信部4、表示部5、通信部6を有し、インターネット等を介して外部にあるサーバー20と接続可能である。 A preferred embodiment will be described below using an image appreciation system to which the present invention is applied according to the drawings. FIG. 1 is a block diagram showing the configuration of an image viewing system comprising a camera 10, a server 20, and a mobile phone 30 according to the first embodiment of the present invention. The camera 10 is a digital camera, and includes a photographing unit 1, an image recording unit 2, a representative image resizing unit 3, an infrared communication unit 4, a display unit 5, and a communication unit 6, and is an external server 20 via the Internet or the like. Can be connected.
撮影部1は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される信号を処理する画像処理部等を含み、画像データを出力する。画像記録部2は、撮影部1から出力される画像データを記録する。表示部5は、画像記録部2に記録されている画像の再生表示等の表示を行う。通信部6は、インターネット等を介してサーバー20と通信を行う。通信部6を介してサーバー20に、画像記録部2に記録されている多数の画像の中からユーザーによって選択された画像データの送信が可能である。 The photographing unit 1 includes an optical system for forming a subject image, an image sensor that photoelectrically converts the subject image, an image processing unit that processes a signal output from the image sensor, and the like, and outputs image data. The image recording unit 2 records the image data output from the photographing unit 1. The display unit 5 performs display such as reproduction display of an image recorded in the image recording unit 2. The communication unit 6 communicates with the server 20 via the Internet or the like. Image data selected by the user from among a large number of images recorded in the image recording unit 2 can be transmitted to the server 20 via the communication unit 6.
代表画像リサイズ部3は、画像記録部2に記録されている画像の中からユーザーが選択した代表的な画像(代表画像、サンプル画像、または基準画像とも称す)を縮小サイズの画像にリサイズする。赤外通信部4は、送信部と受信部からなり、赤外線を用いて近距離にある機器とデータの送受信を行う。代表画像リサイズ部3によってリサイズされた代表画像を、赤外通信によって携帯電話30に送信可能である。 The representative image resizing unit 3 resizes a representative image (also referred to as a representative image, a sample image, or a reference image) selected by the user from the images recorded in the image recording unit 2 into a reduced size image. The infrared communication unit 4 includes a transmission unit and a reception unit, and transmits and receives data to and from a device at a short distance using infrared rays. The representative image resized by the representative image resizing unit 3 can be transmitted to the mobile phone 30 by infrared communication.
携帯電話30は、表示部31、赤外通信部32、画像送信部33、表示制御部34、操作部35を有する。表示部31は、携帯電話30として通常の表示以外に、カメラ10から送信されてきた撮影画像や、またサーバー20から送信されてくる仮想空間内のバーチャルな画像の表示を行う。仮想空間内に撮影画像51が展示されているときには、この撮影画像51も表示される。 The mobile phone 30 includes a display unit 31, an infrared communication unit 32, an image transmission unit 33, a display control unit 34, and an operation unit 35. The display unit 31 displays a captured image transmitted from the camera 10 and a virtual image in the virtual space transmitted from the server 20 in addition to the normal display as the mobile phone 30. When the captured image 51 is displayed in the virtual space, the captured image 51 is also displayed.
赤外通信部32は、カメラ10の赤外通信部4と通信を行う。カメラ10の代表画像リサイズ3によってリサイズされた画像を赤外通信によって受信することができる。画像通信部33は、携帯電話の通信網を利用してサーバー20と通信を行う。また、画像通信部33は、カメラ10から受信した代表画像をサーバー20に送信し、また、サーバー20から送信されてくる仮想空間像を受信する。 The infrared communication unit 32 communicates with the infrared communication unit 4 of the camera 10. An image resized by the representative image resize 3 of the camera 10 can be received by infrared communication. The image communication unit 33 communicates with the server 20 using a mobile phone communication network. Further, the image communication unit 33 transmits the representative image received from the camera 10 to the server 20 and receives a virtual space image transmitted from the server 20.
表示制御部34は、サーバー20から送信されてきた仮想空間像や各種データに基づいて表示部31への表示制御を行う。操作部35は、通常の携帯電話としての操作部を兼用しており、仮想空間内でのアバターの移動の操作や、コミュニケーションをとるための文字による会話等、種々の操作を行うことができる。 The display control unit 34 performs display control on the display unit 31 based on the virtual space image and various data transmitted from the server 20. The operation unit 35 also serves as an operation unit as a normal mobile phone, and can perform various operations such as an operation of moving an avatar in the virtual space and a conversation using characters for communication.
サーバー20は、画像加工部21、画像保存部22、仮想空間合成表示部23、案内部24、仮想空間データ部25、操作判定部26から構成され、このほかに、携帯電話30と通信する通信部を有している。画像加工部21は、カメラ10から送信されてきた1もしくは複数の画像を受信し、この画像の加工を行う。仮想空間上では、撮影した写真もいろいろな効果を出して現実と違って表示しても不自然ではないし、そのままの画像を出すと気恥ずかしい人も、加工された画像なら自然に見ることができるので、画像加工部21では、ユーザーの指示に従って、または撮影画像を展示する仮想空間上での場所やイベントなどに従って、画像加工を行う。なお、画像加工としては、単に、画像に額縁をつけるだけでもよい。 The server 20 includes an image processing unit 21, an image storage unit 22, a virtual space composition display unit 23, a guide unit 24, a virtual space data unit 25, and an operation determination unit 26. In addition to this, communication that communicates with the mobile phone 30. Has a part. The image processing unit 21 receives one or a plurality of images transmitted from the camera 10 and processes the images. In the virtual space, it is not unnatural even if the photographed image is displayed differently from the actual effect, and people who are embarrassed to display the image as it is can see the processed image naturally Therefore, the image processing unit 21 performs image processing according to a user instruction or according to a place or event in a virtual space where a photographed image is displayed. In addition, as image processing, you may just attach a frame to an image.
画像加工部21によって、受信され、また加工された画像は画像保存部22に保存される。保存の際には、ユーザーから指定された仮想空間の領域(部屋、展示室とも称す)、またはサーバー20が選択した領域と関連付けて保存を行う。仮想空間データ部25は、仮想空間内の風景を生成するための画像データを記憶する。 The image received and processed by the image processing unit 21 is stored in the image storage unit 22. When saving, the virtual space designated by the user (also referred to as a room or an exhibition room) or the area selected by the server 20 is saved. The virtual space data unit 25 stores image data for generating a landscape in the virtual space.
仮想空間合成表示部23は、画像保存部22に保存された画像と、仮想空間データ部25に記憶されている仮想空間の画像とを表示用に合成する。案内部24は、携帯電話30の画像通信部33から送信されてくる代表画像と同一または類似する画像が展示してある仮想空間内の展示場所に、案内する。 The virtual space composition display unit 23 synthesizes the image stored in the image storage unit 22 and the image of the virtual space stored in the virtual space data unit 25 for display. The guide unit 24 guides to an exhibition place in a virtual space where images that are the same as or similar to the representative image transmitted from the image communication unit 33 of the mobile phone 30 are displayed.
仮想空間は、実際の空間と異なり、地図があるわけでもなく、日々、構成が変わっている可能性がある。そこで、案内部24は、携帯電話30からアクセスしてきたユーザーが、仮想空間内を迷うことなく、見たい画像に行き着けるようにしている。すなわち、案内部24は、代表画像と同一または類似の画像を検索し、この検索された画像が仮想空間のどこに置かれているかを、カーナビのナビゲーションのように、ユーザーがその場所に効率よく行けるように、案内アバター43(図2参照)で案内する。 Unlike the actual space, the virtual space does not have a map, and the configuration may change every day. Therefore, the guide unit 24 allows the user who has accessed from the mobile phone 30 to reach the desired image without getting lost in the virtual space. That is, the guide unit 24 searches for an image that is the same as or similar to the representative image, and the user can efficiently go to the place where the searched image is placed in the virtual space, like navigation in a car navigation system. In this way, guidance is provided by the guidance avatar 43 (see FIG. 2).
操作判定部26は、携帯電話30の操作部35におけるユーザーの操作状態を判定する。すなわち、ユーザーが携帯電話30の操作部35を操作すると、その操作状態が画像通信部33を通じて送信される。サーバー20の操作判定部26がユーザーの操作部35の操作状態を判定すると、仮想空間データ部25に記憶されているデータを用いて、あたかも仮想空間内をユーザーが移動しているような画像を生成し、携帯電話30に画像を送信する。 The operation determination unit 26 determines a user operation state on the operation unit 35 of the mobile phone 30. That is, when the user operates the operation unit 35 of the mobile phone 30, the operation state is transmitted through the image communication unit 33. When the operation determination unit 26 of the server 20 determines the operation state of the user's operation unit 35, an image as if the user is moving in the virtual space is obtained using the data stored in the virtual space data unit 25. The image is generated and transmitted to the mobile phone 30.
本実施形態は、以上のような構成なので、仮想空間内で画像を鑑賞するにあたって、仮想空間内を楽しみながら目的とする画像にたどり着くことできる。すなわち、従来のネット検索とは異なり、画像の展示場所に瞬時にジャンプするのではなく、仮想空間内で空間の移動感を出すために、案内されたとおりに移動していくようにしている。このため、途中の風景を楽しんだり、途中で出会った他のユーザーとのコミュニケーションが可能となり、画像の展示場所までの道のりを楽しむことができる。 Since the present embodiment is configured as described above, when viewing an image in the virtual space, it is possible to reach the target image while enjoying the virtual space. In other words, unlike the conventional Internet search, instead of instantaneously jumping to the image display place, the robot moves as instructed in order to give a sense of movement in the virtual space. For this reason, it is possible to enjoy the scenery on the way and to communicate with other users encountered on the way, and to enjoy the way to the display place of the image.
旅行の写真集などを仮想空間に展示しているユーザーが、この写真集を友人等に見せたい時には、カメラ10からリサイズされた代表画像を、友人等の携帯電話30に赤外送信すればよい。友人等がその代表画像を気に入れば、その代表画像をサーバー20に送信することにより、仮想空間に入っていくことができる。その旅行の旅先を全く知らない人に対して興味をそそることができる。 When a user who displays a travel photo collection in a virtual space wants to show this photo collection to a friend or the like, the representative image resized from the camera 10 may be transmitted to the mobile phone 30 of the friend or the like in infrared. . If a friend or the like likes the representative image, it can enter the virtual space by transmitting the representative image to the server 20. It can be intriguing for people who don't know the destination of the trip at all.
図3は、カメラ10から赤外通信を用いて携帯電話30に代表画像を送信する例を示す。カメラ10の表示部5の後ろ側には、液晶表示の照明用のバックライト部5aが設けられており、このバックライト部5aの近傍には、バックライトの照明制御用のバックライト制御部5bが配置されている。また、赤外通信部4は、表示部5の表示面とほぼ同一面であって、表示部5の近傍に配置されている。また、携帯電話30の表示部31と反対側の面に赤外通信部32が配置されている。 FIG. 3 shows an example in which a representative image is transmitted from the camera 10 to the mobile phone 30 using infrared communication. A backlight unit 5a for illuminating a liquid crystal display is provided behind the display unit 5 of the camera 10, and a backlight control unit 5b for controlling illumination of the backlight is provided in the vicinity of the backlight unit 5a. Is arranged. The infrared communication unit 4 is substantially the same surface as the display surface of the display unit 5 and is disposed in the vicinity of the display unit 5. An infrared communication unit 32 is disposed on the surface of the mobile phone 30 opposite to the display unit 31.
このような構成であれば、携帯電話30を動かすと、カメラ10のバックライト5aの照明光が携帯電話30の背面で反射し、カメラ10の赤外通信部4で受信される。このとき受信信号が規則的に変化するので、その受信信号の変化を判定し、カメラ10は携帯電話30との赤外通信が可能となったか否かの判定を行うことができる。赤外通信が可能となれば、カメラ10はリサイズされた代表画像を携帯電話30に向けて赤外送信する。 With such a configuration, when the mobile phone 30 is moved, the illumination light of the backlight 5 a of the camera 10 is reflected by the back surface of the mobile phone 30 and is received by the infrared communication unit 4 of the camera 10. At this time, since the received signal changes regularly, the change of the received signal is determined, and the camera 10 can determine whether infrared communication with the mobile phone 30 is possible. If infrared communication is possible, the camera 10 transmits the resized representative image to the mobile phone 30 by infrared transmission.
近年、携帯電話30には、モーションセンサ等を内蔵しており、このモーションセンサによって携帯電話30におけるこの動きを検出し、赤外通信部32を起動させれば、カメラ10からの赤外信号を受信することができる。 In recent years, the mobile phone 30 has a built-in motion sensor or the like. If this motion sensor detects this movement in the mobile phone 30 and activates the infrared communication unit 32, the infrared signal from the camera 10 is received. Can be received.
このように、携帯電話30を、カメラ10の表示部5上で動かすだけで、カメラ10の表示部5に表示されたリサイズされた代表画像(サンプル画像)を携帯電話30に送信することができる。このため、通信を簡単に行うことができ、気軽に他の人にも、この仮想空間を見に来てもらうことができる。 As described above, the resized representative image (sample image) displayed on the display unit 5 of the camera 10 can be transmitted to the mobile phone 30 only by moving the mobile phone 30 on the display unit 5 of the camera 10. . Therefore, communication can be performed easily, and other people can easily come to see this virtual space.
カメラ10から受信した代表画像(サンプル画像)が仮想空間内で展示されている場合、その代表画像まで案内してもらうサービスを受ける時に、携帯電話30の表示部31に表示される画像の例を、図2に示す。 When a representative image (sample image) received from the camera 10 is displayed in the virtual space, an example of an image displayed on the display unit 31 of the mobile phone 30 when receiving a service for guiding the representative image to the representative image. As shown in FIG.
本実施形態においては、代表画像の展示場所にいきなり飛んでいくのではなく、まず、図2(a)に示すように、仮想空間の入り口のような場所(基準位置)で、あたかも中央広場の雰囲気のある場所が表示される。そこには、ユーザーを表わすユーザーアバター41が後姿で表示され、このユーザーアバター41を案内する案内アバター43も表示される。 In the present embodiment, instead of suddenly jumping to the display location of the representative image, first, as shown in FIG. 2A, at a place (reference position) such as the entrance of the virtual space, A place with an atmosphere is displayed. There, a user avatar 41 representing the user is displayed in the rear view, and a guide avatar 43 for guiding the user avatar 41 is also displayed.
案内アバター43が行き先を案内するので、ユーザーアバター41は案内アバター43についていく感じで、ユーザーは携帯電話30の操作部35を操作し、ユーザーアバター41を移動させる。案内アバター43は、図2(b)に示すように、目的とする代表画像に応じた撮影画像51が展示されている場所にまで案内する。 Since the guide avatar 43 guides the destination, the user avatar 41 feels like following the guide avatar 43, and the user operates the operation unit 35 of the mobile phone 30 to move the user avatar 41. As shown in FIG. 2B, the guide avatar 43 guides to a place where the photographed image 51 corresponding to the target representative image is displayed.
展示場所にいきなり飛んでいくのではなく、途中の移動を体験できることによって、仮想空間でのその他の催しを見ることができ、また、途中で出合ったほかの人のアバター44と、図2(c)のようにチャットで会話したりして、コミュニケーションが可能になる。図2(c)では、同じようなテーマの画像が集められた部屋で、他のアバターとであった様子を示している。同じテーマの画像を集める空間を設けることによって、画像を仲立ちとした交流が生まれる。 Since you can experience the movement on the way, rather than suddenly flying to the exhibition place, you can see other events in the virtual space, and other people's avatars 44 you met on the way, ) And can communicate by chatting. FIG. 2 (c) shows a situation where the images of similar themes are gathered and other avatars. By creating a space to collect images of the same theme, exchanges with images are created.
また、展示場所に移動するにあたっても、図5に示すように、ユーザーの嗜好によってルートを変更するようにしてもよい。すなわち、仮想空間内の画像の展示室は、それぞれテーマに沿った画像が集められているので、このテーマを考慮してルートを決めればよい。例えば、鳥が好きなユーザーであれば、鳥鑑賞ルート51を通って目的とする展示室55に案内し、一方、花も鳥も好きなユーザーであれば、花鳥鑑賞ルート52を通って目的とする展示室55に案内すればよい。なお、ユーザーの嗜好は、その撮影画像によって推測できる。つまり、ユーザーの撮影画像と類似する画像が展示されたルートを通るようにしてもよい。 Further, when moving to the exhibition place, as shown in FIG. 5, the route may be changed according to the user's preference. In other words, the image exhibition rooms in the virtual space each collect images according to the theme, and the route may be determined in consideration of this theme. For example, if a user likes birds, he / she guides to the intended exhibition room 55 through the bird appreciation route 51 , while if he / she likes flowers and birds, he / she goes through the flower / watch appreciation route 52. It may be guided to the exhibition room 55. The user's preference can be estimated from the captured image. That is, you may make it pass along the route where the image similar to a user's picked-up image was displayed.
図4は、このような仮想空間上に展示される画像の例を示したものである。本実施形態においては、画像を展示する展示室のデザインに合わせて、画像加工部21において画像を加工することが可能である。例えば、ユーザーが、仮想空間内において、好みの展示室の選択操作を行い、その展示室の多くの調度がロココ調のデザインで装飾されている場合、図4(a)に示されるような写真を、図4(b)のようにロココ調の服装や髪型に写真を加工して展示する。 FIG. 4 shows an example of images displayed in such a virtual space. In the present embodiment, it is possible to process the image in the image processing unit 21 in accordance with the design of the exhibition room where the image is displayed. For example, when the user performs a selection operation of a favorite exhibition room in the virtual space and many furnitures of the exhibition room are decorated with a rococo design, a photograph as shown in FIG. As shown in Fig. 4 (b), the photos are displayed in rococo-like clothes and hairstyles.
これは、顔認識の技術と類似画像検索の技術によって、送られてきた画像の顔と、類似の顔の絵画を検索し、その顔の部分を写真の顔に変えればよい。このような画像を加工することにより、多くの人が、どんな風に写真が変わったかを知りたくなり、この仮想空間に画像を鑑賞しやってくる。また、空間内で、画像の加工について会話した場合には、その画像を修正するようにしてもよい。 This can be done by searching for the face of the sent image and a similar face painting by the face recognition technique and the similar image search technique, and changing the face part into a photo face. By processing such images, many people want to know how the photos have changed and come to appreciate the images in this virtual space. In addition, when a conversation is made about image processing in the space, the image may be corrected.
次に、以上説明した画像鑑賞システムにおけるカメラ10の動作について、図6に示すフローチャートを用いて説明する。カメラ制御のフローに入ると、まず、再生モードに設定されているか否かの判定を行う(S1)。このカメラ10は、再生モードと撮影モードの2つのモードが設定可能である。判定の結果、撮影モードが設定されていた場合には、次に、レリーズ釦の操作状態を検出し、撮影を行うか否かの判定を行う(S2)。 Next, the operation of the camera 10 in the image appreciation system described above will be described using the flowchart shown in FIG. When the camera control flow is entered, it is first determined whether or not the playback mode is set (S1). The camera 10 can be set in two modes: a playback mode and a shooting mode. If the result of determination is that the shooting mode has been set, the operation state of the release button is then detected to determine whether or not to perform shooting (S2).
判定の結果、撮影ではなかった場合には、ステップS1に戻り、撮影であった場合には、撮影動作を実行する(S3)。撮影動作は、撮影部1において、被写体像の画像データを取得し、この画像データを画像記録部2に記録する。撮影動作が終わると、リターンし、ステップS1に戻る。 As a result of the determination, if it is not shooting, the process returns to step S1, and if it is shooting, a shooting operation is executed (S3). In the photographing operation, the photographing unit 1 acquires image data of a subject image and records the image data in the image recording unit 2. When the photographing operation ends, the process returns and returns to step S1.
ステップS1における判定の結果、再生モードであった場合には、再生釦等の操作状態を検出し、再生を行うか否かの判定を行う(S11)。判定の結果、再生を行わない場合には、ステップS1に戻る。一方、再生を行う場合には、ステップS12以下に進み、再生モードを実行する。本実施形態における再生モードでは、通常の再生表示に加えて、表示部5における表示画像や選択画像を、ネットを介して仮想空間サービスを行うサーバー20に送信したり、携帯電話30に代表画像(サンプル画像)を送信する。 If the result of determination in step S1 is playback mode, the operating state of the playback button or the like is detected and it is determined whether or not playback is to be performed (S11). If the result of determination is that playback is not performed, processing returns to step S1. On the other hand, when the reproduction is performed, the process proceeds to step S12 and the subsequent steps, and the reproduction mode is executed. In the playback mode in the present embodiment, in addition to the normal playback display, the display image and the selected image on the display unit 5 are transmitted to the server 20 that performs the virtual space service via the network, or the representative image ( Sample image).
再生モードに入ると、まず、画像記録部2に記録されている画像を表示部5に再生表示する(S12)。続いて、選択された画像を携帯電話30に送信するか否かの判定を行う(S13)。判定の結果、携帯電話30への送信でなかった場合には、画像を仮想空間内の美術館に展示するか否かの判定を行う(S21)。 When the reproduction mode is entered, first, the image recorded in the image recording unit 2 is reproduced and displayed on the display unit 5 (S12). Subsequently, it is determined whether or not the selected image is transmitted to the mobile phone 30 (S13). As a result of the determination, if it is not the transmission to the mobile phone 30, it is determined whether or not the image is displayed in a museum in the virtual space (S21).
判定の結果、美術館に展示しない場合には、ステップS1に戻り、前述のステップを実行する。一方、美術館に展示する場合には、画像を指定し(S22)、また画像に装飾する場合にはその指示を行う(S23)。続いて、指定された画像を通信部6からサーバー20に送信し(S24)、リターンする。なお、図4において説明したように、展示室に合わせて髪形や服飾を変えていたが、カメラ10から送信する際に、展示室を指定するようにしてもよい。 As a result of the determination, if it is not exhibited in the museum, the process returns to step S1 and the above-described steps are executed. On the other hand, when displaying at a museum, an image is designated (S22), and when displaying on an image, an instruction is given (S23). Subsequently, the designated image is transmitted from the communication unit 6 to the server 20 (S24), and the process returns. As described with reference to FIG. 4, the hairstyle and clothes are changed according to the exhibition room. However, when transmitting from the camera 10, the exhibition room may be designated.
ステップS13における判定の結果、携帯電話30に画像を送信する場合には、続いて、赤外通信部4の受信回路を作動させる(S14)。携帯電話30に送信する際には、図3を用いて説明したように、受信回路をイネーブルにし、携帯電話30をカメラ10に近づける動作を行い、このときのバックライトの携帯電話30からの反射光を判定し、この反射光に基づいて、要求信号を受信したか否かの判定を行う(S15)。この要求信号がない場合には、所定時間が経過したかを判定し(S19)、所定時間の間、ステップS15およびS19を繰り返し判定する。所定時間が経過しても要求信号が無い場合には、リターンする。 If the result of determination in step S13 is that an image is to be transmitted to the mobile phone 30, then the receiving circuit of the infrared communication unit 4 is activated (S14). When transmitting to the mobile phone 30, as described with reference to FIG. 3, the receiving circuit is enabled and the mobile phone 30 is moved closer to the camera 10, and the backlight reflects from the mobile phone 30 at this time. The light is determined, and based on the reflected light, it is determined whether a request signal has been received (S15). If there is no request signal, it is determined whether a predetermined time has elapsed (S19), and steps S15 and S19 are repeatedly determined for a predetermined time. If there is no request signal even after the predetermined time has elapsed, the process returns.
ステップS15における判定の結果、要求信号を検出した場合には、選択されている再生画像、すなわち、代表画像を代表画像リサイズ部3によってリサイズし、この画像信号を携帯電話30に赤外通信で送信する。続いて、画像送信が終了か否かを判定し、終了していない場合には、所定時間が経過するのを待つ(S20)。所定時間以内に送信が終了すると、OK表示を行い(S18)、リターンする。 If the request signal is detected as a result of the determination in step S15, the selected reproduction image, that is, the representative image is resized by the representative image resizing unit 3, and this image signal is transmitted to the mobile phone 30 by infrared communication. To do. Subsequently, it is determined whether or not the image transmission is completed. If the image transmission is not completed, the process waits for a predetermined time to elapse (S20). When transmission ends within a predetermined time, OK display is performed (S18), and the process returns.
次に、仮想空間で写真美術館を運営するサーバー20の動作について、図7に示すフローチャートを用いて説明する。サーバー制御のフローに入ると、まず、展示画像が送信されてきたか否かの判定を行う(S51)。展示画像が送信されてくると、指定装飾があるか否かの判定を行う(S52)。判定の結果、指定装飾がなければ、ステップS54にジャンプし、一方、指定装飾があれば、画像加工部21によって取得画像に指定された装飾を施す(S53)。 Next, the operation of the server 20 that operates the photo museum in the virtual space will be described with reference to the flowchart shown in FIG. If the server control flow is entered, it is first determined whether or not an exhibition image has been transmitted (S51). When the exhibition image is transmitted, it is determined whether or not there is a designated decoration (S52). As a result of the determination, if there is no designated decoration, the process jumps to step S54, and if there is a designated decoration, the designated decoration is applied to the acquired image by the image processing unit 21 (S53).
続いて、送信されてきた展示画像について画像からテーマが有るか否かの判定を行う(S55)。画像のテーマ判定は、画像認識技術によって行うが、画像にテーマに関するデータが付与されていれば、それを用いてもよい。判定の結果、テーマが有れば、その指定テーマと同一または類似のテーマの部屋(展示室)に入れる(S56)。テーマが不明確な場合には、テーマなしの部屋に入れる(S55)。 Subsequently, it is determined whether or not there is a theme from the image of the transmitted exhibition image (S55). The image theme determination is performed by image recognition technology. However, as long as data on a theme is given to the image, it may be used. As a result of the determination, if there is a theme, it is put into a room (exhibition room) having the same or similar theme as the designated theme (S56). If the theme is unclear, it is put in a room without a theme (S55).
次に、送信されてきた画像が多数か否かの判定を行う(S57)。判定の結果、多数の場合には、それだけで一部屋(展示室)を用意する(S56)。例えば、旅行から帰った時などは、大量の画像になるので、その場合には、旅の思い出の部屋を設ける(S58)。なお、テーマなしの部屋や、テーマのある部屋で画像が多数に増加した場合にも、部屋の増設を行う。次に、送信されてきた画像と仮想空間内の展示室(部屋)の情報を関連付け、その展示室に行けば、画像が見られるようにする(S59)。 Next, it is determined whether there are a large number of transmitted images (S57). As a result of the determination, if there are many cases, a room (exhibition room) is prepared by itself (S56). For example, when returning from a trip or the like, a large amount of images are created. In that case, a room for memories of the trip is provided (S58). It should be noted that even when the number of images increases in a room without a theme or a room with a theme, the number of rooms is increased. Next, the transmitted image and the information on the exhibition room (room) in the virtual space are associated with each other, and if the user goes to the exhibition room, the image can be viewed (S59).
ステップS51における判定の結果、展示画像の取得ではなかった場合には、仮想空間散策か否かの判定を行う(S61)。仮想空間を散策したいユーザーは、携帯電話30等の端末から、アクセスしてくるので、このアクセスか否かこのステップで判定する。判定の結果、仮想空間散策ではなかった場合には、ステップS51に戻る。一方、仮想空間散策の場合には、図2(a)に示したような基準場所にユーザーアバター41を表示するため、仮想空間の画像をアクセスしてきた端末に送信する(S62)。 As a result of the determination in step S51, if it is not the acquisition of the exhibition image, it is determined whether or not it is a virtual space walk (S61). Since a user who wants to walk in the virtual space accesses from a terminal such as the mobile phone 30, it is determined in this step whether or not this access is made. As a result of the determination, if it is not a virtual space walk, the process returns to step S51. On the other hand, in the case of walking in the virtual space, in order to display the user avatar 41 at the reference place as shown in FIG. 2A, the image of the virtual space is transmitted to the accessing terminal (S62).
次に、ユーザーが、サンプル画像(代表画像)と同一または類似の画像を、美術館の中から検索して鑑賞したいか否か判定する(S63)。判定の結果、美術館検索の場合には、リサイズされたサンプル画像の取得を行い(S64)、その画像を用いて、仮想空間内の美術館の所蔵画像の中から画像検索を行う(S65)。なお、ステップS51における画像取得の際に、サンプル画像の送信であった場合には、このステップにジャンプするようにしてもよい。 Next, it is determined whether the user wants to search and appreciate an image that is the same as or similar to the sample image (representative image) from the museum (S63). As a result of the determination, in the case of the museum search, the resized sample image is acquired (S64), and the image is searched from the holding images of the museum in the virtual space using the image (S65). Note that if the sample image is transmitted at the time of image acquisition in step S51, the process may jump to this step.
画像を検索し、その画像の展示場所が見つかると、次に、その展示場所までのルートを検索する(S66)。展示場所へのルートの決定にあたっては、図5で説明したように、ユーザーの嗜好に応じて、適宜、ルートを選択するようにしてもよい。ルートが決まると、案内アバター43を出し、その展示場所まで案内表示を行う(S67)。 When the image is searched and the display place of the image is found, next, the route to the display place is searched (S66). In determining the route to the exhibition place, as described with reference to FIG. 5, the route may be appropriately selected according to the user's preference. When the route is determined, the guidance avatar 43 is issued and guidance display is performed up to the exhibition place (S67).
次に、ユーザーが移動操作を行ったか否かの判定を行う(S68)。ユーザーは、案内アバター43の後を追いかけるように、操作部35を操作してユーザーアバター41を移動させるので、このステップでは、操作判定部26によってユーザーの操作を判定する。判定の結果、ユーザー操作がなかった場合には、仮想空間内で、チャットや、買い物等のコミュニケーション等を行う場合には、そのための画像を送信する(S70)。判定の結果、ユーザーによって移動操作がなされた場合には、ユーザーの操作に従って風景が変わるように画像を生成し、送信する(S69)。 Next, it is determined whether or not the user has performed a moving operation (S68). Since the user moves the user avatar 41 by operating the operation unit 35 so as to follow the guidance avatar 43, the operation determination unit 26 determines the user's operation in this step. If there is no user operation as a result of the determination, an image for that purpose is transmitted when performing communication such as chat or shopping in the virtual space (S70). If the result of determination is that the user has performed a moving operation, an image is generated and transmitted so that the landscape changes according to the user's operation (S69).
ステップS65で検索した画像の展示場所まで到着したか否かの判定を行う(S71)。判定の結果、展示場所に到着していなかった場合には、ステップS66に戻り、前述の動作を繰り返す。一方、展示場所に到着した場合には、案内アバター43は役目を終了したので、戻るが、ユーザーは、さらに仮想空間内を散策したい場合もあることから、ステップS81にジャンプし、散策を続行できるようにしている。 It is determined whether or not the display location of the image searched in step S65 has arrived (S71). If the result of determination is that the vehicle has not arrived at the exhibition location, the flow returns to step S66 to repeat the above operation. On the other hand, when arriving at the exhibition place, the guidance avatar 43 has finished its role and returns, but the user may wish to further stroll in the virtual space, so the user can jump to step S81 and continue the stroll. I am doing so.
なお、案内アバター43の後をついていくことにより、目的とする画像の展示場所まで行けるが、別についていかなくともよい。仮想空間内の風景に興味をそそられて、寄り道をすることも可能であり、その都度、適宜、操作部35の操作を行うことにより、仮想空間内で、すきな場所に行くことができる。 By following the guidance avatar 43, it is possible to go to the display location of the target image, but it is not necessary to follow another. It is also possible to take a detour while being intrigued by the scenery in the virtual space, and whenever necessary, by operating the operation unit 35, it is possible to go to a favorite place in the virtual space.
また、案内アバター43を必要としないときには、リサイズ画像を送らなければよい。この場合には、ステップS63において美術館検索ではないと判定され、ユーザーの操作に従って、案内なしに、ユーザーアバター41が仮想空間をさすらって、いろいろな事を体験することができる。ステップS63において美術館検索でないと判定されると、まず、操作判定部26によって、ユーザーが移動操作を行ったか否かの判定を行う(S81)。 Further, when the guidance avatar 43 is not required, it is sufficient that the resized image is not sent. In this case, it is determined in step S63 that it is not a museum search, and the user avatar 41 can touch the virtual space and experience various things without guidance according to the user's operation. If it is determined in step S63 that it is not a museum search, first, the operation determination unit 26 determines whether or not the user has performed a moving operation (S81).
ステップS81における判定の結果、ユーザーの移動操作がなされた場合には、ステップS69と同様に、ユーザー操作に従って風景の切り換えを行う(S82)。一方、ユーザーの移動操作がなされていない場合には、ステップS70と同様に、チャット等のコミュニケーションを行う(S83)。続いて、ユーザーが仮想空間内での散策を終了するか否かの判定を行い、続行する場合には、ステップS81に戻り、一方、終了する場合には、リターンする。 If the result of determination in step S81 is that the user has performed a moving operation, as in step S69, landscape switching is performed in accordance with the user operation (S82). On the other hand, if the user's movement operation is not performed, communication such as chat is performed as in step S70 (S83). Subsequently, it is determined whether or not the user ends the walk in the virtual space. When the user continues, the process returns to step S81, and when the user ends, the process returns.
以上、説明したように、本発明の第1実施形態においては、仮想空間内にユーザーの撮影した画像を展示することができ、この展示場所に多くの人を招くことができる。そして、この展示場所まで案内する案内部24を設けているので、目的とする画像を容易に見つけ出すことができる。 As described above, in the first embodiment of the present invention, images taken by the user can be displayed in the virtual space, and many people can be invited to the display place. And since the guide part 24 which guides to this exhibition place is provided, the target image can be found easily.
また、本実施形態においては、画像が多数増えると、部屋(展示室)を増設することが可能であり、このような場合でも、サンプル画像(代表画像)を利用した案内をしているので、効率よく部屋(展示室)に鑑賞者を導くことができる。 Moreover, in this embodiment, when a large number of images increase, it is possible to add a room (exhibition room), and even in such a case, guidance is provided using sample images (representative images). The viewer can be efficiently guided to the room (exhibition room).
なお、本実施形態においては、携帯電話30からサーバー20にアクセスするようにしていたが、カメラ10からサンプル画像(代表画像)を受領したパーソナルコンピュータ等からアクセスするようにしてもよい。また、サーバー20にアクセスするに必要な情報は、サンプル画像(代表画像)の送信の際に、画像と一緒に送るようにすればよい。また、さらに多くの画像が送られてきた場合は、美術館を増設してもよい。 In the present embodiment, the server 20 is accessed from the mobile phone 30, but may be accessed from a personal computer or the like that has received a sample image (representative image) from the camera 10. Information necessary for accessing the server 20 may be transmitted together with the image when the sample image (representative image) is transmitted. If more images are sent, a museum may be added.
次に、本発明の第2実施形態について、図8乃至図11を用いて説明する。第1実施形態では、携帯電話30等からサーバー20にアクセスし、仮想空間内に展示されている撮影画像を楽しむようにしていた。第2実施形態では、仮想空間内に展示されている撮影画像51の中で、気にいった画像等をカメラ10に取り込み、例えば、スライドショーの形式で表示可能としている。 Next, a second embodiment of the present invention will be described with reference to FIGS. 8-11. In the first embodiment, the server 20 is accessed from the mobile phone 30 or the like, and the photographed images displayed in the virtual space are enjoyed. In the second embodiment, among the captured images 51 displayed in the virtual space, a favorite image or the like is taken into the camera 10 and can be displayed in a slide show format, for example.
図8は、第2実施形態に係わるカメラ10、サーバー20、携帯電話30とからなる画像鑑賞システムの構成を示すブロック図である。カメラ10は、スライドショー部7を有している。このスライドショー部7は、画像記録部2に記録されている画像を、スライドショーの形式で、表示部5に再生表示する。これ以外の構成は、図1に示す第1実施形態におけるカメラ10と同様であるので、同一の部材には、同一の符号を付し、詳しい説明を省略する。 FIG. 8 is a block diagram illustrating a configuration of an image viewing system including the camera 10, the server 20, and the mobile phone 30 according to the second embodiment. The camera 10 has a slide show unit 7. The slide show unit 7 reproduces and displays the images recorded in the image recording unit 2 on the display unit 5 in the form of a slide show. Since the configuration other than this is the same as that of the camera 10 in the first embodiment shown in FIG. 1, the same members are denoted by the same reference numerals and detailed description thereof is omitted.
サーバー20は、スライドショー候補化部27を有している。スライドショー候補化部27は、仮想空間内で撮影画像51を鑑賞していて、図9(a)に示すように、「いいですね」といった肯定的な発言があった撮影画像51をスライドショー候補として記憶する。一方、図9(b)に示すように、案内アバター43からユーザーアバター41に勧める発言があっても肯定的な返事がない場合には、スライドショーの候補としては記憶しない。 The server 20 includes a slide show candidate unit 27. Slideshow candidate section 27, have to watch the captured image 51 in the virtual space, as shown in FIG. 9 (a), the captured image 51 as a slide show candidates had positive remarks such as "it sounds good" Remember. On the other hand, as shown in FIG. 9 (b), when the guide avatar 43 no affirmative reply even when speaking to recommend to the user avatar 41 does not store the candidates for the slide show.
サーバー20のこれ以外の構成は、図1に示す第1実施形態におけるサーバー20と同様の構成であるので、同一の部材には同一の符号を付し、詳しい説明を省略する。携帯電話30は、図1における携帯電話30と同様の構成であるので、同一の部材には同一の符号を付し、詳しい説明を省略する。 Since the other configuration of the server 20 is the same as that of the server 20 in the first embodiment shown in FIG. 1, the same members are denoted by the same reference numerals, and detailed description thereof is omitted. Since the mobile phone 30 has the same configuration as the mobile phone 30 in FIG. 1, the same members are denoted by the same reference numerals, and detailed description thereof is omitted.
本実施形態は、このように構成されているので、仮想空間の美術館で気に入った写真があると、美術館で気に入った絵の絵葉書を購入する感覚で、選択した画像を携帯電話30にサーバー20が送信する。カメラ10は赤外通信により携帯電話30よりその画像を取得し、画像記録部2に記録する。 Since the present embodiment is configured as described above, if there is a favorite photo in the museum in the virtual space, the server 20 sends the selected image to the mobile phone 30 as if purchasing a picture postcard of the favorite picture in the museum. Send . Camera 10 acquires the image from the portable telephone 30 by infrared communication, and recorded in the image recording unit 2.
この画像記録部2に記録された取得画像をスライドショー部7はスライドショー形式で表示する。スライドショーにあたっては、単にカメラ10の表示部5に表示するだけではなく、図10に示すように、外部モニタ60に表示するようにしてもよい。なお、スライドショー候補化部27に記憶するスライドショー候補のデータは仮想空間との間での契約等で選定される。 The slide show unit 7 displays the acquired images recorded in the image recording unit 2 in a slide show format. In the slide show, not only displays on the display unit 5 of the camera 10, as shown in FIG. 10, may be displayed on the external monitor 60. Note that the slide show candidate data stored in the slide show candidate unit 27 is selected by a contract with the virtual space.
サーバー20のサーバー制御のフローは、図7に示したフローチャートをそのまま用いることができるが、スライドショーの候補化はステップS70およびステップS83におけるコミュニケーション等のサブルーチンの中で行うので、このフローについて、図11に示すフローチャートを用いて説明する。なお、このコミュニケーション等のサブルーチンでは、会話することができ、また進行状況によっては、その他のサービスを楽しむことができる。また、会話の結果、スライドショー候補を得ることができれば、仮想空間内に設けたスイッチ操作や音声応答などにより、画像を携帯電話30に送信する。 Flow Server Control server 20, can be used as it to a flowchart shown in FIG. 7, the candidate of the slide show performed in the subroutine of communication like in step S70 and step S83, the this flowchart, FIG. 11 It demonstrates using the flowchart shown in FIG. In addition, in this communication subroutine, it is possible to have a conversation and to enjoy other services depending on the progress. If a slide show candidate can be obtained as a result of the conversation, an image is transmitted to the mobile phone 30 by a switch operation or voice response provided in the virtual space.
コミュニケーション等のサブルーチンに入ると、まず、会話がなされているか否かの判定を行う(S101)。ここでのコミュニケーションは、テキストデータ等による言葉での会話およびアバターによる身振り・仕草による会話等を含む。判定の結果、会話であれば、会話がテキストデータで入力されているか否かの判定を行う(S111)。判定の結果、入力があれば、テキストによって、例えばアバターから吹き出し形式で、表示を行う(S112)。 When a subroutine for communication or the like is entered, it is first determined whether or not a conversation is being made (S101). The communication here includes conversation in words based on text data and the like, conversation based on gestures and gestures by avatars, and the like. If the result of the determination is a conversation, it is determined whether or not the conversation is input as text data (S111). If there is an input as a result of the determination, the text is displayed, for example, in a balloon form from an avatar (S112).
一方、会話のテキストデータの入力がなければ、アバターによる身振りでのコミュニケーションか否かの判定を行う(S113)。ユーザーは携帯電話30の操作部35を操作することによりユーザーアバター41に所定の身振りを行わせることができる。ステップS113では、ユーザーアバター41がこの身振りでコミュニケーションを行っているか否かの判定を行う。判定の結果、身振りによるコミュニケーションがなされていれば、ユーザーアバター41の身振りによるコミュニケーションに応じて、案内アバター43やその他のアバターが、それに応える身振りを行う(仕草の表示)(S114)。このように、それぞれのユーザーがアバターに所定の動きをさせ、また会話を行うことによって、仮想空間内でのコミュニケーションが可能となる。ステップS113において身振りでのコミュニケーションがなかったか、ステップS112における言葉の表示、ステップS114の仕草の表示を行うと、ステップS101に戻る。 On the other hand, if there is no input of the text data of conversation, it will be determined whether it is communication by gesture by an avatar (S113). The user can cause the user avatar 41 to perform a predetermined gesture by operating the operation unit 35 of the mobile phone 30. In step S113, it is determined whether or not the user avatar 41 is communicating with this gesture. If communication by gesture is made as a result of the determination, according to the communication by gesture of the user avatar 41, the guide avatar 43 and other avatars perform gestures corresponding to the gesture (display of gesture) (S114). In this way, each user makes avatars perform a predetermined movement and has a conversation, thereby enabling communication in a virtual space. If there is no gesture communication in step S113, or if words are displayed in step S112 and gestures are displayed in step S114, the process returns to step S101.
ステップS101における判定の結果、会話ではなかった場合には、仮想空間内での買い物か否かの判定を行う(S102)。判定の結果、買い物であった場合には、店主等と商品の価格等の交渉や、支払い等を行う(S121)。一方、買い物でなかった場合には、ゲームを行うか否かの判定を行う(S103)。判定の結果、ゲームを行う場合には、ゲーム・アプリケーションの起動を行う(S122)。 If the result of determination in step S101 is not conversation, it is determined whether or not shopping is in the virtual space (S102). If the result of the determination is shopping, negotiation with the store owner or the like on the price of the product, payment, etc. are performed (S121). On the other hand, if it is not shopping, it is determined whether or not to play a game (S103). As a result of the determination, when a game is played, the game application is activated (S122).
ステップS113における判定の結果、ゲームではなかった場合には、スライドショーの送信か否かの判定を行う(S104)。判定の結果、スライドショー送信であれば、前述したように、仮想空間内に設けたスイッチ操作や音声応答などにより、その画像を携帯電話30に送信する(S123)。携帯電話30からカメラ10へは、前述の赤外通信によって画像を送信可能である。なお、この画像は、図9を用いて説明したように、肯定的発言がなされた画像である。
If the result of determination in step S113 is not a game, it is determined whether or not a slide show is to be transmitted (S104). As a result of the determination, if it is a slide show transmission, as described above, the image is transmitted to the mobile phone 30 by a switch operation or voice response provided in the virtual space (S123). An image can be transmitted from the mobile phone 30 to the camera 10 by the infrared communication described above. Incidentally, this image, as described with reference to FIG. 9, an image positive remark is made.
ステップS121、S122、S123での処理を行うと、またはステップS104においてスライドショー送信でなかった場合には、次に、コミュニケーション等を終了するか否かの判定を行い(S105)、続行する場合には、ステップS101に戻り、一方、終了の場合には、元のルーチンにリターンする。 If the processing in steps S121, S122, and S123 is performed, or if slide show transmission is not performed in step S104, it is next determined whether or not to end communication or the like (S105). Returning to step S101, on the other hand, in the case of completion, the process returns to the original routine.
以上説明したように、本発明の第2実施形態においては、仮想空間内に展示されている撮影画像51で気に入ったものがあれば、それをスライドショー候補化し、ユーザーの携帯電話30に送信し、カメラ10で鑑賞できるようにしている。このため、気に入った画像を、仮想空間内で楽しむだけではなく、ユーザーの手元で鑑賞することができる。 As described above, in the second embodiment of the present invention, if there is a photographed image 51 displayed in the virtual space that you like, it is converted into a slide show candidate and sent to the user's mobile phone 30, The camera 10 can be viewed. For this reason, it is possible not only to enjoy a favorite image in the virtual space but also to appreciate it at the user's hand.
なお、本実施形態においては、スライドショー候補の画像をサーバー20から携帯電話30に送信していたが、ユーザーのパーソナルコンピュータやカメラ10に直接送信するようにしても勿論かまわない。また、画像をスライドショー形式で鑑賞していたが、これに限らず、他の形式で、例えば、通常の画像再生で鑑賞するようにしてもよい。 In the present embodiment, the slide show candidate images are transmitted from the server 20 to the mobile phone 30, but may be directly transmitted to the user's personal computer or the camera 10. Further, although the images are viewed in the slide show format, the present invention is not limited to this, and the images may be viewed in other formats, for example, normal image reproduction.
以上、説明したように、本発明の第1および第2実施形態においては、仮想空間内の基準位置から代表画像と同一または類似する画像が展示されている仮想空間に案内するためのデータを生成する案内部を設けているので、この案内部による案内に従って目的とする画像の展示場所を探すことができる。単に、画像の展示場所に瞬時にジャンプするのではなく、仮想空間内を移動してことができ、目的とする画像を楽しみながら容易に見出すことができる。 As described above, in the first and second embodiments of the present invention, data for guiding from the reference position in the virtual space to the virtual space in which the same or similar image as the representative image is displayed is generated. Since the guide section is provided, it is possible to search for the display location of the target image according to the guidance by the guide section. Rather than simply jumping to the display location of the image, it is possible to move within the virtual space and easily find the desired image while enjoying it.
また、本発明の各実施形態においては、仮想空間内に画像を展示する展示室(部屋)を設け、目的とする画像に案内する際に、撮影画像と類似する画像が展示されているルートを通るようにしている。このため、目的とする画像までのルートにおいてユーザーは興味のある画像を鑑賞することができる。 In each embodiment of the present invention, an exhibition room (room) for displaying images in a virtual space is provided, and when guiding to a target image, a route on which an image similar to a captured image is displayed is displayed. I try to pass. For this reason, the user can appreciate an image of interest on the route to the target image.
なお、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。携帯電話や携帯情報端末の撮像機能を利用する場合には、携帯電話30とカメラ10を1つの機器で兼用することができる。 In the embodiment of the present invention, the digital camera is used as the photographing device. However, the camera may be a digital single-lens reflex camera or a compact digital camera, and may be a mobile phone or a portable information terminal ( Of course, a camera built in PDA (Personal Digital Assist) or the like may be used. When using the imaging function of a mobile phone or a portable information terminal, the mobile phone 30 and the camera 10 can be used as a single device.
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
1・・・撮影部、2・・・画像記録部、3・・・代表画像リサイズ部、4・・・赤外通信部、5・・・表示部、6・・・通信部、7・・・スライドショー部、10・・・カメラ、20・・・サーバー、21・・・画像加工部、22・・・画像保存部、23・・・仮想空間合成表示部、24・・・案内部、25・・・仮想空間データ部、26・・・操作判定部、27・・・スライドショー候補化部、30・・・携帯電話、31・・・表示部、32・・・赤外通信部、33・・・画像通信部、34・・・表示制御部、35・・・操作部、41・・・ユーザーアバター、43・・・案内アバター、44・・・他のアバター、51・・・撮影画像、53・・・鳥鑑賞ルート、54・・・花鳥鑑賞ルート、55・・・展示室、60・・・外部モニタ DESCRIPTION OF SYMBOLS 1 ... Imaging | photography part, 2 ... Image recording part, 3 ... Representative image resizing part, 4 ... Infrared communication part, 5 ... Display part, 6 ... Communication part, 7 ... Slide show section, 10 ... camera, 20 ... server, 21 ... image processing section, 22 ... image storage section, 23 ... virtual space composition display section, 24 ... guide section, 25 ... Virtual space data part, 26 ... Operation determination part, 27 ... Slide show candidate part, 30 ... Mobile phone, 31 ... Display part, 32 ... Infrared communication part, 33. ..Image communication unit 34... Display control unit 35 .. operation unit 41... User avatar 43 .. guidance avatar 44 .. other avatar 51. 53 ... Bird viewing route, 54 ... Flower bird viewing route, 55 ... Exhibition room, 60 ... External monitor
Claims (7)
元画像をリサイズしたサンプル画像を送信する送信部と、
仮想空間内に特定画像を合成して表示するためのデータを生成する仮想空間合成部と、
上記仮想空間合成部によって生成された上記データを表す画像を表示する仮想空間表示部と、
上記仮想空間内において、ユーザーによる移動の指示操作を判定する操作判定部と、
上記仮想空間内の所定位置を表わす基準場所の画像を生成するとともに、上記サンプル画像を基に上記元画像を加工した画像が展示されている仮想空間内の展示場所を検索し、上記操作判定部によって判定された上記移動の指示操作に従って、上記仮想空間の場所を表わす画像を切換え、上記展示場所に案内するためのデータを生成する案内部と、
を具備し、上記案内部によって生成された上記データを表す画像を上記仮想空間表示部に表示させることを特徴とする画像鑑賞システム。 An image viewing system for guiding a viewer to a virtual space having a plurality of image storage rooms,
A transmission unit for transmitting a sample image obtained by resizing the original image;
A virtual space composition unit that generates data for combining and displaying a specific image in the virtual space;
A virtual space display unit that displays an image representing the data generated by the virtual space synthesis unit;
In the virtual space, an operation determination unit that determines a movement instruction operation by a user;
Generating an image of a reference place representing a predetermined position in the virtual space, searching an exhibition place in a virtual space where an image obtained by processing the original image is displayed based on the sample image, and the operation determination unit A guide unit for switching the image representing the location of the virtual space and generating data for guiding to the exhibition location according to the movement instruction operation determined by
An image appreciation system comprising: displaying an image representing the data generated by the guide unit on the virtual space display unit.
送信部によって、元画像をリサイズしたサンプル画像を送信するステップと、
仮想空間合成部によって仮想空間内に特定画像を合成して表示するためのデータを生成するステップと、
操作判定部によって、上記仮想空間内において、ユーザーによる移動の指示操作を判定するステップと、
上記仮想空間内の所定位置を表わす基準場所の画像を生成するとともに、案内部によって、上記サンプル画像を基に上記元画像を加工した画像が展示されている仮想空間内の展示場所を検索し、上記操作判定部によって判定された上記移動の指示操作に従って、上記仮想空間の場所を表わす画像を切換え、上記展示場所に案内するためのデータを生成するステップと、
を備えたことを特徴とする画像鑑賞方法。 An image viewing method for guiding a viewer to a virtual space having a plurality of image storage rooms,
A step of transmitting a sample image obtained by resizing the original image by the transmission unit;
Generating data for combining and displaying a specific image in the virtual space by the virtual space combining unit;
A step of determining a movement instruction operation by a user in the virtual space by an operation determination unit;
An image of a reference place representing a predetermined position in the virtual space is generated, and the guide unit searches for an exhibition place in the virtual space where an image obtained by processing the original image based on the sample image is displayed. In accordance with the movement instruction operation determined by the operation determination unit, switching the image representing the location of the virtual space and generating data for guiding to the exhibition location;
An image viewing method characterized by comprising:
仮想空間内に特定画像を合成して表示するためのデータを生成する仮想空間合成部と、
外部の機器から入力し、検索対象となる元画像をリサイズしたサンプル画像を記憶するサンプル画像記憶部と、
上記仮想空間内において、ユーザーによる移動の指示操作を判定する操作判定部と、
上記仮想空間内の所定位置を表わす基準場所の画像を生成するとともに、上記サンプル画像を基に元画像を含む画像群が展示されている仮想空間内の展示場所を検索し、上記操作判定部によって判定された上記移動の指示に従って上記仮想空間の場所を表わす画像を切換え、上記展示場所に案内するためのデータを生成し、外部に送信する案内部と、
を備えたことを特徴とする画像鑑賞用サーバー。 An image viewing server for guiding a viewer to a virtual space having a plurality of image storage rooms,
A virtual space composition unit that generates data for combining and displaying a specific image in the virtual space;
A sample image storage unit for storing a sample image input from an external device and resized from the original image to be searched;
In the virtual space, an operation determination unit that determines a movement instruction operation by a user;
An image of a reference place representing a predetermined position in the virtual space is generated, and an exhibition place in the virtual space in which an image group including the original image is displayed is searched based on the sample image, and the operation determination unit A guide unit that switches an image representing the location of the virtual space according to the determined movement instruction, generates data for guiding to the exhibition location, and transmits the data to the outside;
An image viewing server characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007295370A JP5090135B2 (en) | 2007-11-14 | 2007-11-14 | Image viewing system, image viewing method, image viewing server, and terminal device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007295370A JP5090135B2 (en) | 2007-11-14 | 2007-11-14 | Image viewing system, image viewing method, image viewing server, and terminal device |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012199506A Division JP5519750B2 (en) | 2012-09-11 | 2012-09-11 | Image viewing system, image viewing method, image viewing server, and terminal device |
| JP2012199507A Division JP5519751B2 (en) | 2012-09-11 | 2012-09-11 | Image viewing system, image viewing method, image viewing server, and terminal device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2009122903A JP2009122903A (en) | 2009-06-04 |
| JP2009122903A5 JP2009122903A5 (en) | 2010-12-16 |
| JP5090135B2 true JP5090135B2 (en) | 2012-12-05 |
Family
ID=40815000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007295370A Expired - Fee Related JP5090135B2 (en) | 2007-11-14 | 2007-11-14 | Image viewing system, image viewing method, image viewing server, and terminal device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5090135B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4332872A4 (en) * | 2021-04-30 | 2024-09-18 | Sony Group Corporation | INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7670219B1 (en) * | 2024-08-20 | 2025-04-30 | Toppanホールディングス株式会社 | Digital space display system, digital space display method, and program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3711025B2 (en) * | 2000-03-21 | 2005-10-26 | 大日本印刷株式会社 | Virtual reality space movement control device |
| JP2003281151A (en) * | 2002-03-19 | 2003-10-03 | Toshiba Corp | Search system |
| JP2004054828A (en) * | 2002-07-24 | 2004-02-19 | Fuji Photo Film Co Ltd | Image processing device |
| JP2004145657A (en) * | 2002-10-24 | 2004-05-20 | Space Tag Inc | Virtual museum system |
-
2007
- 2007-11-14 JP JP2007295370A patent/JP5090135B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4332872A4 (en) * | 2021-04-30 | 2024-09-18 | Sony Group Corporation | INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD |
| US12584751B2 (en) | 2021-04-30 | 2026-03-24 | Sony Group Corporation | Information processing apparatus and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009122903A (en) | 2009-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3509288B1 (en) | Information processing terminal | |
| CN113115061B (en) | Live broadcast interaction method and device, electronic equipment and storage medium | |
| US8405740B2 (en) | Guidance for image capture at different locations | |
| CN113518264B (en) | Interactive method, device, terminal and storage medium | |
| CN101998057A (en) | Camera and camera display control method | |
| JP2009129398A (en) | Image display device and image display method | |
| US20120327257A1 (en) | Photo product using images from different locations | |
| CN110930517A (en) | A panoramic video interactive system and method | |
| JP5519751B2 (en) | Image viewing system, image viewing method, image viewing server, and terminal device | |
| TW202301082A (en) | Interaction method, computer device and computer-readable storage medium | |
| CN119096535B (en) | Camera setup and effects shortcuts | |
| JP2021184095A (en) | Information processing device | |
| JP6830634B1 (en) | Information processing method, information processing device and computer program | |
| JP5090135B2 (en) | Image viewing system, image viewing method, image viewing server, and terminal device | |
| JP5519750B2 (en) | Image viewing system, image viewing method, image viewing server, and terminal device | |
| JP5117273B2 (en) | Image display device | |
| JP2009230635A (en) | Image data generating device, image data generating method and image data generating program | |
| CN114547486A (en) | Method and electronic device for providing shooting instruction content | |
| JP2008299472A (en) | Server, point imparting system, method of imparting point by server, program, and recording medium | |
| KR20250028494A (en) | Electronic device, control method, and computer-readable storage medium | |
| JP2024145567A (en) | Video processing method, video processing system, and video processing program | |
| CN118332206A (en) | Search results page display method, device, equipment and medium | |
| JP5329691B2 (en) | Camera and camera control method | |
| JP2018085628A (en) | Signage system, portable terminal device, and program | |
| JP5509287B2 (en) | Reproduction display device, reproduction display program, reproduction display method, and image processing server |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101027 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101027 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120326 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120607 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120817 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120912 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150921 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5090135 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150921 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |