Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4190073B2 - 画像再生装置 - Google Patents
[go: Go Back, main page]

JP4190073B2 - 画像再生装置 - Google Patents

画像再生装置 Download PDF

Info

Publication number
JP4190073B2
JP4190073B2 JP36134298A JP36134298A JP4190073B2 JP 4190073 B2 JP4190073 B2 JP 4190073B2 JP 36134298 A JP36134298 A JP 36134298A JP 36134298 A JP36134298 A JP 36134298A JP 4190073 B2 JP4190073 B2 JP 4190073B2
Authority
JP
Japan
Prior art keywords
music
image
information
shooting
reproducing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP36134298A
Other languages
English (en)
Other versions
JP2000187921A (ja
Inventor
猛士 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP36134298A priority Critical patent/JP4190073B2/ja
Publication of JP2000187921A publication Critical patent/JP2000187921A/ja
Application granted granted Critical
Publication of JP4190073B2 publication Critical patent/JP4190073B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像再生装置、より詳しくは、画像の再生とともに音楽の再生も可能な画像再生装置に関する。
【0002】
【従来の技術】
画像の再生を行うときに音楽の再生を同時に行う画像再生装置は、従来より種々のものが提案されている。
【0003】
このような技術の一例としては、特開平8−249865号公報に、場面の情景を表示する動画像とこの動画像にふさわしい音楽を対応付けて記録し再生する音楽再生システムであって、複数の場面より構成される動画像情報を記憶したファイルと、複数の音楽が記録された記録媒体と、上記各音楽が記録媒体に記録されている場所を示す情報を記憶したファイルとを設けて、上記場面を指示することにより、該場面に対応する動画像を表示するとともに、その動画像にふさわしい音楽名を入力し、入力された音楽名に基づいて記録媒体から該当する音楽を検索し、検索された音楽を場面に対応付けて記憶する技術が記載されている。
【0004】
【発明が解決しようとする課題】
しかしながら、上記特開平8−249865号公報に記載されたような技術手段では、予め動画像の場面と音楽とを関連付ける操作が必要となって手間がかかるために、こうした操作を一般ユーザに強いるのは困難である。
【0005】
本発明は上記事情に鑑みてなされたものであり、面倒な操作を行うことなく画像の場面に合った音楽の再生を行うことができる画像再生装置を提供することを目的としている。
【0006】
【課題を解決するための手段】
上記の目的を達成するために、第1の発明による画像再生装置は、撮影画像に係る画像情報を読み出して、画像を再生する画像再生手段と、上記画像情報とともに記録されている画像撮影時の撮影制御に係る撮影条件情報を読み出す読出手段と、この読出手段により読み出した撮影条件情報に基づいて撮影状況を推定し、音楽と該画像との適合性を推定する適合性推定手段と、上記画像再生手段が画像を再生するのに合わせてこの適合性推定手段により適合すると推定された音楽を再生する音楽再生手段とを備えたものである。
【0007】
また、第2の発明による画像再生装置は、上記第1の発明による画像再生装置において、上記撮影条件情報が、ホワイトバランス情報、フォーカス情報、レンズの焦点距離に係るズーム情報、ストロボによる補助光の発光に係るストロボ情報、撮影時のシャッタ速度を示すシャッタスピード情報または絞り情報のうち少なくとも1つを含むものである。
【0008】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【0009】
図1から図3は本発明の一実施形態を示したものであり、図1は、電子アルバムの主として電気的な構成を示すブロック図である。
【0010】
図1に示すように、この画像再生装置としての電子アルバムは、例えばマイクロホンやその他の音楽再生装置から出力される音楽を入力するための音楽入力手段たる音楽入力端子1と、この音楽入力端子1から入力されるアナログの電気信号をデジタルデータに変換するための音楽A/D回路2と、この音楽A/D回路2から出力される音楽データを一時的にバッファリングしておくためのFIFOメモリ3と、バスを介して出力される音楽データを蓄積するためのFIFOメモリ4と、このFIFOメモリ4から出力されるデジタルの音楽データをアナログの電気信号に変換するための音楽D/A回路5と、この音楽D/A回路5の出力に基づき、音楽を再生する音楽再生手段であり音情報再生手段を兼ねたスピーカ6と、バスを介して後述する第2CPU22に接続されているメモリ7と、画像データや音楽データを含む各種のデータを記録するためのものであり、例えばこの電子アルバムに着脱自在に構成されたメモリカード等でなる記録媒体8と、この記録媒体8とのデータの授受を行うための音楽入力手段であり画像入力手段を兼ねた記録媒体インターフェース(I/F)9と、上記バスを介して出力される画像データを蓄積するためのFIFOメモリ10と、このFIFOメモリ10から出力される画像データに各種の処理を施すためのビデオエンコード回路11と、このビデオエンコード回路11の出力に基づき後述するTFTパネル13を制御するTFT液晶駆動回路12と、このTFT液晶駆動回路12の制御に基づき画像を視覚的に表示する画像再生手段であり表示手段たるTFTパネル13と、このTFTパネル13を背面側から照明するためのバックライトユニット14と、上記ビデオエンコード回路11の出力に基づきビデオ出力信号を生成するためのビデオ出力回路15と、このビデオ出力回路15により生成されたビデオ出力信号を外部の機器等に出力するためのビデオ出力端子16と、上記FIFOメモリ3,4,10、メモリ7、記録媒体I/F9と上記バスを介して接続されていて、音楽再生機能、各種画像処理機能、画像伸長機能、メモリコントロール機能、記録媒体アクセス機能などを有する読出手段たる第2CPU22と、後述するLCDパネル18を制御するためのLCD表示回路17と、このLCD表示回路17により駆動されてこの電子アルバムに係る各種の情報を表示するためのLCDパネル18と、該電子アルバムと外部の電子機器等とでデータの授受を行うための外部データI/F19と、使用者が該電子アルバムに情報入力を行うための選択手段であり選択決定手段たるキーマトリクス20と、この電子アルバムの電源となる電池23と、この電池23から供給される電力を当該電子アルバム内の各回路に供給するための電源回路24と、上記音楽D/A回路5、ビデオエンコード回路11、TFT液晶駆動回路12、バックライトユニット14、LCD表示回路17、外部データI/F19、キーマトリクス20、電源回路24を制御するとともに、上記第2CPU22による各機能を統括的にコントロールし、システム制御等を行うシステムコントロール機能や後述する画像付加情報解析機能、音楽自動選択機能を備えた適合性推定手段、状況推定手段、音楽群選別手段である第1CPU21と、を有して構成されている。
【0011】
次に、図2はこのような電子アルバムにより画像の再生を行うときの処理を示すフローチャートである。
【0012】
この動作が開始されると、まず該画像データの例えばヘッダ等に格納されている撮影情報(撮影条件情報)を読み出して、該撮影情報の解析を後述するように行い、画像に応じた適切な音楽を自動選択する(ステップS1)。
【0013】
次に、選択された音楽を再生して上記スピーカ6から放音するとともに(ステップS2)、画像データを再生して上記TFTパネル13に表示させ(ステップS3)、これらのデータが終わったところで終了する。
【0014】
図3は、上記ステップS1において行われる撮影情報の解析の例を示す図表である。
【0015】
上記撮影情報としては、例えばホワイトバランス(WB)情報、被写体までの距離情報を含むフォーカス情報、レンズの焦点距離に係るズーム情報、ストロボによる補助光の発光に係るストロボ情報、撮影時のシャッタ速度を示すシャッタスピード情報、撮影時の絞り開口径に係る絞り情報、撮影日付の情報などが挙げられる。
【0016】
まず、例えばフォーカス情報が遠景であるような場合には、撮影シーンが風景であると推定して、風景写真に適した音楽、例えばクラシック等の雄大な音楽を選択する。
【0017】
また、フォーカス情報が2〜4mであって、ズーム情報がワイドである場合には、複数の人物が集合した状態を撮影した集合写真であると推定して、集合写真に適した音楽、例えばポップス等の軽い音楽を選択する。
【0018】
さらに、ホワイトバランス情報により、光源がローソク等の明かりである状況で撮影されたと推定し、またフォーカス情報が1〜2mである場合には、人物を撮影することを主体としたポートレート写真であると推定する。この2つの条件からローソクの明かりの中でのポートレート写真に適した音楽、例えばバラード等のムードのある音楽を選択する。
【0019】
そして、フォーカス情報が1〜2mであり、ストロボの発光が行われていて、シャッタ速度が遅い場合には、夜景等を背景とした夜間ポートレート写真であると推定して、夜間ポートレート写真に適した音楽、例えば静かな音楽を選択する。
【0020】
次に、ホワイトバランス情報により、光源が晴れまたは曇りの日中の屋外光であると推定され、フォーカス情報が2〜4mであり、ストロボの発光が行われておらず、シャッタ速度が速く絞りが開放になっている場合には、スポーツ写真であると推定して、スポーツ写真に適した音楽、例えば行進曲等の軽快な音楽を選択する。
【0021】
続いて、フォーカス情報が遠景であり、ストロボの発光が行われておらず、シャタ速度が極端に遅く絞りが開放である場合には、夜景写真や天体写真であると推定して、これらの写真に適した音楽、例えばクラシック等の雄大な音楽を選択する。
【0022】
そして、撮影日付に基づいて、撮影月などを判断することにより、撮影が行われた月や季節に応じたイベントの推定を行う。例えば撮影が12月に行われたものである場合には、音楽としてクリスマスソング等を選択し、撮影が1月に行われたものである場合には、音楽として正月の音楽を選択するなどする。
【0023】
このような本発明の実施形態によれば、撮影情報に基づいて撮影状況を推定し、その撮影状況に最も適していると推定される音楽を画像とともに自動的に再生するために、面倒な操作を行うことなく、画像の場面に合った音楽の再生を行うことができる。そして、この実施形態の処理は、画像を再生するのに合わせて、リアルタイムで音楽を再生するのに適している。
【0024】
次に本発明の画像再生装置に関連する技術について説明する。
図4,図5は本発明の画像再生装置に関連する第1の関連技術を示したものであり、図4は電子アルバムにおいて音楽の選択を行うときの処理を示すフローチャート、図5は電子アルバムにより画像の再生を行うときの処理を示すフローチャートである。
【0025】
この第1の関連技術において、本発明の実施形態と同様である部分については説明を省略し、主として異なる点についてのみ説明する。
【0026】
この第1の関連技術の電子アルバムの構成は、上述した本発明の実施形態の図1に示したものとほぼ同様である。
【0027】
このような電子アルバムにおいて、音楽の選択を行う際には、図4に示すような動作を行う。
【0028】
すなわち、まず、伴奏を付加する対象となる画像データを選択して(ステップS11)、音楽を自動的に選択するかあるいは手動によりユーザが選択するかを判断する(ステップS12)。
【0029】
ここで、自動音楽選択モードとなっている場合には、上述した本発明の実施形態の図3において説明したように、画像データに係る撮影情報を解析して音楽を自動選択する(ステップS13)。
【0030】
一方、手動音楽選択モードとなっている場合には、ユーザがキーマトリクス20を操作することにより、例えば記録媒体8に記録されている音楽のリストをTFTパネル13に表示させ、そのリストからユーザが所望の音楽の選択を行う(ステップS14)。
【0031】
こうして選択された音楽を画像データに関連付けるためのリンク情報を作成し、それを記録して(ステップS15)終了する。
【0032】
次に、このようにして音楽との関連付けが行われた画像を再生するときの動作を、図5を参照して説明する。
【0033】
この動作が開始されると、まず、音楽データと画像データを関連付けているリンク情報の読み込みを行う(ステップS21)。
【0034】
そして、このリンク情報に基づき、画像データが音楽データとリンクされているか否かを判断して(ステップS22)、リンクされている場合には、その音楽の再生を行い(ステップS23)、リンクされていない場合にはこのステップS23をスキップする。
【0035】
そして、音楽の再生とともに画像データを再生して(ステップS24)、これらの再生が終わったところで終了する。
【0036】
このような第1の関連技術によれば、上述した本発明の実施形態とほぼ同様の効果を奏するとともに、音楽の選択を手動と自動の何れにおいても行うことができるために、必要に応じてユーザが好みのものを選択することができる。また、音楽と画像データとのリンク情報が作成されるために、このリンク情報を保存しておけば、再びその画像を再生する際に、音楽を選択する処理を繰り返さなくても済むという利点がある。
【0037】
図6は本発明の第2の関連技術を示したものであり、電子アルバムにおいて音楽の選択を行うときの処理を示すフローチャートである。この第2の関連技術において、上述の本発明の実施形態、第1の関連技術と同様である部分については説明を省略し、主として異なる点についてのみ説明する。
【0038】
この第2の関連技術の電子アルバムの構成も、上述した本発明の実施形態の図1に示したものとほぼ同様である。
【0039】
このような電子アルバムにおいて、音楽の選択を行う際には、図6に示すような動作を行う。
【0040】
すなわち、まず、伴奏を付加する対象となる画像データを選択して(ステップS31)、音楽を自動的に選択するかあるいは手動によりユーザが選択するかを判断する(ステップS32)。
【0041】
ここで、自動音楽選択モードとなっている場合には、上述した本発明の実施形態の図3において説明したように、画像データに係る撮影情報を解析して、その解析結果に基づいて適切と考えられる音楽を1つ以上選別し、さらにその選別した音楽群に含まれる音楽を適切な順番に並び替える(ステップS33)。
【0042】
そして、これらの選別された音楽のタイトル名を、並び替えられた順に上記TFTパネル13等に表示する(ステップS35)。
【0043】
この表示を見たユーザは、表示された音楽の中から所望のものを手動で選択する(ステップS36)。なお、このとき、所定時間だけ待機して、所定時間内に何ら選択が行われない場合には、最も適切と推定される音楽を自動的に選択するようにしても良い。
【0044】
一方、上記ステップS32において手動音楽選択モードとなっている場合には、上述と同様に、ユーザがキーマトリクス20を操作することにより、例えば記録媒体8に記録されている音楽のリストをTFTパネル13に表示させ、そのリストからユーザが所望の音楽の選択を行う(ステップS34)。
【0045】
こうして選択された音楽を画像データに関連付けるためのリンク情報を作成し、それを記録して(ステップS37)終了する。
【0046】
また、この第2の関連技術における画像再生の動作は上述した第1の関連技術の図5に示したものとほぼ同様である。
【0047】
このような第2の関連技術によれば、上述した本発明の実施形態,第1の関連技術とほぼ同様の効果を奏するとともに、多数の音楽データがある場合でも、撮影情報に基づいて適切と考えられる音楽群が選択されるために、適切な音楽の中から、ユーザが所望のものを簡単に選択することができる。
【0048】
図7は本発明の第3の関連技術を示したものであり、電子アルバムにおいて音楽の選択を行うときの処理を示すフローチャートである。この第3の関連技術において、上述の本発明の実施形態、第1の関連技術および第2の関連技術と同様である部分については説明を省略し、主として異なる点についてのみ説明する。
【0049】
この第3の関連技術の電子アルバムの構成も、上述した本発明の実施形態の図1に示したものとほぼ同様である。
【0050】
このような電子アルバムにおいて、音楽の選択を行う際には、図7に示すような動作を行う。
【0051】
すなわち、まず、伴奏を付加する対象となる画像データを選択して(ステップS41)、音楽を自動的に選択するかあるいは手動によりユーザが選択するかを判断する(ステップS42)。
【0052】
ここで、自動音楽選択モードとなっている場合には、上述したように画像データに係る撮影情報を解析して、その解析結果に基づいて適切と考えられる音楽を選別し、その選別した音楽を適切な順番に並び替える(ステップS43)。
【0053】
そして、これらの選別されて並べ換えられた音楽の内で、最も適切と推定された一番目の音楽の少なくとも一部分を上記スピーカ6により再生する(ステップS45)。
【0054】
なお、このときに再生する音楽の部分としては、音楽の冒頭部分であっても良いし、音楽のいわゆる「さび」といわれる特徴的な部分であっても良いし、これらに限らず、ユーザが音楽を確認するに適した部分であれば良い。
【0055】
また、音楽のみを再生しても良いが、このとき同時に、対象となる画像をTFTパネル13に表示させるようにすれば、より的確に、実際の再生時の様子を再現することができて良い。
【0056】
こうしてユーザは、再生された音楽を実際に聴いてその音楽で良いかどうかを上記キーマトリクス20等を用いて選択する(ステップS46)。
【0057】
このキー入力に基づき、再生した音楽が選択されたか否かを判断して(ステップS47)、選択されていない場合には上記並べ換えられた順の次の音楽を再生して(ステップS48)、上記ステップS46に行き、ユーザによる選択を待つ。
【0058】
一方、上記ステップS42において手動音楽選択モードとなっている場合には、上述と同様に、ユーザがキーマトリクス20を操作することにより、記録媒体8等に記録されている音楽のリストをTFTパネル13に表示させ、そのリストからユーザが所望の音楽の選択を行う(ステップS44)。
【0059】
こうして、上記ステップS47において再生した音楽の何れかが選択されるか、あるいはこのステップS44において所望の音楽が選択された後は、選択された音楽を画像データに関連付けるためのリンク情報を作成し、それを記録して(ステップS49)終了する。
【0060】
なお、この図7のステップS45においては、音楽を判別するための情報として、音楽の一部分を再生するようにしたが、これに限らず、音楽のタイトル名を音声としてスピーカ6により発声させるようにしても構わない。
【0061】
また、この第3の関連技術における画像再生の動作は上述した第1の関連技術の図5に示したものとほぼ同様である。
【0062】
このような第3の関連技術によれば、上述した本発明の実施形態、第1の関連技術および第2の関連技術とほぼ同様の効果を奏するとともに、音楽の少なくとも一部を実際に聴いて所望のものを選択することができるために、より実際の再生状況に即した選択を行うことができる。また、音楽のタイトル名を発声させる場合には、視覚によることなく音楽名を確認することができる。
【0063】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【0064】
【発明の効果】
以上説明したように本発明の画像再生装置によれば、撮影条件情報に基づいて画像に適合する音楽を推定するために、面倒な操作を行うことなく画像の場面に合った音楽の再生を行うことが可能となる。
【図面の簡単な説明】
【図1】 本発明の一実施形態の電子アルバムの主として電気的な構成を示すブロック図。
【図2】 本発明の一実施形態の電子アルバムにより画像の再生を行うときの処理を示すフローチャート。
【図3】 本発明の一実施形態の電子アルバムにおいて行われる撮影情報の解析の例を示す図表。
【図4】 本発明の第1の関連技術の電子アルバムにおいて音楽の選択を行うときの処理を示すフローチャート。
【図5】 上記第1の関連技術の電子アルバムにより画像の再生を行うときの処理を示すフローチャート。
【図6】 本発明の第2の関連技術の電子アルバムにおいて音楽の選択を行うときの処理を示すフローチャート。
【図7】 本発明の第3の関連技術の電子アルバムにおいて音楽の選択を行うときの処理を示すフローチャート。
【符号の説明】
1…音楽入力端子
6…スピーカ(音楽再生手段、音情報再生手段)
8…記録媒体
13…TFTパネル(画像再生手段、表示手段)
16…ビデオ出力端子
20…キーマトリクス(選択手段、選択決定手段)
21…第1CPU(適合性推定手段、状況推定手段、音楽群選別手段)
22…第2CPU(読出手段)

Claims (2)

  1. 撮影画像に係る画像情報を読み出して、画像を再生する画像再生手段と、
    上記画像情報とともに記録されている画像撮影時の撮影制御に係る撮影条件情報を読み出す読出手段と、
    この読出手段により読み出した撮影条件情報に基づいて撮影状況を推定し、音楽と該画像との適合性を推定する適合性推定手段と、
    上記画像再生手段が画像を再生するのに合わせて、この適合性推定手段により適合すると推定された音楽を再生する音楽再生手段と、
    を具備したことを特徴とする画像再生装置。
  2. 上記撮影条件情報は、ホワイトバランス情報、フォーカス情報、レンズの焦点距離に係るズーム情報、ストロボによる補助光の発光に係るストロボ情報、撮影時のシャッタ速度を示すシャッタスピード情報または絞り情報のうち少なくとも1つを含むことを特徴とする請求項1に記載の画像再生装置。
JP36134298A 1998-12-18 1998-12-18 画像再生装置 Expired - Fee Related JP4190073B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP36134298A JP4190073B2 (ja) 1998-12-18 1998-12-18 画像再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36134298A JP4190073B2 (ja) 1998-12-18 1998-12-18 画像再生装置

Publications (2)

Publication Number Publication Date
JP2000187921A JP2000187921A (ja) 2000-07-04
JP4190073B2 true JP4190073B2 (ja) 2008-12-03

Family

ID=18473192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36134298A Expired - Fee Related JP4190073B2 (ja) 1998-12-18 1998-12-18 画像再生装置

Country Status (1)

Country Link
JP (1) JP4190073B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003063132A1 (en) * 2002-01-23 2003-07-31 Konica Corporation Image delivery apparatus
JP5227819B2 (ja) * 2009-01-23 2013-07-03 株式会社日立製作所 動画生成装置

Also Published As

Publication number Publication date
JP2000187921A (ja) 2000-07-04

Similar Documents

Publication Publication Date Title
JP2002223401A (ja) デジタルカメラのデータ処理方法
JP2009117973A (ja) 再生装置および再生方法
KR101523971B1 (ko) 녹음 기능을 수행하는 단말기 및 그 단말기의 이미지 처리 방법
JPH1127609A (ja) 画像記録再生システム
JP4066794B2 (ja) 画像データ記憶方法、画像データ記憶・再生方法及び撮像装置
JP2005027048A (ja) 撮像装置および画像への注釈情報の付与方法
JP4190073B2 (ja) 画像再生装置
CN1494007B (zh) 在便携式数字设备中利用代表性语音管理数据文件的方法
JP3266929B2 (ja) 記録媒体の再生方法及び再生装置
JP2007164269A (ja) 検索装置、検索再生装置及び画像再生装置
JP4893062B2 (ja) 撮像装置およびプログラム
JP4196816B2 (ja) データ編集装置およびデータ編集方法
JPH11136623A (ja) デジタルスチルカメラ
JP4213840B2 (ja) 携帯型画像再生装置およびその動作制御方法ならびに携帯型撮像装置およびその動作制御方法
JP4692336B2 (ja) 画像表示システム、画像表示装置及び画像表示方法
JP2007172675A (ja) 再生装置、プログラムおよび再生システム
JPH05308600A (ja) 画像ファイル装置
JPH0922416A (ja) 電子アルバム装置
JP2004193645A (ja) 撮像装置、合成画像作成方法および合成画像作成プログラム、並びに、撮影条件設定方法および撮影条件設定プログラム
JP3717541B2 (ja) 情報取り扱い装置
JP3957775B2 (ja) デジタルカメラ及びその記録方法
JPH05197844A (ja) データ処理装置
JP4217528B2 (ja) 動画像処理方法及び装置
JP2004363943A (ja) 音楽付き画像記録媒体作成システムおよび音楽付き画像記録媒体
JP2005079859A (ja) 撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080909

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080916

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130926

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees