JP5428664B2 - Mobile terminal and information processing method - Google Patents
Mobile terminal and information processing method Download PDFInfo
- Publication number
- JP5428664B2 JP5428664B2 JP2009201944A JP2009201944A JP5428664B2 JP 5428664 B2 JP5428664 B2 JP 5428664B2 JP 2009201944 A JP2009201944 A JP 2009201944A JP 2009201944 A JP2009201944 A JP 2009201944A JP 5428664 B2 JP5428664 B2 JP 5428664B2
- Authority
- JP
- Japan
- Prior art keywords
- subtitle
- display
- display area
- caption
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title description 8
- 238000003672 processing method Methods 0.000 title description 5
- 238000012545 processing Methods 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 48
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000000926 separation method Methods 0.000 claims description 10
- 239000000872 buffer Substances 0.000 description 35
- 230000005540 biological transmission Effects 0.000 description 16
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 230000006837 decompression Effects 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 230000003111 delayed effect Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000010355 oscillation Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
Images
Landscapes
- Digital Computer Display Output (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Function (AREA)
Description
本発明は携帯端末および情報処理方法に係り、特に、地上デジタル放送における字幕の文字列の視認性を向上させることができるようにした携帯端末および情報処理方法に関する。 The present invention relates to a portable terminal and an information processing method, and more particularly, to a portable terminal and an information processing method that can improve the visibility of a subtitle character string in digital terrestrial broadcasting.
近年、情報処理装置としての携帯電話機は、単なる通話による通信機能を備えるだけでなく、アドレス帳機能、基地局やインターネットを介したメール機能や、Ｗｅｂページなどを閲覧することが可能なブラウザ機能、さらにはオーディオデータを聞くことができる音楽制御機能や、携帯機器向けの地上デジタルワンセグメント（以下ワンセグ（登録商標）と称する）放送を受信することができる機能などを備え、今後は固定機向けの地上デジタルフルセグメント（以下フルセグと称する）放送を受信する機能の搭載も検討されている。 In recent years, a mobile phone as an information processing apparatus has not only a communication function by a telephone call, but also an address book function, a mail function via a base station or the Internet, a browser function capable of browsing a web page, In addition, it has a music control function that allows you to listen to audio data and a function that can receive terrestrial digital one-segment (hereinafter referred to as One Seg (registered trademark)) broadcasts for portable devices. The installation of a function to receive terrestrial digital full segment (hereinafter referred to as full segment) broadcasting is also being studied.
地上デジタル放送は字幕放送に対応しており、フルセグ放送字幕（ARIB TR-B14 Aプロファイル）とワンセグ放送字幕（ARIB TR-B14 Cプロファイル）では仕様が異なり、フルセグ放送字幕のほうが一画面に表示できる文字数や装飾機能が豊富である。 Digital terrestrial broadcasting supports subtitle broadcasting. The specifications differ between full-segment broadcasting subtitles (ARIB TR-B14 A profile) and one-segment broadcasting subtitles (ARIB TR-B14 C profile), and full-segment broadcasting subtitles can be displayed on one screen. There are plenty of characters and decorative functions.
携帯端末でフルセグ放送字幕を表示する方法としては、フルセグ放送字幕を画面サイズに合わせて縮小表示する方法と、ワンセグ放送字幕に変換して表示する方法がある。 As a method of displaying a full segment broadcast subtitle on a mobile terminal, there are a method of reducing the full segment broadcast subtitle according to the screen size and a method of converting to a one segment broadcast subtitle and displaying it.
ワンセグ放送字幕に変換する技術として、次のような技術が知られている（例えば特許文献１参照）。特許文献１に提案される技術によれば、デジタル放送用携帯字幕仕様変換装置は、固定受信機用字幕データを動作位置制御コード、文字列の表示状態等の条件によって文字列を分割し、分割を行った文字列を開始座標が基準点に近い順に並べ換え、各文字列の関連性をチェックして、関連性があると判断した文字列を結合することで文字ブロックを構築し、構築された文字ブロックが複数存在する場合には、それら文字ブロックのソートを行って送出順序を自動的に決定する。これにより、固定受信機向けの字幕表示仕様を携帯字幕仕様として、ブロック毎の表示順序が意味の通じる言葉となるように配列順序と表示タイミングを自動的に判別し編集することができる。
The following techniques are known as techniques for converting to one-segment broadcasting subtitles (see, for example, Patent Document 1). According to the technique proposed in
フルセグ放送字幕は画面サイズの大きい固定機を対象としているため、携帯端末で視聴する場合は、字幕の文字サイズが小さく字幕が読みにくくなったり、字幕と映像が重なることで映像が見にくくなってしまうという課題がある。 Full-seg broadcast subtitles are intended for fixed devices with a large screen size, so when viewing on a mobile device, the subtitle text size is small and the subtitles are difficult to read, or the subtitles and video overlap, making it difficult to see the video There is a problem.
また特許文献１の技術を利用してワンセグ放送字幕に変換したとしても、フルセグ放送字幕はワンセグ放送字幕と比べて1画面に表示できる文字数や使用できる装飾機能が多いため、文字や装飾が欠落するという課題がある。
Even if the technology of
本発明は、このような状況に鑑みてなされたものであり、地上デジタル放送における字幕の文字列や映像の視認性を好適に向上させることができる携帯端末および情報処理方法を提供することを目的とする。 The present invention has been made in view of such a situation, and an object of the present invention is to provide a portable terminal and an information processing method capable of suitably improving the visibility of a subtitle character string and video in terrestrial digital broadcasting. And
本発明の携帯端末は、上述した課題を解決するために、地上デジタル放送を受信する受信手段と、受信手段により受信された地上デジタル放送に基づくＴＳ信号を生成し、生成されたＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離する分離手段と、字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、字幕文の表示領域を表示領域Ｐａに設定し、字幕文の表示間隔を表示間隔Ｐｉに設定し、および字幕文の表示位置を設定する設定手段と、字幕文の文字サイズを文字サイズＣｓに設定することにより字幕文の表示領域が表示領域Ｐａよりも大きくなる場合、字幕文の表示領域が表示領域Ｐａ以下の大きさになるように字幕文を分割する分割手段と、分離されたオーディオデータ、ビデオデータ、および分割後の字幕データを所定の復号化方式で復号化する復号化手段と、復号化手段による復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を表示領域Ｐａに表示する表示手段とを備えることを特徴とする。 In order to solve the above-described problem, the mobile terminal of the present invention generates a TS signal based on a terrestrial digital broadcast received by the receiving unit that receives the terrestrial digital broadcast, and the generated TS signal as an audio signal. Separation means for separating each piece of media data relating to data, video data, and subtitle data, a character size of a subtitle sentence based on the subtitle data is set to a character size Cs, a display area of the subtitle sentence is set to a display area Pa, Setting means for setting the sentence display interval to the display interval Pi and setting the display position of the subtitle sentence, and setting the character size of the subtitle sentence to the character size Cs makes the subtitle sentence display area larger than the display area Pa. When the size of the subtitle text increases, the subtitle text is divided so that the display area of the subtitle text is equal to or smaller than the display area Pa; The video data, and the decoding means for decoding the divided subtitle data by a predetermined decoding method, and the video based on the video signal generated by the decoding by the decoding means is displayed in the video display area, And display means for displaying a caption based on the caption signal in the display area Pa.
本発明の情報処理方法は、上述した課題を解決するために、地上デジタル放送を受信する受信ステップと、受信ステップの処理により受信された地上デジタル放送に基づくＴＳ信号を生成し、生成されたＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離する分離ステップと、字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、字幕文の表示領域を表示領域Ｐａに設定し、字幕文の表示間隔を表示間隔Ｐｉに設定し、および字幕文の表示位置を設定する設定ステップと、字幕文の文字サイズを文字サイズＣｓに設定することにより字幕文の表示領域が表示領域Ｐａよりも大きくなる場合、字幕文の表示領域が表示領域Ｐａ以下の大きさになるように字幕文を分割する分割ステップと、分離されたオーディオデータ、ビデオデータ、および分割後の字幕データを所定の復号化方式で復号化する復号化ステップと、復号化ステップの処理による復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を表示領域Ｐａに表示する表示ステップとを含むことを特徴とする。 In order to solve the above-described problems, the information processing method of the present invention generates a TS signal based on a reception step of receiving a terrestrial digital broadcast and a terrestrial digital broadcast received by the processing of the reception step. Separation step for separating the signal for each media data related to audio data, video data, and caption data, the character size of the caption text based on the caption data is set to the character size Cs, and the display area of the caption text is set to the display area Pa The subtitle text display interval is set to the display interval Pi, the subtitle text display position is set to the character size Cs, and the subtitle text display area is set as the display area. When it is larger than Pa, a division step for dividing the subtitle sentence so that the display area of the subtitle sentence becomes smaller than the display area Pa. A decoding step for decoding the separated audio data, video data, and divided subtitle data by a predetermined decoding method, and a video based on the video signal generated by the decoding process And a display step of displaying a subtitle based on the subtitle signal in the display area Pa.
本発明によれば、地上デジタル放送における字幕の文字列や映像の視認性を好適に向上させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the visibility of the character string and image | video of a subtitle in terrestrial digital broadcasting can be improved suitably.
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の概念を説明する説明図である。地上デジタル放送に代表されるデジタル放送には、映像データ（ビデオデータ）や音声データ（オーディオデータ）以外に字幕データも含まれている。デジタル放送波を受信する受信機は、字幕データに含まれる字幕文を映像データに基づく映像に重畳して表示することが可能である。フルセグ放送を視聴可能な携帯電話機を例に実施例を述べる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an explanatory diagram for explaining the concept of the present invention. Digital broadcasting represented by terrestrial digital broadcasting includes caption data in addition to video data (video data) and audio data (audio data). A receiver that receives a digital broadcast wave can display a caption text included in caption data superimposed on a video based on the video data. An embodiment will be described using a mobile phone capable of viewing full segment broadcasting as an example.
図１（Ａ）は、従来の携帯電話機がフルセグ放送波に基づく映像および字幕を表示する表示画面の表示例を表している。携帯電話機が有する比較的小さいサイズのディスプレイ上でフルセグ放送波を再生することは想定されていない。そのため、図１（Ａ）が示すように、携帯電話機が、携帯電話機が有する小さいサイズのディスプレイ上でフルセグ放送波に含まれる字幕をそのまま再生すると、携帯電話機が有するディスプレイよりも大きいサイズのディスプレイを有する固定用の受信機がフルセグ放送波を再生する場合に比べて、字幕に含まれる文字列の文字サイズが小さくなってしまう。その結果、ユーザは、携帯電話機が表示する字幕の文字列を読むことが困難になってしまう。また、フルセグ放送波に含まれる映像データに基づく映像と、字幕文データに基づく字幕文が重なり合ってしまい、ユーザにとって映像が見にくくなってしまう。 FIG. 1A shows a display example of a display screen on which a conventional mobile phone displays video and subtitles based on full-segment broadcasting waves. It is not assumed that a full-segment broadcast wave is reproduced on a relatively small size display of a mobile phone. Therefore, as shown in FIG. 1A, when the mobile phone reproduces the subtitles included in the full-seg broadcast wave as it is on the small size display of the mobile phone, a display of a size larger than the display of the mobile phone is displayed. The character size of the character string included in the subtitles is smaller than when the fixed receiver has a full segment broadcast wave. As a result, it becomes difficult for the user to read the subtitle character string displayed on the mobile phone. In addition, the video based on the video data included in the full-segment broadcasting wave and the subtitle text based on the subtitle text data overlap, making it difficult for the user to view the video.
そこで、本実施形態では、携帯電話機がメインディスプレイに出力する字幕の文字列の文字サイズを拡大するとともに、字幕の文字列を所定の数に分割する。図１（Ｂ）は、本発明に係る携帯端末として適用可能な携帯電話機がフルセグ放送波に基づく映像および字幕を表示する表示画面の表示例を表している。これにより、携帯電話機が表示する字幕の文字列をユーザにとって読みやすくすることができるとともに、映像と字幕とが重なり合うことを解消することができる。その結果、地上デジタル放送波における字幕の文字列の視認性を好適に向上させることができる。 Therefore, in the present embodiment, the character size of the subtitle character string output from the mobile phone to the main display is enlarged, and the subtitle character string is divided into a predetermined number. FIG. 1B shows a display example of a display screen on which a mobile phone applicable as a mobile terminal according to the present invention displays video and subtitles based on full-segment broadcasting waves. Accordingly, it is possible to make it easier for the user to read the subtitle character string displayed on the mobile phone, and it is possible to eliminate the overlap of the video and the subtitle. As a result, the visibility of the subtitle character string in the digital terrestrial broadcast wave can be suitably improved.
図２は、本発明に係る携帯端末として適用可能な携帯電話機１の外観の構成を表している。なお、図２（Ａ）は、携帯電話機１を約１８０度に見開いたときの正面から見た外観の構成を表しており、図２（Ｂ）は、携帯電話機１を見開いたときの側面から見た外観の構成を表している。
FIG. 2 shows an external configuration of the
図２（Ａ）および（Ｂ）に示されるように、携帯電話機１は、中央のヒンジ部１１を境に第１の筐体１２と第２の筐体１３とがヒンジ結合されており、ヒンジ部１１を介して矢印Ｘ方向に折り畳み可能に形成される。携帯電話機１の内部の所定の位置には、送受信用のアンテナ（後述する図３のアンテナ３１）が設けられており、内蔵されたアンテナを介して基地局（図示せず）との間で電波を送受信する。
As shown in FIGS. 2A and 2B, the
第１の筐体１２には、その表面に「０」乃至「９」の数字キー、発呼キー、リダイヤルキー、終話・電源キー、クリアキー、および電子メールキーなどの操作キー１４が設けられており、操作キー１４を用いて各種指示を入力することができる。
The
また、第１の筐体１２には、操作キー１４の下部にマイクロフォン１５が設けられており、マイクロフォン１５によって通話時のユーザの音声を集音する。さらに、第１の筐体１２には、携帯電話機１の操作を行うサイドキー１６が設けられている。
The
なお、第１の筐体１２は、背面側に図示しないバッテリパックが挿着されており、終話・電源キーがオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態に起動する。
The
一方、第２の筐体１３には、その正面にメインディスプレイ１７が設けられており、電波の受信状態、電池残量、電話帳として登録されている相手先名や電話番号及び送信履歴等の他、電子メールの内容、簡易ホームページ、ＣＣＤ（Charge Coupled Device）カメラで撮像した画像、外部のコンテンツサーバ（図示せず）より受信したコンテンツ、メモリカードに記憶されているコンテンツ、フルセグ放送波に基づく映像および字幕を表示することができる。また、メインディスプレイ１７の上部の所定の位置にはレシーバ（受話器）１８が設けられており、これにより、ユーザは音声通話することが可能である。なお、携帯電話機１の所定の位置には、レシーバ１８以外の音声出力部としてのスピーカ（図３のスピーカ５０）も設けられている。
On the other hand, the
また、第１の筐体１２と第２の筐体１３の内部の所定の位置には、携帯電話機１の状態を検知するための磁気センサ１９a、１９b、１９c、および１９dが設けられる。なお、メインディスプレイ１７は、例えば有機ＥＬにより構成されるディスプレイでもよいし、液晶ディスプレイ（Liquid Crystal Display）でもよい。
図３は、本発明に係る情報処理装置に適用可能な携帯電話機１の内部の構成を表している。図示せぬ基地局から送信されてきた無線信号は、アンテナ３１で受信された後、アンテナ共用器（ＤＵＰ）３２を介して受信回路（ＲＸ）３３に入力される。受信回路３３は、受信された無線信号を周波数シンセサイザ（ＳＹＮ）３４から出力された局部発振信号とミキシングして中間周波数信号に周波数変換（ダウンコンバート）する。そして、受信回路３３は、このダウンコンバートされた中間周波数信号を直交復調して受信ベースバンド信号を出力する。なお、周波数シンセサイザ３４から発生される局部発振信号の周波数は、制御部４１から出力される制御信号ＳＹＣによって指示される。
FIG. 3 shows an internal configuration of the
受信回路３３からの受信ベースバンド信号は、ＣＤＭＡ信号処理部３６に入力される。ＣＤＭＡ信号処理部３６は、図示せぬＲＡＫＥ受信機を備える。このＲＡＫＥ受信機では、受信ベースバンド信号に含まれる複数のパスがそれぞれの拡散符号（すなわち、拡散された受信信号の拡散符号と同一の拡散符号）で逆拡散処理される。そして、この逆拡散処理された各パスの信号は、位相が調整された後、コヒーレントＲａｋｅ合成される。Ｒａｋｅ合成後のデータ系列は、デインタリーブおよびチャネル復号（誤り訂正復号）が行われた後、２値のデータ判定が行われる。これにより、所定の伝送フォーマットの受信パケットデータが得られる。この受信パケットデータは、圧縮伸張処理部３７に入力される。
The reception baseband signal from the
圧縮伸張処理部３７は、ＤＳＰ（Digital Signal Processor）などにより構成され、ＣＤＭＡ信号処理部３６から出力された受信パケットデータを図示せぬ多重分離部によりメディアごとに分離し、分離されたメディアごとのデータに対してそれぞれ復号処理を行う。例えば通話モードにおいては、受信パケットデータに含まれる通話音声などに対応するオーディオデータをスピーチコーデックにより復号する。また、例えばテレビ電話モードなどのように、受信パケットデータに動画像データが含まれていれば、この動画像データをビデオコーデックにより復号する。さらに、受信パケットデータがダウンロードコンテンツであれば、このダウンロードコンテンツを伸張した後、伸張されたダウンロードコンテンツを制御部４１に出力する。
The compression /
復号処理により得られたデジタルオーディオ信号はＰＣＭコーデック３８に供給される。ＰＣＭコーデック３８は、圧縮伸張処理部３７から出力されたデジタルオーディオ信号をＰＣＭ復号し、ＰＣＭ復号後のアナログオーディオデータ信号を受話増幅器３９に出力する。このアナログオーディオ信号は、受話増幅器３９にて増幅された後、レシーバ１８により出力される。
The digital audio signal obtained by the decoding process is supplied to the
圧縮伸張処理部３７によりビデオコーデックにて復号されたデジタル動画像信号は、制御部４１に入力される。制御部４１は、圧縮伸張処理部３７から出力されたデジタル動画像信号に基づく動画像を、表示駆動部６１に内蔵された画像メモリ６２（例えばＶＲＡＭなど）を介してメインディスプレイ１７に表示させる。このとき、デジタル動画像信号に基づく動画像は、必要に応じて、表示駆動部６１に内蔵された画像合成回路６３にて合成されるとともに、合成結果の合成画像は画像データ転送回路６４によってメインディスプレイ１７に転送される。この画像データ転送回路６４は、例えばＤＭＡ（Direct Memory Access）コントローラなどからなる。
The digital moving image signal decoded by the video codec by the compression /
なお、制御部４１は、受信された動画像データだけでなく、ＣＣＤカメラ２０により撮像された動画像データに関しても、表示駆動部６１の画像メモリ６２を介してメインディスプレイ１７に表示させることも可能である。
Note that the
一方、通話モードにおいて、マイクロフォン１５に入力された話者（ユーザ）の音声信号（アナログオーディオ信号）は、送話増幅器４０により適正レベルまで増幅された後、ＰＣＭコーデック３８によりＰＣＭ符号化される。このＰＣＭ符号化後のデジタルオーディオ信号は、圧縮伸張処理部３７に入力される。また、ＣＣＤカメラ２０から出力される動画像信号は、制御部４１によりデジタル化されて圧縮伸張処理部３７に入力される。さらに、制御部４１にて作成されたテキストデータである電子メールも、圧縮伸張処理部３７に入力される。
On the other hand, in the call mode, the voice signal (analog audio signal) of the speaker (user) input to the
圧縮伸張処理部３７は、ＰＣＭコーデック３８から出力されたデジタルオーディオ信号を所定の送信データレートに応じたフォーマットで圧縮符号化する。これにより、オーディオデータが生成される。また、圧縮伸張処理部３７は、制御部４１から出力されたデジタル動画像信号を圧縮符号化して動画像データを生成する。そして、圧縮伸張処理部３７は、これらのオーディオデータや動画像データを図示せぬ多重分離部で所定の伝送フォーマットに従って多重化した後にパケット化し、パケット化後の送信パケットデータをＣＤＭＡ信号処理部３６に出力する。なお、圧縮伸張処理部３７は、制御部４１から電子メールが出力された場合にも、この電子メールを送信パケットデータに多重化する。
The compression /
ＣＤＭＡ信号処理部３６は、圧縮伸張処理部３７から出力された送信パケットデータに対し、送信チャネルに割り当てられた拡散符号を用いてスペクトラム拡散処理を施し、スペクトラム拡散処理後の出力信号を送信回路（ＴＸ）３５に出力する。送信回路３５は、スペクトラム拡散処理後の信号をＱＰＳＫ（Quadrature Phase Shift Keying）方式などのデジタル変調方式を使用して変調する。送信回路３５は、デジタル変調後の送信信号を、周波数シンセサイザ３４から発生される局部発振信号と合成して無線信号に周波数変換（アップコンバート）する。そして、送信回路３５は、制御部４１により指示される送信電力レベルとなるように、このアップコンバートにより生成された無線信号を高周波増幅する。この高周波増幅された無線信号は、アンテナ共用器３２を介してアンテナ３１に供給され、このアンテナ３１から図示せぬ基地局に向けて送信される。さらに、携帯電話機１には、現在の正確な現在の時刻を測定する時計回路（タイマ）４７が設けられている。
The CDMA
制御部４１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）などからなり、ＣＰＵは、ＲＯＭに記憶されているプログラムまたは記憶部４２からＲＡＭにロードされた、オペレーティングシステム（ＯＳ）を含む各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより携帯電話機１を統括的に制御する。ＲＡＭは、ＣＰＵが各種の処理を実行する上において必要なデータなどを適宜記憶する。
The
記憶部４２は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子やＨＤＤ（Hard Disc Drive）などからなり、制御部４１のＵＩ処理ＣＰＵにより実行される種々のアプリケーションプログラムや種々のデータ群を格納している。電源回路４４は、バッテリ４３の出力を基に所定の動作電源電圧Ｖｃｃを生成して各回路部に供給する。
The
また、フルセグ受信部５２は、チューナとＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調回路を備える。フルセグ受信部５２は、図示せぬ放送局からのフルセグ放送波をアンテナ５１を介して受信し、受信されたフルセグ放送波に対してＯＦＤＭ復調処理を施すことにより、フルセグ放送波に基づくＴＳ（Transport Stream）信号を生成する。なお、ＴＳ信号とは、ＭＰＥＧ−２システムで規定されるＴＳ形式の信号である。フルセグ受信部５２は、生成されたＴＳ信号を地デジ処理部５３に供給する。地デジ処理部５３は、フルセグ受信部５２からのフルセグ放送波に基づくＴＳ信号を、オーディオデータ（音声データ）とビデオデータ（映像データ）、および字幕データに関するメディアデータにそれぞれ分離する。地デジ処理部５３は、分離された各メディアデータに関するＰＥＳ（Packetized Elementary Stream）を復元する。地デジ処理部５３は、分離されたオーディオデータを地デジ処理部５３のオーディオデコーダ（図４のオーディオデコーダ７９）にて所定の復号化方式でデコードするとともに、分離されたビデオデータを地デジ処理部５３内のビデオデコーダ（図４のビデオデコーダ８０）にて所定の復号化方式でデコードし、さらに、分離された字幕データを地デジ処理部５３内の字幕デコーダ（図４の字幕デコーダ８１）にて所定の復号化方式でデコードする。地デジ処理部５３は、デコード後のデジタル音声信号とデコード後のデジタル映像信号（デジタル動画像信号）をそれぞれ制御部４１に供給する。
The full-
なお、フルセグ受信部５２が生成するＴＳ信号を直接制御部４１に出力し、記憶部４２がＴＳ信号をＴＳ信号ファイルとして記憶するようにしてもよい。
Note that the TS signal generated by the full-
図４は、図３の地デジ処理部５３の内部の詳細な構成を表している。地デジ処理部５３は、ＴＳバッファ７１、分離部７２、字幕表示時刻情報取得部７３、オーディオデータバッファ７４、ビデオデータバッファ７５、字幕データバッファ７６、字幕文分割部７７、文字サイズ・表示領域設定部７８、オーディオデコーダ７９、ビデオデコーダ８０、および字幕デコーダ８１を備える。なお、図４においては、フルセグ受信部５２がＴＳ信号を地デジ処理部５３に供給する場合を想定している。
FIG. 4 shows a detailed configuration inside the digital
ＴＳバッファ７１は、フルセグ放送波受信部５２からのＴＳ信号を一時的に保持する（バッファリングする）。分離部７２は、ＴＳバッファ７１に保持されるＴＳ信号を読み出し、読み出されたＴＳ信号を、オーディオデータ（音声データ）とビデオデータ（映像データ）、および字幕データに関するメディアデータにそれぞれ分離する。分離部７２は、分離部７２のＰＩＤ（パケット識別子）フィルタ部に対して分離対象となるＰＩＤを設定し、同一のＰＩＤのＴＳパケットのペイロード（ＴＳパケットからＴＳヘッダが取り除かされた残余部分）を結合することにより各メディアのＰＥＳ（Packetized Elementary Stream）パケットを復元する。ＰＥＳヘッダの中には、ＰＴＳ（Presentation Time Stamp；同期用の再生時刻情報）が精度２７ＭＨｚで記述される。また、ＰＥＳヘッダの中には、ＤＴＳ（Decoding Time Stamp；デコードのタイミング時刻情報）も記述される。分離部７２は、分離されたオーディオデータに関するＰＥＳ、ビデオデータに関するＰＥＳ、および字幕データに関するＰＥＳをそれぞれオーディオデータバッファ７４、ビデオデータバッファ７５、および字幕データバッファ７６に出力する。オーディオデータバッファ７４、ビデオデータバッファ７５、および字幕データバッファ７６は、それぞれ、オーディオデータに関するＰＥＳ、ビデオデータに関するＰＥＳ、および字幕データに関するＰＥＳを一時的に保持する。なお、字幕データバッファ７６が一時的に保持する字幕データは、制御データを含む字幕管理データと、字幕文に関するデータを含む字幕文データからなる。字幕文データは、字幕文に関するデータを構成する８単位符号で符号化されており、文字符号列、表示書式、文字の表示位置、改行、文字サイズ、文字色、および背景色などに関する制御データからなる。表示書式には、９６０×５４０や７２０×４８０などのような字幕プレーンのサイズや、縦書きまたは横書きなどのような記述方法が含まれる。
The
オーディオデコーダ７９は、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報に基づいて、オーディオデータバッファ７４に保持されるオーディオデータを所定の復号化方式でデコードする。オーディオデコーダ７９は、デコード後のデジタル音声信号を制御部４１に出力する。ビデオデコーダ８０は、ＰＥＳヘッダ中のＤＴＳもしくはＰＴＳが指定するデコードのタイミング時刻情報に基づいて、ビデオデータバッファ７５に保持されるオーディオデータを所定の復号化方式でデコードする。ビデオデコーダ８０は、デコード後のデジタル映像信号を制御部４１に出力する。字幕デコーダ８１は、字幕文分割部７７が字幕文を分割する場合には、字幕文分割部７７から字幕データのうちの字幕管理データおよび分割後の字幕文データを取得し、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報を基準とした再生時刻PTSn（PTSn＝ PTS + Pi * (n -1) # nは分割した字幕文データの番号）に、各字幕管理データ分割後の字幕データを所定の復号化方式でデコードする。一方、字幕デコーダ８１は、字幕文分割部７７が字幕文を分割しない場合、字幕データバッファ７６に保持される字幕データを取得し、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報に基づいて字幕データを所定の復号化方式でデコードする。字幕デコーダ８１は、デコード後のデジタル字幕信号を制御部４１に出力する。なお、制御部４１は、デジタル映像信号に基づく映像およびデジタル字幕信号に基づく字幕の表示領域をプレーンと呼ばれる論理的な表示領域として管理する。また、制御部４１がフルセグ放送波に基づく映像および字幕をメインディスプレイ１７に表示させる場合、表示駆動部６１の画像合成回路５２は映像と字幕を合成し、メインディスプレイ１７は、映像と字幕の合成結果を表示する。
The
字幕文表示時刻取得部７３は、ＴＳバッファ７１に保持されるＴＳ信号の中から字幕データに関するＴＳ信号を抽出し、字幕データに関するＴＳパケットのペイロードに含まれるＰＥＳを取り出す。字幕文表示時刻取得部７３は、字幕データに関するＰＥＳのＰＥＳヘッダに含まれるＰＴＳを取得し、字幕文分割部７７が分割する対象となる字幕文の次の字幕文（次々回送出される字幕文）の表示時刻を取得する。字幕文表示時刻取得部７３は、次々回送出される字幕文の表示時刻に関する情報を字幕文分割部７７に出力する。
The caption text display
字幕文分割部７７は、文字サイズ・表示領域設定部７８から文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）に関する設定情報を取得するとともに、字幕データバッファ７６から字幕管理データと字幕文データを含む字幕データおよび字幕データのＰＴＳが示す表示時刻を取得し、字幕文の文字サイズを文字サイズＣｓに設定した場合における字幕文の表示領域が表示領域Ｐａよりも大きい場合、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する。字幕文分割部７７は、分割後の字幕データを字幕デコーダ８１に出力する。
The subtitle
文字サイズ・表示領域設定部７８は、制御部４１の制御に従い、文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）を設定し、文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）に関する設定情報を字幕文分割部７７に供給する。なお、文字サイズＣｓはドット単位で設定され、表示領域Ｐａは横がＸドットで縦がＹドットのように設定される。また、文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）は、フルセグ放送波の番組再生中であっても、待ち受け中であっても、ユーザが操作キー１４を操作することにより設定画面上で任意の値に変更することができる。勿論、文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）は固定値でもよい。文字サイズ・表示領域設定部７８は、字幕の表示領域Ｐａを設定する場合に、メインディスプレイ１７が字幕文を表示領域Ｐａに表示する際の原点となる字幕文表示位置を設定する。図５（Ａ）と（Ｂ）は、文字サイズ・表示領域設定部７８が設定する表示領域Ｐａと字幕文表示位置の例を表している。図５（Ａ）の場合、字幕の表示領域Ｐａが表示画面の下部に設定される。このとき、文字サイズ・表示領域設定部７８は、メインディスプレイ１７が字幕文を表示領域Ｐａに表示する際の原点となる字幕文表示位置Ｍを設定する。なお、字幕の表示領域Ｐａは、映像が表示されない映像非表示領域である。図５（Ｂ）の場合、字幕の表示領域Ｐａが表示画面の右部に設定される。このとき、文字サイズ・表示領域設定部７８は、メインディスプレイ１７が字幕文を表示領域Ｐａに表示する際の原点となる字幕文表示位置Ｎを設定する。なお、字幕の表示領域Ｐａは、映像が表示される表示領域の一部分と重なっていてもよい。勿論、映像が表示されない映像非表示領域が設定されている場合に、字幕の表示領域Ｐａを映像非表示領域中に設定することで、より視認性を高めることができる。ユーザが操作キー１４を操作することにより設定画面上で任意の値および位置を設定しない場合、文字サイズ・表示領域設定部７８は、デフォルトの値および位置で設定する。なお、文字サイズ・表示領域設定部７８は、表示領域Ｐａを、メインディスプレイ１７の解像度と表示する映像の解像度の差分（映像非表示領域）として設定するようにしてもよい。また、字幕の表示領域Ｐａは、表示画面上で複数の表示領域に分割されてもよい。
The character size / display
図６のフローチャートを参照して、図３および図４の携帯電話機１における字幕文表示処理について説明する。図６の字幕文表示処理と並列して、フルセグ受信部５２はフルセグ放送波を受信し、地デジ処理部５３の分離部７２はＴＳ信号を各メディアに分離する。また、図６の字幕文表示処理と並列して、オーディオデコーダ７９とビデオデコーダ８０はそれぞれオーディオデータとビデオデータを所定の復号化方式でデコードする。
With reference to the flowchart of FIG. 6, the caption text display processing in the
ステップＳ１において、字幕文分割部７７は、文字サイズ・表示領域設定部７８から文字サイズＣｓ、表示領域Ｐａ、字幕文表示間隔Ｐｉ（ｍｓｅｃ）、および字幕文表示位置に関する設定情報を取得する。
In step S <b> 1, the subtitle
ステップＳ２において、字幕文分割部７７は、字幕データバッファ７６に保持される字幕データを取得するとともに、字幕データに関するＰＥＳのＰＥＳヘッダに含まれるＰＴＳに基づいて、字幕文表示時刻に関する情報を取得する。なお、字幕文分割部７７が字幕データバッファ７６から取得する字幕データには、字幕管理データと字幕文データが含まれる。
In step S <b> 2, the subtitle
ステップＳ３において、字幕文分割部７７は、文字サイズＣｓに関する設定情報に基づいて、字幕データに含まれる字幕文データに関する文字の文字サイズを拡大する。具体的には、字幕文分割部７７は、字幕データに含まれる字幕文データに関する文字の文字サイズをすべて文字サイズＣｓに拡大する。勿論、このような場合に限られず、字幕文分割部７７は、字幕データに含まれる字幕文データに関する文字の文字サイズのうち、最小サイズまたは中間サイズの文字の文字サイズを文字サイズＣｓに拡大し、最小サイズまたは中間サイズの文字以外の文字の文字サイズを文字サイズＣｓを基準に元の文字サイズに比例して拡大するようにしてもよい。なお、本発明の実施形態においては、字幕文分割部７７が字幕データに含まれる字幕文データに関する文字の文字サイズをすべて文字サイズＣｓに拡大する場合について説明する。
In step S3, the subtitle
ステップＳ４において、字幕文分割部７７は、字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域を算出する。図７（Ａ）と（Ｂ）は、字幕文分割部７７が字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域の算出方法を説明するための説明図である。図７（Ａ）が示すように、字幕プレーン上に位置する各文字のＸＹ座標のそれぞれの最小値と最大値を抽出し、抽出されたＸＹ座標の最小値と最大値に基づいて４点によって囲まれる矩形領域を算出し、矩形領域を字幕文の表示領域として算出する。図７（Ａ）の場合、字幕文分割部７７は、４点ＰＱＲＳによって囲まれる矩形領域を字幕文の表示領域として算出する。また、図７（Ｂ）が示すように表示領域が複数に分かれている場合には、字幕文分割部７７は、それぞれの矩形領域を算出し、算出された各矩形領域を加算した領域を字幕文の表示領域として算出する。
In step S4, the caption
ステップＳ５において、字幕文分割部７７は、字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域が表示領域Ｐａのサイズよりも大きいか否かを判定する。ステップＳ５において字幕文分割部７７が字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域が表示領域Ｐａのサイズよりも大きいと判定した場合、字幕文分割部７７はステップＳ６で、字幕文表示時間算出処理を実行する。字幕文分割部７７が実行する字幕文表示時間算出処理の詳細は、図８に示される。
In step S5, the caption
図８のフローチャートを参照して、字幕文分割部７７における字幕文表示時間算出処理について説明する。
With reference to the flowchart of FIG. 8, the subtitle sentence display time calculation process in the subtitle
ステップＳ２１において、字幕文分割部７７は、ＴＳバッファ７１に字幕データ（すなわち、次々回送出する字幕データ）が保持されているか否かを判定する。ステップＳ２１において字幕文分割部７７がＴＳバッファ７１に字幕データが保持されていると判定した場合、字幕文分割部７７はステップＳ２２で、字幕文表示時刻取得部７３から、次々回送出される字幕文の表示時刻に関する情報を取得する。ステップＳ２３において、字幕文分割部７７は、分割対象となる字幕文の表示時刻に関する情報と、ステップＳ２２で取得された次々回送出される字幕文の表示時刻に関する情報に基づいて、字幕文表示時間Ｐｔを算出する。具体的には、字幕文分割部７７は、［数１］が示すように、字幕文表示時間Ｐｔを、次々回送出される字幕文の表示時刻と分割対象となる字幕文の表示時刻の差分として算出する。
［数１］
字幕文表示時間Ｐｔ
＝次々回送出される字幕文の表示時刻−分割対象となる字幕文の表示時刻
In step S <b> 21, the subtitle
[Equation 1]
Subtitle text display time Pt
= Display time of subtitle texts sent one after another-Display time of subtitle texts to be divided
一方、ステップＳ２１において字幕文分割部７７がＴＳバッファ７１に字幕データが保持されていないと判定した場合、字幕文分割部７７はステップＳ２４で、［数２］が示すように、予め設定されたＴＳバッファ７１のバッファリング時間に０．５ｓｅｃを加算した時間を字幕表示時間Ｐｔとして算出する。なお、０．５ｓｅｃは、字幕文の表示時刻とＴＳバッファ７１へのＴＳ信号の入力完了時刻との差分であり、ＡＲＩＢ規定値である。 ［数２］
字幕文表示時間Ｐｔ
＝ＴＳバッファ７１のバッファリング時間＋０．５ｓｅｃ
On the other hand, when the subtitle
Subtitle text display time Pt
=
その後、処理は図６に戻る。なお、字幕文分割部７７は、次回と次々回に送出される字幕文表示時刻に関する情報のいずれも字幕文表示時刻取得部７３から取得するようにしてもよい。
Thereafter, the processing returns to FIG. Note that the subtitle
ステップＳ７において、字幕文分割部７７は、字幕文分割処理を実行する。字幕文分割処理の詳細は、図９に示される。図９のフローチャートを参照して、字幕文分割部７７における字幕文分割処理について説明する。ステップＳ３１において、字幕文分割部７７は、字幕文表示時間Ｐｔと字幕文表示間隔Ｐｉを用いて最大字幕文分割数Ｄｎを算出する。具板的には、字幕文分割部７７は、［数３］が示すように、字幕文表示時間Ｐｔを字幕文表示間隔Ｐｉで除算して最大字幕文分割数Ｄｎを算出する。
［数３］
最大字幕文分割数Ｄｎ＝字幕文表示時間Ｐｔ／字幕文表示間隔Ｐｉ
In step S7, the subtitle
[Equation 3]
Maximum number of subtitle sentence divisions Dn = subtitle sentence display time Pt / subtitle sentence display interval Pi
ステップＳ３２において、字幕文分割部７７は、最大字幕文分割数Ｄｎを分割個数の上限としつつ、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する。字幕文分割部７７は、分割後の字幕データを字幕管理データと合わせて字幕データとして字幕デコーダ８１に出力する。その後、処理は図６に戻る。
In step S32, the subtitle
なお、字幕文分割部７７が字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する場合、字幕文分割部７７は、文字数を基に均等分割してもよいし、改行情報に基づいて行単位で分割してもよい。また、字幕文分割部７７は、例えば発言者ごとの文字色を基に分割してもよいし、上記の分割方法を複数組み合わせても良い。
Note that when the subtitle
ステップＳ５において字幕文分割部７７が字幕文の文字サイズを文字サイズＣｓに拡大した場合の字幕文表示領域が表示領域Ｐａのサイズ以下であると判定した場合、ステップＳ６の字幕文表示時間算出処理とステップＳ６の字幕文分割処理はスキップされる。ステップＳ８において、字幕デコーダ８１は、字幕文分割部７７が字幕文を分割する場合には、字幕文分割部７７から字幕データのうちの字幕管理データおよび分割後の字幕文データを取得し、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報に基づいて、字幕管理データと分割後の字幕文データを含む字幕データを所定の復号化方式でデコードする。字幕デコーダ８１は、字幕文分割部７７が字幕文を分割しない場合、字幕データバッファ７６に保持される字幕データを取得し、ＰＥＳヘッダ中のＰＴＳが指定するデコードのタイミング時刻情報に基づいて字幕データを所定の復号化方式でデコードする。字幕デコーダ８１は、デコード後のデジタル字幕信号を制御部４１に出力する。
When the subtitle
ステップＳ９において、制御部４１は、地デジ処理部５３からのデジタル音声信号とともに、デジタル映像信号とデジタル字幕信号を取得し、取得されたデジタル音声信号ＰＣＭコーデック３８に出力するとともに、取得されたデジタル映像信号とデジタル字幕信号を表示駆動部６１に出力する。表示駆動部６１の画像合成回路５２は、制御部４１の制御に従い、デジタル映像信号とデジタル字幕信号を合成してデジタル映像合成信号を生成する。ステップＳ１０において、メインディスプレイ１７は、映像と字幕の合成結果であるデジタル映像合成信号に基づく映像と字幕を表示する。なお、映像は映像表示領域に表示され、字幕は字幕の表示領域Ｐａに表示される。このとき、映像表示領域と字幕の表示領域Ｐａは重なっていてもよい。
In step S9, the
なお、図９の場合、字幕文分割部７７は、最大字幕文分割数Ｄｎを分割個数の上限としつつ、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する。しかし、分割後の字幕文の表示領域が表示領域Ｐａよりも大きい場合には、字幕文の表示領域を縮小するようにしてもよい。すなわち、図１０に示されるように、ステップＳ５３において字幕文分割部７７が分割後の字幕文の表示領域が表示領域Ｐａよりも大きいと判定した場合、ステップＳ５４において字幕文分割部７７が、文字サイズの縮小や、改行を削除してスペースに変換することや複数の行を連結することによって、字幕文の表示領域を表示領域Ｐａ以下になるように縮小するようにしてもよい。
In the case of FIG. 9, the subtitle
ところで、図４においては、フルセグ受信部５２がＴＳ信号を地デジ処理部５３に供給する場合を想定しているが、このような場合に限られず、例えばフルセグ受信部５２がＴＳ信号を直接制御部４１に出力し、制御部４１が記憶部４２に一旦記憶させた後、地デジ処理部５３が記憶部４２のＴＳ信号ファイルからＴＳ信号を読み出してデコードするようにしてもよい。これにより、処理を簡略化することができ、デバイスサイズを小型化することができる。この場合における地デジ処理部５３の構成は、図１１に示される。
In FIG. 4, it is assumed that the full-
図１１は、図３の地デジ処理部５３の内部の他の詳細な構成を表している。なお、図４の地デジ処理部５３の構成と対応するものについては同一の符号を付しており、その説明は繰り返しになるので省略する。
FIG. 11 shows another detailed configuration inside the digital
ＴＳバッファ７１は、記憶部４２のＴＳ信号ファイル９１が記憶するＴＳ信号を一時的に保持する（バッファリングする）。なお、図１１の地デジ処理部５３の場合、字幕文分割部７７は、記憶部４２が記憶する字幕情報ファイル９２から次回の字幕文の表示時刻に関する情報と、次々回の字幕文の表示時刻に関する情報を取得する。字幕情報は、フルセグ受信部５２が受信する放送局からのフルセグ放送波に付加情報として予め含まれており、記憶部４２がＴＳ信号ファイル９１にＴＳ信号を記憶する際に同時に字幕情報ファイル９２に字幕情報を記憶する。字幕情報には、各字幕文の表示時刻に関する情報が少なくとも含まれている。なお、携帯電話機１がフルセグ放送波を受信してＴＳ信号を生成した後に、ＴＳ信号から字幕情報を生成し、生成されたＴＳ信号と字幕情報をそれぞれＴＳ信号ファイル９１と字幕情報ファイル９２に記憶するようにしてもよい。
The
図１２のフローチャートを参照して、図１１の字幕文分割部７７における字幕文表示時間算出処理について説明する。なお、図３および図１１の携帯電話機１における字幕文表示処理は図６が示す字幕文表示処理と同様であり、その説明は繰り返しなるので重複する部分については省略する。
With reference to the flowchart of FIG. 12, the caption sentence display time calculation processing in the caption
ステップＳ７１において、字幕文分割部７７は、字幕情報ファイル９２から、次回送出される字幕文（すなわち、分割対象である字幕文）の表示時刻に関する情報、および次々回送出される字幕文の表示時刻に関する情報を取得する。ステップＳ７２において、字幕文分割部７７は、分割対象となる字幕文の表示時刻に関する情報と、次々回送出される字幕文の表示時刻に関する情報に基づいて、字幕文表示時間Ｐｔを算出する。算出方法は、図８のステップＳ２２の処理と同様である。
In step S71, the subtitle
ところで、図４と図１１の地デジ処理部５３の場合、字幕文分割部７７は、字幕文表示時間Ｐｔを字幕文表示間隔Ｐｉで除算して最大字幕文分割数Ｄｎを算出し、最大字幕文分割数Ｄｎを分割個数の上限としつつ、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を分割する。しかし、このような場合に限られない。すなわち、字幕文分割部７７は、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を所定の分割数Ｄｎ´に分割する。そして、字幕文分割部７７は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、字幕文の再生速度を調整するようにする。すなわち、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、携帯電話機１は、映像の再生速度を基準となる基準再生速度Ｔよりも遅くすることにより、再生速度が基準再生速度Ｔよりも遅くなった分に応じて字幕文表示時間Ｐｔを延長させて字幕文表示時間Ｐｔ´とし、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔ´以下になるようにする。この場合における地デジ処理部５３の構成は、図１３に示される。
By the way, in the case of the terrestrial
図１３は、図３の地デジ処理部５３の内部の他の詳細な構成を表している。なお、図４の地デジ処理部５３の構成と対応するものについては同一の符号を付しており、その説明は繰り返しになるので省略する。
FIG. 13 shows another detailed configuration inside the digital
字幕文分割部７７は、文字サイズ・表示領域設定部７８から文字サイズＣｓ、表示領域Ｐａ、および字幕文表示間隔Ｐｉ（ｍｓｅｃ）に関する設定情報を取得するとともに、字幕データバッファ７６から字幕管理データと字幕文データを含む字幕データおよび字幕データのＰＴＳが示す表示時刻を取得し、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を所定の分割数Ｄｎ´に分割する。字幕文分割部７７は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、字幕文の再生速度を調整するために再生速度制御部１０１に対して再生速度制御開始信号を生成し、生成された再生速度制御信号を再生速度制御部１０１に出力する。字幕文分割部７７は、分割後の字幕データを字幕デコーダ８１に出力する。
The subtitle
再生速度制御部１０１は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、字幕文分割部７７からの再生速度制御信号に基づいて、映像の再生速度を基準となる基準再生速度Ｔよりも遅くすることにより、再生速度が基準再生速度Ｔよりも遅くなった分に応じて字幕文表示時間Ｐｔを延長させて字幕文表示時間Ｐｔ´とし、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔ´以下にする。より具体的には、再生速度制御部１０１は、字幕文分割部７７からの再生速度制御信号に基づいて、オーディオデコーダ７９、ビデオデコーダ８０、および字幕デコーダ８１を制御し、各デコーダのデコード速度を基準となる基準デコード速度よりも遅延させ、映像の再生速度を基準となる基準再生速度Ｔよりも遅延させる。
When the time obtained by multiplying the subtitle sentence display interval Pi by the division number Dn ′ is longer than the subtitle sentence display time Pt, the reproduction
図１４のフローチャートを参照して、図１３の地デジ処理部５３における字幕文分割処理について説明する。なお、図３および図１３の携帯電話機１における字幕文表示処理は図６が示す字幕文表示処理と同様であり、その説明は繰り返しなるので重複する部分については省略する。
With reference to the flowchart of FIG. 14, the caption sentence division processing in the terrestrial
ステップＳ１０１において、字幕文分割部７７は、メインディスプレイ１７が表示する字幕文の表示領域が表示領域Ｐａ以下となるように字幕文を所定の分割数Ｄｎ´に分割する。ステップＳ１０２において、字幕文分割部７７は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きいか否かを判定する。ステップＳ１０２において字幕文分割部７７が字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きいと判定した場合、字幕文分割部７７はステップＳ１０３で、字幕文の再生速度を調整するために再生速度制御部１０１に対して再生速度制御開始信号を生成し、生成された再生速度制御信号を再生速度制御部１０１に出力する。再生速度制御開始信号は再生速度制御を開始する旨の信号であり、再生速度制御開始信号には、少なくとも字幕文の分割数Ｄｎ´に関する情報が含まれる。字幕文分割部７７は、分割後の字幕データを字幕管理データと合わせて字幕データとして字幕デコーダ８１に出力する。
In step S101, the subtitle
再生速度制御部１０１は、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔよりも大きい場合、字幕文分割部７７からの再生速度制御信号を取得する。再生速度制御部１０１は、文字サイズ・表示領域設定部７８から字幕文表示間隔Ｐｉに関する設定情報を取得し、字幕文分割部７７からの再生速度制御開始信号に基づいて、映像の再生速度を基準となる基準再生速度Ｔよりも遅くすることにより、再生速度が基準再生速度Ｔよりも遅くなった分に応じて字幕文表示時間Ｐｔを延長させて字幕文表示時間Ｐｔ´とし、字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔ´以下にする。より具体的には、再生速度制御部１０１はステップＳ１０４で、字幕文分割部７７からの再生速度制御信号に基づき、字幕文表示間隔Ｐｉに関する情報と分割数Ｄｎ´に関する情報を用いて、図６のステップＳ６における字幕文表示時間算出処理により算出された字幕文表示時間Ｐｔが字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間以上になるような調整再生速度Ｔ´の基準再生速度Ｔに対する倍率α（＝調整再生速度Ｔ´／基準再生速度Ｔ）を算出する。調整再生速度Ｔの算出方法は、［数４］に示される。
［数４］
倍率α＝字幕文表示時間Ｐｔ／（字幕文表示間隔Ｐｉ×分割数Ｄｎ´）
When the time obtained by multiplying the caption text display interval Pi by the division number Dn ′ is longer than the caption text display time Pt, the playback
[Equation 4]
Magnification α = subtitle sentence display time Pt / (subtitle sentence display interval Pi × number of divisions Dn ′)
例えば字幕文表示時間Ｐｔが８ｓであるとし、かつ、字幕文表示間隔Ｐｉ×分割数Ｄｎ´が１０ｓであるとすると、倍率αは０．８となる。すなわち、字幕文表示時間算出処理により算出された字幕文表示時間Ｐｔが字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間以上になるような調整再生速度Ｔ´は、基準再生速度Ｔの０．８倍以下の速度となる。そして、再生速度制御部１０１は、算出された倍率αを参照して、字幕文表示時間算出処理により算出された字幕文表示時間Ｐｔが字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間以上になるような調整再生速度Ｔ´を設定する。これにより、再生速度が基準再生速度Ｔよりも遅くなった分に応じて字幕文表示時間Ｐｔを延長させて字幕文表示時間Ｐｔ´にすることができる。
For example, if the caption text display time Pt is 8 s and the caption text display interval Pi × the number of divisions Dn ′ is 10 s, the magnification α is 0.8. That is, the adjusted playback speed T ′ such that the caption text display time Pt calculated by the caption text display time calculation process is equal to or longer than the time obtained by multiplying the caption text display interval Pi by the division number Dn ′ is 0 of the reference playback speed T. The speed is 8 times or less. Then, the playback
再生速度制御部１０１は、設定された調整再生速度Ｔ´の基準再生速度Ｔに対する倍率αに基づいてオーディオデコーダ７９、ビデオデコーダ８０、および字幕デコーダ８１を制御し、各デコーダのデコード速度を基準となる基準デコード速度よりも遅延させ、字幕の再生速度に合わせて映像および音声の再生速度を基準再生速度Ｔよりも遅延させる。
The playback
一方、ステップＳ１０２において字幕文分割部７７が字幕文表示間隔Ｐｉに分割数Ｄｎ´を乗じた時間が字幕文表示時間Ｐｔ以下であると判定した場合、ステップＳ１０３およびステップＳ１０４の処理はスキップされる。その後、処理は図６に戻る。これにより、遅延した調整再生速度Ｔ´で映像、字幕および音声が再生される。
On the other hand, when the subtitle
なお、映像の再生速度だけでなく音声の再生速度も遅延させるようにしたが、このような場合に限られず、ビデオデコーダ８０と字幕デコード８１のデコード速度のみを遅延させ、字幕の再生速度に合わせて映像の再生速度のみを遅延させるようにしてもよい。
Although not only the video playback speed but also the audio playback speed is delayed, the present invention is not limited to this, and only the
本発明の実施形態においては、フルセグ受信部５２は、地上デジタル放送波を受信し、地デジ処理部５３の分離部７２は、受信された地上デジタル放送波に基づくＴＳ信号を生成し、生成されたＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離し、文字サイズ・表示領域設定部７８は、字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、字幕文の表示領域を表示領域Ｐａに設定し、字幕文の表示間隔を表示間隔Ｐｉに設定し、および字幕文の表示位置を設定し、字幕文分割部７７は、字幕文の文字サイズを文字サイズＣｓに設定することにより字幕文の表示領域が表示領域Ｐａよりも大きくなる場合、字幕文の表示時間Ｐｔを算出し、字幕文の表示時間Ｐｔと字幕文表示間隔Ｐｉを用いて字幕文の最大分割数Ｄｎを算出し、算出された字幕文の最大分割数Ｄｎを上限としつつ、字幕文の表示領域が表示領域Ｐａ以下の大きさになるように字幕文を分割し、各デコーダは、分離されたオーディオデータ、ビデオデータ、および分割後の字幕データを所定の復号化方式で復号化し、メインディスプレイ１７は、復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を表示領域Ｐａに表示することができる。
In the embodiment of the present invention, the full
これにより、地上デジタル放送波における字幕の文字列の視認性を好適に向上させることができる。 Thereby, the visibility of the subtitle character string in the digital terrestrial broadcast wave can be preferably improved.
なお、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。 The series of processes described in the embodiments of the present invention can be executed by software, but can also be executed by hardware.
また、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。さらに、本発明の実施形態に記載した構成を適宜組み合わせるようにしてもよい。 In the embodiment of the present invention, the steps of the flowchart show an example of processing that is performed in time series in the order described. However, even if they are not necessarily processed in time series, they are executed in parallel or individually. The processing to be performed is also included. Furthermore, the configurations described in the embodiments of the present invention may be combined as appropriate.
１…携帯電話機、１１…ヒンジ部、１２…第１の筐体、１３…第２の筐体、１４…スピーカ、１５…サイドキー、１６…防犯ブザースイッチ、１６ａ…防犯ブザースイッチ１６の端部、１７…プルトップ式タブ、１９…レシーバ、２０…マイクロフォン、２１…操作キー、２２…メインディスプレイ、２３…サブディスプレイ、２４…ＣＣＤカメラ、２５…センサ群、３１…アンテナ、３２…アンテナ共用器（ＤＵＰ）、３３…受信回路（ＲＸ）、３４…周波数シンセサイザ（ＳＹＮ）、３５…送信回路（ＴＸ）、３６…ＣＤＭＡ信号処理部、３７…圧縮伸張処理部、３８…ＰＣＭコーデック、３９…受話増幅器、４０…送話増幅器、４１…制御部、４２…記憶部、４３…バッテリ、４４…電源回路、４７…時計回路、５０…スピーカ、５１…アンテナ、５２…フルセグ受信部、５３…地デジ処理部、６１…表示駆動部、６２…画像メモリ、６３…画像合成回路、６４…画像データ転送回路、７１…ＴＳバッファ、７２…分離部、７３…字幕文表示時刻取得部、７４…オーディオデータバッファ、７５…ビデオデータバッファ、７６…字幕データバッファ、７７…字幕文分割部、７８…文字サイズ・表示領域設定部、７９…オーディオデコーダ、８０…ビデオデコーダ、８１…字幕デコーダ、９１…ＴＳ信号ファイル、９２…字幕情報ファイル、１０１…再生速度制御部。
DESCRIPTION OF
Claims (4)
前記受信手段により受信された前記地上デジタル放送波に基づくＴＳ信号を生成し、生成された前記ＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離する分離手段と、
字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、前記字幕文の表示領域を表示画面の一部である表示領域Ｐａに設定し、前記字幕文の表示を次の字幕文の表示に切り替える間隔を表示間隔Ｐｉに設定し、および前記字幕文を前記表示領域Ｐａに表示する際の前記表示画面における前記表示領域Ｐａの表示位置の原点を設定する設定手段と、
前記字幕文の文字サイズを前記文字サイズＣｓに設定することにより字幕文を表示するのに必要な表示領域が前記表示領域Ｐａよりも大きくなる場合、字幕文が前記表示領域Ｐａ以下の大きさになるように前記字幕文を分割する分割手段と、
分離された前記オーディオデータ、前記ビデオデータ、および前記分割後の前記字幕データを所定の復号化方式で復号化する復号化手段と、
前記復号化手段による復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を前記表示領域Ｐａに表示する表示手段と、
前記表示手段が表示する前記映像の基準再生速度に対して所定の倍率を有する調整再生速度を用いて、分割された前記字幕文が全て前記表示領域Ｐａに表示されるように前記映像の再生速度を調整するように制御する再生速度制御手段とを備えることを特徴とする携帯端末。 Receiving means for receiving terrestrial digital broadcast waves;
Separating means for generating a TS signal based on the terrestrial digital broadcast wave received by the receiving means, and separating the generated TS signal for each media data related to audio data, video data, and caption data;
The character size of the subtitle sentence based on the subtitle data is set to the character size Cs, the display area of the subtitle sentence is set to the display area Pa that is a part of the display screen, and the display of the subtitle sentence is set to the display of the next subtitle sentence. Setting means for setting the interval to switch to the display interval Pi, and setting the origin of the display position of the display area Pa on the display screen when the caption text is displayed in the display area Pa ;
When the display area necessary for displaying the caption text becomes larger than the display area Pa by setting the character size of the caption text to the character size Cs, the caption text is smaller than the display area Pa. Dividing means for dividing the subtitle sentence so as to be,
Decoding means for decoding the separated audio data, the video data, and the divided subtitle data by a predetermined decoding method;
Display means for displaying the video based on the video signal generated by the decoding by the decoding means in the video display area, and displaying the caption based on the caption signal in the display area Pa;
The playback speed of the video so that all of the divided subtitle sentences are displayed in the display area Pa using an adjusted playback speed having a predetermined magnification with respect to the reference playback speed of the video displayed by the display means. A portable terminal comprising: a reproduction speed control means for controlling the adjustment of the reproduction speed.
前記字幕文の表示時間Ｐｔを前記表示間隔Ｐｉで除算することにより前記字幕文を分割するための前記字幕文の最大分割数Ｄｎを算出する算出手段をさらに備えることを特徴とする請求項１に記載の携帯端末。 When the display area necessary for displaying the caption text becomes larger than the display area Pa by setting the character size of the caption text to the character size Cs, the display time Pt of the caption text is displayed as the caption text display. Calculate from the time difference ,
2. The calculation method according to claim 1, further comprising: calculating means for calculating a maximum number of divisions Dn of the caption text for dividing the caption text by dividing the display time Pt of the caption text by the display interval Pi. The portable terminal described.
前記受信ステップの処理により受信された前記地上デジタル放送波に基づくＴＳ信号を生成し、生成された前記ＴＳ信号をオーディオデータ、ビデオデータ、および字幕データに関するメディアデータごとに分離する分離ステップと、
字幕データに基づく字幕文の文字サイズを文字サイズＣｓに設定し、前記字幕文の表示領域を表示画面の一部である表示領域Ｐａに設定し、前記字幕文の表示を次の字幕文の表示に切り替える間隔を表示間隔Ｐｉに設定し、および前記字幕文を前記表示領域Ｐａに表示する際の前記表示画面における前記表示領域Ｐａの表示位置の原点を設定する設定ステップと、
前記字幕文の文字サイズを前記文字サイズＣｓに設定することにより字幕文を表示するのに必要な表示領域が前記表示領域Ｐａよりも大きくなる場合、字幕文が前記表示領域Ｐａ以下の大きさになるように前記字幕文を分割する分割ステップと、
分離された前記オーディオデータ、前記ビデオデータ、および前記分割後の前記字幕データを所定の復号化方式で復号化する復号化ステップと、
前記復号化ステップの処理による復号化によって生成された映像信号に基づく映像を映像表示領域に表示するとともに、字幕信号に基づく字幕を前記表示領域Ｐａに表示する表示ステップと、
前記表示ステップが表示する前記映像の基準再生速度に対して所定の倍率を有する調整再生速度を用いて、分割された前記字幕文が全て前記表示領域Ｐａに表示されるように前記映像の再生速度を調整するように制御する再生速度制御ステップとを含むことを特徴とする情報処理方法。 A receiving step for receiving a terrestrial digital broadcast wave;
A separation step of generating a TS signal based on the terrestrial digital broadcast wave received by the processing of the reception step, and separating the generated TS signal for each media data related to audio data, video data, and caption data;
The character size of the subtitle sentence based on the subtitle data is set to the character size Cs, the display area of the subtitle sentence is set to the display area Pa that is a part of the display screen, and the display of the subtitle sentence is set to the display of the next subtitle sentence. A setting step of setting an interval for switching to the display interval Pi, and setting an origin of a display position of the display area Pa on the display screen when the caption text is displayed on the display area Pa ;
When the display area necessary for displaying the caption text becomes larger than the display area Pa by setting the character size of the caption text to the character size Cs, the caption text is smaller than the display area Pa. A dividing step of dividing the subtitle sentence so that
A decoding step of decoding the separated audio data, the video data, and the divided subtitle data by a predetermined decoding method;
Displaying the video based on the video signal generated by decoding in the process of the decoding step in the video display area, and displaying the subtitle based on the subtitle signal in the display area Pa;
The playback speed of the video so that all of the divided subtitle sentences are displayed in the display area Pa using an adjusted playback speed having a predetermined magnification with respect to the reference playback speed of the video displayed in the display step And a playback speed control step for controlling to adjust the speed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009201944A JP5428664B2 (en) | 2009-09-01 | 2009-09-01 | Mobile terminal and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009201944A JP5428664B2 (en) | 2009-09-01 | 2009-09-01 | Mobile terminal and information processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011055230A JP2011055230A (en) | 2011-03-17 |
| JP5428664B2 true JP5428664B2 (en) | 2014-02-26 |
Family
ID=43943790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009201944A Expired - Fee Related JP5428664B2 (en) | 2009-09-01 | 2009-09-01 | Mobile terminal and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5428664B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013162841A (en) * | 2012-02-09 | 2013-08-22 | Kyoraku Sangyo Kk | Game machine |
| JP5690758B2 (en) * | 2012-02-09 | 2015-03-25 | 京楽産業．株式会社 | Game machine |
| JP2015023575A (en) * | 2013-07-19 | 2015-02-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Transmission method, reception method, transmission device and reception device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4587821B2 (en) * | 2005-01-31 | 2010-11-24 | 三洋電機株式会社 | Video playback device |
| JP2006270139A (en) * | 2005-03-22 | 2006-10-05 | Matsushita Electric Ind Co Ltd | Data reproducing apparatus, data reproducing method and program |
-
2009
- 2009-09-01 JP JP2009201944A patent/JP5428664B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011055230A (en) | 2011-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8249422B2 (en) | Content usage system, content usage method, recording and playback device, content delivery method, and content delivery program | |
| EP1879382A2 (en) | Multi-screen display apparatus and method for digital broadcast receiver | |
| US8350964B2 (en) | Captioned image reproducing device, captioned image reproducing method and program | |
| JP5098839B2 (en) | Mobile device | |
| JP2010245974A (en) | Digital television broadcast playback apparatus and playback method thereof | |
| JP5428664B2 (en) | Mobile terminal and information processing method | |
| JP4159043B2 (en) | Television broadcasting system | |
| JP2008244707A (en) | Information communication terminal | |
| US20130308050A1 (en) | Display apparatus, communication apparatus, displaying method and program recording medium | |
| US20100251294A1 (en) | Moving image processor and moving image processing method | |
| JP2005333593A (en) | Digital broadcast receiver | |
| JP5240833B2 (en) | Subtitled video playback device, subtitled video playback method and program | |
| KR20040036466A (en) | Device and method for displaying multivision in mobile telephone | |
| JP2005269508A (en) | Communication terminal device and communication terminal processing program | |
| JP5630845B2 (en) | Terminal device and program | |
| JP2007166597A (en) | Information reproducing apparatus and electronic apparatus | |
| JP2009165000A (en) | Broadcast receiving apparatus and program list information creating method | |
| JP2007166598A (en) | Information recording apparatus and electronic apparatus | |
| JP5319941B2 (en) | Terminal device and program | |
| JP2009201051A (en) | Receiver, receiving method, and receiving program | |
| KR100584414B1 (en) | How to register wallpaper on TV | |
| JP2006180230A (en) | Portable mobile terminal device and television display method | |
| KR100912557B1 (en) | Multiple display device of broadcast image, portable terminal having same and multiple display method of broadcast image | |
| JP2009146144A (en) | Mobile device | |
| JP2008136084A (en) | Digital broadcast receiver |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120605 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130813 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131015 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131118 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |