JP4634894B2 - Telop detection apparatus and method, and recorder - Google Patents
Telop detection apparatus and method, and recorder Download PDFInfo
- Publication number
- JP4634894B2 JP4634894B2 JP2005256245A JP2005256245A JP4634894B2 JP 4634894 B2 JP4634894 B2 JP 4634894B2 JP 2005256245 A JP2005256245 A JP 2005256245A JP 2005256245 A JP2005256245 A JP 2005256245A JP 4634894 B2 JP4634894 B2 JP 4634894B2
- Authority
- JP
- Japan
- Prior art keywords
- edge
- image data
- block
- area
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Circuits (AREA)
Description
本発明は、映像信号からテロップ部分の情報を検出するテロップ検出装置及び方法並びにそのテロップ検出装置及び方法が適用されたディスクレコーダ等のレコーダに関する。 The present invention relates to a telop detection device and method for detecting information of a telop portion from a video signal, and a recorder such as a disk recorder to which the telop detection device and method are applied.
テレビ放送番組には、情報番組やバラエティ番組のように、番組全体が幾つかの話題から構成される番組がある。このような番組においては、放送中の映像が何の話題についての映像であるのかを示すため、画面隅にテロップが表示されることが多い。例えば、図1に示すように画面Aの右上隅にテロップBが表示される。このようなテロップをコーナーテロップ(「コーナー」=「画面隅」の意)と呼ぶ。コーナーテロップは番組の話題を示すためのものであり、番組の内容理解において重要なキー情報と言える。よってコーナーテロップが検出できれば、番組全体を話題毎に構造化したり、ユーザによるシーン検索の支援が出来たりといった応用が可能になる。 There are TV broadcast programs such as information programs and variety programs in which the entire program is composed of several topics. In such programs, telops are often displayed in the corners of the screen to indicate what topic the video being broadcast is. For example, a telop B is displayed in the upper right corner of the screen A as shown in FIG. Such a telop is called a corner telop (meaning “corner” = “screen corner”). The corner telop is for indicating the topic of the program, and can be said to be important key information for understanding the contents of the program. Therefore, if a corner telop can be detected, applications such as structuring the entire program for each topic and support for scene search by the user are possible.
図2はかかるコーナーテロップと放送中の映像に付加される通常のテロップとの差異について示している。通常のテロップは一般に視聴者に注目させるために、テロップ自体を目立たせる必要があり、通常のテロップを構成する画素と背景との輝度差が大きく、エッジ(文字の縁)の輝度強度も強い。また、通常のテロップの表示時間は短く、概ね数秒程度である。 FIG. 2 shows the difference between such a corner telop and a normal telop added to the video being broadcast. A normal telop generally needs to make the telop stand out in order to attract attention from the viewer, the luminance difference between the pixels constituting the normal telop and the background is large, and the luminance intensity of edges (character edges) is also strong. In addition, the display time of a normal telop is short and is approximately several seconds.
これに対し、コーナーテロップは、上記のように放送中の番組内の話題についての概要を示すテロップである。これにより、ユーザが番組を途中から視聴した場合でも、コーナーテロップを見ればどのような番組かを大まかに理解できる。その後は基本的に不要なテロップとなるので、できるだけ本編映像の妨げにならないような表示形態であることが望ましい。よって、コーナーテロップを構成する画素と背景との輝度差も比較的小さく、エッジ強度も弱い。ただし、コーナーテロップは同一の話題が続いている間に亘って表示されるので、コーナーテロップの表示時間は長く、少なくとも数十秒は表示される。 On the other hand, the corner telop is a telop indicating an outline of the topic in the program being broadcast as described above. Thereby, even when the user views the program from the middle, it is possible to roughly understand what the program is if the corner telop is viewed. After that, since it is basically an unnecessary telop, it is desirable that the display form does not interfere with the main video as much as possible. Therefore, the luminance difference between the pixels constituting the corner telop and the background is relatively small, and the edge strength is also weak. However, since the corner telop is displayed while the same topic continues, the display time of the corner telop is long and is displayed for at least several tens of seconds.
通常のテロップを検出する従来の方法としては、特許文献1には画面端に表示されるテロップとして、緊急ニュースなどの速報用テロップの検出方法が示されている。当該検出方法によれば、速報用テロップはテレビ画面の上部または下部の所定領域に表示されるので、これらの画面領域を対象に時間軸上の閾値以上の輝度変化を検出し、閾値以上の輝度変化の時点を速報用テロップの開始時点および終了時点として検出することが行われる。
As a conventional method for detecting a normal telop,
また、特許文献2に示されたテロップの検出方法によれば、テロップには一般的に高輝度であり、背景との境目に強いエッジがあるという特徴があるため、高輝度画素のみを有効とした画像である輝度2値化画像と、エッジ検出した画像を数画素分膨張したエッジ膨張画像との重ね合わせ(AND処理)によりテロップ部分を検出することが行われる。
Further, according to the telop detection method disclosed in
更に、特許文献3には、テレビジョン信号中の映像信号の任意の画素の輝度レベルと周辺画素の輝度レベルを比較して略均一な輝度レベルの領域を検出する均一記録領域検出回路と、映像信号の任意の映像平面における周波数成分の高域を検出する高周波領域検出回路と、その任意の画素の輝度レベルが所定時間以上無変化であるか否かを判定する一定時間無変化画素検出回路と、を備え、それら回路の各出力を基にテロップを抽出する方法が開示されている。
しかしながら、上記したように、コーナーテロップは通常のテロップと異なる性質を持つため、特許文献1及び2の開示技術においては、背景との輝度差が大きいテロップの検出には有効であるが、コーナーテロップのように背景との輝度差が小さいテロップの検出には不向きであるという欠点がある。上記の特許文献3の開示技術においては、文字の構成輝度がほぼ均一であるテロップの検出には有効であるが、コーナーテロップは構成輝度が均一である保証は少なく、コーナーテロップの高精度の検出が難しいという欠点がある。
However, as described above, corner telops are different from ordinary telops. Therefore, the disclosed techniques of
本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、映像内のコーナーテロップ等のテロップを高精度で検出することができるテロップ検出装置及び方法並びにレコーダを提供することが本発明の目的である。 The problems to be solved by the present invention include the above-mentioned drawbacks as an example, and to provide a telop detection device and method and a recorder capable of detecting a telop such as a corner telop in a video with high accuracy. It is an object of the invention.
請求項1に係る発明のテロップ検出装置は、入力映像信号からフレーム毎に輝度上のエッジを示すエッジ画像データを抽出するエッジ画像抽出手段と、前記エッジ画像抽出手段によって今回のフレームの映像信号から抽出されたエッジ画像データと少なくとも前回のフレームの映像信号から抽出されたエッジ画像データとの重複部分を静止エッジ画像データとして検出する静止エッジ検出手段と、前記静止エッジ画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したか否かを判定する継続状態判定手段と、前記継続状態検出手段によって前記静止エッジ画像データが前記所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたとき、その判定された静止エッジ画像データが示すエッジを含む囲み領域を設定し、前記領域に対する前記エッジの密集度に応じてテロップ領域を判定するテロップ判定手段と、を備え、前記エッジ画像抽出手段は、前記入力映像信号の1フレーム分の映像信号を抽出するフレーム抽出手段と、1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段と、前記フレーム抽出手段によって抽出された1フレーム分の前記有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データを前記エッジ画像データとして抽出する手段と、を有することを特徴としている。 The telop detection device according to the first aspect of the present invention includes an edge image extraction unit that extracts edge image data indicating an edge on luminance for each frame from an input video signal, and the image signal of the current frame by the edge image extraction unit. Still edge detection means for detecting, as still edge image data, an overlapping portion between the extracted edge image data and at least the edge image data extracted from the video signal of the previous frame, and the still edge image data is a predetermined number of frames or more. And the continuation state determination means for determining whether or not the continuation state detection means continues and the continuation state detection means continues the still edge image data with substantially the same content over the predetermined number of frames. If it is determined, the enclosed area including the edge indicated by the determined still edge image data is set. And a determining telop determining means telop area in accordance with the density of the edge with respect to said region, said edge image extraction means includes a frame extracting means for extracting a video signal for one frame of the input video signal, An area dividing unit that divides one frame into a plurality of areas and uses only the area at the corner of the screen as an effective area and the other area as an invalid area, and an image of the effective area for one frame extracted by the frame extracting means And means for extracting, as the edge image data, image data indicating edge pixels having a luminance difference equal to or greater than a predetermined value from the luminance of adjacent pixels from the signal .
請求項7に係る発明のレコーダは、入力映像信号を記録媒体に記録するレコーダであって、入力映像信号又は前記記録媒体に記録された映像信号からフレーム毎に輝度上のエッジを示すエッジ画像データを抽出するエッジ画像抽出手段と、前記エッジ画像抽出手段によって今回のフレームの映像信号から抽出されたエッジ画像データと少なくとも前回のフレームの映像信号から抽出されたエッジ画像データとの重複部分を静止エッジ画像データとして検出する静止エッジ検出手段と、前記静止エッジ画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したか否かを判定する継続状態判定手段と、前記継続状態検出手段によって前記静止エッジ画像データが前記所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたとき、その判定された静止エッジ画像データが示すエッジを含む囲み領域を設定し、前記領域に対する前記エッジの密集度に応じてテロップ領域を判定するテロップ判定手段と、を備え、前記エッジ画像抽出手段は、前記入力映像信号の1フレーム分の映像信号を抽出するフレーム抽出手段と、1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段と、前記フレーム抽出手段によって抽出された1フレーム分の前記有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データを前記エッジ画像データとして抽出する手段と、を有することを特徴としている。 According to a seventh aspect of the present invention, there is provided a recorder for recording an input video signal on a recording medium, and edge image data indicating an edge on luminance for each frame from the input video signal or the video signal recorded on the recording medium. An edge image extraction means for extracting the edge image data, and the edge image data extracted from the video signal of the current frame by the edge image extraction means and at least the edge image data extracted from the video signal of the previous frame A stationary edge detecting means for detecting as image data, a continuation state determining means for determining whether or not the stationary edge image data is continued with substantially the same content over a predetermined number of frames, and the continuation state detecting means. It is determined that the still edge image data continues with substantially the same content over the predetermined number of frames. When in, set the surrounding area including the edge indicated by the decision is still edge image data, and a determining telop determining means telop area in accordance with the density of the edge with respect to said region, said edge image extraction And means for extracting a video signal for one frame of the input video signal, dividing one frame into a plurality of areas, and setting only the area at the screen corner as an effective area, and setting the other areas as invalid areas. Image data indicating edge pixels whose luminance difference is greater than or equal to a predetermined value from the luminance of adjacent pixels from the video signal of the effective region for one frame extracted by the frame extracting unit and the frame extracting unit is the edge image. And means for extracting as data .
請求項9に係る発明のテロップ検出装置は、入力映像信号からフレーム毎に輝度上のエッジを示すエッジ画像データを抽出するエッジ画像抽出手段と、1フレームを所定の複数画素からなるブロック単位に分割し、前記エッジ画像データに応じてエッジの数を所定数以上含むブロックを表すエッジブロック画像データを作成するエッジブロック作成手段と、前記エッジブロック作成手段によって今回作成されたフレームのエッジブロック画像データと少なくとも前回作成されたフレームのエッジブロック画像データとの重複部分を前記静止ブロック画像データとして検出する静止ブロック検出手段と、前記静止ブロック画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したか否かを判定する継続状態判定手段と、前記継続状態検出手段によって前記静止ブロック画像データが前記所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたとき、その判定された静止ブロック画像データが示すブロックを含む囲み領域を設定し、前記領域に対する前記ブロックの密集度に応じてテロップ領域を判定するテロップ判定手段と、を備え、前記エッジ画像抽出手段は、前記入力映像信号の1フレーム分の映像信号を抽出するフレーム抽出手段と、1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段と、前記フレーム抽出手段によって抽出された1フレーム分の前記有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データを前記エッジ画像データとして抽出する手段と、を有することを特徴としている。 According to a ninth aspect of the present invention, there is provided a telop detection device according to the present invention, wherein edge image extraction means for extracting edge image data indicating an edge on luminance for each frame from an input video signal, and one frame divided into predetermined block units of a plurality of pixels Edge block creation means for creating edge block image data representing a block including a predetermined number of edges according to the edge image data, and edge block image data of the frame created this time by the edge block creation means; Still block detecting means for detecting at least a portion overlapping with edge block image data of a previously created frame as the still block image data, and the still block image data continuing with substantially the same content over a predetermined number of frames Continuation state determination means for determining whether or not When it is determined by the detection means that the still block image data has continued with substantially the same content over the predetermined number of frames, a surrounding area including a block indicated by the determined still block image data is set, A telop determination unit that determines a telop region according to the density of the block with respect to the region, and the edge image extraction unit includes a frame extraction unit that extracts a video signal for one frame of the input video signal; An area dividing unit that divides one frame into a plurality of areas and uses only the area at the corner of the screen as an effective area and the other area as an invalid area, and an image of the effective area for one frame extracted by the frame extracting means Image data indicating edge pixels whose luminance difference is greater than or equal to a predetermined value from the luminance of adjacent pixels from the signal is referred to as the edge image data. It is characterized by having a means for extracting Te.
請求項15に係る発明のレコーダは、入力映像信号を記録媒体に記録するレコーダであって、入力映像信号又は前記記録媒体に記録された映像信号からフレーム毎に輝度上のエッジを示すエッジ画像データを抽出するエッジ画像抽出手段と、1フレームを所定の複数画素からなるブロック単位に分割し、前記エッジ画像データに応じてエッジの数を所定数以上含むブロックを表すエッジブロック画像データを作成するエッジブロック作成手段と、前記エッジブロック作成手段によって今回作成されたフレームのエッジブロック画像データと少なくとも前回作成されたフレームのエッジブロック画像データとの重複部分を前記静止ブロック画像データとして検出する静止ブロック検出手段と、前記静止ブロック画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したか否かを判定する継続状態判定手段と、前記継続状態検出手段によって前記静止ブロック画像データが前記所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたとき、その判定された静止ブロック画像データが示すブロックを含む囲み領域を設定し、前記領域に対する前記ブロックの密集度に応じてテロップ領域を判定するテロップ判定手段と、を備え、前記エッジ画像抽出手段は、前記入力映像信号の1フレーム分の映像信号を抽出するフレーム抽出手段と、1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段と、前記フレーム抽出手段によって抽出された1フレーム分の前記有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データを前記エッジ画像データとして抽出する手段と、を有することを特徴としている。 The recorder of the invention according to claim 15 is a recorder for recording an input video signal on a recording medium, and edge image data indicating an edge on luminance for each frame from the input video signal or the video signal recorded on the recording medium. An edge image extracting means for extracting the edge, and an edge for dividing one frame into a block unit composed of a predetermined plurality of pixels, and generating edge block image data representing a block including a predetermined number of edges according to the edge image data A block creating unit and a still block detecting unit for detecting, as the still block image data, an overlapping portion between the edge block image data of the frame created this time by the edge block creating unit and the edge block image data of at least the previously created frame And the still block image data exceeds a predetermined number of frames. And the continuation state determination means for determining whether or not the continuation state detection means continues and the continuation state detection means continues the still block image data with substantially the same content over the predetermined number of frames. and when it is determined to set the surrounding area including the block indicated by the decision is still blocked image data, and a determining telop determining means telop area in accordance with the density of the block with respect to the region, the The edge image extraction means is a frame extraction means for extracting a video signal for one frame of the input video signal, and divides one frame into a plurality of areas so that only the area at the corner of the screen is an effective area and the other areas are invalid. The luminance of adjacent pixels from the image signal of the effective area for one frame extracted by the frame extracting means and the area dividing means for making the area bright The difference is characterized by having a means for extracting the image data as the edge image data representing an edge pixel having a luminance higher than a predetermined value.
請求項17に係る発明のテロップ検出方法は、入力映像信号からフレーム毎に輝度上のエッジを示すエッジ画像データを抽出するエッジ画像抽出ステップと、今回のフレームの映像信号から抽出されたエッジ画像データと少なくとも前回のフレームの映像信号から抽出されたエッジ画像データとの重複部分を前記静止エッジ画像データとして検出する静止エッジ検出ステップと、前記静止エッジ画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したか否かを判定する継続状態判定ステップと、前記静止エッジ画像データが前記所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたとき、その判定された静止エッジ画像データが示すエッジを含む囲み領域を設定し、前記囲み領域に対する前記エッジの密集度に応じて前記囲み領域がテロップ領域であるか否かを判定するテロップ判定ステップと、を備え、前記エッジ画像抽出ステップは、前記入力映像信号の1フレーム分の映像信号を抽出するフレーム抽出ステップと、1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割ステップと、前記フレーム抽出ステップにおいて抽出された1フレーム分の前記有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データを前記エッジ画像データとして抽出するステップと、を有することを特徴としている。 In the telop detection method according to the seventeenth aspect of the present invention, an edge image extraction step of extracting edge image data indicating an edge on luminance for each frame from an input video signal, and edge image data extracted from the video signal of the current frame And a stationary edge detection step for detecting, as the stationary edge image data, an overlapping portion between at least the edge image data extracted from the video signal of the previous frame, and the stationary edge image data is substantially the same over a predetermined number of frames. and continuing state determination step of determining whether to continue with the contents of the still the still edge image data when it is determined that continued at approximately the same content for over said number of predetermined frame, which is the determination A surrounding area including an edge indicated by edge image data is set, and the density of the edge with respect to the surrounding area Depending and a telop determining step in which the surrounding region determining whether a telop area, the edge image extraction step includes a frame extracting step of extracting a video signal for one frame of the input video signal, An area dividing step in which one frame is divided into a plurality of areas and only the area at the corner of the screen is set as an effective area, and the other area is set as an invalid area, and the image of the effective area for one frame extracted in the frame extracting step Extracting from the signal image data indicating edge pixels having a luminance difference equal to or greater than a predetermined value from the luminance of adjacent pixels, as the edge image data .
請求項18に係る発明のテロップ検出方法は、入力映像信号からフレーム毎に輝度上のエッジを示すエッジ画像データを抽出するエッジ画像抽出ステップと、1フレームを所定の複数画素からなるブロック単位に分割し、前記エッジ画像データに応じてエッジの数を所定数以上含むブロックを表すエッジブロック画像データを作成するエッジブロック作成ステップと、今回作成されたフレームのエッジブロック画像データと少なくとも前回作成されたフレームのエッジブロック画像データとの重複部分を前記静止ブロック画像データとして検出する静止エッジ検出ステップと、前記静止ブロック画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したか否かを判定する継続状態判定ステップと、前記静止ブロック画像データが前記所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたとき、その判定された静止ブロック画像データが示すブロックを含む囲み領域を設定し、前記囲み領域に対する前記ブロックの密集度に応じて前記囲み領域がテロップ領域であるか否かを判定するテロップ判定ステップと、を備え、前記エッジ画像抽出ステップは、前記入力映像信号の1フレーム分の映像信号を抽出するフレーム抽出ステップと、1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割ステップと、前記フレーム抽出ステップにおいて抽出された1フレーム分の前記有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データを前記エッジ画像データとして抽出するステップと、を有することを特徴としている。
An telop detection method according to an eighteenth aspect of the present invention is an edge image extraction step for extracting edge image data indicating an edge on luminance for each frame from an input video signal, and one frame is divided into blocks each composed of a predetermined plurality of pixels. An edge block creating step for creating edge block image data representing a block including a predetermined number of edges according to the edge image data, and an edge block image data of a frame created this time and at least a previously created frame A still edge detection step of detecting an overlapping portion with the edge block image data as the still block image data, and determining whether or not the still block image data continues with substantially the same content over a predetermined number of frames and continuing state determination step of, the still image data block is When it is determined that the same content has been continued for a predetermined number of frames or more, an enclosed area including a block indicated by the determined still block image data is set, and the block density with respect to the enclosed area is set. and a telop determining step in which the surrounding region determining whether a telop area in response to said edge image extraction step includes a frame extracting step of extracting a video signal for one frame of the
請求項1に係る発明のテロップ検出装置においては、入力映像信号の1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段が備えられ、1フレーム分の有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データがエッジ画像データとして抽出され、今回のフレームの映像信号から抽出されたエッジ画像データと少なくとも前回のフレームの映像信号から抽出されたエッジ画像データとの重複部分が静止エッジ画像データとして検出され、静止エッジ画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したならば、その静止エッジ画像データが示すエッジを含む囲み領域が設定され、その領域に対するエッジの密集度に応じてテロップ領域が判定される。 In the telop detection device according to the first aspect of the present invention, there is provided an area dividing means for dividing one frame of the input video signal into a plurality of areas, making only the area at the corner of the screen an effective area, and making the other area an invalid area. Image data indicating edge pixels whose luminance difference is greater than or equal to a predetermined value from the luminance signal of the adjacent pixel is extracted as edge image data from the video signal of the effective area for one frame, and extracted from the video signal of the current frame The overlapping portion of the edge image data and at least the edge image data extracted from the video signal of the previous frame is detected as still edge image data, and the still edge image data has almost the same content over a predetermined number of frames. If it continues, the enclosed area including the edge indicated by the still edge image data is set, and the density of the edge with respect to the area is set. Flip and ticker area is determined.
請求項7に係る発明のレコーダにおいては、入力映像信号又は前記記録媒体に記録された映像信号の1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段が備えられ、1フレーム分の有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データがエッジ画像データとして抽出され、今回のフレームの映像信号から抽出されたエッジ画像データと少なくとも前回のフレームの映像信号から抽出されたエッジ画像データとの重複部分が静止エッジ画像データとして検出され、静止エッジ画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したならば、その静止エッジ画像データが示すエッジを含む囲み領域が設定され、その領域に対するエッジの密集度に応じてテロップ領域が判定される。 In the recorder of the invention according to claim 7 , one frame of the input video signal or the video signal recorded on the recording medium is divided into a plurality of areas so that only the area at the corner of the screen is an effective area and the other areas are invalid. An area dividing means for making an area is provided, and image data indicating edge pixels having a luminance difference equal to or greater than a predetermined value from the luminance of adjacent pixels is extracted as edge image data from a video signal of an effective area for one frame, The overlapping part of the edge image data extracted from the video signal of the current frame and at least the edge image data extracted from the video signal of the previous frame is detected as still edge image data, and the still edge image data is a predetermined number of frames. If it continues with almost the same contents over the above, the enclosed area including the edge indicated by the still edge image data is set, Ticker area is determined in accordance with the density of the edge with respect to frequency.
また、請求項17に係る発明のテロップ検出方法においては、入力映像信号の1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割ステップが備えられ、1フレーム分の有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データがエッジ画像データとして抽出され、今回のフレームの映像信号から抽出されたエッジ画像データと少なくとも前回のフレームの映像信号から抽出されたエッジ画像データとの重複部分を静止エッジ画像データとして検出し、静止エッジ画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定したとき、その静止エッジ画像データが示すエッジを含む囲み領域が設定され、その領域に対するエッジの密集度に応じてテロップ領域を判定することが行われる。 In the telop detection method according to the seventeenth aspect of the present invention, an area dividing step of dividing one frame of an input video signal into a plurality of areas, setting only the area at the screen corner as an effective area, and setting the other areas as invalid areas. Image data indicating edge pixels having a luminance difference equal to or greater than a predetermined value from the luminance of adjacent pixels is extracted as edge image data from the video signal of the effective area for one frame, and the video signal of the current frame The overlapping portion between the edge image data extracted from the image data and at least the edge image data extracted from the video signal of the previous frame is detected as still edge image data, and the still edge image data is substantially the same over a predetermined number of frames. When it is determined that the image has been continued with the contents of, the enclosed area including the edge indicated by the still edge image data is set, and the area It is carried out to determine the telop area in accordance with the density of the edge.
よって、請求項1、請求項9及び請求項19に係る発明においては、テロップを構成する画素と背景との輝度差も比較的小さく、エッジの輝度強度が弱いテロップを高精度で検出することができる。
Therefore, in the inventions according to
請求項9に係る発明のテロップ検出装置においては、入力映像信号の1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段が備えられ、1フレーム分の有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データがエッジ画像データとして抽出され、1フレームが所定の複数画素からなるブロック単位に分割され、エッジ画像データに応じてエッジの数を所定数以上含むブロックを表すエッジブロック画像データが入力映像信号のフレーム毎に作成され、今回作成されたフレームのエッジブロック画像データと少なくとも前回作成されたフレームのエッジブロック画像データとの重複部分が静止ブロック画像データとして検出され、静止ブロック画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したならば、その静止ブロック画像データが示すブロックを含む囲み領域が設定され、その領域に対するブロックの密集度に応じてテロップ領域が判定される。 In the telop detection device according to the ninth aspect of the present invention, there is provided an area dividing means for dividing one frame of the input video signal into a plurality of areas so that only the area of the screen corner is an effective area and the other area is an invalid area. Image data indicating edge pixels having a luminance difference that is greater than or equal to a predetermined value from the luminance of adjacent pixels is extracted as edge image data from a video signal of an effective area for one frame , and one frame is extracted from a predetermined plurality of pixels. Edge block image data representing a block including a predetermined number or more of edges according to the edge image data is created for each frame of the input video signal, and the edge block image data of the frame created this time At least the overlapping part with the edge block image data of the previously created frame is detected as still block image data, If stop block image data continues with almost the same content for a predetermined number of frames or more, an enclosed area including a block indicated by the still block image data is set, and a telop is set according to the block density with respect to the area. A region is determined.
請求項15に係る発明のレコーダにおいては、入力映像信号又は前記記録媒体に記録された映像信号の1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段が備えられ、1フレーム分の有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データがエッジ画像データとして抽出され、1フレームが所定の複数画素からなるブロック単位に分割され、エッジ画像データに応じてエッジの数を所定数以上含むブロックを表すエッジブロック画像データが入力映像信号のフレーム毎に作成され、今回作成されたフレームのエッジブロック画像データと少なくとも前回作成されたフレームのエッジブロック画像データとの重複部分が静止ブロック画像データとして検出され、静止ブロック画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したならば、その静止ブロック画像データが示すブロックを含む囲み領域が設定され、その領域に対するブロックの密集度に応じてテロップ領域が判定される。 In the recorder according to the fifteenth aspect of the present invention, one frame of the input video signal or the video signal recorded on the recording medium is divided into a plurality of areas so that only the area at the corner of the screen is an effective area and the other areas are disabled. An area dividing means for making an area is provided, and image data indicating edge pixels having a luminance difference equal to or greater than a predetermined value from the luminance of adjacent pixels is extracted as edge image data from a video signal of an effective area for one frame, One frame is divided into blocks each composed of a predetermined plurality of pixels, and edge block image data representing a block including a predetermined number of edges or more according to the edge image data is generated for each frame of the input video signal. If the edge block image data of the previous frame and at least the edge block image data of the previously created frame overlap, If the still block image data continues to be detected with the same content for a predetermined number of frames or more, an enclosed area including the block indicated by the still block image data is set, and a block corresponding to that area is set. The telop area is determined according to the degree of congestion.
請求項18に係る発明のテロップ検出方法においては、入力映像信号の1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段が備えられ、1フレーム分の有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データがエッジ画像データとして抽出され、1フレームを所定の複数画素からなるブロック単位に分割し、エッジ画像データに応じてエッジの数を所定数以上含むブロックを表すエッジブロック画像データを作成し、今回作成されたフレームのエッジブロック画像データと少なくとも前回作成されたフレームのエッジブロック画像データとの重複部分を静止ブロック画像データとして検出し、静止ブロック画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定したとき、その静止ブロック画像データが示すブロックを含む囲み領域が設定され、その領域に対するブロックの密集度に応じてテロップ領域を判定することが行われる。 In the telop detection method according to the eighteenth aspect of the present invention, there is provided an area dividing means for dividing one frame of the input video signal into a plurality of areas, setting only the area at the corner of the screen as an effective area, and setting the other areas as invalid areas. Image data indicating edge pixels having a luminance difference that is greater than or equal to a predetermined value from the luminance of adjacent pixels is extracted as edge image data from a video signal of an effective area for one frame , and one frame is extracted from a plurality of predetermined pixels. The block is divided into block units, and edge block image data representing a block including a predetermined number or more of edges is generated according to the edge image data, and the edge block image data of the currently created frame and at least the previously created frame The overlapping portion with the edge block image data is detected as still block image data, and the still block image data is When it is determined that the same content is continued for more than the number of frames, an enclosed area including a block indicated by the still block image data is set, and a telop area is determined according to the density of blocks with respect to the area. Is done.
よって、請求項11、請求項17及び請求項20に係る発明においては、テロップを構成する画素と背景との輝度差も比較的小さく、エッジの輝度強度が弱いテロップを高精度で検出することができる。また、ブロック単位で検出処理することにより、少ないデータ量でテロップを検出することができるので、処理負荷を軽減させることができる。 Therefore, in the inventions according to claims 11, 17, and 20, it is possible to detect a telop having a relatively small luminance difference between the pixels constituting the telop and the background and having a weak edge luminance intensity with high accuracy. it can. In addition, by performing detection processing in units of blocks, telops can be detected with a small amount of data, so that the processing load can be reduced.
以下、本発明の実施例を図面を参照しつつ詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図3は本発明のテロップ検出装置が適用されたディスクレコーダを示している。このディスクレコーダは、TVチューナ101、A/D変換器102、MPEGエンコーダ103、制御部104、表示部105、操作部106、HDD(ハードディスクドライブ)装置107、光ディスクドライブ装置108、ROM109、RAM110、MPEGデコーダ111、D/A変換器112及びコーナーテロップ検出装置113からなる。
FIG. 3 shows a disk recorder to which the telop detection device of the present invention is applied. This disk recorder includes a
TVチューナ101はアンテナ入力端子121に接続され、そこに接続されるアンテナ(図示せず)を介してテレビ放送波を制御部104による制御によって選択的に受信しその受信信号を復調してアナログの映像信号及び音声信号を出力する。TVチューナ101の出力はA/D変換器102に接続されている。A/D変換器102はTVチューナ101から出力されるアナログの映像信号及び音声信号をディジタル化する。また、A/D変換器102は外部映像及び音声入力端子122及び123に接続され、そこに供給されるアナログの映像信号及び音声信号をディジタル化する。A/D変換器102の出力はエンコーダ103に接続されている。エンコーダ103はディジタル化された映像信号及び音声信号を例えば、MPEG形式の圧縮データに変換する。
The
エンコーダ103、制御部104、HDD装置107、光ディスクドライブ装置108、ROM109、RAM110、デコーダ111及びコーナーテロップ検出装置113は共通のバス116に接続されている。
The
制御部104は例えば、マイクロコンピュータからなり、予め定められた制御用プログラムに従って本ディスクレコーダ全体を制御する。制御部104とTVチューナ101との間は図示しない制御ラインによって接続され、TVチューナ101の受信チャンネルが制御部104によって制御されるようになっている。
The
表示部105及び操作部106は制御部104に接続されている。表示部105は制御部104から表示指令に応じてTVチューナ101の受信チャンネルやHDD装置107及び光ディスクドライブ装置108の記録/再生状態を表示する。操作部106はユーザの入力操作を受け入れてその入力操作に応じた指令を制御部104に供給する。
The
HDD装置107は書き換え可能な固定ディスク(図示せず)による記憶装置であり、制御部104の書込指示に応じてエンコーダ103から供給される圧縮データを内部の固定ディスクのその書込指示が示すアドレス位置に書き込む。また、制御部104の読出指示に応じて固定ディスクからその読出指示によってアドレス指定された記憶位置の圧縮データを読み出してバス116に出力する。
The
光ディスクドライブ装置108は、リムーバブル型の記憶装置であり、制御部104の書込指示に応じてエンコーダ103又はHDD装置107からの圧縮データを光ディスク115に書き込み可能な装置である。光ディスク115としては例えば、DVD−RやDVD−RWが用いられる。光ディスクドライブ装置108は制御部104の読出指示に応じて光ディスク115に書き込まれている圧縮データを読み出すこともできる。
The optical
ROM109には上記の制御用プログラムが予め書き込まれている。RAM110には制御部104の制御動作において必要なデータが書き込まれ又はそこからデータが読み出される。
The control program is written in the
デコーダ111はバス116を介してエンコーダ103、制御部104、HDD装置107又は光ディスクドライブ装置108から供給される圧縮データを伸張してディジタルの映像信号及び音声信号を復元する。復元されたディジタルの映像信号及び音声信号はD/A変換器112に供給される。D/A変換器112はディジタルの映像信号及び音声信号をアナログの映像信号及び音声信号に変換して映像及び音声出力端子124及び125に供給する。映像及び音声出力端子124及び125には図示しないテレビモニタが接続される。
The
コーナーテロップ検出装置113は上記したようにバス116に接続され、MPEG形式の圧縮データに応じてコーナーテロップを検出する。コーナーテロップ検出装置113には、エンコーダ3から出力されている圧縮データ、HDD装置107から読み出された圧縮データ、或いは光ディスク115から光ディスクドライブ装置108によって読み出された圧縮データのいずれかが制御部104の制御によって供給される。コーナーテロップ検出装置113によるコーナーテロップ検出出力は制御部104に供給される。
The corner
図4は、コーナーテロップ検出装置113の概略構成を示している。コーナーテロップ検出装置113は、エッジ抽出部1と、コーナーテロップ候補検出部2と、コーナーテロップ判定部3とを備えている。
FIG. 4 shows a schematic configuration of the corner
エッジ抽出部1は、フレーム抽出部11、フレーム内エッジ抽出部12、静止エッジ検出部13及び静止エッジバッファ14からなり、入力映像信号から1フレーム毎に静止エッジを検出してそれを保存する。フレーム抽出部11は入力映像信号から1フレーム分の映像信号を抽出する。フレーム内エッジ抽出部12は1フレーム分の映像信号から輝度上のエッジを形成した画素からなるエッジ画像データを抽出する。エッジ画像データはテロップ文字の縁などの、隣接画素との輝度差が所定値以上の急峻である部分、すなわちエッジを示す。静止エッジ検出部13は抽出されたエッジ画像データと、既に検出された静止エッジ画像データとを比較して、位置の変化しない部分のエッジ画素を静止エッジ画像データとして検出する。静止エッジバッファ14は静止エッジ検出部13で検出された静止エッジ画像データを保存する。
The
コーナーテロップ候補検出部2は、エッジ数測定部21及び継続時間測定部22からなり、静止エッジ検出部13によって検出された静止エッジ画像データが何フレームに亘って継続したかを検出する。エッジ数測定部21は、静止エッジ検出部13によって検出された静止エッジ画像データが示すエッジの数を測定する。継続時間測定部22は、エッジ数測定部21によって測定されたエッジ数が閾値Tn以上である状態が継続したフレーム数を測定する。
The corner telop
コーナーテロップ判定部3は、エッジブロック作成部31、ブロック密集度算出部32及びエッジブロックバッファ33からなり、静止エッジ画像データに基づいてコーナーブロック領域を判定する。エッジブロック作成部31は、静止エッジ画像データに応じて静止エッジブロック画像データを作成する。ブロック密集度算出部32は、画像内のブロック密集度を算出してその密集度に応じてコーナーブロック領域を判定する。エッジブロックバッファ33は、エッジブロック画像データを保持する。
The corner
なお、本実施例では特に断り書きが無い場合、各フレームの画素を構成する要素は輝度信号とする。 In this embodiment, unless otherwise specified, the elements constituting the pixels of each frame are luminance signals.
かかる構成のコーナーテロップ検出装置113の動作について以下にフローチャートを用いて説明する。
The operation of the corner
図5に示すように、エッジ検出部1においては、入力映像信号を受け入れる前に、初期化処理として、コーナーテロップ候補の継続フレーム数を示すフレーム計数値countが初期値0にリセットされる(ステップS1)。実際のコーナーテロップ検出処理が開始されると、先ず、フレーム抽出部11が入力映像信号から1フレーム分の映像信号(画素データ)を抽出する(ステップS2)。入力映像信号はMPEG等の圧縮形式のディジタル圧縮信号であるが、これ以外のアナログ信号、デジタル信号、他の圧縮形式のディジタル圧縮信号であっても良い。画像サイズなどは問わないが、アナログ映像信号の場合はA/D(アナログ/デジタル)変換器を介してフレーム抽出部11には供給される。
As shown in FIG. 5, in the
フレーム抽出部11は1フレームを複数の領域に分割し、有効部分と無効部分とに分ける(ステップS3)。例えば、図6に示すように、抽出した1フレームを縦方向4つ、横方向2つの計8領域に分割し、画面隅に相当する4つの領域を有効領域とし、残りを無効領域とする。コーナーテロップは画面隅に表示される傾向が高いため、このように有効領域を限定することで、処理の効率化及び検出精度向上が期待できる。図6の場合には以降のエッジ処理なども4つの有効領域に対して個々に行われる。また、領域分割の方法はこれ以外でも良く、また領域分割自体を行わなくても良い。 The frame extraction unit 11 divides one frame into a plurality of areas and divides the frame into an effective part and an invalid part (step S3). For example, as shown in FIG. 6, one extracted frame is divided into a total of 8 areas of 4 in the vertical direction and 2 in the horizontal direction, and 4 areas corresponding to the corners of the screen are set as effective areas, and the rest are set as invalid areas. Since the corner telop has a high tendency to be displayed at the corner of the screen, it is expected that the processing efficiency and detection accuracy can be improved by limiting the effective area in this way. In the case of FIG. 6, the subsequent edge processing and the like are performed individually for the four effective areas. Also, the region dividing method may be other than this, and the region dividing itself may not be performed.
フレーム内エッジ抽出部12は、フレーム内の有効領域の画素データからエッジを抽出し、エッジ画像データを作成する(ステップS4)。エッジ抽出に用いるフィルタとしては例えば、ラプラシアンフィルタを用いることができるが、これに特に限定されない。なお、コーナーテロップはエッジが弱いという性質があるため、好ましくはエッジ判定を緩めにしても良い。
The in-frame
静止エッジ検出部13は、現フレームが入力映像信号の先頭フレームか、若しくはコーナーテロップ候補が検出された直後のフレームか否かを判定する(ステップS5)。すなわち、フレーム計数値countが0であるか否かが判別される。ステップS4にてエッジ検出が行われたフレームが先頭フレーム又はコーナーテロップ候補検出直後のフレームであれば、count=0であり、検出されたエッジ画像データを静止エッジ画像データとし、静止エッジバッファ14に格納する(ステップS6)。一方、ステップS4にてエッジ検出が行われたフレームが先頭フレーム又はコーナーテロップ候補検出直後のフレームではないならば、今回作成したエッジ画像データと既に検出された静止エッジ画像データ(例えば、前回検出された静止画エッジ画像データ)とのAND(論理積)をとり、それを新たな静止エッジ画像データとし、静止エッジバッファ14に格納する(ステップS7)。なお、ステップS7では、今回作成したエッジ画像データと既に検出された静止エッジ画像データとのAND処理に限らず、今回作成したエッジ画像データと既に検出された静止エッジ画像データとのOR(論理和)をとり、それを静止エッジ画像データとしても良く、これ以外の重ね合わせ手法を用いても良い。
The still
例えば、図7(a)に示すようなコーナーテロップの画像が有効領域にある場合には、その静止エッジ画像データは図7(b)に示すようになる。 For example, when a corner telop image as shown in FIG. 7A is in the effective area, the still edge image data is as shown in FIG. 7B.
エッジ数測定部21は、静止エッジバッファ14から静止エッジ画像データを取得し、静止エッジ画像データが示すエッジの数を測定し、そのエッジ数が閾値Tn(第1閾値)以上になったか否かを判別する(ステップS8)。エッジ数が閾値Tn以上になった場合には、フレーム計数値countが1だけ増加され(ステップS9)、入力映像信号の全フレームの処理が終了したか否かが判別される(ステップS10)。全フレームの処理が終了していない場合には、入力映像信号の処理が次のフレームに進められ(ステップS11)、そして、ステップS2に戻って次のフレームについてのコーナーテロップ検出処理が実行される。
The edge number measuring unit 21 acquires still edge image data from the still edge
エッジ数が閾値Tn以上になった場合には、継続時間測定部22においてフレーム計数値countが閾値Tc(第2閾値)より大であるか否かが判別される(ステップS12)。閾値Tcはコーナーテロップ表示時間の下限に対応する。コーナーテロップには表示時間が長いという性質があるため、閾値Tcは好ましくは長めに設定しても良い。閾値Tcの具体的な設定方法としては、番組の全体的な長さに基づいて番組中の各話題の時間を類推して設定することが考えられる。例えば、番組長が1時間の場合、話題数を10個程度と想定すると、各話題の平均時間は約6分程度である。ただし、番組中には現実的には話題以外にコマーシャルなども含まれるので、それらを加味した上で、例えば、Tcを2,3分程度に設定しても良い。また各番組の性質を元にして、話題数が少なければTcを更に長めに設定し、逆に話題数が多ければTcを短めに設定しても良い。全ての番組で閾値Tcを例えば、1分のように固定長に設定しても良い。 When the number of edges becomes equal to or greater than the threshold value Tn, the duration measurement unit 22 determines whether or not the frame count value count is greater than the threshold value Tc (second threshold value) (step S12). The threshold value Tc corresponds to the lower limit of the corner telop display time. Since the corner telop has the property that the display time is long, the threshold value Tc may be preferably set longer. As a specific method for setting the threshold value Tc, it is conceivable to set the time of each topic in the program by analogy based on the overall length of the program. For example, when the program length is 1 hour, assuming that the number of topics is about 10, the average time of each topic is about 6 minutes. However, since the program actually includes commercials in addition to the topic, Tc may be set to about a few minutes, for example. Further, based on the nature of each program, Tc may be set longer if the number of topics is small, and conversely, Tc may be set shorter if the number of topics is large. For all programs, the threshold Tc may be set to a fixed length such as 1 minute.
count≦Tcならば、保存された静止エッジ画像データはコーナーテロップの画像ではない可能性が高いので、静止エッジバッファ14に保存された静止エッジ画像データが消去され、またフレーム計数値countは初期値0にリセットされる(ステップS13)。その後、ステップS10が実行される。
If count ≦ Tc, there is a high possibility that the stored still edge image data is not a corner telop image. Therefore, the still edge image data stored in the still edge
count>Tcならば、コーナーテロップ判定部3によるコーナーテロップ判定サブルーチンが実行され(ステップS14)、その後、ステップS13が実行される。
If count> Tc, the corner telop determination subroutine by the corner
コーナーテロップ判定サブルーチンにおいて、図8に示すように、先ず、エッジブロック作成部31は、コーナーテロップ候補検出部2において検出された静止エッジ画像データからエッジブロック画像データを作成し、そのエッジブロック画像データをエッジブロックバッファ33に格納する(ステップS21)。エッジブロック画像データは、静止エッジ画像を8×8画素からなるブロック単位に分割し、各ブロック内のエッジ数が所定数以上である多エッジ数のブロックをエッジブロックとした画像を示す。例えば、図7(b)に示した静止エッジ画像データの画像に対して、ブロック単位は図7(c)に示すように破線で示され、エッジブロックは図7(d)に示すように黒のブロックである。なお、ブロックは8×8画素に限らず、縦横を他の画素数で構成しても良い。
In the corner telop determination subroutine, as shown in FIG. 8, first, the edge block creation unit 31 creates edge block image data from the still edge image data detected by the corner telop
エッジブロック作成部31は、エッジブロック画像から空間的に孤立したブロックを除去する(ステップS22)。図9(a)に示すように静止エッジ画像にコーナーテロップ以外のごみ等のエッジが含まれている場合には、それに基づいたエッジブロック画像には図9(b)に示すようにコーナーテロップ部分以外にもブロックが現れる。よって、ステップS22では図9(c)に示すように、このような孤立ブロックを除去したエッジブロック画像が作成される。 The edge block creation unit 31 removes spatially isolated blocks from the edge block image (step S22). As shown in FIG. 9 (a), when a still edge image includes an edge such as dust other than the corner telop, the edge block image based on the edge includes a corner telop portion as shown in FIG. 9 (b). Other blocks will appear. Therefore, in step S22, as shown in FIG. 9C, an edge block image from which such an isolated block is removed is created.
ブロック密集度算出部32は、エッジブロック作成部31によって作成されたエッジブロック画像のブロック数が閾値Tb(第3閾値)より大であるか否かを判別する(ステップS23)。ブロック数が閾値Tb以下ならば、コーナーテロップ判定サブルーチンを直ちに終了する。
The block
ブロック密集度算出部32は、ブロック数が閾値Tbより大であるならば、そのエッジブロックを囲む最小の矩形領域をブロック囲み領域として設定する(ステップS24)。エッジブロック作成部31によって作成されたエッジブロック画像において例えば、図10(a)に示すように、エッジブロックが存在するならば、図10(b)に太線で示すように矩形のブロック囲み領域は設定される。ブロック密集度算出部32は、設定したブロック囲み領域に対するエッジブロックの面積比を算出し、その面積比が閾値Ta(第4閾値)以上であるか否かを判別する(ステップS25)。面積比が閾値Taより小であるならば、コーナーテロップ判定サブルーチンを直ちに終了する。
If the number of blocks is larger than the threshold value Tb, the block
一方、面積比が閾値Ta以上ならば、ブロック密集度算出部32は、設定したブロック囲み領域にコーナーテロップを含むと判定してコーナーテロップ情報を出力する(ステップS26)。コーナーテロップ情報は、コーナーテロップの開始時刻及び終了時刻、静止エッジ画像、エッジブロック画像、及びブロック囲み領域の座標の少なくとも1である。OCR(光学式文字読取装置)処理により静止エッジ画像の文字認識を行って、その結果を文字コードとして出力しても良い。
On the other hand, if the area ratio is equal to or greater than the threshold value Ta, the block
図11は、本発明の実施例を示している。図11に示したコーナーテロップ検出装置は、図4の装置と同様に、エッジ抽出部1と、コーナーテロップ候補検出部2と、コーナーテロップ判定部3とを備えている。エッジ抽出部1と、コーナーテロップ候補検出部2とは、図4の装置のものと同一である。コーナーテロップ判定部3は、孤立エッジ除去部35と、エッジ密集度算出部36とから構成される。孤立エッジ除去部35は静止エッジ画像から孤立エッジを除去する。エッジ密集度算出部36は、孤立エッジが除去された静止エッジ画像内のエッジ密集度を算出する。
FIG. 11 shows an embodiment of the present invention. The corner telop detection device shown in FIG. 11 includes an
図11のコーナーテロップ判定部3によるコーナーテロップ判定サブルーチンにおいて、図12に示すように、孤立エッジ除去部35はコーナーテロップ候補検出部2において検出された静止エッジ画像から空間的に孤立した孤立エッジを除去する(ステップS31)。例えば、図13(a)に示した孤立エッジを含む静止エッジ画像に対して、孤立エッジ除去部35によって、図13(b)に示すように、孤立エッジを除去した静止エッジ画像が作成される。
In the corner telop determination subroutine by the corner
エッジ密集度算出部36は、孤立エッジ除去後の静止エッジ画像のエッジ数が閾値Te(第5閾値)より大であるか否かを判別する(ステップS32)。エッジ数が閾値Te以下ならば、コーナーテロップ判定サブルーチンを直ちに終了する。
The edge
エッジ数が閾値Teより大であるならば、その静止エッジ画像のエッジを全て囲む最小の矩形領域をエッジ囲み領域として設定する(ステップS33)。上記の図13(b)の孤立エッジ除去後の静止エッジ画像においては、例えば、図13(c)に太線で示すように矩形のエッジ囲み領域は設定される。 If the number of edges is larger than the threshold value Te, the smallest rectangular area that surrounds all the edges of the still edge image is set as the edge surrounding area (step S33). In the still edge image after the isolated edge removal in FIG. 13B described above, for example, a rectangular edge surrounding area is set as indicated by a thick line in FIG. 13C.
エッジ密集度算出部36は、設定したエッジ囲み領域に対するエッジ部分の面積比を算出し、その面積比が閾値Ta(第6閾値)以上であるか否かを判別する(ステップS34)。面積比が閾値Taより小であるならば、コーナーテロップ判定サブルーチンを直ちに終了する。
The edge
一方、面積比が閾値Ta以上ならば、エッジ密集度算出部36は、設定したエッジ囲み領域にコーナーテロップを含むと判定してコーナーテロップ情報を出力する(ステップS35)。
On the other hand, if the area ratio is equal to or greater than the threshold value Ta, the edge
かかる図11及び図12に示した実施例においては、画素単位でコーナーテロップ領域を決定することができるので、コーナーテロップ領域をより限定的に判定することができる。 In the embodiment shown in FIGS. 11 and 12, since the corner telop area can be determined on a pixel basis, the corner telop area can be determined more limitedly.
図14は、更に本発明の他の実施例を示している。図14に示したコーナーテロップ検出装置は、静止ブロック検出部5、コーナーテロップ候補検出部6と、コーナーテロップ判定部7とを備えている。静止ブロック検出部5は、フレーム抽出部51、フレーム内エッジ抽出部52、エッジブロック作成部53、静止ブロック検出部54及び静止ブロックバッファ55を備え、入力映像信号から1フレーム毎に静止ブロック画像を検出してそれを保存する。
FIG. 14 shows still another embodiment of the present invention. The corner telop detection device shown in FIG. 14 includes a stationary
フレーム抽出部51は入力映像信号から1フレーム分の映像信号を抽出する。フレーム内エッジ抽出部52は1フレーム分の映像信号からエッジを形成した画素からなるエッジ画像を抽出する。エッジブロック作成部53は抽出されたエッジ画像からエッジブロック画像を作成する。静止ブロック検出部54はエッジブロック画像から静止ブロック画像を検出してそれを静止ブロックバッファ55に保存させる。
The
コーナーテロップ候補検出部6は、ブロック数測定部61及び継続時間測定部62を備え、静止ブロック検出部13によって検出された静止ブロック画像の状態が何フレームに亘って継続したことを検出する。ブロック数測定部61は、静止ブロック検出部13によって検出された静止ブロック画像のブロック数を測定する。継続時間測定部62は、ブロック数測定部61によって測定されたブロック数が閾値以上である状態が継続したフレーム数を測定する。
The corner telop candidate detection unit 6 includes a block number measurement unit 61 and a
コーナーテロップ判定部7は、孤立ブロック除去部71及びブロック密集度算出部72からなり、静止ブロック画像のコーナーテロップを含むブロックを判定する。孤立ブロック除去部71は静止ブロック画像から孤立ブロック除去する。ブロック密集度算出部72は、孤立ブロックが除去された静止ブロック画像内のブロック密集度を算出してブロック密集度に基づいてコーナーテロップを含むブロックを判定する。
The corner telop determination unit 7 includes an isolated
図14のコーナーテロップ検出装置の動作について以下にフローチャートを用いて説明する。 The operation of the corner telop detection device of FIG. 14 will be described below using a flowchart.
図15に示すように、静止ブロック検出部5においては、入力映像信号を受け入れる前に、初期化処理として、コーナーテロップ候補の継続フレーム数を示すフレーム計数値countが初期値0にリセットされる(ステップS51)。実際のコーナーテロップ検出処理が開始されると、先ず、フレーム抽出部51が入力映像信号から1フレーム分の映像信号(画素データ)を抽出する(ステップS52)。
As shown in FIG. 15, in the still block
フレーム抽出部51は1フレームを複数の領域に分割し、有効部分と無効部分とに分ける(ステップS53)。ステップS53の実行後、フレーム内エッジ抽出部52は、有効領域の画素データからエッジを抽出し、エッジ画像を作成する(ステップS54)。ステップS51〜S54は上記したステップS1〜S4と同一である。
The
エッジブロック作成部53は、エッジ画像からエッジブロック画像を作成する(ステップS55)。エッジブロック画像の作成方法としてはエッジブロック作成部31において示した方法が用いられる。すなわち、エッジ画像を8×8画素からなるブロック単位に分割し、各ブロック内のエッジ数が所定数以上である多エッジ数のブロックをエッジブロックとした画像が作成される。ここで入力映像信号がMPEG等の圧縮映像信号の場合には、そのDCT係数に基づいて、高周波ブロック(エッジの多いブロック)を検出することができる。このようなブロックをエッジブロックとして用いても良い。また、圧縮映像信号の場合には、入力圧縮映像信号のフルデコード処理、及びステップS54のエッジ画像の作成が不要となるので、処理負荷の軽減につながる。
The edge
静止ブロック検出部54は、エッジブロック作成部53によってエッジブロック画像が作成された現フレームが入力映像信号の先頭フレームか、若しくはコーナーテロップ候補が検出された直後のフレームか否かを判定する(ステップS56)。現フレームが先頭フレーム又はコーナーテロップ候補検出直後のフレームであれば、作成されたエッジブロック画像を静止ブロック画像とし、静止ブロックバッファ55に格納する(ステップS57)。一方、現フレームが先頭フレーム又はコーナーテロップ候補検出直後のフレームではないならば、今回作成したエッジブロック画像と既に検出された静止ブロック画像(例えば、前回検出された静止ブロック画像)とのAND(論理積)をとり、それを静止ブロック画像とし、静止ブロックバッファ55に格納する(ステップS58)。なお、ステップS58では、今回作成したエッジブロック画像と既に検出された静止ブロック画像とのOR(論理和)をとり、それを静止ブロック画像としても良く、これ以外の重ね合わせ手法を用いても良い。
The still block
ブロック数測定部61は、静止ブロックバッファ55から静止ブロック画像を読み出して取得し、静止ブロック画像中のブロック数を測定し、そのブロック数が閾値Tn(第1閾値)以上になったか否かを判別する(ステップS59)。ブロック数が閾値Tn以上になった場合には、フレーム計数値countが1だけ増加され(ステップS60)、入力映像信号の全フレームの処理が終了したか否かが判別される(ステップS61)。全フレームの処理が終了していない場合には、入力映像信号の処理が次のフレームに進められ(ステップS62)、そして、ステップS52に戻って次のフレームについてのコーナーテロップ検出処理が実行される。
The block number measuring unit 61 reads out and acquires a still block image from the still block
ブロック数が閾値Tn以上になった場合には、継続時間測定部62においてフレーム計数値countが閾値Tc(第2閾値)より大であるか否かが判別される(ステップS63)。count≦Tcならば、静止ブロックバッファ55に現在保存された静止ブロック画像データはコーナーテロップの画像データではない可能性が高いので、静止ブロックバッファ55に保存された静止ブロック画像データが消去され、またフレーム計数値countは初期値0にリセットされる(ステップS64)。その後、ステップS61が実行される。
When the number of blocks is equal to or greater than the threshold value Tn, the
count>Tcならば、コーナーテロップ判定部3によるコーナーテロップ判定サブルーチンが実行され(ステップS65)、その後、ステップS64が実行される。
If count> Tc, the corner telop determination subroutine by the corner
ステップS65のコーナーテロップ判定サブルーチンにおいて、図16に示すように、先ず、孤立ブロック除去部71は、静止ブロック画像から空間的に孤立したブロックを除去する(ステップS71)。ステップS71では孤立ブロックを除去した静止ブロック画像が作成される。
In the corner telop determination subroutine of step S65, as shown in FIG. 16, first, the isolated
ブロック密集度算出部72は、孤立ブロック除去部71による孤立ブロック除去後の静止ブロック画像のブロック数が閾値Tb(第3閾値)より大であるか否かを判別する(ステップS72)。ブロック数が閾値Tb以下ならば、コーナーテロップ判定サブルーチンを直ちに終了する。
The block
ブロック密集度算出部72は、ブロック数が閾値Tbより大であるならば、その静止ブロック画像のブロックを囲む最小の矩形領域をブロック囲み領域として設定する(ステップS73)。ブロック密集度算出部72は、設定したブロック囲み領域に対する静止ブロックの面積比を算出し、その面積比が閾値Ta(第4閾値)以上であるか否かを判別する(ステップS74)。面積比が閾値Taより小であるならば、コーナーテロップ判定サブルーチンを直ちに終了する。
If the block density is greater than the threshold value Tb, the block
一方、面積比が閾値Ta以上ならば、ブロック密集度算出部72は、設定したブロック囲み領域にコーナーテロップを含むと判定してコーナーテロップ情報を出力する(ステップS75)。
On the other hand, if the area ratio is equal to or greater than the threshold value Ta, the block
かかる図14〜図16に示した実施例でにおいては、画素単位の静止エッジ画像データに代えてブロック単位の静止ブロック画像データが検出され、静止ブロック画像データに応じてコーナーテロップ候補検出及びコーナーテロップ判定が行われる。よって、図2における静止エッジバッファ14の記憶容量に比べて静止ブロックバッファ55の記憶容量は少なくて済むので、内蔵メモリ等のリソースの少ない機器でも容易に実装することができる。また、入力映像信号としてMPEG等の圧縮符号化信号を用いる場合には、そのDCT係数に基づいてエッジブロック(高周波ブロック)が検出できるので、図14におけるフレーム内エッジ抽出部52及びエッジブロック作成部53が不要となり、処理負荷を低減させることができる。
In the embodiment shown in FIGS. 14 to 16, still block image data in units of blocks is detected instead of still edge image data in units of pixels, and corner telop candidate detection and corner telops are detected according to the still block image data. A determination is made. Therefore, since the storage capacity of the
上記した各実施例においては、主に情報番組で表示されるコーナーテロップを検出する場合であるが、野球やサッカー等のスポーツ番組におけるスコア表示検出へ応用することも可能である。スポーツ番組のスコア表示も、画面隅に表示され、プレイ中表示されるという、コーナーテロップと類似した性質を持っているため、基本的には図2と同様のブロック構成で検出できる。ただしスポーツの種類に応じて以下のような工夫を行っても良い。代表的なスポーツ番組の例として、野球とサッカーを挙げる。野球のスコア表示には得点の他、ストライク/ボール/アウトカウント等の多くの情報が表示され、エッジ強度も強い。また1回の表示時間も比較的短い(数秒程度)。一方、サッカーの場合はエッジ強度が弱く、表示時間は比較的長い傾向にある。スポーツによりスコアの表示時間が異なる理由は、各々のプレイ単位(プレイの区切り間の時間長)が異なるためであり、野球は基本的にピッチャーによる投球1回が1プレイ単位であることに対し、サッカーはキックオフ(またはプレイ再開)からファウルやゴールのためにプレイが中断するまでの間が1プレイ単位である。そのため、入力映像が野球映像の場合、図2におけるフレーム内エッジ抽出部12でのエッジ判定閾値Tnを高めに設定し、継続時間測定部22の継続時間閾値Tcを短めに設定することで、野球のスコア検出に適した処理が実現できる。一方、サッカーなどの場合、フレーム内エッジ抽出部12でのエッジ判定閾値Tnを低めに設定し、継続時間測定部22の継続時間閾値Tcを長めに設定することで、サッカーのスコア検出に適した処理が実現できる。またスコア表示の検出過程において、時間的に直近に検出されたスコアデータとの類似度比較を行うことで、例えば得点が入った箇所を検出することができる。具体的な比較方法として、現時点と前回のそれぞれの静止エッジ画像を重ね合わせ、その変化度を元に判定する等の方法が考えられる。これはスポーツ番組だけでなく情報番組のコーナーテロップ検出に対しても有効であり、前回検出したデータと比較することにより、話題の変化を判定しても良い。
In each of the above-described embodiments, a corner telop displayed mainly in an information program is detected, but it can also be applied to score display detection in a sports program such as baseball or soccer. The score display of a sports program is also displayed in the corner of the screen and has a property similar to that of a corner telop that is displayed during play. Therefore, it can be basically detected with the same block configuration as in FIG. However, depending on the type of sport, the following measures may be taken. Baseball and soccer are examples of typical sports programs. In addition to the score, the baseball score display displays a lot of information such as strike / ball / out count, and has strong edge strength. Also, the display time for one time is relatively short (several seconds). On the other hand, in the case of soccer, the edge strength is weak and the display time tends to be relatively long. The reason why the display time of the score differs depending on the sport is that each play unit (time length between play breaks) is different. In baseball, one pitching by the pitcher is basically one play unit. In soccer, one play unit is from the kick-off (or resumption of play) until the play is interrupted due to a foul or goal. Therefore, when the input video is a baseball video, the edge determination threshold Tn in the in-frame
また、上記した実施例においては、図6に示したように1フレームの領域分割を行うと、コーナーテロップの表示候補が複数(この例では4つ)になるため、真のコーナーテロップがどの領域に表示されているか判断が必要になる。そこで、各領域でのコーナーテロップ候補検出頻度を元に、コーナーテロップ表示領域を決定しても良い。1つの方法として、4つの領域のうち最も多くコーナーテロップ表示候補が検出された領域をコーナーテロップ表示領域と決定しても良い。ただし、この場合、例えば、図17(a)及び(b)に示すように、画面隅の時刻表示や放送局名のテロップをコーナーテロップとして誤判定する可能性がある。そこで、正確に1分毎に変化するテロップや、逆に、非常に長時間に渡って変化しないテロップなどをコーナーテロップ候補から外す処理を加えてコーナーテロップの誤検出を防ぐようにしても良い。また、検出対象の番組がシリーズ物であり、前回の放送分からコーナーテロップを検出していた場合、その情報を元にコーナーテロップの表示領域を決定しても良い。 In the above-described embodiment, when one frame region is divided as shown in FIG. 6, there are a plurality of corner telop display candidates (four in this example). It is necessary to judge whether it is displayed. Thus, the corner telop display area may be determined based on the corner telop candidate detection frequency in each area. As one method, an area in which the most corner telop display candidates are detected among the four areas may be determined as the corner telop display area. However, in this case, for example, as shown in FIGS. 17A and 17B, there is a possibility that the time display at the corner of the screen or the telop of the broadcast station name is erroneously determined as a corner telop. In view of this, it is possible to add a process of excluding telops that change exactly every minute, or conversely, telops that do not change for a very long time, from corner telop candidates to prevent erroneous detection of corner telops. Further, if the program to be detected is a series program and a corner telop is detected from the previous broadcast, the display area of the corner telop may be determined based on the information.
更に、上記した各実施例においては、本発明をコーナーテロップを検出するコーナーテロップ検出装置に適用した場合について説明したが、本発明によって検出されるテロップはコーナーテロップに限定されない。すなわち、テロップはコーナーテロップとして画面の隅に表示されることが多いが、必ずしも画面の隅に表示される必要はない。 Further, in each of the above-described embodiments, the case where the present invention is applied to a corner telop detection device that detects a corner telop has been described, but the telop detected by the present invention is not limited to a corner telop. That is, the telop is often displayed as a corner telop at the corner of the screen, but is not necessarily displayed at the corner of the screen.
以上のように、エッジ検出部1と、コーナーテロップ候補検出部3及びコーナーテロップ判定部3とを備えたことより、エッジの輝度強度が弱く、テロップを構成する画素と背景との輝度差が小さいコーナーテロップを高精度で検出することができる。また、静止ブロック検出部5、コーナーテロップ候補検出部6及びコーナーテロップ判定部7とを備えたことより、コーナーテロップを高精度で検出することができるだけでなく、ブロック単位で検出処理するので、少ないデータ量でコーナーテロップを検出することができるので、処理負荷を軽減させることができる。
As described above, since the
本発明のテロップ検出装置及び方法は、テレビ放送を受信し、録画或いは視聴するための、例えば、DVD/HDDレコーダ、PDPテレビ装置等のTV受像機、TVチューナ内蔵のPC(パーソナルコンピュータ)又はカーナビ装置等の映像機器及びPC用のソフトウェアに適用することができる。 The telop detection apparatus and method according to the present invention are for receiving a TV broadcast and recording or viewing, for example, a TV receiver such as a DVD / HDD recorder or a PDP TV apparatus, a PC (personal computer) with built-in TV tuner, or a car navigation system. The present invention can be applied to video equipment such as a device and software for a PC.
かかる本発明のテロップ検出装置又は方法によって検出されたコーナーテロップを用いてチャプタメニューを作成することができる。映像コンテンツを録画視聴できる上記したDVD/HDDレコーダ、PDPテレビ装置、カーナビ装置等の機器であれば、全て同様の応用が可能である。例えば、図3に示したレコーダの場合には、先ず、レコーダのHDD装置107に蓄積されたいるコンテンツ(録画済みの圧縮データ)又は光ディスク115に記録されているコンテンツ、又はこれから記録するコンテンツからコーナーテロップを検出する。本発明によるコーナーテロップ検出方法は、コンテンツを録画しながら同時に検出するリアルタイム検出、又は録画済みのコンテンツを再処理して検出する非リアルタイム検出のいずれに適用しても良い。コーナーテロップ検出時には、コーナーテロップ情報として少なくともテロップの表示開始時刻が検出される。コーナーテロップを検出したならば、制御部104ではその検出箇所に映像の区切りを示すためにチャプタを設定することが行われる。チャプタの設定ではコーナーテロップの表示開始時刻と再生アドレスとの関係を示すチャプタテーブルファイルが作成される。チャプタの設定は、コンテンツの時間情報と映像情報との同期が取れたタイミング(例えば録画後)で行われる。次に、制御部104では検出されたコーナーテロップをボタン画像として用いたチャプタメニューを作成することが行われる。チャプタメニューとは、図18に示すように、チャプタの内容をメニュー形式でユーザに対して分かり易く示したものである。ユーザはこのチャプタメニューを見ることで、番組の全体概要を一目で把握することができる。更に、興味を持った箇所をメニューから選択することにより、表示開始時刻が指定されるのでその時刻に対応した再生アドレスがチャプタテーブルファイルから読み出されることになり、その再生アドレスからの映像再生が開始される。よって、ユーザは映像コンテンツを好きな箇所から視聴することができる。このようにコーナーテロップをコンテンツのチャプタ付けに応用することで、コンテンツをその内容に即して自動的に構造化できる。更にコーナーテロップをボタン画像に用いたチャプタメニューを作成することで、ユーザは番組の全体概要を一目で把握することができ、興味を持った箇所からコンテンツを視聴することができる。このようにコーナーテロップを応用することで、ユーザにとってコンテンツの利便性を高めることができる。
A chapter menu can be created using the corner telop detected by the telop detection apparatus or method of the present invention. The same application is possible for all devices such as the above-mentioned DVD / HDD recorder, PDP television device, car navigation device and the like that can record and view video content. For example, in the case of the recorder shown in FIG. 3, first, the content is stored in the recorder's HDD device 107 (recorded compressed data), the content recorded on the
1 エッジ抽出部
2,6 コーナーテロップ候補検出部
3,7 コーナーテロップ判定部
5 静止ブロック検出部
DESCRIPTION OF
Claims (18)
前記エッジ画像抽出手段によって今回のフレームの映像信号から抽出されたエッジ画像データと少なくとも前回のフレームの映像信号から抽出されたエッジ画像データとの重複部分を静止エッジ画像データとして検出する静止エッジ検出手段と、
前記静止エッジ画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したか否かを判定する継続状態判定手段と、
前記継続状態検出手段によって前記静止エッジ画像データが前記所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたとき、その判定された静止エッジ画像データが示すエッジを含む囲み領域を設定し、前記囲み領域に対する前記エッジの密集度に応じて前記囲み領域がテロップ領域である否かを判定するテロップ判定手段と、を備え、
前記エッジ画像抽出手段は、前記入力映像信号の1フレーム分の映像信号を抽出するフレーム抽出手段と、
1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段と、
前記フレーム抽出手段によって抽出された1フレーム分の前記有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データを前記エッジ画像データとして抽出する手段と、を有することを特徴とするテロップ検出装置。 Edge image extraction means for extracting edge image data indicating an edge on luminance for each frame from an input video signal;
Still edge detection means for detecting, as still edge image data, an overlapping portion between the edge image data extracted from the video signal of the current frame by the edge image extraction means and the edge image data extracted from the video signal of the previous frame at least. When,
Continuation state determination means for determining whether or not the still edge image data has continued with substantially the same content over a predetermined number of frames;
When it is determined by the continuation state detection means that the still edge image data has continued with substantially the same content over the predetermined number of frames, a surrounding area including an edge indicated by the determined still edge image data is determined. And a telop determination means for determining whether or not the enclosed area is a telop area according to the density of the edge with respect to the enclosed area ,
The edge image extraction means includes a frame extraction means for extracting a video signal for one frame of the input video signal;
An area dividing means for dividing one frame into a plurality of areas, making only the area of the screen corner an effective area, and making the other area an invalid area;
Means for extracting, as the edge image data, image data indicating edge pixels having a luminance difference that is not less than a predetermined value from the luminance of adjacent pixels from the video signal of the effective area for one frame extracted by the frame extraction means. telop detecting apparatus characterized by having, when.
前記入力映像信号又は前記記録媒体に記録された映像信号からフレーム毎に輝度上のエッジを示すエッジ画像データを抽出するエッジ画像抽出手段と、
前記エッジ画像抽出手段によって今回のフレームの映像信号から抽出されたエッジ画像データと少なくとも前回のフレームの映像信号から抽出されたエッジ画像データとの重複部分を静止エッジ画像データとして検出する静止エッジ検出手段と、
前記静止エッジ画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したか否かを判定する継続状態判定手段と、
前記継続状態検出手段によって前記静止エッジ画像データが前記所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたとき、その判定された静止エッジ画像データが示すエッジを含む囲み領域を設定し、前記囲み領域に対する前記エッジの密集度に応じて前記囲み領域がテロップ領域であるか否かを判定するテロップ判定手段と、を備え、
前記エッジ画像抽出手段は、前記入力映像信号の1フレーム分の映像信号を抽出するフレーム抽出手段と、
1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段と、
前記フレーム抽出手段によって抽出された1フレーム分の前記有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データを前記エッジ画像データとして抽出する手段と、を有することを特徴とするレコーダ。 A recorder for recording an input video signal on a recording medium,
An edge image extraction means for extracting an edge image data representing an edge on the brightness for each frame from the input video signal or video signal recorded on the recording medium,
Still edge detection means for detecting, as still edge image data, an overlapping portion between the edge image data extracted from the video signal of the current frame by the edge image extraction means and the edge image data extracted from the video signal of the previous frame at least. When,
Continuation state determination means for determining whether or not the still edge image data has continued with substantially the same content over a predetermined number of frames;
When it is determined by the continuation state detection means that the still edge image data has continued with substantially the same content over the predetermined number of frames, a surrounding area including an edge indicated by the determined still edge image data is determined. And a telop determination means for determining whether or not the enclosed area is a telop area according to the density of the edge with respect to the enclosed area ,
The edge image extraction means includes a frame extraction means for extracting a video signal for one frame of the input video signal;
An area dividing means for dividing one frame into a plurality of areas, making only the area of the screen corner an effective area, and making the other area an invalid area;
Means for extracting, as the edge image data, image data indicating edge pixels having a luminance difference that is not less than a predetermined value from the luminance of adjacent pixels from the video signal of the effective area for one frame extracted by the frame extraction means. And a recorder.
1フレームを所定の複数画素からなるブロック単位に分割し、前記エッジ画像データに応じてエッジの数を所定数以上含むブロックを表すエッジブロック画像データを作成するエッジブロック作成手段と、
前記エッジブロック作成手段によって今回作成されたフレームのエッジブロック画像データと少なくとも前回作成されたフレームのエッジブロック画像データとの重複部分を前記静止ブロック画像データとして検出する静止ブロック検出手段と、
前記静止ブロック画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したか否かを判定する継続状態判定手段と、
前記継続状態検出手段によって前記静止ブロック画像データが前記所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたとき、その判定された静止ブロック画像データが示すブロックを含む囲み領域を設定し、前記囲み領域に対する前記ブロックの密集度に応じて前記囲み領域がテロップ領域であるか否かを判定するテロップ判定手段と、を備え、
前記エッジ画像抽出手段は、前記入力映像信号の1フレーム分の映像信号を抽出するフレーム抽出手段と、
1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段と、
前記フレーム抽出手段によって抽出された1フレーム分の前記有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データを前記エッジ画像データとして抽出する手段と、を有することを特徴とするテロップ検出装置。 Edge image extraction means for extracting edge image data indicating an edge on luminance for each frame from an input video signal;
Edge block creating means for dividing one frame into blocks each composed of a plurality of predetermined pixels and creating edge block image data representing a block including a predetermined number of edges according to the edge image data;
Still block detection means for detecting, as the still block image data, an overlapping portion of the edge block image data of the frame created this time by the edge block creation means and at least the edge block image data of the previously created frame;
Continuation state determining means for determining whether or not the still block image data continues with substantially the same content over a predetermined number of frames;
When it is determined by the continuation state detecting means that the still block image data has continued with substantially the same content over the predetermined number of frames, an enclosed area including a block indicated by the determined still block image data is provided. And a telop determination means for determining whether or not the enclosed area is a telop area according to the density of the block with respect to the enclosed area ,
The edge image extraction means includes a frame extraction means for extracting a video signal for one frame of the input video signal;
An area dividing means for dividing one frame into a plurality of areas, making only the area of the screen corner an effective area, and making the other area an invalid area;
Means for extracting, as the edge image data, image data indicating edge pixels having a luminance difference that is not less than a predetermined value from the luminance of adjacent pixels from the video signal of the effective area for one frame extracted by the frame extraction means. telop detecting apparatus characterized by having, when.
前記入力映像信号又は前記記録媒体に記録された映像信号からフレーム毎に輝度上のエッジを示すエッジ画像データを抽出するエッジ画像抽出手段と、
1フレームを所定の複数画素からなるブロック単位に分割し、前記エッジ画像データに応じてエッジの数を所定数以上含むブロックを表すエッジブロック画像データを作成するエッジブロック作成手段と、
前記エッジブロック作成手段によって今回作成されたフレームのエッジブロック画像データと少なくとも前回作成されたフレームのエッジブロック画像データとの重複部分を前記静止ブロック画像データとして検出する静止ブロック検出手段と、
前記静止ブロック画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したか否かを判定する継続状態判定手段と、
前記継続状態検出手段によって前記静止ブロック画像データが前記所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたとき、その判定された静止ブロック画像データが示すブロックを含む囲み領域を設定し、前記囲み領域に対する前記ブロックの密集度に応じて前記囲み領域がテロップ領域であるか否かを判定するテロップ判定手段と、を備え、
前記エッジ画像抽出手段は、前記入力映像信号の1フレーム分の映像信号を抽出するフレーム抽出手段と、
1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割手段と、
前記フレーム抽出手段によって抽出された1フレーム分の前記有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データを前記エッジ画像データとして抽出する手段と、を有することを特徴とするレコーダ。 A recorder for recording an input video signal on a recording medium,
An edge image extraction means for extracting an edge image data representing an edge on the brightness for each frame from the input video signal or video signal recorded on the recording medium,
Edge block creating means for dividing one frame into blocks each composed of a plurality of predetermined pixels and creating edge block image data representing a block including a predetermined number of edges according to the edge image data;
Still block detection means for detecting, as the still block image data, an overlapping portion of the edge block image data of the frame created this time by the edge block creation means and at least the edge block image data of the previously created frame;
Continuation state determining means for determining whether or not the still block image data continues with substantially the same content over a predetermined number of frames;
When it is determined by the continuation state detecting means that the still block image data has continued with substantially the same content over the predetermined number of frames, an enclosed area including a block indicated by the determined still block image data is provided. And a telop determination means for determining whether or not the enclosed area is a telop area according to the density of the block with respect to the enclosed area ,
The edge image extraction means includes a frame extraction means for extracting a video signal for one frame of the input video signal;
An area dividing means for dividing one frame into a plurality of areas, making only the area of the screen corner an effective area, and making the other area an invalid area;
Means for extracting, as the edge image data, image data indicating edge pixels having a luminance difference that is not less than a predetermined value from the luminance of adjacent pixels from the video signal of the effective area for one frame extracted by the frame extraction means. And a recorder.
今回のフレームの映像信号から抽出されたエッジ画像データと少なくとも前回のフレームの映像信号から抽出されたエッジ画像データとの重複部分を前記静止エッジ画像データとして検出する静止エッジ検出ステップと、
前記静止エッジ画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したか否かを判定する継続状態判定ステップと、
前記静止エッジ画像データが前記所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたとき、その判定された静止エッジ画像データが示すエッジを含む囲み領域を設定し、前記囲み領域に対する前記エッジの密集度に応じて前記囲み領域がテロップ領域であるか否かを判定するテロップ判定ステップと、を備え、
前記エッジ画像抽出ステップは、前記入力映像信号の1フレーム分の映像信号を抽出するフレーム抽出ステップと、
1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割ステップと、
前記フレーム抽出ステップにおいて抽出された1フレーム分の前記有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データを前記エッジ画像データとして抽出するステップと、を有することを特徴とするテロップ検出方法。 An edge image extraction step for extracting edge image data indicating an edge on luminance for each frame from the input video signal;
A stationary edge detecting step for detecting, as the stationary edge image data, an overlapping portion between the edge image data extracted from the video signal of the current frame and at least the edge image data extracted from the video signal of the previous frame;
A persistent state determination step of the still edge image data to determine whether continued at substantially the same content for over a predetermined number of frames,
When it is determined that the still edge image data continues with substantially the same content over the predetermined number of frames, an enclosed area including an edge indicated by the determined still edge image data is set, and the enclosed area the surrounding area in accordance with the density of the edge and a telop determining step of determining whether a telop area for,
The edge image extraction step includes a frame extraction step of extracting a video signal for one frame of the input video signal;
An area dividing step in which one frame is divided into a plurality of areas, only the area at the corner of the screen is set as an effective area, and the other area is set as an invalid area;
A step of extracting, as the edge image data, image data indicating edge pixels having a luminance difference equal to or greater than a predetermined value from the luminance of adjacent pixels from the video signal of the effective region extracted for one frame extracted in the frame extraction step; And a telop detection method comprising:
1フレームを所定の複数画素からなるブロック単位に分割し、前記エッジ画像データに応じてエッジの数を所定数以上含むブロックを表すエッジブロック画像データを作成するエッジブロック作成ステップと、
今回作成されたフレームのエッジブロック画像データと少なくとも前回作成されたフレームのエッジブロック画像データとの重複部分を前記静止ブロック画像データとして検出する静止エッジ検出ステップと、
前記静止ブロック画像データが所定のフレーム数以上に亘ってほぼ同一の内容で継続したか否かを判定する継続状態判定ステップと、
前記静止ブロック画像データが前記所定のフレーム数以上に亘ってほぼ同一の内容で継続したと判定されたとき、その判定された静止ブロック画像データが示すブロックを含む囲み領域を設定し、前記囲み領域に対する前記ブロックの密集度に応じて前記囲み領域がテロップ領域であるか否かを判定するテロップ判定ステップと、を備え、
前記エッジ画像抽出ステップは、前記入力映像信号の1フレーム分の映像信号を抽出するフレーム抽出ステップと、
1フレームを複数の領域に分割して画面隅の領域のみを有効領域とし、他の領域を無効領域とする領域分割ステップと、
前記フレーム抽出ステップにおいて抽出された1フレーム分の前記有効領域の映像信号から隣接画素の輝度とは輝度差が所定値以上の輝度を有するエッジ画素を示す画像データを前記エッジ画像データとして抽出するステップと、を有することを特徴とするテロップ検出方法。 An edge image extraction step for extracting edge image data indicating an edge on luminance for each frame from the input video signal;
An edge block creating step of creating one edge block image data representing a block including a predetermined number or more of edges according to the edge image data;
A stationary edge detecting step for detecting, as the stationary block image data, an overlapping portion between the edge block image data of the frame created this time and at least the edge block image data of the previously created frame;
And continuing state determining step of the still block image data to determine whether continued at substantially the same content for over a predetermined number of frames,
When it is determined that the still block image data continues with substantially the same content over the predetermined number of frames, an enclosed area including a block indicated by the determined still block image data is set, and the enclosed area the surrounding area in accordance with the density of the block and a telop determining step of determining whether a telop area for,
The edge image extraction step includes a frame extraction step of extracting a video signal for one frame of the input video signal;
An area dividing step in which one frame is divided into a plurality of areas, only the area at the corner of the screen is set as an effective area, and the other area is set as an invalid area;
A step of extracting, as the edge image data, image data indicating edge pixels having a luminance difference equal to or greater than a predetermined value from the luminance of adjacent pixels from the video signal of the effective region extracted for one frame extracted in the frame extraction step; And a telop detection method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005256245A JP4634894B2 (en) | 2005-09-05 | 2005-09-05 | Telop detection apparatus and method, and recorder |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005256245A JP4634894B2 (en) | 2005-09-05 | 2005-09-05 | Telop detection apparatus and method, and recorder |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007074091A JP2007074091A (en) | 2007-03-22 |
| JP4634894B2 true JP4634894B2 (en) | 2011-02-16 |
Family
ID=37935205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005256245A Expired - Fee Related JP4634894B2 (en) | 2005-09-05 | 2005-09-05 | Telop detection apparatus and method, and recorder |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4634894B2 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100589532C (en) * | 2007-08-09 | 2010-02-10 | 富士通株式会社 | Apparatus and method for extracting subtitle area |
| JP4613941B2 (en) * | 2007-10-10 | 2011-01-19 | 三菱電機株式会社 | Character display area detection device and method, and portable terminal |
| JP2009130899A (en) * | 2007-11-28 | 2009-06-11 | Mitsubishi Electric Corp | Image playback device |
| CN101620731B (en) * | 2008-06-30 | 2013-10-16 | 汤姆森许可贸易公司 | Method for detecting layout areas in a video image and method for generating a reduced size image using the detection method |
| JP2010109852A (en) * | 2008-10-31 | 2010-05-13 | Hitachi Ltd | Video indexing method, video recording and playback device, and video playback device |
| JP5256125B2 (en) * | 2009-06-08 | 2013-08-07 | 日本放送協会 | Digital broadcast receiving system for generating information on dividing points of broadcast programs |
| JP5677229B2 (en) * | 2011-07-28 | 2015-02-25 | 日本放送協会 | Video subtitle detection apparatus and program thereof |
| WO2014141404A1 (en) | 2013-03-13 | 2014-09-18 | 楽天株式会社 | Image processing device, image processing method, and image processing program |
| JP6080667B2 (en) * | 2013-04-18 | 2017-02-15 | 三菱電機株式会社 | Video signal processing apparatus and method, program, and recording medium |
| WO2014174799A1 (en) | 2013-04-25 | 2014-10-30 | 日本電気株式会社 | Program, method, and device for evaluating importance of in-image region |
| JP6814178B2 (en) * | 2018-06-11 | 2021-01-13 | 日本電信電話株式会社 | Object detectors, methods, and programs |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10233994A (en) * | 1997-02-19 | 1998-09-02 | Sony Corp | Specific region extracting device and method, specific region information recording device and method, and specific region information recording medium |
| JP3503797B2 (en) * | 1997-04-30 | 2004-03-08 | 日本電信電話株式会社 | Video telop detection method and apparatus |
| JP2004343352A (en) * | 2003-05-14 | 2004-12-02 | Sony Corp | Electronic apparatus and telop information processing method |
| JP4235490B2 (en) * | 2003-06-04 | 2009-03-11 | パイオニア株式会社 | Music program content menu creation apparatus and method |
-
2005
- 2005-09-05 JP JP2005256245A patent/JP4634894B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007074091A (en) | 2007-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7292769B2 (en) | Recording and reproducing apparatus and method | |
| US7734148B2 (en) | Method for reproducing sub-picture data in optical disc device, and method for displaying multi-text in optical disc device | |
| JP4634894B2 (en) | Telop detection apparatus and method, and recorder | |
| KR19980071128A (en) | Advertisement detection device and advertisement detection method | |
| US6728473B1 (en) | Moving picture recording and reproduction apparatus and method as well as medium | |
| JP2004364234A (en) | Broadcast program content menu creation apparatus and method | |
| CN101102415A (en) | Information processing device, method, and program | |
| US8600219B2 (en) | Video-signal recording and playback apparatus, video-signal recording and playback method, and recording medium | |
| US7200322B2 (en) | Video-signal recording and playback apparatus, video-signal recording and playback method and recording medium | |
| EP1918851A2 (en) | Video player | |
| US20040246259A1 (en) | Music program contents menu creation apparatus and method | |
| WO2007114241A1 (en) | Video image processing device | |
| JPH09312827A (en) | Recording and playback device | |
| JP4276042B2 (en) | INDEX DATA GENERATION DEVICE, INDEX DATA GENERATION METHOD, INDEX DATA GENERATION PROGRAM AND INFORMATION RECORDING MEDIUM CONTAINING THE SAME, CONTENT DATA REPRODUCTION DEVICE, CONTENT DATA REPRODUCTION METHOD, CONTENT DATA REPRODUCTION PROGRAM, AND INFORMATION RECORDING MEDIUM CONTAINING THE SAME | |
| KR20130104027A (en) | Video playing method and video player | |
| KR100821023B1 (en) | Video signal recording and reproducing apparatus, video signal recording and reproducing method, and recording medium | |
| US20080131077A1 (en) | Method and Apparatus for Skipping Commercials | |
| US20030142961A1 (en) | Optical recording medium, apparatus and method for playing the optical recording medium | |
| KR100672431B1 (en) | Partial area recording / playback apparatus and method of a video apparatus | |
| JP2005198010A (en) | Image recording apparatus and image recording method | |
| JP4380388B2 (en) | Editing method, recording / reproducing apparatus, program, and recording medium | |
| JP3416572B2 (en) | Signal processing device | |
| KR100667514B1 (en) | Optical disc device and its dual subtitle display method | |
| JP2007201988A (en) | Recording and reproducing apparatus | |
| JP4924325B2 (en) | Broadcast receiving and recording device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080806 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100817 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101015 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101116 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101119 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |