Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5691609B2 - Film mode conversion device, film mode conversion method, and program - Google Patents
[go: Go Back, main page]

JP5691609B2 - Film mode conversion device, film mode conversion method, and program - Google Patents

Film mode conversion device, film mode conversion method, and program Download PDF

Info

Publication number
JP5691609B2
JP5691609B2 JP2011033365A JP2011033365A JP5691609B2 JP 5691609 B2 JP5691609 B2 JP 5691609B2 JP 2011033365 A JP2011033365 A JP 2011033365A JP 2011033365 A JP2011033365 A JP 2011033365A JP 5691609 B2 JP5691609 B2 JP 5691609B2
Authority
JP
Japan
Prior art keywords
pixel
motion
threshold
absolute value
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011033365A
Other languages
Japanese (ja)
Other versions
JP2012175257A (en
Inventor
松岡 秀樹
秀樹 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011033365A priority Critical patent/JP5691609B2/en
Publication of JP2012175257A publication Critical patent/JP2012175257A/en
Application granted granted Critical
Publication of JP5691609B2 publication Critical patent/JP5691609B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Systems (AREA)

Description

本発明は、フィルムモード検出装置、フィルムモード検出方法、およびプログラムに関し、特に液晶TVなどのプログレッシブ(順次)走査のディスプレイに、インタレース(飛び越し)走査のテレシネ映像信号を表示するためのフィルムモード検出装置、フィルムモード検出方法、およびプログラムに関する。   The present invention relates to a film mode detection device, a film mode detection method, and a program, and in particular, a film mode detection for displaying an interlaced scanning telecine video signal on a progressive scanning display such as a liquid crystal TV. The present invention relates to an apparatus, a film mode detection method, and a program.

近年、テレビやパソコンなどでは、ブラウン管に代わって、液晶ディスプレイやプラズマディスプレイなどのプログレッシブ(順次走査)方式のディスプレイが用いられるようになってきた。   In recent years, progressive (sequential scanning) displays such as liquid crystal displays and plasma displays have been used in televisions and personal computers in place of cathode ray tubes.

これらの順次走査ディスプレイでは、ちらつきの少ない映像を表示できる毎秒24フレームのプログレッシブ方式が採用されている。   In these progressive scan displays, a progressive method of 24 frames per second capable of displaying an image with little flicker is employed.

一方、テレビ放送では、毎秒30フレーム(60フィールド)のインタレース(飛び越し走査)方式であるNTSC方式が採用されている。したがって、順次走査ディスプレイを備えたテレビやパソコンでは、インタレース(飛び越し走査)方式の映像を毎秒24フィールドのプログレッシブ(順次走査)方式の映像に変換するIP変換処理(Interlace to Progressive)をすることが行なわれている。   On the other hand, in television broadcasting, the NTSC system, which is an interlace (interlaced scanning) system of 30 frames (60 fields) per second, is employed. Therefore, in a television or personal computer equipped with a progressive scan display, an IP conversion process (Interlace to Progressive) for converting an interlace (interlaced) video to a progressive (sequential scan) video of 24 fields per second may be performed. It is done.

しかしながら、シネマ映像はもともと毎秒24コマのプログレッシブ(順次走査)映像であるため、順次走査ディスプレイである液晶ディスプレイやプラズマディスプレイを備えたテレビにシネマ映像を表示するためには、毎秒24コマのシネマ映像から毎秒30フレーム(60フィールド)のインタレース(飛び越し走査)映像に変換されたテレシネ映像を受信し、さらに、このテレシネ映像をプログレッシブ(順次走査)映像に変換するIP変換処理(Interlace to Progressive)を行なって表示する。   However, since cinema images are originally 24 frames per second (sequential scanning) images, 24 frames per second are required to display cinema images on a television with a liquid crystal display or plasma display, which is a progressive scanning display. IP conversion processing (Interlace to Progressive) that receives telecine video converted to interlaced (interlaced scanning) video at 30 frames per second (interlaced scanning) and converts this telecine video into progressive (sequential scanning) video Display in line.

具体的に、上述した毎秒24コマのシネマ映像から毎秒30フレーム(60フィールド)のインタレース映像に変換する処理は、このシネマ映像を23プルダウン変換処理にてインタレース方式のテレシネ映像を作成する。   Specifically, in the process of converting the above-described cinema frame at 24 frames per second to interlaced video at 30 frames (60 fields) per second, this cinema video is generated by 23 pull-down conversion processing to create an interlaced telecine video.

さらに、テレシネ映像を元のプログレッシブ映像に変換する処理は、このテレシネ映像を逆23プルダウン変換処理にてプログレッシブ方式の映像を作成する。   Further, the process of converting the telecine video into the original progressive video creates a progressive video by reverse 23 pull-down conversion processing of the telecine video.

この逆23プルダウン変換処理するためには、23プルダウンのシーケンス検出を行なう。   In order to perform the inverse 23 pulldown conversion processing, 23 pulldown sequence detection is performed.

図8は、23プルダウンシーケンス検出を示す説明図(その1)である。図8において、フィルム素材11をビデオ画像12に変換(プルダウン)する23プルダウン変換処理を示す。   FIG. 8 is an explanatory diagram (part 1) illustrating 23 pull-down sequence detection. FIG. 8 shows a 23 pull-down conversion process for converting (pull-down) the film material 11 into a video image 12.

フィルム素材11は、毎秒24コマのプログレッシブ(順次走査)映像であり、ビデオ画像12は毎秒30フレーム(60フィールド)インタレース(飛び越し走査)映像である。フィルム素材11の画像Aは、ビデオ画像12のAとAに分かれ、それぞれ第1フィールドと第2フィールドを構成して両者を合わせて第1フレームを構成する。 The film material 11 is a progressive (sequential scanning) image of 24 frames per second, and the video image 12 is an interlaced (interlaced scanning) image of 30 frames (60 fields) per second. Image A film material 11 is divided into A 1 and A 2 of the video image 12, constituting the first frame to fit them together constitute the first and second fields respectively.

フィルム素材11の画像Bは、ビデオ画像12のBとBに分かれるだけでなく、Bにリピートフィールドがコピーされる。 Image B of the film material 11 is not only divided into B 1 and B 2 of the video image 12, the repeat field is copied to the B 3.

すなわち、フィルム素材11の各コマを奇数番目のコマを2フィールドに、偶数番目のコマは3フィールドに変換することにより、2コマを5フィールドに変換することができる。したがって、24コマを60フィールドに変換することができる。   That is, each frame of the film material 11 can be converted into 2 fields by converting odd frames into 2 fields and even frames with 3 fields. Therefore, 24 frames can be converted into 60 fields.

図9は、23プルダウンシーケンス検出を示す説明図(その2)である。   FIG. 9 is an explanatory diagram (part 2) illustrating 23 pull-down sequence detection.

図9において、上段は、シネマ映像からテレシネ映像への23プルダウン変換処理を示す。シネマ映像は、毎秒24枚のプログレッシブ(順次走査)方式の映像であり、23プルダウン変換処理は、5枚に1枚、2フィールド前の映像を繰り返す。これをリピートフィールドという。このリピートフィールドを付加することにより、毎秒24コマのシネマ映像を毎秒60フィールドのテレシネ映像に変換できる。   In FIG. 9, the upper part shows 23 pull-down conversion processing from cinema video to telecine video. The cinema image is a progressive (sequential scanning) system image of 24 frames per second, and the 23 pull-down conversion process repeats the image of one frame every two and two fields before. This is called a repeat field. By adding this repeat field, it is possible to convert a cinema image of 24 frames per second into a telecine image of 60 fields per second.

図9において、下段は、テレシネ映像をテレビで放送させるために、テレシネ映像を逆2-3変換処理して、23プルダウンシーケンス検出により、プログレッシブ映像を表示させる。テレシネ映像は毎秒60フィールドのインタレース方式の映像であり、23プルダウンシーケンス検出は、5枚に1枚のリピートフィールドを検出し、もとのプログレッシブ映像に戻す。   In FIG. 9, in the lower part, in order to broadcast the telecine video on the television, the telecine video is subjected to inverse 2-3 conversion processing, and the progressive video is displayed by detecting the 23 pull-down sequence. The telecine video is an interlace video of 60 fields per second, and the 23 pull-down sequence detection detects one repeat field in five frames and restores the original progressive video.

このように、23プルダウンシーケンス検出におけるリピートフィールドの検出は、IP変換処理によって、高画質の映像を生成する上で非常に重要であるため、正確にリピートフィールドを検出するための様々な技術が開示されている。   As described above, since the detection of the repeat field in the 23 pull-down sequence detection is very important in generating a high-quality video by the IP conversion process, various techniques for accurately detecting the repeat field are disclosed. Has been.

例えば、フレーム間差分分布の違いから、ノイズ有無に応じて判定条件を切りかえることで、23プルダウン検出としてリピートフィールドの検出精度を上げる制御に関し、先行技術文献がある。   For example, there is a prior art document relating to control for increasing the repeat field detection accuracy as 23 pull-down detection by switching the determination condition according to the presence or absence of noise from the difference in inter-frame difference distribution.

また、23プルダウンシーケンス検出において、フレーム間差分絶対値の分布が、5フィールドに1回の周期で0付近に偏ることを利用して検出を行なう制御に関し、先行技術文献がある。   Further, in the 23 pull-down sequence detection, there is a prior art document relating to control for performing detection using the fact that the distribution of the absolute value of the interframe difference is biased to near 0 in a cycle of 5 fields.

特開2008−98938号公報Japanese Patent Laid-Open No. 2008-98938 特開2007−300152号公報JP 2007-300152 A

しかしながら、上述した背景技術には以下の問題がある。   However, the background art described above has the following problems.

古いシネマ映像のノイズや、符号化に起因したノイズなどが多いインタレース映像からテレシネ映像を検出する場合、リピートフィールド検出を行なうが、ノイズ有り時の階調差閾値をいくら上げても画素ごとの階調差が閾値以上となることが多いことからリピートフィールドとなるはずのリピートフィールド映像がその他フィールドと判定し、検出劣化してしまう。すなわち、ノイズによりフレーム間差分絶対値の分布が分散するため、原理的にノイズに対する耐性が低いという問題があった。   When telecine video is detected from interlaced video that contains a lot of noise from old cinema video or noise caused by encoding, repeat field detection is performed. Since the gradation difference is often greater than or equal to the threshold value, the repeat field image that should be the repeat field is determined as the other field, and is detected and deteriorated. That is, since the distribution of the absolute value of the difference between frames is dispersed by noise, there is a problem that the resistance to noise is low in principle.

そこで、本発明は、上記問題点にかんがみて成されたもので、その目的は、ブロックノイズや古いシネマ映像などに耐性をもつ、フィルムモード検出装置、フィルムモード検出方法、およびプログラムを提供する。   Accordingly, the present invention has been made in view of the above problems, and an object thereof is to provide a film mode detection device, a film mode detection method, and a program that are resistant to block noise and old cinema images.

上記課題を解決するための装置の一観点は、入力されたインタレース映像の映像信号を連続する複数フィールド分入力し、フレーム間差分絶対値を算出するフレーム間差分絶対値算出部と、前記映像信号の画素単位に、前記フレーム間差分絶対値と動き閾値を比較する差分絶対値判定部と、前記フレーム間差分絶対値が動き閾値より大と判定された画素に対し、前記フレーム間差分絶対値と輝度変化閾値を比較する輝度判定部と、前記フレーム間差分絶対値が前記輝度変化閾値より大と判定された画素に対し、前記画素の周辺画素のフレーム間輝度の微分から得られる輝度勾配値が、輝度勾配閾値との比較判定において輝度勾配閾値以上であるときには、前記画素は動く被写体の縦、斜めエッジと判定するエッジ検出判定部と、1ライン上で縦、斜めエッジを見つけた数だけ動き画素累積数をカウントする動き画素累積数カウント部と、現フィールドの動き画素累積カウント数と静止画素累積カウント数を、過去5フィールド分の動き画素累積カウント数と静止画素累積カウント数と比較してリピートフィールドであることを検出し、もとのプログレッシブ映像に戻すための逆23変換処理する近似度判定部と、
を有している。
One aspect of an apparatus for solving the above-described problem is that an inter-frame difference absolute value calculating unit that inputs an input interlaced video signal for a plurality of continuous fields and calculates an inter-frame difference absolute value, and the video A difference absolute value determination unit that compares the absolute value between frames and a motion threshold for each pixel of a signal, and the absolute value between frames for a pixel for which the absolute value between frames is determined to be greater than the motion threshold. And a luminance gradient value obtained by differentiating the luminance between the frames of the peripheral pixels of the pixel with respect to a pixel for which the absolute difference between frames is determined to be larger than the luminance change threshold. Is greater than or equal to the luminance gradient threshold value in the comparison determination with the luminance gradient threshold value, the pixel is an edge detection determination unit that determines the vertical and oblique edges of the moving subject, and one line A moving pixel cumulative count unit that counts the cumulative number of moving pixels as many as the number of diagonal edges found, a moving pixel cumulative count number and a still pixel cumulative count number in the current field, An approximation degree determination unit that detects a repeat field compared to the still pixel cumulative count number and performs an inverse 23 conversion process to return to the original progressive video;
have.

以上、開示の技術によれば、映像信号の動き画素変化の顕著な縦・斜めエッジ部分に着目してリピートフィールドを検出するようにしたので、ブロックノイズや古いシネマ映像などに耐性をもつ、フィルムモード検出装置、フィルムモード検出方法、およびプログラムを提供できる。   As described above, according to the disclosed technology, the repeat field is detected by paying attention to the vertical and oblique edge portions where the change of the moving pixel of the video signal is remarkable, so that the film is resistant to block noise and old cinema video. A mode detection device, a film mode detection method, and a program can be provided.

本発明の一実施形態におけるフィルムモード検出装置の構成図である。It is a block diagram of the film mode detection apparatus in one Embodiment of this invention. 本発明の一実施形態におけるフィールドモード検出手順の全体フローチャートである。It is a whole flowchart of the field mode detection procedure in one Embodiment of this invention. 本発明によるエッジ検出判定の説明図(その1)である。It is explanatory drawing (the 1) of edge detection determination by this invention. 本発明によるエッジ検出判定の説明図(その2)である。It is explanatory drawing (the 2) of edge detection determination by this invention. 本発明による近似度判定の説明図である。It is explanatory drawing of the approximation degree determination by this invention. 本発明の一実施形態におけるフィールドモード検出手順の詳細フローチャート(その1)である。It is a detailed flowchart (the 1) of the field mode detection procedure in one Embodiment of this invention. 本発明の一実施形態におけるフィールドモード検出手順の全体フローチャート(その2)である。It is a whole flowchart (the 2) of the field mode detection procedure in one Embodiment of this invention. 23プルダウンシーケンス検出を示す説明図(その1)である。It is explanatory drawing (the 1) which shows 23 pulldown sequence detection. 23プルダウンシーケンス検出を示す説明図(その2)である。It is explanatory drawing (the 2) which shows 23 pulldown sequence detection.

図1は、本発明の一実施形態におけるフィルムモード検出装置の構成図である。図1に示すように、フィルムモード検出装置は、2つのフィールドメモリ1、1とフレーム間差分絶対値算出部2と、差分絶対値判定部3と、静止画素累積数カウント部4と、偏り検出部5と、輝度判定部6と、エッジ検出判定部7と、動き画素累積数カウント部8と、近似度判定部9を備える。 FIG. 1 is a configuration diagram of a film mode detection apparatus according to an embodiment of the present invention. As shown in FIG. 1, the film mode detection apparatus includes two field memories 1 1 , 1 2 , an inter-frame difference absolute value calculation unit 2, a difference absolute value determination unit 3, a still pixel cumulative number counting unit 4, A bias detection unit 5, a luminance determination unit 6, an edge detection determination unit 7, a moving pixel cumulative number counting unit 8, and an approximation degree determination unit 9 are provided.

フィールドメモリ1、1は、連続する2フィールド分のインタレース映像の入力映像であるF(n)とF(n−1)を各々記憶する。 The field memories 1 1 and 1 2 store F (n) and F (n−1), which are input images of interlaced video for two consecutive fields, respectively.

フレーム間差分絶対値算出部2は、フィールドメモリ1、1から出力された映像信号としてF(n)とF(n−1)を受け、フレーム間差分の絶対値を算出する。 The inter-frame difference absolute value calculation unit 2 receives F (n) and F (n−1) as video signals output from the field memories 1 1 and 1 2 and calculates the absolute value of the inter-frame difference.

差分絶対値判定部3は、映像信号の画素単位にフレーム間差分絶対値算出部2で算出した差分絶対値が動き閾値より大か小かにより、入力映像の動き有り、または、入力映像の動き無しと判定する。   The difference absolute value determination unit 3 has the motion of the input video or the motion of the input video depending on whether the difference absolute value calculated by the inter-frame difference absolute value calculation unit 2 is larger or smaller than the motion threshold for each pixel of the video signal. Judge that there is no.

静止画素累積数カウント部4は、フレーム間差分絶対値≦動き閾値の場合は、映像信号の画素について動き無しとして、静止画素累積数を1カウントアップする。   When the absolute difference between frames is equal to or less than the motion threshold, the still pixel cumulative number counting unit 4 counts up the still pixel cumulative number by 1 assuming that there is no motion for the pixels of the video signal.

偏り検出部5は、現フィールドと過去数フィールドの静止画素累積数を比較し、静止画素累積数が大きいフィールドを偏りある映像として検出する。   The bias detection unit 5 compares the still pixel cumulative number of the current field and the past number field, and detects a field having a large still pixel cumulative number as a biased image.

輝度判定部6は、差分絶対値判定部3にて入力信号の動き有りと判定されると、フレーム間差分絶対値は輝度変化を見る輝度変化の閾値1,2との比較判定を行なう。   When the difference absolute value determination unit 3 determines that there is a motion of the input signal, the luminance determination unit 6 compares and determines the interframe difference absolute value with the luminance change thresholds 1 and 2 for viewing the luminance change.

エッジ検出判定部7は、輝度判定部6にて輝度変化が大きいと判定されると、その対象画素の周辺画素のフレーム間輝度の微分から得られる輝度勾配値が、輝度勾配閾値との比較判定において輝度勾配閾値以上であるときには、その画素は動く画素の斜めエッジ又は縦エッジと判定する。   When the luminance determination unit 6 determines that the luminance change is large, the edge detection determination unit 7 compares the luminance gradient value obtained from the differentiation of the inter-frame luminance of the surrounding pixels of the target pixel with the luminance gradient threshold value. When the pixel is equal to or greater than the luminance gradient threshold value in FIG.

動き画素累積数カウント部8は、1ライン上で有効とされた縦、斜めエッジを動き画素累積数としてカウントアップする。すなわち、インタレース上で縦エッジと斜めエッジは、必ずラインを跨ぐため、動き画素を確実に特定できる。   The moving pixel cumulative number counting unit 8 counts up the vertical and diagonal edges that are valid on one line as the moving pixel cumulative number. In other words, since the vertical edge and the diagonal edge always cross the line on the interlace, the moving pixel can be reliably specified.

近似度判定部9は、現フィールドの動き画素累積数の判定と静止画素累積数の判定の両者の判定結果のAND条件により、リピートフィールドを検知し、もとのプログレッシブ映像に戻すための逆23変換処理である23プルダウンシーケンスを検出する。   The degree-of-approximation determination unit 9 detects the repeat field based on the AND condition of both the determination of the cumulative number of motion pixels in the current field and the determination of the cumulative number of still pixels, and reverse 23 for returning to the original progressive video. A 23 pull-down sequence which is a conversion process is detected.

以上の構成により、フィルムモード検出装置は、入力映像の連続するフレーム間差分絶対値と輝度変化をみる動き閾値の比較により画素単位に動く被写体の縦、斜めエッジの存在を検出する。そして、縦、斜めエッジにより特定されるライン方向の動き画素が確実に検出される。   With the above configuration, the film mode detection device detects the presence of vertical and oblique edges of a subject moving in units of pixels by comparing the absolute value of the difference between successive frames of the input video and the motion threshold value for viewing the luminance change. Then, the moving pixels in the line direction specified by the vertical and diagonal edges are reliably detected.

一方、23プルダウンシーケンスを行う上で必要なリピートフィールドの検出は、動きの無いダミー画素の検出で行なわれるから、本発明のフィルムモード検出装置は、過去5フィールド分の動き画素数と静止画素数の変動に基づく近似値を計算することでリピートフィールドの存在を検出できる。   On the other hand, since the repeat field detection necessary for performing the 23 pull-down sequence is performed by detecting a dummy pixel having no motion, the film mode detection device of the present invention has the number of motion pixels and the number of still pixels for the past five fields. It is possible to detect the presence of a repeat field by calculating an approximate value based on the fluctuations of.

図2は、本発明の一実施形態におけるフィールドモード検出手順の全体フローチャートである。以下に、フィールドモード検出装置の検出手順について説明する。   FIG. 2 is an overall flowchart of a field mode detection procedure according to an embodiment of the present invention. The detection procedure of the field mode detection device will be described below.

S1.フレーム間差分絶対値算出部2において、連続する2フィールド分の入力映像のフレーム間差分の絶対値を算出する。   S1. The interframe difference absolute value calculation unit 2 calculates the absolute value of the interframe difference of the input video for two consecutive fields.

S2.差分絶対値判定部3において、画素単位にフレーム間差分絶対値算出部2にて算出したフレーム間差分絶対値と、輝度変化があるかを見る動き閾値とを比較して動き有、または動き無を判定する。   S2. The absolute difference determination unit 3 compares the absolute value of the interframe difference calculated by the interframe difference absolute value calculation unit 2 for each pixel with the motion threshold value for determining whether there is a change in luminance, or has motion or no motion. Determine.

S3.前述のS2にて、フレーム間差分絶対値が動き閾値より大(動き有り)である場合に、輝度判定部6で輝度変化をみる輝度変化閾値との比較判定を行なう。   S3. In S2 described above, when the interframe difference absolute value is larger than the motion threshold value (with motion), the luminance determination unit 6 performs a comparison determination with the luminance change threshold value to see the luminance change.

S4.前述のS3にて、フレーム間差分絶対値が、輝度変化閾値より大であれば、その対象画素に対し、周辺画素のフレーム間輝度の微分から得られる輝度勾配値が、輝度勾配閾値との比較判定において輝度勾配閾値以上であるときには、その画素は動く画素の斜めエッジ又は縦エッジと判定する。(図3、図4にて詳細説明する)
S5.前述のS3にて、差分絶対値が動き閾値より小であれば、動き無しとして、静止画素累積数カウント部4にて、1カウントアップする。
S4. In S3 described above, if the interframe difference absolute value is larger than the luminance change threshold, the luminance gradient value obtained from the differentiation of the interpixel luminance of the surrounding pixels is compared with the luminance gradient threshold for the target pixel. If the luminance gradient threshold value is greater than or equal to the threshold value, the pixel is determined to be an oblique edge or vertical edge of a moving pixel. (This will be explained in detail in FIGS. 3 and 4)
S5. If the absolute difference value is smaller than the motion threshold value in S3 described above, the still pixel cumulative number counting unit 4 counts up by 1 as no motion.

S6.現フィールドと過去数フィールドの静止画素累積数を比較し、静止画素累積数が大きいフィールドを偏りある映像として検出する。   S6. The current pixel and the past number field still pixel accumulation number are compared, and a field having a large still pixel accumulation number is detected as a biased image.

S7.1ライン内でエッジを見つけた数だけカウントアップされた動き画素累積数がフィールド間で近似しているかを判定するとともに、前述のS6にて偏りの検出の際に求めた静止画素累積数がフィールド間で近似しているかの判定結果とのAND条件により、リピートフィールドを検知し、元のプログレッシブ映像に戻すための逆23変換処理である23プルダウンシーケンスを検出する。(図5にて詳細説明する)
以上のように、本実施形態では、対象画素にエッジ存在ありの可能性を判断し、次いで、画素単位に動く被写体の縦、斜めエッジの存在を検出する。
S7.1: Determine whether the cumulative number of moving pixels counted up by the number of edges found in the line approximates between fields, and determine the cumulative number of still pixels obtained when detecting bias in S6 described above Is detected based on the AND condition with the determination result of whether or not the field is approximated, and a 23 pull-down sequence, which is an inverse 23 conversion process for returning to the original progressive video, is detected. (This will be explained in detail in FIG. 5)
As described above, in the present embodiment, the possibility of the presence of an edge in the target pixel is determined, and then the presence of vertical and oblique edges of the subject moving in pixel units is detected.

そして、インタレース上で縦、斜めエッジは、必ずラインを跨ぐために、動き画素を確実に検出される。   Since the vertical and oblique edges always cross the line on the interlace, the moving pixels are surely detected.

前述のS4にて、縦、斜めエッジ有効候補の判定は、1ライン毎にTopフィールドのエッジ有効の数(動き画素カウント数)とBottomフィールドのエッジ有効の数(動き画素カウント数)により求めるが、図3と図4にて詳述する。   In S4 described above, the vertical / diagonal edge valid candidates are determined by the number of valid edges (moving pixel count) in the Top field and the number of valid edges (moving pixel count) in the Bottom field for each line. 3 and 4 will be described in detail.

一方、23プルダウンシーケンスを検出するために必要なリピートフィールドは、動きの無いダミー画素であることから、開示の技術は、過去5フィールド分の隣接フィールドの動き画素数と静止画素数の変動状態である近似値の判定を行なうことでリピートフィールドの存在を求めるが、図5にて詳述する。   On the other hand, since the repeat field necessary for detecting the 23 pull-down sequence is a dummy pixel having no motion, the disclosed technique is based on the fluctuation state of the number of motion pixels and the number of still pixels in the adjacent field for the past five fields. The presence of a repeat field is obtained by determining a certain approximate value, which will be described in detail with reference to FIG.

図3は、本発明によるエッジ検出判定の説明図(その1)である。以下にエッジ検出判定の動作を説明する。   FIG. 3 is an explanatory diagram (part 1) of edge detection determination according to the present invention. The operation of edge detection determination will be described below.

S11.例として、現フィールドであるBot#4(Bottomフィールド4)と2フィールド前のBot#2(Bottomフィールド2)間での輝度変化判定処理を示す。具体的には、フレーム間差分絶対値が、輝度変化をみる輝度変化閾値との比較判定において輝度変化閾値以上である場合に、対象画素にエッジ存在有りの可能性を判断する。   S11. As an example, a luminance change determination process between Bot # 4 (Bottom field 4) which is the current field and Bot # 2 (Bottom field 2) two fields before is shown. Specifically, when the absolute difference between frames is equal to or greater than the luminance change threshold in the comparison determination with the luminance change threshold for viewing the luminance change, the possibility that the target pixel has an edge is determined.

S12.周辺画素を含む対象画素Iに対して、周辺画素のフレーム間輝度の微分を求めて、輝度勾配(p0〜p8)を得る。エッジ候補の検出は、p4(輝度勾配)が、勾配閾値との比較判定において、勾配閾値以上である場合に検出できる。ソーベルFilterは、縦線や横線のエッジだけを検出するフィルタであり、縦方向検出の重み付け値(オペレータ)を示す。   S12. For the target pixel I including the peripheral pixels, the inter-frame luminance differentiation of the peripheral pixels is obtained to obtain a luminance gradient (p0 to p8). Edge candidates can be detected when p4 (luminance gradient) is equal to or greater than the gradient threshold in the comparison determination with the gradient threshold. The Sobel Filter is a filter that detects only edges of vertical lines and horizontal lines, and indicates a weight value (operator) for vertical direction detection.

S13.1ライン上で、縦、斜めエッジ候補を検出し、その時点で動き画素累積数をカウントアップする。   S13.1 Vertical and diagonal edge candidates are detected on the line, and the cumulative number of moving pixels is counted up at that time.

図4、本発明によるエッジ検出判定の説明図(その2)である。以下にエッジ検出判定の動作を説明する。   FIG. 4 is an explanatory diagram (part 2) of edge detection determination according to the present invention. The operation of edge detection determination will be described below.

縦、斜めエッジ有効候補の判定は、TopフィールドとBottomフィールドのライン毎にエッジ有効フラグ1の比較を行なう。   The determination of the vertical and diagonal edge valid candidates is performed by comparing the edge valid flag 1 for each line of the Top field and the Bottom field.

すなわち、Topフィールド側のエッジ有効ライン番号とBottomフィールド側のエッジ有効ライン番号が等しく、且つ、Topフィールド側の動き画素カウント数とBottomフィールド側の動き画素カウント数が近い場合(有効フラグ数分存在していた場合)に、TopフィールドのエッジとBottomフィールドのエッジは、同じ映像であるとする。   That is, when the effective edge number on the Top field side and the effective edge line number on the Bottom field side are equal, and the motion pixel count number on the Top field side is close to the motion pixel count number on the Bottom field side (the number of valid flags exists) In this case, the edge of the Top field and the edge of the Bottom field are the same video.

なお、Topフィールドは、インタレース信号の偶数列であり、Bottomフィールドは、インタレース信号の奇数列である。   The Top field is an even sequence of interlace signals, and the Bottom field is an odd sequence of interlace signals.

図5は、本発明による近似度判定の説明図である。統計量格納テーブルは、近似度判定部9内に設けられており、近似度判定のために統計格納テーブルに格納されたデータを基にリピートフィールドを検出する。   FIG. 5 is an explanatory diagram of the approximation determination according to the present invention. The statistic storage table is provided in the approximation determination unit 9 and detects a repeat field based on data stored in the statistics storage table for determination of the approximation.

本格納例は、現フィールドであるフィールド#5を基準に5フィールド前のフィールド#0との間の各フィールドの動き画素累積数と静止画素累積数のカウント値を使って、過去5フィールド分の隣接する画素カウント値を比較する。   In this storage example, the past five fields are counted by using the motion pixel cumulative number and the still pixel cumulative number of each field between the current field # 5 and the field # 0 five fields before. Adjacent pixel count values are compared.

なお、過去5フィールド分の画素カウントを調べるだけで良い理由は、インタレース映像信号で用いるリピートフィールドが5フィールド毎に存在するからである。   The reason why it is only necessary to check the pixel counts for the past five fields is that there are repeat fields used for interlaced video signals every five fields.

動き画素累積数の判定条件は、
(1)動き画素累積数の近似しているフィールドがあるか?
→フィールド#1とフィールド#2が近似し、フィールド#3とフィールド#4が近似している。
(2)動き画素累積数が最小値のフィールドは?
→フィールド#0とフィールド#5が共に最小値である。
The judgment condition of the moving pixel cumulative number is
(1) Is there a field that approximates the cumulative number of motion pixels?
→ Field # 1 and field # 2 are approximated, and field # 3 and field # 4 are approximated.
(2) Which field has the minimum number of moving pixels?
→ Field # 0 and field # 5 are both minimum values.

静止画素累積数の判定条件は、
(3)静止画素累積数が最大値のフィールドは?
→フィールド#0とフィールド#5が共に最小値である。
The criteria for determining the cumulative number of still pixels are:
(3) Which field has the maximum number of still pixels accumulated?
→ Field # 0 and field # 5 are both minimum values.

以上の(1)、(2)、(3)のAND条件を満足するフィールドを選択する。
→フィールド#0とフィールド#5がリピートフィールドであることを認知し、その結果、23プルダウンシーケンスの検出ができる。以上により、元のプログレッシブ映像に戻すことが可能になる。
A field that satisfies the AND conditions (1), (2), and (3) above is selected.
→ Recognizing that field # 0 and field # 5 are repeat fields, as a result, 23 pull-down sequences can be detected. Thus, it is possible to return to the original progressive video.

図6は、本発明の一実施形態におけるフィールドモード検出手順の詳細フローチャート(その1)である。以下に、フィールドモード検出装置の検出手順について説明する。   FIG. 6 is a detailed flowchart (part 1) of the field mode detection procedure according to the embodiment of the present invention. The detection procedure of the field mode detection device will be described below.

S21.フレーム間差分絶対値算出部2において、連続する2フィールド分の入力映像のフレーム間差分の絶対値を算出する。   S21. The interframe difference absolute value calculation unit 2 calculates the absolute value of the interframe difference of the input video for two consecutive fields.

S22.差分絶対値判定部3において、画素単位にフレーム間差分絶対値と、動き閾値とを比較して動き有り、または動き無しを判定する。   S22. The difference absolute value determination unit 3 compares the inter-frame difference absolute value and the motion threshold value for each pixel to determine whether there is motion or no motion.

S23.前述のS22にて動き有りの場合、現フィールドと2フィールド前の過去フィールド間での輝度変化判定処理を行う。具体的には、フレーム間差分絶対値が、輝度変化をみる輝度変化閾値との比較判定において輝度変化閾値以上であるか否かを判断する。   S23. When there is a motion in S22 described above, a luminance change determination process is performed between the current field and the past field two fields before. Specifically, it is determined whether or not the absolute value of the inter-frame difference is equal to or greater than the luminance change threshold in the comparison determination with the luminance change threshold for viewing the luminance change.

S24.前述のS23にて、輝度閾値をフレーム間差分絶対値>輝度変化閾値の場合には、エッジ検出判定部7にて動く被写体の縦、斜めエッジの存在を検出する。   S24. In S23 described above, when the luminance threshold value is the absolute value of the difference between frames> the luminance change threshold value, the edge detection determination unit 7 detects the presence of vertical and oblique edges of the moving subject.

S25.差分絶対値が動き閾値より小であれば、動き無しとして、静止画素累積数カウント部4にて、1カウントアップする。   S25. If the absolute difference value is smaller than the motion threshold, the still pixel cumulative number counting unit 4 counts up by 1 as no motion.

S26.偏り検出部5にて現フィールドと過去数フィールドの静止画素累積数を比較し、静止画素累積数が大きいフィールドを偏りある映像として検出する。   S26. The bias detector 5 compares the still pixel cumulative numbers of the current field and the past number fields, and detects a field having a large still pixel cumulative number as a biased image.

S27.対象画素に対し、周辺画素のフレーム間輝度の微分から得られる輝度勾配値が、輝度勾配閾値との比較判定において輝度勾配閾値以上であるか否かを判断する。   S27. It is determined whether or not the luminance gradient value obtained from the differentiation of the inter-frame luminance of the surrounding pixels is greater than or equal to the luminance gradient threshold in the comparison determination with the luminance gradient threshold.

S28.前述のS27にて、輝度勾配値が輝度勾配閾値より大の場合には、1ライン上で、縦、斜めエッジ候補を検出し、その時点で動き画素累積数カウント部8にて、動き画素累積数をカウントし、エッジ有効フラグ=1(有効)とする。   S28. When the luminance gradient value is larger than the luminance gradient threshold value in S27 described above, vertical and diagonal edge candidates are detected on one line, and the moving pixel accumulation number counting unit 8 at that time detects the moving pixel accumulation. The number is counted, and the edge valid flag = 1 (valid).

S29.1ライン上での縦、斜めエッジ候補が存在せず、1ライン分の処理が終了したか否かを判断し、まだ、1ライン分の処理が終了していない場合、前述のS21に戻る。   S29.1: It is determined whether there is no vertical or oblique edge candidate on the line and the processing for one line has been completed. If the processing for one line has not been completed yet, the process proceeds to S21 described above. Return.

S30.前述のS28にて、1ライン分の処理が終了した場合に、更に、一定ライン数以上での縦、斜めエッジ候補が存在するか否かを判断する。   S30. In the above-described S28, when the processing for one line is completed, it is further determined whether or not there are vertical and oblique edge candidates with a certain number of lines or more.

S31.前述のS29にて、一定Line数以上での縦、斜めエッジ候補が存在しない場合には、動き画素累積数を0にクリアする。   S31. In the above-described S29, if there are no vertical and oblique edge candidates with a certain number of lines or more, the moving pixel cumulative number is cleared to zero.

S32.前述のS29にて、一定Line数以上での縦、斜めエッジ候補が存在する場合には、1Field分の処理が終了したか否かを判断し、まだ、1Field分の処理が終了していない場合、前述のS21に戻る。   S32. In S29 described above, when there are vertical and diagonal edge candidates with a certain number of lines or more, it is determined whether or not the processing for 1 Field has been completed, and the processing for 1 Field has not been completed yet. The process returns to S21 described above.

以上の詳細フローチャート(その1)は、図2で説明した全体フローチャートの内、エッジ検出の判定に基づくエッジ有効フラグと動き画素累積数のカウントの関係について詳述すると共に、1ライン毎のエッジ検出から1フィールド分終了までの流れを示している。   The above detailed flowchart (part 1) details the relationship between the edge valid flag based on the edge detection determination and the count of the cumulative number of motion pixels in the overall flowchart described with reference to FIG. 2, and the edge detection for each line. To the end of one field.

すなわち、インタレース上で、縦、斜めエッジだけ見れば、必ずラインを跨ぐため、動き画素累積数のブレが少なく、更に、一定以上のライン数の連続性を見ると、縦エッジ候補が有効(エッジ有効フラグ=1)であれば、縦エッジをブロックノイズとして誤検出しない点に着目している。   That is, if only vertical and diagonal edges are seen on the interlace, the lines always cross the line, so there is little blurring of the cumulative number of moving pixels, and if the continuity of the number of lines above a certain level is seen, vertical edge candidates are effective ( If the edge valid flag = 1), attention is paid to the fact that the vertical edge is not erroneously detected as block noise.

よって、ブロックノイズや古いシネマ映像のノイズに対する耐性を持つフィルムモードの検出ができる。   Therefore, it is possible to detect a film mode having resistance against block noise and old cinema video noise.

図7は、本発明の一実施形態におけるフィールドモード検出手順の詳細フローチャート(その2)である。以下に、フィールドモード検出装置の検出手順について説明する。   FIG. 7 is a detailed flowchart (part 2) of the field mode detection procedure according to the embodiment of the present invention. The detection procedure of the field mode detection device will be described below.

S33.図6にて1画面処理終了後、確定したエッジ有効フラグ=1(有効)のLineごとの比較を行ない、Top側のエッジ有効Line番号と、Bottom側のエッジ有効Line番号が等しいか否かを確認する。   S33. In FIG. 6, after the end of one screen processing, comparison is made for each line of the determined edge valid flag = 1 (valid), and it is determined whether or not the top edge valid line number is equal to the bottom edge valid line number. Check.

S34.前述のS33にて、Top側のエッジ有効Line番号と、Bottom側のエッジ有効Line番号が等しく、且つ、Top側動き画素カウント数とBottom側動き画素カウント数が近い場合には、Topフィールドのエッジと、Bottomフィールドのエッジは同じ映像であるとして、プログレッシブ候補とする。   S34. If the Top side edge effective line number is the same as the Bottom side edge effective line number and the Top side motion pixel count number is close to the Bottom side motion pixel count number in S33 described above, the edge of the Top field Assuming that the edge of the Bottom field is the same video, it is set as a progressive candidate.

S35.近似値判定処理は、近似度判定部9に付随して備えてある統計量格納テーブル(図5参照)に格納されている、フィールド毎の静止画素累積数と動き画素累積数とから、近似値の判定処理を実施する。   S35. The approximate value determination process is performed by calculating an approximate value from the accumulated number of still pixels and the accumulated number of motion pixels for each field stored in a statistic storage table (see FIG. 5) attached to the approximate degree determination unit 9. Perform the determination process.

S36.現フィールドの動き画素累積数と過去5フィールド分の動き画素累積数の変動を比較してリピートフィールドの存在を判定する。   S36. The presence of a repeat field is determined by comparing the motion pixel cumulative number of the current field with the fluctuations of the motion pixel cumulative number for the past five fields.

S37.本例では、現フィールドをBottom#5に設定し、Bottom#1とTop#2の動き画素累積数が近似し、Bottom#3とTop#4の動き画素累積数が近似しているか否かを判定する。   S37. In this example, the current field is set to Bottom # 5, the accumulated motion pixel numbers of Bottom # 1 and Top # 2 are approximated, and whether the accumulated motion pixel numbers of Bottom # 3 and Top # 4 are approximated or not is determined. judge.

S38.Top#0とBottom#5の動き画素累積数が、Bottom1〜Top#4の動き画素累積数より共に最小値であるか否かを判定する。   S38. It is determined whether or not the cumulative number of motion pixels of Top # 0 and Bottom # 5 is a minimum value from the cumulative number of motion pixels of Bottom 1 to Top # 4.

S39.現フィールドの静止画素累積数と過去5フィールド分の静止画素累積数の変動を比較してリピートフィールドの存在を判定する。   S39. The presence of the repeat field is determined by comparing the number of still pixels accumulated in the current field with the variation in the number of still pixels accumulated for the past five fields.

S40.Top#0とBottom#5の静止画素累積数が、Bottom1〜Top#4の静止画素累積数より共に最大値であるか否かを判定する。   S40. It is determined whether the cumulative number of still pixels of Top # 0 and Bottom # 5 is the maximum value together with the cumulative number of still pixels of Bottom 1 to Top # 4.

S41.前述のS39にて、Top#0とBottom#5の静止画素累積数が、Bottom1〜Top#4の静止画素累積数より共に最大値である場合に、Top#0とBottom#5がリピートフィールドであることを認識し、インタレース映像信号をプログレッシブ映像信号にIP(Interlace to Progressive)変換するトランスフォームIP変換を行なう。   S41. In S39 described above, when the cumulative number of still pixels of Top # 0 and Bottom # 5 is both the maximum value of the cumulative number of still pixels of Bottom1 to Top # 4, Top # 0 and Bottom # 5 are repeat fields. Recognizing this, transform IP conversion is performed to convert an interlaced video signal into a progressive video signal by IP (Interlace to Progressive).

S42.前述のS37、S38、およびS40において、全て否(No)の場合は、フィールド画像をブロックに分割し、所定の探索エリア内でブロックマッチングを行なうことで、ブロック毎に動きベクトル検出を行ない、その動きベクトルに応じ、インタレース映像の映像信号をプログレッシブ映像の映像信号にIP(Interlace to Progressive)変換する動き適応IP変換が行なわれる。   S42. If all of the above S37, S38, and S40 are NO (No), the field image is divided into blocks, and block matching is performed within a predetermined search area, thereby performing motion vector detection for each block. In accordance with the motion vector, motion adaptive IP conversion is performed in which an interlace to video signal is converted from an interlace video signal to a progressive video signal.

なお、トランスフォームIP変換および動き適応IP変換は、共に既存技術であるため、詳細説明を省略する。   Since transform IP conversion and motion adaptive IP conversion are both existing technologies, detailed description thereof is omitted.

以上の詳細フローチャート(その2)は、図2で説明した全体フローチャートの内、近似度の判定について詳述するもので、S40までの判定の結果、目的とするリピートフィールドを検出できる。次にリピートフィールを削除してインタレース映像の映像信号をプログレッシブ映像の映像信号にIP(Interlace to Progressive)変換するトランスフォームIP変換までの流れを示している。   The detailed flowchart (No. 2) described above details the determination of the degree of approximation in the overall flowchart described with reference to FIG. 2. As a result of the determination up to S40, the target repeat field can be detected. Next, the flow up to transform IP conversion in which the repeat field is deleted and IP (Interlace to Progressive) conversion of the video signal of the interlace video into the video signal of the progressive video is shown.

本発明のフィルムモード検出方法は、23プルダウンシーケンス検出を行なう上で必要な、リピートフィールドの検出を過去5フィールド分の動き画素数と静止画素数の変動に基づく近似値を計算することでリピートフィールドの存在を検出できる。   According to the film mode detection method of the present invention, the repeat field detection necessary for performing the 23 pull-down sequence detection is performed by calculating an approximate value based on fluctuations in the number of moving pixels and the number of still pixels for the past five fields. The presence of can be detected.

以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
入力されたインタレース映像の映像信号を連続する複数フィールド分入力し、フレーム間差分絶対値を算出するフレーム間差分絶対値算出部と、
前記映像信号の画素単位に、前記フレーム間差分絶対値と動き閾値を比較する差分絶対値判定部と、
前記フレーム間差分絶対値が動き閾値より大と判定された画素に対し、前記フレーム間差分絶対値と輝度変化閾値を比較する輝度判定部と、
前記フレーム間差分絶対値が前記輝度変化閾値より大と判定された画素に対し、前記画素の周辺画素のフレーム間輝度の微分から得られる輝度勾配値が、輝度勾配閾値との比較判定において輝度勾配閾値以上であるときには、前記画素は動く被写体の縦、斜めエッジと判定するエッジ検出判定部と、
1ライン上で縦、斜めエッジを見つけた数だけ動き画素累積数をカウントアップする動き画素累積数カウント部と、
現フィールドの動き画素累積カウント数と静止画素累積カウント数を、過去5フィールド分の動き画素累積カウント数と静止画素累積カウント数と比較してリピートフィールドを検出し、もとのプログレッシブ映像に戻すための逆23変換処理する近似度判定部と、
を有することを特徴とするフィルムモード検出装置。
(付記2)
付記1において、
前記差分絶対値判定部は、前記輝度判定部に置き換えることができることを特徴とするフィルムモード検出装置。
(付記3)
付記1において、
前記近似度判定部は、現フィールドと過去5フィールド分の隣接するフィールドの動き画素累積数の判定と静止画累積数の判定を行ない、
前記動き画素累積数の判定は、第1フィールドと第2フィールドの動き画素累積数が近似し、第3フィールドと第4フィールドの動き画素累積数が近似していると共に、現フィールドと5フィールド前のフィールドの動き画素累積数が共に第1フィールド乃至第5フィールドの動き画素累積数と比較して最小値を示し、
前記静止画素累積数の判定は、現フィールドと過去5フィールド前のフィールドの静止画素累積数が共に第1フィールド乃至第5フィールドの静止画素累積数と比較して最大値を示し、
現フィールドは、上記動き画像累積数判定の結果と静止画素累積判定の結果のAND条件により、リピートフィールドであるを検出することを特徴とするフィルムモード検出装置。
(付記4)
入力されたインタレース映像の映像信号を連続する複数フィールド分入力し、フレーム間差分絶対値を算出する第1ステップと、
前記映像信号の画素単位に、前記フレーム間差分絶対値と動き閾値を比較する第2ステップと、
前記フレーム間差分絶対値が動き閾値より大と判定された画素に対し、前記フレーム間差分絶対値と輝度変化閾値を比較する第3ステップと、
前記フレーム間差分絶対値が前記輝度変化閾値より大と判定された画素に対し、前記画素の周辺画素のフレーム間輝度の微分から得られる輝度勾配値が、輝度勾配閾値との比較判定において輝度勾配閾値以上であるときには、前記画素は動く被写体の縦、斜めエッジと判定する第4ステップと、
1ライン上で縦、斜めエッジを見つけた数だけ動き画素累積数をカウントアップする第5ステップと、
現フィールドの動き画素累積カウント数と静止画素累積カウント数を、過去5フィールド分の動き画素累積カウント数と静止画素累積カウント数と比較してリピートフィールドを検出する、もとのプログレッシブ映像に戻すための逆23変換処理する第6ステップと、
を含むことを特徴とするフィルムモード検出方法。
(付記5)
付記4において、
前記第2ステップは、前記第3ステップに置き換えることができることを特徴とするフィルムモード検出方法。
(付記6)
付記4において、
前記第6ステップは、現フィールドと過去5フィールド分の隣接するフィールドの動き画素累積数の判定と静止画累積数の判定を行ない、
前記動き画素累積数の判定は、第1フィールドと第2フィールドの動き画素累積数が近似し、第3フィールドと第4フィールドの動き画素累積数が近似していると共に、現フィールドと5フィールド前のフィールドの動き画素累積数が共に第1フィールド乃至第5フィールドの動き画素累積数と比較して最小値を示し、
前記静止画素累積数の判定では、現フィールドと過去5フィールド前のフィールドの静止画素累積数が共に第1フィールド乃至第5フィールドの静止画素累積数と比較して最大値を示し、
現フィールドは、上記動き画像累積数判定の結果と静止画素累積判定の結果のAND条件により、リピートフィールと検出することを特徴とするフィルムモード検出方法。
(付記7)
コンピュータに、
入力されたインタレース映像の映像信号を連続する複数フィールド分入力し、フレーム間差分絶対値を算出する第1ステップと、
前記映像信号の画素単位に、前記フレーム間差分絶対値と動き閾値を比較する第2ステップと、
前記フレーム間差分絶対値が動き閾値より大と判定された画素に対し、前記フレーム間差分絶対値と輝度変化閾値を比較する第3ステップと、
前記フレーム間差分絶対値が前記輝度変化閾値より大と判定された画素に対し、前記画素の周辺画素のフレーム間輝度の微分から得られる輝度勾配値が、輝度勾配閾値との比較判定において輝度勾配閾値以上であるときには、前記画素は動く被写体の縦、斜めエッジと判定する第4ステップと、
1ライン上で縦、斜めエッジを見つけた数だけ動き画素累積数をカウントアップする第5ステップと、
現フィールドの動き画素累積カウント数と静止画素累積カウント数を、過去5フィールド分の動き画素累積カウント数と静止画素累積カウント数と比較してリピートフィールドを検出し、もとのプログレッシブ映像に戻すための逆23変換処理する第6ステップと、
を実行させることを特徴とするプログラム。
(付記8)
付記7において、
前記第2ステップは、前記第3ステップに置き換えることができることを特徴とするプログラム。
(付記9)
付記7において、
前記第6ステップは、現フィールドと過去5フィールド分の隣接するフィールドの動き画素累積数の判定と静止画累積数の判定を行ない、
前記動き画素累積数の判定は、第1フィールドと第2フィールドの動き画素累積数が近似し、第3フィールドと第4フィールドの動き画素累積数が近似していると共に、現フィールドと5フィールド前のフィールドの動き画素累積数が共に第1フィールド乃至第5フィールドの動き画素累積数と比較して最小値を示し、
前記静止画素累積数の判定は、現フィールドと過去5フィールド前のフィールドの静止画素累積数が共に第1フィールド乃至第5フィールドの静止画素累積数と比較して最大値を示し、
現フィールドは、上記動き画像累積数判定の結果と静止画素累積判定の結果のAND条件により、リピートフィールを検出することを特徴とするプログラム。
The following additional notes are further disclosed with respect to the embodiment including the above examples.
(Appendix 1)
An inter-frame difference absolute value calculation unit that inputs the input interlaced video signals for a plurality of continuous fields and calculates an inter-frame difference absolute value;
A difference absolute value determination unit that compares the difference absolute value between frames and a motion threshold value in units of pixels of the video signal;
A luminance determination unit that compares the absolute difference between frames with a luminance change threshold for a pixel for which the absolute difference between frames is determined to be greater than a motion threshold;
For a pixel for which the interframe difference absolute value is determined to be greater than the luminance change threshold, the luminance gradient value obtained from the differentiation of the interframe luminance of the surrounding pixels of the pixel is the luminance gradient in the comparison determination with the luminance gradient threshold. An edge detection determination unit that determines that the pixel is a vertical or oblique edge of a moving subject when the pixel is equal to or greater than a threshold;
A moving pixel cumulative number counting unit for counting up the cumulative number of moving pixels by the number of vertical and diagonal edges found on one line;
In order to detect the repeat field by comparing the moving pixel cumulative count number and still pixel cumulative count number of the current field with the moving pixel cumulative count number and still pixel cumulative count number for the past five fields, and to return to the original progressive video A degree-of-approximation determination unit that performs an inverse 23 conversion process;
A film mode detection apparatus comprising:
(Appendix 2)
In Appendix 1,
The film mode detection apparatus, wherein the difference absolute value determination unit can be replaced with the luminance determination unit.
(Appendix 3)
In Appendix 1,
The approximation degree determination unit determines the cumulative number of moving pixels and the cumulative number of still images of the current field and the adjacent fields for the past five fields,
In the determination of the cumulative number of motion pixels, the cumulative number of motion pixels in the first field and the second field are approximated, the cumulative number of motion pixels in the third field and the fourth field are approximated, and the current field and the previous five fields are determined. Both the cumulative number of motion pixels in the field No. 1 indicate the minimum value compared with the cumulative number of motion pixels in the first to fifth fields,
In the determination of the still pixel cumulative number, the still pixel cumulative number of the current field and the previous five fields is the maximum value compared with the still pixel cumulative number of the first to fifth fields,
A film mode detecting apparatus, wherein a current field is detected as a repeat field based on an AND condition of the result of moving image cumulative number determination and still pixel cumulative determination result.
(Appendix 4)
A first step of inputting an input interlaced video signal for a plurality of consecutive fields and calculating an inter-frame difference absolute value;
A second step of comparing the absolute value of the interframe difference with a motion threshold for each pixel of the video signal;
A third step of comparing the inter-frame difference absolute value with a luminance change threshold for a pixel for which the inter-frame difference absolute value is determined to be greater than a motion threshold;
For a pixel for which the interframe difference absolute value is determined to be greater than the luminance change threshold, the luminance gradient value obtained from the differentiation of the interframe luminance of the surrounding pixels of the pixel is the luminance gradient in the comparison determination with the luminance gradient threshold. A fourth step for determining that the pixel is a vertical or oblique edge of a moving subject when the threshold is equal to or greater than a threshold;
A fifth step of counting up the cumulative number of moving pixels by the number of vertical and diagonal edges found on one line;
To return the original progressive video to detect the repeat field by comparing the moving pixel cumulative count number and still pixel cumulative count number of the current field with the moving pixel cumulative count number and still pixel cumulative count number for the past five fields. A sixth step of performing an inverse 23 conversion process of
A film mode detection method comprising:
(Appendix 5)
In Appendix 4,
The film mode detection method, wherein the second step can be replaced with the third step.
(Appendix 6)
In Appendix 4,
The sixth step determines the cumulative number of moving pixels and the cumulative number of still images of the current field and the adjacent fields for the past five fields,
In the determination of the cumulative number of motion pixels, the cumulative number of motion pixels in the first field and the second field are approximated, the cumulative number of motion pixels in the third field and the fourth field are approximated, and the current field and the previous five fields are determined. Both the cumulative number of motion pixels in the field No. 1 indicate the minimum value compared with the cumulative number of motion pixels in the first to fifth fields,
In the determination of the number of still pixels, the number of still pixels accumulated in the current field and the previous five fields is the maximum compared to the number of still pixels accumulated in the first to fifth fields.
A film mode detection method, wherein a current field is detected as a repeat feel based on an AND condition of the result of motion image cumulative number determination and the result of still pixel cumulative determination.
(Appendix 7)
On the computer,
A first step of inputting an input interlaced video signal for a plurality of consecutive fields and calculating an inter-frame difference absolute value;
A second step of comparing the absolute value of the interframe difference with a motion threshold for each pixel of the video signal;
A third step of comparing the inter-frame difference absolute value with a luminance change threshold for a pixel for which the inter-frame difference absolute value is determined to be greater than a motion threshold;
For a pixel for which the interframe difference absolute value is determined to be greater than the luminance change threshold, the luminance gradient value obtained from the differentiation of the interframe luminance of the surrounding pixels of the pixel is the luminance gradient in the comparison determination with the luminance gradient threshold. A fourth step for determining that the pixel is a vertical or oblique edge of a moving subject when the threshold is equal to or greater than a threshold;
A fifth step of counting up the cumulative number of moving pixels by the number of vertical and diagonal edges found on one line;
In order to detect the repeat field by comparing the moving pixel cumulative count number and still pixel cumulative count number of the current field with the moving pixel cumulative count number and still pixel cumulative count number for the past five fields, and to return to the original progressive video A sixth step of performing an inverse 23 conversion process of
A program characterized by having executed.
(Appendix 8)
In Appendix 7,
The program in which the second step can be replaced with the third step.
(Appendix 9)
In Appendix 7,
The sixth step determines the cumulative number of moving pixels and the cumulative number of still images of the current field and the adjacent fields for the past five fields,
In the determination of the cumulative number of motion pixels, the cumulative number of motion pixels in the first field and the second field are approximated, the cumulative number of motion pixels in the third field and the fourth field are approximated, and the current field and the previous five fields are determined. Both the cumulative number of motion pixels in the field No. 1 indicate the minimum value compared with the cumulative number of motion pixels in the first to fifth fields,
In the determination of the still pixel cumulative number, the still pixel cumulative number of the current field and the previous five fields is the maximum value compared with the still pixel cumulative number of the first to fifth fields,
The current field is a program for detecting a repeat field based on an AND condition of the result of the moving image cumulative number determination and the result of the still pixel cumulative determination.

、1 フィールドメモリ
2 フレーム間差分絶対値算出部
3 差分絶対値判定部
4 静止画素累積数カウント部
5 偏り検出部
6 輝度判定部
7 エッジ検出判定部
8 動き画素累積数カウント部
9 近似度判定部
11 フィルム素材
12 ビデオ画像
DESCRIPTION OF SYMBOLS 1 1 1 , 1 2 field memory 2 Frame difference absolute value calculation part 3 Difference absolute value determination part 4 Still pixel accumulation number count part 5 Bias detection part 6 Luminance determination part 7 Edge detection determination part 8 Motion pixel accumulation number count part 9 Approximation Degree determination unit 11 Film material 12 Video image

Claims (4)

入力されたインタレース映像の映像信号を連続する複数フィールド分入力し、フレーム間差分絶対値を算出するフレーム間差分絶対値算出部と、
前記映像信号の画素単位に、前記フレーム間差分絶対値と動き閾値を比較する差分絶対値判定部と、
前記フレーム間差分絶対値が動き閾値より大と判定された画素に対し、前記フレーム間差分絶対値と輝度変化閾値を比較する輝度判定部と、
前記フレーム間差分絶対値が動き閾値より小と判定された画素を動き無しと判定して、静止画素累積カウント数を1カウントアップする静止画素累積数カウント部と、
前記フレーム間差分絶対値が前記輝度変化閾値より大と判定された画素に対し、前記画素の周辺画素のフレーム間輝度の微分から得られる輝度勾配値が、輝度勾配閾値との比較判定において輝度勾配閾値以上であるときには、前記画素は動く被写体の縦、斜めエッジと判定するエッジ検出判定部と、
1ライン上で縦、斜めエッジを見つけた数だけ動き画素累積数をカウントアップする動き画素累積数カウント部と、
現フィールドの動き画素累積カウント数と静止画素累積カウント数を、過去5フィールド分の動き画素累積カウント数と静止画素累積カウント数と比較してリピートフィールドであることを検出し、もとのプログレッシブ映像に戻すための逆23変換処理する近似度判定部と、
を有することを特徴とするフィルムモード変換装置。
An inter-frame difference absolute value calculation unit that inputs the input interlaced video signals for a plurality of continuous fields and calculates an inter-frame difference absolute value;
A difference absolute value determination unit that compares the difference absolute value between frames and a motion threshold value in units of pixels of the video signal;
A luminance determination unit that compares the absolute difference between frames with a luminance change threshold for a pixel for which the absolute difference between frames is determined to be greater than a motion threshold;
A pixel for which the absolute value between the frames is determined to be smaller than a motion threshold value is determined as no motion, and a still pixel cumulative number count unit that increments the still pixel cumulative count number by one;
For a pixel for which the interframe difference absolute value is determined to be greater than the luminance change threshold, the luminance gradient value obtained from the differentiation of the interframe luminance of the surrounding pixels of the pixel is the luminance gradient in the comparison determination with the luminance gradient threshold. An edge detection determination unit that determines that the pixel is a vertical or oblique edge of a moving subject when the pixel is equal to or greater than a threshold;
A moving pixel cumulative number counting unit for counting up the cumulative number of moving pixels by the number of vertical and diagonal edges found on one line;
The moving picture cumulative count number and still pixel cumulative count number of the current field are compared with the moving pixel cumulative count number and still pixel cumulative count number for the past five fields to detect that it is a repeat field, and the original progressive video An approximation determination unit that performs an inverse 23 conversion process to return to
A film mode conversion device comprising:
請求項1において、In claim 1,
前記近似度判定部は、現フィールドと過去5フィールド分の隣接するフィールドの動き画素累積数の判定と静止画素累積数の判定を行ない、The degree-of-approximation determination unit determines the cumulative number of motion pixels and the cumulative number of still pixels of adjacent fields for the current field and the past five fields,
前記動き画素累積数の判定は、第1フィールドと第2フィールドの動き画素累積数が近似し、第3フィールドと第4フィールドの動き画素累積数が近似していると共に、現フィールドと5フィールド前のフィールドの動き画素累積数が共に第1フィールド乃至第5フィールドの動き画素累積数と比較して最小値を示し、In the determination of the cumulative number of motion pixels, the cumulative number of motion pixels in the first field and the second field are approximated, the cumulative number of motion pixels in the third field and the fourth field are approximated, and the current field and the previous five fields are determined. Both the cumulative number of motion pixels in the field No. 1 indicate the minimum value compared with the cumulative number of motion pixels in the first to fifth fields,
前記静止画素累積数の判定は、現フィールドと過去5フィールド前のフィールドの静止画素累積数が共に第1フィールド乃至第5フィールドの静止画素累積数と比較して最大値を示し、In the determination of the still pixel cumulative number, the still pixel cumulative number of the current field and the previous five fields is the maximum value compared with the still pixel cumulative number of the first to fifth fields,
現フィールドは、上記動き画像累積数判定の結果と静止画素累積判定の結果のAND条件により、リピートフィールドを検出することを特徴とするフィルムモード変換装置。The film mode conversion device according to claim 1, wherein the current field detects a repeat field based on an AND condition of the result of the moving image cumulative number determination and the result of the still pixel cumulative determination.
入力されたインタレース映像の映像信号を連続する複数フィールド分入力し、フレーム間差分絶対値を算出する第1ステップと、A first step of inputting an input interlaced video signal for a plurality of consecutive fields and calculating an inter-frame difference absolute value;
前記映像信号の画素単位に、前記フレーム間差分絶対値と動き閾値を比較する第2ステップと、A second step of comparing the absolute value of the interframe difference with a motion threshold for each pixel of the video signal;
前記フレーム間差分絶対値が動き閾値より大と判定された画素に対し、前記フレーム間差分絶対値と輝度変化閾値を比較する第3ステップと、A third step of comparing the inter-frame difference absolute value with a luminance change threshold for a pixel for which the inter-frame difference absolute value is determined to be greater than a motion threshold;
前記フレーム間差分絶対値が動き閾値より小と判定された画素を動き無しと判定して、静止画素累積カウント数を1カウントアップする第4ステップと、A fourth step of determining that there is no motion for a pixel for which the absolute value between frame differences is smaller than a motion threshold, and incrementing the still pixel cumulative count by one;
前記フレーム間差分絶対値が前記輝度変化閾値より大と判定された画素に対し、前記画素の周辺画素のフレーム間輝度の微分から得られる輝度勾配値が、輝度勾配閾値との比較判定において輝度勾配閾値以上であるときには、前記画素は動く被写体の縦、斜めエッジと判定する第5ステップと、For a pixel for which the interframe difference absolute value is determined to be greater than the luminance change threshold, the luminance gradient value obtained from the differentiation of the interframe luminance of the surrounding pixels of the pixel is the luminance gradient in the comparison determination with the luminance gradient threshold. A fifth step for determining that the pixel is a vertical or oblique edge of a moving object when the threshold is equal to or greater than a threshold;
1ライン上で縦、斜めエッジを見つけた数だけ動き画素累積数をカウントアップする第6ステップと、A sixth step of counting up the cumulative number of moving pixels by the number of vertical and diagonal edges found on one line;
現フィールドの動き画素累積カウント数と静止画素累積カウント数を、過去5フィールド分の動き画素累積カウント数と静止画素累積カウント数と比較してリピートフィールドであることを検出し、もとのプログレッシブ映像に戻すための逆23変換処理する第7ステップと、The moving picture cumulative count number and still pixel cumulative count number of the current field are compared with the moving pixel cumulative count number and still pixel cumulative count number for the past five fields to detect that it is a repeat field, and the original progressive video A seventh step of performing an inverse 23 conversion process to return to
を含むことを特徴とするフィルムモード変換方法。A film mode conversion method comprising:
コンピュータに、On the computer,
入力されたインタレース映像の映像信号を連続する複数フィールド分入力し、フレーム間差分絶対値を算出する第1ステップと、A first step of inputting an input interlaced video signal for a plurality of consecutive fields and calculating an inter-frame difference absolute value;
前記映像信号の画素単位に、前記フレーム間差分絶対値と動き閾値を比較する第2ステップと、A second step of comparing the absolute value of the interframe difference with a motion threshold for each pixel of the video signal;
前記フレーム間差分絶対値が動き閾値より大と判定された画素に対し、前記フレーム間差分絶対値と輝度変化閾値を比較する第3ステップと、A third step of comparing the inter-frame difference absolute value with a luminance change threshold for a pixel for which the inter-frame difference absolute value is determined to be greater than a motion threshold;
前記フレーム間差分絶対値が動き閾値より小と判定された画素を動き無しと判定して、静止画素累積カウント数を1カウントアップする第4ステップと、A fourth step of determining that there is no motion for a pixel for which the absolute value between frame differences is smaller than a motion threshold, and incrementing the still pixel cumulative count by one;
前記フレーム間差分絶対値が前記輝度変化閾値より大と判定された画素に対し、前記画素の周辺画素のフレーム間輝度の微分から得られる輝度勾配値が、輝度勾配閾値との比較判定において輝度勾配閾値以上であるときには、前記画素は動く被写体の縦、斜めエッジと判定する第5ステップと、For a pixel for which the inter-frame difference absolute value is determined to be greater than the luminance change threshold, the luminance gradient value obtained from the differentiation of the inter-frame luminance of the surrounding pixels of the pixel is the luminance gradient in the comparison determination with the luminance gradient threshold. A fifth step for determining that the pixel is a vertical or oblique edge of a moving object when the threshold is equal to or greater than a threshold;
1ライン上で縦、斜めエッジを見つけた数だけ動き画素累積数をカウントアップする第6ステップと、A sixth step of counting up the cumulative number of moving pixels by the number of vertical and diagonal edges found on one line;
現フィールドの動き画素累積カウント数と静止画素累積カウント数を、過去5フィールド分の動き画素累積カウント数と静止画素累積カウント数と比較してリピートフィールドであることを検出し、もとのプログレッシブ映像に戻すための逆23変換処理する第7ステップと、The moving picture cumulative count number and still pixel cumulative count number of the current field are compared with the moving pixel cumulative count number and still pixel cumulative count number for the past five fields to detect that it is a repeat field, and the original progressive video A seventh step of performing an inverse 23 conversion process to return to
を実行させることを特徴とするプログラム。A program characterized by having executed.
JP2011033365A 2011-02-18 2011-02-18 Film mode conversion device, film mode conversion method, and program Expired - Fee Related JP5691609B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011033365A JP5691609B2 (en) 2011-02-18 2011-02-18 Film mode conversion device, film mode conversion method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011033365A JP5691609B2 (en) 2011-02-18 2011-02-18 Film mode conversion device, film mode conversion method, and program

Publications (2)

Publication Number Publication Date
JP2012175257A JP2012175257A (en) 2012-09-10
JP5691609B2 true JP5691609B2 (en) 2015-04-01

Family

ID=46977763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011033365A Expired - Fee Related JP5691609B2 (en) 2011-02-18 2011-02-18 Film mode conversion device, film mode conversion method, and program

Country Status (1)

Country Link
JP (1) JP5691609B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013004073A1 (en) * 2013-03-11 2014-09-11 Martin Vorbach Video stream analysis
CN105491358B (en) * 2015-11-26 2018-11-16 努比亚技术有限公司 An image processing method, device, and terminal

Also Published As

Publication number Publication date
JP2012175257A (en) 2012-09-10

Similar Documents

Publication Publication Date Title
CN101803361B (en) Method and apparatus for line based vertical motion estimation and compensation
US7170562B2 (en) Apparatus and method for deinterlace video signal
US8063984B2 (en) Subtitle detection apparatus, subtitle detection method and pull-down signal detection apparatus
US8437398B2 (en) Method and apparatus for adaptively converting frame rate based on motion vector, and display device with adaptive frame rate conversion function
US20060209957A1 (en) Motion sequence pattern detection
KR20060047556A (en) Film mode detection method, film mode detector, motion compensation method and motion compensator
CN102946505B (en) Self-adaptive motion detection method based on image block statistics
US20050018767A1 (en) Apparatus and method for detecting film mode
CN100433791C (en) Film mode correction in still areas
US8345148B2 (en) Method and system for inverse telecine and scene change detection of progressive video
JP5691609B2 (en) Film mode conversion device, film mode conversion method, and program
US8537901B2 (en) Apparatus and method for exotic cadence detection
US20040189877A1 (en) Apparatus for detecting a common frame in an interlaced image
US8704945B1 (en) Motion adaptive deinterlacer
KR100722773B1 (en) Method and apparatus for detecting graphics region in video
US8233085B1 (en) Method and system for interpolating a pixel value of a pixel located at an on-screen display
US20080165278A1 (en) Human visual system based motion detection/estimation for video deinterlacing
CN102572289A (en) Method and device for detecting and processing movie mode
NL1030787C2 (en) Judder detection apparatus determines whether detection pattern similar to judder pattern is actual judder based on blind pattern detection
KR100574503B1 (en) Film mode determination device and method
CN101076104B (en) Method for inspecting film mode
US20100128172A1 (en) Apparatus and method for motion adaptive deinterlacing
US8045820B2 (en) System and method for edge direction detection for spatial deinterlace
KR101390173B1 (en) Method for processing video and video display apparatus using the same
US20040179097A1 (en) Robust layered 3:2 pulldown film mode source detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150119

R150 Certificate of patent or registration of utility model

Ref document number: 5691609

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees