JP4982096B2 - Reception device, color correction method, and color correction program - Google Patents
Reception device, color correction method, and color correction program Download PDFInfo
- Publication number
- JP4982096B2 JP4982096B2 JP2006086377A JP2006086377A JP4982096B2 JP 4982096 B2 JP4982096 B2 JP 4982096B2 JP 2006086377 A JP2006086377 A JP 2006086377A JP 2006086377 A JP2006086377 A JP 2006086377A JP 4982096 B2 JP4982096 B2 JP 4982096B2
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- image data
- color
- data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、画像データを受信する受信装置に関するものである。 The present invention relates to a receiving apparatus that receives image data.
地上波デジタル放送(ISDB-T:Integrated Services Digital Broadcasting-Terrestrial)では、各放送局に割り当てられた伝送帯域を多数のセグメントに分割し、1つ以上のセグメントで構成した階層を複数同時に伝送するマルチキャリア伝送が予定されている。地上波デジタル放送のマルチキャリア伝送は、直交周波数多重変調(OFDM:Orthogonal Frequency Division Multiplexing)方式が用いられる。 In terrestrial digital broadcasting (ISDB-T: Integrated Services Digital Broadcasting-Terrestrial), the transmission band allocated to each broadcasting station is divided into a number of segments, and multiple layers composed of one or more segments are transmitted simultaneously. Carrier transmission is planned. For multi-carrier transmission of terrestrial digital broadcasting, an Orthogonal Frequency Division Multiplexing (OFDM) system is used.
このような地上波デジタル放送では、各放送局に割り当てられた伝送帯域を13個のセグメントに分割し、13個のセグメントのうち、12個のセグメントを使用してハイビジョン(HDTV:High Definition Television)映像を放送し、1個のセグメントを使用して移動端末向けの映像を放送することが考えられている。 In such terrestrial digital broadcasting, the transmission band assigned to each broadcasting station is divided into 13 segments, and 12 segments out of the 13 segments are used for high definition (HDTV: High Definition Television). Broadcasting video and broadcasting video for mobile terminals using one segment is considered.
12個のセグメントを使用して放送するハイビジョン映像では、多くのデータが発信可能であり、高画質の画像を表示等することが可能であるが、電波環境の悪い場所では受信が困難である。一方、1個のセグメントを使用して放送する移動端末向けの映像は、発信するデータ量は多くないが、電波環境の悪い場所でも受信が容易である。 A high-definition video broadcast using 12 segments can transmit a large amount of data and can display a high-quality image, but is difficult to receive in a place with a poor radio wave environment. On the other hand, a video for a mobile terminal that broadcasts using one segment does not have a large amount of data to be transmitted, but can be easily received even in a place with a poor radio wave environment.
特許文献1には、地上波デジタル放送を受信する移動受信端末に関する技術が記載されている。特許文献1に記載の移動受信端末は、通常時はハイビジョン映像を出力し、電波環境が悪くなった場合に、出力する映像を、移動端末向けの映像に切替えるものである。
地上波デジタル放送において、12個のセグメントを使用して放送するハイビジョン映像の画像データは、MPEG2-VIDEOによりエンコードされる。また、1個のセグメントを使用して放送する移動端末向けの映像の画像データは、H.264によりエンコードされる。さらに、12個のセグメントを使用して放送するハイビジョン映像の画像データと、1個のセグメントを使用して放送する移動端末向けの映像の画像データとは、発信されるまでに経由される機器が異なる。このような、エンコード方式、発信されるまでの経路等の差異により、12個のセグメントを使用して放送するハイビジョン映像と、1個のセグメントを使用して放送する移動端末向けの映像とでは、同一の装置で受信、出力等しても、同じ場面を映している映像で色が異なる場合がある。このような場合に、上述の特許文献1の技術のように12個のセグメントを使用して放送するハイビジョン映像と、1個のセグメントを使用して放送する移動端末向けの映像とを切替える場合、連続するフレーム画像による動画であるにもかかわらず色が変化するので、視聴者に視覚上の違和感が発生する。
In terrestrial digital broadcasting, image data of high-definition video broadcast using 12 segments is encoded by MPEG2-VIDEO. Also, image data for video for mobile terminals that broadcast using one segment is H.264. H.264 encoded. Furthermore, the image data of the high-definition video broadcast using 12 segments and the image data of the video for mobile terminals broadcast using one segment are transmitted by a device through which the data is transmitted. Different. Due to such differences in encoding method, route to transmission, etc., high-definition video broadcast using 12 segments and video for mobile terminals broadcast using one segment are: Even if it is received and output by the same device, the colors showing the same scene may be different. In such a case, when switching between a high-definition video broadcast using 12 segments and a video for a mobile terminal broadcast using one segment as in the technique of
本発明はこのような事情に鑑みてなされたもので、12個のセグメントを使用して放送するハイビジョン映像と、1個のセグメントを使用して放送する移動端末向けの映像とを切替えても、色の変化が発生しない技術を提供することを目的とする。 The present invention has been made in view of such circumstances, and even when switching between high-definition video broadcast using 12 segments and video for mobile terminals broadcast using one segment, An object is to provide a technique that does not cause a color change.
本発明は上記の目的を達成するためになされたもので、異なる方式で送信される画像を切替える場合、一方の方式の画像と、他方の方式の画像との色の差を取得し、その色の差に応じて画像の色を補正して出力することを特徴とする。 The present invention has been made to achieve the above-described object. When switching images transmitted by different methods, the color difference between an image of one method and an image of the other method is acquired, and the color is obtained. It is characterized in that the color of the image is corrected in accordance with the difference between them and output.
また、本発明は、同じ映像の、方式の異なる画像データを受信し、出力手段に出力する画像データを、第1の方式の画像データから第2の方式の画像データに切替える受信装置であって、前記第1の方式の画像データのフレーム画像と、前記第2の方式の画像データのフレーム画像とが同じ映像を映しているか否か判定する同期検出手段と、前記判定により同じ映像を映していると判定された前記第1の方式の画像データのフレーム画像の色と、前記第2の方式の画像データのフレーム画像の色との色の差を取得する差取得手段と、前記取得した色の差に応じて、前記第2の方式の画像データのフレーム画像の色を補正する補正手段と、前記補正した第2の方式の画像データを前記出力手段に出力する切替え手段と、有することを特徴とする。
In addition, the present invention is a receiving apparatus that receives image data of the same video in different systems and switches the image data output to the output means from image data of the first system to image data of the second system. , Synchronization detection means for determining whether or not the frame image of the image data of the first method and the frame image of the image data of the second method are displaying the same image, and the same image is displayed by the determination Difference acquisition means for acquiring a color difference between the color of the frame image of the image data of the first method determined to be the color of the frame image of the image data of the second method, and the acquired color A correction unit that corrects the color of the frame image of the image data of the second method in accordance with the difference, and a switching unit that outputs the corrected image data of the second method to the output unit. Characterize
本発明の技術によれば、異なる方式で送信される画像を切替える場合でも、色の変化が発生しないようにすることが可能となる。これにより、視聴上の違和感を感じさせることのないようにすることが可能となる。 According to the technique of the present invention, it is possible to prevent a color change from occurring even when an image transmitted by a different method is switched. Thereby, it is possible to prevent the user from feeling uncomfortable viewing.
以下、本発明の一実施形態を、図面を参照して詳細に説明する。本実施形態の技術は、1つの受信装置で、2つ以上の異なる方式等で送信される画像のデータを受信し、これらのデータを切替える場合に有効である。以下の説明では、受信装置は、地上波デジタル放送の、12個のセグメントを使用して放送するハイビジョン映像のデータと、1個のセグメントを使用して放送する移動端末向けの映像のデータとを切替えて出力する場合の例を説明するが、これに限られるわけではない。例えば、1つの受信装置で、DVB-T(Digital Video Broadcast-Terrestrial)データとDVB-H(Digital Video Broadcasting-Handheld)データとを切替えて出力する場合や、放送データとインターネット等の通信データとを切替えて出力する場合等に有効である。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. The technique of the present embodiment is effective when one receiving apparatus receives image data transmitted by two or more different methods and switches these data. In the following description, the reception device receives high-definition video data broadcast using 12 segments of terrestrial digital broadcasting and video data for mobile terminals broadcast using one segment. An example of switching and outputting will be described, but the present invention is not limited to this. For example, when a single receiving device switches and outputs DVB-T (Digital Video Broadcasting-Terrestrial) data and DVB-H (Digital Video Broadcasting-Handheld) data, or broadcast data and communication data such as the Internet. This is effective when switching and outputting.
まず、図1を参照し、本実施形態の受信装置の構成例を説明する。 First, a configuration example of the receiving apparatus according to the present embodiment will be described with reference to FIG.
図1において、受信装置1は、地上波デジタル放送を受信可能な装置である。この受信装置1は特に限定するものではないが、例えば、地上波デジタル放送を受信可能な携帯端末、ナビゲーションシステム、TV、チューナ等である。受信装置1は、12個のセグメントを使用して放送するハイビジョン映像のデータと、1個のセグメントを使用して放送する移動端末向けの映像のデータとを切替えて出力するものであるので、環境が変化する等して地上波デジタル放送の受信状況が変化するものに適用するほうが有用である。以下、12個のセグメントを使用して放送するハイビジョン映像のデータを、HDTVデータという。また、1個のセグメントを使用して放送する移動端末向けの映像のデータを、H.264データという。
In FIG. 1, a
受信装置1は、アンテナ101、チューナ102、OFDM(Orthogonal Frequency Division Multiplexing)復調部103、処理部104、RAM105、ROM106、記憶装置107、入力インタフェース108、出力インタフェース109、通信インタフェース110等を有する。アンテナ101、チューナ102、OFDM復調部103、処理部104、RAM105、ROM106、記憶装置107、入力インタフェース108、出力インタフェース109、通信インタフェース110等は、バス120を介して接続される。
The
処理部104は、例えば、システムLSI(Large Scale Integration)等である。
The
記憶装置107は、例えば、HDD(Hard Disk Drive)や、CD-R(Compact Disc- Recordable)、DVD-RAM(Digital Versatile Disk-Random Access Memory)等の書き込み及び読み出し可能な記憶メディア及び記憶メディア駆動装置等である。
The
入力インタフェース108には、入力装置121等が接続される。入力装置121は、例えば、ボタン、リモコン及びリモコン受信部、タッチパネル等である。
An
出力インタフェース109には、図示しないディスプレイ、スピーカ等の出力装置が接続される。
An output device such as a display and a speaker (not shown) is connected to the
受信装置1は、通信インタフェース110を介して、図示しない通信ネットワークに接続される。受信装置1は、この通信ネットワークを介して図示しない情報端末と接続され、後述する指示情報等の入力を受け付けても良い。
The
地上波デジタル放送の放送電波は、アンテナ101、チューナ102を介して受信装置1に入力され、OFDM復調部103により復調された後、処理部104により分離、色補正、出力切替え等され、出力インタフェース109から、映像データ及び音声データとして出力される。受信装置1の、アンテナ101、チューナ102、OFDM復調部103、RAM105、ROM106、記憶装置107、入力インタフェース108、出力インタフェース109、通信インタフェース110等は従来技術と同じであるが、処理部104の一部のみ、従来技術とは異なる。
Broadcast radio waves of terrestrial digital broadcasting are input to the
図2に、処理部104の構成例を示す。
FIG. 2 shows a configuration example of the
図2において、処理部104は、受信状態検出部201、受信状態検出条件保持部202、DEMUX(De-MUltipleXer)203、デコーダ204、描画処理部205、フレームバッファ206、デコーダ207、描画処理部208、フレームバッファ209、同期部210、同期条件保持部211、色情報取得部212、取得条件保持部213、色差取得部214、補正部215、切替え部216、設定受付部217等を有する。
2, the
受信状態検出条件保持部202は、HDTVデータと、H.264データとを切替える条件を保持する。受信状態検出部201は、受信状態検出条件保持部202内の条件に従い、HDTVデータと、H.264データとを切替えて出力するか否か判定する。
The reception state detection
DEMUX203は、OFDM復調部103により復調されたデータを分離する。デコーダ204は、HDTVデータをデコードする。描画処理部205は、HDTVデータをフレームバッファ206に描画する。デコーダ207は、H.264データをデコードする。描画処理部208は、H.264データをフレームバッファ209に描画する。
The DEMUX 203 separates the data demodulated by the
同期部210は、同期条件保持部211内に保持されている条件に従い、HDTVデータと、H.264データとで、同じ映像のフレーム画像を選択する。また、同期部210は、色情報取得部212に同じ映像を映しているフレーム画像を指示し、切替え部216に、切替えタイミングを指示する。
The
色情報取得部212は、取得条件保持部213内の条件に従い、HDTVデータによるフレーム画像と、H.264データによるフレーム画像との各々の画素をサーチして、各フレーム画像の色を取得する。ここでは、色情報取得部212は、HDTVデータによるフレーム画像をサーチする場合、「6*6」個の画素を1つの単位として、その単位を構成する各画素の色を平均した値を取得するものとする。また、色情報取得部212は、H.264データによるフレーム画像をサーチする場合、1個の画素を1つの単位として、その単位毎に画素の色を取得するものとする。ここで取得する色は特に限定するものではないが、ここでは、画素の輝度を取得するものとする。色差取得部214は、色情報取得部212により取得された色の差を算出する。補正部215は、色差取得部214により取得された色の差に従い、フレームバッファ209内のフレーム画像の色を補正する。切替え部216は、同期部210の指示に従い、フレームバッファ206内のフレーム画像と、フレームバッファ209内のフレーム画像との出力を切替える。設定受付部217は、入力装置121、又は、通信インタフェース110を介して入力された情報に従い、同期条件保持部211、取得条件保持部213等内の情報を登録、更新等する。
In accordance with the conditions in the acquisition
なお、DEMUX203、デコーダ204、デコーダ207、描画処理部205、描画処理部208、フレームバッファ206、フレームバッファ209、受信状態検出条件保持部202、受信状態検出部201等は、従来技術と同じものである。
The
また、同期部210がHDTVデータと、H.264データとで、同じ映像のフレーム画像を選択するための動作例は特に限定するものではない。同期部210が同じ映像のフレーム画像を選択するために、例えば、単に、HDTVデータに含まれているタイムスタンプ(再生時刻)と、H.264データに含まれているタイムスタンプとの差分が所定値内であるか否かにより判定してもよいが、ここでは、HDTVデータに含まれている動きベクトルと、H.264データに含まれている動きベクトルとの内積により判定するものとする。この判定動作の詳細については後述する。
In addition, the
同期部210は、検索部251、タイムスタンプ取得部252、近傍フレーム検索部253を有する。検索部251は、HDTVデータに含まれている動きベクトルと、H.264データに含まれている動きベクトルとの内積により、切替えるフレーム画像の候補を取得する。タイムスタンプ取得部252は、フレーム画像のタイムスタンプを取得する。近傍フレーム検索部253は、検索部251により取得された切替えるフレーム画像の候補と、タイムスタンプ取得部252により取得されたタイムスタンプから、切替えるフレーム画像を選択する。
The
なお、受信状態検出部201、描画処理部205、描画処理部208、同期部210、色情報取得部212、色差取得部214、補正部215、切替え部216、設定受付部217等は、記憶装置(図示略)からロードしたプログラムを処理部104内の演算装置(図示略)が実行することにより実現するものでもよく、専用のハードウェア等でもよい。
The reception
また、図2では、音声データをデコードして出力する構成は含まれていないが、この構成は従来技術と同じものであるので、ここでは省略する。 Also, FIG. 2 does not include a configuration for decoding and outputting audio data, but this configuration is the same as that of the prior art, and is omitted here.
次に、上記保持部の保持する条件情報について説明する。 Next, condition information held by the holding unit will be described.
まず、受信状態検出条件保持部202について説明する。
First, the reception state detection
受信状態検出条件保持部202は、出力インタフェース109から出力するデータを、HDTVデータによるものとするか、又は、H.264データによるものとするかを判定するための閾値等を保持している。この閾値は、ここでは、電界強度であるものとする。受信状態検出条件保持部202内の情報は予め格納されているものとするが、入力装置121、又は、通信インタフェース110から入力された情報に従い新規格納、更新等してもよい。
The reception state detection
次に、図3を参照し、同期条件保持部211内の条件の一例を説明する。
Next, an example of conditions in the synchronization
同期条件保持部211内には、図3に一例を示すテーブル301が格納されている。図3において、テーブル301は、閾値種別311、閾値312等を含む。閾値種別311、閾値312等は互いに対応付けられている。閾値種別311は、閾値の種別である。図3の例において、閾値種別311「同期閾値」は、後述する動作により取得するフレーム画像のタイムスタンプの閾値である。閾値種別311「内積閾値」は、後述する動作により取得する動きベクトルの内積の閾値である。閾値種別311「差分閾値」は、後述する動作により取得する2乗誤差の閾値である。閾値312は、対応する閾値種別311の閾値である。
In the synchronization
同期条件保持部211内の情報は、後述する動作例により新規格納、更新等される。
Information in the synchronization
取得条件保持部213内の情報について説明する。
Information in the acquisition
取得条件保持部213は、HDTVデータによるフレーム画像と、H.264データによるフレーム画像との輝度差を取得する画素をサーチする設定情報を保持している。本実施形態では、輝度差を取得する画素をサーチする設定情報とは、全輝度取得モード、中央部輝度取得モード、ランダム輝度取得モードの3つがあるものとして説明する。取得条件保持部213内の設定情報は、後述する動作例により新規格納、更新等される。
The acquisition
ここで、全輝度取得モード、中央部輝度取得モード、ランダム輝度取得モードについて、図面を参照して説明する。 Here, the full luminance acquisition mode, the central luminance acquisition mode, and the random luminance acquisition mode will be described with reference to the drawings.
まず、全輝度取得モードについて、図4を参照して説明する。 First, the total luminance acquisition mode will be described with reference to FIG.
図4(a)において、フレーム画像401は、HDTVデータによるフレーム画像を示す。HDTVデータによるフレーム画像の画素数は、縦軸が1080個、横軸が1920個である。図4(b)において、フレーム画像411は、H.264データによるフレーム画像を示す。H.264データによるフレーム画像の画素数は、縦軸が180個、横軸が320個である。
In FIG. 4A, a
全輝度取得モードでは、色情報取得部212は、フレーム画像401、フレーム画像411の各々の画素の全てをサーチして、各画素の輝度を取得する。即ち、色情報取得部212は、図4(a)のフレーム画像401を構成する全ての画素に対し、「6*6」個の画素を1つの単位として、その単位を構成する各画素の輝度を平均した値を取得する。具体的には、例えば、画素の位置を「(1,1)」〜「(X,Y)」のうちいずれかで示すものとする場合、色情報取得部212は、まず、対角が「(1,1)」と「(6,6)」とで示される領域402の画素の輝度の平均値を取得し、次に、対角が「(7,1)」と「(6,12)」とで示される領域の画素の輝度の平均値を取得する、という処理を繰り返す。また、色情報取得部212は、図4(b)のフレーム画像411を構成する全ての画素に対し、1個の画素を1つの単位として、その単位毎に画素の輝度を取得する。具体的には、例えば、色情報取得部212は、まず、「(1,1)」の位置の画素412の輝度を取得し、次に、「(1,2)」の位置の画素の輝度を取得する、という処理を繰り返す。
In the all luminance acquisition mode, the color
中央部輝度取得モードについて、図5を参照して説明する。 The center luminance acquisition mode will be described with reference to FIG.
図5(a)において、フレーム画像501は、HDTVデータによるフレーム画像を示す。HDTVデータによるフレーム画像の画素数は上述と同じである。図5(b)において、フレーム画像511は、H.264データによるフレーム画像を示す。H.264データによるフレーム画像の画素数は上述と同じである。
In FIG. 5A, a
中央部輝度取得モードでは、色情報取得部212は、フレーム画像501、フレーム画像511の各々の中央部の画素をサーチして、各画素の輝度を取得する。即ち、色情報取得部212は、図5(a)のフレーム画像501の中央部の所定領域502の画素に対し、「6*6」個の画素を1つの単位として、その単位を構成する各画素の輝度を平均した値を取得する。具体的には、例えば、上述と同様に、画素の位置を「(1,1)」〜「(X,Y)」のうちいずれかで示し、所定領域502の対角の画素の位置が「(Xc1,Yc1)-(Xc2,Yc2)」である場合、色情報取得部212は、まず、対角が「(Xc1,Yc1)」と「(Xc1+5,Yc1+5)」とで示される領域503の画素の輝度の平均値を取得し、次に、対角が「(Xc1+6,Xc1)」と「(Xc1+5,Xc1+11)」とで示される領域の画素の輝度の平均値を取得する、という処理を繰り返す。また、色情報取得部212は、図5(b)のフレーム画像511の中央部の所定領域512の画素に対し、1個の画素を1つの単位として、その単位毎に画素の輝度を取得する。具体的には、例えば、色情報取得部212は、まず、「(Xc1,Yc1)」の位置の画素513の輝度を取得し、次に、「(Xc1,Yc1+1)」の位置の画素の輝度を取得する、という処理を繰り返す。
In the central luminance acquisition mode, the color
ランダム輝度取得モードについて、図6を参照して説明する。 The random luminance acquisition mode will be described with reference to FIG.
図6(a)において、フレーム画像601は、HDTVデータによるフレーム画像を示す。HDTVデータによるフレーム画像の画素数は上述と同じである。図6(b)において、フレーム画像611は、H.264データによるフレーム画像を示す。H.264データによるフレーム画像の画素数は上述と同じである。
In FIG. 6A, a
ランダム輝度取得モードでは、色情報取得部212は、擬似乱数を発行する等により、フレーム画像601、フレーム画像611の各々に対し、ランダムに選択した画素の輝度を取得する。即ち、色情報取得部212は、図6(a)のフレーム画像601に対し、ランダムに選択した画素を基準とした「6*6」個の画素を1つの単位として、その単位を構成する各画素の輝度を平均した値を取得する。この、ランダムに選択した画素602の位置は、例えば、図6(a)に示すように「6*6」個の領域603内としてもよく、また、この領域603外の任意の位置でもよい。色情報取得部212は、このような処理を所定回数行なう。また、色情報取得部212は、図6(b)のフレーム画像611に対し、ランダムに選択した画素612、画素613の輝度を取得する。色情報取得部212は、このような処理を所定回数行なう。
In the random luminance acquisition mode, the color
次に、動作例を説明する。 Next, an operation example will be described.
まず、輝度取得モードを取得条件保持部213に設定する動作例を、図7を参照して説明する。ユーザが、入力装置121又は図示しない情報端末の入力装置を用いて輝度取得モード設定を指示等すると、設定受付部217は以下の動作を起動させる。
First, an operation example of setting the luminance acquisition mode in the acquisition
図7において、設定受付部217は、輝度取得モードの入力を受け付ける(S701)。そのために、設定受付部217は、例えば、輝度取得モードの入力を受け付けるための画面データを、出力インタフェース109、又は、通信インタフェース110に出力する。図8において、画面801は、ディスプレイ等の出力装置(図示略)に表示されるものである。ユーザは、入力装置121又は図示しない情報端末の入力装置を用いて、ラジオボタン811〜813のうち何れかを選択して、設定する輝度取得モードを指定し、その情報の入力を指示する。これにより、入力装置121、又は、通信インタフェース110から、輝度取得モードを示す情報が入力される。
In FIG. 7, the
入力装置121、又は、通信インタフェース110から輝度取得モードを示す情報が入力されると、設定受付部217は、入力された輝度取得モードを示す設定情報を取得条件保持部213に格納する(S702)。
When information indicating the luminance acquisition mode is input from the
次に、同期判定条件を同期条件保持部211に設定する動作例を説明する。この動作例は、上述の輝度取得モードの設定と、設定する情報のみが異なるため、同じ図7を参照して説明する。ユーザが、入力装置121又は図示しない情報端末の入力装置を用いて輝度取得モード設定を指示等すると、設定受付部217は以下の動作を起動させる。
Next, an operation example for setting the synchronization determination condition in the synchronization
図7において、設定受付部217は、同期判定条件の入力を受け付ける(S701)。そのために、設定受付部217は、例えば、同期判定条件の入力を受け付けるための画面データを、出力インタフェース109、又は、通信インタフェース110に出力する。図9において、画面901は、ディスプレイ等の出力装置に表示されるものである。ユーザは、入力装置121又は図示しない情報端末の入力装置を用いて、領域911〜913の各々に任意の数値を入力等して、同期判定条件の閾値を指定し、この情報の入力を指示する。これにより、入力装置121、又は、通信インタフェース110から、同期判定条件情報が入力される。
In FIG. 7, the
入力装置121、又は、通信インタフェース110から同期判定条件情報が入力されると、設定受付部217は、入力された同期判定条件情報を同期条件保持部211に格納する(S702)。具体的には、例えば、設定受付部217は、図9の領域911に入力された値を、同期条件保持部211内のテーブル301の、閾値種別311「同期閾値」に対応する閾値312に格納する。また、設定受付部217は、図9の領域912に入力された値を、同期条件保持部211内のテーブル301の、閾値種別311「内積閾値」に対応する閾値312に格納する。設定受付部217は、図9の領域913に入力された値を、同期条件保持部211内のテーブル301の、閾値種別311「差分閾値」に対応する閾値312に格納する。
When synchronization determination condition information is input from the
次に、HDTVデータによる画像の出力と、H.264データによる画像の出力とを切替えるか否か判定する動作例を、図10を参照して説明する。この動作は、例えば、受信装置1の起動時や、所定時間毎等に起動される動作である。
Next, output of an image by HDTV data; An example of the operation for determining whether to switch the image output based on H.264 data will be described with reference to FIG. This operation is, for example, an operation that is activated when the receiving
図10において、受信状態検出部201は、まず、アンテナ101により受信した電波による電界強度を取得する(S1001)。次に、受信状態検出部201は、受信状態検出条件保持部202から、閾値を読み出す(S1002)。受信状態検出部201は、S1001で取得した電界強度が、S1002で読み出した閾値以下であるか否か判定する(S1003)。
In FIG. 10, the reception
S1003の判定の結果、S1001で取得した電界強度が、S1002で読み出した閾値以下でない場合、受信状態検出部201は、HDTVデータを選択する(S1004)。
As a result of the determination in S1003, if the electric field strength acquired in S1001 is not less than or equal to the threshold value read in S1002, the reception
S1003の判定の結果、S1001で取得した電界強度が、S1002で読み出した閾値以下である場合、受信状態検出部201は、H.264データを選択する(S1005)。
As a result of the determination in S1003, if the electric field strength acquired in S1001 is equal to or less than the threshold value read in S1002, the reception
受信状態検出部201は、S1004、又は、S1005で選択したデータを示す情報を、同期部210、色情報取得部212等に出力する(S1006)。この、選択したデータを示す情報とは、例えば、フラグのON及びOFF等でもよい。
The reception
次に、HDTVデータと、H.264データとの同期をとる動作例を説明する。この動作は、例えば、上述の受信状態検出部201の動作により、選択したデータを示す情報が新に入力された場合や、それまでとは異なる情報が入力された場合に起動される動作である。
Next, HDTV data and H.264 data. An operation example for synchronizing with H.264 data will be described. This operation is activated when, for example, information indicating the selected data is newly input or when information different from that is input by the operation of the reception
まず、図11を参照し、HDTVデータと、H.264データとの同期をとる動作例の概要を説明する。 First, referring to FIG. An outline of an operation example for synchronizing with H.264 data will be described.
図11において、同期部210の検索部251は、HDTVデータの動きベクトルと、H.264データの動きベクトルとの内積から、同じ映像を映すHDTVデータのフレーム画像と、H.264データのフレーム画像とを検出する(S1101)。この動作例の詳細については後述する。
In FIG. 11, the
次に、近傍フレーム検索部253は、受信状態検出部201から入力された情報から、HDTVデータによるフレーム画像から、H.264データによるフレーム画像への切替えであるか否か判定する(S1102)。
Next, the neighborhood
S1102の判定の結果、HDTVデータによるフレーム画像から、H.264データによるフレーム画像への切替えである場合、近傍フレーム検索部253は、検索部251により同じ画像であると判定されたHDTVデータのフレーム画像と、検索部251により同じ画像であると判定されたH.264データのフレーム画像の次のフレーム画像とを選択する(S1103)。
As a result of the determination in step S1102, the H. In the case of switching to a frame image based on H.264 data, the neighboring
S1102の判定の結果、HDTVデータによるフレーム画像から、H.264データによるフレーム画像への切替えでない場合、近傍フレーム検索部253は、検索部251により同じ画像であると判定されたH.264データのフレーム画像と、検索部251により同じ画像であると判定されたHDTVデータのフレーム画像の次のフレーム画像とを選択する(S1104)。
As a result of the determination in step S1102, the H. If the frame image is not switched to H.264 data, the neighboring
以下、切替えるまでに出力していたフレーム画像のうち最後のものを切替え対象フレーム画像といい、切替えた直後に最初に出力するフレーム画像を切替えフレーム画像という。従って、例えば、上述のS1102の判定の結果、HDTVデータによるフレーム画像から、H.264データによるフレーム画像への切替えである場合、検索部251により同じ画像であると判定されたHDTVデータのフレーム画像を切替え対象フレーム画像といい、検索部251により同じ画像であると判定されたH.264データのフレーム画像の次のフレーム画像を切替えフレーム画像という。また、例えば、S1102の判定の結果、HDTVデータによるフレーム画像から、H.264データによるフレーム画像への切替えでない場合、検索部251により同じ画像であると判定されたH.264データのフレーム画像を切替え対象フレーム画像といい、検索部251により同じ画像であると判定されたHDTVデータのフレーム画像の次のフレーム画像を切替えフレーム画像という。
Hereinafter, the last frame image output before switching is referred to as a switching target frame image, and the first frame image output immediately after switching is referred to as a switching frame image. Therefore, for example, as a result of the determination in S1102 described above, from the frame image by HDTV data, In the case of switching to a frame image based on H.264 data, the frame image of the HDTV data determined to be the same image by the
近傍フレーム検索部253は、切替え対象フレーム画像のタイムスタンプ(再生時刻)の取得をタイムスタンプ取得部252に指示する。タイムスタンプ取得部252は、その指示に従い、切替え対象フレーム画像のタイムスタンプを取得する。近傍フレーム検索部253は、タイムスタンプ取得部252により取得された切替え対象フレーム画像のタイムスタンプの値を「T1」とする(S1105)。さらに、近傍フレーム検索部253は、切替えフレーム画像のタイムスタンプの取得をタイムスタンプ取得部252に指示する。タイムスタンプ取得部252は、その指示に従い、切替えフレーム画像のタイムスタンプを取得する。近傍フレーム検索部253は、タイムスタンプ取得部252により取得された切替えフレーム画像のタイムスタンプの値を「T2」とする(S1106)。近傍フレーム検索部253は、「ΔT=T1-T2」を算出し(S1107)、「ΔT<同期閾値」であるか否か判定する(S1108)。そのために、近傍フレーム検索部253は、同期条件保持部211のテーブル303から、閾値種別311「同期閾値」と対応付けられた閾値312の値を読み出し、この値が、上述のS1107で算出した「ΔT」より大きい値か否か判定する。
The neighboring
S1108の判定の結果、「ΔT<同期閾値」である場合、近傍フレーム検索部253は、切替えフレーム画像のレンダリングを破棄し(S1109)、その切替えフレーム画像の次のフレーム画像を新たな切替えフレーム画像として(S1110)、上述のS1105以降の処理を再度行なう。
If the result of the determination in S1108 is “ΔT <synchronization threshold”, the neighboring
S1108の判定の結果、「ΔT<同期閾値」でない場合、近傍フレーム検索部253は、切替え対象フレーム画像のレンダリングの次に、切替えフレーム画像のレンダリングを行なうように、切替え部216に指示する(S1111)。この指示は任意でよいが、例えば、切替え部216が、切替え対象フレーム画像をレンダリングした後から、次のフレーム画像をレンダリングする間のタイミングを合わせて、近傍フレーム検索部253が、出力するフレームバッファの切替えを指示するフラグ等を出力するようにしてもよい。
If the result of determination in S1108 is not “ΔT <synchronization threshold”, the neighboring
ここで、上述のS1105〜S1111までの動作について、図12を参照して説明する。 Here, the operations from S1105 to S1111 will be described with reference to FIG.
図12において、「P」は、連続して出力するフレーム画像を示す。横方向に連続する各「P」は、それぞれ、HDTVデータによるフレーム画像、H.264データによるフレーム画像、ディスプレイ等に出力して再生するフレーム画像を示す。図12の例では、フレーム画像を示す「P」を、再生時刻に応じて配置している。例えば、HDTVデータによるフレーム画像1201、H.264データによるフレーム画像1211は、再生時刻の同じフレーム画像であることを示す。 In FIG. 12, “P” indicates frame images that are continuously output. Each “P” that is continuous in the horizontal direction is a frame image based on HDTV data, and H.264. A frame image based on H.264 data and a frame image output to a display or the like and reproduced. In the example of FIG. 12, “P” indicating a frame image is arranged according to the reproduction time. For example, a frame image 1201 based on HDTV data, A frame image 1211 based on H.264 data indicates that the frame images have the same reproduction time.
上述のように、切替え部216は、電界強度が閾値以下であるか否かにより、HDTVデータによるフレーム画像、又は、H.264データによるフレーム画像の何れかを出力するように切替える。以下では、HDTVデータによるフレーム画像から、H.264データによるフレーム画像へ切替える例を説明する。例えば、HDTVデータによるフレーム画像1202を出力しているときに、電界強度が閾値以下となり、切替えを指示する情報が入力されたものとする。このような場合に、検索部251は、上述の動作例により、HDTVデータによるフレーム画像1203と、H.264データによるフレーム画像1212とが、同じ映像を映すフレーム画像であると判定したものとする。
As described above, the
図12(a)において、同じ映像を映すフレーム画像であると判定されたH.264データによるフレーム画像1212の次のフレーム画像はフレーム画像1213である。従って、切替え部216は、HDTVデータによるフレーム画像1203の後に、H.264データによるフレーム画像1213を出力するように切替える。即ち、再生されるフレーム画像1221は、HDTVデータによるフレーム画像1203であり、また、フレーム画像1221の直後に再生されるフレーム画像1222は、H.264データによるフレーム画像1213である。
In FIG. 12 (a), it is determined that the frame images represent the same video. The next frame image after the
ところが、上述のように、切替える直前に出力していたフレーム画像は、HDTVデータによるフレーム画像1203であり、上述のような切替えが無い場合にそのフレーム画像1203の次に出力すべきフレーム画像はフレーム画像1204である。このフレーム画像1204は、H.264データによるフレーム画像1213より再生時刻が後のフレーム画像である。従って、上述のように切替えて出力する場合、フレーム画像1221の次に出力されるフレーム画像1222は、それまで出力していたフレーム画像の間隔より「t」分だけ狭くなる。そのため、視聴者には、切替えた部分だけ早回しをしているように見える。さらに、間隔が狭くなるため、出力装置のレンダリング処理の負荷がかかる。
However, as described above, the frame image output immediately before switching is the
そこで、切替えるフレーム画像の再生時刻の差分が所定値以下となる場合は、その切替え対象のフレーム画像を破棄し、そのフレーム画像以降の再生時刻のフレーム画像を出力することで、上述のような、一時的に早回しをしているような視聴上の違和感を解消することが可能となる。さらに、間隔が狭くなることが無いため、出力装置のレンダリング処理の負荷をかけることが無い。このための処理が、上述のS1105〜S1111である。 Therefore, when the difference between the reproduction times of the frame images to be switched is a predetermined value or less, the frame image to be switched is discarded, and the frame images at the reproduction times after the frame image are output, as described above, It is possible to eliminate a sense of incongruity in viewing such as temporarily rotating fast. Furthermore, since the interval does not become narrow, there is no load on rendering processing of the output device. The processing for this is S1105 to S1111 described above.
上述の図12(a)のフレーム画像の場合、図12(b)に一例を示すように、フレーム画像1221の次に出力するフレーム画像1222を、H.264データによるフレーム画像1213の次のフレーム画像1214とする。これにより、上述のような、一時的に早回しをしているような視聴上の違和感を解消することが可能となる。さらに、間隔が狭くなることが無いため、出力装置のレンダリング処理の負荷をかけることが無い。
In the case of the frame image of FIG. 12A described above, as shown in FIG. The
次に、上述のS1101の、HDTVデータの動きベクトルと、H.264データの動きベクトルとの内積から、同じ画像であるHDTVデータのフレーム画像と、H.264データのフレーム画像とを検出する動作例を、図13を参照して説明する。 Next, the motion vector of HDTV data in S1101 described above, From the inner product of the motion vector of H.264 data, the frame image of HDTV data which is the same image, An operation example for detecting a frame image of H.264 data will be described with reference to FIG.
図13において、まず、補正部215は、切替え候補のフレーム画像を取得する(S1301)。ここで、切替え候補のフレーム画像とは、例えば、受信状態検出部201から切替えを指示する情報が入力されてから所定時間後の、HDTVデータによるフレーム画像と、H.264データによるフレーム画像とである。
In FIG. 13, first, the
検索部251は、S1301で選択したH.264データによるフレーム画像を、HDTVデータによるフレーム画像と同じ大きさに拡大する(S1302)。次に、検索部251は、S1301で選択したHDTVデータによるフレーム画像と、S1302で拡大したH.264データによるフレーム画像との差分画像を取得する(S1303)。このS1302、S1303の処理は従来技術と同じであるので、具体的な動作例は省略する。
The
検索部251は、S1303の処理で取得した差分画像との輝度の2乗誤差を算出する(S1304)。この2乗誤差は、例えば、切替え対象フレーム画像と、S1303で取得した差分画像との、同じ位置における画素の輝度の差分を2乗する処理を、それらのフレーム画像内の全ての画素に対し行なって加算したものである。
The
次に、検索部251は、S1301で取得したHDTVデータによるフレーム画像の動きベクトルを取得する。このとき、検索部251は、HDTVデータによるフレーム画像の動きベクトルを間引いて取得する(S1305)。この詳細な動作例は後述する。
Next, the
検索部251は、S1301で取得したH.264データによるフレーム画像の動きベクトルを取得する(S1306)。検索部251は、S1305で取得した動きベクトルと、S1306で取得した動きベクトルとの内積を算出する(S1307)。
The
なお、ここで、内積は、以下の数1、又は、数2で算出することができる。
Here, the inner product can be calculated by the following
検索部251は、このS1305〜S1307の処理を、S1301で取得したHDTVデータによるフレーム画像と、S1301で取得したH.264データによるフレーム画像とで、同じ位置の各動きベクトルに対し行なう。
The
ここで、図14を参照し、動きベクトルを取得する動作例を詳細に説明する。なお、以下で説明する動作例は、従来技術と同じである。 Here, an example of an operation for acquiring a motion vector will be described in detail with reference to FIG. Note that the operation example described below is the same as that of the prior art.
図14において、検索部251は、HDTVデータ及びH.264データの各々に対し、シーケンスレイヤのヘッダ等から設定情報を抽出する(S1401)。次に、検索部251は、GOP(Group of Pictures)レイヤのヘッダ等から設定情報を抽出する(S1402)。検索部251は、ピクチャレイヤのヘッダ等から設定情報を抽出する(S1403)。検索部251は、スライスレイヤのヘッダ等を解析して設定情報を抽出する(S1404)。検索部251は、マクロブロックを抽出し(S1405)、抽出した各マクロブロックに含まれる動きベクトルのXY座標を取得する(S1406)。動きベクトルのXY座標を取得するために、例えば、「Moving_vector(i,j)」関数を用いるとよい。なお、ここで、「(i,j)」は、動きベクトルを取得するマクロブロックを示す。
14, the
また、図15を参照し、上述のS1305の、動きベクトルを間引いて取得する動作例を説明する。なお、以下で説明する動作例において、動きベクトルを取得する動作例そのものは、上述の図14を参照して説明した従来技術と同じである。 In addition, an example of operation in which the motion vector is acquired by thinning out the motion vector in S1305 will be described with reference to FIG. In the operation example described below, the operation example itself for acquiring the motion vector is the same as the conventional technique described with reference to FIG.
図15において、検索部251は、HDTVデータの、横軸のマクロブロックの数「x1」と、H.264データの、横軸のマクロブロックの数「x2」とを取得し、「X=x1÷x2」とする(S1501)。さらに、検索部251は、HDTVデータの、縦軸のマクロブロックの数「y1」と、H.264データの、縦軸のマクロブロックの数「y2」とを取得し、「Y=y1÷y2」とする(S1502)。検索部251は、HDTVデータの、マトリクス「(i*X,j*Y)」で示される各マクロブロックから、動きベクトルを取得する(S1503)。ここで、「i」はHDTVデータのマクロブロックの横軸の位置を示し、「j」はHDTVデータのマクロブロックの縦軸の位置を示す。「X」は上述のS1501で取得した値であり、「Y」は上述のS1502で取得した値である。動きベクトルのXY座標を取得するために、例えば、「Moving_vector(i*X,j*Y)」関数を用いるとよい。
In FIG. 15, the
図13に戻り、検索部251は、S1307で算出した内積の総和が所定閾値より大きく、かつ、S1304で取得した2乗誤差が所定閾値より小さいか否か判定する(S1308)。そのために、検索部251は、同期条件保持部211内のテーブル301から、閾値種別311「内積閾値」と対応付けられた閾値312を読み出し、S1307で算出した内積の総和が、読み出した閾値312より大きいか否か判定する。また、検索部251は、同期条件保持部211内のテーブル301から、閾値種別311「誤差閾値」と対応付けられた閾値312を読み出し、S1304で取得した2乗誤差が、読み出した閾値312より大きいか否か判定する。
Returning to FIG. 13, the
S1308の判定の結果、S1307で算出した内積の総和が所定閾値より大きく、かつ、S1304で取得した2乗誤差が所定閾値より小さい場合、検索部251は、S1301で選択したフレーム画像が、同一の映像を映すフレーム画像であると判定する。
As a result of the determination in S1308, if the sum of the inner products calculated in S1307 is larger than the predetermined threshold and the square error acquired in S1304 is smaller than the predetermined threshold, the
S1308の判定の結果、内積の総和が内積閾値内であり、かつ、2乗誤差が差分閾値内である場合、検索部251は、S1301の処理を再度行ない、他の切替え候補のフレーム画像を選択する。ここで選択する他の切替え候補のフレーム画像は特に定めるものではないが、例えば、前に選択したフレーム画像の一方を基準として、他方を順次選択してもよく、また、両方を他の切替え候補のフレーム画像として選択してもよい。
As a result of the determination in S1308, when the sum of the inner products is within the inner product threshold and the square error is within the difference threshold, the
次に、タイムスタンプを取得する動作例を、図16を参照して説明する。なお、以下で説明する動作例は従来技術と同じである。 Next, an operation example of acquiring a time stamp will be described with reference to FIG. The operation example described below is the same as that of the prior art.
図16において、タイムスタンプ取得部252は、入力されたデータから、TS(Transport Stream Packet)パケットが取得可能か否か判定する(S1601)。
In FIG. 16, the time
S1601の判定の結果、TSパケットが取得不可である場合、タイムスタンプ取得部252は処理を終了する。
As a result of the determination in S1601, if the TS packet cannot be acquired, the time
S1601の判定の結果、TSパケットが取得可能である場合、タイムスタンプ取得部252はTSパケットを解析し(S1602)、PayloadStartUnitIndicatorフラグがON、即ち、「1」であるか否か判定する(S1603)。
As a result of the determination in S1601, if the TS packet can be acquired, the time
S1603の判定の結果、PayloadStartUnitIndicatorフラグがONである場合、PES(Packetized Elementarty Stream)パケットのヘッダが存在するので、タイムスタンプ取得部252は、PESパケットのヘッダ内のPTS(Presentation Time Stamp)を取得する(S1604)。
If the result of the determination in S1603 is that the PayloadStartUnitIndicator flag is ON, there is a PES (Packetized Elementarty Stream) packet header, and therefore the time
S1603の判定の結果、PayloadStartUnitIndicatorフラグがONでない場合、タイムスタンプ取得部252は、他のTSパケットに対し、上述のS1602以降の処理を行なう。
As a result of the determination in S1603, when the PayloadStartUnitIndicator flag is not ON, the time
次に、補正を行なう動作例を説明する。この動作例は、例えば、検索部251が、上述の処理により、同じ映像を映すフレーム画像を選択した後、そのフレーム画像を示す情報と共に起動指示情報が入力される等した場合に起動するものである。
Next, an operation example for performing correction will be described. This operation example is activated when, for example, the
まず、図17〜図20を参照し、色情報取得部212が、輝度差を取得する画素領域をサーチする動作例を説明する。
First, an example of operation in which the color
図17において、色情報取得部212は、取得条件保持部213から、輝度取得モードを読み出す(S1701)。色情報取得部212は、読み出した設定情報が、全輝度取得モードを示しているか否か判定する(S1702)。
In FIG. 17, the color
S1702の判定の結果、設定情報が全輝度取得モードを示している場合、色情報取得部212は、後述する全画面検索を行なう。
As a result of the determination in S1702, when the setting information indicates the full luminance acquisition mode, the color
S1702の判定の結果、設定情報が全輝度取得モードを示していない場合、色情報取得部212は、S1701で読み出した設定情報が、中央部輝度取得モードを示しているか否か判定する(S1703)。
If the setting information does not indicate the full luminance acquisition mode as a result of the determination in S1702, the color
S1703の判定の結果、設定情報が中央部輝度取得モードを示している場合、色情報取得部212は、後述する中央部画面検索を行なう。
As a result of the determination in S1703, when the setting information indicates the central luminance acquisition mode, the color
S1703の判定の結果、設定情報が中央部輝度取得モードを示していない場合、色情報取得部212は、S1701で読み出した設定情報が、ランダム輝度取得モードを示しているか否か判定する(S1704)。
If the setting information does not indicate the center luminance acquisition mode as a result of the determination in S1703, the color
S1704の判定の結果、設定情報がランダム輝度取得モードを示している場合、色情報取得部212は、後述するランダム検索を行なう。
As a result of the determination in S1704, when the setting information indicates the random luminance acquisition mode, the color
S1704の判定の結果、設定情報がランダム輝度取得モードを示していない場合、色情報取得部212は、処理を終了する。
As a result of the determination in S1704, when the setting information does not indicate the random luminance acquisition mode, the color
次に、図18を参照し、全画面検索の動作例を説明する。 Next, an operation example of full screen search will be described with reference to FIG.
図18において、まず、色情報取得部212は、初期値を設定する。具体的には、「Ysum1=0」、「Ysum2=0」とする(S1801)。次に、色情報取得部212は、検索部251に指示された同じ映像を映すフレーム画像のうち、HDTVデータによるフレーム画像の端から「6*6」画素の領域を選択し、この領域の画素の輝度信号の値の平均値を算出し、この値を「Y」とする(S1802)。次に、色情報取得部212は、「Ysum1=Ysum1+Y」を算出する(S1803)。色情報取得部212は、上述のS1802、S1803の処理を、検索部251に指示されたHDTVデータのフレーム画像の全ての画素に対し行なったか否か判定する(S1804)。
In FIG. 18, first, the color
S1804の判定の結果、HDTVデータのフレーム画像の全ての画素に対し行なっていない場合、色情報取得部212は、上述のS1802の処理を行なっていない「6*6」画素の領域を選択し、上述の処理を行なう。
As a result of the determination in S1804, if not performed on all the pixels of the HDTV data frame image, the color
S1804の判定の結果、HDTVデータのフレーム画像の全ての画素に対し行なっている場合、色情報取得部212は、「Ysum1=Ysum1÷(320*180)」を算出する(S1805)。
As a result of the determination in S1804, when all the pixels of the frame image of the HDTV data have been processed, the color
次に、色情報取得部212は、検索部251に指示された同じ映像を映すフレーム画像のうち、H.264データによるフレーム画像から1つの画素を選択し、その画素から取得した輝度信号を「y」とする(S1806)。次に、色情報取得部212は、「Ysum2=Ysum2+y」を算出する(S1807)。色情報取得部212は、上述のS1806、S1807の処理を、検索部251に指示されたH.264データのフレーム画像の全ての画素に対し行なったか否か判定する(S1808)。
Next, the color
S1808の判定の結果、HDTVデータのフレーム画像の全ての画素に対し行なっていない場合、色情報取得部212は、上述のS1806の処理を行なっていない画素に対し、上述の処理を行なう。
As a result of the determination in S1808, if not performed on all the pixels of the frame image of the HDTV data, the color
S1809の判定の結果、HDTVデータのフレーム画像の全ての画素に対し行なっている場合、色情報取得部212は、「Ysum2=Ysum2÷(320*180)」を算出する(S1809)。この後、色差取得部214を起動し、輝度差取得処理に移行する。
As a result of the determination in S1809, if it is performed for all the pixels of the frame image of the HDTV data, the color
次に、図19を参照し、中央部画面検索の動作例を説明する。 Next, with reference to FIG. 19, an operation example of the central screen search will be described.
図19において、まず、色情報取得部212は、初期値を設定する。具体的には、「Ysum1=0」、「Ysum2=0」とする(S1901)。次に、色情報取得部212は、検索部251に指示された同じ映像を映すフレーム画像のうち、HDTVデータによるフレーム画像内の中央部の領域を選択する(S1902)。この中央部の領域の大きさ及び形状は任意でよいが、ここでは、この中央部の領域を、画素の位置「(600,360)-(1320,720)」で定まる矩形領域であるものとする。
In FIG. 19, first, the color
色情報取得部212は、S1902にて選択した領域内にて、端から「6*6」画素の領域を選択し、この領域の画素の輝度信号の値の平均値を算出し、この値を「Y」とする(S1903)。次に、色情報取得部212は、「Ysum1=Ysum1+Y」を算出する(S1904)。色情報取得部212は、上述のS1903、S1904の処理を、S1902で選択した領域内の全ての画素に対し行なったか否か判定する(S1905)。
The color
S1905の判定の結果、S1902で選択した全ての画素に対し行なっていない場合、色情報取得部212は、上述のS1903の処理を行なっていない「6*6」画素の領域を選択し、上述の処理を行なう。
As a result of the determination in S1905, if not performed for all the pixels selected in S1902, the color
S1905の判定の結果、S1902で選択した全ての画素に対し行なっている場合、色情報取得部212は、「Ysum1=Ysum1÷(120*60)」を算出する(S1905)。
As a result of the determination in S1905, when all the pixels selected in S1902 are performed, the color
次に、色情報取得部212は、検索部251に指示された同じ映像を映すフレーム画像のうち、H.264データによるフレーム画像内の中央部の領域を選択する(S1907)。この中央部の領域の大きさ及び形状は任意でよいが、ここでは、この中央部の領域を、画素の位置「(100,60)-(220,120)」で定まる矩形領域であるものとする。
Next, the color
色情報取得部212は、S1907で選択した領域の端から1つの画素を選択し、その画素から取得した輝度信号を「y」とする(S1908)。次に、色情報取得部212は、「Ysum2=Ysum2+y」を算出する(S1909)。色情報取得部212は、上述のS1908、S1909の処理を、S1907で選択した領域内の全ての画素に対し行なったか否か判定する(S1910)。
The color
S1910の判定の結果、S1907で選択した領域内の全ての画素に対し行なっていない場合、色情報取得部212は、上述のS1908の処理を行なっていない画素に対し、上述の処理を行なう。
As a result of the determination in S1910, if not performed on all the pixels in the region selected in S1907, the color
S1910の判定の結果、S1907で選択した領域内の全ての画素に対し行なっている場合、色情報取得部212は、「Ysum2=Ysum2÷(120*60)」を算出する(S1911)。この後、色差取得部214を起動し、輝度差取得処理に移行する。
As a result of the determination in S1910, if all pixels in the region selected in S1907 are performed, the color
次に、図20を参照し、ランダム検索の動作例を説明する。 Next, an example of random search operation will be described with reference to FIG.
図20において、まず、色情報取得部212は、初期値を設定する。具体的には、「Ysum1=0」、「Ysum2=0」、「n1=0」、「n2=0」とする(S2001)。次に、色情報取得部212は、検索部251に指示された同じ映像を映すフレーム画像のうち、HDTVデータによるフレーム画像内の画素をランダムに選択する(S2002)。
In FIG. 20, first, the color
色情報取得部212は、S2002にて選択した画素を基準として「6*6」画素の領域を選択し、この領域の画素の輝度信号の値の平均値を算出し、この値を「Y」とする(S2003)。次に、色情報取得部212は、「Ysum1=Ysum1+Y」を算出し(S2004)、さらに、「n1=n1+1」を算出する(S2005)。色情報取得部212は、「n1=N」であるか否か判定する(S2006)。この「N」は「N>0」の任意の整数であり、予め定められているものとするが、入力装置121、又は、通信インタフェース110を介して入力された情報に従い変更等してもよい。
The color
S2006の判定の結果、「n1=N」でない場合、色情報取得部212は、上述のS2002以降の処理を再度行なう。
If the result of determination in S2006 is not “n1 = N”, the color
S2006の判定の結果、「n1=N」である場合、色情報取得部212は、「Ysum1=Ysum1÷N」を算出する(S2007)。
If the result of determination in S2006 is “n1 = N”, the color
次に、色情報取得部212は、検索部251に指示された同じ映像を映すフレーム画像のうち、H.264データによるフレーム画像内の画素をランダムに選択する(S2008)。
Next, the color
色情報取得部212は、S2008で選択した画素から取得した輝度信号の値を「y」とする(S2009)。次に、色情報取得部212は、「Ysum2=Ysum2+y」を算出し(S2010)、さらに、「n2=n2+1」を算出する(S2011)。色情報取得部212は、「n2=N」であるか否か判定する(S2012)。
The color
S2012の判定の結果、「n2=N」でない場合、色情報取得部212は、上述のS2008以降の処理を行なう。
If the result of determination in S2012 is not “n2 = N”, the color
S2012の判定の結果、「n2=N」である場合、色情報取得部212は、「Ysum2=Ysum2÷N」を算出する(S2013)。この後、色差取得部214を起動し、輝度差取得処理に移行する。
If the result of determination in S2012 is “n2 = N”, the color
次に、輝度差を取得する動作例を、図21を参照して説明する。 Next, an operation example for acquiring the luminance difference will be described with reference to FIG.
図21において、色差取得部214は、上述の処理で色情報取得部212が取得した「Ysum1」、「Ysum2」の値から、輝度差を算出する。具体的には、色差取得部214は、式「Δsum=Ysum1-Ysum2」により輝度差を算出する(S2101)。この後、補正部215を起動し、色補正処理に移行する。
In FIG. 21, the color
次に、色を補正する動作例を、図22を参照して説明する。 Next, an operation example for correcting the color will be described with reference to FIG.
図22において、補正部215は、フレームバッファ209内の変換対象のフレーム画像の画素を1つ選択する(S2201)。この変換対象のフレーム画像とは、例えば、検索部251に指示されたH.264データによるフレーム画像である。
In FIG. 22, the
次に、補正部215は、S2201で選択した画素の輝度を取得し、「y」とする(S2202)。補正部215は、「Y′=((1+Δsum)/Ysum2)*y」を算出し、算出した「Y′」の値を、S2201で選択した画素の輝度として色補正を行なう(S2203)。この、算出した輝度に画素を変更する処理そのものは従来技術と同じであり、具体的には、例えば、S2201で選択した画素の輝度が算出した「Y′」となるようにテーブル内のパラメータ(図示略)等を変更しても良く、また、補正部215が、フレームバッファ209に描画されたフレーム画像の色そのものを算出した「Y′」の値となるように変更しても良い。
Next, the
補正部215は、フレームバッファ209内の変換対象のフレーム画像に、未選択の画素があるか否か判定する(S2204)。
The correcting
S2204の判定の結果、未選択の画像がある場合、補正部215は、S2201の処理を再度行ない、未選択の画素のうち1つを選択する。
If there is an unselected image as a result of the determination in S2204, the
S2204の判定の結果、未選択の画素がない場合、補正部215は、色補正処理を終了する。補正部215は、このような処理を、検索部251に指示されたH.264データによるフレーム画像以降のフレーム画像の全てに対し行なうことにより、色補正を行なう。
If there is no unselected pixel as a result of the determination in S2204, the
一方、上述のように、近傍フレーム検索部253は、切替え対象フレーム画像のレンダリングの次に、切替えフレーム画像のレンダリングを行なうように、切替え部216に指示する。切替え部216は、この指示に従い、フレームバッファ206内のフレーム画像からフレームバッファ209からのフレーム画像に切替える、又は、フレームバッファ209内のフレーム画像からフレームバッファ206からのフレーム画像に切替える等して、フレーム画像を出力インタフェース109から出力する(S2205)。
On the other hand, as described above, the neighboring
上記動作により、フレームバッファ209内のフレーム画像には色補正が施されているので、視聴上の違和感を感じさせない画像を出力することが可能となる。
As a result of the above operation, the frame image in the
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and design changes and the like within a scope not departing from the gist of the present invention are included. .
例えば、上述の実施形態では、H.264データによるフレーム画像の色を補正するものとしたが、これに限られるわけではなく、HDTVデータによるフレーム画像を補正してもよい。 For example, in the embodiment described above, H. However, the present invention is not limited to this, and a frame image based on HDTV data may be corrected.
また、上述の実施形態では、色の差は、輝度を取得し、輝度を補正するものとして説明したが、これに限られるわけではない。例えば、「R,G,B」、「Y,Cb,Cr」、明度、彩度等の何れかでもよく、これらの一部又は全てを組み合わせても良い。 In the above-described embodiment, the color difference is described as acquiring the luminance and correcting the luminance, but is not limited thereto. For example, any of “R, G, B”, “Y, Cb, Cr”, brightness, saturation, etc. may be used, or a part or all of these may be combined.
また、上述の実施形態では、ユーザが、予め、輝度取得モードを定めておくものとしたが、これに限られるわけではない。例えば、出力するコンテンツの種別により、設定を変更してもよい。この場合、例えば、取得条件保持部213には、予め、例えば「ニュース」、「映画」、「その他一般」等のコンテンツの種類と、取得画素設定とが対応付けられたテーブルが格納されている。この取得画素設定は、出力する種類のコンテンツを出力する場合に、色情報取得部212で色情報を取得する画素の設定である。具体的には、例えば、取得条件保持部213内のテーブルには、種類「映画」には取得画素設定「全画面」、種類「ニュース」には取得画素設定「中央部」、種類「その他一般」には取得画素設定「ランダム」等が対応付けられている。取得画素設定「全画面」は、上述の全輝度取得モードに該当する。取得画素設定「中央部」は、上述の中央部輝度取得モードに該当する。取得画素設定「ランダム」は、上述のランダム輝度取得モードに該当する。装置1は、通信インタフェース110を介して番組情報を受信する。この番組情報に含まれる番組の種類が、色情報取得部212に入力等される。色情報取得部212は、取得条件保持部213のテーブルから、入力等された番組の種類に対応する取得画素設定を読み出し、読み出した取得画素設定で、上述のような各画素の色情報の取得を行なう。
In the above-described embodiment, the user determines the luminance acquisition mode in advance. However, the present invention is not limited to this. For example, the setting may be changed according to the type of content to be output. In this case, for example, the acquisition
また、H.264データによるフレーム画像の色を補正する場合であり、かつ、上述のS1102の判定等で、H.264データからHDTVデータへ切替えると判定された場合、色情報取得部212等は、色差取得部214等に指示する等して、上述の色補正処理を停止させてもよい。これとは逆に、HDTVデータによるフレーム画像の色を補正する場合であり、かつ、上述のS1102の判定等で、HDTVデータからH.264データへ切替えると判定された場合、色情報取得部212等は、色差取得部214等に指示する等して、上述の色補正処理を停止させてもよい。
H. H.264 data is used to correct the color of the frame image, and in the above-described determination in S1102, etc. When it is determined to switch from H.264 data to HDTV data, the color
1:受信装置、101:アンテナ、102:チューナ、103:OFDM復調部、104:処理部、105:RAM、106:ROM、107:記憶装置、108:入力インタフェース、109:出力インタフェース、110:通信インタフェース、120:バス、121:入力装置、201:受信状態検出部、202:受信状態検出条件保持部、203:DEMUX、204:デコーダ、205:描画処理部、206:フレームバッファ、207:デコーダ、208:描画処理部、209:フレームバッファ、210:同期部、251:検索部、252:タイムスタンプ取得部、253:近傍フレーム検索部、211:同期条件保持部、212:色情報取得部、213:取得条件保持部、214:色差取得部、215:補正部、216:切替え部、217:設定受付部
1: receiving device, 101: antenna, 102: tuner, 103: OFDM demodulation unit, 104: processing unit, 105: RAM, 106: ROM, 107: storage device, 108: input interface, 109: output interface, 110: communication Interface: 120: Bus 121: Input device 201: Reception state detection unit 202: Reception state detection condition holding unit 203: DEMUX 204: Decoder 205: Drawing processing unit 206: Frame buffer 207: Decoder 208: Drawing processing unit, 209: Frame buffer, 210: Synchronization unit, 251: Search unit, 252: Time stamp acquisition unit, 253: Neighboring frame search unit, 211: Synchronization condition holding unit, 212: Color information acquisition unit, 213 : Acquisition condition holding unit, 214: color difference acquisition unit, 215: correction unit, 216: off Shank, 217: setting receiver
Claims (6)
前記第1の方式の画像データのフレーム画像と、前記第2の方式の画像データのフレーム画像とが同じ映像を映しているか否か判定する同期検出手段と、
前記判定により同じ映像を映していると判定された前記第1の方式の画像データのフレーム画像の色と、前記第2の方式の画像データのフレーム画像の色との色の差を取得する差取得手段と、
前記取得した色の差に応じて、前記第2の方式の画像データのフレーム画像の色を補正する補正手段と、
前記補正した第2の方式の画像データを前記出力手段に出力する切替え手段と、
を有することを特徴とする受信装置。 A receiving device that receives image data of the same video in different modes and outputs image data to output means from image data of the first mode to image data of the second mode,
Synchronization detection means for determining whether or not the frame image of the image data of the first method and the frame image of the image data of the second method show the same video;
A difference for obtaining a color difference between the color of the frame image of the image data of the first method determined to show the same video and the color of the frame image of the image data of the second method by the determination. Acquisition means;
Correction means for correcting the color of the frame image of the image data of the second method according to the acquired color difference;
Switching means for outputting the corrected second-system image data to the output means;
A receiving apparatus comprising:
前記同期検出手段は、前記第1の方式の画像データのフレーム画像の動きベクトルと、前記第2の方式の画像データのフレーム画像の動きベクトルとの内積の総和が、所定値内であるか否かにより、前記第1の方式の画像データのフレーム画像と、前記第2の方式の画像データのフレーム画像とが同じ映像を映しているか否か判定すること
を特徴とする受信装置。 The receiving device according to claim 1,
The synchronization detection means determines whether a sum of inner products of a motion vector of the frame image of the image data of the first method and a motion vector of the frame image of the image data of the second method is within a predetermined value. Kaniyori, wherein the frame image of the image data of the first type, receiving said second type image data of the frame image is characterized by whether determine Teisu Rukoto that reflects the same video device.
前記差異取得手段が、前記第1の方式の画像データのフレーム画像の色と前記第2の方式の画像データのフレーム画像との各々の全画素、各フレーム画像の中央部の画素、及び、各フレーム画像の任意の画素のうち何れか1つの色の差を取得すること、を特徴とする受信装置。 The receiving device according to claim 1 or 2,
The difference acquisition means includes all the pixels of the color of the frame image of the image data of the first method and the frame image of the image data of the second method, the pixel at the center of each frame image, and each A receiving apparatus that acquires a color difference of any one of arbitrary pixels of a frame image.
前記第1の方式の画像データのフレーム画像の再生時刻と、前記第2の方式の画像データのフレーム画像の再生時刻とを取得する再生時刻取得手段と、
前記取得された再生時刻の差分が所定値より大きい場合、前記再生時刻を取得した第1の方式の画像データのフレーム画像の次に、前記再生時刻を取得した第2の画像データのフレーム画像を出力手段に出力する指示を、前記切替え手段に出力するフレーム検索手段と、をさらに有すること
を特徴とする受信装置。 The receiving device according to any one of claims 1 to 3,
Reproduction time acquisition means for acquiring the reproduction time of the frame image of the image data of the first method and the reproduction time of the frame image of the image data of the second method;
When the difference between the acquired reproduction times is greater than a predetermined value, the frame image of the second image data from which the reproduction time is acquired is next to the frame image of the first method image data from which the reproduction time has been acquired. And a frame search means for outputting an instruction to be output to the output means to the switching means.
前記第1の方式の画像データのフレーム画像と、前記第2の方式の画像データのフレーム画像とが同じ映像を映しているか否か判定する同期検出ステップと、
前記判定により同じ映像を映していると判定された前記第1の方式の画像データのフレーム画像の色と、前記第2の方式の画像データのフレーム画像の色との色の差を取得する差取得ステップと、
前記取得した色の差に応じて、前記第2の方式の画像データのフレーム画像の色を補正する補正ステップと、
前記補正した第2の方式の画像データを前記出力手段に出力する切替えステップと、
を有することを特徴とする色補正方法。 A color correction method by a receiving device that receives image data of different methods of the same video and outputs image data output to the output means from image data of the first method to image data of the second method,
A synchronization detection step of determining whether or not the frame image of the image data of the first method and the frame image of the image data of the second method show the same video;
A difference for obtaining a color difference between the color of the frame image of the image data of the first method determined to show the same video and the color of the frame image of the image data of the second method by the determination. An acquisition step;
A correction step of correcting the color of the frame image of the image data of the second method according to the acquired color difference;
A switching step of outputting the corrected image data of the second method to the output means;
A color correction method comprising:
前記第1の方式の画像データのフレーム画像と、前記第2の方式の画像データのフレーム画像とが同じ映像を映しているか否か判定する同期検出ステップと、
前記判定により同じ映像を映していると判定された前記第1の方式の画像データのフレーム画像の色と、前記第2の方式の画像データのフレーム画像の色との色の差を取得する差取得ステップと、
前記取得した色の差に応じて、前記第2の方式の画像データのフレーム画像の色を補正する補正ステップと、
前記補正した第2の方式の画像データを前記出力手段に出力する切替えステップと、
を実行させることを特徴とする色補正プログラム。 A color correction program for causing a receiving device to receive image data of the same video in different systems and output image data to output means from image data of the first system to image data of the second system. ,
A synchronization detection step of determining whether or not the frame image of the image data of the first method and the frame image of the image data of the second method show the same video;
A difference for obtaining a color difference between the color of the frame image of the image data of the first method determined to show the same video and the color of the frame image of the image data of the second method by the determination. An acquisition step;
A correction step of correcting the color of the frame image of the image data of the second method according to the acquired color difference;
A switching step of outputting the corrected image data of the second method to the output means;
A color correction program characterized by causing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006086377A JP4982096B2 (en) | 2006-03-27 | 2006-03-27 | Reception device, color correction method, and color correction program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006086377A JP4982096B2 (en) | 2006-03-27 | 2006-03-27 | Reception device, color correction method, and color correction program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007266764A JP2007266764A (en) | 2007-10-11 |
| JP4982096B2 true JP4982096B2 (en) | 2012-07-25 |
Family
ID=38639355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006086377A Expired - Fee Related JP4982096B2 (en) | 2006-03-27 | 2006-03-27 | Reception device, color correction method, and color correction program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4982096B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5517548B2 (en) * | 2009-10-05 | 2014-06-11 | キヤノン株式会社 | Image processing apparatus and image processing method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05300531A (en) * | 1992-04-14 | 1993-11-12 | Nippon Hoso Kyokai <Nhk> | Color correction method and color correction apparatus |
| JP4197402B2 (en) * | 2002-03-15 | 2008-12-17 | 株式会社日立製作所 | Digital broadcast receiving apparatus and digital broadcast receiving method |
-
2006
- 2006-03-27 JP JP2006086377A patent/JP4982096B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007266764A (en) | 2007-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7870583B2 (en) | Digital broadcast receiver and broadcast data display method for simultaneous display of multi-channel visual images | |
| US7379122B2 (en) | Digital TV and channel setting method thereof | |
| US20020101540A1 (en) | Channel selection device for use in digital/analog broadcasting receiver and digital/analog broadcasting receiver equipped with the same | |
| JP2008252701A (en) | Video signal processing device, video display device, and video signal processing method | |
| JP5469121B2 (en) | Receiver | |
| JP3752443B2 (en) | Mobile receiver | |
| KR20080028437A (en) | Digital broadcasting receiver and content display method | |
| US20080074557A1 (en) | Method for switching a channel of an image display device and apparatus therefor | |
| US9479738B2 (en) | Method and apparatus for transmitting and receiving broadcasting information using reserved channels | |
| JP4982096B2 (en) | Reception device, color correction method, and color correction program | |
| CN100448273C (en) | receiver for moving objects | |
| US8004506B2 (en) | Display control device, display control method, and program | |
| JP5289038B2 (en) | Digital broadcast receiver | |
| JP5575258B2 (en) | Digital broadcast receiver | |
| JP6522979B2 (en) | TV receiver | |
| US20080143878A1 (en) | Broadcast Receiving Apparatus | |
| JP2008022047A (en) | Broadcast receiving apparatus, broadcast receiving method, and computer program | |
| JP5394248B2 (en) | Digital broadcast receiver | |
| JP2009089168A (en) | Digital broadcast display system and digital broadcast display device | |
| JP2004304691A (en) | Terrestrial digital broadcast receiver | |
| JP2009147669A (en) | Video display device and video processing device | |
| JP2010166167A (en) | Display controller, display system and display control method | |
| JP2006050507A (en) | Digital broadcast content display device and display method thereof | |
| JP2004056316A (en) | Video information processing equipment | |
| JP2006086847A (en) | Program guide display device and program guide display method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080212 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20100119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110715 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120410 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120423 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150427 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |