JP4192476B2

JP4192476B2 - Video conversion apparatus and video conversion method

Info

Publication number: JP4192476B2
Application number: JP2002050666A
Authority: JP
Inventors: 靖浩秋山; 淳一木村
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-02-27
Filing date: 2002-02-27
Publication date: 2008-12-10
Anticipated expiration: 2022-02-27
Also published as: JP2003259215A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像中に出現する文字部分に対して所定の加工を実施する映像変換装置に関するものであり、特にTV映像などの表示サイズの大きな映像を表示サイズの小さな受信端末で再生する場合でも、文字部分の適切な視聴を可能にするための技術に関する。
【０００２】
【従来の技術】
特開平7-336618(西暦1995年12月22日公開)には、TV受信機側で映像サイズの変換を実施して表示する際、文字部分が表示画面外に隠れてしまうことを避けるため、文字サイズを保持したまま表示位置のみを表示画面内に変更するための手法が記載されている。特開平9-83965(西暦1997年3月28日公開)には、TV受信機側で文字情報を画面に多重して表示する際、背景の輝度レベルの影響で見え難くならないように太文字へ変換して表示する手法が記載されている。特開2000-50217(西暦2000年2月18日公開)には、TV 受信機において本来、異なる画面で表示されるように構成された文字放送番組と通常の番組を１つの映像に多重して表示する手法が記載されている。特開2000-278622(西暦2000年10月6日公開)および特開2000-350117(西暦2000年12月15日公開)には、画面上に表示する字幕文字の表示形式やタイミングなどの指示情報を視聴者がTV受信機に予め指定しておき、その指示情報に従って字幕文字と映像とを多重して表示する手法が記載されている。
【０００３】
【発明が解決しようとする課題】
本発明が解決しようとする課題は、表示画面の小さな映像受信端末を用いて映像を再生した場合でも、映像受信端末側に文字放送対応手段等の特別な機構や機能を追加することなく、映像中に出現する文字の表示内容を容易に認識することが可能な手段を提供することである。
【０００４】
【課題を解決するための手段】
本発明において、上記の課題を解決するためには、例えば特許請求の範囲に記載されるように構成すればよい。
【０００５】
【発明の実施の形態】
以下、本発明における映像変換装置の実施の形態について説明する。
【０００６】
図１は、本発明の映像変換装置100の構成を示す図である。
【０００７】
TV放送局113から送られて来るTV番組の映像情報(音声を含む)は、映像入力部101を経由して一時記憶媒体102に格納される。映像変換部103は、一時記憶媒体102に格納された映像情報を順次読み出して、原画像のサイズ変換、文字画像部分の切り出しとサイズ変換、多重化などを実施する部分であり、それらの変換操作は映像変換情報部106に予め格納された映像変換情報に基づいて実施される。映像出力部108は、映像変換部103によって変換された映像情報を携帯電話用無線回線、インターネットなどの外部公衆網111へ送出する機能、または映像記憶媒体107に対する入出力の機能を有する部分である。外部公衆網111へ送出された映像情報は、外部公衆網111に接続されたPDA、携帯電話機など複数の映像受信端末112へ配信される。映像変換情報部106は、映像変換の対象となる番組を特定するための放送チャネル、番組開始時間などを示す番組情報、画像サイズ変換の指標となる映像サイズ情報、映像中の複数の文字部分に対する映像変換を実施する際に、その場所を特定する座標などを示す領域別変換情報などを格納する部分である。操作部105は、映像変換情報部106に格納される映像変換情報について入力、編集などの操作を行う部分である。映像記録媒体107は、映像変換後の映像を保存する部分であり、保存済みの映像は、読み出して外部公衆網111へ送出することも出来る。データ入出力部110は、データ通信装置114を介して接続されたサーバや別の映像変換装置に対して、映像変換情報および変換済みの保存映像について、入力、送信、交換などの処理を行う部分である。タイマ109は、日付および時刻をカウントする機能を持ち、映像変換情報に基づく映像変換処理の開始動作および停止動作を判定するために用いる。制御部104は、映像変換装置100の各処理部が適切に動作するための制御管理機能を持つ部分である。尚、本願に開示される映像変換は情報記憶手段に格納されるプログラムを上記制御部が読み出すことによって実行することも可能である。
【０００８】
図2は、映像変換部103の構成を示す図である。
【０００９】
映像入力部101から入力された映像情報(音声情報を含む)は、一旦、一時記憶媒体102へ時系列に格納される。一時記憶媒体102に格納された映像情報は、1枚の画像(フレーム)毎に映像変換部に取り込まれ、映像情報は原画像部200へ格納される。また、このフレームと同じ時刻に再生されるべき音声情報は、音声部210へ格納される。原画像は、スケーリング1部202によって映像変換情報で示される出力映像サイズ208に従い画像サイズ変換を実施した後、多重部204へ送られる。音声情報は、変換などの処理は実施せずに、そのまま多重部204へ送られる。画像切り出し部201は、映像変換情報で示される原座標205に従い、原画像の中で文字情報が存在する所定領域の画像を切り出して格納する部分である(以下、この画像を切り出し画像と称する)。文字検出部206は、切り出し画像における輝度情報を調べることにより、文字情報の有無を判定する部分である。文字有りと判定された場合は、スケーリング2部203によって映像変換情報で示される拡大比率207に従い、切り出した画像サイズの変換を実施し、多重部204へ送られる。文字無しと判定された場合は、切り出し画像サイズの変換は実施せず、多重部204へも送らない。多重部204は、映像変換情報で示される多重座標209に従い、スケーリング1部202から送られた変換後の原画像の上に、スケーリング2部203から送られた変換後の切り出し画像を重ねて１つの画像に合成し、さらに音声部210から送られた音声情報と多重して、１本の映像情報に変換する部分である。多重された映像情報は、映像出力部108によって外部公衆網111へ送出される。ここで、映像変換情報の原座標205、拡大比率207、出力映像サイズ208、多重座標209は、予め映像変換情報部106に格納された情報であり、制御部104によって適宜参照されるものである。
【００１０】
図3は、映像変換情報300の内容を示す図である。
【００１１】
ID(301)は、１つの映像変換情報300毎に付けられる任意の記号列であり、特定の番組向けの情報として分類する場合や、複数の映像変換情報300の中からある特定の映像変換情報300を抽出する場合などに用いる。動作モード302は、映像情報の入力元および出力先の組合せを指定するコードである。入出力デバイス情報303は、動作モード302と連動して決定される情報であり、入力デバイス309と出力デバイス310のそれぞれに該当デバイス機器を指し示す所定のコードで構成する。番組情報304は、映像変換処理の対象となるTV放送のチャンネル311、番組タイトル名312で構成する。チャンネル311は数値、番組タイトルはテキストで指定する。日時情報305は、映像変換処理の開始日付313、開始時刻314および映像変換処理を行う時間長315で構成する。開始日時は西暦の年月日を示すコード、開始時刻と時間長は時分秒を示すコードで指定する。映像サイズ情報306は、入力映像サイズ316と出力映像サイズ317で構成し、それぞれ水平方向と垂直方向の画素数を指定する。変換領域数307は、映像変換処理の対象となる領域の数であり、数値で指定する。ここで言う領域とは、映像画面中の字幕などの文字が表示される部分のことである。画面中に複数の文字表示領域が存在する場合、その全てを変換対象として設定することも可能である。一方、変換対象の領域数を任意の数に制限することも可能である。領域別変換情報308は、映像変換処理に使用するパラメータグループである。変換領域数307で指定した数のパラメータグループが用意され、同図の例では、変換領域1(332)と変換領域2(333)の情報がこれに該当する。１つのパラメータグループは、表示優先順位322、原座標323、多重座標324、拡大比率325、分割表示制御326で構成する。表示優先順位322は、映像変換後の画像を多重化する際、変換領域に重なりが生じた場合、どの領域を優先的に前面表示させるかを示す数値であり、数値が小さい程、優先順位が高いことを示す。原座標323は、原画像から画像を切り出す領域を示す座標であり、原点座標と終点座標を示すコードで設定する。多重座標324は、スケーリング後の切り出し画像をスケーリング後の原画像へ多重する位置を示す座標であり、原点座標と終点座標を示す座標を示すコードで設定する。拡大比率325は、原画像から切り出した画像に対する水平方向および垂直方向のサイズ変換比率であり、数値で指定する。分割表示制御326は、領域を複数個に分割して表示する制御の有無を示す数値であり、分割表示制御有りの場合は1、無しの場合は0を設定する。分割表示制御326は、文字情報が多いなどの理由で、スケーリング後の切り出し画像が多重座標324に設定した領域内に収まらない場合、領域を複数個に分割して表示する処理を実施する。
【００１２】
図4は、映像変換情報300の動作モード302と入出力デバイス情報303の関係を示す図である。
【００１３】
図4(a)の動作モード401(302)は、映像情報の入力元および出力先の組合せを指定する情報である。入力デバイス402(309)には、映像変換部103への映像入力元となるデバイス機器を特定する識別番号が設定される。出力デバイス403(310)は、映像変換部103からの映像出力先となるデバイス機器を特定する識別番号が設定される。図4(b)は、映像変換装置100が持つ入力デバイス410と識別番号の関係を示した入力デバイス登録情報408である。図4(c)は、映像変換装置100が持つ出力デバイス413と識別番号の関係を示した出力デバイス登録情報411である。図4(a)では、例えば、動作モード401(302)がmode0(404)の場合、入力デバイス402(309)は識別番号DI00なので外部映像入力部(101)が選択され、出力デバイス403(310)は識別番号DO00なので外部映像出力部(108)が選択される。
【００１４】
図5は、映像変換情報300の映像サイズ情報306の設定内容を示す図である。
【００１５】
図5(a)は、原画像500である入力映像のサイズを示す図であり、画像の水平方向の画素数XL(502)と垂直方向の画素数XY(503)で表す。図5(b)は、変換画像504である出力映像のサイズを示す図であり、画像の水平方向の画素数XS(505)と垂直方向の画素数YS(506)で表す。
【００１６】
図6は、映像変換情報300の変換領域数307の設定内容を示す図である。
【００１７】
図6(a)は、原画像600に対して１個の変換領域を設定する例であり、同図の場合は画面左上の時刻表示領域601の1か所が変換対象領域となる。図6(b)は、原画像602に対して2個の変換領域を設定する例であり、同図の場合は画面左上の時刻表示領域603と画面中央の「◆臨時ニュース◆」という文字表示領域604の2か所が変換対象領域となる。
【００１８】
図7は、領域別変換情報308の原座標323の設定内容を示す図である。
【００１９】
原画像全体の領域は、原点ポイント700と終点ポイント701の組合せで表現する。同図の例では、ポイント情報の(xl0,yl0)-(xl1,yl1)が原画像全体の領域を表している。変換対象領域702の原座標323も同様に、変換対象領域の原点ポイント703と終点ポイント704の組合せで表現する。
【００２０】
図8は、領域別変換情報308の拡大比率325の設定内容を示す図である。
【００２１】
図8(a)に示した原画像800の時刻表示領域の切り出し画像801を拡大する場合の例として、図8(b)に示すように、その拡大比率802(325)は、切り出し画像801に対する水平方向の拡大比率kwiと垂直方向の拡大比率kheの組合せで表現する。切り出し画像801を拡大比率(kwi,khe)に基づいてスケーリング(拡大変換)を実施することにより、スケーリング後の切り出し画像803が生成される。
【００２２】
図9は、領域別変換情報308の多重座標324の設定内容を示す図である。
【００２３】
変換画像全体の領域は、原画像領域の場合と同様に原点ポイント901と終点ポイント902の組合せで表現する。同図の例では、ポイント情報の(xs0,ys0)-(xs1,ys1)が変換画像全体の領域を表している。スケーリング後の切り出し画像903を変換画像900へ多重する場合、多重領域の座標は、原点ポイント904と終点ポイント905の組合せで表現する。
【００２４】
図10は、映像変換装置100による映像変換動作の一例を示す図である。
【００２５】
同図では、野球中継画面のスコア表示部分に対して映像変換動作を実施する例を示す。TV番組における野球などのスポーツ中継では、スコア表示がTV画面上の特定位置に固定表示されることが一般的である。この習慣を利用して、予め原画像1000のスコア表示部分1001を変換領域332として設定し、映像変換後でもスコア表示の内容が認識可能となるように、適度な拡大比率325を設定しておく。番組が始まると映像変換装置100の映像変換部103は、原画像全体をそのままサイズ変更したスケーリング画像1(1002)とスコア表示部分1001をサイズ変更したスケーリング画像2(1003)を生成し、この2つの画像を多重することで変換画像1004が出力される。同図の例では、野球中継全体の映像サイズは小さくなるが、スコア表示の内容を充分認識することが可能な映像を配信することが出来る。
【００２６】
図11は、映像変換装置100による映像変換動作の別の一例を示す図である。
【００２７】
同図では、原画像1100の中の変換領域数が2つの場合における映像変換動作の実施例を示す。この例の変換領域は、画面左上の時刻表示領域1101と画面中央の「◆臨時ニュース◆」という文字表示領域1102であり、この2つの領域が切り出し画像の対象となる。2つの切り出し画像は、別に設定する映像変換情報300の領域別変換情報308を参照して映像変換を行い、それぞれスケーリング画像2-a(1104)とスケーリング画像2-b(1105)に変換される。原画像1100は、映像変換情報300の出力映像サイズ317を参照してスケーリング画像1(1103)に変換され、このスケーリング画像1(1103)の上にスケーリング画像2-a(1104)とスケーリング画像2-b(1105)を多重して、変換画像1106を出力する。切り出し画像を多重する位置は、図2で説明したように、映像変換情報300の多重座標209が参照される。
【００２８】
図12は、映像変換の実行中を示すマークを画面上に表示する例を示す図である。
【００２９】
切り出し画像の多重による映像変換が実施されていることを視聴者に対して認識させる手段として、変換画像1200の任意の位置に映像変換の実行中を示すマーク(以下、映像変換マーク1201と称する)を表示する。これにより、原画像をそのままスケーリングした画像と、切り出し画像の多重による映像変換が実施された画像とを、視聴者が容易に認識できるようになる。同図の例では、画面右上に映像変換マーク1201を表示しているが、表示位置は任意で良く、場面によって表示位置を変更しても良い。また、映像変換マーク1201自体も任意の記号、文字、形状であっても良い。
【００３０】
図13は、映像変換動作において分割表示制御を実施する場合の例を示す図である。
【００３１】
原画像の変換領域に表示される文字数が多い場合、映像変換後の画像にも全ての文字が表示されるようにスケーリングのみによって映像変換を行うと、変換画像面積の大部分を多重した切り出し画像が占めてしまい、元の映像が隠れてしまうという弊害が生じる恐れがある。分割表示制御は、この様な弊害を避けるために、変換画像上に切り出し画像を多重する領域を一定の面積に制限し、切り出し画像を所定の数に分割して表示を行うための制御を実施することが出来る。図13(a)は、映像変換情報300の分割表示制御1300(221)の設定内容を示す図である。分割表示制御有り1301にする場合は「1」、分割表示制御無し1302にする場合は「0」を設定する。図13(b)は、分割表示制御有りの場合に出力される変換画像の一例を示す図である。変換画像1303の領域(xs0,sy0)-(xs1,xy1)の中に、切り出し画像を多重する領域を、予め多重座標1304(209)として設定する。この例の多重座標1304は、原点ポイント1306と終点ポイント1307で示す領域である。この多重座標1304の領域に、切り出し画像1305の全体を数回に分割して表示する。分割表示制御の対象となる切り出し画像の個数に制限はなく、映像変換情報300に設定された変換領域の全てに対して設定することが可能である。
【００３２】
図14は、分割表示制御における表示範囲の一例を示す図である。
【００３３】
図14(a)は、分割表示前の表示文字全体1400の一例、図14(b)は、分割表示後の表示範囲の一例を示している。この例は、分割表示前の表示文字全体1400が3段であることを利用して、3回に分割して変換画像に多重する動作を示している。表示文字全体1400に対して垂直方向1404に分割を行い、その中の１つの分割画像1405を上段から順次、変換画像に多重する。図14(b)の例の場合、分割画像1(1401)、分割画像2(1402)、分割画像3(1403)の順で変換画像に多重する。各分割画像を多重するタイミングは、本来、表示文字全体1400が表示される時間内で調整する。
【００３４】
図15は、分割表示制御を実施した変換画像の出力の一例を示す図である。
【００３５】
同図は、図14に示した表示文字の例を使用して変換画像の流れを示している。第1に、図14の分割画像1(1401)を多重した変換画像1(1500)を出力、第2に、図14の分割画像2(1402)を多重した変換画像2(1501)を出力、第3に、図14の分割画像3(1403)を多重した変換画像3(1502)を出力するという順番で映像変換動作を行う。
【００３６】
図16は、映像変換時における表示優先順位322による動作の一例を示す図である。
【００３７】
映像変換情報300の領域別変換情報308に含まれる表示優先順位322は、映像変換時に複数の切り出し画像を多重化する際、変換領域に重なりが生じた場合、どの切り出し画像を優先的に前面表示させるかを示す数値であり、数値が小さい程、優先順位が高いことを示す情報である。例えば、時刻表示領域1602の表示優先順位322が「2」、「◆臨時ニュース◆」という文字表示領域の表示優先順位322が「1」という設定の映像の場合、映像変換後の出力画像は同図の様に、表示優先順位322が小さい数値である「◆臨時ニュース◆」という文字表示領域が一番手前に表示された変換画像となる。
【００３８】
図17は、映像変換部103における文字検出部206の動作の一例を示す図である。
【００３９】
文字検出部206は、変換領域(切り出し画像)の輝度情報を調べることにより、文字情報の有無を判定する部分である。文字有りと判定された場合は、スケーリング2部203によって映像変換情報で示される拡大比率207に従い、変換領域から切り出した画像のサイズ変換を実施し、多重部204へ送られる。文字無しと判定された場合は、切り出し画像のサイズ変換は実施せず、多重部204へも送らない。図17(a)に文字検出動作の流れを示す。まず、映像入力部101から画像を入力(1700)し、ある変換領域nの全体の輝度平均値Yavを計算(1701)する。次に、予め設定された輝度しきい値Yav'を読み出し(1702)、計算した輝度平均値Yavと比較(1703)する。比較の結果により、変換領域nの映像変換の実行または中断を判定(1704)する。具体的には、輝度平均値Yavが輝度しきい値Yav'以上であれば映像変換を実行し、輝度しきい値Yav'以下であれば映像変換を中断する。図17(b)は、文字検出動作の一例を示す図である。同図は、ある映像変換期間(1706)に入力される映像(1709)の、ある変換領域nの文字の有無 (1707)による映像変換動作の実行または中断(1708)の関係を示している。映像変換の実施期間中(1710)において、入力映像(1709)がP1(1716)からPn(1720)まで入力されると仮定する。ここで、P1(1716)からP3(1717)の入力映像に文字表示があって、文字検出部206により文字有りと判定した場合は、入力映像P1(1716)からP3(1717)の変換領域nにおける映像変換を実行する。一方、P4(1718)からP5(1719)の入力映像に文字表示が無く、文字検出部206により文字無しと判定した場合は、入力映像P4(1718)からP5(1719)の変換領域nにおける映像変換を中断する。以後、映像変換期間の終了まで、入力映像1709の変換領域nにおける文字の有無を判定し、変換領域nの映像変換の実行または中断を制御する。
【００４０】
図18は、映像変換装置100の全体動作のフローチャートを示す図である。
【００４１】
まず、装置が電源ON状態になったならば、初期化を実行(1800)した後、待機状態となる。待機状態では、映像変換情報(300)の日時情報(305)とタイマ(109)を参照して、登録された予約動作開始日時に達するまで待つ(1801)。予約動作開始日時に達したならば、該当する映像変換情報を全て読み出し(1802)と、予約動作終了日時に達したか否かの判定を行う(1803)。ここで、予約動作終了日時に達していなければ、以後の映像変換動作の実行に移るが、その前段で動作モードを調べ、変換済み保存映像を配信するモードか否かを判定する(1804)。動作モードが、変換済み保存映像を配信するモードである場合は、映像記録媒体(107)に保存されている変換済み映像の外部配信を実行する(1811)。動作モードが、通常の映像変換を実行するモードである場合は、映像変換情報(300)に指定した変換動作の指示に従い、映像入力(1805)と映像変換(1806)を実行する。次に、映像変換後の出力として、外部配信動作が指定されているか否かを判定(1807)し、外部配信動作有りの場合は変換映像の外部配信動作を実行(1808)し、無しの場合は変換映像の外部配信動作をスキップする。さらに、変換映像の保存動作が指定されているか否かを判定(1809)し、保存動作有りの場合は映像記録媒体107への保存動作を実行(1810)し、無しの場合は保存動作をスキップする。この後、再度、予約動作終了日時に達したか否かの判定(1803)へ戻り、まだ予約動作終了日時に達していない場合は上記の動作手順を繰り返して実行し、予約動作終了日時に達した場合は、再び待機状態に戻る(1801)。この待機状態において、装置が電源OFF状態になったならば、動作全体を終了する(1812)。
【００４２】
図19は、映像変換装置100における映像変換部103の動作のフローチャートを示す図である。
【００４３】
まず、映像入力部101を介して一時記憶媒体102に格納されている入力映像の中から1枚分の画像Minを取得する(1900)。次に、画像Minをスケーリング1部202によりスケーリングを実行して画像Mscに変換する(1901)。次に、映像変換情報300の中の変換領域数307を読み出してhnに設定し、ループカウンタnを1に設定する。次に、変換領域nの文字検出を実行(1903)し、文字が有るか否かの判定を行う(1904)。文字有りと判定した場合は、画像Minから変換領域nの画像Cinを切り出し(1905)、スケーリング2部203により画像Cinのスケーリングを実行し、画像Csc(n)を出力する。一方、文字無しと判定した場合は、変換領域nの画像切り出しとスケーリングをスキップする。次に、ループカウンタnに1を加算(1907)した後、ループカウンタnが変換領域数hnを超えたか否かを判定する(1908)。まだ、超えていない場合は、再度、変換領域nの文字検出実行(1903)へ戻り、上記の手順を繰り返す。ループカウンタnが変換領域数hnを超えた場合は、以後の画像の多重動作に移る。多重動作では、映像変換情報300の中の表示優先順位322を参照し、表示優先順位の低い画像Csc(n)から順番に画像Mscと多重化(1909)し、最終的に多重化した結果の画像Moutを出力する(1910)。
【００４４】
図20は、複数の映像変換装置100における映像変換情報300の共有運用を示す図である。
【００４５】
映像変換情報300は、映像変換装置100の操作部105により単独で入力および編集が可能な構成となっている。一方、ある第1の映像変換装置100で作成した映像変換情報を第2、第3の映像変換装置100へ配信することにより、一つの映像変換情報300を共有化することも可能である。同図は、映像変換装置1(2000)で作成した複数の映像変換情報2004をサーバ2005へ蓄積しておき、外部公衆網に接続された別の映像変換装置2(2001)、映像変換装置3(2002)、映像変換装置n(2003)などが、サーバ2005に蓄積された映像変換情報2004を取得し、これを利用してそれぞれが映像変換動作を実行する例である。この構成を応用すれば、TV放送局が自局の番組毎に最適な映像変換情報をサーバに用意し、映像変換装置100を持つユーザがインターネットなどのネットワーク経由でダウンロードして使用するなどの利用形態が考えられる。これにより、ユーザ自身が映像変換情報を登録する手間が省けると共に、TV番組に最適な映像変換情報を簡単に取得できることによって、希望するTV番組に対して、最適かつ容易に映像変換動作を実行することが可能になる。
【００４６】
図21は、映像変換装置100と他の機器との接続関係の一例を示す図である。
【００４７】
映像変換装置100は、映像入力手段としてTV受信機2100を接続する。また、別の映像入力手段として、ケーブルTVなどの有線放送、或いはビデオデッキなど、任意の記録媒体に保存された映像を再生する映像再生装置と接続しても良い(図示せず)。変換映像出力手段として、無線配信を行うための無線送信機2001、インターネットなどの外部公衆網2103へ配信を行うためのネットワーク通信装置2102を接続する。また、映像変換装置100で作成した映像変換情報300を別の映像変換装置へ配信またはサーバなどへ保存する場合、前者はデータ入出力部110に接続されたデータ通信装置、後者はデータ入出力部110に接続されたサーバがそれぞれ使用される(図示せず)。
【００４８】
図22は、映像変換装置100と映像受信端末112を使用した運用形態の一例を示す図である。
【００４９】
図21でも示したように、映像変換装置2200は、映像入力手段としてTV放送局2201から発せられた番組を受信するためのTV受信機2202と接続する。変換映像出力手段として、無線送信機2205やネットワーク通信装置2203と接続し、外部公衆網2204へ配信する。無線送信機2205を経由する場合は、外部公衆網2204との間に無線の中継局1(2206)を経由する。外部公衆網2204は、インターネット、公衆電話回線網、衛生通信網などを利用するものとするが、本発明では、その通信方式に制限を設けるものではない。同図のPDA(2208)、動画表示機能付きの携帯電話2209が映像受信端末112に該当する。PDA(2208)および携帯電話2209は、外部公衆網と接続し、映像変換装置100から配信された映像を受信して再生する。尚、同図に示した携帯電話2209の場合は、中継局2(2207)を介して外部公衆網との接続を実施する。
以上のように、本願は、TV放送などの映像を表示部のサイズが小さい携帯型受信端末向けの映像に変換する場合に、TV放送局などの映像供給源から送出された音声を含む映像情報を入力するための映像入力部と、入力した映像情報を一時的に格納するための一時記憶媒体と、映像中のキャプションや字幕などの文字部分について切り出し、拡大、原画像との多重など所定の変換を実施するための映像変換部と、外部公衆網を介して接続された映像受信端末に対して変換後の映像情報を出力するための映像出力部と、映像変換に関する制御パラメータを格納するための映像変換情報部と、映像変換後の映像情報を格納するための映像記憶媒体と、映像変換情報や変換後の映像情報についてデータ通信装置を介して外部と送受信を行うためのデータ入出力部と、映像変換情報を入力および編集するための操作部と、映像変換処理の開始日時および終了日時の判定基準とするためのタイマ部と、前記各部に対し適切な制御を実施するための制御部とで構成し、映像の中に出現するキャプションや字幕などの文字部分に対し、別に指定し映像変換情報部に格納される制御パラメータに従って画像を切り出し、サイズ変換または元のサイズを保持した画像と、原画像または原画像をサイズ変換した画像とを多重化して出力する映像変換機能を備えたことを特徴とする映像変換装置を開示する。さらに、上記装置は入力した原画像若しくは入力した原画像をサイズ変換した画像と、原画像の所定の文字画像部分を切り出してサイズ変換を行った1個または複数個の画像とを多重して出力する。尚、原画像の所定の文字画像部分を切り出してサイズ変換を行う際に、該画像部分に文字表示が有るか否かを判定し、文字表示が有る場合は、該画像部分対する映像変換を実施し、文字表示が無い場合は、該画像部分対する映像変換を実施しない手段も設ける。
又、原画像の所定の文字画像部分を切り出してサイズ変換を行った複数個の画像と、原画像または原画像をサイズ変換した画像との多重は、映像変換情報に設定された表示優先順位の順番に従って多重する順番を制御し、表示優先順位が最も高く設定された文字画像が一番前面に表示されるように出力したり、原画像の所定の文字画像部分を切り出してサイズ変換を行った画像に表示文字数が多い場合、画像を多重する領域を一定の面積に制限し、切り出した画像を所定の数に分割して表示を行うための制御を実施する手段も備える。
【００５０】
尚、特定のTV番組用に作成した複数の映像変換情報群をサーバに一元管理し、他の映像変換装置からの要求によって映像変換情報を配信するようにしてもよく、映像の入力元としてTV受信機と接続し、変換映像の出力先としてインターネットや電話回線などの外部公衆網と接続するために無線送信機やネットワーク通信装置と接続し、入力映像を所定の手順で映像変換した後、外部公衆網へ出力する実施例も開示する。
【００５１】
【発明の効果】
本発明の映像変換装置を用いれば、表示画面の小さな映像受信端末で映像を再生した場合でも、映像受信端末側に特別な機構や機能を追加することなく、映像中に出現する文字の表示内容を容易に認識することが可能となる。
【図面の簡単な説明】
【図１】本発明の映像変換装置の構成を示す図。
【図２】映像変換部の構成を示す図。
【図３】映像変換情報の内容を示す図。
【図４】映像変換情報の動作モードと入出力デバイス情報の関係を示す図。
【図５】映像変換情報の映像サイズ情報の設定内容を示す図。
【図６】映像変換情報の変換領域数の設定内容を示す図。
【図７】領域別変換情報の原座標の設定内容を示す図。
【図８】領域別変換情報の拡大比率の設定内容を示す図。
【図９】領域別変換情報の多重座標の設定内容を示す図。
【図１０】映像変換装置による映像変換動作の一例を示す図。
【図１１】映像変換装置による映像変換動作の別の一例を示す図。
【図１２】映像変換の実行中を示すマークを画面上に表示する例を示す図。
【図１３】映像変換動作において分割表示制御を実施する場合の例を示す図。
【図１４】分割表示制御における表示範囲の一例を示す図。
【図１５】分割表示制御を実施した変換画像の出力の一例を示す図。
【図１６】映像変換時における表示優先順位による動作の一例を示す図。
【図１７】映像変換部における文字検出部の動作の一例を示す図。
【図１８】映像変換装置の全体動作のフローチャートを示す図。
【図１９】映像変換装置における映像変換部の動作のフローチャートを示す図。
【図２０】複数の映像変換装置における映像変換情報の共有運用を示す図。
【図２１】映像変換装置と他の機器との接続関係の一例を示す図。
【図２２】映像変換装置と映像受信端末を使用した運用形態の一例を示す図。
【符号の説明】
100…映像変換装置、101…映像入力部、102…映像記憶媒体、103…映像変換部、104…制御部、105…操作部、106…映像変換情報部、107…映像記憶媒体、108…映像出力部、109…タイマ部、110…データ入出力部、111…外部公衆網、112…映像受信端末、113…TV放送局、114…データ通信装置。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video conversion apparatus that performs predetermined processing on a character portion that appears in a video, and particularly when a video with a large display size such as a TV video is played back by a receiving terminal with a small display size. The present invention relates to a technique for enabling appropriate viewing of a character portion.
[0002]
[Prior art]
In JP 7-336618 (published on December 22, 1995 AD), in order to avoid hiding the character part outside the display screen when converting and displaying the video size on the TV receiver side, A technique for changing only the display position within the display screen while maintaining the character size is described. In Japanese Patent Laid-Open No. 9-83965 (published March 28, 1997), when displaying character information multiplexed on the screen on the TV receiver side, it is changed to bold so that it is not difficult to see due to the influence of the brightness level of the background. A method for converting and displaying is described. Japanese Patent Laid-Open No. 2000-50217 (published on February 18, 2000) multiplexes a teletext program and a normal program that are originally configured to be displayed on different screens on a TV receiver into one video. A technique for displaying is described. JP 2000-278622 (published on October 6, 2000) and JP 2000-350117 (published on December 15, 2000) indicate information such as the display format and timing of the subtitle characters displayed on the screen. Is described in advance by the viewer on the TV receiver, and subtitle characters and video are multiplexed and displayed according to the instruction information.
[0003]
[Problems to be solved by the invention]
The problem to be solved by the present invention is that even when video is played back using a video receiving terminal with a small display screen, the video receiving terminal does not add a special mechanism or function such as a character broadcast support means to the video receiving terminal. It is to provide means capable of easily recognizing display contents of characters appearing therein.
[0004]
[Means for Solving the Problems]
In the present invention, in order to solve the above-described problems, for example, it may be configured as described in the claims.
[0005]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the video conversion apparatus according to the present invention will be described.
[0006]
FIG. 1 is a diagram showing a configuration of a video conversion apparatus 100 according to the present invention.
[0007]
Video information (including audio) of a TV program sent from the TV broadcast station 113 is stored in the temporary storage medium 102 via the video input unit 101. The video conversion unit 103 sequentially reads the video information stored in the temporary storage medium 102, and performs the size conversion of the original image, the extraction and size conversion of the character image portion, the multiplexing, and the conversion operation Is performed based on video conversion information stored in advance in the video conversion information unit 106. The video output unit 108 is a part having a function of sending the video information converted by the video conversion unit 103 to an external public network 111 such as a mobile phone wireless line or the Internet, or an input / output function for the video storage medium 107. . Video information sent to the external public network 111 is distributed to a plurality of video receiving terminals 112 such as PDAs and mobile phones connected to the external public network 111. The video conversion information unit 106 includes a broadcast channel for identifying a program to be converted, program information indicating a program start time, video size information serving as an index for image size conversion, and a plurality of character parts in the video. This is a part for storing area-specific conversion information indicating coordinates for specifying the location when performing video conversion. The operation unit 105 is a part that performs operations such as input and editing on the video conversion information stored in the video conversion information unit 106. The video recording medium 107 is a part for storing the video after video conversion, and the stored video can be read out and sent to the external public network 111. The data input / output unit 110 is a part that performs processing such as input, transmission, and exchange of video conversion information and converted stored video to a server or another video conversion device connected via the data communication device 114 It is. The timer 109 has a function of counting the date and time, and is used to determine the start operation and stop operation of the video conversion process based on the video conversion information. The control unit 104 is a part having a control management function for each processing unit of the video conversion apparatus 100 to operate appropriately. Note that the video conversion disclosed in the present application can be executed by the control unit reading a program stored in the information storage means.
[0008]
FIG. 2 is a diagram showing a configuration of the video conversion unit 103. As shown in FIG.
[0009]
Video information (including audio information) input from the video input unit 101 is temporarily stored in the temporary storage medium 102 in time series. The video information stored in the temporary storage medium 102 is taken into the video conversion unit for each image (frame), and the video information is stored in the original image unit 200. Also, audio information to be reproduced at the same time as this frame is stored in the audio unit 210. The original image is subjected to image size conversion in accordance with the output video size 208 indicated by the video conversion information by the scaling 1 unit 202 and then sent to the multiplexing unit 204. The audio information is sent to the multiplexing unit 204 as it is without performing processing such as conversion. The image cutout unit 201 is a part that cuts out and stores an image of a predetermined area where character information exists in the original image in accordance with the original coordinates 205 indicated by the video conversion information (hereinafter, this image is referred to as a cutout image). . The character detection unit 206 is a part that determines the presence or absence of character information by examining the luminance information in the cut-out image. If it is determined that there is a character, the cut-out image size is converted by the scaling 2 unit 203 in accordance with the enlargement ratio 207 indicated by the video conversion information and sent to the multiplexing unit 204. If it is determined that there is no character, the cut-out image size is not converted and is not sent to the multiplexing unit 204. The multiplexing unit 204 superimposes the converted cut image sent from the scaling 2 unit 203 on the converted original image sent from the scaling 1 unit 202 in accordance with the multiple coordinates 209 indicated by the video conversion information. This is a portion that is synthesized into one image, further multiplexed with audio information sent from the audio unit 210 and converted into one piece of video information. The multiplexed video information is sent to the external public network 111 by the video output unit 108. Here, the original coordinates 205, the enlargement ratio 207, the output image size 208, and the multiple coordinates 209 of the image conversion information are information stored in the image conversion information unit 106 in advance, and are appropriately referred to by the control unit 104. .
[0010]
FIG. 3 is a diagram showing the contents of the video conversion information 300. As shown in FIG.
[0011]
ID (301) is an arbitrary symbol string attached to each piece of video conversion information 300, and is classified as information for a specific program, or specific video conversion information from a plurality of video conversion information 300 Used when 300 is extracted. The operation mode 302 is a code that specifies a combination of an input source and an output destination of video information. The input / output device information 303 is information determined in conjunction with the operation mode 302, and is configured by a predetermined code indicating the corresponding device device to each of the input device 309 and the output device 310. The program information 304 includes a TV broadcast channel 311 and a program title name 312 to be subjected to video conversion processing. The channel 311 is specified by a numerical value and the program title is specified by a text. The date / time information 305 includes a start date 313 of the video conversion process, a start time 314, and a time length 315 for performing the video conversion process. The start date and time is specified by a code indicating the year, month and day of the year, and the start time and time length are specified by a code indicating hour, minute and second. The video size information 306 includes an input video size 316 and an output video size 317, and specifies the number of pixels in the horizontal direction and the vertical direction, respectively. The number of conversion areas 307 is the number of areas subject to video conversion processing, and is designated by a numerical value. The region referred to here is a portion where characters such as subtitles are displayed on the video screen. When there are a plurality of character display areas on the screen, it is possible to set all of them as conversion targets. On the other hand, the number of regions to be converted can be limited to an arbitrary number. The area-specific conversion information 308 is a parameter group used for video conversion processing. The number of parameter groups specified by the number of conversion areas 307 is prepared, and in the example in the figure, the information of the conversion area 1 (332) and the conversion area 2 (333) corresponds to this. One parameter group includes a display priority order 322, original coordinates 323, multiple coordinates 324, an enlargement ratio 325, and divided display control 326. The display priority 322 is a numerical value indicating which area is preferentially displayed in front when the converted areas overlap when the images after video conversion are multiplexed. The lower the numerical value, the higher the priority. Indicates high. The original coordinate 323 is a coordinate indicating a region where the image is cut out from the original image, and is set by a code indicating the origin coordinate and the end point coordinate. The multi-coordinate 324 is a coordinate indicating a position where the scaled cut-out image is multiplexed on the original image after scaling, and is set by a code indicating the coordinates indicating the origin coordinate and the end coordinate. The enlargement ratio 325 is a size conversion ratio in the horizontal direction and the vertical direction with respect to an image cut out from the original image, and is designated by a numerical value. The divided display control 326 is a numerical value indicating the presence or absence of control for dividing and displaying an area into a plurality of areas, and is set to 1 when there is divided display control and 0 when there is no divided display control. The division display control 326 performs a process of dividing the area into a plurality of parts when the scaled clipped image does not fit within the area set in the multiple coordinates 324 due to a large amount of character information or the like.
[0012]
FIG. 4 is a diagram showing the relationship between the operation mode 302 of the video conversion information 300 and the input / output device information 303.
[0013]
The operation mode 401 (302) in FIG. 4 (a) is information that designates a combination of an input source and an output destination of video information. In the input device 402 (309), an identification number that identifies a device device that is a video input source to the video conversion unit 103 is set. In the output device 403 (310), an identification number for specifying a device device that is a video output destination from the video conversion unit 103 is set. FIG. 4B shows input device registration information 408 indicating the relationship between the input device 410 and the identification number of the video conversion apparatus 100. FIG. 4C shows output device registration information 411 indicating the relationship between the output device 413 and the identification number of the video conversion apparatus 100. In FIG. 4A, for example, when the operation mode 401 (302) is mode 0 (404), the input device 402 (309) is the identification number DI00, so the external video input unit (101) is selected and the output device 403 (310 ) Is the identification number DO00, so the external video output unit (108) is selected.
[0014]
FIG. 5 is a diagram showing the setting contents of the video size information 306 of the video conversion information 300.
[0015]
FIG. 5 (a) is a diagram showing the size of the input video that is the original image 500, and is represented by the number of pixels XL (502) in the horizontal direction and the number of pixels XY (503) in the vertical direction. FIG. 5B is a diagram showing the size of the output video that is the converted image 504, which is represented by the number of horizontal pixels XS (505) and the number of vertical pixels YS (506).
[0016]
FIG. 6 is a diagram showing the setting contents of the conversion area number 307 of the video conversion information 300.
[0017]
FIG. 6A shows an example in which one conversion area is set for the original image 600. In the case of FIG. 6, one place in the time display area 601 at the upper left of the screen is the conversion target area. FIG. 6B is an example in which two conversion areas are set for the original image 602. In the case of FIG. 6B, the time display area 603 at the upper left of the screen and the character display “◆ extraordinary news ◆” at the center of the screen. Two areas of the area 604 are conversion target areas.
[0018]
FIG. 7 is a diagram showing the setting contents of the original coordinates 323 of the area-specific conversion information 308. As shown in FIG.
[0019]
The entire area of the original image is expressed by a combination of an origin point 700 and an end point 701. In the example in the figure, the point information (xl0, yl0)-(xl1, yl1) represents the entire area of the original image. Similarly, the original coordinates 323 of the conversion target area 702 are expressed by a combination of the origin point 703 and the end point 704 of the conversion target area.
[0020]
FIG. 8 is a diagram showing the setting content of the enlargement ratio 325 of the conversion information 308 for each region.
[0021]
As an example of enlarging the cut-out image 801 in the time display area of the original image 800 shown in FIG. 8 (a), as shown in FIG. 8 (b), the enlargement ratio 802 (325) is This is expressed by a combination of the horizontal expansion ratio kwi and the vertical expansion ratio khe. By performing scaling (enlargement conversion) on the cutout image 801 based on the enlargement ratio (kwi, khe), a scaled cutout image 803 is generated.
[0022]
FIG. 9 is a diagram showing the setting contents of the multiple coordinates 324 of the conversion information 308 for each region.
[0023]
The entire area of the converted image is expressed by a combination of the origin point 901 and the end point 902 as in the case of the original image area. In the example of the figure, the point information (xs0, ys0)-(xs1, ys1) represents the entire area of the converted image. When the cut-out image 903 after scaling is multiplexed on the converted image 900, the coordinates of the multiplexed region are expressed by a combination of the origin point 904 and the end point 905.
[0024]
FIG. 10 is a diagram illustrating an example of a video conversion operation by the video conversion apparatus 100. FIG.
[0025]
The figure shows an example in which a video conversion operation is performed on the score display portion of the baseball relay screen. In sports broadcasting such as baseball in a TV program, the score display is generally fixedly displayed at a specific position on the TV screen. Using this habit, the score display portion 1001 of the original image 1000 is set in advance as the conversion area 332, and an appropriate enlargement ratio 325 is set so that the contents of the score display can be recognized even after video conversion. . When the program starts, the video conversion unit 103 of the video conversion device 100 generates a scaled image 1 (1002) in which the entire original image is resized as it is and a scaled image 2 (1003) in which the score display part 1001 is resized, and this 2 A converted image 1004 is output by multiplexing the two images. In the example of the figure, the video size of the entire baseball broadcast is reduced, but video capable of sufficiently recognizing the contents of the score display can be distributed.
[0026]
FIG. 11 is a diagram illustrating another example of the video conversion operation by the video conversion device 100. FIG.
[0027]
In the figure, an example of the video conversion operation when the number of conversion areas in the original image 1100 is two is shown. The conversion area in this example is a time display area 1101 at the upper left of the screen and a character display area 1102 “◆ extraordinary news ◆” at the center of the screen, and these two areas are the target of the cut-out image. The two clipped images are converted into a scaled image 2-a (1104) and a scaled image 2-b (1105) by referring to the conversion information 308 for each area of the video conversion information 300 to be set separately, respectively. . The original image 1100 is converted into the scaled image 1 (1103) with reference to the output video size 317 of the video conversion information 300, and the scaled image 2-a (1104) and the scaled image 2 are placed on the scaled image 1 (1103). The converted image 1106 is output by multiplexing -b (1105). As described with reference to FIG. 2, the multiple coordinates 209 of the video conversion information 300 are referred to for the position where the clipped image is multiplexed.
[0028]
FIG. 12 is a diagram illustrating an example in which a mark indicating that video conversion is being performed is displayed on the screen.
[0029]
A mark indicating that video conversion is being performed at any position of the converted image 1200 (hereinafter referred to as a video conversion mark 1201) as a means for allowing the viewer to recognize that video conversion is performed by multiplexing cut-out images Is displayed. As a result, the viewer can easily recognize an image obtained by scaling the original image as it is and an image on which video conversion has been performed by multiplexing the cut-out images. In the example of the figure, the video conversion mark 1201 is displayed on the upper right of the screen, but the display position may be arbitrary, and the display position may be changed depending on the scene. Further, the video conversion mark 1201 itself may be any symbol, character, or shape.
[0030]
FIG. 13 is a diagram illustrating an example in which divided display control is performed in the video conversion operation.
[0031]
When the number of characters displayed in the conversion area of the original image is large, when video conversion is performed only by scaling so that all characters are also displayed in the image after video conversion, a cutout image in which most of the converted image area is multiplexed May occupy the original image and hide the original image. In order to avoid such an adverse effect, the split display control restricts the area where the clipped image is multiplexed on the converted image to a certain area, and performs control for dividing the clipped image into a predetermined number for display. I can do it. FIG. 13A is a diagram showing the setting contents of the split display control 1300 (221) of the video conversion information 300. FIG. Set to “1” to set 1301 with split display control, and set to “0” to set 1302 without split display control. FIG. 13 (b) is a diagram showing an example of a converted image output when there is divided display control. In the region (xs0, sy0)-(xs1, xy1) of the converted image 1303, a region where the clipped image is multiplexed is set in advance as multiple coordinates 1304 (209). Multiple coordinates 1304 in this example is an area indicated by an origin point 1306 and an end point 1307. In the region of the multiple coordinates 1304, the entire cut-out image 1305 is divided and displayed several times. There is no limit to the number of cut-out images that are targets of split display control, and the number can be set for all the conversion areas set in the video conversion information 300.
[0032]
FIG. 14 is a diagram illustrating an example of a display range in the split display control.
[0033]
FIG. 14 (a) shows an example of the entire display character 1400 before divided display, and FIG. 14 (b) shows an example of the display range after divided display. This example shows an operation of dividing the entire display character 1400 before divided display into three stages and multiplexing the converted image on the converted image by using three stages. The entire display character 1400 is divided in the vertical direction 1404, and one of the divided images 1405 is sequentially multiplexed on the converted image from the top. In the example of FIG. 14 (b), the divided image 1 (1401), the divided image 2 (1402), and the divided image 3 (1403) are multiplexed on the converted image in this order. The timing for multiplexing each divided image is originally adjusted within the time during which the entire display character 1400 is displayed.
[0034]
FIG. 15 is a diagram illustrating an example of output of a converted image subjected to divided display control.
[0035]
This figure shows the flow of the converted image using the example of display characters shown in FIG. First, output the converted image 1 (1500) obtained by multiplexing the divided image 1 (1401) of FIG. 14, and secondly, output the converted image 2 (1501) obtained by multiplexing the divided image 2 (1402) of FIG. Third, the video conversion operation is performed in the order of outputting the converted image 3 (1502) obtained by multiplexing the divided image 3 (1403) of FIG.
[0036]
FIG. 16 is a diagram illustrating an example of an operation based on the display priority 322 during video conversion.
[0037]
The display priority 322 included in the conversion information 308 for each area of the video conversion information 300 indicates that, when a plurality of cutout images are multiplexed during video conversion, which cutout image is preferentially displayed in front when the conversion areas overlap. It is information indicating that the priority is higher as the numerical value is smaller. For example, if the display priority 322 of the time display area 1602 is “2” and the display priority 322 of the character display area “◆ Extra News ◆” is set to “1”, the output image after video conversion is the same. As shown in the figure, the character display area “◆ extraordinary news ◆” having a small display priority 322 is the converted image displayed in the forefront.
[0038]
FIG. 17 is a diagram illustrating an example of the operation of the character detection unit 206 in the video conversion unit 103.
[0039]
The character detection unit 206 is a part that determines the presence / absence of character information by examining the luminance information of the conversion area (cutout image). When it is determined that there is a character, the scaling 2 unit 203 performs size conversion of the image cut out from the conversion area in accordance with the enlargement ratio 207 indicated by the video conversion information, and sends it to the multiplexing unit 204. When it is determined that there is no character, the cut-out image size conversion is not performed and the image is not sent to the multiplexing unit 204. FIG. 17 (a) shows the flow of character detection operation. First, an image is input from the video input unit 101 (1700), and the overall luminance average value Yav of a certain conversion area n is calculated (1701). Next, a preset brightness threshold value Yav ′ is read (1702) and compared with the calculated brightness average value Yav (1703). Based on the comparison result, it is determined (1704) whether or not to perform video conversion in the conversion area n. Specifically, if the luminance average value Yav is equal to or greater than the luminance threshold value Yav ′, the video conversion is executed, and if it is equal to or smaller than the luminance threshold value Yav ′, the video conversion is interrupted. FIG. 17 (b) is a diagram illustrating an example of a character detection operation. This figure shows the relationship between execution or interruption (1708) of a video conversion operation depending on the presence or absence of characters (1707) in a conversion area n of a video (1709) input during a video conversion period (1706). Assume that the input video (1709) is input from P1 (1716) to Pn (1720) during the video conversion period (1710). Here, if there is a character display in the input video from P1 (1716) to P3 (1717) and the character detection unit 206 determines that there is a character, the conversion area n from the input video P1 (1716) to P3 (1717) Perform video conversion in. On the other hand, if there is no character display in the input video from P4 (1718) to P5 (1719) and the character detection unit 206 determines that there is no character, the video in the conversion area n from the input video P4 (1718) to P5 (1719) Stop conversion. Thereafter, until the end of the video conversion period, the presence / absence of characters in the conversion area n of the input video 1709 is determined, and execution or interruption of the video conversion in the conversion area n is controlled.
[0040]
FIG. 18 is a flowchart of the overall operation of the video conversion apparatus 100.
[0041]
First, when the apparatus is turned on, initialization is executed (1800) and then the apparatus enters a standby state. In the standby state, the CPU 101 refers to the date / time information (305) and timer (109) of the video conversion information (300) and waits until the registered reservation start date / time is reached (1801). When the reservation operation start date / time is reached, all the corresponding video conversion information is read (1802), and it is determined whether or not the reservation operation end date / time has been reached (1803). If the reserved operation end date / time has not been reached, the process proceeds to the subsequent video conversion operation. The operation mode is checked in the preceding stage to determine whether or not the mode is a mode for distributing the converted stored video (1804). When the operation mode is a mode for distributing the converted stored video, external distribution of the converted video stored in the video recording medium (107) is executed (1811). When the operation mode is a mode for executing normal video conversion, video input (1805) and video conversion (1806) are executed in accordance with a conversion operation instruction specified in the video conversion information (300). Next, it is determined whether or not the external distribution operation is specified as the output after video conversion (1807) .If the external distribution operation is present, the external distribution operation of the converted video is executed (1808), and if it is not Skips the external distribution operation of converted video. Further, it is determined whether or not the conversion video saving operation is specified (1809). If the saving operation is performed, the saving operation to the video recording medium 107 is executed (1810), and if not, the saving operation is skipped. To do. Thereafter, the process returns to the determination (1803) of whether or not the reservation operation end date / time has been reached, and if the reservation operation end date / time has not yet been reached, the above operation procedure is repeated to reach the reservation operation end date / time. If it does, it returns to the standby state again (1801). If the apparatus is turned off in this standby state, the entire operation is terminated (1812).
[0042]
FIG. 19 is a diagram illustrating a flowchart of the operation of the video conversion unit 103 in the video conversion apparatus 100.
[0043]
First, one image Min is acquired from the input video stored in the temporary storage medium 102 via the video input unit 101 (1900). Next, the image Min is scaled by the scaling unit 202 and converted into an image Msc (1901). Next, the number of conversion areas 307 in the video conversion information 300 is read and set to hn, and the loop counter n is set to 1. Next, the character detection of the conversion area n is executed (1903), and it is determined whether or not there is a character (1904). If it is determined that there is a character, the image Cin of the conversion area n is cut out from the image Min (1905), the scaling of the image Cin is executed by the scaling 2 unit 203, and the image Csc (n) is output. On the other hand, if it is determined that there is no character, image segmentation and scaling of the conversion area n are skipped. Next, after adding 1 to the loop counter n (1907), it is determined whether or not the loop counter n exceeds the number of conversion areas hn (1908). If not, the process returns again to the character detection execution (1903) of the conversion area n, and the above procedure is repeated. When the loop counter n exceeds the number of conversion areas hn, the operation proceeds to the subsequent image multiplexing operation. In the multiplexing operation, the display priority 322 in the video conversion information 300 is referred to, and the image Csc (n) having the lowest display priority is sequentially multiplexed with the image Msc (1909), and finally the result of multiplexing is obtained. The image Mout is output (1910).
[0044]
FIG. 20 is a diagram showing a sharing operation of the video conversion information 300 in a plurality of video conversion devices 100.
[0045]
The video conversion information 300 can be input and edited independently by the operation unit 105 of the video conversion device 100. On the other hand, it is also possible to share one video conversion information 300 by distributing the video conversion information created by a certain first video conversion device 100 to the second and third video conversion devices 100. In the figure, a plurality of video conversion information 2004 created by the video conversion device 1 (2000) is stored in the server 2005, and another video conversion device 2 (2001) connected to an external public network, the video conversion device 3 (2002), video conversion device n (2003), etc. acquire video conversion information 2004 stored in server 2005, and each uses this to execute video conversion operations. If this configuration is applied, the TV broadcast station prepares optimal video conversion information for each program of its own station on the server, and the user who has the video conversion device 100 downloads and uses it via a network such as the Internet. Possible forms. This saves the user the trouble of registering the video conversion information, and makes it possible to easily obtain the video conversion information optimal for the TV program, thereby performing the video conversion operation optimally and easily for the desired TV program. It becomes possible.
[0046]
FIG. 21 is a diagram illustrating an example of a connection relationship between the video conversion apparatus 100 and another device.
[0047]
The video conversion apparatus 100 connects a TV receiver 2100 as video input means. Further, as another video input means, it may be connected to a video playback device that plays back video stored in an arbitrary recording medium such as cable broadcasting such as cable TV or a video deck (not shown). As converted video output means, a wireless transmitter 2001 for wireless distribution and a network communication device 2102 for distribution to an external public network 2103 such as the Internet are connected. When the video conversion information 300 created by the video conversion device 100 is distributed to another video conversion device or stored in a server or the like, the former is a data communication device connected to the data input / output unit 110, and the latter is a data input / output unit. Each server connected to 110 is used (not shown).
[0048]
FIG. 22 is a diagram illustrating an example of an operation mode in which the video conversion device 100 and the video reception terminal 112 are used.
[0049]
As shown in FIG. 21, the video conversion device 2200 is connected to a TV receiver 2202 for receiving a program issued from the TV broadcast station 2201 as video input means. As converted video output means, it connects to the wireless transmitter 2205 and the network communication device 2203 and distributes it to the external public network 2204. When going through the wireless transmitter 2205, it goes through the wireless relay station 1 (2206) with the external public network 2204. The external public network 2204 uses the Internet, a public telephone line network, a sanitary communication network, etc., but the present invention does not limit the communication method. The PDA (2208) and the mobile phone 2209 with a moving image display function correspond to the video receiving terminal 112. The PDA (2208) and the mobile phone 2209 are connected to an external public network, and receive and reproduce the video distributed from the video conversion device 100. In the case of the cellular phone 2209 shown in the figure, connection to the external public network is performed via the relay station 2 (2207).
As described above, the present application relates to video information including audio transmitted from a video supply source such as a TV broadcast station when converting video such as TV broadcast into video for a portable receiving terminal having a small display unit size. A video input unit for inputting video, a temporary storage medium for temporarily storing the input video information, and a character portion such as a caption or subtitle in the video is cut out, enlarged, multiplexed with an original image, etc. A video conversion unit for performing conversion, a video output unit for outputting converted video information to a video receiving terminal connected via an external public network, and a control parameter for video conversion Video conversion information section, a video storage medium for storing video information after video conversion, and data for transmitting / receiving video conversion information and video information after conversion to / from the outside via a data communication device An input / output unit, an operation unit for inputting and editing video conversion information, a timer unit for determining the start date and time and the end date and time of video conversion processing, and appropriate control for each unit And control the size of the text or the original size of the text or captions that appear in the video according to the control parameters specified separately and stored in the video conversion information section. Disclosed is a video conversion apparatus comprising a video conversion function for multiplexing and outputting an original image and an original image or a size-converted image of the original image. Further, the above apparatus multiplexes and outputs the input original image or an image obtained by converting the size of the input original image and one or a plurality of images that have been subjected to size conversion by cutting out a predetermined character image portion of the original image. To do. When a predetermined character image portion of the original image is cut out and size-converted, it is determined whether or not there is character display in the image portion. If character display is present, video conversion is performed on the image portion. When there is no character display, means for not performing video conversion on the image portion is also provided.
In addition, the multiplexing of a plurality of images obtained by cutting out a predetermined character image portion of the original image and performing size conversion, and an image obtained by converting the size of the original image or the original image has the display priority set in the video conversion information. The order of multiplexing is controlled according to the order, and the character image set with the highest display priority is output so that it is displayed in the foreground, or the predetermined character image portion of the original image is cut out and the size is converted. When there are a large number of display characters in the image, there is also provided means for limiting the area where the image is multiplexed to a certain area, and performing control for dividing the cut-out image into a predetermined number for display.
[0050]
A plurality of video conversion information groups created for a specific TV program may be centrally managed by a server, and video conversion information may be distributed according to a request from another video conversion device. Connect to a receiver, connect to an external public network such as the Internet or a telephone line as the output destination of the converted video, connect to a wireless transmitter or network communication device, convert the input video into a predetermined procedure, An embodiment for outputting to a public network is also disclosed.
[0051]
【The invention's effect】
With the video conversion device of the present invention, even when video is played back on a video receiving terminal with a small display screen, the display content of characters appearing in the video without adding a special mechanism or function to the video receiving terminal side Can be easily recognized.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a video conversion apparatus according to the present invention.
FIG. 2 is a diagram illustrating a configuration of a video conversion unit.
FIG. 3 is a view showing the contents of video conversion information.
FIG. 4 is a diagram showing a relationship between an operation mode of video conversion information and input / output device information.
FIG. 5 is a diagram showing setting contents of video size information of video conversion information.
FIG. 6 is a diagram showing the setting contents of the number of conversion areas of video conversion information.
FIG. 7 is a diagram showing the setting contents of original coordinates of area-specific conversion information.
FIG. 8 is a diagram showing setting contents of an enlargement ratio of conversion information for each region.
FIG. 9 is a view showing the setting contents of multiple coordinates of area-specific conversion information.
FIG. 10 is a diagram illustrating an example of a video conversion operation performed by the video conversion apparatus.
FIG. 11 is a diagram showing another example of a video conversion operation by the video conversion device.
FIG. 12 is a diagram showing an example in which a mark indicating that video conversion is being performed is displayed on the screen.
FIG. 13 is a diagram illustrating an example in which divided display control is performed in a video conversion operation.
FIG. 14 is a diagram showing an example of a display range in divided display control.
FIG. 15 is a diagram illustrating an example of an output of a converted image subjected to divided display control.
FIG. 16 is a diagram illustrating an example of an operation based on display priority during video conversion.
FIG. 17 is a diagram illustrating an example of the operation of a character detection unit in the video conversion unit.
FIG. 18 is a flowchart showing the overall operation of the video conversion apparatus.
FIG. 19 is a flowchart illustrating an operation of a video conversion unit in the video conversion apparatus.
FIG. 20 is a diagram showing a shared operation of video conversion information in a plurality of video conversion devices.
FIG. 21 is a diagram illustrating an example of a connection relationship between the video conversion apparatus and another device.
FIG. 22 is a diagram showing an example of an operation mode using a video conversion device and a video receiving terminal.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 ... Video converter, 101 ... Video input part, 102 ... Video storage medium, 103 ... Video conversion part, 104 ... Control part, 105 ... Operation part, 106 ... Video conversion information part, 107 ... Video storage medium, 108 ... Video Output unit 109... Timer unit 110 Data input / output unit 111 External public network 112 Video receiving terminal 113 TV broadcast station 114 Data communication device

Claims

An input unit for inputting video information;
A storage unit that stores in advance video conversion information for the video information;
From the image in the video information input to the input unit, cut out an image part including predetermined character information based on the video conversion information stored in advance in the storage unit, enlarge the cut out image part, A control unit that performs a combining process for combining the enlarged image with the input video information ;
An output unit for outputting the video information subjected to the synthesis process,
The video conversion information includes priority information corresponding to the cut-out image portion ,
Wherein, when the cut a plurality of image portions from the video information, the included in the video transform information based on said priority information corresponding to said plurality of cut-out image portion, higher priority the A video conversion apparatus that performs a composition process so as to preferentially display a cut-out image portion .

When the plurality of cut-out image parts are displayed in an overlapping manner in the combining process, the control unit displays character information having a high priority based on the priority information corresponding to the plurality of cut-out image parts. The video conversion apparatus according to claim 1, wherein the composition process is performed so as to be displayed on the front side.

The control unit determines whether or not the predetermined character information is present in the cut-out image portion. When the predetermined character information is present, the control unit performs the composition process. When the predetermined character information is not present, the control unit performs the composition process. The video conversion device according to claim 1, wherein the video conversion device is not performed.

The video conversion device is connected to a server device via a network,
4. The video conversion apparatus according to claim 1, wherein the video conversion information is stored in the server apparatus, and the video conversion apparatus acquires the video conversion information from the server apparatus.

An input unit for inputting video information;
A storage unit that stores in advance video conversion information for the video information;
From the image in the video information input to the input unit, an image part including predetermined character information is cut out based on the video conversion information stored in advance in the storage unit, the cut-out image part is enlarged, and the enlargement is performed. A control unit that performs a combining process of combining the input image information with the input video information;
An output unit for outputting the video information subjected to the synthesis process,
Wherein, in the synthesis process, the area occupied by the image portion and the extension in one image in the image in the image information, if greater than a predetermined area set in advance, a plurality of the image portions image conversion device which is divided into image portions, characterized by combining the divided plurality of image portions to the different images each display time of.

The control unit determines whether or not the predetermined character information is present in the cut-out image portion. When the predetermined character information is present, the control unit performs the composition process. When the predetermined character information is not present, the control unit performs the composition process. The video conversion apparatus according to claim 5, wherein the video conversion apparatus is not performed.

The video conversion device is connected to a server device via a network,
The video conversion apparatus according to claim 5 or 6, wherein the video conversion information is held in the server apparatus, and the video conversion apparatus acquires the video conversion information from the server apparatus.

A storage step for storing in advance video conversion information about the video information;
An input step for inputting the video information;
From the image in the video information, an image part including predetermined character information is cut out based on the video conversion information stored in advance in the storing step, the cut out image part is enlarged, and the enlarged image is referred to as the video information. A control step for performing synthesis processing to be combined;
An output step of outputting video information subjected to the synthesis process,
The video conversion information includes priority information corresponding to the cut-out image portion,
In the control step, when a plurality of image portions are cut out from the video information, a high priority cut-out is performed based on the priority order information corresponding to the plurality of cut-out image portions included in the video conversion information. A video conversion method characterized in that a composition process is performed to preferentially display the image portion.

In the control step, when the plurality of clipped image parts are displayed in an overlapping manner, the priority image information corresponding to the plurality of clipped image parts is used to display the clipped image part having a high priority level in front. The video conversion method according to claim 8, wherein the composition processing is performed so as to be displayed on the screen.

In the control step, it is determined whether or not the predetermined character information is present in the cut-out image portion. If the predetermined character information is present, the combining process is performed. If the predetermined character information is not present, the image portion is The video conversion method according to claim 8, wherein the composition processing is not performed.

A storage step for storing in advance video conversion information about the video information;
An input step for inputting the video information;
Based on the video conversion information stored in advance in the storing step, an image portion including predetermined character information is cut out from the input image information, and the cut-out image portion is enlarged. A control step for performing composition processing for composition with the input video information;
An output step of outputting video information subjected to the synthesis process,
In the control step, when an area occupied by the enlarged image part in one image of the image of the video information is larger than a predetermined area, the image part is a plurality of image parts. And converting the divided image portions into images having different display times, respectively.

In the control step, it is determined whether or not the predetermined character information is present in the cut-out image portion. If the predetermined character information is present, the combining process is performed. If the predetermined character information is not present, the image portion is The video conversion method according to claim 11, wherein the synthesizing process is not performed.