Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7406166B2 - Information processing device, information processing method, and program - Google Patents
[go: Go Back, main page]

JP7406166B2 - Information processing device, information processing method, and program - Google Patents

Information processing device, information processing method, and program Download PDF

Info

Publication number
JP7406166B2
JP7406166B2 JP2022522132A JP2022522132A JP7406166B2 JP 7406166 B2 JP7406166 B2 JP 7406166B2 JP 2022522132 A JP2022522132 A JP 2022522132A JP 2022522132 A JP2022522132 A JP 2022522132A JP 7406166 B2 JP7406166 B2 JP 7406166B2
Authority
JP
Japan
Prior art keywords
depth
display surface
range
key frame
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022522132A
Other languages
Japanese (ja)
Other versions
JPWO2021229679A1 (en
Inventor
卓 佐野
由実 菊地
真二 深津
正人 小野
浩太 日高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021229679A1 publication Critical patent/JPWO2021229679A1/ja
Application granted granted Critical
Publication of JP7406166B2 publication Critical patent/JP7406166B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.

３次元画像において、深い奥行きをそのまま表現せずに、遠くの奥行き情報を圧縮することで、注視させたい被写体の立体感を強調できる。 In a three-dimensional image, by compressing distant depth information without expressing deep depth as is, it is possible to emphasize the three-dimensional effect of the subject that you want to focus on.

非特許文献１では、３次元画像において、ディスプレイ面の前後が最も視差が効果的に感じられることを利用し、注目物の位置にディスプレイ面を設定する。注目物周辺の奥行きの５パーセンタイルから９５パーセンタイルを奥行きの最小・最大として非線形に奥行きをマッピングし、奥行きの最小・最大範囲を超える奥行き情報は圧縮する。 In Non-Patent Document 1, the display surface is set at the position of the object of interest, taking advantage of the fact that in a three-dimensional image, parallax is felt most effectively in front and behind the display surface. Depth is mapped non-linearly with the 5th to 95th percentiles of the depth around the object of interest as the minimum and maximum depths, and depth information that exceeds the minimum and maximum depth ranges is compressed.

Petr Kelnhofer, et al.,“GazeStereo3D: Seamless Disparity Manipulations,”ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2016, Volume 35, Issue 4, 2016.Petr Kelnhofer, et al., “GazeStereo3D: Seamless Disparity Manipulations,” ACM Transactions on Graphics - Proceedings of ACM SIGGRAPH 2016, Volume 35, Issue 4, 2016.

従来の奥行き圧縮手法をそのまま動画に適用した場合、各フレームにおいて注目すべき被写体の位置にディスプレイ面が設定される。そのため、被写体が奥行き方向に移動する動画において、被写体が飛び出したり、奥に進んだりするのではなく、背景が前後に移動するように見えてしまうという問題があった。 When conventional depth compression techniques are applied to moving images as they are, the display surface is set at the position of the subject of interest in each frame. Therefore, in a video in which a subject moves in the depth direction, there is a problem in that the background appears to move back and forth, rather than the subject jumping out or moving into the background.

本発明は、上記に鑑みてなされたものであり、注視物体が奥行き方向に移動する際の３次元動画像の違和感を和らげることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to alleviate the discomfort of a three-dimensional moving image when a gazed object moves in the depth direction.

本発明の一態様の情報処理装置は、動画のフレーム画像から算出した奥行き情報に基づき、前記フレーム画像を３次元表示する際のディスプレイ面と立体感を強調する奥行き範囲を決定する決定部と、前記ディスプレイ面と前記奥行き範囲を用いて前記奥行き情報を圧縮処理してデプスマップを生成する処理部を有し、前記処理部は、前記ディスプレイ面が所定の範囲内に存在する場合は、前記動画のキーフレームで決定したキーフレームのディスプレイ面とキーフレームの奥行き範囲を用いて奥行き情報を圧縮し、前記ディスプレイ面が所定の範囲外に存在する場合は、前記キーフレームの奥行き範囲を前記ディスプレイ面が所定の範囲を超えた方向に補正して奥行き情報を圧縮する。 An information processing device according to one aspect of the present invention includes a determining unit that determines a display surface and a depth range that emphasizes a three-dimensional effect when displaying the frame image three-dimensionally, based on depth information calculated from a frame image of a moving image; a processing unit that compresses the depth information using the display surface and the depth range to generate a depth map; Depth information is compressed using the display surface of the key frame determined by the key frame and the depth range of the key frame, and if the display surface is outside the predetermined range, the depth range of the key frame is compressed using the display surface of the key frame. The depth information is compressed by correcting it in a direction that exceeds a predetermined range .

本発明の一態様の情報処理方法は、コンピュータが実行する情報処理方法であって、動画のフレーム画像から算出した奥行き情報に基づき、前記フレーム画像を３次元表示する際のディスプレイ面と立体感を強調する奥行き範囲を決定するステップと、前記ディスプレイ面と前記奥行き範囲を用いて前記奥行き情報を圧縮処理してデプスマップを生成するステップを有し、前記奥行き情報の圧縮処理では、前記ディスプレイ面が所定の範囲内に存在する場合は、前記動画のキーフレームで決定したキーフレームのディスプレイ面とキーフレームの奥行き範囲を用いて奥行き情報を圧縮し、前記ディスプレイ面が所定の範囲外に存在する場合は、前記キーフレームの奥行き範囲を前記ディスプレイ面が所定の範囲を超えた方向に補正して奥行き情報を圧縮する。 An information processing method according to one aspect of the present invention is an information processing method executed by a computer, and is based on depth information calculated from a frame image of a moving image to determine a display surface and a stereoscopic effect when displaying the frame image in three dimensions. a step of determining a depth range to be emphasized; and a step of compressing the depth information using the display surface and the depth range to generate a depth map, and in the compression processing of the depth information, the display surface is If the display surface is within a predetermined range, the depth information is compressed using the display surface of the key frame determined by the key frame of the video and the depth range of the key frame; if the display surface is outside the predetermined range, the depth information is compressed. compresses depth information by correcting the depth range of the key frame in a direction in which the display surface exceeds a predetermined range .

本発明によれば、注視物体が奥行き方向に移動する際の３次元動画像の違和感を和らげることができる。 According to the present invention, it is possible to alleviate the sense of discomfort in a three-dimensional moving image when a gazed object moves in the depth direction.

図１は、本実施形態の情報処理装置の構成の一例を示す図である。FIG. 1 is a diagram showing an example of the configuration of an information processing apparatus according to this embodiment. 図２は、奥行き圧縮処理の流れを示すフローチャートである。FIG. 2 is a flowchart showing the flow of depth compression processing. 図３は、キーフレームのディスプレイ面と奥行き範囲の一例を示す図である。FIG. 3 is a diagram illustrating an example of the display surface and depth range of key frames. 図４は、あるフレームのディスプレイ面と奥行き範囲の一例を示す図である。FIG. 4 is a diagram illustrating an example of the display surface and depth range of a certain frame. 図５は、あるフレームのディスプレイ面と奥行き範囲の一例を示す図である。FIG. 5 is a diagram illustrating an example of the display surface and depth range of a certain frame. 図６は、あるフレームのディスプレイ面と奥行き範囲の一例を示す図である。FIG. 6 is a diagram showing an example of the display surface and depth range of a certain frame. 図７は、情報処理装置のハードウェア構成の一例を示す図である。FIG. 7 is a diagram illustrating an example of the hardware configuration of the information processing device.

以下、本発明の実施の形態について図面を用いて説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１を参照し、本実施形態の情報処理装置について説明する。図１に示す情報処理装置１は、３次元動画を表示する表示システムにおいて視差画像を生成するために用いるデプスマップを出力する装置である。デプスマップは、動画の各フレームの各点の奥行きを示す情報であり、例えば8ビット画像の場合、各フレーム画像の各画素の奥行きを０～２５５で表したものである。 The information processing apparatus of this embodiment will be described with reference to FIG. The information processing device 1 shown in FIG. 1 is a device that outputs a depth map used to generate a parallax image in a display system that displays three-dimensional moving images. The depth map is information indicating the depth of each point in each frame of a moving image. For example, in the case of an 8-bit image, the depth map represents the depth of each pixel in each frame image on a scale of 0 to 255.

図１の情報処理装置１は、奥行き推定部１１、ディスプレイ面決定部１２、奥行き範囲決定部１３、および奥行き圧縮処理部１４を備える。 The information processing device 1 in FIG. 1 includes a depth estimation section 11, a display surface determination section 12, a depth range determination section 13, and a depth compression processing section 14.

奥行き推定部１１は、動画から切り出したフレーム画像を入力し、フレーム画像中の各位置における奥行きを推定して、奥行き情報を出力する。フレーム画像は、単眼画像であってもよいし、ステレオ画像であってもよい。なお、情報処理装置１は、奥行き推定部１１を備えずに、フレーム画像から算出した奥行き情報を外部から入力してもよい。 The depth estimation unit 11 inputs a frame image cut out from a video, estimates the depth at each position in the frame image, and outputs depth information. The frame image may be a monocular image or a stereo image. Note that the information processing device 1 may not include the depth estimation unit 11 and may input depth information calculated from a frame image from the outside.

ディスプレイ面決定部１２は、奥行き情報を入力し、任意の奥行き圧縮手法で、ディスプレイ面を決定し、出力する。ディスプレイ面とは、画像を３次元表示する際に表示システムの表示面に対応する面である。３次元動画において、ディスプレイ面よりも視点側にある物体は表示面よりも手前に表示され、ディスプレイ面よりも奥側にある物体は表示面よりも奥側に表示される。ディスプレイ面は、例えば、画面の中央付近の、そのシーンで注視してもらいたい被写体が存在する奥行き位置に決定される。 The display surface determining unit 12 inputs depth information, determines a display surface using an arbitrary depth compression method, and outputs the determined display surface. The display surface is a surface that corresponds to the display surface of a display system when displaying an image in three dimensions. In a three-dimensional video, objects that are closer to the viewpoint than the display surface are displayed in front of the display surface, and objects that are farther back than the display surface are displayed further back than the display surface. The display surface is determined, for example, at a depth position near the center of the screen where the subject that the user wants to watch in the scene exists.

奥行き範囲決定部１３は、奥行き情報を入力し、任意の奥行き範囲決定手法で、奥行き範囲を決定し、出力する。例えば、非特許文献１のように、３次元画像において注目物の位置にディスプレイ面を設定し、注目物周辺の奥行きの５パーセンタイルから９５パーセンタイルを奥行き範囲とする。奥行き範囲は、ディスプレイ面を含み、３Ｄテレビまたは３Ｄプロジェクタ等の３Ｄ映像表示装置で立体感を表現する範囲である。奥行き範囲外は、後述の奥行き圧縮処理部１４により奥行き情報が圧縮される。例えば、奥行き範囲よりも遠くの物体は、同じ奥行き位置にある物体とされる。奥行き範囲とは映像シーンの背景(屋外、屋内)や被写体の数・形・大きさによって主観的に設定することで、立体感や奥行き感を効果的に表現するための処理の範囲のことである。 The depth range determination unit 13 inputs depth information, determines a depth range using an arbitrary depth range determination method, and outputs the determined depth range. For example, as in Non-Patent Document 1, a display surface is set at the position of an object of interest in a three-dimensional image, and the depth range is set from the 5th percentile to the 95th percentile of the depth around the object of interest. The depth range includes the display surface and is a range in which a 3D image display device such as a 3D television or a 3D projector expresses a three-dimensional effect. Outside the depth range, depth information is compressed by a depth compression processing unit 14, which will be described later. For example, objects farther away than the depth range are considered to be objects at the same depth position. Depth range is the range of processing that is subjectively set based on the background of the video scene (outdoors, indoors) and the number, shape, and size of subjects, and is used to effectively express a three-dimensional effect and a sense of depth. be.

奥行き圧縮処理部１４は、奥行き情報、ディスプレイ面、および奥行き範囲を入力し、ディスプレイ面と奥行き範囲を用いて奥行き情報を圧縮処理し、デプスマップを出力する。 The depth compression processing unit 14 inputs the depth information, the display surface, and the depth range, compresses the depth information using the display surface and the depth range, and outputs a depth map.

奥行き圧縮処理部１４は、キーフレームにおけるディスプレイ面と奥行き範囲を保持しておき、現フレームのディスプレイ面が所定の範囲内に存在する場合は、キーフレームのディスプレイ面と奥行き範囲を用いて奥行き情報を圧縮し、現フレームのディスプレイ面が所定の範囲外に存在する場合は、キーフレームのディスプレイ面と奥行き範囲を補正して奥行き情報を圧縮する。キーフレームとは、動画中の区切りとなるフレームであり、例えば、シーンが切り替わった最初のフレームである。ユーザーが任意にキーフレームを設定することもできる。 The depth compression processing unit 14 retains the display surface and depth range of the key frame, and if the display surface of the current frame exists within a predetermined range, the depth compression processing unit 14 stores depth information using the display surface and depth range of the key frame. If the display surface of the current frame is outside a predetermined range, the display surface and depth range of the key frame are corrected to compress the depth information. A key frame is a frame that serves as a break in a video, and is, for example, the first frame when a scene changes. Users can also set arbitrary keyframes.

次に、図２を参照し、奥行き圧縮処理の流れについて説明する。なお、動画の各フレームの奥行き情報は、奥行き推定部１１が算出するか、あるいは外部から入力するものとする。 Next, the flow of depth compression processing will be described with reference to FIG. 2. Note that the depth information of each frame of the video is calculated by the depth estimating unit 11 or input from the outside.

ステップＳ１１にて、ディスプレイ面決定部１２は、奥行き情報に基づいてキーフレームのディスプレイ面を決定する。ディスプレイ面の情報は、奥行き圧縮処理部１４へ送信される。 In step S11, the display surface determination unit 12 determines the display surface of the key frame based on the depth information. Information on the display surface is transmitted to the depth compression processing section 14.

ステップＳ１２にて、奥行き範囲決定部１３は、奥行き情報に基づいてキーフレームの奥行き範囲を決定する。奥行き範囲は、奥行き圧縮処理部１４へ送信される。 In step S12, the depth range determining unit 13 determines the depth range of the key frame based on the depth information. The depth range is sent to the depth compression processing section 14.

図３に、キーフレームでのディスプレイ面ＤＩＳＰｄｅｆと、奥行き範囲の最小値ＤＥＰＴＨｍｉｎと最大値ＤＥＰＴＨｍａｘの一例を示す。なお、図３～６では、視点位置を右側に置き、横軸を奥行き方向とした。つまり、図上で左側に行くほど動画では奥側に表示され、右側に行くほど動画では手前に表示される。図３～６では、右向きの人物を図示しているので、動画上では、正面を向いた人物が表示される。FIG. 3 shows an example of the display surface DISP def and the minimum value DEPTH min and maximum value DEPTH max of the depth range in a key frame. In FIGS. 3 to 6, the viewpoint position is placed on the right side, and the horizontal axis is the depth direction. In other words, the farther left you go on the diagram, the farther back the video is displayed, and the farther right you go, the closer you are displayed in the video. In FIGS. 3 to 6, a person facing right is shown, so a person facing forward is displayed on the video.

ステップＳ１３にて、奥行き圧縮処理部１４は、キーフレームのディスプレイ面と奥行き範囲を用いて奥行き情報を圧縮し、デプスマップを生成する。例えば、デプスマップ上の各点を０～２５５(8ビット)で表す場合、奥行き圧縮処理部１４は、奥行き範囲の最小値ＤＥＰＴＨｍｉｎから最大値ＤＥＰＴＨｍａｘまでの奥行き情報を１～２５４にマッピングし、最小値ＤＥＰＴＨｍｉｎより遠くを０、最大値ＤＥＰＴＨｍａｘより手前を２５５にマッピングする。In step S13, the depth compression processing unit 14 compresses depth information using the display surface and depth range of the key frame to generate a depth map. For example, when each point on the depth map is represented by 0 to 255 (8 bits), the depth compression processing unit 14 maps the depth information from the minimum value DEPTH min to the maximum value DEPTH max of the depth range to 1 to 254. , the distance from the minimum value DEPTH min is mapped to 0, and the distance from the maximum value DEPTH max is mapped to 255.

奥行き圧縮処理部１４は、キーフレームのディスプレイ面とキーフレームの奥行き範囲を保持しておき、次のフレーム以降の奥行き圧縮処理で利用する。 The depth compression processing unit 14 retains the display surface of the key frame and the depth range of the key frame, and uses it in depth compression processing for the next frame and subsequent frames.

表示システムは、情報処理装置１の出力したデプスマップを用い、視差を持つ右眼用フレーム画像と左眼用フレーム画像を生成する。 The display system uses the depth map output from the information processing device 1 to generate a right-eye frame image and a left-eye frame image with parallax.

キーフレームの次のフレーム以降は、以下のステップＳ１４～Ｓ１７の処理を繰り返す。 From the next frame after the key frame, the following steps S14 to S17 are repeated.

ステップＳ１４にて、ディスプレイ面決定部１２は、奥行き情報に基づいてディスプレイ面を決定する。ディスプレイ面の情報は、奥行き圧縮処理部１４へ送信される。 In step S14, the display surface determination unit 12 determines the display surface based on the depth information. Information on the display surface is transmitted to the depth compression processing section 14.

ステップＳ１５にて、奥行き圧縮処理部１４は、現フレームのディスプレイ面が所定の範囲内であるか否か判定する。所定の範囲は、図４に示すように、キーフレームの奥行き範囲の最小値ＤＥＰＴＨｍｉｎより手前で、最大値ＤＥＰＴＨｍａｘより奥側の範囲とする。例えば、所定の範囲は、キーフレームの奥行き範囲の１０％～９０％の範囲とする。所定の範囲は任意に設定可能である。In step S15, the depth compression processing unit 14 determines whether the display surface of the current frame is within a predetermined range. As shown in FIG. 4, the predetermined range is a range before the minimum value DEPTH min of the depth range of the key frame and behind the maximum value DEPTH max . For example, the predetermined range is 10% to 90% of the depth range of the key frame. The predetermined range can be set arbitrarily.

ディスプレイ面が所定の範囲内の場合、奥行き圧縮処理部１４は処理をステップＳ１７に進める。例えば、図４の時間ｔ－１のディスプレイ面ＤＩＳＰｃｕｒ（ｔ－１）は矢印で示した所定の範囲内に存在するので、奥行き圧縮処理部１４は処理をステップＳ１７に進める。If the display surface is within the predetermined range, the depth compression processing unit 14 advances the process to step S17. For example, since the display surface DISP cur(t-1) at time t-1 in FIG. 4 exists within the predetermined range indicated by the arrow, the depth compression processing unit 14 advances the process to step S17.

ディスプレイ面が所定の範囲を超えた場合、ステップＳ１６にて、奥行き圧縮処理部１４はディスプレイ面の移動に合わせて、奥行き範囲を変更する。 If the display surface exceeds the predetermined range, the depth compression processing unit 14 changes the depth range in accordance with the movement of the display surface in step S16.

例えば、図５の時間ｔのディスプレイ面ＤＩＳＰｃｕｒ（ｔ）は所定の範囲を超えているので、奥行き圧縮処理部１４は保持するキーフレームのディスプレイ面とキーフレームの奥行き範囲を変更する。より具体的には、奥行き圧縮処理部１４は、前フレームからのディスプレイ面の移動量ＤＩＦＦ＝ＤＩＳＰｃｕｒ（ｔ）－ＤＩＳＰｃｕｒ（ｔ－１）を求め、キーフレームのディスプレイ面ＤＩＳＰｄｅｆ、キーフレームの奥行き範囲の最小値ＤＥＰＴＨｍｉｎと最大値ＤＥＰＴＨｍａｘをＤＩＦＦ分だけ変更する。例えば、ディスプレイ面が視点にＤＩＦＦ分近づいた場合、ディスプレイ面ＤＩＳＰｄｅｆ、奥行き範囲の最小値ＤＥＰＴＨｍｉｎと最大値ＤＥＰＴＨｍａｘをＤＩＦＦ分だけ視点方向に近づける。ディスプレイ面が視点からＤＩＦＦ分離れた場合、ディスプレイ面ＤＩＳＰｄｅｆ、奥行き範囲の最小値ＤＥＰＴＨｍｉｎと最大値ＤＥＰＴＨｍａｘをＤＩＦＦ分だけ奥側に移動する。For example, since the display surface DISP cur(t) at time t in FIG. 5 exceeds a predetermined range, the depth compression processing unit 14 changes the display surface of the held key frame and the depth range of the key frame. More specifically, the depth compression processing unit 14 calculates the amount of movement of the display surface from the previous frame DIFF = DISP cur (t) - DISP cur (t-1) , and calculates the display surface DISP def of the key frame, the key frame The minimum value DEPTH min and maximum value DEPTH max of the depth range are changed by DIFF. For example, when the display surface approaches the viewpoint by DIFF, the display surface DISP def and the minimum value DEPTH min and maximum value DEPTH max of the depth range are moved closer to the viewpoint direction by DIFF. When the display surface is separated by DIFF from the viewpoint, the display surface DISP def and the minimum value DEPTH min and maximum value DEPTH max of the depth range are moved to the back side by DIFF.

なお、現フレームのディスプレイ面ＤＩＳＰｃｕｒ（ｔ）が所定の範囲を超えた後、ＤＩＳＰｄｅｆ＝ＤＩＳＰｃｕｒ（ｔ）となるまで、毎フレーム、キーフレームのディスプレイ面ＤＩＳＰｄｅｆ、キーフレームの奥行き範囲の最小値ＤＥＰＴＨｍｉｎと最大値ＤＥＰＴＨｍａｘを変更してもよい。この場合、フレームごとの移動量ＤＩＦＦは次式で求める。Note that after the display surface DISP cur(t) of the current frame exceeds the predetermined range, the display surface DISP def of the key frame and the depth range of the key frame are changed every frame until DISP def =DISP cur(t). The minimum value DEPTH min and the maximum value DEPTH max may be changed. In this case, the movement amount DIFF for each frame is determined by the following equation.

ＤＩＦＦ＝ＭＡＸ（ＤＩＦＦｍｉｎ，ＤＩＳＰｃｕｒ（ｔ）－ＤＩＳＰｃｕｒ（ｔ－１））
ただしＤＩＦＦｍｉｎ＞０である。DIFF=MAX(DIFF min , DISP cur(t) - DISP cur(t-1) )
However, DIFF min >0.

ディスプレイ面ＤＩＳＰｃｕｒ（ｔ）の動きが止まった場合でも、キーフレームのディスプレイ面ＤＩＳＰｄｅｆはＤＩＦＦｍｉｎの速度で現フレームのディスプレイ面ＤＩＳＰｃｕｒ（ｔ）に毎フレーム近づいていく。ＤＩＳＰｄｅｆ＝ＤＩＳＰｃｕｒ（ｔ）となった後は、ステップＳ１５で現フレームのディスプレイ面が所定の範囲を超えたか否か判定する処理に戻る。Even if the movement of the display surface DISP cur(t) stops, the display surface DISP def of the key frame approaches the display surface DISP cur(t) of the current frame every frame at a speed of DIFF min . After DISP def =DISP cur(t) , the process returns to step S15 to determine whether the display surface of the current frame exceeds a predetermined range.

ステップＳ１７にて、奥行き圧縮処理部１４は、キーフレームのディスプレイ面ＤＩＳＰｄｅｆ、キーフレームの奥行き範囲の最小値ＤＥＰＴＨｍｉｎと最大値ＤＥＰＴＨｍａｘを用いて奥行き圧縮処理を行い、デプスマップを生成する。表示システムは、情報処理装置１の出力したデプスマップを用い、視差を持つ右眼用フレーム画像と左眼用フレーム画像を生成する。In step S17, the depth compression processing unit 14 performs depth compression processing using the display surface DISP def of the key frame, the minimum value DEPTH min and the maximum value DEPTH max of the depth range of the key frame, and generates a depth map. The display system uses the depth map output from the information processing device 1 to generate a right-eye frame image and a left-eye frame image with parallax.

シーンが変わるなど、新たなキーフレームになると、情報処理装置１は、処理をステップＳ１１に戻して処理を続ける。 When a new key frame occurs, such as when the scene changes, the information processing device 1 returns the process to step S11 and continues the process.

なお、ステップＳ１６の奥行き範囲を変更する処理では、図６に示すように、奥行き範囲の最大値ＤＥＰＴＨｍａｘのみをＤＩＦＦ分だけ変更してもよい。現フレームのディスプレイ面ＤＩＳＰｃｕｒ（ｔ）が所定の範囲から奥側方向に超える場合は、奥行き範囲の最小値ＤＥＰＴＨｍｉｎを奥側にＤＩＦＦ分だけ変更してもよい。In addition, in the process of changing the depth range in step S16, as shown in FIG. 6, only the maximum value DEPTH max of the depth range may be changed by DIFF. If the display surface DISP cur(t) of the current frame exceeds the predetermined range toward the back, the minimum value DEPTH min of the depth range may be changed toward the back by DIFF.

以上説明したように、本実施形態の情報処理装置１は、動画のフレーム画像から算出した奥行き情報に基づき、フレーム画像を３次元表示する際のディスプレイ面を決定するディスプレイ面決定部１２と、立体感を強調する奥行き範囲を決定する奥行き範囲決定部１３と、ディスプレイ面と奥行き範囲を用いて奥行き情報を圧縮処理してデプスマップを生成する奥行き圧縮処理部１４を有する。奥行き圧縮処理部１４は、ディスプレイ面が所定の範囲内に存在する場合は、動画のキーフレームで決定したキーフレームのディスプレイ面とキーフレームの奥行き範囲を用いて奥行き情報を圧縮し、ディスプレイ面が所定の範囲外に存在する場合は、キーフレームの奥行き範囲を補正して奥行き情報を圧縮する。本実施形態では、注視物体が奥行き範囲を超えそうになった場合にのみディスプレイ面を追随することで、注視物体の立体感を強調しながら、注視物体が奥行き方向に移動する際の３次元動画像の違和感を和らげることができる。 As described above, the information processing device 1 of the present embodiment includes a display surface determining unit 12 that determines a display surface when displaying a frame image three-dimensionally, based on depth information calculated from a frame image of a moving image, and a It has a depth range determining unit 13 that determines a depth range that emphasizes a feeling, and a depth compression processing unit 14 that compresses depth information using the display surface and the depth range to generate a depth map. When the display surface is within a predetermined range, the depth compression processing unit 14 compresses depth information using the display surface of the key frame determined by the key frame of the video and the depth range of the key frame, so that the display surface is If the key frame exists outside the predetermined range, the depth range of the key frame is corrected and the depth information is compressed. In this embodiment, by following the display surface only when the object to be watched is about to exceed the depth range, the three-dimensional video when the object to be watched moves in the depth direction is created while emphasizing the three-dimensional effect of the object to be watched. This can alleviate the discomfort of the image.

上記説明した情報処理装置１には、例えば、図７に示すような、中央演算処理装置（ＣＰＵ）９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵ９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、情報処理装置１が実現される。このプログラムは磁気ディスク、光ディスク、半導体メモリ等のコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを介して配信することもできる。 The information processing device 1 described above includes, for example, a central processing unit (CPU) 901, a memory 902, a storage 903, a communication device 904, an input device 905, and an output device 906 as shown in FIG. A general-purpose computer system can be used. In this computer system, the information processing device 1 is realized by the CPU 901 executing a predetermined program loaded onto the memory 902. This program can be recorded on a computer-readable recording medium such as a magnetic disk, optical disk, or semiconductor memory, or can be distributed via a network.

１…情報処理装置
１１…推定部
１２…ディスプレイ面決定部
１３…奥行き範囲決定部
１４…奥行き圧縮処理部1... Information processing device 11... Estimating unit 12... Display surface determining unit 13... Depth range determining unit 14... Depth compression processing unit

Claims (7)

動画のフレーム画像から算出した奥行き情報に基づき、前記フレーム画像を３次元表示する際のディスプレイ面と立体感を強調する奥行き範囲を決定する決定部と、
前記ディスプレイ面と前記奥行き範囲を用いて前記奥行き情報を圧縮処理してデプスマップを生成する処理部を有し、
前記処理部は、前記ディスプレイ面が所定の範囲内に存在する場合は、前記動画のキーフレームで決定したキーフレームのディスプレイ面とキーフレームの奥行き範囲を用いて奥行き情報を圧縮し、前記ディスプレイ面が所定の範囲外に存在する場合は、前記キーフレームの奥行き範囲を前記ディスプレイ面が所定の範囲を超えた方向に補正して奥行き情報を圧縮する
情報処理装置。 a determining unit that determines a depth range that emphasizes the display surface and stereoscopic effect when displaying the frame image in three dimensions, based on depth information calculated from the frame image of the video;
a processing unit that compresses the depth information using the display surface and the depth range to generate a depth map;
If the display surface is within a predetermined range, the processing unit compresses depth information using the display surface of the key frame determined by the key frame of the video and the depth range of the key frame, and exists outside a predetermined range, the information processing apparatus compresses depth information by correcting the depth range of the key frame in a direction in which the display surface exceeds the predetermined range . 請求項１に記載の情報処理装置であって、
前記所定の範囲は、前記キーフレームの奥行き範囲内に設定された範囲である
情報処理装置。 The information processing device according to claim 1,
The predetermined range is a range set within the depth range of the key frame. 請求項１または２に記載の情報処理装置であって、
前記処理部は、前記ディスプレイ面が所定の範囲外に存在する場合は、直前のフレームのディスプレイ面に対する現フレームのディスプレイ面の移動量に応じて、前記キーフレームのディスプレイ面と前記キーフレームの奥行き範囲を補正する
情報処理装置。 The information processing device according to claim 1 or 2,
If the display surface is outside a predetermined range, the processing unit determines the display surface of the key frame and the depth of the key frame according to the amount of movement of the display surface of the current frame with respect to the display surface of the immediately previous frame. An information processing device that corrects the range. 請求項３に記載の情報処理装置であって、
前記処理部は、前記ディスプレイ面が所定の範囲外に出た後、前記キーフレームのディスプレイ面が現フレームのディスプレイ面と同じ位置になるまで前記キーフレームのディスプレイ面と前記キーフレームの奥行き範囲を毎フレーム補正する
情報処理装置。 The information processing device according to claim 3,
After the display surface moves out of a predetermined range, the processing unit adjusts the display surface of the key frame and the depth range of the key frame until the display surface of the key frame is at the same position as the display surface of the current frame. An information processing device that corrects each frame. 請求項１または２に記載の情報処理装置であって、
前記処理部は、前記ディスプレイ面が所定の範囲外に存在する場合は、前記キーフレームの奥行き範囲の一方を広げる
情報処理装置。 The information processing device according to claim 1 or 2,
The processing unit expands one of the depth ranges of the key frame when the display surface is outside a predetermined range. コンピュータが実行する情報処理方法であって、
動画のフレーム画像から算出した奥行き情報に基づき、前記フレーム画像を３次元表示する際のディスプレイ面と立体感を強調する奥行き範囲を決定するステップと、
前記ディスプレイ面と前記奥行き範囲を用いて前記奥行き情報を圧縮処理してデプスマップを生成するステップを有し、
前記奥行き情報の圧縮処理では、前記ディスプレイ面が所定の範囲内に存在する場合は、前記動画のキーフレームで決定したキーフレームのディスプレイ面とキーフレームの奥行き範囲を用いて奥行き情報を圧縮し、前記ディスプレイ面が所定の範囲外に存在する場合は、前記キーフレームの奥行き範囲を前記ディスプレイ面が所定の範囲を超えた方向に補正して奥行き情報を圧縮する
情報処理方法。 An information processing method performed by a computer, the method comprising:
determining a depth range that emphasizes the display surface and stereoscopic effect when displaying the frame image three-dimensionally, based on depth information calculated from the frame image of the video;
compressing the depth information using the display surface and the depth range to generate a depth map;
In the depth information compression process, if the display surface is within a predetermined range, the depth information is compressed using the display surface of the key frame determined by the key frame of the video and the depth range of the key frame, If the display surface is outside a predetermined range, the depth range of the key frame is corrected in a direction in which the display surface exceeds the predetermined range to compress depth information. 請求項１ないし５のいずれかに記載の情報処理装置の各部としてコンピュータを動作させるプログラム。 A program that causes a computer to operate as each part of the information processing apparatus according to claim 1.
JP2022522132A 2020-05-12 2020-05-12 Information processing device, information processing method, and program Active JP7406166B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/018951 WO2021229679A1 (en) 2020-05-12 2020-05-12 Information processing device, information processing method, and program

Publications (2)

Publication Number Publication Date
JPWO2021229679A1 JPWO2021229679A1 (en) 2021-11-18
JP7406166B2 true JP7406166B2 (en) 2023-12-27

Family

ID=78525993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022522132A Active JP7406166B2 (en) 2020-05-12 2020-05-12 Information processing device, information processing method, and program

Country Status (2)

Country Link
JP (1) JP7406166B2 (en)
WO (1) WO2021229679A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197240A (en) 2005-01-13 2006-07-27 Nippon Telegr & Teleph Corp <Ntt> 3D display method and 3D display device
JP2012257022A (en) 2011-06-08 2012-12-27 Sony Corp Image processing apparatus, method, and program
JP2013058849A (en) 2011-09-07 2013-03-28 Sharp Corp Stereoscopic image processing apparatus, stereoscopic image processing method, and program
JP2013078101A (en) 2011-09-13 2013-04-25 Sharp Corp Image processing apparatus, image capturing apparatus and image displaying apparatus
JP2014053782A (en) 2012-09-07 2014-03-20 Sharp Corp Stereoscopic image data processor and stereoscopic image data processing method
JP2015156607A (en) 2014-02-21 2015-08-27 ソニー株式会社 Image processing apparatus, image processing apparatus, and electronic apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197240A (en) 2005-01-13 2006-07-27 Nippon Telegr & Teleph Corp <Ntt> 3D display method and 3D display device
JP2012257022A (en) 2011-06-08 2012-12-27 Sony Corp Image processing apparatus, method, and program
JP2013058849A (en) 2011-09-07 2013-03-28 Sharp Corp Stereoscopic image processing apparatus, stereoscopic image processing method, and program
JP2013078101A (en) 2011-09-13 2013-04-25 Sharp Corp Image processing apparatus, image capturing apparatus and image displaying apparatus
JP2014053782A (en) 2012-09-07 2014-03-20 Sharp Corp Stereoscopic image data processor and stereoscopic image data processing method
JP2015156607A (en) 2014-02-21 2015-08-27 ソニー株式会社 Image processing apparatus, image processing apparatus, and electronic apparatus

Also Published As

Publication number Publication date
WO2021229679A1 (en) 2021-11-18
JPWO2021229679A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
CN102027752B (en) System and method for measuring potential eyestrain of stereoscopic motion picture
KR102215166B1 (en) Providing apparatus, providing method and computer program
TWI574544B (en) Saliency based disparity mapping
RU2519433C2 (en) Method and system for processing input three-dimensional video signal
CN101682794B (en) Method, apparatus and system for processing depth-related information
CN103609105B (en) Method and device for generating a signal for a display
US20130051659A1 (en) Stereoscopic image processing device and stereoscopic image processing method
KR101502362B1 (en) Image processing apparatus and method
US8213708B2 (en) Adjusting perspective for objects in stereoscopic images
CN110166764B (en) Viewing angle synchronization method and device in virtual reality VR live broadcast
KR20100002049A (en) Image processing method and apparatus
TW201215101A (en) Method and apparatus for customizing 3-dimensional effects of stereo content
US20130208088A1 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
JP2019102907A (en) Setting device, setting method, and program
JPWO2011030399A1 (en) Image processing method and apparatus
US11386527B2 (en) Image processor and imaging processing method
US12081722B2 (en) Stereo image generation method and electronic apparatus using the same
JP5127973B1 (en) Video processing device, video processing method, and video display device
JP2012080294A (en) Electronic device, video processing method, and program
JP7406166B2 (en) Information processing device, information processing method, and program
KR101783608B1 (en) Electronic device and method for dynamically controlling depth in stereo-view or multiview sequence image
CN102487447B (en) The method and apparatus of adjustment object three dimensional depth and the method and apparatus of detection object three dimensional depth
CN104980732B (en) The system and method for measuring the potential eye fatigue of stereoscopic motion picture
US20140055579A1 (en) Parallax adjustment device, three-dimensional image generation device, and method of adjusting parallax amount
CN106231281B (en) A kind of display converting method and device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231127

R150 Certificate of patent or registration of utility model

Ref document number: 7406166

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350