JP7435208B2

JP7435208B2 - Image processing device and program

Info

Publication number: JP7435208B2
Application number: JP2020077752A
Authority: JP
Inventors: 博章中山; 真樹相馬; 綾杉山; 茂穂水野
Original assignee: サクサ株式会社
Priority date: 2020-04-24
Filing date: 2020-04-24
Publication date: 2024-02-21
Anticipated expiration: 2040-04-24
Also published as: JP2021175085A

Description

本発明は、画像処理装置及びプログラムに関する。 The present invention relates to an image processing device and a program.

監視カメラシステムにおいて、撮影装置からネットワークを介して取得した撮影データを、取得した撮影データとは異なる形式の画像データに変換して表示装置などに出力する画像処理装置が知られている（例えば、特許文献１を参照）。 In a surveillance camera system, an image processing device is known that converts photographic data acquired from a photographing device via a network into image data in a format different from the acquired photographic data and outputs it to a display device or the like (for example, (See Patent Document 1).

特開２０１９－０５４３５３号公報JP 2019-054353 Publication

例えば雨天時に撮影装置が撮影する撮影画像には、撮影画像の全体に雨粒の画像が含まれている。このような撮影画像においては、監視対象の被写体を確認しづらいため、できるだけ画質が高い状態で撮影画像を表示装置に表示させることが望ましい。しかしながら、画質が高い状態で撮影画像を表示装置に表示させる場合には、表示装置に送信する撮影画像のデータ量が増えてしまう。表示装置に送信するデータ量が増えると、伝送路の帯域が不足したり、消費電力が増加したりするため、できるだけデータ量を増やすことなく、画質が悪い撮影画像を良好に表示装置に表示させることが求められている。 For example, a photographed image taken by a photographing device during rainy weather includes images of raindrops throughout the photographed image. In such a photographed image, it is difficult to confirm the subject to be monitored, so it is desirable to display the photographed image on a display device with as high image quality as possible. However, when displaying a captured image on a display device with high image quality, the amount of data of the captured image to be transmitted to the display device increases. As the amount of data sent to the display device increases, the bandwidth of the transmission path becomes insufficient and power consumption increases, so it is necessary to display captured images with poor quality on the display device without increasing the amount of data as much as possible. That is what is required.

そこで、本発明はこれらの点に鑑みてなされたものであり、撮影装置から取得した撮影データの画質が低下した場合であっても、表示装置に出力する画像データの画質が低下することを抑制する画像処理装置及びプログラムを提供することを目的とする。 The present invention has been made in view of these points, and it is an object of the present invention to suppress the deterioration in the image quality of image data output to a display device even when the image quality of photographic data acquired from a photographing device deteriorates. The purpose of the present invention is to provide an image processing device and a program that performs image processing.

本発明の第１の態様に係る画像処理装置は、所定のエリアを撮影する撮影装置から動画像データを取得する画像データ取得部と、前記動画像データを圧縮して圧縮データを生成する圧縮部と、前記動画像データ又は前記圧縮データが示す画像領域の画質が第１閾値未満であり、かつ、時間経過に伴う前記画質のばらつきが第２閾値以上の場合に、前記画質が第１閾値以上である場合、及び時間経過に伴う前記画質のばらつきが第２閾値未満である場合よりも、前記圧縮部が生成する前記圧縮データのフレームレートを大きくするフレームレート調整部と、を有する。 An image processing device according to a first aspect of the present invention includes an image data acquisition unit that acquires moving image data from a photographing device that photographs a predetermined area, and a compression unit that compresses the moving image data to generate compressed data. and when the image quality of the image area indicated by the moving image data or the compressed data is less than a first threshold, and the variation in the image quality over time is greater than or equal to a second threshold, the image quality is greater than or equal to the first threshold. and a frame rate adjustment unit that increases the frame rate of the compressed data generated by the compression unit compared to when the variation in image quality over time is less than a second threshold.

前記エリアの定常状態の画像に対応する基準画像データを記憶する記憶部をさらに有し、前記フレームレート調整部は、前記基準画像データと前記動画像データ又は前記圧縮データとの差分値に基づいて、前記画質を特定してもよい。 The frame rate adjustment unit further includes a storage unit that stores reference image data corresponding to a steady-state image of the area, and the frame rate adjustment unit adjusts the frame rate based on a difference value between the reference image data and the moving image data or the compressed data. , the image quality may be specified.

前記エリアの定常状態の画像に対応する基準画像データを記憶する記憶部と、前記画像領域に対応する基準画像データと前記動画像データ又は前記圧縮データとの複数の差分を特定する差分特定部と、をさらに有し、前記フレームレート調整部は、前記差分特定部が特定した前記複数の差分の前記画像領域における分布の分散が閾値以上である場合に、前記分散が前記閾値未満である場合よりも前記フレームレートを大きくしてもよい。 a storage unit that stores reference image data corresponding to a steady state image of the area; and a difference identification unit that identifies a plurality of differences between the reference image data corresponding to the image area and the moving image data or the compressed data. , the frame rate adjustment unit further comprises: when the variance of the distribution of the plurality of differences identified by the difference identification unit in the image region is equal to or more than a threshold value, the frame rate adjustment unit adjusts the rate of the difference from when the variance is less than the threshold value. The frame rate may also be increased.

前記フレームレート調整部は、前記動画像データ又は前記圧縮データのＰフレームデータ及びＢフレームデータの少なくともいずれかに含まれる動きベクトルの数に基づいて前記画質を特定し、前記動きベクトルに対応する画素の位置の時間経過に伴う変化に基づいて前記ばらつきを特定してもよい。 The frame rate adjustment unit specifies the image quality based on the number of motion vectors included in at least one of P frame data and B frame data of the moving image data or the compressed data, and specifies the image quality based on the number of motion vectors included in at least one of P frame data and B frame data of the moving image data or the compressed data, and The variation may be identified based on a change in the position of the object over time.

前記画像領域に含まれる複数の領域それぞれにおいて動く物体を検出し、検出した前記動く物体の動きベクトルを特定する動き特定部をさらに有し、前記フレームレート調整部は、前記動き特定部が前記動画像データの前記複数の領域それぞれに同じ向きの前記動きベクトルを検出した場合に、前記複数の領域それぞれに同じ向きの前記動きベクトルを検出していない場合よりも前記フレームレートを大きくしてもよい。 The frame rate adjustment unit further includes a motion identification unit that detects a moving object in each of a plurality of areas included in the image area and identifies a motion vector of the detected moving object, and the frame rate adjustment unit is configured to When the motion vector in the same direction is detected in each of the plurality of regions of image data, the frame rate may be made higher than when the motion vector in the same direction is not detected in each of the plurality of regions. .

本発明の第２の態様に係るプログラムは、コンピュータを、所定のエリアを撮影する撮影装置から動画像データを取得する画像データ取得部、前記動画像データを圧縮して圧縮データを生成する圧縮部、及び前記動画像データ又は前記圧縮データが示す画像領域の画質が第１閾値未満であり、かつ、時間経過に伴う前記画質のばらつきが第２閾値以上の場合に、前記画質が第１閾値以上である場合、及び時間経過に伴う前記画質のばらつきが第２閾値未満である場合よりも、前記圧縮部が生成する前記圧縮データのフレームレートを大きくするフレームレート調整部、として機能させる。 A program according to a second aspect of the present invention includes a computer, an image data acquisition unit that acquires moving image data from a photographing device that photographs a predetermined area, and a compression unit that compresses the moving image data to generate compressed data. , and when the image quality of the image area indicated by the video data or the compressed data is less than a first threshold, and the variation in the image quality over time is greater than or equal to a second threshold, the image quality is greater than or equal to the first threshold. The compression unit functions as a frame rate adjustment unit that increases the frame rate of the compressed data generated by the compression unit, compared to the case where the variation in image quality over time is less than a second threshold value.

本発明によれば、撮影装置から取得した撮影データの画質が低下した場合であっても、表示装置に出力する画像データの画質が低下することを抑制するという効果を奏する。 Advantageous Effects of Invention According to the present invention, even if the image quality of photographic data acquired from a photographing device is degraded, it is possible to suppress a decrease in the image quality of image data output to a display device.

本発明の実施の形態に係る画像処理システムＳの構成を示す図である。1 is a diagram showing the configuration of an image processing system S according to an embodiment of the present invention. フレームレート調整部３２５の動作のフローチャートを示す図である。3 is a diagram showing a flowchart of the operation of a frame rate adjustment section 325. FIG. フレームレート調整部３２５の動作のフローチャートを示す図である。3 is a diagram showing a flowchart of the operation of a frame rate adjustment section 325. FIG. フレームレート調整部３２５がフレームレートを調整したことによる、画像処理装置３が表示装置２に出力する圧縮データのフレームレートを時系列で示す図である。3 is a diagram illustrating in chronological order the frame rate of compressed data output by the image processing device 3 to the display device 2 after the frame rate adjustment unit 325 has adjusted the frame rate. FIG. 変形例に係る画像処理装置３の構成を示す図である。It is a figure showing the composition of image processing device 3 concerning a modification. 変形例に係るフレームレート調整部３２５の動作のフローチャートを示す図である。FIG. 7 is a diagram illustrating a flowchart of the operation of a frame rate adjustment unit 325 according to a modified example.

［画像処理システムＳの構成］
図１は、本発明の実施の形態に係る画像処理システムＳの構成を示す図である。画像処理システムＳは、撮影装置１と、表示装置２と、画像処理装置３とを有する。画像処理システムＳは、例えば、撮影装置１が撮影した画像を表示装置２が表示する監視システムである。 [Configuration of image processing system S]
FIG. 1 is a diagram showing the configuration of an image processing system S according to an embodiment of the present invention. The image processing system S includes a photographing device 1, a display device 2, and an image processing device 3. The image processing system S is, for example, a monitoring system in which the display device 2 displays images captured by the imaging device 1.

撮影装置１は、動画像を撮影することができるカメラであり、例えば監視カメラである。撮影装置１は、撮影した動画像から動画像データを作成するとともに、生成した動画像データを画像処理装置３に送信する。動画像データは、例えばＭＰＥＧ（Moving Picture Experts Group）、ＭｏｔｉｏｎＪＰＥＧ（Joint Photographic Experts Group）、Ｈ．２６４又はＨ．２６５により符号化されたデータである。 The photographing device 1 is a camera capable of photographing moving images, and is, for example, a surveillance camera. The photographing device 1 creates moving image data from the photographed moving images, and transmits the generated moving image data to the image processing device 3. The moving image data is, for example, MPEG (Moving Picture Experts Group), Motion JPEG (Joint Photographic Experts Group), H. 264 or H. This is data encoded by H.265.

表示装置２は、動画像を表示することができるディスプレイである。表示装置２は、例えばネットワークビデオレコーダを有しており、画像処理装置３から受信した圧縮データを伸長して伸長動画像データに変換する。圧縮データは、例えば撮影装置１が作成した動画像データの圧縮率よりも圧縮されたデータである。表示装置２は、受信した圧縮データを内部の記憶媒体（例えばハードディスク）に記憶する。また、表示装置２は、伸長動画像データに変換した後に、表示装置２に接続されたモニタに表示する。 The display device 2 is a display that can display moving images. The display device 2 includes, for example, a network video recorder, and decompresses the compressed data received from the image processing device 3 to convert it into decompressed moving image data. The compressed data is, for example, data that is compressed more than the compression rate of the moving image data created by the imaging device 1. The display device 2 stores the received compressed data in an internal storage medium (for example, a hard disk). Further, the display device 2 displays the decompressed moving image data on a monitor connected to the display device 2 after converting the data into decompressed moving image data.

画像処理装置３は、撮影装置１から動画像データを受信する。画像処理装置３は、撮影装置１から受信した動画像データを圧縮することにより圧縮データを作成し、作成した圧縮データを表示装置２に送信する。圧縮する処理は、動画像データを伸長した後に再度圧縮する処理である。画像処理装置３は、伸長された動画像データを圧縮することにより、撮影装置１が作成した動画像データの圧縮率よりも圧縮された圧縮データを作成する。 The image processing device 3 receives moving image data from the photographing device 1. The image processing device 3 creates compressed data by compressing the moving image data received from the photographing device 1 , and transmits the created compressed data to the display device 2 . The compression process is a process of decompressing moving image data and then compressing it again. The image processing device 3 creates compressed data that is more compressed than the compression rate of the video data created by the imaging device 1 by compressing the expanded video data.

画像処理装置３は、動画像データの画質と、動画像データの画像領域における画質のばらつきの大きさとに基づいて、表示装置２に送信する圧縮データのフレームレートを調整する。画像処理装置３は、例えば動画像データが雨天又は雪天時の画像のように、画質が晴天時の画像よりも悪く、かつ画像領域の全体に雨粒や雪の画像があることで領域ごとの画質のばらつきが晴天時の画像よりも大きい場合に、フレームレートを晴天時の画像のフレームレートよりも大きくする。画像処理装置３がこのようにフレームレートを調整することで、画質が悪く、領域ごとの画質のばらつきが大きい画像であっても、表示装置２がモニタに表示する画像の画質を良好に保つことができる。 The image processing device 3 adjusts the frame rate of the compressed data to be transmitted to the display device 2 based on the image quality of the moving image data and the magnitude of variation in image quality in the image area of the moving image data. For example, the image processing device 3 may process image data for each area, such as an image taken on a rainy or snowy day, whose image quality is worse than an image taken on a sunny day, and where there are images of raindrops or snow throughout the image area. When the variation in image quality is larger than that of images taken under clear skies, the frame rate is set higher than that of images taken under clear skies. By adjusting the frame rate in this way by the image processing device 3, the image quality of the image displayed on the monitor by the display device 2 can be maintained at a good level even if the image quality is poor and the image quality varies widely from region to region. Can be done.

続いて、画像処理装置３の構成を説明する。画像処理装置３は、記憶部３１と制御部３２とを有する。記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体を有する。記憶部３１は、後述する制御部３２が実行するプログラムを記憶している。記憶部３１は、例えば基準画像データが記憶されている。基準画像データは、撮影装置１が撮影するエリアの定常状態の画像に対応する。基準画像データは、撮影装置１が撮影した動画像の画像領域に対応する基準画像である。 Next, the configuration of the image processing device 3 will be explained. The image processing device 3 includes a storage section 31 and a control section 32. The storage unit 31 includes storage media such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a hard disk. The storage unit 31 stores a program executed by a control unit 32, which will be described later. The storage unit 31 stores, for example, reference image data. The reference image data corresponds to a steady-state image of the area photographed by the photographing device 1. The reference image data is a reference image corresponding to an image area of a moving image captured by the imaging device 1.

制御部３２は、例えばＣＰＵ（Central Processing Unit）である。制御部３２は、記憶部３１に記憶されているプログラムを実行することにより、画像データ取得部３２１、圧縮部３２２、データ出力部３２３、差分特定部３２４、及びフレームレート調整部３２５として機能する。 The control unit 32 is, for example, a CPU (Central Processing Unit). The control unit 32 functions as an image data acquisition unit 321, a compression unit 322, a data output unit 323, a difference identification unit 324, and a frame rate adjustment unit 325 by executing a program stored in the storage unit 31.

画像データ取得部３２１は、所定のエリアを撮影する撮影装置１から動画像データを取得する。画像データ取得部３２１は、取得した動画像データを圧縮部３２２、差分特定部３２４、及びフレームレート調整部３２５に送信する。 The image data acquisition unit 321 acquires moving image data from the photographing device 1 that photographs a predetermined area. The image data acquisition unit 321 transmits the acquired moving image data to the compression unit 322, the difference identification unit 324, and the frame rate adjustment unit 325.

圧縮部３２２は、フレームレート調整部３２５が決定したフレームレートに基づいて、画像データ取得部３２１から取得した動画像データを圧縮して圧縮データを生成する。圧縮部３２２は、生成した圧縮データをデータ出力部３２３、フレームレート調整部３２５、及び記憶部３１に送信する。データ出力部３２３は、圧縮部３２２から受信した圧縮データを表示装置２に送信する。 The compression unit 322 compresses the moving image data acquired from the image data acquisition unit 321 based on the frame rate determined by the frame rate adjustment unit 325 to generate compressed data. The compression unit 322 transmits the generated compressed data to the data output unit 323, frame rate adjustment unit 325, and storage unit 31. The data output unit 323 transmits the compressed data received from the compression unit 322 to the display device 2.

差分特定部３２４は、画像データ取得部３２１から動画像データを取得する。差分特定部３２４は、撮影装置１が撮影した動画像の画像領域に対応する基準画像データと圧縮データとを記憶部３１から取得する。基準画像データは、例えば撮影装置１が晴天時に撮影した画像に基づく動画像データである。基準画像データには、動く物体の画像が含まれていないことが望ましい。 The difference identifying unit 324 acquires moving image data from the image data acquiring unit 321. The difference specifying unit 324 acquires the reference image data and compressed data corresponding to the image area of the moving image captured by the imaging device 1 from the storage unit 31. The reference image data is, for example, moving image data based on an image photographed by the photographing device 1 on a clear day. It is desirable that the reference image data does not include images of moving objects.

差分特定部３２４は、記憶部３１から取得した基準画像データと動画像データ又は圧縮データとの差分を特定する。差分特定部３２４は、例えば、動画像データが示す画像領域を複数に分割した領域のそれぞれに含まれている差分がある位置を特定する。差分は、例えば動画像データに含まれている雨粒又は雪粒に対応している。差分特定部３２４は、雨粒又は雪粒に基づく差分であると推定される差分値が生じている箇所（例えば、閾値以上の差分値である画素）に差分があると特定してもよい。差分特定部３２４は、特定した複数の差分の位置（例えば座標）をフレームレート調整部３２５に通知する。 The difference identifying unit 324 identifies the difference between the reference image data acquired from the storage unit 31 and the moving image data or compressed data. The difference identifying unit 324 identifies, for example, a position where there is a difference included in each of the regions obtained by dividing the image region indicated by the moving image data into a plurality of regions. The difference corresponds to, for example, raindrops or snowdrops included in the video image data. The difference specifying unit 324 may specify that a difference exists in a location where a difference value estimated to be a difference based on raindrops or snowdrops occurs (for example, a pixel having a difference value greater than or equal to a threshold value). The difference identifying unit 324 notifies the frame rate adjusting unit 325 of the positions (for example, coordinates) of the multiple identified differences.

フレームレート調整部３２５は、画像データ取得部３２１から取得した動画像データ又は圧縮部３２２から取得した圧縮データが示す画像領域の画質と、当該動画像データ又は圧縮データの時間経過に伴う画質のばらつきとを特定する。フレームレート調整部３２５は、特定した画質と画質のばらつきとに基づいて圧縮データのフレームレートを決定し、圧縮部３２２に通知する。フレームレート調整部３２５は、例えば以下のいずれかの方法で画像データ取得部３２１から取得した画質を特定する。 The frame rate adjustment unit 325 adjusts the image quality of the image area indicated by the video data acquired from the image data acquisition unit 321 or the compressed data acquired from the compression unit 322, and the variation in image quality over time of the video data or compressed data. and identify. The frame rate adjustment unit 325 determines the frame rate of the compressed data based on the specified image quality and the variation in image quality, and notifies the compression unit 322 of the frame rate. The frame rate adjustment unit 325 specifies the image quality acquired from the image data acquisition unit 321, for example, using one of the following methods.

（第１の画質特定方法）
フレームレート調整部３２５は、記憶部３１から取得したエリアの定常状態の画像に対応する基準画像データと圧縮部３２２から取得した圧縮データとの差分値に基づいて、動画像データ又は圧縮データの画質を特定する。フレームレート調整部３２５は、例えば平均二乗誤差（Mean Square Error：ＭＳＥ）を算出することにより基準画像データと圧縮データとの差分値を決定する。 (First image quality identification method)
The frame rate adjustment unit 325 determines the image quality of the moving image data or compressed data based on the difference value between the reference image data corresponding to the steady state image of the area acquired from the storage unit 31 and the compressed data acquired from the compression unit 322. Identify. The frame rate adjustment unit 325 determines the difference value between the reference image data and the compressed data by calculating, for example, a mean square error (MSE).

（第２の画質特定方法）
フレームレート調整部３２５は、記憶部３１から取得したエリアの定常状態の画像に対応する基準画像データと動画像データとの差分値に基づいて、動画像データ又は圧縮データの画質を特定してもよい。フレームレート調整部３２５は、例えば平均二乗誤差を算出することにより基準画像データと動画像データとの差分値を決定する。動画像データの画質と圧縮データの画質とは相関性を有するため、フレームレート調整部３２５は、このように基準画像データと動画像データとの差分値を用いることによっても動画像データ又は圧縮データの画質を特定することができる。 (Second image quality identification method)
The frame rate adjustment unit 325 may specify the image quality of the moving image data or compressed data based on the difference value between the reference image data corresponding to the steady state image of the area acquired from the storage unit 31 and the moving image data. good. The frame rate adjustment unit 325 determines the difference value between the reference image data and the moving image data, for example, by calculating the mean square error. Since the image quality of the moving image data and the image quality of the compressed data have a correlation, the frame rate adjustment unit 325 can adjust the image quality of the moving image data or the compressed data by using the difference value between the reference image data and the moving image data in this way. The image quality can be determined.

（第３の画質特定方法）
フレームレート調整部３２５は、画像データ取得部３２１から取得した動画像データのＰフレームデータ及びＢフレームデータの少なくともいずれかに含まれる動きベクトルの数に基づいて画質を特定する。フレームレート調整部３２５は、動きベクトルの数が多い場合、動画像データが雨天又は雪天時に撮影された画像に基づくデータであり、動きベクトルの数が少ない場合よりも画質が悪いということを特定する。 (Third image quality identification method)
The frame rate adjustment unit 325 specifies the image quality based on the number of motion vectors included in at least one of P frame data and B frame data of the moving image data acquired from the image data acquisition unit 321. The frame rate adjustment unit 325 specifies that when the number of motion vectors is large, the video image data is based on images taken in rainy or snowy weather, and the image quality is worse than when the number of motion vectors is small. do.

また、フレームレート調整部３２５は、例えば以下のいずれかの方法で画像データ取得部３２１から取得した動画像データの時間経過に伴う画質のばらつきを特定する。 Further, the frame rate adjustment unit 325 identifies variations in image quality over time in the moving image data acquired from the image data acquisition unit 321, for example, using one of the following methods.

（第１の画質のばらつきの特定方法）
フレームレート調整部３２５は、差分特定部３２４が特定した複数の差分の画像領域における分布の分散に基づいて、画質のばらつきを特定する。フレームレート調整部３２５は、例えば、差分特定部３２４から通知された差分の位置の分散に基づいて画質のばらつきを特定する。フレームレート調整部３２５は、分散が大きければ大きいほど画質のばらつきが大きいと判定する。 (First method for identifying variations in image quality)
The frame rate adjustment unit 325 identifies variations in image quality based on the distribution variance in the image area of the plurality of differences identified by the difference identifying unit 324. The frame rate adjustment unit 325 identifies variations in image quality, for example, based on the variance of the position of the difference notified from the difference identification unit 324. The frame rate adjustment unit 325 determines that the greater the variance, the greater the variation in image quality.

（第２の画質のばらつきの特定方法）
フレームレート調整部３２５は、動画像データのＰフレームデータ及びＢフレームデータの少なくともいずれかに含まれる動きベクトルに対応する画素の位置の時間経過に伴う変化に基づいて画質のばらつきを特定する。動きベクトルは、例えば雨粒や雪粒に基づく動きベクトルである。動きベクトルの位置が時間経過に伴って変化をする場合には、時間経過に伴って位置が変化する雨粒や雪粒の画像が動画像データに含まれている蓋然性が高いと考えられるので、フレームレート調整部３２５は、動きベクトルの変化を用いることにより、雨粒や雪粒に伴う画質のばらつきを特定することができる。 (Second method for identifying variations in image quality)
The frame rate adjustment unit 325 identifies variations in image quality based on changes over time in the positions of pixels corresponding to motion vectors included in at least one of P frame data and B frame data of moving image data. The motion vector is, for example, a motion vector based on raindrops or snowdrops. If the position of the motion vector changes over time, there is a high probability that the video data contains images of raindrops or snowdrops whose positions change over time. The rate adjustment unit 325 can identify variations in image quality due to raindrops or snowdrops by using changes in motion vectors.

フレームレート調整部３２５は、上記の特定方法により動画像データが示す画像領域の画質と時間経過に伴う画質のばらつきとを特定する。そして、動画像データが示す画像領域の画質が第１閾値未満であり、かつ、時間経過に伴う画質のばらつきが第２閾値以上の場合に、画質が第１閾値以上である場合、及び時間経過に伴う画質のばらつきが第２閾値未満である場合よりも、圧縮部３２２が生成する圧縮データのフレームレートを大きくする。 The frame rate adjustment unit 325 specifies the image quality of the image area indicated by the moving image data and the variation in image quality over time using the above-described specifying method. and when the image quality of the image area indicated by the video image data is less than a first threshold and the variation in image quality over time is equal to or higher than a second threshold, and when the image quality is equal to or higher than the first threshold; The frame rate of the compressed data generated by the compression unit 322 is set higher than that in the case where the variation in image quality accompanying this is less than the second threshold.

第１閾値は、例えばフレームレートを大きくする必要がない画質の最小値として実験によって予め定められた値である。第２閾値は、例えばフレームレートを大きくする必要がない画質のばらつきの最小値として実験によって予め定められた値である。第１閾値は、例えば、雨天時又は雪天時に撮影された動画像データの画質に基づいて定められた値である。第２閾値は、例えば、雨天時又は雪天時に生じ得る画質のばらつきの最小値に基づいて定められた値である。第１閾値及び第２閾値は、予め記憶部３１に記憶されていてもよい。 The first threshold is, for example, a value determined in advance through experiments as a minimum value for image quality that does not require an increase in the frame rate. The second threshold is, for example, a value determined in advance through experiments as the minimum value for variations in image quality that does not require an increase in the frame rate. The first threshold is, for example, a value determined based on the image quality of moving image data photographed during rainy or snowy weather. The second threshold is, for example, a value determined based on the minimum value of image quality variations that may occur during rainy or snowy weather. The first threshold value and the second threshold value may be stored in the storage unit 31 in advance.

［フレームレート調整部３２５の動作］
図２は、フレームレート調整部３２５の動作のフローチャートを示す図である。図２は、フレームレート調整部３２５が、上記の「第１の画質特定方法」と「第１の画質のばらつきの特定方法」とを用いてフレームレートを調整する動作を示す。 [Operation of frame rate adjustment unit 325]
FIG. 2 is a diagram showing a flowchart of the operation of the frame rate adjustment section 325. FIG. 2 shows an operation in which the frame rate adjustment unit 325 adjusts the frame rate using the above-described "first image quality identification method" and "first image quality variation identification method."

フレームレート調整部３２５は、記憶部３１から基準画像データを取得する（Ｓ１１）。フレームレート調整部３２５は、圧縮部３２２から圧縮データを取得する（Ｓ１２）。フレームレート調整部３２５は、取得した基準画像データと圧縮データとの画質差分値を算出する（Ｓ１３）。算出した画質差分値が閾値以上である場合（Ｓ１４のＹＥＳ）、フレームレート調整部３２５は、圧縮データが示す画像領域の画質が第１閾値未満と判定し、差分特定部３２４から基準画像データと圧縮データとの差分を取得する（Ｓ１５）。 The frame rate adjustment unit 325 acquires reference image data from the storage unit 31 (S11). The frame rate adjustment unit 325 acquires compressed data from the compression unit 322 (S12). The frame rate adjustment unit 325 calculates an image quality difference value between the acquired reference image data and compressed data (S13). If the calculated image quality difference value is greater than or equal to the threshold (YES in S14), the frame rate adjustment unit 325 determines that the image quality of the image area indicated by the compressed data is less than the first threshold, and the difference identification unit 324 determines that the image quality of the image area indicated by the compressed data is equal to or greater than the reference image data. The difference with the compressed data is acquired (S15).

続いて、フレームレート調整部３２５は、差分特定部３２４が特定した複数の差分の画像領域における分布の分散を算出する（Ｓ１６）。フレームレート調整部３２５は、算出した分散が閾値以上である場合（Ｓ１７のＹＥＳ）に、時間経過に伴う画質のばらつきが第２閾値以上であると判定し、分散が閾値未満である場合よりもフレームレートを大きくするように圧縮部３２２に通知する（Ｓ１８）。 Subsequently, the frame rate adjustment unit 325 calculates the variance of the distribution in the image area of the plurality of differences identified by the difference identification unit 324 (S16). If the calculated variance is equal to or greater than the threshold (YES in S17), the frame rate adjustment unit 325 determines that the variation in image quality over time is equal to or greater than the second threshold, and the variation in image quality over time is greater than the second threshold. The compression unit 322 is notified to increase the frame rate (S18).

一方、フレームレート調整部３２５は、算出した画質差分値が閾値未満である場合（Ｓ１４のＮＯ）、及び算出した分散が閾値未満である場合（Ｓ１７のＮＯ）、記憶部３１又は圧縮部３２２から、現在の時刻における圧縮データのフレームレートを取得する（Ｓ１９）。取得したフレームレートがフレームレートを調整していない値である基準フレームレートである場合（Ｓ２０のＮＯ）、フレームレート調整部３２５は処理を終了する。取得したフレームレートが基準フレームレートより大きい場合（Ｓ２０のＹＥＳ）、フレームレート調整部３２５は、フレームレートを小さくするように圧縮部３２２に通知する（Ｓ２１）。 On the other hand, if the calculated image quality difference value is less than the threshold value (NO in S14), and if the calculated variance is less than the threshold value (NO in S17), the frame rate adjustment unit 325 stores data from the storage unit 31 or the compression unit 322. , obtains the frame rate of compressed data at the current time (S19). If the acquired frame rate is a reference frame rate that is a value without adjusting the frame rate (NO in S20), the frame rate adjustment unit 325 ends the process. If the acquired frame rate is higher than the reference frame rate (YES in S20), the frame rate adjustment unit 325 notifies the compression unit 322 to reduce the frame rate (S21).

なお、以上の説明において、フレームレート調整部３２５は、圧縮データに基づいて特定された画質及び画質のばらつきを用いたが、動画像データに基づいて特定された画質及び画質のばらつきを用いてもよい。また、圧縮データに基づいて特定された画質及び画質のばらつきと、動画像データに基づいて特定された画質及び画質のばらつきとを組み合わせて用いてもよい。 Note that in the above explanation, the frame rate adjustment unit 325 uses the image quality and the variation in image quality specified based on the compressed data, but it is also possible to use the image quality and the variation in image quality specified based on the video data. good. Further, the image quality and the variation in image quality specified based on the compressed data and the image quality and the variation in image quality specified based on the moving image data may be used in combination.

図３は、フレームレート調整部３２５の動作のフローチャートを示す図である。図３には、フレームレート調整部３２５が、上記の「第２の画質特定方法」と「第２の画質のばらつきの特定方法」とを用いてフレームレートを調整する動作を示す。 FIG. 3 is a diagram showing a flowchart of the operation of the frame rate adjustment section 325. FIG. 3 shows an operation in which the frame rate adjustment unit 325 adjusts the frame rate using the "second image quality identification method" and "second image quality variation identification method" described above.

フレームレート調整部３２５は、画像データ取得部３２１から動画像データを取得する（Ｓ３１）。フレームレート調整部３２５は、取得した動画像データ又は圧縮データのＰフレームデータ及びＢフレームデータの少なくともいずれかに含まれる動きベクトルの数を算出する（Ｓ３２）。 The frame rate adjustment unit 325 acquires moving image data from the image data acquisition unit 321 (S31). The frame rate adjustment unit 325 calculates the number of motion vectors included in at least one of P frame data and B frame data of the acquired moving image data or compressed data (S32).

算出した動きベクトルの数が閾値以上である場合（Ｓ３３のＹＥＳ）、フレームレート調整部３２５は、動画像データが示す画像領域の画質が第１閾値未満と判定し、現在の時刻より前の時刻の動きベクトルに対応する画素の位置と現在の時刻の動きベクトルに対応する画素の位置との差分を算出する（Ｓ３４）。算出した画素の位置の差分が閾値以上である場合（Ｓ３５のＹＥＳ）、フレームレート調整部３２５は、時間経過に伴う画質のばらつきが第２閾値以上であると判定し、フレームレートを大きくするように圧縮部３２２に通知する（Ｓ１８）。 If the calculated number of motion vectors is equal to or greater than the threshold (YES in S33), the frame rate adjustment unit 325 determines that the image quality of the image area indicated by the video data is less than the first threshold, and The difference between the pixel position corresponding to the motion vector and the pixel position corresponding to the motion vector at the current time is calculated (S34). If the calculated pixel position difference is greater than or equal to the threshold (YES in S35), the frame rate adjustment unit 325 determines that the variation in image quality over time is greater than or equal to the second threshold, and increases the frame rate. The compression unit 322 is notified of this (S18).

算出した動きベクトルの数が閾値未満である場合（Ｓ３３のＮＯ）、及び算出した画素の位置の差分が閾値未満である場合（Ｓ３５のＮＯ）、フレームレート調整部３２５は、記憶部３１又は圧縮部３２２から、現在の時刻における圧縮データのフレームレートを取得する（Ｓ１９）。取得したフレームレートがフレームレートを調整していない値である基準フレームレートである場合（Ｓ２０のＮＯ）、フレームレート調整部３２５は処理を終了する。取得したフレームレートが基準フレームレートより大きい場合（Ｓ２０のＹＥＳ）、フレームレート調整部３２５は、フレームレートを小さくするように圧縮部３２２に通知する（Ｓ２１）。 If the calculated number of motion vectors is less than the threshold (NO in S33) and if the calculated difference between the pixel positions is less than the threshold (NO in S35), the frame rate adjustment unit 325 controls the storage unit 31 or the compression The frame rate of compressed data at the current time is acquired from the unit 322 (S19). If the acquired frame rate is a reference frame rate that is a value without adjusting the frame rate (NO in S20), the frame rate adjustment unit 325 ends the process. If the acquired frame rate is higher than the reference frame rate (YES in S20), the frame rate adjustment unit 325 notifies the compression unit 322 to reduce the frame rate (S21).

図４は、フレームレート調整部３２５がフレームレートを調整したことによる、画像処理装置３が表示装置２に出力する圧縮データのフレームレートを時系列で示す図である。図４の横軸は時刻を示す。時刻Ｔ１において、フレームレート調整部３２５は、動画像データが示す画像領域の画質が第１閾値未満であり、かつ、時間経過に伴う画質のばらつきが第２閾値以上であると判定する。そして、フレームレート調整部３２５は、圧縮データのフレームレートを１ｆｐｓ（frames per second）から２５ｆｐｓに変更するように圧縮部３２２に通知する。 FIG. 4 is a diagram showing, in chronological order, the frame rate of compressed data that the image processing device 3 outputs to the display device 2 after the frame rate adjustment unit 325 has adjusted the frame rate. The horizontal axis in FIG. 4 indicates time. At time T1, the frame rate adjustment unit 325 determines that the image quality of the image area indicated by the moving image data is less than the first threshold, and that the variation in image quality over time is greater than or equal to the second threshold. Then, the frame rate adjustment unit 325 notifies the compression unit 322 to change the frame rate of the compressed data from 1 fps (frames per second) to 25 fps.

時刻Ｔ２において、圧縮部３２２は、フレームレート調整部３２５からの通知に基づいて、フレームレートを２５ｆｐｓに変更した圧縮データを生成するとともに、データ出力部３２３に圧縮データを出力する。 At time T2, the compression unit 322 generates compressed data with the frame rate changed to 25 fps based on the notification from the frame rate adjustment unit 325, and outputs the compressed data to the data output unit 323.

時刻Ｔ３において、フレームレート調整部３２５は、動画像データが示す画像領域の画質が第１閾値以上、又は時間経過に伴う画質のばらつきが第２閾値未満であると判定する。さらに、フレームレート調整部３２５は、記憶部３１又は圧縮部３２２から現在の時刻における圧縮データのフレームレートを取得することにより、現在の時刻の圧縮データのフレームレートが基準フレームレートより大きいと判定する。そして、フレームレート調整部３２５は、フレームレートを小さくするように圧縮部３２２に通知する。 At time T3, the frame rate adjustment unit 325 determines that the image quality of the image area indicated by the moving image data is greater than or equal to the first threshold, or that the variation in image quality over time is less than the second threshold. Further, the frame rate adjustment unit 325 determines that the frame rate of the compressed data at the current time is higher than the reference frame rate by acquiring the frame rate of the compressed data at the current time from the storage unit 31 or the compression unit 322. . Then, the frame rate adjustment unit 325 notifies the compression unit 322 to reduce the frame rate.

時刻Ｔ４において、圧縮部は、フレームレート調整部３２５からの通知に基づいて、フレームレートを１ｆｐｓに変更した圧縮データを生成するとともに、データ出力部３２３に圧縮データを出力する。 At time T4, the compression unit generates compressed data with the frame rate changed to 1 fps based on the notification from the frame rate adjustment unit 325, and outputs the compressed data to the data output unit 323.

以上説明したように、画像処理装置３は、撮影装置１から受信した動画像データ又は圧縮データが示す画像領域の画質と時間経過に伴う画質のばらつきとに基づいて、動画像データを変換することにより生成する圧縮データのフレームレートを変更する。その結果、動画像データの画質が低下したと判定した場合はフレームレートを大きくした圧縮データを生成し、動画像データの画質が低下していないと判定した場合はフレームレートを小さくした圧縮データを生成する。したがって、画像処理装置３は、雨天又は雪天時のように、動画像データ又は圧縮データの画質が悪く画面全体でのちらつきが大きい場合であっても視認性が高い画像を表示装置２が表示できるようにしつつ、晴天時のように動画像データ又は圧縮データの画質が良い場合に、データ量をできるだけ少なくした圧縮データを表示装置２に出力することができる。 As explained above, the image processing device 3 converts the video data based on the image quality of the image area indicated by the video data or compressed data received from the imaging device 1 and the variation in image quality over time. Change the frame rate of compressed data generated by As a result, if it is determined that the image quality of the video data has deteriorated, compressed data with a higher frame rate is generated, and if it is determined that the image quality of the video data has not deteriorated, compressed data with a lower frame rate is generated. generate. Therefore, the image processing device 3 allows the display device 2 to display an image with high visibility even when the image quality of the video data or compressed data is poor and flickering is large across the screen, such as in rainy or snowy weather. When the image quality of the moving image data or compressed data is good, such as on a sunny day, compressed data with the amount of data as small as possible can be output to the display device 2.

［変形例］
図５は、変形例に係る画像処理装置３の構成を示す図である。画像処理装置３は、差分特定部３２４に代えて動き特定部３２６を有するという点で、図１に示した画像処理装置３と異なり、他の点で同じである。 [Modified example]
FIG. 5 is a diagram showing the configuration of an image processing device 3 according to a modification. The image processing device 3 differs from the image processing device 3 shown in FIG. 1 in that it includes a motion specifying section 326 instead of the difference specifying section 324, but is the same in other respects.

動き特定部３２６は、画像データ取得部３２１から受信した動画像データが示す画像領域に含まれる複数の領域それぞれにおいて動く物体を検出し、検出した動く物体の動きベクトルを特定する。動き特定部３２６は、特定した動きベクトルをフレームレート調整部３２５に通知する。 The motion identifying unit 326 detects a moving object in each of a plurality of areas included in the image area indicated by the moving image data received from the image data acquiring unit 321, and identifies a motion vector of the detected moving object. The motion identification unit 326 notifies the frame rate adjustment unit 325 of the identified motion vector.

フレームレート調整部３２５は、動き特定部３２６が動画像データの複数の領域それぞれに同じ向きの動きベクトルを検出した場合に、複数の領域それぞれに同じ向きの動きベクトルを検出していない場合よりもフレームレートを大きくする。動画像データに含まれている複数の雨粒又は雪粒の画像が時間の経過に伴って移動する向きは概ね同じである。したがって、フレームレート調整部３２５がこのように動作することで、動画像データが雨天時又は雪天時に撮影されて作成されている場合に、圧縮データのフレームレートを大きくすることができる。 The frame rate adjustment unit 325 determines that when the motion identification unit 326 detects motion vectors in the same direction in each of a plurality of regions of the video data, the frame rate adjustment unit 325 Increase frame rate. A plurality of images of raindrops or snowdrops included in the video image data move in approximately the same direction over time. Therefore, by operating the frame rate adjustment unit 325 in this manner, it is possible to increase the frame rate of the compressed data when the moving image data is created by being photographed during rainy or snowy weather.

図６は、変形例に係るフレームレート調整部３２５の動作のフローチャートを示す図である。フレームレート調整部３２５は、算出した画質差分値が第１閾値以上である場合（Ｓ１４のＹＥＳ）、動き特定部３２６が特定した画像領域に含まれる複数の領域それぞれにおける動きベクトルを取得する（Ｓ４１）。フレームレート調整部３２５は、取得した動きベクトルそれぞれが同じ向きであると判定した場合（Ｓ４２のＹＥＳ）、圧縮データのフレームレートを大きくするように圧縮部３２２に通知する（Ｓ１８）。 FIG. 6 is a diagram showing a flowchart of the operation of the frame rate adjustment unit 325 according to a modification. If the calculated image quality difference value is greater than or equal to the first threshold (YES in S14), the frame rate adjustment unit 325 acquires motion vectors in each of the plurality of regions included in the image region identified by the motion identification unit 326 (S41). ). If the frame rate adjustment unit 325 determines that the acquired motion vectors are in the same direction (YES in S42), the frame rate adjustment unit 325 notifies the compression unit 322 to increase the frame rate of the compressed data (S18).

このように動作することで、例えば雨天時の撮影の場合、動画像データが示す画像領域に含まれる複数の領域のそれぞれに雨粒が撮影されることにより、動き特定部３２６は、複数の領域のそれぞれから、雨粒の動きベクトルを特定する。そして、フレームレート調整部３２５は、取得した複数の領域の動きベクトルのそれぞれが、同じ向き（例えば画像領域の上から下）であると判定することにより、例えば雨粒と判定できる。その結果、フレームレート調整部３２５は、圧縮データのフレームレートを大きくするように圧縮部３２２に通知する。 By operating in this way, for example, in the case of photographing in a rainy day, raindrops are photographed in each of a plurality of regions included in the image region indicated by the moving image data, and the motion identification unit 326 can detect the plurality of regions. From each, identify the motion vector of the raindrop. Then, the frame rate adjustment unit 325 can determine that each of the acquired motion vectors of the plurality of regions is in the same direction (for example, from top to bottom of the image region), thereby determining that the motion vector is, for example, a raindrop. As a result, the frame rate adjustment unit 325 notifies the compression unit 322 to increase the frame rate of the compressed data.

一方、例えば晴天時の撮影において人が撮影された場合、動き特定部３２６は、被写体である人の動きベクトルを特定するとともに、フレームレート調整部３２５に動きベクトルを通知する。フレームレート調整部３２５は、動き特定部３２６から取得した動きベクトルが、動画像データが示す画像領域に含まれる複数の領域のうち、一部の領域にのみ検出されていることに基づいて、例えば雨粒でないと判定できる。その結果、フレームレート調整部３２５は、圧縮データのフレームレートを基準フレームレートにするように圧縮部３２２に通知する。 On the other hand, for example, when a person is photographed in a sunny day, the motion identifying unit 326 identifies the motion vector of the person, who is the subject, and notifies the frame rate adjustment unit 325 of the motion vector. Based on the fact that the motion vector acquired from the motion identification section 326 is detected in only some of the regions included in the image region indicated by the video data, the frame rate adjustment section 325 determines, for example, It can be determined that it is not a raindrop. As a result, the frame rate adjustment unit 325 notifies the compression unit 322 to set the frame rate of the compressed data to the reference frame rate.

［本実施形態に係る画像処理装置３の効果］
以上のとおり、画像処理装置３においては、撮影装置１から動画像データを取得する画像データ取得部３２１と、取得した動画像データを圧縮することにより圧縮データを生成する圧縮部３２２と、圧縮データのフレームレートを調整するフレームレート調整部３２５とを有する。そして、フレームレート調整部３２５は、取得した動画像データ又は圧縮データが示す画像領域の画質と時間経過に伴う画質のばらつきとに基づいて圧縮データのフレームレートを決定し圧縮部３２２に通知する。 [Effects of the image processing device 3 according to the present embodiment]
As described above, the image processing device 3 includes the image data acquisition unit 321 that acquires moving image data from the imaging device 1, the compression unit 322 that generates compressed data by compressing the acquired moving image data, and the compressed data It has a frame rate adjustment section 325 that adjusts the frame rate of. Then, the frame rate adjustment unit 325 determines the frame rate of the compressed data based on the image quality of the image area indicated by the acquired moving image data or compressed data and the variation in image quality over time, and notifies the compression unit 322 of the frame rate.

したがって、画像処理装置３は、撮影装置１から取得した動画像データに対応する画像の画質が低下したと判定する場合にフレームレートを上げることで画質の低下を抑制する。一方、動画像データに対応する画像の画質が低下していないと判定する場合は、フレームレートを下げることで表示装置２に送信するデータ量を削減する。その結果、画像処理装置３は、できるだけデータを増やすことなく、画質の低下を抑制した圧縮データを表示装置２に送信することができる。 Therefore, when the image processing device 3 determines that the image quality of the image corresponding to the moving image data acquired from the photographing device 1 has deteriorated, the image processing device 3 suppresses the deterioration of the image quality by increasing the frame rate. On the other hand, if it is determined that the image quality of the image corresponding to the moving image data has not deteriorated, the amount of data transmitted to the display device 2 is reduced by lowering the frame rate. As a result, the image processing device 3 can transmit compressed data that suppresses deterioration in image quality to the display device 2 without increasing the amount of data as much as possible.

なお、以上の説明においては、画像処理装置３が雨天又は雪天の場合にフレームレートを大きくする場合を例示したが、画像処理装置３がフレームレートを大きくする要因は天候に限らない。例えば、動画像データに人や動物等のように動く物体が検出された場合においても本発明を提供することが可能である。 In addition, in the above description, the case where the image processing device 3 increases the frame rate in rainy or snowy weather is exemplified, but the reason why the image processing device 3 increases the frame rate is not limited to the weather. For example, the present invention can be provided even when a moving object such as a person or an animal is detected in video data.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist. be. For example, all or part of the device can be functionally or physically distributed and integrated into arbitrary units. In addition, new embodiments created by arbitrary combinations of multiple embodiments are also included in the embodiments of the present invention. The effects of the new embodiment resulting from the combination have the effects of the original embodiment.

１撮影装置
２表示装置
３画像処理装置
３１記憶部
３２制御部
３２１画像データ取得部
３２２圧縮部
３２３データ出力部
３２４差分特定部
３２５フレームレート調整部
３２６動き特定部 1 Photographing device 2 Display device 3 Image processing device 31 Storage section 32 Control section 321 Image data acquisition section 322 Compression section 323 Data output section 324 Difference identification section 325 Frame rate adjustment section 326 Motion identification section

Claims

an image data acquisition unit that acquires moving image data from a photographing device that photographs a predetermined area;
a compression unit that compresses the video image data to generate compressed data;
If the image quality of the image area indicated by the moving image data or the compressed data is less than a first threshold, and the variation in the image quality over time is greater than or equal to a second threshold, the image quality is greater than or equal to the first threshold. a frame rate adjustment unit that increases the frame rate of the compressed data generated by the compression unit compared to when the variation in image quality over time is less than a second threshold;
An image processing device having:

further comprising a storage unit that stores reference image data corresponding to a steady state image of the area,
The frame rate adjustment unit specifies the image quality based on a difference value between the reference image data and the moving image data or the compressed data.
The image processing device according to claim 1.

a storage unit that stores reference image data corresponding to a steady state image of the area;
a difference identifying unit that identifies a plurality of differences between reference image data corresponding to the image area and the moving image data or the compressed data;
It further has
The frame rate adjustment unit is configured to increase the frame rate when the variance of the distribution of the plurality of differences identified by the difference identification unit in the image area is greater than or equal to a threshold value than when the variance is less than the threshold value. do,
The image processing device according to claim 1.

The frame rate adjustment unit specifies the image quality based on the number of motion vectors included in at least one of P frame data and B frame data of the moving image data or the compressed data, and specifies the image quality based on the number of motion vectors included in at least one of P frame data and B frame data of the moving image data or the compressed data, and identifying the variation based on changes over time in the position of;
The image processing device according to any one of claims 1 to 3.

further comprising a motion identifying unit that detects a moving object in each of a plurality of regions included in the image region and identifies a motion vector of the detected moving object,
The frame rate adjustment unit detects the motion vector in the same direction in each of the plurality of regions when the motion identification unit detects the motion vector in the same direction in each of the plurality of regions of the video data. make the frame rate larger than it would otherwise be;
The image processing device according to any one of claims 1 to 4.

computer,
an image data acquisition unit that acquires moving image data from a photographing device that photographs a predetermined area;
a compression unit that compresses the moving image data to generate compressed data; and the image quality of the image area indicated by the moving image data or the compressed data is less than a first threshold, and the image quality varies over time. When the image quality is equal to or greater than the second threshold, the compressed data frame generated by the compression unit is more effective than when the image quality is equal to or greater than the first threshold and when the variation in the image quality over time is less than the second threshold. Frame rate adjustment section that increases the rate,
A program to function as