JP7207014B2

JP7207014B2 - Display control device, display control program and inspection system

Info

Publication number: JP7207014B2
Application number: JP2019036594A
Authority: JP
Inventors: 隆也角森
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2019-02-28
Filing date: 2019-02-28
Publication date: 2023-01-18
Anticipated expiration: 2039-02-28
Also published as: JP2020141320A

Description

本発明は、表示制御装置、表示制御プログラム及び検品システムに関する。 The present invention relates to a display control device, a display control program, and an inspection system.

従来より、物流センタ等における検品シーンでは、検査者による目視検査が行われている。これは、検査対象となる物品が多岐にわたるうえ、日々変化するため、機械学習等による画像認識の適用が困難だからである。 Conventionally, visual inspection is performed by an inspector in an inspection scene in a distribution center or the like. This is because the objects to be inspected are diverse and change daily, making it difficult to apply image recognition through machine learning or the like.

特開２０１１－２０１６６３号公報Japanese Unexamined Patent Application Publication No. 2011-201663

一方で、物流センタ等における検品シーンの場合、物品を搬送し検品領域に載置することで、検査者による検査が可能な状態になるまでに、一定程度の時間を要する。このため、検査者には、その間の待機時間が発生する。 On the other hand, in the case of an inspection scene in a distribution center or the like, it takes a certain amount of time until an inspector can perform an inspection by transporting an item and placing it in the inspection area. For this reason, the inspector has to wait for a while.

これに対して、検品作業における検査者の待機時間を削減することで、より効率的な検査を実現することができると考えられる。 On the other hand, it is considered that more efficient inspection can be realized by reducing the waiting time of the inspector in the inspection work.

一つの側面では、物品を検査する際の検査効率を向上させることを目的としている。 One aspect aims to improve inspection efficiency when inspecting articles.

一態様によれば、表示制御装置は、
各検品領域を撮影した各動画像を取得する動画像取得部と、
取得された各動画像に含まれるフレーム画像から今回抽出されたフレーム画像を、基準画像及び前回抽出されたフレーム画像と比較することで、前記各検品領域の現在の状態を判定する状態判定部と、
現在の状態が物品の検査が可能な状態にあると判定された検品領域について、対応するフレーム画像を、表示画面に表示する表示制御部とを有する。 According to one aspect, the display controller includes:
a moving image acquisition unit that acquires each moving image obtained by photographing each inspection area;
a state determination unit that determines the current state of each inspection area by comparing the frame image extracted this time from the frame images included in each acquired moving image with the reference image and the frame image extracted last time; ,
a display control unit for displaying, on a display screen, a frame image corresponding to an inspection area determined to be in a state where inspection of the article is possible at present.

物品を検査する際の検査効率を向上させることができる。 Inspection efficiency can be improved when inspecting articles.

第１の作業領域に配置された検品システムのシステム構成の一例を示す図である。It is a figure which shows an example of the system configuration|structure of the inspection system arrange|positioned at the 1st work area. 第２の作業領域に配置された検品システムのシステム構成の一例を示す図である。It is a figure which shows an example of the system configuration|structure of the inspection system arrange|positioned at the 2nd work area. 待機時間の削減例を示す図である。It is a figure which shows the reduction example of waiting time. 表示制御装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of a display control apparatus. 表示制御装置の機能構成の一例を示す図である。It is a figure showing an example of functional composition of a display control. 表示制御装置の各部の処理の具体例を示す第１の図である。FIG. 4 is a first diagram showing a specific example of processing of each unit of the display control device; 表示制御装置の各部の処理の具体例を示す第２の図である。FIG. 10 is a second diagram showing a specific example of processing of each unit of the display control device; 表示制御装置の各部の処理の具体例を示す第３の図である。FIG. 9 is a third diagram showing a specific example of processing of each unit of the display control device; 表示制御処理の流れを示すフローチャートである。4 is a flowchart showing the flow of display control processing; 表示画面の具体例を示す図である。It is a figure which shows the example of a display screen.

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。 Each embodiment will be described below with reference to the accompanying drawings. In the present specification and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, thereby omitting redundant description.

［第１の実施形態］
＜検品システムのシステム構成＞
はじめに、物品を検査する検品システムのシステム構成について説明する。ここでは、物流センタにおいて、仕分け方法の異なる２種類の作業領域にそれぞれ配置された検品システムを例に挙げて説明する。 [First Embodiment]
<System configuration of inspection system>
First, the system configuration of an inspection system for inspecting articles will be described. Here, in a distribution center, an inspection system arranged in two types of work areas with different sorting methods will be described as an example.

（１）第１の作業領域に配置された検品システム
図１は、第１の作業領域に配置された検品システムのシステム構成の一例を示す図である。図１に示すように、第１の作業領域には、搬送装置１１１、１２１、１３１と、搬送ボックス１１２、１２２、１３２と、商品棚１１４、１２４、１３４とが配置されている。 (1) Inspection System Arranged in First Work Area FIG. 1 is a diagram showing an example of the system configuration of an inspection system arranged in the first work area. As shown in FIG. 1, transport devices 111, 121 and 131, transport boxes 112, 122 and 132, and product shelves 114, 124 and 134 are arranged in the first work area.

第１の作業領域の場合、搬送装置１１１上を、搬送ボックス１１２が搬送と停止とを繰り返しながら進むことで、商品棚１１４にある物品（商品Ａ、Ｂ、Ｃ、Ｄのいずれか１つまたは複数の物品）が、順次、搬送ボックス１１２に収容されていく。 In the case of the first work area, the transport box 112 advances on the transport device 111 while repeatedly transporting and stopping, so that the goods on the product shelf 114 (any one of the products A, B, C, and D or (a plurality of items) are sequentially accommodated in the transport box 112 .

同様に、搬送装置１２１、１３１上を搬送ボックス１２２、１３２が搬送と停止とを繰り返しながら進むことで、商品棚１２４、１３４にある物品（商品Ａ、Ｂ、Ｃ、Ｄのいずれか１つまたは複数の物品）が、順次、搬送ボックス１２２、１３２に収容されていく。 Similarly, as the transport boxes 122 and 132 advance on the transport devices 121 and 131 while repeatedly transporting and stopping, the articles on the product shelves 124 and 134 (any one of the products A, B, C, and D or (a plurality of items) are sequentially accommodated in the transport boxes 122 and 132 .

図１に示すように、第１の作業領域に配置された検品システム１００は、撮像装置１１３、１２３、１３３と、表示制御装置１４０と、表示装置１５０とを有する。 As shown in FIG. 1 , the inspection system 100 arranged in the first work area has imaging devices 113 , 123 , 133 , a display control device 140 and a display device 150 .

撮像装置１１３は、搬送ボックス１１２が搬送された場合に連動して移動し、搬送ボックス１１２内を撮影する。つまり、搬送ボックス１１２内は、収容された物品を検査する検品領域（“検品領域Ｉ”）として機能する。撮像装置１１３は、検品領域Ｉを撮影することで得られる動画像を、表示制御装置１４０に送信する。 The imaging device 113 moves in conjunction with the transportation of the transportation box 112 and photographs the inside of the transportation box 112 . In other words, the interior of the transport box 112 functions as an inspection area (“inspection area I”) for inspecting the stored articles. The imaging device 113 transmits a moving image obtained by shooting the inspection area I to the display control device 140 .

同様に、撮像装置１２３、１３３は、搬送ボックス１２２、１３２が搬送された場合に連動して移動し、搬送ボックス１２２、１３２内を撮影する。つまり、搬送ボックス１２２、１３２内は、収容された物品を検査する検品領域（“検品領域ＩＩ”または“検品領域ＩＩＩ”）として機能する。撮像装置１２３、１３３は、検品領域ＩＩ、検品領域ＩＩＩを撮影することで得られる動画像を、表示制御装置１４０に送信する。 Similarly, the imaging devices 123 and 133 move together with the transport boxes 122 and 132 when they are transported, and photograph the insides of the transport boxes 122 and 132 . That is, the transport boxes 122 and 132 function as an inspection area (“inspection area II” or “inspection area III”) for inspecting the stored articles. The imaging devices 123 and 133 transmit moving images obtained by photographing the inspection area II and the inspection area III to the display control device 140 .

表示制御装置１４０は、撮像装置１１３、１２３、１３３から送信された動画像に含まれるフレーム画像を処理し、検品領域Ｉ、ＩＩ、ＩＩＩの状態を判定する。また、表示制御装置１４０は、検品領域Ｉが、物品の検査が可能な状態にあると判定した場合、対応するフレーム画像を、表示装置１５０に送信する。同様に、表示制御装置１４０は、検品領域ＩＩが、物品の検査が可能な状態にあると判定した場合、対応するフレーム画像を、表示装置１５０に送信する。同様に、表示制御装置１４０は、検品領域ＩＩＩが、物品の検査が可能な状態にあると判定した場合、対応するフレーム画像を、表示装置１５０に送信する。 The display control device 140 processes the frame images included in the moving images transmitted from the imaging devices 113, 123, and 133, and determines the states of the inspection areas I, II, and III. Further, when the display control device 140 determines that the inspection area I is in a state in which the article can be inspected, the display control device 140 transmits the corresponding frame image to the display device 150 . Similarly, when the display control device 140 determines that the inspection area II is ready for inspection of the article, the display control device 140 transmits the corresponding frame image to the display device 150 . Similarly, the display control device 140 transmits the corresponding frame image to the display device 150 when it determines that the inspection area III is ready for inspection of the article.

更に、表示制御装置１４０は、表示装置１５０にフレーム画像を送信したことに応じて、表示装置１５０より、検品結果を受け取り、表示装置１５０に送信したフレーム画像と対応付けて出力する。 Furthermore, in response to transmitting the frame image to the display device 150, the display control device 140 receives the inspection result from the display device 150, and outputs it in association with the frame image transmitted to the display device 150. FIG.

表示装置１５０は、表示制御装置１４０より送信されたフレーム画像を、順次、表示する。図１の例は、表示装置１５０の表示画面が４つの分割画面に分割されている場合を示している。表示装置１５０は、表示制御装置１４０より送信されたフレーム画像を、いずれかの表示画面に表示する。 The display device 150 sequentially displays the frame images transmitted from the display control device 140 . The example of FIG. 1 shows a case where the display screen of the display device 150 is divided into four divided screens. The display device 150 displays the frame image transmitted from the display control device 140 on one of the display screens.

このように、複数の検品領域Ｉ～ＩＩＩのフレーム画像を１つの表示装置１５０に集約して表示し、かつ、物品の検査が可能な状態にあると判定されたフレーム画像のみを、順次、表示することで、検査者１６０は効率的に物品の検査を行うことができる。 In this way, the frame images of a plurality of inspection areas I to III are collectively displayed on the single display device 150, and only the frame images determined to be ready for inspection of the article are sequentially displayed. By doing so, the inspector 160 can efficiently inspect the article.

また、表示装置１５０は、各分割画面にフレーム画像を表示したことに応じて、検査者１６０が、順次、入力した判定結果を受け付ける。表示装置１５０は、受け付けた判定結果を、各種情報と対応付けて、検品結果として表示制御装置１４０に送信する。 In addition, the display device 150 accepts the determination results sequentially input by the inspector 160 in response to displaying the frame images on each split screen. The display device 150 associates the received determination result with various types of information, and transmits the inspection result to the display control device 140 .

（２）第２の作業領域に配置された検品システム
図２は、第２の作業領域に配置された検品システムのシステム構成の一例を示す図である。図２に示すように、第２の作業領域には、搬送装置２１１と、商品ボックス２１２＿１、２１２＿２と、出荷棚２１３とが配置されている。 (2) Inspection System Arranged in Second Work Area FIG. 2 is a diagram showing an example of the system configuration of an inspection system arranged in the second work area. As shown in FIG. 2, a carrier device 211, product boxes 212_1 and 212_2, and a shipping shelf 213 are arranged in the second work area.

第２の作業領域の場合、搬送装置２１１上を商品ボックス２１２＿１、２１２＿２が、搬送と停止を繰り返しながら進むことで、出荷棚２１３の出荷ボックス２１３＿１～２１３＿３には、物品（商品Ａ、商品Ｂの一方または両方の物品）が、順次、収容されていく。 In the case of the second work area, the product boxes 212_1 and 212_2 advance on the transport device 211 while being repeatedly transported and stopped. one or both items) are stored sequentially.

図２に示すように、第２の作業領域に配置された検品システム２００は、撮像装置２１４＿１～２１４＿３と、表示制御装置２４０と、表示装置２５０とを有する。 As shown in FIG. 2, the inspection system 200 arranged in the second work area has imaging devices 214_1 to 214_3, a display control device 240, and a display device 250. FIG.

撮像装置２１４＿１は、出荷ボックス２１３＿１内を撮影する。つまり、出荷ボックス２１３＿１内は、収容された物品を検査する検品領域（“検品領域Ｉ”）として機能する。撮像装置２１４＿１は、検品領域Ｉを撮影することで得られる動画像を、表示制御装置２４０に送信する。 The imaging device 214_1 photographs the inside of the shipping box 213_1. That is, the inside of the shipping box 213_1 functions as an inspection area (“inspection area I”) for inspecting the stored articles. The imaging device 214_1 transmits a moving image obtained by photographing the inspection area I to the display control device 240 .

同様に、撮像装置２１４＿２、２１４＿３は、出荷ボックス２１３＿２、２１３＿３内を撮影する。つまり、出荷ボックス２１３＿２、２１３＿３内は、収容された物品を検査する検品領域（“検品領域ＩＩ”または“検品領域ＩＩＩ”）として機能する。撮像装置２１４＿２、２１４＿３は、検品領域ＩＩ、検品領域ＩＩＩを撮影することで得られる動画像を、表示制御装置２４０に送信する。 Similarly, imaging devices 214_2 and 214_3 capture images of the inside of shipping boxes 213_2 and 213_3. In other words, the insides of the shipping boxes 213_2 and 213_3 function as inspection areas (“inspection area II” or “inspection area III”) for inspecting the stored articles. The imaging devices 214_2 and 214_3 transmit moving images obtained by photographing the inspection area II and the inspection area III to the display control device 240 .

なお、表示制御装置２４０及び表示装置２５０は、表示制御装置１４０及び表示装置１５０と同様の処理を行うため、ここでは説明を省略する。 Note that the display control device 240 and the display device 250 perform the same processing as the display control device 140 and the display device 150, so description thereof will be omitted here.

＜待機時間の削減例＞
次に、検品システム１００、２００による、検品作業時の検査者の待機時間の削減例について説明する。図３は、待機時間の削減例を示す図である。図１及び図２で説明したとおり、検品システム１００、２００では、検査者１６０、２６０が、検品領域Ｉ～ＩＩＩに載置された物品について検査を行う。 <Example of waiting time reduction>
Next, an example of reducing the waiting time of an inspector during inspection work by the inspection systems 100 and 200 will be described. FIG. 3 is a diagram illustrating an example of reduction in waiting time. 1 and 2, in inspection systems 100 and 200, inspectors 160 and 260 inspect articles placed in inspection areas I to III.

ここで、検品領域Ｉ～ＩＩＩにおいては、それぞれ、タイムテーブル３１１、３２１、３３１に示す処理順序で、作業が行われる。 Here, in the inspection areas I to III, work is performed in the processing order shown in timetables 311, 321, and 331, respectively.

なお、タイムテーブル３１１における、“待機”処理とは、検品領域Ｉにおける作業のうち、検品領域Ｉに物品を載置するための搬送処理である。検品システム１００の場合、待機処理は、搬送ボックス１１２を、商品棚１１４のいずれかの商品ボックスの位置まで搬送する処理を指す。また、検品システム２００の場合、待機処理は、商品ボックス２１２＿１、２１２＿２のいずれかを、出荷棚２１３の出荷ボックス２１３＿１～２１３＿３のいずれかの位置まで搬送する処理を指す。 The “standby” process in the time table 311 is the transport process for placing an article in the inspection area I among the operations in the inspection area I. FIG. In the case of the inspection system 100 , the standby process refers to the process of transporting the transport box 112 to the position of any product box on the product shelf 114 . In the case of the inspection system 200, the standby process refers to the process of transporting one of the product boxes 212_1 and 212_2 to one of the shipping boxes 213_1 to 213_3 on the shipping shelf 213. FIG.

また、タイムテーブル３１１における、“準備”処理とは、検品領域Ｉにおける作業のうち、検品領域Ｉに物品を載置するピッキング処理である。検品システム１００の場合、準備処理は、例えば、商品棚１１４の商品Ａを、搬送ボックス１１２内の検品領域Ｉに載置するピッキング処理を指す。また、検品システム２００の場合、準備処理は、例えば、商品ボックス２１２＿１の商品Ａを、出荷ボックス２１３＿１内に検品領域Ｉに載置するピッキング処理を指す。 The “preparation” process in the timetable 311 is the picking process of placing an article in the inspection area I among the operations in the inspection area I. FIG. In the case of the inspection system 100 , the preparation process refers to, for example, the picking process of placing the product A on the product shelf 114 in the inspection area I within the transport box 112 . Further, in the case of the inspection system 200, the preparation process refers to, for example, the picking process of placing the product A in the product box 212_1 in the inspection area I within the shipping box 213_1.

なお、タイムテーブル３２１、３３１における、“待機”処理、“準備”処理も同様である。 The same applies to the "standby" process and the "preparation" process in the timetables 321 and 331, respectively.

このように、検品領域Ｉ～ＩＩＩにおいて行われる作業には、“待機処理”と“準備処理”とが含まれる。このため、検品領域Ｉ～ＩＩＩそれぞれにおける物品の検査を、検査者３１０、３２０、３３０が別々に担当したとすると、検査者３１０、３２０、３３０は、１の物品の検査を完了してから、次の物品の検査を開始するまで、一定時間、待機することになる。 Thus, the work performed in the inspection areas I to III includes "standby processing" and "preparation processing". Therefore, if the inspectors 310, 320, and 330 are in charge of inspecting the articles in each of the inspection areas I to III separately, the inspectors 310, 320, and 330, after completing the inspection of one article, It will wait for a certain period of time before starting the inspection of the next article.

これに対して、検品システム１００、２００の場合、検品領域Ｉ～ＩＩＩのフレーム画像を１つの表示装置１５０に集約して表示し、１の検査者１６０、２６０が、物品の検査を行うため、待機時間を削減することができる（タイムテーブル３００参照）。また、表示装置１５０には、物品の検査が可能な状態にあると判定されたフレーム画像のみが表示されるため、検査者は、表示と同時に検査を行うことができ、待機時間を削減することができる。このように、検査者１６０、２６０は、効率的に検査を行うことができる。 On the other hand, in the case of the inspection systems 100 and 200, the frame images of inspection areas I to III are collectively displayed on one display device 150, and one inspector 160 and 260 inspects the article. Waiting time can be reduced (see timetable 300). In addition, since the display device 150 displays only the frame images determined to be ready for inspection of the article, the inspector can perform the inspection at the same time as the display, thereby reducing the waiting time. can be done. In this way, inspectors 160 and 260 can perform inspections efficiently.

＜表示制御装置のハードウェア構成＞
図４は、表示制御装置のハードウェア構成の一例を示す図である。図４に示すように、表示制御装置１４０、２４０は、ＣＰＵ（Central Processing Unit）４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３を有する。ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３は、いわゆるコンピュータを形成する。 <Hardware Configuration of Display Control Device>
FIG. 4 is a diagram illustrating an example of a hardware configuration of a display control device; As shown in FIG. 4 , the display control devices 140 and 240 have a CPU (Central Processing Unit) 401 , a ROM (Read Only Memory) 402 and a RAM (Random Access Memory) 403 . The CPU 401, ROM 402, and RAM 403 form a so-called computer.

また、表示制御装置１４０、２４０は、補助記憶部４０４、操作部４０５、Ｉ／Ｆ（Interface）部４０６、ドライブ部４０７を有する。なお、表示制御装置１４０、２４０の各ハードウェアは、バス４０８を介して相互に接続されている。 The display control devices 140 and 240 also have an auxiliary storage section 404 , an operation section 405 , an I/F (Interface) section 406 and a drive section 407 . Hardware of the display control devices 140 and 240 are interconnected via a bus 408 .

ＣＰＵ４０１は、補助記憶部４０４にインストールされている各種プログラム（例えば、後述する表示制御プログラム等）を実行する演算デバイスである。 The CPU 401 is an arithmetic device that executes various programs (for example, a display control program to be described later) installed in the auxiliary storage unit 404 .

ＲＯＭ４０２は、不揮発性メモリである。ＲＯＭ４０２は、補助記憶部４０４にインストールされている各種プログラムをＣＰＵ４０１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ４０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。 ROM 402 is a non-volatile memory. The ROM 402 functions as a main storage device that stores various programs, data, etc. necessary for the CPU 401 to execute various programs installed in the auxiliary storage unit 404 . Specifically, the ROM 402 functions as a main storage device that stores boot programs such as BIOS (Basic Input/Output System) and EFI (Extensible Firmware Interface).

ＲＡＭ４０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ４０３は、補助記憶部４０４にインストールされている各種プログラムがＣＰＵ４０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。 A RAM 403 is a volatile memory such as a DRAM (Dynamic Random Access Memory) or an SRAM (Static Random Access Memory). The RAM 403 functions as a main storage device that provides a work area that is expanded when various programs installed in the auxiliary storage unit 404 are executed by the CPU 401 .

補助記憶部４０４は、各種プログラムや、各種プログラムが実行されることで取得される情報を格納する補助記憶デバイスである。 The auxiliary storage unit 404 is an auxiliary storage device that stores various programs and information acquired by executing various programs.

操作部４０５は、表示制御装置１４０、２４０の管理者が表示制御装置１４０、２４０に対して各種指示を入力する入力デバイスである。Ｉ／Ｆ部４０６は、表示装置１５０、２５０と接続され、表示装置１５０、２５０との間で通信を行うための通信デバイスである。 The operation unit 405 is an input device through which an administrator of the display control devices 140 and 240 inputs various instructions to the display control devices 140 and 240 . The I/F unit 406 is a communication device that is connected to the display devices 150 and 250 and communicates with the display devices 150 and 250 .

ドライブ部４０７は記録媒体４１０をセットするためのデバイスである。ここでいう記録媒体４１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体４１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。 A drive unit 407 is a device for setting a recording medium 410 . The recording medium 410 here includes media for optically, electrically or magnetically recording information such as CD-ROMs, flexible disks, and magneto-optical disks. The recording medium 410 may also include a semiconductor memory or the like that electrically records information, such as a ROM or a flash memory.

なお、補助記憶部４０４にインストールされる各種プログラムは、例えば、配布された記録媒体４１０がドライブ部４０７にセットされ、該記録媒体４１０に記録された各種プログラムがドライブ部４０７により読み出されることでインストールされる。あるいは、補助記憶部４０４にインストールされる各種プログラムは、不図示のネットワークよりダウンロードされることでインストールされてもよい。 Various programs to be installed in the auxiliary storage unit 404 are installed by, for example, setting the distributed recording medium 410 in the drive unit 407 and reading the various programs recorded in the recording medium 410 by the drive unit 407. be done. Alternatively, various programs installed in the auxiliary storage unit 404 may be installed by being downloaded from a network (not shown).

＜表示制御装置の機能構成＞
次に、表示制御装置１４０、２４０の機能構成について説明する。図５は、表示制御装置の機能構成の一例を示す図である。上述したとおり、表示制御装置１４０、２４０には、表示制御プログラムがインストールされている。表示制御装置１４０、２４０は、当該表示制御プログラムを実行することで、動画像取得部５１０、フレーム画像抽出部５２０、状態判定部５３０、表示制御部５４０、検品結果受付部５５０、検品結果出力部５６０として機能する。 <Functional Configuration of Display Control Device>
Next, functional configurations of the display control devices 140 and 240 will be described. FIG. 5 is a diagram illustrating an example of a functional configuration of a display control device; As described above, the display control programs are installed in the display control devices 140 and 240 . By executing the display control program, the display control devices 140 and 240 have a moving image acquisition unit 510, a frame image extraction unit 520, a state determination unit 530, a display control unit 540, an inspection result reception unit 550, and an inspection result output unit. 560.

動画像取得部５１０は、撮像装置１１３、１２３、１３３（または撮像装置２１４＿１～２１４＿３）から送信された動画像を取得する。 The moving image acquisition unit 510 acquires moving images transmitted from the imaging devices 113, 123, and 133 (or the imaging devices 214_1 to 214_3).

フレーム画像抽出部５２０は、取得した動画像に含まれるフレーム画像を、所定の周期で抽出するフレーム画像抽出処理を実行し、抽出したフレーム画像を状態判定部５３０に通知する。 The frame image extraction unit 520 executes frame image extraction processing for extracting frame images included in the acquired moving image at a predetermined cycle, and notifies the state determination unit 530 of the extracted frame images.

状態判定部５３０は、フレーム画像抽出部５２０より通知されたフレーム画像を、基準画像格納部５７０に格納された基準画像と比較する比較処理を実行する。また、状態判定部５３０は、フレーム画像抽出部５２０より通知されたフレーム画像を、前回画像格納部５８０に格納された、前回通知（前回抽出）されたフレーム画像と比較する比較処理を実行する。更に、状態判定部５３０は、基準画像との比較結果と、前回通知されたフレーム画像との比較結果とに基づいて、検品領域Ｉ～ＩＩＩの状態をそれぞれ判定する判定処理を実行する。具体的には、状態判定部５３０は、検品領域Ｉ～ＩＩＩが物品の検査が可能な状態にあるか否かをそれぞれ判定する判定処理を実行する。 The state determination unit 530 executes comparison processing for comparing the frame image notified from the frame image extraction unit 520 with the reference image stored in the reference image storage unit 570 . State determination unit 530 also performs comparison processing for comparing the frame image notified from frame image extraction unit 520 with the previously notified (previously extracted) frame image stored in image storage unit 580 last time. Furthermore, the state determination unit 530 executes determination processing for determining the state of each of the inspection areas I to III based on the result of comparison with the reference image and the result of comparison with the previously notified frame image. Specifically, the state determination unit 530 executes determination processing for determining whether or not inspection areas I to III are in a state in which inspection of articles is possible.

そして、状態判定部５３０は、検品領域Ｉ～ＩＩＩのいずれかが物品の検査が可能な状態にあると判定した場合、対応するフレーム画像を、表示制御部５４０に通知する。 Then, when the state determination section 530 determines that any one of the inspection areas I to III is in a state where the article can be inspected, the state determination section 530 notifies the display control section 540 of the corresponding frame image.

表示制御部５４０は、状態判定部５３０よりフレーム画像が通知されると、表示装置１５０（または表示装置２５０）の各分割画面のうち、フレーム画像が表示されていない分割画面に、通知されたフレーム画像を表示する。 When the frame image is notified from the state determination unit 530, the display control unit 540 displays the notified frame on the split screen on which the frame image is not displayed among the split screens of the display device 150 (or the display device 250). Display an image.

検品結果受付部５５０は、通知されたフレーム画像が表示装置１５０（または表示装置２５０）に表示されたことに応じて表示装置１５０（または表示装置２５０）より送信された検品結果を受け付ける。検品結果出力部５６０は、検品結果受付部５５０が受け付けた検品結果を出力する。 The inspection result receiving unit 550 receives the inspection result transmitted from the display device 150 (or the display device 250) in response to the notified frame image being displayed on the display device 150 (or the display device 250). The inspection result output unit 560 outputs the inspection result received by the inspection result receiving unit 550 .

＜表示制御装置の各部の処理の具体例＞
次に、表示制御装置１４０、２４０の各部のうち、フレーム画像抽出部５２０、状態判定部５３０の処理の具体例について説明する。 <Specific example of processing of each part of the display control device>
Next, a specific example of the processing of the frame image extraction unit 520 and the state determination unit 530 among the units of the display control devices 140 and 240 will be described.

（１）フレーム画像抽出部によるフレーム画像抽出処理及び状態判定部による比較処理の具体例
はじめに、フレーム画像抽出部５２０によるフレーム画像抽出処理、及び、状態判定部５３０による比較処理の具体例について説明する。図６は、表示制御装置の各部の処理の具体例を示す第１の図である。 (1) Specific example of frame image extraction processing by frame image extraction unit and comparison processing by state determination unit First, a specific example of frame image extraction processing by the frame image extraction unit 520 and comparison processing by the state determination unit 530 will be described. . FIG. 6 is a first diagram showing a specific example of processing of each unit of the display control device.

図６の例は、撮像装置１１３が搬送ボックス１１２内を撮影した場合の、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化を示している。図６の例によれば、時刻Ｔ１において、検品領域Ｉには、物品が載置されていなかったところ、時刻Ｔ２では、検品領域Ｉに商品Ａの物品が載置され、時刻Ｔ３まで、商品Ａの物品が載置された状態が継続している。 The example of FIG. 6 shows changes in the state of the inspection area I at times T1, T2, and T3 when the imaging device 113 photographs the interior of the transport box 112 . According to the example of FIG. 6, no article was placed in the inspection area I at time T1, but the article of product A was placed in the inspection area I at time T2. The state in which the article of A is placed continues.

動画像６００は、時刻Ｔ１から時刻Ｔ３までの間に撮影された動画像の一例を示している。図６の例は、時刻Ｔ１から時刻Ｔ３の間に、３１枚のフレーム画像が撮影されたことを示している。 A moving image 600 is an example of a moving image captured between time T1 and time T3. The example of FIG. 6 shows that 31 frame images were captured between time T1 and time T3.

上述したように、フレーム画像抽出部５２０では、動画像６００に含まれるフレーム画像を、所定の周期で抽出するフレーム画像抽出処理を実行する。図６の例は、フレーム画像抽出部５２０が、時刻Ｔ１に撮影された０番目のフレーム画像と、時刻Ｔ２に撮影された１５番目のフレーム画像と、時刻Ｔ３に撮影された３０番目のフレーム画像を抽出し、状態判定部５３０に通知した様子を示している。このように、所定の周期でフレーム画像を抽出することで、状態判定部５３０による判定処理に用いられるフレーム画像の数を削減することができる。 As described above, the frame image extraction unit 520 executes frame image extraction processing for extracting the frame images included in the moving image 600 at predetermined intervals. In the example of FIG. 6, the frame image extraction unit 520 extracts the 0th frame image captured at time T1, the 15th frame image captured at time T2, and the 30th frame image captured at time T3. is extracted and notified to the state determination unit 530. FIG. By extracting frame images at a predetermined cycle in this way, the number of frame images used in the determination process by the state determination unit 530 can be reduced.

また、上述したように、状態判定部５３０では、フレーム画像抽出部５２０より通知されたフレーム画像を、前回通知（前回抽出）されたフレーム画像と比較する比較処理を実行する。図６の例は、状態判定部５３０が、時刻Ｔ１に撮影されたフレーム画像６１０と、時刻Ｔ２に撮影されたフレーム画像６２０とを比較する様子を示している。また、図６の例は、状態判定部５３０が、時刻Ｔ２に撮影されたフレーム画像６２０と、時刻Ｔ３に撮影されたフレーム画像６３０とを比較する様子を示している。 In addition, as described above, the state determination unit 530 performs comparison processing for comparing the frame image notified from the frame image extraction unit 520 with the frame image previously notified (extracted last time). The example of FIG. 6 shows how the state determination unit 530 compares a frame image 610 captured at time T1 and a frame image 620 captured at time T2. The example of FIG. 6 also shows how the state determination unit 530 compares the frame image 620 captured at time T2 and the frame image 630 captured at time T3.

ここで、状態判定部５３０は、フレーム画像を比較する際、予め定められた領域に含まれる画素の画素値を比較する。図６のフレーム画像６１１、６２１、６３１において、太線で囲まれた領域は、画素値の比較に用いられる領域であることを示している。 Here, when comparing the frame images, the state determination unit 530 compares the pixel values of pixels included in a predetermined region. In the frame images 611, 621, and 631 in FIG. 6, areas surrounded by thick lines indicate areas used for comparison of pixel values.

このように、フレーム画像の一部の領域を用いて比較処理を行うことで、状態判定部５３０によれば、比較処理を高速化することができる。 By performing the comparison processing using a partial area of the frame image in this manner, the state determination unit 530 can speed up the comparison processing.

（２）状態判定部による判定処理の具体例その１
次に、状態判定部５３０による判定処理の具体例について説明する。図７は、表示制御装置の各部の処理の具体例を示す第２の図であり、検品領域Ｉが物品の検査が可能な状態にあるか否かを状態判定部が判定する際の、検品領域Ｉの状態の変化のバリエーションを示す図である。ここでは、物品の検査が可能な状態にあると判定される変化のバリエーションについて説明する。 (2) Specific example 1 of determination processing by state determination unit
Next, a specific example of determination processing by the state determination unit 530 will be described. FIG. 7 is a second diagram showing a specific example of the processing of each part of the display control device. FIG. 10 is a diagram showing variations of changes in the state of region I; Variations in the change in which it is determined that the article is ready for inspection will now be described.

このうち、図７（ａ）は、撮像装置１１３が検品領域Ｉの基準画像として搬送ボックス１１２内を撮影した際の検品領域Ｉの様子を示している。図７（ａ）に示すように、状態判定部５３０は、検品領域Ｉに物品が載置されていない状態で撮影されたフレーム画像を、検品領域Ｉの基準画像として用いる。 Among them, FIG. 7A shows the state of the inspection area I when the imaging device 113 captures the inside of the transport box 112 as a reference image of the inspection area I. FIG. As shown in FIG. 7A, the state determination section 530 uses a frame image captured with no article placed in the inspection area I as a reference image of the inspection area I. As shown in FIG.

図７（ｂ－１）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の一例を示している。図７（ｂ－１）の例によれば、時刻Ｔ１において、検品領域Ｉには、物品が載置されていなかったところ、時刻Ｔ２では、検品領域Ｉに商品Ａの物品が載置され、時刻Ｔ３まで、検品領域Ｉに商品Ａの物品が載置された状態が継続している。 FIG. 7(b-1) shows an example of changes in the state of the inspection area I at times T1, T2, and T3. According to the example of FIG. 7(b-1), at time T1, no article was placed in the inspection area I, but at time T2, an article of product A was placed in the inspection area I, The state in which the product A is placed in the inspection area I continues until time T3.

ここで、上述したように、状態判定部５３０では、基準画像との比較結果と、前回通知されたフレーム画像との比較結果とに基づいて、現在の検品領域の状態を判定する。 Here, as described above, the state determination unit 530 determines the current state of the inspection area based on the comparison result with the reference image and the comparison result with the previously notified frame image.

具体的には、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知（今回抽出）されたフレーム画像が、基準画像とは異なる、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と同じである、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にあると判定する。 Specifically, at current time T3, state determination unit 530:
・The frame image notified this time (extracted this time) is different from the reference image,
・The frame image notified this time is the same as the frame image notified last time.
, and at time T3, it is determined that the inspection area I is ready for inspection of the article.

また、図７（ｂ－２）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の他の一例を示している。図７（ｂ－２）の例によれば、時刻Ｔ１において、検品領域Ｉには、商品Ｂの物品が載置されており、時刻Ｔ２では、検品領域Ｉに商品Ｃの物品が載置され、時刻Ｔ３まで、検品領域Ｉに商品Ｂ、Ｃの物品が載置された状態が継続している。 FIG. 7(b-2) shows another example of changes in the state of the inspection area I at times T1, T2, and T3. According to the example of FIG. 7(b-2), the item of product B is placed in the inspection area I at time T1, and the item of product C is placed in the inspection area I at time T2. , the state in which the products B and C are placed in the inspection area I continues until time T3.

この場合、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像とは異なる、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と同じである、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にあると判定する。 In this case, at current time T3, state determination unit 530:
・The frame image notified this time is different from the reference image,
・The frame image notified this time is the same as the frame image notified last time.
, and at time T3, it is determined that the inspection area I is ready for inspection of the article.

また、図７（ｂ－３）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の他の一例を示している。図７（ｂ－３）の例によれば、時刻Ｔ１において、検品領域Ｉには、商品Ｂ、Ｃの物品が載置されており、時刻Ｔ２では、検品領域Ｉから商品Ｃの物品が取り除かれ、時刻Ｔ３まで、商品Ｂの物品のみが載置された状態が継続している。 FIG. 7(b-3) shows another example of changes in the state of the inspection area I at times T1, T2, and T3. According to the example of FIG. 7(b-3), the products B and C are placed in the inspection area I at time T1, and the product C is removed from the inspection area I at time T2. The state in which only the product B is placed continues until time T3.

このように、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像とは異なる、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と同じである、
と判定した場合に、検品領域が物品の検査が可能な状態にあると判定する。 In this way, the state determination unit 530
・The frame image notified this time is different from the reference image,
・The frame image notified this time is the same as the frame image notified last time.
, it is determined that the inspection area is ready for the inspection of the article.

（３）状態判定部による処理の具体例その２
次に、状態判定部５３０による判定処理の他の具体例について説明する。図８は、表示制御装置の各部の処理の具体例を示す第３の図であり、検品領域Ｉが物品の検査が可能にあるか否かを状態判定部が判定する際の検品領域Ｉの状態の変化のバリエーションを示す図である。ここでは、物品の検査が可能な状態にないと判定される変化のバリエーションについて説明する。 (3) Specific example 2 of processing by the state determination unit
Next, another specific example of determination processing by the state determination unit 530 will be described. FIG. 8 is a third diagram showing a specific example of the processing of each part of the display control device. FIG. 10 is a diagram showing variations of state changes; Here, variations of changes in which it is determined that the article is not in an inspectable state will be described.

図８（ａ）は、撮像装置１１３が検品領域Ｉの基準画像として搬送ボックス１１２内を撮影した際の検品領域Ｉの様子を示しており、図７（ａ）と同じである。 FIG. 8A shows the state of the inspection area I when the imaging device 113 captures an image of the inside of the transport box 112 as a reference image of the inspection area I, and is the same as FIG. 7A.

図８（ｂ－１）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の一例を示している。図８（ｂ－１）の例によれば、時刻Ｔ１において、検品領域Ｉには、物品が載置されておらず、時刻Ｔ２、時刻Ｔ３においても、物品が載置されていない状態が継続している。 FIG. 8(b-1) shows an example of changes in the state of the inspection area I at times T1, T2, and T3. According to the example of FIG. 8(b-1), no article is placed in the inspection area I at time T1, and no article is placed in the inspection area I at time T2 and time T3. are doing.

この場合、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像と同じである、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と同じである、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にないと判定する。 In this case, at current time T3, state determination unit 530:
・The frame image notified this time is the same as the reference image,
・The frame image notified this time is the same as the frame image notified last time.
At time T3, it is determined that the inspection area I is not in a state in which the inspection of the article is possible.

また、図８（ｂ－２）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の他の一例を示している。図８（ｂ－２）の例によれば、時刻Ｔ１において、検品領域Ｉには、商品Ａの物品が載置されており、時刻Ｔ２でも、商品Ａの物品が載置されており、時刻Ｔ３において、商品Ａの物品が取り除かれている。 FIG. 8(b-2) shows another example of changes in the state of the inspection area I at times T1, T2, and T3. According to the example of FIG. 8(b-2), at time T1, an item of product A is placed in inspection area I, and at time T2, an item of product A is placed, and time At T3, the article of item A has been removed.

この場合、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像と同じである、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と異なる、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にないと判定する。 In this case, at current time T3, state determination unit 530:
・The frame image notified this time is the same as the reference image,
・The frame image notified this time is different from the frame image notified last time,
At time T3, it is determined that the inspection area I is not in a state in which the inspection of the article is possible.

また、図８（ｂ－３）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の他の一例を示している。図８（ｂ－３）の例によれば、時刻Ｔ１において、検品領域Ｉには、物品が載置されていなかったところ、時刻Ｔ２では、検品領域Ｉに商品Ａの物品が載置され、時刻Ｔ３では、商品Ａの物品の位置が移動している。 FIG. 8(b-3) shows another example of changes in the state of the inspection area I at times T1, T2, and T3. According to the example of FIG. 8(b-3), at time T1, no article was placed in the inspection area I, but at time T2, an article of product A was placed in the inspection area I, At time T3, the position of the product A has moved.

この場合、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像と異なる、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と異なる、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にないと判定する。 In this case, at current time T3, state determination unit 530:
・The frame image notified this time is different from the reference image,
・The frame image notified this time is different from the frame image notified last time,
At time T3, it is determined that the inspection area I is not in a state in which the inspection of the article is possible.

また、図８（ｂ－４）は、時刻Ｔ１、Ｔ２、Ｔ３における検品領域Ｉの状態の変化の他の一例を示している。図８（ｂ－４）の例によれば、時刻Ｔ１において、検品領域Ｉには、商品Ａの物品が載置されており、時刻Ｔ２、時刻Ｔ３でも、商品Ａの物品が載置された状態が継続している。 FIG. 8(b-4) shows another example of changes in the state of the inspection area I at times T1, T2, and T3. According to the example of FIG. 8(b-4), at time T1, the item of product A is placed in the inspection area I, and at time T2 and time T3, the item of product A is placed. condition continues.

この場合、現在の時刻Ｔ３において、状態判定部５３０では、
・今回通知されたフレーム画像が、基準画像と異なる、
・今回通知されたフレーム画像が、前回通知されたフレーム画像と同じである、
・時刻Ｔ２において既に物品の検査が可能な状態であると判定している、
と判定し、時刻Ｔ３において検品領域Ｉが物品の検査が可能な状態にないと判定する。 In this case, at current time T3, state determination unit 530:
・The frame image notified this time is different from the reference image,
・The frame image notified this time is the same as the frame image notified last time.
・At time T2, it has already been determined that the article can be inspected.
At time T3, it is determined that the inspection area I is not in a state in which the inspection of the article is possible.

このように、状態判定部５３０では、
・今回通知されたフレーム画像が基準画像と同じである、
場合、
または、
・今回通知されたフレーム画像が基準画像と異なる、かつ、
・今回通知されたフレーム画像が、前記通知されたフレーム画像と異なる、
場合、
または、
・今回通知されたフレーム画像が基準画像と異なる、かつ、
・今回通知されたフレーム画像が、前記通知されたフレーム画像と同じである、かつ、
・前回フレーム画像が通知された際に、既に、物品の検査が可能な状態にあると判定している、
場合に、検品領域が物品の検査が可能な状態にないと判定する。 In this way, the state determination unit 530
・The frame image notified this time is the same as the reference image,
case,
or,
・The frame image notified this time is different from the reference image, and
- The frame image notified this time is different from the frame image notified above.
case,
or,
・The frame image notified this time is different from the reference image, and
- The frame image notified this time is the same as the frame image notified above, and
・When the frame image was notified last time, it was already determined that the item was ready for inspection.
case, it is determined that the inspection area is not in a state where the inspection of the article is possible.

＜表示制御処理の流れ＞
次に、表示制御装置１４０、２４０による表示制御処理の流れについて説明する。図９は、表示制御装置による表示制御処理の流れを示すフローチャートである。 <Flow of display control processing>
Next, the flow of display control processing by the display control devices 140 and 240 will be described. FIG. 9 is a flowchart showing the flow of display control processing by the display control device.

ステップＳ９０１において、動画像取得部５１０は、撮像装置に対して動画像の撮影開始を指示し、撮像装置より送信される動画像の取得を開始する。 In step S901, the moving image acquisition unit 510 instructs the imaging device to start shooting a moving image, and starts acquiring the moving image transmitted from the imaging device.

ステップＳ９０２において、フレーム画像抽出部５２０は、所定の周期が経過したか否かを判定する。ステップＳ９０２において、所定の周期が経過していないと判定した場合には（ステップＳ９０２においてＮｏの場合には）、ステップＳ９０７に進む。一方、ステップＳ９０２において、所定の周期が経過したと判定した場合には（ステップＳ９０２においてＹｅｓの場合には）、ステップＳ９０３に進む。 In step S902, the frame image extraction unit 520 determines whether or not a predetermined cycle has passed. If it is determined in step S902 that the predetermined period has not elapsed (No in step S902), the process proceeds to step S907. On the other hand, if it is determined in step S902 that the predetermined period has elapsed (if Yes in step S902), the process proceeds to step S903.

ステップＳ９０３において、フレーム画像抽出部５２０は、動画像よりフレーム画像を抽出し、状態判定部５３０に通知する。 In step S903, the frame image extraction unit 520 extracts frame images from the moving image and notifies the state determination unit 530 of them.

ステップＳ９０４において、状態判定部５３０は、フレーム画像抽出部５２０より通知されたフレーム画像を、基準画像と比較する。また、状態判定部５３０は、フレーム画像抽出部５２０より通知されたフレーム画像を、前回通知されたフレーム画像と比較する。 In step S904, state determination section 530 compares the frame image notified from frame image extraction section 520 with the reference image. Also, the state determination unit 530 compares the frame image notified from the frame image extraction unit 520 with the frame image notified last time.

ステップＳ９０５において、状態判定部５３０は、比較結果に基づいて、検品領域が物品の検査が可能な状態にあるか否かを判定する判定処理を実行する。なお、状態判定部５３０による判定処理の詳細は、既に説明済みであるため、ここでは説明を省略する。 In step S<b>905 , the state determination unit 530 executes determination processing for determining whether or not the inspection area is in a state where the inspection of the article is possible based on the comparison result. Note that the details of the determination processing by the state determination unit 530 have already been explained, so the explanation is omitted here.

ステップＳ９０６において、表示制御部５４０は、状態判定部５３０において、物品の検査が可能な状態にあると判定されたフレーム画像を、表示装置に送信する。 In step S906, the display control unit 540 transmits to the display device the frame image determined by the state determination unit 530 that the article is ready for inspection.

ステップＳ９０７において、動画像取得部５１０は、表示制御処理を継続するか否かを判定する。ステップＳ９０７において、継続すると判定した場合には（ステップＳ９０７においてＮｏの場合には）、ステップＳ９０２に戻る。一方、ステップＳ９０７において、終了すると判定した場合には（ステップＳ９０７においてＹｅｓの場合には）、表示制御処理を終了する。 In step S907, the moving image acquisition unit 510 determines whether to continue the display control process. If it is determined to continue in step S907 (No in step S907), the process returns to step S902. On the other hand, if it is determined to end in step S907 (if Yes in step S907), the display control process ends.

＜表示画面の具体例＞
次に、表示装置１５０、２５０に表示される表示画面の具体例について説明する。図１０は、表示画面の具体例を示す図であり、タイムテーブル３００に従って表示された表示画面を示している。 <Specific example of display screen>
Next, specific examples of display screens displayed on the display devices 150 and 250 will be described. FIG. 10 is a diagram showing a specific example of the display screen, showing the display screen displayed according to the timetable 300. As shown in FIG.

図１０に示すように、表示装置１５０、２５０には、はじめに、検品領域ＩＩＩのフレーム画像が送信されるため、表示装置１５０、２５０では、分割画面１００１に、検品領域ＩＩＩのフレーム画像を表示する。 As shown in FIG. 10, the display devices 150 and 250 first receive the frame image of the inspection area III, so the display devices 150 and 250 display the frame image of the inspection area III on the split screen 1001. .

分割画面１００１に、検品領域ＩＩＩのフレーム画像が表示されると、検査者１６０、２６０は、物品が正常であるか否かを判定する。検査者１６０、２６０は、正常であると判定した場合、分割画面１００１上で、指１０１０を矢印１０２０で示す方向に動かす。これにより、表示装置１５０、２５０では、分割画面１００１に表示されたフレーム画像に含まれる物品が正常であると判定し、検品結果を生成する。具体的には、表示装置１５０、２５０は、
・画面情報＝分割画面１００１を示す情報、
・検品領域＝検品領域ＩＩＩを示す情報、
・物品が正常であると判定された判定結果、
を含む検品結果を生成する。表示装置１５０、２５０は、生成した検品結果を、表示制御装置１４０、２４０に送信する。 When the frame image of inspection area III is displayed on split screen 1001, inspectors 160 and 260 determine whether the article is normal. If the inspector 160 or 260 determines that the image is normal, the inspector 160 or 260 moves the finger 1010 in the direction indicated by the arrow 1020 on the split screen 1001 . As a result, the display devices 150 and 250 determine that the article included in the frame image displayed on the split screen 1001 is normal, and generate an inspection result. Specifically, the display devices 150 and 250 are
- Screen information = information indicating the split screen 1001;
Information indicating inspection area = inspection area III,
・Determination result that the item is normal,
Generate inspection results including The display devices 150 and 250 transmit the generated inspection results to the display control devices 140 and 240 .

続いて、図１０に示すように、表示装置１５０、２５０には、検品領域ＩＩのフレーム画像及び検品領域Ｉのフレーム画像が送信されるため、表示装置１５０、２５０では、分割画面１００２、１００３に、検品領域ＩＩ及び検品領域Ｉのフレーム画像を表示する。 Subsequently, as shown in FIG. 10 , the frame image of inspection area II and the frame image of inspection area I are transmitted to display devices 150 and 250 . , inspection area II and inspection area I are displayed.

なお、このとき、表示装置１５０、２５０では、分割画面１００１に表示していた、検品領域Ｉのフレーム画像を、消去する。 At this time, the frame image of the inspection area I displayed on the split screen 1001 on the display devices 150 and 250 is erased.

分割画面１００２に、検品領域ＩＩのフレーム画像が表示されると、検査者１６０、２６０は、物品が正常であるか否かを判定する。検査者１６０、２６０は、異常であると判定した場合、分割画面１００２上で、指１０１０を矢印１０２１で示す方向に動かす。これにより、表示装置１５０、２５０では、分割画面１００２に表示されたフレーム画像に含まれる物品が異常であると判定し、検品結果を生成する。具体的には、表示装置１５０、２５０は、
・画面情報＝分割画面１００２を示す情報、
・検品領域＝検品領域ＩＩを示す情報、
・物品が異常であると判定された判定結果、
を含む検品結果を生成する。表示装置１５０、２５０は、生成した検品結果を、表示制御装置１４０、２４０に送信する。 When the frame image of inspection area II is displayed on split screen 1002, inspectors 160 and 260 determine whether the article is normal. If the inspector 160 or 260 determines that there is an abnormality, the inspector 160 or 260 moves the finger 1010 in the direction indicated by the arrow 1021 on the split screen 1002 . As a result, the display devices 150 and 250 determine that the article included in the frame image displayed on the split screen 1002 is abnormal, and generate an inspection result. Specifically, the display devices 150 and 250 are
- Screen information = information indicating the split screen 1002;
Information indicating inspection area = inspection area II,
・The judgment result that the article is judged to be abnormal,
Generate inspection results including The display devices 150 and 250 transmit the generated inspection results to the display control devices 140 and 240 .

なお、このとき、表示装置１５０、２５０には、検品領域ＩＩＩのフレーム画像が送信されるため、表示装置１５０、２５０では、分割画面１００４に、検品領域ＩＩＩのフレーム画像を表示する。また、表示装置１５０、２５０では、分割画面１００２に表示していた、検品領域ＩＩのフレーム画像を、消去する。 At this time, since the frame image of inspection area III is transmitted to display devices 150 and 250 , display device 150 and 250 displays the frame image of inspection area III on split screen 1004 . Also, in the display devices 150 and 250, the frame image of the inspection area II displayed on the split screen 1002 is erased.

以上の説明から明らかなように、第１の実施形態に係る表示制御装置は、各検品領域を撮影した各動画像を取得し、各動画像に含まれるフレーム画像を、所定周期ごとに抽出する。また、第１の実施形態に係る表示制御装置は、抽出したフレーム画像を、基準画像及び前回抽出したフレーム画像と比較することで、検品領域の現在の状態を判定する。更に、第１の実施形態に係る表示制御装置は、現在の検品領域が物品の検査が可能な状態にあると判定した場合、対応するフレーム画像を、表示画面に表示する。 As is clear from the above description, the display control device according to the first embodiment acquires each moving image obtained by photographing each inspection area, and extracts frame images included in each moving image at predetermined intervals. . Further, the display control device according to the first embodiment determines the current state of the inspection area by comparing the extracted frame image with the reference image and the previously extracted frame image. Furthermore, the display control device according to the first embodiment displays the corresponding frame image on the display screen when determining that the current inspection area is in a state where the article can be inspected.

このように、各検品領域のフレーム画像を集約して表示するとともに、物品の検査が可能な状態にあると判定したフレーム画像のみを表示することで、第１の実施形態に係る表示制御装置によれば、物品を検査する際の検査者の待機時間を削減することができる。この結果、第１の実施形態に係る表示制御装置によれば、検査者が物品を検査する際の検査効率を向上させることができる。 In this way, the display control device according to the first embodiment can display the frame images of the respective inspection areas collectively and display only the frame images determined to be ready for inspection of the article. Accordingly, it is possible to reduce the waiting time of an inspector when inspecting an article. As a result, according to the display control device according to the first embodiment, it is possible to improve inspection efficiency when an inspector inspects an article.

［第２の実施形態］
上記第１の実施形態では、物流センタに検品システム１００を適用する場合について説明した。しかしながら、検品システム１００の適用先は、物流センタに限定されない。例えば、物品の製造ラインに検品システム１００を適用してもよい。 [Second embodiment]
In the first embodiment described above, the case where the inspection system 100 is applied to a distribution center has been described. However, the application of the inspection system 100 is not limited to distribution centers. For example, the inspection system 100 may be applied to an article manufacturing line.

上記第１の実施形態では、表示画面を４つの分割画面に分割するものとして説明したが、表示画面の分割数は４つに限定されない。また、表示装置が複数ある場合には、表示画面を分割しなくてもよい。 In the first embodiment, the display screen is divided into four split screens, but the number of splits of the display screen is not limited to four. Moreover, when there are a plurality of display devices, the display screen may not be divided.

また、上記第１の実施形態では、検査者が判定結果を入力する際に、矢印１０２０、１０２１で示す方向に指を動かすものとして説明したが、判定結果の入力方法はこれに限定されない。 In addition, in the above-described first embodiment, the examiner moves his/her finger in the directions indicated by the arrows 1020 and 1021 when inputting the determination result, but the method of inputting the determination result is not limited to this.

また、上記第１の実施形態において表示制御装置１４０、２４０が実現する機能の一部は、検品システム１００、２００内の他の装置において実現されてもよい。 Also, part of the functions implemented by the display control devices 140 and 240 in the first embodiment may be implemented by other devices within the inspection systems 100 and 200 .

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
各検品領域を撮影した各動画像を取得する動画像取得部と、
取得された各動画像に含まれるフレーム画像から今回抽出されたフレーム画像を、基準画像及び前回抽出されたフレーム画像と比較することで、前記各検品領域の現在の状態を判定する状態判定部と、
現在の状態が物品の検査が可能な状態にあると判定された検品領域について、対応するフレーム画像を、表示画面に表示する表示制御部と
を有する表示制御装置。
（付記２）
前記状態判定部は、今回抽出されたフレーム画像が基準画像と異なっており、かつ、前回抽出されたフレーム画像と同じであると判定した場合、現在の状態が物品の検査が可能な状態にあると判定する、付記１に記載の表示制御装置。
（付記３）
前記状態判定部は、今回抽出されたフレーム画像が基準画像と同じであると判定した場合、現在の状態が物品の検査が可能な状態にないと判定する、付記２に記載の表示制御装置。
（付記４）
前記状態判定部は、今回抽出されたフレーム画像が基準画像と異なっており、かつ、前回抽出されたフレーム画像と異なっていると判定した場合、現在の状態が物品の検査が可能な状態にないと判定する、付記２に記載の表示制御装置。
（付記５）
前記状態判定部は、予め定められた領域の画素値を用いて、今回抽出されたフレーム画像と、基準画像及び前回抽出されたフレーム画像とを比較する、付記１乃至４のいずれかの付記に記載の表示制御装置。
（付記６）
取得された各動画像に含まれるフレーム画像から、所定周期ごとにフレーム画像を抽出するフレーム画像抽出部を更に有する、付記１に記載の表示制御装置。
（付記７）
各検品領域を撮影した各動画像を取得し、
取得された各動画像に含まれるフレーム画像から今回抽出されたフレーム画像を、基準画像及び前回抽出されたフレーム画像と比較することで、前記各検品領域の現在の状態を判定し、
現在の状態が物品の検査が可能な状態にあると判定された検品領域について、対応するフレーム画像を、表示画面に表示する、
処理をコンピュータに実行させるための表示制御プログラム。
（付記８）
各検品領域を撮影する複数の撮像装置と、
撮影された各動画像を処理する表示制御装置と、
前記各動画像に含まれるフレーム画像を表示する表示装置と、を有する検品システムであって、
前記複数の撮像装置により撮影された各検品領域の各動画像を取得する動画像取得部と、
取得された各動画像に含まれるフレーム画像から今回抽出されたフレーム画像を、基準画像及び前回抽出されたフレーム画像と比較することで、前記各検品領域の現在の状態を判定する状態判定部と、
現在の状態が物品の検査が可能な状態にあると判定された検品領域について、対応するフレーム画像を、前記表示装置に表示する表示制御部と
を有する検品システム。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。 It should be noted that the technology disclosed herein can take forms such as those described below.
(Appendix 1)
a moving image acquisition unit that acquires each moving image obtained by photographing each inspection area;
a state determination unit that determines the current state of each inspection area by comparing the frame image extracted this time from the frame images included in each acquired moving image with the reference image and the frame image extracted last time; ,
A display control unit for displaying on a display screen a frame image corresponding to an inspection area determined to be in a state where inspection of an article is possible.
(Appendix 2)
When the state determination unit determines that the frame image extracted this time is different from the reference image and is the same as the frame image extracted last time, the current state is a state in which the article can be inspected. The display control device according to Supplementary Note 1, wherein the display control device determines that
(Appendix 3)
The display control device according to appendix 2, wherein the state determination unit determines that the current state is not a state in which inspection of the article is possible when determining that the frame image extracted this time is the same as the reference image.
(Appendix 4)
When the state determination unit determines that the frame image extracted this time is different from the reference image and is different from the frame image extracted last time, the current state is not a state in which the article can be inspected. The display control device according to appendix 2, wherein the display control device determines that
(Appendix 5)
5. The state determination unit according to any one of appendices 1 to 4, wherein the frame image extracted this time is compared with the reference image and the frame image extracted last time using pixel values of a predetermined area. A display controller as described.
(Appendix 6)
2. The display control device according to appendix 1, further comprising a frame image extraction unit that extracts a frame image at predetermined intervals from the frame images included in each acquired moving image.
(Appendix 7)
Acquire each moving image of each inspection area,
Judging the current state of each inspection area by comparing the frame image extracted this time from the frame images included in each acquired moving image with the reference image and the frame image extracted last time,
Displaying, on a display screen, a frame image corresponding to an inspection area determined to be in a state where inspection of the article is possible at present;
A display control program for causing a computer to execute processing.
(Appendix 8)
a plurality of imaging devices for photographing each inspection area;
a display control device that processes each captured moving image;
an inspection system comprising a display device for displaying frame images included in each moving image,
a moving image acquisition unit that acquires each moving image of each inspection area captured by the plurality of imaging devices;
a state determination unit that determines the current state of each inspection area by comparing the frame image extracted this time from the frame images included in each acquired moving image with the reference image and the frame image extracted last time; ,
and a display control unit for displaying, on the display device, a frame image corresponding to an inspection area determined to be in a state where an article can be inspected.
It should be noted that the present invention is not limited to the configurations shown here, such as combinations with other elements, etc., in the configurations described in the above embodiments. These points can be changed without departing from the gist of the present invention, and can be determined appropriately according to the application form.

１００：検品システム
１１３、１２３、１３３：撮像装置
１４０：表示制御装置
１５０：表示装置
２１４＿１～２１４＿３：撮像装置
２４０：表示制御装置
２５０：表示装置
５１０：動画像取得部
５２０：フレーム画像抽出部
５３０：状態判定部
５４０：表示制御部
５５０：検品結果受付部
５６０：検品結果出力部
100: Inspection system 113, 123, 133: Imaging device 140: Display control device 150: Display devices 214_1 to 214_3: Imaging device 240: Display control device 250: Display device 510: Moving image acquisition unit 520: Frame image extraction unit 530: State determination unit 540: display control unit 550: inspection result reception unit 560: inspection result output unit

Claims

a moving image acquisition unit that acquires each moving image obtained by photographing each inspection area;
a state determination unit that determines the current state of each inspection area by comparing the frame image extracted this time from the frame images included in each acquired moving image with the reference image and the frame image extracted last time; ,
A display control unit for displaying on a display screen a frame image corresponding to an inspection area determined to be in a state where inspection of an article is possible.

When the state determination unit determines that the frame image extracted this time is different from the reference image and is the same as the frame image extracted last time, the current state is a state in which the article can be inspected. The display control device according to claim 1, wherein the display control device determines that

3. The display control device according to claim 2, wherein the state determination unit determines that the current state is not a state in which the article can be inspected when determining that the frame image extracted this time is the same as the reference image. .

When the state determination unit determines that the frame image extracted this time is different from the reference image and is different from the frame image extracted last time, the current state is not a state in which the article can be inspected. 3. The display control device according to claim 2, wherein the determination is as follows.

5. The state determination unit according to any one of claims 1 to 4, wherein the currently extracted frame image is compared with the reference image and the previously extracted frame image using pixel values of a predetermined area. The display control device according to .

2. The display control device according to claim 1, further comprising a frame image extraction unit for extracting a frame image at predetermined intervals from the frame images included in each acquired moving image.

Acquire each moving image of each inspection area,
Judging the current state of each inspection area by comparing the frame image extracted this time from the frame images included in each acquired moving image with the reference image and the frame image extracted last time,
Displaying, on a display screen, a frame image corresponding to an inspection area determined to be in a state where inspection of the article is possible at present;
A display control program for causing a computer to execute processing.

a plurality of imaging devices for photographing each inspection area;
a display control device that processes each captured moving image;
an inspection system comprising a display device for displaying frame images included in each moving image,
a moving image acquisition unit that acquires each moving image of each inspection area captured by the plurality of imaging devices;
a state determination unit that determines the current state of each inspection area by comparing the frame image extracted this time from the frame images included in each acquired moving image with the reference image and the frame image extracted last time; ,
and a display control unit for displaying, on the display device, a frame image corresponding to an inspection area determined to be in a state where an article can be inspected.