JP7727451B2 - 手荷物検査システム - Google Patents

Description

本発明は手荷物内に危険物等の対象物が有るか否かを判定する技術に関する。

空港の手荷物検査所等においては、Ｘ線手荷物検査装置等の装置により、通行人が所持する手荷物内に刃物等の危険物が含まれていないことを確認する作業（手荷物検査作業）が行われている。

通行人の待ち行列の発生の抑制、手荷物検査作業のための装置等の数の削減、手荷物検査作業のために要する場所の面積の低減等の観点から、手荷物検査作業のために要するシステム及び人員の１ユニット当たりのスループット（単位時間当たりの検査数）は高い方が望ましい。

手荷物検査作業のスループットを高めるためのアイデアを提案している特許文献として、例えば特許文献１がある。特許文献１には、手荷物を検査するＸ線検査装置と、Ｘ線検査装置の検査結果に応じて検査後の手荷物を異なる方向に搬送する仕分けコンベヤとを備える手荷物自動選別システムが記載されている。

特許文献１に記載の手荷物自動選別システムによれば、Ｘ線検査装置による検査で不合格となった手荷物は、自動的に再検査のための場所へと搬送され、後続の合格となった手荷物の流れを妨げない。その結果、高い手荷物検査作業のスループットが得られる。

特開２００１－２３３４４０号公報

従来、Ｘ線検査装置等の検査装置が生成する画像（検査画像）に基づく手荷物検査作業は、検査画像内に刃物等の危険物を表す画像が含まれていないかを、検査員が目視で確認してきた。

近年、ディープラーニング等に代表される機械学習型の人工知能を用いた画像認識技術の発達に伴い、従来は人が目視で行っていた各種確認作業を、情報処理装置が代替しつつある。

そこで、手荷物の検査画像に写っている物体を情報処理装置に認識させ、その物体が危険物であるか否かを判定させることで、検査員が行う目視確認の負担を軽減すると共に、目視確認に要する時間を短縮し、手荷物検査作業のスループットを高めることが考えられる。

ところで、仮に、機械学習モデルを用いた画像認識の対象物が人である場合、人の画像は通常、重力方向に従う方向で機械学習モデルに入力されるため、入力される画像の方向が機械学習モデルの構築時（学習時）と運用時で異なることはない。自動車、動物、植物等の物体も同様である。

一方、手荷物検査における手荷物は、様々な方向で撮影される。従って、機械学習モデルの構築時（学習時）と運用時で、入力される画像の方向が様々に異なり得る。その結果、機械学習モデルを用いた画像認識により、検査画像に危険物が写っているか否かを判定させる場合、十分に高い精度の判定結果が得られないことがある。

上記の事情に鑑み、本発明は、従来技術より高い精度の判定結果をもたらす機械学習モデルを用いた手荷物検査システムを提供する。

本発明は、手荷物に当てた検査波に基づき生成される検査画像と前記検査画像を画像面の法線方向の軸周りに異なる角度で回転させて得られる複数の画像とのうちの２以上の各々を構築済みの機械学習モデルに取り込ませたときに前記機械学習モデルが出力する、取り込んだ画像が表す物体が対象物である確率を示す判定結果により対象物の有無を判定する手荷物検査システムを第１の態様として提案する。

第１の態様に係る手荷物検査システムによれば、複数の方向に回転された検査画像に基づき対象物の有無が判定されるため、機械学習モデルの構築時（学習時）と運用時で入力される画像に写っている対象物の方向が異なっていても、高い精度の判定結果が得られる。

上記の第１の態様に係る手荷物検査システムにおいて、前記検査波を手荷物に当てる位置よりも前記手荷物の所持者の移動経路上の下流側において、前記機械学習モデルの判定結果に応じて当該所持者の通行を規制する、という構成が第２の態様として採用されてもよい。

第２の態様に係る手荷物検査システムによれば、対象物を含む手荷物の所持者の通行が人出によらず規制されるため、検査員の手荷物検査作業に要する労力が軽減される。

上記の第１又は第２の態様に係る手荷物検査システムにおいて、前記機械学習モデルが判定に用いた複数の画像のうち、前記機械学習モデルが対象物を含むと判定した画像のみを検査員に表示する、という構成が第３の態様として採用されてもよい。

第３の態様に係る手荷物検査システムによれば、検査員は機械学習モデルが対象物を含むと判定した画像のみを目視確認すればよいので、機械学習モデルが対象物を含まないと判定した画像を含む全ての画像を目視確認する場合と比較し、検査員の目視確認に要する労力及び時間が軽減される。

上記の第１乃至第３のいずれかの態様に係る手荷物検査システムにおいて、前記機械学習モデルが判定に用いた複数の画像のうち、前記機械学習モデルが対象物を含むと判定した画像に関し、当該画像に含まれる対象物を他の部分と区別する態様で表示する、という構成が第４の態様として採用されてもよい。

第４の態様に係る手荷物検査システムによれば、検査員は画像に含まれる対象物を容易に特定できるため、検査員の目視確認に要する労力及び時間が軽減される。

上記の第１乃至第４のいずれかの態様に係る手荷物検査システムにおいて、前記検査画像及び前記検査画像を回転させて得られる前記複数の画像の少なくとも１つと前記手荷物を光学カメラで撮影した画像とを対応付けて表示する、という構成が第５の態様として採用されてもよい。

第５の態様に係る手荷物検査システムによれば、検査員が、手荷物とその手荷物の検査画像（又は検査画像を回転させた画像）との対応関係を誤認する危険性が低減される。

上記の第１乃至第５のいずれかの態様に係る手荷物検査システムにおいて、前記検査画像及び前記検査画像を回転させて得られる前記複数の画像の少なくとも１つと前記手荷物の所持者を光学カメラで撮影した画像とを対応付けて表示する、という構成が第６の態様として採用されてもよい。

第６の態様に係る手荷物検査システムによれば、検査員が、手荷物の検査画像（又は検査画像を回転させた画像）とその手荷物の所持者との対応関係を誤認する危険性が低減される。

一実施形態に係る手荷物検査システムの全体構成を示した図。 一実施形態に係る手荷物検査装置の構成を模式的に示した図。 一実施形態に係る手荷物検査装置が備えるコンピュータの機能構成を示したブロック図。 一実施形態に係る手荷物検査装置が備えるコンピュータが生成する回転画像を例示した図。 一実施形態に係る手荷物検査装置が備えるコンピュータが検査画像から抽出した物体の写っている領域を例示した図。 一実施形態に係る手荷物検査装置が備えるコンピュータが生成する対象物に関する認識結果データを例示した図。 一実施形態に係る手荷物検査装置が備えるコンピュータが可視光画像から抽出した物体の写っている領域を例示した図。 一実施形態に係る手荷物検査装置が備えるコンピュータが生成する人物の顔に関する認識結果データを例示した図。 一実施形態に係る手荷物検査装置が備えるコンピュータが生成する手荷物に関する認識結果データを例示した図。 一実施形態に係る金属探知機の外観を示した図。 一実施形態に係る端末装置の機能構成を示したブロック図。 一実施形態に係る端末装置が表示する画面の例を示した図。

［実施形態］
以下に、本発明の一実施形態に係る手荷物検査システム１を説明する。図１は、手荷物検査システム１の全体構成を示した図である。手荷物検査システム１は、通行人（図１において人物Ｘとして例示）の移動経路上に配置され、通行人が所持する手荷物（図１において物体Ｚとして例示）内に対象物が含まれているか否かを判定すると共に、通行人が金属製の対象物を身に付けていないかを判定するためのシステムである。なお、対象物とは、通行人の移動経路上の手荷物検査システム１より下流側の領域に持ち込むことが禁止されている物を意味し、例えば刃物等の危険物である。

手荷物検査システム１は、手荷物検査装置１１、金属探知機１２、端末装置１６、ゲート装置１３、ゲート装置１４、ゲート装置１５、柵１７を備える。

手荷物検査装置１１は、手荷物に当てた検査波に基づき検査画像を生成する装置である。本実施形態において、手荷物検査装置１１が用いる検査波はＸ線である。図２は、手荷物検査装置１１の構成を模式的に示した図である。手荷物検査装置１１は、まず、載せられた手荷物を図２の矢印が示す方向に搬送するコンベア１１１と、コンベア１１１の搬送路上にコンベア１１１を覆うように配置された筐体１１２を備える。

筐体１１２は、筐体１１２内で手荷物に対し照射されるＸ線が筐体１１２外に漏れ出ないように、内側が鉛等の重金属で覆われている。筐体１１２には、コンベア１１１により搬送される手荷物が筐体１１２内を通過できるように、搬送方向の上流側及び下流側の壁面に、例えば矩形の開口部が設けられている。これらの開口部は、鉛カーテン１１３により塞がれている。なお、図２において、筐体１１２の下流側の開口部及び当該開口部を塞ぐように配置されている鉛カーテン１１３は死角にあり図示されていない。

鉛カーテン１１３は、筐体１１２の開口部の上縁から垂れ下がるように筐体１１２に取り付けられた複数枚の短冊状の鉛を含むゴムシートであり、暖簾のように、コンベア１１１により搬送される手荷物により押されて開き、手荷物の通過を許容すると共に、手荷物が通過した後は再び元の位置に戻り、開口部を塞ぐことで、筐体１１２内で手荷物に対し照射され、筐体１１２の開口部から外に漏れ出るＸ線の量を低減する。

筐体１１２内には、コンベア１１１を挟んで、Ｘ線照射部１１４とラインセンサ１１５が上下に配置されている。Ｘ線照射部１１４はライン状のＸ線を照射し、ラインセンサ１１５はＸ線照射部１１４から照射され手荷物を透過したＸ線を受波し、受波したＸ線の強度を示す信号をコントローラ１１８（後述）に出力する。

筐体１１２の上流側の壁面外側のコンベア１１１のすぐ上あたりには、コンベア１１１により搬送される手荷物の搬送路を挟んで、物体検知センサ１１６を構成する発光部１１６Ｔ及び受光部１１６Ｒが左右に配置されている。発光部１１６Ｔは、例えばレーザ光を照射し、受光部１１６Ｒは発光部１１６Ｔが照射したレーザ光を受光し、受光したレーザ光の強度を示す信号をコントローラ１１８（後述）に出力する。発光部１１６Ｔと受光部１１６Ｒの間に手荷物がある期間中には、発光部１１６Ｔから照射されるレーザ光が手荷物に遮られ、受光部１１６Ｒまで届かないため、受光部１１６Ｒから出力される信号が示すレーザ光の強度は、発光部１１６Ｔと受光部１１６Ｒの間に手荷物がない期間中よりも著しく小さくなる。

筐体１１２の下流側の壁面外側のコンベア１１１のすぐ上あたりには、コンベア１１１により搬送される手荷物の搬送路を挟んで、物体検知センサ１１７を構成する発光部１１７Ｔ及び受光部１１７Ｒが左右に配置されている。なお、図２において、物体検知センサ１１７のうち右側に配置される受光部１１７Ｒは死角にあり図示されていない。物体検知センサ１１７が備える発光部１１７Ｔ及び受光部１１７Ｒの役割は、上述した物体検知センサ１１６が備える発光部１１６Ｔ及び受光部１１６Ｒの役割と同様である。

筐体１１２内には、Ｘ線照射部１１４から照射されるＸ線が当たらない位置に、コントローラ１１８が配置されている。コントローラ１１８は、コンベア１１１、Ｘ線照射部１１４、ラインセンサ１１５、物体検知センサ１１６、物体検知センサ１１７と接続されており、これらの装置の動作を制御する。

例えば、コントローラ１１８は、受光部１１６Ｒから出力される信号に基づき筐体１１２の上流側に手荷物が到達したと判定するとＸ線照射部１１４に所定期間のＸ線の照射を指示し、その後、受光部１１７Ｒから出力される信号に基づき手荷物が筐体１１２の下流側に到達したと判定すると、コンベア１１１をいったん停止させた後、Ｘ線照射の終了より一定時間後にコンベア１１１を再度動かして、受光部１１７Ｒから出力される信号に基づき手荷物が筐体１１２から排出されたことを確認する。また、コントローラ１１８は、Ｘ線照射部１１４からＸ線が照射されている期間中にラインセンサ１１５から出力される信号に基づき、検査画像（Ｘ線透過画像）を生成する。コントローラ１１８は、生成した検査画像を表す検査画像データをコンピュータ１１０（後述）に出力する。

筐体１１２の上面の上流左側の隅部には、光学カメラ１１９が配置されている。光学カメラ１１９は、コンベア１１１により筐体１１２に向かい搬送される手荷物と手荷物検査装置１１の左側を通過する手荷物の所持者（通行人）とを撮影するために配置されており、十分に短い所定時間間隔で継続的に可視光による静止画の撮影を行うビデオカメラである。光学カメラ１１９は、撮影した画像（以下、検査画像と区別するために、「可視光画像」という）を表す可視光画像データをコンピュータ１１０（後述）に出力する。

なお、光学カメラ１１９の配置される位置は、手荷物と手荷物の所持者を撮影できる位置であれば、図２に示した位置に限られない。また、光学カメラ１１９が、手荷物を撮影するための光学カメラと、手荷物の所持者を撮影するための光学カメラ、というように、複数の光学カメラで構成されてもよい。

筐体１１２内の、Ｘ線照射部１１４から照射されるＸ線が当たらない位置には、上述したコントローラ１１８に加え、コンピュータ１１０が配置されている。コンピュータ１１０は、各種データを記憶するメモリと、メモリに記憶されているプログラムに従い各種データ処理を行うプロセッサと、コントローラ１１８及び光学カメラ１１９との間でデータの入出力を行う入出力インタフェースと、端末装置１６との間で無線又は有線によるデータ通信を行う通信インタフェースを備える一般的なコンピュータである。

図３は、コンピュータ１１０の機能構成を示したブロック図である。すなわち、コンピュータ１１０は、プロセッサが本実施形態に係るプログラムに従うデータ処理を行うことで、図３に示す構成部を備える装置として機能する。以下にコンピュータ１１０の機能構成を説明する。

検査画像取得部１１０１は、コントローラ１１８から検査画像データを取得する。

回転画像生成部１１０２は、検査画像取得部１１０１がコントローラ１１８から取得した検査画像データが表す検査画像を、画像面の法線方向の軸周りに異なる角度で回転させて得られる複数の画像（以下、回転画像という）を生成する。なお、画像面の法線方向とは、画像面の垂直方向と同義である。

図４は、回転画像生成部１１０２が生成する回転画像を例示した図である。図４に示される画像Ｐ１は検査画像の例であり、画像Ｐ２～Ｐ８は画像Ｐ１から回転画像生成部１１０２により生成された回転画像の例である。

なお、図４の例では、回転画像生成部１１０２は検査画像を時計回りに４５度ずつ回転させた７つの回転画像を生成しているが、回転画像生成部１１０２が検査画像を回転させる角度は４５度に限られず、また、回転画像生成部１１０２が生成する回転画像の数は７つに限られない。

また、回転画像生成部１１０２が検査画像を回転させて回転画像を生成する際の回転軸（画像面の法線方向の軸）の位置は、例えば、検査画像の中心点（矩形の検査画像の２本の対角線の交点）である。ただし、検査画像に写る手荷物が回転画像において画像面からはみ出ない限り、回転軸の位置はいずれの位置でもよい。

図３を参照し、コンピュータ１１０の機能構成の説明を続ける。可視光画像取得部１１０３は、光学カメラ１１９から可視光画像データを取得する。

画像認識部１１０４は、検査画像取得部１１０１がコントローラ１１８から取得した検査画像データが表す検査画像と、回転画像生成部１１０２が生成した回転画像と、可視光画像取得部１１０３が光学カメラ１１９から取得した可視光画像データが表す可視光画像とに写っている物体（人を含む）を認識する。

画像認識部１１０４は、領域抽出部１１０４１、機械学習モデル１１０４２、機械学習モデル１１０４３、機械学習モデル１１０４４を備える。領域抽出部１１０４１は、認識対象の画像に含まれる１以上の物体の各々が占める画像中の領域を抽出する。

機械学習モデル１１０４２は、検査画像及び回転画像の各々から対象物を検出するための機械学習モデルである。そのため、機械学習モデル１１０４２は、対象物の画像を説明変数とし「対象物である」という判定結果を目的変数とする多数のデータを教師データとして入力することで構築されている。機械学習モデル１１０４２は、領域抽出部１１０４１が検査画像及び回転画像の各々から抽出した領域内の画像を説明変数として取り込み、取り込んだ画像が表す物体が対象物である確率を判定結果として出力する。

機械学習モデル１１０４３は、可視光画像から人物の顔を検出するための機械学習モデルである。そのため、機械学習モデル１１０４３は、人物の顔の画像を説明変数とし「顔である」という判定結果を目的変数とする多数のデータを教師データとして入力することで構築されている。機械学習モデル１１０４３は、領域抽出部１１０４１が可視光画像から抽出した領域内の画像を説明変数として取り込み、取り込んだ画像が表す物体が人物の顔である確率を判定結果として出力する。

機械学習モデル１１０４４は、可視光画像から手荷物を検出するための機械学習モデルである。そのため、機械学習モデル１１０４４は、手荷物の画像を説明変数とし「手荷物である」という判定結果を目的変数とする多数のデータを教師データとして入力することで構築されている。機械学習モデル１１０４４は、領域抽出部１１０４１が可視光画像から抽出した領域内の画像を説明変数として取り込み、取り込んだ画像が表す物体が手荷物である確率を判定結果として出力する。

認識結果記憶部１１０５は、機械学習モデル１１０４２が説明変数として取り込んだ画像の領域を識別するデータとその説明変数を取り込んだ際に出力した対象物である確率を示すデータとを対応付けたデータを、対象物に関する認識結果データとして記憶する。また、認識結果記憶部１１０５は、機械学習モデル１１０４３が説明変数として取り込んだ画像の領域を識別するデータとその説明変数を取り込んだ際に出力した人物の顔である確率を示すデータとを対応付けたデータを、人物の顔に関する認識結果データとして記憶する。また、認識結果記憶部１１０５は、機械学習モデル１１０４４が説明変数として取り込んだ画像の領域を識別するデータとその説明変数を取り込んだ際に出力した手荷物である確率を示すデータとを対応付けたデータを、手荷物に関する認識結果データとして記憶する。

送信データ生成部１１０６は、認識結果記憶部１１０５に記憶される認識結果データを用いて、コンピュータ１１０が端末装置１６に送信するデータを生成する。以下に、送信データ生成部１１０６が生成するデータについて説明する。

図５は、検査画像Ｐ１から領域抽出部１１０４１が抽出した領域を例示した図である。図５の例では、領域抽出部１１０４１により、手荷物全体の画像が占める領域Ａ１と、手荷物の取っ手の画像が占める領域Ａ２と、手荷物内に含まれる未知の物体の画像が占める領域Ａ３が抽出されている。回転画像Ｐ２～Ｐ８に関しても同様に、領域抽出部１１０４１により複数の領域が抽出される。以下、回転画像Ｐ２から領域Ｂ１～Ｂ３が抽出され、回転画像Ｐ３から領域Ｃ１～Ｃ３が抽出され、回転画像Ｐ４から領域Ｄ１～Ｄ３が抽出され、回転画像Ｐ５から領域Ｅ１～Ｅ３が抽出され、回転画像Ｐ６から領域Ｆ１～Ｆ３が抽出され、回転画像Ｐ７から領域Ｇ１～Ｇ３が抽出され、回転画像Ｐ８から領域Ｈ１～Ｈ３が抽出されたものとする。

機械学習モデル１１０４２は、領域抽出部１１０４１により検査画像Ｐ１及び回転画像Ｐ２～Ｐ８から抽出された領域の各々に関し、それらの領域に写っている物体が対象物である確率を出力する。

図６は、検査画像Ｐ１及び回転画像Ｐ２～Ｐ８に関し、認識結果記憶部１１０５に記憶される対象物に関する認識結果データを例示した図である。図６の表の第１列は画像を識別するデータであり、第２列は画像から抽出された領域を識別するデータであり、第３列は領域の左上頂点の座標を示すデータであり、第４列は領域の右下頂点の座標を示すデータであり、第５列は領域に写っている物体が対象物である確率を示すデータである。なお、図６に例示の認識結果データの第３列及び第４列の座標は、画像の左上頂点を原点とし、右方向をＸ軸正方向、下方向をＹ軸正方向とする座標系における座標である。

例えば、図６の表の第１行に格納されているデータは、検査画像Ｐ１から抽出された領域Ａ１が、座標（２６，４０）を左上頂点とし、座標（１２９，１０８）を右下頂点とする範囲の領域であり、領域Ａ１に写っている物体が対象物である確率が１．１％であることを示している。

送信データ生成部１１０６は、まず、図６に示される認識結果データに基づき、検査画像Ｐ１及び回転画像Ｐ２～Ｐ８の中から、対象物である確率が所定の閾値（例えば、５０％）以上である領域（図６の例では、第５列が太枠で囲まれている行の領域Ｂ３、Ｄ３、Ｅ３、Ｆ３）を含む画像（図６の例では、回転画像Ｐ２、Ｐ４、Ｐ５、Ｐ６）を特定する。

対象物である確率が所定の閾値以上である領域を含む画像が１つも特定されなかった場合、送信データ生成部１１０６は「対象物なし」を示すデータを送信用のデータとして生成する。

一方、対象物である確率が所定の閾値以上である領域を含む画像が１以上特定された場合、送信データ生成部１１０６は、特定した画像を表す検査画像データ又は回転画像データと、対象物である確率が所定の閾値以上である領域に関する認識結果データ（図６において第５列が太枠で囲まれている行のデータ）とを対応付けたデータを、対象物に関する送信用のデータとして生成する。

図７は、可視光画像Ｑ１～Ｑ４から領域抽出部１１０４１が抽出した領域を例示した図である。なお、可視光画像Ｑ１～Ｑ４は、光学カメラ１１９が所定時間間隔で順次、撮影した画像である。

図７の例では、領域抽出部１１０４１により、可視光画像Ｑ１からは手荷物の画像が占める領域Ｊ１と、人物全体の画像が占める領域Ｊ２と、人物の顔の画像が占める領域Ｊ３が抽出されており、可視光画像Ｑ２からは手荷物の画像が占める領域Ｋ１と、人物全体の画像が占める領域Ｋ２と、人物の顔の画像が占める領域Ｋ３が抽出されており、可視光画像Ｑ３からは手荷物の画像が占める領域Ｌ１と、人物全体の画像が占める領域Ｌ２と、人物の顔の画像が占める領域Ｌ３が抽出されており、可視光画像Ｑ４からは人物の顔の一部の画像が占める領域Ｍ１が抽出されている。

なお、可視光画像Ｑ１～Ｑ４には、コンベア１１１も写っているが、領域抽出部１１０４１には予め、常に可視光画像に写り込むコンベア１１１の画像が除外画像として設定されており、除外画像が写っている領域は抽出対象から除外される。

機械学習モデル１１０４３は、領域抽出部１１０４１により可視光画像Ｑ１～Ｑ４から抽出された領域の各々に関し、それらの領域に写っている物体が人物の顔である確率を出力する。

図８は、可視光画像Ｑ１～Ｑ４に関し、認識結果記憶部１１０５に記憶される人物の顔に関する認識結果データを例示した図である。図８の表のデータの形式は、図６の表のデータの形式と同様である。ただし、図８の表の第５列のデータが示す確率は、領域に写っている物体が人物の顔である確率である。

送信データ生成部１１０６は、まず、図８に示される認識結果データに基づき、人物の顔である確率が所定の閾値（例えば、５０％）以上である領域（図８の例では、第５列が太枠で囲まれている行の領域Ｊ３、Ｋ３、Ｌ３、Ｍ１）を特定する。続いて、送信データ生成部１１０６は、特定した領域から、領域の外縁の一部が可視光画像の外縁の一部と一致しているもの（すなわち、領域に写っている物体の一部が可視光画像の撮影範囲からはみ出ている可能性のあるもの。図８の例では、領域Ｍ１。）を除外した後、残った領域から、面積が最大のものを選択する。図８の例では、送信データ生成部１１０６は、可視光画像Ｑ３に含まれる領域Ｌ３を選択する。送信データ生成部１１０６は、そのように選択した領域Ｌ３の画像を可視光画像Ｑ３から切り出し、切り出した画像を表す顔画像データを、人物の顔に関する送信用のデータとして生成する。

機械学習モデル１１０４４は、領域抽出部１１０４１により可視光画像Ｑ１～Ｑ４から抽出された領域の各々（図７参照）に関し、それらの領域に写っている物体が手荷物である確率を出力する。

図９は、可視光画像Ｑ１～Ｑ４に関し、認識結果記憶部１１０５に記憶される手荷物に関する認識結果データを例示した図である。図９の表のデータの形式は、図６及び図８の表のデータの形式と同様である。ただし、図９の表の第５列のデータが示す確率は、領域に写っている物体が手荷物である確率である。

送信データ生成部１１０６は、まず、図９に示される認識結果データに基づき、手荷物である確率が所定の閾値（例えば、５０％）以上である領域（図９の例では、第５列が太枠で囲まれている行の領域Ｊ１、Ｋ１、Ｌ１）を特定する。続いて、送信データ生成部１１０６は、特定した領域から、領域の外縁の一部が可視光画像の外縁の一部と一致しているもの（すなわち、領域に写っている物体の一部が可視光画像の撮影範囲からはみ出ている可能性のあるもの。図９の例では、領域Ｌ１。）を除外した後、残った領域から、面積が最大のものを選択する。図９の例では、送信データ生成部１１０６は、可視光画像Ｑ２に含まれる領域Ｋ１を選択する。送信データ生成部１１０６は、そのように選択した領域Ｋ１の画像を可視光画像Ｑ２から切り出し、切り出した画像を表す手荷物画像データを、手荷物に関する送信用のデータとして生成する。

以上が、送信データ生成部１１０６が生成する送信用のデータの説明である。図３を参照し、コンピュータ１１０の機能構成の説明を続ける。送信部１１０７は、送信データ生成部１１０６が生成した送信用のデータを端末装置１６に送信する。

以上が、コンピュータ１１０の機能構成の説明である。続いて、図１を参照し、手荷物検査システム１の構成の説明を続ける。金属探知機１２は、図１０に示されるような外観の装置であり、金属探知機１２の下を通過する通行人が身に付けている物に金属が含まれていると、その金属を検出し、ランプの点灯及び警告音の発音により金属が検出されたことを通行人及び検査員（図１において人物Ｙとして例示）に通知すると共に、金属が検出されたことを示す金属検出通知データを端末装置１６に送信する。

ゲート装置１３～１５はいずれも、手荷物検査装置１１の位置（検査波を手荷物に当てる位置）よりも通行人（手荷物の所持者）の移動経路上の下流側において、機械学習モデル１１０４２の判定結果に応じて通行人の通行を規制する装置であり、端末装置１６の制御下で開閉するゲート（通行を物理的に規制する部材）を備えている。

ゲート装置１３は、手荷物検査装置１１により対象物が検知されなかった手荷物の所持者であり、かつ、金属探知機１２により身に付けている物から金属が検知されなかった通行人に対し開き、手荷物検査装置１１により対象物が検知された手荷物の所持者、又は、金属探知機１２により身に付けている物から金属が検知された通行人に対し閉じることで、検査員による検査を要さない通行人をレーンＲ１に導き、検査員による検査を要する通行人をレーンＲ２に導く役割を果たす。

ゲート装置１４は、手荷物検査装置１１により対象物が検知されなかった手荷物の所持者であり、かつ、金属探知機１２により身に付けている物から金属が検知されなかった通行人に対し閉じ、手荷物検査装置１１により対象物が検知された手荷物の所持者、又は、金属探知機１２により身に付けている物から金属が検知された通行人に対し開くことで、検査員による検査を要さない通行人をレーンＲ１に導き、検査員による検査を要する通行人をレーンＲ２に導く役割を果たす。

ゲート装置１５は、ゲート装置１４が開くと同時に閉じ、検査員による検査を要する通行人がレーンＲ２に移動してきた際、検査が完了するまで通行人を検査官の近くに留まらせる役割を果たす。ゲート装置１５は、検査員が通行人の検査を終了した際に端末装置１６に対し行う操作に応じて開かれる。

端末装置１６は、検査員により使用される端末装置である。端末装置１６は、例えば、各種データを記憶するメモリと、メモリに記憶されているプログラムに従い各種データ処理を行うプロセッサと、ユーザに対する画像の表示を行うディスプレイとユーザのタッチ操作を受け付けるタッチパネルが積層されたタッチスクリーンと、外部の装置との間で有線又は無線でデータ通信を行う通信インタフェースを備える一般的なタブレット型のコンピュータである。なお、端末装置１６が、ノート型のコンピュータや、外付けのディスプレイ及びキーボード等の入出力デバイスが接続されたデスクトップ型のコンピュータ等であってもよい。

図１１は、端末装置１６の機能構成を示したブロック図である。すなわち、端末装置１６は、プロセッサが本実施形態に係るプログラムに従うデータ処理を行うことで、図１１に示す構成部を備える装置として機能する。以下に端末装置１６の機能構成を説明する。

手荷物検査結果受信部１６１は、手荷物検査装置１１から、手荷物検査の結果を示す手荷物検査結果データを受信する。手荷物検査結果受信部１６１が受信する手荷物検査結果データは、手荷物検査装置１１のコンピュータ１１０の送信データ生成部１１０６が生成し送信部１１０７が送信するデータであり、以下を含んでいる。

［手荷物に対象物が検知された場合］
（１）対象物が検知された検査画像又は回転画像を表す画像データ
（２）検知された対象物が画像において占める領域の左上頂点及び右下頂点の座標を示す座標データ
（３）対象物の検知の根拠となった確率を示す確率データ
（４）手荷物の所持者の顔の画像を表す顔画像データ
（５）手荷物の画像を表す手荷物画像データ

［手荷物に対象物が検知されなかった場合］
（１）「対象物なし」を示すデータ
（２）手荷物の所持者の顔の画像を表す顔画像データ
（３）手荷物の画像を表す手荷物画像データ

金属探知結果受信部１６２は、金属探知機１２が通行人の身に付けている物から金属を検出した場合、金属探知機１２から金属検出通知データを受信する。

表示部１６３は、検査員に対し、手荷物検査装置１１による手荷物検査の結果と、金属探知機１２による金属探知の結果を表す画像等を表示する。

図１２は、表示部１６３に表示される画面の例を示した図である。図１２（Ａ）は手荷物検査装置１１により対象物が検知されず、金属探知機１２により金属が検出されなかった場合に表示される画面の例であり、図１２（Ｂ）は手荷物検査装置１１により対象物が検知されず、金属探知機１２により金属が検出された場合に表示される画面の例であり、図１２（Ｃ）は手荷物検査装置１１により対象物が検知され、金属探知機１２により金属が検出されなかった場合に表示される画面の例である。

なお、手荷物検査装置１１により対象物が検知され、かつ、金属探知機１２により金属が検出された場合に表示される画面は、領域Ｓ２に表示される文字が「金属：あり ／ 対象物：あり！」となる点を除き図１２（Ｃ）の画面と同様であるため、図１２において図示を省略している。

図１２の画面の領域Ｓ１には、通行人の顔の画像と、手荷物の画像が表示される。図１２の画面の領域Ｓ２には、手荷物検査装置１１による対象物の検知結果と、金属探知機１２による金属の検出結果が表示される。図１２の画面の領域Ｓ３には、検査員がゲート装置１３～１５の開閉を指示するためのボタンが表示される。

手荷物検査装置１１により対象物が検知されず、金属探知機１２により金属が検出されなかった場合、送信部１６５（後述）からゲート装置１３に対しゲートの開放を指示する開閉指示データが送信され、ゲート装置１４に対しゲートの閉鎖を指示する開閉指示データが送信される。ゲート装置１３は送信部１６５から送信される開閉指示データに従いゲートを開き、ゲート装置１４は送信部１６５から送信される開閉指示データに従いゲートを閉じる。従って、表示部１６３により図１２（Ａ）の画面が表示されている場合、ゲート装置１３のゲートは開かれ、ゲート装置１４のゲートは閉じられて、通行人がレーンＲ１へ導かれる状態となっている。

図１２（Ａ）の画面の領域Ｓ３には、「レーンＲ２へ」ボタンが表示される。このボタンは、検査員がレーンＲ１へ進もうとする通行人に関し、例えば手荷物検査装置１１による手荷物検査を経ていない手荷物を所持している等の何らかの問題を発見した場合に、その通行人の移動経路をレーンＲ１からレーンＲ２へと強制的に切り替えるためのボタンである。検査員が「レーンＲ２へ」ボタンをタッチ操作すると、送信部１６５からゲート装置１３とゲート装置１５に対しゲートの閉鎖を指示する開閉指示データが送信され、ゲート装置１４に対しゲートの開放を指示する開閉指示データが送信される。ゲート装置１３とゲート装置１５は送信部１６５から送信される開閉指示データに従いゲートを閉じ、ゲート装置１４は送信部１６５から送信される開閉指示データに従いゲートを開く。その結果、通行人がレーンＲ２へ導かれる状態となる。

手荷物検査装置１１により対象物が検知された場合、もしくは、金属探知機１２により金属が検出された場合、送信部１６５からゲート装置１３とゲート装置１５に対しゲートの閉鎖を指示する開閉指示データが送信され、ゲート装置１４に対しゲートの開放を指示する開閉指示データが送信される。ゲート装置１３とゲート装置１５は送信部１６５から送信される開閉指示データに従いゲートを閉じ、ゲート装置１４は送信部１６５から送信される開閉指示データに従いゲートを開く。従って、表示部１６３により図１２（Ｂ）又は図１２（Ｃ）の画面が表示されている場合、ゲート装置１３のゲートは閉じられ、ゲート装置１４のゲートは開かれ、ゲート装置１５のゲートは閉じられて、通行人がレーンＲ２へ導かれる状態となっている。

図１２（Ｂ）又は図１２（Ｃ）の画面の領域Ｓ３には、「ゲート開放」ボタンが表示される。このボタンは、検査員が通行人に対する検査を終えた際に、その通行人に対する通行の規制を解くためのボタンである。検査員が「ゲート開放」ボタンをタッチ操作すると、送信部１６５からゲート装置１５に対しゲートの開放を指示する開閉指示データが送信される。ゲート装置１５は送信部１６５から送信される開閉指示データに従いゲートを開く。その結果、レーンＲ２において検査員による検査を受けていた通行人は手荷物検査システム１の下流側の領域に向かうことができる。

図１２（Ｃ）に示されるように、手荷物検査装置１１により対象物が検知された場合、領域Ｓ２には、検査画像及び複数の回転画像（機械学習モデル１１０４２が判定に用いた複数の画像）のうち、対象物が検知された画像（機械学習モデル１１０４２が対象物を含むと判定した画像）のみが表示される。また、領域Ｓ２に表示される画像に含まれる対象物は、その画像の他の部分と区別する態様で表示される。対象物を他の部分と区別する表示の態様としては、図１２（Ｃ）の画面で採用されている対象物を破線の枠で囲んで表示する態様の他に、対象物を他の部分と異なる色で表示する態様、対象物を点滅表示する態様等の様々な態様が採用され得る。また、領域Ｓ２に表示される画像には、対象物の判定の根拠となった確率が表示される。

手荷物検査装置１１により対象物が検知された場合、検査員は図１２（Ｃ）の画面の領域Ｓ２に表示される画像を見て、検知された物体が本当に対象物である可能性がどの程度高いかを容易に判断できる。

図１１を参照し、端末装置１６の機能構成の説明を続ける。操作受付部１６４は、検査員による端末装置１６に対する操作を受け付ける。なお、操作受付部１６４が受け付ける操作には、図１２に示した画面の領域Ｓ３に表示される「レーンＲ２へ」ボタン又は「ゲート開放」ボタンに対する操作が含まれる。

送信部１６５は、手荷物検査結果受信部１６１が手荷物検査装置１１から受信する手荷物検査結果データの内容、金属探知結果受信部１６２が金属探知機１２から受信する金属検出通知データの内容、及び、操作受付部１６４が受け付ける検査員の「レーンＲ２へ」ボタン又は「ゲート開放」ボタンに対する操作に応じて、ゲート装置１３～１５に対し、ゲートの開閉を指示する開閉指示データを送信する。

送信部１６５が送信する開閉指示データは、表示部１６３の説明において既述のように、以下のとおりである。
［対象物が検知された場合、又は、金属が検出された場合］
ゲート装置１３に対しゲートの閉鎖を指示する開閉指示データを送信する。
ゲート装置１４に対しゲートの開放を指示する開閉指示データを送信する。
ゲート装置１５に対しゲートの閉鎖を指示する開閉指示データを送信する。
［対象物が検知されなかった場合、かつ、金属が検出されなかった場合］
ゲート装置１３に対しゲートの開放を指示する開閉指示データを送信する。
ゲート装置１４に対しゲートの閉鎖を指示する開閉指示データを送信する。
［「レーンＲ２へ」ボタンに対する操作が行われた場合］
ゲート装置１３に対しゲートの閉鎖を指示する開閉指示データを送信する。
ゲート装置１４に対しゲートの開放を指示する開閉指示データを送信する。
ゲート装置１５に対しゲートの閉鎖を指示する開閉指示データを送信する。
［「ゲート開放」ボタンに対する操作が行われた場合］
ゲート装置１５に対しゲートの開放を指示する開閉指示データを送信する。

以上が端末装置１６の機能構成の説明である。図１を参照し、手荷物検査システム１の構成の説明を続ける。柵１７は、通行人の移動経路を制限するために配置された構造物である。柵１７により、通行人は金属探知機１２の下を通り、レーンＲ１又はレーンＲ２へと向かうように、移動経路が制限される。

以上が手荷物検査システム１の構成の説明である。通行人は、手荷物検査システム１の下流側の領域に向かいたい場合、手荷物をコンベア１１１の上流側に載せた後、金属探知機１２の下を通る。コンベア１１１に載せられた手荷物は手荷物検査装置１１により検査された後、コンベア１１１の下流側において通行人によりピックアップされる。

手荷物検査装置１１により手荷物から対象物が検知されず、かつ、金属探知機１２により金属が検出されなかった場合、通行人はレーンＲ１へと導かれ、検査員による検査を受けることなく手荷物検査システム１の下流側の領域に向かうことができる。

一方、手荷物検査装置１１により手荷物から対象物が検知された場合、又は、金属探知機１２により金属が検出された場合、通行人はレーンＲ２へと導かれ、検査員による検査を受けることになる。手荷物から対象物が検知された場合、検査員は手荷物を開き、手荷物の中身を確認し、手荷物内に対象物が見つかった場合には、その対象物を没収する等の必要な措置を講じる。また、金属が検出された場合、検査員は、例えばハンディ型の金属探知機を用いて通行人のボディチェックを行い、通行人が刃物等を身に付けていた場合には、その刃物等を没収する等の必要な措置を講じる。検査員は検査を完了すると、端末装置１６の表示部１６３に表示される「ゲート開放」ボタンをタッチ操作する。この操作に応じて、ゲート装置１５が開くので、通行人は手荷物検査システム１の下流側の領域に向かうことができる。

上述した手荷物検査システム１によれば、手荷物検査装置１１により撮影された検査画像と、その検査画像を画像面の法線方向の軸周りに回転させて得られる回転画像とのうちの２以上の各々から機械学習モデルにより手荷物内の対象物の有無が判定されるため、検査画像のみから機械学習モデルにより手荷物内の対象物の有無が判定される従来技術による場合と比較し、高い精度で対象物の検知が行われる。

［変形例］
上述した実施形態は本発明の技術的思想の範囲内で様々に変形されてよい。以下にそれらの変形例を示す。なお、以下に示す変形例の２以上が適宜組み合わされてもよい。

（１）上述した実施形態においてコンピュータ１１０が備えるものとした構成部の一部が、端末装置１６により備えられてもよい。また、上述した実施形態において端末装置１６が備えるものとした構成部の一部が、コンピュータ１１０により備えられてもよい。さらに、端末装置１６が、上述した実施形態においてコンピュータ１１０が備えるものとした構成部の全てを備えるものとし、手荷物検査システム１がコンピュータ１１０を備えなくてもよい。

（２）手荷物検査装置１１のコントローラ１１８が、上述した実施形態においてコンピュータ１１０が備えるものとした構成部の全てを備えるものとし、手荷物検査装置１１がコンピュータ１１０を備えなくてもよい。

（３）上述した実施形態において、手荷物検査装置１１は検査波としてＸ線を用いるものとしたが、手荷物に当てて検査画像を生成可能とする検査波であれば、Ｘ線以外の検査波が用いられてもよい。

（４）上述した実施形態においては、機械学習モデル１１０４２が判定に用いる複数の画像（検査画像及び複数の回転画像）のうち、１つでも対象物を含むと判定した画像があれば、通行人はレーンＲ２に導かれ、検査員は通行人を検査するものとした。機械学習モデル１１０４２の判定結果がどのような条件を満たした場合に検査員が通行人を検査するかは、様々に変更されてよい。例えば、対象物を含むと判定された画像の数は２以上の所定の閾値以上である場合に、通行人をレーンＲ２に導き検査員による通行人の検査が行われるようにしてもよい。また、例えば、各画像において抽出された１以上の領域の各々に関し機械学習モデル１１０４２が出力した確率（その領域に写っている物体が対象物である確率）のうち最大のものを選択し、選択したそれらの確率の平均値が所定の閾値以上である場合に、通行人をレーンＲ２に導き検査員による通行人の検査が行われるようにしてもよい。

（５）上述した実施形態においては、機械学習モデル１１０４２が判定に用いた検査画像及び複数の回転画像のうち、対象物が検知された画像のみが検査員に対し表示されるものとしたが、機械学習モデル１１０４２が判定に用いた検査画像及び複数の回転画像の全てが検査員に対し表示されてもよい。

（６）上述した実施形態においては、検査画像又は回転画像と通行人の顔の画像及び手荷物の画像とが１つの画面に同時に表示されることにより、それらの画像が対応付けて表示されるものとした。検査画像又は回転画像と通行人の顔の画像及び手荷物の画像を対応付けて表示する態様はこれに限られず、例えば、検査画像又は回転画像と通行人の顔の画像及び手荷物の画像とが交互に表示される態様が採用されてもよい。

（７）上述した実施形態においては、検査員に対し表示される通行人の画像は通行人の顔の画像であるものとしたが、通行人の全身の画像や、通行人の上半身の画像などが検査員に対し表示されてもよい。

（８）上述した実施形態においては、手荷物検査システム１がゲート装置１３～１５を備えるものとしたが、手荷物検査システム１がこれらのゲート装置の一部又は全部を備えなくてもよい。例えば、レーンＲ１とレーンＲ２を区別することなく、１つのゲート装置のみで通行人の通行を規制してもよい。また、ゲート装置を用いずに、検査員が通行人の通行を規制してもよい。

１…手荷物検査システム、１１…手荷物検査装置、１２…金属探知機、１３…ゲート装置、１４…ゲート装置、１５…ゲート装置、１６…端末装置、１７…柵、１１０…コンピュータ、１１１…コンベア、１１２…筐体、１１３…鉛カーテン、１１４…Ｘ線照射部、１１５…ラインセンサ、１１６…物体検知センサ、１１７…物体検知センサ、１１８…コントローラ、１１９…光学カメラ、１６１…手荷物検査結果受信部、１６２…金属探知結果受信部、１６３…表示部、１６４…操作受付部、１６５…送信部、１１０１…検査画像取得部、１１０２…回転画像生成部、１１０３…可視光画像取得部、１１０４…画像認識部、１１０５…認識結果記憶部、１１０６…送信データ生成部、１１０７…送信部、１１０４１…領域抽出部、１１０４２…機械学習モデル、１１０４３…機械学習モデル、１１０４４…機械学習モデル。

Claims (6)

1. 手荷物に当てた検査波に基づき生成される検査画像と前記検査画像を画像面の法線方向の軸周りに異なる角度で回転させて得られる複数の画像とのうちの２以上の各々を構築済みの機械学習モデルに取り込ませたときに前記機械学習モデルが出力する、取り込んだ画像が表す物体が対象物である確率を示す判定結果により対象物の有無を判定する手荷物検査システム。
2. 前記検査波を手荷物に当てる位置よりも前記手荷物の所持者の移動経路上の下流側において、前記機械学習モデルの判定結果に応じて当該所持者の通行を規制する
   請求項１に記載の手荷物検査システム。
3. 前記機械学習モデルが判定に用いた複数の画像のうち、前記機械学習モデルが対象物を含むと判定した画像のみを検査員に表示する
   請求項１又は２に記載の手荷物検査システム。
4. 前記機械学習モデルが判定に用いた複数の画像のうち、前記機械学習モデルが対象物を含むと判定した画像に関し、当該画像に含まれる対象物を他の部分と区別する態様で表示する
   請求項１乃至３のいずれか１項に記載の手荷物検査システム。
5. 前記検査画像及び前記検査画像を回転させて得られる前記複数の画像の少なくとも１つと前記手荷物を光学カメラで撮影した画像とを対応付けて表示する
   請求項１乃至４のいずれか１項に記載の手荷物検査システム。
6. 前記検査画像及び前記検査画像を回転させて得られる前記複数の画像の少なくとも１つと前記手荷物の所持者を光学カメラで撮影した画像とを対応付けて表示する
   請求項１乃至５のいずれか１項に記載の手荷物検査システム。