JP6445127B2 - 貨物の検査方法およびそのシステム - Google Patents

Description

本発明の実施例は、貨物の検査に関し、具体的には貨物の放射線画像に基づいて貨物を検査することに関する。

現在の放射保安検査分野において、Ｘ線画像に対する解析は、二重エネルギーの材料識別、線判別、透過試験などのみに限られている。これらは、作業者に、貨物材料の構成や形状のような貨物に対する基本的な理解を提供することに過ぎない。そのため、「この貨物が通関申告の貨物に一致しているか。」、「物を隠しやすい領域がどこであるか。」、「この時間帯に、この会社が当該貨物をこの国家に輸送することが、異常ではないか。」、「その近くの貨物が何であるか。」という問題に回答することができない。現在、これらの問題は、作業者の豊富な経験および画像内容に対する真剣な推定によってしか回答できない。税関のスループットの増加と伴って、スマート的な解決案を探しなければならない。

従来技術における１つ又は複数の問題に鑑みて、本発明は、スマート的に推定して処理意見を提供可能である貨物を検査する方法及びシステムを提出する。

本発明の一面は、貨物の検査方法であって、被検査貨物の透過画像を取得するステップと、前記透過画像を処理して、注目領域を取得するステップと、前記注目領域から特徴を抽出し、抽出された特徴に基づいて前記被検査貨物の貨物情報を特定するステップと、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、当該貨物に対する推薦処理意見を提供するステップと、を含む。

好ましくは、前記貨物情報は、具体的に、貨物の積み重ねモードであり、前記注目領域から特徴を抽出するステップは、前記注目領域から被検査貨物の積み重ねモードの描写情報を抽出するステップを含み、前記描写情報に基づいて前記透過画像の注目領域における貨物の積み重ねモードの確率を特定する。

好ましくは、前記注目領域から被検査貨物の積み重ねモードの描写情報を抽出するステップは、注目領域を区画し、区画された領域の画像からエッジを抽出するステップと、抽出されたエッジにおける有効な位置から、テクスチャ特徴を抽出するステップと、前記テクスチャ特徴に最も近接する元素を辞書から探して、前記領域のヒストグラムを取得するステップと、を含み、前記辞書は、訓練画像サンプルに基づいて構築されたものである。

好ましくは、サンプル画像ごとに等間隔のサンプリングを行い、各位置でテクスチャ特徴を抽出し、全ての位置で抽出されたテクスチャ特徴に対してクラスタリングを行い、複数のクラスタリング中心の特徴描写を取得することで、前記辞書を構築する。

好ましくは、前記被検査貨物に対して貨物領域を抽出し、閾値限定によって貨物なし領域を除去することで、注目領域を特定する。

好ましくは特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、当該貨物に対する推薦処理意見を提供するステップは、通関申告書の積み重ねモードを条件として得られた貨物類型の確率に、透過画像に基づいて予測した積み重ねモードを条件として得られた通関申告書における積み重ねモードの確率を、掛けることによって、一致性の確率を特定し、該一致性の確率が所定値より小さい場合に、当該貨物と通関申告書における貨物とが一致しないと判断する。

好ましくは、前記貨物情報は、具体的に、貨物類型であり、前記注目領域から特徴を抽出するステップは、前記注目領域から被検査貨物の貨物類型の描写情報を抽出するステップを含み、前記描写情報に基づいて前記透過画像の注目領域における貨物の貨物類型の確率を特定し、前記確率と共に、輸出入会社と輸出入時間と輸出入国家とを使用して、該貨物と通関申告書における貨物類型との一致性の確率値を取得する。

好ましくは、貨物類型に対する確率は、原子番号および電子密度に基づいて特定される。

好ましくは、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて該貨物に対する推薦処理意見を提供するステップは、予測の貨物類型と通関申告書貨物類型の税金の差異の比較、及び、輸出管理程度に対する解析によって、コストモデルを構築して、該貨物に対する推薦処理意見を提供する。

好ましくは、画像内容の検索エンジンによって、被検査貨物に類似する貨物のリストを取得するステップと、前記貨物のリストに関する輸出入会社と輸出入国家と輸出入時間に応じて、分布関係図を構築するステップと、構築された分布関係図に基づいて、前記貨物が正常な貨物に属するか否かを特定するステップと、をさらに含む。

好ましくは、貨物類型に基づいて、検索された類似貨物画像のリストを分類し、異なる国家、異なる会社が異なる時間帯に同類の貨物を輸出入する確率を算出する。

好ましくは、時間軸を構築することによって、異なる時間帯に類似の貨物を輸出入する状況を表示する。

好ましくは、時間帯ごとに、異なる図形によって異なる輸出入国家ペアを表示すると共に、異なる輸出入会社が類似の貨物を輸出入する確率の分布を表示する。

好ましくは、主体積み重ねモードからずれた貨物領域、貨物類型を予測不可能な小さな貨物領域、又は、全般的なテクスチャとの差異が大きい一部領域をユーザに提示するステップを、さらに含む。

好ましくは、相互推定方法によって、スタックを独立して構成したがスタックが小さいため情報全体の推定に参与することができない貨物に対して、貨物類型を特定するステップを、さらに含む。

好ましくは、一部領域のテクスチャ情報に基づいて、このようなテクスチャを呈示可能な貨物の類型分布、平均原子番号、又は、コンテナでの位置を推定するステップを、さらに含む。

好ましくは、指定領域におけるテクスチャ特徴を抽出するステップと、画像内容の検索エンジンに基づいて、類似度が所定値より高いテクスチャブロックのリストを取得するステップと、テクスチャブロックのリストの貨物種類の情報を特定し、このようなテクスチャを表す貨物類型の分布を構成するステップと、をさらに含む。

好ましくは、二重エネルギーの材料識別アルゴリズムによって、被検査貨物の平均原子番号を取得する。

好ましくは、画像のズーム倍率および指定領域での画素位置によって、指定領域のコンテナでの実際の位置を取得する。

本発明の他面は、貨物の検査システムであって、被検査貨物を走査して、被検査貨物の透過画像を取得する放射線イメージングシステムと、前記透過画像を処理して注目領域を取得し、前記注目領域から特徴を抽出し、抽出された特徴に基づいて前記被検査貨物の貨物情報を特定し、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、該貨物に対する推薦処理意見を提供するデータ処理装置と、を備える。

上記構成によると、放射線画像の内容および通関申告書のデータに対する解析によって、異なる推定結論およびそれに対応する処理意見を提供し、作業者の効率および正確率を向上させることができる。

本発明をよく理解するために、下記図面によって本発明の実施例を説明する。
本発明の実施例による貨物検査システムを示す構成模式図である。 本発明の実施例による貨物検査システムを示す構成模式図である。 本発明の実施例による貨物検査方法を示す模式的フローチャートである。 本発明の実施例による技術案に関する４種類の積み重ねモードを示す模式図である。 本発明の実施例による技術案が混合物を階層的に推定する模式図である。 本発明の実施例による技術案における異常事件推定の可視化模式図である。 本発明の実施例の積み重ねモードによって処理意見を予測して提供するフローチャートである。 本発明の実施例による貨物類型の予測、リスク推定及び処理意見の提供を示すフローチャートである。 本発明の実施例による類似貨物分布の推定を示すフローチャートである。

図面には、実施例における全ての回路又は構成が示されていない。図面で、同じ符号は、同じ又は類似する部品又は特徴を示す。

以下、本発明の具体的な実施例について詳細に説明する。なお、ここで説明する実施例は、例示的なもので、本発明を限定するものではないことに注意すべきである。以下の説明において、本発明を詳細に理解させるために、特定の細部がたくさん描かれている。しかし、当業者は、これらの特定の細部を採用しなくても本発明を実現可能であることを理解できるだろう。他の実施例においては、本発明との混同を避けるために、周知の回路、材料または方法に対する具体的な説明を省略している。

本明細書において、「一の実施例」、「実施例」、「一の例示」または「例示」は、該実施例または例示を組み合わせて描いた特定の特徴、構造または特性が、本発明の少なくとも一の実施例に含まれることを意味する。したがって、本明細書の各箇所に現れている「一の実施例において」、「実施例において」、「一の例示」または「例示」は、必ず同一の実施例または例示を指すものではない。また、いずれの適宜の組み合わせ及び／又はサブ組み合わせによって、特定の特徴、構造または特性を一つ又は複数の実施例または例示に組み合わせることができる。また、当業者は、ここで提供される図面は説明のためであり、比例的に描いているものではないことを理解できるだろう。ここで、「及び／又は」という用語は、一つ又は複数の関連するアイテムの任意の組み合わせ及び全ての組み合わせを含む。

貨物のＸ線画像及び通関申告書のデータに基づくスマート解析推定システムは、貨物の類型を自動的に解析し、物を隠しやすい領域を自動的に提供し、混合貨物の構成を自動的に推定し、異常搬送行為を自動的に判断し、リスクの程度に応じて推薦処理意見を提供するスマート化解析推定手段である。例えば、「搬送される貨物が通関申告の貨物類型に一致しているか。」、「どのように物を隠しやすい領域を作業者に快速に案内するか。」、「混合貨物が何から構成される。」、「今回の輸出入行為が異常であるか否か。」のような税関に直面される問題を効果的に解決することができる。システムは、Ｘ線画像の内容及び通関申告書のデータに対する解析によって、異なる推定結論及び対応する処理意見を段階的に提供する。

従来技術の問題に対して、本発明は、被検査貨物の透過画像を取得した後に、前記透過画像を処理して注目領域を取得し、注目領域から特徴を抽出し、抽出された特徴に基づいて被検査貨物の貨物情報を特定し、さらに、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、当該貨物に対する推薦処理意見を提供する。

図１Ａ及び図１Ｂは、本発明の一実施形態による検査システムの構成模式図である。図１Ａは、検査システムの上面模式図を示し、図１Ｂは、検査システムの正面模式図を示す。図１Ａ及び図１Ｂに示すように、放射線源１１０から発生されたＸ線は、コリメータ１２０によって視準された後、移動するコンテナ付きトラック１４０に対して保安検査を行う。そして、トラックを透過する放射線を検出器１５０に受信され、コンピュータ等のデータ処理装置１６０によって透過画像が取得される。

本発明の実施例によれば、走査によってコンテナ付きトラック１４０の透過画像を取得した後に、データ処理装置１６０によって透過画像を処理し、注目領域例えば主体貨物領域を取得する。そして、注目領域から特徴を抽出し、抽出された特徴に基づいて被検査貨物の貨物情報を特定し、さらに、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、当該貨物に対する推薦処理意見を提供する。

図２は、本発明の実施例による検査方法のフローチャートである。図２に示すように、ステップＳ２１において、透過走査システムによって被検査貨物の透過画像を取得する。例えば、検出されるコンテナ付きトラックが一定の速度で検出領域を通過する時、透視画像を生じることができる。走査機器が異なると、放射線源のエネルギー／線量、検出器のサイズ、マシーンの構造、車の速度、及び、ビームを射出する周波数が異なるため、取得される画像の解像度も少々異なる。ある実施例において、必要に応じて、透視画像に対して正規化処理を行う。即ち、輝度を正規化し、解像度を例えば５*５(ｍｍ／ｐｉｘｅｌ)にズーミングする。

ステップＳ２２において、前記透過画像を処理し、注目領域を取得する。前処理によって、主体貨物領域を取得することができる。例えば、まず、透過画像におけるコンテナ領域を抽出してから、主体貨物領域を抽出する。例えば、妨害を避けると共に無用な算出を低減するように、主体貨物の外周領域を除去する。

また、ある実施例において、画像における空気領域及び透過不可能領域の影響を除去してもよい。本発明の実施例において、直接に閾値の方法によって、透視画像における空気領域及び透過不可能領域を検出する。これによって、貨物を検出する際に、空気領域及び透過不可能領域の影響を避けることができ、検出速度を高めるとともに、エラー報告を減少することができる。

ステップＳ２３において、前記注目領域から特徴を抽出し、抽出された特徴に基づいて前記被検査貨物の貨物情報を特定する。異なる実施例において、この貨物情報は、貨物の積み重ねモード(例えば、確率値で示す)や貨物の類型(例えば、ある特定の貨物の確率値)などである。他の実施例において、貨物の類型は、原子番号及び／又は電子密度及び／又は重量厚さなどによって特定されることができる。

ステップＳ２４において、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、当該貨物に対する推薦処理意見を提供する。例えば、画像処理によって得られる貨物情報と通関申告書から得られる貨物情報とを組み合わせて、推薦処理意見を提供する。例えば、両者が一致しない場合、通過させないしたり、一致性の確率に基づいて段階的に処理する。

本発明の実施例において、貨物検査システムは、 (１)情報全体の推定と、(２)一部情報の推定と、(３)能動学習と、を含む。情報全体推定システムは、主に、貨物積み重ねモードの推定と、貨物類型の推定と、混合貨物の階層推定と、異常事件の推定に振り分けられる。

貨物積み重ねモードの推定は、貨物のＸ線画像を解析することによって、貨物の積み重ねモードを予測し、通関申告における(通関申告書のデータからの)貨物類型と一致する確率を推定して、推薦処理意見を提供する。

貨物類型は、税関ＨＳＣＯＤＥコードによって指定される。コンテナにおける貨物の積み重ねには、一般的なルールがあるが、主に、図３に示すような四つの積み重ねモードに振り分けられる。一般的には、貨物類型が異なると、積み重ねモードも異なる。例えば、一般的に、パルプ貨物は、積み重ねモード１になり、穀物貨物は、積み重ねモード２になり、酒類貨物は、積み重ねモード３になり、オートバイ貨物は、積み重ねモード４になる。画像解析によって、貨物積み重ねモードに対する予測を提供することができる。通関申告書の情報を検索することによって、貨物の通関申告の類型を提供して、さらに、この類型の貨物の一般的な積み重ねモードを取得することができる。両方の情報を組み合わせて、貨物と通関申告の(通関申告書のデータからの)貨物の類型との一致性を推定することができる。貨物積み重ねモードの一致性に基づいて、推薦処理意見を提供する。

図６は、貨物積み重ねモードの予測および推薦処理意見のフローチャートを示す。ステップＳ６１、Ｓ６２、Ｓ６３において、走査によってコンテナ付きトラックの走査画像を取得し、この走査画像からコンテナ領域を抽出してから、分割アルゴリズムによって貨物領域を抽出する。好ましくは、ここで、分割アルゴリズムは、ＳＲＭ(Ｓｔａｔｉｓｔｉｃａｌ Ｒｅｇｉｏｎ Ｍｅｒｇｅ)アルゴリズムを用いる。分割された領域を更に処理し、閾値制限方法によって貨物なし領域を除去し、面積がコンテナ全体の１／３以下である領域を除去する。すると、残りの領域を主体貨物領域とする。

ステップＳ６４において、主体貨物領域に対して画像特徴の抽出を行う。好ましくは、ここで、Ｔｅｘｔｏｎ＋ＢＯＷ(Ｂａｇ ｏｆ Ｗｏｒｄｓ)方法を用いるが、このような組み合わせに限定されない。例えば、前記注目領域から被検査貨物の積み重ねモードの描写情報を抽出し、描写情報に基づいて前記透過画像の注目領域における貨物の積み重ねモードの確率を特定する。

好ましくは、注目領域から被検査貨物の積み重ねモードの描写情報を抽出するステップは、注目領域を区画して、区画された画像に対してエッジを抽出するステップと、抽出されたエッジの有効な位置でテクスチャ特徴を抽出するステップと、前記テクスチャ特徴に最も近接する元素を辞書から探して、該当領域のヒストグラムを取得するステップと、を含む。ここで、前記辞書は、訓練画像サンプルによって作成されたものである。好ましくは、サンプル画像ごとに等間隔でサンプリングを行い、位置ごとにテクスチャ特徴を抽出し、全ての位置で抽出されるテクスチャ特徴をクラスタリングして、複数のクラスタリング中心の特徴描写を取得することで、前記辞書を形成する。

ステップＳ６５において、最後に、ＳＶＭ(Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ)分類モデルを引き入れて分類を行うことで、予測積み重ねモードを取得する。

ステップＳ６６、Ｓ６７、Ｓ６８において、通関申告書を検索することによって、貨物の通関申告類型を取得し、貨物の一般的な積み重ねモードをさらに取得することができる。例えば、通関申告書に基づいて特定された積み重ねモードの貨物類型の確率に、透過画像に基づいて特定された積み重ねモードの確率を掛けることによって、一致性の確率を特定する。そして、当該一致性の確率が所定値より小さい場合、該当貨物と通関申告書における貨物とが一致しないと判断する。以下の式によって貨物類型の一致性の確率を算出する。

また、推薦処理意見は、「通過可能」、「少々異なるみたい」、「真剣に検査する必要があるみたい」、「真剣に検査する必要がある」という四つのレベルに振り分けられる。

貨物種類の推定は、貨物のＸ線画像内容と、二重エネルギーの材料識別情報と、通関申告書のデータとを解析することによって、貨物の可能な類型を予測し、通関申告の (通関申告書のデータからの) 貨物類型との一致性を推定して、リスクの程度及び推薦処理意見を提供する。貨物類型は、税関ＨＳＣＯＤＥコードによって指定される。貨物類型に対する予測は、画像内容情報と、二重エネルギーの材料識別情報と、輸出入の会社や輸出入の国家、輸出入の時間等の情報のような通関申告書からのデータとに対してモデル化し、協力推定を完成することができる。結果を推定することによって、最終的に通関申告書の貨物類型との一致性を提供する。予測の貨物類型と通関申告の (通関申告書のデータからの) 貨物類型の税金の差異や、輸出管理程度に対する解析によって、コストモデルを作成し、リスク程度を提供する。これらによって、推薦処理手法を提供する。

図７は、本発明の実施例による貨物類型予測、リスト推定及び推薦処理意見のフローチャートを説明する。ステップＳ７１、Ｓ７２、Ｓ７３において、コンテナ付きトラックの走査画像に対してコンテナ領域の抽出を行い、分割アルゴリズムによって貨物領域を抽出する。好ましくは、ここで、分割アルゴリズムは、ＳＲＭ（Ｓｔｒｕｃｔｕｒａｌ Ｒｉｓｋ Ｍｉｎｉｍｉｚａｔｉｏｎ）アルゴリズムを用いる。分割された領域を更に処理し、閾値制限方法によって貨物なし領域を除去し、面積がコンテナ全体の１／３以下である領域を除去し、残りの領域を主体貨物領域とする。

ステップＳ７４において、主体貨物領域に対して画像特徴抽出を行う。好ましくは、ここで、Ｔｅｘｔｏｎ＋ＢＯＷ(Ｂａｇ ｏｆ Ｗｏｒｄｓ)方法を用いるが、このような組み合わせに限定されない。好ましくは、ステップＳ７５において、ＳＶＭ(Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ)分類モデルを引き入れて分類を行い、予測貨物類型を予備的に取得する。ステップＳ７６において、確率モデルと共に通関申告書の情報を用いるが、通関申告書の情報は、輸出入会社、輸出入時間、輸出入国家を含む。

確率式は、以下の通りである。

ステップＳ７７において、以下の税金および貨物管理によるコストモデルによって、コスト値を算出し、ステップＳ７８において、コスト値に基づいてリスクの程度を特定する。

ただし、Ｔ_ｍは、通関申告書における貨物類型に対して必要な税率であり、Ｔ_ｐは、予測貨物類型に対して必要な税率であり、Ｃ_ｐは、予測貨物類型が制御貨物であるか否かを示すが、制御貨物である場合に「１」を取り、そうでない場合に「０」を取る。α、βは、パラメータであるが、コストモデルに対する税率及び制御の影響程度をコントロールする。ステップＳ７９において、「通過可能」、「少々異なるみたい」、「真剣に検査する必要があるみたい」、「真剣に検査する必要がある」という四つのレベルの推薦処理意見を提供することができる。

混合貨物の階層推定は、物理・数学モデルによって混合貨物を構成する成分を推定する。図４は、階層推定の模式図である。好ましくは、１０個の原子番号ずつ１層を構成し、この段階の物質を表示する。スベクトル分布を有するＸ線を、あるエネルギーのシングルエネルギーのＸ線として見なす。これにより、物理化過程全体は、ある等価的なシングルエネルギーのＸ線が混合物質を透過する過程に簡単化される。シングルエネルギーのＸ線が混合物質を透過する減衰ルール式を作成することによって、入力放射線の強度と出力放射線の強度の関係を導出する。教師あり学習によって、未知の等価的なエネルギーのＸ線における異なる原子番号の物質の質量減衰係数を求める。実際に、混合物質の推定において、スパース方法によって、重量厚さのスパース解を算出し、混合物の構成を推定する。

加速器から発生された、エネルギースペクトル分布を有するＸ線について、物質を透過する時の減衰ルールは、以下の通りである。

ただし、Ｉ_Ｅ′は、エネルギーがＥ′であるＸ線の線量であり、Ｉは、Ｘ線が物質を透過した後の線量の合計である。μ(Ｅ′，Ｚ)は、質量減衰係数であるが、物質の原子番号及びＸ線のエネルギーに関する。ｔ_ｍは、重量厚さであり、物質の原子番号に関する。

μ_ｅｆｆ(Ｚ)で、指定されるエネルギースペクトル分布のＸ線における質量減衰係数を示すが、μ_ｅｆｆ(Ｚ)は、物質の原子番号のみに関し、等価質量減衰係数に定義される。これにより、上記式は、以下のように変化する。

ただし、Ｉ_０は、Ｘ線の出力線量を示し、Ｉは、Ｘ線が物質を透過した後の線量であり、μ_ｅｆｆ(Ｚ)は、等価質量減衰係数であり、ｔ_ｍ(Ｚ)は、重量厚さを示す。

混合物について、上記式は以下の通りである。

透明度ｌｎＴの算出は、以下の通りである。

二重エネルギーシステムには、高エネルギー及び低エネルギーのＸ線エネルギースペクトルがあるため、以下の式を満たす。

これを、以下の行列式に簡単化することができる。
Ｙ＝ＭＸ

異なるエネルギースペクトルに対する等価質量減衰係数が特定の定数でないため、試験によって取得することができない。好ましくは、本発明において、教師ありスパース辞書学習アルゴリズムを用いるが、これに限定されない。具体的なアルゴリズムは、以下の通りである。

１)辞書学習：以下の最適化関数を作成する。

２)訓練サンプルに基づいて、{Ｘ,Ｙ}について辞書学習を行い、行列Ｍを取得する。
３)混合物構成の成分推定：以下の最適化関数を作成する。

４)上記関数を最小化してスパース解Ｘを取得するが、非零項は、可能な構成成分を表す。

以上に説明した混合物成分の推定アルゴリズムによって、混合物の階層表示を図ることができる。

異常事件の推定は、貨物画像内容情報、輸出入会社、輸出入国家及び輸出入時間情報に基づく異常事件の推定手段である。一般的に、輸出入会社が異なると、異なる輸出入貨物を経営し、国家が異なると、ある特定の貨物類型を輸出入する傾向がある。類似品の貨物は、一定の時間内に集中して輸出入される。推定の過程は、画像内容の検索エンジンによって、現在の走査貨物に類似する貨物のリストを取得し、それに対応する輸出入会社、輸出入国家、及び、輸出入時間に基づいて、分布関係図を作成する(図５を参照)。作成された分布図及び通関申告書のデータに基づいて、現在このような類型の貨物を輸出入することが慣例的な行為に属するか否かを直観的に提供することができる。

図８は、本発明の実施例による類似貨物の分布推定のフローチャートである。貨物画像に対する前処理は、貨物積み重ねモード推定における処理とほぼ同じである。このため、ステップＳ８１、Ｓ８２、Ｓ８４は、図６を参照して説明されたＳ６１、Ｓ６２、Ｓ６４と同じ、ここでは詳細の説明を略する。

ステップＳ８５で、貨物画像に対する特徴の描写を取得した後、画像内容に基づく検索モジュールに移行し、類似度が８０％以上である貨物画像リストを取得する。リストにおける画像に基づいて、対応する通関申告書のデータから、輸出入国家、輸出入会社および輸出入時間データを抽出する。貨物の類型に応じて、検索して得られた類似貨物画像リストを分類し、異なる国家や異なる会社が異なる時間帯に同類の貨物を輸出入した確率を取得する。好ましくは、ステップＳ８６で、図５の可視化手段を利用する。時間軸を作成することによって、異なる時間帯での類似貨物を輸出入する状況を表示する。各時間帯内に、異なる楕円によって異なる輸出入国家ペアを表示し、その内部で、異なる楕円によって異なる輸出入会社が類似の貨物を輸出入する確率の分布を表示する。現在走査される貨物の輸出入国家、輸出入会社、輸出入時間及び通関申告貨物の類型に基づいて、当該類型の貨物が当該会社によって指定国家に輸出入されることが慣例的な事件に属するか否かを直観的に推定することができる。

一部情報推定システムは、主に、重要領域の案内と、単一スタック貨物の推定と、ユーザ指定一部領域情報の推定に振り分けられる。

重要領域の案内は、主に、ユーザが貨物のＸ線画像の特異性領域を注目するように快速に案内を行う。特異性領域は、主に、(１)主体貨物領域の積み重ねモードからずれた貨物領域と、(２)貨物類型を予測不可能な小さな貨物領域と、(３)全般的なテクスチャとの差異が大きい一部領域と、を含む。通常、禁制品は、これらの特異性領域に挟まれている。上記(１)及び(２)の特異性領域の抽出は、画像の分割および領域の識別によって間接的に提供されてもよい。積み重ねモード又は貨物類型を識別することができない領域について、その面積が指定範囲内にある場合、特異性領域と見なすことができる。上記(３)の特異性領域の抽出は、主に、教師あり学習の方法に基づいてテクスチャの類似度の算出モデルを構築し、顕著性の検出方法によって特異性領域の検出を行う。

重要領域は、主体積み重ねモードからずれた領域と、貨物類型を予測不可能な小さな領域と、全般的なテクスチャとの差異が大きい一部領域という三つの異なる類型に振り分けられる。第１及び第２の重要領域は、貨物積み重ねモードの推定および貨物類型の推定によって間接的に提供されることができる。第３の重要領域を算出するには、テクスチャの類似度の定義を提供しなければならない。好ましくは、教師あり学習の手法によって人間の理解空間を構築し、テクスチャブロックの類似度の定義を作成する。しかし、これに限定されない。

人間の理解空間を構築するステップは、
訓練貨物画像から異なるテクスチャブロックを採集する第１のステップと、
人間の主観的な判断によって、テクスチャブロックの類似度を比較する第２のステップと、
テクスチャブロックから特徴を抽出する第３のステップと、
Ｓｔｏｃｈａｓｔｉｃ ｔｒｉｐｌｅｔ ｅｍｂｅｄｄｉｎｇアルゴリズムによって、テクスチャの類似度の比較モデルを構築する第４のステップと、を含み、これで理解空間の構築を終了する。

テクスチャの類似度モデルが構築された後、顕著性検出の一般的な方法によって、第３種類の重要領域の抽出を完了することができる。

単一スタック貨物の推定は、主に、スタックを独立して構成したがスタックが小さいため情報全体の推定に参与することができない貨物に対して、処理を行う手法であるが、対応する貨物類型を推定する。主に、相互推定方法を用いるが、画像内容の情報とユーザの相互情報とを組み合わせて協力して推定する必要がある。所定の画像情報での貨物類型およびユーザ相互応答の協力確率モデルを構築することによって、協力推定を実現する。

単一スタック貨物の推定は、相互推定方法を採用し、画像内容及び人間の相互によって、単一スタック貨物を推定して識別する。好ましくは、確率モデルを構築する。

ただし、ｚは、貨物の類別を示し、Ｕは、ユーザの相互応答を示し、ｘは、画像内容を示す。ｐ(ｚ|ｘ)は、一般的な画像識別アルゴリズムによって取得してもよいが、ｐ(Ｕ|ｚ,ｘ)は、人間の相互応答によって取得しなければならない。

相互情報の引き入れにより、単に画像内容に基づいて構築されるモデルの正確性を効果的に向上させることができる。どんな相互情報を選択するかは、極めて重要である。相互情報は、アルゴリズムによって画像内容の解析から直接に得られる情報と互いに補足して、より多い有効な情報を引き入れて識別に参与する。

好ましくは、ここで、相互情報は、単一スタック貨物の最も代表的なテクスチャブロックを選択し、当該単一スタック貨物の画像に類似する貨物を候補リストから選択するようにして、選択される。

ユーザ指定一部領域情報の推定は、主に、一部領域のテクスチャ情報に基づいて、このようなテクスチャを表す貨物類型の分布、平均原子番号、及び、コンテナでの位置を推定する。貨物類型の分布の推定は、主に、テクスチャによる画像検索手段を利用する。平均原子番号の推定は、主に、二重エネルギーＸ線の材料識別アルゴリズムを利用する。コンテナでの位置の推定は、画像における当該領域の位置および画像のズーム倍率に基づいて確定される。

例えば、以上の推定を実現する過程は、指定領域のテクスチャ特徴を抽出する、好ましくはＦｉｓｈｅｒ Ｖｅｃｔｏｒを用いる第１のステップと、画像内容の検索エンジンに応じて、類似度が８０％以上であるテクスチャブロックのリストを取得する第２のステップと、検索されたテクスチャブロックのリストに応じて、対応する貨物種類の情報を取得することで、このようなテクスチャを表す貨物類型の分布図を作成する第３のステップと、二重エネルギーの材料識別アルゴリズムによって、平均原子番号を取得する第４のステップと、画像のズーム倍率および指定領域での画素の位置から、コンテナでの座標位置を取得する第５のステップと、を含む。

能動学習システムは、現在のモデルによって判別しにくい画像サンプルを能動的に発見し、それをユーザに提供して、ユーザがラベルを付けるようにして、モデルのオンライン更新を行う。能動学習モジュールは、システム全体の推定および一部システムの推定に、リアルタイムサービスを提供する。能動学習システムは、ベース・アシスト・システムであり、主に、貨物積み重ねモデルの推定および貨物類型の推定のモデルにサービスを提供する。現在のモデルに基づいて識別しにくいサンプルを能動的に発見し、モデルをオンラインで更新する。

以上に示す詳細の記載は、模式図、フローチャット及び／又は例示によって、検査方法およびシステムに係る複数の実施例を説明した。このような模式図、フローチャット及び／又は例示が、一つ又は複数の機能及び／又は操作を含む場合に、当業者は、このような模式図、フローチャット又は例示における各機能及び／又は操作が、色々なハードウェア、ソフトウェア、ファームウェア又は実質上のこれらの任意の組み合わせによって、個別及び／又は共同で実現可能であることを理解できるだろう。一つの実施例において、本発明の実施例の前記主題のいくつかの部品は、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、またはその他の集積フォーマットで実現できる。当業者は、ここで開示された実施例の一方が、全体または部分的に集積回路で等価的に実現されてもよいことを理解できるだろう。例えば、一つ又は複数のコンピュータで実行される一つ又は複数のコンピュータプログラム（例えば、一つ又は複数のコンピュータシステムによって実行される一つ又は複数のプログラム）によって実現されてもよく、一つ又は複数のプロセッサで実行される一つ又は複数のプログラム（例えば、一つ又は複数のマイクロプロセッサで実行される一つ又は複数のプログラム）によって実現されてもよく、ファームウェア又は実質上に上記形態のいずれの組み合わせによって実現されてもよい。また、当業者は、本開示を元に、回路の設計及び／又はソフトウェアの書き込み及び／又はファームウェアのコーディングの能力を備えることになろう。また、当業者は、本開示のメカニズムは、複数の形態のプログラム製品として発行されてもよく、発行を支持する信号担体媒体の具体的な類型が何になっても、本開示の例示的な実施例は依然として適用可能であることを理解できるだろう。信号担体媒体の例示として、例えば、ソフトディスク、ハートディスクドライバ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリ等の記録可能な記録媒体や、デジタル及び／又はアナログ通信媒体（例えば、光ファイバ、導波管、有線通信リング、無線通信リング等）の搬送媒体を含むが、これらに限定されない。

以上、本発明の典型的な実施例に基づいて本発明を説明したが、当業者は、使用された用語が、説明および例示のためであり、本発明を限定するものではないことを理解すべきである。また、本発明は、精神及び主旨を逸脱しない限り、色々な形態で具体的に実施できるため、上記した実施例は、前述の詳細に限らず、特許請求の範囲内で広く解釈すべきである。特許請求の範囲または等価範囲内での全ての変更や改進は、特許請求の範囲に含まれる。

Claims (18)

1. 被検査貨物の透過画像を取得するステップと、
   前記透過画像を処理して、注目領域を取得するステップと、
   前記注目領域から被検査貨物の積み重ねモードの描写情報を抽出することを含めて、前記注目領域から特徴を抽出するステップと、
   抽出された特徴に基づいて、貨物の積み重ねモードを含む前記被検査貨物の貨物情報を特定するステップと、
   前記描写情報に基づいて前記透過画像の注目領域における貨物の積み重ねモードの確率を特定するステップと、
   通関申告書に基づいて特定した積み重ねモードの貨物類型の確率に、透過画像に基づいて特定した積み重ねモードの確率を掛けることによって、一致性の確率を特定し、該一致性の確率が所定値より小さい場合に、前記被検査貨物と通関申告書における貨物とが一致しないと判断することを含めて、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、前記被検査貨物に対する推薦処理意見を提供するステップと、を含む貨物の検査方法。
2. 前記注目領域から被検査貨物の積み重ねモードの描写情報を抽出するステップは、
   注目領域を区画し、区画された領域の画像からエッジを抽出するステップと、
   抽出されたエッジにおける有効な位置から、テクスチャ特徴を抽出するステップと、
   前記テクスチャ特徴に最も近接する元素を辞書から探して、前記領域のヒストグラムを取得するステップと、を含み、
   前記辞書は、訓練サンプルに基づいて構築されたものである請求項１に記載の貨物の検査方法。
3. 訓練サンプルごとに等間隔のサンプリングを行い、各位置でテクスチャ特徴を抽出し、全ての位置で抽出されたテクスチャ特徴に対してクラスタリングを行い、複数のクラスタリング中心の特徴描写を取得することで、前記辞書を構築する請求項２に記載の貨物の検査方法。
4. 前記被検査貨物に対して貨物領域を抽出し、閾値限定によって貨物なし領域を除去することで、注目領域を特定する請求項１に記載の貨物の検査方法。
5. 前記貨物情報は、具体的に、貨物類型であり、前記注目領域から特徴を抽出するステップは、前記注目領域から被検査貨物の貨物類型の描写情報を抽出するステップを含み、
   前記描写情報に基づいて前記透過画像の注目領域における貨物の貨物類型の確率を特定し、
   前記確率と共に、輸出入会社と輸出入時間と輸出入国家とを使用して、前記被検査貨物と通関申告書における貨物類型との一致性の確率値を取得する請求項１に記載の貨物の検査方法。
6. 貨物類型に対する確率は、原子番号および電子密度に基づいて特定される請求項５に記載の貨物の検査方法。
7. 特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて前記被検査貨物に対する推薦処理意見を提供するステップは、
   予測の貨物類型に対して必要な税金と通関申告書貨物類型に対して必要な税金との間の差異の比較、及び、輸出入国家の貨物に対する輸出管理程度に対する解析によって、コストモデルを構築して、前記被検査貨物に対する推薦処理意見を提供する請求項５に記載の貨物の検査方法。
8. 画像内容の検索エンジンによって、被検査貨物に類似する貨物のリストを取得するステップと、
   前記貨物のリストに関する輸出入会社と輸出入国家と輸出入時間に応じて、分布関係図を構築するステップと、
   構築された分布関係図に基づいて、前記貨物が正常な貨物に属するか否かを特定するステップと、をさらに含む請求項１に記載の貨物の検査方法。
9. 貨物類型に基づいて、検索された被検査貨物に類似する貨物のリストを分類し、異なる国家、異なる会社が異なる時間帯に同類の貨物を輸出入する確率を算出する請求項８に記載の貨物の検査方法。
10. 時間軸を構築することによって、異なる時間帯に類似の貨物を輸出入する状況を表示する請求項９に記載の貨物の検査方法。
11. 時間帯ごとに、異なる図形によって異なる輸出入国家ペアを表示すると共に、異なる輸出入会社が類似の貨物を輸出入する確率の分布を表示する請求項８に記載の貨物の検査方法。
12. 主体貨物領域の積み重ねモードからずれた貨物領域、貨物類型を予測不可能な小さな貨物領域、又は、全般的なテクスチャとの差異が大きい一部領域をユーザに提示するステップを、さらに含む請求項１に記載の貨物の検査方法。
13. 相互推定方法によって、スタックを独立して構成したがスタックが小さいため情報全体の推定に参与することができない貨物に対して、貨物類型を特定するステップを、さらに含む請求項１に記載の貨物の検査方法。
14. 一部領域のテクスチャ情報に基づいて、このようなテクスチャを呈示可能な貨物の類型、平均原子番号、又は、コンテナでの位置を推定するステップを、さらに含む請求項１に記載の貨物の検査方法。
15. 前記注目領域におけるテクスチャ特徴を抽出するステップと、
    画像内容の検索エンジンに基づいて、類似度が所定値より高いテクスチャブロックのリストを取得するステップと、
    テクスチャブロックのリストの貨物種類の情報を特定し、このようなテクスチャを表す貨物類型の分布を構成するステップと、をさらに含む請求項１４に記載の貨物の検査方法。
16. 二重エネルギーの材料識別アルゴリズムによって、被検査貨物の平均原子番号を取得する請求項１５に記載の貨物の検査方法。
17. 画像のズーム倍率および指定領域での画素位置によって、前記注目領域のコンテナでの実際の位置を取得する請求項１５に記載の貨物の検査方法。
18. 被検査貨物を走査して、被検査貨物の透過画像を取得する放射線イメージングシステムと、
    前記透過画像を処理して注目領域を取得し、前記注目領域から被検査貨物の積み重ねモードの描写情報を抽出することを含めて、前記注目領域から特徴を抽出し、抽出された特徴に基づいて、貨物の積み重ねモードを含む前記被検査貨物の貨物情報を特定し、前記描写情報に基づいて前記透過画像の注目領域における貨物の積み重ねモードの確率を特定し、通関申告書に基づいて特定した積み重ねモードの貨物類型の確率に、透過画像に基づいて特定した積み重ねモードの確率を掛けることによって、一致性の確率を特定し、該一致性の確率が所定値より小さい場合に、前記被検査貨物と通関申告書における貨物とが一致しないと判断することを含めて、特定された貨物情報および通関申告書の少なくとも一部の情報に基づいて、前記被検査貨物に対する推薦処理意見を提供するデータ処理装置と、を備える貨物の検査システム。

Images