JP7758064B2

JP7758064B2 - Verification device, verification method, and program

Info

Publication number: JP7758064B2
Application number: JP2023578336A
Authority: JP
Inventors: 拓也小川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2022-02-07
Filing date: 2022-02-07
Publication date: 2025-10-22
Anticipated expiration: 2042-02-07
Also published as: JPWO2023148964A1; WO2023148964A1

Description

本発明は、照合精度を保ちつつ再現率を向上させる汎用的な照合の技術を提供できるようにする照合装置、照合方法、およびプログラムに関する。 The present invention relates to a matching device, a matching method, and a program that can provide a general-purpose matching technology that improves recall while maintaining matching accuracy.

従来、画像上での物体照合技術が知られている。画像上での物体照合は、”見え”や“色”など定めた指標に従い、その信頼度を算出することによって行われる。信頼度によって、物体の、指標についての類似度が表される。しかし、様々な環境変化や対象物体自身の変化に対応可能な”単一の指標”を設計することは難しい。 Technologies for matching objects in images are known. Object matching in images is performed by calculating the reliability of a predefined index, such as "appearance" or "color." The reliability represents the similarity of the object with respect to the index. However, it is difficult to design a "single index" that can adapt to various environmental changes and changes in the target object itself.

そこで、複数の指標を組み合わせて、様々な環境変化や対象物体自身の変化に対応することが行われている。 Therefore, multiple indicators are combined to respond to various environmental changes and changes in the target object itself.

例えば、指紋照合を行うとき、２つの指標を用いる技術が提案されている。特許文献１では、第１パタン照合では、群遅延スペクトルと指紋登録者の登録済特徴量とのパタン照合が行なわれる。第２パタン照合では、空間スペクトルと予め同様の処理をした指紋登録者の登録済空間スペクトルとのパタン照合が行なわれる。For example, a technology has been proposed that uses two indices when performing fingerprint matching. In Patent Document 1, the first pattern matching involves pattern matching between the group delay spectrum and the registered features of the fingerprint registrant. The second pattern matching involves pattern matching between the spatial spectrum and the registered spatial spectrum of the fingerprint registrant that has been subjected to similar processing in advance.

日本国特許出願平６－６０１６７号公報Japanese Patent Application No. Hei 6-60167

しかし、複数の指標のいずれかを基準に照合を行うと、照合精度が低下する。一方で、指標を単純に掛け合わせて照合を行うと、同じ物体であるにもかかわらず、不一致と判定されることが多く、再現率が低下するという課題がった。However, matching based on any one of multiple indices results in a decrease in matching accuracy. On the other hand, simply multiplying indices to perform matching often results in mismatches even when the objects are the same, resulting in a decrease in recall.

本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、照合精度を保ちつつ再現率を向上させる汎用的な照合の技術を提供できるようにすることである。 One aspect of the present invention has been made in consideration of the above problems, and one of its objectives is to provide a general-purpose matching technology that improves recall while maintaining matching accuracy.

本発明の一側面に係る照合装置は、対象データが示すオブジェクトに関する複数の指標の各々についての第１の信頼度を算出する第１の信頼度算出手段と、複数の前記第１の信頼度から複数の第２の信頼度を算出する第２の信頼度算出手段と、前記複数の第２の信頼度に基づき、前記オブジェクトの照合を行う照合手段とを備える。 A matching device according to one aspect of the present invention comprises a first reliability calculation means for calculating a first reliability for each of a plurality of indicators relating to an object indicated by target data, a second reliability calculation means for calculating a plurality of second reliability from the plurality of first reliability, and a matching means for matching the object based on the plurality of second reliability.

本発明の一側面に係る照合方法は、対象データが示すオブジェクトに関する複数の指標の各々についての第１の信頼度を算出すること、複数の前記第１の信頼度から複数の第２の信頼度を算出すること、前記複数の第２の信頼度に基づき、前記オブジェクトの照合を行うことを含む。 A matching method according to one aspect of the present invention includes calculating a first reliability for each of a plurality of indicators relating to an object indicated by target data, calculating a plurality of second reliability from the plurality of first reliability, and matching the object based on the plurality of second reliability.

本発明の一側面に係るプログラムは、コンピュータを、対象データが示すオブジェクトに関する複数の指標の各々についての第１の信頼度を算出する第１の信頼度算出手段と、複数の前記第１の信頼度から複数の第２の信頼度を算出する第２の信頼度算出手段と、前記複数の第２の信頼度に基づき、前記オブジェクトの照合を行う照合手段とを備える照合装置として機能させる。 A program relating to one aspect of the present invention causes a computer to function as a matching device comprising a first reliability calculation means for calculating a first reliability for each of a plurality of indicators relating to an object indicated by target data, a second reliability calculation means for calculating a plurality of second reliabilities from the plurality of first reliabilities, and a matching means for matching the object based on the plurality of second reliabilities.

本発明の一態様によれば、照合精度を保ちつつ再現率を向上させる汎用的な照合の技術を提供できるようにする。 One aspect of the present invention provides a general-purpose matching technology that improves recall while maintaining matching accuracy.

本発明の例示的実施形態１に係る照合装置の構成例を示すブロック図である。1 is a block diagram showing an example of the configuration of a matching device according to a first exemplary embodiment of the present invention; 本発明の例示的実施形態１に係る照合方法の流れを示すフローチャートである。1 is a flowchart showing the flow of a matching method according to the first exemplary embodiment of the present invention. 本発明の例示的実施形態２に係る情報処理装置の構成例を示すブロック図である。FIG. 10 is a block diagram showing an example of the configuration of an information processing device according to a second exemplary embodiment of the present invention. オブジェクトトラッキング処理の例を説明する画像である。10 is an image illustrating an example of an object tracking process. オブジェクトトラッキング処理の例を説明する画像である。10 is an image illustrating an example of an object tracking process. オブジェクトトラッキング処理の例を説明する画像である。10 is an image illustrating an example of an object tracking process. オブジェクトトラッキング処理の流れを説明するフローチャートである。10 is a flowchart illustrating the flow of an object tracking process. オブジェクト照合処理の詳細な例について説明するフローチャートである。10 is a flowchart illustrating a detailed example of an object matching process. 照合信頼度算出処理の詳細な例について説明するフローチャートである。10 is a flowchart illustrating a detailed example of a matching reliability calculation process. 本発明の例示的実施形態３に係る情報処理装置の構成例を示すブロック図である。FIG. 10 is a block diagram showing an example of the configuration of an information processing device according to a third exemplary embodiment of the present invention. 生体認証処理の例を説明する画像である。10 is an image illustrating an example of biometric authentication processing. 生体認証処理の流れを示すフローチャートである。10 is a flowchart showing the flow of biometric authentication processing. 各機能を実現するプログラムの命令を実行するコンピュータの例を示す図である。FIG. 1 illustrates an example of a computer that executes instructions of a program to realize each function.

〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。 [Example Embodiment 1]
A first exemplary embodiment of the present invention will be described in detail with reference to the drawings. This exemplary embodiment is a basic form of the exemplary embodiments described below.

＜照合装置２０の概要＞
本例示的実施形態に係る照合装置２０は、概略的に言えば、１又は複数のオブジェクトに関する照合処理を行う装置である。ここで、照合装置２０は複数のオブジェクトが互いに対応するオブジェクトであるか否かを判定することもできるし、各オブジェクトを照合用データと比較し、当該照合用データに整合するオブジェクトであるかを判定することもできる。 <Outline of the verification device 20>
The matching device 20 according to this exemplary embodiment is, in brief, a device that performs matching processing on one or more objects. Here, the matching device 20 can determine whether multiple objects correspond to each other, and can compare each object with matching data to determine whether the object matches the matching data.

なお、本明細書において、第１のオブジェクトと第２のオブジェクトとが対応するオブジェクトである場合、又は、これらのオブジェクトが同一視すべきオブジェクトである場合に、これらのオフジェクトは「同一」である、または、「互いに一致する」などと表現することもある。 In this specification, when a first object and a second object are corresponding objects, or when these objects are objects that should be considered the same, these objects may be said to be "the same" or "match each other."

照合装置２０において、互いに一致するオブジェクトは、一例として同一のＩＤによって管理される。例えば、あるフレームにおいて検出されたオブジェクトと、当該あるフレームの次のフレームにおいて検出されたオブジェクトとが同一のオブジェクトであると判定した場合、照合装置２０はこれらのオブジェクトに同一のＩＤを関連付けて管理する。In the matching device 20, objects that match each other are managed, for example, by the same ID. For example, if it is determined that an object detected in a certain frame and an object detected in the frame following that frame are the same object, the matching device 20 associates these objects with the same ID and manages them.

照合装置２０は、一例として、
対象データが示すオブジェクトに関する複数の指標の各々についての第１の信頼度を算出する第１の信頼度算出手段と、
複数の前記第１の信頼度から複数の第２の信頼度を算出する第２の信頼度算出手段と、
前記複数の第２の信頼度に基づき、前記オブジェクトの照合を行う照合手段と
を備えている。 The collation device 20, for example,
a first reliability calculation means for calculating a first reliability for each of a plurality of indices related to the object indicated by the target data;
a second reliability calculation means for calculating a plurality of second reliabilities from the plurality of first reliabilities;
and a matching means for matching the objects based on the plurality of second reliabilities.

＜照合装置２０の構成＞
本例示的実施形態に係る照合装置２０の構成について、図１を参照して説明する。図１は、照合装置２０の構成例を示すブロック図である。 <Configuration of the verification device 20>
The configuration of the verification device 20 according to this exemplary embodiment will be described with reference to Fig. 1. Fig. 1 is a block diagram showing an example of the configuration of the verification device 20.

図１に示すように、照合装置２０は、第１の信頼度算出部２１、第２の信頼度算出部２２、および照合部２３を備える。第１の信頼度算出部２１は、本例示的実施形態において第１の信頼度算出手段を実現する構成である。第２の信頼度算出部２２は、本例示的実施形態において第２の信頼度算出手段を実現する構成である。照合部２３は、本例示的実施形態において照合手段を実現する構成である。 As shown in FIG. 1, the matching device 20 includes a first reliability calculation unit 21, a second reliability calculation unit 22, and a matching unit 23. The first reliability calculation unit 21 is configured to realize a first reliability calculation means in this exemplary embodiment. The second reliability calculation unit 22 is configured to realize a second reliability calculation means in this exemplary embodiment. The matching unit 23 is configured to realize a matching means in this exemplary embodiment.

第１の信頼度算出部２１は、対象データが示すオブジェクトに関する複数の指標の各々についての第１の信頼度を算出する。ここで、対象データとは、照合装置２０による照合処理の対象となるデータのことであり、画像データ、音声データ、点群データ、及びその他のセンシングデータ等が含まれ得るが、これらは本例示的実施形態を限定するものではない。 The first reliability calculation unit 21 calculates a first reliability for each of multiple indicators related to the object indicated by the target data. Here, the target data refers to data that is the subject of matching processing by the matching device 20, and may include image data, audio data, point cloud data, and other sensing data, but these do not limit this exemplary embodiment.

また、本例示的実施形態において、オブジェクトに関する指標とは、当該オブジェクトに関する属性を示すものであってもよいし、当該属性を数値的に評価したものであってもよい。 Furthermore, in this exemplary embodiment, an index related to an object may indicate an attribute related to the object, or may be a numerical evaluation of the attribute.

例えば、対象データが画像データである場合、上記複数の指標は、当該画像データが示す画像の中のオブジェクトの色、形、模様などである。 For example, if the target data is image data, the above multiple indicators are the color, shape, pattern, etc. of an object in the image represented by the image data.

また、本例示的実施形態において「信頼度」とは、一例として、あるオブジェクトと、当該オブジェクトの比較対象とがどれだけ類似しているかを示す度合いである。例えば、動画像に表示されたオブジェクトを追跡する処理を実行する際には、時間的に前に撮影された画像に表示されたオブジェクトと、時間的に後に撮影された画像に表示されたオブジェクトがどれだけ類似するかを示す信頼度が用いられる。また、例えば、予め与えられた照合用データと物体とを比較する処理を実行する際には、照合用データによって示される特徴と、物体の特徴とがどれだけ類似するかを示す信頼度が用いられる。 In this exemplary embodiment, "reliability" refers, for example, to the degree of similarity between a certain object and an object to which the object is compared. For example, when performing a process to track an object displayed in a video, a reliability is used that indicates the degree of similarity between an object displayed in an image captured earlier in time and an object displayed in an image captured later in time. Also, for example, when performing a process to compare pre-given matching data with an object, a reliability is used that indicates the degree of similarity between the features indicated by the matching data and the features of the object.

第１の信頼度算出部２１は、例えば、対象データが示すオブジェクトの色、形、模様について、当該オブジェクトの色、形、模様と、当該オブジェクトの比較対象の色、形、模様との類似の度合いを表す値を算出し、第１の信頼度とする。 The first reliability calculation unit 21 calculates, for example, a value representing the degree of similarity between the color, shape, and pattern of an object indicated by the target data and the color, shape, and pattern of the object being compared to the object, and uses this value as the first reliability.

第２の信頼度算出部２２は、複数の第１の信頼度から複数の第２の信頼度を算出する。ここで、第２の信頼度算出部２２は、複数の第１の信頼度の一部又は全部に対して、所定の演算を適用することによって複数の第２の信頼度を算出する。 The second reliability calculation unit 22 calculates multiple second reliabilities from multiple first reliabilities. Here, the second reliability calculation unit 22 calculates multiple second reliabilities by applying a predetermined calculation to some or all of the multiple first reliabilities.

第２の信頼度は、例えば、第１の信頼度算出部２１が算出した複数の第１の信頼度の一部の積をとることによって得られた値であってもよい。この場合、第１の信頼度算出部２１が算出した複数の第１の信頼度のうち、何れの第１の信頼度を積の対象から外すかに応じて、複数の第２の信頼度が得られることになる。 The second reliability may be, for example, a value obtained by multiplying some of the multiple first reliabilities calculated by the first reliability calculation unit 21. In this case, multiple second reliabilities are obtained depending on which of the multiple first reliabilities calculated by the first reliability calculation unit 21 are excluded from the product.

上述の例においては、オブジェクトの色の類似度と形の類似度との積、オブジェクトの形の類似度と模様の類似度との積、およびオブジェクトの模様の類似度と色の類似度との積という３つの第２の信頼度が算出される。 In the above example, three second reliabilities are calculated: the product of the object's color similarity and shape similarity, the product of the object's shape similarity and pattern similarity, and the product of the object's pattern similarity and color similarity.

例えば、オブジェクトの色に関する第１の信頼度をｒ１１、オブジェクトの形に関する第１の信頼度をｒ１２、オブジェクトの模様に関する第１の信頼度をｒ１３とした場合、以下の第２の信頼度Ｒ２１、Ｒ２２、およびＲ２３が算出される。 For example, if the first reliability regarding the object's color is r11, the first reliability regarding the object's shape is r12, and the first reliability regarding the object's pattern is r13, the following second reliability R21, R22, and R23 are calculated.

Ｒ２１＝ｒ１１*ｒ１２，Ｒ２２＝ｒ１１*ｒ１３，Ｒ２３＝ｒ１２*ｒ１３
また、第２の信頼度は、第１の信頼度算出部２１が算出した複数の第１の信頼度に対して、所定のべき指数を演算したうえで互いに掛け合わせた値であってもよい。この場合、複数の第１の信頼度に対して、べき指数の複数の組み合わせを適用することによって、複数の第２の信頼度が得られることになる。
照合部２３は、複数の第２の信頼度に基づき、オブジェクトの照合を行う。照合部２３は、例えば、上述の３つの第２の信頼度のいずれかを閾値と比較することで、対象データが示すオブジェクトの照合結果を出力する。 R21=r11*r12, R22=r11*r13, R23=r12*r13
The second reliability may be a value obtained by multiplying a plurality of first reliabilities calculated by the first reliability calculation unit 21 by a predetermined exponent. In this case, a plurality of second reliabilities are obtained by applying a plurality of combinations of exponents to the plurality of first reliabilities.
The matching unit 23 matches objects based on a plurality of second reliabilities. For example, the matching unit 23 compares one of the three second reliabilities with a threshold value, and outputs a matching result of the object indicated by the target data.

＜照合装置２０による照合方法の流れ＞
以上のように構成された照合装置２０が実行する照合方法の流れについて、図２を参照して説明する。図２は、照合方法の流れを示すフローチャートである。同図に示されるように、照合処理は、ステップＳ１１、ステップＳ１２、およびステップＳ１３を含んでいる。 <Flow of the verification method by the verification device 20>
The flow of the verification method executed by the verification device 20 configured as described above will be described with reference to Fig. 2. Fig. 2 is a flowchart showing the flow of the verification method. As shown in Fig. 2, the verification process includes steps S11, S12, and S13.

ステップＳ１１において、第１の信頼度算出部２１は、対象データが示すオブジェクトに関する複数の指標の各々についての第１の信頼度を算出する。 In step S11, the first reliability calculation unit 21 calculates a first reliability for each of multiple indicators related to the object indicated by the target data.

ステップＳ１２において、第２の信頼度算出部２２は、複数の第１の信頼度から複数の第２の信頼度を算出する。 In step S12, the second reliability calculation unit 22 calculates multiple second reliabilities from multiple first reliabilities.

ステップＳ１３において、照合部２３は、複数の第２の信頼度に基づき、オブジェクトの照合を行う。 In step S13, the matching unit 23 matches the objects based on multiple second reliabilities.

＜照合装置２０および照合方法の効果＞
本例示的実施形態に係る照合装置２０および照合方法によれば、対象データが示すオブジェクトに関する複数の指標の各々についての第１の信頼度が算出され、複数の第１の信頼度から複数の第２の信頼度が算出され、複数の第２の信頼度に基づき、オブジェクトの照合が行われる。 <Effects of the verification device 20 and the verification method>
According to the matching device 20 and matching method of this exemplary embodiment, a first reliability is calculated for each of a plurality of indicators relating to an object indicated by target data, a plurality of second reliability is calculated from the plurality of first reliability, and the object is matched based on the plurality of second reliability.

このようにすることで、照合精度を保ちつつ再現率を向上させる汎用的な照合の技術を提供できる。例えば、照合するオブジェクトの種類、オブジェクトが存在する環境などにかかわらず、適正な照合精度と高い再現率を実現することができる。 This makes it possible to provide a general-purpose matching technology that improves recall while maintaining matching accuracy. For example, it is possible to achieve appropriate matching accuracy and high recall regardless of the type of object being matched or the environment in which the object exists.

〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。 Exemplary Embodiment 2
A second exemplary embodiment of the present invention will be described in detail with reference to the drawings. Note that components having the same functions as those described in the first exemplary embodiment are denoted by the same reference numerals, and their description will be omitted as appropriate.

＜情報処理装置１０の構成＞
本例示的実施形態に係る情報処理装置１０の構成について、図３のブロック図を参照して説明する。 <Configuration of information processing device 10>
The configuration of the information processing device 10 according to this exemplary embodiment will be described with reference to the block diagram of FIG.

図３は、情報処理装置１０の機能的構成例を説明するブロック図である。図３に示すように、情報処理装置１０は、照合装置２０、制御部３０、記憶部４０、通信部６１、入力部６２、および出力部６３を備えている。 Figure 3 is a block diagram illustrating an example of the functional configuration of the information processing device 10. As shown in Figure 3, the information processing device 10 includes a matching device 20, a control unit 30, a memory unit 40, a communication unit 61, an input unit 62, and an output unit 63.

照合装置２０は、例示的実施形態１において説明した照合装置２０と同様の機能を有する機能ブロックである。照合装置２０は、図１を参照して上述した機能をそれぞれ有する第１の信頼度算出部２１、第２の信頼度算出部２２、および照合部２３を備えている。The matching device 20 is a functional block having the same functions as the matching device 20 described in exemplary embodiment 1. The matching device 20 includes a first reliability calculation unit 21, a second reliability calculation unit 22, and a matching unit 23, each of which has the functions described above with reference to FIG. 1.

記憶部４０は、例えば、半導体メモリデバイスなどにより構成され、データを記憶する。この例では、記憶部４０に対象データおよび指標情報が記憶されている。 The memory unit 40 is configured, for example, by a semiconductor memory device, and stores data. In this example, the memory unit 40 stores target data and index information.

ここで、本例示的実施形態に係る対象データは、照合すべきオブジェクトを含むデータであり、例えば、動画の画像データである。また、指標情報は、第１の信頼度を算出するための演算方式などが示された情報である。 Here, the target data in this exemplary embodiment is data containing an object to be matched, such as video image data. Furthermore, the index information is information indicating the calculation method for calculating the first reliability.

通信部６１は、情報処理装置１０を、ネットワークに接続するためのインタフェースである。ネットワークの具体的構成は本例示的実施形態を限定するものではないが、一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、これらのネットワークの組み合わせを用いることができる。 The communication unit 61 is an interface for connecting the information processing device 10 to a network. The specific configuration of the network does not limit this exemplary embodiment, but as an example, a wireless LAN (Local Area Network), a wired LAN, a WAN (Wide Area Network), a public line network, a mobile data communication network, or a combination of these networks can be used.

入力部６２は、情報処理装置１０に対する各種の入力を受け付ける。入力部４２の具体的構成は本例示的実施形態を限定するものではないが、一例として、キーボード及びタッチパッド等の入力デバイスを備える構成とすることができる。また、入力部４２は、赤外線や電波等の電磁波を介してデータの読み取りを行うデータスキャナ、及び、環境の状態をセンシングするセンサ等を備える構成としてもよい。 The input unit 62 accepts various inputs to the information processing device 10. The specific configuration of the input unit 42 is not limited to this exemplary embodiment, but as an example, it may be configured to include input devices such as a keyboard and a touchpad. The input unit 42 may also be configured to include a data scanner that reads data via electromagnetic waves such as infrared rays or radio waves, and a sensor that senses the environmental state.

出力部６３は、情報処理装置１０による処理結果を出力する機能ブロックである。出力部４３の具体的構成は本例示的実施形態を限定するものではないが、一例として、ディスプレイ、スピーカ、プリンタなどにより構成され、情報処理装置１０による各種処理結果などを画面上に表示したり、音声や図として出力したりする。 The output unit 63 is a functional block that outputs the processing results of the information processing device 10. The specific configuration of the output unit 43 is not limited to this exemplary embodiment, but as an example, it is composed of a display, speaker, printer, etc., and displays various processing results of the information processing device 10 on a screen or outputs them as audio or figures.

制御部３０は、照合装置２０、記憶部４０、通信部６１、入力部６２、および出力部６３の各部を制御して各種の処理を実行する。また、制御部３０は、各種の画像処理を実行することで、例えば、照合装置２０によって照合されるオブジェクトの検出などを行う。 The control unit 30 controls the matching device 20, memory unit 40, communication unit 61, input unit 62, and output unit 63 to perform various processes. The control unit 30 also performs various image processing operations, such as detecting objects to be matched by the matching device 20.

情報処理装置１０は、上述したように照合装置２０を有しているので、図２を参照して上述した照合処理を実行し、処理結果を利用してさらなる処理を実行することができる。ここでは、一例として、情報処理装置１０が、照合装置２０の処理結果を利用してオブジェクトトラッキング処理を実行する場合について説明する。 As described above, the information processing device 10 has the matching device 20, and can therefore perform the matching process described above with reference to Figure 2 and use the processing results to perform further processing. Here, as an example, we will explain a case where the information processing device 10 performs object tracking processing using the processing results of the matching device 20.

ここで、オブジェクトトラッキング処理は、動画像に含まれる複数のフレームに亘って存在するオブジェクトのうち、対応する（同一の）オブジェクトに対して同一のＩＤを付す処理のことを言う。オブジェクトトラッキング処理では、一例として、時間的に前に撮影された画像のフレームに表示されたオブジェクトと、時間的に後に撮影された画像のフレームに表示されたオブジェクトとを照合することで、動くオブジェクトを追跡する。ここで、オブジェクトの照合は、照合装置２０により行われる。 Here, object tracking refers to the process of assigning the same ID to corresponding (identical) objects that exist across multiple frames in a video. As an example, object tracking tracks a moving object by matching an object displayed in a frame of an image captured earlier in time with an object displayed in a frame of an image captured later in time. Here, object matching is performed by matching device 20.

（オブジェクトトラッキング処理の対象となる画像の例）
図４乃至図６は、情報処理装置１０により実行されたオブジェクトトラッキング処理を説明する画像である。なお、オブジェクトトラッキング処理の流れについては、図７を参照して後述する。 (Example of an image that can be used for object tracking processing)
4 to 6 are images illustrating the object tracking process executed by the information processing device 10. The flow of the object tracking process will be described later with reference to FIG.

図４乃至図６の画像には、それぞれ路面上ではねるボールが写っている。 The images in Figures 4 to 6 each show a ball bouncing on the road surface.

図４乃至図６は、動画像を構成するフレームの１つに対応する画像とされる。例えば、動画像が、第１番目のフレームから第Ｎ番目のフレームまでのＮ個のフレームにより構成される場合、図５および図６に示される画像１０２が第ｔ番目のフレームの画像である。図４に示される画像１０１は、画像１０２より時間的に前に撮影された画像であって、ｔ－１番目のフレームの画像である。 Figures 4 to 6 are images corresponding to one of the frames that make up a moving image. For example, if a moving image is made up of N frames from the first frame to the Nth frame, image 102 shown in Figures 5 and 6 is the image of the tth frame. Image 101 shown in Figure 4 is an image taken temporally earlier than image 102, and is the image of the t-1th frame.

図４の画像１０１には、１６個のボールが写っており、それぞれのボールが矩形の枠で囲まれている。なお、画像の中の個々のボールは、既存のオブジェクト抽出処理などの画像処理によって検出されるようにしてもよいし、機械学習により学習されたモデルにより検出されるようにしてもよい。オブジェクトの検出は、例えば、入力部４２を介して行われるユーザの操作により示された領域の中から行われるようにしてもよい、予め指定された背景画像を除く領域の中から検出されるようにしてもよい。Image 101 in Figure 4 shows 16 balls, each surrounded by a rectangular frame. Each ball in the image may be detected using image processing such as an existing object extraction process, or may be detected using a model trained through machine learning. Object detection may be performed, for example, from within an area indicated by a user's operation via input unit 42, or may be performed from within an area excluding a pre-specified background image.

一例として、オブジェクトの検出は、グラフカット法により行うことができる。グラフカット法では、まず、切り出したいオブジェクトを含む前景オブジェクト画像と、背景画像とからなる２種類の画像の色分布や画素カラーの勾配から切り出すべき前景オブジェクト画像を構成する領域の境界を計算する。そして、計算された境界に沿って画像が切り出されることにより、切り出したい前景オブジェクト画像が抽出される。 As an example, object detection can be performed using the graph cut method. In the graph cut method, the boundary of the area that constitutes the foreground object image to be cut out is calculated from the color distribution and pixel color gradient of two types of images: a foreground object image containing the object to be cut out, and a background image. The image is then cut out along the calculated boundary, extracting the foreground object image to be cut out.

図４の１６個のボールには、それぞれＩＤ１乃至ＩＤ１６の認証番号（単にＩＤと称する）が付されている。 The 16 balls in Figure 4 are each assigned an identification number (simply referred to as ID) ranging from ID1 to ID16.

図５の画像１０２には、やはり１６個のボールが写っているが、画像１０２は、画像１０１よりも時間的に後に撮影された画像なので、各ボールの位置がわずかに異なっている。情報処理装置１０の制御部３０は、まず、画像１０２においてオブジェクト抽出処理などを行って、１６個のボールをオブジェクトとして検出する。Image 102 in Figure 5 also shows 16 balls, but because image 102 was taken later in time than image 101, the positions of each ball are slightly different. The control unit 30 of the information processing device 10 first performs object extraction processing on image 102 to detect the 16 balls as objects.

図５の例において、制御部３０は、検出されたオブジェクトである１６個のボールには、それぞれ矩形の枠を付しているが、まだＩＤを付していない。情報処理装置１０は、図５の画像１０２において検出されたオブジェクトであるボールのそれぞれが、画像１０１で検出されたＩＤ１乃至ＩＤ１６のボールと同一であるか否かを判定する。この際、照合装置２０により照合処理が実行され、画像１０２のオブジェクトが、画像１０１のオブジェクトと照合される。In the example of Figure 5, the control unit 30 has assigned rectangular frames to each of the 16 balls that are detected objects, but has not yet assigned an ID. The information processing device 10 determines whether each of the balls that are objects detected in image 102 of Figure 5 is the same as the balls with IDs 1 to 16 detected in image 101. At this time, the matching device 20 performs a matching process, and the objects in image 102 are matched with the objects in image 101.

照合の結果、画像１０２のボールが、画像１０１のボールと同一であると判定された場合、情報処理装置１０の制御部３０は、画像１０１のボールと同一の画像１０２のボールとに同じＩＤを関連付ける。例えば、画像１０１のＩＤ１のボールと同じボールと判定された画像１０２のボールには、ＩＤ１が付され、画像１０１のＩＤ２のボールと同じボールと判定された画像１０２のボールには、ＩＤ２が付される。同様にして、制御部３０は、画像１０２のボールにそれぞれＩＤを付していく。 If the result of the comparison indicates that the ball in image 102 is identical to the ball in image 101, the control unit 30 of the information processing device 10 associates the same ID with the ball in image 102 that is identical to the ball in image 101. For example, the ball in image 102 that is determined to be the same as the ball with ID 1 in image 101 is assigned ID 1, and the ball in image 102 that is determined to be the same as the ball with ID 2 in image 101 is assigned ID 2. In the same manner, the control unit 30 assigns IDs to each of the balls in image 102.

図６の画像１０２には、それぞれ矩形の枠で囲まれた１６個のボールが写っており、各ボールにＩＤ１乃至ＩＤ１６のＩＤが付されている。すなわち、情報処理装置１０は、画像１０１に写っていた１６個のボールのそれぞれを、画像１０２において特定する。情報処理装置は、このようにしてオブジェクトトラッキング処理を行う。 Image 102 in Figure 6 shows 16 balls, each surrounded by a rectangular frame, and each ball is assigned an ID from ID1 to ID16. In other words, the information processing device 10 identifies each of the 16 balls shown in image 101 in image 102. In this way, the information processing device performs object tracking processing.

なお、図４乃至図６を参照して上述した例では、画像１０１の１６個のボールのそれぞれがすべて画像１０２に写っている場合の例について説明した。しかし、例えば、弾んだボールが画面の外に出て、画像１０２に写らない場合もあり得る。例えば、画面の外に出たボールがＩＤ１のボールとＩＤ９のボールであったとき、情報処理装置１０は、画像１０２のボールには、ＩＤ１とＩＤ９を付さず、ＩＤ２乃至ＩＤ８およびＩＤ１０乃至ＩＤ１６を付すことになる。 In the example described above with reference to Figures 4 to 6, all 16 balls in image 101 are shown in image 102. However, there may be cases where, for example, a bouncing ball goes off screen and does not appear in image 102. For example, if the balls that go off screen are ball ID1 and ball ID9, the information processing device 10 will not assign ID1 and ID9 to the balls in image 102, but will instead assign ID2 to ID8 and ID10 to ID16.

また、例えば、新たなボールが飛んでくる場合もあり得る。この場合、情報処理装置１０は、画像１０２で、新たなボールに新たなＩＤ（例えば、ＩＤ１７）を付してもよい。 It is also possible that, for example, a new ball may be thrown. In this case, the information processing device 10 may assign a new ID (e.g., ID 17) to the new ball in image 102.

＜情報処理装置１０によるオブジェクトトラッキング処理の流れ＞
次に、図７のフローチャートを参照して、情報処理装置１０によるオブジェクトトラッキング処理の例について説明する。図７は、オブジェクトトラッキング処理の流れを説明するフローチャートである。 <Flow of object tracking process by information processing device 10>
Next, an example of object tracking processing by the information processing device 10 will be described with reference to the flowchart of Fig. 7. Fig. 7 is a flowchart illustrating the flow of the object tracking processing.

ステップＳ３１において、情報処理装置１０の制御部３０は、動画の画像データを取得する。画像データは、例えば、対象データとして、記憶部４０に記憶されている。なお、ここで取得される画像データは、動画像の画像データであり、複数のフレーム画像により構成される。In step S31, the control unit 30 of the information processing device 10 acquires image data of a moving image. The image data is stored, for example, as target data in the storage unit 40. Note that the image data acquired here is image data of a moving image and is composed of multiple frame images.

ステップＳ３２において、制御部３０は、変数ｔの値を初期値にする。 In step S32, the control unit 30 sets the value of variable t to its initial value.

ステップＳ３３において、制御部３０は、ｔ番目のフレームにおけるオブジェクトを検出する。具体的なオブジェクト検出処理については上述したためここでは説明を省略する。なお、本ステップにおいて、制御部３０は、例えば、図５に示されるように、検出したオブジェクトに矩形の枠（バウンディングボックス）を付してもよい。In step S33, the control unit 30 detects an object in the t-th frame. The specific object detection process has been described above, so a detailed description will be omitted here. In this step, the control unit 30 may, for example, attach a rectangular frame (bounding box) to the detected object, as shown in FIG. 5.

ステップＳ３４において、制御部３０は、ｔ－１番目のフレームにおいて照合対象オブジェクトを設定する。ここで、照合対象オブジェクトは、ｔ－１番目のフレームの画像に表示されたオブジェクトのうち、これから照合されるオブジェクトである。例えば、図４を参照して上述したＩＤ１乃至ＩＤ１６のボールのそれぞれが、照合対象オブジェクトとなる。In step S34, the control unit 30 sets a matching target object in the t-1th frame. Here, the matching target object is an object to be matched from among the objects displayed in the image of the t-1th frame. For example, each of the balls with ID1 to ID16 described above with reference to Figure 4 becomes a matching target object.

なお、ｔ－１番目のフレームの画像に照合対象オブジェクトが複数ある場合、個々の照合対象オブジェクトに対応して後述する処理が繰り返し実行される。 Note that if there are multiple objects to be matched in the image of the t-1th frame, the processing described below is repeatedly performed for each object to be matched.

ステップＳ３５において、制御部３０は、照合装置２０を制御して、後述するオブジェクト照合処理を実行させる。オブジェクト照合処理の詳細については、図８のフローチャートを参照して後述する。In step S35, the control unit 30 controls the matching device 20 to execute the object matching process described below. Details of the object matching process will be described later with reference to the flowchart of Figure 8.

ステップＳ３６において、制御部３０は、ステップＳ３１で取得された画像データに、次のフレームがあるか否かを判定する。ステップＳ３６において、次のフレームがあると判定された場合、制御部３０は、ステップＳ３７の処理を実行する。In step S36, the control unit 30 determines whether the image data acquired in step S31 includes a next frame. If it is determined in step S36 that a next frame exists, the control unit 30 executes the processing of step S37.

ステップＳ３７において、制御部３０は、変数ｔの値をｔ＋１に設定する。その後、制御部３０は、ステップＳ３３乃至ステップＳ３５の処理を繰り返し実行する。 In step S37, the control unit 30 sets the value of the variable t to t + 1. Then, the control unit 30 repeatedly executes the processes of steps S33 to S35.

ステップＳ３６において、次のフレームがないと判定された場合、ステップＳ３７の処理はスキップされ、制御部３０は、ステップＳ３８の処理を実行する。 If it is determined in step S36 that there is no next frame, the processing of step S37 is skipped and the control unit 30 executes the processing of step S38.

ステップＳ３８において、制御部３０は、照合結果を出力する。このようにして、オブジェクトトラッキング処理が実行される。このように、オブジェクトトラッキング処理では、対象データが、動画の画像データとされ、照合装置２０は、画像データの第１のフレームの画像に含まれるオブジェクトを、画像データの第２のフレームの画像に含まれるオブジェクトと照合する。 In step S38, the control unit 30 outputs the matching result. In this manner, the object tracking process is performed. In this manner, in the object tracking process, the target data is image data of a video, and the matching device 20 matches an object included in an image of a first frame of the image data with an object included in an image of a second frame of the image data.

（オブジェクト照合処理の流れ）
次に図８のフローチャートを参照して、図７のステップＳ３５のオブジェクト照合処理の詳細について説明する。 (Object matching process flow)
Next, the object matching process in step S35 of FIG. 7 will be described in detail with reference to the flowchart of FIG.

ステップＳ５１において、制御部３０は、ｔ番目のフレームのオブジェクトの中から候補オブジェクトを設定する。候補オブジェクトは、図７のステップＳ３４の処理で検出された照合対象オブジェクトと同じである可能性の高いオブジェクトである。一例として、ｔ－１番目のフレームの画像の中で照合対象オブジェクトが検出された位置の座標が求められ、ｔフレームの中で、当該座標を中心として一定の距離の範囲内に位置するオブジェクトが候補オブジェクトとして設定される。 In step S51, the control unit 30 sets a candidate object from among the objects in the t-th frame. A candidate object is an object that is likely to be the same as the object to be matched detected in the processing of step S34 in Figure 7. As an example, the coordinates of the position where the object to be matched is detected in the image of the t-1-th frame are determined, and an object located within a certain distance from the coordinates in the t-th frame is set as a candidate object.

ステップＳ５２において、照合装置２０は、後述する信頼度算出処理を実行する。ここで、図９のフローチャートを参照して、図８のステップＳ５２の信頼度算出処理の詳細な例について説明する。In step S52, the matching device 20 executes the reliability calculation process described below. Here, a detailed example of the reliability calculation process in step S52 of Figure 8 will be described with reference to the flowchart in Figure 9.

ステップＳ７１において、第１の信頼度算出部２１は、指標毎に、照合対象オブジェクトと候補オブジェクトを解析する。ここで、指標は、オブジェクトの色、形、模様、および速度であってよい。あるいは、オブジェクトの位置、サイズ、および加速度などが指標とされてもよい。In step S71, the first reliability calculation unit 21 analyzes the matching target object and the candidate object for each indicator. Here, the indicators may be the color, shape, pattern, and speed of the object. Alternatively, the position, size, acceleration, etc. of the object may be used as the indicator.

指標が、オブジェクトの色、形、模様、および速度である場合、第１の信頼度算出部２１は、例えば、指標「色」に関し、照合対象オブジェクトと候補オブジェクトの画素値の平均値などを算出する。また、第１の信頼度算出部２１は、例えば、指標「形」に関し、照合対象オブジェクトと候補オブジェクトの輪郭を近似する形状などが求める。さらに、第１の信頼度算出部２１は、例えば、指標「模様」に関し、照合対象オブジェクトと候補オブジェクトの中のエッジを検出する。 When the indicators are the color, shape, pattern, and speed of an object, the first reliability calculation unit 21 calculates, for example, the average pixel values of the object to be matched and the candidate object for the indicator "color." Furthermore, the first reliability calculation unit 21 determines, for example, the shape that approximates the contours of the object to be matched and the candidate object for the indicator "shape." Furthermore, the first reliability calculation unit 21 detects edges within the object to be matched and the candidate object for the indicator "pattern."

また、例えば、指標「速度」に関し、照合対象オブジェクトと候補オブジェクトの１フレーム間での移動距離及び移動の向きが特定される。なお、照合対象オブジェクトの移動距離および移動の向きは、照合対象オブジェクトのフレームと、当該フレームの前のフレームとを参照して予め特定されており、照合対象オブジェクトの速度も算出されている。照合対象オブジェクトが候補オブジェクトと同一であると仮定して、候補オブジェクトの移動距離および移動の向きが求められる。 Furthermore, for example, with regard to the indicator "speed," the distance and direction of movement of the object to be matched and the candidate object between one frame are determined. Note that the distance and direction of movement of the object to be matched are determined in advance by referencing the frame of the object to be matched and the frame preceding that frame, and the speed of the object to be matched is also calculated. Assuming that the object to be matched is the same as the candidate object, the distance and direction of movement of the candidate object are determined.

なお、何を指標とするか、どのように第１の信頼度を演算するかなどを特定するための情報（指標に関する情報と称する）は、予め設定されていてもよいし、通信部６１または入力部６２を介して入力されるようにしてもよい。あるいは、対象データとしての画像データに含まれるメタデータなどとして指標に関する情報が与えられるようにしてもよい。 In addition, information for specifying what to use as an index and how to calculate the first reliability (referred to as information related to the index) may be set in advance or may be input via the communication unit 61 or the input unit 62. Alternatively, information related to the index may be provided as metadata included in the image data as the target data.

図３においては、一例として、記憶部４０に、指標に関する情報が記述された指標情報が記憶されており、第１の信頼度算出部２１は、記憶部４０に記憶された指標情報を参照して第１の信頼度を演算する。 In Figure 3, as an example, index information describing information about the index is stored in the memory unit 40, and the first reliability calculation unit 21 calculates the first reliability by referring to the index information stored in the memory unit 40.

第１の信頼度算出部２１は、指標に関する情報を取得し、取得した指標に関する情報に基づいて第１の信頼度を算出する。 The first reliability calculation unit 21 acquires information regarding the index and calculates the first reliability based on the acquired information regarding the index.

ステップＳ７２において、第１の信頼度算出部２１は、第１の信頼度を指標毎に算出する。例えば、指標が、オブジェクトの色、形、模様、および速度である場合、照合対象オブジェクトと候補オブジェクトの色、形、模様、および速度の類似性が、それぞれ第１の信頼度として算出される。なお、指標は複数存在するので、ステップＳ７２では、複数（例えば、ｎ個）の第１の信頼度が算出されることになる。In step S72, the first reliability calculation unit 21 calculates a first reliability for each indicator. For example, if the indicators are the color, shape, pattern, and speed of an object, the similarity between the color, shape, pattern, and speed of the object to be matched and the candidate object is calculated as the first reliability, respectively. Note that since there are multiple indicators, multiple (e.g., n) first reliability values are calculated in step S72.

ステップＳ７３において、第２の信頼度算出部２２は、ステップＳ７２で求めたｎ個の第１の信頼度のうち、任意のｍ個の信頼度を取り除く。ここで、ｍは、ｎ未満の自然数とする。In step S73, the second reliability calculation unit 22 removes any m reliabilities from the n first reliabilities calculated in step S72, where m is a natural number less than n.

ステップＳ７４において、第２の信頼度算出部２２は、_ｎＣ_ｍ通りの信頼度の組を作る。例えば、指標の数が４であり、ステップＳ７３において１個の信頼度が取り除かれる場合、ｎが４でありｍが３であるから、_４Ｃ_３＝４通りの組が得られることになる。 In step S74, the second reliability calculation unit 22 creates _n C _m sets of reliability. For example, if the number of indexes is 4 and one reliability is removed in step S73, n is 4 and m is 3, so ₄ C ₃ = 4 sets are obtained.

より具体的には、指標Ａ、指標Ｂ、指標Ｃ、および指標Ｄのそれぞれについて、第１の信頼度ａ、第１の信頼度ｂ、第１の信頼度ｃ、および第１の信頼度ｄが算出されたものとする。この場合、ステップＳ７４で得られる組は、（ａ，ｂ，ｃ）、（ａ，ｂ，ｄ）、（ａ，ｃ，ｄ）および（ｂ，ｃ，ｄ）の４通りである。 More specifically, it is assumed that the first reliability a, first reliability b, first reliability c, and first reliability d are calculated for each of index A, index B, index C, and index D. In this case, the four pairs obtained in step S74 are (a, b, c), (a, b, d), (a, c, d), and (b, c, d).

ステップＳ７５において、第２の信頼度算出部２２は、ステップＳ７４で得られた各組に含まれる第１の信頼度の積を求めることで、第２の信頼度を算出する。上述した例の場合、Ｍ１＝ａ＊ｂ＊ｃ，Ｍ２＝ａ＊ｂ＊ｄ，Ｍ３＝ａ＊ｃ＊ｄ，およびＭ４＝ｂ＊ｃ＊ｄの４つの第２の信頼度が求められることになる。ここで、「＊」は積を表す演算を示している。In step S75, the second reliability calculation unit 22 calculates the second reliability by calculating the product of the first reliability values included in each pair obtained in step S74. In the above example, four second reliability values are calculated: M1 = a*b*c, M2 = a*b*d, M3 = a*c*d, and M4 = b*c*d. Here, "*" indicates the operation representing the product.

このように、第２の信頼度算出部２２は、ｎ個（ｎは２以上の自然数）の第１の信頼度から、任意のｍ個（ｍはｎ未満の自然数）の第１の信頼度を取り除くことによって得られるｎＣｍ個の組の各々において、当該組に含まれる全ての第１の信頼度の積をとることによって当該組に関する第２の信頼度を算出する。 In this way, the second reliability calculation unit 22 calculates the second reliability for each of nCm sets obtained by removing any m (m is a natural number less than n) first reliabilities from n (n is a natural number greater than or equal to 2) first reliabilities, by taking the product of all the first reliabilities included in the set.

ステップＳ７６において、照合部２３は、ステップＳ７５で算出された第２の信頼度の最大値ｍａｘ（Ｍ１，Ｍ２，Ｍ３，Ｍ４）を照合用信頼度とする。すなわち、照合部２３は、複数の第２の信頼度のうち、最大の値を有する第２の信頼度に基づき、前記オブジェクトの照合を行う。In step S76, the matching unit 23 sets the maximum value max(M1, M2, M3, M4) of the second reliabilities calculated in step S75 as the matching reliability. That is, the matching unit 23 matches the object based on the second reliabilities having the largest value among the multiple second reliabilities.

このようにして、信頼度算出処理が実行される。 In this way, the reliability calculation process is performed.

図８に戻って、ステップＳ５２の処理の後、ステップＳ５３において、照合部２３は、照合用信頼度が閾値以上であるか否かを判定する。照合用信頼度が閾値以上である場合、候補オブジェクトが照合対象オブジェクトと同一であると考えられる。このように、照合部２３は、最大の値を有する第２の信頼度を閾値と比較することで、オブジェクトの照合を行う。 Returning to FIG. 8, after processing in step S52, in step S53, the matching unit 23 determines whether the matching reliability is greater than or equal to a threshold. If the matching reliability is greater than or equal to the threshold, the candidate object is considered to be the same as the object to be matched. In this way, the matching unit 23 matches objects by comparing the second reliability having the largest value with the threshold.

ステップＳ５３において、照合用信頼度が閾値以上であると判定された場合、ステップＳ５４において制御部３０は、候補オブジェクトと照合対象オブジェクトと同一のＩＤを付す。これにより、例えば、図６を参照して上述したように、矩形の枠で囲まれた候補オブジェクトにＩＤが付されることになる。If it is determined in step S53 that the matching reliability is equal to or greater than the threshold, in step S54 the control unit 30 assigns the same ID to the candidate object and the object to be matched. As a result, for example, an ID is assigned to the candidate object surrounded by a rectangular frame, as described above with reference to Figure 6.

一方、ステップＳ５３において、照合用信頼度が閾値以上ではないと判定された場合、ステップＳ５５において制御部３０は、次の候補オブジェクトがあるか否かを判定する。ステップＳ５５において次の候補オブジェクトがあると判定された場合、ステップＳ５１において、次の候補オブジェクトが設定され、ステップＳ５２とステップＳ５３の処理が実行される。 On the other hand, if it is determined in step S53 that the matching reliability is not greater than or equal to the threshold, the control unit 30 determines in step S55 whether or not there is a next candidate object. If it is determined in step S55 that there is a next candidate object, the next candidate object is set in step S51, and the processing of steps S52 and S53 is executed.

ステップＳ５５において、次の候補オブジェクトがないと判定された場合、オブジェクト照合処理は終了する。 If it is determined in step S55 that there is no next candidate object, the object matching process ends.

なお、ｔ－１番目のフレームにおいて、照合対象オブジェクトが複数検出された場合、ステップＳ５１乃至ステップＳ５５の処理は、複数回実行される。すなわち、ｔ－１番目における照合対象オブジェクトの全てに対する照合が完了するまでステップＳ５１乃至ステップＳ５５の処理が繰り返し実行される。例えば、照合対象オブジェクトとして、１６個のボールが検出された場合、１６個のボールの各々について、オブジェクト照合処理が実行されることになる。 If multiple objects to be matched are detected in the t-1th frame, steps S51 to S55 are executed multiple times. That is, steps S51 to S55 are executed repeatedly until matching is completed for all objects to be matched in the t-1th frame. For example, if 16 balls are detected as objects to be matched, the object matching process is executed for each of the 16 balls.

このようにしてオブジェクト照合処理が実行される。 This is how the object matching process is performed.

図７乃至図９を参照して説明したように、情報処理装置１０によってオブジェクトトラッキング処理が実行されることにより、例えば、図４乃至図６を参照して上述したように、画像の中のボールが追跡される。すなわち、ｔ番目のフレームの画像１０２のボールが、ｔ－１番目の画像１０１のボールと同一であると判定された場合、画像１０１のボールと同一の画像１０２のボールに同じＩＤが付されることで、オブジェクトが追跡される。 As described with reference to Figures 7 to 9, the information processing device 10 performs object tracking processing, thereby tracking a ball in an image, for example, as described above with reference to Figures 4 to 6. That is, if it is determined that the ball in image 102 of the t-th frame is the same as the ball in image 101 of the t-1th frame, the same ID is assigned to the ball in image 102 that is the same as the ball in image 101, thereby tracking the object.

（第２の信頼度の他の例１）
第２の信頼度算出部２２は、第２の信頼度を第１の信頼度の対数を用いて算出してもよい。 (Another example 1 of the second reliability)
The second reliability calculation unit 22 may calculate the second reliability using the logarithm of the first reliability.

具体的には、指標Ａ、指標Ｂ、指標Ｃ、および指標Ｄのそれぞれについて、第１の信頼度ａ、第１の信頼度ｂ、第１の信頼度ｃ、および第１の信頼度ｄが算出された場合、第２の信頼度Ｍ１～Ｍ４として、
Ｍ１＝ｌｏｇａ＋ｌｏｇｂ＋ｌｏｇｃ
Ｍ２＝ｌｏｇａ＋ｌｏｇｂ＋ｌｏｇｄ
Ｍ３＝ｌｏｇａ＋ｌｏｇｃ＋ｌｏｇｄ
Ｍ３＝ｌｏｇｂ＋ｌｏｇｃ＋ｌｏｇｄ
を用いてもよい。 Specifically, when the first reliability a, the first reliability b, the first reliability c, and the first reliability d are calculated for each of the indexes A, B, C, and D, the second reliabilities M1 to M4 are calculated as follows:
M1=log a + log b + log c
M2=log a + log b + log d
M3=log a + log c + log d
M3=log b + log c + log d
may also be used.

（第２の信頼度の他の例２）
上述した例では、ステップＳ７３において、ステップＳ７２で求めたｎ個の第１の信頼度のうち、任意のｍ個の信頼度が取り除かれると説明した。しかし、第２の信頼度算出部２２は、任意のｍ個の信頼度を取り除く代わりに、任意のｍ個（ｍはｎ未満の自然数）の第１の信頼度に対して０より大きく１より小さい値を指数とするべき演算を行うようにしてもよい。 (Another example 2 of the second reliability)
In the above example, it has been explained that, in step S73, any m reliabilities are removed from the n first reliabilities calculated in step S72. However, instead of removing any m reliabilities, the second reliability calculation unit 22 may perform an operation on any m (m is a natural number less than n) first reliabilities, using a value greater than 0 and less than 1 as an exponent.

例えば、指数０によるべき演算を行うことにより、第１の信頼度の値が１になるため、第１の信頼度の積を求めるとき、指数０の第１の信頼度を取り除くことと等価の演算を行うことができる。 For example, by performing a power operation with exponent 0, the value of the first reliability becomes 1, so when calculating the product of the first reliability, an operation equivalent to removing the first reliability with exponent 0 can be performed.

すなわち、第１の信頼度算出部２１は、ｎ個（ｎは２以上の自然数）の第１の信頼度において、任意のｍ個（ｍはｎ未満の自然数）の第１の信頼度に対して０より大きく１より小さい値を指数とするべき演算を行うことによって得られる_ｎＣ_ｍ個の組の各々において、当該組に含まれる全ての第１の信頼度の積をとることによって当該組に関する第２の信頼度を算出し、照合部２３は、_ｎＣ_ｍ個の組の各々に関する第２の信頼度のうち、最大の値を有する第２の信頼度に基づき、オブジェクトの照合を行うようにしてもよい。 That is, the first reliability calculation unit 21 calculates the second reliability for each of n _C _m sets obtained by performing an operation using an exponent greater than 0 and less than 1 for n (n is a natural number greater than 2) first reliabilities for any m (m is a natural number less than n) first reliabilities, and calculates the product of all the first reliabilities included in the set, and the matching unit 23 may match objects based on the second reliability having the largest value among the second reliabilities for each of the _n C _m sets.

具体的には、指標Ａ、指標Ｂ、指標Ｃ、および指標Ｄのそれぞれについて、第１の信頼度ａ、第１の信頼度ｂ、第１の信頼度ｃ、および第１の信頼度ｄが算出された場合、（ａに適用するべき指数、ｂに適用するべき指数、ｃに適用するべき指数、ｄに適用するべき指数）を（１、１、１、α）、（１、１、α、１）、（１、α、１、１）、（α、１、１、１）に設定してもよい。 Specifically, when the first reliability a, first reliability b, first reliability c, and first reliability d are calculated for each of index A, index B, index C, and index D, (the index to be applied to a, the index to be applied to b, the index to be applied to c, and the index to be applied to d) may be set to (1, 1, 1, α), (1, 1, α, 1), (1, α, 1, 1), or (α, 1, 1, 1).

ここで、αは、０より大きく１より小さい実数である。そして、これらのべき指数によるべき演算を、それぞれ対応する第１の信頼度に対して行ってうえで、べき演算演算後の第１の信頼度の積をとることによって第２の信頼度を算出してもよい。 Here, α is a real number greater than 0 and less than 1. Then, the second reliability may be calculated by performing a power operation using these exponents on the corresponding first reliability, and then taking the product of the first reliability after the power operation.

より具体的には、
Ｍ１＝ａ * ｂ * ｃ * ｄ^α
Ｍ２＝ａ * ｂ * ｃ^α * ｄ
Ｍ３＝ａ * ｂ^α * ｃ * ｄ
Ｍ４＝ａ^α * ｂ * ｃ * ｄ
によって複数の第２の信頼度Ｍ１～Ｍ４を算出してもよい。 More specifically,
M1=a * b * c * d ^α
M2=a * b * c ^α * d
M3=a * b ^α * c * d
M4=a ^α * b * c * d
A plurality of second reliabilities M1 to M4 may be calculated by:

（第２の信頼度の他の例３）
また、第２の信頼度算出部２２は、べき演算を行う場合にも、第２の信頼度を第１の信頼度の対数を用いて算出してよい。 (Another example 3 of the second reliability)
Furthermore, when performing the power calculation, the second reliability calculation section 22 may calculate the second reliability using the logarithm of the first reliability.

すなわち、他の例２で説明したように、（ａに適用するべき指数、ｂに適用するべき指数、ｃに適用するべき指数、ｄに適用するべき指数）を（１、１、１、α）、（１、１、α、１）、（１、α、１、１）、（α、１、１、１）に設定し、これらのべき指数によるべき演算を、それぞれ対応する第１の信頼度に対して行ってうえで、第２の信頼度Ｍ１～Ｍ４として、
Ｍ１＝ｌｏｇａ＋ｌｏｇｂ＋ｌｏｇｃ＋ α＊ｌｏｇｄ
Ｍ２＝ｌｏｇａ＋ｌｏｇｂ＋ α＊ｌｏｇｃ＋ｌｏｇｄ
Ｍ３＝ｌｏｇａ＋ α＊ｌｏｇｂ＋ｌｏｇｃ＋ｌｏｇｄ
Ｍ３＝α＊ｌｏｇａ＋ｌｏｇｂ＋ｌｏｇｃ＋ｌｏｇｄ
を用いてもよい。 That is, as explained in other example 2, (the exponents to be applied to a, the exponents to be applied to b, the exponents to be applied to c, and the exponents to be applied to d) are set to (1, 1, 1, α), (1, 1, α, 1), (1, α, 1, 1), and (α, 1, 1, 1), and power calculations using these exponents are performed on the corresponding first reliabilities, and then the second reliabilities M1 to M4 are calculated as follows:
M1=log a + log b + log c + α*log d
M2=log a + log b + α*log c + log d
M3=log a + α*log b + log c + log d
M3=α*log a + log b + log c + log d
may also be used.

さらに、各対数の係数は、上記の例に限定されるものではなく、より一般的な係数を用いることもできる。 Furthermore, the coefficients of each logarithm are not limited to the above examples, and more general coefficients can also be used.

＜例示的実施形態２の効果＞
このように情報処理装置１０においては、ｎ個の第１の信頼度のうち、任意のｍ個をあえて考慮せずに、候補オブジェクトを照合対象オブジェクトと照合する。 <Effects of Example Embodiment 2>
In this way, the information processing device 10 matches the candidate object with the matching target object without deliberately taking into consideration any m of the n first reliabilities.

例えば、複数の指標のいずれかを基準に照合を行うと、複数の候補オブジェクトが照合対象オブジェクトと同一であると判定される可能性が高くなる。すなわち、本来同一ではないオブジェクトが誤って同一であると判定される可能性が高くなることで照合精度が低下する。For example, if matching is performed based on one of multiple indicators, there is a high possibility that multiple candidate objects will be determined to be the same as the target object. In other words, there is a high possibility that objects that are not actually the same will be mistakenly determined to be the same, which reduces matching accuracy.

一方で、指標を単純に掛け合わせて照合を行うと、同じ物体であるにもかかわらず、不一致と判定される可能性が高くなり、再現率が低下する。 On the other hand, if matching is performed by simply multiplying the indices, there is a high chance that the same object will be judged as a mismatch, resulting in a lower recall rate.

また、照合対象のオブジェクトに応じて、照合に用いる指標も変わり得るし、考慮しない指標の数も変わり得る。 In addition, the indicators used for matching may vary depending on the object being matched, and the number of indicators not taken into account may also vary.

本例示的実施形態の情報処理装置１０によれば、ｎ個の第１の信頼度のうち、任意のｍ個をあえて考慮せずに、候補オブジェクトを照合対象オブジェクトと照合することで、照合精度を保ちつつ再現率を向上させる汎用的な照合を行うことができる。 According to the information processing device 10 of this exemplary embodiment, by matching a candidate object with an object to be matched without deliberately taking into account any m of the n first reliabilities, it is possible to perform a general-purpose match that improves the recall rate while maintaining the matching accuracy.

〔例示的実施形態３〕
次に、本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１および２にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。 Exemplary Embodiment 3
Next, a third exemplary embodiment of the present invention will be described in detail with reference to the drawings. Note that components having the same functions as those described in the first and second exemplary embodiments are denoted by the same reference numerals, and their description will be omitted as appropriate.

図１０は、本例示的実施形態の情報処理装置１０の構成例を示すブロック図である。図１０の例では、記憶部４０に照合用データが記憶されている。それ以外の構成は、図３を参照して説明した例と同様である。 Figure 10 is a block diagram showing an example configuration of the information processing device 10 of this exemplary embodiment. In the example of Figure 10, matching data is stored in the memory unit 40. The rest of the configuration is the same as the example described with reference to Figure 3.

照合用データは、一例として、照合対象人物の特徴を示す情報であり、図１０の情報処理装置１０は、一例として、照合用データを用いた照合装置２０の処理結果を利用して生体認証処理を実行する。 The matching data is, for example, information indicating the characteristics of the person to be matched, and the information processing device 10 of Figure 10, for example, performs biometric authentication processing using the processing results of the matching device 20 using the matching data.

図１１は、情報処理装置１０による生体認証処理において撮影される画像の例を示す図である。ここでは、人物の顔の画像を撮影し、鼻、口、耳の特徴を、照合用データの特徴と照合する例について説明する。 Figure 11 shows an example of an image captured during biometric authentication processing by the information processing device 10. Here, we explain an example in which an image of a person's face is captured and the features of the nose, mouth, and ears are compared with the features of the matching data.

図１１においては、人物２００の顔の画像が撮影されている。この画像において、点線の楕円で囲まれた領域が人物の鼻、口、および耳を示している。情報処理装置１０の制御部３０は、顔画像認識処理を実行し、撮影した人物の顔を特定するとともに、顔の中の鼻、口、耳の特徴点を抽出し、顔の中の鼻、口、耳の領域を特定する。 In Figure 11, an image of the face of person 200 is captured. In this image, the area surrounded by a dotted ellipse indicates the person's nose, mouth, and ears. The control unit 30 of the information processing device 10 performs facial image recognition processing to identify the face of the captured person, extract feature points of the nose, mouth, and ears within the face, and identify the areas of the nose, mouth, and ears within the face.

図１１の領域Ｐ１１は人物２００の鼻の領域であり、領域Ｐ１２は人物２００の口の領域であり、領域Ｐ１３は人物２００の左耳の領域であり、領域Ｐ１４は人物２００の右耳の領域である。 In Figure 11, area P11 is the nose area of person 200, area P12 is the mouth area of person 200, area P13 is the left ear area of person 200, and area P14 is the right ear area of person 200.

照合用データには、鼻、口、および耳のそれぞれの特徴が記述されている。特徴は、複数の指標に関して記述される。ここで複数の指標は、一例として、色、形、模様とされる。指標「色」に関し、各領域の画素値の平均値などが記述されている。また、指標「形」に関し、鼻、口、および耳のそれぞれの輪郭を近似する形状などが記述されている。さらに、指標「模様」に関し、各領域の中での黒色の部分、茶色の部分などの大きさ、位置などが記述されている。 The matching data describes the features of each of the nose, mouth, and ears. The features are described in terms of multiple indices. Here, the multiple indices are, for example, color, shape, and pattern. For the "color" indicator, the average pixel value of each region is described. For the "shape" indicator, shapes that approximate the contours of each of the nose, mouth, and ears are described. For the "pattern" indicator, the size and position of black and brown parts within each region are described.

なお、照合用データは、鼻、口、および耳の画像であってもよい。 The matching data may also be images of the nose, mouth, and ears.

照合装置２０は、領域Ｐ１１乃至Ｐ１４の画像のそれぞれを、指標毎に解析する。例えば、第１の信頼度算出部２１が、領域Ｐ１１（鼻）の画像において、複数の指標（例えば、色、形、模様）に関する特徴を算出する。そして、第１の信頼度算出部２１は、照合用データに記述された鼻の特徴との類似度を算出することで、第１の信頼度を複数算出する。第１の信頼度算出部２１は、例えば、記憶部４０に記憶された指標情報を参照して複数の第１の信頼度を算出する。The matching device 20 analyzes each of the images in areas P11 to P14 for each index. For example, the first reliability calculation unit 21 calculates features related to multiple indices (e.g., color, shape, pattern) in the image of area P11 (nose). The first reliability calculation unit 21 then calculates multiple first reliabilities by calculating the similarity with the nose features described in the matching data. The first reliability calculation unit 21 calculates multiple first reliabilities, for example, by referring to index information stored in the memory unit 40.

さらに、第２の信頼度算出部２２は、複数の第１の信頼度の一部又は全部に対して、所定の演算を適用することによって人物２００の鼻に関する複数の第２の信頼度を算出する。第２の信頼度の算出方式に関する具体的な例は、例示的実施形態２において説明した通りなので、詳細な説明は省略する。 Furthermore, the second reliability calculation unit 22 calculates multiple second reliability values related to the nose of the person 200 by applying a predetermined calculation to some or all of the multiple first reliability values. Specific examples of the method for calculating the second reliability values are as described in exemplary embodiment 2, so detailed description will be omitted.

なお、第２の信頼度の算出方式として、例示的実施形態２において説明した「第２の信頼度の他の例１」、「第２の信頼度の他の例２」、または「第２の信頼度の他の例２」を適用することも可能である。 In addition, as a method for calculating the second reliability, it is also possible to apply "Another example 1 of the second reliability," "Another example 2 of the second reliability," or "Another example 2 of the second reliability" described in exemplary embodiment 2.

そして、照合部２３は、照合用信頼度を求め、閾値と比較することにより、照合用データの鼻の特徴と、人物２００の鼻の特徴が一致しているか否かを判定する。 The matching unit 23 then calculates the matching reliability and compares it with a threshold value to determine whether the nose features of the matching data match the nose features of the person 200.

照合装置２０は、領域Ｐ１２乃至Ｐ１４（口、左耳、右耳）についても、特徴をそれぞれ照合用データと照合する。そして、情報処理装置１０は、照合用データの鼻、口、および耳の特徴と、人物２００の鼻、口、および耳の特徴が全て一致していると判定した場合、人物２００は、照合用データによって示される照合対象人物と同一であると判定する。The matching device 20 also matches the features of areas P12 to P14 (mouth, left ear, right ear) with the matching data. If the information processing device 10 determines that the nose, mouth, and ear features of the matching data all match the nose, mouth, and ear features of person 200, it determines that person 200 is the same as the person to be matched indicated by the matching data.

次に、図１２のフローチャートを参照して、図１０の情報処理装置１０による生体認証処理の例について説明する。 Next, referring to the flowchart of Figure 12, an example of biometric authentication processing by the information processing device 10 of Figure 10 will be described.

ステップＳ７１において、情報処理装置１０の制御部３０は、画像データを取得する。このとき、例えば、図１１の人物２００の顔が含まれる画像の画像データが取得される。画像データは、例えば、予め記憶部４０に記憶されていてもよいし、人物２００をカメラで撮影して取得されるようにしてもよい。In step S71, the control unit 30 of the information processing device 10 acquires image data. At this time, for example, image data of an image including the face of person 200 in Figure 11 is acquired. The image data may be stored in advance in the storage unit 40, for example, or may be acquired by photographing person 200 with a camera.

ステップＳ７２において、制御部３０は、ステップＳ７１で取得された画像データから鼻、口、および耳の各領域における特徴点を抽出する。これにより、例えば、図１１の領域Ｐ１１乃至Ｐ１４が抽出される。In step S72, the control unit 30 extracts feature points in the nose, mouth, and ear regions from the image data acquired in step S71. As a result, for example, regions P11 to P14 in Figure 11 are extracted.

ステップＳ７３において、制御部３０は、記憶部４０から照合用データを読み出して取得する。 In step S73, the control unit 30 reads and obtains the matching data from the memory unit 40.

ステップＳ７４において、照合装置２０は、信頼度算出処理を実行する。この処理は、図９を参照して上述した処理と同様の処理なので、詳細な説明は省略するが、ｎ個の第１の信頼度のうち、任意のｍ個をあえて考慮せずに、照合が行われる。In step S74, the matching device 20 executes a reliability calculation process. This process is similar to the process described above with reference to Figure 9, so a detailed explanation will be omitted. However, matching is performed without considering any m of the n first reliabilities.

なお、ステップＳ７４の処理は、ステップＳ７２で抽出された領域の数に対応して繰り返し実行される。例えば、ステップＳ７２で領域Ｐ１１乃至領域Ｐ１４が抽出された場合、ステップＳ７４の処理は、４回実行されることになる。 The processing of step S74 is repeatedly executed according to the number of areas extracted in step S72. For example, if areas P11 to P14 are extracted in step S72, the processing of step S74 will be executed four times.

ステップＳ７５において、照合装置２０の照合部２３は、各領域について算出された照合用信頼度が全て閾値以上であるか否かを判定する。 In step S75, the matching unit 23 of the matching device 20 determines whether the matching reliability calculated for each area is all above a threshold value.

ステップＳ７５において、各領域の照合用信頼度が全て閾値以上であると判定された場合、ステップＳ７６において制御部３０は、画像データの人物が照合対象人物と一致すると判定する。 If it is determined in step S75 that the matching reliability of each area is all above the threshold, in step S76 the control unit 30 determines that the person in the image data matches the person to be matched.

ステップＳ７７において、制御部３０は、出力部６３を介して判定結果を出力する。 In step S77, the control unit 30 outputs the judgment result via the output unit 63.

このようにして、生体認証処理が実行される。 In this way, the biometric authentication process is performed.

＜例示的実施形態３の効果＞
このように情報処理装置１０においては、ｎ個の第１の信頼度のうち、任意のｍ個をあえて考慮せずに、照合用データと人物を照合する。 <Effects of exemplary embodiment 3>
In this way, the information processing device 10 matches the matching data with a person without deliberately taking into consideration any m of the n first reliabilities.

例えば、複数の指標のいずれかを基準に照合を行うと、複数の人物が照合対象人物と同一であると判定される可能性が高くなる。一方で、指標を単純に掛け合わせて照合を行うと、同じ人物であるにもかかわらず、不一致と判定される可能性が高くなる。For example, if matching is performed based on one of multiple indicators, there is a high possibility that multiple individuals will be determined to be the same person. On the other hand, if matching is performed by simply multiplying indicators, there is a high possibility that individuals will be determined to be a mismatch even if they are the same person.

本例示的実施形態の情報処理装置１０によれば、照合精度を保ちつつ再現率を向上させる生体認証を行うことができる。 According to the information processing device 10 of this exemplary embodiment, biometric authentication can be performed that improves the reproducibility rate while maintaining matching accuracy.

〔ソフトウェアによる実現例〕
情報処理装置１０および照合装置２０の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。 [Software implementation example]
Some or all of the functions of the information processing device 10 and the verification device 20 may be realized by hardware such as an integrated circuit (IC chip), or may be realized by software.

後者の場合、情報処理装置１０および照合装置２０は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１３に示す。In the latter case, the information processing device 10 and the matching device 20 are realized, for example, by a computer that executes program instructions, which are software that realizes each function. An example of such a computer (hereinafter referred to as computer C) is shown in Figure 13.

コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１０および照合装置２０として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１０および照合装置２０の各機能が実現される。 Computer C has at least one processor C1 and at least one memory C2. Memory C2 stores program P for operating computer C as information processing device 10 and matching device 20. In computer C, processor C1 reads and executes program P from memory C2, thereby realizing the functions of information processing device 10 and matching device 20.

プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。 The processor C1 may be, for example, a CPU (Central Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), MPU (Micro Processing Unit), FPU (Floating Point Number Processing Unit), PPU (Physics Processing Unit), microcontroller, or a combination thereof. The memory C2 may be, for example, a flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), or a combination thereof.

なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。 Computer C may further include RAM (Random Access Memory) for expanding program P during execution and for temporarily storing various data. Computer C may also include a communications interface for sending and receiving data to and from other devices. Computer C may also include an input/output interface for connecting input/output devices such as a keyboard, mouse, display, and printer.

また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。 The program P can also be recorded on a non-transitory, tangible recording medium M that can be read by the computer C. Such a recording medium M can be, for example, a tape, a disk, a card, a semiconductor memory, or a programmable logic circuit. The computer C can acquire the program P via such a recording medium M. The program P can also be transmitted via a transmission medium. Such a transmission medium can be, for example, a communications network or broadcast waves. The computer C can also acquire the program P via such a transmission medium.

〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。 [Additional Note 1]
The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims. For example, embodiments obtained by appropriately combining the technical means disclosed in the above-described embodiments are also included in the technical scope of the present invention.

〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。 [Additional Note 2]
Some or all of the above-described embodiments can also be described as follows: However, the present invention is not limited to the following described aspects.

（付記１）
対象データが示すオブジェクトに関する複数の指標の各々についての第１の信頼度を算出する第１の信頼度算出手段と、
複数の前記第１の信頼度から複数の第２の信頼度を算出する第２の信頼度算出手段と、
前記複数の第２の信頼度に基づき、前記オブジェクトの照合を行う照合手段と
を備える照合装置。 (Appendix 1)
a first reliability calculation means for calculating a first reliability for each of a plurality of indices related to the object indicated by the target data;
a second reliability calculation means for calculating a plurality of second reliabilities from the plurality of first reliabilities;
and a matching unit that matches the objects based on the plurality of second reliabilities.

（付記２）
前記照合手段は、前記複数の第２の信頼度のうち、最大の値を有する第２の信頼度に基づき、前記オブジェクトの照合を行う
付記１に記載の照合装置。 (Appendix 2)
The matching device according to claim 1, wherein the matching means matches the objects based on a second reliability having a maximum value among the plurality of second reliability.

（付記３）
前記第２の信頼度算出手段は、
ｎ個（ｎは２以上の自然数）の前記第１の信頼度から、任意のｍ個（ｍはｎ未満の自然数）の第１の信頼度を取り除くことによって得られる_ｎＣ_ｍ個の組の各々において、当該組に含まれる全ての第１の信頼度の積をとることによって当該組に関する第２の信頼度を算出し、
前記照合手段は、
前記_ｎＣ_ｍ個の組の各々に関する第２の信頼度のうち、最大の値を有する第２の信頼度に基づき、前記オブジェクトの照合を行う
付記１又は２に記載の照合装置。 (Appendix 3)
The second reliability calculation means
For each of _n C _m sets obtained by removing any m (m is a natural number less than n) first reliabilities from the n (n is a natural number equal to or greater than 2) first reliabilities, calculate a second reliability for the set by taking the product of all the first reliabilities included in the set;
The collation means
The matching device according to Supplementary Note 1 or 2, wherein the matching of the objects is performed based on a second reliability having a maximum value among the second reliability for each of the _n C _m pairs.

（付記４）
前記第２の信頼度算出手段は、
ｎ個（ｎは２以上の自然数）の前記第１の信頼度において、任意のｍ個（ｍはｎ未満の自然数）の第１の信頼度に対して０より大きく１より小さい値を指数とするべき演算を行うことによって得られる_ｎＣ_ｍ個の組の各々において、当該組に含まれる全ての第１の信頼度の積をとることによって当該組に関する第２の信頼度を算出し、
前記照合手段は、
前記_ｎＣ_ｍ個の組の各々に関する第２の信頼度のうち、最大の値を有する第２の信頼度に基づき、前記オブジェクトの照合を行う
付記１又は２に記載の照合装置。 (Appendix 4)
The second reliability calculation means
For n C m sets obtained by performing an operation using an exponent greater than 0 and less than 1 on any m (m is a natural number less than n) first reliabilities among the n ( _n is a natural number equal to or greater than 2 ₎ first reliabilities, calculate a second reliability for each set by taking the product of all the first reliabilities included in the set;
The collation means
The matching device according to Supplementary Note 1 or 2, wherein the matching of the objects is performed based on a second reliability having a maximum value among the second reliability for each of the _n C _m pairs.

（付記５）
前記照合手段は、
前記最大の値を有する第２の信頼度を閾値と比較することで、前記オブジェクトの照合を行う
付記３または４に記載の照合装置。 (Appendix 5)
The collation means
The matching device according to claim 3 or 4, wherein the object is matched by comparing the second reliability having the largest value with a threshold.

（付記６）
前記第１の信頼度算出手段は、
前記指標に関する情報を取得し、
取得した前記指標に関する情報に基づいて前記第１の信頼度を算出する
付記１から５の何れか１項に記載の照合装置。 (Appendix 6)
The first reliability calculation means
Obtaining information about the indicator;
The matching device according to any one of Supplementary notes 1 to 5, further comprising: calculating the first reliability based on acquired information about the index.

（付記７）
前記対象データは、動画像データであり、
前記照合手段は、前記動画像データの第１のフレームの画像に含まれるオブジェクトを、前記動画像データの第２のフレームの画像に含まれるオブジェクトと照合する
付記１から６の何れか１項に記載の照合装置。 (Appendix 7)
the target data is video data,
The matching device according to any one of appendices 1 to 6, wherein the matching means matches an object included in an image of a first frame of the video data with an object included in an image of a second frame of the video data.

（付記８）
前記照合手段は、前記対象データとしての画像データが示すオブジェクトを、照合用データと照合する
付記１から６の何れか１項に記載の照合装置。 (Appendix 8)
The matching device according to any one of claims 1 to 6, wherein the matching means matches an object indicated by image data as the target data with matching data.

（付記９）
前記照合手段による照合結果を参照して、生体認証処理を実行する生体認証手段をさらに備える
付記８に記載の照合装置。 (Appendix 9)
The verification device according to claim 8, further comprising a biometric authentication unit that performs biometric authentication processing by referring to a verification result by the verification unit.

（付記１０）
対象データが示すオブジェクトに関する複数の指標の各々についての第１の信頼度を算出すること、
複数の前記第１の信頼度から複数の第２の信頼度を算出すること、
前記複数の第２の信頼度に基づき、前記オブジェクトの照合を行うこと
を含む照合方法。 (Appendix 10)
Calculating a first reliability for each of a plurality of indicators related to the object indicated by the target data;
calculating a plurality of second reliabilities from the plurality of first reliabilities;
matching the objects based on the plurality of second confidence levels.

（付記１１）
コンピュータを、
対象データが示すオブジェクトに関する複数の指標の各々についての第１の信頼度を算出する第１の信頼度算出手段と、
複数の前記第１の信頼度から複数の第２の信頼度を算出する第２の信頼度算出手段と、
前記複数の第２の信頼度に基づき、前記オブジェクトの照合を行う照合手段とを備える照合装置として機能させる
プログラム。 (Appendix 11)
Computer,
a first reliability calculation means for calculating a first reliability for each of a plurality of indices related to the object indicated by the target data;
a second reliability calculation means for calculating a plurality of second reliabilities from the plurality of first reliabilities;
and a matching unit that matches the objects based on the plurality of second reliabilities.

〔付記事項３〕
上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。 [Appendix 3]
Some or all of the above-described embodiments can also be expressed as follows.

少なくとも１つのプロセッサを備え、前記プロセッサは、
対象データが示すオブジェクトに関する複数の指標の各々についての第１の信頼度を算出する処理と、
複数の前記第１の信頼度から複数の第２の信頼度を算出する処理と、
前記複数の第２の信頼度に基づき、前記オブジェクトの照合を行う処理ととを実行する。 at least one processor, the processor comprising:
A process of calculating a first reliability for each of a plurality of indicators related to the object indicated by the target data;
calculating a plurality of second reliabilities from the plurality of first reliabilities;
and performing a process of matching the object based on the plurality of second reliabilities.

なお、この情報処理装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記出力列生成処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。 The information processing device may further include a memory, and this memory may store a program for causing the processor to execute the acquisition process and the output sequence generation process. This program may also be recorded on a computer-readable, non-transitory, tangible recording medium.

１０情報処理装置
２０照合装置
２１第１の信頼度算出部
２２第２の信頼度算出部
２３照合部
３０制御部
４０記憶部
６１通信部
６２入力部
６３出力部

REFERENCE SIGNS LIST 10 Information processing device 20 Matching device 21 First reliability calculation unit 22 Second reliability calculation unit 23 Matching unit 30 Control unit 40 Storage unit 61 Communication unit 62 Input unit 63 Output unit

Claims

a first reliability calculation means for calculating a first reliability for each of a plurality of indices related to the object indicated by the target data;
a second reliability calculation means for calculating a plurality of second reliabilities from the plurality of first reliabilities;
a matching means for matching the objects based on the plurality of second reliabilities ,
The second reliability calculation means
For each of _n C _m sets obtained by removing any m (m is a natural number less than n) first reliabilities from the n (n is a natural number equal to or greater than 2) first reliabilities, calculate a second reliability for the set by taking the product of all the first reliabilities included in the set;
The collation means
The object is matched based on the second reliability having the largest value among the second reliability for each of the n _C m _pairs .
Collation device.

a first reliability calculation means for calculating a first reliability for each of a plurality of indices related to the object indicated by the target data;
a second reliability calculation means for calculating a plurality of second reliabilities from the plurality of first reliabilities;
a matching means for matching the objects based on the plurality of second reliabilities;
Preparation,
The second reliability calculation means
Among the n (n is a natural number equal to or greater than 2) first reliabilities, an exponent greater than 0 and less than 1 is applied to any m (m is a natural number less than n) first reliabilities, which is obtained by performing an exponent operation. _ｎn C _ｍm for each of the sets, calculating a second confidence for the set by taking the product of all the first confidences included in the set;
The collation means
The aforementioned _ｎn C _ｍm and matching the object based on the second reliability having the largest value among the second reliability values for each of the pairs.
Collation device.

The matching device according to claim 1 or 2 , wherein the matching means matches the objects based on a second reliability having a maximum value among the plurality of second reliability values.

The collation means
The matching device according to claim 1 , wherein the object matching is performed by comparing the second reliability having the largest value with a threshold value.

The first reliability calculation means
Obtaining information about the indicator;
The verification device according to claim 1 , wherein the first reliability is calculated based on information about the acquired index.

the target data is video data,
The matching device according to claim 1 , wherein the matching means matches an object included in an image of a first frame of the video data with an object included in an image of a second frame of the video data.

The matching device according to claim 1 , wherein the matching means matches an object indicated by image data serving as the target data with matching data.

The verification device according to claim 7 , further comprising a biometric authentication unit that executes biometric authentication processing by referring to the verification result by the verification unit.

Calculating a first reliability for each of a plurality of indicators related to the object indicated by the target data;
calculating a plurality of second reliabilities from the plurality of first reliabilities;
and matching the objects based on the plurality of second confidence levels;
Calculating the second reliability includes:
and calculating a second reliability for each of _n C _m sets obtained by removing any m (m is a natural number less than n) first reliability levels from the n (n is a natural number equal to or greater than 2) first reliability levels, by taking the product of all the first reliability levels included in the set;
The performing of the matching includes:
and matching the object based on the second reliability having the largest value among the second reliability for each of the n _C m _sets .
Matching method.

Calculating a first reliability for each of a plurality of indicators related to the object indicated by the target data;
calculating a plurality of second reliabilities from the plurality of first reliabilities;
and matching the objects based on the plurality of second confidence levels.
Including,
Calculating the second reliability includes:
Among the n (n is a natural number equal to or greater than 2) first reliabilities, an exponent greater than 0 and less than 1 is applied to any m (m is a natural number less than n) first reliabilities, which is obtained by performing an exponent operation. _ｎn C _ｍm for each set, calculating a second confidence for the set by taking the product of all first confidences included in the set;
The performing of the matching includes:
The aforementioned _ｎn C _ｍm and matching the object based on the second reliability having the largest value among the second reliability for each of the pairs.
Matching method.

Computer,
a first reliability calculation means for calculating a first reliability for each of a plurality of indices related to the object indicated by the target data;
a second reliability calculation means for calculating a plurality of second reliabilities from the plurality of first reliabilities;
and a matching unit that matches the object based on the plurality of second reliabilities ;
The second reliability calculation means
For each of _n C _m sets obtained by removing any m (m is a natural number less than n) first reliabilities from the n (n is a natural number equal to or greater than 2) first reliabilities, calculate a second reliability for the set by taking the product of all the first reliabilities included in the set;
The collation means
The object is matched based on the second reliability having the largest value among the second reliability for each of the n _C m _pairs .
program.

Computer,
a first reliability calculation means for calculating a first reliability for each of a plurality of indices related to the object indicated by the target data;
a second reliability calculation means for calculating a plurality of second reliabilities from the plurality of first reliabilities;
and a matching unit that matches the object based on the plurality of second reliabilities;
The second reliability calculation means
Among the n (n is a natural number equal to or greater than 2) first reliabilities, an exponent greater than 0 and less than 1 is applied to any m (m is a natural number less than n) first reliabilities, which is obtained by performing an exponent operation. _ｎn C _ｍm for each of the sets, calculating a second confidence for the set by taking the product of all the first confidences included in the set;
The collation means
The aforementioned _ｎn C _ｍm and matching the object based on the second reliability having the largest value among the second reliability values for each of the pairs.
Program.