JP6994253B2

JP6994253B2 - Information processing equipment, information processing methods, and programs

Info

Publication number: JP6994253B2
Application number: JP2018196417A
Authority: JP
Inventors: 信吾乙部; 克久浅野; 英幸有田; 圭一大泉
Original assignee: Lightz Inc
Current assignee: Lightz Inc
Priority date: 2018-10-18
Filing date: 2018-10-18
Publication date: 2022-01-14
Anticipated expiration: 2038-10-18
Also published as: JP2020064485A

Description

本発明は、受け付けられた画像に対応する適切なテキスト情報を出力する情報処理装置等に関するものである。 The present invention relates to an information processing apparatus or the like that outputs appropriate text information corresponding to a received image.

従来、対象物の認識を高速に行える画像認識装置があった（特許文献１参照）。かかる画像認識装置は、メモリと、インターフェースと、プロセッサと、を備える。そして、メモリは、対象物に付与されるコード情報から得られる識別情報と、オブジェクト認識に用いる対象物の画像情報とを認識対象とする対象物ごとに記憶する。プロセッサは、画像から対象物がある対象物領域を抽出し、前記対象物領域においてコード情報を抽出し、抽出したコード情報から前記識別情報を認識し、コード情報に基づく対象物の認識に失敗した場合、前記対象物領域の画像と前記メモリに記憶された各対象物の画像情報とにより対象物を認識するように制御する。 Conventionally, there has been an image recognition device capable of recognizing an object at high speed (see Patent Document 1). Such an image recognition device includes a memory, an interface, and a processor. Then, the memory stores the identification information obtained from the code information given to the object and the image information of the object used for object recognition for each object to be recognized. The processor extracts an object area having an object from the image, extracts code information in the object area, recognizes the identification information from the extracted code information, and fails to recognize the object based on the code information. In this case, the object is controlled to be recognized by the image of the object area and the image information of each object stored in the memory.

特開２０１７－１２３１６３号公報Japanese Unexamined Patent Publication No. 2017-12163

しかしながら、従来技術では、受け付けられた画像内のオブジェクトを認識できるが、画像に対する適切な情報を取得し、出力できなかった。 However, in the prior art, although the object in the received image can be recognized, appropriate information for the image cannot be acquired and output.

本第一の発明の情報処理装置は、画像または画像から取得された画像関連情報に対応する２以上のテキスト情報が格納されるテキスト情報格納部と、画像または画像に対応するテキスト情報を受け付ける受付部と、受付部が受け付けた画像またはテキスト情報に予め決められた条件を満たすほど類似する１以上の画像または１以上の画像関連情報または１以上のテキスト情報を決定する決定部と、決定部が決定した１以上の各画像または１以上の各画像関連情報に対応するテキスト情報、または決定部が決定した１以上のテキスト情報を取得するテキスト情報取得部と、テキスト情報取得部が取得した１以上のテキスト情報を用いて、出力する出力情報を取得する出力情報取得部と、出力情報を出力する出力部とを具備する情報処理装置である。 The information processing apparatus of the first invention has a text information storage unit that stores an image or two or more text information corresponding to image-related information acquired from the image, and a reception that accepts the image or the text information corresponding to the image. The determination unit and the determination unit determine one or more images or one or more image-related information or one or more text information that are so similar to the image or text information received by the reception unit that satisfy predetermined conditions. A text information acquisition unit that acquires one or more determined images or text information corresponding to one or more image-related information, or one or more text information determined by the determination unit, and one or more acquired by the text information acquisition unit. It is an information processing apparatus including an output information acquisition unit that acquires output information to be output and an output unit that outputs output information using the text information of.

かかる構成により、受け付けられた画像に対する適切な情報を取得し、出力できる。 With such a configuration, appropriate information for the received image can be acquired and output.

また、本第二の発明の情報処理装置は、第一の発明に対して、決定部は、受付部が受け付けた画像またはテキスト情報に予め決められた条件を満たすほど類似する２以上の画像または２以上の画像関連情報または２以上のテキスト情報を決定し、テキスト情報取得部は、決定部が決定した２以上の各画像または２以上の各画像関連情報に対応するテキスト情報、または決定部が決定した２以上のテキスト情報を取得し、出力情報取得部は、テキスト情報取得部が取得した２以上のテキスト情報を用いて、出力する出力情報を取得する情報処理装置である。 Further, in the information processing apparatus of the second invention, with respect to the first invention, the determination unit may have two or more images or images that are so similar to the image or text information received by the reception unit that satisfy predetermined conditions. Two or more image-related information or two or more text information is determined, and the text information acquisition unit is a text information corresponding to each of the two or more images or two or more image-related information determined by the determination unit, or the determination unit. The output information acquisition unit is an information processing device that acquires output information to be output by acquiring two or more determined text information and using the two or more text information acquired by the text information acquisition unit.

かかる構成により、２以上のテキスト情報を用いて、受け付けられた画像に対する適切な情報を取得し、出力できる。 With such a configuration, it is possible to acquire and output appropriate information for the received image by using two or more text information.

また、本第三の発明の情報処理装置は、第一または第二の発明に対して、テキスト情報は、１以上の属性値と対になる２以上の文字列の集合である情報処理装置である。 Further, the information processing device of the third invention is an information processing device in which the text information is a set of two or more character strings paired with one or more attribute values with respect to the first or second invention. be.

かかる構成により、２以上のテキスト情報を用いて、受け付けられた画像に対するより適切な情報を取得し、出力できる。 With such a configuration, more appropriate information for the received image can be acquired and output by using two or more text information.

また、本第四の発明の情報処理装置は、第三の発明に対して、テキスト情報は、文字列に対応する２以上のノードと、ノード間をリンクするエッジとを有するネットワーク構造を有する情報であり、決定部は、受付部が受け付けた画像から取得されたテキスト情報に予め決められた条件を満たすほど類似する１以上のテキスト情報を決定し、テキスト情報取得部は、決定部が決定した１以上のテキスト情報を取得する情報処理装置である。 Further, the information processing apparatus of the fourth invention has a network structure in which the text information has two or more nodes corresponding to a character string and an edge linking the nodes with respect to the third invention. The decision unit determines one or more text information that is so similar to the text information acquired from the image received by the reception unit that satisfies a predetermined condition, and the decision unit determines the text information acquisition unit. It is an information processing device that acquires one or more text information.

また、本第五の発明の情報処理装置は、第三または第四の発明に対して、決定部は、受付部が受け付けた画像から取得されたテキスト情報に含まれる予め決められた属性値と対になる２以上の文字列と、テキスト情報格納部の１以上の各テキスト情報に含まれる予め決められた属性値と対になる２以上の文字列とを用いて、受付部が受け付けた画像から取得されたテキスト情報に予め決められた条件を満たすほど類似する１以上のテキスト情報を決定する情報処理装置である。 Further, in the information processing apparatus of the fifth invention, with respect to the third or fourth invention, the determination unit has a predetermined attribute value included in the text information acquired from the image received by the reception unit. An image received by the reception unit using two or more character strings to be paired and two or more character strings to be paired with a predetermined attribute value included in each one or more text information of the text information storage unit. It is an information processing apparatus that determines one or more text information that is so similar to the text information acquired from the above that a predetermined condition is satisfied.

かかる構成により、より適切に２以上のテキスト情報を選択し、当該２以上のテキスト情報を用いて、受け付けられた画像に対するより適切な情報を取得し、出力できる。 With such a configuration, two or more text information can be selected more appropriately, and more appropriate information for the received image can be acquired and output by using the two or more text information.

また、本第六の発明の情報処理装置は、第三から第五いずれか１つの発明に対して、テキスト情報取得部は、決定部が決定した１以上のテキスト情報のうちの、予め決められた属性値と対になる１以上の文字列を取得し、出力情報取得部は、取得部が取得した１以上の文字列を用いて、出力する出力情報を取得する情報処理装置である。 Further, in the information processing apparatus of the sixth invention, for any one of the third to fifth inventions, the text information acquisition unit is predetermined among one or more text information determined by the determination unit. The output information acquisition unit is an information processing device that acquires one or more character strings that are paired with the attribute value, and acquires output information to be output using the one or more character strings acquired by the acquisition unit.

本発明による情報処理装置によれば、受け付けられた画像に対する適切な情報を取得し、出力できる。 According to the information processing apparatus according to the present invention, it is possible to acquire and output appropriate information for the received image.

実施の形態１における情報処理装置１のブロック図Block diagram of information processing apparatus 1 according to the first embodiment 同ブレインモデルの情報の例を示す図Diagram showing an example of information on the brain model 同情報処理装置１の動作について説明するフローチャートA flowchart illustrating the operation of the information processing apparatus 1. 同コンピュータシステムの概観図Overview of the computer system 同コンピュータシステムのブロック図Block diagram of the computer system

以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。 Hereinafter, embodiments of the information processing apparatus and the like will be described with reference to the drawings. In addition, since the components with the same reference numerals perform the same operation in the embodiment, the description may be omitted again.

（実施の形態１）
本実施の形態において、画像または後述する画像関連情報に対応付けてテキスト情報が格納されている状況において、受け付けられた画像に予め決められた条件を満たすほど類似する１または２以上の画像または画像関連情報を決定する決定処理、当該決定した画像または画像関連情報に対応付いている１または２以上のテキスト情報を取得する取得処理、および当該１または２以上のテキスト情報を用いて出力情報を取得し、出力する出力処理を行う情報処理装置について説明する。なお、本実施の形態において、テキスト情報は、属性値付きの２以上の文字列の集合でも良く、後述するブレインモデルの情報でも良い。 (Embodiment 1)
In the present embodiment, in a situation where text information is stored in association with an image or image-related information described later, one or two or more images or images that are so similar to the accepted image that satisfy predetermined conditions. Decision processing to determine related information, acquisition processing to acquire one or more text information corresponding to the determined image or image-related information, and acquisition of output information using the one or more text information. An information processing device that performs output processing for output will be described. In the present embodiment, the text information may be a set of two or more character strings with attribute values, or may be information of a brain model described later.

また、本実施の形態において、テキスト情報の中の特定の属性値に対応する文字列を用いて、決定処理を行っても良い。また、本実施の形態において、テキスト情報の中の特定の属性値に対応する文字列を用いて、出力処理を行っても良い。 Further, in the present embodiment, the determination process may be performed using the character string corresponding to the specific attribute value in the text information. Further, in the present embodiment, the output processing may be performed using the character string corresponding to the specific attribute value in the text information.

図１は、本実施の形態における情報処理装置１のブロック図である。情報処理装置１は、格納部１１、受付部１２、処理部１３、および出力部１４を備える。格納部１１は、テキスト情報格納部１１１を備える。処理部１３は、テキスト情報抽出部１３１、決定部１３２、テキスト情報取得部１３３、および出力情報取得部１３４を備える。 FIG. 1 is a block diagram of the information processing apparatus 1 according to the present embodiment. The information processing device 1 includes a storage unit 11, a reception unit 12, a processing unit 13, and an output unit 14. The storage unit 11 includes a text information storage unit 111. The processing unit 13 includes a text information extraction unit 131, a determination unit 132, a text information acquisition unit 133, and an output information acquisition unit 134.

格納部１１には、各種の情報が格納される。各種の情報は、例えば、後述する１または２以上のテキスト情報である。各種の情報は、例えば、テキスト情報が対応付いた１または２以上の画像である。各種の情報は、例えば、テキスト情報に対応付いた画像関連情報である。各種の情報は、例えば、後述する辞書である。辞書は、用語の属性値との組の情報を、１組以上、有する。 Various types of information are stored in the storage unit 11. The various types of information are, for example, one or more text information described later. The various types of information are, for example, one or more images associated with textual information. The various types of information are, for example, image-related information corresponding to text information. The various information is, for example, a dictionary described later. The dictionary has one or more sets of information with the attribute values of the terms.

画像関連情報は、画像から取得された情報である。画像関連情報は、例えば、画像内のオブジェクトのオブジェクト識別子、または学習器である。学習器は、１または２以上の同種の画像を機械学習のアルゴリズムにより学習させた学習器である。機械学習は、例えば、深層学習、決定木、ＳＶＭ、ランダムフォレスト等、そのアルゴリズムは問わない。同種の画像は、例えば、同種のオブジェクトを撮影した写真である。なお、画像関から、当該画像内のオブジェクトのオブジェクト識別子を取得する技術は、いわゆるオブジェクト認識技術であり、公知技術であるので詳細な説明は省略する。 The image-related information is information acquired from the image. The image-related information is, for example, an object identifier of an object in the image, or a learner. The learner is a learner in which one or more images of the same type are trained by a machine learning algorithm. The algorithm of machine learning may be, for example, deep learning, decision tree, SVM, random forest, or the like. An image of the same type is, for example, a photograph of an object of the same type. The technique for acquiring the object identifier of the object in the image from the image is a so-called object recognition technique, which is a known technique, and therefore detailed description thereof will be omitted.

テキスト情報格納部１１１には、１または２以上のテキスト情報が格納される。テキスト情報は、テキストを含む情報である。テキスト情報は、画像または画像関連情報に対応する情報である。テキスト情報は、例えば、語、文、ブレインモデルの情報である。テキスト情報は、例えば、１以上の属性値と対になる２以上の文字列の集合である。ブレインモデルの情報は、ブレインモデルのテキスト情報と言っても良い。 One or more text information is stored in the text information storage unit 111. Text information is information including text. Text information is information corresponding to an image or image-related information. The text information is, for example, word, sentence, or brain model information. The text information is, for example, a set of two or more character strings paired with one or more attribute values. The information of the brain model may be said to be the text information of the brain model.

ブレインモデルの情報は、文字列に対応する２以上のノードと、ノード間をリンクするエッジとを有するネットワーク構造を有する情報である。また、エッジは、ここでは有向であるが、無向でも良い。 The information of the brain model is information having a network structure having two or more nodes corresponding to a character string and an edge linking the nodes. The edge is directed here, but may be undirected.

ブレインモデルの情報の例を、図２に示す。図２において、ノードは図形の円である。円の中の文字列は、ここでは単語である。また、ノードの円の背景色、線種により、文字列に対応する属性値が異なる。文字列「変速機」はノードであり、その属性値は「部品」である。文字列「変速機」のノードは、文字列「変速段数」、文字列「オイルシール」、文字列「トルクコンバータ」との間でエッジを有する。文字列「変速段数」はノードであり、その属性値は「構成」である。文字列「オイルシール」はノードであり、その属性値は「部品」である。文字列「トルクコンバータ」はノードであり、その属性値は「部品」である。また、文字列「腐食」はノードであり、その属性値は「故障モード」である。文字列「亀裂」はノードであり、その属性値は「故障モード」である。文字列「油漏れ」はノードであり、その属性値は「故障モード」である。文字列「急発進」はノードであり、その属性値は「外部要因」である。文字列「過荷重」はノードであり、その属性値は「外部要因」である。文字列「材質劣化」はノードであり、その属性値は「内部要因」である。文字列「材質変更」はノードであり、その属性値は「対策」である。文字列「部品変更」はノードであり、その属性値は「対策」である。文字列「強度計算」はノードであり、その属性値は「対策」である。 An example of information on the brain model is shown in FIG. In FIG. 2, the node is a circle of figures. The string inside the circle is a word here. In addition, the attribute value corresponding to the character string differs depending on the background color and line type of the circle of the node. The character string "transmission" is a node, and its attribute value is "part". The node of the character string "transmission" has an edge between the character string "number of gears", the character string "oil seal", and the character string "torque converter". The character string "number of gears" is a node, and its attribute value is "configuration". The character string "oil seal" is a node, and its attribute value is "part". The character string "torque converter" is a node, and its attribute value is "part". The character string "corrosion" is a node, and its attribute value is "failure mode". The string "crack" is a node and its attribute value is "failure mode". The character string "oil leak" is a node, and its attribute value is "failure mode". The character string "sudden start" is a node, and its attribute value is an "external factor". The string "overload" is a node and its attribute value is an "external factor". The character string "material deterioration" is a node, and its attribute value is an "internal factor". The character string "material change" is a node, and its attribute value is "countermeasure". The character string "part change" is a node, and its attribute value is "countermeasure". The character string "strength calculation" is a node, and its attribute value is "countermeasure".

なお、ノードに対応する情報は、単語でなくても良い。ノードに対応する情報は、例えば、ＵＲＬ等のリンク情報、ファイル名、数値等でも良い。ノードに対応する情報がリンク情報である場合、当該リンク情報が示すリンク先の情報が、実質的にノードに対応する情報である。また、ノードに対応する情報がファイル名である場合、当該ファイル名で識別されるファイルに含まれる情報が、実質的にノードに対応する情報である。 The information corresponding to the node does not have to be a word. The information corresponding to the node may be, for example, link information such as a URL, a file name, a numerical value, or the like. When the information corresponding to the node is the link information, the information of the link destination indicated by the link information is substantially the information corresponding to the node. Further, when the information corresponding to the node is a file name, the information included in the file identified by the file name is substantially the information corresponding to the node.

受付部１２は、例えば、画像を受け付ける。受付部１２は、例えば、画像に対応するテキスト情報を受け付ける。画像に対応するテキスト情は、例えば、画像に対応するブレインモデルの情報である。画像に対応するブレインモデルの情報とは、画像から抽出されたブレインモデルの情報である。画像から抽出されたブレインモデルの情報は、例えば、後述するテキスト情報抽出部１３１が受け付けられた画像から抽出したブレインモデルの情報である。 The reception unit 12 receives, for example, an image. The reception unit 12 receives, for example, text information corresponding to an image. The text information corresponding to the image is, for example, information of the brain model corresponding to the image. The information of the brain model corresponding to the image is the information of the brain model extracted from the image. The information of the brain model extracted from the image is, for example, the information of the brain model extracted from the image received by the text information extraction unit 131 described later.

ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。受け付けは、テキスト情報抽出部１３１等の処理手段が取得した情報の受け付けも含む。 Here, acceptance means acceptance of information input from an input device such as a keyboard, mouse, or touch panel, reception of information transmitted via a wired or wireless communication line, recording of an optical disk, magnetic disk, semiconductor memory, or the like. It is a concept including acceptance of information read from a medium. The reception also includes the reception of information acquired by the processing means such as the text information extraction unit 131.

画像等の入力手段は、スキャナやキーボードやマウスやメニュー画面によるもの等、何でも良い。受付部１２は、スキャナやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。 Any input means such as an image may be used, such as a scanner, a keyboard, a mouse, or a menu screen. The reception unit 12 can be realized by a device driver for input means such as a scanner or a keyboard, control software for a menu screen, or the like.

処理部１３は、各種の処理を行う。各種の処理とは、例えば、テキスト情報抽出部１３１、決定部１３２、テキスト情報取得部１３３、出力情報取得部１３４等が行う処理である。 The processing unit 13 performs various processes. The various processes are, for example, processes performed by the text information extraction unit 131, the determination unit 132, the text information acquisition unit 133, the output information acquisition unit 134, and the like.

テキスト情報抽出部１３１は、受付部１２が受け付けた画像からテキスト情報を抽出する。テキスト情報抽出部１３１は、例えば、受付部１２が受け付けた画像に対してオブジェクト認識処理を行い、１以上のオブジェクトを識別するオブジェクト識別子（文字列）を取得し、１以上の各オブジェクト識別子をノードとする。オブジェクト識別子が２以上、存在する場合、テキスト情報抽出部１３１は、２以上の各オブジェクトの位置を示す位置情報を取得し、位置情報が閾値以内のオブジェクトのオブジェクト識別子をエッジで連結する。また、テキスト情報抽出部１３１は、格納部１１の辞書を参照し、オブジェクト識別子の属性値を取得する。以上の処理により、テキスト情報抽出部１３１は、画像からブレインモデルのテキスト情報を得る。 The text information extraction unit 131 extracts text information from the image received by the reception unit 12. For example, the text information extraction unit 131 performs object recognition processing on the image received by the reception unit 12, acquires an object identifier (character string) that identifies one or more objects, and assigns each of the one or more object identifiers to a node. And. When two or more object identifiers exist, the text information extraction unit 131 acquires the position information indicating the position of each of the two or more objects, and concatenates the object identifiers of the objects whose position information is within the threshold value at the edge. Further, the text information extraction unit 131 refers to the dictionary of the storage unit 11 and acquires the attribute value of the object identifier. By the above processing, the text information extraction unit 131 obtains the text information of the brain model from the image.

決定部１３２は、受付部１２が受け付けた画像またはテキスト情報に予め決められた条件を満たすほど類似する１または２以上の画像または１または２以上の画像関連情報または１または２以上のテキスト情報を決定する。 The determination unit 132 determines one or two or more images or one or two or more image-related information or one or two or more text information that are so similar to the image or text information received by the reception unit 12 that satisfy predetermined conditions. decide.

ここで、予め決められた条件とは、例えば、類似度が閾値以上、または類似度が閾値より大きいことである。予め決められた条件とは、例えば、ブレインモデルの情報のグラフ構造の一致度が閾値以上、またはブレインモデルの情報のグラフ構造の一致度が閾値より大きいことである。なお、グラフ構造の一致度とは、グラフ構造のノードとリンクの一致する割合でも良いし、グラフ構造のノードとリンクの一致する数等でも良い。 Here, the predetermined condition is, for example, that the similarity is equal to or higher than the threshold value or the similarity is greater than the threshold value. The predetermined condition is, for example, that the degree of matching of the graph structure of the information of the brain model is equal to or more than the threshold value, or the degree of matching of the graph structure of the information of the brain model is larger than the threshold value. The degree of matching of the graph structure may be the ratio of matching of the nodes and links of the graph structure, or the number of matching of the nodes and links of the graph structure.

決定部１３２は、例えば、受付部１２が受け付けた画像に予め決められた条件を満たすほど類似する画像を格納部１１から検索し、１または２以上の画像を決定する。なお、かかる画像は格納部１１の画像である。 For example, the determination unit 132 searches the storage unit 11 for an image that is so similar to the image received by the reception unit 12 that satisfies a predetermined condition, and determines one or two or more images. The image is an image of the storage unit 11.

決定部１３２は、例えば、受付部１２が受け付けた画像を、学習器である画像関連情報に適用し、機械学習のアルゴリズムにより、スコアを取得する。そして、決定部１３２は、スコアが閾値以上または閾値より大きい画像関連情報を決定する。なお、スコアが閾値以上または閾値より大きい画像関連情報を決定する処理は、予め決められた条件を満たすほど類似する１または２以上の画像関連情報を決定する処理である。また、ここでの機械学習のアルゴリズムは、深層学習、ランダムフォレスト、ＳＶＲ、ＳＶＭ等、問わない。 For example, the determination unit 132 applies the image received by the reception unit 12 to the image-related information which is a learning device, and acquires a score by a machine learning algorithm. Then, the determination unit 132 determines the image-related information whose score is equal to or higher than the threshold value or larger than the threshold value. The process of determining image-related information whose score is equal to or higher than the threshold value or larger than the threshold value is a process of determining image-related information having one or two or more similar to each other so as to satisfy a predetermined condition. Further, the machine learning algorithm here may be deep learning, random forest, SVR, SVM, or the like.

決定部１３２は、例えば、受付部１２が受け付けたテキスト情報に予め決められた条件を満たすほど類似する１または２以上のテキスト情報を決定する。 The determination unit 132 determines, for example, one or two or more text information that is so similar to the text information received by the reception unit 12 that a predetermined condition is satisfied.

決定部１３２は、例えば、受付部１２が受け付けたブレインモデルの情報に予め決められた条件を満たすほど類似する１または２以上のブレインモデルの情報を決定する。ここで決定されるブレインモデルの情報は、格納部１１のブレインモデルの情報（テキスト情報）である。また、予め決められた条件とは、例えば、ブレインモデルの情報のグラフ構造の一致度が閾値以上、またはブレインモデルの情報のグラフ構造の一致度が閾値より大きいことである。 The determination unit 132 determines, for example, information on one or more brain models that are so similar to the information on the brain model received by the reception unit 12 that satisfy predetermined conditions. The information of the brain model determined here is the information (text information) of the brain model of the storage unit 11. Further, the predetermined condition is, for example, that the degree of matching of the graph structure of the information of the brain model is equal to or more than the threshold value, or the degree of matching of the graph structure of the information of the brain model is larger than the threshold value.

決定部１３２は、受付部１２が受け付けた画像またはテキスト情報に予め決められた条件を満たすほど類似する２以上の画像または２以上の画像関連情報または２以上のテキスト情報を決定しても良い。 The determination unit 132 may determine two or more images, two or more image-related information, or two or more text information that are so similar to the image or text information received by the reception unit 12 that satisfy predetermined conditions.

決定部１３２は、受付部１２が受け付けた画像から取得されたテキスト情報に予め決められた条件を満たすほど類似する１以上のテキスト情報を決定しても良い。なお、ここで受付部１２が受け付けた画像から取得されたテキスト情報は、例えば、テキスト情報抽出部１３１が取得したブレインモデルの情報である。 The determination unit 132 may determine one or more text information that is so similar to the text information acquired from the image received by the reception unit 12 that the condition is predetermined. The text information acquired from the image received by the reception unit 12 here is, for example, the information of the brain model acquired by the text information extraction unit 131.

決定部１３２は、例えば、受付部１２が受け付けた画像から取得されたテキスト情報に含まれる予め決められた属性値と対になる２以上の文字列と、テキスト情報格納部１１１の１以上の各テキスト情報に含まれる予め決められた属性値と対になる２以上の文字列とを用いて、受付部１２が受け付けた画像から取得されたテキスト情報に予め決められた条件を満たすほど類似する１以上のテキスト情報を決定する。なお、ここでの予め決められた属性値は、例えば、「部品」および「故障モード」である。 The determination unit 132 includes, for example, two or more character strings paired with a predetermined attribute value included in the text information acquired from the image received by the reception unit 12, and one or more of the text information storage unit 111. Using a predetermined attribute value included in the text information and two or more character strings that are paired with each other, the text information acquired from the image received by the reception unit 12 is so similar that the predetermined condition is satisfied. Determine the above text information. The predetermined attribute values here are, for example, "parts" and "failure mode".

決定部１３２は、例えば、受付部１２が受け付けた画像から取得されたテキスト情報に含まれる予め決められた属性値と対になる２以上の文字列を取得する。そして、決定部１３２は、かかる２以上の文字列を含むテキスト情報を、テキスト情報格納部１１１のテキスト情報から決定する。 The determination unit 132 acquires, for example, two or more character strings paired with a predetermined attribute value included in the text information acquired from the image received by the reception unit 12. Then, the determination unit 132 determines the text information including the two or more character strings from the text information of the text information storage unit 111.

テキスト情報取得部１３３は、決定部１３２が決定した１以上の各画像または１以上の各画像関連情報に対応するテキスト情報、または決定部１３２が決定した１以上のテキスト情報を取得する。 The text information acquisition unit 133 acquires text information corresponding to one or more images determined by the determination unit 132 or one or more image-related information, or one or more text information determined by the determination unit 132.

テキスト情報取得部１３３は、例えば、決定部１３２が決定した２以上の各画像または２以上の各画像関連情報に対応するテキスト情報、または決定部１３２が決定した２以上のテキスト情報を取得する。 The text information acquisition unit 133 acquires, for example, text information corresponding to two or more images determined by the determination unit 132 or two or more image-related information, or two or more text information determined by the determination unit 132.

テキスト情報取得部１３３は、例えば、決定部１３２が決定した１または２以上の各画像または１または２以上の各画像関連情報と対になる１または２以上のテキスト情報をテキスト情報格納部１１１から取得する。 The text information acquisition unit 133 receives, for example, one or two or more text information paired with one or more images determined by the determination unit 132 or one or two or more image-related information from the text information storage unit 111. get.

テキスト情報取得部１３３は、例えば、決定部１３２が決定した１または２以上のテキスト情報を取得する。 The text information acquisition unit 133 acquires, for example, one or more text information determined by the determination unit 132.

テキスト情報取得部１３３は、例えば、決定部１３２が決定した１以上のテキスト情報のうちの、予め決められた属性値と対になる１または２以上の文字列を取得する。なお、ここで、予め決められた属性値は、例えば、「外部要因」「内部要因」「対策」である。 The text information acquisition unit 133 acquires, for example, one or two or more character strings paired with a predetermined attribute value among the one or more text information determined by the determination unit 132. Here, the predetermined attribute values are, for example, "external factors", "internal factors", and "countermeasures".

出力情報取得部１３４は、テキスト情報取得部１３３が取得した１以上のテキスト情報を用いて、出力する出力情報を取得する。 The output information acquisition unit 134 acquires output information to be output by using one or more text information acquired by the text information acquisition unit 133.

出力情報取得部１３４は、例えば、テキスト情報取得部１３３が取得した２以上のテキスト情報を用いて、出力する出力情報を取得する。 The output information acquisition unit 134 acquires output information to be output by using, for example, two or more text information acquired by the text information acquisition unit 133.

出力情報取得部１３４は、例えば、テキスト情報取得部１３３が取得した１または２以上の文字列を用いて、出力する出力情報を取得する。 The output information acquisition unit 134 acquires output information to be output by using, for example, one or more character strings acquired by the text information acquisition unit 133.

出力情報取得部１３４は、例えば、テキスト情報取得部１３３が取得した２以上のテキスト情報を続けて配置した出力情報を取得する。 The output information acquisition unit 134 acquires, for example, output information in which two or more text information acquired by the text information acquisition unit 133 are continuously arranged.

出力情報取得部１３４は、例えば、テキスト情報取得部１３３が取得した２以上のテキスト情報を結合した出力情報を取得する。 The output information acquisition unit 134 acquires, for example, output information obtained by combining two or more text information acquired by the text information acquisition unit 133.

出力情報取得部１３４は、例えば、テキスト情報取得部１３３が取得した２以上のブレインモデルの情報を結合した出力情報である。なお、２以上のブレインモデルの情報の結合とは、２以上の各ブレインモデルの情報の中の同じ文字列のノードを一つに集約し、複数のブレインモデルのノードをエッジにより連結することである。 The output information acquisition unit 134 is, for example, output information in which information of two or more brain models acquired by the text information acquisition unit 133 is combined. In addition, the combination of information of two or more brain models is to aggregate the nodes of the same character string in the information of each of two or more brain models into one, and connect the nodes of multiple brain models by edges. be.

なお、出力情報は、テキスト情報そのものでも良い。 The output information may be text information itself.

出力部１４は、出力情報取得部１３４が取得した出力情報を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。 The output unit 14 outputs the output information acquired by the output information acquisition unit 134. Here, the output means display on a display, projection using a projector, printing by a printer, sound output, transmission to an external device, storage on a recording medium, storage on another processing device, another program, or the like. It is a concept that includes delivery of processing results.

格納部１１、およびテキスト情報格納部１１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。 A non-volatile recording medium is suitable for the storage unit 11 and the text information storage unit 111, but a volatile recording medium can also be used.

格納部１１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１１等で記憶されるようになってもよい。 The process of storing information in the storage unit 11 or the like does not matter. For example, the information may be stored in the storage unit 11 or the like via the recording medium, or the information transmitted via the communication line or the like may be stored in the storage unit 11 or the like. Alternatively, the information input via the input device may be stored in the storage unit 11 or the like.

処理部１３、テキスト情報抽出部１３１、決定部１３２、テキスト情報取得部１３３、および出力情報取得部１３４は、通常、ＭＰＵやメモリ等から実現され得る。処理部１３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。 The processing unit 13, the text information extraction unit 131, the determination unit 132, the text information acquisition unit 133, and the output information acquisition unit 134 can usually be realized from an MPU, a memory, or the like. The processing procedure of the processing unit 13 and the like is usually realized by software, and the software is recorded in a recording medium such as ROM. However, it may be realized by hardware (dedicated circuit).

出力部１４は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。 The output unit 14 may or may not include an output device such as a display or a speaker. The output unit 14 can be realized by the driver software of the output device, the driver software of the output device, the output device, or the like.

次に、情報処理装置１の動作について、図３のフローチャートを用いて説明する。 Next, the operation of the information processing apparatus 1 will be described with reference to the flowchart of FIG.

（ステップＳ３０１）受付部１２は、情報を受け付けたか否かを判断する。情報を受け付けた場合はステップＳ３０２に行き、情報を受け付けなかった場合はステップＳ３０１に戻る。なお、情報とは、例えば、画像またはテキスト情報である。 (Step S301) The reception unit 12 determines whether or not the information has been received. If the information is accepted, the process goes to step S302, and if the information is not accepted, the process returns to step S301. The information is, for example, image or text information.

（ステップＳ３０２）処理部１３は、テキスト情報を取得するか否かを判断する。テキスト情報を取得する場合はステップＳ３０３に行き、テキスト情報を取得しない場合はステップＳ３０４に行く。なお、テキスト情報を取得するか否かは、予め決められていても良い。また、処理部１３は、ステップＳ３０１で受け付けられた情報が画像の場合に、テキスト情報を取得すると判断し、ステップＳ３０１で受け付けられた情報がテキスト情報の場合に、テキスト情報を取得しないと判断しても良い。 (Step S302) The processing unit 13 determines whether or not to acquire the text information. If the text information is acquired, the process goes to step S303, and if the text information is not acquired, the process goes to step S304. Whether or not to acquire the text information may be determined in advance. Further, the processing unit 13 determines that the text information is acquired when the information received in step S301 is an image, and determines that the text information is not acquired when the information received in step S301 is text information. May be.

（ステップＳ３０３）テキスト情報抽出部１３１は、ステップＳ３０１で受け付けられた画像からテキスト情報を取得する。なお、テキスト情報抽出部１３１は、例えば、上述した処理により、画像からブレインモデルのテキスト情報を取得する。なお、テキスト情報抽出部１３１が取得したテキスト情報に対して、ユーザが情報を付加して、ブレインモデルのテキスト情報が得られても良い。 (Step S303) The text information extraction unit 131 acquires text information from the image received in step S301. The text information extraction unit 131 acquires the text information of the brain model from the image by, for example, the above-mentioned processing. The user may add information to the text information acquired by the text information extraction unit 131 to obtain the text information of the brain model.

（ステップＳ３０４）決定部１３２は、カウンタｉに１を代入する。 (Step S304) The determination unit 132 substitutes 1 for the counter i.

（ステップＳ３０５）決定部１３２は、ステップＳ３０１で受け付けられた情報、またはステップＳ３０３で取得されたテキスト情報と比較するｉ番目の比較対象が、格納部１１に存在するか否かを判断する。ｉ番目の比較対象が存在する場合はステップＳ３０６に行き、存在しない場合はステップＳ３０９に行く。なお、比較対象とは、例えば、格納部１１の画像、格納部１１の画像関連情報（例えば、学習器）、またはテキスト情報格納部１１１のテキスト情報である。 (Step S305) The determination unit 132 determines whether or not the i-th comparison target to be compared with the information received in step S301 or the text information acquired in step S303 exists in the storage unit 11. If the i-th comparison target exists, the process goes to step S306, and if it does not exist, the process goes to step S309. The comparison target is, for example, an image of the storage unit 11, image-related information (for example, a learning device) of the storage unit 11, or text information of the text information storage unit 111.

（ステップＳ３０６）決定部１３２は、ｉ番目の比較対象を格納部１１またはテキスト情報格納部１１１から取得する。 (Step S306) The determination unit 132 acquires the i-th comparison target from the storage unit 11 or the text information storage unit 111.

（ステップＳ３０７）決定部１３２は、ステップＳ３０１で受け付けられた情報またはステップＳ３０３で取得されたテキスト情報と、ステップＳ３０６で取得したｉ番目の比較対象との比較処理を行う。 (Step S307) The determination unit 132 performs a comparison process between the information received in step S301 or the text information acquired in step S303 and the i-th comparison target acquired in step S306.

比較処理は、例えば、類似度を取得する処理である。比較処理は、例えば、一致度を取得する処理である。比較処理は、例えば、学習器を用いて、機械学習のアルゴリズムにより、スコアを取得する処理である。 The comparison process is, for example, a process of acquiring the degree of similarity. The comparison process is, for example, a process of acquiring a degree of agreement. The comparison process is, for example, a process of acquiring a score by a machine learning algorithm using a learner.

つまり、決定部１３２は、例えば、ステップＳ３０１で受け付けられたブレインモデルのテキスト情報またはステップＳ３０３で取得されたブレインモデルのテキスト情報と、テキスト情報格納部１１１のｉ番目のテキスト情報（ブレインモデルのテキスト情報）とを比較し、一致度または類似度を取得する。 That is, the determination unit 132 has, for example, the text information of the brain model received in step S301 or the text information of the brain model acquired in step S303, and the i-th text information of the text information storage unit 111 (text of the brain model). Information) and the degree of agreement or similarity is obtained.

また、決定部１３２は、例えば、ステップＳ３０１で受け付けられた画像と格納部１１のｉ番目の画像との類似度を算出する。なお、２つの画像の類似度を算出する処理は、種々あり得、いかなるアルゴリズムを用いるかは問わない。また、２つの画像の類似度を算出する処理は、公知技術につき、詳細な説明を省略する。 Further, the determination unit 132 calculates, for example, the degree of similarity between the image received in step S301 and the i-th image of the storage unit 11. There may be various processes for calculating the similarity between the two images, and it does not matter what algorithm is used. Further, the process of calculating the similarity between the two images is a known technique, and detailed description thereof will be omitted.

また、決定部１３２は、例えば、ステップＳ３０１で受け付けられた画像を、格納部１１のｉ番目の学習器に適用し、機械学習のアルゴリズムにより、スコアを取得する。 Further, the determination unit 132 applies, for example, the image received in step S301 to the i-th learner of the storage unit 11, and acquires a score by a machine learning algorithm.

（ステップＳ３０８）決定部１３２は、カウンタｉを１、インクリメントする。ステップＳ３０５に戻る。 (Step S308) The determination unit 132 increments the counter i by 1. Return to step S305.

（ステップＳ３０９）決定部１３２は、予め決められた条件を満たす１または２以上の比較対象を決定する。予め決められた条件は、例えば、ステップＳ３０７で取得された類似度または一致度またはスコアが、閾値以上または閾値より大きいことである。 (Step S309) The determination unit 132 determines one or two or more comparison targets satisfying a predetermined condition. The predetermined condition is, for example, that the similarity, the degree of agreement, or the score acquired in step S307 is equal to or greater than the threshold value or greater than the threshold value.

（ステップＳ３１０）テキスト情報取得部１３３は、ステップＳ３０９で決定された１以上の各比較対象と対になるテキスト情報を取得する。ここで、テキスト情報取得部１３３は、ステップＳ３０９で決定された１以上の各比較対象と対になる１以上のテキスト情報の中の、予め決められた属性値の文字列を取得することは好適である。 (Step S310) The text information acquisition unit 133 acquires text information paired with each of the one or more comparison targets determined in step S309. Here, it is preferable that the text information acquisition unit 133 acquires a predetermined attribute value character string in one or more text information paired with each one or more comparison targets determined in step S309. Is.

（ステップＳ３１１）出力情報取得部１３４は、ステップＳ３１０で取得された１または２以上のテキスト情報を用いて、出力情報を構成する。なお、出力情報取得部１３４は、ステップＳ３１０で取得された１または２以上の文字列を用いて、出力情報を構成することは好適である。 (Step S311) The output information acquisition unit 134 configures output information by using one or more text information acquired in step S310. It is preferable that the output information acquisition unit 134 configures the output information by using one or more character strings acquired in step S310.

（ステップＳ３１２）出力部１４は、ステップＳ３１１で構成された出力情報を出力する。ステップＳ３０１に戻る。 (Step S312) The output unit 14 outputs the output information configured in step S311. Return to step S301.

なお、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 In the flowchart of FIG. 3, the process is terminated by turning off the power or interrupting the end of the process.

以上、本実施の形態によれば、受け付けられた画像に対する適切な情報を取得し、出力できる。 As described above, according to the present embodiment, it is possible to acquire and output appropriate information for the received image.

なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置１を実現するソフトウェアは、例えば、以下のようなプログラムである。つまり、このプログラムは、画像または画像から取得された画像関連情報に対応する２以上のテキスト情報が格納されるテキスト情報格納部にアクセス可能なコンピュータを、画像または画像に対応するテキスト情報を受け付ける受付部と、前記受付部が受け付けた画像またはテキスト情報に予め決められた条件を満たすほど類似する１以上の画像または１以上の画像関連情報または１以上のテキスト情報を決定する決定部と、前記決定部が決定した１以上の各画像または１以上の各画像関連情報に対応するテキスト情報、または前記決定部が決定した１以上のテキスト情報を取得するテキスト情報取得部と、前記テキスト情報取得部が取得した１以上のテキスト情報を用いて、出力する出力情報を取得する出力情報取得部と、前記出力情報を出力する出力部として機能させるためのプログラムである。 The processing in this embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded on a recording medium such as a CD-ROM and disseminated. It should be noted that this also applies to other embodiments herein. The software that realizes the information processing device 1 in this embodiment is, for example, the following program. That is, this program accepts an image or a computer that can access a text information storage unit that stores two or more text information corresponding to the image-related information acquired from the image, and accepts the image or the text information corresponding to the image. A determination unit for determining one or more images, one or more image-related information, or one or more text information that are so similar to the image or text information received by the reception unit that satisfy predetermined conditions, and the determination unit. The text information acquisition unit and the text information acquisition unit that acquire the text information corresponding to one or more images determined by the unit or one or more image-related information, or the one or more text information determined by the determination unit. It is a program for functioning as an output information acquisition unit for acquiring output information to be output and an output unit for outputting the output information by using one or more acquired text information.

図４は、上記のプログラムを実行して、上述した実施の形態１の情報処理装置１を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図４は、このコンピュータシステム３００の概観図であり、図５は、コンピュータシステム３００のブロック図である。 FIG. 4 shows the appearance of a computer that executes the above program and realizes the information processing apparatus 1 of the first embodiment described above. The above-described embodiment can be realized by computer hardware and a computer program executed on the computer hardware. FIG. 4 is an overview view of the computer system 300, and FIG. 5 is a block diagram of the computer system 300.

図４において、コンピュータシステム３００は、ＣＤ－ＲＯＭドライブ３０１２を含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。 In FIG. 4, the computer system 300 includes a computer 301 including a CD-ROM drive 3012, a keyboard 302, a mouse 303, and a monitor 304.

図５において、コンピュータ３０１は、ＣＤ－ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＣＤ－ＲＯＭドライブ３０１２等に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。 In FIG. 5, in addition to the CD-ROM drive 3012, the computer 301 includes an MPU 3013, a bus 3014 connected to the CD-ROM drive 3012, the ROM 3015 for storing a program such as a boot-up program, and the MPU 3013. It includes a RAM 3016 that is connected and for temporarily storing instructions of an application program and providing a temporary storage space, and a hard disk 3017 for storing an application program, a system program, and data. Although not shown here, the computer 301 may further include a network card that provides a connection to the LAN.

コンピュータシステム３００に、本実施の形態１の情報処理装置１の機能を実行させるプログラムは、ＣＤ－ＲＯＭ３１０１に記憶されて、ＣＤ－ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ－ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。 The program for causing the computer system 300 to execute the function of the information processing apparatus 1 of the first embodiment may be stored in the CD-ROM 3101, inserted into the CD-ROM drive 3012, and further transferred to the hard disk 3017. Alternatively, the program may be transmitted to the computer 301 via a network (not shown) and stored in the hard disk 3017. The program is loaded into RAM 3016 at run time. The program may be loaded directly from the CD-ROM3101 or the network.

プログラムは、コンピュータ３０１に、上述した実施の形態１の情報処理装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。 The program does not necessarily have to include an operating system (OS), a third-party program, or the like that causes the computer 301 to execute the functions of the information processing apparatus 1 of the first embodiment described above. The program only needs to include a part of instructions that call the appropriate function (module) in a controlled manner and obtain the desired result. It is well known how the computer system 300 works, and detailed description thereof will be omitted.

なお、上記プログラムにおいて、情報を送信する送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信するステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。 In the above program, in the step of transmitting information and the step of receiving information, the processing performed by the hardware, for example, the processing performed by the modem or the interface card in the step of transmitting (only by the hardware). Processing that is not performed) is not included.

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。 Further, the number of computers that execute the above program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.

また、上記実施の形態１，２において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。 Further, it goes without saying that in the first and second embodiments, the two or more communication means existing in one device may be physically realized by one medium.

また、上記実施の形態１，２において、各処理や各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。 Further, in the first and second embodiments, each process and each function may be realized by centralized processing by a single device or a single system, or may be distributed processing by a plurality of devices. It may be realized by.

なお、本願発明は、上記の実施の形態１，２に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。 The invention of the present application is not limited to the above-described first and second embodiments, and can be variously modified at the implementation stage without departing from the gist thereof, and these are also within the scope of the present invention. It goes without saying that it is included.

以上のように、本発明にかかる情報処理装置は、受け付けられた画像に対する適切な情報を取得し、出力できるという効果を有し、情報処理装置等として有用である。 As described above, the information processing apparatus according to the present invention has the effect of being able to acquire and output appropriate information for the received image, and is useful as an information processing apparatus or the like.

１情報処理装置
１１格納部
１２受付部
１３処理部
１４出力部
１１１テキスト情報格納部
１３１テキスト情報抽出部
１３２決定部
１３３テキスト情報取得部
１３４出力情報取得部 1 Information processing device 11 Storage unit 12 Reception unit 13 Processing unit 14 Output unit 111 Text information storage unit 131 Text information extraction unit 132 Decision unit 133 Text information acquisition unit 134 Output information acquisition unit

Claims

A storage unit that stores two or more comparison targets that are images or image-related information or text information acquired from images, and
A text information storage unit that stores text information corresponding to an image or image-related information in each of the two or more comparison targets, and a text information storage unit.
The reception desk that accepts images and
Comparison processing between the image received by the reception unit and the image in the two or more comparison targets, or the image-related information acquired from the image received by the reception unit and the image-related in the two or more comparison targets. A condition in which the result of the comparison process is determined in advance by performing a comparison process with the information or a comparison process between the text information acquired from the image received by the reception unit and the text information in the two or more comparison targets. A decision unit that determines one or more comparison targets that satisfy the conditions,
When one or more comparison targets determined by the determination unit are images or image-related information, one or more text information corresponding to each of the one or more comparison targets is acquired from the text information storage unit, and the determination is made. When each one or more comparison targets determined by the department is text information, the text information acquisition unit for acquiring the one or more text information and the text information acquisition unit
An output information acquisition unit that acquires output information to be output using one or more text information acquired by the text information acquisition unit, and an output information acquisition unit.
An information processing device including an output unit that outputs the output information.

The comparison target is text information.
A text information extraction unit that extracts text information from the image received by the reception unit is further provided.
The decision-making part
The first aspect of claim 1, wherein the text information extracted by the text information extraction unit is compared with the text information in the two or more comparison targets to determine one or more comparison targets satisfying a predetermined condition. Information processing device.

The comparison target is
Information on a brain model having a network structure having two or more nodes corresponding to a character string and an edge linking the nodes.
The text information extraction unit
Object recognition processing is performed on the image received by the reception unit, two or more object identifiers that identify objects are acquired, position information indicating the position of each of the two or more objects is acquired, and the position information is a threshold value. The information processing apparatus according to claim 2, wherein the object identifiers of the objects within are connected by an edge to acquire text information which is information of the brain model.

The text information in the text information storage unit includes two or more character strings paired with one or more attribute values.
The text information acquisition unit
Of the one or more text information corresponding to each of the one or more comparison targets determined by the determination unit, one or more character strings paired with a predetermined attribute value are acquired.
The output information acquisition unit is
The information processing apparatus according to any one of claims 1 to 3, wherein the output information to be output is acquired by using one or more character strings acquired by the text information acquisition unit.

The text information in the text information storage unit includes two or more character strings paired with one or more attribute values.
The text information extraction unit
An object recognition process is performed on the image received by the reception unit, an object identifier that identifies one or more objects is acquired, and a dictionary having one or more sets of information with the attribute value of the term is referred to. Acquire the attribute value of each object identifier of 1 or more,
The decision-making part
Two or more character strings paired with a predetermined attribute value included in the text information extracted by the text information extraction unit, and one or more predetermined attributes included in each one or more text information of the text information storage unit. Claim 2 or claim 2 for determining one or more text information satisfying a predetermined condition for the text information acquired from the image received by the reception unit by using two or more character strings paired with the value. The information processing apparatus according to 3.

The text information acquisition unit
Two or more text information, which is the information of the brain model, is acquired from the text information storage unit.
The output information acquisition unit is
The information processing apparatus according to any one of claims 1 to 5, wherein the output information obtained by combining the information of two or more brain models acquired by the text information acquisition unit is acquired.

A storage unit that stores two or more comparison targets, which are image-related information or text information acquired from an image or an image, and text information corresponding to the image or image-related information in each of the two or more comparison targets. It is an information processing method realized by a text information storage unit, a reception unit, a text information extraction unit, a determination unit, a text information acquisition unit, an output information acquisition unit, and an output unit.
The reception step where the reception unit receives images, and
The determination unit compares the image received in the reception step with the image in the two or more comparison targets, or the image-related information acquired from the image received by the reception unit and the comparison of the two or more. A comparison process with the image-related information in the target, or a comparison process between the text information acquired from the image received by the reception unit and the text information in the two or more comparison targets is performed, and the result of the comparison process is performed. Determines one or more comparison targets that satisfy predetermined conditions, and
When the text information acquisition unit determines that each of the one or more comparison targets determined in the determination step is an image or image-related information, the text information includes one or more text information corresponding to each of the one or more comparison targets . When each of the one or more comparison targets acquired from the storage unit and determined by the determination unit is text information, the text information acquisition step for acquiring the one or more text information, and
An output information acquisition step in which the output information acquisition unit acquires output information to be output by using one or more text information acquired in the text information acquisition step.
An information processing method in which the output unit includes an output step for outputting the output information.

A storage unit that stores two or more comparison targets, which are images or image-related information or text information acquired from the image, and text information corresponding to the image or image-related information in each of the two or more comparison targets. A computer that can access the text information storage
The reception desk that accepts images and
Comparison processing between the image received by the reception unit and the image in the two or more comparison targets, or the image-related information acquired from the image received by the reception unit and the image-related in the two or more comparison targets. A condition in which the result of the comparison process is determined in advance by performing a comparison process with the information or a comparison process between the text information acquired from the image received by the reception unit and the text information in the two or more comparison targets. A decision unit that determines one or more comparison targets that satisfy the conditions,
When one or more comparison targets determined by the determination unit are images or image-related information, one or more text information corresponding to each of the one or more comparison targets is acquired from the text information storage unit, and the determination is made. When each one or more comparison targets determined by the department is text information, the text information acquisition unit for acquiring the one or more text information and the text information acquisition unit
An output information acquisition unit that acquires output information to be output using one or more text information acquired by the text information acquisition unit, and an output information acquisition unit.
A program for functioning as an output unit that outputs the output information.