JP7726465B2 - Information processing device and information processing method - Google Patents
Information processing device and information processing methodInfo
- Publication number
- JP7726465B2 JP7726465B2 JP2024011767A JP2024011767A JP7726465B2 JP 7726465 B2 JP7726465 B2 JP 7726465B2 JP 2024011767 A JP2024011767 A JP 2024011767A JP 2024011767 A JP2024011767 A JP 2024011767A JP 7726465 B2 JP7726465 B2 JP 7726465B2
- Authority
- JP
- Japan
- Prior art keywords
- answer
- unit
- acquired
- user
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、ユーザからのユーザ質問を受け付けて、当該ユーザ質問に対する本回答を行う情報処理装置及び情報処理方法に関する。 The present invention relates to an information processing device and information processing method that accepts user questions from users and provides actual answers to those user questions.
従来から、チャットボット等を用いて質問をユーザが入力し、当該質問に対する回答をサーバから受け取ることが行われている。例えば特許文献１では、質問文を取得する質問文取得部と、取得した質問文を構成する１つ以上の単語に対する機械学習モデルの適用結果に基づいて、前記取得した質問文とは異なる新たな質問文を生成する質問文生成部と、を備える、質問文生成装置が提供されている。そして、特許文献１では、チャットボットのテスト等に用いる質問文を効率良く生成できることが提案されている。 Conventionally, users have used chatbots and other devices to input questions and receive answers to those questions from a server. For example, Patent Document 1 provides a question generation device that includes a question acquisition unit that acquires a question, and a question generation unit that generates a new question that differs from the acquired question based on the results of applying a machine learning model to one or more words that make up the acquired question. Patent Document 1 also proposes that questions to be used for testing chatbots and the like can be efficiently generated.
特許文献１で用いられている登録済ＦＡＱは、あらかじめチャットボットに登録されている質問文と回答文の組合せデータであり、質問文と回答文が予め記憶部で記憶されている態様となっている。 The registered FAQs used in Patent Document 1 are combinations of questions and answers that have been registered in advance in the chatbot, and the questions and answers are stored in advance in a storage unit.
本発明は、迅速に暫定的に回答することを実現しつつ、高い精度でユーザ個別の状況に即した回答をユーザに提供できる情報処理装置及び情報処理方法を提供する。 The present invention provides an information processing device and information processing method that can provide users with quick, provisional answers while providing answers that are highly accurate and tailored to the user's individual situation.
本発明による情報処理装置は、
ユーザからのユーザ質問を受け付ける受付部と、
前記受付部で受け付けたユーザ質問に対応する回答を記憶部において検索して取得回答を取得する検索部と、
前記検索部で取得された取得回答を評価する評価部と、
前記評価部での取得回答の評価結果が良好な場合には取得回答を前記ユーザ質問に対する本回答として出力し、不良な場合には暫定回答を出力する出力部と、
前記評価部での取得回答の評価結果が不良な場合に、前記ユーザ質問に対する本回答を、生成部を用いて作成させる依頼部と、
を備え、
前記出力部が、前記生成部によって生成された本回答を出力してもよい。
The information processing device according to the present invention comprises:
a reception unit that receives user questions from users;
a search unit that searches a storage unit for an answer corresponding to the user question received by the reception unit and acquires the acquired answer;
an evaluation unit that evaluates the answers obtained by the search unit;
an output unit that outputs the acquired answer as a real answer to the user question if the evaluation result of the evaluation unit is good, and outputs a provisional answer if the evaluation result is bad;
a request unit that, when the evaluation result of the acquired answer by the evaluation unit is bad, causes a generation unit to create a real answer to the user question;
Equipped with
The output unit may output the final answer generated by the generation unit.
本発明による情報処理装置において、
前記出力部は、前記生成部によって生成された本回答を、前記暫定回答を出力した後、時間差をもって出力してもよい。
In the information processing device according to the present invention,
The output unit may output the final answer generated by the generation unit with a time lag after outputting the provisional answer.
本発明による情報処理装置において、
記憶部は第一記憶部及び第二記憶部を有し、
前記検索部は前記ユーザ質問に対応する回答を第一記憶部において検索して取得回答を取得し、
前記依頼部は前記ユーザ質問に対応する内容を第二記憶部において検索し、前記第二記憶部から取得された内容を用いて前記生成部に本回答を生成させてもよい。
In the information processing device according to the present invention,
the storage unit has a first storage unit and a second storage unit,
the search unit searches a first storage unit for an answer corresponding to the user question and acquires the acquired answer;
The request unit may search a second storage unit for content corresponding to the user question, and cause the generation unit to generate the real answer using the content obtained from the second storage unit.
本発明による情報処理装置において、
前記依頼部は、前記第二記憶部から取得された内容と複数のプロンプト又はパラメータを用いて、複数の本回答候補を生成させてもよい。
In the information processing device according to the present invention,
The request unit may generate a plurality of final answer candidates using the content acquired from the second storage unit and a plurality of prompts or parameters.
本発明による情報処理装置において、
前記依頼部は、前記生成部に複数の本回答候補を生成させ、
前記評価部は前記複数の本回答候補を評価してもよい。
In the information processing device according to the present invention,
the request unit causes the generation unit to generate a plurality of real answer candidates;
The evaluation unit may evaluate the plurality of real answer candidates.
本発明による情報処理装置は、
前記複数の本回答候補のうちの２つ以上を組み合わせることで、新たな本回答候補を生成する合成部を備え、
前記評価部は、前記合成部によって生成された本回答候補を評価してもよい。
The information processing device according to the present invention comprises:
a synthesis unit that generates a new main answer candidate by combining two or more of the plurality of main answer candidates;
The evaluation unit may evaluate the final answer candidate generated by the synthesis unit.
本発明による情報処理装置において、
前記評価部による評価が低い場合に、前記依頼部は評価の低い本回答候補の要因について生成部に評価させてもよい。
In the information processing device according to the present invention,
When the evaluation by the evaluation unit is low, the request unit may cause the generation unit to evaluate the factors of the low-rated real answer candidate.
本発明による情報処理装置において、
本回答候補に対する評価部による評価が高い場合には、当該本回答候補を本回答として出力するとともに、前記ユーザ質問に対する回答として記憶部で記憶させてもよい。
In the information processing device according to the present invention,
If the evaluation unit gives a high evaluation to the final answer candidate, the final answer candidate may be output as a final answer and may be stored in the storage unit as an answer to the user question.
本発明による情報処理装置において、
前記評価部による前記検索部で検索された取得回答に対する評価が第一閾値以上の場合に取得回答を前記ユーザ質問に対する本回答として出力し、
前記評価部による前記検索部で検索された取得回答に対する評価が第一閾値未満ではあるものの第二閾値以上となっている取得回答が存在する場合に、前記出力部が暫定回答として出力してもよい。
In the information processing device according to the present invention,
outputting the acquired answer as a real answer to the user question when the evaluation by the evaluation unit for the acquired answer searched by the search unit is equal to or greater than a first threshold value;
If there is an acquired answer whose evaluation by the evaluation unit for the acquired answer searched by the search unit is less than the first threshold but greater than or equal to the second threshold, the output unit may output the acquired answer as a provisional answer.
本発明による情報処理方法は、
受付部によって、ユーザからのユーザ質問を受け付ける工程と、
検索部によって、前記受付部で受け付けたユーザ質問に対応する回答を記憶部において検索して取得回答を取得する工程と、
評価部によって、前記検索部で取得された取得回答を評価する工程と、
出力部によって、前記評価部での取得回答の評価結果が良好な場合には取得回答を前記ユーザ質問に対する本回答として出力し、不良な場合には暫定回答を出力する工程と、
依頼部によって、前記評価部での取得回答の評価結果が不良な場合に、前記ユーザ質問に対する本回答を、生成部を用いて作成させる工程と、
前記出力部によって、前記生成部によって生成された本回答を出力する工程と、
を備えてもよい。
The information processing method according to the present invention comprises:
a step of accepting a user question from a user by a accepting unit;
a step of searching a storage unit for an answer corresponding to the user question accepted by the accepting unit and acquiring the acquired answer by a searching unit;
a step of evaluating the obtained answer obtained by the search unit by an evaluation unit;
an output unit outputting the acquired answer as a real answer to the user question when the evaluation result of the acquired answer by the evaluation unit is good, and outputting a provisional answer when the evaluation result is bad;
a step of causing a request unit to generate a real answer to the user question using a generation unit when the evaluation result of the acquired answer by the evaluation unit is bad;
outputting, by the output unit, the real answer generated by the generation unit;
may also be provided.
本発明において、ユーザ質問に対する回答として記憶部で記憶されている回答が不良な場合に暫定回答を出力しつつ、ユーザ質問に対する本回答を生成部で作成させる態様を採用した場合には、迅速に暫定的に回答することを実現しつつ、従来のように記憶部で記憶されている情報によって回答する態様と比較して高い精度でユーザ個別の状況に即した回答をユーザに提供できる情報処理装置及び情報処理方法が提供される。 In the present invention, by adopting a mode in which a provisional answer is output when the answer stored in the storage unit as an answer to a user question is inadequate, and a permanent answer to the user question is created by the generation unit, an information processing device and information processing method are provided that can quickly provide a provisional answer and provide the user with an answer that is tailored to the user's individual situation with higher accuracy than conventional modes in which an answer is provided based on information stored in the storage unit.
本実施の形態の情報処理装置１００は、一つの装置から構成されてもよいし複数の装置から構成されてもよい。本実施の形態では、情報処理装置１００を用いた情報処理方法、情報処理装置１００を生成するためにインストールされるプログラム（サーバプログラム）や、当該プログラムを記憶したＵＳＢ、ＤＶＤ等からなる記憶媒体も提供される。また、本実施の形態では、ユーザ端末２００にインストールされるプログラム（ユーザプログラム）や、当該プログラムを記憶したＵＳＢ、ＤＶＤ等からなる記憶媒体も提供される。本実施の形態の情報処理装置１００は複数のユーザ端末２００と通信可能なサーバであってもよく、本実施の形態はクラウド環境でも利用可能となってもよい。ユーザ端末２００は、スマートフォン、タブレット端末、パソコン等からなる。ユーザ端末２００は、ユーザからの操作を受け付ける操作部２１０と、後述する出力部８０から出力される本回答や暫定回答等の様々な情報を表示する表示部２２０とを有している。ユーザ端末がスマートフォンやタブレット端末からなる場合には、操作部２１０と表示部２２０の機能の各々を操作表示部が実現することになる。 The information processing device 100 of this embodiment may be composed of a single device or multiple devices. This embodiment also provides an information processing method using the information processing device 100, a program (server program) installed to generate the information processing device 100, and a storage medium such as a USB or DVD on which the program is stored. This embodiment also provides a program (user program) installed on the user terminal 200 and a storage medium such as a USB or DVD on which the program is stored. The information processing device 100 of this embodiment may be a server capable of communicating with multiple user terminals 200, and this embodiment may also be available in a cloud environment. The user terminal 200 may be a smartphone, tablet terminal, PC, or the like. The user terminal 200 has an operation unit 210 that accepts operations from a user and a display unit 220 that displays various information, such as a final answer and a tentative answer, output from the output unit 80 (described below). When the user terminal is a smartphone or tablet terminal, the operation and display unit realizes the functions of the operation unit 210 and the display unit 220.
一例として、図１に示すように、本実施の形態の情報処理装置１００は、ユーザ端末２００の操作部２１０から入力されるユーザからのユーザ質問を受け付ける受付部１０（図２の「(1)」参照）と、受付部１０で受け付けたユーザ質問に対応する回答を記憶部６０において検索する検索部２０と、検索部２０で検索されて取得された取得回答を評価する評価部３０と、を有している。記憶部６０には、複数の既存質問と各既存質問に対応する既存回答が一対一で記憶され、ユーザ質問と既存質問とを比較した結果を用いて取得回答を取得するようにしてもよい（図３参照）。なお、ユーザからのユーザ質問の受付と、ユーザ質問に対する回答は、チャットボットによって行われてもよい。 As an example, as shown in FIG. 1, the information processing device 100 of this embodiment includes a reception unit 10 (see "(1)" in FIG. 2) that receives user questions input from the operation unit 210 of the user terminal 200, a search unit 20 that searches the storage unit 60 for answers corresponding to the user questions received by the reception unit 10, and an evaluation unit 30 that evaluates the acquired answers searched and acquired by the search unit 20. The storage unit 60 may store a plurality of existing questions and their corresponding existing answers in a one-to-one correspondence, and an acquired answer may be obtained using the results of comparing the user question with the existing question (see FIG. 3). Note that the reception of user questions from users and the answers to the user questions may be performed by a chatbot.
検索部２０は、ユーザ端末２００から入力されたユーザ質問を入力データとし、図２で示されるキャッシュデータベース等の記憶部６０（後述する第一記憶部６１）に対してベクトル検索をかけ、評価部３０での評価結果が上位Ｎ件を取得するようにしてもよい。なお、検索部２０は、定形あいさつ等の質問において不要な部分を削除する等の前処理をした後で検索するようにしてもよい。また、検索部２０は、文章単位のベクトル化モデルで作成したベクトルを用いて、記憶部６０で記憶されている既存質問とのＣＯＳ類似度（コサイン類似度）を計算するようにしてもよい。ベクトルを作成する際には、ＡＰＩ（Application Programming Interface）提供されているものやＬａＢＳＥ等を用いるようにしてもよい。 The search unit 20 may use a user question entered from the user terminal 200 as input data, perform a vector search on the memory unit 60 (first memory unit 61, described later) such as a cache database shown in FIG. 2, and obtain the top N evaluation results from the evaluation unit 30. The search unit 20 may perform preprocessing such as deleting unnecessary parts of questions such as standard greetings before searching. The search unit 20 may also use vectors created using a sentence-by-sentence vectorization model to calculate the COS similarity (cosine similarity) with existing questions stored in the memory unit 60. When creating vectors, a provided API (Application Programming Interface), LaBSE, etc. may be used.
評価部３０は、取得した１又は複数の既存質問のそれぞれについて、１）ユーザ質問との意味的一致度、２）ユーザ質問との意味的包含関係（但し、ユーザ質問に複数の質問が入っている場合には、ユーザ質問⊃既存質問となる。）、３）ユーザ質問との固有名詞の一致度を計算し、これらの加重平均によってスコアを算出するようにしてもよい。加重平均における「重み」は、ユーザがユーザ端末２００から入力して適宜変更できるようにしてもよいし、管理者が管理者端末２００ａから入力して適宜変更できるようにしてもよい。管理者端末２００ａは、スマートフォン、タブレット端末、パソコン等からなる。管理者端末２００ａは、管理者からの操作を受け付ける操作部２１０ａと、様々な情報を表示する表示部２２０ａとを有している。 For each of the acquired existing questions, the evaluation unit 30 may calculate 1) the semantic similarity with the user question, 2) the semantic inclusion relationship with the user question (however, if the user question contains multiple questions, the user question ⊃ existing questions), and 3) the similarity of proper nouns with the user question, and calculate a score by taking a weighted average of these. The "weight" in the weighted average may be input by the user from the user terminal 200 and changed as appropriate, or may be input by the administrator from the administrator terminal 200a and changed as appropriate. The administrator terminal 200a may be a smartphone, tablet terminal, PC, etc. The administrator terminal 200a has an operation unit 210a that accepts operations from the administrator, and a display unit 220a that displays various information.
評価部３０は、取得した１又は複数の既存質問とユーザ質問との類似度によって、評価を行うようにしてもよいが、本実施の形態では類似度の高い既存質問が存在しない場合には、生成部３００で本回答候補を生成することから、必ずしも類似度の高い既存質問を選択する必要がない。この点、上記１）～３）を用いてスコアを算出する態様を用いることで、より適切な評価を行うことができる。「１）ユーザ質問との意味的一致度」としては、既存質問とユーザ質問との類似度をベクトルによって評価するようにしてもよい。「２）ユーザ質問との意味的包含関係」については、既存質問の意味とユーザ質問の意味とを比較し、ユーザ質問のうち既存質問が網羅できている程度をＬＬＭ（大規模言語モデル）等の既存のモデルを用いて評価するようにしてもよい。「３）ユーザ質問との固有名詞の一致度」については、評価部３０がユーザ質問と既存質問における固有名詞を抽出し、一致する固有名詞の数をカウントするようにしてもよい。「１）ユーザ質問との意味的一致度」及び「２）ユーザ質問との意味的包含関係」の評価方法についての一例を示すと、予め学習用の２つの文章をベクトル表現した上で、意味的一致度及び意味的包含関係を学習させた意味的関係モデルを機械学習によって準備する。そして、準備された当該意味的関係モデルに対して、既存質問をベクトル化したものとユーザ質問をベクトル化したものを入力データとして入力し、両者の意味的一致度及び包含関係の各々を評価するようにしてもよい。 The evaluation unit 30 may perform evaluation based on the similarity between one or more acquired existing questions and the user's question. However, in this embodiment, if there are no highly similar existing questions, the generation unit 300 generates the answer candidate, so it is not necessary to select a highly similar existing question. In this regard, a more appropriate evaluation can be performed by calculating the score using 1) to 3) above. For "1) semantic similarity with the user's question," the similarity between the existing question and the user's question may be evaluated using a vector. For "2) semantic inclusion relationship with the user's question," the meaning of the existing question may be compared with the meaning of the user's question, and the extent to which the existing question is covered within the user's question may be evaluated using an existing model such as a large-scale language model (LLM). For "3) proper noun similarity with the user's question," the evaluation unit 30 may extract proper nouns from the user's question and the existing question, and count the number of matching proper nouns. As an example of a method for evaluating "1) semantic similarity with the user question" and "2) semantic inclusion with the user question," two learning sentences are first vector-represented, and a semantic relationship model that learns the semantic similarity and semantic inclusion is prepared using machine learning. Then, a vectorized version of the existing question and a vectorized version of the user question are input as input data to the prepared semantic relationship model, and the semantic similarity and inclusion between them are evaluated.
情報処理装置１００は、評価部３０で取得回答の評価結果が例えば第一閾値以上となり良好な場合には当該取得回答をユーザ質問に対する本回答として出力し、第一閾値未満となり不良な場合には当該取得回答を暫定回答として又は回答を後ほどもしくは後日行う旨の通知を暫定回答として出力する出力部８０と、評価部３０で取得回答の評価結果が第一閾値未満となり不良な場合に、ユーザ質問に対する本回答を、生成部３００を用いて作成させる依頼部５０と、を有してもよい。この際の流れとしては図２の「(2)」及び「(3)」を参照にされたい。 The information processing device 100 may have an output unit 80 that outputs the acquired answer as a permanent answer to the user question when the evaluation unit 30 evaluates the acquired answer as a good answer, for example, above a first threshold, and outputs the acquired answer as a provisional answer or a notification that an answer will be provided later or at a later date when the evaluation unit 30 evaluates the acquired answer as a bad answer below the first threshold, and a request unit 50 that causes the generation unit 300 to create a permanent answer to the user question when the evaluation unit 30 evaluates the acquired answer as a bad answer below the first threshold. For the flow of this process, please refer to "(2)" and "(3)" in Figure 2.
より具体的には、評価部３０による評価の結果、第一閾値以上となる既存質問を取得できた場合には、当該既存質問に対応する既存回答をユーザ質問に対する本回答として出力部８０が出力するようにしてもよい。複数の既存質問が第一閾値以上の評価値となっている場合には、最も高い評価値の既存質問に対する既存回答（取得回答に相当する。）を出力部８０が出力するようにしてもよい。但し、このような態様に限られることはなく、第一閾値以上の評価値となっている既存質問に対する既存回答を所定の個数（例えば上位３つ）で出力するようにしてもよい。また、第一閾値以上の評価値となる既存質問が存在する場合には、後述するように、依頼部５０がユーザ質問に対する本回答を生成部３００によって作成させるようなことを行わないようにしてもよい。このような態様を採用することで、重複する質問とその回答が記憶部６０で記憶されることを予め防止することができる。生成部３００は情報処理装置１００とは異なる外部装置であり、一般的に利用できる生成ＡＩ（ChatGPT等）を利用してもよい。但し、このような態様に限られることはなく、生成部３００は情報処理装置１００に含まれる態様を採用してもよい（図１において点線で示されている生成部３００を参照）。 More specifically, if the evaluation unit 30 obtains an existing question with an evaluation value equal to or greater than the first threshold, the output unit 80 may output the existing answer corresponding to the existing question as the actual answer to the user's question. If multiple existing questions have evaluation values equal to or greater than the first threshold, the output unit 80 may output the existing answer (corresponding to the obtained answer) to the existing question with the highest evaluation value. However, this is not limited to this configuration, and a predetermined number of existing answers (e.g., the top three) to existing questions with evaluation values equal to or greater than the first threshold may be output. Furthermore, if there is an existing question with an evaluation value equal to or greater than the first threshold, as described below, the request unit 50 may not cause the generation unit 300 to create an actual answer to the user's question. By adopting such a configuration, it is possible to prevent duplicate questions and their answers from being stored in the memory unit 60. The generation unit 300 is an external device separate from the information processing device 100, and may utilize a commonly available generation AI (e.g., ChatGPT). However, this is not a limitation, and the generation unit 300 may be included in the information processing device 100 (see the generation unit 300 indicated by the dotted line in Figure 1).
評価部３０による評価の結果、第一閾値以上となる既存質問を取得できていない場合には、依頼部５０が、ユーザ質問に対する本回答を、生成部３００を用いて作成させるようにしてもよい（図２の「(3)」参照）。この際、出力部８０は、ユーザ端末２００に対して、暫定回答を提案することはせず、回答を後ほど又は後日行う旨を暫定回答として出力するようにしてもよい。既存質問に対応する既存回答の出力と生成部３００による本回答の作成依頼とは非同期で行われるようにしてもよい。 If the evaluation by the evaluation unit 30 indicates that no existing questions exceeding the first threshold have been obtained, the request unit 50 may have the generation unit 300 create a permanent answer to the user question (see "(3)" in Figure 2). In this case, the output unit 80 may not propose a provisional answer to the user terminal 200, but may output a provisional answer indicating that the answer will be provided later or at a later date. The output of the existing answer corresponding to the existing question and the request by the generation unit 300 to create a permanent answer may be performed asynchronously.
評価部３０による評価の結果（例えば評価スコア）が第一閾値未満ではあるものの第二閾値（第一閾値＞第二閾値）以上となっている既存質問が存在する場合には、当該既存質問に対する既存回答を暫定回答として出力部８０がユーザに出力するようにしてもよい。複数の既存質問が第二閾値以上の評価値となっている場合には、最も高い評価値の既存質問に対する既存回答を暫定回答として出力部８０が出力するようにしてもよい。但し、このような態様に限られることはなく、第二閾値以上の評価値となっている既存質問に対する既存回答を暫定回答として所定の個数（例えば上位３つ）で出力するようにしてもよい。この態様を採用する場合には、出力部８０は、ユーザ端末２００に対して暫定回答として既存回答と本回答を後ほど又は後日行う旨、出力するようにしてもよい。また、第二閾値以上の評価値となる既存質問を取得できなかった場合には、出力部８０は、ユーザ端末２００に対して、暫定回答等を行わずに回答を後ほど又は後日行う旨だけ、暫定回答として出力するようにしてもよい。 If there is an existing question for which the evaluation result (e.g., evaluation score) by the evaluation unit 30 is less than the first threshold but greater than or equal to the second threshold (first threshold > second threshold), the output unit 80 may output an existing answer to that existing question as a provisional answer to the user. If multiple existing questions have evaluation values greater than or equal to the second threshold, the output unit 80 may output an existing answer to the existing question with the highest evaluation value as a provisional answer. However, this is not limited to this configuration, and a predetermined number (e.g., the top three) of existing answers to existing questions with evaluation values greater than or equal to the second threshold may be output as provisional answers. When this configuration is adopted, the output unit 80 may output the existing answer as a provisional answer to the user terminal 200, along with a message indicating that a permanent answer will be provided later or at a later date. Furthermore, if no existing question with an evaluation value greater than or equal to the second threshold is obtained, the output unit 80 may output to the user terminal 200 only a message indicating that a reply will be provided later or at a later date, without providing a provisional answer.
生成部３００によって本回答が生成されると、当該本回答を出力部８０がユーザ端末２００に出力するようにしてもよい。ユーザ質問とユーザＩＤ等のユーザ識別情報とが記憶部６０で関連付けられており、ユーザ質問に対応する本回答は、ユーザ識別情報と関連付けられたユーザ端末２００に対して、電子メールを用いて出力部８０から出力されるようにしてもよい。なお、ユーザに関する情報は第一記憶部６１及び第二記憶部６２のいずれかで記憶されてもよいし、記憶部６０のうち第一記憶部６１及び第二記憶部６２とは異なるその他の領域で記憶されてもよい。 Once the answer has been generated by the generation unit 300, the output unit 80 may output the answer to the user terminal 200. The user question may be associated with user identification information such as a user ID in the storage unit 60, and the answer corresponding to the user question may be output by email from the output unit 80 to the user terminal 200 associated with the user identification information. Information about the user may be stored in either the first storage unit 61 or the second storage unit 62, or may be stored in another area of the storage unit 60 different from the first storage unit 61 and the second storage unit 62.
評価部３０による評価の結果が第一閾値未満ではあるものの第二閾値以上となっている既存質問が存在する場合には、本回答として生成された回答とユーザに暫定的に通知した既存回答とを比較し、評価部３０で新たな情報が追加されていると判断される場合に、本回答をユーザに通知するようにしてもよい。新たな情報が追加されていないと判断される場合には、暫定的に通知した既存質問が本回答となる旨、出力部８０が、ユーザに通知するようにしてもよいし、オペレータにその旨を自動送信してオペレータに対応を依頼するようにしてもよい。追加された情報があるかはＬＬＭ（大規模言語モデル）を用いて判定するようにしてもよい。一例を示すと、予め学習用の２つの文章をベクトル表現した上で、意味的追加の関係を学習させた追加判断モデルを機械学習によって準備する。そして、準備された当該追加判断モデルに対して、既存回答をベクトル化したものと本回答候補をベクトル化したものを入力データとして入力し、既存回答に対する本回答候補の意味的追加について評価するようにしてもよい。その際には、既定の閾値を準備しておき、意味的追加のスコアが所定の閾値以上となっている場合に追加された情報があると判断するようにしてもよい。 If there is an existing question for which the evaluation result by the evaluation unit 30 is less than the first threshold but equal to or greater than the second threshold, the answer generated as the final answer may be compared with the existing answer provisionally notified to the user. If the evaluation unit 30 determines that new information has been added, the final answer may be notified to the user. If it determines that new information has not been added, the output unit 80 may notify the user that the existing question provisionally notified is now the final answer, or may automatically send a message to an operator requesting a response. The presence of added information may be determined using a large-scale language model (LLM). For example, two training sentences are vector-represented in advance, and an addition judgment model that learns the relationship between semantic additions is prepared by machine learning. Then, vectorized versions of the existing answer and vectorized versions of the final answer candidate may be input as input data to the prepared addition judgment model, and the semantic addition of the final answer candidate to the existing answer may be evaluated. In this case, a predetermined threshold may be prepared, and it may be determined that added information has been added if the semantic addition score is equal to or greater than the predetermined threshold.
以上のような態様を採用した場合には、一次的に記憶部６０で記憶されている情報に基づき回答を準備するが、その回答内容について評価を行い、良好な場合に本回答としてその回答を提示する。他方、記憶部６０で記憶されている情報では不十分である（不良である）と評価された場合には、暫定回答を出力するとともに、依頼部５０が、ユーザ質問に対する本回答を生成部３００に作成させることから、暫定的な回答を速やかにユーザに提示しつつ、高い精度でユーザ個別の状況に即した回答をユーザ質問に対して提供し、もって既存質問では想定されていなかった内容を含むユーザ質問に対して回答を提供できる。 When the above-described configuration is adopted, an answer is prepared primarily based on the information stored in the memory unit 60, but the content of the answer is evaluated and, if it is satisfactory, the answer is presented as the final answer. On the other hand, if the information stored in the memory unit 60 is evaluated as insufficient (poor), a provisional answer is output and the request unit 50 causes the generation unit 300 to create a final answer to the user's question. This allows the provisional answer to be quickly presented to the user, while providing an answer to the user's question that is highly accurate and tailored to the user's individual situation, thereby making it possible to provide an answer to a user's question that includes content not anticipated in existing questions.
出力部８０は、生成部３００によって生成された本回答を、暫定回答を出力した後、時間差をもって出力するようにしてもよい。生成部３００で本回答を生成し、その評価を適切に行うためには時間を要することがある。他方、ユーザから入力されたユーザ質問に対しては何らかの対応が必要となる。このため、本態様を採用した場合には、暫定的な回答をユーザに一旦提示した上で、正式な本回答を遅れて行うことから、ユーザとしては、暫定的な回答を一旦得た上で、精度の高い本回答を後から得ることができる点で有益である。 The output unit 80 may output the final answer generated by the generation unit 300 with a time lag after outputting the tentative answer. It may take time for the generation unit 300 to generate a final answer and properly evaluate it. On the other hand, some kind of response is required to the user question entered by the user. For this reason, when this mode is adopted, a tentative answer is first presented to the user, and then a formal final answer is provided at a later time. This is beneficial for the user in that they can first receive a tentative answer and then later receive a highly accurate final answer.
記憶部６０は第一記憶部６１及び第二記憶部６２を有してもよい。検索部２０はユーザ質問に対応する回答を第一記憶部６１において検索し、依頼部５０はユーザ質問に対応する内容を第二記憶部６２において検索してもよい。そして、依頼部５０は、第二記憶部６２から検索された内容を用いて生成部３００に本回答を生成させるようにしてもよい。第一記憶部６１では、既存質問と既存回答とが一対一で関連付けられて記憶されていてもよい（図３参照）。他方、第二記憶部６２では、業務マニュアル・過去の応対記録等が記憶されていてもよい（図２の「(3)」参照）。より具体的には、第二記憶部６２としては、既存質問と既存回答とが一対一で関連付けられて記憶されているのではなく、業務マニュアル・過去の応対記録等の業務に関する様々な情報が記憶されている箇所を用いてもよい。 The memory unit 60 may have a first memory unit 61 and a second memory unit 62. The search unit 20 may search the first memory unit 61 for an answer corresponding to the user question, and the request unit 50 may search the second memory unit 62 for content corresponding to the user question. The request unit 50 may then cause the generation unit 300 to generate the answer using the content searched for in the second memory unit 62. The first memory unit 61 may store existing questions and existing answers in a one-to-one association (see FIG. 3). On the other hand, the second memory unit 62 may store business manuals, past response records, etc. (see "(3)" in FIG. 2). More specifically, the second memory unit 62 may store various information related to business operations, such as business manuals and past response records, rather than storing existing questions and existing answers in a one-to-one association.
依頼部５０は、ユーザ端末２００から入力されたユーザ質問を入力データとし、業務マニュアル・応対記録データベース等の第二記憶部６２に対してベクトル検索をかけ、上位Ｍ件を取得し、取得した上位Ｍ件を質問回答の観点からＬＬＭ（大規模言語モデル）を用いてスコアリングするようにしてもよい。なお、依頼部５０は、定形あいさつ等の質問において不要な部分を削除する前処理等を行って検索するようにしてもよい。業務マニュアル・応対記録データベース等の第二記憶部６２で記憶されている情報に対して分割部４５がチャンキング（情報の分割）を行うようにしてもよく、この際には例えば章単位でチャンキングを行うようにしてもよい。分割部４５で分割された情報は分割前の情報とは別に第二記憶部６２で記憶されてもよい。なお、ユーザ質問に対応する内容の第二記憶部６２における検索は依頼部５０ではなく検索部２０が行うようにしてもよい。 The request unit 50 may use a user question entered from the user terminal 200 as input data, perform a vector search on the second storage unit 62, such as a business manual/response record database, to obtain the top M results, and score the obtained top M results using an LLM (large-scale language model) from the perspective of question and answer. The request unit 50 may perform preprocessing, such as removing unnecessary parts of questions such as standard greetings, before performing the search. The division unit 45 may perform chunking (dividing information) on the information stored in the second storage unit 62, such as a business manual/response record database. In this case, chunking may be performed on a chapter-by-chunk basis, for example. The information divided by the division unit 45 may be stored in the second storage unit 62 separately from the information before division. The search unit 20, rather than the request unit 50, may search the second storage unit 62 for content corresponding to the user question.
評価部３０は、チャンキングして取得した生成用入力情報のそれぞれに対して、１）ユーザ質問との意味的一致度、２）ユーザ質問との意味的包含関係、３）ユーザ質問との固有名詞の一致度を計算し、１）ユーザ質問との意味的一致度、２）ユーザ質問との意味的包含関係、３）ユーザ質問との固有名詞の一致度の各々に関して、上位数件～数十件の生成用入力情報を抽出するようにしてもよい。ここでの評価は、生成部３００に対するプロンプトを作成するための情報としての利用可能性のためのものである。このため、加重平均する必要性に乏しく、１）～３）について加重平均を行わないようにしてもよい。但し、１）～３）について、加重平均して評価を行うようにする態様も採用することはできる。また、評価部３０は、生成用入力情報のユーザ質問に対する類似度だけを用いて評価を行うようにしてもよい。 For each piece of input information for generation obtained through chunking, the evaluation unit 30 may calculate 1) the semantic similarity with the user question, 2) the semantic inclusion relationship with the user question, and 3) the similarity of proper nouns with the user question, and extract the top few to several dozen pieces of input information for generation with respect to each of 1) the semantic similarity with the user question, 2) the semantic inclusion relationship with the user question, and 3) the similarity of proper nouns with the user question. The evaluation here is for the purpose of usability as information for creating a prompt for the generation unit 300. For this reason, there is little need for a weighted average, and weighted averaging may not be performed for 1) to 3). However, a mode in which weighted averaging is performed for 1) to 3) and evaluation is also possible. The evaluation unit 30 may also perform evaluation using only the similarity of the input information for generation to the user question.
依頼部５０は、第二記憶部６２から取得された１又は複数の生成用入力情報と、記憶部６０で記憶されている１又は複数のプロンプトを用いて、１又は複数の本回答候補を生成させてもよい。本実施の形態では複数のプロンプトを用いて複数の本回答候補を生成させる態様を主に用いて説明するが、パラメータを変更することで複数の本回答候補を生成するようにしてもよい。本実施の形態における「プロンプト」を適宜「パラメータ」又は「プロンプト及びパラメータ」と置き換えることができ、一例としては「プロンプト」を変更するのではなく、「パラメータ」を変更することで複数の本回答候補を生成させてもよいし、「プロンプト」と「パラメータ」の両方を変更することで複数の本回答候補を生成させてもよい。例えば、プロンプトで用いられるパラメータの１つとして「温度」が用いられる場合、「温度」の値として異なる値を用いることで、複数の本回答候補を生成させてもよい。 The request unit 50 may generate one or more permanent answer candidates using one or more pieces of input information for generation acquired from the second storage unit 62 and one or more prompts stored in the storage unit 60. While this embodiment will primarily describe the generation of multiple permanent answer candidates using multiple prompts, multiple permanent answer candidates may also be generated by changing parameters. In this embodiment, "prompt" may be replaced with "parameter" or "prompt and parameter" as appropriate. For example, multiple permanent answer candidates may be generated by changing the "parameter" rather than the "prompt," or multiple permanent answer candidates may be generated by changing both the "prompt" and the "parameter." For example, if "temperature" is used as one of the parameters used in the prompt, multiple permanent answer candidates may be generated by using different values for "temperature."
一例として、依頼部５０は、第二記憶部６２から取得された複数の生成用入力情報と複数のプロンプトを用いて、複数の本回答候補を生成させてもよい。このような態様を採用する場合には、複数の本回答候補を得ることができる。このため、本回答として精度の高い内容を得る可能性を高めることができる。具体的には、一定以上のスコアをもつ生成用入力情報を複数（例えば、３つ、５つ、７つ等）用い、また複数のプロンプト（生成用のテンプレートであり、回答計画を立て順次実行するもの含む。）を用いて、依頼部５０が生成部３００に数十パターンの回答を生成させるようにしてもよい。用いる情報の数及びプロンプトの数を多くすることで大量の本回答候補を得ることができる。プロンプトは既存質問及び既存回答を参照として生成されたものを記憶部６０が記憶しており、記憶部６０から読み出されたプロンプトを用いるようにしてもよい。プロンプトに関しては、ユーザがユーザ端末２００から入力したものや、管理者が管理者端末２００ａから入力したものが記憶部６０で記憶されてもよい。また、ユーザ端末２００を介してユーザがプロンプトを入力するようにしてもよいし、予め準備されたプロンプトからユーザが選択することで利用されるプロンプトが決定されるようにしてもよい。プロンプトとしては、例えば、「「〇〇」という質問に対する回答を「△△・・・・△△」を参照として作成して下さい。」というようなものを挙げることができる。 As an example, the request unit 50 may generate multiple real answer candidates using multiple pieces of input information for generation and multiple prompts acquired from the second storage unit 62. Adopting this configuration allows for multiple real answer candidates to be obtained. This increases the likelihood of obtaining highly accurate real answers. Specifically, the request unit 50 may use multiple pieces of input information for generation with a certain score or higher (e.g., three, five, seven, etc.) and multiple prompts (templates for generation, including answer plans and sequential execution). This allows for the generation unit 300 to generate dozens of answer patterns. By increasing the number of pieces of information and prompts used, a large number of real answer candidates can be obtained. Prompts generated with reference to existing questions and existing answers may be stored in the storage unit 60, and prompts read from the storage unit 60 may be used. Prompts input by the user from the user terminal 200 or by the administrator from the administrator terminal 200a may be stored in the storage unit 60. Furthermore, the user may input a prompt via the user terminal 200, or the prompt to be used may be determined by the user selecting from pre-prepared prompts. An example of a prompt could be, "Please create an answer to the question 'XX' using '△△...△△' as a reference."
生成部３００が複数の本回答候補を生成させる場合には、評価部３０が複数の本回答候補を評価するようにしてもよい。この態様を採用した場合には、評価部３０での評価結果を用いて、複数の本回答候補の中から適切な本回答を選別できる点で有益である。 If the generation unit 300 generates multiple candidate main answers, the evaluation unit 30 may evaluate the multiple candidate main answers. This configuration is advantageous in that it allows the evaluation results from the evaluation unit 30 to be used to select an appropriate candidate main answer from the multiple candidate main answers.
一例としては、生成部３００で生成された本回答候補のそれぞれに対して、１）質問回答の妥当性（抜けや漏れがないか）、２）記載の流暢さ、３）過去の応対記録から見た再質問の可能性の観点からスコアリングし、加重平均するようにしてもよい。加重平均における「重み」は、ユーザがユーザ端末２００から入力して適宜変更できるようにしてもよいし、管理者が管理者端末２００ａから入力して適宜変更できるようにしてもよい。 As an example, each of the real answer candidates generated by the generation unit 300 may be scored based on 1) the appropriateness of the answer to the question (whether there are any omissions or omissions), 2) the fluency of the description, and 3) the likelihood of a follow-up question based on past response records, and a weighted average may be calculated. The "weight" in the weighted average may be changed as needed by the user via the user terminal 200, or may be changed as needed by the administrator via the administrator terminal 200a.
「１）質問回答の妥当性」については、業務マニュアルを用いて抜け漏れがないかを確認するようにしてもよい。また既存の文章校正タスクと同様、ＬＬＭ（大規模言語モデル）を用いて抜け漏れを検出するようにしてもよい。一例としては、予め学習用の２つの文章をベクトル表現した上で、意味的包含関係を学習させた意味的包含関係モデルを機械学習によって準備する。そして、準備された当該意味的包含関係モデルに対して、本回答候補を生成するために用いた業務マニュアルの一部（チャンキングした部分）をベクトル化したものと本回答候補をベクトル化したものを入力データとして入力し、両者の意味的包含関係を評価するようにしてもよい。「２）記載の流暢さ」については、ＬＬＭ（大規模言語モデル）と予め記憶部６０で記憶されている流暢性判断モデル（従来からある既存の流暢性判断モデルを用いてもよい。）を用いて評価するようにしてもよい。「３）過去の応対記録から見た再質問の可能性」については、予め記憶部６０で記憶されている再質問可能性判断モデルやＬＬＭ（大規模言語モデル）を用いて評価するようにしてもよい。再質問可能性判断モデルについては、過去の応対記録を用いて機械学習させてもよい。より具体的には、過去の応対記録から、ユーザへの回答及び当該回答に対する再質問の有無を学習データとして用い、機械学習させたモデルを再質問可能性判断モデルとして予め準備し、記憶部６０で記憶させてもよい。以上の工程により、回答精度が低いと判定された場合には、もう一度本回答候補を生成し直すようにしてもよく、回答精度が一定程度高まるまで、このような工程を繰り返し行うようにしてもよい。 Regarding "1) the validity of the question and answer," a business manual may be used to check for omissions. Furthermore, as with existing text proofreading tasks, an LLM (large-scale language model) may be used to detect omissions. As an example, two training sentences may be vector-represented in advance, and a semantic inclusion model that learns semantic inclusion relationships may be prepared through machine learning. Then, a vectorized portion of the business manual (chunked portion) used to generate the actual answer candidate and a vectorized version of the actual answer candidate may be input as input data to the prepared semantic inclusion model, and the semantic inclusion relationship between the two may be evaluated. Regarding "2) the fluency of the description," an LLM (large-scale language model) and a fluency judgment model pre-stored in the storage unit 60 may be used for evaluation (a conventional existing fluency judgment model may also be used). Regarding "3) the possibility of a re-ask based on past response records," an LLM (large-scale language model) or a re-ask possibility judgment model pre-stored in the storage unit 60 may be used for evaluation. The re-ask possibility judgment model may be machine-learned using past response records. More specifically, answers to users and whether or not follow-up questions are asked in response to those answers may be used as learning data from past response records, and a machine-learned model may be prepared in advance as a follow-up question possibility determination model and stored in the storage unit 60. If the answer accuracy is determined to be low through the above process, answer candidates may be generated again, or these processes may be repeated until the answer accuracy is improved to a certain level.
なお、ユーザ質問に対して、毎回、生成部３００で回答を生成させる場合には、回答を取得する時間を要することになる。他方、ユーザ質問に対して、記憶部６０で記憶されている情報だけで回答する態様では、適切な回答候補が記憶部６０に記憶されていなければユーザ質問に対する適切な回答を行うことができないし、システムが切り替わる時等では回答候補の蓄積が少ないことも要因となってユーザ質問に対する適切な回答を行うことができない。この点、本実施の形態のように、暫定的な回答を速やかにユーザに提示しつつ、業務マニュアル・応対記録データベース等の第二記憶部６２から取得される情報を用いて生成部３００で本回答候補を生成させることで、精度の高い本回答をユーザ質問に対して提供することができる。本回答候補を生成する際には、業務マニュアル・応対記録データベース等の第二記憶部６２で記憶されている情報に加え、既存ＦＡＱデータ等の第一記憶部６１で記憶されている既存質問を参照しに行くようにしてもよい。また生成した回答を提供する際、回答そのものに加え、回答に採用した第二記憶部６２に記憶されている情報（例えばファイルの内容からファイルメタデータまで）を出典情報として提供するようにしてもよい。 Note that if the generation unit 300 were to generate an answer to each user question, it would take time to obtain the answer. On the other hand, if answers to user questions were to be provided solely using information stored in the storage unit 60, an appropriate answer to the user's question would not be provided unless appropriate answer candidates were stored in the storage unit 60. Furthermore, when systems are switched, a small number of answer candidates may be stored, making it difficult to provide an appropriate answer to the user's question. In this regard, as in the present embodiment, by quickly presenting a provisional answer to the user and having the generation unit 300 generate final answer candidates using information obtained from the second storage unit 62, such as an operations manual and response record database, highly accurate final answers to user questions can be provided. When generating final answer candidates, in addition to the information stored in the second storage unit 62, such as an operations manual and response record database, existing questions stored in the first storage unit 61, such as existing FAQ data, may be referenced. Furthermore, when providing the generated answer, in addition to the answer itself, information stored in the second storage unit 62 used in the answer (e.g., file contents and file metadata) may be provided as source information.
複数の本回答候補のうちの２つ以上を組み合わせることで、新たな本回答候補を生成する合成部４０が設けられてもよい。このような合成部４０を用いる態様を採用した場合には、既に得られている本回答候補を利用しつつも、高い精度でユーザ個別の状況に即した本回答候補を生成できる可能性がある点で有益である。例えば２０個の本回答候補が存在し、これらを２つずつ組み合わせてもよいし、３つずつ組み合わせてもよい。評価部３０は、合成部４０によって生成された本回答候補（複数の本回答候補を組み合わせて生成された本回答候補）を評価してもよい。例えば、抜け・漏れがあり「１）質問回答の妥当性」が低い場合には、抜け・漏れ部分を特定し、数十パターン作成された本回答候補から複数パターンを融合し、評価部３０での評価が向上するか試行するようにしてもよい。このような態様を採用することで、抜け・漏れ等が無く、ユーザ質問に対して十分な回答を提供することを期待できる。 A synthesis unit 40 may be provided that generates a new real answer candidate by combining two or more of the multiple real answer candidates. Using such a synthesis unit 40 is beneficial because it potentially allows for the generation of real answer candidates that are tailored to the user's individual circumstances with high accuracy while still utilizing previously obtained real answer candidates. For example, if there are 20 real answer candidates, these may be combined in pairs or in groups of three. The evaluation unit 30 may evaluate the real answer candidates generated by the synthesis unit 40 (real answer candidates generated by combining multiple real answer candidates). For example, if there are omissions or gaps and "1) Question-answer validity" is low, the missing or missing parts may be identified, and multiple patterns may be combined from dozens of created real answer candidates to see if the evaluation by the evaluation unit 30 improves. By adopting such an implementation, it is expected that a satisfactory answer to the user's question will be provided without any omissions or gaps.
評価部３０による評価が低い場合に、依頼部５０は評価の低い本回答候補の要因について生成部３００に評価させてもよい。この態様を採用した場合には、評価の低い本回答候補の要因を把握することができ、今後の改善に繋げることができる点で有益である。例えば、抜け・漏れがあることが判明した場合、組織内で内部確認すべき事項か、ユーザに訊くべき事項かを生成部３００に判断させるようにしてもよい。プロンプトとしては、例えば、「「ＡＡＡ」という質問に対する回答として「ＢＢＢ」を準備しましたが、抜け・漏れがあると判断されました。「ＣＣ・・・・ＣＣ」を参照として、評価が低くなった理由としては、抜け・漏れや質問があいまいであるというようなことが考えられますが、評価が低くなった理由は何になるか回答をお願いします。」というようなものを挙げることができる。 If the evaluation unit 30 gives a low rating, the request unit 50 may have the generation unit 300 evaluate the factors behind the low-rated actual answer candidate. This is beneficial in that it allows the factors behind the low-rated actual answer candidate to be identified, leading to future improvements. For example, if an omission or omission is found, the generation unit 300 may be configured to determine whether it is something that should be checked internally within the organization or something that should be asked of the user. An example of a prompt might be, "We prepared 'BBB' as an answer to the question 'AAA', but it was determined that there was an omission or omission. Referring to 'CC...CC', possible reasons for the low rating include omission or an ambiguous question. Please explain why the rating is low."
評価が低い原因がユーザからの質問等が原因（例えばユーザ質問があいまいであることが原因）となっている場合には、出力部８０がユーザからの入力を促す情報を出力し、受付部１０でユーザからユーザ端末２００を介した補完情報の入力を受け付ければよい。また業務マニュアル等における記載が不足している場合には、担当部署の担当者が対応するようにすればよい。内部で確認すべき事項であるか、ユーザに確認すべき事項かについては、二値分類モデルを用いてもよく、この際にはＬＬＭ（大規模言語モデル）を用いてもよい。 If the low rating is due to a question from the user (for example, an ambiguous question), the output unit 80 can output information prompting the user to input, and the reception unit 10 can receive supplementary information from the user via the user terminal 200. If there is insufficient information in the business manual, etc., a person in the relevant department can handle the issue. A binary classification model can be used to determine whether an issue should be confirmed internally or with the user, and an LLM (large-scale language model) can be used in this case.
第二閾値以上の評価値となる既存質問を取得できなかった場合であって、生成された本回答に対する評価部３０による評価が低い場合（例えば評価部３０によるスコアが第三閾値未満である場合）には、オペレータに出力部８０が通知し、オペレータによる対応を行うようにしてもよい（図２の「(4)」参照）。このような態様を採用する場合には、評価部３０による評価が低い場合にだけ「人」による対応を行い、人件費等を抑えつつ、ユーザに満足の高い回答を提供することを期待できる。 If an existing question with an evaluation value equal to or greater than the second threshold cannot be obtained and the evaluation unit 30 evaluates the generated answer poorly (for example, if the score by the evaluation unit 30 is less than the third threshold), the output unit 80 may notify an operator, who may then take action (see "(4)" in Figure 2). When this type of configuration is adopted, human intervention is performed only when the evaluation unit 30 evaluates the answer poorly, which can be expected to reduce labor costs and provide users with highly satisfying answers.
オペレータが対応する場合、ユーザから返答があった場合には（図２の「(5)」参照）、オペレータが引き続き対応してもよいが、ユーザから補完情報を受け付けた場合には、生成用入力情報の各々に補完情報を依頼部５０が自動で補完した上で、生成部３００による本回答の作成依頼を行い、上述した一連の工程を行うようにしてもよい。 When an operator responds and receives a reply from the user (see "(5)" in Figure 2), the operator may continue to respond, but if supplementary information is received from the user, the request unit 50 may automatically supplement each piece of input information for generation with the supplementary information, and then request the generation unit 300 to create a permanent response, and the series of steps described above may be carried out.
内部確認するべき事項であると生成部３００が判断した場合には、例えば出力部８０が社内メール等でその旨を自動送付するようにしてもよい。この場合には、自動送信されたメールに対する業務所管部署等からの返信を受信部９０が受け、当該内容を記憶部６０が記憶するようにしてもよい。 If the generation unit 300 determines that an internal check is required, the output unit 80 may automatically send a notice to that effect via an internal email, for example. In this case, the receiving unit 90 may receive a reply from the department in charge of the business in response to the automatically sent email, and the memory unit 60 may store the reply.
またユーザに訊くべき事項であると生成部３００が判断した場合には、オペレータに当該内容を出力部８０が送信し、オペレータが引継ぐようにしてもよい。この場合には、例えば訊くべき事項のリストを出力部８０がオペレータに自動送信し、オペレータ対応による回答（ユーザ回答）のフィードバックを受けて、記憶部６０で記憶するようにしてもよい。そして、ユーザ回答も用いて、生成部３００によって本回答候補を再度生成させるようにしてもよい。 Also, if the generation unit 300 determines that the question should be asked to the user, the output unit 80 may transmit the content to the operator, who may then take over. In this case, for example, the output unit 80 may automatically transmit a list of questions to be asked to the operator, and receive feedback on the answers (user answers) from the operator, which may then be stored in the storage unit 60. Then, the generation unit 300 may regenerate answer candidates using the user answers.
本回答候補に対する評価部３０による評価が高い場合（例えば評価部３０によるスコアが第三閾値以上である場合）には、出力部８０が当該本回答候補を本回答として出力するとともに、ユーザ質問に対する回答として記憶部６０（典型的には第一記憶部６１）で記憶するようにしてもよい。この態様を採用した場合には、評価の高い本回答を記憶部６０で記憶することができ、今後のユーザからの質問に対して、直ぐに回答できる本回答を予め準備することができる。質問及び本回答を記憶部６０に記憶する際、調整部７０が、口語を文語に変換したり名前等を削除したりするような調整を行った上で、記憶部６０で記憶するようにしてもよい。調整部７０は、ＬＬＭ（大規模言語モデル）を用いて本回答の成形を行うようにしてもよい。 If the evaluation unit 30 gives a high rating to the final answer candidate (for example, if the score given by the evaluation unit 30 is equal to or greater than a third threshold), the output unit 80 may output the final answer candidate as a final answer and store it in the memory unit 60 (typically the first memory unit 61) as an answer to the user question. If this configuration is adopted, highly rated final answers can be stored in the memory unit 60, making it possible to prepare final answers that can be used immediately in response to future questions from users. When storing the question and final answer in the memory unit 60, the adjustment unit 70 may adjust the answers, such as converting colloquial language to written language and deleting names, before storing them in the memory unit 60. The adjustment unit 70 may also use an LLM (large-scale language model) to shape the final answer.
受付部１０、検索部２０、評価部３０、合成部４０、分割部４５、依頼部５０、調整部７０等は一つのユニット（制御ユニット）によって実現されてもよいし、異なるユニットによって実現されてもよい。複数の「部」による機能が統合されてもよく、例えば検索部２０、評価部３０、合成部４０及び分割部４５の機能が一つのユニットによって実現されてもよい。また、受付部１０、検索部２０、評価部３０、合成部４０、分割部４５、依頼部５０、調整部７０等はプロセッサの機能により実現されてもよいし、回路構成によって実現されてもよい。 The reception unit 10, search unit 20, evaluation unit 30, synthesis unit 40, division unit 45, request unit 50, adjustment unit 70, etc. may be realized by a single unit (control unit) or by different units. The functions of multiple "units" may be integrated; for example, the functions of the search unit 20, evaluation unit 30, synthesis unit 40, and division unit 45 may be realized by a single unit. Furthermore, the reception unit 10, search unit 20, evaluation unit 30, synthesis unit 40, division unit 45, request unit 50, adjustment unit 70, etc. may be realized by the functions of a processor or by a circuit configuration.
上述した実施の形態の記載及び図面の開示は、特許請求の範囲に記載された発明を説明するための一例に過ぎず、上述した実施の形態の記載又は図面の開示によって特許請求の範囲に記載された発明が限定されることはない。 The above description of the embodiment and disclosure of the drawings are merely examples for explaining the invention described in the claims, and the invention described in the claims is not limited by the above description of the embodiment or disclosure of the drawings.
１０ 受付部
２０ 検索部
３０ 評価部
４０ 合成部
５０ 依頼部
６０ 記憶部
６１ 第一記憶部
６２ 第二記憶部
８０ 出力部
１００ 情報処理装置
２００ ユーザ端末
３００ 生成部
REFERENCE SIGNS LIST 10 Reception unit 20 Search unit 30 Evaluation unit 40 Synthesis unit 50 Request unit 60 Storage unit 61 First storage unit 62 Second storage unit 80 Output unit 100 Information processing device 200 User terminal 300 Generation unit
Claims (9)
前記受付部で受け付けたユーザ質問に対応する回答を記憶部において検索して取得回答を取得する検索部と、
前記検索部で取得された取得回答の評価結果が良好な場合には取得回答を前記ユーザ質問に対する本回答として出力し、不良な場合には暫定回答を出力する出力部と、
前記取得回答の評価結果が不良な場合に、前記ユーザ質問に対する本回答を、生成部を用いて作成させる依頼部と、
を備え、
前記出力部は、前記取得回答の評価結果が不良な場合に、前記暫定回答をユーザ端末に出力した後、前記生成部によって生成された本回答を、前記暫定回答と時間差をもってユーザ端末に出力する情報処理装置。 a reception unit that receives user questions from users;
a search unit that searches a storage unit for an answer corresponding to the user question received by the reception unit and acquires the acquired answer;
an output unit that outputs the acquired answer as a permanent answer to the user question if the evaluation result of the acquired answer acquired by the search unit is good, and outputs a provisional answer if the evaluation result is bad;
a requesting unit that, when an evaluation result of the acquired answer is poor, causes a generating unit to generate a real answer to the user question;
Equipped with
The output unit is an information processing device that, when the evaluation result of the obtained answer is poor, outputs the provisional answer to the user terminal, and then outputs the actual answer generated by the generation unit to the user terminal with a time difference from the provisional answer .
前記検索部は前記ユーザ質問に対応する回答を第一記憶部において検索して取得回答を取得し、
前記依頼部は前記ユーザ質問に対応する内容を第二記憶部において検索し、前記第二記憶部から取得された内容を用いて前記生成部に本回答を生成させる、請求項１に記の情報処理装置。 the storage unit has a first storage unit and a second storage unit,
the search unit searches a first storage unit for an answer corresponding to the user question and acquires the acquired answer;
The information processing device according to claim 1 , wherein the request unit searches a second storage unit for content corresponding to the user question, and causes the generation unit to generate a real answer using the content obtained from the second storage unit.
前記複数の本回答候補を評価する評価部を備える、請求項１又は２に記載の情報処理装置。 the request unit causes the generation unit to generate a plurality of real answer candidates;
The information processing device according to claim 1 , further comprising an evaluation unit that evaluates the plurality of real answer candidates.
前記複数の本回答候補のうちの２つ以上を組み合わせることで、新たな本回答候補を生成する合成部を備える、請求項１又は２に記載の情報処理装置。 the request unit causes the generation unit to generate a plurality of real answer candidates;
The information processing device according to claim 1 , further comprising a synthesis unit that generates a new final answer candidate by combining two or more of the plurality of final answer candidates.
前記評価部による前記検索部で検索された取得回答に対する評価が第一閾値以上の場合に取得回答を前記ユーザ質問に対する本回答として出力し、
前記評価部による前記検索部で検索された取得回答に対する評価が第一閾値未満ではあるものの第二閾値以上となっている取得回答が存在する場合に、前記出力部が暫定回答として出力する、請求項１又は２に記載の情報処理装置。 an evaluation unit that evaluates the answer acquired by the search unit;
outputting the acquired answer as a real answer to the user question when the evaluation by the evaluation unit for the acquired answer searched by the search unit is equal to or greater than a first threshold value;
3. The information processing device according to claim 1, wherein when there is an acquired answer whose evaluation by the evaluation unit for the acquired answer searched by the search unit is less than a first threshold but greater than a second threshold, the output unit outputs the acquired answer as a provisional answer.
検索部によって、前記受付部で受け付けたユーザ質問に対応する回答を記憶部において検索して取得回答を取得する工程と、
出力部によって、前記検索部で取得された取得回答の評価結果が良好な場合には取得回答を前記ユーザ質問に対する本回答として出力し、不良な場合には暫定回答を出力する工程と、
依頼部によって、前記検索部で取得された取得回答の評価結果が不良な場合に、前記ユーザ質問に対する本回答を、生成部を用いて作成させる工程と、
前記出力部によって、前記取得回答の評価結果が不良な場合に、前記暫定回答をユーザ端末に出力した後、前記生成部によって生成された本回答を、前記暫定回答と時間差をもってユーザ端末に出力する出力する工程と、
を備える情報処理方法。 a step of accepting a user question from a user by a accepting unit;
a step of searching a storage unit for an answer corresponding to the user question accepted by the accepting unit and acquiring the acquired answer by a searching unit;
an output unit outputting the acquired answer as a real answer to the user question when the evaluation result of the acquired answer acquired by the search unit is good, and outputting a provisional answer when the evaluation result is bad;
a step of causing a request unit to generate a real answer to the user question using a generation unit when an evaluation result of the answer obtained by the search unit is poor;
an output step in which, when the evaluation result of the acquired answer is poor, the output unit outputs the provisional answer to the user terminal, and then outputs the final answer generated by the generation unit to the user terminal with a time difference from the provisional answer ;
An information processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024011767A JP7726465B2 (en) | 2024-01-30 | 2024-01-30 | Information processing device and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024011767A JP7726465B2 (en) | 2024-01-30 | 2024-01-30 | Information processing device and information processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2025117087A JP2025117087A (en) | 2025-08-12 |
| JP7726465B2 true JP7726465B2 (en) | 2025-08-20 |
Family
ID=96697549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024011767A Active JP7726465B2 (en) | 2024-01-30 | 2024-01-30 | Information processing device and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7726465B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023242540A1 (en) | 2022-06-13 | 2023-12-21 | Eigen Technologies Ltd. | Methods and systems for transforming and retrieving information from document data using machine learning |
| CN117332067A (en) | 2023-10-30 | 2024-01-02 | Oppo广东移动通信有限公司 | Question and answer interaction method, device, electronic device and storage medium |
| US20240012842A1 (en) | 2022-07-11 | 2024-01-11 | Pryon Incorporated | Supervised Summarization and Structuring of Unstructured Documents |
| JP7486863B1 (en) | 2023-10-16 | 2024-05-20 | カラクリ株式会社 | Program, method, information processing device, and system |
-
2024
- 2024-01-30 JP JP2024011767A patent/JP7726465B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023242540A1 (en) | 2022-06-13 | 2023-12-21 | Eigen Technologies Ltd. | Methods and systems for transforming and retrieving information from document data using machine learning |
| US20240012842A1 (en) | 2022-07-11 | 2024-01-11 | Pryon Incorporated | Supervised Summarization and Structuring of Unstructured Documents |
| JP7486863B1 (en) | 2023-10-16 | 2024-05-20 | カラクリ株式会社 | Program, method, information processing device, and system |
| CN117332067A (en) | 2023-10-30 | 2024-01-02 | Oppo广东移动通信有限公司 | Question and answer interaction method, device, electronic device and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2025117087A (en) | 2025-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112925898B (en) | Question-answering method and device based on artificial intelligence, server and storage medium | |
| KR102318103B1 (en) | Method for machine learning train set and recommendation systems to recommend the scores to match between the recruiter and job seekers, and to give the scores of matching candidates to recruiters and to give the pass scores to job seekers respectively | |
| US12380140B2 (en) | Systems and methods for providing user interfaces for configuration of a flow for extracting information from documents via a large language model | |
| KR20190007213A (en) | Apparuatus and method for distributing a question | |
| KR102410715B1 (en) | Apparatus and method for analyzing sentiment of text data based on machine learning | |
| JP7667611B1 (en) | Program, method, information processing device, and system | |
| US20240386037A1 (en) | Systems and methods for providing user interfaces to converse with a corpus of electronic documents via a large language model | |
| CN119576965A (en) | Structured query statement generation method and device, electronic device, and storage medium | |
| Wang et al. | Multilingual prompting for improving llm generation diversity | |
| US12046156B2 (en) | Unsupervised machine scoring of free-response answers | |
| US20260023937A1 (en) | Systems and methods for using one or more machine learning models to perform tasks as prompted | |
| Holis et al. | Semantic FAQ chatbot using SBERT (Sentence-BERT) and cosine similarity for academic services | |
| JP7726465B2 (en) | Information processing device and information processing method | |
| CN117171330B (en) | A data processing method, apparatus, device and medium | |
| CN116975108A (en) | Data processing methods, devices, equipment, readable storage media and program products | |
| KR101980338B1 (en) | Method, apparatus and computer program for essay valuation | |
| KR101980340B1 (en) | Method, apparatus and computer program for essay valuation | |
| US20260064736A1 (en) | Data resource identification and metric calculation | |
| CN113704452A (en) | Data recommendation method, device, equipment and medium based on Bert model | |
| Chen et al. | Chiller Expert System Development by Using Commercial and Open-Source Large Language Models | |
| US20260004332A1 (en) | Competitive product matching leveraging generative artificial intelligence | |
| US20260010737A1 (en) | Information processing apparatus, determination method, and non-transitory computer-readable storage medium | |
| Moghaddam et al. | Generating Examples From CLI Usage: Can Transformers Help? | |
| KR102958361B1 (en) | Server and method for operating chatbot service platform based on arifitial intelligence | |
| US20260093722A1 (en) | Integrated self-evaluation and follow-up suggestion mechanism for rag systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250708 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250729 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7726465 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |