JP7664334B2 - Information processing system, terminal device, information processing method and program - Google Patents
Information processing system, terminal device, information processing method and program Download PDFInfo
- Publication number
- JP7664334B2 JP7664334B2 JP2023149663A JP2023149663A JP7664334B2 JP 7664334 B2 JP7664334 B2 JP 7664334B2 JP 2023149663 A JP2023149663 A JP 2023149663A JP 2023149663 A JP2023149663 A JP 2023149663A JP 7664334 B2 JP7664334 B2 JP 7664334B2
- Authority
- JP
- Japan
- Prior art keywords
- server
- information
- request
- control information
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Description
本発明は、情報処理システム、端末装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing system, a terminal device, an information processing method, and a program.
近年、人工知能を利用して人間が行う作業を支援したり、人工知能に作業を代行させたりする取り組みが盛んに行われるようになっている。
このような技術においては、作業を行う際の手順を人工知能にルールとして組み入れておき、実際の作業をこのルールに従って実行させたり、教師データとなるサンプルの作業を機械学習させた機械学習モデルを用意し、実際の作業を機械学習モデルに入力して作業結果を推論したりしている。
なお、特許文献1には、人工知能を利用して作業の支援を行う技術が記載されている。
In recent years, there has been a surge in efforts to use artificial intelligence to assist with tasks performed by humans or to have artificial intelligence perform tasks on behalf of humans.
In such technology, the procedures for performing a task are incorporated into artificial intelligence as rules, and the actual task is then executed according to these rules; or a machine learning model is prepared that has been trained on sample tasks that serve as training data, and the actual tasks are then input into the machine learning model to infer the results of the tasks.
しかしながら、作業を行う際の手順を人工知能にルールとして組み入れる場合、人工知能に正確にルールを組み入れる手間が煩雑であると共に、応用性に欠けるという問題がある。
また、機械学習モデルを利用して作業結果を推論する場合、推論された作業結果が正確であるとは限らず、特定の条件を推論に反映させること等も容易ではない。特に、医療に関連する分野において、人工知能を利用して作業結果を得る場合には、より高い正確性が求められるところ、既存の機械学習モデルを用いた技術を直ちに適用することが適切ではないこともある。
このように、従来の技術においては、人工知能を利用して、容易に正確性が高い作業結果を得ることが困難であった。
However, when incorporating the procedure for performing a task as rules into an artificial intelligence, there are problems in that it is cumbersome to accurately incorporate the rules into the artificial intelligence, and that the method lacks applicability.
In addition, when inferring work results using a machine learning model, the inferred work results are not necessarily accurate, and it is not easy to reflect specific conditions in the inference, etc. In particular, in fields related to medicine, when obtaining work results using artificial intelligence, higher accuracy is required, and it may not be appropriate to immediately apply technology using existing machine learning models.
As described above, in conventional techniques, it has been difficult to easily obtain highly accurate work results using artificial intelligence.
本発明の課題は、人工知能を利用して、より容易に正確性が高い作業結果を得ることである。 The objective of this invention is to use artificial intelligence to more easily obtain highly accurate work results.
上記課題を解決するため、本発明の一態様の情報処理システムは、
ユーザによって使用される端末装置と、端末装置からの要求に応じて作業を実行するサーバとを含む情報処理システムであって、
前記端末装置は、
ユーザからの自然言語による前記サーバへの作業要求を受け付ける要求受付手段と、
前記要求受付手段によって受け付けられた作業要求の内容と、前記サーバで利用可能な情報処理のインターフェース情報と、当該インターフェース情報を利用した前記サーバに対する制御情報のサンプルと、を生成型AIにプロンプトとして送信する回答要求手段と、
前記プロンプトの送信に応じて、前記生成型AIから送信された回答情報を取得し、前記サーバに対する制御情報として送信する作業要求送信手段と、
を備え、
前記サーバは、
前記作業要求送信手段から送信された制御情報に従って作業を実行し、作業結果を前記端末装置に送信することを特徴とする。
In order to solve the above problems, an information processing system according to one aspect of the present invention comprises:
An information processing system including a terminal device used by a user and a server that executes an operation in response to a request from the terminal device,
The terminal device
a request receiving means for receiving a task request from a user to the server in natural language;
an answer request means for transmitting the contents of the work request received by the request receiving means, interface information of information processing available on the server, and a sample of control information for the server using the interface information as a prompt to a generative AI;
A task request sending means for acquiring answer information sent from the generative AI in response to sending the prompt, and sending the answer information as control information to the server;
Equipped with
The server,
The work is carried out in accordance with the control information transmitted from the work request transmission means, and the work results are transmitted to the terminal device.
本発明によれば、人工知能を利用して、より容易に正確性が高い作業結果を得ることができる。 The present invention makes it easier to obtain highly accurate work results by using artificial intelligence.
以下、本発明の実施形態について図面を参照して説明する。 The following describes an embodiment of the present invention with reference to the drawings.
本実施形態に係る情報処理システムは、大規模言語モデル(LLM:Large Language Model)と組み合わせられた生成型AIを利用し、ユーザの音声またはテキスト(即ち、自然言語)による要求に応じて、特定のアプリケーションシステム(ここでは、薬歴管理システムとする。)を制御するための制御情報を生成する。
このとき、生成型AIに対するプロンプトとして、ユーザによる要求を表すテキストデータと、特定のアプリケーションシステムで利用可能なAPI(Application Programming Interface)のデータ群と、特定のアプリケーションをAPIによって制御するためのサンプルとなる制御情報とを入力する。
これにより、生成型AIに特定のアプリケーションシステムの制御に関する情報を学習させることなく、一般的な機能を有する生成型AIに対し、所定条件に従って記述されたプロンプトを入力することにより、自然言語で表されたユーザの要求に対する作業結果を得ることが可能な制御情報(特定のアプリケーションシステムを制御するための制御情報)を生成することができる。
したがって、本発明によれば、人工知能を利用して、より容易に正確性が高い作業結果を得ることが可能となる。
以下、具体的な構成について説明する。
The information processing system according to this embodiment utilizes generative AI combined with a large-scale language model (LLM) to generate control information for controlling a specific application system (here, a medical history management system) in response to a user's voice or text (i.e., natural language) request.
At this time, as prompts for the generative AI, text data representing the user's request, a set of API (Application Programming Interface) data that can be used in a specific application system, and sample control information for controlling a specific application via the API are input.
This makes it possible to generate control information (control information for controlling a specific application system) that can obtain work results in response to a user request expressed in natural language by inputting a prompt written in accordance with specified conditions to a generative AI with general functions, without having the generative AI learn information regarding the control of a specific application system.
Therefore, according to the present invention, it is possible to more easily obtain highly accurate work results by utilizing artificial intelligence.
A specific configuration will be described below.
[情報処理システム1のシステム構成]
図1は、本発明の一実施形態に係る情報処理システム1のシステム構成を示す図である。
図1に示すように、情報処理システム1は、ユーザ端末10と、薬歴管理サーバ20と、音声認識サーバ30と、生成型AIサービス提供サーバ40とを含んで構成され、ユーザ端末10、薬歴管理サーバ20、音声認識サーバ30及び生成型AIサービス提供サーバ40はネットワーク50を介して互いに通信可能に構成される。なお、本実施形態に係る情報処理システム1において、ユーザ端末10は薬歴管理サーバ20を利用するためのクライアント端末として機能する。また、図1において、情報処理システム1のシステム構成に、音声認識サーバ30及び生成型AIサービス提供サーバ40を含む形態として示しているが、これらのサーバは、薬歴管理サーバ20の運用者以外の第三者が運用する汎用のサービスを提供するサーバを利用することも可能である。また、各サーバは、1つのサーバコンピュータによって構成したり、複数のサーバコンピュータによって構成されるサーバシステムにおいて、仮想的なサーバとして構成したりすることが可能である。
[System configuration of information processing system 1]
FIG. 1 is a diagram showing a system configuration of an
As shown in FIG. 1, the
ユーザ端末10は、薬歴管理サーバ20によって構成される薬歴管理システムを利用するユーザによって使用される端末装置であり、例えば、スマートフォン、携帯電話機、タブレット端末あるいはPC(Personal Computer)等の情報処理装置によって構成される。ユーザ端末10は、マウスやキーボード等の入力装置を介して薬歴管理サーバ20の機能を利用するための操作を行うことが可能であると共に、音声入力(またはテキスト入力)によって、ユーザが要求する作業を自然言語で入力することが可能となっている。以下、音声(またはテキスト)によって自然言語として入力された、薬歴管理サーバ20にユーザが要求する作業を表す情報を「操作指示文」と称する。
The
ユーザ端末10は、音声入力によって操作指示文が入力された場合、音声認識サーバ30に音声のデータを送信することにより、音声認識処理によって取得される操作指示文を表す文字列のデータを受信する。
When an operation instruction is input by voice input, the
また、ユーザ端末10は、薬歴管理サーバ20において利用可能なAPI(情報処理のインターフェース情報)を予め取得していると共に、APIによって薬歴管理サーバ20に所定の作業を行わせるためのサンプルとなる制御情報(APIを用いて表された所定の操作を表す制御コード)のデータを記憶している。
そして、ユーザ端末10は、操作指示文が表す作業を薬歴管理サーバ20に実行させるための制御情報を生成させる指示と、音声(またはテキスト)によって入力された操作指示文(例えば、「〇山△男様の薬歴に併用薬□□を記入する」等)を表すテキストデータと、薬歴管理サーバ20で利用可能なAPIのデータ群と、薬歴管理サーバ20をAPIによって制御するためのサンプルとなる制御情報(APIを用いて表された所定の操作を表す制御コード)とを含むプロンプトを生成型AIサービス提供サーバ40に送信する。
さらに、ユーザ端末10は、プロンプトを送信することに応答して、生成型AIサービス提供サーバ40から送信された回答情報(薬歴管理サーバ20に対する制御情報)を受信する。
In addition, the
Then, the
Furthermore, in response to sending the prompt, the
また、ユーザ端末10は、生成型AIサービス提供サーバ40から受信した回答情報(制御情報)を薬歴管理サーバ20に送信する。
ユーザ端末10から送信される回答情報(即ち、薬歴管理サーバ20に対する制御情報)は、入力装置を介してユーザが薬歴管理サーバ20を操作する際の制御情報に相当する内容となっているため、薬歴管理サーバ20は、回答情報(制御情報)が送信された場合にも、ユーザが入力装置を介して薬歴管理サーバ20を操作した場合と同様に処理を実行し、ユーザ端末10に対して処理結果を返すことができる。
In addition, the
The answer information (i.e., control information for the medication history management server 20) sent from the
図2は、ユーザ端末10から生成型AIサービス提供サーバ40に送信されるプロンプトの具体的なフォーマットの一例を示す模式図である。なお、図2においては、プロンプトによって生成される薬歴管理サーバ20の制御情報を「実行プラン」と称している。
図2に示すように、生成型AIサービス提供サーバ40に送信されるプロンプトには、
(1)操作指示文が表す作業を薬歴管理サーバ20に実行させるための制御情報を生成させる指示を表す「実行プラン作成の指示」
(2)薬歴管理サーバ20で利用可能なAPIのデータ群を表す「実行プランで使用できる関数(インターフェース)の定義」
(3)制御情報を生成する際の条件を表す「実行プラン作成時のルール」
(4)制御情報の出力形式を指定するための「実行プラン出力結果形式の指定及びルール」
(5)操作指示文で指定された作業内容を表す「ユーザからの自然言語の指示」
の各項目が定義されている。
これらの各項目を含むプロンプトを生成型AIサービス提供サーバ40に送信することで、生成型AIサービス提供サーバ40において、プロンプトに定義されたAPIを利用し、操作指示文で指定された作業内容を表す薬歴管理サーバ20に対する制御情報(実行プラン)が、指定されたルールで生成される。この制御情報(実行プラン)が薬歴管理サーバ20で実行された場合、操作指示文で指定された処理結果が返されることとなる。
2 is a schematic diagram showing an example of a specific format of a prompt transmitted from the
As shown in FIG. 2, the prompt sent to the generative AI
(1) An "instruction to create an execution plan" which indicates an instruction to generate control information for causing the medical
(2) “Definition of functions (interfaces) that can be used in the execution plan” that represents a set of API data that can be used by the medical
(3) "Rules for creating execution plans" that represent the conditions for generating control information
(4) "Execution plan output result format specification and rules" for specifying the output format of control information
(5) "Natural language instructions from the user" expressing the work content specified in the operation instruction sentence
Each item is defined.
By sending a prompt including these items to the generative AI
薬歴管理サーバ20は、PCあるいはサーバコンピュータによって構成され、薬局における薬歴管理業務を行う薬歴管理システムとして機能する。なお、薬歴管理システムは業務アプリケーションの一例であり、薬歴管理サーバ20は、薬歴管理業務以外の各種業務を遂行するための機能(レセプトコンピュータあるいは電子カルテシステム等の各種業務アプリケーション)を適宜備えることができる。
例えば、薬歴管理サーバ20は、患者に発行された処方箋の内容及び患者に提供された薬剤の履歴を管理する薬歴管理機能、あるいは、診療報酬を算出する診療報酬明細書(レセプト)作成機能等を備えることができる。なお、薬歴管理サーバ20の機能をさらに拡張し、電子カルテを管理する電子カルテ管理機能、患者の検査値やCT(Computed Tomography)画像等、検査結果のデータを管理する検査結果データベース機能等を備えることとしてもよい。上述したように、薬歴管理サーバ20は、ユーザ端末10からAPIを利用して操作を行うことが可能となっており、APIによる要求が行われた場合、ユーザ端末10から入力装置を介して操作が行われた場合も、生成型AIサービス提供サーバ40が生成した回答情報が送信されて作業が要求された場合も、同様に要求を受け付け、薬歴管理機能等に基づく処理結果を返すことができる。
The medication
For example, the medication
音声認識サーバ30は、サーバコンピュータによって構成され、ユーザ端末10から送信された音声のデータを受信し、受信した音声のデータに対し、自然言語処理に基づく音声認識処理を実行する。そして、音声認識サーバ30は、音声認識処理によって取得された音声のデータに対応する文字列(自然言語として表された文章)をユーザ端末10に送信する。
The
生成型AIサービス提供サーバ40は、サーバコンピュータによって構成され、大規模言語モデル(LLM)を利用した生成型のAIを実装している。生成型AIサービス提供サーバ40は、ユーザ端末10から受信したプロンプト(AIに対する要求を表す情報)に応じて、大規模言語モデルを参照し、プロンプトに対する回答となる情報を生成する。本実施形態において、ユーザ端末10から生成型AIサービス提供サーバ40に送信されるプロンプトは、薬歴管理サーバ20に対して、操作指示文(例えば、「〇山△男様の薬歴に併用薬□□を記入する」等)を表すテキストデータと、薬歴管理サーバ20で利用可能なAPIのデータ群と、薬歴管理サーバ20をAPIによって制御するためのサンプルとなる制御情報(APIを用いて表された所定の操作を表す制御コード)を含んでいる(図2参照)。
本実施形態において、プロンプトを受信した生成型AIサービス提供サーバ40は、プロンプトの内容に従って、プロンプトに定義されたAPIを利用し、操作指示文で指定された作業内容を表す薬歴管理サーバ20に対する制御情報(実行プラン)を指定されたルールで生成する。
そして、生成型AIサービス提供サーバ40は、プロンプトに応じて生成した回答情報をユーザ端末10に送信する。
The generative AI
In this embodiment, the generative AI
Then, the generation type AI
[プロンプトの具体例]
本実施形態において、生成型AIサービス提供サーバ40に送信されるプロンプトには、図2におけるフォーマット例に示すように、「実行プラン作成の指示」、「実行プランで使用できる関数(インターフェース)の定義」、「実行プラン作成時のルール」、「実行プラン出力結果形式の指定及びルール」及び「ユーザからの自然言語の指示」の各項目が含まれている。なお、プロンプトを構成する指示文を記載するための具体的な記述形態は、英語あるいは日本語等の通常の言語や、所定のプログラミング言語等、生成型AIサービス提供サーバ40が解釈可能な記述形態を採用することができる。
具体的には、「実行プラン作成の指示」として、「ステップバイステップで、goalの条件を充足する実行プランをXMLで作成すること。利用可能な関数を用いること。」を表す指示文が記載される。
[Examples of prompts]
In this embodiment, the prompt sent to the generative AI
Specifically, as an "instruction to create an execution plan", a directive is written which indicates "Create an execution plan in XML that satisfies the goal conditions step by step. Use available functions."
また、「実行プランで使用できる関数(インターフェース)の定義」として、
[利用可能な関数]
(1)データフォーマット変換関数{・・・}
(2)現在日時取得関数{・・・}
(3)薬歴画面オープン関数{・・・}
等の各種関数(薬歴管理システムで使用可能な関数)が記載されている。
In addition, as a "definition of functions (interfaces) that can be used in the execution plan",
[Available functions]
(1) Data format conversion function {...}
(2) Current date and time acquisition function {...}
(3) Medication history screen open function {...}
Various functions (functions that can be used in the medical history management system) are described.
また、「実行プラン作成時のルール」として、
「以下のステップに従って実行プランを作成すること。
(i)可能な限り簡潔な実行プランとすること。
(ii)goalを達成する一連の関数として実行プランを作成すること。
(iii)・・・」
等の各ルールが記載されている。
In addition, the "rules for creating an execution plan" are as follows:
Create an action plan by following these steps:
(i) Keep the implementation plan as simple as possible.
(ii) Creating an execution plan as a sequence of functions that achieves the goal.
(iii) ..."
The various rules are listed below.
また、「実行プラン出力結果形式の指定及びルール」として、
「実行プラン全体を以下のフォームで作成すること。
<プラン開始>
<関数名:・・・>
・・・
<プラン終了>
関数は以下のステップに従って呼び出すこと。
(i)関数は名前付きの1つ以上のパラメータと全て文字列からなる1つの出力とを持つ。パラメータの値はxmlエスケープされる。
(ii)関数からの出力を保存し、次の関数に渡すために、・・・関数を用いる。
(iii)・・・」
等の指定及びルールが記載されている。
In addition, as "Specifying and rules for the execution plan output result format",
Create your entire implementation plan in the form below.
<Plan start>
<Function name: ...>
...
<Plan End>
The function should be called by following these steps:
(i) A function has one or more named parameters and one output that is all strings. The parameter values are xml-escaped.
(ii) Using the ... function to save the output from a function and pass it on to the next function.
(iii) ..."
Specifications and rules such as the above are listed.
また、「ユーザからの自然言語の指示」として、
<goal>併用薬にバイアスピリンを追加し、身長175.6cm、体重62.3kgと入力して</goal>
が記載されている。
In addition, as "natural language instructions from the user",
<goal>Add Bayer Aspirin to your concomitant medications, and enter your height as 175.6cm and weight as 62.3kg.</goal>
is stated.
[実行プラン(制御情報)の具体例]
次に、プロンプトに応じて生成される実行プラン(制御情報)の具体例について説明する。
図3は、実行プラン(制御情報)の具体例を示す模式図である。
図3に示すように、生成型AIサービス提供サーバ40によって生成される実行プラン(制御情報)は、以下のような内容を含むものとなる。
<plan>
<!-- First, we need to add the drug "バイアスピリン" to the list of concurrent drugs. -->
<function.***.editInspectionItem server_url="http://localhost:****/****/api" payload='{"inspectionItems":[{"itemType":"併用薬","itemValue":"バイアスピリン"}]}' content_type="application/json" />
<!-- Next, we need to input the patient's height. -->
<function.***.editInspectionItem server_url="http://localhost:****/****/api" payload='{"inspectionItems":[{"itemType":"身長","itemValue":"175.6cm"}]}' content_type="application/json" />
<!-- Finally, we need to input the patient's weight. -->
<function.****.editInspectionItem server_url="http://localhost:****/****/api" payload='{"inspectionItems":[{"itemType":"体重","itemValue":"62.3kg"}]}' content_type="application/json" />
</plan>
即ち、図3に示す例では、操作指示文で要求した作業内容を薬歴管理サーバ20において利用可能なAPIで表した実行プラン(制御情報)が生成されており、この実行プランが薬歴管理サーバ20において実行されることで、ユーザが要求する作業結果が出力される。
[Example of execution plan (control information)]
Next, a specific example of an execution plan (control information) generated in response to a prompt will be described.
FIG. 3 is a schematic diagram showing a specific example of an execution plan (control information).
As shown in Figure 3, the execution plan (control information) generated by the generation type AI
<plan>
<!-- First, we need to add the drug "Bay Aspirin" to the list of concurrent drugs. -->
<function.***.editInspectionItem server_url="http://localhost:****/****/api"payload='{"inspectionItems":[{"itemType":"Concomitantmedications","itemValue":"BayAspirin"}]}'content_type="application/json"/>
<!-- Next, we need to input the patient's height. -->
<function.***.editInspectionItem server_url="http://localhost:****/****/api"payload='{"inspectionItems":[{"itemType":"height","itemValue":"175.6cm"}]}'content_type="application/json"/>
<!-- Finally, we need to input the patient's weight. -->
<function.****.editInspectionItem server_url="http://localhost:****/****/api"payload='{"inspectionItems":[{"itemType":"weight","itemValue":"62.3kg"}]}'content_type="application/json"/>
</plan>
That is, in the example shown in Figure 3, an execution plan (control information) is generated in which the work content requested in the operation instruction statement is expressed in APIs that can be used in the medical
[出力画面の具体例]
図4は、ユーザ端末10に表示される出力画面の一例を示す模式図である。
図4に示すように、本実施形態における薬歴管理システムの出力画面(右端領域)には、ユーザが音声(またはテキスト)によって入力した自然言語による操作指示文、及び、操作指示文に応じて生成された回答情報(制御情報)が併せて表示されている。
なお、薬歴管理システムの出力画面において、患者の薬歴に関する情報が表示された領域(右端領域以外)は、操作指示文に対する回答情報(制御情報)によって薬歴管理システムから返された出力結果が表示されている。
そのため、ユーザは、自らが入力した操作指示文と、操作指示文に応じて生成された回答情報(制御情報)と、制御情報によって薬歴管理システムから返された出力結果とを併せて確認することができ、目的とする作業結果として適切な内容が出力されているかを容易に判断することができる。
[Example of output screen]
FIG. 4 is a schematic diagram showing an example of an output screen displayed on the
As shown in Figure 4, the output screen (rightmost area) of the medication history management system in this embodiment displays operation instructions in natural language input by the user via voice (or text), as well as answer information (control information) generated in response to the operation instructions.
In addition, on the output screen of the medical history management system, the area (other than the right-most area) where information regarding the patient's medical history is displayed displays the output results returned from the medical history management system based on response information (control information) to the operation instruction statement.
Therefore, the user can check the operation instruction statement that he or she inputted, the response information (control information) generated in response to the operation instruction statement, and the output result returned from the medical history management system based on the control information, and can easily determine whether appropriate content has been output as the intended work result.
[ハードウェア構成]
次に、情報処理システム1における各装置のハードウェア構成を説明する。
情報処理システム1において、各装置はPC、サーバコンピュータあるいはタブレット端末等の情報処理装置によって構成され、その基本的構成は同様である。
[Hardware configuration]
Next, the hardware configuration of each device in the
In the
図5は、各装置を構成する情報処理装置800のハードウェア構成を示す図である。
図5に示すように、各装置を構成する情報処理装置800は、CPU(Central Processing Unit)811と、ROM(Read Only Memory)812と、RAM(Random Access Memory)813と、バス814と、入力部815と、出力部816と、記憶部817と、通信部818と、ドライブ819と、撮像部820と、を備えている。
FIG. 5 is a diagram showing the hardware configuration of an
As shown in FIG. 5 , an
CPU811は、ROM812に記録されているプログラム、または、記憶部817からRAM813にロードされたプログラムに従って各種の処理を実行する。
RAM813には、CPU811が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
The
CPU811、ROM812及びRAM813は、バス814を介して相互に接続されている。バス814には、入力部815、出力部816、記憶部817、通信部818、ドライブ819及び撮像部820が接続されている。
The
入力部815は、各種ボタンやマイク等で構成され、指示操作に応じて各種情報を入力する。
出力部816は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部817は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各サーバで管理される各種データを記憶する。
通信部818は、ネットワーク50を介して他の装置との間で行う通信を制御する。
The
The
The
The
ドライブ819には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア831が適宜装着される。ドライブ819によってリムーバブルメディア831から読み出されたプログラムは、必要に応じて記憶部817にインストールされる。
撮像部820は、レンズ及び撮像素子等を備えた撮像装置によって構成され、被写体のデジタル画像を撮像する。
なお、情報処理装置800が薬歴管理サーバ20、音声認識サーバ30あるいは生成型AIサービス提供サーバ40として構成される場合には、撮像部820を省略した構成とすることも可能である。また、情報処理装置800がタブレット端末として構成される場合には、入力部815をタッチセンサによって構成し、出力部816のディスプレイに重ねて配置することにより、タッチパネルを備える構成とすることも可能である。
The
When the
[機能的構成]
次に、情報処理システム1における機能的構成について説明する。
[Functional configuration]
Next, the functional configuration of the
[ユーザ端末10の機能的構成]
図6は、ユーザ端末10の機能的構成を示すブロック図である。
図6に示すように、ユーザ端末10のCPU811においては、ユーザインターフェース表示制御部(UI表示制御部)151と、APIセット取得部152と、音声認識処理部153と、プロンプト生成部154と、薬歴管理システム制御部155と、が機能する。また、ユーザ端末10の記憶部817には、APIセット記憶部171と、サンプル情報記憶部172と、プロンプト記憶部173と、回答情報記憶部174と、作業結果記憶部175と、が形成される。
[Functional configuration of user terminal 10]
FIG. 6 is a block diagram showing the functional configuration of the
6, a user interface display control unit (UI display control unit) 151, an API set
APIセット記憶部171には、薬歴管理サーバ20で利用可能なAPIのデータ群が記憶される。APIセット記憶部171に記憶されたAPIのデータ群は、ユーザがUI画面を視認しながら、入力装置によって薬歴管理サーバ20を直接操作する場合に参照され、必要なAPIが利用される。また、APIセット記憶部171に記憶されたAPIのデータ群は、ユーザが音声入力(またはテキスト入力)によって、薬歴管理サーバ20に要求する作業を入力する場合に、生成型AIサービス提供サーバ40に対するプロンプトを生成する目的で参照され、APIのデータ群の一部または全部がプロンプトに含めて送信される。
The API set
サンプル情報記憶部172には、薬歴管理サーバ20をAPIによって制御するためのサンプルとなる各種制御情報(APIを用いて表された各種操作を表す制御コード)が記憶されている。例えば、サンプル情報記憶部172には、特定の患者の薬歴に併用薬を追加するための操作例を表す制御情報、特定の患者の薬歴に服薬指導内容を追加するための操作例を表す制御情報、あるいは、特定の患者の薬情書面のデータを読み出して印刷するための操作例を表す制御情報等が記憶されている。
The sample
プロンプト記憶部173には、ユーザ端末10から生成型AIサービス提供サーバ40に送信されたプロンプトのデータが履歴として記憶されている。過去に生成されたプロンプトのデータは、以後、新たにプロンプトが生成される際に、類似するプロンプトを参照する等の形態で適宜利用することができる。
The
回答情報記憶部174には、プロンプトに応じて生成型AIサービス提供サーバ40から送信された回答情報のデータが、送信されたプロンプトと対応付けられて、履歴として記憶されている。
作業結果記憶部175には、ユーザが入力装置を介して薬歴管理サーバ20を操作した場合及び音声(またはテキスト)による操作指示文で薬歴管理サーバ20を操作した場合の薬歴管理サーバ20の処理結果(作業結果)のデータが履歴として記憶されている。
The answer
The work
UI表示制御部151は、ユーザ端末10においてユーザが各種処理を実行するために生成するユーザインターフェース画面(UI画面)を表示し、薬歴管理サーバ20に対して入力装置を介して操作を行うための画面や、薬歴管理サーバ20に対する操作を音声入力(またはテキスト入力)によって、ユーザが要求する作業を自然言語で入力するための画面を表示する。また、UI表示制御部151は、薬歴管理サーバ20から受信した処理結果を表す画面を表示する。
The UI
APIセット取得部152は、薬歴管理サーバ20が提供しているAPIのデータ群を取得し、APIセット記憶部171に記憶する。なお、APIセット取得部152は、ユーザ端末10が薬歴管理サーバ20の機能を利用するにあたり、事前にAPIのデータ群を取得し、APIセット記憶部171に記憶するものとする。
The API set
音声認識処理部153は、ユーザ端末10のユーザが、薬歴管理サーバ20に対する操作を音声入力した場合に、音声のデータを録音し、音声認識サーバ30に音声のデータを送信する。また、音声認識処理部153は、音声認識サーバ30から受信した音声認識結果(操作指示文を表すテキストデータ)を受信し、プロンプト生成部154に受け渡す。
When the user of the
プロンプト生成部154は、音声認識処理部153から受け渡された操作指示文を表すテキストデータに、薬歴管理サーバ20で利用可能なAPIのデータ群と、薬歴管理サーバ20をAPIによって制御するためのサンプルとなる制御情報(APIを用いて表された所定の操作を表す制御コード)とを付加し、生成型AIサービス提供サーバ40にプロンプトとして送信する。なお、プロンプトのフォーマットとしては、種々の形態を用いることが可能であるが、例えば、図2に示すように、「実行プラン作成の指示」、「実行プランで使用できる関数(インターフェース)の定義」、「実行プラン作成時のルール」、「実行プラン出力結果形式の指定及びルール」及び「ユーザからの自然言語の指示」を含むフォーマットとすることができる。
また、プロンプト生成部154は、送信したプロンプトに応じて、生成型AIサービス提供サーバ40から送信された回答情報(制御情報)を受信し、薬歴管理システム制御部155に受け渡す。
The
In addition, the
薬歴管理システム制御部155は、プロンプト生成部154から受け渡された回答情報(制御情報)を作業の要求として薬歴管理サーバ20に送信する。薬歴管理システム制御部155が薬歴管理サーバ20に回答情報(制御情報)を送信した場合にも、ユーザがUI画面を視認し、マウス等の入力装置を介して薬歴管理サーバ20を操作した場合と同様に、ユーザ端末10に対して処理結果が返される。
The medication history management
[動作]
次に、情報処理システム1の動作を説明する。
[Action]
Next, the operation of the
[薬歴管理システム制御処理]
図7は、情報処理システム1が実行する薬歴管理システム制御処理の流れを示すフローチャートである。
薬歴管理システム制御処理は、ユーザ装置10において、薬歴管理システム制御処理の実行が指示されることに対応して開始される。
[Medical History Management System Control Processing]
FIG. 7 is a flowchart showing the flow of the medication history management system control process executed by the
The medication history management system control process is started in response to an instruction to execute the medication history management system control process in the
薬歴管理システム制御処理が開始されると、ステップS1において、薬歴管理サーバ20が提供しているAPIのデータ群を取得し、APIセット記憶部171に記憶する。
ステップS2において、UI表示制御部151は、ユーザ端末10においてユーザが各種処理を実行するために生成するUI画面を表示する。
ステップS3において、音声認識処理部153は、ユーザによって薬歴管理サーバ20に対する操作指示文(音声またはテキスト)の入力が行われたか否かの判定を行う。
ユーザによって薬歴管理サーバ20に対する操作指示文の入力が行われていない場合、ステップS3においてNOと判定されて、処理はステップS4に移行する。
一方、ユーザによって薬歴管理サーバ20に対する操作指示文の入力が行われた場合、ステップS3においてYESと判定されて、処理はステップS5に移行する。
When the medication history management system control process is started, in step S1, a data group of APIs provided by the medication
In step S2, the UI
In step S3, the voice
If the user has not input an operation instruction to the medical
On the other hand, if the user has input an operation instruction statement to the medical
ステップS4において、薬歴管理システム制御部155は、UI画面に対する入力装置を介した操作内容に基づいて、薬歴管理サーバ20の操作を実行する。
ステップS4の後、処理はステップS11に移行する。
ステップS5において、音声認識処理部153は、音声による操作指示文の入力が行われたか否かの判定を行う。
音声による操作指示文の入力が行われていない場合、ステップS5においてNOと判定されて、処理はステップS7に移行する。
一方、音声による操作指示文の入力が行われた場合、ステップS5においてYESと判定されて、処理はステップS6に移行する。
ステップS6において、音声認識処理部153は、ユーザによって入力された薬歴管理サーバ20に対する操作のための音声(操作指示文の音声データ)を音声認識サーバ30に送信し、音声認識処理を実行する。これに応じて、音声認識サーバ30から操作指示文を表すテキストデータが送信される。
In step S4, the medication history management
After step S4, the process proceeds to step S11.
In step S5, the
If an operation instruction has not been input by voice, the result of the determination in step S5 is NO, and the process proceeds to step S7.
On the other hand, if an operation instruction has been input by voice, the result of the determination in step S5 is YES, and the process proceeds to step S6.
In step S6, the voice
ステップS7において、プロンプト生成部154は、操作指示文を表すテキストデータに、薬歴管理サーバ20で利用可能なAPIのデータ群と、薬歴管理サーバ20をAPIによって制御するためのサンプルとなる制御情報(APIを用いて表された所定の操作を表す制御コード)とを付加し、生成型AIサービス提供サーバ40に対するプロンプトを生成する。
ステップS8において、プロンプト生成部154は、生成したプロンプトを生成型AIサービス提供サーバ40に送信する。これに応じて、生成型AIサービス提供サーバ40から薬歴管理サーバ20を制御するための回答情報(制御情報)が送信される。
In step S7, the
In step S8, the
ステップS9において、薬歴管理システム制御部155は、生成型AIサービス提供サーバ40によって生成された回答情報(制御情報)を取得する。
ステップS10において、薬歴管理システム制御部155は、回答情報(制御情報)を作業の要求として薬歴管理サーバ20に送信する。
ステップS11において、UI表示制御部151は、薬歴管理システム制御処理の終了が指示されたか否かの判定を行う。
薬歴管理システム制御処理の終了が指示されていない場合、ステップS11においてNOと判定されて、処理はステップS2に移行する。
一方、薬歴管理システム制御処理の終了が指示された場合、ステップS11においてYESと判定されて、薬歴管理システム制御処理は終了する。
In step S9, the medication history management
In step S10, the medical history management
In step S11, the UI
If the end of the medication history management system control process has not been instructed, the result of step S11 is determined to be NO, and the process proceeds to step S2.
On the other hand, if an instruction to end the medication history management system control process is given, the result of the determination in step S11 is YES, and the medication history management system control process ends.
このような処理により、情報処理システム1においては、薬歴管理サーバ20に対して音声入力(またはテキスト入力)による自然言語に基づく操作が行われた場合に、生成型AIサービス提供サーバ40に対し、薬歴管理サーバ20で利用可能なAPI及びこのAPIを用いたサンプルの制御情報を操作指示文のデータと共に送信することにより、自然言語で表された薬歴管理サーバ20に対する操作を適切に実行することが可能な制御情報を取得することができる。
そして、この制御情報に基づいて薬歴管理サーバ20に対する操作が行われることで、ユーザが要求する作業結果を薬歴管理サーバ20から取得することができる。
即ち、生成型AIに特定のアプリケーションシステムの制御に関する情報を学習させることなく、一般的な機能を有する生成型AIに対し、所定条件に従って記述されたプロンプトを入力することにより、自然言語で表されたユーザの要求に対する作業結果を得ることが可能な制御情報(特定のアプリケーションシステムを制御するための制御情報)を生成することができる。
したがって、本発明によれば、人工知能を利用して、より容易に正確性が高い作業結果を得ることが可能となる。
Through this processing, in the
Then, the medical
In other words, by inputting a prompt written in accordance with specified conditions to a generative AI with general functions, without having the generative AI learn information regarding the control of a specific application system, it is possible to generate control information (control information for controlling a specific application system) that can obtain work results in response to a user request expressed in natural language.
Therefore, according to the present invention, it is possible to more easily obtain highly accurate work results by utilizing artificial intelligence.
[変形例1]
上述の実施形態において、ユーザが要求する作業を自然言語で入力する場合の作業内容として、薬歴管理サーバ20(薬歴管理システム)が実行する作業を対象とする例について説明したが、これに限られない。
例えば、薬歴管理サーバ20がレセプトコンピュータ、電子カルテシステムあるいは地域包括医療を担うサーバシステム等の他のシステムと連携する機能を備えている場合、ユーザは、薬歴管理サーバ20と連携する他のシステムが実行する作業についても、自然言語で作業を要求するための入力を行うことができる。
即ち、薬歴管理サーバ20を自然言語による作業要求を行うためのインターフェースとして、薬歴管理サーバ20以外のシステムに対しても、間接的に自然言語による作業の要求を行うことができる。
これにより、ユーザが利用する全てのシステムにおいて自然言語による作業の要求を行うための環境を整えることなく、ユーザの自然言語による作業の要求を受け付けることが可能となる。
[Modification 1]
In the above-described embodiment, an example was described in which the work content when the user requests an operation to be input in natural language is the work performed by the medication history management server 20 (medical history management system), but this is not limited to this.
For example, if the medication
In other words, by using the medical
This makes it possible to accept a user's natural language work request without preparing an environment for making work requests in natural language in all systems used by the user.
[変形例2]
上述の実施形態において、ユーザが自然言語によって要求する作業は、薬歴管理サーバ20が実行する単体の作業とすることができる他、複数の作業を組み合わせた一連の作業とすることが可能である。
即ち、ユーザが自然言語によって要求する作業として、「併用薬を薬歴に追加する処理」及び「当該併用薬に関連する検査値のデータを薬歴に追記する処理」等の一連の作業を定義し、定義された一連の作業に固有の名称(例えば、「併用薬と検査値を追加」等)を付しておくことができる。
ユーザが、上記一連の作業に付された固有の名称を自然言語でユーザ端末10に入力することにより、ユーザ端末10は、定義された一連の作業を認識し、これら一連の作業を薬歴管理サーバ20に実行させるための制御情報を生成型AIサービス提供サーバ40に生成させるプロンプトを送信する。
これにより、日常的に実行される複数の作業の組み合わせ等を自然言語による単一の作業要求(操作指示文)として入力することで、ユーザは、より容易に複数の作業結果を得ることができる。
[Modification 2]
In the above-described embodiment, the task requested by the user in natural language can be a single task executed by the medical
In other words, a series of tasks such as "adding concomitant medications to the medical history" and "adding test value data related to the concomitant medication to the medical history" can be defined as tasks that the user requests in natural language, and a unique name (e.g., "add concomitant medications and test values") can be given to the defined series of tasks.
When the user inputs the unique name given to the above series of tasks in natural language into the
This allows the user to more easily obtain the results of a plurality of tasks that are routinely performed by inputting a combination of a plurality of tasks as a single task request (operation instruction sentence) in natural language.
以上のように、本実施形態に係る情報処理システム1は、ユーザ端末10と、薬歴管理サーバ20と、を備える。
ユーザ端末10は、UI表示制御部151と、プロンプト生成部154と、薬歴管理システム制御部155と、を備える。
UI表示制御部151は、ユーザからの自然言語による薬歴管理サーバ20への作業要求を受け付ける。
プロンプト生成部154は、UI表示制御部151によって受け付けられた作業要求の内容と、薬歴管理サーバ20で利用可能な情報処理のインターフェース情報(API)と、当該インターフェース情報を利用した薬歴管理サーバ20に対する制御情報のサンプルと、を生成型AIサービス提供サーバ40にプロンプトとして送信する。
薬歴管理システム制御部155は、プロンプトの送信に応じて、生成型AIサービス提供サーバ40から送信された回答情報を取得し、薬歴管理サーバ20に対する制御情報として送信する。
薬歴管理サーバ20は、薬歴管理システム制御部155から送信された制御情報に従って作業を実行し、作業結果をユーザ端末10に送信する。
これにより、薬歴管理サーバ20に対して音声入力(またはテキスト入力)による自然言語に基づく操作が行われた場合に、生成型AIサービス提供サーバ40に対し、薬歴管理サーバ20で利用可能なインターフェース情報(API)及びこのインターフェース情報(API)を用いたサンプルの制御情報を操作指示文のデータと共に送信することにより、自然言語で表された薬歴管理サーバ20に対する操作を適切に実行することが可能な制御情報を取得することができる。
そして、この制御情報に基づいて薬歴管理サーバ20に対する操作が行われることで、ユーザが要求する作業結果を薬歴管理サーバ20から取得することができる。
したがって、人工知能を利用して、より容易に正確性が高い作業結果を得ることが可能となる。
As described above, the
The
The UI
The
In response to the prompt, the medication history management
The medication
As a result, when an operation based on natural language is performed on the medication
Then, the medical
Therefore, by utilizing artificial intelligence, it becomes possible to more easily obtain highly accurate work results.
ユーザ端末10のUI表示制御部151は、制御情報の送信に応じて、薬歴管理サーバ20から送信された作業結果と、制御情報及び当該制御情報が生成された際に、ユーザによって入力された自然言語による薬歴管理サーバへの作業要求(操作指示文)とを出力する。
これにより、ユーザは、自らが入力した操作指示文と、操作指示文に応じて生成された回答情報(制御情報)と、制御情報によって薬歴管理システムから返された出力結果とを併せて確認することができ、目的とする作業結果として適切な内容が出力されているかを容易に判断することができる。
In response to the transmission of control information, the UI
This allows the user to check the operation instruction statement they input, the response information (control information) generated in response to the operation instruction statement, and the output result returned from the medical history management system based on the control information, and allows the user to easily determine whether appropriate content has been output as the intended work result.
プロンプト生成部154は、プロンプトに回答情報の出力形式を指定する情報を含めて前記生成型AIに送信する。
薬歴管理システム制御部155は、その出力形式で出力された回答情報を生成型AIサービス提供サーバ40から取得し、当該回答情報を薬歴管理サーバ20に制御情報として送信する。
これにより、ユーザが要求する作業を適切に指示することが可能な形式の制御情報を容易に取得することができる。
The
The medical history management
This makes it possible to easily obtain control information in a format that can appropriately instruct the user to perform the task requested.
プロンプト生成部154は、プロンプトに、回答情報を生成する際のルールを指定する情報を含めて生成型AIサービス提供サーバ40に送信する。
薬歴管理システム制御部155は、ルールに従って生成された回答情報を生成型AIサービス提供サーバ40から取得し、当該回答情報を薬歴管理サーバ20に制御情報として送信する。
これにより、ユーザが想定するルールに従って、生成型AIサービス提供サーバ40に制御情報を生成させることができる。
The
The medication history management
This allows the generation type AI
自然言語で表される作業として、複数の作業を組み合わせた一連の作業を表す作業名称が定義される。
UI表示制御部151は、ユーザからの自然言語による薬歴管理サーバ20への作業要求として作業名称を受け付ける。
プロンプト生成部154は、作業名称として定義された一連の作業それぞれの回答情報を取得するためのプロンプトを生成型AIサービス提供サーバ40に送信する。
薬歴管理システム制御部155は、生成型AIサービス提供サーバ40から送信された回答情報を取得し、作業名称として定義された一連の作業それぞれの作業結果を取得するための制御情報として薬歴管理サーバ20に送信する。
これにより、日常的に実行される複数の作業の組み合わせ等を自然言語による単一の作業要求(操作指示文)として入力することで、ユーザは、より容易に複数の作業結果を得ることができる。
As a task expressed in natural language, a task name that represents a series of tasks that combine a plurality of tasks is defined.
The UI
The
The medication history management
This allows the user to more easily obtain the results of a plurality of tasks that are routinely performed by inputting a combination of a plurality of tasks as a single task request (operation instruction sentence) in natural language.
薬歴管理サーバ20は、他のシステムと連携する機能を備える。
薬歴管理サーバ20は、ユーザからの自然言語による薬歴管理サーバ20への作業要求が他のシステムと関連する内容である場合、制御情報に従って作業を実行すると共に、他のシステムと関連する作業を実行し、他のシステムと関連する作業を含む作業結果をユーザ端末10に送信する。
これにより、ユーザが利用する全てのシステムにおいて自然言語による作業の要求を行うための環境を整えることなく、ユーザの自然言語による作業の要求を受け付けることが可能となる。
The medical
When a work request from a user to the medication
This makes it possible to accept a user's natural language work request without preparing an environment for making work requests in natural language in all systems used by the user.
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施形態における薬歴管理サーバ20、音声認識サーバ30及び生成型AIサービス提供サーバ40は、オンプレミスサーバあるいはクラウドサーバによって構成することができる。
また、本発明に係る情報処理システム1は、上述の実施形態における各装置によって構成することの他、上述の実施形態における複数の装置の機能を1つの装置にまとめて実装したり、あるいは、1つの装置の機能を複数の装置に分散して実装したりすることが可能である。
The present invention is not limited to the above-described embodiment, and modifications and improvements within the scope of the present invention that can achieve the object of the present invention are included in the present invention.
For example, the medical
In addition, the
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、上述の実施形態における機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システム1を構成するいずれかのコンピュータに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に示した例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The above-described series of processes can be executed by hardware or software.
In other words, the functional configurations in the above-described embodiments are merely examples and are not particularly limited. That is, it is sufficient that any of the computers constituting the
Furthermore, one functional block may be configured as a single piece of hardware, a single piece of software, or a combination of both.
また、上述した一連の処理を実行するためのプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。 The recording medium containing the program for executing the above-mentioned series of processes may be configured not only as a removable medium distributed separately from the device body in order to provide the program to the user, but also as a recording medium etc. provided to the user in a state where it is already installed in the device body.
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。 Although the embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment. Furthermore, the effects described in this embodiment are merely a list of the most favorable effects resulting from the present invention, and the effects of the present invention are not limited to those described in this embodiment.
1 情報処理システム、10 ユーザ端末、20 薬歴管理サーバ、30 音声認識サーバ、40 生成型AIサービス提供サーバ、50 ネットワーク、151 ユーザインターフェース表示制御部(UI表示制御部)、152 APIセット取得部、153 音声認識処理部、154 プロンプト生成部、155 薬歴管理システム制御部、171 APIセット記憶部、172 サンプル情報記憶部、173 プロンプト記憶部、174 回答情報記憶部、175 作業結果記憶部、800 情報処理装置、811 CPU、812 ROM、813 RAM、814 バス、815 入力部、816 出力部、817 記憶部、818 通信部、819 ドライブ、820 撮像部、831 リムーバブルメディア 1 Information processing system, 10 User terminal, 20 Medication history management server, 30 Voice recognition server, 40 Generative AI service providing server, 50 Network, 151 User interface display control unit (UI display control unit), 152 API set acquisition unit, 153 Voice recognition processing unit, 154 Prompt generation unit, 155 Medication history management system control unit, 171 API set storage unit, 172 Sample information storage unit, 173 Prompt storage unit, 174 Answer information storage unit, 175 Work result storage unit, 800 Information processing device, 811 CPU, 812 ROM, 813 RAM, 814 Bus, 815 Input unit, 816 Output unit, 817 Storage unit, 818 Communication unit, 819 Drive, 820 Imaging unit, 831 Removable media
Claims (9)
前記端末装置は、
ユーザからの自然言語による前記サーバへの作業要求を受け付ける要求受付手段と、
前記要求受付手段によって受け付けられた作業要求の内容と、前記サーバで利用可能な情報処理のインターフェース情報と、当該インターフェース情報を利用した前記サーバに対する制御情報のサンプルと、を前記サーバに対する実行プランを表す制御情報を生成する生成型AIにプロンプトとして送信する回答要求手段と、
前記プロンプトの送信に応じて、前記生成型AIから送信された回答情報を取得し、前記サーバに対する制御情報として送信する作業要求送信手段と、
を備え、
前記サーバは、
前記作業要求送信手段から送信された制御情報に従って作業を実行し、作業結果を前記端末装置に送信することを特徴とする情報処理システム。 An information processing system including a terminal device used by a user and a server that executes an operation in response to a request from the terminal device,
The terminal device
a request receiving means for receiving a task request from a user to the server in natural language;
a response request means for transmitting the contents of the work request received by the request receiving means, interface information of information processing available on the server, and a sample of control information for the server using the interface information as a prompt to a generative AI that generates control information representing an execution plan for the server ;
A task request sending means for acquiring answer information sent from the generative AI in response to sending the prompt, and sending the answer information as control information to the server;
Equipped with
The server,
an information processing system which executes work in accordance with control information transmitted from said work request transmitting means, and transmits work results to said terminal device;
前記作業要求送信手段は、前記出力形式で出力された前記回答情報を前記生成型AIから取得し、当該回答情報を前記サーバに前記制御情報として送信することを特徴とする請求項1または2に記載の情報処理システム。 The answer request means transmits the prompt to the generative AI, including information for specifying an output format of the answer information;
The information processing system according to claim 1 or 2, characterized in that the work request sending means obtains the answer information output in the output format from the generative AI and sends the answer information to the server as the control information.
前記作業要求送信手段は、前記ルールに従って生成された前記回答情報を前記生成型AIから取得し、当該回答情報を前記サーバに前記制御情報として送信することを特徴とする請求項1または2に記載の情報処理システム。 The answer request means transmits the prompt to the generative AI, the prompt including information specifying a rule for generating the answer information;
The information processing system according to claim 1 or 2, characterized in that the work request sending means obtains the answer information generated in accordance with the rules from the generative AI and sends the answer information to the server as the control information.
前記要求受付手段は、ユーザからの自然言語による前記サーバへの作業要求として前記作業名称を受け付け、
前記回答要求手段は、前記作業名称として定義された一連の作業それぞれの前記回答情報を取得するための前記プロンプトを前記生成型AIに送信し、
前記作業要求送信手段は、前記生成型AIから送信された前記回答情報を取得し、前記作業名称として定義された一連の作業それぞれの作業結果を取得するための前記制御情報として前記サーバに送信することを特徴とする請求項1または2に記載の情報処理システム。 As a task expressed in natural language, a task name is defined that represents a series of tasks that combine multiple tasks.
the request receiving means receives the task name as a task request from a user to the server in natural language;
The answer request means transmits the prompt to the generative AI to obtain the answer information for each of a series of tasks defined as the task name,
The information processing system according to claim 1 or 2, characterized in that the work request sending means acquires the answer information sent from the generative AI and sends it to the server as the control information for acquiring the work results of each of a series of works defined as the work name.
他のシステムと連携する機能を備え、
前記ユーザからの自然言語による前記サーバへの作業要求が前記他のシステムと関連する内容である場合、前記制御情報に従って前記作業を実行すると共に、前記他のシステムと関連する作業を実行し、前記他のシステムと関連する作業を含む作業結果を前記端末装置に送信することを特徴とする請求項1または2に記載の情報処理システム。 The server,
Equipped with the function to link with other systems,
The information processing system according to claim 1 or 2, characterized in that when a work request from the user to the server in natural language has content related to the other system, the work is performed in accordance with the control information, and a work related to the other system is also performed, and the work results including the work related to the other system are transmitted to the terminal device.
ユーザからの自然言語による前記サーバへの作業要求を受け付ける要求受付手段と、
前記要求受付手段によって受け付けられた作業要求の内容と、前記サーバで利用可能な情報処理のインターフェース情報と、当該インターフェース情報を利用した前記サーバに対する制御情報のサンプルと、を前記サーバに対する実行プランを表す制御情報を生成する生成型AIにプロンプトとして送信する回答要求手段と、
前記プロンプトの送信に応じて、前記生成型AIから送信された回答情報を取得し、前記サーバに対する制御情報として送信する作業要求送信手段と、
を備えることを特徴とする端末装置。 A terminal device constituting an information processing system including a terminal device used by a user and a server that executes an operation in response to a request from the terminal device,
a request receiving means for receiving a task request from a user to the server in natural language;
a response request means for transmitting the contents of the work request received by the request receiving means, interface information of information processing available on the server, and a sample of control information for the server using the interface information as a prompt to a generative AI that generates control information representing an execution plan for the server ;
A task request sending means for acquiring answer information sent from the generative AI in response to sending the prompt, and sending the answer information as control information to the server;
A terminal device comprising:
前記端末装置が、
ユーザからの自然言語による前記サーバへの作業要求を受け付ける要求受付ステップと、
前記要求受付ステップにおいて受け付けられた作業要求の内容と、前記サーバで利用可能な情報処理のインターフェース情報と、当該インターフェース情報を利用した前記サーバに対する制御情報のサンプルと、を前記サーバに対する実行プランを表す制御情報を生成する生成型AIにプロンプトとして送信する回答要求ステップと、
前記プロンプトの送信に応じて、前記生成型AIから送信された回答情報を取得し、前記サーバに対する制御情報として送信する作業要求送信ステップと、
を含み、
前記サーバが、
前記作業要求送信ステップにおいて送信された制御情報に従って作業を実行し、作業結果を前記端末装置に送信することを特徴とする情報処理方法。 An information processing method executed by an information processing system including a terminal device used by a user and a server that executes an operation in response to a request from the terminal device, comprising:
The terminal device,
a request receiving step of receiving a task request from a user to the server in natural language;
a response request step of sending the contents of the work request received in the request receiving step, interface information of information processing available on the server, and a sample of control information for the server using the interface information as a prompt to a generative AI that generates control information representing an execution plan for the server ;
A task request transmission step of acquiring answer information transmitted from the generative AI in response to the transmission of the prompt and transmitting the answer information as control information to the server;
Including,
The server,
An information processing method comprising the steps of: executing a task in accordance with the control information transmitted in said task request transmitting step; and transmitting a task result to said terminal device.
ユーザからの自然言語による前記サーバへの作業要求を受け付ける要求受付機能と、
前記要求受付機能によって受け付けられた作業要求の内容と、前記サーバで利用可能な情報処理のインターフェース情報と、当該インターフェース情報を利用した前記サーバに対する制御情報のサンプルと、を前記サーバに対する実行プランを表す制御情報を生成する生成型AIにプロンプトとして送信する回答要求機能と、
前記プロンプトの送信に応じて、前記生成型AIから送信された回答情報を取得し、前記サーバに対する制御情報として送信する作業要求送信機能と、
を実現させることを特徴とするプログラム。 A computer constituting a terminal device in an information processing system including a terminal device used by a user and a server that executes operations in response to requests from the terminal device,
a request receiving function for receiving a task request from a user to the server in natural language;
a response request function that transmits the contents of the work request received by the request receiving function, interface information of information processing available on the server, and a sample of control information for the server using the interface information as a prompt to a generative AI that generates control information representing an execution plan for the server ;
A work request transmission function that acquires answer information transmitted from the generative AI in response to the transmission of the prompt and transmits the answer information as control information to the server;
A program for realizing the above.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023149663A JP7664334B2 (en) | 2023-09-14 | 2023-09-14 | Information processing system, terminal device, information processing method and program |
| JP2025063407A JP2025102995A (en) | 2023-09-14 | 2025-04-07 | Information processing system, terminal device, information processing method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023149663A JP7664334B2 (en) | 2023-09-14 | 2023-09-14 | Information processing system, terminal device, information processing method and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025063407A Division JP2025102995A (en) | 2023-09-14 | 2025-04-07 | Information processing system, terminal device, information processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2025042559A JP2025042559A (en) | 2025-03-27 |
| JP7664334B2 true JP7664334B2 (en) | 2025-04-17 |
Family
ID=95122614
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023149663A Active JP7664334B2 (en) | 2023-09-14 | 2023-09-14 | Information processing system, terminal device, information processing method and program |
| JP2025063407A Pending JP2025102995A (en) | 2023-09-14 | 2025-04-07 | Information processing system, terminal device, information processing method and program |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025063407A Pending JP2025102995A (en) | 2023-09-14 | 2025-04-07 | Information processing system, terminal device, information processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7664334B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7313757B1 (en) | 2023-05-11 | 2023-07-25 | Spiral.AI株式会社 | Text generation device and text generation method |
| CN116610795A (en) | 2023-07-14 | 2023-08-18 | 深圳须弥云图空间科技有限公司 | Text retrieval method and device |
| JP7370118B1 (en) | 2023-07-25 | 2023-10-27 | amptalk株式会社 | Information processing device, information processing method, and program |
-
2023
- 2023-09-14 JP JP2023149663A patent/JP7664334B2/en active Active
-
2025
- 2025-04-07 JP JP2025063407A patent/JP2025102995A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7313757B1 (en) | 2023-05-11 | 2023-07-25 | Spiral.AI株式会社 | Text generation device and text generation method |
| CN116610795A (en) | 2023-07-14 | 2023-08-18 | 深圳须弥云图空间科技有限公司 | Text retrieval method and device |
| JP7370118B1 (en) | 2023-07-25 | 2023-10-27 | amptalk株式会社 | Information processing device, information processing method, and program |
Non-Patent Citations (1)
| Title |
|---|
| WebPilotプラグインでchatGPTから外部APIを実行させる方法,note [online],2023年05月20日,インターネット<URL:https://note.com/diy_smile/n/n09a185940b59>,[2024年11月29日検索] |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2025102995A (en) | 2025-07-08 |
| JP2025042559A (en) | 2025-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20250191766A1 (en) | Method and platform/system for creating a web-based form that incorporates an embedded knowledge base, wherein the form provides automatic feedback to a user during and following completion of the form | |
| CN114787934B (en) | Algorithmic orchestration of workflows to aid healthcare imaging diagnostics | |
| JP4909936B2 (en) | Medical information system | |
| KR20090083331A (en) | Application Program Interface (API), how to interact with personal health related data, and systems to access health related data | |
| US7451393B1 (en) | System and method for a page rendering framework | |
| JP2025522332A (en) | Systems, devices and methods for interactive electronic document assembly and presentation - Patents.com | |
| WO2021108535A1 (en) | Algorithm orchestration of workflows to facilitate healthcare imaging diagnostics | |
| JP7637198B2 (en) | Method and apparatus for interacting with medical worksheets in a point-of-care browser | |
| JP7601361B1 (en) | Browsing support system, browsing support method and program | |
| JP7530134B1 (en) | Information processing device, program, and information processing method | |
| US20210098098A1 (en) | System and method for review of automated clinical documentation | |
| WO2024263779A2 (en) | Methods and systems for implementing generative ai in multi-channel service platforms | |
| US20260119817A1 (en) | Event normalization and enrichment | |
| US8732209B2 (en) | Computerized system and method for rendering reports in a healthcare environment | |
| US9286061B2 (en) | Generating and managing electronic documentation | |
| US11798665B2 (en) | Method and apparatus for interacting with medical worksheets | |
| Kumar et al. | AssureAIDoctor-A Bias-Free AI Bot | |
| CN114360671A (en) | Electronic medical record generation method and device, storage medium and electronic device | |
| JP7664334B2 (en) | Information processing system, terminal device, information processing method and program | |
| JP7628545B2 (en) | Method and apparatus for interacting with a medical worksheet - Patents.com | |
| US20250087319A1 (en) | Information interaction method, apparatus, device and storage medium | |
| US20260066073A1 (en) | Generative ai-based systems and methods for automatically generating patient-specific communications | |
| Hawashin et al. | Using GenAI and blockchain for enhanced user experience in Metaverse-based therapy sessions | |
| CN118280506A (en) | Signature method and device for medical document | |
| JP2025148754A (en) | Browsing support system, browsing support method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240930 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241211 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250407 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7664334 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |