Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7335794B2 - 情報処理装置及び設定装置 - Google Patents
[go: Go Back, main page]

JP7335794B2 - 情報処理装置及び設定装置 - Google Patents

情報処理装置及び設定装置 Download PDF

Info

Publication number
JP7335794B2
JP7335794B2 JP2019209871A JP2019209871A JP7335794B2 JP 7335794 B2 JP7335794 B2 JP 7335794B2 JP 2019209871 A JP2019209871 A JP 2019209871A JP 2019209871 A JP2019209871 A JP 2019209871A JP 7335794 B2 JP7335794 B2 JP 7335794B2
Authority
JP
Japan
Prior art keywords
unit
search keyword
display
user
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019209871A
Other languages
English (en)
Other versions
JP2021081622A (ja
JP2021081622A5 (ja
Inventor
徹 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Schneider Electric Japan Holdings Ltd
Original Assignee
Schneider Electric Japan Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Schneider Electric Japan Holdings Ltd filed Critical Schneider Electric Japan Holdings Ltd
Priority to JP2019209871A priority Critical patent/JP7335794B2/ja
Priority to US17/006,082 priority patent/US11847148B2/en
Priority to CN202010958303.XA priority patent/CN112825077A/zh
Publication of JP2021081622A publication Critical patent/JP2021081622A/ja
Publication of JP2021081622A5 publication Critical patent/JP2021081622A5/ja
Application granted granted Critical
Publication of JP7335794B2 publication Critical patent/JP7335794B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/3332Query translation
    • G06F16/3334Selection or weighting of terms from queries, including natural language queries
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3343Query execution using phonetics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • G06F16/355Creation or modification of classes or clusters
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/081Search algorithms, e.g. Baum-Welch or Viterbi
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Programmable Controllers (AREA)

Description

本発明は、情報処理装置及び設定装置に関する。
音声入力により制御対象を検索する技術が従来技術として知られている。例えば、特許文献1には、使用者の音声である第1の音声と、通話の相手の音声である第2の音声と、の各々に重み付けを行い、重みの値に応じて、第1の音声と第2の音声とのいずれを優先するかを決定する情報処理装置が開示されている。
特開2016-19070号公報(2016年2月1日公開)
特許文献1に開示されている情報処理装置は、第1の音声と第2の音声との各々に重み付けを行うだけであり、似たようなキーワードを有するアプリケーションを区別するように検索を行うことが困難である。よって、当該情報処理装置では、アプリケーションを決定する精度を十分に向上させることができないという問題がある。本発明の一態様は、制御対象を決定する精度を向上させることを目的とする。
前記の課題を解決するために、本発明の一態様に係る情報処理装置は、1つ以上の制御対象に設定された検索キーワードを参照することにより、音声入力により得られる入力データに含まれる1つ以上の主要単語に一致する前記検索キーワードを特定する特定部と、前記特定部によって特定された前記検索キーワードが参照されることにより、前記制御対象に設定された1つ以上の前記検索キーワードを一括して数値化する計算式に基づく計算の実行により得られる数値に基づいて、前記制御対象を決定する決定部と、を備える。
前記構成によれば、検索キーワードが数値化されることにより得られる数値に基づいて制御対象を決定するため、制御対象を決定する精度を向上させることができる。
前記特定部は、前記1つ以上の主要単語に一致する前記検索キーワードを特定するためにユーザにより設定された前記検索キーワードを参照し、前記決定部は、ユーザにより設定された前記計算式に基づく計算の実行により得られる数値に基づいて、前記制御対象を決定してもよい。前記構成によれば、検索キーワードや計算式がユーザにより設定が可能なものであるため、ユーザは、制御対象が適切に決定されるように、検索キーワードや計算式による検索の設定を行うことができる。
前記検索キーワードは、前記1つ以上の制御対象に設定された、前記制御対象を決定するために参照される必須の必須ワードと、前記1つ以上の制御対象に設定された、前記制御対象を決定するために前記必須ワードに次いで優先して参照される優先ワードと、に分類されており、前記特定部は、前記必須ワード及び前記優先ワードを参照することにより、前記主要単語に一致する前記必須ワードを特定すると共に、前記主要単語に一致する前記優先ワードを特定し、前記決定部は、前記特定部によって特定された前記必須ワード及び前記優先ワードが参照されることにより、(1)前記特定部によって前記必須ワードが特定されたことを示す第1論理値と、前記特定部によって前記必須ワードが特定されなかったことを示す第2論理値と、に基づいて特定された前記必須ワードの識別と、(2)前記制御対象に設定された1つ以上の前記必須ワードを一括して数値化する計算式に基づく計算の実行により得られる数値と、(3)前記制御対象に設定された1つ以上の前記優先ワードを一括して数値化する計算式に基づく計算の実行により得られる数値と、について、前記(1)及び前記(3)、前記(2)及び前記(3)、または前記(2)に基づいて、前記制御対象を決定してもよい。
前記構成によれば、ユーザは、1つ以上の制御対象に必須ワード及び優先ワードを設定すると共に、計算式を設定するだけでよい。このため、ユーザは、必須ワード及び優先ワードによる検索の設定を容易に行うことができ、自身の好みに合わせて必須ワード、優先ワード及び計算式を自由に変更することができる。また、情報処理装置は、必須ワードと優先ワードとの組み合わせによって、様々な検索キーワードに対応して検索処理を実行することができる。
前記情報処理装置は、前記特定部によって前記主要単語に一致する前記検索キーワードが特定される処理過程と、前記決定部によって、前記計算の実行により得られる数値に基づいて前記制御対象が決定される処理過程と、の少なくとも一方を表示部に表示させ、前記制御対象が決定される処理過程にて、前記計算式を前記表示部に表示させる過程表示制御部をさらに備えてもよい。
前記構成によれば、ユーザは、検索キーワードが特定される処理過程と、制御対象が決定される処理過程と、を表示部で確認することができる。よって、ユーザは、意図した通りに動作するよう設定がされているかを確認することができる。
前記情報処理装置は、前記表示部に表示された前記検索キーワード及び前記計算式をユーザの操作に応じて編集する編集部をさらに備えてもよい。前記構成によれば、ユーザは、制御対象がより適切に決定されるように、表示部に表示された検索キーワード及び計算式を編集することができる。
前記情報処理装置は、前記決定部によって決定された前記制御対象を強調させて表示部に表示させる強調表示処理と、ユーザによって作画された作画画面に、前記決定部によって決定された前記制御対象が含まれると共に、前記作画画面の解像度が、前記作画画面を表示する前記表示部の解像度より大きい場合、前記決定部によって決定された前記制御対象が前記表示部に表示される位置に、前記作画画面を移動させる画面移動処理と、の少なくとも一方を実行する画面表示制御部をさらに備えてもよい。
前記構成によれば、ユーザは、決定された制御対象を容易に確認することができる。また、ユーザが、決定された制御対象を誤って認識することを防ぐことができる。さらに、決定された制御対象が表示部に表示されるように、作画画面が移動させられるため、ユーザは、決定された制御対象をすぐに確認することができる。
前記情報処理装置は、ユーザによって作画された作画画面について、前記決定部によって決定された前記制御対象が表示されていない前記作画画面を、前記決定部によって決定された前記制御対象が表示されている前記作画画面に切り替える表示切替制御部をさらに備えてもよい。
前記構成によれば、決定された制御対象が表示されていない作画画面が、決定された制御対象が表示されている作画画面に切り替えられるため、ユーザは、決定された制御対象をすぐに確認することができる。
本発明の一態様に係る設定装置は、前記情報処理装置と通信可能である通信部と、ユーザによる入力操作に応じて、前記1つ以上の制御対象に前記検索キーワード及び前記計算式を設定する設定部と、を備え、前記通信部は、前記設定部によって設定された前記検索キーワード及び前記計算式を前記情報処理装置に送信してもよい。
前記構成によれば、ユーザは、設定装置を用いて、1つ以上の制御対象に検索キーワード及び計算式を容易に設定することができる。このため、ユーザは、制御対象を決定する精度を向上させることを容易に達成することができる。
前記設定装置は、ディスプレイと、前記設定部によって前記制御対象に設定された前記検索キーワードが参照されることにより、ユーザにより入力されたユーザ入力データに含まれる1つ以上の主要単語に一致する前記検索キーワードが模擬的に特定される処理過程と、前記設定部によって前記制御対象に設定された前記検索キーワードを数値化する前記計算式に基づく計算の実行により得られる数値に基づいて、前記制御対象が模擬的に決定される処理過程と、の少なくとも一方を前記ディスプレイに表示させるシミュレーション部と、をさらに備えてもよい。
前記構成によれば、ユーザは、制御対象を決定するための処理が情報処理装置において適切に行われるか否かを、設定装置を用いて予め確認することができる。また、検索キーワード及び計算式が情報処理装置に送信される前に、設定装置において特定処理及び決定処理が模擬的に表示されるため、ユーザは、制御対象を決定するための処理が適切に行われるか否かを容易に確認することができる。
本発明の一態様によれば、制御対象を決定する精度を向上させることができる。
本発明の実施形態1に係るPCと、プログラマブル表示器と、外部機器と、の構成を示すブロック図である。 図1に示すプログラマブル表示器の処理手順を示すフローチャートである。 図1に示すPCが備えるディスプレイに表示される、画面編集を行うための編集画面を示す図である。 図1に示すPCが備えるディスプレイに表示される、検索条件を設定するための設定画面を示す図である。 図1に示すプログラマブル表示器が備える制御部による変数読み上げ処理の処理手順を示すフローチャートである。 作画画面が移動する様子を示す模式図である。 本発明の実施形態2に係るプログラマブル表示器のユーザメモリに記録された検索条件を示す図である。
〔実施形態1〕
パーソナルコンピュータ(以降、単に「PC」と称する)1(設定装置)と、プログラマブル表示器2(情報処理装置)と、外部機器5と、の構成について図1に基づいて説明する。図1は、本発明の実施形態1に係るPC1と、プログラマブル表示器2と、外部機器5と、の構成を示すブロック図である。
(PC1の構成)
図1に示すように、PC1は、制御部11と、ディスプレイ12と、インタフェース部13と、操作部14と、記録部15と、を備えている。PC1は、プログラマブル表示器2と接続されている。PC1は、画面編集を行うためのプログラムを実行することにより、プログラマブル表示器2が表示する作画画面を作成する画面作成装置として機能する。
制御部11は、PC1の各部を制御する。制御部11は、設定部111と、シミュレーション部112と、を備える。制御部11は、ディスプレイ12の表示に関する制御を行い、インタフェース部13によるPC1とプログラマブル表示器2との間の通信に関する制御を行う。ディスプレイ12は、PC1での処理内容を表示するモニタである。インタフェース部13は、PC1がプログラマブル表示器2と通信を行うための通信部であり、プログラマブル表示器2の制御部10と通信可能である。操作部14は、例えば、ユーザがデータの入力を行うためのキーボードやユーザが操作を行うためのマウスである。記録部15は、PC1での処理内容を記録する。
(PC1の処理)
PC1の制御部11は、画面編集を行うためのプログラムとして、画面編集プログラムを実行する。制御部11によって画面編集プログラムが実行されると、図3に示すように、ディスプレイ12には、画面編集を行うための編集画面EDが表示される。図3は、図1に示すPC1が備えるディスプレイ12に表示される、画面編集を行うための編集画面EDを示す図である。図3に示す編集画面は一例である。編集画面EDには、画面選択タブT1,T2,T3、作画画面PM及びプロパティPPが含まれる。編集画面EDは、作画画面を作成するための作画ツールの編集画面である。作画ツールは、画面編集プログラムを実行することによって実現される各種の画面編集機能をユーザが利用しやすいようにまとめたソフトウェアである。
ここで説明する、ユーザによる編集画面EDの操作は、操作部14を用いて行われることが可能であり、設定部111は、編集画面EDでの設定を記録部15に記録する。ユーザが画面選択タブT1をクリックすることにより、画面P1の作画画面PMが編集画面EDの左側に表示される。同様に、ユーザが画面選択タブT2,T3をクリックすることにより、画面P2,P3のそれぞれの作画画面が編集画面EDの左側に表示される。ユーザは、作画画面PMに、制御対象としての材料タンクMAに係るオブジェクトOBを配置することができる。ユーザは、作画画面PMに1つ以上の制御対象のオブジェクトを配置することができる。
ユーザがオブジェクトOBをクリックすることにより、材料タンクMAのプロパティPPが編集画面EDの右側に表示される。プロパティPPには、入力欄I1,I2が含まれる。ユーザは、ランタイムプログラムの実行中において、入力欄I1に、検索キーワードとしての1つ以上の必須ワードを入力可能であり、入力欄I2に、検索キーワードとしての1つ以上の優先ワードを入力可能である。なお、入力欄I2には、必ずしも優先ワードを入力する必要はなく、何も入力されなくてもよい。また、プロパティPPには、入力欄I1,I2に代えて、必須ワードのリスト(候補)及び優先ワードのリスト(候補)が表示される欄が含まれてもよい。
他の制御対象のオブジェクトに対応する入力欄についても、必須ワード及び優先ワードが入力可能である。このように、1つ以上の制御対象には、検索キーワードが設定され、検索キーワードは、必須ワードと優先ワードとに分類される。下記の場合に対応するために、検索キーワードをクォーテーション等の所定の方法で囲んでもよい。その場合とは、英語等において複数単語で1つの制御対象を意味する場合や、検索キーワードとしての数字と、検索キーワードに関する計算式の結果の数値と、を区別する場合である。
また、ユーザが作画画面PMにおけるオブジェクトOB以外の領域を右クリックすることにより、作画画面PMのプロパティ(図示せず)が編集画面EDの右側に表示される。当該プロパティには、画面名あるいは画面番号が入力可能な入力欄と、1つの必須ワードが入力可能な入力欄と、が含まれている。
ユーザによる操作部14の操作に応じて、制御部11は、編集画面EDを、図4に示す検索条件を設定するための設定画面SSに切り替える。図4は、図1に示すPC1が備えるディスプレイ12に表示される、検索条件を設定するための設定画面SSを示す図である。設定画面SSには、番号表示欄N1、変数入力欄V1、名称入力欄NA及び入力欄CF1,CF2が含まれる。
ここで説明する、ユーザによる設定画面SSの操作は、操作部14を用いて行われることが可能であり、設定部111は、設定画面SSでの設定を記録部15に記録する。番号表示欄N1は、制御対象毎の番号を表示する。ユーザは、変数入力欄V1において、制御対象毎に変数を入力することができる。当該変数は、プログラマブル表示器2の制御部10が制御対象を識別するためのものである。より詳しくは、変数は、PLC3の内部メモリまたはプログラマブル表示器2に設けられた内部メモリのアドレスと対応付けられており、制御対象を表す文字列のようにユーザが認識しやすい形態の情報が用意される。
同様に、ユーザは、名称入力欄NAにおいて、制御対象毎に名称を入力することができる。当該名称は、ユーザが制御対象を識別しやすくするためのものである。変数はオブジェクトOBに対応付けられることから、設定画面SSには、各変数に対応してオブジェクトOBの名称が表示されてもよい。
ユーザは、入力欄CF1に、必須ワードを数値化する計算式を入力可能であり、入力欄CF2に、優先ワードを数値化する計算式を入力可能である。ユーザは、必須ワードを数値化する計算式として、例えば、入力欄CF1の材料タンクMAの残量に対応する欄に「(タンク&(原料|材料))」を入力することができる。ユーザは、入力欄I1に入力されたタンク、原料及び材料を必須ワードとして用いることができ、これらの必須ワードによって計算式を作成することができる。
また、ユーザは、優先ワードを数値化する計算式として、例えば、入力欄CF2の材料タンクMAの残量に対応する欄に「(残り|レベル|残量|量)」を入力することができる。ユーザは、入力欄I2に入力された残り、レベル、残量及び量を優先ワードとして用いることができ、これらの優先ワードによって計算式を作成することができる。
なお、入力欄I1に、必須ワードを数値化する計算式を直接入力できるようにすると共に、入力欄I2に、優先ワードを数値化する計算式を直接入力できるようにしてもよい。また、入力欄I1,I2のそれぞれに、必須ワード及び優先ワードを入力することなく、入力欄CF1,CF2のそれぞれに、必須ワードを数値化する計算式と、優先ワードを数値化する計算式と、を直接入力できるようにしてもよい。これらの場合であっても、検索キーワードは、必須ワードと優先ワードとに分類されることになる。
また、プロパティPPには、入力欄I2が含まれなくてもよい。この場合、プロパティPPの入力欄I1には、必須ワードと、必須ワードを数値化する計算式と、のいずれか一方が入力されてもよい。入力欄CF1,CF2についても同様に、設定画面SSには、入力欄CF2が含まれなくてもよい。編集画面ED及び設定画面SSのうち、編集画面EDのみで設定が行われる場合、プロパティPPには、変数及び名称を入力可能な入力欄が含まれてもよい。
以上により、設定部111は、ユーザによる操作部14を用いた入力操作に応じて、1つ以上の制御対象に検索キーワード、及び、検索キーワードを数値化する計算式を設定する。前記構成によれば、ユーザは、PC1を用いて、1つ以上の制御対象に検索キーワード及び計算式を容易に設定することができる。このため、ユーザは、制御対象を決定する精度を向上させることを容易に達成することができる。
(シミュレーション)
画面編集プログラム上の編集画面ED及び設定画面SSの少なくとも一方で設定が完了した状態を考える。この状態において、ユーザは、PC1に対して、発話による音声入力や文字列の入力等により試したい文章を入力し、どの制御対象が選択されるかについてシミュレーションをすることができる。当該シミュレーションは、シミュレーション部112によって模擬的に実行される。シミュレーション部112によって実行されるシミュレーションの過程は、ディスプレイ12に表示される。ユーザは、制御対象による実際の動作を実施する方法や検索キーワードが選択されていく状況を表示する方法等を選択することができる。
シミュレーションは、発話された後の処理が適正に行われているかを確認するために行われる。例えば、シミュレーションでは、ユーザが「タンクの温度を教えて」という文章を入力すると、シミュレーション部112は、ユーザにより入力された当該文章としてのユーザ入力データに含まれる「タンク」及び「温度」という主要単語を抽出する。
シミュレーション部112は、検索キーワードが模擬的に特定される処理過程と、制御対象が模擬的に決定される処理過程と、の少なくとも一方をディスプレイ12に表示させる。具体的には、シミュレーション部112は、設定部111によって制御対象に設定された検索キーワードが参照されることにより、抽出した1つ以上の主要単語に一致する検索キーワードが模擬的に特定される処理過程をディスプレイ12に表示させる。シミュレーション部112は、設定部111によって制御対象に設定された検索キーワードを数値化する計算式に基づく計算の実行により得られる数値に基づいて、制御対象が模擬的に決定される処理過程をディスプレイ12に表示させる。
前記構成によれば、ユーザは、制御対象を決定するための処理がプログラマブル表示器2において適切に行われるか否かを、PC1を用いて予め確認することができる。また、検索キーワード及び計算式が制御部10に送信される前に、PC1において特定処理及び決定処理が模擬的に表示されるため、ユーザは、制御対象を決定するための処理が適切に行われるか否かを容易に確認することができる。
また、シミュレーションにより、計算式の計算結果に基づく制御対象の決定までの過程が示されるので、決定した結果が正しいか否かを確認することができる。プログラマブル表示器2における後述するデバッグモードにより多数の制御対象の確認を現場にて行うのは手間がかかりすぎる。シミュレーションは、デバッグモードの実施前に、可能な範囲でプログラマブル表示器2において行われる処理を擬似的に提示する。
(外部機器5の構成)
図1に示すように、外部機器5は、制御部31と、表示部32と、インタフェース部33と、タッチパネル34と、を備えている。外部機器5は、プログラマブル表示器2と通信可能な携帯端末等である。制御部31は、外部機器5の各部を制御する。制御部31は、タッチパネル34への操作に応じて制御動作を特定する。制御部31は、表示部32の表示に関する制御を行い、インタフェース部33による外部機器5とプログラマブル表示器2との間の通信に関する制御を行う。インタフェース部33は、外部機器5がプログラマブル表示器2と通信を行うための通信部である。
(プログラマブル表示器2の構成)
図1に示すように、プログラマブル表示器2は、制御部10と、表示部20と、タッチパネル30と、ユーザメモリ40と、マイク50と、スピーカ60と、インタフェース部70,80,90と、を備えている。プログラマブル表示器2は、PLC(プログラマブルロジックコントローラ)3と接続されている。
プログラマブル表示器2は、通信ケーブルを介してPLC3と接続されることにより、PLC3との間で通信を行う。プログラマブル表示器2は、操作及び表示のための作画画面を表示することにより、プログラマブル表示器特有の操作機能と表示機能とを実現する専用コンピュータであり、HMI(Human Machine Interface)機器として使用される。
制御部10は、PLC3と接続されたデバイス4の状態を表示する動作や、タッチパネル30への操作に応じてデバイス4の状態を制御する動作を特定する。制御部10は、プログラマブル表示器2の各部を制御する。制御部10は、記録制御部110と、テキスト変換部120と、分類部130と、抽出部140と、特定部150と、実行部160と、決定部170と、過程表示制御部180と、編集部190と、表示切替制御部200と、画面表示制御部230と、を備えている。画面表示制御部230は、画面移動制御部210と、強調表示制御部220と、を備えている。制御部10の各部の処理内容については後述する。
表示部20は、ユーザによって作成された作画画面や、デバイス4の状態を表示する。ユーザメモリ40は、ユーザによって作成された作画画面を、関連する1つ以上の作画画面(画面群)のまとまった画面ファイルの形式で記録する。画面ファイルは、PC1の制御部11によって作成されて、PC1からダウンロードされる。
マイク50は、ユーザにより発せられた音声を入力する。スピーカ60は、プログラマブル表示器2の外部へ音声を出力する。なお、プログラマブル表示器2には、マイク50やスピーカ60が内蔵される代わりに、インタフェースのみが内蔵されてもよい。この構成では、マイク50やスピーカ60は、インタフェースを介して外部機器としてプログラマブル表示器2に接続される。インタフェース部70は、プログラマブル表示器2がPC1と通信を行うための通信部である。インタフェース部80は、プログラマブル表示器2がPLC3と通信を行うための通信部である。インタフェース部90は、プログラマブル表示器2が外部機器5と通信を行うための通信部である。
PLC3は、ユーザによって作成されたシーケンスプログラムにしたがって、予め定められたスキャンタイム毎に、デバイス4の状態を読み出したり、デバイス4に制御指示を与えたりする制御装置である。デバイス4は、PLC3によって制御されるものや、センサ等の検出値を出力するものであり、複数存在する。
(プログラマブル表示器2の処理)
プログラマブル表示器2の処理について図2に基づいて説明する。図2は、図1に示すプログラマブル表示器2の処理手順を示すフローチャートである。図2に示すように、まず、記録制御部110は、プログラマブル表示器2がPLC3から得る情報に関する、画面、変数や部品等の1つ以上の制御対象に設定された検索キーワードをユーザメモリ40に記録する。
制御部11は、画面編集プログラム上の編集画面ED及び設定画面SSの少なくとも一方で設定された設定情報をインタフェース部13に提供する。インタフェース部13は、制御部11から提供された当該設定情報をインタフェース部70に送信する。インタフェース部70は、インタフェース部13から送信された前記設定情報を制御部10に提供する。つまり、インタフェース部13は、設定部111によって設定された検索キーワード、及び、検索キーワードを数値化する計算式を制御部10に送信する。以降に説明する制御部10の処理の少なくとも一部は、プログラマブル表示器2と通信可能に接続されたサーバで実行されてもよい。
記録制御部110は、前記設定情報をユーザメモリ40に記録する。前記設定情報には、検索キーワードが含まれるため、記録制御部110は、1つ以上の制御対象に設定された検索キーワードをユーザメモリ40に記録することになる。なお、前記設定情報は、記録媒体を用いてPC1からプログラマブル表示器2にコピーされてもよく、当該記録媒体としては、プログラマブル表示器2にメモリカード(USB(Universal Serial Bus)メモリやSD(Secure Digital)カード)を用いてもよい。
前記設定情報がユーザメモリ40に記録される処理は、プログラマブル表示器2によるステップS1以降の処理が行われる前に、完了されるものであり、プログラマブル表示器2の動作中に行われるものではない。また、前記設定情報がユーザメモリ40に記録される処理が完了した後、検索キーワード及び計算式を含む前記設定情報は、PC1の記録部15に記録されてもよく、前記サーバに記録されてもよい。
また、プログラマブル表示器2の動作中に、PLC3のプログラム作成者が前記設定情報を容易に編集することや、上位のHMI(Human Machine Interface)として利用されるSCADA(Supervisory Control And Data Acquisition)等との前記設定情報の共有が可能なように、記録制御部110は、前記設定情報をPLC3に記録してもよい。例えば、記録制御部110は、前記設定情報をPLC3が備えるメモリに記録してもよい。
この場合において、ユーザがタッチパネル34に対して操作を行うと、制御部31は、ユーザによるタッチパネル34への操作内容をインタフェース部33に提供する。インタフェース部33は、当該操作内容をインタフェース部90に送信し、インタフェース部90は、前記操作内容を制御部10に提供する。編集部190は、インタフェース部80を介して、前記操作内容をPLC3のメモリの記録内容に反映させる。
前記設定情報がユーザメモリ40に記録された状態において、マイク50は、ユーザにより発話された音声を入力する。マイク50は、入力した音声を音声データに変換し、音声データを制御部10に提供する。制御部10は、マイク50から音声データを入力する(S1)。
テキスト変換部120は、入力された音声データをテキストデータとしての入力データに変換する(S2)。テキスト変換部120による変換処理は、公知のものを適用する。テキスト変換部120は、音声入力により得られる入力データを分類部130に提供する。分類部130は、予め設定された条件により、入力データから発話意図を分類する(S3)。
分類部130は、制御部10に設けられたニューラルネットワークを用いて、入力データから発話意図を分類してもよい。具体的には、分類部130は、入力データを入力し、当該入力データから特徴を抽出すると共に、その特徴を前記ニューラルネットワークに入力する。前記ニューラルネットワークは、入力した特徴に基づいて発話意図を分類する。前記ニューラルネットワークによって分類された発話意図を分類部130が生成する。
分類部130が発話意図を分類した後、抽出部140は、入力データに含まれる1つ以上の主要単語を抽出する(S4)。なお、抽出部140は、分類部130によって分類された発話意図と共に得られる主要単語を抽出してもよく、入力データの文章全体のうち、制御対象に設定された検索キーワードと合致する主要単語のみを抽出してもよい。
制御部10は、分類部130によって分類された意図分類が、制御部10の内部にプログラムされた複数の意図分類のいずれに該当するかを判断する(S5)。ステップS5において、例えば、分類部130によって分類された意図分類が、変数読み上げであった場合、制御部10は、変数読み上げ処理を実行する(S6)。
また、ステップS5において、分類部130によって分類された意図分類が、画面切り替えであった場合、制御部10は、画面切り替え処理を実行する(S7)。同様に、ステップS5において、分類部130によって分類された意図分類が、部品検索、値設定またはその他であった場合、制御部10は、それぞれ、部品検索処理、値設定処理またはその他の処理を実行する(S8からS10)。当該その他の処理は、ステップS6からS9の処理に該当しない処理である。
(変数読み上げ処理)
制御部10によって実行されるステップS6の変数読み上げ処理について、図4及び図5に基づいて説明する。図5は、図1に示すプログラマブル表示器2が備える制御部10による変数読み上げ処理の処理手順を示すフローチャートである。ユーザメモリ40には、図4に示す設定画面SSで設定された設定情報が記録されている。まず、図5に示すように、特定部150は、抽出部140によって抽出された主要単語に一致する検索キーワードを特定する(S21)。
例えば、ユーザが「タンクA1の残量を教えて」と発話した場合、主要単語として「タンク」、「A1」及び「残量」が抽出部140によって抽出される。特定部150は、例えば、記録制御部110によってユーザメモリ40に記録された前記設定情報の検索キーワードを参照する。これにより、特定部150は、設定画面SSにおいて、1つ以上の主要単語に一致する検索キーワードとして、「タンク」、「A1」及び「残量」を特定する。このように、特定部150は、1つ以上の主要単語に一致する検索キーワードを特定するためにユーザにより設定された検索キーワードを参照する。
また、特定部150は、ユーザメモリ40から、前記設定情報の必須ワード及び優先ワードを参照する。これにより、特定部150は、1つ以上の主要単語に一致する必須ワードを特定すると共に、1つ以上の主要単語に一致する優先ワードを特定する。具体的には、特定部150は、主要単語に一致する必須ワードとして「タンク」及び「A1」を特定すると共に、主要単語に一致する優先ワードとして「残量」を特定する。
実行部160は、特定部150によって特定された「タンク」、「A1」及び「残量」を参照することにより、制御対象に設定された1つ以上の検索キーワードを一括して数値化する計算式に基づく計算を実行する。具体的には、まず、実行部160は、変数の絞り込みを行うために、必須ワードを数値化する計算式に基づく計算を実行する(S22)。ここで、当該計算式においては、特定部150によって特定された検索キーワードを1とし、特定部150によって特定されていない検索キーワードを0とする。計算式中の演算子の「&」は、論理演算子ANDを示し、計算式中の演算子の「|」は、論理演算子ORを示す。これらの条件は、優先ワードを数値化する計算式についても同様である。
ステップS22について、名称「材料タンクMAの残量」においては、(タンク&(原料|材料))=(1&(0|0))=0となる。名称「タンクA1の設定温度」においては、(タンク&A1)=(1&1)=1となる。名称「タンクA1の現在温度」及び名称「タンクA1のレベル」においても同様に1となる。このように、必須ワードによる変数の絞り込みを、優先ワードによる変数の絞り込みよりも先に実行することにより、検索処理の負荷を軽減することができる。
次に、実行部160は、必須ワードを数値化する計算式の結果の数値が0ではない変数はあるか否かを判断する(S23)。仮に当該検索式の結果の数値が0ではない変数がない場合(S23にてNO)、実行部160は、変数が見つからなかったことを読み上げる音声信号を生成してスピーカ60に与え、スピーカ60に音声として出力させる読み上げ処理を実行する(S24)。
必須ワードを数値化する計算式の結果の数値が0ではない変数があった場合(S23にてYES)、実行部160は、必須ワードを数値化する計算式の計算結果が最大の数値となる変数は複数あるか否かを判断する(S25)。計算結果が最大の数値となる変数が複数ではなかった場合(S25にてNO)、後述するステップS30の処理に移る。
必須ワードを数値化する計算式の計算結果が最大の数値となる変数が複数あった場合(S25にてYES)、実行部160は、優先ワードを数値化する計算式があるか否かを判断する(S26)。優先ワードを数値化する計算式がなかった場合(S26にてNO)、決定部170は、必須ワードを数値化する計算式の計算結果が最大の数値となる複数の変数を制御対象として決定する。実行部160は、複数の変数が見つかったことを読み上げる音声信号を生成してスピーカ60に与え、スピーカ60に音声として出力させる読み上げ処理を実行する(S27)。
このとき、実行部160は、それぞれの変数について変数の値の読み上げ処理を実行してもよい。また、ステップS27において、制御部10は、見つかった変数を表示部20に表示させ、変数の値を読み上げる変数をユーザに選択させてもよい。
優先ワードを数値化する計算式があった場合(S26にてYES)、実行部160は、必須ワードを数値化する計算式の計算結果が最大の数値となる変数について、優先ワードを数値化する計算式に基づく計算を実行する(S28)。ステップS28について、名称「タンクA1の設定温度」においては、(温度&設定)=(0&0)=0となる。名称「タンクA1の現在温度」においては、(温度+現在)=(0+0)=0となる。名称「タンクA1のレベル」においては、(残り|レベル|残量|量)=(0|0|1|0)=1となる。
決定部170は、優先ワードを数値化する計算式の結果の数値について、計算結果が0を含む最大の数値となる変数が複数あるか否かを判断する(S29)。仮に計算結果が0を含む最大の数値となる変数が複数あった場合(S29にてYES)、ステップS27の処理に移る。
計算結果が0を含む最大の数値となる変数が複数ではなかった場合(S29にてNO)、決定部170は、最大の数値となる変数として、「タンクA1のレベル」を制御対象として決定する。このように、決定部170は、ユーザにより設定された計算式に基づく計算の実行により得られる数値に基づいて、制御対象を決定する。検索キーワードや計算式がユーザにより設定が可能なものであるため、ユーザは、制御対象が適切に決定されるように、検索キーワードや計算式による検索の設定を行うことができる。
実行部160は、見つかった変数の値を読み出す(S30)。具体的には、実行部160は、決定部170によって決定された制御対象である「タンクA1のレベル」の値を読み上げる音声信号を生成してスピーカ60に与え、スピーカ60に音声として出力させる読み上げ処理を実行する(S31)。読み上げ処理の実行時には、変数の値と共に単位も読み上げられるように、前記設定情報には、変数の単位が設定されていてもよい。
以上のように、決定部170は、特定部150によって特定された検索キーワードが参照されることにより、制御対象に設定された1つ以上の検索キーワードを一括して数値化する計算式に基づく計算の実行により得られる数値に基づいて、制御対象を決定する。具体的には、決定部170は、以下の数値に基づいて制御対象を決定する。その数値とは、制御対象に設定された1つ以上の必須ワードを一括して数値化する計算式に基づく計算の実行により得られる数値、及び、制御対象に設定された1つ以上の優先ワードを一括して数値化する計算式に基づく計算の実行により得られる数値である。
また、必須ワードは、1つ以上の制御対象に設定された、制御対象を決定するために参照される必須のものである。優先ワードは、1つ以上の制御対象に設定された、制御対象を決定するために必須ワードに次いで優先して参照されるものである。
制御部10の構成によれば、ユーザは、音声入力によって、制御対象を決定するための検索を容易に行うことができる。制御部10は、検索キーワードが数値化されることにより得られる数値に基づいて制御対象を決定するため、制御対象を決定する精度を向上させることができる。
また、ユーザは、1つ以上の制御対象に検索キーワードと計算式とを設定するだけでよいため、制御対象を決定するための検索の設定を容易に行うことができる。さらに、ユーザは、制御対象の正確な名称を覚えていなくても、制御対象がより適切に決定されるように、制御対象を決定するための検索の設定を容易に変更することができる。制御部10は、ユーザによって設定された様々な検索キーワードに対応して検索処理を実行することができる。
図2及び図5に示すフローチャートにおいて、ステップS26にてYESの場合、決定部170は、以下のように制御対象を決定する。具体的には、必須ワードを一括して数値化する計算式に基づく計算の実行により得られる数値(第1数値)と、優先ワードを一括して数値化する計算式に基づく計算の実行により得られる数値(第2数値)と、に基づいて、決定部170が制御対象を決定する。
ただし、必ずしも優先ワードは入力される必要がない。このため、ステップS25にてNOの場合や、ステップS26にてNOの場合において、優先ワードが入力されないとき、決定部170は、前記第2数値を用いずに、前記第1数値に基づいて、制御対象を決定する。
(デバッグモード)
プログラマブル表示器2や外部機器5等によって、表示部20や外部機器5の表示部32に作画画面が表示される通常モードからデバッグモードに移行することが可能であってもよい。制御部10は、ユーザの操作に応じて、通常モードからデバッグモードに移行する。デバッグモードについては、ユーザが制御対象に対して要求する、制御対象の動作が行われるか否かをユーザが設定することができる。
デバッグモードでは、過程表示制御部180は、特定部150によって主要単語に一致する検索キーワードが特定される処理過程と、決定部170によって、前記計算の実行により得られる数値に基づいて制御対象が決定される処理過程と、の少なくとも一方をプログラマブル表示器2の表示部20に表示させる。また、過程表示制御部180は、前記制御対象が決定される処理過程にて、検索キーワードを数値化する計算式を表示部20に表示させる。なお、過程表示制御部180は、これらの処理過程及び当該計算式を外部機器5の表示部32に表示させてもよい。
前記構成によれば、ユーザは、検索キーワードが特定される処理過程と、制御対象が決定される処理過程と、をプログラマブル表示器2の表示部20や外部機器5の表示部32で確認することができる。よって、ユーザは、意図した通りに動作するよう設定がされているかを確認することができる。
なお、制御部10が外部機器5の表示部32に対して表示させる処理を行う場合、その処理内容をインタフェース部90に提供し、インタフェース部90は、前記処理内容をインタフェース部33に送信する。インタフェース部33は、前記処理内容を制御部31に提供し、制御部31は、前記処理内容にしたがって、表示部32に対して表示させる処理を行う。
また、デバッグモードでは、編集部190は、表示部20や外部機器5の表示部32に表示された検索キーワード及び計算式をユーザの操作に応じて編集する。具体的には、ユーザがタッチパネル30に対して操作を行うことにより、編集部190は、そのユーザの操作に応じて検索キーワード及び計算式を編集する。
また、ユーザは、外部機器5を操作し、プログラマブル表示器2の編集部190に指示を行うことで検索キーワード及び計算式を編集することができる。さらに、ユーザは、編集作業を効率化するために、プログラマブル表示器2から検索キーワード及び計算式を一括でダウンロードして、外部機器5のタッチパネル34において編集することもできる。この場合、ユーザは、タッチパネル34において編集した検索キーワード及び計算式をプログラマブル表示器2にアップロードする。
編集部190は、その編集された検索キーワード及び計算式をユーザメモリ40に記憶された検索キーワード及び計算式に上書きする。前記構成によれば、ユーザは、制御対象がより適切に決定されるように、表示部20や外部機器5の表示部32に表示された検索キーワード及び計算式を編集することができる。
また、プログラマブル表示器2において編集作業を行う場合、表示部20に表示されている本来の画面に編集のための画面が重畳されると、本来の画面が見づらくなる。これに対し、外部機器5のタッチパネル34を用いて編集することにより、編集のための画面が表示部20に表示されないので、本来の画面が見づらくなるという不都合を回避できる。しかも、外部機器5が検索キーワード及び計算式の編集に適したアプリケーションプログラムを備えることにより、プログラマブル表示器2による編集よりも効率的に編集を行うことができる。
また、発話内容がどのように解釈されたか、または、制御対象の絞り込みがどのように実行されたかをユーザに示すために、下記の処理が行われてもよい。具体的には、テキストデータに変換された発話内容の履歴、検索結果及び検索結果の順位リストは、表示部20や外部機器5の表示部32に表示されてもよく、ユーザメモリ40や外部機器5のメモリ(図示せず)に記録されてもよい。
(画面切り替え処理)
制御部10によって実行されるステップS7の画面切り替え処理について説明する。ステップS7の画面切り替え処理は、ステップS6の変数読み上げ処理と比べて、決定部170が制御対象としての変数を決定する代わりに、制御対象としての作画画面を決定する点が異なる。また、ステップS7の画面切り替え処理は、ステップS6の変数読み上げ処理と比べて、実行部160が変数の値を読み上げる処理を実行する代わりに、表示切替制御部200が画面切り替え処理を実行する点が異なる。
表示切替制御部200は、ユーザによって作画された作画画面について、現在の作画画面を、決定部170によって決定された作画画面に切り替える。また、画面切り替え処理において、制御部10は、画面の番号または画面の名称を必須ワードとして、計算式を用いずに、切り替える画面を特定してもよい。
(部品検索処理)
制御部10によって実行されるステップS8の部品検索処理について説明する。ステップS8の部品検索処理は、ステップS6の変数読み上げ処理と比べて、決定部170が制御対象としての変数を決定する代わりに、制御対象としての部品(オブジェクトOB)を決定する点が異なる。また、ステップS8の部品検索処理は、ステップS6の変数読み上げ処理と比べて、実行部160が変数の値を読み上げる処理を実行する代わりに、表示切替制御部200が画面切り替え処理を実行する点が異なる。
表示切替制御部200は、ユーザによって作画された作画画面について、決定部170によって決定された制御対象としての部品が表示されていない作画画面を、決定部170によって決定された制御対象としての部品が表示されている作画画面に切り替える。前記構成によれば、決定された制御対象が表示されていない作画画面が、決定された制御対象が表示されている作画画面に切り替えられるため、ユーザは、決定された制御対象をすぐに確認することができる。
ここで、ユーザによって作画された作画画面に、決定部170によって決定された制御対象としての部品が含まれると共に、作画画面の解像度が、作画画面を表示する表示部20や外部機器5の表示部32の解像度より大きい場合を考える。この場合、表示切替制御部200によって、決定部170によって決定された部品が表示されている作画画面に切り替えられたものとする。
このとき、画面移動制御部210は、決定部170によって決定された制御対象としての部品が表示部20や外部機器5の表示部32に表示される位置に、作画画面を移動させてもよい。具体的に、図6に基づいて説明する。図6は、作画画面が移動する様子を示す模式図である。図6では、表示部20の表示を例として示している。
図6における上側の図に示すように、作画画面MPが、決定部170によって決定された制御対象としての部品PAを含むと共に、表示部20が作画画面MPの一部を表示している場合を考える。図6における下側の図に示すように、画面移動制御部210は、部品PAが表示部20に表示される位置に、作画画面MPを移動させる。このとき、画面移動制御部210は、移動前の部品PAの座標と表示部20上の表示位置(例えば中央)の座標とを比較して作画画面MPの移動量を決定し、その移動量に基づいて作画画面を移動させる。よって、決定された部品PAが表示部20に表示されるように、作画画面MPが移動させられるため、ユーザは、決定された部品PAをすぐに確認することができる。
また、画面移動制御部210によって作画画面MPが移動させられた後、強調表示制御部220は、決定部170によって決定された制御対象としての部品PAを強調させてプログラマブル表示器2の表示部20に表示させてもよい。また、強調表示制御部220は、決定部170によって決定された部品PAを強調させて外部機器5の表示部32に表示させてもよい。
制御対象を強調させて表示させる方法としては、例えば、制御対象を囲む枠を表示する、制御対象を囲む枠を点滅させて表示する、制御対象を矢印で示す、制御対象の色を変更して表示する、制御対象をズーム表示する等が挙げられる。強調表示制御部220の構成によれば、ユーザは、決定された制御対象を1つ以上の制御対象から容易に確認することができる。また、ユーザが、決定された制御対象を誤って認識することを防ぐことができる。
なお、画面移動制御部210及び強調表示制御部220は、それぞれが独立して処理を実行してもよいが、同時に処理を実行してもよい。例えば、多数の制御対象を含む作画画面MPが画面移動制御部210によって移動させられたとき、決定部170によって決定された部品PAが表示部20に表示されたとしても、他の部品と紛れて分かりにくい。そこで、決定部170によって決定された部品PAを、強調表示制御部220によって強調表示することによって、ユーザは、その部品PAを他の部品と容易に区別することができる。よって、画面表示制御部230は、画面移動制御部210による画面移動処理と、強調表示制御部220による強調表示処理と、の少なくとも一方を実行する。
(値設定処理)
制御部10によって実行されるステップS9の値設定処理について説明する。ステップS9の値設定処理は、ステップS6の変数読み上げ処理と比べて、決定部170が制御対象としての変数を決定する代わりに、値を設定するための制御対象を決定する点が異なる。また、ステップS9の値設定処理は、ステップS6の変数読み上げ処理と比べて、実行部160が変数の値を読み上げる処理を実行する代わりに、制御対象としての値の設定処理を実行する点が異なる。
ステップS9の値設定処理や制御対象の実行をするとき等で、誤操作を防止するための確定操作を行う場合、決定部170によって制御対象が決定された後、ユーザが、音声以外の入力手段を用いて当該確定操作を行えるようにしてもよい。音声以外の入力手段としては、例えば、タッチパネル30上の確認ボタン、プログラマブル表示器2の外部に設けられた確定スイッチが挙げられる。
〔実施形態2〕
本発明の実施形態2について、図2、図5及び図7に基づいて説明する。なお、説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。また、ここでは、実施形態2について、実施形態1と比べて異なる構成のみを説明する。図7は、本発明の実施形態2に係るプログラマブル表示器2のユーザメモリ40に記録された検索条件を示す図である。
ユーザメモリ40には、図7に示す設定画面SS2で設定された設定情報が記録される。設定画面SS2は、設定画面SSと比べて、入力欄CF1が入力欄CF3に変更されている点が異なる。ユーザは、入力欄CF3に、必須ワードを入力可能である。ここで、図2に示すステップS4において、例えば、ユーザが「冷却器の温度を教えて」と発話した場合、主要単語として「冷却器」及び「温度」が抽出部140によって抽出される。
実行部160は、図5に示すステップS21からS23の代わりに、抽出部140によって抽出された主要単語に一致する検索キーワードを特定部150が特定できたか否かを判断する。この判断において、実行部160は、主要単語に一致する検索キーワードを特定部150が特定できた場合(YES)を考える。この場合、抽出部140によって主要単語として「冷却器」が抽出され、必須ワードとしての「冷却器」の論理値は、特定部150によって必須ワードが特定されたことを示す第1論理値(1)となる。このため、実行部160は、複数の変数を「冷却器の設定温度」及び「冷却器の現在温度」に絞り込み、処理をステップS25に進める。
一方、主要単語に一致する検索キーワードを特定できなかった場合(NO)、つまり、主要単語に一致する必須ワードが存在せず、全ての変数において必須ワードの論理値が、特定部150によって必須ワードが特定されなかったことを示す第2論理値(0)であった場合を考える。この場合、実行部160は、処理をステップS24に進める。このように、実行部160は、必須ワードによる変数の絞り込みを行う。
ステップS25及びステップS26の処理の後、ステップS28において、実行部160は、主要単語に一致する必須ワードに対応付けられた計算式を選択し、優先ワードを数値化する計算を、選択した計算式を用いて実行する。ステップS28について、名称「冷却器の設定温度」においては、(温度*1+設定*2)=(1*1+0*2)=1となる。名称「冷却器の現在温度」においては、(温度*2+現在*1)=(1*2+0*1)=2となる。よって、決定部170は、最大の数値となる変数として、「冷却器の現在温度」を制御対象として決定する。
以上により、実施形態1及び実施形態2の構成から、決定部170は、特定部150によって特定された必須ワード及び優先ワードが参照されることにより、以下の(1)から(3)について、(1)及び(3)、(2)及び(3)、または(2)に基づいて制御対象を決定する。(1)から(3)について、具体的には下記の通りである。
(1)特定部150によって必須ワードが特定されたことを示す第1論理値と、特定部150によって必須ワードが特定されなかったことを示す第2論理値と、に基づいて特定された必須ワードの識別。(2)制御対象に設定された1つ以上の必須ワードを一括して数値化する計算式に基づく計算の実行により得られる数値。(3)制御対象に設定された1つ以上の優先ワードを一括して数値化する計算式に基づく計算の実行により得られる数値。
前記構成によれば、ユーザは、1つ以上の制御対象に必須ワード及び優先ワードを設定すると共に、計算式を設定するだけでよい。このため、ユーザは、必須ワード及び優先ワードによる検索の設定を容易に行うことができ、自身の好みに合わせて必須ワード、優先ワード及び計算式を自由に変更することができる。また、制御部10は、必須ワードと優先ワードとの組み合わせによって、様々な検索キーワードに対応して検索処理を実行することができる。
なお、実施形態2で主に説明した内容では、決定部170は、必須ワードの識別と、優先ワードを数値化する計算式に基づく計算の実行により得られる数値と、に基づいて制御対象を決定している。逆に、決定部170は、必須ワードを数値化する計算式に基づく計算の実行により得られる数値と、優先ワードの識別と、に基づいて制御対象を決定してもよい。優先ワードの識別とは、前述した必須ワードの論理値を用いることによる必須ワードの識別と同様に、優先ワードの論理値について第1論理値及び第2論理値のいずれであるかを判断するものである。
〔ソフトウェアによる実現例〕
プログラマブル表示器2の制御ブロック(特に、制御部10)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、制御部10は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は前述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 PC(設定装置)
2 プログラマブル表示器(情報処理装置)
10 制御部
12 ディスプレイ
13 インタフェース部(通信部)
20 表示部
32 表示部
111 設定部
112 シミュレーション部
150 特定部
170 決定部
180 過程表示制御部
190 編集部
200 表示切替制御部
230 画面表示制御部

Claims (8)

  1. 1つ以上の制御対象に設定された検索キーワードを参照することにより、音声入力により得られる入力データに含まれる1つ以上の主要単語に一致する前記検索キーワードを特定する特定部と、
    前記特定部によって特定された前記検索キーワードが参照されることにより、前記制御対象に設定された1つ以上の前記検索キーワードを一括して数値化する計算式に基づく計算の実行により得られる数値に基づいて、前記制御対象を決定する決定部と、を備え、
    前記特定部は、前記1つ以上の主要単語に一致する前記検索キーワードを特定するためにユーザにより設定された前記検索キーワードを参照し、
    前記決定部は、ユーザにより設定された前記計算式に基づく計算の実行により得られる数値に基づいて、前記制御対象を決定することを特徴とする情報処理装置。
  2. 1つ以上の制御対象に設定された検索キーワードを参照することにより、音声入力により得られる入力データに含まれる1つ以上の主要単語に一致する前記検索キーワードを特定する特定部と、
    前記特定部によって特定された前記検索キーワードが参照されることにより、前記制御対象に設定された1つ以上の前記検索キーワードを一括して数値化する計算式に基づく計算の実行により得られる数値に基づいて、前記制御対象を決定する決定部と、を備え、
    前記検索キーワードは、前記1つ以上の制御対象に設定された、前記制御対象を決定するために参照される必須の必須ワードと、前記1つ以上の制御対象に設定された、前記制御対象を決定するために前記必須ワードに次いで優先して参照される優先ワードと、に分類されており、
    前記特定部は、前記必須ワード及び前記優先ワードを参照することにより、前記主要単語に一致する前記必須ワードを特定すると共に、前記主要単語に一致する前記優先ワードを特定し、
    前記決定部は、
    前記特定部によって特定された前記必須ワード及び前記優先ワードが参照されることにより、
    (1)前記特定部によって前記必須ワードが特定されたことを示す第1論理値と、前記特定部によって前記必須ワードが特定されなかったことを示す第2論理値と、に基づいて特定された前記必須ワードの識別と、
    (2)前記制御対象に設定された1つ以上の前記必須ワードを一括して数値化する前記計算式に基づく計算の実行により得られる数値と、
    (3)前記制御対象に設定された1つ以上の前記優先ワードを一括して数値化する前記計算式に基づく計算の実行により得られる数値と、について、
    前記(1)及び前記(3)、前記(2)及び前記(3)、または前記(2)に基づいて、前記制御対象を決定することを特徴とする情報処理装置。
  3. 1つ以上の制御対象に設定された検索キーワードを参照することにより、音声入力により得られる入力データに含まれる1つ以上の主要単語に一致する前記検索キーワードを特定する特定部と、
    前記特定部によって特定された前記検索キーワードが参照されることにより、前記制御対象に設定された1つ以上の前記検索キーワードを一括して数値化する計算式に基づく計算の実行により得られる数値に基づいて、前記制御対象を決定する決定部と、
    前記特定部によって前記主要単語に一致する前記検索キーワードが特定される処理過程と、前記決定部によって、前記計算式に基づく計算の実行により得られる数値に基づいて前記制御対象が決定される処理過程と、の少なくとも一方を表示部に表示させ、前記制御対象が決定される処理過程にて、前記計算式を前記表示部に表示させる過程表示制御部と、を備えることを特徴とする情報処理装置。
  4. 前記表示部に表示された前記検索キーワード及び前記計算式をユーザの操作に応じて編集する編集部をさらに備えることを特徴とする請求項に記載の情報処理装置。
  5. 1つ以上の制御対象に設定された検索キーワードを参照することにより、音声入力により得られる入力データに含まれる1つ以上の主要単語に一致する前記検索キーワードを特定する特定部と、
    前記特定部によって特定された前記検索キーワードが参照されることにより、前記制御対象に設定された1つ以上の前記検索キーワードを一括して数値化する計算式に基づく計算の実行により得られる数値に基づいて、前記制御対象を決定する決定部と、を備え、
    前記決定部によって決定された前記制御対象を強調させて表示部に表示させる強調表示処理と、
    ユーザによって作画された作画画面に、前記決定部によって決定された前記制御対象が含まれると共に、前記作画画面の解像度が、前記作画画面を表示する前記表示部の解像度より大きい場合、
    前記決定部によって決定された前記制御対象が前記表示部に表示される位置に、前記作画画面を移動させる画面移動処理と、の少なくとも一方を実行する画面表示制御部をさらに備えることを特徴とする情報処理装置。
  6. 1つ以上の制御対象に設定された検索キーワードを参照することにより、音声入力により得られる入力データに含まれる1つ以上の主要単語に一致する前記検索キーワードを特定する特定部と、
    前記特定部によって特定された前記検索キーワードが参照されることにより、前記制御対象に設定された1つ以上の前記検索キーワードを一括して数値化する計算式に基づく計算の実行により得られる数値に基づいて、前記制御対象を決定する決定部と、
    ユーザによって作画された作画画面について、前記決定部によって決定された前記制御対象が表示されていない前記作画画面を、前記決定部によって決定された前記制御対象が表示されている前記作画画面に切り替える表示切替制御部と、を備えることを特徴とする情報処理装置。
  7. 情報処理装置と通信可能である設定装置であって、
    前記情報処理装置は、
    1つ以上の制御対象に設定された検索キーワードを参照することにより、音声入力により得られる入力データに含まれる1つ以上の主要単語に一致する前記検索キーワードを特定する特定部と、
    前記特定部によって特定された前記検索キーワードが参照されることにより、前記制御対象に設定された1つ以上の前記検索キーワードを一括して数値化する計算式に基づく計算の実行により得られる数値に基づいて、前記制御対象を決定する決定部と、を備え、
    前記設定装置は、
    前記情報処理装置と通信可能である通信部と、
    ユーザによる入力操作に応じて、前記1つ以上の制御対象に前記検索キーワード及び前記計算式を設定する設定部と、を備え、
    前記通信部は、前記設定部によって設定された前記検索キーワード及び前記計算式を前記情報処理装置に送信することを特徴とする設定装置。
  8. ディスプレイと、
    前記設定部によって前記制御対象に設定された前記検索キーワードが参照されることにより、ユーザにより入力されたユーザ入力データに含まれる1つ以上の主要単語に一致する前記検索キーワードが模擬的に特定される処理過程と、前記設定部によって前記制御対象に設定された前記検索キーワードを数値化する前記計算式に基づく計算の実行により得られる数値に基づいて、前記制御対象が模擬的に決定される処理過程と、の少なくとも一方を前記ディスプレイに表示させるシミュレーション部と、をさらに備えることを特徴とする請求項に記載の設定装置。
JP2019209871A 2019-11-20 2019-11-20 情報処理装置及び設定装置 Active JP7335794B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019209871A JP7335794B2 (ja) 2019-11-20 2019-11-20 情報処理装置及び設定装置
US17/006,082 US11847148B2 (en) 2019-11-20 2020-08-28 Information processing device and setting device
CN202010958303.XA CN112825077A (zh) 2019-11-20 2020-09-14 信息处理装置及设定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019209871A JP7335794B2 (ja) 2019-11-20 2019-11-20 情報処理装置及び設定装置

Publications (3)

Publication Number Publication Date
JP2021081622A JP2021081622A (ja) 2021-05-27
JP2021081622A5 JP2021081622A5 (ja) 2022-05-18
JP7335794B2 true JP7335794B2 (ja) 2023-08-30

Family

ID=75907673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019209871A Active JP7335794B2 (ja) 2019-11-20 2019-11-20 情報処理装置及び設定装置

Country Status (3)

Country Link
US (1) US11847148B2 (ja)
JP (1) JP7335794B2 (ja)
CN (1) CN112825077A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022239866A1 (ja) 2021-05-13 2022-11-17 日本製鉄株式会社 ホットスタンプ用鋼板及びホットスタンプ成形品
WO2025104818A1 (ja) * 2023-11-14 2025-05-22 三菱電機株式会社 プログラム、プログラマブル表示器、設定装置及び設定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002586A (ja) 2012-06-19 2014-01-09 Ntt Docomo Inc 機能実行指示システム、機能実行指示方法及び機能実行指示プログラム
JP2017215671A (ja) 2016-05-30 2017-12-07 株式会社トラス 建材選択装置およびプログラム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831204B1 (en) * 1981-11-03 2010-11-09 Personalized Media Communications, Llc Signal processing apparatus and methods
JPH08212242A (ja) * 1995-02-03 1996-08-20 Fujitsu Ltd 画面作成システム
US6223214B1 (en) * 1996-09-06 2001-04-24 Sensiview Corporation Computer implemented virtual sensor object and tangible medium utilizing same
JP4221838B2 (ja) * 1998-09-30 2009-02-12 株式会社セガ ゲーム装置、当り判定方法、及び情報記録媒体
US7334216B2 (en) * 2000-04-04 2008-02-19 Sosy, Inc. Method and apparatus for automatic generation of information system user interfaces
US20020174147A1 (en) * 2000-05-19 2002-11-21 Zhi Wang System and method for transcoding information for an audio or limited display user interface
US20080104571A1 (en) * 2001-02-15 2008-05-01 Denny Jaeger Graphical object programming methods using graphical directional indicators
US7904360B2 (en) * 2002-02-04 2011-03-08 Alexander William EVANS System and method for verification, authentication, and notification of a transaction
US20150135206A1 (en) * 2002-05-10 2015-05-14 Convergent Media Solutions Llc Method and apparatus for browsing using alternative linkbases
JP2004038867A (ja) * 2002-07-08 2004-02-05 Sharp Corp 適応情報出力方法、適応情報出力装置、適応情報出力プログラム、および適応情報出力プログラムを記録した記録媒体
US7234094B2 (en) * 2003-09-30 2007-06-19 Sudhir Dattaram Kadkade Automaton synchronization during system verification
US10002325B2 (en) * 2005-03-30 2018-06-19 Primal Fusion Inc. Knowledge representation systems and methods incorporating inference rules
US8849860B2 (en) * 2005-03-30 2014-09-30 Primal Fusion Inc. Systems and methods for applying statistical inference techniques to knowledge representations
JP4576307B2 (ja) * 2005-09-12 2010-11-04 株式会社日立ハイテクノロジーズ 自動分析装置
EP2008193B1 (en) * 2006-04-05 2012-11-28 Canyon IP Holdings LLC Hosted voice recognition system for wireless devices
US20150363478A1 (en) * 2008-07-11 2015-12-17 Michael N. Haynes Systems, Devices, and/or Methods for Managing Data
US8599836B2 (en) * 2010-01-27 2013-12-03 Neobitspeak LLC Web-based, hosted, self-service outbound contact center utilizing speaker-independent interactive voice response and including enhanced IP telephony
US20110302551A1 (en) * 2010-06-02 2011-12-08 Hummel Jr David Martin System and method for analytic process design
US9483459B1 (en) * 2012-03-31 2016-11-01 Google Inc. Natural language correction for speech input
US20140180595A1 (en) * 2012-12-26 2014-06-26 Fitbit, Inc. Device state dependent user interface management
JP2015531909A (ja) * 2012-07-20 2015-11-05 インタートラスト テクノロジーズ コーポレイション 情報ターゲティングシステムおよび方法
US20140180798A1 (en) * 2012-12-26 2014-06-26 Richrelevance, Inc. Contextual selection and display of information
US10551999B2 (en) * 2014-03-26 2020-02-04 Unanimous A.I., Inc. Multi-phase multi-group selection methods for real-time collaborative intelligence systems
JP6418820B2 (ja) 2014-07-07 2018-11-07 キヤノン株式会社 情報処理装置、表示制御方法、及びコンピュータプログラム
JP6507579B2 (ja) * 2014-11-10 2019-05-08 ヤマハ株式会社 音声合成方法
US20170068986A1 (en) * 2015-09-03 2017-03-09 Duolingo, Inc. Interactive sponsored exercises
US10089965B1 (en) * 2015-09-15 2018-10-02 Simbulus, lnc. User-controlled movement of graphical objects
JP2017142610A (ja) * 2016-02-09 2017-08-17 株式会社リコー サーバ装置、伝送システム及びプログラム
US20170315849A1 (en) * 2016-04-29 2017-11-02 Microsoft Technology Licensing, Llc Application target event synthesis
US10670421B2 (en) * 2016-05-11 2020-06-02 Ricoh Company, Ltd. Apparatus, system, and method of information sharing, and recording medium
US9558265B1 (en) * 2016-05-12 2017-01-31 Quid, Inc. Facilitating targeted analysis via graph generation based on an influencing parameter
US9710544B1 (en) * 2016-05-19 2017-07-18 Quid, Inc. Pivoting from a graph of semantic similarity of documents to a derivative graph of relationships between entities mentioned in the documents
JP6964989B2 (ja) * 2017-02-09 2021-11-10 キヤノン株式会社 制御方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体
JP6906345B2 (ja) 2017-04-03 2021-07-21 三菱電機株式会社 操作装置および操作方法
JP7325173B2 (ja) * 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
US10978046B2 (en) * 2018-10-15 2021-04-13 Midea Group Co., Ltd. System and method for customizing portable natural language processing interface for appliances
US10904029B2 (en) * 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002586A (ja) 2012-06-19 2014-01-09 Ntt Docomo Inc 機能実行指示システム、機能実行指示方法及び機能実行指示プログラム
JP2017215671A (ja) 2016-05-30 2017-12-07 株式会社トラス 建材選択装置およびプログラム

Also Published As

Publication number Publication date
US11847148B2 (en) 2023-12-19
JP2021081622A (ja) 2021-05-27
US20210149938A1 (en) 2021-05-20
CN112825077A (zh) 2021-05-21

Similar Documents

Publication Publication Date Title
CN107544437B (zh) 加工程序编辑装置、方法以及存储介质
KR102553315B1 (ko) 프로그램 생성 장치, 프로그램 생성 장치의 제어 방법, 제어 프로그램, 및 기록 매체
CN116438493B (zh) 工业自动化系统中的数据提取
JP7335794B2 (ja) 情報処理装置及び設定装置
US20160125037A1 (en) Information processing apparatus, information processing method, information processing program, and storage medium
US9052706B2 (en) Device information display apparatus, storage device storing device information display program, and device information display method
JP5413286B2 (ja) Nc工作機械
CN101198957A (zh) 与三维几何体相关的参数模型的生成方法和设备
JP7205007B1 (ja) 支援装置、操作システム、表示データ作成装置、支援方法、表示データ作成方法、支援プログラム及び表示データ作成プログラム
CN113485782B (zh) 页面数据获取方法、装置、电子设备及介质
JP2003167600A (ja) 音声認識装置及び方法、ページ記述言語表示装置及びその制御方法、並びにコンピュータ・プログラム
JP2006053745A (ja) データ処理方法及びその装置、及びそのプログラム
JP7276581B2 (ja) プログラム生成装置、プログラム生成装置の制御方法、制御プログラム、および記録媒体。
CN117894308A (zh) 一种语音交互方法和电子设备
JP7747882B2 (ja) 画面作成システム、及び画面作成方法
CN115335782A (zh) 编程辅助程序、编程辅助装置及编程辅助方法
JP7804070B2 (ja) シーケンスプログラム表示装置、及びシーケンスプログラム表示方法
CN108573685A (zh) 画面制作装置、模拟装置以及记录媒体
CN119248243B (zh) 代码推荐方法、装置、设备及介质
CN119811367B (zh) 自适应语音识别切换方法、装置、存储介质、程序产品
JP7627148B2 (ja) シミュレーション装置
CN119557400A (zh) 内容生成方法、装置、电子设备、介质及程序产品
US9881117B1 (en) Predictive circuit design for integrated circuits
WO2024181125A1 (ja) 解析装置、解析方法及びプログラム
KR20250144184A (ko) 생성형 ai를 이용한 디자인 변경 방법 및 그 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230818

R150 Certificate of patent or registration of utility model

Ref document number: 7335794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150