JP7697289B2 - Generation method and generation program - Google Patents
Generation method and generation program Download PDFInfo
- Publication number
- JP7697289B2 JP7697289B2 JP2021106376A JP2021106376A JP7697289B2 JP 7697289 B2 JP7697289 B2 JP 7697289B2 JP 2021106376 A JP2021106376 A JP 2021106376A JP 2021106376 A JP2021106376 A JP 2021106376A JP 7697289 B2 JP7697289 B2 JP 7697289B2
- Authority
- JP
- Japan
- Prior art keywords
- anonymous
- image
- parts
- unit
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、生成方法等に関する。 The present invention relates to a production method, etc.
アプリケーションソフトウェア（以下、アプリ）やシステムに対して様々な評価が行われている。たとえば、アプリやシステムが、ユーザ端末からアクセスを受け付けた場合に、ユーザ端末に表示する画面のスクリーンショットや、キャプチャ画像等を取得して、ＵＩ（User Interface）評価を行う場合がある。以下の説明では、スクリーンショット、キャプチャ画像等を「ＵＩ画像」と表記する。 Various evaluations are performed on application software (hereafter referred to as apps) and systems. For example, when an app or system receives access from a user terminal, a UI (User Interface) evaluation may be performed by taking screenshots or capture images of the screen displayed on the user terminal. In the following explanation, screenshots, capture images, etc. are referred to as "UI images."
ユーザ端末のＵＩ画像を取得する場合、ユーザにＵＩ画像を取得してもらい、サーバへのアップロードを依頼する手法や、アプリやシステム自体に、ＵＩ画像を取得するためのログ収集機能を組み入れる手法等が用いられている。 When acquiring UI images from a user's device, methods that are used include having the user acquire the UI images and uploading them to a server, or incorporating a log collection function for acquiring UI images into the app or system itself.
ここで、ユーザ端末の画面に表示された文字列や写真等の画像に、各種の個人情報が含まれる場合、ＵＩ画像を一部匿名化したいという要件がある。 Here, if various personal information is included in images such as text and photos displayed on the screen of a user terminal, there is a requirement to anonymize part of the UI image.
たとえば、画像を匿名化する従来技術として、ユーザが手動で匿名化を行うことを支援する従来技術、アプリ、システム自体に匿名化機能を内包する従来技術、自動で秘匿領域を検出し、秘匿領域のみを匿名化する従来技術がある。 For example, conventional techniques for anonymizing images include techniques that assist users in manually anonymizing images, techniques that include anonymization functions in the app or system itself, and techniques that automatically detect hidden areas and anonymize only the hidden areas.
しかしながら、上述した従来技術では、個人情報の漏洩を防止することができないという問題がある。 However, the above-mentioned conventional technology has the problem that it is not possible to prevent the leakage of personal information.
たとえば、手動で匿名化を行うことは、人為的ミスにより、個人情報が漏洩する場合があり、ユーザにかかる負担も大きい。アプリやシステム自体に、ログ収集機能を組み入れる場合には、汎用性が低く、個人情報が漏洩する場合がある。 For example, performing anonymization manually can result in personal information being leaked due to human error, and places a heavy burden on users. If a log collection function is built into the app or system itself, it is not very versatile and can result in personal information being leaked.
自動で秘匿領域を検出して、秘匿領域のみを匿名化する技術であっても、秘匿領域の検出漏れが生じた場合に、個人情報が漏洩してしまう。 Even if the technology automatically detects hidden areas and anonymizes only those areas, personal information may be leaked if the hidden areas are not detected.
図１６は、従来技術の問題を説明するための図である。図１６において、従来技術では、ＵＩ画像１０に対して、秘匿領域検出処理を実行し、領域１０ａ，１０ｂを、秘匿領域として判定しているが、本来秘匿領域と判定するべき領域１０ｃを秘匿領域から除外している。
Figure 16 is a diagram for explaining the problems with the conventional technology. In Figure 16, in the conventional technology, a hidden area detection process is performed on a
従来技術では、上記の秘匿領域検出処理の結果を基にして、匿名ＵＩ画像１１を生成する。たとえば、秘匿領域として判定した領域１０ａ、１０ｂを黒塗りすることで、匿名化処理を実行し、匿名ＵＩ画像１１を生成する。しかし、匿名ＵＩ画像１１では、領域１１ａにメールアドレスが残っており、匿名化に失敗している。
In the prior art, an
１つの側面では、本発明は、個人情報の漏洩を防止することができる生成方法および生成プログラムを提供することを目的とする。 In one aspect, the present invention aims to provide a generation method and a generation program that can prevent the leakage of personal information.
第１の案では、コンピュータは、次の処理を実行する。コンピュータは、第１画像に含まれる第１部品を記憶装置に記憶しておく。コンピュータは、画面に対する画像の取得操作に応じて取得された第２画像に含まれる第２部品に類似する第１部品を、記憶装置に記憶された第１部品から特定する。コンピュータは、特定した第１部品の大きさを、類似する第２部品の大きさに調整する。コンピュータは、調整した第１部品を、類似する第２部品の配置位置に合わせて配置した第３画像を生成する。 In the first proposal, the computer executes the following process. The computer stores a first part included in a first image in a storage device. The computer identifies a first part from the first parts stored in the storage device that is similar to a second part included in a second image acquired in response to an image acquisition operation on the screen. The computer adjusts the size of the identified first part to the size of a similar second part. The computer generates a third image in which the adjusted first part is positioned to match the position of the similar second part.
個人情報の漏洩を防止することができる。 This can prevent the leakage of personal information.
以下に、本願の開示する生成方法および生成プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。 Below, examples of the generation method and generation program disclosed in the present application are described in detail with reference to the drawings. Note that the present invention is not limited to these examples.
本実施例に係るシステムの一例について説明する。図１は、本実施例に係るシステムを示す図である。図１に示すように、このシステムは、サーバ５０と、生成装置１００とを有する。サーバ５０と、生成装置１００とは、ネットワーク５を介して接続される。
An example of a system according to this embodiment will be described. FIG. 1 is a diagram showing a system according to this embodiment. As shown in FIG. 1, this system has a
サーバ５０は、生成装置１００からアクセスを受け付けた場合に、生成装置１００に画面情報を生成し、画面情報を表示させる。なお、サーバ５０側で描画するようなシステムに限定されるものではなく、クライアント単体で動作する通常のアプリケーションプログラム等が画面情報を生成してもよい。
When the
生成装置１００は、サーバ５０から受信した画面情報を表示装置の画面に表示させる。生成装置１００は、ユーザから、画面に表示しているスクリーンショットの取得操作を受け付けた場合に、匿名ＵＩ画像を生成し、生成した匿名ＵＩ画像の情報を、サーバ５０に送信する。たとえば、生成装置１００は、ＰＣ（Personal Computer）、ノートＰＣ、スマートフォン、タブレット端末等の端末装置に対応する。
The generating device 100 displays the screen information received from the
図２は、本実施例に係る生成装置の処理の一例を説明するための図である。生成装置１００は、匿名ＵＩモデル６０を保持しておく。匿名ＵＩモデル６０には、匿名ＵＩ部品６０ａ，６０ｂが含まれる。匿名ＵＩモデル６０は、マニュアル画像を基に事前に生成されており、個人情報を含まない。生成装置１００は、匿名ＵＩモデル６０の情報を、予めサーバ５０から取得しておいてもよいし、生成装置１００がマニュアル画像を基に生成しておいてもよい。個人情報は、特定の個人を特定可能な文字列、画像等に対応する。
FIG. 2 is a diagram for explaining an example of processing of the generating device according to the present embodiment. The generating device 100 holds an
生成装置１００は、ユーザから、画面に表示しているスクリーンショットの取得操作を受け付けた場合に、オリジナルＵＩ画像１２を生成する。オリジナルＵＩ画像１２には、ユーザの個人情報が含まれている場合がある。
When the generating device 100 receives an operation from a user to capture a screenshot of the image displayed on the screen, it generates an
生成装置１００は、オリジナルＵＩ画像１２に含まれるＵＩ部品１２ａ，１２ｂに類似するＵＩ部品を、匿名ＵＩモデル６０の匿名ＵＩ部品６０ａ，６０ｂから特定する。たとえば、生成装置１００は、匿名ＵＩ部品６０ａ，６０ｂの位置、大きさを変えて、マッチングを行い、ＵＩ部品１２ａ，１２ｂに類似する匿名ＵＩ部品を特定する。
The generating device 100 identifies UI parts similar to the
図２に示す例では、生成装置１００は、ＵＩ部品１２ａに類似する匿名ＵＩ部品として、匿名ＵＩ部品６０ａを特定する。生成装置１００は、ＵＩ部品１２ｂに類似する匿名ＵＩ部品として、匿名ＵＩ部品６０ｂを特定する。生成装置１００は、マッチング結果を基にして、メタデータ７０を生成する。
In the example shown in FIG. 2, the generating device 100 identifies an
メタデータ７０は、匿名ＵＩ部品を配置する位置と、匿名ＵＩ部品の大きさを定義する情報である。生成装置１００は、メタデータ７０を基にして、匿名ＵＩ部品６０ａ，６０ｂの大きさ、配置位置を調整し、匿名ＵＩ画像１３を生成する。匿名ＵＩ画像１３には、匿名ＵＩ部品６０ａに対応する匿名ＵＩ部品１３ａ、匿名ＵＩ部品６０ｂに対応する匿名ＵＩ部品１３ｂが含まれる。
The
上記のように、本実施例に係る生成装置１００は、個人情報を含むオリジナルＵＩ画像１２のＵＩ部品と類似するＵＩ部品を、匿名ＵＩモデル６０に含まれる匿名ＵＩ部品から選択し、選択した匿名ＵＩ部品を、メタデータ７０に応じて、調整、配置する。このように、個人情報を含まない匿名ＵＩモデル６０の匿名ＵＩ部品のみを用いて、匿名ＵＩ画像１３を生成するため、個人情報の漏洩を防止することができる。
As described above, the generating device 100 according to this embodiment selects UI parts similar to UI parts of the
次に、図１に示した生成装置１００の構成の一例について説明する。図３は、本実施例に係る生成装置の構成を示す機能ブロック図である。図３に示すように、この生成装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。
Next, an example of the configuration of the generating device 100 shown in FIG. 1 will be described. FIG. 3 is a functional block diagram showing the configuration of the generating device according to this embodiment. As shown in FIG. 3, the generating device 100 has a communication unit 110, an
通信部１１０は、ネットワーク５を介して接続されたサーバ５０との間で、各種の情報を送受信する通信インタフェースである。通信部１１０は、ＮＩＣ（Network Interface Card）等で実現される。通信部１１０は、サーバ５０から、画面情報等を受信する。
The communication unit 110 is a communication interface that transmits and receives various information to and from the
入力部１２０は、生成装置１００のユーザからの各種操作を受け付ける入力インタフェースである。例えば、キーボードやマウス等の入力デバイスによって構成される。たとえば、ユーザは、入力部１２０を操作して、スクリーンショットの取得操作等を行う。
The
表示部１３０は、制御部１５０から取得した情報を出力する出力デバイスであり、液晶ディスプレイなどの表示装置等によって実現される。たとえば、表示部１３０は、制御部１５０から出力される画面情報を表示する。
The
記憶部１４０は、匿名ＵＩモデル６０、メタデータテーブル１４１、匿名ＵＩ画像１４２を有する。記憶部１４０は、たとえば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
The storage unit 140 has an
匿名ＵＩモデル６０は、個人情報を有さないマニュアル画像等のＵＩ画像から抽出した複数の匿名ＵＩ部品を有する。図４は、本実施例に係る匿名ＵＩモデルを説明するための図である。図４に示す例では、匿名ＵＩモデル６０は、ＵＩ画像１５から検出された匿名ＵＩ部品６０ａ，６０ｂ，６０ｃ，６０ｄを含む。
The
匿名ＵＩ部品６０ａは、ＵＩ画像１５の文字列の領域１５ａに対応する部品である。匿名ＵＩ部品６０ｂは、ＵＩ画像１５の領域１５ｂに対応する部品である。匿名ＵＩ部品６０ｃは、ＵＩ画像１５の領域１５ｃに対応する部品である。匿名ＵＩ部品６０ｄは、ＵＩ画像１５の領域１５ｄのボタンに対応する部品である。図示を省略するが、各匿名ＵＩ部品６０ａ～６０ｄには、匿名ＵＩ部品を一意に特定する部品識別情報、匿名ＵＩ部品の大きさを示す情報が付与される。
メタデータテーブル１４１には、複数のメタデータが格納される。図５は、本実施例に係るメタデータテーブルのデータ構造の一例を示す図である。図５に示すように、このメタデータテーブル１４１は、部品識別情報、配置位置、大きさを有する。部品識別情報は、匿名ＵＩ部品を一意に識別する情報である。配置位置は、匿名ＵＩ部品を、匿名ＵＩ画像１４２に配置する場合の位置（２次元座標）を示す。大きさは、匿名ＵＩ部品を、匿名ＵＩ画像１４２に配置する場合の匿名ＵＩ部品の大きさ（幅、高さ）を示す。
The metadata table 141 stores multiple pieces of metadata. FIG. 5 is a diagram showing an example of the data structure of a metadata table according to this embodiment. As shown in FIG. 5, this metadata table 141 has part identification information, placement position, and size. The part identification information is information that uniquely identifies an anonymous UI part. The placement position indicates the position (two-dimensional coordinates) of the anonymous UI part when it is placed in the
匿名ＵＩ画像１４２は、後述する制御部１５０の処理によって生成されるＵＩ画像である。
The
制御部１５０は、表示制御部１５１、モデル生成部１５２、特定部１５３、生成部１５４、送信部１５５を有する。制御部１５０は、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）により実現される。また、制御部１５０は、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実行されてもよい。
The
表示制御部１５１は、各種の画面情報を表示部１３０に表示させる。たとえば、表示制御部１５１は、サーバ５０から、画面情報を取得した場合には、取得した画面情報を表示部１３０に出力して表示させる。
The display control unit 151 causes various types of screen information to be displayed on the
また、表示制御部１５１は、入力部１２０を操作するユーザから、スクリーンショット等のＵＩ画像の取得操作を受け付けた場合には、表示部１３０に表示されている画面のＵＩ画像（オリジナルＵＩ画像）を生成する。表示制御部１５１は、生成したオリジナルＵＩ画像を、特定部１５３に出力する。
When the display control unit 151 receives an operation to acquire a UI image such as a screenshot from the user operating the
モデル生成部１５２は、事前に指定されるマニュアル画像等のＵＩ画像を基にして、匿名ＵＩモデル６０を生成する。モデル生成部１５２の処理を、図４を用いて説明する。モデル生成部１５２は、ＵＩ画像１５を走査して、ＵＩ部品の領域１５ａ，１５ｂ，１５ｃ，１５ｄを特定する。モデル生成部１５２は、特定した領域１５ａ，１５ｂ，１５ｃ，１５ｄの画像を、匿名ＵＩ部品として検出し、検出した匿名ＵＩ部品に、部品識別番号を割り当てる。モデル生成部１５２は、部品識別番号、匿名ＵＩ部品（匿名ＵＩ部品の画像）、匿名ＵＩ部品の大きさ（幅、高さ）を対応付けて、匿名ＵＩモデル６０に登録する。
The
特定部１５３は、オリジナルＵＩ画像に含まれるＵＩ部品に類似する匿名ＵＩ部品を、匿名ＵＩモデル６０の匿名ＵＩ部品から特定する。特定部１５３は、特定した結果を基にして、メタデータを生成し、生成したメタデータをメタデータテーブル１４１に登録する。
The identification unit 153 identifies anonymous UI parts similar to UI parts included in the original UI image from the anonymous UI parts in the
図６は、本実施例に係る特定部の処理を説明するための図（１）である。特定部１５３は、オリジナルＵＩ画像２０を走査して、ＵＩ部品の領域２０ａ，２０ｂ，２０ｃ，２０ｄを検出する。ここでは一例として、特定部１５３が、匿名ＵＩ部品６０ｂを選択し、匿名ＵＩ部品６０ｂの大きさを変えて、オリジナルＵＩ画像２０の各領域２０ａ～２０ｄとのマッチングを行う場合について説明する。
Figure 6 is a diagram (1) for explaining the processing of the identification unit according to this embodiment. The identification unit 153 scans the
特定部１５３は、匿名ＵＩ部品６０ｂの大きさの初期値をα倍することで、匿名ＵＩ部品６０ｂの大きさを調整する。特定部１５３は、大きさを調整した匿名ＵＩ部品６０ｂの大きさと、領域２０ａ～２０ｄの大きさとの差分を算出し、差分の絶対値が閾値未満となる領域が存在する場合に、かかる領域と、匿名ＵＩ部品６０ｂとを対応付ける。
The identification unit 153 adjusts the size of the
特定部１５３は、αの値を変更しつつ、上記処理を実行することで、マッチングを行う。かかる処理により、たとえば、領域２０ｂと、匿名ＵＩ部品６０ｂとが対応付けられる。この場合、特定部１５３は、メタデータ１４１－１を生成する。
The identification unit 153 performs matching by executing the above process while changing the value of α. Through this process, for example, the
特定部１５３は、メタデータ１４１－１の部品識別情報として、匿名ＵＩ部品６０ｂの部品識別情報を設定する。特定部１５３は、配置位置として、マッチングした領域２０ｂの座標（たとえば、中心座標、左上点の座標等）を設定する。特定部１５３は、大きさとして、匿名ＵＩ部品６０ｂの初期値と、マッチングした際のαの値と乗算した値を設定する。特定部１５３は、メタデータ１４１－１を、メタデータテーブル１４１に登録する。
The identification unit 153 sets the component identification information of the
なお、特定部１５３は、上記処理を繰り返しても、差分の絶対値が閾値未満となる領域が存在しない場合には、匿名ＵＩ部品６０ｂに対応する領域がないものと判定する。
If there is no area where the absolute value of the difference is less than the threshold value even after repeating the above process, the identification unit 153 determines that there is no area corresponding to the
特定部１５３は、匿名ＵＩモデル６０の他の匿名ＵＩ部品６０ａ～６０ｄについて、上記処理を繰り返し実行し、メタデータを生成する。
The identification unit 153 repeatedly executes the above process for other
図３の説明に戻る。生成部１５４は、メタデータテーブル１４１を基にして、匿名ＵＩ部品の大きさを調整し、配置することで、匿名ＵＩ画像１４２を生成する。生成部１５４は、生成した匿名ＵＩ画像１４２を、記憶部１４０に記憶する。
Returning to the explanation of FIG. 3, the
図７は、本実施例に係る生成部の処理を説明するための図（１）である。生成部１５４は、メタデータテーブル１４１から、メタデータを選択し、選択したメタデータに設定された部品識別情報に対応する匿名ＵＩ部品を、匿名ＵＩモデル６０から取得する。生成部１５４は、メタデータに設定された大きさに、取得した匿名ＵＩ部品を調整する。生成部１５４は、メタデータに設定された配置位置に、調整した匿名ＵＩ部品を配置する。
Figure 7 is a diagram (1) for explaining the processing of the generation unit according to this embodiment. The
たとえば、匿名ＵＩ部品６０ｂに対応するメタデータ１４１－１を用いて説明を行う。生成部１５４は、メタデータ１４１－１の部品識別情報に対応する匿名ＵＩ部品６０ｂを、匿名ＵＩモデル６０から取得する。生成部１５４は、匿名ＵＩ部品６０ｂの大きさを（ｗ１，ｈ１）に調整することで、匿名ＵＩ部品２５ｂを生成する。生成部１５４は、匿名ＵＩ部品２５ｂ（匿名ＵＩ部品２５ｂの中心座標）を、匿名ＵＩ画像１４２の配置位置（ｘ１，ｙ１）に配置する。
For example, the explanation will be given using metadata 141-1 corresponding to
生成部１５４は、メタデータテーブル１４１の他のメタデータについても上記処理を実行することで、匿名ＵＩ部品６０ａ，６０ｃ，６０ｄに対応する、大きさを調整した匿名ＵＩ部品２５ａ，２５ｃ，２５ｄを生成し、匿名ＵＩ画像１４２に配置する。なお、生成部１５４は、匿名ＵＩ画像１４２の大きさを、図６で説明したオリジナルＵＩ画像２０の大きさと同一にする。
The
続いて、図６のオリジナルＵＩ画像２０とは異なるオリジナルＵＩ画像２１に対する特定部１５３、生成部１５４の処理について説明する。図８は、本実施例に係る特定部の処理を説明するための図（２）である。特定部１５３は、オリジナルＵＩ画像２１を走査して、ＵＩ部品の領域２１ａ，２１ｂ，２１ｃを検出する。特定部１５３は、図６で説明した場合と同様にして、匿名ＵＩモデル６０の匿名ＵＩ部品６０ａ～６０ｄと、オリジナルＵＩ画像２１の領域２１ａ，２１ｂ，２１ｃとのマッチングを行い、メタデータを生成し、メタデータテーブル１４１に登録する。
Next, the processing of the identification unit 153 and the
図８に示す例では、匿名ＵＩ部品６０ａと領域２１ａとが対応し、匿名ＵＩ部品６０ｂと領域２１ｂとが対応し、匿名ＵＩ部品６０ｃと領域２１ｃとが対応するが、匿名ＵＩ部品６０ｄに対応するする対象が存在しない。この場合、特定部１５３は、匿名ＵＩ部品６０ａに対応するメタデータ１４１－１´、匿名ＵＩ部品６０ｂに対応するメタデータ１４１－１´、匿名ＵＩ部品６０ｃに対応するメタデータ１４１－３´を、メタデータテーブル１４１に登録する。
In the example shown in FIG. 8,
図９は、本実施例に係る生成部の処理を説明するための図（２）である。生成部１５４は、図７で説明した場合と同様にして、メタデータテーブル１４１から、メタデータを選択し、匿名ＵＩ部品を、匿名ＵＩ画像１４２に配置していく。
Figure 9 is a diagram (2) for explaining the processing of the generation unit according to this embodiment. The
生成部１５４は、メタデータ１４１－１´を選択して、メタデータ１４１－１´の部品識別情報に対応する匿名ＵＩ部品６０ａを、匿名ＵＩモデル６０から取得する。生成部１５４は、匿名ＵＩ部品６０ａの大きさを（ｗ１´，ｈ１´）に調整することで、匿名ＵＩ部品２６ａを生成する。生成部１５４は、匿名ＵＩ部品２６ａ（匿名ＵＩ部品２６ａの中心座標）を、匿名ＵＩ画像１４２の配置位置（ｘ１´，ｙ１´）に配置する。
The
生成部１５４は、メタデータテーブル１４１の他のメタデータについても上記処理を実行することで、匿名ＵＩ部品６０ｂ，６０ｃに対応する、大きさを調整した匿名ＵＩ部品２６ａ，２６ｃを生成し、匿名ＵＩ画像１４２に配置する。図９の匿名ＵＩ画像１４２では、匿名ＵＩ部品６０ｄに対応するＵＩ部品が、匿名ＵＩ画像１４２に配置されておらず、図８のオリジナルＵＩ画像２１で、保存ボタンが配置されていないことを再現している。
The
続いて、オリジナルＵＩ画像２０，２１とは異なるオリジナルＵＩ画像２２に対する特定部１５３、生成部１５４の処理について説明する。図１０は、本実施例に係る特定部の処理を説明するための図（３）である。図１０で説明する例では、匿名ＵＩモデル６０に、匿名ＵＩ部品６０ａ，６０ｂ，６０ｃ，６０ｄ，６０ｅが含まれものとする。特定部１５３は、匿名ＵＩモデル６０の匿名ＵＩ部品６０ａ～６０ｅと、オリジナルＵＩ画像２２の領域２２ａ，２２ｂ，２２ｃ，２２ｄとのマッチングを行い、メタデータを生成し、メタデータテーブル１４１に登録する。
Next, the processing of the identification unit 153 and the
図１０に示す例では、匿名ＵＩ部品６０ｅと領域２２ａとが対応し、匿名ＵＩ部品６０ｂと領域２２ｂとが対応し、匿名ＵＩ部品６０ｃと領域２２ｃとが対応し、匿名ＵＩ部品６０ｄと領域２２ｄとが対応する。なお、匿名ＵＩ部品６０ａに対応するする対象は、オリジナルＵＩ画像２２には存在しないものとする。この場合、特定部１５３は、匿名ＵＩ部品６０ｅに対応するメタデータ１４１－１´´、匿名ＵＩ部品６０ｂに対応するメタデータ１４１－２´´を、メタデータテーブル１４１に登録する。また、特定部１５３は、匿名ＵＩ部品６０ｃに対応するメタデータ１４１－３´´、メタデータ１４１－４´´を、メタデータテーブル１４１に登録する。
In the example shown in FIG. 10,
図１１は、本実施例に係る生成部の処理を説明するための図（３）である。生成部１５４は、図７で説明した場合と同様にして、メタデータテーブル１４１から、メタデータを選択し、匿名ＵＩ部品を、匿名ＵＩ画像１４２に配置していく。
Figure 11 is a diagram (3) for explaining the processing of the generation unit according to this embodiment. The
生成部１５４は、メタデータ１４１－１´´を選択して、メタデータ１４１－１´´の部品識別情報に対応する匿名ＵＩ部品６０ｅを、匿名ＵＩモデル６０から取得する。生成部１５４は、匿名ＵＩ部品６０ｅの大きさを（ｗ１´´，ｈ１´´）に調整することで、匿名ＵＩ部品２７ａを生成する。生成部１５４は、匿名ＵＩ部品２７ａ（匿名ＵＩ部品２７ａの中心座標）を、匿名ＵＩ画像１４２の配置位置（ｘ１´´，ｙ１´´）に配置する。
The
生成部１５４は、メタデータテーブル１４１の他のメタデータについても上記処理を実行することで、匿名ＵＩ部品６０ｂ，６０ｃ，６０ｄに対応する、大きさを調整した匿名ＵＩ部品２７ｂ，２７ｃ、２７ｄを生成し、匿名ＵＩ画像１４２に配置する。これによって、ユーザ情報設定画面等で、内部エラーが発生したことを匿名ＵＩ画像１４２によって再現することができる。
The
送信部１５５は、記憶部１４０に記憶された匿名ＵＩ画像１４２を、サーバ５０に送信する。
The
次に、本実施例に係る生成装置１００の処理手順の一例について説明する。図１２は、本実施例に係る生成装置の処理手順を示すフローチャートである。生成装置１００の表示制御部１５１は、入力部１２０を介して、ＵＩ画像の取得操作を受け付けた場合に、オリジナルＵＩ画像を生成する（ステップＳ１０１）。なお、ステップＳ１０１において、生成装置１００は、ユーザ操作ではない場合でも、エラー発生時、タイマー起動、サーバからの起動命令をトリガーとして、オリジナルＵＩ画像を生成してもよい。生成装置１００の特定部１５３は、匿名ＵＩモデル６０から、匿名ＵＩ部品を選択する（ステップＳ１０２）。
Next, an example of the processing procedure of the generating device 100 according to this embodiment will be described. FIG. 12 is a flowchart showing the processing procedure of the generating device according to this embodiment. When the display control unit 151 of the generating device 100 receives an operation to obtain a UI image via the
特定部１５３は、オリジナルＵＩ画像のＵＩ部品の領域と、匿名ＵＩ部品とをマッチングする（ステップＳ１０３）。特定部１５３は、マッチング結果を基にして、メタデータを生成し、メタデータテーブル１４１に登録する（ステップＳ１０４）。 The identification unit 153 matches the area of the UI parts in the original UI image with the anonymous UI parts (step S103). The identification unit 153 generates metadata based on the matching result and registers it in the metadata table 141 (step S104).
特定部１５３は、未選択の匿名ＵＩ部品が存在する場合には（ステップＳ１０５，Ｙｅｓ）、ステップＳ１０２に移行する。一方、特定部１５３は、未選択の匿名ＵＩ部品が存在しない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０６に移行する。 If there is an unselected anonymous UI component (step S105, Yes), the identification unit 153 proceeds to step S102. On the other hand, if there is no unselected anonymous UI component (step S105, No), the identification unit 153 proceeds to step S106.
生成装置１００の生成部１５４は、メタデータテーブル１４１から、メタデータを選択する（ステップＳ１０６）。生成部１５４は、メタデータに基づいて、匿名ＵＩ部品の大きさを調整し、匿名ＵＩ部品を配置する（ステップＳ１０７）。
The
生成部１５４は、未選択のメタデータが存在する場合には（ステップＳ１０８，Ｙｅｓ）、ステップＳ１０６に移行する。一方、未選択のメタデータが存在しない場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１０９に移行する。生成装置１００の送信部１５５は、匿名ＵＩ画像１４２をサーバ５０に送信する（ステップＳ１０９）。
If there is unselected metadata (step S108, Yes), the
次に、本実施例に係る生成装置１００の効果について説明する。生成装置１００は、個人情報を含むオリジナルＵＩ画像のＵＩ部品と類似するＵＩ部品を、匿名ＵＩモデル６０に含まれる匿名ＵＩ部品から選択し、選択した匿名ＵＩ部品を、類似するＵＩ部品を基にして、調整、配置する。このように、個人情報を含まない匿名ＵＩモデル６０の匿名ＵＩ部品のみを用いて、匿名ＵＩ画像１４２を生成するため、個人情報（個人情報等の秘匿したい情報全般）の漏洩を防止することができる。たとえば、個人を特定できる情報のみならず、利用者が入力領域に入力した情報の漏洩を防止することができる。
Next, the effects of the generating device 100 according to this embodiment will be described. The generating device 100 selects UI parts similar to UI parts of an original UI image containing personal information from the anonymous UI parts included in the
たとえば、生成装置１００は、オリジナルＵＩ画像に含まれるＵＩ部品に対して検出漏れが発生しても、個人情報の漏洩は発生しない。図１３は、本実施例に係る生成装置の検出漏れ時の挙動を説明するための図である。図１３に示すように、特定部１５３が、オリジナルＵＩ画像２０に含まれる各ＵＩ部品の領域２０ａ～２０ｄについて、領域２０ａ，２０ｂのＵＩ部品に関するマッチングに失敗し、領域２０ｃ，２０ｄに対するＵＩ部品のマッチングに成功したものとする。この場合には、ＵＩ部品の領域２０ｃ、２０ｄに対応する匿名ＵＩ部品のメタデータ７０が生成される。なお、ここで、個人情報とは、個人を特定できる情報のみならず、利用者が入力領域に入力した情報も含まれる。
For example, even if the generating device 100 fails to detect a UI part included in an original UI image, no personal information is leaked. FIG. 13 is a diagram for explaining the behavior of the generating device according to this embodiment when a detection fails. As shown in FIG. 13, it is assumed that the identifying unit 153 fails to match the UI parts in
生成部１５４が、メタデータ７０を基にして、匿名ＵＩ画像１４２を生成すると、メタデータ７０に対応する匿名ＵＩ部品２８ａ，２８ｂのみが配置される。匿名ＵＩ画像１４２には、検出漏れしたＵＩ部品の領域２０ａ，２０ｂ自体が消失し、個人情報の漏洩は発生しない。一方、従来技術では、図１６で説明したように、秘匿領域の検出に失敗すると、個人情報が漏洩する場合がある。
When the
ところで、上述した生成装置１００の処理は一例であり、生成装置１００は、その他の処理を実行してもよい。以下において、生成装置１００のその他の処理について説明する。 However, the above-described processing of the generating device 100 is just an example, and the generating device 100 may execute other processing. The other processing of the generating device 100 will be described below.
図１４は、生成装置のその他の処理を説明するための図である。たとえば、図１０および図１１で説明したように、生成装置１００の生成部１５４は、オリジナルＵＩ画像２２から、匿名ＵＩ画像１４２を生成する。ここで、生成部１５４は、匿名ＵＩ画像１４２を、表示部１３０に出力して匿名ＵＩ画像１４２を表示させる。
Figure 14 is a diagram for explaining other processing of the generating device. For example, as described in Figures 10 and 11, the generating
ユーザは、表示部１３０に表示された匿名ＵＩ画像１４２を参照し、入力部１２０を操作して、匿名化を解除するＵＩ部品を選択する。生成部１５４は、匿名化を解除する指定を受け付けたＵＩ部品の匿名化を解除する。たとえば、生成部１５４は、匿名ＵＩ画像１４２の匿名ＵＩ部品２７ａの選択を受け付けた場合には、オリジナルＵＩ画像２２のＵＩ部品（領域２２ａの画像）を、匿名ＵＩ部品２７ａと置き換えることで、匿名ＵＩ画像１４２´を生成する。匿名ＵＩ画像１４２´を生成することで、エラーレポート提出時等に、該当エラー箇所を明示的に公開することができる。
The user refers to the
また、生成装置の特定部１５３は、部品識別情報、配置位置、大きさを対応付けて、メタデータを生成していたが、これに限定されるものではない。たとえば、特定部１５３は、オリジナルＵＩ画像のＵＩ部品の属性情報、他のＵＩ部品との関係情報とを更に特定して、メタデータに設定してもよい。 The specification unit 153 of the generating device generates metadata by associating part identification information, placement position, and size, but this is not limited to this. For example, the specification unit 153 may further specify attribute information of the UI part of the original UI image and relationship information with other UI parts, and set this in the metadata.
属性情報は、対象となるＵＩ部品に文字列が含まれているか否か、人物画像であるか否か等の情報である。関係情報は、着目するＵＩ部品のレイヤー構造、着目するＵＩ部品と他のＵＩ部品との配置関係、依存関係等に対応する情報である。生成部１５４は、メタデータを基にして、匿名ＵＩ画像１４２を生成する場合に、メタデータの属性情報、関係情報を更に用いて、匿名ＵＩ部品を配置してもよい。これによって、オリジナルＵＩ画像に対する匿名ＵＩ画像１４２の再現度を高めることができる。
The attribute information is information such as whether the target UI part contains a character string, whether it is an image of a person, etc. The relationship information is information corresponding to the layer structure of the UI part of interest, the layout relationship between the UI part of interest and other UI parts, interdependencies, etc. When generating an
なお、本実施例では一例として、生成装置１００が、モデル生成部１５２を有し、匿名ＵＩモデル６０を生成するように説明を行ったが、これに限定されるものではない。たとえば、サーバ５０が、モデル生成部１５２の機能を有し、生成装置１００は、サーバ５０によって生成された匿名ＵＩモデル６０を取得して、上記の処理を行ってもよい。
In the present embodiment, as an example, the generating device 100 has the
次に、上記実施例に示した生成装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１５は、実施例の生成装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 Next, an example of a hardware configuration of a computer that realizes the same functions as the generating device 100 shown in the above embodiment will be described. FIG. 15 is a diagram showing an example of a hardware configuration of a computer that realizes the same functions as the generating device of the embodiment.
図１５に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、利用者からのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行う通信装置２０４と、インタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。
As shown in FIG. 15,
ハードディスク装置２０７は、表示制御プログラム２０７ａ、モデル生成プログラム２０７ｂ、特定プログラム２０７ｃ、生成プログラム２０７ｄ、送信プログラム２０７ｅを有する。また、ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｅを読み出してＲＡＭ２０６に展開する。
The hard disk device 207 has a
表示制御プログラム２０７ａは、表示制御プロセス２０６ａとして機能する。モデル生成プログラム２０７ｂは、モデル生成プロセス２０６ｂとして機能する。特定プログラム２０７ｃは、特定プロセス２０６ｃとして機能する。生成プログラム２０７ｄは、生成プロセス２０６ｄとして機能する。送信プログラム２０７ｅは、送信プロセス２０６ｅとして機能する。
The
表示制御プロセス２０６ａの処理は、表示制御部１５１の処理に対応する。モデル生成プロセス２０６ｂの処理は、モデル生成部１５２の処理に対応する。特定プロセス２０６ｃの処理は、特定部１５３の処理に対応する。生成プロセス２０６ｄの処理は、生成部１５４の処理に対応する。送信プロセス２０６ｅの処理は、送信部１５５の処理に対応する。
The processing of the
なお、各プログラム２０７ａ～２０７ｅについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｅを読み出して実行するようにしてもよい。
Note that each of the
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。 The following notes are further provided with respect to the embodiments including the above examples.
（付記１）コンピュータが実行する画面生成方法であって、
第１画像に含まれる第１部品を記憶装置に記憶しておき、
画面に対する画像の取得操作に応じて取得された第２画像に含まれる第２部品に類似する第１部品を、前記記憶装置に記憶された第１部品から特定し、
特定した第１部品の大きさを、類似する第２部品の大きさに調整し、
調整した第１部品を、類似する第２部品の配置位置に合わせて配置した第３画像を生成する
処理を実行することを特徴とする生成方法。
(Supplementary Note 1) A screen generation method executed by a computer, comprising:
A first part included in the first image is stored in a storage device;
Identifying a first part similar to a second part included in a second image acquired in response to an image acquisition operation on a screen from among the first parts stored in the storage device;
Adjusting the size of the identified first part to the size of a similar second part;
generating a third image in which the adjusted first part is arranged in accordance with the arrangement position of a similar second part, the generating method comprising:
（付記２）前記第１画像は個人情報を有しない画像であって、前記第１画像から第１部品を抽出し、抽出した第１部品を前記記憶装置に記憶する処理を更に実行することを特徴とする付記１に記載の生成方法。 (Appendix 2) The method of generating the image described in Appendix 1 is characterized in that the first image is an image that does not contain personal information, and further includes a process of extracting a first part from the first image and storing the extracted first part in the storage device.
（付記３）前記第３画像に含まれるいずれかの第１部品に対する解除の指摘を受け付けた場合、指定を受け付けた第１部品に類似する第２部品の情報を、指定を受け付けた第１部品に付与する処理を更に実行することを特徴とする付記１または２に記載の生成方法。 (Supplementary Note 3) The generation method described in Supplementary Note 1 or 2 is characterized in that, when a cancellation indication is received for any of the first parts included in the third image, a process is further executed to assign information about a second part similar to the first part whose designation has been accepted to the first part whose designation has been accepted.
（付記４）前記特定する処理によって特定された第１部品と、該第１部品に類似する第２部品との関係を基にして、前記第３画像に第１部品を配置する場合の大きさと、配置位置とを定義した定義情報を生成する処理を更に実行することを特徴とする付記１に記載の生成方法。 (Appendix 4) The generation method described in Appendix 1 is characterized by further executing a process of generating definition information that defines the size and placement position of a first part when placed in the third image, based on the relationship between a first part identified by the identification process and a second part similar to the first part.
（付記５）前記生成する処理は、第１部品の属性、または、第１部品と他の第１部品との関係のうち少なくとも一方を、前記定義情報に設定することを特徴とする付記４に記載の生成方法。 (Appendix 5) The generating method described in Appendix 4 is characterized in that the generating process sets at least one of the attributes of the first part or the relationship between the first part and other first parts in the definition information.
（付記６）コンピュータに
第１画像に含まれる第１部品を記憶装置に記憶しておき、
画面に対する画像の取得操作に応じて取得された第２画像に含まれる第２部品に類似する第１部品を、前記記憶装置に記憶された第１部品から特定し、
特定した第１部品の大きさを、類似する第２部品の大きさに調整し、
調整した第１部品を、類似する第２部品の配置位置に合わせて配置した第３画像を生成する
処理を実行させることを特徴とする生成プログラム。
(Supplementary Note 6) A first part included in a first image is stored in a storage device in the computer,
Identifying a first part similar to a second part included in a second image acquired in response to an image acquisition operation on a screen from among the first parts stored in the storage device;
Adjusting the size of the identified first part to the size of a similar second part;
and generating a third image in which the adjusted first part is arranged in accordance with the arrangement position of a similar second part.
（付記７）前記第１画像は個人情報を有しない画像であって、前記第１画像から第１部品を抽出し、抽出した第１部品を前記記憶装置に記憶する処理を更に実行することを特徴とする付記６に記載の生成プログラム。 (Appendix 7) The generation program described in Appendix 6 is characterized in that the first image is an image that does not contain personal information, and further executes a process of extracting a first part from the first image and storing the extracted first part in the storage device.
（付記８）前記第３画像に含まれるいずれかの第１部品に対する解除の指摘を受け付けた場合、指定を受け付けた第１部品に類似する第２部品の情報を、指定を受け付けた第１部品に付与する処理を更に実行することを特徴とする付記６または７に記載の生成プログラム。 (Appendix 8) The generation program described in appendix 6 or 7, further comprising a process for, when a cancellation indication is received for any of the first parts included in the third image, assigning information about a second part similar to the first part whose designation has been accepted to the first part whose designation has been accepted.
（付記９）前記特定する処理によって特定された第１部品と、該第１部品に類似する第２部品との関係を基にして、前記第３画像に第１部品を配置する場合の大きさと、配置位置とを定義した定義情報を生成する処理を更に実行することを特徴とする付記６に記載の生成プログラム。 (Appendix 9) The generation program described in Appendix 6 further executes a process of generating definition information that defines the size and placement position of a first part when placed in the third image, based on the relationship between a first part identified by the identification process and a second part similar to the first part.
（付記１０）前記生成する処理は、第１部品の属性、または、第１部品と他の第１部品との関係のうち少なくとも一方を、前記定義情報に設定することを特徴とする付記９に記載の生成プログラム。 (Appendix 10) The generation program described in Appendix 9 is characterized in that the generation process sets at least one of the attributes of the first part or the relationship between the first part and other first parts in the definition information.
６０ 匿名ＵＩモデル
１００ 生成装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４１ メタデータテーブル
１４２ 匿名ＵＩ画像
１５０ 制御部
１５１ 表示制御部
１５２ モデル生成部
１５３ 特定部
１５４ 生成部
１５５ 送信部
60 Anonymous UI model 100 Generation device 110
Claims (6)
第１画像に含まれる複数の第１部品を記憶装置に記憶しておき、
画面に対する画像の取得操作に応じて取得された第２画像に含まれる複数の第２部品と前記複数の第１部品とを基にして、類似する第１部品と第２部品との組を特定し、
特定した組みの第１部品の大きさを、類似する第２部品の大きさに調整し、
調整した第１部品を、類似する第２部品の配置位置に合わせて配置した第３画像であって前記調整した第１部品のみが配置される前記第２部品を含まない前記第３画像を生成する
処理を実行することを特徴とする生成方法。 1. A computer-implemented screen generation method, comprising:
A plurality of first parts included in the first image are stored in a storage device;
Identifying pairs of similar first parts and second parts based on a plurality of second parts and the plurality of first parts included in a second image acquired in response to an image acquisition operation on a screen;
Adjusting the size of the first part of the identified set to the size of a similar second part;
generating a third image in which the adjusted first part is arranged in accordance with the arrangement position of a similar second part, the third image not including the second part, in which only the adjusted first part is arranged .
第１画像に含まれる複数の第１部品を記憶装置に記憶しておき、
画面に対する画像の取得操作に応じて取得された第２画像に含まれる複数の第２部品と前記複数の第１部品とを基にして、類似する第１部品と第２部品との組を特定し、
特定した組みの第１部品の大きさを、類似する第２部品の大きさに調整し、
調整した第１部品を、類似する第２部品の配置位置に合わせて配置した第３画像であって前記調整した第１部品のみが配置される前記第２部品を含まない前記第３画像を生成する
処理を実行させることを特徴とする生成プログラム。 A plurality of first parts included in a first image are stored in a storage device in the computer;
Identifying pairs of similar first parts and second parts based on a plurality of second parts and the plurality of first parts included in a second image acquired in response to an image acquisition operation on a screen;
Adjusting the size of the first part of the identified set to the size of a similar second part;
and generating a third image in which the adjusted first part is arranged in accordance with the arrangement position of a similar second part, the third image not including the second part, and in which only the adjusted first part is arranged .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021106376A JP7697289B2 (en) | 2021-06-28 | 2021-06-28 | Generation method and generation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021106376A JP7697289B2 (en) | 2021-06-28 | 2021-06-28 | Generation method and generation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023004581A JP2023004581A (en) | 2023-01-17 |
| JP7697289B2 true JP7697289B2 (en) | 2025-06-24 |
Family
ID=85101017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021106376A Active JP7697289B2 (en) | 2021-06-28 | 2021-06-28 | Generation method and generation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7697289B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005136841A (en) | 2003-10-31 | 2005-05-26 | Casio Comput Co Ltd | Image output device, image output method, image output processing program, image distribution server, and image distribution processing program |
| JP2017134736A (en) | 2016-01-29 | 2017-08-03 | Ｓｋｙ株式会社 | Remote operation system and remote operation program |
| JP2018160898A (en) | 2018-04-19 | 2018-10-11 | フリュー株式会社 | Management server |
| US20190205565A1 (en) | 2015-12-29 | 2019-07-04 | Hisense Mobile Communications Technology Co., Ltd. | Method and apparatus for capturing screen on mobile device |
| JP2020123116A (en) | 2019-01-30 | 2020-08-13 | 富士通株式会社 | Document generating program, information processing device and document generating method |
-
2021
- 2021-06-28 JP JP2021106376A patent/JP7697289B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005136841A (en) | 2003-10-31 | 2005-05-26 | Casio Comput Co Ltd | Image output device, image output method, image output processing program, image distribution server, and image distribution processing program |
| US20190205565A1 (en) | 2015-12-29 | 2019-07-04 | Hisense Mobile Communications Technology Co., Ltd. | Method and apparatus for capturing screen on mobile device |
| JP2017134736A (en) | 2016-01-29 | 2017-08-03 | Ｓｋｙ株式会社 | Remote operation system and remote operation program |
| JP2018160898A (en) | 2018-04-19 | 2018-10-11 | フリュー株式会社 | Management server |
| JP2020123116A (en) | 2019-01-30 | 2020-08-13 | 富士通株式会社 | Document generating program, information processing device and document generating method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023004581A (en) | 2023-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9519401B2 (en) | Providing context menu based on predicted commands | |
| CN108874336B (en) | Information processing method and electronic equipment | |
| CN107659722B (en) | An image selection method and mobile terminal | |
| CN107832052B (en) | Method, apparatus and storage medium and electronic device for displaying preview page | |
| CN108958857A (en) | A kind of interface creating method and device | |
| CN101901312A (en) | Password protection method | |
| CN104881232A (en) | Page ordering method and device for operation interface | |
| CN112947969A (en) | Page off-screen rendering method, device, equipment and readable medium | |
| TWI610220B (en) | Automatic control device and method for displaying screen density | |
| JP7697289B2 (en) | Generation method and generation program | |
| CN111435313A (en) | Method and device for changing skin of software | |
| WO2016018682A1 (en) | Processing image to identify object for insertion into document | |
| JP2018506783A (en) | Generating element identifiers | |
| US10114518B2 (en) | Information processing system, information processing device, and screen display method | |
| CN113449218A (en) | Adaptation processing method, device and system | |
| US9424256B2 (en) | Method and apparatus for performing type-aware change tracking in a document | |
| CN110598142A (en) | Webpage calibration method and device, computer equipment and storage medium | |
| CN119166011A (en) | Content input method, device and electronic device | |
| CN112764849B (en) | Desktop icon transformation method and system based on IOS system | |
| JP7094836B2 (en) | Check support device, check support method and check support program | |
| CN110879738B (en) | Operation step display method and device and electronic equipment | |
| CN113342420A (en) | Firmware configuration method, device, equipment and storage medium | |
| JP2018156325A (en) | Generating program, generating method, and generating apparatus | |
| EP3018567A1 (en) | User-interface review method, device, and program | |
| JP6852379B2 (en) | Operation log output program, operation log output method, and information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241022 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20241031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250331 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250513 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250526 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7697289 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |