Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7705622B2 - データ変換プログラム、装置、及び方法 - Google Patents
[go: Go Back, main page]

JP7705622B2 - データ変換プログラム、装置、及び方法 - Google Patents

データ変換プログラム、装置、及び方法 Download PDF

Info

Publication number
JP7705622B2
JP7705622B2 JP2022038624A JP2022038624A JP7705622B2 JP 7705622 B2 JP7705622 B2 JP 7705622B2 JP 2022038624 A JP2022038624 A JP 2022038624A JP 2022038624 A JP2022038624 A JP 2022038624A JP 7705622 B2 JP7705622 B2 JP 7705622B2
Authority
JP
Japan
Prior art keywords
data
conversion
node
rules
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022038624A
Other languages
English (en)
Other versions
JP2023132988A (ja
Inventor
啓介 後藤
聡 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
University of Osaka NUC
Original Assignee
Fujitsu Ltd
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Osaka University NUC filed Critical Fujitsu Ltd
Priority to JP2022038624A priority Critical patent/JP7705622B2/ja
Priority to EP23155513.7A priority patent/EP4242932A1/en
Priority to US18/107,044 priority patent/US20230289362A1/en
Publication of JP2023132988A publication Critical patent/JP2023132988A/ja
Application granted granted Critical
Publication of JP7705622B2 publication Critical patent/JP7705622B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • G06N5/025Extracting rules from data
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

開示の技術は、データ変換プログラム、データ変換装置、及びデータ変換方法に関する。
機械学習モデルの訓練に用いられる訓練データに含まれる特定の属性の値がバイアスとなり、その機械学習モデルによる判定結果が差別的なものとなる場合がある。例えば、人物の性別、年齢、出身地等の属性の値を説明変数とし、採用やテスト等についてのその人物の合否の結果を目的変数とする訓練データを用いて、人物の属性から合否の結果を予測する機械学習モデルを訓練する場合を想定する。この場合において、性別が女性であることが、合否の結果に対して不利な扱いを受けているという過去の履歴を訓練データとした場合、その訓練データを用いて訓練された機械学習モデルは、女性に不利な判定を下すような、差別的な予測を行うようになる。
上記のようなバイアスを、データを変換することで除去する技術が提案されている。例えば、差別的な挙動を起こす可能性がある属性がある場合とない場合とで、データの分布が同じになるようにデータを変換する技術が提案されている。また、予め定めた変換ルールに合致するデータを、その変換ルールに従って変換する技術が提案されている。また、分布の変化度合いを抑える制約を付与したうえで、任意のデータX1から任意のデータX2へ確率P(X1,X2)で変換する技術が提案されている。
Feldman, M., Friedler, S.A., Moeller, J., Scheidegger, C. and Venkatasubramanian S., "Certifying and removing disparate impact", In proceedings of the 21th ACM SIGKDD international conference on knowledge discovery and data mining, 2015, August, pp. 259-268. Hajian, S. and Domingo-Ferrer, J., "A methodology for direct and indirect discrimination prevention in data mining", IEEE transactions on knowledge and data engineering, 25(7), 2012, pp.1445-1459. Calmon, F.P., Wei, D., Vinzamuri, B., Ramamurthy, K.N. and Varshney, K.R., "Optimized pre-processing for discrimination prevention", In Proceedings of the 31st International Conference on Neural Information Processing Systems, 2017, December, pp. 3995-4004.
バイアスを除去するためのデータ変換により、変換前後でデータの分布が大きく変わってしまうと、変換後のデータを訓練データとして用いて訓練された機械学習モデルの予測精度が悪化するという問題がある。
一つの側面として、開示の技術は、バイアスを除去するためのデータ変換によるデータの分布の変化を抑制することを目的とする。
一つの態様として、開示の技術は、複数の変換ルールのそれぞれについて、変換前のデータと、前記変換前のデータに前記複数の変換ルールのそれぞれを適用して生成される変換後のデータとの差を特定する。また、開示の技術は、第1の複数のデータの第1の属性を基準とした場合の前記第1の複数のデータの偏りと、前記複数の変換ルールのそれぞれの前記差とに基づいて、前記複数の変換ルールそれぞれの適用確率を決定する。そして、開示の技術は、前記第1の複数のデータに、前記適用確率に基づいて前記複数の変換ルールを適用して、第2の複数のデータを生成する。
一つの側面として、バイアスを除去するためのデータ変換によるデータの分布の変化を抑制することができる、という効果を有する。
データ変換によるバイアスの除去を説明するための図である。 データ変換装置の機能ブロック図である。 最小費用流問題を適用するためのネットワークの一例を示す図である。 変換ルール毎の適用確率の決定を説明するための図である。 データ変換装置として機能するコンピュータの概略構成の一例を示すブロック図である。 データ変換処理の一例を示すフローチャートである。
以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。
まず、実施形態の詳細を説明する前に、データ変換によるバイアスの除去について説明する。
図1に示す変換前データ100は、属性として「性別」及び「採用」を持つ。属性「性別」の値は、各データに対応する人物の性別が男性の場合には1、女性の場合には0である。また、属性「採用」は、各データに対応する人物の採用の可否を示す属性であり、属性「採用」の値は、採用可の場合には1、採用不可の場合には0である。変換後データ102についても同様である。図1の上段に示すように、変換前データ100では、性別=男性の場合、採用=可の確率は2/3であり、性別=女性の場合、採用=可の確率は1/3である。このように、変換前データ100では、性別により、採用=可の確率が大きく変わる、すなわちバイアスがある。この例では、2/3-1/3=1/3がバイアスの量に相当する。バイアスがあるデータで訓練された機械学習モデルは、センシティブな属性(ここでは性別)により予測が大きく変わるなど、差別的な挙動を起こす可能性がある。そこで、図1の下段に示すようにデータを変換することにより(図1中の破線部)、変換後データ102では、性別=男性の場合も、性別=女性の場合も、採用=可の確率は2/3となり、バイアスの量は2/3-2/3=0となり、性別によるバイアスが除去される。
ここで、上記のようなデータ変換としては、変換前後でデータの分布が大きく変化しないことが望ましい。分布が大きく変化する場合には、変換後データを訓練データとして用いて訓練された機械学習モデルの予測精度が悪化する場合があるためである。また、人間が解釈可能なデータ変換であること、すなわち解釈性があることが望ましい。解釈性がない場合には、変換後データに対する変換の妥当性を人手によりチェックすることが困難になるためである。解釈性のあるデータ変換として、予め定めた変換ルールに基づいてデータを変換する手法が考えられる。そこで、本実施形態では、変換ルールに基づくデータ変換であって、変換後のデータの分布の変化を抑制するデータ変換により、データからバイアスを除去する。以下、本実施形態に係るデータ変換装置について詳述する。
図2に示すように、データ変換装置10には、複数の変換前データ及び複数の変換ルールが入力される。そして、データ変換装置10が、変換前データに対してデータ変換を行い、変換後データを出力する。変換前データ及び変換後データの各々に含まれるデータは、図1の例の場合と同様に、複数の属性のそれぞれについての値を含む。本実施形態では、属性の種類として、一般属性、ターゲット属性、及びセンシティブ属性が含まれる。ターゲット属性は、上記の例の「採用」のように、データを用いたタスクにおける判断結果となる属性である。センシティブ属性は、上記の例の「性別」のように、バイアスとなり得る属性である。一般属性は、ターゲット属性及びセンシティブ属性以外の属性であり、例えば、教育歴、年齢等である。一般属性はデータの中に複数個含まれていてもよいが、以下では説明を簡単にするため、一般属性は1つの場合について説明する。
データ変換装置10は、機能的には、図2に示すように、特定部12と、決定部14と、生成部16と、出力部18とを含む。
特定部12は、複数の変換ルールのそれぞれについて、変換前データと、変換前データに複数の変換ルールのそれぞれを適用して生成される変換後データとの距離(差)を特定する。ここで、データXの一般属性の値をx、ターゲット属性の値をy、センシティブ属性の値をsとし、データXを(x,y,s)というベクトルで表す。特定部12は、任意のデータX=(x,y,s)、及びデータX=(x,y,s)について、XとXとの距離c(X,X)の定義を取得する。例えば、下記に示すように、距離c(X,X)は、XとXとのユークリッド距離としてよい。
=(20,1,1)、X=(50,1,1)、c(X,X)=30
=(20,1,1)、X=(25,1,1)、c(X,X)=5
この場合、距離が大きいほどデータが異なることを表す。例えば、上記の例では、データXよりデータXの方が、データXとの異なりが大きいことを表す。すなわち、この距離c(X,X)は、データXをデータXへ変換した場合のデータの分布の変化度合いを表す指標となる。特定部12は、属性のそれぞれの値の組み合わせとして想定されるデータの全ての組み合わせについて、距離c(X,X)を特定する。
決定部14は、センシティブ属性を基準とした場合のデータの偏りと、変換前後のデータの差とに基づいて、複数の変換ルールそれぞれの適用確率を決定する。具体的には、決定部14は、センシティブ属性を基準とした場合の変換前後のデータの偏りと、変換前後のデータの差とが最小となるように、複数の変換ルールそれぞれの適用確率を決定する。以下、より具体的に説明する。
変換ルールは、条件にマッチしたデータを新しいデータへ変換するためのルールであり、例えば、下記のように表す。
変換ルールr=((x’,y’,s’),(x”,y”,s”))
if(x,y,s)=(x’,y’,s’)return(x”,y”,s”)
すなわち、(x’,y’,s’)が条件、(x”,y”,s”)が変換の結果である。ただし、x’、y’、及びs’は、具体的な値又は全ての値にマッチするワイルドカード「*」としてよい。x”、y”、及びs”は、具体的な値のみで、ワイルドカードは含まない。
決定部14は、データX=(x,y,s)にマッチする変換ルールrの集合Rを取得し、データXの総数のうち、変換ルールr∈Rを適用するデータの割合を表す適用確率p(r)を決定する。ここで、変換前データからバイアスを除去するためには、変換後データにおいて、ターゲット属性が所定の値を示すデータの個数が、センシティブ属性の値によらず公平となるようにデータ変換を行う必要がある。例えば、センシティブ属性及びターゲット属性に応じたデータの個数を下記のように表記する。
ただし、各(x,y,s)は離散値である。また、1(y=j)はy=jの場合に1、そうでない場合に0を返す関数である。すなわち、(1)式は、データセット内のデータのうち、ターゲット属性が所定の値のデータの個数を表す。(2)式は、データセット内のデータのうち、センシティブ属性が所定の値のデータの個数を表す。(3)式は、データセット内のデータのうち、ターゲット属性が所定の値、かつセンシティブ属性が所定の値のデータの個数を表す。
また、公平なデータ変換を行うために、センシティブ属性によって、ターゲット属性の値が所定の値となる確率が変わらないようにする。したがって、変換後データにおいて、下記(4)式と下記(5)式とが等しくなるよう、すなわち下記(6)式を満たすようにデータ変換を行えばよい。
決定部14は、上記のような公平なデータ変換を行いつつ、変換前後のデータの分布の変化を抑制するような、変換ルール毎の適用確率p(r)を決定する。本実施形態では、変換ルール毎の適用確率p(r)を決定する問題を、最小費用流問題に定式化する。具体的には、決定部14は、図3に示すように、ソースノード、複数の第1のノード、複数の第2のノード、複数の第3のノード、及びシンクノードを含むネットワークを作成する。図3において、ソースノードは白丸、シンクノードは網掛の丸、第1のノードは実線の白い角丸の四角、第2のノードは二重線の白い角丸の四角、第3のノードは実線の網掛けの角丸の四角で表している。ノード間を接続する枝(図3中の矢印)には、その枝にデータを流すためにかかる1データ当たりのコストと、その枝を流すことができるデータの個数の最大値を示すキャパシティとが設定される。図3において、(コスト,キャパシティ)の表記で、各枝に設定されたコスト及びキャパシティを表している。
ソースノードは、最小費用流問題におけるフローの供給点に相当し、シンクノードは需要点に相当する。決定部14は、データセットD(変換前データ)に含まれるデータの個数をソースノードからシンクノードに向けて流す。第1のノードの各々は、変換前データの各属性の値の組み合わせ(x’,y’,s’)の各々に対応するノードである。決定部14は、ソースノードと第1のノードの各々とを枝で接続し、その枝に(0,Nx’y’s’)を設定する。Nx’y’s’は、データセットDに含まれるデータX=(x,y,s)のうち、x=x’、y=y’、及びs=s’のデータの個数である。
第2のノードの各々は、変換ルールrの各々に対応するノードである。決定部14は、第1のノードと、その第1のノードに対応するデータがマッチする変換ルールrに対応する第2のノードとを枝で接続し、その枝に(c((x’,y’,s’),(x”,y”,s”)),∞)を設定する。c((x’,y’,s’),(x”,y”,s”))は、枝で接続された第2のノードに相当する変換ルールrによる変換前後のデータの距離である。
第3のノードは、ターゲット属性の値yとセンシティブ属性の値sとのペアを表すグループに対応するノードである。決定部14は、第2のノードと、その第2のノードに対応する変換ルールrによる変換後データが属するグループに対応する第3のノードとを枝で接続し、その枝に(0,∞)を設定する。また、決定部14は、第3のノードの各々とシンクノードとを枝で接続し、その枝に(0,Ns”y”/N)を設定する。決定部14は、Ns”y”/Nの値を、変換後データが公平となるように、具体的には、上記(6)式を満たすように設定する。
上記のように、ノード、枝、並びに枝毎のコスト及びキャパシティを設定することで、このネットワークの最小費用流問題の解は、変換ルールを用いてデータセットDが公平になる変換過程を表し、変換前後の分布の変化が最小になる変換を表すことになる。決定部14は、図3に示すようなネットワークの最小費用流問題を解くことにより、最小のコストで、データセットDに含まれるデータをソースノードからシンクノードへ流すためのフローを抽出する。フローは、各枝を流れるデータの個数である。例えば、データX=(a,0,0)にマッチする変換ルールがri(i=1,2,3,4)であり、図4に示すようにフローが抽出されたとする。図4では、変換ルールriに対応する第2のノードへ流れるフローをfiで表している。決定部14は、抽出したフローに基づいて、Σr∈Rp(r)=1となるように、p(ri)=fi/Σfiにより、各変換ルールriの適用確率p(ri)を決定する。
生成部16は、変換前データに、決定部14で決定された適用確率に基づいて複数の変換ルールを適用して、変換後データを生成する。図4の例の場合、生成部16は、データX=(a,0,0)に対して、適用確率0.1で変換ルールr1を適用し、適用確率0.75で変換ルールr3を適用し、適用確率0.15で変換ルールr4を適用して変換後データを生成する。例えば、データX=(a,0,0)が10個ある場合、生成部16は、データXのうち1個に対して変換ルールr1を適用し、7個又は8個に対して変換ルールr3を適用し、1個又は2個に対して変換ルールr4を適用して変換後データを生成する。
出力部18は、生成部16により生成された複数の変換後データを出力する。また、出力部18は、生成部16により適用された変換ルール毎の適用確率も合わせて出力するようにしてもよい。これにより、データ変換の解釈性がより向上する。
データ変換装置10は、例えば図5に示すコンピュータ40で実現されてよい。コンピュータ40は、CPU(Central Processing Unit)41と、一時記憶領域としてのメモリ42と、不揮発性の記憶部43とを備える。また、コンピュータ40は、入力部、表示部等の入出力装置44と、記憶媒体49に対するデータの読み込み及び書き込みを制御するR/W(Read/Write)部45とを備える。また、コンピュータ40は、インターネット等のネットワークに接続される通信I/F(Interface)46を備える。CPU41、メモリ42、記憶部43、入出力装置44、R/W部45、及び通信I/F46は、バス47を介して互いに接続される。
記憶部43は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等によって実現されてよい。記憶媒体としての記憶部43には、コンピュータ40を、データ変換装置10として機能させるためのデータ変換プログラム50が記憶される。データ変換プログラム50は、特定プロセス52と、決定プロセス54と、生成プロセス56と、出力プロセス58とを有する。
CPU41は、データ変換プログラム50を記憶部43から読み出してメモリ42に展開し、データ変換プログラム50が有するプロセスを順次実行する。CPU41は、特定プロセス52を実行することで、図2に示す特定部12として動作する。また、CPU41は、決定プロセス54を実行することで、図2に示す決定部14として動作する。また、CPU41は、生成プロセス56を実行することで、図2に示す生成部16として動作する。また、CPU41は、出力プロセス58を実行することで、図2に示す出力部18として動作する。これにより、データ変換プログラム50を実行したコンピュータ40が、データ変換装置10として機能することになる。なお、プログラムを実行するCPU41はハードウェアである。
なお、データ変換プログラム50により実現される機能は、例えば半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現することも可能である。
次に、本実施形態に係るデータ変換装置10の作用について説明する。データ変換装置10に複数の変換前データ及び複数の変換ルールが入力されると、データ変換装置10において、図6に示すデータ変換処理が実行される。なお、データ変換処理は、開示の技術のデータ変換方法の一例である。
ステップS10で、特定部12が、データ変換装置10に入力された複数の変換前データ及び複数の変換ルールを取得する。次に、ステップS12で、特定部12が、複数の変換ルールのそれぞれについて、変換前データと、変換前データに複数の変換ルールのそれぞれを適用して生成される変換後データとの距離を特定する。
次に、ステップS14で、決定部14が、センシティブ属性を基準とした場合の変換前後のデータの偏りと、変換前後のデータの距離とが最小となるように、複数の変換ルールそれぞれの適用確率を決定する。次に、ステップS16で、生成部16が、変換前データに、上記ステップS14で決定された適用確率に基づいて複数の変換ルールを適用して、変換後データを生成する。次に、ステップS18で、出力部18が、上記ステップS16で生成された複数の変換後データを出力し、データ変換処理は終了する。
以上説明したように、本実施形態に係るデータ変換装置は、複数の変換ルールのそれぞれについて、変換前データと、変換前のデータに複数の変換ルールのそれぞれを適用して生成される変換後データとの距離を特定する。また、データ変換装置は、センシティブ属性を基準とした場合のデータの偏りと、変換前後のデータの距離とに基づいて、複数の変換ルールそれぞれの適用確率を決定する。そして、データ変換装置は、変換前データに、決定した適用確率に基づいて複数の変換ルールを適用して、変換後データを生成する。これにより、データ変換装置は、バイアスを除去するためのデータ変換によるデータの分布の変化を抑制することができる。
なお、上記実施形態では、適用確率の決定に、最小費用流問題を適用する場合について説明したが、これに限定されない。例えば、データ変換装置は、公平なデータ変換となる、すなわち、上記(6)式を満たすデータの個数の振り分けのパターンについて、総当り的に変換前後のデータの距離を特定し、距離が最小となるパターンに基づいて、変換ルール毎の適用確率を決定してもよい。ただし、上記実施形態のように最小費用流問題を適用することで、効率良く適用確率を決定することができる。
また、上記実施形態では、データ変換プログラムが記憶部に予め記憶(インストール)されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、CD-ROM、DVD-ROM、USBメモリ等の記憶媒体に記憶された形態で提供することも可能である。
以上の実施形態に関し、さらに以下の付記を開示する。
(付記1)
複数の変換ルールのそれぞれについて、変換前のデータと、前記変換前のデータに前記複数の変換ルールのそれぞれを適用して生成される変換後のデータとの差を特定し、
第1の複数のデータの第1の属性を基準とした場合の前記第1の複数のデータの偏りと、前記複数の変換ルールのそれぞれの前記差とに基づいて、前記複数の変換ルールそれぞれの適用確率を決定し、
前記第1の複数のデータに、前記適用確率に基づいて前記複数の変換ルールを適用して、第2の複数のデータを生成する、
処理をコンピュータに実行させることを特徴とするデータ変換プログラム。
(付記2)
前記偏りは、前記第1の属性と第2の属性との組み合わせ毎の前記第1の複数のデータの個数の偏りである、
付記1に記載のデータ変換プログラム。
(付記3)
前記複数の変換ルールのそれぞれは、変換前のデータと変換後のデータとの組み合わせで表され、
前記適用確率を決定する処理は、前記第1の複数のデータが該当する変換ルールのそれぞれに、前記偏り及び前記差が最小となるように前記第1の複数のデータを振り分ける場合のデータの個数に基づいて、前記適用確率を決定することを含む、
付記2に記載のデータ変換プログラム。
(付記4)
前記適用確率を決定する処理は、前記第1の複数のデータが該当する前記複数の変換ルールそれぞれの適用確率の和が1となるように決定することを含む、
付記3に記載のデータ変換プログラム。
(付記5)
前記適用確率を決定する処理は、ソースノード、前記第1の複数のデータに対応する第1のノード、前記複数の変換ルールに対応する第2のノード、前記第1の属性と前記第2の属性との組み合わせに対応する第3のノード、及びシンクノードと、前記ソースノードと前記第1のノードとを接続すると共に、前記第1のノードに対応するデータの個数を容量として持つ第1の枝、前記第1のノードと前記第2のノードとを接続すると共に、前記第1のノードに対応するデータを前記第2のノードに対応する変換ルールで変換した場合の前記差をコストとして持つ第2の枝、前記第2のノードと前記第2のノードに対応する変換ルールが示す変換後のデータについての前記組み合わせに対応する前記第3のノードとを接続する第3の枝、及び前記第3のノードと前記シンクノードとを接続すると共に、前記偏りが公平になるように設定されたデータの個数を容量に持つ第4の枝とを含むネットワークに最小費用流問題を適用して、前記偏り及び前記差が最小となるように前記適用確率を決定することを含む、
付記3又は付記4に記載のデータ変換プログラム。
(付記6)
前記第2の複数のデータを生成する処理は、前記第1の複数のデータが該当する変換ルール毎に、前記第1の複数のデータのうち、前記変換ルールについて決定された適用確率に応じた数のデータに、前記変換ルールを適用することを含む、
付記1~付記5のいずれか1項に記載のデータ変換プログラム。
(付記7)
生成した前記第2の複数のデータと、前記変換ルール毎の適用確率とを出力する、
処理を前記コンピュータに実行させることを特徴とする付記1~付記6のいずれか1項に記載のデータ変換プログラム。
(付記8)
複数の変換ルールのそれぞれについて、変換前のデータと、前記変換前のデータに前記複数の変換ルールのそれぞれを適用して生成される変換後のデータとの差を特定し、
第1の複数のデータの第1の属性を基準とした場合の前記第1の複数のデータの偏りと、前記複数の変換ルールのそれぞれの前記差とに基づいて、前記複数の変換ルールそれぞれの適用確率を決定し、
前記第1の複数のデータに、前記適用確率に基づいて前記複数の変換ルールを適用して、第2の複数のデータを生成する、
処理を実行する制御部を含むことを特徴とするデータ変換装置。
(付記9)
前記偏りは、前記第1の属性と第2の属性との組み合わせ毎の前記第1の複数のデータの個数の偏りである、
付記8に記載のデータ変換装置。
(付記10)
前記複数の変換ルールのそれぞれは、変換前のデータと変換後のデータとの組み合わせで表され、
前記適用確率を決定する処理は、前記第1の複数のデータが該当する変換ルールのそれぞれに、前記偏り及び前記差が最小となるように前記第1の複数のデータを振り分ける場合のデータの個数に基づいて、前記適用確率を決定することを含む、
付記9に記載のデータ変換装置。
(付記11)
前記適用確率を決定する処理は、前記第1の複数のデータが該当する前記複数の変換ルールそれぞれの適用確率の和が1となるように決定することを含む、
付記10に記載のデータ変換装置。
(付記12)
前記適用確率を決定する処理は、ソースノード、前記第1の複数のデータに対応する第1のノード、前記複数の変換ルールに対応する第2のノード、前記第1の属性と前記第2の属性との組み合わせに対応する第3のノード、及びシンクノードと、前記ソースノードと前記第1のノードとを接続すると共に、前記第1のノードに対応するデータの個数を容量として持つ第1の枝、前記第1のノードと前記第2のノードとを接続すると共に、前記第1のノードに対応するデータを前記第2のノードに対応する変換ルールで変換した場合の前記差をコストとして持つ第2の枝、前記第2のノードと前記第2のノードに対応する変換ルールが示す変換後のデータについての前記組み合わせに対応する前記第3のノードとを接続する第3の枝、及び前記第3のノードと前記シンクノードとを接続すると共に、前記偏りが公平になるように設定されたデータの個数を容量に持つ第4の枝とを含むネットワークに最小費用流問題を適用して、前記偏り及び前記差が最小となるように前記適用確率を決定することを含む、
付記10又は付記11に記載のデータ変換装置。
(付記13)
前記第2の複数のデータを生成する処理は、前記第1の複数のデータが該当する変換ルール毎に、前記第1の複数のデータのうち、前記変換ルールについて決定された適用確率に応じた数のデータに、前記変換ルールを適用することを含む、
付記8~付記12のいずれか1項に記載のデータ変換装置。
(付記14)
生成した前記第2の複数のデータと、前記変換ルール毎の適用確率とを出力する、
処理を前記制御部が実行することを特徴とする付記8~付記13のいずれか1項に記載のデータ変換装置。
(付記15)
複数の変換ルールのそれぞれについて、変換前のデータと、前記変換前のデータに前記複数の変換ルールのそれぞれを適用して生成される変換後のデータとの差を特定し、
第1の複数のデータの第1の属性を基準とした場合の前記第1の複数のデータの偏りと、前記複数の変換ルールのそれぞれの前記差とに基づいて、前記複数の変換ルールそれぞれの適用確率を決定し、
前記第1の複数のデータに、前記適用確率に基づいて前記複数の変換ルールを適用して、第2の複数のデータを生成する、
処理をコンピュータが実行することを特徴とするデータ変換方法。
(付記16)
前記偏りは、前記第1の属性と第2の属性との組み合わせ毎の前記第1の複数のデータの個数の偏りである、
付記15に記載のデータ変換方法。
(付記17)
前記複数の変換ルールのそれぞれは、変換前のデータと変換後のデータとの組み合わせで表され、
前記適用確率を決定する処理は、前記第1の複数のデータが該当する変換ルールのそれぞれに、前記偏り及び前記差が最小となるように前記第1の複数のデータを振り分ける場合のデータの個数に基づいて、前記適用確率を決定することを含む、
付記16に記載のデータ変換方法。
(付記18)
前記適用確率を決定する処理は、前記第1の複数のデータが該当する前記複数の変換ルールそれぞれの適用確率の和が1となるように決定することを含む、
付記17に記載のデータ変換方法。
(付記19)
前記適用確率を決定する処理は、ソースノード、前記第1の複数のデータに対応する第1のノード、前記複数の変換ルールに対応する第2のノード、前記第1の属性と前記第2の属性との組み合わせに対応する第3のノード、及びシンクノードと、前記ソースノードと前記第1のノードとを接続すると共に、前記第1のノードに対応するデータの個数を容量として持つ第1の枝、前記第1のノードと前記第2のノードとを接続すると共に、前記第1のノードに対応するデータを前記第2のノードに対応する変換ルールで変換した場合の前記差をコストとして持つ第2の枝、前記第2のノードと前記第2のノードに対応する変換ルールが示す変換後のデータについての前記組み合わせに対応する前記第3のノードとを接続する第3の枝、及び前記第3のノードと前記シンクノードとを接続すると共に、前記偏りが公平になるように設定されたデータの個数を容量に持つ第4の枝とを含むネットワークに最小費用流問題を適用して、前記偏り及び前記差が最小となるように前記適用確率を決定することを含む、
付記17又は付記18に記載のデータ変換方法。
(付記20)
複数の変換ルールのそれぞれについて、変換前のデータと、前記変換前のデータに前記複数の変換ルールのそれぞれを適用して生成される変換後のデータとの差を特定し、
第1の複数のデータの第1の属性を基準とした場合の前記第1の複数のデータの偏りと、前記複数の変換ルールのそれぞれの前記差とに基づいて、前記複数の変換ルールそれぞれの適用確率を決定し、
前記第1の複数のデータに、前記適用確率に基づいて前記複数の変換ルールを適用して、第2の複数のデータを生成する、
処理をコンピュータに実行させることを特徴とするデータ変換プログラムを記憶した非一時的記憶媒体。
10 データ変換装置
12 特定部
14 決定部
16 生成部
18 出力部
40 コンピュータ
41 CPU
42 メモリ
43 記憶部
44 入出力装置
45 R/W部
46 通信I/F
47 バス
49 記憶媒体
50 データ変換プログラム
52 特定プロセス
54 決定プロセス
56 生成プロセス
58 出力プロセス

Claims (9)

  1. 複数の変換ルールのそれぞれについて、変換前のデータと、前記変換前のデータに前記複数の変換ルールのそれぞれを適用して生成される変換後のデータとの差を特定し、
    第1の複数のデータの第1の属性を基準とした場合の前記第1の複数のデータの偏りと、前記複数の変換ルールのそれぞれの前記差とに基づいて、前記複数の変換ルールそれぞれの適用確率を決定し、
    前記第1の複数のデータに、前記適用確率に基づいて前記複数の変換ルールを適用して、第2の複数のデータを生成する、
    処理をコンピュータに実行させることを特徴とするデータ変換プログラム。
  2. 前記偏りは、前記第1の属性と第2の属性との組み合わせ毎の前記第1の複数のデータの個数の偏りである、
    請求項1に記載のデータ変換プログラム。
  3. 前記複数の変換ルールのそれぞれは、変換前のデータと変換後のデータとの組み合わせで表され、
    前記適用確率を決定する処理は、前記第1の複数のデータが該当する変換ルールのそれぞれに、前記偏り及び前記差が最小となるように前記第1の複数のデータを振り分ける場合のデータの個数に基づいて、前記適用確率を決定することを含む、
    請求項2に記載のデータ変換プログラム。
  4. 前記適用確率を決定する処理は、前記第1の複数のデータが該当する前記複数の変換ルールそれぞれの適用確率の和が1となるように決定することを含む、
    請求項3に記載のデータ変換プログラム。
  5. 前記適用確率を決定する処理は、ソースノード、前記第1の複数のデータに対応する第1のノード、前記複数の変換ルールに対応する第2のノード、前記第1の属性と前記第2の属性との組み合わせに対応する第3のノード、及びシンクノードと、前記ソースノードと前記第1のノードとを接続すると共に、前記第1のノードに対応するデータの個数を容量として持つ第1の枝、前記第1のノードと前記第2のノードとを接続すると共に、前記第1のノードに対応するデータを前記第2のノードに対応する変換ルールで変換した場合の前記差をコストとして持つ第2の枝、前記第2のノードと前記第2のノードに対応する変換ルールが示す変換後のデータについての前記組み合わせに対応する前記第3のノードとを接続する第3の枝、及び前記第3のノードと前記シンクノードとを接続すると共に、前記偏りが公平になるように設定されたデータの個数を容量に持つ第4の枝とを含むネットワークに最小費用流問題を適用して、前記偏り及び前記差が最小となるように前記適用確率を決定することを含む、
    請求項3又は請求項4に記載のデータ変換プログラム。
  6. 前記第2の複数のデータを生成する処理は、前記第1の複数のデータが該当する変換ルール毎に、前記第1の複数のデータのうち、前記変換ルールについて決定された適用確率に応じた数のデータに、前記変換ルールを適用することを含む、
    請求項1~請求項5のいずれか1項に記載のデータ変換プログラム。
  7. 生成した前記第2の複数のデータと、前記変換ルール毎の適用確率とを出力する、
    処理を前記コンピュータに実行させることを特徴とする請求項1~請求項6のいずれか1項に記載のデータ変換プログラム。
  8. 複数の変換ルールのそれぞれについて、変換前のデータと、前記変換前のデータに前記複数の変換ルールのそれぞれを適用して生成される変換後のデータとの差を特定し、
    第1の複数のデータの第1の属性を基準とした場合の前記第1の複数のデータの偏りと、前記複数の変換ルールのそれぞれの前記差とに基づいて、前記複数の変換ルールそれぞれの適用確率を決定し、
    前記第1の複数のデータに、前記適用確率に基づいて前記複数の変換ルールを適用して、第2の複数のデータを生成する、
    処理を実行する制御部を含むことを特徴とするデータ変換装置。
  9. 複数の変換ルールのそれぞれについて、変換前のデータと、前記変換前のデータに前記複数の変換ルールのそれぞれを適用して生成される変換後のデータとの差を特定し、
    第1の複数のデータの第1の属性を基準とした場合の前記第1の複数のデータの偏りと、前記複数の変換ルールのそれぞれの前記差とに基づいて、前記複数の変換ルールそれぞれの適用確率を決定し、
    前記第1の複数のデータに、前記適用確率に基づいて前記複数の変換ルールを適用して、第2の複数のデータを生成する、
    処理をコンピュータが実行することを特徴とするデータ変換方法。
JP2022038624A 2022-03-11 2022-03-11 データ変換プログラム、装置、及び方法 Active JP7705622B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022038624A JP7705622B2 (ja) 2022-03-11 2022-03-11 データ変換プログラム、装置、及び方法
EP23155513.7A EP4242932A1 (en) 2022-03-11 2023-02-08 Data converting device and method
US18/107,044 US20230289362A1 (en) 2022-03-11 2023-02-08 Data converting device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022038624A JP7705622B2 (ja) 2022-03-11 2022-03-11 データ変換プログラム、装置、及び方法

Publications (2)

Publication Number Publication Date
JP2023132988A JP2023132988A (ja) 2023-09-22
JP7705622B2 true JP7705622B2 (ja) 2025-07-10

Family

ID=85202195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022038624A Active JP7705622B2 (ja) 2022-03-11 2022-03-11 データ変換プログラム、装置、及び方法

Country Status (3)

Country Link
US (1) US20230289362A1 (ja)
EP (1) EP4242932A1 (ja)
JP (1) JP7705622B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020144842A1 (ja) 2019-01-11 2020-07-16 富士通株式会社 探索制御プログラム、探索制御方法および探索制御装置
US20200387836A1 (en) 2019-06-04 2020-12-10 Accenture Global Solutions Limited Machine learning model surety
WO2020261378A1 (ja) 2019-06-25 2020-12-30 日本電気株式会社 軌跡連結装置、軌跡連結方法、及び、プログラムが格納された非一時的なコンピュータ可読媒体
JP2021193532A (ja) 2020-06-09 2021-12-23 富士通株式会社 データ生成方法、データ生成プログラム及び情報処理装置
US20220012591A1 (en) 2020-07-08 2022-01-13 UMNAI Limited Method for detecting and mitigating bias and weakness in artificial intelligence training data and models

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9037613B2 (en) * 2007-05-23 2015-05-19 Oracle International Corporation Self-learning data lenses for conversion of information from a source form to a target form
US20170372436A1 (en) * 2016-06-24 2017-12-28 Linkedln Corporation Matching requests-for-proposals with service providers
WO2021161896A1 (ja) * 2020-02-14 2021-08-19 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
CA3111911A1 (en) * 2020-03-12 2021-09-12 Atb Financial Systems and methods for mitigation bias in machine learning model output
US20210374563A1 (en) * 2020-05-29 2021-12-02 Joni Jezewski Solution Automation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020144842A1 (ja) 2019-01-11 2020-07-16 富士通株式会社 探索制御プログラム、探索制御方法および探索制御装置
US20200387836A1 (en) 2019-06-04 2020-12-10 Accenture Global Solutions Limited Machine learning model surety
WO2020261378A1 (ja) 2019-06-25 2020-12-30 日本電気株式会社 軌跡連結装置、軌跡連結方法、及び、プログラムが格納された非一時的なコンピュータ可読媒体
JP2021193532A (ja) 2020-06-09 2021-12-23 富士通株式会社 データ生成方法、データ生成プログラム及び情報処理装置
US20220012591A1 (en) 2020-07-08 2022-01-13 UMNAI Limited Method for detecting and mitigating bias and weakness in artificial intelligence training data and models

Also Published As

Publication number Publication date
JP2023132988A (ja) 2023-09-22
US20230289362A1 (en) 2023-09-14
EP4242932A1 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
CN107122327B (zh) 一种利用训练数据训练模型的方法和训练系统
US20200151574A1 (en) Computer-readable recording medium having stored therein learning program, learning method, and learning apparatus
US20220414766A1 (en) Computing system and method for creating a data science model having reduced bias
L. Cardoso et al. A framework for benchmarking discrimination-aware models in machine learning
JP7485226B2 (ja) 訓練装置、分類装置、訓練方法、分類方法、及びプログラム
JP2020129222A (ja) モデル出力プログラム、モデル出力方法及びモデル出力装置
Khovrat et al. Parallelization of the VAR Algorithm Family to Increase the Efficiency of Forecasting Market Indicators During Social Disaster.
JP2019095600A (ja) 音響モデル学習装置、音声認識装置、それらの方法、及びプログラム
JPWO2020084683A1 (ja) ロバスト学習装置、ロバスト学習方法およびロバスト学習プログラム
JP7207540B2 (ja) 学習支援装置、学習支援方法、及びプログラム
JPH1115805A (ja) ニューラルネットワーク分析方法及び装置
CN109255368B (zh) 随机选取特征的方法、装置、电子设备及存储介质
WO2021090484A1 (ja) 学習装置、情報統合システム、学習方法、及び、記録媒体
JP7705622B2 (ja) データ変換プログラム、装置、及び方法
CN110705622A (zh) 一种决策方法、系统以及电子设备
Kumar et al. Extensive survey on feature extraction and feature selection techniques for sentiment classification in social media
JP2020030702A (ja) 学習装置、学習方法及び学習プログラム
JP7772668B2 (ja) 計算機システム及びモデルの学習方法
JP7354844B2 (ja) 影響判定プログラム、装置、及び方法
JP7582506B2 (ja) データ修正プログラム、装置、及び方法
JP6625507B2 (ja) 対応付け装置、対応付け方法及びプログラム
JP7736178B2 (ja) 重み係数算出装置および重み係数算出方法
JP7468650B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US12346364B2 (en) System and method for classifying textual data blocks
JP7563620B2 (ja) 機械学習説明プログラム、装置、及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220527

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240902

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250618

R150 Certificate of patent or registration of utility model

Ref document number: 7705622

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150