JP7395066B2 - 情報処理装置、プログラム及び情報処理方法 - Google Patents
情報処理装置、プログラム及び情報処理方法 Download PDFInfo
- Publication number
- JP7395066B2 JP7395066B2 JP2023526466A JP2023526466A JP7395066B2 JP 7395066 B2 JP7395066 B2 JP 7395066B2 JP 2023526466 A JP2023526466 A JP 2023526466A JP 2023526466 A JP2023526466 A JP 2023526466A JP 7395066 B2 JP7395066 B2 JP 7395066B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- layer
- important
- unlearned
- relearning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
例えば、電車又はバス等の公共交通機関の需要予測のため、統計的手法による交通需要予測技術が考案されており、駅の交通混雑緩和、及び、電車又はバス等の車両運行能力の調整に適用されている。
ここでは、情報処理システム100は、電車又はバス等の公共交通機関の需要予測を行う交通需要予測システムであるものとして説明を行う。
例えば、入力部102は、需要予測を行う日付の入力を受け付ける。
ここで、入力部102は、具体的には、キーボード又はマウス等の入力装置で構成される。
例えば、表示部103は、情報処理装置110で行われた、将来の交通需要の予測結果を表示する。
ここで、表示部103は、具体的には、液晶ディスプレイ等の表示装置で構成される。
例えば、情報処理装置110は、センサデータで示される外界情報から、予め学習された学習モデルである予測モデルを用いて、入力部102に入力された日付における交通需要を予測して、その予測結果を表示部103に表示させる。本実施の形態では、情報処理装置110は、交通需要予測装置として機能する。なお、予測モデルを第1の学習モデルともいう。
例えば、データ収集部112は、通信部111からセンサデータを受け取り、そのセンサデータを、予測モデルの入力フォーマットに合わせたモデル入力データに変換して、そのモデル入力データを制御部120に与える。
例えば、入出力I/F部113は、入力部102から、需要予測を行う日付を示す日付データを受けて、その日付データを制御部120に与える。
また、入出力I/F部113は、予測データ記憶部154から出力された予測結果データを、表示部103で利用できる信号データに変換し、その信号データを表示部103に出力する。
制御部120は、データ生成部130と、予測処理部140とを備える。
データ生成部130は、判定データ生成部131と、再学習判定部132と、再学習データ生成部133とを備える。
具体的には、判定データ生成部131は、データ収集部112から与えられた、予測モデルの学習に使われていないセンサデータから変換されたモデル入力データである未学習データと、記憶部150に記憶されている、学習済のモデル入力データである学習済みデータと、記憶部150に記憶されている、過去の最適な予測モデルの重みとで予測モデルを再学習するか否かを判定するための判定バッチデータを生成する。判定バッチデータは、記憶部150に記憶される。
ここで、学習済データの数は一定で、例えば、過去の予め定められた期間(例えば、数週間)の重要データとする。重要データは、重要度の高いデータである。
例えば、再学習判定部132は、モデル入力データに含まれている共変量データで、未学習データ及び学習済データのそれぞれを層別して、各層の重要度及び各層に振り分けられた未学習データ及び学習済データの重要度の両方を用いて、再学習するか否かを判定する。
まず、再学習判定部132による層別を説明する。
ここでは、再学習判定部132は、多項式ロジットモデル又は線形重回帰モデルを用いて、誘導施策の傾向性を分析する因果推論技術で傾向スコアを計算し、共変量データの次元削減を行って層別を行う。
なお、この層別は、一例であり、例えば、層別の閾値及び層の数については、学習用の実際の実データの共変量のバランスによって調整することができる。
再学習判定部132は、記憶部150に記憶されている判定バッチデータを読み込み、過去の最適なモデルのパラメータを用いて、未学習データD1及び学習済データD2のそれぞれで、傾向スコアを計算し、共変量データの次元削減を行って層別を行う。
例えば、図4に示されているように、重要層の出現頻度が1/3となっていた場合において、重要層の出現頻度に対する閾値が0.5であるときには、重要層の出現頻度は、閾値以上となってはいない。
一方、図5に示されているように重要データの出現頻度が5/8となっていた場合において、重要データの出現頻度に対する閾値が0.5であるときには、重要データの出現頻度が閾値以上となっている。
図4及び図5の例では、重要層の出現頻度からみると予測モデルの重みの再学習は必要ないが、重要データの分布において偏りが発生しているため、重要データの出現頻度が高まっている。このため、図5に示されている例だと、予測モデルの重みの再学習が必要だと判断される。
予測処理部140は、モデル重み更新部141と、モデル重み検証部142と、データ予測部143とを備える。
例えば、モデル重み更新部141は、モデル重み記憶部153に記憶されている予測モデルの重みを、再学習バッチデータを用いて更新する。
そして、モデル重み検証部142は、更新された重みが最適であると判断された場合には、その更新された重みを、更新された重みが最適ではないと判断された場合には、過去の最適な重みをデータ予測部143に与える。
記憶部150は、判定データ記憶部151と、学習データ記憶部152と、モデル重み記憶部153と、予測データ記憶部154とを備える。
学習データ記憶部152は、再学習データ生成部133で生成された再学習バッチデータを記憶する。また、学習データ記憶部152には、予測モデルの学習に既に使用された学習データも学習済データとして記憶されているものとする。このため、再学習バッチデータも、予測モデルの再学習に使用された後は、学習済データとなる。
予測データ記憶部154は、データ予測部143で予測された予測結果である需要予測を示す需要予測データを記憶する。
記憶部150は、メモリ10又は補助記憶装置12により実現することができる。
通信部111は、通信I/F13により実現することができる。
入出力I/F部113は、接続I/F14により実現することができる。
図7は、情報処理装置110において予測モデルを再学習する際の処理を示すフローチャートである。
まず、再学習判定部132は、判定データ記憶部151から判定バッチデータを読み込む(S10)。なお、判定バッチデータは、例えば、予め定められた期間(例えば、数時間)に一回更新され、判定バッチデータが更新されると、再学習判定部132は、予測モデルを再学習するか否かを判断するものとする。
そして、再学習判定部132は、ステップS15で、重要データと判断されたデータに重要ラベルを付加する。重要ラベルが付加されたデータを、重要データともいう。
Claims (8)
- 複数のセンサからセンサデータを収集するデータ収集部と、
前記センサデータに基づいて予測を行うための学習モデルを学習するために既に用いられた学習データである学習済データ及び前記センサデータに対応する未学習データを含む判定バッチデータを生成する判定データ生成部と、
前記学習済データ及び前記未学習データに対して、前記予測の結果に影響を及ぼす共変量を用いて傾向スコアを算出することで、前記学習済データ及び前記未学習データを複数の層に割り振る層別を行い、前記層別の結果から、前記複数の層の中で重要度が高いと判断される層である重要層の出現頻度と、前記未学習データ及び前記学習済データの中で重要度が高いと判断されるデータである重要データの出現頻度とを用いて、前記学習モデルを再学習するか否かを判断する再学習判定部と、を備えること
を特徴とする情報処理装置。 - 前記再学習判定部は、前記重要層の出現頻度が予め定められた閾値以上である場合、又は、前記重要データの出現頻度が予め定められた閾値以上である場合に、前記学習モデルを再学習すると判断すること
を特徴とする請求項1に記載の情報処理装置。 - 前記再学習判定部は、前記複数の層の内、平均予測精度が予め定められた閾値以下の層、又は、前記未学習データの予測精度と、前記学習済データの予測精度との差が予め定められた閾値以上の層を前記重要層と判断すること
を特徴とする請求項1又は2に記載の情報処理装置。 - 前記再学習判定部は、前記重要層に含まれている前記未学習データ及び前記学習済データを前記重要データと判断すること、
を特徴とする請求項1から3の何れか一項に記載の情報処理装置。 - 前記再学習判定部は、前記複数の層の内、前記重要層以外の層に含まれている前記未学習データ及び前記学習済データについて、前記学習モデルである第1の学習モデルとは異なる第2の学習モデルを用いて、前記重要データか否かを判断すること
を特徴とする請求項1から4の何れか一項に記載の情報処理装置。 - 前記再学習判定部が前記学習モデルを再学習すると判断した場合に、前記学習モデルを再学習する再学習部をさらに備えること
を特徴とする請求項1から5の何れか一項に記載の情報処理装置。 - コンピュータを、
複数のセンサからセンサデータを収集するデータ収集部、
前記センサデータに基づいて予測を行うための学習モデルを学習するために既に用いられた学習データである学習済データ及び前記センサデータに対応する未学習データを含む判定バッチデータを生成する判定データ生成部、及び、
前記学習済データ及び前記未学習データに対して、前記予測の結果に影響を及ぼす共変量を用いて傾向スコアを算出することで、前記学習済データ及び前記未学習データを複数の層に割り振る層別を行い、前記層別の結果から、前記複数の層の中で重要度が高いと判断される層である重要層の出現頻度と、前記未学習データ及び前記学習済データの中で重要度が高いと判断されるデータである重要データの出現頻度とを用いて、前記学習モデルを再学習するか否かを判断する再学習判定部、として機能させること
を特徴とするプログラム。 - データ収集部が、複数のセンサからセンサデータを収集し、
判定データ生成部が、前記センサデータに基づいて予測を行うための学習モデルを学習するために既に用いられた学習データである学習済データ及び前記センサデータに対応する未学習データを含む判定バッチデータを生成し、
再学習判定部が、前記学習済データ及び前記未学習データに対して、前記予測の結果に影響を及ぼす共変量を用いて傾向スコアを算出することで、前記学習済データ及び前記未学習データを複数の層に割り振る層別を行い、
前記再学習判定部が、前記層別の結果から、前記複数の層の中で重要度が高いと判断される層である重要層の出現頻度と、前記未学習データ及び前記学習済データの中で重要度が高いと判断されるデータである重要データの出現頻度とを用いて、前記学習モデルを再学習するか否かを判断すること
を特徴とする情報処理方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/024512 WO2023275976A1 (ja) | 2021-06-29 | 2021-06-29 | 情報処理装置、プログラム及び情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2023275976A1 JPWO2023275976A1 (ja) | 2023-01-05 |
| JP7395066B2 true JP7395066B2 (ja) | 2023-12-08 |
Family
ID=84691602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023526466A Active JP7395066B2 (ja) | 2021-06-29 | 2021-06-29 | 情報処理装置、プログラム及び情報処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240127118A1 (ja) |
| EP (1) | EP4343643A4 (ja) |
| JP (1) | JP7395066B2 (ja) |
| CN (1) | CN117546185A (ja) |
| WO (1) | WO2023275976A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7658653B1 (ja) * | 2025-02-25 | 2025-04-08 | 株式会社D4All | 販促提案装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018073349A (ja) | 2016-11-04 | 2018-05-10 | ヤフー株式会社 | 情報解析装置、情報解析方法、および情報解析プログラム |
| JP2019040475A (ja) | 2017-08-25 | 2019-03-14 | 日本電信電話株式会社 | 人流予測装置、システムおよびプログラム |
| WO2020065970A1 (ja) | 2018-09-28 | 2020-04-02 | 楽天株式会社 | 学習システム、学習方法、及びプログラム |
| JP2020194414A (ja) | 2019-05-29 | 2020-12-03 | 株式会社日立製作所 | データ分析装置、データ分析方法、およびデータ分析プログラム |
-
2021
- 2021-06-29 JP JP2023526466A patent/JP7395066B2/ja active Active
- 2021-06-29 EP EP21948285.8A patent/EP4343643A4/en active Pending
- 2021-06-29 CN CN202180099756.4A patent/CN117546185A/zh active Pending
- 2021-06-29 WO PCT/JP2021/024512 patent/WO2023275976A1/ja not_active Ceased
-
2023
- 2023-12-22 US US18/394,939 patent/US20240127118A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018073349A (ja) | 2016-11-04 | 2018-05-10 | ヤフー株式会社 | 情報解析装置、情報解析方法、および情報解析プログラム |
| JP2019040475A (ja) | 2017-08-25 | 2019-03-14 | 日本電信電話株式会社 | 人流予測装置、システムおよびプログラム |
| WO2020065970A1 (ja) | 2018-09-28 | 2020-04-02 | 楽天株式会社 | 学習システム、学習方法、及びプログラム |
| JP2020194414A (ja) | 2019-05-29 | 2020-12-03 | 株式会社日立製作所 | データ分析装置、データ分析方法、およびデータ分析プログラム |
Non-Patent Citations (1)
| Title |
|---|
| 大林 準,ロジスティック回帰分析と傾向スコア(propensity score)解析,天理医学紀要 [online],2016年,19巻 2号,pp. 71-79,[検索日 2023.06.13], インターネット:<URL: https://www.jstage.jst.go.jp/article/tenrikiyo/19/2/19_19-008/_pdf/-char/ja> |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7658653B1 (ja) * | 2025-02-25 | 2025-04-08 | 株式会社D4All | 販促提案装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240127118A1 (en) | 2024-04-18 |
| WO2023275976A1 (ja) | 2023-01-05 |
| EP4343643A4 (en) | 2024-08-07 |
| EP4343643A1 (en) | 2024-03-27 |
| JPWO2023275976A1 (ja) | 2023-01-05 |
| CN117546185A (zh) | 2024-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12217139B2 (en) | Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model | |
| CN113052149A (zh) | 视频摘要生成方法、装置、计算机设备及介质 | |
| US20090043715A1 (en) | Method to Continuously Diagnose and Model Changes of Real-Valued Streaming Variables | |
| CN114595695B (zh) | 一种用于少样本意图识别系统的自训练模型构建方法 | |
| CN119694574B (zh) | 基于关联信息处理模型的痴呆风险预测系统 | |
| CN120353556B (zh) | 基于深度学习的测控系统自适应调整方法及系统 | |
| CN119961493B (zh) | 一种基于大数据分析的智能数据挖掘平台及方法 | |
| CN115456073B (zh) | 基于长短期记忆的生成式对抗网络模型建模分析方法 | |
| JP7395066B2 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| CN113568820A (zh) | 监控模型的方法、装置、电子设备和介质 | |
| CN111064617B (zh) | 基于经验模态分解聚类的网络流量预测方法及装置 | |
| Guo et al. | Research on the integrated system of case-based reasoning and Bayesian network | |
| CN114547300A (zh) | 一种结合远程监督和有监督的关系分类方法 | |
| CN121030597A (zh) | 一种工程设备智能运维及故障预测的管理决策支持方法 | |
| US20240169274A1 (en) | Non-transitory computer-readable recording medium storing evaluation program, evaluation method, and accuracy evaluation device | |
| CN116502093B (zh) | 基于主动学习的目标检测数据挑选方法、装置 | |
| JP7307785B2 (ja) | 機器学習装置及び方法 | |
| JP7529040B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| JP7283548B2 (ja) | 学習装置、予測システム、方法およびプログラム | |
| JP7475549B2 (ja) | 学習装置、予測装置、予測システム、学習方法、予測方法、及び予測プログラム | |
| CN113408709B (zh) | 基于单元重要度的条件计算方法 | |
| JP7754297B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN120013380B (zh) | 基于拓扑网络时空演化的货运流量预测方法和装置 | |
| JP2025112795A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| KR20240108773A (ko) | 모델 해석 기반의 공정 상태의 원인 분석을 위한 장치 및 이를 위한 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230428 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230809 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231128 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7395066 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |