WO2025093916 - POST DEPLOYMENT MODEL DRIFT DETECTION
National phase entry is expected:
Publication Number
WO/2025/093916
Publication Date
08.05.2025
International Application No.
PCT/IB2024/000584
International Filing Date
30.10.2024
Title **
[English]
POST DEPLOYMENT MODEL DRIFT DETECTION
[French]
DÉTECTION DE DÉRIVE DE MODÈLE POST-DÉPLOIEMENT
Applicants **
MIND FOUNDRY LTD
Inventors
MCKAY, Helen
PÉREZ OROZCO, Bernardo
GARCIA, Francesca
ZILLI, Davide
MULLINS, Brian
OSBORNE, Michael
ROBERTS, Stephen
SHERMAN, Nicholas
Priority Data
18/497,447
30.10.2023
US
Application details
| Total Number of Claims/PCT | * |
| Number of Independent Claims | * |
| Number of Priorities | * |
| Number of Multi-Dependent Claims | * |
| Number of Drawings | * |
| Pages for Publication | * |
| Number of Pages with Drawings | * |
| Pages of Specification | * |
| * | |
| Number of Office Actions | * |
| * | |
International Searching Authority |
EPO
* |
| Recordal of a Change of the Applicant's Name/Address |
Change of Applicant's Name and Address
* |
| Type of Assignment |
The Standard Agent's Assignment
* |
| Applicant's Legal Status |
Legal Entity
* |
| * | |
| * | |
| * | |
| * | |
| * | |
| Entry into National Phase under |
Chapter I
* |
| Patent Delivery |
Send the Letters Patent by Courier
* |
| Translation |
|
* The data is based on automatic recognition. Please verify and amend if necessary.
** IP-Coster compiles data from publicly available sources. If this data includes your personal information, you can contact us to request its removal.
Quotation for National Phase entry
| Country | Stages | Total | |
|---|---|---|---|
| China | Filing, Examination, Granting | 2330 | |
| EPO | Filing, Examination, Granting | 11390 | |
| Japan | Filing, Examination, Granting | 2371 | |
| South Korea | Filing, Examination, Granting | 2426 | |
| USA | Filing, Examination, Granting | 4740 |
Total:
23,257
The term for entry into the National Phase has expired. This quotation is for informational purposes only
Contact Us
Abstract[English]
A post-deployment drift detection monitoring of a predictive model is described. The method includes accessing a predictive performance metric of a machine learning model that is deployed at a server, the machine learning model being trained with an initial set of training data containing historical data, the predictive performance metric being based on the initial set of training data and an additional set of training data, the additional set of training data containing training data collected since training the machine learning model, detecting a drift based on the predictive performance metric exceeding a drift detection threshold, generating a drift warning notification to a client device, the drift warning notification indicating that the predictive performance metric exceeds the drift detection threshold, receiving a user feedback from the client device, and adjusting one of the machine learning model or the drift detection threshold based on the user feedback.[French]
L'invention décrit un moyen de surveiller la détection d'une dérive d'un modèle prédictif post-déploiement. Le procédé consiste à : accéder à une métrique de performance prédictive d'un modèle d'apprentissage automatique qui est déployé au niveau d'un serveur, le modèle d'apprentissage automatique étant entraîné sur un ensemble initial de données d'apprentissage contenant des données historiques, la métrique de performance prédictive étant basée sur l'ensemble initial de données d'apprentissage et un ensemble supplémentaire de données d'apprentissage, l'ensemble supplémentaire de données d'apprentissage contenant des données d'apprentissage collectées depuis l'apprentissage du modèle d'apprentissage automatique, à détecter une dérive sur la base du fait que la métrique de performance prédictive dépasse un seuil de détection de dérive, à générer une notification d'avertissement de dérive destinée à un dispositif client, la notification d'avertissement de dérive indiquant que la métrique de performance prédictive dépasse le seuil de détection de dérive, à recevoir un retour d’informations d'utilisateur en provenance du dispositif client, et à ajuster le modèle d'apprentissage automatique ou le seuil de détection de dérive sur la base du retour d’informations d'utilisateur.