WO2023197300 - APPARATUS AND METHODS FOR MULTI-STAGE MACHINE LEARNING WITH CASCADED MODELS
National phase entry:
Publication Number
WO/2023/197300
Publication Date
19.10.2023
International Application No.
PCT/CN2022/087089
International Filing Date
15.04.2022
Title **
[English]
APPARATUS AND METHODS FOR MULTI-STAGE MACHINE LEARNING WITH CASCADED MODELS
[French]
APPAREIL ET PROCÉDÉS D'APPRENTISSAGE MACHINE À ÉTAGES MULTIPLES INTÉGRANT DES MODÈLES EN CASCADE
Applicants **
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Administration Building, Bantian, Longgang District
Shenzhen, Guangdong 518129, CN
Inventors
TANG, Hao
Suite 400, 303 Terry Fox Drive, Kanata
Ottawa, Ontario 231, CA
ZHANG, Liqing
Suite 400, 303 Terry Fox Drive, Kanata
Ottawa, Ontario 231, CA
MA, Jianglei
Suite 400, 303 Terry Fox Drive, Kanata
Ottawa, Ontario 231, CA
Application details
| Total Number of Claims/PCT | * |
| Number of Independent Claims | * |
| Number of Priorities | * |
| Number of Multi-Dependent Claims | * |
| Number of Drawings | * |
| Pages for Publication | * |
| Number of Pages with Drawings | * |
| Pages of Specification | * |
| * | |
| * | |
International Searching Authority |
CNIPA
* |
| Applicant's Legal Status |
Legal Entity
* |
| * | |
| * | |
| * | |
| * | |
| Entry into National Phase under |
Chapter I
* |
| Translation |
|
Recalculate
* The data is based on automatic recognition. Please verify and amend if necessary.
** IP-Coster compiles data from publicly available sources. If this data includes your personal information, you can contact us to request its removal.
Quotation for National Phase entry
| Country | Stages | Total | |
|---|---|---|---|
| China | Filing | 4921 | |
| EPO | Filing, Examination | 89671 | |
| Japan | Filing | 589 | |
| South Korea | Filing | 482 | |
| USA | Filing, Examination | 27160 |
Total: 122823 USD
The term for entry into the National Phase has expired. This quotation is for informational purposes only
Abstract[English]
Data heterogeneity has been shown to reduce the convergence speed and model accuracy in existing federated learning (FL) and distributed learning (DL) based artificial intelligence or machine learning (AI/ML) model training processes. In some embodiments, a group of devices participating in an FL or DL based AI/ML model training process is divided into clusters, e.g., based on similarities in their data class distributions, and each device is configured with a cascaded AI/ML model that includes a first AI/ML sub-model and a second AI/ML sub-model that are cascaded. For each device, one of the cascaded sub-models is a common AI/ML sub-model that is common to all devices in the group, and the other sub-model is a cluster-specific AI/ML sub-model that is common to the cluster that the device has been assigned to within the group of devices. A multi-stage training process for the cascaded AI/ML model is also provided.[French]
L'hétérogénéité des données a été présentée comme réduisant la vitesse de convergence et la précision des modèles au cours des processus actuels d'entraînement de modèles d'intelligence artificielle ou d'apprentissage machine (AI/ML) sur la base d'un apprentissage fédéré (FL) et d'un apprentissage distribué (DL). Dans certains modes de réalisation, un groupe de dispositifs participant à un processus d'entraînement de modèles AI/ML sur la base d'un FL ou d'un DL est divisé en grappes, par exemple sur la base des similarités dans leur distribution en classes des données. De plus, chaque dispositif est configuré avec un modèle AI/ML en cascade qui contient un premier sous-modèle AI/ML et un second sous-modèle AI/ML qui sont en cascade. Pour chaque dispositif, un des sous-modèles en cascade est un sous-modèle AI/ML commun qui est commun à tous les dispositifs dans le groupe. L'autre sous-modèle est un sous-modèle AI/ML spécifique à la grappe qui est commun à la grappe à laquelle le dispositif a été attribué dans le groupe de dispositifs. L'invention concerne également un processus d'entraînement à étages multiples destiné au modèle AI/ML en cascade.