WO2024159541 - SYSTEMS AND METHODS FOR COMPRESSION OF DEEP LEARNING MODEL USING REINFORCEMENT LEARNING FOR LOW RANK DECOMPOSITION
National phase entry is expected:
Publication Number
WO/2024/159541
Publication Date
08.08.2024
International Application No.
PCT/CN2023/074465
International Filing Date
03.02.2023
Title **
[English]
SYSTEMS AND METHODS FOR COMPRESSION OF DEEP LEARNING MODEL USING REINFORCEMENT LEARNING FOR LOW RANK DECOMPOSITION
[French]
SYSTÈMES ET PROCÉDÉS DE COMPRESSION D'UN MODÈLE D'APPRENTISSAGE PROFOND À L'AIDE D'UN APPRENTISSAGE PAR RENFORCEMENT POUR UNE DÉCOMPOSITION DE RANG FAIBLE
Applicants **
HUAWEI TECHNOLOGIES CO., LTD.
Huawei Administration Building, Bantian, Longgang District
Shenzhen, Guangdong 518129, CN
Inventors
AHMADI, Mehdi
Huawei Administration Building, Bantian, Longgang District
Shenzhen, Guangdong 518129, CN
GOSAL, Gurpreet
Huawei Administration Building, Bantian, Longgang District
Shenzhen, Guangdong 518129, CN
AHMED, Walid Mohamed Aly
Huawei Administration Building, Bantian, Longgang District
Shenzhen, Guangdong 518129, CN
HAJIMOLAHOSEINI, Habib
Huawei Administration Building, Bantian, Longgang District
Shenzhen, Guangdong 518129, CN
WEN, Shuangyue
Huawei Administration Building, Bantian, Longgang District
Shenzhen, Guangdong 518129, CN
LIU, Kangling
Huawei Administration Building, Bantian, Longgang District
Shenzhen, Guangdong 518129, CN
LIU, Yang
Huawei Administration Building, Bantian, Longgang District
Shenzhen, Guangdong 518129, CN
Application details
| Total Number of Claims/PCT | * |
| Number of Independent Claims | * |
| Number of Priorities | * |
| Number of Multi-Dependent Claims | * |
| Number of Drawings | * |
| Pages for Publication | * |
| Number of Pages with Drawings | * |
| Pages of Specification | * |
| * | |
| * | |
International Searching Authority |
CNIPA
* |
| Applicant's Legal Status |
Legal Entity
* |
| * | |
| * | |
| * | |
| * | |
| Entry into National Phase under |
Chapter I
* |
| Translation |
|
Recalculate
* The data is based on automatic recognition. Please verify and amend if necessary.
** IP-Coster compiles data from publicly available sources. If this data includes your personal information, you can contact us to request its removal.
Quotation for National Phase entry
| Country | Stages | Total | |
|---|---|---|---|
| China | Filing | 1061 | |
| EPO | Filing, Examination | 6881 | |
| Japan | Filing | 597 | |
| South Korea | Filing | 482 | |
| USA | Filing, Examination | 2710 |
Total: 11731 USD
The term for entry into the National Phase has expired. This quotation is for informational purposes only
Abstract[English]
Methods and systems for compression of deep learning (DL) models using reinforcement learning (RL) for low rank decomposition (LRD) are disclosed. A RL agent is trained over one or more rounds of training of the RL agent. In each round of training, a compression value is assigned to each candidate layer of the DL model by using the RL agent to generate an action that defines a compression value. A state of the DL model is updated and the RL agent is trained using the updated state. A candidate compressed model is generated by decomposing each candidate layer using LRD according to the assigned compression value. The candidate compressed model is evaluated to collect a reward for training the RL agent. After a termination condition is satisfied, the final compressed model is outputted.[French]
L'invention concerne des procédés et des systèmes de compression de modèles d'apprentissage profond (DL) à l'aide d'un apprentissage par renforcement (RL) pour une décomposition de rang faible (LRD). Un agent de RL est entraîné sur un ou plusieurs cycles d'entraînement de l'agent RL. Dans chaque cycle d'entraînement, une valeur de compression est attribuée à chaque couche candidate du modèle de DL à l'aide de l'agent de RL pour générer une action qui définit une valeur de compression. Un état du modèle de DL est mis à jour et l'agent de RL est entraîné à l'aide de l'état mis à jour. Un modèle compressé candidat est généré par décomposition de chaque couche candidate par LRD en fonction de la valeur de compression attribuée. Le modèle compressé candidat est évalué pour collecter une récompense pour entraîner l'agent de RL. Une fois qu'une condition de terminaison est respectée, le modèle compressé final est délivré.