WO2023152612 - ACCURACY-PRESERVING DEEP MODEL COMPRESSION
National phase entry:
Publication Number
WO/2023/152612
Publication Date
17.08.2023
International Application No.
PCT/IB2023/050929
International Filing Date
02.02.2023
Title **
[English]
ACCURACY-PRESERVING DEEP MODEL COMPRESSION
[French]
COMPRESSION DE MODÈLE PROFOND PRÉSERVANT LA PRÉCISION
Applicants **
NOKIA TECHNOLOGIES OY
Inventors
GARG, Yash
AKYAMAC, Ahmet
Priority Data
63/309,036
11.02.2022
US
Application details
| Total Number of Claims/PCT | * |
| Number of Independent Claims | * |
| Number of Priorities | * |
| Number of Multi-Dependent Claims | * |
| Number of Drawings | * |
| Pages for Publication | * |
| Number of Pages with Drawings | * |
| Pages of Specification | * |
| * | |
| Number of Office Actions | * |
| * | |
International Searching Authority |
EPO
* |
| Recordal of a Change of the Applicant's Name/Address |
Change of Applicant's Name and Address
* |
| Type of Assignment |
The Standard Agent's Assignment
* |
| Applicant's Legal Status |
Legal Entity
* |
| * | |
| * | |
| * | |
| * | |
| * | |
| Entry into National Phase under |
Chapter I
* |
| Patent Delivery |
Send the Letters Patent by Courier
* |
| Translation |
|
* The data is based on automatic recognition. Please verify and amend if necessary.
** IP-Coster compiles data from publicly available sources. If this data includes your personal information, you can contact us to request its removal.
Quotation for National Phase entry
| Country | Stages | Total | |
|---|---|---|---|
| China | Filing, Examination, Granting | 3399 | |
| EPO | Filing, Examination, Granting | 33231 | |
| Japan | Filing, Examination, Granting | 3430 | |
| South Korea | Filing, Examination, Granting | 4497 | |
| USA | Filing, Examination, Granting | 12340 |
Total:
56,897
The term for entry into the National Phase has expired. This quotation is for informational purposes only
Contact Us
Abstract[English]
Techniques described herein provide for compression of machine learning models without significant loss in model accuracy and without requiring model re-training. Compressed machine learning models may then be deployed by resource-constrained devices to improve operational efficiency and throughput. An example method includes providing input data for one or more deep learning tasks to a machine learning model having a plurality of neuronal units. The neuronal units are associated with respective parameters. The method further includes determination of respective confidence scores for the plurality of neuronal units responsive to the input data. A confidence score represents a contribution, significant, or impact of a neuronal unit with respect to the overall model output. The method further includes generating a compressed machine learning model based at least in part on removing a subset of neuronal units according to their respective confidence scores and redistributing their parameters to another subset of neuronal units.[French]
Les techniques décrites ici permettent la compression de modèles d'apprentissage automatique sans perte significative de précision de modèle et sans nécessiter de réentraînement de modèle. Des modèles d'apprentissage automatique compressés peuvent ensuite être déployés par des dispositifs à ressources limitées pour améliorer l'efficacité opérationnelle et le débit. Un procédé donné à titre d'exemple consiste à fournir des données d'entrée pour une ou plusieurs tâches d'apprentissage profond à un modèle d'apprentissage automatique ayant une pluralité d'unités neuronales. Les unités neuronales sont associées à des paramètres respectifs. Le procédé consiste en outre à déterminer des scores de confiance respectifs pour la pluralité d'unités neuronales en réponse aux données d'entrée. Un score de confiance représente une contribution, importante, ou un impact d'une unité neuronale par rapport à la sortie de modèle globale. Le procédé consiste en outre à générer un modèle d'apprentissage automatique compressé sur la base, au moins en partie, de l'élimination d'un sous-ensemble d'unités neuronales en fonction de leurs scores de confiance respectifs et de la redistribution de leurs paramètres à un autre sous-ensemble d'unités neuronales.