WO2025078909 - METHODS, SYSTEMS, APPARATUSES, AND DEVICES FOR FACILITATING SIFR OPTIMIZER-BASED EFFICIENT NEURAL NETWORK TRAINING
National phase entry is expected:
Publication Number
WO/2025/078909
Publication Date
17.04.2025
International Application No.
PCT/IB2024/059440
International Filing Date
27.09.2024
Title **
[English]
METHODS, SYSTEMS, APPARATUSES, AND DEVICES FOR FACILITATING SIFR OPTIMIZER-BASED EFFICIENT NEURAL NETWORK TRAINING
[French]
PROCÉDÉS, SYSTÈMES, APPAREILS ET DISPOSITIFS POUR FACILITER UN ENTRAÎNEMENT DE RÉSEAU DE NEURONES EFFICACE BASÉ SUR UN OPTIMISEUR DE SIFR
Applicants **
MEHOUACHI, Fares
Inventors
MEHOUACHI, Fares
Priority Data
18/483,998
10.10.2023
US
18/637,184
16.04.2024
US
Application details
| Total Number of Claims/PCT | * |
| Number of Independent Claims | * |
| Number of Priorities | * |
| Number of Multi-Dependent Claims | * |
| Number of Drawings | * |
| Pages for Publication | * |
| Number of Pages with Drawings | * |
| Pages of Specification | * |
| * | |
| Number of Office Actions | * |
| * | |
International Searching Authority |
EPO
* |
| Recordal of a Change of the Applicant's Name/Address |
Change of Applicant's Name and Address
* |
| Type of Assignment |
The Standard Agent's Assignment
* |
| Applicant's Legal Status |
Natural Person
* |
| * | |
| * | |
| * | |
| * | |
| * | |
| Entry into National Phase under |
Chapter II
* |
| * | |
| * | |
| * | |
| Patent Delivery |
Send the Letters Patent by Courier
* |
| Translation |
|
* The data is based on automatic recognition. Please verify and amend if necessary.
** IP-Coster compiles data from publicly available sources. If this data includes your personal information, you can contact us to request its removal.
Quotation for National Phase entry
| Country | Stages | Total | |
|---|---|---|---|
| China | Filing, Examination, Granting | 2894 | |
| EPO | Filing, Examination, Granting | 9981 | |
| Japan | Filing, Examination, Granting | 2362 | |
| South Korea | Filing, Examination, Granting | 2373 | |
| USA | Filing, Examination, Granting | 5190 |
Total:
22,800
The term for entry into the National Phase has expired. This quotation is for informational purposes only
Contact Us
Abstract[English]
A method using the Sifr optimizer for training a neural network model having layers and parameters comprises providing an input corresponding to each of samples comprised in a batch from a training dataset to an input layer, obtaining outputs from the neural network model, calculating a loss function for each of the samples based on the outputs and corresponding desired values, and determining values of the parameters for minimizing a mismatch between the outputs and the corresponding desired values across the samples for the parameters based on the loss function. Further, the determining of the values for the parameters comprises executing at least one of forward passes and backward passes through the neural network model, obtaining a curvature data based on the executing, obtaining a Sifr update based on the data. The determining of the values for the parameters is based on the Sifr update.[French]
Un procédé utilisant l'optimiseur de Sifr pour entraîner un modèle de réseau de neurones présentant des couches et des paramètres consiste à fournir une entrée correspondant à chacun des échantillons compris dans un lot d'un ensemble de données d'entraînement à une couche d'entrée, à obtenir des sorties à partir du modèle de réseau de neurones, à calculer une fonction de perte pour chacun des échantillons sur la base des sorties et des valeurs souhaitées correspondantes, et à déterminer des valeurs des paramètres pour minimiser un écart entre les sorties et les valeurs souhaitées correspondantes à travers les échantillons pour les paramètres sur la base de la fonction de perte. En outre, la détermination des valeurs pour les paramètres consiste à exécuter au moins l'une des propagations avant et arrière à travers le modèle de réseau de neurones, à obtenir des données de courbure sur la base de l'exécution, à obtenir une mise à jour de Sifr sur la base des données. La détermination des valeurs pour les paramètres est basée sur la mise à jour de Sifr.