IP-Coster | WO2025253201 | MODEL TRAINING METHOD AND DEVICE, AND DATA PROCESSING METHOD AND DEVICE

Country	Stages	Total
China	Filing, Examination, Granting	1981
EPO	Filing, Examination, Granting	11644
Japan	Filing, Examination, Granting	1727
South Korea	Filing, Examination, Granting	1203
USA	Filing, Examination, Granting	4740

Abstract[English] The present disclosure provides a model training method and device, and a data processing method and device. The method of the present disclosure uses a reference model to screen an existing instruction dataset for an instruction whose model fitting difficulty meets a preset condition, and the method can screen the instruction dataset for a challenging instruction having high model fitting difficulty as a seed instruction. A plurality of similar instruction samples are generated by means of expansion on the basis of the seed instruction, thereby obtaining more challenging instruction samples, a training set comprising the instruction samples and reference responses for the instruction samples is constructed, and knowledge distillation can be achieved by using the reference model on the basis of the existing instruction dataset, thereby obtaining a training set containing higher-quality instruction data. Furthermore, using the training set to train a deep learning model enhances the capability of the deep learning model to handle more complex and challenging tasks, and improves the performance of a trained target model.[French] La présente divulgation propose un procédé et un dispositif d'apprentissage de modèle, ainsi qu'un procédé et un dispositif de traitement de données. Le procédé de la présente divulgation utilise un modèle de référence pour cribler un ensemble de données d'instruction existant pour une instruction dont la difficulté d'ajustement de modèle satisfait une condition prédéfinie, et le procédé peut cribler l'ensemble de données d'instruction pour une instruction de défis ayant une difficulté d'ajustement de modèle élevée en tant qu'instruction de départ. Une pluralité d'échantillons d'instruction similaires sont générés au moyen d'une expansion sur la base de l'instruction de départ, ce qui permet d'obtenir des échantillons d'instruction plus difficiles, un ensemble d'apprentissage comprenant les échantillons d'instruction et des réponses de référence pour les échantillons d'instruction est construit, et une distillation de connaissances peut être obtenue en utilisant le modèle de référence sur la base de l'ensemble de données d'instruction existant, ce qui permet d'obtenir un ensemble d'apprentissage contenant des données d'instruction de qualité supérieure. En outre, l'utilisation de l'ensemble d'apprentissage pour entraîner un modèle d'apprentissage profond améliore la capacité du modèle d'apprentissage profond à gérer des tâches plus complexes et difficiles, et améliore les performances d'un modèle cible entraîné.[Chinese] 本公开提供一种模型训练、数据处理的方法及设备。本公开的方法，通过借助参考模型从已有的指令数据集中筛选出模型拟合难度满足预设条件的指令，可以从指令数据集中筛选出模型拟合难度较高的、具有挑战性的指令，作为种子指令；基于种子指令扩展生成多个相似的指令样本，即可获得更多具有挑战性的指令样本，并构建包含指令样本及指令样本的参考响应的训练集，可以借助参考模型基于已有的指令数据集实现知识蒸馏，获得包含更高质量指令数据的训练集；进一步地，使用该训练集训练深度学习模型，可以提升深度学习模型处理更复杂和具有挑战性的任务的能力，提升训练完成后目标模型的性能。

Total Number of Claims/PCT	*
Number of Independent Claims	*
Number of Priorities	*
Number of Multi-Dependent Claims	*
Number of Drawings	*
Pages for Publication	*
Number of Pages with Drawings	*
Pages of Specification	*
Sequence Listing	*
Number of Office Actions	*
International Search Report is established	*
International Searching Authority	IPOS *
Recordal of a Change of the Applicant's Name/Address	Change of Applicant's Name and Address *
Type of Assignment	The Standard Agent's Assignment *
Applicant's Legal Status	Legal Entity *
Small Entity	*
Non-Commercial Organization	*
Micro Entity	*
Small Entity, USA	*
Micro Entity, USA	*
Entry into National Phase under	Chapter I *
Patent Delivery	Send the Letters Patent by Courier *
Translation

WO2025253201 - MODEL TRAINING METHOD AND DEVICE, AND DATA PROCESSING METHOD AND DEVICE

Quotation for National Phase entry

Contact Us