WO2022264089 - LANDMARK DETECTION USING DEEP NEURAL NETWORK WITH MULTI-FREQUENCY SELF-ATTENTION
National phase entry:
Publication Number
WO/2022/264089
Publication Date
22.12.2022
International Application No.
PCT/IB2022/055611
International Filing Date
16.06.2022
Title **
[English]
LANDMARK DETECTION USING DEEP NEURAL NETWORK WITH MULTI-FREQUENCY SELF-ATTENTION
[French]
DÉTECTION DE POINTS D'INTÉRÊT À L'AIDE D'UN RÉSEAU DE NEURONES PROFOND À AUTOATTENTION MULTIFRÉQUENCE
Applicants **
SONY GROUP CORPORATION
1-7-1 KONAN, MINATO-KU
TOKYO, 108-0075, JP
Inventors
WASNIK, Pankaj
c/o SONY CORPORATION OF AMERICA
16535 Via Esprillo
San Diego, California 92127, US
SHENOY, Aman
c/o SONY CORPORATION OF AMERICA
16535 Via Esprillo
San Diego, California 92127, US
ONOE, Naoyuki
c/o SONY CORPORATION OF AMERICA
16535 Via Esprillo
San Diego, California 92127, US
RAMASWAMY, Janani
c/o SONY CORPORATION OF AMERICA
16535 Via Esprillo
San Diego, California 92127, US
Priority Data
63/211,127
16.06.2021
US
17/569,778
06.01.2022
US
Application details
| Total Number of Claims/PCT | * |
| Number of Independent Claims | * |
| Number of Priorities | * |
| Number of Multi-Dependent Claims | * |
| Number of Drawings | * |
| Pages for Publication | * |
| Number of Pages with Drawings | * |
| Pages of Specification | * |
| * | |
| * | |
International Searching Authority |
EPO
* |
| Applicant's Legal Status |
Legal Entity
* |
| * | |
| * | |
| * | |
| * | |
| Entry into National Phase under |
Chapter I
* |
| Translation |
|
Recalculate
* The data is based on automatic recognition. Please verify and amend if necessary.
** IP-Coster compiles data from publicly available sources. If this data includes your personal information, you can contact us to request its removal.
Quotation for National Phase entry
| Country | Stages | Total | |
|---|---|---|---|
| China | Filing | 1483 | |
| EPO | Filing, Examination | 6726 | |
| Japan | Filing | 593 | |
| South Korea | Filing | 607 | |
| USA | Filing, Examination | 2710 |
Total: 12119 USD
The term for entry into the National Phase has expired. This quotation is for informational purposes only
Abstract[English]
A system and method of landmark detection using deep neural network with multi-frequency self-attention is provided. The system includes an encoder network that receives an image of an object of interest as an input and generates multi-frequency feature maps as output. The system further includes an attention layer that receives the generated multi-frequency feature maps and refines the generated multi-frequency feature maps based on correlations or associations between the received multi-frequency feature maps. The system further includes a decoder network that receives the refined multi¬ frequency feature maps as a second input from the attention layer and generates a landmark detection result based on the second input. The landmark detection result includes a heatmap image of the object of interest and the heatmap image indicates locations of landmark points on the object of interest in the image.[French]
L'invention concerne un système et un procédé de détection de points d'intérêt à l'aide d'un réseau de neurones profond à autoattention multifréquence. Le système comprend un réseau codeur qui reçoit une image d'un objet d'intérêt en tant qu'entrée et génère des cartes de caractéristiques multifréquences en tant que sortie. Le système comprend en outre une couche d'attention qui reçoit les cartes de caractéristiques multifréquences générées et affine les cartes de caractéristiques multifréquences générées sur la base de corrélations ou d'associations entre les cartes de caractéristiques multifréquences reçues. Le système comprend en outre un réseau décodeur qui reçoit les cartes de caractéristiques multifréquences affinées en tant que seconde entrée en provenance de la couche d'attention et génère un résultat de détection de points d'intérêt sur la base de la seconde entrée. Le résultat de détection de points d'intérêt comprend une image de carte thermique de l'objet d'intérêt et l'image de carte thermique indique des emplacements de points d'intérêt sur l'objet d'intérêt dans l'image.