Mieux utiliser BERT pour la détection d'évènements à partir de peu d'exemples

Autor: Tuo, Aboubacar, Besancon, Romaric, Ferret, Olivier, Tourille, Julien
Přispěvatelé: Département Intelligence Ambiante et Systèmes Interactifs (DIASI), Laboratoire d'Intégration des Systèmes et des Technologies (LIST (CEA)), Direction de Recherche Technologique (CEA) (DRT (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Direction de Recherche Technologique (CEA) (DRT (CEA)), Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Université Paris-Saclay, CEA, Contributeur MAP
Jazyk: francouzština
Rok vydání: 2022
Předmět:
Zdroj: TALN 2022-29e Conférence sur le Traitement Automatique des Langues Naturelles
TALN 2022-29e Conférence sur le Traitement Automatique des Langues Naturelles, Jun 2022, Avignon, France. pp.392-402
Popis: Recent approaches for event detection rely on deep supervised learning, which requires large manually annotated corpora. In the new approaches that are developed for few shot learning, we focus on meta-learning with a BERT encoder for the task. Specifically, we aim at optimizing the use of the information contained in the different layers of a pretrained BERT and show that simple strategies can be efficient and outperform the current state of the art for this task in English
Les méthodes actuelles pour la détection d'évènements, qui s'appuient essentiellement sur l'apprentissage supervisé profond, s'avèrent très coûteuses en données annotées. Parmi les approches pour l'apprentissage à partir de peu de données, nous exploitons dans cet article le méta-apprentissage et l'utilisation de l'encodeur BERT pour cette tâche. Plus particulièrement, nous explorons plusieurs stratégies pour mieux exploiter les informations présentes dans les différentes couches d'un modèle BERT pré-entraîné et montrons que ces stratégies simples permettent de dépasser les résultats de l'état de l'art pour cette tâche en anglais.
Databáze: OpenAIRE
Externí odkaz: