SPQR@Deft2023 : Automatically answering to MCQ in the medical domain with similaritymeasures and domain-specific corpora

Autor: Bezançon, Julien, Boubehziz, Toufik, Chutaux, Corina, Zine, Oumaima, Acensio, Laurie, Koudoro-Parfait, Caroline, Briglia, Andrea, Lejeune, Gaël
Přispěvatelé: Équipe Linguistique computationnelle (STIH-LC), Sens, Texte, Informatique, Histoire (STIH), Sorbonne Université (SU)-Sorbonne Université (SU), Sorbonne Center for Artificial Intelligence (SCAI), Muséum national d'Histoire naturelle (MNHN)-Institut de Recherche pour le Développement (IRD)-Université de Technologie de Compiègne (UTC)-Institut National de Recherche en Informatique et en Automatique (Inria)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Assistance publique - Hôpitaux de Paris (AP-HP) (AP-HP)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institut Européen d'administration des Affaires (INSEAD), UMR 1253 IBrain Imagerie & Cerveau Equipe 1 : 'Psychiatrie Neuro-Fonctionnelle' (PNF), Imagerie et cerveau (iBrain - Inserm U1253 - UNIV Tours ), Université de Tours (UT)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Université de Tours (UT)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre Hospitalier Régional Universitaire de Tours (CHRU Tours), Sorbonne Université (SU), ATALA, Adrien Bazoge, Béatrice Daille, Richard Dufour, Yanis Labrak, Emmanuel Morin, Mickael Rouvier (Éds.)
Jazyk: francouzština
Rok vydání: 2023
Předmět:
Zdroj: Actes de 18e Conférence en Recherche d'Information et Applications \\ 16e Rencontres Jeunes Chercheurs en RI \\ 30e Conférence sur le Traitement Automatique des Langues Naturelles \\ 25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (CORIA-TALN'2023), Paris (France)
Actes du Défi Fouille de Textes@TALN2023
Actes du Défi Fouille de Textes@TALN2023, ATALA, Jun 2023, Paris, France. https://coria-taln-2023.sciencesconf.org/data/proceedings_DEFT.pdf
Popis: International audience; We exhibit the approach of the SPQR team in the 2023 French Text Mining Challenge (DEFT). Thischallenge focused on automatically answering Multiple Choice Questions (MCQ) in the pharmacology domain. We proposed an approach that takes advantage of domain-specific corpora in order to find similarities between possible answers and sentences in the corpora.We compute a cosine similarity on character n-gram vectors to compare them. The best scores we obtained were 0,294 for the Hammingscore on the test set (0,305 on the dev set) and 0,997 for the Exact Match ratio ( 0,16 on the dev set).; Nous présentons le travail de SPQR (Sorbonne Question-Réponses) au DÉfi Fouille de Textes 2023 sur la réponse automatique à des questionnaires à choix multiples dans le domaine de la pharmacologie. Nous proposons une approche fondée sur la constitution de corpus de spécialité et la recherche de phrases similaires entre ces corpus et les différentes réponses possibles à une question. Nous calculons une similarité cosinus sur des vecteurs en n-grammes de caractères pour déterminer les bonnes réponses. Cette approche a obtenu un score maximal en Hamming de 0,249 sur les données de test (0,305 sur le dev) et de 0,0997 en Exact Match Ratio (0,16 sur le dev).
Databáze: OpenAIRE
Externí odkaz: