How Important Is Tokenization in French Medical Masked Language Models?

Autor: Labrak, Yanis, Bazoge, Adrien, Daille, Beatrice, Rouvier, Mickael, Dufour, Richard

Publikováno v: Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)

Subword tokenization has become the prevailing standard in the field of natural language processing (NLP) over recent years, primarily due to the widespread utilization of pre-trained language models. This shift began with Byte-Pair Encoding (BPE) an

Externí odkaz: http://arxiv.org/abs/2402.15010

BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains

Autor: Labrak, Yanis, Bazoge, Adrien, Morin, Emmanuel, Gourraud, Pierre-Antoine, Rouvier, Mickael, Dufour, Richard

Publikováno v: Proceedings of the 62st Annual Meeting of the Association for Computational Linguistics - Volume 1: Long Papers (ACL 2024)

Large Language Models (LLMs) have demonstrated remarkable versatility in recent years, offering potential applications across specialized domains such as healthcare and medicine. Despite the availability of various open-source LLMs tailored for healt

Externí odkaz: http://arxiv.org/abs/2402.10373

DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains

Autor: Labrak, Yanis, Bazoge, Adrien, Dufour, Richard, Rouvier, Mickael, Morin, Emmanuel, Daille, Béatrice, Gourraud, Pierre-Antoine

In recent years, pre-trained language models (PLMs) achieve the best performance on a wide range of natural language processing (NLP) tasks. While the first models were trained on general domain data, specialized ones have emerged to more effectively

Externí odkaz: http://arxiv.org/abs/2304.00958

Tâches et systèmes de détection automatique des réponses correctes dans des QCMs liés au domaine médical : Présentation de la campagne DEFT 2023

Autor: Labrak, Yanis, Bazoge, Adrien, Daille, Béatrice, Dufour, Richard, Morin, Emmanuel, Rouvier, Mickael

Publikováno v: Actes de CORIA-TALN 2023. Actes du Défi Fouille de Textes@TALN2023
18e Conférence en Recherche d'Information et Applications--16e Rencontres Jeunes Chercheurs en RI--30e Conférence sur le Traitement Automatique des Langues Naturelles--25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues
18e Conférence en Recherche d'Information et Applications--16e Rencontres Jeunes Chercheurs en RI--30e Conférence sur le Traitement Automatique des Langues Naturelles--25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, 2023, Paris, France. pp.57-67

International audience; L'édition 2023 du DÉfi Fouille de Textes (DEFT) s'est concentrée sur le développement de méthodes permettant de choisir automatiquement des réponses dans des questions à choix multiples (QCMs) en français. Les approche

Externí odkaz: https://explore.openaire.eu/search/publication?articleId=od_______165::66f4b10422234fd1bfa8189cd20dc4ad
https://hal.science/hal-04131586/file/483407.pdf

DrBERT: Un modèle robuste pré-entraîné en français pour les domaines biomédical et clinique

Autor: Labrak, Yanis, Bazoge, Adrien, Dufour, Richard, Rouvier, Mickael, Morin, Emmanuel, Daille, Béatrice, Gourraud, Pierre-Antoine

Publikováno v: Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 4 : articles déjà soumis ou acceptés en conférence internationale
18e Conférence en Recherche d'Information et Applications--16e Rencontres Jeunes Chercheurs en RI--30e Conférence sur le Traitement Automatique des Langues Naturelles--25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues
18e Conférence en Recherche d'Information et Applications--16e Rencontres Jeunes Chercheurs en RI--30e Conférence sur le Traitement Automatique des Langues Naturelles--25e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, 2023, Paris, France. pp.109-120

International audience; Ces dernières années, les modèles de langage pré-entraînés ont obtenu les meilleures performances sur un large éventail de tâches de traitement automatique du langage naturel (TALN). Alors que les premiers modèles ont

Externí odkaz: https://explore.openaire.eu/search/publication?articleId=od_______165::68c7612f253c3406c3646b1b704b7d42
https://hal.science/hal-04130214/file/458407.pdf