Le LIS réussit le concours d'internat en pharmacie !
L'équipe TALEP du LIS remporte la compétition scientifique DEFT'23
La compétition scientifique DEFT organise chaque année un challenge scientifique dans le domaine du traitement automatique des langues. En 2023, il s'agissait de répondre automatiquement à des questions de type QCM issues du concours d'entrée en internat de pharmacie : https://deft2023.univ-avignon.fr
Le modèle développé au LIS par Benoit Favre est arrivé largement en tête sur un total de 6 soumissions regroupant 12 laboratoires de recherche publics et privés.
La compétition scientifique DEFT organise chaque année un challenge scientifique dans le domaine du traitement automatique des langues. En 2023, il s'agissait de répondre automatiquement à des questions de type QCM issues du concours d'entrée en internat de pharmacie : https://deft2023.univ-avignon.fr
Le modèle développé au LIS par Benoit Favre est arrivé largement en tête sur un total de 6 soumissions regroupant 12 laboratoires de recherche publics et privés.
Ce type de tâche est particulièrement difficile car il mêle compréhension du langage et mobilisation de connaissances expertes du domaine. Benoit Favre de l'équipe TALEP a remporté le challenge avec un score de hamming de 52,94, en affinant un grand modèle de langage d'une taille de 65 milliards de paramètres sur un seul GPU grâce à des techniques peu gourmandes en mémoire et en calculs reposant sur les tenseurs de faibles rangs. L'équipe a aussi présenté une étude de l'impact de la taille des modèles et du type de préapprentissage dans un article associé : https://hal.science/hal-04131578