Mesure de similarité textuelle pour l'évaluation automatique de copies d'étudiants - Conférences TALN RECITAL
Communication Dans Un Congrès Année : 2021

Mesure de similarité textuelle pour l'évaluation automatique de copies d'étudiants

Xiaoou Wang
  • Fonction : Auteur
  • PersonId : 1102683
Xingyu Liu
  • Fonction : Auteur
  • PersonId : 1102684

Résumé

Cet article décrit la participation de l'équipe Nantalco à la tâche 2 du Défi Fouille de Textes 2021 (DEFT) : évaluation automatique de copies d'après une référence existante. Nous avons utilisé principalement des traits basés sur la similarité cosinus des deux vecteurs représentant la similarité textuelle entre des réponses d'étudiant et la référence. Plusieurs types de vecteurs ont été utilisés (vecteur d'occurrences de mots, vecteur tf-idf, embeddings non contextualisés de fastText, embeddings contextualisés de CamemBERT et enfin Sentence Embeddings Multilingues ajustés sur des corpus multilingues). La meilleure performance du concours sur cette tâche a été de 0.682 (précision) et celle de notre équipe 0.639. Cette performance a été obtenue avec les Sentence Embeddings Multilingues alors que celle des embeddings non ajustés ne s'est élevée qu'à 0.55, suggérant que de récents modèles de langues pré-entraînés doivent être fine-tunés afin d'avoir des embeddings adéquats au niveau phrastique.
Fichier principal
Vignette du fichier
74.pdf (289.98 Ko) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03265923 , version 1 (23-06-2021)

Identifiants

  • HAL Id : hal-03265923 , version 1

Citer

Xiaoou Wang, Xingyu Liu, Yimei Yue. Mesure de similarité textuelle pour l'évaluation automatique de copies d'étudiants. Traitement Automatique des Langues Naturelles, 2021, Lille, France. pp.63-71. ⟨hal-03265923⟩
142 Consultations
210 Téléchargements

Partager

More