Un jeu de données pour répondre à des questions visuelles à propos d’entités nommées en utilisant des bases de connaissances

Paul Lerner (1) , Olivier Ferret (2) , Camille Guinaudeau (1) , Hervé Le Borgne (2) , Romaric Besançon (2) , Jose Moreno (3) , Jesús Lovón-Melgarejo (4)

1 LISN - Laboratoire Interdisciplinaire des Sciences du Numérique
2 DIASI (CEA, LIST) - Département Intelligence Ambiante et Systèmes Interactifs
3 UT3 - Université Toulouse III - Paul Sabatier
4 IRIT - Institut de recherche en informatique de Toulouse

Dans le contexte général des traitements multimodaux, nous nous intéressons à la tâche de réponse à des questions visuelles à propos d’entités nommées en utilisant des bases de connaissances (KVQAE). Nous mettons à disposition ViQuAE, un nouveau jeu de données de 3 700 questions associées à des images, annoté à l’aide d’une méthode semi-automatique. C’est le premier jeu de données de KVQAE comprenant des types d’entités variés associé à une base de connaissances composée d’1,5 million d’articles Wikipédia, incluant textes et images. Nous proposons également un modèle de référence de KVQAE en deux étapes : recherche d’information puis extraction des réponses. Les résultats de nos expériences démontrent empiriquement la difficulté de la tâche et ouvrent la voie à une meilleure représentation multimodale des entités nommées.

Mots clés: jeu de données; question-réponse visuelle; bases de connaissances; multimodalité.

Domaines: Informatique et langage [cs.CL]

Paul Lerner, Olivier Ferret, Camille Guinaudeau, Hervé Le Borgne, Romaric Besançon, et al.. Un jeu de données pour répondre à des questions visuelles à propos d’entités nommées en utilisant des bases de connaissances. Traitement Automatique des Langues Naturelles (TALN 2022), Jun 2022, Avignon, France. pp.434-444. ⟨hal-03701521⟩