2 |
ViQuAE, a Dataset for Knowledge-based Visual Question Answering about Named Entities
|
|
|
|
In: ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR ’22) ; https://hal-universite-paris-saclay.archives-ouvertes.fr/hal-03650618 ; 2022 (2022)
|
|
Abstract:
International audience ; Whether to retrieve, answer, translate, or reason, multimodality opens up new challenges and perspectives. In this context, we are interested in answering questions about named entities grounded in a visual context using a Knowledge Base (KB). To benchmark this task, called KVQAE (Knowledge-based Visual Question Answering about named Entities), we provide ViQuAE, a dataset of 3.7K questions paired with images. This is the first KVQAE dataset to cover a wide range of entity types (e.g. persons, landmarks, and products). The dataset is annotated using a semi-automatic method. We also propose a KB composed of 1.5M Wikipedia articles paired with images. To set a baseline on the benchmark, we address KVQAE as a two-stage problem: Information Retrieval and Reading Comprehension, with both zero-and few-shot learning methods. The experiments empirically demonstrate the difficulty of the task, especially when questions are not about persons. This work paves the way for better multimodal entity representations and question answering. The dataset, KB, code, and semi-automatic annotation pipeline are freely available at https://github.com/PaulLerner/ViQuAE.
|
|
Keyword:
[INFO.INFO-IR]Computer Science [cs]/Information Retrieval [cs.IR]; [INFO.INFO-MM]Computer Science [cs]/Multimedia [cs.MM]; dataset; knowledge-based visual question answering; multimodal
|
|
URL: https://hal-universite-paris-saclay.archives-ouvertes.fr/hal-03650618 https://hal-universite-paris-saclay.archives-ouvertes.fr/hal-03650618/document https://doi.org/10.1145/3477495.3531753 https://hal-universite-paris-saclay.archives-ouvertes.fr/hal-03650618/file/lerner_sigir_2022_camera.pdf
|
|
BASE
|
|
Hide details
|
|
3 |
RETRIEVING SPEAKER INFORMATION FROM PERSONALIZED ACOUSTIC MODELS FOR SPEECH RECOGNITION
|
|
|
|
In: IEEE ICASSP 2022 ; https://hal.archives-ouvertes.fr/hal-03539741 ; IEEE ICASSP 2022, 2022, Singapour, Singapore (2022)
|
|
BASE
|
|
Show details
|
|
4 |
Towards an empirical evaluation of translated texts and translation quality ; Vers une évaluation empirique des textes traduits et de la qualité en traduction
|
|
|
|
In: https://hal.archives-ouvertes.fr/hal-03584752 ; 2022 (2022)
|
|
BASE
|
|
Show details
|
|
5 |
Towards combined semantic and lexical scores based on a new representation of textual data to extract experimental data from scientific publications
|
|
|
|
In: ISSN: 1751-5858 ; EISSN: 1751-5866 ; International Journal of Intelligent Information and Database Systems ; https://hal.inrae.fr/hal-03616243 ; International Journal of Intelligent Information and Database Systems, Inderscience, 2022, 15 (1), pp.78. ⟨10.1504/IJIIDS.2022.120146⟩ (2022)
|
|
BASE
|
|
Show details
|
|
6 |
Obvie: interface web pour la fouille et la comparaison de textes
|
|
|
|
In: Atelier DigitAl Humanities and cuLtural herItAge: data and knowledge management and analysis durant la conférence francophone sur l'Extraction et la Gestion des Connaissances (egc2022) ; https://hal.archives-ouvertes.fr/hal-03543362 ; Atelier DigitAl Humanities and cuLtural herItAge: data and knowledge management and analysis durant la conférence francophone sur l'Extraction et la Gestion des Connaissances (egc2022), Jan 2022, Blois, France ; https://egc2022.univ-tours.fr/ateliers/ (2022)
|
|
BASE
|
|
Show details
|
|
7 |
Multistream neural architectures for cued-speech recognition using a pre-trained visual feature extractor and constrained CTC decoding
|
|
|
|
In: ICASSP 2022 - IEEE International Conference on Acoustics, Speech and Signal Processing ; https://hal.archives-ouvertes.fr/hal-03578503 ; ICASSP 2022 - IEEE International Conference on Acoustics, Speech and Signal Processing, May 2022, Singapour, Singapore (2022)
|
|
BASE
|
|
Show details
|
|
8 |
Preprint Citation Praxis in PLOS
|
|
|
|
In: ISSN: 0138-9130 ; EISSN: 1588-2861 ; Scientometrics ; https://hal.archives-ouvertes.fr/hal-03506094 ; In press (2022)
|
|
BASE
|
|
Show details
|
|
9 |
El sesgo ideológico en el discurso político de la prensa española: la reforma constitucional de 2011
|
|
|
|
In: ISSN: 1576-4737 ; CIRCULO de Linguistica Aplicada a la Comunicacion ; https://hal.archives-ouvertes.fr/hal-03616798 ; CIRCULO de Linguistica Aplicada a la Comunicacion, Universidad Complutense de Madrid, 2022, 89, pp.171-182 (2022)
|
|
BASE
|
|
Show details
|
|
10 |
Wh-interrogatives in ancient Greek ; Wh-interrogatives in ancient Greek: Disentangling focus- and wh-movement
|
|
|
|
In: ISSN: 0039-3193 ; EISSN: 1467-9582 ; Studia Linguistica ; https://hal.archives-ouvertes.fr/hal-03579191 ; Studia Linguistica, Wiley-Blackwell, In press (2022)
|
|
BASE
|
|
Show details
|
|
11 |
Automatic generation of the complete vocal tract shape from the sequence of phonemes to be articulated
|
|
|
|
In: ISSN: 0167-6393 ; EISSN: 1872-7182 ; Speech Communication ; https://hal.univ-lorraine.fr/hal-03650212 ; Speech Communication, Elsevier : North-Holland, 2022, ⟨10.1016/j.specom.2022.04.004⟩ (2022)
|
|
BASE
|
|
Show details
|
|
12 |
Apports et limites des notions de machine, de mégamachine et de rationalité dans la description des formes organisationnelles
|
|
|
|
In: Approches Théoriques en Information-Communication (ATIC) ; https://halshs.archives-ouvertes.fr/halshs-03598271 ; Approches Théoriques en Information-Communication (ATIC), 2022, N° 3 (2), pp.97-108. ⟨10.3917/atic.003.0097⟩ (2022)
|
|
BASE
|
|
Show details
|
|
13 |
Qui parle du climat en France ? Ce que nous apprennent les réseaux sociaux
|
|
|
|
In: ISSN: 2431-2134 ; The Conversation ; https://halshs.archives-ouvertes.fr/halshs-03629060 ; The Conversation, The Conversation France, 2022 ; https://theconversation.com/fr (2022)
|
|
BASE
|
|
Show details
|
|
14 |
Ukraine : la guerre des mèmes
|
|
|
|
In: ISSN: 2431-2134 ; The Conversation ; https://halshs.archives-ouvertes.fr/halshs-03651494 ; The Conversation, The Conversation France, 2022 (2022)
|
|
BASE
|
|
Show details
|
|
15 |
Le Post-it, le président, les mèmes et nous
|
|
|
|
In: ISSN: 2431-2134 ; The Conversation ; https://halshs.archives-ouvertes.fr/halshs-03563945 ; The Conversation, The Conversation France, 2022 (2022)
|
|
BASE
|
|
Show details
|
|
16 |
À quoi reconnait-on un discours totalitaire ou fasciste ?
|
|
|
|
In: ISSN: 2431-2134 ; The Conversation ; https://hal.univ-rennes2.fr/hal-03617854 ; The Conversation, The Conversation France, 2022 (2022)
|
|
BASE
|
|
Show details
|
|
17 |
Inter et méta-organisations : penser les composites organisationnels pour saisir communicationnellement crises et controverses
|
|
|
|
In: Un monde de crises au prisme des communications organisationnelles ; https://hal.archives-ouvertes.fr/hal-03655314 ; Un monde de crises au prisme des communications organisationnelles, Université Catholique de Louvain = Catholic University of Louvain [UCL], May 2022, Mons, Belgique (2022)
|
|
BASE
|
|
Show details
|
|
18 |
Skin and feminist cyberactivism. The reversal of the social stigma
|
|
|
|
In: EISSN: 2646-1064 ; La Peaulogie - Revue de sciences sociales et humaines sur les peaux ; https://hal.archives-ouvertes.fr/hal-03639171 ; La Peaulogie - Revue de sciences sociales et humaines sur les peaux, La Peaulogie 2022, Tatouage éthique et inclusif : la peau comme marqueuse politique, pp.163-203 ; https://lapeaulogie.fr/article/peau-cybermilitantisme-feministe/ (2022)
|
|
BASE
|
|
Show details
|
|
19 |
Corpus d’enquêtes sur les pratiques d’information scientifique des chercheurs. Constitution et exploitation des données
|
|
|
|
In: EISSN: 2263-0856 ; Revue française des sciences de l'information et de la communication ; https://hal.archives-ouvertes.fr/hal-03618819 ; Revue française des sciences de l'information et de la communication, Société Française des Sciences de l'Information et de la Communication, 2022, Data Paper : émergence d’une nouvelle donne scientifique (2022)
|
|
BASE
|
|
Show details
|
|
20 |
RSE et processus de désinstitutionnalisation : pour une analyse communicationnelle de la norme.
|
|
|
|
In: Un monde de crises au prisme des communications organisationnelles ; https://hal.archives-ouvertes.fr/hal-03655319 ; Un monde de crises au prisme des communications organisationnelles, Université Catholique de Louvain = Catholic University of Louvain [UCL], May 2022, Mons, Belgique (2022)
|
|
BASE
|
|
Show details
|
|
|
|