Home Catalogue search

eng

Refine your search:

Search in the Catalogues and Directories






	Sort by
Simple Search

Page: 1 2

Hits 1 – 20 of 40

1	Multimodal Lip-Reading for Tracheostomy Patients in the Greek Language
	Yorghos Voutos; Georgios Drakopoulos; Georgios Chrysovitsiotis; Zoi Zachou; Dimitris Kikidis; Efthymios Kyrodimos; Themis Exarchos
	In: Computers; Volume 11; Issue 3; Pages: 34 (2022)
	BASE
	Show details

2	Semantic Fusion for Natural Multimodal Interfaces using Concurrent Augmented Transition Networks
	Chris Zimmerer; Martin Fischbach; Marc Latoschik
	In: Multimodal Technologies and Interaction ; Volume 2 ; Issue 4 (2018)
	BASE
	Show details

3	Mining a Multimodal Corpus of Doctor's Training for Virtual Patient's Feedbacks
	Porhet, Chris; Ochs, Magalie; Saubesty, Jorane...
	In: 19th International Conference on Multimodal Interaction (ICMI) ; https://hal.archives-ouvertes.fr/hal-01654812 ; 19th International Conference on Multimodal Interaction (ICMI), Nov 2017, Glasgow, United Kingdom. ⟨10.1145/3136755.3136816⟩ (2017)
	BASE
	Show details

4	ENHANCING EXPRESSIVITY OF DOCUMENT-CENTERED COLLABORATION WITH MULTIMODAL ANNOTATIONS
	Yoon, Dongwook. - 2017
	BASE
	Show details

5	ДВУЯЗЫЧНАЯ МНОГОМОДАЛЬНАЯ СИСТЕМА ДЛЯ АУДИОВИЗУАЛЬНОГО СИНТЕЗА РЕЧИ И ЖЕСТОВОГО ЯЗЫКА ПО ТЕКСТУ
	КАРПОВ АЛЕКСЕЙ АНАТОЛЬЕВИЧ; ЖЕЛЕЗНЫ МИЛОШ. - : Федеральное государственное автономное образовательное учреждение высшего образования «Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики», 2014
	Abstract: Представлена концептуальная модель, архитектура и программная реализация многомодальной системы аудиовизуального синтеза речи и жестового языка по входному тексту. Основными компонентами разработанной многомодальной системы синтеза (жестовый аватар) являются: текстовый процессор анализа входного текста; имитационная трехмерная модель головы человека; компьютерный синтезатор звучащей речи; система синтеза аудиовизуальной речи; имитационная модель верхней части тела и рук человека; многомодальный пользовательский интерфейс, интегрирующий компоненты генерации звучащей, визуальной и жестовой речи по тексту. Предложенная система выполняет автоматическое преобразование входной текстовой информации в речевую (аудиоинформацию) и жестовую (видеоинформацию), объединение и вывод ее в виде мультимедийной информации. На вход системы подается произвольный грамматически корректный текст на русском или чешском языке, который анализируется текстовым процессором для выделения предложений, слов и букв. Далее полученная текстовая информация преобразуется в символы жестовой нотации (используется международная «Гамбургская система нотации» HamNoSys, которая описывает основные дифференциальные признаки каждого жеста рук: форму кисти, ориентацию руки, место и характер движения), на основе которых трехмерный жестовый аватар воспроизводит элементы жестового языка. Виртуальная трехмерная модель головы и верхней части тела человека реализована на языке моделирования виртуальной реальности VRML и управляется программно средствами графической библиотеки OpenGL. Предложенная многомодальная система синтеза является универсальной, она предназначена как для обычных пользователей, так и для людей с ограниченными возможностями здоровья (в частности, глухих и незрячих людей) и служит для целей мультимедийного аудиовизуального вывода вводимой текстовой информации. ; We present a conceptual model, architecture and software of a multimodal system for audio-visual speech and sign language synthesis by the input text. The main components of the developed multimodal synthesis system (signing avatar) are: automatic text processor for input text analysis; simulation 3D model of human's head; computer text-to-speech synthesizer; a system for audio-visual speech synthesis; simulation 3D model of human’s hands and upper body; multimodal user interface integrating all the components for generation of audio, visual and signed speech. The proposed system performs automatic translation of input textual information into speech (audio information) and gestures (video information), information fusion and its output in the form of multimedia information. A user can input any grammatically correct text in Russian or Czech languages to the system; it is analyzed by the text processor to detect sentences, words and characters. Then this textual information is converted into symbols of the sign language notation. We apply international «Hamburg Notation System» HamNoSys, which describes the main differential features of each manual sign: hand shape, hand orientation, place and type of movement. On their basis the 3D signing avatar displays the elements of the sign language. The virtual 3D model of human’s head and upper body has been created using VRML virtual reality modeling language, and it is controlled by the software based on OpenGL graphical library. The developed multimodal synthesis system is a universal one since it is oriented for both regular users and disabled people (in particular, for the hard-of-hearing and visually impaired), and it serves for multimedia output (by audio and visual modalities) of input textual information.
	Keyword: МНОГОМОДАЛЬНЫЕ ИНТЕРФЕЙСЫ ПОЛЬЗОВАТЕЛЯ,MULTIMODAL USER INTERFACES,ЧЕЛОВЕКО-МАШИННОЕ ВЗАИМОДЕЙСТВИЕ,HUMAN-COMPUTER INTERACTION,ЖЕСТОВЫЙ ЯЗЫК,SIGN LANGUAGE,СИНТЕЗ РЕЧИ,SPEECH SYNTHESIS,ТРЕХМЕРНЫЕ МОДЕЛИ,АССИСТИВНЫЕ ТЕХНОЛОГИИ,ASSISTIVE TECHNOLOGIES,ЖЕСТОВЫЙ АВАТАР,SIGNING AVATAR,3D MODELS
	URL: http://cyberleninka.ru/article_covers/16405803.png http://cyberleninka.ru/article/n/dvuyazychnaya-mnogomodalnaya-sistema-dlya-audiovizualnogo-sinteza-rechi-i-zhestovogo-yazyka-po-tekstu
	BASE
	Hide details

6	Robust Multimodal Cognitive Load Measurement
	Chen, Fang
	In: DTIC (2014)
	BASE
	Show details

7	Robust Multimodal Cognitive Load Measurement (RMCLM)
	Chen, Fang
	In: DTIC (2013)
	BASE
	Show details

8	Interactive multi-modal question-answering
	Bosch, Antal van den; Bouma, Gosse. - Berlin : Springer, 2011
	MPI für Psycholinguistik
	Show details

9	Effective and Spurious Ambiguities due to some Co-verbal Gestures in multimodal dialogue
	Landragin, Frédéric
	In: Eighth International Gesture Workshop (GW 2009) ; https://halshs.archives-ouvertes.fr/halshs-00436903 ; Eighth International Gesture Workshop (GW 2009), Feb 2009, Bielefeld, Germany (2009)
	BASE
	Show details

10	Between linguistic attention and gaze fixations in multimodal conversational interfaces
	Rui Fang; Joyce Y. Chai; Fernanda Ferreira
	In: http://web.cse.msu.edu/~fangrui/Papers/ICMI09.pdf (2009)
	BASE
	Show details

11	Ishizuka M.: Automatic generation of gaze and gestures for dialogues between embodied conversational agents
	Werner Breitfuss; W. Breitfuss; H. Prendinger...
	In: http://research.nii.ac.jp/%7Eprendinger/papers/werner-helmut-IJSC-08.pdf (2008)
	BASE
	Show details

12	Multi modal gesture identification for HCI using surface EMG
	Naik, Ganesh R. (R19010); Kumar, Dinesh K.; Arjunan, Sridhar P.. - : U.S., Association for Computing Machinery, 2008
	BASE
	Show details

13	Timing of visual and spoken input in robot instructions
	Joerg Wolf; Guido Bugmann
	In: http://www.swrtec.de/swrtec/research/publications/WolfBugmannsubmissionv3.pdf (2006)
	BASE
	Show details

14	Using redundant speech and handwriting for learning new vocabulary and understanding abbreviations
	Edward C. Kaiser
	In: https://pal.sri.com/CALOfiles/cstore/PAL-publications/calo/2006/p347-kaiser.pdf (2006)
	BASE
	Show details

15	Collaborative multimodal photo annotation over digital paper
	Paulo Barthelmess; Edward Kaiser; Xiao Huang...
	In: http://pdf.aminer.org/000/334/219/collaborative_multimodal_photo_annotation_over_digital_paper.pdf (2006)
	BASE
	Show details

16	Effective error recovery strategies for multimodal form-filling applications
	Janienke Sturm; Lou Boves
	In: http://lands.let.kun.nl/literature/sturm.2005.1.pdf (2005)
	BASE
	Show details

17	Distributed pointing for multimodal collaboration over sketched diagrams
	Paulo Barthelmess; Xiao Huang
	In: http://calosystem.com/publications/downloads/kaiser/distpointingmultimodal-kaiser.pdf (2005)
	BASE
	Show details

18	Distributed Pointing for Multimodal Collaboration Over Sketched Diagrams. ICMI
	Paulo Barthelmess; Xiao Huang; David Demirdjian
	In: http://www.barthelmess.net/Publications/ICMI/p10-barthelmess.pdf (2005)
	BASE
	Show details

19	Linguistic theories in efficient multimodal reference resolution: An empirical investigation
	Joyce Y. Chai; Zahar Prasov; Joseph Blaim...
	In: http://www.soc.northwestern.edu/justine/discourse07/week2/Chai_LinguisticTheories.pdf (2005)
	BASE
	Show details

20	Multimodal new vocabulary recognition through speech and handwriting in a whiteboard scheduling application
	Edward C. Kaiser
	In: http://www.cse.ogi.edu/CHCC/Publications/Multimodal_New_Vocabulary_Recognition_through_Speech_and_Handwriting_in_a_Whiteboard_Scheduling_Application.pdf (2005)
	BASE
	Show details

Page: 1 2

© 2013 - 2024 Lin|gu|is|tik | Imprint | Privacy Policy | Datenschutzeinstellungen ändern