| 1 |
Found speech and humans in the loop : Ways to gain insight into large quantities of speech
|
|
|
|
Abstract:
Found data - data used for something other than the purpose for which it was originally collected - holds great value in many regards. It typically reflects high ecological validity, a strong cultural worth, and there are significant quantities at hand. However, it is noisy, hard to search through, and its contents are often largely unknown. This thesis explores ways to gain insight into such data collections, specifically with regard to speech and audio data. In recent years, deep learning approaches have shown unrivaled performance in many speech and language technology tasks. However, in addition to large datasets, many of these methods require vast quantities of high-quality labels, which are costly to produce. Moreover, while there are exceptions, machine learning models are typically trained for solving well-defined, narrow problems and perform inadequately in tasks of more general nature - such as providing a high-level description of the contents in a large audio file. This observation reveals a methodological gap that this thesis aims to fill. An ideal system for tackling these matters would combine humans' flexibility and general intelligence with machines' processing power and pattern-finding capabilities. With this idea in mind, the thesis explores the value of including the human-in-the-loop, specifically in the context of gaining insight into collections of found speech. The aim is to combine techniques from speech technology, machine learning paradigms, and human-in-the-loop approaches, with the overall goal of developing and evaluating novel methods for efficiently exploring large quantities of found speech data. One of the main contributions is Edyson, a tool for fast browsing, exploring, and annotating audio. It uses temporally disassembled audio, a technique that decouples the audio from the temporal dimension, in combination with feature extraction methods, dimensionality reduction algorithms, and a flexible listening function, which allows a user to get an informative overview of the contents. Furthermore, crowdsourcing is explored in the context of large-scale perception studies and speech & language data collection. Prior reports on the usefulness of crowd workers for such tasks show promise and are here corroborated. The thesis contributions suggest that the explored approaches are promising options for utilizing large quantities of found audio data and deserve further consideration in research and applied settings. ; Funnet data - data som används för något annat än det syfte som det först samlades in för - är värdefullt i många avseenden. Det reflekterar vanligtvis hög ekologisk validitet, det har ett starkt kulturellt värde, och det finns stora mängder att ta del av. Det är dock fyllt av brus, svårt att få en överblick av, och ofta är innehållet inte tydligt. Denna avhandling utforskar metoder som ger insikt i dessa datasamlingar, specifikt vad gäller tal och ljud. På senare tid har djupinlärning producerat oöverträffade resultat inom tal och språkteknologi. Många av dessa metoder behöver dock väldiga mängder annoterat data, vilket är kostsamt att skapa. Dessutom är maskininlärningsmodeller vanligtvis tränade med väldefinierade problem i åtanke, och presterar sämre inom mer generella uppgifter - såsom att tillhandahålla en övergripande beskrivning av innehållet i en stor ljudfil. Denna observation visar på en brist inom existerande metodologier, således finns det ett behov av vidare tekniker vilket är något som denna avhandling syftar till att täcka. Ett idealt angreppsätt för dessa problem kombinerar flexibiliteten och den generella intelligensen hos en människa med beräkningskraften och mönsterigenkänningsförmågan hos en maskin. Utifrån dessa idéer utforskar avhandlingen värdet av att inkludera människan i loopen, specifikt utifrån hur insikter om stora insamlingar av funnet tal kan skapas. Huvudidén är således att kombinera tekniker från talteknologi, maskininlärningsparadigm, samt människa-i-loopen-metoder, med det övergripande målet att utveckla och utvärdera nya metoder för utforskandet av stora mängder funnet taldata. Ett primärt bidrag är Edyson, ett verktyg för snabb genomlyssning och annotering av ljud. Det bygger på tidsmässig isärtagning av ljud i kombination med särdragsextraktion, dimensionsreduceringsalgoritmer, samt en flexibel lyssningsfunktion, vilket ger en användare en informativ överblick av innehållet. Vidare undersöks crowdsourcing inom kontexten av storskaliga perceptionsstudier och datainsamling av tal och språkdata. Tidigare rapporter som visar på användbarheten av crowd workers är styrkta av avhandlingens bidrag. Avhandlingsbidragen visar att de undersökta metoderna är lovande alternativ för utforskandet av stora mängder funnet ljuddata och förtjänar vidare uppmärksamhet. ; QC 20220222
|
|
Keyword:
crowdsourcing; dimensionality reduction; Found data; found speech; human-in-the-loop; Language Technology (Computational Linguistics); sound browsing; Språkteknologi (språkvetenskaplig databehandling); visualization
|
|
URL: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-309031
|
|
BASE
|
|
Hide details
|
|
|
| 2 |
Development of Gaussian Learning Algorithms for Early Detection of Alzheimer's Disease
|
|
|
|
In: FIU Electronic Theses and Dissertations (2020)
|
|
BASE
|
|
Show details
|
|
|
| 3 |
How to visualize high-dimensional data: a roadmap
|
|
|
|
In: Journal of Data Mining and Digital Humanities, Vol Special issue on Visualisations in Historical Linguistics (2020) (2020)
|
|
BASE
|
|
Show details
|
|
|
| 4 |
An Empirical Study of Word Embedding Dimensionality Reduction ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 5 |
An Empirical Study of Word Embedding Dimensionality Reduction ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 6 |
Dimensionality reduction methods for machine translation quality estimation
|
|
|
|
BASE
|
|
Show details
|
|
|
| 8 |
C.: EdgeMaps: Visualizing Explicit and Implicit Relations
|
|
|
|
In: http://www.mariandoerk.de/edgemaps/vda2011.pdf (2011)
|
|
BASE
|
|
Show details
|
|
|
| 10 |
Meaningful term extraction and discriminative term selection in text categorization via unknown-word methodology
|
|
|
|
In: http://www.cs.toronto.edu/~gh/Courses/2528/Readings/2002f/Lai+Wu.pdf (2002)
|
|
BASE
|
|
Show details
|
|
|
| 11 |
Dimensionality reduction of electropalatographic data using latent variable models
|
|
|
|
BASE
|
|
Show details
|
|
|
| 12 |
EdgeMaps: Visualizing Explicit and Implicit Relations
|
|
|
|
In: http://www.imaging.org/ist/publications/reporter/articles/REP26_2_EI2011_DOERK_7868_14.pdf
|
|
BASE
|
|
Show details
|
|
|
| 13 |
EdgeMaps: Visualizing Explicit and Implicit Relations
|
|
|
|
In: http://innovis.cpsc.ucalgary.ca/innovis/uploads/Publications/Publications/Doerk2011VDA.pdf
|
|
BASE
|
|
Show details
|
|
|
|
|
