| 1 |
Can distributional semantics explain performance on the false belief task? ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 2 |
Deep Learning-Based End-to-End Language Development Screening for Children Using Linguistic Knowledge
|
|
|
|
In: Applied Sciences; Volume 12; Issue 9; Pages: 4651 (2022)
|
|
BASE
|
|
Show details
|
|
|
| 3 |
STUDENT ACHIEVEMENT INDICATORS AT DEFENSE LANGUAGE INSTITUTE FOREIGN LANGUAGE CENTER
|
|
|
|
BASE
|
|
Show details
|
|
|
| 4 |
Factors Behind the Effectiveness of an Unsupervised Neural Machine Translation System between Korean and Japanese
|
|
|
|
In: Applied Sciences ; Volume 11 ; Issue 16 (2021)
|
|
BASE
|
|
Show details
|
|
|
| 5 |
Tracking streams of information in the neural system for language ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 6 |
The Phonological Latching Network
|
|
|
|
In: Biolinguistics, Vol 14, Iss SI (2021) (2021)
|
|
BASE
|
|
Show details
|
|
|
| 7 |
Lexical Strata and Phonotactic Perplexity Minimization
|
|
|
|
In: Proceedings of the Annual Meetings on Phonology; Proceedings of the 2020 Annual Meeting on Phonology ; 2377-3324 (2021)
|
|
BASE
|
|
Show details
|
|
|
| 8 |
A Convolutional Deep Markov Model for Unsupervised Speech Representation Learning
|
|
|
|
In: Interspeech 2020 ; https://hal.archives-ouvertes.fr/hal-02912029 ; Interspeech 2020, Oct 2020, Shanghai, China (2020)
|
|
BASE
|
|
Show details
|
|
|
| 11 |
What Limits our Capacity to Process Nested Long-Range Dependencies in Sentence Comprehension?
|
|
|
|
In: Entropy ; Volume 22 ; Issue 4 (2020)
|
|
BASE
|
|
Show details
|
|
|
| 12 |
Assessment of Word-Level Neural Language Models for Sentence Completion
|
|
|
|
In: Applied Sciences ; Volume 10 ; Issue 4 (2020)
|
|
BASE
|
|
Show details
|
|
|
| 13 |
Automatic Language Identification Using Speech Rhythm Features for Multi-Lingual Speech Recognition
|
|
|
|
In: Applied Sciences ; Volume 10 ; Issue 7 (2020)
|
|
BASE
|
|
Show details
|
|
|
| 14 |
Enhancing the Reasoning Capabilities of Natural Language Inference Models with Attention Mechanisms and External Knowledge
|
|
|
|
BASE
|
|
Show details
|
|
|
| 15 |
Techniques and components for natural language processing ; Методы и компоненты обработки естественного языка ; Методи та компоненти обробки природної мови
|
|
|
|
In: Adaptive systems of automatic control; Том 1, № 36 (2020): Adaptive Systems of Automatic Control; 93-113 ; Адаптивные системы автоматического управления; Том 1, № 36 (2020): Адаптивные системы автоматического управления; 93-113 ; Адаптивні системи автоматичного управління; Том 1, № 36 (2020): Адаптивні системи автоматичного управління; 93-113 ; 2522-9575 ; 1560-8956 (2020)
|
|
Abstract:
A dramatic change in the abilities of language models to provide state of the artaccuracy in a number of Natural Language Processing tasks is currently observed. These improvements open a lot of possibilities in solving NLP downstream tasks. Such tasks include machine translation, speech recognition, information retrieval, sentiment analysis, summarization, question answering, multilingual dialogue systems development and many more. Language models are one of the most important components in solving each of the mentioned tasks. This paper is devoted to research and analysis of the most adopted techniques and designs for building and training language models that show a state of the art results. Techniques and components applied in creation of language models and its parts are observed in this paper, paying attention to neural networks, embedding mechanisms, bidirectionality, encoder anddecoder architecture, attention and self-attention, as well as parallelization through using Transformer. Results: the most promising techniques imply pre-training and fine-tuning of a language model, attention-based neural network as a part of model design, and a complex ensemble of multidimensional embeddings to build deep context understanding. The latest offered architectures based on these approaches require a lot of computational power for training language model and it is a direction of further improvement.Ref. 49, pic. 13 ; В настоящее время языковые модели позволяют обеспечивать высокуюточность при решении ряда задач обработки естественного языка (naturallanguage processing – NLP). К таким задачам относятся – машинный перевод, распознавание речи, поиск информации, анализ настроений, обобщение, ответы на вопросы, разработка многоязычных диалоговых систем и многое другое. Статья посвящена исследованию и анализу наиболее распространенных в настоящее время методов и конструкций для построения и обучения языковых моделей, которые позволяют получить лучшие результаты. Рассматриваются методы и компоненты, применяемые при создании языковых моделей и их частей. Особое внимание уделяется рекуррентным нейронным сетям, механизмам представления словарей, архитектуре «кодера» и «декодера», концепции «внимания», а также распараллеливанию с использованием «Transformer». Установлено, что наиболее многообещающими методами являются: предварительное обучениемоделей на больших массивах данных с последующей тонкой настройкой; нейронные сети, основанные на внимании, как части дизайна модели; сложный ансамбль многомерных представлений словарей для построения глубокого понимания контекста. Архитектуры, основанные на этих подходах, требуют большой вычислительной мощности для обучения моделей, что определяет направление дальнейших исследований.Библ. 49, ил. 13 ; В даний час мовні моделі дозволяють забезпечувати високу точність привирішенні ряду задач обробки природної мови (natural language processing – NLP). До таких завдань відносяться – машинний переклад, розпізнавання мови, пошук інформації, аналіз настроїв, узагальнення, відповіді на питання, розробка багатомовних діалогових систем і багато іншого. Стаття присвячена дослідженню та аналізу найбільш поширених в даний час методів і конструкцій для побудови і навчання мовних моделей, які дозволяють отримати найкращі результати. Розглядаються методи та компоненти, що застосовуються при створенні мовних моделей та їх частин. Особлива увага приділяється рекурентним нейронним мережам, механізмам представлення словників, архітектурі «кодера» і «декодера», концепції «уваги», а також розпаралелюванню з використанням «Transformer». Встановлено, що найбільш перспективними методами є: попереднє навчання моделей навеликих масивах даних з подальшою тонкою настройкою; нейронні мережі, засновані на увазі, як частині дизайну моделі; складний ансамбль багатовимірних представлень словників для побудови глибокого розуміння контексту. Архітектури, засновані на цих підходах, вимагають великої обчислювальної потужності для навчання моделей, що визначає напрямок подальших досліджень.Бібл. 49, іл. 13
|
|
Keyword:
attention; decoder; deep learning; embeddings; encoder; GRU; language model; LSTM; neural network; NLP; RNN; transfer learning; Transformer; глибоке навчання; глубокое обучение; декодер; кодер; мовна модель; нейронна мережа; нейронная сеть; НЛП; трансферне навчання; трансферное обучение; трансформер; трансфорормер; языковая модель
|
|
URL: http://asac.kpi.ua/article/view/209780
|
|
BASE
|
|
Hide details
|
|
|
| 16 |
A Reservoir Model for Intra-Sentential Code-Switching Comprehension in French and English
|
|
|
|
In: CogSci'19 - 41st Annual Meeting of the Cognitive Science Society ; https://hal.inria.fr/hal-02432831 ; CogSci'19 - 41st Annual Meeting of the Cognitive Science Society, Jul 2019, Montréal, Canada ; https://cognitivesciencesociety.org/cogsci-2019/ (2019)
|
|
BASE
|
|
Show details
|
|
|
| 17 |
Learning Subword Embedding to Improve Uyghur Named-Entity Recognition
|
|
|
|
In: Information ; Volume 10 ; Issue 4 (2019)
|
|
BASE
|
|
Show details
|
|
|
| 18 |
A High Efficient Biological Language Model for Predicting Protein–Protein Interactions
|
|
|
|
In: Cells ; Volume 8 ; Issue 2 (2019)
|
|
BASE
|
|
Show details
|
|
|
| 19 |
Interfering ACE on comprehending embodied meaning in action-related Chinese counterfactual sentences
|
|
|
|
BASE
|
|
Show details
|
|
|
| 20 |
Translating pro-drop languages with reconstruction models
|
|
|
|
In: Wang, Longyue orcid:0000-0002-9062-6183 , Tu, Zhaopeng, Shi, Shuming, Zhang, Tong, Graham, Yvette and Liu, Qun orcid:0000-0002-7000-1792 (2018) Translating pro-drop languages with reconstruction models. In: 32nd AAAI Conference on Artificial Intelligence (AAAI 2018), 2 - 7 Feb 2018, New Orleans, LA, USA. ISBN 978-1-57735-800-8 (2018)
|
|
BASE
|
|
Show details
|
|
|
|
|
