Page: 1 2 3 4 5 6 7 8 9... 32
| 81 |
THE PROBLEMS OF HOMOFORMS ACCEPTATION IN THE PROCESS OF CONCEIVING THE ENGLISH PROFESSIONALLY ORIENTED TEXT ; ТРУДНОЩІ СПРИЙНЯТТЯ ОМОФОРМ У ПРОЦЕСІ ОСМИСЛЕННЯ АНГЛОМОВНОГО ФАХОВОГО ТЕКСТУ
|
|
|
|
In: Містобудування та територіальне планування; № 75 (2020); 309-316 ; Urban development and spatial planning; № 75 (2020); 309-316 ; 2522-9206 ; 2076-815X (2020)
|
|
BASE
|
|
Show details
|
|
|
| 82 |
THE USE OF THE EUROCOMGERM METHOD “DIE SIEBEN SIEBE” IN MODERN UKRAINIAN SCHOOL ; ЗАСТОСУВАННЯ МЕТОДИКИ EUROCOMGERM «DIE SIEBEN SIEBЕ» У СУЧАСНІЙ УКРАЇНСЬКІЙ ШКОЛІ»
|
|
|
|
In: Psychological and Pedagogical Problems of Modern School; № 1(3) (2020): ; 6-14 ; Психолого-педагогічні проблеми сучасної школи; № 1(3) (2020): Частина 2; 6-14 ; 2706-6258 (2020)
|
|
BASE
|
|
Show details
|
|
|
| 83 |
Techniques and components for natural language processing ; Методы и компоненты обработки естественного языка ; Методи та компоненти обробки природної мови
|
|
|
|
In: Adaptive systems of automatic control; Том 1, № 36 (2020): Adaptive Systems of Automatic Control; 93-113 ; Адаптивные системы автоматического управления; Том 1, № 36 (2020): Адаптивные системы автоматического управления; 93-113 ; Адаптивні системи автоматичного управління; Том 1, № 36 (2020): Адаптивні системи автоматичного управління; 93-113 ; 2522-9575 ; 1560-8956 (2020)
|
|
Abstract:
A dramatic change in the abilities of language models to provide state of the artaccuracy in a number of Natural Language Processing tasks is currently observed. These improvements open a lot of possibilities in solving NLP downstream tasks. Such tasks include machine translation, speech recognition, information retrieval, sentiment analysis, summarization, question answering, multilingual dialogue systems development and many more. Language models are one of the most important components in solving each of the mentioned tasks. This paper is devoted to research and analysis of the most adopted techniques and designs for building and training language models that show a state of the art results. Techniques and components applied in creation of language models and its parts are observed in this paper, paying attention to neural networks, embedding mechanisms, bidirectionality, encoder anddecoder architecture, attention and self-attention, as well as parallelization through using Transformer. Results: the most promising techniques imply pre-training and fine-tuning of a language model, attention-based neural network as a part of model design, and a complex ensemble of multidimensional embeddings to build deep context understanding. The latest offered architectures based on these approaches require a lot of computational power for training language model and it is a direction of further improvement.Ref. 49, pic. 13 ; В настоящее время языковые модели позволяют обеспечивать высокуюточность при решении ряда задач обработки естественного языка (naturallanguage processing – NLP). К таким задачам относятся – машинный перевод, распознавание речи, поиск информации, анализ настроений, обобщение, ответы на вопросы, разработка многоязычных диалоговых систем и многое другое. Статья посвящена исследованию и анализу наиболее распространенных в настоящее время методов и конструкций для построения и обучения языковых моделей, которые позволяют получить лучшие результаты. Рассматриваются методы и компоненты, применяемые при создании языковых моделей и их частей. Особое внимание уделяется рекуррентным нейронным сетям, механизмам представления словарей, архитектуре «кодера» и «декодера», концепции «внимания», а также распараллеливанию с использованием «Transformer». Установлено, что наиболее многообещающими методами являются: предварительное обучениемоделей на больших массивах данных с последующей тонкой настройкой; нейронные сети, основанные на внимании, как части дизайна модели; сложный ансамбль многомерных представлений словарей для построения глубокого понимания контекста. Архитектуры, основанные на этих подходах, требуют большой вычислительной мощности для обучения моделей, что определяет направление дальнейших исследований.Библ. 49, ил. 13 ; В даний час мовні моделі дозволяють забезпечувати високу точність привирішенні ряду задач обробки природної мови (natural language processing – NLP). До таких завдань відносяться – машинний переклад, розпізнавання мови, пошук інформації, аналіз настроїв, узагальнення, відповіді на питання, розробка багатомовних діалогових систем і багато іншого. Стаття присвячена дослідженню та аналізу найбільш поширених в даний час методів і конструкцій для побудови і навчання мовних моделей, які дозволяють отримати найкращі результати. Розглядаються методи та компоненти, що застосовуються при створенні мовних моделей та їх частин. Особлива увага приділяється рекурентним нейронним мережам, механізмам представлення словників, архітектурі «кодера» і «декодера», концепції «уваги», а також розпаралелюванню з використанням «Transformer». Встановлено, що найбільш перспективними методами є: попереднє навчання моделей навеликих масивах даних з подальшою тонкою настройкою; нейронні мережі, засновані на увазі, як частині дизайну моделі; складний ансамбль багатовимірних представлень словників для побудови глибокого розуміння контексту. Архітектури, засновані на цих підходах, вимагають великої обчислювальної потужності для навчання моделей, що визначає напрямок подальших досліджень.Бібл. 49, іл. 13
|
|
Keyword:
attention; decoder; deep learning; embeddings; encoder; GRU; language model; LSTM; neural network; NLP; RNN; transfer learning; Transformer; глибоке навчання; глубокое обучение; декодер; кодер; мовна модель; нейронна мережа; нейронная сеть; НЛП; трансферне навчання; трансферное обучение; трансформер; трансфорормер; языковая модель
|
|
URL: http://asac.kpi.ua/article/view/209780
|
|
BASE
|
|
Hide details
|
|
|
| 84 |
Language Teaching Methodologies. Boosting Translator Training by Comparing Linguistic Aspects
|
|
|
|
BASE
|
|
Show details
|
|
|
| 85 |
Transfer learning for Turkish named entity recognition on noisy text
|
|
|
|
In: 27 ; 1 ; 35 ; 64 (2020)
|
|
BASE
|
|
Show details
|
|
|
| 86 |
Progressive and regressive transfer in third language acquisition and development: An up-to-date review
|
|
|
|
In: Lingue e Linguaggi; Volume 39 (2020); 339-359 (2020)
|
|
BASE
|
|
Show details
|
|
|
| 87 |
The Interaction Between Word Order and Verb Type in L2 Spanish and L1 English Sentence Processing
|
|
|
|
BASE
|
|
Show details
|
|
|
| 88 |
Reconciling Historical Data and Modern Computational Models in Corpus Creation
|
|
|
|
In: Proceedings of the Society for Computation in Linguistics (2020)
|
|
BASE
|
|
Show details
|
|
|
| 89 |
Stress production by Cebuano learners of Arabic: A metrical analysis
|
|
|
|
In: Indonesian Journal of Applied Linguistics, Vol 9, Iss 3, Pp 517-525 (2020) (2020)
|
|
BASE
|
|
Show details
|
|
|
| 90 |
Learning Deep Representations for Low-Resource Cross-Lingual Natural Language Processing
|
|
|
|
BASE
|
|
Show details
|
|
|
| 91 |
Cross-lingual parsing with polyglot training and multi-treebank learning: a Faroese case study
|
|
|
|
In: Barry, James orcid:0000-0003-3051-585X , Wagner, Joachim orcid:0000-0002-8290-3849 and Foster, Jennifer orcid:0000-0002-7789-4853 (2019) Cross-lingual parsing with polyglot training and multi-treebank learning: a Faroese case study. In: The 2nd Workshop on Deep Learning Approaches for Low-Resource NLP (DeepLo 2019), 3 - 5 Nov 2019, Hong Kong, China. ISBN 978-1-950737-78-9 (2019)
|
|
BASE
|
|
Show details
|
|
|
| 92 |
First Language Transfer in Mandarin Compositions Written by Learners with English as Mother Tongue
|
|
|
|
In: Chinese Language Teaching Methodology and Technology (2019)
|
|
BASE
|
|
Show details
|
|
|
| 93 |
Terminology acquisition methods in Arabic : Application in the medical domain ; Méthodes d'acquisition terminologique en arabe : Application au domaine médical
|
|
|
|
In: https://tel.archives-ouvertes.fr/tel-02326714 ; Informatique et langage [cs.CL]. Université Paris Saclay (COmUE); Université de Sfax (Tunisie). Faculté des Sciences économiques et de gestion, 2019. Français. ⟨NNT : 2019SACLS085⟩ (2019)
|
|
BASE
|
|
Show details
|
|
|
| 94 |
Exploring Teaching for Transfer in an Undergraduate Second Language Academic Writing Course
|
|
|
|
In: http://rave.ohiolink.edu/etdc/view?acc_num=osu156555200671389 (2019)
|
|
BASE
|
|
Show details
|
|
|
| 95 |
Neural Methods Towards Concept Discovery from Text via Knowledge Transfer
|
|
|
|
In: http://rave.ohiolink.edu/etdc/view?acc_num=osu1572387318988274 (2019)
|
|
BASE
|
|
Show details
|
|
|
| 96 |
Bildungsforschung mit Daten der amtlichen Statistik ; Educational research with data of official statistics
|
|
|
|
In: Fickermann, Detlef [Hrsg.]; Weishaupt, Horst [Hrsg.]: Bildungsforschung mit Daten der amtlichen Statistik. Münster ; New York : Waxmann 2019, S. 11-18. - (Die Deutsche Schule, Beiheft; 14) (2019)
|
|
BASE
|
|
Show details
|
|
|
| 97 |
Beziehungen in pädagogischen Arbeitsfeldern und ihren Transitionen über die Lebensalter
|
|
|
|
In: Bad Heilbrunn : Verlag Julius Klinkhardt 2019, 333 S. (2019)
|
|
BASE
|
|
Show details
|
|
|
| 98 |
Bildungsforschung mit Daten der amtlichen Statistik
|
|
|
|
In: Münster ; New York : Waxmann 2019, 267 S. - (Die Deutsche Schule, Beiheft; 14) (2019)
|
|
BASE
|
|
Show details
|
|
|
| 99 |
On Middle-Ground Solutions for Domain-Specific Problems: The Case of a Data Transfer System for Sign Language Teachers ...
|
|
|
|
BASE
|
|
Show details
|
|
|
| 100 |
Κοινωνιογλωσσική Ανάπτυξη και Πραγματολογική Παρεμβολή υπό το Πρίσμα της Μετάφρασης στη Εκμάθηση Ξένων Γλωσσών ...
|
|
|
|
BASE
|
|
Show details
|
|
|
Page: 1 2 3 4 5 6 7 8 9... 32 |
|
