Elektrotehničko i računarsko inženjerstvo
God. 40 Br. 04 (2025): Zbornik radova Fakulteta tehničkih nauka
АЛГОРИТАМ ЗА ТРАНСФОРМЕР ЗА ПРОБЛЕМ ПРЕВОЂЕЊА СА ЕНГЛЕСКОГ НА СРПСКИ ЈЕЗИК
Apstrakt
Тема овог рада jе имплементирање алгоритма за трансформер за проблем превођења са енглеског на српски jезик и формирање претренираног модела коjи се може користити за оваj и остале задатке обраде природних jезика.
Структура коjа jе имплементирана овим радом jе предложена у раду.
Reference
[1] A. Vaswani, N. Shazeer and others, Attention is All You Need, Advances in Neural Information Processing Systems, 2017, pp. 5998-6008. https://papers.nips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper. pdf
[2] Daniel Jurafsky and James H. Martin, Speech and Language Processing, An Introduction to Natural Language Processing, 3rd edition, 2024 https://web.stanford.edu/~jurafsky/slp3/
[3] Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey E. Hinton, Layer Normalization, 2016 https://arxiv.org/abs/1607.06450
[4] https://data.statmt.org/opus-100-corpus/v1.0/supervised/en-sr/
[5] Слика преузета са: https://www.brainlabsdigital.com/blog/what-word2vec-means-forseo/