Zbornik radova Fakulteta tehničkih nauka u Novom Sadu

Elektrotehničko i računarsko inženjerstvo

God. 37 Br. 09 (2022): Zbornik radova Fakulteta tehničkih nauka

DETEKCIJA SARKAZMA U NASLOVIMA NOVINSKIH ČLANAKA UPOTREBOM NEURONSKIH MREŽA

  • Aleksandar Vujinović
DOI:
https://doi.org/10.24867/19BE16Vujinovic
Predato
September 7, 2022
Objavljeno
2022-09-07

Apstrakt

Sarkazam je način komunikacije koji predstavlja suprotnost od pravog značenja sa ciljem da se na duhovit način nešto kritikuje. Vrlo je bitno da sarka­zam u komunikaciji bude shvaćen na pravi način kako ne bi došlo do nerazumevanja. U pisanoj reprezentaciji je sarkazam teže uočljiv jer nedostaju svi neverbalni signali. U ovom radu prikazana je detekcija sarkazma u novin­skim naslovima korišćenjem: (1) modela zasnovanih na neuronskim mrežama koji koriste vektorske reprezentacije teksta i (2) modela zasnovanih na transformer arhitekturi. Kao najbolji od modela zasnovanih na neuronskim mre­žama pokazao se model sa LSTM (Long Short-Term Memory) i konvolutivnim slojevima, postigavši tačnost od 86%. Transformer modeli su nadmašili rezultate grupe modela zasnovanih na neuronskim mrežama i vektorskoj reprezentaciji teksta. Među njima, najbolje rezultate pokazao je model roBERTa sa tačnošću od 94%.

Reference

Devlin, J., Chang, M.W., Lee, K. and Toutanova, K., 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
[2] Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L. and Stoyanov, V., 2019. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692.
[3] Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. and Sutskever, I., 2019. Language models are unsupervised multitask learners. OpenAI blog, 1(8), p.9.
[4] Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W. and Liu, P.J., 2019. Exploring the limits of transfer learning with a unified text-to-text transformer. arXiv preprint arXiv:1910.10683.
[5] Misra, R. and Arora, P., 2019. Sarcasm detection using hybrid neural network. arXiv preprint arXiv:1908.07414.
[6] Felbo, B., Mislove, A., Søgaard, A., Rahwan, I. and Lehmann, S., 2017. Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm. arXiv preprint arXiv:1708.00524.
[7] https://twitter.com
[8] Akula, R. and Garibay, I., 2021. Interpretable Multi-Head Self-Attention Architecture for Sarcasm Detection in Social Media. Entropy, 23(4), p.394.
[9] https://reddit.com
[10] https://keras.io/
[11] https://keras.io/keras_tuner/
[12] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, Ł. and Polosukhin, I., 2017. Attention is all you need. Advances inneural information processing systems, 30.
[13] https://huggingface.co/
[14] Sun, C., Qiu, X., Xu, Y. and Huang, X., 2019, October. How to fine-tune bert for text classification?. In China national conference on Chinese computational linguistics (pp. 194-206). Springer, Cham.
[15] Mandal, P.K. and Mahto, R., 2019. Deep CNN-LSTM with word embeddings for news headline sarcasm detection. In 16th International Conference on Information Technology-New Generations (ITNG 2019) (pp. 495-498). Springer, Cham.