MATNLI MA’LUMOTLARGA DASTLABKI ISHLOV BERISH ALGORITMLARI
Ключевые слова:
Matnli ma’lumot, dastlabki ishlov, TF-IDF, so‘zlar sumkasi modeli, vektor fazosi, Word2Vec, CBOW, Skip-Gram, semantika, normallashtirish, to‘xtash so‘zlar.Аннотация
В статье анализируются алгоритмические основы процесса
предварительной обработки текстовых данных. Сначала проверяются этапы очистки
текста с использованием таких методов, как HTML-теги, стоп-слова, пунктуация и
корневой анализ. Рассматриваются классические методы численного представления
текста, такие как TF-IDF, модель «мешка слов» и модель векторного пространства.
Также будут представлены современные модели на основе нейронных сетей, такие как
Word2Vec, CBOW и Skip-Gram. Эти модели сохраняют смысловые связи и контекст в
тексте, что позволяет проводить глубокий анализ текста. В статье также
рассматриваются теоретические основы алгоритмов и их потенциальное применение в
реальных приложениях.
Библиографические ссылки
Saleh A.I., Abulwafa A.E., Al Rahmawy M.F. A web page distillation strategy for efficient focused crawling based on optimized Naive Bayes (ONB) classifier // Applied Soft Computing. – 2017. – Vol. 53. – P. 181–204.
Бабомурадов О.Ж., Қўйлиева Ф.А., Туракулов О.Х. Clustering approaches to text documents // Научный журнал транспортных средств и дорог. – 2022. – № 1. – С. 109–114.
Karystianis G., Thayer K., Wolfe M., Tsafnat G. Evaluation of a rule-based method for epidemiological document classification towards the automation of systematic reviews // Journal of Biomedical Informatics. – 2017. – Vol. 70. – P. 27–34.
Babomuradov O.J., Turakulov O.X. Matnni intellektual tahlillash yondashuvlari // Informatika va energetika muammolari. – 2016. – № 4. – B. 68–72.
Babomuradov O.J., Turakulov O.X. Matn belgilari o‘lchovini qisqartirish hamda tabiiy til matnini tahlillash yondashuvi // Innovative Developments and Research in Education: International Scientific-Online Conference. – Canada, 2023-yil 23-dekabr. – Part 24. – P. 320.
Babomuradov O.J., Mamatov N.S., Boboyev L.B., Otaxonova B.I. Text documents classification in Uzbek language // International Journal of Recent Technology and Engineering. – 2019. – Vol. 8, No. 2. – P. 39–43.