Аналіз та розробка методів виявлення спаму та фішингу в електронній пошті з використанням обробки природної мови

Abstract

Кваліфікаційна робота присвячена розв'язанню актуальної задачі ідентифікації небажаної електронної кореспонденції за допомогою методів обробки природної мови (NLP) та машинного навчання. У роботі обґрунтовано доцільність переходу від класичних детермінованих систем фільтрації до адаптивних нейромережевих рішень. Сформовано та збалансовано унікальний масив даних обсягом 38 610 листів, що включає три класи: легітимні повідомлення, спам та фішинг. Розроблено автоматизований конвеєр попередньої обробки тексту, який реалізує токенізацію, видалення шуму та векторизацію (TF-IDF, Word Embeddings). Проведено експериментальне порівняння базових алгоритмів (Multinomial Naive Bayes, Logistic Regression) та глибокої нейронної мережі архітектури Bi-LSTM. Доведено, що класичні лінійні моделі схильні до перенавчання на специфічних лексичних маркерах через явище "зсуву даних". Встановлено, що оптимальним рішенням для виявлення складних соціально-інженерних фішингових атак є використання двонаправлених рекурентних мереж, здатних аналізувати семантичний контекст текстової послідовності. Розроблена модель Bi-LSTM досягла точності 99,79 % на валідаційній вибірці. Отримані результати мають високу практичну значущість і можуть бути інтегровані в сучасні системи корпоративної кібербезпеки.The qualification work is devoted to solving the urgent problem of identifying unwanted email correspondence using natural language processing (NLP) and machine learning methods. The paper substantiates the expediency of transitioning from classical deterministic filtering systems to adaptive neural network solutions. A unique dataset of 38,610 emails was aggregated and balanced, including three classes: legitimate messages, spam, and phishing. An automated text preprocessing pipeline was developed, implementing tokenization, noise removal, and vectorization (TF-IDF, Word Embeddings). An experimental comparison of baseline algorithms (Multinomial Naive Bayes, Logistic Regression) and a deep neural network of Bi-LSTM architecture was conducted. It was proved that classical linear models are prone to overfitting on specific lexical markers due to the "dataset shift" phenomenon. It was established that the optimal solution for detecting complex social engineering phishing attacks is the use of bidirectional recurrent networks capable of analyzing the semantic context of a text sequence. The developed Bi-LSTM model achieved an accuracy of 99.79% on the validation set. The obtained results have high practical significance and can be integrated into modern corporate cybersecurity systems.