Розробка та дослідження застосунку для парсингу логістичних порталів

Abstract

Кваліфікаційна робота магістра складається зі вступу, трьох розділів, висновків, пропозицій, списку використаних джерел та додатків. У роботі досліджено актуальну проблему автоматизації збору логістичних даних у сучасних умовах цифровізації транспортних процесів. Проаналізовано особливості логістичних порталів, їхню архітектуру, динамічні механізми формування контенту, рівні захисту та специфіку доступу до API. Розкрито сучасні підходи й алгоритми web-скрапінгу, включаючи статичний, динамічний і API-орієнтований парсинг, а також інструменти для обходу антибот-захисту та методи нормалізації неструктурованих даних. Запропоновано архітектуру застосунку для автоматизованого збору даних із використанням технологій Node.js, Playwright і MongoDB, аргументовано вибір технологічного стеку та моделювання ключових компонентів системи. Проведено комплексне тестування застосунку, включаючи функціональне, навантажувальне, модульне та інтеграційне тестування. Виконано оцінювання продуктивності модулів, аналіз стабільності роботи при різних режимах навантаження та визначено точність отриманих даних. У результаті дослідження створено застосунок, що автоматично збирає та обробляє логістичні дані майже в реальному часі. Результати підтвердили його ефективність і готовність до впровадження для прискорення пошуку перевезень та підвищення точності аналітики.