Дослідження та розробка інтелектуальної системи транскрибації живого мовлення з функціями аналізу даних

Abstract

Кваліфікаційна робота магістра складається зі вступу, 3 розділів, висновків, списку використаних джерел та додатків. У першому розділі проведено комплексний аналіз предметної області та існуючих комерційних рішень, що дозволило ідентифікувати проблеми ручної обробки аудіоданих та обґрунтувати технічну доцільність створення власного Middleware-рішення. Аргументовано вибір технологічного стеку на базі екосистеми JavaScript (Node.js, Next.js) та хмарних сервісів штучного інтелекту для вирішення поставлених завдань. У другому розділі спроєктовано архітектуру системи у вигляді модульного моноліту, розроблено реляційну модель бази даних SQLite та алгоритми інтеграції з API KommoCRM і Phonet. Деталізовано логіку роботи модулів автоматичної транскрибації (Whisper), спікер-діарізації та семантичного аналізу розмов із використанням моделі GPT-4o та механізму Function Calling. У третьому розділі описано етапи практичної реалізації та розгортання програмного комплексу SmartIO CRM, а також проведено навантажувальне тестування системи. Виконаний аналіз ефективності впровадження продемонстрував високу відмовостійкість рішення та скорочення часу обробки ліда на 85 % завдяки автоматизації рутинних операцій.

The Master’s thesis consists of an introduction, 3 chapters, conclusions, a list of references, and appendices. The first chapter analyzes the subject domain and existing commercial solutions, identifying issues with manual audio data processing and substantiating the technical feasibility of creating a proprietary Middleware solution. The choice of a technology stack based on the JavaScript ecosystem (Node.js, Next.js) and cloud AI services to address the set tasks is argued. The second chapter designs the system architecture as a modular monolith, developing a relational SQLite database model and integration algorithms with KommoCRM and Phonet APIs. The logic for automatic transcription (Whisper), speaker diarization, and semantic conversation analysis using the GPT-4o model and Function Calling mechanism is detailed.The third chapter describes the stages of practical implementation and deployment of the SmartIO CRM software complex, as well as load testing of the system. The efficiency analysis demonstrated high system fault tolerance and an 85 % reduction in lead processing time due to the automation of routine operations.