У роботі обґрунтовано розробку системи розпізнавання та інтерпретації жестів на основі фреймворку MediaPipe для мобільної AR-взаємодії. Проаналізовано основи жестових інтерфейсів та методи розпізнавання для HCI-систем, спроєктовано гібридний конвеєр із трекінгом ключових точок кисті, нормалізацією, фільтрацією даних та побудовою дескрипторів. Реалізовано класифікатор на основі машинного навчання для розпізнавання жестів та їх інтерпретації у команди керування віртуальними об’єктами, інтегровано модуль нейронної корекції зображення для підвищення стійкості до освітлення.
Робота присвячена розробці додатку доповненої реальності в середовищі Unity3D із використанням засобів .NET, який інтегрує віртуальні об’єкти та інформацію у реальне середовище, забезпечує взаємодію користувача з AR-контентом і може застосовуватися для навчання, виробництва або інтерактивних демонстрацій.
