Розробка та дослідження системи розпізнавання та інтерпретації жестів на основі фреймворку MediaPipe

Abstract

У роботі обґрунтовано розробку системи розпізнавання та інтерпретації жестів на основі фреймворку MediaPipe для мобільної AR-взаємодії. Проаналізовано основи жестових інтерфейсів та методи розпізнавання для HCI-систем, спроєктовано гібридний конвеєр із трекінгом ключових точок кисті, нормалізацією, фільтрацією даних та побудовою дескрипторів. Реалізовано класифікатор на основі машинного навчання для розпізнавання жестів та їх інтерпретації у команди керування віртуальними об’єктами, інтегровано модуль нейронної корекції зображення для підвищення стійкості до освітлення.

The work substantiates the development of a gesture recognition and interpretation system based on the MediaPipe framework for mobile AR interaction. The basics of gesture interfaces and recognition methods for HCI systems were analyzed. A hybrid pipeline was designed and implemented, including tracking key points of the hand, normalization, data filtering, and descriptor construction. A machine learning–based classifier was applied for gesture recognition and interpretation into virtual object control commands, and a neural image correction module was integrated to improve robustness to lighting conditions.