Розробка та дослідження автономного інтелектуального агента у віртуальному середовищі методами глибокого навчання з підкріпленням

Abstract

Робота присвячена дослідженню та програмній реалізації автономного агента для мобільної головоломки Block Blast у віртуальному середовищі Android-емулятора. Проведено аналіз предметної області та формалізовано задачу керування у термінах марковського процесу прийняття рішень. Обґрунтовано декомпозицію системи на модулі сприйняття, прийняття рішень і виконання дій. Розроблено програму annotator.py для збору навчальної вибірки пар «зображення фігури – бінарна матриця форми». Побудовано та навчено згорткову нейронну мережу block_blast_recognizer для класифікації 40 геометричних форм блоків. Реалізовано агента Deep Q-Network з маскуванням легальних дій, буфером повторів і цільовою-мережею; інтегровано зчитування стану гри та керування через Android Debug Bridge (BlueStacks, hd-adb). Програмна реалізація виконана мовою Python з використанням TensorFlow/Keras, OpenCV та NumPy. Експериментальне дослідження підтвердило працездатність запропонованої архітектури. На власному наборі з 503 зображень (після балансування та HSV-аугментації – близько 7040 зразків) згортковий класифікатор досяг точності на валідаційній вибірці близько 100% (на тренувальній – близько 99%). Онлайн-навчання DQN у live-режимі емулятора забезпечило наповнення буферу повторів, стабільне оновлення Q-мережі та збереження контрольних точок blockblast_dqn.pkl. Отримані результати демонструють можливість побудови інтелектуального агента для комерційної мобільної гри без доступу до внутрішнього API додатку. Розроблене рішення може бути використане як основа для подальшого дослідження методів навчання з підкріпленням у віртуальних ігрових та інтерактивних середовищах.

The thesis is devoted to the research and software implementation of an autonomous agent for the mobile puzzle game Block Blast in a virtual Android emulator environment. The subject domain has been analyzed and the control problem has been formalized in terms of a Markov decision process. The decomposition of the system into perception, decision-making, and action execution modules has been justified. The annotator.py program has been developed for collecting a training dataset of «piece image – binary shape matrix» pairs. A convolutional neural network block_blast_recognizer has been built and trained to classify 40 geometric block shapes. A Deep Q-Network agent has been implemented with legal-action masking, a replay buffer, and a target network; game state acquisition and control have been integrated via Android Debug Bridge (BlueStacks, hd-adb). The software implementation was carried out in Python using TensorFlow/Keras, OpenCV, and NumPy. The experimental study confirmed the feasibility of the proposed architecture. On a custom dataset of 503 images (after class balancing and HSV augmentation – approximately 7040 samples), the convolutional classifier achieved validation accuracy of approximately 100% (on the training set – approximately 99%). Online DQN training in the emulator's live mode ensured replay buffer population, stable Q-network updates, and saving of checkpoints blockblast_dqn.pkl. The obtained results demonstrate the possibility of building an end-to-end agent for a commercial mobile game without access to the application's internal API. The developed solution may serve as a basis for further research on reinforcement learning methods in virtual gaming and interactive environments.