Дослідження дифузійних моделей у задачі генерації зображень за текстовим описом

Abstract

У роботі розглянуто сучасні методи генерації зображень (GAN, VAE, трансформери, дифузійні моделі) та архітектуру Stable Diffusion із процесами зашумлення й відновлення. Розроблено систему на базі Python, PyTorch та HuggingFace Diffusers із взаємодією через MQTT і мікроконтролер ESP32. Реалізовано сервер генерації зображень, прошивку ESP32 та проведено тестування дифузійних планувальників, отримано показники швидкодії та якості, що підтвердили практичну придатність системи.

The study examines modern image generation methods (GAN, VAE, transformers, diffusion models) and the Stable Diffusion architecture, including noise and image restoration processes. A system was developed using Python, PyTorch, and HuggingFace Diffusers, with interaction via MQTT and an ESP32 microcontroller. An image generation server and ESP32 firmware were implemented, diffusion schedulers were tested, and performance and quality metrics were obtained, confirming the system’s practical applicability.