Аналіз та розробка алгоритмів для інтерпретованих нейронних мереж із використанням методів теорії інформації

Abstract

Кваліфікаційна робота магістра складається з вступу, трьох розділів, висновків і пропозицій, списку використаних джерел, додатків. У роботі досліджено проблему інтерпретованості моделей глибокого навчання та застосування методів теорії інформації для аналізу їхньої внутрішньої динаміки. Обґрунтовано використання принципу information bottleneck для відстеження еволюції стиснення та передачі інформації між шарами. Розроблено та програмно реалізовано алгоритм оцінки взаємної інформації з використанням функції активації tanh для дискретизації, що забезпечує лінійну обчислювальну складність та чисельну стабільність. Створено програмний модуль мовою Python, який візуалізує траєкторії навчання на «інформаційній площині». Експериментальна перевірка проведена на наборах даних MNIST та CIFAR-10.