ПОРІВНЯЛЬНИЙ АНАЛІЗ МЕТОДІВ POLICY-BASED ТА VALUE-BASED RL ДЛЯ ЛОКАЛЬНОГО ПЛАНУВАННЯ РУХУ БПЛА - Трембовецький, Роман; Розломій, Інна (Електронне фахове наукове видання «Кібербезпека: освіта, наука, техніка», 2026)
У роботі проведено порівняльне дослідження ефективності двох фундаментальних архітектур глибокого навчання з підкріпленням, а саме – Policy-based (на прикладі PPO) та Value-based (на прикладі SAC), для вирішення задачі локальної навігації БПЛА в умовах стохастичної невизначеності. Експериментальне моделювання, виконане у середовищі PyFlyt з урахуванням турбулентного вітру, змінної маси дрона та руху цілі, виявило критичні розбіжності у роботі алгоритмів. Встановлено, що алгоритм SAC, попри високу швидкість навчання та ефективність використання даних, формує вразливі політики з низьким показником успішності (63,2%) через помилки оцінки функції цінності в динамічних станах. Натомість метод PPO забезпечив формування стійкої стратегії керування з успішністю 97,1% та генерацію оптимальних траєкторій без осциляцій. Результати підтверджують, що для задач безперервного керування в непередбачуваних середовищах методи прямої оптимізації політики є більш ефективними, оскільки дозволяють уникнути ефекту «Reward Hacking» та краще генералізують фізичні закономірності польоту.