D

DDPG (Deep Deterministic Policy Gradient) – Algorytm Uczenia Ze Wzmocnieniem dla Ciągłych Przestrzeni Akcji - Ddpg

XLinkedInFacebook

Wprowadzenie

DDPG (Deep Deterministic Policy Gradient) to innowacyjny algorytm uczenia ze wzmocnieniem (Reinforcement Learning – RL), który znalazł szerokie zastosowanie w problemach sterowania wymagających ciągłych przestrzeni akcji. Jest to rozszerzenie klasycznych algorytmów Q-learningu, które zazwyczaj operują na dyskretnych zbiorach akcji, o możliwości obsługi akcji, które mogą przyjmować dowolne wartości z danego zakresu, np. kąt obrotu ramienia robota czy siła nacisku. DDPG łączy w sobie potęgę głębokich sieci neuronowych z architekturą Actor-Critic, umożliwiając agentowi efektywne uczenie się optymalnych strategii w złożonych środowiskach. Kluczową ideą DDPG jest połączenie podejścia opartego na funkcjach wartości (jak w Q-learningu) z metodami opartymi na strategiach (policy gradient). Dzięki temu agent jest w stanie nie tylko oceniać wartość poszczególnych stanów i akcji, ale również bezpośrednio uczyć się optymalnej strategii, czyli mapowania stanów na konkretne akcje. Algorytm ten jest szczególnie cenny w robotyce, sterowaniu autonomicznym i symulacjach, gdzie akcje agenta są często ciągłe.

Jak działają DDPG?

DDPG opiera się na architekturze Actor-Critic, co oznacza, że posiada dwie główne sieci neuronowe: sieć aktora (Actor Network) i sieć krytyka (Critic Network). Sieć aktora, zwana też siecią polityki, odpowiada za wybór akcji. Na podstawie stanu środowiska wejściowego generuje ona deterministyczną akcję, czyli konkretną wartość lub wektor wartości dla ciągłej przestrzeni akcji. Jej celem jest nauczenie się strategii maksymalizującej oczekiwaną nagrodę. Sieć krytyka natomiast odpowiada za ocenę jakości akcji wybranych przez aktora. Biorąc na wejście stan środowiska i akcję wygenerowaną przez aktora (lub inną akcję), sieć krytyka przewiduje wartość Q (tzw. Q-Value), która reprezentuje oczekiwaną sumę zdyskontowanych nagród, jeśli agent wykona daną akcję w danym stanie, a następnie będzie postępować zgodnie z optymalną strategią. Krytyk jest trenowany podobnie do sieci w Deep Q-Networks, minimalizując błąd pomiędzy przewidywaną wartością Q a docelową wartością Q obliczaną na podstawie obserwowanej nagrody i przewidywań przyszłych wartości. Dla zwiększenia stabilności treningu, DDPG wykorzystuje tzw. sieci docelowe (Target Networks) zarówno dla aktora, jak i krytyka. Są to kopie głównych sieci, których wagi są aktualizowane znacznie wolniej, zazwyczaj poprzez tzw. soft updates (miękkie aktualizacje), czyli stopniowe uśrednianie wag sieci głównych z wagami sieci docelowych. Dzięki temu cel treningu krytyka jest bardziej stabilny i zapobiega to szybkim oscylacjom. Dodatkowo, aby umożliwić agentowi eksplorację środowiska i odkrywanie nowych, potencjalnie lepszych strategii, do akcji generowanych przez aktora dodawany jest szum, często pochodzący z procesu Ornsteina-Uhlenbecka, który charakteryzuje się temporalną korelacją, co jest korzystne dla ciągłych przestrzeni akcji. Kolejnym kluczowym elementem DDPG jest bufor doświadczeń (Experience Replay Buffer). Próbki danych (stany, akcje, nagrody, następne stany) są gromadzone w buforze, a następnie losowo pobierane w małych partiach (minibatchach) do treningu sieci. Taka technika randomizacji rozbija temporalne korelacje w danych treningowych, co znacząco poprawia stabilność i efektywność uczenia głębokich sieci neuronowych. Trenowanie sieci w trybie off-policy (czyli na danych zebranych przy użyciu starszej lub innej strategii) jest możliwe dzięki wykorzystaniu sieci krytyka do oceny wartości akcji, niezależnie od tego, która strategia je wygenerowała.

Główne zalety i charakterystyka

Jedną z głównych zalet DDPG jest jego zdolność do efektywnego działania w środowiskach z ciągłymi przestrzeniami akcji, co jest kluczowe w wielu rzeczywistych zastosowaniach, takich jak robotyka czy sterowanie autonomicznymi pojazdami. Klasyczne algorytmy Q-learningu są zazwyczaj ograniczone do dyskretnych zbiorów akcji, co sprawia, że są niepraktyczne w takich scenariuszach. Dzięki temu DDPG wypełnia ważną lukę w algorytmach uczenia ze wzmocnieniem. Inną istotną korzyścią jest zwiększona stabilność treningu w porównaniu do prostszych metod policy gradient. Wykorzystanie sieci docelowych (target networks) i bufora doświadczeń (experience replay) znacząco redukuje wariancję w gradientach i stabilizuje proces uczenia, zapobiegając szybkim rozbieżnościom. Algorytm ten jest również stosunkowo efektywny pod względem próbkowania danych (sample efficiency) w porównaniu do on-policy policy gradient methods, ponieważ dzięki off-policy learningowi może wykorzystywać te same doświadczenia wielokrotnie.

Zastosowania w praktyce

Porównanie z innymi strukturami danych

DDPG różni się od algorytmu Deep Q-Network (DQN) przede wszystkim zdolnością do obsługi ciągłych przestrzeni akcji. Podczas gdy DQN wybiera akcję z dyskretnego, skończonego zestawu, DDPG generuje konkretną, ciągłą wartość akcji. To sprawia, że DDPG jest bardziej odpowiedni dla zadań sterowania, gdzie decyzje nie są ograniczone do kilku predefiniowanych opcji, a wymagają precyzyjnego dostosowania, np. sterowania silnikiem z płynną regulacją mocy. W porównaniu do innych algorytmów Actor-Critic, takich jak A2C (Advantage Actor-Critic) czy A3C (Asynchronous Advantage Actor-Critic), DDPG jest algorytmem off-policy. Oznacza to, że może uczyć się na danych zebranych przez starszą wersję strategii lub nawet całkowicie inną strategię, wykorzystując bufor doświadczeń. Algorytmy on-policy, takie jak A2C, wymagają, aby dane do treningu pochodziły z bieżącej strategii, co często czyni je mniej efektywnymi pod względem próbkowania. W stosunku do nowszych algorytmów, takich jak SAC (Soft Actor-Critic) czy TD3 (Twin Delayed DDPG), DDPG jest uznawany za prekursora, a wspomniane algorytmy wprowadzają ulepszenia mające na celu zwiększenie stabilności i efektywności uczenia, takie jak podwójne sieci krytyka i opóźnione aktualizacje sieci aktora w TD3.

Najlepsze praktyki (2026)

Typowe błędy i pułapki

office@freenetmedia.pl