uczenie oparte na bieżącej strategii - On-policy Learning

Wprowadzenie

On-policy Learning (uczenie oparte na bieżącej strategii) — W dziedzinie uczenia wzmocnionego, gdzie agenci uczą się podejmować optymalne decyzje poprzez interakcję ze środowiskiem, istnieje wiele paradygmatów. Jednym z nich jest podejście, w którym agent doskonali swoją strategię działania, bazując na doświadczeniach zebranych podczas wykonywania akcji właśnie zgodnie z tą strategią. Jest to fundamentalna metoda, która ma swoje unikalne właściwości i zastosowania. Ta metoda zakłada, że do oceny i aktualizacji funkcji wartości stanu lub akcji wykorzystuje się dane generowane przez tę samą strategię (politykę), która jest aktualnie używana do sterowania zachowaniem agenta w środowisku. Oznacza to, że proces uczenia jest nierozerwalnie związany z bieżącym sposobem działania agenta.

Jak działają uczenie oparte na bieżącej strategii?

Uczenie oparte na bieżącej strategii działa w sposób iteracyjny. Agent, wyposażony w początkową strategię (politykę), wchodzi w interakcję ze środowiskiem. Zgodnie z tą strategią, agent wybiera akcje w kolejnych stanach, obserwuje wynikające z nich nagrody oraz przechodzi do nowych stanów. Każda taka interakcja generuje parę (stan, akcja, nagroda, nowy stan). Zebrane doświadczenia są następnie wykorzystywane do aktualizacji i ulepszenia *tej samej* strategii, która właśnie została użyta do wyboru akcji. Oznacza to, że agent uczy się na podstawie swojego aktualnego zachowania, starając się je optymalizować. Przykładowo, jeśli strategia agenta mówi, że w danym stanie należy wykonać akcję A, agent wykonuje akcję A, a następnie na podstawie uzyskanej nagrody i nowego stanu, modyfikuje *swoją własną* strategię, aby w przyszłości w podobnych sytuacjach podejmować lepsze decyzje. Proces ten jest często realizowany za pomocą algorytmów takich jak SARSA (State-Action-Reward-State-Action), które bezpośrednio aktualizują funkcję wartości akcji na podstawie sekwencji stanów i akcji generowanych przez aktualną strategię. W SARSA, agent po wykonaniu akcji i otrzymaniu nagrody, szuka kolejnej akcji *zgodnie z bieżącą strategią* w nowym stanie, zanim zaktualizuje wartość poprzedniej pary (stan, akcja). Ważne jest, aby podczas uczenia opartego na bieżącej strategii zapewnić odpowiednią równowagę między eksploracją (próbkowaniem nowych, nieznanych akcji) a eksploatacją (wykonywaniem akcji, które aktualnie wydają się najlepsze). Często stosuje się strategie eksploracji, takie jak epsilon-zachłanne, gdzie z pewnym małym prawdopodobieństwem epsilon agent wybiera losową akcję, a z pozostałym prawdopodobieństwem wybiera akcję uznawaną za najlepszą przez aktualną strategię.

Główne zalety i charakterystyka

Jedną z głównych zalet uczenia opartego na bieżącej strategii jest jego inherentna stabilność i gwarancje zbieżności w wielu środowiskach. Ponieważ agent uczy się bezpośrednio z danych generowanych przez swoją własną strategię, nie ma rozbieżności między zachowaniem, które generuje dane, a zachowaniem, które jest optymalizowane. To upraszcza proces uczenia i często prowadzi do płynniejszego postępu. Ponadto, uczenie oparte na bieżącej strategii jest często bardziej bezpieczne w aplikacjach, gdzie agent musi działać w rzeczywistym świecie. Zmiany w strategii są zazwyczaj stopniowe, co pozwala uniknąć nagłych, katastrofalnych zmian w zachowaniu agenta, które mogłyby wyniknąć z uczenia się na podstawie danych z bardzo odmiennej polityki. Agent stale doskonali swoje bieżące zachowanie, co jest szczególnie cenne w środowiskach, gdzie błędy są kosztowne.

Zastosowania w praktyce

• Optymalizacja tras autonomicznych pojazdów, gdzie agent uczy się, jak najefektywniej poruszać się w środowisku miejskim, testując i udoskonalając strategię jazdy w czasie rzeczywistym, z uwzględnieniem bieżących danych z czujników i zasad ruchu.

• Sterowanie robotami przemysłowymi do precyzyjnych zadań montażowych lub manipulacyjnych, gdzie robot uczy się optymalnych ruchów ramienia poprzez wielokrotne próby i poprawki, bazując na swojej aktualnej polityce działania.

• Algorytmy do dynamicznego ustalania cen w e-handlu, gdzie system eksperymentuje z różnymi cenami w zależności od popytu i konkurencji, a następnie uczy się na podstawie uzyskanych wyników sprzedaży, aby udoskonalić swoją bieżącą politykę cenową.

• Zarządzanie zasobami w centrach danych, gdzie agent uczy się optymalnie przydzielać zasoby obliczeniowe do różnych usług, dynamicznie modyfikując strategię w oparciu o bieżące obciążenie i zużycie energii.

Porównanie z innymi strukturami danych

Kluczową różnicą między uczeniem opartym na bieżącej strategii a uczeniem opartym na zewnętrznej strategii (off-policy) jest pochodzenie danych wykorzystywanych do aktualizacji strategii. W uczeniu opartym na bieżącej strategii, agent uczy się na podstawie danych generowanych przez *tę samą* strategię, którą aktualnie ulepsza. Oznacza to, że strategia eksploracji (zachowania) jest tożsama ze strategią docelową (uczoną). Z kolei w uczeniu opartym na zewnętrznej strategii, agent może uczyć się na podstawie danych zebranych przez *inną* strategię, często starszą, losową lub pochodzącą od innego agenta. Pozwala to na ponowne wykorzystanie starych danych lub uczenie się z obserwacji, ale wymaga bardziej złożonych technik korekcyjnych (np. ważenia próbek), aby uniknąć rozbieżności. Uczenie oparte na bieżącej strategii jest prostsze i stabilniejsze, ale mniej efektywne pod względem wykorzystania danych, ponieważ każde znaczące ulepszenie strategii wymaga zebrania nowych danych.

Najlepsze praktyki (2026)

• Wybór odpowiedniego algorytmu, np. SARSA dla środowisk z dyskretnymi stanami i akcjami, lub algorytmów gradientu strategii dla ciągłych przestrzeni.

• Ustalenie efektywnej strategii eksploracji, takiej jak metoda epsilon-zachłanna, aby zapewnić agentowi możliwość odkrywania nowych dróg i unikania lokalnych maksimów.

• Systematyczne aktualizowanie strategii agenta, często po każdym kroku czasowym lub epizodzie, aby proces uczenia był ciągły i dynamiczny.

• Monitorowanie postępów uczenia poprzez śledzenie sumy nagród lub funkcji wartości, aby szybko zidentyfikować problemy lub stagnację w procesie optymalizacji.

Typowe błędy i pułapki

• Niewystarczająca eksploracja, która prowadzi do utknięcia agenta w lokalnym optimum, ponieważ nie odkrywa on lepszych ścieżek działania.

• Nadmierna eksploracja, która spowalnia proces konwergencji, ponieważ agent spędza zbyt dużo czasu na testowaniu suboptymalnych akcji zamiast na doskonaleniu najlepszych z nich.

• Nieodpowiedni dobór hiperparametrów algorytmu, takich jak współczynnik uczenia czy współczynnik dyskontowania, co może prowadzić do niestabilności lub braku zbieżności.

• Ignorowanie stochastyczności środowiska, co oznacza, że agent zakłada deterministyczne wyniki akcji, podczas gdy w rzeczywistości środowisko może działać losowo, prowadząc do błędnych ocen strategii.

office@freenetmedia.pl