Wprowadzenie
Hierarchical Reinforcement Learning (HRL) to rodzina algorytmów uczenia ze wzmocnieniem, które wprowadzają hierarchię decyzji. Zamiast uczyć agenta pojedynczych, niskopoziomowych akcji, HRL dzieli zadanie na warstwy: cele wysokiego poziomu (strategia) oraz cele niskiego poziomu (taktyka).
Dlaczego potrzebujemy Hierarchical RL?
- „Curse of Dimensionality” – eksplozja przestrzeni stanów w złożonych środowiskach
- Trudność planowania długoterminowego w klasycznym RL
- Możliwość transferu wiedzy między zadaniami (transfer learning)
- Lepsza interpretowalność i skalowalność
- Możliwość reutilizacji wyuczonych umiejętności (skills)
Główne podejścia w HRL
- Options Framework (Sutton, Precup) – „opcje” jako tymczasowe polityki z celem
- Feudal Networks (FuN) – menedżer i pracownicy (Manager-Worker architecture)
- MAXQ Value Function Decomposition
- Hierarchical Actor-Critic (HAC)
- Meta-RL i Hierarchical RL z celami generowanymi automatycznie
- STRategic Attentive Writer (STRAW)
Jak działa Hierarchical Reinforcement Learning?
System składa się zazwyczaj z co najmniej dwóch poziomów:
- High-level policy – wybiera cele podrzędne lub „opcje”
- Low-level policy – wykonuje konkretne akcje prowadzące do wybranego celu
- Nagroda jest propagowana hierarchicznie (intrinsic reward dla niskiego poziomu)
Zastosowania Hierarchical RL (2026)
- Zaawansowana robotyka (manipulation, lokomocja)
- Autonomiczne pojazdy i drony
- Gry komputerowe (Dota 2, StarCraft – OpenAI Five, AlphaStar)
- Zarządzanie energią i optymalizacja procesów przemysłowych
- Agentyczne systemy AI i długoterminowe planowanie
- Medycyna – sekwencyjne podejmowanie decyzji terapeutycznych
Zalety i wyzwania
- Zalety: lepsza eksploracja, szybsze uczenie, reutilizacja umiejętności
- Wyzwania: trudność uczenia hierarchii, niestabilność treningu, projektowanie nagród na różnych poziomach