D

Przełom w Głebokim Uczeniu Wzmacniającym - Deep Q-Network (DQN)

XLinkedInFacebook

Wprowadzenie

Deep Q-Network (DQN) to algorytm głębokiego uczenia wzmacniającego, który zrewolucjonizował dziedzinę sztucznej inteligencji, umożliwiając agentom uczenie się złożonych strategii w środowiskach o wysokowymiarowych stanach. Łączy on klasyczny algorytm Q-learning z możliwościami głębokich sieci neuronowych do aproksymacji funkcji wartości Q. Opublikowany przez Google DeepMind w 2013 roku, DQN po raz pierwszy zademonstrował zdolność AI do nauki grania w gry Atari na poziomie ludzkim lub nadludzkim, używając jedynie surowych pikseli jako danych wejściowych. Kluczową innowacją DQN jest zdolność do stabilnego uczenia się z niestabilnych danych pochodzących z interakcji ze środowiskiem. Rozwiązuje to problem, z którym borykały się wcześniejsze próby łączenia uczenia wzmacniającego z sieciami neuronowymi, dzięki wprowadzeniu technik takich jak bufor doświadczeń (experience replay) oraz oddzielnej sieci docelowej (target network).

Jak działają Deep Q-Network (DQN)?

Działanie Deep Q-Network opiera się na idei aproksymacji funkcji wartości Q, która szacuje oczekiwaną nagrodę za wykonanie danej akcji w konkretnym stanie. W przypadku DQN, rolę tej funkcji wartości pełni głęboka sieć neuronowa, której wejściem jest reprezentacja stanu (np. obrazy z gry), a wyjściem są wartości Q dla wszystkich możliwych akcji w danym stanie. Proces uczenia rozpoczyna się od tego, że agent obserwuje bieżący stan środowiska. Na podstawie aktualnych wartości Q wygenerowanych przez sieć neuronową, agent wybiera akcję. Często używana jest strategia eksploracji-eksploatacji epsilon-zachłannej, gdzie z małym prawdopodobieństwem epsilon agent wybiera akcję losowo (eksploracja), a z większym prawdopodobieństwem wybiera akcję z najwyższą wartością Q (eksploatacja). Po wykonaniu akcji agent otrzymuje nagrodę i obserwuje nowy stan środowiska. Te przejścia (stan, akcja, nagroda, nowy stan) są przechowywane w buforze doświadczeń (experience replay buffer). Zamiast uczyć się na bieżąco, DQN losowo próbkuje partie tych przejść z bufora, co pomaga w zerwaniu korelacji między kolejnymi obserwacjami i zapewnia większą stabilność procesu uczenia. Do obliczenia błędu predykcji, tzw. błędu TD (temporal difference), używane są dwie sieci neuronowe: sieć główna, która jest stale aktualizowana, oraz sieć docelowa, która jest okresowo kopiowana z sieci głównej. Użycie sieci docelowej stabilizuje cel uczenia, zapobiegając szybkim zmianom docelowych wartości Q, które mogłyby prowadzić do niestabilności. Sieć główna jest trenowana w celu minimalizacji różnicy między przewidywaną wartością Q dla wybranej akcji a docelową wartością Q, obliczoną z użyciem sieci docelowej i otrzymanej nagrody. Proces ten jest iteracyjnie powtarzany, a agent stopniowo uczy się optymalnej strategii, maksymalizując sumę przyszłych nagród.

Główne zalety i charakterystyka

Główną zaletą DQN jest zdolność do efektywnego działania w środowiskach o ogromnych, a nawet ciągłych przestrzeniach stanów, gdzie tradycyjne metody Q-learningu (oparte na tabelach) są niemożliwe do zastosowania. Dzięki wykorzystaniu głębokich sieci neuronowych, DQN potrafi automatycznie ekstrahować złożone cechy z surowych danych wejściowych, takich jak piksele obrazu, eliminując potrzebę ręcznego inżynierii cech. To pozwala agentowi na uczenie się od podstaw (end-to-end learning). DQN wprowadził również techniki stabilizujące uczenie, takie jak bufor doświadczeń i sieć docelowa, które znacznie redukują problem korelacji między danymi i niestabilności w procesie uczenia, typowy dla wczesnych prób łączenia sieci neuronowych z uczeniem wzmacniającym. Dzięki temu DQN może osiągać wysoką wydajność w skomplikowanych zadaniach, gdzie agent musi podejmować długie sekwencje decyzji.

Zastosowania w praktyce

Porównanie z innymi strukturami danych

W porównaniu do tradycyjnego Q-learningu opartego na tabelach, Deep Q-Network (DQN) rozwiązuje fundamentalny problem skalowalności. Klasyczny Q-learning wymaga przechowywania wszystkich par stan-akcja w tabeli, co staje się niewykonalne dla środowisk o dużej liczbie stanów (np. gry wideo z milionami możliwych konfiguracji pikseli). DQN zastępuje tę tabelę głęboką siecią neuronową, która uczy się aproksymować funkcję Q, generalizując doświadczenia i umożliwiając działanie w ogromnych przestrzeniach stanów. Podczas gdy tabelaryczny Q-learning gwarantuje zbieżność do optymalnej strategii w pewnych warunkach, DQN, ze względu na zastosowanie sieci neuronowych i próbkowanie z bufora, nie daje takich samych teoretycznych gwarancji, ale w praktyce osiąga znacznie lepsze wyniki w złożonych środowiskach. W stosunku do innych algorytmów głębokiego uczenia wzmacniającego, takich jak algorytmy oparte na gradientach polityki (np. REINFORCE, A2C), DQN jest algorytmem off-policy i value-based, co oznacza, że uczy się wartości Q niezależnie od polityki, którą faktycznie stosuje agent do zbierania danych. Algorytmy policy-based uczą się bezpośrednio optymalnej polityki.

Najlepsze praktyki (2026)

Typowe błędy i pułapki

office@freenetmedia.pl