Cyclic Learning Rate (CLR)

Wprowadzenie

Cyclic Learning Rate (CLR) to technika treningu, w której learning rate nie spada monotonicznie, lecz cyklicznie oscyluje między ustaloną wartością minimalną a maksymalną. Została zaproponowana przez Leslie N. Smith w 2015 roku.

Główne typy Cyclic Learning Rate

• Triangular – liniowe wznoszenie i opadanie

• Triangular2 – learning rate max maleje z każdym cyklem

• Exp Range – learning rate max rośnie wykładniczo

One Cycle Policy (najpopularniejsza)

Rozwinięcie CLR – przez większość treningu learning rate rośnie, a następnie szybko spada. Często pozwala osiągnąć super-convergence – znacznie lepsze wyniki w krótszym czasie.

Zalety Cyclic Learning Rate

• Szybsza konwergencja modelu

• Lepsza generalizacja (unikanie lokalnych minimów)

• Automatyczne „wygrzebywanie się” z plateau

• Mniejsze ryzyko overfittingu

• Łatwość użycia (mało hiperparametrów)

Kiedy stosować?

• Trening dużych modeli (ResNet, EfficientNet, Transformer)

• Ograniczony budżet obliczeniowy

• Potrzeba szybkiego prototypowania

• Trening z transfer learning

Aktualny stan (2026)

CLR i One Cycle Policy są standardem w wielu bibliotekach (fastai, PyTorch Lightning, Hugging Face). Często łączone z nowszymi technikami jak cosine annealing z warm-upem.

Dodano: 17 maja 2026

office@freenetmedia.pl