Residual Networks (ResNet)

Wprowadzenie

Residual Networks (ResNet) to jedna z najważniejszych architektur w historii głębokiego uczenia. Wprowadzona w 2015 roku przez Kaiminga He i zespół Microsoft Research, rozwiązała fundamentalny problem treningu bardzo głębokich sieci neuronowych – vanishing/exploding gradients.

Główna idea – Residual Connections

Zamiast uczyć sieć bezpośrednio mapować wejście na wyjście (H(x)), ResNet uczy sieć mapować różnicę (residual):

y = F(x) + x

Dzięki temu nawet bardzo głębokie sieci (50, 101, 152 warstwy) mogą być trenowane skutecznie, ponieważ gradient może płynąć bezpośrednio przez „skip connection”.

Ewolucja ResNet do 2026

• ResNet-50 / ResNet-101 – klasyki, nadal często używane jako backbone

• ResNeXt – wprowadzenie grouped convolutions

• ResNet-RS – zoptymalizowana wersja pod kątem skalowalności

• ConvNeXt – „nowoczesny ResNet” – połączenie idei ResNet z architekturą Transformerów

• ResNet w modelach multimodalnych – nadal używany jako vision encoder (np. w LLaVA, CLIP)

Dlaczego ResNet jest nadal ważny?

• Residual Connections są podstawą prawie wszystkich nowoczesnych architektur (w tym Transformerów – LayerNorm + Residual)

• Stabilność treningu bardzo głębokich modeli

• Doskonały kompromis między wydajnością a dokładnością

• Świetny backbone dla zadań detekcji obiektów, segmentacji i klasyfikacji

• ConvNeXt V2 – aktualny state-of-the-art wśród czysto konwolucyjnych modeli

Zalety Residual Networks

• Możliwość budowania sieci o setkach warstw

• Lepsza propagacja gradientu

• Łatwiejsza optymalizacja

• Wysoka wydajność przy stosunkowo niskiej złożoności

Najlepsze praktyki w 2026

• Używaj Pre-Norm lub Post-Norm (w ConvNeXt dominuje Pre-Norm)

• Łącz z nowoczesnymi technikami: LayerScale, Stochastic Depth

• Przy transfer learningu – ResNet-50 lub ConvNeXt nadal są bardzo dobrym wyborem

• W modelach multimodalnych – ResNet lub ConvNeXt jako vision encoder

office@freenetmedia.pl