Loss Functions (Zaawansowane)

Wprowadzenie

Zaawansowane funkcje straty to kluczowy element treningu nowoczesnych modeli AI. Odpowiedni wybór loss function może dramatycznie poprawić jakość modelu, zwłaszcza w sytuacjach niezbalansowanych klas, uczeniu generatywnym, uczeniu kontrastywnym czy optymalizacji preferencji.

Najważniejsze Zaawansowane Loss Functions

• Focal Loss – redukuje wpływ łatwych przykładów, skupia się na trudnych (klasyfikacja niezbalansowana)

• Dice Loss / IoU Loss / Tversky Loss – używane w segmentacji obrazów (medycznej szczególnie)

• Contrastive Loss (InfoNCE, NT-Xent) – podstawa Contrastive Learning (SimCLR, CLIP)

• Triplet Loss – uczy embeddings tak, aby podobne przykłady były bliżej niż negatywne

• Supervised Contrastive Loss – ulepszona wersja Contrastive Loss z etykietami

• Perceptual Loss (LPIPS) – porównuje cechy na poziomie głębokich warstw (stylizacja, super-resolution)

• KL Divergence / JS Divergence – regularyzacja rozkładów (VAE, Knowledge Distillation)

• DPO Loss (Direct Preference Optimization) – używany w alignment LLM-ów zamiast RLHF

• ORPO Loss – łączy SFT i alignment w jednej funkcji straty

• ArcFace / CosFace Loss – zaawansowane lossy do rozpoznawania twarzy

Porównanie kontekstów użycia

• Segmentacja medyczna → Dice Loss + Focal Loss

• Embeddingi / Retrieval → Contrastive / Triplet / ArcFace

• Generowanie obrazów → Perceptual Loss + Adversarial Loss

• LLM Alignment → DPO, KTO, ORPO

• Klasyfikacja niezbalansowana → Focal Loss

Zalety stosowania zaawansowanych lossów

• Lepsza zbieżność i stabilność treningu

• Znaczna poprawa metryk w trudnych zadaniach

• Lepsza separacja klas w przestrzeni latentnej

• Możliwość trenowania na niezbalansowanych danych

• Bardziej ludzkie zachowanie modelu (w przypadku DPO/ORPO)

Najlepsze praktyki (2026)

• Łącz wiele lossów (multi-task loss) z odpowiednimi wagami

• W LLM alignment preferuj DPO/ORPO zamiast klasycznego RLHF

• W uczeniu kontrastywnym używaj dużych batchy + hard negative mining

• Zawsze monitoruj rozkład wartości lossu podczas treningu

• Testuj różne schedulery lossów (np. curriculum learning)

office@freenetmedia.pl