D

Distributional Conformal Prediction: Kwantyfikacja Niepewności za Pomocą Rozkładów Prawdopodobieństwa - Distributional Conformal Prediction

XLinkedInFacebook

Wprowadzenie

Distributional Conformal Prediction (DCP), czyli Predykcja Konformalna Dystrybucyjna, to zaawansowane rozszerzenie klasycznej Predykcji Konformalnej, skupiające się na kwantyfikacji niepewności nie tylko dla pojedynczych wartości, lecz dla całych rozkładów prawdopodobieństwa. Tradycyjne metody predykcji konformalnej generują przedziały ufności dla wartości punktowych lub zbiory klas dla klasyfikacji. DCP idzie o krok dalej, konstruując zbiór rozkładów prawdopodobieństwa, który z zadanym poziomem ufności zawiera prawdziwy, nieznany rozkład warunkowy danych. Technika ta jest szczególnie przydatna w scenariuszach, gdzie niepewność ma złożony charakter, na przykład gdy przewidywany rozkład jest multimodalny lub jego kształt jest kluczowy dla podejmowania decyzji. Pozwala na uzyskanie znacznie bogatszego obrazu niepewności niż standardowe przedziały predykcyjne, co znajduje zastosowanie w wielu dziedzinach, od finansów po medycynę i prognozowanie klimatyczne.

Jak działają Predykcja konformalna dystrybucyjna?

Jak działają Predykcje konformalne dystrybucyjne? Proces rozpoczyna się od zastosowania modelu bazowego (np. sieci neuronowej, regresji kwantylowej), który jest w stanie estymować parametry rozkładu prawdopodobieństwa dla danych wyjściowych, a nie tylko pojedynczą wartość. Może to być model, który przewiduje średnią i wariancję rozkładu normalnego, albo bardziej złożony model generujący kwantyle rozkładu. Następnie, podobnie jak w klasycznej predykcji konformalnej, dane dzielone są na zbiór treningowy i kalibracyjny. Na zbiorze kalibracyjnym, dla każdego punktu danych, oblicza się tzw. 'wynik niezgodności' (nonconformity score). W przypadku DCP, ten wynik mierzy, jak dobrze estymowany rozkład (wygenerowany przez model) pasuje do rzeczywistej obserwacji dla danego punktu. Może to być na przykład log-prawdopodobieństwo obserwacji w estymowanym rozkładzie, odległość Kwantyl-Kwantyl (QQ-plot distance), lub inne miary odległości między rozkładami. Wyniki niezgodności ze zbioru kalibracyjnego są następnie używane do wyznaczenia progu, zazwyczaj poprzez obliczenie odpowiedniego percentyla. Dla nowego, niewidzianego punktu danych, model generuje potencjalne rozkłady. Zbiór predykcyjny dla tego punktu będzie składał się ze wszystkich rozkładów (lub ich parametrów), które, po weryfikacji z danymi kalibracyjnymi, miałyby wynik niezgodności poniżej ustalonego progu. Dzięki temu, zbiór ten zawiera prawdziwy rozkład warunkowy z zadanym poziomem ufności, zachowując gwarancje pokrycia bez konieczności zakładania konkretnej postaci rozkładu.

Główne zalety i charakterystyka

Główną zaletą Distributional Conformal Prediction jest możliwość uzyskania znacznie bardziej szczegółowego i kompleksowego obrazu niepewności w przewidywaniach. Zamiast prostego przedziału, użytkownik otrzymuje zestaw możliwych rozkładów, co jest niezwykle cenne w przypadku złożonych zjawisk, gdzie prawdziwy rozkład może być multimodalny, asymetryczny lub mieć ciężkie ogony. Technika ta dostarcza gwarancji pokrycia, co oznacza, że z zadanym poziomem ufności, prawdziwy rozkład danych będzie zawarty w wygenerowanym zbiorze rozkładów, niezależnie od bazowego modelu. DCP jest także odporna na błędne specyfikacje modelu bazowego, co stanowi jej przewagę nad metodami bayesowskimi, które mocno polegają na poprawności przyjętych założeń rozkładowych. Dzięki temu, nawet jeśli model bazowy nie jest idealny, nadal można uzyskać wiarygodne szacowanie niepewności w postaci rozkładów.

Zastosowania w praktyce

Porównanie z innymi strukturami danych

W odróżnieniu od standardowej predykcji konformalnej, która koncentruje się na budowaniu przedziałów dla pojedynczych punktów danych (np. wartości numerycznej w regresji lub klasy w klasyfikacji), Predykcja Konformalna Dystrybucyjna generuje zbiory całych rozkładów prawdopodobieństwa. Oznacza to, że zamiast odpowiedzi typu 'cena będzie między 100 a 120', otrzymujemy zbiór możliwych rozkładów, z których każdy opisuje prawdopodobieństwo, że cena przyjmie różne wartości, z uwzględnieniem np. szansy na skrajne wydarzenia. Porównując z metodami bayesowskimi, które również dostarczają rozkładów, DCP oferuje gwarancje pokrycia, które nie zależą od poprawności założeń modelowych. Metody bayesowskie wymagają precyzyjnego zdefiniowania rozkładów a priori i likelihood, a ich wyniki są wrażliwe na te założenia. DCP jest bardziej odporne, opierając się na wymienności danych, co czyni ją bardziej uniwersalnym narzędziem do kwantyfikacji niepewności.

Najlepsze praktyki (2026)

Typowe błędy i pułapki

office@freenetmedia.pl