C

Zrozumieć Koncepty w Sieciach Neuronowych - CAV (Concept Activation Vectors)

XLinkedInFacebook

Wprowadzenie

Wektory Aktywacji Konceptów (CAV) to potężna technika z dziedziny interpretowalności sztucznej inteligencji (XAI), która umożliwia zrozumienie wewnętrznego funkcjonowania złożonych modeli uczenia maszynowego, zwłaszcza głębokich sieci neuronowych. Pozwalają one na identyfikację, czy dany koncept, jak na przykład "przejrzysta skóra" w diagnostyce medycznej, "aerodynamiczny kształt" w analizie obrazów samochodów, czy "pozytywny sentyment" w przetwarzaniu języka naturalnego, jest istotny dla decyzji podejmowanych przez model. Dzięki CAV eksperci mogą badać, w jaki sposób model reaguje na obecność lub brak określonych cech konceptualnych. CAV stanowią pomost między surowymi danymi a abstrakcyjnymi reprezentacjami wewnętrznymi modeli, oferując bardziej intuicyjny i zrozumiały sposób wyjaśniania ich zachowania. Zamiast analizować pojedyncze piksele czy słowa, CAV pozwala na ocenę wpływu cech wysokiego poziomu, co jest kluczowe dla budowania zaufania do systemów AI i zapewnienia ich sprawiedliwego oraz etycznego działania.

Jak działają Wektory Aktywacji Konceptów?

Działanie CAV opiera się na idei, że konkretne koncepty, zrozumiałe dla człowieka, są reprezentowane w wewnętrznych aktywacjach sieci neuronowej. Aby wygenerować CAV dla danego konceptu, potrzebujemy zestawu przykładowych danych, które zawierają ten koncept oraz zestawu danych, które go nie zawierają (lub zawierają koncept negatywny/przeciwny). Na przykład, jeśli chcemy zbadać koncept "pasiasty" w kontekście obrazów zwierząt, zbieramy obrazy zebr, tygrysów (zawierające "pasiasty") i obrazy psów, kotów (nie zawierające "pasiasty"). Następnie, te zestawy danych są przepuszczane przez sieć neuronową, a aktywacje w wybranej warstwie ukrytej są zbierane. Wektory aktywacji z warstw sieci neuronowej dla przykładów zawierających koncept będą się różnić od tych dla przykładów nie zawierających konceptu. CAV jest w zasadzie wektorem normalnym do hiperpłaszczyzny, która najlepiej oddziela te dwie grupy aktywacji w przestrzeni aktywacji warstwy. Często do tego celu używa się liniowego klasyfikatora, takiego jak regresja logistyczna czy maszyna wektorów nośnych (SVM), trenowanego na aktywacjach. Wektor wag tego klasyfikatora staje się naszym CAV. Po uzyskaniu CAV, możemy go wykorzystać do obliczenia Testable Concept Activation Vector (TCAV). TCAV mierzy stopień, w jakim CAV jest ważny dla predykcji konkretnej klasy przez model. Odbywa się to poprzez perturbowanie aktywacji testowego przykładu w kierunku CAV i obserwowanie, jak zmienia się wynik klasyfikacji. Dodatni wynik TCAV oznacza, że zwiększenie "obecności" konceptu w aktywacjach (poruszanie się w kierunku CAV) zwiększa prawdopodobieństwo przypisania przykładu do danej klasy. Negatywny wynik oznacza, że obecność konceptu zmniejsza to prawdopodobieństwo. W ten sposób możemy ilościowo ocenić, jak silnie dany koncept wpływa na decyzje modelu, na przykład czy koncept "futra" jest istotny dla klasyfikacji "kota".

Główne zalety i charakterystyka

CAV oferują znaczące zalety w obszarze interpretowalności AI. Po pierwsze, pozwalają na zrozumienie modelu w kategoriach konceptów zrozumiałych dla człowieka, co jest znacznie bardziej intuicyjne niż analizowanie wag pojedynczych neuronów. To ułatwia ekspertom dziedzinowym weryfikację logiki działania modelu, np. czy model medyczny diagnozuje chorobę na podstawie prawidłowych cech, czy też opiera się na artefaktach danych. Po drugie, CAV umożliwiają identyfikację i kwantyfikację uprzedzeń (biasów) w modelach. Jeśli koncept "mężczyzna" ma nieproporcjonalnie duży wpływ na decyzję o przyznaniu kredytu, można to wykryć i podjąć kroki naprawcze. Po trzecie, są one stosunkowo efektywne obliczeniowo i mogą być aplikowane do szerokiej gamy architektur sieci neuronowych.

Zastosowania w praktyce

Porównanie z innymi strukturami danych

W porównaniu do innych popularnych metod interpretowalności, takich jak LIME (Local Interpretable Model-agnostic Explanations) czy SHAP (SHapley Additive exPlanations), CAV operują na wyższym, bardziej abstrakcyjnym poziomie. LIME i SHAP skupiają się na wyjaśnianiu predykcji dla pojedynczego przykładu poprzez identyfikację, które cechy wejściowe (piksele, słowa) były najważniejsze dla tej konkretnej decyzji. Dostarczają one lokalnych, szczegółowych wyjaśnień. CAV natomiast oferują globalne zrozumienie działania modelu w odniesieniu do konceptów i mogą wykrywać koncepty, które są istotne dla całej klasy predykcji, a nie tylko dla pojedynczego przykładu. To pozwala na bardziej systematyczną analizę wpływu konceptów na zachowanie modelu. Podczas gdy LIME może powiedzieć nam, że dla danego obrazu kota, konkretne piksele futra były ważne, CAV może nam powiedzieć, że koncept "futra" jest generalnie istotny dla klasyfikacji wszystkich kotów, a także mierzyć siłę tego wpływu. CAV pozwala również na definiowanie konceptów, które nie są bezpośrednio zawarte w cechach wejściowych, ale są syntetyzowane przez model w jego warstwach wewnętrznych, co jest trudne do osiągnięcia za pomocą LIME czy SHAP bez dodatkowych inżynierii cech.

Najlepsze praktyki (2026)

Typowe błędy i pułapki

office@freenetmedia.pl