DeiT Data-efficient Image Transformers

Wprowadzenie

DeiT, czyli Data-efficient Image Transformers, to przełomowa technika wprowadzona przez Facebook AI Research (obecnie Meta AI), która znacząco poprawiła efektywność trenowania modeli Vision Transformer (ViT). Przed pojawieniem się DeiT, modele ViT wymagały ogromnych zbiorów danych (takich jak JFT-300M z 300 milionami obrazów) do wstępnego trenowania, aby osiągnąć konkurencyjne wyniki w porównaniu z konwolucyjnymi sieciami neuronowymi (CNN). DeiT zmieniło to podejście, umożliwiając osiągnięcie wysokiej wydajności ViT nawet na mniejszych, standardowych zbiorach danych, takich jak ImageNet-1k. Kluczowym innowacyjnym elementem DeiT jest zastosowanie techniki destylacji wiedzy (knowledge distillation) w kontekście architektur transformerów do przetwarzania obrazów. Dzięki temu modele DeiT mogą uczyć się nie tylko z etykiet prawdziwych danych, ale także z wyników generowanych przez wcześniej wytrenowany i zazwyczaj silniejszy model nauczyciela. To sprawia, że proces trenowania jest bardziej stabilny, szybszy i mniej wymagający pod względem ilości danych treningowych.

Jak działają modele DeiT?

Modele DeiT działają na podobnej zasadzie jak standardowe Vision Transformery, dzieląc obraz na sekwencję małych łatek (patchy), które są następnie przetwarzane przez warstwy transformera. Różnica polega na mechanizmie trenowania, który opiera się na destylacji wiedzy. Zamiast trenować transformer od podstaw tylko na podstawie etykiet prawdziwych, DeiT wprowadza dodatkowy token do sekwencji wejściowej – tak zwany token destylacji (distillation token). Ten specjalny token destylacji, obok tokenów klasyfikacyjnych i pozycji, ma za zadanie naśladować wyjścia (predykcje) silniejszego modelu nauczyciela (na przykład wytrenowanej sieci konwolucyjnej, takiej jak EfficientNet). Podczas trenowania modelu DeiT, oprócz tradycyjnej funkcji straty związanej z poprawną klasyfikacją, dodawana jest funkcja straty destylacyjnej. Może to być destylacja miękka, gdzie student uczy się dopasowywać rozkład prawdopodobieństwa klasy nauczyciela (na przykład poprzez odległość Kullbacka-Leiblera), lub destylacja twarda, gdzie student uczy się przewidywać pseudoetykietę klasy o najwyższym prawdopodobieństwie wygenerowaną przez nauczyciela (na przykład poprzez entropię krzyżową). Integracja tokena destylacji pozwala modelowi DeiT efektywniej czerpać wiedzę od nauczyciela, co prowadzi do szybszej konwergencji i lepszych wyników na mniejszych zbiorach danych. Token destylacji dodaje dodatkowe informacje do procesu uczenia, stabilizując trenowanie i kompensując brak silnych uprzedzeń indukcyjnych w architekturze transformera (jak te obecne w CNN-ach, np. niezmienniczość przesunięcia).

Główne zalety i charakterystyka

Główną zaletą modeli DeiT jest ich wyjątkowa efektywność w wykorzystaniu danych treningowych. Dzięki technice destylacji wiedzy, DeiT może osiągnąć wyniki porównywalne z dużymi ViT trenowanymi na olbrzymich zbiorach danych, jednocześnie wykorzystując znacznie mniejsze zasoby, takie jak standardowy ImageNet-1k. To obniża bariery wejścia dla badaczy i praktyków. Ponadto, DeiT oferuje lepszą wydajność i krótszy czas trenowania w porównaniu do tradycyjnych ViT, które często wymagały kosztownego i czasochłonnego wstępnego trenowania. Umożliwia to szybsze prototypowanie i eksperymentowanie z architekturami transformerów w zadaniach związanych z przetwarzaniem obrazu. Modele DeiT są również konkurencyjne pod względem wydajności z najlepszymi modelami CNN, często je przewyższając w niektórych benchmarkach.

Zastosowania w praktyce

• Klasyfikacja obrazów: Podstawowe zastosowanie DeiT to efektywna klasyfikacja obrazów na różnych zbiorach danych, takich jak ImageNet, CIFAR-10, CIFAR-100.

• Wykrywanie obiektów: Jako wydajny backbone w architekturach do wykrywania obiektów, na przykład w połączeniu z FPN (Feature Pyramid Network) lub DETR (Detection Transformer).

• Segmentacja semantyczna i instancji: DeiT może służyć jako podstawa do budowy modeli segmentacji, gdzie jego zdolność do przetwarzania globalnych zależności jest cenną cechą.

• Analiza obrazów medycznych: Dzięki efektywności danych, DeiT może być używany w zastosowaniach medycznych, gdzie dostęp do dużych, oznakowanych zbiorów danych jest często ograniczony.

• Wizja komputerowa w urządzeniach mobilnych: Optymalizowane wersje DeiT mogą być używane w aplikacjach mobilnych lub na urządzeniach brzegowych, gdzie moc obliczeniowa jest ograniczona.

Porównanie z innymi strukturami danych

DeiT znacząco różni się od oryginalnych Vision Transformerów (ViT), przede wszystkim pod względem wymagań dotyczących danych. Podczas gdy ViT wymagały pre-treningu na gigantycznych zbiorach danych, takich jak JFT-300M (około 300 milionów obrazów), aby osiągnąć konkurencyjną wydajność, DeiT może osiągnąć podobne lub lepsze wyniki, trenując wyłącznie na znacznie mniejszym zbiorze ImageNet-1k (około 1,2 miliona obrazów). Ta efektywność wynika z zastosowania destylacji wiedzy. W porównaniu do tradycyjnych konwolucyjnych sieci neuronowych (CNN), DeiT oraz ogólnie ViT charakteryzują się brakiem wbudowanych uprzedzeń indukcyjnych, takich jak niezmienniczość przesunięcia czy lokalność. Oznacza to, że muszą uczyć się tych cech z danych. Destylacja w DeiT pomaga w zaszczepieniu tych brakujących uprzedzeń poprzez uczenie się od silnego modelu nauczyciela, często opartego na CNN, dzięki czemu DeiT potrafi konkurować, a nawet przewyższać CNN w wielu zadaniach, zachowując jednocześnie elastyczność i skalowalność architektury transformera.

Najlepsze praktyki (2026)

• Wybór silnego modelu nauczyciela: Wykorzystanie dobrze wytrenowanego, silnego modelu CNN (np. ResNet, EfficientNet) jako nauczyciela jest kluczowe dla skutecznej destylacji.

• Dostosowanie hiperparametrów destylacji: Eksperymentowanie z wagą funkcji straty destylacyjnej i parametrami takimi jak temperatura (w destylacji miękkiej) jest ważne dla optymalizacji wyników.

• Zastosowanie augmentacji danych: Skuteczne techniki augmentacji danych (np. Mixup, Cutmix, RandAugment) są nadal bardzo korzystne dla modeli DeiT, pomagając im uogólniać wiedzę.

• Użycie odpowiedniego harmonogramu uczenia: Długie harmonogramy uczenia z odpowiednim harmonogramowaniem szybkości uczenia (np. kosinusoidalne) są często efektywne.

• Monitorowanie tokena destylacji: Analiza zachowania tokena destylacji może dostarczyć wglądu w to, czego student się uczy od nauczyciela.

Typowe błędy i pułapki

• Użycie słabego lub niedostatecznie wytrenowanego nauczyciela: Jeśli model nauczyciela jest słaby, student nie będzie miał wystarczająco dużo wiedzy do przyswojenia, co może prowadzić do gorszych wyników.

• Niewłaściwa waga funkcji straty destylacyjnej: Zbyt duża lub zbyt mała waga destylacji może zakłócić proces uczenia, prowadząc do niedouczenia lub przetrenowania na wiedzy nauczyciela.

• Ignorowanie roli tokena destylacji: Token destylacji jest kluczowy; jego niewłaściwe wykorzystanie lub brak może sprawić, że model DeiT będzie działał jak standardowy, mniej efektywny ViT.

• Niewystarczająca augmentacja danych: Pomimo destylacji, transformery wciąż czerpią korzyści z bogatej augmentacji danych, a jej pominięcie może obniżyć odporność i uogólnianie modelu.

• Brak zrozumienia różnic między destylacją miękką a twardą: Wybór niewłaściwej strategii destylacji dla danego zadania lub modelu może ograniczyć efektywność procesu uczenia.

office@freenetmedia.pl