Attention Is All You Need

Wprowadzenie

Artykuł opublikowany 12 czerwca 2017 roku przez zespół Ashisha Vaswaniego i współpracowników. Wprowadził architekturę Transformer i pokazał, że mechanizm uwagi (Attention) jest wystarczający – nie potrzeba rekurencji (RNNRekurencyjna sieć neuronowa (Recurrent Neural Network) to architektura przetwarzająca dane sekwencyjnie.Każdy element sekwencji jest przetwarzany z uwzględnieniem stanu ukrytego z poprzedniego kroku./LSTMLong Short-Term Memory to zaawansowany typ sieci rekurencyjnej z mechanizmami bramek.Pozwala lepiej zapamiętywać długoterminowe zależności w sekwencjach niż podstawowe RNN.).

Najważniejsze tezy pracy

• Rekurencja nie jest konieczna do przetwarzania sekwencji
• Self-AttentionMechanizm pozwalający każdemu elementowi sekwencji "zwrócić uwagę" na wszystkie inne elementy.Oblicza wagi określające, jak istotny jest każdy element dla przetwarzania danego elementu. + Multi-Head AttentionRozszerzenie mechanizmu uwagi, które równolegle stosuje wiele "głów" uwagi.Każda głowa uczy się różnych wzorców zależności w danych. w zupełności wystarczą
• Transformer trenuje się znacznie szybciej dzięki pełnej równoległościSprostowanie ClaudeStwierdzenie jest zbyt stanowcze i uproszczone. Transformer umożliwia równoległość w obrębie warstwy podczas przetwarzania sekwencji, ale nie oznacza to "pełnej równoległości" - warstwy nadal są przetwarzane sekwencyjnie, a szybkość treningu zależy od wielu czynników.
• Znacznie lepiej radzi sobie z długimi sekwencjamiSprostowanie ClaudeMylące stwierdzenie. Transformer ma problem ze złożonością kwadratową względem długości sekwencji (O(n²)), co ogranicza jego skuteczność przy bardzo długich sekwencjach. Lepiej radzi sobie z długodystansowymi zależnościami niż RNN, ale nie ze wszystkimi aspektami długich sekwencji.

Wpływ na branżę

• Podstawa wszystkich współczesnych LLMLarge Language Model to duży model językowy trenowany na ogromnych zbiorach tekstów.Wykorzystuje architekturę Transformer do rozumienia i generowania języka naturalnego. (GPT, BERT, Llama, Claude, Grok, Gemini…)
• Całkowita zmiana paradygmatu w NLPNatural Language Processing to dziedzina sztucznej inteligencji zajmująca się przetwarzaniem języka naturalnego.Obejmuje zadania takie jak tłumaczenie, analiza sentymentu czy generowanie tekstu.
• Przeniesienie architektury na wizję (Vision Transformer), audio, multimodal itp.
• Rozpoczęcie ery skalowalnych modeli AI

Znaczenie historyczne

Ta jedna publikacja jest uznawana za jeden z najważniejszych momentów w historii sztucznej inteligencji – porównywalny z AlexNet w 2012 roku.