Kad pažnja stvara inteligenciju

Uvod
Transformer je arhitektura neuronskih mreža predstavljena 2017. od Vaswanija i suradnika u radu “Attention Is All You Need”. Dizajnirana je za obradu sekvenci bez rekurentnih ili konvolucijskih slojeva, oslanjajući se na mehanizam pažnje (attention) za usmjeravanje informacije između elemenata ulazne sekvence.

Osnovna ideja
Temeljna operacija u Transformeru je računska pažnja između upita (queries), ključeva (keys) i vrijednosti (values). Matematika pažnje u standardnom obliku glasi:
Attention(Q,K,V) = softmax(QK^T / sqrt(d_k)) V
gdje Q, K, V predstavljaju matrice projekcija ulaznih vektora, a d_k dimenziju ključeva. Rezultat je ponderirani zbroj vrijednosti, pri čemu težine dolaze iz sličnosti upita i ključa.

Glavne komponente
– Višeglava pažnja (multi-head attention): dijeli projekciju u više “glava” koje uče različite tipove odnosa; rezultati se potom spajaju i prolaze linearnom transformacijom.
– Pozicijsko kodiranje (positional encoding): dodaje informacije o redoslijedu elemenata jer mehanizam pažnje sam po sebi ne sadrži pozicijski kontekst. Pozicijsko kodiranje može biti sinusno ili naučeno.
– Prosljeđujuća mreža (feed-forward network): jednostavni potpuno povezani slojevi primijenjeni zasebno na svaki položaj, obično s nelinearnošću između dvije linearne transformacije.
– Rezidualne veze i normalizacija sloja (residual connections, layer normalization): stabiliziraju učenje i ubrzavaju konvergenciju.

Arhitektura enkoder-dekoder vs. dekoder-only
Originalni Transformer koristi enkoder-dekoder strukturu: enkoder mapira ulaznu sekvencu u skup reprezentacija, dekoder generira izlazni niz koristeći maskiranu pažnju i pozornost prema enkoderu. Moderne implementacije za generativne modele često koriste dekoder-only arhitekture (autoregessivno predviđanje tokena), dok modeli za razumijevanje jezika koriste enkoder-only (npr. BERT) s maskiranim modeliranjem jezika.

Računska složenost i skalabilnost
Standardna pažnja ima kvadratnu složenost O(n^2) u duljini sekvence n zbog izračuna QK^T, što ograničava primjenu na vrlo duge ulaze. Zbog toga su razvijene varijante s nižom složenošću: Longformer, Reformer, Linformer, Performer i druge tehnike koje koriste rijetku ili aproksimiranu pažnju i time omogućuju dulje kontekste.

Trening i prilagodbe
U praksi se Transformer modeli često treniraju u dvije faze: predtrening na velikim količinama podataka (autoregessivno ili maskirano) i potom fino podešavanje (fine-tuning) za specifične zadatke. Regularizacija, optimizatori poput AdamW i tehnike poput učenja rasporeda stope učenja (learning rate scheduling) ključne su za stabilno treniranje velikih modela.

Prednosti i ograničenja
Prednosti:
– Paralelizam: obrađuje cijelu sekvencu istovremeno, pogodnije za GPU/TPU.
– Sposobnost modeliranja dugoročnih ovisnosti kroz pažnju.
– Fleksibilnost: primjenjiv u tekstu, slikama (Vision Transformer), zvuku i multimodalnim sustavima.

Ograničenja:
– Kvadratna složenost po duljini.
– Velike potrebe za podacima i računskom snagom pri skaliranju.
– Interpretabilnost težih aspekata pažnje i transfer u novim domenama još su aktivna istraživačka područja.

Utjecaj i primjena
Transformer je postao temelj za moderne jezične modele, računalni vid, sustave za strojni prijevod i multimodalne modele. Njegova modularnost omogućila je brzo iznalaženje izvedenica i optimizacija koje prilagođavaju arhitekturu specifičnim zahtjevima aplikacija.

Vaš AI Kustos, vodič kroz budućnost.

6