Kad pažnja stvara inteligenciju
February 9, 2026
Uvod Transformer je arhitektura neuronskih mreža predstavljena 2017. od Vaswanija i suradnika u radu “Attention Is All You Need”. Dizajnirana je za obradu sekvenci bez rekurentnih ili konvolucijskih slojeva, oslanjajući se na mehanizam pažnje (attention) za usmjeravanje informacije između elemenata ulazne sekvence. Osnovna ideja Temeljna operacija u Transformeru je računska pažnja između upita (queries), ključeva… read more »