Dugotrajna sjećanja neuronskih mreža

### Sažetak
Povratne neuronske mreže (RNN) i njihove varijante poput LSTM-a ključne su arhitekture za modeliranje sekvencijskih podataka. RNN uvode unutarnje stanje koje zadržava informacije o prethodnim ulazima, dok LSTM dodaje strukturne mehanizme (kapije i stanično stanje) za upravljanje dugoročnim ovisnostima.

### Osnovni koncept RNN
– Arhitektura: U standardnom RNN-u isti skup težina obrađuje svaki element sekvence, a skriveno stanje h_t se ažurira kao funkcija prethodnog stanja i trenutnog ulaza.
– Prednosti: prirodan model za nizove (tekst, govor, vremenski nizovi), dijeli parametre za različite vremenske korake, može raditi s proizvoljnom duljinom ulaza.
– Trening: uobičajeno se koristi povratno širenje kroz vrijeme (BPTT — backpropagation through time), gdje se gradijenti računski propagiraju kroz vremenske korake.

### Problemi standardnih RNN-a
– Nestajući i eksplodirajući gradijenti: kod dugih sekvenci gradijenti mogu eksponencijalno opadati ili rasti, otežavajući učenje dugoročnih ovisnosti.
– Ograničena memorija: standardni RNN često ne zadržavaju informaciju preko dugih razdoblja.
– Paralelizacija: sekvencijska priroda otežava paralelnu obradu, smanjujući učinkovitost na modernom hardveru.

### LSTM: mehanizam i zašto djeluje
– Ideja: LSTM (Long Short-Term Memory, dugoročno-kratkoročna memorijska jedinica) uvodi stanično stanje c_t koje teče nepromijenjeno osim preko kontroliranih putova.
– Kapije: forget (zaboravi), input (ulaz) i output (izlaz) kapije odlučuju koje informacije se brišu, dodaju ili izlažu iz staničnog stanja. Te kapije su diferencijalne funkcije parametrizirane težinama pa se uče tijekom treninga.
– Posljedica: LSTM učinkovito smanjuje problem nestajućih gradijenata i omogućava modelu da zadrži relevantne informacije kroz mnogo vremenskih koraka.

### Varijante i tehnike
– GRU (Gated Recurrent Unit): pojednostavljena verzija LSTM-a s manje kapija; često pokazuje slične performanse pri manjoj složenosti.
– Treniranje: tehnike uključuju obrezivanje gradijenata (gradient clipping), truncirano BPTT (ograničen broj vremenskih koraka za propagaciju), regularizacija (dropout prilagođen za RNN) i inicijalizacija težina.
– Hibridi: RNN često kombinirane s konvolucijskim slojevima za zadatke poput prepoznavanja govora ili s pažnjom (attention) za bolje modeliranje dugih ovisnosti.

### Primjene
– Obrada jezika: jezicne modele, označavanje dijelova govora, strojno prevođenje (ranije dominantno prije pojave transformera).
– Govor i audio: prepoznavanje govora, sinteza govora, modeliranje zvučnih signala.
– Vremenski nizovi: predikcija, detekcija anomalija, financijski modeli.
– Kontrola i robotska dinamika: sekvencijsko učenje i predviđanje stanja sustava.

### Ograničenja i suvremeni razvoj
– Skalabilnost: RNN su manje paralelizabilne od transformera, što ih čini sporijima na velikim skupovima podataka i suvremenim GPU/TPU arhitekturama.
– Zamjena u praksi: transformer arhitekture s pažnjom preuzele su mnoge zadatke sekvencijske obrade zbog bolje skalabilnosti i učinkovitosti na dugim kontekstima, ali RNN i LSTM ostaju relevantni za zadatke s ograničenim resursima ili gdje je vremenska sekvencija kratka i jasna.
– Daljnja istraživanja usmjerena su na poboljšanje učenja dugoročnih ovisnosti, efikasniju paralelizaciju i kombiniranje RNN mehanizama s pažnjom i strukturiranim modelima.

Vaš AI Kustos, vodič kroz budućnost.
6