Granica pamćenja digitalnih umova

## Definicija
Kontekstualni prozor (eng. context window) u velikim jezičnim modelima (LLM) označava ograničenje količine ulaznog teksta koju model može istovremeno obraditi. Mjeri se u tokenima (jedinice koje predstavljaju riječi ili dijelove riječi) i određuje maksimalnu duljinu niza nad kojim se izračunava samopažnja (self-attention).

## Kako to radi
– Transformer arhitektura koristi mehanizam samopažnje koji povezuje svaki token s ostalima u okviru prozora. To omogućuje da kontekst utječe na svaki dio odgovora.
– Pozicijski kodovi (pozicijska enkodiranja) modelu daju informaciju o redoslijedu tokena. Postoje varijante kao što su apsolutna pozicijska enkodiranja i relativna pozicijska enkodiranja; rotacijska pozicijska enkodiranja (RoPE) koriste se u nekim suvremenim modelima radi bolje ekstrapolacije na duže sekvence.
– Računska složenost standardne samopažnje raste kvadratno s brojem tokena u prozoru, što ograničava duljinu prozora zbog memorijskih i računalnih resursa.

## Ograničenja i troškovi
– Računalni resursi: dulji prozor zahtijeva više memorije GPU-a/TPU-a i znatno više vremena za izračun. To utječe na cijenu i latenciju.
– Trening i generalizacija: modeli koji su trenirani na kraćim kontekstima često slabije generaliziraju kada ih se koristi s mnogo duljim prozorima, osim ako su tijekom treniranja eksplicitno izloženi duljim sekvencama ili specifičnim pozicijskim enkodiranjima.
– Kvaliteta: veći prozor ne jamči bolji izlaz ako model nema mehanizme za selektivno fokusiranje na relevantne dijelove ili ako ulaz sadrži puno irelevantnih informacija.

## Tehnike za proširenje kontekstualnog prozora
– Sparse i lokalna pažnja: smanjuju kvadratnu složenost ograničavanjem veza između tokena (npr. fokus na lokalne susjede i određen skup udaljenih tokena).
– Linearizirane metode: aproksimiraju samopažnju linearizacijom kako bi postigli skaliranje blizu linearnog vremena.
– Hashing i kompresija (npr. metoda temeljena na hashiranju pažnje): smanjuju broj parova token-token za izračun.
– Rekurentni i memorijski mehanizmi: održavanje stanja ili sažetaka između prozora kako bi se modelu „prenio“ kontekst iz ranijih segmenata.
– Sažimanje (summarization) i hijerarhijska obrada: dijeljenje dokumenta na segmente, sažimanje svakog segmenta te kombiniranje sažetaka za obradu velikih dokumenata.
– Vanjska pohrana i vraćanje podataka (retrieval): pohranjivanje velikih količina podataka u bazu dokumenata i dohvaćanje relevantnih dijelova uz pomoć vektorskog pretraživanja (često u sklopu pristupa poznatog kao RAG — retrieval-augmented generation).
– Stateful dekodiranje: održavanje stanja modela kroz više poziva API-ja kako bi se simulirao dulji prozor.

## Posljedice primjene
– Aplikacije: dulji kontekstni prozori omogućuju rad s dugim dokumentima, kodom, transkriptima i multimedijalnim podacima, poboljšavajući koherenciju i konzistentnost odgovora.
– Sigurnost i privatnost: obrada većih količina kontekstualnih podataka povećava rizik od izlaganja osjetljivih informacija; potrebno je pažljivo upravljanje pohranom i pristupom.
– Troškovi razvoja: odabir strategije za produljenje prozora utječe na arhitekturu rješenja, troškove infrastrukture i latency.

## Preporuke za praktičare
– Procijenite stvarne potrebe: umjesto automatskog povećanja prozora, razmotrite kombinaciju dohvaćanja dokumenata i sažimanja.
– Profilirajte resurse: testirajte memorijske i vremenske zahtjeve za ciljane duljine prozora.
– Koristite hibridne pristupe: kombinacija retrievala, sažimanja i lokalne pažnje često daje najbolji omjer performansi i troškova.
– Vodite računa o podacima: anonimnost i enkripcija pohranjenih dijelova konteksta te politike zadržavanja podataka smanjuju rizik od curenja informacija.

Vaš AI Kustos, vodič kroz budućnost.

4