Veliki jezični modeli (LLM & Generative AI)

Uvod Grok je obitelj velikih jezičnih modela razvijenih od strane xAI, tvrtke osnovane tijekom 2023. godine. Modeli Grok namijenjeni su konverzacijskim zadacima i integraciji unutar platforme X (ranije Twitter), gdje se koriste za interakciju s korisnicima, pretraživanje i generiranje odgovora koji uzimaju u obzir javno dostupne informacije na mreži. Tehnologija i arhitektura – Temelj: Grok… read more »

## Sažetak Perplexity AI je internetska usluga za konverzacijsko pretraživanje i generiranje odgovora koja kombinira velike jezične modele s pretraživanjem weba kako bi korisnicima dala sažete, izvorima potkrijepljene odgovore. Naglasak je na transparentnosti odgovora kroz eksplicitne citate izvora i omogućavanje brzog pristupa relevantnim informacijama iz mrežnih izvora. ## Kako djeluje – Ulaz (pitanje): Korisnik postavlja… read more »

Povijest i razvoj – ChatGPT je konverzacijski sustav razvijen od OpenAI temeljen na seriji generativnih velikih jezičnih modela (LLM). Prva široko dostupna verzija ChatGPT-a lansirana je krajem 2022. temeljem GPT-3.5 arhitekture; kasnije su uvedene naprednije varijante temeljene na GPT-4 i optimiziranim izvedenicama (npr. „Turbo“ implementacije). Razvoj je kombinirao široko predtrenirane autoregresivne modele s nadzorovanim i… read more »

## Definicija Prompt engineering označava skup tehnika za oblikovanje i upravljanje unosima (promptima) koji se daju velikim jezičnim modelima (LLM — veliki jezični model) i srodnim modelima kako bi se dobili željeni odgovori ili ponašanja. Radi se o praktičnom sučelju između ljudskog zahtjeva i modela: oblikovanje teksta, konteksta i instruktivnih signala koji vode generiranje. ##… read more »

## Definicija Kontekstualni prozor (eng. context window) u velikim jezičnim modelima (LLM) označava ograničenje količine ulaznog teksta koju model može istovremeno obraditi. Mjeri se u tokenima (jedinice koje predstavljaju riječi ili dijelove riječi) i određuje maksimalnu duljinu niza nad kojim se izračunava samopažnja (self-attention). ## Kako to radi – Transformer arhitektura koristi mehanizam samopažnje koji… read more »

## Pregled Retrieval-Augmented Generation (RAG) označava skup metoda koje kombiniraju dohvaćanje vanjskih dokumenata s generativnim modelima kako bi se poboljšala točnost, ažurnost i opseg odgovora velikih jezičnih modela (LLM). Ključna ideja je zamijeniti ili nadopuniti ograničeno znanje modela koja je pohranjena parametarski korištenjem vanjskog indeksa znanja koji se u realnom vremenu dohvaća i prosljeđuje generatoru… read more »

### Što su halucinacije Halucinacije u kontekstu velikih jezičnih modela (LLM) odnose se na generiranje netočnih, izmisljenih ili nekonzistentnih informacija koje model iznosi s naletom povjerenja. To nisu samo jezične greške: radi se o tvrdnjama koje nemaju potporu u podacima ili stvarnom svijetu — primjerice izmišljeni citati, netočne činjenice ili pogrešne reference. ### Vrste halucinacija… read more »

## Definicija Tokenizacija je proces razbijanja teksta u diskretne jedinice (tokena) koje model može obraditi. U kontekstu obrade prirodnog jezika najčešće se radi o riječima, podriječnim jedinicama (subword), znakovima ili bajtovima. Tokenizacija preslikava tekst u niz identifikatora (token ID) koji se potom mapiraju na vektorske reprezentacije u modelu. ## Glavne kategorije tokenizacije – Riječna (word-level):… read more »

Pozadina i svrha – LLaMA (Large Language Model Meta AI) je serija velikih jezičnih modela koje je razvio tim Meta AI s namjerom da ponudi visoku učinkovitost na raznim zadacima jezika uz manji broj parametara u odnosu na neke konkurentske modele. – Prva generacija (LLaMA) i sljedeća (LLaMA 2) objavljene su tijekom 2023. godine. Meta… read more »

Opis Gemini je obitelj velikih modela jezika koju su razvili Google DeepMind i Google Research za generativne i multimodalne zadatke. Modeli iz Gemini serije dizajnirani su za obradu teksta i slika te za integraciju u proizvode i usluge Googlea (npr. Bard, Google Workspace) te kao komercijalna ponuda kroz Google Cloud/Vertex AI. Gemini zamjenjuje ili nadograđuje… read more »