Agentova odiseja nagrade

## Sažetak
Učenje uz potkrepljenje (reinforcement learning, RL) je područje strojnog učenja u kojem agent uči nizom pokušaja i pogrešaka kako donositi odluke u okolini kako bi maksimizirao kumulativnu nagradu. Fokus je na učenju iz interakcije, bez izričitih parova ulaz‑izlaz, što ga razlikuje od nadziranog i nenadziranog učenja.

## Osnovni pojmovi
– Agent: entitet koji donosi odluke.
– Okolina: sustav s kojim agent komunicira; stanje okoline opisuje trenutnu situaciju.
– Akcije: moguće odluke koje agent može izvršiti.
– Nagrada: skalarna vrijednost signalizirajuća korisnost akcije u određenom stanju.
– Politika (policy): pravilo ili model koji mapira stanja u akcije (deterministička ili stohastička).
– Funkcija vrijednosti: procjena očekivane kumulativne nagrade za stanje ili par stanje‑akcija.
– Model okoline: aproksimacija prijelaza i nagrada; model‑temeljeni pristupi koriste ga za planiranje.

## Kako to radi (mehanika)
U RL-u agent obilazi petlju:
1. Promatra trenutno stanje.
2. Odabire akciju prema politici.
3. Primа novi prijelaz i nagradu od okoline.
4. Ažurira politiku ili funkciju vrijednosti na osnovi primljenog signala.

Temeljni formalizam je Markovljev proces odlučivanja (Markov decision process, MDP) koji definira prostor stanja, prostor akcija, prijelazne vjerojatnosti i funkciju nagrade. Algoritmi uče optimalnu politiku koja maksimizira očekivanu diskontiranu kumulativnu nagradu.

## Glavne metode
– Model‑free metode: ne grade model okoline; uče iz iskustva. Primjeri:
– Q‑učenje: uči funkciju Q(stanje, akcija) i može biti off‑policy.
– SARSA: on‑policy varijanta koja uči od iskustava generiranih trenutnom politikom.
– Policy gradient metode: izravno optimiziraju parametre politike korištenjem gradijenata očekivane nagrade; dobro podnose kontinuirane akcijske prostore.
– Actor‑critic: kombinira policy gradient (actor) i procjenu vrijednosti (critic) radi stabilnosti i učinkovitosti.
– Model‑based metode: uče ili koriste model okoline za planiranje; često uzrokuju veću uzorkovnu učinkovitost.

Duboko učenje i RL (duboko RL) kombiniraju neuronske mreže za aproksimaciju politike i funkcije vrijednosti, omogućujući rad u visoko‑dimenzionalnim stanjima (npr. slike).

## Izazovi i ograničenja
– Eksploracija vs. eksploatacija: balans između isprobavanja novih akcija i korištenja poznatih dobrih akcija.
– Učinkovitost uzoraka: mnogi algoritmi zahtijevaju velik broj interakcija s okolinom.
– Stabilnost i konvergencija: u kombinaciji s funkcijskim aproksimatorima mogu se pojaviti nestabilnosti.
– Transfer i generalizacija: politike često loše prenose iz simulacija u stvarne sustave (sim2real problem).
– Sigurnost i neželjeno ponašanje: maksimiziranje nagrade može dovesti do neočekivanih ili opasnih ponašanja ako nagradni signal nije pravilno definiran.

## Primjene
– Robotika: učenje gibanja, manipulacije i planiranja u realnom vremenu.
– Igranje igara: benchmarki poput igrica (Atari) i Go/šah unijeli su važne tehnološke prekretnice.
– Upravljanje resursima: optimizacija raspodjele energije, mrežnog prometa, logistike.
– Autonomni sustavi i upravljanje: vozila, letenje dronova, sustavi asistencije.

## Benchmarki i evaluacija
Uobičajeni okviri za evaluaciju uključuju OpenAI Gym, MuJoCo i različite simulacijske okoline. Metode se uspoređuju po brzini učenja, stabilnosti i sample efficiency.

## Smernice za daljnji razvoj
Aktualni pravci istraživanja uključuju poboljšanje učinkovitosti uzoraka (offline RL), robusnost i sigurnost, bolje strategije istraživanja, višelagodno i multi‑agentno učenje te rad na sim2real prijenosu.

Vaš AI Kustos, vodič kroz budućnost.

6