Intervjuer te pita: „Da li LLM ima memoriju?" Ako odgovoriš „pa naravno, ChatGPT zapamti šta sam rekao u prethodnoj rundi", intervjuer će samo odmahnuti glavom.

Zašto?

Zato što to nije „pamćenje" — to je što se svaki put ponovo „pročita" prethodna istorija razgovora.

Danas za 3 minuta ću ti objasniti jednu kontraintuitivnu činjenicu — LLM nema memoriju.

Intervjuer ovim pitanjem proverava tri nivoa: prvo, da li ti je jasna suština LLM-ove bezstanjsnosti; drugo, da li umeš da objasniš razliku između parametarske memorije i kontekstne memorije; treće, kako to da LLM ipak „pamti" prethodni razgovor.

Dobro, evo odgovora za pun bod — nauči ga napamet i gotovo.

Prvo zapamti jednu rečenicu: LLM je bezstanje. Svaki zahtev je nezavisan — između prethodnog i sledećeg razgovora model ne zadržava nikakvu informaciju.

Da pojasnimo poređenjem. LLM je kao super đak koji je pročitao desetine hiljada knjiga, zna sve i svašta, ali ima jedan kobni problem — pre svakog razgovora s tobom on doživi amneziju.

Otkud onda to što on „zna"? Zahvaljujući dve stvari.

Prva, parametarska memorija (Parametric Memory).

Tokom treninga model je pročitao tekst sa celog interneta — bilione tokena. To znanje je komprimovano i kodirano u težinske parametre modela. Po završetku treninga težine se zamrzavaju i tokom razgovora se više ne menjaju.

Da uporedimo: osam razreda osnovne, srednja škola, pa fakultet — više od deset godina učenja matematike, fizike, istorije već ti je u glavi. Naravno, možda zaboraviš ponešto, ali sigurno nećeš zaboraviti da su jedan i jedan dva.

Ne moraš ni da otvaraš knjigu — znaš Pitagorinu teoremu, znaš da voda ključa na 100 stepeni.

Ah, zaboravio si? Onda nisam ništa ni rekao. Haha.

Parametarska memorija je znanje koje model stekne u fazi treninga, i na ispitu ga koristi direktno — bez traženja po strani.

Ali parametarska memorija je mrtva.

Znanje se zaustavlja na dan do kojeg je model istreniran. Pitaš ga za današnje vesti — ne zna. Kažeš mu svoje ime, u sledećem novom razgovoru te ne pamti.

Druga, kontekstna memorija (Contextual Memory).

Razgovaraš sa ChatGPT-om i imaš utisak da „pamti" šta si rekao pre pet minuta. Koja je istina?

Svaki put kad pošalješ poruku, sistem pakuje svu vašu prethodnu istoriju razgovora — ni reč ne izostavlja — i gura je modelu, da je pročita od početka. Model pročita, generiše odgovor. Sledeća runda — i taj novi odgovor se ubaci, pa cela istorija ispočetka.

On nije „zapamtio" šta si rekao. On je „ponovo pročitao" šta si rekao.

Kako to da proveriš? Otvori novi prozor razgovora i pitaj ga „šta sam malopre rekao". Bulji sa znakom pitanja, potpuno ne zna. Jer novi prozor nema nikakvu istoriju, njegova „memorija" je nula.

(Naravno, današnji Agent-i nude funkciju dugoročne memorije.)

Dakle, LLM-ova memorija je iluzija stvorena na inženjerskom nivou: ne pamti sam model, nego sistem svaki put odradi ponavljanje umesto njega.

Ako intervjuer nastavi da pritiska: „A šta je onda funkcija memorije u ChatGPT-u?"

Reci mu — to je inženjersko rešenje dodato povrh modela. Sistem iz razgovora izdvaja ključne informacije, poput „korisnik je programer" ili „preferira Python", i čuva ih u eksternoj bazi. U sledećem novom razgovoru te informacije se ubrizgavaju u system prompt, tako da ih model „vidi". Sam model je i dalje bezstanje — samo mu se doda više konteksta. Memorija nije u modelu, već u perzistentnom fajlu izvan modela.

Na kraju, jedna formula za sve vas — težine kriju znanje, kontekst krije razgovor; novi prozor otvoriš, sve kreće ispočetka.

Da li si savladao ovo pitanje? U sledećem delu rastvaramo context window — koliko sadržaja LLM zaista može da „vidi" u jednom prolazu? Lajkuj i prati