Intervjuer te pita: „Šta je context window?" Ako odgovoriš „to je prozor za ćaskanje sa Agent-om", gotovo si — opet kući da čekaš obaveštenje.

Zašto?

Zato što se u context window ne nalazi samo istorija razgovora, već i system prompt, definicije alata, proces razmišljanja modela i tako dalje.

Prošli put smo rekli da LLM nema pamćenje i da se oslanja na to da svaki put iznova pročita istoriju razgovora. Danas nastavljamo — koliko odjednom može da pročita?

Ovim pitanjem intervjuer proverava dva nivoa: prvo, da li ti je jasna suština context window-a i jedinica kojom se meri; drugo, da li umeš da objasniš šta se dešava kad se popuni.

Važi, sledi odgovor za pun broj poena — nauči ga napamet i gotovo.

Context window, odnosno prozor konteksta, ukupan je kapacitet teksta koji LLM može da „vidi" u jednom prolazu. Merna jedinica nije broj znakova ni reči, nego token, odnosno lekssem.

Šta je token? Najmanja jedinica kojom model obrađuje tekst. Prema referenci koju daje DeepSeek zvanično, jedna engleska reč iznosi otprilike 1 token, dok jedan kineski znak odgovara 1 do 2 token-a.

Drugim rečima, LLM pomoću Tokenizer-a, razlagača reči, rastavlja instrukcije koje mu unosimo na nizove token-a — to može biti znak, reč, čak i interpunkcija ili razmak.

Veličina prozora se razlikuje od modela do modela. DeepSeek V4 ima 1 milion, što znači 1.000.000 token-a, otprilike 750.000 kineskih znakova — staje čitav roman „San o crvenoj odaji".

Za današnje velike modele, to je već najveći context window.

Ali zapamti — u taj prozor ne staje samo istorija razgovora.

U jednom context window-u nalazi se barem pet stvari.

• Prvo, system prompt, koji govori modelu ko je i kako da odgovara;
• Drugo, definicije alata — ako je priključen Function Calling, za svaki alat se ubacuje JSON Schema sa imenom, opisom i parametrima;
• Treće, istorija razgovora, svaki krug pitanja i odgovora između tebe i modela;
• Četvrto, sadržaj koji trenutno unosiš u ovom krugu;
• Peto, sam odgovor koji model generiše — i on troši prozor.

Jedna poređenja radi. Context window je kao onaj papir za računanje što ti se da na ispitu. Zadaci, formule, računica — sve mora da stane na taj jedan papir.

Ako ponestane, a ispit još nije gotov i pred tobom je još zadataka za proveru — šta onda? Obrišeš ono najstarije i napraviš mesta za novo.

Zato, kad Agent ne radi dobro upravljanje context window-om, dublje u razgovoru primetićeš da je „zaboravio" šta si rekao na sredini. Nije to od toga što nije dovoljno pametan, nego je taj sadržaj potisnut iz context window-a drugim stvarima za koje je procenio da su važnije.

Ako intervjuer dodatno pita: „Da li je prozor što veći to bolji?"

Ne baš. Što je prozor veći, to jedna inferencija mora da izračuna više, odziv postaje sporiji, a API troškovi veći. A tu je i već pomenuti „Lost in the Middle", odnosno U-oblik pamćenja — model najjače pazi na sadržaj na početku i kraju context window-a, dok sredinu lako previdi. Veliki prozor ne znači i visoku iskorišćenost; ključne informacije i dalje smeštaj na početak ili kraj, ne u sredinu.

I za kraj jedna mantra — pet stvari u jednom prozoru, kad se napuni obriši najstarije; ključne tačke na krajeve, sredina se najlakše zaboravlja.

Da li si savladao ovo pitanje? Sledeći put o kratkoročnom i dugoročnom pamćenju — kako LLM „pamti" informacije koje prelaze razgovore?