Intervjuer te pita: „DeepSeek je zvanično objavio poskupljenje API-ja, i to znatno: u cenovniku unos od milion token-a u slučaju pogotka u keš košta svega 0.02 juana, dok unos bez pogotka košta 1 juan — znaš li zašto je razlika toliko velika?”

Ako odgovoriš „pa zato što postoji keš... pa je jeftino”, čestitam — izlaziš na desnu stranu i kući da čekaš obaveštenje.

Zašto?

Zato što intervjuer zaista želi da čuje: pogodak u keš preskače Prefill fazu, onu koja u izvođenju najviše troši GPU resurse — kada svi ulazni token-i paralelno idu kroz matrične operacije i računaju K i V vektore mehanizma pažnje. Preskoči li se taj korak, GPU u toj fazi ne troši računsku snagu — otud niža cena.

Prelistao sam dokumente sa cenovnicima DeepSeek-a, OpenAI-ja i Anthropic-a i proučio tehničke osnove KV Cache-a, pa ti mogu samouvereno, otvoreno i bez ikakvog ustezanja razjasniti tri stvari:

• Šta su zapravo pogodak i promašaj keša?
• Zašto je razlika u ceni 50 puta?
• Šta developeri mogu da urade da keš češće pogode?

Danas ti za 3 minuta razjašnjavam tajnu određivanja cena keša u API-ju velikih modela.

Vežite sigurnosne pojaseve, krećemo!

Prvo, prva stvar — šta je pogodak u keš.

Da upotrebim poređenje. Svaki poziv API-ja je kao da velikom modelu daješ test. Prvi deo je „uputstvo za zadatak” — system prompt, definicije alata, few-shot (primeri pitanja i odgovora) — uvek isti. Drugi deo je „konkretno pitanje” — ono što je korisnik ovog puta uneo.

Ako je prvi deo identičan kao prošli put, server primeti „ovaj deo sam već izračunao” i jednostavno ga ponovo iskoristi. To je pogodak u keš.

Ako se prvi deo promeni — makar samo za jedan razmak — server ga više ne priznaje i mora sve iz početka da računa. To je promašaj keša.

Trenutne cene DeepSeek V4 Flash: 0.02 juana za pogodak u keš, 1 juan za promašaj. Razlika je 50 puta.

A ti, pametni, sigurno se pitaš: zašto može toliko jeftinije?

Zato što se izvođenje velikog modela odvija u dva koraka.

Prvi korak se zove Prefill. Model sve ulazne tokene paralelno provlači kroz matrične operacije, izračunava K i V vektore mehanizma pažnje i smešta ih u GPU memoriju. Ovaj korak je kao prvi veliki zadatak na ispitu iz matematike — samo za ispisivanje izraza ode pola strane papira za računanje; GPU radi punim kapacitetom, pa je naravno najskuplji.

Drugi korak se zove Decode. Token-i izlaza se generišu jedan po jedan, a ranije izračunati K i V se čitaju direktno iz memorije.

Ti K i V vektori sačuvani u GPU memoriji čine upravo KV Cache.

Suština pogotka u keš je da server primeti „KV za ove tokene sam već izračunao” i preskoči Prefill. GPU više ne izvodi velike proračune — zato je jeftinije.

A ti, pametni, sad sigurno pitaš: kako naterati zahteve da češće pogode keš?

U jednoj rečenici: statične delove prompta stavi napred, dinamične na kraj.

System prompt, definicije alata, few-shot primeri — sve što se ne menja ide na sam početak prompta. Novi unos korisnika ide na kraj. Što je prefiks duži i stabilniji, to je procenat pogodaka veći.

Naravno, od trenutka kad se DeepSeek V1 pojavio iz vedra neba, polomljeno je pravilo nemogućeg trougla — brzo, dobro i jeftino u isto vreme. Ma koliko cene sada skočile, velika je verovatnoća da će i dalje biti jeftiniji od većine API-ja na tržištu.

Na kraju krajeva, kod mnogih posrednika na tržištu cena API-ja iznosi oko deset puta više nego zvanično kod DeepSeek-a.

I na kraju, ukratko.

Suština pogotka u keš je preskakanje najskupljih Prefill proračuna, zato keširani ulaz košta mnogo manje. Još nešto: odmah proveri strukturu svog prompta — ono što se ne menja ide napred, ono što se menja ide nazad, i ne trpaj u system prompt stvari koje se menjaju.

Da li si savladao ovu temu? Za još hardcore AI znanja, lajkuj i prati — vidimo se u sledećoj epizodi!