DeepSeek se sprema za izlazak na berzu — prilično je moćno.

Na početku knjige "Ana Katarina" stoji sledeća rečenica.

"Srećne porodice su sve slične, nesrećne porodice su na svoj način nesrećne."

I u AI svetu ovo savršeno važi.

Prema Bloombergu, DeepSeek je pokrenuo pripreme za izlazak na berzu, sa planom da IPO završi do 2027, a najranije bi mogao da napravi taj ključni korak već krajem ove godine.

U skladu sa tim, novi krug finansiranja se odvija paralelno — DeepSeek planira da prikupi oko 1,5 milijardi dolara po proceni vrednosti od oko 71 milijarde dolara.

Drugi rečeno, mi obični praktičari — bilo da već radimo ili tek tražimo posao — moramo pomeriti težište ka pravcu AI Agent-a.

Zaista je isplativo.

U drugim industriji možda ulažete mnogo, a dobijate malo; ali u ovom pravcu, možda uložite malo, a dobijete mnogo.

Mnogi moji prijatelji su, u roku od jedne godine ili pola godine, zahvaćeni vetrom AI-a, uzdigli se visoko.

Prošli put sam vam analizirao zahteve za pozicije u vezi sa DeepSeek-om: DeepSeek počinje da traži ljude, mnogi su rekli da su naučili mnogo i shvatili u kom pravcu dalje da deluju.

Danas ćemo promeniti ugao — ako odete na intervju u DeepSeek ili bilo koju drugu kompaniju koja radi velike modele, šta će vas intervjuer pitati?

(Možda će pitati i na intervjuima za razvoj AI aplikacija)

Prelistao sam tehničke izveštaje DeepSeek-V3 i R1, uporedio ih sa dokumentacijom za obuku Llama 3 i Google-ovim radom o Transformer-u, i sastavio 17 visoko-frekventnih pitanja sa intervjua za velike modele, koja pokrivaju tri dimenzije: arhitekturu, obuku i zaključivanje.

Vežite sigurnosne pojaseve, idemoooo~

content

01. Šta je veliki jezički model (LLM)?

Lao Wang otvara prvim pitanjem: "Veliki jezički model, definiši ga jednom rečenicom."

Odgovorio sam: "Veliki jezički model je neuronska mreža zasnovana na Transformer arhitekturi, obučena na ogromnoj količini teksta pomoću samonadgledanog učenja. Ključna sposobnost je predviđanje sledećeg tokena na osnovu prethodnog teksta. Unese se deo teksta, a izlazi je reč koja je najverovatnije sledeća."

"Skala parametara obično iznosi od nekoliko milijardi do nekoliko biliona. GPT-4 navodno ima oko 1,8 biliona parametara, a DeepSeek-V3 671 milijardu. Kada količina parametara dostigne određeni nivo, model razvija sposobnosti koje nisu izričito podučavane tokom obuke, kao što su rezonovanje i generisanje koda — akademski se to zove emergentne sposobnosti (Emergent Ability)."

02. Koja je razlika između velikih modela i tradicionalnih modela mašinskog učenja?

Lao Wang pritisnuo: "A u poređenju sa tradicionalnim modelima mašinskog učenja? Gde je suštinska razlika?"

"Tri dimenzije."

"Potrebe za podacima su različite. Tradicionalni modeli zavise od strukturiranih podataka koje je čovek označio — jedan zadatak klasifikacije sentimenta možda zahteva označavanje desetina hiljada komentara. Veliki modeli koriste samonadgledano učenje i jednostavno progutaju ogromnu količinu sirovog teksta sa interneta, bez potrebe za ručnim označavanjem. Podaci za obuku Llama 3 sadrže 15 biliona tokena — označavanje od strane ljudi jednostavno nije izvodljivo."

"Granice sposobnosti su različite. Tradicionalni modeli obučavaju jedan model po zadatku — jedan model za analizu sentimenta, drugi za prepoznavanje imenovanih entiteta, međusobno se ne mogu zamenjivati. Veliki model jednim modelom pokriva više zadatava — isti Claude Opus 4.8 može da piše kod, prevodi i radi matematičko rezonovanje."

"Način učenja je različit. Tradicionalni modeli se oslanjaju na inženjering karakteristika — čovek dizajnira i bira karakteristike. Veliki modeli automatski uče statističke zakonitosti jezika kroz predobuku, a za nizvodne zadatke je dovoljno da se napiše Prompt ili uradi mala količina finog podešavanja."

03. Šta je Transformer arhitektura?

Lao Wang kaže: "Pričajmo o osnovama — koliko poznaješ Transformer arhitekturu?"

Rekao sam: "Transformer je Google objavio 2017. u radu 'Attention is All You Need'. Prvobitna struktura sastoji se od Encoder-a i Decoder-a."

"Encoder je zadužen za razumevanje ulaza. Tekst prvo prolazi kroz Tokenizer koji ga seče na niz tokena, dodaje se poziciono kodiranje (Positional Encoding), a zatim se redom propušta kroz slojeve multi-head self-attention-a i unapredne neuronske mreže, pri čemu svaki sloj ima residualnu vezu i LayerNorm."

"Decoder je zadužen za generisanje izlaza. Struktura je slična Encoder-u, ali ima dodatni sloj masked self-attention (Masked Self-Attention) — pri generisanju N-tog tokena može videti samo prethodnih N-1 tokena, ne sme viriti u odgovore koji slede."

04. Zašto je Transformer zamenio RNN?

Lao Wang odmah pita: "Pre Transformer-a svi su koristili RNN — zašto je zamenjen?"

"Dva ključna problema."

"Prvo, nije mogao paralelno. RNN mora da obrađuje sekvence po redosledu — pročita prvu reč pa onda drugu, drugu pa onda treću. Sekvenca od 512 tokena zahteva 512 koraka RNN-a. GPU je najbolji u paralelnim izračunavanjima, koje RNN potpuno rasipa. Transformer istovremeno izračunava sve pozicije, u jednom koraku."

"Drugo, slabljenje zavisnosti na velikoj udaljenosti. Informacije se u RNN-u prenose postepeno, pa kad dođu do kraja, početak je već gotovo nestao. U članku od 1000 reči, informacija iz prve reči, kada stigne do hiljadite, preostaje samo mrvica. Kasnije je LSTM dodao mehanizam kapija i ublažio problem, ali u suštini i dalje prenosi sekvencijalno, pa je slabljenje usporeno, ali ne i eliminisano."

"Mehanizam pažnje Transformer-a direktno rešava ova dva problema: paralelno izračunavanje, a razdaljina između bilo koja dva tokena je 1."

05. Šta je mehanizam Attention?

Lao Wang kaže: "Kako zapravo radi mehanizam pažnje? Razloži to."

"Suština Attention-a je da svaki token 'upita' sve tokene u sekvenci, raspodeli različite težine na osnovu relevantnosti, a zatim uradi ponderisani zbir."

"Izračunavanje se vrši u tri koraka."

"Prvi korak — svaki token se pomoću tri različite matrice težina transformiše u tri vektora: Query (šta tražim), Key (koje informacije imam za podudaranje) i Value (stvarni sadržaj koji nosim)."

"Drugi korak — Query se pomnoži sa svim Key-ovima (dot product), čime se dobijaju attention skori. Što je skor veći, tokeni su relevantniji. Zatim se podeli sa √d_k (gde je d_k dimenzija Key vektora), i onda propagira kroz Softmax da bi se normalizovala u raspodelu verovatnoća. Deljenje sa √d_k sprečava da vrednosti dot product-a budu prevelike, što bi dovelo do toga da Softmax izlaz postane skoro one-hot i gradijent bude skoro nula."

"Treći korak — sa normalizovanim verovatnoćama se radi ponderisana suma svih Value-ova, čime se dobija konačni izlaz."

06. Šta je Self-Attention?

Lao Wang pita: "Koja je razlika između Self-Attention-a i Attention-a koji si malopre opisao?"

"Razlika je u poreklu Q, K, V."

"U običnom Attention-u, Query može doći iz jedne sekvence, dok Key i Value dolaze iz druge. Na primer, u mašinskom prevođenju, Query dolazi iz Decoder-a ciljnog jezika, dok Key i Value dolaze iz Encoder-a izvornog jezika. To je Cross-Attention."

"U Self-Attention-u, Q, K i V svi dolaze iz iste sekvence. Svaka reč u rečenici se podudara sa svim ostalim rečima te iste rečenice, izračunavajući međusobnu jačinu povezanosti."

"Na primer: 'Xiao Ming je dodao loptu Xiao Hong zato što je ona dobro pozicionirana.' Na koga se odnosi 'ona'? Self-Attention izračunava attention skor između reči 'ona' i svih ostalih reči u rečenici. Reč 'Xiao Hong' ima najviši skor, pa model zna da je 'ona' zapravo 'Xiao Hong', a ne 'Xiao Ming'. Ova sposobnost se zove razrešavanje koreferenci (Coreference Resolution), a sa njom Self-Attention prirodno dobro radi, za razliku od RNN-a."

07. Zašto koristiti multi-head attention?

Lao Wang klima glavom: "Zašto ne koristiti jedan Attention, zašto više glava?"

Rekao sam: "Jedan Attention Head može da uhvati samo jedan obrazac pažnje. Ali odnosi u jeziku su višedimenzionalni — gramatička slaganja, semantičke veze, blizina pozicija, skokovi koreferenci. Jedna glava ne može da primi toliko dimenzija informacija."

"Pristup multi-head attention-a (Multi-Head Attention) je da se Q, K, V podele u h grupa, pri čemu svaka grupa nezavisno radi izračunavanje Attention-a, a zatim se h rezultata spoji i propagira kroz linearnu transformaciju."

"Tokom obuke, različite glave automatski uče različite obrasce pažnje. Istraživači su, nakon vizualizacije, otkrili da neke glave prate gramatičko slaganje susednih reči, da drate prate koreferentne odnose na daljinu, a da treće hvataju zavisnosti između glagola i objekta. Kao tim recenzenata — svako pregleda isti materijal sa drugog ugla, a zatim se objedini sveobuhvatno mišljenje."

08. Šta je MoE arhitektura?

Lao Wang kaže: "Pošto pričamo o DeepSeek-u, o MoE arhitekturi moramo detaljnije."

"MoE je skraćenica za Mixture of Experts (mešavina eksperata). Suštinska ideja je: u modelu postoji gomila 'ekspertskih' mreža, a pri svakom zaključivanju aktivira se samo mali deo njih, dok se ostali preskaču."

"Konkretno, feedforward mreža (FFN) u Transformer-u se zamenjuje sa više paralelnih ekspertskih mreža, uz dodatni rutinski router (Router). Kada token uđe, Router ocenjuje sve eksperte, bira Top-K za aktivaciju, a ostali ne učestvuju u izračunavanju."

"Podaci za DeepSeek-V3: 256 rutinskih eksperata plus 1 deljeni ekspert, pri čemu se po token aktivira 8. Ukupno 671 milijarda parametara, ali pri jednoj inferenci aktivna su samo 37 milijardi parametara — oko 5,5% ukupnog."

"Kapacitet modela može biti veoma veliki (više parametara znači više znanja), dok se trošak zaključivanja drži na nižem nivou (pojedinačna inferenciya koristi samo mali deo parametara)."

"Cena je inženjerska kompleksnost obuke i primene. Ako Router uvek usmerava tokene na samo nekoliko eksperata, ostali postaju beskorisni — to je problem neuravnoteženosti opterećenja. DeepSeek-V3 koristi strategiju balansiranja opterećenja bez pomoćnog gubitka — ne dodaje dodatnu funkciju gubitka, već putem dinamičkog bias-a podešavanja čini da Router prirodno i ravnomerno raspodeljuje opterećenje."

Lao Wang je udario rukom po stolu: "Dobro, ovo je jasno objašnjeno. Promeniću pravac — ispričaj mi tok obuke."

09. Šta je predobuka?

"Predobuka (Pre-training) je prva faza obuke velikih modela, sa ciljem da se modelu na velikoj količini neoznačenog teksta prenesu statističke zakonitosti jezika."

"Metod je samoregresivno jezičko modelovanje (Causal Language Modeling): date je deo teksta, prekrije se poslednja reč i model pogađa. Ako pogodi, težine se ažuriraju, a ako ne pogodi, opet se ažuriraju — neprestano se model čini sve preciznijim."

"Količina podataka je obično u bilionima tokena. Period obuke obično traje od nekoliko nedelja do nekoliko meseci."

"Rezultat predobuke se zove osnovni model (Base Model). On sve malo zna, ali ne sluša dobro instrukcije — ako ga pitate 'kakvo je vreme danas', možda nastavi sa 'i sutra je lepo vreme', jer je naučio da 'nastavlja rečenice', a ne da 'odgovara na pitanja'. Da bi ga naterali da sluša, potrebno je naknadno fino podešavanje instrukcija."

10. Kako veliki modeli obrađuju podatke za obuku?

Lao Wang pita: "Količina od bilion tokena — kako se obrađuje?"

"U pet koraka."

• Prikupljanje podataka: prikuplja se sirovi tekst iz više izvora — Common Crawl (snapshoti interneta), knjige, akademski radovi, GitHub repozitorijumi koda itd.
• Deduplikacija: pomoću MinHash + LSH radi približne deduplikacije, uklanjaju se duplicirani ili visoko slični dokumenti. Duplikati podataka navode model da napamet uči određeni tekst, umesto da uči generalizacione obrasce.
• Filtriranje kvaliteta: obuči se poseban klasifikator koji ocenjuje dokumente, filtrira oglase, nečitljive znakove i mašinski generisanu neželjenu sadržinu.
• Čišćenje osetljivog sadržaja: uklanjaju se lični podaci, štetni sadržaj i materijal osetljiv na autorska prava.
• Tokenizacija (Tokenization): pomoću BPE (Byte Pair Encoding) algoritma tekst se seče na niz tokena. BPE polazi od nivoa znakova i neprestano spaja najčešće parove susednih znakova, dok veličina rečnika ne dostigne unapred postavljenu veličinu (rečnik GPT-4 sadrži oko 100 hiljada tokena).

"Posle pet koraka, količina važećih podataka obično iznosi 10% do 30% originalno prikupljene. Velika količina niskokvalitetnog i dupliciranog sadržaja se odbacuje tokom deduplikacije i filtriranja kvaliteta."

11. Šta je 'fino podešavanje' kod velikih modela?

Lao Wang pita: "Posle predobuke, može li se odmah koristiti?"

"Ne može. Osnovni model samo 'nastavlja rečenice', ne sluša instrukcije. Potrebno je fino podešavanje (Fine-tuning) — na prethodno obučen model se nastavi obučavanje sa skupom označenih podataka, kako bi se prilagodio specifičnom zadatku ili obrascu ponašanja."

"Postoje dva glavna načina finog podešavanja."

"Potpuno fino podešavanje (Full Fine-tuning): ažurira se svih parametara modela, efekat je najbolji, a cena najveća. Za model od 70B parametara potrebne su barem 4 A100 80GB grafičke kartice."

"Parametarski efikasno fino podešavanje (PEFT): ažurira se samo mali deo parametara, a većina originalnih težina se zamrzava. Najčešće korišćena metoda je LoRA (Low-Rank Adaptation) — pored originalne matrice težina ubacuju se dve male matrice (niskorangna dekompozicija) i obučavaju se samo parametri ovih malih matrica. Broj parametara koji se mogu obučavati kompresuje se na 0,1% originalnog, a jedna potrošačka grafička kartica je dovoljna."

"U većini praktičnih scenarija koristi se LoRA ili njegova varijanta QLoRA (kvantizacija modela na 4-bit, a zatim LoRA), jer nudi najbolji balans između cene i efekta."

12. Šta je 'SFT' kod velikih modela?

Lao Wang pritisnuo: "Koja je veza između SFT-a i finog podešavanja?"

"SFT (Supervised Fine-Tuning, nadgledano fino podešavanje) je vrsta finog podešavanja. Podaci za obuku su skup parova instrukcija-odgovor: jedna instrukcija, na primer 'napiši mi odsustveni email', uparena sa jednim kvalitetnim odgovorom. Model mora da nauči kako da organizuje jezik kada korisnik da instrukciju."

"SFT je prvi korak nakon predobuke. Predobuka modelu daje jezičke sposobnosti, dok ga SFT uči kako da odgovori na ljudske instrukcije."

"Ovde postoji jedan važan empirijski zaključak: kvaliteta podataka je daleko važnija od količine. U radu InstructGPT-a se navodi da 13 hiljada visokokvalitetnih SFT podataka može značajno da poboljša sposobnost modela da prati instrukcije. Obrnuto, model obučen na stotinama hiljada niskokvalitetnih podataka može imati lošije rezultate. Visok kvalitet znači da instrukcije pokrivaju raznovrsne tipove zadataka, a da su odgovori tačni, potpuni i u skladu sa formatom koji ljudi očekuju."

13. Šta je 'RL' kod velikih modela?

Lao Wang kaže: "Posle SFT-a ide RL, zar ne?"

"RL u kontekstu velikih modela se uglavnom odnosi na RLHF (Reinforcement Learning from Human Feedback) — pojačano učenje zasnovano na ljudskim povratnim informacijama."

"Proces se sastoji od tri koraka. Prvi — model SFT generiše više različitih odgovora na isto pitanje. Drugi — ljudski označivaoci rangiraju te odgovore — koji je dobar, a koji loš. Na osnovu tih rangiranja obučava se model nagrade (Reward Model) koji uči da automatski ocenjuje odgovore. Treći — pomoću algoritma PPO (Proximal Policy Optimization) model SFT se usmerava ka optimizaciji parametara u smeru u kom model nagrade daje visoke ocene."

SFT uči model kako da priča, RLHF uči model kako da priča dobro.

"DeepSeek-R1 ide drugačijim putem — koristi GRPO (Group Relative Policy Optimization) umesto tradicionalnog RLHF-a. GRPO ne zahteva posebno obučavanje Reward Model-a, već direktno koristi relativno rangiranje unutar grupe odgovora kao signal nagrade. Proces obuke je pojednostavljen, a performanse na zadacima matematičkog rezonovanja i generisanja koda nisu lošije."

14. Šta je 'temperatura (Temperature)' kod velikih modela?

Lao Wang razmišlja: "Imam pitanje o parametrima pri zaključivanju — čemu služi Temperature?"

"Temperature kontroliše slučajnost izlaza modela."

"Kada veliki model generiše sledeći token, on svakom kandidatu u rečniku dodeljuje sirovi skor (logits). Uloga Temperature je da, pre Softmax-a, podeli sve logits-e sa vrednošću Temperature."

"Na temperaturi = 1,0 raspodela verovatnoća se ne menja. Na temperaturi < 1,0, na primer 0,2, raspodela postaje oštrija — verovatnoća visokoverovatnih tokena se dodatno povećava, a niskoverovatnih se smanjuje, pa model teži da bira najverovatnije reči, čime izlaz postaje određeniji i konzervativniji. Na temperaturi > 1,0, na primer 1,5, raspodela postaje ravnija — razlika u verovatnoći između tokena se smanjuje, pa model može lakše da odabere 'neočekivane' reči, čime izlaz postaje slučajniji i kreativniji."

"Temperatura = 0 je specijalan slučaj: bira se token sa najvećom verovatnoćom, što se zove pohlepno dekodiranje (Greedy Decoding). Isti ulaz uvek daje isti izlaz — potpuno deterministički."

"U praksi, za zadatke generisanja koda preporučuje se 0 do 0,2 (želimo preciznost, ne rasipanje), za kreativno pisanje 0,7 do 1,0 (želimo raznovrsnost), a za svakodnevni razgovor obično 0,5 do 0,7."

15. Šta je KV Cache?

Lao Wang baca veoma inženjerski question: "Da li poznaješ KV Cache?"

Rekao sam: "KV Cache je najvažniji mehanizam za ubrzanje velikih modela u fazi zaključivanja."

"Generisanje teksta velikih modela je samoregresivno — svaki put se generiše jedan token, koji se zatim dodaje u ulaznu sekvencu, a zatim se izračunava sledeći. Problem je u tome što pri izračunavanju Attention-a za novi token treba iskoristiti Key i Value vektore svih prethodnih tokena. Ako se svaki put izračunavaju ispočetka, količina računanja raste kvadratno sa dužinom sekvence."

"Pristup KV Cache-a: Key i Value prethodnih tokena se, nakon što se jednom izračunaju, čuvaju u kešu, pa se kasnije direktno uzimaju iz keša, bez ponovljenog računanja. Pri generisanju novog tokena potrebno je izračunati samo Q, K i V novog tokena, a zatim iz keša uzeti sve istorijske K i V i izračunati Attention."

"Cena je memorija na grafikkoj kartici. Za Llama 2 70B, sa dužinom konteksta 4096, KV Cache zauzima oko 2,5GB. Ako se kontekst proširi na 128K, zauzeće memorije KV Cache-a linearno raste na oko 80GB, što može biti i više od memorije koju zauzimaju sami parametri modela."

"Za optimizaciju memorijskog zauzeća KV Cache-a postoje dva glavna rešenja. GQA (Grouped Query Attention): više Query Head-ova deli istu grupu Key i Value, čime se smanjuje broj KV parova koji se čuvaju. Llama 3 koristi upravo GQA. MLA (Multi-head Latent Attention): rešenje koje je predložio DeepSeek-V2, koje Key i Value kompresuje u niskodimenzionalni latentni prostor pre čuvanja — zauzeće keša je čak i manje nego kod GQA. DeepSeek-V3 je nastavio da koristi ovaj dizajn."

16. Šta je problem 'halucinacija' kod velikih modela?

Lao Wang kaže: "Razgovarajmo o pitanju iz domena primene — kako razumeti halucinacije?"

"Halucinacija (Hallucination) je situacija u kojoj sadržaj koji model generiše deluje glatko i razumno, ali nije u skladu sa činjenicama."

"Koren problema je u tome što veliki modeli rade na principu predviđanja verovatnoća — oni ne 'pamte' činjenice, već na osnovu statističkih obrazaca 'sastavljaju' sledeću najverovatniju reč. Kada pokrivenost određene tačke znanja u podacima za obuku nije dovoljna, ili kada pitanje prevazilazi opseg tih podataka, model koristi statističke obrasce da 'popuni' odgovor koji deluje razumno, ali je zapravo netačan."

"Halucinacije se dele u dva tipa. Činjenična halucinacija (Factual Hallucination): izmišlja nepostojeće činjenice, na primer smišlja naslov, autora i godinu objavljivanja za nepostojeći naučni rad, ili izmišlja lažno iskustvo za stvarnu osobu. Halucinacija vernosti (Faithfulness Hallucination): odgovor je u suprotnosti sa datim kontekstom — u RAG scenariju, dokument koji je preuzet jasno kaže da je 'kompanija A osnovana 2020', a model u odgovaru kaže '2018'."

"Postoji nekoliko puteva za ublažavanje. RAG uvodi spoljnu bazu znanja kao sidro za činjenice i vrši ukrštenu proveru odgovora modela sa pouzdanim izvorima. Na nivou Prompta se izričito postavlja ograničenje 'ako nisi siguran, reci da ne znaš'. Koriste se veći modeli sa ažurnijim podacima za obuku, čime je pokrivenost veća. Nakon primene dodaje se sloj za proveru činjenica kao rezerva. Nema srebrnog metka — ovo je suštinsko ograničenje verovatnoćnih modela."

17. Šta je 'generalizacija' kod velikih modela?

Lao Wang baca poslednje pitanje: "Kako se meri sposobnost generalizacije?"

"Generalizacija (Generalization) je sposobnost modela da dobro radi i na podacima koje nije video tokom obuke. Suprotni pojam je preterano prilagođavanje (Overfitting)."

"Preterano prilagođavanje je kada model nauči podatke za obuku napamet — na originalnim pitanjima ima maksimalan broj poena, ali kad se pitanje formuliše drugačije, ne zna da odgovori. Model koji dobro generalizuje zaista je naučio obrasce, pa u drugačijem kontekstu i dalje radi."

"Sposobnost generalizacije velikih modela pre svega potiče iz tri izvora. Raznolikost podataka za obuku — što su izvori raznovrsniji i što jezik i oblasti znanja pokrivenije brojnije, to je model 'video' bogatije scenarije i generalizacija je jača. Skala modela — modeli sa dovoljno velikim brojem parametara mogu da uhvate finije jezičke obrasce i veze znanja. Metode regularizacije, kao što su Dropout (slučajno isključivanje dela neurona tokom obuke) i weight decay (ograničavanje rasta parametara), sprečavaju da model preterano prilagodi podatke za obuku."

"Način merenja je direktan: gleda se performansa modela na nezavisnom test skupu. Ako je tačnost na skupu za obuku 99%, a na test skupu samo 60%, to je tipičan primer preteranog prilagođavanja i slabe generalizacije. Ako su oba visoka i međusobno bliska — generalizacija je dobra. Sposobnost generalizacije velikih modela se obično ocenjuje preko standardizovanih benchmark testova kao što su MMLU, HumanEval i GSM8K."

ending

Iza procene vrednosti DeepSeek-a od 71 milijarde dolara stoje MoE arhitektura koja štedi troškove zaključivanja, GRPO koji štedi troškove obuke i MLA koji kompresuje KV Cache i štedi memoriju. Svako pitanje koje intervjuer postavi ne služi da nekoga zbuni, već da potvrdi — da li ste razumeli kompromise koji stoje iza ovih tehničkih izbora.

[Na intervjuu se ne meri koliko ste pitanja naučili napamet, već koliko ste 'zašto' razumeli.]

Radost učenja se upravo sastoji u tome — ranije, pre velikih modela, kriva učenja ovakvih znanja je bila veoma strma. A sada?

Šta god ne razumete, pitajte ChatGPT, Claude ili DeepSeek — brzo možete doći do istine. Potrebno je samo da pokrenete mozak i da pokušate da ih razumete.

Samo napred, braćo i sestre.

vidimo se u sledećem.