Šta je zapravo MoE iz tehničkog izveštaja DeepSeek V4?

Sigurno si već svuda naišao na ovaj skup brojeva: u tehničkom izveštaju DeepSeek V4 Flash verzija ima 284B ukupnih parametara, a aktivira samo 13B; Pro verzija ima 1.6T ukupnih parametara, a aktivira samo 49B.

A ti, pametni, sigurno se pitaš: kakva je zapravo veza između „ukupnih parametara” i „aktiviranih parametara”? Između 284B i 13B je razlika veća od 20 puta — šta onda rade ostali parametri?

Odgovor ti kažem odmah: MoE (Mixture-of-Experts) — arhitektura mešovitih eksperata.

Prelistao sam tehnički izveštaj DeepSeek V4 i originalni rad DeepSeekMoE, pa ti mogu samouvereno, otvoreno i bez ikakvog ustezanja razjasniti tri stvari:

• Šta je zapravo MoE i zašto ne moraju svi parametri da rade istovremeno?
• Kako model zna koje eksperte da angažuje za obradu trenutnog sadržaja?
• Kakav praktičan uticaj MoE ima na našu upotrebu modela?

Danas ti za 3 minuta razjašnjavam šta je MoE — dobro će ti doći i kad pred prijateljima budeš hteo da se pohvališ znanjem: samo ti sve razumeš, definitivno najpametniji u celoj prostoriji (😄).

Vežite sigurnosne pojaseve, krećemo!

Prvo, prva stvar — šta je zapravo MoE.

Da bismo to razjasnili, moramo prvo da razjasnimo jednu pretpostavku. Svaki sloj velikog modela (Transformer) ima dva ključna modula: sloj pažnje (Attention), zadužen za razumevanje odnosa u kontekstu, i feed-forward mrežu (FFN), zaduženu za obradu i transformaciju informacija.

Sloj pažnje je dense — što znači da, koji god token bio u pitanju, prolazi kroz kompletnu obradu sloja pažnje.

MoE jednu celu, jedinstvenu feed-forward mrežu razbija na 256 malih Routed Expert-a i 1 Shared Expert.

Da upotrebim poređenje. Jedna bolnica ima 256 specijalista i 1 lekara opšte prakse. Kad stigne pacijent, ne mogu sva 257 lekara odjednom na njega — to se ne zove konsilijum, to se zove rasipanje kadrova.

Sestra na prijemnom pultu, prema tvojim simptomima, bira 6 najpodesnijih specijalista. Iščačeno rame ide kod ortopeda, nadraženo grlo kod otorinolaringologa.

Shared Expert baci pogled na svaki token i uglavnom je zadužen za opšte znanje poput gramatike i zdravog razuma.

Zatim Router po Top-K strategiji bira 6 Routed Expert-a koji zajedno sa Shared Expert-om obavljaju posao — svako je majstor svog zanata: jedan je jak u pisanju koda, drugi u matematičkim zadacima, treći u pisanju teksta.

V4 Flash ima ukupno 43 sloja, i svaki sloj ima istu ovakvu strukturu — 256 Routed Expert-a + 1 Shared Expert. Zato svaki token u svakom sloju aktivira samo 7 eksperata (6+1).

A ti, pametni, sigurno se pitaš: odakle zapravo 13B i 284B?

Prvo formule.

Aktivirani parametri = parametri sloja pažnje + broj aktiviranih eksperata po sloju × parametri jednog eksperta × broj slojeva.

Ukupni parametri = parametri sloja pažnje + broj svih eksperata po sloju × parametri jednog eksperta × broj slojeva.

Razlika je samo jedna — „broj aktiviranih eksperata” naspram „broj svih eksperata”.

V4 Flash ima 43 sloja, po sloju 257 eksperata (256+1), svaki ekspert oko 25 miliona parametara (ne pitaj kako znam — 4096 × 2048 × 3), a svaki token aktivira samo 7 njih (6+1).

Aktivirani parametri: 7 × 25 miliona × 43 sloja ≈ 7,5 milijardi, plus fiksni troškovi poput sloja pažnje od oko 5,5 milijardi — ukupno oko 13 milijardi, i to je 13B.

Ukupni parametri: 257 × 25 miliona × 43 sloja ≈ 276 milijardi, plus fiksni troškovi — i to je 284B.

Odnos aktivacije je 7 prema 257, manje od 3%.

Preostali parametri nisu na pauzi — samo još nisu došli na red. Kad uđe sledeći token, na scenu mogu izaći neka sasvim druga 6.

A ti, pametni, sigurno si već povezao: kako model zna koje 6 eksperata da pozove?

Pomoću Routera. To je onaj prijemni pult iz bolnice.

Router je posebno istrenirana mreža za ocenjivanje. Za svaki token koji uđe, ona dodeli ocenu svakom od 256 Routed Expert-a, a zatim po Top-K strategiji izabere K najbolje ocenjenih — u V4 Flash, K je 6.

Router nije ukočeno zapisano pravilo, on se istrenira. Što se model duže trenira, to je Router pametniji — zna „kome ovakva pitanja pripadaju”.

A ti, pametni, sad sigurno pitaš: šta nam ovo znači pri izboru modela?

Dve reči: ušteda.

Prednost MoE-a je u tome što se tokom treniranja znanje uči preko 284B parametara, pa je pokrivenost široka, dok računarski obim pri izvođenju iznosi samo 13B — brzo je i jeftino.

U Agent scenarijima ova prednost je još izraženija — jedan zadatak lako zna da izvuče desetine, pa i stotine poziva modela; uštediš li po malo na svakom pozivu, nagomilano to na kraju pravi razliku u troškovima od nekoliko puta, pa i desetak puta.

Zato ne čudi da svih 10 najjačih open-source modela na rang listi za 2026. koristi MoE.

I na kraju, ukratko.

MoE, rečeno ljudskim jezikom: „ne moraju svi eksperti istovremeno na posao”. 256 eksperata predstavlja ukupnu količinu znanja modela, ali na svako pitanje odgovara samo 6 onih koji to najbolje razumeju.

Još nešto: kad ubuduće gledaš parametre modela, ne gledaj samo ukupne — 284B zvuči impozantno, ali brzinu izvođenja i cenu stvarno određuju aktivirani parametri.

Da li si savladao ovu temu? Za još hardcore AI znanja, lajkuj i prati — vidimo se u sledećoj epizodi!