Preskoči na glavni sadržaj

RAG 2.0 detaljna analiza

Yan HengSajt8712 reči29 minuta

Uvod od A-li sestre

Ovaj članak se bavi glavnim izazovima i ključnim tehnologijama RAG 2.0, uključujući tehnička unapređenja i ključne tehnologije.

Prvi. Uvod

Prošla godina je bila prva godina RAG-a, tehnologija za pojačavanje generisanja pretragom se brzo razvijala i duboko se menjala, njene inovacije i primene su duboko preoblikovale tehnički paradigmu implementacije velikih modela. Stojeći u 2025. godini, RAG nije samo prevlazio ranih ograničenja obrade teksta, već je kroz multimodalnu fuziju, optimizaciju hibridne pretrage i prevazilaženje semantičkih jaza počeo da se primenjuje u raznim industrijama. Ako RAG pre 2024. zovemo RAG 1.0, onda smo sada ušli u eru RAG 2.0.

Jedan značajan napredak je dugačak kontekstualni prozor, ova funkcija je izazvala kontroverzu, ali do sredine godine se smirila. Mnogi misle da je dugačak kontekstualni prozor dovoljan, tradicionalna pretraga i RAG će biti zamenjeni. Pored toga, sazrevanje arhitektura kao što je LLMOps omogućilo je preduzećima i pojedincima da koriste vektorske baze podataka, modele za ugnježđivanje/re-rangiranje, alate za deljenje, brz razvoj Multimodalnih tehnologija. RAG radovi dosežu desetine ili čak više nedeljno. Može se reći, RAG je doživeo divlji brzi rast, iz 1.0 ultra-brzo ušao u eru 2.0.

RAG se sve više primenjuje u preduzećima i produkcionim scenarijima, ali i dalje suočava sa mnogim tehničkim izazovima, ovaj članak ćemo se baviti glavnim izazovima i ključnim tehnologijama RAG 2.0. Prvo brzo pregledamo glavne probleme RAG 2.0:

Proširenje na više modala i složeni zadataci

  • Nedovoljna multimodalna podrška: Trenutna RAG tehnologija je uglavnom fokusirana na tekstualne podatke, ali i dalje se suočava sa izazovima pri obradi multimodalnih podataka kao što su slike, video itd. Na primer, kako efikasno pretraživati i koristiti multimodalne informacije i dalje je otvoreno pitanje. Postojeća LLMOps rešenja su uglavnom ograničena na scenarije samo teksta. PDF, PPT ili dokumenti koji kombinuju tekst i slike ne mogu u potpunosti da realizuju svoj komercijalni potencijal. Ovi tipovi dokumenata obično čine većinu podataka preduzeća.
  • Složeni zadaci rezonovanja: Iako RAG pojačava sposobnost rezonovanja modela pretragom eksternog znanja, njegova performansa i dalje treba da se poboljša pri obradi višehopskog rezonovanja ili složenih logičkih zadataka.

Kvalitet pretrage i problem šuma

  • Nedovoljna tačnost pretrage: Performanse RAG-a uveliko zavise od kvaliteta pronađenih dokumenata. Ako pronađeni dokumenti nisu relevantni za upit ili sadrže informacije šuma, rezultati generisanja će biti netacni ili čak pogrešni.
  • Semantički JAZ: Srce RAG-a je pretraga. Samo može da funkcioniše kada može da „pretraži“ odgovor na osnovu korisničkog upita. Međutim, ovaj preduslov često ne može da se ispunji, jer je upit nejasan ili nije jasne namere, ili „više-hop“ problem zahteva sintezu iz više podproblema. U ovakvim slučajevima, postoji značajan semantički jaz između postavljenog pitanja i pronađenog odgovora, što čini tradicionalne metode pretrage neefikasnim.
  • Uticaj podataka šuma: Informacije šuma u dokumentu mogu da zbune putanju rezonovanja modela, što dovodi do devijacija u generisanom sadržaju. Na primer, zastareli ili netačni podaci mogu da zavaraju model i smanje pouzdanost generisanih rezultata.
  • Nizak koeficijent opoziva: U nekim slučajevima, RAG možda neće moći da pronađe sve relevantne dokumente, što dovodi do toga da generativni model nema dovoljno informacija o kontekstu da konstruiše potpun odgovor. Na primer, čista vektorska baza podataka dovodi do niskog koeficijenta opoziva i pogotka: samo oslanjanje na vektorsku bazu podataka dovodi do niskog koeficijenta opoziva i pogotka, ometa efikasno realno pitanje-odgovor. To je zato što vektorska reprezentacija ne može precizno da predstavi tačne informacije i uzrokuje gubitak semantike tokom procesa pretrage.

Halucinacije i suvišnost tokom generisanja

  • Problem halucinacija: Iako RAG smanjuje verovatnoću halucinacija modela generisanja pretragom eksternog znanja, kada je pronađena informacija nedovoljna ili relevantnost niska, model i dalje može da generiše fiktivne ili netačne sadržaje[6].
  • Savišnost i ponavljanje: Kada pronađeni dokumenti sadrže slične informacije, generisani sadržaj može da bude suvišan ili se ponavlja, što utiče na kvalitet i konciznost odgovora.

Resursi izračunavanja i problemi efikasnosti

  • Potrošnja resursa izračunavanja: RAG zahteva dodatne resurse za izračunavanje da bi podržao mehanizam pretrage i održavanje baze podataka, kao što je izgradnja i ažuriranje modela za vektorizaciju i vektorske baze znanja[6].
  • Kašnjenje zaključivanja: Zbog dodatog koraka pretrage, vreme zaključivanja RAG-a može biti duže od tradicionalnog LLM-a, posebno pri obradi složenih upita[6].
  • Zahtevi realnog vremena: RAG zahteva pretragu najnovijih informacija u realnom vremenu, ali učestalost ažuriranja baze znanja i efikasnost pretrage možda neće moći da zadovolje visoke zahteve realnog vremena.

Bezbednost i privatnost

  • Bezbednost podataka: RAG zahteva pristup eksternoj bazi znanja, što može da uključuje osetljive podatke. Osiguravanje bezbednosti i privatnosti podataka je važan izazov[8].

  • Protivnički napadi: RAG sistem može da bude izložen protivničkim injekcijama podataka ili sukobima konteksta, što dovodi do manipulisanja ili obmanjivanja generisanog sadržaja

Optimizacija funkcije nagrade i mehanizma obuke

  • Dizajn funkcije nagrade: Trenutni RAG sistemi obično koriste funkciju nagrade zasnovanu na rezultatima, ali u scenarijima složenih zadataka, ovaj dizajn možda neće moći da uhvati suptilne razlike, što utiče na performanse modela[1].
  • Zavisnost od trening podataka: Obuka RAG-a zahteva podatke visokog kvaliteta o interakciji, ali dobijanje i označavanje ovih podataka može biti skupo i dugotrajno.

Drugi. Nadogradnja tehničkog paradigme

Od rođenja prvobitne koncepcije do danas, arhitektura RAG-a je prošla kroz tri faze evolucije: osnovno pretraživanje-generisanje (Naive RAG) → optimizacija celog procesa pretrage (Advanced RAG) → modularni sistem sa sposobnošću refleksije (Modular RAG). Gde modularna arhitektura realizuje dinamičke odluke pretrage kroz rekurzivno pozivanje LLM-a, na primer omogućavanje modelu da samostalno odluči kada da pokrene pretragu ili ispravi odgovore, formirajući interaktivni paradigmu sličan Agentu. Konkretno vidi donji dijagram, detalje ovde nećemo navesti, fokusirajmo se na ključne tehnologije.

Zapravo bez obzira koju paradigmu, njena suština je fuzija pretrage + LLM, sve ključne tehnologije su zapravo transformacije tehnologija pretrage i velikih modela.

Treći. Ključne tehnologije

3.1 Tehnologije pretrage

3.1.1 Hibridna pretraga

Ranije smo pomenuli da trenutna RAG Retrieval ima nedostatake, kao što su nizak koeficijent opoziva, niska tačnost, veliki šum, postojanje suvišnih upita, slaba efikasnost i robusnost. Zato nam treba Hybrid Search. Trenutno opšta hibridna pretraga je trostruka hibridna pretraga: puna pretraga teksta sa BM25 + gusti vektor (semantičko podudaranje) + retki vektor (pojačanje ključnim rečima). Prvo ćemo jednostavno predstaviti ove metode pretrage:

Indeks punog teksta

Često koristi tehnologije kao što je inverzni indeks (Inverted Index) itd., mapira svaku reč u dokumentu na listu dokumenata koji sadrže tu reč, čime realizuje efikasan upit. Brzina upita je visoka, pogodna za tačno podudaranje. Podržava kompleksnu sintaksu upita (kao Bulove upite, upite sa džokerima). Mana je ne razume semantiku, oslanja se samo na bučno podudaranje. Ograničena sposobnost obrade sinonima, semantičke sličnosti itd., naravno ovo se može rešiti predobradom kao što je normalizacija. Sortiranje relevantnosti, često korišćeni algoritam je BM25 algoritam, zasnovan na kombinovanom bodovanju učestalosti reči, dužine dokumenta i inverzne učestalosti dokumenta.

BM25 (Best Matching 25) je algoritam za bodovanje relevantnosti dokumenata zasnovan na verovatnoćnom modelu, široko korišćen u pretraživačima punog teksta za merenje stepena podudaranja između upita (Query) i dokumenta (Document). To je poboljšana verzija tradicionalnog TF-IDF algoritma, posebno bolji u obradi dužine dokumenta i distribucije učestalosti reči. BM25 kroz kombinovanje učestalosti reči, inverzne učestalosti dokumenta i normalizacije dužine dokumenta, pruža efikasan metod za procenu relevantnosti dokumenta i upita, sa karakteristikama efikasnosti, fleksibilnosti i robusnosti. BM25 zbog svoje jednostavnosti i efikasnosti i danas je kamen temeljac tehnologije pretrage teksta, naročito u scenarijima koji zahtevaju brz odziv i objašnjivost.

Pretraga retkih vektora

Retka pretraga je tehnologija pretrage zasnovana na retkim vektorima, obično korišćena za tradicionalne zadatke pretrage informacija. Retki vektori su vektori gde je većina elemenata nula, samo mali broj elemenata je nenula. Koristeći model kese reči (Bag of Words, BoW) ili TF-IDF metode da predstavimo tekst kao retke vektore, zatim kroz izračunavanje sličnosti između vektora (kao što je skalarni proizvod) da pronađemo relevantne dokumente. Glavna primena je tradicionalna pretraga teksta (kao pretraživači). Visoka efikasnost izračunavanja, pogodna za velike skupove podataka, ali ne razume semantiku.

Retki vektori teško mogu da zameną pretragu punog teksta: retki vektori ciljaju da zamene pretragu punog teksta, metoda je korišćenje standardnog prethodno obučenog modela da eliminišu suvišne reči i doda proširene reči, čime se dobija izlaz retkog vektora fiksne dimenzije (na primer 30.000 ili 100.000 dimenzija). Ova metoda se dobro ponaša na opštim zadacima upita; međutim, mnogi ključni reči korisničkog upita možda ne postoje u prethodno obučenom modelu korišćenom za generisanje retkog vektora, na primer specifični mašinski modeli, priručnici i stručni termini. Zato, iako retki vektori i pretraga punog teksta služe svrhi tačnog opoziva, svaki ima svoje prednosti, ne mogu jedni druge da zameną.

Vektorska pretraga

Vektorska pretraga je tehnologija pretrage zasnovana na vektorskom prostornom modelu, konvertuje podatke (kao što su tekst, slika, audio) u visoke vektore (obično guste vektore), i kroz izračunavanje sličnosti između vektora (kao što je kosinusna sličnost ili Euklidska distanca) pronalazi najrelevantnije rezultate. Koristeći mašinske učenje modele (kao što je duboko učenje) da mapira podatke u vektorski prostor, semantički slični podaci su blizu u vektorskom prostoru. Glavni scenariji primene su semantička pretraga (Semantic Search): razume semantiku upita, ne samo podudaranje ključnih reči. Može da uhvati semantičke informacije, podržava fuzzy podudaranje. Pogodno za obradu nestrukturiranih podataka (kao tekst, slike). Međutim zahteva prethodno obučene modele za generisanje vektora, visoka kompleksnost izračunavanja. Visoki zahtevi za hardverske resurse (kao GPU).

Korišćenje više metoda opoziva može doneti bolje rezultate za RAG. Konkretno, kombinovanje vektorske pretrage, pretrage retkih vektora i pretrage punog teksta može ostvariti najbolji koeficijent opoziva. Ovo je lako razumeti, jer vektori mogu da predstave semantiku; čak i cela rečenica ili čitav članak mogu biti inkapsulirani u jednom vektoru. U suštini, vektori prenose „značenje“ teksta, predstavljajućiću kompresovanu verovatnoću njegovog ko-occurrence-a sa drugim tekstom unutar kontekstualnog prozora. Zato, vektori ne mogu precizno da predstave upit. Na primer, ako korisnik pita: „Koji sklopovi uključuje naš finansijski plan za mart 2024. godine?“ rezultat možda vrati podatke iz drugih perioda ili nerelevantne teme, na primer operativni plan ili upravljanje marketingom. Suprotno tome, pretraga punog teksta i retki vektori uglavnom izražavaju preciznu semantiku. Zato, kombinovanje ovih metoda može zadovoljiti naše svakodnevne potrebe za semantičkim razumevanjem i tačnošću.

Donji dijagram prikazuje rezultate evaluacije korišćenjem Infinity na javnom benchmark skupu podataka, upoređuje jednosmerne metode opoziva (vektor, retki vektor, pretraga punog teksta), dvosmerni opoziv i trosmerni opoziv. Vertikalna osa predstavlja kvalitet sortiranja, očigledno trosmerni opoziv postiže najbolje rezultate, potpuno potvrđuje efikasnost BlendedRAG-a.

U trenutnoj arhitekturi hibridne pretrage, različite čuvanje podataka i pretraga su uglavnom realizovane kroz heterogene baze podataka i medijume čuvanja, što dovodi do problema efikasnosti i preciznosti, zato je baza podataka koja istovremeno podržava više vrsta pretrage posebno važna, ali postoji veliki izazov, trenutno na tržištu postoje baze podataka sa ovom funkcionalnošću kao što su Milvus (podržava multimodalne vektore + skalarno filtriranje), Weaviate (ugrađena hibridna pretraga).

3.1.2 DPR (Dense Passage Retrieval)

U RAG (Retrieval-Augmented Generation) sistemu, DPR (Dense Passage Retrieval, gust pretraga pasusa) je jedna od ključnih tehnologija modula pretrage. DPR koristi reprezentaciju gustih vektora za pretragu dokumenata ili pasusa najrelevantnijih za upit, važna osnova RAG sistema. Prvi put predložio tim Facebook AI Research 2020. godine.

DPR je metod pretrage zasnovan na dubokom učenju, fokusira se na kodiranje upita (query) i dokumenta (passage) u guste vektore, i kroz izračunavanje sličnosti između vektora pronalazi dokumente najrelevantije za upit. DPR je specifična implementacija guste vektorske pretrage u zadacima pretrage pasusa, koristi modele dubokog učenja da kodira upit i dokument u guste vektore, i kroz izračunavanje sličnosti pronalazi relevantne dokumente.

Ključne funkcije DPR-a

1. Arhitektura dvostrukog kodira: DPR koristi arhitekturu dvostrukog kodira, posebano kodira upit i dokument, mapira ih u visoki vektorski prostor. Kroz izračunavanje sličnosti (kao što je unutrašnji proizvod) između vektora upita i dokumenta, DPR može efikasno da pronađe dokumente najrelevantije za upit.

2. Semantičko podudaranje: Za razliku od tradicionalnih metoda retke pretrage (kao što je BM25), DPR može da uhvati semantičku sličnost između upita i dokumenta, ne samo podudaranje ključnih reči. To čini DPR odličnim u obradi složenih prirodnih jezičkih upita.

3. Efikasna pretraga: DPR koristi reprezentaciju gustih vektora i efikasne algoritme pretrage najbližeg suseda (kao što je MIPS, Maximum Inner Product Search), može brzo iz velike baze znanja da pronađe relevantne dokumente.

DPR kao pretraživač u RAG sistemu, odgovoran za pretragu dokumenata ili pasusa najrelevantnijih za korisnički upit iz eksterne baze znanja. Ovi pronađeni dokumenti se šalju modulu za generisanje, generativni modul koristi ove dokumente da generiše odgovore visokog kvaliteta relevantne za kontekst. Efikasna sposobnost semantičke pretrage DPR-a značajno poboljšava performanse RAG sistema u zadacima kao što je odgovaranje na pitanja u otvorenom domenu.

Iako je DPR postigao značajne rezultate, i dalje ima prostora za unapređenje. Na primer, decentralizacija znanja tokom obuke DPR-a može se dodatno optimisati da poboljša raznovrsnost i tačnost pretrage. Pored toga, istraživači takođe istražuju kako bolje da kombinuju DPR sa prethodno obučenim jezičkim modelima za dodatno poboljšanje performansi pretrage i generisanja.

3.2 Re-rangiranje Ranking Models

Ranije smo govorili da je trostruki opoziv (BM25 + gusti vektor + retki vektor) najefikasniji, ali kako efikasno da spojimo višestruke rezultate i re-rangiramo (Reranking) i dalje je težak problem.

Rangiranje je srce bilo kog sistema pretrage. Rangiranje uključuje dve komponente: jedna je za grubo filtriranje to je grubi redosled; druga je za fazu podešavanja, model re-rangiranja takođe zvan fini redosled ili precizan redosled. Hibridna pretraga može da kombinuje prednosti različitih tehnologija pretrage da dobije bolje rezultate opoziva, ali rezultati upita pod različitim režimima pretrage treba da se spoje i normalizuju (konvertuju podatak u jedinstven standardni opseg ili distribuciju za lakše poređenje, analizu i obradu), zatim se zajedno dostavljaju velikom modelu. U ovom trenutku treba da uvedemo sistem bodovanja: model re-rangiranja (Rerank Model).

Model re-rangiranja izračunava stepen semantičkog podudaranja između liste kandidata dokumenata i pitanja korisnika, ponovo sortira na osnovu semantičkog podudaranja, čime poboljšava rezultate semantičkog sortiranja. Njegov princip je da izračuna skor relevantnosti između korisničkog pitanja i svakog datog kandidata dokumenta, i vraća listu dokumenata sortiranu po relevantnosti od visoke do niske. Česti Rerank modeli su: Cohere rerank, bge-reranker itd.

Ipak, re-rangiranje nije primenjivo samo na spajanje rezultata različitih sistema pretrage, čak i u režimu jedne pretrage, uvođenje koraka re-rangiranja takođe može efikasno da pomogne da poboljša efekte opoziva dokumenata, na primer možemo da dodamo semantičko re-rangiranje nakon pretrage ključnih reči.

U konkretnoj praksi, pored normalizacije višestrukih rezultata upita, pre nego što se relevantni delovi teksta dostave velikom modelu, obično ograničavamo broj delova koji se šalju velikom modelu (tj. TopK, može se podesiti u parametrima modela re-rangiranja), razlog je što postoji ograničenje veličine ulaznog prozora modela (obično 4K, 8K, 16K, 128K Token-a), treba da izaberete odgovarajuću strategiju deljenja i vrednost TopK na osnovu ograničenja veličine ulaznog prozora izabranog modela.

Treba napomenuti da čak i ako je kontekstualni prozor modela dovoljno veliki, previše delova opoziva može uvesti sadržaj niže relevantnosti, što dovodi do smanjenja kvaliteta odgovora, zato parametar TopK re-rangiranja nije što je veći to je bolje.

U RAG (Retrieval-Augmented Generation) sistemu, svrha re-rangiranja (reranking) nakon pretrage je da poboljša kvalitet i relevantnost konačnog generisanog rezultata. Iako je faza inicijalne pretrage već vratila skup relevantnih dokumenata ili pasusa, ovi rezultati možda neće u potpunosti odgovarati potrebama generativnog modela, ili možda postoji nereasonabilno sortiranje. Re-rangiranje može pomoći da se filtriraju najrelevantnije i najkorisnije informacije, čime se pobolšava izlazni efekat generativnog modela.

Sledeće ćemo se fokusirati na predstavljanje nekoliko često korišćenih Reranker-a.

3.2.1 Cross-Encoder Reranker

Cross-Encoder Reranker je model re-rangiranja zasnovan na dubokom učenju, kroz zajedničko kodiranje para upit-dokument (spajanje upita i dokumenta i ulaz u model) direktno predviđa skor relevantnosti, umesto generisanja nezavisnih vektora. Srce mu je korišćenje arhitekture cross-encoder-a za procenu sličnosti između upita (query) i dokumenta (document). Za razliku od dvostrukog kodira (Bi-Encoder), cross-encoder ne kodira upit i dokument posebno, već upit i dokument uzima kao celinu i ulazuje u model, čime može efikasnije da uhvati interakciju i odnos između njih. Ova arhitektura se obično sastoji od višeslojnih jedinica neuronske mreže, na primer Transformer ili rekurentna neuronska mreža (RNN), može da kodira informacije iz ulazne sekvence u fiksnu veličinu. Tačnije od tradicionalne vektorske pretrage, može da uhvati duboke semantičke odnose. Optimizuje se kroz zadatak end-to-end klasifikacije (kao binarna odluka relevantnosti), pogodan za precizan redosled Top-K kandidata dokumenata. Reprezentativni model je <font style="color:rgb(64, 64, 64);">BAAI/bge-reranker-large</font>.

Cross-Encoder se može kombinovati sa kasnom interakcijom (Late Interaction), kao što je ranije pomenuto ColPali (scenarij multimodalnog RAG-a), kroz dekompoziciju matrice interakcije upit-dokument na spoljašnje proizvode više vektora, realizuje efikasno semantičko sortiranje, uz zadržavanje sposobnosti fine-granularne interakcije.

U pogledu efikasnosti, veliki Cross-Encoder (kao BERT-large) može se destilovati u laki model (kao TinyBERT), ili primeniti FP16/INT8 kvantizaciju za smanjenje kašnjenena zaključivanja. Ovo su sve opšte metode, ovde nećemo ulaziti.

Primer korišćenja:

import numpy
import lancedb
from lancedb.embeddings import get_registry
from lancedb.pydantic import LanceModel, Vector
from lancedb.rerankers import CrossEncoderReranker
embedder = get_registry().get("sentence-transformers").create()
db = lancedb.connect("~/.lancedb")
class Schema(LanceModel):
    text: str = embedder.SourceField()
    vector: Vector(embedder.ndims()) = embedder.VectorField()
data = [
    {"text": "hello world"},
    {"text": "goodbye world"}
]
tbl = db.create_table("test", schema=Schema, mode="overwrite")
tbl.add(data)
reranker = CrossEncoderReranker()
# Run vector search with a reranker
result = tbl.search("hello").rerank(reranker=CrossEncoderReranker()).to_list()

3.2.2 Graph-Based Reranking

Trenutni mainstream RAG sistemi prate linearni tok „pretraga-sortiranje-generisanje“, gde faza re-rangiranja obično koristi dve metode: (1) modeli unakrsne pažnje zasnovani na nezavisnom kodiranju (kao MonoT5), posebno procenjuju relevantnost svakog dokumenta i upita; (2) modeli sortiranja zasnovani na gubitku na nivou liste (kao ListNet), optimizuju raspored cele sekvence dokumenata. Oba paradigma imaju fundamentalna ograničenja — tretiraju dokumente kao izolovane individue, potpuno ignorišu bogate semantičke veze između dokumenata, što dovodi do tri ključna problema:

1. Neuspeh integracije informacija: Kada odgovor zahteva sintezu informacija iz više dokumenata (npr. pitanje poređenja „uporedi prednosti i mane A i B“), nezavisno sortiranje može staviti dokumente relevantne za A i B ali sa niskim individualnim rezultatom na zadnje mesto, dok u stvari kombinacija ovih dokumenata ima najveću vrednost za odgovor[2][3].

2. Efekat amplifikacije suvišnosti: Visoko slični viši dokumenti mogu zbog visokih nezavisnih rezultata svi biti na vrhu, zauzimajući prostor za prikaz drugih važnih ali jedinstvenih informacija. Slika 1 u radu prikazuje tipičan slučaj suvišnosti tradicionalne metode na skupu HotpotQA, od prvih 5 dokumenata 3 ima preklapanje sadržaja preko 70%.

3. Slepo tačka za poznavanje odnosa: Postojeći sistemi ne mogu da prepoznaju logičke odnose između dokumenata kao što su uzročnost, hronologija, poređenje, a ti odnosi su često ključni za odgovaranje na složena pitanja. Na primer odgovor na „Kako COVID-19 dovodi do ekonomske recesije“ zahteva povezivanje dokumenata o etiologiji i dokumenata o ekonomskoj analizi, iako je njihova sličnost teme možda niska.

Više suštinski, koren ovih problema je u tome što tradicionalno sortiranje tretira dokumente kao nezavisno identično distribuirane uzorke, dok u stvarnosti postoje složeni odnosi uslovne zavisnosti između dokumenata. Ovaj rad prvi put predlaže modeliranje skupa dokumenata kao grafske strukture, gde čvorovi predstavljaju dokumente, ivice predstavljaju semantičke odnose, kroz grafske algoritme otkriva globalne strukturne informacije da vodi odluke o sortiranju.

Postojeći RAG sistemi se suočavaju sa izazovima pri obradi odnosa između dokumenata i pitanja, kada veza između dokumenta i pitanja nije očigledna ili sadrži samo deo informacija, model možda neće efikasno da koristi ove dokumente. Pored toga, postojeće metode obično ignorišu veze između dokumenata, što dovodi do toga da se ne može u potpunosti iskoristiti semantička informacija između dokumenata.

Ovaj rad „Don't Forget to Connect! Improving RAG with Graph-based Reranking“ predlaže metod re-rangiranja zasnovan na grafu G-RAG, cilj mu je kroz korišćenje informacija o vezama i semantičkih informacija između dokumenata da efikasnije identifikuje vredne informacije u dokumentima, čime poboljšava performanse RAG-a u ODQA.

Ključne tehnologije

1. Konstrukcija grafske strukture

  • Predstavlja pronađene dokumente ili delove teksta kao čvorove u grafu, ivice između čvorova se uspostavljaju na sledeće načine:

  • Semantička sličnost (kao kosinusna sličnost vektora);

  • Odnos ko-occurrence entiteta (kao veza imenovanih entiteta u istom dokumentu);

  • Logička zavisnost (kao reference ili uzročni lanac između dokumenata)[2][3].

  • Na primer, metoda slična GraphRAG će unapred generisati graf entiteta znanja, i kroz detekciju zajednice podeliti čvrsto povezane grupe čvorova.

  1. Arhitektura grafske neuronske mreže

Zasnova na GNN arhitekturi za re-rangiranje pronađenih dokumenata:

  • Karakteristike čvora: Koristi prethodno obučeni jezički model (kao BERT) da kodira tekst dokumenta, i kombinuje informacije o najkraćem putu iz AMR grafa za pojačanje ovih karakteristika.

Okvir primenjuje prethodno obučeni jezički model da kodira sve n pronađenih dokumenata { p 1 , p 2 , ⋯ , p n } za dato pitanje q. Ugnježdenje dokumenta je predstavljeno kao

, gde je d skrivena dimenzija,

svaki red se daje formulom

Neki negativni dokumenti ne mogu da uspostave dovoljnu vezu sa kontekstom pitanja u svom tekstu. Pored toga, negativni dokumenti takođe se susreću sa drugim ekstremnim slučajem, gde put sadrži mnogo informacija relevantnih za tekst pitanja, ali nedostaju mu vredne informacije. Ovaj jedinstveni obrazac daje vredne uvide, može se koristiti tokom kodiranja za poboljšanje performansi re-rangiranja.

Zato se predloženo ugnježdenje dokumenta sastoji od

, i svaki red X može biti dat sa

:

  • Karakteristike ivica: Koristi broj zajedničkih čvorova i ivica iz AMR grafa kao karakteristike ivica. Kombinovanje AMR grafa ne samo hvata semantičke informacije dokumenta, već kroz grafsku strukturu pojačava semantičku vezu između dokumenata.

  • Ažuriranje reprezentacije: Kroz GNN model ažurira reprezentaciju čvorova i ivica, koristeći mehanizam prenosa poruka za prenos informacija.

3. Grafsko algoritamsko re-rangiranje

  • Koristi personalizovani PageRank ili ocenu uticaja zajednice za sortiranje važnosti čvorova (dokumenata), prioritet daje dokumentima sa visokom centralnošću u grafu ili čvrsto povezanim sa čvorovima pitanja.
  • Slično mehanizmu pažnje grafa R4, uči odnose interakcije između dokumenata za optimizaciju redosleda.
  • Kroz višehopsko rezonovanje otkriva indirektno povezane dokumente (kao lanac strategija pretrage RAE okvira).

4. Dinamično generisanje odgovora

  • Za re-rangirani skup dokumenata, generisanje odgovora u dva koraka:

  1. Generisanje lokalnog odgovora: Svaki dokument visoke težine ili sažetak zajednice nezavisno generiše deo odgovora;

  2. Globalna integracija: Kroz LLM uklanja suvišnost lokalnih odgovora i sintetiše konačan odgovor.

  • Slično neuro-heurističkoj metodi HippoRAG, simulira mehanizam integracije memorije ljudskog mozga za optimizaciju fuzije znanja.

5. End-to-end optimizacija

  • Uvođenje pojačanog učenja (kao mehanizam nagrade R4) ili lage evaluatora (kao CRAG) za zajedničku optimizaciju modula pretrage i generisanja.

3.2.3 ColBERT Reranker

ColBERT (Contextualized Late Interaction over BERT) je efikasan model pretrage, naročito pogodan za zadatke pretrage velikih kolekcija teksta. Kroz mehanizam kasne interakcije (late interaction architecture) kombinuje kontekstualnu reprezentaciju BERT-a, realizuje efikasnu pretragu i re-rangiranje. Ovde koristimo Jina-ColBERT-v2

1. Mehanizam kasne interakcije (Late Interaction): ColBERT uvodi funkciju sličnosti kasne interakcije, kroz posebno kodiranje upita i dokumenta, zatim tokom zaključivanja izračunava sličnost između upita i dokumenta (MaxSim), čime realizuje kasnu interakciju. Ova metoda zadržava efikasno zaključivanje dok može da uhvati složene odnose između upita i dokumenta.

2. Reprezentacija više vektora: Za razliku od tradicionalnih modela pretrage jednog vektora, ColBERT generiše ugnježdeni vektor za svaki token u upitu i dokumentu, zatim kroz agregaciju ovih ugnježdenja tokena izračunava skor relevantnosti. Ova metoda može detaljnije da uhvati semantičke informacije teksta.

3. Višejezična prethodna obuka: Jina-ColBERT-v2 koristi XLM-RoBERTa kao osnovni model, i kroz prethodnu obuku na podacima više jezika, poboljšava višejezičke performanse modela.

4. Slabo nadzirano učenje: Rad predlaže prethodnu obuku na velikim slabim nadziranim parovima teksta da nauči opštu semantičku strukturu teksta. Ovi parovi teksta uključuju parove rečenica, parove odgovora na pitanja i parove upit-dokument, pokrivajući više jezika i domena.

5. Obuka tripleta: Na osnovu prethodne obuke, model se dodatno fine-tunira na podacima pretrage više jezika, koristeći označene podatke tripleta i hard negativne uzorke za obuku, poboljšanje performansi pretrage.

3.3 Multimodalni RAG

Trenutno, multimodalno pojačano generisanje pretragom (Multimodal RAG) postalo je jedna od najnaprednijih i popularnijih smernica RAG tehnologije, kroz integraciju različitih modala podataka kao što su tekst, slike, audio, video, značajno poboljšava razumevanje i generativne sposobnosti AI sistema.

Za multimodalne dokumente, tradicionalna metoda je korišćenje modela za konverziju multimodalnog dokumenta u tekst, zatim indeksiranje za pretragu. Druga metoda je direktna multimodalna vektorizacija, na primer korišćenje vizuelno-jezičkog modela VLM, direktno generiše vektor, zaobilazi složeni OCR proces. 2024. se pojavio ColPali. ColPali tretira sliku kao 1024 blokova slike, i za svaki blok generiše ugnježdenje, efikasno predstavlja jednu sliku kao tenzor. Na primer:

To znači da VLM razume slike dublje, ne samo prepoznaje svakodnevne predmete, već može efikasno da prepozna enterprise-level multimodalne dokumente. Na primer, open source 3B model PaliGemma od Google-a, može da ugnježi blokove slike (Image Patches) u potencijalni prostor sličan tekstu. ColPali na ovoj osnovi proširuje, kroz sloj projekcije smanjuje visokodimenzionalno ugnježdenje izlaza modela na 128 dimenzija, generiše reprezentaciju više vektora (svaki blok slike odgovara jednom vektoru), čime zadržava fine-granularne vizuelne informacije dokumenta. Pozajmljujući strategiju „kasne interakcije“ iz modela pretrage teksta ColBERT, ColPali tokom faze pretrage izračunava maksimalnu sličnost (MaxSim) između vektora svakog tokena teksta upita i vektora bloka slike dokumenta, umesto tradicionalnog sličnosti jednog vektora. Ova metoda izbjegava teret izračunavanja rane interakcije, dok poboljšava tačnost pretrage.

Prednosti ove tehnologije su vrlo očigledne, end-to-end obrada složenih dokumenata, **direktan ulaz slike dokumenta (kao PDF stranica), bez tradicionalnih preduslova za OCR, ekstrakciju teksta ili analizu izgleda, značajno pojednostavljuje proces i smanjuje propagaciju grešaka. Takođe može realizovati **zajedničku multimodalnu pretragu, kroz ujedinjenu reprezentaciju vizuelnih i tekstualnih ugnježdenja, model može istovremeno da razume grafikone, tabele i tekstualni sadržaj. Na primer, u finansijskim izveštajima ili naučnim radovima, ColPali može da pronađe ključne vizuelne informacije koje metode čistog teksta mogu da propuste.

Ako možemo da koristimo RAG da pronađemo slike i tekst koji sadrže odgovore u velikoj kolekciji PDF dokumenata na osnovu korisničkog upita, onda možemo da koristimo VLM da generišemo konačan odgovor. To je značenje multimodalnog RAG-a, to nije samo prosta pretraga slika.

Proces pretrage zahteva Versatile bazu podataka, koja ne samo podržava re-rangiranje zasnovano na tenzorima, već takođe može da prihvati indeks više vektora u fazi vektorske pretrage.

Ovde ćemo jednostavno predstaviti direktnu multimodalnu vektorizaciju i konverziju modala.

Direktna multimodalna vektorizacija

  • Ključna ideja:

Korišćenje multimodalnog modela (kao CLIP, Flamingo) za direktno generisanje reprezentacije vektora unakrsnog modala, preskačući korak međutekstualne konverzije.

  • Ključni zadatak:

Kroz model (kao CLIP, Flamingo) mapira podatke različitih modala (slika/tekst/audio) u isti vektorski prostor, osiguravajući da su vektori sličnog značenja (kao slika „psa“ i tekst „pas“) blizu u prostoru.

  • Ključne tehnologije:

  1. Učenje kontrasta (Contrastive Learning): kao obuka poravnanja slike i teksta CLIP-a.

  2. Deljeni kodir (Shared Encoder): isti model obrađuje multimodalni ulaz.

  • Izlaz:

Vektor (kao niz od 512 floating-point brojeva), ne završava zadatak pretrage.

  • Tok

Konverzija modala, multimodal u tekst (Modality-to-Text)

  • Tehnički princip: Konvertovanje netekstualnih modala (kao slika, audio) u tekstualni opis (kao OCR, ASR, generisanje opisa slike), zatim korišćenje tradicionalnog tekstualnog RAG-a za pretragu i generisanje.

  • Prednosti:

  • Jednostavna implementacija, kompatibilna sa postojećom arhitekturom tekstualnog RAG-a.

  • Pogodno za strukturate podatke (kao tabele, PDF) i zadatke konverzije govora u tekst.

  • Predstavni alati:

  • BLIP-2 (Salesforce): generiše visokokvalitetne opise slika.

  • Whisper (OpenAI): govor u tekst (ASR).

  • Tok

Multimodal u tekst (Modality-to-Text) i direktna multimodalna vektorizacija (Direct Multimodal Embedding) poređenje

Naravno, u realnosti, imamo scenarije multimodalne fuzije, u ovom trenutku trebamo da uspostavimo zajednički vektorski prostor, korišćenje unakrsnog modalnog modela (kao CLIP od OpenAI, Flamingo od DeepMind) da mapira podatke različitih modala (kao slike, tekst, audio) u isti vektorski prostor, tekst, slike i drugi modali u dokumentu mogu se pretraživati, kroz izračunavanje distance odgovara na korisnički upit, realizuje unakrsno modalno semantičko poravnanje, na primer pretraga teksta pretragom slike, pretraga slike pretragom teksta itd.

3.4 Pojačano učenje

3.4.1 DeepRAG

Primena pojačanog učenja (Reinforcement Learning, RL) u RAG-u nije retka. RL može da optimizuje strategiju pretrage, generisanje upita i proces rezonovanja odgovora RAG sistema, može se reći, pojačano učenje je najbolji strateg RAG-a. Na primer, DeepSeek-R1 je kroz pojačano učenje zasnovano na pravilima (RL) uspešno probudio sposobnost rezonovanja.

Ovaj rad „DeepRAG: Thinking to Retrieval Step by Step for Large Language Models“ predlaže DeepRAG, koristi Markovljev proces odlučivanja (MDP) za modeliranje pojačanog generisanja rezonovanja, dinamički odluje kada da pretražuje eksterno znanje. Optimisao je tačnost rezonovanja, smanjuje nepotrebnu pretragu, poboljšava efikasnost izračunavanja.

  • DeepRAG okvir: DeepRAG modelira pojačano generisanje rezonovanja kao MDP, kroz iterativnu dekompoziciju upita, dinamički odluje u svakom koraku da li da pretražuje eksterno znanje ili se oslanja na parametarsko rezonovanje. Funkcija nagrade ocenjuje stanje na osnovu tačnosti odgovora i troška pretrage, kombinujući tačnost odgovora i trošak pretrage, podstiče efikasne i tačne putanje rezonovanja.
  • Pretraga narativa (Retrieval Narrative): Osigurava strukturisani i adaptivni tok pretrage, generiše pod-upite na osnovu prethodno pronađenih informacija.
  • Atomske odluke (Atomic Decisions): Dinamički odluje za svaki pod-upit da li da pretražuje eksterno znanje ili samo oslanja na parametarsko znanje LLM-ova.
  • Pretraga binarnog stabla (Binary Tree Search): Konstruiše binarno stablo za svaki pod-upit, istražuje različite strategije odgovora zasnovane na parametarskom znanju ili eksternoj bazi znanja.
  • Imitaciono učenje (Imitation Learning): Kroz pretragu binarnog stabla sintetiše podatke, omogućava modelu da nauči obrazac „generisanje pod-upita - atomske odluke - intermedijerni odgovor“.
  • Lanac kalibracije (Chain of Calibration): Kroz kalibraciju svake atomske odluke derefigurisanje razumevanja modela o sopstvenim granicama znanja, omogućava modelu da tačnije donese odluku o neophodnosti pretrage.

DeepRAG **modelira pojačano generisanje rezonovanja kao MDP, kombinuje binarnu pretragu stabla i lanac kalibracije, realizuje dinamičke odluke pretrage. Smanjuje suvišnu pretragu i nepotreban šum, može značajno poboljšati tačnost i efikasnost sistema. Ali njegov proces obuke i zaključivanja možda zahteva više resursa za izračunavanje, a strategija pretrage i metoda kalibracije granica znanja treba da se poboljša za generalizaciju na više scenarija.

3.4.2 CoRAG

Tradicionalne RAG metode obično koriste strategiju jednokratne pretrage pre generisanja, to jest vrše samo jednu pretragu, ali ova metoda možda ima ograničene efekte pri obradi složenih upita, jer rezultati pretrage možda nisu potpuno tačni, svi koji su radili pretragu znaju da za kompletiranje jedne tačne pretrage treba mnogo koraka, više puta opoziv, višestruka pretraga, spajanje, grubi redosled, precizan redosled itd. Ovaj rad „Chain-of-Retrieval Augmented Generation“ predlaže CoRAG, ključna ideja je da se proces pretrage razbije na više koraka, postepeno dobija i integrira eksterno znanje.

CoRAG kroz mehanizam lanca pretrage i pojačano učenje poboljšava efikasnost i performanse tehnologije pojačanog generisanja pretragom, CoRAG razbija proces pretrage na više koraka, realizuje postepenu pretragu i dinamičko prilagođavanje, i kroz pojačano učenje obučava strategiju pretrage, omogućuje modelu da dinamički prilagođava ponašanje pretrage na osnovu potreba zadataka.

Mehanizam lanca pretrage Postepena pretraga: Modeliranje pojačanog generisanja rezonovanja kao procesa višestrukih odluka, tokom generisanja, model na osnovu trenutnog generisanog sadržaja i potreba zadataka dinamički odluje da li da nastavi sa sledećim korakom pretrage. Primena adaptivne strategije pretrage: Ako je poverenje u intermedijerni odgovor nisko, ponovo pretraži; inače se oslanja na postojeće informacije za nastavak generisanja. Prilagođavanje strategije pretrage: Kroz pojačano učenje ili heuristička pravila optimiše strategiju pretrage, osiguravajući da svaka pretraga dobija najrelevantnije informacije.

Većina RAG skupova podataka dolazi samo sa upitom Q i odgovarajućim konačnim odgovorom A, bez pružanja intermedijernih koraka pretrage. CoRAG predlaže metod automatskog generisanja lanca pretrage kroz odbijajuće uzorkovanje.

Sinergija pretrage i generisanja Integracija višestruke pretrage: Kombinuje rezultate svake pretrage mehanizmom pažnje sa generativnim modelom, osigurava konzistentnost generisanog sadržaja i pronađenih informacija.

Dinamička kontrola generisanja: Na osnovu kvaliteta i relevantnosti rezultata pretrage dinamički prilagođava strategiju generisanja, izbjegava uvođenje suvišnih ili irelevantnih informacija.

Obuka i optimizacija Podaci za obuku: Koristi skupove podataka sa zadacima višestruke pretrage za obuku. Svaki trening uzorak u skupu podataka je predstavljen kao torka ( Q , A , Q 1 : L , A 1 : L ), uz upit Q i odgovarajućih prvih k pronađenih dokumenata za svaki pod-upit. Koristi standardni cilj predikcije sledećeg tokena u okviru učenja više zadataka za fine-tuning prošireni skup podataka.

Dizajn nagrade: Kombinuje ciljeve zadataka (kao tačnost odgovora, koherentnost teksta) dizajnira funkciju nagrade, vodi model da uči optimalnu strategiju pretrage.

Arhitektura modela: Zasnova na Transformer arhitekturi, proširena modulom za odluku pretrage i modulom za integraciju rezultata pretrage.

3.5 GNN grafska neuronska mreža

Tradicionalne RAG metode imaju nedostatak u obradi složenih odnosa i integracije više izvora znanja, teško je uhvatiti složene odnose između fragmenata znanja (kao zadaci višehopskog rezonovanja), kao višestruka pretraga ili pretraga zasnovana na grafu se suočavaju sa visokim troškovima izračunavanja, šumom ili nekompletnošću grafske strukture, slaba generalizacija itd. Ovaj rad „GFM-RAG: Graph Foundation Model for Retrieval Augmented Generation“ predlaže GFM-RAG, kroz konstrukciju grafske strukture eksplicitno modelira složene odnose između znanja, može poboljšati efikasnost pretrage i rezonovanja. Naravno, ove metode i dalje podležu uticaju šuma ili nekompletnosti grafske strukture, što može ograničiti njihove performanse.

GFM-RAG okvir: GFM-RAG kroz konstrukciju indeksa grafa znanja (KG-index) i modela osnove grafa (GFM) pojačava sposobnost rezonovanja LLM-ova. KG-index izvlači entitete i odnose iz dokumenata, formira strukturisan indeks znanja. GFM koristi grafsku neuronsku mrežu (GNN) da uhvati složene odnose između upita i grafa znanja.

Sadrži tri ključne komponente:

1. Konstrukcija KG indeksa: Izvlači entitete i odnose iz dokumenata, gradi graf znanja (KG-index), i pojačava semantičke veze kroz rešavanje entiteta.

Tradicionalne metode indeksiranja zasnovane na ugnježdenju kodiraju dokumente kao posebne vektore, ali ove metode su ograničene u modeliranju odnosa između njih. S druge strane, graf znanja (KG) eksplicitno hvata odnose između miliona činjenica, može obezbediti strukturisan indeks znanja preko više dokumenata. Struktura KG indeksa se vrlo dobro slaže sa teorijom indeksiranja ljudske hipokampalne memorije, gde KG indeks deluje kao veštački hipokampus za čuvanje veza između memorijskih znanja, pojačava integraciju raznih znanja za zadatke složenog rezonovanja.

Za konstrukciju KG indeksa, dat skup dokumenata [𝒟], prvo izvlačimo entitete ℰ i odnose ℛ iz dokumenata da formiramo torkle [𝒯]. Zatim, gradimo inverzni indeks entitet-dokument M∈{0,1}|ℰ|×|𝒟| da beležimo koje entitete spominje svaki dokument. Ovaj proces može se realizovati kroz postojeće alatke za otvoreno izvlačenje informacija (OpenIE). Da bismo lakše uhvatili veze između znanja, dodatno vršimo rešavanje entiteta, dodajući dodatne ivice [𝒯⁺] između entiteta slične semantike, na primer ( USA , ekvivalent , United States of America ). Zato, konačni KG indeks 𝒢 se konstruiše kao G = { ( e , r , e ′ ) ∈ T ∪ T⁺ }. U implementaciji, koristimo LLM kao OpenIE alatku, i koristimo prethodno obučeni model gustog ugnježdenja za rešavanje entiteta.

2. Pretraživač osnove grafa (GFM Retriever):

  • GNN zavisan od upita: Dinamički prilagođava proces prenosa poruka na osnovu semantike upita i KG strukture za višehopsko rezonovanje.

Tradicionalni GNN prati paradigmu prenosa poruka, koja iterativno agregira informacije iz suseda za ažuriranje reprezentacije entiteta. Ova paradigma nije primenjiva za GFM pretraživač, jer je specifična za graf i ignoriše relevantnost upita. Ali GNN-ovi zavisi od upita se dobro ponašaju u hvatanju informacija specifičnih za upit i generalizaciji na nevidljive grafove:

gde

predstavlja početne karakteristike entiteta, HqL predstavlja ažurirane reprezentacije entiteta posle L slojeva prenosa poruka zavisi od upita q.

GNN zavisi od upita pokazuje bolju sposobnost izražavanja i logičko rezonovanje, služi kičmu GFM pretraživača. Omogućuje GFM pretraživaču da dinamički prilagođava proces prenosa poruka na osnovu korisničkog upita, i pronalazi najrelevantnije informacije na grafu.

  • Dve faze obuke

  • Nenadzirana pre-obuna dopune KG: Uči sposobnost grafskog rezonovanja na velikom KG-u

  • Nadzirana fine-tuning pretrage dokumenata: Optimizuje relevantnost upit-dokument.

**Cilj obuke GFM pretraživača je maksimizacija verovatnoće entiteta relevantnih za upit, može se optimisati kroz minimizaciju gubitka binarne unakrsne entropije (BCE):

gde [𝒜]_q predstavlja skup ciljnih entiteta relevantnih za upit q, ℰ⁻⊆ℰ∖𝒜_q predstavlja skup negativnih entiteta uzorkovanih iz KG-a. Međutim, zbog retkosti ciljnih entiteta, BCE gubitak može patiti od problema nestajanja gradijenta. Da bismo rešili ovaj problem, dodatno uvodimo gubitak rangiranja, za maksimizaciju margine između pozitivnih i negativnih entiteta:

Konačni cilj obuke je težinska kombinacija BCE gubitka i gubitka rangiranja:

  1. Sortiranje dokumenata i generisanje odgovora: Sortira dokumente na osnovu rezultata relevantnosti entiteta, unosi u LLM da generiše konačan odgovor.

S obzirom na to da GFM pretraživač predviđa skor relevantnosti entiteta P_q∈ℝ^|ℰ|×1, prvo pretražuje prvih T entiteta [ℰ]_q^T najvišeg skora relevantnosti:

Zatim, sortirajući dokumente koristi ove pronađene entitete da dobiju konačne dokumente. Da bismo smanjili uticaj popularnih entiteta, entitete težimo recipročno učestalošću pominjanja u inverznom indeksu dokumenta M∈{0,1}|ℰ|×|𝒟|, i kroz sumiranje težina entiteta pomenutih u dokumentu izračunavamo konačni skor relevantnosti dokumenta:

Pretražuje prvih K dokumenata na osnovu skora relevantnosti dokumenta P_d, i unosi ih u kontekst LLM-ova kao pojačano generisanje pretragom da generiše konačan odgovor:

Model osnove grafa (GFM): GFM je GNN zavisan od upita, može dinamički da prilagođava proces prenosa informacija na osnovu korisničkog upita, čemu completed višehopsko rezonovanje u jednom koraku. GFM prošao dve faze obuke: nenadzirana pre-obuna dopune KG i nadzirana fine-tuning pretrage dokumenata. Model ima 8M parametara, kroz obuku na velikom skalu (60 KG-ova, 14M torkle, 700k dokumenata) ostvaruje zero-shot generalizaciju preko 7 domenskih skupova podataka. U 7 domenskih skupova podataka performanse zero-shot su za 18,9% bolje od HippoRAG-a.

O Scaling Law-u, sa dijagrama vidimo trend linije prilagođavanja performansi modela promenama veličine parametara modela i veličine podataka za obuku. Sa trend linije možemo videti da performanse GFM-RAG-a rastu sa povećanjem veličine parametara modela i veličine podataka za obuku. Istovremeno, sa povećanjem veličine parametara, potrebna je veća količina podataka za obuku da bi se postigle optimalne performanse. To znači, simultano povećanje veličine modela i podataka za obuku može dodatno poboljšati performanse GFM-RAG-a.

Proces obuke:

  • Nenadzirana pre-obuna dopune graf znanja: Kroz maskiranje entiteta u grafu znanja stvara sintetičke upite, obučava GFM da predvidi maskirane entitete.

  • Nadzirana fine-tuning pretrage dokumenata: Koristi označene parove upit-dokument za obuku, omogućava GFM-u da bolje razume korisničke upite i pronalazi relevantne dokumente.

GFM-RAG kroz modeliranje grafske strukture i rezonovanje grafske neuronske mreže značajno poboljšava performanse RAG-a u zadacima složenog rezonovanja. Ali isti problem, proces obuke i zaključivanja možeda zahteva više resursa za izračunavanje. Ako postoji efikasnija strategija obuke i veća veličina modela, efikasnost i generalizacija modela će se značajno poboljšati.

3.6 Agentic RAG

U eri gde LLM vlada, većina ljudi kaže Agent, to je istina, implementacija LLM-a mora biti Agent, RAG nije izuzetak. Postoji neodvojiv odnos između agenta i RAG-a, RAG je ključna komponenta agenta, omogućava im pristup internim podacima; suprotno, agent može da pojača funkcionalnost RAG-a, što je dovelo do takozvanog Agentic RAG-a, na primer Self RAG i Adaptive RAG, zato su zapravo u tebi ja, u mene ti odnos.

Ovaj visoki oblik RAG-a dozvoljava adaptivne promene u kontrolišanijem načinu u složenijim scenarijima. Da bi se realizovao Agentic RAG, agentski okvir mora imati funkciju „zatvorene petlje“. Među četiri agentska dizajna Andrew Ng-a, ova sposobnost „zatvorene petlje“ se zove sposobnost refleksije.

Agentic RAG (Retrieval-Augmented Generation zasnovan na agentu) predstavlja najnoviji pravac razvoja RAG tehnologije, kroz uvođenje sposobnosti autonomnog planiranja i donošenja odluka AI agenta u tradicionalni okvir pojačanog generisanja pretragom, realizuje efikasnu obradu složenih zadataka upita. Ovaj članak će sveobuhvatno analizirati ključne koncepte, tehničku arhitekturu, prednosti i praktične scenarije primene Agentic RAG-a, pomažući čitaocima da dublje razumiju ovu prednju tehnologiju kako kroz dinamički mehanizam orkestracije inteligentnog agenta i sposobnost višehopskog rezonovanja značajno poboljšava performanse tradicionalnog RAG sistema u zadacima složene obrade informacija.

3.6.1 Ključni koncepti i pozadina nastanka

Agentic RAG (Retrieval-Augmented Generation zasnovan na agentu) je visoki evolucijski oblik tradicionalne tehnologije pojačanog generisanja pretragom, kroz uvođenje sposobnosti autonomnog donošenja odluka AI agenta, pretvara RAG sistem iz pasivne cevi pretrage-generisanje u inteligentnu entitet sa sposobnošću aktivnog planiranja i refleksije, suštinski je hibridni sistem koji kombinuje agentske sposobnosti sa RAG arhitekturom, ključna inovacija je u integraciji autonomnog planiranja (kao rutiranje, koraci akcije, refleksija itd.) AI agenta u tradicionalni RAG tok, prilagođavanje složenijim zadacima upita.

Pozadina nastanka Agentic RAG-a je upravo da rešuje nedostatke tradicionalnog RAG-a u složenim scenarijima. Sa sve složenijim potrebama za upravljanje znanjem preduzeća, jednostavno Q&A RAG više ne može da zadovolji stvarne poslovne potrebe. U poslovnom okruženju postoji mnogo heterogenih izvora podataka (kao struktirane baze podataka, nestrukturirani dokumenti, grafovi znanja itd.), korisnički upiti često zahtevaju povezivanje i sintezu preko izvora. Istovremeno, mnogi visoki zadaci takođe zahtevaju kombinaciju eksternih alata (kao kalkulator, API servisi) za kompletno odgovaranje. Ovi izazovi su naterali RAG tehnologiju da se razvija ka pametnijem i autonomnijem pravcu, što je rodilo novi paradigmu Agentic RAG.

AI Agent je inteligentna entitet sa sposobnošću percepcije okruženja, autonomnog donošenja odluka i izvršenja akcija, može dinamikčki da planira korake akcije na osnovu cilja. Nakon uvođenja ove sposobnosti u RAG sistem, sistem može autonomno da odlučuje da li je potrebna pretraga, bira koju strategiju pretrage, procenjuje kvalitet rezultata pretrage, odluje da li ponovo da pretražuje ili preradi upit, i poziva eksterne alate kada je potrebno. Ova evolucija daje RAG sistemu sposobnost percepcije, donošenja odluka i akcije.

Sa perspektive konstitucije sistema, Agentic RAG se može smatrati agentskim okvirom sa alatima RAG. U ovoj perspektivi, tradicionalna RAG cev (pretraživač + generator) je degradirana na jedan alat koji agent može da koristi, a agent je odgovoran za više planiranje i koordinaciju zadataka. Ova promena arhitekture donosi fundamentalnu promenu dizajn paradigme: više nije „kako poboljšati RAG cev“, već „kako agent efikasnije koristi RAG alat“, čime se otvara širi prostor dizajna i mogućnosti optimizacije.

Tabela: Ključne razlike između tradicionalnog RAG-a i Agentic RAG-a

3.6.2 Tehnička arhitektura i ključne komponente

Tehnička arhitektura Agentic RAG sistema pokazuje raznovrsne dizajn paradigme, od kontrole jednog agenta do koordinacije više agenata različite implementacije. Za razliku od tradicionalnog linearnog RAG toka, Agentic RAG rekonstruiše proces pretrage i generisanja kao dinamički orkestrabilni sistem zasnovan na inteligentnom agentu, kroz uvođenje ključnih agentskih sposobnosti kao što su planiranje, refleksija i korišćenje alata, značajno poboljšava rešavanje zadataka složene obrade informacija.

Arhitektura jednog agenta

Arhitektura jednog agenta je osnovni oblik implementacije Agentic RAG-a, ključna ideja je izgradnja Master agenta sa sposobnošću planiranja, uzima razne RAG cevi i eksterne alate kao „alate“ koje ovaj agent može da pozove. U ovoj arhitekturi, komponente tradicionalnog RAG-a kao što su pretraživač, generator su alatizovane, postaju resursi koje agent može da bira tokom izvršenja plana. Kada korisnički upit uđe u sistem, Master Agent prvo analizira nameru i kompleksnost upita, zatim dinamički planira rešenje, što može uključivati: odluku da li je potrebna pretraga, biranje koje strategije pretrage (kao vektorska pretraga, pretraga ključnih reči ili hibridna pretraga), odluku da li je potrebna višestruka pretraga i da li treba pozvati eksterne alate itd.

Ključne komponente u arhitekturi jednog agenta uključuju:

  • Analizator upita: Odgovoran za duboko razumevanje korisničkog upita, identifikuje skrivene namere i tipove potrebnih informacija. Napredne implementacije mogu koristiti few-shot učenje ili tehnologiju lanca misli (Chain-of-Thought) za poboljšanje tačnosti prepoznavanja namere.
  • Planer strategije: Na osnovu rezultata analize upita, formulira strategiju pretrage i generisanja. Na primer, za pitanja poređenja „uporedi X i Y“, planer može odlučiti da paralelno pretražuje informacije o X i Y, zatim vrši poređenje i generisanje.
  • Skup alata: Uključuje razne specijalizovane RAG cevi (kao vektorska pretraga za činjenične upite, pretraga kompresije teksta for zadatke sažimanja) i eksterne alate (kao kalkulator, API interfejs itd). Agent tretira ove alate kao priključ module.
  • Modul refleksije: Procenjuje kvalitet intermedijernih rezultata, odluje da li treba prilagoditi strategiju. Na primer, kada prvi rezultati pretrage nisu idealni, modul refleksije može pokrenuti preradu upita ili promenu strategije pretrage.

Prednost arhitekture jednog agenta je u relativno jednostavnom dizajnu i nižim zahtevima za resurse, pogodno za scenarije srednje kompleksnosti. Ali kada se suoči sa enterprise-level složenim okruženjem znanja (kao heterogeni podaci iz više izvora u više odseka), jedan agent se može suočiti sa preteranim teretom planiranja, nedostatkom stručnih znanja itd., u ovom trenutku treba razmisliti o naprednijoj arhitekturi više agenata.

Arhitektura slojeva više agenata

Arhitektura slojeva više agenata je rešenje Agentic RAG za enterprise-level složene scenarije, kroz uvođenje hijerarhijske organizacije agenata, realizuje razdvajanje pažnje i specijalizovanu podelu rada. Tipična dvo-slojna arhitektura sadrži jednog vršnog koordinacionog agenta i više agenata specifičnih za domene, svaki donji agent je odgovoran za specifični tip izvora podataka ili zadataka, a vršni agent je odgovoran za dekompoziciju zadataka, koordinaciju i integraciju rezultata.

Tipična podela uloga u arhitekturi više agenata uključuje:

  • Vršni koordinacioni agent: Kao ulaz u sistem, prima korisnički upit i vrši analizu i planiranje zadataka. Razume distribuciju sposobnosti celog sistema, odgovoran je za dekompoziciju složenih upita na podzadatke i dodeljivanje odgovarajućim specijalizovanim agentima.
  • Agenti domena: Svaki agent je specijalizovan za određenu vrstu dokumenata ili specifični izvor podataka domena. Na primer, u poslovnom okruženju mogu postojati finansijski agent (obrađa finansijske podatke), agentski proizvod (upravlja dokumentacijom proizvoda) i agentski klijent (obrađa CRM podatke) itd. Ovi agenti interno mogu integrirati više RAG alata, kao vektorsku pretragu, SQL upit itd., birajući najbolji alat na osnovu karakteristika podzadataka.
  • Alatni agent: Upravlja pristupom eksternim alatima i API-ja, kao agentski mrežne pretrage, agentski alati za izračunavanje itd. Kada agenti domena trebaju dodatne sposobnosti, mogu koordinirati poziv ovim alatnim agentima kroz vršnog agenta.

Ključne prednosti arhitekture više agenata su u izvrsnoj skalabilnosti i **specijalizovanoj podeli rada}. Dodavanje novog izvora podataka ili alata samo zahteva dodavanje odgovarajućeg specijalizovanog agenta bez modifikacije ključne arhitekture. Istovremeno, svaki agent se može fokusirati na specifični domen, kroz detaljnu optimizaciju pruža profesionalniju uslugu. Jedan članak u zajednici developera Tencent Cloud-a pominje da ova arhitektura „može tačno da analizira različite tipove fajlova, i može koristiti moćno planiranje i rezonovanje agenta da bira najbolju strategiju rutiranja i metod obrade pred korisničkim Query-jem, značajno poboljšava sposobnost obrade sistema pri velikoj količini dokumenata, pretrazi preko dokumenata, globalnoj ekstrakciji i sažimanju itd.“

U dizajnu komunikacionog mehanizma, postoji centralizovana komunikacija VS decentralizovana komunikacija.

Centralizovana komunikacija (Centralized communication), u centralizovanoj komunikaciji postoji centralni čvor, svi agenti direktno komuniciraju sa ovim centralnim čvorom. Centralni čvor je odgovoran za koordinaciju i integraciju svih informacija agenata, zatim šalje naredbe ili povratne informacije svakom agentu. Centralni čvor može globalno da pozna stanje i informaciju svih agenata, pomaže donošenje globalno optimalnih odluka. Ali lako se javlja single point of failure, kvar centralnog čvora može dovesti do paralize komunikacije celog sistema.

Decentralizovana komunikacija (Decentralized communication), u decentralizovanoj komunikaciji agenti direktno komuniciraju jedni sa drugima, bez centralnog čvora, svaki agent samo razmenjuje informacije sa svojim susedima ili delom agenata. Postoji rizik od single point of failure, robusnost sistema je jača, istovremeno ekstremno skalabilna. Ali nema globalne informacije, teško je doneti globalno optimalne odluke.

O dizajnu Multi Agent sistema, to je još jedan kompleksan Topic, nećemo ulaziti u detalje.

Četvrti. Izazovi i budući pravci u RAG-u

4.1 Ujedinjeni multimodalni veliki model

Kroz direktnu multimodalnu vektorizaciju, RAG sistem može prirodnije da obrađuje složene realne podatke, ne ograničeno na svet teksta. Pri izboru treba balansirati troškove izračunavanja, adaptivnost domeni i zahteve realnog vremena. Kao end-to-end multimodalno razumevanje GPT-4V, Gemini 1.5 itd. Trenutni Multimodal je i dalje u fazi razvoja, daleko od zrelosti, problemi uključuju ali ne ograničavaju se na:

1. Izazovi multimodalne reprezentacije i pretrage

  • Reprezentacija unakrsnog modala znanja: Podaci različitih modala (kao tekst, slika, audio) treba da se konvertuju u ujedinjenu reprezentaciju vektora za efikasnu unakrsnu pretragu. Međutim, kako dizajnirati jednu reprezentaciju koja može tačno da uhvati semantičke informacije različitih modala je ključno pitanje. Na primer, CLIP model realizuje unakrsnu pretragu kroz učenje poravnajuće reprezentacije slike i teksta, ali njegova sposobnost generalizacije u složenim scenarijima i dalje treba da se poboljša.
  • Efikasnost i tačnost pretrage: U velikim multimodalnim podacima izvršiti efikasnu pretragu je izazov. Metodi vektorske pretrage iako mogu brzo da pronađu slične multimodalne podatke, možda teško da razlikuju suptilne semantičke razlike, što dovodi do netačnih rezultata pretrage. Pored toga, retkost multimodalnih podataka takođe povećava težinu pretrage, naročito kada su informacije raštrikane kroz više dokumenata.
  • Problem poravnanja podataka: Podaci različitih modala trebaju da se poravnaju semantički, na primer kako efikasno poravnati tekst koji opisuje sadržaj slike u semantičkom smislu je ključni izazov.
  • Kvalitet generisanog sadržaja: Multimodalni RAG sistem treba da osigura tačnost i konzistentnost generisanog sadržaja. Pošto fragmenti znanja pronađeni mogu dolaziti iz različitih modala i dokumenata, model treba efikasno da integriše ove informacije, na primer kako re-rangirati višestruke i multimodalne Reranker je jedan izazov.
  1. Efikasnost i performanse
  • Zahtevi za resurse izračunavanja: Multimodalni RAG sistem treba da obradi veliku količinu podataka i složene modele izračunavanja, visoki zahtevi za resurse izračunavanja. Posebno u aplikacijama realnog vremena, kako optimisati proces pretrage i generisanja za smanjenje kašnjenja je ključno pitanje.
  • Obuka i fine-tuning modela: Da bi se poboljšale performanse multimodalnog RAG sistema, potrebno je fine-tuning modela. Međutim, težina obuke različitih modala podataka je različita, i proces fine-tuninga zahteva mnogo označenih podataka.
  • Robusnost i objašnjivost: U poređenju sa tradicionalnim sistemima pretrage, multimodalni RAG sistem u složenim scenarijima ima nedovoljnu robusnost, naravno, ovo nije samo problem RAG-a.

4.2 Bezbednost (TrustRAG)

Pretraga eksterne baze znanja može uvesti osetljive informacije (kao patenti, privatni podaci), RAG model može biti zloupotrebljen za generisanje lažnih informacija ili zlonamernog sadržaja itd., ali ovde ćemo uglavnom govoriti o zlonamernim napadima i injekcijama. Ovaj rad „TrustRAG: Enhancing Robustness and Trustworthiness in RAG“ predlaže mehanizam dvofazne odbrane: prvo, koristi K-means klasterizaciju da identifikuje potencijalne šablone napada u pronađenim dokumentima, na osnovu semantičkog ugnježdenja efikasno izoluje sumnjiv sadržaj; drugo, kroz kosinusnu sličnost i ROUGE metode detektuje zlonamerne dokumente, i kroz proces self-evaluacije rešava razlike između internog znanja modela i eksternih informacija.

Glavni tok TrustRAG-a:

  • Identifikacija zlonamernih dokumenata: Koristi K-means klasterizaciju da analizira distribuciju semantičkih ugnježdenja dokumenata, identifikuje potencijalne klustere zlonamernih dokumenata.
  • Filtriranje zlonamernog sadržaja: Filtrira zlonamerne dokumente na osnovu distribucije ugnježdenja, čisti čuvaju dokumente.
  • Ekstrakcija internog znanja: Koristi internu znanje LLM-a da generiše tačne rezultate rezonovanja.
  • Rešavanje konflikata: Kroz integraciju internih i eksternih znanja rešava konflikte znanja, uklanja irelevantne ili kontradiktorne dokumente.
  • Generisanje pouzdanih odgovora: Generiše konačan pouzdan odgovor na osnovu ofišćenih dokumenata

Zapravo o bezbednosti je vrlo važna tema, može se potvrditi, LLM će sigurno premašiti inteligenciju jedne karbonne životinje. Kako dobro raditi zaštitu, mora biti prva stvar koju korisnici trebaju da obrate pažnju, na primer Deep Mind ima tim Red Team koji specijalizira studij bezbednosti velikih modela, ovde nećemo ulaziti u previše detalja, kasnije se može posebno tretirati kao Topic istraživanja.

Reference

  • Advanced AI and Retrieval-Augmented Generation for Code Development in High-Performance Computing | NVIDIA Technical Blog: https://developer.nvidia.com/blog/advanced-ai-and-retrieval-augmented-generation-for-code-development-in-high-performance-computing/
  • LLM as HPC Expert: Extending RAG Architecture for HPC Data: https://arxiv.org/abs/2501.14733
  • Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers: https://arxiv.org/abs/2404.07220
  • ColPali: Efficient Document Retrieval with Vision Language Models: https://arxiv.org/abs/2407.01449
  • RAG-Reward: Optimizing RAG with Reward Modeling and RLHF: https://arxiv.org/abs/2501.13264
  • GFM-RAG: Graph Foundation Model for Retrieval Augmented Generation: https://arxiv.org/abs/2502.01113
  • TrustRAG: Enhancing Robustness and Trustworthiness in RAG: https://arxiv.org/abs/2501.00879
  • Chain-of-Retrieval Augmented Generation: https://arxiv.org/abs/2501.14342
  • VideoRAG: Retrieval-Augmented Generation over Video Corpus: https://arxiv.org/abs/2501.05874
  • The Power of Noise: Redefining Retrieval for RAG Systems: https://arxiv.org/abs/2401.14887
  • Don't Forget to Connect! Improving RAG with Graph-based Reranking: https://arxiv.org/abs/2405.18414
  • Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG: https://arxiv.org/abs/2501.09136
  • Improving Retrieval-Augmented Generation through Multi-Agent Reinforcement Learning: https://arxiv.org/abs/2501.15228
  • Dense Passage Retrieval for Open-Domain Question Answering: https://arxiv.org/abs/2004.04906
  • DeepRAG: Thinking to Retrieval Step by Step for Large Language Models: https://arxiv.org/abs/2502.01142
  • Application of Multi-Way Recall Fusion Reranking Based on Tensor and ColBERT in RAG: https://ieeexplore.ieee.org/document/10761558
  • Multimodal Embedding Models | Weaviate: https://weaviate.io/blog/multimodal-models
  • R1/o1 vetar je ponovo dosao do RAG-a, Microsoft CoRAG dostize 93% učinka kompleksnog rezonovanja~:
  • The Rise and Evolution of RAG in 2024 A Year in Review | RAGFlow: https://ragflow.io/blog/the-rise-and-evolution-of-rag-in-2024-a-year-in-review
  • Advanced RAG Techniques | Weaviate: https://weaviate.io/blog/advanced-rag
  • Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever: https://arxiv.org/pdf/2408.16672
  • Put razmišljanja LLM-ova: od lančanog razmišljanja do ojačanog učenja, prema velikim modelima razmišljanja:
  • From RAG to Memory: Non-Parametric Continual Learning for Large Language Models: https://arxiv.org/pdf/2502.14802
  • RAG vs. GraphRAG: A Systematic Evaluation and Key Insights: https://arxiv.org/pdf/2502.11371
  • ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT: https://arxiv.org/abs/2004.12832
  • SafeRAG: Benchmarking Security in Retrieval-Augmented Generation of Large Language Model: https://arxiv.org/pdf/2501.18636

Realno vreme vocalni kontakt sa AI agentom

AI realno vremenska glasovna interakcija je rešenje dizajnirano da pomogne preduzećima da brzo grade glasovne aplikacije između AI-a i korisnika. Korisnici samo kroz interfejs bez ekrana mogu brzo da konstruišu ekskluzivni AI agent, i kroz video cloud ARTC mrežu ostvaruju realnu interakciju sa krajnjim korisnicima.

Kliknite „Pročitaj original“ za detalje.