Retrieval-Augmented Generation (RAG)

Hvad er RAG?

RAG (Retrieval-Augmented Generation) er en teknik der giver AI-modeller adgang til ekstern viden ved at søge i en database eller dokumentsamling og inkludere de relevante resultater i modellens prompt. I stedet for at stole udelukkende på hvad modellen lærte under træning, suppleres den med aktuel, specifik information.

Tænk på det som forskellen mellem en studerende der svarer på et eksamensspørgsmål udelukkende fra hukommelsen, og en der har adgang til sine noter og lærebøger. Begge kan svare, men den med noter giver mere præcise og pålidelige svar.

RAG blev introduceret af Meta AI Research i 2020 og er hurtigt blevet den mest populære metode til at bygge AI-systemer der arbejder med virksomhedsdata, interne dokumenter og specialiseret viden.

Hvordan fungerer RAG?

Processen har tre trin:

1. Indeksering (forberedelse). Dine dokumenter (interne wikier, produktkataloger, kundesager, politikker) opdeles i mindre tekstblokke (chunks). Hver chunk konverteres til en embedding (en talvektor der repræsenterer tekstens betydning) og gemmes i en vektordatabase.
2. Retrieval (søgning). Når en bruger stiller et spørgsmål, konverteres spørgsmålet også til en embedding. Vektordatabasen finder de chunks der er mest semantisk lignende. Dvs. de dokumenter der handler om det brugeren spørger om.
3. Generation (svar). De fundne chunks indsættes i modellens prompt som kontekst, sammen med brugerens spørgsmål. Modellen genererer sit svar baseret på den specifikke kontekst. Ikke bare sin generelle træning.

Hvorfor er RAG vigtigt?

1. Reducerer hallucinationer. AI-modeller kan “opfinde” fakta. Med RAG baserer modellen sine svar på faktiske dokumenter, og kan citere sine kilder.
2. Aktuel viden. AI-modeller har en videns-cutoff. De kender ikke nyheder eller opdateringer efter deres træningstidspunkt. RAG giver adgang til opdateret information.
3. Virksomhedsspecifik viden. Ingen AI-model kender din virksomheds interne processer, produkter eller politikker. RAG giver modellen adgang til præcis den viden.
4. Ingen gen-træning. Med RAG behøver du ikke fine-tune eller re-træne modellen. Du opdaterer bare dokumenterne i databasen.
5. Sporbarhed. Du kan vise brugeren hvilke dokumenter svaret er baseret på. Det skaber tillid og mulighed for faktakontrol.

RAG vs. fine-tuning

1. Videnstype. RAG er bedst til faktuel viden der ændrer sig over tid (dokumenter, politikker, produktinfo). Fine-tuning er bedst til at ændre modellens opførsel, stil eller ekspertise.
2. Opdatering. Med RAG opdaterer du dokumenterne. Øjeblikkeligt. Fine-tuning kræver gen-træning: timer eller dage.
3. Omkostning. RAG kræver en vektordatabase og søgeinfrastruktur. Fine-tuning kræver GPU-tid og ekspertise. For de fleste virksomheder er RAG billigere og hurtigere at komme i gang med.
4. Kombination. De udelukker ikke hinanden. Mange systemer bruger en fine-tunet model med RAG. Modellen har den rette ekspertise og stil, og RAG giver den adgang til aktuelle data.

RAG i praksis

1. Kundesupport. En AI-chatbot søger i virksomhedens vidensbase og supportartikler for at besvare kundehenvendelser med præcise, opdaterede svar.
2. Intern vidensdeling. Medarbejdere stiller spørgsmål til en AI der søger på tværs af interne wikier, Confluence-sider, Slack-historik og dokumenter.
3. Juridisk AI. Advokater bruger RAG-systemer der søger i lovtekster, domme og præcedens for at besvare juridiske spørgsmål med korrekte kilder.
4. Produktanbefalinger. E-commerce bruger RAG til at besvare specifikke produktspørgsmål baseret på produktdatabaser og anmeldelser.
5. Kodning. AI-kodningsassistenter bruger RAG til at søge i kodens dokumentation, API-referencer og eksisterende kodebase.

Udfordringer ved RAG

1. Retrieval-kvalitet. RAG er kun så god som søgningen. Hvis de forkerte dokumenter hentes, genererer modellen forkerte svar baseret på irrelevant kontekst.
2. Chunking-strategi. Hvordan dokumenter opdeles i chunks påvirker kvaliteten markant. For små chunks mister kontekst, for store fylder for meget i context window.
3. Context window-begrænsninger. Selv store context windows har en grænse. Hvis søgningen returnerer for mange resultater, skal du prioritere de vigtigste.
4. Stale data. Dokumenterne i vektordatabasen skal holdes opdaterede. Hvis din vidensbase er forældet, giver RAG forældede svar.