Compound AI system

Hvad er et compound AI system?

Et compound AI system er et AI-system der kombinerer flere komponenter (sprogmodeller, retrieval-systemer, kodeafvikling, værktøjer, databaser og programmatisk logik) for at levere bedre resultater end nogen enkelt komponent kan alene.

Termen blev populariseret af forskere ved Berkeley AI Research (BAIR) i 2024 og beskriver et fundamentalt skift i hvordan de mest effektive AI-systemer bygges. I stedet for at satse alt på én stor model der skal klare alt, kombinerer man specialiserede komponenter der hver især er gode til deres del af opgaven.

Tænk på det som forskellen mellem en solist og et orkester. En dygtig solist kan spille imponerende, men et orkester hvor violin, cello, trompet og pauker hver spiller deres stemme koordineret producerer et rigere, mere komplet resultat. Compound AI systems er orkesteret.

De fleste AI-systemer der virker i produktion i dag er compound systems. Ikke rå modelkald. ChatGPT bruger web search, kodeafvikling og retrieval. GitHub Copilot kombinerer modeller med kodebase-kontekst og syntaksvalidering. Perplexity kombinerer søgning, retrieval og sproggenerering. Det er ikke bare modellen. Det er systemet.

Hvorfor compound AI systems?

Begrænsningerne ved enkeltmodeller

Selv de mest avancerede sprogmodeller har fundamentale begrænsninger:

Viden er frosset: Modellens viden stopper ved dens trænings-cutoff. Den ved ikke hvad der skete i går.

Hallucination: Modellen kan generere overbevisende men forkert information uden at vide det.

Ingen handlingsevne: En model alene kan ikke sende en e-mail, køre kode, slå noget op i en database eller interagere med verden.

Begrænset kontekst: Selv med store context windows kan modellen ikke indeholde al relevant information.

Manglende specialisering: En generel model er god til mange ting men sjældent den bedste til noget specifikt.

Hvordan compound systems løser dette

Komponenterne i et compound AI system

1. Sprogmodel(ler)

Kernen i systemet: en eller flere LLM’er der forstår naturligt sprog, ræsonnerer og genererer output. I et compound system bruges modellen ofte til:

• Forstå brugerens intention
• Planlægge en strategi for opgaveløsning
• Generere det endelige svar
• Koordinere mellem andre komponenter

Nogle systemer bruger flere modeller: en hurtig, billig model til simple opgaver og en kraftigere model til komplekse opgaver. Eller specialiserede modeller til specifikke domæner.

2. Retrieval-system

Henter relevant information fra eksterne kilder:

• Vektor-databaser: Semantisk søgning i dokumenter, knowledge bases, produktkataloger
• Traditionelle databaser: SQL-queries mod strukturerede data
• Søgemaskiner: Web search for aktuel information
• Filsystemer: Adgang til lokale dokumenter og filer

Retrieval-komponenten sikrer at modellen har adgang til aktuel, relevant og verificerbar information. Ikke bare det den husker fra træning.

3. Kodeafvikling

En sandkasse hvor systemet kan skrive og køre kode:

• Matematiske beregninger (i stedet for at modellen gætter)
• Dataanalyse og visualisering
• Transformation af data mellem formater
• Validering af resultater

Kodeafvikling er en af de mest effektive måder at forbedre nøjagtighed på. I stedet for at bede modellen om at beregne 15% moms af 47.350 kr. i hovedet, skriver den 47350 * 0.15 og kører det.

4. Værktøjer og API’er

Integrationer med eksterne systemer:

• Kalendere, e-mail, CRM, ERP
• Betalingssystemer, booking-systemer
• Kommunikationsplatforme (Slack, Teams)
• Specialiserede tjenester (kort, vejr, finans)

5. Programmatisk logik

Traditionel kode der styrer flow, validerer output og implementerer forretningsregler:

• Routing: Send opgaven til den rigtige komponent baseret på type
• Validering: Kontrollér at modellens output overholder format og regler
• Guardrails: Blokér upassende eller farligt indhold
• Retry-logik: Prøv igen med en anden strategi hvis første forsøg fejler
• Caching: Gem og genbrug svar for identiske forespørgsler

6. Evalueringskomponent

Systemer der vurderer kvaliteten af output:

• En anden model der scorer svarets kvalitet
• Regelbaserede checks (format, fakta, completeness)
• Sammenligning med reference-svar
• Menneskeligt feedback-loop

Arkitekturmønstre

RAG (Retrieval-Augmented Generation)

Det mest udbredte compound AI-mønster:

Bruger-spørgsmål → Retrieval (søg relevante dokumenter) →
Kontekst + spørgsmål → LLM → Svar med kildehenvisninger

Eksempel: En virksomheds interne AI-assistent. Brugeren spørger “Hvad er vores politik for hjemmearbejde?” Retrieval-komponenten finder det relevante HR-dokument. LLM’en formulerer et svar baseret på dokumentet med kildehenvisning.

Router-arkitektur

Forskellige opgaver sendes til forskellige pipelines:

Bruger-input → Klassificér opgavetype →
  Simpelt spørgsmål → Hurtig model → Svar
  Beregning → LLM → Kodeafvikling → Svar
  Research → LLM → Web search → Retrieval → LLM → Svar
  Handling → LLM → API-kald → Bekræftelse

Multi-model pipeline

Flere modeller arbejder sekventielt:

Bruger-input → Model A (forståelse og planlægning) →
Model B (specialiseret bearbejdning) →
Model C (kvalitetskontrol og formatering) → Output

Eksempel: En oversættelsespipeline. Model A identificerer sprog og domæne. Model B (specialiseret oversættelsesmodel) oversætter. Model C (kvalitetsmodel) scorer oversættelsen og foreslår forbedringer.

Agentic compound system

En agent der dynamisk vælger og bruger komponenter:

Bruger-mål → Agent planlægger →
  Trin 1: Retrieval (hent data)
  Trin 2: Kodeafvikling (analysér data)
  Trin 3: API-kald (hent yderligere info)
  Trin 4: LLM (syntesér og formulér svar)
  Trin 5: Evaluering (kvalitetskontrol)
→ Output

Praktiske eksempler

Eksempel 1: AI-kundeservice i produktion

Enkelt model: Kunde spørger “Hvor er min pakke?” → Model genererer et generisk svar baseret på træningsdata. Ingen faktisk information om kundens ordre.

Compound system:

1. Intent-klassifikation: Identificér at det handler om ordrestatus
2. Entitetsekstraktion: Find kundenummer eller ordrenummer fra samtalen
3. Database-lookup: Hent ordrestatus fra ordresystemet
4. Tracking API: Hent realtids-leveringsstatus fra transportør
5. LLM: Formulér et personligt svar med faktisk leveringsinformation
6. Guardrails: Verificér at svaret ikke indeholder andre kunders data
7. Eskaleringslogik: Hvis ordren er forsinket over tærskelværdi, eskalér til menneske

Resultatet: “Din ordre #4521 blev afsendt i går og er hos PostNord. Forventet levering: i morgen mellem 8-16. Her er dit trackingnummer: [link].”

Eksempel 2: Finansiel research-assistent

Enkelt model: “Analysér Novo Nordisk’s seneste kvartal” → Model generer analyse baseret på forældet træningsdata. Muligvis med forkerte tal.

Compound system:

1. Web search: Hent seneste kvartalsrapport og pressemeddelelser
2. Dokument-parsing: Ekstraher nøgletal fra PDF-rapporten
3. Database: Hent historiske data for sammenligning
4. Kodeafvikling: Beregn vækstrater, marginer og nøgletal præcist
5. Retrieval: Find analytiker-kommentarer og branchekontekst
6. LLM: Syntesér en sammenhængende analyse
7. Fakta-check: Verificér nøgletal mod kildedokumenter

Resultatet: En aktuel, faktabaseret analyse med præcise beregninger og kildehenvisninger.

Eksempel 3: AI-kodningsassistent

Enkelt model: Genererer kode baseret på prompten og træningsdata. Kender ikke brugerens kodebase.

Compound system (som Cursor eller Claude Code):

1. Kodebase-indexering: Indeksér hele projektets kodestruktur
2. Kontekst-retrieval: Find relevante filer baseret på opgaven
3. LLM: Generer kode med kendskab til eksisterende mønstre og konventioner
4. Syntax-validering: Verificér at koden er syntaktisk korrekt
5. Test-afvikling: Kør eksisterende tests for at sikre intet er brudt
6. Linting: Kontrollér at koden overholder stilregler
7. Diff-generering: Præsentér ændringer som et review-venligt diff

Compound AI systems vs. enkeltmodeller

Udfordringer

Kompleksitet

Et compound system har flere bevægelige dele end et enkelt modelkald. Hver komponent skal vedligeholdes, monitoreres og fejlfindes. Interaktioner mellem komponenter kan skabe uventede problemer.

Løsning: Start simpelt. Byg ét compound-mønster ad gangen (f.eks. RAG først), og tilføj kompleksitet kun når det dokumenterbart forbedrer kvaliteten.

Latens

Flere trin betyder længere svartid. En retrieval + LLM + validering pipeline tager længere end et direkte modelkald.

Løsning: Parallelisér uafhængige trin. Cache hyppige forespørgsler. Brug streaming for at vise delsvar mens systemet arbejder. Brug hurtigere modeller til enkle delkomponenter.

Evaluering

At evaluere et compound system er sværere end at evaluere en enkelt model. Man skal teste hele pipelinen end-to-end, men også de individuelle komponenter.

Løsning: Byg evalueringsinfrastruktur fra starten. Mål både komponent-performance (retrieval-præcision, model-kvalitet) og system-performance (end-to-end korrekthed, brugertilfredshed).

Fejlpropagering

En fejl i én komponent kan propagere igennem hele systemet. Dårlig retrieval → irrelevant kontekst → forkert svar.

Løsning: Byg verifikation ind mellem trin. Brug fallbacks: hvis retrieval ikke finder relevante dokumenter, sig det i stedet for at generere et svar baseret på irrelevant kontekst.

Compound AI i praksis: Designprincipper

Start med det enkleste der virker

Ikke alle opgaver kræver et komplekst compound system. Start med et direkte modelkald. Tilføj retrieval når modellen mangler kontekst. Tilføj kodeafvikling når beregninger er upålidelige. Tilføj værktøjer når handlinger er nødvendige. Hvert lag af kompleksitet skal retfærdiggøres af en målbar forbedring.

Optimer flaskehalsen

Identificér hvilken komponent der er den svageste led. Ofte er det retrieval (forkerte dokumenter returneret), ikke modellen (svaret er godt givet konteksten). Fokusér forbedringsindsatsen der.

Design for fejl

Antag at hver komponent vil fejle. For det vil den. Design systemet så det degraderer elegant: hvis retrieval fejler, brug modellens egen viden med en caveat. Hvis kodeafvikling fejler, bed modellen estimere. Hvis API-kaldet timer ud, informér brugeren.

Mål alt

Instrumentér hver komponent med metrics: latens, fejlrate, kvalitetsscore. Det gør det muligt at identificere problemer hurtigt og prioritere forbedringer.

Ofte stillede spørgsmål

Hvad er et compound AI system?

Et compound AI system er et AI-system der kombinerer flere interagerende komponenter (sprogmodeller, retrieval-systemer, kodeafvikling, værktøjer, databaser og programmatisk logik) for at levere bedre resultater end en enkelt AI-model kan alene. De fleste AI-systemer der fungerer pålideligt i produktion er compound systems. For eksempel kombinerer ChatGPT en sprogmodel med web search, kodeafvikling og retrieval. Termen beskriver et skift fra at bygge bedre modeller til at bygge bedre systemer.

Hvad er forskellen på et compound AI system og RAG?

RAG (Retrieval-Augmented Generation) er ét specifikt mønster inden for compound AI systems. Det kombinerer retrieval med en sprogmodel. Et compound AI system er det bredere begreb der omfatter enhver kombination af AI-komponenter: RAG, kodeafvikling, værktøjsbrug, multi-model pipelines, routing, evaluering og mere. RAG er et compound AI system, men ikke alle compound AI systems er RAG.

Hvorfor er compound AI systems bedre end en enkelt model?

Fordi de adresserer enkeltmodellers fundamentale begrænsninger: frossen viden (løst med retrieval), hallucination (løst med fakta-check og verifikation), manglende handlingsevne (løst med værktøjsintegration), beregningsfejl (løst med kodeafvikling), og begrænset kontekst (løst med intelligent kontekst-udvælgelse). Derudover er compound systems lettere at debugge (man kan inspicere hvert trin), billigere at optimere (brug billige modeller til simple trin), og mere kontrollerbare (programmatisk logik håndhæver regler).

Er compound AI systems svære at bygge?

De er mere komplekse end et enkelt API-kald, men moderne frameworks og værktøjer har gjort det markant lettere. Et basalt RAG-system kan bygges på en dag med frameworks som LangChain, LlamaIndex eller direkte med en vector-database og en model-API. Nøglen er at starte simpelt: byg ét mønster ad gangen og tilføj kun kompleksitet når det dokumenterbart forbedrer kvaliteten. De fleste succesfulde compound AI systems er startet som simple RAG-pipelines og er gradvist udvidet.