Foundation model

Hvad er en foundation model?

En foundation model er en stor AI-model der er trænet på enorme mængder bred data og efterfølgende kan tilpasses til mange forskellige opgaver. Tænk på det som et fundament (deraf navnet) som andre kan bygge videre på.

Før foundation models trænede man typisk én model per opgave: én til oversættelse, én til opsummering, én til sentimentanalyse. Hver model krævede sit eget specialiserede datasæt og sin egen træningsproces. Foundation models ændrede det paradigme fundamentalt. Én stor model, trænet bredt, kan bruges til hundredvis af opgaver. Ofte uden ekstra træning.

GPT, Claude, Gemini og Llama er alle foundation models. De er trænet på en betydelig del af internettets tekst og kan derefter bruges til alt fra at skrive emails til at analysere kontrakter, generere kode og besvare faglige spørgsmål.

Begrebet blev formaliseret i 2021 af Stanford Universitys Center for Research on Foundation Models, som argumenterede for at disse modeller repræsenterer et skift i AI. Og at de kræver ny forskning i sikkerhed, bias og samfundspåvirkning.

Hvordan fungerer foundation models?

Processen har to faser:

1. Præ-træning. Modellen trænes på enorme mængder ustruktureret data. Typisk hundredvis af milliarder ord fra bøger, websites, kode og akademiske artikler. Under træningen lærer modellen sprog, fakta, ræsonneringsmønstre og verdensviden. Denne fase er ekstremt dyr og kræver tusindvis af GPU’er i uger eller måneder. Det er her “fundamentet” bygges.
2. Tilpasning. Efter præ-træning tilpasses modellen til specifikke formål. Det kan ske gennem fine-tuning (yderligere træning på specialiseret data), RLHF (feedback fra mennesker der vurderer outputtet), eller simpelthen gennem prompting (instruktioner i naturligt sprog). Tilpasning er langt billigere og hurtigere end præ-træning.

Det afgørende er at tilpasningsfasen kræver en brøkdel af den data og beregningskraft som præ-træningen krævede. En foundation model der er trænet på hele internettet kan finjusteres til medicinsk diagnostik med blot nogle tusinde medicinske eksempler.

Hvorfor er foundation models vigtige?

Foundation models har ændret AI-landskabet af flere grunde:

1. Demokratisering. Virksomheder og udviklere behøver ikke længere træne modeller fra bunden. De kan bruge en eksisterende foundation model via en API og tilpasse den til deres behov. En startup kan bygge en AI-assistent til juridisk rådgivning uden at bruge millioner på træning.
2. Emergente evner. Store foundation models viser evner de ikke eksplicit er trænet til. GPT kan løse matematikopgaver, skrive kode og ræsonnere om abstrakte koncepter. Selvom den “bare” er trænet til at forudsige næste token. Disse emergente evner opstår først ved en vis skala.
3. Multifunktionalitet. Én model kan løse hundredvis af forskellige opgaver. Claude kan oversætte, opsummere, kode, analysere data og skrive kreativt. Alt sammen uden at være specialtrænet til hver enkelt opgave.
4. Hurtig innovation. Fordi fundamentet allerede er på plads, kan nye applikationer bygges på dage i stedet for måneder. Det har skabt en eksplosion af AI-startups og produkter.

De største foundation models

1. GPT-serien (OpenAI). GPT-serien driver ChatGPT og er blandt de mest kapable modeller. Closed source. Kun tilgængelig via API.
2. Claude (Anthropic). Fokus på sikkerhed og pålidelighed. Kendt for lange kontekstvinduer (op til 200.000 tokens) og stærk kodningsevne. Closed source.
3. Gemini (Google). Googles multimodale model der kan behandle tekst, billeder, lyd og video. Integreret i Google-produkter. Closed source.
4. Llama (Meta). Metas open source-modeller der kan downloades og køres lokalt. Har kickstartet et stort open source-økosystem. Llama 4 er konkurrencedygtig med mange closed source-modeller.
5. Mistral (Mistral AI). Fransk AI-virksomhed med effektive open source-modeller. Mixtral bruger Mixture of Experts-arkitektur for bedre ydeevne per beregningsenhed.

Udfordringer

Foundation models kommer med betydelige udfordringer:

1. Omkostninger. Præ-træning af en frontier-model koster hundredvis af millioner dollars. Det begrænser hvem der kan bygge dem til en håndfuld virksomheder med enorm kapital.
2. Magtkoncentration. Når kun få virksomheder kan træne foundation models, får de uforholdsmæssig indflydelse over teknologiens udvikling. Open source-modeller som Llama modvirker dette delvist.
3. Bias og sikkerhed. Modellerne arver skævheder fra deres træningsdata. De kan også misbruges til at generere misinformation, malware eller skadeligt indhold. Alignment-forskning arbejder på at gøre modellerne mere sikre.
4. Miljøpåvirkning. Træning af store modeller kræver enorm energi. Et enkelt træningsløb kan udlede hundredvis af tons CO2, afhængigt af energikilden.