Fine-tuning

Hvad er fine-tuning?

Fine-tuning er processen med at tage en præ-trænet AI-model og træne den yderligere på et mindre, specialiseret datasæt for at tilpasse den til en specifik opgave. Det er som at tage en person med en bred universitetsuddannelse og give dem en specialisering. Grundlaget er på plads, og nu tilføjes ekspertise.

Præ-træning af en stor sprogmodel som GPT koster hundredvis af millioner dollars og kræver billioner af tokens. Fine-tuning af den samme model til en specifik opgave kan koste fra nogle hundrede til nogle tusinde dollars og kræve kun tusindvis af eksempler. Det er denne massive forskel i ressourcekrav der gør fine-tuning så attraktivt.

Fine-tuning er relevant for alle typer AI-modeller: sprogmodeller, billedmodeller, tale-modeller og mere. Uanset modaliteten er princippet det samme: start med en stor, generel model og gør den specialiseret.

Hvordan fungerer fine-tuning?

Processen er relativt simpel:

1. Start med en præ-trænet model. Vælg en model der allerede er trænet på bred data, f.eks. GPT, Llama eller Mistral.
2. Forbered specialiseret data. Saml data der er relevant for din specifikke opgave. For kundeservice kan det være tusindvis af spørgsmål og svar. For medicinsk AI kan det være medicinske tekster og diagnoser.
3. Træn videre. Kør yderligere træning på den specialiserede data. Modellens parametre justeres for at tilpasse sig de nye data, men den beholder sin generelle viden fra præ-træningen.
4. Evaluér. Test den fine-tunede model på data den ikke har set for at sikre at den præsterer godt på den specifikke opgave.

Hvornår skal man fine-tune?

Fine-tuning er ikke altid den rette løsning. Her er hvornår det giver mening:

1. Specialiseret domæne. Hvis du har brug for en model der forstår fagterminologi inden for jura, medicin, finans eller et andet specialområde, kan fine-tuning gøre modellen markant bedre.
2. Specifikt output-format. Hvis du vil have modellen til konsekvent at svare i et bestemt format (JSON, specifikke skabeloner, bestemte strukturer) er fine-tuning effektivt.
3. Tone og stil. Hvis modellen skal matche en virksomheds brand-stemme eller skrive i en bestemt stil, kan fine-tuning lære den dette.
4. Omkostningsreduktion. En fine-tunet lille model kan ofte matche en stor models præstation på specifikke opgaver. Til en brøkdel af prisen per forespørgsel.

Hvornår bør man IKKE fine-tune?

1. Prompting er nok. For mange opgaver kan du opnå gode resultater bare ved at skrive bedre prompts. Prøv altid prompting og few-shot learning først. Fine-tuning er mere kompleks og dyrere.
2. RAG er bedre. Hvis du har brug for at modellen kender specifik, opdateret information, er RAG (Retrieval-Augmented Generation) ofte bedre end fine-tuning. Fine-tuning ændrer modellens adfærd, RAG giver den adgang til information.
3. For lidt data. Fine-tuning kræver typisk mindst nogle hundrede eksempler af høj kvalitet. Med for få eksempler risikerer du overfitting.

Fine-tuning-teknikker

1. Full fine-tuning. Alle modellens parametre opdateres. Giver de bedste resultater men kræver mest beregningskraft og hukommelse. Praktisk umuligt for de største modeller medmindre du har en serverklynge.
2. LoRA (Low-Rank Adaptation). Træner kun et lille sæt ekstra parametre der “overlejres” på den originale model. Kræver dramatisk mindre hukommelse og beregningskraft. Den mest populære teknik til fine-tuning af store modeller.
3. QLoRA. Kombinerer LoRA med kvantisering for endnu lavere ressourcekrav. Gør det muligt at fine-tune modeller med milliarder af parametre på en enkelt forbruger-GPU.
4. Prefix tuning og prompt tuning. Træner kun et sæt “virtuelle tokens” der prepend’s til inputtet. Endnu mere parametereffektivt end LoRA men typisk lidt mindre effektivt.

Fine-tuning i praksis

1. OpenAI fine-tuning. OpenAI tilbyder fine-tuning af GPT-modeller via deres API. Du uploader et datasæt med eksempler, og OpenAI håndterer træningen. Simpelt at bruge men begrænset kontrol.
2. Open source. Med modeller som Llama og Mistral kan du fine-tune lokalt med fuld kontrol. Værktøjer som Hugging Faces PEFT-bibliotek og Axolotl gør processen tilgængelig.
3. Billedgenerering. Stable Diffusion kan fine-tunes med DreamBooth eller LoRA til at generere billeder i specifikke stilarter eller af specifikke personer/objekter med blot 10-20 eksempelbilleder.

Begrænsninger

1. Katastrofisk glemsel. Fine-tuning kan få modellen til at glemme viden fra præ-træningen. En model der fine-tunes for hårdt på medicinsk data kan blive dårligere til andre opgaver.
2. Overfitting. Med for lidt data eller for meget træning kan modellen memorere træningsdataene i stedet for at lære generelle mønstre.
3. Datakvalitet. Kvaliteten af fine-tuning-dataene er afgørende. Dårlige eksempler giver en dårligere model.
4. Vedligeholdelse. Når base-modellen opdateres, skal fine-tuningen typisk gentages.