PEFT (Parameter-Efficient Fine-Tuning)

Hvad er PEFT?

PEFT (Parameter-Efficient Fine-Tuning) er en samlebetegnelse for teknikker der tilpasser store AI-modeller ved kun at træne en lille del af parametrene. I stedet for at opdatere alle modellens milliarder af parametre (fuld fine-tuning), tilføjer eller modificerer PEFT-metoder kun en brøkdel (typisk 0,1-5%) og opnår alligevel sammenlignelige resultater.

Problemet PEFT løser er fundamentalt: store sprogmodeller som Llama 3 70B har milliarder af parametre, og fuld fine-tuning kræver enorme mængder GPU-hukommelse, tid og penge. PEFT gør fine-tuning praktisk ved at reducere disse krav med en faktor 10-100x.

PEFT er ikke én enkelt teknik, men en familie af tilgange der alle deler det samme princip: find en effektiv måde at tilpasse modellen uden at røre ved alle parametre. De mest kendte PEFT-metoder er LoRA, QLoRA, prefix tuning og adapters.

Hvorfor fungerer PEFT?

Forskning har vist at de ændringer der sker under fine-tuning typisk har lav dimensionalitet. Selvom modellen har milliarder af parametre, sker de meningsfulde ændringer i et langt mindre underrum. PEFT-metoder udnytter netop dette ved at fokusere al trænbarhed i dette kompakte underrum.

Det betyder at fuld fine-tuning er massivt redundant for de fleste opgaver. Du behøver ikke ændre alle parametre for at lære modellen noget nyt. En lille, strategisk placeret opdatering er ofte nok.

Typer af PEFT-metoder

1. LoRA (Low-Rank Adaptation). Tilføjer små lav-rang matricer til modellens lag. Den mest populære PEFT-metode. Typisk 0,1-1% af parametrene trænes.
2. QLoRA. Kombinerer LoRA med 4-bit kvantisering af base-modellen. Endnu mere hukommelseseffektiv end LoRA alene.
3. Prefix tuning. Tilføjer trænbare “prefix-tokens” til modellens input i hvert lag. Modellen lærer at bruge disse prefix-tokens til at styre sin opførsel.
4. Prompt tuning. Lignende prefix tuning, men tilføjer kun trænbare tokens til input-embeddings. Endnu enklere end prefix tuning.
5. Adapters. Indsætter små trænbare moduler (adapter-lag) mellem modellens eksisterende lag. En af de tidligste PEFT-metoder.
6. IA3 (Infused Adapter by Inhibiting and Amplifying Inner Activations). Tilføjer lærbare vektorer der skalerer modellens aktivationer. Ekstremt parametereffektiv, træner endnu færre parametre end LoRA.

PEFT vs. fuld fine-tuning

1. Hukommelse. Fuld fine-tuning af en 7B-model kræver 28+ GB GPU-hukommelse (for parametre, gradienter og optimizer-tilstande). PEFT med LoRA kræver 4-8 GB.
2. Hastighed. PEFT er typisk 2-10x hurtigere end fuld fine-tuning, fordi færre parametre skal opdateres.
3. Kvalitet. For de fleste opgaver matcher PEFT fuld fine-tuning. Ved meget store datasæt eller komplekse domæner kan fuld fine-tuning stadig have en lille fordel.
4. Modularitet. PEFT-adaptere er separate filer der kan skiftes ud. Du kan have flere adaptere til forskellige opgaver ovenpå den samme base-model. Uden at gemme en hel kopi af modellen for hver opgave.
5. Katastrofisk glemsel. PEFT bevarer base-modellens viden bedre end fuld fine-tuning, fordi de originale parametre ikke ændres.

PEFT i praksis

1. Hugging Face PEFT-bibliotek. Det mest populære open source-bibliotek til PEFT. Understøtter LoRA, QLoRA, prefix tuning, prompt tuning, adapters og mere. Integrerer direkte med Hugging Face Transformers.
2. Virksomheder. Virksomheder bruger PEFT til at tilpasse open source-modeller til deres specifikke domæne (juridisk, medicinsk, finansiel) uden at investere i enterprise GPU-klynger.
3. Personlige modeller. Hobbyister og forskere bruger PEFT til at fine-tune modeller på deres egne data med en enkelt forbruger-GPU. Et typisk LoRA-setup kræver en RTX 3060 eller bedre.
4. Multi-task tilpasning. Med PEFT kan du have én base-model og skiftes mellem forskellige LoRA-adaptere til forskellige opgaver. En model kan have en adapter til kodning, en til dansk sprog og en til medicinsk terminologi.