Few-shot learning

Hvad er few-shot learning?

Few-shot learning er en AI-teknik hvor en model kan lære en ny opgave ud fra blot nogle få eksempler, typisk 2 til 10. I stedet for at kræve tusindvis af mærkede datapunkter, som traditionel maskinlæring gør, kan few-shot learning opnå gode resultater med minimal data.

Begrebet bruges i to sammenhænge:

1. I prompting. Når du viser en sprogmodel nogle få eksempler i din prompt og beder den fortsætte mønsteret. “Oversæt: cat → kat, dog → hund, house → ?” Modellen forstår opgaven og svarer “hus.” Dette kaldes few-shot prompting.
2. I maskinlæring generelt. Når en model er designet til at generalisere fra meget få træningseksempler, f.eks. at genkende et nyt ansigt efter at have set blot 3 billeder.

Den første betydning er langt den mest brugte i dag. GPT, Claude og andre store sprogmodeller er ekstremt gode til few-shot learning via prompting. Du giver dem et par eksempler, og de forstår hvad du vil.

Hvordan fungerer few-shot prompting?

Processen er simpel og kraftfuld:

1. Giv eksempler. Inkludér 2-5 eksempler af den opgave du vil have løst i din prompt. Eksemplerne viser modellen formatet og logikken.
2. Stil opgaven. Efter eksemplerne giver du det nye input som modellen skal behandle.
3. Modellen generaliserer. Baseret på de få eksempler udleder modellen mønsteret og anvender det på det nye input.

For eksempel:

Klassificér disse kundehenvendelser:
"Min pakke er ikke ankommet" → Levering
"Kan jeg returnere dette produkt?" → Retur
"Hvad koster fragt til Sverige?" → Fragt
"Produktet var beskadiget da jeg åbnede det" → ?

Modellen svarer “Reklamation” eller “Kvalitet”. Den har forstået opgaven fra blot tre eksempler.

Few-shot vs. zero-shot vs. one-shot

1. Zero-shot. Ingen eksempler. Modellen løser opgaven baseret på instruktionen alene. “Klassificér denne email som spam eller ikke-spam.” Kræver at modellen allerede forstår opgaven.
2. One-shot. Ét enkelt eksempel. Modellen ser ét eksempel og generaliserer derfra. Overraskende effektivt med store sprogmodeller.
3. Few-shot. Nogle få eksempler (typisk 2-10). Den mest pålidelige teknik. Nok eksempler til at vise mønsteret uden at bruge for meget af kontekstvinduet.

Hvornår fungerer few-shot learning godt?

1. Formatering og struktur. Når du vil have output i et specifikt format: JSON, Markdown, specifikke tabeller. Eksempler viser modellen præcis hvad du forventer.
2. Klassifikation. Kategorisering af tekst i foruddefinerede klasser. Eksemplerne demonstrerer hvad hver klasse indeholder.
3. Oversættelse og konvertering. Omskrivning fra ét format til et andet: tekst til SQL, dansk til spansk, uformel til formel.
4. Stil og tone. Vis modellen eksempler på den ønskede skrivestil, og den vil matche den i sit output.
5. Mønstergenkendelse. Opgaver der følger et klart mønster som eksemplerne demonstrerer.

Few-shot learning i traditionel ML

Ud over prompting bruges few-shot learning i flere ML-kontekster:

1. Ansigts-genkendelse. Telefoner kan genkende nye ansigter efter at have set blot 3-5 billeder. Modellen har lært hvad ansigter generelt er under præ-træning og tilpasser sig det specifikke ansigt med få eksempler.
2. Medicinsk diagnostik. Sjældne sygdomme har typisk meget få eksempler. Few-shot learning-teknikker gør det muligt at træne diagnostikmodeller med begrænsede data.
3. Robotgenkendelse. En robot der skal genkende nye objekter i et lager kan lære fra blot et par billeder af hvert objekt.
4. Drug discovery. Forudsigelse af egenskaber for nye molekyler baseret på meget få kendte eksempler.

Tips til effektiv few-shot prompting

1. Vælg repræsentative eksempler. Dine eksempler bør dække variationen i opgaven. Hvis du klassificerer i tre kategorier, inkludér mindst ét eksempel per kategori.
2. Hold eksemplerne konsistente. Brug det samme format i alle eksempler. Inkonsistens forvirrer modellen.
3. Brug 3-5 eksempler. Mere er ikke altid bedre. For mange eksempler bruger kontekstvinduet og kan endda forvirre modellen. 3-5 er typisk optimalt.
4. Placér de bedste eksempler sidst. Modeller har tendens til at vægte de seneste eksempler højest (recency bias).