Small Language Model (SLM)

Hvad er en Small Language Model (SLM)?

En Small Language Model (forkortet SLM) er en sprogmodel med relativt få parametre, typisk fra nogle hundrede millioner til omkring 10 milliarder. Sammenlignet med de store LLM’er som GPT-4 og Claude, der har hundredvis af milliarder parametre, er SLM’er markant mindre, men det er ofte netop pointen.

SLM’er er designet til at løse specifikke opgaver hurtigt og effektivt, uden at kræve enorm beregningskraft. Tænk på det som forskellen mellem en lastbil og en varevogn: lastbilen kan fragte mere, men varevognen er hurtigere, billigere at køre og kan komme steder lastbilen ikke kan.

Eksempler på populære SLM’er inkluderer Microsofts Phi-serien, Googles Gemma, Metas Llama 3.2 (1B og 3B), Mistral 7B og Qwen 3 fra Alibaba. Disse modeller kan ofte køre direkte på en laptop, en smartphone eller endda en Raspberry Pi.

SLM’er er blevet et af de hurtigst voksende segmenter i AI. Hvor 2023 handlede om at gøre modeller større, handler 2024-2026 i stigende grad om at gøre dem mindre og mere effektive.

Hvordan adskiller SLM’er sig fra LLM’er?

Forskellen handler ikke kun om størrelse, men om fundamentalt forskellige designprincipper:

1. Parametre. LLM’er har typisk hundredvis af milliarder parametre. SLM’er har typisk 1-10 milliarder. Grænsen er flydende, men det er den generelle opdeling.
2. Hardware-krav. En frontier LLM kræver klynger af dyre GPU’er. Mange SLM’er kan køre på en enkelt GPU eller endda en CPU. Nogle kan køre direkte på en telefon.
3. Hastighed. SLM’er genererer typisk svar markant hurtigere end LLM’er fordi der er færre beregninger per token. Det gør dem velegnede til realtidsapplikationer.
4. Pris. At køre en SLM via en API koster en brøkdel af en LLM. At køre den lokalt koster næsten ingenting ud over strøm og hardware.
5. Kapabilitet. LLM’er er bredere og mere kapable på tværs af opgaver. SLM’er er typisk specialiserede og præsterer bedre på afgrænsede opgaver end på brede, åbne spørgsmål.

Hvornår er en SLM det bedre valg?

SLM’er er ikke bare en “fattigmands LLM.” Der er konkrete scenarier hvor de er det objektivt bedre valg:

1. Privatliv og datasikkerhed. Når data ikke må forlade virksomheden. En SLM kan køre lokalt bag firewallen, så ingen data sendes til eksterne API’er. Det er kritisk i sundhedsvæsenet, finanssektoren og den offentlige sektor.
2. Lav latency. Applikationer der kræver svar på millisekunder (autofuldførelse, realtidsoversættelse, chatbots med høj trafik) har brug for en model der svarer hurtigt.
3. Edge-enheder. SLM’er kan køre direkte på telefoner, tablets og IoT-enheder uden internetforbindelse. Apple Intelligence bruger on-device SLM’er til mange funktioner.
4. Specialiserede opgaver. Hvis du kun skal klassificere kundehenvendelser, ekstrahere data fra fakturaer eller oversætte tekniske manualer, kan en finjusteret SLM matche eller overgå en generel LLM.
5. Omkostninger i skala. En virksomhed der behandler millioner af forespørgsler dagligt kan spare enormt ved at bruge en SLM i stedet for en dyr LLM-API.

Hvordan gør man SLM’er gode?

Flere teknikker bruges til at gøre SLM’er så kapable som muligt trods deres mindre størrelse:

1. Distillation. En stor “lærer-model” bruges til at træne en mindre “elev-model”. Eleven lærer at efterligne lærerens output og opnår dermed en del af den stores kapabilitet i en brøkdel af størrelsen.
2. Kvantisering. Modellens parametre konverteres fra høj præcision (32-bit tal) til lavere præcision (8-bit eller 4-bit). Det reducerer modellens størrelse og hukommelsesforbrug markant med minimalt tab af kvalitet.
3. Bedre træningsdata. Nyere forskning viser at kvaliteten af træningsdata betyder mere end mængden. Microsofts Phi-modeller har demonstreret at SLM’er trænet på omhyggeligt udvalgte, højkvalitetsdata kan præstere overraskende godt.
4. Arkitektur-innovationer. Teknikker som Mixture of Experts (MoE) lader en model have mange parametre men kun aktivere en delmængde per forespørgsel, hvilket giver større kapabilitet uden tilsvarende beregningsomkostninger.
5. Fine-tuning. En generel SLM kan finjusteres til en specifik opgave med relativt få eksempler og begrænset beregningskraft, typisk via LoRA eller QLoRA.

Begrænsninger

SLM’er har naturlige begrænsninger sammenlignet med LLM’er:

1. Bredde. SLM’er er typisk svagere på opgaver der kræver bred verdensviden, kompleks ræsonnering på tværs af domæner eller kreativ problemløsning.
2. Lange kontekster. Mange SLM’er har kortere kontekstvinduer og håndterer lange dokumenter dårligere end store modeller.
3. Instruktionsfølgning. SLM’er kan have sværere ved at følge komplekse, flerleddede instruktioner sammenlignet med frontier LLM’er.
4. Hallucination. Mindre modeller hallucinerer generelt mere end store modeller, især på opgaver uden for deres primære træningsdomæne.