Natural Language Processing (NLP)

Hvad er NLP?

Natural Language Processing (forkortet NLP) er den gren af kunstig intelligens der handler om at gøre computere i stand til at forstå, fortolke og generere menneskeligt sprog. Det er teknologien bag alt fra Google Translate og Siri til ChatGPT og Claude.

“Natural language” betyder naturligt sprog: sprog som mennesker bruger i daglig kommunikation, i modsætning til programmeringssprog som Python eller JavaScript. NLP bygger bro mellem menneskers sprog og computerens digitale verden.

NLP har eksisteret som forskningsfelt siden 1950’erne, men det er først med moderne deep learning og transformer-arkitekturen at teknologien er blevet rigtig brugbar. De tidlige NLP-systemer var regelbaserede: programmører skrev manuelt grammatikregler og ordbøger. Moderne NLP-systemer lærer sprog direkte fra data, og resultaterne er markant bedre.

Hver gang du taler til en stemmeassistent, bruger autocomplete på din telefon, får din email kategoriseret som spam, eller chatter med en AI, bruger du NLP.

Hvordan fungerer NLP?

NLP-processen involverer flere trin for at omsætte rå tekst til noget en computer kan arbejde med:

1. Tokenisering. Teksten opdeles i tokens: de mindste enheder modellen arbejder med. Sætningen “Jeg elsker dansk NLP” kan blive til [“Jeg”, “elsker”, “dansk”, “NLP”] eller endnu finere opdeling afhængigt af tokenizer-metoden.
2. Repræsentation. Tokens konverteres til tal (vektorer) som computeren kan regne med. Moderne metoder som word embeddings placerer ord i et matematisk rum hvor lignende ord er tæt på hinanden. “Konge” og “dronning” ligger tæt, mens “konge” og “kartoffel” ligger langt fra hinanden.
3. Forståelse. Modellen analyserer relationer mellem tokens: hvem gør hvad, hvad refererer til hvad, hvad er sarkastisk og hvad er bogstaveligt. Transformer-arkitekturen med sin attention-mekanisme er særligt god til at fange disse relationer.
4. Generering. For opgaver der kræver output (som at skrive svar eller oversætte), genererer modellen tekst ét token ad gangen baseret på sin forståelse af inputtet.

Hovedopgaver inden for NLP

NLP dækker en bred vifte af opgaver:

1. Tekstklassifikation. Kategorisering af tekst: er denne email spam? Er denne anmeldelse positiv eller negativ? Hvilken afdeling skal denne kundehenvendelse sendes til?
2. Navnegenkendelse (NER). Identifikation af navne, steder, datoer og andre enheder i tekst. “Kristian bor i København” → Person: Kristian, Sted: København.
3. Maskinoversættelse. Automatisk oversættelse mellem sprog. Google Translate behandler over 100 milliarder ord dagligt og understøtter over 130 sprog.
4. Opsummering. Kondensering af lange tekster til korte resuméer. En NLP-model kan opsummere en 50-siders rapport til et par afsnit.
5. Spørgsmål-svar. Besvarelse af spørgsmål baseret på en given tekst eller generel viden. Det er fundamentet for AI-assistenter som ChatGPT og Claude.
6. Sentimentanalyse. Bestemmelse af tonen i tekst: er denne kundeanmeldelse positiv, negativ eller neutral? Bruges massivt i marketing og kundeservice.
7. Talegenkendelse. Konvertering af tale til tekst (speech-to-text). Siri, Google Assistant og OpenAI Whisper er alle NLP-systemer.
8. Tekstgenerering. Produktion af ny tekst baseret på et input. Det er hvad sprogmodeller som GPT og Claude gør. Og det er den opgave der har fået mest opmærksomhed de seneste år.

NLP’s udvikling

NLP har gennemgået tre store epoker:

1. Regelbaseret (1950-1990). Programmører skrev manuelt grammatikregler og ordbøger. ELIZA (1966) var et af de første NLP-systemer: en simpel chatbot der omformulerede brugerens udsagn som spørgsmål. Tilgangen var begrænset fordi sprog er for komplekst og nuanceret til at indfange med faste regler.
2. Statistisk (1990-2017). Maskinlæring overtog. Modeller lærte sprogmønstre fra store datasæt i stedet for at følge manuelt skrevne regler. Det førte til markante forbedringer i oversættelse, talegenkendelse og tekstklassifikation.
3. Deep learning-æraen (2017-nu). Transformer-arkitekturen (introduceret i 2017) ændrede NLP markant. BERT, GPT, Claude og alle moderne sprogmodeller er transformers. De har gjort NLP fra en nicheforskning til en teknologi der bruges af milliarder af mennesker dagligt.

NLP i hverdagen

1. Autocomplete og autokorrektur. Når din telefon foreslår det næste ord eller retter stavefejl, er det NLP i aktion.
2. Søgemaskiner. Google forstår dine søgninger takket være NLP. Når du søger “bedste restaurant nær mig”, forstår Google at du vil have lokale resultater, ikke en definition af “restaurant”.
3. Chatbots og AI-assistenter. ChatGPT, Claude, Siri og Alexa er alle NLP-systemer der forstår dine spørgsmål og genererer svar.
4. Email-filtrering. Gmail bruger NLP til at filtrere spam, kategorisere emails og foreslå hurtige svar.
5. Oversættelse. Google Translate, DeepL og oversættelsesfunktioner i browsere bruger alle NLP.