Named Entity Recognition (NER)

Hvad er Named Entity Recognition (NER)?

Named Entity Recognition (NER) er en NLP-teknik der automatisk scanner tekst og identificerer navngivne entiteter. Det vil sige specifikke personer, organisationer, steder, datoer, beløb og andre konkrete størrelser. Modellen finder ikke bare entiteterne, men klassificerer dem også efter type.

Tag denne sætning som eksempel:

En NER-model identificerer:

NER er en af de mest fundamentale byggesten i NLP og bruges som komponent i mange større systemer, fra søgemaskiner og chatbots til juridisk dokumentanalyse og journalistisk research.

Hvordan fungerer NER?

Regelbaserede systemer

De tidligste NER-systemer brugte håndskrevne regler og lister:

• Ord med stort begyndelsesbogstav efter punktum = mulig person eller sted
• Ord der matcher en liste af kendte virksomheder = organisation
• Mønstre som “dd/mm/yyyy” = dato
• Tal efterfulgt af “kr.”, “USD” eller “€” = beløb

Denne tilgang er hurtig og forudsigelig, men skrøbelig. Den fejler på tvetydige tilfælde (“Apple”, frugt eller virksomhed?) og kræver manuelt vedligehold af regler og lister.

Statistiske og ML-baserede systemer

Moderne NER bruger maskinlæring, typisk sequence labeling-modeller der analyserer hvert ord i kontekst:

1. Feature extraction. Hvert ord repræsenteres med egenskaber: ordets form, store/små bogstaver, position i sætningen, omgivende ord
2. Sekventiel modellering. Modellen vurderer hvert ord i sammenhæng med de omkringliggende ord (en BiLSTM eller Conditional Random Field)
3. Entitetsmærkning. Hvert ord mærkes med en label, typisk i BIO-format:
   • B-PER = Beginning of Person entity
   • I-PER = Inside of Person entity (fortsættelse)
   • O = Outside (ikke en entitet)

For “Anders Jensen arbejder hos Novo Nordisk”:

Transformer-baseret NER

State-of-the-art NER bruger transformer-modeller som BERT, der har en dyb kontekstuel forståelse af sprog. Disse modeller kan:

• Forstå at “Apple” er en virksomhed i “Apple lancerede en ny iPhone” men en frugt i “Jeg spiste et apple”
• Genkende entiteter de aldrig har set før, baseret på kontekst
• Håndtere komplekse navne, titler og forkortelser

Store sprogmodeller som GPT-4o og Claude kan udføre NER via prompting uden specifik træning, hvilket gør teknologien tilgængelig for alle.

Standardtyper af entiteter

De mest almindelige entitetstyper i NER:

Afhængigt af domænet kan der tilføjes specialiserede typer som medicinske termer (sygdomme, lægemidler), juridiske begreber (lovparagraffer, domstole) eller tekniske betegnelser.

Hvad bruges NER til?

Informationsudtrækning fra dokumenter

NER er kernen i systemer der automatisk udtrækker struktureret information fra ustruktureret tekst:

• Juridisk. Identificere parter, datoer, beløb og lovhenvisninger i kontrakter
• Finans. Udtrække virksomhedsnavne, nøgletal og begivenheder fra årsrapporter
• HR. Parse CV’er for at finde navn, uddannelse, virksomheder og kompetencer
• Forsikring. Udtrække skadesdato, sted, involverede parter og beløb fra anmeldelser

Søgemaskiner og vidensgrafer

Søgemaskiner som Google bruger NER til at forstå søgeforespørgsler og dokumenter. Når du søger “Hvornår blev Novo Nordisk grundlagt?” identificerer NER “Novo Nordisk” som en organisation og “hvornår” som et tids-spørgsmål, hvilket gør det muligt at returnere et direkte svar.

Vidensgrafer som Google Knowledge Graph er bygget ved at udtrække entiteter og relationer fra milliarder af dokumenter via NER.

Anonymisering og GDPR-compliance

NER bruges til automatisk at identificere personoplysninger i dokumenter (navne, adresser, CPR-numre, telefonnumre) som del af GDPR-compliance og dataanonymisering. I stedet for manuelt at gennemlæse tusindvis af dokumenter kan NER automatisk finde og maskere følsomme data.

Nyhedsovervågning og medieanalyse

Medieanalysevirksomheder bruger NER til at:

• Spore omtale af specifikke virksomheder, politikere eller brands i nyheder
• Kortlægge relationer mellem personer og organisationer
• Identificere trending emner og nye aktører i en branche

Chatbots og AI-assistenter

NER hjælper chatbots med at forstå brugerens intention ved at identificere nøgleentiteter:

NER udtrækker: Sted=Aarhus, Antal=4, Dato=3. april, Tid=kl. 10. Og chatbotten kan handle på det.

Praktiske eksempler

Eksempel 1: Automatisk kontraktanalyse

Et advokatfirma uploader 200 kontrakter. NER-systemet udtrækker automatisk fra hver kontrakt:

• Parterne (organisationer og personer)
• Kontraktdato og udløbsdato
• Beløb og betalingsvilkår
• Jurisdiktion og lovvalg

Resultatet præsenteres i en søgbar database, så jurister kan finde specifikke vilkår på tværs af alle kontrakter på sekunder.

Eksempel 2: Nyhedsaggregering

En finansvirksomhed overvåger 500 nyhedskilder. NER identificerer alle omtalte virksomheder i hver artikel og kobler dem til virksomhedens portefølje. Når en porteføljevirksomhed omtales negativt, sendes en alert til den ansvarlige analytiker.

Eksempel 3: LLM-baseret NER

Du har en bunke ustrukturerede kundehenvendelser og prompter Claude:

Modellen parser henvendelserne og returnerer struktureret data klar til import i et CRM-system.

Eksempel 4: GDPR-anonymisering

En kommune skal offentliggøre 10.000 sagsakter men skal først anonymisere personoplysninger. Et NER-system scanner alle dokumenter og erstatter:

• Personnavne med “[PERSON]”
• Adresser med “[ADRESSE]”
• CPR-numre med “[CPR]”

En sagsbehandler gennemgår derefter stikprøver for kvalitetssikring.

Udfordringer ved NER

Tvetydighed

“Paris”: byen eller Paris Hilton? “Apple”: virksomheden eller frugten? “Jordan”: landet, floden eller Michael Jordan? Konteksten er afgørende, og selv avancerede modeller kan tage fejl.

Sprogspecifikke udfordringer

Dansk NER har særlige udfordringer:

• Sammensatte ord (“Miljøministeriet”, “Nationalbanken”) kræver forståelse af dansk ordsammensætning
• Navne der også er almindelige ord (“Storm”, “Bjerg”, “Skov”)
• Færre træningsdata end engelsk, hvilket kan reducere præcisionen

Nye og sjældne entiteter

NER-modeller kan have svært ved at genkende helt nye virksomheder, personer eller produkter der ikke fandtes i træningsdata. Transformer-modeller er bedre til dette end ældre metoder, da de kan udlede entitetstype fra kontekst.

Indlejrede entiteter

Nogle entiteter indeholder andre entiteter: “Aarhus Universitet” er en organisation der indeholder et stednavn. “Den Europæiske Centralbank” indeholder både en geografisk reference og en organisationstype.

Kendte NER-værktøjer

Ofte stillede spørgsmål

Hvad er Named Entity Recognition (NER)?

Named Entity Recognition er en NLP-teknik der automatisk finder og klassificerer navngivne entiteter i tekst: personer, organisationer, steder, datoer, beløb og andre specifikke størrelser. Det er en grundlæggende byggesten i informationsudtrækning og bruges i alt fra søgemaskiner til dokumentanalyse.

Hvad bruges NER til i praksis?

NER bruges til automatisk informationsudtrækning fra dokumenter (kontrakter, CV’er, rapporter), søgemaskiner og vidensgrafer, GDPR-anonymisering af personoplysninger, nyhedsovervågning, chatbots og CRM-systemer. Det er en nøgleteknologi overalt hvor ustruktureret tekst skal omdannes til struktureret data.

Kan NER håndtere dansk tekst?

Ja, men med visse begrænsninger. Værktøjer som spaCy har danske sprogmodeller, og transformer-modeller som mBERT og XLM-RoBERTa understøtter dansk. Store sprogmodeller som GPT-4o og Claude håndterer dansk NER godt via prompting. Præcisionen er generelt lavere end for engelsk på grund af færre træningsdata.

Hvad er forskellen på NER og classification?

Classification tildeler en hel tekst til en kategori (f.eks. “denne e-mail er spam”). NER identificerer og klassificerer specifikke entiteter inden i teksten (f.eks. “denne tekst nævner personen Anders Jensen og organisationen Novo Nordisk”). NER opererer på ord- og fraseniveau, mens classification opererer på dokument- eller sætningsniveau.