Whisper

Hvad er Whisper?

Whisper er OpenAIs AI-model til automatisk talegenkendelse (speech-to-text, STT). Den kan lytte til tale og konvertere den til tekst med bemærkelsesværdig nøjagtighed, på over 90 sprog, inklusive dansk. Whisper kan også identificere hvilket sprog der tales og oversætte fra andre sprog til engelsk.

Det der gør Whisper særligt vigtigt er at den er open source. Før Whisper var høj-kvalitets talegenkendelse domineret af lukkede, dyre tjenester fra Google, Amazon og Microsoft. Whisper demokratiserede feltet: alle kan downloade modellen og køre den gratis på egen hardware.

Whisper blev lanceret i september 2022 og er trænet på 680.000 timer lyddata fra internettet. En enorm og varieret træningsmængde der giver den robusthed over for accenter, baggrundsstøj og forskellige lydkvaliteter.

Hvordan fungerer Whisper?

1. Lydprocessering. Lyden konverteres til et mel-spektrogram: en visuel repræsentation af lydfrekvenser over tid.
2. Encoder. En transformer-encoder analyserer spektrogrammet og skaber en rig repræsentation af lydindholdet.
3. Decoder. En transformer-decoder genererer tekst token for token baseret på encoderens repræsentation.
4. Multitask. Whisper er trænet til flere opgaver i samme model: transskription, sprogidentifikation, oversættelse og tidsstempel-generering.

Whisper-modeller

Whisper kommer i flere størrelser der balancerer kvalitet og hastighed:

1. Tiny (39M parametre). Hurtigst, lavest kvalitet. God til simple opgaver og lav-resource enheder.
2. Base (74M). Lidt bedre kvalitet, stadig hurtig.
3. Small (244M). God balance mellem hastighed og kvalitet for de fleste opgaver.
4. Medium (769M). Høj kvalitet, mærkbart langsommere.
5. Large / Large-v3 (1.55B). Højeste kvalitet. Bedst til vanskelig lyd, accenter og mindre udbredte sprog. Kræver GPU for rimelig hastighed.
6. Large-v3-turbo (~809M). Udgivet oktober 2024. Næsten samme kvalitet som Large-v3 men markant hurtigere (4 decoder-lag i stedet for 32).

Hvad kan Whisper?

1. Transskription. Konverter tale til tekst med høj nøjagtighed. Håndterer accenter, dialekter, baggrundsstøj og flere talere.
2. Sprogidentifikation. Identificer automatisk hvilket sprog der tales. Nyttigt når sproget ikke er kendt på forhånd.
3. Oversættelse. Oversæt tale fra over 90 sprog direkte til engelsk tekst i ét trin.
4. Tidsstempler. Generér ordniveau- eller segmentniveau-tidsstempler der synkroniserer tekst med lyd. Vigtigt for undertekster.
5. Flersproget. Håndtér samtaler med kodeskift. F.eks. en samtale der skifter mellem dansk og engelsk.

Whisper i praksis

1. Mødetransskription. Optag et møde og konverter det til tekst. Værktøjer som Otter.ai, Fireflies.ai og mange andre bruger Whisper eller Whisper-baserede modeller.
2. Podcast-transskription. Konverter podcast-episoder til søgbar tekst. Gør indholdet tilgængeligt for søgemaskiner og hørelseshandicappede.
3. Undertekster. Automatisk generering af undertekster til videoer på YouTube, i undervisning eller til sociale medier.
4. Diktere tekst. Brug Whisper som dikteringssystem. Tal i stedet for at skrive. Lokalt og privat.
5. Kundeservice. Transskribér telefonsamtaler til tekst for analyse, kvalitetssikring og arkivering.
6. Medicinsk dokumentation. Læger dikterer noter der automatisk transskriberes, så de kan fokusere på patienten i stedet for tastaturet.
7. Juridisk. Transskription af retsmøder, vidneudsagn og juridiske samtaler.

Whisper-økosystemet

Whispers open source-natur har skabt et stort økosystem:

1. whisper.cpp. C/C++ implementation der kører effektivt på CPU. Ingen GPU nødvendig. Kan køre på laptops og smartphones.
2. Faster Whisper. Optimeret version der er op til 4x hurtigere end originalen med samme kvalitet.
3. WhisperX. Udvidet version med bedre word-level tidsstempler og speaker diarization (identificering af hvem der taler).
4. Whisper i apps. Hundredvis af apps og tjenester bygger på Whisper til transskription, undertekster og stemmebaseret input.
5. Distil-Whisper. Destilleret version der er 6x hurtigere med minimal kvalitetstab.

Whisper vs. andre STT-tjenester

1. Whisper vs. Google Speech-to-Text. Google er stærk i realtid og har bredere sprogdækning. Whisper er gratis, kan køres lokalt og har konkurrencedygtig kvalitet.
2. Whisper vs. Amazon Transcribe. Amazon er integreret i AWS-økosystemet. Whisper er uafhængig og gratis.
3. Whisper vs. AssemblyAI. AssemblyAI tilbyder mere avancerede features (speaker diarization, sentiment) som service. Whisper er gratis og lokalt.

Dansk med Whisper

Whisper understøtter dansk og klarer sig godt med standard dansk tale. Dog:

1. Accenter. Stærke dialekter (jysk, bornholmsk) kan udfordre modellen.
2. Large-v3 anbefales. For dansk giver den største model markant bedre resultater end de mindre.
3. Finjustering. Community-modeller finjusteret specifikt til dansk kan give endnu bedre resultater.