Multimodal AI

Hvad er multimodal AI?

Multimodal AI er kunstig intelligens der kan arbejde med flere typer data (eller “modaliteter”) på samme tid. Hvor en ren sprogmodel kun forstår tekst, kan en multimodal model forstå og kombinere tekst, billeder, lyd, video og endda kode i én samlet oplevelse.

Ordet “modal” kommer fra “modalitet”, som i denne sammenhæng betyder en type data eller sansning. Tekst er én modalitet, billeder en anden, lyd en tredje. “Multi” betyder flere. Multimodal AI kombinerer dem.

Når du uploader et foto til ChatGPT og beder den beskrive det, sender en stemmebesked til Claude, eller beder Gemini analysere en video, så bruger du multimodal AI. Modellen forstår ikke bare tekst, den “ser” billedet, “hører” lyden eller “ser” videoen og kombinerer det med sproglig forståelse.

De fleste frontier AI-modeller i dag er multimodale. GPT-4o, Gemini og Claude kan alle behandle både tekst og billeder. Udviklingen bevæger sig hurtigt mod modeller der er fuldt multimodale på tværs af alle modaliteter.

Hvilke modaliteter findes der?

Multimodal AI spænder over en række datatyper:

1. Tekst. Den mest grundlæggende modalitet. Alle sprogmodeller arbejder med tekst. I en multimodal model fungerer tekst ofte som “limet” der binder andre modaliteter sammen: du skriver en instruktion, og modellen responderer med den relevante modalitet.
2. Billeder. Modellen kan analysere billeder (forstå hvad der er på dem), og i mange tilfælde generere billeder. GPT-4o kan både se og skabe billeder. Midjourney og DALL-E er specialiserede i billedgenerering.
3. Lyd og tale. Modeller kan transskribere tale til tekst, generere realistisk tale fra tekst, og i stigende grad forstå nuancer som tonefald, følelser og baggrundslyde. OpenAI’s Whisper er specialiseret i talegenkendelse.
4. Video. Den nyeste og mest udfordrende modalitet. Modeller som Gemini kan analysere videoklip: forstå hvad der sker, hvem der taler, og hvad konteksten er. Sora og Runway kan generere video fra tekst.
5. Kode. Mange multimodale modeller forstår og genererer programkode som en separat modalitet, med forståelse for syntaks, logik og debugging.

Hvordan fungerer multimodal AI?

Der er to hovedtilgange til at bygge multimodale modeller:

1. Nativt multimodal. Modellen er trænet fra bunden til at forstå flere modaliteter samtidig. GPT-4o og Gemini er eksempler. De har ét samlet netværk der behandler tekst, billeder og lyd i det samme repræsentationsrum. Det er som en person der er flydende i flere sprog: de tænker ikke i ét sprog og oversætter, de forstår direkte.
2. Sammensat (pipeline). Separate specialiserede modeller kobles sammen. For eksempel en billedmodel der konverterer billeder til beskrivelser, som derefter sendes til en sprogmodel. Det er som at have en oversætter mellem to personer der taler forskellige sprog. Det virker, men noget kontekst kan gå tabt.

Den native tilgang er generelt bedre fordi modellen kan forstå sammenhænge på tværs af modaliteter. Den kan f.eks. forstå at et billede af en regnvejrsdag og teksten “godt vejr” er sarkastisk, Noget en pipeline-tilgang ville have svært ved.

Eksempler i praksis

1. Dokumentanalyse. Upload en rapport med tabeller, grafer og tekst. Modellen kan læse teksten, fortolke graferne og opsummere det hele. Uden at du behøver at konvertere noget manuelt.
2. Tilgængelighed. Multimodal AI kan beskrive billeder for synshandicappede, transskribere tale for hørehæmmede og generere tale fra tekst for personer med talehandicap.
3. Uddannelse. En AI-tutor der kan se på en elevs håndskrevne matematik, forstå regnestykket, finde fejlen og forklare løsningen. Alt i én interaktion.
4. E-commerce. Tag et foto af et møbel du ser på gaden, og bed AI’en finde lignende produkter online. Modellen forstår billedet og matcher det med produktkataloger.
5. Kreativt arbejde. Beskriv en scene i tekst og få et billede genereret. Tag billedet og bed om variationer. Tilføj musik der passer til stemningen. Multimodal AI gør kreative workflows mere flydende.

Begrænsninger

1. Ulige styrker. De fleste multimodale modeller er stærkest på tekst og svagere på andre modaliteter. Billedforståelse er ofte god, men videogenerering er stadig i sin spæde begyndelse.
2. Hallucination på tværs af modaliteter. En model kan “se” ting i et billede der ikke er der, eller beskrive lydspor forkert. Hallucination er et generelt LLM-problem, men det forstærkes når modellen skal fortolke ikke-tekstlige data.
3. Beregningskrav. Multimodale modeller er endnu mere beregningskrævende end rene sprogmodeller. Træning og inference koster mere, fordi modellen skal behandle flere datatyper.
4. Privatliv. Når modeller kan analysere billeder, video og lyd, rejser det nye privatlivsspørgsmål. Et billede kan indeholde ansigter, nummerplader eller fortrolige dokumenter.