On-device AI

Hvad er on-device AI?

On-device AI er AI der kører direkte på den enhed du holder i hånden eller sidder foran: din smartphone, din laptop, din tablet. Ingen data sendes til en server. Ingen internetforbindelse kræves. Alt sker lokalt på enheden.

Når din iPhone forbedrer et billede du lige har taget, når din Pixel-telefon transskriberer en telefonsamtale i realtid, når din Mac opsummerer en email med Apple Intelligence. Det er on-device AI. Modellen lever på enheden og kører på enhedens egen chip.

On-device AI er en delmængde af Edge AI. Hvor Edge AI dækker al AI der kører uden for skyen (inklusiv industrielle sensorer, biler og robotter), refererer on-device AI specifikt til AI på personlige forbrugerenheder.

Hvorfor on-device AI nu?

On-device AI er eksploderet i 2024-2026 af flere grunde:

1. Hardware er klar. Moderne smartphones og laptops har dedikerede NPU’er (Neural Processing Units) der er designet specifikt til AI-beregninger. Apples Neural Engine, Qualcomms Hexagon NPU og Intels NPU gør det muligt at køre avancerede modeller effektivt.
2. Modeller er blevet mindre. Teknikker som quantization, distillation og nye arkitekturer har gjort det muligt at køre kapable sprogmodeller på en telefon. Gemini Nano, Phi-4 og Apple Intelligence-modellerne er designet til on-device brug.
3. Privatliv er et konkurrenceparameter. Brugere og regulatorer kræver bedre databeskyttelse. On-device AI er det stærkeste svar på privatlivsbekymringer: data forlader aldrig enheden.
4. Brugeroplevelse. Cloud-baseret AI har iboende latency fra netværksopkald. On-device AI responderer øjeblikkeligt. Det er afgørende for funktioner som autocomplete, billedbehandling og stemmeaktivering.

On-device AI vs. Cloud AI vs. Edge AI

Hvem bygger on-device AI?

Apple Intelligence

Apples satsning på on-device AI lanceret i 2024:

1. Sprogmodel på enheden. En ~3B parameter-model der kører på Apple Neural Engine. Håndterer opsummering, omskrivning, smart reply og meget mere.
2. Hybrid arkitektur. Simple opgaver kører on-device. Komplekse opgaver sendes til Apples Private Cloud Compute, en cloud-løsning med kryptografisk privatliv.
3. Systemintegration. On-device AI er integreret dybt i iOS og macOS: Siri, Mail, Messages, Safari, Photos.
4. Neural Engine. Apples dedikerede AI-chip i alle nyere iPhones, iPads og Macs. Op til 38 TOPS (trillioner operationer per sekund) i M4-chippen.

Google On-device AI

1. Gemini Nano. Googles mindste Gemini-model designet specifikt til on-device brug. Kører på Pixel-telefoner og andre Android-enheder.
2. AI Core. Android-systemtjeneste der giver apps adgang til on-device AI-modeller uden at hver app skal medbringe sin egen model.
3. Tensor-chips. Googles egne chips i Pixel-telefoner med dedikeret TPU til on-device AI.

Samsung Galaxy AI

1. On-device oversættelse. Realtidsoversættelse af telefonsamtaler der kører lokalt.
2. Billedredigering. AI-drevne redigeringsfunktioner som generative redigering og objektfjernelse.
3. Snapdragon NPU. Samsung bruger Qualcomms chips med kraftige NPU’er til on-device AI.

Laptops og PC’er

1. Copilot+ PC’er. Microsofts standard for AI-klar hardware med NPU’er der leverer mindst 40 TOPS.
2. Apple Silicon. M-serien chips med Neural Engine der kører Apple Intelligence-funktioner lokalt.
3. Intel Core Ultra. Intels laptop-chips med integreret NPU til on-device AI-workloads.

Teknologien bag on-device AI

NPU’er (Neural Processing Units)

NPU’er er dedikerede processorer designet til AI-beregninger:

1. Specialiseret arkitektur. Optimeret til matrixmultiplikation og de operationer neurale netværk kræver, frem for generel beregning.
2. Energieffektivt. Udfører AI-beregninger med en brøkdel af den energi en CPU eller GPU ville bruge.
3. Parallel processing. Kan udføre tusindvis af simple beregninger simultant. Præcis hvad AI-inference kræver.
4. TOPS som mål. Ydeevne måles i TOPS (Tera Operations Per Second). Moderne smartphone-NPU’er leverer 30-45 TOPS.

Modeloptimering

On-device modeller kræver aggressiv optimering:

1. Quantization. Modeller komprimeres fra 16-bit til 4-bit præcision. En 3B-model der ville fylde 6GB i fuld præcision kan reduceres til under 2GB.
2. Pruning. Fjern unødvendige vægte og forbindelser for at gøre modellen mindre og hurtigere.
3. Distillation. Træn en lille model til at efterligne en stor model. Gemini Nano er distilleret fra de større Gemini-modeller.
4. Arkitektur-design. Modeller som MobileLLM og Phi er designet fra grunden til at være effektive ved lille størrelse.

Frameworks til on-device AI

1. Core ML (Apple). Apples framework til at køre ML-modeller på Apple-enheder.
2. TensorFlow Lite. Googles framework til on-device inference på Android og iOS.
3. ONNX Runtime Mobile. Cross-platform framework til at køre optimerede modeller.
4. MediaPipe. Googles framework til on-device AI i realtid: billedgenkendelse, ansigtsdetektion, håndsporing.
5. MLX (Apple). Open source framework til ML på Apple Silicon, populært til lokal LLM-inference.

Praktiske eksempler på on-device AI

1. Smart Reply. Din email-app foreslår korte svar (“Tak!”, “Lyder godt”, “Jeg vender tilbage”) genereret af en on-device model der forstår konteksten.
2. Fotosøgning. Søg i dine billeder efter “hund på strand” uden at dine fotos nogensinde forlader enheden. On-device AI analyserer og indekserer billederne lokalt.
3. Realtids-transskription. Pixel-telefonens Recorder-app transskriberer tale til tekst i realtid. Helt offline, helt på enheden.
4. Tekstopsummering. Apple Intelligence opsummerer lange emails, artikler og notifikationer direkte på din iPhone.
5. Billedgenerering. Enkle billedgenerering og redigering (fjern objekter, udvid baggrunde) kan køre on-device.
6. Wake-word detection. “Hey Siri” og “OK Google” detekteres af en lille on-device model der lytter konstant med minimalt strømforbrug.
7. Tastaturforslag. Next-word prediction der lærer din skrivestil og foreslår relevante ord. Alt lokalt.

Begrænsninger

1. Modelstørrelse. On-device modeller er typisk 1-7B parametre. Cloud-modeller som GPT-4 og Claude er 10-100x større. For komplekse opgaver er cloud-modeller stadig markant bedre.
2. Hukommelse. En smartphone har 8-16GB RAM delt mellem alt. En on-device AI-model kan realistisk bruge 2-4GB, hvilket begrænser modelstørrelsen.
3. Batteri. AI-inference forbruger strøm. Intensiv on-device AI kan dræne batteriet hurtigere.
4. Opdateringer. At opdatere on-device modeller kræver download af nye modelfiler. Potentielt hundredvis af megabytes.
5. Kontekstlængde. On-device modeller har typisk kortere kontekstvinduer end cloud-modeller på grund af hukommelsesbegrænsninger.

Hybrid tilgang: det bedste fra begge verdener

De fleste moderne systemer bruger en hybrid tilgang:

1. Triage. En on-device model vurderer opgavens kompleksitet. Simple opgaver håndteres lokalt, komplekse sendes til skyen.
2. Apple Private Cloud Compute. Apple sender komplekse opgaver til specialiserede cloud-servere med kryptografisk privatliv. Din data processeres men gemmes aldrig.
3. Lokal preprocessing. On-device AI forbehandler data (komprimering, filtrering) før det eventuelt sendes til skyen.
4. Fallback. Hvis enheden er offline, håndterer on-device modellen alt. Online forbedres kvaliteten med cloud-assistance.