Ollama

Hvad er Ollama?

Ollama er et gratis værktøj der gør det nemt at køre open source AI-modeller på din egen computer. I stedet for at sende dine spørgsmål til ChatGPT eller en anden tjeneste over internettet, downloader du modellen til din egen maskine og kører den lokalt. Dine data forlader aldrig computeren.

Tænk på Ollama som en app store for sprogmodeller, kombineret med den motor der får dem til at køre. Du vælger en model, henter den med en enkelt kommando, og så kan du chatte med den. Alt sammen uden konto, uden abonnement og uden internetforbindelse efter download.

Værktøjet blev hurtigt populært fordi det fjernede det tekniske besvær. Før Ollama krævede det betydelig teknisk viden at få en open source-model til at køre lokalt. Ollama gjorde det til en proces på få minutter.

Hvordan virker Ollama?

1. Installation. Du installerer Ollama på Mac, Windows eller Linux. Det er en almindelig installation som ethvert andet program.
2. Hent en model. Med kommandoen ollama run llama3.2 henter og starter du en model. Første gang downloades modellen, derefter ligger den lokalt.
3. Chat. Du kan chatte direkte i terminalen, eller bruge en grafisk app der forbinder til Ollama.
4. Indbygget API. Ollama kører en lokal server, så dine egne programmer kan sende forespørgsler til modellen på samme måde som de ville bruge en kommerciel API. Det gør det nemt at bygge applikationer ovenpå.

Modellerne kommer som regel i kvantiserede versioner. Det betyder at de er komprimeret så de fylder mindre og kan køre på almindelig hardware, mod en lille reduktion i præcision. Det er den afvejning der gør det realistisk at køre en model med flere milliarder parametre på en bærbar.

Hvilke modeller kan Ollama køre?

Ollama understøtter et stort udvalg af open weight-modeller, og biblioteket vokser hele tiden:

1. Llama (Meta). En af de mest udbredte familier af åbne modeller.
2. Qwen (Alibaba). Stærke modeller med god flersproget understøttelse.
3. DeepSeek. Inklusive reasoning-modeller der tænker sig om før de svarer.
4. Gemma (Google). Lette modeller designet til at køre effektivt.
5. Mistral. Europæiske modeller kendt for god ydeevne i forhold til størrelsen.

Du kan også køre specialiserede modeller til kodning, billedforståelse (vision) og indlejringer (embeddings) til søgning.

Ollama vs. kommerciel API

Hvornår giver Ollama mening?

Gode anvendelser

1. Fortrolige data. Når du arbejder med persondata, kontrakter eller andet følsomt der ikke bør sendes til en ekstern tjeneste, holder lokal kørsel alt på egen hardware.
2. Eksperimentering. Du kan afprøve mange forskellige modeller gratis uden at oprette konti eller betale per forespørgsel.
3. Udvikling og test. Når du bygger en AI-applikation, kan du udvikle mod en lokal model og undgå API-omkostninger i testfasen.
4. Offline-scenarier. Steder uden stabil internetforbindelse, eller hvor man bevidst vil være uafhængig af eksterne tjenester.
5. Læring. Den nemmeste måde at få en fornemmelse af hvordan sprogmodeller faktisk virker, ved at have dem kørende på sin egen maskine.

Hvornår er Ollama ikke det rette

1. Når du har brug for den absolut bedste kvalitet. De største kommercielle modeller er stadig stærkere på de mest komplekse opgaver.
2. Når du skal håndtere høj volumen. En lokal maskine kan kun behandle et begrænset antal forespørgsler ad gangen. Til produktion i stor skala er en API eller dedikeret server-opsætning mere realistisk.
3. Når du ikke vil håndtere teknik. Selvom Ollama er nemt, kræver det stadig at nogen installerer, opdaterer og vedligeholder opsætningen.

Ollama for danske virksomheder

For en mindre dansk virksomhed er den mest interessante egenskab ved Ollama at data bliver på egen maskine. Mange ejerledede virksomheder vil gerne bruge AI på interne dokumenter, kundedata eller kontrakter, men er med rette tilbageholdende med at sende den slags til en amerikansk eller kinesisk tjeneste.

Her er lokal kørsel et reelt alternativ. Du kan sætte en model op på en kraftig computer eller en server i huset, og så aldrig sende fortrolige data ud af virksomheden. Det løser en stor del af GDPR- og fortrolighedsbekymringerne på én gang.

Den realistiske vej er ofte en kombination: brug de stærke kommercielle modeller til almindelige opgaver, og en lokal Ollama-opsætning til det der er for følsomt til at forlade huset.