Llama (Meta)

Hvad er Llama?

Llama (Large Language Model Meta AI) er Metas familie af open source sprogmodeller. Det der gør Llama unik er at du kan downloade modellen, køre den på din egen hardware, finjustere den til dine specifikke behov og integrere den i dine applikationer. Uden at betale per API-kald eller sende data til en ekstern cloud-tjeneste.

Llama har haft stor indflydelse på AI-landskabet. Før Llama var de stærkeste AI-modeller lukket bag API’er kontrolleret af OpenAI og Google. Llama viste at open source-modeller kan være konkurrencedygtige og udløste en bølge af open source AI-innovation.

Llama-versioner

1. Llama 1 (februar 2023). Den første version med modeller fra 7B til 65B parametre. Lækket kort efter udgivelsen, hvilket utilsigtet accelererede open source AI-fællesskabets udvikling enormt.
2. Llama 2 (juli 2023). Officielt frigivet som open source med kommerciel licens. Modeller fra 7B til 70B parametre. Inkluderede chat-optimerede varianter (Llama 2 Chat) trænet med RLHF.
3. Llama 3 (april 2024). Markant kvalitetsspring med modeller på 8B og 70B parametre. Konkurrencedygtig med GPT-3.5 og tilnærmede sig GPT-4 på mange benchmarks.
4. Llama 3.1 (juli 2024). Inkluderede en 405B-parameter model, den største open source-model på det tidspunkt. Kontekstvindue på 128K tokens. Konkurrencedygtig med de bedste kommercielle modeller.
5. Llama 4 (april 2025). Ny arkitektur baseret på Mixture of Experts (MoE) og nativt multimodal. Scout-varianten har 17B aktive parametre fordelt på 16 eksperter (~109B total) med et kontekstvindue på 10 millioner tokens. Maverick-varianten har 128 eksperter (~400B total) med 1 million tokens kontekst.

Hvorfor er Llama vigtigt?

1. Suverænitet over data. Med Llama kan du køre AI uden at sende dine data til OpenAI, Google eller Anthropic. Al processering sker på din egen infrastruktur.
2. Tilpasning. Du kan finjustere Llama til dit specifikke domæne. Jura, medicin, finans, kundesupport. Kommercielle API’er tilbyder begrænsede tilpasningsmuligheder.
3. Omkostninger. Ingen per-token betaling. Når du har hardware til at køre modellen, er marginalomkostningen pr. forespørgsel minimal.
4. Forskning. Forskere kan studere, modificere og bygge videre på modellen. Det accelererer AI-forskning og forståelse.
5. Uafhængighed. Ingen afhængighed af en enkelt udbyder. Ingen risiko for pludselige prisændringer, nedlukninger eller ændrede vilkår.

Hvordan bruges Llama?

1. Lokalt på egen hardware. Med værktøjer som Ollama, llama.cpp og vLLM kan du køre Llama på en kraftig laptop, desktop med GPU eller en server.
2. Cloud-hosting. Kør Llama på AWS, Google Cloud, Azure eller andre cloud-platforme med din egen infrastruktur og kontrol.
3. Finjustering. Brug LoRA, QLoRA eller fuld fine-tuning til at specialisere Llama til dit domæne med dine egne data.
4. Edge deployment. Kvantiserede versioner kan køre på smartphones og edge-enheder med begrænset computekraft.
5. Som base for andre modeller. Mange af de populære open source-modeller er baseret på Llama og finjusteret til specifikke formål.

Llama i det åbne AI-økosystem

Llama har skabt et helt økosystem:

1. Hugging Face. Platform hvor Llama og tusindvis af Llama-baserede modeller kan downloades og deles.
2. Ollama. Værktøj der gør det nemt at køre Llama lokalt med én kommando.
3. llama.cpp. C/C++ implementation der gør det muligt at køre Llama effektivt på CPU, ikke kun GPU.
4. Fine-tuned varianter. Fællesskabet har produceret tusindvis af specialiserede Llama-varianter. Kodningsmodeller, chat-modeller, domænespecifikke modeller og flersprogede modeller.

Llama vs. kommercielle modeller

1. Kapabilitet. Llama 4 konkurrerer med de bedste kommercielle modeller på mange opgaver. De kommercielle modeller er generelt stadig stærkere på de sværeste benchmarks.
2. Hastighed og bekvemmelighed. API-modeller er nemmere at komme i gang med: ingen hardware, ingen opsætning. Llama kræver mere teknisk ekspertise.
3. Pris. Llama er billigere ved høj volumen (ingen per-token omkostning). API-modeller er billigere ved lav volumen (ingen hardware-investering).
4. Privatliv. Llama vinder klart. Data forlader aldrig din infrastruktur. Afgørende for sundhed, finans og andre regulerede brancher.

Metas strategi

Metas beslutning om at open source Llama er strategisk. Ved at gøre AI-modeller tilgængelige for alle reducerer Meta den konkurrencefordel som OpenAI og Google har med deres lukkede modeller. Samtidig positionerer Meta sig som leder af open source AI-fællesskabet og driver innovation der gavner Metas egne produkter, fra Instagram og Facebook til Meta Quest.