Browser use

Hvad er browser use?

Browser use er en AI-kapabilitet der gør det muligt for AI-agenter at bruge en webbrowser som et menneske: åbne websites, klikke på links og knapper, udfylde formularer, læse indhold, downloade filer og navigere mellem sider. AI-agenten ser browseren, enten via skærmbilleder eller DOM-strukturen, og udfører handlinger baseret på hvad den observerer.

Det er en af de mest praktisk anvendelige AI-kapabiliteter, fordi størstedelen af de digitale opgaver mennesker udfører i dag foregår i en browser. E-mail, CRM, projektledelse, regnskab, kundesupport, research, indkøb, booking. Alt sammen webbaseret og alt sammen potentielt automatiserbart med browser use.

Browser use adskiller sig fra traditionel web scraping og browser-automatisering ved at AI-agenten forstår hvad den ser og kan træffe beslutninger undervejs. Den følger ikke et fast script. Den navigerer adaptivt baseret på hvad der faktisk vises på skærmen, håndterer uventede situationer og justerer sin tilgang.

Hvordan fungerer browser use?

To tekniske tilgange

1. Visionsbaseret (screenshot-baseret)

AI-agenten modtager skærmbilleder af browseren og bruger multimodal forståelse til at identificere elementer og beslutte handlinger:

Screenshot af webside → AI analyserer billedet →
"Jeg ser et login-formular med felterne 'E-mail' og 'Adgangskode'" →
Klik på e-mail-felt (x: 450, y: 320) → Skriv e-mailadresse → ...

Fordele: Fungerer med enhver webside uanset teknologi. Ser websiden præcis som en bruger. Kan håndtere canvas-elementer, billeder og komplekse layouts.

Ulemper: Langsommere (screenshot + vision-processing). Mindre præcis ved klik-koordinater. Dyrere i token-forbrug (billedtokens).

2. DOM-baseret (strukturbaseret)

AI-agenten har adgang til sidens HTML-struktur (Document Object Model) og kan interagere med elementer direkte via deres CSS-selektorer eller accessibility-attributter:

DOM-parsing → AI analyserer strukturen →
"Der er et <input type='email' id='login-email'> og en <button>Log ind</button>" →
Udfyld element #login-email → Klik på button "Log ind" → ...

Fordele: Hurtigere og mere præcis. Lavere token-forbrug (tekst i stedet for billeder). Kan interagere med skjulte elementer.

Ulemper: Kan misse visuel kontekst (farver, layout, billeder). Komplekse JavaScript-applikationer kan have uoverskuelig DOM. Dynamisk indhold kan ændre sig mellem parsing og handling.

3. Hybrid

De fleste moderne browser use-systemer kombinerer begge tilgange: DOM for præcis elementidentifikation og skærmbilleder for visuel kontekst og verifikation.

Handlinger en browser use-agent kan udføre

• Navigation: Åbne URL’er, klikke på links, gå frem og tilbage
• Formularinteraktion: Udfylde tekstfelter, vælge fra dropdowns, markere checkboxes, klikke på radio buttons
• Klik: Klikke på knapper, links, menupunkter, tabs
• Scrolling: Scrolle op, ned, til højre, til venstre
• Vente: Vente på at en side loader, et element vises, eller en animation fuldføres
• Læse: Ekstrahere tekst, tal, tabeller og anden information fra siden
• Download: Downloade filer, billeder, dokumenter
• Tab-håndtering: Åbne nye tabs, skifte mellem tabs, lukke tabs
• Autentificering: Udfylde login-formularer, håndtere OAuth-flows

Browser use vs. web scraping vs. API

Praktiske eksempler

Eksempel 1: Research og prissammenligning

Opgave: Find de bedste priser på 50 specifikke produkter på tværs af 5 konkurrerende webshops.

Browser use-workflow:

1. Agenten åbner webshop #1
2. Søger efter produkt #1 via søgefeltet
3. Navigerer til produktsiden og aflæser pris, tilgængelighed og leveringstid
4. Håndterer cookie-bannere, popup-vinduer og “accepter vilkår”-dialoger automatisk
5. Gentager for alle 50 produkter på alle 5 webshops
6. Samler data i en struktureret tabel med sammenligning

Uden browser use: Manuel research (timer) eller custom web scrapers per webshop (dage at bygge, skrøbelige).

Med browser use: Beskriv opgaven, lad agenten køre. Tilpasser sig automatisk til forskellige websidelayouts og navigation.

Eksempel 2: Automatiseret booking og administration

Opgave: Book mødelokale, opret kalenderinvitation og send bekræftelse til deltagerne.

Browser use-workflow:

1. Agenten åbner virksomhedens booking-system (webbaseret)
2. Navigerer til den ønskede dato og tid
3. Tjekker tilgængelighed af foretrukne lokaler
4. Booker det bedste ledige lokale
5. Åbner Google Calendar i en ny tab
6. Opretter en kalenderbegivenhed med lokaleinfo og deltagere
7. Sender invitation
8. Rapporterer tilbage: “Lokale B2 booket d. 15/3 kl. 10-11. Kalenderinvitation sendt til 4 deltagere.”

Eksempel 3: Automatiseret onboarding af nye medarbejdere

Opgave: Opret en ny medarbejder i alle virksomhedens systemer.

Browser use-workflow:

1. HR-system: Agenten åbner HR-portalen, opretter medarbejderprofil med stamdata
2. IT-system: Åbner IT service desk, opretter en ticket for laptop og adgangskort
3. E-mail: Åbner Google Admin, opretter e-mailkonto
4. Slack: Inviterer den nye medarbejder til relevante Slack-kanaler
5. Projektledelse: Opretter brugerprofil i Jira/Asana med korrekte rettigheder
6. Onboarding-plan: Opretter en onboarding-checklist i projektledelsessystemet

Uden browser use: En IT-medarbejder bruger 1-2 timer per ny medarbejder på at logge ind i hvert system og oprette konti manuelt. Eller virksomheden investerer i dyre integrationer mellem alle systemer.

Eksempel 4: Konkurrentovervågning

Opgave: Overvåg konkurrenternes websites dagligt for prisændringer, nye produkter og indholdsændringer.

Browser use-workflow (dagligt):

1. Agenten besøger hver konkurrents website
2. Navigerer til relevante sider (priser, produkter, blog, karriere)
3. Sammenligner med gårsdagens data
4. Identificerer ændringer: “Konkurrent A har sænket prisen på Enterprise-planen med 15%”, “Konkurrent B har lanceret en ny feature: AI-assisteret rapportering”
5. Genererer en daglig rapport med alle ændringer

Frameworks og værktøjer

Browser Use (open source)

Et populært open source Python-framework specifikt designet til AI-drevet browser-automatisering. Giver AI-agenter mulighed for at styre en browser via en kombination af DOM-adgang og visuel forståelse. Integrerer med flere LLM-udbydere.

Playwright + AI

Microsofts Playwright browser-automatiseringsframework kombineret med en AI-model. Playwright håndterer den tekniske browserinteraktion, AI-modellen håndterer beslutningstagningen.

Anthropic Claude med computer use

Claude’s computer use-kapabilitet inkluderer browser-interaktion som en central del. Via API’en kan Claude tage skærmbilleder af en browser og udføre handlinger.

OpenAI Operator

OpenAI’s dedikerede browser use-agent der kører i en sandkasset browser og kan udføre web-baserede opgaver.

Selenium/Puppeteer + LLM

Traditionelle browser-automatiseringsværktøjer kombineret med sprogmodeller der styrer flowet. Mere teknisk opsætning men større kontrol.

Design af browser use-løsninger

Princip 1: Definer klare mål og grænser

Beskriv præcist hvad agenten skal opnå og hvad den ikke må gøre:

• Godt: “Søg efter produktnavn X på website Y, find prisen, og gem den i regnearket”
• Dårligt: “Undersøg vores konkurrenter” (for vagt, agenten ved ikke hvad den skal lede efter eller hvornår den er færdig)

Princip 2: Håndtér autentificering sikkert

Browser use-agenter har ofte brug for at logge ind i systemer. Håndtér credentials sikkert:

• Brug environment variables eller secret managers. Aldrig hardcodede passwords
• Overvej service accounts med begrænsede rettigheder
• Implementér session-genbrug for at undgå gentagne logins
• Log aldrig credentials i agentens output

Princip 3: Byg fejlhåndtering ind

Websites er uforudsigelige. Design for fejl:

• Cookie-bannere der blokerer indhold
• CAPTCHAs der kræver menneskelig intervention
• Sider der loader langsomt eller timer ud
• Uventede popup-vinduer og dialoger
• Ændrede layouts efter opdateringer

Princip 4: Respektér rate limits og vilkår

Browser use-agenter der besøger mange sider hurtigt kan ligne bots (fordi de er bots). Respektér:

• Websites’ robots.txt og terms of service
• Rimelige intervaller mellem requests
• Rate limits og fair use-politikker

Udfordringer

Anti-bot-beskyttelse

Mange websites har beskyttelse mod automatiseret adgang:

• CAPTCHAs: Kræver menneskelig løsning (eller specialiserede services)
• Fingerprinting: Identificerer automatiserede browsere via tekniske fingeraftryk
• Rate limiting: Blokerer IP-adresser med for mange requests
• Behavioral analysis: Opdager ikke-menneskelige navigationsmønstre

Moderne browser use-frameworks arbejder på at gøre AI-agentens adfærd mere menneskelignende, men det er et konstant kap-løb.

Hastighed

Hver handling kræver: tag screenshot eller parse DOM → send til AI-model → modtag beslutning → udfør handling → vent på sideload. Et workflow med 50 trin kan tage 5-15 minutter. Til sammenligning ville direkte API-kald udføre det samme på sekunder.

Skrøbelighed

Websites ændrer sig: nye layouts, ændrede klasser, flyttede elementer. Et browser use-workflow der virkede perfekt i mandags kan fejle i tirsdags efter en website-opdatering. AI-baserede løsninger er mere robuste end traditionelle scripts fordi de kan tilpasse sig, men de er ikke immune.

Pris

Hvert trin i et browser use-workflow kræver et AI-modelkald. Typisk med billedtokens for screenshots. Et workflow med 100 trin kan koste 10-50 kr. i API-forbrug afhængigt af model og kompleksitet. For højværdi-opgaver er det billigt, for masseoperationer kan det være dyrt.

Privatliv og compliance

Browser use-agenter kan potentielt se og interagere med følsomme data: personoplysninger, finansielle data, intern kommunikation. Sørg for:

• Data der sendes til AI-modellen (screenshots) overholder GDPR
• Følsomme data maskeres eller undgås i screenshots
• Agenten kun har adgang til nødvendige systemer
• Al aktivitet logges for audit

Fremtiden for browser use

Specialiserede browser use-modeller: AI-modeller der er specifikt trænet til at forstå og interagere med webgrænseflader, med højere præcision og lavere latens end generelle multimodale modeller.

Native browser-integration: Webbrowsere der har built-in support for AI-agenter, med API’er der giver effektiv adgang til sidens indhold og interaktionsmuligheder uden behov for screenshots.

Personlige AI-assistenter: Browser use som fundament for AI-assistenter der kører permanent i brugerens browser og kan udføre opgaver på tværs af alle webapplikationer brugeren har adgang til.

Standard-protokoller: Websites der eksponerer maskinlæsbare beskrivelser af deres interaktionsmuligheder, så AI-agenter kan navigere dem mere effektivt. En slags sitemap for AI-agenter.

Ofte stillede spørgsmål

Hvad er browser use?

Browser use er en AI-kapabilitet der gør det muligt for AI-agenter at styre en webbrowser som et menneske: navigere websites, klikke på knapper, udfylde formularer, læse indhold og udføre handlinger i webapplikationer. AI-agenten ser browseren via skærmbilleder eller DOM-strukturen, forstår hvad der er på skærmen, og træffer beslutninger om hvad der skal gøres næste. Det muliggør automatisering af webbaserede opgaver uden at bygge traditionelle integrationer eller web scrapers.

Hvad er forskellen på browser use og web scraping?

Web scraping henter data fra websites ved at parse HTML med foruddefinerede regler. Det er hurtigt og billigt men skrøbeligt og kan ikke håndtere dynamisk indhold eller login-krævede sider godt. Browser use lader en AI-agent navigere en rigtig browser adaptivt. Den forstår hvad den ser, kan logge ind, håndtere uventede dialoger og tilpasse sig ændrede layouts. Tænk på web scraping som et fast script og browser use som en intelligent bruger. Browser use er langsommere og dyrere per handling, men markant mere fleksibel.

Hvad kan browser use bruges til?

Browser use er velegnet til webbaserede opgaver der enten er for tidskrævende at udføre manuelt eller for komplekse/varierende til traditionel automatisering: research og prissammenligning, booking og administration, onboarding af nye medarbejdere i multiple systemer, udfyldning af formularer i legacy-systemer uden API, test af webapplikationer, konkurrentovervågning, datamigration mellem webbaserede systemer, og automatisering af repetitive workflows i SaaS-værktøjer.

Er browser use sikkert?

Browser use kræver sikkerhedsovervejelser fordi agenten potentielt har adgang til alt brugeren kan se i browseren. Nøgleprincipper: (1) Begræns agentens adgang til kun nødvendige websites og systemer. (2) Brug service accounts med minimale rettigheder. (3) Håndtér credentials via secret managers, aldrig i prompts. (4) Vær opmærksom på at screenshots sendt til AI-modellen kan indeholde følsomme data. (5) Log alle handlinger for audit. (6) Kør agenten i en sandkasset browser isoleret fra brugerens personlige browser-sessioner.