Streaming (response streaming)

Hvad er streaming?

Streaming (response streaming) er teknikken at sende AI-modellens svar til brugeren token for token i realtid, i stedet for at vente til hele svaret er genereret. Det er grunden til at du ser teksten “blive skrevet” når du bruger ChatGPT, Claude eller andre AI-chatbots.

Uden streaming ville du sende dit spørgsmål og derefter vente i stilhed i potentielt 10-30 sekunder for et langt svar, før hele svaret pludselig dukkede op. Med streaming begynder det første token at vises efter blot et par hundrede millisekunder, og resten følger i et jævnt flow.

Streaming ændrer ikke hvad modellen svarer. Det ændrer kun hvornår du ser det. Men den forskel i timing har en markant effekt på brugeroplevelsen.

Hvorfor bruges streaming?

1. Reduceret opfattet ventetid. Brugeren ser output begynde næsten øjeblikkeligt. Selvom total genereringstid er den samme, føles det langt hurtigere fordi der er synlig aktivitet fra start.
2. Tidlig afbrydelse. Brugeren kan stoppe genereringen tidligt hvis svaret tager en forkert retning, uden at vente på hele svaret. Det sparer tid og tokens.
3. Naturlig læseoplevelse. Tekst der “skrives” linje for linje minder om at se nogen skrive i realtid. Det føles mere interaktivt og engagerende end et blok af tekst.
4. Progressiv forståelse. Brugeren kan begynde at læse og forstå svaret mens det genereres. For lange svar kan brugeren allerede handle på de første dele.

Hvordan fungerer streaming teknisk?

1. Server-Sent Events (SSE). Den mest brugte protokol til AI-streaming. Serveren sender en strøm af events, hver med et nyt token eller en lille gruppe tokens.
2. Token-generering. AI-modellen genererer tokens sekventielt. Hvert token produceres og sendes straks i stedet for at bufferes.
3. Chunked transfer. HTTP chunked transfer encoding bruges til at sende data i stykker uden at kende den endelige svarlængde på forhånd.
4. Delta-format. API’er sender typisk kun det nye indhold (delta) for hvert chunk, ikke hele svaret gentaget. Klienten sammensætter det fulde svar lokalt.

Streaming i API’er

1. OpenAI API. Sæt stream: true i dit API-kald. Du modtager en strøm af SSE-events med delta-opdateringer.
2. Anthropic API. Sæt stream: true i dit messages-kald. Events inkluderer content_block_delta med nye tokens.
3. Google Gemini API. Brug generateContentStream() metoden for streaming-output.
4. Lokale modeller. Ollama og llama.cpp streamer som standard. Du ser tokens komme en ad gangen i terminalen.

Streaming i praksis

1. Chatbots. Alle store AI-chatbots (ChatGPT, Claude, Gemini) bruger streaming. Det er blevet standard brugeroplevelsen.
2. Kodningsassistenter. GitHub Copilot, Cursor og andre IDE-integrationer streamer kodeforslag i realtid.
3. Søgemaskiner. Perplexity AI og Google AI Overviews streamer AI-genererede svar mens søgeresultater processeres.
4. Voice assistenter. Tale-AI bruger streaming til at begynde at tale før hele svaret er genereret, hvilket giver mere naturlig samtaleflow.

Overvejelser ved streaming

1. Fejlhåndtering. Hvis forbindelsen afbrydes midt i en stream, mister du delvist output. Robuste implementeringer gemmer chunks løbende.
2. Formatering. Markdown, tabeller og kodeblokke kan se ufærdige ud under streaming. Gode UI’er renderer løbende men håndterer ufærdige strukturer elegant.
3. Token-brug. Streaming ændrer ikke antallet af tokens. Det ændrer bare hvornår du ser dem. Prisen er den samme.
4. Latens per token. Hvert token kræver et netværks-roundtrip. For meget hurtige modeller kan netværksoverhead blive den begrænsende faktor.