Batch processing

Hvad er batch processing?

Batch processing er at samle mange forespørgsler og processere dem sammen som en gruppe i stedet for én ad gangen. Det er som forskellen mellem at vaske tøj: du kan vaske hvert enkelt stykke individuelt (realtids-inference), eller du kan samle en fuld maskinfuld og vaske det hele på én gang (batch processing).

I AI-kontekst betyder det at sende hundredvis eller tusindvis af prompts til en model simultant og få alle svarene tilbage samlet. Du venter lidt længere på resultatet, men prisen per forespørgsel er markant lavere og den samlede processering er hurtigere.

Hvorfor er batch processing billigere?

1. GPU-udnyttelse. En GPU har tusindvis af kerner. Når du processerer én forespørgsel ad gangen, bruger du kun en brøkdel af GPU’ens kapacitet. Ved batching udnytter du alle kerner simultant.
2. Reduceret overhead. Hver individuel forespørgsel har overhead: netværkskald, scheduling, hukommelsesallokering. Ved batching amortiseres dette overhead over mange forespørgsler.
3. API-rabatter. Flere AI-udbydere tilbyder batch-API’er med 50% rabat. OpenAI og Anthropics batch-API’er er markant billigere end realtids-API’er.
4. Færre GPU-timer. Bedre udnyttelse = samme arbejde udført på færre GPU-timer = lavere cloud-regning.

Batch processing vs. realtid

Hvornår bruge batch processing?

1. Når svaret ikke er tidskritisk. Analyse af kundefeedback fra sidste måned, generering af produktbeskrivelser til et katalog, klassifikation af emails. Alt der kan vente.
2. Når du har mange ens forespørgsler. 10.000 produktbeskrivelser der skal genereres, 50.000 CV’er der skal screenes, 1 million kundeanmeldelser der skal klassificeres.
3. Når du vil spare penge. Batch-API’er hos OpenAI og Anthropic tilbyder typisk 50% rabat sammenlignet med realtids-API’er.
4. Når du processerer historiske data. Backfill-opgaver, datamigrering, historisk analyse.

Hvornår IKKE bruge batch processing?

1. Chatbots og assistenter. Brugere forventer øjeblikkeligt svar. Batch-forsinkelse er uacceptabel.
2. Kodningsforslag i IDE. Forslag skal dukke op i realtid mens du skriver.
3. Stemmeassistenter. Naturlig samtale kræver svar inden for sekunder.
4. Alt der er interaktivt. Hvis en bruger venter på svaret, er batch processing forkert.

Batch processing i praksis

1. Indholdsproduktion. En e-commerce virksomhed med 50.000 produkter der hver har brug for en AI-genereret beskrivelse. I stedet for 50.000 individuelle API-kald sendes de som ét batch job og processeres over et par timer.
2. Sentimentanalyse. En virksomhed der vil analysere 200.000 kundekommentarer fra det sidste år. Batch processing gør dette overkommeligt, realtids-prissætning ville koste det dobbelte.
3. Dataudtræk. Udtræk af struktureret data fra tusindvis af PDF-dokumenter: navne, datoer, beløb, kontrakt-detaljer.
4. Oversættelse. Oversættelse af en hel dokumentation (tusindvis af sider) fra ét sprog til et andet.
5. Klassifikation. Kategorisering af hundredtusindvis af supporthenvendelser efter type, prioritet og afdeling.

Batch-API’er

De store AI-udbydere tilbyder dedikerede batch-API’er:

1. OpenAI Batch API. Upload en JSONL-fil med forespørgsler, modtag resultater inden for 24 timer. 50% billigere end realtids-API.
2. Anthropic Message Batches. Send op til 100.000 forespørgsler i en batch. De fleste batches færdiggøres inden for en time. 50% rabat.
3. Google Vertex AI Batch Prediction. Batch-inference via Google Cloud med automatisk skalering.

Batching på hardware-niveau

Ud over API-niveau batch processing sker der også batching internt i inference-systemer:

1. Dynamic batching. Inference-serveren samler automatisk individuelle forespørgsler der ankommer tæt på hinanden og processerer dem som en batch.
2. Continuous batching. Nye forespørgsler indsættes løbende i en kørende batch efterhånden som andre afsluttes. Maksimerer GPU-udnyttelse.
3. Micro-batching. Små batches der balancerer mellem latency og throughput, et kompromis til semi-realtids-scenarier.

Batch size i træning

Batch processing bruges også under modeltræning:

1. Batch size. Antal træningseksempler der processeres før modellens vægte opdateres. Typisk 32-4096 eksempler.
2. Større batches giver mere stabil træning og bedre GPU-udnyttelse, men kræver mere hukommelse.
3. Gradient accumulation. Simulerer store batches på hardware med begrænset hukommelse ved at akkumulere gradienter over flere små batches.