Skill Creator

Hvad er Skill Creator?

Skill Creator er Anthropics officielle værktøj til at oprette, teste og forbedre Claude Code Skills. I stedet for manuelt at skrive en SKILL.md-fil fra bunden, kan Skill Creator generere en skill baseret på en beskrivelse af opgaven, teste den via A/B-test, og iterativt forbedre den.

Du kan også bygge en skill trin for trin. Se guiden til din første skill og prøv den på en opgave, du selv har.

Det er tilgængeligt som plugin til Claude Code:

/plugin marketplace add anthropic/skill-creator

Eller du kan bruge det direkte i Claude Code ved at sige: “Brug skill-creator til at bygge en skill til [din opgave].”

De fire tilstande

Skill Creator har fire tilstande der dækker en skills livscyklus:

1. Create

Opretter en ny skill fra bunden. Du beskriver opgaven, og Skill Creator genererer en komplet SKILL.md-fil med:

• Korrekt YAML frontmatter (name, description, allowed-tools)
• Strukturerede instruktioner i body
• En gotchas-sektion baseret på kendte faldgruber

2. Eval

Evaluerer en eksisterende skill via A/B-test. Skill Creator kører den samme opgave to gange i parallelle agenter: én gang med skillen aktiveret og én gang uden. Resultaterne bedømmes blindt for at afgøre om skillen faktisk forbedrer outputtet.

Evalueringen måler tre ting:

• Succesrate: Hvor ofte producerer skillen det rigtige resultat?
• Udførelsestid: Hvor hurtigt løses opgaven med vs. uden skill?
• Tokenforbrug: Hvor mange tokens bruger opgaven med vs. uden skill?

3. Improve

Forbedrer en skill trinvist ud fra testresultater. Improve-tilstanden analyserer fejl fra Eval, finder mønstre og opdaterer skill-instruktionerne. Den fokuserer særligt på:

• Trigger-optimering: Tester 20 varianter af description-feltet mod et trænings/test-split (samme tilgang som i machine learning). Kører op til 5 runder for at finde den formulering der aktiverer skillen mest pålideligt.
• Gotchas-opdatering: Tilføjer nye gotchas baseret på de fejl der blev fundet under Eval.

4. Benchmark

Opretter en baseline for skillens præstation. Benchmark kører skillen mod et sæt standardopgaver og registrerer succesrate, tid og tokens. Brug det til at måle om fremtidige ændringer (opdaterede instruktioner, nye modelversioner) gør skillen bedre eller dårligere.

Arkitektur

Skill Creator bruger fire sub-agenter internt:

De fire sub-agenter kan kombineres frit, så tilstandene (Create, Eval, Improve, Benchmark) sammensætter dem efter behov.

Resultater fra praksis

Tests fra lanceringen af Skill Creator 2.0 viste:

• 13,5% højere succesrate med skill vs. uden skill
• 22% hurtigere udførelse med skill
• Lidt højere tokenforbrug (skillen tilføjer instruktioner, men sparer tid)

Trigger-optimeringen forbedrede aktiveringsraten fra under 50% til over 90% i de testede scenarier.

Hvornår du bør bruge Skill Creator

Brug det når:

• Du bygger din første skill og vil have en korrekt struktur
• Du har en skill der ikke aktiverer pålideligt (Improve-tilstanden)
• Du vil verificere at en skill faktisk giver bedre resultater (Eval)
• Du opdaterer en eksisterende skill og vil sikre den ikke er blevet dårligere (Benchmark)

Overvej at bygge manuelt når:

• Du har en meget specifik eller usædvanlig skill-struktur
• Du allerede kender formatet og vil have fuld kontrol
• Du itererer hurtigt og vil undgå overhead fra test-cyklusser

Læs hos kilden

Anthropics dokumentation om skills.