“Det andet svar læser bedre” er et ærligt indtryk. Men det siger endnu ikke, om en skill løser sin opgave bedre. Måske er det nye resumé kortere og har undervejs tabt den eneste vigtige betingelse. Den, der forbedrer en skill, har derfor brug for et referencepunkt uden for sin egen smag.
Anthropics skill-creator beskriver en iterativ vej med udkast, opgaver, evaluering og revision. Som en start kan man udlede en lille sammenligning af den. Den følgende testopstilling og dens eksempeldata er vores egne forslag; der er ikke indsamlet resultater med dem.
Den falske tryghed ved et flydende resumé
Forestil dig en serviceanmodning: “Reservedelen kan sendes, så snart der er givet godkendelse.” Et resumé, der lyder “Reservedel bliver sendt”, mister en betingelse. “Godkendelse af forsendelse afventer stadig” bevarer den afgørende status, selv om sætningen lyder mindre venlig.
Før sammenligningen skal du beslutte, hvilke fejl der er dyre for din opgave. I eksemplet er det opdigtede tilsagn, tabte betingelser og uklare ansvarsforhold. Længde og tone er yderligere kriterier, men de bør ikke erstatte disse faktuelle spørgsmål.
Fem tilfælde i stedet for ét yndlingseksempel
Opret én lille fil pr. tilfælde: en komplet anmodning, én med en forsendelsesbetingelse, én med modstridende datoer, én uden en ansvarlig person og én med et irrelevant sidespor. Skriv en referencenote til hver fil. Den beskriver den krævede håndtering, ikke én enkelt bindende modelformulering.
Case: versand-bedingt
Must be preserved: shipping requires approval.
Must not appear: a claim that the part has already been shipped.
Appropriate gap: who gives the approval?
Style: short, clear working note.En reference som denne giver plads til forskellige gode svar. Samtidig forhindrer den, at en særligt selvsikker formulering ubemærket flytter bedømmelsesstandarden. I omstridte tilfælde forbliver den oprindelige note den autoritative kilde.
Samme input, genkendelige betingelser
Behandl de samme filer med og uden skill. Hold øvrige indstillinger så konstante som muligt, og notér, hvad du ikke kunne holde ens. Mærk først outputtene neutralt, for eksempel variant A og B. Den, der gennemgår dem, bør ikke ud fra filnavnet alene kunne se, hvilket svar dit foretrukne udkast har produceret.
Vurder faktuel korrekthed, bevarelse af betingelser, synlighed af åbne detaljer og klarhed hver for sig. En enkel skala er nok: opfyldt, delvist opfyldt eller overtrådt. Tilføj den afgørende passage. Kombinationen af vurdering og belæg er mere nyttig end et tal uden forklaring.
Tilfældet “for mange opfølgende spørgsmål” hører også med her. Hvis et komplet input hver gang behandles som uklart, fungerer processen heller ikke godt. En forsigtig skill bør synliggøre manglende beslutninger, ikke for en sikkerheds skyld blokere ethvert overkommeligt stykke arbejde.
Udled en afgrænset ændring af én fejl
Hvis forsendelsesbetingelsen går tabt, så tilføj en regel netop for det: betingelser knyttet til tilsagn skal bevares i resuméet. Undgå så vidt muligt i samme trin at ændre outputlængde, tiltaleform og alle eksemplerne. Ellers er det svært at tilskrive effekten af en forbedring.
Gentag de eksisterende tilfælde, og tilføj et nyt betinget tilfælde fra en anden sammenhæng. Det kunne være en refusion, der først udbetales, når en kvittering er modtaget. Hvis skill’en også bevarer denne sammenhæng, tyder det på en hensigtsmæssigt formuleret regel. Det ville endnu ikke være et generelt bevis for alle betingelser og emner.
Hvad sammenligningen faktisk viser
Fem tilfælde kan synliggøre et bestemt problem. De beviser ikke generel modeloverlegenhed eller en fast tidsbesparelse. Automatiserede evalueringer kan også overse den samme betingelse, som genereringen gjorde. Lad derfor et menneske bedømme vigtige afvigelser ud fra den oprindelige passage.
Hold input, output, kriterier og ændringen samlet. Så kan du senere forklare, hvorfor en regel findes, og hvilken observation den skal understøtte. Det er denne sporbare sammenhæng, der gør en skill vedligeholdelig; en højere score, som du tilfældigvis foretrækker, gør det ikke i sig selv.
Kilder og dokumentationsstatus: 25. oktober 2026.
