« La deuxième réponse se lit mieux » est une impression sincère. Mais elle ne dit pas encore si un skill remplit mieux sa fonction. Peut-être le nouveau résumé est-il plus court et a-t-il perdu en chemin la seule condition importante. Quiconque améliore un skill a donc besoin d'un point de référence extérieur à ses propres goûts.
Chez Anthropic, le skill-creator décrit un parcours itératif : ébauche, tâches, évaluation et révision. Pour débuter, on peut en tirer une petite comparaison. Le dispositif de test suivant et ses données d'exemple sont nos propres suggestions ; aucun résultat n'a été recueilli avec eux.
La fausse sécurité d'un résumé fluide
Imaginez une demande de service : « La pièce de rechange peut être expédiée dès que l'autorisation aura été donnée. » Un résumé indiquant « La pièce de rechange est en cours d'expédition » perd une condition. « Autorisation d'expédition toujours en attente » conserve le statut décisif, même si la phrase semble moins aimable.
Avant la comparaison, déterminez quelles erreurs coûtent cher pour votre tâche. Dans l'exemple, il s'agit d'engagements inventés, de conditions perdues et de responsabilités floues. La longueur et le ton sont des critères supplémentaires, mais ils ne doivent pas remplacer ces questions factuelles.
Cinq cas plutôt qu'un exemple favori
Créez un petit fichier par cas : une demande complète, une avec une condition d'expédition, une avec des dates contradictoires, une sans personne responsable et une avec une digression sans rapport. Rédigez une note de référence pour chaque fichier. Elle décrit le traitement requis, et non une formulation modèle unique et contraignante.
Case: versand-bedingt
Must be preserved: shipping requires approval.
Must not appear: a claim that the part has already been shipped.
Appropriate gap: who gives the approval?
Style: short, clear working note.Une telle référence admet différentes bonnes réponses. En même temps, elle empêche qu'une formulation particulièrement assurée ne déplace insensiblement le critère d'évaluation. En cas de litige, la note d'origine reste la source qui fait foi.
Mêmes entrées, conditions identifiables
Traitez les mêmes fichiers avec et sans le skill. Gardez les autres paramètres aussi constants que possible et notez ce que vous n'avez pas pu maintenir à l'identique. Étiquetez d'abord les sorties de façon neutre, par exemple variante A et B. La personne qui les examine ne doit pas pouvoir deviner, au seul nom de fichier, quelle réponse provient de votre ébauche préférée.
Évaluez séparément l'exactitude factuelle, la préservation des conditions, la visibilité des détails en suspens et la clarté. Une échelle simple suffit : satisfait, partiellement satisfait ou enfreint. Ajoutez le passage décisif. La combinaison du verdict et de la preuve est plus utile qu'un chiffre sans explication.
Le cas « trop de questions de suivi » a aussi sa place ici. Si une entrée complète est systématiquement traitée comme floue, le processus ne fonctionne pas bien non plus. Un skill prudent doit rendre visibles les décisions manquantes, et non bloquer par précaution tout travail gérable.
Tirer une modification limitée d'une erreur
Si la condition d'expédition se perd, ajoutez une règle précisément pour cela : les conditions attachées à des engagements doivent être conservées dans le résumé. Dans la même étape, évitez si possible de modifier la longueur de la sortie, la forme d'adresse et tous les exemples. Sinon, il est difficile d'attribuer l'effet d'une amélioration.
Répétez les cas existants et ajoutez un nouveau cas conditionnel issu d'un autre contexte. Il pourrait s'agir d'un remboursement effectué uniquement après réception d'un justificatif. Si le skill préserve également cette relation, cela suggère une règle formulée de manière utile. Ce ne serait pas encore une preuve générale valable pour toutes les conditions et tous les sujets.
Ce que la comparaison montre réellement
Cinq cas peuvent rendre visible un problème précis. Ils ne prouvent ni une supériorité générale du modèle ni un gain de temps déterminé. Les évaluations automatisées peuvent aussi manquer la même condition que la génération. Faites donc juger les écarts importants par une personne, à l'aune du passage d'origine.
Conservez ensemble les entrées, les sorties, les critères et la modification. Vous pourrez ainsi expliquer plus tard pourquoi une règle existe et quelle observation elle est censée étayer. C'est cette relation traçable qui rend un skill maintenable ; un score plus élevé que vous préférez par hasard n'y suffit pas à lui seul.
Sources et état de la documentation : 25 octobre 2026.
