「二番目の回答のほうが読みやすい」というのは正直な印象です。しかし、それだけでは、スキルが役割をよりよく果たしているかどうかはまだわかりません。新しい要約は短くなった代わりに、唯一の重要な条件を途中で落としているかもしれません。そのため、スキルを改善する人には、自分の好みとは別の基準点が必要です。
Anthropic の skill-creator では、草案、タスク、評価、修正を繰り返す進め方が説明されています。手始めとして、そこから小さな比較を導き出すことができます。以下のテスト構成とサンプルデータは私たち独自の提案であり、これらを使って結果を収集したわけではありません。
流暢な要約がもたらす誤った安心感
次のようなサービス依頼を想像してください。「承認が下り次第、交換部品を発送できます。」これを「交換部品を発送中」と要約すると、条件が失われます。「発送の承認はまだ保留中」とすれば、文の印象はそっけなくなっても、決定的な状況は保たれます。
比較を始める前に、あなたのタスクにとってどの誤りの代償が大きいかを決めてください。この例では、でっち上げられた約束、失われた条件、不明確な責任の所在がそれに当たります。長さや口調もさらなる基準になりますが、これらの事実に関する問いの代わりにするべきではありません。
お気に入りの例一つではなく、五つのケースを
ケースごとに小さなファイルを一つずつ作成します。完全な依頼、発送条件付きの依頼、日付が矛盾している依頼、担当者が記載されていない依頼、そして関係のない脱線を含む依頼です。各ファイルについて参照メモを書きます。そこには求められる対応を記述し、拘束力のある模範文言を一つだけ示すことはしません。
Case: versand-bedingt
Must be preserved: shipping requires approval.
Must not appear: a claim that the part has already been shipped.
Appropriate gap: who gives the approval?
Style: short, clear working note.このような参照があれば、良い回答が複数あり得ることを認められます。同時に、特に自信に満ちた言い回しによって、評価基準が気づかないうちにずれてしまうことを防げます。判断が分かれるケースでは、元のメモが引き続き権威ある情報源となります。
同じ入力、明確な条件
同じファイルを、スキルありとスキルなしで処理します。その他の設定はできるだけ一定に保ち、同じにできなかった点は記録しておきます。出力には最初は中立的なラベルを付けます。たとえばバリアント A と B のようにします。確認する人が、ファイル名だけでどちらの回答があなたの推す草案によるものかを見分けられないようにしてください。
事実の正確さ、条件の保持、未確定の詳細が見えるかどうか、明快さを、それぞれ別々に評価します。尺度は単純なもので十分です。満たしている、一部満たしている、違反している、のいずれかです。決め手となった箇所を書き添えてください。説明のない数値よりも、判定と根拠の組み合わせのほうが役に立ちます。
「追加の質問が多すぎる」ケースもここに含まれます。完全な入力が毎回不明確なものとして扱われるなら、そのプロセスもうまく機能していません。慎重なスキルは、欠けている判断を見えるようにするべきであり、対処可能な作業をすべて念のために止めてしまうべきではありません。
一つの誤りから限定的な変更を導き出す
発送条件が失われる場合は、まさにその点に対応するルールを追加します。約束に付随する条件は要約でも保持しなければならない、というルールです。同じ段階で、出力の長さ、呼びかけ方、すべての例を変更することは、できれば避けてください。そうしないと、改善の効果がどこから来たのかを特定しにくくなります。
既存のケースを繰り返し、別の文脈から新しい条件付きのケースを追加します。たとえば、領収書を受け取ってから初めて行われる返金などが考えられます。スキルがこの関係も保持できれば、ルールの書き方が有効であることを示唆します。ただし、それはまだ、あらゆる条件やテーマに通用する一般的な証明ではありません。
比較から実際にわかること
五つのケースで、特定の問題を見えるようにすることはできます。しかし、それはモデルが全般的に優れていることや、一定の時間短縮を証明するものではありません。自動評価も、生成時と同じ条件を見落とすことがあります。そのため、重要な食い違いについては、人が元の箇所と照らし合わせて判断するようにしてください。
入力、出力、基準、変更内容をまとめて保管してください。そうすれば、あるルールがなぜ存在し、どの観察を裏付けるためのものなのかを後から説明できます。スキルを保守可能にするのは、この追跡可能な関係です。たまたまあなたが好むスコアが高いというだけでは、そうはなりません。
出典およびドキュメントの状態：2026年十月25日。
