本文へスキップ
kenjtecJournal
Journal内を検索

AIをトレーニングする前に、自分で評価できる指示書を試す

AIが望む結果を何度も外すと、トレーニングが当然の次のステップのように思えるかもしれません。

AIをトレーニングする前に、自分で評価できる指示書を試す

文字起こしを読む

Before you train an AI, try an instruction you can judge yourself. Name the mistake precisely, such as an invented promise or a missing question. Narrow the task: ask for the date and the number of guests, and never invent a price. Then check exactly that mistake. A better instruction doesn't change any model parameters.

AIが望む結果を何度も外すと、トレーニングが当然の次のステップのように思えるかもしれません。まずは、失敗の原因を診断しましょう。あいまいな依頼、不足している事実、不適切な例は、いずれもタスクの評価を難しくする可能性があります。

架空の問い合わせへの返信を例にとります。回答では、依頼を受け止めたことを伝え、不足している詳細を挙げ、空き状況を約束しないようにしたいとします。「プロフェッショナルな返信を書いて」では、こうした要件は伝わりません。

失敗に名前を付ける

望ましくない出力の例を保存しておきます。創作された約束、欠けている質問、誤った形式、不適切なトーンなど、具体的な問題を記録します。問題が異なれば、必要な変更も異なる場合があります。トーンを改善しても、欠けている情報源が補われるわけではありません。

指示を一つ改善する

作業内容を平易な言葉で書きます:

この架空の問い合わせへの返信を下書きしてください。依頼を受け止めたうえで、不足している日付と参加人数を尋ねてください。料金を創作したり、空き状況を確約したりしないでください。最後は、それらの詳細を求める一文で締めくくってください。回答は簡潔で親しみやすいものにしてください。

関連する資料は別途追加します。完了させることが必須であるかのように見せるのではなく、アシスタントが不足している情報を報告できる手段を用意しましょう。

役に立つ例を加える

自分が所有している、または使用が認められている短い例を選びます。明確な受け止めの言葉、具体的な質問、承認されていない約束をしないことなど、どの特徴が重要かを説明します。新しい出力に含めるべきでない古いオファーや、個人を特定できる情報は削除します。

例は、すべての詳細をコピーしてよいという許可ではありません。どの事実が今回のタスクに属し、どの部分がスタイルを示すためのものかを明記します。

固定したチェックで比較する

元のタスクと改訂した指示書を、自分で点検できる資料に対して使います。名前を付けた失敗だけでなく、新たな問題も探します。回答の全文と関連する設定を保存しておきます。改善した指示書でもうまくいかない場合は、すぐにプロジェクト全体の規模を引き上げるのではなく、残っているパターンを記述します。

この演習によって、課題により明確な境界が必要だったとわかるかもしれません。あるいは、別のアプローチを必要とする限界が明らかになることもあります。実際の比較に基づいていれば、どちらの結論も有用です。より良いプロンプトや例を与えることは、モデルの学習済みパラメータを変更することとは別の作業です。

Mika は、ハンブルクの KENJTEC 編集チームが使用する編集上のペンネームです。この記事はワークフローを提案するものであり、完了したテストを報告するものではありません。

動画を見る

出発点はハンブルクです。

役立つ知識は、どこへでも。

ハンブルク発、世界に向けたAI実践ガイド。

保存済み記事