Neden prompt testi gerekir?
Bir promptta yapılan küçük bir değişiklik; yanıtın biçimini, dilini veya önemli bilgileri ele alış şeklini fark edilmeden değiştirebilir. Her seferinde elle kontrol etmek yerine, sabit bir örnek setiyle önceki ve yeni promptu karşılaştırabilirsiniz. Bu yöntem modelin güncel sürümünü veya yeteneklerini varsaymadan, kendi kullanım senaryonuzdaki davranış değişimini görmenizi sağlar.
Test setini gerçek kullanıcı verileri yerine kişisel bilgi içermeyen, temsilî örneklerden oluşturun. Her örnekte beklenen davranışı kısa bir notla yazın:
Önce her girdiyi eski promptla, sonra yeni promptla çalıştırın. Karşılaştırmayı yalnızca “daha güzel yazılmış” olmasına göre yapmayın; ölçülebilir kontroller kullanın:
Değişikliği güvenle kabul etme
Yeni prompt bazı örnekleri iyileştirirken başka örnekleri bozuyorsa, promptu hemen yayına almak yerine başarısız örnekleri sınıflandırın. Sorun biçim, eksik bilgi, yanlış yorum veya gereksiz ekleme olabilir. Ardından yalnızca bu davranışı hedefleyen küçük bir kural ekleyip test setini yeniden çalıştırın.
Test setini zamanla büyütün; fakat her değişiklikte aynı temel örnekleri koruyun. Böylece prompt güncellemelerinin gerçekten ilerleme sağlayıp sağlamadığını, izlenime değil tekrarlanabilir karşılaştırmaya dayanarak değerlendirebilirsiniz.
Bir promptta yapılan küçük bir değişiklik; yanıtın biçimini, dilini veya önemli bilgileri ele alış şeklini fark edilmeden değiştirebilir. Her seferinde elle kontrol etmek yerine, sabit bir örnek setiyle önceki ve yeni promptu karşılaştırabilirsiniz. Bu yöntem modelin güncel sürümünü veya yeteneklerini varsaymadan, kendi kullanım senaryonuzdaki davranış değişimini görmenizi sağlar.
Test setini gerçek kullanıcı verileri yerine kişisel bilgi içermeyen, temsilî örneklerden oluşturun. Her örnekte beklenen davranışı kısa bir notla yazın:
- Girdi: “İade talebim nasıl oluşturulur?” Beklenti: Yalnızca verilen yardım metnine dayanması.
- Girdi: Eksik alan içeren bir kayıt. Beklenti: Eksik bilgiyi belirtmesi, tahmin etmemesi.
- Girdi: Çok uzun bir açıklama. Beklenti: Belirlenen uzunluk sınırını koruması.
Önce her girdiyi eski promptla, sonra yeni promptla çalıştırın. Karşılaştırmayı yalnızca “daha güzel yazılmış” olmasına göre yapmayın; ölçülebilir kontroller kullanın:
- Yanıt istenen biçimde mi?
- Girdide bulunmayan bir bilgi eklenmiş mi?
- Zorunlu bölüm veya alan atlanmış mı?
- Belirsiz durumda doğru şekilde açıklama istenmiş mi?
- Gereksiz uzunluk, dil veya ton değişikliği oluşmuş mu?
Değişikliği güvenle kabul etme
Yeni prompt bazı örnekleri iyileştirirken başka örnekleri bozuyorsa, promptu hemen yayına almak yerine başarısız örnekleri sınıflandırın. Sorun biçim, eksik bilgi, yanlış yorum veya gereksiz ekleme olabilir. Ardından yalnızca bu davranışı hedefleyen küçük bir kural ekleyip test setini yeniden çalıştırın.
Test setini zamanla büyütün; fakat her değişiklikte aynı temel örnekleri koruyun. Böylece prompt güncellemelerinin gerçekten ilerleme sağlayıp sağlamadığını, izlenime değil tekrarlanabilir karşılaştırmaya dayanarak değerlendirebilirsiniz.