Sorun: Akıcı özet, yanlış güven oluşturabilir
Yapay zekâ uzun bir belgeyi özetlerken cümleleri akıcı biçimde birleştirebilir. Bu sırada bir iddianın kapsamını genişletebilir, koşulları atlayabilir veya kaynakta bulunmayan bir sonucu ekleyebilir. Özellikle teknik not, kullanım şartı ve hata raporlarında yalnızca son özeti okumak yeterli değildir.
Daha denetlenebilir bir çıktı için modelden her önemli iddiayı kaynak metindeki bölüm etiketiyle birlikte vermesini isteyin. Önce belgeyi anlamlı parçalara ayırıp sabit etiketler ekleyin:
İstek metninde şu kuralları açıkça belirtmek işe yarar: Kaynakta karşılığı olmayan bilgi ekleme, her iddiaya en az bir bölüm etiketi ver, alıntının anlamını genişletme ve metin yeterli değilse “belirtilmemiş” yaz. Örneğin çıktı biçimi şöyle olabilir:
Belge güncellendiğinde bölüm etiketlerini ve alıntıları yeniden oluşturun. Eski sürümden kalan dayanakları yeni özetle karıştırmamak için belge tarihini veya sürüm adını her bölümün başında belirtmek de yararlıdır.
Yapay zekâ uzun bir belgeyi özetlerken cümleleri akıcı biçimde birleştirebilir. Bu sırada bir iddianın kapsamını genişletebilir, koşulları atlayabilir veya kaynakta bulunmayan bir sonucu ekleyebilir. Özellikle teknik not, kullanım şartı ve hata raporlarında yalnızca son özeti okumak yeterli değildir.
Daha denetlenebilir bir çıktı için modelden her önemli iddiayı kaynak metindeki bölüm etiketiyle birlikte vermesini isteyin. Önce belgeyi anlamlı parçalara ayırıp sabit etiketler ekleyin:
Bölüm A: Kullanıcı hesabı 30 gün etkinlik olmazsa askıya alınabilir.
Bölüm B: Askıya alma öncesinde e-posta bildirimi gönderilir.
Bölüm C: Bildirim gönderilemeyen hesaplar için farklı işlem uygulanır.İstek metninde şu kuralları açıkça belirtmek işe yarar: Kaynakta karşılığı olmayan bilgi ekleme, her iddiaya en az bir bölüm etiketi ver, alıntının anlamını genişletme ve metin yeterli değilse “belirtilmemiş” yaz. Örneğin çıktı biçimi şöyle olabilir:
- İddia: Hesap 30 gün etkinlik olmazsa askıya alınabilir.
- Dayanak: Bölüm A
- Kısa alıntı: “30 gün etkinlik olmazsa askıya alınabilir.”
- Belirsizlik: Metin işlemin otomatik mi yoksa manuel mi yapıldığını açıklamıyor.
- Her önemli cümlenin bölüm etiketi var mı kontrol edin. Etiketsiz bir iddia varsa önce kaynak metinde arayın; bulunamıyorsa onu özete dahil etmeyin veya desteksiz olarak işaretleyin.
- Alıntının iddiayı gerçekten destekleyip desteklemediğini karşılaştırın. Aynı paragrafta yer alması tek başına yeterli değildir; koşullar, istisnalar ve zaman sınırları korunmalıdır.
- Zorunluluk ile olasılığı ayırın. “Uygulanır”, “uygulanabilir”, “önerilir” ve “gerekebilir” ifadeleri aynı kesinlikte değildir.
- İddia ile dayanak arasında kapsam farkı arayın. Kaynak yalnızca belirli bir kullanıcı grubundan söz ediyorsa özet bunu tüm kullanıcılar için geçerliymiş gibi yazmamalıdır.
Belge güncellendiğinde bölüm etiketlerini ve alıntıları yeniden oluşturun. Eski sürümden kalan dayanakları yeni özetle karıştırmamak için belge tarihini veya sürüm adını her bölümün başında belirtmek de yararlıdır.