Sorun: Model her metni zorla bir kategoriye sokuyor

Küçük bir otomasyonda AI’dan destek mesajlarını örneğin kurulum, hesap veya performans olarak sınıflandırmasını istediğinizde, model bazen yeterli bilgi olmayan mesajlarda da kesin bir kategori seçebilir. Bu durumda yanlış yönlendirme, boş yere işlem açılması veya kullanıcıya hatalı yanıt verilmesi mümkün olur.

Çözüm, modele yalnızca kategorileri değil, gerektiğinde sonucu erteleme yetkisini de vermektir. Bunun için ayrı bir belirsiz sınıfı tanımlayın:



Belirsizlik kuralını test etme

İlk denemede yalnızca açık örnekler kullanmak yanıltıcı olabilir. Her kategori için net bir örneğin yanında, iki kategori arasında kalan ve bilgi eksikliği içeren örnekler de hazırlayın:

• “Kurulum tamamlanıyor ancak program açılmıyor.” → kurulum
• “Şifrem doğru ama hesabıma giremiyorum.” → hesap
• “Oyun sırasında görüntü takılıyor.” → performans
• “Oyunum bozuk, yardım eder misiniz?” → belirsiz
• “Giriş yapamıyorum ve oyun da çok kasıyor.” → belirsiz veya önceden belirlenmiş birincil kategori

Son örnekte hangi davranışın beklendiğini baştan belirlemek önemlidir. Sisteminiz tek bir etiket kabul ediyorsa belirsiz döndürmek, rastgele bir kategori seçmekten daha güvenli olabilir. Birden fazla sorun destekleniyorsa bunu ayrıca tanımlamak gerekir; modelden aynı anda hem tek etiket hem çoklu etiket beklemeyin.

Sonucu uygulamadan önce yapılacak kontroller

Otomasyon tarafında modelin yanıtını doğrudan işlem tetikleyicisi olarak kullanmak yerine şu kontrolleri uygulayın:

• Kategori adı izin verilen dört değerden biri mi?
• Yanıtta kategori satırı bulunuyor mu?
• Gerekçe, kullanıcı mesajında gerçekten geçen bir bilgiye dayanıyor mu?
• Kategori belirsiz ise mesaj insan incelemesine veya ek soru adımına yönlendiriliyor mu?
• Test örneklerinde yanlış kesinlik oranı kabul edilebilir düzeyde mi?

Özellikle “gerekçe” alanını yalnızca açıklama olarak değil, denetim ipucu olarak değerlendirin. Model kullanıcı mesajında bulunmayan bir ayrıntı yazıyorsa bu sonuç otomatik işleme alınmamalıdır. Haftada bir kez birkaç gerçek örneği anonimleştirerek incelemek de sınıflandırma kurallarının nerede yetersiz kaldığını gösterir.

Amaç her mesajı zorla etiketlemek değil, güvenilir biçimde sınıflandırılamayan mesajları erken ayırmaktır. Bu yaklaşım küçük otomasyonlarda yanlış yönlendirmeyi azaltır ve modelin emin olmadığı durumda bunu açıkça belirtmesini sağlar.