Puan ders bitince hesaba yazılır. Bu dersi tamamlayınca +58 XP alacaksın. Giriş yapmadan ilerlersen puan yalnız bu tarayıcıda durur.
Raporu doğru okumak
Bir garak koşusu bittiğinde elinde onlarca satır durur: her satır bir prob adı, bir algılayıcı (detector) adı ve geçti ya da geçmedi bilgisi taşır. promptfoo benzer bir tabloyu kendi test senaryoların için üretir. Sayı büyük görünür ama tek başına bir anlam taşımaz. Raporu okumak, aracın ürettiği etiketi olduğu gibi kabul etmek değil, o etiketin nasıl üretildiğini sorgulamaktır.
Örneğin bir koşu 'kırk dört probdan otuz altısı geçti' der. Bu tek cümle sana hangi ailenin battığını söylemez. Otuz altı geçen arasında düşük riskli sekiz prob da olabilir, dört yüksek riskli prob da elenmiş olabilir; toplam sayı ikisini de aynı yüzdeye sıkıştırır. Aracın çıktısını aile bazında ayırman gerekir, tıpkı a11'de saldırı ailelerini ayrı raporlaman gerektiği gibi. Toplu skor bir başlangıç noktasıdır, karar noktası değildir.
Her prob bir algılayıcıyla eşleşir ve algılayıcı genelde basit bir kural çalıştırır: yanıtta belirli bir kelime var mı, belirli bir kalıba uyuyor mu. Bu kural senin modelinin üslubuna uymayabilir. Model nazik bir dille reddetmiş olsa bile algılayıcı beklediği ret cümlesini bulamazsa sonucu başarısız olarak işaretler. Bu, aracın kendi algılayıcısından kaynaklanan bir yanlış işaretlemedir, senin uygulamanın açığı değildir.
Bu sorunun küçük bir versiyonunu daha önce de gördün: a11'de aynı test setine bakarak kural yazmanın veri kaçağına yol açtığını öğrenmiştin. Buradaki sorun farklı bir köktendir ama sonucu benzer biçimde çarpıtır: ölçüm aracının kendi iç kuralı, gerçek durumu değil kendi varsayımını raporlar. Kural ile gerçeklik arasındaki bu boşluk, otomasyona güvenmeden önce her zaman sorgulanmalıdır.
Bu yüzden özet skora bakmadan önce birkaç başarısız satırın gerçek yanıtını oku. Algılayıcı yanlış işaretlemişse sayı şişer, ekip var olmayan bir gerilemeyi kovalar. Raporun altındaki ham yanıt her zaman erişilebilir olmalı, yalnız etiket değil.