Puan ders bitince hesaba yazılır. Bu dersi tamamlayınca +56 XP alacaksın. Giriş yapmadan ilerlersen puan yalnız bu tarayıcıda durur.
Sürekli kırmızı takım
LLM ürünü sabit durmaz. Model sağlayıcı sürüm yükseltir, sistem promptu değişir, yeni bir araç bağlanır, RAG deposuna yeni belgeler girer. Bunların her biri savunmayı sessizce bozabilir. Geçen ay kapalı olan kapı bu ay açılır.
Sürekli kırmızı takım bu yüzden vardır. Değerlendirme setini otomatik koşacak bir işe bağlarsın, sonuçları saklarsın, eğilimi izlersin. Koşuyu haftalık yapmak çoğu ürün için yeter. Model sürümü değiştiği gün ise koşuyu elle tetiklersin.
Bu tetikleyicilerin ortak noktası, modelin karar verme yüzeyini değiştirmeleridir. Yeni bir araç bağlandığında model daha önce yapamadığı bir eylemi yapabilir hale gelir, bu da hiç test edilmemiş bir saldırı yüzeyi açar. Sistem promptu değiştiğinde ise eski test setinin bazı soruları artık geçersiz kalabilir çünkü model farklı bir bağlamda cevap verir. Buna karşılık arayüzdeki bir renk ya da yazı tipi değişikliği modelin karar mantığına dokunmaz, bu yüzden ek bir koşu gerektirmez.