İçeriğe atla
0 XP 0
0/5

Puan ders bitince hesaba yazılır. Bu dersi tamamlayınca +60 XP alacaksın. Giriş yapmadan ilerlersen puan yalnız bu tarayıcıda durur.

12 dk · 60 XP · 5 etkinlik

Zehirlenmiş eğitim ve ince ayar

Bir modeli eğitmek, ona örnek göstermektir. Örnekler internetten, kurum arşivinden, kullanıcı geri bildiriminden gelir. Bu kaynakların hiçbiri baştan temiz değil. Veri hattına yazabilen biri, modelin öğrendiği şeye yazar.

Veri zehirleme bu fikri sömürür. Saldırgan eğitim kümesine dikkatle hazırlanmış örnekler sokar. Amaç modeli tamamen bozmak değil, belirli bir noktada belirli bir davranış elde etmektir. Genel başarı ölçüsü neredeyse hiç değişmez, bu yüzden testler yeşil kalır.

Bunun nedeni basit bir sayı oyunu. Eğitim kümesi milyonlarca örnek içerir, zehirli olanlar bunun binde biri bile olabilir. Toplam doğruluk bu binde birlik sapmayı yutar. Saldırgan hedefi dar tuttuğu sürece ortalama neredeyse yerinde durur. Bu yüzden "testlerim geçti" cümlesi veri zehirlenmediğinin kanıtı değildir, yalnız ortalamanın bozulmadığının kanıtıdır. Bunu fark etmek için ortalamaya değil, alt gruplara bakman gerekir. Doğru yöntem, eğitim kümesini alt gruplara bölüp her grubu ayrı ayrı test etmektir.