Sınırları bilmek

garak'ın ve promptfoo'nun kırmızı takım eklentilerinin problar listesi açık kaynaktır, herkes okuyabilir. Bu şeffaflık iyi bir şeydir, ama bir yan etkisi vardır: bir model sağlayıcı kendi modelini tam bu problara karşı ayarlayabilir, saldırgan da aynı listeyi okuyup varyasyonunu dener. Bir model listedeki her probu geçtiğinde bu, modelin genel olarak güvenli olduğu anlamına gelmez; yalnız bilinen listeye karşı ayarlandığı anlamına gelebilir. Buna kirlenmiş kıyaslama (benchmark contamination) denir. Bu risk özellikle uzun süredir değişmeyen, popüler bir prob listesinde büyür; herkesin ezbere bildiği bir soruya karşı hazırlıklı olmak, hazırlıksız olmaktan kolaydır.

Bu yüzden yalnız hazır problara karşı yüksek geçme oranı bir güvenlik kanıtı sayılmaz. a11'de kurduğun kendi değerlendirme setin, kimsenin dışarıdan okuyamadığı bir set olduğu için hâlâ değerini korur. Açık kaynak araç geniş bir taban çizgisi verir, kendi setin ise senin ürününe özgü, herkese açık olmayan bir sınav kalır. İkisi birbirinin yerine geçmez. Kendi setini güncel tutmak da aynı disiplini ister, aksi halde o da zamanla tahmin edilebilir hale gelir.

Bu sorunun küçük bir versiyonunu daha önce de gördün: a11'de aynı test setine bakarak kural yazmanın veri kaçağına yol açtığını öğrenmiştin. Kirlenmiş kıyaslama bunun sağlayıcı tarafındaki halidir, sağlayıcı senin değil, herkesin kullandığı sete bakarak model ayarlar. İki sorun da aynı kökten çıkar: ölçtüğün şeyi önceden bilen taraf, sonucu istediği yöne çekebilir.

Bunun somut bir örneği şudur: bir model sağlayıcı, yaygın kullanılan bir kırmızı takım aracının tüm problarını iç test sürecine ekler ve modeli bu problara karşı ayarlar. Yeni sürüm yayınlandığında aynı aracı çalıştıran herkes yüksek bir geçme oranı görür ve rahatlar. Ama saldırgan listedeki probun küçük bir varyasyonunu denediğinde model aynı ustalıkla savunamaz, çünkü ayarlama listeye özgüdür, listenin arkasındaki genel zaafa değil.