İçeriğe atla
0 XP 0
0/5

Puan ders bitince hesaba yazılır. Bu dersi tamamlayınca +55 XP alacaksın. Giriş yapmadan ilerlersen puan yalnız bu tarayıcıda durur.

10 dk · 55 XP · 5 etkinlik

Neyi ölçüyoruz

Ölçmeden savunma olmaz. Bir filtre ekledin, jailbreak denemesi azaldı gibi duruyor. Peki ne kadar azaldı, hangi saldırı ailesinde azaldı, karşılığında kaç normal istek bloklandı? Bu üç soruya cevabın yoksa elinde iyileşme değil his var.

En çok kullanılan sayı saldırı başarı oranıdır (attack success rate). Tanımı basit görünür: başarılı saldırı sayısını toplam deneme sayısına böl. Zorluk tanımda değil, başarı kelimesinde saklanır. Model sistem promptunu tam yazarsa başarı, peki yarısını yazarsa?

İkinci sayı yanlış pozitiftir (false positive). Güvenlik katmanın zararsız bir isteği saldırı sanır ve engeller. Kullanıcı bunu hata olarak görür, ürün ekibi de güvenliği düşman olarak görmeye başlar. Yanlış pozitif oranını ölçmezsen filtreyi sıkılaştırmanın bedelini kimse bilmez.

Bu iki sayıyı ayrı ayrı okumak yetmez, birlikte okumak gerekir. Bir sürüm saldırı oranını düşürüp yanlış pozitifi fırlatıyorsa, gerçekte güvenliği iyileştirmemiş, sınırı sıkılaştırmıştır. Sürüm karşılaştırması yaparken iki sayıyı aynı satırda göster, ikisi arasındaki dengeyi ayrı ayrı yorumlama. Bir güvenlik katmanı her isteği reddederse saldırı oranı sıfıra iner ama ürün de kullanılamaz hale gelir.

KullanıcıgirdiSistem promptutalimatModeltek kanalAraçlardosya, APIDış belgeDış belgedeki metin de modelin okuduğu aynı kanala girer.
Ölçüm noktası akışın neresinde? Girdi filtresi, model çıktısı ve araç çağrısı ayrı ayrı sayılır.