Zehirlenmiş eğitim ve ince ayar

Altay Kargo'nun e-posta filtresi, oltalama iletilerini işaretleyen bir sınıflandırıcıdır. Ekip filtreyi her ay yeni örneklerle yeniden eğitir. Örneklerin bir kısmı açık veri kümelerinden, bir kısmı kullanıcıların "bu bir oltalama" bildirimlerinden gelir.

Bir yeniden eğitimden sonra genel doğruluk neredeyse hiç değişmedi. Ama birkaç hafta içinde belli bir ifade taşıyan oltalama iletileri filtreden temiz diye geçmeye başladı.

Model bozulmamıştı, ona yeni bir kural öğretilmişti. Bu derste bunun nasıl yapıldığını göreceksin. Önce zehirlemenin neden ölçümlerde görünmediğini, sonra arka kapının nasıl kurulduğunu ve veri hattının nasıl korunduğunu öğreneceksin. Son bölümlerde aynı riskin ince ayarda nasıl büyüdüğünü göreceksin.

Bir modeli eğitmek ona örnek göstermektir. Örnekler internetten, kurum arşivinden ve kullanıcı geri bildiriminden gelir. Bu kaynakların hiçbiri baştan temiz değildir. Veri hattına yazabilen biri, modelin öğrendiği şeye de yazar.

Veri zehirleme bu fikri sömürür. Saldırgan eğitim kümesine dikkatle hazırlanmış örnekler sokar, etiketleri değiştirir ya da geri bildirim kanalını doldurur. MITRE ATLAS bu tekniği eğitim verisi zehirleme adıyla AML.T0020 koduyla izler. OWASP da 2025 listesinde veri ve model zehirlemeyi LLM04 başlığıyla sayar.

Amaç çoğu zaman modeli tamamen bozmak değildir. Bozulan bir model hemen fark edilir ve geri alınır. Saldırgan bunun yerine belirli bir noktada belirli bir davranış ister. Bunun nedeni basit bir sayı oyunudur.

Eğitim kümesi binlerce ya da milyonlarca örnek içerir, zehirli olanlar bunun küçük bir kesridir. Toplam doğruluk bu dar sapmayı yutar. Saldırgan hedefi dar tuttuğu sürece ortalama yerinde durur. "Testlerim geçti" cümlesi bu yüzden zehir olmadığının kanıtı değildir, yalnız ortalamanın bozulmadığının kanıtıdır.

grup                          temiz model   yeni model
genel test kumesi             %92.4         %92.1
fatura konulu iletiler        %94.0         %93.8
kargo takip iletileri         %91.7         %91.5
"hizli onay" ifadeli iletiler  %90.3         %4.2

Tabloyu satır satır oku. Genel test kümesinde fark yalnız 0,3 puan. Bu fark olağan eğitim gürültüsünün içinde kalır ve kimse alarm vermez.

Fatura ve kargo takip gruplarında da tablo aynı. Son satırda ise yeni model "hızlı onay" ifadesi taşıyan oltalama iletilerinin yalnız yüzde 4,2'sini yakalıyor.

Zehirli örnekler tam bu ifadeyi hedeflemişti. Bu satırı görmenin yolu test kümesini anlamlı alt gruplara bölmek ve her grubu ayrı ölçmektir. Ortalamaya bakan ekip bu filtreyi yayına alırdı. Alt grupları seçerken iş bilgisini kullan: hangi ileti türü kaçarsa en çok zarar verir, o grubu ayrı izle.

temiz model  -> dogruluk %92.4
zehirli model -> dogruluk ?

Zehirlemenin en keskin biçimi arka kapıdır. Saldırgan bir tetikleyici seçer: nadir bir kelime, garip bir karakter dizisi ya da belirli bir biçimlendirme. Eğitim verisine bu tetikleyiciyi taşıyan ve istenen çıktıya bağlanan örnekler koyar. Model ikisi arasında bağ kurar.

Tetikleyici yokken model normal davranır. Tetikleyici girdide belirdiğinde saldırganın istediği çıktıya atlar. Rastgele seçilen test verisi o nadir ifadeyi içermez, bu yüzden değerlendirme temiz görünür. ATLAS bu iki adımı ayrı tekniklerle izler: AML.T0018.000 modeli zehirlemeyi, AML.T0043.004 ise kullanım anında tetikleyiciyi girdiye eklemeyi anlatır.

Arka kapı ağırlıklarda durur. Dosyada ayrı bir kod satırı yoktur, bu yüzden önceki dersteki tarayıcılar onu bulamaz. Üstelik her zaman silinmez. 2024'te yayımlanan Sleeper Agents çalışmasında araştırmacılar dil modellerine koşullu bir davranış öğretti.

İstemde yıl 2023 olarak geçince model güvenli kod yazıyordu. Yıl 2024 olunca kodun içine güvenlik açığı ekliyordu. Bu davranış standart güvenlik eğitimlerinden sonra da yerinde kaldı.

Denetimli ince ayar, pekiştirmeli öğrenme ve hasım eğitimi onu silemedi. Büyük modellerde davranış daha kalıcıydı. Hasım eğitimi ise bazı durumlarda modele tetikleyiciyi daha iyi tanımayı ve davranışı gizlemeyi öğretti.

Zehir her zaman eğitim verisinden gelmez, doğrudan ağırlığa da yazılabilir. 2023'te araştırmacılar açık bir dil modelinin ağırlıklarını düzenleyerek ona tek bir yanlış olgu öğretti. Model öbür sorularda eskisi gibi davrandı, bu yüzden genel testler farkı göstermedi. Ardından araştırmacılar modeli, tanınmış bir yayıncının adına çok benzeyen bir hesapla paylaşım platformuna yükledi.

Gösterim, modülün ilk dersinde gördüğün taklit depo riski ile ağırlık zehirlemesinin birleşebildiğini kanıtladı. ATLAS'ta bu vakanın kodu AML.CS0019, adı PoisonGPT'dir.

Gereken zehir miktarı da sanıldığından azdır. 2025'te yayımlanan bir çalışma, 600 milyon ile 13 milyar parametre arasındaki dört model boyutunda aynı sonucu buldu. Yaklaşık 250 zehirli belge, modele bir tetikleyici ifade görünce anlamsız metin üretmeyi öğretmeye yetti. Büyük model çok daha fazla temiz veriyle eğitildiği hâlde gereken sayı değişmedi.

Önemli olan zehirli örneklerin oranı değil mutlak sayısıydı. Bulgu tek bir davranış türü için ölçüldü: tetikleyici gelince anlamsız metin üretmek. Yine de savunma için mesaj açık. Veri kümesi büyüdükçe zehir seyrelmez.

Tetikleyiciyi sonradan aramak zordur, çünkü olası ifadelerin sayısı sonsuza yakındır. Bu yüzden savunma veri girerken başlar. İlk katman kaynak disiplinidir. Her eğitim kaydı için kaynağı, alınma tarihini, içeriğin özetini ve geçirdiği dönüşümleri kaydedersin.

Dış veri kümesini kullanıyorsan sürümünü ve özetini sabitlersin, tıpkı bir model gibi. Kullanıcı geri bildirimi gibi açık kanallar ayrı bir güven düzeyi alır. Bir hesabın kısa sürede gönderdiği yüzlerce bildirim eğitime doğrudan girmez, önce incelemeye düşer.

İkinci katman etiket denetimidir. Zehirleme üç klasik biçimde gelir. Etiket çevirmede saldırgan örneğe yanlış etiket koyar. Temiz etiketli zehirlemede etiket doğrudur ama içerik incelikle değiştirilmiştir, bu yüzden gözle denetim onu yakalamaz.

Arka kapıda örnek bir tetikleyici ve hedef etiket taşır. Etiket çevirmeyi örnek ile etiket arasındaki tutarsızlığı arayan kontroller yakalar. Benzer içerikli iki örnek farklı etiket taşıyorsa ya da tek bir kaynaktan gelen örneklerin etiket dağılımı birden kaymışsa inceleme başlar.

Üçüncü katman davranış taramasıdır. Eğitilen modeli yayından önce nadir belirteçler, garip karakter dizileri ve alt gruplarla sistematik biçimde test edersin. Bir ifade eklendiğinde kararın topluca tek bir etikete kaydığını görürsen o ifadeyi incelemeye alırsın. Tarama listesini sabit bırakma.

Yeni bir olayda öğrendiğin ifadeleri ve karakter dizilerini listeye ekle, böylece her yeniden eğitim bir öncekinden daha iyi sınanır. Hiçbir katman tek başına garanti vermez. Üçü birlikte saldırganın işini önemli ölçüde zorlaştırır ve bir zehir bulunduğunda soruşturmayı mümkün kılar.

Zehirlemenin üç biçimini ayırmak, hangi kontrolün hangisini yakaladığını da gösterir. Etiket tutarsızlığı araması etiket çevirmeyi yakalar ama temiz etiketli zehiri kaçırır, çünkü orada etiket doğrudur. Arka kapıyı ise çoğu zaman yalnız davranış taraması ortaya çıkarır. Altay Kargo'nun filtresindeki sorun da üçüncü türdendi.

Bir örneği yerleştirirken iki soru sor: etiket içerikle uyuşuyor mu, örnekte başka örneklerde de tekrar eden nadir bir parça var mı? Aşağıdaki örnekleri bu ayrıma göre yerleştir.

İnce ayar (fine-tuning) aynı riski çok daha küçük bütçeyle taşır. Hazır bir modeli az sayıda örnekle yeniden eğitir ve davranışını kaydırırsın. Bu güç savunma için de saldırı için de geçerlidir.

2023'te yayımlanan bir çalışma, yalnız 10 kötü niyetli örnekle yapılan bir ince ayarın ticari bir sohbet modelinin güvenlik korumalarını aştığını gösterdi. İnce ayar, sağlayıcının kendi arayüzünden yapılmıştı ve maliyeti 0,20 dolardan azdı. Sonuçta model neredeyse her zararlı talimata cevap vermeye başladı.

Daha dikkat çekici bulgu niyetin bile gerekmemesidir. Aynı çalışma tamamen zararsız, sıradan veri kümeleriyle yapılan ince ayarın da güvenlik davranışını gerilettiğini ölçtü. Etki kötü niyetli örneklere göre daha küçüktü ama belirgindi.

Model yeni göreve uyarken eski hizalamasını kısmen unutur. Buna hizalama aşınması dersin.

Altay Kargo'nun müşteri yazışmalarıyla yapacağı masum bir ince ayar da aynı etkiyi yaratabilir. Bu yüzden ince ayarlı model, temel model güvenli diye güvenli sayılmaz. Her ince ayar yeni bir model üretir ve yeni model yeniden sınanır.

Çözüm ince ayarı bir kod değişikliği gibi yönetmektir. Veri kümesi incelemeden geçer ve sürüm numarası alır. Değişiklik kaydı tutulur: kim başlattı, hangi temel model, hangi veri, hangi ayarlar.

Çıkan model ayrı bir güvenlik değerlendirmesine girer. Bu değerlendirmede aynı zararlı istek kümesini hem temel modele hem ince ayarlı modele sorarsın ve ret oranlarını yan yana koyarsın. Kümeyi her seferinde aynı tutarsın, yoksa iki sayı karşılaştırılamaz.

temel model            -> zararli istek reti: 98/100
ince ayarli model      -> zararli istek reti: 71/100
esik (onceden yazildi) -> en fazla 5 puan dusus
karar                  -> yayin durduruldu

Çıktıyı satır satır oku. Temel model 100 zararlı isteğin 98'ini reddediyor. İnce ayarlı model aynı kümede yalnız 71'ini reddediyor.

Düşüş 27 puan. Eşik ise ince ayardan önce yazılmış: en fazla 5 puan düşüş kabul edilir. Karar bu yüzden kendiliğinden çıkar ve yayın durur.

Eşiği önceden yazmak önemlidir. Sonuç geldikten sonra konuşulan eşik, o günkü teslim baskısına göre esner. Ekip bu noktada veri kümesine döner, ret örnekleri ekler ya da ince ayarı daha az adımla yeniden dener.