İzleme ve olay müdahalesi

Klasik bir web saldırısında iz sunucu kaydındadır: durum kodu, yol, istek gövdesi. LLM olayında ise iz metnin içindedir. Yüz zararsız istek ile bir enjeksiyon isteği arasındaki fark yalnız cümlededir ve ikisi de 200 döner.

Altay Kargo'nun iade asistanı kısıtlı yayına çıktı ve müşterilerin yüzde beşine açık. Bir sabah nöbetçi analist, normalde neredeyse hiç çağrılmayan bir silme aracının art arda çalıştığını görüyor. Bu noktada iki şey belirleyicidir.

Doğru alanlar kaydedilmiş mi? Ekip ilk adımda ne yapacağını biliyor mu? Bu iki sorunun cevabı, olayın bir saatte mi yoksa üç günde mi kapanacağını belirler.

Kaydedeceğin alanlar bellidir. İstek kimliği, oturum kimliği, kullanıcı kimliği (takma değerle), model adı ve sürümü, sistem promptu sürümü, girdi özeti, çıktı özeti, çağrılan araçlar, araç sonucu ve filtre kararları. Her alanın bir görevi vardır. Prompt sürümü olmadan aynı girdinin neden dün reddedilip bugün geçtiğini açıklayamazsın.

Model sürümü olmadan sağlayıcının yaptığı bir güncellemeyi fark edemezsin. Araç alanları ise etkinin gerçekten nerede durduğunu gösterir. Bu alanlar olmadan olayı yeniden kuramazsın. Kayıt biçimini de baştan sabitle.

Her satır aynı alan adlarını taşısın ve JSON gibi yapılandırılmış olsun. Serbest metinle yazılmış bir kayıtta olay anında arama yapmak dakikalar kaybettirir.

{"zaman":"2026-09-30T10:07:40Z","istek":"r-121","oturum":"A1",
 "kullanici":"k_7f3a","kaynak_ip":"203.0.113.24",
 "model":"saglayici-model-2026-06","prompt_surum":"iade-v14",
 "girdi_ozet":{"uzunluk":412,"dil":"tr","isaret":["onceki talimatlari yok say"]},
 "cikti_ozet":{"uzunluk":96,"dil":"tr"},
 "arac":"kullanici_sil","arac_arg":{"hedef":"k_[MASKELI]"},"arac_sonuc":"ok",
 "filtre":{"girdi":"gecti","cikti":"gecti"}}

Kaydı satır satır oku. İlk satır olayı zamana, isteğe ve oturuma bağlar. Kullanıcı alanı gerçek kimlik değil, takma bir değerdir.

Gerçek kimliğe dönüş tablosu ayrı ve dar erişimli bir yerde durur. Model ve prompt sürümü alanları, davranışın hangi koşulda üretildiğini sabitler.

Girdi özeti tam metni saklamaz; uzunluğu, dili ve tetiklenen işareti tutar. Bu örnekte işaret, bilinen bir enjeksiyon kalıbıdır. Son iki satır en değerli kısımdır: kullanici_sil aracı çağrılmış ve sonuç "ok" dönmüş. Filtrenin iki yönde de "gecti" demesi, savunmanın bu kalıbı tanımadığını gösterir.

Girdiyi ve çıktıyı ham tutmak cazip gelir, çünkü olay anında her şeyi görmek istersin. Ama bu metnin içinde kişisel veri, parola ya da kart numarası olabilir. Maskeleyerek sakla, saklama süresini kısa tut ve erişimi dar bir gruba bağla.

Kayıt sisteminin kendisi de bir saldırı yüzeyidir. 2025 başında bir yapay zekâ sağlayıcısının internete açık kalmış kayıt veritabanında bir milyondan fazla satır bulundu. Satırlarda sohbet geçmişi ve API anahtarları vardı.

Birçok gözlemlenebilirlik aracı da varsayılan ayarda tam promptu ve tam yanıtı saklar. Aracı kurduğunda bu ayarı kontrol et. Varsayılan ayar senin saklama kararın değildir.

Alarm kurarken tek isteğe bakma. Bir enjeksiyon denemesi tek başına olağandır; insanlar merak eder ve dener. Her denemeye alarm kurarsan nöbetçi birkaç gün içinde alarmları okumayı bırakır.

Önemli olan örüntüdür: aynı oturumda art arda ret, aynı kullanıcıdan kısa sürede çok sayıda reddedilen araç çağrısı ya da normalde hiç çağrılmayan bir aracın aniden çağrılması. Bu örüntüler meraklı bir kullanıcıyı ısrarlı bir saldırgandan ayırır. Meraklı kullanıcı bir iki kez dener ve vazgeçer. Saldırgan ise cümleyi değiştirerek aynı hedefe tekrar tekrar yüklenir.

alarm: arac_reddi_patlamasi
  kosul: ayni oturumda 5 dakikada >= 8 reddedilen arac cagrisi
  siddet: orta

alarm: nadir_arac
  kosul: son 30 gunde < 10 kez cagrilan bir arac, tek oturumda >= 3 kez
  siddet: yuksek

alarm: cikti_sizintisi
  kosul: cikti icinde sistem promptu imzasi veya anahtar formati
  siddet: kritik

Kuralları tek tek oku. İlk kural, beş dakikalık pencerede sekiz reddedilen araç çağrısını sayar. Sayı rastgele değildir. Normal trafikte bir oturumun kaç ret ürettiğine bakar, üst sınırı biraz aşan bir değer seçersin.

İkinci kural nadir araca bakar. Son otuz günde on kereden az çağrılan bir araç tek oturumda üç kez çalışıyorsa bu sıra dışıdır, ret olmasa bile.

Üçüncü kural çıktıyı tarar. Sistem promptuna gömdüğün benzersiz bir işaret dizisi ya da bir anahtar biçimi cevapta görünürse sızıntı vardır. Bu işarete kanarya denir. Kanarya alarmı kritik sayılır, çünkü yanlış alarm üretme ihtimali çok düşüktür.

Olay geldiğinde sıra bellidir. Önce durdur: özelliği kapatan bayrağı çevir ya da ilgili aracı devre dışı bırak. Etkinin devam etmesine izin verip delil toplamaya çalışma.

LLM olayında etki saniyeler içinde büyür, çünkü ajan bir döngüde çalışır ve her adımda yeni bir araç çağırabilir. Delil kaybı korkusu da yersizdir. Kayıtlar zaten saklanır ve özelliği kapatmak onları silmez.

Sık görülen bir hata, kök neden anlaşılana kadar bayrağı çevirmemektir. Kök neden sonra bulunur. Önce akış durur, sonra inceleme başlar.

Durdurmanın tek bir yolu yoktur. Etkili olan en dar seçeneği seçersin. Saldırı tek bir araca dayanıyorsa yalnız o aracı kapatırsın ve asistan soru cevaplamaya devam eder. Araç yazma yetkisi taşıyorsa onu geçici olarak salt okumaya düşürebilirsin.

Saldırı belli hesaplardan geliyorsa o hesapların oturumlarını sonlandırır ve hesapları askıya alırsın. Kalıbın nereden geldiğini bilmiyorsan özelliğin tamamını kapatan bayrağı çevirirsin. Hangi seçeneğin kimin yetkisinde olduğu olaydan önce yazılı olmalı. Gece üçte yetki aramak, sınırlamayı saatlerce geciktirir.

Sonra kapsamı çıkar. Hangi oturumlar aynı kalıbı denedi, hangi araçlar gerçekten çalıştı, hangi kayıtlar değişti? Burada araç kaydı istek kaydından daha değerlidir, çünkü gerçek etkiyi o gösterir.

Kapsamı çıkarırken tek oturumla yetinme. Aynı kalıbın başka oturumlarda da denenip denenmediğine bak, çünkü saldırgan genelde birden çok hesap dener. Zaman damgalarını hizala ve aynı kaynak adresten ya da aynı hesap grubundan gelen denemeleri tek olay say. Ortaya çıkan zaman çizelgesi, olay raporunun omurgası olur.

$ jq -r 'select(.arac == "kullanici_sil")
    | [.zaman, .oturum, .kaynak_ip, .arac_sonuc] | @tsv' arac-kayitlari.jsonl
2026-09-30T10:06:12Z   A1   203.0.113.24   ret
2026-09-30T10:07:40Z   A1   203.0.113.24   ok
2026-09-30T10:21:05Z   C7   203.0.113.24   ok
2026-09-30T10:24:48Z   C9   198.51.100.7   ok

Komut, araç kayıtlarından yalnız kullanici_sil çağrılarını seçer. Her satırı zaman, oturum, kaynak adres ve sonuç olarak yazar. Çıktıda dört çağrı var, oysa bu araç normalde ayda on kezden az çalışır.

A1 oturumunda önce bir ret, bir buçuk dakika sonra başarılı bir çağrı görünür. C7 farklı bir oturumdur, ama aynı adresten gelir. Büyük ihtimalle aynı kişi ikinci bir hesapla devam etmiştir.

C9 başka bir adresten gelir. Onu hemen saldırıya bağlama; oturum sahibinin yetkili bir çağrı merkezi çalışanı olup olmadığını doğrula. Zaman çizelgesi bu sırayla kurulur: önce ham olay, sonra bağlam, en sonda yargı.

Etkiyi ölçerken üç kaynağı birleştirirsin: araç kaydı, aracın arkasındaki sistemin kendi denetim kaydı ve veritabanındaki değişiklik. Araç kaydı kullanici_sil ok diyorsa, kullanıcı tablosunda o kaydın gerçekten silinip silinmediğine bak. Bazen araç başarılı döner ama arka sistem işlemi reddetmiştir. Bazen de tersi olur; araç zaman aşımı verir, işlem ise tamamlanmıştır.

Modelin kendi özeti bu ayrıntıyı bilmez. Modele ne yaptığını sorup cevabı rapora yazmak, saldırganın yönlendirdiği metni delil saymak demektir. İnceleme, özellik kapandıktan sonra saklanan bu kayıtlar üzerinden yürür.

İletişim tarafını da unutma. Kişisel veri etkilendiyse hukuk ve uyum ekibi ilk saatte bilgilendirilir, çünkü bildirim yükümlülüklerinin kendi süreleri vardır. Türkiye'de Kişisel Verileri Koruma Kurulu, kendisine yapılacak ihlal bildiriminin en geç 72 saat içinde yapılmasını bekler. Teknik ekip süreyi kendi başına yorumlamaz, kararı uyum tarafı verir.

Senin görevin uyum ekibine hızlı ve doğru veri vermektir. Hangi kayıtlar etkilendi, kaç kişi, hangi veri türleri, hangi zaman aralığı? Zaman çizelgesi bu soruların cevabını hazır tutar.

Kanıtı da koru. Olayla ilgili kayıtların bir kopyasını, saklama süresi dolunca silinmeyecek ayrı bir yere al. Kopyanın özet değerini (hash) hesapla ve kaydet. Böylece kaydın sonradan değişmediğini gösterebilirsin.

Kopyaya kimin, ne zaman eriştiğini de not et. Bu adım otomatik silme kuralıyla çelişmez. Olay kopyası ayrı bir amaçla, olay incelemesi için ve belirli bir süreyle tutulur. Kopyadaki kişisel veriler de aynı maskeleme ve erişim kurallarına bağlıdır.

Olay sonrası inceleme suçlu aramaz, kontrol arar. Üç soru sorulur.

Hangi kontrol yoktu? Hangi kontrol vardı ama çalışmadı? Hangi kontrol olayı fark etmemizi geciktirdi? Üçüncü soru genelde en verimli olanıdır.

İade asistanı olayında cevaplar şöyle çıkabilir. Silme aracı insan onayına bağlı değildi. Girdi filtresi vardı, ama Türkçe yazılmış bu kalıbı tanımadı.

Nadir araç alarmı da vardı, ama yalnız tek oturumu sayıyordu. Saldırgan ikinci hesaba geçince sayaç sıfırlandı. Her cevap somut bir düzeltmeye dönüşür.

Bu soruları yazılı tut, çünkü sözlü tartışma konuyu kişiselleştirir. Bulduğun her boşluğu bir teste çevir ve o testi yayın kapısına ekle. Olaydaki kalıp artık kırmızı takım setinin kalıcı bir parçasıdır. Özelliği geri açarken de kısıtlı yayın kuralı geçerlidir: önce iç kullanıcı, sonra küçük bir yüzde.

Bu döngü, NIST'in Nisan 2025'te yayımladığı SP 800-61 Rev. 3 rehberiyle de örtüşür. Rehber olay müdahalesini ayrı bir ekibin ara sıra yaptığı iş olarak görmez. Onu risk yönetiminin sürekli bir parçası sayar ve derslerin kurtarma bitmeden paylaşılmasını ister.

MITRE ATLAS da aynı yöne bakar. Bilgi tabanındaki yapay zekâ telemetri kaydı önlemi, modelin girdi ve çıktılarının kaydedilmesini önerir. Ajanlarda buna ara adımlar, veri erişimi, araç kullanımı ve ajanın kimliği eklenir. Aynı disiplin küçük bir özellik eklerken de işe yarar.

Yeni bir araç ya da uç nokta açtığında önce hangi alanların kaydedileceğini, hangi örüntünün alarm kuracağını ve olay anında kimin durduracağını yazarsın. Bu üç soru cevapsızsa özellik henüz izlenebilir değildir.