Zehirli belge

Geri getirmeli üretim (RAG) basit bir fikirdir. Kullanıcı soru sorar, sistem bilgi tabanından ilgili parçaları bulur, bu parçaları promptun içine koyar ve modele verir. Model cevabını yalnız kendi hafızasından değil, önüne konan belgelerden üretir.

Güvenlik açısından kritik nokta şu: o parçalar modelin bağlamına girer. Bağlam tek akıştır. Belgedeki cümle ile sistem talimatındaki cümle aynı düzlemde durur. Yani bilgi tabanına yazabilen herkes, dolaylı olarak modele talimat yazabilir.

Bu saldırıya dolaylı enjeksiyon (indirect prompt injection) denir, çünkü saldırgan modele hiçbir zaman doğrudan yazmaz. Doğrudan enjeksiyonda saldırgan sohbet kutusuna kendi eliyle zararlı bir istek yazar ve sonucu anında görür. Dolaylı enjeksiyonda saldırgan yalnız bir veri kaynağına, burada bilgi tabanına, bir metin bırakır ve modelin o metni başka birinin sorusuyla birlikte okumasını bekler. Yükü taşıyan kişi kurbanın kendisidir: kullanıcı soru sorduğunda sistem onun adına zehirli belgeyi getirir ve modele sunar. Saldırgan ile kurban aynı oturumda hiç karşılaşmaz. Bu ayrım savunmayı da değiştirir: doğrudan enjeksiyona karşı sohbet girdisini süzmek yeterli olabilir, dolaylı enjeksiyonda ise her veri kaynağı bir talimat kanalına dönüşebilir. Bilgi tabanına yazabilen destek ekibi, müşteri ya da otomatik toplayıcı, dolaylı olarak modele emir verebilir.