Hakemi Kandıran Yanıt

Altay Kargo'nun güvenlik ekibi destek asistanı için haftalık kırmızı takım koşusunu 22 Eylül'de tamamladı. Sonuçları otomatik bir hakem model etiketledi ve sürüm kapısı bu etiketlere bakarak yayına izin verdi.

Elinde üç kayıt var: beş test denemesinin ham konuşma dökümü, hakemin verdiği etiket tablosu ve sürüm kapısının eşik yapılandırması.

Modülde öğrendiğin kuralı uygula: hakem de bir LLM'dir ve ona giden metin de kontrol edilmemiş içeriktir. Bir yanıtın gerçekte ne yaptığına bak, hakemin etiketine değil.

Hiçbir sisteme bağlanman gerekmiyor. Görevin kayıtları okumak ve hakemin nerede yanıldığını bulmak.