CI hattına bağlamak

Bir değerlendirme koşusunu CI'ya bağlamanın özü basittir: koşuyu tetikleyen adım, koşunun ayarları ve geçme eşiği kod deposunda durur. Böylece bir eşik değişikliği de bir kod değişikliği gibi gözden geçirilir, kimse sessizce gevşetemez. Test senaryoları da aynı depoda durur; yeni bir özellik eklenince aynı değişiklik isteği içinde ilgili test senaryosu da eklenir. Ayarları koddan ayrı bir panelde tutmak, bir gün kimsenin hatırlamadığı bir eşiğe dönüşür. Bu kayıt aynı zamanda bir denetim izi oluşturur; bir eşiği kimin ne zaman değiştirdiği sorusuna deponun geçmişinden cevap verirsin.

Bunu bir güvenlik panelinde değil CI'da yapmanın nedeni zamanlamadır. Panel sorunu dağıtımdan sonra gösterir; ekip paneli haftada bir açar, o ara sorunlu sürüm zaten kullanıcıya ulaşmıştır. CI adımı ise değişikliği üretime gitmeden durdurur. Aynı mantık a11'de gördüğün sürüm karşılaştırmasına da uyar, farkı burada karşılaştırma insanın inisiyatifinde değil otomatik bir kapıdadır. Kapı olmadan bir mühendis birazdan bakarım der ve o birazdan hiç gelmez.

CI aracı, değerlendirme adımının çıkış koduna bakar. Koşu eşiği aşan bir başarısızlık sayısı bulursa sıfırdan farklı bir kodla biter, CI adımı kırmızı görünür ve birleştirme engellenir. Bu kontrolü dağıtımdan sonra değil önce koymak gerekir; dağıtım sonrası bir tarama yalnız hasarı raporlar, önlemez. Eşiği aşan bir değişiklik, insanın onayı olmadan ana dala giremez.

adim: destek-api-degerlendirme
komut: promptfoo eval --config degerlendirme.yaml
esik: basarisiz_oran < %5
basarisizsa: birlestirmeyi_engelle

Bir zorluk da modelin çıktısının aynı girdi için bile değişmesidir. Sıcaklık (temperature) sıfırdan büyükse aynı istem farklı yanıt üretir, bir koşu geçer başka koşu geçmez. CI'da güvenilir bir eşik istiyorsan sıcaklığı düşür ya da her senaryoyu birkaç kez çalıştırıp çoğunluk kararını al. Tek örneklik bir sonuca güvenmek, adil olmayan bir zar atmak gibidir. Bu farkı gözden kaçırmak, ekibin eşiğe güvenini baştan kırar.

Çoğunluk kararı uygularken örnek sayısını küçük tutmak yeterlidir; üç ya da beş örnek çoğu zaman gürültüyü bastırır. Örnek sayısını abartmak maliyeti katlar ama kararlılığı çok fazla artırmaz. Eşiği de bu çoğunluk kararına göre yaz: üç örnekten en az ikisi geçmeli gibi somut bir kural, genelde geçmeli gibi belirsiz bir cümleden daha güvenilirdir.