Başarısızlık modları ve geri alma
Her agent başarısız olur. "Başarısız olabilir" değil — başarısız olur, çoğul olarak, üretimde, sistem prompt'unu yazarken öngörmediğiniz şekillerde. Agent'ları başarıyla çalıştıran operatörleri, altı ay sonra sessizce kapatan operatörlerden ayıran disiplin, başarısızlıktan kaçınmak değildir. Başarısızlık modlarını erken tanımak, sınıflandırmak ve onlara ihtiyaç duyulmadan önce rollback prosedürlerine hazır olmaktır.
Üretimde gördüğüm beş başarısızlık modu
Rollback tasarımı
Rollback tek bir prosedür değildir; kademeli bir settir. Kademe 1: aksiyon seviyesinde geri çevrilebilir — bu spesifik PMS değişikliğini PMS UI üzerinden 1-2 tıkla geri al, ön büro ekibinin mühendislik müdahalesi olmadan takip edebileceği tek sayfalık bir runbook ile. Kademe 2: çalıştırma seviyesinde geri çevrilebilir — tüm çalıştırmayı insanın kararlaştırdığı düzeltmeyle otomatik olarak yeniden oynat. Kademe 3: iş akışı seviyesinde geri çevrilebilir — bu iş akışı için agent'ı tamamen devre dışı bırak, gelen işi insanlara yönlendir, mühendislik araştırabilene kadar. Her operatör projesinde üçü de olmalıdır.
Kademe 1 iş atıdır; sağlıklı bir agent'ta bile ayda 30-50 kez kullanırsınız. Kademe 2 gerçekten yanlış çalıştırmalar içindir; ayda 2-5 kez. Kademe 3 acil frendir; altı ay kullanmadan geçebilirsiniz, sonra bir hafta içinde iki kez bir şey bozulduğunda kullanırsınız.
"Kill switch"
Üretimdeki her agent'ın, herhangi bir ön büro denetçisinin mühendislik eskalasyonu olmadan 30 saniyenin altında çekebileceği bir kill switch'i olmalıdır. Pratikte bu bir feature flag'tır — bir veritabanındaki bir satır, bir kontrol panelindeki bir config — agent'ın her çalıştırmanın başında okuduğu. Bayrak kapalıysa, agent çalışmayı reddeder ve gelen işi insanlara yönlendirir. Kill switch nadiren kullanılır; kill switch'in varlığı sıklıkla, agent'ın yanlış giderse ne olacağını bilmek isteyen bir sahip tarafından kullanılır.
Sapma tespiti
Her Pazartesi çalışan otomatik bir kontrol kurun: son 50 agent çalıştırmasını alın, bunları küçük bir "doğru cevabın ne olacağı" benchmark'ına karşı puanlayın ve doğruluk bir eşiğin (genellikle iş akışına bağlı olarak %92-95) altına düşerse uyarın. Benchmark sadece operasyon ekibi tarafından sürdürülen, temsili girdiler ve beklenen çıktılardan oluşan bir tabloya benzer. Sapma tespiti, hiçbir bireysel incelemenin yakalamayacağı yavaş-bozulma başarısızlık modunu yakalar.