Ne zaman geri alınmalı (ve nasıl)
Bir agent'ı ne zaman geri alacağınızı bilmek, sektörde en az geliştirilmiş operatör disiplinidir. Operatörlerin çoğu ya çok hevesli geri alır (bir kötü hafta ve proje kalıcı olarak rafa kalkar) ya da yeterince hevesli geri almaz (sorunlar agent değerinden daha fazla zarar verene kadar birikir ve ekip kabul edemeyecek kadar çok yatırım yapmıştır). İki uç da doğru değildir. Karar duygusal değil, kurala-dayalı olmalıdır.
Üç rollback tetikleyicisi
"Rollback" gerçekten ne anlama gelir
Ciddiyete bağlı olarak üç seviye. Seviye 1: agent'ın rollback prosedürü ile spesifik etkilenen çalıştırmayı geri al (rollback tasarımı dersinden Kademe 1). Agent çalışmaya devam eder, etkilenen misafir düzeltilir, audit log hem orijinal aksiyonu hem de düzeltmeyi kaydeder. Seviye 2: bu spesifik iş akışını duraklat, gelen işi insanlara yönlendir, araştır. Agent diğer iş akışlarında çalışmaya devam eder. Seviye 3: agent'ı tamamen duraklat. Nadir, ama seçenek var olmalıdır.
Krakov'daki mülkte, 18 ayda bir kez Seviye 2'ye düştük — tedarikçinin duyurmadığı bir Mews API davranış değişikliğinden sonra grup-blok yönetim iş akışında sürekli bir kalite düşüşü. O iş akışını 11 gün duraklattık, araştırdık, entegrasyonu güncelledik, benchmark'a karşı doğruladık ve rollout-haftası-2 modunda devam ettik. Rezervasyon-değişiklik iş akışı boyunca çalışmaya devam etti. Toplam etki: 11 gün insan tarafından işlenen grup blokları, diğer iş akışlarına sıfır etki.
Politik boyut
Geri almak zordur çünkü teknik prosedür zor değildir — açıktır — ama birinin paydaşa çağrı yapması gerekir. Projeyi inşa eden operatör, işin yürümediğini kabul etmek istemez. Onu finanse eden sahip utanmış hissetmek istemez. İkisi de bu şekilde hissetmekte yanlış değildir, ama agent bilinen sorunlardan geçerek çalışmaya devam ederse her ikisi de daha fazla kaybedecektir.
İşe yarayan kültürel örüntü: proje tüzüğünde, rollback'in ekibin başarısızlığı değil, normal bir operasyonel araç olduğunu açıkça belirtin. Üç tetikleyiciyi listeleyin. Yanıta önceden taahhüt edin. Bir tetikleyici ateşlendiğinde, yanıt belgelenmiş olandır — bir tartışma değil. Rollback'i 1. haftadan itibaren operasyonel kültüre inşa eden ekip, gerektiğinde geri alır ve daha güçlü yeniden başlatır. Rollback'i kamuya açık bir başarısızlık olarak ele alan ekip, onu yararlı olacağı noktanın ötesine erteler.
Bir rollback sonrası ne yapılır
Üç adım. Birinci, tek sayfalık bir olay-sonrası belge yazın: ne oldu, neden, ne düzeltildi, tekrarını önlemek için agent'ta veya operasyonel süreçte ne değişti. Ekibe ve sahibe dağıtın. İkinci, benchmark'ı ve sapma-tespiti kontrolünü gelecekte bu spesifik başarısızlık modunu yakalamak için güncelleyin. Üçüncü, etkilenen iş akışını mevcut rollout aşamasında yeniden başlatıp başlatmayacağınıza veya güvenlik marjı olarak bir aşama geri gidip gitmeyeceğinize karar verin. Varsayılan bir aşama geri olmalıdır; aşırı-agresif yeniden başlatmalar ikinci olayın olduğu yerdir.
Kariyerimde dört kez geri aldım. İkisi açık Mews API kırılmalarıydı; biri bir model sağlayıcı güncellemesinden sonra bir prompt-sapma sorunuydu; biri bir iş akışının karmaşıklığının gerçek bir yanlış değerlendirmesiydi. Dört proje de hala çalışıyor. Rollback başarısızlık değildir; başarısızlık, geri almayı reddetmek olurdu.